Тестирање хипотезе је доношење одлуке да ли образац, који је уочен на подацима сакупљеним на узорку, одговара обрасцу у популацији.

Када би се истраживање спровело на комплетној популацији, тестирање хипотеза би постало сувишно. У том случају, уочени обрасци би директно представљали стварне параметре, без потребе за проценом статистичке значајности. Из тог разлога битно је да је узорак на коме се врши истраживање репрезентативан.

Под репрезентативним узорком статистичари сматрају узорак који је биран случајно, где сваки члан популације има једнаку шансу да буде изабран и где избор једног члана не утиче на избор било ког другог члана узорка. Што је узорак мање репрезентативан, образац уочен на узорку ће мање одговарати обрасцу у популацији.

Када се на подацима на узорку добије неки резултат статистичког теста (на пример корелација која је високо значајна), то значи да је уочени образац изузетно тешко приписати чистој случајности, али нам сам по себи не гарантује практичну важност тог налаза. Статистичка значајност се не може изједначити са практичном значајношћу.

Резултати који нису статистички значајни не доказују да је нулта хипотеза доказана, него говоре да се на основу добијених података она не може одбацити.

На веома великим узорцима скоро свака вредност резултата теста је статистички значајна, ма колико та вредност била мала. Ово не важи на малим узорцима, јер је обично велика вредност резултата теста статистички значајна, а мале вредности обично нису статистички значајне. Због тога аутори који су критични према тестирању хипотезе, сматрају да је тестирање хипотезе заправо тестирање величине узорка.

Приликом тестирања хипотезе одлука о статистичкој значајности се доноси на основу претходно постављеног нивоа значајности. Ако се определимо за ниво значајности од 0,05, онда би резултат теста који има p=0,049 био значајан, а резултат теста који има p=0,051 био незначајан. Оваква прецизност, уз све грешке мерења и релативно малу поузданост података у истраживањима у друштвеним наукама је претерана. Препорука је да се овакви резултати у извештају назначе као гранични и да се остави читаоцу да процени да ли има више аргумената за одбацивање или неодбацивање нулте хипотезе. Анализа интервала поверења и мета-анализа ублажавају овај недостатак.

Да ли ће у анализу бити укључен интервал поверења или ће се дословно држати нивоа значајности, може се прилагодити намени истраживања.

Ако неки нови метод у било којој области нема негативне последице, а може допринети побољшању, онда се може поставити већи ниво значајности од 0,05. Ако метод може имати негативне последице или је скуп, онда се може дословно држати нивоа значајности од 0,05 или чак 0,01. Ниво значајности је обрнуто пропорционалан интервалу поверења. Смањењем нивоа значајности, повећава се интервал поверења, тј. маргина грешке и обрнуто.

Статистичка значајност се често у уџбеницима објашњава на примеру поновљеног тестирања хипотезе. Због тога се за поткрепљење свог резултата често наводе резултати других истраживања.

Мета-анализа је показала да неколико статистички незначајних разлика могу бити значајне када се обједине. Резултати претходних истраживања служе за формирање априорних очекивања, постављање усмерених хипотеза и рачунање потребне величине узорка (анализа снаге теста) за следеће истраживање. Поновљена истраживања имају смисла ако се спроводе на другом узорку, са другим инструментима или под другим условима.

Тестирање хипотезе није примерено користити ако групе долазе из различитих популација.

Пуко ослањање на p-вредности у екстремно великим узорцима губи смисао, због чега је у великим студијама и мета-анализама кључно фокусирати се на величину ефекта (effect size) и ширину интервала поверења.

У извештају треба навести вредност израчунатог резултата теста и његову вероватноћу p и за резултате који нису статистички значајни.

Приликом интерпретације резултата теста треба се ослањати и на интервал поверења.