Тестирање хипотезе је доношење одлуке да ли образац, који је уочен на подацима сакупљеним на узорку, одговара образцу у популацији.

Када би се истраживање спровело на популацији, сваки налаз био би статистички значајан, јер би уочени образац у потпуности одговарао попуцији. Из тог разлога битно је да је узорак на коме се врши истраживање репрезентативан.

Под репрезентативним узорком статистичари сматрају узорак који је биран случајно, где сваки члан популације има једнаку шансу да буде изабран и где избор једног члана не утиче на избор било ког другог члана узорка. Што је узорак мање репрезентативан, образац уочен на узорку ће мање одговарати обрасцу у популацији.

Када се на подацима на узорку добије неки резултат статистичког теста (на пример корелација која је високо значајна), то значи да је он близак вредностима у популацији, а не практично значајан. Статистичка значајност се не може изједначити са практичном значајношћу.

Резултати који нису статистички значајни не доказују да је нулта хипотеза доказана, него говоре да се на основу добијених података она не може одбацити.

На веома великим узорцима скоро свака вредност резултата теста је статистички значајна, ма колико та вредност била мала. Ово не важи на малим узорцима, јер је обично велика вредност резултата теста статистички значајна, а мале вредности обично нису статистички значајне. Због тога аутори који су критични према тестирању хипотезе, сматрају да је тестирање хипотезе заправо тестирање величине узорка.

Приликом тестирања хипотезе одлука о статистичкој значајности се доноси на основу претходно постављеног нивоа значајности.

Ако се определимо за ниво значајности од 0,05, онда би резултат теста који има п=0,049 био значајан, а резултат теста који има п=0,051 био незначајан. Оваква прецизност, уз све грешке мерења и релативно малу поузданост података у истраживањима у друштвеним наукама је претерана. Препорука је да се овакви резултати у извештају назначе као гранични и да се остави читаоцу да процени да ли има више аргумената за одбацивање или неодбацивање нулте хипотезе. Анализа интервала поверења и мета-анализа ублажавају овај недостатак.

Да ли ће у анализу бити укључен интервал поверења или ће се дословно држати нивоа поузданости, може се прилагодити намени истраживања.

Ако неки нови метод у било којој области нема негативне последице, а може допринети побољшању, онда се може поставити већи ниво значајности од 0,05. Ако метод може имати негативне последице или је скуп, онда се може дословно држати нивоа значајности од 0,05 или чак 0,01. Ниво значајности је обрнуто пропорционалан интервалу поверења. Смањењем нивоа значајности, повећава се интервал поверења, тј. маргина грешке и обрнуто.

Статистичка значајност се често у уџбеницима објашњава на примеру поновљеног тестирања хипотезе. Због тога се за поткрепљење свог резултата често наводе резултати других истраживања.

Мета-анализа је показала да неколико статистички незначајних разлика могу бити значајне када се обједине. Резултат једног истраживања ни на који начин не треба да ствара очекивања за неко следеће истраживање. Поновљена истраживања имају смисла ако се спроводе на другом узорку, са другим инструментима или под другим условима.

Тестирање хипотезе није примерено користити ако групе долазе из различитих популација.

Нова сазнања нећемо добити ако у истраживању користимо јако велике узорке или ако је спроведена мета-анализа на претходним истраживањима са истим хипотезама.

У извештају треба навести вредност израчунатог резултата теста и његову вероватноћу п и за резултате који нису статистички значајни.

Приликом интерпретације резултата теста треба се ослањати и на интервал поверења.