Testiranje hipoteze je donošenje odluke da li obrazac, koji je uočen na podacima sakupljenim na uzorku, odgovara obrazcu u populaciji.

Kada bi se istraživanje sprovelo na populaciji, svaki nalaz bio bi statistički značajan, jer bi uočeni obrazac u potpunosti odgovarao popuciji. Iz tog razloga bitno je da je uzorak na kome se vrši istraživanje reprezentativan.

Pod reprezentativnim uzorkom statističari smatraju uzorak koji je biran slučajno, gde svaki član populacije ima jednaku šansu da bude izabran i gde izbor jednog člana ne utiče na izbor bilo kog drugog člana uzorka. Što je uzorak manje reprezentativan, obrazac uočen na uzorku će manje odgovarati obrascu u populaciji.

Kada se na podacima na uzorku dobije neki rezultat statističkog testa (na primer korelacija koja je visoko značajna), to znači da je on blizak vrednostima u populaciji, a ne praktično značajan. Statistička značajnost se ne može izjednačiti sa praktičnom značajnošću.

Rezultati koji nisu statistički značajni ne dokazuju da je nulta hipoteza dokazana, nego govore da se na osnovu dobijenih podataka ona ne može odbaciti.

Na veoma velikim uzorcima skoro svaka vrednost rezultata testa je statistički značajna, ma koliko ta vrednost bila mala. Ovo ne važi na malim uzorcima, jer je obično velika vrednost rezultata testa statistički značajna, a male vrednosti obično nisu statistički značajne. Zbog toga autori koji su kritični prema testiranju hipoteze, smatraju da je testiranje hipoteze zapravo testiranje veličine uzorka.

Prilikom testiranja hipoteze odluka o statističkoj značajnosti se donosi na osnovu prethodno postavljenog nivoa značajnosti.

Ako se opredelimo za nivo značajnosti od 0,05, onda bi rezultat testa koji ima p=0,049 bio značajan, a rezultat testa koji ima p=0,051 bio neznačajan. Ovakva preciznost, uz sve greške merenja i relativno malu pouzdanost podataka u istraživanjima u društvenim naukama je preterana. Preporuka je da se ovakvi rezultati u izveštaju naznače kao granični i da se ostavi čitaocu da proceni da li ima više argumenata za odbacivanje ili neodbacivanje nulte hipoteze. Analiza intervala poverenja i meta-analiza ublažavaju ovaj nedostatak.

Da li će u anlizu biti uključen interval poverenja ili će se doslovno držati nivoa pouzdanosti, može se prilagoditi nameni istraživanja.

Ako neki novi metod u bilo kojoj oblasti nema negativne posledice, a može doprineti poboljšanju, onda se može postaviti veći nivo značajnosti od 0,05. Ako metod može imati negativne posledice ili je skup, onda se može doslovno držati nivoa značajnosti od 0,05 ili čak 0,01. Nivo značajnosti je obrnuto proporcionalan intervalu poverenja. Smanjenjem nivoa značajnosti, povećava se interval poverenja, tj. margina greške i obrnuto.

Statistička značajnost se često u udžbenicima objašnjava na primeru ponovljenog testiranja hipoteze. Zbog toga se za potkrepljenje svog rezultata često navode rezultati drugih istraživanja.

Meta-analiza je pokazala da nekoliko statistički neznačajnih razlika mogu biti značajne kada se objedine. Rezultat jednog istraživanja ni na koji način ne treba da stvara očekivanja za neko sledeće istraživanje. Ponovljena istraživanja imaju smisla ako se sprovode na drugom uzorku, sa drugim instrumentima ili pod drugim uslovima.

Testiranje hipoteze nije primereno koristiti ako grupe dolaze iz različitih populacija.

Nova saznanja nećemo dobiti ako u istraživanju koristimo jako velike uzorke ili ako je sprovedena meta-analizi na prethodnim istraživnjima sa istim hipotezama.

U izveštaju treba navesti vrednost izračunatog rezultata testa i njegovu verovatnoću p i za rezultate koji nisu statistički značajni.

Prilikom interpretacije rezultata testa treba se oslanjati i na interval poverenja.