Постоје две основне грешке у тестирању хипотезе:

  • грешка типа I и
  • грешка типа II.

Грешка типа I

Грешка типа I се дешава када се одбаци истинита нулта хипотеза, односно уколико се прихвати неистинита алтернативна хипотеза. Вероватноћа да се почини грешка типа I је једнака нивоу значајности који се користи у истраживању.

Ако је изабрани ниво значајности α=0,05, тада вероватноћа да се почини грешка типа I износи 5%. Уколико је изабрани ниво значајности α=0,01, тада постоји 1% шансе да се почини грешка типа I.

Вероватноћа да се почини грешка типа I је под контролом истраживача.

Грешка типа II

Грешка типа II настаје када не одбацимо (задржимо) нетачну нулту хипотезу, односно када пропустимо да препознамо стварни ефекат или разлику који постоје у популацији.

Вероватноћа да се почини грешка типа II се означава са β.

Вероватноћа да се одбаци неистинита нулта хипотеза је снага статистичког теста која се израчунава одузимањем β од 1:

Снага=1- β

Однос између два типа грешке

Вероватноћа да се почини грешка типа II и вероватноћа да се почини грешка типа I су у односу размене (trade-off) при фиксној величини узорка. Како се смањује вероватноћа да се почини грешка типа I, расте вероватноћа да се почини грешка типа II, и обрнуто. То значи да је вероватноћа да ће бити почињена грешка типа II већа за ниво значајности α=0,01, него за ниво значајности α=0,05.

Вероватноћа грешке типа II (β) и снага статистичког теста су комплементарне вредности које се савршено допуњују до 100% (Снага = 1 - β).

Однос између грешке типа I и грешке типа II се може приказати и табеларно.

  H0 је тачна H0 није тачна
Резултат теста није значајан Исправна одлука Грешка типа II
Резултат теста је значајан Грешка типа I Исправна одлука (снага теста)