Statistička značajnost podrazumeva odluku da li je primećena veza između dve ili više varijable nastala delovanjem slučaja ili je nastala delovanjem nekog eksperimentalnog faktora.

Odluka da li će se prihvatiti ili odbaciti nulta hipoteza bazirana je na kontrastu između dobijenih rezultata i onih koji bi bili očekivani da je nulta hipoteza tačna. Odluka se donosi korišćenjem adekvatnog statističkog testa.

Neki statistički softveri, kao što je SPSS, automatski izračunavaju verovatnoću pojave dobijenog rezultata statističkog testa. Ako softver ne izračunava verovatnoću pojave takvog rezultata statističkog testa, onda se verovatnoća izračunava korišćenjem tablice kritičnih vrednosti za taj test. Tablice kritičnih vrednosti se obično nalaze u dodatku udžbenika iz statistike i sadrže ekstremne vrednosti za određeni statistički test koje su malo verovatne da se dese ukoliko je nulta hipoteza tačna.

Kritične vrednosti predstavljaju verovatnoću pojave određenog rezultata testa delovanjem samog slučaja. Ukoliko je kritična vrednost veća od dobijenog rezultata statističkog testa, ne odbacuje se nulta hipoteza, jer je verovatnoća pojave takvog rezultata veća od izabranog nivoa značajnosti.

Treba napomenuti da nivo značajnosti bira istraživač. To može biti bilo koja vrednost u intervalu 0-100%, ali je uobičajeno da se bira nivo značajnosti od 5% ili 1%, između ostalog i zato što su za njih izračunate vrednosti u statističkim tablicama.

U društvenim naukama uobičajno je da se korisi nivo značajnosti od 0,05. To praktično znači da postoji verovatnoća od 5% da je uočena veza između varijabli nastala delovanjem slučaja. Ako se smatra da je 5% velika vrednost, može se odabrati nivo značajnosti od 0,01 (1%). Nivo značajnosti se obeležava α, grčkim slovom alfa.

Ukoliko je verovatnoća p>0,05 ne odbacuje se nulta hipoteza, jer je verovatnoća da je uočena veza između varijabli nastala delovanjem slučaja veća od 5%. Ukoliko je verovatnoća p<0,05 odbacuje se nulta hipoteza, jer je verovatnoća da je uočena veza između varijabli nastala delovanjem slučaja manja od 5%.

Obeležavanje p>0,01 znači da verovatnoća da je uočena veza između varijabli nastala delovanjem slučaja veća od 1%, a p<0,01 da je verovatnoća da je uočena veza između varijabli nastala delovanjem slučaja manja od 1%.

Statistička značajnost nije isto što i praktična značajnost. Mala razlika može biti statistički značajna, a da nema praktični značaj. Statistička značajnost znači da su uočene razlike ili povezanosti između varijabli nastale delovanjem nekog eksperimentalnog faktora, a ne delovanjem samog slučaja.