Корелација је међусобни однос између различитих појава које су представљене вредностима у две или више случајних варијабли. При томе, повезаност значи да је на основу познавања вредности једне варијабле, уз одређену вероватноћу, могуће прогнозирати вредност друге варијабле, пошто се ове вредности појављују у одређеном односу. Степен у којем су две вредности подударне може се представити графички на дијаграму растурања, или путем коефицијента корелације.

Регресиона анализа је проширење корелационе анализе и једна је од најчешће употребљаваних статистичких техника данас. Регресиона анализа је скуп аналитичких техника које се користе да би се боље разумела међусобна повезаност између феномена који се посматрају, изражених у виду прикупљених података. Као крајњи резултат, анализа производи регресиону једначину, али и сви резултати до којих се дође у том процесу могу пружити вредне информације о посматраним појавама и њиховом окружењу.

У својој основи, регресиона анализа укључује две или више варијабли које су међусобно у некаквој вези. При томе је једна од варијабли од посебног интереса, јер је сврха анализе да се објасне промене на њој преко промена које истовремено настају на осталим варијаблама у моделу. Та варијабла се назива зависна или критеријумска варијабла и означава се са Y. Остале варијабле служе за објашњење или предвиђање вредности зависне варијабле. Ове варијабле се називају независне или предикторске варијабле и означавају се са X. Обично се у моделу користи више независних варијабли, па се оне означавају са X1, X2, ... Xн, где н означава укупан број независних варијабли у регресионом моделу. Предикторске варијабле се још називају независне, коваријати, регресори, фактори или носиоци. Иако се најчешће користи, назив независне варијабле најмање одговара реалности, јер су ове варијабле ретко независне једна од друге.

Веза између зависне и независних променљивих исказује се у виду једне или више једначина које се једним именом називају регресиони модел. Стварни однос између зависне и независних променљивих се може апроксимирати следећим регресионим моделом:

И = ф(X1, X2, ..., Xп) + ε,

где је ε случајна грешка која представља разлику између апроксимације и стварне вредности зависне променљиве И, а функција ф описује релацију између зависне и независних променљивих.

Регресионе моделе можемо поделити према више критеријума. У даљем тексту наводимо неке од подела.

Према броју независних променљивих у регресионом моделу постоји

  • проста регресија, код које постоји једна зависна и једна независна варијабла и

  • вишеструка регресија, где постоји једна зависна, али више независних варијабли.

Према томе која је врста зависне варијабле, регресионе моделе можемо поделити на:

  • моделе са континуираном зависном променљивом,

  • моделе са категоричком зависном променљивом која није дихотомна, већ узима више од две вредности (категорије) и

  • моделе са дихотомном зависном променљивом који представљају специјалан случај модела са категоричком зависном променљивом, јер зависна променљива може узимати само две вредности.

Према врсти везе између зависне и независних варијабли, регресија може да буде:

  • линеарна регресија, коју карактерише постојање линеарне везе између независних варијабли и зависне варијабле, а која се у моделу исказује као сабирање независних варијабли првог степена и

  • нелинеарна регресија, а која може бити:

    • квадратна регресија,

    • полиномна регресија,

    • експоненцијална регресија и др.

Према броју зависних варијабли, регресиони модел може бити

  • униваријантни регресиони модел, тј. модел са једном зависном променљивом и

  • мултиваријантни регресиони модел код којег се јавља више зависних променљивих, због чега га чини више регресионих једначина.

Осим што омогућава процену степена повезаности појава, регресиона анализа даје и вероватноћу дешавања израчунате повезаности. Користи се за тестирање хипотеза у студијама и експериментима, али и за прогнозу будућег кретања појаве која се посматра.

Концепт регресије је лако разумљив и имплементиран је у скоро сваком статистичком пакету, а омогућава испитивање функционалне зависности између варијабли, па као такав лежи у основи многих савремених статистичких техника. Зато се примена корелационе и регресионе анализе може наћи у скоро свим академским областима или примењеној науци данас. Овде ће ради илустрације бити наведени само неки примери:

  • економија - предвиђање потрошње, предвиђање кретања цена акција на берзи и др.,

  • психологија - утицај интелигенције на постигнуће појединца, утицај начина васпитања и културних вредности појединца на његов осећај среће и сл.,

  • пољопривреда - како предвидети количину производње млека на основу познавања скупа других података,

  • историја - како проценити старост неког објекта на основу других познатих карактеристика објекта,

  • политика - предвиђање кретања становништва на основу познавања пола, временских услова и стопе незапослености у неком региону,

  • животна средина - веза између квалитета воде и употребе земљишта, тј. да ли повећаном употребом земљишта долази до загађења водених токова и др.