Regresie liniară

În statistică regresia liniară este o abordare liniară^⁠(d) pentru modelarea relației dintre un răspuns scalar și una sau mai multe variabile predictoare (de asemenea cunoscute ca de intrare, explicative sau independente^⁠(d)). Cazul unei singure variabile predictoare se numește regresie liniară simplă^⁠(d). Pentru mai multe variabile procesul se numește regresie liniară multiplă, pe scurt regresie liniară.

Acest termen este diferit de regresia liniară multivariată^⁠(d), unde sunt prezise mai multe variabile dependente corelate în loc de o singură variabilă scalară.

În regresia liniară, relațiile sunt modelate folosind funcții predictoare liniare^⁠(d) ale căror parametri necunoscuți sunt estimați din date. Astfel de modele se numesc modele liniare. Cel mai frecvent, media condiționată^⁠(d) a răspunsului dat de valorile variabilelor explicative (sau a predictoarelor) se presupune a fi o funcție afină^⁠(d) a acelor valori; mai rar se folosește mediana condiționată sau o altă cuantilă^⁠(d). La fel ca toate formele de analiza de regresie, regresia liniară se concentrează pe distribuția probabilității condiționate^⁠(d) a răspunsului dat de valorile predictoarelor, mai degrabă decât pe distribuția probabilității comune^⁠(d) a tuturor acestor variabile, care este domeniul analizei multivariate.

Regresia liniară a fost primul tip de analiză de regresie care a fost studiată riguros și care a fost utilizată pe scară largă în aplicații practice. Acest lucru se datorează faptului că modelele care depind liniar de parametrii lor necunoscuți sunt mai ușor de adaptat decât modelele care sunt legate neliniar de parametrii lor și deoarece proprietățile statistice ale funcțiilor de estimare rezultate sunt mai ușor de determinat.

Regresia liniară are multe utilizări practice. Majoritatea aplicațiilor se încadrează în una dintre următoarele două mari categorii:

• Dacă scopul este reducerea erorilor în prognoze, regresia liniară poate fi utilizată pentru a potrivi un model predictiv la un set de date observate, de valori ale răspunsului și variabile predictoare. După dezvoltarea unui astfel de model, dacă sunt colectate valori suplimentare ale variabilelor predictoare fără a obține și valorile de răspuns însoțitoare, modelul ajustat poate fi utilizat pentru a face o predicție a răspunsului.
• Dacă scopul este de a explica variația variabilei de răspuns care poate fi atribuită variației variabilelor predictoare, analiza de regresie liniară poate fi aplicată pentru a cuantifica cât de strânsă este relația dintre răspuns și variabilele prezise (de răspuns, explicate sau independente^⁠(d)) și, în special, pentru a determina dacă unele variabile predictoare pot să nu aibă deloc o relație liniară cu răspunsul sau să identifice ce subseturi de variabile predictoare pot conține informații redundante despre răspuns.

Modelele de regresie liniară sunt adesea ajustate folosind metoda celor mai mici pătrate, dar ele pot fi ajustate și în alte moduri, cum ar fi minimizând „lipsa de potrivire” în altă normă. Însă metoda celor mai mici pătrate poate fi utilizată pentru a se realiza și modele care nu sunt liniare. Astfel, deși termenii „cele mai mici pătrate” și „model liniar” sunt strâns legați, ei nu sunt sinonimi.

Istoric

Regresia liniară cu cele mai mici pătrate, ca mijloc de a găsi o potrivire liniară brută bună la un set de puncte, a fost efectuată de Adrien-Marie Legendre (1805) și Carl Friedrich Gauss (1809) pentru predicția mișcării planetelor. Adolphe Quetelet a fost cel care a elaborat procedura binecunoscută și a folosit-o pe scară largă în științele sociale.

Formulare

În regresia liniară, se presupune că observațiile (roșu) sunt rezultatul abaterilor aleatorii (verde) dintr-o relație de bază (albastru) între o variabilă dependentă (y) și o variabilă independentă (x)

Fiind dat un set de date $\{y_{i},\,x_{i1},\ldots ,x_{ip}\}_{i=1}^{n}$ de n unități statistice, un model de regresie liniară presupune că relația dintre variabila dependentă y și vectorul variabilei independente x este liniară. Această relație este modelată printr-un termen de perturbare sau variabilă de eroare ε — o variabilă aleatoare neobservată care adaugă „zgomot” relației liniare dintre variabila dependentă și cea independentă. Astfel modelul ia forma

$y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i},\qquad i=1,\ldots ,n,$

unde cu ^T este notată transpusa, astfel că x_i^Tβ este s the produsul scalar între vectorii x_i și β.

Adesea, aceste n ecuații sunt aranjate împreună și scrise sub formă matricială drept

$\mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,$

unde

$\mathbf {y} ={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}},\quad$

$\mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\mathsf {T}}\\\mathbf {x} _{2}^{\mathsf {T}}\\\vdots \\\mathbf {x} _{n}^{\mathsf {T}}\end{bmatrix}}={\begin{bmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&\cdots &x_{np}\end{bmatrix}},$

${\boldsymbol {\beta }}={\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{bmatrix}},\quad {\boldsymbol {\varepsilon }}={\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}.$

Notație și terminologie

• $\mathbf {y}$ este vectorul cu valorile observate $y_{i}\ (i=1,\ldots ,n)$ ale variabilei măsurate (variabila dependentă^⁠(d)). Această variabilă este uneori cunoscută și ca variabila prezisă, dar aceasta nu trebuie confundată cu valorile prezise, care sunt notate ${\hat {y}}$. Decizia cu privire la care variabilă dintr-un set de date este modelată ca variabilă dependentă și care sunt modelate ca variabile independente se poate baza pe presupunerea că valoarea uneia dintre variabile este cauzată de sau direct influențată de celelalte variabile. Alternativ, poate exista un motiv operațional pentru a modela una dintre variabile în termenii celorlalte, caz în care nu trebuie să existe prezumția de cauzalitate.
• $\mathbf {X}$ poate fi văzută ca o matrice de vectori linie $\mathbf {x} _{i\cdot }$ sau de vectori coloană n-dimensionali $\mathbf {x} _{\cdot j}$, care sunt cunoscuți ca predictoare (de intrare, explicative sau independente) (a nu se confunda cu conceptul de variabile aleatoare independente).

• De obicei între valorile predictoare este inclusă o constantă, în special $x_{i0}=1$ pentru $i=1,\ldots ,n$. Elementul corespunzător din β se numește interceptor. Multe proceduri de inferență statistică pentru modele liniare necesită ca o interceptare să fie prezentă, deci este adesea inclusă chiar dacă considerente teoretice sugerează că valoarea sa ar trebui să fie zero.
• Uneori, una dintre variabilele de intrare poate fi o funcție neliniară a altei funcții de intrare sau a datelor, ca în regresia polinomială^⁠(d) și regresia pe porțiuni^⁠(d). Modelul rămâne liniar atâta timp cât este liniar în vectorul parametru β.
• Valorile x_ij pot fi văzute fie ca valori observate ale variabilelor aleatoare X_j, fie ca valori fixe alese înainte de observarea variabilei dependente. Ambele interpretări pot fi adecvate în diferite cazuri și, în general, conduc la aceleași proceduri de estimare. Totuși, în aceste două situații sunt utilizate abordări diferite ale analizei asimptotice.

• ${\boldsymbol {\beta }}$ este un vector de parametri (p+1)-dimensional, unde $\beta _{0}$ este termenul de interceptare (dacă unul este inclus în model — în caz contrar, ${\boldsymbol {\beta }}$ este p-dimensional). Elementele sale sunt cunoscute ca efecte sau coeficienții regresiei (deși ultimul termen este uneori rezervat efectelor „estimate”). În regresia liniară simplă^⁠(d), p = 1, iar coeficientul este cunoscut sub numele de panta regresiei. Elementele acestui vector parametru sunt interpretate ca derivatele parțiale ale variabilei dependente în raport cu diferitele variabile independente.
• ${\boldsymbol {\varepsilon }}$ este un vector de valori $\varepsilon _{i}$. Această parte a modelului este numită termenul de eroare, termenul de perturbare (sau, uneori, zgomot, în contrast cu semnalul oferit de restul modelului). Această variabilă surprinde toți ceilalți factori care influențează variabila dependentă y în afară de predictorii x. Relația dintre termenul de eroare și predictori, de exemplu corelația acestora, este o considerație esențială în formularea unui model de regresie liniară, deoarece va determina metoda de estimare adecvată.

Ajustarea unui model liniar la un set de date dat necesită de obicei estimarea coeficienților de regresie ${\boldsymbol {\beta }}$ astfel încât termenul de eroare ${\boldsymbol {\varepsilon }}=\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}$ este minimizat. De exemplu, pentru minimizare este uzuală folosirea sumei pătratelor erorilor $\|{\boldsymbol {\varepsilon }}\|_{2}^{2}$ ca măsură a ${\boldsymbol {\varepsilon }}$.

Exemplu

Fie o situație în care o minge mică este aruncată în aer și apoi se măsoară înălțimile la care sare h_i în diferite momente în timp t_i. Fizica afirmă că, ignorând rezistența aerului, relația poate fi modelată drept

$h_{i}=\beta _{1}t_{i}+\beta _{2}t_{i}^{2}+\varepsilon _{i},$

unde β₁ determină viteza inițială a mingii, β₂ este proporțională cu gravitația standard și ε_i se datorează erorilor de măsurare. Regresia liniară poate fi utilizată pentru a estima valorile lui β₁ și β₂ din datele măsurate. Acest model este neliniar în variabila timp, dar este liniar în parametrii β₁ și β₂. Dacă se iau ca variabile predictoare x_i = (x_i1, x_i2)  = (t_i, t_{' „i”}²), modelul ia forma standard

$h_{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i}.$

Presupuneri

Modelele standard de regresie liniară cu tehnici standard de estimare fac o serie de ipoteze despre variabilele predictoare, variabilele de răspuns și relația lor. Au fost dezvoltate numeroase extensii care permit fiecăreia dintre aceste ipoteze să fie relaxate (adică reduse la o formă mai slabă) și, în unele cazuri, eliminate complet. În general, aceste extensii fac procedura de estimare mai complexă și mai consumatoare de timp și pot necesita, de asemenea, mai multe date pentru a produce un model la fel de precis.

Exemplu de regresie polinomială cubică, care este un tip de regresie liniară. Deși regresia polinomială se potrivește cu datele unui model neliniar, ca problemă de estimare statistică este liniară, în sensul că funcția de regresie $E(y)\,\|\,x)$ este liniară în parametrii necunoscuți, care sunt estimați din date. Din acest motiv, regresia polinomială este considerată a fi un caz particular de regresie liniară multiplă.
—– realitatea, —– estimarea, —– limitele corelației.

Ipotezele majore făcute în cadrul modelelor standard de regresie liniară cu tehnici standard de estimare (de exemplu metoda celor mai mici pătrate simplă):

• Exogenitate slabă. Acest lucru înseamnă în esență că variabilele predictoare x pot fi tratate ca valori fixe, în loc de variabile aleatoare. Aceasta înseamnă, de exemplu, că se presupune că variabilele predictoare sunt lipsite de erori, adică nu sunt afectate de erori de măsurare. Deși în multe cazuri această ipoteză nu este realistă, renunțarea ei duce la modele de erori în variabile semnificativ mai dificile.
• Liniaritate. Aceasta înseamnă că media variabilei de răspuns este o combinație liniară^⁠(d) a parametrilor (coeficienții de regresie) și a variabilelor predictoare. Această ipoteză este mult mai puțin restrictivă decât poate părea la prima vedere. Deoarece variabilele predictoare sunt tratate ca valori fixe (vezi mai sus), liniaritatea este de fapt doar o restricție asupra parametrilor. Variabilele predictoare în sine pot fi transformate în mod arbitrar și, de fapt, pot fi adăugate mai multe copii ale aceleiași variabile predictoare subiacente, fiecare transformată diferit. Această tehnică este utilizată, de exemplu, în regresia polinomială, care utilizează regresia liniară pentru a ajusta variabila de răspuns ca o funcție polinomială arbitrară (până la un grad dat) a unei variabile predictoare. Cu atâta flexibilitate, modelele precum regresia polinomială au adesea „prea multă putere”, în sensul că au tendința de a supraadapta datele. Ca rezultat, de obicei trebuie utilizată un fel de regularizare pentru a preveni soluțiile nerezonabile care rezultă din procesul de estimare.
• Varianță constantă. Aceasta înseamnă că varianța erorilor nu depinde de valorile variabilelor predictoare. Astfel, variabilitatea răspunsurilor pentru valori fixe date ale predictorilor este aceeași, indiferent de cât de mari sau mici sunt răspunsurile. Acesta nu este adesea cazul, deoarece o variabilă a cărei medie este mare va avea de obicei o varianță mai mare decât una a cărei medie este mică. De exemplu, o persoană al cărei venit anual este estimat a fi de 100.000 de lei poate avea cu ușurință un venit real de 80.000 de lei sau 120.000 de lei — adică o abatere standard de aproximativ 20.000 de lei — în timp ce o altă persoană cu un venit anual estimat de 10.000 de lei este puțin probabil să aibă aceeași abatere standard de 20.000 de lei, deoarece aceasta ar presupune că venitul lor real ar putea varia între −10.000 de lei și 30.000 de lei. (De fapt, după cum arată acest lucru, în multe cazuri — de multe ori aceleași cazuri în care ipoteza erorilor distribuite normal eșuează — varianța sau abaterea standard ar trebui prezisă a fi proporțională cu media, decât drept constantă.) Pentru a verifica această ipoteză, o diagramă de reziduuri în raport cu valorile prezise (sau valorile individuale ale fiecărei predictoare) poate fi examinată pentru un „efect de ventilare” (adică, creșterea sau scăderea distribuției verticale pe măsură ce se deplasează de la stânga la dreapta pe diagramă) . Un grafic al reziduurilor absolute sau pătrate în raport cu valorile prezise (sau cu fiecare predictoare) poate fi, de asemenea, examinat pentru o tendință sau o curbură. În unele cazuri, este posibil să se rezolve problema prin aplicarea unei transformări variabilei de răspuns (de exemplu, potrivirea logaritmului variabilei de răspuns folosind un model de regresie liniară, ceea ce implică faptul că variabila de răspuns în sine are o distribuție log-normală în loc de o distribuție normală).

Pentru a verifica dacă există încălcări ale ipotezelor de liniaritate, variație constantă și independență a erorilor în cadrul unui model de regresie liniară, reziduurile sunt de obicei reprezentate grafic în raport cu valorile prezise (sau cu fiecare dintre predictorii individuali). O împrăștiere aparent aleatorie de puncte în jurul liniei mediane orizontale la 0 este ideală, dar nu poate exclude anumite tipuri de încălcări, cum ar fi autocorelația în erori sau corelarea lor cu una sau mai multe covariabile.

• Independența erorilor. Aceasta presupune că erorile variabilelor de răspuns sunt necorelate între ele. (Independența statistică este o condiție mai puternică decât simpla lipsă de corelare și adesea nu este necesară, deși poate fi exploatată dacă se știe că este valabilă.) Unele metode precum metoda generalizată a celor mai mici pătrate^⁠(d) sunt capabile să gestioneze erorile corelate, deși de obicei necesită mult mai multe date, cu excepția cazului în care se folosește un fel de regularizare pentru a influența modelul spre asumarea erorilor necorelate.
• Lipsa perfectei multicoliniarități în variabilele predictoare. Pentru metodele standard de estimare cu cele mai mici pătrate, matricea X trebuie să aibă rangul coloanei p complet; în caz contrar, în variabilele predictoare există multicoliniaritate perfectă, ceea ce înseamnă că există o relație liniară între două sau mai multe variabile predictoare. Acest lucru poate fi cauzat de duplicarea accidentală a unei variabile din date (eventual printr-o transformare liniară), care se folosește împreună cu cea originală (de exemplu, aceleași măsurători de temperatură exprimate în grade Fahrenheit și Celsius), sau includerea unei combinații liniare de mai multe variabile în model, cum ar fi media lor. Se poate întâmpla și dacă există prea puține date disponibile în comparație cu numărul de parametri care trebuie estimați (de exemplu, mai puține puncte de date decât coeficienții de regresie). Aproape încălcări ale acestei ipoteze, unde variabilele predictoare sunt foarte corelate, dar nu perfect, pot reduce precizia estimărilor parametrilor. În cazul multicoliniarității perfecte, vectorul parametru β va fi neidentificabil —nu are o soluție unică. Într-un astfel de caz, doar unii dintre parametri pot fi identificați (adică, valorile lor pot fi estimate doar în cadrul unui subspațiu liniar al întregului spațiu al parametrilor R^p ). Au fost dezvoltate metode de potrivire a modelelor liniare cu multicoliniaritate, dintre care unele necesită ipoteze suplimentare, cum ar fi „raritatea efectelor” — că o mare parte a efectelor este exact zero. Însă algoritmii iterați, mai costisitori din punct de vedere al calculului de estimare a parametrilor, cum ar fi cei utilizați în modelele liniare generalizate, nu au această problemă.

În plus față de aceste ipoteze, alte câteva proprietăți statistice ale datelor influențează puternic performanța diferitelor metode de estimare:

• Relația statistică dintre termenii de eroare și variabilele predictoare joacă un rol important în determinarea dacă o procedură de estimare are proprietăți de eșantionare dezirabile, cum ar fi să fie imparțială și consecventă.
• Aranjamentul sau distribuția probabilității variabilelor predictoare x are o influență majoră asupra preciziei estimărilor lui β. Eșantionarea și proiectarea experimentelor sunt subdomenii foarte dezvoltate ale statisticii care oferă îndrumări pentru colectarea datelor astfel încât să se obțină o estimare precisă a β.

Interpretare

Seturile de date din cvartetul lui Anscombe sunt concepute pentru a avea aproximativ aceeași draptă de regresie liniară (precum și medii, abateri standard și corelații aproape identice), dar sunt foarte diferite din punct de vedere grafic. Acest lucru ilustrează capcanele de a se baza exclusiv pe un model calculat pentru a înțelege relația dintre variabile.

Un model calculat de regresie liniară poate fi utilizat pentru a identifica relația dintre o singură variabilă predictor x_j și variabila de răspuns y atunci când toate celelalte variabile predictoare din modele sunt „ținute fixe”. Mai exact, interpretarea lui β_j este modificarea sperată în y pentru o modificare de o unitate a x_j când celelalte covariabile sunt menținute fixe, adică valoarea sperată a derivatei parțiale a lui y în raport cu x_j. Acesta este uneori numit efectul unic al lui x_j asupra lui y. În schimb, efectul marginal al lui x_j asupra lui y poate fi evaluat utilizând un coeficient de corelație sau model de regresie liniară simplă, care raportează numai x_j la y; acest efect este derivata totală a lui y în raport cu x_j.

Trebuie avut grijă atunci când se interpretează rezultatele regresiei, deoarece unele dintre variabilele predictoare ar putea să nu permită modificări marginale (cum ar fi variabilele fictive sau termenul de interceptare), în timp ce altele nu pot fi menținute fixe (v. exemplul de mai sus: ar fi imposibil să se „țină fix” t_i și în același timp să se schimbe valoarea lui t_i²).

Este posibil ca efectul unic să fie aproape zero chiar și atunci când efectul marginal este mare. Acest lucru poate implica faptul că o altă covariabilă captează toate informațiile din x_j, astfel încât, odată ce acea variabilă este în model, nu există nicio contribuție a lui x_j la variația lui y. Invers, efectul unic al lui x_j poate fi mare, în timp ce efectul său marginal este aproape zero. Acest lucru s-ar întâmpla dacă celelalte covariabile ar explica o mare parte din variația lui y, dar ele explică în principal variația într-un mod care este complementar cu ceea ce este surprins de x_j. În acest caz, includerea celorlalte variabile în model reduce partea din variabilitatea lui y care nu are legătură cu x_j, întărind astfel relația aparentă cu x_j.

Sensul expresiei „ținut fix” poate depinde de modul în care apar valorile variabilelor predictoare. Dacă experimentatorul stabilește direct valorile variabilelor predictoare în conformitate cu proiectul experimentului, comparațiile de interes pot corespunde literal cu comparații între unități ale căror variabile predictoare au fost „ținute fixe” de către experimentator. Alternativ, expresia „ținut fix” se poate referi la o selecție care are loc în contextul analizei datelor. În acest caz, „a ține o variabilă fixă” se limitează la subseturile de date care se întâmplă să aibă o valoare comună pentru variabila predictor dată. Aceasta este singura interpretare a termenului „ținut fix” care poate fi folosită într-un studiu observațional.

Noțiunea de „efect unic” este atrăgătoare atunci când se studiază un sistem complex în care mai multe componente interconectate influențează variabila răspuns. În unele cazuri, poate fi literalmente interpretat ca efectul cauzal al unei intervenții care este legat de valoarea unei variabile predictive. Totuși, s-a susținut că în multe cazuri analiza regresiei multiple nu reușește să clarifice relațiile dintre variabilele predictoare și variabila de răspuns atunci când variabilele predictoare sunt corelate între ele și nu sunt alocate în urma proiectului experimentului.

Lectură suplimentară

• en Cohen, J., Cohen P., West, S.G., & Leona S. Aiken (2003). Applied multiple regression/correlation analysis for the behavioral sciences. (2nd ed.) Hillsdale, NJ: Lawrence Erlbaum Associates
• en Charles Darwin. The Variation of Animals and Plants under Domestication. (1868) (Chapter XIII describes what was known about reversion in Galton's time. Darwin uses the term "reversion".)
• en Draper, N.R.; Smith, H. (1998). Applied Regression Analysis (ed. 3rd). John Wiley. ISBN 978-0-471-17082-2. 
• en Francis Galton. "Regression Towards Mediocrity in Hereditary Stature," Journal of the Anthropological Institute, 15:246-263 (1886). (Facsimile at: [1])
• en Robert S. Pindyck and Daniel L. Rubinfeld (1998, 4h ed.). Econometric Models and Economic Forecasts, ch. 1 (Intro, incl. appendices on Σ operators & derivation of parameter est.) & Appendix 4.3 (mult. regression in matrix form).
• en Pedhazur, Elazar J (1982). Multiple regression in behavioral research: Explanation and prediction (ed. 2nd). New York: Holt, Rinehart and Winston. ISBN 978-0-03-041760-3. 
• en Mathieu Rouaud, 2013: Probability, Statistics and Estimation Chapter 2: Linear Regression, Linear Regression with Error Bars and Nonlinear Regression.
• en National Physical Laboratory (1961). „Chapter 1: Linear Equations and Matrices: Direct Methods”. Modern Computing Methods. Notes on Applied Science. 16 (ed. 2nd). Her Majesty's Stationery Office. 

Legături externe

• Materiale media legate de regresie liniară la Wikimedia Commons

• en Least-Squares Regression, Interactive simulations, University of Colorado at Boulder
• en DIY Linear Fit