Modellantaganden, residualanalys och rapportering

Efter denna lektion kan du genomföra en fullständig residualanalys, identifiera avvikelser från regressionsmodellens antaganden (såsom heteroskedasticitet och multikollinearitet) samt rapportera resultat och modellvalidering på ett professionellt sätt.

Klassiska modellantaganden vid linjär regression

När vi anpassar en linjär regressionsmodell med minsta kvadrat-metoden (OLS, Ordinary Least Squares) bygger alla statistiska slutsatser – såsom p-värden, konfidensintervall och hypotestester – på ett antal grundläggande antaganden om datastrukturen och feltermerna.

Dessa antaganden sammanfattas ofta med akronymen LINE samt ett tillägg för multipel regression:

1. Linjäritet (Linearity): Sambandet mellan de oberoende variablerna (X) och den beroende variabeln (Y) är linjärt i parametrarna.

2. Oberoende (Independence): Residualerna (feltermerna) är oberoende av varandra. Det finns ingen autokorrelation mellan observationerna.

3. Homoskedasticitet (Equal variance): Variansen hos residualerna är konstant för alla nivåer av de förklarande variablerna.

4. Normalfördelning (Normality): Residualerna är normalfördelade kring ett medelvärde på noll. Detta antagande är särskilt viktigt vid mindre stickprov för att p-värden och konfidensintervall ska vara giltiga.

5. Ingen perfekt multikollinearitet: I multipel regression får de förklarande variablerna inte vara starkt linjärt korrelerade med varandra.

Om något av dessa antaganden bryts blir modellens skattningar antingen snedvridna (biased) eller ineffektiva (med för stora standardfel), vilket kan leda till felaktiga slutsatser.

Residualanalys och residualdiagram

En residual (e) är skillnaden mellan det faktiska observerade värdet (y) och det värde som modellen förutsäger (y_hat):

e_i = y_i - y_hat_i

Eftersom vi i verkliga data inte kan observera de teoretiska feltermerna (ε), använder vi residualerna för att utvärdera om modellens antaganden håller. Det viktigaste verktyget för detta är residualdiagrammet, där vi plottar residualerna (e) på y-axeln mot de anpassade värdena (y_hat) på x-axeln.

Vad vi söker i ett residualdiagram:

• Ett slumpmässigt band: Punkterna ska vara jämnt spridda kring nollinjen utan något tydligt mönster eller struktur.
• Konstant spridning: Vertikal spridning ska vara ungefär densamma längs hela x-axeln. Om spridningen ökar eller minskar (bildar en trattform) föreligger heteroskedasticitet.
• Ingen böjd form: Om residualerna bildar en U-form eller uppochnervänd U-form tyder det på ett icke-linjärt samband som modellen missat (t.ex. att en kvadratisk term x² borde ingå).

Exempel: Om y_i = 150 och y_hat_i = 142 är residualen e_i = 150 - 142 = +8. Modellen underskattade det verkliga värdet med 8 enheter.

Normalfördelning av residualer och avvikande observationer

Utöver varians och linjäritet måste vi kontrollera residualernas fördelning samt identifiera observationer som har ett oproportionerligt stort inflytande på modellen.

Normalfördelning (Q-Q-plot)

För att kontrollera om residualerna är normalfördelade används ofta ett Normal Q-Q diagram (Quantile-Quantile plot). I detta diagram plottas de observerade residualernas kvantiler mot de teoretiska kvantilerna från en normalfördelning.

• Om punkterna följer en rak diagonal linje är residualerna nära normalfördelade.
• Om punkterna avviker kraftigt i ändarna (så kallade 'tunga svansar' eller skevhet) bryts normalfördelningsantagandet.

Avvikande observationer och inflytelserika punkter

Alla avvikande punkter påverkar inte modellen lika mycket. Vi skiljer på tre begrepp:

• Utliggare (Outliers): Observationer med mycket stora residualer (stort avstånd i y-led från regressionslinjen).
• Hävstångspunkter (Leverage): Observationer med extrema värden på de förklarande variablerna (X-led). De har potential att dra linjen till sig.
• Inflytelserika punkter (Cook's distance): Observationer som faktiskt ändrar regressionskoefficienterna avsevärt om de tas bort. En tumregel är att undersöka observationer där Cook's distance överstiger 4/n eller 1.

Multikollinearitet och Variance Inflation Factor (VIF)

I en multipel linjär regression vill vi förklara Y med hjälp av flera X-variabler. Om två eller flera av de förklarande variablerna har en stark inbördes korrelation drabbas modellen av multikollinearitet.

Konsekvenser av multikollinearitet

• Instabila koefficienter: Små ändringar i data kan ge stora svängningar i regressionskoefficienterna (b_1, b_2, ...).
• Uppblåsta standardfel: Standardfelen för koefficienterna blir mycket stora. Det medför låga t-värden och höga p-värden, vilket gör att variabler framstår som statistiskt insignifikanta trots att det finns ett verkligt samband.
• Svårt att isolera effekter: Det blir omöjligt att svara på 'vad händer med Y när X_1 ökar med 1 enhet, medan X_2 hålls konstant?'.

Mätning med VIF (Variance Inflation Factor)

För att mäta hur mycket variansen för en koefficient blåses upp på grund av kollinearitet beräknas VIF för varje förklarande variabel j:

VIF_j = 1 / (1 - R²_j)

där R²_j är förklaringsgraden när variabel X_j regresseras mot alla andra förklarande variabler i modellen.

Tolkning och tumregler:

• VIF = 1: Ingen korrelation med övriga X-variabler.
• VIF > 5: Indikerar måttlig till hög multikollinearitet som bør undersökas.
• VIF > 10: Allvarlig multikollinearitet. Åtgärder krävs (t.ex. ta bort en variabel, slå ihop variabler eller använda principal komponent-analys).