Multipel linjär regression

Efter denna lektion kommer du att kunna formulera och tolka en multipel linjär regressionsmodell, förstå innebörden av partiella koefficienter och kontrollvariabler, jämföra modeller med justerat R-kvadrat samt inkludera kategoriska data med hjälp av dummyvariabler.

Modellen för multipel linjär regression

I enkel linjär regression studerar vi samband mellan en enda förklarande variabel x och en responsvariabel y. I verkligheten påverkas dock nästan alla fenomen av flera faktorer samtidigt. Multipel linjär regression utökar modellen så att vi kan inkludera två eller flera förklarande variabler.

Den teoretiska modellen skrivs som:

y = β₀ + β₁x₁ + β₂x₂ + ... + βₖxₖ + ε

Där:

• y är responsvariabeln (den beroende variabeln).
• x₁, x₂, ..., xₖ är de k förklarande variablerna (de oberoende variablerna).
• β₀ är skärningspunkten (interceptet), vilket är det förväntade värdet på y när alla x-variabler är noll.
• β₁, β₂, ..., βₖ är regrektionskoefficienterna för respektive variabel.
• ε är feltermen (residualen), som representerar slumpmässig variation och faktorer som inte finns med i modellen.

Exempel: Om vi vill förutsäga priset på en bostad (y, i tusentals kronor) kan vi använda två förklarande variabler: bostadens yta i kvadratmeter (x₁) och avstånd till centrum i kilometer (x₂). En skattad modell skulle kunna se ut så här:

Skattat Pris = 500 + 35 × Yta - 40 × Avstånd

Detta innebär att ett grundpris är 500 tusen kr, varje extra kvadratmeter ökar det förväntade priset med 35 tusen kr, och varje kilometer längre från centrum minskar priset med 40 tusen kr.

Partiella koefficienter och kontrollvariabler

En av de viktigaste egenskaperna hos multipel regression är hur vi tolkar koefficienterna β₁, β₂, osv. I en multipel regression kallas dessa för partiella koefficienter.

Tolkningen av en koefficient βⱼ är:

*Förändringen i det förväntade värdet på y för varje enhets ökning i xⱼ, under förutsättning att alla andra variabler i modellen hålls konstanta (ceteris paribus).*

Varför är detta så kraftfullt?

När vi lägger till variabler i en regression fungerar de som kontrollvariabler. Det gör att vi kan isolera effekten av en specifik variabel rensat från påverkan av andra faktorer.

Om vi till exempel undersöker samband mellan studietid och tentaresultat, men inte kontrollerar för tidigare kunskaper eller närvaro, kan den skattade effekten av studietid bli snedvriden. Genom att inkludera kontrollvariabler minskar vi risken för så kallad *omitted variable bias* (snedvridning på grund av utelämnade variabler).

När två förklarande variabler är starkt korrelerade med varandra kallas det multikollinearitet. Det gör det svårt för modellen att skilja på variablernas enskilda effekter, vilket kan leda till osäkra skattningar av koefficienterna.

Modellduglighet: R-kvadrat och Justerat R-kvadrat

I enkel regression mäter förklaringsgraden R² hur stor andel av den totala variationen i y som förklaras av modellen. Ett matematiskt faktum i multipel regression är dock att ordinarie R² aldrig kan minska när du lägger till en ny förklarande variabel – även om variabeln är helt irrelevant brus.

Om du lägger till 50 helt meningslösa variabler i en regression kommer R² att stiga (eller i värsta fall vara oförändrat). Detta gör ordinarie R² olämpligt för att jämföra modeller med olika antal variabler, eftersom det gynnar överanpassade (overfitted) modeller.

För att lösa detta använder vi Justerat R-kvadrat (R²_adj). Justerat R² lägger till ett 'straff' för varje ny variabel som läggs till i modellen:

Justerat R² = 1 - [(1 - R²) × (n - 1) / (n - k - 1)]

Där:

• n är antalet observationer (stickprovsstorlek).
• k är antalet förklarande variabler.

Om du lägger till en ny variabel som bidrar med mycket ny information stiger det justerade R². Men om variabeln bidrar med väldigt lite information uppväger den inte 'straffet' för den förlorade frihetsgraden, och det justerade R² kommer att sjunka.

Kategoriska variabler och Dummyvariabler

Alla variabler vi vill ha med i en regression är inte numeriska (som ålder eller inkomst). Ofta vill vi inkludera kategoriska variabler, till exempel kön, region, utbildningsnivå eller om en person är rökare eller ej.

För att inkludera en kategorisk variabel skapar vi en eller flera dummyvariabler (även kallade indikatorvariabler). En dummyvariabel antar bara värdena 1 (om egenskapen finns) eller 0 (om egenskapen saknas).

Exempel med två kategorier (Bostadstyp: Lägenhet vs Hus):

Vi skapar dummyvariabeln D = 1 om bostaden är ett Hus, och D = 0 om bostaden är en Lägenhet.

Regressionsmodellen blir:

y = β₀ + β₁ × Yta + β₂ × D

• För en lägenhet (D = 0): y = β₀ + β₁ × Yta
• För ett hus (D = 1): y = (β₀ + β₂) + β₁ × Yta

Koefficienten β₂ uttrycker alltså skillnaden i förväntat pris mellan ett hus och en lägenhet med *samma yta*. Lägenhet kallas här för referenskategori (eller basgrupp).

Viktig regel (Dummy-fällan):

Om en kategorisk variabel har k olika kategorier måste du inkludera exakt k - 1 dummyvariabler i modellen. Den utelämnade kategorin blir referenskategori. Om du inkluderar alla k dummier uppstår exakt multikollinearitet (dummy-fällan) och modellen går inte att skatta.