Enkel linjär regression och korrelation

Efter denna lektion kommer du att kunna analysera, beräkna och tolka linjära samband mellan två kontinuerliga variabler med hjälp av Pearsons korrelationskoefficient, minsta kvadratmetoden och förklaringsgraden R².

Korrelation och Pearsons r

Inom statistiken vill vi ofta undersöka om det finns ett samband mellan två kontinuerliga variabler. Det kan handla om relationen mellan studietid och provresultat, eller mellan utomhustemperatur och elförbrukning.

Ett första steg i att analysera två variabler är att rita ett punktdiagram (scatter plot), där den oberoende variabeln placeras på x-axeln och den beroende variabeln på y-axeln. Om punkterna bildar ett mönster som stiger eller faller längs en rät linje finns ett linjärt samband.

För att mäta styrkan och riktningen i detta linjära samband använder vi Pearsons korrelationskoefficient, betecknad med bokstaven r. Värdet på r ligger alltid i intervallet mellan -1 och +1:

• r = +1: Perfekt positivt linjärt samband. När x ökar, ökar y i exakt linjär proportion.
• r = 0: Inget linjärt samband alls. Datapunkterna bildar ett slumpmässigt moln uten tydlig linjär trend.
• r = -1: Perfekt negativt linjärt samband. När x ökar, minskar y i exakt linjär proportion.

Det är viktigt att komma ihåg att Pearsons r endast mäter *linjära* samband. Ett mönster som bildar en U-kurva kan ha r ≈ 0 trots att det finns ett starkt icke-linjärt samband. Dessutom är r känsligt för uteliggare (extremvärden), vilka kan snedvrida korrelationen avsevärt.

Enkel linjär regression och Minsta kvadratmetoden

Medan korrelation anger *hur starkt* två variabler hör ihop, anpassar enkel linjär regression en matematisk modell för att *förutsäga* värdet på den beroende variabeln y utifrån den oberoende variabeln x.

Regressionslinjens ekvation skrivs:

y = a + bx

där:

• y är den beroende variabeln (det vi vill förutsäga/förklara).
• x är den oberoende variabeln (förklaringsvariabeln).
• a är y-skärningen (interceptet), det vill säga värdet på y när x = 0.
• b är riktningskoefficienten (lutningen), som visar hur mycket y förändras i genomsnitt när x ökar med 1 enhet.

Minsta kvadratmetoden

Hur placerar vi linjen så optimalt som möjligt genom punktmolnet? För varje datapunkt finns en avvikelse (ett så kallat *residual*, e = y − ŷ) mellan det faktiska y-värdet och linjens förutsagda värde ŷ.

Minsta kvadratmetoden hittar den linje som minimerar summan av alla kvadratiska residualer (Σe²). Genom att kvadrera avvikelserna undviker vi att positiva och negativa fel slår ut varandra, samtidigt som stora felbestraffas hårdare.

Beräkning av regressionskoefficienterna a och b

För att beräkna parametrama i ekvationen y = a + bx kan vi använda medelvärden (x̄ och ȳ), standardavvikelser (s_x och s_y) samt Pearsons korrelationskoefficient (r).

Formel för lutningen (b):

b = r × (s_y / s_x)

Lutningen b berättar om effekten: om b = 15 innebär det att för varje ytterligare enhet som x ökar, förväntas y öka med 15 enheter.

Formel för y-skärningen (a):

a = ȳ − b × x̄

Eftersom regressionslinjen alltid går igenom punkten för medelvärdesparet (x̄, ȳ), kan vi enkelt lösa ut a när vi har beräknat b.

Ett räkneexempel:

Anta att vi studerar sambandet mellan arbetserfarenhet i år (x) och månadslön i tusental kronor (y):

• Medelvärde erfarenhet x̄ = 5 år, standardavvikelse s_x = 2.0
• Medelvärde lön ȳ = 35 tkr, standardavvikelse s_y = 6.0
• Korrelation r = 0.80

1. Beräkna b: b = 0.80 × (6.0 / 2.0) = 0.80 × 3 = 2.4

2. Beräkna a: a = 35 − (2.4 × 5) = 35 − 12 = 23

Vår regressionsmodell blir: y = 23 + 2.4x

Tolkning: Grundlönen vid 0 års erfarenhet skattas till 23 tkr (a = 23), och för varje extra års erfarenhet ökar lönen i genomsnitt med 2.4 tkr (b = 2.4).

Förklaringsgraden R² (R-kvadrat)

När vi har anpassat en regressionsmodell vill vi veta hur bra modellen förklarar våra data. Till detta använder vi förklaringsgraden, som betecknas R² (R-kvadrat).

Vid enkel linjär regression är förklaringsgraden helt enkelt kvadraten på Pearsons korrelationskoefficient:

R² = r²

Förklaringsgraden antar ett värde mellan 0 och 1 (eller mellan 0 % och 100 %) och tolkas som den andel av den totala variationen i y som förklaras av x via den linjära modellen.

• Om r = 0.80, blir R² = (0.80)² = 0.64 (eller 64 %). Det innebär att 64 % av variationen i den beroende variabeln y förklaras av x. De återstående 36 % (1 − R²) utgörs av residualvariation – det vill säga variation som beror på andra okända faktorer eller slumpmässigt mätfel.

Ett högt R²-värde innebär att datapunkterna ligger samlade tätt kring regressionslinjen och att modellen har god förmåga att göra förutsägelser.