F13 Regression och problemlösning

Transkript

1 1/18 F13 Regression och problemlösning Måns Thulin Uppsala universitet Statistik för ingenjörer 4/3 2013

2 2/18 Regression Vi studerar hur en variabel y beror på en variabel x. Vår modell är y = kx + m + ɛ där ɛ är en slumpavvikelse från linjen y = kx + m. Vi antar att ɛ N(0, σ 2 ). Låt n S xx = (x i x) 2, S yy = i=1 Vi fick skattningarna n (y i ȳ) 2, S xy = i=1 n (x i x)(y i ȳ). i=1 och ˆk = S xy S xx och ˆm = ȳ ˆk x. ˆσ 2 = s 2 = 1 ( S yy S 2 ) xy. n 2 S xx

3 Prediktion och prediktionsintervall Givet skattningarna ˆm och ˆk så får vi ett predikterat värde på y 0 givet x 0 : y (pred) 0 = ˆm + ˆkx 0. Dock finns en viss osäkerhet i prediktionen eftersom vi inte har de sanna värdena på parametrarna utan bara skattningar. Vi kan ta hänsyn till osäkerheten i skattningarna och skapa ett konfidensintervall för E[Y 0 ]: I E[Y0 ] = ( ˆm + ˆkx 0 ± t α/2 (n 2)s 1/n + (x 0 x) 2 /S xx ). Men... Precis som för andra y-värden så kommer y 0 troligen att avvika lite från linjen på grund av slumpavvikelser. Man kan därför slutligen beräkna ett prediktionsintervall, som är ett konfidensintervall för värdet på y 0 där både skattningarnas osäkerhet och osäkerheten orsakad av slumpavvikelsen för y 0 har inkluderats: I y0 = ( ˆm + ˆkx 0 ± t α/2 (n 2)s 1 + 1/n + (x 0 x) 2 /S xx ). 3/18

4 4/18 Prediktion och prediktionsintervall Prediktion: y (pred) 0 = ˆm + ˆkx 0, skattning av vilket y-värde som x 0 borde ge. Konfidensintervall för E[Y 0 ]: när man tar hänsyn till osäkerheten i skattningarna ˆm och ˆk. Ett intervall med troliga värden på kurvan. Prediktionsintervall: när man också tar hänsyn till att y 0 kommer att avvika lite från linjen på grund av slumpvariation. Ett intervall med troliga värden på y 0.

5 Prediktion: vindhastigheter På en plats vill man ta reda på den genomsnittliga vindhastigheten vid 60 m höjd. Detta är svårt att mäta direkt, men man kan mäta vid m höjd. Vindhastighet som funktion av höjd (logskala) ln(vindhastighet) ln(höjd) 5/18

6 6/18 Prediktion: vindhastigheter Vindhastighet som funktion av höjd Vindhastighet (m/s) Anpassad kurva Extrapolerad kurva Konfidensintervall för kurva Prediktionsintervall Höjd (m)

7 7/18 Extrapolering Även om den linjära modellen ger en bra beskrivning av ett samband i det område som undersökts så behöver det inte vara så att sambandet är linjärt även utanför detta område. VARNING! Det kan vara farligt att använda modellen utanför det område där den anpassats! Se exempel på tavlan!

8 8/18 Modellantaganden Modellen som vi använde för att ta fram skattningarna bygger på ett antal antaganden: Det finns ett linjärt samband mellan x och y. Mätfelen/slumpavvikelserna ɛ i är normalfördelade och har alla samma varians σ 2. Hur kan vi undersöka dessa antaganden?

9 9/18 Residualstudier Låt e i = y i ( ˆm + ˆkx i ) Residualerna e i beskriver datamaterialets spridning kring den anpassade linjen. Se tavlan! Genom att plotta residualerna och exempelvis rita deras histogram så kan antagandet om oberoende mätfel och att ɛ i N(0, σ 2 ) undersökas. Mönster i residualplotten tyder på beroende mätfel eller att modellen är felaktig. Skillnader i residualernas spridning för olika x i tyder på att variansen σ 2 inte är konstant utan beror på x i. Histogram som inte liknar normalfördelningens täthetsfunktion tyder på att mätfelen inte är normalfördelade.

10 10/18 Residualstudier: tryck i bensintank Residualplot Histogram för residualer Residual Frekvens Tryck Residual

11 11/18 Residualstudier: processorbelastning Residualplot Histogram för residualer Residual Frekvens Belastning Residual

12 12/18 Residualstudier: processorbelastning Anpassning av en rät linje till ursprungliga (icke-logaritmerade) processordata: Test av processors livslängd Livslängd (h) Belastning, andel av max

13 13/18 Residualstudier: processorbelastning Residualplot Histogram för residualer Residual Frekvens Belastning Residual

14 14/18 A-delen från tentan (h) För observationerna (x 1, y 1 ),..., (x 15, y 15 ) har man anpassat modellen y = α + βx + ɛ, där ɛ N(0, σ 2 ). Statistisk programvara gav punktskattningarna ˆα = 1.9, ˆβ = 0.5, ˆσ 2 = Ange utifrån den anpassade modellen det förväntade värdet på y, givet att x = 5.0. (1p)

15 B-delen från tentan Ett isoleringsmaterials kompressionsvärden undersöktes under olika betingelser på tryck och temperatur. Under ett försök så hölls temperaturen konstant vid 50 C medan man gjorde 10 mätningar av kompressionen y då trycket x hölls vid olika värden mellan 1 och 5 bar. Följande beräknades: 10 i=1 10 i=1 (x i x)(y i ȳ) = 10.26, x i = 30, 10 i=1 10 i=1 Man antog följande regressionsmodell: y i = 23.6, (x i x) 2 = 16.30, y i = α + βx i + ɛ i, 10 i=1 (y i ȳ) 2 = där ɛ i är oberoende mätfel med fördelning N(0, σ 2 ). (a) Skatta α, β och σ 2. (3p) (b) Skatta den förväntade kompressionen vid temperaturen 50 C och trycket 4.5 bar, samt ange ett 95% prediktionsintervall för kompressionen under dessa förhållanden. (3p) 15/18

16 Konfidensintervall Om problemet går ut på att räkna ut ett konfidensintervall så behöver man veta två saker: Vad man vill ha ett konfidensintervall för (t.ex. µ). Vilken information man har fått (t.ex. x och σ 2 ). Bortsett från intervallen vid regression så finns det fyra huvudproblem: KI för väntevärdet: µ. KI för skillnaden i väntevärden: µ X µ Y. KI för en andel: p. KI för skillnaden i andelar: p 1 p 2. Dessa kan i sin tur delas upp i olika fall. De fall som brukar kunna dyka upp på tentan presenteras på nästa sida. 16/18

17 Konfidensintervall 1. KI för µ, σ känd: x ± λ α/2 σ n 2. KI för µ, σ okänd: x ± t (n 1) α/2 s n 3. KI för µ, X ej normalfördelad: om n är tillräckligt stort så kan s intervallet x ± λ α/2 n användas som approximation. 4. KI för µ X µ Y, σ okänd: (nx +ny 2) x ȳ ± t α/2 s p 1/nx + 1/n y 5. KI för µ X µ Y, stickprov i par: ta differenserna z i = x i y i och använd z 1,..., z n i intervallen 1-2! 1 6. KI för p: ˆp ± λ α/2 n ˆp(1 ˆp) om ˆp(1 ˆp)n KI för p 1 p 2 : ˆp 1 ˆp 2 ± λ α/2 1 n 1 ˆp 1 (1 ˆp 1 ) + 1 n 2 ˆp 2 (1 ˆp 2 ) 17/18

18 18/18 B-delen från tentan I en studie jämfördes smältpunkten för två legeringar som används som lod vid lödning genom att man smälte 20 stycken prov av vardera legering och mätte temperaturerna. För den första legeringen fick man x 1 = 215 och s 1 = 2.2 och för den andra legeringen fick man x 2 = 218 och s 2 = 2.8. De uppmätta smältpunkterna kan ses vara normalfördelade. Kan man utifrån detta säga att den andra legeringen har en högre smältpunkt än den första? abrakadabra (6p)