UTVÄRDERING - VAD, HUR OCH VARFÖR? MALIN FORSSELL TOVE STENMAN

Transkript

1 UTVÄRDERING - VAD, HUR OCH VARFÖR? MALIN FORSSELL TOVE STENMAN

2 KORT OM RAMBÖLL OCH UTVÄRDERING Ca 60 konsulter i Stockholm, totalt 500 i Europa Ca 80 utvärderingar varje år i Sverige Stora utvärderingar, små utvärderingar och allt däremellan! Hjälper även kunder att själva kunna följa upp och utvärdera sitt arbete

3 SYFTET MED PASSET Att du ska få en översiktlig bild av: Vad är utvärdering? Vad är det bra för? Hur gör man då? För att du själv ska känna dig inspirerad att fundera på uppföljning och utvärdering i din verksamhet För att du ska få en bild av utvärderingen av Carpe 2

4 VAD: SKILLNADEN MELLAN UTVÄRDERING OCH UPPFÖLJNING Uppföljning Beskriver vad som hänt. Kan göras för att kontrollera hur en verksamhet genomförs. Används ofta som grund i utvärdering. Exempel: Hur många på vår arbetsplats har deltagit i hur många kompetensutvecklingsinsats er? Utvärdering Beskriver vad som hänt. Innehåller även en värdering, ett omdöme. Vill förklara varför. Exempel: Har vi nått våra mål om kompetensutveckling på vår arbetsplats? Varför nådde vi/nådde vi inte målen? Får sitt existensberättigande genom användbarhet!

5 BIKUPA! Kan du hitta ett exempel på vad ni i er verksamhet skulle behöva göra en uppföljning av? Varför? och ett exempel på vad ni skulle behöva utvärdera? Varför?

6 VARFÖR UTVÄRDERA? FLERA ANLEDNINGAR! Kontrollerande har vi gjort det vi ska göra? Utvecklande gör vi rätt saker på rätt sätt? Inkluderande vad tycker brukarna om det vi gör?

7 HUR: TEORIBASERAD UTVÄRDERING Utgår från teori om vad som ska utvärderas - inte enbart vad som vore intressant! Vill besvara om en åtgärd uppnår sina mål och försöker förstå hur effekter uppstår. Vad är då teorin? Jo, verksamhetens mål och hur det är tänkt att de ska nå dem! Aktiviteter Utfall Resultat Effekter

8 HUR: EXEMPEL PÅ FÖRÄNDRINGSTEORI AKTIVITETER UTFALL RESULTAT EFFEKTER Projektet erbjuder kompetensutveckling Chefer, medarbetare och handläggare deltar Chefer, medarbetare och handläggare får ökad kunskap och kompetens Brukare får i ökad utsträckning det stöd och den service de har rätt till och behöver

9 HUR: NÄSTA STEG - VIKTEN AV ATT HA MÄTBARA MÅL Mål ska vara ett verktyg för att hjälpa er att veta om verksamheten är på rätt väg. Om inte finns mål svårt att veta vad som behöver förbättras. Om du inte mäter resultat kan du inte skilja framgång från misslyckande. Alice: Kan du säga mig vilken väg jag skall ta? Katten: Det beror på vart du ska gå? Alice: Det vet jag inte... Katten: Då spelar det ingen roll vilken väg du tar.

10 HUR: TEORIBASERAD UTVÄRDERING Exempel på mål på utfallsnivå: 800 medarbetare ska ha gått utbildning om Y innan 31 dec Exempel på mål på resultatnivå: 80 % av medarbetarna ska kunna genomföra Y innan 31 dec Aktiviteter Utfall Resultat Effekter

11 HUR: SMARTA MÅL Specifikt ju snävare desto effektivare Mätbart ska gå att mäta Accepterat av de som ska uppfylla målet Realistiskt målet ska gå att nå Tidsbestämt ska finnas en tid när målet ska vara nått Kan vara svårt att använda i många offentliga verksamheter använd modellen som utgångspunkt! Enkelt att mäta produktion svårare att mäta resultat!

12 BIKUPA! Vilka mål skulle man kunna ställa upp för att kunna mäta om kompetensutvecklingen på din arbetsplats ger önskade resultat?

13 HUR: METODER ATT SAMLA IN INFORMATION FÖR ATT MÄTA MÅLUPPFYLLELSE Val av metod/er beror på vilken typ av information man vill få ut. Alla metoder har sina användningsområden och begränsningar. Att kombinera metoder är ofta värdefullt men anpassa efter de praktiska förutsättningarna!

14 HUR: NÅGRA VANLIGA METODER Intervjuer Enkätundersökning Observation Gruppintervjuer Fokusgrupper

15 HUR: ENKÄTUNDERSÖKNING, OBSERVATION OCH INTERVJUER Enkät: Effektivt för att samla in information från många personer. Frågor med öppna och/eller stängda svarsalternativ. Varför viktigt att svara på en enkät? Intervjuer: Användbart för att fånga resonemang och komplexa orsakssamband. Från stängd intervjuguide till ingen alls - vi har ofta semistrukturerade intervjuguider. Observation: Användbart för att observera interaktion eller procedurer som är svåra att prata om Utgå från ett observationsschema

16 HUR: FOKUSGRUPP JÄMFÖRT MED GRUPPINTERVJU Fokusgrupp: Hög grad av interaktion mellan deltagarna. Gruppdynamiken skapar nya reflektioner bland deltagarna. Formen är ett samtal, inte en intervju! Gruppintervju: Hög grad av interaktion mellan intervjuare och deltagare. Direkta frågor och svar. Svar utifrån frågor. Diskussion utifrån teman. Hur: gärna 2 personer, en moderator och en observatör. Spela in eller anteckna.

17 HUR: FOKUSGRUPP JÄMFÖRT MED GRUPPINTERVJU, FORTS. Fokusgrupp: När: bred förståelse för hur en målgrupp resonerar kring eller upplever ett ämne. T.ex. för att hitta relevanta frågeområden inför enkäter Fördelar: resurseffektivt, ämnen belysta ur olika perspektiv, minimal styrning/påverkan från intervjuare. Risker: gruppdynamik, att deltagarna svävar ut. Gruppintervju: När: då man vill testa hypoteser eller har särskilda frågor som måste besvaras. Fördelar: resurseffektivt, frågor belysta ur olika perspektiv, säkrar att intervjuaren får svar på relevanta frågor. Risker: Intervjuaren påverkar svar, gruppdynamik.

18 DAGS FÖR PAUS!

19 HUR: VAD GÖRA MED MATERIALET? Intervjuer kan sammanställas på olika sätt, som är olika resurskrävande Transkribera samtalen allt prat skrivs ut ordagrant Anteckna det viktigaste nedtecknas Video eller bandinspelning Sammanställ så snart som möjligt! Påbörja analysen så snart som möjligt! Sammanställning kan t.ex. göras genom att räkna frekvenser (enkät), kategorisera svar eller identifiera övergripande resonemang.

20 HUR: VAD GÖRA MED RESULTATEN? Uppföljning: Sammanställ resultaten från datainsamlingen. Beskriv resultaten. Utvärdering: Sammanställ resultaten från datainsamlingen. Bedöm/värdera: Vad säger insamlad data om måluppfyllelsen? Förklara: Vad säger insamlad data om förklaringar till resultaten? Beroende på användningsområde: i rapportform, kortare dokument, Power Point, Prezi etc.

21 REPETITION VAD, VARFÖR OCH HUR? Vad: beskrivning, bedömning, vill förklara varför Varför: t.ex. underlag för förbättring av verksamheten Hur: utgå från verksamhetens syfte, identifiera mätbara mål, undersök måluppfyllelsen och förklaringar med lämplig datainsamlingsmetod, sammanställ, analysera och rapportera!

22 AVSLUTNINGSVIS Frågor, funderingar eller reflektioner? Har ni fått någon idé som ni skulle vilja genomföra?

23 TACK FÖR OSS!

24 NÅGRA LÄSTIPS OM DATAINSAMLINGSMETODER Metodpraktikan, Esiasson, Giljam, Oscarsson, Wägnerud Kvalitativa intervjuer, Jan Trost Fokusgrupper om fokuserade gruppintervjuer som undersökningsmetod, Victoria Wibeck