Kvalitativ Analys. Utvärderingsmetoder inom MDI DH2408

Transkript

1 Kvalitativ Analys Utvärderingsmetoder inom MDI DH2408

2 Inlämningsuppgift 2 Era gruppinlämningar ligger här framme, leta reda på er egen!!! Jag har godtyckligt gett er ett gruppnummer, referera till det i fortsättningen men glöm inte namn! Ställ frågor i pausen eller efter föreläsningen Godkänt eller Komplettering Generellt: - Inomgrupps/mellangruppsdesign - Operationalisera -> hur tänker ni mäta? - Referenser!! Elina Eriksson elina@kth.se KTH/CSC/MDI 2

3 Kvalitativ Analys Vi samlar en stor mängd data, vårt mål är att reducera datamängden och kunna beskriva den i sammanfattande abstrakta termer. Ibland räcker en skriftlig sammanfattning, ibland måste man analysera data mer ingående. Vi kan utgå från tidigare kunskap/teori och se våra data i ljuset av den, eller utgå från data och bilda teori utifrån dem Elina Eriksson elina@kth.se KTH/CSC/MDI 3

4 Kvalitativ Analys Oftast en enorm mängd data Tar tid att gå igenom, reducera och analysera! Ofta inser man att man saknar information, måste samla in mer Tumregel: 1 h intervju tar 4 h att transkribera En första genomgång så snart som möjligt efter insamlingen Helst samma personer som gör insamlingen som gör analysen Elina Eriksson elina@kth.se KTH/CSC/MDI 4

5 Kvalitativ databearbetning Elina Eriksson KTH/CSC/MDI 5

6 Transkribering Man kan transkribera materialet på olika nivåer - Det som sägs och görs sammanfattas (tolkas delvis) - Varje ord (och beteende) skrivs ned - Hummanden, pauser, pausers längd och mimik noteras Elina Eriksson elina@kth.se KTH/CSC/MDI 6

7 Förbereda datamaterialet Rådata Är det urval av den totala mängden information som finns att hämta ur data, som kommer med i transkriptet och som kommer att utgöra underlaget för analysen Reducera materialet - Innehållsligt d.v.s. vilka ämnen som tas upp - Formässigt d.v.s hur transkriptionen görs Elina Eriksson elina@kth.se KTH/CSC/MDI 7

8 Bilda dimensioner Dela in materialet i analysenheter Tillskriv varje analysenhet en kod eller kategori (numrera). Kan ha fördefinierats i observationsprotokollet/intervjuguiden - Vill inte tappa bort från vilken respondent analysenheten kommer ifrån Sammanfattande ord/mening eller symbol för analysenheten Sortera de enskilda analysenheterna från olika personer i dimensioner Interbedömarreliabilitet vid kodning Elina Eriksson elina@kth.se KTH/CSC/MDI 8

9 Analys av kvalitativa data Analysenheter organiseras i dimensioner Ofta är de relevanta för flera dimensioner, och kan upprepas på dessa platser Ordna efter samma dimensioner per respondent Jämför sedan olika individer per fråga och dimensioner Datorn är till hjälp, men ett stort bord med lappar är inte att förakta Elina Eriksson elina@kth.se KTH/CSC/MDI 9

10 Analys av kvalitativa data Elina Eriksson KTH/CSC/MDI 10

11 Elina Eriksson KTH/CSC/MDI 11

12 Sortera data Sortera på olika sätt för att få fram olika aspekter Matris jmf. Respondent, ålder osv med data för dimension 1, dimension 2 osv Person 1 Person 2 Person 3 Dim 1/Fråga 1 Dim 2/Fråga 2 Dim 3/Fråga 3 Låter oss jämföra svar men också kontrollera att vi fått svar inom temat från alla personer Elina Eriksson elina@kth.se KTH/CSC/MDI 12

13 Söka mönster i materialet Det räcker inte att bara beskriva fenomen innehållsligt. Det krävs också syntes och tolkning - Den vanligaste kritiken, när man vill prata med användare, att de säger så olika saker, eller inte vet vad de vill ha. En sammanfattning av de viktigaste problemen och eventuella styrkorna hos ett system, helst satta i ett större användningssammanhang Elina Eriksson elina@kth.se KTH/CSC/MDI 13

14 Syntes Tolka vad resultatet gällande de enskilda delarna betyder på en abstraherad nivå Sök efter övergripande princip/er Undersöka om variabler verkar påverka varandra i någon riktning Elina Eriksson elina@kth.se KTH/CSC/MDI 14

15 Mättnad När nya datainsamlingar inte tillför mer i information gällande en kategori Elina Eriksson elina@kth.se KTH/CSC/MDI 15

16 Kritisk granskning av slutsatserna Giltighet - Finns det andra tolkningsmöjligheter - Förståelsen av begrepp - Dolda bakomliggande dimensioner - Har ny kunskap uppnåtts? Tillförlitlighet - Har utvärderaren som instrument varit tillräckligt bra? - Dimensionernas definitioner - interbedömarreliabilitet Elina Eriksson elina@kth.se KTH/CSC/MDI 16

17 Övning! Elina Eriksson KTH/CSC/MDI 17

18 Presentera resultatet Vem är läsaren? Kvalitativt data är rikt, tappa inte bort det när det ska presenteras utan att göra skandaljournalistik! Vi har en väldig massa bra verktyg som vi aldrig använder. T ex DW produktion, som vi inte använder. Är innehållet för dåligt? Det ställs inga krav på mig som chef att använda det Elina Eriksson elina@kth.se KTH/CSC/MDI 18

19 Till slut Rekommendera åtgärder utifrån insamlade data och analys för varje uppmärksammat problem Konkreta åtgärder, inte bara påpeka problemen Elina Eriksson KTH/CSC/MDI 19