Misforståelser og myteskaping om utdanningsforskning
På mange måter har denne debatten om den såkalte «evidensbevegelsen» vært trist å følge.
Innlegget ble første gang publisert på læringsbloggen.no
I et innlegg på Utdanningsnytt kom Bjerrum Nielsen med påstander om «samrøre mellom politikere og evidensbevegelsen i utdanningsforskning». I innlegget til Bjerrum Nielsen var det dessverre upresisheter og misforståelser. Her er noen av dem:
1. «Statistiske effektstudier med metaanalyser av veldefinerte, målbare forhold er normgivende gullstandard, mens eksperterfaring befinner seg på bunnen av rangstigen.»
Nye tiltak eller intervensjoner skaper ofte entusiasme, og det er lett å glemme at de også kan ha utilsiktede negative konsekvenser. Når man skal undersøke hvilke konsekvenser en endring har, er det avgjørende å kunne trekke så sikre konklusjoner som mulig. Det er bred enighet i de fleste fagfelt, ikke bare medisin, men også psykologi, økonomi og sosiologi at den sikreste måten er en såkalt randomisert kontrollert undersøkelse.
Den polariserte debatten om «evidens» bidrar til myteskaping som skaper et dårlig utgangspunkt for samarbeid og dermed kan hindre utviklingen av ny kunnskap.
Det innebærer at man trekker lodd og fordeler personer (eller skoler, kommuner etc) i to grupper, en som får tiltaket og en annen som er en sammenligningsgruppe. Alle forskjeller mellom gruppene da tilfeldige på grunn av loddtrekningen. Dersom man ser økte forskjeller mellom gruppene etter endringen, er det sannsynlig at disse skyldes endringen. Dersom man ikke har denne loddtrekningen kan gruppene være ulike i utgangspunktet. Dermed kan endringen også virke forskjellig på gruppene.
Når man skal studere konsekvenser av en endring, er det viktig å gjøre slike randomiserte kontrollerte studier, siden det er bred enighet om at det gir sikrest kunnskap. Det betyr selvsagt ikke at slike undersøkelser er perfekte. Kartleggingen man bruker kan ha dårlig kvalitet og uforutsette ting kan skje under endringen. Derfor er det aller beste å ha såkalte meta-studier hvor man ser flere randomiserte kontrollerte undersøkelser i sammenheng.
Det er altså gode grunner til at det Bjerrum Nielsen kaller «statistiske effektstudier med metaanalyser» men som vanligvis kalles meta-analyser av randomiserte kontrollerte studier, er best egnet til å studere effekten av en endring.Det burde vel egentlig være innlysende at dette rangeres høyere enn det Bjerrum Nielsen kaller «eksperterfaring». En «ekspert» (hva nå enn det er) vil jo ikke kunne forutse konsekvenser av en endring, det må selvsagt undersøkes systematisk.
2. «deres metode er den eneste som er vitenskapelig, mens alle andre måter å skaffe til veie kunnskap på dermed ikke er det».
Det Bjerrum Nielsen her misforstår, er at rangeringen av undersøkelsestyper gjelder bare dersom forskningsspørsmålet handler om konsekvenser av en endring. For andre forskningsspørsmål er det selvsagt andre vitenskapelige metoder som er best egnet. En metode er ikke mer eller mindre vitenskapelig enn en annen, men de varierer når det gjelder hvilke forskningsspørsmål de kan svare på. Det er derfor viktig å kjenne til mulighetene og begrensningene ved den enkelte metode.
3. «mange politikere ganske ukritisk har godtatt dens [evidensbevegelsens] krav om å ha definisjonsrett for hva som er gyldig evidens og gode beslutningsgrunnlag»
Er det egentlig så underlig at politikere og andre som arbeider med politikkutforming er opptatt av resultatene fra randomiserte kontrollerte studier? Dersom man er ansvarlig for endringer som kan få store konsekvenser for enkeltpersoners liv, ønsker man selvsagt sikrest mulig kunnskap om både positive og negative følger av endringen. Det kan randomiserte kontrollerte undersøkelser bidra til, og resultatene fra disse kan nyansere og utdypes med andre undersøkelsestyper.
4. «Evidensbevegelsen»
Bjerrum Nielsen kaller de som gjør slike undersøkelser i utdanningsforskning for en «evidensbevegelse». Dersom det er tilfellet, er det i så fall en svært liten bevegelse i Norge.
Så vidt jeg vet er det (inkludert meg selv) kanskje 10-15 personer som har publisert resultater fra norske randomiserte kontrollerte studier av skole og barnehage.
De siste 30 årene har det knapt, inntil relativt nylig, blitt publisert en eneste norsk randomisert kontrollert studie. Andre undersøkelsestyper har nærmest vært enerådende. Manglende undersøkelser av konsekvenser av tiltak er kanskje også en av grunnen til at vi fortsatt har svært liten kunnskap om hvordan vi bør organisere spesialundervisning, hva som skjer når elever bruker IPAD, eller hvilke tiltak som kan forebygge fravær i skolen.
Det er også viktig å merke seg at bruk av randomisere kontrollerte studier har ført til stor fremgang og ny kunnskap i en rekke fagfelt, blant annet i medisin som Bjerrum Nielsen viser til. Et vanlig motargument er at utdanning er mer komplekst enn å teste effekten av en pille. Noen av de største fremskrittene i medisin nylig er imidlertid langt mer komplekse enn en pille.
Behandlingen av cystisk fibrose krever for eksempel tre ulike typer behandlinger som er skreddersydd til pasientens genetiske bakgrunn. Reduksjonen av overdosedødsfall i USA har også krevd komplekse tiltak som involverer
På mange måter har denne debatten om den såkalte «evidensbevegelsen» vært trist å følge. Innholdet er ofte basert på misforståelser, og den har rommet uvanlig sterk kritikk av enkeltpersoner. Heller enn å kritisere at det nå er et større mangfold i utdanningsforskning, burde Bjerrum Nielsen og andre fokusere på at ulike undersøkelser besvarer ulike forskningsspørsmål, kan gi ulike bidrag og utfylle hverandre. For eksempel kan man i en randomisert kontrollert undersøkelse brukt dybdestudier for å undersøke implementeringen.
Den polariserte debatten om «evidens» bidrar til myteskaping som skaper et dårlig utgangspunkt for samarbeid og dermed kan hindre utviklingen av ny kunnskap.
