«Man må være varsom med å kun basere seg på Hatties konklusjoner om hva som kjennetegner god undervisning»

I forsøket på å gjøre læring synlig går viktige nyanser tapt, og hans bidrag er i stor grad preget av et bestemt syn på hva læring er og skal være.

John Hattie har gjennom de siste 10 årene hatt en betydelig innflytelse over den pedagogiske debatten. Det gjelder ikke bare i Danmark, der flere kommuner bruker utdanningsprogrammer som bygger på hans teori om Synlig læring, men også i Norge, der en rekke av Hatties bøker er oversatt.

Siden 2009, da den opprinnelige Visible learning kom ut, har hans innflytelse på den pedagogiske debatten rundt undervisning bare blitt større. I 2015 erklærte den danske pedagogiske forskeren Lars Qvortrup at det skjer en «Hattie-revolusjon» innenfor utdanning, og at det «overalt i uddannelsesverdenen synes der at foregå en udvikling i retning av det såkaldte synlig-læring-paradigme» (Hansen, Lekhai, Nordahl, Persson & Qvortrup, 2015: 4).

Kjernen i Hatties arbeid er den statistiske bearbeidingen av en mengde metaanalyser, som handler om forsøk på å forbedre elevers prestasjoner. Metaanalyser prøver systematisk å samle de enkeltundersøkelsene som finnes innenfor et bestemt område, og så regne ut hvilke effekter en gitt intervensjon kan ha. Det kan for eksempel være effekten av større eller mindre klassestørrelse, bruk av lekser eller tilbakemeldinger.

Hattie har samlet en stor mengde metaanalyser som spenner over en lang rekke pedagogiske intervensjoner, og på den bakgrunn formulerer han en samlet teori om hva som kjennetegner god undervisning. På bakgrunn av disse analysene har Hattie laget en rangeringsliste over hvilke tiltak som er de mest effektive. Samtidig har Hattie, med utgangspunkt i sine analyser, utarbeidet en syntese som består av en teori om hva som kjennetegner effektiv undervisning og læring. Mens det i den opprinnelige boken var analysert rundt 800 metaanalyser som inneholdt 52 637 enkeltundersøkelser, som ga 138 enkeltfaktorer, er antallet i dag (ifølge visiblelearingplus.com) 1 400 metaanalyser som består av 93 000 enkeltundersøkelser og mer enn 250 effektstørrelser.

Allerede i sine tidligere publikasjoner var det snakk om den uten sammenligning største mengde data om elevers prestasjoner som hittil er blitt bearbeidet (Polanin, Maynard,& Dell, 2016). Kvantitativ forskning på pedagogiske effekter er blitt langt mer vanlig og gir ofte inntrykk av å være objektiv og definitiv. Slik sett er den av og til med på å lukke, fremfor å åpne, for den pedagogiske diskusjonen rundt undervisningens innhold og elevenes læring.

Hattie har nylig beskrevet seg selv som -«ekspert på måling, jeg er statistiker, jeg er ikke teoretiker, så jeg har ikke skrevet en masse teori» (Knudsen, 2017, p. 259, vår oversettelse). Kort sagt, Hattie identifiserer seg først og fremst med metodedelen av arbeidet – og i mindre grad med de teoretiske forutsetningene eller konklusjonene. I det følgende tar vi Hattie på ordet og spør hvorvidt hans arbeid lever opp til de standarder han selv arbeider innenfor – altså primært spørsmålet om hvorvidt den anvendte metoden er så entydig som han og hans tilhengere ser ut til å mene.

Grunnen til at vi mener det er viktig å ta utgangpunkt i Hatties egne analyser, er at vi mener vi slik sett kan vurdere Hatties bidrag ut fra hans egen forståelse av feltet han arbeider innenfor. Til slutt vil vi kort se på hvilken betydning dette har for hvordan undervisning, læring, lærere og elever blir forstått innenfor begrepet «synlig læring». Vår overordnede bekymring er at det tekniske og statistiske «språket» som Hattie benytter til å beskrive grunnleggende pedagogiske spørsmål på, lukker for en pedagogisk diskusjon rundt skolens formål og rammene for undervisningens planlegging og gjennomføring.

Vi ønsker med vår analyse å åpne for den pedagogiske debatten ved å vise at størstedelen av Hatties analyser hviler på skjønn, helt bestemte teoretiske antagelser og på Hatties egne vurderinger. For å oppsummere, Hatties forskning bør sees på som et bidrag til diskusjonen og ikke som selve svaret på hva som er god undervisning.

Metodiske problemstillinger

Hattie stiller opp en rekke «barometre» for ulike typer pedagogisk intervensjon, der denne intervensjonens effekt er angitt. I den forbindelse opererer Hattie med et vippepunkt (cut off score), som er den verdien Hattie mener man som et minimum skal sikte mot gjennom sine tiltak innenfor klasserommet (Hattie, 2009). Vippepunktet er først og fremst en pragmatisk verdi – den er til for å kunne grovsortere funnene. Hattie bestemmer seg for at vippepunktet ligger på d=0,40, ut fra den pragmatiske logikken at vippepunktet kan baseres på gjennomsnittet av effektstørrelsene av de 800 metaanalysene. Denne beslutningen er ikke på langt nær så uproblematisk som den i første omgang kan se ut til. Selv skriver Hattie: «This cut was the average effect from 800-plus meta-analyses and the book fully elaborates on the origin of this claim. It is a threshold to create a story (about what is common above and below this effect) (…)» (Hattie, 2009, s. 89 – vår kursivering). Vippepunktet er altså først og fremst et retorisk eller et narrativt begrep, som skal skille «klinten fra hveten», nemlig ut fra mengden av enkeltfaktorer skille ut de enkeltfaktorene som fortjener ekstra oppmerksomhet. Problemet med Hatties vippepunkt, er at den er subjektivt valgt, og hadde han valgt å legge den på 0.30 eller 0.50, så ville det hatt en stor betydning for hvilke pedagogiske intervensjoner man kan betrakte som viktige og hvilke som kan sees som mindre viktige.

Enkelteffektstørrelsene skjuler variasjoner, ettersom det kan være en betydelig variasjon mellom ulike tiltak innenfor den «rene» effekten Hattie beskriver. Dermed kan det i noen tilfeller være relevant å ta i bruk tiltak som ellers ville komme under vippepunktet på Hatties liste (f.eks. hjemmelekser), på samme måte som store effekter ikke automatisk betyr at disse er relevante i alle situasjoner (f.eks. tilbakemelding).

Et mye omtale område er effekten man har av å gi elevene hjemmelekser. Men denne effekten er beregnet på tvers av mange aldersgrupper. Effekten på elevene på de laveste trinn i barneskolen er d=0,15, mens den er d=0,64 for elever i videregående skole. For elevene i videregående skole er effekten klart over Hatties vippepunkt, men på grunn av måten man har regnet ut effekten på, nemlig på tvers av aldersgrupper, forsvinner vesentlig informasjon, og valgene man gjør kan bli uheldige. Dermed ser vi at Hatties beslutning om å ikke skille mellom effekter i grunnskole og videregående skole har betydning for konklusjonene som han trekker.

At effekten ved hjemmelekser varierer etter elevers klassetrinn, er et konkret eksempel på det man i statistikken kaller moderator [se note]. En moderator er for eksempel alder, tidligere viten, kjønn eller sosioøkonomiske forhold som, hvis man trekker det inn i en analyse, har betydning for resultatet. Eksempelvis er et klassetrinn en bakgrunnsvariabel nettopp fordi effekten av lekser på elevenes prestasjoner endrer seg alt etter om elevene akkurat har startet i skolen eller er nye på videregående skole. Eksempelet med hjemmelekser illustrerer derfor også hvordan Hattie ved å insistere på å lage en liste med enkelteffektstørrelser ignorerer moderatorene, muligens for å klarere kunne kommunisere den enkelte type intervensjon. Å samle alle undersøkelser om bruk av lekser er kommunikativt mer effektivt enn å skulle gjengi effekten av å gjøre lekser med alle de mange moderatorene som han kan tenke seg vil ha betydning (for eksempel kjønn, klassetrinn, osv.). En annen faktor som ofte trekkes fram som vesentlig, er spørsmålet om elevers sosiale bakgrunn. Hos Hattie er dette aspektet «trukket ut», og gir sin egen effekt (d=0,52). Men sosial bakgrunn kan ikke uten videre forstås som en selvstendig effekt. Mange andre bruker den tvert imot som en moderator for elevers prestasjon i skolen (Blichfeldt, 2011; OECD, 2005; Snook, O’Niel, Clark, O’Neill, & Openshaw, 2009). Elevers sosiale bakgrunn har differensierende betydning for deres utbytte av skolens arbeid. Elever som har en utfordrende bakgrunn, vil få mindre ut av det arbeidet som utføres i skolen enn andre elever som ellers har tilsvarende forutsetninger. Hatties begrunnelse for å ikke ta sosial bakgrunn inn i alle analysene, er at det er et forhold som skolen ikke kan gjøre noe med. (Hattie, 2009, s. x-xi). Man kunne omvendt hevde at det å kjenne til betydningen av sosial bakgrunn og dens forskjellige effekter kunne hjelpe lærere til å ta mer kvalifiserte valg. Dette står også i sterk kontrast til den generelle danske utdannelsespolitikk hvor skolen skal forsøke å minske betydningen av sosial bakgrunn. Det at skolen naturligvis ikke kan endre den bakgrunnen elevene har, er noe helt annet enn at skolen ikke kan forholde seg til de effektene denne bakgrunnen har. Men de effektene sorterer Hattie bort gjennom sin måte å regne ut enkelteffektstørrelser på, og man risikerer dermed å få en klasseblind pedagogisk tenkning.

Det er bemerkelsesverdig og særdeles problematisk at Hattie helt eksplisitt ikke gjør kvalitetsvurderinger av de metaanalysene ha trekker inn i sin syntese. Blant metaanalysene som trekkes inn, er det stor forskjell på hvilke kriterier de har for inklusjon og eksklusjon av enkeltundersøkelser. Noen har en kontrollgruppe, andre har det ikke – og ikke alle bruker kun randomiserte kontrollerte forsøk, som er den gylne standarden for effektforsk-ning (Torerson & Torgerson, 2009).

Når rubb og stubb blir tatt med i metaanalysene

Hattie tar ikke bare med undersøkelser av lav kvalitet, i tillegg samler han svært forskjellige slags undersøkelser under den samme betegnelsen. Et av de helt avgjørende elementer i Hatties arbeider er den store mengden metaanalyser han benytter som grunnlag for sine konklusjoner. Et av problemene med de mange metaanalysene er at man kan være i tvil om hvorvidt de faktisk undersøker den pedagogiske intervensjonen som Hattie beskriver, eller om de omfatter noe helt annet. Hvis de ulike undersøkelsene ikke dekker det samme fenomenet, så forsvinner ganske enkelt grunnlaget for de konklusjonene han trekker. I det følgende vil vi benytte tilbakemeldinger (feedback) som eksempel på en intervensjon der man kan bli i tvil om hvorvidt det er det samme fenomenet Hattie undersøker innenfor alle de metaanalysene han benytter. Tilbakemeldinger er sentralt innenfor Hatties teori om synlig læring, og har derfor stor betydning for hvor holdbare hans resultater er.

Hattie definerer tilbakemeldinger som «information provided by an agent (e.g. teacher, peer, book, parent, or one’s own experience) about aspects of one’s performance or understanding» (Hattie, 2009, s. 174). I den samme boken finner han effekten (d=0,73) ved analyse av 23 metaanalyser, og tilbakemelding er slik sett en av de sentrale pedagogiske intervensjonsformene både på Hatties hitliste og i hans syntese. Vi har sett nærmere på fem av de tyngste analysene Hattie bruker, og som inneholder 92 prosent av den samlede mengde elever i de 23 metaanalysene. (i.e. Allen, Witt, & Wheeless, 2006; Kluger & DeNisi, 1996; Lysakowki, R.S. Walberg, 1982; Lysakowski & Walberg, 1980; Swanson & Lussier, 2001). Dette har vi gjort for å få innblikk i:

• om metaanalysene er valide (altså om de faktisk handler om tilbakemelding, slik Hattie forstår det)
• om metaanalysene er transparente (om det er åpent hvordan de har foretatt sine analyser)
• hvorvidt det er brukt randomisert kontrollgruppe-design

Figur

Samlet sett er det ikke helt klart om de undersøkelsene Hattie selv kategoriserer som å omhandle tilbakemeldinger, faktisk har den samme forståelsen som han selv legger i tilbakemeldinger. Det er også bemerkelsesverdig at i den ene (i.e. Kluger & DeNisi, 1996) er det et helt annet og nyansert resultatbilde. Her viser det seg at tilbakemeldinger, slik de definerer det, har en samlet effekt på d=0,38 – hvilket er under Hatties vippepunkt. Men ennå viktigere er at 38 prosent av de foreslåtte tiltakene Kluger og DeNisi undersøker, har en negativ effekt på læreprosessen – noe som strider direkte med Hatties antagelse om at «nesten alt virker». Dessuten mener Hattie selv at Kluger og DeNisis undersøkelse er «the most systematic study addressing the effects of various types of feedback» (Hattie, 2009, s. 175).

For å oppsummere: De undersøkelsene som Hattie bygger på når det kommer til tilbakemeldinger, er av svært varierende kvalitet og gjennomsiktighet, og viser samtidig betydelig variasjon med hensyn til om tilbakemeldinger alltid har positiv effekt. Igjen viser det seg en tendens til at det som kommer til å spille en avgjørende rolle, er Hatties subjektive vurdering av hva som kan regnes for sentral forskning innenfor et bestemt område.

Om undersøkelser av effekter i skolen

I denne artikkelen har vi presentert en analyse av Hatties arbeid som bygger på de kriteriene Hattie selv arbeider med. Som det har fremgått, er det atskillige punkter der det er grunn til å være varsom med hensyn til å akseptere Hatties konklusjoner – og derfor spørsmål om hvorvidt Hattie har det endelige svaret på hva god undervisning er. Det er imidlertid noen parallelle problemer her, som i enda høyere grad handler om den overordnede ramme Hattie arbeider innenfor, og som vi avslutningsvis vil skissere.

Hatties arbeid bygger på forskning der pedagogiske intervensjoner undersøkes ved å la en gruppe elever «utsettes» for tiltaket, og så sammenligne deres resultater (for eksempel fra en test) med resultatene hos elever som ikke utsettes for det. Lærere og elevers intensjonalitet, det vil si hensikter, forståelse og opplevelser de måtte ha – har ingen plass i Hatties forskning. I den henseende er det snakk om en variant av behaviorisme, effekten av omgivelsene på deltakernes atferd (her prestasjon). At Hattie er sterkt inspirert av behaviorismen viser seg også i Hatties tidlige publikasjoner (se Klitmøller og Nielsen, 2017 for en utdypning). I de bøkene som fulgte etter Synlig læring (f.eks. Synlig læring for lærere og Synlig læring – hvordan vi lærer) blir det tydelig at elever ikke beskrives som intensjonelle vesener som har erfaringer og opplevelser med skolen. I stedet beskrives de på bakgrunn av faktorer som er konstruktive eller destruktive i forhold til at forskjellige innsatser faktisk har den ønskede effekt. På samme måte forstås lærere kun i relasjon til deres villighet til å kanalisere prinsippene bak synlig læring.

Som vi skrev ovenfor, så anser Hattie seg selv for å være statistiker, og forstår dette som noe annet enn å være teoretiker. Men å insistere på å forstå skolens oppgave som «å øke prestasjoner», er å ta pedagogisk stilling; å ignorere forskjellige former for læring for å kunne presentere klare resultater, er en læringsteoretisk stillingtagen; å anta at intensjonalitet ikke er relevant når man forsker på menneskers handlinger, er psykologisk, så vel som filosofisk, å ta stilling; og det å på samme tid ignorere en rekke moderatorer, er en statistisk-teoretisk stillingtagen. Vi må med andre ord betrakte Hatties forskning som et innlegg blant andre i diskusjonen om hva som kjennetegner god utdannelse og undervisning. Hovedproblemet i Hatties forskning er at de mange undersøkelser, effektmål og statistikker får hans arbeider til å fremstå som vitenskapelig objektive og definitive, og dermed hinsides pedagogisk diskusjon, fremfor å være partsinnlegg i nettopp den pedagogiske diskusjonen. Vi har med denne artikkelen samlet noen poenger fra en større analyse av Hatties arbeid og forsøkt å vise at Hatties arbeider langt fra er så objektive som de fremstår som. Ytterligere dokumentasjon kan finnes i Nielsen og Klitmøller (2017) og Klitmøller og Nielsen (2017).

FORFATTERE

• Jacob Klitmøller er lektor ved Psykologisk Institut ved Aarhus Universitet. Han har forsket på fenomenologisk læringsteori, analyse av deltakerobservasjon, samt kritiske analyser av forskjellige undervisningsteknikker og -programmer, deriblant John Hatties oppfatning av synlig læring.
• Klaus Nielsen er professor i pedagogisk psykologi ved Psykologisk Institut ved Aarhus Universitet. Han har i en årrekke arbeidet med læring i praksis, kvalitativ forskning og forskning på frafall innenfor det pedagogisk-psykologiske fagfeltet. Han har blant annet levert bidrag til og sammen med Steinar Kvale, redigert antologiene «Mesterlære – læring som social praksis» og Praktikkens læringslandskab, som begge beskjeftiger seg med forskjellige former for læring i praksis.

NOTE

Begrepet «moderator» blir ikke brukt i tilsvarende betydning på norsk, men vi beholder det her ettersom det kan være vanskelig å finne et norsk begrep som dekker fullstendig. Et beslektet begrep er «bakgrunnsvariabel» (oversetters anmerkning)]

LITTERATUR

Allen, M., Witt, P.L., & Wheeless, L.R. (2006). The Role of Teacher Immediacy as a Motivational Factor in Student Learning: Using Meta-Analysis to Test a Causal Model. Communication Education, 55 (February 2015), 21–31. https://doi.org/10.1080/03634520500343368

Blichfeldt, F. (2011). Om gyldig forskning og bruk av forsknings- og testresultater. Bedre Skole, (4), 12–17.

Carboni, M. (2013). Forskere: Nytænk lektierne. Skolebørn – Magasin for Forældre Til Børn i Folkeskolen, (Juni). Hentet fra: http://www.skoleborn.dk/juni_2013/side-3.html

Hansen, O., Lekhai, R., Nordahl, T., Persson, B., & Qvortrup, L. (2015). Leder – temanummer om John Hattie. Paideia, 9, 4–8.

Hattie, J. (2009). Visible learning: a synthesis of over 800 meta-analyses relating to achievement. London, New York: Routledge.

Klitmøller, J., & Nielsen, K. (2017). John Hattie som uddannelsesteoretiker – en kritik af teorien om synlig læring. Dansk Pædagogisk Tidsskrift, 2017(2), 3–15.

Kluger, A.N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254–284. https://doi.org/10.1037/0033-2909.119.2.254

Knudsen, H. (2017). John Hattie: I’m a statistician, I’m not a theoretician. Nordic Journal of Studies in Educational Policy, 3(3), 1–9. https://doi.org/10.1080/20020317.2017.1415048

Lysakowki, R.S. Walberg, H.J. (1982). Instructional effects of cues, participation, and corrective feedback: A quantitive synthesis. American Educational Research Journal, 19(4), 559–578.

Lysakowski, S., & Walberg, J. (1980). Classroom Reinforcement. Evaluation in Education, 4, 115–116.

Nielsen, K., & Klitmøller, J. (2017). Blinde Pletter i den synlige læring – kritiske kommentarer til Hattierevolutionen. Nordic Studies in Education, 37(1), 3–18. https://doi.org/10.18261/issn.1891-5949-2017-01-02

OECD. (2005). Teachers matter: Attracting, developing and retaining effective teachers. Overview.

Polanin, J.R., Maynard, B.R., & Dell, N.A. (2016). Overviews in Education Research: A Systematic Review and Analysis. Review of Educational Research, XX(X), 1–32. https://doi.org/10.3102/0034654316631117

Snook, I., Clark, J., Harker, R., Neill, A.O., & Neill, J.O. (2010). Commentary: Critic and Conscience of Society – A Reply to John Hattie. New Zealand Journal of Educational Studies, 45(2), 93–99.

Snook, I., O’Niel, J., Clark, J., O’Neill, A., & Openshaw, R. (2009). Invisible Learnings: A commentary on John Hattie’s book visible learning: A synthesis of over 800 metaanalyses relating to achievement. International Review of Education, 44(1), 93–106.

Swanson, H.L., & Lussier, C.M. (2001). A Selective Synthesis of the Experimental Literature on Dynamic Assessment. Review of Educational Research, 71(2), 321–363. https://doi.org/10.3102/00346543071002321

Torgerson, C.J., & Torgerson, D.J. (2009). Randomized Controlled Trials in Education Research. I: R. St. Clair (Ed.), Education Science – Critical Perspectives (pp. 71–82). Sense Publishers.