«Å tro at store kvantitative studier er verdifrie, og ikke verdibaserte, er i beste fall naivt»

Debatt: Svein Sjøberg imøtegår Thomas Nordahls kritikk av «verdibasert» forskning. – Det er metodefrihet i forskning. Det er mange veier til kunnskap og sannhet, både i naturvitenskap og samfunnsvitenskap, skriver Sjøberg.

Professor emeritus naturfagdidaktikk, Universitetet i Oslo
Publisert Sist oppdatert

Er Thomas Nordahl vår tids Galileo? Det spør man seg etter å ha lest hans artikkel Kritikken av kvantitativ forskning i pedagogikk i det for meg ukjente tidsskriftet Paideia. Tidsskriftet er ikke på internett, så takk til Utdanningsnytt.no som bringer dette videre til offentligheten! Artikkelen ser ut til å være skrevet for «internt bruk» i hans eget tidsskrift, for de som kjøper Nordahls produkter og ideer i Danmark og Norge, først og fremst hans LP-modell for skoleutvikling.

Hoveddelen av Nordahls artikkel er kritikk av en artikkel i Bedre Skole, der danske Jacob Klitmøller og Klaus Nielsen (2018) i en nokså sober tone reiser kritikk mot John Hatties «Visible Learning». De advarer mot «kun å basere seg på hans konklusjoner om hva som kjennetegner god undervisning». Nordahl slår imidlertid aggressivt tilbake med en ganske annen og sterkere retorikk. Han mener at de har en «fullstendig manglende forståelse for forskningsbasert kunnskap». Jeg antar at Klitmøller og Nielsen vil svare ham. I samme omgang omtaler Nordahl en rekke andre danske forskere og lærere, samt Simon Malkenes og meg fra Norge. Malkenes har allerede svart («Nordahls metode») – og her følger min reaksjon.

To fronter, to verdensbilder?

Thomas Nordahl anlegger et slags helhetsperspektiv i sin artikkel. Den bærende fortellingen er at det i dag finnes to markerte fronter innen pedagogisk forskning, både i Norge og Danmark. Som analogi velger han intet mindre enn Galileos kamp for sannhet – mot pavekirkens uvitenhet og ortodoksi. Det dreier seg altså om intet mindre enn kampen for et nytt verdensbilde.

Den ene fronten, det nye verdensbildet, er Nordahls: evidensbasert, kvantitativ og empirisk. Han har John Hatties Visible Learning som ledestjerne (og partner). Dette er fortellingens Galileo Galilei (Ja, Nordahl oppgir Galilei, 2009 (sic) som referanse)

Motstanderne til Nordahl (og altså Galilei), er de som ikke vil se sannheten og lyset. De omtales som uvitenskapelige, anti-empiriske og verdibasert. I denne gruppen har han altså plassert Simon Malkenes og meg. Nordahl hevder at hans kritikere «framlegger en rekke udokumenterte påstander og insinuasjoner om enkeltpersoner i stedet for å føre en prinsipiell vitenskapelig diskusjon.» Merkelig er det da at Nordahl nærmest gjemmer bort sin artikkel i Paedeia, i stedet for å svare Klitmøller og Nielsen i Bedre Skole, der de publiserte sin kritikk – det er jo bare slik en uhildet leser vil kunne vurdere både argumenter og motargumenter og derved «føre en prinsipiell diskusjon», som Nordahl ser ut til å savne. I både Utdanning og Bedre Skole har det jo også tidligere vært artikler med sterk kritikk av Hatties Visible Learning (Blichfeldt 2011; Imsen 2011; Sjøberg 2012).

Hovedbudskapet i Nordahls artikkel er altså at det er to uforenlige posisjoner i pedagogisk forskning. På den ene siden de som tror på kvantitativ forskning, på den andre siden de «anti-empiriske og verdibaserte». Dette er en merkelig konstruksjon. De fleste forskere anerkjenner både det kvantitative og det kvalitative. Skoleforskere, som andre forskere, bruker et mangfold av metoder, alt etter hva problemstillingen krever.

Selv har jeg i hovedsak brukt kvantitative metoder, og jeg opplever det som interessant at Nordahl oppfatter meg som anti-empirisk. Jeg blir litt oppgitt: etter snart 45 år med kvantitative studier knyttet til skole og utdanning, blir jeg klassifisert som anti-empirisk. Jeg har faktisk ledet større kvantitative skolestudier med støtte både fra Forskningsrådet og EUs rammeprogram. Jeg ledet i tre år den første stor-skala internasjonale skolestudien som Norge deltok i, forløperen til det i dag kjenner som TIMSS. Jeg satt også i den faglige ekspertkomiteen for Eurobarometer, Europas største kvantitative undersøkelse. På oppdrag av Forskningsrådet og Fritt ord laget jeg en gjennomgang av hva vi kan trekke ut av slike storskala- undersøkelser. Anti-empirisk? Motstander av kvantitativ forskning? Nordahl oppgir et leserinnlegg i Klassekampen som belegg.

For øvrig har jeg enda til gode å treffe en skoleforsker eller en pedagog som er «anti-empirisk» eller ikke forholder seg til evidens. Men mange, også jeg, mener at store tall og statistikk ikke er det det eneste som teller som evidens. Det er nemlig metodefrihet i forskning – det er mange veier til kunnskap og sannhet, både i naturvitenskap og samfunnsvitenskap.

Mitt første møte med John Hattie (både faglig og personlig) var da jeg etter oppfordring fra Utdanningsforbundet i 2012 ble bedt om å se kritisk (slik man alltid gjør i forskning) på Hatties Visible Learning i forbindelse med at han etter invitasjon av KS skulle holde foredrag i Oslo. Basert på lesing av Hatties bøker og en utstrakt korrespondanse med forskere i andre land, også kolleger av John Hattie, skrev jeg min vurdering i Utdanning (Sjøberg 2012). Jeg kom først og fremst med en prinsipiell kritikk av premissene som ligger til grunn for Hatties beregninger. Han putter likt og ulikt av metastudier i en statistisk gryte og lager på dette grunnlag en syntese, der 137 metoder sorteres som en rangering av «hva som virker» i et klasserom – uavhengig av land, skolesystem, språk, kultur, tradisjon, alder og fag. I klartekst: Hvis metoden virker i matematikk, så virker den også i fremmedspråk. Virker metoden for 6-åringer, så virker den også for 18-åringer. Virker metoden i Chicago, så virker den også i Bremanger. Det er dette han omtaler som «evidensbasert» og «forskningsbasert». De som betviler denne form for empiri, omtales som anti-empiriske.

I mitt innlegg (Sjøberg 2012) viste jeg også til den omfattende kommersialiseringen som allerede da hadde funnet sted basert på Hatties ideer, ofte med sterk involvering av John Hattie selv. Og med partnere i ulike land, i Norge representert ved Thomas Nordahl. Hattie og PISA er «pensum» i Johan Froms skolelederutdanning på BI, der Thomas Nordahl er tilsatt som denne utdanningens pedagogiske alibi.

I april 2015 trakk Hattie og Nordahl fulle hus på Kulturhuset Kilden i Kristiansand, der man for kr 4700 kunne høre deres foredrag og kjøpe deres opplegg med navnet Visible Learning Plus®. Det var ifølge Aftenposten 500 lærere og skoleledere som overvar forestillingen, og de ble sponset av de lokale skolemyndighetene. Aftenposten skriver i referatet:

«Norske skoler driver med mye som fungerer dårlig, skal vi tro Hattie. Mindre klasser, nivådeling, aldersblandede klasser, baseskoler, fritt skolevalg, datastøttet undervisning og sommerskoler gir ikke særlig uttelling. Og kanskje enda mer overraskende: Lekser og læreres fagkunnskap har ikke særlig betydning.» (Aftenposten, 24. april 2015)

Jeg vet ikke hvor de ca. 2,3 millionene i billettinntekter havnet. Jeg vet heller ikke hvordan salget av Visible Learning Plus® gikk.

Hva sier forskningsmiljøet?

John Hatties bøker fra 2009 og utover er skrevet for et allment publikum. De har ikke vært gjennom noen vanlig fagfellevurdering. Men de er (nettopp derfor) blitt bestselgere.

I forskermiljøer blir ikke John Hatties rangeringer av «hva som virker», tatt seriøst – annet enn som et interessant fenomen i seg selv: som et eksempel på hvordan tvilsomme studier kan bli en salgssuksess, få mange tilhengere – og også brukes i kommersielle sammenhenger.

Mangfoldige forskere, fra høyst ulike fag, har publisert faglig kritikk av detaljene knyttet til Hatties metode, valg av data, statistiske behandling, framstilling av data, anbefalinger og konklusjoner.

AERA (American Educational Research Association) er i dag verdens ledende sammenslutning av forskere på utdanningsfeltet. De gir blant annet en Handbook of research on teaching, med systematisk gjennomgang av forskningslitteratur. Dette regnes som referanseverk for forskning innen skole og utdanning. Denne boka vier tre sider til omtale av John Hattie og fenomenet Visible Learning. Her er noen utdrag:

  • Ved å lage enkle rangeringer for å presentere resultatene, tilfredsstiller Hattie medias behov for lett tilgjengelig informasjon […] Ved at han også nedvurderer andres forskning blir han også populær i media. Han omtaler for eksempel de som driver med lærerutdanning som “the most bankrupt institution I know”
  • Det er forbløffende i hvor stor grad Hatties resultater er blitt omfavnet av politikere i mange land, selv om Hattie selv påpeker at han bare baserer seg på engelskspråklige studier. Det er åpenbart at hans analyser har begrenset gyldighet i andre kulturelle kontekster.
  • Et annet poeng ved utvikling av slike forenklede og useriøse (simple-minded) løsninger er involveringen av private selskaper og økonomiske interesser som bidrar til å spre Hatties ideer.
  • Utdanning er i dag vokst til å bli et lukrativt marked […] Private selskaper har i flere land laget opplegg som baseres på Hatties studier. […] Selv har Hattie laget et program for etterutdanning og skoleutvikling, Visible Learning Plus®, som selges til skoler, lokale og nasjonale skolemyndigheter.
    (Paine, Blömeke og Aydarova, O. (2016). Min oversettelse)

«Verdibasert» forskning: Noe negativt?

Men Hatties (og derved Nordahls) kritikere er altså ikke bare «anti-empiriske», de er også «verdibasert». Her må jeg klype meg i armen: Jeg trodde at det var opplagt, ja nærmest uunngåelig, at forskning er verdibasert. Det Nordahl antakelig mener, er at kvantitativ forskning ikke er verdibasert, men hevet over kultur, politikk og verdier. Dette er et mildt sagt «interessant» vitenskapsteoretisk standpunkt. I sin artikkel nevner han riktig nok mulige svakheter og feilkilder ved kvantitative studier, men disse forbeholdene dreier seg først og fremst om den mer tekniske kvalitet på innsamling og bearbeiding av data.

Stort sett bygger all forskning på et sett av verdier, forventninger og idealer. Dette gjelder for alle fag. Når det gjelder storskala internasjonale undersøkelser av elevenes faglige prestasjoner, som for eksempel PISA, TIMSS og PIRLS, bør man alltid spørre om verdigrunnlaget: Hvem står bak prosjektet? Hva slags menneskesyn og samfunnssyn ligger bak prosjektet? Hva slags syn på kunnskap, skole og læring bygger prosjektet på? Å tro at store kvantitative studier er verdifrie, og ikke verdibaserte, er i beste fall naivt. Selv har jeg i flere artikler fremmet kritikk av verdigrunnlaget til OECDs PISA-prosjekt (Sjøberg 2019). Der oppfattes eleven som «humankapital», eleven blir et produkt som skolen skal foredle på den mest kostnadseffektive måte. Andre internasjonale studier bygger heldigvis på et annet verdigrunnlag.

Som forsker må man leve opp til vitenskapelige normer og idealer. Verdier spiller inn i hele forskningsprosessen. Den Nasjonale Forskningsetiske Komite (2019) gir en grundig gjennomgang av de verdier som bør ligge til grunn for all forskning. Sentralt i dette står sosiologen Robert Mertons (1973) «ethos of science», først formulert i 1942, og fanget inn i forkortelsen CUDOS. Der står D for «disinterestedness». På norsk innebærer det at forskeren skal etterstrebe nøytralitet og uavhengighet av særinteresser – et krav om at forskeren ikke selv skal ha materielle eller andre interesser knyttet til sin forskning.

Nordahl identifiser seg altså med evidensbasert, kvantitativ forskning. Da er det litt merkelig at han selv ikke har publisert mye av den slags. Det meste synes å være i arbeidsrapporter, ikke publisert i faglige tidsskrift. I rapportene ser han på effekten av sine egne prosjekter og opplegg. Dette er ikke helt etter læreboka i forskningsetikk.

Referanser

debatt utdanningsforskning forskning skole thomas nordahl svein sjøberg

Ledige stillinger:

Powered by Labrador CMS