På slutten av 1700-tallet introduserte Frankrike en eiendomsskatt basert på et system hvor hvert hus ble skattlagt etter hvor mange vinduer og dører det hadde. Imidlertid viste det seg at det som i utgangspunktet hadde vært en tilnærmet perfekt indikator for å måle den fysiske størrelsen på huset, endret seg raskt.
Politikken tok kontroll over indikatoren; og over det neste tiåret sank antall dører og vinduer i franske hus betraktelig. Franskmennene hadde oppdaget «Hawthorne effekten»; tendensen til at mennesker responderer og endrer adferd gjennom å bli observert. Noe som effektivt ødelegger indikatorens validitet.
Dette illustreres av Senterpartiet, selv om det smerter meg å innrømme det, som har rett når det kommer til OECDs PISA-tester. Den siste runden ble publisert forrige uke, og Norge bør utvilsomt trekke seg ut. Senterpartiets Marit Knutsdatter Strand, har helt rett når hun hevder at PISA «gir et overfladisk bilde. Lærerne bruker mye tid på å gjennomføre selve prøven, og samtidig forberede elevene på denne typen testing. Det er feil ressursbruk sier hun.»
Mange autoriteter innenfor utdanning i Norge, så vel som lærerne, har lenge påpekt PISAs negative innflytelse på utdanningen. Med Sp og SV nå klart imot PISA, og Arbeiderpartiets (karakteristiske) ambivalente forhold til saken, synes muligheten for at Norge unnslipper PISA sitt tyranniske grep nærmere enn noensinne.
For de som ikke kjenner PISA-testene så godt, er dette tester som utføres hvert tredje år, hvor man søker å måle leseferdigheter, naturvitenskap og mattekunnskaper blant 15 åringer. Gjennom å teste tusenvis av tenåringer i OECD landene, og et voksende antall andre land – forsøker PISA å gi en kontinuerlig evaluering av internasjonale utdanningsnivåer, samt gi land komparative data i et system hvor gode læremetoder og ideer skal spres.
På den måten forsøker PISA å hjelpe land med å forbedre sine utdanningssystemer.
Hvert tredje år i desember kunngjøres resultatene, som blir publisert, politisert, og nødvendigvis skaper en konkurranse mellom land – land som scorer høyt kan sole seg i glansen (f.eks. Finland), mens de som ligger lengre ned på listen risikerer kritikk på hjemmebane, og til og med bli påført et «Pisa-sjokk» for sin dårlige prestasjon. Dette er igjen ment å inspirere til reform og omlegginger som skal bedre prestasjonene. Det hele virker logisk, vitenskapelig, og utvilsomt ligger det gode intensjoner bak.
Da jeg først begynte å studere PISA, var jeg av den oppfatning at det sannsynligvis var en god ting. I det minste på et overordnet nivå. Min bredere forskning utforsker hvordan stater søker internasjonal status ved å gjennomføre synlige, kostbare og kompliserte aktiviteter. Slike aktiviteter genererer en «symbolsk nytteverdi» på toppen av den «primære nytteverdien»: for eksempel har en Porsche sin primære funksjon som et fremkomstmiddel mellom A og B, men gir også eieren en symbolsk verdi av å eie en sportsbil.
Historisk sett, på landnivå, har symbolsk verdi gitt insentiver til alt fra enorme lager av atomvåpen til operahus, gjerne på bekostning av mindre, men mer sosiale tiltak som å investere i utdanning. Gjennom kraften av sin status og publisitet, og det faktum at bare et land kan «vinne», skaper PISA en symbolsk nytte for investeringer i utdanning som jeg en gang trodde ville positivt påvirke en status mentalitet som også var i fellesskapets interesse. Jeg har senere endret oppfatning.
Loven om utilsiktede konsekvenser
Når kvantifiserbare mål knyttes til belønningssystemer har de en tendens til å produsere utilsiktede effekter. Tendensen innenfor sosiologi er så sterk at dette nærmest er å betrakte som en lov. Det er derfor ingen overraskelse at PISA produserer fordreide effekter: PISA er tungt politisert i en rekke land hvor myndigheter, skoler og lærere møter sterke krav og insentiver til å gjøre det bra i disse rangeringene.
Akkurat som de franske huseierne, sitter ikke deltakerne i PISA-undersøkelsen stille og venter på å bli målt og rangert, men tilpasser seg systemet.
Det finnes en rekke måter å påvirke PISA-resultatet. Den enkleste (og billigste) måten er å ekskludere de svakeste studentene fra å delta i testen: Kina f.eks. topper PISA fordi de kun har med skoler fra de to rikeste byene og ekskluderer et betydelig antall elever i tråd med egne migrasjonsregler. Noe mindre alvorlig, men også effektivt og velbrukt, er praksisen med å «øve til prøven»: I stedet for å fokusere på hvordan elevene best kan tilegne seg leseferdigheter, vris undervisningen til å fokusere på hvordan elevene kan score best på en PISA-test.
Dette er to grunnleggende forskjellige tilnærmingsmåter, og hver gang det refereres til «PISA-gjennomsnitt», er det verdt å huske at resultatet alltid er påvirket av denne typen tilpasninger.
Et annet poeng er at PISA-testene er relativt meningsløse for elevene det gjelder. De mottar ingen tilbakemelding, de opptar verdifull undervisningstid, og det er vanskelig å se at de har noen åpenbar nytteverdi for elevene. At Norske elever organiserte en boikott av nasjonale prøver på midten av 2000-tallet, med en lignende begrunnelse illustrer også dette poenget.
Internasjonalt, har en studie anslått at studentenes motivasjon står for 19 % av variasjonen av gjennomsnittet i PISA testene landene imellom. Utvikling av evnen til kritisk tenkning, slik at man unngår å slite seg ut i en «utstillings konkurranse» er nøyaktig en av de egenskapene jeg skulle ønske i skolen for mitt barn. Dessverre, vil en slik protest straffes gjennom dårligere PISA-resultater.
En måte å tolke PISA-resultater – og PISA-gjennomsnitt – er at det til en viss grad fanger a) et lands villighet til å sette av tid og ressurser til å forberede elevene til en meningsløs prøve, og
b) elevenes villighet til å investere tid og krefter til å yte sitt beste på en meningsløs test. Ingen av de nevnte faktorene utgjør noen nevneverdig faktor for å måle kvaliteten i undervisningen, snarere tvert imot.
Et kortsiktig blikk på utdanning
PISA-rangeringene dyrker en kortsiktig og nærsynt måte å tenke rundt utdanning. PISA – som alle andre kvantitative rangereringer – har en innebygd forståelse av det fenomenet den hevder å måle.
Alle rangeringer innebærer at noen bestemmer hva som skal måles, hvordan ulike elementene skal vektes, og også hva som ikke skal måles. PISA er intet unntak: gjennom å teste leseferdigheter, naturfag og matteegenskaper, hevder PISA at de kan måle 15-åringers «evne til å møte utfordringer i det virkelige liv». Dette, samtidig som skolesystemet blir ansett for å være den dominerende variable faktoren.
Det er ingen tvil om at utdanningssystemet er avgjørende for læringsutbytte. Likevel, ignoreres essensielle strukturelle faktorer som ofte kan spille en minst like stor rolle. Foreldrenes sosioøkonomiske bakgrunn er ofte en sterk indikator på læringsutbytte, noe som gjør at barn med innvandrerbakgrunn ofte stiller svakere på slike tester grunnet en rekke faktorer som ligger utenfor skolevesenets kontroll. Dette var en av årsakene bak det finske miraklet. Finland hadde en langt lavere andel fremmedspråklige: nærmere bestemt en femtedel av OECD gjennomsnittet [bemerkning til Frp – dette er et argument for å ignorere PISA, ikke for å begrense innvandring].
Et annet aspekt verdt å nevne er de marginale forskjellene mellom plasseringene blant landene som ligger rundt OECD snittet. Det er sannsynlig at forskjeller i rangering kan tilskrives faktorer som ligger utenfor skolesektoren. Eller for å si det på en annen måte: Det er høyst sannsynlig at skoler med bedre utdanningssystemer ender opp lavere enn skoler med dårligere utdanningssystemer.
Til tross for dette, er det en kjent sak at den norske debatten rundt PISA-resultatene ofte er begrenset til en smal debatt rundt skolesystemet og reformer.
En udemokratisk agendasetting
Norge gikk inn i PISA med lite eller ingen debatt. Likevel har PISA vært toneangivende når det gjelder å sette dagsorden, og brukt som grunnlag for undervisningsreformer de siste 20 årene.
Som professor i utdanning Svein Sjøberg har bemerket har det vært fokus på PISA-resultater på tvers av partipolitiske linjer, og utallige referanser til PISA-resultater og OECD-eksperter i stortingsdokumenter: «Det trengs ingen dyp analyse for å hevde at OECD har enorm innflytelse på politikkutformingen».
Den politiske innflytelsen er ingen tilfeldighet. PISA-resultatene blir rutinemessig presentert og rangert i en tabell som forsterker forskjeller som ofte ikke er statistisk signifikante, i tur blir disse «forskjellene» behandlet som viktige politiske problemer som krever handling. I virkeligheten er forskjellen mellom 10 og 20 plass svært liten. Likevel, hindrer dette hverken pressen, eller politikere i å rope varsko dersom Norge skulle falle noen plasser. Eller som høyres tidligere utdannings- og forskningsminister Kristin Clemet uttalte i 2001: «Dette er skuffende, nesten som å komme hjem igjen fra et vinter-OL uten en eneste norsk medalje».
Det er fristende å dra veksler på en metafor brukt av Sjøberg; Gitt de små forskjellene mellom plasseringene, kan det sammenlignes med å bli emosjonelt oppjaget over små endringer i hovedfeltet i Tour de France.
Kostnaden ved å gi bort policy privilegiet
Til syvende og sist betaler Norge gjennom å delta i PISA ved å gi fra seg privilegiet det er å foreta verdivurderinger om hva som utgjør en god utdanning til internasjonale teknokrater, i en evaluering som det er vist til ovenfor lider av betydelige mangler.
Videre, betaler Norge i den forstand at denne tvilsomme evalueringen ikke bare er outsourcet, men blir sirkulert, og hvor endringer i relative «prestasjoner» blir fremstilt som substansielle, selv om vi har sett at de i realiteten ofte har liten substans. Resultatene blir fremstilt på en måte som er designet for å skape oppmerksomhet, og gi næring til reformer og rop om endringer i utdanningspolitikken. Dette er ikke en god avtale.
At Senterpartiet, som har erklært at de vil ut av PISA, gjør dem ikke til motstandere av kunnskap om skolesystemet slik Høyre – de opprinnelige misbrukerne av PISA-rangeringen tilbake i 2001 – hevder, men plasser de på linje med internasjonale forskere innen utdanning. Skadevirkningene som besettelsen over PISA-resultatene har påført det norske utdanningssystemet har til og med fått et navn - «PISA Syndromet». Derfor blir det feil å si at Senterpartiet og SV er imot kunnskap om skolen, de er imot illusjonen om en kunnskapsdrevet utdanningspolitikk.
Noen vil hevde at PISA er nyttig fordi testene belyser virkelige problemer. For eksempel i årets runde avslørte PISA-testene et bekymringsverdig gap mellom gutter og jenter i leseferdighet. 26% av norske gutter havnet på det laveste nivået, sammenlignet med 12% av jentene. Resultatet lar seg ikke bestride, men det er ingen grunn til å kreve en internasjonal test for å avsløre dette. Trolig ville vi fått et mer presist og klarere bilde dersom man hadde instruert norske forskere til å designe og utføre tester for forskjellige trinn, og ikke bare en test av 15-åringer.
Videre ville en test som er skreddersydd det enkelte lands språk, pensum etc ha en klar fordel fremfor en test designet slik at elever fra forskjellige land, med ulike bakgrunner og kulturer skal ha den samme muligheten til å (miss)forstå den.
Annerledeslandet
Norge trenger ikke internasjonale relative kåringer for å utforme sin utdanningspolitikk. Løsningen er ikke å kun trekke seg ut av PISA, men å erstatte den med en sterkere fokus på nasjonale studier.
Mitt forslag er å bruke pengene vi i dag bruker på PISA, på nasjonal forskning utført av norske utdanningseksperter. Så, på dagen hvor PISA kunngjør sine resultater, og resten av OECD landene er opptatt med sitt hylekor over marginale endringer i sine relative resultater, kan Norge sette av en uke til å offentlig reflektere over, og utdype funnene i sin egen forskning.
Dette ville utvilsomt være langt mer verdifullt i lengden, og informere en reell og demokratisk forskningsbasert utdanningspolitikk. Et slikt alternativ er klart å foretrekke fremfor den veien vi er på nå, hvor Norge risikerer å bevege seg mot et utdanningssystem som minner mistenkelig om de vindusløse husene i Frankrike på 1800-tallet.
Innlegget ble første gang publisert i Klassekampen den 17. desember.
