«Stordata gir ikke hva det lovet, nemlig å løfte utdanningskvaliteten i skolen»

Pasi Sahlberg, finsk forsker og en av verdens ledende eksperter på skolereformer og praksis i skolen, og for tiden gjesteforeleser ved Harvard University’s Graduate School of Education, skriver sammen med Jonathan Hasak, Boston, i Washington Post 9. mai 2016 en artikkel om styringssystemers bruk av «big data», stordata, og «small data», smådata.

Stordata gir ikke hva det lovet, nemlig å løfte utdanningskvaliteten i skolen. Tiden er inne til å ta i bruk smådata i stedet, hevder de i artikkelen (Washington Post, 2016).

Bruken av stordata har begrensninger. Begrepet stordata ble introdusert rundt år 2000 og brukes som beskrivelse på datamengder som er så store at kun datamaskiner kan analysere dem.

I utdanningssammenheng omfatter stordata en rekke indikatorer om undervisning og læringsprosesser og rapporterer gjennom analysene hovedtendenser ved elevprestasjoner i et langtidsperspektiv. Store internasjonale, komparative elevundersøkelser som PISA, TIMSS og PIRLS er eksempler på stordata.

De mange brukerne av stordata mener at denne informasjonen kan hjelpe dem til å ta de rette beslutningene om systemiske endringer i utdanningen for å øke elevenes læringsutbytte. Så langt har det ikke skjedd, hevder Sahlberg og Hasak.

Til tross for tilgangen på store informasjonsmengder og mulighetene som følger med den, er det klare begrensninger i hva stordata kan bli brukt til i nasjonale utdanningsreformer.

Påfallende ofte får nemlig stordata en form for evidensstatus i beslutningstakeres argumenter når utdanningsstrategier skal velges. Og det blir feil, ifølge Sahlberg og Hasak.

"Lederne må lede (ikke styre) utviklingen av skolen med utgangspunkt i smådata. Hvis ikke kan en fort oppdage at en i stedet blir styrt av stordata-analyser og korrelasjoner som feilaktig blir tolket som årsaksforklaringer."

"Stordata-analysene er ikke laget for å si noe om kausalitet, om årsakssammenhenger."

Stordata-analysene er ikke laget for å si noe om kausalitet, om årsakssammenhenger. Stordata indikerer i beste fall korrelasjoner, det vil si samvariasjon, mellom variabler i utdanningssystemet. For å finne årsakssammenhengene må man ty til smådata, hevder de.

Og dette er viktig! Sahlberg og Hasak hevder at nasjonale myndigheter sammenligner sine nasjonale stordata (eksempelvis resultatene fra nasjonale prøver) med de store internasjonale databasene for å finne årsakssammenhenger, og at det ikke er mulig.

Den vesentlige forskjellen; at korrelasjon ikke forklarer, mens kausalitet kan forklare årsaker, har blitt blandet for ofte, skriver de. Og dermed konkluderer de med at «Tanken var at stordata skulle fikse utdanning. Det gjorde det ikke. Det er tid for «smådata».» (Washington Post, 2016).

Smådata er den presise, tilgjengelige, mangfoldige, nære og meningsfulle informasjonen som kommer fram når eksempelvis lærere knytter sin tilgang til informasjon om elevenes læring sammen med sine egne og kollegers erfaringer med elever, undervisningsoppgaver og annen betydningsfull hverdagskontekst for læring (fritt oversatt fra Small Data Group).

Smådata er en betegnelse på alle de informasjonene som knytter læreres valg, vurderinger, opptredener og handlinger til elevresultater. Smådata danner det reelle grunnlaget for å se de virkelige årsakssammenhengene mellom faktorer av betydning for elevenes læring.

"Lærerens innsikt i sine egne mestringsforventninger, og kunnskap om elevenes mestringsforventninger, er andre eksempler på smådata"

I utdanningssammenheng er smådata eksempelvis formativ vurdering og skolebasert vurdering. Lærerens innsikt i sine egne mestringsforventninger, og kunnskap om elevenes mestringsforventninger, er andre eksempler på smådata.

Sahlberg og Hasak viser videre til at smådata styrker den kollektive autonomien ved skolen ved at den gjør lærerne mer profesjonsorienterte og uavhengige av byråkratiet.
Og smådata danner grunnlag for selvregulert læring ved å trekke elevene med i å vurdere og reflektere over sin egen læring.

For læreren vil erfaringene med elevenes selvregulerte læring, «elevenes stemme» kaller Sahlberg og Hasak det for, forsterke grunnlaget for forbedring av undervisningen.

Stordata har absolutt vist seg nyttig for globale utdanningsreformer ved å gi valid informasjon om de store utviklingstrendene i fortiden, understreker Sahlberg og Hasak.

"Lederne må lede (ikke styre) utviklingen av skolen med utgangspunkt i smådata. Hvis ikke kan en fort oppdage at en i stedet blir styrt av stordata-analyser og korrelasjoner som feilaktig blir tolket som årsaksforklaringer."

For å forbedre undervisning og læring påhviler det imidlertid beslutningstakere å ta mer hensyn til smådata og den kausaliteten de avslører enn det som er praksis i dag.

Sahlberg og Hasak kommer med en oppfordring til alle med ledende posisjoner i utdanningssektoren. Lederne må lede (ikke styre) utviklingen av skolen med utgangspunkt i smådata. Hvis ikke kan en fort oppdage at en i stedet blir styrt av stordata-analyser og korrelasjoner som feilaktig blir tolket som årsaksforklaringer.

Norsk utdanningssystem styres gjennom det nasjonale kvalitetsvurderingssystemet (NKVS), et system der styringsdatagrunnlaget i hovedsak bygges på stordata-forståelsen. Det har ført til at korrelasjon og kausalitet blandes.

I rapporten «Jakten på kvalitetsindikatorene» 23/2013 fra Nordisk institutt for studier av innovasjon, forskning og utdanning (NIFU) finner forskerne at «Prøvenes funksjon (de nasjonale prøvene, min anm.) som skolepolitisk styringsverktøy står altså forholdsvis sterkt på skoleledernivå, men litt svakere på skoleeiernivå og er så godt som fraværende på lærernivå.»

I rapporten vises det til at nasjonale prøver og andre deler av NKVS både er ment å ha en utdanningspolitisk styringsfunksjon og en funksjon som pedagogisk verktøy. Forskerne bak NIFU Rapport 23/2013 mener at den todelte funksjonen reduserer verdien av blant annet nasjonale prøver, både som styringsverktøy og som verktøy for pedagogisk utvikling.

I lys av forholdet mellom stordata og smådata, der analyser av stordata er mest egnet til å se utviklingstrender i utdanningssystemets fortid, mens analyser av smådata gir årsakssammenhenger mellom et mangfold av faktorer som påvirker læring i nåtid, gir dette mening.

"Målstyringssystemer basert på stordata har verdi for administrative nivåer, mens skolenivå mest av alt har bruk for smådata for å være i en kontinuerlig utvikling."

Målstyringssystemer basert på stordata har verdi for administrative nivåer, mens skolenivå mest av alt har bruk for smådata for å være i en kontinuerlig utvikling. Derfor er oppfordringen om at lederne, i lag med lærerne, må lede utvikling av skolen ut fra smådata, høyaktuell.

Alle partene i utdanningssystemet ønsker å drive en kvalitativt god skole. Den raskt økende tilgangen på mengder av informasjon på stordata-nivå om skole og kvalitetsutvikling har forsterket anvendelsen av målstyringssystemer som vektlegger måltall på elevers målbare resultater.

Målstyring og resultatstyring brukes ofte synonymt. I Utdanningsforbundets temanotat 4/2013: «Målstyring eller styring etter mål – utfordringer og muligheter» beskrives målstyring som et system der «det styres etter mål – med fokus på resultater, og det (målstyring, min anm.) brukes fordi det påvirker atferd og prioriteringer.»

Det Nationale Institut for Kommuners og Regioners Analyse og Forskning (KORA) i Danmark legger til grunn fire grunnleggende elementer som har betydning for det danske målstyringssystemet RBS, resultatbasert målstyring.

Det første elementet i RBS er formulering av strategiske mål for en gitt innsats. Det andre er at innsats og ressurser organiseres i forhold til ønskede effekter. Det tredje elementet er at innsats og ressursbruk overvåkes og vurderes fortløpende i forhold til prestasjoner. Det fjerde og siste elementet i det danske systemet er at all innhentet data skal anvendes av ledelsen for å treffe beslutninger på et best mulig grunnlag (Møller, M.Ø, Iversen, K og Andersen, V.N, 2016).

Professor John Hattie går langt i å avskrive målstyring som kvalitetsfremmende på skolenivå, når han påpeker at å forbedre lærerens kvalitet i læringsarbeidet « … kommer ikke til å skje med kortsiktige tiltak, ved uthenging, ved mer testing eller ved å pålegge (lærerne) mer ansvar… » (Hattie, 2012).

Professorene Andy Hargreaves og Dennis Shirley kaller den økende bruken av mål- og resultatstyring gjennom flere tester, prøver og undersøkelser for teknokratiets blindspor.

"... statistisk materiale (...) definerer og avgrenser hva som skal læres..."

De hevder i boka si «Den fjerde vei – en inspirasjon til endring i skolen» (2012) at statistisk materiale fort definerer og avgrenser hva som skal læres, at materialet fører til slutninger det ikke er dekning for, og at overdreven tillit til statistikk bagatelliserer betydningen av lærerprofesjonens moralske dømmekraft og faglige ansvar.

Det nasjonale kvalitetsvurderingssystemet (NKVS), samt lokale mål- og resultatstyringssystemer har blitt dagens løsninger på intensjonene i Opplæringslovens paragrafer 13–10 og 14–4.

Der lovfestes kommunens ansvar for å ha et forsvarlig system for «vurdering av om kravene i opplæringsloven og forskriftene til lova blir oppfylte», og gir den statlige styringen av utdanningen mulighet til å lage systemer for å tilegne seg opplysninger som gir grunnlag for vurdering av opplæringsvirksomheten.

All dagens mål- og resultatstyring har sin tilknytning først og fremst til stordata-tradisjonen. Morgendagens løsning på Opplæringslovens paragrafer 13–10 og 14–4 bør være tilpasset fremtidens skole, og trenger i mye sterke grad å knyttes til analysene av smådata.

Oppgaven blir da å lage et system som dekker intensjonene i Opplæringslovens paragrafer 13–10 og 14-4, og gir informasjon til styringsnivåene og foreldrene som faktisk viser årsakssammenhenger mellom det mangfold av faktorer som virker inn på elevenes læring.

Dersom påstanden fra Sahlberg og Hasak om at «Tanken var at stordata skulle fikse utdanning. Det gjorde det ikke.» er valid, blir oppfordringen å fornye vårt eget målstyringssystem samtidig med fornyelsen av Kunnskapsløftet.

Forutsetningen for et alternativt målstyringssystem er at informasjonen må innhentes på en slik måte at dataene gir grunnlag for å se årsakssammenhenger.

Utfordringene blir da å lage informasjonskanaler mellom skolene og kommune-/fylkeskommunenivået, og mellom kommune-/fylkeskommunenivået og Utdanningsdirektoratet som ivaretar det mangfoldige meningsinnholdet i smådata.

I denne kronikken utvikles forslag til en retning som et alternativt målstyringssystem kan utvikles i. Det er ikke et forslag til endelig innhold i et nytt system, og det bygger på kun to resultatmål, ett om skolens læringsmiljø, og ett om verdigrunnlaget formulert som skolens holistiske læringsarbeid.

Til gjengjeld presenteres noen underpunkter til hvert av de to resultatmålene, underpunkter som er begrunnet i tidligere artikler, og som danner utgangspunktet for innhenting av smådata.

"Det viktige er å få faktisk kunnskap om skolen er en prestasjons- og konkurranseorientert, eller lærings- og samhandlingsorientert skole."

Først om det ene resultatmålet, skolens læringsmiljø: Et alternativt målstyringssystem må gi troverdig informasjon om målstrukturen på skolen. Det viktige er å få faktisk kunnskap om skolen er en prestasjons- og konkurranseorientert, eller lærings- og samhandlingsorientert skole.

Ett område der smådata bør skaffes til veie i denne sammenhengen, er å innhente informasjon om hva skolen anser og verdsetter høyest når det gjelder å utvikle elevenes selvverd.

Bygges selvverdet først og fremst gjennom læringsprosesser eller gjennom læringsprestasjoner? Selvverdet er avgjørende for barns og unges motivasjon for læring. Skolens bruk av formativ og summativ vurdering er en indikator på hva skolen anser og verdsetter høyest.

Et annet område som også omhandler skolens målstruktur er å innhente informasjon om elevenes mestringsforventninger. Informasjon om hvilke oppgaver elevene velger å ta fatt på, hvor stor utholdenhet elevene mobiliserer i krevende oppgaver, om de velger å søke hjelp når de ikke finner veien videre selv, og om hvilke strategier for læring de velger å benytte seg av, er smådata om mestringsforventninger.

Et tredje område, elevenes selvregulerte læring, knyttes også tett til skolens målstruktur.

Selvregulert læring er en aktiv prosess hvor elevene setter seg mål for læringen, der de vurderer læringsoppgavene, planlegger læringsaktivitetene, observerer sin egen læringsaktivitet, der de selv vurderer læringsresultatene og hva det leder til, og trekker slutninger om egen kompetanse og om videre arbeid.

En forutsetning for selvregulert læring er at skolene legger vekt på metakognisjon, eller det å lære å lære. Informasjon om elevenes selvregulering kan hentes gjennom skolens vektlegging av metakognisjonsarbeidet.

Et fjerde område som gir smådata om skolens målstruktur er informasjon om hvilken vekting individualisert og fellesskapsorientert undervisning har. Læring i lag med andre og med hjelp av andre, skaper oftest de beste forutsetningene for læring.

Et femte område om skolens målstruktur er å gi foreldrene fortløpende informasjon om hva skolen jobber med, om hvorfor de jobber med det og om hvordan det jobbes individuelt og kollektivt i klasserommet. Det øker muligheten for foreldreengasjement, og foreldrenes engasjement for skolen er en indikator på skolens målstruktur.

En slik samling smådata om skolens målstruktur skaper grunnlag for å danne seg et bilde av, og trekke slutninger om resultatmålet «skolens læringsmiljø».

Spørsmål som angår skolens læringsmiljø må stilles både til elevene, lærerne og foreldrene. Da gis resultatmålet et grunnlag for å se årsakssammenhenger.

"Spørsmål som angår skolens læringsmiljø må stilles både til elevene, lærerne og foreldrene."

Det andre resultatmålet i et alternativt målstyringssystem, og et kjennetegn på kvalitet i skolen, er skolens verdigrunnlag, her betegnet som det holistiske læringsarbeid.

Et alternativt målstyringssystem må gi troverdig informasjon om hvordan skolene lykkes med sitt brede samfunnsoppdrag, hvordan verdigrunnlaget tydeliggjort i formålsparagrafen og læreplanen, blir fulgt opp.

Et første steg på veien er å bygge sterke profesjonsfellesskap ved skolene og etablere profesjonsnettverk mellom skoler. Og det kan et alternativt målstyringssystem innhente smådata om, vurdere, og se årsakssammenhenger i.

Et annet steg på veien til å få informasjon om resultater på skolens holistiske lærings- og danningsarbeid er å ta utgangspunkt i formålsparagrafen, hovedinnretningen i Meld. St. 28 Fag – Fordypning – Forståelse. En fornyelse av Kunnskapsløftet, og det som blir ny generell del av læreplanen.

Dokumentenes vektlegging av dybdelæring, og den breie kompetanseforståelsen er sentrale indikatorer på skolens arbeid med å følge opp verdigrunnlaget.

"Et alternativt målstyringssystem må også ha en internasjonal preferanse."

Målstyringssystemer påvirkes av internasjonale trender, og et alternativt målstyringssystem må også ha en internasjonal preferanse.

Derfor blir et tredje steg på veien å bli influert av det globale perspektivet på holistisk lærings- og danningsarbeid som uttrykkes i Unescos fire søyler for livslang læring: «Elevene må lære å kunne, å gjøre, å være og å leve sammen».

Nåværende prestasjonsorienterte målstyringssystem er innrettet etter stordata-målinger, som i liten grad gir årsakssammenheng.

For å lykkes med fornyingen av Kunnskapsløftet, og for å ha redskaper til å utvikle kvaliteten i framtidens skole, må dagens målstyringssystem også fornyes, og preges av et datagrunnlag som gir reelle årsakssammenhenger. Det gir igjen grunnlag for kvalitetsutvikling av skolen både lokalt og nasjonalt.

• Øyvind Sørreime er tidligere rektor og sentralstyremedlem i Utdanningsforbundet