Feil med nasjonale prøver:
Departementet har kalt inn Udir og SSB til møte

Nå kaller Kunnskapsdepartementet inn til møte med SSB og Udir. 

– Der andre har benyttet tallene, vil de også være påvirket av denne feilen, skriver direktør Morten Rosenkvist i Utdanningsdirektoratet til Utdanningsnytt.

I perioden 2014-2021 har Utdanningsdirektoratet presentert feil tall for nasjonale prøver. Tirsdag ble det også klart at feilen ikke bare gjelder utvikling over tid, men også for enkeltresultater helt ned på elevnivå. 

Rosenkvist opplyser at denne feilen for eksempel også gjelder tallene Statistisk Sentralbyrå (SSB) har for nasjonale prøver i den aktuelle perioden. 

– SSB informerer om dette på sine nettsider der det er aktuelt. Kunnskapsdepartementet har kalt inn til et møte med Udir og SSB for å finne ut hva vi gjør med publiserte tall og analyser fra 2014-2021, skriver Rosenkvist. 

Rosenkvist forteller at det fortsatt pågår diskusjoner med ulike fagmiljøer om hvordan tallene kan analyseres på best mulig vis. 

I tillegg til statistikken for de nasjonale prøvene, bruker SSB også tallene i andre analyser, som for eksempel skolebidragsindikatorene. Seniorrådgiver Kristian Dystland i SSB skriver til Utdanningsnytt at de ikke har grunn til å tro at feilen vil påvirke skolebidragsindikatorene i vesentlig grad.

Hevdet først at tallene ikke var feil

Da Aftenposten først skrev om feilen i september, avviste Utdanningsdirektoratet at det var noe galt med tallene. De mente da at det kun var snakk om ulike måter å beregne på, selv om forskere ved Frischsenteret var tydelige på at noe måtte være galt.

I januar snudde direktoratet og innrømmet at noe hadde gått galt i beregningene. Samtidig presiserte de at feilen ikke påvirket resultater for enkeltelever, eller resultater innenfor ett år. Senere viste dette seg også å være feil. 

– Hvordan vil dere karakterisere deres håndtering av saken, fra da forskerne ved Frischsenteret tok kontakt med dere frem til nå?

– Dette har vært en veldig kompleks problemstilling å sette seg inn i. Det er veldig viktig at vi har gode forskningsmiljøer, slik som Frischsenteret, som er interessert i og utforsker komplekse metodiske spørsmål. Som offentlig etat må vi være grundige og ha god kvalitetssikring internt og eksternt, og det tar tid. Vi har drøftet dette både med vår eksterne kvalitetssikrer ved UiO og med forskerne fra Frischsenteret, og vi har fått ulike råd, skriver Rosenkvist.

– Vi har kommunisert det vi visste på det aktuelle tidspunkt, men ser at vi ikke har vært tydelige nok på å formidle at det har vært foreløpige vurderinger. Vi har sagt at vi burde ha oppdaget feilen selv på et tidligere tidspunkt. 

Fortsatt uavklarte spørsmål

På spørsmål om hvorfor det har tatt så lang tid å finne frem til feilen, skriver Rosenkvist at det har vært vanskelig å finne ut av hva som dreier seg om analysemetoder eller andre forhold. 

– Vi har hentet inn faglige råd fra eksterne fagmiljøer for å bistå oss i utredningen av årsaken til forskjellene, og har nå konkludert med at hovedårsaken til forskjellene er knyttet til analyseverktøyet, skriver han.

– Er dere trygge på at dere nå har avdekket den reelle årsaken til feilen, og at det ikke vil fremkomme ytterligere informasjon som stiller saken i et nytt lys?

– Vi er trygge på at feilen er knyttet til analyseverktøyet. Det er fortsatt uavklarte spørsmål knyttet til metodevalg for nasjonale prøver som vi arbeider med å finne ut av med bistand fra flere fagmiljøer. 

 – Hvorfor valgte dere å benytte Xcalibre-programvaren til å analysere data?

– Programmet ble tatt i bruk i forbindelse med innføring av IRT-analyser av nasjonale prøver i 2014, basert på råd fra det eksterne fagmiljøet som bisto oss med analysene. 

Han opplyser at direktoratet ha betalt mellom 10 000 og 20 000 kroner i året for programvaren i perioden 2014-2021. Siden 2022 har direktoratet brukt programmeringsspråket R til å utføre analysene. R er et populært valg blant statistikere og dataanalytikere i dag.