Feil med nasjonale prøver mer alvorlig enn først antatt

I en ny pressemelding skriver direktoratet nå at alle beregninger fra de nasjonale prøvene ble påvirket av en feil med nasjonale prøver.  

«Tidligere var vår forståelse at de individuelle resultatene ikke var påvirket i betydelig grad. Nærmere undersøkelser viste at hovedårsaken til feilen ikke ligger i hvilken metode vi benyttet for å analysere resultatene, men i selve analyseverktøyet Xcalibre. Det innebærer at alle beregninger er berørt i større eller mindre grad», skriver Utdanningsdirektoratet. 

Dette kan ha ført til at enkelte elever som har ligget nær grensen mellom to mestringsnivåer, har blitt plassert på feil nivå. Mestringsnivåene skal blant annet brukes av lærere til å følge opp elevene. 

Siden lærerne baserer oppfølgingen sin på mer enn bare mestringsnivåer fra nasjonale prøver, er ikke direktoratet redd for at elever skal ha fått feil opplæring grunnet feilen.

Feilen gjelder data for perioden 2014-2021.

Nektet først for feilen

I september meldte Aftenposten at forskere ved Frischsenteret hadde avdekket feil i beregningene av  nasjonale prøver. Norske elever har blitt dårligere i lesing og regning siden 2014, samtidig som de er blitt mye flinkere i engelsk. Men dette fremgikk ikke av Udirs tall, som viste en flat utvikling for alle fagene. 

Da Aftenposten først meldte om saken, avviste Utdanningsdirektoratet at det var noe galt med tallene. De mente da at det kun var snakk om ulike måter å beregne på. 

I januar snudde direktoratet og innrømmet at noe hadde gått galt i beregningene. Samtidig presiserte de at feilen ikke påvirket resultater for enkeltelever, eller resultater innenfor ett år. Nå viser altså dette seg også å være feil. 

Direktoratet skriver at de ikke vet hvor store avvikene er på individnivå, eller på skole- og kommunenivå. 

«Dataene som er nødvendig for å beregne dette, er slettet i tråd med våre personvernprosedyrer.», skriver direktoratet i pressemeldingen.

Slik skjedde feilen

Direktoratet skriver følgende om hvordan feilen oppsto:

«Analyseverktøyet Xcalibre går ut fra at elevkullene i ulike år er fordelt utover ferdighetsskalaen på samme måte. I virkeligheten vil dette variere. Denne feilaktige antakelsen i verktøyet fører til at endringer over tid blir svakere og vanskeligere å avdekke.»

Direktoratet skriver også at de tidligere burde oppdaget at de fikk feil resultat.

Nå jobber Utdanningsdirektoratet med å beregne nye gjennomsnitt for perioden 2014-2021. De har invitert flere forskningsmiljøer til et seminar 20. mars, der målet er å kvalitetssikre de nye beregningene. 

– Statistikk fra Utdanningsdirektoratet skal være korrekt og vi beklager at dette har skjedd. Det er først og fremst bildet av utviklingen over tid som har vært feil. Resultatene fra nasjonale prøver har imidlertid vært relevant både til oppfølgingen av elever og til arbeidet med kvalitetsutvikling i skolen. Vi byttet analyseverktøy i 2022, slik at resultater fra de siste årene ikke er berørt, sier direktør Morten Rosenkvist i pressemeldingen.