Er utvalgsprøver løsningen?

FØLG DEBATTEN:

Steffen Handal: Veien videre for nasjonale prøver

Bare så det er sagt innledningsvis: Jeg drøfter i dette innlegget ikke hvordan eller på hvilke måter lærerne kan bruke resultater fra de nasjonale prøvene. Dette er opplagt et viktig tema som fortjener stor oppmerksomhet. I stedet ønsker jeg her å begrense meg til det formålet som de nasjonale prøvene har for skoleutvikling og styring. Både Senterpartiet og Utdanningsforbundet har nylig foreslått at nasjonale prøver kan oppfylle dette formålet ved i stedet å bli utvalgsprøver – altså prøver som kun en liten andel av elevene gjennomfører. For å forstå hva dette vil medføre er det først nødvendig å slå fast hva en utvalgsprøve er og på hvilken måte et utvalg kan gi god informasjon om en hel populasjon.

I stedet for at alle elever i vårt land (ca. 60.000 i hver alderskohort) tar en prøve, kan man ved å gjøre et tilfeldig utvalg av elever få et godt anslag for gjennomsnitt og spredning nasjonalt. Hvis man i tillegg kan kople denne informasjonen med data fra registre, kan dette gi et svært godt grunnlag for en analyse av den overordnete tilstanden for noen utvalgte fagområder i norsk skole. Gjennom dette vil man eksempelvis kunne studere hvordan ulikhet knyttet til hjemmebakgrunn utvikler seg over tid.

Senterpartiet mener nasjonale prøver bør være utvalgsprøver

Men utvalgsundersøkelser i utdanningssektoren er av praktiske årsaker ofte basert på å trekke et utvalg av skoler. Følgende problemstillinger knyttet til et slikt utvalgsdesign bør tas med i drøftingene av om nasjonale prøver skal endres til å bli utvalgsundersøkelser:

1. Et utvalg av skoler er mindre effektivt fordi elever innen den enkelte skole er litt mer lik hverandre enn andre elever. For å kompensere for dette vil man måtte ha et større utvalg. Et godt utvalg for å kunne trekke slutninger om den nasjonale populasjonen vil derfor gjerne være på ca 200 skoler.
2. Når man ønsker å oppnå et tilfeldig utvalg av elever, kan ikke skoler trekkes med lik sannsynlighet (som i en lotto-trekning), for da vil elever på små skoler ha langt høyere sannsynlighet for å bli trukket ut enn elever på store skoler. For å kompensere for dette, må man gi skoler en sannsynlighet for å bli trukket som er proporsjonal med skolestørrelsen. For eksempel vil en skole med 200 elever bli gitt en dobbelt så stor sannsynlighet for å bli valgt ut som en skole med 100 elever. En konsekvens av dette vil være at utvalget av skoler ikke vil være representativt. Store skoler fra byregioner vil bli overrepresentert.
3. Dersom man i tillegg til det nasjonale nivået har behov for informasjon om ulikheter mellom regioner eller fylker, må man derfor trekke representative underutvalg innen hvert av de områdene man ønsker å kunne sammenlikne. For flere av regionene i Norge vil dette medføre at så å si alle elevene vil måtte delta. Utvalgets totale størrelse blir dermed bli så stort at logikken bak det å ha utvalg, nemlig å redusere belastningen for enkeltelever og enkeltskoler, bryter sammen.

Magnus Marsdal: Hemmelighold av resultatene er en dødfødt løsning

Med dette på plass, kan jeg begynne å se litt på argumentene som har kommet fram så langt i debatten. For det første benytter Utdanningsforbundet som argument at det primært er det politiske nivået som har behov for informasjonen fra de nasjonale prøvene. For dette formålet er det ikke nødvendig at hele alderskohorter deltar på nasjonale prøver, fordi en utvalgsundersøkelse kan gi vel så god informasjon. Gyldigheten av dette argumentet hviler på tre premisser: 1) at politikere her er begrenset til politikere (og andre politikkutformere) på nasjonalt nivå, 2) at det er politikere som i hovedsak er interessert i resultater fra nasjonale prøver, og 3) at utvalgsundersøkelser vil gi tilnærmet like god informasjon.

Disse premissene er problematiske av flere grunner: For det første mangler det belegg for å påstå at det primært er et nasjonalt politisk nivå som benytter resultater fra de nasjonale prøvene. Min erfaring (som kan understøttes av spørreundersøkelser) er at alle som jobber i det store fellesprosjektet Skole-Norge, helt fra det nasjonale nivået og ned til den enkelte skole, benytter resultatene fra de nasjonale prøvene. Men dersom vi likevel aksepterer premisset om at det primært er nasjonalt nivå som benytter prøveresultatene, så bør man se på hvilke problemstillinger dette nivået ønsker å belyse. Det nasjonale gjennomsnittet og spredningen har vært mer eller mindre konstant siden prøvene fikk en utforming som gjorde at sammenlikninger fra ett år til det neste ble mulig. Dette får derfor lite oppmerksomhet. Noe som derimot får stor oppmerksomhet på et nasjonalt og overordnet nivå, er den geografiske ulikheten som de nasjonale prøvene dokumenterer. Et nasjonalt representativt utvalg kan dessverre i liten grad gi denne typen informasjon.

Man bør også reflektere over noen andre premisser i debatten imot populasjonsundersøkelser, der argumentene tydeligvis er at styring fra aktører i skoleledelsen eller styringsnivåer utenfor skolen er uheldig. Magnus Marsdal i tankesmien Manifest gjør et retorisk grep når han i et innlegg på Utdanningsnytt.no slår fast at «skolen faktisk ikke [er] til for å produsere styringsinformasjon til politikere […] Skolen er til for elevene». Dette går langt i å mistenkeliggjøre aktørene i styringskjeden og anta at de ikke oppfatter seg som bidragsytere i samfunnsbyggingen, og at de ikke primært er opptatt av elevenes og skolenes beste. Her må det minnes om at kommunene er tillagt et betydelig ansvar i opplæringsloven. Som skoleeiere er kommunene pålagt å kunne dokumentere at de kjenner kvaliteten i sitt skolesystem, og de skal kunne dokumentere tilstanden og hvilke tiltak de har satt i verk for kvalitetsutvikling. Med utvalgsundersøkelser vil skoleeierne bli fratatt et av verktøyene de i dag har for å oppfylle denne forpliktelsen. Dersom skoleeierne tar dette ansvaret på alvor, og det er det all grunn til å tro at de gjør, vil mange av dem sannsynligvis innføre egne prøver for å kompensere for mangelen på den informasjonen som de tidligere fikk fra nasjonale prøver. Det er lite sannsynlig at disse verktøyene vil være av samme høye kvalitet som de nasjonale prøvene.

Et siste argument knyttet til dette med utvalgsundersøkelser, er Marsdals referanse til en rapport fra NIFU, som slår fast at for de fleste små og mellomstore skoler/kommuner så vil resultater fra de nasjonale prøvene være så usikre at de er nærmest ubrukelige. Denne konklusjonen fra NIFU hviler på en mangelfull forståelse av utvalg og usikkerheter. Elevene på 5. trinn på en skole er ikke et utvalg, de er i denne sammenhengen en populasjon! Dersom en skole med 30 elever har et gjennomsnitt på eksempelvis 54 poeng på nasjonal prøve i regning, så er det dette som er gjennomsnittet for denne skolen! Det er ikke relevant å lage en statistisk modellering hvor man antar at disse 30 elevene kunne ha vært noen helt andre elever fra et uendelig stort utvalg. Usikkerheten i skoleresultatene er derfor ikke berørt av utvalgsusikkerhet.

Derimot påvirkes resultatene av måleusikkerhet. For eksempel kan det med rimelighet tenkes at elevene på denne skolen kunne ha prestert lavere/høyere dersom de hadde tatt en prøve med litt andre oppgaver, eller at prøven hadde vært gjennomført på en annen dag. Slike målefeil gjør at resultatene for den enkelte elev, på enhver prøve – ikke bare nasjonale prøver – har store usikkerheter. Men på gruppenivå blir slike feilkilder raskt ubetydelige.

Med bakgrunn i det jeg her har redegjort for, vil jeg anbefale at nasjonale prøver fortsatt gjennomføres for hele alderskohorter. Et alternativ som kan drøftes, er at man innfører utvalgsprøver kombinert med at skoleeiere og skoler kan velge å delta. De skolene som velger å delta, vil kunne få den samme typen informasjon som de får i dag. Ulempen vil være at man vil mangle pålitelig informasjon for å sammenlikne kommunetyper og større regioner. I dag framstår primært ulikheten mellom regioner som et av de største ulikhetsproblemene vi har i norsk skole. Det er derfor viktig at denne utviklingen monitoreres også i framtiden.