Karakterstatistikk. Eksamensstatistikk. Gjennomføringsbarometeret. SSBs tall for fullføring etter fem år. Fylkenes tilstandsrapporter. De videregående skolene i Norge har en rekke tall som viser elevenes resultater. Holder det ikke? Har vi ikke nok tall? Jo, dersom nye tall betyr mer av det samme. Men dersom nye tall gir ny innsikt som grunnlag for ny innsats, da kan flere indikatorer være et gode.
I NIFUs rapport 2017:7 (Markussen, Flatø & Reiling 2017) presenterer vi skolebidragsindikatorer for videregående skoler i Norge. Med skolebidrag menes en økning i elevers læringsutbytte som er et resultat av skolens innsats. Det kan forstås som det en tilfeldig valgt elev hadde oppnådd ved å gå på en skole dersom elevgrunnlaget hadde vært likt for alle skoler. Om skolene bare ser på sluttresultatene i form av hvor mange som fullfører og hvilke karakterer de ender opp med, vil noen skoler alltid gjøre det dårlig og andre skoler alltid gjøre det bra. Det er fordi skolene på mange måter ikke stiller på den samme startstreken – noen skoler har et svært krevende elevgrunnlag, men gjør fortsatt en stor innsats for å få elevene til å prestere. Denne innsatsen ønsker vi å fokusere på, og skolebidragene måler hva skolen har oppnådd gitt skolens forutsetninger.
Denne artikkelen presenterer vår tilnærming til skolebidragsindikatorer og hvordan den passer inn i tidligere forskning, nasjonalt og internasjonalt. I tillegg vil vi problematisere tre sentrale temaer i skolebidragsdiskusjonen. Et tema som også andre har debattert i Bedre Skole er hvorvidt vi klarer å fange skolens bidrag gjennom disse metodene (Brøyn 2017). I hvor stor grad lar det seg gjøre å skille skolens bidrag til læring fra det eleven har med seg i bagasjen, eller det som skjer utenfor skolen?
Gitt at dette er mulig, er det neste nærliggende spørsmålet: Hva skal skolen bidra til av elevresultater, og gir summen av disse resultatene et mål på skolekvalitet?
Vi argumenterer for at det ikke lar seg gjøre å skille ut skolens bidrag helt fra elevgrunnlaget, og at resultatmålene som vi lager indikatorer på, ikke dekker tilstrekkelig mange aspekter av skolens formål til å kunne tolkes som en måling av skolens kvalitet. Men indikatorene vi har utarbeidet kommer et stykke på vei i å justere for skjevhetene i elevgrunnlag, og vi mener at måten vi har utarbeidet dem på gjør at de egner seg i en lokal diskusjon om forbedringsarbeid. Indikatorene bruker aktuelle tall og gir skolene mulighet til å se på indikatorer for studieforberedende, yrkesfag og påbygg og for hvert trinn og hver overgang i utdanningen. Vi ønsker at skoler og skoleeiere skal bruke disse som et supplement i arbeidet for å få færre til å stryke og slutte og for å få flere til å fullføre og bestå videregående opplæring, og for å styrke elevenes læringsutbytte.
Kan vi skille ut skolens bidrag?
Å beregne skolens bidrag til elevenes resultater er slett ikke uproblematisk. Den forskningsmetodiske utfordringen i å beregne skolebidragsindikatorer ligger i å skille skolens bidrag fra andre faktorer som påvirker læring, først og fremst fordi elever som går på ulike skoler, ofte er forskjellige. En rekke studier har forsøkt å løse denne utfordringen ved bruk av ulike metoder, både innen norsk skoleforskning og internasjonalt.
De beste studiene på området bruker tilfeldig variasjon i elevmassen for å identifisere skolens bidrag. En rekke studier har for eksempel utnyttet at offentlig finansierte uavhengige skoler (såkalte charter-skoler) i Massachusetts med flere søkere enn plasser tar inn elever basert på et lotterisystem (Abdulkadiroglu mfl. 2011, Angrist, Pathak & Walters 2013, Angrist mfl. 2016, 2017).
Der allokering av elever til skoler ikke er tilfeldig, brukes ofte data der man har flere observasjoner av samme læringsutbytte per elev, gjerne over tid (Rockoff 2004, Winters 2009, Buddin 2011). Dersom man har flere observasjoner per elev, er det mulig å se på hvordan den samme eleven presterer under ulike forhold. Dette kalles å kontrollere for faste effekter. Ved bruk av faste effekter kan man med slike data skille elevens bidrag til egne prestasjoner fra lærerens eller skolens bidrag dersom hver elev har hatt flere lærere eller har gått på flere skoler.
En tredje gruppe studier med lavere validitet bruker multippel regresjonsanalyse, det vil si at de kontrollerer for faktorer som ikke kan påvirkes av den enkelte skolen og som kan forklare forskjeller mellom elever (Se f.eks. Meyer 1997, Heck 2000, Ladd & Walsh 2002 og Dearden, Micklewright & Vignoles 2011). Dersom man kun har tilgang på elevresultater på ett tidspunkt, kan man kontrollere for familiebakgrunn og liknende bakgrunnsvariabler i såkalte tverrsnittsmodeller. En mer avansert variant av multippel regresjonsanalyse er «value-added»-modeller, eller merverdimodeller på norsk, som også kontrollerer for tidligere resultater. Steffensen mfl. (2017) argumenterer for at disse modellene i mye større grad enn tverrsnittsmodellene evner å korrigere indikatorene for forskjeller i elevsammensetning mellom skoler.
Studier som har brukt flere av disse metodene tyder på at multippel regresjonsanalyse gir en god indikasjon på skolebidrag (Angrist mfl. 2016, Guarino mfl. 2015, Chetty, Friedman & Rockoff 2014a). Det er grunn til å tro at forskjeller i elevgrunnlaget som varierer systematisk mellom skoler og som påvirker læringsresultater, i stor grad kan fanges opp ved hjelp av elevenes tidligere resultater. Likevel bør det påpekes at det kan være faktorer som er viktige for læring og som ikke er kontrollert for, og at disse faktorene kan variere systematisk mellom skoler. Eksempler på slike faktorer er støtte fra familie, et godt oppvekstmiljø (for eksempel med en god skolehelsetjeneste og sterke frivillige organisasjoner) og egen motivasjon. Elevene kan ha selektert seg selv inn i et skolemiljø ved at for eksempel mer motiverte elever søker seg til spesielle skoler i større grad enn mindre motiverte elever med samme karakterer. Med store geografiske avstander er nok et minst like viktig problem at disse uobserverte læringsfaktorene kan være korrelert med bosted, og bosted er avgjørende for skolevalg.
Alle de norske studiene på skolebidrag i videregående opplæring benytter seg av merverdimodeller. Hægeland, Kirkebøen & Raaum (2010) beregner bidragene fra videregående skoler i Oslo ved å benytte karakterer i Vg1 som resultatvariabel og kontrollere for karakterene i 10. klasse. I Falch & Strøm (2013) og Falch, Bensnes & Strøm (2016) benyttes resultat på slutten av det videregående opplæringsløpet samtidig som det kontrolleres for karakterer i 10. klasse. Disse beregner også skolebidrag for hele landet. I alle tre studier kontrolleres det for flere individuelle karakteristikker, som familiebakgrunn. Liknende indikatorer brukes også i Storbritannia (UK Department for Education 2017) og Finland (Kortelainen, Pursiainen & Pääkkönen 2016).
I vår tilnærming bruker vi en merverdimodell der vi tar utgangspunkt i elevens tidligere resultater og spør hva skolen har bidratt med utover det som kan forventes med dette elevgrunnlaget gjennom et skoleår eller et utdanningsløp. Vi tar også hensyn til en rekke andre individ- og familiekjennetegn, som vi viser at har svært liten betydning for indikatorene når det er kontrollert for tidligere resultater. I tillegg gjør vi en analyse med bruk av faste effekter for å finne ut hvor viktige de uobserverte faktorene er for beregningene. Dette gjør vi ved å se på karakterresultatene til elevene som startet på studieforberedende programmer i 2012 og som er blant de 11 prosentene som har byttet skole underveis. Vi bruker disse til å estimere nye skolebidrag for alle skolene med samme modell som vi benyttet tidligere. Deretter beregner vi en modell med alle de samme kontrollvariablene, men i tillegg legger vi til en elevfast effekt. Dette betyr at vi kun sammenlikner prestasjonene til den samme eleven på to skoler, og ikke utfallene til ulike elever på ulike skoler. Dette gir et nytt sett med beregnede skolebidrag. Til slutt sammenlikner vi parene med skolebidrag for alle skoler som har eksistert i hele tidsperioden. Vi finner at korrelasjonen mellom estimatene er 0,66. Dette betyr at kontrollvariablene som vi har med, fanger opp det meste av forskjellene i elevgrunnlag med betydning for utfallene. Likevel er det en ikke ubetydelig andel av variasjonen som ikke fanges opp, og som kan påvirke resultatene.
Hva skal skolen bidra til?
Minst like viktig som å skille skolebidrag fra elevseleksjon er diskusjonen om hvilke elevresultater man ønsker å måle skolebidrag for. De fleste av de siterte utenlandske studiene bruker resultater på standardiserte prøver i engelsk og matematikk som mål. En artikkel benytter et mål på hva slags utdanning elevene søker videre og resultater på opptaksprøver til høyere utdanning (Angrist mfl. 2016). Effekten av lærerbidrag er evaluert med enda flere resultater, som senere inntekt og tenåringsgraviditeter (Chetty, Friedman & Rockoff, 2014b). I den amerikanske tradisjonen behandles læringsmiljø som en innsatsfaktor for læringsutbytte heller enn et mål i seg selv. Imidlertid er det viktig at skolebidrag måles på en måte som følger myndighetenes intensjon med utdanningen og skaper insentiver som fører til forbedringer langs ønskelige dimensjoner. I denne studien og de tidligere, norske studiene benyttes fullføringsmål og karaktermål i studier av skolebidrag, til tross for at skolens formålsparagraf har en betydelig bredere tilnærming til opplæring enn det som kan måles gjennom disse indikatorene.
En sentral oppgave for videregående skole er å ruste elevene for videre yrkes- eller studieliv. Derfor er det sentralt å bidra til at elevene i treårige skoleløp fullfører og består, og at yrkesfagelever i lærefag fortsetter i lære. Dersom elevene ikke fullfører og består hele løpet, er det en verdi at skolen klarer å holde på dem lengst mulig. Da kan skolen bidra til at de gjennomfører så mye som mulig og består så mange fag og trinn som mulig. Dette er viktig fordi elever som gjennomfører videregående uten å bestå i alle fag, har større muligheter til å fullføre senere enn elever som slutter (Markussen 2014). Fordi det er viktig å fullføre og bestå, og fordi det er viktig at de som ikke fullfører, får gjennomført så mye som mulig, har vi valgt å beregne indikatorer både for fullføring og gjennomføring.
Med fullføring mener vi andel elever som gjennomfører med fullført og bestått i alle fag gjennom skoleårene, og som har progresjon fra Vg1 til Vg2 og fra Vg2 til Vg3 eller lære.
Med gjennomføring mener vi andel elever som gjennomfører uten å avbryte skolegangen i løpet av skoleårene og overgangene mellom skoleårene. Dette inkluderer de som fullfører og består, de som har progresjon med stryk, og de som foretar omvalg/gjenvalg.
Vi er også opptatt av å måle skolenes bidrag til læring i bred forstand. Vår vurdering er at det beste tilgjengelige målet på dette er i hvilken grad skolene bidrar til å forbedre elevenes karakterer. Vi har valgt å ta med karakterer i alle fag og på alle trinn som mål på læring, det vil si avsluttende standpunktkarakterer og eksamenskarakterer, men også karakter fra vårterminen i fag som ikke avsluttes. Ved at vi tar med alle karakterer vil hele skolens og alle lærernes bidrag samt all elevenes læring på alle trinn inngå i skolebidrags-indikatorene. En utfordring er imidlertid at det kan være ulik karakterpraksis på skolene, slik at standpunkt- og terminkarakterer ikke er objektive størrelser. Derfor har vi valgt å justere standpunkt- og terminkarakterene for ulik karakterpraksis målt ved forskjellen mellom eksamens- og standpunktkarakterene, og også justert for skjevheter i eksamensuttrekk mellom skoler. Dette resultatmålet kaller vi justerte karakterer.
Falch mfl. (2016) presenterte sju skolebidragsindikatorer for de videregående skolene i landet. Fire indikatorer gjaldt fullføring, progresjon og deltakelse, og tre gjaldt prestasjoner målt med karakterer. Rapporten presenterte også et samlemål på skolekvalitet beregnet på grunnlag av en sum av de sju indikatorene. I vår rapport har vi ikke laget et samlemål på skolekvalitet for hver skole.
Én begrunnelse for dette er at vi mener at de indikatorene vi beregner – fullføring, gjennomføring og karakterer – ikke er tilstrekkelig som mål på skolens kvalitet. Dette er riktignok sentrale indikatorer på kvalitet, men for virkelig å kunne si noe om skolekvalitet måtte vi også inkludert mål på andre sentrale sider ved skolens virksomhet, for eksempel trivsel og fravær av mobbing. En annen begrunnelse for at vi kun har beregnet en rekke enkeltstående skolebidragsindikatorer, er at vi mener at et samlemål for hele skolen har begrenset verdi, og at skolene vil ha langt større nytte av et nyansert og detaljert indikatorsett som fanger ulike dimensjoner på den enkelte skole.
Prinsipper for nye indikatorer
Et sentralt mål for oss i utviklingen av nye skolebidragsindikatorer har vært at de skal være anvendelige for sektoren, at skoler, skoleledere og skoleeiere skal kunne bruke indikatorene i forbedringsarbeidet på de videregående skolene. Vi har derfor vektlagt at indikatorene skal være aktuelle, relevante, forståelige og så korrekte som mulig. Valgene vi har tatt bygger på, men avviker fra tidligere beregninger av skolebidrag i Norge (spesielt Falch mfl. 2016). Vi har tidligere (Markussen & Reiling 2016) presentert en kritisk drøfting av Falch mfl. (2016).
Så nye data som mulig
Vi har lagt vekt på å analysere data for skoleår som ligger så nært som mulig i tid. Jo nærmere datagrunnlaget ligger i tid, jo større er sannsynligheten for at skoleledere og skoleeiere vil oppleve at dette er relevant og at det handler om dagens skole. Med så nye data kan ikke funn avfeies med at dataene er for gamle og ikke har gyldighet. Den mest oppdaterte analysen ser på skolens bidrag gjennom skoleåret 2014–15 og overgangen til det neste skoleåret, og setter sammen resultater fra elever på alle trinn for å studere bidragets betydning gjennom et helt utdanningsløp. [Se note 1].
Yrkesfag, studieforberedende og påbygg
Yrkesfag, studieforberedende og påbygg [se note 2] er tre ulike verdener. Elevgrunnlaget er forskjellig, det er forskjellige lærer- og læringskulturer samt forskjellige karakterregimer. Det er fullt mulig at en skole som yter gode bidrag til elevenes læring på studieforberedende, ikke gjør det på yrkesfag. Med en felles indikator for de tre løpene tilsløres denne variasjonen. Vi mener at vi gir et riktigere bilde av situasjonen og at indikatorene blir mer relevante med separate indikatorer for de tre hovedløpene. Vi har utviklet skolebidragsindikatorer. Derfor har vi for yrkesfagindikatorene lagt til grunn elevenes prestasjoner i den toårige skoledelen av yrkesfagutdanningen, og ikke i læretida. [se note 3]
Elevmobilitet og strukturendringer
Mange elever bytter skole i løpet av videregående (rundt hver femte ifølge Falch mfl. 2016). Det foregår også sammenslåinger, nedleggelser og opprettelser av skoler, slik at det kan være komplisert å avgjøre hvilken skole som bør tillegges hvilke elevresultater. Dette problemet er betydelig mindre når vi analyserer data for ett skoleår.
Forståelige indikatorer
Vi presenterer indikatorene på originalskala. Det betyr at indikatorene for fullføring og gjennomføring presenteres i prosentpoeng, og at indikatorene for karakterer presenteres på karakterpoengskala. Indikatoren kan tolkes som et avvik fra et landsgjennomsnitt. Vi mener at dette gjør indikatorene mer forståelige enn om de presenteres på en felles standardisert skala.
Så korrekte som mulig
I beregningen av indikatorene har vi tatt hensyn til en rekke individ- og familiekarakteristika: Kjønn, innvandrerstatus, foreldres utdanning, arbeidsmarkedsstatus og økonomi, om elevene bor hjemme eller på hybel, samt elevenes kunnskapsgrunnlag målt med karakterer ved starten av utdanningsløpet. Vi har tatt hensyn til så mange slike kjennetegn som mulig fordi vi ønsket at indikatorene skulle bli så korrekte som mulig. Analysene viser imidlertid at det påvirker indikatorene lite om vi bare tar hensyn til tidligere kunnskapsgrunnlag eller om vi inkluderer alle de nevnte forhold. Dette er sammenfallende med funn hos Falch mfl. (2016).
Våre indikatorer
Vi har utviklet fem nye indikatorer: Skoleårs-, trinn- og overgangsindikatorer, kullindikatorer og en indikator for spesialundervisning. For de to siste henviser vi til Markussen mfl. (2017). Vi understreker likevel viktigheten av å inkludere en indikator for spesialundervisning. Den kan presentere mål på hvordan skolene lykkes med denne elevgruppen, en elevgruppe som ofte neglisjeres, men som det er viktig å lykkes med for å nå målet om en skole for alle. Vi har kommet et stykke på vei med denne indikatoren, men denne eller andre indikatorer for elever som ikke har målsetting om full studie- eller yrkeskompetanse, bør utvikles videre.
Forventet fullføring, forventet gjennomføring og forventet karakternivå
Vi har beregnet skolebidragsindikatorer for tre resultatmål: Forventet gjennomføring, forventet fullføring og forventet karakternivå. Forventet fordi vi har beregnet indikatorene på grunnlag av elevresultater i ett skoleår. I dette skoleåret har vi elevresultater for Vg1 i 2014-15, overgangen fra Vg1 til høsten 2015, Vg2 i 2014-15, overgangen fra Vg2 til høsten 2015 og Vg3 i 2014–15.
Når vi beregner forventede resultater for Vg1-elevene, forutsetter vi at de i Vg2 og overgangen etter Vg2 gjør det akkurat like godt eller dårlig som Vg2-elevene på deres skole faktisk gjorde det i 2014–15 og i overgangen til høsten 2015. Vi forutsetter også at Vg1-elevene når de kommer i Vg3 gjør det akkurat like godt eller dårlig som Vg3-elevene på deres skole faktisk gjorde det i 2014–15. På denne måten skaper vi på grunnlag av faktiske resultater i et skoleår et treårig løp inkludert to overganger som kan analyseres. Disse forventede resultatmålene er beregnet på samme måte som forventet levealder.
Skoleårs-, trinn- og overgangsindikatorer
Vi har beregnet indikatorer for skolens bidrag til elevenes forventede fullføring, gjennomføring og karakternivå separat for hele det treårige studieforberedende løpet, for hele det toårige yrkesfaglige løpet og for påbyggåret særskilt (9 indikatorer).
I tillegg til disse indikatorene for hele løp har vi også beregnet indikatorer for deler av løpet, for trinn og overganger. For studieforberedende fins det derfor tre trinnindikatorer både for forventet fullføring, gjennomføring og karakternivå, og det fins to overgangsindikatorer for forventet fullføring og gjennomføring (i alt 13 indikatorer). Tilsvarende fins for yrkesfag med unntak av Vg3-indikatorene (i alt 10 indikatorer).
Overgangsindikatorene har vi løftet frem spesielt i rapporten. Dette er fordi tidligere forsk-ning har vist at det er flere elever som forsvinner ut av videregående opplæring i overgangene, særlig i overgangen etter yrkesfaglig Vg2 (Markussen 2016).
For den enkelte videregående skole er det dermed beregnet inntil 32 skoleårs-, trinn- og overgangsindikatorer for hele løp og deler av løpet. Dette gir skolene en detaljert innsikt i hvor de bidrar godt og hvor de ikke bidrar like godt.
Hvordan kan skolen bruke indikatorene?
Etter vår vurdering er bruken av indikatorene på skoler og hos skoleeier en viktig begrunnelse – kanskje den viktigste – for å beregne disse indikatorene. Vi har derfor viet et kapittel i rapporten til å gjennomgå et eksempel på hvordan en konkret skole og en skoleeier kan tolke tallene og bruke rapporten i sitt forbedringsarbeid.
Enkelte kan kanskje tenke at få indikatorer – ja, kanskje bare en enkelt samleindikator – er lett å forholde seg til og bruke for skoler og skoleeiere. Vårt utgangspunkt er motsatt. Vi har ikke laget en samleindikator og heller ikke rangert skolene fordi vi mener en slik «skolekarakter» kan være en avsporing fra diskusjonen om hva en skole gjør godt og mindre godt og hvilke tiltak som kan styrke skolen.
Et bredt sett av indikatorer kan avdekke hvor i utdanningsløpet skoen trykker, hvilke resultatmål skolen bør jobbe med og hvor det kanskje bør iverksettes tiltak. Vi mener derfor at disse indikatorene med sitt omfang og detaljeringsnivå er et verktøy som skoler og skoleeiere kan bruke som grunnlag for målrettet forbedringsarbeid. Vi understreker imidlertid at indikatorer i seg selv ikke vil føre til bedre fullføring, gjennomføring og prestasjoner. Indikatorene må sees som et supplement til eksisterende statistikk, og brukes i sammenheng med de mange gode tiltakene som pågår for å få flere til å fullføre og bestå videregående opplæring.
NOTER
1 Skoleåret 2014–15 er det siste skoleåret som SSB kunne levere. Vi mener det er mulig å analysere på skoleår som ligger enda ett år nærmere i tid. Det forutsetter imidlertid et nært samarbeid mellom fylkeskommunene som data-leverandør og de som skal beregne indikatorene.
2 Påbygg inkluderer de tre løpene hvor elevene skaffer seg studiekompetanse etter Vg1 og Vg2 på yrkesfag etterfulgt av påbygging til generell studiekompetanse, Vg3 Medier og kommunikasjon eller Vg3 Naturbruk.
3 Helt presist har vi i det toårige yrkesfagløpet også inkludert overgangen til Vg3/lære. Mer om dette under omtalen av overgangsindikatorer.
