Forsøk i skolen

Det foregår forsøk i skolen hver dag. Læreren, skolen eller nasjonale myndigheter prøver noe nytt. Om det fungerer godt, kan det være at man fortsetter med det, men om det ikke fungerer like godt, kan man justere eller gå tilbake til det man gjorde før. På denne måten er forsøk en sentral del av utviklingen av en god skole. Allikevel kan det noen ganger være ønskelig at slike forsøk gjennomføres på en systematisk måte ved hjelp av såkalte randomiserte kontrollerte forsøk som kan gi oss gode svar på årsakssammenhenger. Forsøkene gir oss svar på om noe fungerer (er det en effekt?), hvor godt det fungerer (hvor stor er effekten?), og hva som skal til for at det fungerer best mulig (hva kjennetegner skolene med størst effekt?). Slike forsøk kan gjennomføres på enkelte skoler i kortere perioder, men de kan også involvere hundrevis av skoler og tusenvis av elever og pågå over flere år. Resultatene kan bidra til den pågående skoleutviklingen, spesielt i de tilfellene hvor vi er usikre på om eller hvordan noe bør gjøres.

Lærertetthet som eksempel

For å illustrere hvordan randomiserte forsøk fungerer, kan vi bruke betydningen av flere lærere for elevenes læring som eksempel. Det vi egentlig ønsker svar på er: Hvordan påvirkes en elev av at klassen får en ekstra lærer? Helst skulle vi gjerne sett hvordan det gikk med eleven dersom hun gikk i en klasse med én lærer, og så sett hvordan det gikk med den samme eleven dersom hun istedenfor gikk i en klasse med to lærere. Problemet er naturligvis at samme elev ikke kan oppleve begge deler, i hvert fall ikke på samme tid – enten har klassen én lærer, eller så har klassen to lærere: Vi kan aldri observere den kontrafaktiske situasjonen.

Et randomisert forsøk prøver å komme så nær denne tenkte situasjonen som mulig. Dette gjør man ved å ha en tiltaksgruppe der klassen får to lærere og en sammenligningsgruppe der klassen fortsatt bare har én lærer. Så sammenligner man hvordan det går med elevene i hver av gruppene.

For at sammenligningsgruppen virkelig skal være sammenlignbar, må den være så lik tiltaksgruppen som mulig før forsøket setter i gang. Dette oppnår vi ved å ha en stor nok gruppe, og så sørge for at det er helt tilfeldig hvem som havner i tiltaksgruppen, og hvem som havner i sammenligningsgruppen. Dersom gruppen er stor nok, vil gruppene være sammenlignbare når det gjelder både ting vi vet, for eksempel kjønn, innvandrerbakgrunn og foreldres utdanning; og ting vi vet mindre om, for eksempel hvor motiverte elevene er, eller hvor engasjert læreren og skolen er. I fravær av tiltaket kan vi anta at begge gruppene ville ha utviklet seg nesten helt likt, fordi de er nesten helt like. Hvis vi da observerer en forskjell mellom gruppene etter at tiltaksgruppen får en ekstra lærer, så kan vi med større sikkerhet si et det er effekten av å ha en ekstra lærer.

Et godt utviklet randomisert kontrollert forsøk bør ta utgangspunkt i tidligere kunnskap. Det finnes allerede en betydelig litteratur som undersøker den kausale effekten av økt lærertetthet og/eller redusert klassestørrelse på elevprestasjoner ved hjelp av eksperimentelle eller kvasieksperimentelle metoder. Den mest kjente studien om klassestørrelse er Tennessee STAR prosjektet fra 80-tallet i USA som fordelte elever tilfeldig til én av tre grupper: mindre klasser (13–17 elever), vanlige klasser (20–25 elever) eller vanlige klasser med en lærerassistent. En rekke studier har sett på effekten av dette eksperimentet både på kort og på lang sikt (se f.eks. Schanzenbach (2006), Krueger & Whitmore (2001), Chetty et al. (2011) og Dynarski, Hyman & Schanzenbach (2013)), og forskningen viser i all hovedsak en positiv effekt på elevenes skoleresultater. Effekten er størst for elever fra lavinntektshjem eller med minoritetsbakgrunn.

I Norge har flere studier benyttet den tidligere klassedelingsregelen som et kvasieksperiment for å studere betydningen av klassestørrelse. Leuven, Oosterbeek & Rønning (2008), Falch, Sandsør & Strøm (2017) og Leuven & Løkken (2018) finner ingen effekt av redusert klassestørrelse på karakterer, år med utdanning eller inntekt. Iversen og Bonesrønning (2013) finner imidlertid en liten positiv effekt på skoleresultater på barnetrinnet hos barn av foreldre med lavere utdanningsnivå og barn som vokser opp med skilte foreldre.

Kirkebøen, Kotsadam, Raaum, Andresen & Rogstad (2017) bruker et kvasieksperiment for å se på effekten av en økning i lærertetthet på ungdomstrinnet. De utnytter at tildelingen av ressurser til flere lærere knyttet seg til to klare kriterier (høy gruppestørrelse og lave grunnskolepoeng) som gjør at de kan sammenligne skoler rett over og rett under de to grensene. Resultatene viser at skolene ansatte flere lærere, men at lærerne ikke bidro til å øke elevenes læringsutbytte (grunnskolepoeng, eksamenskarakterer, nasjonale prøver, fravær og fullføring) eller elevenes selvrapporterte trivsel i Elevundersøkelsen.

Studiene fra Norge viser som regel ingen eller liten effekt av økt lærertetthet og/eller redusert klassestørrelse, mens resultatene internasjonalt er noe mer varierte. Samtidig er det tendenser til at effekten er større for barn fra utsatt bakgrunn og yngre elever, i tillegg til at flere studier har pekt på at det er avgjørende hvordan ekstra lærere benyttes (se f.eks. Andersen, Beuchert, Nielsen & Thomsen (2018) og Solheim & Opheim (2019)).

To nye norskeforskningsprosjekter

Høsten 2016 startet to store randomiserte forsøk som begge hadde som mål å undersøke effekten av å få flere lærere inn i skolen. Det ene er «Two Teachers», som inkluderer 150 skoler og bruker lærerressursen i leseopplæringen (avsluttet våren 2018). Ved hver skole er det en tiltaksklasse som har hatt en ekstra lærer i 1. og 2. klasse og en sammenligningsklasse (Solheim, Rege & McTigue, 2017).

Det andre forsøket er «1+1-prosjektet» som inkluderer 160 skoler og bruker den ekstra lærerressursen til smågruppeundervisning i matematikk på 2.–4. trinn (avsluttes våren 2020). Halvparten av skolene er tiltaksskoler og halvparten er sammenligningsskoler (Bonesrønning m.fl., 2018). Omfanget innebærer at mer enn 1 av 10 barneskoler i Norge deltar i ett av forsøkene.

Å ha tilfeldig fordeling til gruppene og å ha nok deltakere sikrer at forsøket har muligheten til å fange opp en målbar effekt, men for å vite hva vi eventuelt finner en effekt av, er det viktig å være klar over hvordan forsøket er organisert, og hvordan det gjennomføres. «1+1-prosjektet» innebærer for eksempel at skolene ikke bare får en ekstra lærer, men at læreren brukes i tråd med retningslinjene i prosjektet. Utvalgte trinn (og klasser) får en ekstra lærer som skal brukes til smågruppeundervisning i matematikk i alle matematikktimene. Alle elevene skal delta i to perioder med smågruppeundervisning i løpet av året, og smågruppene skal ikke overstige seks elever. For hver skole som går litt bort fra retningslinjene, risikerer vi å ikke fange opp effekten av forsøket. Vi risikerer å konkludere med at smågruppeundervisning i matematikk ikke har effekt, ikke fordi det ikke har det, men fordi skolene ikke har drevet med det.

Så hva er det da vi måler effekten av en ekstra lærer på – hvilke ulike utfall er det vi vil se på? I 1+1-prosjektet er det utviklet matematikktester som elevene i både tiltaksgruppen og sammenligningsgruppen tar underveis i prosjektperioden. I tillegg bruker prosjektet data fra SSB til å undersøke hvordan elevene som deltar i forsøket, gjør det på nasjonale prøver. Kjennetegn ved skolen og informasjon om elevens kjønn og foreldrenes utdanningsnivå, i tillegg til informasjon om smågruppesammensetning og mengden smågruppeundervisning kan hjelpe oss med å belyse hvordan ulike grupper påvirkes av forsøket. Spørreundersøkelser til lærere og skoleledere hjelper oss til å forstå hvordan forsøket er gjennomført, og til å tolke resultatene. For å kunne gjennomføre forsøket og koble sammen informasjonen som samles inn om barna som deltar, trenger vi samtykke fra elevenes foresatte. Det er viktig at så mange som mulig, både i tiltaks- og sammenligningsgruppen, samtykker til deltakelse. Hvis ikke kan det være at vi fanger opp effekten av manglende eller skjevfordelt informasjon heller enn effekten av selve forsøket.

Er det dermed sagt at dette er den beste bruken av en ekstra lærer, eller at dette er måten vi kan være sikre på å fange opp effekter av et tiltak med økte lærerressurser på? Nei, ikke nødvendigvis. Store randomiserte forsøk utformes gjerne basert på vellykkede tiltak i andre kontekster eller pilotstudier med lovende resultater. Vi ønsker å prøve ut noe vi tror vil gi resultater. Når forsøket så evalueres, er det er viktig at vi vet nok om hvordan forsøket har blitt gjennomført, slik at vi kan forklare hvorfor forsøket gir effekt – eller eventuelt hvorfor det ikke har gjort det.

Er det verd strevet?

Prosjektene krever mye av lærerne, skolene, skoleeiere (kommunene/fylkeskommunene) og forskningsmiljøene. Samtykker skal samles inn, spørreundersøkelser skal besvares, elever skal ta ekstra prøver, prosjektet skal gjennomføres som avtalt, og informasjonen om alt dette skal ut til skolene, til lærerne og videre til foreldrene. Dette kommer oppå andre oppgaver i en allerede hektisk hverdag. I tillegg kan det være at sammenligningsgruppen opplever en økt arbeidsbyrde i forbindelse med prosjektdeltakelse uten at de nødvendigvis føler at de får noe igjen for det. Da kan det være lett å lure på hvorfor i all verden man skal holde på med forsøk i en slik skala. Er det virkelig noe mer å hente? Lærer vi noe nytt?

Ja, det er nettopp det vi gjør! Forskning fra andre land kan gi oss indikasjoner på hva som fungerer, men vi kan ikke vite om det fungerer i en norsk kontekst. Kvalitativ forskning kan gi oss viktig innsikt i hva som er viktig for at noe fungerer, men kan ikke gi oss klare svar på årsakssammenhenger, fordi man ikke har nok observasjoner (og dette er heller ikke hensikten). I Norge har vi gode data som gjør at vi kan følge elever gjennom skolesystemet og videre ut i arbeidslivet, og vi kan se dette i sammenheng med et bestemt tiltak (longitudinelle studier). Men dette i seg selv er som oftest ikke nok til å gi oss sikker informasjon om hva tiltaket betyr for elevenes læring. I noen tilfeller er vi heldige nok til å finne en troverdig kilde til tilfeldig variasjon som gir oss det vi kaller kvasieksperimentelle studier. Disse studiene er gode på å vise årsakssammenhenger, men hvem som opplever tiltaket, og hvordan det har blitt gjennomført, ligger som oftest utenfor vår kontroll. Når alle disse andre kildene peker i samme retning, kan vi likevel være nokså sikre på at en årsakssammenheng finnes. For eksempel er det stor enighet om at gode lærere er viktig. Når derimot funnene er uklare eller forskjellige avhengig av metode og kontekst, er det nettopp store randomiserte forsøk som kan være med på å gi oss svarene vi enda ikke har. Betydningen av ekstra lærere er nettopp et slikt spørsmål, og som forsker i 1+1-prosjektet ser jeg frem til å kunne vite om en ekstra lærer til smågruppeundervisning i matematikk kan være med på å øke elevenes prestasjoner. Dersom det er tilfellet, vil forskningen kunne vise at flere lærere kan ha betydning for elevenes læring, men at det også er avgjørende hvordan ressursen benyttes. Resultatene vil være viktige både for Norge og internasjonalt, og vil bidra til mer kunnskap om hva som bidrar til god læring, og hvordan skolen kan utnytte knappe lærerressurser best mulig.

1+1-prosjektet avsluttes til våren, mens Two Teachers allerede er avsluttet. Forskerne er godt i gang med analyser, og begge prosjektene vil snart gi oss viktige svar på effekten av økt lærertetthet på elevenes læring. Har forsøkene fungert, og hvor godt har de fungert? Og hva skulle til for at de fungerte best mulig? Svarene kan bidra til å gjøre skolen bedre.

Litteratur

Andersen, S.C., Beuchert, L., Nielsen, H.S. & Thomsen, M.K. (2018). The effect of teacher's aides in the classroom: Evidence from a randomized trial. Journal of the European Economic Association.

Bonesrønning, H., Finseraas, H., Hardoy, I., Iversen, J.M.V., Nyhus, O.H., Opheim, V., Salvanes, K.V., Sandsør, A.M.J. & Schøne, P. (2018). Pre-Analysis Plan. The Effect of Small Group Instruction in Mathematics for Pupils in Lower Elementary School: Results from a .Randomized Field Experiment.

Chetty, R., Friedman, J.N., Hilger, N., Saez, E., Schanzenbach, E.W. & Yagan, D. (2011). How does your kindergarten classroom affect your earnings? Evidence from project STAR, Quarterly Journal of Economics, Vol. 126, s. 1593–1660.

Dynarski, S., Hyman, J. & Schanzenbach, D.W. (2013). Experimental evidence on the effect of childhood investments on postsecondary attainment and degree completion, Journal of Policy Analysis and Management, Vol. 32, s. 692–717.

Falch, T., Sandsør, A.M.J. & B. Strøm (2017). Do smaller classes always improve students’ long-run outcomes? Oxford Bulletin of Economics and Statistics, 79(5), s. 654–688.

Kirkebøen, L.J., Kotsadam, A., Raaum, O., Andresen, S. & Rogstad, J. (2017). Effekter av satsing på økt lærertetthet, Rapport 2017/39, Statistisk sentralbyrå.

Krueger, A.B. & Whitmore, D.M. (2001). The effect of attending a small class in the early grades on college-test taking and middle school test results: evidence from project STAR, Economic Journal, Vol. 111, s. 1–28.

Leuven, E. & Løkken, S.A. (2018). Long-Term Impacts of Class Size in Compulsory School. Journal of Human Resources, 0217-8574R2.

Leuven, E., Oosterbeek, H. & Rønning, M. (2008). Quasi-experimental Estimates of the Effect of Class Size on Achievement in Norway, Scandinavian Journal of Economics, 110, s. 663–693.

Schanzenbach, D.W. (2006). What have researchers learned from Project STAR?, Brookings papers on education policy, s. 205–228.

Solheim, O.J., & Opheim, V. (2019). Beyond class size reduction: Towards more flexible ways of implementing a reduced pupil–teacher ratio. International Journal of Educational Research, 96, s. 146–153.

Solheim, O.J., Rege, M. & McTigue, E. (2017). Study protocol: «Two Teachers»: A randomized controlled trial investigating individual and complementary effects of teacher-student ratio in literacy instruction and professional development for teachers. International Journal of Educational Research, 86, s.122–130.