«Det er tiltak i norsk skole det er satset mer på med dårligere dokumentasjon»

Han tar imot Utdanning på kontoret ved Senter for praksisrettet utdanningsforskning (SePU) ved Høgskolen i Innlandet. Med seg har han Anne-Karin Sunnevåg, som er i ferd med å fullføre en doktorgrad knyttet til LP-modellen.

Dette er et tilsvar til denne artikkelen om LP-modellen:

Bedre skole til salgs

Begge to mener deler av kritikken fra forskerne er berettiget, og at de stadig jobber med å utvikle kvaliteten på forskningen.

Her finner du artikkelen som er utgangspunktet for dette tilsvaret.

De påpeker imidlertid at kritikken kun er basert på en liten del av LP-forskningen og viser til at de siste evalueringene har et kontrolldesign, og at det er gjort flere kvalitative evalueringer fra Aarhus Universitet.

Nordahl legger en liste på bordet med rundt 90 referanser.

– Jeg tror du vil ha problemer med å finne en så lang referanseliste for mange andre ting det jobbes med i norsk skole. Så kan vi selvsagt diskutere kvaliteten på undersøkelsene, sier han.

Uavhengig forskning

Referansene inneholder bøker, artikler, rapporter og masteroppgaver. 13 av referansene er fagfellevurderte, ifølge Nordahl.

– Når ingen uavhengige forskere går gjennom materialet, er det en fare for å konkludere i overkant optimistisk?

– Ja, det er klart. Det er et poeng å ha fagfellevurderinger, sier Nordahl.

Han sier de gjerne skulle prioritert vitenskapelig publisering høyere, men manglende grunnfinansiering gjør dette vanskelig. Av effektundersøkelsene er kun én fersk studie fra Sunnevåg fagfellevurdert. Den omhandler 20 danske LP-skoler hvor det er tatt inn et tredje måletidspunkt etter fire år. Flertallet av effektstørrelsene er da noe høyere etter fire år sammenlignet med etter to år. Studien er publisert itidsskriftet Paideia, hvor én av utgiverne er SePU og redaksjonen blant annet består av Nordahl og Ole Hansen.

– Du har utviklet modellen, og senteret du leder evaluerer effektene. Ligger det en interessekonflikt der?

– Ja, det kan du godt si, men LP-modellen ble utviklet i samarbeid mellom Lillegården kompetansesenter og meg. Videre er det forsket ganske mye på LP-modellen uavhengig av oss, sier Nordahl.

Han sier de har vært åpne om dataene de har fra effektundersøkelsene, og at de har publisert mange fagfellevurderte artikler på grunnlag av materialet. Dataene er også brukt av andre forskere. Han peker på at kommunene har betalt for evalueringsrapportene, og at de skal forstå innholdet.

– Forskersamfunnet vil da si at her mangler det ting, sier Nordahl.

De har flere ganger søkt midler til større studier med kontrollskoler, men uten hell. Han sier de forsøker å lage bedre studier hvor de så godt som mulig kontrollerer for faktorene de nå får kritikk for.

– Slike studier burde vi gjort før, men nå gjør vi det. Så har også analysene innen utdanningsforskningen utviklet seg siden vi begynte med dette for over ti år siden, sier Nordahl.

Implementering

Til og med 2015 var SePU ikke involvert i salg og implementering av LP-modellen. De ble kun leid inn til evalueringene. Fra 2016 har SePU ansvar for begge deler og følger nå opp én kommune og tre videregående skoler. Ifølge Nordahl er det relativt ubetydelige inntekter for høgskolen. Han poengterer at verken han selv eller Ole Hansen, som har vært sentral i Danmark, har personlige inntekter knyttet til LP-modellen.

Nordahl mener de har gode resultater på skoler som har implementert godt.

– Det er også skoler som ikke er i nærheten av gode resultater, men det handler veldig mye om implementering.

– Det er vel et klassisk svar fra utviklere, at de skylder på implementeringen, hvis resultatene ikke lever opp til forventningene?

– Det har vi dokumentasjon på. Forsker Bent Andresen sammenlignet de kvalitative dataene med de kvantitative dataene. Da ser vi sammenheng mellom resultatene og implementering, noe som samsvarer godt med internasjonal implementeringsforskning.

Effektstørrelser

Nordahl sier det er stor forskjell på å måle effekt på et helt læringsmiljø i skolen, kontra det å måle effekt av et spesifikt tiltak rettet mot for eksempel å bedre læringsutbytte i et enkelt fag.

– For LP-modellen er det snakk om bredspektrede kartlegginger. Vi har ikke bare sett på skolefaglige prestasjoner, men trivsel, atferd, mobbing, kvaliteter i læringsmiljøet, lærersamarbeid og så videre. LP-modellen er en skoleomfattende kompetanseutviklingsstrategi og ikke et pedagogisk tiltak. Da kan vi ikke stille krav om at effektstørrelser bør være på minst 0,40, slik Hattie gjør, sier Nordahl.

– Mange mener Hatties inndeling av effektstørrelser er unyansert. Men du har selv vært en klar stemme i offentligheten når det gjelder Hattie. Det kan virke som du nå ikke tar konsekvensene av det du sier?

– Diskusjonen om hva som er lite, middels og stort av effektstørrelser, er ikke enkel. Det er godt mulig jeg kan prate positivt om ting som har vist stor effekt, og så glemmer jeg av og til at jeg selv driver med ting som har vist liten effekt. Kanskje må jeg ta selvkritikk på at jeg av og til kan ha lovet mer enn det er grunnlag for å love. Men i hovedsak har vi uttrykt at effektene er små, når det er tilfellet. Så kan det hende jeg har glemt et adjektiv av og til i alle disse publikasjonene, sier Nordahl.

– Jeg kan godt være enig i at en del av effektstørrelsene vi finner, ikke nødvendigvis er veldig imponerende. Men for en skoleomfattende tilnærming er det tilfredsstillende, sier han.

Ifølge Nordahl skriver Hattie at slike tilnærminger i gjennomsnitt har en effekt på 0,22, og at små effekter i denne type satsinger er viktige. Han viser til deres egne resultater fra Kristiansand hvor effekten på mobbing er 0,07, men hvor det betyr at rundt femti elever ikke lenger blir mobbet.

220 skoler på én høst

– Forskere vi har snakket med, mener effektene ikke er godt nok dokumentert. Har man kjørt i gang litt tidlig her?

– Det kan godt hende. Men det er tiltak i norsk skole det er satset mer på med dårligere dokumentasjon. Den første LP-studien med kontrollskoler indikerte i alle fall at dette kan ha en effekt.

Han sier de var uforberedt på utviklingen i Danmark.

– Plutselig startet 220 skoler på en høst. I ettertid kan man si at vi ikke skulle tillatt det. Men når man står midt i det, er det vanskelig å si at noen ikke får lov. Hvis det hadde vært et veldig godt tiltak, ville det da vært riktig å si at de ikke fikk lov, spør Nordahl.

– Men på dette tidspunktet visste dere vel ikke om LP-modellen fungerte godt, likevel ble dette hardt markedsført til skolene. Ble skolene tatt inn i et eksperiment med usikre effekter?

– Dette var ikke et eksperiment, men et skoleutviklingsprosjekt bygd på internasjonal forskning om implementering. Gjennom evaluering fra Norge og annen forskning var det lagt opp til strategier og arbeidsmåter som var dokumenterte og velkjent for skoler i Danmark. Det siste var den viktigste grunnen til at så mange skoler tok kontakt og ble med. Det var ingen hard markedsføring. Skolene måtte selv ta kontakt, sier Nordahl.

– I rapporten til Kristiansand kommune skriver du at de må holde kursen til tross for at endringene er veldig små – hvorfor det?

– Vi prøver å skape en endring som skal sitte. Derfor sier vi til Kristiansand kommune at de må holde kursen, så kanskje dette på sikt viser seg å bli et viktig arbeid. All forskning på implementering viser at du må holde på lenge, sier Nordahl.

– Du skriver at «Det er stor sannsynlighet for at om arbeidet med FLiK-prosjektet fortsetter, vil resultatene som er knyttet til barn og unges læring også stadig forbedres». Har du dekning for å hevde det?

– Ja, vi har dokumentasjon for at effektstørrelsen er høyere etter fire år enn etter to års arbeid med denne type skoleomfattende intervensjoner. Dette er det også støtte for i annen forskning.

Underskudd

Utdanning har vært i kontakt med Læringsmiljøsenteret ved Universitetet i Stavanger som solgte og implementerte LP-modellen i perioden 2006–2015 (Lillegården i perioden fram til 2013). De oppgir at inntektene har dekket utgifter i forbindelse med implementering, og at arbeidet med LP-modellen har vært et underskuddsprosjekt rent økonomisk.

Utdanning har via e-post spurt University College Nordjylland om markedsføringen av LP-modellen. Mathilde Nyvang Hostrup, områdedirektør for UCNs pedagogiske etter- og videreutdannelse, svarer at de «står fullt inne for vårt arbeid med LP-modellen i danske barnehager og skoler. Det er vår oppgave som profesjonshøyskole å utdanne og etterutdanne i kunnskap og metoder som bidrar positivt til den pedagogiske profesjon og kjerneoppgave».