Misforståelser og myteskaping om utdanningsforskning

Misforståelser og myteskaping om utdanningsforskning

1 965

 I et innlegg i Utdanningsnytt (okt. 2019) kom Bjerrum Nielsen med påstander om «samrøre mellom politikere og evidensbevegelsen i utdanningsforskning». Innlegget til Bjerrum Nielsen var dessverre upresisheter og misforståelser. Her er noen av dem:

1 «Statistiske effektstudier med metaanalyser av veldefinerte, målbare forhold er normgivende gullstandard, mens eksperterfaring befinner seg på bunnen av rangstigen

Nye tiltak eller intervensjoner skaper ofte entusiasme, og det er lett å glemme at de også kan ha utilsiktede negative konsekvenser. Når man skal undersøke hvilke konsekvenser en endring har, er det avgjørende å kunne trekke så sikre konklusjoner som mulig. Det er bred enighet i de fleste fagfelt, ikke bare medisin, men også psykologi, økonomi og sosiologi at den sikreste måten er en såkalt randomisert kontrollert undersøkelse. Det innebærer at man trekker lodd og fordeler personer (eller skoler, kommuner etc) i to grupper, en som får tiltaket og en annen som er en sammenligningsgruppe. Alle forskjeller mellom gruppene da tilfeldige på grunn av loddtrekningen. Dersom man ser økte forskjeller mellom gruppene etter endringen, er det sannsynlig at disse skyldes endringen. Dersom man ikke har denne loddtrekningen kan gruppene være ulike i utgangspunktet. Dermed kan endringen også virke forskjellig på gruppene.

Når man skal studere konsekvenser av en endring, er det viktig å gjøre slike randomiserte kontrollerte studier, siden det er bred enighet om at det gir sikrest kunnskap. Det betyr selvsagt ikke at slike undersøkelser er perfekte. Kartleggingen man bruker kan ha dårlig kvalitet og uforutsette ting kan skje under endringen. Derfor er det aller beste å ha såkalte meta-studier hvor man ser flere randomiserte kontrollerte undersøkelser i sammenheng.

Det er altså gode grunner til at det Bjerrum Nielsen kaller «statistiske effektstudier med metaanalyser» men som vanligvis kalles meta-analyser av randomiserte kontrollerte studier, er best egnet til å studere effekten av en endring.  Det burde vel egentlig være innlysende at dette rangeres høyere enn det Bjerrum Nielsen kaller «eksperterfaring». En «ekspert» (hva nå enn det er) vil jo ikke kunne forutse konsekvenser av en endring, det må selvsagt undersøkes systematisk.

2.«deres metode er den eneste som er vitenskapelig, mens alle andre måter å skaffe til veie kunnskap på dermed ikke er det».

Det Bjerrum Nielsen her misforstår, er at rangeringen av undersøkelsestyper gjelder bare dersom forskningsspørsmålet handler om konsekvenser av en endring. For andre forskningsspørsmål er det selvsagt andre vitenskapelige metoder som er best egnet. En metode er ikke mer eller mindre vitenskapelig enn en annen, men de varierer når det gjelder hvilke forskningsspørsmål de kan svare på. Det er derfor viktig å kjenne til mulighetene og begrensningene ved den enkelte metode.

3 «mange politikere ganske ukritisk har godtatt dens [evidensbevegelsens] krav om å ha definisjonsrett for hva som er gyldig evidens og gode beslutningsgrunnlag»

Er det egentlig så underlig at politikere og andre som arbeider med politikkutforming er opptatt av resultatene fra randomiserte kontrollerte studier? Dersom man er ansvarlig for endringer som kan få store konsekvenser for enkeltpersoners liv, ønsker man selvsagt sikrest mulig kunnskap om både positive og negative følger av endringen. Det kan randomiserte kontrollerte undersøkelser bidra til, og resultatene fra disse kan nyansere og utdypes med andre undersøkelsestyper.

4. «Evidensbevegelsen»

Bjerrum Nielsen kaller de som gjør slike undersøkelser i utdanningsforskning for en «evidensbevegelse». Dersom det er tilfellet, er det i så fall en svært liten bevegelse i Norge. Så vidt jeg vet er det (inkludert meg selv) kanskje 10-15 personer som har publisert resultater fra norske randomiserte kontrollerte studier av skole og barnehage. De siste 30 årene har det knapt, inntil relativt nylig, blitt publisert en eneste norsk randomisert kontrollert studie. Andre undersøkelsestyper har nærmest vært enerådende. Manglende undersøkelser av konsekvenser av tiltak er kanskje også en av grunnen til at vi fortsatt har svært liten kunnskap om hvordan vi bør organisere spesialundervisning, hva som skjer når elever bruker IPAD, eller hvilke tiltak som kan forebygge fravær i skolen.

Det er også viktig å merke seg at bruk av randomisere kontrollerte studier har ført til stor fremgang og ny kunnskap i en rekke fagfelt, blant annet i medisin som Bjerrum Nielsen viser til. Et vanlig motargument er at utdanning er mer komplekst enn å teste effekten av en pille. Noen av de største fremskrittene i medisin nylig er imidlertid langt mer komplekse enn en pille. Behandlingen av cystisk fibrose krever for eksempel tre ulike typer behandlinger som er skreddersydd til pasientens genetiske bakgrunn. Reduksjonen av overdosedødsfall i USA har også krevd komplekse tiltak som involverer samarbeid mellom ulike instanser, forskning, utviklingsarbeid spredning av dette. Randomiserte kontrollerte studier har spilt en viktig rolle i disse gjennombruddene.

På mange måter har denne debatten om den såkalte «evidensbevegelsen» vært trist å følge. Innholdet er ofte basert på misforståelser, og den har rommet uvanlig sterk kritikk av enkeltpersoner. Heller enn å kritisere at det nå er et større mangfold i utdanningsforskning, burde Bjerrum Nielsen og andre fokusere på at ulike undersøkelser besvarer ulike forskningsspørsmål, kan gi ulike bidrag og utfylle hverandre. For eksempel kan man i en randomisert kontrollert undersøkelse brukt dybdestudier for å undersøke implementeringen. Den polariserte debatten om «evidens» bidrar til myteskaping som skaper et dårlig utgangspunkt for samarbeid og dermed kan hindre utviklingen av ny kunnskap.

 

 

Du vil kanskje også like dette Mer fra samme forfatter

1 Comment

  1. heidi stakset says

    Lervaag skriver;” Bjerrum Nielsen kaller de som gjør slike undersøkelser i utdanningsforskning for en «evidensbevegelse». Når jeg leser innlegget til professor Harriet Bjerrum Nielsen ser jeg tvert imot at hun probematiserer bruken av evidensbegrepet. Hun skriver at metoden skriver seg fra “det medisinske fagfeltet hvor den ble kjent under navnet «evidensbasert medisin», og den omtaler også ofte seg selv som «evidensbevegelsen» – derav forvirringen omkring evidensbegrepet. Forskningstradisjonen ble opprinnelig utviklet for å teste effekten av legemidler og er senere tatt i bruk i andre deler av medisinen og også eksportert til deler av den pedagogiske forskning. Evidensbevegelsen har høy tillit til standardiserbare forskningsdesign og resultater fra store databaser, nærmest uavhengig av hvilket spørsmål som skal besvares. Statistiske effektstudier med metaanalyser av veldefinerte, målbare forhold er normgivende gullstandard, mens eksperterfaring befinner seg på bunnen av rangstigen. Kvalitative studier eller andre former for systematisert erfaringsbasert kunnskap inngår ikke i evidenshierarkiet i det hele tatt. ” Utdanningsnytt 17.10.2019

    Jeg har selv vist til flere internasjonale forskere som har problematisert Hatties metaanalyser. Jeg legger her ved et utdrag: ” I artikkelen “Er Visible learning av John Hattie, så synlig? ” stiller Mathieu Thibault ved Quebec Universitet i Montreal, spørsmål ved metaanalysene til John Hattie og bruken av den i utdanningssektoren. Han sier ydmykt at han ikke har satt seg inn i alle detaljene i arbeidet til Hattie og hans team, men er, i likhet med flere andre, blitt eksponert for listene fra forskningsresultatene gjentatte ganger.
    Hattie og hans lag har produsert et omfattende arbeid og samlet resultater fra 1200 metaanalyser, 70.000 studier og 300 millioner elever (Hattie, Fisher og Frey 2016. s. 5). Arbeidet til Hattie er «kjent» av mange aktører innen utdanning, og flere siterer resultatene hans og tillegger listene stor betydning for utdanningsfeltet. Det skyldes at hans metaanalyser bygger på et imponerende kvantum av fakta, i tillegg til at resultatene er presentert på en tilgjengelig måte. Dette gjør at mange aksepterer resultatene, uten å stille spørsmål.
    For lærerne kan det være fristende å benytte seg av repertoaret av effekter for å bevare kun de metodene som har en betydelig virkning for at eleven lykkes, og utelukke metoder som ikke er effektive.
    I listene leser vi at lærerens tilbakemelding (d=0,73) har større effekt enn lekser (d=0,29), men å fastholde denne konklusjonen gir oss ingen forståelse av hver metode eller deres relative effekt, hevder Thibault. Hvordan kan vi sammenligne effekter som er så distinkte, og helt uavhengig av skolenivå og fag? spør han. Enkelte av sammenligningene er vilkårlige; bidragene fra elevene, hjemmet, skolen, læreren, vitnemålet, og undervisningstilnærmingen. Det kan synes merkelig å sammenligne effekten av undervisningsstrategier med antall elever i klassen eller etter hvor mange timer elever sitter foran tv. Metoden kalles «å sammenligne epler og pærer» i England ettersom meta-analysen viser til helt ulike realiteter. Effektlistene til Hattie er altså offentliggjort, utenfor kontekst, og deretter presentert for lærere i den hensikt å rettlede dem i deres undervisningspraksis.
    Utdanningsforsker ved Lyon universitet, Olivier Rey, skriver: (franskspråklig lenke): «Man velger for eksempel ut en forskning som beregner effekten av en type arbeid i en elevgruppe, som en slår sammen med forskning om annen kollektiv arbeidsform for å lage en metaanalyse om samarbeid. Deretter samler man disse allerede grove metaanalysene og blander de med andre for å kategorisere en praksis som karakteriseres som «undervisningsmetode» I mellomtiden er praksisens realitet, dens presisjon og spesifikasjon, bleknet i tall og variabler. Disse tallene tjener til å formulere generelle tanker som at «lærerne må være lidenskapelig engasjerte i opplæringen av sine elever. Det er symptomatisk, skriver forskeren Rey, at John Hattie eliminerer det spesifikke som angår undervisningens innhold. Vi kan se denne metode, uten kontekst, i de statlige kartleggingsprøvene, nasjonale prøver, skolebidragsindikatorene og elevundersøkelsen. Kritikken mot Hatties metode understøttes av professor Arne Lervåg og Professor Monica Melby-Lervåg i artikkelen «John Hatties Visible Learning: Ingen «hellig gral» for undervisningen». De skriver:
    «Hatties bok har vært sterkt kritisert blant annet for å fokusere på medisinsk metode (Imsen, 2011), for å være kommersiell (Sjøberg, 2012), og for å bruke feilaktige beregninger av effektstørrelse (Topphol, 2011). Hovedproblemene slik vi ser det, er imidlertid to ting som i liten grad har kommet frem i debatten til nå: Den første innvendingen mot Hatties konklusjoner er at mange av metaanalysene han har inkludert ikke dreier seg om å undersøke effekten av et tiltak. Man har altså ikke undersøkt hvordan et konkret tiltak utprøvd i skolen virker inn på elevenes ferdigheter, men sammenhengen mellom ulike forhold» (Bedre skole, 07.01. 2014).
    I beste fall kan forskningsresultater fungere som et utgangspunkt, men kan ikke danne en regel som lærerne skal følge.
    Thomas Nordahl, som tar i bruk Hatties metaanalyser i Norge, gir løfte om en såkalt effektiv praksis og støtter seg på et autoritetsargument fra «forskningen». Like fullt er det ingen konklusjon i forskningen som kan overføres direkte til praksis i form av en regel når det gjelder kunsten å undervise, skriver Thibault. I beste fall kan forskningsresultater fungere som et utgangspunkt, men kan ikke danne en regel som lærerne skal følge. Arbeidet til Hattie kan ikke være et påskudd for å gi lærerne en falsk følelse av trygghet og fortelle dem hva de skal gjøre, instruere dem, som Nordahl sier, under påskudd av at disse anbefalingene er validert av forskningen. Det er ikke slik at etiketten «forskning» skal gjøre at leserens kritiske sans kobles ut, skriver Thibault.
    Nordahl bruker autoritære formuleringer som «forskingen sier», men det er sjelden konsensus om resultater i forskningen, og dessuten er det kommet skarp kritikk mot den evidensbaserte retningen som betrakter utdanningen gjennom termer som «effektivitet». Hattie går blant annet inn for «prestasjonslønn» for lærere, basert på «resultater». Det er også viktig å merke seg at Hatties metaanalyser er kvantitative studier av kontrollgrupper, mens en stor del av den internasjonale forskning om utdanning er kvalitative studier som omhandler didaktikken i fag. Kan vi virkelig få en dybdeerkjennelse av undervisningsformer, i deres kontekst, for å gi et bilde det som foregår i klassen? Dersom vi ikke tar den systematiske og arbeidsomme veien om den reelle praksisen, erfaringen, vil vi få et analysenivå som framstår hul og generell, avslutter Olivier Rey.” (..) Utdanningsnytt 11.10. 2019

Leave A Reply

Your email address will not be published.