Hva er et godt kartleggingsverktøy? 5 tommelfingerregler

0

Kartleggingsverktøy er ofte en viktig basis for å ta beslutninger som kan får store konsekvenser for et barns liv: Skal barnet viderehenvises til PPT for grundigere utredning eller er problemene av mindre alvorlig art? Trenger barnet særskilt norskopplæring? Har barnet rett til spesialundervisning? Skal vi igangsette spesielle tiltak for barnet på skolen eller skal det følge klassens undervisning med enklere tilpasninger? Dette er eksempler på spørsmål hvor kartleggingsverktøy er en viktig del av grunnlaget for å ta en beslutning.

Det er god forskningsmessig støtte for at det kan være en god ide å bruke kartleggingsverktøy. Grunnen til det er rett og slett at det er svært vanskelig å gi en pålitelig vurdering av et barns utvikling bare basert på egne observasjoner.  En undersøkelse av Antoniazzi, Snow & Dickson-Swift (2010) undersøkte for eksempel i hvilken grad lærere greide å identifisere 5-6 åringer som var i risikosonen eller hadde språkvansker. Lærernes vurderinger ble sammenlignet med utredninger av barnas språk gjort med kartleggingsverktøy. Resultatene viste at det var liten grad av sammenheng mellom utredningsresultatene og lærervurdering. Lærerne vurderte at mange hadde språkvansker som ikke hadde i kartleggingen og mange barn lærerne hevdet ikke hadde vansker, hadde vansker på kartleggingen. Blant annet denne undersøkelsen tyder altså på at å kun basere seg på egne observasjoner og vurderinger kan gi feilslutninger. Det er altså sannsynlig at gode kartleggingsverktøy gjør beslutningene våre mer pålitelige.

Nettopp fordi kartleggingsverktøy har så stor betydning er det ofte overraskende at mange, også fagpersoner,  ser ut til å ta lett på kvaliteten til disse redskapene. Å lage pålitelige kartleggingsverktøy er et eget fagområde som kalles psykometri.  Med kunnskap om psykometri er det urovekkende å høre ting som “dette er bare en screening, derfor er det ikke så viktig med normer eller kuttpunkt” eller “verktøyet skal brukes sammen med observasjon, derfor har vi ikke vektlagt å undersøke de psykometriske egenskapene”.  Altså, enten man kaller kartleggingen en screeening, test, verktøy, vurdering eller språknorm for den saks skyld: de psykometriske egenskapene er avgjørende for verktøyets kvalitet.

Hvordan kan man så enkelt vurdere om et kartleggingsverktøy har god kvalitet? Her er fem enkle tommelfingerregler:

1. Direkte informasjon. Å undersøke noe direkte hos barnet vil som regel gi mer pålitelige resultater enn å gå via andre. Dette er jo egentlig ganske så innlysende, men likevel verdt å minne om. For eksempel når det gjelder språkkartlegging, får man ofte et mer pålitelige resultat om man spør barnet om det kan forklare hva en “tyv”er, enn om man spør barnehagelærere eller foreldre om barnet vet hva dette er. Likevel er det svært mange kartlegginger som er bygget opp rundt rapporteringer fra andre heller enn direkte informasjon fra den som kartlegges. Dette vil jeg si i utgangspunktet er en ulempe.  Noen ganger ønsker man også informasjon fra flere kilder og da kan selvsagt spørreskjemaer og lignende til foreldre og lærere være viktig, men kjernen i kartleggingen bør være barnet.

2.   Klar  beskrivelse av verktøyets bakgrunn,  prosedyrer for gjennomføring og tolking av resultater. Desto mer uklare prosedyrer et verktøy har for hvordan det skal brukes og resultatet skal tolkes, desto lettere er det å gjøre feil når man kartlegger slik at resultatet blir upålitelig. Det er derfor viktig at verktøyet ledsages av en instruksjon som er tydelig og vanskelig å misforstå. Materiellet bør være av høy kvalitet slik at bilder eller andre ting som skal presenteres for barnet ikke kan misforståes. Det samme bør gjelde for prosedyrer for å skåre kartleggingen og å tolke resultatene.

3. Normering. For å kunne tolke et resultat fra en kartlegging på en pålitelig måte, er det viktig å ha noe å se det i forhold til. Er det bekymringsfullt om et barn på 3 år ikke vet hva en tyv, en oppslagstavle og en kalender er og ikke kan rime, eller er det helt normalt?  For å kunne svare på dette, er det viktig at kartleggingen er prøvd ut på et stort antall barn i den eller de aldersgruppene den er ment for. Først da kan vi svare på hvorvidt de fleste treåringer kan finne rim til oppgavene i kartleggingen eller kan forklare hva en kalender er. Dette kalles normer, og en hver kartlegging som skal kunne brukes til å gi en pålitelig vurdering av barns utvikling på ulike områder bør ha klare normer som utrykker hva som er innenfor normalområdet og hva som er bekymringsfullt og bør følges opp med tiltak.

Det er viktig at normene er basert på et representativt utvalg når det gjelder foreldres utdanningsbakgrunn, bosted også videre. For å være pålitelig må også sammenligningsgruppene på hvert alderstrinn være ganske store, og vanligvis regner man utvalg på under 200 som for lite. Man må heller ikke bruke testen på barn som normene ikke dekker, se for eksempel egen bloggpost om dette for tospråklighet.

4. Relibilitet. Enkelt sagt gjelder reliabilitet hvorvidt det er sannsynlig at det oppstår tilfeldige feil når man gjør kartleggingen. Tilfeldige feil kan være at man gjennomfører kartleggingen galt, man skårer den feil, eller feiltolker resultater. Noen verktøy har høyere sannsynlighet for at man skal gjøre slike feil eller for at en enkelt feil får stor betydning for det samlede resultatet, enn det andre verktøy har.

En god nyhet er at relabilitet kan estimeres statistisk:  De som lager verktøyet kan teste ut på et stort utvalg hvorvidt det er sannsynlig at slike tilfeldige feil skal oppstå under kartleggingen. Håndboken til kartleggingen bør inneholde et tall for denne sannsynligheten. Vanligvis rapporteres dette i form av Cronbachs Alpha eller test retest relabilitet. I en god kartlegging bør disse være over 0.80.

5. Validitet. Validitet sier noe om i hvilken grad man kan trekke konklusjoner om barnets ferdigheter basert på kartleggingen. Det er flere former for validitet, men et avgjørende moment er om kartleggingen faktisk undersøker det man ønsker å vurdere.  Dersom jeg for eksempel ønsker å kartlegge barnets fonologiske bevissthet i førskolealder, hvor sannsynlig er det at kartleggingen inneholder oppgaver som faktisk tapper denne ferdigheten og ikke  oppmerksomhet eller begrepsforståelse?  I likhet med reliabilitet kan også validitet vurderes statistisk. En første huskeregel her er at enhver god kartlegging bør rapportere i håndboken hvordan dette er undersøkt.  Det kan vanligvis kjennes igjen ved at det redegjøres for resultater fra såkalt eksplorerende og konfirmerende faktoranalyse.

En annen type validitet som kan være viktig spesielt for enklere kartleggingsverktøy (såkalte screeninger) er hvordan verktøyet samsvarer med andre grundigere, mer tidkrevende større kartleggingsredskaper. Et eksempel på dette er en undersøkelse i vår forskergruppe hvor Marianne Klem  så på sammenhengen mellom den enkle kartleggingen ved 4 års alder og andre mer omfattende språktester. Enkle kartleggingsverktøy bør inneholde informasjon om samsvaret mellom kartleggeren og andre mer omfattende verktøy.

Så, hvilken betydning har disse tommelfingerreglene for praksis? Når man velger et kartleggingsverktøy, enten man arbeider i barnehage, skole eller skal gjøre mer omfattende  vurderinger i PPT eller Statped, bør man altså sjekke i hvilken grad disse tommelfingerreglene er oppfylt. Hvis ikke bør man: 1)   tolke resultatene med forsiktighet, 2) velge et annet verktøy eller3)  bruke flere verktøy som har til hensikt å undersøke det samme, for å se på samsvaret mellom dem.

Det er viktig å presisere at verktøyet bør være grundig prøvd ut på norske utvalg. Dette er ganske selvsagt når det gjelder normeringen, fordi ulike forhold kan gjøre at en sammenligningsgruppe i ett land ikke er gyldig i et annet. Det gjelder imidlertid også validitet og reliabilitet: Et verktøy som har god relaibilitet og validitet på ett språk vil ikke automatisk få dette dersom det oversettes.

I et lite land og språk som Norge gjør dette prosessen med å lage verktøy ressurskrevende. Det har blant annet vært vist for verktøyene for barnehage at dette ikke er gjort på en tilfredsstillende måte, selv om intensjonene har vært gode. Sammen med kollega Johan Braeken ved Centre of Educational measurement og stipendiat Anne Arnesen er vi nå i gang med å gjøre en undersøkelse for å se på kvaliteten på kartleggingene av henholdsvis leseferdigheter og atferd som brukes i skolen.

Mye tyder imidlertid på at det årene fremover bør være en prioritert oppgave å arbeide for å forbedre kvaliteten på de norske kartleggingsverktøyene både når det gjelder barnehage og skole. Bare da kan vi være sikre på at de viktige beslutningene som tas i barns liv  basert på disse, er basert på mest mulig pålitelig informasjon.

For mer om vurdering av kartleggingsverktøy se Psyktest barn

 

 

 

 

Du vil kanskje også like dette Mer fra samme forfatter

Leave A Reply

Your email address will not be published.