Hvordan vår forskning bidro til at amerikansk firma fikk $2 mil i bot

9 100

two cute little girls

I 2003 publiserte en forskergruppe på Karolinska Institutt med Torkel Klingberg som leder en artikkel som viste at det gjennom computerbaserte hukommelsesoppgaver gikk an å trene opp kapasiteten i arbeidshukommelsen, altså evne til å lagre og bearbeide informasjon. Ikke nok med det, bedre arbeidshukommelse førte også til bedre oppmerksomhet og intelligens. Denne undersøkelsen fikk stor oppmerksomhet, fordi man tidligere hadde trodd at arbeidsminnet ikke var trenbart, at det var en mer eller mindre konstant egenskap. Selv om man lenge hadde vært klar over at arbeidshukommelse var sterkt relater til intelligens, hadde man altså ikke tenkt seg at det var mulig å påvirke hverken dette eller intelligens gjennom trening. Klingbergs studie brøt med det vi trodde vi visste og det fikk stor oppmerksomhet. Dette markerte begynnelsen på en rekke studier som på ulike måter forsøkte å trene arbeidsminnet for å bedre intelligens, oppmerksomhet og andre ferdigheter som matematikk, språk og lesing.

Det markerte også begynnelsen på en rekke kommersielle firmaer som markedsførte at trening av arbeidsminnet kunne avhjelpe problemer knyttet til lærevansker som ADHD, lesevansker og generelle lærevansker, men også aldersrelatert svekkelse og Alzheimer. Et av dem var firmaet som ble lagd basert på treningen som Klingberg utviklet, CogMed, ble kjøpt opp av Pearson. I tillegg ble det etablert flere andre som Cognifit, Lumosity og  Jungle Memory.

Samtidig økte antallet undersøkelser som hadde forsøkt å trene arbeidsminnet, og se om dette kunne avhjelpe ulike lærevansker eller forebygge alderssvekkelse. Sammen med Charles Hulme gjorde jeg derfor en systematisk oversikt over disse studiene. Vi fant 23 studier som undersøkte effekten av arbeidsminnetrening og sammenlignet en treningsgruppe med en kontrollgruppe. I artikkelen vi publiserte i 2013 var hovedfunnet at atbeidsminnetreningen førte til bedre ferdigheter på oppgaver som var like de som ble trent, men hadde ingen overføringseffekter til for eksempel intelligens eller andre ferdigheter som var relevant for skolefungering eller ferdigheter i dagliglivet. Dette funnet ble også støttet av annen forskning. I 2014 gikk derfor en rekke forskere sammen og basert på et initiativ fra Stanford University publiserte vi en såkalt «konsensus kunngjøring» om kommersiell arbeidsminnetrening basert på denne. Denne saken fikk også stor oppmerksomhet i amerikanske medier og dybdeartikler er skrevet om dette både i The New Yorker og i Scientific American Mind.

Til tross for innvendingene mot arbeidsminnetrening fra forskersamfunnet fortsatte imidlertid de kommersielle firmaene nærmest som før, med markedsføring om blant annet rettet mot foreldre og skoler om at dette kunne hjelpe ulike grupper med lærevansker. Dette førte til forbrukerklager, og i en rettsak i USA er Lumos Labs, selskapet som står bak et populært dataprogram for arbeidsminnetrening kalt Lomosity, dømt til å betale en bot på $2 millioner. Dette er for å gi kompensasjon til forbrukere som ble utsatt for uriktig markedsføring om at treningsprogrammet kunne hjelpe barn med vansker på skolen og med læring. Til grunn for denne dommen lå konsensus kunngjøringen og forskningen til grunn for denne.

Så hvilke praktiske konsekvenser har dette? En viktig påminning denne saken gir er at foreldre og lærere og andre som har ansvaret for å vurdere tiltak for barn med lærevansker, bør ha en skepsis og kreve dokumentasjon fra kommersielle firmaer som markedsfører tiltak. Arbeidsminnetreningen er både kostbar og svært tidkrevende, og dette er tid som da tas bort fra tiltak som kunne vært mer effektive.

Dessverre ser det ut til at denne saken i Norge har denne saken hatt få praktiske konsekvenser. På sidene til Pearson Norge, som forhandler CogMed arbeidminnetrening til det norske markedet, kan jeg lese (18.01.16) at “De fremste effektene man kan se er økt konsentrasjon, utholdenhet ved kognitive krevende oppgaver, økt innlæringskapasitet samt impulskontroll. Resultatene av Cogmed Arbeidsminnetrening viser seg på ulike vis i hverdagen. De som har trent, forteller at de har bedre konsentrasjonsevne, at de lettere husker ting, og at prestasjonsevnen øker på skole og jobb. Mange opplever også at de har fått økt selvtillit og føler seg mer komfortable i sosiale sammenhenger. Personer nær den som har trent, beskriver ofte at personen det er snakk om, blir mer selvstendig, kommuniserer lettere og generelt er mer fokusert sammenlignet med før treningen». Ikke nok med det, i følge Pearson Norge «Resultatene ovenfor indikerer at Cogmed Arbeidsminnetrening har langtidseffekter. Det kan tyde på at disse langtidseffektene og den vedvarende utviklingen, settes i gang når arbeidsminnekapasiteten til den som trener øker. Han eller hun kan delta i mer kognitivt krevende hverdagsaktiviteter, og gjennom dette få en naturlig trening og videreutvikling av treningens umiddelbare resultat. Lignende positive utviklingsmønstre har blitt observert etter tiltak rettet mot å forbedre leseferdighetene».

Basert på forskning er det altså imidlertid stor grunn til å være skeptisk til slike påstander

 

.

 

Du vil kanskje også like dette Mer fra samme forfatter

9 Comments

  1. Sissela Bergman Nutley, PhD says

    Hej Monica,
    Sedan er studie (2013) har mer omfattande meta-analyser publicerats, bland annat Schwaighofer et al och Weicker et al (2015). Den senare uppdaterade er meta-analys med över 100 inkluderade studier, där de bland annat skriver så här på s. 14:

    “Regarding immediate near and far transfer effects, the main findings of our study are consistent with previous meta-analyses of WM and executive functioning trainings (Karbach & Verhaeghen, 2014; Melby-Lervåg & Hulme, 2013). In agreement with our results, the authors found a moderate transfer effect of WM training on WM functions, as well as small to moderate transfer effects on other cognitive domains. Karbach and Verhaeghen concluded that “WM training [. . .] is highly effective” and “might be a useful tool for cognitive intervention” (p. 2035). In contrast, Melby- Lervåg and Hulme (2013) argued that WM trainings are not suitable rehabilitation programs for WM functioning or other cognitive skills because, in contrast to our results, they found only limited evidence for sustained effects in WM and no maintenance in any other cognitive function. The discrepant conclusion drawn from their and the present meta-analysis surely lies in the different number of studies included, as they examined, at most, six studies per outcome (mainly because the studies were not published at that time). Thus, some effects were possibly obscured because of insufficient power to yield significant results (e.g., the effect sizes for verbal WM are similar, but only in the present analysis they did reach statistical significance).”

    De observerar skillnader mellan effektiviteten av olika interventioner, där Cogmed i upprepade meta-analyser nu visats ha högst effektstorlekar på arbetsminne, något som även er studie bekräftade. Därför är det extra viktigt att inte dra alla “kommersielle firmaer” över en kam. Cogmed (nu med över 75 publicerade studier) har till skillnad från Lumosity en stark forskningsbas och är mycket tydliga med vilka effekter som är att förvänta sig efter träning ( http://www.cogmed.com/research ). Det återstår mycket att lära inom detta växande fält och där får vi alla ta ansvar för att inte återge en för positiv eller för negativ bild av läget. Man bör å ena sidan inte inge falska förhoppningar men heller inte för lättvindigt avfärda en metod som uppenbarligen hjälper många.

    Med vänlig hälsning,
    Sissela Bergman Nutley, PhD, doktor i kognitiv neurovetenskap, disputerad från Karolinska Institutet med en avhandling om kognitiv träning och neuroplasticitet; nuvarande forskningschef på Pearson Assessment med huvudsaklig fokus på forskning och utveckling av Cogmeds arbetsminnesträning.

    1. lervaag says

      Hei Sissela,
      1) Meta-analysen til Weicker et als (2015) har tittelen “Can impaired working memory functioning be improved by training? A meta-analysis with a special focus on brain injured patients”. I inklusjonskriteriene skriver de at de inkluderer også undersøkelser uten sammenligningsgruppe for studier av pasientgrupper siden det finnes så få slike undersøkelser (se side 112) Siden de finner så mange som 103 undersøkelser av personer med hjerneskade betyr det i praksis at de har inkludert en mengde undersøkelser som ikke har sammenligningsgrupper. Fra et metodisk perspektiv er slike undersøkelser ikke egnet til å si noe som helst om effekten av et tiltak. Weickers undersøkelse er derfor lite interessant i denne sammenheng.

      2) Vi har nettopp fått akseptert en artikkel I Perspectives of Psychological science hvor vi går gjennom 120 undersøkelser. Analysene der bekrefter og replikerer hovedfunnene våre I artikkelen fra 2012. Jeg kommer til å blogge mer om denne undersøkelsen når den er på trykk.

  2. Sissela Bergman Nutley, PhD says

    Det verkar som att en missuppfattning föreligger. Endast 8 av 103 studier inkluderade patienter med hjärnskador (titeln är därför något missvisande). Vidare var endast 8 av 103 studier okontrollerade, där dessutom effekten av kontrollgrupp inkluderades i analysen. Att hävda att detta metodval skulle föranleda ett ifrågasättande av konklusionen är orimligt.

    För detaljer, se sid 114: “Overall, N 6,113 participants were included (WM training groups n = 3,203, controls n = 2,910); 905 healthy children, 2,113 healthy young adults, 978 healthy elderly people, 1,585 children and adolescents with WM deficits, 224 patients with stroke or traumatic brain injuries (hereinafter referred to as acquired brain injuries), and 308 patients otherwise diagnosed”.

    1. lervaag says

      Beklager, jeg var ikke klar nok når det gjadt Weickers undersøkelse: Selv om det er bare 8 undersøkelser uten kontrollgruppe, kan dette potensielt få betydning når man gjør analyser av subgrupper (slik det gjøres her av for eksempel barn, personer med lærevansker etc). Dette er imidlertid også noen andre forhold man bør være oppmerksom på når det gjelder undersøkelsen til Weicker og kolleger :
      1) For barn er effekten på «reasoning and intelligence» lik null, forskjellen mellom tiltaksgruppen og sammenligningsgruppen er -0.03 st avviksenheter.
      2) Weicker har ikke tatt hensyn til om kontrollggruppen også får et alternativt computer-basert tiltak. I denne typen undersøkelser har det vært vist flere ganger at om kontrollgruppen er aktiv eller passiv spiller en stor rolle. Er kontrollgruppen passiv, får tiltaksgruppen tilsynelatende bedre effekt. Det kan skyldes at tiltaksgruppen blir mer vant til å løse oppgaver ved datamaskinen etc (såkalte uspesifikke effekter som egentlig ikke har noe direkte med treningen å gjøre). Weickers undersøkelse samsvarer således med flere andre undersøkelser som viser effekter på rundt 0.15 på ulike læringsmål, men når dette blir brukket ned på aktiv/vs passiv kontrollgruppe er effektene svært små og ikke signifikante for aktive kontrollgrupper. Det har ikke Weicker gjort i sin analyse (se Melby-lervåg & Hulme 2015 http://link.springer.com/article/10.3758/s13423-015-0862-z).
      3) Undersøkelsen viser noe forbedring på «everyday-life functioning and reduction of disorder symptoms» (men heller ikke her er det skilt mellom aktiv/passiv kontroll). Det er imidlertid verdt å merke seg som kollegaer Harrison, Redick og Shipstead har påpekt, at disse resultatene ofte i stor grad er basert på spørreskjema hvor ikke foreldre eller lærere har vært blindet for om barnet har fått «ekte» trening eller ikke. Det er vel grunn til å tro at de som har vært klar over at barnet har gått tiltaket, har hatt ønske/håp om bedring og at det kan ha påvirket hvordan de fylte ut spørreskjemaet.
      4) Weicker et al. beregnet sin effektstørrelse basert på bare post test skårer, ikke på fremgangen mellom pre og post test. Dette er en metode som ikke er anbefalt fordi i små studier uten randomisering kan det gi store skjevheter. Melby-Lervåg og Hulme (2015) har vist dette i en reanalyse publisert her http://link.springer.com/article/10.3758/s13423-015-0862-z:
      5) Weicker et al har ikke tatt hensyn til at effekten i noen av undersøkelsene er bygget på at kontrollgruppen faktisk har en tilbakegang (altså treningsgruppen går ikke frem men den positive effekten oppstår fordi kontrollgruppen går tilbake, se Redick 2015 for mer om dette http://www.sciencedirect.com/science/article/pii/S0160289615000215).

      I etterkant av Melby-Lervåg og Hulme (2012) så det ut til at Pearson modererte sine påstander om effekten av arbeidsminnetrening på den amerikanske nettsiden (se vår artikkel for gjennomgang av påstander på nettsiden). På den norske og svenske nettsiden står det imidlertid, under et bilde av et barn, følgende: «De fremste effektene man kan se er økt konsentrasjon, utholdenhet ved kognitive krevende oppgaver samt økt innlæringskapasitet». I tillegg er det en rekke andre lignende påstander når man klikker seg innover på siden. Basert på en rekke undersøkelser og meta-studier har Pearson ikke grunnlag for å hevde dette, spesielt ikke for barn. Dette kan gi falske forhåpninger til lærere og foreldre til barn med lærevansker.

      1. lervaag says

        Vi (Melby-Lervåg, Redick og Hulme) viser også dette i en ny artikkel vi I Perspectives of Psychological Science, som jeg vil blogge om når den kommer på online First

  3. Sissela Bergman Nutley, PhD says

    Eftersom Cogmed är en evidensbaserad metod uppdateras hemsidor och kommunikation löpande allt eftersom ny forskning publiceras som rör effekterna (eller icke-effekterna) uppvisade i studier med just Cogmed. Hur denna process går till kan du läsa mer om i vårt Claims & Evidens dokument.

    1. lervaag says

      Jeg synes det er uinteressant hvordan et kommeriselt selskap selv vurderer effekten av undersøkelsene som omhandler et produkt de forhandler. (for andre lesere, her er dokumentet http://www.psy-ed.com/cogmed-claims-and-evidence.pdf). Denne sammenstillingen har ikke vært gjennom fagfellevurdering i et vanlig kvalitetssikret vitenskapelig tidsskrift. Forskning som angår effekten cogmed spesielt er oppsummert bedre og grundigere av andre, se for eksempel Shipstead et al. http://www.sciencedirect.com/science/article/pii/S2211368112000629

  4. Sissela Bergman Nutley, PhD says

    Det råkar visst ha blivit fel igen. Det dokument du länkade till är en gammal version. För intresserade läsare finns den uppdaterade versionen återigen här: http://www.cogmed.com/research . Sedan 2012, då Shipstead’s publikation kom ut, har 46 nya oberoende studier på Cogmed publicerats, vilket alltså är en fördubbling av det material du hänvisar till.

    1. lervaag says

      Fint at du satte inn riktig lenke, den andre kom opp da jeg googlet cogmed Claims and evidence. Du har helt rett i at det har kommet flere undersøkelser siden Shipstead et al. Vår oppdaterte meta-analyse viser imidlertid at det er fortsatt ingen støtte for overføringseffekter til relevante ferdigheter for læring, hverken for cogmed eller andre. Jeg avslutter denne diskusjonen her, men vil blogge mer om dette når artikkelen til Melby-Lervåg, Redick & Hulme er på trykk

Leave A Reply

Your email address will not be published.