Wetenschappelijk onderzoek

Stichting The Bridge Learning Interventions is ervan overtuigd dat onafhankelijk wetenschappelijk onderzoek noodzakelijk is om het effect van  leerinterventies als SAGA High Dosage Tutoring te meten. We meten zowel de effecten van de tutoring op rekenen/wiskunde, als op andere vakken en de sociaal-emotionele ontwikkeling. Daarnaast wordt het onderzoek ingezet om tussentijds verbeteringen door te voeren. Het onderzoeksteam maakt hierbij gebruik van zowel kwantitatieve als kwalitatieve onderzoeksmethoden.

 ‘Mixed methods’ onderzoek

Een onderzoeksteam, onder leiding van dr. Bowen Paulle, van de Universiteit van Amsterdam doet op dit moment onderzoek naar onze HDT-projecten. De intentie is om dit onderzoeksteam met veel kennis van HDT-projecten vaker de evaluaties naar onze HDT-projecten uit te laten voeren. Dr. Bowen Paulle van de Universiteit van Amsterdam heeft vanaf 2000 bij diverse (eerst Match Education en daarna SAGA) HDT projecten in de Verenigde Staten directe observaties opgedaan en is als kwalitatief onderzoeker en hoofd van het onderzoeksteam direct betrokken bij de Rekenfaculteit  in Rotterdam. Bij het HDT-project op het Mundus College zal Bowen Paulle ook als hoofdonderzoeker betrokken zijn. Daarnaast zal  de afdeling onderwijsonderzoek van het Centraal Planbureau (CPB) betrokken worden bij het onderzoek. Het CPB noemde in het voorjaar van 2016 SAGA High Dosage Tutoring, onder de naam ‘Matchingsprogramma’ een zeer kansrijke onderwijsinterventie in haar publicatie ‘Kansrijk Onderwijsbeleid’.

Idealiter doen we een Randomized Controlled Trial (RCT). Reden voor deze aanpak is dat de behaalde resultaten zo betrouwbaar mogelijk moeten worden gemeten. Vanwege de kans op ‘selectie bias’ is een randomized control trial (RCT) het betrouwbaarste instrument om de ontwikkeling van de leerlingen te meten. Het is van belang dat de behandel- en controlegroepen groot genoeg zijn. Anders kunnen er geen betrouwbare uitspraken gedaan worden over de resultaten. In Haarlem kunnen we om die reden geen RCT onderzoek doen. Hier doen we wel een ander kwantitatief onderzoek door de vooruitgang van onze tutorleerlingen te vergelijken met de vooruitgang van andere leerlingen (uit eerdere jaargangen bijvoorbeeld).

Zowel in Amsterdam als in Haarlem, is er een talige rekentoets (in Haarlem de Cito) en een niet-talige rekentoets afgenomen.  Zoals beschreven in de resultaten uit de Verenigde Staten, kan er ook sprake zijn van een positief ‘spillover’ effect van de resultaten in wiskunde/rekenen die leidt tot een verbeterde motivatie voor andere vakken, betere leesvaardigheden en werkhouding worden verwacht. Dit houdt in dat er binnen het onderzoek ook wordt gekeken naar werkhouding in de reguliere reken/wiskundeles, tijdens de tutoring maar ook bij de andere vakken. Ook is er bij beide projecten een kwantitatief meetinstrument gebruikt om de vooruitgang in de sociaal-emotionele ontwikkeling te meten.

Daarnaast zal door middel van kwalitatief onderzoek (waaronder observaties en interviews) de dagelijkse praktijk worden bijgehouden om ook te zien wat de uitvoering van HDT in de directe praktijk teweeg brengt binnen het team en de school, maar ook op het niveau van de ouders en de leerlingen.

Kortom, het is nodig om de precisie van een RCT te combineren met directe observaties van de ‘hundred 1% solutions’ in de vorm van een ‘mixed methods’ evaluatie.

Voorlopige onderzoeksresultaten RCT Mundus College
Op het Mundus College heeft de Universiteit van Amsterdam een RCT uitgevoerd, we startten in september 2017 met 60 willekeurig gekozen leerlingen in het eerste leerjaar van het Mundus College met het SAGA High Dosage Tutoring programma. De 60 andere leerlingen, uit het eerste leerjaar, vormden de controlegroep en kregen het programma niet. De voorlopige onderzoeksresultaten zijn zeer positief. HDT heeft een buitengewoon positief en significant effect gehad op de rekenprestaties van de leerlingen, zowel voor leerlingen van het vmbo als van het praktijkonderwijs. Zeker gezien de korte looptijd van 5 maanden van het project (de reguliere looptijd is 10 maanden, meer dan de helft van de huidige dosis) is de effectgrootte zeer groot, vergelijkbaar met resultaten uit de Verenigde Staten. Er werd geen effect gevonden op de taalvaardigheden en de eerste bevindingen laten zien dat ook op sociaal-emotioneel gebied er positieve effecten zijn. Binnenkort verschijnt een uitgebreide memo van de Universiteit van Amsterdam met de resultaten. Ook zal het onderzoek nog in juni 2018 worden vervolg als de eindtoetsen worden afgenomen. Meer informatie over de onderzoeksresultaten vindt u op de website van the Scalable Education Programs Partnership van de UvA:  www.uva.nl/sepp

Voor meer informatie over onderzoek naar HDT en de volledige onderzoeksartikels uit de Verenigde Station kijkt u onder ‘Meer info’ op onze website.