113 3.4 Implementatiebetrouwbaarheid Om uitspraken te kunnen doen over de effectiviteit van een onderwijsinterventie, is het van belang data te verzamelen over de wijze waarop leerkrachten de lessen uitvoeren en in hoeverre zij zich daarbij houden aan de voorgestelde aanpak (Aarnoutse & Schellings, 2003; Bohaty et al., 2015; Pyle et al., 2017). We verzamelden daartoe op verschillende manieren informatie. Om zicht te krijgen op de stand van zaken bij aanvang van het onderzoeksproject vroegen we de deelnemende scholen welke lesmethodes voor natuur- en techniekonderwijs en voor leesonderwijs ze gebruikten, en peilden we in hoeverre de vakinhoudelijke thema’s uit de interventie al behandeld waren. Alle leerkrachten vulden gedurende de interventie een logboek in waarbij ze per les aangaven in hoeverre zij deze hadden uitgevoerd zoals was aangegeven in de handleiding, hoe tevreden zij waren over de lesduur en verschillende lesonderdelen (leestekst, leesopdracht, schrijfopdracht, hands-on activiteit). Ook gaven zij een indicatie van de geschiktheid van de les voor hun leerlingen en van de leerlingbetrokkenheid. Tenslotte was er per les ruimte voor het noteren van verbeterpunten, tips en overige opmerkingen. In beide condities werden in totaal twaalf lessen geobserveerd door een van de onderzoekers. Dit vormde enerzijds een check op de implementatiebetrouwbaarheid, en leverde anderzijds meer inzicht op over de praktische bruikbaarheid van de materialen en eventuele knelpunten. In de tekststructuurconditie waren dat vier lees-, vier schrijf- en vier onderzoekslessen. In de controleconditie zes lees-, vier schrijf- en twee onderzoekslessen. Voor deze lesobservaties is een observatieformulier samengesteld waarin de tijdsduur per lesfase werd vastgelegd en per lesonderdeel werd beoordeeld in hoeverre deze werd uitgevoerd zoals beschreven in de handleiding, en of leerlingen uit de voeten konden met de opdrachten. Daarnaast was er ruimte voor het noteren van overige opvallende zaken. Om de betrouwbaarheid van de observaties te controleren, sloot bij twee lessen een tweede onderzoeker aan. De onderzoekers vergeleken na afloop van de lessen hun ingevulde observatieformulieren en stelden vast dat hun observaties zeer vergelijkbaar waren en dat ook de kwalitatieve opmerkingen grotendeels overeenkwamen. 3.5 Data-analyse Aangezien de scores op de toetsen konden verschillen tussen leerlingen en tussen klassen is voor de statistische analyse van de data gebruikgemaakt van multiniveau-modellen; waarbij de observaties (op T1 en T2) genest zijn binnen leerlingen en leerlingen genest zijn binnen klassen. Hierbij zijn bij de leestoetsen, samenvattingstaken en schrijftaken als fixed effecten meetmoment, conditie en de interactie tussen conditie en meetmoment meegenomen. Als random componenten zijn de variantie binnen leerlingen, de variantie tussen leerlingen en de variantie tussen klassen geschat. Bij de kennistoets is geen totaalscore berekend, maar zijn de vier opdrachten apart geanalyseerd (zie paragraaf 4.5 voor meer toelichting). Daarbij zijn voor elke toets het effect van conditie en de interactie tussen conditie en de scores op de drie andere kennisopdrachten meegenomen. 114
RkJQdWJsaXNoZXIy MTk4NDMw