Ben van der Hilst

120 5.5 De kwaliteit van het onderzoek De kwaliteitseisen die aan het organisatiemodel worden gesteld (het werkt in verschil- lende contexten, onafhankelijk van de onderzoeker en het is inzichtelijk en toepasbaar voor schoolleiders), heeft geleid tot de keuze voor het ontwerpgericht onderzoek. In de literatuur over wetenschappelijk ontwerpgericht onderzoek wordt de term prag- matische validiteit (Van Burg, 2011) gebruikt om deze kwaliteitseis aan te duiden: de mate waarin het onderzoek leidt tot richtlijnen die, indien daadwerkelijk toegepast, de beoogde uitkomsten geeft. Maar aan de wijze waarop het onderzoek naar de pragma- tische validiteit plaatsvindt worden ook kwaliteitseisen gesteld: wordt betrouwbaar en valide aangetoond dat de TOS werkt volgens de claim, neergelegd in de ontwerpstel- ling (Van Aken, 2004). Betrouwbaarheid De betrouwbaarheid van het onderzoek in de praktijk (de stabili- teit van de bevindingen, de herhaalbaarheid) vraagt extra zorg omdat de onderzoeken plaatsvinden in de complexe werkelijkheid van schoolorganisaties in plaats van een manipuleerbare experimentele setting. In de eerste plaats wordt betrouwbaarheid nagestreefd door de keuze van verschillende praktijksituaties en daarbinnen weer meerdere gevalsstudies. De analyse van de organisatiestructuur vindt bij 150 scholen uit alle vier sectoren plaats. Daarbij wordt eenzelfde protocol toegepast (tekenvoor- schriften voor het organogram en analysevragen). Door de interactieve manier van analyseren kunnen de bevindingen meteen met de deelnemers gedeeld en geverifi- eerd worden. Het interventie-onderzoek (invoeren van de TOS) is in negen verschillende scholen gedaan, nadat de methode eerst beproefd is in een verkennend onderzoek in één school. Bij deze interventie-onderzoeken (bèta-testen) worden de effecten ge- registreerd via zelfrapportage van panels van leraren en schoolleiders en aparte in- terviews met de schoolleiders. In de panels wordt zowel door de afzonderlijke leden de effecten gescoord en besproken aan de hand van een korte omschrijving van de concepten (bijlage B) als ook daarna via een gemeenschappelijke reflectie daarop. Het panel functioneert daarbij als een focusgroep, waarbij extra informatie verkregen wordt uit het gesprek om vanuit de afzonderlijke scores tot een gemeenschappelijk oordeel over de effecten te komen. Van iedere school is tenminste een panelgesprek opgenomen en uitgeschreven voor nadere analyse. De bevindingen zijn gedeeld met de scholen. De uiteindelijke verslaglegging, inclusief de conclusies zijn voor commentaar voorgelegd aan de schoolleiders (deelnemers check). Ervaringen uit de parallel aan de onderzoeken doorgaande adviespraktijk zijn benut als extra check van de bevindingen.