In de april-blog van het tijdschrift IMPULS verzet Roger Standaert zich tegen populistische simplificatie bij de vergelijking van scholen. Directe aanleiding is de publicatie van een tool ‘De onderwijzer’ door de krant Het Nieuwsblad (26 maart 2023).
Waarover gaat het?
In de Angelsaksische onderwijswereld is er een sterk geloof in de exacte meetbaarheid van menselijk gedrag, dus ook van leerprestaties. Het succes van het werken met meetbare kwaliteitsfactoren in het onderwijs gedurende de laatste decennia kan gedeeltelijk verklaard worden vanuit de opkomende golf van economische concurrentie. Die globalisering evolueert naar een nadrukkelijke open vrije markt. Onderwijs wordt in die zin gezien als hefboom voor economische groei en competitie. In de praktijk komt dat neer op een aansturing van het onderwijs via meetbaarheid en allerlei toetsen zodat vergelijking en competitie mogelijk worden. Het onderwijs wordt dan aangestuurd door gemakkelijk te gebruiken cijfers in plaats van door doelstellingen.
Zoals de economen dartelen met cijfers over geldstromen allerhande in een competitieve markt, meent men dat dit ook moet kunnen met prestaties van leerlingen en scholen. Op die manier moeten ook scholen (en a fortiori de leerlingen) wedijveren in een open en vrije markt. Je moet kunnen zien welke school de beste is om op die manier de markt van de optimale schoolkeuze te laten spelen. En daartoe heb je ‘objectieve’ toetsen nodig, die de prestaties omzetten in cijfers. En als je cijfers hebt, kan je onbeperkt gaan rekenen. Het vergelijken van die scores maakt het voor de consument-ouder zo aantrekkelijk omdat een complexe materie maximaal vereenvoudigd wordt. De doorsnee burger ligt niet wakker van problemen van toetsbaarheid, betrouwbaarheid en validiteit van dergelijk toetsen. De zekerheid die de cijfers bieden, stelt de mensen gerust. Van hun kant maken de toetsenmakers er niet speciaal veel werk van om te wijzen op de onvolledige en slechts benaderende waarde van die cijfers. Het produceren van toetsen voor het meten van de gepercipieerde kwaliteit van het onderwijs is een wereldwijde miljardenindustrie geworden. De geliefkoosde opbouw ervan via de normaalverdeling garandeert voor de cliënten-ouders per definitie middelmatige, goede en slechte scholen.
In ons land zijn we niet zo ver dat dergelijke rankings van scholen mogelijk zijn. Er zijn (nog) geen opgelegde centrale en gemeenschappelijke toetsen. Dat neemt niet weg dat de aandrang om scholen te vergelijken ook doorsijpelt naar de landen waar een curriculum niet samenvalt met de toetsen. Onder meer internationaal georganiseerde toetsen zoals PISA, TIMSS, PIRLS en dergelijke hebben het rangschikkingsdenken ook verspreid naar landen waar toetsen gebruikt worden als middel en niet als doel. De ruchtbaarheid die aan die toetsen wordt gegeven vormt de bedding voor een stroom van verwachtingen om scholen te kunnen vergelijken. De verleiding van het vergelijken blijft echter; ook als er geen centrale toetsen zijn. Er moeten toch andere indicatoren zijn waarmee je een school kan profileren op basis van wat ze als kwaliteit veronderstellen. Je kan dan die profielen vergelijken en zo is aan de behoefte aan vergelijken voldaan. Dit denken is erg verleidelijk geworden onder meer door de media-aandacht voor internationale toetsen, die vanuit hun Angelsaksische denkkaders zijn overgewaaid.
De Vlaamse media hebben enthousiast meegespeeld in dit vergelijkingsdenken, voornamelijk via de internationale verspreidingsmachinerie van de PISA, TIMSS, PIRLS en dergelijke. Zeldzaam zijn de kritische stemmen bij de validiteit en betrouwbaarheid van deze toetsen en a fortiori van hun ambities om daarmee te rangschikken. Maar dat vraagt nogal wat doorgedreven statistische en methodologische achtergrond en die wordt vaak via voorgeprogrammeerde samenvattingen door de opstellers van die toetsen weggevlakt.
Wie bijt de spits af?
Het jeukte al een twintigtal jaren geleden bij de geschreven pers om met een primeur uit te pakken en de klant-ouder een instrument te bieden om de kwaliteit van een school te vergelijken.
In augustus 2000 was er een initiatief van Test Aankoop. Het tijdschrift stelde een vragenlijst op en vroeg de scholen die te beantwoorden. Er was een respons van 10 % van de 423 aangeschreven scholen (Test Aankoop, september 2000). Het was daarbij niet de bedoeling om rangschikkingen van scholen te maken, maar er tendensen uit te distilleren.
Verder was er in 2007 nog een initiatief van de krant De Standaard om schoolrapporten uit te delen. De krant pakte op 22 januari 2007 uit met een grote titel: ‘Het grote scholenrapport’. De krant ontleedde de conclusies van de inspectierapporten in tien afleveringen. Voor het eerst kwamen deze resultaten nu in de media, alhoewel ze in feite ook op de website van de inspectie te raadplegen waren. Toen was er al de sirenenzang van de centrale toetsen. In een kaderartikeltje over de Engelse situatie liet de redactie weten, dat dit Engelse systeem toch wel erg goed was. Centrale toetsen zouden op die wijze dus een maat kunnen worden om scholen te beoordelen en te vergelijken.
Het Nieuwsblad pakte op 17 maart 2023, net zoals De Standaard in 2007 uit met een nieuwe versie van een schoolrapport. Via een app werden een aantal indicatoren uit de databanken gehaald die dan per school kunnen opgelijst worden. Het gaat om het aantal attesten A-B-C, het aantal doorstromers naar en in het hoger onderwijs, de zittenblijvers, een maat van diversiteit en de SES-kenmerken van leerlingen die gebruikt worden om bijkomende middelen te genereren. De toegankelijkheid van de databanken van de overheid (onder meer Dataloep) maakt het gemakkelijk om die gegevens per school op te halen en ze te vergelijken met andere scholen.
Alleen is daar niets nieuws aan. De overheid, de inspectie en de pedagogische begeleiding maken al decennia gebruik van deze databanken om bepaalde beleidsaspecten in kaart te brengen en er mogelijke bijsturingen uit te distilleren. Een probleem is echter dat je uit die databanken veel meer gegevens kan halen dan degene die de krant heeft gekozen. Een tweede probleem is – en dat is wezenlijk – dat je met die keuze een concept van kwaliteit van onderwijs hanteert, dat niet alleen onvolledig is, maar ook nog eens alle mogelijke contexten negeert. De databanken van de administratie worden continu gebruikt en bediscussieerd op het centrale niveau van inspectie, pedagogische begeleiding, administratie en desgevallend door de overheid bij bepaalde intenties van de betrokken regeringen. Het werken met indicatoren om het onderwijs in kaart te brengen, is dus helemaal niet nieuw en behoort tot de dagelijkse gang van zaken bij de inspectie en meer en meer ook bij de zelfevaluatie van scholen. Maar er stellen zich twee problemen: vooreerst het probleem van de bomen en het bos en vervolgens van het inzicht in de contexten.
Een schril contrast
Het kiezen en interpreteren van indicatoren om een idee te krijgen over de kwaliteit van een school is geen vanzelfsprekende zaak. Met die problematiek wordt bijvoorbeeld de inspectie constant geconfronteerd. Na vele jaren ervaring en na een intensief proces van studie en gedachtewisselingen met allerlei participanten, kwam de inspectie in 2017 naar buiten met een gedragen raamwerk voor onderwijskwaliteit. Voor dat raamwerk werden vier grote rubrieken gekozen waarbinnen dan een reeks indicatoren werden bepaald. Om een idee te geven van de coherentie en volledigheid van dit raamwerk van indicatoren volgt hier de lijst.
1. Resultaten en effecten: 6 indicatoren
2. Kwaliteitsontwikkeling door de school: 3 indicatoren
3. De ontwikkeling van de leerling stimuleren
- Doelen: 4 indicatoren
- Vormgeving van het leren en onderwijzen: 4 indicatoren
- Begeleiding van de leerlingen: 4 indicatoren
- Opvolging van de leerlingen: 4 indicatoren
4. Beleid
- Algemeen beleid: 6 indicatoren
- Onderwijskundig beleid: 1 indicator
- Personeels-en professionaliseringsbeleid: 2 indicatoren
- Financieel en materieel beleid: 2 indicatoren
- Fysieke en mentale veiligheid: 1 indicator
Het gaat dus om niet minder dan 37 gekozen indicatoren, die bovendien in vier gradaties worden geschetst. Op die manier wil de inspectie een genuanceerd portret van iedere school schetsen. Daarenboven bestaat de professionaliteit van de inspectie erin om dit geheel van waarnemingen te toetsen aan de concrete context van de school. En daarbij is een dialoog met de betrokken school en haar participanten levensnoodzakelijk.
Het zal nu al duidelijk zijn dat de indicatoren die door de krant zijn geselecteerd, een enorme vereenvoudiging inhouden van het geheel van de onderwijskwaliteit. Daarenboven gaat het dan nog om die indicatoren die in eenvoudige statistieken zijn te vatten. Indicatoren van alles en nog wat zijn echter populair. Ze hebben alle de bedoeling om greep te krijgen op verschijnselen, die vaak moeilijk toegankelijk zijn. Daarom moet je er erg voorzichtig mee omgaan. Vandaar enige uitweiding hierover ten behoeve van de believers in het krantenrapport.
Indicatoren kiezen
Indicatoren moeten relevant zijn voor de onderzochte situatie en die ook voldoende dekken. Naarmate deze cijfers beter de situatie dekken, kunnen we ze als eenvoudige of enkelvoudige (in tegenstelling tot samengestelde) indicatoren beschouwen. Het verschil met statistieken is bij deze erg dekkende indicatoren niet zo groot. Het verschil zit in de functionaliteit van de cijfers. Het verzamelen van dergelijke statistische indicatoren is immers vrijwel onbeperkt. Je kan immers over ieder detail een statistiek maken. Daarom zijn er altijd keuzes nodig.
In onderwijsstatistieken zou je bijvoorbeeld, naast de door de krant geselecteerde, volgende indicatoren kunnen vooropstellen:
- de gemiddelde klasgrootte,
- het aantal kinderen dat een verwijzingsadvies krijgt naar het buitengewoon onderwijs,
- het aantal geslaagden in een bepaalde studierichting,
- het aantal leerlingen die na het lager onderwijs naar het leerjaar B gaat,
- het aantal kinderen dat gediagnostiseerd is voor dyslexie,
- het aantal kinderen dat op de leeftijd van 2,5 jaar niet naar de kleuterschool gaat,
- het aantal scholen dat het logo van sportactieve school krijgt …
De lijst kan met tientallen voorbeelden worden aangevuld. Daarmee is al duidelijk dat de keuze in de kranten-app erg beperkt is.
Er zijn echter ook complexere situaties mogelijk waarbij niet één indicator nodig is, maar verschillende. Dan worden diverse indicatoren samengeteld in een bepaalde verhouding. Goed gekende voorbeelden daarvan zijn het bruto binnenlands product (bbp), het intelligentiequotiënt of de ecologische voetafdruk. Een duidelijk voorbeeld in het Vlaamse onderwijs is de samengestelde kansarmoede-indicator op basis van vier criteria:
- de thuistaal die niet de schooltaal is,
- recht hebben op een schooltoelage (proxy voor inkomen),
- het opleidingsniveau van de moeder (onder het getuigschrift secundair onderwijs),
- de buurt waar een leerling verblijft.
Voor samengestelde indicatoren geldt wel dat als je veel gegevens samenbrengt in één getal er ook in evenredige mate verlies van informatie is.
Als de dekking van een geïndiceerde situatie of gebeurtenis minder groot is, spreekt men van proxy-indicatoren. Het komt vaak voor dat de congruentie tussen het cijfer en de bedoelde gebeurtenis onvolledig is.
Het zijn dus benaderende indicaties of indicatoren die ze gemeenzaam ‘proxy’s’ noemen. Het is meteen duidelijk dat het risico op vertekening groter is dan bij een dekkende, eenvoudige indicator.
Proxy’s kunnen bijvoorbeeld zijn, zoals onder meer blijkt uit het Vlaamse voorbeeld van de samengestelde indicator voor socio-economische status van de leerlingen:
- het recht op gratis schoolmaaltijden als proxy voor een laag inkomen (cf. Engeland),
- laag inkomen geïndiceerd als het recht op een studietoelage (cf. Vlaanderen),
- het opleidingsniveau van de moeder als proxy voor de culturele achtergrond van een kind.
- De ESCS-index: de index van economische, sociale en culturele status, waarbij men een samenstelling maakt van het beroep van de ouders, hun opleidingsniveau en een twintigtal kenmerken van materiële welvaart.
- De cultuur thuis kan je dan nog eens in vele subfactoren indelen. Bijvoorbeeld: gaat het gezin naar musea, lezen de ouders voor, gaan de kinderen op tijd naar bed, zijn de ouders geïnteresseerd in de school, zijn er leesboeken in huis, kijken de kinderen veel TV, zijn de ouders meer of minder geschoold, is het een één-ouder-gezin, zijn er scheidingsproblemen, is er veel comfort in huis (en wat is dan comfort?) enzovoort.
De keuze van indicatoren is niet neutraal
Een indicator is een middel om dat wat we belangrijk achten in kaart te brengen en te vergelijken. Het zal inmiddels wel duidelijk zijn dat het aantal mogelijke indicatoren vrijwel onbeperkt is. Dan is het nodig keuzes te maken en prioriteiten te stellen. Dat is niet zomaar een formaliteit, die uit de logica van een verschijnsel of een systeem af te leiden is. En zo komt het dat het kiezen van indicatoren tot allerlei discussies leidt, waaruit blijkt dat een dergelijke keuze waardegeladen is. Het kiezen van indicatoren is dus allesbehalve een neutrale activiteit.
De keuze is vaak gebonden aan een achterliggend, al dan niet openlijk of verborgen waardeperspectief. Vaak is dat waardeaspect ook gebonden aan een bepaalde overheersende vakdiscipline zoals economie, sociologie, psychologie, pedagogie, antropologie … Denk bijvoorbeeld aan de grote druk van Europa om STEM te bevorderen. Of de nadruk op uitbreiding bij de eindtermen eerste graad. Of de keuze om toch de onderwijsvormen te behouden naast de finaliteiten. Het is ook niet uitgesloten dat indicatoren gekozen worden om bepaalde praktijken te legitimeren. Vooral indicatoren over het kostenplaatje en het rendement van het onderwijs zijn gevoelig voor mogelijk misbruik.
Ook bij het kiezen van indicatoren voor het onderwijs worden dus waardegebonden keuzes gemaakt. Wat beschouw je als ongekwalificeerd zijn? Of wat bedoel je met minimale geletterdheid? Hoe definieer je een allochtoon? Naargelang de definitie die je kiest, veranderen uiteraard ook je cijfers en daarmee ook de mogelijke interpretaties. Enkele voorbeelden met connectie naar de lijst in de krant:
- Wat beschouw je als ongekwalificeerd zijn?
- Hoe definieer je diversiteit? Of sociale mix?
- Vind je de cijfers voor toetreding tot het hoger onderwijs belangrijker dan die voor het behalen van een finaliteit?
- Bepaal je je indicator voor onderwijsvormen of voor finaliteiten?
- Vind je B-attesten in de eerste graad belangrijk?
- Hoe definieer je het anders zijn van de thuistaal ten overstaan van de schooltaal?
Keuzes zijn er altijd bij statistieken en indicatoren. Want schoolresultaten hangen ook af van de cultuur thuis, van de impact van de vrienden, van de sfeer in de klas, van het zelfbeeld van de leerling, van zijn ijver enzovoort.
Een ander voorbeeld: er zijn ruwe verbanden te vinden tussen schooluitslagen en gescheiden ouders. Maar wat houdt de factor scheiding precies in? Is het een vechtscheiding? Is er co-ouderschap? In dat geval: welke vormen van co-ouderschap kan je onderscheiden? Hoe oud waren de kinderen bij de scheiding? Dat zijn nogal wat factoren, die elk op zich een andere context vormen.
Je kan alleen maar stellen dat menswetenschappen (en schoolresultaten zitten in dat kader) niet te vatten zijn in schalen zoals de natuurwetenschappen. Contexten en onvoorspelbaarheid van menselijk gedrag eisen hun tol in mathematische exactheid. En de keuzes die je maakt bij het kiezen van indicatoren zijn niet wiskundig te bepalen. Het zijn uitingen van waarden die je hanteert. De indicatoren worden dan, bij ongenuanceerd gebruik, echter wel de doelstellingen van het onderwijs.
Indicatoren en neveneffecten
Door de verleiding van de eenvoud van cijfers is er vaak sprake van het leggen van causale verbanden. Maar vaak is de oorzakelijke relatie niet herkenbaar. Als onderwijseconomen zeggen dat er een verband bestaat tussen het inkomen van een land en de deelname aan het hoger onderwijs, dan kan het ook zijn dat het precies door het hoge inkomen is dat vele studenten naar het hoger onderwijs gaan. Het is in feite een variatie op de kip-of-het-ei-problematiek. In het onderwijs is het zo dat schoolresultaten niet met één factor samengaan, maar met vele factoren.
Bij de indicatoren in de bewuste krant staan de cijfers van het instappen in het hoger onderwijs erg centraal. De verleiding om dat als een kwaliteit te beschouwen is dan zeer groot. Maar:
- Hoeveel leerlingen zijn in die school begonnen en hoeveel daarvan zijn er uiteindelijk overgebleven?
- In welke context kan je het aantal toetredingen tot het hoger onderwijs duiden? Speelt de waterval en in welke mate?
- Hoe speelt de waterval mee in de doorstroom van de leerlingen in de school?
- Hoe maak je een onderscheid tussen indicatoren voor een gemeenschappelijke eerste graad en die van meer specifieke richtingen of finaliteiten?
- Hoe vind je indicatoren na een eerste graad wanneer veel leerlingen uitzwermen naar andere scholen of naar een bepaalde richting of finaliteit?
- Welke rol spelen de finaliteiten (onderwijsvormen) daarin?
- Wat is de waarde van technische-en beroepsscholen die leerlingen vormen tot vakmensen en technici?
- Waarom wordt het kwalificeren tot vakmens niet als indicator opgenomen?
Andere belangrijke neveneffecten komen uit de vermelding van de SES-indicatoren. Wat is het geval?
- Het is geweten dat het vermelden van die indicatoren leidt tot vluchtgedrag bij de geïnformeerde middenklasse.
- Leraren en scholen die hun best doen om kansarme leerlingen een goede vorming te geven, worden geconfronteerd met steeds meer kansarme leerlingen.
- Andere scholen krijgen dan de zogenaamd betere leerlingen en worden bij wijze van spreken slapend kwaliteitsvol.
- Heel wat kandidaat-leraren worden afgeschrikt door te werken in scholen met een hoog percentage van leerlingen die aan de SES-indicator voldoen. De arbeidsbelasting is immers groter in die scholen.
- Veel C-attesten in het beroepsonderwijs worden ten onrechte en bij voorbaat als minder succesvol gepercipieerd, terwijl ze contextueel te wijten zijn aan het cascademechanisme.
In de economie is dit keuzeverschijnsel gekend als de wet van Goodhart. Die wet stelt, erg summier uitgelegd, dat het opdrijven van prestaties in één aspect van een organisatie vaak gepaard gaat met het verminderen van prestaties bij een ander aspect. Als je meetbare schoolresultaten gaat overwaarderen krijg je teaching-to-the-tests en karaokegedrag bij leraren. In het slechtste geval krijg je de zogenaamde Icarus paradox (Walsh, 1994, 59). Door te sterk te focussen op één factor, die dan succesvol verloopt, kan een organisatie als geheel mislukken, omdat de andere aspecten worden verwaarloosd.
De verleiding van het simplificeren
Met de nodige bravoure pakte de krant uit met ‘ rapporten van alle middelbare scholen’. De tool ‘De onderwijzer’ laat toe om scholen met elkaar te vergelijken via ‘allerlei nooit gepubliceerde gegevens’ ( krant 26 maart). Succes blijkt doordat de tool al 400.000 keer was bezocht.
De krant zegt niet dat die gegevens reeds lang volledig ter beschikking staan voor wie ze wil gebruiken. In een andere editie laat de krant ‘experts’ zeggen dat dit een atoombom is in ons onderwijs. Scholen willen niet dat ze worden gerangschikt (opnieuw volgens ‘experts’).
Daar gaat het precies om. Scholen zijn niet zomaar vergelijkbaar. Het zijn levende en complexe organisaties, waarin een duidelijke gelijkheid gewaarborgd wordt door eindtermen, structuren, organisatorische voorwaarden, bevoegdheidsbewijzen, participatieverplichtingen, veiligheidsvoorschriften en hygiënische normen. Maar daarbuiten speelt de context de cruciale rol. En die is het meest van al te vinden in de oervorm van leren en onderwijzen: de relatie leerling-leerkracht. Die overkoepelende pedagogische dimensie is niet in cijfers te vatten. Die kan je maar terugvinden via genuanceerde totaalverslagen (bijvoorbeeld van de inspectie), schoolreglementen, visieteksten van schoolbesturen en niet in het minst via mond-aan-mondinformatie. Verder kan je zien hoe een school rapporteert aan de ouders, hoe een leerlingenrapport eruitziet en verder zijn nog een heleboel gebruiken en gewoonten die je er al dan niet kan aantreffen.
Het selectief kiezen van een beperkt aantal indicatoren levert sowieso een bias op die vertekenend werkt. Het meest duidelijk is dat in de keuze van deze krant met het publiceren van de GOK-indicatoren bij leerlingen. Die leiden tot nog grotere ongelijkheid in scholen. Sociale groepen verschillen immers in de mate waarin ze in staat zijn informatie te interpreteren. Op die wijze komt de informatie alleen terecht bij de beter gesitueerde ouders met als neveneffect dat de onderwijsongelijkheid toeneemt. Daarenboven zullen ouders met grotere ambities de verkregen informatie op een meer effectieve wijze inzetten. Met het gevolg dat er bijvoorbeeld bij schoolkeuze meer segregatie zal optreden. Wellicht zal deze krant ook verwachtingsvol uitkijken naar de komende centrale toetsen. Dan wordt het voor de cijferbelievers helemaal duidelijk waar de beste resultaten worden gehaald. Ook al wordt voortdurend gesteld dat de resultaten niet mogen worden gebruikt om scholen te vergelijken. Dat is inderdaad evident, maar jammer genoeg een illusie.
De literatuurwetenschapper Guépin heeft een dergelijke evolutie ooit en niet zonder ironie ‘De Wet van de Anders Vergeefse Moeite’ genoemd. Hij stelde dat als je honderd Nederlandse romans hebt moeten lezen, je wel niet anders kan dan Couperus, Vestdijk en Hermans goed vinden, anders is het zonde van de moeite (Guépin, 1996, 160). Met een zelfde ironie veronderstel ik dat als je zo vaak en zo intensief met bepaalde indicatoren wordt geconfronteerd, je het zonde vindt om die resultaten niet belangrijk te vinden.
Misschien mag ik de lezer van deze blog uitnodigen om ook eens een oordeel uit te spreken over de door de krant gebruikte indicatoren. De volgende vragen zijn daarvoor relevant:
- Wat meet de indicator precies?
- Wat meet hij niet?
- Welk nut hebben de gegevens voor de eigen situatie?
- Welke neveneffecten kunnen door de betreffende indicatoren ontstaan?
Roger Standaert
Dit artikel verscheen in de webblog van het tijdschrift Impuls op 12 april 2023.
Roger Standaert is professor (emeritus) comparatieve pedagogiek (U Gent) en schreef een tiental boeken over onderwijs, o.a. “De becijferde school”.
Bronnen
Februari, Maxim (2023). Doe zelf normaal. Menselijk recht in tijden van datasturing en natuurgeweld. Amsterdam: Prometheus.
Guépin, J.P. (1996). De vader van Jezus en andere smalende teksten. Amsterdam: Van Gennep.
Nicaise, I. (2023). Ons onderwijs wordt niet beter van Vlaamse toetsen. De Gids op Maatschappelijk Gebied, n° 2, maart, 17-25.
Standaert, R. (2014). De becijferde school. Meetcultus en meetcultuur. Leuven: Acco (vooral hoofdstuk 7).
Walsh, K. (1994). Quality surveillance and performance management. – In: K. Riley & D. Nuttal (Eds). Measuring quality. Education indicators. London: Falmer, 49-68.
