Vlak voor Pasen, op Witte Donderdag 18 april 2019, zond
minister Slob zijn visie over toetsing en examinering in het
voortgezet onderwijs naar de Tweede Kamer. Hij voorzag zijn brief
van vier bijlagen. Drie van deze bijlagen hebben betrekking op
het onderzoek dat naar aanleiding van de motie van Meenen
over de ontwikkelingen van examenresultaten werd uitgevoerd.
Deze motie werd in maart 2018 door de Tweede Kamer aangenomen.
De vorige Wiskund
E-brief verscheen op Eerste Paasdag.
De termijn was toen net iets te krap om serieuze aandacht te
besteden aan deze ministeriële brief. Hieronder biedt ik u een
eerste analyse, waarin ik mij beperk tot de vraag hoe de in de brief
en bijlagen gepresenteerde prestaties bij de eindexamens wiskunde
A en wiskunde B op havo/vwo gewaardeerd moeten worden.
Onafhankelijk onderzoek
De ontwikkeling van de wiskunde examencijfers in Nederland staat
haaks op de resultaten van internationale vergelijkende onderzoeken,
zoals het in december 2016 gepubliceerde PISA-onderzoek. In de motie
van Meenen van maart 2018 werd daarom om een onafhankelijk
onderzoek gevraagd naar de reële ontwikkeling van de vaardigheden
van de scholieren in de afgelopen tien jaar, onder andere voor
wiskunde. Zie ook
WiskundE-brief 804. Deze motie resulteerde in onder andere
het
onderzoeksrapport "Fundamentele vragen over examens en toetsing" van
de commissie
Steur en
het
rapport "Vaardigheidsontwikkelingen volgens PISA en examens"
van Cito.
In het Citorapport wordt onder meer ingegaan op de ontwikkeling van de
prestaties van examenkandidaten bij wiskunde. De periode die bekeken is,
beslaat precies tien jaar, van 2008 tot en met 2017. Dat betekent dat
het rapport nog net het staartje van de 'oude' tweede fase meeweegt,
toen er nog deelvakken wiskunde A1 en B1 naast de volledige vakken
A12 en B12 bestonden.
Virtuele examencijfers
Cito en CvTE proberen al jaren systematisch zicht te krijgen op het
verschil in moeilijkheidsgraad van de opeenvolgende eindexamens. Op
die manier probeert men ook een beeld te krijgen van de ontwikkeling van
de 'vaardigheid' van de diverse lichtingen eindexamenkandidaten. Voor
wiskunde spelen de zogenaamde
pretesten hierbij een belangrijke
rol. Bij pretesten worden ongeveer twee jaar voor het eigenlijke
examen aan geselecteerde groepen leerlingen drie soorten opgaven
voorgelegd:
- Opgaven uit het zogenaamde "referentie-examen". Zie WiskundE-brief 775 voor details.
- Opgaven uit het nog af te nemen examen.
- Ankeropgaven die ter vergelijking door de jaren heen worden gebruikt.
De resultaten van de pretesten worden onder andere gebruikt bij het
bepalen van de N-term. Uniek in het rapport van Cito is dat, voor
zover mogelijk is, voor elk examenjaar met behulp van deze pretesten nu
ook expliciet is geschat welk cijfer de betreffende groep eindexamenkandidaten
gemiddeld zou hebben behaald op het examen van het referentiejaar 2011.
De betrouwbaarheid van deze 'virtuele examencijfers' in het Citorapport
is afhankelijk van vak en methode. Bij wiskunde heeft het 95%-betrouwbaarheidsinterval
vaak een breedte van ongeveer 0,3. Een schatting van 6,45 komt dan
overeen met het betrouwbaarheidsinterval van [6,3 ; 6,6].
Spectaculair betere leerlingen
De virtuele examencijfers uit het Citorapport leveren voor de belangrijkste
wiskundevakken op havo/vwo het volgende beeld op:
De figuur spreekt duidelijke taal. Examenkandidaten vwo uit 2017 zijn
volgens de cijfers van Cito veel 'vaardiger' dan examenkandidaten
uit 2010, de eerste lichting die volgens het vorige examenprogramma
werd opgeleid. Zij scoren op het virtuele examen ongeveer een punt meer.
Iedereen die ervaring heeft met proefwerken en examens weet dat dit verschil
spectaculair kan worden genoemd. Uitgaande van een standaardafwijking van 1,2 tot
1,5 cijferpunt komt de effectgrootte in de buurt van 0,7 en dat is aanzienlijk.
De virtuele examencijfers zijn overigens verre van volledig. Bij
vwo wiskunde B ontbreken cijfers voor de cruciale periode van 2012
tot en met 2014. De overlap tussen de echte examens en de pretesten
was in deze periode volgens het rapport te laag. Bij havo wiskunde B
ontbreken de virtuele examencijfers volledig. In plaats daarvan heb
ik voor havo wiskunde B de werkelijk examengemiddelden tot en met 2016
in de figuur uitgezet. Ik koos voor 2016 als laatste jaar omdat in
2017 op het havo de eerste eindexamens volgens het nieuwe programma
werden afgenomen. Op het vwo was dat een jaar later.
Verrassend voor mij was dat terwijl de ontwikkeling van examencijfers
bij wiskunde A op havo duidelijk afwijkt van de andere wiskundevakken
ook hier de leerlingen volgens de Citocijfers in de loop van de jaren
aanzienlijk beter zijn geworden. Het beeld is duidelijk. Er worden
door het voortgezet onderwijs op het gebied van de wiskunde steeds
betere leerlingen afgeleverd.
Voldoende bewijs?
Als u in de voorgaande alinea's enige scepsis heeft geproefd, dan
klopt dat. Ik zal die scepsis hieronder wat nader toelichten.
De impliciete claim van het Citorapport is fors: de examenkandidaten
zijn in de periode van 2010 tot 2016/2017 aanzienlijk beter geworden
in wiskunde. Een gouden regel bij wetenschappelijk onderzoek is dat
hoe sterker de claim is, des te sterker het bewijsmateriaal moet zijn.
En het is maar de vraag of het bewijsmateriaal van Cito, dat met name is
gebaseerd op de pretesten, wel stevig genoeg is.
Het Citorapport gaat wel in op beperkingen van de gebruikte methoden
om de prestaties van eindexamenkandidaten met elkaar te vergelijken
en noemt ook wat verbetermogelijkheden maar valt de methode niet af.
Ik kan dat wel begrijpen. Wat ik niet begrijp, is dat de commissie
Steur, die de opdracht kreeg om de
reële ontwikkeling
van de vaardigheden van de scholieren in de afgelopen tien jaar te
onderzoeken, het bewijsmateriaal van Cito niet echt nader heeft
geëvalueerd. Er wordt volstaan met de opmerking dat de gekozen
methodiek
"binnen de budgettaire grenzen adequaat lijkt".
Het kritische onderzoek van de hoogleraren
Hoijtink en
Sijtsma uit 2009 (zie
WiskundE-brief 560) wordt wel in een voetnoot genoemd
maar vormde blijkbaar geen inspiratie om zelf onafhankelijk onderzoek
te doen.
Verklaringen kunnen de geloofwaardigheid van gebeurtenissen of ontwikkelingen
uiteraard bevorderen. Als belangrijke verklaring van de stijging van de
vaardigheid van de examenkandidaten noemt het Citorapport de manier waarop
door scholen en leerlingen op de in 2013 ingevoerde kernvakkenregeling
is geanticipeerd. In het Citorapport wordt ook aannemelijk gemaakt dat deze maatregel echt van invloed is geweest. Wat echter onverklaard blijft, is de aanzienlijke stijging na 2013/2014.
Schoolexamens
Over de kwaliteit van schoolexamens is van alles te zeggen. Toch
lijkt me de landelijke ontwikkeling van de schoolexamencijfers over
de jaren niet zonder belang. Ik ben het dus niet eens met de commissie
Steur, die zegt
"door de verschillende invulling die
scholen aan schoolexamens geven" weinig met die schoolexamens
te kunnen aanvangen.
Ik denk dat door uitmiddeling van allerlei effecten, of wat positiever
uitgedrukt door 'the wisdom of the crowd', de ontwikkeling van de
schoolexamencijfers wél de moeite van het bekijken waard is:
Opmerkelijk is hoe de curves in de figuur op elkaar lijken. Er is,
vooral in de periode 2012/2014, sprake van een duidelijk waarneembare
stijging waarna een afvlakking volgt. Het verschil met de eerste figuur
is overduidelijk. Als de examenkandidaten werkelijk zoveel beter zijn
geworden, waarom is die stijging dan niet in de schoolexamencijfers
terug te vinden? Grote verschillen in curriculum zijn er niet en bij
wiskunde B is er op dat gebied zelfs sprake van een 100% overlap.
Daarbij fungeert het schoolexamen, zo luiden de berichten, de laatste
jaren vooral als voorbereiding op het eindexamen.
Vervolgonderwijs
Is het zo dat er bij het vervolgonderwijs alleen maar wordt geklaagd?
Zo niet, dan zou je verwachten dat het sterk gestegen niveau bij
wiskunde ook in het vervolgonderwijs niet onopgemerkt zou zijn gebleven.
Ik heb het vervolgonderwijs hierover echter nooit gehoord. Opgemerkte
niveauverbeteringen worden hoogstens toegeschreven aan entreetoetsen
en aan bijspijkercursussen die door de opleidingen zelf worden verzorgd.
In dit artikel heb ik me beperkt tot wiskunde A en B op havo/vwo.
Binnenkort zal ik ook aandacht besteden aan het vmbo. Ook op de ontwikkeling van de PISA-scores hoop ik binnen niet al te lange tijd terug te komen.
Gerard Koolstra
