In de loop van januari 2019 is door het Ministerie van
Onderwijs, Cultuur en Wetenschap (OCW)
een
onderzoeksrapport gepubliceerd over een belangwekkend onderwerp.
Het gaat in dat rapport om de validiteit van een tweetal examens,
waaronder het
Examen
VMBO-GL en TL 2017 tijdvak 1. Bij het beoordelen van de validiteit
van een examen wordt bekeken of de juiste zaken worden getoetst. Dat
is van wezenlijk belang en er is dus reden genoeg om dit rapport eens
nader te bestuderen.
De Centrale Examens zijn regelmatig onderwerp van kritiek, ook in het
parlement.
In
2014 heeft de Tweede Kamer een motie aangenomen waarin gesproken
werd van "toenemende mate van kritiek op de validiteit van de
Centrale Examens die het College voor Examens aan de examenkandidaten
laat voorleggen", waardoor kandidaten onverdiend kunnen slagen
of zakken. Ook op de wiskunde-examens is regelmatig zware kritiek te
horen. De rol van de contexten, de taligheid van de examens en wijze
van het stellen van vragen laten de gemoederen soms flink oplopen.
In de genoemde motie, van het toenmalige PvdA-kamerlid
Jadnanansing
werd gevraagd om
"de onderwijsinspectie een uitdrukkelijke rol te geven
bij de beoordeling van de validiteit van de centrale examens". Dit
omdat men
"hierbij niet enkel kan afgaan op het oordeel van het College
voor Examens, dat immers telkens de examens al voorafgaand aan de afname
heeft goedgekeurd". Aan deze motie is zo te zien geen gehoor
gegeven. Het onderzoek is namelijk uitbesteed aan het
RCEC (Research Center
voor Examinering en Certificering) te Enschede, een instituut dat tot
1 januari 2018 een samenwerkingsverband van Cito en de Universiteit
Twente was en daarna pas een onafhankelijk instituut is geworden.
Inhoudsvaliditeit
Opvallend is dat het rapport al meteen afwijkt van hetgeen in de
genoemde motie wordt gevraagd. Men richt zich in het rapport namelijk
op de
inhoudsvaliditeit en niet op de validiteit in het algemeen.
Bij het bepalen van de inhoudsvaliditeit staat de vraag centraal in
hoeverre het examen een representatieve afspiegeling is van het
kennisdomein. In het rapport wordt, refererend aan diverse
internationale standaarden, achtereenvolgens nader ingegaan op de
domeindefinitie, de
domeinrepresentatie, de
domeinrelevantie en de
adequate toetsconstructieprocedure.
Domeindefinitie
Onder de kop
domeindefinitie geeft het rapport gewoon het
examenprogramma weer. Dat niet erg spectaculair maar wel een logische
eerste stap. Hierover zal ik verder geen opmerkingen maken.
Domeinrepresentatie
Onder de kop
domeinrepresentatie is de volgende, opmerkelijke
passage te lezen:
| "Domein representatie betreft de mate waarin een examen het domein
zoals dat gedefinieerd is door de toetsspecificaties adequaat
representeert en meet. Het behoort tot de expertise van
vakdeskundigen om te bepalen of de opgaven in voldoende mate het
beoogde domein representeren." |
Dat is allemaal goed en wel maar bij een validiteits
onderzoek
zou je toch verwachten dat de onderzoekers proberen te achterhalen
in hoeverre dit bij het examen in kwestie ook daadwerkelijk is gelukt.
Tot mijn verbazing beperkt men zich echter tot het schetsen van hoe
men bij Cito via de
toetsmatrijs probeert bij te houden hoe
de diverse onderwerpen bij de vragen aan de orde komen. Saillant
detail is dat de kolom 'tekst', waarin zou moeten zijn vermeld hoe
lang de teksten zijn, niet is ingevuld. Voor het belang van taal
bij het Centraal Examen verwijs ik u onder andere graag naar
WiskundE-brief 816.
Domeinrelevantie
Het gehele rapport is uiterst onbevredigend en het laatste onderdeel
verandert daar niet veel aan. Ik citeer weer:
| "Domein relevantie betreft de mate waarin elke opgave van een examen
relevant is voor het beoogde domein. Ook om de relevantie van opgaven
te bepalen, is de inzet van vakdeskundigen nodig. Bij de constructie
van alle examens, dus ook van het examen wiskunde vmbo GL/TL 2017,
zijn altijd twee groepen toets- en vakdeskundigen betrokken: leden
van de constructiegroep en leden van de vaststellingscommissie. (...)
Van de constructiegroepleden en de vaststellingscommissie mag
aangenomen worden dat zij in staat zijn de relevantie van de
opgaven voor het meten van de vaardigheid wiskunde vmbo GL/TL kunnen
beoordelen." |
En daar blijft het verbazend genoeg bij. De korte samenvatting
van het WOLF-onderzoekje, het Cito-onderzoek onder de docenten over
de vraag hoe men het examen vond, voegt verder niets toe. De
onderzoekers stellen slechts dat van de samenstellers van het examen
mag worden verwacht dat zij hun werk goed doen. Zij controleren dat
vervolgens botweg niet.
Keurige vinkjes
De analyse van de toetsprocedure in het rapport bestaat vervolgens
uit niets meer dan het keurig afvinken van tien voor de hand liggende
stappen. De conclusie van het onderzoek is dat het allemaal dik in orde
is met de (inhouds)validiteit verbaasde mij tijdens het lezen
ondertussen dan ook niet meer.
Allemaal een voldoende
Toen ik het rapport uit had, bleef ik enigszins verbijsterd achter.
De examenvragen, het correctiemodel en de discussies onder examinatoren
blijven in het rapport totaal buiten beeld. Ik kan het niet geloven...
Stel je eens voor dat u als docent uw werk zo zou doen. U zou dan de
examens niet corrigeren maar slechts naar de voorbereidende activiteiten
van uw leerlingen kijken. Als die in orde zijn, krijgen ze van u
allemaal ongezien een mooie voldoende. Je kunt toch immers aannemen dat
zij het examen na zo'n voorbereiding allemaal goed hebben gemaakt?
Gerard Koolstra
