In WiskundE-brief 813 heb ik aandacht besteed aan een officiële publicatie
van het College voor Toetsen en Examens (CvTE) over de compensatie
achteraf van onvolkomenheden in het centraal examen door de verhoging
van de N-term. Daar is later in de maand
enige
commotie over onstaan, wat weer leidde tot een
nadere
uitleg door het CvTE.
Bij het achteraf compenseren via de N-term zijn de volgende paradoxen,
die ook in
WiskundE-brief 784 werden genoemd, van belang:
- Het tijdig door het Cito/CvTE reageren op geconstateerde
onvolkomenheden in of rond een examenvraag is voor de groep
examenkandidaten als geheel ongunstiger dan een aanpassing
achteraf.
- Hoe slechter een omstreden vraag is gemaakt, des te lager
pakt de compensatie door middel van het achteraf aanpassen van de
N-term uit.
Neutraliseren
Het mechanisme dat in werking treedt als er achteraf via de N-term een
'corrupte vraag' wordt gecompenseerd, deed ik in
WiskundE-brief 813 uit de doeken.
Ik heb daarbij, in navolging van een eerdere publicatie van Cito/CvTE,
de compensatie achteraf vergeleken met de denkbeeldige situatie waarin
dat de fout wel op tijd zou zijn ontdekt en iedereen daarom alle punten
voor de vraag zou hebben gekregen.
In
de nadere uitleg van het CvTE wordt de compensatie achteraf vergeleken
met de denkbeeldige situatie waarin de fout tijdig zou zijn ontdekt
maar iedereen daarom
nul punten voor de vraag zou hebben gekregen.
In eerste instantie lijkt een dergelijke maatregel niet logisch.
Paradoxaal genoeg is die maatregel dat wel.
Knippen en neutraliseren
Het liefst wil het CvTE, ook bij correctie achteraf, de ondeugdelijke
vraag natuurlijk helemaal buitenspel zetten. Een methode hiervoor is
het 'afknippen' van de vraag. De vraag telt op die manier in de beoordeling
helemaal niet mee. Een andere manier om een vraag buitenspel te zetten,
is het 'neutraliseren' van de vraag. Alle kandidaten krijgen voor
die vraag dan hetzelfde aantal punten. Het aantal punten is hierbij niet
van belang; essentieel is dat door deze maatregel de onderlinge volgorde
van de totaalscores van de kandidaten niet wordt beïnvloed. Dat is belangrijk
want er wordt bij het vaststellen van de N-term uitgegaan van een vast
percentage aan onvoldoendes. Neutralisatie heeft dus geen invloed op wie
er boven en wie er onder de streep uitkomt. Voor details over hoe de
verschillende mechanismen werken, verwijs ik u graag naar
WiskundE-brief 784,
WiskundE-brief 785
en
WiskundE-brief 786.
Gedachte-experiment
Een vast percentage onvoldoendes betekent in de praktijk een vast gemiddelde voor de hele groep.
Als dat gemiddelde door een of andere maatregel dreigt te veranderen wordt dat via de N-term ogenblikkelijk weer gladgestreken. Dat is ook te lezen in de reactie van het CvTE op de 'driehoeksoplosser' (zie
WiskundE-brief 815). Als een vraag om een of andere reden (te) goed zou worden gemaakt, wordt dat direct gecorrigeerd door de N-term.
Om de paradoxale uitkomst dat de compensatie achteraf gelijk is aan het gemiddeld aantal punten dat voor de 'mislukte' vraag werd gescoord beter te begrijpen, is misschien het volgende gedachte-experiment nuttig.
- Bereken de gemiddelde score op de mislukte vraag
- Vervang bij iedereen de echte score door deze gemiddelde score
In dit geval hoeft de N-term niet te worden aangepast, gemiddeld verandert er immers niets!
Sommige kandidaten zullen van deze ingreep beter worden, ander slechter.
Het meest profijt hebben uiteraard de leerlingen die eerst nul punten hadden. Hun vooruitgang is precies de gemiddelde score op deze vraag. Daarom gebruikt het CvTE deze gemiddelde score bij de compensatie achteraf, en zegt terecht dat deze minstens gelijk is aan de compensatie die was verkregen bij neutralisatie.
Echt geen nadeel?
Ondervindt echt geen enkele kandidaat nadeel van deze wijze van
neutralisatie van een 'corrupte vraag' achteraf? Als je uitgaat
van de situatie waarbij een vraag daadwerkelijk 'corrupt' was, dan
is dat zeker waar. Maar wat nu als niet de vraag maar het
correctievoorschrift 'corrupt' is?
Als we wat verder kijken dan wiskunde is het al diverse keren voorgekomen dat het correctievoorschrift
aan goede antwoorden weinig tot geen punten toekende terwijl mindere
antwoorden beter werden beloond. In dergelijke gevallen werkt de
beschreven compensatie achteraf niet op een rechtvaardige wijze.
Neem eens aan dat een groep kandidaten een vraag die 0,5 cijferpunten
waard is, bijna correct beantwoordt. De kandidaten zouden hiervoor
gemiddeld bijvoorbeeld 0,45 cijferpunten moeten krijgen. Neem nu
verder aan dat zij door een blunder in het correctievoorschrift gemiddeld
slechts 0,05 cijferpunten toebedeeld krijgen terwijl minder goede
beantwoordingen gemiddeld 0,4 cijferpunten opleveren.
Neem verder eens aan dat de gemiddelde score op die vraag 60% is.
Bij het achteraf neutraliseren van deze vraag zal de N-term dan
met 0,3 punten (60% van 0,5 punten) worden verhoogd. De kandidaten
met de minder goede beantwoording worden op die manier gemiddeld
beloond met in totaal
0,4 + 0,3 = 0,7 cijferpunten
terwijl de kandidaten met de correcte beantwoording slechts met
gemiddeld
0,05 + 0,3 = 0,35 cijferpunten worden beloond.
Gaat in een dergelijke situatie werkelijk geen kandidaat erop achteruit?
gk