Selectie mag
Voor de studie geneeskunde bestaan al jaren meer belangstellenden dan er opleidingsplaatsen zijn. Ruwweg is het aantal aspirant-studenten dat zich inschrijft voor geneeskunde ruim 2 keer zo groot als het aantal beschikbare plaatsen (numerus fixus) in de 8 universitair medische centra. Studenten met een gemiddeld eindexamencijfer > 8 zijn verzekerd van een plaats, voor anderen geldt de gewogen loting. Hoewel iedereen beaamt dat prestaties op de middelbare school geen maat zijn voor het uiteindelijk functioneren als dokter, is deze procedure tot nu toe – bij gebrek aan beter – geaccepteerd. Bovendien paste het principe van selectie van studenten niet bij de tijdgeest van de afgelopen decennia.
Universiteiten hadden al wel langere tijd de mogelijkheid om een deel van de studenten via een zogenaamde decentrale selectieprocedure toe te laten. Maar bij gebrek aan een zinvolle procedure waarmee het uiteindelijk functioneren als goede dokter kon worden voorspeld, heeft men van…
Artikelinformatie
Betere dokters door selectie van studenten aan de poort
Examens met samengestelde prestatie-indicatoren voor medische studenten worden door de auteurs besproken. Om dit te kunnen doen moet een rangorde gemaakt worden. Rangordes zijn behept met problemen [1]. Een van de meest imponerende problemen is de reversal bias. Met een fictieve beoordeling van de best mogelijke prestaties van 4 studenten A,B,C en D kan het probleem gedemonstreerd worden Er wordt een beoordeling gemaakt van de verschillen . De beoordeling wordt weergegeven als het aantal paarsgewijze beoordelingen waarbij een verschil tussen 2 kandidaten wordt geturfd.; A>C 2, A>D 7, B>C 3, B>D 5, C>B 2, C>D 5, D>B 2 en D>C 4. De prestaties worden als volgt berekend ;A 2+7=9 , B 5+3=8, C 2+5=7 , D 2+4=6. De rangorde is dus A,B,C,D . Er wordt besloten om de slechtste student namelijk D te verwijderen; A>C 2, A 7, B>C 3, B 5, C>B 2, C 5, B 2 en C 4. De best mogelijke prestaties zijn nu A 2+7=9, B 3+5+2=10, C 2+5+4=11 De rangorde is nu C,B,A. Het verwijderen ven de slechtste kandidaat heeft tot gevolg, dat de rangorde van de overblijvende kandidaten compleet omkeert. Het voorbeeld is zo geconstrueerd ,dat het voor de reversal bias niet uitmaakt welke student verwijderd wordt. Als kandidaat B verwijderd wordt zal D veranderen van de slechtste naar de beste kandidaat. Er kan worden aangetoond,dat de kans op inconsistenties aanzienlijk is [2]. De reversal bias is een bedreiging van de geloofwaardigheid van een vergelijkend examen aan de poort. Een verkozen student en een afgewezen student zouden hun resultaten kunnen vergelijken en kunnen concluderen ,dat paarsgewijze vergelijking een ander resultaat oplevert dan de rangorde van het examen. De afgewezen student kan zijn afwijzing aanvechten. Het voorkomen van een reversal bias is noodzakelijk (maar niet voldoende ) voor adequate beoordeling van rangordes bij examens.
Literatuur
[1] Knol A. Ziekenhuizentop-100: wisselende ranglijsten, wisselende reputaties. Ned Tijdschr Geneeskd. 2006;150:2840-1.
[2] Bortz J, Lienert GA, Boehnke K. Verteilungsfreie Methoden in der Biostatistik. Springer: Berlijn; 2008.
Groningen
A.Knol, huisarts.
Selectie van studenten
Collega Knol wijst op het gevaar van reversal bias bij het bepalen van rangordes. Hij wijst er op dat dit probleem ook bij de decentrale toelatingsprocedures voor geneeskunde zou kunnen spelen. Reversal bias doet zich voor als, nadat de rangorde bepaald is, kandidaten zich terugtrekken. Dit valt goed te illustreren aan het volgende voorbeeld. Als een voetbalteam, om wat voor reden dan ook, na de competitie wordt uitgesloten, dan zou er niets aan de hand zijn als alleen gekeken wordt naar de eindstand: elke club die onder het bepaalde team stond schuift een positie omhoog. Echter, wanneer de onderliggende resultaten van het betreffende team ook verwijderd worden, kan er een andere rangorde ontstaan. Reversal bias bij terugtrekkende kandidaten kan dus ontstaan als de scores van kandidaten van elkaar afhankelijk zijn. Dit is bij de decentrale selectie niet het geval. De score die een student haalt voor de verschillende onderdelen van de decentrale selectie is onafhankelijk van de scores die door medekandidaten worden gehaald. Scores in het kader van decentrale toelating zijn het best vergelijkbaar met scores op een tentamen. Stel, een groep van 200 studenten maakt een tentamen met multiplechoicevragen. Voor elke goed beantwoorde vraag krijgt de student een punt. Op basis van het totaal aantal goed beantwoorde vragen wordt een rangorde gemaakt die theoretisch loopt van 1-200. Wanneer er personen uit de rangorde worden gehaald verandert het aantal goed beantwoorde vragen van de overblijvende studenten echter niet en dus ook niet hun rangorde. Alleen wanneer vragen uit de toets verwijderd zouden worden kan de rangorde van studenten op de totaalscore veranderen. Bij de decentrale selectie worden echter geen vragen of onderdelen verwijderd. Bezwaar, zoals Knol adviseerde, tegen selectierangordes voor de studierichting geneeskunde zal dan ook niet gegrond zijn omdat de prestatie van de kandidaat onafhankelijk is van die van zijn medekandidaten.
Groningen
J.C.C. Borleffs
J.B.M. Kuks
J. Cohen-Schotanus