Wij verzoeken Klasen en ook andere lezers onze gedachtegang nog eens kritisch te volgen.
Ons uitgangspunt was dat onderzoekers tegenwoordig worden beoordeeld zowel op grond van hun publicaties als op grond van hun vermogen subsidies te verwerven. Dat laatste maakt de procedures die door tweede- en derdegeldstroomfondsen worden toegepast ter beoordeling van subsidieaanvragen van cruciaal belang. Publicaties over de beoordelingsprocedures van fondsen zijn schaars. Tijdschriften zoals The Lancet en het Nederlands Tijdschrift voor Geneeskunde voelen wel behoefte hun beoordelingsprocedures regelmatig publiekelijk tegen het licht te houden. Waarom fondsen niet? Aan de hand van 2 voorbeelden hebben wij aannemelijk gemaakt dat er geen reden is voor de gedachte dat het bij fondsen altijd prima verloopt. Wij hebben daarom 3 voorstellen gedaan. Laten NWO en de grote landelijke collectebusfondsen het met elkaar eens worden over een norm voor het beoordelen van subsidieaanvragen, een norm die kansen op onderlinge bevoordeling door onderzoekers zo klein mogelijk maakt. Laat beoordeling geschieden met het minst slechte systeem, het peer-review-systeem zoals toegepast door tijdschriften. En tenslotte, laat er een ombudspersoon zijn bij wie onderzoekers in beroep kunnen gaan voor het geval fondsen procedureel in de fout gaan.
Klasen schrijft dat ons NWO-voorbeeld betrekking heeft op ‘projectvoorstellen’ en niet op ‘subsidieaanvragen’. In feite gaat het over korte beschrijvingen van onderzoeken waar onderzoekers subsidie voor wensen; als men daar een andere term dan ‘subsidieaanvragen’ voor gebruikt, werkt dat verhullend. Een andere term rechtvaardigt zeker niet de toepassing van minder goede beoordelingsmethoden. Het beoordelingscriterium ‘aansluiting op doelstellingen van programma's’ zal niet veel aanvragen doen afvallen. In het door ons gebruikte voorbeeld was dat bij 1 van de 11 aanvragen het geval. Het criterium ‘kwaliteit van onderzoeksgroepen’ zet de deur wagenwijd open voor onderlinge bevoordeling door onderzoekers. Hoe men tot de gewenste reductie in het aantal aanvragen komt, wordt in ons voorbeeld beschreven. Wil men op basis van zeer beperkte informatie toch tot goede beoordelingsresultaten komen, dan zouden juist extra goede beoordelingsmethoden moeten worden toegepast, dat wil zeggen de best mogelijke peer review. Klasen schrijft verder dat NWO een soort ombudsinstantie heeft. Maar hoe is het hiermee gesteld bij derdegeldstroomfondsen? Niet goed, althans niet bij het Beatrix Fonds, zoals wij met een voorbeeld hebben geïllustreerd. Als NWO kan samenwerken met collectebusfondsen voor toewijzing van subsidies, waarom dan niet ook voor procedurele aangelegenheden?
Wij zijn van mening dat onderzoek van en publicaties over beoordelingsprocedures van fondsen, de tekorten daarvan en de mogelijkheden tot verbetering dringend gewenst zijn en wij vinden dat NWO en de landelijke collectebusfondsen daar het initiatief toe zouden kunnen nemen.
Peer review bij aanvragen voor subsidie
Utrecht, mei 1997,
Wij verzoeken Klasen en ook andere lezers onze gedachtegang nog eens kritisch te volgen.
Ons uitgangspunt was dat onderzoekers tegenwoordig worden beoordeeld zowel op grond van hun publicaties als op grond van hun vermogen subsidies te verwerven. Dat laatste maakt de procedures die door tweede- en derdegeldstroomfondsen worden toegepast ter beoordeling van subsidieaanvragen van cruciaal belang. Publicaties over de beoordelingsprocedures van fondsen zijn schaars. Tijdschriften zoals The Lancet en het Nederlands Tijdschrift voor Geneeskunde voelen wel behoefte hun beoordelingsprocedures regelmatig publiekelijk tegen het licht te houden. Waarom fondsen niet? Aan de hand van 2 voorbeelden hebben wij aannemelijk gemaakt dat er geen reden is voor de gedachte dat het bij fondsen altijd prima verloopt. Wij hebben daarom 3 voorstellen gedaan. Laten NWO en de grote landelijke collectebusfondsen het met elkaar eens worden over een norm voor het beoordelen van subsidieaanvragen, een norm die kansen op onderlinge bevoordeling door onderzoekers zo klein mogelijk maakt. Laat beoordeling geschieden met het minst slechte systeem, het peer-review-systeem zoals toegepast door tijdschriften. En tenslotte, laat er een ombudspersoon zijn bij wie onderzoekers in beroep kunnen gaan voor het geval fondsen procedureel in de fout gaan.
Klasen schrijft dat ons NWO-voorbeeld betrekking heeft op ‘projectvoorstellen’ en niet op ‘subsidieaanvragen’. In feite gaat het over korte beschrijvingen van onderzoeken waar onderzoekers subsidie voor wensen; als men daar een andere term dan ‘subsidieaanvragen’ voor gebruikt, werkt dat verhullend. Een andere term rechtvaardigt zeker niet de toepassing van minder goede beoordelingsmethoden. Het beoordelingscriterium ‘aansluiting op doelstellingen van programma's’ zal niet veel aanvragen doen afvallen. In het door ons gebruikte voorbeeld was dat bij 1 van de 11 aanvragen het geval. Het criterium ‘kwaliteit van onderzoeksgroepen’ zet de deur wagenwijd open voor onderlinge bevoordeling door onderzoekers. Hoe men tot de gewenste reductie in het aantal aanvragen komt, wordt in ons voorbeeld beschreven. Wil men op basis van zeer beperkte informatie toch tot goede beoordelingsresultaten komen, dan zouden juist extra goede beoordelingsmethoden moeten worden toegepast, dat wil zeggen de best mogelijke peer review. Klasen schrijft verder dat NWO een soort ombudsinstantie heeft. Maar hoe is het hiermee gesteld bij derdegeldstroomfondsen? Niet goed, althans niet bij het Beatrix Fonds, zoals wij met een voorbeeld hebben geïllustreerd. Als NWO kan samenwerken met collectebusfondsen voor toewijzing van subsidies, waarom dan niet ook voor procedurele aangelegenheden?
Wij zijn van mening dat onderzoek van en publicaties over beoordelingsprocedures van fondsen, de tekorten daarvan en de mogelijkheden tot verbetering dringend gewenst zijn en wij vinden dat NWO en de landelijke collectebusfondsen daar het initiatief toe zouden kunnen nemen.