Wangedrag in medisch-wetenschappelijk publiceren

Sippenaeken, België, september 1994,

Bij lezing van het verslag van de tijdschriftconferentie over dit onderwerp kwam de vraag bij mij op in hoeverre het gehanteerde beoordelingssysteem van wetenschappelijke publikaties het vermelde wangedrag oproept (1994;1822-6).

Onderzoekssubsidies stijgen naar rato van gepubliceerde wetenschappelijke resultaten, waardoor het beoordelingssysteem economisch interessanter wordt en fraude ook. De produktie van biomedische wetenschapsresultaten is in de loop van 1 generatie enorm toegenomen. Opvallend is dat in tegenstelling tot die van andere bulkprodukten de waarde van de resulterende wetenschappelijke publikatie onwetenschappelijk wordt gemeten. Zelfs een fotowedstrijd in Arts en auto scoort in dezen beter, hoewel de toegekende prijzen daar lager zijn.

Ter voorkoming van fraude gebeurt de beoordeling van de economische waarde van andere maatschappelijke goederen zoals foto's of wijn blind, dat wil zeggen zonder de herkomst van het produkt te kennen, door een panel van bekende deskundigen. Bij de beoordeling van een medisch-biologische publikatie gebeurt dit meestal andersom Een stringente reden daarvoor is onbekend. Slechts een enkel tijdschrift geeft aan wie het artikel heeft nagekeken.

Het nu vigerende systeem lijkt om twee redenen geen goed systeem. De eerste reden is dat indien men naar eer en geweten andermans werk beoordeelt, men erop moet staan dat de beoordeelde ook weet door wie hij is beoordeeld. Geheimzinnigheid werkt vervagend en kan wangedrag bevorderen. De tweede reden is dat de ‘proof of the pudding’ uitsluitend ligt in ‘the eating’, maar dat de fabrikant via tegenprestatie, etikettering, en andere handel de acceptatie gaarne positief beïnvloedt.

Blinderen van onderzoek kan lastig zijn, maar is niet onoverkomelijk en in andere disciplines ook meer gebruikelijk. Daarbij zou het nodig kunnen zijn niet alleen de titelpagina en andere parafernalia weg te laten, maar desnoods de literatuurlijst eerst na het (voorlopig) oordeel uit te delen. Het juist aanhalen van literatuur is bij een verslag van experimenteel onderzoek meestal niet doorslaggevend.

Gezien de grote spreiding die bij de schatting van de waarde van biomedische onderzoeksresultaten aan de orde is,1 zou uitbreiding van ervaring met dat andere, maar gangbare ‘foto/ wijn’-systeem nuttig zijn. Een objectiever beoordelingssysteem van wetenschappelijke verslaglegging biedt zich momenteel niet aan. Men realisere zich tevens dat bij niet-eenduidige beoordeling door referenten, hetgeen gezien de spreiding veelvuldig voorkomt, de hand van de editor de publikatiekraan bedient en dat het aantal aangeboden artikelen meestal een veelvoud is van hetgeen de uitgever kan plaatsen.

Subsidies worden ter verhoging van de doelgerichtheid steeds meer bureaucratisch gekanaliseerd. Ook op Europees niveau worden grote sommen ter beschikking gesteld. De toekenning van die belastinggelden wordt vooral op wetenschappelijke argumenten gegrond. De quasi wetenschappelijke beoordelingsmethode van publikaties zoals die nu in zwang is met de daarvan afgeleide ‘science citation index’, kan bij die toekenning in ons vak weinig houvast bieden.

Amsterdam, oktober 1994,

Collega Driessen stelt een aantal intrigerende vragen, die voornamelijk betrekking hebben op het systeem van beoordeling van wetenschappelijke verslaglegging vóór publikatie, het ‘peer review’-systeem. Tot op heden is niet aangetoond dat deze vorm van toetsing op zich ‘wangedrag’ veroorzaakt. Het zijn meer de financieringsvormen van wetenschappelijk onderzoek (‘grants’) en de mede daardoor veroorzaakte publikatiedruk (‘publish or perish’) die dergelijk gedrag kunnen uitlokken.

Niet alleen de biomedische maar bijvoorbeeld ook de psychologische en sociologische literatuur bevat vele honderden publikaties over peer review. Alle door collega Driessen vermelde aspecten komen daarin uitgebreid aan de orde, maar tot op heden met niet al te veel resultaat. Wij weten inmiddels veel over ‘blinderen’ van auteurs en instituten: indien toegepast, verbetert de kwaliteit van de beoordelingen, maar in de praktijk blijkt deze methode niet al te vaak goed toepasbaar. Zo heeft wegens het grote tijdbeslag de Canadian Medical Association Journal het blinderen gestaakt. Vele vaktijdschriften zenden beoordelingen door de adviseur getekend terug aan de auteurs, sommigen publiceren het oordeel of de namen van de adviseurs tezamen met het (gereviseerde) artikel;

De kracht zowel als de zwakte van het beoordelingssysteem ligt in het feit dat in principe ‘peers’, ervaren collega's dus, worden ingeschakeld. Daarvan zijn er veel nodig, waardoor objectiviteit niet is gewaarborgd. Dit wordt nog verergerd door het grote aantal tijdschriften met verschillende beoordelingssystemen en een minstens even grote verscheidenheid aan instructies voor beoordelaars. Zoals eerder gesteld, is het bij gebrek aan alternatieven de enige beoordelingsmethode van wetenschappelijk onderzoek.1

Gelukkig worden de gebreken van het systeem al enige tijd onderkend en door de niet aflatende activiteiten van S.Lock, voormalig hoofdredacteur van British Medical Journal, zijn opvolger R.Smith,2 D.Rennie, hoofdredacteur van JAMA, en anderen wordt thans op uitgebreide schaal, zowel in Europa als in de V.S., wetenschappelijk onderzoek verricht naar het peer review-proces, ook bij dit tijdschrift. De eerste resultaten zijn gepubliceerd in de aflevering van JAMA van 13 juli 1994. Over 2 of 3 jaar zal de derde internationale conferentie over peer review worden gehouden. Hopelijk is dan voldoende bekend om het beoordelingsproces te verbeteren.

Den Haag, november 1994,

In zijn reactie op een ingezonden brief van collega Driessen naar aanleiding van het verslag over de tijdschriftconferentie over dit onderwerp (1994;1822-6) schrijft collega Overbeke (1994;2365-6): ‘Tot op heden is niet aangetoond dat deze vorm van toetsing ’‘[het peer review-systeem; W.A.M.] op zich wangedrag veroorzaakt’. Twee citaten uit hoofdredactionele artikelen suggereren mijns inziens echter het tegendeel:

Newell schreef in een ‘Editorial’:1 ‘The Journal respects requests that close competitors should not be invited to act as referees and the Editorial Board will do its best to find others who can substitute‘. Dit ’respect‘ toont mijns inziens toch wel aan dat wangedrag door ’close competitors‘ in peer reviews is geconstateerd.

Overbeke zelf schrijft in genoemde reactie: ‘... de zwakte van het beoordelingssysteem ligt in het feit dat in principe “peers”, ervaren collega's dus, worden ingeschakeld. Daarvan zijn er veel nodig, waardoor objectiviteit niet is gewaarborgd’. Men heeft dus ervaren dat objectiviteit niet altijd aanwezig was. Volgens mij is het ontbreken van objectiviteit in een beoordeling wangedrag.

Ten slotte vermeldt hij dat zowel in Europa als in de V.S. op uitgebreide schaal wetenschappelijk onderzoek naar het peer review-proces wordt verricht, ook bij het Tijdschrift. Indien gewenst, kan ondergetekende dit tijdschrift voor het eigen wetenschappelijk onderzoek Nederlandse casuïstiek over wangedrag door ‘close competitors’ bij peer review doen toekomen.

Amsterdam, november 1994,

Ik dank collega Manschot voor zijn reactie en aanbod. Inderdaad is oneerlijkheid door peer reviewers meermalen vastgesteld door auteurs en (niet altijd) redacties, maar er is slechts bij uitzondering naar gehandeld, laat staan erover gepubliceerd. Echte bewijzen zijn vaak moeilijk te leveren (het geciteerde redactionele commentaar doet dat ook niet), zodat redacties wel als voorzorg het kiezen van referenten die directe ‘concurrenten’ zijn van auteurs proberen te vermijden. Veel tijdschriften vragen, ook als preventie, reviewers met een ‘conflict of interest’ het ter beoordeling gezonden artikel te retourneren.

Alleen al op theoretische gronden valt te vermoeden dat beoordelaars, anoniem of niet, niet altijd even objectief zullen zijn. Hoe vaak wangedrag bij het beoordelingsproces werkelijk plaatsvindt, is niet bekend en dat dient daarom te worden onderzocht. Uiteindelijk blijft wederzijds vertrouwen tussen redacties, referenten en auteurs de basis waarop dit beoordelingssysteem is gestoeld. Zorgvuldige keuze en instructie van ‘peer reviewers’ zijn daarbij van groot belang.