In een recente studie van Hannink en collega’s werd op systematische wijze onderzocht of trialprotocollen van chirurgische gerandomiseerde gecontroleerde trials (RCT’s), gepubliceerd in medische en chirurgische tijdschriften, geregistreerd waren. Daarnaast werd onderzocht of de gepubliceerde resultaten overeenkwamen met hetgeen in het trialprotocol beschreven was.1 Het percentage geregistreerde protocollen van RCT’s gepubliceerd in chirurgische tijdschriften bleek aanzienlijk lager dan dat van RCT’s gepubliceerd in medische tijdschriften. Er bleek daarnaast vaker sprake van selectieve rapportage van primaire uitkomsten in chirurgische tijdschriften vergeleken met medische tijdschriften, met een voorkeur voor rapportage van statistisch significante eindpunten.
Moeten we naar aanleiding van deze bevindingen vraagtekens zetten bij de kwaliteit van chirurgische tijdschriften en chirurgisch wetenschappelijk onderzoek? Waarschijnlijk niet, want de uitkomst van deze studie is deels een soort ‘selffulfilling prophecy’.
Het pad naar publicatie van chirurgische trials
Een tijdschrift is zo goed als het materiaal dat aangeboden wordt. Onderzoekers zullen hun kwalitatief beste werk…
Artikelinformatie
Selectieve rapportage van uitkomstmaten, een serieus probleem!
In bovenstaand commentaar op ons eerder gepubliceerde onderzoek over selectieve rapportage van chirurgische trials gaan Van den Broek en Dejong vooral in op het aannamebeleid van chirurgische tijdschriften en niet primair op de strekking van ons artikel. Zij stellen dat onze uitkomsten een ‘selffulfilling prophecy’ betreffen. Anderen zien ons artikel juist als bewijs dat chirurgisch onderzoek inderdaad beter kan en moet, niet eens zo zeer in opzet en uitvoering, maar eerder in rapportage en verantwoording [1].
Editors van algemeen medische tijdschriften stelden registratie van trialprotocollen in juli 2005 verplicht [2], editors van chirurgische tijdschriften volgden in juli 2007 [3]. In onze studie hebben wij alleen die chirurgische RCT’s geïncludeerd die na 2007 zijn gepubliceerd en waarvan het protocol voor het einde van de trial was geregistreerd. Van de trials gepubliceerd in algemeen medische tijdschriften was het protocol in 98% geregistreerd voor voltooiing van de trial, van de trials gepubliceerd in chirurgische tijdschriften slechts in 49%. Het verschil in selectieve rapportage van uitkomstmaten tussen chirurgische en algemeen medische tijdschriften is daarom waarschijnlijk nog groter dan beschreven in onze studie.
Van den Broek en Dejong stellen dat editors van chirurgische tijdschriften eerder geneigd zijn een publicatie over een chirurgische RCT te accepteren, eventueel ook als er geen geregistreerd protocol is. Dit is nu precies het probleem, want dit werkt selectieve rapportage in de hand. Het officiële beleid van zowel de algemeen medische als de chirurgische tijdschriften is overigens identiek: protocolregistratie voor aanvang van de studie [2,3].
Een ander argument van Van den Broek en Dejong is dat een trial waarvan het protocol pas tijdens of na voltooiing van de trial geregistreerd is niet per se een slechte trial hoeft te zijn. Dit klopt uiteraard, maar er zijn te veel voorbeelden waar dit toch vaak het geval is en de resultaten dus oncontroleerbaar worden. Dat vormt dan ook de reden waarom de verplichting van trialregistratie is ingevoerd.
Ons is inmiddels duidelijk dat redacties en lezers onze stellingname onderschrijven. De ‘selffulfilling prophecy’ zit hem niet in de constatering dat ‘een tijdschrift zo goed is als het materiaal dat wordt aangeboden’, maar in het feit dat invoering van controle het beoogde doel van kwaliteitsverhoging automatisch bewerkstelligt. Wij hebben de vinger willen leggen op het serieuze probleem van selectieve rapportage, een probleem waar auteurs, editors, en reviewers van chirurgische tijdschriften zich gelukkig in toenemende mate van bewust zijn.
Radboudumc, afdeling Orthopedie, Nijmegen.
Dr. G. Hannink, senior onderzoeker, bewegingswetenschapper & epidemioloog
Radboudumc, afdeling Operatiekamers, Nijmegen.
Prof.dr. H.G. Gooszen, hoogleraar Academisering van Operatieve Processen, chirurg
Radboudumc, afdeling Operatiekamers en afdeling Health Evidence, Nijmegen.
Prof.dr. M.M. Rovers, hoogleraar Evidence-based Surgery, klinisch epidemioloog
Contactpersoon: dr. G. Hannink (Gerjon.Hannink@radboudumc.nl).
Referenties
1. Doyle K. Surgery clinical trial results selectively reported. [http://www.reuters.com/ article/2013/03/14/us-surgery-clinical-trial-idUSBRE92D0Y620130314] Accessed November 13, 2013
2. DeAngelis CD, Drazen JM, Frizelle FA, Haug C, Hoey J, Horton R, Kotzin S, Laine C, Marusic A, Overbeke AJ, Schroeder TV, Sox HC, Van Der Weyden MB; International Committee of Medical Journal Editors. Clinical trial registration: a statement from the International Committee of Medical Journal Editors. JAMA 2004;292:1363-4
3. Surgical Journal Editors Group. Consensus statement on mandatory registration of clinical trials. Br J Surg 2007;94:511-2