Liefde maakt blind

Onderzoekers blijken van nature opgewekte en liefdevolle types. Dat zie je aan de wijze waarop ze hun data presenteren. Zonder die rapportages nu direct te rooskleurig te noemen, valt er vaak toch wel een zekere discrepantie te bespeuren tussen data en conclusies. Gelukkig zijn er dan ook weer de commentaren in ons Tijdschrift die de lezer op het juiste spoor houden.

In de lekenpers is overinterpretatie eerder regel dan uitzondering. Als lezer weet je niet of de journalist te veel door een roze bril heeft gekeken of dat hij slechts de roeptoeter van de onderzoekers is. Tenslotte moeten onderzoekers allemaal publiceren en er zijn nogal wat bestuurders van universiteiten die berichtgeving in de lekenpers als ‘parameter of esteem’ beschouwen. Het bericht ‘Hond ruikt longkanker in vroeg stadium’ uit de Volkskrant van 20 augustus 2011 wekte bij mij onmiddellijk argwaan en zou wel eens het resultaat van fikse overinterpretatie kunnen zijn. Wie is de dader? De onderzoeker, de journalist of de expert die naar aanleiding van deze studie verkondigt dat de ‘breathomics’ binnen 5 tot 10 jaar zijn doorgedrongen in de huisartsenpraktijk? Lekker gemakkelijk en goedkoop, zonder prikken of scannen en nu hebben we dus naast de genomics, de metabolomics, de proteomics weer een nieuwe loot aan onze droomboom van kankerscreeningstests. De journalist is zeker schuldig: in dit geval rapporteerde hij zeer selectief en vergat te vermelden dat de honden het heel vaak niet met elkaar eens waren. De kappa-waarde (mate van overeenstemming) van de 4 honden was 0,43 en in de praktijk vinden we dat toch maar een zeer matige test, op het onbruikbare af. De journalist had natuurlijk ook nog eens aan een expert op het gebied van screening kunnen vragen wat die er van dacht of aan een deskundige wetenschapsjournalist. Gelukkig verscheen een week later in diezelfde krant een kritischer stuk over deze studie.

De onderzoekers zelf bediscussiëren in hun artikel de zeer matige kappa en denken dat te kunnen oplossen door de honden te trainen. Over de volgende noodzakelijke stap – dat de studie moet worden overgedaan in de juiste onderzoekspopulatie, namelijk mensen verdacht van longkanker – lees ik niks. Dus ja, ook zij overinterpreteren de reikwijdte van hun bevindingen.

Het zou zeer verfrissend zijn als de interpretatie en discussieparagraaf van onderzoek door anderen werd geschreven. In onze rubriek ‘In het kort’ doen we al een bescheiden poging door anderen dan de auteurs verslag te laten doen van onderzoeksartikelen waarbij de conclusie niet overeen hoeft te komen met die van het origineel. Medische tijdschriften spelen een belangrijke rol in de duiding van wetenschap. Een goed voorbeeld van die duiding leest u in het commentaar van Van Marum over het stoppen van medicatie bij ouderen (A3802; bl. 1600).

Voor veel zaken mag liefde best blind zijn. In wetenschappelijk onderzoek hebben we echter van te veel liefde heel veel last.