Rectificatie
De affiliatie van de eerste auteur was niet juist vermeld. Dit moet zijn:
LUMC, afd. Public Health en Eerstelijnsgeneeskunde, Leiden.
Drs. J. Schat, wetenschapsstagiair (thans: anios, Alrijne Ziekenhuis, afd. Interne geneeskunde, Leiderdorp.)
Samenvatting
Doel
Bepalen hoe vaak pers- en nieuwsberichten overdrijvingen bevatten en onderzoeken waar in het traject tussen wetenschappelijke publicatie en nieuwsbericht deze overdrijving ontstaat.
Opzet
Retrospectieve kwantitatieve inhoudsanalyse.
Methode
We analyseerden persberichten over gezondheidsonderzoek die door de Nederlandse universiteiten en universitaire medische centra in 2015 waren uitgebracht (n = 129) en de aan die persberichten gerelateerde berichten in de nieuwsmedia (n = 185).
Resultaten
20% van de persberichten en 29% van de nieuwsberichten bevatten overdrijving van de conclusie of causale claim. Expliciet gezondheidsadvies werd indien aanwezig overdreven in 7% van de persberichten en in 10% van de nieuwsberichten. Wanneer het persbericht een overdrijving van de conclusie of causale claim bevatte, stond in 92% van de gerelateerde nieuwsberichten dezelfde overdrijving. Als de conclusie in het persbericht niet overdreven was, was 6% van de nieuwsberichten overdreven. De relatieve kans op overdreven nieuws bij een overdreven persbericht was 16,08 (95%-BI: 7,35-35,18). Bij overdreven persberichten hoorde vaker een nieuwsbericht. De relatieve kans op een nieuwsbericht bij een overdreven persbericht tegenover een niet-overdreven persbericht was 1,45 (95%-BI: 1,02-2,04).
Conclusie
Overdrijving in gezondheidsnieuws gaat sterk gepaard met overdrijving in het oorspronkelijke persbericht en komt voor bij meer dan 1 op de 5 artikelen. Het monitoren en zo nodig verbeteren van de nauwkeurigheid en juistheid van academische persberichten lijken een belangrijke stap om de kwaliteit van gezondheidsnieuws te verhogen.
Artikelinformatie
Citeer dit artikel als
Statistische precisie en studiedesign
In dit artikel vergeleken de auteurs persberichten over gezondheidsonderzoek die door Nederlandse universiteiten en universitaire medische centra zijn uitgebracht met de oorspronkelijke peer-reviewed artikelen en gingen zij na of de belangrijkste conclusies of claims overdreven waren. De auteurs beschrijven hun meetproces als volgt: “We gaven [..] een code voor de stelligste bewering over een conclusie of claim volgens een schaal met zes opties: (a) geen relatie; (b) expliciet geen relatie (‘wijn veroorzaakt geen kanker’); (c) correlatie of ambigu verband (‘wijn gerelateerd aan kanker’); (d) voorwaardelijke causaliteit (‘wijn zou kanker kunnen veroorzaken’); (e) mogelijke causaliteit (‘wijn kan kanker veroorzaken’); en (f) causaliteit (‘wijn veroorzaakt kanker’). We constateerden overdrijving wanneer een onderdeel van de keten studie-persbericht-nieuwsbericht een hogere code kreeg dan het voorafgaande deel of de voorafgaande delen.”
Hoewel het artikel niet beschrijft wat onder een ‘hogere code’ werd verstaan, nemen we aan dat men de hiërarchie f>e>d>c>b>a hanteerde. Indien dit zo is, is ons bezwaar tegen deze methode dat voor de stelling “expliciet geen relatie” (minstens) even sterk (statistisch) bewijs nodig is als voor de stelling “causaliteit”. ‘Evidentie voor (expliciet) geen relatie’ is immers niet hetzelfde als ‘geen evidentie voor een relatie’. Het laatste wordt meestal geconcludeerd bij een p-waarde > 0.05, ongeacht de grootte van het verschil, terwijl voor de eerste claim het verschil heel klein én het betrouwbaarheidsinterval nauw dient te zijn. De volgorde (b=f)>(a=c)>(d=e) ligt volgens ons meer voor de hand. Mogelijk lopen twee concepten door elkaar heen: statistische precisie (a, c) en een studiedesign dat causaliteitsoordelen acceptabel(er) maakt (b, f). Als wij gelijk hebben, is heranalyse van de gegevens waarschijnlijk de aangewezen weg.
Sjoerd Ritsma (co-assistent, AUMC, locatie Meibergdreef)
Dr. Gerben ter Riet (arts-epidemioloog, Hogeschool van Amsterdam, ACHIEVE center & AUMC (locatie Meibergdreef), afdeling cardiologie)
reactie auteurs
Wij danken de heren Ritsma en Ter Riet voor hun reactie. De analyse van persberichten vraagt om methoden die ook bij kritische beschouwing overeind blijven. Ook hier schuilt, op een andere manier, het gevaar van overdrijving. In ons artikel kijken we naar de overdrijving van in het oorspronkelijke wetenschappelijke artikel aangegeven relaties, in op dat artikel gebaseerde pers- en nieuwsberichten. We doen dat op dezelfde manier als dat gebeurt in de bij ons artikel gerefereerde eerdere studies van Sumner et al. Daar komt de gepresenteerde ordening vandaan. Inderdaad heeft die ordening een hiërarchie, maar hij is niet ordinaal. De afstanden tussen de verschillende stappen zijn kwalitatief niet gelijk en o.m. dat beperkt de mogelijkheden om precieze uitspraken te doen, hoe graag ook wij dat wellicht ook zouden willen. Dank voor de suggesties. Meer in detail het volgende:
* Classificatie (a) is zeker niet gelijk aan (c), omdat (a) eigenlijk zou moeten zijn 'geen relatie genoemd'. Dit is een categorie die niet te overdrijven valt, omdat er niets genoemd wordt dat kan worden overdreven.
* Gebaseerd op een vervolgartikel van Adams, Sumner et al (1) uit 2017, hebben wij inmiddels in een heranalyse (2) (c) en (d) samengevoegd in plaats van uw suggestie te volgen (d) en (e) samen te voegen. Adams et al. vonden namelijk wel een verschil in perceptie van de lezers tussen (d) en (e). De samenvoeging (c) en (d) had in ons geval slechts effect op één persbericht, dat daardoor in de nieuwe analyse niet overdreven is, waar het dat eerst wel was. Dat zou een gering effect op onze conclusies hebben, omdat er juist aan dit (nu “niet overdreven”) persbericht geen nieuwsberichten verbonden waren.
* In dit soort studies wordt puur gekeken wordt naar hoe de sterkte van de relatie wordt overdreven, daarom staat (b) in deze ordening een heel stuk onder (f). Zoals Ritsma en ter Riet terecht opmerken kan er inderdaad nog veel meer mis gaan dan de vormen van overdrijving die wij in onze vorig jaar in NTvG gepubliceerde studie hebben onderzocht.
* Al onze gegevens zijn open source data3, net als die van de eerdere Britse studies. Wij houden ons aanbevolen voor experimenten met andere analyses die anderen willen doen, gebaseerd op onze data.
Mattijs Numans,
Francien Bossema,
Ionica Smeets,
Peter Burger,
Joop Schat
1. Adams RC, Sumner P, Vivian-Griffiths S, Barrington A, Williams A, Boivin J, Chambers CD, Bott L. How readers understand causal and correlational expressions used in news headlines. J Exp Psychol Appl. 2017 Mar;23(1):1-14.
2. Bossema FG, Burger P, Bratton L, Challenger A, Adams RC, Sumner P, Schat J, Numans ME, Smeets I. Improving the quality of health news: the relation between expert quotes and exaggeration - a study in the United Kingdom and The Netherlands. In press, Wellcome Open Research.
3. Schat, J., Bossema, FG, Numans, ME, Smeets, I, Burger,P. Medisch nieuws in de media. DANS 2017. https://doi.org/10.17026/dans-z9w-h6pn