De valkuil van zoeken op internet

Patiënt A, een vrouw van 66 jaar, wordt opgenomen met onverklaarde rabdomyolyse. Zij gebruikt onder meer indapamide. De dienstdoende arts-assistent zoekt op PubMed naar een verband: de zoekopdracht levert 5 hits op. Er is inderdaad casuïstiek beschreven. Indapamide wordt gestopt en voor in het vervolg geregistreerd als gecontra-indiceerd.

Patiënt B, een vrouw van 42 jaar, komt op de polikliniek Interne Geneeskunde voor controle van haar diabetes mellitus type 2. Zij blijkt sinds twee dagen een eruptie van pustels in het gelaat te hebben. Het laboratoriumonderzoek laat een eosinofilie van 1,4 x 109/l (referentiewaarden: < 0,4 x 109/l) zien. Haar behandelend arts zoekt online: de zoekopdracht levert 315 PubMed-hits op en hij stelt de werkdiagnose ‘eosinofiele folliculitis’.

Het is een goede gewoonte van clinici om bij het stuiten op een onverwachte combinatie van ziektes, behandelingen of symptomen, te zoeken of de betreffende combinatie eerder is beschreven in de literatuur. Deze gewoonte is zo oud als de medische literatuur zelf, maar vormt zeker ook onderdeel van de moderne evidencebased praktijk. We doen een vluchtige online zoektocht, of zelfs een volledig uitgewerkte ‘critically appraised topic’ (CAT). Online zoekmachines zijn hiervoor onmisbaar geworden. De toenemende toegankelijk en effectiviteit van medische – bijvoorbeeld PubMed – en niet-medische zoekmachines – bijvoorbeeld Google – leert ons aan dat schijnbaar alle antwoorden binnen handbereik zijn – op zichzelf een positieve ontwikkeling. Maar ongebreideld gebruik van zoekmachines kent ook nadelen.

Vervolg patiënt A Kort na de opname blijkt de PCR-test van een keeluitstrijk positief voor influenza A. Desgevraagd had de patiënte kort voor opname bijpassende klachten doorgemaakt. Bovendien had de patiënte geen hypokaliëmie, het veronderstelde mechanisme van de beschreven rhabdomyolyse bij indapamide. De diagnose ‘influenza-geassocieerde rabdomyolyse’ wordt gesteld, een zeldzame maar bekende complicatie van een influenza A-infectie.

Vervolg patiënt B De patiënte wordt verwezen naar de dermatoloog. Het klinisch beeld is acne medicamentosa. De patiënte blijkt kort geleden te zijn begonnen met een oraal anticonceptivum combinatiepreparaat, wat inderdaad vaak acne veroorzaakt. De werkdiagnose van eosinofiele folliculitis komt te vervallen.

Een gemiddelde zoekopdracht in medische zoekmachines als PubMed levert bijna altijd resultaten op, ongeacht of de ingevoerde zoektermen een plausibel verband hebben. Voorbeelden van schijnbaar onbenullige associaties op PubMed zijn gemakkelijk gevonden: cystische fibrose en ehlers-danlossyndroom,1 darmmicrobioom en enkelbandletsel,2 lijnzaadolie en het antifosfolipidensyndroom.3

Er wordt jaarlijks circa een miljoen nieuwe artikelen geïndexeerd in MEDLINE, en dit aantal groeit exponentieel.4 Het bekende fenomeen van publicatiebias maakt dat deze medische informatie niet altijd een goede afspiegeling is van de werkelijkheid. Een opvallende combinatie van aandoeningen of symptomen bij een patiënt of een nieuwe klinische correlatie wordt al snel gepubliceerd als casuïstische beschrijving of patiëntenserie. Terwijl een negatieve studie, waarin geen verband wordt gevonden of de hypothese niet klopt, minder kans maakt op publicatie.5,6 Een onverklaard symptoom wordt gemeld als bijwerking bij een patiënt die een nieuw of zeldzaam geneesmiddel gebruikt, maar hoe vaak zou datzelfde symptoom niet voorkomen bij mensen die het middel niet gebruiken? Bovendien zijn er excessen, zoals de opkomst van ‘predator journals’,7 en zelfs computergegenereerde onzinartikelen, met als doel het frauduleus ophogen van citatiescores.8

Toename tijdens covid-19-pandemie

De covid-19-pandemie heeft deze problemen nog eens uitvergroot. Tijdens deze periode nam het aantal medische publicaties met 60% toe; de grootste stijging ooit. Tegelijkertijd werd de publicatiebias verergerd doordat redacties minder rigoureuze peerreview en redactionele bewerking accepteerden, in het belang van snelle disseminatie van de nieuwste gegevens over covid-19.9 De snelheid van de wetenschappelijke ontwikkeling was een indrukwekkend succesverhaal. Maar het leidde ook tot meer dubieuze publicaties over bijvoorbeeld de invloed van covid-19 op familiare hypercholesterolemie,10 wel of geen verminderde spermatogenese na covid-19-vaccinatie,11 en de mogelijke effectiviteit van kippensoep tegen covid-19.12

Tegen deze achtergrond van wildgroei aan medische publicaties en het verstorende effect van publicatiebias, heeft onze toenemende neiging om alles in een zoekmachine in te voeren het risico op het leggen van verbanden die er in werkelijkheid niet zijn. Veel correlaties zijn ooit beschreven, deels doordat op basis van toeval zeldzame aandoeningen samen kunnen voorkomen. Wat je ook zoekt, de kans is groot dat je het vindt.

Deze situatie heeft eerder geleid tot de stelling van een van de auteurs dat voor werkelijk alles een associatie te vinden is in PubMed. Als men twee totaal ongerelateerde aandoeningen in PubMed intypt, is de kans groot dat je een aantal artikelen vindt.13 Dit zal voor veel praktiserende clinici gevoelsmatig kloppen. Maar, het is in wezen een toetsbare hypothese. Om dit wetenschappelijk te staven, hebben wij de stelling recent onderzocht in een studie gepubliceerd in het European Journal of Internal Medicine.14

Onderzoeksopzet

De studie behelsde 30.000 volstrekt willekeurige zoekopdrachten in PubMed. De zoekopdrachten hadden de vorm: “zoekterm”[title/abstract] AND “zoekterm”[title/abstract]. De combinatie van zoektermen bestonden uit de categorieën ‘ziekte’ en ‘ziekte’, ‘ziekte’ en ‘symptoom’ of ‘symptoom’ en ‘medicijn’, de laatste als generieke zoekstrategie naar bijwerkingen.

De bronnen voor de individuele zoektermen waren de volgende openbaar beschikbare databestanden. Voor ziektes gebruikten we een lijst van 362 aandoeningen van NHS Inform, de nationale gezondheidsinformatie dienst van Schotland. Voor symptomen gebruikten we circa 14.000 unieke bijwerkingen gerapporteerd aan het U.S. Food and Drug Administration Adverse Events Reporting System in het derde kwartaal van 2022. En voor medicijnen gebruikten we alle 876 geneesmiddelen die momenteel zijn goedgekeurd door het Europees Geneesmiddelenbureau (EMA) voor gebruik bij mensen. Uit deze lijsten werden telkens op geautomatiseerde en willekeurige wijze termen geselecteerd en ingevoerd in PubMed in de genoemde combinaties.

Het aantal zoekresultaten was de uitkomst. Het grote aantal herhalingen, 10.000 per categorie, en de willekeurige selectie uit uitgebreide lijsten van vooraf ongerelateerde zoektermen, creëerden als het ware de achtergrondfrequentie van aantal PubMed-hits. Een kanttekening is dat dit niet een steekproevenverdeling is van zoektermen in de frequenties zoals PubMed-gebruikers die daadwerkelijk invoeren, maar op willekeurige wijze geselecteerd. Alle gebruikte aandoeningen zijn wel veelvoorkomend.

Resultaten

De resultaten zijn onder meer uit te drukken in histogrammen – zie hiervoor het oorspronkelijke artikel – en als het 95e percentiel van het aantal zoekresultaten. Die 95e percentielen met de bijbehorende interpretatie staan weergegeven in tabel 1. Het betrof 4 zoekresultaten voor een zoekopdracht naar een ziektebeeld en een symptoom, 80 voor twee ziektebeelden, en 3 voor een symptoom en medicatie. Dat betekent bijvoorbeeld dat als gezocht wordt naar de correlatie tussen twee ziektebeelden, de zoekopdracht op basis van toeval al 95% kans heeft om tot 80 hits – dus tussen 0 en 80 – te produceren. Slechts 5% van dergelijke zoekopdrachten levert meer dan 80 resultaten op. Respectievelijk 88%, 64% en 90% van de zoekopdrachten leverden geen resultaten op. Daartegenover staat dat de kans op het vinden van meer dan 4 hits bij een combinatie van twee ziektes 20% is.

Tabel

Achtergrondfrequentie van aantal zoekresultaten in PubMed

Resultaten van 30.000 willekeurige zoekopdrachten, en interpretatie.

Bovendien hebben we onze reeds gepubliceerde analyse aangevuld met een vierde categorie, waarin we de selectie beperkten tot 20 door ons gekozen veelgebruikte geneesmiddelen en 20 veelvoorkomende symptomen. In deze analyse – weliswaar slecht generaliseerbaar vanwege de handmatige selectie – levert 59% van de willekeurige zoekopdrachten resultaten op, en is de kans 20% op het vinden van meer dan 23 hits, opnieuw met vooraf ongerelateerde zoektermen. De data lijken de stelling dus wel te ondersteunen: welk verband je ook zoekt in de medische zoekmachines, de kans is groot dat je iets vindt.

Beschouwing

Uiteindelijk leveren ook veel zoekopdrachten geen hits op. Maar veruit de meeste ziektebeelden, symptomen en geneesmiddelen, hebben in werkelijkheid niets met elkaar te maken. Het feit dat je met totaal willekeurige combinaties aan zoektermen toch vaak resultaten vindt, suggereert dat er niet-bestaande verbanden worden gerapporteerd, waarvan een deel zich laat verklaren door publicatiebias.

Uiteraard staat een grondige beoordeling van individuele studies die uit een zoekopdracht komen nog steeds centraal, temeer daar wij de resultaten van onze geautomatiseerde zoekopdrachten niet beoordeeld hebben op relevantie. Een deel van de gevonden verbanden in deze willekeurige zoekopdrachten zal wel degelijk relevant zijn. Een ander deel zal wel beide termen bevatten maar geen verband claimen.

Conclusie

Evengoed roepen de data wat ons betreft op tot een kritische houding naar mogelijke correlaties die we vinden met medische zoekmachines. Enkele hits op PubMed betekenen op voorhand geenszins dat er een echt verband is. Dit is niet bedoeld als aanzet tot pessimisme over de staat van de medische literatuur; wel is het een pleidooi om mogelijke klinische correlaties in de literatuur extra zorgvuldig te beoordelen. Met andere woorden: als we schijnbare klinische correlaties uit de praktijk besluiten na te gaan met een zoekmachine, moet de nadruk liggen op de critical appraisal van de zoekresultaten. Dit is een vaardigheid die studenten geneeskunde terecht krijgen aangeleerd, maar die gedurende de medische carrière ook onderhouden moet worden.

Figuur