De praktijk van systematische reviews. II. Zoeken en selecteren van literatuur

Zie ook het artikel op bl. 653.

In een systematische review worden alle onderzoeken betreffende een expliciete vraagstelling op inzichtelijke wijze samengevat. Een systematische review kan worden opgevat als een vorm van empirisch onderzoek met als onderzoekseenheden ‘onderzoeken’, hetgeen in de praktijk meestal neerkomt op publicaties over onderzoeken.1 Zoals voor iedere vorm van empirisch onderzoek, zijn ook voor systematische reviews de afgelopen jaren conventies ontstaan waar de reviewer zich bij voorkeur aan dient te houden,23 hoewel men door tijd- en middelengebrek soms van het ideaalbeeld moet afwijken.

In dit artikel beschrijven wij de diverse stappen van de systematische review. Deze stappen worden, net als bij patiëntgebonden onderzoek, bij voorkeur vooraf in een protocol vastgelegd (tabel 1).1 Het resulterende artikel moet voldoen aan dezelfde eisen wat betreft transparantie en reproduceerbaarheid als patiëntgebonden onderzoek.1 Voor het zoeken en het selecteren van publicaties moeten de stappen voldoende uitgebreid beschreven zijn om eventuele bronnen van vertekening (‘bias’) in dit proces te kunnen identificeren en de invloed van eventuele bias op de uitkomsten te kunnen inschatten.4 5 Het komt de kwaliteit van het reviewproces ten goede wanneer dit protocol vooraf aan ‘peer review’ wordt onderworpen, zoals binnen de Cochrane Collaboration gangbaar is.3

zoeken van literatuur

Zoeken in een elektronisch literatuurbestand

Het praktische startpunt van een systematische review is een zoekactie in bij voorkeur meerdere elektronische literatuurbestanden (tabel 2). In de meeste medische bibliotheken in Nederland is Medline aanwezig.6 Ook is Medline via het Internet op diverse gratis ‘websites’ te raadplegen.7 Een zoekstrategie voor een elektronisch literatuurbestand komt rechtstreeks voort uit de vraagstelling van de systematische review en bevat zoektermen die verwijzen naar de aandoening en de interventie die onderwerp zijn van de review, eventueel aangevuld met zoektermen die samenhangen met het echelon (bijvoorbeeld bedrijfsgezondheidszorg) en het onderzoekstype (bijvoorbeeld ‘randomized clinical trial’; RCT).4 Een voorbeeld van een zoekactie wordt gegeven in tabel 3.

Een zoekactie bestaat in de regel uit een combinatie van trefwoorden (in Medline ‘Mesh headings’ genoemd) en vrije tekstwoorden (‘free text words’).4 6 Men dient bij voorkeur een zoekstrategie op te stellen waarmee men zo volledig mogelijk de in het bestand geïndexeerde artikelen identificeert (die dus een hoge ‘sensitiviteit’ heeft). Omdat de indexering van literatuurbestanden niet altijd adequaat en consequent is, verdient het aanbeveling om naast een combinatie van een ruim aantal verwante trefwoorden ook nog gebruik te maken van vrije tekstwoorden, waarmee men in de titel en samenvatting van artikelen kan zoeken. Door middel van ‘truncation’ kan men op efficiënte wijze verschillende uitgangen van dezelfde stam terugvinden: met bijvoorbeeld ‘inject$’ wordt naar zowel ‘injection’ en ‘injections’ als ‘injected’ gezocht. Net als bij diagnostisch onderzoek gaat een hogere sensitiviteit in de regel samen met een lagere specificiteit.8 De specificiteit van de zoekstrategie kan men verhogen door deze zo goed mogelijk op de vraagstelling en de methode van de review te laten aansluiten. Het toevoegen van een goed gedefinieerde zoeksleutel voor onderzoekstype, bijvoorbeeld RCT, voorkomt veel overbodige treffers. Een voorbeeld van een zoekstrategie voor RCT's in Medline (injectietherapie bij tenniselleboog) staat in het onderste deel van tabel 3 (stap 22-43).69 Ook voor andere onderzoekstypen, zoals diagnostische onderzoeken en systematische reviews zelf, zijn dergelijke zoekstrategieën ontwikkeld. 1011

Verdere stappen in de zoekactie

Door de ruime beschikbaarheid van Medline ligt het voor de hand de zoekactie hiermee te beginnen. Dit is voor een systematische review echter geenszins afdoende. Diverse onderzoeken laten zien dat ervaren literatuuronderzoekers in Medline slechts 17-82 van de beschikbare RCT's kunnen opsporen.8 Voor andere typen onderzoek is de oogst waarschijnlijk nog geringer. Het tijdschriftenbestand dat door EMBASE-Excerpta Medica wordt gedekt, is voor een substantieel deel complementair aan Medline, onder andere doordat EMBASE-Excerpta Medica meer op farmacotherapie is gericht en ook meer Europees georiënteerd is.6 Afhankelijk van het onderwerp is de mate van overlap in geïdentificeerde onderzoeken 10 tot 75.3 Een lege artis uitgevoerde zoekactie behoort derhalve tenminste beide bestanden te beslaan. Aangezien de trefwoorden in de verschillende elektronische bestanden soms sterk verschillen, moet men per bestand een aparte zoekstrategie ontwikkelen.

In aanvulling op deze bestanden wordt voor het identificeren van RCT's sterk aanbevolen ook in het Cochrane Controlled Trial Register in de Cochrane Library te zoeken.12 Dit bestand is ontstaan uit het initiatief om wereldwijd alle medische en paramedische tijdschriften handmatig op RCT's te onderzoeken. Hoewel deze onderneming nog lang niet is afgerond,13 en ook de indexering nog verre van volledig is, kan een zoekactie in dit bestand soms toch verrassende vondsten opleveren.

Het is gangbaar om de referenties van de opgevraagde relevante publicaties na te gaan. Ook kan men hiertoe gericht, aanvullend op de primaire zoekactie op onderzoekstype (bijvoorbeeld RCT's), een secundaire zoekactie ondernemen om reviews en behandelrichtlijnen, vaak een dankbare bron van referenties, te identificeren. Beide hebben in Medline een aparte aanduiding als ‘publicatietype’. Eerder verschenen (systematische) reviews over hetzelfde onderwerp kunnen worden opgespoord met speciaal ontwikkelde sensitieve zoekacties.11 Tevens kan er gezocht worden in de York Database of Abstracts of Reviews of Effectiveness, die ook in de Cochrane Library opgenomen is.14

Afhankelijk van het onderwerp kan overwogen worden om nog andere onderwerp- of professiespecifieke elektronische bestanden te raadplegen. Een overzicht van de gangbaarste is te vinden in een BMJ-artikel van Greenhalgh.6 In Cinahl bijvoorbeeld ligt de nadruk meer op tijdschriften die van belang zijn voor verpleegkunde en andere paramedische beroepen, terwijl de focus van het eveneens veelvuldig geraadpleegde PsycLit meer op psychologie en psychiatrie is gericht.

Hiernaast zijn er nog stappen die niet altijd worden gevolgd, maar die vaak toch nog aanvullende onderzoeken kunnen opleveren. Voor het zoeken in de Science Citation Index, ook als elektronisch bestand (SciSearch) beschikbaar, identificeert men eerst een aantal frequent geciteerde sleutelpublicaties (bijvoorbeeld belangrijke RCT's of reviews). In de Science Citation Index kan men vervolgens artikelen opsporen waarin deze geselecteerde sleutelpublicaties geciteerd worden. Aangezien de indexering van artikelen in bijvoorbeeld Medline of EMBASE-Excerpta Medica soms enige maanden kan duren, kan men voor de recentste publicaties nog zoeken in Current Contents, die ook als elektronisch bestand beschikbaar is.

Andere, arbeidsintensievere, methoden zijn het zelf handmatig doorzoeken van belangrijke tijdschriften en symposiumverslagen, het aanschrijven van experts en (indien van toepassing) fabrikanten, en het raadplegen van trialregisters. Mulrow en Oxman alsook Dickersin hebben voorbeelden van trialregisters gepubliceerd.3 15

Kwaliteitscontrole op de zoekactie in een elektronisch literatuurbestand

Vaak zijn er bij het formuleren van de initiële zoekstrategie al enige artikelen bekend die zeker aan de inclusiecriteria voor de review voldoen. Het is dan zinvol om in het betreffende bestand na te gaan welke trefwoorden aan het betreffende artikel zijn toegekend en deze op te nemen in de te formuleren zoekstrategie.

Hiernaast kan men na afronding van de initiële zoekactie nagaan of er via de aanvullende zoekacties (zie tabel 2) nog relevante publicaties zijn gevonden die eigenlijk ook via de initiële zoekstrategie hadden moeten worden geïdentificeerd, omdat het tijdschrift in het betreffende jaar in het bestand was opgenomen.16 Indien aan de hand van deze ‘kwaliteitscontrole’ blijkt dat de initiële zoekactie onvolledig is geweest, dan valt te overwegen om de relevante trefwoorden behorende bij de ontbrekende publicaties alsnog aan de zoekactie toe te voegen en de zoekactie opnieuw uit te voeren.

selectie van onderzoeken

De selectie van onderzoeken voor opname in een systematische review kan de uiteindelijke conclusies in belangrijke mate sturen.17 18 Daarom is het van belang dat beslissingen van de reviewers reproduceerbaar, objectief en expliciet zijn. Wetenschappelijk onderzoek naar het nut van diverse maatregelen om dit te bereiken is echter vrijwel niet aanwezig.5 Keuzen betreffende de grondigheid van het selectieproces hangen in de praktijk vaak af van de beschikbare tijd en middelen (zie tabel 1).

In- en exclusiecriteria

Voor de selectie dient, gebaseerd op de vraagstelling van de review, een lijst met in- en exclusiecriteria voor opname van publicaties in de review opgesteld te worden (zie tabel 1). De in- en exclusiecriteria zijn deels dezelfde als die welke onder de zoekactie zijn genoemd (aandoening en interventie), afhankelijk van de vraagstelling aangevuld met bijvoorbeeld het type controle-interventie, type uitkomstmaten, minimale follow-upduur, type onderzoek en mogelijk ook setting. In de fase van selectie moet het resultaat van een brede, sensitieve zoekactie worden omgezet in een beperkte set van bruikbare, op de vraagstelling toegesneden, publicaties. Een zoekactie kan soms enige honderden treffers opleveren. In veel gevallen is aan de hand van de titel al duidelijk dat een publicatie niet aan de inclusiecriteria voldoet. Wanneer dat niet uit de titel blijkt, kan men vaak aan de hand van de samenvatting (‘abstract’) in het elektronische bestand een beslissing nemen of de publicatie wel of niet in aanmerking komt voor opname in de review. Van de twijfelgevallen en de potentieel op te nemen onderzoeken wordt in ieder geval de volledige publicatie opgevraagd. Bij voorkeur zouden tenminste 2 reviewers het resultaat van de zoekacties in de verschillende literatuurbestanden onafhankelijk van elkaar op de in- en exclusiecriteria moeten beoordelen. Gangbaar is om in elk geval de twijfelgevallen en de potentieel op te nemen publicaties door 2 reviewers onafhankelijk van elkaar te laten beoordelen. Hiertoe moet een procedure worden afgesproken om de resultaten te vergelijken (bij voorkeur tijdens een consensusbespreking) en om resterende verschillen van mening op te lossen (bijvoorbeeld door een derde reviewer te vragen de knoop door te hakken).

beheer

Het verdient aanbeveling om voor ieder onderzoek een gestandaardiseerd formulier in te vullen met daarop de ‘lotgevallen’: herkomst (naam bestand of omschrijving van de aanvullende zoekactie) en beslissingen rondom selectie of uitsluiting (tabel 4).

Voor een systematische review van enige omvang is beheer van de artikelenstroom dermate omvangrijk dat het gebruik van een bibliografisch programma zoals Pro-Cite of Reference manager overwogen dient te worden. 1920 Hierin kunnen de referenties met eventuele samenvattingen van wel en niet opgenomen artikelen direct, dus zonder overtypen, vanuit de elektronische bestanden, zoals Medline, EMBASE-Excerpta Medica, worden overgezet en opgeslagen. Tevens kan men hierin ook per artikel gegevens over het zoek- en selectieproces toevoegen, bijvoorbeeld hoe de referentie is opgespoord en of het artikel al is aangevraagd of gearchiveerd (zie tabel 4).

methodologische afwegingen bij zoeken en selecteren

Taalrestricties

In reviews wordt de inclusie vaak beperkt tot publicaties in de talen die de reviewers zelf machtig zijn (meestal het Engels). De kwaliteit van niet-Engelstalige RCT's blijkt echter niet van die van Engelstalige te verschillen.21 Egger et al. vergeleken de uitkomsten van Duitstalige publicaties van RCT's van Duitse, Oostenrijkse en Zwitserse onderzoekers met Engelstalige publicaties van andere RCT's, maar van dezelfde onderzoekers.22 Hieruit bleek dat een Engelstalige publicatie een bijna 4 maal zo grote kans op een significant verschil in uitkomst had als een Duitstalige. Blijkbaar hebben niet-Engelstalige RCT's vaker een negatief resultaat. Gregoire et al. toonden in overeenstemming hiermee aan dat de uitkomst van een review kan afhangen van beperkingen in taal (de zogenoemde ‘Tower of Babel bias’).23 Wij ontraden derhalve het hanteren van taalrestricties. In de praktijk levert het opvolgen van dit advies echter problemen op, omdat een vertaler duur en vaak niet inhoudsdeskundig is. Internationale samenwerking met anderstaligen, bijvoorbeeld in het kader van de Cochrane Collaboration, kan hierbij uitkomst bieden.13 Ook valt te denken aan buitenlandse studenten en collega's die kunnen helpen met het selecteren en beoordelen van anderstalige onderzoeken.

Ongepubliceerde onderzoeken

Niet alle onderzoeken worden uiteindelijk als volledig artikel gepubliceerd. Uit onderzoek blijkt dat in het publicatieproces selectie optreedt, leidend tot ‘publicatiebias’. In de regel hebben kleine onderzoeken zonder een significant verschil in uitkomst een grote kans om nooit gepubliceerd te worden. Deze bias is zowel aangetoond voor onderzoeken die nooit in enige vorm zijn gepubliceerd, als voor onderzoeken die alleen als abstract zijn gepubliceerd.24 25 Een vaak gesuggereerde oplossing is een uitgebreide zoektocht naar ongepubliceerde onderzoeken, waarbij de oorspronkelijke onderzoekers van opgespoorde onderzoeken gevraagd kan worden om hun ongepubliceerde materiaal ter beschikking te stellen.26

Een belangrijk onderdeel van het publicatieproces is peer review als kwaliteitscontrole. Om deze reden blijkt er met name bij hoofdredacteuren van tijdschriften weerstand te bestaan tegen het opnemen van ongepubliceerd materiaal in systematische reviews.27 Publicatie van ongepubliceerd materiaal zal dus steeds samen moeten gaan met een uitgebreide methodologische beoordeling door de reviewers. Het traceren en beschikbaar krijgen van ongepubliceerde onderzoeken kunnen echter eveneens tot selectie leiden, omdat onderzoekers de mogelijkheid hebben om resultaten selectief aan te bieden (‘presentatiebias’).24 De interpretatie van gegevens van ongepubliceerde onderzoeken is niet eenvoudig. Vooralsnog lijkt de aantrekkelijkste oplossing wel naar ongepubliceerd materiaal te zoeken en vervolgens de analysen met en zonder de ongepubliceerde gegevens uit te voeren.27 Indien de uitkomsten van deze analysen aanzienlijk verschillen, dan is voorzichtigheid in de interpretatie van de review geboden.

Referentiebias

Het is bekend dat onderzoeken met een positief resultaat een grotere kans hebben om in andere publicaties te worden gerefereerd, hetgeen tot bias kan leiden (‘referentiebias’).28 29 Als gevolg hiervan kan bij het screenen van referenties een relatieve oververtegenwoordiging van positieve onderzoeken ontstaan. Of dit ook daadwerkelijk het geval is en wat de mogelijke invloed is op de uitkomsten van een review, is nooit onderzocht. Derhalve is er vooralsnog geen aanleiding om deze zoekstrategie te ontraden.

Geblindeerde selectie

Indien een reviewer auteursnamen, werkplek (instituutsnaam) of tijdschrift herkent, dan kan dit invloed hebben op de beslissing om een onderzoek al dan niet voor de review te selecteren. Ook de resultaten van een onderzoek kunnen het selectieproces beïnvloeden. Sommige reviewers overwegen derhalve blindering van de artikelen voor één of meer van deze kenmerken (bijvoorbeeld door middel van doorhaling met stift of witte correctievloeistof) om de selectie nog objectiever te maken. Aangezien relevante informatie behalve in de methodenparagraaf vaak ook nog in de resultaten- en beschouwingparagraaf verspreid staat, is adequate blindering ten behoeve van (definitieve) selectie vaak een bijzonder tijdrovende bezigheid. Clinici of onderzoekers met bijzondere belangstelling voor een bepaalde aandoening of interventie (‘experts’) hebben soms reeds vastomlijnde ideeën over de werkzaamheid van bepaalde interventies. Aangezien experts, en degenen die reviews schrijven zijn dat vaak, het lettertype en de opmaak van de in het vakgebied gangbare tijdschriften herkennen, wordt soms het inlezen van de tekst met een scanner en het in een neutraal lettertype en standaardopmaak reproduceren van artikelen overwogen.30 Echter, dan nog zal een expert de ‘klassiekers’ op zijn vakgebied vaak eenvoudig kunnen herkennen. Er is geen onderzoek bekend naar het effect van geblindeerde selectie. Ondanks de mogelijk theoretische voordelen is geblindeerde selectie in de praktijk nauwelijks haalbaar. Om selectiebias te beperken wordt wel aangeraden om de selectie door tenminste 2 reviewers onafhankelijk van elkaar te laten doen, en hierbij tenminste 1 niet-expert te betrekken.

conclusie

Het zoeken naar en het selecteren van onderzoeken voor systematische reviews zijn in toenemende mate aan conventies gebonden. Gezien de complexiteit hiervan verdient het de voorkeur vooraf een gedetailleerd protocol op te stellen en daarin de diverse stappen vast te leggen. De grondigheid van het zoeken en het selecteren hangt deels af van de beschikbare tijd en financiële middelen. Het gebruik van een standaardformulier en het opslaan van artikelen in een bibliografisch computerprogramma kunnen het zoeken en het selecteren beheersbaar houden. Een heldere, volledige en reproduceerbare beschrijving van het zoeken en het selecteren is een noodzakelijk onderdeel van een systematische review.