Geneesmiddeladvertenties in het NTvG en het Pharmaceutisch Weekblad: niet altijd evidencebased

Inleiding

In 1992 is de betrouwbaarheid van geneesmiddeladvertenties in medische tijdschriften voor het eerst beschreven.1 De farmaceutische industrie onderbouwt advertenties regelmatig met wetenschappelijke referenties, mogelijk om de geloofwaardigheid te vergroten. Eerder onderzoek in internationale tijdschriften laat zien dat de betrouwbaarheid van geneesmiddeladvertenties vaak tegenvalt. Zo bleek uit een in The Lancet gepubliceerde studie naar de kwaliteit van advertenties voor antihypertensiva en cholesterolverlagende middelen in 6 Spaanse medische tijdschriften, dat slechts 56% van de claims werd ondersteund door het onderzoek waarnaar werd verwezen.2 In een vergelijkbare studie werd de kwaliteit van geneesmiddeladvertenties in 9 toonaangevende internationale medische tijdschriften onderzocht.3 Deze studie wees uit dat slechts 22% van de gerefereerde gerandomiseerde onderzoeken (RCT) van hoge kwaliteit was, de claims van de advertentie ondersteunde en niet werd gesponsord door de farmaceutische industrie. Een 3e studie naar de kwaliteit van geneesmiddeladvertenties in een reumatologisch tijdschrift vond vergelijkbare resultaten.4 Onduidelijk is of de bevindingen uit eerdere studies ook van toepassing zijn op geneesmiddeladvertenties in Nederlandse medische tijdschriften.

Apothekers Onderzoek naar de betrouwbaarheid van geneesmiddeladvertenties in tijdschriften voor apothekers is nooit eerder gepubliceerd. Aangezien apothekers tijdens een farmacotherapeutisch overleg artsen voorlichten over nieuwe inzichten op het gebied van medicatie, is de betrouwbaarheid van advertenties in tijdschriften voor apothekers belangrijk. Daarnaast valt te verwachten dat apothekers zich vanwege hun brede kennis van medicatie kritischer opstellen bij het lezen van een geneesmiddeladvertentie dan artsen. Het is onbekend of de farmaceutische industrie hier rekening mee houdt en advertenties met een hogere kwaliteit aanbiedt aan tijdschriften voor apothekers. De betrouwbaarheid van geneesmiddeladvertenties voor artsen en voor apothekers zijn immers niet eerder vergeleken.

Wij onderzochten de betrouwbaarheid van geneesmiddeladvertenties in een Nederlands tijdschrift voor artsen (Nederlands Tijdschrift voor Geneeskunde; NTvG) en in een Nederlands tijdschrift voor apothekers (Pharmaceutisch Weekblad; PW) en vergeleken die met elkaar. Zo wilden wij meer inzicht krijgen in de betrouwbaarheid van geneesmiddeladvertenties en de verschillen tussen advertenties voor artsen en die voor apothekers.

Materiaal en methoden

Uit de jaargangen 2006 en 2007 van het NTvG en het PW werden alle unieke geneesmiddeladvertenties met minimaal 1 claim geïncludeerd door docenten van het onderwijsblok Wetenschappelijke Vorming, dat werd gegeven tijdens het 2e jaar van de studie geneeskunde in het LUMC. Een claim werd gedefinieerd als een uitspraak over de werkzaamheid van een geneesmiddel. Wanneer referenties bij de geneesmiddeladvertenties vermeld stonden, werden deze opgezocht in Medline. Alleen advertenties met referenties naar RCT’s in Medline werden voor deze studie gebruikt. De bruikbare advertenties en bijbehorende RCT’s werden door 250 geneeskundestudenten van het onderwijsblok beoordeeld.

Beoordeling referenties: methodologische kwaliteit en validiteit

Studenten werden tijdens kleinschalige werkgroepen getraind in het kritisch lezen en beoordelen van RCT’s. Elke student kreeg vervolgens at random 2 RCT’s met bijbehorende geneesmiddeladvertenties toegewezen. De methodologische kwaliteit van elke RCT werd gescoord aan de hand van een gestandaardiseerde vragenlijst. Deze vragenlijst was samengesteld uit de Users’ Guides to the Medical Literature,5,6 en de Delphi-vragenlijst.7

Users’ Guides to the Medical Literature Open vragen uit de Users’ Guides to the Medical Literature werden gebruikt om studenten te stimuleren na te denken over de verschillende aspecten van het onderzoek en zodoende tot een goede inhoudelijke beoordeling van de RCT te komen.

Delphi-vragenlijst kwaliteit Vragen uit de Delphi-vragenlijst werden gebruikt om de methodologische kwaliteit van een RCT te scoren op basis van: wijze van randomisatie; blindering; controle van selectiebias. Dit deel van de vragenlijst bevatte 9 vragen met 3 keuzemogelijkheden: ‘ja’ (2 punten), ‘nee’ (0 punten) en ‘onbekend’ (1 punt). De uitersten van de kwaliteitsscore waren zodoende 0-18. Een artikel met een score van > 16 punten kreeg het predicaat ‘goed’. Hierdoor kon iedere ‘goede’ RCT ‘slecht’ scoren op 1 of ‘matig’ scoren op 2 methodologische aspecten.

Vragenlijst validiteit Een 2e gestandaardiseerde vragenlijst werd gebruikt om de validiteit van de advertentie te bepalen (tabel 1). Dit is de mate van overeenstemming tussen de claim in de advertentie en de informatie uit de gerefereerde RCT. De vragenlijst bestond uit 5 vragen over de studieopzet en behelsde studiepopulatie, controlegroep, interventie en uitkomst. De 2 antwoordmogelijkheden voor de overeenstemming waren ‘ja’ (2 punten) en ‘nee’ (0 punten), zodat de validiteitsscore varieerde van 0-10 punten. Bij een validiteitsscore van > 8 punten werd de claim ‘goed’ ondersteund door de bijbehorende RCT. De claim in de geneesmiddeladvertentie moest op minimaal 4 onderdelen overeenkomen met de RCT.

Beoordeling Elke RCT werd gemiddeld door 4 studenten (uitersten: 2-8) onafhankelijk van elkaar beoordeeld. De studenten waren geblindeerd voor de bron van de geneesmiddelenadvertentie. De advertenties werden meestal meerdere malen beoordeeld aangezien advertenties meerdere RCT’s als referentie konden aanhalen. Om de betrouwbaarheid van de gemiddelde kwaliteitsscore te vergroten werden sommige RCT’s nogmaals beoordeeld: wanneer de verschillende kwaliteitsbeoordelingen meer dan 5 punten van elkaar afweken en wanneer een RCT minder dan 2 maal beoordeeld was. Deze berekende kwaliteitsscore werd plenair in de onderzoeksgroep besproken om de interbeoordelaarsvariatie te verkleinen.

Analyse

Nadat alle kwaliteits- en validiteitsscores waren verkregen werden de beoordelingen van de 2 tijdschriften vergeleken. In een 2e analyse werden geneesmiddeladvertenties die in beide tijdschriften vóórkwamen geëxcludeerd, zodat alleen unieke advertenties overbleven. Voor de vergelijkingen werd gebruik gemaakt van een onafhankelijke t-toets in SPSS, versie 17.0 (SPSS Inc., Chicago, IL, USA).

Sensitiviteitsanalyse In de primaire kwaliteitsanalyse van de RCT’s werd zoals gezegd voor de keuzemogelijkheid ‘onbekend’ 1 punt gegeven. Aangezien de totale score zowel positief als negatief beïnvloed kon worden door deze ‘onbekende’ score, werden 2 sensitiviteitsanalyses gedaan. In deze analyses kregen ‘onbekende’ antwoorden respectievelijk óf 2 óf 0 punten.

Om de betrouwbaarheid van de kwaliteitsscores van de RCT’s te verbeteren, werd een aanvullende sensitiviteitsanalyse gedaan. Wanneer de kwaliteitsscores van verschillende beoordelaars meer dan 5 punten van elkaar verschilden werd de meest afwijkende score, de zogenaamde ‘uitschieter’, geëxcludeerd. Om dezelfde reden werd een sensitiviteitsanalyse van de validiteitsscores van de advertenties uitgevoerd. De advertenties met een score-spreiding van ≥ 6 punten werden daarbij geëxcludeerd.

Resultaten

In de jaargangen 2006 en 2007 van de 2 tijdschriften werden in totaal 337 geneesmiddeladvertenties gepubliceerd: 240 in het NTvG en 97 in het PW. Advertenties die meerdere malen gepubliceerd waren in een tijdschrift werden slechts 1 maal geïncludeerd. Ook werden alleen advertenties geïncludeerd als deze een claim met minimaal 1 in Medline traceerbare referentie naar een RCT bevatten. In totaal waren 150 RCT’s bruikbaar: 77 RCT’s behorende bij 24 advertenties in het NTvG (figuur 1) en 73 RCT’s bij 30 advertenties in het PW (figuur 2). Van deze advertenties kwam ongeveer de helft in beide tijdschriften voor. In totaal werden 512 studentbeoordelingen verkregen.

Kwaliteits- en validiteitsscore De gemiddelde kwaliteitsscore van de RCT’s in het NTvG en het PW verschilde 0,3 van elkaar (95%-BI: -0,1-0,7) (tabel 2). Van de RCT’s gerefereerd in het NTvG was 34% (26/77) van goede methodologische kwaliteit. In het PW was dat bij 36% (26/73) het geval. De RCT’s scoorden vooral slecht op de onderdelen ‘geheimhouding van groepstoewijzing’ (‘concealment of treatment allocation’) (51%; 77/150) en ‘geblindeerd analyseren van de uitkomsten’ (49%; 73/150). Het verschil tussen de validiteitsscores van de advertenties in het NTvG en het PW was 0,3 (95%-BI: -0,3-0,9). Van de advertenties in het NTvG en het PW was 13% (3/24) respectievelijk 17% (5/30) valide. Vooral de onderzochte patiëntenpopulatie en de controlegroep van de advertentie en de bijbehorende RTC’s kwamen in 73% (110/150) respectievelijk 82% (123/150) niet overeen, of werden niet beschreven.

Unieke geneesmiddeladvertenties Uit de aparte analyse waarin alleen unieke geneesmiddeladvertenties werden meegenomen, bleek dat de kwaliteitsscores van de RCT’s in het NTvG (n = 46) en het PW (n = 27) gemiddeld 0,3 van elkaar verschilden (95%-BI: -1,0-1,6). Het gemiddelde verschil tussen de validiteitsscores van de unieke geneesmiddeladvertenties in het NTvG (n = 11) en het PW (n = 16) was in deze analyse 0,4 (95%-BI: -1,0-1,9).

Sensitiviteitsanalyse Wanneer vragen beantwoord met ‘onbekend’ gelijk gewogen werden met vragen beantwoord met ‘ja’, bleef het verschil in kwaliteitsscores van de RCT’s tussen de 2 tijdschriften gelijk: 0,3 (95%-BI: -0,5-1,1). Wanneer vragen beantwoord met ‘onbekend’ gelijk gewogen werden met vragen beantwoord met ‘nee’, was het verschil in kwaliteitsscores van de RCT’s tussen de 2 tijdschriften 0,01 (95%-BI: -0,8-0,8). Als de uitschieters buiten beschouwing werden gelaten, verschilden de kwaliteitsscores van de RCT’s tussen het NTvG en het PW gemiddeld 0,2 (95%-BI: -0,2-0,6). Wanneer uitsluitend validiteitsscores van de advertenties met een spreiding van < 6 punten tussen de verschillende beoordelingen werden meegenomen, was dit verschil 0,4 (95%-BI: -0,4-1,2).

Beschouwing

Uit dit onderzoek bleek dat geneesmiddeladvertenties in het NTvG en het PW matig wetenschappelijk onderbouwd waren. De advertenties in het NTvG en het PW waren hierin niet verschillend. Goed onderbouwd waren respectievelijk 13% en 17% van alle advertenties die verwezen naar een RCT die in Medline te vinden was. Dit kwam zowel uit de analyse met alle geneesmiddeladvertenties naar voren, als uit de analyse waarin alleen unieke advertenties werden bestudeerd. De RCT’s scoorden vooral slecht op de onderdelen ‘geheimhouding van groepstoewijzing’ (‘concealment of treatment allocation’) en ‘geblindeerd analyseren van de uitkomsten’. Er was met name weinig overeenkomst tussen de advertenties en de gerefereerde RCT’s wat betreft de patiëntenpopulatie en de controlegroep. Dit kan van invloed zijn op de extrapoleerbaarheid van de resultaten van de RCT naar de advertentie.

Kwaliteit In onze primaire analyse werd aan de antwoordmogelijkheid ‘onbekend’ 1 punt toegewezen, als het niet bekend was of een vraag van de Delphi-vragenlijst met ‘ja’ (2 punten) of ‘nee’ (0 punten) beantwoord moest worden.7 Uit de sensitiviteitsanalyses waarin ‘onbekend’ meegewogen werd als ‘ja’ of als ‘nee’ bleek echter dat dit geen invloed had op de resultaten.

Kleine verschillen in de kwaliteit van de RCT’s werden mogelijk door de uitschieters veroorzaakt. Na exclusie van uitschieters werd het verschil tussen de kwaliteitsscores van de tijdschriften inderdaad kleiner. Na exclusie van advertenties met een spreiding in de validiteitsscore van ≥ 6, werd het verschil tussen de tijdschriften iets groter: de claims in de geneesmiddeladvertenties van het NTvG waren in deze analyse iets meer valide dan die in het PW. Het betrouwbaarheidsinterval werd echter ook breder. Er zouden meer beoordelingen nodig zijn om significante verschillen aan te tonen.

De kwaliteit van geneesmiddeladvertenties in Nederlandse medische tijdschriften en in tijdschriften voor apothekers werd niet eerder onderzocht. De resultaten van deze studie kwamen overeen met eerdere publicaties in internationale literatuur.2-4 Deze publicaties hebben uitgewezen dat slechts een klein percentage van alle advertenties in medische tijdschriften goed onderbouwd is. De studies verschillen echter qua onderzoeksopzet en zijn mogelijk niet goed vergelijkbaar. Wel behandelden de gebruikte vragenlijsten dezelfde onderwerpen.

Gedragscode geneesmiddeladvertenties Een mogelijke verklaring voor de matige betrouwbaarheid van geneesmiddeladvertenties in medische tijdschriften is dat tijdschriftredacties deze advertenties niet zien als uitingen van evidencebased geneeskunde. Advertentieruimte wordt verkocht door een uitgever en de advertenties worden slechts kort door de redactie gescreend; de referenties worden niet nagetrokken. Vrijwel alle geneesmiddeladvertenties die worden aangeboden door de farmaceutische industrie worden geplaatst (NTvG: dr. J.O.M. Zaat, schriftelijke mededeling, 2010; PW: advertentieafdeling, schriftelijke mededeling, 2010). Idealiter moet de redactie kunnen vertrouwen op de kwaliteit van de advertenties, aangezien de farmaceutische industrie wettelijk verplicht is zich aan de Gedragscode geneesmiddeladvertenties te houden.8 Hierin zijn eisen opgesteld voor de juistheid en controleerbaarheid van geneesmiddeladvertenties. Uit onze studie is echter gebleken dat niet altijd aan deze eisen wordt voldaan.

Beperkingen van dit onderzoek Het beoordelen van de methodologische kwaliteit van RCT’s en de validiteit van de advertenties is onvermijdelijk subjectief. De subjectiviteit werd in onze studie beperkt doordat de vaardigheden om RCT’s en advertenties te beoordelen tijdens het onderwijsblok werden behandeld. De RCT’s en advertenties werden at random en geblindeerd onder de studenten verdeeld. Iedere RCT met bijbehorende advertentie werd door tenminste 2 studenten beoordeeld. Wanneer de RCT in totaal minder dan 2 keer was beoordeeld, of wanneer de verschillende kwaliteitsscores > 5 punten van elkaar afweken, werd de RCT nogmaals onafhankelijk door de studenten van de onderzoeksgroep beoordeeld. Voor de beoordeling werden bovendien gestandaardiseerde, gevalideerde vragenlijsten gebruikt; hieruit werden totaalscores berekend. Omdat verschillende onderdelen van de vragenlijsten niet altijd dezelfde invloed hebben op de resultaten, zou deze totaalscore een vertekend beeld kunnen geven. Het berekenen van totaalscores was in onze studie echter onvermijdelijk om de tijdschriften goed te kunnen vergelijken.

De bestudeerde advertenties waren afkomstig uit slechts 2 jaargangen van het NTvG en het PW. Echter, het beleid omtrent de publicatie van geneesmiddeladvertenties is bij beide tijdschriften niet recent veranderd. Daarnaast bestaat de Gedragscode geneesmiddeladvertenties reeds bijna 20 jaar. Hierdoor is het aannemelijk dat een analyse in recentere jaargangen vergelijkbare resultaten zal opleveren.

Slechts 70% van de referenties in de geneesmiddeladvertenties kon getraceerd worden in Medline. Wij gingen niet na waardoor de overige referenties niet beschikbaar waren. Het kan gaan om ongepubliceerde data, data in tijdschriften die niet in Medline geïndexeerd zijn of onjuiste referenties. Mogelijkerwijs zou de uitkomst van onze studie anders zijn wanneer alle referenties geraadpleegd waren. Wij vermoeden dat de kwaliteit van niet-traceerbare referenties lager is dan van de referenties die in deze studie werden gebruikt. Hierdoor is de werkelijke betrouwbaarheid van geneesmiddeladvertenties mogelijk lager dan hier beschreven. Daarnaast werden alleen advertenties beoordeeld waarin naar RCT’s gerefereerd werd, omdat dit de meest evidencebased studieopzet is voor claims met betrekking tot de effectiviteit van geneesmiddelen. RCT’s worden echter regelmatig gesponsord door de farmaceutische industrie. Dit kan de kwaliteit ervan beïnvloeden.9 Daarnaast bepaalt de farmaceutische industrie welke referenties in de advertenties worden gebruikt om claims te ondersteunen. Wij bekeken niet in hoeverre de gebruikte referenties een goede afspiegeling waren van al het beschikbare onderzoek, of wat de invloed van sponsoring was.

Conclusie

De betrouwbaarheid van veel geneesmiddeladvertenties in Nederlandse tijdschriften voor artsen en apothekers was matig. Het NTvG en het PW waren hierin vergelijkbaar. Er ligt daarom een duidelijke eigen verantwoordelijkheid bij de lezer en de voorschrijver van medicatie om zelf te bepalen hoe betrouwbaar de advertenties zijn, zelfs al verschijnen deze in gezaghebbende wetenschappelijke tijdschriften.

Leerpunten

• De farmaceutische industrie refereert in geneesmiddeladvertenties regelmatig naar gepubliceerd wetenschappelijk onderzoek.

• Uit onderzoek naar geneesmiddeladvertenties in internationale tijdschriften voor artsen blijkt dat de betrouwbaarheid van deze geneesmiddeladvertenties vaak tegenvalt.

• Wij onderzochten de kwaliteit, validiteit en betrouwbaarheid van geneesmiddeladvertenties en de RTC’s waarnaar zij refereren in 2 jaargangen van het Nederlands Tijdschrift voor Geneeskunde (NTvG) en het Pharmaceutisch Weekblad (PW).

• De onderbouwing van veel claims in advertenties in het NTvG en het PW was matig. De advertenties in de 2 tijdschriften verschilden hierin niet van elkaar.

• Er ligt een duidelijke eigen verantwoordelijkheid bij de lezer en voorschrijver van medicatie om zelf te bepalen hoe betrouwbaar een geneesmiddelenadvertentie is.