De Nederlandse Hartstichting heeft in hoogwaardig wetenschappelijk onderzoek geïnvesteerd

Inleiding

De Nederlandse Hartstichting (NHS) houdt zich sinds haar oprichting bezig met financiering van wetenschappelijk onderzoek.1 Het stimuleren van cardiovasculair wetenschappelijk onderzoek is één van de drie kerntaken van de NHS (www.hartstichting.nl/hartstichting/wat_doet_de_hartstichting/toekomst_visie/);2 jaarlijks investeert zij tussen de 10 en 15 miljoen euro in dat onderzoek. De NHS ontvangt honderden onderzoeksvoorstellen per jaar. Na een consequent gevolgde selectieprocedure honoreert zij tussen de 15 en 20% van deze onderzoeksvoorstellen.3

Selecteert de NHS hiermee goed onderzoek voor financiële steun? Springen er universiteiten uit? Om deze vragen te beantwoorden heeft het Centrum voor Wetenschap en Technologie Studies (CWTS) het door de NHS gesteunde onderzoek geanalyseerd op wetenschappelijke productie en impact. De resultaten van deze analyse beschrijven we in dit artikel. Voor zover wij weten is de NHS het eerste fonds voor gezondheidsonderzoek dat de kwaliteit van het door haar gesteunde onderzoek heeft laten analyseren en de resultaten hiervan publiceert.

Methoden

Onderzoeksinformatiesysteem

Begin deze eeuw heeft de NHS het ‘cardiovascular research information system’ (CAVARIS) in gebruik genomen (www.cavaris.nl). CAVARIS bevat, onder andere, gedetailleerde informatie over de onderzoeksprojecten en programma’s die de NHS steunt. Daarnaast bevat CAVARIS gegevens over de publicaties die voortkomen uit dit onderzoek.

Registreren van publicaties

De NHS registreert alleen publicaties uit nationale en internationale tijdschriften die peer review hanteren en waarin de NHS genoemd wordt, alsmede publicaties die een duidelijke link hebben met een project of programma dat gesteund wordt door de NHS. Deze voorwaarden voor opname in CAVARIS zijn bij de aanvragers van onderzoeksprojecten bekend. Van de publicaties die de NHS registreert worden kenmerken zoals type publicatie, titel, auteurs, tijdschriftgegevens en bijbehorende projecten bijgehouden.

De NHS vraagt per project 5 maal actief publicaties op. Dit gebeurt 2 maal gedurende de looptijd van een project: bij de tussenrapportage (doorgaans 2 jaar na de start van het project) en bij de eindrapportage (doorgaans 4 jaar na de start van het project). Daarnaast vraagt zij 1, 2 en 5 jaar na afloop van het project publicaties op. Op deze momenten controleert zij via Medline ook actief op volledigheid van opgave door de onderzoeker. Tevens sturen onderzoekers zelf publicaties op. De NHS controleert deze publicaties.

Bibliometrische analyse

Voor de bibliometrische analyse is gebruik gemaakt van de Web of Science (WoS). Dit internationale publicatie- en citatiebestand bevat ongeveer 10.000 internationaal georiënteerde tijdschriften. Wetenschappers bouwen bij hun onderzoek en de publicatie van hun eigen resultaten voort op andere resultaten; daarbij citeren zij de bronnen die voor hen belangrijk zijn. Als een onderzoeksresultaat belangrijk is voor de wetenschap, dan zal de publicatie daarvan dus vaak geciteerd worden; hoe belangrijker, des te vaker geciteerd.

De grootschalige kwantificering van dit citeren, meestal ‘refereren’ genoemd, maakt de internationale invloed en zichtbaarheid van onderzoek meetbaar en vormt de basis van zogenoemde ‘citatie-impactanalyses’. In dergelijke bibliometrische analyses berekent men verschillende indicatoren; de publicatie- en citatie-aantallen behoren hierbij tot de vaste indicatoren. Daaruit kunnen dan gemiddelden worden berekend.

Omdat gemiddelden op zich niets zeggen, worden er referentiewaarden van de publicatie- en citatie-aantallen bepaald voor de tijdschriften waarin men publiceert en de vakgebieden waarin men actief is. Het gemiddeld aantal citaties per artikel per tijdschrift noemt men de tijdschrift-citatiescore (‘journal citation score’ (JCS), zie uitleg). De vergelijking van de aantallen citaties per publicatie (CPP) met de gemiddelde JCS van tijdschriften over zijn vakgebied zegt iets over de eigen omgeving. Bij een vergelijking met het vakgebied gebruikt men een referentiewaarde voor citaties in alle tijdschriften op dat vakgebied, inclusief de tijdschriften waarin de onderzoeker niet publiceert, de ‘field citation score’ (FCS); hiermee berekent men de zogenoemde ‘citatiescore’ (zie uitleg).

Bij het werken met citatiescores moet men bedenken dat ongeveer 80% van de publicaties in de WoS uit de westerse wereld komt. De vergelijking van Nederlandse wetenschap met de gemiddelden voor de tijdschriften of het vakgebied zegt dus daadwerkelijk iets over de positie van het Nederlandse onderzoek in de internationale context. Door deze analyse voor alle publicaties van de NHS uit te voeren en de uitkomsten te middelen, werd de citatiescore van de NHS bepaald.

De verhouding tussen de referentiewaarden voor de tijdschriften en die voor het vakgebied (JCSm/FCSm) zegt iets over de keuze van een onderzoeker of onderzoeksgroep voor bepaalde tijdschriften. Een score van 1,00 betekent dat de kwaliteit van het tijdschrift zich bevindt op het niveau van het wereldgemiddelde op dat wetenschapsgebied. Is de waarde boven de 1,00, dan publiceert men in de betere tijdschriften, bij een score lager dan 1,00 in de minder goede tijdschriften op dat gebied. Deze kwaliteitsindicator verschilt van de bekende ‘impactfactor’, een veel gebruikte maar wankele maat.4 De impactfactor van een tijdschrift vergelijkt het aantal citaties namelijk niet met de score van het betreffende wetenschapsgebied.

De bibliometrische parameters van het onderzoek dat door het NHS werd gesteund zijn vergeleken met Nederlandse publicaties met eenzelfde karakter. Voor de vergelijkende dataset selecteerde men Nederlandse publicaties die gepubliceerd waren in hetzelfde jaar, van hetzelfde documenttype en die een gelijke combinatie van wetenschapsgebieden bestreken. Deze publicaties waren daarmee representatief voor het overige wetenschappelijk onderzoek in Nederland op het werkterrein van de NHS. In deze vergelijkende dataset waren geen artikelen opgenomen afkomstig van projecten die door de NHS waren gesteund. Om de trends op het gebied van wetenschappelijke kwantiteit en kwaliteit vast te stellen, werden zijn de bibliometrische gegevens in diverse tijdsvakken bepaald.

Resultaten

Uit onderzoek gesteund door de NHS en gestart in de periode 1999-2007 (peildatum 1-1-2008) kwamen 1353 wetenschappelijke publicaties voort (tabel). De kwaliteit van het door de NHS gesteunde onderzoek blijkt uit de citatiescore van 1,65 voor dit wetenschapsgebied. Dit betekent dat de publicaties uit dit onderzoek 65% vaker geciteerd zijn dan het wereldgemiddelde. De tijdschrift-citatiescore van 1,50 laat zien dat deze publicaties verschenen zijn in gerenommeerde tijdschriften. De kwaliteit van het overige Nederlandse onderzoek op het werkterrein van de NHS blijkt uit een citatiescore van 1,31. De kwaliteit van de tijdschriften waarin dit overige onderzoek gepubliceerd is, komt naar voren uit een tijdschrift citatiescore van 1,21. De aantallen publicaties, citatiescores en tijdschrift-citatiescores waren stabiel in de jaren 1999-2007, zowel voor het onderzoek gesteund door de NHS als voor de vergelijkende dataset.

Het profiel van het door de NHS gesteunde onderzoek is weergegeven in figuur 1. De wetenschapsgebieden zijn geordend naar het aantal publicaties per gebied. De top van het profiel wordt gedomineerd door wetenschapsgebieden die een sterke relatie hebben met cardiovasculair onderzoek: ‘hart en hart- en vaatsystemen’ (22,5 % van het door de NHS gesteunde onderzoek), ‘perifere vasculaire ziekten’ (bijna 15 %) en ‘hematologie’ (10%). De publicaties die verschenen zijn in deze wetenschapsgebieden hebben een erg hoge impact op het werkveld; de citatiescore varieert tussen de 1,71 en de 1,88.

‘Biochemie en moleculaire biologie’ en ‘celbiologie’ zijn daarna de belangrijkste wetenschapsgebieden in het profiel. De citatiescores van publicaties van het door NHS gesteunde onderzoek in deze wetenschapsgebieden liggen rond het wereldgemiddelde. In de overige weergegeven wetenschapsgebieden is de productie minder dan 5% van de totale output, maar de NHS publicaties hebben wel een hoge tot gemiddelde impact op het werkveld. 12 % van de publicaties is niet opgenomen in figuur 1. Deze publicaties zijn zo versnipperd over de overige wetenschapsgebieden, dat het aantal publicaties per wetenschapsgebied laag is en daarom kunnen we de impact op het werkveld van deze publicaties niet betrouwbaar analyseren.

Vergelijking van universiteiten en instituten

Aan bijna alle universiteiten in Nederland vindt onderzoek plaats dat door de NHS gesteund wordt. Figuur 2 geeft de kwantiteit van publicaties uit dit onderzoek aan de verschillende universiteiten ten opzichte van de kwaliteit. De kwaliteit van het door de NHS gesteunde onderzoek verschilt per universiteit. Van al deze universiteiten zijn echter publicaties afkomstig over NHS-gesteund onderzoek met een hoge impact op het werkveld.

De Radboud Universiteit Nijmegen (RUN) leverde onderzoek van buitengewoon hoge kwaliteit. Ook de kwaliteitsscore van de categorie ‘overig’ is opmerkelijk hoog; tot de categorie ‘overig’ behoort onder andere onderzoek dat plaatsvond bij het Nederlands Kanker Instituut, het Rijksinstituut voor Volksgezondheid en Milieu en het Sanquin. Verder blijkt dat hoe meer projecten er aan een universiteit liepen, hoe meer publicaties dat opleverde.

Beschouwing

Het CWTS beschikt al enige tijd over een methode om internationale publicaties te waarderen waarmee een goede vergelijking op mondiaal niveau mogelijk is. De methode is - onder meer - gebaseerd op het aantal keren dat een wetenschappelijke publicatie door collega-wetenschappers wordt aangehaald. Uit deze bibliometrische analyse blijkt dat het cardiovasculaire wetenschappelijk onderzoek in Nederland van goed niveau is; met een citatiescore van 1,31 (onderzoek gesteund door de NHS niet meegerekend) ligt de impact boven het mondiale gemiddelde voor dit werkveld. De citatiescore van het door de NHS gesteunde onderzoek was nog hoger, namelijk 1,65.

De onderzoekers van projecten die gesteund waren door de NHS publiceerden in betere tijdschriften, zoals blijkt uit de tijdschrift-citatiescore van 1,50. Het publiceren in deze tijdschriften handhaafde zich gedurende de gehele analyseperiode, wat indicatief is voor de constante kwaliteit van het onderzoek. De kwaliteit van het door de NHS gesteund onderzoek is hoog in vergelijking met wetenschappelijk onderzoek in andere wetenschapsgebieden in Nederland.

Hoewel de rapportage van het Nederlands Observatorium van Wetenschap en Technologie de kwaliteit berekende over de periode 2003-2006, zijn de scores in die rapportage toch goed te vergelijken met de getallen in dit artikel (www.nowt.nl/nieuwste_rapport.php).5 De citatiescore van al het onderzoek in de universitaire medische centra (UMC), inclusief het door de NHS gesteunde onderzoek, is 1,40; de citatiescore van al het onderzoek in Nederland is 1,34. Het door de NHS gesteunde onderzoek, met de citatiescore van 1,65, heeft een positieve invloed gehad op deze twee getallen.

Het onderzoeksprofiel van de NHS-onderzoeksportefeuille blijkt zeer breed te zijn. Men publiceert voornamelijk in tijdschriften in de wetenschapsgebieden ‘hart en hart- en vaatsystemen’, ‘hematologie’ en ‘perifere vasculaire ziekten’, maar ook in gebieden als ‘biochemie en moleculaire biologie’ en ‘celbiologie’ naast ‘algemene en interne geneeskunde’. Deze breedte geeft aan dat de NHS de vertaalslag van fundamenteel onderzoek naar toepassingen in de praktijk mogelijk stimuleert. Als we de diverse wetenschapsgebieden nader onder de loep nemen, dan blijkt de citatiescore van het gebied ‘hart en hart- en vaatsystemen’ 1,88 te zijn. Binnen alle UMC’s blijkt dit 1,60 te zijn (www.nfu.nl/index.php?id=86&parent=25),6 wat opnieuw de positieve invloed van het door de NHS gesteunde onderzoek aangeeft.

De impact van het door de NHS gesteunde onderzoek aan de universiteiten verschilt. Aan elke universiteit is de impact op het werkveld goed. De citatiescore is pas nauwkeurig vast te stellen als het aantal publicaties groter is dan vijftig. De citatiescores voor Wageningen Universiteit en de categorie ‘overig’ (zie figuur 2) dient men daarom met reserve te bekijken.

Alhoewel bij de Radboud Universiteit Nijmegen (RUN) slechts 9 onderzoeksprojecten door de NHS werden gesteund, is de citatiescore hiervan een uitschieter naar boven. Een mogelijke verklaring hiervoor is dat de RUN een niche van mechanistisch klinisch onderzoek uitstekend vult. Het blijkt dat hoe meer projecten aan een universiteit lopen, des te meer publicaties dat oplevert. Het gemiddeld aantal publicaties per project verschilt. Waarom dit zo is, moet nog nader onderzocht worden. Vaststaat dat persoonsgebonden beurzen gemiddeld meer publicaties opleveren dan projectgebonden subsidies.

Conclusie

Al met al toont deze analyse aan dat de NHS hoogwaardig onderzoek gesteund heeft. Dit betekent dat de gehanteerde selectieprocedure goed werkt. De impact van het door de NHS gesteunde onderzoek aan elke universiteit is goed; wel verschilt de impact per universiteit. De investering van de NHS draagt bij aan de kwaliteit van het cardiovasculaire wetenschappelijke onderzoek in Nederland.

uitleg

• Bibliometrische indicatoren Bibliometrische indicatoren kunnen worden gebruikt als maat voor de kwaliteit van een artikel, een onderzoek, een onderzoeksinstituut et cetera. Hier noemen we een enkele indicatoren.

• CPP Dit is het aantal citaties per publicatie. De CPP van een onderzoeksinstituut is het gemiddeld aantal citaties per publicatie van alle artikelen die door het instituut zijn gepubliceerd.

• Citatiescore (CPP/FCSm) De citatiescore van een publicatie wordt berekend door het aantal citaties van een publicatie (CPP) te delen door het gemiddelde aantal citaties van alle publicaties in een bepaald wetenschapsgebied (FCSm). Een citatiescore hoger dan 1,00 betekent dat de publicatie wereldwijd vaker is geciteerd dan gemiddeld op dit vakgebied.

• De citatiescore van het onderzoek dat door de NHS is gesteund werd berekend door de individuele citatiescore te berekenen van alle publicaties over dat onderzoek en de uitkomsten te middelen.

uitleg

Tijdschrift-citatiescore De ‘journal citation score’ (JCS) is het gemiddeld aantal citaties per artikel van een tijdschrift. Het gemiddelde voor een groep vergelijkbare tijdschriften is de JCSm. Men kan de kwaliteit van publicaties voor een deel afleiden uit de kwaliteit van het tijdschriften waarin zij verschijnen. Hoe hoger de JCSm, des te hoger de kwaliteit.

Door het aantal citaties per publicatie (CPP) te vergelijken met de JCSm krijgt men een maat voor de kwaliteit van een artikel ten opzichte van het gemiddelde in het soort tijdschriften waarin het gepubliceerd is (CCP/JCSm). Een CCP/JCSm hoger dan 1,00 betekent dat de publicatie vaker wordt geciteerd dan gemiddeld in dit soort tijdschriften.

Voor alle duidelijkheid: de tijdschrift-citatiescore is een geheel andere maat dan de impactfactor van een tijdschrift, een maat die ook vaak gehanteerd wordt. De impactfactor van een tijdschrift zegt niets over de impact van de individuele publicaties. Voor meer informatie over bibliometrische indicatoren zie de publicaties van Moed et al.7,8

leerpunten

• Het stimuleren van cardiovasculair wetenschappelijk onderzoek is een kerntaak van de Nederlandse Hartstichting (NHS).

• Jaarlijks investeert de NHS tussen de 10 en 15 miljoen euro in wetenschappelijk cardiovasculair onderzoek.

• Om te zien of dit geld, dat afkomstig is van giften en donaties, goed besteed wordt, is een bibliometrische analyse van de onderzoekspublicaties verricht.

• Volgens deze analyse is het cardiovasculair wetenschappelijk onderzoek in Nederland van hoog niveau.

• De kwaliteit van het door de NHS gesteunde onderzoek is nog hoger dan het Nederlandse gemiddelde.

• De NHS heeft in kwalitatief hoogwaardig onderzoek geïnvesteerd.