Ziekenhuizentop-100: wisselende ranglijsten, wisselende reputaties

Groningen, november 2006,

Collega Giard vergelijkt verschillende ranglijsten van ziekenhuizen (2006:2355-8). Ranglijsten moeten eerst beoordeeld worden op interne validiteit. Als minimale eis kan men stellen, dat de afzonderlijke ranglijsten volstrekt helder zijn.1 Dit kan worden omgezet in een operationeel criterium: als zorgaanbieder A beter is dan B en zorgaanbieder B beter dan C, dan is A beter dan C2 (www.syntheshis.nl/archief/jaargang5nummer2/paradoxale_prestatie.php). Bij toetsing van dit criterium is dit bij meer dan 2 prestatie-indicatoren niet altijd het geval.

Een fictief voorbeeld kan dit verduidelijken. In tabel 1 wordt de ranglijst van drie zorgaanbieders weergegeven voor de drie prestatie-indicatoren cholesterol, HbA1c en bloeddruk. Als wij nu A met B vergelijken, zijn het cholesterol en de HbA1c beter en de bloeddruk slechter bij A en wij beoordelen dit met + + –. Omdat er drie prestatie-indicatoren zijn, is de eerste zorgaanbieder winnaar als hij + + of + + + scoort. Hieruit volgt: A > B. De tweede zorgaanbieder in de vergelijking is winnaar als er – – of – – – wordt gescoord door de eerste zorgaanbieder. Wij kunnen dit bij paarsgewijze vergelijkingen van de zorgaanbieders doen en krijgen dan het resultaat dat in tabel 2 is weergegeven. Hieruit blijkt dat uit A > B en B > C niet automatisch volgt dat A > C. Dergelijke ranglijsten zetten de deur open naar manipulatie en strategisch gedrag. Bij vergelijking van de winnaar van twee zorgaanbieders met de laatste zorgaanbieder zal deze laatste altijd winnen. Van deze manipulatie kan gebruikgemaakt worden om de gewenste zorgaanbieder te laten winnen door een juiste keuze van de volgorde van paarsgewijze vergelijking van zorgaanbieders. De eerste twee zorgaanbieders kunnen dit tegengaan door strategisch gedrag. Zij kunnen een tegengestelde uitslag afspreken. De afgesproken winnaar zal dan altijd winnen van de laatste zorgaanbieder.

Rotterdam, december 2006,

Enige tijd geleden vermeldde een ziekenhuis in een personeelsadvertentie bij de top-10-ziekenhuizen van de top-100 te willen horen. Daarmee gaf het aan dat kwaliteit van zorg hoog op de agenda stond en een top-10-notering daar een uiting van zou zijn. Is dit streven zinnig? Collega Giard maakte recent overtuigend duidelijk dat er geen overeenkomst is tussen ranglijsten die alle pretenderen de kwaliteit van de zorgverlening in de Nederlandse ziekenhuizen te kunnen meten (2006:2355-8). In vervolg daarop onderzochten wij de stijgers en dalers tussen 2005 en 2006 van de Algemeen Dagblad(AD)- en de Elsevier-top-100. Wij gebruikten gegevens uit AD en Elsevier Weekblad van 2005 en 2006.1-3 Overeenkomst tussen de jaren werd gemeten met Cohens kappa, net als in het artikel van Giard.

In de vergelijking tussen de jaren vertoont Elsevier een matige overeenkomst (kappa: 0,27; 95%-BI: 0,13-0,40), terwijl dit voor het AD ronduit slecht is (kappa: 0,05; 95%-BI: –0,08-0,17) (figuur 1). Met name binnen de AD-top-100 zijn de verschuivingen erg groot. Bijna 40% van de ziekenhuizen stijgt of daalt meer dan 30 plaatsen, met een maximum van 90 plaatsen. Voor de Elsevier-top-100 is dit 25%, met een maximum van 74 plaatsen. Nu kan de kwaliteit van zorg in de ziekenhuizen werkelijk zijn veranderd tussen 2005 en 2006, hetgeen een deel van de verschillen in rangorde tussen de jaren zou kunnen verklaren. Echter, de verandering in rangorde bij het AD correspondeert niet met de verandering bij Elsevier (kappa: 0,02; figuur 2).

Uit deze analyse blijkt dat aan resultaten van de nu bekende ranglijsten van AD en Elsevier geen waarde gehecht moet worden. Methodologisch vertonen de lijsten verschillende zwakke plekken. Het AD maakt gebruik van per jaar wisselende prestatie-indicatoren van de Inspectie voor de Gezondheidszorg.4 Over de betrouwbaarheid en de validiteit van deze gegevens is veel te doen.5 Niet alle ziekenhuizen meten op dezelfde wijze en bij dezelfde populatie, en er vindt geen correctie voor verstorende variabelen plaats. De rol van toeval en gebrek aan ‘power’ is groot bij sommige van deze indicatoren.6

Elsevier beroept zich bij de beoordeling van de kwaliteit van zorg in de ziekenhuizen op de mening van bestuurders, managers, professionals en patiënten, maar ook deze ranglijst laat grote verschuivingen in twee opeenvolgende jaren zien. Deze methode kent geen wetenschappelijke onderbouwing. Zowel AD als Elsevier baseert zich ook op de mening van de patiënt (www.independer.nl), maar de precieze weging en interpretatie zijn onduidelijk.

Wij concluderen dat het op dit moment voor ziekenhuizen niet veel zin heeft te streven naar positieverbetering op deze ranglijsten. Veranderingen in positie worden vermoedelijk grotendeels door toeval bepaald.

Almere, februari 2007,

Bij de beoordeling van een top 100 is het te gemakkelijk zich te beperken tot het totaal aantal behaalde punten om daarmee de ziekenhuizen op een rijtje te zetten. Dat is wat Van Dishoeck en Steyerberg in hun ingezonden brief doen (2007:265-6). Hun analyse is niet diepgaand en zij veroorloven zich snel een oordeel. Ook doen zij geen bronnenonderzoek.

Het puntentotaal per ziekenhuis is een tamelijk willekeurig gegeven. De peiling is, in geval van Elsevier-Lagendijk, gebaseerd op een 75-tal meetpunten. Specialisten, huisartsen en ziekenhuismanagers geven hun ervaringen met hun bekende ziekenhuizen. In 2007 gebeurde dat voor de 12e keer.

Als samensteller van de ziekenhuisranglijst heb ik veel te maken met afzonderlijke ziekenhuizen. Het valt mij daarbij op hoezeer de aanwijzingen van de landelijke meting overeenstemmen met de plaatselijke werkelijkheid.

Ik heb onderzocht hoe het met 7 willekeurige ziekenhuizen, verdeeld over het land, de afgelopen 3 jaar (2004-2006) is vergaan. Daarvoor koos ik 5 criteria, namelijk medische deskundigheid, verpleegkundige deskundigheid, patiënttevredenheid, samenwerking met de huisarts en een algemeen oordeel samengevat in een rapportcijfer. Alles is verifieerbaar in de betreffende Elsevier-nummers.1-3 Hieronder volgt een kort relaas per ziekenhuis.

Het Martini Ziekenhuis te Groningen geeft een zeer stabiel beeld. Hoog aangeslagen wordt de medische deskundigheid. Redelijk wordt geoordeeld over verpleging en omgang met de patiënt. Onveranderlijk goed is de samenwerking met verwijzers. Als rapportcijfer geeft men 7,1 à 7,2.

Het Wilhelmina Ziekenhuis Assen geeft een stabiel, doch zwak afkalvend beeld. Patiënten blijven tevreden. Medisch en verpleegkundig is het ziekenhuis enigszins op retour. Het rapportcijfer daalt mee, van 7,2 in 2004 via 7,1 in 2005 naar 6,9 in 2006.

Het Amphia Ziekenhuis te Breda wordt medisch constant geapprecieerd. Verpleegkundig is de appreciatie aanzienlijk minder; dat geldt ook voor de bekommernis om patiënt en verwijzer. Als rapportcijfer geeft men 6,8 à 6,7.

Het Maaslandziekenhuis te Sittard presteert medisch redelijk en verpleegkundig minder. Patiënten en verwijzers zijn ingenomen met het ziekenhuis. Het rapportcijfer is blijvend hoog, met 7,3 à 7,4.

Het Diakonessenhuis te Utrecht wordt medisch hoog aangeslagen. Verpleegkundig scoort het wat minder. De patiënten zijn opgetogen en de huisartsen zeker niet ontevreden. Het rapportcijfer schommelt tussen 7,2 en 7,4.

Het Sint Franciscus Gasthuis te Rotterdam kent een lichte opmars. Thans zijn er aardig wat complimenten voor medische deskundigheid. Verpleegkundig blijft het achter. Beter dan voorheen gaat het om met patiënten en verwijzers. Het rapportcijfer stijgt van 7,1 via 7,2 naar 7,4.

Het Waterlandziekenhuis te Purmerend is sterk in opmars. Het rapportcijfer stijgt van 6,8 in 2004 via 7,1 in 2005 naar 7,6 in 2006. Het manifesteert zich goed over een breed front, zowel medisch als verpleegkundig. Het gaat goed om met patiënt en huisarts.

Rotterdam, maart 2007,

Lagendijk stelt dat wij ziekenhuizen op een rijtje zetten en vervolgens snel met een oordeel komen. Hierbij lijkt hij de essentie van onze ingezonden brief niet begrepen te hebben. Uit het artikel van Giard over de ziekenhuizentop 100-lijsten bleek dat, hoewel beide lijsten claimen een uitspraak te kunnen doen over de kwaliteit van de zorg in de Nederlandse ziekenhuizen, die daarin in het geheel niet overeenkomen. Aanvullend hierop hebben wij met dezelfde methoden als Giard gekeken naar de voorspellende waarde van dergelijke meetinstrumenten, waaruit bleek dat de plaats op de ranglijst in het ene jaar geen enkele relatie heeft met die in het daaropvolgende jaar. De kwaliteit van een ziekenhuis is met deze lijsten niet vast te stellen. Dat vraagt meer gedegen onderzoek, zoals Lagendijk terecht opmerkt.

Wij hebben de positie van de door Lagendijk genoemde ziekenhuizen vergeleken met hun plaats op de ranglijsten van het Algemeen Dagblad (AD) en Elsevier in 2005 en 2006. Daling, stijging of gelijk blijven zou overeen moeten komen (tabel).1-3

Het Martini Ziekenhuis laat volgens Lagendijk een stabiel beeld zien, maar dit is in strijd met het oordeel van de top 100-lijsten. Volgens het AD verbetert de kwaliteit van de zorgverlening in dit ziekenhuis, terwijl Elsevier een daling signaleert. De prestaties van het Wilhelmina Ziekenhuis zijn ruim voldoende, maar dalen licht volgens Lagendijk. Het AD plaatste dit ziekenhuis in 2005 en 2006 op een 75e en 81e plaats, wat niet wijst op een ruime voldoende. Uit de Elsevier-ranglijst blijkt geen daling. Veel groter is de discrepantie voor het Amphia Ziekenhuis, dat stabiel is volgens Lagendijk, terwijl dit ziekenhuis op de AD-top 100 fors daalt. Het Diakonessenhuis, dat volgens Lagendijk ‘hoog’ wordt aangeslagen met ‘opgetogen’ patiënten, komt in de Elsevier-lijst niet verder dan de 54e plaats in 2006 en was daarmee 35 plaatsen gezakt ten opzichte van 2005. Het AD plaatste dit ziekenhuis wel in de top 10, waarmee wederom de lijsten noch met elkaar, noch met het oordeel van de heer Lagendijk overeenstemmen.

Lagendijks voorbeelden onderbouwen onze conclusie verder dat de top 100-lijsten geen betrouwbaar beeld geven van de kwaliteit van de Nederlandse ziekenhuizen. De positie van een ziekenhuis in de top 100-lijsten wordt vooral door het toeval bepaald.