Goochelen met getallen

Over goochelen met getallen in de wetenschap is al veel geschreven. Met relatieve risico’s en, nog beter, met relatieve risicoreducties kun je een relatief bescheiden effect van een cholesterolverlager, zelfs in de ogen van goed getrainde dokters, een magische omvang geven. Bijna iedere week beschrijft wetenschapsjournalist Hans van Maanen in de Volkskrant hoe goochelen met getallen door onderzoekers tot de meest wonderlijke en onjuiste conclusies leidt.

Maar niet alleen met onderzoeksresultaten wordt gegoocheld. Ook de mensen die de door u geleverde zorg evalueren, zijn de kunst van het goochelen met getallen machtig. Dus let goed op en lees aandachtig het artikel van collega Van den Bosch en anderen (A3299, bl. 1198) over de betrouwbaarheid van het gestandaardiseerde ziekenhuissterftecijfer en vraag u af wat u gezien heeft. Wat u waarschijnlijk allang vermoedde maar niet hard kon maken, klopt: ziekenhuizen vergelijken op basis van sterftecijfers is een hachelijke zaak. Inmiddels zijn de dokters en ziekenhuizen er wel aan gewend dat ze voortdurend de klos zijn in de media omdat er weer eens iemand met getallen aan de haal gaat die beter eerst even wat had kunnen studeren.

De Inspectie voor de Gezondheidszorg stimuleert het gebruik van het gestandaardiseerde ziekenhuissterftecijfer, kennis van de eigen plek op de ranglijst en meent dat veranderingen in dat cijfer in de tijd een signaal zijn voor nader intern onderzoek naar de redenen, om zonodig verbeteracties te starten. Dit klinkt verstandig en niemand is tegen verbetering van kwaliteit van zorg. Maar dit is wel een heel voorbarig advies. Het huidige gestandaardiseerde ziekenhuissterftecijfer blijkt helemaal niet goed genoeg om zo’n sterke signaalfunctie te kunnen uitoefenen. Maar liefst bij 83% van de diagnosegroepen is de correctie voor casemix onvoldoende.

Van den Bosch en collega’s adviseren dan ook een beter model te gebruiken. Maar is dat er eigenlijk wel? Ook het door hen gepresenteerde model is verre van ideaal. Voor het slechte presteren van de gebruikte standaardisatiemodellen zijn een aantal redenen waarvan de slechte correctie voor comorbiditeit van de patiënt het meest in het oog springt. Een blik op de parameters waarvoor gecorrigeerd kon worden, leert dat deze natuurlijk nooit voor allerlei soorten aandoeningen voldoende correctie bieden. Daar kan en moet de professie iets aan doen, want dit soort cijfers zal toch gebruikt gaan worden om de kwaliteit van zorg te meten, te vergelijken en mee te goochelen. Perfect zal het nooit worden maar wel heel wat beter dan nu. Tot die tijd moet er eigenlijk een grote sticker op de ranglijstjes die op ziekenhuissterftecijfers zijn gebaseerd: ‘onoordeelkundig gebruik gevaarlijk’.