Samenvatting
Doel
Inzichtelijk maken wat de invloed van het toeval is op ogenschijnlijke verschillen in kwaliteit tussen ziekenhuizen, gemeten met prestatie-indicatoren.
Opzet
Retrospectief-statistisch.
Methode
Wij analyseerden de publiek toegankelijke data uit 2005 van de prestatie-indicatoren voor decubitus, cerebrovasculair accident en acuut myocardinfarct met 3 verschillende, moderne grafische weergaven: ‘forestplot’, ‘funnelplot’ en ‘rankplot’. De invloed van toeval werd inzichtelijk gemaakt door de weergave van betrouwbaarheidsintervallen. Bij funnelplots werd de uitkomst van de prestatie-indicator afgezet tegen het patiëntenaantal in het betreffende ziekenhuis; zo kon de rol van groepsgrootte op de uitkomst zichtbaar worden gemaakt.
Resultaten
Voor bijna alle prestatie-indicatoren waren er statistisch significante verschillen in de uitkomsten tussen ziekenhuizen (p < 0,001). De betrouwbaarheidsintervallen gaven echter aan dat een gering aantal ziekenhuizen significant beter of slechter presteerde dan de norm, weergegeven in een forestplot. Goed en slecht presterende ziekenhuizen waren gemakkelijker te identificeren met een funnelplot. In rankplots, waarbij betrouwbaarheidsintervallen rond de rang van ieder ziekenhuis met ‘bootstrapsampling’ waren berekend, bleek de rangordening van ziekenhuizen zeer onzeker.
Conclusie
De funnelplot is een gemakkelijk interpreteerbare weergave van de grootte van verschillen tussen ziekenhuizen. Deze weergave houdt rekening met onzekerheid in de resultaten. Bij de beoordeling van individuele ziekenhuizen tonen gerapporteerde prestatie-indicatoren statistisch significante verschillen, maar toeval is een essentiële factor die moet worden meegewogen.
Artikelinformatie
Prestatie-indicatoren voor ziekenhuizen
Van Dishoeck et al. vermelden dat de externe validiteit van rangordes met prestatie-indicatoren problematisch is. Zij zoeken een verklaring en constateren dat de betrouwbaarheidsintervallen te groot zijn. De suggestie zou kunnen worden gewekt dat kleine betrouwbaarheidsintervallen een beoordeling met samengestelde prestatie-indicatoren wel mogelijk maken.
Rangordesystemen kunnen behept zijn met problemen van interne validiteit [2]. Een van de voorwaarden voor praktische toepassing is een ondubbelzinnige uitkomst. Een noodzakelijke voorwaarde is A>B en B>C leidt tot A>C en C<A (consistentie) [3]. Andere uitkomsten leiden tot dubbelzinnigheid. De relaties die in een rangorde optreden zijn <, > en =. Van 3 zorgaanbieders A, B en C zijn de niet-gespiegelde combinaties van relaties AB, BC en CA {A>B, B>C, C>A}, {A>B, B>C, C<A}, {A=B, B>C, C<A}, {A=B, B>C, C>A}, {A=B, B=C, C>A} en {A=B, B=C, C=A}. De voorspelde waarde van de relatie CA op basis van de relaties AB en BC is respectievelijk C<A, C<A, C<A, C<A, C=A, C=A. De helft van de beschreven combinaties is niet consistent, namelijk de eerste, vierde en vijfde combinatie. Van de eerste vier combinaties bestaat een spiegelbeeld. In totaal zijn dan 2x5=10 spiegelbeeldige combinaties en een niet-spiegelbeeldige combinatie mogelijk. De spiegelbeeldige combinaties hebben met betrekking tot consistentie dezelfde eigenschap. Van alle mogelijke combinaties zijn (3+3) /11=0,55 niet consistent. Dubbelzinnigheid treedt ook op als de betrouwbaarheidsintervallen klein zijn. Consistentie is een noodzakelijke (maar niet voldoende) voorwaarde voor een methode van rangorde.
Literatuur
[1] Knol A. Ziekenhuizentop-100: wisselende ranglijsten, wisselende reputaties. Ned Tijdschr Geneeskd. 2006;150:2840-1.
[2] Bortz J, Lienert GA, Boehnke K. Verteilungsfreie Methoden in der Biostatistik. Springer: Berlijn; 2008.
Groningen
A. Knol, huisarts.