Onafhankelijk, multidisciplinair en betrouwbaar
De invloed van onzekerheid

Prestatie-indicatoren voor ziekenhuizen

Onderzoek
Anne-Margreet van Dishoeck
Caspar M.N. Looman
Els C.M. van der Wilden-van Lier
Johan P. Mackenbach
Ewout W. Steyerberg
Citeer dit artikel als
Ned Tijdschr Geneeskd. 2009;153:B161
Abstract
Abstract
Sluiten
Performance indicators for hospitals; the influence of uncertainty

Objective

To determine the influence of random variation on apparent differences in the quality of care between hospitals as assessed by performance indicators.

Design

Retrospective, statistical.

Method

The published data from 2005 for the performance indicators for pressure ulcer, cerebrovascular accident and acute myocardial infarction were analyzed using 3 different modern graphical methods: forest plot, funnel plot, and rank plot. The influence of random variation was visualised by showing confidence intervals. For funnel plots the outcome of the performance indicator was plotted against the number of patients in the hospital concerned to visualise the effect of group size on the outcome.

Results

Statistically significant differences between hospitals were found for nearly all performance indicators (p < 0.001). However, the confidence intervals as represented in a forest plot revealed that a small number of hospitals performed significantly better or worse than the standard. High-performing or underperforming hospitals were easier to identify using a funnel plot. In rank plots, where the confidence intervals for the rank of each hospital were calculated using bootstrap replicas, the ranking of the hospitals was very uncertain.

Conclusion

The funnel plot provides an easily interpretable representation of the size of the differences between hospitals and allows for the uncertainty of these differences. The assessment of individual hospitals revealed statistically significant differences with respect to the performance indicators reported. However, random variation is a crucial factor that must be taken into account.

Samenvatting

Doel

Inzichtelijk maken wat de invloed van het toeval is op ogenschijnlijke verschillen in kwaliteit tussen ziekenhuizen, gemeten met prestatie-indicatoren.

Opzet

Retrospectief-statistisch.

Methode

Wij analyseerden de publiek toegankelijke data uit 2005 van de prestatie-indicatoren voor decubitus, cerebrovasculair accident en acuut myocardinfarct met 3 verschillende, moderne grafische weergaven: ‘forestplot’, ‘funnelplot’ en ‘rankplot’. De invloed van toeval werd inzichtelijk gemaakt door de weergave van betrouwbaarheidsintervallen. Bij funnelplots werd de uitkomst van de prestatie-indicator afgezet tegen het patiëntenaantal in het betreffende ziekenhuis; zo kon de rol van groepsgrootte op de uitkomst zichtbaar worden gemaakt.

Resultaten

Voor bijna alle prestatie-indicatoren waren er statistisch significante verschillen in de uitkomsten tussen ziekenhuizen (p < 0,001). De betrouwbaarheidsintervallen gaven echter aan dat een gering aantal ziekenhuizen significant beter of slechter presteerde dan de norm, weergegeven in een forestplot. Goed en slecht presterende ziekenhuizen waren gemakkelijker te identificeren met een funnelplot. In rankplots, waarbij betrouwbaarheidsintervallen rond de rang van ieder ziekenhuis met ‘bootstrapsampling’ waren berekend, bleek de rangordening van ziekenhuizen zeer onzeker.

Conclusie

De funnelplot is een gemakkelijk interpreteerbare weergave van de grootte van verschillen tussen ziekenhuizen. Deze weergave houdt rekening met onzekerheid in de resultaten. Bij de beoordeling van individuele ziekenhuizen tonen gerapporteerde prestatie-indicatoren statistisch significante verschillen, maar toeval is een essentiële factor die moet worden meegewogen.

Artikelinformatie

Citeer dit artikel als

Ned Tijdschr Geneeskd. 2009;153:B161
Vakgebied
Publieke gezondheidszorg
Auteursinformatie

Erasmus MC-Centrum, afd. Maatschappelijke Gezondheidszorg, Center for Medical Decision Making, Rotterdam.

Drs. A.M. van Dishoeck, onderzoeker; dr.ir. C.M.N. Looman, statisticus; drs. E.C.M. van der Wilden-van Lier en prof.dr. J.P. Mackenbach, sociaal geneeskundigen; prof.dr. E.W. Steyerberg, epidemioloog.

Contact drs. A.M. van Dishoeck (a.m.vandishoeck@erasmusmc.nl)

Verantwoording

Dit onderzoek maakt onderdeel uit van het project ‘Prestatie-indicatoren’ in het Erasmus MC: een onderzoek naar de relatie met kwaliteit van zorg.
Belangenconflict: geen gemeld. Financiële ondersteuning: geen gemeld.
Aanvaard op 27 oktober 2008

Heb je nog vragen na het lezen van dit artikel?
Check onze AI-tool en verbaas je over de antwoorden.
ASK NTVG

Ook interessant

Reacties