Samenvatting
Doel
Inzichtelijk maken of de prestatie-indicator ‘irradicaliteit na eerste borstsparende operatie’ de kwaliteit van borstkankerchirurgie consistent beoordeelt, onafhankelijk van de gebruikte definitie, verschillen in casemix en rekening houdend met toevalsvariatie.
Opzet
Descriptief.
Methoden
Data werden verzameld van 762 patiënten, die in de periode van 1 juli 2007-30 juni 2008 in 1 van de 9 ziekenhuizen in de regio van het Integraal Kankercentrum West borstparend werden behandeld wegens een invasief of in situ mammacarcinoom. Wij vergeleken 3 definities voor irradicaliteit: de indicator van de Inspectie voor Gezondheidszorg, de indicator van Zichtbare Zorg, en het percentage reresecties. Voor casemixcorrectie werden risicofactoren voor irradicaliteit geïdentificeerd met een logistische regressie. De resultaten werden weergegeven in een ‘funnelplot’ (fuikgrafiek) met een 95%-betrouwbaarheidsinterval (95%-BI) rond de landelijk vastgestelde norm van 20%.
Resultaten
Afhankelijk van de gebruikte definitie varieerden de percentages irradicaal geopereerde mammacarcinomen van de totale groep van 11 tot 21%. De percentages irradicaliteit van individuele ziekenhuizen verschilden onderling tot 19%. De kans op irradicaliteit was groter bij carcinoma in situ. De uitkomsten tussen de ziekenhuizen verschilden significant voor alle 3 de definities. De funnelplot liet echter zien dat de meeste ziekenhuizen binnen de 95%-BI van de norm vielen. Afhankelijk van de gebruikte definitie en casemixcorrectie kon een ziekenhuis wel of niet binnen de 95%-BI van de norm vallen.
Conclusie
Het gebrek aan eenduidige definiëring van de prestatie-indicator ‘irradicaliteit na eerste borstsparende operatie’ en het ontbreken van casemixcorrectie ondermijnen de validiteit van de indicator. Standaardisatie van definities, uniforme registratie en de toepassing van funnelplots kunnen een zuiverder zicht op de kwaliteit van zorg verschaffen.
artikel
Inleiding
Geeft de prestatie-indicator ‘percentage irradicaliteit na eerste borstsparende operatie’ goed weer wat zij beoogt te meten? En is zij valide? Dit is een actuele kwestie, aangezien de vraag naar inzicht in het functioneren van de gezondheidszorg steeds verder toeneemt. Het kabinet heeft zich ten doel gesteld dat in 2010 de gehele zorg transparant moet zijn.1,2 Dat wil zeggen dat er openheid moet zijn over de veiligheid en uitkomsten van zorg. Ook bij zorgverleners zelf is er draagvlak voor transparantie.3 Inzicht in de eigen prestaties ten opzichte van die van anderen kan immers een stimulans zijn om de eigen praktijk te verbeteren. Deze ontwikkelingen hebben geleid tot verscheidene initiatieven die beogen de kwaliteit van de zorg te meten.
Prestatie-indicatoren, meetbare aspecten van de zorg die aanwijzingen geven over de kwaliteit, worden gezien als een belangrijk instrument om de prestaties van ziekenhuizen inzichtelijk te maken. Toch is er ook kritiek op de wijze waarop indicatoren worden gebruikt en uitkomsten worden gepresenteerd. Door het groeiende aantal kwaliteitsinitiatieven waarvoor gegevens moeten worden geleverd, neemt de registratiedruk op zorgverleners steeds verder toe. Tegelijkertijd is er gerede twijfel over de validiteit van de indicatoren. Veelal ontbreekt de bewijskracht dat een goede score op een indicator ook daadwerkelijk is gecorreleerd met betere uitkomsten van zorg.4 Daar komt bij dat de resultaten openbaar worden gepubliceerd in ranglijsten, die geen inzicht geven in de rol van statistisch toeval of casemix (zie uitleg).5
Een goed voorbeeld is de genoemde indicator ‘percentage irradicaliteit na eerste borstsparende operatie’, die door twee instanties, de Inspectie voor de Gezondheidszorg (IGZ) en Zichtbare Zorg Ziekenhuizen (ZiZo) wordt gebruikt.6,7 Op het eerste gezicht is het een valide indicator. Irradicaliteit is immers een ongewenst resultaat van de borstsparende behandeling en kan een reresectie tot gevolg hebben. Toch is er een aantal zaken dat de validiteit van deze indicator potentieel ondermijnt.
Zo hanteren IGZ en ZiZo verschillende definities voor irradicaliteit (tabel 1). De plaats van een ziekenhuis op de respectieve ranglijsten kan behoorlijk verschillen afhankelijk van de gebruikte definitie. Bovendien kan het gebruik van verschillende definities leiden tot verwarring en foutieve interpretatie.
Daarnaast is er in de literatuur een aantal risicofactoren beschreven voor irradicale resectie van het mammacarcinoom, zoals de aanwezigheid van een niet-palpabele tumor, in situ of lobulair carcinoom en het geven van neoadjuvante chemotherapie.8-12 Het is de vraag of deze factoren de uitkomsten op de indicator beïnvloeden en in hoeverre zij de gemeten verschillen tussen de ziekenhuizen verklaren.
Het doel van dit onderzoek is om na te gaan of de prestatie-indicator ‘percentage irradicaliteit na eerste borstsparende operatie’ de kwaliteit van de borstkankerchirurgie in de geaffilieerde ziekenhuizen van het Integraal Kankercentrum West consistent beoordeelt, onafhankelijk van de gebruikte definitie en verschillen in casemix, en rekening houdend met toevalsvariatie.
Patiënten en Methoden
In dit onderzoek vergelijken wij 3 indicatoren voor irradicaliteit: de indicator zoals die wordt gehanteerd door ZiZo, zoals die wordt gehanteerd door IGZ, en de indicator ‘percentage reresecties’ (zie tabel 1).
Definities
In de set indicatoren van ZiZo is irradicaliteit gedefinieerd als: ‘tumor in de snijrand, meer dan focaal irradicaal’.13 Deze definitie is overgenomen uit de evidence-based richtlijn ‘Mammacarcinoom’ die door het Nationaal Borstkankeroverleg Nederland (NABON), in samenwerking met het Kwaliteitsinstituut voor de Gezondheidszorg CBO en de Vereniging van Integrale Kankercentra, is ontwikkeld.14 De richtlijn maakt onderscheid tussen ‘focale irradicaliteit’, en ‘meer dan focale irradicaliteit’ (figuur 1). ‘Focaal irradicaal’ is gedefinieerd als: ‘tumor in beperkt gebied in snijrand’. De nabehandeling bestaat uit radiotherapie, wat de normale nabehandeling is na een borstsparende operatie. ‘Meer dan focaal’ is gedefinieerd als: ‘tumor in groot gebied in snijrand’. Hierbij is een reresectie geïndiceerd.
De IGZ hanteert de volgende definitie voor irradicaliteit: ‘tumorresidu in snijrand’. Dat wil zeggen: alle gevallen, waarbij er tumorresidu wordt gevonden binnen 1 mm van de rand van het preparaat, ongeacht de consequenties ten aanzien van vervolgbehandeling.7
Ter controle vergelijken wij de percentages irradicaliteit volgens beide definities met de alternatieve indicator ‘percentage reresecties na een primair borstsparende operatie’. Hierbij zijn reresecties gedefinieerd als: ‘alle vervolgoperaties aan dezelfde borst behorend bij het initiële behandelplan van de tumor, die zijn uitgevoerd op een latere dag dan de borstsparende operatie’. Het kan dan gaan om een tweede borstsparende operatie of een ablatie. De belangrijkste indicatie voor een reresectie is ‘meer dan focale irradicaliteit’. Het omvat echter meer indicaties. Het percentage reresecties geeft desalniettemin een belangrijk nadeel weer voor de patiënt.
Gegevensverzameling
De data voor het onderzoek zijn afkomstig uit de kankerregistratie van het Integraal Kankercentrum West. In het kader van het project ‘Kwaliteitsinformatiesysteem mammatumoren’, ontwikkeld door het Regionaal Professioneel Netwerk van Oncologisch Chirurgen, registreert het centrum in aanvulling op de kankerregistratie prospectief gegevens over het diagnostisch proces, de behandeling en de uitkomst van zorg voor patiënten met mammacarcinoom in de regio West.15
Het Integraal Kankercentrum West registreert de irradicaliteit zowel volgens de definitie van de IGZ als volgens die van de ZiZo. Reresecties worden eveneens geregistreerd. Indien de radicaliteit voor één van beide componenten, invasief of in situ carcinoom, niet duidelijk vermeld staat in het pathologieverslag wordt de radicaliteit geregistreerd als ‘onbekend’. De methode van dataverzameling van de kankerregistratie staat beschreven op de website van de Integrale Kanker Centra (www.ikcnet.nl/page.php?id=2898&nav_id=160).
Patiënten
Van alle vrouwen, die in de periode van 1 juli 2007-30 juni 2008 gediagnosticeerd werden met een invasief of in situ carcinoom en die primair borstsparend werden geopereerd in één van de ziekenhuizen in de regio West, verzamelden wij gegevens over hun leeftijd, de invasiviteit, histologie en palpabiliteit van de tumor, de tumorgrootte, het tumorstadium en neoadjuvante therapie. Vervolgens verzamelden wij van het gehele cohort gegevens over de radicaliteit van de tumor volgens de definities van IGZ en ZiZo en gegevens over reresecties. Patiënten bij wie preoperatief metastasen waren vastgesteld of van wie de radicaliteit van de resectie onbekend was, werden geëxcludeerd.
Wij berekenden percentages irradicaliteit volgens de definities van IGZ en ZiZo, van het gehele cohort en van alle patiënten die primair borstsparend werden geopereerd wegens een carcinoma in situ. Deze percentages vergeleken wij met het percentage reresecties. Percentages werden berekend met bijbehorende 95%-betrouwbaarheidsintervallen (95%-BI). Daarna werden de percentages per individueel ziekenhuis berekend.
Databewerking
Met een pearson-χ2-toets identificeerden wij patiënt- en tumorkenmerken die van invloed waren op het optreden van irradicaliteit volgens de definities van IGZ en ZiZo en op het ondergaan van een reresectie. Uitslagen met p < 0,05 bij 2-zijdige toetsing werden als significant beschouwd. Met de factoren die bekend zijn uit de literatuur voor het optreden van irradicaliteit, voerden wij een multivariate analyse uit door middel van logistische-regressieanalyse. Daarna werden de resultaten van de individuele ziekenhuizen op de 3 indicatoren gecorrigeerd met een risicocorrectie.
Wij gebruikten ‘funnelplots’ (fuikgrafieken; zie uitleg) om zowel de ongecorrigeerde, als de gecorrigeerde resultaten van individuele ziekenhuizen per indicator weer te geven. De funnelplot laat de resultaten van de ziekenhuizen zien rond de door het NABON vastgestelde norm voor irradicaliteit van 20%, samen met de 95% en 99,8% betrouwbaarheidsgrenzen. De betrouwbaarheidsgrenzen werden berekend rondom de norm en in relatie tot het aantal patiënten per ziekenhuis. Voor de databewerking gebruikten wij Statistical Package for the Social Sciences (SPSS Inc., Chicago, VS) versie 15.
Resultaten
Patiëntkarakteristieken
Van 1 juli 2007-30 juni 2008 werden 1271 vrouwen geopereerd wegens een invasief of in situ mammacarcinoom in een van de geaffilieerde ziekenhuizen; 782 patiënten (61%) ondergingen een primair borstsparende operatie. In totaal werden 20 patiënten geëxcludeerd, vanwege onbekende radicaliteit (n = 16) of preoperatief vastgestelde metastasen (n = 4). Tabel 2 toont de karakteristieken van de 762 geïncludeerde patiënten.
Resultaten totale groep
Tabel 3 toont de percentages irradicaliteit volgens IGZ en ZiZo en het percentage reresecties. Bij 21% (95%-BI: 18-24) van alle patiënten was sprake van irradicaliteit volgens de IGZ en bij 11% (95%-BI: 8-13) volgens ZiZo. Van alle patiënten onderging 19% (95%-BI: 16-22) een reresectie. Van alle sparend geopereerde patiënten met alleen carcinoma in situ was bij 29% (95%-BI: 20-37) sprake van irradicaliteit volgens IGZ en bij 17% (95%-BI: 17-24) volgens ZiZo. Bij 37% (95%-BI: 28-46) werd een reresectie verricht. De vergelijking van de percentages irradicaliteit met het percentage reresecties toonde dat 6% van de patiënten van wie de eerste resectie radicaal was, toch een reresectie onderging.
Resultaten individuele ziekenhuizen en rangorde
Tabel 4 is een weergave van de percentages irradicaliteit volgens IGZ en ZiZo en het percentage reresecties na een borstsparende operatie van de 9 ziekenhuizen in de regio West. De percentages van de individuele ziekenhuizen verschilden onderling tot 19%, afhankelijk van de gebruikte definitie. Figuur 2 geeft van elk ziekenhuis het verloop van de resultaten weer voor de 3 indicatoren.
Casemixvariabelen en toevalsvariatie
Tabel 5 en 6 tonen de resultaten van respectievelijk de univariate en multivariate analyse. De aanwezigheid van carcinoma in situ bleek significant samen te hangen met het optreden van irradicaliteit en het ondergaan van een reresectie (odds ratio (OR): 1,76 (95%-BI: 1,06-2,92) voor IGZ; OR: 1,78 (95%-BI: 0,96-3,31) voor ZiZo; OR: 3,38 (95%-BI: 2,05-5,56) voor een reresectie). Ook ziekenhuis van operatie was een significante factor (p-waarde < 0,001). De andere factoren verschilden niet significant.
Figuur 3 toont funnelplots van de resultaten van alle ziekenhuizen op alle 3 de indicatoren, respectievelijk ongecorrigeerd en gecorrigeerd voor alle casemixvariabelen die bekend zijn uit de literatuur. In de funnelplot is de landelijke norm voor irradicaliteit van 20% aangehouden. Onder en boven de 95%-BI bevinden zich de ziekenhuizen die significant beter of slechter presteren dan de norm.
De ongecorrigeerde funnelplot (zie figuur 3a) laat zien dat de meeste ziekenhuizen binnen de 95%-BI van de norm vielen. Van de 9 ziekenhuizen presteerde 1 ziekenhuis slechter dan de norm wanneer de definitie volgens IGZ werd gehanteerd, en 1 ziekenhuis wanneer het percentage reresecties werd gehanteerd. 2 ziekenhuizen presteerden significant beter dan de norm op basis van de definitie van ZiZo.
Figuur 3b laat zien dat wanneer er voor casemix gecorrigeerd werd de verschillen tussen de ziekenhuizen afnamen. Eén ziekenhuis bleef significant slechter presteren dan de norm op basis van de definitie volgens IGZ. Dit ziekenhuis presteerde echter binnen de norm wanneer er naar de definitie van ZiZo of het percentage reresecties werd gekeken.
Beschouwing
Voor een zuiver zicht op de kwaliteit van zorg is het nodig dat een indicator valide is, dat wil zeggen: betrouwbaar, vergelijkbaar en rekening houdend met de rol van statistisch toeval.16 Onze studie toont aan dat de beoordeling van een ziekenhuis op de indicator ‘irradicaliteit na borstsparende operatie’ afhankelijk is van de gehanteerde definitie en het al dan niet corrigeren voor casemix. Daarnaast maakten wij gebruik van een funnelplot waarin de resultaten zijn weergegeven rond de landelijk gestelde norm voor irradicaliteit van 20% en de bijbehorende 95%-BI. Hoewel de percentages irradicaliteit tussen de ziekenhuizen ogenschijnlijk sterk variëren, laat de funnelplot zien dat het merendeel van de ziekenhuizen binnen de 95%-BI van de norm vallen. Dit betekent dat de verschillen tussen deze ziekenhuizen te verklaren zijn door toevalsvariatie. Afhankelijk van de gehanteerde definitie (IGZ, ZiZo of reresecties) en het al dan niet corrigeren voor casemix, konden ziekenhuizen bovendien wel of niet binnen de 95%-BI van de norm vallen. Het is daarom de vraag of deze indicator, zoals die momenteel wordt toegepast, wel een zuiver zicht op de kwaliteit van borstkankerchirurgie verschaft.
Betrouwbaarheid en definities
Een indicator is betrouwbaar als de gegevensverzameling volledig is en overal op dezelfde wijze gebeurt.16 Hiervoor is een eenduidige definitie essentieel. Er is echter een aantal factoren dat de interpretatie van het begrip ‘irradicaliteit’ bemoeilijkt.
Zo is er in de internationale literatuur geen consensus over de definitie van irradicaliteit na een borstsparende operatie.17,18 Wanneer een tumor in de geïnkte snijrand reikt is er sprake van irradicaliteit. Echter, vaak wordt er als voorwaarde voor radicaliteit ook een minimale tumorvrije marge tot de snijrand gehanteerd die in de literatuur varieert van 1 tot 5 mm. In de Nederlandse evidence-based richtlijn wordt een tumorvrije marge van 1 mm geaccepteerd als radicaal.14 Wanneer er sprake is van focale of meer dan focale irradicaliteit is echter niet duidelijk omschreven.
Zowel de definitie van IGZ als de definitie van ZiZo is gebaseerd op de Nederlandse evidence-based richtlijn. Beide zijn in samenspraak met de beroepsgroep ontwikkeld. Helaas zijn de definities echter niet onderling afgestemd, waardoor ziekenhuizen aan beide instanties verschillende gegevens moeten aanleveren. Dit schept verwarring en werkt interpretatieverschillen nog verder in de hand, waardoor de betrouwbaarheid van de gerapporteerde resultaten ter discussie staat.
Inderdaad lijkt het begrip ‘irradicaliteit’ verschillend te worden geïnterpreteerd in de verschillende ziekenhuizen. In ieder geval zijn er verschillen in de beoordeling van de snijranden door de patholoog en in de consequenties die daaraan worden verbonden. Dit blijkt uit de opvallende discrepantie tussen de percentages irradicaliteit en het percentage reresecties. Zo was in ziekenhuis B 1% van de borstsparende operaties irradicaal, maar werd er bij 8% een reresectie verricht. Bij ziekenhuis F daarentegen was 31% van de borstsparende operaties irradicaal, gevolgd door een reresectie bij 23% van alle patiënten. Dit suggereert dat de interpretatie van het begrip ‘irradicaliteit’ niet overal hetzelfde is.
Deze discrepantie blijkt ook uit het feit dat 6% van de patiënten van wie de eerste resectie als radicaal was geclassificeerd door de patholoog, toch een reresectie onderging. Dit waren deels patiënten die erfelijk belast waren met een ‘breast cancer’ (BRCA)1- of BRCA2-genmutatie en alsnog een ablatie kregen. Het overige deel bestond echter uit patiënten, van wie de eerste borstsparende operatie als radicaal was beoordeeld door de patholoog, maar bij wie het multidisciplinaire team toch besloot tot een reresectie, bijvoorbeeld wegens een krappe marge, en derhalve de eerste resectie tochals irradicaal beschouwde.
Ook de volledigheid van de gegevensverzameling is een voorwaarde voor een betrouwbare indicator. Van 16 van de 782 patiënten was de radicaliteit echter onbekend. Dit betekent dat in die gevallen de informatie over de radicaliteit niet eenduidig was terug te vinden in het pathologieverslag.
Kortom, zowel de volledigheid als de uniformiteit van de gegevensverzameling zijn voor verbetering vatbaar. Uniforme, gestandaardiseerde verslaglegging en een eenduidige definitie, die weinig ruimte laat voor interpretatie, kunnen de betrouwbaarheid verbeteren.19,20 Dit is niet alleen van belang voor een betrouwbare indicator, maar ook voor de bruikbaarheid in de patiëntenzorg.
Norm
De beoordeling van de kwaliteit hangt ook in grote mate af van de gestelde norm en het karakter van de norm. Volgens de norm in de NABON-nota moet minimaal 80% van de borstsparende operaties voor een invasieve tumor radicaal zijn en 70% als er alleen sprake is van ductaal carcinoma in situ. Daarnaast moet minimaal 90% van de excisies van maligne tumoren ‘in 1 preparaat verricht zijn’, dat wil zeggen in 1 (borstsparende) operatie. Met andere woorden: maximaal 10% van alle primair borstsparend behandelde patiënten mag een reresectie ondergaan.13 Of een ziekenhuis wel of niet binnen 95%-BI van de norm valt, hangt af van de gebruikte norm. Wanneer wij bijvoorbeeld in de funnelplot de norm van 10% voor reresecties hadden aangehouden in plaats van 20% voor irradicaliteit, zouden meer ziekenhuizen geïdentificeerd zijn als significant beter of slechter presterend dan de norm.
De ZiZo heeft de NABON-norm voor irradicaliteit overgenomen en baseert de norm net als het NABON op alle resecties die meer dan focaal irradicaal waren. De IGZ heeft de norm van 80% ook overgenomen, maar niet de definitie, en telt ook de resecties mee die focaal irradicaal waren. Dit leidt tot onvergelijkbare resultaten en potentieel tegenstrijdige conclusies over de kwaliteit van zorg. Het is daarom van belang tenminste de juiste normen te koppelen aan de juiste definities.
Daarnaast wordt in de beoordeling van ziekenhuizen de NABON-norm gebruikt alsof het een minimumeis betreft. De NABON-nota beschrijft echter normen voor hoe de zorg idealiter georganiseerd zou zijn. Het betreft hier dus streefnormen en geen minimumnormen.21 De normen zijn daarom ambitieus gesteld en impliceren dat ze niet altijd gehaald kunnen worden.22
Vergelijkbaarheid en casemix
Voor de vergelijkbaarheid van ziekenhuizen is het van belang dat de resultaten van een indicator gecorrigeerd zijn voor verschillen in casemix.23,24 Om in ons onderzoek casemixcorrectie mogelijk te maken, analyseerden wij in de literatuur beschreven risicofactoren voor irradicaliteit, zoals leeftijd, niet palpabele tumor, geïsoleerd ductaal carcinoma in situ, lobulair carcinoom en neoadjuvante chemotherapie.8-11 In tegenstelling tot eerder onderzoek was alleen geïsoleerd ductaal carcinoma in situ in onze studie een significante risicofactor voor het optreden van irradicaliteit en het ondergaan van een reresectie. Geen van de partijen past casemixcorrectie toe. ZiZo houdt in de normering wel rekening met ductaal carcinoma in situ.
Toevalsvariatie en funnelplots
Resultaten van een indicator worden meestal weergegeven in een ranglijst, wat een rangorde van goed naar slecht suggereert, zonder inzicht te geven in de rol van statistisch toeval. Onlangs beschreven Van Dishoeck et al. hoe de weergave van de resultaten in een funnelplot de toevalsvariatie wél inzichtelijk maakt.5 De funnelplot is daarom beter geschikt voor de weergave van de resultaten. Ook in onze studie laat de funnelplot zien dat een deel van de variatie tussen de ziekenhuizen is te verklaren door statistisch toeval. Daarbij laat de funnelplot zien dat ook de gehanteerde definitie en het wel of niet corrigeren voor casemix de beoordeling van de kwaliteit beïnvloedt.
Conclusie
Het percentage irradicaliteit en het percentage reresecties na een borstsparende operatie zijn een belangrijk gegeven in de beoordeling van de kwaliteit van borstkankerzorg. Voorwaarden voor een valide indicator zijn echter betrouwbaarheid, vergelijkbaarheid en een weergave die inzicht geeft in de rol van toeval. Helaas voldoet de indicator ‘percentage irradicaliteit na borstsparende operatie’ niet aan deze voorwaarden.
De validiteit van de indicator wordt door een aantal factoren beperkt. Onduidelijke definiëring van het begrip ‘irradicaliteit’ ondermijnt een betrouwbare gegevensverzameling. Het ontbreken van casemixcorrectie beperkt de vergelijkbaarheid van ziekenhuizen. Onjuiste toepassing van de norm en publicatie van resultaten in ranglijsten, kunnen bovendien leiden tot onjuiste conclusies over de kwaliteit van zorg.
Om daadwerkelijk zuiver zicht op de kwaliteit van borstkankerzorg te verkrijgen, zullen de verschillende partijen die verantwoordelijk zijn voor de indicatoren, daarom op korte termijn tenminste afspraken moeten maken voor een uniforme definitie van irradicaliteit en de bijbehorende norm. Op de lange termijn heeft een uniforme registratie, die geïmplementeerd is in de praktijk de voorkeur. Idealiter in een systeem dat verschillen in casemix en toevalsvariatie in acht neemt. Het stemt dan ook hoopvol dat het NABON het initiatief heeft genomen om tot een betrouwbare registratie van de borstkankerzorg in Nederland te komen in de vorm van een landelijke audit.
Uitleg
Casemix Deze term heeft betrekking op verschillen tussen ziekenhuizen in karakteristieken van patiënten die de uitkomsten kunnen beïnvloeden. Patiëntgebonden factoren, bijvoorbeeld comorbiditeit of, zoals in dit artikel, bepaalde tumorkenmerken, kunnen de uitkomsten namelijk beïnvloeden: wanneer een ziekenhuis moeilijkere patiënten behandelt kunnen de uitkomsten slechter uitvallen. Dit wordt ook wel zorgzwaarte genoemd. Om ziekenhuizen met elkaar te vergelijken moet er dus gecorrigeerd worden deze verschillen in casemix.
Funnelplot Een funnelplot (fuikgrafiek) is een grafische weergave van ziekenhuisresultaten in een plot waarin de resultaten samen met betrouwbaarheidsintervallen rond een gestelde norm of een landelijk gemiddelde zijn uitgezet. Elk ziekenhuis is weergegeven als een punt in de plot. Op de y-as staat de gemeten uitkomst en op de x-as het ziekenhuisvolume (het aantal procedures per jaar). Resultaten van eenzelfde ziekenhuis (of ziekenhuizen met hetzelfde volume) staan dus in een verticale lijn boven elkaar. De betrouwbaarheidsgrenzen worden berekend in relatie tot het ziekenhuisvolume. Hierdoor versmallen de betrouwbaarheidsintervallen naarmate het volume hoger wordt. Een funnelplot geeft inzicht in hoeverre variatie tussen ziekenhuizen kan worden verklaard door toeval. Variatie tussen ziekenhuizen binnen de betrouwbaarheidsintervallen berust op toevalsvariatie. Ziekenhuizen die hoger of lager liggen dan de betrouwbaarheidsintervallen, presteren significant slechter of beter dan de gestelde norm of het landelijk gemiddelde.25
Leerpunten
Voor de betrouwbaarheid van een prestatie-indicator zijn eenduidige definities en uniforme registratie essentieel.
Om ziekenhuizen goed te kunnen vergelijken is het belangrijk om voor verschillen in casemix te corrigeren.
Voor de weergave van resultaten is een funnelplot geschikt, omdat deze inzicht geeft in de prestaties van ziekenhuizen ten opzichte van zowel de norm als de bijbehorende betrouwbaarheidsintervallen, en daarmee in de rol van statistisch toeval.
Het gebrek aan eenduidige definiëring van de prestatie-indicator ‘irradicaliteit na borstsparende operatie’ en het ontbreken van casemixcorrectie ondermijnen de validiteit van deze indicator.
Literatuur
Evaluatie Kwaliteitswet Zorginstellingen. Tweede Kamer, ed. 28439 nr 12; 2005-2006.
A. Klink. Van verondersteld naar verdiend vertrouwen. 2008. www.minvws.nl/toespraken/cz/2008/van-verondersteld-naar-verdiend-vertrouwen.asp.
van Venrooij T. Registreren, terugkoppelen en publiceren. Med Contact2009;64:448-51.
Giard RW. De kwintesses van kwaliteitszorg. Ned Tijdschr Geneeskd. 2009;153:47-9 Medline.
van Dischoeck AN, Looman CMN, van der Wilden-van Lier ECM. Mackenbach JP en Steyerberg EW. Prestatie-indicatoren voor ziekenhuizen, de invloed van onzekerheid. Ned Tijdschr Geneeskd. 2009;153:B161.
Rutgers EJTh, Wittenberg J, Kuijpers AC. Kwaliteit van zorg rond mammacarcinoom in de etalage, set externe indicatoren. 2006. www.zichtbarezorg.nl/mailings/FILES/documenten/Ziekenhuizen/Mammacarcinoom%20Indicatorenset.pdf
Inspectie voor de Gezondheidszorg. Basisset Prestatie Indicatoren 2008. Utrecht; 2009. www.igz.nl/zoeken/document.aspx?doc=Basisset_prestatie_indicatoren_ziekenhuizen_2008&URL=
Bijker N, Peterse JL, Duchateau L, et al. Risk factors for recurrence and metastasis after breast-conserving therapy for ductal carcinoma-in-situ: analysis of European Organization for Research and Treatment of Cancer Trial 10853. J Clin Oncol. 2001;19:2263-71 Medline.
Smitt MC, Horst K. Association of Clinical and Pathologic Variables with Lumpectomy Surgical Margin Status after Preoperative Diagnosis or Excisional Biopsy of Invasive Breast Cancer. Ann Surg Oncol. 2007;14:1040-4 Medline. doi:10.1245/s10434-006-9308-1
Keskek M, Kothari M, Ardehali B, Betambeau N, Nasiri N, Gui GP. Factors predisposing to cavity margin positivity following conservation surgery for breast cancer. Eur J Surg Oncol. 2004;30:1058-64 Medline. doi:10.1016/j.ejso.2004.07.019
Soucy G, Belanger J, Leblanc G, et al. Surgical margins in breast-conservation operations for invasive carcinoma: does neoadjuvant chemotherapy have an impact? J Am Coll Surg. 2008;206:1116-21 Medline. doi:10.1016/j.jamcollsurg.2007.12.025
de Zeeuw S, Wildenberg F, Strobbe L, Wobbes T. Vaker tweede operatie na borstsparende behandeling wegens invasief lobulair dan wegens invasief niet-lobulair carcinoom. Ned Tijdschr Geneeskd. 2009;153:A56 Medline.
Nationaal Borstkanker Overleg Nederland. NABON-Nota Handboek Organisatie Mammazorg. Amsterdam; 2008. www.oncoline.nl/uploaded/docs/mammacarcinoom/NABON%20nota%202008.pdf
Nationaal Borstkanker Overleg Nederland, Kwaliteitsinstituut voor de Gezondheidszorg CBO, Vereniging van Integrale Kankercentra. Richtlijn Mammacarcinoom 2008. Amsterdam; 2008. www.cbo.nl/Downloads/328/rl_mamma_08.pdf
Blaauwgeers HGT. Normen voor Mammazorg, Kwaliteitsinformatiesysteem toetst de zorg voor patienten met borstkanker. Med Contact. 2005;60:1828-31.
Wollersheim H, Hermens R, Hulscher M, et al. Clinical indicators: development and applications. Neth J Med. 2007;65:15-22 Medline.
Luini A, Rososchansky J, Gatti G, et al. The surgical margin status after breast-conserving surgery: discussion of an open issue. Breast Cancer Res Treat. 2009;113:397-402 Medline. doi:10.1007/s10549-008-9929-0
von Smitten K. Margin status after breast-conserving treatment of breast cancer: how much free margin is enough? J Surg Oncol. 2008;98:585-7 Medline. doi:10.1002/jso.21038
Srigley JR, McGowan T, Maclean A, et al. Standardized synoptic cancer pathology reporting: a population-based approach. J Surg Oncol. 2009;99:517-24 Medline. doi:10.1002/jso.21282
Mack LA, Bathe OF, Hebert MA, et al. Opening the black box of cancer surgery quality: WebSMR and the Alberta experience. J Surg Oncol. 2009;99:525-30 Medline. doi:10.1002/jso.21266
Everdingen van JJ. Scheffer GJ, Legemaate J. Morgen gebeurt het. Ned Tijdschr Geneeskd. 2009;153:480-2 Medline.
Wobbes T, Schlooz-Vries MS. Een tweede borstoperatie: vaak een noodzakelijke ingreep en geen teken van onvoldoende oncologische zorg. Ned Tijdschr Geneeskd. 2008;152:2005-6 Medline.
Lingsma HF, Dippel DWJ, Hoeks SE, et al. Verschillen tussen ziekenhuizen in uitkomst na een herseninfarct vooral verklaard door patiëntkenmerken en slechts ten dele door verschillen in de kwaliteit van zorg. Ned Tijdschr Geneeskd. 2008;152:2126-32 Medline.
Wouters MW, Wijnhoven BP, Karim-Kos HE, et al. High-volume versus low-volume for esophageal resections for cancer: the essential role of case-mix adjustments based on clinical data. Ann Surg Oncol. 2008;15:80-7 Medline. doi:10.1245/s10434-007-9673-4
Mayer EK, Bottle A, Rao C, Darzi AW, Athanaiou T. Funnel plots and their emerging application in surgery. Ann Surg. 2009;249:376-83.
Artikelinformatie
Citeer dit artikel als
De prestatie-indicator ‘irradicaliteit na borstsparende operat
In het IGZ-rapport Zichtbare Zorg werd een grote variatie gevonden tussen 95 ziekenhuizen in de irradicaliteit van borstsparende operaties wegens borstkanker, variërend van minder dan 5% tot meer dan 40% (gemiddeld 10,6%) [1]. Door de EORTC wordt een norm van 10% gehanteerd [2].
Gooiker e.a. vergeleken drie kwaliteitsnormen -in feite drie manieren om het PA-preparaat te beoordelen- voor 9 ziekenhuizen uit de IKW-regio. Zij concludeerden dat de indicatoren niet gebruikt kunnen worden door gebrek aan eenduidigheid over definities. Zij betwisten daarmee de conclusie van het IGZ rapport Zichtbare zorg. Maar hun conclusie staat haaks op hun eigen resultaten die juist bevestigen dat de indicatoren wèl gebruikt kunnen worden om afwijkende ziekenhuizen te herkennen. Ondanks de kleine steekproef, bevestigt de studie grotere studies dat de meeste ziekenhuizen rond een gemiddelde scoren, in deze steekproef rond 20%. Belangrijker is dat de drie criteria goed correleren, en geen paradoxale resultaten geven. Vooral duidelijk is de dat de drie indicatoren goed overeenkomen voor de twee extreem scorende ziekenhuizen A en B, ook na casemix-correctie. Dat zij geen verband vonden tussen patiëntaantallen en de prestatieindicatoren hangt ongetwijfeld samen met de kleine omvang van hun studie, niet met de lage validiteit van de indicatoren.
Gooiker e.a. gaan niet in op hun meest verontrustende bevinding, namelijk dat twee ziekenhuizen op 2 van de 3 indicatoren significant, en op 1 indicator marginaal significant afwijken. Wat doen die twee ziekenhuizen anders dan de anderen? Verwijderen chirurgen in ziekenhuis B misschien te veel gezond borstweefsel? Is de pathologie niet nauwkeurig genoeg? Wordt er minder accuraat geregistreerd en gerapporteerd? En in ziekenhuis A: zijn de chirurgen te behoudend in hun tumorresecties? Worden de PA-preparaten (te) scrupuleus bekeken? En dan de gewetensvragen waar het om draait: zouden Gooiker e.a. hun vrouw, dochter, zus, moeder of zichzelf met een gerust hart in ziekenhuis A laten opereren voor borstkanker? Hebben patiënten niet hetzelfde recht op die informatie als Gooiker e.a. ? [3]
dr. Lukas Stalpers, radiotherapeut AMC
prof. em. dr. Frits van Dam, psycholoog
1. IGZ-rapport zichtbare zorg. www.igz.nl
2. Perry et al. Ann Oncol 2008;19:614-622
3. van Dam FSAM. Ned Tijdschr Geneeskd 2004: 814-5
Prestatieindicator irradicaliteit borstkanker
Stalpers en van Dam stellen dat resultaten moeten correleren en niet paradoxaal zijn. De auteurs beschrijven een kiesregel , namelijk prestaties onder en boven de norm van de ondergrens van het betrouwbaarheidsinterval. Dit is een kiesregel ,die bekend staat als approval voting. (1).Geen correlatie en paradoxen worden veroorzaakt door inconsistentie (2)en afhankelijkheid van irrelevante prestaties(3).Bij de beschreven kiesregel zijn deze niet mogelijk. (1). Stalpers en van Dam gaan er aan voorbij, dat de auteurs door de kiesregel approval voting juist een oplossing voor dit probleem presenteren. Een punt van zorg is dat bij approval voting manipulatie van de uitslag mogelijk is. In het volgende voorbeeld worden van 3 zorgaanbieders a,b,c de rangordes van prestatie-indicatoren vermeld. Links van >> staan de zorgaanbieders ,die aan de norm voldoen.
======================
a c >>b 5 prestatie-indicatoren;a b>>c 7 prestatie-indicatoren;c>> a b 3 prestatie-indicatoren ;c>> b ca 7 prestatie-indicatoren;b a >> c 3 prestatie-indicatoren;b c >> a 6 prestatie-indicatoren;
=========================
a vergaart 5+7+0+0+3+0=15 stemmen.,b vergaart 0+7+0+0+3+6=16 stemmen en c vergaart 5+0+3+7+0+6=21 stemmen
Bij approval voting is de rangorde c b a. Als bij de laatste 6 prestatie-indicatoren de norm verhoogd wordt zodat b>> ca dan krijgt c 21-6= 15 stemmen en wordt b de winnaar met 16 stemmen ipv c .
Hieruit blijkt dat approval voting gevoelig is voor manipulatie en strategisch gedrag.
Artruro Knol, huisarts, Groningen
1. Swart H,Deemen A Hout E Kop P Verkiezingen een web van paradoxen Epsilon 2003 Utrecht
2. A.Knol Ned Tijdschr Geneeskd. 2009;153:B161
3. A.Knol Ned Tijdschr Geneeskd. 2009;153:A574
Is de prestatieindicator 'irradicaliteit' betrouwbaar?
Dr. Lukas Stalpers en prof.em.dr. Frits van Dam constateren terecht dat de percentages irradicaliteit in de steekproef van ziekenhuizen sterk uiteenlopen. Hoewel het merendeel van de spreiding is te verklaren door toevalsvariatie (de ziekenhuizen vallen binnen de 95%- betrouwbaarheidsintervallen van de norm), zijn er inderdaad twee duidelijke outliers te herkennen.
Stalpers en van Dam vragen zich terecht af wat de oorzaak is van de ‘outlier status’ van deze ziekenhuizen. Zij merken zelf al op dat de oorzaak zou kunnen liggen in minder accurate rapportage en registratie, dat de pathologie niet nauwkeurig genoeg is of dat de PA preparaten juist te scrupuleus worden bekeken. Kortom, dat de oorzaak zou kunnen liggen in onbetrouwbare registratie binnen het ziekenhuis.
In ons artikel zien wij aanwijzingen voor onbetrouwbare registratie van irradicaliteit in de ziekenhuizen. Dit uit zich vooral in de discrepanties tussen de percentages irradicaliteit en de percentages reresecties van zowel het complete cohort, als de individuele ziekenhuizen.
Het feit dat het merendeel is te verklaren door toevalsvariatie is dan ook niet de reden dat de indicator ‘percentage irradicaliteit na een borstsparende operatie’ geen valide indicator is. Sterker nog, een prestatie indicator hoeft ons inziens niet per se te discrimineren tussen goede en slechte ziekenhuizen. De bevinding dat alle ziekenhuizen presteren rond de norm zou juist geruststellend zijn. Wel zouden de resultaten van indicatoren moeten worden weergegeven in funnelplots in plaats van ranglijsten, zodat de toevalsvariatie inzichtelijk is.
De validiteit van de indicator ‘percentage irradicaliteit na borstsparende operatie’ wordt echter wel ondermijnd door het feit dat irradicaliteit niet eenduidig en uniform wordt geregistreerd in de ziekenhuizen. Een betrouwbare vergelijking tussen ziekenhuizen is tenslotte niet te maken als ieder ziekenhuis een verschillende definitie hanteert voor irradicaliteit, de definitie verschillend interpreteert of onvolledig registreert.
Kortom, als onze vrouw, dochter, zus, moeder, of wijzelf met borstkanker zouden worden gediagnosticeerd, hebben óók wij geen betrouwbare informatie over de kwaliteit in de ziekenhuizen. Want niet alleen zijn de gerapporteerde percentages op de indicator onbetrouwbaar, de uitkomsten van een enkele indicator geven ook een beperkt beeld van de kwaliteit van zorg. Zo zouden wij naast het percentage irradicaliteit ook willen weten of bijvoorbeeld de richtlijnen worden gevolgd, en in welke gevallen er voor een amputatie gekozen wordt met al dan niet de mogelijkheid voor een directe reconstructie. Zolang dit soort informatie ontbreekt, rest ook ons niets anders dan af te gaan op de reputatie van een ziekenhuis en de juiste vragen te stellen aan de behandelend arts.
Gea Gooiker, arts-onderzoeker, LUMC Michel Wouters, chirurg, LUMC Prof. dr. Rob Tollenaar, chirurg, LUMC
Prestatieindicator irradicaliteit borstkankeroperaties
De auteurs beschrijven een vreemd betrouwvbaarheidsinterval en een kiesregel.
In tabel 4 worden de prestatie-indicator irradicaliteit met percentages geëvalueerd. Hierbij wordt het percentage berekend uit het aantal operaties met irradicaliteit gedeeld door het aantal verrichtte operaties. Beide worden geteld volgens de natuurlijke getallen (0,1,2,3,4,….). Een percentage berekend uit deze natuurlijke getallen kan nooit negatief zijn. De auteurs vermelden bij ziekenhuis B in tabel 4 twee keer een betrouwbaarheidsinterval van (-1-4) met een negatieve waarde. Het interval (-1,0) heeft exact een kans van 0%. Algemeen wordt aangeraden om uitkomsten van statistische berekeningen in overeenstemming te brengen met de realiteit .(1) Het is bekend, dat bepaalde berekeningen tot negatieve waarden leiden. Het is opvallend ,dat deze fout al eerder is gesignaleerd.(2) Algemeen wordt geadviseerd de percentages aan te passen. (1) In dit geval is het beter om de waarde -1 door 0 te vervangen.
De auteurs beschrijven een beoordelingsmethode, die twee groepen selecteert namelijk beneden en boven de ondergrens van het betrouwbaarheidsinterval. Zij beschrijven hiermee een kiesregel. Deze kiesregel staat bekend als approval voting.(3) Approval voting is niet paretooptimaal en niet streng monotoon. Paretooptimaliteit speelt een belangrijke rol in de geneeskunde. Dit wordt via consensus gerealiseerd. De approval methode geeft geen garantie op een gelijk oordeel met de consensusmethode. In het volgende voorbeeld worden de rangordes voor 2 prestatie-indicatoren bij 3 zorgaanbieders a,b,c vermeld. . Links van van het >> teken zijn de zorgaanbieders vermeld, die aan de norm voldoen.De rangordes van prestatieindicator zijn
a>>b c en b a c >> .
In bovenstaande profielen wordt voor beide prestatie-indicatoren b boven c geprefereerd. Bij approval-voting zijn b en c gelijkwaardig.
Stenge monotonie houdt in, dat betere prestaties tot een betere beoordeling moeten leiden. Als bij de laatste prestatie-indicator b en a worden verwisseld leidt dat niet tot een betere beoordeling bij approval-voting.
De auteurs verwerken de kennis van het tellen met natuurlijke getallen, zoals onderwezen in groep 3 niet in hun artikel en laten na de nadelen van de beschreven kiesregel te noemen.
Arturo Knol, huisarts, Groningen
1. Peacock J, Kerry S. Presenting medical statistics from proposal to publication. Oxford: Oxford University Press; 2007. 2. Ned Tijdschr Geneeskd. 2007;151:2810 3. Storcken AJA ,Swart HCM Verkiezingen, agenda’s en manipulatie Epsilon Utrecht 1992