‘Clinical auditing’, een nieuw kwaliteitsinstrument in de chirurgische oncologie

Inleiding

‘Clinical Auditing’ is een relatief nieuw kwaliteitsinstrument in de Nederlandse gezondheidszorg. Waar in bedrijven op gezette tijden het gehele proces en de kwaliteit van het eindproduct geëvalueerd wordt, is dit in de ziekenhuiszorg nauwelijks gangbare praktijk. In 1915 pleitte dr. Ernest Amory Codman, een chirurg aan de Harvard Universiteit, voor invoering van auditing in de medische praktijk: ‘het systematisch en kritisch analyseren van de kwaliteit van de geleverde zorg, inclusief het proces van diagnostiek, behandeling en uitkomsten, door zorgverleners zelf’.1 In die tijd vond dit bij zijn collega’s nauwelijks navolging. Pas een kleine eeuw later werd wereldwijd het nut van auditing voor kwaliteitsverbetering, transparantie en kostenbeheersing ingezien.

Clinical auditing wordt vooral gebruikt in de chirurgische oncologie. In geen enkel vakgebied is de relatie tussen interventie en uitkomst en tussen kwaliteit en kosten zo duidelijk. Een complicatie kan immers uitmonden in herhaald beeldvormend onderzoek, percutane interventies, heroperaties, langdurig verblijf op de afdeling Intensive Care of in het ziekenhuis; dit alles gaat gepaard met hoge zorgkosten. Continue verbetering van de zorgkwaliteit is daarom zowel in het belang van patiënten als een maatschappelijk belang.

In 2009 is in Nederland de ‘Dutch Surgical Colorectal Audit’ (DSCA) van start gegaan (www.dsca.nl), naar voorbeeld van audits in het buitenland, zoals het ‘National Surgical Quality Improvement Program’ (NSQIP; www.acsnsqip.org) in de Verenigde Staten en het ‘National Bowel Cancer Project’ (NBOCAP) in Groot Brittannië (www.ic.nhs.uk/services/national-clinical-audit-support-programme-ncasp/cancer/bowel). De DSCA is een initiatief van de Nederlandse Vereniging voor Chirurgische Oncologie (NVCO), de Nederlandse Vereniging voor Gastro-intestinale Chirurgie (NVGIC) en de Dutch Colorectal Cancer Group (DCCG). In deze landelijke proces- en uitkomstregistratie van het primair colorectaal carcinoom participeert momenteel 98% van de Nederlandse ziekenhuizen; van meer dan 20.000 patiënten zijn gegevens ingevoerd. Sinds 2010 is deelname aan de DSCA een prestatie-indicator. Het doel van de registratie is aantoonbare verbeteringen in kwaliteit te realiseren door het systematisch meten en terugkoppelen van betrouwbare, voor zorgzwaarte gecorrigeerde spiegel- en sturingsinformatie over het zorgproces en de uitkomsten daarvan.

Diverse beroepsgroepen hebben het afgelopen jaar met medewerking van het Dutch Institute for Clinical Auditing (DICA; www.clinicalaudit.nl) nieuwe kwaliteitsregistraties ontwikkeld voor borst-, slokdarm-, maag- en longkanker, alle volgens de formule van de DSCA. Hiermee beslaan de audits een groot deel van de chirurgische oncologie.

Clinical auditing vergt ook investeringen, niet in de laatste plaats van specialisten, voor wie de registratielast aanzienlijk is. Wij onderzochten daarom, middels een systematische review, of het meten en terugkoppelen van proces- en uitkomstgegevens van chirurgische behandelingen daadwerkelijk resulteert in verbeteringen in het zorgproces en de uitkomsten van zorg.

Methode

Zoekstrategie

Er werd gezocht naar relevante publicaties in PubMed, Web of Science en EMBASE, gepubliceerd vóór 15 mei 2011. Hierbij werden combinaties gebruikt van de ‘medical subject headings’ (MeSH-termen) ‘surgery’ (onderverdeeld in ‘surgical care’ en ‘operative procedure’) en ‘outcome- and process assessment’ (onderverdeeld in ‘medical audit’, ‘outcome assessment’, ‘clinical audit’, ‘quality assurance’ en ‘benchmarking’). De uitkomstmaten waren proces- en/of uitkomstindicatoren en navolging van de richtlijn. Er werd geen beperking op taal van publicatie gehanteerd. Verder werden de websites van relevante organisaties geraadpleegd en de referentielijsten van gevonden artikelen gescreend.

Selectie van artikelen

Wij selecteerden artikelen waarin kwaliteitsveranderingen na introductie van auditing waren gemeten aan de hand van proces- en/of uitkomstindicatoren. Auditing werd als volgt gedefinieerd: ‘het systematisch meten en terugkoppelen van structuur, proces en of uitkomsten van zorg, ten behoeve van kwaliteitsverbetering; wanneer nodig worden veranderingen doorgevoerd op individueel, team-, ziekenhuis- of nationaal niveau en vervolgens door een nieuwe auditcyclus gemonitord.’

Voor inclusie hanteerden wij de volgende criteria: (a) in de studie werd ten minste 1 proces- of uitkomstindicator of richtlijnnavolging gemeten, zowel voor als na auditing; (b) de indicator of richtlijn werd ontwikkeld om de kwaliteit van zorg te evalueren; (c) de indicator of richtlijn focuste op patiëntenzorg binnen de chirurgie.

Artikelen werden geselecteerd door 2 onderzoekers (NK en NvL) die onafhankelijk van elkaar de titel en samenvatting van de gevonden publicaties evalueerden en aan de hand daarvan relevante artikelen identificeerden. Discrepanties werden besproken en zo nodig aan een derde reviewer voorgelegd (MW). Geïdentificeerde artikelen werden gelezen en werden geïncludeerd als zij voldeden aan de genoemde criteria.

Geïncludeerde artikelen werden onderverdeeld in artikelen die (a) het effect van auditing op zich beschreven, (b) auditing plus de daaruit volgende verbetertrajecten onderzochten en (c) het effect van auditing zonder en met verbetertraject vergeleken. Het bewijsniveau werd toegekend aan de hand van de CBO-handleiding ‘Evidence-based Richtlijnontwikkeling’ (www.cbo.nl/thema/Richtlijnen/EBRO-handleiding/A-Levels-of-evidence/).

Resultaten

De zoekstrategie leverde 2415 artikelen op. Na beoordeling van titel en samenvatting werden 62 relevante artikelen geïdentificeerd. Op grond van de referentielijsten werden nog 9 relevante artikelen toegevoegd. Na het lezen van de volledige tekst werden 28 artikelen geïncludeerd (figuur). Redenen voor exclusie in de tweede fase waren: het niet voldoen van de audit aan de definitie, het ontbreken van originele data en het ontbreken van een effectmeting van de audit.

De tabellen 1, 2 en 3 geven een samenvatting van de geselecteerde artikelen; vergelijkende studies werden gegroepeerd in tabel 3. De meeste artikelen waren prospectieve cohortstudies. Wij vonden 2 gerandomiseerde studies (RCT) (zie tabel 3). De meeste artikelen werden gepubliceerd in de Verenigde Staten in de laatste 5 jaar.

Interventies en uitkomstmaten

Het effect van audits alleen werd in 9 studies beschreven (zie tabel 1).2-10 In 12 studies werd gedurende het auditproces een verbetertraject ingezet (zie tabel 2),11-22 zoals het opstellen van richtlijnen of checklists, in combinatie met scholings- of informatiebijeenkomsten of nieuwsbrieven. Zo werd bijvoorbeeld het effect van een protocol ter preventie van wondinfecties beschreven.13,15

In 7 studies (2 RCT’s en 5 prospectieve cohortstudies) werden de resultaten van audits met een verbetertraject vergeleken met audits alleen (zie tabel 3).23-29 Onder deze studies was er 1 die de resultaten voor en na start van de audit vergeleek met de resultaten van het daaruit volgende verbetertraject.29

De wijze en frequentie van terugkoppeling varieerde. Zo werden gegevens teruggekoppeld middels nieuwsbrieven, websites of gedurende bijeenkomsten van de medisch specialisten, op eenmalige tot wekelijkse of jaarlijkse basis. In 3 artikelen werd noch de wijze, noch de frequentie van terugkoppelen beschreven.21,23,26

De vaakst beschreven uitkomstmaten waren procesindicatoren en richtlijnnaleving (6 artikelen),3,5,15,16,20,21 de uitkomstindicatoren ‘complicaties’ en ‘sterfte’ (13 artikelen),2,6-13,19,23,24,29 of een combinatie hiervan (8 artikelen).4,14,17,18,22,25,27,29 Uitkomsten werden meestal vergeleken met een nulmeting.

Effect van auditing en verbetertraject

In 21 van de 28 studies werd een statistisch significant positief effect van auditing of van auditing in combinatie met een verbetertraject beschreven. In 5 studies werd wel een positief effect gevonden, maar geen significantie berekend.6,9,11,14,16 In 1 studie was het positieve effect statistisch niet significant (p = 0,06);7 in een andere studie vond men geen verschil.15 In 6 studies werd een partiële verbetering gevonden, op enkele van de uitkomstmaten die in de studies waren gebruikt.4,8,12,15,17,26

Bij 3 studies in het kader van het NSQIP werden resultaten van lokale verbetertrajecten vergeleken met andere deelnemers van het NSQIP (benchmarking).25,27,28 In 2 van deze 3 studies ging het om 1 ziekenhuis, dat eerder als negatieve uitbijter was bestempeld. In beide gevallen bracht het verbetertraject het ziekenhuis weer terug naar een gemiddelde positie binnen de NSQIP. Dit werd beschouwd als een snellere verbetering dan die geobserveerd in de totale groep van deelnemende ziekenhuizen.

In 1 RCT onderzocht men het effect van audits met of zonder een verbetertraject dat bestond uit implementatie van een behandelrichtlijn.24 Er werd een algehele toename gevonden van richtlijnnaleving, maar geen additioneel effect van het verbetertraject. In 3 van de 4 niet-gerandomiseerde studies trad echter een statistisch significante verbetering op in de groep met een verbetertraject vergeleken met de groep waarin alleen audits plaatsvonden.

De andere RCT onderzocht het effect van audits met verbetertraject door vergelijking met ziekenhuizen waar geen audit plaatsvond.23 Audits met verbetertraject gaven een significant beter resultaat. Een andere, niet-gerandomiseerde studie vergeleek het effect van auditing of verbetertrajecten met ziekenhuizen waar geen van beiden plaatsvond; de onderzoekers vonden geen verschil.26

Beschouwing

Er zijn reële aanwijzingen dat systematisch meten en terugkoppelen van proces- en uitkomstinformatie, ‘clinical auditing’ genoemd, de kwaliteit van chirurgische zorg verbetert. Clinical auditing kan gecombineerd worden met ‘benchmarking’, het vergelijken van eigen resultaten met die van andere ziekenhuizen, of met het ontwikkelen van verbetertrajecten. De verbeteringen lijken echter primair te danken aan de registratie van kwaliteitsgegevens en de terugkoppeling daarvan aan behandelaars.

Eerdere literatuurstudies lieten vergelijkbare resultaten zien. Een recente cochranereview naar het effect van auditing binnen diverse sectoren van de zorg beschreef eveneens een positief effect van auditing op de beoogde uitkomst.30 De mate van verbetering varieerde wel sterk tussen studies. Het relatieve effect van auditing was groter naarmate de uitgangssituatie ongunstiger was, de feedback frequenter werd gegeven en wanneer auditing gecombineerd werd met nascholing. In deze cochranereview waren alleen RCT’s geïncludeerd, waarvan er slechts 2 chirurgische patiënten beschreven.

Een tweede review, uit 1991, vond eveneens een positief effect van auditing op de kwaliteit van zorg, vooral wanneer vooraf een doel voor verbetering was gesteld.31 Wanneer de terugkoppeling werd ingebouwd in het zorgproces, was het effect sterker. Ons overzicht laat eveneens een positief effect zien van auditing op de kwaliteit van chirurgische zorg. Door de inclusie niet te beperken tot RCT’s konden wij ook recentere studies includeren, waarin diverse voorbeelden van kwaliteitsregistraties werden gepresenteerd; naast de RCT’s includeerden wij 5 niet-gerandomiseerde studies met bewijskracht van niveau A2.

De meeste studies hadden echter een longitudinale opzet waarin de uitkomsten vóór en na de interventie met elkaar werden vergeleken. Een controlegroep waarin geen auditing plaatsvond, was meestal niet aanwezig (bewijskracht niveau B). De waargenomen verbeteringen zouden dus ook toegeschreven kunnen worden aan autonome ontwikkelingen in de zorg in plaats van aan de kwaliteitsregistratie. Daarnaast beschrijven de meeste studies alleen kortetermijneffecten van auditing. Een deel van het effect zou kunnen worden toegeschreven aan het hawthorne-effect: de aandacht die het registreren met zich meebrengt geeft op zich al een verbetering in het handelen van medisch specialisten.

Het nut van kwaliteitsregistratie

Hoewel clinical auditing niet alle uitdagingen in de chirurgische oncologie zal oplossen, kan het de behandeling en overleving van kankerpatiënten wel degelijk verbeteren. Studies uit de jaren 90 van de vorige eeuw, zoals de Nederlandse ‘Totale mesorectale excisie’(TME)-trial, waarin de kwaliteit van de rectumchirurgie werd gestandaardiseerd en gecontroleerd, lieten zien dat het controleren van de kwaliteit van chirurgie grote invloed kan hebben op de lokale controle en overleving in de bestudeerde patiëntengroep.32 Patiënten in een onderzoek vormen echter vaak een specifieke selectie van de werkelijke patiëntenpopulatie.

Middels landelijke kwaliteitsregistraties kan het effect in de gehele populatie worden geobserveerd en waar nodig geoptimaliseerd. Tot voor kort was er nauwelijks inzicht in de mate waarin richtlijnen in de oncologie worden nageleefd en in de redenen voor behandelaars om van die richtlijnen af te wijken. Een audit vormt een platform voor evaluatie van richtlijnen, nieuwe behandeltechnieken en verbetertrajecten. Op basis van gegevens uit audits kunnen ‘best practices’ worden geïdentificeerd en geïmplementeerd, waarna het effect van de interventie ook daadwerkelijk gemeten kan worden. Op deze manier krijgen artsen meer inzicht in de kwaliteit van de zorg die zij leveren, maar ook handvaten om deze bij te sturen.

Kwaliteitsinstrument

Clinical auditing wordt bij voorkeur ingezet op terreinen in de gezondheidszorg waar grote verbeteringen te behalen zijn. Het gaat dan om grote groepen patiënten of behandelingen die gepaard gaan met aanzienlijke kans op ongewenste uitkomsten. Een actuele richtlijn is de basis voor de audit en een expertgroep bepaalt welke kwaliteitsaspecten en ‘casemix’-factoren van belang zijn (casemix-factoren zijn patiënt- en tumorgerelateerde factoren die de zorgzwaarte beïnvloeden). Bij auditing bepalen artsen dus zelf welke stappen in het zorgproces essentieel zijn om te komen tot optimale zorg. Betrokkenheid van de beroepsgroep is dus van wezenlijk belang.

Voor een tijdige terugkoppeling, kort na het completeren van het zorgproces, worden data verzameld uit de basisregistratie van het ziekenhuis (elektronisch patiëntendossier) of wordt gebruik gemaakt van ‘webbased’ dataregistratie.8 Dankzij de landelijke dekking, uniforme definities en resultaten die gecorrigeerd worden voor zorgzwaarte (casemix) en toevalsvariatie, zijn audits een betrouwbare manier om kwaliteit inzichtelijk te maken. De informatie die dit oplevert is van grote waarde, niet alleen voor de zorgverlener zelf, maar ook voor de keuzen die beleidsmakers, zorgverzekeraars en patiënten maken. Landelijke audits zouden ook een belangrijke rol kunnen spelen in het sturen en bewaken van ontwikkelingen die de komende jaren plaats gaan vinden in de oncologische zorg, zoals centralisatie.

Het is sterk aan te bevelen auditing in te bedden in het kwaliteitsbeleid van de beroepsvereniging, waarbij richtlijnontwikkeling, richtlijnimplementatie, auditing, nascholing en kwaliteitsvisitatie een continuüm dienen te vormen.

Conclusie

Clinical auditing is een relatief nieuw kwaliteitsinstrument in de oncologie, dat behandelaars inzicht biedt in de kwaliteit van de zorg die zij leveren. Naast reflectie op het eigen handelen en een vergelijking met een landelijke maatstaf, geeft auditing ook aangrijpingspunten voor verbeteracties. Het uiteindelijk doel is elke kankerpatiënt in Nederland van een optimale oncologische behandeling te verzekeren.

Leerpunten

• ‘Clinical auditing’ is het systematisch en kritisch analyseren van de kwaliteit van de geleverde zorg, inclusief diagnostiek, behandeling en uitkomsten.

• De voordelen van auditing moeten opwegen tegen de registratielast.

• Auditing wordt steeds vaker ingezet om de kwaliteit van de oncologische zorg te monitoren en waar nodig te verbeteren.

• In Nederland bestaan momenteel kwaliteitsregistraties met audits voor de chirurgische behandeling van darmkanker, borstkanker, slokdarm- en maagkanker en longkanker.

• Clinical auditing lijkt een positief effect te hebben op de kwaliteit van het zorgproces en de uitkomsten daarvan.

• De combinatie van audits met een gericht verbetertraject, zoals de concentratie van oncologische zorg in Nederland, versterkt het positieve effect van de audits.