Onderscheidend vermogen, reclassificatie en netto-nut

In de rubriek Stand van zaken verschijnen de komende periode regelmatig bijdragen over methoden die gebruikt worden bij het opzetten van wetenschappelijk onderzoek. De artikelen in deze serie illustreren op begrijpelijke wijze wat een bepaalde methode behelst, zonder dat hier uitvoerige methodologische kennis voor nodig is. Zowel oude als nieuwe methodologische principes worden zo inzichtelijk gemaakt voor artsen die klinische onderzoeken goed willen interpreteren.

Voor diagnose en prognose zijn steeds meer biomarkers beschikbaar. Zo wordt er intensief gezocht naar biomarkers voor het later optreden van hart- en vaatziekten (HVZ).1,2 Maar hoe kunnen we de waarde vaststellen van dergelijke biomarkers voor het identificeren van personen met een hoog risico? Voor een hoog-risicogroep zijn de voordelen van behandelen groter dan de nadelen van overbehandelen. Een klassiek voorbeeld is de behandeling van acuut myocardinfarct, waarbij agressievere trombolyse alleen in de patiëntengroep met een hoog risico de nadelen van een groter bloedingsrisico overtreft.3,4

De voorspellende waarde van een biomarker blijkt uit de verschillen tussen personen mét en zonder ziekte, vaak uitgedrukt in de vorm van een relatief risico, bijvoorbeeld een ‘oddsratio’ of ‘hazardratio’.5 Na de eerste studies die aanwijzingen geven dat een biomarker een voorspellende waarde heeft, moeten grondige validatiestudies uitgevoerd worden met nieuwe groepen personen.5 Hierbij gaat het erom te bepalen wat de toegevoegde waarde is van biomarkers boven de voorspellende waarde van gegevens die al routinematig beschikbaar zijn.6 Vaak wordt de toename in oppervlakte onder de ‘receiver operating characteristic’(ROC)-curve (‘area under the curve’, AUC) gebruikt als maat voor de toegevoegde waarde.1

Tegenwoordig wordt ook vaak de ‘net reclassification improvement’ (NRI) gerapporteerd, een indicator die is gebaseerd op verschuivingen in de aantallen personen geclassificeerd als ‘hoog risico’ of ‘laag risico’.7,8 Verderop in dit artikel geven wij een nadere toelichting op deze methode. Een 3e methode maakt gebruik van een maat voor het zogenoemde netto-nut (‘net benefit’). In dit artikel laten we zien dat nettonut een betere methode is dan de andere 2 om de diagnostische of prognostische kwaliteit van een biomarker te bepalen.

Voorbeeld: biomarkers voor hart- en vaatziekten

Voorspellende modellen spelen een belangrijke rol bij de preventie van hart- en vaatziekten (HVZ), bijvoorbeeld in de NHG-standaard ‘Cardiovasculair risicomanagement’.9 Het risico op HVZ wordt daarin geschat aan de hand van een beperkt aantal factoren, net als met het Framingham-model.10 Behandeling met antihypertensiva of statines is alleen geïndiceerd bij een verhoogd risico op HVZ; de NHG-standaard ‘Cardiovasculair risicomanagement’ adviseert deze medicatie bij een 10-jaarsrisico ≥ 20%.

Nieuwe biomarkers voor HVZ staan sterk in de belangstelling, bijvoorbeeld de mate van coronaire kalkafzetting,2 of een verhoogde concentratie N-terminaal pro-breinnatriuretisch peptide (NT-proBNP) in het bloed.11 In dit artikel gebruiken we een klassieke risicofactor, namelijk hdl-cholesterol, als voorbeeld om te laten zien hoe de voorspellende kwaliteit van deze biomarker berekend kan worden. Dit doen we aan de hand van gegevens van 3264 personen uit de Framingham-studie; bij 183 personen manifesteerden zich HVZ, met een 10-jaarsincidentie van 5,6% voor myocardinfarct, angina pectoris, hartfalen of overlijden aan HVZ.7,12

Maten voor voorspellende kwaliteit

We bespreken 3 maten om de kwaliteit van een voorspellende biomarker aan te geven: onderscheidend vermogen, reclassificatie en netto-nut (tabel 1). Bij elk van de 3 methoden vergelijken we de voorspellingen van het Framingham-model mét en zonder de hdl-waarde als risicofactor.7,12 De vraag is steeds in hoeverre het opnemen van de hdl-waarde in het risicomodel de voorspelling verbetert. Een andere vraag is welke afkappunt we moeten hanteren om de hoog-risicogroep te onderscheiden van de laag-risicogroep. Deze tweede vraag is essentieel als gebruik van het model klinische consequenties heeft, bijvoorbeeld preventieve maatregelen bij personen in de hoog-risicogroep.

Onderscheidend vermogen: de ROC-curve

De toegevoegde waarde van hdl in het risicomodel is weer te geven in een ROC-curve. In deze curve worden de sensitiviteit en specificiteit van het risicomodel weergegeven bij alle denkbare afkappunten voor het onderscheid tussen een hoog en laag risico op HVZ (figuur 1a). De AUC is een maat voor het onderscheidend vermogen van het risicomodel; de waarde 0,5 staat voor geen onderscheidend vermogen en 1,0 staat voor een optimaal onderscheidend vermogen.

Het oppervlak onder de curve (AUC) kan in ons voorbeeld geïnterpreteerd worden als de kans dat bij een willekeurig persoon die HVZ krijgt het risico hoger ingeschat wordt dan bij een willekeurig persoon zonder HVZ. De AUC is 0,762 als wij de hdl-waarde niet meetellen in het risicomodel, en 0,774 als de hdl wél wordt meegeteld. De meeste onderzoekers vinden deze toename van 0,012 teleurstellend, gezien het bereik van de AUC van 0,5 (waardeloos) tot 1 (perfect).

Reclassificatie

Een meer recente ontwikkeling is om biomarkers te beoordelen naar hun vermogen om personen beter in te delen in risicocategorieën.7,8,13,14 Bij het identificeren van een hoog-risicogroep wordt vaak gestreefd naar een maximale sensitiviteit en specificiteit.15,16 Die vinden we in het meest linksboven gelegen punt op de ROC-curve.12 In dit punt loopt de raaklijn aan de ROC-curve evenwijdig aan de referentielijn (figuur 1b); dit punt correspondeert met een diagnostische aannemelijkheidsverhouding van 1, ofwel een non-informatief testresultaat.17 ‘Non-informatief’ betekent hier dat het afkappunt gelijk is aan de gemiddelde incidentie (5,6% 10-jaarsrisico in ons voorbeeld).18

‘Reclassificeren’ houdt in dat we bij dit afkappunt de 3264 personen uit de Framingham-studie 2 maal indelen in een hoog- en een laag-risicogroep: eerst zonder de hdl-waarde mee te nemen als risicofactor, de 2e keer mét de hdl-waarde. Bij de 2e keer blijken 321 van de 3264 personen (9,8%) in een andere risicogroep terecht te komen (tabel 2); met andere woorden: er zijn 321 reclassificaties.

Het gaat ons echter om terechte reclassificaties: personen die HVZ ontwikkelen moeten de classificatie ‘hoog risico’ krijgen, en personen zonder HVZ ‘laag risico’.7 Bij de reclassificatie in ons voorbeeld komen 10 van de 183 personen met HVZ in de hogere en 3 in de lagere risicogroep. Netto zijn dit 7 terechte reclassificaties (7/183 = 3,8%). Omgekeerd worden er netto 24 personen zonder HVZ terecht gereclassificeerd (24/3081 = 0,8%). De som van deze 2 percentages (uitgedrukt in decimalen: 0,046) staat bekend als de NRI.

ROC-curve met 1 afkappunt

Het is eerlijker om de NRI te vergelijken met de AUC van een ROC-curve voor het afkappunt van 5,6% (zie figuur 1c) in plaats van de AUC voor alle mogelijke afkappunten. De oppervlaktes zijn dan 0,696 zonder de hdl-waarde mee te nemen als risicofactor en 0,719 mét de hdl-waarde, een verbetering van 0,023. De AUC met 1 afkappunt is per definitie gelijk aan het gemiddelde van sensitiviteit en specificiteit. Hieruit is mathematisch af te leiden dat de NRI gelijk is aan 2 maal het verschil in AUC’s bij gebruik van 1 afkappunt.7,8,12 Zo is de NRI 0,046 en de toename in AUC 0,023 bij een afkappunt van 5,6%. Wellicht maakt de NRI daardoor meer indruk dan de AUC. Overigens is 20% als afkappunt klinisch beter te beargumenteren, omdat iemand met een 10-jaarsrisico op HVZ groter dan 20% in aanmerking komt voor medicatie. Bij het afkappunt van 20% is de toename in AUC 0,029, en de toename in NRI 0,058 (inderdaad: 2 maal 0,029; zie figuur 1d).

Netto-nut

Reeds in 1884 beschreef Peirce ‘net benefit’ (netto-nut) als een maat voor de waarde van een risicoclassificatie. Deze maat gaat verder dan de bepaling van het onderscheidend vermogen of de reclassificatie.19 Bij het netto-nut bepaalt de klinische context het relatieve gewicht van terechte en verkeerde classificaties (zie uitlegkader voor de berekening van het netto-nut).20

Wat is het idee achter ‘netto-nut’? Terecht-positieven – personen van wie correct voorspeld is dat zij HVZ krijgen – ontvangen een betere behandeling dankzij de goede risicoclassificatie (‘benefit’, winst), terwijl fout-positieven alleen de lasten van de behandeling ondergaan (‘harm’, nadelen). De verhouding tussen de nadelen van onterecht behandelen en de winst door terecht behandelen bepaalt het gewicht w.

Het gewicht w kunnen we gebruiken om het optimale afkappunt tussen hoog en laag risico vast te stellen. Een voorbeeld: w = 1:4 als we de onterechte behandeling van 4 personen over hebben voor de winst door 1 terechte behandeling. Bij w = 1:4 hebben personen netto-nut van behandeling als de kans op een terecht-positieve classificatie groter is dan 20%; de ‘odds’ is namelijk 1:4 en de kans wordt berekend als odds/(1+odds).16,21 Als iemand nu volgens het predictiemodel een risico > 20% heeft, is de verwachte winst door behandelen groter dan het nadeel van mogelijk onterecht behandelen.

Omgekeerd kan het gewicht w berekend worden door uit te gaan van een bepaald afkappunt. Als we 5,6% als afkappunt nemen, is te berekenen dat we 17 fout-positieven moeten accepteren voor elke extra terecht-positieve (94,4:5,6 ≈ 17). Het maximaliseren van de sensitiviteit plus specificiteit – zoals we deden bij het reclassificeren – houdt dus in dat we veel meer fout-positieve classificaties moeten accepteren dan bij het klinisch gebruikelijke afkappunt van 20% (80:20 = 4).

Aan de hand van tabel 2 kan men berekenen wat het netto-nut is van het toevoegen van de hdl-waarde aan het predictiemodel. De uitkomst van die berekening is 0,26%; dit betekent een netto toename van 2,6 terecht-positieven per 1000 personen. Met andere woorden: om 1 extra persoon met HVZ te identificeren moet hdl-cholesterol gemeten worden bij 385 personen (1:0,0026 of 1000:2,6 ≈ 385). Bij een afkappunt van 20% in plaats van 5,6% is dit verschil in netto-nut ongeveer even groot.

De balans tussen winst en nadeel van behandeling is vaak onzeker. Soms zijn te weinig onderzoeksgegevens beschikbaar om 1 afkappunt vast te stellen. Bovendien kan de afweging per persoon verschillen. Daarom is het verstandig om het netto-nut over een bereik van klinisch relevante afkappunten te bekijken.20,22 Voor preventie van HVZ is een zinvol bereik 5-30%. Dit bereik is gehanteerd in figuur 2, een besliscurve die weergeeft wat het netto-nut is bij behandeling volgens de predictiemodellen zonder en mét hdl-waarde. Deze figuur laat zien dat het predictiemodel mét hdl een klein voordeel biedt ten opzichte van het model zonder hdl.

Plaatsbepaling van de methoden

Voorspellingen met en zonder een extra biomarker kunnen we vanuit een methodologisch perspectief evalueren, zoals met het oppervlak onder de ROC-curve, het kiezen van een afkappunt op basis van de som van sensitiviteit en specificiteit, of het tellen van terechte reclassificaties (de NRI-componenten en hun som). Om de mogelijke waarde van zo’n biomarker voor de kliniek te bepalen moeten we echter rekening houden met de context waarin voorspellingen worden gebruikt: hoeveel fout-positieven hebben we over voor het identificeren van 1 terecht-positieve?19,22,23 Een vergelijkbaar concept – het ‘number willing to treat’ – werd onlangs in dit tijdschrift uitgelegd.24 Dit besliskundige concept ligt ook ten grondslag aan de maat ‘netto-nut’ en de besliscurves, die een stap verder gaan dan maten voor onderscheidend vermogen en reclassificatie.

In ons voorbeeld verbeterde de AUC met 0,01 door het toevoegen van hdl aan een model voor het voorspellen van HVZ. Deze toename is klinisch moeilijk te interpreteren. Wel zal een toename in AUC vaak samengaan met een positieve NRI en positief verschil in netto-nut.6,12,25 Bij gebruik van een enkel afkappunt is de NRI zoals gezegd 2 maal de toename in AUC. Gezien deze simpele mathematische relatie is het opmerkelijk dat de NRI snel populair geworden is in de grote medische tijdschriften, en dat de NRI beschouwd wordt als een ‘betere maat’ dan de toename in AUC.13 De NRI wordt overigens vaak voor meerdere afkappunten berekend, bijvoorbeeld 10% en 20% risico op HVZ.

Het netto-nut (‘net benefit’) daarentegen is echt een andere maat dan toename in AUC, doordat een expliciet gewicht wordt toegekend aan de toename in terecht-positieven en de afname in fout-positieven. Uit de berekening van het netto-nut blijkt in ons voorbeeld dat bij ruim 300 personen hdl-cholesterol gemeten moet worden om 1 extra persoon met HVZ te detecteren, gegeven een behandeldrempel tussen 5 en 20%. Deze uitdrukking is makkelijker te interpreteren dan een toename in AUC van 0,012 of een NRI van 0,046. Immers, als we die hdl-cholesterolbepaling bij 300 personen te veel vinden om die ene extra persoon met HVZ te vinden, heeft hdl kennelijk te weinig toegevoegde waarde in het predictiemodel.25

Voor een meer objectieve beoordeling van een biomarker moeten we bepaalde normen stellen, bijvoorbeeld voor de kosteneffectiviteit van de bepaling van een marker. Als er geen direct bewijs uit gerandomiseerde studies is, kunnen we onze toevlucht nemen tot besliskundige modellering van een strategie met en zonder gebruik van een marker. Zo werd recent onderzocht wat de kosten en medische effecten zijn van het bepalen van CRP om de wachttijd tot operatie te optimaliseren.26 Het bepalen van CRP was niet kosteneffectief als een grens werd gehanteerd van ₤ 20,000 per voor kwaliteit gecorrigeerd levensjaar (QALY).

Kanttekeningen

Er komen steeds meer biomarkers beschikbaar, die de belofte inhouden van een steeds verder gepersonaliseerde geneeskunde. Grondige validatie in nieuwe patiëntengroepen is noodzakelijk, aangezien vele in eerste instantie veelbelovende markers hun belofte later niet kunnen waarmaken.27 Wij hebben ons in dit artikel geconcentreerd op de rol van biomarkers in predictiemodellen voor het identificeren van een hoog-risicogroep. Markers hebben echter ook andere rollen. Zo kunnen bepaalde biomarkers aangeven of een behandeling kans van slagen heeft. Een voorbeeld hiervan is de test op humane epidermale groeifactorreceptor 2 (HER2-test) voor behandeling van vrouwen met borstkanker met trastuzumab.28

Conclusie

De ‘net reclassification improvement’ (NRI) is niet veel anders dan de ‘receiver operating characteristic’(ROC)-analyse aan de hand van de oppervlakte onder de curve (AUC). In de maat van het netto-nut daarentegen wordt beter rekening gehouden met de klinische context. We voorspellen dat maten als netto-nut in de komende jaren ruim gebruikt zullen worden naast de AUC, gegeven de snel voortschrijdende medisch-technologische ontwikkelingen en het toenemende belang van kosteneffectiviteit in de zorg.

Uitleg

Netto-nut

Netto-nut (NB) is gedefinieerd als het aantal terecht-positieven (TP) minus het gewogen (met gewicht w) aantal fout-positieven (FP) in de steekproef van grootte n. In formulevorm:

NB = (TP - wFP)/n.

Het gewicht w wordt bepaald door de verhouding tussen de voordelen van terecht behandelen en de nadelen van onterecht behandelen.

Leerpunten

• De kwaliteit van een biomarker voor diagnostiek of prognose wordt bepaald door te analyseren wat de verschillen zijn tussen het wél en niet toepassen van de marker.

• Vaak worden deze verschillen gemeten aan de hand van de oppervlakte onder de ROC-curve (‘area under the curve’, AUC).

• Nieuwe maten voor de kwaliteit van een biomarker zijn de ‘net reclassification improvement’ (NRI) en het ‘netto-nut’.

• De maten AUC en NRI verschillen niet wezenlijk van elkaar, omdat er een wiskundig verband tussen deze 2 is.

• Het netto-nut (‘net benefit’) maakt een betere interpretatie mogelijk van het nut van een biomarker voor diagnose of prognose.