Dwalingen in de methodologie. XXXIV. Predictiemodellen stellen vaak teleur

- Predictive models can be readily used within the populations in which they were developed but they often give a less than satisfactory performance when applied to another population.

- The main cause of this poorer performance is the fact that predictive models are often developed and evaluated within one single population. In a lot of cases, the model includes too many predictors (or a small population is used), which increases the chance of overfitting.

- Both external and internal validation techniques have been developed to evaluate predictive models. The most stringent test is an external validation: the application of the model to a new population.

- The usability of a predictive model can be evaluated using the receiver operating characteristic (ROC) curve.

Samenvatting

- Predictiemodellen zijn goed bruikbaar in de populatie waarin ze zijn ontwikkeld, maar stellen vaak teleur wanneer ze worden toegepast op een andere populatie.

- De belangrijkste oorzaak voor de teleurstellende resultaten is dat predictiemodellen vaak worden ontwikkeld en geëvalueerd binnen eenzelfde populatie. Vaak worden te veel predictoren in het model opgenomen (of wordt een te kleine populatie gebruikt), wat de kans op zogenaamde ‘overfitting’ vergroot.

- Zowel externe als interne validatietechnieken zijn beschikbaar voor het evalueren van een predictiemodel. De zwaarste test is de externe validatie, waarbij het model wordt toegepast op een nieuwe populatie.

- De bruikbaarheid van een predictiemodel kan worden geevalueerd met behulp van de ‘receiver operating characteristic’(ROC)-curve.

Artikelinformatie

Aanvaard op

10 januari 2001

10 juni 2001

Citeer dit artikel als

Ned Tijdschr Geneeskd. 2001;145:1109-12

Vakgebied

Basisvakken

Auteursinformatie

Vrije Universiteit, faculteit der Geneeskunde, Instituut voor Extramuraal Geneeskundig Onderzoek (EMGO-Instituut), Van der Boechorststraat 7, 1081 BT Amsterdam.

Contact Mw.dr.ir.M.Visser, epidemioloog (m.visser.emgo@med.vu.nl)