Dwalingen in de methodologie. XXIV. Problemen bij het generaliseren van gerandomiseerd interventieonderzoek bij geselecteerde patiëntenpopulaties

- The generalizability of intervention research is dependent of the degree of success in including patients who represent the disease category for which the intervention might be considered.

- To be relevant for medical practice, estimates of intervention effects need to be quantitatively generalizable. This requires specification of the characteristics of the intervention (e.g. dosage and timing) and of the disease outcome, and of socalled effect-modifying factors: disease severity, co-interventions and the characteristics of the patients which influence the magnitude of the intervention effect.

- Literature remains less clear about the necessity to specify these effect-modifying factors. If effect modification is seriously considered, the investigator must decide either to design the trial in such a way that the subgroup-specific effects may be estimated, or to restrict the study to one homogeneous stratum of patients.

- Despite many theoretical reasons and some empirical examples of substantial effect modification by characteristics of patients, systematic comparison of randomised (selected populations) and non-randomised studies (less selection) fail to show many differences.

- This suggests that differences between subgroups are not very frequent and that trial results, provided they are adequately specified, generally do have a high degree of generalizability.

Samenvatting

- De generaliseerbaarheid van het resultaat van een interventieonderzoek wordt bepaald door de mate waarin de effecten bij de geïncludeerde patiënten ook zullen gelden voor de andere patiënten voor wie de interventie in de praktijk wordt overwogen.

- Kwantitatief geldige uitspraken over het interventie-effect vereisen een specificatie van factoren die van invloed kunnen zijn op de sterkte van het effect. Naast de specificaties van de interventie zelf (zoals dosering en timing) en de ziekte-uitkomst zijn hierbij de zogenaamde effectmodificerende factoren van belang: de ernst van de ziekte, eventuele coïnterventies en de kenmerken van de patiënten, die de omvang van het interventie-effect mede bepalen.

- Over het belang van specificatie van de effectmodificerende factoren bestaat in de literatuur geen eenduidigheid. Wanneer men gegronde redenen heeft om effectmodificatie te vermoeden, zal men of het onderzoek zo moeten opzetten dat de effecten voor elke categorie van deze factor geschat kunnen worden, of moeten besluiten het onderzoek te beperken tot één homogene categorie van patiënten.

- Hoewel er vele theoretische redenen zijn om met effectmodificatie rekening te houden en er enkele empirische voorbeelden zijn van substantiële modificatie van interventie-effecten door patiëntkenmerken, blijkt uit systematische vergelijking van gerandomiseerde onderzoeken (met geselecteerde populaties) met niet-gerandomiseerde onderzoeken (minder selectie) dat de resultaten opvallend goed overeenkomen.

- Dit suggereert dat in de praktijk verschillen tussen subgroepen beperkt zijn en dat de resultaten van gerandomiseerde onderzoeken, mits goed gespecificeerd, in het algemeen goed zijn te generaliseren.