Dwalingen in de methodologie. VIII. Pilotonderzoeken: zin en onzin

- A pilot study is often performed before the start of a large study. Its aim is improving the methodological quality and evaluating the feasibility.

- The results of a pilot study are also often used to gain an impression of the efficacy of an intervention. For this purpose a pilot is absolutely unsuited.

- However, the estimate of the effect of an intervention in small studies such as pilot studies is determined to a large extent by chance. When conducting small studies the chance of publication bias is large.

- Small studies of adequate methodological quality should be published, whether the results are positive or negative, significant or non-significant, because combination in a later cumulative meta-analysis may lead to sufficient power to assess the efficacy of an experimental intervention.

Samenvatting

- Voordat een groot onderzoek van start gaat, wordt er vaak een pilotonderzoek uitgevoerd. Het doel van de pilot is het verbeteren van de methodologische kwaliteit of het evalueren van de praktische haalbaarheid van het grote onderzoek.

- Daarnaast gebruikt men in de praktijk de resultaten van een pilotonderzoek ook om een indruk te krijgen van het effect van de te onderzoeken behandeling, maar daarvoor is een pilotonderzoek absoluut niet geschikt.

- In een klein onderzoek, zoals een pilot, wordt de schatting van het effect van een experimentele behandeling namelijk voor een groot deel bepaald door het toeval. Bij kleine onderzoeken is de kans op publicatiebias groot.

- Kleine onderzoeken van goede methodologische kwaliteit dienen gepubliceerd te worden, of ze nu positieve of negatieve, significante of niet-significante resultaten laten zien, want door samenvoeging in een latere cumulatieve meta-analyse kan voldoende onderscheidingsvermogen (‘power’) ontstaan om gefundeerde uitspraken over de te onderzoeken behandeling mogelijk te maken.