Significantie van p-waardes: onbegrepen en overschat

An often provided interpretation of a significant p-value (p < 0.05) is that ‘the probability the conclusion is incorrect, is only 5%’. This interpretation is incorrect.
It can be shown that for observational studies, in case of p < 0.05, the probability of a false positive signal is around 50%. This means that significant p-values give us much less certainty about the reliability of a conclusion than we like to believe.
Much would be gained already if the emphasis on p-values would be replaced by: (a) an estimation of the effect size in combination with the corresponding statistical uncertainty (represented by the confidence interval), (b) an assessment of the clinical relevance of that effect, and (c) an evaluation of a study and its results in the broader context of other publications on the same topic.

Conflict of interest and financial support: none declared.

In de rubriek ‘Stand van zaken’ verschijnen regelmatig bijdragen over methoden die gebruikt worden bij het opzetten van wetenschappelijk onderzoek. De artikelen in deze serie illustreren op begrijpelijke wijze wat een bepaalde methode behelst, zonder dat hier uitvoerige methodologische kennis voor nodig is. Zowel oude als nieuwe methodologische principes worden zo inzichtelijk gemaakt voor artsen die klinische onderzoeken goed willen interpreteren.

Samenvatting

Een veel gegeven interpretatie van de significante p-waarde (p < 0,05) is dat ‘de kans dat de conclusie onwaar is, slechts 5% is’. Deze interpretatie is niet correct.
Voor observationeel onderzoek is bij een p-waarde < 0,05 de kans op een fout-positief signaal ongeveer 50%. Dat betekent dat significante p-waardes ons veel minder zekerheid over de correctheid van een conclusie geven dan we graag geloven.
Veel zou al gewonnen zijn wanneer het benadrukken van de p-waarde plaatsmaakt voor (a) het schatten van de grootte van een effect met de bijbehorende statistische onzekerheid (weergeven met het betrouwbaarheidsinterval); (b) het inschatten van de klinische relevantie van dat effect; en (c) het beoordelen van een studie en de resultaten in de bredere context van andere publicaties over hetzelfde onderwerp.