Is een statistisch significant resultaat te vertrouwen?

De vraagstelling

De volgende vraag werd aan ons voorgelegd: ‘Als ik aan laten we zeggen 100 patiënten met obstipatie 200 vragen voorleg met de bedoeling om een samenhang van de antwoorden met hun aandoening vast te stellen, is het dan statistisch gezien waarschijnlijk, dat 5 van die vragen tot een ’significant‘ resultaat zowel in positieve als in negatieve zin zal leiden, ook al zijn die vragen totaal onzinnig? Dus door puur toeval?’

De vragensteller voegt hieraan toe dat er nogal eens onderzoek wordt gedaan naar de samenhang van psychosociale factoren met bepaalde ziekten, waarbij, zoals de vragensteller van nabij heeft kunnen waarnemen, een cluster van vragen wordt bedacht, die allemaal dezelfde kant op wijzen. Als toeval voldoende is om bij een groot aantal vragen op zijn minst voor een paar vragen een ‘significantie’ te vinden, dan is de kans groot dat men in alle eerlijkheid (ten onrechte) een positief resultaat…