Meer onzekerheid alstublieft

In dit nummer vertelt Martijn Katan ons hoe we via Mendeliaanse randomisatie het idee hebben moeten verwerpen dat een beetje alcohol goed voor ons is (D4759). We dachten dat omdat grote observationele studies ons dat vertelden. Dat is op zich niet zo erg, maar wat wel erg is, is dat we het zeker dachten te weten, terwijl we de grote methodologische problemen van observationele studies horen te kennen.

Hier ligt een algemener probleem aan ten grondslag. In het boek The black swan analyseert Nassim Taleb de crisis van 2008 en hij concludeert dat we bij analyse van problemen uitgaan van de variabelen die we kennen en dat we denken dat die normaal zijn verdeeld (of dat we de verdeling kennen) en dat zeldzame uitkomsten weinig invloed hebben. Zo dachten we dus alles te weten over de relevante confounders voor alcoholgebruik en hart- en vaatziekten. Taleb betoogt dat we vrijwel altijd een aantal belangrijke variabelen niet kennen, dat sommige variabelen extreem scheef zijn verdeeld en dat zeldzame uitbijters vaak buitensporig veel invloed hebben. Denk daarbij aan ernstigste aardbevingen, beurscrashes of virusziektes. De gevolgen hiervan laten zich niet vangen in gemiddeldes en standaarddeviaties, want ze vernietigen in één klap wat over decennia is opgebouwd.

Nate Silver schreef in dezelfde periode het boek The signal and the noise. Hij laat zien dat politieke commentatoren met veel panache even goed voorspellen als een opgeworpen muntje en dat beleggingsadviseurs met nog meer panache evenveel rendement halen als chimpansees. De mensen die wij vragen om beleggingsadvies of politiek commentaar hebben de top bereikt door heel fanatiek binnen de lijntjes te kleuren en hun beloningen staan vaak los van de juistheid van hun voorspellingen. Ze zijn weinig geconfronteerd met hun beperkingen buiten hun smalle vakgebied en ze worden zelden gestraft voor hun teveel aan zelfverzekerdheid. Dat geldt waarschijnlijk net zo goed voor hoogleraren in de geneeskunde. Generalisten hebben dat probleem veel minder.

Zowel Taleb als Silver pleiten voor het expliciteren van grote onzekerheidsmarges en voor het uitwerken van onwaarschijnlijke, maar potentieel desastreuze scenario’s. Ze pleiten ook voor het toelaten van generalisten tot het centrum van de macht. Met dit alles in het achterhoofd zet ik tegenwoordig de tv uit als er weer een ‘specialist’ met grote stelligheid komt vertellen hoe het allemaal moet met de coronacrisis.