Apen die met een pijltje op een dartbord gooien doen vaak minstens net zulke goede voorspellingen als experts met tientallen jaren ervaring en opleidingen aan de meest prestigieuze instituten. Of eigenlijk moet je zeggen: net zo slecht. Waarom zijn wij zo slecht in voorspellen?
De synergievoordelen van een fusie, de kostenbesparingen door grote IT-projecten, de cultuurverandering na een reorganisatie: wat zitten we er toch vaak naast. Ook ik heb menig businessplan geproduceerd waarmee ik vooral heb aangetoond dat ik de toekomst níet kan voorspellen. Gelukkig zijn economen niet de enige prutsers. Super-voetbalkenner Johan Derksen voorspelt week na week de toto-uitslagen verkeerd en ondanks al hun onderzoek kunnen geologen zelfs de kleinste aardbeving niet voorspellen.
De cartoon boven dit blog, van de pijltjes gooiende apen, stond bij een recensie van het boek “Expert Political Judgment” van Philip Tetlock. Een boek dat ik een aantal jaren geleden letterlijk verslonden heb. Het was één groot aha-erlebnis. Ik gebruik deze cartoon dan ook vaak bij presentaties om uit te leggen waar mijn passie voor forecasting vandaan komt. Tetlock’s inzichten hebben de basis gelegd voor hoe ik vandaag over forecasting denk. Hij toont aan dat het niet gaat om de hoeveelheid feitelijke kennis die je hebt, maar hoe je die gebruikt.
Tetlock verzamelde jarenlang voorspellingen die door experts gedaan werden op het gebied van politiek, internationale relaties en economie. Hij begon in de jaren ’80 met kijken naar voorspellingen over de toekomst van de USSR, later naar de oorlog in Irak, de Japanse vastgoed bubbel en nog veel meer. De uitkomst van zijn onderzoek was ontluisterend. Experts -in welk vakgebied dan ook- doen het nauwelijks beter dan “random chance”. Je kunt dus net zo goed een aap met een pijltje op een dartbord laten gooien.
Deze eigenschappen doen de kwaliteit van de voorspellingen van experts geen goed:
Egels en vossen
De experts bleken gemiddeld als groep nauwelijks betere voorspellers dan apen. Toch waren er wel degelijk individuele experts die consequent beter scoorden dan het gemiddelde. Wat is de verklaring daarvoor? Conservatieven bleken niet beter of slechter te voorspellen dan liberalen, optimisten deden het net zo goed of slecht als pessimisten. Er was maar een patroon dat steeds terugkeerde: “Hoe je denkt doet er meer toe dan wat je denkt”.
Tetlock onderscheidt twee groepen experts: de Egels en de Vossen. Deze benaming ontleent hij aan het essay van de filosoof Isaiah Berlin: “de egel en de vos”. Berlin leende dat idee op zijn beurt weer van de Griekse oorlogsdichter Archilochus, die in de 7e eeuw v. Chr schreef: “de vos weet een heleboel kleine dingen, de egel weet één ding heel erg zeker”.
Tetlock’s interpretatie is dat Egels een grote theorie hebben (marxisme, libertarisme, maakt niet uit) die zij gebruiken als alomvattende verklaring voor ieder vraagstuk. En Egels blaken van zelfvertrouwen. Vossen daarentegen staan sceptisch tegenover grote ideeën, zijn eerder bescheiden over hun voorspellingen en altijd bereid om die aan te passen aan de actualiteit.
Egels zijn nog slechtere voorspellers dan apen die willekeurig een pijltje op een dartbord gooien omdat ze maar op één manier naar de wereld kunnen kijken. De Vossen daarentegen passen zich aan, veranderen hun mening en zijn daarom veel beter in staat een betrouwbare voorspelling te doen.
Vossen voorspellen significant betrouwbaarder, zeker op de korte termijn. Egels presteren door de bot genomen veel slechter dan Vossen, en vooral in lange termijn voorspellingen zijn Egels erg slecht. Egels doen het niet alleen slechter dan vossen en apen, ze doen het ook veel slechter dan de gewone geïnteresseerde leek. Hun eigen grote expertise en mooie theorie belemmert het zicht op de werkelijkheid.
De waarde van de Egel is dat hij het heel af en toe bij het rechte eind heeft als hij een extreme gebeurtenis voorspelt. Maar daar staat een enorm aantal nog-niet-bij-benadering-goede-voorspellingen tegenover. Een slimme Vos luistert dus heel goed naar de grote ideeën van de Egels en pikt er af en toe een onderdeeltje uit. Als forecaster is het hebben van een eenvoudige, duidelijke kijk op de wereld bepaald geen voordeel.
De Vos gebruikt veranderende omstandigheden om zijn voorspellingen te verfijnen en aan te passen. Natuurlijk is de Vos niet onfeilbaar. Het mis hebben is onvermijdelijk, maar je kunt er wel voor zorgen dat je de kans dat je het bij het juiste eind hebt, zo groot mogelijk maakt. De Vos begrijpt dat wij mensen niet de allerbeste voorspellers zijn. En door deze beperking te erkennen wordt je een net iets betere voorspeller.
Dit zijn de menselijke eigenschappen waar een goede forecaster rekening meehoudt:
Hoe beroemder, hoe slechter
Egels maken dus slechtere voorspellingen dan vossen en apen. Maar Tetlock ontdekte nog iets bijzonders: hoe beroemder de expert, hoe meer hij op TV kwam, hoe sléchter zijn voorspellingen bleken te zijn. Dat komt natuurlijk niet omdat je een slechtere voorspeller wordt naarmate je beroemder wordt. Nee, slechte voorspellers -Egels dus- hebben veel meer kans om beroemd te worden dan goede voorspellers.
De reden daarvoor is simpel. Wie wordt er eerder uitgenodigd voor DWWD of bij Pauw: de charismatische expert met een duidelijke, voor iedereen te begrijpen kijk op de wereld? Of de ietwat verlegen, twijfelende, wikkende en wegende vriendelijke man, die bij ieder tegenargument zegt “dat daar natuurlijk ook wel wat inzit”. Je wordt niet beroemd met genuanceerde meningen, die je ter plekke aanpast o.b.v. nieuwe informatie. Dat doet het niet lekker op TV.
Koester de vos
Maar de Vossen doen het niet alleen niet lekker op TV. Ze doen het ook niet lekker in de vergadering van ons eigen managementteam. Wij houden van de Egel. Met zijn focus en heldere visie op de wereld. Die vol overtuiging en zelfvertrouwen zijn businessplan presenteert aan de hand van een professionele powerpoint-presentatie. Die zich niet van de wijs laat brengen door kritische vragen en vasthoudt aan zijn mening. Dat plan keuren wij goed, van dat soort kerels zouden we er meer moeten hebben.
En dan komt die vriendelijke twijfelaar. Die zijn kijk op de toekomst presenteert met een heleboel mitsen en maren, want ja, je weet natuurlijk nooit hoe de wereld eruit zal zien over 1 of 2 jaar. Die een hele reeks onzekerheden en risico’s presenteert en daar eigenlijk geen pasklare oplossing voor heeft. Die op sommige kritische vragen antwoordt dat hij dat een hele goede vraag vindt, het van die kant nog niet bekeken heeft maar dat zeker nu zal gaan doen. Grote kans dat je hem wegstuurt met de opdracht er nog maar eens heel erg goed over na te denken.
Maar de forecaster die je doodverveelt met een hele trits van mitsen en maren heeft waarschijnlijk gelijk. De charismatische expert die een grote dosis zelfvertrouwen uitstraalt en een prachtig verhaal vertelt, zit er waarschijnlijk naast.
Herken een goede forecast
De beste voorspellers zijn diegenen met een open blik, die altijd de onzekerheid in hun voorspelling aangeven en zelfs kwantificeren. Die hun forecast aanpassen als de feiten en omstandigheden veranderen, ook al is het maar een beetje. Die weten dat ware wijsheid erin ligt dat je ook luistert naar argumenten die haaks staan op je eigen overtuiging. De beste voorspellers zijn Vossen.
De beste voorspellers werken voortdurend aan hun eigen voorspellend vermogen. Zij houden zonder enige schroom bij hoe vaak ze het goed hadden en hoe vaak niet. De beste Vossen houden ervan om het fout te hebben, geven dat toe en leren ervan, net zoveel als ze ervan houden om wel gelijk te hebben. De lol zit in het maken en voortdurend fine-tunen van de voorspelling. En niet in het behalen van je gelijk. Misschien is dat nog wel het grootste verschil tussen Vossen en Egels.