Begrijpen van de wereld
In een vorig bericht vroeg ik me af of Bayes zelf wel Bayesiaans dacht. Als je historie recht wil doen is die vraag nog niet zo eenvoudig te beantwoorden. Laten we teruggaan in de tijd.
We zijn niet al te ver van Londen, in Kent. In Tunbridge Wells om precies te zijn. Hier heeft Thomas Bayes lange tijd geleefd en is hij in 1761 overleden. De plaquette vind je op de poort van het huis waar hij woonde.
De tekst is niet zo toepasselijk. Met een vergelijkbaar anachronisme hadden ze beter kunnen schrijven dat Bayes heeft bijgedragen aan het verslaan van de Duitsers en Japanners in WO II vanwege de cruciale toepassing van zijn stelling in Bletchley Park, bij het kraken van codes en het lokaliseren van onderzeeboten. Of verwijzen naar al die onderwerpen waaraan zijn naam is verbonden zoals Bayesiaanse inferentie, het Bayesiaanse brein, Bayesiaanse statistiek, Bayesiaanse netwerken en meer.
Sociale context
Op de plaquette staat dat Bayes minister was – dominee – en Nonconformist. Dat is: niet bij de Church of England aangesloten, hij is Presbyterian. Zijn familie, en later hij zelf, is welgesteld en financieel onafhankelijk. Over zijn jonge jaren is niet veel bekend, zelfs over zijn geboortejaar is onzekerheid. Ook zijn ouders zijn Nonconformist, zijn vader Joshua Bayes is vooraanstaand dominee in de presbyteriaanse kerk. Daarom kan Thomas niet in Oxford of Cambridge gaan studeren, hij wordt er niet toegelaten vanwege zijn geloof. In Schotland, aan de Universiteit van Edinburgh, zijn er geen bezwaren. Hij studeert er geschiedenis, logica, wiskunde en theologie.
De jonge dertiger Bayes komt als dominee terecht in Tunbridge Wells, niet ver van Londen waar hij is opgegroeid. Hij maakt deel uit van een kring van gelijkgestemden in de Nonconformistische beweging – intellectuelen en theologen die geïnteresseerd zijn in religieuze, filosofische en wetenschappelijke kwesties, ook uit de wiskunde en logica. Hij is academisch gevormd in die vakken, maar wordt door geschiedschrijvers meestal amateur-wiskundige genoemd, in de betekenis van liefhebber die het niet voor zijn brood hoeft te doen. Het verhindert niet dat hij in 1742 Fellow wordt van de Royal Society.
Doctrine of Chances
Bayes zelf is niet bezig met al die onderwerpen die later aan zijn naam zijn gekoppeld, niet in directe zin in elk geval.
Het artikel met zijn inzichten die onder de stelling liggen, wordt door hem zelf niet voor publicatie ingestuurd. Ik schrijf prudent ‘inzichten‘ omdat de stelling van Bayes, de formule, in de vorm die ik in eerdere berichten besprak, niet door hemzelf is opgesteld of geformuleerd. Anderen hebben dat gedaan, op basis van de gedachten van Bayes in genoemd artikel.
Dat artikel, An Essay towards solving a Problem in the Doctrine of Chances, is door zijn vriend en collega Richard Price opgeduikeld in de nagelaten geschriften, die hij doorneemt op verzoek van de familie. Met een eigen voorwoord en wat toelichting stuurt hij het naar de Royal Society.
NB De titel maakt aannemelijk dat het essay past in de lijn van wiskundig werk van anderen, met name van Abraham De Moivre die in 1718 een belangrijk werk over kansrekening had gepubliceerd: The Doctrine of Chances: or, A Method of Calculating the Probability of Events in Play.
In 1763 wordt het artikel gepubliceerd in Philosophical Transactions of the Royal Society of London. Price verdient de credits dat hij het belang van het artikel voor de wetenschap heeft ingezien. In de afbeelding zie je het begin van het artikel, dat wil zeggen van de aanhef van Price. Er zijn bronnen die veronderstellen dat het eigenlijk Price is die de stelling heeft geformuleerd of compleet gemaakt omdat Bayes daar zelf niet (meer) toe in staat was, onder meer door ziekte.
Laplace formuleert de stelling van Bayes
Decennia jaar later pas, in 1814, heeft Pierre-Simon Laplace in zijn werk Essai philosophique sur les probabilités de regel opgesteld zoals wij die kennen, overigens zonder de naam van Bayes te vermelden. Het essai is een inleiding tot de tweede editie van Théorie analytique des probabilités (eerste editie uit 1812).
Ook bij Laplace vind je de T-shirt waardige formule niet. Het gebruik van de verticale streep | in de notatie van voorwaardelijke kans 
is pas in 1931 voorgesteld door Sir Harold Jeffreys.
Ik heb lang gezocht naar de precieze formulering die Laplace wel gebruikt, op het verkeerde been gezet omdat ik dacht naar een formule te moeten zoeken. Volgens mij is het volgende fragment, op p.183 van Livre II het goede:
NB De vertaling is (met dank aan GPT4-omni):
“Als we een samengestelde gebeurtenis beschouwen, bestaande uit de waargenomen gebeurtenis samen met een toekomstige gebeurtenis, dan is de waarschijnlijkheid van deze laatste gebeurtenis, afgeleid van de waargenomen gebeurtenis, duidelijk de waarschijnlijkheid dat, gegeven dat de waargenomen gebeurtenis heeft plaatsgevonden, de toekomstige gebeurtenis eveneens zal plaatsvinden. Welnu, volgens het principe dat we zojuist hebben uiteengezet, is deze waarschijnlijkheid vermenigvuldigd met die van de waargenomen gebeurtenis, a priori of onafhankelijk van wat al is gebeurd, gelijk aan de waarschijnlijkheid van de samengestelde gebeurtenis, a priori bepaald. We hebben dus dit nieuwe principe met betrekking tot de waarschijnlijkheid van toekomstige gebeurtenissen, afgeleid van waargenomen gebeurtenissen:
De waarschijnlijkheid van een toekomstige gebeurtenis, afgeleid van een waargenomen gebeurtenis, is het quotiënt van de deling van de waarschijnlijkheid van de samengestelde gebeurtenis bestaande uit deze twee gebeurtenissen, a priori bepaald, door de waarschijnlijkheid van de waargenomen gebeurtenis, eveneens a priori bepaald.
Hieruit volgt nog een ander principe met betrekking tot de waarschijnlijkheid van oorzaken, afgeleid van waargenomen gebeurtenissen.
Als een waargenomen gebeurtenis het resultaat kan zijn van n verschillende oorzaken, zijn hun waarschijnlijkheden respectievelijk als de waarschijnlijkheden van de gebeurtenis, afgeleid van hun bestaan; en de waarschijnlijkheid van elk van hen is een breuk waarvan de teller de waarschijnlijkheid van de gebeurtenis is, in de veronderstelling van het bestaan van de oorzaak, en de noemer is de som van soortgelijke waarschijnlijkheden met betrekking tot alle oorzaken.”
Begrijpen van de wereld
Het werk van Bayes is zeer relevant gebleken, voor wiskunde en statistiek en voor grondslagen van de wetenschap. Het is niet voor niets dat zijn gedachtegoed, meer nog dan de stelling zelf, zo alom tegenwoordig lijkt te zijn, ook in het denken over AI. Zie de routekaart van Friston cs in de context van Active Inference.
Ik schreef al dat Bayes zelf met andersoortige vraagstukken bezig was, en ik probeer te begrijpen welke dat geweest kunnen zijn. “Experimentele filosofie“, schrijft Price in zijn aanbiedingsbrief.
Een tijdgenoot van Bayes is David Hume – aanhanger van het empirisme. In die overtuiging zijn er geen aangeboren ideeën. Ons begrip van de wereld is uitsluitend gebaseerd op onze zintuiglijke ervaringen. Er is geen causaliteit in die zin dat, als er iets gebeurt, wij iets anders zouden kunnen aanwijzen als oorzaak. Causaliteit is geen kenmerk van de wereld – alles is toeval, zou je kunnen zeggen.
Wel kunnen we samenhang – ‘constant conjunction‘ – zien, bijvoorbeeld gebeurtenis A die in onze waarneming altijd gevolgd wordt door gebeurtenis B. We kunnen dan wel zeggen dat A de oorzaak van B is, maar het is uit gewoonte: de directe verbinding van A en B, de causaliteit, kunnen we niet empirisch vast stellen. Dat levert gelijk een probleem op voor de geldigheid van inductief redeneren: we kunnen niet met zekerheid zeggen dat ook in de toekomst B altijd zal volgen op A.
In de filosofie, het geloof, van Bayes is er wel sprake van causaliteit. Terugredenerend bij dingen die gebeuren zijn er wel oorzaken aan te wijzen, en uiteindelijk voert alles terug naar één eerste veroorzaker: God.
Hume acht het zeer onwaarschijnlijk dat God bestaat, het is niet empirisch te bewijzen.
Price (en mogelijk Bayes, maar dat weten we niet) is er alles aan gelegen om aan te tonen dat er een keten van oorzaken bestaat. Dit is een veelzeggend citaat uit de aanbiedingsbrief van Price:
The purpose I mean is, to shew what reason we have for believing that there are in the constitution of things fixt laws according to which things happen, and that, therefore, the frame of the world must be the effect of the wisdom and power of an intelligent cause; and thus to confirm the argument taken from final causes for the existence of the Deity. It will be easy to see that the converse problem solved in this essay is more directly applicable to this purpose; for it shews us, with distinctness and precision, in every case of any particular order or recurrency of events, what reason there is to think that such recurrency or order is derived from stable causes or regulations innature, and not from any irregularities of chance.
Het “converse problem solved” in het citaat is de inverse probability, de omgekeerde kans, die de kern van de stelling van Bayes is. Dat is de basis om je eerdere beeld van de wereld bij te stellen op basis van waarnemingen van gebeurtenissen, het is voor Bayes en Price de manier om de keten van oorzaken te reconstrueren.
Het is verleidelijk om deze filosofische onderwerpen verder uit te diepen, woven webs of guesses zijn volop aanwezig, maar het brengt ons te ver weg van de focus van deze site: AI en alles wat er mee samenhangt.
Ik neem een snelle weg terug. Al wat Bayes, Price cs bezighoudt zou je met recht kunnen samenvatten als: begrijpen van de wereld.
Het is in deze woorden gelijk ook de kortste verbinding met het onderwerp van deze site, en het werk van Karl Friston, Judea Pearl en anderen. Active inference veronderstelt dat levende organismen, en er op gebaseerde intelligent agents, alleen kunnen blijven bestaan op basis van hun begrip van de wereld – een noodzakelijke, misschien niet voldoende, voorwaarde. Begrip van de wereld zelf is een container, wat er in zit en hoe het werkt is onderwerp van komende berichten.