Pleased to meet you, Mr Bayes
De samenvatting van mijn LinkedIn-profiel is tegenwoordig “(hij) leest en schrijft”. De afgelopen tijd is het wat het onderwerp van deze site betreft vooral lezen geweest, het schrijven is achter gebleven. Dat heeft te maken met de complexiteit van het inhoudelijk terrein waarop ik me wilde begeven.
Het is moeilijke materie, ook conceptueel. Ik was eerlijk gezegd wat naïef in de gedachte dat ik dit gebied wel eens eventjes bloot zou leggen in een paar goed geschreven blogberichten.
Misschien was ik overmoedig geworden door de hier en daar redelijk goed gelukte pogingen om te begrijpen hoe de wereld van deep learning en van de taalmodellen eruit ziet, en er op deze website inzichtelijk over te schrijven.
Misschien lukte dat wel goed omdat het daar conceptueel niet zo ingewikkeld in elkaar zit. Beter gezegd: je kunt daar de conceptuele ingewikkeldheid ontlopen of uitstellen omdat die het gevolg, en niet de grondslag, is van in gang gezette deep learning met inhoudelijk materiaal dat met veel technisch geweld bijeen is gebracht, geschraapt eigenlijk.
Bron: Wikipedia. Dat het ook echt Bayes is, is niet zeker maar het is de enige afbeelding van de man die algemeen gebruikt wordt.
Een van de eerste berichten op deze site heet “Waar te beginnen?” Met net zo’n gevoel sta ik op dit moment in mijn zelfgekozen landschap van onderzoek naar en ontwerp van “Ecosystems of Intelligence“, een door Karl Friston cs aangedragen werktitel. Hier komen onvermijdelijk veel vakinhoudelijke inzichten samen, vanuit verschillende achtergronden die uiteen lopen van neurowetenschap tot cybernetica, van biologie tot wiskunde, van fysica tot statistiek.
Gelukkig ben ik hier niet zonder enig richtinggevoel, in eerdere berichten schreef ik al wel over elementen uit de confluentie van vakinhouden. Met name in Homeostase en Zelforganisatie staat geen onzin, sterker: ze raken volgens mij aan de essentie van het onderwerp. In zeker opzicht zijn ze echter naar het antwoord toe geschreven. Om mijn eigen begrip verder te brengen moet ik dieper gaan. Op zoek naar onderliggende concepten, zonder dat die vooraf al gezien worden in de context van AI, of ecosystemen van intelligentie. Misschien gaan we te veel divergeren, maar ik begin –zoals eerder– maar eens te trekken aan een paar draadjes uit de grote ingewikkelde kluwen.
Een zo’n draadje heet inference in het jargon, ‘inferentie’ (of gevolgtrekking zo je wilt). Er aan vast zit het draadje dat predictive processing (of coding) wordt genoemd. Verwacht daarvan de uitwerking in komende berichten, maar eerst wil ik de Reverend Thomas Bayes voor het voetlicht halen. Van hem en zijn inhoudelijk werk kan ik in elk geval garanderen dat het niet op voorhand in de context van AI staat: hij leefde in de 18e eeuw.
Wonderlijk genoeg speelt zijn werk, met name de stelling die het Theorema van Bayes wordt genoemd, een belangrijke rol in meerdere van de vakgebieden die ik noemde. Men spreekt van Bayesiaans inferentie, het Bayesiaanse brein, Bayesiaanse statistiek, Bayesiaanse netwerken en nog andere onderwerpen die in naam aan Bayes verbonden zijn zonder dat hij daar zelf aan heeft bijgedragen. Dat moet een krachtig theorema zijn…
Recent zijn er boeken uitgekomen die de invloed van het Bayesiaanse denken uit de doeken doen. Everything is Predictable van Tom Chivers, Bayesian Inference from the Ground Up van Eric-Jan Wagenmakers en Dora Matzke en natuurlijk Active Inference van Karl Friston, Thomas Parr en Giovanni Pezzulo. In die boeken heb ik veel van het leeswerk gestoken dat ik in het begin noemde.