Nieuwe werkelijkheden
Mijn zoektocht in de wereld van AI gaat verder in een ander landschap, op een ander terrein. Ik wil me in neurowetenschap gaan verdiepen, zij het in een specifiek deel waar men niet wars is van wis- en natuurkunde en bijbehorende principes en formules.
In dat land ben ik een vreemdeling, een leek van goede wil. Hier wordt ook gemodelleerd, maar net anders dan in de vallei waar we vandaan komen. De hersenen zijn nu niet model voor machine learning, of metafoor in biomorf taalgebruik. In deze wereld gaat het juist om het ontwikkelen van begrip van de werking van de hersenen zelf, de beschrijvende taal komt uit de natuurwetenschappen. Die leveren niet alleen van toepassing zijnde principes en formules, maar ook metaforen als dat zo uitkomt – kom onder je Markov deken vandaan en laat je Bayesiaanse brein ontwaken…
Bron: Active inference and learning (Friston et al) in Neuroscience and Biohavioral Reviews 68 (2016) pp. 862-879
Ik had wel enige aarzeling om er aan te beginnen. Mijn onderwerp voor deze blogs is AI. Misschien is de ontwikkeling van AI vanuit het nieuwe, neurowetenschappelijk gefundeerde, perspectief nog niet ver genoeg. Hier is het vooral belofte en nog weinig werkelijkheid. Hier zijn nog geen grote modellen met bewezen succes, al staat de definitie van dat succes ter discussie. Hier is nog geen stortvloed van wetenschappelijke en populaire artikelen, of van tutorials op YouTube. En er is een luidruchtige reisgenoot – Verses – die met veel marketing geweld het zicht op de inhoud loopt te verstoren.
Toch ben ik gestart met deze voor mij nieuwe route omdat ik denk dat het intensiveren van deep learning in de richting van steeds meer trainingsdata en miljarden parameters zo maar krakend tot stilstand zou kunnen komen. Het is een wapenwedloop aan het worden, met een steeds grotere behoefte aan reken- en opslagcapaciteit en bijbehorende aanspraak op natuurlijke resources. Bovendien is bij taalmodellen en generatieve AI de ontwikkeling en wetenschap uit zicht aan het raken, misschien omdat er minder onderzocht wordt, maar ook letterlijk omdat door commerciële belangen van grote partijen ramen en deuren dichtgaan.
Een van mijn eerste blogberichten hier heet ‘Woord voor woord‘. Het was voor mij een nieuw inzicht: een LLM levert bij een gegeven serie woorden een mogelijke voortzetting in de vorm van het meest plausibele woord. Niet meer en niet minder. Door slimme architectuur van het informatiesysteem, door training op gigantische databases met van internet geschraapt materiaal en door zware inzet van cloud computing zijn er fantastische resultaten geboekt. Mijn oorspronkelijke fascinatie voor de prestaties bij natuurlijke taalverwerking is alleen maar groter geworden, noem het gerust bewondering. En er is ook al de gewenning aan wat er kan — dit gaat niet meer weg. Het is tegelijkertijd ook de beperking. Een next-sequence voorspelling is niet anders dan wat het is. Sommigen veronderstellen dat een LLM logisch zou kunnen redeneren, of zich een model van delen van de werkelijkheid zou kunnen vormen, wellicht zelfs een beeld van de eigen modus operandi zodat het model zou kunnen uitleggen hoe het tot zijn resultaten komt. Ik twijfel want eerlijk gezegd zie ik niet waar deze capaciteiten vandaan zouden kunnen komen, anders dan van het nadoen of nazeggen wat er in de gigantische verzameling trainingsmateriaal en beschikbare actueel materiaal aanwezig is of te combineren valt. Hallucineren of oprispen zijn misschien wel geen fouten, software bugs, zoals de makers zeggen, maar juist inherente en intrinsieke systeemeigenschappen.
In mijn ‘nieuwe’ landschap zijn er inzichten en beloftes die misschien wel de volgende stappen zouden kunnen bepalen. Een in december 2022 verschenen white paper heeft in elk geval de ambitie die stappen te identificeren. Zie Designing Ecosystems of Intelligence from First Principles. Het is van de hand van een groep auteurs met Karl Friston en Maxwel Ramstead als hoofdauteurs. In komende berichten wil ik er nader op ingaan.