Mijnheer Van Dijk was geen Bayesiaan, anders had hij nog wel een keer gekeken misschien. Nu staat er op de fictieve grafsteen van de even fictieve man:
Hier ligt Van Dijk, hij had gelijk, hij kwam van rechts. Ik moet eerlijk bekennen dat ik tot voor kort niet had gehoord dat er onder statistici twee kampen bestaan: de Bayesianen en de frequentisten. Het is wellicht overdreven om over kampen te spreken omdat de verschillende manieren van beschouwen ook complementair kunnen …

Levende organismen zijn voortdurend in interactie met hun omgeving om te kunnen blijven bestaan. Friston en anderen spreken over homeostase. Het ging er al eerder over dat in beginsel een eenvoudig systeem genoeg is: een receptor om een omstandigheid gewaar te kunnen worden, een regelcentrum dat regie voert op basis van bepaalde bandbreedtes en een effector om arbeid te verrichten die nodig is om bij eventuele overschrijding van de bandbreedtes het systeem weer binnen de grenzen te brengen. Bron: …

Mycorrhiza is de symbiose van planten en schimmels waarbij de schimmel mineralen uit de bodem haalt om ze aan de plant door te geven in ruil voor suikers. Met name de ecoloog Suzanne Simard heeft de aandacht gevestigd op het belang van deze symbiose bij bomen en bossen met haar inzicht dat er ondergrondse mycorrhizale netwerken zijn, die bomen met elkaar verbinden en communicatie mogelijk maken via een netwerk van schimmels. Ze publiceerde haar eerste bevindingen al in 1997 in …

Hoe komt het dat wij – net als andere levende organismen – niet vervallen tot stof en verwaaien in de wind? Waarom lossen wij niet op, als suikerklontjes in een kosmische thee? Zo’n verval zou je immers wel verwachten op basis van de natuurwet die toenemende entropie voorspelt – de tweede wet van de thermodynamica. “Die Energie der Welt ist konstant, die Entropie der Welt strebt einen Maximum zu” schreef Rudolf Clausius in 1854. Het is een wat ruig begin …

Mijn zoektocht in de wereld van AI gaat verder in een ander landschap, op een ander terrein. Ik wil me in neurowetenschap gaan verdiepen, zij het in een specifiek deel waar men niet wars is van wis- en natuurkunde en bijbehorende principes en formules. In dat land ben ik een vreemdeling, een leek van goede wil. Hier wordt ook gemodelleerd, maar net anders dan in de vallei waar we vandaan komen. De hersenen zijn nu niet model voor machine learning, …

Het is tijd om met dit blog een ander landschap op te zoeken. Niet dat ik hier uitgekeken ben. Ruim een half jaar geleden begon ik deze website om verslag te doen van mijn verkenningstocht in de wereld van AI. Ik wilde graag kantelpunten en sleutelelementen in de AI ontwikkeling ontdekken, en inhoudelijk begrijpen waar de verrassende versnelling in het gebied vandaan kwam. Dit is het 45e bericht dat ik hier maak en ik ben nog lang niet rond. Ik …

Bewijs dat in een gelijkbenige driehoek de basishoeken gelijk zijn.

Het is een opgave uit de vlakke meetkunde, (begin) middelbare school – in elk geval in mijn HBS-tijd (dus voor 1968). Het schoolbewijs -toen- maakte gebruik van een hulplijn (de middelloodlijn vanuit de top), zonder die extra lijn zou je het bewijs niet kunnen leveren werd gezegd. Toen AI nog kunstmatige intelligentie heette en vooral rule-based was, was de stelling een ultieme test. Zou een computer die hulplijn kunnen vinden …

Het zal niet verbazen dat de actie van VERSES van vlak voor de kerst, met hun open brief in de NY Times, door de meeste deelnemers aan het OpenAI community forum vooral gezien wordt als een publiciteitsstunt. Heeft VERSES een doorbraak op een pad naar AGI bereikt? Eerst zien dan geloven… is de teneur.
Officiële reacties zijn er nog niet geweest. Een enkeling merkt op dat er een jaar geleden door een groep auteurs van diverse universiteiten in Europa, VS …

Ze hadden natuurlijk ook gewoon even kunnen bellen met Sam Altman of Bret Taylor van OpenAI. In plaats daarvan hebben ze een paginagrote advertentie geplaatst in de New York Times van 19 december 2023 met daarin een Open Letter to the Board of Directors at OpenAI waarin ze de ‘assistentie’ van OpenAI claimen bij hun verdere ontwikkeling van AGI. ‘Ze’ is het bedrijf VERSES AI, ik heb ze in een eerder bericht al eens genoemd omdat Karl Friston, de gelauwerde …

Er zijn mensen die denken dat je AGI en ASI kunt bereiken door het menselijk brein na te bouwen in computers. Mogelijk zou je zelfs bewustzijn van een menselijke donor kunnen uploaden.
Projecten op dit gebied staan bekend onder de verzamelnaam Whole Brain Emulation, WBE. Anders Sandberg (University of Oxford) vatte in een artikel uit 2014 de gedachtegang samen: Whole brain emulation (WBE) is the possible future one-to-one modeling of the function of the entire (human) brain. The basic idea …

We must always exert the full strength of our imagination to examine where the full use of our new modalities may lead us. Deze wijze raad komt niet uit de hoek van het recente alarmisme over AI, maar uit een artikel van Norbert Wiener uit 1960 (Some Moral and Technical Consequences of Automation, Science Vol.131 pp. 1355-1358). Wiener is de uitvinder van de term Cybernetica, en had al in 1947 een boek onder deze titel (Cybernetics) gepubliceerd over besturing …

“Zou je het idee achter IQ ook kunnen toepassen in de Artificial wereld? Een AIQ om de maturiteit van de betreffende variant aan te geven?” Ik schreef het hier kort geleden. Toeval of niet, maar ongeveer per ommegaande werd ik op mijn wenken bediend. Een team van DeepMind heeft op 4 november 2023 een artikel gepubliceerd met een voorstel voor “… a framework for classifying the capabilities and behavior of Artificial General Intelligence (AGI) models and their precursors...”. De auteurs …

Zoek je een baan bij OpenAI, de makers van GPT? Het moet boeiend zijn om daar nu te werken, aan de voorkant van de AI ontwikkeling. Er is een waslijst aan vacatures. Sowieso is het interessant eens te kijken op de site van OpenAI. Je vindt er ook de kernwaarden van het bedrijf, de Core Values. Semafor, een van mijn favoriete onafhankelijke nieuwsplatforms, ontdekte vorige week een interessante verschuiving in die Core Values. OpenAI heeft er zelf geen ruchtbaarheid aan …

Het hoofdstuk met deze titel in De MANIAC van Benjamín Labatut gaat over de vierde partij die AlphaGo en Lee Sedol spelen in hun legendarische Go tweekamp in 2016. Labatut introduceert Sedol als “… de enige mens die ooit in toernooiverband een geavanceerd kunstmatige intelligentiesysteem heeft verslagen.” Beeld uit de documentaire AlphaGo Ik schreef in Move 37 over de iconische zet van de computer in de tweede partij, die een kantelpunt zou markeren in de ontwikkeling van AI. Een …

In een vorig bericht vroeg ik me af of Bayes zelf wel Bayesiaans dacht. Als je historie recht wil doen is die vraag nog niet zo eenvoudig te beantwoorden. Laten we teruggaan in de tijd. We zijn niet al te ver van Londen, in Kent. In Tunbridge Wells om precies te zijn. Hier heeft Thomas Bayes lange tijd geleefd en is hij in 1761 overleden. De plaquette vind je op de poort van het huis waar hij woonde. De tekst …

De Stelling van Bayes wordt vaak uitgedrukt in een formule die mooi genoeg is om op een T-shirt te zetten. Om te begrijpen wat er staat is wel wat uitleg nodig, die staat in dit bericht. Eerder ging het over de situatie dat je in een medische test een positieve uitslag hebt gekregen die aangeeft dat je mogelijk een bepaalde ziekte hebt opgelopen. Als je dat weet, wat is dan de kans dat je de ziekte daadwerkelijk hebt? Die situatie …

De samenvatting van mijn LinkedIn-profiel is tegenwoordig “(hij) leest en schrijft”. De afgelopen tijd is het wat het onderwerp van deze site betreft vooral lezen geweest, het schrijven is achter gebleven. Dat heeft te maken met de complexiteit van het inhoudelijk terrein waarop ik me wilde begeven. Het is moeilijke materie, ook conceptueel. Ik was eerlijk gezegd wat naïef in de gedachte dat ik dit gebied wel eens eventjes bloot zou leggen in een paar goed geschreven blogberichten. Misschien was …

Erwin Schrödinger, februari 1943:

How can the events in space and time which take place within the spatial boundary of a living organism be accounted for by physics and chemistry?
Deze vraag heeft grote impact gehad op verschillende terreinen van de wetenschap in de 20e eeuw, tot op de dag van vandaag. De vraag zelf – the large and important and very much discussed question – staat centraal in een serie openbare colleges die Erwin Schrödinger in 1943 heeft gehouden …

Hoe komt het dat wij – net als andere levende organismen – niet vervallen tot stof en verwaaien in de wind? Waarom lossen wij niet op, als suikerklontjes in een kosmische thee? Zo’n verval zou je immers wel verwachten op basis van de natuurwet die toenemende entropie voorspelt – de tweede wet van de thermodynamica. “Die Energie der Welt ist konstant, die Entropie der Welt strebt einen Maximum zu” schreef Rudolf Clausius in 1854. Het is een wat ruig begin …

A.M.Turing, oktober 1950: I PROPOSE to consider the question, ‘Can machines think?’ Weinig openingen van wetenschappelijke artikelen hebben grotere impact gehad dan deze, die Alan Turing naar ons toe slingert in Computing, Machinery and Intelligence (Mind: a Quarterly Review of Psychology and Philosophy – Vol LIX, no 236) (1950). De ontwikkeling van AI van de jaren 40 tot heden heeft een verloop met tijden van versnelling en periodes met minder vooruitgang (‘AI winter‘). Het artikel van Turing staat aan …

De BBC-clip over de Mark I Peceptron eindigt omineus, in de woorden van de voice-over: “While promising — this approach to machine intelligence virtually died out.” Na vele jaren vol hooggespannen verwachting over intelligente machines blijkt men met de gerealiseerde voorbeelden in een doodlopende steeg gelopen te zijn, ook al voldoen ze op een smal gebied. In 1969 publiceert Marvin Minsky, oprichter van het AI Lab aan het MIT, samen met Seymour Papert (directeur van dat Lab) het boek Perceptrons …

Het jaar is 1943. Ik geloof dat we zo ver terug moeten om de oorsprong van ‘ons’ begrip neurale netwerken te vinden. En het blijkt toch net weer anders te zijn dan ik eerst dacht. Warren S. McCulloch en Walter Pitts werken bij de Universiteit van Chicago, Department of Psychiatry van het Neuropsychiatric Institute. Ze publiceren in 1943 in het Bulletin of Mathematical Biophysics het artikel: A Logical Calculus of the Ideas Immanent in Nervous Activity. Het artikel begint …

Pas op, het filmpje kan schokkende beelden bevatten. Een computer wordt getraind om gezichten van vrouwen en mannen te onderscheiden — heel binair, met Beatle George Harrison als moeilijk te classificeren geval. Ik kwam de clip tegen toen ik op zoek ging naar het ‘echte’ begin van het denken over kunstmatige intelligentie, het is afkomstig uit een grote documentaire van de BBC, The machine That Changed the World. De documentaire is uit 1992, het fragment (uit aflevering 4: The Thinking …

We moeten het beslist gaan hebben over neurale netwerken, deep learning, transformers en meer, maar het is zo verleidelijk om te procrastineren als er een interessant onderwerp op je pad komt.
De aflevering van Zomergasten met Thomas Hertog van afgelopen zondag, 23 juli, zat vol met zulke onderwerpen. Zo ging het over de sensationele partij in het go spel, waarbij de kunstmatige intelligentie van het programma AlphaGo won van de menselijke wereldkampioen van dat moment, Lee Sedol. Het jaar is …

De opvallende overcompensatie in de inzet van Google om hun AI model Gemini ‘correct’ beeldmateriaal te laten produceren is op het eerste gezicht een incident. Het voorval is niet specifiek voor dit AI model, ook het eerste niet op dit terrein en ongetwijfeld ook niet het laatste. Ik schreef er in dit bericht over dat het volgens mij niet een vraagstuk is waar een louter technische oplossing volstaat. De cliffhanger daar, is de observatie dat je van de resultaten die …

In eerdere berichten schreef ik dat het intensiveren van deep learning en alle additionele technieken er om heen een wapenwedloop van AI-modellen lijkt te worden, met een steeds grotere behoefte aan reken- en opslagcapaciteit en bijbehorende aanspraak op natuurlijke resources. Reden voor mij om een ‘ander landschap’ op te zoeken, waarin veelbelovende ontwikkelingen aan het starten zijn rond ecosystemen van gedeelde (kunstmatige en natuurlijke) intelligentie. Daar ga ik beslist mee verder, maar zo nu en dan is er rumoer van …

Het is tijd om met dit blog een ander landschap op te zoeken. Niet dat ik hier uitgekeken ben. Ruim een half jaar geleden begon ik deze website om verslag te doen van mijn verkenningstocht in de wereld van AI. Ik wilde graag kantelpunten en sleutelelementen in de AI ontwikkeling ontdekken, en inhoudelijk begrijpen waar de verrassende versnelling in het gebied vandaan kwam. Dit is het 45e bericht dat ik hier maak en ik ben nog lang niet rond. Ik …

We must always exert the full strength of our imagination to examine where the full use of our new modalities may lead us. Deze wijze raad komt niet uit de hoek van het recente alarmisme over AI, maar uit een artikel van Norbert Wiener uit 1960 (Some Moral and Technical Consequences of Automation, Science Vol.131 pp. 1355-1358). Wiener is de uitvinder van de term Cybernetica, en had al in 1947 een boek onder deze titel (Cybernetics) gepubliceerd over besturing …

Ik dwaal af omdat ik nog bezig ben met het onverwacht op het toneel verschijnen van Karl Popper — over emergentie gesproken. Popper (overleden in 1994) heeft zich nooit bezig gehouden met AI, maar wel met vraagstukken omtrent de groei van kennis en wetenschappelijke vooruitgang. Zijn opvatting is dat het doel van wetenschap weliswaar het vinden van ‘ware’ theorieën is, maar dat vooral het zoeken naar falsificaties van hypotheses de verklaringskracht van die theorieën bevordert. Dat de grote getrainde modellen, …

Eind mei 2023 publiceerde een grote groep internationale prominenten en experts een waarschuwende, om niet te zeggen alarmerende, verklaring. Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war. Intrigerend vind ik dat in de groep ondertekenaars vrijwel alle onderzoekers en ontwikkelaars zijn te vinden die de afgelopen jaren heel hard gewerkt hebben om AI te brengen waar het nu is. En er nog aan werken in een …

Ik ga op pad om te begrijpen welke kantelpunten in de ontwikkeling van AI de wereld recent in rep en roer hebben gebracht, maar ik sta nog aan het begin.
Sommige rep of roer moet je misschien met een korrel zout nemen, zoals de oproep tot een moratorium voor doorontwikkelen of de in manifest verwoorde vrees voor het einde van de mensheid. Op dit terrein is er trouwens genoeg dystopische concurrentie.
Er is wel is iets serieus gaande.

Je ziet het aan …

De Stelling van Bayes wordt vaak uitgedrukt in een formule die mooi genoeg is om op een T-shirt te zetten. Om te begrijpen wat er staat is wel wat uitleg nodig, die staat in dit bericht. Eerder ging het over de situatie dat je in een medische test een positieve uitslag hebt gekregen die aangeeft dat je mogelijk een bepaalde ziekte hebt opgelopen. Als je dat weet, wat is dan de kans dat je de ziekte daadwerkelijk hebt? Die situatie …

Mijnheer Van Dijk was geen Bayesiaan, anders had hij nog wel een keer gekeken misschien. Nu staat er op de fictieve grafsteen van de even fictieve man:
Hier ligt Van Dijk, hij had gelijk, hij kwam van rechts. Ik moet eerlijk bekennen dat ik tot voor kort niet had gehoord dat er onder statistici twee kampen bestaan: de Bayesianen en de frequentisten. Het is wellicht overdreven om over kampen te spreken omdat de verschillende manieren van beschouwen ook complementair kunnen …

Levende organismen zijn voortdurend in interactie met hun omgeving om te kunnen blijven bestaan. Friston en anderen spreken over homeostase. Het ging er al eerder over dat in beginsel een eenvoudig systeem genoeg is: een receptor om een omstandigheid gewaar te kunnen worden, een regelcentrum dat regie voert op basis van bepaalde bandbreedtes en een effector om arbeid te verrichten die nodig is om bij eventuele overschrijding van de bandbreedtes het systeem weer binnen de grenzen te brengen. Bron: …

De samenvatting van mijn LinkedIn-profiel is tegenwoordig “(hij) leest en schrijft”. De afgelopen tijd is het wat het onderwerp van deze site betreft vooral lezen geweest, het schrijven is achter gebleven. Dat heeft te maken met de complexiteit van het inhoudelijk terrein waarop ik me wilde begeven. Het is moeilijke materie, ook conceptueel. Ik was eerlijk gezegd wat naïef in de gedachte dat ik dit gebied wel eens eventjes bloot zou leggen in een paar goed geschreven blogberichten. Misschien was …

De opvallende overcompensatie in de inzet van Google om hun AI model Gemini ‘correct’ beeldmateriaal te laten produceren is op het eerste gezicht een incident. Het voorval is niet specifiek voor dit AI model, ook het eerste niet op dit terrein en ongetwijfeld ook niet het laatste. Ik schreef er in dit bericht over dat het volgens mij niet een vraagstuk is waar een louter technische oplossing volstaat. De cliffhanger daar, is de observatie dat je van de resultaten die …

In eerdere berichten schreef ik dat het intensiveren van deep learning en alle additionele technieken er om heen een wapenwedloop van AI-modellen lijkt te worden, met een steeds grotere behoefte aan reken- en opslagcapaciteit en bijbehorende aanspraak op natuurlijke resources. Reden voor mij om een ‘ander landschap’ op te zoeken, waarin veelbelovende ontwikkelingen aan het starten zijn rond ecosystemen van gedeelde (kunstmatige en natuurlijke) intelligentie. Daar ga ik beslist mee verder, maar zo nu en dan is er rumoer van …

Mycorrhiza is de symbiose van planten en schimmels waarbij de schimmel mineralen uit de bodem haalt om ze aan de plant door te geven in ruil voor suikers. Met name de ecoloog Suzanne Simard heeft de aandacht gevestigd op het belang van deze symbiose bij bomen en bossen met haar inzicht dat er ondergrondse mycorrhizale netwerken zijn, die bomen met elkaar verbinden en communicatie mogelijk maken via een netwerk van schimmels. Ze publiceerde haar eerste bevindingen al in 1997 in …

Mijn zoektocht in de wereld van AI gaat verder in een ander landschap, op een ander terrein. Ik wil me in neurowetenschap gaan verdiepen, zij het in een specifiek deel waar men niet wars is van wis- en natuurkunde en bijbehorende principes en formules. In dat land ben ik een vreemdeling, een leek van goede wil. Hier wordt ook gemodelleerd, maar net anders dan in de vallei waar we vandaan komen. De hersenen zijn nu niet model voor machine learning, …

Bewijs dat in een gelijkbenige driehoek de basishoeken gelijk zijn.

Het is een opgave uit de vlakke meetkunde, (begin) middelbare school – in elk geval in mijn HBS-tijd (dus voor 1968). Het schoolbewijs -toen- maakte gebruik van een hulplijn (de middelloodlijn vanuit de top), zonder die extra lijn zou je het bewijs niet kunnen leveren werd gezegd. Toen AI nog kunstmatige intelligentie heette en vooral rule-based was, was de stelling een ultieme test. Zou een computer die hulplijn kunnen vinden …

De tijd zal leren of de impact van AI, en de zoektocht naar AGI, te vergelijken zal zijn met die van de kwantummechanica. Ik durf al wel een aanvulling te doen op een beroemde quote: “God dobbelt niet, Hij vermenigvuldigt matrices“. De oorspronkelijke uitspraak komt van Einstein, die niet geloofde in natuurkunde waarbij kansberekening een belangrijke rol speelt, zoals bij kwantummechanica. In 1926 schrijft hij aan Max Born “De theorie levert veel op, maar brengt ons nauwelijks dichter bij het …

De Transformer architectuur is een kantelpunt in de ontwikkeling van AI. Attention is all you need is de titel van het oorspronkelijke artikel waarin de architectuur wordt gepresenteerd, een titel die misschien wat verhullend is. Alsof de auteurs nog niet zeker zijn van de impact van hun artikel en de erin beschreven architectuur. Het concept attention was in 2016 zelfs al niet meer nieuw. Wel nieuw is de uitwerking, de architectuur, waarvan de formule het topje van de ijsberg is …

Een taalmodel levert resultaat op basis van next-token prediction, het voorspellen van het meest plausibele vervolg van een tekst. Ik wil achterhalen hoe dat technisch gezien in zijn werk gaat. Het is een deel van de licht wiskundige uitwerking die ik eerder aankondigde. Een succesvolle voorspelling is afhankelijk van de context waarin deze moet gaan passen – de eerdere woorden en de wijze waarop die zich tot elkaar verhouden bepalen als het ware de plausibiliteit. Die verhouding van woorden tot …

Natuurlijk ben ik niet de enige die het belang van de Transformer model architectuur voor de ontwikkeling van AI hoog inschat. Je vindt daarom op internet een overvloed aan presentaties en video’s met uitleg van de architectuur. Het ligt misschien aan mijn nieuwigheid op dit terrein, maar een aantal ervan kan ik niet goed volgen, ik raak de draad kwijt of snap de strekking van het verhaal niet.
En veel andere gaan niet diep genoeg of praten andere na. Zó …

Computers kunnen niet zo maar werken met tekst. Woorden en zinnen moeten eerst omgezet worden in getalsmatige vormen. Die vertaling, vectorisatie, is de laatste stap in een serie voorbereidingen die de preprocessing pipeline wordt genoemd. Tekst opschonen Alle coderingen (html, url’s, tags e.d.) worden verwijderd. Alle tekst wordt naar kleine letters (lowercase) omgezet. Speciale tekens en nummers worden verwijderd, soms ook interpunctie. Afkortingen worden voluit geschreven. Spelfouten worden gecorrigeerd. Tokeniseren In deze processtap wordt de tekst gesplitst, in stukjes gehakt …

Thuis zorg ik vaak voor de koffie, maar om nu te zeggen Ik ben barista gaat wat ver. Als ik nou de ene week blogs zou schrijven en de andere week alleen maar voor koffie zou zorgen, dan zou Van de week ben ik barista kunnen kloppen.
En als ik een carrière bij Starbucks nastreef kan ik misschien ooit met trots zeggen Ik ben barista van de week. Andere woorden in de buurt van een woord in een tekst bepalen …

‘Attention. Attention. Here and now boys‘. Op het eiland Pala, in de roman Island (1962) van Aldous Huxley, leven honderden mynah birds die getraind zijn de eilandbewoners met hun geroep in het hier en nu te houden. Mynah birds bestaan echt, in Azië. In het Nederlands heten ze maina (Hindi voor ‘spreeuw’). Ze staan bekend om hun vermogen geluiden na te bootsen, inclusief menselijke spraak. Het lijkt of ze ‘echt’ kunnen praten, maar het is alleen nadoen, napraten. Ze papegaaien …

We beginnen aan de ‘to do‘ lijst. De ‘top 3’ van de lijst bestaat uit met elkaar samenhangende onderwerpen. Preciezer gezegd: deep learning speelt zich af in het domein van de neurale netwerken dat zelf weer geheel binnen het generiekere begrip machine learning valt, onderdeel van AI in algemene zin. Ik schreef hier al eerder in algemene termen over het doel van machine learning, dat zo iets is als het herkennen en toepassen van patronen uit grote hoeveelheden data om …

De P van GPT staat voor pre-trained. Ik wil gaan begrijpen hoe dat werkt en wat de invloed is van pre-training op de prestaties van GPT en andere taalmodellen. Over de immens grote dataverzamelingen en gebruikt corpus hadden we het al. Inmiddels ben ik aan de kant van techniek en methoden veel onderwerpen en begrippen tegengekomen. Niet altijd doorgrond ik wat ze betekenen en wat hun belang is – het wordt tijd voor een meer systematische aanpak. Om daarmee te …

Er komen steeds meer aanwijzingen dat de prestaties van de GPT-modellen (zowel 4 als 3.5) achteruit gaan. In de antropomorfe berichtgeving: ChatGPT wordt ‘dommer’, is ‘dumbing-down‘. Het komt overeen met mijn eigen, niet onderbouwde, gevoel. Bron: How Is ChatGPT’s Behavior Changing over Time? Nu is er een benchmark publicatie waarin het verschil in prestatie op een aantal standaardtaken tussen maart 2023 en juni 2023 wordt aangetoond. Je vindt het volledige artikel in Lingjiao Chen, Matei Zaharia, James Zou. How …

In het bericht waarin emergentie voor het eerst wordt genoemd zat ik niet alleen verlegen om een goed Nederlands woord, maar vooral om een referentiekader buiten de wereld van de AI. Ik denk inmiddels dat het fenomeen zwerm een goed voorbeeld is van waarneembare emergentie. Op een vlucht spreeuwen zit geen sturing, er is geen vluchtleider of vluchtplan. Zelfs geen algoritme. Toch nemen we waar dat de vlucht tamelijk doelgericht in een groep bomen neerstrijkt zonder dat spreeuwen botsen of …

Een omvangrijk rapport van Stanford University van augustus 2021 introduceert het begrip foundation model. De auteurs zien de opkomst ervan als een ommekeer in AI. Uit: On the Opportunities and Risks of Foundation Models, Stanford University, 12 juli 2022 (3e versie). AI is undergoing a paradigm shift with the rise of models (e.g., BERT, DALL-E, GPT-3) trained on broad data (generally using self-supervision at scale) that can be adapted to a wide range of downstream tasks.
We call these models foundation …

Taalmodellen zoals GPT-3 worden gereedgemaakt voor gebruik door ze te ‘trainen’ op grote dataverzamelingen. Ik denk al wel te begrijpen dat de onvoorstelbare omvang van het corpus waarop GPT-3 is getraind een van de kantelpunten markeert waarnaar ik op zoek ben, in de ontwikkeling van natuurlijke taalverwerking. Vragen waar ik later op terug kom:

• hoe werkt het trainen van een taalmodel?
• is het nodig om zulke grote dataverzamelingen te gebruiken?
• wat zijn de neveneffecten van het werken met ongecensureerde …

GPT is het buzzword van het moment. Het is het taalmodel onder ChatGPT, vooralsnog het meest aansprekende voorbeeld van de ontwikkelingen die ik wil onderzoeken. Versie 3 is nu gangbaar, GPT-4 is er inmiddels ook en ik zag recent Kremlin watching over GPT-5. Die vervolgen zijn niet directe ‘alsmaar groter’ doorontwikkelingen maar wellicht anders opgebouwd — daar kom ik later op terug. Het wordt tijd om dieper in de materie te duiken, vooralsnog in de wereld van GPT-3. Daar komen …

Om te wennen aan de begrippen die in deze wereld gebruikt worden werk ik een voorbeeld uit.
Laten we eens uitgaan van een klein fictief taalmodel dat is getraind over een Nederlandstalig corpus. We willen dat het model een voorspelling kan doen over het volgende woord in een zin. We beperken ons daarbij tot een subset van 6 woorden: “een”, “de”, “rode”, “hond”, “kater” en “.”. In dit bericht komen de concepten taalmodel, training, corpus, voorspelling, prompt, context window voor …

De vloeiende en grammaticaal correcte resultaten van een conversatie met ChatGPT worden letterlijk per woord opgebouwd — je ziet een antwoord woord voor woord op je beeldscherm verschijnen en dat is niet een trucje voor de vormgeving. Soms worden woorden of hele zinnen weer gewist en opnieuw opgebouwd, kennelijk omdat de AI vindt dat de zin dreigt vast te lopen of een kant op gaat die het niet wil (of mag). Ik weet inmiddels dat het volgende woord gekozen wordt …

De tijd zal leren of de impact van AI, en de zoektocht naar AGI, te vergelijken zal zijn met die van de kwantummechanica. Ik durf al wel een aanvulling te doen op een beroemde quote: “God dobbelt niet, Hij vermenigvuldigt matrices“. De oorspronkelijke uitspraak komt van Einstein, die niet geloofde in natuurkunde waarbij kansberekening een belangrijke rol speelt, zoals bij kwantummechanica. In 1926 schrijft hij aan Max Born “De theorie levert veel op, maar brengt ons nauwelijks dichter bij het …

Computers kunnen niet zo maar werken met tekst. Woorden en zinnen moeten eerst omgezet worden in getalsmatige vormen. Die vertaling, vectorisatie, is de laatste stap in een serie voorbereidingen die de preprocessing pipeline wordt genoemd. Tekst opschonen Alle coderingen (html, url’s, tags e.d.) worden verwijderd. Alle tekst wordt naar kleine letters (lowercase) omgezet. Speciale tekens en nummers worden verwijderd, soms ook interpunctie. Afkortingen worden voluit geschreven. Spelfouten worden gecorrigeerd. Tokeniseren In deze processtap wordt de tekst gesplitst, in stukjes gehakt …

Het jaar is 1943. Ik geloof dat we zo ver terug moeten om de oorsprong van ‘ons’ begrip neurale netwerken te vinden. En het blijkt toch net weer anders te zijn dan ik eerst dacht. Warren S. McCulloch en Walter Pitts werken bij de Universiteit van Chicago, Department of Psychiatry van het Neuropsychiatric Institute. Ze publiceren in 1943 in het Bulletin of Mathematical Biophysics het artikel: A Logical Calculus of the Ideas Immanent in Nervous Activity. Het artikel begint …

Pas op, het filmpje kan schokkende beelden bevatten. Een computer wordt getraind om gezichten van vrouwen en mannen te onderscheiden — heel binair, met Beatle George Harrison als moeilijk te classificeren geval. Ik kwam de clip tegen toen ik op zoek ging naar het ‘echte’ begin van het denken over kunstmatige intelligentie, het is afkomstig uit een grote documentaire van de BBC, The machine That Changed the World. De documentaire is uit 1992, het fragment (uit aflevering 4: The Thinking …

Ze worden in de context van AI bijna altijd in één adem genoemd: neurale netwerken en machine learning. Ik ga proberen te begrijpen waar het over gaat. Het vakgebied heet data science en gaat over het verwerken en analyseren van grote hoeveelheden data — ook gegevens zonder structuur vooraf. Neurale netwerken Neurale netwerken horen tot de hulpmiddelen in data science. Het plaatje is de typische weergave ervan. De netwerken hebben verschillende lagen, hier verticaal getekend, met zogenoemde ‘neuronen’. Er …

In een vorig bericht vroeg ik me af of Bayes zelf wel Bayesiaans dacht. Als je historie recht wil doen is die vraag nog niet zo eenvoudig te beantwoorden. Laten we teruggaan in de tijd. We zijn niet al te ver van Londen, in Kent. In Tunbridge Wells om precies te zijn. Hier heeft Thomas Bayes lange tijd geleefd en is hij in 1761 overleden. De plaquette vind je op de poort van het huis waar hij woonde. De tekst …

“Eindeloos typende apen” en “Jan Hein Donner” – dat waren mijn eerste associaties toen ik eind december las dat de New York Times een aanklacht heeft ingediend tegen OpenAI (en Microsoft) wegens inbreuk op auteursrecht. Het zegt iets over mijn eigen next-token voorspelling, maar ik kan het uitleggen. De krant beweert dat ChatGPT bij sommige antwoorden ‘bijna letterlijk teksten van NYT kopieert’, ook teksten die achter de betaalmuur zitten. De vermeende inbreuk betreft het zonder toestemming gebruiken van NYT teksten …

“Jij mag niet meer meespelen” zoals bij een schoolpleintjesruzie, of klungelend bestuur zoals bij de PvdD, of techmiljardairs die elkaar de tent uitvechten om nog meer miljarden te schrapen zoals de Franse filosoof Eric Sedin het misschien zal zien? Of mijn flauwe grapje dat OpenAI een AGI systeem heeft weten te maken dat vervolgens meteen Sam Altman ontslagen heeft? Het grapje is dichter bij de werkelijkheid dan ik kon vermoeden. In overdrachtelijke zin dan. Lees verderop waarom ik denk dat …

BREAKING NEWS komt dwars door het blogbericht dat ik in aan het maken ben: CEO Sam Altman is per direct (17 november 2023) ontslagen door OpenAI. Hij wordt tijdelijk opgevolgd door Mira Murati, de huidige CTO van het bedrijf.
Veel detail is er niet bekend — Altman zou ‘not consistently candid in his communications’ zijn geweest. Alle commentaren wijzen in één richting: paniek in de tent. Ik was van plan om verder te gaan met de vraag hoe en wanneer …

Er is op het ogenblik veel te doen over verslavende apps. Dat zijn apps, meestal op je smartphone, die je verleiden om alsmaar meer content van hetzelfde platform tot je te nemen, door algoritmes die suggesties doen voor waar je ook naar zou kunnen kijken. Één klik dichtbij zoals bij YouTube, of door zelfs ongevraagd een volgende clip te tonen zoals bij TikTok. Bij Nieuwsuur hadden ze er op 22 september een item over, de EU denkt aan regelgeving om …

Zou het altijd gelijk op gaan – snelheid en impact van ontwikkelingen op een bepaald gebied en de hoeveelheid onzin en schone schijn berichten er over? Voor AI lijkt het wel zo te zijn. Het gaat mij daarbij niet om de overtrokken enthousiaste juichverhalen over wat er allemaal zou kunnen, maar om de, al dan niet bedoeld, misleidende berichten. Nepnieuws, niet waar te maken claims van commerciële aanbieders en verkeerd begrepen of toegepaste methoden, ook door serieuze wetenschappers en ontwikkelaars …

Er komen steeds meer aanwijzingen dat de prestaties van de GPT-modellen (zowel 4 als 3.5) achteruit gaan. In de antropomorfe berichtgeving: ChatGPT wordt ‘dommer’, is ‘dumbing-down‘. Het komt overeen met mijn eigen, niet onderbouwde, gevoel. Bron: How Is ChatGPT’s Behavior Changing over Time? Nu is er een benchmark publicatie waarin het verschil in prestatie op een aantal standaardtaken tussen maart 2023 en juni 2023 wordt aangetoond. Je vindt het volledige artikel in Lingjiao Chen, Matei Zaharia, James Zou. How …

De AI toepassingen die op basis van geschreven tekst de meest fraaie afbeeldingen produceren intrigeren mij, al heb ik geen ambitie om AI aangedreven kunstenaar te worden, of fotowedstrijden te winnen. Ze zijn leuk om mee te spelen. DALL-E, Midjourney, Leonardo AI en veel andere nieuwkomers. Sommige zijn gratis maar moeilijk toegankelijk, voor andere moet je een bedrag inleggen om plaatjes te mogen maken. Bescheiden bedragen, bij DALL-E leef ik nog steeds van de 15 dollar die ik maanden geleden …

Mijn spraakgebruik is ouderwets geworden. Om back-ups van mijn computer te maken denk ik een externe harde schijf te hebben van 1TB. De woorden schijf en TB zijn echter ingehaald door de tijd. De schijf is solid state, er draait niets meer. TB, terabyte, komt uit een decimaal systeem om omvang aan te duiden: kilo, mega, giga, tera, peta, … (steeds 1.000 keer meer). Ook dat systeem is achterhaald geraakt naarmate de getallen steeds groter werden. De kleinste eenheid is …

Plug & Pray is een documentaire film uit 2010 over “the promise, problems and ethics of artificial intelligence and robotics“. Perplexity heeft voor mij een samenvatting van de documentaire gemaakt, althans van de inhoud. Perplexity schreef: De regisseur van Plug & Pray, Jens Schanze, neemt een neutraal en open-minded perspectief in op de ontwikkeling van kunstmatige intelligentie en robotica. De documentaire bevat interviews met computerexperts van over de hele wereld, waaronder futurist Raymond Kurzweil en voormalig MIT-professor Joseph Weizenbaum, die …

Er wordt gezegd dat de huidige opkomst van AI en alles wat er mee samenhangt vergelijkbaar is met de introductie van internet, of zelfs met de industriële revolutie. Maar dan in een hoger tempo. Het is vooral de ogenschijnlijke magie van het moeiteloos in alle talen correct converseren van ChatGPT en familieleden die de aandacht en publiciteit heeft overweldigd. Zelf heb ik in het verleden zowel professioneel als uit persoonlijke interesse de ontwikkelingen, met name rond deep learning en taalmodellen, …