Verbeelding
We must always exert the full strength of our imagination to examine where the full use of our new modalities may lead us.
Deze wijze raad komt niet uit de hoek van het recente alarmisme over AI, maar uit een artikel van Norbert Wiener uit 1960 (Some Moral and Technical Consequences of Automation, Science Vol.131 pp. 1355-1358). Wiener is de uitvinder van de term Cybernetica, en had al in 1947 een boek onder deze titel (Cybernetics) gepubliceerd over besturing en communicatie in zowel levende organismen als machines.
In 1960 kreeg een schaakprogramma op de computer nog regelmatig klop van amateurspelers, maar bij checkers (i.e dammen op een 8×8 bord) kon een programma al wel zoveel leren van het spelen van partijen dat het na verloop van tijd de eigen programmeur kon verslaan. Het gegeven dat een computer programma slimmer kan worden dan degene die de oorspronkelijke instructies gegeven had, was voor Wiener een kantelpunt. Dat het hier om een smalle taak gaat verhinderde hem niet zijn ‘imagination‘ aan het werk te zetten en op basis daarvan aan te sporen tot grote voorzichtigheid.
Een belangrijk element in zijn overwegingen is de factor tijd, of eigenlijk snelheid, die voor een computer op een geheel andere schaal werkt dan voor een individuele mens. Mocht er ondanks goede bedoelingen waarmee een zichzelf lerende computer in werking wordt gezet toch iets mis gaan, dan is de mens te laat om het te herkennen en zeker te laat om in te grijpen.
Wiener vergelijkt met de Tovernaarsleerling van Goethe:
“… Ein verruchter Besen!
Der nicht hören will.
Stock! der du gewesen,
Steh doch einmal still!
Willst’s am Ende
Gar nicht lassen;
Will dich fassen,
Will dich halten,
Und das alte Holz behende
Mit dem scharfen Beile spalten…”.
Voor wie het verhaal niet kent: de leerling had als taak gekregen om water te halen. Uit luiigheid wist hij met zijn nog beperkte tovenaarskunst een bezem zodanig te betoveren dat die water ging halen. En ging halen, en ging halen… totdat de leerling er bijna in verdronk. De leerling kent de spreuken niet om het te stoppen. Hij dreigt met de bijl, gebruikt deze ook met als gevolg dat er meer bezems ontstaan die water gaan halen. De tovenaar zelf weet aan het einde van het gedicht gelukkig wel de juiste spreuken om het te stoppen.
Hier en nu vliegen de voorspellingen over de toekomst van AI en de gevaren van te snelle ontwikkeling ons om de oren. Ik denk dat niemand weet –kan weten– waar het heen gaat en in welk tempo. Het Woven web of guesses is hier een onrustig spanningsveld waarin wetenschappelijke inzichten, economische belangen en ideologische overtuigingen er een ware richtingenstrijd van lijken te maken.
Ik vind voorlopig rust in het boek van Stuart Russel: Human Compatible, AI and the Problem of Control (2019, met een actualisering van medio 2023). Over zijn inzichten schrijf ik later, of het de juiste bezweringsformules zijn weet ik nog niet, ik heb het boek nog niet ver genoeg gelezen.
