Alles-of-niets

Het artikel begint zo:

Theoretical neurophysiology rests on certain cardinal assumptions. The nervous system is a net of neurons, each having a soma and an axon. Their adjunctions, or synapses, are always between the axon of one neuron and the soma of another. At any instant a neuron has some threshold, which excitation must exceed to initiate an impulse. This, except for the fact and the time of its occurrence, is determined by the neuron, not by the excitation.

Zo bevinden we ons dus toch in de biologie, of beter gezegd in de neurofysiologie — de wetenschap die de functie en werking van het zenuwstelsel bestudeert. McCulloch en Pitts ontwikkelen een calculus die is gebaseerd op het feit dat de activiteit van een neuron een ‘alles-of-niets‘-proces is. Een neuron ‘vuurt’ (geeft een elektrisch signaal af) of is inactief.

Hun theorie gaat over netwerken van neuronen (verbonden door synapsen). Ze doen de volgende fysische aannames:

• De activiteit van een neuron is een alles-of-niets proces.
• Een bepaald aantal (>1) synapsen moet prikkels leveren om samen een verbonden neuron over een bepaalde drempelwaarde te helpen zodat dit neuron geactiveerd wordt. Onder die drempel heeft het neuron geen activiteit.
• Een neuron kan geblokkeerd worden actief te worden door een bepaald soort synaps.
• Er zijn geen vertragingen in het systeem.
• Het netwerk houdt in verloop van de tijd dezelfde structuur.

Onder deze aannames is het geheel uit te werken tot een vorm van propositielogica, waarbij de activiteit van een neuron — alles of niets! — correspondeert met waar/niet waar. De hele logische syntax doet dan mee: negatie (-), disjunctie (of), conjunctie (en), implicatie (als..dan) en equivalentie (=).
Ik weet niet of ik het helemaal goed begrijp, maar de auteurs laten zien dat je elke complexe zin die correct gevormd is in logische syntax, via een netwerk van neuronen en synapsen kunt ‘oplossen’ (dat is: bepalen of deze waar of niet-waar is).

Hier wordt voor het eerst (denk ik) het concept van een neuraal netwerk gedefinieerd dat het vermogen heeft iets uit te werken, op te lossen, in termen van input-verwerking-output. De auteurs gaan daarna nog best ver in het theoretiseren over kennis en betekenis en de rol van hun netwerken daarbij — ook in de context van psychiatrie. Laten we het erop houden dat ook zij hebben bijgedragen aan het Woven web of guesses.

Het mooie aan deze theorie en de uitgewerkte logica is dat deze zich gemakkelijk (en 1-op-1) laat vertalen in:

• Digitale schakelingen. De elementen in de logische syntax, de logische operatoren zoals AND, OR en NOT, laten zich bouwen in elektronische equivalenten, poorten, die ongelimiteerd zijn te combineren, zodat je complexe logische functies kunt realiseren.
• Booleaanse algebra. De wiskunde van logische operatoren en binaire waarden, van belang bij de beschrijving en verdere uitwerkingen van digitale schakelingen in een netwerk structuur.

Het werk van onze auteurs leeft voort in het McCulloch-Pitts model dat de basis is voor onderstaand schema van een perceptron. Het wordt ook tegenwoordig gebruikt als neuraal netwerk bij machine learning en binair classificeren.

Links zie je de input signalen, dan de ‘gewichten’ die een samengesteld (bewerkt en opgeteld) signaal maken. Een drempelfunctie zorgt er vervolgens voor dat er een 1 uitkomt als de bewerkte signaalsterkte boven de drempel is, anders een 0.
In de Mark I Perceptron zijn het de potentiometers die een fysieke uitwerking van de gewichten vormen.