De P van GPT

De P van GPT staat voor pre-trained. Ik wil gaan begrijpen hoe dat werkt en wat de invloed is van pre-training op de prestaties van GPT en andere taalmodellen. Over de immens grote dataverzamelingen en gebruikt corpus hadden we het al. Inmiddels ben ik aan de kant van techniek en methoden veel onderwerpen en begrippen tegengekomen. Niet altijd doorgrond ik wat ze betekenen en wat hun belang is – het wordt tijd voor een meer systematische aanpak.

Om daarmee te beginnen heb ik Perplexity een aantal onderwerpen uit de AI voorgelegd waarvan ik vermoed dat ik ze moet gaan uitzoeken. Ik heb gevraagd of ze worden gebruikt in de pre-training fase van GPT. Dit is het antwoord:

Machine Learning: Ja, GPT maakt gebruik van machine learning.
Neural Networks: Ja, GPT is een type van large language model dat gebaseerd is op artificial neural networks.
Deep Learning: Ja, GPT maakt gebruik van deep learning.
Backpropagation: Hoewel backpropagation een belangrijk onderdeel is van het trainen van neural networks, wordt het niet specifiek genoemd in de context van GPT pre-training.
Bidirectional architecture: Ja, GPT maakt gebruik van een bidirectionele architectuur.
Supervised Learning: Nee, GPT maakt geen gebruik van supervised learning in de pre-training fase.
Unsupervised Learning: Ja, GPT maakt gebruik van unsupervised learning in de pre-training fase.
Zero-shot approach: Ja, GPT maakt gebruik van zero-shot learning.
Fine-tuning: Ja, fine-tuning wordt gebruikt om GPT te verbeteren.
Transformer: Ja, GPT is gebaseerd op de transformer architectuur.
Self-attention: Ja, self-attention is de basis van de transformer architectuur die gebruikt wordt in GPT.
Next Sentence Prediction: Ja, Next Sentence Prediction is een belangrijk onderdeel van de pre-training van GPT.

Dit is de lijst waarmee ik aan de slag ga, het is al wat dat ik kennelijk veel ‘goede’ woorden heb opgepikt. Gelukkig geeft Perplexity ook een waslijst aan bronnen.
Daarnaast wil ik verder werken aan het verhaal van de ‘seizoenen’ van AI in de afgelopen 80 jaar. Ik verheug me op de komende berichten.