Neo sluit zijn ogen. Een seconde later doet hij zijn ogen open en zegt:
"I Know Kung Fu!"
De bekende scene uit The Matrix, waar hij getraind wordt door Morpheus. Hiervoor had hij geen enkele kennis van Kung Fu.
Introductie
Uit verschillende onderzoeken blijkt dit "I know Kung Fu!" ook te gelden voor AI — voornamelijk Large Language Models (LLM's). Uit het "niets" blijken ze nieuwe vaardigheden te beschikken.
Toch zie ik in recente discussies scepsis ontstaan richting onderzoekers die aangeven dat AI zelfstandig leert en zelfstandig nieuwe vaardigheden opdoet.
Sinds de preview van Sora is de discussie op X en op Reddit wederom losgebarsten: "emergent learning, dat is onmogelijk!"
Is dat zo?
"Zijn AI's echt aan het 'leren,' of voeren ze geavanceerde trucjes uit zonder dat wij het begrijpen?"
In dit artikel zal ik hier proberen dieper op in te gaan. Hebben Large Language Models (vanaf nu: LLM's) echt "emergent" mogelijkheden? Of voert het slimme trucjes uit die wij — nog — niet begrijpen?
Laten we beginnen... bij het begin.
Deel 1: De Training — Hoe Leer je een LLM Iets?
Om een beter begrip te krijgen is het belangrijk om de basisprincipes te begrijpen. Hierdoor wordt deze magische technologie, hopelijk, beter begrepen.
Want: hoe leert een LLM eigenlijk?
Het begint allemaal met het trainen van een LLM. Het trainen van LLM's omvat, versimpeld, drie fasen:
- Fase 1: Pre-Training
- Fase 2: Fine-Tuning
- Fase 3: Reinforcement Learning from Human Feedback
Fase 1: Pre-training
De eerste fase is gericht op het bieden van een breed begrip van taal aan het model. Het gaat om het opbouwen van een basiskennis waaruit het model kan putten. Zonder basisvaardigheden zijn complexe vraagstukken moeilijk uit te voeren — net zoals bij de mens.
Door het model te trainen op grote datasets, zoals Common Crawl of Wikipedia, die een breed scala aan tekst bevatten, kan dit gerealiseerd worden.
Tijdens de pre-training gebruiken LLM's een transformer architecture — een type deep learning model ontworpen om sequentiële gegevens, zoals tekst, te hanteren. Dit model is eigenlijk vrij nieuw. Het werd voor het eerst in 2017 gepubliceerd in het artikel: "Attention Is All You Need".
Transformers zijn bijzonder geschikt om tekst te verwerken omdat ze hele sequenties van gegevens tegelijkertijd kunnen verwerken (parallelle verwerking) en afhankelijkheden in tekst kunnen vaststellen. Er zijn drie belangrijke ontdekkingen die samen een cruciale rol spelen in het succes van het Transformer Model:
- Attention Mechanisms
- Positional Encoding
- Advanced Activation Functions
Onderdeel 1: Attention Mechanisms
Het Attention Mechanism werd geïntroduceerd door Bahdanau et al. (2014). Het stelt het Transformer Model in staat om zich te concentreren op verschillende delen van een tekstprompt. Het bootst het menselijke vermogen na om aandacht te besteden aan specifieke belangrijke details in een zin.
Dit onderdeel is cruciaal voor het begrijpen van de context en relaties tussen woorden. Neem de zin:
"De kat zat op de zak en keek naar de hond in de tuin"
Attention Mechanisms helpt het model om relaties tussen "kat", "zak", "hond" en "tuin" te identificeren. Het model begrijpt dat de kat niet in de tuin speelt, maar naar de hond kijkt die dat wel doet. Cruciaal voor taken zoals samenvatten, vertalen of vragen beantwoorden.
Onderdeel 2: Positional Encoding
In taal hangt de betekenis van een zin af van woordvolgorde. Transformers verwerken de gehele input parallel in plaats van sequentieel — wat een aanzienlijke prestatieverbetering biedt. Maar hoe onthouden ze de volgorde dan?
Hier komt Positional Encoding aan te pas. Het zorgt ervoor dat de transformer de volgorde van input onthoudt. Zonder tekstpositie kan een zin totaal iets anders betekenen:
- "Ik won niet, maar was blij"
- "Ik won, maar was niet blij"
Met positional encoding kunnen modellen de volgorde begrijpen — cruciaal voor taken zoals het vertalen van talen.
Onderdeel 3: Advanced Activation Functions
Een neuraal netwerk bestaat uit een invoerlaag, een uitvoerlaag en meerdere verborgen lagen die complexe berekeningen uitvoeren. Elke laag bestaat uit meerdere "neurons" die geactiveerd kunnen worden afhankelijk van de input.
De activatiefunctie bepaalt of een neuron in een verborgen laag wordt geactiveerd. Zonder activatiefunctie zouden neurale netwerken enkel lineaire relaties kunnen modelleren — terwijl de werkelijkheid vaak complex en niet-lineair is.
Neem als voorbeeld huizenprijzen. Deze zijn gebaseerd op locatie, oppervlakte, tuin, staat van onderhoud, macro-economische situatie — geen lineaire berekening. Dankzij activatiefuncties kunnen neurale netwerken complexe outputs genereren: van huizenprijsvoorspellingen tot medische diagnoses op basis van MRI-scans.
Er bestaan verschillende typen activatiefuncties. OpenAI maakt gebruik van een variant van Gated Linear Units (GLU). Meta's LLaMA-2 gebruikt de Swish-Gated Linear Units (SwiGLU), een functie uit 2019.
Het resultaat van de pre-training is een model dat een algemeen begrip van taal heeft en tekst in de juiste samenhang kan genereren. Op dit punt mist het model nog het vermogen om specifieke instructies te begrijpen of reacties te produceren voor bepaalde taken.
Fase 2: Fine Tuning (Supervised)
Deze fase is gericht op het verfijnen van het vermogen van het model om specifieke prompts te begrijpen en hierop te reageren. Het gaat over de overgang van een breed begrip van taal naar een meer gefocuste, taakgerichte toepassing — bijvoorbeeld specifiek voor een bepaalde sector of bedrijf.
Het model wordt getraind op een nieuwe, specifieke dataset. Dit proces leert het model om de juiste reacties te produceren die worden verwacht als reactie op een prompt.
Het resultaat is een model dat niet alleen taal begrijpt, maar ook antwoorden kan genereren op basis van vergaarde kennis en specifieke instructies. Dit maakt het model nuttiger voor praktische toepassingen.
Fase 3: Reinforcement Learning from Human Feedback 🍪
De laatste fase, Reinforcement Learning from Human Feedback (RLHF), is gericht op het nauwer afstemmen van de outputs van het model aan de hand van menselijke normen en waarden.
Mensen beoordelen de outputs op basis van criteria zoals behulpzaamheid en nauwkeurigheid. Deze beoordelingen worden gebruikt om het model te trainen in het herkennen van welke typen reacties de voorkeur hebben.
De beoordeling maakt gebruik van een beloningsmodel. Zo genoemd omdat het functioneert door het model "beloningen" te geven voor antwoorden die goed overeenkomen met de menselijke voorkeuren. Zit! Good Boy! 🍪🐶
Voor elke actie of reactie wordt een numerieke score — de beloning — toegekend. Een hogere score wijst op een betere afstemming met de gewenste uitkomst. Het model gebruikt deze scores om te leren welke soorten reacties positief werden beoordeeld.
Modellen worden groter en groter...
Language models leren dus door patroonherkenning. Het behelst neuronen maar ook parameters. Waar neuronen de basiseenheid zijn van het neural network, worden er twee parameters toegevoegd:
- Weight: Bepaalt de invloed van de ene neuron op de andere. Positieve weight vergroot de activatie van de volgende neuron, negatieve weight kan deze verlagen.
- Bias: Een parameter die wordt toegevoegd aan de input van de activatiefunctie, waardoor een neuron geactiveerd kan worden zelfs bij lage inputwaarden.
Het aantal parameters in een neuraal netwerk is de som van het aantal weights (uit de verbindingen tussen alle neuronen) plus het aantal biases. Zo heeft GPT-4 waarschijnlijk 1,76 biljoen parameters en de grootste LLaMA-2 70 miljard parameters.
Niet gek dat Sam Altman 7 biljard dollar aan investeringen wil ophalen...
Deel 2: Kung Fu, uit het niets! Emergent Abilities
Stel je een kind voor dat probeert een persoon te tekenen.
In zijn eerste jaar: niets bijzonders. Het tweede jaar: een kleine verbetering. Het derde jaar: weer een kleine verbetering. Maar plotseling, op 4-jarige leeftijd: een meesterwerk!
Dus we trainen het model en langzaam leert het vaardigheden. Zoals een kind langzaam beter leert te tekenen.
Maar naast deze langzame verbeteringen leidt LLM-schaalvergroting ook tot interessant ander gedrag — gedrag waarvoor de LLM niet getraind is. Naarmate LLM's schalen, bereiken ze plotseling nieuwe vaardigheden. Deze worden "unlocked". Alsof een kind van 4 jaar oud plotseling een Rembrandt kan tekenen.
Een kind van 4 jaar oud dat nog nooit heeft getekend, pakt een potlood op, en tekent... een Rembrandt.
LLM's werden niet direct getraind om deze vaardigheden te hebben, en ze verschijnen op snelle en onvoorspelbare manieren alsof ze uit het niets tevoorschijn komen.
Onderzoekers noemen deze vaardigheden "emergent". De definitie:
Emergent: Een vaardigheid die niet aanwezig is in een klein model, waarop niet is getraind, maar wordt 'unlocked' in een groter model.
Er zijn twee eisen om te voldoen aan het predicaat "Emergent":
- Sharpness: Een onwaarschijnlijke overgang van "kennis niet aanwezig" naar "kennis aanwezig".
- Unpredictability: Schijnbaar onvoorzien en niet te voorspellen bij het opschalen van het model.
Op dit moment zijn er 137 emergente vaardigheden ontdekt in grotere modellen. Een van de voorbeelden is de herkenning van films uit emoticons, bijvoorbeeld:
- 🧛♂️🦇📚 = "Dracula"
- 🕷️👨🦰🏙️ = "Spider-Man"
Deze opschaling verbetert niet alleen de prestaties en efficiëntie, maar onthult ook vaardigheden die voorheen verborgen waren. Deze vaardigheden komen naar de oppervlakte wanneer een bepaalde schaal wordt bereikt.
Aldus, denkt men.
Een andere invalshoek
In het artikel "Are Emergent Abilities of Large Language Models a Mirage?" door Rylan Schaeffer, Brando Miranda en Sanmi Koyejo van Stanford University wordt dit in twijfel getrokken.
Het artikel betwist het conventionele begrip van emergent abilities, met het voorstel dat deze fenomenen meer gerelateerd zijn aan de gebruikte methoden en visualisaties dan aan nieuwe intrinsieke eigenschappen van de modellen.
De auteurs tonen aan dat wat is waargenomen als emergent eigenlijk voorspelbare, geleidelijke verbeteringen kunnen zijn — gemaskeerd door de keuze van indicatoren en metrics.
Dit inzicht heeft belangrijke implicaties voor LLM-onderzoek, met name bij het evalueren van de capaciteit van een model. Ook ontmaskert het enkele van de magische vermogens die aan LLM's zijn toegeschreven. Daarnaast stelt het de gedachte ter discussie dat de parameterwedstrijd de enige manier is om betere taalmodellen te creëren — dat hoeft waarschijnlijk niet het geval te zijn.
Conclusie: Is het emergent?
Is het emergente vermogen van Large Language Models een direct resultaat van hun omvang?
Het antwoord is mogelijk: misschien.
Recent onderzoek suggereert dat de opkomst van dergelijke capaciteiten niet uitsluitend toegeschreven kan worden aan de omvang van de modellen. Het zou ook kunnen liggen aan factoren zoals de manier van groei of de specifieke visuele weergaven gekozen door onderzoekers.
Desalniettemin speelt de grootte van LLM's een cruciale rol in hun toepassingsvermogen en impact op onze samenleving. Met de huidige stand van technologie tonen grotere modellen aanzienlijk meer vaardigheden dan hun kleinere tegenhangers.
Echter, de precieze dynamiek van emergente capaciteiten blijft vooralsnog onduidelijk. Wat wel duidelijk is, is de noodzaak voor een betere standaardisatie in het meten van de prestaties en capaciteiten van deze modellen.
Een ISO-standaard om vaardigheden uniform te toetsen zou een stap in de juiste richting zijn.
Er zijn enkele essentiële overwegingen omtrent de "emergent" capaciteiten van grote taalmodellen:
- Het is onduidelijk vanaf welke schaal nieuwe capaciteiten zullen verschijnen
- Het precieze niveau van deze capaciteiten blijft onbekend tot ze zich manifesteren
- Het volledige spectrum van potentiële capaciteiten is op dit moment nog onduidelijk
Bronnen
- Vaswani et al. (2017). Attention Is All You Need. arxiv.org/abs/1706.03762
- Schaeffer et al. (2023). Are Emergent Abilities of Large Language Models a Mirage? arxiv.org/abs/2304.15004
- AssemblyAI. Emergent Abilities of Large Language Models. assemblyai.com
- Wei, J. List of Emergent Capabilities. jasonwei.net
- Deepgram. Activation Functions. deepgram.com
Meer lezen? Zie ook Waarom de AI Act er écht toe doet — over de regelgeving die bepaalt hoe we AI verantwoord inzetten.
Terug naar blog