Inductive Biases for Learning Natural Language
Samira Abnar 

Een klassieke vraag in het onderzoek naar menselijke cognitie is: welke voorkeuren en eigenaardigheden van het menselijk brein maken het mogelijk om taal te leren en te gebruiken? Een vergelijkbare vraag kunnen we tegenwoordig stellen over machine-intelligentie: hoe ontwerpen we leeralgoritmes voor natuurlijke taal die efficiënt zijn en die computers in staat stellen de juiste generalisaties te maken? Wat zijn de noodzakelijke ‘learning biases’ en hoe bouwen we ze in in computermodellen?
In dit proefschrift onderzoeken we technieken om de impact van verschillende biases in kaart te brengen. We bestuderen de representaties van taal die de modellen leren, en hoe afhankelijk ze zijn van verschillende factoren. In het bijzonder kijken we naar modellen die gebaseerd zijn op het mechanisme van ‘multi-head attention’, en werken we technieken uit om de patronen in dit mechanisme inzichtelijk te maken.
Met behulp van die technieken onderzoeken we verschillende neurale taalmodellen en de effecten die verschillen in context en context-lengte, architectuur en ‘training objective’ hebben op de oplossingen die die modellen leren. Sommige van deze factoren, zoals training objective en connectiviteit in de architectuur maken veel verschil. Andere factoren, zoals het aantal lagen in de architectuur, hebben minder effect op de uiteindelijke oplosisngen.
We bouwen voort op eerdere onderzoeken om de relatie tussen de biases van taalmodellen en de onderliggende neurale mechanismen in de menselijke hersenen te bestuderen. In de bestaande neurale netwerkarchitecturen blijkt vooral ‘recurrentie’ een significante rol te spelen bij het leren van structuren die nodig zijn om taaltaken op te lossen die meer lijken op die van de menselijke hersenen. Verder identificeren en evalueren we empirische bronnen van biases in recurrente neurale netwerken: (1) sequentialiteit, (2) geheugenbottleneck en (3) het delen van parameters over tijd.
We laten zien dat het proces van het destilleren van kennis van het ene model naar het andere inzicht kan geven in de verschillen in de inductieve biases en de expressiviteit van het docenten studentenmodel. Bovendien ontdekken we dat sommige effecten van de ‘learning biases’ mogelijk worden overgedragen via kennisdestillatie.
Dit proefschrift vormt dus een bijdrage aan de analyse van deep learning modellen van taal. Gezien de enorme, recente vooruitgang op dit gebied, en de cruciale rol die schaalvergroting daarbij heeft gespeeld, is een goede evaluatie van taalmodellen enorm belangrijk. Evaluatie-technieken moeten ons in staat stellen om de verschillende manieren te begrijpen waarop modellen generaliseren, met verschillende parameters en onder verschillende omstandigheden. In dit proefschrift zetten we een kleine stap naar het bouwen van een raamwerk voor dergelijke evaluaties.