Structuur Ontrafelen uit Taalmodellen
(Finding Structure in Language Models)
Jaap Jumelet

Samenvatting:
Wanneer we spreken, schrijven of luisteren, creëren we constant voorspellingen die gefundeerd zijn op onze kennis van de grammatica van een taal. Kinderen vergaren deze grammaticale kennis in luttele jaren, wat hen in staat stelt nieuwe constructies te begrijpen zonder deze ooit eerder gehoord te hebben. Taalmodellen vormen representaties van taal door stap voor stap het volgende woord in een zin te voorspellen en deze hebben de laatste jaren een enorme maatschappelijke invloed gehad. De onderzoeksvraag die centraal staat in deze thesis is of zulke modellen een diepgaand begrip van grammaticale structuur bezitten dat vergelijkbaar is met dat van mensen. Deze vraag bevindt zich op het kruispunt van natuurlijke taalverwerking, taalkunde en interpreteerbaarheid. Om tot een antwoord te komen, ontwikkelen we nieuwe technieken voor interpreteerbaarheid die ons een beter begrip verschaffen van de complexe aard van grootschalige taalmodellen. We benaderen onze onderzoeksvraag vanuit drie richtingen. Ten eerste onderzoeken we de aanwezigheid van abstracte linguïstische informatie door middel van structural priming, een belangrijk paradigma in de psycholinguïstiek voor het onthullen van grammaticale structuur in menselijke taalverwerking. Vervolgens onderzoeken we verscheidene linguïstische verschijnselen, zoals adjectiefvolgorde en negatief polaire uitdrukkingen, en verbinden een model zijn begrip van deze verschijnselen aan de tekstdistributie waarop deze is getraind. Tot slot introduceren we een gecontroleerde testomgeving voor het bestuderen van hiërarchische structuren in taalmodellen met behulp van verschillende synthetische talen met toenemende complexiteit. Ook onderzoeken we de rol van feature interactions bij het modelleren van deze structuur. Onze bevindingen geven een gedetailleerd verslag van de grammaticale kennis die is ingebed in de representaties van taalmodellen en bieden verschillende richtingen voor het onderzoeken van fundamentele linguïstische vraagstukken met behulp van computationele methoden.