A Sampling-Based Exploration of Neural Text Generation Models
Bryan Eikema

Neurale tekstgeneratiemodellen staan aan de basis van de meeste hedendaagse systemen voor natuurlijke taalverwerking (natural language processing, NLP). In de afgelopen jaren zijn de prestaties van NLP-systemen in een stroomversnelling geraakt dankzij innovaties op het gebied van neurale netwerkarchitecturen en trainingsparadigma's zoals attentiemechanismen, Transformers en pre-training- en data-augmentatiestrategieën. In de kern is de probabilistische formulering van deze modellen echter niet veranderd sinds de oorspronkelijke neurale tekstgeneratiemodellen werden geïntroduceerd.

De probabilistische aard van deze modellen wordt daarentegen vaak snel vergeten nadat het model getraind is. Voor veel natuurlijke taalverwerkingstaken, zoals machinevertaling, worden bijvoorbeeld deterministische zoekalgoritmen gebruikt om een enkele "beste" generatie uit het model te halen. In dergelijke gevallen wordt het probabilistische model alleen gebruikt om gedeeltelijke generaties een score toe te wijzen om zo de hoogst scorende complete generatie te vinden, oftewel de sequentie met tekstsymbolen met de hoogste kans binnen de kansverdeling, ook wel bekend als de modus van de kansverdeling. Dit gaat ervan uit dat neurale tekstgeneratiemodellen datasoortige generaties  inderdaad op hun conditionele modi plaatsen. Een observatie die in literatuur wordt gemaakt in verscheidene textgeneratietaken suggereert echter dat dit niet het geval is.

Een beter begrip van de kansverdelingen over tekst die onze neurale netwerken voorspellen, stelt ons in staat beter geïnformeerde beslissingen te nemen over welke generatie-strategie geschikt is voor onze modellen. Sampling, het genereren van tekst zodat dit de kansverdeling volgt, is een natuurlijke manier om de eigenschappen van de kansverdelingen die door neurale netwerken worden voorspeld te verkennen. Door de eigenschappen van dergelijke samples te bestuderen, onderzoeken we indirect ook de eigenschappen van de kansverdelingen waarmee we werken. Samples kunnen ook worden gebruikt om generatie-algoritmen te informeren en voor sommige taken zijn samples zelfs de voorkeursuitvoer van het model.

In deze dissertatie zullen we het gebruik van sampling verkennen om onze tekstgeneratiemodellen beter te begrijpen en om generatie-algoritmen te informeren. We zullen algemeen bekende problemen van tekstgeneratiemodellen bekijken door de lens van een dergelijke probabilistische verkenning en een nieuw perspectief bieden op hun mogelijke oorzaken. We gebruiken deze inzichten om een generatie-algoritme op basis van sampling te ontwikkelen, geïnspireerd door risicominimisatiestrategieën. Daarnaast ontwikkelen we geheel nieuwe samplingstrategieën om samples te verkrijgen van willekeurige verdelingen waarbij een per-token- (i.e. autoregressieve) factorisatie niet bestaat.