Samenvatting:
Towards Language Models that benefit us all: Studies on stereotypes, robustness, and values 
Alina Leidinger

Naarmate Large Language Models zich hebben ontwikkeld van simpele taakoplossers tot algemene chat engines, vormt het onderzoeken van hun mogelijkheden en gevaren een aanzienlijke uitdaging. Systematisch onderzoek naar beiden is noodzakelijk als hoeksteen voor goed geı̈nformeerd beleid en technologische vooruitgang. In dit proefschrift bestuderen we stereotypen, robuustheid en waarden in Large Language Models (LLM’s) op basis van inzichten uit zoekmachineonderzoek, taalkunde, formele semantiek, logica en filosofie. In Deel een onderzoeken we de gevaren van stereotypering in systemen voor natuurlijke taalverwerking, namelijk hulpmiddelen voor het automatisch voltooien van zoekopdrachten en LLM’s, waarbij in beide gevallen met verschillende groepen ongelijkmatig wordt omgegaan. Deze bevindingen leiden ons ertoe om in Deel twee de variabiliteit in LLM-gedrag breder te onderzoeken, waar we de robuustheid van LLM-vaardigheden voor verschillende taken en met name voor redeneren bestuderen. Op basis van onze bevindingen stippelen we een pad uit naar meer holistische evaluatiepraktijken voor het vakgebied van natuurlijke taalverwerking. In Deel drie zetten we stappen om LLM’s zo af te stemmen dat ze een verscheidenheid aan sociale groepen en sprekers van verschillende talen vertegenwoordigen. Ten eerste verzamelen en annoteren we een meertalige dataset om de overeenstemming van LLM’s met waarden in verschillende talen te beoordelen. Ten tweede ontwikkelen we een directe afstemmingsaanpak voor LLM’s om de robuustheid van de afstemming op menselijke waarden tussen demografieën en talen te verbeteren.