Towards Sound Measurement of Stereotypes and Attitudes in Humans and Language Models
(Naar een verantwoord meten van stereotypen en attitudes bij mensen en taalmodellen)
Dominik Bachmann

Samenvatting:
Een groot deel van de empirische wetenschap draait om meten: het comprimeren van de bijna oneindige complexiteit van de buitenwereld tot een eindige set gegevens (meestal in de vorm van getallen). Meten kan grote gevolgen hebben: op basis van gegevens worden beslissingen (bijvoorbeeld diagnoses) genomen en conclusies getrokken over de wereld. Deze beslissingen en conclusies zijn slechts valide voor zover de gegevens betekenen wat men denkt dat ze betekenen. Gezien het belang van goede metingen in empirisch onderzoek, is het doel van dit proefschrift om bij te dragen aan de ontwikkeling van hoogwaardige meetinstrumenten voor mensen en taalmodellen.

Deel 1 van dit proefschrift slaat een brug tussen Natural Language Processing (NLP; oftewel het subgebied van kunstmatige intelligentie dat zich bezig houdt met natuurlijke taalverwerking) en Psychometrie (oftewel het subgebied van de psychologie dat zich bezighoudt met de theorie en praktijk van meten). We betogen hier dat psychometrie NLP voorziet van theoretische perspectieven (namelijk betrouwbaarheid en validiteit, hoofdstuk 2, en itemresponstheorie, hoofdstuk 3). Dit kan helpen bij het aanpakken van tekortkomingen van hedendaagse meetinstrumenten voor bias in NLP modellen (sommige modellen bijvoorbeeld gaan er onterecht vanuit dat sommige beroepen overwegend mannelijk zijn). Daarnaast bieden we, ter ondersteuning van de validatie van bias-meetinstrumenten voor gender, een grote dataset met menselijke beoordelingen van genderstereotypen in beroepen (hoofdstuk 4).

Deel 2 onderzoekt de theoretische aannames die ten grondslag liggen aan het meten van menselijke stereotypen en het voorspellen van meningen. In hoofdstuk 5 testen we specifiek of, zoals vaak wordt aangenomen, bewijs voor genderstereotypen kan worden verkregen met een sequentieel primingparadigma, wanneer deelnemers zich niet bewust zijn van wat we proberen te meten. Vervolgens bespreken we in hoofdstuk 6 een vooronderzoek met vragenlijsten, waarin we het kranten-consumptiegedrag en een aantal van de (politieke) meningen van mensen hebben gemeten. Dit vooronderzoek maakte deel uit van een project waarmee we wilden vaststellen in hoeverre grote taalmodellen kunnen voorspellen hoe verschillende groepen mensen reageren op verschillende vragenlijstitems (een benadering die 'silicon sampling' genoemd wordt).

Het hoofdargument van dit proefschrift is dat de aannames die ten grondslag liggen aan meetinstrumenten en het meetproces expliciet gemaakt, gecommuniceerd, onderzocht en getoetst zouden moeten worden.