%Nr: DS-1998-05 %Author: Mehdi Dastani %Title: Languages of Perception Visuele informatie vormt een belangrijke bron van menselijke kennis. Hoewel mensen visuele informatie vrijwel moeiteloos tot kennis verwerken, is het niet eenvoudig te beschrijven hoe deze informatie in kennis omgezet wordt. Het begrijpen van visuele informatie veronderstelt een constituentenstructuur of wel het bepalen van elementen en hun samenstelling tot grote gehelen. Deze constituentenstructuur wordt ook wel Gestalt genoemd. Het moge duidelijk zijn dat vrijwel ieder visueel patroon, of het nu gaat om een stadsgezicht of een artificieel geconstrueerde landkaart, verschillende constituentenstructuren kan hebben. Toch nemen we in veel gevallen een specifieke constituentenstructuur van een visueel patroon waar: bepaalde structuren worden blijkbaar geprefereerd boven andere. Het bepalen van de geprefereerde en dus de feitelijk waargenomen constituentenstructuur van visuele patronen, kan gezien worden als een desambigueringsmechanisme. Wij nemen aan dat zo'n desambigueringsmechanisme ten grondslag ligt aan het menselijke visuele systeem. In dit proefschrift staat Gestaltdesambiguering van visuele patronen centraal, waarbij de empirisch getoetste structurele informatie theorie (SIT) het uitgangspunt vormt. De kerngedachte van SIT is dat het menselijke visuele systeem de meest eenvoudige Gestalt van een visueel patroon prefereert boven andere mogelijke Gestalten van dat patroon. In SIT is de notie van eenvoud gedefinieerd in termen van specifieke en perceptueel relevante regelmatigheden van visuele patronen. Een Gestalt van een visueel patroon is eenvoudiger dan een andere Gestalt van datzelfde patroon wanneer de eerste meer perceptueel relevante regelmatigheden beschrijft dan de tweede. Om de eenvoud van structuren te bepalen, is een empirisch gemotiveerde complexiteitsmaat geintroduceerd. Een Gestalt is eenvoudiger dan een andere Gestalt wanneer de complexiteit van de eerste lager is dan die van de tweede. We bespreken het bestaande model van SIT. In dit model wordt een visueel patroon middels een symbolenreeks gecodeerd. De fundamentele aanname is, dat de perceptueel gemotiveerde regelmatigheden van het visuele patroon in de symbolenreeks weerspiegeld worden. Deze symbolenreeks wordt vervolgens geanalyseerd en beschreven in termen van deze regelmatigheden. Een symbolenreeks kan op verschillende wijzen beschreven worden. Elke beschrijving geeft een mogelijke constituentenstructuur van de symbolenreeks en daarmee een Gestalt van het gecodeerde visuele patroon weer. De geprefereerde Gestalt van het visuele patroon wordt bepaald door de complexiteit van deze beschrijvingen te berekenen. De beschrijving die de laagste complexiteit heeft geeft de geprefereerde Gestalt van dat patroon weer. We laten zien dat dit model van SIT niet toereikend is om de geprefereerde Gestalten van een brede klasse van tweedimensionale visuele patronen te bepalen. Daarom wordt een verfijnder model ontwikkeld waarin de visuele patronen van deze klasse gerepresenteerd (gecodeerd) kunnen worden. Binnen dit model worden visuele patronen gerepresenteerd in termen van visuele attributen zoals positie, kleur, vorm en textuur. De perceptueel gemotiveerde regelmatigheden van tweedimensionale visuele patronen worden dan gedefinieerd in termen van regelmatigheden van de visuele attribuutwaarden. Een verzameling van attribuutwaarden wordt als regelmatig beschouwd wanneer deze gegenereerd kan worden door het toepassen van een transformatie op een van de deelverzamelingen van die verzameling. De transformaties voor de tweedimensionale positiewaarden zijn Euclidische transformaties. Om de Gestalten van tweedimensionale visuele patronen te kunnen uitdrukken, is een taal ontwikkeld. Deze taal wordt in het Engels "Visual REGularity language (VREG)" genoemd. De syntaxis en de semantiek van VREG worden formeel gespecificeerd. Voor de uitdrukkingen van deze taal wordt een complexiteitsmaat voorgesteld. Deze complexiteitsmaat is gemotiveerd door de complexiteitsmaat van SIT. Vervolgens wordt een rekenmodel besproken waarmee de geprefereerde Gestalt van tweedimensionale visuele patronen berekend kan worden. In dit rekenmodel wordt een visueel patroon gerepresenteerd door een verzameling van visuele attribuutwaarden. Deze representatie wordt dan geparseerd door een aantal codeerregels waaruit de uitdrukkingen van VREG gegenereerd kunnen worden. Voor een visueel patroon kunnen verschillende uitdrukkingen gegenereerd worden. De complexiteitsmaat wordt dan gebruikt om de geprefereerde uitdrukking, en daarmee de geprefereerde Gestalt van het geanalyseerde visuele patroon, te kunnen selecteren. We laten zien dat de rekencomplexiteit van dit model deterministisch is maar exponentieel in de grote van het invoerpatroon. De waarneming van de constituentenstructuur van visuele patronen is context-afhankelijk. Eerdere ervaringen met visuele patronen, het gebruik van visuele patronen voor een specifiek doeleinde, of de aanwezigheid van andere visuele patronen, kunnen de waarneming van een gegeven patroon beinvloeden. De rol van contextfactoren in visuele waarneming wordt bestudeerd aan de hand van een specifieke context, namelijk de context van proportionele analogieen. In deze context staan vier visuele patronen in de volgende relatie tot elkaar: het eerste patroon staat in een relatie tot het tweede patroon en het derde patroon staat in dezelfde relatie tot het vierde patroon. We laten zien dat de Gestalten van deze patronen binnen en buiten de proportionele analogie context verschillend kunnen zijn. De analogie wordt gemodelleerd door een algebraische correspondentie tussen de Gestalten van de betrokken visuele patronen te eisen. Tussen twee Gestalten kunnen verschillende algebraische correspondenties bestaan. We bespreken de plausibiliteit van correspondenties door het eenvoudscriterium op deze correspondenties toe te passen. Binnen de context van de proportionele analogieen worden de geprefereerde Gestalten van visuele patronen gezien als de eenvoudigste Gestalten waartussen een eenvoudige algebraische correspondentie bestaat. De voorgestelde methode wordt aan hand van verschillende voorbeelden geillustreerd. Tenslotte wordt een toepassing besproken waarin visuele waarneming een essentiele rol speelt. In deze toepassing, vaak informatie-visualisatie genoemd, worden visuele patronen gegenereerd om relationele informatie visueel te presenteren. Het bestuderen van deze applicatie is interessant omdat, naast de constituentenstructuur die de Gestalt van visuele patronen bepaalt, andere visuele relaties die kwalitatief en kwantitatief van aard zijn, gebruikt worden om relaties uit het informatiedomein uit te drukken. Deze visuele relaties komen tot stand op basis van attribuutwaarden van visuele elementen. Bijvoorbeeld, een lichtrood vierkant en een donkerrood vierkant zijn identiek met betrekking tot het attribuut vorm terwijl hun relatie met betrekking tot het illuminatie-attribuut ordinaal van aard is. De ordinale relatie tussen deze vierkanten kan gebruikt worden om een ordinale relatie uit het informatiedomein, zoals ouder-dan of warmer-dan, uit te drukken. Hoewel relationele informatie op verschillende wijzen gevisualiseerd kan worden, zijn niet alle visualisaties even effectief. Wij beargumenteren dat de effectiviteit van visualisatie gerelateerd is aan de waarnemingseigenschappen van visuele relaties. Wij beschouwen een visualisatie effectief, wanneer relaties uit het informatiedomein uitgedrukt worden middels visuele relaties die dezelfde structurele eigenschappen hebben. Gebaseerd op dit effectiviteitscriterium, introduceren we een formeel model voor effectieve informatie-visualisatie. In dit model worden zowel relationele informatie als visuele patronen beschreven als relationele structuren. Het effectiviteitscriterium wordt gemodelleerd door een structurele correspondentie tussen deze relationele systemen te eisen. Dit proefschrift wordt afgesloten met een discussie en evaluatie van het onderzoek. Tevens worden open problemen en toekomstige onderzoeksrichtingen geidentificeerd en geformuleerd.