The Language of Graphics Yuri Engelhardt Samenvatting: Inn dit proefschrift worden een systeem en een begrippenkader ontwikkeld voor de analyse van grafische representaties van informatie. Grafische representatiess lijken steeds belangrijker te worden in ons leven. Terwijl in hett verleden de gebruikelijkste bronnen van informatie (bijvoorbeeld boeken,, kranten) bijna volledig tekstueel waren, zien we tegenwoordig steeds meerr diagrammen, pictogrammen, kaarten en grafieken. We zien zulke grafischee representaties zowel op papier en op borden, als op beeldschermen.. Sommige vormen van grafische representatie zijn ontstaan door recentee ontwikkelingen in de computertechnologie. Andere vormen zijn al te vindenn op archeologische objecten uit de oudheid. In dit proefschrift omvat dee term 'grafische representatie' zowel prehistorische kaarten en Egyptische hiërogliefenn als familiestambomen, beeldstatistieken en moderne 3-D computervisualisaties.. In het kader van dit onderzoek beperken we ons tot statischee representaties. Grafischee representaties kunnen worden beschouwd als uitdrukkingen in visuelee talen. Het hoofddoel van dit proefschrift is het onderzoeken van de basisprincipess van deze visuele talen, zowel voor wat betreft hun grafische syntaxiss als voor wat betreft hun interpretatie. Inn hoofdstuk 1 zetten we de context van het onderzoek uiteen. We besprekenn de noties van grafische representatie en van visuele taal. Verder wordt aandachtt besteed aan de doelstellingen van dit proefschrift. Inn hoofdstuk 2 wordt de syntaxis ('grammatica') van grafische representatiess behandeld. Sectie 2.1 geeft een overzicht van onze benadering van grafischee syntaxis en syntactische recursiviteit. Een grafische representatie kann elementair zijn of samengesteld. We vatten een samengestelde grafische representatiee op als bestaande uit een grafische ruimte, uit een verzameling vann grafische objecten, en uit een verzameling van grafische relaties tussen deze grafischee objecten. Een grafisch object kan zelf ook weer een samengestelde grafischee representatie zijn; deze decompositie kan dus recursief worden toegepast.. Grafische relaties hebben betrekking op ruimtelijke structuur of op visuelevisuele attributen. Op een metro-plattegrond bijvoorbeeld zijn zowel de gekleurdee lijnen, de markeringen van de haltes, als de tekstuele labels grafischesche objecten. Sommige van de grafische relaties tussen de gekleurde lijnen bestaann uit variaties van een visueel attribuut, in dit geval kleur. Sommige vann de grafische relaties tussen de markeringen van de haltes hebben betrekkingg op ruimtelijke structuur, in dit geval ruimtelijke positionering en verbindingg door gekleurde lijnen. In sectie 2.2 gaan we kort in op grafische ruimte hett substraat van alle ruimtelijke relaties in grafische representaties. Secties 2.33 en 2.4 bevatten korte beschouwingen over elementaire grafische objecten en hunn visuele attributen. Inn sectie 2.5 onderzoeken we de verschillende soorten van elementaire en samengesteldee syntactische structuren waarin grafische objecten kunnen wordenn gerangschikt in een grafische ruimte. We beschouwen de syntactischee structuur van een grafische representatie als een verzameling van grafischee relaties. Hierbij maken we een verschil tussen object-object relaties enn object-ruimte relaties. Een object-object relatie is een relatie tussen objecten (subsectiee 2.5.1), terwijl een object-rwimte relatie een relatie is tussen een objectt en één of meerdere punten in een betekenisvolle ruimte (subsectie 2.5.2). Hett labelen van een dorp op een kaart bijvoorbeeld, houdt een object-object relatiee in tussen twee objecten: een dorpsnaam (een tekstueel label) en de stipp die de positie van het dorp aangeeft. De positie van de naam is doorgaanss boven of onder die stip. De ruimtelijke positionering van de stip zelf houdtt een object-rwz'mfó relatie in, namelijk die tussen de stip en een specifiek puntt in de betekenisvolle ruimte van de kaart. Op een soortgelijke manier houdtt een pijl in een stroomdiagram een object-object relatie in, tussen de lijn enn de twee objecten die verbonden worden door die lijn. Een curve in een assenstelsell daartegen houdt een object-ruimte relatie in, tussen de curve en eenn verzameling specifieke punten in de betekenisvolle ruimte van het assenstelsel. . Nauww gerelateerd hieraan is de notie van syntactische rollen. Zoals woordenn verschillende rollen kunnen spelen in de syntactische structuur van een zinn (bijvoorbeeld de rol van onderwerp, gezegde, of lijdend voorwerp), zo kunnenn grafische objecten verschillende syntactische rollen spelen in de syntactischee structuur van een grafische representatie. We onderzoeken deze verschillendee syntactische rollen (subsectie 2.5.3), en gaan in op verschillen watt betreft hun ruimtelijke 'verankering'. Een stip voor een dorp op een kaartt bijvoorbeeld, fungeert als een punt-markeerder (verankerd in een punt inn de betekenisvolle ruimte). Een woord onder een staaf in een staafdiagram fungeertt als een label (verankerd aan het object dat wordt gelabeld). En een pijll in een stroomdiagram fungeert als een connector (verankerd tussen de objectenn die worden verbonden). Andere mogelijke syntactische rollen van grafischee objecten zijn die van separator (bijvoorbeeld een scheidslijn), containerner (bijvoorbeeld een omsluitend kader), lijn-markeerder (bijvoorbeeld een curvee in een assenstelsel), ulak-markeerder (bijvoorbeeld een meer op een kaart)) en kwantitatieve staaf (bijvoorbeeld de staven in een staafdiagram). Sectiee 2.5 wordt afgesloten met een bespreking van verschillende soorten samengesteldesamengestelde syntactische structuren (subsectie 2.5.4). We behandelen oanderee de graphic multiple, die in principe bestaat uit twee of meer variaties vann een grafische representatie. Andere soorten samengestelde syntactische structurenn zijn bijvoorbeeld de multipanel met een gedeelde as, en de achtergrondgrond met inzet. Inn hoofdstuk 3 gaan we in op verschillende aspecten van de interpretatie vann grafische representaties. We bespreken eerst het type correspondentie (sectiee 3.1), dat we definiëren als de relatie tussen dat wat wordt getoond en datt wat wordt bedoeld. De typen correspondentie die we onderscheiden zijn: letterlijk,letterlijk, metaforisch, metonymisch, rebus-gebaseerd, en willekeurig-conventioneel. Eenn pictogram bijvoorbeeld dat een restaurant aangeeft door middel van een mess en een vork is een metonymisch grafisch object, terwijl de grafische ruimtee metaforisch wordt gebruikt als grafische objecten langs een tijdslijn wordenn geplaatst. Na het type correspondentie bespreken we de manier van expressieexpressie (sectie 3.2). Die heeft betrekking op de classificatie van grafische objectenn in afbeeldende objecten (in een spectrum van realistisch tot schematisch)) en niet-afbeeldende objecten (abstracte vormen, woorden en getallen). Ingaandee op een verwarrend probleem in de bestaande literatuur, bespreken wee ook het niet-triviale verband tussen type correspondentie en manier van expressie.expressie. Verder gaan we in op de informatieve rollen (sectie 3.3) die grafische objectenn kunnen spelen in een grafische representatie. We maken onderscheidd tussen referentie-objecten (bijvoorbeeld legenda's, gelabelde assen, rasterlijnen),, daadwerkelijke informatie-objecten (die veranderd moeten wordenn als de informatie verandert, bijvoorbeeld een curve in een assenstelsel)) en decoratie-objecten. We sluiten hoofdstuk 3 af met enkele opmerkingen overr de verschillende soorten van informatie die grafisch kunnen worden gerepresenteerdd (sectie 3.4). Hoofdstukk 4 introduceert een classificatiesysteem voor grafische representaties.. Gebaseerd op de in dit proefschrift ontwikkelde concepten, geven we eenn beschrijving van de te onderscheiden types van grafische representatie. Vervolgenss vergelijken we dit systeem met reeds bestaande classificatiesystemen. . Inn hoofdstuk 5 geven we aan hoe de in dit proefschrift gestelde benaderingg kan worden toegepast op de analyse en discussie van grafische representatiess in de praktijk, plus op de analyse van grafische theorieën in de bestaandee literatuur. Wat betreft de toepassing van onze benadering op voorbeeldenn van grafische representaties in de praktijk, wijzen we de lezer opp de talrijke voorbeelden van grafische representaties in dit proefschrift, diee in hun onderschrift worden geanalyseerd en geclassificeerd. Wat betreft dee literatuur laten we voor een groot aantal bestaande grafische theorieën zienn hoe ze 'vertaald' kunnen worden naar de door ons voorgestelde begrippen. . InIn de conclusies tenslotte (hoofdstuk 6) doen we een poging om de waardee en de mogelijke toepassingen van dit werk te beoordelen.