Okulometrische Analyse von 30 gehörlosen Personen, die Karel Dujardin, Die Morra-Spieler, um 1660, Louvre, betrachten. Die blauen Linien stellen die Konturen der Blickfixationscluster dar, wÀhrend die roten Linien ausgewÀhlten Bereichen von Interesse entsprechen.
Eyetracking-Analyse von 30 gehörlosen Personen, die Karel Dujardin, Die Morra-Spieler, um 1660, Louvre, betrachten. Die blauen Linien stellen die Konturen der Blickfixationscluster dar, wĂ€hrend die roten Linien ausgewĂ€hlten Bereichen von Interesse entsprechen. © T. Dimova, CreA Lab

Zeigegesten waren durch die Jahrhunderte ein gĂ€ngiges Element in GemĂ€lden. In der Linguistik werden sie „deiktische Gesten“ genannt: vom griechischen „deixis“ fĂŒr zeigen, hinweisen. Besonders Maler in der Renaissance – wie Leonardo da Vinci, Raffael oder Michelangelo – und im Barock – Rembrandt, Rubens, Caravaggio und viele andere – setzten zeigende Finger bewusst ein, um auf bedeutende Charaktere im Bild aufmerksam zu machen, wichtige Symbole hervorzuheben und die Bilder rĂ€umlich oder zeitlich zu strukturieren.

In der Fachwelt wurde immer davon ausgegangen, dass die Gesten den selbst gesetzten Anspruch erfĂŒllen und zum besseren VerstĂ€ndnis der Bildinhalte beitragen. Die französische Kunsthistorikerin Temenuzhka Dimova wollte diese Annahme nun auch wissenschaftlich ĂŒberprĂŒfen – und fand in Wien die besten Bedingungen fĂŒr ihre Experimente.

Die kodifizierte Sprache der HĂ€nde

Temenuzhka Dimova hat sich im Rahmen ihrer Doktorarbeit in Frankreich auf „die Sprache von Gesten in frĂŒhneuzeitlichen GemĂ€lden“ spezialisiert. „Gesten haben sich im Laufe der Zeit zu einem kodifizierten System von Handzeichen mit verschiedenen ikonografischen Bedeutungen entwickelt“, erklĂ€rt sie. „Wenn wir ihre Bedeutung kennen, erklĂ€ren uns die Gesten also, was die Charaktere sagen oder wie sie miteinander verbunden sind.“ Aber könnten die Handzeichen auch intuitiv, also ohne Vorwissen, verstanden werden?

Das Labor fĂŒr Kognitive Forschung in der Kunstgeschichte („Laboratory for Cognitive Research in Art History“ – CReA Lab) an der UniversitĂ€t Wien setzt Eyetracking ein, um Fragen wie diese zu ĂŒberprĂŒfen. „Das CReA Lab ist das einzige Eyetracking-Labor, das ich kenne, das von einem Kunsthistoriker (Anm.: Raphael Rosenberg) geleitet wird“, erzĂ€hlt Dimova begeistert von ihren BeweggrĂŒnden, nach Wien zu kommen.

Quantitative Daten fĂŒr die Kunstgeschichte

Eyetracking ist eine relativ junge, aber immer beliebter werdende Methode, mit der die ebenfalls populÀrer werdende experimentelle Kunstgeschichte arbeitet. Mit einem speziellen GerÀt werden dabei unter kontrollierten Bedingungen die Pupillenbewegungen von Personen aufgezeichnet, wÀhrend sie ein Kunstwerk betrachten.

Die Forschenden interessieren Fragen wie: An welchem Punkt beginnt die Bildbetrachtung, und auf welchen Punkten verweilt der Blick lĂ€nger („Fixation“)? Wie wandert das Auge ĂŒber das Werk („Scanpfade“)? Zwischen welchen Bildteilen springen die Augen schnell hin und her („Sakkaden“)? Und wohin kehren sie immer wieder zurĂŒck?

Das wilde Zickzackmuster, das sich aus den aufgezeichneten Augenbewegungen ergibt, liefert die quantitativen Daten, um zum Teil jahrhundertealte Theorien ĂŒber die Wirkung von Bildern zu ĂŒberprĂŒfen – Theorien wie die, dass deiktische Gesten entscheidend dazu beitragen, Bilder besser zu verstehen.

Links: Originalversion von Caravaggio, Das Opfer Isaaks, um 1603, Uffizien; Rechts: Bearbeitete Version desselben GemÀldes, bei der der zeigende Finger des Engels entfernt wurde.
Links: Originalversion von Caravaggio, Das Opfer Isaaks, um 1603, Uffizien, © Web Gallery of Art.; rechts: Bearbeitete Version des GemĂ€ldes, ohne zeigenden Finger. © T. Dimova, CReA Lab

Ein ganz spezielles Projektdesign

Mit Eyetracking können außerdem Betrachtungsgewohnheiten in verschiedenen Kulturen oder von unterschiedlichen Personengruppen miteinander verglichen werden. FĂŒr ihr FWF-Projekt „Following the Festaiuolo: How Do Deictic Gestures in Paintings Influence the Beholder’s Gaze?“ arbeitete Dimova mit drei solchen unterschiedlichen Gruppen:

Erstens mit Lai:innen ohne spezielle Kunstausbildung (85 Personen); zweitens mit Kunstgeschichte-Studierenden, die bereits mit fachlicher Vorbildung an ein Bild herantreten (50 Personen), und drittens mit Gehörlosen, die fließend GebĂ€rdensprache beherrschen (30 Personen).

Warum mit Gehörlosen? „WĂ€hrend des Studiums habe ich immer wieder als Kunstvermittlerin gearbeitet und bin dabei auch mit Menschen in Kontakt gekommen, die nichts hören“, erklĂ€rt Dimova. „Mich hat fasziniert, wie sie Bilder betrachten, und ich habe mich gefragt, ob Personen, die darauf trainiert sind, visuelle Reize zu verstehen, Bilder anders wahrnehmen als Hörende.“

Besonders interessant fand Dimova das fĂŒr Bilder mit deiktischen Gesten – denn Gesten sind die Sprache der Gehörlosen. „Ich bin sehr froh, dass ich Raphael Rosenberg dafĂŒr gewinnen konnte, diesen Aspekt im Projektantrag mitzutragen“, freut sich die Expertin.

Der ungeschulte Blick braucht den Zeigefinger

Allen drei Testgruppen wurden im Labor auf einem großen Bildschirm je 40 Sekunden lang insgesamt 16 GemĂ€lde gezeigt, die mehrere deiktische Gesten enthalten. Nach der Aufzeichnung der Augenbewegungen wurden den Proband:innen konkrete Fragen ĂŒber die dargestellten Geschichten gestellt, um zu sehen, wie sie die GemĂ€lde interpretieren. 

Die Gruppe der Lai:innen war ausreichend groß fĂŒr einen weiteren Versuch: Aus je acht Bildern entfernte Dimova die Zeigegesten mit Photoshop. „Damit wir belastbare Ergebnisse bekommen, hatten wir zwei Sets von Bildern: In dem einen Set waren die Bilder 1 bis 8 bearbeitet, im zweiten Set die Bilder 9 bis 16.“

FĂŒr die Forscherin ĂŒberraschend war, wie kurz die Ungeschulten den Zeigefinger betrachteten. Die halbe Sekunde reichte trotzdem aus, um die Blickrichtung und das VerstĂ€ndnis des GemĂ€ldes maßgeblich zu beeinflussen. „Wir sehen, dass die Proband:innen ohne Kunstausbildung sich eher auf kleinere Bereiche im Bild konzentrieren, hauptsĂ€chlich Gesichter und offensichtliche Bildelemente, und dass sie das Gesamtbild weniger umfassend erkunden“, so Dimova. „Und in den bearbeiteten GemĂ€lden haben sie die eigentlich relevanten Bereiche des Bildes viel weniger beachtet.“

Deiktische Gesten lenken also tatsĂ€chlich den (ungeschulten) Blick auf das Wesentliche – wie es der Festaiuolo tat, der namensgebend war fĂŒr Dimovas Projekt: Der Festaiuolo war eine im Theater des 15. und 16. Jahrhunderts allgegenwĂ€rtige und allgemein bekannte Figur, die auftrat, um dem Publikum die Handlung zu erklĂ€ren. Laut dem britischen Kunsthistoriker Michael Baxandall hĂ€tten sich die Maler jener Zeit an der Figur ein Beispiel genommen und eigens Handzeichen eingefĂŒhrt, um – wie der Festaiuolo – Kontext und Orientierung fĂŒr die Bildbetrachtung zu liefern.

Das Projekt

Vor allem alte GemĂ€lde bilden hĂ€ufig Personen ab, die auf etwas zeigen. Temenuzhka Dimova und Raphael Rosenberg vom Labor fĂŒr Kognitive Forschung in der Kunstgeschichte (CReA Lab, UniversitĂ€t Wien) ĂŒberprĂŒften mittels Eyetracking, ob die Zeigegesten den Blick tatsĂ€chlich lenken und ob sie beeinflussen, welche Information die Betrachtenden aus dem GemĂ€lde ziehen. Sie fanden Unterschiede zwischen Lai:innen, Kunstgeschichte-Studierenden und Gehörlosen, die tĂ€glich mit GebĂ€rdensprache kommunizieren.

Gehörlose so aufmerksam wie Kunststudierende

Im Vergleich zur Lai:innengruppe waren die Kunstgeschichte-Studierenden und die Gehörlosen (auch ohne kunsthistorische Vorbildung) deutlich interessierter an Bilddetails: Sie erkundeten grĂ¶ĂŸere FlĂ€chen der GemĂ€lde, waren dabei deutlich schneller und explorativer.

Die Eyetracking-Ergebnisse bestĂ€tigten Dimovas Vermutung, dass Gehörlose durch ihr Training in visueller Wahrnehmung und ihre Ausbildung in einer „rĂ€umlichen“ Sprache – der GebĂ€rdensprache – sensibler fĂŒr visuelle Details von GemĂ€lden sind. „Sie sehen Bilder Ă€hnlich an wie Leute, die genau wissen, was an einem GemĂ€lde wichtig ist“, so Dimova. Wie die Studierenden der Kunstgeschichte achteten sie auf Details wie relevante Gesten, informative Objekte oder Gesichter und konnten die GemĂ€lde anschließend auch besser beschreiben und interpretieren als die Lai:innen. Dimova bedauert, dass die Gruppe nicht groß genug war, um den Unterschied zwischen originalen und bearbeiteten Bildern auch hier abzutesten.

Trotzdem möchte die Forscherin Gehörlose ausdrĂŒcklich dazu ermutigen, sich mit dem visuellen Erbe der Menschheit auseinanderzusetzen: Kunstgeschichte zu studieren, als Guides fĂŒr Gehörlose in Museen zu arbeiten, Ausstellungen zu kuratieren – oder, wie Dimova, zu erforschen, was uns die Bilder erzĂ€hlen. „Sie haben dafĂŒr ganz besondere FĂ€higkeiten.“

Zur Person

Temenuzhka Dimova studierte Kunstgeschichte in Frankreich. In ihrer Doktorarbeit „Sprache der Gesten in frĂŒhneuzeitlichen GemĂ€lden“ analysierte sie die kodifizierte Bild- bzw. Zeichensprache in europĂ€ischen Bildkulturen des 16. und 17. Jahrhunderts. Als MuseumsfĂŒhrerin kam sie immer wieder mit gehörlosen Besucher:innen in Kontakt. Das weckte ihr Interesse, ob Gehörlose auf andere Dinge achten als Hörende. Zusammen mit Raphael Rosenberg entwickelte die Kunsthistorikerin ein Projektdesign, das Gehörlose bei den Eyetracking-Experimenten berĂŒcksichtigt.