Blinde Menschen an nonverbaler Kommunikation teilhaben lassen

Blinden oder sehbehinderten Menschen bleiben in alltäglichen Interaktionen mit sehenden Menschen wichtige Informationen vorenthalten. Dazu gehören Körpersprache und Mimik, die auf Emotionen des Gegenübers schließen lassen: ein Lächeln bei der Begrüßung, ein zustimmendes Nicken oder ein verwirrter Blick bei unklaren Aussagen. Ein aufmerksames Gegenüber stellt sich darauf ein und versucht im Umgang mit sehbehinderten Personen, möglichst viele dieser nonverbalen Aspekte in Sprache oder Berührungen zu verpacken.

Doch in der Kommunikation mit Gruppen ist das weniger gut möglich. In einem beruflichen Meeting mit mehreren Menschen, mit unterschiedlichen Sprechenden, vielleicht auch hitzigen Disputen und Informationen, die auf Flipcharts oder anderen visuellen Informationsträgern präsentiert werden, haben Teilnehmende mit eingeschränktem Sehsinn einen schweren Stand. Wie der Geste einer Mitarbeiterin folgen, die mit ihrer Hand auf einen bestimmten Bereich des Flipcharts zeigt? Wie einen unbekannten Sprecher identifizieren? Wie den Raum lesen, ob es nach einer Wortmeldung etwa nonverbale Zeichen von Zustimmung oder Ablehnung gibt?

In Zukunft sollen Assistenzsysteme für sehbehinderte Menschen derartige Informationen liefern können, um eine barrierefreie Teilnahme an Konferenzen zu ermöglichen. Doch die Entwicklung technischer Hilfsmittel, die menschliche Handlungen in Kommunikationssituationen in Echtzeit interpretieren können, ist komplex und aufwändig. Ein Projekt, bei dem Forschende der Johannes Kepler Universität (JKU) Linz mit Teams der ETH Zürich und der TU Darmstadt zusammenarbeiten, soll deshalb die wissenschaftlichen Grundlagen liefern, auf denen künftige Anwendungen in diesem Bereich aufbauen können.

Tracken, sammeln, zugänglich machen

„Die Herausforderung liegt darin, Gesichtsausdrücke, Gesten und andere nonverbale Kommunikationsformen in einer Konferenzsituation zu tracken, zu sammeln und mithilfe eines intelligenten Systems den sehbehinderten Menschen auf unterschiedliche Weise zugänglich zu machen“, skizziert Klaus Miesenberger, Projektverantwortlicher und Leiter des Instituts Integriert Studieren der JKU Linz. Die Informationen können etwa per Lautsprecher im Ohr der sehbehinderten Person oder per Braille-Zeile – einem Ausgabegerät für Blindenschrift – erfolgen. Zudem bieten sich Smartwatch und Smartphone als Hilfsmittel an. Ihre Sensorik kann Bewegungen und Lage im Raum erfassen. Neben der Audioausgabe können sie per Vibrationsmechanismen auch haptische Signale an ihre Nutzerinnen und Nutzer übermitteln.

Gleichzeitig sollen die sehbehinderten Anwenderinnen und Anwender auch in die Lage versetzt werden, selbst Aktivitäten auszuführen, um gezielt Gesten im Kontext der Besprechungsrunde auszuführen. Sie sollen auf eine Person oder einen Bildschirminhalt zeigen oder sogar Anzeigen auf einem virtuellen Flipchart manipulieren können. Auch dafür können Smartphones und Wearables ein probates Hilfsmittel sein. An der Partneruniversität in Darmstadt wird darüber hinaus auch an einem eigenen Ausgabegerät gearbeitet – ein Tisch, der über einen magnetischen Mechanismus Objekte bewegen kann und auf haptische Weise räumliche Zusammenhänge darstellen kann.

Die Grundlagenforschung in diesem Bereich hält viele Herausforderungen bereit. „Nonverbale Kommunikation ist zwar ein großes Forschungsthema, es gibt aber kaum formale Beschreibungen dazu, nach denen man sich bei der Entwicklung einer automatisierten Analyse von Mimik und Gesten richten könnte“, gibt Miesenberger ein Beispiel. Die Forschenden arbeiten mit ihrer Zielgruppe, um Informationsbedarf und Interaktionsmöglichkeiten zu definieren und Systeme für eine entsprechende Datenaufbereitung zu gestalten. Ein wichtiger Aspekt ist, ankommende Informationen zu gewichten und eine Nutzerschnittstelle zu schaffen, die sowohl Übersicht als auch schnellen Zugriff gewährleistet. „Wir entwickeln dafür einen sogenannten Reasoner, ein komplexes Regelsystem, das etwa entscheiden kann, welche Informationen sofort geliefert werden müssen und welche bei Bedarf auf Abruf bereitstehen sollen“, erläutert Miesenberger.  

Gemeinsames Brainstorming am Flipchart

Einen Ansatz für ein konkretes Assistenzsystem liefert Reinhard Koutny, Projektmitarbeiter und Doktorand Miesenbergers. Er arbeitet an einem System, das Inhalte nicht nur etwa über Audioausgabe zugänglich macht, sondern durch Gesten auch Manipulationen zulässt. „Ein häufig auftretendes Szenario in Meetings ist das gemeinsame Brainstorming mithilfe von Postings, die auf einem Flipchart angeordnet werden“, erklärt Koutny. „Unser System erlaubt auch sehbehinderten Menschen, an diesen Aktionen teilzuhaben.“

Ein virtuelles Flipchart auf einem Monitor interagiert dabei mit dem Smartphone der Nutzerinnen und Nutzer. „Das Gerät dient als Sensor, mit dem sich die Anzeige räumlich erkunden lässt. Das Handy vibriert, wenn man es etwa über ein Posting bewegt, via Audiogerät im Ohr wird eine Beschreibung ausgegeben“, schildert Koutny. „Gleichzeitig lassen sich die Postings auch verschieben oder drehen, indem man einfach auf das Element zeigt, eine Handytaste drückt und in der gewünschten neuen Position wieder loslässt.“ Auch physische Objekte und Personen im Besprechungsraum selbst lassen sich mittels eines ähnlichen Prinzips erkunden. Hier hilft eine Smartwatch, um Informationen und Richtungsangaben abzurufen. Voraussetzung für die Anwendung sind lediglich moderne Geräte, die über eine entsprechende Sensorik verfügen. Ein erster Prototyp des Systems liegt bereits vor.

Eine Aufgabe, die Klaus Miesenberger und dem Projektteam noch bevorsteht, ist es, die entwickelten Systematiken mit der Welt der künstlichen Intelligenz zu verbinden. „Künftig werden wir Meetings mithilfe der Tracking-Technologien aufzeichnen, um eine – natürlich anonymisierte – Datenbasis zu schaffen“, erklärt der Projektleiter. „Anhand dieser Daten können dann mithilfe von Machine-Learning-Methoden verbesserte Modelle erstellt werden. Die Systeme sollen lernen, die Situationen besser zu interpretieren, um treffsicher die adäquaten Interaktionsmöglichkeiten bereitzustellen.“

Zu den Personen

Klaus Miesenberger ist Wirtschaftsinformatiker mit Arbeitsschwerpunkt im Bereich Mensch-Maschine-Kommunikation für Menschen mit Behinderungen. Seit 1992 beschäftigt er sich an der Johannes Kepler Universität (JKU) Linz mit Informationssystemen, die blinde und sehgeschädigte Studierende unterstützen, seit 2017 ist er Leiter des Instituts Integriert Studieren an der JKU.

Reinhard Koutny ist nach einem Software-Engineering-Masterstudium an der JKU Linz Doktorand und wissenschaftlicher Mitarbeiter am Institut. Das Projekt „Barrierefreie Besprechungszimmer für sehbehinderte Menschen“ wurde vom Wissenschaftsfonds FWF mit 210.000 Euro gefördert und läuft noch bis Ende 2021.  

Publikationen und Beiträge

Koutny R., Günther S., Dhingra N., Kunz A., Miesenberger K., Mühlhäuser M.: Accessible Multimodal Tool Support for Brainstorming Meetings, in: K. Miesenberger, R. Manduchi, M. C. Rodriguez, P. Peňáz (Hg.): ICCHP 2020: Computers Helping People with Special Needs, Serie LNCS, Vol. 12377, Springer 2020

Dhingra N., Koutny R., Günther S. et al.: Pointing Gesture Based User Interaction of Tool Supported Brainstorming Meetings, in: ICCHP 2020: Computers Helping People with Special Needs, 17th Int. Conference, Lecco, Italy, September 9–11, 2020, Proceedings, Part II. 2020

Günther S., Koutny R., Dhingra N. et al.: MAPVI: Meeting Accessibility for Persons with Visual Impairments; in: Proceedings of the 12th ACM International Conference on Pervasive Technologies Related to Assistive Environments – PETRA 2019 (PDF)