Wie die Augen beim Hören helfen

Eine der wichtigsten Maßnahmen im Kampf gegen die Corona-Pandemie ist das Tragen eines Mund-Nasen-Schutzes oder einer FFP2-Maske. Es ist offensichtlich, dass durch dieses Verdecken des unteren Gesichtsbereichs aber auch die zwischenmenschliche Kommunikation schwieriger wird. Die Worte müssen sich erst den Weg durch die Stoffschicht bahnen und der Kontext der Mimik geht verloren. Die Einschränkungen lassen sich für die meisten Menschen mit deutlicher Sprache und gezielter Aufmerksamkeit ausgleichen. Doch für Personen mit einer Hörbeeinträchtigung, die nun ohne die Zusatzinformation der Lippenbewegung auskommen müssen, wirkt sich die Situation besonders nachteilig aus. Gerade unübersichtliche Kommunikationssituationen mit mehreren Sprecherinnen oder Sprechern sind für sie nur noch schwer zu erfassen. 

Der Erforschung dieses sehr aktuellen Problemkreises widmen sich Nathan Weisz und Anne Hauswald vom Zentrum für Neurokognitive Forschung der Universität Salzburg im Projekt „Einfluss von Mund-Nasen-Schutz auf Sprachverständnis“, das vom Wissenschaftsfonds FWF mit einer „Akutförderung SARS-CoV-2“ ausgestattet wurde. „Gehörgeschädigte Menschen müssen in der Kommunikation mit Maskenträgern viel mehr Anstrengung aufbieten, um die fehlenden visuellen Informationen auszugleichen“, betont Weisz. Gemeinsam mit Hauswald und weiteren Kolleginnen und Kollegen möchte er herausfinden, wie sich die Verarbeitung des Hörsignals im Gehirn durch diese fehlende visuelle Information verändert. Beispielsweise versucht man dabei, anhand von hochauflösenden Daten der schwachen, aber doch messbaren Magnetfelder, die bei der Signalverarbeitung im Gehirn entstehen, auf die eintreffenden Reize rückzuschließen.

Neue Wahrnehmung mit Cochlea-Implantat

Das Projekt baut auf einem Forschungsfeld auf, das Weisz und Hauswald auch in einem weiteren, bereits 2018 gestarteten FWF-Projekt vertiefen. Hier gehen sie unter anderem der Frage nach, wie gehörgeschädigte Menschen mit einem sogenannten Cochlea-Implantat ihre akustische Wahrnehmungsfähigkeit wieder neu erlernen können. Das Implantat umgeht das nicht funktionierende Innenohr und gibt die Signale direkt an den Hörnerv weiter. Der Höreindruck, der auf diese Weise entsteht, unterscheidet sich aber grundsätzlich von jenem, den ein gesundes Ohr erzeugt. Manche Patientinnen und Patienten haben Probleme bei der Adaptierung an diese neuen Gegebenheiten, während andere einen sehr schnellen Rehabilitationsprozess durchmachen und dann wieder problemlos ihren Alltag meistern können.

Auch hier steht die Frage im Zentrum, wie der visuelle Input in einer Kommunikationssituation das Hören unterstützt. Hilft die Verarbeitung der visuellen Information dabei, die Signale aus dem Implantat besser einordnen zu lernen? Auf der Hand liegt, dass das Gesehene die Aufmerksamkeit, das gezielte Hinhören, lenkt. Doch die Zusammenarbeit der Sinne geht weit darüber hinaus. „Die Mundbewegungen beim Lippenlesen werden im Gehirn in eine akustische Repräsentation übersetzt“, erklärt Nathan Weisz und spricht dabei von einem „visuell-phonologischen Transformationsprozess“.

Die Untersuchungen bauen auf Studien auf, die Anne Hauswald bereits in ihrer früheren Position als Postdoc-Forscherin an der Universität Trient durchführte. „Ich konnte zeigen, dass die Gehirnaktivität im visuellen Kortex, die den Sehsinn des Menschen organisiert, auch akustischen Merkmalen wie Lautstärkeveränderungen folgt“, fasst Hauswald zusammen. „Nun stellen wir die Frage, inwieweit derartige Prozesse gerade in schwierigen Hörsituationen relevant sind.“ Die Forschenden analysieren auch hier in verschiedenen Versuchsanordnungen kleinste Veränderungen der Magnetfelder im Gehirn mittels der Magnetoenzephalographie (MEG) – eines sehr empfindlichen Messsystems zur Aufzeichnung von Gehirnsignalen, das eng mit der Gehirnstromanalyse via Elektroenzephalographie (EEG) verwandt ist.

Blick in die Signalverarbeitung im Gehirn

In den Experimenten arbeiten die Forschenden mit Probandinnen und Probanden, die vor oder nach ihrem Spracherwerb eine Schädigung des Gehörs erlitten. Sie bekommen beispielsweise Videos von Sprechenden vorgespielt, ohne dass der Videoton mitgeliefert wird. Die abgenommenen Gehirnsignale werden dann auch mit der – für die Probandinnen und Probanden nicht hörbaren – Tonspur des Videos abgeglichen, um den Beitrag der visuellen Signalverarbeitung im Gehirn zum akustischen Verständnis besser verstehbar zu machen. Auch eine Messung mit rückwärts abgespulten Videos wird angefertigt, um einen Vergleich mit Input zu haben, der keinen kommunikativen Sinn ergibt. „Letztendlich soll sich zeigen, ob das Gehirn in diesem Setting auch bereits den akustischen Eigenschaften wie Lautstärke- oder Tonhöhen-Änderungen folgt, obwohl diese nur visuell vermittelt werden können. Zudem wird interessant sein, ob das Tracking dieser Eigenschaften in den vorwärts abgespielten Videos stärker ausgeprägt ist als in rückwärts abgespielten“, erklärt Hauswald.

Die Ergebnisse dieses und ähnlicher Experimente wollen Hauswald und Weisz schließlich auch mit Daten von Patientinnen und Patienten mit Cochlea-Implantat in Zusammenhang bringen. „Wir versuchen herauszufinden, ob eine Beziehung besteht zwischen den visuell-phonologischen Transformationsprozessen im Gehirn und der sehr unterschiedlichen Fähigkeit der Patientinnen und Patienten, ihre Wahrnehmungsfähigkeit an den künstlichen Input des Implantats anzupassen“, erläutert Weisz. Auf diese Art könnte mehr über jene Eigenschaften des Gehirns herausgefunden werden, die für eine Rehabilitation nach einer Gehörschädigung relevant sind.

Zu den Personen

Nathan Weisz ist Professor für Physiologische Psychologie an der Universität Salzburg. Frühere Stationen seiner Karriere sind die Universitäten in Eichstätt und Konstanz in Deutschland, das Institut national de la santé et de la recherche médicale in Lyon in Frankreich und die Universität Trient in Italien. Seine Forschungen konzentrieren sich auf die audiovisuelle Signalverarbeitung im Gehirn, unter anderem bei Erkrankungen wie Tinnitus oder Gehörverlust.

Anne Hauswald ist Senior Scientist an der Universität Salzburg. Sie hatte nach ihrem Psychologie-Studium an der Universität Konstanz in Deutschland eine Postdoc-Position an der Universität Trient in Italien inne, bevor sie nach Salzburg kam. Hauswalds Forschungsschwerpunkte liegen in der Frage, wie die visuelle Signalverarbeitung im Gehirn die akustische Wahrnehmung eines Menschen unterstützt.

Publikationen

Suess, N., Hartmann, T., & Weisz, N.: Differential attention-dependent adjustment of frequency, power and phase in primary sensory and frontoparietal areas, 2020 (preprint)

Hauswald, A., Keitel, A., Chen, Y., Rösch, S., & Weisz, N.: Degradation levels of continuous speech affect neural speech tracking and alpha power differently, in: European Journal of Neuroscience, ejn.14912, 2020

Hauswald, A., Lithari, C., Collignon, O., Leonardelli, E., & Weisz, N.: A visual cortical network for deriving phonological information from intelligible lip movements, in: Current Biology, 28(9), 1453–1459, 2018