Bildcollage von künstlerischen Projekten mit Mensch-Computer-Interkationen
Mit experimentellen Spielen lotet das Forschungsprojekt Neuromatic Game Art lustvoll die Möglichkeiten und Grenzen von Technologie an der Schnittstelle von Hirn und Computer aus. © Neuromatic Game Art

Wer spielende Kinder beobachtet, stellt fest, dass sie ganz in die Welt ihrer Stofftiere, Bausteine oder Computergames eintauchen und die Außenwelt völlig ausblenden. Auch als Erwachsene kennen wir das Gefühl des Flows, sei es beim Spielen oder Musizieren, beim Garteln oder Laufen. „Beim Spielen kommt man über den Flow in bestimmte Bewusstseinszustände und ich wollte mehr darüber wissen. Dafür habe ich die Neurowissenschaft und Neuroschnittstellen, konkret die Elektroenzephalografie, als Möglichkeit gesehen“, beschreibt Margarete Jahrmann von der Universität für Angewandte Kunst Wien den Auslöser ihres vom Wissenschaftsfonds FWF geförderten Forschungsprojektes „Neuromatic Game Art: Critical Play with Neurointerfaces“. Die Elektronenzephalografie (EEG) misst die elektrische Aktivität des Gehirns und liefert als Ergebnis Datenströme und Wellendiagramme. Jahrmann suchte nun künstlerische Darstellungsformen in Bild und Ton, um Flowzustände und Hirnströme in öffentlichen Performances zugänglich zu machen und spielerisch aufzuklären.

Hirnströme im Zentrum des Interesses

Aus einer ersten Idee ergaben sich weitere Forschungsfragen. Denn Neuroschnittstellen werden nicht nur zu medizinischen Zwecken genutzt, sondern finden sich immer häufiger in Anwendungen für Konsument:innen, die beispielsweise auch gesunden Menschen ermöglichen, Computer mit Gedanken zu steuern. Aus Sicht der Anwender:innen ergeben sich dadurch reizvolle Möglichkeiten. Die Unternehmen vermarkten diese Technologie entsprechend als spielerische Ansätze, um beispielsweise Tätigkeiten effizienter durchzuführen. Gleichzeitig geben Menschen, die ein Gehirnwellen-Analyse-Gerät nutzen, viele ihrer persönlichen Daten preis, dazu zählen nicht nur persönliche Angaben oder Nutzungsdaten, sondern auch Emotionen.

Das motivierte Margarete Jahrmann, das Potenzial von Kunst als Aktivismus zu nutzen, um Grenzen von Technologien zu hinterfragen. Dazu bildete sie ein interdisziplinäres Forschungsteam als Dreiergespann, bestehend aus den Bereichen Neurowissenschaft mit Stefan Glasauer, Lehrstuhlinhaber für Computational Neurosciences an der Brandenburgischen Technischen Universität Cottbus-Senftenberg (BTU Cottbus, ehem. Klinikum München), digitale Philosophie mit Mark Coeckelbergh von der Universität Wien und Experimental Game Cultures am Institut für Kunst und Gesellschaft der Universität für Angewandte Kunst Wien.

Spielerische Kunst des Forschens

Um Grundlagenforschung mit Kunst zu verbinden, setzt Jahrmann auf ihre Kerndisziplin, die Spielsysteme, und erklärt das so: „Ein Spiel ist ein Regelsystem, es baut ein Modell der Welt mit genauen Spielregeln. Dieses regelbasierte Vorgehen ist vergleichbar mit der Wissenschaft, daher ergibt sich in meinen künstlerisch forschenden Projekten eine gute Zusammenarbeit mit der Wissenschaft.“ Die von ihr entwickelte „Ludic Method“ benutzt Regelsysteme, die wiederholbar und quantifizierbar sind, jeweils in einem künstlerischen Kontext. „Die Besonderheit meiner Arbeit ist, dass alle Spielsysteme öffentlich gezeigt werden, das erlaubt naturalistischere Experimente als nur im Labor“, so Jahrmann weiter. Das vom FWF geförderte Projekt „Neuromatic Game Art“ wurde damit zu einer neuen Form der experimentellen Spielkunst.

Öffentliche Performances als Forschungsstätte

Für das Projekt waren viele Einzelprojekte mit Live-Performances an unterschiedlichen Orten geplant. Die Corona-Lockdowns machten dem Vorhaben zu Projektstart einen Strich durch die Rechnung und so startete das Team den Neuromatic Brainwave Broadcast auf Youtube, ebenfalls live mit Zuschauenden. Diese wöchentlichen Sendungen mit EEG-Sets waren eine Herausforderung, erwiesen sich schließlich jedoch als Bereicherung des Projekts, da die gemessenen Hirnwellen jedes Mal mit neuer Visualisierung und neuem Ton umgesetzt wurden.

Zero Action in the Savings Bank: Süßes Nichtstun, das sich der Kapitalmarktlogik entzieht. Währenddessen wandelt sich das simultane „Hyperscan“-EEG in eine Live-Kurvenspiegelung der Börse um. © Neuromatic Game Art/Angewandte

Sukzessive wurden dann Veranstaltungen an realen Orten durchgeführt. Zwei Projekte hebt Jahrmann besonders hervor: „Lange vor dem Hype um Künstliche Intelligenz, nämlich 2021, haben wir einen neurophilosophischen Game-Chat gemacht. Eine AI hat dabei dem Technikphilosophen Mark Coeckelbergh aus dem Forschungsteam Fragen zum Projekt gestellt“, erzählt Jahrmann. Eine andere wichtige Performance war Zero Action in the Savings Bank, wo es um die mögliche Synchronisation von Signalen von zwei EEGs in der Kassenhalle der Otto Wagner Postsparkasse, einer Architekturikone in Wien, ging. Das Setting wurde bewusst gewählt. „In dieser poetischen Arbeit gab es keine monetäre Transaktion in der Kassenhalle, es gab nur den Gedankenfluss.“ Dabei wurden zwei Probandinnen liegend beim süßen Nichtstun gezeigt, gleichsam im Flow. Ihre mittels Neuroschnittstellen gemessenen Gehirnströme erschienen, ähnlich den Börsenkursen, live auf einem großen Screen. Zuschauende spielten indirekt mit, da sie allein durch ihre Anwesenheit das Denken der Probandinnen beeinflussten.

Gemeinsam forschen und lernen

Das Projekt brachte vielfältige Ergebnisse für alle Beteiligten. „Wichtig war uns der Aspekt der Privatsphäre. So haben wir im Projekt Kopfgeld das EEG mit Gesichtserkennung gekoppelt. Beim Betreten der Installation stimmten die Besucher:innen problemlos und eher unreflektiert der Verwendung ihrer biometrischen Gesichtsdaten zu. Erst in späteren Gesprächen mit uns haben sie darüber nachgedacht und etwa gefragt, ob sie ihre Daten auch wieder löschen lassen können“, berichtet Jahrmann. Die Besucher:innen nahmen die Möglichkeit, mit EEGs und Sensoren direkt und spielerisch in Kontakt zu kommen, als eine Form der Selbstermächtigung wahr. Nun waren schließlich die Geräte von dem eher beängstigenden medizinischen Umfeld befreit.

Im gewählten Forschungssetting wurde offensichtlich, dass die Proband:innen als Versuchsobjekte gleichzeitig auch Mitforschende sind und sich damit das Verhältnis zur Versuchsleiterin bzw. die Rollen verschieben. Als zentrales Ergebnis wertet Jahrmann die Erkenntnis, dass Neuro-Interfaces wie EEGs eine zentrale gesellschaftliche Bedeutung haben und man mit künstlerischen Ausdrucksmitteln daran weiterforschen kann und soll: „Wir können mit dem neuen, vom FWF geförderten Projekt ‚Der PsychoLudische Ansatz: Spielen für die Zukunft‘ fortsetzen. Die ‚Rhetorics of Play‘ des Spieltheoretikers Brian Sutton-Smith erklären ja, warum Menschen spielen und warum Spiel so eine wichtige Kulturtechnik ist: Denn alles, was wir selber erleben oder wo wir selbst handeln können, hat starke Wirkung auf uns.“

Zur Person

Margarete Jahrmann ist Künstlerin, Forscherin und Gründerin der Ludic Society. Ihr Doktoratsstudium absolvierte sie unter Roy Ascott an der University of Plymouth, UK. Im Rahmen ihrer Dissertation hat sie ihren methodischen Ansatz „Ludic Method“ entwickelt, den sie in ihrer Forschung anwendet. Jahrmann ist Leiterin der Abteilung Experimental Game Cultures an der Universität für Angewandte Kunst, Wien. Ihr PEEK-Projekt „Neuromatic Game Art“ wurde vom Wissenschaftsfonds FWF mit rund 370.000 Euro gefördert. 2023 startete sie das PEEK-Folgeprojekt „Der PsychoLudische Ansatz: Spielen für die Zukunft“.

Projektwebsite: https://neuromatic.uni-ak.ac.at

Ausstellungen

2022: Narrenturm Mindgame: Mindworm Blaster Augmented reality piece. Teil der permanenten Ausstellung des [Artificial Museum] (Jahrmann, Glasauer, Luif, Wagensommerer)

2022: Nubes Mental. Objeto de Juego. (Jahrmann, Glasauer, Wagensommerer, Kedl) Teilnahme an der 14. Biennale von Havanna

2021: SPIKE_Clouds_Climate.Mind. A play concert performance for non-human actors and various minds. Performance (Jahrmann, Glasauer, Wagensommerer) im Rahmen des Festivals Hybrid Play #RealityCheck. Festspielhaus Hellerau Dresden

Publikationen

Dobrosovestnova A., Coeckelbergh A., Jahrmann M.: Critical Art with Brain-Computer Interfaces: Philosophical Reflections from Neuromatic Game Art Project, in: C. Stephanidis et al. (Hg.), HCI International 2021 – Late Breaking Papers Cognition, Inclusion, Learning, and Culture, Springer Nature 2021

Jahrmann M.: Ludic Meanders through Defictionalization: The Narrative Mechanics of Art. Games in the Public Spaces of Politics, in: Suter, Beat, Bauer, René and Mela Kocher (Hg.), Narrative Mechanics. Strategies and Meanings in Games and Real Life, 257–278, Bielefeld: transcript 2021

Jahrmann M.: Neurointerfaces as means of Artistic Research or Expanded Game Art, in: Abend P., Beil B., Ossa V. (Hg.), Playful Participatory Practices. Theoretical and Methodological Reflections, Springer Fachmedien Wiesbaden, 131–147, 2020 Preprint