Wenn Algorithmen ausgrenzen
Technologischer Fortschritt erleichtert vieles und weist uns den Weg in die Zukunft. Doch was, wenn Automatisierung und künstliche Intelligenz dabei die Realität aus den Augen verlieren? „Es wird viel vom Potenzial der Technik gesprochen, ohne zu schauen, was der Ist-Stand ist“, unterstreicht Katta Spiel von der Human-Computer-Interaction-Gruppe am Institut für Informatik der TU Wien. Das führt dazu, dass gesellschaftliche Diversität nicht abgebildet wird, stattdessen verfestigen sich Normen und Stereotype. Zum Problem kann das unter anderem dort werden, wo Technologie und Mensch eng interagieren. Also überall dort, wo sich Technik direkt mit dem Körper verbindet, wie das bei Wearables, Smart-Tattoos oder intelligenter Kleidung der Fall ist.
An dieser Schnittstelle von Mensch und Maschine betreibt Katta Spiel Methodenforschung. Das heißt, Spiel beschäftigt sich damit, fixe Annahmen in Technologie- und Designprozessen zu hinterfragen. Eine grundlegende und vielleicht auch provokante Frage, wie Spiel selbst sagt, steht über dieser Arbeit und dem vom Wissenschaftsfonds FWF geförderten Firnberg-Projekt zu „marginalisierten Körpern“: Was bedeutet es, als Mensch zu zählen oder nicht? Spiel interessiert das, was außerhalb der Entwicklernormen liegt – und fokussiert dabei auf Gender und Behinderung. Das Ziel ist, die Diversität von Menschen besser abzubilden und dadurch sozialer Ausgrenzung vorzubeugen. Marginalisierung passiere schneller, als man denkt, sagt Spiel. Etwa dann, wenn Menschen dazu ermuntert werden sollen, sich mehr zu bewegen, Fitness-Tracker aber hauptsächlich für diejenigen gestaltet sind, die schon fit sind. Allein durch das Design der Armbänder würden dicke Menschen ausgegrenzt, betont Spiel. Viel problematischer aber ist – um bei diesem Beispiel zu bleiben –, dass viele Menschen, die Fitness-Tracker nutzen, Angst haben, nicht in die Schlankheitsnorm zu passen – was Essstörungen befördert.
Verzerrungen durch Bias-Effekt
Katta Spiel berichtet von einem anderen Beispiel aus einer Literaturstudie, die vor Kurzem veröffentlicht wurde. Forschende entwickelten ein mit Magneten bestücktes T-Shirt für eine verbesserte Körperhaltung. Der Designprozess baute darauf auf, schwarze Punkte auf weiße Haut zu zeichnen. „Für Minderheitengruppen ist es problematisch, wenn sie mit Technologien konfrontiert sind, die von einer bestimmten Bevölkerungsgruppe entwickelt werden“, erläutert Spiel. Das sei nach wie vor der gesunde, eher wohlhabende, weiße, westliche Mann und entspricht folglich den Standards der Technologie – aber eher selten der gesellschaftlichen Vielfalt. Dies widerspiegelt auch die Tatsache, dass nur 22 Prozent der Fachkräfte in den Bereichen Künstliche Intelligenz (KI) und Datenwissenschaft Frauen sind. Eine in Standford durchgeführte Analyse von 133 industriellen KI-Systemen mit Bias, also unbewussten Vorurteilen, zwischen 1988 und 2021 ergab weiters, dass fast jedes zweite System einen Gender-Bias aufweist und jedes vierte System sowohl geschlechtliche als auch rassistische Vorurteile und somit Verzerrungen enthält.
Wie kann es also gelingen, massenkompatibel für unterschiedliche Bedürfnisse zu gestalten, ohne Ausgrenzungen zu wiederholen? Das beginnt bereits bei der Datenerhebung. Im Selbsttest hat Spiel im Zuge des Projekts Datenbanken unterschiedlicher Art nach Geschlechterfassung durchforstet: „Obwohl in Österreich inzwischen mehrere Geschlechtsidentitäten anerkannt sind, gibt es noch extrem viele Datenbanken, die das nicht abbilden können – bis vor Kurzem inklusive des Melderegisters.“ Da es immer mehr automatisierte Verfahren gibt, wird das irgendwann die Datenlage verfälschen. Problematisch ist das in vielen Bereich des Lebens, ganz besonders in der Medizin, wenn Frauen oder nichtbinäre Geschlechter unterrepräsentiert sind und daher Referenzwerte fehlen, auf denen Therapien aufbauen. Noch immer ist der männliche Körper Standard für viele medizinische Tests.
Digitale Inklusion and DIY
Wenn Katta Spiel selbst Wearables designt, wird der Spieß umgedreht. Statt von einem Problem auszugehen, über das viel und komplexe Technologie gestülpt wird, denkt Spiel über Qualität und Nutzen nach. Ausgehend von unterschiedlichen Bedürfnissen werden dabei Fragen in den Raum gestellt: Was macht Sinn, wo brauche ich etwas, wo kann ich verzichten? Und wie fühlt es sich an, etwas zu tragen? Zentral ist, dass dabei die Nutzer:innen eingebunden sind. In solchen partizipativen Prozessen entstehen technisch sehr einfache, aber effektive Produkte. So entwickelt Spiel gerade ein Set von „Stimmies“ mit Wolle und Magnetfäden und Selbstanleitung. Sie können Menschen etwa mit ADHS oder Autismus unterstützen. Die Stimmies helfen, repetitive Bewegungen, wie mit den Füßen wippen, zu regulieren. Sie interagieren mit den Bewegungen, indem sie Muster mithilfe von Licht oder Vibration erzeugen. „Ein umhäkeltes Magnetenstrip als Armband, über das man drüberstreicht, war bis jetzt am erfolgreichsten“, resümiert Spiel. Für die partizipative Arbeit mit autistischen Kindern wurde Spiel bereits mehrfach ausgezeichnet.
Entfernt sich die technische Entwicklung zu weit von der gesellschaftlichen Realität, vergibt sie viele Chancen – indem sie Randgruppen ausschließt, Normen verfestigt, Ungleichbehandlungen reproduziert und die Problemlösung in die Zukunft verlegt. „Wir müssen uns überlegen, was es jetzt braucht, und uns mit den gesellschaftlichen Wirkungen auseinandersetzen. Aber das wissen wir ohnehin schon seit Jahrzehnten“, sagt Spiel mit einem stillen Seufzer.
Projektwebsite: https://exceptional-norms.at/
Zur Person
Katta Spiel forscht zu Mensch-Maschine-Interaktion mit Fokus auf Geschlecht und Behinderung. Spiel studierte Medienkultur und Computerwissenschaften an der Bauhaus Universität Weimar. 2014 wechselte Spiel an die Technische Universität (TU) Wien und absolvierte ein Postdoc-Jahr an der Universität Leuven (Belgien). Aktuell forscht Katta Spiel mit einem Hertha-Firnberg-Stipendium des Wissenschaftsfonds FWF in der HCI-Gruppe der TU Wien zum Thema „Marginalisierte Körper im Design“ (2020–2023). Für partizipative Arbeiten mit autistischen Kindern wurde Spiel mehrfach ausgezeichnet.
Publikationen
Katta Spiel: The Bodies of TEI – Investigating Norms and Assumptions in the Design of Embodied Interaction, in: TEI ’21: Proceedings of the Fifteenth International Conference on Tangible, Embedded, and Embodied Interaction 2021
Katta Spiel: Why are they all obsessed with Gender? — (Non)binary Navigations through Technological Infrastructures, in: DIS ’21: Designing Interactive Systems Conference 2021
