Ein Schlafmodus für Siri und Alexa

Vor gut zehn Jahren wurden sie aus dem Dornröschenschlaf geweckt – spezielle Computermethoden, neuronale Netze genannt, die wie das Gehirn aus miteinander verbundenen Neuronen bestehen und selbstständig lernen, komplexe Aufgaben zu lösen. Zu Beginn des Jahrtausends fristeten neuronale Netze in der wissenschaftlichen Gemeinschaft ein Schattendasein. Dabei sind sie nur ein mathematischer Ansatz, Funktionen nachzubilden. Schon in den Neunzigerjahren konnte gezeigt werden, dass neuronale Netze im Prinzip fast beliebige Funktionen lernen können, mit vielen praktischen Einsatzmöglichkeiten. Dennoch ließ die Forschungsgemeinschaft für künstliche Intelligenz die Finger davon. „Was fehlte, waren die Rechenleistung, genügend Daten und gute Software-Tools“, erklärt Franz Pernkopf von der Technischen Universität Graz. „2010 hat sich das geändert und seither boomt das Gebiet.“ Damit stieg die Leistungsfähigkeit vieler KI-Anwendungen massiv an und hat etwa mit sprachgesteuerten Diensten wie Siri oder Alexa unseren Alltag erobert.

Rechenaufwand reduzieren

Doch neuronale Netze sind nach wie vor rechenaufwändig und die Berechnungen werden oft von den Anwendergeräten in die Cloud ausgelagert. In den Serverfarmen der Cloudanbieter werden dafür vielfach sogenannte GPUs genutzt, die eigentlich für leistungshungrige Videospiele entwickelt wurden und heute stark beim Bitcoin-Mining im Einsatz sind. Für manche Bereiche, etwa für selbstfahrende Autos oder für batteriebetriebene Geräte, ist dieser Rechenaufwand ein Hindernis. In einem Forschungsprojekt, das vom Wissenschaftsfonds FWF finanziert wurde, hat die Gruppe um Franz Pernkopf daher alternative Zugänge gesucht, um die Komplexität der Rechnungen zu reduzieren.

Nicht überall sinnvoll

„Neuronale Netze sind nicht für alle Aufgaben sinnvoll“, erklärt Pernkopf vorweg. Wenn das Verhalten eines Systems gut durch ein physikalisches Modell beschrieben werden kann, dann sei es besser, dieses Modell auch zu nutzen. Sinnvoll seien neuronale Netze dort, wo die Aufgabenstellungen schwer greifbar sind. Als Beispiel nennt der Forscher das Erkennen einer Kuh auf einer Weide. „Es ist nicht so einfach zu definieren, wie eine Kuh aussieht. In so einem Fall sind neuronale Netze sehr nützlich.“ Wenn ein neuronales Netz mit genügend Bildern von Kühen trainiert wird, kann es irgendwann in einem neuen Bild eine Kuh erkennen.

In der Regel verwenden neuronale Netze wesentlich mehr Parameter, als tatsächlich benötigt werden. Pernkopfs Team suchte daher nach Möglichkeiten, die Komplexität von künstlichen neuronalen Netzwerken zu reduzieren, ohne die Erkennungsraten zu beeinträchtigen. Ein neuronales Netz besteht aus einer Handvoll Komponenten, und es gibt sehr viele Möglichkeiten, diese miteinander zu verschalten. „Wir versuchten, automatische Methoden zu entwickeln, um das effizienteste Netz zu finden“, so der Experte für intelligente Systeme.

Mit kleineren Zahlen rechnen

Ein weiterer Ansatzpunkt ist die Ebene der Computerhardware. Heutige PCs nutzen für Additionen und Multiplikationen 32 oder 64 Bit. Mit 32 Bit lassen sich über vier Milliarden Zahlen darstellen. Das Problem: Der Computer behandelt jede Zahl, als wäre sie in der Größenordnung von vier Milliarden. So große Zahlen sind für viele Anwendungen überhaupt nicht nötig. „Wir haben herausgefunden, dass wir diese Bitbreiten reduzieren können, ohne an Performance zu verlieren“, berichtet Pernkopf von den aktuellen Ergebnissen. „Wer mit 8 Bit statt mit 32 Bit rechnet, hat sofort nur noch ein Viertel der Rechenoperationen.“ Man sei sogar so weit gegangen, statt mit 8 Bit nur noch mit einem Bit zu rechnen, mit verblüffend guter Performance in gewissen Bereichen.

Einen besonderen Clou landete Pernkopfs Team, als es gelang, die Parameter als Wahrscheinlichkeitsverteilung statt als exakte Zahlen darzustellen. „Wir waren die Ersten, die das gemacht haben“, sagt Pernkopf, der die Eleganz des neuen Ansatzes herausstreicht, weil er die Suche nach den richtigen Parametern erleichtert.

Wann soll ein System aufwachen?

Es ist ein abstraktes Ergebnis, dessen theoretischer Charakter dem neuen Forschungsgebiet geschuldet ist. „Als wir den Förderantrag für das Projekt eingereicht haben, hat man in der Literatur dazu wenig gefunden“, erzählt Pernkopf. Unmittelbar darauf seien nach und nach Publikationen zu dem Thema aufgetaucht. Das Projekt, das eine Laufzeit von vier Jahren hatte und 2020 endete, konnte also wirkliche Pionierarbeit leisten. Man kooperierte dafür mit der Universität Heidelberg, deren Fokus stärker auf der Computerhardware lag, während man sich in Graz auf die Aspekte des Machine Learning konzentrierte.

Die Basis für die Praxis

Verschiedene Folgeprojekte, etwa von der Forschungsförderungsgesellschaft FFG, sowie ein weiteres, internationales Projekt mit der Deutschen Forschungsgemeinschaft DFG, sollen nun die theoretischen Ergebnisse in die Anwendung bringen. Ein Anwendungsfall wurde allerdings noch im Rahmen des Grundlagenprojekts untersucht. Dabei ging es um die Erkennung von Schlüsselwörtern, um Spracherkennungssysteme aus dem Standby zu holen. „Wenn ich auf einem Smartphone eine Spracherkennungssoftware permanent laufen lasse, dann ist spätestens nach einer Stunde der Akku leer, weil das so rechenintensiv ist“, schildert Pernkopf. Es braucht also ein schlankeres, ressourceneffizienteres System, das nur ein paar Reizwörter erkennen muss – wie ein schlafender Mensch, dessen Aufmerksamkeit stark eingeschränkt ist. So lasse sich viel Energie sparen.

Pernkopf ist überzeugt, dass neuronale Netze, nicht zuletzt ressourceneffiziente Systeme in batteriebetriebenen Geräten, unseren Alltag weiter durchdringen werden. An eine starke künstliche Intelligenz glaubt er hingegen nicht: „Der Mensch wird sich nicht komplett ersetzen lassen.“

Zur Person

Franz Pernkopf ist Elektrotechnikingenieur und forscht am Institut für Signalverarbeitung und Sprachkommunikation an der Technischen Universität Graz. Der mehrfach ausgezeichnete Wissenschaftler interessiert sich besonders für maschinelles Lernen und Mustererkennung, speziell in den Bereichen Medizintechnik und Sprachsignalverarbeitung. Das internationale Forschungsprojekt „Effiziente tiefe neuronale Netze für eingebettete Systeme“ (2016–2020) wurde vom Wissenschaftsfonds FWF mit 214.000 Euro gefördert.

Publikationen

Rock J., Roth W., Toth M., Meissner P., Pernkopf F.: Resource-efficient Deep Neural Networks for Automotive Radar Interference Mitigation, in: IEEE Journal of Selected Topics in Signal Processing, Vol. 15, 2021

Roth W., Schindler G., Zöhrer M., Pfeifenberger L., Tschiatschek S., Peharz R., Fröning H., Pernkopf, F., Ghahramani Z.: Resource-Efficient Neural Networks for Embedded Systems, in: Journal of Machine Learning Research, revised 2021

Peter D., Roth W., Pernkopf F.: Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization, in: 2020 25^th International Conference on Pattern Recognition (ICPR) 2021