Warum Simulationen?

Die Informationsverarbeitung im Gehirn ist durch rhythmische Aktivität geprägt, die man als Oszillationen bezeichnet. Doch welche Rolle spielen diese für die Gehirnfunktion? Sind sie lediglich ein Begleitphänomen der neuronalen Wechselwirkungen, oder vielmehr die Grundlage von Rechenoperationen?  Diese Frage stellt sich nicht nur in der Hirnforschung, sondern auch im Zusammenhang mit der Entwicklung effizienter KI-Modelle. Denn natürliche Systeme wie das menschliche Gehirn sind weitaus energieeffizienter. Um KI-Systeme zu verbessern, ist es unerlässlich zu verstehen, wie die Informationsverarbeitung natürlicher Systeme funktioniert. Seit Jahrzehnten konkurrieren zwei grundsätzliche Hypothesen dazu, auf welchen Eigenschaften die Informationsverarbeitung in der Großhirnrinde beruht.

Die erste Deutung favorisiert das Konzept, dass alle Information in den Entladungsraten einzelner Neuronen kodiert wird. Auch wird davon ausgegangen, dass Berechnungen durch serielle Verarbeitung in hierarchisch organisierten Schichten sogenannter "feed-forward"-Architekturen erfolgen. Dieses Konzept ist in den "Deep Neuronal Networks" (DNNs) realisiert, sie liegen den meisten der aktuellen KI-Systemen zugrunde. Hier steht die Zeit als Kodierungsraum nicht zur Verfügung. Da alle Rechenschritte nacheinander abgearbeitet werden, können zeitliche Beziehungen zwischen Signalen nicht direkt berechnet werden. Diese Beziehungen müssen in solchen Architekturen mit großem Aufwand simuliert werden, wie in den sogenannten Transformer-Architekturen der aktuellen Sprachmodelle (LLMs).

Die zweite Hypothese orientiert sich an der Dynamik neuronaler Netze, welche sich in Oszillationen, Synchronisation und Interferenz von Wellen ausdrückt. Dieses Konzept geht davon aus, dass Dynamik genutzt wird, um räumliche und zeitliche Beziehungen von Eingangssignalen simultan und in holistischer Weise zu analysieren. Eine wichtige Leistung kognitiver Systeme ist es, herauszufinden, welche der vielen Merkmale der Umgebung zu individuellen Objekten gehören (Bindungsproblem). Wenn sich Objekte in Raum und/oder Zeit überlappen oder in einen strukturierten Hintergrund eingebettet sind, kann dies zu Problemen führen. Die Forschungsgruppe von Prof. Singer fand experimentelle Hinweise darauf, dass sich das Bindungsproblem durch Synchronisation neuronaler Aktivität lösen lässt.

Da Oszillationen und Synchronisation eng miteinander verknüpft sind, muss zunächst geklärt werden, ob die in der Großhirnrinde beobachteten Oszillationen reine Begleiterscheinungen oder vielmehr die Grundlage für Rechenoperationen sind. Dazu müsste man im Experiment die Oszillationen isoliert ausschalten und die funktionellen Folgen bestimmen. In komplexen dynamischen Systemen lässt sich dies allerdings experimentell nicht bewerkstelligen.

Das HORN-Modell

Wir führten daher Simulationsexperimente durch: indem wir ein rückgekoppeltes neuronales Netz mit den typischen Merkmalen der Großhirnrinde digital simulierten, ließ sich die oszillatorische Dynamik der einzelnen Netzwerkknoten kontrollieren. Um die funktionellen Auswirkungen von Oszillationen zu erfassen, haben wir die Netzwerke darauf trainiert, Aufgaben zu lösen, beispielsweise handgeschriebene Ziffern oder gesprochene Worte zu erkennen.

Es zeigte sich, dass oszillierende Netzwerke ihren nicht-oszillierenden Pendants hoch überlegen sind. In unserem Modell, dem „Harmonic Oscillator Recurrent Network“ (HORN), sind die Netzwerkknoten den oszillierenden Schaltkreisen der Großhirnrinde mit ihren typischen reziproken Koppelungen zwischen erregenden und hemmenden Neuronen nachgebildet (Abbildung 1). Bei starker Dämpfung führt jedes Eingangssignal, zum Beispiel ein sensorischer Reiz, zu einer schnell abklingenden Erregung der Hirnrindenneurone. Bei geringer Dämpfung wird jeder Reiz in eine lokale Oszillation verwandelt, die sich als wandernde Welle über das gesamte Netzwerk ausbreitet. Die so entstehenden Interferenzmuster erlauben die gleichzeitige Verarbeitung räumlicher und zeitlicher Beziehungen zwischen Eingangssignalen.

Die Simulationen ergaben, dass die Leistungsfähigkeit der Netzwerke dramatisch zunahm, wenn sie oszillierend arbeiten, und dass Resonanz eine große Rolle für die Informationsverarbeitung in solchen Modellen spielt, ein Phänomen, welches Oszillatoren voraussetzt. Die oszillierenden Netzwerke zeichneten sich durch eine große Robustheit gegenüber Störeinflüssen aus und lernten sehr schnell. Sie benötigten wesentlich weniger Trainingsdaten als nicht-oszillierende Netzwerke (Abbildung 2). Die Leistung der Netze verbesserte sich weiter, wenn wir zusätzliche Eigenschaften der Großhirnrinde hinzufügten, die die Heterogenität der Netzwerke erhöhten.

Der digitale Zwilling des Gehirns

Die Ähnlichkeiten zwischen den dynamischen Eigenschaften von HORNs und der Großhirnrinde legen nahe, dass das in HORNs realisierte Rechenprinzip auch in der Hirnrinde angewandt wird. Demnach würde den Oszillationen eine zentrale Bedeutung zukommen, und auch die in der Hirnrinde beobachtete Heterogenität wäre funktionell bedeutsam. Auch können HORNs, wie oben beschrieben, das Bindungsproblem durch Synchronisation lösen.

Somit legen unsere Simulationen nahe, dass sich das Rechenprinzip gängiger KI Systeme drastisch von dem des Gehirns unterscheidet. Das Gehirn kann Zeit als Kodierungsraum verwenden und nutzt die dynamischen Eigenschaften gekoppelter Oszillatoren, um durch Überlagerung von Wellen die Beziehungen zwischen einer riesigen Zahl von Reizen simultan auszuwerten. Interessanterweise weist diese wellenbasierte Rechenstrategie Ähnlichkeiten mit Prozessen auf, die auch in Quantencomputern Anwendung finden. Da diese Berechnungen im selben Netzwerk erfolgen, das auch als Speicher für Vorwissen dient (sogenanntes „in memory computing“), erübrigen sich die energieaufwändigen seriellen Verschiebeschritte von Rechenergebnissen zwischen Speicher und Rechenwerk, die in gängigen digitalen Computern nötig sind – in diesen sind Rechen -und Speicheroperationen getrennt (von Neumann- Architektur). Dies erklärt, neben anderen Vorteilen, die erstaunliche Energieeffizienz natürlicher intelligenter Systeme.

Literaturhinweise