Forschungsbericht 2009 - Max-Planck-Institut für Mathematik in den Naturwissenschaften
Autonomie, eine informationstheoretische Analyse
Die Fähigkeit Informationen schnell erfassen und verarbeiten zu können ist für viele Lebewesen überlebensnotwendig. Sie müssen schließlich nicht nur genügend Nahrung finden, sondern auch gefährliche Situationen vermeiden können. In einer komplexen Umwelt mit vielen Gefahren und Fressfeinden ist Überleben eine beachtliche Leistung.
Die Evolution hat vielfältige Strukturen und Lösungen entwickelt, um diesen Anforderungen gerecht zu werden. Zum einen besitzen viele Lebewesen Strukturen, wie z.B. Zellwände oder Panzer, um sich vor Umwelteinflüssen abzuschirmen. Zum anderen reagieren sie aktiv, z.B. durch Drohgebärden oder Flucht, auf Bedrohungen. Dazu ist es nötig, dass sie Informationen über ihre Umwelt verarbeiten, um die der jeweiligen Situation angepasste Aktion auswählen zu können. Das Gehirn höherer Lebewesen ist das wohl komplexeste Organ, welches zu diesem Zweck entstanden ist. Einen ähnlichen Stellenwert haben aber auch die Sinnesorgane, die überhaupt erst ermöglichen, Informationen aus der Umwelt zu akquirieren. Sie bestimmen letztlich, was und in welcher Form ein Lebewesen seine Umwelt wahrnehmen und mit ihr interagieren kann. Der Mensch verlässt sich hierbei sehr auf seinen Sehsinn, aber versuchen Sie sich einmal vorzustellen, welchen Eindruck von der Welt das Ultraschall-Sonar einer Fledermaus liefert.
Dies ist nicht nur von philosophischem Interesse, sondern auch von praktischer Relevanz. So muss etwa ein Ingenieur, der einen Roboter baut, versuchen sich vorzustellen, in welche Situationen dieser geraten könnte und wie dieser darauf reagieren sollte. Häufig stellt sich dann heraus, dass die Maschine nicht angemessen funktioniert, weil sich die Situation aus der sensorischen Perspektive der Maschine anders darstellt als vom Designer vorhergesehen. Idealerweise sollte das System in der Lage sein, selbstständig sensorische Informationen zu interpretieren und Entscheidungen zu treffen, es sollte also autonom handeln können. In der Biologie finden sich vielfältige Beispiele für Organismen, die sich autonom an verschiedene Situationen anpassen. Bei näherer Betrachtung sind die Lösungen teilweise überraschend einfach, machen jedoch essentiellen Gebrauch vom Körperbau des Organismus. Ohne ein klares Konzept von Autonomie und einer Theorie über die dafür notwendigen Systemstrukturen, insbesondere im Hinblick auf die Informationsverarbeitung, ist es schwer, die spezialisierten Lösungen auf technische Systeme zu übertragen. Dafür ist letztlich ein genaues, mathematisches Verständnis von Autonomie erforderlich.
Ausgangspunkt für die formale Analyse von Autonomie ist Shannons Informationstheorie. Diese wurde 1948 veröffentlicht und entwickelt, um zu verstehen, wie sich Daten möglichst effizient über eine verrauschte Leitung schicken lassen. Fundamental für die Theorie ist das Konzept der Entropie einer Zufallsvariable. Es quantifiziert die Unsicherheit über den Ausgang eines Zufallsexperiments. Ein gutes Beispiel ist der Wurf eines Würfels. In diesem Fall besteht eine Unsicherheit darüber, welche von sechs gleich wahrscheinlichen Augenzahlen realisiert wird. Generell wird Entropie in der Einheit Bit gemessen. Anschaulich entspricht die Entropie damit der mittleren Anzahl von binären (Ja-Nein) Fragen, die man mindestens stellen muss, um den Ausgang des Zufallsexperiments zu erfahren.
Wechselseitige Information ist dann als Reduktion von Unsicherheit definiert. Die Aussage, dass der Würfel eine gerade Augenzahl zeigt, halbiert die Anzahl der Möglichkeiten und enthält daher 1 Bit an Information über den Ausgang des Würfelwurfes. Gleichzeitig liefert natürlich auch das Würfelergebnis 1 Bit an Information darüber, ob dieser gerade oder ungerade ist, da es diese binäre Frage beantwortet. Wechselseitige Information quantifiziert also Beziehungen zwischen Zufallsvariablen und ist genau dann Null, wenn die Zufallsexperimente statistisch unabhängig sind wie z.B. zwei aufeinanderfolgende Würfelwürfe.
Formal wird ein System nun als autonom definiert, wenn es einen internen Freiheitsgrad besitzt, der von äußeren Einflüssen unabhängig ist. Quantifiziert wird dies über die wechselseitige Information zwischen zeitlich aufeinanderfolgenden Systemzuständen. Dabei wird jedoch nur Information berücksichtigt, die nicht schon aus der Beobachtung der Umwelt des Systems gewonnen werden kann.
Einfache Beispiele sind in Abbildung 1 zu sehen. Jedes System hat zwei interne Zustände A und B. Es ändert seinen Zustand abhängig vom Umweltzustand, 0 oder 1, wie über die Pfeile veranschaulicht. Das linke System ist nicht autonom. Sein interner Zustand reflektiert lediglich den letzten Umweltzustand, A nach einer 0 und B nach einer 1. Es handelt sich also um ein reaktives System, bei dem der interne Zustand eine Funktion des letzten Signals aus der Umwelt ist. Solche Systeme haben generell keine Autonomie. Der Zustand des mittleren Systems hingegen ist statistisch unabhängig vom Zustand der Umwelt. Dieser bestimmt zwar, ob das System seinen Zustand ändert oder nicht, nicht jedoch in welchem Zustand es sich jeweils befindet. Das rechte System ist wiederum nicht autonom, allerdings ist hier der interne Zustand nur bestimmt, nachdem eine 1 gesehen wurde. Die Sequenz der Umweltzustände muss also hinreichend lange beobachtet werden, bis sie mindestens eine 1 enthält und damit Information über den Systemzustand liefert.
Die Graphik in Abbildung 1 unten zeigt die Autonomie eines Systems welches sich mit Wahrscheinlichkeit p wie das rechte und ansonsten (Wahrscheinlichkeit 1 - p) wie das linke System verhält. Interessanterweise besitzt ein solches System Autonomie, obwohl die beiden Systeme aus denen es auswählt (links für p = 0, rechts für p = 1) jeweils nicht autonom sind. Dies lässt sich damit erklären, dass die zufällige Auswahl sich nur auswirkt, wenn das System in Zustand A ist. Der Systemzustand entscheidet also darüber, ob eine zufällige Wahl stattfindet oder nicht, und dieser interne Freiheitsgrad äußert sich als Autonomie.
Die obigen Beispiele sind natürlich recht einfach gewählt und sollen lediglich die formale Konzeption von Autonomie veranschaulichen. In komplizierteren Fällen, z.B. bei biologischen Systemen wie man sie in der Natur beobachtet, ist meist nicht klar, ob und zu welchen Grad diese autonom sind. Häufig ist nicht einmal bekannt, welche Information sie über die Umwelt verarbeiten und wie dies geschieht. So ist es bis heute unbekannt, wie Gedächtnisinhalte im Gehirn abgelegt werden. Ein technisches Beispiel, welches ein ähnliches Problem veranschaulicht, ist das sogenannte Reservoir Computing. Hierbei wird ein hochdimensionales, dynamisches System von einer Sequenz von Eingabesignalen getrieben. Unter bestimmten Bedingungen wird der Systemzustand dann Information über vergangene Eingaben enthalten. Das Reservoir kann etwa ein neuronales Netz sein, aber auch z.B. ein mit Wasser gefüllter Bottich. Im letzten Fall entspricht der Systemzustand dem aktuell sichtbaren Wellenmuster. Aus diesem kann dann rekonstruiert werden, ob z.B. innerhalb der letzten drei Sekunden ein Stein ins Wasser geworfen wurde oder nicht.
Nach diesem einfachen Prinzip, jedoch mit neuronalen Netzwerken, die komplexe Dynamiken entwickeln, wurden schon technische Aufgaben schnell und robust gelöst, die mit klassischen Herangehensweisen nur schwer zu bewältigen sind. Hierbei ist ein genaues Verständnis, wie die Information im Systemzustand kodiert, meist gar nicht möglich. Dies ist aber auch nicht nötig, denn es ist nur erforderlich, die gewünschte Aktion oder Vorhersage aus dem Systemzustand extrahieren zu können, z.B. charakteristische Aktivitätsmuster zu identifizieren, die anzeigen, dass der Roboter gerade eine Tür passiert hat. Wie gut dies funktioniert, hängt stark von den dynamischen Eigenschaften des Reservoirs ab. So konnte mithilfe der informationstheoretischen Formalisierung gezeigt werden, dass ein gutes Reservoir keine Autonomie haben sollte, gleichzeitig sollte die Dynamik jedoch nur schwach
kontrahierend sein. In der Tat sind Autonomie und Speicherung von Information über vergangene Umweltzustände komplementär zueinander. Interne Systemstrukturen dienen damit entweder der Autonomie oder als Gedächtnis.
Am Max-Planck-Institut für Mathematik in den Naturwissenschaften wird versucht, noch weitere Konzepte, wie Systemdifferenzierung und Kommunikation, informationstheoretisch zu formalisieren und so Grenzen und Zusammenhänge dieser Begriffe aufzudecken. Zum einen erlaubt dies die zahlreichen, biologischen Beispiele für autonome, differenzierte und interagierende Systeme einzuordnen und miteinander zu vergleichen. Zum anderen kann sicherlich die Robotik von einem besseren Verständnis und quantitativen Maßen für Autonomie, Differenzierung und Kommunikation profitieren. Vorläufige Analysen zeigen bereits, dass durch rein informationsgetriebene Zielfunktionen strukturiertes Verhalten generiert werden kann. Dabei lernt der Roboter sich so zu verhalten, dass der Informationsfluss über seine Sensoren maximiert wird, was letztlich strukturierte Handlungen zur Exploration der Umwelt erzeugt. Darüber hinaus lassen sich auch Anwendungen in den Sozialwissenschaften identifizieren, wie etwa die Ausdifferenzierung von funktionalen Subsystemen in heutigen Gesellschaften besser verstehen zu können.