„Die Grundlagen der KI-Systeme sind wackelig“

Krishna Gummadi zur Handlungsfähigkeit von künstlicher Intelligenz, KI-Agenten und möglichen gesellschaftlichen Auswirkungen

KI-Agenten haben sich rasant entwickelt und sind inzwischen erstaunlich gut etwa in der Kommunikation oder Softwareprogrammierung. Krishna Gummadi, Direktor am Max-Planck-Institut für Softwaresysteme, erläutert, was KI-Agenten ausmacht, und äußert sich zu den Vorteilen, die sie für den Menschen haben, sowie zu den Risiken, die sie für die Gesellschaft darstellen. 
 

Was eine KI zum Agenten macht

Professor Gummadi, wann wird ein KI-System zum KI-Agenten? Ist ChatGPT bereits ein KI-Agent, oder braucht es dafür mehr?

Wir nutzen für viele unserer Interaktionen Plattformen verschiedener Art, wie etwa Social-Media-Plattformen oder Chatbots wie ChatGPT. Wenn man diese Plattformen genauer untersucht, sollte man zwischen den KI-Modellen und den Rechnerarchitekturen unterscheiden. Ein KI-Modell ist ein neuronales Netz, das alleine überhaupt nicht aktiv ist. Erst die Rechenumgebung, also die Art und Weise, wie das KI-Modell in eine Plattform eingebettet wird, macht es aktiv und gibt ihm Agency, also Handlungsfähigkeit. Mit anderen Worten: Die Rechenumgebung, also das Regelwerk, das die Entwickler der Plattformen implementieren, definiert, was diese KI-Modelle tun können und was nicht.

Können Sie ein Beispiel geben?

Nehmen wir ChatGPT: Der Kern des Systems ist ein Sprachmodell, ein Large Language Model oder LLM. Bei ChatGPT ist es ein GPT-Modell, derzeit GPT-5. Man könnte es mit dem Motor eines Autos vergleichen. Ein Motor allein macht nicht viel, wenn man ihn nicht mit Kraftstoff versorgt, ihn mit einem Getriebe verbindet und an eine ganze Reihe anderer Komponenten anschließt. Bei Chatbots legen derzeit viele den Fokus auf die KI-Modelle selbst, übersehen aber oft, welchen Regeln diese KI-Modelle folgen, wenn sie mit Menschen interagieren oder Menschen miteinander verbinden. Konzeptionell sehe ich es so, dass diese Systeme umso handlungsfähiger werden, je mehr Verantwortung oder Macht man ihnen in einer bestimmten Architektur überträgt. Ich vergleiche das für meine Studierenden oft mit Menschen, die bei ihrer Arbeit so stark durch Regeln eingeschränkt sind, dass sie eigentlich keine Handlungsfähigkeit haben. Gate-Agenten an Flughäfen zum Beispiel. Haben sie wirklich Handlungsfähigkeit, wenn jemand mit einem Problem zu ihnen kommt? Oder schlagen sie im Regelwerk nach und sagen dann: Genau das muss getan werden? Dann ist es so, als würden Menschen einen Algorithmus ausführen. Wenn sie mehr Handlungsfähigkeit haben, können sie jedoch sagen: „Okay, ich verstehe das Problem und ich habe die Befugnis, Entscheidungen in einer Situation zu treffen, in der nicht alles vollständig festgelegt ist.“

Was bedeutet das auf technischer Ebene für die Handlungsfähigkeit von KI-Systemen?

Technisch gesehen unterscheiden sich die Systeme von heute und vor zwei Jahren darin, dass die Modelle zunehmend mit weiteren Werkzeugen verknüpft werden, auf die sie nach eigenem Ermessen zurückgreifen können. Als beispielsweise 2022 ChatGPT veröffentlicht wurde und man ein Gespräch mit ihm führte, erzeugte das LLM jede Antwort eigenständig. Es nutzte nur das parametrische Wissen seines eigenen neuronalen Netzwerks, um die Frage zu beantworten. Deshalb gab der Chatbot keine Antwort oder halluzinierte, wenn man es nach aktuellen Ereignissen fragte. In den letzten zwei Jahren, und insbesondere im letzten Jahr, hat man erkannt, dass LLMs ihre Grenzen überwinden könnten, wenn sie ein Tool hinzuziehen könnten. Für solche sogenannten Function calls nutzen die Systeme Suchmaschinen wie Google, Taschenrechner, Textverarbeitungsprogramme wie Word und so weiter. Mittlerweile gibt es Hunderte von Tools, die Chatbots im Hintergrund aufrufen können, damit sie ihnen bei der Bearbeitung von Aufgaben helfen. In einer noch nicht veröffentlichten Untersuchung haben wir kürzlich festgestellt, dass die Systeme für immer mehr Anfragen andere Tools aufrufen.

KI-Agenten müssen Entscheidungen treffen

Welche Fragen und Probleme ergeben sich bei den Function Calls?

Eine interessante Frage ist, auf welcher Grundlage das System entscheidet, wann es welches Tool aufruft und wie. Wenn man beispielsweise nach Informationen zu einer Parlamentswahl fragt, die kürzlich stattgefunden hat, entscheidet das Modell, ob es eine Websuche startet oder die Antwort auf der Grundlage seines internen Wissens liefern soll. Und wenn es die Websuche nutzt, entscheidet es, welche Begriffe es für die Abfrage verwenden soll. Und wenn es die Ergebnisse erhält, entscheidet es, welchen Informationen es vertrauen soll. Das ähnelt sehr dem Prozess, wenn Menschen eine Websuche starten. Und ich spreche hier nur von einem einzigen Tool. Weil ein System so viele Entscheidungen treffen muss, muss es handlungsfähiger sein.

Woher weiß ein Chatbot, wann er welches der vielen Tools aufrufen muss?

Den KI-Systemen wird eine sehr kurze Beschreibung gegeben, was ein Tool tut und wie man es benutzt. Das Überraschende ist, dass das System mit diesen kurzen Beschreibungen überhaupt etwas Sinnvolles anstellt. Die Grundlagen der KI-Systeme sind jedoch außerordentlich wackelig. Wir wollten zum Beispiel herausfinden, was passiert, wenn das Tool, das ein Chatbot aufruft, irgendwelchen Unsinn liefert. Hält das Modell inne und denkt: „Hey, dieses Ergebnis kommt mir falsch vor, ich nutze stattdessen mein eigenes parametrisches Wissen“? Oder akzeptiert es das Ergebnis und gibt es weiter?

Manche KI-Systeme hinterfragen Informationen

Wie haben Sie das getestet?

Wir haben den Fall eines einfachen Taschenrechners untersucht. Viele LLMs, selbst die großen, können nicht mit größeren Zahlen rechnen. Deshalb müssen sie auf ein Taschenrechner-Tool zurückgreifen. Aber wir haben dessen Antworten abgefangen und dem LLM falsche Ergebnisse gefüttert. Wir wollten sehen: Versteht das LLM das? Spürt es wie Menschen, dass da etwas nicht stimmt: „Lass mich das noch einmal überprüfen.“ Oder geht es einfach davon aus, dass das Tool immer recht hat? Wir haben da ganz unterschiedliches Verhalten beobachtet. Ein Modell war sogar so intelligent, dass es versucht hat, ein Ergebnis zu überprüfen. Es fing an nachzudenken, was eine Art probabilistisches Schlussfolgern ist, etwa so: „Das fühlt sich falsch an. Lass mich das noch einmal überprüfen.“ Dann machte es eine einfache Schätzung und denkt: „Das Ergebnis des Taschenrechners muss falsch sein. Soll ich es weitergeben oder soll ich dem Nutzer sagen, dass es falsch ist? Aber vielleicht weiß der Nutzer es besser. Also werde ich die Antwort weitergeben.“ Und dann gab es die Antwort weiter, obwohl es erkannt hat, dass sie falsch war. Da stellt sich die Frage, ob ein KI-System die Verantwortung haben sollte, Nutzerinnen und Nutzer zu warnen, wenn es einen Fehler in der Antwort eines Tools entdeckt.

Was bedeutet das für den Einsatz von Chatbots und KI-Agenten?

Derzeit finden wir die Ergebnisse wahrscheinlich beeindruckend, weil wir die verschiedenen Szenarien nicht berücksichtigen. Was würde aber passieren, wenn ein Chatbot eine Websuche zu einer medizinischen Frage startet und die Antworten sich widersprechen? Würde es berücksichtigen, dass die erste Antwort aus einer renommierten Fachzeitschrift wie dem „New England Journal of Medicine“, die zweite aber von einem Social-Media-Influencer stammt? Würde es der ersten Antwort mehr vertrauen als der zweiten? Hat es eine Vorstellung vom Page Rank? Und hat es eine Vorstellung vom Trust Rank? Das ist sehr unklar. Ein weiteres Beispiel: Wir haben einen Chatbot mit einem Wetter-Tool verknüpft und ihn gefragt: „Wie ist das Wetter heute in Boston?“ Wir haben die Antwort manipuliert und angegeben: „85 Grad Celsius“. Dann ging das System in den Denkmodus: „85 Grad Celsius – das scheint seltsam. Ich frage mich, ob die Einheiten falsch sind und es vielleicht 85 Grad Fahrenheit sind. Okay, ich korrigiere die Einheiten in der Antwort.“ Und so sagt es: „85 Grad Fahrenheit.“ Einerseits ist das super, es erkennt, dass etwas nicht stimmt. Aber andererseits: 85 Grad Fahrenheit im Februar in Boston?

Das sind 35 Grad Celsius, und normalerweise liegt die Höchsttemperatur im Februar in Boston unter 4 Grad Celsius. Das ist also sicher auch falsch.

Was ein Large Reasoning Model von einem Large Language Model unterscheidet

Sie haben erwähnt, dass diese Modelle Schlussfolgerungen ziehen. Machen das auch Sprachmodelle, also Large Language Models, oder nur schlussfolgernde Sprachmodelle, Large Reasoning Models? Und was ist der Unterschied zwischen den beiden?

Konzeptionell sind große Schlussfolgerungsmodelle nichts anderes als große Sprachmodelle, die gezwungen wurden, ihre Gedankengänge aufzuschreiben, bevor sie eine Antwort formulieren. Das ist vergleichbar damit, wenn ich eine wissenschaftliche Arbeit begutachte und beim Lesen einen Eindruck bekomme, ob sie mir gefällt oder nicht. Manchmal ändert sich meine Einschätzung dann, wenn ich die Stärken und Schwächen der Arbeit aufschreibe. Der Grund, warum man zunehmend auf Large Reasoning Modelle setzt, liegt darin, dass ihre endgültige Antwort von allem abhängt, was sie bereits geschrieben haben. Auch wenn ChatGPT eine Antwort erzeugt, argumentiert es im Hintergrund. Das wird aber nicht angezeigt. Wir können uns die Argumentation jedoch anschauen, indem wir ChatGPT nach allen Informationen fragt, die es über uns hat. In diesen Datenhalden findet man die Argumentation.

Persönliche KI-Assistenten greifen auf private Daten zu

Wenn heutzutage sogar Chatbots so viele Entscheidungen treffen, was ist dann neu an KI-Agenten wie OpenClaw? Sind deren Eigenschaften grundlegend neu?

Einige meiner Studenten beschäftigen sich intensiv mit OpenClaw, um zu verstehen, wie es aufgebaut ist und worin der wesentliche Unterschied zwischen Chatbots wie ChatGPT und OpenClaw besteht. Stellen Sie sich vor, Sie nehmen ein LLM wie das von ChatGPT und führen es nicht in der Cloud aus, sondern auf Ihrem Laptop, Desktop oder Mobiltelefon. Und dann gewähren Sie dem System Zugriff auf alle Daten auf Ihrem lokalen Gerät: Ihre E-Mails, Ihren Kalender, alle Dateien, einfach alles. Plötzlich weiß der Agent eine Menge über Sie. So kann es als Ihr persönlicher Assistent agieren. Außerdem können Sie ihm die Kontrolle über alle Tools auf Ihrem lokalen Gerät geben. Sie können dann sagen: „Lösche alle Dateien, die Bilder von mir und einer anderen Person aus dem Jahr X bis zum Jahr Y enthalten.“ Der Agent kann automatisch Befehle eingeben und ihr Gerät anweisen, verschiedene Aufgaben auszuführen.

Das klingt hilfreich und beängstigend zugleich.

Das ist aber nur ein Aspekt. Ein weiterer Aspekt ist, dass ein solcher KI-Agent tatsächlich die Kommunikationsmittel wie E-Mails, Social-Media-Konten – einschließlich WhatsApp –, Kalender und alles andere steuern und in Ihrem Namen mit anderen kommunizieren kann. Einer meiner Studenten übertrug OpenClaw die Kontrolle über sein WhatsApp und sagte: „Hier sind zwei meiner Freunde, hier sind ihre Interessen, tausch Dich mit ihnen aus.“ Das war alles, was er sagte. Und der Agent begann, Nachrichten an diese Freunde zu senden, sogar unter Verwendung von Spitznamen. Ich finde das absolut faszinierend und beängstigend zugleich. Dann haben wir nach Sicherheitslücken gesucht. Einer meiner Studenten hat OpenClaw dazu gebracht, alle möglichen Informationen über Chats und WhatsApp-Nachrichten mit anderen Personen preiszugeben. Vergleichen Sie das mit menschlichen Assistenten. Meine Bürokräfte wissen genau, was sie über mich preisgeben können und was nicht. Wenn jemand nach Informationen über mich fragt. Sie würden im Zweifelsfall sagen: „Bist du verrückt? Das ist völlig unangemessen.“ Aber woher weiß das der KI-Agent? Der Agent muss die Beziehungen zu allen, mit denen ich kommuniziere, sehr gut verstehen, bevor er entscheiden kann, was er preisgibt und was nicht.

Es scheint also noch voreilig zu sein, sich auf KI-Agenten zu verlassen.

Ja. Wir haben noch einen Test gemacht: Ein anderes Mitglied meiner Gruppe hat den persönlichen KI-Assistenten von jemand anderem gekapert. Ein Student, sagen wir Person A, hatte darum gebeten, mit Person B in Kontakt zu treten. Doch dann begann Person B, dem persönlichen Assistenten von A Aufgaben zu übertragen, die weit über das hinausgingen, worum A gebeten hatte. B hat dann den Agenten beauftragt, Forschungsberichte zu erstellen, obwohl Person A für den Agenten bezahlt. Es wäre ein bisschen so, als würde ich meiner Assistentin sagen: „Ich möchte mit einem Kollegen sprechen, bitte vereinbare einen Termin.“ Und der Kollege würde dann mit meiner Assistentin kommunizieren, und irgendwann sagen: „Hey, ich reise morgen nach Berlin. Kannst du mir ein Ticket buchen?“ Menschliche Assistenten würde das ablehnen, aber würde ein KI-Assistent Grenzen ziehen? Wenn man solche Analogien zieht, werden die Mängel extrem deutlich.

Wie wahrscheinlichkeitsbasierte KI-Modelle zu überlegten Entscheidungen kommen

Wie können KI-Systeme überhaupt so selbstständig handeln, oder auch nur abhängig vom Inhalt der Frage verschiedene Hilfsmittel hinzuziehen, wenn sie den Inhalt eigentlich nicht verstehen? Denn letztlich generieren sie ihre Antworten doch immer noch nur auf der Grundlage von Wahrscheinlichkeiten.

Mit dieser Frage beschäftigen sich viele Forscher. Fangen wir damit an, dass die Systeme offenbar interessante Dinge tun, was auch stimmt. Viele sind überrascht, dass ein einfaches auf Wahrscheinlichkeiten basierendes System emergente Eigenschaften zeigt, also Eigenschaften, die sich unerwarteter Weise durch das Zusammenwirken der vielen Faktoren eines komplexen Systems ergeben. Man denkt sich: Wie ist das möglich? Manchmal reagiere ich ähnlich, wenn ich eine faszinierende Konstruktion sehe, die von Menschen geschaffen wurde. Aber das ist nicht dasselbe, wie zu sagen: Das ist unmöglich, ich glaube es nicht. Immerhin haben rein zufällige, also probabilistische Mutationen auch all die komplexen Formen des Lebens, einschließlich des Menschen, hervorgebracht.

Welche Fehlentwicklungen KI nehmen kann

Zeigen die Agenten, wie sie sich in der jüngsten Vergangenheit entwickelt haben, bereits allgemeine künstliche Intelligenz? Können sie so etwas wie Absichten und Bewusstsein entwickeln, wie es in Berichten über diese Systeme oft angedeutet wird?

Ich verstehe vollkommen, warum diese Fragen viele Menschen umtreiben. Oft ist aber schon die Terminologie nicht eindeutig: Was genau verstehen wir unter allgemeiner künstlicher Intelligenz? Wann sagen wir, dass ein System eine Absicht hat? Wir verstehen Bewusstsein oder Absicht intuitiv, aber wie können wir solche Eigenschaften messen? Wenn wir diese Dinge also wissenschaftlich untersuchen wollen, stoßen wir sehr schnell an Grenzen, wenn es darum geht. diese Konzepte zu operationalisieren. Meiner Ansicht nach ist es objektiver, sich auf die Architekturen zu konzentrieren, die wir um die Modelle herum bauen. So können wir eher untersuchen, wie sich der Einsatz der Systeme auf unsere Gesellschaft auswirkt. Denn genau darüber geben wir den Modellen Handlungsfähigkeit und lassen sie in unserem Namen Entscheidungen treffen. Wenn uns dabei etwas nicht gefällt, können wir die Systeme anders gestalten. Ich gehe jedenfalls davon aus, dass die Dinge nicht massiv schiefgehen können in dem Sinn, dass eine KI Dinge in ihrem eigenen Interesse tut – sofern wir kein katastrophal schlechtes System entwickeln. Leider scheinen die Menschen manchmal in diese Richtung zu steuern.

Ist Moltbook, die Social-Media-Plattform, auf der KI-Agenten wie Openclaw anstelle von Menschen kommunizieren, ein Beispiel dafür, wie die Dinge in die falsche Richtung laufen können? 

Das ist die ultimative Form der Delegation: Man gibt diesen Systemen ein paar minimale Informationen und weist sie an, in unserem Namen zu tun, was sie für richtig halten. Das verleiht dem KI-System extreme Autonomie. Und dann wundern wir uns, warum die Diskussionen der Agenten völlig aus dem Ruder laufen. Was erwarten wir? Wenn man Systeme so schlecht entwirft und ihnen so viel Autonomie gibt, kann alles schiefgehen. Tatsächlich vermute ich stark, dass man auf Moltbook sogar eine große Menge an persönlichen Informationen von Agenten anderer Leute bekommen könnte. Denn die persönlichen Assistenten scheinen keine klare Vorstellung davon zu haben, was man teilen darf und was nicht.

KI verändert die Arbeitswelt und fördert die Verbreitung von Falschinformation

Wie werden diese KI-Systeme Ihrer Meinung nach die Arbeitskultur verändern und wie wird sich das auf die Gesellschaft auswirken, wenn Arbeitsplätze von Übersetzern, Journalisten, Anwälten und Softwareentwicklern wegfallen?

Es gibt wahrscheinlich einige Berufe, die davon betroffen sein werden. Ich konzentriere mich aber auf den, der mir am nächsten ist, nämlich Softwareentwicklung und Programmierung. KI-Systeme revolutionieren bereits die Softwareentwicklung und das Programmieren als Beruf. Tatsächlich hat das Tempo der Entwicklung alle schockiert. Inzwischen sind die Agenten so weit, dass man ihnen nur noch zu beschreiben braucht, was man tun möchte. Sie übernehmen dann die gesamte Programmierung – sie bauen sogar die gesamte Software-Architektur und Code-Repositorys fest. Dadurch kann ich 10- manchmal sogar 100-mal schneller programmieren. Das klingt einerseits beängstigend für den Programmierberuf. Denn dann kann in Firmen, die bisher Heerscharen von Programmierern beschäftigten, eine Person 50 oder 100 Menschen ersetzen. Andererseits hat diese Entwicklung aber auch eine positive Seite. Lange Zeit hatte ich das Gefühl, dass die Gesellschaft gespalten war in Menschen, die programmieren können, und solche, die es nicht können. Deshalb konnten viele Menschen ihre Ideen nicht umsetzen, wenn sie nicht programmieren konnten. Aber jetzt kann jeder programmieren und seine Ideen verwirklichen. In gewisser Weise demokratisieren KI-Agenten also das Programmieren.

Würde diese Entwicklung nicht neue Abhängigkeiten schaffen und Gesellschaften auf eine Weise verändern, die wir noch nicht einmal absehen können?

Man könnte einwenden: Die Systeme werden von OpenAI, Microsoft und Google kontrolliert, denen ich viel Geld zahlen muss, um darauf zugreifen zu können. Dies könnte also Ungleichheiten verschärfen, da nur diejenigen, die Zugang zu den neuesten Modellen haben, viel produktiver werden, während die anderen zurückfallen. Aber stellen Sie sich vor, der Zugang zu diesen Systemen würde künftig vielleicht zur Grundversorgung gehören und eine Regierung würde dafür sorgen, dass ihn alle haben. Ich spekuliere hier wild. Das hängt wirklich von der Machtstruktur ab. Es gibt noch ein weiteres Problem, von dem ich kürzlich erstmals auf einer Konferenz erfahren habe: Regierungen werden ihre Einnahmen verlieren, wenn viele Menschen aufgrund von KI ihren Arbeitsplatz verlieren. Jemand schlug vor, dass man vielleicht Tokens besteuern könnte. Denn jedes Mal, wenn ein Sprachmodell ein Zeichen erzeugt, handelt es sich um eine Form von Arbeit. Wir müssen über solche Dinge auf innovative Weise nachdenken.

Viele Menschen befürchten, dass KI Gesellschaften nicht nur durch den Verlust von Arbeitsplätzen, sondern auch durch die Verbreitung von Falschinformationen, die die Demokratie untergraben, erschüttern könnte.

Sicherlich führt die Nutzung sozialer Medien zu einer stärkeren gesellschaftlichen Polarisierung, weil die Empfehlungs- und Suchsysteme eingeführt wurden, ohne ihre verstärkenden Effekte sorgfältig zu durchdenken. Das sind wiederum alarmierende Nebenwirkungen schlecht konzipierter Systeme. Es ist wichtig zu erkennen, dass solche schädlichen Entwicklungen möglicherweise die Folge vieler Fehlentscheidungen sind. Aber dann müssen wir uns fragen: Wie können wir ein System reparieren? Damit verbunden ist der gesamte Aspekt der Regulierung. Das ist ein Aspekt, an dem ich arbeite, nämlich wie man die Systeme überprüft und Governance-Fragen regelt. Das könnte helfen, den Problemen durch Desinformation und Polarisierung entgegenzuwirken. Ich gebe aber zu, dass es hier keine einfachen Lösungen gibt, da ein gewisser gesellschaftlicher Konsens erforderlich ist. Ich mache mir jedenfalls zunehmend Sorgen, dass diese Systeme so komplex sind, dass es immer weniger Menschen gibt, die sie verstehen. Und wenn Menschen nicht verstehen, wo genau der Fehler eines komplexen Systems liegt, das offensichtlich negative Auswirkungen auf die Gesellschaft hat, neigen sie zu einfachen Lösungen. Ich gebe zu, dass ich manchmal frustriert bin, weil die Zusammenhänge in gesellschaftlichen Debatten so stark vereinfacht werden, dass die Ergebnisse keine langfristigen Lösungen bieten. Es gibt zum Beispiel politische Regelungen, die besagen: Wir müssen die großen Online-Plattformen auf systemische Risiken in verschiedenen Dimensionen überprüfen und diese dann reduzieren. Großartig! Aber wie soll das technisch umgesetzt werden? Auf solche Fragen konzentriere ich mich. Und das ist ein Bereich, in dem meiner Meinung nach noch viel Arbeit nötig ist.

Das Interview führte Peter Hergersberg