AI Act: Was er regelt und wen er betrifft

Der AI Act regelt, wie Anbieter und Betreiber künstliche Intelligenz einsetzen können. Was sich zum 2. Februar 2025 ändert

Die weltweit strengste KI-Gesetzgebung gilt seit 2. Februar 2025. Digitalrechtsexperte Erik Tuchtfeld erklärt, welche KI-Regeln in Deutschland gelten und worauf sich Betreiber und Anbieter einstellen müssen. Die wichtigsten Antworten zu Risikokategorien bis hin zur biometrischen Gesichtsüberwachung.

Was regelt der AI Act?

Der AI Act gehört zum Bereich der „Produktregulierung“. Er regelt, welche KI-Systeme in der Europäischen Union (EU) erlaubt und welche verboten ist. Die Verordnung stellt einheitliche Regeln für alle 27 Mitgliedstaaten auf – für den Verkauf und die Verwendung von KI-Systemen in der EU. Kern ist dabei eine Klassifizierung von KI-Systemen nach ihrem Risiko für Gesundheit, Sicherheit und Grundrechte in einem vierstufigen Modell. Am 2. Februar tritt die erste Stufe für besonders risikoreiche Systeme in Kraft, deren Einsatz grundsätzlich verboten ist.

Warum gibt es den AI Act?

Zweck des AI Acts ist es zum einen, durch Harmonisierung von Rechtsvorschriften den europäischen Binnenmarkt zu verbessen, zum anderen aber auch die Auswirkungen von KI-Systemen auf Gesundheit, Sicherheit und Grundrechte zu mindern und Demokratie, die Rechtsstaatlichkeit und die Umwelt zu schützen. Die EU möchte mit dem AI Act „menschenzentrierte“ und „vertrauenswürdige“ KI fördern, wie es in den Erwägungsgründen des AI Acts heißt. Das einheitliche Schutzniveau in der gesamten EU soll auch Rechtssicherheit für Unternehmen, die KI entwickeln, sicherstellen.

Zwischen welchen Kategorien von KI-Systemen unterscheidet die Verordnung?

Der risikobasierte Ansatz der KI-Verordnung unterscheidet zwischen Systemen,

  1. deren Risiken nicht mehr hinnehmbar sind, dass sie verboten sind (etwa Social Scoring oder Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen),
  2. Hochrisikosystemen, bei denen die Gefahr besonderer Beeinträchtigungen von Grundrechten besteht (u.a. KI-Systeme im Bildungsbereich, im Personalmanagement, im Bereich der Strafverfolgung und Grenzkontrolle sowie für den Zugang zu Sozialleistungen),
  3. Systeme mit besonderen Transparenzverpflichtungen, weil sie zur Manipulation von Menschen genutzt werden könnten (etwa bei Chatbots oder KI-Systemen, die Bilder oder Video künstlich generieren) – hier muss für die Nutzenden immer erkennbar sein, dass sie mit einer Maschine interagieren bzw. einen maschinell erstellten Inhalt sehen und
  4. Systemen mit minimalem Risiko, für die keine besonderen Anforderungen bestehen, die sich aber freiwilligen Verhaltenskodizes anschließen können.

Was ist verboten?

Ab 2. Februar gelten die Verbote des AI Acts für Praktiken im KI-Bereich, die die EU als besonders gefährlich für Grundrechte einstuft. Demnach ist es unter anderem in der EU verboten, KI-Systeme einzusetzen, die Menschen manipulieren oder ihre Schutzbedürftigkeit ausnutzen, um ihnen erheblichen Schaden hinzuzufügen. Auch Social-Scoring-Anwendungen, Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen sowie Systeme, die es ermöglichen, das Risiko zu bewerten, dass Menschen aufgrund ihrer persönlichen Eigenschaften Straftaten begehen, sind verboten.

Die Kommission hat inzwischen (unverbindliche) Richtlinien veröffentlicht, was die Verbote des AI Acts nach ihrer Auffassung genau umfassen. Ob ein Anbieter oder ein Betreiber tatsächlich gegen die neuen Vorschriften verstoßen hat, entscheiden verbindlich nur die (nationalen) Gerichte - und in letzter Instanz der der Europäische Gerichtshof.

Wer muss sich an die Vorgaben halten?

Die Pflichten gelten für die Anbieter und Betreiber von KI-Systemen. Anbieter sind Personen, Behörden oder Unternehmen, die KI-Systeme entwickeln und sie auf den Markt bringen. Betreiber sind die Einrichtungen, welche die KI-Systeme verwenden. Nicht erfasst ist jedoch eine rein private Nutzung ohne Bezug zur beruflichen Tätigkeit.

Ausländische Unternehmen, wie etwa amerikanische oder chinesische, müssen sich ebenfalls daran halten, wenn ihre Systeme oder die von dem KI-System erstellten Inhalte in der EU genutzt werden.

Was regelt er nicht?

Explizit ausgenommen vom AI Act sind KI-Systeme, die ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit konzipiert sind. Für sie gilt nationales Recht inklusive der Grund- und Menschenrechte, die in den nationalen Verfassungen und der Europäischen Menschenrechtskonvention verankert sind.Der AI Act gilt zwar grundsätzlich auch im Bereich der Migration, Grenzsicherung und Strafverfolgung, wichtige Transparenzvorschriften sind in diesen Bereichen jedoch eingeschränkt, was zivilgesellschaftlichen Organisationen kritisieren.

Außerdem sind die Forschung sowie Open-Source-KI-Systeme weitgehend ausgenommen.

Wie verbindlich ist er für Deutschland?

Der AI Act ist eine Verordnung der Europäischen Union, die unmittelbar in Deutschland gilt. Zu einzelnen Bestimmungen, etwa zum Verbot biometrischer Überwachung, können die Mitgliedsstaaten jedoch strengere Vorschriften erlassen. Auch andere Durchführungsvorschriften müssen die Staaten selbst erlassen. Deutschland muss sich noch eine „Governance-Struktur“ geben, also entscheiden, wer in Deutschland die Einhaltung der Vorschriften beaufsichtigt.

Wer kümmert sich um die Einhaltung?

Grundsätzlich sind die Mitgliedsstaaten für die Einhaltung der Vorschriften zuständig. Nur bei sogenannten „KI-Modellen mit allgemeinem Verwendungszweck“ (wie große Sprachmodelle (LLMs) wie ChatGPT oder KI-gestützte Bild- und Videogeneratoren) erfolgt die Durchsetzung auf europäischer Ebene durch eine neu gegründete Behörde, das „AI Office“. In Deutschland wurde noch nicht final entschieden, welche Behörde für die Umsetzung verantwortlich sein wird. Voraussichtlich wird es die Bundesnetzagentur werden, die auch schon Aufsichtsbehörde für den Digital Services Act ist, der die Pflichten von Digitalen Plattformen regelt.

Was passiert, wenn sich ein Anbieter nicht daran hält?

Es drohen Geldbußen. Die konkrete Höhe wird durch die jeweiligen EU-Mitgliedsstaaten festgelegt, grundsätzlich sind Bußgelder in Höhe von bis zu 35 Millionen Euro oder sieben Prozent des gesamten weltweiten Vorjahresumsatzes (je nachdem, welcher Wert höher ist) möglich.

Ist biometrische Gesichtserfassung in Echtzeit unter dem AI Act erlaubt?

Echtzeit-Biometrische Identifizierung an öffentlichen Orten, also zum Beispiel durch Kameras an Bahnhöfen, ist grundsätzlich verboten.

Unter biometrischer Identifizierung fällt nicht nur die Gesichtserkennung mittels KI-basierten Abgleich von Bildern aus Datenbanken, sondern auch die Identifizierung anhand anderer Merkmale, etwa des Ganges einer Person.

Gibt es Ausnahmen?

Von diesem Verbot gibt es aber mehrere Ausnahmen, etwa um Entführungsopfer zu suchen, erhebliche Gefahren für die körperliche Unversehrtheit von Personen (etwa durch Terroranschläge) abzuwenden oder für die Suche nach Tatverdächtigen schwerer Straftaten.

Bürgerrechtliche Organisationen und Teile der Rechtswissenschaft kritisieren, dass das grundsätzliche Verbot durch die Vielzahl an Ausnahmen kaum noch Wirkung entfaltet. Die vielen Ausnahmen würden insbesondere dazu führen, dass die für die biometrische Überwachung des öffentlichen Raumes notwendige Infrastruktur aufgebaut werden wird, die dann auch noch für andere Zwecke genutzt werden könnte.

Können biometrische Daten nachträglich verwertet werden?

Die nachträgliche biometrische Gesichtserkennung durch die KI-Verordnung ist nicht verboten, sondern lediglich als „Hochrisiko-System“ eingestuft worden, was besondere Anforderungen an die Dokumentation mit sich bringt und ein Risikomanagementsystem erforderlich macht. Entscheidend ist hier das Quellenmaterial: Wertet man umfangreiche Datenbestände (bspw. das Material aller öffentlichen Videoaufzeichnungen in Deutschland) nachträglich aus, lassen sich damit umfassende Bewegungsprofile von Einzelpersonen erstellen.

In beiden Fällen, der Echtzeit- wie der nachträglichen biometrischen Identifizierung, könnte der nationale Gesetzgeber ein umfassendes, ausnahmsloses Verbot von Gesichtserkennung erlassen, wie es zivilgesellschaftliche Bündnisse etwa „ReclaimYourFace“ von den verschiedenen mitgliedstaatlichen Regierungen, unter anderem auch in Deutschland fordern.

Könnten Bewegungsprofile anhand von Insta-Bildern erstellt werden?

Inwiefern man Fotos und Videos im Internet allgemein biometrisch auswerten darf, ist sehr umstritten. Diese Debatte ist in Deutschland insbesondere rund um das „Sicherheitspaket“ der Bundesregierung im September/Oktober 2024 bedeutsam geworden. Der AI Act verbietet „die Verwendung von KI-Systemen, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern“. Viele Experten sind der Meinung, dass sich das Internet aufgrund der enormen Datenmenge nicht biometrisch auswerten lässt, ohne dass vorher Datenbanken dieser Art angelegt werden. Das würde somit eindeutig gegen den AI Act verstoßen.

Redaktion: Michaela Hutterer

Anmerkung der Redaktion: Wir aktualisieren den Stand dieses Berichts, wenn berichtenswerte Neuerungen eintreten - wie zuletzt am 04.02.2025.
Stand: 04.02.2025

Weitere interessante Beiträge

Zur Redakteursansicht