Suche

Der europäische AI Act (KI-Verordnung)

Jure Globocnik

Jure Globocnik

Gastautor von der activeMind AG

Unternehmen setzen zunehmend Tools ein, die auf künstlicher Intelligenz (KI) basieren. Bislang ist der Einsatz von KI in der Europäischen Union (EU) nicht durch spezifische Rechtsvorschriften geregelt. Mit der vorgeschlagenen KI-Verordnung (Artificial Intelligence Act – AI Act) wird sich dies jedoch bald ändern. In diesem Artikel geben wir einen kurzen Überblick über die von dem Vorschlag erfassten KI-Systeme und die entsprechenden Verpflichtungen betroffener Unternehmen.

Aktueller Status des AI Acts

KI ist aus unserem Alltag kaum noch wegzudenken. Dabei reichen die verwendeten KI-gestützten Systeme von weitgehend unproblematischen – wie dem Streaming-Dienst Ihres Vertrauens, der Ihnen auf der Grundlage Ihres Verlaufes den nächsten Film vorschlägt – bis hin zu solchen, die einen größeren bzw. gar entscheidenden Einfluss auf das Leben einer Person haben können. Beispiele für letztere sind KI-basierte Tools, die entscheiden, ob Sie einen Kredit oder einen Job bekommen sollten, oder KI-basierte Systeme des Social Scoring.

Abgesehen von allgemeinen, aus anderen Rechtsgebieten wie dem Datenschutzrecht und dem Strafrecht stammenden Regelungen unterliegen KI-Systeme in der EU derzeit keinem KI-spezifischen Regelwerk. Dies soll sich bald ändern: Als Teil ihrer digitalen Strategie hat die Europäische Kommission einen Vorschlag für den sogenannten AI Act, also eine KI-Verordnung erarbeitet. Anfang Dezember 2023 erzielten die Europäische Kommission, das Europäische Parlament und der Europäische Rat eine politische Einigung über die KI-Verordnung.

Der finale Text des AI Act ist noch veröffentlicht worden, vieles steht aber dennoch schon fest. Dieser Artikel gibt einen Überblick über den aktuellen Stand des Gesetzgebungsverfahrens.

Anwendbarkeit der KI-Verordnung

Dem AI Act liegt die OECD-Definition der KI zugrunde, wonach ein KI-System ein maschinenbasiertes System ist, das für bestimmte von Menschen definierte Ziele Voraussagen machen, Empfehlungen abgeben oder Entscheidungen treffen kann, die reale oder virtuelle Umgebungen beeinflussen.

Im Vorschlag für den AI Act werden KI-Systeme in mehrere Kategorien eingeteilt, wobei für jede Kategorie eine Reihe spezifischer Vorschriften gilt. KI-Systeme, die nicht unter eine dieser Kategorien fallen, sind außerhalb des Anwendungsbereiches der KI-Verordnung und unterliegen daher keinen besonderen Vorschriften.

Darüber hinaus soll der AI Act nicht für diejenigen Bereiche gelten, die nicht in den Anwendungsbereich des EU-Rechts fallen, wie etwa nationale Sicherheit. Des Weiteren soll die KI-Verordnung keine Anwendung auf Systeme finden, die ausschließlich für militärische bzw. Verteidigungszwecke genutzt werden, oder deren alleiniger Zweck Forschung und Innovation darstellt. Die Nutzung von KI-Systemen zu privaten Zwecken fällt ebenfalls nicht in den Anwendungsbereich des AI Acts.

Risikobasierter Ansatz

Der Vorschlag für den AI Act folgt einem risikobasierten Ansatz. Dem Vorschlag zufolge können KI-Systeme in vier Risikokategorien eingeteilt werden:

  • unannehmbares Risiko (verbotene KI-Praktiken),
  • hohes Risiko (Hochrisiko-KI-Systeme),
  • begrenztes Risiko (KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind), und
  • minimales und/oder kein Risiko (alle anderen KI-Systeme, die nicht in den Anwendungsbereich der KI-Verordnung fallen).

Darüber hinaus sollen spezifische Regelungen für KI-Modelle mit allgemeinem Verwendungszweck eingeführt werden.

Vom AI Act betroffene Subjekte

Die am stärksten regulierten Subjekte im Rahmen der KI-Verordnung sind die Anbieter von KI-Systemen, d.h. Stellen, die ein KI-System entwickeln oder entwickeln lassen, um es unter ihrem eigenen Namen oder ihrer eigenen Marke in Verkehr zu bringen oder in Betrieb zu nehmen. Dies kann entgeltlich oder unentgeltlich erfolgen.

Auch Einführer und Händler sollen nach dem AI Act spezifischen Verpflichtungen unterliegen. Ein Einführer ist ein in der EU ansässiges Subjekt, das ein KI-System, das den Namen oder die Marke eines außerhalb der EU ansässigen Anbieters trägt, in der EU in Verkehr bringt oder in Betrieb nimmt. Dagegen ist ein Händler jedes andere Subjekt in der Lieferkette, das ein KI-System ohne Änderung seiner Merkmale auf dem EU-Markt bereitstellt.

Schließlich erlegt der AI Act auch den Nutzern (Anwendern) von KI-Systemen bestimmte Pflichten auf. Ein Nutzer ist ein Subjekt, das ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet.

Regulierte KI-Systeme und die entsprechenden Verpflichtungen

Gemäß Art. 5 des Vorschlages für den AI Act sollen bestimmte KI-basierte Praktiken in der EU insgesamt verboten werden. Auf der Liste der verbotenen KI-Praktiken finden sich Anwendungen, die nach Ansicht des EU-Gesetzgebers europäische Werte verletzen, etwa indem sie gegen Grundrechte verstoßen, und daher ein inakzeptables Risiko für betroffene Personen darstellen würden.

Dies gilt u. a. für folgende KI-Systeme:

  • KI-Systeme zum Zweck des Social Scoring,
  • KI-Systeme zum Zweck der kognitiven Verhaltensmanipulation,
  • biometrische Echtzeit-Fernidentifizierungssysteme zu Strafverfolgungszwecken in öffentlich zugänglichen Räumen, wobei bestimmte Ausnahmen gelten, bspw. für die gezielte Suche nach bestimmten potenziellen Opfern von Straftaten,
  • KI-Systeme, die Gesichtserkennungsdatenbanken durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen erstellen oder erweitern (das Verbot ist höchstwahrscheinlich eine Antwort auf die Praktiken von Clearview AI),
  • KI-Systeme zur Erkennung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen.

Die meisten Bestimmungen des Vorschlags des AI Acta befassen sich mit KI-Systemen, die ein hohes Risiko für die Gesundheit und Sicherheit oder die Grundrechte natürlicher Personen darstellen (sogenannte Hochrisiko-KI-Systeme). Diese werden wiederum in zwei Kategorien unterteilt.

Die erste Kategorie umfasst KI-Systeme, die als Sicherheitskomponenten von Produkten verwendet werden sollen, die gemäß den in Anhang II der KI-Verordnung aufgeführten EU-Rechtsakten einer Ex-ante-Konformitätsbewertung durch Dritte unterliegen. Dies betrifft etwa KI-Systeme, die als Sicherheitskomponenten in medizinischen Geräten, Aufzügen, bestimmten Fahrzeugen und Flugzeugen verwendet werden.

Die zweite Kategorie umfasst eigenständige KI-Systeme, die sich auf die Grundrechte auswirken. Die Liste solcher KI-Systeme ist in Anhang III der KI-Verordnung enthalten und umfasst zum Beispiel:

  • KI-Systeme, die als Sicherheitskomponenten für die Verwaltung und den Betrieb bestimmter kritischer Infrastrukturen eingesetzt werden sollen,
  • KI-Systeme, die bestimmungsgemäß für Entscheidungen über den Zugang oder die Zuweisung natürlicher Personen zu Einrichtungen der allgemeinen und beruflichen Bildung verwendet oder mit denen Schüler solcher Einrichtungen bewertet werden sollen,
  • KI-Systeme im Beschäftigungskontext, die für die Personalbeschaffung (Bekanntmachung freier Stellen, Sichtung oder Filterung von Bewerbungen, Bewertung von Bewerbern), für Entscheidungen über Beförderungen und Kündigungen von Arbeitsvertragsverhältnissen, für die Aufgabenzuweisung und für die Überwachung und Bewertung der Leistung und des Verhaltens von Arbeitnehmern verwendet werden sollen, und
  • KI-Systeme, die bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Kreditpunktebewertung natürlicher Personen verwendet werden sollen, mit Ausnahme von KI-Systemen, die von Kleinanbietern für den Eigengebrauch in Betrieb genommen werden.

Im Einklang mit dem risikobasierten Ansatz werden diese Hochrisiko-KI-Systeme auf dem europäischen Markt erlaubt, sofern sie bestimmte Anforderungen erfüllen und einer Ex-ante-Konformitätsbewertung unterzogen werden. Unter anderem müssen die Anbieter von Hochrisiko-KI-Systemen ein Qualitätsmanagementsystem, das die Einhaltung der KI-Verordnung gewährleisten soll, sowie ein Risikomanagementsystem einrichten, das den gesamten Lebenszyklus eines Hochrisiko-KI-Systems abdeckt. Darüber hinaus müssen sie gemäß dem Vorschlag der KI-Verordnung detaillierte technische Dokumentation über das KI-System erstellen.

Wenn zum Training des Modells Daten verwendet werden, müssen die Trainings-, Validierungs- und Testdatensätze den Anforderungen von Art. 10 der KI-Verordnung genügen.

Der Vorschlag für die KI-verordnung enthält auch bestimmte technische Anforderungen an Hochrisiko-KI-Systeme. So müssen diese beispielsweise Vorgänge und Ereignisse protokollieren, um die Rückverfolgbarkeit der Funktionsweise des Systems zu gewährleisten. Hochrisiko-KI-Systeme sind so zu entwickeln, dass sie während ihres Einsatzes von natürlichen Personen wirksam überwacht werden können. Dazu gehört unter anderem die Bereitstellung einer „Stopp“-Taste oder eines ähnlichen Verfahrens, mit dem das KI-System sicher angehalten werden kann. Darüber hinaus müssen Hochrisiko-KI-Systeme so konzipiert und entwickelt werden, dass ihre Funktionsweise hinreichend transparent ist, so dass ihre Nutzer die Ergebnisse des Systems interpretieren und angemessen nutzen können.

Wenn der Anbieter nicht in der EU niedergelassen ist und sein KI-System direkt auf dem EU-Markt anbietet, ist er verpflichtet, einen Bevollmächtigten in der EU zu benennen.

Neben den Anbietern haben auch andere Subjekte bestimmte Verpflichtungen in Bezug auf Hochrisiko-KI-Systeme. Dies gilt zunächst für Hersteller von Produkten, die unter einige der in Anhang II der KI-Verordnung aufgeführten EU-Rechtsvorschriften fallen. Wenn sie unter ihrem eigenen Namen ein Produkt auf den EU-Markt bringen, in das ein Hochrisiko-KI-System integriert ist, müssen sie dieselben Verpflichtungen wie der Anbieter des KI-Systems erfüllen.

Einführer und Händler von Hochrisiko-AI-Systemen müssen insbesondere prüfen, ob der Anbieter alle im AI Act vorgeschriebenen Maßnahmen ergriffen hat. Haben sie Grund zur Annahme, dass das Hochrisiko-KI-System nicht der KI-Verordnung entspricht, müssen sie sicherstellen, dass vor dem Inverkehrbringen geeignete Korrekturmaßnahmen ergriffen wurden.

Darüber hinaus soll jeder Händler, Einführer, Nutzer oder sonstiger Dritter als Anbieter im Sinne der KI-Verordnung gelten, wenn er ein Hochrisiko-KI-System unter seinem eigenen Namen oder seiner eigenen Marke in Verkehr bringt oder in Betrieb nimmt, die Zweckbestimmung eines Hochrisiko-KI-Systems verändert oder eine wesentliche Änderung an dem Hochrisiko-KI-System vornimmt.

Die Nutzer müssen Hochrisiko-KI-Systeme in Übereinstimmung mit der mitgelieferten Gebrauchsanweisung verwenden, die Eingabedaten sorgfältig auswählen, den Betrieb des Hochrisiko-KI-Systems überwachen und Protokolle aufbewahren. Bestimmte Nutzer (bspw. Krankenhäuser, Schulen, Versicherungen und Banken) müssen außerdem vor der Inbetriebnahme eines Hochrisiko-KI-Systems eine Grundrechte-Folgenabschätzung durchführen, in der die Auswirkungen des KI-Systems in dem jeweiligen Nutzungskontext bewertet werden sollen.

Nach dem Vorschlag für den AI Act sollen für bestimmte Systeme, die mit natürlichen Personen interagieren, Transparenzpflichten eingeführt werden. Dies betrifft insbesondere drei Arten von Systemen:

  • Anbieter sollen Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind, wie z.B. KI-basierte Chatbots, so konzipieren, dass den Anwendern mitgeteilt wird, dass sie mit einem KI-System interagieren, es sei denn, dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich.
  • Nutzer von Emotionserkennungssystemen oder Systemen zur biometrischen Kategorisierung müssen betroffene Personen über den Betrieb des Systems informieren.
  • Nutzer von KI-Systemen, die sogenannte Deep Fakes erstellen, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.

Erfüllt ein hier aufgeführtes System die Kriterien für ein Hochrisiko-KI-System, muss dieses zusätzlich zu den in diesem Abschnitt genannten Transparenzverpflichtungen auch die Anforderungen für Hochrisiko-KI-Systeme erfüllen.

Eines der umstrittensten Themen bei den Verhandlungen über den AI Act war die Regulierung von KI-Modellen mit allgemeinem Verwendungszweck, d.h. KI-Modellen, die für viele verschiedene Zwecke eingesetzt werden können.

Während der ursprüngliche Vorschlag für die KI-Verordnung keine diesbezüglichen Vorschriften enthielt, bestand das Europäische Parlament in den Verhandlungen darauf, spezifische Bestimmungen für solche Systeme aufzunehmen. Dies ist wahrscheinlich eine Reaktion auf die plötzliche breite Verfügbarkeit und Popularität von KI-Modellen mit allgemeinem Verwendungszweck wie bspw. GPT-4, das in ChatGPT von Open AI enthalten ist.

Darauffolgend einigten sich die involvierten EU-Institutionen, dass der AI Act auch KI-Modelle mit allgemeinem Verwendungszweck regeln soll, die als große KI-Modelle definiert sind, also in der Lage sind, ein breites Spektrum unterschiedlicher Aufgaben zu erfüllen, wie z. B. die Generierung von Videos, Texten, Bildern, Berechnungen oder die Erzeugung von Computercode. Alle solche Modelle müssen bestimmten Transparenzanforderungen genügen. Für eine Untergruppe solcher Modelle, die eine hohe Auswirkung haben und ein systemisches Risiko darstellen, werden zusätzliche Anforderungen gelten, die in Form von Verhaltenskodizes umgesetzt werden.

Maßnahmen zur Innovationsförderung

Der Vorschlag für den AI Act sieht bestimmte Maßnahmen vor, die Innovationen im KI-Bereich fördern sollen. Neben spezifischen Maßnahmen für Kleinanbieter und -nutzer sieht der Vorschlag auch die Einführung von KI-Reallaboren (regulatory sandboxes), in denen Anbieter ihre KI-Systeme unter behördlicher Aufsicht testen können, bevor diese Systeme zum Einsatz kommen, sowie Tests unter realen Bedingungen vor.

Aufsichtsbehörden

Dem Vorschlag zufolge soll jeder EU-Mitgliedstaat eine nationale Aufsichtsbehörde für die Überwachung der Anwendung und Umsetzung der KI-Verordnung benennen.

Alle nationalen Aufsichtsbehörden sollen im Europäischen Ausschuss für künstliche Intelligenz vertreten sein, der als Koordinierungsplattform und Beratungsgremium für die Europäische Kommission fungieren soll.

Darüber hinaus wird innerhalb der Europäischen Kommission ein Amt für künstliche Intelligenz (AI Office) eingerichtet, das mit der Überwachung der Durchsetzung bezüglich KI-Modellen mit allgemeinem Verwendungszweck betraut wird.

Sanktionen

Nach dem Vorschlag für den AI Act sollen bei Verstößen hohe Bußgelder möglich sein. Wie schon die Datenschutz-Grundverordnung (DSGVO) sieht der Vorschlag für die KI-Verordnung eine Obergrenze für die Sanktionen vor, indem ein Betrag (in Millionen Euro) und ein Prozentsatz des gesamten weltweiten Jahresumsatzes des Unternehmens im vorangegangenen Geschäftsjahr festgelegt werden, wobei der höhere Betrag als Obergrenze für die Sanktionen gilt.

Die Bußgelder für die schwersten Verstöße (verbotene KI-Praktiken, Vorschriften über Daten und Daten-Governance) sind auf 35 Mio. Euro bzw. 7 % des gesamten weltweiten Jahresumsatzes des Unternehmens im vorangegangenen Geschäftsjahr begrenzt. Andere Verstöße werden mit bis zu 15 Mio. Euro oder 3 % des Umsatzes des Unternehmens sanktioniert. Bei einer Übermittlung falscher Informationen an die Behörden drohen Bußgelder von bis zu 7,5 Mio. Euro oder 1,5 % des Jahresumsatzes.

Wie geht es mit der KI-Verordnung weiter?

Anfang Dezember 2023 wurde zwischen den beteiligten EU-Institutionen eine politische Einigung über die KI-Verordnung erzielt. Derzeit wird der Text des AI Acts von den beteiligten EU-Institutionen finalisiert. Es ist zu erwarten, dass die KI-Verordnung Anfang 2024 verabschiedet wird.

Erst nach der Verabschiedung des AI Acts werden Unternehmen Gewissheit über die genauen Vorschriften der KI-Verordnung haben.

Die KI-Verordnung soll grundsätzlich zwei Jahre nach ihrem Inkrafttreten anwendbar sein. Den Pressemitteilungen zufolge können einige Bestimmungen sogar schon früher anwendbar werden. So sollen Regelungen über verbotene Systeme schon nach sechs Monaten und die Verpflichtungen in Bezug auf KI mit allgemeinem Verwendungszweck nach einem Jahr anwendbar sein. Dagegen sollen Regelungen über die in Anhang II der KI-Verordnung aufgeführten Hochrisikosysteme erst nach drei Jahren anwendbar sein.

Da es sich dabei um eine Verordnung handelt, werden die darin enthaltenen Vorschriften in allen EU-Mitgliedstaaten unmittelbar anwendbar sein; eine Umsetzung in nationales Recht ist nicht erforderlich.

Was sollten Unternehmen jetzt tun?

Nach der Verabschiedung des AI Acts sind Unternehmen gut beraten, sich so früh wie möglich mit den Regelungen der KI-Verordnung zu befassen.

Dies gilt insbesondere für Anbieter von Hochrisiko-KI-Systemen. Der AI Act verlangt von diesen nicht nur umfangreiche Governance-Strukturen und entsprechende Dokumentation. Die KI-Verordnung wird wahrscheinlich auch dazu führen, dass diese Anbieter ihre KI-Systeme anpassen müssen (bspw. um Protokollierung zu ermöglichen oder um einen „Stopp“-Button zu integrieren). Sobald das KI-System mit dem AI Act im Einklang steht, muss eine Konformitätsbewertung durchgeführt werden.

Unternehmen, die von anderen Unternehmen bereitgestellte KI-Systeme nutzen, sollten in einem ersten Schritt eine Bestandsaufnahme dieser Systeme vornehmen. Danach sollten sie ihre Rolle in diesem Zusammenhang und die entsprechenden Verpflichtungen bewerten.

Auch wenn zwei Jahre bis zum Beginn der Durchsetzung des AI Acts wie eine lange Zeitspanne erscheinen mögen, sind die Anforderungen der KI-Verordnung äußerst umfangreich. Die Erfahrungen mit der DSGVO zeigten, dass Unternehmen, die erst einige Monate vor der Anwendbarkeit der Vorschriften mit der Umsetzung beginnen, wahrscheinlich Schwierigkeiten haben werden, die Anforderungen rechtzeitig umzusetzen.

KI-Compliance

Rechtssicherheit bei Entwicklung und Einsatz von künstlicher Intelligenz in Ihrem Unternehmen

Kontaktieren Sie uns!

Sichern Sie sich das Wissen unserer Experten!

Abonnieren Sie unseren Newsletter: