Unternehmen setzen zunehmend Tools ein, die auf künstlicher Intelligenz (KI) basieren. Bislang war der Einsatz von KI in der Europäischen Union (EU) nicht durch spezifische Rechtsvorschriften geregelt. Mit der durch das Europäische Parlament am 13. März 2024 verabschiedeten KI-Verordnung (Artificial Intelligence Act – AI Act) ändert sich dies jedoch. In diesem Artikel geben wir einen kurzen Überblick über die von dem AI Act erfassten KI-Systeme und die entsprechenden Verpflichtungen betroffener Unternehmen.
Das Wichtigste in Kürze
- Der AI Act wurde vom EU-Parlament verabschiedet (englischer Volltext) und muss noch vom Europäischen Rat verabschiedet werden.
- 20 Tage nach Veröffentlichung im Amtsblatt der Europäischen Union tritt der AI Act in Kraft, die meisten Regeln sind nach zwei Jahren anwendbar, einige schon früher.
- Der AI Act verfolgt einen risikobasierten Ansatz. KI-Systeme werden nach ihrem Risiko bewertet und entsprechend reguliert.
- Anbieter, Einführer, Händler und Betreiber von (Hochrisiko-)KI-Systemen müssen diverse Auflagen erfüllen.
Hintergrund der Regulierung von KI
KI ist aus unserem Alltag kaum noch wegzudenken. Dabei reichen die verwendeten KI-gestützten Systeme von weitgehend unproblematischen – wie dem Streaming-Dienst Ihres Vertrauens, der Ihnen auf der Grundlage Ihres Verlaufes den nächsten Film vorschlägt – bis hin zu solchen, die einen größeren bzw. gar entscheidenden Einfluss auf das Leben einer Person haben können. Beispiele für letztere sind KI-basierte Tools, die entscheiden, ob Sie einen Kredit oder einen Job bekommen sollten, oder KI-basierte Systeme des Social Scoring.
Abgesehen von allgemeinen, aus anderen Rechtsgebieten wie dem Datenschutzrecht und dem Strafrecht stammenden Regelungen unterlagen KI-Systeme in der EU bisher keinem KI-spezifischen Regelwerk. Dies ändert sich mit der Verabschiedung des AI Act, dem weltweit ersten Gesetz zur Regulierung von KI.
Anwendbarkeit der KI-Verordnung
Dem AI Act liegt die OECD-Definition von KI zugrunde, wonach ein KI-System ein maschinengestütztes System ist,
- das für einen in wechselndem Maße autonomen Betrieb ausgelegt ist,
- das nach seiner Einführung anpassungsfähig sein kann und
- das aus den erhaltenen Eingaben Ergebnisse wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen hervorbringt, die physische oder virtuelle Umgebungen beeinflussen können.
Im AI Act werden KI-Systeme in mehrere Kategorien eingeteilt, wobei für jede Kategorie eine Reihe spezifischer Vorschriften gilt. KI-Systeme, die nicht unter eine dieser Kategorien fallen, sind außerhalb des Anwendungsbereiches der KI-Verordnung und unterliegen daher keinen besonderen Vorschriften.
Darüber hinaus gilt der AI Act nicht für diejenigen Bereiche, die nicht in den Anwendungsbereich des EU-Rechts fallen, wie etwa nationale Sicherheit. Die KI-Verordnung findet auch keine Anwendung auf Systeme, die ausschließlich für militärische bzw. Verteidigungszwecke genutzt werden, oder deren alleiniger Zweck wissenschaftliche Forschung und Entwicklung darstellt. Die Nutzung von KI-Systemen zu privaten Zwecken fällt ebenfalls nicht in den Anwendungsbereich des AI Acts.
Risikobasierter Ansatz des AI Acts
Der AI Act folgt einem risikobasierten Ansatz. Demnach werden KI-Systeme in vier Risikokategorien eingeteilt:
- unannehmbares Risiko (verbotene KI-Praktiken),
- hohes Risiko (Hochrisiko-KI-Systeme),
- begrenztes Risiko (KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind), und
- minimales und/oder kein Risiko (alle anderen KI-Systeme, die nicht in den Anwendungsbereich der KI-Verordnung fallen).
Darüber hinaus führt der AI Act spezifische Regelungen für KI-Modelle mit allgemeinem Verwendungszweck ein.
Vom AI Act betroffene Subjekte
Die am stärksten regulierten Subjekte im Rahmen der KI-Verordnung sind die Anbieter von KI-Systemen, d.h. Stellen, die ein KI-System entwickeln oder entwickeln lassen, um es unter ihrem eigenen Namen oder ihrer eigenen Marke in Verkehr zu bringen oder in Betrieb zu nehmen. Dies kann entgeltlich oder unentgeltlich erfolgen.
Auch Einführer und Händler unterliegen nach dem AI Act spezifischen Verpflichtungen. Ein Einführer ist ein in der EU ansässiges Subjekt, das ein KI-System, das den Namen oder die Marke eines außerhalb der EU ansässigen Anbieters trägt, in der EU in Verkehr bringt. Dagegen ist ein Händler jedes andere Subjekt in der Lieferkette, das ein KI-System auf dem EU-Markt bereitstellt.
Schließlich erlegt der AI Act auch den Betreibern von KI-Systemen bestimmte Pflichten auf. Ein Betreiber ist ein Subjekt, das ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht-beruflichen Tätigkeit verwendet.
Regulierte KI-Systeme und die entsprechenden Verpflichtungen
Verbotene KI-Praktiken
Gemäß Art. 5 des AI Acts sollen bestimmte KI-basierte Praktiken in der EU insgesamt verboten werden. Auf der Liste der verbotenen KI-Praktiken finden sich Anwendungen, die nach Ansicht des EU-Gesetzgebers europäische Werte verletzen, etwa indem sie gegen Grundrechte verstoßen, und daher ein inakzeptables Risiko für betroffene Personen darstellen würden.
Dies gilt u. a. für folgende KI-Systeme:
- KI-Systeme zum Zweck des Social Scoring,
- KI-Systeme zum Zweck der kognitiven Verhaltensmanipulation,
- biometrische Echtzeit-Fernidentifizierungssysteme zu Strafverfolgungszwecken in öffentlich zugänglichen Räumen, wobei bestimmte Ausnahmen gelten, bspw. für die gezielte Suche nach bestimmten potenziellen Opfern von Straftaten,
- KI-Systeme, die Gesichtserkennungsdatenbanken durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen erstellen oder erweitern (das Verbot ist höchstwahrscheinlich eine Antwort auf die Praktiken von Clearview AI),
- KI-Systeme zur Erkennung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen.
Hochrisiko-KI-Systeme
Die meisten Bestimmungen des AI Acts befassen sich mit KI-Systemen, die ein hohes Risiko für die Gesundheit und Sicherheit oder die Grundrechte natürlicher Personen darstellen (sogenannte Hochrisiko-KI-Systeme). Diese werden wiederum in zwei Kategorien unterteilt.
Die erste Kategorie umfasst KI-Systeme, die als Sicherheitskomponenten von Produkten verwendet werden sollen oder selbst Produkte sind, die gemäß den in Anhang II der KI-Verordnung aufgeführten EU-Rechtsakten einer Konformitätsbewertung durch Dritte unterliegen. Dies betrifft etwa KI-Systeme, die als Sicherheitskomponenten in medizinischen Geräten, Aufzügen, bestimmten Fahrzeugen und Flugzeugen verwendet werden.
Die zweite Kategorie umfasst eigenständige KI-Systeme, die sich auf die Grundrechte auswirken. Die Liste solcher KI-Systeme ist in Anhang III der KI-Verordnung enthalten und umfasst zum Beispiel:
- KI-Systeme, die als Sicherheitskomponenten für die Verwaltung und den Betrieb bestimmter kritischer Infrastrukturen eingesetzt werden sollen,
- KI-Systeme, die bestimmungsgemäß für Entscheidungen über den Zugang oder die Zuweisung natürlicher Personen zu Einrichtungen der allgemeinen und beruflichen Bildung verwendet oder mit denen Schüler solcher Einrichtungen bewertet werden sollen,
- KI-Systeme im Beschäftigungskontext, die für die Personalbeschaffung (Bekanntmachung freier Stellen, Sichtung oder Filterung von Bewerbungen, Bewertung von Bewerbern), für Entscheidungen über Beförderungen und Kündigungen von Arbeitsvertragsverhältnissen, für die Aufgabenzuweisung und für die Überwachung und Bewertung der Leistung und des Verhaltens von Arbeitnehmern verwendet werden sollen,
- KI-Systeme, die bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Kreditpunktebewertung natürlicher Personen verwendet werden sollen, mit Ausnahme von KI-Systemen, die zur Aufdeckung von Finanzbetrug verwendet werden.
Abweichend davon werden die im Anhang III aufgeführten KI-Systeme nicht als Hochrisiko-Systeme eingestuft, wenn eine spezifische Ausnahme gilt (bspw., wenn das KI-System dazu bestimmt ist, eine eng gefasste Verfahrensaufgabe durchzuführen oder das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern). Diese Bewertung muss dokumentiert und das KI-System in der entsprechenden EU-Datenbank registriert werden.
Im Einklang mit dem risikobasierten Ansatz werden diese Hochrisiko-KI-Systeme auf dem europäischen Markt erlaubt, sofern sie bestimmte Anforderungen erfüllen und einer Ex-ante-Konformitätsbewertung unterzogen werden. Unter anderem müssen die Anbieter von Hochrisiko-KI-Systemen ein Qualitätsmanagementsystem, das die Einhaltung der KI-Verordnung gewährleisten soll, sowie ein Risikomanagementsystem einrichten, das den gesamten Lebenszyklus eines Hochrisiko-KI-Systems abdeckt. Darüber hinaus müssen sie gemäß der KI-Verordnung detaillierte technische Dokumentation über das KI-System erstellen.
Wenn zum Training des Modells Daten verwendet werden, müssen die Trainings-, Validierungs- und Testdatensätze den Anforderungen von Art. 10 der KI-Verordnung genügen.
Die KI-Verordnung enthält auch bestimmte technische Anforderungen an Hochrisiko-KI-Systeme. So müssen diese beispielsweise Vorgänge und Ereignisse protokollieren, um die Rückverfolgbarkeit der Funktionsweise des Systems zu gewährleisten. Hochrisiko-KI-Systeme sind so zu entwickeln, dass sie während ihres Einsatzes von natürlichen Personen wirksam überwacht werden können. Dazu gehört unter anderem die Bereitstellung einer „Stopp“-Taste oder eines ähnlichen Verfahrens, mit dem das KI-System sicher angehalten werden kann. Darüber hinaus müssen Hochrisiko-KI-Systeme so konzipiert und entwickelt werden, dass ihre Funktionsweise hinreichend transparent ist, so dass ihre Nutzer die Ergebnisse des Systems interpretieren und angemessen nutzen können.
Wenn der Anbieter nicht in der EU niedergelassen ist und sein KI-System direkt auf dem EU-Markt anbietet, ist er verpflichtet, einen Bevollmächtigten in der EU zu benennen.
Neben den Anbietern haben auch andere Subjekte bestimmte Verpflichtungen in Bezug auf Hochrisiko-KI-Systeme. Dies gilt zunächst für Hersteller von Produkten, die unter einige der in Anhang II der KI-Verordnung aufgeführten EU-Rechtsvorschriften fallen. Wenn sie unter ihrem eigenen Namen ein Produkt auf den EU-Markt bringen, in das ein Hochrisiko-KI-System integriert ist, müssen sie dieselben Verpflichtungen wie der Anbieter des KI-Systems erfüllen.
Einführer und Händler von Hochrisiko-AI-Systemen müssen insbesondere prüfen, ob der Anbieter alle im AI Act vorgeschriebenen Maßnahmen ergriffen hat. Haben sie Grund zur Annahme, dass das Hochrisiko-KI-System nicht der KI-Verordnung entspricht, müssen sie sicherstellen, dass vor dem Inverkehrbringen geeignete Korrekturmaßnahmen ergriffen wurden.
Darüber hinaus gilt jeder Händler, Einführer, Betreiber oder sonstiger Dritter als Anbieter im Sinne der KI-Verordnung, wenn er ein Hochrisiko-KI-System unter seinem eigenen Namen oder seiner eigenen Marke in Verkehr bringt oder in Betrieb nimmt, die Zweckbestimmung eines Hochrisiko-KI-Systems verändert oder eine wesentliche Änderung an dem Hochrisiko-KI-System vornimmt.
Die Betreiber müssen Hochrisiko-KI-Systeme in Übereinstimmung mit der mitgelieferten Gebrauchsanweisung verwenden, die Eingabedaten sorgfältig auswählen, den Betrieb des Hochrisiko-KI-Systems überwachen und Protokolle aufbewahren. Bestimmte Betreiber (insb. Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen) müssen außerdem vor der Inbetriebnahme mancher Hochrisiko-KI-Systeme eine Grundrechte-Folgenabschätzung durchführen, in der die Auswirkungen des KI-Systems in dem jeweiligen Nutzungskontext bewertet werden sollen.
Transparenzverpflichtungen für Systeme, die für die Interaktion mit Personen bestimmt sind
Der AI Act führt für bestimmte Systeme, die mit natürlichen Personen interagieren, Transparenzpflichten ein. Dies betrifft insbesondere vier Arten von Systemen:
- Anbieter sollen Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind, wie z.B. KI-basierte Chatbots, so konzipieren, dass diesen mitgeteilt wird, dass sie mit einem KI-System interagieren, es sei denn, dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich.
- Anbieter von KI-Systemen, einschließlich KI-Systemen mit allgemeinem Verwendungszweck, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, sollen sicherstellen, dass die Ergebnisse des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. Dies gilt nicht, wenn die KI-Systeme etwa nur eine unterstützende Funktion für die Standardbearbeitung ausführen oder die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern.
- Betreiber von Emotionserkennungssystemen oder Systemen zur biometrischen Kategorisierung müssen betroffene Personen über den Betrieb des Systems informieren.
- Betreiber von KI-Systemen, die sogenannte Deepfakes erstellen, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.
Erfüllt ein hier aufgeführtes System die Kriterien für ein Hochrisiko-KI-System, muss dieses zusätzlich zu den in diesem Abschnitt genannten Transparenzverpflichtungen auch die Anforderungen für Hochrisiko-KI-Systeme erfüllen.
KI-Modelle mit allgemeinem Verwendungszweck
Eines der umstrittensten Themen bei den Verhandlungen über den AI Act war die Regulierung von KI-Modellen mit allgemeinem Verwendungszweck, d.h. KI-Modellen, die für viele verschiedene Zwecke eingesetzt werden können.
KI-Modelle mit allgemeinem Verwendungszweck werden als KI-Modelle definiert, die eine erhebliche allgemeine Verwendbarkeit aufweisen, die in der Lage sind, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen und in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden können.
Während der ursprüngliche Vorschlag für die KI-Verordnung keine diesbezüglichen Vorschriften enthielt, bestand das Europäische Parlament in den Verhandlungen darauf, spezifische Bestimmungen für solche Systeme aufzunehmen. Dies ist wahrscheinlich eine Reaktion auf die plötzliche breite Verfügbarkeit und Popularität von KI-Modellen mit allgemeinem Verwendungszweck wie bspw. GPT-4, das in ChatGPT von Open AI enthalten ist.
Nach der finalen Fassung des AI Acts müssen alle solche Modelle bestimmten Anforderungen genügen. Für eine Untergruppe solcher Modelle, die systemische Risiken bergen, gelten zusätzliche Anforderungen.
Maßnahmen zur Innovationsförderung und zur Förderung von KI-Kompetenz
Der AI Act sieht bestimmte Maßnahmen vor, die Innovationen im KI-Bereich fördern sollen. Neben spezifischen Ausnahmen für Kleinstunternehmen sieht der Vorschlag auch die Einführung von KI-Reallaboren (regulatory sandboxes) vor, in denen Anbieter ihre KI-Systeme unter behördlicher Aufsicht testen können, bevor diese Systeme zum Einsatz kommen, sowie Tests unter realen Bedingungen.
Anbieter und Betreiber von KI-Systemen sind verpflichtet, geeignete Maßnahmen zu ergreifen, um sicherzustellen, dass ihr Personal über ein ausreichendes Maß an KI-Kompetenz verfügt. Dabei sind ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen. Wichtig ist, dass diese Verpflichtung für alle Anbieter und Betreiber von KI-Systemen gilt, d.h. auch dann, wenn ihre KI-Systeme gar nicht unter eine der in der KI-Verordnung geregelten Kategorien von KI-Systemen fallen.
KI-Aufsichtsbehörden
Dem AI Act zufolge soll jeder EU-Mitgliedstaat eine nationale Aufsichtsbehörde für die Überwachung der Anwendung und Umsetzung der KI-Verordnung benennen.
Alle nationalen Aufsichtsbehörden werden im Europäischen Ausschuss für künstliche Intelligenz vertreten, der als Koordinierungsplattform und Beratungsgremium für die Europäische Kommission fungieren soll.
Darüber hinaus wurde innerhalb der Europäischen Kommission ein Amt für künstliche Intelligenz (AI Office) eingerichtet, das mit der Überwachung der Durchsetzung bezüglich KI-Modellen mit allgemeinem Verwendungszweck betraut wird.
Sanktionen nach AI Act
Nach dem AI Act sollen bei Verstößen hohe Bußgelder möglich sein. Wie schon die Datenschutz-Grundverordnung (DSGVO) sieht KI-Verordnung eine Obergrenze für die Sanktionen vor, indem ein Betrag (in Millionen Euro) und ein Prozentsatz des gesamten weltweiten Jahresumsatzes des Unternehmens im vorangegangenen Geschäftsjahr festgelegt werden, wobei der höhere Betrag als Obergrenze für die Sanktionen gilt.
Die Bußgelder für Verstöße gegen die Regelungen bzgl. verbotener KI-Praktiken sind auf 35 Mio. Euro bzw. 7 % des gesamten weltweiten Jahresumsatzes des Unternehmens im vorangegangenen Geschäftsjahr begrenzt. Andere Verstöße werden mit bis zu 15 Mio. Euro oder 3 % des Umsatzes des Unternehmens sanktioniert. Bei einer Übermittlung falscher Informationen an die Behörden drohen Bußgelder von bis zu 7,5 Mio. Euro oder 1 % des Jahresumsatzes.
Ab wann sind die Regeln des AI Acts anwendbar?
Die KI-Verordnung wurde am 13. März 2024 durch das Europäische Parlament verabschiedet. Eine Verabschiedung durch den Europäischen Rat steht noch aus. Danach wird die Verordnung im Amtsblatt der EU veröffentlicht.
Die KI-Verordnung soll 20 Tage nach ihrer Veröffentlichung in Kraft treten und grundsätzlich zwei Jahre nach ihrem Inkrafttreten anwendbar sein. Einige Bestimmungen werden sogar schon früher anwendbar. So sollen Regelungen über verbotene Systeme schon nach sechs Monaten und die Verpflichtungen in Bezug auf KI mit allgemeinem Verwendungszweck nach einem Jahr anwendbar sein. Dagegen sollen Regelungen über die in Anhang II der KI-Verordnung aufgeführten Hochrisikosysteme erst nach drei Jahren anwendbar sein.
Da es sich dabei um eine Verordnung handelt, werden die darin enthaltenen Vorschriften in allen EU-Mitgliedstaaten unmittelbar anwendbar, eine Umsetzung in nationales Recht ist nicht erforderlich.
Was sollten Unternehmen jetzt tun?
Unternehmen sind gut beraten, sich so früh wie möglich mit den Regelungen der KI-Verordnung zu befassen.
Dies gilt insbesondere für Anbieter von Hochrisiko-KI-Systemen. Der AI Act verlangt von diesen nicht nur umfangreiche Governance-Strukturen und entsprechende Dokumentation. Die KI-Verordnung wird wahrscheinlich auch dazu führen, dass diese Anbieter ihre KI-Systeme anpassen müssen (bspw. um Protokollierung zu ermöglichen oder um einen „Stopp“-Button zu integrieren). Sobald das KI-System mit dem AI Act im Einklang steht, muss eine Konformitätsbewertung durchgeführt werden.
Unternehmen, die von anderen Unternehmen bereitgestellte KI-Systeme nutzen, sollten in einem ersten Schritt eine Bestandsaufnahme dieser Systeme vornehmen. Danach sollten sie ihre Rolle in diesem Zusammenhang und die entsprechenden Verpflichtungen bewerten.
Auch wenn zwei Jahre bis zum Beginn der Durchsetzung des AI Acts wie eine lange Zeitspanne erscheinen mögen, sind die Anforderungen der KI-Verordnung äußerst umfangreich. Die Erfahrungen mit der DSGVO zeigten, dass Unternehmen, die erst einige Monate vor der Anwendbarkeit der Vorschriften mit der Umsetzung beginnen, wahrscheinlich Schwierigkeiten haben werden, die Anforderungen rechtzeitig umzusetzen.
