Mit der KI-Verordnung (auch bekannt als AI Act) der EU müssen Betreiber sogenannter Hochrisiko-KI-Systeme eine Grundrechte-Folgenabschätzung durchführen. Wir erklären, was es damit auf sich hat und wie die Grundrechte-Folgenabschätzung zu einem verantwortungsvollen KI-Einsatz führen soll.
Was ist die Grundrechte-Folgenabschätzung?
Die Grundrechte-Folgenabschätzung ist in Art. 27 der KI-Verordnung geregelt. Sie verfolgt einen präventiven und risikobasierten Ansatz. Ziel ist es, mögliche Beeinträchtigungen der Grundrechte natürlicher Personen durch den Einsatz von Hochrisiko-KI-Systemen bereits vor deren Inbetriebnahme zu erkennen und zu bewerten.
Auf dieser Grundlage sind geeignete technische und organisatorische Maßnahmen – etwa der Ausschluss besonders sensibler Daten oder die Einbindung menschlicher Aufsicht – zu ergreifen, um die Risiken auf ein angemessenes Niveau zu begrenzen.
Wer ist zur Grundrechte-Folgenabschätzung verpflichtet?
Die Durchführung einer solchen Folgenabschätzung nach Art. 27 KI-Verordnung richtet sich zunächst speziell an die Betreiber der KI-Systeme, also die Nutzer dieser Systeme. Grund hierfür ist, dass erst im konkreten Einzelfall die individuellen Grundrechterisiken der Betroffenen erkennbar und erst dann vollständig in eine Abwägung einbezogen werden können.
In den sachlichen Anwendungsbereich dieser Normen fallen grundsätzlich Hochrisiko-KI-Systeme gemäß Art. 6 Abs. 2 KI-Verordnung. Ausgenommen sind nur diese, die in Anhang III Nr. 2 der Verordnung aufgelistet werden. Hierzu gehören Hochrisiko-Systeme, die im Bereich der kritischen Infrastruktur verwendet werden. Der Gesetzgeber ist hier wohl der Meinung, dass die Gefahr nicht in einem möglichen Eingriff in Grundrechte liegt.
Einschränkend kommt hinzu, dass die Verpflichtung sich auf spezifische Betreibergruppen beschränkt: Hierzu gehören zunächst Einrichtungen des öffentlichen Rechts, zum Beispiel öffentliche Institutionen und Behörden. Auch private Einrichtungen, die öffentliche Dienste erbringen – wie zum Beispiel Gesundheitsdienstleister – werden von der Pflicht erfasst. Betreiber im Versicherungs- und Finanzsektor (gem. Anhang III Nr. 5 lit. b, c) werden ebenso verpflichtet.
Die Verpflichtung zur Durchführung einer Grundrechte-Folgenabschätzung ergibt sich also aus dem Zusammenspiel von drei Faktoren. Wenn diese kumulativ erfüllt sind, dann ist eine Folgenabschätzung im konkreten Fall notwendig:
- Es handelt sich um die Inbetriebnahme eines Hochrisiko-KI-Systems gem. Art. 6 II KI-Verordnung.
- Das KI-System wird nicht in einem unter Anhang III Nr. 2 KI-Verordnung fallenden Bereich verwendet.
- Der spezifische Betreiber des Hochrisiko-Systems fällt unter Art. 27 Abs. 1 KI-Verordnung.
Ablauf der Grundrechte-Folgenabschätzung
Zeitpunkt der Prüfung
Die Folgenabschätzung ist grundsätzlich jeweils vor der Inbetriebnahme des Hochrisiko-KI-Systems durchzuführen.
Jedoch erlaubt Art. 27 KI-Verordnung, dass Betreiber sich in ähnlichen Fällen auf zuvor durchgeführte Grundrechte-Folgenabschätzung oder bereits vorhandene Folgenabschätzungen, die vom Anbieter durchgeführt wurden, stützen. Es ist aber immer dann eine Aktualisierung der Prüfung geboten, wenn sich Elemente, die in die Prüfung einbezogen werden müssen, geändert haben oder nicht mehr auf dem neuesten Stand sind.
Durchführung der Prüfung
Die zwingenden Prüfungspunkte für die Folgenabschätzung ergeben sich aus Art. 27 Abs. 1 KI-Verdordnung.
- Hiernach hat zunächst eine Verfahrensbeschreibung des Betreibers des KI-Systems zu erfolgen. Diese Beschreibung soll darüber aufklären, wie das System im Einklang mit seiner Zweckbestimmung verwendet wird, also eine Beschreibung, wie und für welchen Zweck das KI-System im Betrieb eingesetzt wird.
- Auch ist der Nutzungszeitraum einschließlich der Häufigkeit der Verwendung des Hoch-Risiko-Systems anzugeben. Von dieser Einschätzung kann beispielsweise die Einstufung der Intensität von Grundrechtseingriffen abhängen.
- Zudem sind die Kategorien von Personen und Personengruppen aufzulisten, die von der Verwendung des KI-Systems insbesondere betroffen sein könnten.
- Daneben sind die spezifischen Schadensrisiken, die sich auf die typischerweise betroffenen Personengruppen auswirken können, zu erörtern. Hierbei sind die vom Anbieter gemäß 13 KI-Verordnung bereitgestellten Informationen zu berücksichtigen.
- Des Weiteren hat eine Beschreibung der Umsetzung der menschlichen Aufsicht entsprechend den Betriebsanleitungen zu erfolgen. Diese Anforderung rührt aus dem Konzept der KI-Verordnung, dass stets eine qualifizierte menschliche Überprüfung der KI-Systeme stattzufinden hat.
- Zuletzt müssen Betreiber der Systeme die Maßnahmen angeben, die im Falle des Eintretens dieser Risiken zu ergreifen sind, inklusive der Regelungen für interne Unternehmensführung und Beschwerdemechanismen.
Nach erfolgter Durchführung der Folgenabschätzung haben die Betreiber der Systeme die Ergebnisse der zuständigen Marktüberwachungsbehörde mitzuteilen, wenn nicht ausnahmeweise eine Befreiung gem. Art. 46 I KI-Verordnung vorliegt. Für die Meldepflicht ist die Verwendung eines standardisierten Formulars vorgesehen. Das European AI Office erarbeitet hierfür ein Muster für einen Fragebogen, um die Betreiber in ihren Pflichten aus Art. 27 KI-Verordnung zu unterstützen und ihnen eine effiziente Durchführung der Folgenabschätzung zu ermöglichen. Bei dem European AI Office handelt es sich um eine Einrichtung der Europäischen Kommission. In ihren Aufgabenbereich fällt die Regulierung und Überwachung von KI-Systemen in der EU, insbesondere die Kontrolle und Durchsetzung von Anforderungen der KI-Verordnung.
Verhältnis zur Datenschutzfolgenabschätzung
Das Verhältnis von Grundrechte-Folgenabschätzung und Datenschutz-Folgenabschätzung (DSFA) aus Art. 35 DSGVO ist zudem von Relevanz, da im Rahmen des Betriebs von Hochrisiko-KI-Systemen zwangsläufig des Öfteren auch personenbezogene Daten verarbeitet werden. Diese Verarbeitungen unterliegen dann zudem den Anforderungen aus der Datenschutz-Grundverordnung (DSGVO).
Das Verhältnis beider Folgenabschätzungen wird durch Art. 27 Abs. 4 KI-Verordnung geregelt. Hiernach können die Anforderungen des Art 27 KI-Verordnung durch eine DSFA zwar nicht komplett erfüllt werden, sie kann aber teilweise Pflichten aus diesem Artikel abdecken. In diesem Fall ist die Grundrechte-Folgenabschätzung um die darüber hinausgehenden, grundrechtsspezifischen Aspekte zu ergänzen.
Eine DSFA bleibt somit erforderlich, wenn personenbezogene Daten verarbeitet werden und eine Grundrechte-Folgenabschätzung ist zusätzlich verpflichtend für Hochrisiko-KI-Systeme. Beide Instrumente können sich überschneiden, entbinden aber nicht voneinander.
Fazit
Im Kern macht die Grundrechte-Folgenabschätzung deutlich: Verantwortungsvolle KI-Nutzung bedeutet vor allem, die Wahrung der Grundrechte konsequent sicherzustellen.
Obwohl Art. 27 KI-Verordnung erst ab dem August 2026 greift, sollten Betreiber von Hochrisiko—KI-Systemen schon jetzt aktiv werden, um ihre internen Prozesse, Zuständigkeiten und Dokumentationsstrukturen anzupassen. Denn wer frühzeitig organisatorisch vorarbeitet, vermeidet Umsetzungsdruck und schafft die Grundlage für einen reibungslosen Übergang in die neuen rechtlichen Anforderungen.
