Die KI-Verordnung – Welche Pflichten kommen auf Unternehmen zu?

Am 01. August 2024 ist in der Europäischen Union das weltweit erste umfassende KI-Gesetz In Kraft getreten. Damit setzt die EU das Ziel um, einen europaweit geltenden Rechtsrahmen für die Entwicklung und Nutzung von Künstlicher Intelligenz (KI) zu schaffen. Die Verordnung (EU) 2024/1689 (KI-Verordnung) reguliert KI-Systeme je nach dem Risiko, das von ihnen ausgeht, und betrifft insbesondere Anbieter und Betreiber solcher KI-Systeme. In diesem Beitrag geben wir Ihnen einen Überblick über die wesentlichen Vorschriften der KI-VO.

Was regelt die KI-VO?

Die KI-VO fügt sich in die Gesetzgebung der Europäischen Union zur Umsetzung der Europäischen Digitalstrategie ein. Dies ist der erste harmonisierende Rechtsrahmen für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen in der Europäischen Union. Ähnlich wie die Datenschutz-Grundverordnung (DSGVO) gilt die KI-VO unmittelbar in den jeweiligen Mitgliedstaaten. Gleichwohl müssen einzelne Vorschriften, wie solche zur Durchsetzung und Sanktionen von den Mitgliedstaaten konkretisiert werden.

Die KI-VO ist anders als die DSGVO produktbezogenes Recht und enthält Vorschriften für die Marktbeobachtung sowie die Governance und Durchführung der Marktüberwachung. Dabei nimmt die KI-VO KI-Wertschöpfungskette in den Blick. Das Feld der adressierten Akteure ist daher weit und umfasst neben den Betreibenden auch Anbietende, Produktherstellende, Einführende und Handelnde von KI-Systemen.

Die KI-VO verfolgt einen risikobasierten Ansatz. Je höher das Risiko für die Gesellschaft oder den Einzelnen, welches von dem KI-System ausgeht, desto höher ist der Grad der Regulierung. Verpflichtet werden insbesondere Anbietende und Betreibende von KI-Systemen. Nutzende müssen keine Pflichten erfüllen.

Regelungen von KI-Systemen, abhängig vom Risikograd

Die KI-VO reguliert in erster Linie sog. KI-Systeme. Die KI-VO versteht unter diesem Begriff

„ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“.

Ein wesentliches Merkmal von KI-Systemen ist die Fähigkeit, Ableitungen zu treffen. Dies bezieht sich zum einen auf das „Lernen“ von KI-Systemen. Zu „lernen“ ist die Fähigkeit von KI‑Systemen, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten und zum anderen auf den Prozess der Erzeugung von Ausgaben, wie etwa Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen.

Ein KI-System im Sinne der KI-VO besteht aus mehreren Komponenten. Dabei stellen KI-Modell wie etwa Large Language Models (LLMs) nur eine dieser Komponenten dar und sind daher nicht mit dem KI-System gleichzusetzen.

Der Umfang der Regulierung richtet sich nach dem Risiko, welches von dem KI-System ausgeht.

Verbotene KI-Systeme

KI-Systeme mit inakzeptablen Risiken sind verboten. Hierzu zählen unter anderem KI-Systeme, die Menschen auf der Grundlage ihres Verhaltens, sozialökonomischen Status und persönlichen Merkmalen klassifizieren (sogenanntes Social Scoring). Auch biometrische Echtzeit-Fernidentifizierungssysteme (z.B. Gesichtserkennung) sind im Strafverfolgungskontext nicht erlaubt, wobei die Verordnung vereinzelt Ausnahmen vorsieht.

Hochrisiko-KI-Systeme

Die meisten Regelungen betreffen KI-Systeme, die ein hohes Risiko für die Gesundheit, Sicherheit und Grundrechte natürlicher Personen darstellen. Die Verordnung unterteilt solche Hochrisiko-KI-Systeme in zwei Kategorien:

1. KI-Systeme, die ein Produkt oder ein Sicherheitsbauteil eines Produkts sind (z.B. Spielzeug, autonome Roboter).
2. KI-Systeme in spezifischen Bereichen, die von der EU-Kommission in Anhang III der Verordnung als hochriskant eingestuft wurden. Dies umfasst die biometrische Fernidentifizierung, Verwaltung und Betrieb kritischer Infrastruktur, allgemeine und berufliche Bildung, Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit, Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen, die Strafverfolgung, Migration, Asyl und Grenzkontrolle sowie die Rechtspflege und demokratische Prozesse.

Hochrisiko-KI-Systeme müssen in einer EU-Datenbank registriert werden und ein Konformitätsbewertungsverfahren durchlaufen. Anbieter müssen ein Risiko- und Qualitätsmanagementsystem einrichten, technische Dokumentation erstellen, die KI-Ergebnisse in Protokollen automatisch aufzeichnen sowie eine Betriebsanleitung für Betreibende zur Verfügung stellen. Es muss eine menschliche Aufsicht gewährleistet sein, inklusive einer „Stopptaste“ zur Unterbrechung des KI-Systems. Zudem müssen technische Lösungen zur Cybersicherheit implementiert werden.

Ausnahmen hiervon bestehen für KI-Systeme, die kein Profiling natürlicher Personen im Sinne von Artikel 4 Nummer 4 DSGVO vornehmen und beispielsweise lediglich eine eng gefasste Verfahrensaufgabe durchführen.

Transparenzpflichten für KI-Systeme

Anbietende und Betreibende von bestimmten KI-Systemen müssen unabhängig vom Risiko Transparenzpflichten erfüllen. Nutzende müssen stets erkennen können, dass sie mit einem KI-System interagieren. Ergebnisse, die durch KI generiert wurden, müssen entsprechend gekennzeichnet werden (z.B. durch ein Wasserzeichen). Werden synthetische Ton-, Bild- oder Videoaufnahmen mit der KI erzeugt (sogenannte Deepfakes) muss dies offengelegt werden.

KI-Modelle mit allgemeinem Verwendungszweck

Die KI-VO umfasst auch sogenannte General Purpose AI, die in der KI-VO als KI-Modelle mit allgemeinem Verwendungszweck bezeichnet werden. Diese Modelle, wie das auf GPT4 basierende Sprachmodell ChatGPT, werden mit großen Datenmengen trainiert und können für verschiedene Aufgaben eingesetzt werden, was besondere Risiken für die Rechte und Freiheiten der EU-Bürger:innen birgt. Zur Eindämmung dieser Risiken, müssen Anbietende solcher KI-Modelle mit allgemeinem Verwendungszweck spezifische Transparenz- und Meldepflichten erfüllen.

Alle aktuellen Entwicklungen zur KI-Verordnung haben Sie mit unserem Newsletter im Blick.

Wer muss die Pflichten erfüllen?

Die KI-VO betrifft eine Reihe von Akteuren. Die umfangreichsten Pflichten treffen Anbietende und Betreibende, vereinzelt aber auch Produktherstellende, Bevollmächtigte, Einführende und Handelnde von KI-Systemen.

Anbietende müssen insbesondere die genannten Anforderungen für Hochrisiko-KI-Systeme sicherstellen. Als Anbietender gilt dabei nicht nur, wer das KI-System entwickelt, und auf den Markt bringt, sondern auch wer es unter eigenem Namen in den Verkehr bringt (Art. 4 Nr. 3 KI-VO).

Für die Betreibereigenschaft reicht es gem. Art. 3 Nr. 4 KI-VO aus, ein KI-System in eigener Verantwortung zu verwenden. Unternehmen, die KI-Systeme verwenden, z.B. wenn sie ihren Beschäftigten erlauben frei verfügbare KI-Systeme wie ChatGPT einzusetzen, müssen deshalb Organisations- und Transparenzpflichten erfüllen.  

Wichtig ist, dass die Veränderung der Zweckbestimmung des KI-Systems dazu führen kann, dass ein KI-System mit ursprünglich geringem Risiko hochriskant wird. Dann werden Unternehmen zu Anbietenden von Hochrisiko-KI-Systemen und müssen zusätzlich, die für Anbietende geltenden Pflichten erfüllen (Art. 25 Abs. 1 Buchst. c KI-VO). Unternehmen sind daher gut beraten, die Zwecke des KI-Systems im Unternehmen vorab festzulegen, um die weitreichenden Pflichten der Anbietenden von Hochrisiko-KI-Systemen zu vermeiden.

KI-Kompetenz

Neben den beschriebenen Pflichten müssen Anbietende und Betreibende über ein ausreichendes Maß an KI-Kompetenz verfügen, um die Einhaltung der Pflichten sicherzustellen. Dabei sind Unternehmen in der Wahl grundsätzlich frei, wie sie diese KI-Kompetenz nachweisen. Beispielsweise sollten Beschäftigte sensibilisiert werden und interne Nutzungsregeln sicherstellen, dass das KI-System gemäß seiner Zweckbestimmung verwendet wird.

Welche Bußgelder drohen bei einem Verstoß?

Die KI-VO stellt Unternehmen vor hohe Herausforderungen. Wenn die Umsetzung nicht ordnungsgemäß erfolgt, drohen hohe Bußgelder. Je nach Art des Verstoßes können Sanktionen von bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes drohen. Zur Umsetzung dieser Vorgaben muss der deutsche Gesetzgebende allerdings noch tätig werden. Aktuell gibt es noch keine Marktüberwachungsbehörde in Deutschland. Die Datenschutzbehörden haben sich allerdings schon positioniert und sehen sich in der Zuständigkeit.

Gibt es eine Priviligierung für kleine Unternehmen und Start-ups?

Eine begrenzte Privilegierung gibt es für kleine und mittlere Unternehmen (KMU) sowie Start-ups. Mitgliedstaaten müssen zur Innovationsförderung sogenannte KI-Reallabore einrichten, zu denen KMU und Start-ups vorrangig Zugang haben sollen. Im KI-Reallabor darf für einen begrenzten Zeitraum, vor dem Inverkehrbringen, das KI-System in kontrollierter Umgebung unter realen Bedingungen getestet werden.

Wann müssen die Pflichten umgesetzt sein?

Die KI-VO gilt in Gänze ab dem 2. August 2026. Manche Vorschriften gelten schon eher bzw. später: Ab dem 2. Februar 2025 gelten die Allgemeinen Bestimmungen (insbesondere zur KI-Kompetenz) und zu verbotenen KI-Systemen. Ab dem 2. August 2025 gelten die Vorschriften zu den notifizierenden Behörden und Stellen, zu KI-Modellen mit allgemeinem Verwendungszweck, zur Governance sowie zu den Sanktionen. Die Vorschriften zur Einstufung von Hochrisiko-KI-Systemen und die dazugehörigen umfangreichen Pflichten gelten erst ab dem 2. August 2027.

DSGVO-Pflichten

Ungeachtet dessen sind beim Einsatz von KI-Systemen im Unternehmen die Verpflichtungen der DSGVO zu beachten. Die Datenschutzkonferenz hat insofern eine aus unserer Sicht gelungene Orientierungshilfe veröffentlicht. Die darin beschriebenen Maßnahmen sollten zum datenschutzkonformen Einsatz von KI-Systemen bereits heute implementiert werden.

Sie brauchen rechtliche Unterstützung beim Einsatz von KI-Systemen in Ihrem Unternehmen? Melden Sie sich gerne hier.

Fazit

Die KI-VO markiert einen bedeutenden Schritt in der Regulierung von Künstlicher Intelligenz in Europa. Mit einem risikobasierten Ansatz werden klare Regeln für den Umgang mit KI-Systemen aufgestellt. Die Einhaltung von Transparenzanforderungen ist bei allen KI-Systemen essentiell. Unternehmen, die Hochrisiko-KI-Systeme entwickeln, vertreiben oder in eigener Verantwortung verwenden, müssen die umfassenden Pflichten zwar erst in drei Jahren erfüllen. Sie sind gut beraten, sich bereits jetzt mit den neuen Anforderungen vertraut zu machen und entsprechende Maßnahmen zur Umsetzung einzuleiten.

Eine sorgfältige Vorbereitung und kontinuierliche Überwachung sind entscheidend, um rechtliche Risiken zu meistern und die Vorteile der KI-Technologie sicher und verantwortungsvoll zu nutzen.