Die KI-Verordnung – Welche Pflichten kommen auf Unternehmen zu?

Am 01. August 2024 ist in der Europäischen Union das weltweit erste umfassende KI-Gesetz in Kraft getreten. Damit setzt die EU das Ziel um, einen europaweit geltenden Rechtsrahmen für die Entwicklung und Nutzung von Künstlicher Intelligenz (KI) zu schaffen. Die Verordnung (EU) 2024/1689 (KI-Verordnung) reguliert KI-Systeme und KI-Modelle, je nach dem Risiko, das von ihnen ausgeht, und betrifft insbesondere Anbieter und Betreiber solcher Technologien. In diesem Beitrag geben wir Ihnen einen Überblick über die wesentlichen Vorschriften der KI-VO.

Was regelt die KI-VO?

Die KI-VO fügt sich in die Gesetzgebung der Europäischen Union zur Umsetzung der Europäischen Digitalstrategie ein. Dies ist der erste harmonisierende Rechtsrahmen für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen in der Europäischen Union. Ähnlich wie die Datenschutz-Grundverordnung (DSGVO) gilt die KI-VO unmittelbar in den jeweiligen Mitgliedstaaten. Gleichwohl müssen einzelne Vorschriften, wie solche zur Durchsetzung und Sanktionen, von den Mitgliedstaaten konkretisiert werden.

Die KI-VO ist, anders als die DSGVO, produktbezogenes Recht und enthält Vorschriften für die Marktbeobachtung sowie die Governance und Durchführung der Marktüberwachung. Dabei nimmt die KI-VO die KI-Wertschöpfungskette in den Blick. Das Feld der adressierten Akteure ist daher weit und umfasst neben den Anbietern und Betreibern auch Bevollmächtigte, Produkthersteller, Einführer und Händler von KI-Systemen.

Die KI-VO verfolgt einen risikobasierten Ansatz. Je höher das Risiko für die Gesellschaft oder den Einzelnen, welches von einem KI-System ausgeht, desto höher ist der Grad der Regulierung. Verpflichtet werden insbesondere Anbieter und Betreiber von KI-Systemen. Nutzer müssen keine Pflichten erfüllen.

Regelungen von KI-Systemen, abhängig vom Risikograd

Die KI-VO reguliert in erster Linie sogenannte KI-Systeme. Die KI-VO versteht unter diesem Begriff:

„ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“.

Ein wesentliches Merkmal von KI-Systemen ist – in Abgrenzung zu rein regelbasierten Systemen – die Fähigkeit, Ableitungen zu treffen. Dies bezieht sich zum einen auf das „Lernen“ von KI-Systemen. Zu „lernen“ ist die Fähigkeit von KI‑Systemen, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten. Zum anderen bezieht es sich auf den Prozess der Erzeugung von Ausgaben wie etwa Inhalten, Vorhersagen, Empfehlungen oder Entscheidungen.

Ein KI-System im Sinne der KI-VO besteht aus mehreren Komponenten. Dabei stellen KI-Modelle, wie etwa Large Language Models (LLMs), nur eine dieser Komponenten dar und sind daher nicht mit dem KI-System gleichzusetzen.

Der Umfang der Regulierung richtet sich nach dem Risiko, welches von dem KI-System ausgeht.

Verbotene KI-Systeme

KI-Systeme mit inakzeptablen Risiken sind verboten. Hierzu zählen unter anderem KI-Systeme, die Menschen auf der Grundlage ihres Verhaltens, sozialökonomischen Status und persönlicher Merkmale klassifizieren (sogenanntes Social Scoring). Auch biometrische Echtzeit-Fernidentifizierungssysteme (z.B. Gesichtserkennung) sind im Strafverfolgungskontext nicht erlaubt, wobei die Verordnung vereinzelt Ausnahmen vorsieht.

Hochrisiko-KI-Systeme

Die meisten Regelungen betreffen KI-Systeme, die ein hohes Risiko für die Gesundheit, Sicherheit und die Grundrechte natürlicher Personen darstellen. Die Verordnung unterteilt solche Hochrisiko-KI-Systeme in zwei Kategorien:

1. KI-Systeme, die ein Produkt oder ein Sicherheitsbauteil eines Produkts sind (z.B. Spielzeug, autonome Roboter) nach Anhang I der KI-VO.
2. KI-Systeme in spezifischen Bereichen, die von der EU-Kommission in Anhang III der KI-VO als hochriskant eingestuft wurden. Dies umfasst die biometrische Fernidentifizierung, Verwaltung und Betrieb kritischer Infrastrukturen, allgemeine und berufliche Bildung, Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit, Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen, die Strafverfolgung, Migration, Asyl und Grenzkontrolle sowie die Rechtspflege und demokratische Prozesse.

Hochrisiko-KI-Systeme müssen in einer EU-Datenbank registriert werden und ein Konformitätsbewertungsverfahren durchlaufen. Anbieter müssen ein Risiko- und Qualitätsmanagementsystem einrichten, technische Dokumentation erstellen, die KI-Ergebnisse in Protokollen automatisch aufzeichnen sowie eine Betriebsanleitung für Betreiber zur Verfügung stellen. Es muss eine menschliche Aufsicht gewährleistet sein, inklusive einer „Stopptaste“ zur Unterbrechung des KI-Systems. Zudem müssen technische Lösungen zur Cybersicherheit implementiert werden.

Ausnahmen bestehen für KI-Systeme, die kein Profiling natürlicher Personen im Sinne von Artikel 4 Nummer 4 DSGVO vornehmen und beispielsweise lediglich eine eng gefasste Verfahrensaufgabe durchführen.

Für Hochrisiko-KI-Systeme, welche vor dem 02. August 2026 in Verkehr gebracht oder in Betrieb genommen wurden, hat der Gesetzgeber in Art. 111 Abs. 2 KI-VO eine Ausnahme von den genannten Anforderungen und Pflichten vorgesehen. Sofern diese Systeme in ihrer Konzeption nicht erheblich verändert wurden, müssen die für Anbieter und Betreiber geltenden Pflichten nicht erfüllt werden. Diese Bestandsschutz-Ausnahme gilt jedoch für Hochrisiko-KI-Systeme, die bestimmungsgemäß von Behörden verwendet werden sollen, nur zeitlich beschränkt bis zum 02. August 2030.

Transparenzpflichten für KI-Systeme

Anbieter und Betreiber von bestimmten KI-Systemen müssen unabhängig vom Risiko Transparenzpflichten erfüllen. Nutzer müssen stets erkennen können, dass sie mit einem KI-System interagieren. Ergebnisse, die durch KI generiert wurden, müssen entsprechend gekennzeichnet werden (z.B. durch ein Wasserzeichen). Werden synthetische Ton-, Bild- oder Videoaufnahmen mit der KI erzeugt (sogenannte Deepfakes), muss dies offengelegt werden​.

KI-Modelle mit allgemeinem Verwendungszweck

Die KI-VO umfasst auch sogenannte General Purpose AI, die in der KI-VO als KI-Modelle mit allgemeinem Verwendungszweck bezeichnet werden. Diese Modelle, wie das Sprachmodell von ChatGPT, werden mit großen Datenmengen trainiert und können für verschiedene Aufgaben eingesetzt werden, was besondere Risiken für die Rechte und Freiheiten der EU-Bürger:innen birgt. Zur Eindämmung dieser Risiken, müssen Anbieter solcher KI-Modelle mit allgemeinem Verwendungszweck spezifische Transparenz- und Meldepflichten erfüllen.

Alle aktuellen Entwicklungen zur KI-Verordnung haben Sie mit unserem Newsletter im Blick.

Wer muss die Pflichten erfüllen?

Die KI-VO betrifft eine Reihe von Akteuren. Die umfangreichsten Pflichten treffen Anbieter und Betreiber, vereinzelt aber auch Produkthersteller, Bevollmächtigte, Einführer und Händler von KI-Systemen.

Anbieter müssen insbesondere die genannten Anforderungen für Hochrisiko-KI-Systeme sicherstellen. Als Anbieter gilt dabei nicht nur, wer das KI-System entwickelt, und auf den Markt bringt, sondern auch wer es unter eigenem Namen in den Verkehr bringt (Art. 4 Nr. 3 KI-VO).

Für die Betreibereigenschaft reicht es gem. Art. 3 Nr. 4 KI-VO aus, ein KI-System in eigener Verantwortung zu verwenden. Unternehmen, die KI-Systeme verwenden, z.B. wenn sie ihren Beschäftigten erlauben, frei verfügbare KI-Systeme wie ChatGPT einzusetzen, müssen deshalb Organisations- und Transparenzpflichten erfüllen.

Wichtig ist, dass die Veränderung der Zweckbestimmung des KI-Systems dazu führen kann, dass ein KI-System mit ursprünglich geringem Risiko hochriskant wird. Dann werden Unternehmen zu Anbietern von Hochrisiko-KI-Systemen und müssen zusätzlich, die für Anbieter geltenden Pflichten erfüllen (Art. 25 Abs. 1 Buchst. c KI-VO). Unternehmen sind daher gut beraten, die Zwecke des KI-Systems im Unternehmen vorab festzulegen, um die weitreichenden Pflichten der Anbieter von Hochrisiko-KI-Systemen zu vermeiden.

KI-Kompetenz

Neben den beschriebenen Pflichten müssen Anbieter und Betreiber über ein ausreichendes Maß an KI-Kompetenz verfügen, um die Einhaltung der Pflichten sicherzustellen. Dabei sind Unternehmen in der Wahl grundsätzlich frei, wie sie diese KI-Kompetenz nachweisen. Beispielsweise sollten Beschäftigte sensibilisiert werden und interne Nutzungsregeln sicherstellen, dass das KI-System gemäß seiner Zweckbestimmung verwendet wird.

Welche Bußgelder drohen bei einem Verstoß?

Die KI-VO stellt Unternehmen vor hohe Herausforderungen. Wenn die Umsetzung nicht ordnungsgemäß erfolgt, drohen hohe Bußgelder. Je nach Art des Verstoßes können Sanktionen von bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes verhängt werden. Die Umsetzung dieser Vorgaben durch den deutschen Gesetzgebenden muss bis zum 2. August 2025 erfolgen. Das Bundesministerium für Wirtschaft und Klimaschutz hat bekanntgegeben, dass die Bundesnetzagentur als zentrale Stelle für die Überwachung und Durchsetzung der KI-Verordnung zuständig sein soll. Zusätzlich sollen in spezifischen, von der KI-Verordnung adressierten Bereichen die Fachbehörden weiterhin zuständig bleiben (z.B. im Finanzsektor die BaFin).

Gibt es eine Priviligierung für kleine Unternehmen und Start-ups?

Eine begrenzte Privilegierung gibt es für kleine und mittlere Unternehmen (KMU) sowie Start-ups. Mitgliedstaaten müssen zur Innovationsförderung sogenannte KI-Reallabore einrichten, zu denen KMU und Start-ups vorrangig Zugang haben sollen. Im KI-Reallabor darf für einen begrenzten Zeitraum, vor dem Inverkehrbringen, das KI-System in einer kontrollierten Umgebung unter realen Bedingungen getestet werden.

Wann müssen die Pflichten umgesetzt sein?

Manche Vorschriften gelten schon eher bzw. später: Ab dem 02. Februar 2025 gelten die allgemeinen Bestimmungen (insbesondere zur KI-Kompetenz) und zu verbotenen KI-Systemen. Ab dem 02. August 2025 gelten die Vorschriften zu den notifizierenden Behörden und Stellen, zu anwendungsbezogenen Hochrisiko-KI-Systemen nach Anhang III, zu KI-Modellen mit allgemeinem Verwendungszweck, zur Governance sowie zu den Sanktionen. Die Vorschriften für produktbezogene Hochrisiko-KI-Systemen nach Anhang I und die dazugehörigen umfangreichen Pflichten gelten erst ab dem 02. August 2027.

DSGVO-Pflichten

Ungeachtet dessen sind beim Einsatz von KI-Systemen im Unternehmen die Verpflichtungen der DSGVO zu beachten. Die Datenschutzkonferenz hat insofern eine, aus unserer Sicht, gelungene Orientierungshilfe veröffentlicht. Die darin beschriebenen Maßnahmen sollten zum datenschutzkonformen Einsatz von KI-Systemen bereits heute implementiert werden.

Sie brauchen rechtliche Unterstützung beim Einsatz von KI-Systemen in Ihrem Unternehmen? Melden Sie sich gerne hier.

Fazit

Die KI-VO markiert einen bedeutenden Schritt in der Regulierung von Künstlicher Intelligenz in Europa. Mit einem risikobasierten Ansatz werden klare Regeln für den Umgang mit KI-Systemen aufgestellt. Die Einhaltung von Transparenzanforderungen ist bei allen KI-Systemen essenziell. Unternehmen, die Hochrisiko-KI-Systeme entwickeln, vertreiben oder in eigener Verantwortung verwenden, müssen die umfassenden Pflichten zwar frühestens in zwei Jahren erfüllen. Sie sind jedoch gut beraten, sich bereits jetzt mit den neuen Anforderungen vertraut zu machen und entsprechende Maßnahmen zur Umsetzung einzuleiten​.

Eine sorgfältige Vorbereitung und kontinuierliche Überwachung sind entscheidend, um rechtliche Risiken zu meistern und die Vorteile der KI-Technologie sicher und verantwortungsvoll zu nutzen.