KI-Verordnung im Überblick

Überblick über die KI-Verordnung

Die Verordnung definiert KI-Systeme als maschinengestützte Systeme, die autonom operieren, anpassungsfähig sind und aus Eingaben Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen ableiten, die Auswirkungen auf die Umwelt und die Gesellschaft haben können. Diese Definition umfasst eine breite Palette von Anwendungen, von einfachen Algorithmen bis hin zu komplexen, selbstlernenden Systemen.

Anwendungsbereich und Betroffene

Der Anwendungsbereich der KI-Verordnung ist weit gefasst und betrifft sowohl private Organisationen als auch Behörden. Eine Einschränkung betrifft die rein private Nutzung von KI durch Einzelpersonen. Für sie gilt die Verordnung nicht. Die Verordnung richtet sich an eine Vielzahl von Akteuren, darunter Anbieter, Betreiber, Einführer, Händler und Produkthersteller von KI-Systemen wie auch die von KI betroffenen Personen. Betreiber im Sinne der KI-VO ist jeder, der ein KI-System in eigener Verantwortung nutzt. Die Anforderungen und Pflichten der KI-VO, die sich an Betreiber richten, gelten damit für jedes Unternehmen, das Tools oder Software nutzen möchte, die KI im Sinne von Art. 3 Abs. 1 KI-VO enthalten.

Zentrale Regelungen

Die KI-Verordnung enthält eine Risikoklassifizierung für KI-Systeme, die in drei Hauptkategorien unterteilt ist: niedriges Risiko, hohes Risiko und unannehmbares Risiko. Grundsätzlich gilt: Je höher das Risiko eines KI-Systems, desto höher sind die damit verbundenen Anforderungen und Pflichten, die sich aus der KI-Verordnung ergeben.

Verbotene KI-Systeme

Bestimmte KI-Systeme, die als besonders gefährlich erachtet werden und denen damit ein unannehmbares Risiko immanent ist, sind vollständig verboten. Dazu zählen beispielsweise Social Scoring durch private Unternehmen und die Echtzeit-Fernidentifizierung in öffentlichen Räumen.

Hochrisiko-KI-Systeme

Im Hinblick auf Hochrisiko-KI-Systeme differenziert die KI-Verordnung zwischen produktsicherheits- und einsatzfeldbezogenen Hochrisiko-KI-Systemen.

Produktsicherheitsbezogene Hochrisiko-KI-Systeme sind Systeme, die in bestimmte Produkte integriert und insofern vor allem für den Schutz von Leib und Leben relevant sind und einer Konformitätsprüfung durch einen Dritten unterzogen werden müssen (Art. 6 Abs. 1 KI-VO i. V. m. Anhang I).

Einsatzfeldbezogene Hochrisiko-KI-Systemen kommen in Bereichen zur Anwendung, die vom Gesetzgeber mit Blick auf die Schutzgüter des Art. 1 KI-VO als besonders risikoträchtig eingeschätzt werden (Art. 6 Abs. 2 KI-VO i. V. m. Anhang III). Als kritische Einsatzbereiche zählen beispielsweise Bildung, Beschäftigung, Gesundheit, Strafverfolgung und Asyl.

Anforderungen an Hochrisiko-KI-Systeme

An die Entwicklung und Nutzung von Hochrisiko-KI-Systemen stellt die KI-Verordnung hohe Anforderungen.

Zunächst müssen Hochrisiko-KI-Systeme ein Risikomanagementsystem etablieren, das als iterativer Prozess auszugestalten ist. Außerdem ist von Anbietern dieser Systeme ein Qualitätsmanagementsystem zu implementieren, das der Dokumentation der Einhaltung der Vorgaben der KI-Verordnung dient. Darüber hinaus gibt es Vorgaben für die Datenqualität für das Trainieren von Hochrisiko-KI-Systemen. Auch muss eine technische Dokumentation erstellt werden, bevor das System in Verkehr gebracht wird.

Dokumentations- und Informationspflichten werden in den Artikeln 11–13, 20 und 21 sowie in Anhang IV beschrieben.

Vor der Inbetriebnahme eines Hochrisiko-KI-Systems muss in den von Art. 27 Abs. 1 KI-VO näher bestimmten Fällen eine Grundrechte-Folgenabschätzung durchgeführt werden. Sofern bereits eine Datenschutz-Folgenabschätzung durchgeführt wurde, kann die Grundrechte-Folgenabschätzung diese gem. Art. 27 Abs. 4 KI-VO ergänzen. Insofern ist eine Zusammenführung und Kombination der beiden Folgenabschätzungen möglich.

Anbieter von Hochrisiko-KI-Systemen sind nach Art. 72 KI-VO überdies verpflichtet, ein „Post-Market Monitoring“ vorzunehmen, dessen Umfang im Verhältnis zur Art der KI-Technik und zu den jeweiligen Risiken steht. Schwerwiegende Vorfälle und Fehlfunktionen sind nach Art. 73 KI-VO meldepflichtig.

General Purpose AI Models

Die KI-Verordnung enthält zudem konkrete Vorgaben für KI-Modelle mit allgemeinem Verwendungszweck, allgemein als General Purpose AI bekannt. Anbieter dieser KI-Modelle müssten etwa technische Unterlagen und Gebrauchsanweisungen bereitstellen. Außerdem gibt es Verpflichtungen hinsichtlich der Risikosteuerung und der Gewährleistung der Cybersicherheit.

Inkrafttreten und Anwendbarkeit

Die KI-Verordnung ist am 1. August 2024 in Kraft getreten. Die vollständige Anwendbarkeit ist ab dem 2. August 2026 vorgesehen, wobei einige Regelungen wie die Verbote bestimmter Praktiken bereits ab dem 2. Februar 2025 in Kraft treten. Für Hochrisiko-KI-Systeme gelten spezifische Anforderungen ab dem 2. August 2027.

Durchsetzung und Sanktionen

Um die Einhaltung der Verordnung zu gewährleisten, müssen alle EU-Mitgliedstaaten eine nationale Aufsichtsbehörde einrichten, die für die Überwachung und Durchsetzung der Regelungen verantwortlich ist. Bei Verstößen gegen die Bestimmungen der KI-Verordnung können erhebliche Bußgelder verhängt werden, die bis zu 35 Millionen Euro oder 7 % des gesamten weltweiten Jahresumsatzes des Unternehmens des vorangegangenen Geschäftsjahres betragen können. Die Sanktionen sind daher mit denen der Datenschutz-Grundverordnung (DSGVO) vergleichbar und gehen teilweise sogar darüber hinaus.

Auswirkungen der KI-Verordnung für Unternehmen

Unternehmen, die von der KI-Verordnung betroffen sind, müssen mehrere wichtige Aspekte beachten:

• Risikoklassifizierung: Unternehmen müssen ihre KI-Systeme nach Risikokategorien klassifizieren (niedrig, hoch, unannehmbar). Hochrisiko-KI-Systeme unterliegen strengen Anforderungen, die eine umfassende Dokumentation, Transparenz und Sicherheitsmaßnahmen erfordern.
• Governance-Strukturen: Anbieter von Hochrisiko-KI-Systemen müssen geeignete Governance-Strukturen einrichten, um sicherzustellen, dass die Systeme den gesetzlichen Anforderungen genügen.
• Konformitätsbewertung: Bevor ein KI-System in Verkehr gebracht werden kann, muss eine Konformitätsbewertung durchgeführt werden, um die Übereinstimmung mit den Anforderungen der KI-Verordnung zu bestätigen.
• Transparenzpflichten: Unternehmen müssen sicherstellen, dass Nutzende über die Funktionsweise der KI-Systeme informiert sind, insbesondere wenn diese Entscheidungen treffen, die das Leben der Nutzenden erheblich beeinflussen.
• Dokumentation und Schulung: Eine umfassende Dokumentation der KI-Systeme und der damit verbundenen Prozesse ist erforderlich. Zudem sollten Mitarbeitende geschult werden, um sicherzustellen, dass sie die Anforderungen der Verordnung verstehen und einhalten.

Unternehmen sind gut beraten, sich frühzeitig mit den Regelungen der KI-Verordnung vertraut zu machen und entsprechende Maßnahmen zu ergreifen. Die Erfahrungen mit der DSGVO haben gezeigt, dass eine späte Umsetzung der Anforderungen zu erheblichen Schwierigkeiten führen kann. Daher ist eine proaktive Herangehensweise unerlässlich, um die Einhaltung der Vorschriften sicherzustellen und mögliche rechtliche und finanzielle Risiken zu minimieren.

KI-Systeme und Datenschutz

Bei der Diskussion um die Auswirkungen der KI-VO darf die DSGVO nicht außer Acht bleiben. Die DSGVO bleibt von der KI-VO unberührt, sodass in jedem Fall auch ihre Vorgaben einzuhalten sind, wenn das KI-System personenbezogene Daten verarbeitet.

Entschließt sich ein Unternehmen zum Einsatz von KI, sollten in einem ersten Schritt Compliance-Regeln erstellt werden. Es empfiehlt sich, klar zu definieren, ob und unter welchen Voraussetzungen KI-Tools genutzt werden dürfen. Ohne verbindliche Vorgaben besteht das Risiko, dass sich Beschäftigte eigenmächtig und unkontrolliert der neuen Hilfsmittel bedienen. Dies ist nicht nur eine Gefahr für personenbezogene Daten, sondern auch für Geschäftsgeheimnisse und Urheberrechte. Abhilfe schaffen kann hier eine unternehmensinterne KI-Richtlinie.

Wird ein bestimmter KI-Dienstleister ins Auge gefasst, sollte dieser umfassend auf Datenschutz und Datensicherheit überprüft werden. Auch die regelmäßig notwendigen Auftragsverarbeitungsverträge müssen geprüft und gegebenenfalls verhandelt werden.

Schließlich wird häufig die Durchführung einer Datenschutz-Folgenabschätzung notwendig sein, bei der die Risiken der Datenverarbeitung überprüft und die unternommenen und geplanten Abhilfemaßnahmen beschrieben und bewertet werden.

KI im Arbeitsrecht

Unternehmen können ihren Beschäftigten auch intern die Anwendung von KI-Systemen erlauben. Dabei müssen sie jedoch einen sicheren und zuverlässigen Umgang gewährleisten. Dafür empfehlen sich etwa betriebliche Richtlinien mit Vorgaben zur Nutzung von und zum Umgang mit KI. Auch ist stets ein mögliches Mitbestimmungsrecht des Betriebsrats zu beachten, das immer dann bestehen kann, wenn der Arbeitgeber Maßnahmen ergreift, die eine Überwachung der Arbeitnehmer*innen ermöglicht.

Um Sie auch in diesem Feld bestmöglich zu unterstützen, haben wir für Sie ein entsprechendes Factsheet speziell zu arbeitsrechtlichen Fragestellungen rund um KI vorbereitet. Dieses finden Sie in unserem Newsletter „Menschen im Unternehmen“, Ausgabe 2024/2.

Handlungsempfehlungen

Lange Zeit verbleibt nicht mehr, bis die KI-VO Anwendung findet. Unternehmen sollten daher schon jetzt prüfen, ob sie von der KI-VO erfasst sind. Hierfür müssen sie in einem ersten Schritt alle genutzten KI-Systeme identifizieren, klassifizieren und in einem Verzeichnis sammeln.

Unternehmen sollten außerdem verbindlich vorgeben, ob und unter welchen Bedingungen KI eingesetzt werden darf. In diesem Zusammenhang müssen in jedem Fall die Vorgaben der KI-VO wie auch der DSGVO berücksichtigt werden.

Als Betreiber von KI werden viele Unternehmen ab dem 2. Februar 2025 zudem verpflichtet sein, KI-Kompetenz im Unternehmen zu vermitteln.

Schließlich können Unternehmen erwägen, ob sie analog zum*zur Datenschutzbeauftragten eine*n KI-Beauftragte*n ernennen. Dies ist zwar nicht gesetzlich vorgeschrieben, die datenschutzrechtliche Praxis zeigt aber immer wieder, dass eine zentrale Anlaufstelle eine größere Gewähr für Compliance bietet. Da KI-Anwendungen regelmäßig personenbezogene Daten verarbeiten, dürfte es sich aus Effizienzgründen anbieten, die Stelle des*der KI-Beauftragten mit dem*der Datenschutzbeauftragten zu besetzen.

Wir unterstützen Sie gerne dabei, die Anforderungen der KI-Verordnung umzusetzen. Beispielsweise können wir Ihr KI-System klassifizieren, eine KI-Richtlinie erstellen, Sie bei der Implementierung einer Governance-Struktur unterstützen oder Schulungen in Ihrem Unternehmen anbieten. Darüber hinaus übernehmen wir auch die Tätigkeit als externer KI-Beauftragter für Sie. Kontaktieren Sie uns gerne, damit wir gemeinsam die nächsten Schritte besprechen und eine maßgeschneiderte Lösung für Ihre spezifischen Bedürfnisse entwickeln können. Unser Ziel ist es, Ihnen zu helfen, die gesetzlichen Anforderungen effizient und effektiv zu erfüllen, während wir gleichzeitig dafür sorgen, dass Ihre KI-Systeme sicher und verantwortungsvoll eingesetzt werden. Wir freuen uns auf Ihre Kontaktaufnahme und darauf, Sie bei diesem wichtigen Vorhaben zu unterstützen.