KI-Verordnung im Kontext der DSGVO

Einleitung

Künstliche Intelligenz (KI) durchdringt immer mehr Lebensbereiche – von der personalisierten Werbung über automatisierte Entscheidungsfindung bis hin zur Gesichtserkennung – und wird auch für Unternehmen zunehmend relevant. Mit dieser Entwicklung und den daraus entstehenden Risiken wächst auch der rechtliche Regelungsbedarf. Die EU hat mit der KI-Verordnung (KI-VO) einen weltweit einzigartigen Rechtsrahmen geschaffen, der den Einsatz von Künstlicher Intelligenz (KI) reguliert. Der offiziell in Englisch verfasste AI Act ergänzt bestehende Datenschutzgesetze wie die DSGVO und stellt neue Anforderungen an Unternehmen, insbesondere im Hinblick auf Transparenz, Risikomanagement und Dokumentationspflichten.

Dieser Beitrag beleuchtet die zentralen Anforderungen der KI-Verordnung EU, ihre Schnittstellen zur DSGVO und die daraus resultierenden Aufgaben für Datenschutzbeauftragte.

Was ist die KI-Verordnung?

Die KI-Verordnung (auch „AI Act“) ist ein umfassender Rechtsrahmen der Europäischen Union, der den Einsatz von Künstlicher Intelligenz innerhalb des Binnenmarktes regelt. Ziel der Verordnung ist es, Grundrechte, Sicherheit und demokratische Werte zu schützen, während gleichzeitig Innovation und technologische Entwicklung gefördert werden.

Die KI-Verordnung umfasst neben 180 Erwägungsgründen 13 Kapitel, die in 113 Artikeln verbotene Praktiken im KI-Bereich, Hochrisiko-KI-Systeme, Transparenzpflichten, erlaubte Verwendungszwecke, die Einrichtung einer EU-Datenbank für Hochrisiko-KI-Systeme sowie Verhaltenskodizes und Leitlinien regeln.

Im Zentrum der KI-Verordnung stehen Vorgaben zur Transparenz, Nachvollziehbarkeit, menschlichen Kontrolle und Konformitätsbewertung. Insbesondere Anbieter von sogenannten Hochrisiko-KI-Systemen – z. B. im Bereich der Personalrekrutierung, der Kreditwürdigkeitsprüfung oder bei biometrischer Identifikation – müssen umfassende technische Dokumentationen, Risikomanagementsysteme und Qualitätssicherungsprozesse etablieren.

Wann ist die KI-Verordnung anwendbar?

Die Verordnung wurde am 13. März 2024 vom EU-Parlament verabschiedet und markiert weltweit die erste Gesetzgebung, die Künstliche Intelligenz sektorenübergreifend und verbindlich reguliert. Die KI-Verordnung trat am 1. August 2024 in Kraft und wird grundsätzlich zwei Jahre nach ihrem Inkrafttreten, also am 2. August 2026, anwendbar sein. Eine europäische Verordnung muss nicht erst in nationales Recht umgesetzt werden, sondern gilt für alle EU-Mitgliedstaaten unmittelbar.

Der Anwendungsbereich der Verordnung wird in Artikel 2 KI-VO erläutert. Die KI-Verordnung hat für praktisch alle Unternehmen Auswirkungen, die innerhalb der EU KI-Systeme nutzen oder betrieben. Das gilt unabhängig davon, ob sie ihren Sitz in einem Mitgliedsstaat der EU haben.

Betroffen sind Unternehmen, die KI-Systeme in der EU auf den Markt bringen, also Inverkehrbringen oder in Betrieb nehmen, Unternehmen, die KI-Systeme in der EU verwenden, etwa zur Unterstützung betrieblicher Prozesse oder für Marketingzwecke, aber auch Unternehmen, die Ergebnisse von KI-Systemen in der EU bereitstellen.

Als Unternehmen sollten Sie sich daher jetzt fragen, ob sie unter eine der folgenden Kategorien fallen:

• KI-Entwickler (Anbieter), die KI-Systeme entwerfen oder entwickeln, um sie Dritten zur Verfügung zu stellen
• Betreiber, die KI-Systeme in der EU einsetzen
• Importeure und Händler, die KI-Systeme in die EU einführen
• Nutzer (Anwender), die KI-Systeme in ihrem Unternehmen nutzen
• Dienstleister, die KI-Systeme anbieten

Nicht anwendbar ist die KI-Verordnung zum Beispiel auf KI-Systeme, die ausschließlich für militärische bzw. Verteidigungszwecke genutzt werden, solche, die nur wissenschaftlicher Forschung und Entwicklung dienen und auf KI-Systeme, die lediglich für private Zwecke genutzt werden.

Ab wann gilt die KI-VO?

Die KI-Verordnung (AI Act) der EU tritt stufenweise in Kraft und bringt tiefgreifende Änderungen, insbesondere im Bereich Datenschutz, Arbeitsrecht und dem Einsatz von KI-Systemen am Arbeitsplatz mit sich. Besonders für Unternehmen und Arbeitgeber, die KI-Systeme zur Personalsteuerung oder -bewertung einsetzen, ist eine frühzeitige Auseinandersetzung mit den neuen Anforderungen entscheidend, um Rechtskonformität zu gewährleisten – insbesondere im Zusammenspiel mit der DSGVO.

Stufe 1 – Geltung ab dem 2. Februar 2025

Bereits sechs Monate nach Inkrafttreten der KI-Verordnung greifen erste zentrale Bestimmungen – insbesondere zu verbotenen KI-Praktiken. Arbeitgeber sollten ab diesem Zeitpunkt folgende Einschränkungen beachten:

• Verbot der Emotionserkennung durch KI am Arbeitsplatz, es sei denn, sie erfolgt aus medizinischen oder sicherheitsbezogenen Gründen.

• Verbot von manipulativen KI-Systemen, die gezielt das Verhalten von Personen unter Ausnutzung ihrer sozialen oder wirtschaftlichen Lage beeinflussen.

• Verbot von Social Scoring durch KI, d.h. der systematischen Bewertung des Sozialverhaltens natürlicher Personen.

• Pflicht zum Aufbau von KI-Kompetenz (Schulungen) bei Beschäftigten beginnt.

Diese Regeln stehen in engem Zusammenhang mit den Grundprinzipien der Datenschutz-Grundverordnung (DSGVO) und zielen auf den Schutz der Privatsphäre und Persönlichkeitsrechte von Beschäftigten.

Stufe 2 – Geltung ab dem 2. August 2025

Ab diesem Datum gelten umfangreiche Anforderungen an Anbieter von KI-Systemen mit allgemeinem Verwendungszweck, wie z. B. Large Language Models (LLMs), inklusive Transparenz- und Rechenschaftspflichten. Zudem treten die Sanktionsregelungen in Kraft:

• Geldbußen bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes drohen bei Verstößen gegen die bis dahin gültigen Bestimmungen.

Diese Sanktionen verdeutlichen, wie ernst die Einhaltung der KI-VO-Regeln insbesondere im Kontext von KI-Datenschutz und DSGVO-Konformität genommen wird.

Stufe 3 – Geltung ab dem 2. August 2026

Ab diesem Zeitpunkt gelten sämtliche Bestimmungen der KI-Verordnung, sofern sie nicht explizit spätere Anwendungsdaten haben. Für Arbeitgeber besonders relevant sind nun die Pflichten im Umgang mit sogenannten Hochrisiko-KI-Systemen:

• Transparenzpflichten,

• Pflichten zur Risikobewertung und Dokumentation,

• sowie Anforderungen an menschliche Aufsicht.

Gerade im Zusammenhang mit der DSGVO ergeben sich hier neue Überschneidungen in Bezug auf Datenschutz-Folgenabschätzungen und Rechenschaftspflichten.

Stufe 4 – Geltung ab dem 2. August 2027

Ab diesem Zeitpunkt werden weitere Detailregelungen zur Einstufung von Hochrisiko-KI-Systemen wirksam. Bereits jetzt enthält der Anhang der KI-VO konkrete Beispiele – etwa für den Einsatz von KI in folgenden arbeitsrechtlich relevanten Szenarien:

• Bewerberauswahl und Personalentscheidungen (z. B. CV-Screening, automatisierte Stellenanzeigen, Bewertung von Eignung),

• Leistungsüberwachung und Aufgabenverteilung,

• Entscheidungen über Beförderungen oder Kündigungen,

• Einsatz in der Bildung zur Bewertung von Lernergebnissen oder Verhaltensüberwachung.

Auch hier ist eine enge Verzahnung mit datenschutzrechtlichen Anforderungen der DSGVO unabdingbar.

 

Risikoklassen der KI-Systeme nach KI-VO

Die Verordnung folgt einem risikobasierten Ansatz und unterscheidet KI-Systeme je nach potenzieller Gefährdung in vier Kategorien: verbotene, hochriskante, begrenzt riskante und risikoarme KI-Systeme. Sie gilt nicht nur für europäische Unternehmen, sondern auch für Anbieter außerhalb der EU, sobald deren Systeme innerhalb der Union eingesetzt werden – ein extraterritorialer Anwendungsbereich, der bereits aus der DSGVO bekannt ist.

1. KI-Systeme mit einem sogenannten unannehmbaren Risiko sind in der EU verboten. Hierbei handelt es sich etwa um unterschwellige, manipulative und täuschende KI-Systeme, oder um solche, die für Social Scoring oder Kriminalitätsvorhersage genutzt werden.
2. Für KI-Systeme, die als hochriskant eingestuft werden, gibt es besonders strenge Vorschriften (z.B. Risikomanagement, siehe unten). Hier liegt der Fokus der Verordnung. Hierunter fallen KI-Systeme, die in sensiblen Bereichen eingesetzt werden, wie der Strafverfolgung, im Beschäftigungskontext oder im Arbeitnehmermanagement und solche, die im Bereich der kritischen Infrastruktur eingesetzt werden.
3. Unter KI-Systeme mit begrenztem Risiko fallen zum Beispiel Chatbots. Hier sind in erster Linie Transparenzpflichten zu erfüllen, z. B. Hinweis auf KI-gestützte Interaktion.
4. KI-Systeme mit minimalem Risiko fallen nicht unter die Regelungen der Verordnung. Als Beispiele sind hier Spamfilter oder KI-gestützte Videospiele zu nennen.

Je nachdem, unter welche Kategorie die eingesetzten KI-Systeme fallen, ergeben sich hieraus die Pflichten für das Unternehmen.

Aufbau Risikomanagement nach KI-VO

Nachdem eine Inventarisierung & Klassifizierung der Risikoklassen pro KI-System erfolgt ist, müssen Unternehmen (Anbieter) für sog. Hochrisiko-KI-Systeme ein angemessenes Risikomanagement aufbauen. Die wesentlichen Anforderungen für ein solches Risikomanagement ergeben sich unmittelbar aus Art. 9 KI-VO. So sind folgende Schritte für den Aufbau notwendig:

1. die Ermittlung und Analyse aller vorhersehbaren Risiken, die vom Hochrisiko-KI-System für die Gesundheit, Sicherheit oder Grundrechte ausgehen können, wenn es entsprechend seiner Zweckbestimmung verwendet wird;
2. die Bewertung der Risiken, welche durch das Hochrisiko-KI-System entsprechend seiner Zweckbestimmung oder im Rahmen einer vorhersehbaren Fehlanwendung entstehen;
3. die Bewertung anderer möglicherweise auftretender Risiken auf der Grundlage der Auswertung der Daten aus dem in Artikel 72 genannten System zur Beobachtung nach dem Inverkehrbringen;
4. die Ergreifung geeigneter und gezielter Risikomanagementmaßnahmen zur Bewältigung der ermittelten Risiken aus den vorgenannten Schritten;
5. Fortlaufende Tests & Kontrollen der hochriskanten KI-Systemen.

Wichtig ist, dass nur solche Risiken betrachtet werden müssen, welche auch vernünftigerweise durch technische und organisatorische Maßnahmen durch das Unternehmen beeinflusst werden können.

Anforderungen an Unternehmen nach KI-VO

Die KI-Verordnung differenziert bei den Anforderungen an Unternehmen nach Risikoklassen und Rollen der Unternehmen (z. B. Anbieter, Nutzer, Importeur). KI-Systeme mit einem unannehmbaren Risiko sind in der EU verboten. Sie dürfen somit weder eingesetzt noch entwickelt werden. Widersetzt sich ein Unternehmen diesem Verbot, drohen empfindliche Sanktionen.

Die Pflichten für Anbieter von Hochrisiko-KI-Systemen:

Zunächst müssen Anbieter von Hochrisiko-KI-Systemen gem. Art. 13 KI-VO-Informationspflichten erfüllen. Der Artikel verpflichtet Anbieter dazu, ihre Systeme ausreichend transparent zu gestalten und präzise, vollständige, korrekte und eindeutige Betriebsanleitungen für Betreiber zu erstellen.

Folgende Informationen müssen Anbieter in den Betriebsanleitungen bereitstellen:

1. Namen und die Kontaktangaben des Anbieters und ggf. seines Bevollmächtigten
2. Merkmale, Fähigkeiten und Leistungsgrenzen des Hochrisiko-KI-Systems:
   1. Zweckbestimmung (spezifischer Anwendungsbereich und Kontext für Einsatz)
   2. Genauigkeit (insbesondere diesbezügliche Metriken), Robustheit und Cybersicherheit (Art. 15 KI-VO)
   3. Risiken und Einschränkungen des Systems, z. B. Fehlerraten, mögliche Diskriminierungsrisiken, Situationen, in denen die Leistung abweichen kann, Risiken für die Gesundheit und Sicherheit oder die Grundrechte
   4. Informationen über die Eingabedaten oder sonstiger relevanter Informationen über die verwendeten Trainings-, Validierungs- und Testdatensätze
   5. Hinweise auf Bedingungen, unter denen das System korrekt funktioniert, z.B. „nur für volljährige Nutzer geeignet“, „nur für bestimmte Datentypen zuverlässig“
3. Bestehen einer menschlichen Aufsicht gem. Art. 14 KI-VO, z.B. bestehende Eingriffsmöglichkeit oder Situationen, in denen eine Überprüfung oder eine Übersteuerung vorgesehen sind
4. Technische Informationen, wie erforderliche Rechen- und Hardware-Ressourcen, die erwartete Lebensdauer, alle erforderlichen Wartungs- und Pflegemaßnahmen, notwendige Software-Updates

Gem. Art. 17 KI-VO ist zudem ein Qualitätsmanagement erforderlich. Dieses System soll sicherstellen, dass die KI-Systeme während ihres gesamten Lebenszyklus konform mit der KI-Verordnung entwickelt, bereitgestellt und betrieben werden. Das Qualitätsmanagement beinhaltet:

1. Unternehmenspolitiken, Leitlinien und Bewertungsverfahren zur Einhaltung der Anforderungen der KI-Verordnung und zur Qualitätssicherung des KI-Systems
2. Untersuchungs-, Test- und Validierungsverfahren zur Prüfung vor, während und nach der Entwicklung des KI-Systems
3. Prozesse zur Überwachung gesetzlicher Änderungen und Anpassung des Qualitätsmanagementsystems
4. Dokumentation der Herkunft, Qualität und Verarbeitung (alle durch das KI-System erfolgende Vorgänge) von Datensätzen
5. Risikomanagementsystem, Art. 9 KI-VO
6. Bewertung, Minderung und Nachverfolgung von Risiken über den gesamten Lebenszyklus des KI-Systems, Art. 72 KI-VO
7. Verfahren zur Meldung eines schwerwiegenden Vorfalls an die zuständigen Behörden gem. Art. 73 KI-VO
8. Verfahren zur Erstellung, Pflege und Aktualisierung der Dokumentation und Information
9. Ressourcenmanagement zur Sicherstellung der Versorgungssicherheit
10. Regelung der Verantwortlichkeiten und Zuständigkeiten innerhalb des Unternehmens

Anbieter sind zudem gem. Art. 16 lit. d) KI-VO verpflichtet, für zehn Jahre ab dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI-Systems Dokumentationen zu diversen Nachweispflichten aufzubewahren. Dies umfasst:

1. Technische Dokumentation
2. Nachweise des Qualitätsmanagements
3. Dokumentation über etwaige von notifizierten Stellen genehmigte Änderungen sowie ausgestellte Entscheidungen und sonstigen Dokumente
4. EU-Konformitätserklärung gem. Art. 47 KI-VO

Art. 16 KI-VO formuliert darüber hinaus weitere Pflichten:

1. Erfüllung der Anforderungen aus Abschnitt zwei der KI-Verordnung (Risikomanagementsystem, Dokumentations-, Aufzeichnungs- und Informationspflichten, Vorgaben zur menschlichen Aufsicht, Genauigkeit, Robustheit und Cybersicherheit)
2. Vermerk des Namens des Anbieters, des Handelsnamens bzw. der eingetragenen Handelsmarke und der Kontaktanschrift auf dem System, der Verpackung oder der Dokumentation
3. Konformitätsbewertungsverfahren, Art. 43 KI-VO
4. EU-Konformitätserklärung, Art. 47 KI-VO
5. CE-Kennzeichnung, Art. 48 KI-VO
6. Erfüllung der Registrierungspflichten, Art. 49 Abs. 1 KI-VO
7. Ergreifen von Korrekturmaßnahmen, falls die Möglichkeit besteht, dass das KI-System nicht den Vorgaben der KI-Verordnung entspricht und unerwartete Risiken oder Fehler aufweist, Art. 20 KI-VO
8. Nachweispflicht über die Rechtskonformität des KI-Systems gegenüber der zuständigen nationalen Behörde, Art. 21 KI-VO
9. Erfüllung der Barrierefreiheitsanforderungen gemäß den Richtlinien (EU) 2016/2102 und (EU) 2019/882

Sofern der Anbieter des KI-Systems aus einem Drittland stammt, muss gem. Art. 22 KI-VO ein Bevollmächtigter berufen werden (analog zum EU-Vertreter aus Art. 27 DSGVO), der den Verpflichtungen der KI-Verordnung nachkommt.

Die Pflichten für Betreiber von Hochrisiko-KI-Systemen:

Betreiber von KI-Systemen müssen ähnliche Pflichten wie die Anbieter erfüllen.

Zudem trifft sie gem. Art. 26 KI-VO eine mindestens sechsmonatige Aufbewahrungspflicht für Protokolle und eine Informationspflicht an Arbeitnehmervertreter (z.B. Mitarbeitervertretung, Personalrat, Betriebsrat) über die Inbetriebnahme und Nutzung des KI-Systems.

Darüber hinaus hat der oder die Betreibende des KI-Systems die Pflicht zur Durchführung einer Datenschutz-Folgenabschätzung nach den Informationen des Anbieters (Verweis auf Art. 35 DSGVO). Diese wird ergänzt durch eine Grundrechte-Folgenabschätzung gem. Art. 27 KI-VO.

Informationspflichten müssen gem. Art. 26 Abs. 11 KI-VO auch erfüllt werden, wenn Hochrisiko-KI-Systeme automatische Entscheidungen treffen. Diese Vorschrift beinhaltet Parallelen zu Art. 22 DSGVO zum Profiling.

Dokumentationspflicht KI-Verordnung

Wie bereits zuvor skizziert, sind die Anforderungen der KI-VO unterschiedlich nach Risiko und Rolle des Unternehmens zu betrachten. Wir betrachten im Folgenden die Dokumentationspflichten bzw. die Instrumente, welche eingeführt werden sollten für dessen vollständige Einhaltung, aus Sicht von Anbietern und Betreibern von Hochrisiko-KI-Systemen.

Anbieter von Hochrisiko-KI-Systemen:

1. Zentrales Verzeichnis über alle angewendeten KI-Systeme im Unternehmen: Es muss eine Inventarisierung aller KI-Systeme erfolgen und damit verbunden eine Klassifizierung in die genannten Risikoklassen „unannehmbar“, „hochriskant“, „begrenzt“ und „minimal“ nach Art. 6 KI-VO und mitgeltenden Anhängen. Die Klassifizierung sollte begründet und versioniert stattfinden.
2. Risikomanagement: Das Risikomanagement gem. Art. 9 KI-VO zielt primär auf die Anbieter von KI-Systemen ab, weil hier fokussierte Maßnahmen für die Konzeption und Entwicklung einer risikoärmeren KI erarbeitet werden sollen. Betreiber können i.d.R. auf die Dokumentation des Risikomanagements des Anbieters verweisen, sofern die KI-Systeme gem. der vorgesehenen Zweckbestimmung genutzt werden.
3. Technische Dokumentation: Diese Dokumentation gem. Art. 11 KI-VO dient zur Dokumentation der Entwicklung des KI-Systems durch den Anbieter. Es handelt sich dabei um eine umfassende Darstellung (z.B. allgemeine Merkmale, Fähigkeiten und Grenzen des Systems, die verwendeten Algorithmen, Daten und Trainings-, Test- und Validierungsverfahren) darüber, wie Hochrisiko-KI‑Systeme entwickelt wurden und wie sie während ihrer gesamten Lebensdauer funktionieren.
4. Betriebsanleitungen: Alle Anbieter müssen gem. Art. 13 KI-VO eine Betriebsanleitung erstellen und zur Verfügung stellen.

Betreiber von Hochrisiko-KI-Systemen:

1. Zentrales Verzeichnis über alle angewendeten KI-Systeme im Unternehmen: Siehe oben, ebenfalls für Betreiber notwendig.
2. Risikomanagement: Siehe oben, zum Großteil vom Anbieter zu übernehmen.
3. Grundrechte-Folgenabschätzung (GRFA): Obliegt dem Betreiber von KI-Systemen, allerdings bietet es sich an, dass der Anbieter bereits eine Abschätzung durchführt und dem Betreiber zur Verfügung stellt, siehe Art. 27 KI-VO.
4. Datenschutz-Folgenabschätzung (DSFA): Obliegt ebenfalls dem Betreiber von KI-Systemen, allerdings bietet es sich an, dass der Anbieter auch in diesem Fall bereits eine Abschätzung durchführt und dem Betreiber zur Verfügung stellt i.S.d. Art. 35 DSGVO.

Es gelten noch weitere spezifische Dokumentationspflichten im Einzelfall. Bitte wenden Sie sich hierzu an Experten für die KI-VO und/oder Datenschutzbeauftragte, welcher über diese Qualifikation verfügen.

Gemeinsamkeiten KI-VO und DSGVO

Während die DSGVO seit 2018 den Schutz personenbezogener Daten innerhalb der EU umfassend regelt, ergänzt die neue KI-Verordnung (KI-VO) diese Vorgaben um spezifische Anforderungen für den sicheren und grundrechtskonformen Einsatz von KI-Systemen. Beide Regelwerke verfolgen ähnliche Grundprinzipien wie Transparenz, Risikominimierung und Rechenschaftspflicht, unterscheiden sich jedoch in ihrem Anwendungsbereich und Fokus.

Die DSGVO schützt personenbezogene Daten, unabhängig von der verwendeten Technik. Die KI-Verordnung reguliert KI-Systeme – egal ob personenbezogene Daten verarbeitet werden oder nicht. Die Schnittstelle zwischen DSGVO und KI-VO bilden somit KI-Systeme, die personenbezogene Daten verarbeiten. In diesem Fall müssen beide Verordnungen gleichzeitig beachtet werden.

Die Berührungspunkte in der Praxis sind groß, da KI-Systeme häufig Zugriff auf große Datensätze haben und zum Teil automatisierte Entscheidungen treffen. Viele KI-Anwendungen, wie Chatbots, Bilderkennung oder digitale Sprachassistenten, benötigen für ihre effektive Funktion personenbezogene Daten. Sobald diese von der KI verarbeitet werden, sowohl in der Trainings-, Validierungs- als auch Nutzungsphasen eines KI-Systems, greift die DSGVO.

Trifft das KI-System auf Grundlage von personenbezogenen Daten automatisierte Entscheidungen, gelten gem. Art. 22 DSGVO besondere Vorgaben. Betroffene haben grundsätzlich das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu werden, die rechtliche Wirkung entfaltet oder sie erheblich beeinträchtigt. Ausnahmen sind nur möglich, wenn z.B. eine ausdrückliche Einwilligung vorliegt oder es eine anderweitige gesetzliche Grundlage für die Verarbeitung gibt. Möchte man als Rechtsgrundlage die Wahrung berechtigter Interessen gem. Art. 6 Abs. 1 lit. f) DSGVO zugrunde legen, ist eine Abwägung von den Interessen des Verantwortlichen und den Interessen oder Grundrechte der betroffenen Personen vorzunehmen. Nur wenn die Interessen des Verantwortlichen überwiegen, kann Art. 6 Abs. 1 lit. f) DSGVO als Rechtsgrundlage genutzt werden.

Zudem sind die für die Datenverarbeitung Verantwortlichen gem. Art. 13 und 14 DSGVO verpflichtet, transparente Informationen über die Datenverarbeitung bereitzustellen sowie gem. Art. 15 Abs. 1 lit. h DSGVO Bedeutung und Tragweite automatisierter Entscheidungen zu erläutern. Bei den Informationen, die bereitgestellt werden müssen, gibt es zwischen den Vorgaben der DSGVO und der KI-VO viele Überschneidungen. Neben den oben genannten Informationspflichten muss gem. Art. 13 und 14 DSGVO zusätzlich noch über Empfänger oder Kategorien von Empfängern der personenbezogenen Daten, eine mögliche Drittlandsübermittlung, die Speicherdauer, die Rechte der betroffenen Person und die Quelle aus der die personenbezogenen Daten stammen (Art. 14 DSGVO) informieren.
Darüber hinaus muss der Einsatz eines KI-Systems auch bei der Auswahl geeigneter technischer und organisatorischer Maßnahmen gem. Art. 32 DSGVO beachtet werden. Hier müssen die spezifischen Risiken von KI-Systemen, z.B. fehlerhafte Trainingsdaten (Bias), Manipulation von Modellen oder Datenschutzverletzungen durch zu umfassende Datenanalysen, bedacht werden.

Die DSGVO verlangt in Art. 5 Datenminimierung und Zweckbindung (Grundsätze der Datenverarbeitung). KI-Systeme benötigen häufig große Datenmengen und werten sie vollständig aus. Entwickelnde und Betreibende müssen daher darauf achten, dass nur erforderliche Daten verwendet werden und ein klarer Zweck definiert wird.

Datenschutz-Folgenabschätzung (DSFA) nach der KI-VO

Sowohl die DSGVO wie auch die KI-VO fordern präventive Prüfungen, um Risiken zu minimieren. Bei der Datenschutz-Folgenabschätzung (DSFA) gem. Art. 35 DSGVO liegt der Fokus auf Datenschutzrisiken, die bei bestimmten Verarbeitungstätigkeiten von personenbezogenen Daten entstehen. Bei der Grundrechte-Folgenabschätzung (GRFA) sollen primär allgemeine Grundrechte geschützt werden, wie zum Beispiel die Diskriminierungsfreiheit oder die Meinungsfreiheit. Hier liegt der Fokus eher auf ethischen und gesellschaftlichen Bewertungen. Trotzdem können gem. Art. 27 Abs. 4 KI-VO beide Prüfungen kombiniert werden, wenn ein Hochrisiko-KI-System personenbezogene Daten verarbeitet. Praxisfälle können beispielsweise der Einsatz von KI in Bewerbungsprozessen oder im Gesundheitswesen sein.

Möchte man die GRFA in die DSFA integrieren, müssen folgende Punkte eingebaut werden:

1. Beschreibung des KI-Systems und seines Zwecks
2. Angabe des Zeitraums und der Häufigkeit innerhalb dessen bzw. mit der jedes Hochrisiko-KI-System verwendet werden soll
3. Analyse potenzieller Auswirkungen auf relevante Grundrechte
4. Maßnahmen zur Vermeidung oder Minderung von Risiken für Grundrechte
5. Maßnahmen, die im Falle des Eintretens dieser Risiken zu ergreifen sind
6. Spezielle Betrachtung marginalisierter Gruppen oder gesellschaftlicher Auswirkungen
7. Mitteilung der Ergebnisse der Folgenabschätzung an die Marktüberwachungsbehörde

Die Risikobewertung erfolgt bei der GRFA als Gesamtrisikobewertung, welche die Werte pro Risikoszenario kumuliert (Art. 9 Abs. 4 KI-VO). So sollen Wechselwirkungen aus der kombinierten Anwendung berücksichtigt werden.

Verknüpfung der Dokumentationspflichten

Bereits existierende Dokumentationen können mit den speziellen Dokumentationspflichten für KI-Systeme verknüpft werden. Da für die Datenschutzprozesse in der Regel schon Dokumentationsstrukturen bestehen, bietet es sich an, diese auch für die Dokumentation von KI-Systemen zu nutzen.

Neben der GRFA, die in Form einer umfassenden Grundrechtsanalyse in die DSFA integriert werden kann, kann die Dokumentation von KI-Systemen auch in das Verzeichnis der Verarbeitungstätigkeiten eingebunden werden. Hier sollten folgende Informationen erfasst werden:

1. Wird KI eingesetzt?
2. Welcher KI-Systemtyp wird eingesetzt?
3. Unter welche Risikoklasse fällt das KI-System?
4. Verantwortlicher Anbieter / Entwickler des KI-Systems

Auch Auditstrukturen können vereinheitlicht werden, indem Dokumentationen, Risikobewertungen, Transparenz-, Informations- und Nachvollziehbarkeitspflichten und das Qualitätsmanagementsystem gemeinsam mit den Pflichten der DSGVO überprüft werden.

Zudem sollten vorhandene Vorlagen für Datenschutzdokumentation um KI-relevante Aspekte ergänzt werden und die Schulungen der Mitarbeitenden sollten um Schulungen zu KI-Systemen erweitert werden.

Neue Aufgaben für Datenschutzbeauftragte

Wie jetzt schon deutlich wird, kommen durch die KI-VO auch auf die Datenschutzbeauftragten neue Aufgaben zu. Der DSB wird künftig oft auch eine überwachende und beratende Rolle in der KI-Compliance einnehmen müssen – insbesondere an der Schnittstelle zwischen Datenschutz und Grundrechtswahrung. Um den Überblick nicht zu verlieren, können Sie diese Checkliste nutzen:

1. Entwickeln oder nutzen wir ein KI-System?
2. Wird das KI-System in der EU verwendet oder vermarktet?
3. In welche der vier Risikokategorien fällt das KI-System?
4. Welche Rolle haben wir? Sind wir Anbieter, Betreiber, Importeur oder Händler?
5. Haben wir bereits Maßnahmen zur Umsetzung (Bewertung, Dokumentation, Information, Schulung etc.) eingeplant?

Darüber hinaus werden DSB bei der Durchführung oder Überprüfung der Grundrechte-Folgenabschätzung unterstützen, die erweiterten Transparenz- und Informationspflichten wahrnehmen, Qualitätsmanagementsysteme prüfen, bei der Integration der KI-VO-Dokumentation in das DSMS mitwirken sowie bei der Wahrung der Meldepflichten bei den zuständigen Aufsichtsbehörden unterstützen.

Besonders wichtig ist es daher, dass sich Datenschutzbeauftragte zum Thema KI weiterbilden und sich Kenntnisse in den Bereichen KI-Ethik, technische Grundlagen der KI und rechtliche Rahmenbedingungen für KI aneignen.

Strafen & Bußgelder nach der KI-VO

Die Sanktionen, die Verstöße gegen die KI-Verordnung nach sich ziehen, sind in den Artikeln 99 bis 101 KI-VO geregelt. Die Strafen richten sich nach der Schwere des Verstoßes – insbesondere danach, ob es sich um verbotene Praktiken, Verstöße im Hochrisikobereich oder formale Pflichten handelt. Die Geldbußen sind dabei bewusst hoch angesetzt, um effektive Abschreckung und Durchsetzung zu gewährleisten.

Ein Verstoß gegen das Verbot von KI-Systemen mit einem unannehmbaren Risiko kann zu Geldbußen führen in Höhe von bis zu 35 Mio. € oder 7 % des weltweiten Jahresumsatzes des vergangenen Geschäftsjahres.

Verstößt ein Unternehmen beim Einsatz von Hochrisiko-KI-Systemen gegen eine seiner Pflichten, drohen Bußgelder in Höhe von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes. Die Sanktionen betreffen in erster Linie Anbieter, aber auch Nutzer, wenn sie selbst erhebliche Änderungen am System vornehmen oder wesentliche Pflichten missachten.

Bei Verstößen gegen Transparenz- und Informationspflichten bei Systemen mit begrenztem Risiko gibt es Strafen von bis zu 7,5 Millionen Euro oder 1 % des weltweiten Jahresumsatzes. Diese Sanktionen betreffen vor allem Betreiber solcher Systeme sowie Anbieter, die entsprechende Funktionen ohne klare Hinweise bereitstellen.

Im Vergleich zum Datenschutz werden Verstöße gegen diese Grundsätze gem. Art. 83 Abs. 5 lit. a) DSGVO mit einem Bußgeld von bis zu 20 Mio. Euro oder im Fall eines Unternehmens von bis zu 4 Prozent seines gesamten weltweit erzielten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem, welcher der Beträge höher ist, bestraft.

Fazit: So gelingt die Umsetzung

Trotz aller Risiken bieten KI-Systeme großartige Möglichkeiten, um verschiedenste Bereiche, von der Gesundheitsversorgung bis zum Verkehrs- und Energiesektor, sicherer und effektiver zu gestalten. KI-Systeme haben das Potential unser Zusammenleben zu verbessern und zu vereinfachen. Damit sie jedoch keinen negativen Einfluss nehmen, ist ein strenger rechtlicher Rahmen erforderlich, der hohe Sicherheitsstandards bei KI-Systemen ansetzt, sodass von ihnen keine Bedrohung für die Grundrechte der Menschen ausgeht.

Zunächst sollten Unternehmen herausfinden, in welcher Rolle sie im Sinne der KI-Verordnung tätig werden (z.B. Anbieter, Betreiber). Anschließend ist es wichtig, dass alle KI-Systeme inventarisiert und nach den Risiken klassifiziert werden. Für die Hochrisiko-KI-Systeme ergeben sich dann eine Reihe von zusätzlichen Dokumentationspflichten, welche erfüllt werden sollten.

Die meisten Unternehmen werden wohl in der Rolle als Betreiber tätig sein und Hochrisiko-KI-Systeme nutzen. Prüfen Sie unbedingt, ob Sie bereits im datenschutzrechtlichen Kontext Dokumentation angefertigt haben (Verzeichnis von Verarbeitungstätigkeiten, Datenschutz-Folgenabschätzung etc.), damit Sie den internen Aufwand möglichst gering halten bei der Erstellung neuer Dokumentation. Bei der Nutzung von innovativer Datenschutzmanagement-Software sind oftmals clevere Verknüpfungen möglich, sodass Unternehmen enorm viel Zeit sparen.