Die KI-VO in der Praxis E-Book

Christian Forster

• Herausgeber: C. H. Beck
• Kategorie: Fachliteratur
• Sprache: Deutsch

Veröffentlichungsjahr: 2025

Beschreibung

Dieses Handbuch erläutert die KI-VO auf anschauliche Weise für alle, die sich mit der Anwendung von KI im Unternehmen beschäftigen und über deren Einsatz wachen oder entscheiden, sei es in der Fachabteilung, als IT-Mitarbeiter oder in der Geschäftsführung.

Das Werk erläutert zunächst die von der KI-VO etablierten KI-Systeme, die einzelnen Akteure und ihre Rollen. Der zweite, umfangreichere Teil des Werks zeigt in systematischer Weise auf, welche einzelnen Pflichten die Akteure beim Einsatz der verschiedenen KI-Systeme erfüllen müssen. Zahlreiche Schaubilder gewährleisten eine besondere Übersichtlichkeit des Werks.

In diesem Buch finden Sie Antworten unter anderem auf folgende praxisrelevante Fragen:

• Ist meine KI-Anwendung ein KI-System im Sinne der KI-VO?
• Gelten für Nutzer und Betreiber von KI-Systemen dieselben Regeln?
• Wann ist ein KI-System „hochriskant“, auch wenn es keine Sicherheitsfunktionen erfüllt?
• Wie mache ich mein KI-System „cybersicher“?

Dr. habil. Christian Förster ist Partner und Rechtsanwalt für IT-Recht in Karlsruhe. Er berät seine Mandanten vorrangig bei der Vertragsprüfung und -gestaltung. Daneben ist er Mitherausgeber der MMR und Autor umfangreicher Kommentierungen primär im Haftungsrecht.

Julia Straburzynski ist Rechtsanwältin in Karlsruhe und hat ihren derzeitigen Schwerpunkt im Datenschutzrecht.

Leseprobe

Zum Inhalt

Dieses Handbuch erläutert die KI-VO auf anschauliche Weise für alle, die sich mit der Anwendung von KI im Unternehmen beschäftigen und über deren Einsatz wachen oder entscheiden, sei es in der Fachabteilung, als IT-Mitarbeiter oder in der Geschäftsführung.

Das Werk erläutert zunächst die von der KI-VO etablierten KI-Systeme, die einzelnen Akteure und ihre Rollen. Der zweite, umfangreichere Teil des Werks zeigt in systematischer Weise auf, welche einzelnen Pflichten die Akteure beim Einsatz der verschiedenen KI-Systeme erfüllen müssen. Zahlreiche Schaubilder gewährleisten eine besondere Übersichtlichkeit des Werks.

In diesem Buch finden Sie Antworten unter anderem auf folgende praxisrelevante Fragen:

Ist meine KI-Anwendung ein KI-System im Sinne der KI-VO?Gelten für Nutzer und Betreiber von KI-Systemen dieselben Regeln?Wann ist ein KI-System „hochriskant“, auch wenn es keine Sicherheitsfunktionen erfüllt?Wie mache ich mein KI-System „cybersicher“?

Dr. habil. Christian Förster ist Partner und Rechtsanwalt für IT-Recht in Karlsruhe. Er berät seine Mandanten vorrangig bei der Vertragsprüfung und -gestaltung. Daneben ist er Mitherausgeber der MMR und Autor umfangreicher Kommentierungen primär im Haftungsrecht.

Julia Straburzynski ist Rechtsanwältin in Karlsruhe und hat ihren derzeitigen Schwerpunkt im Datenschutzrecht.

Die KI-Verordnung in der Praxis

Rechtliche Grundlagen und Pflichten bei der Anwendung von KI im Unternehmen

Bearbeitet von

Dr. habil. Christian Förster

Julia Straburzynski

2025

VVorwort

Die KI-VO regelt den gewerblichen Einsatz von KI-Systemen europaweit als unmittelbar geltendes Recht. Die ersten ihrer Vorschriften sind bereits im Februar 2025 in Kraft getreten, weitere Abschnitte folgen sukzessive, bis im August 2026 nahezu die gesamte Verordnung verpflichtend wird. Wenn Sie in Ihrem Unternehmen KI-Anwendungen verwenden, müssen Sie sich daher in den kommenden Monaten mit der KI-VO auseinandersetzen. Sie hat insofern ohne weiteres das Potenzial, zur „neuen DS-GVO“ zu werden.

Der Schwerpunkt der KI-VO liegt auf umfangreichen Regeln für sog. „Hochrisiko-KI-Systeme“, die aufgrund ihres Einsatzes als sicherheitskritisches Bauteil oder in gesellschaftlich sensiblen Bereichen besonderer Aufmerksamkeit bedürfen. Darüber hinaus finden sich auch Transparenzpflichten beim Betrieb harmloserer KI-Systeme sowie Vorschriften für die Integration von universal verwendbaren KI-Modellen in eigene Produkte. Adressiert werden in erster Linie die Anbieter der jeweiligen KI-Anwendungen, daneben auch deren Betreiber, sowie Händler und Einführer.

Dieses Buch soll Ihnen dabei helfen, die KI-VO mit ihren 113 Artikeln und 13 Anhängen besser zu verstehen und die für Ihr Unternehmen passenden Lösungen zu finden. Im ersten Teil werden die Grundlagen der KI-VO dargestellt, indem zunächst die unterschiedlichen KI-Systeme und ihre Einsatzfelder erläutert werden, bevor die einzelnen Akteure und ihre jeweiligen Charakteristika beschrieben werden. Der zweite große Teil widmet sich den Pflichten, die Ihnen im Einzelfall auferlegt werden. Dabei wird die Systematik des ersten Teils fortgeschrieben und für jedes der KI-Systeme detailliert erklärt, was Sie abhängig von Ihrer Rolle als Anbieter, Betreiber oder sonstiger Akteur zu tun haben.

Dort, wo die einschlägigen Vorschriften der KI-VO besonders komplex sind, ergänzen Schaubilder die Darstellung, die den betreffenden Abschnitt einleiten. Da es sich bei der KI-VO derzeit noch um ein „neues“ Gesetz handelt, ist maßgebliche Grundlage der Ausführungen der Normtext selbst samt seiner Erwägungsgründe. Eingearbeitet wurden aber bereits die ersten offiziellen Empfehlungen der Kommission. Soweit vorhanden, wird schließlich auf weiterführende Erläuterungen in Fachzeitschriften und Kommentaren hingewiesen.

Mein herzlicher Dank gilt meiner Kollegin Frau Rechtsanwältin Julia Straburzynski für ihre Beiträge zu diesem Werk.

Dr. habil. Christian Förster

VIIBearbeiterverzeichnis

Dr. habil. Christian Förster

Rechtsanwalt, Bartsch Rechtsanwälte, Karlsruhe

Julia Straburzynski

Rechtsanwältin, Bartsch Rechtsanwälte, Karlsruhe

IXVerzeichnis der Schaubilder

Schaubild 1

Begriff des KI-Systems

3

Schaubild 2

Typen von Hochrisiko-KI-Systemen, Art. 6 KI-VO

10

Schaubild 3

Verbotene KI-Praktiken, Art. 5 KI-VO

24

Schaubild 4

Akteure der KI-VO

33

Schaubild 4.1

Anbieter

34

Schaubild 4.2

Betreiber

35

Schaubild 4.3

Einführer

38

Schaubild 4.4

Händler

38

Schaubild 4.5

Bevollmächtigter

39

Schaubild 5

Pflichtenmatrix der KI-VO

45

Schaubild 6

Transparenzpflichtige KI-Systeme, Art. 50 KI-VO

48

Schaubild 6.1

Pflichten des Anbieters

49

Schaubild 6.1.1

Direkte Interaktion mit natürlichen Personen

49

Schaubild 6.1.2

Erzeugung synthetischer Bild-, Ton-, Video- oder Textinhalte

51

Schaubild 6.2

Pflichten des Betreibers

52

Schaubild 6.2.1

Emotionserkennung oder biometrische Kategorisierung

53

Schaubild 6.2.2

Erzeugung von „Deepfakes“

53

Schaubild 6.2.3

Erzeugung von Text zur Information der Öffentlichkeit

55

Schaubild 7

Anbieterpflichten bei Hochrisiko-KI-Systemen, Art. 16 KI-VO

58

Schaubild 7.1

Pflichten vor dem Inverkehrbringen

60

Schaubild 7.2

Pflichten nach dem Inverkehrbringen

101

Schaubild 7.3

Anlassabhängige Pflichten

103

Schaubild 8

Elemente des Risikomanagementsystems, Art. 9 KI-VO

62

Schaubild 9

Grundsätze für Auswahl und Verwendung von Trainingsdaten, Art. 10 KI-VO

66

Schaubild 10

Ermöglichung menschlicher Aufsicht, Art. 14 KI-VO

78

Schaubild 11

Anforderungen an Genauigkeit, Robustheit und Cybersicherheit, Art. 15 KI-VO

81

Schaubild 12

Varianten und Auswahl des Konformitätsbewertungsverfahrens, Art. 43 KI-VO

91

Schaubild 13

Varianten der Registrierungspflicht, Art. 49 KI-VO

99

Schaubild 14

Korrekturmaßnahmen und Informationspflichten, Art. 20 KI-VO

104

Schaubild 15

Meldung schwerwiegender Vorfälle, Art. 73 KI-VO

109

Schaubild 16

Betreiberpflichten bei Hochrisiko-KI-Systemen, Art. 26 KI-VO

113

Schaubild 16.1

Allgemeine Pflichten

114

Schaubild 16.2

Pflichten im Einzelfall

121

Schaubild 17

Überwachungs- und Informationspflichten des Betreibers von Hochrisiko-KI-Systemen

118

XSchaubild 18

Einführerpflichten bei Hochrisiko-KI-Systemen, Art. 23 KI-VO

122

Schaubild 19

Händlerpflichten bei Hochrisiko-KI-Systemen, Art. 24 KI-VO

129

Schaubild 20

Bevollmächtigtenpflichten bei Hochrisiko-KI-Systemen, Art. 22 KI-VO

133

Schaubild 20.1

Allgemeine Pflichten

134

Schaubild 20.2

Pflicht zur Beendigung des Auftrags

136

Schaubild 21

Anbieterpflichten bei KI-Modellen mit allgemeinem Verwendungszweck

137

Schaubild 21.1

Grundfall, Art. 53 KI-VO

139

Schaubild 22

Zusätzliche Anbieterpflichten bei KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko

150

Schaubild 23

Bevollmächtigtenpflichten bei KI-Modellen mit allgemeinem Verwendungszweck, Art. 54 KI-VO

154

Schaubild 23.1

Allgemeine Pflichten

155

Schaubild 23.2

Pflicht zur Beendigung des Auftrags, Art. 54 Abs. 5 KI-VO

157

XIInhaltsübersicht

Verzeichnis der SchaubilderInhaltsverzeichnis§ 1 Grundlegende Begriffe und Konzepte der KI-VOA. KI-Systeme in der KI-VOB. Akteure der KI-VOC. Geltungsbeginn der Vorschriften der KI-VO§ 2 PflichtenkatalogeA. Einfaches KI-System und allgemeine Pflicht zur KI-Kompetenz, Art. 4 KI-VOB. Transparenzpflichtiges KI-SystemC. Hochrisiko KI-SystemD. KI-Modell mit allgemeinem Verwendungszweck§ 3 Sanktionen§ 4 Nützliche GesetzesmaterialienA. KI-VO und begleitende RechtsakteB. Weitere RechtsakteSachverzeichnis

XIIIInhaltsverzeichnis

Verzeichnis der SchaubilderInhaltsübersicht§ 1 Grundlegende Begriffe und Konzepte der KI-VOA. KI-Systeme in der KI-VOI. Begriff des „KI-Systems“1. „Maschinenbasiertes“ System2. Autonome Arbeitsweise3. Anpassungs- und Lernfähigkeit4. Explizite oder implizite Ziele und Zweckbestimmung5. Fähigkeit, Rückschlüsse zu ziehen6. Erstellung von Ausgaben7. Mögliche Beeinflussung der physischen oder virtuellen UmgebungII. Arten von KI-Systemen1. Einfaches KI-System2. Transparenzpflichtiges KI-System, Art. 50 KI-VO3. Hochrisiko-KI-System, Art. 6 KI-VOa) KI-System mit Produktsicherheitsrelevanz, Art. 6 Abs. 1 KI-VOaa) Produkt oder Sicherheitsbauteilbb) Zwingende externe Konformitätsbewertungb) KI-System mit kritischem Einsatzzweck, Art. 6 Abs. 2 KI-VOaa) Grundfälle(1) Fallgruppe 1: Rechtlich zulässiger Einsatz von Biometrie(2) Fallgruppe 2: Kritische Infrastruktur(3) Fallgruppe 3: Allgemeine und berufliche Bildung(4) Fallgruppe 4: Beschäftigung, Personalmanagement und Zugang zur Selbständigkeit(5) Fallgruppe 5: Zugänglichkeit und Inanspruchnahme grundlegender privater und grundlegender öffentlicher Dienste und Leistungen(6) Fallgruppen 6–8: Strafverfolgung; Migration, Asyl und Grenzkontrolle; Rechtspflege und demokratische Prozessebb) Ausnahmsweise geringeres Risiko, Art. 6 Abs. 3 KI-VO4. KI-Modell mit allgemeinem Verwendungszwecka) Grundfallb) Sonderfall des „systemischen Risikos“XIVIII. Nicht erfasste KI-Systeme1. Forschung und Entwicklung2. Einfache Open Source KI-SystemeIV. Verbotene Praktiken im KI-Bereich, Art. 5 KI-VO1. Unterschwellige oder absichtliche Manipulation von Personena) Techniken der Beeinflussung, Manipulation oder Täuschungb) Beeinträchtigung der Entscheidungsfähigkeitc) Zufügen erheblicher Schäden2. Ausnutzung vulnerabler oder schutzbedürftiger Personena) Alterb) Behinderungc) Bestimmte sozialökonomische Situation3. Ungerechtfertigtes Social Scoring4. Risikobewertung bezüglich künftiger Straftaten5. Erstellung von Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen6. Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen7. Biometrische Kategorisierung zu bestimmten Zwecken8. Biometrische Fernidentifizierung zur StrafverfolgungB. Akteure der KI-VOI. Anbieter1. Entwicklung eines KI-Systems2. Inverkehrbringen oder Inbetriebnahme3. UnionsbezugII. Betreiber1. Eigenverantwortliche Verwendung eines KI-Systems2. Berufliche Tätigkeit3. Unionsbezug4. Geltung als Anbieter eines Hochrisiko-KI-Systems, Art. 25 KI-VOa) Einzelfälleb) Folgen für den ErstanbieterIII. EinführerIV. HändlerV. BevollmächtigterVI. ProduktherstellerVII. Betroffene PersonC. Geltungsbeginn der Vorschriften der KI-VOXV§ 2 PflichtenkatalogeA. Einfaches KI-System und allgemeine Pflicht zur KI-Kompetenz, Art. 4 KI-VOB. Transparenzpflichtiges KI-SystemI. Pflichten des Anbieters1. Direkte Interaktion mit natürlichen Personena) Regelb) Ausnahme2. Erzeugung synthetischer Bild-, Ton-, Video- oder Textinhaltea) Regelb) AusnahmeII. Pflichten des Betreibers1. Emotionserkennung oder biometrische Kategorisierung2. Erzeugung von „Deepfakes“a) Regelb) Ausnahme3. Erzeugung von Text zur Information der Öffentlichkeita) Regelb) AusnahmeC. Hochrisiko KI-SystemI. Pflichten des Anbieters1. Pflichten vor dem Inverkehrbringena) Einhaltung der Anforderungen der KI-VO und einschlägiger Harmonisierungsrechtsakte, Art. 8 KI-VOaa) Grundsatzprogrammbb) Hochrisiko-KI-System mit Produktsicherheitsrelevanzb) Risikomanagementsystem, Art. 9 KI-VOaa) Allgemeinesbb) Risikoermittlung, -analyse und -bewertungcc) Risikomanagementmaßnahmendd) Testsc) Auswahl und Verwendung von Trainingsdaten, Art. 10 KI-VOaa) Allgemeinesbb) Datenmanagementcc) Datenqualitätdd) Berücksichtigung der Rahmenbedingungenee) Anforderungen für das Trainieren und Testen von Hochrisiko-KI-Systemen mit besonderen Kategorien personenbezogener DatenXVId) Technische Dokumentation, Art. 11 KI-VOaa) Erstellung und Pflegebb) Inhaltliche Anforderungencc) Größenabhängige Erleichterungene) Automatische Protokollierung, Art. 12 KI-VOaa) Eingebaute Protokollierungsfunktionbb) Zu protokollierende Ereignissecc) Biometrische Fernidentifizierungssystemef) Transparenter Betrieb und Betriebsanleitung, Art. 13 KI-VOaa) Konzeption eines „transparenten Betriebs“bb) Bereitstellung einer Betriebsanleitung(1) Allgemeines(2) Inhaltliche Anforderungeng) Ermöglichung menschlicher Aufsicht, Art. 14 KI-VOaa) Konzeptbb) Technische Umsetzungcc) Instruktionspflichten gegenüber dem Betreiberdd) Biometrische Fernidentifizierungssystemeh) Genauigkeit, Robustheit und Cybersicherheit, Art. 15 KI-VOaa) Allgemeinesbb) Genauigkeitcc) Robustheitdd) Cybersicherheiti) Qualitätsmanagementsystem, Art. 17 KI-VOaa) Einrichtungbb) Dokumentation(1) Allgemeines(2) Inhaltliche Anforderungencc) Größenabhängige Erleichterungendd) Branchenspezifische Besonderheitenj) System zur Beobachtung nach dem Inverkehrbringen, Art. 72 KI-VOaa) Allgemeinesbb) Inhaltliche Anforderungencc) Beobachtungsplank) Anbieterkennzeichnungl) Barrierefreiheitsanforderungenm) Vornahme einer Konformitätsbewertung, Art. 43 KI-VOaa) Konformitätsbewertungsverfahren(1) Internes Konformitätsbewertungsverfahren(2) Externes Konformitätsbewertungsverfahren(3) Kombiniertes KonformitätsbewertungsverfahrenXVIIbb) Auswahl des Konformitätsbewertungsverfahrens(1) Hochrisiko-KI-System mit biometrischem Einsatzzweck(2) Hochrisiko-KI-System mit sonstigem kritischen Einsatzzweck(3) Hochrisiko-KI-System mit Produktsicherheitsrelevanzcc) Neues Konformitätsbewertungsverfahren bei wesentlicher Änderung des Hochrisiko-KI-Systems(1) Regelfall(2) Fortentwicklung selbstlernender Hochrisiko-KI-Systemen) Ausstellen einer EU-Konformitätserklärung, Art. 47 KI-VOaa) Förmliche Anforderungenbb) Inhaltliche Anforderungencc) Kombinierte EU-Konformitätserklärungo) Anbringen einer CE-Kennzeichnung, Art. 48 KI-VOp) Registrierungspflicht, Art. 49 KI-VOaa) Hochrisiko-KI-Systeme mit kritischem Einsatzzweckbb) Hochrisiko-KI-Systeme mit geringerem Risikocc) Hochrisiko-KI-Systeme der kritischen Infrastruktur2. Pflichten nach dem Inverkehrbringena) Aufbewahrung der Dokumentation, Art. 18 KI-VOaa) Aufbewahrungspflichtbb) Finanzinstituteb) Aufbewahrung automatisch erzeugter Protokolle, Art. 19 KI-VOaa) Aufbewahrungspflichtbb) Zeitraumcc) Finanzinstitute3. Anlassabhängige Pflichtena) Korrekturmaßnahmen und Informationspflichten, Art. 20 KI-VOaa) Korrektur- und Informationspflicht bei Non-Konformität(1) Wiederherstellung der Konformität des Hochrisiko-KI-Systems(2) Rücknahme, Rückruf oder Deaktivierung des Hochrisiko-KI-Systems(3) Information über vorgenommene Maßnahmenbb) Untersuchungs- und Informationspflicht bei besonderen Risikenb) Beantwortung behördlicher Anfragen, Art. 21 KI-VOc) Benennung eines Bevollmächtigten, Art. 22 KI-VOd) Meldung schwerwiegender Vorfälle, Art. 73 KI-VOaa) AllgemeinesXVIIIbb) Zeitspanne bis zur Meldungcc) Untersuchungs- und Korrekturmaßnahmendd) Maßnahmen der MarktüberwachungsbehördenII. Pflichten des Betreibers, Art. 26 KI-VO1. Allgemeine Pflichtena) Maßnahmen zur Verwendung gemäß Betriebsanleitungb) Menschliche Aufsichtaa) Übertragung menschlicher Aufsichtbb) Umsetzung von Aufsichtsmaßnahmen des Anbietersc) Beachtung sonstiger Rechtspflichtend) Qualität der Eingabedatene) Überwachungs- und Informationspflichtenaa) Unterstützende Informationen für das System zur Beobachtungbb) Information über und Reaktion auf unvertretbare Risikencc) Information über schwerwiegende Vorfällef) Aufbewahrung automatisch erzeugter Protokolleg) Zusammenarbeit mit Behörden2. Pflichten im EinzelfallIII. Pflichten des Einführers, Art. 23 KI-VO1. Überprüfung von Anbieterpflichtena) Durchführung des Konformitätsbewertungsverfahrensb) Erstellung der technischen Dokumentationc) CE-Kennzeichnung, EU-Konformitätserklärung und Betriebsanleitungd) Benennung eines Bevollmächtigten2. Maßnahmen bei Verdacht der Non-Konformität und erkannten Risikena) Begründeter Verdacht der Non-Konformitätb) Information über unvertretbare Risiken3. Einführerkennzeichnung4. Angemessene Lagerungs- und Transportbedingungen5. Bereithalten von Dokumenten6. Übermittlung von Informationen und Dokumenten7. Zusammenarbeit mit BehördenIV. Pflichten des Händlers, Art. 24 KI-VO1. Überprüfung von Anbieterpflichtena) CE-Kennzeichnung, EU-Konformitätserklärung und Betriebsanleitungb) Anbieter- oder Einführerkennzeichnungc) Existenz eines QualitätsmanagementsystemsXIX2. Maßnahmen bei anfänglichem Verdacht der Non-Konformität und erkannten Risikena) Begründeter Verdacht der Non-Konformitätb) Information über unvertretbare Risiken3. Angemessene Lagerungs- und Transportbedingungen4. Maßnahmen bei späterem Verdacht der Non-Konformität und erkannten Risikena) Korrektur- und Informationspflicht bei Non-Konformitätb) Information über unvertretbare Risiken5. Übermittlung von Informationen und Dokumenten6. Zusammenarbeit mit BehördenV. Pflichten des Bevollmächtigten, Art. 22 KI-VO1. Allgemeine Pflichtena) Überprüfung von Anbieterpflichtenb) Bereithalten von Dokumentenc) Übermittlung von Informationen und Dokumentend) Zusammenarbeit mit Behördene) Registrierungspflicht2. Pflicht zur Beendigung des AuftragsD. KI-Modell mit allgemeinem VerwendungszweckI. Pflichten des Anbieters1. Grundfall, Art. 53 KI-VOa) Informations- und Dokumentationspflichtenaa) Erstellung der technischen Dokumentation für Behördenbb) Bereitstellung von Informationen für KI-System-Anbietercc) Entwicklung einer „Strategie“ zur Einhaltung des Urheberrechtsdd) Veröffentlichung von Trainingsinhaltenb) Erleichterungen bei freien und quelloffenen Lizenzenc) Zusammenarbeit mit Behördend) Nachweis der Pflichterfüllung2. Benennung eines Bevollmächtigten3. KI-Modell mit allgemeinem Verwendungszweck mit systemischem Risiko, Art. 55 KI-VOa) Mitteilungspflicht bei systemischem Risiko, Art. 52 KI-VOb) Erstellung einer erweiterten technischen Dokumentation für Behördenc) Zusätzliche Pflichten, Art. 55 KI-VOaa) Modellbewertung mit standardisierten Protokollenbb) Bewertung und Minderung systemischer Risikencc) Erfassung und Information über schwerwiegende Vorfälledd) Gewährleistung angemessener Cybersicherheitd) Nachweis der PflichterfüllungXXII. Pflichten des Bevollmächtigten, Art. 54 KI-VO1. Allgemeine Pflichtena) Überprüfung von Anbieterpflichtenc) Übermittlung von Informationen und Dokumentend) Zusammenarbeit mit Behörden2. Pflicht zur Beendigung des Auftrags, Art. 54 Abs. 5 KI-VO§ 3 Sanktionen§ 4 Nützliche GesetzesmaterialienA. KI-VO und begleitende RechtsakteB. Weitere RechtsakteSachverzeichnis

XXIVerzeichnis der allgemeinen Abkürzungen

aA

andere(r) Ansicht/Auffassung

ABl.

Amtsblatt

Abs.

Absatz

Abschn.

Abschnitt

aE

am Ende

Alt.

Alternative

Anh.

Anhang

Art.

Artikel

Aufl.

Auflage

B2B

Business-to-Business, dh Geschäftsbeziehungen zwischen Unternehmern und Privatpersonen

BetrVG

Betriebsverfassungsgesetz

BFSG

Gesetz zur Umsetzung der Richtlinie (EU) 2019/882 des Europäischen Parlaments und des Rates über die Barrierefreiheitsanforderungen für Produkte und Dienstleistungen – Barrierefreiheitsstärkungsgesetz

BFSGV

Verordnung über die Barrierefreiheitsanforderungen für Produkte und Dienstleistungen nach dem Barrierefreiheitsstärkungsgesetz

BGB

Bürgerliches Gesetzbuch

BGBl.

Bundesgesetzblatt

BGH

Bundesgerichtshof

Bsp.

Beispiel

bspw.

beispielsweise

bzgl.

bezüglich

bzw.

beziehungsweise

BT-Drs.

Bundestag-Drucksache

CE

Conformité Européenne

CRA

Verordnung (EU) 2024/2847 des Europäischen Parlaments und des Rates vom 23. Oktober 2024 über horizontale Cybersicherheitsanforderungen für Produkte mit digitalen Elementen und zur Änderung der Verordnungen (EU) Nr. 168/2013 und (EU) 2019/1020 und der Richtlinie (EU) 2020/1828

dh

das heißt

Drs.

Drucksache

DS-GVO

Verordnung des Europäischen Parlaments und des Rates zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten und zum freien Datenverkehr

DSM-RL

RL (EU) 2019/790 über Urheberrecht und verwandte Schutzrechte im digitalen Binnenmarkt

XXIIEd.

Edition

EG

Europäische Gemeinschaft

Erwgr.

Erwägungsgrund

etc

et cetera (und so weiter)

EU

Europäische Union

f., ff.

folgende Seite bzw. Seiten

G

Gesetz

gem.

gemäß

ggf.

gegebenenfalls

GPT

Generative pre-trained transformer

grds.

grundsätzlich

HdB

Handbuch

Hs.

Halbsatz

insbes.

insbesondere

insges.

insgesamt

iSd

im Sinne des/der

iSv

im Sinne von

iVm

in Verbindung mit

Kap.

Kapitel

KI

Künstliche Intelligenz

KI-VO

Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828

KMU

kleine und mittlere Unternehmen

lit.

litera

Mio.

Million(en)

NDA

Non-Disclosure Agreement, Geheimhaltungsvereinbarung

Nr.

Nummer

og

oben genannte(r,s)

oÄ

oder Ähnliche/s

XXIIIProdHaftG

Gesetz über die Haftung für fehlerhafte Produkte – Produkthaftungsgesetz

ProdSG

Gesetz über die Bereitstellung von Produkten auf dem Markt – Produktsicherheitsgesetz

RL

Richtlinie

Rn.

Randnummer

S.

Seite(n), Satz

s.

siehe

s. auch

siehe auch

s. oben

siehe oben

s. unten

siehe unten

SE

Europäische Aktiengesellschaft (Societas Europaea)

sog.

sogenannt

teilw.

teilweise

ua

und andere, unter anderem

UAbs.

Unterabsatz

vgl.

vergleiche

VO

Verordnung

zB

zum Beispiel

Ziff.

Ziffer

zit.

zitiert

XXVLiteraturverzeichnis

Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, 1. Aufl. 2020 (zit. Ebers/Heinze/Krügel/Steinrötter KI/Bearbeiter)

Hau/Poseck, BeckOK BGB, 74. Edition, 1.5.2025 (zit. BeckOK BGB/Bearbeiter)

Hetmank/Meines, Menschliche Aufsicht in der KI-VO, KIR 2024, 127

Lommatzsch/Albrecht, Einsatz von KI im Personalwesen von Unternehmen – Neue Herangehensweise nach Geltung der KI-VO, GWR 2025, 37

Martini/Wendehorst, KI-VO: Verordnung über Künstliche Intelligenz, 1. Aufl. 2024 (zit. Martini/Wendehorst/Bearbeiter)

Schefzig/Kilian, BeckOK KI-Recht, 2. Edition, 1.5.2025 (zit. BeckOK KI-Recht/Bearbeiter)

Thiermann/Wiborg, Klinische Prüfungen mit KI-basierten Medizinprodukten im Anwendungsbereich der KI-Verordnung, MPR 2025, 10

Voigt/Hullen, Handbuch KI-Verordnung, 1. Aufl. 2024 (zit. Voigt/Hullen KI-VO HdB)

Wendehorst/Nessler/Aufreiter/Aichinger, Der Begriff des „KI-Systems“ unter der neuen KI-VO, MMR 2024, 605

1§ 1 Grundlegende Begriffe und Konzepte der KI-VO

A. KI-Systeme in der KI-VOI. Begriff des „KI-Systems“1. „Maschinenbasiertes“ System2. Autonome Arbeitsweise3. Anpassungs- und Lernfähigkeit4. Explizite oder implizite Ziele und Zweckbestimmung5. Fähigkeit, Rückschlüsse zu ziehen6. Erstellung von Ausgaben7. Mögliche Beeinflussung der physischen oder virtuellen UmgebungII. Arten von KI-Systemen1. Einfaches KI-System2. Transparenzpflichtiges KI-System, Art. 50 KI-VO3. Hochrisiko-KI-System, Art. 6 KI-VOa) KI-System mit Produktsicherheitsrelevanz, Art. 6 Abs. 1 KI-VOaa) Produkt oder Sicherheitsbauteilbb) Zwingende externe Konformitätsbewertungb) KI-System mit kritischem Einsatzzweck, Art. 6 Abs. 2 KI-VOaa) Grundfälle(1) Fallgruppe 1: Rechtlich zulässiger Einsatz von Biometrie(2) Fallgruppe 2: Kritische Infrastruktur(3) Fallgruppe 3: Allgemeine und berufliche Bildung(4) Fallgruppe 4: Beschäftigung, Personalmanagement und Zugang zur Selbständigkeit(5) Fallgruppe 5: Zugänglichkeit und Inanspruchnahme grundlegender privater und grundlegender öffentlicher Dienste und Leistungen(6) Fallgruppen 6–8: Strafverfolgung; Migration, Asyl und Grenzkontrolle; Rechtspflege und demokratische Prozessebb) Ausnahmsweise geringeres Risiko, Art. 6 Abs. 3 KI-VO4. KI-Modell mit allgemeinem Verwendungszwecka) Grundfallb) Sonderfall des „systemischen Risikos“III. Nicht erfasste KI-Systeme1. Forschung und Entwicklung2. Einfache Open Source KI-SystemeIV. Verbotene Praktiken im KI-Bereich, Art. 5 KI-VO1. Unterschwellige oder absichtliche Manipulation von Personena) Techniken der Beeinflussung, Manipulation oder Täuschungb) Beeinträchtigung der Entscheidungsfähigkeitc) Zufügen erheblicher Schäden2. Ausnutzung vulnerabler oder schutzbedürftiger Personena) Alterb) Behinderungc) Bestimmte sozialökonomische Situation3. Ungerechtfertigtes Social Scoring4. Risikobewertung bezüglich künftiger Straftaten5. Erstellung von Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen6. Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen27. Biometrische Kategorisierung zu bestimmten Zwecken8. Biometrische Fernidentifizierung zur StrafverfolgungB. Akteure der KI-VOI. Anbieter1. Entwicklung eines KI-Systems2. Inverkehrbringen oder Inbetriebnahme3. UnionsbezugII. Betreiber1. Eigenverantwortliche Verwendung eines KI-Systems2. Berufliche Tätigkeit3. Unionsbezug4. Geltung als Anbieter eines Hochrisiko-KI-Systems, Art. 25 KI-VOa) Einzelfälleb) Folgen für den ErstanbieterIII. EinführerIV. HändlerV. BevollmächtigterVI. ProduktherstellerVII. Betroffene PersonC. Geltungsbeginn der Vorschriften der KI-VO

A. KI-Systeme in der KI-VO

1

Angesichts der vielerorts anzutreffenden Unsicherheit über Inhalt und Bedeutung der KI-VO und der häufig geäußerten Sorge, die KI-VO werde jegliche Innovation auf dem Gebiet der KI-Forschung in Europa im Keime ersticken, weil nun „alles verboten“ sei, wird hier gleich zu Beginn zu Gelassenheit aufgerufen: Nur ausgewählte KI-Systeme unterliegen überhaupt den regulatorischen Verpflichtungen und der Aufsicht gemäß der KI-VO. Ihr risikobasierter Ansatz bedeutet, dass nur diejenigen Systeme, die die größten Risiken für die Grundrechte und Grundfreiheiten mit sich bringen, den Verboten gem. Art. 5 KI-VO, den Regulierungsvorschriften für Hochrisiko-KI-Systeme gem. Art. 6 KI-VO und den Transparenzanforderungen für eine begrenzte Anzahl vordefinierter KI-Systeme gem. Art. 50 KI-VO unterliegen. Die überwiegende Mehrheit der Systeme, selbst wenn sie als KI-Systeme iSv Art. 3 Nr. 1 KI-VO gelten sollten, unterliegt keinen regulatorischen Anforderungen nach der KI-VO (so zu Recht COM(2025) 924 final, Rn. 63).

2

Ob und ggf. welche Pflichten aus der KI-VO Sie treffen, hängt maßgeblich davon ab, welches KI-System Sie einsetzen und in welcher Funktion Sie dies tun. Bevor daher die einzelnen Pflichten dargestellt werden, die sich aus der Kombination des Typs des jeweils von Ihnen verwendeten KI-Systems und der im Zuge dessen von Ihnen eingenommenen „Rolle“ ergeben (dazu § 2), werden in diesem Teil zunächst das „KI-System“ (A.) sowie die in der der KI-VO vorgesehenen „Akteure“ (B.) näher erläutert.

3I. Begriff des „KI-Systems“

Begriff des KI-Systems

Schaubild 1

3

Im Mittelpunkt der KI-VO steht das „KI-System“, das folgendermaßen definiert wird (Art. 3 Nr. 1 KI-VO, Erwgr. 12 KI-VO):

[Ein] „KI-System“ [ist] ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.

4

Von zentraler Bedeutung und damit zugleich Abgrenzungsmerkmal zur bloßen Datenverarbeitung ist zum einen die Fähigkeit des KI-Systems, aus eingegebenen Informationen 4selbständig Schlussfolgerungen zu ziehen und dem Anwender eigene Ergebnisse zu präsentieren: Die Entscheidung des KI-Systems darf nicht ausschließlich auf vordefinierten Regeln von natürlichen Personen beruhen. Hinzukommt regelmäßig die Lernfähigkeit des KI-Systems, die es – vergleichbar dem Erfahrungszuwachs eines heranwachsenden Menschen – mit andauernder Verwendung „besser“ werden lässt.

5

KI-Modelle hingegen unterfallen per se (mit Ausnahme der KI-Modelle mit allgemeinem Verwendungszweck (→ Rn. 61 ff.) nicht dem Anwendungsbereich der KI-VO. Als Akteur eines KI-Modells müssen Sie die Pflichten der KI-VO daher erst beachten, wenn das KI-Modell in ein KI-System integriert wird. Das Modell ist sozusagen das „Hirn“ der KI, dh die algorithmische Grundlage, während das KI-System die „als Ganzes“ nutzbare Anwendung darstellt. Anders gewendet, liegt erst beim Hinzufügen weiterer Komponenten (zB einer Nutzerschnittstelle) das anwendungsgeeignete Produkt und damit ein KI-System vor (vgl. Voigt/Hullen KI-VO-HdB, 2024, S. 6).

6