KI-VO E-Book

• Herausgeber: Fachmedien Recht und Wirtschaft
• Kategorie: Fachliteratur
• Serie: InTeR-Schriftenreihe
• Sprache: Deutsch

Seitenzahl: 2849

Veröffentlichungsjahr: 2025

Beschreibung

Die Verordnung über künstliche Intelligenz (KI-VO) stellt den weltweit ersten Versuch dar, den Einsatz künstlicher Intelligenz umfassend zu regulieren. Der Begriff der künstlichen Intelligenz wird für eine Vielzahl von Anwendungen und Funktionen zur automatisierten Datenverarbeitung und -umwandlung, Entscheidungsfindung und Machine Learning verwendet. Die KI-VO verfolgt das Ziel, einen rechtlichen Rahmen für den Einsatz von KI-Systemen zu schaffen, der Innovation fördert und gleichzeitig Risiken minimiert. So soll letztlich ein sicheres, ethisch verantwortliches und transparentes Umfeld für KI-Technologien gewährleistet werden. Die KI-VO soll darüber hinaus Nutzen und Risiken von KI-Technologien in ein ausgewogenes Verhältnis bringen. Sie folgt dabei einem risikobasierten Ansatz, der den Einsatz von KI-Systemen in bestimmten Anwendungsszenarien verbietet oder von technisch-organisatorischen sowie regulatorischen Voraussetzungen abhängig macht. Zugleich kommt der KI-VO im gesamten Bereich der Marktregulierung zentrale Bedeutung zu, da diverse weitere Vorschriften auf sie Bezug nehmen und die KI-VO selbst diverse weitere Rechtsakte beeinflusst. Sämtliche Autorinnen und Autoren sind ausgewiesene Experten in dem Bereich der künstlichen Intelligenz. In diesem Kommentar beleuchten sie praxisnah die neuen, von der EU eingeführten, gesetzlichen Anforderungen an die Entwicklung, das Inverkehrbringen und den Einsatz von KI-Systemen.

Leseprobe

Kommentar KI-VO

Verordnung über künstliche Intelligenz

Herausgegeben von

Prof. Dr. David Bomhard

Physiker und Rechtsanwalt, München

Fritz-Ulli Pieper, LL.M.

Rechtsanwalt, Fachanwalt für Informationstechnologierecht, Düsseldorf

Prof. Dr. Susanne Wende, LL.M. (Dublin)

Hochschule München

Bearbeitet von

Kristin Benedikt; Prof. Dr. Michael Beurskens, LL.M. (Gew. Rechtsschutz), LL.M. (Chicago); Prof. Dr. David Bomhard; Dr. Isabelle Brams; Dr. Lucia Franke; Mareike Christine Gehrmann; Prof. Dr. Dagmar Gesmann-Nuissl; Prof. Dr. Patrick Glauner; Svenja Hahn, MdEP; Dr. Sophie Herold; Dr. Pascal Hofer; Dr. Lisa Kappler; Dr. Roman F. Kehrberger; Prof. Dr. Thomas Klindt; Prof. Dr. Carsten König, LL.M. (Harvard); Dr. Clemens Mattheis; Marieke Merkle; Rhian L. M. Moritz; Dr. Martin Pflüger; Fritz-Ulli Pieper, LL.M.; Dr. Carlo Piltz; Dr. Benedikt Rohrßen; Dr. Marc Ruttloff; Nicole Saurin; Adrian Schneider; Leonie Schneider; Maximilian Schumann; Dr. Astrid Seehafer, M.Sc.; Dr. Jasper Siems; Dr. Jonas Siglmüller, MBA; Dr. Martin Strauch, LL.M. (Edinburgh); Arne Thiermann, LL.M. (LSE); Prof. Dr. Henrike Weiden, LL.M.; Rebekka Weiß, LL.M. (Glasgow); Prof. Dr. Susanne Wende, LL.M. (Dublin); Anton Wietzke; Johannes Zwerschke, LL.M.

Fachmedien Recht und Wirtschaft | dfv Mediengruppe | Frankfurt am Main

Zitiervorschlag:Bearbeiter, in: Bomhard/Pieper/Wende, KI-VO, Art. … Rn. …

Alle im Buch verwendeten Begriffe verstehen sich geschlechterneutral. Aus Gründen der besseren Lesbarkeit wird auf eine geschlechtsspezifische Differenzierung verzichtet – entsprechende Begriffe gelten im Sinne der Gleichbehandlung grundsätzlich für alle Geschlechter. Die verkürzte Sprachform hat lediglich redaktionelle Gründe und beinhaltet keine Wertung.

Bibliografische Information der Deutschen Nationalbibliothek

Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.de abrufbar.

ISBN 978–3–8005–1830–2

© 2025 Deutscher Fachverlag GmbH, Fachmedien Recht und Wirtschaft, Mainzer Landstr. 251, 60326 Frankfurt am Main, [email protected]

Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen.

Satzkonvertierung: Lichtsatz Michael Glaese GmbH, 69502 Hemsbach

Druck und Verarbeitung: Elanders Waiblingen GmbH,71332 Waiblingen

Printed in Germany

Vorwort der Herausgeber

Mit der Verordnung über künstliche Intelligenz (KI-VO) unternimmt die Europäische Union einen weltweit beachteten Vorstoß zur Regulierung einer Schlüsseltechnologie des digitalen Zeitalters. Die KI-VO verfolgt das Ziel, einen rechtlichen Rahmen für den Einsatz von KI-Systemen zu schaffen, der Innovation fördert und gleichzeitig Risiken minimiert. So soll letztlich ein sicheres, ethisch verantwortliches und transparentes Umfeld für KI-Technologien gewährleistet werden. Ob dies gelingt, bleibt abzuwarten.

Die EU hat das Ziel, eine technische Führungsrolle im KI-Bereich einzunehmen – die Erwartungen sind also hoch gesteckt. Auch dies soll die KI-VO begünstigen. Gleichzeitig wirft die KI-VO eine Vielzahl offener Rechtsfragen auf – von der Bestimmung der Akteure in komplexen KI-Lieferketten über die Vereinbarkeit mit bestehenden sektoralen Regelwerken bis hin zu Herausforderungen bei der praktischen Umsetzung der Anforderungen an Transparenz, Datenqualität und Konformitätsbewertung. Aktuell sieht sich die Praxis massiver Rechtsunsicherheit ausgesetzt, wobei die KI-VO oftmals als Innovationsbremse wahrgenommen wird.

Dieser Kommentar richtet sich gleichermaßen an Praktiker, Behörden, Gerichte, Unternehmen sowie an Wissenschaftler, die sich mit der Regulierung von KI befassen. Er will ein verlässlicher Wegweiser durch das neue Regelwerk sein. Dafür vereint er wissenschaftlich fundierte Erörterungen mit der nötigen praktischen Handhabbarkeit und setzt dabei auf im IT-, Datenschutz- sowie Produktrecht, samt angrenzender Rechtsbereiche, äußerst erfahrene Autorinnen und Autoren. Wir sind überzeugt, mit diesem Ansatz das „Annähern“ an die herausfordernde Materie merklich erleichtern und gleichzeitig auch bei komplexen Fragestellungen eine verlässliche Orientierung geben zu können – wohlwissend, dass uns schon in naher Zukunft neue Entwicklungen, Auslegungen, Leitlinien, Behördenmeinungen und irgendwann auch einschlägige Rechtsprechung begegnen werden.

Unser besonderer Dank gilt allen Mitautorinnen und Mitautoren, deren Fachkenntnis, Engagement und Geduld diesen Kommentar erst ermöglicht haben. Ebenso danken wir Patrick Orth und Tanja Brücker vom Deutschen Fachverlag für die stets professionelle und engagierte Begleitung dieses Projekts.

Die Dynamik des KI-Rechts verlangt nach einem offenen, interdisziplinären Austausch. Wo Algorithmen lernen, muss auch das Recht weiterdenken – wir freuen uns auf alle, die mit uns in diese offene Debatte eintreten.

München und Düsseldorf, im Mai 2025

Die Herausgeber

Verzeichnis der Bearbeiterinnen und Bearbeiter

Kristin Benedikt

Richterin am Verwaltungsgericht Regensburg

Prof. Dr. Michael Beurskens, LL.M. (Gew. Rechtsschutz), LL.M. (University of Chicago), Att. at Law (New York)

Lehrstuhl für Privatrecht, insbesondere Wirtschaftsrecht und Digitalisierung, Universität Passau

Prof. Dr. David Bomhard

Physiker und Rechtsanwalt, Aitava, München

Dr. Isabelle Brams

Rechtsanwältin, Latham & Watkins, Frankfurt am Main

Dr. Lucia Franke

Habilitandin, Johann Wolfgang Goethe-Universität Frankfurt

Mareike Christine Gehrmann

Rechtsanwältin, Fachanwältin für Informationstechnologierecht, Taylor Wessing, Düsseldorf

Prof. Dr. Dagmar Gesmann-Nuissl

Lehrstuhl Privatrecht und Recht des geistigen Eigentums, Technische Universität Chemnitz

Prof. Dr. Patrick Glauner

Professur für Künstliche Intelligenz, Technische Hochschule Deggendorf

Svenja Hahn

Mitglied des Europäischen Parlaments

Dr. Sophie Herold

Richterin, Amtsgericht Darmstadt

Dr. Pascal Hofer

Head of Legal Digital & IT, F. Hoffmann-La Roche AG, Basel; Rechtsanwalt, Heidelberg

Dr. Lisa Kappler

Rechtsanwältin, Gleiss Lutz, Stuttgart

Dr. Roman F. Kehrberger

General Counsel, ENVIRIA Energy, Frankfurt am Main

Prof. Dr. Thomas Klindt

Rechtsanwalt, Noerr, München

Prof. Dr. Carsten König, LL.M. (Harvard)

Professur für Bürgerliches Recht, Handels- und Wirtschaftsrecht, Universität Bonn

Dr. Clemens Mattheis

General Counsel Product, Sustainability and R&D, Schaeffler AG

Marieke Merkle

Rechtsanwältin, Noerr, München

Rhian L. M. Moritz

Regierungsrätin, Bundesamt für Sicherheit in der Informationstechnik, Bonn

Dr. Martin Pflüger

Rechtsanwalt, Hogan Lovells, München

Fritz-Ulli Pieper, LL.M.

Rechtsanwalt, Fachanwalt für Informationstechnologierecht, Taylor Wessing, Düsseldorf

Dr. Carlo Piltz

Rechtsanwalt, Piltz Legal, Berlin

Dr. Benedikt Rohrßen

Rechtsanwalt und zertifizierter KI Manager (Bitkom), Taylor Wessing, München

Dr. Marc Ruttloff

Rechtsanwalt, Gleiss Lutz, Stuttgart

Nicole Saurin

Rechtsanwältin, DLA Piper, München

Adrian Schneider

Rechtsanwalt, Osborne Clarke, Köln

Leonie Schneider

Rechtsanwältin, Osborne Clarke, Köln

Maximilian Schumann

Rechtsanwalt, Taylor Wessing, Düsseldorf

Dr. Astrid Seehafer, M.Sc.

Rechtsanwältin, Luther, Berlin

Dr. Jasper Siems

Rechtsanwalt, Hogan Lovells, Hamburg

Dr. Jonas Siglmüller, MBA

Rechtsanwalt und Softwareentwickler, Aitava, München

Dr. Martin Strauch, LL.M. (Edinburgh)

Rechtsanwalt, GvW Graf von Westphalen, München

Arne Thiermann, LL.M. (LSE)

Rechtsanwalt, Hogan Lovells, Hamburg

Prof. Dr. Henrike Weiden, LL.M.

Professorin für Wirtschaftsprivatrecht und für das Recht der Digitalisierung, HM Business School, Hochschule München

Rebekka Weiß, LL.M. (Glasgow)

Head of Regulatory Policy, Microsoft, Berlin

Prof. Dr. Susanne Wende, LL.M. (Dublin)

Professur für Wirtschaftsprivatrecht und Unternehmensrecht, HM Business School, Hochschule München

Dipl. jur. Anton Wietzke

Jurist und Softwareentwickler, Aitava, München

Johannes Zwerschke, LL.M.

Rechtsanwalt, Piltz Legal, Berlin

Inhaltsverzeichnis

Vorwort der Herausgeber

Verzeichnis der Bearbeiterinnen und Bearbeiter

Abkürzungsverzeichnis

Einleitung

Kapitel I Allgemeine Bestimmungen

Art. 1 Gegenstand

Art. 2 Anwendungsbereich

Art. 3 Begriffsbestimmungen

Art. 4 KI-Kompetenz

Kapitel II Verbotene Praktiken im KI-Bereich

Art. 5 Verbotene Praktiken im KI-Bereich

Kapitel III Hochrisiko-KI-Systeme

Abschnitt 1 Einstufung von KI-Systemen als Hochrisiko-KI-Systeme

Art. 6 Einstufungsvorschriften für Hochrisiko-KI-Systeme

Art. 7 Änderungen des Anhangs III

Abschnitt 2 Anforderungen an Hochrisiko-KI-Systeme

Art. 8 Einhaltung der Anforderungen

Art. 9 Risikomanagementsystem

Art. 10 Daten und Daten-Governance

Art. 11 Technische Dokumentation

Art. 12 Aufzeichnungspflichten

Art. 13 Transparenz und Bereitstellung von Informationen für die Betreiber

Art. 14 Menschliche Aufsicht

Art. 15 Genauigkeit, Robustheit und Cybersicherheit

Abschnitt 3 Pflichten der Anbieter und Betreiber von Hochrisiko-KI-Systemen und anderer Beteiligter

Art. 16 Pflichten der Anbieter von Hochrisiko-KI-Systemen

Art. 17 Qualitätsmanagementsystem

Art. 18 Aufbewahrung der Dokumentation

Art. 19 Automatisch erzeugte Protokolle

Art. 20 Korrekturmaßnahmen und Informationspflicht

Art. 21 Zusammenarbeit mit den zuständigen Behörden

Art. 22 Bevollmächtigte der Anbieter von Hochrisiko-KI-Systemen

Art. 23 Pflichten der Einführer

Art. 24 Pflichten der Händler

Art. 25 Verantwortlichkeit entlang der KI-Wertschöpfungskette

Art. 26 Pflichten der Betreiber von Hochrisiko-KI-Systemen

Art. 27 Grundrechte-Folgenabschätzung für Hochrisiko-KI-Systeme

Abschnitt 4 Notifizierende Behörden und notifizierte Stellen

Art. 28 Notifizierende Behörden

Art. 29 Antrag einer Konformitätsbewertungsstelle auf Notifizierung

Art. 30 Notifizierungsverfahren

Art. 31 Anforderungen an notifizierte Stellen

Art. 32 Vermutung der Konformität mit den Anforderungen an notifizierte Stellen

Art. 33 Zweigstellen notifizierter Stellen und Vergabe von Unteraufträgen

Art. 34 Operative Pflichten der notifizierten Stellen

Art. 35 Identifizierungsnummern und Verzeichnisse notifizierter Stellen

Art. 36 Änderungen der Notifizierungen

Art. 37 Anfechtungen der Kompetenz notifizierter Stellen

Art. 38 Koordinierung der notifizierten Stellen

Art. 39 Konformitätsbewertungsstellen in Drittländern

Abschnitt 5 Normen, Konformitätsbewertung, Bescheinigungen, Registrierung

Art. 40 Harmonisierte Normen und Normungsdokumente

Art. 41 Gemeinsame Spezifikationen

Art. 42 Vermutung der Konformität mit bestimmten Anforderungen

Art. 43 Konformitätsbewertung

Art. 44 Bescheinigungen

Art. 45 Informationspflichten der notifizierten Stellen

Art. 46 Ausnahme vom Konformitätsbewertungsverfahren

Art. 47 EU-Konformitätserklärung

Art. 48 CE-Kennzeichnung

Art. 49 Registrierung

Kapitel IV Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme

Art. 50 Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme

Kapitel V KI-Modelle mit allgemeinem Verwendungszweck

Abschnitt 1 Einstufungsvorschriften

Art. 51 Einstufung von KI-Modellen mit allgemeinem Verwendungszweck als KI-Modelle mit allgemeinem Verwendungszweck mit systemischem Risiko

Art. 52 Verfahren

Abschnitt 2 Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck

Art. 53 Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck

Art. 54 Bevollmächtigte der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck

Abschnitt 3 Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko

Art. 55 Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko

Abschnitt 4 Praxisleitfäden

Art. 56 Praxisleitfäden

Kapitel VI Maßnahmen zur Innovationsförderung

Art. 57 KI-Reallabore

Art. 58 Detaillierte Regelungen für KI-Reallabore und deren Funktionsweise

Art. 59 Weiterverarbeitung personenbezogener Daten zur Entwicklung bestimmter KI-Systeme im öffentlichen Interesse im KI-Reallabor

Art. 60 Tests von Hochrisiko-KI-Systemen unter Realbedingungen außerhalb von KI-Reallaboren

Art. 61 Informierte Einwilligung zur Teilnahme an einem Test unter Realbedingungen außerhalb von KI-Reallaboren

Art. 62 Maßnahmen für Anbieter und Betreiber, insbesondere KMU, einschließlich Start-up-Unternehmen

Art. 63 Ausnahmen für bestimmte Akteure

Kapitel VII Governance

Abschnitt 1 Governance auf Unionsebene

Art. 64 Büro für Künstliche Intelligenz

Art. 65 Einrichtung und Struktur des Europäischen Gremiums für Künstliche Intelligenz

Art. 66 Aufgaben des KI-Gremiums

Art. 67 Beratungsforum

Art. 68 Wissenschaftliches Gremium unabhängiger Sachverständiger

Art. 69 Zugang zum Pool von Sachverständigen durch die Mitgliedstaaten

Abschnitt 2 Zuständige nationale Behörden

Art. 70 Benennung von zuständigen nationalen Behörden und zentrale Anlaufstelle

Kapitel VIII EU-Datenbank für Hochrisiko-KI-Systeme

Art. 71 EU-Datenbank für die in Anhang III aufgeführten Hochrisiko-KI-Systeme

Kapitel IX Beobachtung nach dem Inverkehrbringen, Informationsaustausch und Marktüberwachung

Abschnitt 1 Beobachtung nach dem Inverkehrbringen

Art. 72 Beobachtung nach dem Inverkehrbringen durch die Anbieter und Plan für die Beobachtung nach dem Inverkehrbringen für Hochrisiko-KI-Systeme

Abschnitt 2 Austausch von Informationen über schwerwiegende Vorfälle

Art. 73 Meldung schwerwiegender Vorfälle

Abschnitt 3 Durchsetzung

Art. 74 Marktüberwachung und Kontrolle von KI-Systemen auf dem Unionsmarkt

Art. 75 Amtshilfe, Marktüberwachung und Kontrolle von KI-Systemen mit allgemeinem Verwendungszweck

Art. 76 Beaufsichtigung von Tests unter Realbedingungen durch Marktüberwachungsbehörden

Art. 77 Befugnisse der für den Schutz der Grundrechte zuständigen Behörden

Art. 78 Vertraulichkeit

Art. 79 Verfahren auf nationaler Ebene für den Umgang mit KI-Systemen, die ein Risiko bergen

Art. 80 Verfahren für den Umgang mit KI-Systemen, die vom Anbieter gemäß Anhang III als nicht hochriskant eingestuft werden

Art. 81 Schutzklauselverfahren der Union

Art. 82 Konforme KI-Systeme, die ein Risiko bergen

Art. 83 Formale Nichtkonformität

Art. 84 Unionsstrukturen zur Unterstützung der Prüfung von KI

Abschnitt 4 Rechtsbehelfe

Art. 85 Recht auf Beschwerde bei einer Marktüberwachungsbehörde

Art. 86 Recht auf Erläuterung der Entscheidungsfindung im Einzelfall

Art. 87 Meldung von Verstößen und Schutz von Hinweisgebern

Abschnitt 5 Aufsicht, Ermittlung, Durchsetzung und Überwachung in Bezug auf Anbieter von KI-Modellen mit allgemeinem Verwendungszweck

Art. 88 Durchsetzung der Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck

Art. 89 Überwachungsmaßnahmen

Art. 90 Warnungen des wissenschaftlichen Gremiums vor systemischen Risiken

Art. 91 Befugnis zur Anforderung von Dokumentation und Informationen

Art. 92 Befugnis zur Durchführung von Bewertungen

Art. 93 Befugnis zur Aufforderung zu Maßnahmen

Art. 94 Verfahrensrechte der Wirtschaftsakteure des KI-Modells mit allgemeinem Verwendungszweck

Kapitel X Verhaltenskodizes und Leitlinien

Art. 95 Verhaltenskodizes für die freiwillige Anwendung bestimmter Anforderungen

Art. 96 Leitlinien der Kommission zur Durchführung dieser Verordnung

Kapitel XI Befugnisübertragung und Ausschussverfahren

Art. 97 Ausübung der Befugnisübertragung

Art. 98 Ausschussverfahren

Kapitel XII Sanktionen

Art. 99 Sanktionen

Art. 100 Verhängung von Geldbußen gegen Organe, Einrichtungen und sonstige Stellen der Union

Art. 101 Geldbußen für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck

Kapitel XIII Schlussbestimmungen

Art. 102 Änderung der Verordnung (EG) Nr. 300/2008

Art. 103 Änderung der Verordnung (EU) Nr. 167/2013

Art. 104 Änderung der Verordnung (EU) Nr. 168/2013

Art. 105 Änderung der Richtlinie 2014/90/EU

Art. 106 Änderung der Richtlinie (EU) 2016/797

Art. 107 Änderung der Verordnung (EU) 2018/858

Art. 108 Änderungen der Verordnung (EU) 2018/1139

Art. 109 Änderung der Verordnung (EU) 2019/2144

Art. 110 Änderung der Richtlinie (EU) 2020/1828

Art. 111 Bereits in Verkehr gebrachte oder in Betrieb genommene KI-Systeme und bereits in Verkehr gebrachte KI-Modelle mit allgemeinem Verwendungszweck

Art. 112 Bewertung und Überprüfung

Art. 113 Inkrafttreten und Geltungsbeginn

Sachregister

Abkürzungsverzeichnis

a.A.

anderer Ansicht

a.E.

am Ende

ABl.

Amtsblatt

ABl. EG

Amtsblatt der Europäischen Gemeinschaft

ABl. EU

Amtsblatt der Europäischen Union

Abs.

Absatz

AEUV

Vertrag über die Arbeitsweise der Europäischen Union (EU-Arbeitsweisevertrag)

AfP

Archiv für Presserecht (Zeitschrift)

AG

Aktiengesellschaft

AGG

Allgemeines Gleichbehandlungsgesetz

AktG

Aktiengesetz

AkkStelleG

Akkreditierungsstellengesetz

AkkStelleGBV

Verordnung über die Beleihung der Akkreditierungsstelle nach dem Akkreditierungsstellengesetz

Alt.

Alternative

Anm.

Anmerkung

AO

Abgabenordnung

API

Advance Passenger Information

ArbG

Arbeitsgericht

ArbSchG

Gesetz über die Durchführung von Maßnahmen des Arbeitsschutzes zur Verbesserung der Sicherheit und des Gesundheitsschutzes der Beschäftigten bei der Arbeit (Arbeitsschutzgesetz)

Art.

Artikel

Aufl.

Auflage

Az.

Aktenzeichen

BaFin

Bundesanstalt für Finanzdienstleistungsaufsicht

BAuA

Bundesanstalt für Arbeitsschutz und Arbeitsmedizin

BayEGovG

Gesetz über die elektronische Verwaltung in Bayern (Bayerisches E-Government-Gesetz)

BB

Betriebs-Berater (Zeitschrift)

Bbg EGovG

Gesetz über die elektronische Verwaltung im Land Brandenburg (Brandenburgisches E-Government-Gesetz)

BDSG

Bundesdatenschutzgesetz

BeckOGK

beck-online Großkommentar

BeckOK

Beck'scher Online-Kommentar

BeckOK BGB

Beck'scher Online-Kommentar BGB (hrsg. von Hau/Poseck)

BeckOK Daten-

Beck'scher Online-Kommentar Datenschutzrecht

schutzR

(hrsg. von Wolff/Brink)

BeckOK GG

Beck'scher Online-Kommentar Grundgesetz (hrsg. von Epping/Hillgruber)

BeckOK Info-

Beck'scher Online-Kommentar Informations- und

MedienR

Medienrecht (hrsg. von Gersdorf/Paal)

BeckOK IT-Recht

Beck'scher Online-Kommentar IT-Recht (hrsg. von Borger/Hilber)

BeckOK VwVfG

Beck'scher Online-Kommentar Verwaltungsverfahrensgesetz (hrsg. von Bader/Ronellenfitsch)

Begr.

Begründung

BetrVG

Betriebsverfassungsgesetz

BfDI

Bundesbeauftragter für den Datenschutz und die Informationsfreiheit

BGB

Bürgerliches Gesetzbuch

BGBl.

Bundesgesetzblatt

BGH

Bundesgerichtshof

BGHZ

Entscheidungen des Bundesgerichtshofs in Zivilsachen (Entscheidungssammlung)

BITKOM

Bundesverband Informationswirtschaft, Telekommunikation und neue Medien e.V.

BKR

Zeitschrift für Bank- und Kapitalmarktrecht

Blue Guide

Bekanntmachung der Kommission „Leitfaden für die Umsetzung der Produktvorschriften der EU 2022“ („Blue Guide“), 29.6.2022, ABl. 2022/C 247/01

BMI

Bundesministerium des Inneren

BMWK

Bundesministerium für Wirtschaft und Klimaschutz

BR-Drs.

Drucksache des Deutschen Bundesrates

BSI

Bundesamt für Sicherheit in der Informationstechnik

BT-Drs.

Drucksache des Deutschen Bundestages

BVerfG

Bundesverfassungsgericht

BVerfGE

Entscheidungen des Bundesverfassungsgerichts

CCZ

Corporate Compliance Zeitschrift

CER-Richtlinie

Richtlinie (EU) 2022/2557 über die Resilienz kritischer Einrichtungen und zur Aufhebung der Richtlinie 2008/114/EG des Rates

CR

Computer und Recht (Zeitschrift)

CRA

Cyber Resilience Act

CRi

Computer und Recht International (Zeitschrift)

CTR

Clinical Trials Regulation VO (EU) Nr. 536/2014

Data Act

Verordnung (EU) 2023/2854 des Europäischen Parlaments und des Rates vom 13.12.2023 über harmonisierte Vorschriften für einen fairen Datenzugang und eine faire Datennutzung sowie zur Änderung der Verordnung (EU) 2017/2394 und der Richtlinie (EU) 2020/1828 (Datenverordnung)

DB

Der Betrieb (Zeitschrift)

DEK

Datenethikkommission

d.h.

das heißt

Diss.

Dissertation

DMA

Verordnung (EU) 2022/1925 des Europäischen Parlaments und des Rates vom 14.9.2022 über bestreitbare und faire Märkte im digitalen Sektor und zur Änderung der Richtlinien (EU) 2019/1937 und (EU) 2020/1828 (Gesetz über digitale Märkte)

Drs.

Drucksache

DSA

Verordnung (EU)2022/2065 des Europäischen Parlaments und des Rates vom 19.10.2022 über einen Binnenmarkt für digitale Dienste und zur Änderung der Richtlinie 2000/31/EG (Gesetz über digitale Dienste – Digital Services Act).

DSGVO

Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27.4.2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/ 46/EG (Datenschutz-Grundverordnung)

DSK

Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (Datenschutzkonferenz)

DuD

Datenschutz und Datensicherheit (Zeitschrift)

e.V.

eingetragener Verein

ECRL

Richtlinie 2000/31/EG des Europäischen Parlaments und des Rates vom 8.6.2000 über bestimmte rechtliche Aspekte der Dienste der Informationsgesellschaft, insbesondere des elektronischen Geschäftsverkehrs, im Binnenmarkt (Richtlinie über den elektronischen Geschäftsverkehr – E-Commerce Richtlinie)

EDSA

Europäischer Datenschutzausschuss

EDSB

Europäischer Datenschutzbeauftragter

EDV

Elektronische Datenverarbeitung

EG

Europäische Gemeinschaft

EGBGB

Einführungsgesetz zum Bürgerlichen Gesetzbuch

EGovG

Gesetz zur Förderung der elektronischen Verwaltung (E-Government-Gesetz)

EGovG LSA

Gesetz zur Förderung der elektronischen Verwaltung im Land Sachsen-Anhalt (E-Government-Gesetz Sachsen-Anhalt)

EGovG M-V

Gesetz zur Förderung der elektronischen Verwaltungstätigkeit in Mecklenburg-Vorpommern (E-Government-Gesetz Mecklenburg-Vorpommern)

EGovG NRW

Gesetz zur Förderung der elektronischen Verwaltung in Nordrhein-Westfalen (E-Government-Gesetz Nordrhein-Westfalen)

EGovG SH

Gesetz zur elektronischen Verwaltung für Schleswig-Holstein (E-Government-Gesetz Schleswig-Holstein)

E-GovG SL

Gesetz zur Förderung der elektronischen Verwaltung im Saarland (E-Government-Gesetz Saarland)

EJRR

European Journal of Risk Regulation

EL

Ergänzungslieferung

EMRK

Konvention zum Schutze der Menschenrechte und Grundfreiheiten (Europäische Menschenrechtskonvention)

EMV-Richtlinie

Richtlinie 2014/30/EU des Europäischen Parlaments und des Rates vom 26.2.2014 zur Harmonisierung der Rechtsvorschriften der Mitgliedstaaten über die elektromagnetische Verträglichkeit (Neufassung)

ENISA

European Union Agency for Network and Information Security

ErwG

Erwägungsgrund

etc.

et cetera

EuErbVO

Verordnung (EU) Nr. 650/2012 des europäischen Parlaments und des Rates vom 4.7.2012 über die Zuständigkeit, das anzuwendende Recht, die Anerkennung und Vollstreckung von Entscheidungen und die Annahme und Vollstreckung öffentlicher Urkunden in Erbsachen sowie zur Einführung eine Europäischen Nachlasszeugnisses

EuGH

Europäischer Gerichtshof

EU-Komm.

Europäische Kommission

EU-Marktüberwachungsverordnung

Verordnung (EU)2019/1020 des europäischen Parlaments und des Rates vom 20.6.2019 über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der Richtlinie 2004/42/EG und der Verordnungen (EG) Nr. 765/2008 und (EU) Nr. 305/2011(EU-Marktüberwachungsverordnung), ABl. EU L169v. 25.6.2019, S. 1

EU-Maschinenrichtlinie

Richtlinie 2006/42/EG des europäischen Parlaments und des Rates vom 17.5.2006 über Maschinen und zur Änderung der Richtlinie 95/16/EG (Neufassung)

EU-Maschinenverordnung

Verordnung (EU) 2023/1230 des europäischen Parlaments und des Rates vom 14.6.2023 über Maschinen und zur Aufhebung der Richtlinie 2006/42/EG des Europäischen Parlaments und des Rates und der Richtlinie 73/361/EWG des Rates

EU-Medizinprodukteverordnung

Verordnung EU) 2017/745 des Europäischen Parlaments und des Rates vom 5.4.2017 über Medizinprodukte, zur Änderung der Richtlinie 2001/83/EG, der Verordnung (EG) Nr. 178/2002 und der Verordnung (EG) Nr. 1223/2009 und zur Aufhebung der Richtlinien 90/385/EWG und 93/42/EWG des Rates

EU-Produktsicherheitsrichtlinie

Richtlinie 2001/95/EG des Europäischen Parlaments und des Rates vom 3.12.2001 über die allgemeine Produktsicherheit

EU-Produktsicherheitsverordnung

Verordnung (EU) 2023/988 des Europäischen Parlaments und des Rates vom 10.5.2023 über die allgemeine Produktsicherheit, zur Änderung der Verordnung (EU) Nr. 1025/2012 des Europäischen Parlaments und des Rates und der Richtlinie (EU) 2020/1828 des Europäischen Parlaments und des Rates sowie zur Aufhebung der Richtlinie 2001/95/EG des Europäischen Parlaments und des Rates und der Richtlinie 87/357/EWG des Rates

EuR

Europarecht (Zeitschrift)

EU-Wirt-

Handbuch des EU-Wirtschaftsrechts

schaftsR-HdB

(hrsg. v. Dauses/Ludwigs)

EuZW

Europäische Zeitschrift für Wirtschaftsrecht

EWR

Europäischer Wirtschaftsraum

EWSA

Europäischer Wirtschafts- und Sozialausschuss

FAQ

Frequently Asked Questions

f./ff.

folgende/fortfolgende

Fn.

Fußnote

FS

Festschrift

FZV

Verordnung über die Zulassung von Fahrzeugen zum Straßenverkehr (Fahrzeug-Zulassungsverordnung)

GebrMG

Gebrauchsmustergesetz

GeschGehG

Gesetz zum Schutz von Geschäftsgeheimnissen vom 18.4.2019 (Geschäftsgeheimnisgesetz)

GeschmMG

Gesetz über den rechtlichen Schutz von Mustern und Modellen (Geschmacksmustergesetz)

GewO

Gewerbeordnung

GG

Grundgesetz

ggf.

gegebenenfalls

GmbH

Gesellschaft mit beschränkter Haftung

GmbHG

Gesetz betreffend die Gesellschaften mit beschränkter Haftung

GPAI

General Purpose AI Models

GPAI Model

KI-Modell mit allgemeinem Verwendungszweck

GPAI System

KI-System mit allgemeinem Verwendungszweck

GRCh

Europäische Grundrechtecharta (ABl. C 326 vom 26.10.2012, S. 391)

GPSG

Geräte- und Produktsicherheitsgesetz

GSZ

Zeitschrift für das Gesamte Sicherheitsrecht

Guidelines

Annex to the Communication to the Commission Approval of the content of the draft Communication from the Commission – Commission Guidelines on the definition of an artificial intelligence system established by Regulation (EU) 2024/1689 (AI Act), C(2025) 924 final, https://ec.europa.eu/newsroom/dae/redirection/document/112455

h.M.

herrschende Meinung

HdB

Handbuch

HEGovG

Hessisches Gesetz zur Förderung der elektronischen Verwaltung (Hessisches E-Government-Gesetz)

HinSchG

Gesetz für einen besseren Schutz hinweisgebender Personen (Hinweisgeberschutzgesetz)

HLEG

High-Level Expert Group on Artificial Intelligence

Hrsg.

Herausgeber

Hs.

Halbsatz

i.S.d.

im Sinne des

i.S.v.

im Sinne von

ICSMS

Information and Communication System on Market Surveillance

ID

Identity

IFG

Gesetz zur Regelung des Zugangs zu Informationen des Bundes (Informationsfreiheitsgesetz)

IJCNN

International Joint Conference on Neural Networks

IP

Intellectual Property

ISO

Internationale Organisation für Normung

IoT

Internet of Things

IT

Informationstechnologie

ITRB

IT-Rechts-Berater (Zeitschrift)

i.V.m.

in Verbindung mit

JA

Juristische Arbeitsblätter (Zeitschrift)

JI-RL

Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates

jurisPR-ITR

juris PraxisReport IT-Recht (Zeitschrift)

JuS

Juristische Schulung (Zeitschrift)

JZ

Juristenzeitung (Zeitschrift)

K&R

Kommunikation und Recht (Zeitschrift)

KBA

Kraftfahrtbundesamt

KI

Künstliche Intelligenz

KI-Haftungs-RL-E

Vorschlag für eine Richtlinie des Europäischen Parlaments und des Rates zur Anpassung der Vorschriften über außervertragliche zivilrechtliche Haftung an künstliche Intelligenz (Richtlinie über KI-Haftung), COM/2022/496 final

KI-VO

Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13.6.2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz – KI-VO)

KI-VO-E Kommission

Europäische Kommission, Vorschlag der Europäischen für eine Verordnung des europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union vom 21.4.2021, COM(2021) 206 final

KI-VO-E Parlament

Europäisches Parlament, Abänderungen des Europäischen Parlaments vom 14.6.2023 zu dem Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)), P9_TA(2023)0236

KI-VO-E Rat

Rat der Europäischen Union, Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union – Allgemeine Ausrichtung vom 25.11.2022, 14954/22

KI-VO-E Trilog

KI-VO-E finaler Kompromisstext (Ergebnis des Trilogverfahrens) vom 26.1.2024, 5662/24

KMU

Kleine und mittlere Unternehmen

Kommission

Europäische Kommission

KRITIS-Dachgesetz-E

Zweiter Referentenentwurf eines Gesetzes zur Umsetzung der Richtlinie (EU) 2022/2557 und zur Stärkung der Resilienz von Betreibern kritischer Anlagen

KWG

Gesetz über das Kreditwesen (Kreditwesengesetz)

lit.

littera (Buchstabe)

LSA

Land Sachsen-Anhalt

MaRisk

Mindestanforderungen an das Risikomanagement

MarkenG

Gesetz über den Schutz von Marken und sonstigen Kennzeichen (Markengesetz)

mdl.

mündlich

MDR

Monatsschrift für Deutsches Recht (Zeitschrift)

MedR

Medizinrecht (Zeitschrift)

MIT

Massachusetts Institute of Technology

MMR

Multimedia und Recht (Zeitschrift)

MPJ

Medizinprodukte Journal (Zeitschrift)

MP-VO

Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates vom 5.4.2017 über Medizinprodukte, zur Änderung der Richtlinie 2001/83/EG, der Verordnung (EG) Nr. 178/2002 und der Verordnung (EG) Nr. 1223/2009 und zur Aufhebung der Richtlinien 90/385/EWG und 93/42/EWG des Rates (EU-Medizinprodukteverordnung)

MStV

Medienstaatsvertrag

MüG

Marktüberwachungsgesetz

MüKo-BGB

Münchener Kommentar zum BGB (hrsg. von Säcker/Rixecker/Oetker/Limperg/Schubert)

MüKo-StGB

Münchener Kommentar zum StGB (hrsg. von Erb/Schäfer)

MüKo-StPO

Münchener Kommentar zur StPO (hrsg. von Knauer/Kudlich/Schneider)

MüKo-UWG

Münchener Kommentar zum Lauterkeitsrecht (UWG) (hrsg. von Heermann/Schlingloff)

MüKo-WettbR

Münchener Kommentar zum Wettbewerbsrecht (hrsg. von Säcker)

MüKo-ZPO

Münchener Kommentar zur ZPO (hrsg. von Rauscher/Krüger)

MÜ-VO

Verordnung (EU) 2019/1020 des europäischen Parlamentes und des Rates vom 20.6.2019 über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der Richtlinie 2004/42/EG und der Verordnungen (EG) Nr. 765/2008 und (EU) Nr. 305/2011 (EU-Marktüberwachungsverordnung)

m.w.N.

mit weiteren Nachweisen

NANDO

New Approach Notified and Designates Organisations

NJW

Neue Juristische Wochenschrift (Zeitschrift)

NJW-RR

NJW-Rechtsprechungsreport (Zeitschrift)

NK-ProdR

NomosKommentar Produkthaftungs- und Produktsicherheitsrecht (hrsg. von Ehring/Taeger)

NLF

New Legislative Framework (neuer Rechtsrahmen)

Nr.

Nummer/Nummern

NRW

Nordrhein-Westfalen

NVwZ

Neue Zeitschrift für Verwaltungsrecht

NZA

Neue Zeitschrift für Arbeitsrecht

NZWiSt

Neue Zeitschrift für Wirtschafts-, Steuer- und Unternehmensstrafrecht

OECD

Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (Organisation for Economic Co-operation and Development)

oHG

offene Handelsgesellschaft

OLG

Oberlandesgericht

OVG

Oberverwaltungsgericht

OWiG

Gesetz über Ordnungswidrigkeiten

PatG

Patentgesetz

PM

Pressemitteilung

PNR

Passenger Name Records

ProdHaftRL

Richtlinie (EU) 2024/2853 des europäischen Parlaments und des Rates vom 23.10.2024 über die Haftung für fehlerhafte Produkte und zur Aufhebung der Richtlinie 85/374/EWG des Rates

ProdHaftRL-E

Entwurf für eine Richtlinie des Europäischen Parlaments und des Rates über die Haftung für fehlerhafte Produkte, 2022/0302(COD), 5553/24, vom 18.1.2024

ProdSG

Produktsicherheitsgesetz

QMS

Qualitätsmanagementsystem

RAPEX

Gemeinschaftliches System zum raschen Informationsaustausch

RDi

Recht Digital (Zeitschrift)

RDV

Recht der Datenverarbeitung (Zeitschrift)

RL

Richtlinie

Rn.

Randnummer

Rs.

Rechtssache (EuGH)

s.

siehe

S.

Seite

SaaS

Software as a Service

SächsEGovG

Gesetz zur Förderung der elektronischen Verwaltung im Freistaat Sachsen (Sächsisches E-Government-Gesetz)

SigG

Gesetz über Rahmenbedingungen für elektronische Signaturen (Signaturgesetz)

sog.

sogenannt

StGB

Strafgesetzbuch

st. Rspr.

ständige Rechtsprechung

StPO

Strafprozessordnung

StVG

Straßenverkehrsgesetz

SVR

Straßenverkehrsrecht (Zeitschrift)

TDMRep

Text and Data Mining Reservation Protocol

TKG

Telekommunikationsgesetz

TMG

Telemediengesetz

TPG

Gesetz über die Spende, Entnahme und Übertragung von Organen und Geweben (Transplantationsgesetz)

TTDSG

Telekommunikation-Telemedien-Datenschutz-Gesetz

TÜV

Technischer Überwachungsverein

UAbs.

Unterabsatz

UGP-Richtlinie

Richtlinie 2005/29/EG des europäischen Parlaments und des Rates vom 11.5.2005 über unlautere Geschäftspraktiken im binnenmarktinternen Geschäftsverkehr zwischen Unternehmen und Verbrauchern und zur Änderung der Richtlinie 84/ 450/EWG des Rates, der Richtlinien 97/7/EG, 98/27/EG und 2002/65/EG des Europäischen Parlaments und des Rates sowie der Verordnung (EG) Nr. 2006/2004 des Europäischen Parlaments und des Rates (Richtlinie über unlautere Geschäftspraktiken)

UKIM

Unabhängige Marktüberwachungskammer

UKlaG

Gesetz über Unterlassungsklagen bei Verbraucherrechts- und anderen Verstößen (Unterlassungsklagengesetz)

UrhG

Gesetz über Urheberrecht und verwandte Schutzrechte (Urheberrechtsgesetz)

URL

Uniform Resource Locator

USA

United States of America

UWG

Gesetz gegen den unlauteren Wettbewerb

VG

Verwaltungsgericht

vgl.

vergleiche

VO

Verordnung

Vol.

Volume

VPN

Virtual private Network

VR

Virtuelle Realität

VuR

Verbraucher und Recht (Zeitschrift)

VVG

Gesetz über den Versicherungsvertrag (Versicherungsvertragsgesetz)

VwGO

Verwaltungsgerichtsordnung

VwVfG

Verwaltungsverfahrensgesetz

WP

Working Paper

WpHG

Gesetz über den Wertpapierhandel (Wertpapierhandelsgesetz)

WRP

Wettbewerb in Recht und Praxis (Zeitschrift)

z.B.

zum Beispiel

ZD

Zeitschrift für Datenschutz

ZfDR

Zeitschrift für Recht und Digitalisierung

ZfPC

Zeitschrift für Product Compliance

Ziff.

Ziffer

ZPO

Zivilprozessordnung

ZRP

Zeitschrift für Rechtspolitik

ZUM

Zeitschrift für Urheber- und Medienrecht

ZVEI

Verband der Elektro- und Digitalindustrie

Einleitung

1

„Historisch!“ titelte die EU-Kommission in ihrer Pressemitteilung am 8.12.2023. Soeben war die letzte Verhandlungssitzung zum europäischen KI-Gesetz, dem AI Act, zu Ende gegangen. Nach fast 40 Stunden Verhandlungsmarathon. Überwiegend voller Stolz präsentierten die Unterhändler der drei EU-Institutionen kurz nach Mitternacht der Presse ein Gesetz, das sie als Meilenstein bezeichneten. Die EU sei nunmehr der erste Kontinent der Welt, der klare Regeln für Künstliche Intelligenz festlege, jubelte etwa der zuständige EU-Kommissar.1

I. Andere erfinden, Europa reguliert

2

Die jahrelangen Verhandlungen fanden in jener Nacht ihr vorläufiges Ende, zahlreiche Unklarheiten standen und stehen aber noch bevor. Dass der AI Act nach jahrelanger Arbeit in einem chaotischen Prozess und unter höchstem politischen Druck beschlossen wurde, steht dabei symptomatisch für vieles, was ich als Verhandlerin dieses Gesetzes in den vorherigen Jahren erlebt hatte. Denn die Schwächen und Unklarheiten des Regelwerks für diejenigen, die es in Zukunft praktisch anwenden müssen, warfen bereits zum Zeitpunkt der politischen Einigung ihre Schatten voraus.

3

Selbst für EU-Verhältnisse ist die Zeitspanne von über vier Jahren, die von der Ankündigung der Regulierung bis zur Einigung vergingen, ungewöhnlich lang. Von Anfang an war ich als Abgeordnete des Europäischen Parlaments an der Ausarbeitung des AI Act beteiligt – zunächst durch die parlamentarische Arbeit an mehreren Initiativberichten des Parlaments zur KI-Regulierung, dann als Mitglied und Koordinatorin meiner Fraktion im Sonderausschuss Künstliche Intelligenz im Digitalen Zeitalter (AIDA) und schließlich drei Jahre lang als Schattenberichterstatterin, also Verhandlerin, für den AI Act für meine Fraktion Renew Europe im Binnenmarktausschuss.

4

In ihrem Bewerbungsschreiben2 für die Rolle als Kommissionspräsidentin hatte Ursula von der Leyen bereits im Spätsommer 2019 angekündigt, in den ersten 100 Tagen ihrer Amtszeit einen Regulierungsvorschlag vorzulegen, mit dem Künstliche Intelligenz in der EU geregelt werden sollte. Dieses Ziel konnte die Kommission nicht einhalten. Stattdessen veröffentlichte sie im Februar 2020 zunächst ein Weißbuch zur Künstlichen Intelligenz. Im April 2021 folgte dann der eigentliche Gesetzesvorschlag.

5

Das Bedürfnis, das als neu empfundene Phänomen der KI zu regulieren, war in jenen Jahren in Brüssel und Straßburg stark zu spüren. Immer wieder hörte ich in Gesprächen und auf Veranstaltungen zum AI Act den abschätzigen Kommentar „Die USA erfinden, China macht und die EU reguliert“. Und auch ich teile viel der darin mitschwingenden Kritik. Denn die politischen Debatten um KI in Europa habe ich seit 2019 als sehr angstgetrieben erlebt. Statt der großen Chancen, die neue Technologien für unsere Gesellschaft und unsere Wirtschaft bringen, standen und stehen allzu oft die – meist noch gar nicht eingetretenen – möglichen Risiken oder gar dystopische Horrorszenarien im Mittelpunkt politischer Debatten. Während führende EU-Politiker das Wort „Wettbewerbsfähigkeit“ und den Anspruch „Innovation made in Europe“ wie eine Monstranz vor sich hertragen, spricht die gesetzgeberische Realität leider eine andere Sprache. In den fünf Jahren ihres Mandats zwischen 2019 und 2024 hat die EU-Kommission geradezu ein Feuerwerk an neuer Regulierung gezündet. Dabei blieb die Wirksamkeit oft fraglich, auch weil oftmals keine oder nur mangelhafte Folgenabschätzungen für die Gesetzesvorschläge vorgenommen wurden. Obwohl ein gut gemachter gesetzlicher Rahmen grundsätzlich zu einem Wettbewerbsvorteil werden kann, weil er Klarheit und Orientierung gibt, bezweifle ich nachdrücklich, dass Europas Innovationsfähigkeit durch immer neue – meist unklare und überlappende – Regeln und Berichtspflichten gefördert wird. Leider ist auch der AI Act im Ergebnis ein Beispiel von „Gut gemeint, kompliziert gemacht“ geworden. Dies sage ich ganz bewusst als jemand, der hunderte von Stunden für eine handwerklich bessere und praxistauglichere Regulierung gekämpft hat. Denn es lagen zahlreiche Ideen auf dem Verhandlungstisch, die Innovation in Europa stärker gefördert und zugleich Bürgerrechte besser geschützt hätten.

II. Debatten um Massenüberwachung und Innovation: Die Ausgangslage

6

Meine grundsätzliche Kritik an einer technologieskeptischen Debatte und einer generellen Überregulierung in Europa sollte nicht als Ablehnung jedweder Regeln missverstanden werden. Es ist durchaus sinnvoll, dass wir bei neu auftretenden Phänomen und Technologien genau betrachten, wo wir unsere Gesetzgebung nachschärfen, wo wir Lücken schließen müssen. Beim Thema Künstliche Intelligenz betrifft dies etwa die Produktsicherheitsregulierung, aber auch den Schutz der Grundrechte unserer Bürgerinnen und Bürger, die nicht Ziel von Massenüberwachung und staatlicher Kontrolle à la China werden dürfen. Ob es sinnvoll ist, diese Elemente in einer einzigen horizontalen EU-Verordnung zu bündeln, ist eine andere Frage. Das grundlegende Ziel ist jedoch unterstützenswert.

7

Beim AI Act ging es aus meiner Sicht von Beginn an darum, einen Rahmen zu schaffen, mit dem wir als Gesellschaft die Chancen Künstlicher Intelligenz nutzen, während wir gleichzeitig ernsthafte Gefahren durch KI-Anwendungen abwehren können sollten. Der KI-Sonderausschuss des Europäischen Parlaments hat zwischen 2020 und 2022 daher zahlreiche Anhörungen organisiert, bei denen ich als Koordinatorin meiner Fraktion beteiligt war. Sei es zur Nutzung von KI in der Medizin, in der Strafverfolgung oder bei der Bekämpfung des Klimawandels.3

8

Technologische Entwicklungen, insbesondere bei Künstlicher Intelligenz, sind so rasant, dass eine Regulierung bestimmter Technologien zwangsläufig immer hinterherhinken würde. Deshalb stellt der AI Act im Prinzip die Art der Anwendung, nicht aber eine Technologie an sich in den Mittelpunkt. Das beste Beispiel dafür ist die biometrische Gesichtserkennung: sehr praktisch und ungefährlich, um das Mobiltelefon zu entsperren oder Banktransaktionen zu bestätigen. Ihre Anwendung zur Massenüberwachung im öffentlichen Raum hingegen kennen wir aus Autokratien wie China und Russland. Dort werden Menschen in der Öffentlichkeit per KI identifiziert und auf Schritt und Tritt verfolgt. Eine derartige Nutzung hat in der EU nichts zu suchen. Es ist die Art der Anwendung, die den fundamentalen Unterschied macht, nicht die Technologie an sich.

9

Es wäre darüber hinaus ein grundsätzlicher Irrglaube, man könnte mit einem Gesetz alle eventuell aufkommenden Herausforderungen durch KI präventiv regulieren. Denn der Fortschritt durch KI ist in den erwartbaren Umbrüchen vergleichbar mit der Industriellen Revolution.

10

Wie schnell sich Technologie und die Debatten dazu wandeln, zeigt auch die Tatsache, dass generative KI bei Veröffentlichung des Kommissionsvorschlags für den AI Act im April 2021 quasi keinerlei Rolle spielte. Als der Rat seinerseits seine Position im Dezember 2022 verabschiedete, begann der Erfolg von Chat GPT und anderen generativen Programmen gerade erst. Dies änderte sich über das Jahr 2023 erheblich, als diese Art der Künstlichen Intelligenz plötzlich in den Mittelpunkt eines breiteren öffentlichen Interesses rückte.

11

Zu Beginn der Verhandlungen um den AI Act standen vielmehr die Nutzung von KI in der Strafverfolgung und insbesondere die biometrische Fernerkennung im Mittelpunkt der öffentlichen Debatte, also die Identifizierung von Personen im öffentlichen Raum mittels Software, etwa über Gesichtserkennung. Meine Partei und ich als Verhandlerin standen hier aufseiten derjenigen, die sich für enge Grenzen bis hin zu vollständigen Verboten ausgesprochen haben. Den Einsatzbiometrischer Erkennungssoftware zur Identifizierung von Personen im öffentlichen Raum lehne ich bis heute entschieden ab. Zudem stand die politische Auseinandersetzung sehr im Zeichen von Skandalen, die staatliche Stellen durch Einsatz von Software verursacht hatten, die automatisierte Entscheidungen auf Basis fragwürdiger Daten und Algorithmen traf und damit massiv Menschen diskriminierte. Allen voran sei hier die sogenannte Kindergeldaffäre4 in den Niederlanden genannt, die zum Rücktritt der damaligen niederländischen Regierung führte. In den USA gab es bereits seit mehreren Jahren eine öffentliche Debatte über diskriminierende Polizeiarbeit mithilfe von Predictive-Policing-Tools.5

12

Europas Wirtschaft hingegen trieben ganz andere Sorgen um. Einige der durch die Kommission vorgeschlagenen Regelungen schienen kostspielig und unerfüllbar. Große wie kleine Unternehmen befürchteten, durch den AI Act im internationalen Technologiewettbewerb weiter hinter die Konkurrenz aus weniger regulierten Weltregionen zurückzufallen. Zahlreiche Änderungsvorschläge und öffentliche Äußerungen von Europapolitikern, wonach selbst harmlose KI-Systeme noch viel tiefgreifender reguliert werden sollten, verschärften diese Sorgen.

13

Der Grundgedanke war jedoch ein anderer: Der AI Act sollte lediglich festlegen, welche Anwendungen von KI-Systemen verboten sind, sowie klare Spielregeln für KI-Anwendung in sogenannten Hochrisiko-Bereichen schaffen. Dazu gehören unter anderem gewisse Vorgaben hinsichtlich Qualität von Trainingsdaten und Transparenz- sowie Dokumentationspflichten. Der überwiegende Großteil von KI-Anwendungen sollte nicht vom AI Act betroffen sein. Trotz zahlreicher Änderungen im Prozess ist es dabei im Grunde auch geblieben, was ich persönlich positiv bewerte.

III. Gute Arbeit: Diese Verbesserungen haben es geschafft

14

Mit der Zusammenführung von Produktsicherheitsregulierung und Regeln zum Schutz von Bürgerrechten hat sich die Kommission in ihrem Entwurf an der Quadratur des Kreises versucht. Dies führte unter anderem dazu, dass das Europäische Parlament ganze neun Monate benötigte, um zu klären, welche Ausschüsse an der Erarbeitung der Parlamentsposition beteiligt sein sollten.6 Inhaltlich hatte der Kommissionsvorschlag zahlreiche Schwächen, sowohl bezüglich der Regeln für Entwickler und Anwender als auch was den Schutz von Bürgerrechten betraf. Der Text wäre nicht praxistauglich gewesen und hätte europäischen Unternehmen dadurch massiv geschadet. Geradezu schockiert waren viele Kollegen und ich selbst über das Ausmaß an Überwachung und weiteren Eingriffen in Persönlichkeitsrechte, die der Kommissionsvorschlag bedeutet hätte. Die Folge waren über 3.300 Änderungsanträge, die im Parlament eingereicht und anschließend verhandelt wurden, davon knapp 300 von mir und meinem Team.

15

Nach mehr als anderthalb Jahren zäher Verhandlungen, gerade auch weil im Parlament sehr fundamental unterschiedliche Sichtweisen zu Technologie, Offenheit für Innovation und Bürgerrechten herrschen, gelang es mir und meinem Mitarbeiter David Kordon – der von Anfang an mit mir an dem AI Act gearbeitet hat und mit gemeint ist, wenn ich von „wir“ rede, sofern nicht anders ausgeführt ist – viele der Fehler und Ungenauigkeiten des ursprünglichen Textes zu beheben. Eine Auswahl an Verbesserungen im finalen Gesetzestext gegenüber dem ursprünglichen Kommissionsvorschlag möchte ich hier kurz vorstellen.

16

Was die für KI-Entwickler und Anwender relevanten Regelungen angeht, halte ich es für einen der wichtigsten Erfolge, dass es uns gelungen ist, Forschung und Entwicklung vom Anwendungsbereich des AI Act auszunehmen. Auch für die Open-Source-Szene konnten wir zahlreiche Ausnahmen erwirken, ohne große Unternehmen aus der Verantwortung zu entlassen, nur weil sie Systeme unter Open-Source-Lizenzen veröffentlichen. Wir konnten die Definition von Künstlicher Intelligenz nachschärfen und weitgehend an globale Vorbilder wie die OECD-Definition anpassen, um die EU und den AI Act international anschlussfähig zu halten. Auch wenn ich mir hier noch mehr Klarheit gewünscht hätte – etwa maschinelles Lernen als zentrales Charakteristikum von KI –, so ist es doch sehr zu begrüßen, dass nun nicht mehr zahlreiche Arten von klassischer Software in den Anwendungsbereich fallen. Dies drohte mit dem Kommissionsvorschlag und hätte das Ziel, allein fortschrittliche, selbstlernende Systeme aufgrund ihrer besonderen Eigenschaften zu regulieren, völlig untergraben.

17

Nach besonders intensiven und langwierigen Verhandlungen ist es uns auch gelungen, dass nicht jedes System, das in einem der Hochrisikobereiche genutzt wird, automatisch als hochriskant eingestuft wird. Ein System, das Termine vergibt, ist beispielsweise nicht automatisch hochriskant, nur weil es in einem Krankenhaus oder im Bereich der kritischen Infrastruktur angewendet wird. Diese Fehlklassifizierung drohte mit dem ursprünglichen Gesetzesvorschlag. Auch die Verteilung der Verantwortlichkeiten entlang der KI-Wertschöpfungskette war zunächst nicht klar, was zu großen Sorgen bei Entwicklern und Anwendern führte. Dieser Aspekt konnte im Verhandlungsprozess durch klarere Regelungen deutlich verbessert werden. Dies wird insbesondere kleinen und mittleren Unternehmen helfen, die im Technologie-Ökosystem allzu oft mit der Übermacht von Big-Tech-Konzernen zu kämpfen haben. Für KMU und Start-ups ist zudem von erheblicher Bedeutung, dass wir die Rolle sogenannter Reallabore stärken konnten. Diese Strukturen sind von erheblicher Bedeutung, um KI-Systeme unter Aufsicht zu testen und zu verbessern, um sie schließlich zur Marktfähigkeit zu führen.

18

Was den zentralen Aspekt der Bürgerrechte betrifft, so konnten wir ebenfalls wichtige Verbesserungen erzielen. Eine Mehrheit des Parlaments, mich eingeschlossen, hatte sich für zusätzliche Verbote von KI-Anwendungen ausgesprochen, die ethische und grundrechtliche Standards klar verletzen. Einige dieser Verbote haben es in die finale Version des Gesetzes geschafft. Dazu gehört etwa Predictive Policing mit Systemen, die auf Basis von Profiling vorhersagen, ob eine Person künftig kriminell werden wird. Auch das Erstellen von biometrischen Datenbanken durch Abschöpfen von Bildern aus dem Internet oder Überwachungskameras ist künftig untersagt.

19

Beim großen Streitpunkt der biometrischen Fernidentifizierung in Echtzeit zu Zwecken der Strafverfolgung wurde ein Kompromiss gefunden, der dem Parlament in dieser Form vorher von niemandem zugetraut wurde. Gemeinsam mit anderen Abgeordneten hatte ich das Komplettverbot dieser Art von KI-Nutzung im öffentlichen Raum gefordert. Eine Position, die sich auch im Text des Parlaments wiederfand. Unter den 27 Mitgliedstaaten unterstützte allerdings allein Deutschland mit seiner Ampel-Regierung das Verbot. Darauf hatten die Regierungsparteien sich bereits 2021 bei den Koalitionsverhandlungen zwischen SPD, Grünen und FDP geeinigt. Obwohl also fast alle Mitgliedstaaten biometrische Erkennungssysteme für die Strafverfolgung zulassen wollten, konnte das Parlament eine Vielzahl rechtsstaatlicher Hürden für deren Nutzung in den AI Act hineinverhandeln. So darf die Technologie nur im Zusammenhang mit einer genau definierten Liste sehr schwerer Straftaten angewendet werden. Dazu zählen etwa Terrorismus, Menschenhandel, Kinderpornografie oder Entführung. Auch dürfen nur gezielt bestimmte gesuchte Personen identifiziert werden. Eine massenhafte Identifizierung aller im Videomaterial befindlichen Menschen soll damit ausgeschlossen werden. Der Einsatz des Systems muss in jedem Einzelfall richterlich oder durch eine unabhängige Behörde genehmigt werden. Mitgliedstaaten können strengere Regeln erlassen. Darüber hinaus finden sich zahlreiche weitere Einschränkungen im finalen Gesetzestext.

IV. Halbgares Ergebnis: Problematische Aspekte des finalen Textes

20

Beim AI Act wird es besonders an der Umsetzung hängen, ob er zur Innovationsbremse statt zum Innovationsmotor wird und sogar zur Abwanderung von KI-Entwicklern aus der EU führen könnte. Denn die nach wie vor bestehenden Unklarheiten, sowohl die bürokratischen als auch die finanziellen Belastungen, die durch die neuen Regelungen entstehen, können sich vor allem Big-Tech-Unternehmen mit großen Compliance-Abteilungen und Budget für externe Berater leisten. Kleinere und mittelgroße Unternehmen aus Europa werden jedoch unter der zusätzlichen Bürokratielast ächzen. Damit wurde ein wichtiges Ziel des AI Act, einen innovationsfördernden Rahmen für „KI made in Europe“ zu schaffen, verpasst. Leider ist dies oft ein systemimmanenter Fehler in europäischer Gesetzgebung. Regelungen werden vor allem mit großen Unternehmen und ihren Kapazitäten im Sinn entworfen und kleinere Unternehmen sind dabei oft der Kollateralschaden. So wird unbeabsichtigt größeren Unternehmen durch Regulierung häufig noch ein Wettbewerbsvorteil verschafft. In einem globalen Marktumfeld, das weitestgehend von weniger Regulierung und einer positiveren Herangehensweise an Technologie geprägt ist, muss dies für europäische Unternehmen ein unzufriedenstellendes Ergebnis sein.

21

Im Detail handelt es sich bei den von mir als kritisch bewerteten Regelungen neben der Vielzahl an Dokumentations- und Berichtspflichten etwa auch um die Unschärfen und Überlappungen mit den sektorspezifischen Regulierungen, die im Anhang I aufgeführt sind. Hier zeichneten sich schon mit dem Ende der Gesetzesverhandlungen erste Probleme ab, die künftig noch viel stärker zutage treten dürften. Mehr Gründlichkeit wäre bei diesem und anderen Abschnitten nötig gewesen. Einige Artikel und Erwägungsgründe haben den Weg ins Gesetz eher aus politischen Gründen gefunden, haben aber eigentlich nichts in einer EU-Verordnung verloren. Das gilt etwa für Erwägungsgrund 27, der in ausführlicher Weise Bezug auf die ethischen Prinzipien der AI High-Level Expert Group nimmt. Die Einbeziehung wirft in diesem Kontext mehr Fragen auf, als sie beantwortet, was die rechtliche Wirkung betrifft. Ähnlich verhält es sich mit Art. 4 zur gesellschaftlichen Bildung zu Künstlicher Intelligenz. Deren Förderung ist auch mir ein wichtiges Anliegen. Es handelt sich hierbei aber um eine gesamtgesellschaftliche Aufgabe, die Einbeziehung des Artikels in eine EU-Verordnung halte ich jedoch für fragwürdig.

22

Die Grundrechte-Folgenabschätzung durch Anwender von KI-Systemen (Art. 27) wurde im Prozess gegenüber der vom Parlament verabschiedeten Position zwar stark eingeschränkt, ist aber meiner Ansicht nach weitgehend unnötig, da die befürchteten negativen Auswirkungen bereits in anderen Gesetzen wie der Datenschutzgrundverordnung (DSGVO) adressiert sind. Die vorgesehene Grundrechte-Folgenabschätzung scheint also eher ein bürokratischer Papiertiger ohne einen echten Mehrwert für den Schutz von Bürgerrechten zu werden.

23

Die in Anhang III aufgeführten Hochrisiko-Kategorien, die maßgeblich bestimmen, welche KI-Systeme in den Anwendungsbereich des AI Act fallen, sind teilweise zu weit gefasst. Das gilt insbesondere für die Bereiche KI am Arbeitsplatz und in der Bildung. Hier besteht die Gefahr, dass nunmehr auch Systeme mit positiver Wirkung als hochriskant klassifiziert werden. Das wäre angesichts des großen Potenzials, das KI in diesen Bereichen entfalten kann, höchst problematisch. Insbesondere im Bereich Bildung droht die EU zurückzufallen, wenn der Einsatz von neuen Technologien teuer und kompliziert wird. Ebenfalls negative Auswirkung könnte die zu breit formulierte Kategorie von KI zum Einsatz im Zusammenhang mit Wahlen haben. Diesen Aspekt hätte man meines Erachtens nicht in den AI Act aufnehmen, sondern zielgenauer und stärker in den entsprechenden Spezialgesetzen regeln sollen.

24

Eines der am meisten diskutierten Kapitel wurde am Ende des Verhandlungsprozesses mit besonders heißer Nadel gestrickt: die Regeln für sogenannte Basismodelle wie GPT. Der AI Act nennt sie „General Purpose AI Models“, abgekürzt GPAI Models. Da der AI Act anwendungsbezogen aufgebaut ist, sollten durch seine Systematik eigentlich definierte Anwendungszwecke von KI-Systemen reguliert werden. Bei Basismodellen und den darauf basierenden Allzweck-KI-Systemen ist dies aber nicht der Fall. Sie können für eine Vielzahl, wenn nicht gar unendlich viele Zwecke genutzt werden. Daher passen sie nicht in die Gesamtsystematik des AI Act und waren vom ursprünglichen Kommissionsentwurf auch nahezu nicht betroffen. Erst der Text des Rates, aber in noch viel größerem Rahmen der Parlamentstext, widmeten diesen Systemen gesonderte Regeln.

25

Zu Zeiten der Trilog-Verhandlungen zwischen Kommission, Parlament und Rat war generative KI öffentlich in aller Munde. Dies führte zum einen die Arbeit am AI Act raus aus einer Fachöffentlichkeit in eine breitere gesellschaftliche Debatte zu Künstlicher Intelligenz. Es bestärkte zum anderen aber auch bei den Verhandlungsführern aller drei Institutionen den Wunsch, diese Systeme bzw. die zugrundeliegenden Basismodelle im AI Act regulieren zu wollen.

26

Die Regierungen aus Deutschland, Frankreich und Italien hatten argumentiert, dass man Basismodelle und generative KI generell vom AI Act ausnehmen und zunächst mittels einer Selbstregulierung durch einen freiwilligen Code of Conduct adressieren sollte. Auch diesem Vorschlag stand ich selbst offen gegenüber, was allerdings eine Minderheitenmeinung im Team der Verhandler der drei Institutionen war.

27

So führte man für GPAI-Modelle eine eigene Systematik im AI Act ein, die von der grundsätzlichen Logik ablässt, dass der Anwendungsbereich, nicht die Technologie reguliert wird. Herausgekommen ist ein System, das zwischen solchen Basismodellen mit systemischer Relevanz und allen übrigen Basismodellen unterscheidet. Erstere sollen einige zusätzliche Auflagen erfüllen. Diese Systematik entstand in kürzester Verhandlungszeit unter sehr hohem Druck, wobei vor allem fraglich blieb, ob die Wirkung zielgerichtet sein wird.

28

Dazu gehört unter anderem die Verpflichtung für Anbieter aller Basismodelle, eine ausreichend detaillierte Zusammenfassung der verwendeten Datenbasis zu erstellen. Diese Regelung wurde bereits im Verhandlungsteam auf vielfältige Weise interpretiert. In der Praxis könnte sie absehbar für große Unklarheit, wenn nicht gar Unerfüllbarkeit sorgen und wird wahrscheinlich erst von Gerichten interpretiert werden müssen. Hintergrund war der absolut berechtigte Wunsch von Urhebern, dass ihr geschütztes geistiges Eigentum nicht ohne Einverständnis und Gegenleistung durch generative KI verwertet werden darf. Wir müssen dieser Herausforderung gebührende Zeit und Fokus geben. Ich habe während der Verhandlungen daher die Position vertreten, dieses vielschichtige und sehr komplexe Problem nicht als einen Absatz im AI Act anzugehen, der letztlich mehr Probleme aufwerfen als lösen würde. Das europäische Urheberrecht wäre hierfür der geeignetere Rechtsrahmen. Die EU-Kommission wird mit Blick auf die technologische Entwicklung in den kommenden Jahren ohnehin einen aktualisierten Gesetzesvorschlag vorlegen müssen.

29

Darüber hinaus lässt der AI Act bewusst offen, wie die Einstufung der Basismodelle als systemisch relevant erfolgen soll. Das einzige Kriterium, auf das man sich einigen konnte, war die Computing Power, in Zeiten technologischen Fortschritt allerdings kein hinreichendes Kriterium. Hier wurde es der Kommission überlassen, weitere Kriterien zu definieren. Problematisch bleibt dabei, dass Aspekte wie beispielsweise Nutzerzahlen eben kein Kriterium sind, das man seriös heranziehen kann. Wissen Entwickler doch zu Beginn der Entwicklung, also dann, wenn die Auflagen des AI Act vor allem zu berücksichtigen sind, noch nicht, wie viele Nutzer das Produkt einmal haben wird. Die Regelungen zu den Basismodellen werden ein echter Knackpunkt in der Umsetzung durch die Kommission und das ihr angegliederte AI Office sein.

30

Neben all den aufgeführten Aspekten, die das Leben für Entwickler und Nutzer von KI in Europa unnötig schwer machen, weil sie keinen Mehrwert an Sicherheit oder Innovation schaffen, gilt einer meiner Hauptkritikpunkte am finalen Gesetzestext dem Schutz der Bürgerrechte, der stärker hätte sein können und müssen. Während die Industrie an zahlreichen Punkten überreguliert wird, lässt man dem Staat zu große Handlungsspielräume – ein Erfolg für die Mehrheit der Mitgliedstaaten, schmerzhaft für das Europäische Parlament.

31

Weitreichende Ausnahmen für die nationale Sicherheit, sowohl im Anwendungsbereich als auch in mehreren Artikeln quer durch die ganze Verordnung, lassen befürchten, dass einige nationale Regierungen KI-Systeme am AI Act vorbei und letztlich gegen die Interessen von Bürgerinnen und Bürgern einsetzen könnten.

32

Eine der größten Gefahren geht meiner Meinung nach zudem von den freigiebigen Regeln für die sogenannte nachgelagerte Anwendung von KI-Systemen zur biometrischen Identifizierung aus. Es bleibt unklar, ab wann eine biometrische Identifizierung nicht mehr als „Echtzeit“, sondern als zeitlich „nachgelagert“ gilt. Auf eine entsprechende Definition konnten sich die Verhandler von Parlament und spanischer Ratspräsidentschaft nicht einigen. So bleibt die Befürchtung, dass „nachgelagert“ schlicht als eine minimal zeitversetzte „Echtzeit“-Überwachung verstanden werden kann. Dadurch könnten die strengen Vorschriften zur Echtzeit-Identifizierung von Personen, die das Parlament gegenüber den Mitgliedstaaten errungen hat, umgangen werden. Anstelle des vom Parlament geforderten Richtervorbehalts ist nun auch eine administrative Behörde befugt, den Einsatz von Systemen zur biometrischen Identifizierung zu genehmigen, sowohl vor als auch erst nach einem Einsatz. Eine erste Identifizierung einer Person müsste nicht einmal autorisiert werden, und es gibt keine Beschränkungen hinsichtlich der Schwere der Straftaten. Unklar blieb vor allem zwischen Parlament und Rat, was unter einer ersten Identifizierung zu verstehen ist. Selbst Bagatelldelikte wie Schwarzfahren könnten durch Gesichtserkennung verfolgt werden. Das wäre ein völlig unverhältnismäßiger Einsatz biometrischer Technologie.

33

Immerhin konnten wir aus Parlamentssicht erreichen, dass Mitgliedsländer auch die Möglichkeit haben, stärkere Regelungen zum Schutz von Bürgerrechten einziehen zu können.

34

Trotz einer Reihe guter Ergebnisse fällt meine Bilanz des AI Act gemischt aus. Viele Chancen wurden verschenkt, unterm Strich schafft das Gesetz einige unverhältnismäßige Belastungen für die europäische Wirtschaft und einige der verabschiedeten Regeln sind mit Blick auf unsere Grundrechte problematisch und werden insbesondere an der Auslegung und der Art und Weise der Umsetzung hängen. In der Abwägung sind Kollegen für sich zur Überzeugung gekommen, die erreichten Regeln zum Schutz der Bürgerrechte absichern zu wollen. Aus meiner Sicht haben wir zwar entscheidende Erfolge gegen die Mitgliedsländer erzielt, aber für eine Zustimmung war dies für mich nicht ausreichend. Ich halte insbesondere den Aspekt des Einsatzes biometrischer Technologie in der Strafverfolgung für eine höchst persönliche Entscheidung bei der parlamentarischen Abstimmung. Deshalb haben die FDP-Abgeordneten sich in der Abwägung bei der Abstimmung des Trilog-Ergebnisses im Frühjahr 2024 enthalten.

V. Was wäre wenn? Diese Ideen haben sich nicht durchgesetzt

35

Die große öffentliche Aufmerksamkeit für den AI Act führte in den drei Jahren der Verhandlungen auch zu ungewöhnlich viel Berichterstattung während des Prozesses. Quasi jeder Textvorschlag drang nach außen und wurde von Medien und Analysten gleichermaßen kommentiert. Auf der einen Seite ist eine öffentliche Diskussion über Gesetzgebung wertvoll, auf der anderen Seite brauchen Verhandlungen auch Vertrauen, um Lösungen zu finden, sodass mediale Diskussionen die Verhandlungen manches Mal erleichterten, oft aber auch erschwerten. Einige dieser Vorschläge haben es leider nicht in die finale Fassung geschafft, andere glücklicherweise nicht.

36

Ich selbst hätte mir sehr viel mehr Offenheit für Innovation und eine schlankere und besser verständlichere Regulierung gewünscht. So hatte ich mich etwa für eine einfach auszufüllende Checkliste eingesetzt, mit der Anbieter von nicht riskanter KI nachweisen können, dass ihre Systeme kein hohes Risiko bergen, auch wenn sie in einem sogenannten Hochrisiko-Bereich eingesetzt werden. Diese Lösung wäre noch einfacher und präziser gewesen als die letztliche Einigung zum Art. 6. Auch hatte ich mich für weitergehende Erleichterungen für Start-ups und KMU eingesetzt, die wir nicht in jeder Hinsicht mit Großkonzernen gleichbehandeln sollten. Bei den Reallaboren hat sich die Idee, dass die erfolgreiche Teilnahme zu einer Konformitätsvermutung führt, leider nicht durchgesetzt. Dies hätte den Markteintritt gerade für kleinere Akteure deutlich einfacher und günstiger gemacht. Mein Vorschlag, ein Verbot der anlasslosen Überwachung persönlicher Kommunikation – bekannt unter dem Stichwort „Chatkontrolle“ – zu erwirken, fand leider ebenfalls keine Mehrheit.

37

Bei einigen anderen Vorschlägen bin ich jedoch erleichtert, dass sie es nicht ins Gesetz geschafft haben. Dazu zählt etwa eine verpflichtende Drittstellenzertifizierung jeglicher KI-Systeme unter dem AI Act, die ein unglaublicher Kostentreiber geworden wäre. Eine sehr umfangreiche und teilweise kaum leistbare Grundrechtsprüfung sollte nach Willen einiger parlamentarischer Verhandler für alle Anwendungen von KI verpflichtend werden. Diese Auflage wurde realistischer gelöst und gilt nunmehr nur für öffentliche Stellen, private Anbieter öffentlicher Dienstleistungen, Kreditwürdigkeits- sowie Risikoprüfungen in Zusammenhang mit Lebens- und Krankenversicherungen. Ganz entscheidend ist auch, dass sich Forderungen nach der Streichung von Art. 10 Abs. 5 sowie des gesamten Art. 59 nicht durchsetzen konnten. Hierbei geht es jeweils um die Verarbeitung personenbezogener Daten zum Training und Betrieb bzw. Testen von KI-Systemen. Hätten wir diese Möglichkeiten nicht geschaffen, wäre es in Europa kaum möglich, KI zu entwickeln, die nicht nur leistungsstark, sondern auch möglichst diskriminierungsfrei ist. Die hohen Datenschutzstandards der EU gelten selbstverständlich auch weiterhin.

38

Von fundamentaler Bedeutung ist auch, dass sich die verhandlungsführende spanische Ratspräsidentschaft mit ihrem Vorschlag zur Allzweck-KI nicht durchsetzen konnten, wie er in der allgemeinen Ausrichtung des Rates von Ende 2022 zu finden war. Demnach wäre faktisch jedes System, dass für verschiedene und noch unvorhersehbare Zwecke eingesetzt werden könnte, als Hochrisiko-System eingestuft worden. Erst in letzter Minute ist es uns als Verhandlern des Europäischen Parlaments in der finalen Sitzung gelungen, diese unverhältnismäßige und nicht praktikable Regelung abzuwenden.

VI. Nach der Gesetzgebung ist vor der Umsetzung – worauf es nun ankommt

39

Wie ausführlich beschrieben, bringt der AI Act neben guten auch zahlreiche mangelhafte oder unklare Regelungen mit sich. Für die praktischen Anwender besteht dennoch Hoffnung auf etwas mehr Klarheit in naher Zukunft. Die Europäische Kommission muss nun zunächst eine ganze Reihe Delegierter Rechtsakte erlassen und Rechtsdurchführungsakte erarbeiten, mit denen sie einige der Verpflichtungen spezifiziert. Von ganz enormer Bedeutung werden der zu erstellende Verhaltenskodex und die Leitlinien sein, die KI-Entwicklern wie Anwendern helfen sollen, den AI Act in der Praxis korrekt umzusetzen, und die Licht ins für viele Laien undurchdringliche Dickicht politischer und juristischer Formulierungen bringen sollen. Federführend ist hierbei die Kommission in Zusammenarbeit mit dem bei ihr angesiedelten AI Office und den Mitgliedstaaten. Zudem gilt es, dass nun schnellstmöglich die nötigen Normen und Standards erarbeitet und veröffentlicht werden. Bei all diesen Prozessen ist die Einbindung verschiedener Stakeholder, von Industrie über wissenschaftliche Experten bis hin zur Zivilgesellschaft von erheblicher Bedeutung. Nur im engen Austausch mit Praktikern und Vertretern verschiedener gesellschaftlicher Interessen lässt sich der AI Act in seiner Anwendung zu einem Erfolg führen.

40

Das neue AI Office, welches neben zahlreichen koordinierenden Aufgaben insbesondere für die Marktüberwachung von Basismodellen (GPAI Models) zuständig sein wird, muss inhaltlich und personell stark aufgestellt werden. Von entscheidender Bedeutung ist, dass die EU-Kommission und das ihr angeschlossene AI Office ausgetretene Pfade verlassen und mehr Praxisnähe und Offenheit wagen. Nur so können die Schwächen des AI Act ausgebügelt werden. Entwickler und Anwender müssen in die Entwicklung von Leitlinien und Kodizes aller Art eingebunden werden. Es gilt, denjenigen, die den AI Act anzuwenden haben, klar verständliche Anweisungen an die Hand zu geben, damit auch KI-Entwickler oder Anwender ohne eine große Rechtsabteilung die eigenen Pflichten und Möglichkeiten kennen und das Gesetz einhalten können.

41

Der AI Act schafft einen Rahmen zur Nutzung von Künstlicher Intelligenz in der EU. Es wäre aber ein Irrglaube, Regulierung von Künstlicher Intelligenz wäre damit für die nächsten Jahre erledigt. Realistischerweise werden eine Vielzahl an Gesetzen an die technologische Entwicklung angepasst sowie reale Gesetzeslücken geschlossen werden müssen. Aspekte von Über- und Doppelregulierung gilt es dann aber auch abzubauen. Der AI Act wird sicherlich nicht das letzte europäische KI-Gesetz bleiben.

  1https://ec.europa.eu/commission/presscorner/detail/en/STATEMENT_23_6471 (zuletzt abgerufen am 27.5.2025).

  2https://commission.europa.eu/system/files/2020-04/political-guidelines-next-commission_en_0.pdf (zuletzt abgerufen am 27.5.2025).

  3Der Abschlussbericht des Sonderausschusses kann abgerufen werden unter: https://www.europarl.europa.eu/doceo/document/A-9-2022-0088_DE.html.

  4https://netzpolitik.org/2021/kindergeldaffaere-niederlande-zahlen-millionenstrafe-wegen-datendiskriminierung/ (zuletzt abgerufen am 27.5.2025).

  5https://www.technologyreview.com/2019/02/13/137444/predictive-policing-algorithms-ai-crime-dirty-data/ (zuletzt abgerufen am 27.5.2025).

  6Letztlich wurde eine gemeinsame Federführung des Binnenmarktausschusses (IMCO) mit dem Innenausschuss (LIBE) festgelegt. Hinzu kamen mitberatende und sogar exklusive Kompetenzen für andere Ausschüsse. So war etwa der Rechtsausschuss (JURI) allein für den Artikel zu Transparenzvorschriften zuständig.

Kapitel I Allgemeine Bestimmungen

Art. 1 Gegenstand

(1) Zweck dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern und die Einführung einer auf den Menschen ausgerichteten und vertrauenswürdigen künstlichen Intelligenz (KI) zu fördern und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, vor schädlichen Auswirkungen von KI-Systemen in der Union zu gewährleisten und die Innovation zu unterstützen.

(2) In dieser Verordnung wird Folgendes festgelegt:

harmonisierte Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen in der Union;

Verbote bestimmter Praktiken im KI-Bereich;

besondere Anforderungen an Hochrisiko-KI-Systeme und Pflichten für Akteure in Bezug auf solche Systeme;

harmonisierte Transparenzvorschriften für bestimmte KI-Systeme;

harmonisierte Vorschriften für das Inverkehrbringen von KI-Modellen mit allgemeinem Verwendungszweck;

Vorschriften für die Marktbeobachtung sowie die Governance und Durchsetzung der Marktüberwachung;

Maßnahmen zur Innovationsförderung mit besonderem Augenmerk auf KMU, einschließlich Start-up-Unternehmen.

Mit Art. 1 korrespondieren die Erwägungsgründe 1–9.

Schrifttum:Becker, Der Kommissionsentwurf für eine KI-Verordnung – Gefahr für die Wissenschaftsfreiheit?, ZfDR 2023, 164; Becker/Feuerstack, Der neue Entwurf des EU-Parlaments für eine KI-Verordnung, MMR 2024, 22; Beierle, Die Bedeutung des Inverkehrbringens für IoT-Produkte in der Produkthaftung, ZfPC 2022, 22; Bergmann (Hrsg.), Handlexikon der Europäischen Union, 6. Aufl. 2022; Bomhard/Merkle, Europäische KI-Verordnung – Der aktuelle Kommissionsentwurf und praktische Auswirkungen, RDi 2021, 276; Bomhard/Siglmüller, AI Act – das Trilogergebnis, RDi 2024, 45; Botta, Die Förderung innovativer KI-Systeme in der EU, ZfDR 2022, 391; Buchardi, Risikotragung für KI-Systeme, EuZW 2022, 658; Buchalik/Gehrmann, Von Nullen und Einsen zu Paragraphen: Der AI Act, ein Rechtscode für Künstliche Intelligenz, CR 2024, 145; de la Durantaye, Nutzung urheberrechtlich geschützter Inhalte zum Training generativer künstlicher Intelligenz, AfP 2024, 9; Ebers, Standardisierung Künstlicher Intelligenz und KI-Verordnungsvorschlag, RDi 2021, 588; Ebers/Hoch/Rosenkranz/Ruschemeier/Steinrötter, Der Entwurf für eine EU-KI-Verordnung: Richtige Richtung mit Optimierungsbedarf, RDi 2021, 528; Ebert/Spiecker gen. Döhmann, Der Kommissionsentwurf für eine KI-Verordnung der EU, NVwZ 2021, 1188; Ehlers/Fehling/Pünder (Hrsg.), Besonderes Verwaltungsrecht, Bd. 1, 4. Aufl. 2019; Engelmann/Brunotte/Lütkens, Regulierung von Legal Tech durch die KI-Verordnung, RDi 2021, 317; Ensthaler, Künstliche Intelligenz – einige Gedanken zu den vorhandenen und geplanten Schutzmaßnahmen, InTeR 2024, 2; Frost/Steininger/Vivekens, Nutzen, Chancen, Risiken und Haftung bei der Verwendung von künstlicher Intelligenz im Kontext der KI-Verordnung und der KI-Haftungsrichtlinie, MPR 2024, 4; Geminn, Die Regulierung künstlicher Intelligenz, ZD 2021, 354; Grützmacher/Füllsack, Entwurf der EU-KI-Verordnung – Ein erster Überblick über den Vorschlag der Kommission, ITRB 2021, 159; Hacker, Europäische und nationale Regulierung von Künstlicher Intelligenz, NJW 2020, 2142; Hacker/Berz, Der AI Act der Europäischen Union – Überblick, Kritik und Ausblick, ZRP 2023, 226; Hoeren/Sieber/Holznagel (Hrsg.), Handbuch Multimedia-Recht, 62. EL, Stand: 2024; Hoffmann, Regulierung der Künstlichen Intelligenz, K&R 2021, 369; Krönke, Das europäische KI-Gesetz: Eine Verordnung mit Licht und Schatten, NVwZ 2024, 529; Lantwin, Deep Fakes – Düstere Zeiten für den Persönlichkeitsschutz?, MMR 2019, 574; Lauscher/Legner, Künstliche Intelligenz und Diskriminierung, ZfDR 2022, 367; Orssich, Das europäische Konzept für vertrauenswürdige künstliche Intelligenz, EuZW 2022, 254; Paal, KI-Training mit öffentlich frei zugänglichen Daten im Lichte der DS-GVO-Vorgaben, ZfDR 2024, 129; Roos/Weitz, Hochrisiko-KI-Systeme im Kommissionsentwurf für eine KI-Verordnung, MMR 2021, 844; Rostalski/Weiss, Der KI-Verordnungsentwurf der Europäischen Kommission, ZfDR 2021, 329; Rößling, Regulierung von Deep Fakes, ZfDR 2024, 187; Schwartmann/Köhler, RDV 2024, 27; Spindler, Der Vorschlag der EU-Kommission für eine Verordnung zur Regulierung der Künstlichen Intelligenz (KI-VO-E), CR 2021, 361; Steege, Technikregulierung – der Umgang mit Risiken im Recht – Zur Haftung und Regulierung von künstlicher Intelligenz und dem autonomen Fahren im Straßenverkehr, NZV 2022, 257; Steege, Definition der Künstlichen Intelligenz in Art. 3 Nr. 1 KI-VO, MMR 2022, 926; Steege/Chibanguza, Der Anwendungsbereich (Art. 2) des EU-Verordnungsentwurfs zur Regulierung von KI – Auswirkungen auf den Mobilitätssektor, SVR 2022, 401; Sydow/Marsch (Hrsg.), DS-GVO/BDSG, 3. Aufl. 2022; Thiel, „Deepfakes“ – sehen heißt glauben? Gefahren, gesetzgeberischer Handlungsbedarf, Konsequenzen für die biometrische Gesichtserkennung, ZRP 2021, 202; Valta/Vasel, Kommissionsvorschlag für eine Verordnung über künstliche Intelligenz – Mit viel Bürokratie und wenig Risiko zum KI-Standort?, ZRP 2021, 142; Vasel, Künstliche Intelligenz und die Notwendigkeit agiler Regulierung, NVwZ, 2023, 1298; Wagner, Datenschutz und VR in China – ein Widerspruch?, ZD 2020, 140; Wiebe, Produktsicherheitsrechtliche Betrachtung des Vorschlags für eine KI-Verordnung, BB 2022, 899.

I. Einleitung 1

1. Entwicklung der Diskussion um KI in der Europäischen Union 1

2. Überblick über das Gesetzgebungsverfahren der KI-VO 9

3. Struktur und Regulierungsansatz der KI-VO 18

a) Orientierung am Produktsicherheitsrecht und risikobasierter Ansatz 18

b) Die Struktur der KI-VO im Einzelnen 19

II. Allgemeines 23

1. Zweck der Vorschrift 23

2. Entstehungsgeschichte 26

3. Verhältnis zu anderen Vorschriften 30

III. Verordnungszwecke (Abs. 1) 34

IV. Regelungsinhalt der KI-VO im Einzelnen (Abs. 2) 46

1. Harmonisierte Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen der künstlichen Intelligenz (KI-Systeme) in der Union 46

a) Harmonisierte Vorschriften 46

b) Inverkehrbringen, Inbetriebnahme und Verwendung in der Union 47

b) System der künstlichen Intelligenz (KI-System) 54

2. Verbote bestimmter Praktiken im Bereich KI 58

3. Besondere Anforderungen an Hochrisiko-KI-Systeme und Verpflichtungen für die Betreiber solcher Systeme 63

4. Harmonisierte Transparenzvorschriften für bestimmte KI-Systeme 69

5. Harmonisierte Regeln für das Inverkehrbringen von KI-Modellen für allgemeine Zwecke 73

6. Regeln für die Marktüberwachung, die Steuerung der Marktüberwachung und die Durchsetzung 79

7. Maßnahmen zur Förderung der Innovation, mit besonderem Schwerpunkt auf KMU, einschließlich Start-ups 85

I. Einleitung

1. Entwicklung der Diskussion um KI in der Europäischen Union

1

Mit der Fortentwicklung der technischen Möglichkeiten im Bereich KI hat die Frage nach dem gesellschaftlichen und rechtlichen Umgang mit dieser Technologie in der EU an Bedeutung gewonnen. In einer gemeinsamen Erklärung von Parlament, Rat und Kommission über die gesetzgeberischen Ziele für die Jahre 2018 und 2019 fand die Auseinandersetzung mit den Risiken, die mit der Entwicklung von KI einhergehen, erstmals Erwähnung in den politischen Plänen der EU.1Man war sich darin darüber einig, mit allen Organen der EU daran zu arbeiten, die Vorteile der Entwicklungen im Bereich KI zu nutzen. Diese Agenda wurde eingehalten, indem die Kommission im Jahr 2018 einen Entwurf über eine europäische KI-Strategie mit dem Titel „Künstliche Intelligenz für Europa“ ausarbeitete.2