Erhalten Sie Zugang zu diesem und mehr als 300000 Büchern ab EUR 5,99 monatlich.
Das vorliegende Jahrbuch umfasst die Leitartikel der EuZ – Zeitschrift für Europarecht aus dem Jahr 2022. Die EuZ berichtet in nunmehr 24. Jahrgängen über die jüngsten Entwicklungen im Recht der EU sowie über die Beziehungen der Schweiz zur EU. Im Rahmen wissenschaftlicher Beiträge analysieren renommierte Experten aktuelle Rechtsfragen in allen wirtschaftsrelevanten Bereichen des EU-Rechts.
Sie lesen das E-Book in den Legimi-Apps auf:
Seitenzahl: 636
Veröffentlichungsjahr: 2023
Das E-Book (TTS) können Sie hören im Abo „Legimi Premium” in Legimi-Apps auf:
Verlag: EIZ Publishing (eizpublishing.ch)Produktion & Vertrieb: buch & netz (buchundnetz.com)ISBN:978-3-03805-558-7 (Print – Softcover)978-3-03805-559-4 (PDF)978-3-03805-560-0 (ePub)DOI:https://doi.org/10.36862/eiz-euzJB2022Version: 1.02 – 20230120
Dieses Werk ist als gedrucktes Buch sowie als Open-Access-Publikation in verschiedenen Formaten verfügbar:https://eizpublishing.ch/publikationen/euz-zeitschrift-fuer-europarecht-jahrbuch-2022/.
1
Das vorliegende Jahrbuch umfasst die Leitartikel der EuZ – Zeitschrift für Europarecht aus dem Jahr 2022. Die EuZ berichtet in nunmehr 24. Jahrgängen über die jüngsten Entwicklungen im Recht der EU sowie über die Beziehungen der Schweiz zur EU. Im Rahmen wissenschaftlicher Beiträge analysieren renommierte Experten aktuelle Rechtsfragen in allen wirtschaftsrelevanten Bereichen des EU-Rechts.
Seit 2022 wird die EuZ als Open Access-eJournal im Fachverlag des Europa Instituts an der Universität Zürich, „EIZ Publishing“, herausgeben. Sie erscheint zehnmal jährlich und ist auf der Verlagswebseite (www.eizpublishing.ch) kostenfrei abrufbar. Die einzelnen Ausgaben des eJournals umfassen neben den im vorliegenden Jahrbuch zusammengeführten Leitartikeln Kurzbeiträge zu aktuellen Entwicklungen in allen wirtschafts- und gesellschaftsrelevanten Bereichen des EU-Rechts und der Beziehungen Schweiz-EU.
Wir danken den Autorinnen und Autoren der vorliegenden Beiträge bestens für Ihre Beiträge und das Vertrauen in unser neues Veröffentlichungsformat, mit dem wir den Verbreitungsradius der EuZ enorm vergrössern konnten.
Zürich, Januar 2023
Tobias BaumgartnerAndreas KellerhalsWesselina UebeDr. iur, LL.M., RechtsanwaltProf. Dr. iur., LL.M., Rechtsanwalt, NotarDr. iur., Rechtsanwältin2
Der Artificial Intelligence Act der EU: Ein risikobasierter Ansatz zur Regulierung von Künstlicher Intelligenz – mit Auswirkungen auf die Schweiz
Dr. Angela Müller
Künstliche Intelligenz: Regulatorische Überlegungen zum „Wie“ und „Was“
Prof. Dr. Rolf H. Weber
Sustainable Finance: The Regulatory Concept of Greenwashing under EU Law
Dr. Tadas Zukas / Dr. Uwe Trafkowski
Die Europäische Union ist um der Menschen willen da
Prof. Dr. Peter M. Huber
EU-Entsenderecht zwischen Markt und Sozialschutz – Neuere Rechtsprechung des EuGH zu Sanktionen und zum grenzüberschreitenden Verkehr
Prof. Dr. Kurt Pärli
Aktuelle Spielräume für ein Institutionelles Rahmenabkommen
Prof. Dr. Sebastian Heselhaus
Digital Money – Taxonomy and Regulatory Approaches
Prof. Dr. Corinne Zellweger-Gutknecht / Prof. Dr. Rolf H. Weber
„From Farm to Fork“ – Schwerpunkte der EU-Lebensmittelrechtspolitik bis 2024
Prof. Dr. Matthias Horst
Die „Konditionalitätsregelung“ zum Schutz des Haushalts der EU vor Verstössen gegen die Grundsätze der Rechtsstaatlichkeit
Prof. Dr. Dr. Dr. Waldemar Hummer
Mit Kanonen auf Spatzen: Die geplante Reform des Schengen-Systems
Prof. Dr. Sarah Progin-Theuerkauf
Die Fintech-Massnahmen der EU und das „Finanzinstrument“
Prof. Dr. Thomas Jutzi / Andri Abbühl
Schutz der Gesundheit in der Europäischen Gesundheitsunion – Ist die Europäische Union auf zukünftige grenzüberschreitende Gesundheitsgefahren vorbereitet?
Prof. Dr. Claudia Seitz
Differentiated Integration in the European Union: Trends and Patterns
Prof. Dr. Frank Schimmelfennig / Prof. Dr. Thomas Winzen
3
Andri Abbühl, MLaw, wissenschaftlicher Mitarbeiter und Doktorand am Institut für Wirtschaftsrecht, Universität Bern.
Prof. Dr. iur. Sebastian Heselhaus, Ordinarius für Völkerrecht, Europarecht, Öffentliches Recht und Rechtsvergleichung, Universität Luzern, Direktor der Lucerne Academy for Human Rights Implementation und Ko-Direktor des Center for Law and Sustainability.
Prof. Dr. Matthias Horst, ehemals Honorarprofessor an der Universität Bonn und Mitglied des Verwaltungsrates der Europäischen Behörde für Lebensmittelsicherheit (EFSA), und heute Anwalt bei ZENK Rechtsanwälte, Berlin.
Prof. Dr. iur. Peter M. Huber, Richter des Bundesverfassungsgerichts (Zweiter Senat), Inhaber des Lehrstuhls für Öffentliches Recht und Staatsphilosophie, Ludwig-Maximilians-Universität München.
em. o. Univ.-Prof. Dr. iur., Dr. rer. pol., Dr. phil. Waldemar Hummer, Institut für Europarecht und Völkerrecht, Universität Innsbruck.
Prof. Dr. iur. Thomas Jutzi, Rechtsanwalt, LL.M., Ordinarius für Wirtschaftsrecht und Direktor am Institut für Wirtschaftsrecht, Universität Bern.
Dr. iur. des. Angela Müller, Leiterin von AlgorithmWatch CH / Head of Policy & Advocacy bei AlgorithmWatch, Zürich.
Prof Dr. iur. Kurt Pärli, Professor für Soziales Privatrecht, Universität Basel.
Prof. Dr. iur. Sarah Progin-Theuerkauf, Ordentliche Professorin für Europarecht und europäisches Migrationsrecht, Universität Freiburg.
Prof. Dr. iur. Claudia Seitz, M.A. (London), Rechtsanwältin, Gastprofessorin, Universität Gent sowie Lehrbeauftragte, Universitäten Basel, Bonn und Private Universität im Fürstentum Liechtenstein (UFL).
Prof. Dr. Frank Schimmelfennig, Professor für Europäische Integration und Politik der Europäischen Union, ETH Zürich.
Dr. Uwe Trafkowski, General Counsel, B-ON Group, Frankfurt am Main.
Prof. Dr. iur. Rolf H. Weber, Professor für Wirtschaftsrecht an der Universität Zürich, Co-Leiter des Universitären Forschungsschwerpunkts „Finanzmarktregulierung“, Mitglied des Steering Commitee des „Blockchain Center“ sowie Mitglied des Leitungsausschusses des „Center for Information Technology, Society, and Law“ und Rechtsanwalt in Zürich (Bratschi AG).
Prof. Dr. Thomas Winzen, Professor für Politikwissenschaften mit den Schwerpunkten Europäische Integration und Internationale Beziehungen, Heinrich-Heine-Universität Düsseldorf.
Prof. Dr. Corinne Zellweger-Gutknecht, Professorin für Privatrecht und Wirtschaftsrecht, Universität Basel.
Dr. Tadas Zukas, Global Lead Senior Legal Counsel Sustainability/ESG, Vontobel, Zürich.
Angela Müller
Prüfungen der Kreditwürdigkeit durch private Unternehmen, Berechnung der Arbeitsmarktintegrationschancen für Arbeitslose, die Bewertung von Bewerbungsunterlagen im Rekrutierungsprozess, Online-Recherchen mittels Suchmaschinen, die Prognose des Rückfallrisikos bei Inhaftierten oder personalisierte Werbung auf Social Media Plattformen – unsere Lebenswelt ist bereits heute geprägt von algorithmischer Entscheidungsfindung (ADM, für algorithmic decision-making), oft prominent diskutiert unter dem Schlagwort „Künstliche Intelligenz“ (KI).[1] Unternehmen, aber zunehmend auch öffentliche Stellen, erkennen grosse Potentiale in der Verwendung solcher Systeme, von der Personalisierung des Angebots von Produkten und Dienstleistungen bis zur Effizienzsteigerung bei der Abwicklung von Massenverwaltungsaufgaben. ADM-Systeme breiten sich weltweit rasant aus. Unsere Gesellschaft ist automatisiert.
Das alles hat auch für das Recht Konsequenzen. Algorithmenbasierte Automatisierungsprozesse scheinen bestehende rechtliche Paradigmen zumindest herauszufordern. Die Interaktion zwischen Mensch und Maschine, die Konzepte von Verantwortlichkeit, Rechenschaft und Haftung auf den Kopf zu stellen scheint; die technologische Entwicklung und die dadurch bedingte dynamische Natur des Regulierungsobjekts; der virtuelle Raum mit seiner grenzüberschreitenden Natur, der den üblichen räumlichen Geltungsbereich von Rechtsnormen transzendiert; oder die auffallende Intransparenz beim Einsatz von ADM-Systemen, die eine demokratische Kontrolle erschwert – alle diese Aspekte werfen neue Fragen für Forschung, Gesetzgebung und Rechtsprechung auf, die angegangen werden müssen.
Dazu gehören Fragen zu den Risiken, die mit dem Einsatz von ADM-Systemen einhergehen: Wir haben typischerweise nicht nur wenig Einblick in ihre Funktionsweise (Black Box-Problematik), sondern auch wenig Informationen dazu, wo, von wem und wozu sie eingesetzt werden. Die Systeme können einerseits durch Verzerrungen (biases) in Trainingsdaten oder in ihren Modellen bestehende gesellschaftliche Diskriminierungsmuster übernehmen sowie verstärken, können aber andererseits auch darüber hinaus – also selbst wenn der Einfluss dieser Verzerrungen in Daten und Modell minimiert werden könnte – ungerechtfertige Ungleichbehandlungen hervorrufen und zementieren:[2] Vor dem Hintergrund des gesellschaftlichen Kontextes, in dem sie angewendet werden, können sie beispielsweise mit sich selbst verstärkenden Rückkoppelungsschlaufen einhergehen. Weiter können ADM-Systeme Menschen in ihrer individuellen Selbstbestimmung befördern, indem sie Effizienzgewinn versprechen oder neue Handlungsoptionen eröffnen, können diese aber ebenso einschränken. Durch ihre prägende Rolle in der öffentlichen Sphäre können sie Teilhabemöglichkeiten sowohl erschaffen als auch reduzieren. Letzteres zeigt sich gerade am Beispiel der algorithmischen Steuerung von Online-Plattformen mit grosser – zunehmend auch öffentlich diskutierter – Deutlichkeit.
Vor dem Hintergrund dieser Risiken ist es zentral, Rahmenbedingungen für einen verantwortungsvollen Einsatz von ADM-Systemen zu schaffen. Während diese Governance hier in einem umfassenden Sinne verstanden wird und Massnahmen in verschiedensten Bereichen beinhalten muss, wird die rechtliche Regulierung zweifellos eine zentrale Dimension davon darstellen – eine Dimension, die im letzten Jahr auf den politischen Agenden weltweit an Bedeutung gewonnen hat. Am 21. April 2021 hat die Europäische Kommission ihren Entwurf für eine Verordnung zur Künstlichen Intelligenz[3] – der Draft „Artificial Intelligence Act“, im Folgenden der „KI-Verordnungsentwurf“ – vorgelegt, bei der es sich um die weltweit erste rechtlich bindende horizontale Regulierung von KI-Systemen handeln würde. Sie hat damit sowohl politisch ein Zeichen gesendet als auch substanziell einen Standard gesetzt.
Der KI-Verordnungsentwurf, der derzeit im Europäischen Parlament und im Rat der EU behandelt wird, soll im Folgenden näher erläutert sowie kritisch beurteilt werden. Anschliessend wird diskutiert, inwiefern die Verordnung für die Schweiz relevant würde und – darüber hinaus – welche Fragen sich für die Schweiz beim Umgang mit ADM-Systemen stellen. Ein Fazit schliesst diese Auslegeordnung ab.
Der KI-Verordnungsentwurf ist eines der jüngsten Resultate eines ganzen Pakets von Gesetzesvorschlägen und Initiativen der Europäischen Kommission, vorgelegt im Rahmen der europäischen Digitalstrategie. Nebst dem „Digital Markets Act“,[4] dem „Data Governance Act“,[5] der Maschinenrichtlinie[6] oder der angekündigten Revision der Produkthaftung in Bezug auf KI[7] gehört dazu auch der „Digital Services Act“,[8] der seinem Geltungsbereich entsprechend ebenfalls zentral sein wird im Umgang mit algorithmischen Entscheiden – nämlich jenen, die von Online-Plattformen vorgenommen werden.
Mit Veröffentlichung des Entwurfs zur KI-Verordnung hat die EU-Kommission weltweit die Debatte rund um die Governance von KI allerdings nochmals deutlich vorangetrieben – auch wenn selbstverständlich in anderen Rechtssystemen, Institutionen und Netzwerken das Thema ebenfalls verfolgt wird. Exemplarisch seien hier beispielsweise die OECD Empfehlungen zu KI[9] oder die Empfehlungen zur Ethik von KI der UNESCO[10] erwähnt. Zudem werden auch im Rahmen des Europarats derzeit Verhandlungen zu einem rechtlich bindenden Instrument zur Regulierung von KI vorbereitet, die voraussichtlich im Mai nächsten Jahres formell aufgenommen werden. Das „Ad Hoc Committee on Artificial Intelligence“ (CAHAI) war über die letzten zwei Jahre damit beauftragt, die Machbarkeit und mögliche Elemente eines rechtlichen Rahmens zu KI innerhalb des Europarats zu untersuchen, um einen Ausgangspunkt für die ministeriellen Verhandlungen zu schaffen.[11] Hier ergeben sich trotz der unterschiedlichen Verankerung der rechtlichen Prozesse interessante Bezugspunkte zur KI-Verordnung der EU.
Dem KI-Verordnungsentwurf der EU ging ein Weissbuch voraus, das unter Mitwirkung einer hochrangigen Expertengruppe verfasst, im Februar 2020 publiziert und anschliessend einer öffentlichen Konsultation unterzogen wurde.[12] Der Verordnungsvorschlag ist ein Instrument des Binnenmarktes: Er stützt sich auf Art. 114 AEUV,[13] der der Union die Kompetenz zur Rechtsangleichung mit Blick auf das Funktionieren des Binnenmarktes verleiht. Diesem Ansatz gemäss ist er entsprechend stark an der Logik von Normen zur Produktsicherheit orientiert, was sich auch in Text und Struktur deutlich niederschlägt.
Als allererstes stellt sich die Frage nach dem sachlichen Geltungsbereich, insbesondere dem Regulierungsobjekt. Um die Verordnung möglichst zukunftstauglich zu halten, wird gemäss der Kommission eine möglichst technologieneutrale Definition gewählt, die sich im Wesentlichen auf die Definition der OECD stützt.[14] Zusätzlich verweist der KI-Verordnungsentwurf jedoch auch auf eine Reihe von technologischen Ansätzen, die einem System zugrunde liegen müssen, damit es von der Verordnung erfasst würde.[15] Diese Liste und damit die Definition scheinen sehr breit gefasst zu sein. Es wird sich jedoch im Detail weisen, ob und inwiefern dies tatsächlich der Fall sein wird.[16]
Gemäss Entwurf wäre die KI-Verordnung ratione personae insbesondere auf Anbieter.innen und Nutzer.innen von KI-Systemen anwendbar. Als „Anbieter“ werden dabei jene Akteure verstanden, die ein System entwickeln und in Verkehr bringen,[17] während unter „Nutzer“ diejenigen Stellen fallen, die ein System unter ihrer Verantwortung verwenden, wobei der persönliche, nicht-berufliche Bereich ausgenommen ist.[18] Weitere Bestimmungen gelten für Akteure, die direkt mit obigen in Verbindung stehen, wie „Bevollmächtigte“, „Importeure“ oder „Händler“. Konsument.innen, Endnutzer.innen und andere von Ergebnissen der Systeme betroffene natürliche oder juristische Personen sind ratione personae nicht erfasst und ihnen würden durch die Verordnung weder direkte Rechte noch Pflichten zugeschrieben.
Der räumliche Geltungsbereich des Verordnungsentwurfes wird in Art. 2(1) festgelegt. Ihre Geltung wäre ratione loci demnach gegeben, wenn (i) ein KI-System innerhalb der EU zur Anwendung kommt oder (ii) wenn „das vom System hervorgebrachte Ergebnis“ innerhalb der EU verwendet wird[19] – und bliebe damit unabhängig davon, wo sich Anbieter.innen oder Nutzer.innen der Systeme befinden. In anderen Worten: Auch in Drittstaaten können sie von der Reichweite der Verordnung erfasst werden. Dieser Ansatz der extraterritorialen Gesetzgebung folgt der Logik der „territorialen Extension“, wie man sie aus anderen Kontexten, etwa im Bereich des Wettbewerbsrechts, des Umweltschutzes oder der Privatsphäre von der EU kennt – prominent beispielsweise von der 2018 in Kraft getretenen Datenschutzgrundverordnung.[20] Die EU macht dabei gesetzliche Regelungen im Ausland anwendbar, wobei jedoch ein territorialer Bezugspunkt gegeben ist.[21]
Für Drittstaaten – insbesondere jene mit engem Bezug zum EU-Binnenmarkt, wie etwa die Schweiz – kann dies massive Auswirkungen haben: Auch Anbieter.innen und Nutzer.innen in der Schweiz würden in den oben genannten Fällen direkt der KI-Verordnung unterworfen werden. Aufgrund der Bedeutung des EU-Binnenmarktes wird dies voraussichtlich ein beachtlicher Teil der KI-Anbieter.innen in der Schweiz betreffen.
Zur Regulierung von KI-Systemen wählt die EU-Kommission einen risikobasierten Ansatz. Das heisst, sie klassifiziert KI-Systeme entsprechend dem Grad ihrer Risiken für Gesundheit, Sicherheit und Grundrechte, mit denen sie einhergehen. Es ergeben sich vier Risikokategorien: KI-Systeme mit unzulässigem Risiko; hohem Risiko; begrenztem Risiko; und minimalem Risiko.[22]
Als erstes werden in Art. 5 jene vier Praktiken erwähnt, die mit unzulässigen Risiken verbunden sind und entsprechend verboten werden sollen. Politisch wie medial derzeit im Scheinwerferlicht steht das Verbot der Verwendung von biometrischen Identifizierungssystemen zu Strafverfolgungszwecken im öffentlich zugänglichen Raum, bei denen die Identifikation in Echtzeit und aus der Ferne geschieht.[23] Gleichzeitig wäre dieses Verbot mit einer Reihe von Ausnahmen verbunden, wenn nämlich die Verwendung der Systeme „unbedingt erforderlich“ ist für bestimmte festgesetzte Ziele, wie beispielsweise in Verbindung mit Straftaten, die einen bestimmten Schweregrad erreichen.[24] Es gilt jedoch das Erfordernis der vorgängigen Genehmigung – von der allerdings in dringenden Fällen vorerst abgesehen werden kann –, wobei Notwendigkeit und Verhältnismässigkeit gegeben sein müssen.[25] Mitgliedstaaten können schliesslich die Erlaubnis zur eigentlich verbotenen Anwendung biometrischer Identifizierungssysteme im nationalen Recht festschreiben, wenn sie dabei die erwähnten Grenzen beachten.[26]
Bei der biometrischen Identifikation fällt nur die entsprechende Verwendung solcher Systeme unter den vom Verbot erfassten sachlichen Geltungsbereich.[27] Anders ist dies bei den anderen drei mit unzulässigem Risiko klassifizierten Praktiken, bei denen jeweils „das Inverkehrbringen, die Inbetriebnahme oder die Verwendung“ der entsprechenden Systeme verboten werden soll. Dies umfasst einerseits KI-Systeme, die Personen durch unterschwellige Beeinflussung manipulieren[28] oder bestimmte Vulnerabilitäten ausnutzen,[29] und zwar in einer Weise, die den Betroffenen physischen oder psychischen Schaden zufügen kann, sowie andererseits die Verwendung von KI-basierten sogenannten „Social Scoring“ Systemen durch öffentliche Behörden.[30]
Die zweite Kategorie umfasst Hochrisiko-KI-Systeme.[31] Dazu gehören einerseits all jene Systeme, die ein von bestimmten anderen EU-Verordnungen erfasstes Produkt sind oder als Sicherheitskomponente in einem solchen Produkt eingesetzt werden, wenn dieses einer Konformitätsbewertung durch Dritte unterworfen ist.[32] Andererseits fallen bestimmte „stand-alone“ KI-Systeme aus den Bereichen biometrische Identifizierung und Kategorisierung, kritische Infrastrukturen, Bildung, Arbeitsplatz, Zugang zu Dienstleistungen, Strafverfolgung, Migration und Asyl sowie Rechtspflege und demokratische Prozesse in diese Kategorie.[33]
Bei der Hochrisiko-Kategorie handelt es sich um das Kernstück des Verordnungsentwurfs. Er sieht für die entsprechenden Systeme bestimmte Anforderungen vor, die im Rahmen eines Risikomanagementsystems überwacht werden müssen, darunter zu Datenqualität und ‑governance, technischer Dokumentation und Aufzeichnung, Bereitstellung von Informationen, menschlicher Aufsicht sowie zu Genauigkeit, Robustheit und Sicherheit.[34] Gemäss dem Ansatz des New Legislative Framework, auf dem der Verordnungsentwurf basiert, werden die Anbieter.innen von Hochrisiko-Systemen verpflichtet, im Rahmen einer Konformitätsbewertung selbst zu prüfen, dass die Systeme die erwähnten Anforderungen erfüllen, bevor sie diese auf den Markt bringen oder sie in Betrieb genommen werden.[35] Wenn die Konformitätsbewertung erfüllt ist, wird dies mit der CE-Konformitätskennzeichnung ausgezeichnet,[36] was Zugang zu und freie Bewegung auf dem EU-Binnenmarkt sicherstellt. Zudem muss das System von den Anbieter.innen in einer EU-weiten Datenbank eingetragen werden.[37] Falls es zu einem späteren Zeitpunkt substanzielle Änderungen erfährt, muss die Bewertung erneut vorgenommen werden. Weiter unterliegen Anbieter.innen auch Pflichten zur Überwachung eines Systems nach seinem Inverkehrbringen.[38] Für Nutzer.innen, die KI-Systeme einsetzen, bestehen ebenfalls Pflichten, wenn auch deutlich weniger weitgehende. Dazu gehört, das System gemäss Instruktion zu verwenden, menschliche Aufsicht sicherzustellen oder Risiken kontinuierlich zu überwachen.[39]
Die dritte Kategorie des „begrenzten Risikos“ umfasst gemäss Verordnungsentwurf KI-Systeme, die mit natürlichen Personen interagieren (wie etwa Chatbots). Sie werden Transparenzpflichten unterworfen: Den Personen muss mitgeteilt werden, dass sie mit einem KI-System interagieren, wenn dies nicht aus dem Kontext offensichtlich wird. Eine Ausnahme gilt für Strafverfolgungszwecke. Spezifisch werden Informationspflichten für Systeme zur Emotionserkennung und biometrischen Kategorisierung sowie für „Deepfakes“, also manipulierte Bild‑, Ton- oder Videoinhalte, erwähnt.[40]
Als letzte Kategorie ergeben sich sodann implizit KI-Systeme mit „minimalem Risiko“, die vom Geltungsbereich der Verordnung ausgenommen wären. Gleichzeitig sollen Verhaltenskodizes gefördert werden, unter denen sich Anbieter.innen selbst verpflichten, die an Hochrisiko-Systeme gerichteten Anforderungen sowie weitere Anforderungen zu erfüllen.[41]
Bezüglich der Gouvernanzstruktur ist wichtig zu betonen, dass es sich bei der Konformitätsbewertung für Hochrisiko-Systeme um eine Selbsteinschätzung der Anbieter.innen handelt. Zudem ist vorgesehen, dass die Kommission Standardisierungsorganisationen damit beauftragen kann, harmonisierte Normen zur Erfüllung der erwähnten Anforderungen für Hochrisiko-KI-Systeme zu erstellen. Wenden Anbieter.innen harmonisierte Standards an, wird eine Konformität mit den Anforderungen der Verordnung vermutet.[42]
Auf Mitgliedstaatsebene werden notifizierende Behörden geschaffen, die Konformitätsbewertungsstellen benennen, notifizieren und überwachen. Sobald letztere – es handelt sich dabei um von den Anbieter.innen unabhängige Akteure, d.h. klassischerweise um private Zertifizierungsunternehmen – notifiziert sind, sind sie berechtigt, Konformitätsbewertungsverfahren durchzuführen. Gleichzeitig bleibt die Bedeutung dieser notifizierten Stellen im Verordnungsentwurf gering: Ihr Einbezug ist nur für einen Hochrisikobereich vorgesehen, nämlich für Systeme zur biometrischen Identifizierung und Kategorisierung, und kann auch da ausgelassen werden, wenn harmonisierte Normen befolgt werden. Für alle anderen Hochrisikobereiche sind notifizierte Stellen nicht vorgesehen.[43]
Als Gouvernanzstruktur ist auf europäischer Ebene vorgesehen, einen „Europäischen Ausschuss für künstliche Intelligenz“ (EAKI) zu schaffen, der die Kommission in der Umsetzung der Verordnung unterstützt.[44] Auf nationaler Ebene werden zuständige Behörden geschaffen oder benannt, darunter die nationale Aufsichtsbehörde. Diese agiert auch als Marktüberwachungsbehörde und ist Teil des EAKI. Als Marktüberwachungsbehörde erhält sie Zugang zu Daten und Dokumentationen der Anbieter.innen, kann auf Verdacht eines bestehenden Risikos hin das System und seine Konformität mit der Verordnung überprüfen, Korrekturmassnahmen anordnen und – bei deren Nichtbefolgung – die Verwendung eines Systems einschränken oder unterbinden.[45]
Der Verordnungsentwurf enthält zudem Massnahmen zur Innovationsförderung, inklusive der Möglichkeit zur Schaffung von KI-Reallaboren („Sandboxes“) oder der Förderung von kleineren Unternehmen und Start-ups.[46]
Zur Durchsetzung der Verordnung können gemäss Entwurf Sanktionen ergriffen werden. Bei Verstössen gegen die in Art. 5 gelisteten Verbote oder gegen Anforderungen der Hochrisiko-Systeme bezüglich Datengouvernanz sind Geldbussen von bis zu 30 Millionen Euro oder 6% des weltweiten Jahresumsatzes – je nachdem, welche Summe höher ist – vorgesehen. Bei weiteren Verstössen sind abgestuft geringere, aber unter Umständen ebenfalls substanzielle Geldstrafen vorgesehen.[47]
Der Vorschlag der Kommission rückt die Thematik zweifellos auf den politischen Agenden weltweit um einige Positionen nach oben und entfacht damit die Debatte zur Governance von KI-Systemen auch ausserhalb des engsten Expert.innenkreises. Zudem setzt sie auch substanziell einen Standard, der die Debatten massgeblich prägen wird: Entscheidungsträger.innen aus Drittstaaten oder internationalen Organisationen werden sich am von der EU gesetzten Standard als Ausgangspunkt orientieren beziehungsweise sich rechtfertigen, wenn sie von diesem abweichen. Dies zeigt sich beispielhaft bereits jetzt in den entsprechenden Prozessen im Europarat, ist aber auch in der Schweiz zu erwarten.
Im Folgenden soll eine Würdigung einzelner Aspekte des KI-Verordnungsentwurfs vorgenommen werden, ohne dass diese Anspruch auf Vollständigkeit erhebt. Sie gibt die Position der Autorin wieder, die von ihr aber gleichzeitig auch als politische Forderungen im Rahmen ihrer Tätigkeit bei AlgorithmWatch, einer zivilgesellschaftlichen Forschungs- und Advocacy-Organisation mit Fokus auf den Einsatz von ADM-Systemen, vertreten werden.[48]
Auch vor diesem Hintergrund scheint es wichtig, vorab transparent zu machen, auf welchen Prinzipien die folgende Würdigung basiert. Trotz der rechtlichen Herausforderungen, die der Einsatz von ADM-Systemen mit sich bringt, soll an dieser Stelle deutlich gemacht werden, dass auch er sich an grundsätzlichen Werten orientieren muss, auf die wir uns als demokratische Gesellschaften geeinigt haben: An individueller Autonomie und Freiheit, Gerechtigkeit, Teilhabe und Gemeinwohl, auf Normebene insbesondere reflektiert in Grundrechten und weiteren basalen – oft auf Verfassungsebene geschützten – demokratischen und rechtsstaatlichen Prinzipien. Ziel muss es sein, dass dieser Einsatz tatsächlich Individuen und Gesellschaft einen Nutzen bringt – dass er also tatsächlich individuelle Autonomie erhöht, statt sie zu reduzieren; dass er Teilnahmemöglichkeiten eröffnet oder befördert, statt sie einzuschränken; und dass dieser Nutzen gerecht verteilt wird. Dass dies auch in Europa alles andere als Selbstverständlichkeiten sind, zeigt sich in Dokumentationen zum Einsatz von ADM-Systemen.[49]
Der Ansatz der Verordnung als Instrument der Binnenmarktregulierung könnte bereits als Quelle einer gewissen Spannung gedeutet werden: Das verfolgte Ziel, der Schutz von Unionswerten, Grundrechten, Gesundheit und Sicherheit, soll mit dem Mittel der Harmonisierung des digitalen Binnenmarkts erreicht werden – der gleichzeitig auch Rechtssicherheit gewährleisten und Innovation ermöglichen soll.[50]
Erstens muss es bei jeglichen Regulierungsansätzen im Bereich der neuen Technologien genau um dieses Anliegen gehen, nämlich ihren Einsatz sowie die Innovationsförderung mit Grundrechtsschutz in Einklang zu bringen. Gleichzeitig zeigt sich in der Praxis das Ausmass dieses Spannungsverhältnisses deutlich. Die KI-Verordnung versucht, mittels eines Binnenmarktinstruments Grundrechte zu schützen; ob dies aus einer Grundrechtslogik heraus überhaupt ein effektives Regulierungsmittel darstellen kann, kann zumindest hinterfragt werden. Zweitens orientiert sich der Ansatz an jenen zur Regulierung der Produktsicherheit und setzt somit stark auf technische Lösungen, Standardisierungsprozesse und Selbsteinschätzungen. Ob diese in Verbindung mit KI-Systemen, die wesentliche grundrechtliche Problemdimensionen mit sich bringen können, effektiven Schutz zu leisten vermögen, wird sich weisen. Drittens machen der gewählte Regulierungsansatz sowie die Komplexität des Vorschlages diesen für Expert.innen und zivilgesellschaftliche Organisationen, die im Bereich von KI und/oder des Grundrechtsschutzes tätig sind (aber nicht besondere Expertise im Bereich der Produktsicherheit oder der Binnenmarktregulierung aufweisen), wenig zugänglich. Dies kann zur Folge haben, dass die Inklusion wichtiger Stimmen untergraben wird – im Gesetzgebungsverfahren, aber darüber hinaus beispielsweise auch in den für diesen Regulierungsansatz wichtigen Standardisierungsprozessen, denen ja der Entwurf ein grosses Gewicht zuschreibt, indem die Verwendung von Standards eine Konformitätsvermutung zur Folge haben kann. Standardisierungsprozesse sind aus formalen und praktischen Gründen nicht einfach zugänglich für die Zivilgesellschaft, sondern geprägt von Stimmen aus dem Privatsektor.[51] Gerade wenn es um Standards geht, die schlussendlich einen Beitrag zum Ziel des Grundrechtsschutzes leisten sollen, ist es zentral, dass nicht nur technische Expertise, sondern auch Expertise im Bereich der Grundrechte einbezogen wird.
Dies ist ein Aspekt, der insbesondere problematisch erscheint, da er das Ungleichgewicht der Einflussmöglichkeiten zugunsten von grossen Technologieunternehmen verschärft: Diese haben unbestritten die Ressourcen, ganze Teams von Jurist.innen zu beschäftigen und sich so bis in die rechtlichen Detailfragen durch engagiertes Lobbying oder in Standardisierungsprozesse einzubringen, was vielen zivilgesellschaftlichen und wissenschaftlichen Anliegen verwehrt bleiben wird.
Die Frage nach dem sachlichen Geltungsbereich des KI-Verordnungsentwurfs und der Eignung der gewählten Definition ist verbunden mit grundsätzlichen, über den Entwurf herausgehenden Fragen zum Begriff „Künstliche Intelligenz“, der sich in der öffentlich-politischen Debatte zum Schlagwort entwickelt hat, dessen Unschärfe jedoch für die rechtliche Regulierung Schwierigkeiten mit sich bringt. Wenn es um grundrechtliche Risiken geht, wäre es demnach angemessener, den Fokus auf jene Automatisierungsprozesse zu legen, die in ihren Auswirkungen auf Individuen und Gesellschaft Risikosignale aufweisen. In anderen Worten: Das Kriterium zur Bestimmung des sachlichen Geltungsbereichs sollte in diesen Auswirkungen liegen – und nicht in der technologischen Art und Weise, wie diese Auswirkungen zustande gekommen sind. Aus dieser Perspektive bietet der Begriff der algorithmischen Entscheidungsfindung (ADM) Vorteile gegenüber dem unscharfen Konzept der „KI“. ADM-Systeme werden nach diesem Verständnis umfassend als soziotechnologische Systeme betrachtet, wobei der Fokus auf den Entscheidungen der Systeme und ihrer Relevanz für Individuum und Gesellschaft liegt. Dies berücksichtigt zwangsläufig den gesellschaftlichen Kontext mit, in dem Systeme eingesetzt werden, was für die Risikobewertung unerlässlich ist.[52] Eine Abstützung auf einer expliziten Liste verschiedener Technologien, wie sie der KI-Verordnungsentwurf vorschlägt – auch wenn diese mittels delegierten Rechtsakten von der Kommission angepasst werden kann – scheint darüber hinaus auch der Eindeutigkeit des sachlichen Geltungsbereiches nicht dienlich.[53] Es ist absehbar, dass der Nachweis der Definitionselemente in der Praxis Schwierigkeiten – und mögliche Schlupflöcher – mit sich bringt. Nichtsdestotrotz ist grundsätzlich die breite Auffassung des Begriffs „KI“ und damit des sachlichen Geltungsbereichs der Verordnung zu begrüssen. Es zeichnet sich jedoch ab, dass diese Breite in den nun laufenden Verhandlungen umstritten sein wird, so dass davon auszugehen ist, dass der Geltungsbereich in dieser Hinsicht eher eingeschränkt wird.
Hinsichtlich des Geltungsbereichs ratione loci wird deutlich, dass die oben beschriebene extraterritoriale Wirkung der Verordnung wesentliche Nebeneffekte mit sich bringen würde: Erstens ist damit zu rechnen, dass viele Anbieter.innen und Nutzer.innen, die sowohl auf dem schweizerischen als auch dem europäischen Markt tätig sind, ihre KI-Systeme der KI-Verordnung konform ausgestalten werden, auch wenn diese in der Schweiz zur Anwendung kommen – ganz einfach, da es unmöglich oder mit einem unverhältnismässigen Aufwand verbunden wäre, zwischen Anwendungen in der EU und der Schweiz zu differenzieren. Zweitens ist nicht auszuschliessen, dass private Anbieter.innen Druck auf den schweizerischen Gesetzgeber ausüben werden, die Rechtslage der EU-Regelung konform und äquivalent auszugestalten. All dies hat, drittens, zur Folge, dass das Inkrafttreten der KI-Verordnung in der EU auch für die Schweizer Bevölkerung Nebeneffekte mit sich bringen könnte: Falls die KI-Verordnung sich tatsächlich als imstande erweist, grundrechtlichen Schutz zu gewährleisten, werden auch Endnutzer.innen in der Schweiz teilweise in den Genuss dieses Schutzes kommen.
Aus einer grundrechtlichen Perspektive ist prinzipiell zu begrüssen, dass mit diesem Fokus auf den Ort der Anwendung von Systemen eine kohärente Regulierung ermöglicht wird, die einerseits auf dem EU-Territorium Schlupflöcher vermeidet und andererseits in Drittstaaten das Schutzniveau mitprägt. Gleichzeitig hat dieser Fokus gewisse andere Schlupflöcher zur Folge, wie sich in Verbindung mit den im Verordnungsentwurf vorgesehenen Verboten zeigen wird.
Die Anerkennung, dass der Einsatz von KI-Systemen potenziell grossen Nutzen mit sich bringt, aber gleichzeitig mit Risiken verbunden sein kann, ist grundsätzlich sehr begrüssenswert. Gleichzeitig kann mit guten Gründen hinterfragt werden, ob eine ex ante Kategorisierung von Systemen in bestimmte Risikoklassen diesem Umstand gebührend Rechnung trägt. Die Risiken, die mit einem System einhergehen, hängen nämlich wesentlich ab von seiner Verwendung zu einem bestimmten Zweck und in einem bestimmten Kontext. Die Idee, KI-Systeme a priori einer Risikokategorie zuzuordnen ist insofern problematisch, als dadurch genau diese Faktoren – Zweck und Kontext der Anwendung eines Systems – nicht im Einzelfall berücksichtigt werden. Erst eine individuelle Folgenabschätzung kann überzeugend aufzeigen, mit welchen (und welchem Grad an) potenziellen Risiken ein bestimmter Einsatz verbunden ist. Um die Praktikabilität eines solchen Ansatzes zu gewährleisten, bietet sich ein zweistufiges Verfahren an: In einem ersten Schritt soll mit verhältnismässig geringem Aufwand eine Triage erfolgen, die es erlaubt, Risikosignale zu erkennen. Je mehr Risikosignale bezüglich des Einsatzes eines Systems erkannt werden, desto umfassender werden die Transparenzpflichten, denen die entsprechenden Akteure unterworfen werden.[54]
Eine weitere Folge der KI-Verordnung und ihres risikobasierten Ansatzes wäre, dass, indem sie gewisse Systeme als Hochrisiko definiert, sie diese zwar Transparenzpflichten unterwirft, sie aber gleichzeitig auch legalisiert und legitimiert. Viele dieser Systeme und ihre Verwendungen waren aber noch nicht im eigentlichen Sinne Objekt einer gesellschaftlichen Debatte. In diesem Sinne greift Anhang III des Verordnungsentwurfs der demokratischen Auseinandersetzung dazu, ob und bis zu welchem Grad wir die Verwendung von KI-basierten Systemen in bestimmten Kontexten überhaupt zulassen wollen, vor.
Gleichzeitig ist davon auszugehen, dass die Risikoklassifizierung anhand der vier Stufen in der endgültigen Fassung der Verordnung so oder ähnlich enthalten bleiben wird. Vor diesem Hintergrund müsste zumindest sichergestellt werden, dass für alle Kategorien konsistente Aktualisierungsmechanismen vorhanden sind, um die Liste der jeweiligen Systeme um neue Fälle zu ergänzen. Bisher ist nur eine Aktualisierung der Liste der Hochrisiko-Systeme vorgesehen, die die Kommission mittels delegierter Rechtsakte vornehmen kann – und auch da betrifft dies nur die Liste der einzelnen Systeme, nicht aber die Liste der acht Hochrisikobereiche. Für das Update dieser Hochrisikobereiche sowie aller anderen Kategorien (Systeme mit unakzeptablem Risiko; Systeme mit begrenztem Risiko) ist im Verordnungsentwurf selbst bisher kein Aktualisierungsmechanismus vorgesehen, so dass eine Aktualisierung nur durch eine Änderung der Verordnung an sich vorgenommen werden könnte. Dies widerspricht zudem dem Anspruch der Verordnung, zukunftstauglich gestaltet zu sein.
Die im Verordnungsentwurf vorgesehenen Verbote werfen eine Reihe von Fragen auf. Es bleibt beispielsweise offen, wie das Erfordernis des „psychischen oder physischen Schadens“ in Art. 5(1)a und 5(1)b aus einer Grundrechtsperspektive gerechtfertigt werden kann. Aus dieser Perspektive entscheidend ist die Tatsache des Grundrechtseingriffs und nicht der sich materialisierende Schaden. Ähnlich fragwürdig scheint aus dieser Perspektive, dass das Verbot von manipulativen KI-Systemen in Art. 5(1)b begrenzt bleibt auf Systeme, die Personen aufgrund ihres Alters oder ihrer körperlichen oder geistigen Beeinträchtigung ausnutzen, und damit weitere Dimensionen von „Vulnerabilität“ unberücksichtigt bleiben.
Schliesslich bleibt unklar, als wie effektiv sich das Verbot zur Verwendung biometrischer Erkennungssysteme zu Strafverfolgungszwecken in Art. 5(1)d in der Praxis erweisen wird. Die Notwendigkeit, beim Einsatz solcher Systeme im öffentlich zugänglichen Raum rote Linien zu ziehen, ergibt sich, da sie eine Massenüberwachung oder diskriminierend gezielte Überwachung ermöglichen, die mit der Idee einer demokratisch organisierten Gesellschaft in Widerspruch stehen: Wenn Personen im öffentlichen Raum erfasst, identifiziert und verfolgt werden können, verletzt dies nicht nur an sich Grundrechte wie das Recht auf Privatsphäre, inklusive der informationellen Selbstbestimmung,[55] sondern wird auch abschreckende Effekte („chilling effects“[56]) haben auf das Wahrnehmen der Rechte auf Meinungsäusserungs- oder Versammlungsfreiheit.
Die Begrenzung von Art. 5(1)d auf Strafverfolgungszwecke einerseits und Fern- und Echtzeitsysteme[57] andererseits sowie die weitgehenden Ausnahmeregelungen werfen zumindest Fragen auf, ob dieses Verbot alle Formen von grundrechtsinkompatibler Massenüberwachung verhindern kann. Inwiefern beispielsweise eine nachträgliche Identifizierung von Demonstrationsteilnehmenden mittels Gesichtserkennungstechnologie und auf Basis vorhandener Videodaten aus grundrechtlicher Perspektive weniger problematisch sein soll als ein Echtzeiteinsatz, bleibt unklar. Mit Blick auf aktuelle Rechtsentwicklungen fragwürdig scheint zudem der Fokus dieses Verbots auf die Verwendung der Systeme, wo sich eine Diskrepanz zu den weiteren drei verbotenen Systemen in Art. 5(1)a‑c zeigt. Während diese Beschränkung in Art. 5(1)d mit Blick auf die Liste der Ausnahmen und Erfordernisse in Art. 5(1)d(i‑iii) und 5(2‑4) angezeigt ist, kann gleichzeitig kritisiert werden, dass nicht in einem zusätzlichen Unterabsatz auch das Inverkehrbringen und die Inbetriebnahme dem Verbot unterworfen werden. Damit werden Anbieter.innen von biometrischen Erkennungssystemen insofern vom Verbot ausgenommen, als diesen den Raum gelassen wird, ihre Systeme weiterhin zu entwickeln, zu verkaufen und zu exportieren. Wiederum zeigt sich ein gewisses Spannungsverhältnis zu einem konsistenten Grundrechtsschutz, da so der Einsatz von in der EU entwickelten biometrischen Erkennungssystemen zu Strafverfolgungszwecken in Drittstatten – wie er innerhalb der EU verboten wäre – weiterhin möglich bleibt. Hier droht ein extraterritoriales grundrechtliches Schutzvakuum.
Die Pflichten, denen Hochrisiko-Systeme unterworfen würden, sind in dem Sinne begrüssenswert, da sie Transparenz schaffen, was im Lichte der eingangs erwähnten Black Box-Problematik zentral erscheint.[58] Lücken zeigen sich jedoch bei den Pflichten, denen die Nutzer.innen der Systeme unterworfen würden. Wie oben ausgeführt ist es nicht in erster Linie eine spezifische Technologie, die mit Risiken einhergeht, sondern die Verwendung dieser Technologie in einem bestimmten Kontext und zu einem bestimmten Zweck. Diese Faktoren hängen jedoch in erster Linie von den Unternehmen oder Behörden ab, die diese einsetzen – dem „Nutzer“, nach der Terminologie des KI-Verordnungsentwurfs. Um diesem Umstand Rechnung zu tragen, wäre es demnach notwendig, diese Nutzer.innen stärker in die Pflicht zu nehmen: einerseits durch eine verpflichtende Folgenabschätzung, die die Risiken des Einsatzes eines Systems beurteilt, und andererseits, indem Transparenzanforderungen auf Nutzer.innen ausgeweitet würden, inklusive einer Nachweispflicht zum Einsatz eines KI-Systems in der EU-weiten Datenbank.
Weiter bietet sich eine punktuelle Ausweitung der im KI-Verordnungsentwurf vorgesehenen Transparenzanforderungen an, beispielsweise aus Nachhaltigkeitsperspektive in Hinblick auf den Ressourcenverbrauch von KI-Systemen – unabhängig von ihrem Risikolevel.
Gleichzeitig ist wichtig zu betonen, dass Transparenz notwendige, aber nie hinreichende Bedingung sein kann auf dem Weg zu einem verantwortungsvollen Einsatz von KI-Systemen. Um das zentrale Ziel des Grundrechtsschutzes zu erreichen, braucht es zusätzlich Mechanismen, anhand derer Diskriminierungsfreiheit und andere Dimensionen von Gerechtigkeit sichergestellt und Verantwortung und Rechenschaftspflichten zugeschrieben werden können. Ob dies im Rahmen dieser KI-Verordnung überhaupt sinnvoll gemacht werden kann oder ob es dafür ergänzende Rechtsakte, möglicherweise in anderen Rechtsbereichen, benötigt, kann diskutiert werden. Eine wichtige, wenn auch nicht ausreichende[59], Ergänzungsmöglichkeit bieten beispielsweise die demnächst erwarteten Vorschläge der EU-Kommission zu Haftungsfragen bei KI-Systemen, unter anderem im Zusammenhang mit der geplanten Revision der Produkthaftungsrichtlinie.[60]
Sicher ist, dass die Erfüllung der im KI-Verordnungsentwurf festgelegten Transparenzpflichten nicht verhindern wird, dass Systeme so eingesetzt werden, dass sie diskriminierende Wirkung entfalten oder andere Arten von ungerechtfertigten Ungleichbehandlungen mit sich bringen. Die einzigen Hebel, die der Verordnungsentwurf an dieser Stelle ansetzen könnte, sind die Erfordernisse bezüglich Risikomanagement[61] und Datenqualität[62]. Es zeigt sich jedoch, dass ein enger Fokus auf eine Verzerrung (bias) in den verwendeten Daten der vielschichtigen Weise, in der KI-Systeme zu Ungerechtigkeiten beitragen können, nicht Rechnung trägt: Diese können einerseits auch durch die zugrundeliegenden (von Menschen gemachten) Entscheidungs- und Interpretationsmodelle hervorgerufen werden, andererseits entspringen sie darüber hinaus oft dem gesellschaftlichen Kontext, in dem das System eingesetzt wird: So kann ein System mit sich selbst verstärkenden Rückkoppelungsschlaufen einhergehen, die nicht durch einen engen Fokus auf die Verbesserung der Datenqualität verhindert werden können. Massnahmen auf technologischer Ebene können zwar notwendig sein, sind aber nicht hinreichend, wenn es um Anforderungen hinsichtlich Nicht-Diskriminierung und Gerechtigkeit von ADM-Systemen geht.[63]
Aus einer grundrechtlichen Perspektive erscheint besonders irritierend, dass der KI-Verordnungsentwurf zwar grundrechtliche Ziele verfolgt, allerdings die Träger.innen dieser Grundrechte – also die Personen, deren Rechte von KI-Systemen potenziell berührt werden – unerwähnt bleiben: Der Entwurf schreibt ihnen weder prozedurale noch substanzielle Rechte zu.[64] Um Individuen vor negativen Auswirkungen von KI-Systemen zu schützen – das erklärte Ziel des Verordnungsentwurfs – benötigen sie einerseits Zugang zu Rechtsmitteln, um sich individuell oder kollektiv zur Wehr zu setzen und Wiedergutmachung zu erwirken. Die Möglichkeit, rechtliche Mittel zu ergreifen, setzt wiederum voraus, dass auch gegenüber Betroffenen Transparenz gewährt wird: Sie benötigen beispielsweise Zugang zu Information über eine von einem KI-System getroffene Entscheidung, die sie betrifft, inklusive einer Erklärung des grundsätzlichen Entscheidungsprozesses. Weiter scheint es angezeigt, dass auch Individuen und ihre Vertreter.innen die Möglichkeit haben, bei nationalen Aufsichtsbehörden Beschwerde einzureichen und dadurch Untersuchungen auszulösen. Andererseits fehlt im KI-Verordnungsentwurf auch das substanzielle Recht, einem KI-System nicht unterworfen zu sein, das mit einem unakzeptablen Risiko einhergeht oder das die Erfordernisse der Verordnung nicht erfüllt.
In dieser Hinsicht zeigt sich denn auch eine Diskrepanz zur Datenschutzgrundverordnung, die eine Reihe von Rechten für Individuen vorsieht, wenn deren Daten bearbeitet werden.[65] Der derzeitige KI-Verordnungsentwurf weist hier wesentliche Lücken auf.
Zentral für die Wirksamkeit der KI-Verordnung in der Praxis wird sein, dass Durchsetzungsstrukturen vorhanden und sinnvoll ausgestaltet sind. Die Abstützung auf die Selbsteinschätzung der Anbieter.innen, die nur moderate Bedeutung von notifizierten Stellen und die Unklarheit bezüglich Kompetenzen und Zuständigkeiten – all dies sind Aspekte, bei welchen die Gesetzgeber.innen nun die Möglichkeit haben, Verbesserungen einzuführen. Eine besondere Bedeutung kommt in diesem Zusammenhang auch den nationalen Aufsichtsbehörden zu: Erstens empfiehlt es sich, diese mit umfassenden Aufsichts- und Initiativbefugnissen auszustatten und, wie oben erwähnt, Anlaufstellen und Beschwerdemechanismen für betroffene natürliche oder juristische Personen sicherzustellen. Zweitens sieht der Entwurf zwar explizit vor, dass „die zuständigen nationalen Behörden mit angemessenen finanziellen und personellen Ressourcen ausgestattet werden“[66] und verweist dabei auch auf die notwendige Expertise. Gleichzeitig wird in seiner Begründung ausgeführt, dass dafür eine bis 25 Vollzeitstellen pro Mitgliedstaat vorgesehen wären.[67] Um die Aufgaben einer sinnvollen und umfassenden Aufsicht wahrzunehmen, ist dies deutlich ungenügend. Nicht zuletzt die Herausforderungen im Zusammenhang mit der Umsetzung der Datenschutzgrundverordnung[68] haben gezeigt, dass es sich lohnt, dies mit der entsprechenden Sorgfalt anzugehen.
Abschliessend lässt sich sagen, dass die EU-Kommission mit der KI-Verordnung eine horizontale Regulierung mit nicht zu unterschätzender Ausstrahlkraft vorgeschlagen hat. Sie enthält wichtige Hebel, um die Transparenz zu risikobehafteten KI-Systemen zu fördern, was grundsätzlich zu begrüssen und anzuerkennen ist. Gleichzeitig scheint, dass ihr Ansatz, Grundrechtsschutz via Binnenmarktregulierung, Selbsteinschätzung und Transparenzpflichten sicherzustellen, verschiedene Spannungsverhältnisse mit sich bringt, die Fragen bezüglich der Wirksamkeit der Regulierung in der Praxis aufwerfen.
Das Narrativ der EU-Kommission, einen Rahmen für den Einsatz von KI zu schaffen, dem die Menschen vertrauen, scheint noch immer geprägt von der impliziten Vorstellung, dass das Vertrauen der Bevölkerung Mittel zum Zweck ist, um Innovation zu befördern. Innovation ist essenziell für unsere Gesellschaft – doch sie ist kein Zweck an sich. Auch Innovation soll letztlich der Menschheit dienen. Entsprechend kann das Ziel, das Vertrauen der Menschen zu erhöhen, nur darüber zu erreichen sein, dass der Einsatz neuer Technologien eben vertrauenswürdig gestaltet wird. Die Pfeiler, an denen sich Innovation und die Verwendung neuer Technologien zu orientieren haben, sind jene, auf die wir uns als Gesellschaft geeinigt haben: Demokratie, Grundrechte, Rechtsstaatlichkeit.
Wie im vorhergehenden Kapitel erwähnt, würde die KI-Verordnung direkte extraterritoriale Wirkung entfalten: Anbieter.innen und Nutzer.innen in der Schweiz wären an sie gebunden, wenn sie ihre Systeme in der EU anbieten oder das Ergebnis ihrer Systeme in der EU verwendet wird. Während es sich bei Anbieter.innen regelmässig um private Unternehmen handeln wird, könnten als Nutzer.innen nebst privaten auch öffentliche Stellen davon erfasst werden – nämlich dann, wenn sie Systeme einsetzen, deren Ergebnisse innerhalb der EU verwendet würden. Denkbar ist beispielsweise ein Chatbot, der auf einer Website der Schweizer Bundesverwaltung von in der EU wohnhaften Auslandschweizer.innen zu Informationszwecken genutzt würde – auch dieser müsste demnach zukünftig die Transparenzpflichten gemäss Art. 52(1) KI-Verordnungsentwurf erfüllen. Eine Ausnahme sieht der Entwurf vor für Behörden, die KI-Systeme nutzen, wenn dies im Rahmen eines Übereinkommens mit der EU oder einem ihrer Mitgliedstaaten im Bereich Strafverfolgung und Justiz geschieht.[69] Dies würde etwa eine Ausnahme bedeuten für schweizerische Behörden, die im Rahmen des Übereinkommens mit Europol KI-Systeme einsetzen.
Nebst diesen direkten rechtlichen extraterritorialen Auswirkungen lässt sich jedoch bereits jetzt feststellen, dass der Vorschlag der EU auch einen Einfluss auf politische Debatten und Prozesse in der Schweiz haben wird. Die Schweiz ist aufgerufen, sich zur Problematik zu positionieren – einerseits, weil es angezeigt ist, Rahmenbedingungen für den verantwortungsvollen Umgang mit KI zu schaffen. Die Verwendung von KI-Systemen wirft neue Fragen auf, kann mit Risiken für individuelle Autonomie, Gerechtigkeit und Gemeinwohl einhergehen und scheint punktuell bestehende rechtliche Konzepte zumindest herauszufordern. Eine reflektierte und evidenzbasierte Debatte, wie wir diesen Einsatz gestalten wollen und wie wir ihn so gestalten können, dass er tatsächlich zum Nutzen der Menschen geschieht, ist unabdingbar. Dies beinhaltet sowohl ein breites gesellschaftliches Engagement, das den verschiedensten Teilen der Gesellschaft zugänglich ist, als auch den politischen Aufruf an den Gesetzgeber, aktiv zu werden. Andererseits wird die Schweiz von der EU-Rechtssetzung geprägt, ist eng mit dem EU-Binnenmarkt verknüpft und vom Marktzugang abhängig. Auch wenn dies nicht bedeutet, dass die Schweiz die EU-Regeln nachbilden muss, wird sich mit Inkrafttreten der KI-Verordnung – womit frühestens 2024 zu rechnen ist – der Handlungsbedarf zweifellos noch verstärken.
Vor diesem Hintergrund ist es angezeigt, die Reflektion und die Arbeit dazu jetzt aufzunehmen. Umso bedauerlicher scheint es, dass der Bundesrat bisher zuwartet, auch wenn ein proaktiverer Ansatz von parlamentarischer Seite bereits eingefordert wird.[70]
Das bedeutet gleichzeitig nicht, dass die Schweiz aufgefordert ist, es der EU gleich zu tun. Eine horizontale Regulierung von KI im Sinne des EU-Vorschlags bringt gleichzeitig das Risiko mit sich, dass zu wenig sorgfältig auf den Kontext eines Systems eingegangen und der Blick auf den grösseren Zusammenhang verschleiert wird. Die Verwendungsweise von KI-Systemen variiert enorm, von der Steuerung von Laufbändern in Fabriken bis hin zur Vergabe von Sozialleistungen. Es kann mit guten Gründen hinterfragt werden, ob im Lichte dieser enormen Varietät ein horizontaler Regulierungsansatz geeignet erscheint.
Die Alternative ist, da rechtsetzend tätig zu werden, wo sich rechtliche Lücken zeigen. Führende Schweizer Rechtswissenschaftler.innen haben im Detail analysiert und aufgezeigt, wo diese Lücken bestehen und wie sie zu schliessen wären.[71] Sie verstehen denn auch ihren Beitrag „als Anstoss für eine vertiefte Diskussion und als Aufruf an den schweizerischen Gesetzgeber, die Erarbeitung eines Rechtsrahmens zur Erfassung der Herausforderungen von KI zeitnah anzugehen“.[72]
In diesem Zusammenhang ist erstens wichtig zu betonen, dass es für die Schaffung der erwähnten Rahmenbedingungen für einen verantwortungsvollen Einsatz von KI, der der Gesellschaft zugutekommt, verschiedenste Massnahmen braucht – sei dies im Bereich der Forschung, der unabhängigen Aufsicht, der technologischen Entwicklung, des zivilgesellschaftlichen Engagements, der Bildung und Förderung der Algorithmic Literacy und digitaler Kompetenzen, der öffentlichen Debatte oder eben der rechtlichen Regulierung. Zweitens wird es bei dieser rechtlichen Regulierung notwendig sein, gesetzgeberisch tätig zu werden und durch generelle und sektorielle Normen Lücken zu schliessen sowie bestehende Normen zu ergänzen und anzupassen. Dies ist angezeigt etwa im Bereich des Diskriminierungsschutzes im Verhältnis zwischen Privaten,[73] zur Förderung der Transparenz etwa durch Informationspflichten für Betroffene oder öffentliche Register der im öffentlichen Sektor eingesetzten KI-Systeme[74] oder wenn es darum geht, rote Linien zu ziehen und gewisse Anwendungen von KI-Systemen zu verbieten. Einsatzweisen von KI-Systemen, die inhärent mit Grundrechten in Konflikt stehen, wie die Verwendung von biometrischen Erkennungssystemen im öffentlichen Raum, sollten in demokratischen Gesellschaften nicht erlaubt sein. Zudem existieren in verschiedenen Sektoren bereits Regelungen für die Nutzung von algorithmenbasierten Technologien, sei es beispielsweise im Finanzsektor oder in der Medizin. Auch hier ist es zentral, kontinuierlich Lücken zu identifizieren und zu schliessen.
Drittens kann es aber bei der rechtlichen Regulierung nicht einzig um den Aspekt der Rechtsetzung gehen, sondern müssen auch die Anwendung und Auslegung bestehender Normen in den Blick genommen werden.[75] In erster Linie müssen diese konsistent und konsequent auf Anbieter.innen und Nutzer.innen von KI-Systemen sowie auf die von oder mit Hilfe von KI-Systemen getroffenen Prognosen und Entscheidungen angewendet werden. Die Verwaltung ist weiterhin an Grundrechte und rechtsstaatliche Prinzipien, an das Legalitätsprinzip und Verfahrensgarantien gebunden, unabhängig davon, ob sie ihre Entscheide mit oder ohne automatisierte Unterstützung trifft.[76] Zudem prägen auch bereits bestehende technologieunabhängige Regelungen den Einsatz von KI-Systemen und setzen ihm Leitplanken.
Darüber hinaus muss sich – ganz zentral – die Auslegung bestehender Normen so weiterentwickeln, dass sie der technologischen Entwicklung und den Herausforderungen von ADM-Systemen gerecht wird. Um diese zentrale Aufgabe anzuleiten und der Komplexität der Problematik gerecht zu werden, ist eine interdisziplinäre und multisektorale Herangehensweise angezeigt. Der Umgang mit KI wirft Fragen auf, deren Beantwortung die Expertise aus verschiedenen Disziplinen – darunter Rechtswissenschaft, Informatik, Data Science, Philosophie oder Kommunikationswissenschaften – und verschiedenen Sektoren – Wissenschaft, Verwaltung, Privatsektor und Zivilgesellschaft – bedingen. Vorschläge wie jene der Einrichtung einer Expert.innenkommission[77] erscheinen in dieser Hinsicht vielversprechend. Gleichzeitig muss sichergestellt werden, dass dieses Engagement breit abgestützt ist und insbesondere auch die Perspektiven von Personen oder Gruppen, die von den Auswirkungen von KI-Systemen auf besondere oder überproportionale Weise betroffen sind, einbezogen werden. Wenn Rechtsetzung, -anwendung und -auslegung evidenzbasiert sein sollen, brauchen wir fundierte Expertise, die aber auch informiertes Wissen dazu, wie KI-Systeme sich real und konkret auf Mensch und Gesellschaft auswirken, berücksichtigt.
Rahmenbedingungen für den Einsatz von KI-Systemen – inklusive ihrer rechtlichen Regulierung – müssen zum Ziel haben, dass dieser Einsatz so gestaltet werden kann, dass er den Einzelnen und der Gesellschaft tatsächlich nutzt, statt ihnen zu schaden, und diesen Nutzen gerecht verteilt. Was wir dafür brauchen, ist Transparenz zur Verwendung und Funktionsweise der Systeme, um eine evidenzbasierte und breite gesellschaftliche Debatte zu entfachen. Dies ist Grundlage, damit wir als Individuen selbstbestimmt Kontrolle über den Einfluss von KI-Systemen auf uns ausüben können und wir als Gesellschaft die Möglichkeit haben, auf demokratische Weise evidenzbasiert Kontrolle auszuüben. Nicht zuletzt muss sichergesellt werden, dass Möglichkeiten der Zuschreibung von Verantwortung gegeben sind, um die am Einsatz eines Systems beteiligten Akteure auf sinnvolle Weise zur Rechenschaft zu ziehen, wenn das System Auswirkungen hat, die gegen Rechte von Einzelnen verstossen oder der Gesellschaft schaden.
Auf EU-Ebene haben derzeit Parlament und Rat die Möglichkeit, den KI-Verordnungsentwurf an wesentlichen Stellen nachzubessern, um diesen Ansprüchen gerecht zu werden. In der Schweiz sind Politik, Wissenschaft, Privatsektor und Zivilgesellschaft aufgerufen, sich an einem inklusiven Dialog und Engagement zur Thematik zu beteiligen, damit die Gestaltung dieser Rahmenbedingungen angegangen werden kann.
Rolf H. Weber
Neue technologische Entwicklungen stellen das Recht regelmässig vor Herausforderungen; diese Einschätzung gilt auch für die Künstliche Intelligenz. Die EU hat mit einem sehr detaillierten risikoorientierten Regulierungsvorschlag reagiert. Ein solches Konzept dürfte für die Schweiz nicht zielführend sein. Erfolgversprechender ist die Ausarbeitung eines technologieneutralen Rahmengesetzes, unter dessen „Schirm“ die regulierungsbedürftigen Themen einer Normierung durch Anpassungen bestehender Gesetze zugeführt werden.
Die Künstliche Intelligenz (KI) ist zu einem regulatorischen „Hot Topic“ geworden. Der technologische Fortschritt im Digitalisierungsbereich rief eine Debatte über die Notwendigkeit der Regulierung von Algorithmen hervor; in einer ersten Phase haben insbesondere internationale Organisationen (OECD, Europarat, EU, UNESCO) mit Leitlinien und politischen Erklärungen die Diskussionen geprägt,[1] nunmehr liegen angesichts des Rufes nach weiteren Normierungen auch erste gesetzliche Vorschläge vor.
Phänomenologisch lassen sich verschiedene Erscheinungsformen von Algorithmen unterscheiden:[2] Die ursprünglichen deterministischen Algorithmen sind mehr und mehr durch modifizierende selbstlernende Algorithmen, die darauf abzielen, statistische Muster in Datensätzen zu erkennen und sich diese zunutze zu machen, verdrängt worden. Solche Algorithmen, die zur Technologie der Künstlichen Intelligenz gehören, bereiten die menschlichen Entscheidungen vor oder ersetzen sie durch technische Abläufe, obschon ein Algorithmus (im ethisch gehaltvollen Sinne) selbst keine Entscheidung treffen kann.[3]
Mit dem Entwurf für einen „Artificial Intelligence Act“ (AIA) ist die EU-Kommission im April 2021 regulatorisch vorgeprescht.[4] Das sehr detaillierte Normengefüge basiert auf einem differenzierten risikobasierten Ansatz und reguliert vornehmlich die risikoreichsten Anwendungen.[5] Die Schweiz ist dadurch auch unter Handlungsdruck gekommen, selbst wenn eine Interdepartementale Kommission des Bundes im Dezember 2019 noch die Meinung vertrat, die Schweiz sei an sich gut gerüstet, um die neuen technologischen Herausforderungen normativ zu bewältigen.[6]
Das Ziel der nachfolgenden Überlegungen besteht nicht darin, die Chancen und Risiken, die sich für die Gesellschaft aus dem Einsatz von KI ergeben, erneut im Einzelnen darzustellen; die entsprechenden Einschätzungen im publizierten Schrifttum weisen keine erheblichen Diskrepanzen auf. Ebenso wenig soll der AIA-Vorschlag einer detaillierten Analyse der umfangreichen Bestimmungen unterzogen werden.[7] Vielmehr geht der Beitrag der Frage nach, welcher Regulierungsansatz im Kontext der Künstlichen Intelligenz sich für die Schweiz als sachgerecht erweist.[8] Aus diesem Grunde sind vorerst die wesentlichen Elemente möglicher Regulierungskonzepte und -modelle aus einer theoretischen Perspektive darzustellen bzw. deren Charakteristiken gegeneinander abzuwägen.
Das Recht ist ein strukturelles System, das auf organisierten oder untereinander verbundenen regulatorischen Elementen beruht. Die Funktion des Rechts besteht darin, durch verhaltensbezogene Vorgaben und Institutionen das Zusammenleben in der Gesellschaft zu normieren und Konflikte zu lösen, die sich bei der Anwendung der Regeln ergeben.[9] Die Schaffung von Recht vermag dabei auf verschiedenen, nachfolgend anzusprechenden Quellen zu beruhen.
Gewisse Grundfragen stellen sich aber für jede Rechtsordnung:[10] Wer darf regulieren? In welchem Interesse? Durch welche Mechanismen? Mit welchen Zielen? Ungeachtet der konkreten Beantwortung dieser Fragen erscheint indessen als unbestritten, dass dem Recht eine Gestaltungsaufgabe mit Blick auf die zwischenmenschlichen Beziehungen in der Gesellschaft zukommt.[11]
Die traditionellen regulatorischen Instrumente finden sich – für grenzüberschreitende Erscheinungen – in den internationalen Staatsverträgen und in den einzelstaatlichen Rechtsordnungen (Verfassung, Gesetz). Diese Rechtsquellen kommen in einem geordneten (oft demokratischen) Verfahren zustande; die einzelnen Normen lassen sich auch obrigkeitlich mit Zwang durchsetzen.[12] Gerade mit Blick auf schnelle technologische Veränderungen hat sich in den letzten Jahrzehnten aber gezeigt, dass staatliches Recht meist nur relativ langsam entsteht und hernach zur Anwendung gelangt.[13] Andere normative Instrumente erweisen sich deshalb zur Ergänzung des Regulierungsumfelds als notwendig.
Seit Jahren ist anerkannt, dass neben dem staatlichen „Hard Law“ auch das „Soft Law“ eine gewichtige Rolle zu spielen vermag. Unter den Begriff des Soft Law fallen die verschiedenartigsten Formen von Selbstregulierungen, die auf Initiative der betroffenen Branchen, Unternehmen oder zivilgesellschaftlichen Vereinigungen entstehen.[14] Der Vorteil von Selbstregulierungen liegt darin, dass die entsprechenden Bestimmungen gestützt auf Know How und Erfahrungen der Betroffenen zeitgerecht und zu tiefen Kosten entwickelt werden, der Nachteil hingegen darin, dass sie sich obrigkeitlich nicht durchsetzen lassen.[15] Soft Law als Form einer kooperativen Regulierung schneidet indessen qualitativ keineswegs schlechter ab als Hard Law.[16]
Als Zwischenform hat in den letzten Jahren das Modell der „Co-Regulierung“ (bzw. der „regulierten Selbstregulierung“) an Bedeutung gewonnen. Dieses Regulierungskonzept verstärkt Selbstregulierungen durch eine staatliche „Anerkennung“ bzw. sogar eine Überwachung der Beachtung von Verhaltenspflichten.[17] Vielfältige Beispiele sind aus den Finanz‑, Medien- und Internetmärkten bekannt.[18] Dank der Mitwirkung des traditionellen Gesetzgebers bei der Durchsetzung der normativen Bestimmungen verstärkt sich deren Wirkung.[19] Das Modell der Co-Regulierung entspricht dem im Kontext der Internet Governance intensiv diskutierten und teilweise auch angewendeten Multistakeholder-Konzept; die Entwicklung eines erfolgreichen normativen Umfelds setzt voraus, dass alle betroffenen Akteure (z.B. Regierungen/Verwaltungen, Unternehmen, Zivilgesellschaft, Akademie) gemeinsam an der Regelbildung mitwirken.[20] Diese Vorzüge sind gerade für den KI-Bereich fruchtbar zu machen.
Mit dem Entwurf für einen Artificial Intelligence Act (AIA) hat die EU-Kommission einen horizontalen Regulierungsansatz gewählt; grundsätzlich ist das risikobasierte Modell für alle Wirtschaftssegmente und Branchen relevant.[21] Der Vorteil der horizontalen Regulierung liegt darin, dass eine normative Segmentierung vermieden werden kann; nachteilig wirkt sich hingegen aus, dass die Berücksichtigung von branchenspezifischen Besonderheiten nur schwer möglich ist.[22]
Ein vertikaler Regulierungsansatz würde es erlauben, für die betroffenen Wirtschaftssegmente eine möglichst massgeschneiderte Regulierung zu verwirklichen. Der Gesundheitssektor bedarf z.B. nicht zwingend derselben Vorgaben wie die Autobranche. Angesichts der vielfältigen KI-Einsatzmöglichkeiten weist eine sektorspezifische Regulierung deutliche Vorzüge auf; sie vermag den normativen Herausforderungen präziser Rechnung zu tragen und vermeidet, dass allgemeine Anordnungen teilweise ungeeignet sind. Für den KI-Bereich hat dieses Konzept im Vergleich zu einem nur horizontalen Ansatz nicht zu unterschätzende Vorteile.
Der AIA-Entwurf, den die EU-Kommission vorgelegt hat, zeichnet sich durch eine sehr hohe Regulierungstiefe und -dichte aus. Auf über 100 Seiten finden sich viele detaillierte Einzelregeln, deren Umsetzung sich nicht immer leicht vornehmen lässt, was für die Rechtsanwendung und -durchsetzung als nicht unproblematisch erscheint.
Ein anderer Regulierungsansatz würde darin bestehen, konkret zu prüfen, welche Sachverhalte im Interesse des Staates und der Zivilgesellschaft tatsächlich einer Regulierung bedürfen. Dieses Vorgehen hat der Bundesrat mit Bezug auf den durch die Distributed Ledger Technology (DLT) verursachten Handlungsbedarf gewählt. Zwar erklärte der Bundesrat in der Botschaft zum DLT-Gesetz (November 2019), bestmögliche Rahmenbedingungen für DLT-Geschäftsmodelle schaffen zu wollen, damit sich die Schweiz als ein führender, innovativer und nachhaltiger Standort für Blockchain-Unternehmen etablieren und weiterentwickeln könne.[23]
Materiell hat der Bundesrat indessen auf den Vorschlag für ein umfassendes Blockchain-Gesetz, wie z.B. im Fürstentum Liechtenstein realisiert, verzichtet, und den bewährten und ausgewogenen Rechtsrahmen der Schweiz nicht grundsätzlich in Frage gestellt.[24] Vielmehr nimmt das zwischenzeitlich vom Parlament (einstimmig) verabschiedete DLT-Gesetz lediglich diejenigen Anpassungen in einzelnen Gesetzen vor, die erforderlich gewesen sind, um den DLT-Anwendungen nicht normative Lücken oder Hindernisse in den Weg zu stellen.[25]
