Deepfakes E-Book

Nina Schick

• Herausgeber: Goldmann Verlag
• Kategorie: Wissenschaft und neue Technologien
• Sprache: Deutsch
• Veröffentlichungsjahr: 2021

Seitenzahl: 254

Beschreibung

Fake oder Wahrheit?

Stellen Sie sich vor, Sie surfen im Internet – und entdecken sich plötzlich selbst, wie Sie Dinge sagen oder tun, die Sie nie gesagt oder getan haben. Auch wenn Ihnen ein solches Szenario unvorstellbar erscheint, ist es ziemlich realistisch. Denn dank neuester Entwicklungen im Bereich der KI sind hochentwickelte maschinelle Systeme durch das Scannen und Verändern bestehenden Materials in der Lage, Fotos oder Videos zu generieren und sie in einen nie dagewesenen Kontext zu setzen. Wird darauf zudem eine authentisch wirkende Tonspur gelegt, sind die Resultate absolut überzeugend – und verheerend in ihrer Wirkung. Diese so genannten »Deepfakes« sind eine reale Gefahr für Demokratien, denn sie haben die Macht, Wahlmanipulation auf ein ganz neues Level zu heben und die Entscheidungen nichtsahnender Bürger massiv zu beeinflussen. Die KI-Expertin und politische Beraterin Nina Schick enthüllt in ihrem Buch schockierende Beispiele von Deepfakes und erläutert die politischen Konsequenzen einer drohenden Infokalypse. Sie beantwortet die drängende Frage, warum Regierungen und Unternehmen so unvorbereitet sind, dieser Gefahr zu begegnen – und klärt auf, wie wir uns vor den Gefahren dieser neuen Technik schützen können.

Leseprobe

Autorin

Nina Schick ist eine unabhängige politische Kommentatorin, Beraterin und Speakerin, die sich hauptsächlich mit EU-Politik und der Frage beschäftigt, wie im 21. Jahrhundert Politik und Technologie zusammenspielen. Sie hat im Laufe ihrer Karriere Emmanuel Macron und Joe Biden beraten, im Brexit-Referendum mitgewirkt und die Aufarbeitung der russischen Einflussnahme auf die Präsidentschaftswahl in den USA mitbegleitet. Auf CNN, Sky, Bloomberg und der BBC ist sie regelmäßig zu sehen, ihre Texte wurden u. a. in der Times, im Telegraph und im New Statesman veröffentlicht.

Buch

Stellen Sie sich vor, Sie surfen im Internet – und entdecken sich plötzlich selbst, wie Sie Dinge sagen oder tun, die Sie nie gesagt oder getan haben. Auch wenn Ihnen ein solches Szenario unvorstellbar erscheint, ist es ziemlich realistisch. Denn dank neuester Entwicklungen im Bereich der KI sind hochentwickelte maschinelle Systeme durch das Scannen und Verändern bestehenden Fotomaterials in der Lage, Fotos oder Videos zu generieren und sie mit einem Kontext auszustatten, den es nie gegeben hat. Wird darauf zudem eine authentisch wirkende Tonspur gelegt, sind die Resultate absolut überzeugend – und verheerend in ihrer Wirkung.

Diese sogenannten »Deepfakes« sind eine reale Gefahr für Demokratien, denn sie haben die Macht, Wahlmanipulation auf ein ganz neues Level zu heben und die Entscheidungen nichts ahnender Bürger massiv zu beeinflussen. Die KI-Expertin und politische Beraterin Nina Schick enthüllt in ihrem ersten Buch schockierende Beispiele von Deepfakes und erläutert die politischen Konsequenzen einer drohenden Infokalypse. Sie beantwortet die drängende Frage, warum die Regierungen und Tech-Unternehmen so unvorbereitet sind, dieser Gefahr zu begegnen – und klärt uns auf, was wir tun können, um uns vor den Gefahren dieser neuen Technik zu schützen.

nina schick

>deep fakes

Wie gefälschte Botschaften im Netz unsere Demokratie gefährden und unsere Leben zerstören können

Aus dem Englischen von Kristin Lohmann und Johanna Ott

Die Originalausgabe erschien 2020 unter dem Titel »Deep Fakes and the Infocalypse: What you urgently need to know« bei Monoray, an imprint of Octopus Publishing Group Ltd., London, UK. Der Inhalt dieses E-Books ist urheberrechtlich geschützt und enthält technische Sicherungsmaßnahmen gegen unbefugte Nutzung. Die Entfernung dieser Sicherung sowie die Nutzung durch unbefugte Verarbeitung, Vervielfältigung, Verbreitung oder öffentliche Zugänglichmachung, insbesondere in elektronischer Form, ist untersagt und kann straf- und zivilrechtliche Sanktionen nach sich ziehen.Sollte diese Publikation Links auf Webseiten Dritter enthalten, so übernehmen wir für deren Inhalte keine Haftung, da wir uns diese nicht zu eigen machen, sondern lediglich auf deren Stand zum Zeitpunkt der Erstveröffentlichung verweisen.

Deutsche Erstausgabe August 2021

Copyright © 2021 by Wilhelm Goldmann Verlag, München, in der Penguin Random House Verlagsgruppe GmbH, Neumarkter Str. 28, 81673 München.

Covergestaltung: UNO Werbeagentur GmbH, München, unter Verwendung eines Fotos von Nina Schick © Maria Lind Photography, Brüssel

Redaktion: Doreen Fröhlich

DF | Herstellung: CF

Satz: Uhl + Massopust, Aalen

ISBN 978-3-641-27618-8V002

www.goldmann-verlag.deBesuchen Sie den Goldmann Verlag im Netz

INHALT

Einleitung: »Abgefuckte Dystopie«

1 r/deepfakes

2 Russland: Ein routinierter Profi

3 Der Westen: Bedrohung aus dem Inneren

4 Der Rest: Weltweites Informationschaos

5 Deepfakes in freier Wildbahn

6 Covid-19: Ein globales Virus

7 Gleichgesinnte, vereinigt euch!

Nachwort der Autorin zur deutschsprachigen Ausgabe 2021

Danksagung

Bildnachweis

Interviewpartner und -Partnerinnen

personen- und sachregister

Endnoten

Einleitung »Abgefuckte Dystopie«

Im Netz kursiert ein YouTube-Video von Barack Obama, das annähernd 7,5 Millionen Menschen gesehen haben. Der Titel klingt aber auch vielversprechend: »Sie werden nicht glauben, was Obama in diesem Video von sich gibt!« Auf dem Startbild sieht Barack Obama geradewegs in die Kamera. Er sitzt in einem tiefen Mahagonistuhl und befindet sich allem Anschein nach im Oval Office. Und er ist nicht mehr ganz jung, davon zeugt sein grau meliertes Haar. Er wirkt entspannt, zuversichtlich. Hinter seiner rechten Schulter ist ein Teil der amerikanischen Flagge zu sehen. Wie immer ist Obama tadellos gekleidet: frisches weißes Hemd, blaue Krawatte. Am linken Revers trägt er eine Anstecknadel mit der US-Flagge. Sie klicken auf Play. »Wir stehen am Beginn eines Zeitalters, in dem unsere Feinde es so aussehen lassen können, dass jede nur denkbare Person zu einem beliebigen Zeitpunkt etwas Bestimmtes gesagt hat«, beginnt Obama. »Auch wenn diese Person so etwas in Wirklichkeit niemals sagen würde. Zum Beispiel« – er gestikuliert, sucht nach den richtigen Worten –, »zum Beispiel könnten sie mich sagen lassen, dass Präsident Trump einfach der allerletzte Scheißkerl ist.« An dieser Stelle scheinen Obamas Augen kurz aufzuleuchten und den Hauch eines Lächelns anzudeuten. »Dabei würde ich so etwas natürlich nie sagen. Jedenfalls nicht in der Öffentlichkeit.«

Nichts davon hat Obama in Wirklichkeit je gesagt. Das Video ist ein Fake – genauer gesagt ein mithilfe von Künstlicher Intelligenz (KI) erstelltes Deepfake (eine Wortbildung aus den englischen Begriffen »Deep Learning«, eine Methode des automatisierten maschinellen Lernens über künstliche neuronale Netze, und »Fake«, Fälschung). Willkommen in einer Zukunft, in der Künstliche Intelligenz so mächtig geworden ist, dass sie Menschen etwas sagen oder tun lassen kann, das sie nie gesagt oder getan haben. Wir alle können zur Zielscheibe werden, und umgekehrt kann jeder und jede alles abstreiten. KI und Deepfakes sind die jüngsten Bedrohungen in unserem zerrütteten, von Falschmeldungen und Desinformation geprägten Informationsökosystem. Und beide stehen erst am Anfang ihrer Entwicklung.

WAS SIND DEEPFAKES?

Unter Deepfakes versteht man alle Arten synthetischer Medieninhalte (wie etwa Fotos, Audiodateien oder Videos), die mithilfe von Künstlicher Intelligenz manipuliert oder sogar komplett erstellt wurden. Dass sich Medien dank technologischem Fortschritt (über Tools wie Photoshop oder Filterfunktionen auf Instagram) immer einfacher und von einer wachsenden Gruppe von Menschen manipulieren lassen, ist nicht neu. Die jüngsten Fortschritte in der KI aber ermöglichen einen weiteren Entwicklungssprung: Denn sie ermächtigen Maschinen dazu, synthetische Medien komplett neu zu erzeugen. Das wird enorme Auswirkungen darauf haben, wie wir künftig Inhalte generieren, wie wir kommunizieren und wie wir die Welt interpretieren. Die Technologie dahinter steckt zwar heute noch in den Kinderschuhen, aber es ist nur noch eine Frage von wenigen Jahren, bis jeder Smartphone-Besitzer Spezialeffekte auf Hollywood-Niveau produzieren kann – und das so gut wie kostenlos, ohne große Vorkenntnisse und mit minimalem Aufwand.

Diese Entwicklung hat zwar durchaus auch positive Auswirkungen – so wird sie uns etwa noch spektakulärere Computerspiele und Filme bescheren –, aber sie wird manchen auch als Waffe dienen; nämlich dann, wenn Deepfakes gezielt und mit böswilliger Absicht zum Zwecke der Desinformation verbreitet werden. Es gibt aber auch Fälle, in denen gefakte Medieninhalte unbeabsichtigt als Falschmeldungen kursieren. Welcher Fall auch immer vorliegt, im Allgemeinen werden sämtliche künstlich erzeugten Medieninhalte als Deepfakes bezeichnet. Das zumindest ist meine Definition – einen Konsens gibt es hier nicht, dafür ist das Gebiet noch zu neu.

Das Obama-Video wurde von Hollywood-Regisseur Jordan Peele in Kooperation mit dem Medienunternehmen Buzzfeed produziert. Es sollte der Aufklärung dienen, sollte warnen vor dem potenziellen Missbrauch synthetischer, also künstlich erzeugter Medieninhalte. Und so fährt »Obama« denn auch fort: »Wir müssen künftig wachsamer sein und uns gut überlegen, welchen Inhalten wir im Internet noch trauen können. Es mag sich banal anhören, doch die Art und Weise, wie wir im Informationszeitalter agieren, wird letztlich darüber entscheiden, ob wir überleben oder in einer abgefuckten Dystopie enden.«1

Nur stecken wir leider bereits mittendrin in dieser »abgefuckten Dystopie«. Unser Informationsökosystem ist im Informationszeitalter verseucht worden und zur Gefahr mutiert. Wir stehen vor einer gigantischen, beispiellosen, durch Falschmeldungen und Desinformation ausgelösten Krise. Um das Problem analysieren und diskutieren zu können, musste ich zunächst nach einem adäquaten Wort für dieses »abfuckte« Informationsumfeld suchen, in dem wir alle uns bewegen. Ich habe mich für »Infokalypse« entschieden. Der Begriff steht für mich in diesem Buch also für das zunehmend gefährliche und nicht mehr vertrauenswürdige Informationsökosystem, in dem heute die meisten Menschen leben.

Der Begriff Infokalypse wurde ursprünglich im Jahr 2016 von dem US-amerikanischen Technologen Aviv Ovadya geprägt. Er wollte der Gesellschaft damit das Ausmaß vor Augen führen, in dem wir heute von schlechten Nachrichten überflutet werden, und warf zugleich die Frage auf, ob es eine kritische Grenze gibt, ab der eine Gesellschaft die Fülle an schlechten Nachrichten nicht mehr verkraftet. Ovadya legte sich jedoch nicht auf eine singuläre Definition des Begriffs fest, sondern nutzte ihn für eine ganze Reihe von Konzepten. Die Infokalypse ist ja auch, wie er ganz richtig bemerkte, kein statisches »Etwas«, kein einmaliges Ereignis, sondern vielmehr ein sich kontinuierlich weiterentwickelnder Zustand, in den immer mehr von uns hineingeraten. In meinen Augen wird sich die Infokalypse künftig zu einem immer machtvolleren Phänomen auswachsen, das gefährliche Auswirkungen auf alle möglichen Lebensbereiche mit sich bringt, von der Geopolitik bis ins Privatleben.

Es ist schwer zu sagen, wann genau die Infokalypse ihren Anfang genommen oder wie sehr sie sich bereits ausgebreitet hat. Sicher spielt der exponentiell wachsende technologische Fortschritt zu Beginn dieses Jahrhunderts eine entscheidende Rolle. Bis zur Jahrtausendwende hatte sich unser Informationsumfeld in deutlich moderaterem Tempo entwickelt; die Gesellschaft hatte genügend Zeit, sich dem technologischen Fortschritt anzupassen. Zwischen der Erfindung des Buchdrucks und der Entwicklung der Fotografie lagen immerhin vier Jahrhunderte. Internet, Smartphones und Social Media dagegen haben unser Informationsumfeld in gerade mal drei Jahrzehnten grundlegend auf den Kopf gestellt. 2023 werden etwa zwei Drittel aller Menschen – 5,3 Milliarden – an dieses rasant fortschreitende Informationsumfeld angeschlossen sein, und das verbleibende Drittel wird nicht mehr lange auf sich warten lassen. Videos sind inzwischen zum machtvollsten Kommunikationsmedium überhaupt geworden.

Der rasante Wandel hat unser Informationsökosystem extrem anfällig für Missbrauch gemacht. Zunehmend nutzen gewissenlose Akteure – vom Nationalstaat bis zum allein agierenden »Influencer« – die neuen Möglichkeiten, um zugunsten eigener, schändlicher Zwecke gezielte Desinformation zu verbreiten. Zur Begriffsklärung: Anders als Desinformation, die bewusst zum Zweck der Irreführung verbreitet wird, stecken hinter bloßen Falschmeldungen keine bösen Absichten. Beide Phänomene sind nicht neu, nur haben sie nie zuvor in einem derartigen Ausmaß um sich gegriffen, wie wir es heute erleben. Dazu kommt, dass sie immer machtvoller werden – auch wegen der zunehmenden Verbreitung manipulierter und/oder aus dem Kontext gerissener Video-, Audio- oder Bilddateien, sogenannter »Cheapfakes«, »billigen Fälschungen« also, die sozusagen die Vorläufer von Deepfakes sind. Dabei ist all das erst der Vorgeschmack auf eine handfeste KI-Revolution, die letztlich zu einem neuen Schritt in der Evolution unseres Informationsökosystems führen wird. Denn Maschinen werden künftig immer bessere, sprich »echtere« synthetische Medien erzeugen können. Das wird sich auch auf die Interaktion der Menschen untereinander auswirken. Und es wird unsere Wahrnehmung der Welt verändern und die Art und Weise, in der wir Informationen interpretieren. Auch die immer ausgefeilteren Falsch- und Desinformationen in Form von Deepfakes sind Teil dieser KI-Revolution.

Eine auffällige Begleiterscheinung der Infokalypse ist, dass wir immer schwerer zu einem Konsens darüber gelangen, wie die Welt eigentlich dargestellt oder wahrgenommen werden sollte. Immer häufiger hat man das Gefühl, sich zwischen zwei »Seiten« entscheiden zu müssen. Selbst die Einigung auf einen Rahmen gemeinsamer »Fakten«, innerhalb dessen eine vernünftige Debatte stattfinden kann, stellt sich in der Infokalypse mitunter extrem schwierig dar. Und da sich in unserem kaputten Informationsökosystem immer mehr Menschen politisch engagieren, werden gut gemeinte Bemühungen zunehmend schneller zu schlagenden Argumenten umgedeutet, um Probleme zu befeuern, deren Lösung in immer weitere Ferne rückt (ethnische Zugehörigkeit, Gender, Abtreibung, Brexit, Trump, Covid-19 etc.), was in einer polarisierenden Abwärtsspirale mündet. Keine Seite vermag die andere noch zu überzeugen, im Gegenteil: Jeder Versuch birgt nur das Risiko einer noch tieferen Entzweiung. Diese zunehmende Spaltung unserer Gesellschaft können wir jedoch nur überwinden, wenn wir unsere Aufmerksamkeit und Energie wieder auf die strukturellen Probleme hinter unserem maroden Informationsökosystem lenken.

Wie ich dazu kam, mich so intensiv mit Deepfakes und der Infokalypse zu beschäftigen? Ganz einfach: Ich habe im Laufe der letzten zehn Jahre im Rahmen meiner politischen Tätigkeit beobachtet, wie beides kontinuierlich zu einem immer größeren Thema wurde.

DIE INFOKALYPSE NIMMT GESTALT AN

2014 arbeitete ich für einen politischen Think Tank der Europäischen Union in Westminster. Wir analysierten die Reaktion der EU auf die Annexion der Krim durch Russland und auf deren Invasion in der Ostukraine, die kurz zuvor stattgefunden hatte. Ich arbeitete damals rund um die Uhr und lieferte Beiträge zu zahlreichen internationalen Nachrichtensendungen. Während die EU noch mit ihrer Haltung rang, wurde allmählich klar, dass Moskau einen konkreten Plan verfolgte: Russland stritt ganz einfach ab, in die Ukraine einmarschiert zu sein. Die ganze Geschichte sei nichts als eine von westlichen Politikern und Kommentatoren angezettelte haltlose antirussische Schmierenkampagne.

Die russische Version der Ereignisse hörte sich in etwa so an: Die Ukraine sei im Bürgerkrieg versunken, mit pro-russischen »separatistischen Rebellen« auf der einen und dem ukrainischen Staat auf der anderen Seite. Ich kann mich noch gut an eine denkwürdige Auseinandersetzung mit einem Kreml-freundlichen Kommentator erinnern, einem älteren Herrn und früheren Berater von Wladimir Putins Vorgänger Boris Jelzin. Das Gespräch war eine Katastrophe und hätte eher in eine Car-Crash-Show gepasst. Wir waren nicht einmal in der Lage, uns auf die banalsten Fakten zu einigen, geschweige denn, eine echte Debatte zu führen. Während ich versuchte, ihm die Reaktion der EU auf den russischen Angriff zu erläutern, stritt er ab, dass sich Russland überhaupt im Kriegszustand befände. Ohne gemeinsame Realität, die von beiden Seiten auch als solche empfunden und anerkannt wurde, fehlte uns jede Basis für ein gutes Gespräch.

Monatelang beherrschte die Krise meine Arbeit. Dann nahmen die Ereignisse eine Wendung, die noch surrealer und tragischer war als alles bis dahin Geschehene. Die »separatistischen Rebellen« schossen in der Ostukraine ein Linienflugzeug ab, das sie fälschlicherweise für ein ukrainisches Militärflugzeug gehalten hatten. Alle 283 Passagiere und 15 Crewmitglieder an Bord des Flugs MH17 der Malaysia Airlines kamen ums Leben. Während ich die Reaktion des Westens in den Londoner Nachrichtenstudios kommentierte, bekam ich die Bilder, die die Berichte begleiteten, nicht mehr aus dem Kopf: die über die ostukrainischen Felder verstreuten Wrackteile des Flugzeugs.

Die Ermittlungen ergaben eindeutig, dass das russische Militär für den Abschuss der MH17 verantwortlich war. Man konnte sogar nachverfolgen, wie der Raketenwerfer erst die Grenze in die Ukraine passiert hatte und dann zurück nach Russland gebracht worden war2. Bis heute leugnet Moskau, etwas mit dem Abschuss zu tun zu haben – obwohl wir wissen, dass das eine Lüge ist. Der Geheimdienst- und Sicherheitsausschuss des britischen Unterhauses resümierte 2017 wie folgt:

Russland betreibt einen Informationskrieg im ganz großen Stil […] Eine breit angelegte, über mehrere Kanäle gestreute Propagandaaktion, mit der die Welt davon überzeugt werden sollte, dass Russland keinerlei Verantwortung für den Abschuss des Flugs MH17 trage, ist ein frühes Beispiel dafür. (Dabei handelt es sich um eine offensichtliche Unwahrheit: Es besteht nicht der geringste Zweifel daran, dass das russische Militär den Raketenwerfer an Ort und Stelle gebracht und anschließend wieder abtransportiert hat)3.

Besonders auffallend war damals, dass sich der Kreml der gesamten Bandbreite der neuen Kommunikationsmittel bediente, um seine Version der Ereignisse zu verbreiten – insbesondere die sozialen Medien. Das international ausgerichtete staatliche Medienunternehmen Rossija Sewodnja (»Russland heute«) etwa streamte kostenlos über YouTube; zu der Zeit zeichnete sich sein Programm insbesondere durch Kreml-freundliche Schilderungen zu MH17 und Berichte über den Krieg in der Ukraine aus. 2014 gab Margarita Simonyan, Chefredakteurin von Rossija Sewodnja, in einem Interview an, der Sender würde »einen Informationskrieg gegen den gesamten Westen führen« und damit für Russland »kämpfen«4. Mit der Idee, über YouTube zu senden, hatte Simonyan einen Volltreffer gelandet. 2017 verzeichnete YouTube über eine Milliarde Aufrufe pro Tag. Auf einen einzelnen Menschen umgerechnet wären das 100 000 Jahre ununterbrochenes YouTube-Schauen5. Auf dieser immens einflussreichen Plattform ist Rossija Sewodnja heute der meistgesehene Nachrichtenkanal. Er verzeichnet Milliarden von Aufrufen und sendet auf Englisch, Spanisch, Französisch, Deutsch, Arabisch und Russisch.

Aber Moskau hat nicht nur YouTube ausgeschöpft. 2013 rief der Kreml eine neue Abteilung seines Geheimdienstes ins Leben: die Internet Research Agency (IRA), später auch als »Glavset« bekannt. Die Aufgabe der IRA bestand darin, die öffentliche Debatte im Ausland zu unterwandern und im Sinne der russischen Regierung zu »beeinflussen«. Während sich die IRA zu Beginn noch ganz auf die Ukraine konzentrierte, nahm sie bald auch den Westen und insbesondere die US-Wahlen von 2016 ins Visier. Zuvor aber war Europa an der Reihe.

DIE INSTRUMENTALISIERUNG DER MIGRATIONSKRISE

Russlands Bemühungen um gezielte Desinformationskampagnen in Europa sind generell weniger bekannt, im Zusammenhang mit der Migrationskrise 2015/16 aber sind sie mir explizit aufgefallen. Die Strategie Moskaus bestand darin, erst eine Migrationskrise anzuzetteln und diese dann für seine Zwecke zu instrumentalisieren, um Europa zu schaden. Ersteres geschah durch reale, physische Kriegsführung – zunächst durch eine Ausweitung der militärischen Luftangriffe zur Unterstützung des Assad-Regimes in Syrien im Jahr 2015. Zwar wurden offiziell IS-Terroristen ins Visier genommen, doch kam die internationale Gemeinschaft bald schon dahinter, dass in Wirklichkeit wahllos Zivilisten bombardiert wurden, die Assad kritisch gegenüberstanden, und sei es nur in moderater Form6. In den Augen der NATO fuhr Russland damit eine bewusste Taktik und setzte »Migration als Waffe« ein – indem nämlich eine Massenflucht ausgelöst wurde, die »die Strukturen Europas zum Einsturz bringen und seine Stärke und Beständigkeit brechen« würde7. Und tatsächlich rollten nach der russischen Militäroffensive in Syrien gigantische Einwandererwellen über die Grenzen Europas (Flüchtende, Wirtschaftsmigranten und auch der ein oder andere Terrorist). Die meisten kamen über den Seeweg; viele von ihnen starben dabei. Später sollte der chinesische Künstler Ai Weiwei im Rahmen einer Installation zum Gedenken an die ertrunkenen Geflüchteten vierzehntausend leuchtend orangefarbene Schwimmwesten um die Säulen des Konzerthauses am Berliner Gendarmenmarkt wickeln8.

Die Massenbewegung rief eine tiefgehende Spaltung innerhalb der EU-Mitgliedsstaaten hervor, ausgelöst insbesondere durch Angela Merkels Politik der offenen Tür. Im Sommer 2015 kamen – ohne überprüft zu werden – mehr als eine Million Geflüchtete nach Deutschland; zu Hochzeiten waren es zehntausend Menschen pro Tag. Als Merkel sich des Ausmaßes der Krise bewusst wurde, zog sie die Notbremse und drängte auf eine EU-weite Einwandererquote, um die Last auf den Schultern aller EU-Staaten zu verteilen. Als einige Mitgliedsstaaten sich schlicht weigerten, drohte die EU beinahe zu zerfallen. Rechtliche Hürden wurden errichtet, alte Grenzen wieder hochgezogen. Neuankömmlinge wies man an, auf direktem Weg nach Deutschland weiterzumarschieren. Bis Deutschland schließlich gezwungen war, auch die eigenen Grenzen dichtzumachen.

Was die monumentalen Ereignisse dieser Jahre noch an Konsequenzen nach sich ziehen werden, ist heute noch gar nicht umfänglich abzusehen. Sicher ist nur, dass sie die EU (und Deutschland) noch über viele künftige Generationen hinweg prägen werden. Die Auswirkungen auf die europäische Politik durch die unmittelbaren politischen Folgen zeigen sich bereits. Dazu kommt, dass die Migrationswellen auch islamische Terroristen nach Europa spülten, was zu mehreren brutalen Terroranschlägen in europäischen Hauptstädten führte, darunter in Paris (November 2015), Brüssel (März 2016) und Berlin (Dezember 2016). 28 der 104 bekannten islamischen Terroristen, die zwischen 2014 und 2018 in die EU einreisten, verübten Terroranschläge, bei denen insgesamt 170 Menschen getötet und 878 Menschen verletzt wurden. Die meisten dieser Terroristen hatten internationalen Schutz beantragt, wie etwa Asyl, und hielten sich »durchschnittlich seit elf Monaten« in einem europäischen Land auf, »bevor sie einen Anschlag verübten oder wegen der Planung eines solchen verhaftet wurden. Das Asylverfahren bot also ausreichend Zeit, einen Anschlag vorzubereiten.9«

Während all dieser Zeit hielt der Kreml seine Informationsoperationen am Laufen, um weiter Öl in das ohnehin lichterloh brennende Feuer zu gießen. Russlands Informationsagenten infiltrierten den öffentlichen Diskurs der europäischen Länder über die – von Russland eigens angezettelte – Migrationskrise und heizten die zunehmenden innenpolitischen Spannungen noch an. Ein Beispiel für eine solche Kampagne war der »Fall Lisa«, ein 13-jähriges deutsches Mädchen, das angeblich von einer Horde Geflüchteter vergewaltigt worden war. Erst berichtete das russische Staatsfernsehen über Lisa, dann wurde die Geschichte in die sozialen Medien geschleust. Sie verbreitete sich wie ein Lauffeuer und führte zu Demonstrationen vor dem Berliner Kanzleramt, bei denen die Regierung beschuldigt wurde, die Sache zu vertuschen10. Tatsächlich war Lisas Geschichte pure Erfindung11.

Der Informationskosmos wurde mit einer solchen Masse an Desinformation und Falschmeldungen geflutet, dass er innerhalb kürzester Zeit vollkommen undurchsichtig geworden war. Die Desinformation war deshalb so machtvoll, weil sie sich ganz realer und häufig auch berechtigter Ängste bediente – die sich durch die Falschmeldungen wiederum manifestierten. In Kombination sorgte beides für eine überreizt-aufgeheizte Lage, die die Öffentlichkeit in zwei bitterlich verfeindete Lager spaltete. Von den meisten der neuen populistischen Parteien Europas nimmt man an, dass sie Verbindungen zum Kreml unterhalten. Mehrere Spitzenvertreter haben offen ihre Sympathie für Moskau bekundet – bis hin zur Anerkennung der Annexion der Krim – und sich für ein Ende der EU-Sanktionen gegenüber Russland ausgesprochen. Dies gilt etwa für die ungarische Fidesz, die Lega Nord in Italien, den Front National in Frankreich, die österreichische FPÖ (die 2019 in einen politischen Skandal verwickelt war, in dem auch Russland mitmischte und der schließlich zum Bruch der österreichischen Regierungskoalition führte) sowie für Parteimitglieder der deutschen AfD12.

Während ich 2017 inmitten dieser höchst angespannten politischen Atmosphäre für den damaligen Präsidentschaftskandidaten Emmanuel Macron tätig war, sah es eine Zeit lang so aus, als könnte Marine Le Pen das Rennen machen. Zwei Tage vor den Wahlen wurde Macrons Kampagne massiv von russischen Hackern angegriffen – denselben, die man auch hinter den Hackerangriffen auf die Wahlkampagne von Hillary Clinton im Vorjahr vermutet13.

In meiner politischen Tätigkeit für das Vereinigte Königreich habe ich zudem mit eigenen Augen gesehen, wie all diese Ereignisse zum entscheidenden Faktor in der Brexit-Abstimmung 2016 wurden. Die Brexit-Befürworter machten sich die tumultartigen Umwälzungen auf dem Kontinent zunutze und brachten vor – letztlich erfolgreich –, dass es riskanter sei, in der EU zu verbleiben als auszutreten. Dass sie dabei an die Bedenken der Öffentlichkeit zum Thema Einwanderung appellierten, war meiner Meinung nach ausschlaggebend für den Ausgang der Abstimmung. So gesehen war die Einwanderungskrise der EU für die Brexit-Befürworter ein gefundenes Fressen, das ihre Botschaften nur noch befeuerte14.

EIN STURM ZIEHT AUF

Je weiter sich die Infokalypse ausdehnt, desto stärker gerät die Politik ins Wanken. Dieser Zusammenhang half mir, das bedrohliche Potenzial der sogenannten Deepfakes als künftigem Medium der Des- und Falschinformation zu erkennen, als ich dem Phänomen im Jahr 2017 zum ersten Mal begegnet bin. Damals konnten Video- und Audiodateien erstmals mithilfe von Künstlicher Intelligenz erzeugt oder manipuliert werden. Noch dazu wurde schnell klar, dass die Technologie dahinter schon bald nicht nur immer besser, sondern auch für immer mehr, wenn nicht alle Menschen zugänglich werden würde. Jeder hätte dann die Macht, Menschen an Orten zu zeigen, an denen sie nie gewesen waren, und sie Dinge tun und sagen zu lassen, die sie nie getan oder gesagt hatten. In den falschen Händen stellt diese Technologie eine immense Bedrohung für unser ohnehin schon kollabierendes Informationsökosystem dar, und damit auch für die Art und Weise, wie wir die Welt verstehen und uns in ihr bewegen.

Im Jahr 2018 beriet ich den ehemaligen NATO-Generalsekretär Anders Fogh Rasmussen bei der Zusammenstellung eines Teams aus internationalen Staatenlenkern (darunter auch der frühere US-Vizepräsident Joe Biden), das sich mit der Frage beschäftigen sollte, wie man sich am besten vor einer äußeren Einflussnahme in politischen Wahlen schützen kann – insbesondere mit Blick auf die bevorstehende US-Wahl 2020. Auch das Thema Deepfakes stand auf der Agenda: Es war schließlich nur eine Frage der Zeit, bis sie im Zusammenhang mit politischen Wahlen eingesetzt werden würden. Als Beraterin rief ich die Spitzenpolitiker nachdrücklich dazu auf, sich mit Künstlicher Intelligenz und ihren potenziellen Anwendungsmöglichkeiten in der Infokalypse auseinanderzusetzen. Ich drängte darauf, dass wir uns gegen die unvermeidlichen künftigen Angriffe wappnen müssten.

Seither ist die Infokalypse noch ein ganzes Stück wirkungsmächtiger geworden. Die bevorstehenden US-Präsidentschaftswahlen im November 2020 werden nicht nur für die westlichen liberalen Demokratien ein Indikator sein, sondern auch für den Rest der Welt. Ich fürchte, meine Warnung gegenüber Rasmussen und seinem Team vor der Bedrohung durch unser kollabierendes Informationsökosystem wird sich bewahrheiten. Denn Polarisierung und Misstrauen – beides charakteristische Merkmale der Infokalypse – heizen die sozialen Unruhen nur noch weiter an, die in den Vereinigten Staaten gerade ausbrachen, als dieses Buch Mitte 2020 in Großbritannien in Druck ging. Seit ich über Desinformation und Falschmeldungen spreche und schreibe und darüber, welche Rolle Deepfakes auf diesem Gebiet spielen, ist das Thema durch die Decke gegangen. Ich bin die Themen Deepfakes und unser marodierendes Informationsökosystem zwar zunächst aus einem politischen Blickwinkel angegangen – die Auswirkungen all dessen werden jedoch weit darüber hinaus reichen. Mit diesem Buch möchte ich meinen bescheidenen Beitrag zum Verständnis darüber leisten, wie gefährlich und wenig vertrauenswürdig unser Informationsökosystem geworden ist und welchen Schaden es auch außerhalb der Politik anrichten kann – selbst in unserem intimsten Privatleben. Ich hoffe sehr, dass wir durch ein besseres Verständnis in der Lage sein werden, unsere Verteidigungskräfte zu mobilisieren und den Kampf gegen Deepfakes aufzunehmen. Denn auch als Gesellschaft gilt es, Resilienz gegen die Infokalypse aufbauen. Zu verstehen, was eigentlich vor sich geht, ist dabei der erste Schritt.

Was auf den nächsten Seiten folgt, sollten Sie also unbedingt wissen.

1r/deepfakes

Abbildung 1.1 Welche der abgebildeten Gesichter sind maschinell erzeugt?

Sehen Sie sich die Abbildung 1.1 an. Welche Gesichter sind Fake, also künstlich erzeugt, was denken Sie? Die kleineren verpixelten Schwarz-Weiß-Bilder links? Korrekt. Oder haben Sie eher die beiden Gesichter auf der rechten Seite im Verdacht? Auch dann liegen Sie richtig. Alle Bilder, die Sie hier sehen, sind Fake, synthetisch erzeugt, Produkte Künstlicher Intelligenz.

Es ist gar nicht lange her, da war das Manipulieren von Medien – Fotos, Videos und Audiodateien – allein den Spezialisten vorbehalten oder Akteurinnen mit immensen Ressourcen, wie Staatsregierungen oder Hollywood-Studios. Seit dem Einsatz neuer Technologien ist die Sache ein gutes Stück einfacher und zugänglicher geworden. Durch Künstliche Intelligenz aber verfügt der Mensch heute noch mal über ganz andere Mittel. Denn heute sind Maschinen nicht nur in der Lage, bestehende Medien zu manipulieren, sondern ganze Medieninhalte komplett künstlich zu erzeugen. Die Technologie dahinter ist zwar noch im Entstehen begriffen; aber dies sind auch erst die Anfänge, so viel lässt sich heute schon sagen. Wir stehen am Beginn einer KI-Revolution, die unsere Medienlandschaft beziehungsweise deren Darstellung der Wirklichkeit komplett auf den Kopf stellen wird.

Das Feld der durch Künstliche Intelligenz erzeugten synthetischen Medieninhalte entwickelt sich im Moment schneller, als die Gesellschaft hinterherkommt. Wir gehen im Normalfall immer noch davon aus, dass Videos und Audiodateien grundsätzlich echt sind, unbestechlich. Dabei begegnen uns unechte Medieninhalte viel öfter, als wir denken. Stellen wir uns also besser auf eine Welt ein, in der wir nicht mehr automatisch glauben können, was wir sehen und hören.

EINE KURZE GESCHICHTE DER MANIPULATION

Mit der Erfindung der Fotografie im 19. Jahrhundert hatte der Mensch erstmals die Möglichkeit, die »Realität« mittels eines nichtmenschlichen Mediums »einzufangen«. Bald schon stellte sich jedoch heraus, dass dieses Medium manipulierbar war – die Geschichte gefälschter Fotos ist lang. Sehen wir uns ein frühes Beispiel aus den 1860er Jahren an. Nach dem Mord an Abraham Lincoln suchte man vergeblich nach Bildern des Präsidenten, die ihn in »heroischer Pose« zeigten. Um dieses Problem zu beheben, legte ein Graveur kurzerhand eine Fotografie von Lincolns Kopf über ein Abbild des Südstaatenpolitikers John C. Calhoun. Es dauerte ein ganzes Jahrhundert, bis ihm jemand auf die Schliche kam – dass der Druck manipuliert worden war, stellte sich erst vor Kurzem heraus1.

Ein anderer bekannter Name, den man mit Fotomanipulation in Verbindung bringt, ist Josef Stalin. Im Namen des Stalinismus wurden nicht nur entsetzliche Gräueltaten begangen; seine Doktrin wurde später auch zum Synonym für Geschichtsumschreibung, inklusive der Manipulation visueller Aufzeichnungen. Unter Stalins Diktatur entwickelte sich eine ganze Industrie, die allein mit der Fälschung von Bildmaterial befasst war – was damals, als es noch keine moderne Fotobearbeitungssoftware gab, einiges an Geschick erforderte, wenn man brauchbare Ergebnisse erzielen wollte. Für die Montage zweier Bilder mussten die Negative erst mühsam zerschnitten und die Schnipsel dann akkurat übereinandergelegt werden. Neue Elemente wurden hinzugefügt, indem man sie in präziser Handarbeit ätzte, oder entfernt, indem man sie behutsam vom Negativ kratzte. Stalins pockennarbiges Gesicht wurde mühsam mithilfe einer frühen und nervtötend langsamen Airbrush-Technik geglättet. Hochkonjunktur hatte die Bildmanipulation dann in den 1930er Jahren, als Stalins sogenannte »Große Säuberungen«, bei denen er seine politischen Gegner systematisch ausschaltete, den Experten alle Hände voll zu tun gaben: Jeder, der auf Befehl Stalins getötet oder in den Gulag geschickt wurde, musste parallel aus den bis dato inszenierten Fotos herausretouschiert werden. Sehen Sie sich einmal die Abbildung 1.2 auf Seite 28 an. Auf dem oberen Bild ist Stalin auf dem Parteitag im April 1925 inmitten einer Gruppe von Abgeordneten zu sehen. Sechs dieser Männer starben später durch Selbstmord, Erschießen oder in Gefangenschaft. Nachdem man sie infolgedessen auch vom Bildmaterial entfernt hatte, blieben auf einer 1939 reproduzierten Version desselben Fotos nur noch Stalin selbst und drei seiner engen Verbündeten übrig.

Abbildung 1.2 Oben: Stalin auf dem 14. Parteitag im April 1925 inmitten einer Gruppe von Abgeordneten. Von links nach rechts: Michail Laschewitsch (Selbstmord 1927); Michail Frunse (gestorben 1925); Iwan Nikititsch Smirnow (erschossen 1936); Alexei Rykow (erschossen 1938); Kliment Woroschilow (gestorben 1969); Stalin; Mykola Skrypnik (Selbstmord 1933); Andrei Bubnow (1940 im Gulag gestorben); Sergo Ordschonikidse (Selbstmord 1937); Josef Unschlicht (erschossen 1938). David King Collection (TGA 20172/2/3/2/306)2Unten: Dasselbe Foto – allerdings in der retuschierten Fassung, die neben Stalin nur noch Frunse und Stalins enge Verbündete Woroschilow und Ordschonikidse zeigt3.

Als das Sowjetimperium 1990 in den letzten Zügen lag, wurde die manipulative Bildbearbeitung gerade massentauglich – Photoshop kam auf den Markt, eine kommerzielle Software, die die manuelle Fisselarbeit der sowjetischen Kunsthandwerker und Kunsthandwerkerinnen unter Stalin demokratisierte und in der Bildbearbeitung ganz neue Möglichkeiten eröffnete. Heute ist Fotomanipulation ein Kinderspiel. Nicht mal einen teuren Computer oder eine spezielle Software braucht man noch dazu. Jeder kann sich kostenlose, einfach zu bedienende Bildbearbeitungs-Apps aufs Handy laden. Das Dilemma dabei ist: Wir sind nun mal so gepolt, dass wir audiovisuellen Medien, sofern sie richtig »aussehen« oder sich »anhören«, blind vertrauen. Psychologen bezeichnen dieses Phänomen als »Verarbeitungsflüssigkeit«: Wir trauen unbewusst eher den Informationen, die unser Gehirn schnell verarbeiten kann. Bei Bildern läuft dieser Entscheidungsprozess deutlich schneller ab als bei reinem Text. So fand man in einer Studie beispielsweise heraus, dass die Teilnehmenden die Aussage »Macadamianüsse gehören derselben Familie an wie Pfirsiche« eher glaubten, wenn neben dem Text ein Bild von Macadamianüssen zu sehen war4.

Wer schon im Vorfeld damit rechnet, dass ein Foto manipuliert sein könnte, kann sein auf Basis der Verarbeitungsflüssigkeit getroffenes Urteil nach dem zweiten oder dritten Mal Hinschauen zwar korrigieren. Bei Audio- und Videomaterial funktioniert das aber nicht so ohne Weiteres. Diese Medien sehen wir normalerweise immer noch als unbestechlich und echt an – weil wir grundsätzlich glauben, dass Audio- und Videoaufnahmen wiedergeben, was wir mit eigenen Augen gesehen oder mit eigenen Ohren gehört haben; die Aufnahmen fungieren sozusagen als Erweiterung unserer eigenen Wahrnehmung. Umso besorgniserregender ist es, dass sich die Mittel zur Manipulation von Audio- und Videomaterial mittels Künstlicher Intelligenz gerade jetzt so schnell weiterentwickeln – zu einer Zeit, in der diese Medien zur wichtigsten Kommunikationsform überhaupt geworden sind, und zwar nicht nur für digitale Überflieger, sondern für uns alle. Denn im Informationszeitalter sind wir nicht nur Massenkonsumentinnen und -konsumenten audiovisueller Medieninhalte – wir produzieren