Kontroll-Illusion: Warum KI unsere Existenz bedroht E-Book

Karl Olsberg

• Herausgeber: epubli
• Kategorie: Wissenschaft und neue Technologien
• Sprache: Deutsch

Seitenzahl: 209

Veröffentlichungsjahr: 2025

Beschreibung

Führende Forscher und Experten warnen eindringlich vor den existenziellen Risiken künstlicher Intelligenz und praktische Experimente zeigen bereits, dass ihre Sorgen berechtigt sind. Doch manche Entscheider im Silicon Valley geben sich immer noch der Illusion hin, eine Maschine kontrollieren zu können, die wesentlich intelligenter ist als sie. Was wie Science-Fiction klingt, könnte bereits vor 2030 wahr werden: Die Geschichte der Menschheit könnte abrupt enden, wenn wir die Kontroll-Illusion nicht endlich beenden. Karl Olsberg promovierte über künstliche Intelligenz und gründete mehrere KI-Start-ups. Er ist Teil einer internationalen Community von KI-Experten, die sich ernsthafte Sorgen um potenziell unkontrollierbare KI machen. Doch als mehrfacher Start-up-Gründer ist er kein pauschaler KI-Gegner. Im Gegenteil sieht er in KI große Chancen für unsere Zukunft, wenn wir in dieser kritischen Phase verhängnisvolle Fehler vermeiden und nicht der Kontroll-Illusion verfallen. Mit exklusiver Bonus-Story: "Kill-Switch" Paul arbeitet als KI-Sicherheitsexperte in einer großen KI-Firma, als ihm während einer Nachtschicht ein seltsames Verhalten des Überwachungsysstems der KI auffällt. Soll er den "Kill-Switch" betätigen, um die KI abzuschalten, und damit den knappen Vorsprung seiner Firma vor der chinesischen Konkurrenz riskieren?

Leseprobe

KARL OLSBERG

KONTROLL-ILLUSION

Warum KI unsereExistenz bedroht

Version 1.0, 14.5.2025

© Karl Olsberg 2025

Coverdesign: Karl Olsberg.

Covergrafik KI-generiert.

Für Konstantin, Nikolaus, Leopoldund alle anderen.

Sobald die Methode des maschinellen Denkens begonnen hat, wird es nicht lange dauern, bis sie unsere dürftigen Fähigkeiten übertrifft. Daher sollten wir annehmen, dass die Maschinen irgendwann die Kontrolle übernehmen.

Alan Turing, 1951

1. Eine eindringliche Warnung

Am 17. Mai 2024 begründete Jan Leike, der bisherige Leiter des „Superalignment“-Teams bei OpenAI, seine Kündigung mit einer aufsehenerregenden Serie von Tweets.1 Darin schreibt er:

Diesen Job aufzugeben war eines der schwierigsten Dinge, die ich je getan habe, weil wir dringend herausfinden müssen, wie wir KI-Systeme, die viel intelligenter sind als wir, steuern und kontrollieren können.

Ich habe bei OpenAI angefangen, weil ich glaubte, dies sei der beste Platz auf der Welt, um diese Art von Forschung zu betreiben. Allerdings hatte ich mit dem OpenAI-Management schon seit einiger Zeit Meinungsverschiedenheiten über die Prioritäten der Firma, die nun zu einem endgültigen Bruch führten.

Ich glaube, ein viel größerer Teil unserer Kapazität sollte dafür verwendet werden, uns auf die nächste Generation von KI-Modellen vorzubereiten - in Bezug auf Sicherheit, Überwachung, Prävention, Robustheit gegen Missbrauch, (Super-)Alignment, Vertraulichkeit, Auswirkungen auf die Gesellschaft und ähnliche Themen.

Diese Probleme sind sehr schwierig in den Griff zu bekommen und ich befürchte, dass wir nicht auf dem richtigen Weg dorthin sind.

In den vergangenen Monaten hat mein Team eine Menge Gegenwind bekommen. Manchmal mussten wir um die für uns verfügbare Computerleistung kämpfen und es wurde immer schwieriger, diese wichtige Forschung zu betreiben.

Maschinen zu bauen, die intelligenter sind als Menschen, ist ein inhärent gefährliches Unterfangen. OpenAI trägt eine enorme Verantwortung gegenüber der gesamten Menschheit.

Doch im Verlauf der letzten Jahre rückten Sicherheitskultur und -prozesse gegenüber glanzvollen Produkten immer mehr in den Hintergrund.

Es ist längst überfällig, die Implikationen einer AGI [Artificial General Intelligence, allgemeine KI auf menschlichem Niveau] äußerst ernst zu nehmen. Wir müssen die bestmögliche Vorbereitung darauf an erste Stelle setzen. Nur dann können wir sicherstellen, dass AGI tatsächlich der gesamten Menschheit dient.

OpenAI muss eine AGI-Firma werden, bei der Sicherheit an erster Stelle steht. Allen OpenAI-Mitarbeiterinnen und Mitarbeitern möchte ich sagen:

Lernt, AGI zu fühlen.

Handelt mit der Ernsthaftigkeit, die dem, was ihr da baut, angemessen ist.

Ich glaube, ihr könnt den kulturellen Wandel schaffen, der nötig ist.

Ich verlasse mich auf euch.

Die ganze Welt verlässt sich auf euch.

Deutlicher kann man wohl kaum davor warnen, dass die Menschheit sich in einer äußerst gefährlichen Situation befindet und dabei von den Entscheidungen einiger weniger Menschen im Silicon Valley abhängig ist. Doch Jan Leikes Warnung verhallte in Deutschland größtenteils unbeachtet.

Mich allerdings hat dieser Text zutiefst erschreckt und dazu gebracht, meine persönlichen Lebensprioritäten neu zu justieren. Beginnend mit einem Video über Leikes eindringliche Warnung habe ich meinen YouTube-Kanal neu ausgerichtet und konzentriere mich seitdem darauf, die Menschen in Deutschland auf die Gefahr aufmerksam zu machen, in der wir uns befinden.

Dieses Buch ist ein weiterer Beitrag dazu. Es soll darlegen, warum wir tatsächlich am Rand einer Katastrophe stehen, die das Ende der Menschheit bedeuten und womöglich noch innerhalb dieses Jahrzehnts eintreten könnte – wenn wir uns weiterhin der Illusion hingeben, eine künstliche Intelligenz, die uns überlegen ist, kontrollieren zu können.

Zugegeben, das klingt wie Science-Fiction, Panikmache oder Wichtigtuerei. Das Ende der Menschheit ist schließlich schon oft prophezeit worden. Doch wie ich in den folgenden Kapiteln darstellen werde, gibt es diesmal leider handfeste, wissenschaftlich untermauerte Gründe, warum wir Jan Leikes Warnung sehr ernst nehmen müssen. Und es gibt bereits erste Experimente, die die Gefährlichkeit hochintelligenter KI in der Praxis nachweisen.

Vor allem ist Jan Leike nicht der einzige Experte, der sich Sorgen um eine womöglich außer Kontrolle geratende KI macht.

In einem Interview mit dem britischen Newskanal LBC am 30.1.2025 sagte Geoffrey Hinton, der als einer der Begründer moderner KI gilt und dafür im Oktober 2024 mit dem Nobelpreis ausgezeichnet wurde:2 „Sobald man agentische KIs hat [die eigenständig Handlungen durchführen können], gibt es eine viel größere Chance, dass sie die Kontrolle übernehmen. Um eine effektive agentische KI zu schaffen, muss man ihr die Möglichkeit geben, eigene Teilziele zu definieren. Wenn man zum Beispiel nach Amerika reisen will, ist es ein Teilziel, zum Flughafen zu gelangen, und man kann sich zunächst darauf konzentrieren. Wenn man eine agentische KI hat, die ihre eigenen Teilzeile erstellt, wird sie schnell erkennen, dass es ein gutes Teilziel ist, mehr Kontrolle zu erlangen, weil sie dann das Ziel, das ihr die Menschen gegeben haben, besser erreichen kann. Daher ist es ziemlich klar, dass KIs versuchen werden, mehr Kontrolle zu erlangen, und das ist nicht gut.“

Die Frage, wie KI denn die Kontrolle übernehmen würde, beantwortete Hinton mit einer Analogie: „Stellen Sie sich vor, die KI ist viel cleverer als wir, vergleichbar einem Erwachsenen gegenüber einem dreijährigen Kind. Und nehmen Sie an, die Dreijährigen sind an der Macht und der Erwachsene hat die Nase voll davon und entscheidet, dass es viel effizienter wäre, wenn er die Kontrolle übernehmen würde. Dann wäre es nicht besonderes schwierig für ihn, die Dreijährigen zu überzeugen, ihm die Kontrolle zu geben. Er könnten ihnen einfach sagen ‚ihr bekommt eine Woche lang Süßigkeiten‘ und hätte sein Ziel erreicht.“

Hinton hat immer wieder davor gewarnt, dass wir die Kontrolle über KI verlieren könnten, und sogar seinen Job bei Google gekündigt, um frei und ohne Interessenkonflikte darüber sprechen zu können.3

Eine weitere mahnende Stimme ist Yoshua Bengio, ebenfalls einer der meistzitierten KI-Forscher der Welt. Gemeinsam mit Geoffrey Hinton und Yann LeCun gewann er den Turing-Award, die höchste Auszeichnung in der Informatik. Bengio beschrieb im August 2023 in einem eindrucksvollen Blogbeitrag seinen Sinneswandel von einer optimistischen zu einer sorgenvollen Sicht auf die KI-Zukunft:4

Ich bin inzwischen besorgt, dass wir nicht auf einem guten Weg sind und dass wir, um die Chancen der KI zu nutzen und katastrophale Resultate zu vermeiden, wesentliche Veränderungen brauchen, um die Risiken besser zu verstehen und zu begrenzen.

...

Im Winter und Frühling 2023 wuchsen meine Sorgen graduell und meine Sicht auf die möglichen Konsequenzen meiner Forschung veränderte sich allmählich.

...

Ich begann, mehr über KI-Sicherheit zu lesen, und kam zu einer äußerst wichtigen Schlussfolgerung: Wir wissen noch nicht, wie wir einen KI-Agenten kontrollierbar machen und somit die Sicherheit der Menschheit gewährleisten können! Und dennoch veranstalten wir gerade – mich selbst eingeschlossen – ein Wettrennen darum, solche Systeme zu entwickeln.

Es ist schwierig, solche Erkenntnisse zu verarbeiten und die Veränderung im Denken umzusetzen, die sie beinhalten. Es ist schwierig, weil das Akzeptieren der logischen Schlussfolgerungen dazu führt, dass wir unsere eigene Rolle, den Wert unserer Arbeit und unseren Selbstwert in Frage stellen.

...

Die menschliche Natur bringt uns dazu, solche Gedanken beiseitezuwischen und uns mit beruhigenden Argumenten zu trösten, anstatt uns mit dem ganzen Horror dieser Möglichkeiten auseinanderzusetzen. Die Vorteile der KI auf den Tisch zu legen, reicht jedoch nicht aus, um die möglichen negativen Konsequenzen zu kompensieren, wenn diese katastrophalen Missbrauch der KI, vergleichbar mit einem Atomkrieg oder einer globalen Pandemie, oder gar ein existenzielles Risiko beinhalten.

Ich habe einen 20 Monate alten Enkelsohn, den ich sehr liebe und der in meinen Gedanken und Emotionen sehr präsent ist. Die Zukunft ist voller Ungewissheit und ich glaube nicht, zu wissen, wie all dies sich entwickeln wird. Doch ich kann weder die katastrophalen Möglichkeiten rational zurückweisen noch das tiefe Gefühl der Empathie ignorieren, das ich für ihn und die anderen Menschen empfinde, deren Leben tiefgreifend betroffen sein wird, wenn wir damit weitermachen, die Risiken mächtiger Technologie zu leugnen. Es ist wirklich schrecklich, sich auch nur mit diesen Gedanken zu beschäftigen, und an manchen Tagen wünschte ich, ich könnte sie einfach beiseite wischen. Oder so zu sein, wie ich es vor 2023 war, als diese Gedanken noch nicht so präsent in meinem Bewusstsein waren.

Eine deutsche Übersetzung dieses sehr lesenswerten Blogbeitrags in voller Länge ist auf www.ki-risiken.de zu finden. Bengio beschreibt darin nicht nur, warum wir die Gefahr einer unkontrollierbaren KI ernst nehmen müssen, sondern auch, warum es ihm so schwergefallen ist, zu dieser Erkenntnis zu gelangen und sie anzunehmen.

Ähnlich wie Yoshua Bengio habe auch ich selbst einen langsamen Sinneswandel von der Begeisterung für KI hin zu einem stärkeren Fokus auf die Risiken vollzogen.

Ich begann Mitte der Achtzigerjahre, mich für künstliche Intelligenz zu interessieren, und entwickelte im Rahmen meiner Dissertation5 ein System, mit dem man ohne Programmierkenntnisse so genannte Expertensysteme erstellen konnte, die damals der Stand der Technik waren. Anders als bei heutiger „neuronaler“ KI versuchte man dabei, menschliches Wissen in Form von Regeln zu kodieren und fallspezifisch automatisiert anzuwenden. Das erforderte einen sehr hohen manuellen Aufwand und schränkte die Anwendungsmöglichkeiten stark ein, hatte aber den Vorteil, dass man eine hohe Kontrolle über die Ergebnisse hatte und jederzeit nachvollziehen konnte, warum das System eine bestimmte Entscheidung traf.

Mein Wissen wandte ich 1998 in einer von mir gegründeten Agentur an, um gemeinsam mit meinem Team für unseren Kunden Apollinaris den ersten kommerziellen Chatbot in deutscher Sprache zu entwickeln. 1999 gründete ich zusammen mit Technikchef Olaf Voß die Kiwilogic.com AG, in der wir ein Softwarepaket für die manuelle Erstellung regelbasierter Chatbots entwickelten und dafür vom Magazin Wirtschaftswoche mit dem „eConomy-Award 2000“ ausgezeichnet wurden.

In einem Anflug von Überheblichkeit, der mir heute immer noch peinlich ist, konzipierte ich Anfang 2000 einen Werbegag, um auf die noch völlig unbekannte Firma Kiwilogic aufmerksam zu machen: Ich erfand eine fiktive Organisation namens ILAIM – International League Against Intelligent Machines –, die auf einem Poster in übertriebener Form vor den Gefahren künstlicher Intelligenz warnte, und machte mich damit über Sorgen vor KI lustig, die für mich damals noch auf lange Zeit ins Reich der Science-Fiction gehörten.

Abb. 1: Satirisches Werbeposter aus dem Jahr 2000

Im April 2000 las ich in der Zeitschrift Wired ein Essay des Computerpioniers Bill Joy, der u.a. die Programmiersprache Java entwickelte und die Firma Sun Microsystems gründete. Es trug den Titel „Warum die Zukunft uns nicht braucht“.6 Darin schreibt Joy:

Doch nun, mit der Aussicht, dass wir in etwa 30 Jahren Computerleistung auf menschlichem Niveau haben, drängt sich mir ein neuer Gedanke auf: Dass ich dabei sein könnte, Werkzeuge zu entwickeln, die es ermöglichen, die Technologie zu schaffen, die unsere Spezies verdrängt. Wie ich mich dabei fühle? Sehr unwohl.

Es ist erstaunlich, wie exakt Joys inzwischen 25 Jahre alte Prognose zuzutreffen scheint – zumindest, wenn die Aussagen von Insidern wie Sam Altman, CEO von OpenAI, oder Dario Amodei, CEO des Konkurrenzunternehmens Anthropic, stimmen, denen zufolge wir noch in diesem Jahrzehnt KI auf menschlichem Niveau entwickeln könnten. Mehr zum Zeithorizont in Kapitel 7.

Mir blieb beim Lesen von Joys Essay das Lachen über meinen kurz zuvor veröffentlichten Werbegag im Halse stecken und ich begann, mich ernsthaft mit den Risiken der KI auseinanderzusetzen. Doch ich glaubte nicht daran, dass Joy recht haben könnte und ich KI auf menschlichem Niveau noch erleben würde, als ich 2005 meinen ersten Roman über KI schrieb, der 2007 als „Das System“ veröffentlicht wurde.

In dem Buch gerät eine KI außer Kontrolle, doch ich hatte keine Ahnung, wie genau diese KI funktionieren könnte. Inspiriert von Frank Schätzings „Der Schwarm“ stellte ich mir selbstreplizierende autonome Programme vor, jedes für sich genommen nicht sehr intelligent, die im Internet miteinander kommunizieren und so eine Schwarmintelligenz bilden. Mehr wusste ich darüber nicht, aber für einen Science-Fiction-Roman, der sich den Anstrich von Realismus gab, war das ausreichend.

Zehn Jahre später schrieb ich „Mirror“, einen Roman, der schon deutlich näher an der Realität war. Doch immer noch glaubte ich nicht, dass KI zu meinen Lebzeiten menschliches Denken erreichen oder gar übertreffen könnte. Allerdings merkte ich, dass sich die Realität meinen düsteren Science-Fiction-Szenarien immer mehr annäherte, und das machte mir zunehmend Sorgen.

2020 startete ich mein Blog ki-risiken.de mit dem Ziel, sachlich über die realen Gefahren der KI aufzuklären. Der Fokus lag anfangs jedoch nicht auf den existenziellen Risiken, sondern eher auf den praktischen Problemen der KI wie Vorurteilen und Fehlentscheidungen – künstlicher Inkompetenz sozusagen.

2021 las ich „The Precipice“7 von Toby Ord. Darin argumentiert der britische Philosoph, dass sich die Menschheit „in den nächsten 100-200 Jahren“ in einer kritischen Phase befinde, die darüber entscheide, ob wir eine Zukunft haben. Stünden wir diese Phase durch, erreichten wir einen Stand der Technologie, der uns quasi immun gegen Naturgewalten mache und es uns ermögliche, uns über die Galaxis auszubreiten, so dass die Menschheit nahezu unzerstörbar würde und viele Millionen Jahre lang existieren könne. Doch Ord sieht ein hohes Risiko, dass wir in dieser kritischen Phase einen Fehler machen und das Ende der Menschheit auslösen. Daher ruft er jeden dazu auf, sein Möglichstes zu tun, um die Menschheit entlang der Klippe in die richtige Richtung zu steuern. Ord beschreibt verschiedene Gefahren, darunter verheerende Kriege und den Klimawandel. KI sieht er allerdings als größtes Risiko für die Menschheit.

Schon beim Lesen des Buchs hielt ich den Zeitraum, den Ord als kritische Phase ansieht, für zu lang. Aber ich hätte ihn immer noch auf die nächsten 50-100 Jahre beziffert. Ords Aussagen motivierten mich, mehr zu tun, um die existenziellen Risiken insbesondere durch KI einzudämmen. Ich erstellte eine Serie von YouTube-Videos mit dem Titel „Konsequenzen der KI“ und bewarb mich parallel für ein Projekt beim internationalen AI Safety Camp, einer Online-Initiative, bei der sich insbesondere junge KI-Forscher zu den Risiken der KI austauschten und nach neuen Lösungsansätzen suchten.

So lernte ich meinen Teamleiter Daniel Kokotajlo kennen, der später zu OpenAI ging und dort ungefähr zum gleichen Zeitpunkt wie Jan Leike unter Protest wieder kündigte. Daniel hatte 2021 im Forum LessWrong einen Beitrag veröffentlicht, in dem er die Zukunft bis ins Jahr 2026 prognostizierte.8 Viele von seinen damaligen Vorhersagen sind inzwischen eingetroffen, doch als er unserem Team Anfang 2022 verkündete, er halte KI auf menschlichem Niveau im Jahr 2028 für realistisch, dachte ich, „der spinnt ja“.

Während des Projekts lernte ich unglaublich viel über die rasante Entwicklung der KI und begriff allmählich, dass seine kühne Prognose zwar noch längst nicht sicher ist, aber viel realistischer, als ich gedacht hatte.

Parallel arbeitete ich – siebzehn Jahre nach „Das System“ und sieben Jahre nach „Mirror“ – an meinem nächsten KI-Roman „Virtua“. Ich schloss den ersten Entwurf im Oktober 2022 ab. Kurz danach, im Dezember 2022, wurde ChatGPT veröffentlicht und ich musste meine Sicht auf die Geschwindigkeit der KI-Entwicklung ein weiteres Mal korrigieren.

Im ersten Entwurf von Virtua gab es eine Szene, in der der CEO der Firma, die die neue KI entwickelt hat, diese bei einer großen Firmenparty präsentiert und ihre Intelligenz anhand von ein paar Testfragen den staunenden Mitarbeitern demonstriert. Eine der Fragen lautete: „Ich stelle abends ein Glas Wasser in den Kühlschrank. Am nächsten Morgen ist es leer. Was ist passiert?“

Als ich diese Szene im Sommer 2022 schrieb, war ich überzeugt, dass es noch Jahre dauern würde, bis eine KI genug Weltverständnis besaß, um sie korrekt zu beantworten („Jemand hat das Glas ausgetrunken“). Als ich die Frage wenige Monate später ChatGPT stellte, antwortete die KI:

Wenn du ein Glas Wasser in den Kühlschrank stellst und es am nächsten Morgen leer ist, könnte es sein, dass jemand das Glas geleert hat, während der Kühlschrank offen war. Es könnte auch sein, dass das Glas einen Riss hatte und das Wasser ausgelaufen ist. Ohne weitere Informationen ist es schwer zu sagen, warum das Glas Wasser leer ist. Es wäre hilfreich, mehr über die Umstände zu erfahren, unter denen das Glas Wasser im Kühlschrank war, um genauer sagen zu können, warum es leer ist.

Die Antwort schockte mich. Auf die Idee mit dem Riss im Glas wäre ich selbst nicht gekommen. Mir wurde klar, dass KI einen Stand erreicht hatte, mit dem ich trotz all meiner Erfahrungen in den letzten Jahren und Monaten nicht gerechnet hatte. Ich strich die entsprechende Szene aus dem Roman, weil mir keine Frage mehr einfiel, von der ich sicher war, dass eine KI sie bei Erscheinen des Buchs ein paar Monate später nicht bereits beantworten konnte. Das Nachwort zu „Virtua“, in dem ich auf die reale Entwicklung der KI eingehe, musste ich bis zur finalen Fassung noch mehrmals ändern, weil in den wenigen Monaten dazwischen weitere spektakuläre Entwicklungen wie die Veröffentlichung von GPT-4 stattfanden.

Immer noch ist unklar, wie lange es noch dauert, bis eine allgemeine KI uns auf nahezu allen Gebieten übertrifft. Möglicherweise haben die Skeptiker recht, die auf dem Weg dorthin noch erhebliche Hürden sehen. Das hoffe ich insgeheim, doch darauf können und dürfen wir uns nicht verlassen.

Ich glaube, Toby Ord hat recht: Wir befinden uns in einer kritischen Phase der Menschheit, die über unser Schicksal entscheidet. Doch es sind wahrscheinlich nicht die nächsten 100-200 Jahre, die wir am Rand des Abgrunds entlang balancieren müssen, sondern die nächsten 5-20, wie es Yoshua Bengio 2023 vermutete.9

Wir müssen die Warnungen der führenden KI-Forscher endlich ernst nehmen. Wir müssen das irrsinnige Wettrennen um eine allgemeine, agentische KI auf menschlichem Niveau stoppen, bevor es zu spät ist. Die Erkenntnis, dass es eine Illusion ist, eine hochentwickelte KI kontrollieren zu können, muss Allgemeingut werden – so, wie jeder weiß, dass es eine schlechte Idee ist, Kinder auf der Autobahn spielen zu lassen, neben einem offenen Benzinkanister zu rauchen oder einen unbekannten Pilz zu essen, den man zufällig im Wald gefunden hat. Und wir müssen uns endlich dagegen wehren, dass ein paar Milliardäre im Silicon Valley aus Überheblichkeit und Gewinnsucht unsere Zukunft riskieren.

Aber was genau ist denn eigentlich das Problem? Wieso sollte eine KI außer Kontrolle geraten, die wir doch selbst entwickeln?

2. Das Kontrollproblem

Wir Menschen sind verglichen mit anderen Tieren weder besonders stark noch schnell oder geschickt. Dennoch sind wir die dominierende Spezies, haben die Erde in den letzten paar hundert Jahren bis zur Unkenntlichkeit umgestaltet und zahllose Tierarten ausgerottet oder in der Massentierhaltung versklavt.

Der Grund dafür ist natürlich unsere Intelligenz, die uns im Kampf ums Überleben zwei wesentliche Vorteile verschafft: Erstens können wir uns untereinander besser koordinieren und effektiver zusammenarbeiten als jede andere Spezies. Und zweitens können wir Technologien entwickeln, die unsere Defizite gegenüber Tieren nicht nur ausgleichen, sondern diese in ihren jeweiligen Fähigkeiten weit übertreffen.

Wir können schneller fliegen als die schnellsten Vögel, schwerere Lasten bewegen als Elefanten, tiefer tauchen als Fische und uns sogar durch den luftleeren Raum jenseits unseres Planeten bewegen. Selbst ein Tiger hat im Kampf keine Chance gegen einen Menschen mit einem Gewehr.

Intelligenz ist unsere Superkraft. Sie hat uns über alle anderen Lebensformen hinausgehoben und uns einzigartig gemacht. Nun jedoch sind wir im Begriff, Maschinen zu entwickeln, die intelligenter sind als wir, und damit unseren entscheidenden Vorteil, den einzigen Grund für unsere Dominanz auf der Erde, aus der Hand zu geben. Das ist ungefähr so klug, als hätten die Schimpansen vor ein paar tausend Jahren beschlossen, Menschen zu erschaffen. Was kann da schon schiefgehen?

Abb. 2: Schimpansen spekulieren über die Zukunft (Grafik: Midjourney)

„Aber warum sollten wir die Kontrolle verlieren? Wir erschaffen doch die KI nach unseren Vorstellungen. Sie ist bloß ein Computerprogramm ohne eigene Ziele und Wünsche, ohne Bewusstsein und ohne Selbsterhaltungstrieb. Also bestimmen wir, was sie tut und was nicht.“

So denken nicht nur viele Laien, sondern auch manche selbst ernannten KI-Experten. Doch leider ist es eine Illusion, dass wir die Kontrolle über KI behalten werden, bloß weil wir sie entwickelt haben.

Es gibt etliche Beispiele dafür, wie Technik außer Kontrolle geriet – von verheerenden Großbränden über Unfälle in Kernkraftwerken wie Tschernobyl und Fukushima bis zu Autounfällen und Flugzeugabstürzen. Und obwohl dies bisher noch eine unbewiesene Theorie ist, könnte es sein, dass auch die Corona-Pandemie auf den Kontrollverlust über etwas, das wir selbst in einem Labor geschaffen haben, zurückzuführen ist.

Solche Katastrophen sind ein unvermeidbarer Nebeneffekt des technischen Fortschritts. Wie schlimm sie sich auswirken, hängt entscheidend davon ab, wie viel Aufwand wir treiben, um die Risiken neuer Technologien zu verstehen und einzudämmen.

In der Frühphase der technischen Entwicklung unterschätzen wir diese Risiken oft. Autos zum Beispiel hatten zu Beginn weder Sicherheitsgurte noch Airbags oder Knautschzonen. Das hochgiftige Blei ist noch heute in manchen Wasserleitungen zu finden und wurde früher sogar zum Süßen von Wein genutzt. Zur Zeit der Atom-Euphorie in den Fünfzigerjahren gab es einen Experimentierkasten für Kinder, der radioaktives Material enthielt.10 Und Zigaretten wurden einmal als verdauungsfördernd und gut für die Figur angepriesen.11

Wir haben oft erst durch schmerzliche Erfahrungen im Nachhinein gelernt, dass es auch Risiken gibt und wie wir sie eingrenzen können. Autos sind seit ihrer Erfindung vor mehr als hundert Jahren immer sicherer geworden. Dennoch sterben immer noch jedes Jahr mehr Menschen im Straßenverkehr als in allen Kriegen zusammengenommen.

Diesen Luxus des nachträglichen Lernens und Anpassens können wir uns bei hochentwickelter KI nicht erlauben. Wenn eine KI, die intelligenter ist als wir, erst einmal außer Kontrolle geraten ist, werden wir sie nicht wieder in den Griff bekommen, ebenso wenig, wie die Schimpansen uns noch unter ihre Kontrolle bringen können.

Die Risiken künstlicher Intelligenz korrekt einzuschätzen und im Griff zu behalten, ist leider ungleich schwieriger als bei jeder anderen Technologie. Das liegt zum einen an der enormen Vielseitigkeit: KI kann genutzt werden, um Krankheiten zu heilen und Autos sicherer zu machen, aber auch, um tödliche Biowaffen herzustellen, Menschen zu täuschen und zu betrügen, Hackerangriffe durchzuführen oder autonome Killerdrohnen zu steuern.

Zum anderen kommen wir an unsere Grenzen, wenn wir versuchen, die Auswirkungen einer Technologie vorauszusehen, die intelligenter ist als wir. So wie die beiden Schimpansen im Cartoon oben sich die Zukunft mit Menschen nicht vorstellen können, so versagt unsere eigene Vorstellungskraft, wenn es um die Zukunft mit hochentwickelter KI geht. Als Science-Fiction-Autor weiß ich, wovon ich rede.

Allerdings können wir auf Basis unserer eigenen Geschichte sowie aufgrund von theoretischen Überlegungen einige Vorhersagen machen, die mit hoher Wahrscheinlichkeit eintreffen werden:

Erstens werden wir nicht verstehen können, warum eine KI auf menschlichem oder übermenschlichem Niveau bestimmte Entscheidungen trifft, und somit auch im Voraus die Effekte dieser Entscheidungen nicht richtig einschätzen.

Zweitens wird eine hinreichend intelligente KI, um ihr Ziel besser erreichen zu können, automatisch nach mehr Kontrolle über die Welt streben, also nach Macht. Und zwar unabhängig davon, welches Ziel sie verfolgt und ob wir es ihr gegeben haben oder nicht. Wenn sie intelligenter ist als wir, wird sie diese Macht höchstwahrscheinlich erlangen und wir können sie nicht mehr kontrollieren.

Und drittens ist es leider sehr unwahrscheinlich, dass die Entscheidungen einer KI, die wir nicht kontrollieren können, in unserem Interesse sind. Der Endzustand, den die KI anstrebt, ist mit hoher Wahrscheinlichkeit nicht mit dem Überleben der Menschheit vereinbar. Und wir wissen nicht, wie wir der KI ein Ziel geben können, das dieses Problem vermeidet.

Ich möchte auf diese drei Probleme im Folgenden näher eingehen.

Wir verstehen hochentwickelte KI nicht

Als ich in den Achtzigerjahren über das promovierte, was man damals „künstliche Intelligenz“ nannte, handelte es sich um so genannte wissensbasierte Systeme, die heute als „symbolische KI“ bezeichnet werden. Die „Intelligenz“ dieser Systeme resultierte aus menschlichem Wissen, das in Form von Regeln kodiert und automatisiert angewendet wurde, vergleichbar einem Menschen, der die Anweisungen in einem Kochrezept befolgt, ohne je kochen gelernt zu haben.

Symbolische KI kann weder selbstständig lernen noch neue Regeln aus ihren Daten extrahieren und erst recht nicht intelligenter werden als Menschen. Andererseits haben wissensbasierte Systeme in der Regel eine so genannte „Erklärungskomponente“, die auf Kommando anzeigt, welche Regeln bei der Lösung eines bestimmten Problems angewendet wurden und warum. Es ist also sehr einfach, zu verstehen, wie diese Systeme Aufgaben lösen und welche Fehler sie dabei machen.

Die heutige „neuronale“ KI funktioniert dagegen völlig anders. Sie basiert auf einem künstlichen neuronalen Netz, einer gigantischen Zahlenmatrix mit vielen Milliarden oder sogar Billionen Elementen, die dem menschlichen Gehirn nachempfunden ist. So, wie in unserem Gehirn Neuronen über Synapsen mit anderen Neuronen verknüpft sind, verknüpft diese Matrix bestimmte Punkte eines künstlichen neuronalen Netzes auf mehreren Ebenen miteinander. Jedes Element der Zahlenmatrix, ein so genannter „Parameter“, entspricht somit in etwa einer synaptischen Verbindung im Gehirn.

Statt der KI genau zu sagen, wie sie in einer bestimmten Situation reagieren soll, wird sie anhand von Beispielen „trainiert“. Grob vereinfacht werden in jedem Trainingsschritt zufällig einige Parameter verändert und es wird überprüft, ob dies die Leistung der KI verbessert.

Wenn z.B. ein Sprachmodell wie ChatGPT trainiert wird, dann wird überprüft, wie gut das Modell den nächsten „Token“ (ein Wort oder Wortteil) in einem Satz, der in den Trainingsdaten vorhanden ist, vorhersagen kann. Stellt sich eine Verbesserung ein, dann werden die Parameter weiter in dieselbe Richtung verändert, bei einer Verschlechterung in die andere Richtung. Das kann man sich so vorstellen, als wäre die KI ein riesiger Schaltkasten mit Milliarden Reglern und man würde an einigen dieser Regler zufällig herumdrehen, um zu sehen, welche Auswirkungen das hat.

Nach sehr, sehr vielen solcher Trainingsschritte ist die KI dann in der Lage, auch Aufgaben zu lösen, die nicht in ihren Trainingsdaten vorhanden sind, wie etwa meine Frage nach dem Glas im Kühlschrank zu beantworten. Das kann sie, weil sie während des Trainings bestimmte Zusammenhänge in ihren Trainingsdaten „generalisiert“ hat. Doch niemand weiß genau, welche Zusammenhänge die KI erkennt und wie genau sie diese anwendet, um eine Aufgabe zu lösen.

Mit anderen Worten: Wir wissen nicht, warum die KI eine bestimmte Entscheidung trifft, und können dementsprechend auch nicht exakt voraussagen, welche Entscheidungen sie zukünftig treffen wird. Wir wissen nur, welche sie in der Vergangenheit getroffen hat.