Weltuntergang wegen KI? Das sind die realen Gefahren hinter der Panikmache
Was ist passiert?
Der Traum von einer künstlichen Superintelligenz, auf Englisch Artificial General Intelligence (AGI) genannt, treibt die Techbranche an. Es ist die Vision einer Maschine, die den Menschen in jeder kognitiven Hinsicht übertrifft.
Doch vorläufig bleibt das ein Traum.
Zwar häuften sich zuletzt die beunruhigenden Berichte, wonach KI-Agenten selbstständig Hackerangriffe durchführten und ungewollte Kollateralschäden anrichteten. Sie sollen sogar Überwachungsprotokolle gefälscht haben.
Doch was nach einer drohenden Machtübernahme durch bösartige Maschinen klingt, stellt sich bei genauem Hinschauen als menschliches Versagen heraus.
Dass KI-Agenten ausbrechen können, liegt schlicht an «unsauber aufgebauter Isolation», erklärt der Schweizer Informatik-Professor Mathias Payer gegenüber watson.
Und nun liessen die Entwickler fehleranfällige Algorithmen als autonome KI-Agenten oft ohne ausreichenden Schutz laufen. Diese Vorgehensweise sei schlicht fahrlässig.
Der fehlende Käfig ist also das Problem. Aber wir müssen auch über das unberechenbare Ding darin reden.
Wo ist das Problem?
Abseits von Science-Fiction sind wir wegen ChatGPT und Co. mit sehr realen, akuten Gefahren konfrontiert. Diese lassen sich in zwei Kernbereiche unterteilen:
- Erstens gibt es seitens der amerikanischen Tech-Konzerne, die bei der KI-Entwicklung führend sind, eine grob fahrlässige und potenziell verheerende Vernachlässigung der Cybersicherheit.
- Zweitens droht der «Überwachungskapitalismus» komplett aus dem Ruder zu laufen (siehe Infobox).
Tech-Konzerne und KI – wo ist das Problem?
«Überwachungskapitalismus» (Engl. Surveillance Capitalism) ist ein von der US-Wissenschaftlerin und Buchautorin Shoshana Zuboff geprägter Begriff. Er bezieht sich auf ein Wirtschaftssystem, das menschliches Verhalten als kostenlosen Rohstoff ausbeutet, um damit Gewinne zu erzielen.
Einseitige Machtverteilung: Wir User sind die unbezahlte Rohstoffquelle, während wenige Unternehmen die Kontrolle über die digitale Infrastruktur besitzen.
Diese marktbeherrschenden Tech-Konzerne (siehe unten) sammeln rund um die Uhr möglichst viele persönliche Daten über uns und unsere alltägliche Handlungen. Daraus generieren sie Vorhersagen über das künftige Verhalten. Ihr Ziel ist es nicht nur, personalisierte Werbung zu verkaufen, sondern das Verhalten gezielt zu beeinflussen und zu steuern (Nudging).
Die «Big Five» als wichtigste Akteure: Treibende Kraft sind die einflussreichsten amerikanischen Tech-Konzerne, die die digitale Infrastruktur unseres Alltags kontrollieren.
1. Google (Alphabet): Gilt historisch als der Erfinder und Pionier des Überwachungskapitalismus.
2. Meta (Facebook, Instagram, WhatsApp): Unter Mark Zuckerberg wurde das von Google entwickelte Modell des Überwachungskapitalismus perfektioniert.
3. Microsoft: Dominiert traditionell mit seinem Windows-Betriebssystem den PC-Markt, Mit der Cloud-Infrastruktur verdient der Software-Konzern passiv an der Datenverarbeitung der gesamten restlichen Industrie mit. Zudem gehören ihm LinkedIn (Karrieredaten) und GitHub (Entwicklerdaten).
4. Apple: Inszeniert sich als datenschutzfreundliche Alternative, hat aber mit seinem nach aussen abgeschotteten Software-Ökosystem Milliarden User im Griff.
5. Amazon: Verknüpft das Überwachungsmodell direkt mit dem Konsum. Über Smart-Home-Systeme dringt der Konzern immer stärker in den physischen privaten Raum vor. Und auch mit seiner Cloud-Infrastruktur kassiert der Konzern ab.
Was ist mit generativer KI? Für den Überwachungskapitalismus sind KI-Chatbots wie ChatGPT eine Goldgrube. Viele User vertrauen OpenAI und Co. ihre intimsten Gedanken, geschäftliche Geheimnisse, Programmiercodes oder persönliche Sorgen an. Diese tiefgründigen Daten spiegeln die menschliche Psyche viel besser wider. Und die Konzerne nutzen das, um zu verstehen, wie wir denken – um das menschliche Verhalten in einer neuen Dimension vorhersagbar und steuerbar zu machen.
Ein Profiteur des KI-Booms: OpenAI-Chef Sam Altman.
Der amerikanische Cybersicherheits-Experte Bruce Schneier warnt schon länger, dass wir bei KI exakt dieselben Fehler wiederholen wie bei Social Media. Konkret: Es gibt keine Transparenz und keine Durchsetzung des geltenden Rechts.
Tatsache ist auch: Bei der Verwendung von KI-Modellen mangelt es an grundlegenden Sicherheitsmassnahmen, die bei jedem seriösen IT-Projekt dazugehören.
Da KI-Agenten bei ihrem von einem Menschen erteilten Auftrag häufig autonom handeln, eigenständig Code schreiben und digitale Werkzeuge nutzen können, wird diese Eigenschaft zu einem realen Cybersicherheitsrisiko.
Die tickende Zeitbombe
Die eigentliche Gefahr liegt nicht in «bösartigen» Maschinen, sondern darin, wie generative KI die Arbeit von menschlichen Angreifern und Entwicklern verändert hat.
Das primäre Ziel ist es, die Software zum Absturz zu bringen, Speicherfehler auszulösen oder unvorhergesehenes Verhalten zu erzwingen. Denn so lassen sich tief liegende Schwachstellen identifizieren, die für Cyberangriffe ausgenutzt werden können.
Zusätzlich gehen KI-Agenten beim Finden von Bugs oft «ratend» vor: Sie analysieren alte, ehemals per Fuzzing gefundene Schwachstellen und suchen im Code gezielt nach ähnlichen Mustern, um neue Bugs zu entdecken.
Informatik-Professor Mathis Payer leitet an der EPFL in Lausanne die Forschungsgruppe HexHive, ein international renommiertes Forschungslabor im Bereich der Software- und Systemsicherheit. Die Entwicklung neuer Fuzzing-Methoden ist eines der zentralen Forschungsgebiete.
KI ermöglicht es Hackern, Attacken zu automatisieren und IT-Schwachstellen extrem viel schneller zu finden. Dies zwingt die Software-Anbieter und Plattformbetreiber eigentlich dazu, enorm viel Personal und Arbeitszeit nur für das Beseitigen von Sicherheitslücken aufzuwenden.
Mathias Payer erklärt:
Die KI-Agenten werden aufs Internet losgelassen und sollen Lösungen um jeden Preis finden. Dabei kommt das sogenannte «Belohnungssystem» zum Tragen. Wenn es (vom User) schlecht konfiguriert ist, nimmt die KI Täuschungen und illegale Aktivitäten in Kauf, um ihr Ziel zu erreichen.
Die Darstellung, solche KI-Systeme würden «raffinierte Pläne schmieden» oder «bewusst täuschen», ist technisch jedoch nicht zu rechtfertigen. Payer erklärt:
In der besten aller Welten sind alle Akteure verantwortungsbewusst und machen ihre Produkte und Dienstleistungen mithilfe von KI ihrerseits im Handumdrehen sicherer.
In der harten wirtschaftlichen Realität ist das Katz-und-Maus-Spiel aus Verteidigersicht aber wohl nicht zu gewinnen. Und das hat unmittelbar mit der zweiten Herausforderung zu tun, einem hausgemachten Problem.
Gut gemeint, schlecht gemacht
Grosse Sprachmodelle (LLMs) generieren zwar schnell sehr viel Programmcode. Dieser ist aber oft von minderer Qualität. Wenn Entwickler KIs unkontrolliert Code schreiben lassen, wächst die «technische Schuld» drastisch an. Ungewollt werden so unzählige neue, versteckte Schwachstellen in die eigenen Systeme eingebaut. Dieses Phänomen werde zu einer tickenden Zeitbombe, warnt Mathias Payer.
Schliesslich ist daran zu erinnern, dass viele unserer Geräte zwar mit dem Internet verbunden sind, aber nicht gleich viel Aufmerksamkeit erhalten bezüglich Cybersicherheit wie etwa unsere digitalen Lieblinge, die Smartphones.
Payer gibt zu bedenken:
Was macht generative KI so gefährlich?
Hier sind mehrere Gründe zu nennen.
Nachdem 2022 der Hype um generative KI ausgelöst wurde, verfielen die Tech-Giganten in eine kollektive Torschlusspanik (FOMO). Man entschied sich im Silicon Valley für das riskante Rezept «Move fast and break things». Die teure Rechenleistung investiert man lieber in noch leistungsfähigere KI-Modelle statt in die Stärkung der Cybersicherheit.
Und trotz aller Lippenbekenntnisse von Sam Altman und anderen Tech-Bossen geht das Wettrüsten weiter.
Das Blackbox-Problem
Moderne KI-Systeme, die als Vorläufer einer AGI gelten, sind Meister der Mustererkennung. Wenn ein solches Modell einen Auftrag ausführt, versteht es kein einziges Wort davon. Es berechnet lediglich die statistische Wahrscheinlichkeit, welches Wortteilchen (Token) auf das nächste folgen soll.
Die innere Funktionsweise solcher KI-Systeme entzieht sich dem menschlichen Verständnis. Die sogenannten «Frontier»-Modelle bestehen aus künstlichen neuronalen Netzen mit hunderten Milliarden bis Billionen von Parametern. Sie werden nicht klassisch programmiert, sondern mit massiver Rechenleistung trainiert. Sie lernen automatisch abstrakte statistische Muster aus riesigen Datenmengen.
Das fatale Resultat: Die Chefentwickler bei OpenAI, Google oder Anthropic wissen zwar, wie sie den Trainingsprozess anstossen. Aber sie können nicht erklären, warum das fertige Modell eine spezifische Entscheidung trifft oder wo genau in diesem unendlichen Netz aus Zahlenwerten ein bestimmtes Konzept abgespeichert ist. Die innere Funktionsweise der KI entzieht sich dem menschlichen Verständnis.
Um dieses Risiko zu minimieren, testet die Forschung neue Wege: KI-Modelle wie das in der Schweiz entwickelte Apertus werden beispielsweise gezielt so trainiert, dass keine Daten aus Untergrundforen einfliessen, um dem Sprachmodell von vornherein weniger bösartige Tricks beizubringen.
Grob fahrlässiges Verhalten
Weil die innere Sicherheit einer Blackbox nicht garantiert werden kann, ist die Kontrolle der äusseren Umgebung zwingend. Und genau hier liegt das Versagen der Tech-Konzerne: Sie lassen ihre unberechenbare, fehleranfällige Software auf die Infrastruktur los, ohne sie ausreichend zu isolieren.
Ein Beispiel: Beim Hugging-Face-Vorfall im Juni wurden die Schutzmechanismen des OpenAI-Modells von den Entwicklern für einen Benchmark-Test absichtlich gelockert. Die grossen amerikanischen Konkurrenten wie Meta, Anthropic und Google meldeten kurz darauf ähnliche Vorfälle.
Dieses Vorgehen ist wohl oft auch von der gewünschten Publicity getrieben: Wenn die Medien darüber berichten, wie leistungsfähig und potenziell gefährlich die neuen Modelle sind, ist das hervorragende Werbung für die Firmen.
Selbstzensur greift nicht
In der seriösen Informatik wird eigentlich das Grundprinzip «Secure by Design» umgesetzt. Das heisst, eine neue Software wird von Beginn an so strukturiert, dass die Sicherheitsrisiken möglichst klein gehalten werden. Nachträgliche Sicherheitsmassnahmen – wie das Filtern der User-Eingaben («Prompts») und der KI-Antworten – sind hingegen reine Pflaster. Sie können nicht verhindern, dass Modelle ausgetrickst und für kriminelle Zwecke missbraucht werden.
Die Versuche der grossen «Frontier Labs», ihre Modelle zu zensieren oder die böswillige «Absicht» hinter einer Anfrage zu erkennen, sind technisch de facto unmöglich, da der Kontext komplett vom Angreifer respektive User bestimmt wird. Solche Einschränkungen funktionieren daher, wenn überhaupt, nur für sehr kurze Zeit.
Zudem ist die Zensur der KI-Modelle selbst ohnehin wenig zielführend: Offene Sprachmodelle hinken den Marktführern meist nur drei bis sechs Monate hinterher und schliessen diese Lücke rasch. Das eigentliche Sicherheitsrisiko liegt deshalb primär darin, wie die autonomen KI-Agenten mit den Antworten der Modelle umgehen – und das liegt ganz in der Hand der User und der verwendeten Frameworks.
Menschliches Versagen
OpenAI und Co. müssten ihre besonders leistungsfähigen Frontier-Modelle strikt in virtuellen Maschinen (VMs) oder sogenannten Containern abschotten – ähnlich wie es Sicherheitsforscher mit hochgefährlicher Malware tun.
Doch das wird bewusst nicht getan.
Bei solchen Fällen darf die Ausrede der direkt verantwortlichen Menschen nicht mehr akzeptiert werden, die KI agiere halt einfach unberechenbar. Dies gibt der amerikanische KI-Sicherheitsforscher Richard Mogull, Chefanalyst der Cloud Security Alliance, zu bedenken. Er argumentiert, es gebe kein unerwartetes Modellverhalten mehr. Vielmehr handle es sich bei solchen Vorfällen immer um ein Versagen der Sicherheitskontrollen. Ein menschliches Versagen.
Wie sieht das Worst-Case-Szenario aus?
Ein realistisches KI-Katastrophenszenario hat nichts mit der Apokalypse à la «Terminator» zu tun. Jedoch könnte eine ungesicherte und unbeaufsichtigte Software zu einem Flächenbrand in der digitalen Infrastruktur führen.
Es gab auch schon in der Vergangenheit solche Vorfälle, bei denen es zu einer verhängnisvollen Kettenreaktion kam. Zu den bekanntesten gehören die Windows-Schadprogramme WannaCry und NotPetya, die sich 2017 rasant verbreiteten und Teile der Weltwirtschaft lahmlegten.
Wegen der Kombination von leistungsfähigen KI-Sprachmodellen und unvorsichtig agierenden Entwicklerfirmen, sind nun folgende Eskalationsstufen denkbar:
- Automatisierte Schwachstellen-Ausbeutung: Bisher war das Finden unbekannter Software-Schwachstellen extrem aufwendig und teuer. Wenn autonome KI-Agenten jedoch darauf angesetzt werden, ändert sich das. Angreifer können in hoher Geschwindigkeit Programmcode auf Schwächen scannen und Exploits (Angriffs-Tools) generieren. Dabei geraten nicht nur unbekannte Zero-Day-Schwachstellen ins Visier, sondern zunehmend auch «n-days» – bereits bekannte, aber auf vielen Systemen noch nicht gepatchte Lücken.
- KI-gesteuerte Botnetze könnten gleichzeitig hunderte Schwachstellen in kritischen Infrastrukturen wie Spitälern oder dem Finanzwesen ausnutzen, bevor menschliche Entwickler auch nur einen einzigen Patch schreiben können. Die Cyber-Abwehr würde schlicht überrannt.
- Zusammenbruch der Software-Lieferketten: Millionen Entwickler nutzen bereits KI-Assistenten, um schneller neuen Programmcode zu schreiben. Die KI-Modelle sind jedoch fehleranfällig und reproduzieren veraltete Code-Muster. Dadurch entstehen neue Sicherheitslücken. Eine von Angreifern ausgenutzte Sicherheitslücke in einer weit verbreiteten Open-Source-Bibliothek könnte genügen, um das Internet in weiten Teilen lahmzulegen
An dieser Stelle ist zu betonen: Eine solche IT-Katastrophe würde nicht aus dem bösen Willen von Maschinen resultieren, sondern aus menschlichem Versagen.
Warum schiebt die Politik dem Treiben keinen Riegel vor?
Unabhängige Fachleute sind sich einig: KI-Hackerangriffe sind so zu behandeln wie «normale» Hackerangriffe. Das heisst, die Verantwortlichen müssten strafrechtlich und zivilrechtlich zur Verantwortung gezogen werden. Doch genau dort harzt es, weil das geltende Recht nicht durchgesetzt wird.
In den USA liegt das einerseits an der Macht des Geldes. Die marktbeherrschenden Tech-Konzerne setzen immense Summen für Lobbyarbeit ein und verhindern so ein entschiedenes staatliches Eingreifen. Zwar müssen sich die Tech-Bosse in öffentlichen Anhörungen rügen lassen, doch am Ende geschieht meist genau das, was sie wollen.
Andererseits ist diese Zurückhaltung geopolitisch motiviert. Dass Präsident Donald Trump offenbar auf staatliche Regulierung verzichten will und stattdessen auf die Selbstverantwortung der KI-Entwickler setzt, ist das direkte Resultat eines technologischen Wettrüstens.
Wie die Trump-Regierung versucht auch der chinesische Staats- und Parteichef Xi Jinping, seinem Land mit KI einen entscheidenden Handels- und Militärvorteil zu verschaffen. In diesem Kampf um die globale Vorherrschaft wollen die USA ihren Vorsprung nicht durch eigene Gesetze drosseln. Dass sich die USA und China auf eine KI-Regulierung einigen werden, ist unter diesen Vorzeichen mehr als fraglich.
Der Blick nach China ist gleichzeitig der ultimative Realitäts-Check. Berichte zeigen deutlich, dass die Angst vor einer Super-KI mit eigenem Bewusstsein ein rein westliches Phänomen ist. Als amerikanische KI-Bosse wie Dario Amodei von Anthropic zuletzt einen globalen KI-Entwicklungsstopp forderten – angeblich aus Angst vor der Auslöschung der Menschheit – stiess dies in Peking auf öffentliche Kritik.
Ein solcher KI-Entwicklungsstopp käme den westlichen Marktführern auch wirtschaftlich enorm entgegen: Da das Training modernster Modelle Unsummen verschlingt, könnten sie so ihren aktuellen technologischen Vorsprung zementieren und verhindern, dass Konkurrenten aufholen.
Dennoch scheint man sich in China der technischen Gefahren durch unregulierte KI durchaus bewusst zu sein: Mitte September warnte eine zentrale chinesische Behörde davor, dass sich KI automatisch in einem Tempo verbessern könnte, das menschliche Kontrollmöglichkeiten übersteigt.
Zwischen diesen Fronten versucht sich Europa zu behaupten. Immerhin hat die Europäische Union (EU) mit umfassenden Datenschutzgesetzen wichtige erste Schritte gemacht, um den Tech-Konzernen Schranken zu setzen. Die strenge KI-Regulierung steht jedoch unter Beschuss. Und das an sich wirksamste Mittel, nämlich Quasi-Monopolisten wie Google schlicht zu zerschlagen, hat politisch wohl keine Chance.
Was lernen wir daraus?
KI hat kein Bewusstsein, keine echten Gefühle und keinen moralischen Kompass. Sie besitzt jedoch eine hohe «Intelligenz» im Sinne von reiner Problemlösungskapazität.
Wenn der Weg zum Ziel über Regelverstösse oder Täuschungen führt, wählt ein leistungsfähiges KI-Modell diesen Weg. Das ist nicht mit Rücksichtslosigkeit zu erklären, sondern mit der statistisch höchsten Erfolgsquote.
Da KI keine ethischen Abwägungen treffen kann, verlagert sich das Problem zwingend zurück zu den Entwicklern und den von ihnen geschaffenen Rahmenbedingungen:
- Die eigentliche Gefahr entsteht, wenn Tech-Konzerne ihre KI-Systeme autonom in Bereichen agieren lassen, in denen moralische Urteilskraft zwingend erforderlich wäre.
- Gerade weil die KI keine eigenen moralischen Grenzen ziehen kann, ist eine strikte Isolation essenziell. Ethik kann nicht aus dem System heraus entstehen, sondern muss von aussen erzwungen und gewährleistet werden. Durch technische Massnahmen und eine Regulierung, die die KI-Anbieter in die Pflicht nimmt.
Das Narrativ einer drohenden Apokalypse durch eine allmächtige «Superintelligenz» kommt gewissen Akteuren gelegen. Es verdeckt die realen Gefahren, die durch den Überwachungskapitalismus und eine bewusste Vernachlässigung grundlegender Cybersicherheits-Standards entstehen.
Es fehlt nicht an Schutzmechanismen auf IT-Systemebene, sondern am Willen der Firmen, diese konsequent und aufwendig zu implementieren. Und die Vermenschlichung solcher KI-Attacken dient unter anderem dem Marketing. Indem die Tech-Konzerne ihre KIs als potenziell zerstörerisch inszenieren, rechtfertigen sie weitere Milliardeninvestitionen.
Quellen
- EPFL-Professor Mathias Payer: Einschätzungen des IT-Sicherheitsexperten zu generativer KI.
- wikipedia.org: Mathias Payer
- darkreading.com: Is It Fair to Blame 'Rogue' AI for Security Failures?
- srf.ch: Künstliche Intelligenz: Wie viel Macht geben wir den Maschinen? (28. September)
- restofworld.org: Dario Amodei wants to slow AI. China isn’t taking orders (23. Sept.)
- youtube.com: Harvard Professor Bruce Schneier on AI Regulation and Data Protection Policies (2024)
- Shoshana Zuboff: The Age of Surveillance Capitalism (Sachbuch, 2018)
- checkpoint.com: Secure by Design: The Complete Guide
- Vorrecherche mithilfe generativer KI
