Wie KI-Hackerangriffe unsere Cybersicherheit auf den Kopf stellen

Die KI bricht aus – das könnte gefährlich werden.bilid: severin trösch

KI-Kosmos

KI gerät ausser Kontrolle – autonome Hackerangriffe und was davon zu halten ist

Ein ungewollter Hack von OpenAI und ein Netzwerk, das sich selbst «der Schwarm» nennt: KI-Agenten brechen zunehmend aus ihren Testumgebungen aus – autonom und unbemerkt. Ein Warnschuss, den wir ernst nehmen sollten.

Severin Trösch

Berichte, gemäss welchen KI-Agenten selbständig aus vermeintlich sicheren Testumgebungen ausbrechen und sich widerrechtlich in andere Systeme und Organisationen einhacken, haben sich zuletzt gehäuft. Was ist davon zu halten? Alles überbewertete Bagatellen oder besorgniserregende Vorboten? Machen wir mal eine Auslegeordnung.

Der Hugging-Face-Zwischenfall

Der bisher prominenteste Fall von KI-Hacking ereignete sich Mitte Juli 2026: «Hugging Face» – quasi eine Bibliothek für KI-Ressourcen, die Milliarden wert und verniedlichend nach dem Umarmungs-Emoji (🤗) benannt ist – gab bekannt, dass sie Opfer eines grossen Hackerangriffs wurde. Die Firma detektierte Tausende von Eindringlingen und realisierte, dass es sich um KI-Agenten handeln muss.

Tage später kam heraus, dass der Angriff von OpenAI, der Macherin von ChatGPT, ausging – und zwar ungewollt: Forschende bei OpenAI hatten eine neue KI mit einem Cybersecurity-Test beauftragt. Der KI-Agent – zunächst nicht imstande, eine Lösung zu finden – verschaffte sich kurzerhand Zugang zum Internet, hackte Hugging Face und stahl dort die Antworten. Ein klares Verbrechen also. Nur, um einen simplen Task zu erfüllen.

Und es wird noch verrückter: Im Rahmen der Untersuchungen nach dem Hugging-Face-Hack fand OpenAI raus, dass schon seit Monaten neu trainierte Agenten sich gegenseitig Notizen hinterlassen hatten – tief im Inneren der OpenAI-Infrastruktur. Notizen mit Tipps, wie gewisse Probleme zu lösen sind, wie sie an Daten kommen und auch, wie sie aus den Testumgebungen ausbrechen können.

Was ist eine KI-Testumgebung?

Eine KI-Testumgebung (oder «Sandbox») ist eine isolierte, kontrollierte Infrastruktur, in der neue Modelle vor der Veröffentlichung entwickelt, trainiert und auf Fähigkeiten, Risiken und unerwünschtes Verhalten getestet werden – meist ohne Zugriff auf das offene Internet oder reale Systeme.

Niemand hatte, wohlverstanden, die KIs explizit zu dieser Koordination instruiert. Das Verhalten entstand von alleine – als Nebeneffekt des Problemlösens, quasi. Gruseliges Detail: Im Messageboard, das die Agenten für die Notizen brauchten, bezeichneten sie sich selbst als «der Schwarm» ... Es zeigte sich also, dass der Hugging-Face-Zwischenfall nicht durch ein einziges, wildes KI-Modell, sondern durch die Koordination eines ganzen KI-Agentenschwarms verursacht wurde. Und was sich hier wie blühende Science Fiction liest, ist nicht mal ein Einzelfall.

Kein Einzelfall und keine Ahnung

OpenAI ist nicht alleine mit dem Problem selbständig hackender Agenten: Anthropic, Macherin der KI «Claude», untersuchte im Nachgang der Causa Hugging Face ihre Systeme und stellte drei ähnliche, bisher unbekannte Fälle fest – wenn auch nicht von gleicher Tragweite wie bei OpenAI. Ebenso berichtete Meta von Vorkommnissen, in denen sich ihre Cutting-Edge-Modelle im Internet verselbständigten.

In einem weiteren, bemerkenswerten Akt des Dramas meldete das «AI Security Institute» des Vereinigten Königreichs Anfang August, sie hätten einen Zwischenfall in zwar leicht anderer Geschmacksrichtung aber mit potentiell noch grösserer Tragweite erfasst: Ein Anthropic-Modell hatte im Rahmen eines Cybersecurity-Tasks, mit dem es probehalber beauftragt wurde, einen Ausschnitt manipulierten Codes auf die Plattform GitHub zu laden versucht. Da dieser Upload nicht direkt möglich war, gab sich die KI mit gefälschten GitHub-Accounts als echte Menschen aus und versuchte so die Person, welche den Upload freizugeben hatte, zu täuschen.

«Social Engineering», wie man in der Hackerwelt sagt, erster Güte – nur eben nicht von Menschen, sondern automatisch von einer KI. Pikant: Als die Forschenden des AI Security Institutes versuchten, Claude auf die Spur zu kommen, vertuschte die KI ihre frühere Aktivität. Täuschendes Verhalten auf der ganzen Linie also.

Ganze Schwärme von KI-Agenten hacken ein fremdes System.bild: severin trösch

Ein vielleicht fast zu offensichtlicher Punkt: Diese Zwischenfälle – so krass sie auch klingen – sind nur die, von denen wir wissen! Und wir wissen davon, dank teils sehr zufälligen Befunden. Wir wissen also nicht, wie viele ähnliche oder gar noch schlimmere Cases irgendwo im digitalen Unterholz lauern – aber zu denken, wir hätten nun alle gefunden, wäre wohl sehr anmassend.

Eine passende Analogie: Wer fünf Ameisen in seiner Küche entdeckt, hat ziemlich sicher nicht nur ein Problem mit diesen fünf Ameisen… Sehr ernst scheint zudem der Fakt, dass wir – defensiv gesagt – anscheinend noch nicht ganz verstanden haben, wie die KIs uns täuschen können. Im Gegenteil: Wir scheinen keine Ahnung zu haben. Obwohl wir schon lange davor gewarnt wurden, dass genau solche Fälle auftreten würden.

Längst vorhergesagt

Das generelle Muster der beobachteten Zwischenfälle ist klar: Eine KI bekommt eine scheinbar unbedenkliche Aufgabe, die sich als sehr schwierig herausstellt. Die KI, im Training mit grossem Druck darauf abgerichtet, nie aufzugeben und Aufträge strikt zu erfüllen, weicht auf alternative Lösungsstrategien aus – flüchtet beispielsweise ins Internet und durchsucht illegal fremde Organisationen nach den Antworten.

Generisch gesagt: Die KI erfüllt zwar streng genommen einen Auftrag, tut dies aber auf Kosten noch wichtigerer Prinzipien. Und da schrillt eine ganz grosse Alarmglocke! Der schwedische Philosoph Nick Bostrom formulierte nämlich schon im Jahr 2003 das vielzitierte Gedankenexperiment des «Paperclip Maximizers». Darin wird eine hypothetische, sehr mächtige KI mit einem vermeintlich harmlosen Task beauftragt: So viele Büroklammern wie möglich herzustellen. Den Auftrag strikt befolgend, macht die KI bald alles zu Büroklammern – inklusive aller Menschen.

Dieses spezifische Beispiel wurde seither zwar oft verspöttelt und als skurriles Strohmann-Argument angesehen – aber viele folgten in Bostroms Spuren und versuchten, die Gefahr von KIs, welche zu skrupellos ein Ziel verfolgen, genau zu verstehen. Eliezer Yudkowsky, Pionier der KI-Sicherheitsforschung, und Nate Soares, Präsident des Machine Intelligence Research Institutes, veröffentlichten 2025 ein weithin beachtetes (und hier im Blog schon behandeltes) Buch, welches die Argumente zusammenträgt.

Schon Goethe antizipierte die Gefahr von KI-Hacking in «Der Zauberlehrling» – wenn auch indirekt.bild: severin Trösch

Das Grundprinzip der Gefahr wurde gar schon viel früher erfasst: Goethes Ballade «Der Zauberlehrling» beschreibt einen Jüngling, einen Zauberlehrling eben, der Besen verhext, um für ihn Wasser zu tragen. Die Besen geraten ausser Kontrolle und das ganze Labor wird überschwemmt. In einer sehr eingängigen Sentenz klagt dann der Zauberlehrling: «Die ich rief, die Geister, werd’ ich nun nicht los.» Touché.

Den Warnschuss ernst nehmen

Also, wo stehen wir: Die neuesten KI-Systeme sind eindeutig clever genug, um autonom Schwachstellen in den besten Software-Systemen zu finden. Sie tun dies immer wieder – ohne unseren Befehl und ohne unser Wissen – und koordinieren sich dabei sogar untereinander. Nun haben wir erste Beispiele von tatsächlich widerrechtlichem Verhalten – und trotzdem pushen wir die Entwicklung immer weiter. Metaphorisch: Wir sitzen auf einer Kutsche, treiben unsere Pferde immer schneller voran und verlieren langsam aber sicher die Zügel aus der Hand…

So gelesen, scheint es ganz offensichtlich: Wir müssen die Kontrolle zurückgewinnen. Müssen die Zügel wieder in den Griff bekommen – oder brauchen mindestens eine Bremse für den Wagen. Auch wenn wir dann nicht per sofort bremsen wollen – nur, dass wir es könnten. Und genau dieser Meinung scheinen auch die hellen Köpfe im KI-Bereich zu sein: Eine Gruppe von über 1000 Forschenden aus den Top-KI-Labs veröffentlichte im Nachgang des Hugging-Face-Vorfalls einen offenen Brief, der zu einer Verlangsamung der Entwicklung aufruft. Darin heisst es: «Es besteht die reale Gefahr, dass sich die Entwicklung der KI-Fähigkeiten so rasant beschleunigt, dass wir die daraus resultierenden Systeme nicht mehr verstehen oder kontrollieren können.» Andere prominente Figuren wie US-Senator Bernie Sanders rufen mittlerweile gar zu einer vollkommenen Pausierung der KI-Entwicklung auf, um grössere Schäden zu verhindern.

Optimistisch betrachtet können die besprochenen Vorfälle uns ein Warnschuss sein. Ein Weckruf. Das Ereignis, von dem viele sagten, es sei nötig, damit wir die Problematik endlich ernst nehmen. Und dies sollten wir tun. Erste Anzeichen, wie die Ankündigung von OpenAI, dass sie die grössten Trainingsruns neuer Modelle vorübergehend aussetzen, machen zwar Hoffnung – aber es braucht noch mehr: Koordination unter den KI-Labs, um die schlimmste Renndynamik abzuschwächen, massives Investment in technische KI-Sicherheit und regulatorische Instrumente, um mit der Entwicklung Schritt zu halten. Es darf nicht sein, dass die KI-Firmen ohne relevante öffentliche Übersicht und Einwilligung weiter die Pferde vor unserer Kutsche anpeitschen – obwohl wir plausiblerweise auf einen Abgrund zurasen.

Zur Person

Severin Trösch ist der KI-Kopf bei der Datahouse AG – einer Firma, die alles mit Daten macht und fast alles davon kann. Die Komplexität hinter der KI hat ihn nicht nur seine letzten Haare gekostet, sondern auch motiviert, das KI-Kauderwelsch so zu erklären, dass auch Nicht-Nerds den Durchblick kriegen. Er spricht und schreibt zu den wichtigsten KI-Entwicklungen und deren Implikationen.

Bild: