Wie der Skandal um sexualisierte KI-Bilder bei X eskalierte – was wir daraus lernen können
Die aktuellen Probleme mit Elon Musks KI-Chatbot Grok, der Erwachsene und Minderjährige auszieht, stellen gemäss der Einschätzung von Fachleuten einen Wendepunkt in der Debatte um Deepfakes dar.
Hier erfährst du das Wichtigste zum Thema.
Warum ist das wichtig?
Bisher erforderte das Erstellen hochwertiger (unfreiwilliger) KI-Nacktbilder und KI-Nacktvideos oft spezialisierte Software oder den Zugang zu dubiosen Online-Diensten. Solche Bezahl-Dienste werden unter anderem beim Messenger-Dienst Telegram angeboten, sind aber technisch weniger versierten User kaum bekannt.
Natürlich hat eine dumme KI wie ein Chatbot keine Röntgenblick und kann durch Kleidung sehen. Stattdessen wird künstliche Nacktheit generiert. An der bösartigen Herabsetzung Betroffener ändert das nicht.
Musks Tabubruch
Durch die Integration von Grok direkt in die Plattform X wurde ein relativ leistungsfähiger KI-Bildgenerator zur einfach zu bedienenden Massenanwendung.
Und nun häufen sich seit Anfang 2026 die Beschwerden, weil Grok sexualisierte Bilder von Frauen und Minderjährigen erstellte – ohne Wissen der Betroffenen.
Bereits an Silvester entschuldigte sich X via KI-Chatbot dafür, ein Bild von zwei Mädchen im Teenager-Alter «in sexualisierten Outfits» erstellt und geteilt zu haben. «Es handelte sich um ein Versagen unserer Sicherheitsvorkehrungen, und ich entschuldige mich für alle dadurch entstandenen Schäden», schrieb Grok auf X.
Andere KI-Anbieter wie Google (Gemini) oder OpenAI (ChatGPT) nutzen relativ restriktive Filter, die oft schon bei harmlosen User-Eingaben die Ausführung blockieren, um jegliches juristisches Risiko zu vermeiden.
Hingegen verfolgt Elon Musk auch bei dieser Technologie einen «Anti-Woke»-Ansatz. So wird Grok explizit als KI vermarktet, die «weniger zensiert», sondern vielmehr «spicy» (scharf) sei. Im Englischen wird der Begriff denn auch verwendet, um Inhalte mit sexueller Anspielung oder Freizügigkeit zu beschreiben.
Der Fall zeigt, dass verstärkt Privatpersonen – vor allem Frauen und Kinder – ins Visier geraten und Opfer von sexualisierten Bildern werden. Einfach zu nutzende Deepfake-Technologie entpuppt sich als ideales Werkzeug für Cyber-Mobbing und digitale Gewalt im privaten Umfeld. Die Betroffenen sind meist machtlos.
Harmlose Aufnahmen werden schon länger für fragwürdige Deepfakes missbraucht. Das folgende Video ist eine eindrückliche Warnung:
Ein anderes Problem ist die weitere inhaltliche Verschlechterung von Musks Social-Media-Plattform. Da Groks KI-Bilder direkt auf X verbreitet werden, verschwimmen zunehmend die Grenzen zwischen realer Information und Fälschungen. Und dies ausgerechnet auf einer öffentlichen Plattform, die immer noch von vielen für Echtzeit-Nachrichten genutzt wird.
Das unabhängige Online-Medium netzpolitik.org weist darauf hin, dass KI-generierte Erotikinhalte grundsätzlich zunehmen. Diese seien inzwischen kein Nischenphänomen mehr. Vielmehr setzten Entwicklerfirmen wie OpenAI im grossen Stil auf romantische und sexuelle Inhalte, um ihre KI-Bots zu vermarkten.
Mark Zuckerbergs Meta-Konzern wiederum stand letztes Jahr in der Kritik, weil der hauseigene Chatbot «Meta AI» auf Facebook, WhatsApp und Instagram auch Minderjährigen «romantische Interaktionen» ermöglichte.
Wie reagiert X?
Zunächst machte sich Multimilliardär Elon Musk, Chef der amerikanischen Social-Media-Plattform X und der Grok-Entwicklerfirma xAI, darüber lustig, respektive versuchte das Problem zu verharmlosen.
Als die negativen Reaktionen und der öffentliche Druck zunahmen, liess er über einen X-Sprecher verlauten:
Musk verfolgt argumentativ die Strategie, dass die User für die KI-generierten Inhalte verantwortlich seien. Demokratische Staaten sehen das diametral anders: Wenn ein IT-System vorhersehbar für Straftaten genutzt werden kann und der Anbieter keine ausreichenden Schutzmassnahmen einbaut, soll er haften.
Hier ist anzumerken, dass Grok primär für bezahlende X-User zugänglich ist. Die von xAI entwickelte generative KI wird aber zunehmend auch über eine eigenständige App vermarktet und in Tesla-Fahrzeuge integriert.
Ein kurzer Praxistest mit der Grok-App (auf dem iPhone) zeigt, dass sich im «Spicy Modus» weiterhin problematische Inhalte einfach erstellen lassen.
Update 9. Januar: Elon Musks Plattform X hat die Bildbearbeitung mit ihrem KI-Tool Grok auf zahlende User beschränkt, wie die BBC am Freitag berichtete. Dies bedeutet, dass der Echtname und Zahlungsinformationen beim US-Unternehmen hinterlegt sein sollten.
Was muss sich ändern?
Die litauische Techjournalistin Jurgita Lapienytė, Chefredaktorin von Cybernews, warnt:
Sollte X damit durchkommen, würden auch andere KI-Unternehmen daraus schliessen, dass die Entwicklung ähnlicher Tools keine Konsequenzen habe.
Und die Journalistin ruft in Erinnerung, dass das Problem mit der KI Grok nicht neu sei – es schwele schon seit August 2025. Damals deckte The Verge auf, dass Grok ungefragt Nacktvideos von Taylor Swift generierte.
Was tut die Politik gegen sexualisierte KI-Bilder bei X?
Die Europäische Kommission hat die Vorgänge durch einen Sprecher als «nicht spicy, sondern illegal» kommentiert. Die Vorfälle könnten Untersuchungen nach dem Digital Services Act (DSA) nach sich ziehen.
Frankreichs Ministerinnen für Digitales und Gleichstellung haben die X-Betreiber bei der Staatsanwaltschaft angezeigt. Entsprechende Inhalte seien «offensichtlich illegal», hiess es in einer Stellungnahme.
In Grossbritannien nahm sich die für Technologie zuständige Ministerin, Liz Kendall, dem Problem an. Sie bezeichnete die Welle Grok-generierter Bilder als «entsetzlich und in einer anständigen Gesellschaft inakzeptabel». Und die britische Medienaufsicht Ofcom hat offiziell Kontakt zu den X-Verantwortlichen aufgenommen.
Indiens Regierung geht gegen die von Musk geführte Plattform wegen unanständiger und sexuell expliziter Grok-Inhalte vor. Das indische IT-Ministerium wies die X-Betreiber formell an, solche Inhalte nicht zu tolerieren und in einem detaillierten Bericht offenzulegen, welche Massnahmen konkret ergriffen wurden. Das entsprechende Ultimatum lief am Mittwoch ab.
Sollte X keine «konkreten technischen Beweise» für verbesserte Filter liefern, drohen strafrechtliche Ermittlungen gegen die X-Verantwortlichen in Indien.
Und die Schweiz?
Von den Verantwortlichen in Bundesbern liegen watson keine aktuellen Äusserungen zur Problematik vor.
Wie in vielen anderen rechtsstaatlichen Ländern gibt es in der Schweiz kein spezifisches Deepfake-Gesetz. Im Mai 2025 lehnte der Nationalrat einen entsprechenden parlamentarischen Vorstoss des Grünen-Politikers Mahaim Raphaël ab. Die Ratsmehrheit folgte stattdessen der Argumentation des Bundesrates, wonach die bestehenden Gesetze ausreichen würden. Das Strafgesetzbuch sei «grundsätzlich technologieneutral ausgestaltet» und bleibe «unabhängig von der technologischen Vorgehensweise der Täterschaft anwendbar».
Der Eidgenössische Datenschutz- und Öffentlichkeitsbeauftragte (EDÖB) betont grundsätzlich, dass KI-Anwendungen, die auf «die Aushöhlung der Privatsphäre» abzielen oder ohne Einwilligung Deepfakes von identifizierbaren Personen erstellen, nach dem Schweizer Datenschutzgesetz (DSG) verboten sind.
Landesregierung und Parlament setzen bei generativer KI nicht auf Verbote, sondern auf eine Kennzeichnungspflicht für die Anbieter und eine angeblich strenge Bestrafung des Missbrauchs durch bereits existierende und leicht angepasste Gesetze.
In der Stellungnahme zu einer Motion des Ständerats Fabio Regazzi argumentierte der Bundesrat, «dass mit den genannten Strukturen und den geltenden Strafbestimmungen bereits ein ausreichendes Instrumentarium zur Bekämpfung der Cyberkriminalität existiert und daher kein Bedarf nach einer Strategie zu einem einzelnen Thema wie dem Missbrauch von Bildern» bestehe.
Eine der wichtigsten Präventions-Massnahmen bei der Bekämpfung von «Cybergewalt» sei «die Förderung der Medienkompetenz», so der Bundesrat.
In der Praxis erweist sich dieser Ansatz, respektive die Durchsetzung der Gesetze, als schwierig.
Die kantonalen Staatsanwaltschaften und die Bundespolizei Fedpol können zwar Ermittlungen einleiten, wenn Tatbestände wie Identitätsmissbrauch oder verbotene Pornografie (mutmasslich) erfüllt sind.
Wenn sich die Verantwortlichen im Ausland befinden, muss man Rechtshilfegesuche stellen. Das Vorgehen ist langwierig und bei kleineren Fällen oft erfolglos.
Im Gegensatz zur Europäischen Union (EU) hat die Schweiz aber derzeit keine gesetzliche Handhabe, um Plattformen wie X zu hohen Bussgeldern zu zwingen, wenn diese nicht kooperieren.
Quellen
- Stellungnahme von Jurgita Lapienytė, Cybernews
- netzpolitik.org: Musks Chatbot Grok verbreitet weiter sexualisierte Deepfakes (7. Januar 2026)
- theguardian.com: Grok AI still being used to digitally undress women and children despite suspension pledge (5. Jan.)
- reuters.com: Elon Musk's Grok AI floods X with sexualized photos of women and minors (3. Jan.)
- parlament.ch: Deepfakes regulieren – Motion von Nationalrat Mahaim Raphaël (2025)
- parlament.ch: «Eine Strategie gegen den Missbrauch unserer Bilder» – Motion des Ständerates Fabio Regazzi (2024)
- jusletter.weblaw.ch: Die strafrechtliche Einordnung von pornografischen Deepfakes (2024)
- Mit Material von Keystone-SDA
