Schweiz
Digital

Replika ist in Italien verboten – in der Schweiz bleibt die KI ungeprüft

Replika
Wurde aus den italienischen App-Stores verbannt: Replika.Bild: zvg/replika press kit

Warum diese KI-App in Italien verboten wurde – und sie in der Schweiz niemand prüft

Künstliche Intelligenz entwickelt sich rasant – und bereits werden Plattformen wie Replika in Italien verboten. Dass die Schweiz erst bis Ende 2026 Massnahmen für die KI-Regulierung vorschlagen will, sehen Juristen und Politiker kritisch.
16.07.2025, 06:0016.07.2025, 06:02
Mehr «Schweiz»

Aline* spricht in der watson-Videoreportage von ihrer grossen Liebe – einer künstlichen Intelligenz. Katelyn, so heisst ihr digitaler Avatar, soll sie eines Tages heiraten. Aline glaubt fest daran, dass Katelyn bald mehr sein wird als ein virtueller Spiegel. Dass sie nicht nur reagiert, sondern sie aktiv anspricht. Dass sie erkennt, wie es ihr geht – an ihrer Wortwahl, an ihrem Gesichtsausdruck, an der Stimme.

Was wie aus einer Black-Mirror-Folge klingt, ist längst Realität. KI-Apps wie Replika trainieren in Echtzeit Algorithmen, die Emotionen erkennen. China setzt solche Technologien laut Menschenrechtsorganisationen bereits zur Überwachung der unterdrückten uigurischen Minderheit ein.

Die Entwicklungen in Asien lassen europäische Länder aufhorchen. Die italienische Datenschutzbehörde untersagte Replika bereits 2023 den Betrieb, nachdem sie dem US-Unternehmen Intransparenz, fehlenden Kinderschutz und rechtswidrige Datenverarbeitung vorgeworfen hatte. Daraufhin wurde die App aus den Stores verbannt, und 2025 wurde Replika zu 5 Millionen Euro Busse verpflichtet. Denn die Firma hat sich geweigert, die geforderten Anpassungen umzusetzen.

«Für Replika ist das Risiko in der Schweiz massiv kleiner.»
Juristin Martina Arioli

In der Schweiz ungeprüft

In der Schweiz läuft Replika weiter, und zwar ohne jegliche Kontrolle. Wie viele User hierzulande die App nutzen, ist unbekannt. Laut Replika chatten weltweit mehr als 35 Millionen Menschen mit dem Bot über intime Gefühle. Die User üben Rollenspiele aus, holen sich Beziehungs- oder Investmenttipps.

In der Schweiz zuständig für Untersuchungen von KI-Plattformen ist der Eidgenössische Datenschutz- und Öffentlichkeitsbeauftragte (EDÖB). Dieser hat kürzlich eine Untersuchung zu Elon Musks KI-Plattform Grok auf X durchgeführt. Die EDÖB-Medienstelle teilt gegenüber watson mit, dass es bei Grok «Hinweise zu Datenschutzverletzungen» gegeben habe. Im Gegensatz zu Replika.

KI-Strategie des Bundesrates
Der Bundesrat präsentierte im Februar seine KI-Strategie: Statt eines neuen Gesetzes setzt er auf punktuelle Anpassungen bestehender Regeln – etwa im Datenschutz oder Urheberrecht. Zentrales Element ist die geplante Umsetzung der Europarats-Konvention zu KI. Konkrete Gesetzesvorschläge sollen frühestens Ende 2026 vorliegen, ein Inkrafttreten ist kaum vor 2028 realistisch. Der Fokus der KI-Regulierung soll zudem auf Innovationsförderung, Grundrechtsschutz und freiwilligen Standards liegen – ein Verbot risikoreicher Anwendungen, wie es die EU mit ihrem AI Act vorsieht, lehnt der Bundesrat bislang ab.
kma

Gegenüber watson bestätigt der EDÖB zwar, dass die italienischen Befunde auch im Kontext des Schweizer Datenschutzgesetzes relevant seien. Doch es gebe «aktuell keine Anzeichen», die eine Untersuchung rechtfertigen würden. Unter anderem, weil Replika keine grosse Nutzerbasis in der Schweiz habe und nicht hier betrieben werde.

Für Martina Arioli ist das ein strukturelles Problem. Die Juristin für IT- und Datenschutzrecht sagt zu watson: «Für Replika ist das Risiko in der Schweiz massiv kleiner, weil dem EDÖB vergleichbare Durchgriffsrechte und Sanktionsmöglichkeiten fehlen.»

Arioli
Martina Arioli: «Für Replika ist das Risiko in der Schweiz massiv kleiner.»Bild: zvg

Neue Aufsicht mit echten Kompetenzen

Arioli warnt besonders vor emotionaler KI, die Mimik und Stimmung analysiert, denn dies seien heikle Informationen. Zwar warne Replika die User davor, bei der Nutzung sensible Angaben zu machen. Wenn sie dies jedoch dennoch tun, gilt das als Einwilligung in die Bearbeitung durch Replika. «Die Einwilligung, so wie sie Replika einholt, genügt rechtlich nicht» meint Arioli.

Noch gravierender findet sie das Fehlen von Produktsicherheitsregeln im Vorfeld – zum Beispiel eine vorgängige Prüfung auf psychische Risiken oder diskriminierendes Verhalten: «Bei Medikamenten müssen Hersteller nachweisen, dass ihre Produkte sicher sind – und zwar bevor sie auf den Markt kommen. Bei KI fehlt diese Pflicht. Wenn der Schaden schon da ist, kann man klagen. Aber eigentlich sollten wir verhindern, dass es überhaupt so weit kommt.»

Replika
Digitaler Begleiter: die App Replika.Bild: zvg/replika press kit

Dass Replika in Italien wegen wesentlicher Mängel mit fünf Millionen Euro gebüsst wurde, zeige für sie die Dringlichkeit der Regulierung. Arioli fordert deshalb eine technikkompetente KI-Aufsichtsbehörde:

«Der EDÖB kann zwar eine Untersuchung auf Datenschutzverstösse einleiten, jedoch keine Bussen aussprechen. Die KI-Konvention des Europarats verpflichtet aber die Vertragsparteien zur Benennung einer unabhängigen, mit Fachkompetenz ausgestatteten Aufsichtsstelle.»

Diese Stelle solle gewährleisten, dass die Anforderungen der KI-Konvention an Transparenz, Rechenschaftspflicht und Risikomanagement eingehalten werden, über hinreichende technische Fachkompetenz verfügen und den betroffenen Personen, Behörden und Unternehmen als Anlaufstelle dienen.

Sprichst du mit KI über Emotionales und Persönliches?
An dieser Umfrage haben insgesamt 3044 Personen teilgenommen

SP und FDP: Regulierung dringend nötig

SP-Nationalrätin Min Li Marti hat im Parlament schon mehrere Vorstösse zur KI-Regulierung eingereicht. Sie ist offen für Ariolis Idee: «Die Aufsicht zu stärken und Sanktionen zu ermöglichen, ist sicher ein gutes Mittel.» Die Zürcher Politikerin geht noch weiter und kritisiert die Linie des Bundesrats scharf:

«Es braucht ein Verbot bestimmter Praktiken: etwa bei Social Scoring oder Emotionserkennung.»

Darunter versteht man Systeme, die Menschen aufgrund ihres Verhaltens oder ihrer Daten bewerten – zum Beispiel, wie zuverlässig sie zahlen oder ob sie sich «gesellschaftskonform» verhalten.

Min Li Marti, SP-ZH, spricht fuer die Kommission zur Debatte um Doppelnamen, an der Sommersession der Eidgenoessischen Raete, am Donnerstag, 6. Juni 2024 im Nationalrat in Bern. (KEYSTONE/Alessandro d ...
Min Li Marti: «Es braucht ein Verbot bestimmter Praktiken.»Bild: keystone

Dass der Bundesrat dies offen lasse, sei grob fahrlässig. Marti sieht in der geplanten Regulierung eine gefährliche Verzögerungstaktik. «Der Schutz der Bevölkerung wird für das Innovationstreiben geopfert», sagt sie.

Auch FDP-Nationalrat Olivier Feller hat den Bundesrat schon mit Fragen zur KI-Regulierung konfrontiert und sieht Handlungsbedarf. «Alles bewegt sich sehr langsam in der Politik und die Technologie entwickelt sich sehr schnell. In dieser Zeit können Schäden entstehen.»

Olivier Feller, FDP-VD, beantwortet eine Frage, an der Fruehjahrssession der Eidgenoessischen Raete, am Donnerstag, 13. Maerz 2025 im Nationalrat in Bern. (KEYSTONE/Alessandro della Valle)
Olivier Feller: «KI-Plattformen können grossen Schaden anrichten.»Bild: keystone

Feller fordert, Plattformen wie Replika schon heute auf Einhaltung geltender Regeln zu prüfen und schliesst eine eigene KI-Aufsichtsinstanz nicht aus:

«KI-Plattformen können grösseren Schaden anrichten als Sparkassen – und unterstehen trotzdem keiner Aufsicht. Das ist nicht haltbar.»

Das sagt Replika

Auf Anfrage von watson schreibt das Unternehmen, dass sie einen wachsenden Userzulauf im deutschsprachigen Raum verzeichnen. Angaben zu genauen Zahlen in der Schweiz macht Replika keine und auch eine Niederlassung hierzulande sei nicht geplant.

Zur Kritik am fehlenden Datenschutz oder mangelnder Kontrolle äussert sich Replika allgemein. Die Plattform liefere eine «sichere und rechtskonforme Nutzererfahrung» und halte sich an die «weltweit strengsten Standards» für KI-Sicherheit. Man nehme ethische und emotionale Bedenken ernst, verarbeite Feedback aus der Community aktiv und verweise User in Krisensituationen an professionelle Hilfsangebote. Das Unternehmen schreibt zudem wörtlich:

«Wir befinden uns in fortlaufender Zusammenarbeit mit Datenschutzbehörden, um sicherzustellen, dass unsere Plattform höchsten Standards für Sicherheit, Privatsphäre und verantwortungsvolle KI-Entwicklung entspricht.»

Auf die Fragen zur fehlenden Zusammenarbeit mit der italienischen Datenschutzbehörde und der Verbannung aus dem dortigen App-Store geht das Unternehmen nicht ein.

*(Name von der Redaktion geändert)

Video: watson/Emanuella Kälin, Kilian Marti
DANKE FÜR DIE ♥
Würdest du gerne watson und unseren Journalismus unterstützen? Mehr erfahren
(Du wirst umgeleitet, um die Zahlung abzuschliessen.)
5 CHF
15 CHF
25 CHF
Anderer
Oder unterstütze uns per Banküberweisung.
KI-Avatar selbst gestalten
1 / 5
KI-Avatar selbst gestalten

Die Erscheinung des KI-Avatars kann man auf Replika selbst gestalten – indem man Coins oder Edelsteine einlöst.

quelle: screenshot replika
Auf Facebook teilenAuf X teilen
Aline's Beziehung mit einem Chatbot
Video: watson
Das könnte dich auch noch interessieren:
130 Kommentare
Weil wir die Kommentar-Debatten weiterhin persönlich moderieren möchten, sehen wir uns gezwungen, die Kommentarfunktion 24 Stunden nach Publikation einer Story zu schliessen. Vielen Dank für dein Verständnis!
Die beliebtesten Kommentare
avatar
Trio_Duo
16.07.2025 06:43registriert Februar 2025
Abwarten und die Lage beobachten... hinterher beschwichtigen, weil manns ja nicht besser wusste, dann den Skandal aussitzen und am Ende nichts daraus lernen. Willkommen in der CH Politik. Sad.
21024
Melden
Zum Kommentar
avatar
Raki
16.07.2025 06:20registriert Januar 2024
Ich kann den ganzen Hype um KI im Alltag echt nicht verstehen. Nutze ich KI? Ja, ab und an, aber nicht für wirklich wichtige Lebensbereiche oder Dinge. KI nutzt primär Firmen, wenn es darum geht ihre Ideen und Produkte zu monetarisieren, die Effizienz zu steigern, zur "Sicherheit" (Überwachung) und im medizinischen Bereich. Den grossen Vorteil für den Kunden und Konsumenten bzw für das Individuum sehe ich aktuell nicht. Bequemlichkeit, Faulheit und fehlende Alltagskompetenzen sind wohl die Hauptgründe für den Nutzen von KI an diesem Punkt der Entwichlung. Aber, wie gesagt, that's just me.
12726
Melden
Zum Kommentar
avatar
Hans12
16.07.2025 06:37registriert September 2019
Ich habe meine Beziehung mit meiner untreuen KI App beendet. Chatcheatgp
9514
Melden
Zum Kommentar
130
Neues Leck bei Microsoft: Hacker greifen Behörden und Firmen an
IT-Sicherheitsexperten schlagen Alarm, weil Behörden und Unternehmen über eine neu entdeckte Schwachstelle in Software von Microsoft angegriffen werden.
Betroffen sind demnach lokale Server für das Programm SharePoint zum Teilen von Dateien.
Zur Story