wechselnd bewölkt
DE | FR
110
Wir verwenden Cookies und Analysetools, um die Nutzerfreundlichkeit der Internetseite zu verbessern und passende Werbung von watson und unseren Werbepartnern anzuzeigen. Weitere Infos findest Du in unserer Datenschutzerklärung.
Digital
Google

Was dir blühen kann, wenn sich Googles Kinderpornografie-Scanner irrt

Was dir blühen kann, wenn sich Googles Kinderpornografie-Scanner irrt

Zwei Väter verlieren den Zugang zu all ihren Google-Diensten, weil sie für eine ärztliche Ferndiagnose den entzündeten Genitalbereich ihrer Kinder fotografierten. Weil Googles «Kinderpornografie-Scanner» fälschlicherweise Alarm schlug, ermittelte die Polizei gegen sie.
23.08.2022, 21:0224.08.2022, 08:12

Der kleine Junge von Mark hatte einen schmerzenden, geschwollenen Penis. Seine Frau wandte sich an den Arzt. Dessen Assistentin bat die Eltern, für eine Vorabklärung ein Bild des Penis des Kindes zu schicken, da die Pandemie Anfang 2021 auch in San Francisco grassierte und der Arzt keine Patienten persönlich empfing. Was in dieser Situation vermutlich viele Eltern tun würden, brachte sie in Teufels Küche.

Die «New York Times» berichtete ausführlich über Marks Fall, der für eine ärztliche Diagnose mit seinem Smartphone mehrere Fotos des Genitalbereichs seines kleinen Sohnes schoss, darunter auch eines, auf dem Marks Hand zu sehen ist.

Googles Kinderpornografie-Scanner macht einen fatalen Fehler

Die Handy-Fotos des Familienvaters wurden automatisch zwischen mehreren Geräten synchronisiert und in die Google-Cloud hochgeladen. Damit nahm das Ungemach seinen Lauf: Die Scan-Software von Google, die maschinell nach Darstellungen von Kindesmissbrauch in der Google-Cloud sucht, stufte die Fotos fälschlicherweise als missbräuchlich ein. In der Folge wurde das Google-Konto gesperrt, Mark verlor den Zugriff auf all seine Daten und Google meldete ihn bei der zuständigen Kinderschutz-Organisation, was eine polizeiliche Untersuchung zur Folge hatte.

Mark füllte ein Formular aus, in dem er eine Überprüfung der Entscheidung von Google beantragte und die Infektion seines Sohnes erklärte. Google antwortete wenige Tage später, dass das Konto nicht wiederhergestellt werde. Was Mark nicht wusste: Das Prüfteam von Google stufte auch ein von ihm gedrehtes Video als «problematisch» ein und die Polizei von San Francisco hatte bereits begonnen, gegen ihn zu ermitteln.

Die Konsequenzen sind gravierend

Obwohl die Strafverfolgungsbehörden den Irrtum rasch bemerkten und die Ermittlungen einstellten, bleibt das Google-Konto weiterhin gesperrt. Stattdessen verlor die Familie mehr als ein Jahrzehnt an privaten und geschäftlichen E-Mails, Cloud-Dateien und Kalendereinträgen – einschliesslich Marks Adressbuch mit den Kontaktdaten aller Personen, mit denen er persönlich oder beruflich in Verbindung steht. Die Familie verlor auch ihre online gespeicherten Familienfotos, einschliesslich der Fotos ihres Sohnes von der Geburt an.

Für Mark kam es aber noch dicker: Weil er auch seinen Mobilfunkvertrag über Google abgeschlossen hatte, verlor er nebst der E-Mail-Adresse zusätzlich seine Telefonnummer. Ohne Zugang zu seiner alten Telefonnummer und E-Mail-Adresse konnte er die Sicherheitscodes, die er für die Anmeldung bei anderen Internetkonten benötigte, nicht erhalten, was ihn von einem Grossteil seines digitalen Lebens ausschloss. Auch das Anmelden über die Google-Authenticator-App klappte nicht mehr, da er auch darauf keinen Zugriff mehr hatte.

Ende 2021 informierte ihn die Polizei per Post, dass gegen ihn ermittelt worden war und dass man von Google und seinem Internet-Provider all seine Internetsuchen, seinen Standortverlauf, seine Nachrichten sowie Dokumente, Fotos und Videos erhalten hatte.

Was Mark lange nicht wusste: Wenn Googles Kinderpornografie-Scanner Alarm schlägt, schauen sich Prüfer bei Google die Fotos an. Google sagt, dass die Prüfer keinen Ausschlag oder eine Rötung auf den Fotos seines Kindes entdeckt hätten und dass bei der anschliessenden Überprüfung seines Kontos ein Video aufgetaucht sei, das man ebenfalls als «problematisch» erachtete. Es zeige ein kleines Kind, das mit einer unbekleideten Frau im Bett liegt. Mark dazu: «Hätten wir doch nur im Pyjama geschlafen, dann hätte sich das alles vermeiden lassen.»

Nachdem die Polizei seine Unschuld bestätigt hatte, bat er Google erneut um die Wiederherstellung seines Kontos. Das Unternehmen teilte ihm vor zwei Monaten mit, dass es permanent gelöscht worden sei.

Eine Rechtsprofessorin, die sich mit der Materie beschäftigt, spekulierte, dass es aus der Perspektive des Konzerns einfacher sei, so zu verfahren, als selbst entscheiden zu müssen, was akzeptabel sei und was nicht.

Mark ist mit seinem Problem nicht allein

Die «New York Times» berichtete zeitgleich über einen zweiten, fast identischen Fall: Ein Mann in Texas machte für den Kinderarzt mit seinem Smartphone Fotos des Intimbereichs seines Kleinkindes, das eine Entzündung hatte.

Es folgt das gleiche Spiel: Googles Foto-App lädt die Fotos in die Cloud, die Scan-Software schlägt irrtümlich Alarm und Google schliesst das Konto. Die Familie war gerade dabei, ein Haus zu kaufen, als das Gmail-Konto des Vaters gesperrt wurde, was zu Problemen mit dem Makler geführt habe.

Im Herbst 2021 rief ein Beamter der Polizei von Houston an und bat den Vater, aufs Revier zu kommen. Auch hier haben die Strafverfolgungsbehörden die Ermittlungen rasch eingestellt, aber das Google-Konto und alle damit verbundenen Dienste bleiben gesperrt.

In einer Erklärung gegenüber der NYT sagte Google: Kinderpornografisches Material sei «verabscheuungswürdig» und «wir sind bestrebt, die Verbreitung dieses Materials auf unseren Plattformen zu verhindern».

Kinderschutz-Organisationen begrüssen automatische Scans

Internetfirmen wie Google, Apple, Microsoft oder Facebook werden von den USA und der EU seit Jahren dazu gedrängt, ihre Online-Dienste nach Darstellungen von Kindesmissbrauch zu scannen. Kinderschutz-Organisationen halten dies für unerlässlich, um die Verbreitung von kinderpornografischem Material einzudämmen. Sie raten Eltern davon ab, Fotos von den Genitalien ihrer Kinder zu machen, selbst wenn sie von einem Arzt dazu aufgefordert werden.

Fotos von Kindern, die ausgebeutet oder sexuell missbraucht werden, werden den Strafbehörden jährlich millionenfach von den Technologiegiganten gemeldet. 2021 meldete allein Google über 600'000 Fälle von Kindesmissbrauch und deaktivierte daraufhin die Konten von über 270'000 Nutzern.

Die beiden von der «New York Times» beschriebenen Fälle, in denen Unschuldige angeprangert wurden und ihre Daten verloren, sind Ausnahmen. Datenschützer verweisen aber darauf, dass sich Unschuldige oft nicht melden würden, aus Furcht, dass von den ungerechtfertigten Anschuldigungen etwas haften bleibt.

Wenn automatisierte Scan-Software Fehler macht und Unschuldige bei der Polizei gemeldet werden, könnte dies im schlimmsten Fall – wenn nicht sauber ermittelt wird – dazu führen, dass Betroffene das Sorgerecht verlieren, sagte eine im Bericht zitierte Rechtsprofessorin.

Warum Kinderpornografie-Scanner Fehler machen

Die beschriebenen Fälle offenbaren das Problem heutiger, KI-gestützter Verfahren, um Kinderpornografie automatisiert zu entdecken. Nicht alle Fotos von nackten Kindern sind pornografisch, ausbeuterisch oder missbräuchlich. Die zuvor anhand von Millionen Bildern trainierte Software kann zwar Muster in Bildern und somit potenziell ausbeuterische Fotos erkennen. Sie versteht aber den Kontext nicht.

Dass Googles Kinderpornografie-Scanner das Foto als verdächtig einstufte, ist für eine von der NYT befragte Rechtsprofessorin nachvollziehbar, da es einen Penis eines Kleinkindes in Grossaufnahme mit einer Hand eines Erwachsenen zeigte. Die Software versteht aber die Situation nicht, in der es gemacht wurde: Die Fotos wurden von Eltern aufgenommen, die sich um ihr krankes Kind sorgten.

Umgekehrt würde die Software nicht Alarm schlagen, wenn ein nacktes Kleinkind in einer Badewanne zu sehen ist, da sie davon ausgeht, dass dies mit sehr hoher Wahrscheinlichkeit ein harmloses Familienfoto ist – was nicht zwingend der Fall sein muss.

Übrigens: Mark hat immer noch Hoffnung, dass er seine Daten zurückerhalten kann. «Die Polizei von San Francisco hat den Inhalt seines Google-Kontos auf einem USB-Stick gespeichert. Mark versucht nun, eine Kopie davon zu bekommen», schreibt die NYT.​

(oli)

DANKE FÜR DIE ♥
Würdest du gerne watson und unseren Journalismus unterstützen? Mehr erfahren
(Du wirst umgeleitet um die Zahlung abzuschliessen)
5 CHF
15 CHF
25 CHF
Anderer
twint icon
Oder unterstütze uns per Banküberweisung.

22 Bilder, die das Internet sofort löschen sollte

1 / 24
22 Bilder, die das Internet sofort löschen sollte
Auf Facebook teilenAuf Twitter teilenWhatsapp sharer

12 Dinge, die du während eines Video-Chats nicht machen solltest

Video: watson

Das könnte dich auch noch interessieren:

110 Kommentare
Weil wir die Kommentar-Debatten weiterhin persönlich moderieren möchten, sehen wir uns gezwungen, die Kommentarfunktion 24 Stunden nach Publikation einer Story zu schliessen. Vielen Dank für dein Verständnis!
Die beliebtesten Kommentare
avatar
Julieseven
23.08.2022 21:48registriert Mai 2021
Die USA: Ein Land, in dem eine TechFirma besorgten Eltern eines kranken Kindes das Leben zur Hölle macht aber es unmöglich ist Gesetze zu erlassen, die Massenschiessereien reduzieren würden ... es lebe das Land der Freien und das Zuhause der Tapferen🙈🙈🙈🙈🙈
21515
Melden
Zum Kommentar
avatar
Randy Orton
23.08.2022 22:11registriert April 2016
Das liest sich wie eine Black-Mirror Folge. Wenn man solche Vorgänge ein paar Jahre oder wenige Jahrzehnte weiterdenkt, wird es ganz gruselig, wenn Algorithmen entscheiden, ob eine Person vom sozialen Leben ausgeschlossen wird.
1858
Melden
Zum Kommentar
avatar
olmabrotwurschtmitbürli #wurstkäseszenario
23.08.2022 22:02registriert Juni 2017
Wenn Google wüsste wie mein erstes Kinderfotoalbum aussieht, das meine Eltern angefertigt haben...

Wurst in Bottich... Wurst in Badewanne... Wurst im Schlafrock...

Es gibt sogar Ultrsschallbilder. Darauf bin ich noch entblösster.
1705
Melden
Zum Kommentar
110
Deshalb sackt die Snapchat-Aktie ab

Die Foto-App Snapchat hat zwar weiterhin neue Nutzerinnen und Nutzer hinzugewonnen – aber das Werbegeschäft kam im letzten Geschäftsquartal nicht in Gang. Die Entwicklerfirma Snap rechnet für das laufende Vierteljahr intern mit einem Erlösrückgang zwischen zwei und zehn Prozent.

Zur Story