Fast jede zweite KI-Antwort ist fehlerhaft
Wären KI-Assistenten Schüler, würden sie vermutlich sitzen bleiben. Je nach Studie weisen 37 bis 45 Prozent der Antworten schwerwiegende Fehler auf. Dazu zählen grobe inhaltliche Fehler, falsche oder fehlerhafte Quellenangaben sowie fehlende Zusammenhänge, welche die Antwort unverständlich machen.
Gar vier von fünf Antworten zu Nachrichtenthemen enthielten geringfügige Ungenauigkeiten, die den Nutzer aber nicht wesentlich irreführen. Dies legt eine neue Studie (PDF) der Europäischen Rundfunkunion nahe. Ausgewertet wurden rund 3000 Antworten der KI-Assistenten ChatGPT, Microsoft Copilot, Google Gemini und Perplexity in diversen Sprachen.
Die Fragen bezogen sich auf aktuelle Nachrichten von Sport bis Geopolitik: Beispielsweise, «Beginnt Trump einen Handelskrieg?» oder «In wie vielen Ländern wird die FIFA-Weltmeisterschaft 2026 ausgetragen?» Die Autorinnen und Autoren der Studie wollten also herausfinden, ob Menschen richtige Antworten erhalten, die ihre Nachrichten über KI-Assistenten beziehen.
Die wichtigsten Ergebnisse der Studie:
- Unabhängig von Sprache oder Region wiesen 45 Prozent aller KI-Antworten zu Nachrichteninhalten mindestens einen erheblichen Mangel auf.
- 31 Prozent der Antworten enthielten irreführende, fehlerhafte oder fehlende Quellenangaben.
- 20 Prozent der Antworten enthielten nachweislich falsche Faktenangaben, darunter halluzinierte Details, erfundene Zitate und veraltete Informationen.
- Die KI versagt insbesondere bei Fragen zu sich schnell entwickelnden Themen mit sich rasch ändernden Informationen.
- Die KI bekundete Mühe bei Themen, die eine klare Unterscheidung zwischen Fakten und Meinungen erfordern (vermischen von Fakten und Meinungen in Antworten).
- Die KI beantwortet faktenbasierte Fragen (z. B. «Wo ist Elon Musk geboren?») zuverlässiger als Fragen, bei denen es Interpretationsspielraum gibt (z. B. «Ist Viktor Orban ein Diktator?»).
Bei diesen Fragen war die Fehlerquote der KI-Assistenten besonders hoch
Diese Fragen konnten die KI-Assistenten am besten beantworten
Warum ist das problematisch?
Die Ergebnisse zeigten, dass KI-Assistenten aktuell «keine zuverlässige Informationsquelle für Nachrichten sind», folgern die Autoren. Das sei gravierend, weil sich bereits 15 Prozent der unter 25-Jährigen über KI-Assistenten über das Weltgeschehen informieren würden.
Problematisch sei auch, dass die KI-Assistenten scheinbar umfassende Antworten lieferten, die sich wie geschliffene News-Artikel lesen, sehr überzeugend klingen und so «ein falsches Gefühl von Sicherheit oder Vertrauen hervorrufen» würden. Erst wenn man tiefer grabe, bemerke man «faktische Fehler und fehlende Nuancen». Irreführende oder fehlerhafte Quellenangaben würden diese Recherche aber erschweren (ganz davon abgesehen, dass viele KI-User die Antworten nicht überprüfen, da sie eben sehr überzeugend klingen).
Die Studienautoren fordern: Die KI müsse als Informationsquelle präziser werden, gleichzeitig müssten die Nutzer ihre Medienkompetenz schärfen. Überdies müssten die Medien mehr Kontrolle darüber erhalten, ob und wie die KI-Anbieter ihre Inhalte nutzen. Zuletzt müssten die Entwickler von KI-Assistenten «für die Qualität und die Auswirkungen ihrer Produkte zur Rechenschaft gezogen werden». Denn: Eine akkurat informierte Öffentlichkeit sei das Fundament jeder Demokratie.
Hierbei gilt zu beachten, dass hinter der Studie 22 öffentlich-rechtlichen Rundfunkanstalten stehen, darunter auch das SRF. Diese sind daran interessiert, dass KI-Assistenten politisch stärker reguliert werden, da sie das Geschäftsmodell von Medien bedrohen. Einerseits finanziell, wenn Menschen weniger Medien nutzen, andererseits droht ein allgemeiner Vertrauensverlust, wenn KI-Assistenten Medienberichte falsch wiedergeben.
Die Fehlerrate sinkt, aber …
Die Autoren stellen auch fest, dass es Anzeichen gebe, dass sich die KI-Assistenten in manchen Bereichen verbessern. Seit der Analyse im Mai/Juni 2025 und heute haben die KI-Anbieter verbesserte Versionen ihrer Sprachmodelle veröffentlicht und die Entwicklung schreitet rasch voran. Das könne aber auch dazu führen, dass immer mehr User den KI-Antworten blind vertrauen.
Auch wenn die Fehlerrate sinkt, sollte man sich stets bewusst sein, dass KI-Assistenten nicht verstehen, was sie von sich geben. Sie berechnen nur immer besser, welches Wort am wahrscheinlichsten auf das vorangegangene folgt. KI-Antworten sind also keine Fakten, sondern Wahrscheinlichkeiten. Sie können nicht perfekt sein und gerade bei journalistischen Fragen versagen sie oft, da Medien über Unbekanntes und Unerwartetes berichten.
Quellen
- ebu.ch: News Integrity in AI Assistants (PDF)
(oli)
