Digital
Analyse

Wissenschaftlerin aus Zürich warnt vor «ChatGPT» – KI fälscht Quellen

Das OpenAI-Team im Jahr 2019.
Da lief noch alles in ruhigen Bahnen: das OpenAI-Team im Jahr 2019. Seit einer Milliarden-Investition hat Microsoft ein gewichtiges Wörtchen mitzureden.Bild: OpenAi
Analyse

Datenwissenschaftlerin aus Zürich warnt vor ChatGPT und den bösen Folgen

Der populäre Chatbot von OpenAI entpuppt sich als wissenschaftliche Fake-News-Schleuder – und letztlich als Gefahr für die Demokratie?
13.12.2022, 10:3124.03.2023, 15:40
Mehr «Digital»

Eine Datenwissenschaftlerin aus Zürich hat in den vergangenen Tagen bei Twitter für Wirbel gesorgt. Der Grund: Sie warnt vor Risiken und Nebenwirkungen von ChatGPT. Dieser Beitrag fasst die wichtigsten Erkenntnisse zusammen.

«Wenn wir uns nicht über die Fakten einigen können, wie sollen wir dann gemeinsam Entscheidungen treffen und Politik machen?»
Teresa Kubacka

Was ist passiert?

Wer ChatGPT nicht zur Unterhaltung nutzt, sondern für ernsthafte Zwecke, muss mit bösen Überraschungen rechnen. Dies zeigen die Recherchen von Teresa Kubacka.

Sie hat an der ETH in Physik promoviert und arbeitet selbstständig als Data Scientistmit Sitz in Zürich.

Bei Twitter hat die Wissenschaftlerin in der vergangenen Woche auf beunruhigende Erkenntnisse hingewiesen.

«Heute habe ich ChatGPT zu dem Thema befragt, über das ich meine Doktorarbeit geschrieben habe. Es gab vernünftig klingende Erklärungen und vernünftig aussehende Zitate. So weit, so gut – bis ich die Zitate auf ihre Richtigkeit überprüfte. Und es wurde unheimlich, als ich nach einem physikalischen Phänomen fragte, das es nicht gibt.»
quelle: twitter

Was genau läuft bei ChatGPT falsch?

So ziemlich alles, was beim Verfassen eines wissenschaftlichen Textes nicht schieflaufen sollte:

  • Die Künstliche Intelligenz (KI) kann wissenschaftliche Quellenangaben nahezu perfekt fälschen.
  • Und zwar so geschickt, dass selbst Fachleute auf dem entsprechenden Gebiet Mühe bekunden, die entsprechenden Falschinformationen als solche zu erkennen.
  • Die als «Datenhalluzinationen» bezeichneten Kreationen der KI können auch, aber nicht nur, auf die vom Menschen gestellten Fragen zurückgeführt werden.

Teresa Kubacka schildert, sie habe den Chat mit der Künstlichen Intelligenz «mit einem intensiven Gefühl der Unheimlichkeit» verlassen:

«Ich erlebte gerade ein Paralleluniversum plausibel klingender, nicht existierender Phänomene, selbstbewusst gestützt durch Zitate zu nicht existierender Forschung.»

Das Fazit der Datenwissenschaftlerin und «die Moral von der Geschichte», wie sie selber schreibt:

«Bitte fragt ChatGPT NICHT, euch eine sachliche, wissenschaftliche Information zu geben. Es wird eine unglaublich plausibel klingende Halluzination produzieren. Und selbst ein qualifizierter Experte wird Schwierigkeiten haben, herauszufinden, was falsch ist.»

Wie konnte das passieren?

Offenbar habe die KI bereits das «Schummeln» gelernt, schreibt eine Kollegin bei futurezone.at.

Dazu muss man wissen, wie Teresa Kubacka vorging, um den fantasierenden Chatbot zu überführen.

«Sie liess ChatGPT einen Essay dazu schreiben und fragte den Chatbot danach mit einem Trick nach den Quellen (dabei musste sie dem Chatbot sagen, er solle so tun, als sei er Wissenschaftler). Die Quellenangaben, die das Programm dann ausspuckte, sah sich Kubacka im Anschluss näher an. Sie musste dabei feststellen, dass die Referenzen offenbar gar nicht existieren.»
quelle: futurezone.at

Als die Datenwissenschaftlerin die Textausgabe von ChatGPT analysierte, bemerkte sie verschiedene Fälschungen. Einmal existierte zwar tatsächlich der Forschende, der das von der KI zitierte wissenschaftliche «Paper» geschrieben haben soll, doch die wissenschaftliche Arbeit gab es nicht.

Ein anderes Mal gab es zwar einen ähnlichen Forschenden an einer Universität mit ähnlichem Namen, dieser forschte aber in einem völlig anderen Bereich. Und bei weiteren Quellenangaben, die die KI machte, stellte sich heraus, dass es weder die Forschenden gab noch die referenzierte Arbeit.

Kubacka wiederholte daraufhin das Experiment zu einem ähnlichen Thema, das jedoch «noch etwas spezifischer» war, und musste feststellen, dass «alles gefälscht» war, was ChatGPT an wissenschaftlichen Quellen ausspuckte.

Anzumerken ist hier, dass die ChatGPT-Entwickler transparent auf die Risiken hinweisen: Der Hinweis zu potenziellen Fehlinformationen prangt auch auf der Website von OpenAi – nur vermag das die KI-Kritiker nicht zu beruhigen.

«ChatGPT ist unglaublich begrenzt, aber gut genug in einigen Dingen, um einen irreführenden Eindruck von Grösse zu vermitteln.

Es ist ein Fehler, sich darauf zu verlassen, wenn es um irgendetwas Wichtiges geht. Es ist eine Vorschau auf den Fortschritt; wir müssen noch viel an der Robustheit und Wahrhaftigkeit arbeiten.»
Sam Altman, Chef von OpenAIquelle: twitter

Warum ist das nicht nur für Studierende brandgefährlich?

Die österreichische Journalistin Barbara Wimmer kommentiert:

«Ich bin gespannt, ob die Menschheit bereit ist, für derartige KI-Systeme. Wenn nicht einmal Expert*innen auf den ersten Blick einschätzen können, ob etwas wirklich plausibel ist, was die KI ausspuckt.»
quelle: twitter

Bekanntlich sei die Glaubwürdigkeit der (journalistischen) Medien durch die Verbreitung von Fake News via Social Media gesunken, argumentiert Wimmer. Sie fürchte sich davor, dass Ähnliches auch der Wissenschaft blühen könnte.

Datenwissenschaftlerin Teresa Kubacka schreibt, sie mache sich grosse Sorgen darüber, was dieses Fehlverhalten des Chatbots für unsere Gesellschaft bedeute. Denn:

«Wissenschaftler mögen vorsichtig genug sein, um ein solches Instrument nicht zu verwenden oder es zumindest im Vorbeigehen zu korrigieren, aber selbst wenn man ein Experte ist, kann kein Experte alles wissen. In den meisten Bereichen sind wir alle unwissend, bis auf einige wenige Ausnahmen.»

Und sie zeichnet folgendes Szenario:

«Die Leute werden ChatGPT nutzen, um nach Dingen zu fragen, die weit über ihr Fachwissen hinausgehen, einfach weil sie es können. Weil sie neugierig sind und eine Antwort in einer verfügbaren Form brauchen, die nicht durch Paywalls oder schwierige Sprache geschützt ist.

Wir werden mit Halluzinationen gefüttert, die von der Wahrheit nicht zu unterscheiden sind, ohne Grammatikfehler geschrieben, mit halluzinierten Beweisen untermauert und allen ersten kritischen Prüfungen unterzogen. Wie sollen wir mit ähnlichen Modellen in der Lage sein, einen echten Pop-Science-Artikel von einer Fälschung zu unterscheiden?»

Tatsächlich häufen sich aus den USA, dem Herkunftsland von ChatGPT und Co., die kritischen Stimmen, die auf eine viel grössere Gefahr durch die KI hinweisen: Diese könne als Waffe eingesetzt werden, um das Vertrauen in Rechtsstaatlichkeit und letztlich in die Demokratie zu zerstören.

Der US-Investor Paul Kedrosky twitterte:

«Ich bin so beunruhigt über das, was ich in den letzten Tagen plötzlich überall mit ChatGPT sehe. College- und High-School-Aufsätze, College-Bewerbungen, juristische Dokumente, Nötigung, Drohungen, Programmierung usw.: Alles gefälscht, alles höchst glaubwürdig.»

Er sei der Meinung, dass ChatGPT und seinesgleichen sofort zurückgezogen werden sollten, schreibt der US-Journalist Luke Zaleski. Und wenn die Technologie jemals wieder eingeführt werde, dann nur mit strengen Einschränkungen, etwa zur Textlänge etc. Denkbar wäre auch, «eine Art Wasserzeichen», um die von KI generierten Inhalte zu erkennen.

«Wie ich bereits an anderer Stelle gesagt habe, ist es eine Schande für OpenAI, diese Taschen-Atombombe ohne Einschränkungen auf eine unvorbereitete Gesellschaft loszulassen.»
Luke Zaleski

Dann fragt der US-Journalist rhetorisch:

«Ist noch jemand Zeuge der kontinuierlichen Zerstörung von Rechtsstaatlichkeit, Wahrheit, Realität und Demokratie in Amerika als ein fortlaufendes, zusammenhängendes Phänomen, das sich jeden Tag in einem komplexen Angriff entfaltet, aber im Grunde auf eine feindliche Übernahme der USA hinausläuft, um eine Oligarchie zu errichten?»
quelle: twitter

Und damit sind wir bei dem Mann, der die Entwicklung von ChatGPT und anderen KI-Anwendungen beim Unternehmen OpenAI massgeblich mitfinanziert hat: Elon Musk.

Kritiker des nach rechts abgedrifteten Multimilliardärs und neuen Twitter-Chefs vermuten, dass er auf eine Destabilisierung demokratischer Gesellschaften hinarbeite.

PS: Zieht Microsoft die Notbremse?

Microsoft hat eine Milliarde US-Dollar in OpenAI investiert, um die Entwicklung von Künstlicher Intelligenz zu fördern. Konkret geht es um die Kommerzialisierung von KI-Anwendungen, die über Microsofts Azure-Plattform laufen.

Der technische Hintergrund: Die KI-Anwendungen erfordern gewaltige Rechenleistungen. Diese können durch einen grossen Cloud-Betreiber wie Microsoft rund um den Globus zur Verfügung gestellt werden – gegen Bezahlung.

Vorläufig ist ChatGPT – als Beta-Version – noch kostenlos für alle Interessierten verfügbar. Dies dürfte sich zu einem späteren Zeitpunkt ändern, denn Microsoft ist ein gewinnorientiertes Unternehmen und will damit Profit machen.

Die auf Maschinelles Lernen spezialisierte Ingenieurin Vicky Boykis argumentiert, dass ChatGPT genau darum die Gesellschaft nicht «umkrempeln» werde. Microsoft werde die Technologie hinter einer kostenpflichtigen Programmierschnittstelle (API) verstecken. Die Beta-Version sei eine Möglichkeit für den Windows-Konzern, sich gegen Risiken abzusichern, indem OpenAI als verantwortlicher Akteur hingestellt werde, wenn die KI etwas Seltsames/Unethisches tue. Und es sei «eine fantastische Möglichkeit, Trainingsdaten zu sammeln».

Quellen

DANKE FÜR DIE ♥
Würdest du gerne watson und unseren Journalismus unterstützen? Mehr erfahren
(Du wirst umgeleitet, um die Zahlung abzuschliessen.)
5 CHF
15 CHF
25 CHF
Anderer
twint icon
Oder unterstütze uns per Banküberweisung.
21 Menschen, die Probleme mit simpler Brillanz beheben
1 / 22
Menschen, die Probleme mit simpler Brillanz beheben
Wie sollen sich dir denn Tür und Tor öffnen, wenn du bei der Türklinke bereits an den Anschlag kommst?
bild: imgur
Auf Facebook teilenAuf X teilen
Dieser Roboter ahmt die Mimik in Echtzeit nach
Video: watson
Das könnte dich auch noch interessieren:
75 Kommentare
Weil wir die Kommentar-Debatten weiterhin persönlich moderieren möchten, sehen wir uns gezwungen, die Kommentarfunktion 24 Stunden nach Publikation einer Story zu schliessen. Vielen Dank für dein Verständnis!
Die beliebtesten Kommentare
avatar
Madison Pierce
13.12.2022 11:56registriert September 2015
Das Problem sind nicht die Fälschungen, das Problem ist, dass sich damit Fälschungen nahezu ohne Zeitaufwand produzieren lassen.

Es gab schon immer Falschinformationen und Propaganda. Man findet haufenweise "Beweise", dafür, dass die Erde flach ist, Flugzeuge Chemikalien besprühen und die Mondlandung nie stattgefunden hat.

Neu ist aber, dass solche Systeme automatisiert Artikel kommentieren oder auf Social Media aktiv sein können. Gepaart mit der schlechten Medienkompetenz vieler Leute kann man dadurch den Eindruck erwecken, die Anhänger solcher Fantasien seien in der Mehrheit.
834
Melden
Zum Kommentar
avatar
Grave
13.12.2022 11:35registriert April 2015
Ich weiss, schon oft wurde neue Technik verteufelt, bevor sie sich wirklich beweisen konnte. Aber dieses Mal habe ich wirklich das Gefühl, dieses ganze KI-Zeug, wie auch die Deep Fakes etc. wird uns mal gewaltig um die Ohren fliegen.
786
Melden
Zum Kommentar
avatar
Nick Name
13.12.2022 11:28registriert Juli 2014
Das ist jetzt endlich ein spannender Beitrag zu Chat GPT - danke!

Ich teile die Skepsis gegenüber solchen Systemen. Schauen wir nur, was schon heute von Manipulatoren jeglichster Couleur genutzt und verbreitet wird, und was von einer grossen Masse von Menschen für bare Münze genommen wird.
Nun gibt es laufend einfacher zu bedienende, grössere und mächtigere Instrumente, um irgendwelche Theorien und Geschichten noch plausibler erscheinen zu lassen...

Die Szene aller Verschwörungs- und sonstigen Gläubigen lässt die Korken knallen!
Wie umgehen damit? Wohl nur mit aufklärenaufklärenaufklären...
424
Melden
Zum Kommentar
75
China zwingt Apple, WhatsApp und Threads aus dem (zensierten) App Store zu entfernen

Die chinesische Regierung hat Apple die Chat-Anwendung WhatsApp aus dem App Store in China entfernen lassen. Man sei gezwungen, die Gesetze der Länder zu befolgen, in denen man aktiv sei, betonte Apple am Donnerstag.

Zur Story