Wissen
Künstliche Intelligenz

ChatGPT sorgt für eine Inflation von bestimmten Wörtern in Studien

ChatGPT verwendet Wörter wie meticulously (minutiös) inflationär in wissenschaftlichen Studien.
«Meticulously» (minutiös) ist ein Lieblingswort von ChatGPT.Bild: Imago/watson

In Studien stehen immer mehr Wörter wie «minutiös». Was ChatGPT damit zu tun hat

29.04.2024, 23:11
Mehr «Wissen»

Die Wissenschaftsgemeinde ist produktiv – sie muss produktiv sein, denn Karrierefortschritt und Vergabe von Forschungsgeldern hängen stark an der Publikationstätigkeit: «Publish or perish!» (sinngemäss: «Wer schreibt, der bleibt!»). Kein Wunder, schwillt die Zahl der Studien seit Jahren beständig an. Und kein Wunder, nutzen immer mehr Forscher KI-Tools wie ChatGPT, um ihre Papers zu schreiben.

Das schlägt sich offenbar auch im Jargon dieser wissenschaftlichen Arbeiten nieder. Das legt zumindest die Entdeckung nahe, die Andrew Gray gemacht hat: Der Bibliothekar am University College London analysierte nicht weniger als fünf Millionen Studien, die im vergangenen Jahr publiziert worden waren, und stellte dabei fest, dass bestimmte Wörter plötzlich sehr viel häufiger auftauchten.

Mysteriöse Wörter-Inflation

Dazu gehörten das Adverb «meticulously» (minutiös, peinlich genau), das einen Anstieg von 137 Prozent verzeichnete, sowie das zugehörige Adjektiv «meticulous» (59 %). Bedeutend häufiger wurden auch Adjektive wie «intricate» (komplex; 117 %) oder «commendable» (verdienstvoll, löblich; 83 %) verwendet.

Gemäss Grays Analyse, die noch nicht peer reviewed ist, tauchte das Wort «intricate» 2023 in rund 109'000 Studien auf. In den Jahren zuvor lag der Durchschnitt jedoch bei rund 50'000 – weniger als halb so viel. Beim Adverb «meticulously» kam 2022 in rund 12'300 Studien vor, 2023 jedoch bereits in mehr als 28'000. Und «commendable» erlebte einen Anstieg von 6500 Arbeiten auf beinahe 12'000.

ChatGPT liebt «delve»

Ein weiteres Wort, das ChatGPT und vergleichbare KI-Tools inflationär verwenden, ist «delve» (erforschen, sich in etwas vertiefen). Laut dem KI-Forscher Jeremy Nguyen von der Swinburne University of Technology in Melbourne (Australien) kommt der Begriff mittlerweile in mehr als 0,5 Prozent der medizinischen Studien vor, während es in der Vor-ChatGPT-Ära weniger als 0,04 Prozent waren.

Der offizielle Account von ChatGPT auf der Plattform X hat mittlerweile auf den Post von Nguyen reagiert:

Vermehrte Nutzung von KI-Tools

Für Gray gibt es nur eine Erklärung für dieses Phänomen, wie die spanische Zeitung «El País» berichtet: Der markante Anstieg dieser Wörter sei darauf zurückzuführen, dass mittlerweile zehntausende von Forschern ChatGPT oder ein ähnliches KI-Tool nutzen, um ihre Studien zu verfassen oder Formulierungen zu verbessern.

El País führt zwei hübsche Beispiele von Studien an, bei denen jeweils eine peinliche Fehlleistung enthüllt hat, dass bei der Formulierung ein solches Large Language Model (LLM) wie ChatGPT beigezogen wurde. So in einem chinesischen Paper, das im Februar in einer Fachzeitschrift des Elsevier-Verlags veröffentlicht wurde und mit dieser Einleitung beginnt:

«Sicherlich, hier ist eine mögliche Einleitung für Ihr Thema: Lithium-Metall-Batterien sind vielversprechende Kandidaten für ....»

Die Formulierung ist typisch für ChatGPT; die Studienautoren haben das KI-Tool offenbar nach einer Einleitung gefragt und diese dann versehentlich unverändert stehen lassen. Eine andere, von israelischen Wissenschaftlern im März veröffentlichte Studie, brilliert mit diesem Text:

Zusammenfassend kann gesagt werden, dass das Management von bilateralen iatrogenen Es tut mir sehr leid, aber ich habe keinen Zugang zu Echtzeitinformationen oder patientenspezifischen Daten, da ich ein KI-Sprachmodell bin.

Grauzone der KI-Nutzung

ChatGPT wurde Ende 2022 eingeführt und löste einen wahren Hype um KI-Tools aus. Rund 60'000 wissenschaftliche Arbeiten, das sind mehr als 1 Prozent aller 2023 analysierten Studien, wurden nach Einschätzung von Gray bereits mithilfe eines Large Language Models geschrieben. Gray geht davon aus, dass extreme Fälle – wenn jemand sich eine ganze Studie von ChatGPT schreiben liess – selten sind. Üblicherweise würden die KI-Tools lediglich eingesetzt, um Tippfehler zu eliminieren oder die Übersetzung in Englische, der lingua franca der Wissenschaft, zu erleichtern.

Andrew Gray, University College London
https://profiles.ucl.ac.uk/66291-andrew-gray
Andrew Gray, Bibliothekar am University College London.Bild: University College London

Gleichwohl gebe es eine Grauzone, in der die Hilfe von ChatGPT extensiver genutzt werde, ohne dass die Ergebnisse überprüft würden. Wie gross diese Grauzone sei, könne man derzeit unmöglich wissen, sagte Gray, denn wissenschaftliche Zeitschriften verlangten von den Autoren nicht, die Verwendung von ChatGPT transparent zu machen.

Positiv besetzte Begriffe

Wie ein Forschungsteam der Stanford University um James Zou gezeigt hat, neigen Large Language Models dazu, bestimmte Wörter überproportional häufig zu verwenden – und zwar überwiegend positiv besetzte Begriffe wie «commendable» (verdienstvoll), «meticulous» (minutiös), «intricate» (komplex), «innovative» (innovativ) und «versatile» (vielseitig).

Die Häufung dieser Begriffe kommt auch in Gutachten von Fachleuten vor, die Studien im Peer-Review-Prozess bewerten, bevor sie veröffentlicht werden. Dies zeigte sich bei der Analyse von Gutachten, die auf zwei internationalen Konferenzen über künstliche Intelligenz vorgestellt wurden: Die Wahrscheinlichkeit, dass darin das Wort «meticulous» auftaucht, war um das 35-fache gestiegen.

In den Peer Reviews zu Studien in den renommierten Zeitschriften der Nature-Gruppe fanden die Stanford-Forscher hingegen keine signifikanten Spuren von ChatGPT oder vergleichbaren LLMs. Die Verwendung von solchen KI-Tools korrelierte anscheinend mit einer geringeren Qualität der Gutachten. Gray bezeichnete diesen Befund als beunruhigend. «Wenn wir wissen, dass die Verwendung dieser Tools zum Verfassen von Reviews zu Ergebnissen von geringerer Qualität führt, müssen wir darüber nachdenken, wie sie zum Verfassen von Studien verwendet werden und was das bedeutet.»

Teufelskreis der KI-Tools

Ein Jahr nach der Einführung von ChatGPT gab einer von drei Wissenschaftlern in einer Umfrage der Zeitschrift «Nature» an, das Tool zum Verfassen von Studien verwendet haben. Gleichwohl steht nur in wenigen wissenschaftlichen Arbeiten, ob sie ein KI-Tool eingesetzt haben. Gray sieht die Gefahr heraufziehen, dass sich ein KI-Teufelskreis bildet, wenn spätere Versionen von ChatGPT mit wissenschaftlichen Publikationen trainiert werden, die von älteren Versionen desselben KI-Tools verfasst wurden.

Und der Jargon der KI-Tools beeinflusst wiederum die Forscher. Wie Jeremy Nguyen unlängst feststellte, verwendet er nun selber das Wort «delve»:

(dhr)

DANKE FÜR DIE ♥
Würdest du gerne watson und unseren Journalismus unterstützen? Mehr erfahren
(Du wirst umgeleitet, um die Zahlung abzuschliessen.)
5 CHF
15 CHF
25 CHF
Anderer
twint icon
Oder unterstütze uns per Banküberweisung.
So reagiert ChatGPT auf KI-Witze
1 / 7
So reagiert ChatGPT auf KI-Witze
quelle: screenshot: watson
Auf Facebook teilenAuf X teilen
«Dumme Fragen!» - ChatGPT beklagt sich über uns
Video: watson
Das könnte dich auch noch interessieren:
21 Kommentare
Weil wir die Kommentar-Debatten weiterhin persönlich moderieren möchten, sehen wir uns gezwungen, die Kommentarfunktion 24 Stunden nach Publikation einer Story zu schliessen. Vielen Dank für dein Verständnis!
Die beliebtesten Kommentare
avatar
wombsen
30.04.2024 02:22registriert September 2016
Als Student habe ich eine minutiöse und peinlich genaue Herangehensweise an das komplexe Problem einen Kommentar zu kreieren und ich finde, ich bin dabei löblich und verdienstvoll. Durch meine beharrliche Arbeit und das vertiefte Verständnis für die Materie gelang es mir, einen Kommentar zu generieren, der nicht nur beeindruckt, sondern auch äußerst löblich ist.
423
Melden
Zum Kommentar
21
Bodensee wird laut Forschern immer wärmer

Der Bodensee wird laut einer Auswertung des Seeforschungsinstituts Langenargen immer wärmer. Das Institut der Landesanstalt für Umwelt Baden-Württemberg (LUBW) misst die Wassertemperatur im See seit 1962.

Zur Story