Die KI-Software ChatGPT hat eine Juraprüfung an der Universität von Minnesota bestanden. In einem Forschungspapier des Juraprofessors Jonathan Choi vom Montag beschreiben Choi und Kollegen, dass das auf künstlicher Intelligenz (KI) basierende Software bei Aufgaben in den Bereichen Verfassungsrecht, Deliktrecht und Steuerrecht insgesamt die Note C+ – das wäre in der Schweiz etwa 4.75.
ChatGPT bekam von Choi denselben Test wie die menschlichen Kommilitonen. Er bestand demnach aus 95 Multiple-Choice-Fragen sowie zwölf Aufsatzaufgaben.
«Beim Schreiben von Aufsätzen zeigte ChatGPT ein gutes Verständnis grundlegender rechtlicher Regularien und wies eine durchweg solide Organisation und Komposition auf», schrieben die Autoren. Ausserdem habe die KI akkurat zitiert. Doch der Bot «hatte oft Schwierigkeiten, Probleme bei offenen Aufgabenstellungen zu erkennen, eine Kernkompetenz bei juristischen Prüfungen».
🚨🚨 new white paper! We used ChatGPT to write exams and graded them blind alongside real law students at Minnesota. ChatGPT got a C+ average and a low but passing grade in Con Law, Employee Benefits, Tax, Torts. 1/5 https://t.co/sN8uW4qtnR
— Jon Choi (@JonathanHChoi) January 24, 2023
Obwohl der Test blind benotet wurde, hatten laut Choi zwei von drei Prüfern eine Ahnung, welche Prüfungsantworten von ChatGPT stammten. Die Grammatik sei perfekt gewesen, die Ausführungen dagegen «etwas repetitiv», schrieb Choi auf Twitter.
Als selbstständig agierender Student sei ChatGPT «nicht grossartig» gewesen, erklärte Choi, in mathematischen Aufgaben habe er sogar «versagt». Allerdings gehe seine Forschungsgruppe davon aus, dass Sprachmodelle wie ChatGPT «in der Zusammenarbeit mit Menschen» für Jurastudenten, die Prüfungen ablegen und für praktizierende Anwälte sehr nützlich sein könnten.
ChatGPT der US-Firma OpenAI generiert mit Hilfe von künstlicher Intelligenz Texte. Nutzer können dem sogenannten Sprachmodell einzelne Befehle oder Sätze vorgeben, die das System dann auf der Grundlage von Unmengen von Daten aus dem Internet eigenständig ergänzt.
Das auf Machine Learning basierende System reagiert ähnlich wie ein Chatbot auf Rückmeldungen der Nutzer. Es schreibt unter anderem Computercodes, Gedichte oder Gebrauchsanleitungen. In einigen Schulen in den USA ist die Nutzung der Software bereits untersagt. (sda/afp)
Muss mit meinem Taschenrechner verwandt sein.