pluie et neige
DE | FR
Société
Intelligence artificielle

ChatGPT a presque réussi un examen de médecine

Le logiciel ChatGPT a presque réussi un examen de médecine

Vous voulez tester ChatGPT? Voici 4 infos indispensables avant de vous lancer
Le logiciel a obtenu un score situé entre 52,4% et 75% de bonnes réponses, le score pour réussir est à 60%.Image: Shutterstock
La start-up californienne OpenAI a lancé en novembre dernier un robot conversationnel, qui génère des textes grâce à l'intelligence artificielle et qui fait sensation.
10.02.2023, 04:2310.02.2023, 07:58
Plus de «Société»

Le logiciel ChatGPT a obtenu un score s'approchant de celui requis pour réussir un difficile examen de médecine aux Etats-Unis, selon une étude. Fin janvier, une autre étude avait montré que ChatGPT pouvait réussir les examens d'une université de droit américaine.

Pour l'étude, publiée jeudi dans la revue PLOS Digital health, des chercheurs de l'entreprise AnsibleHealth ont testé les performances du logiciel sur un examen que doivent passer les étudiants en médecine aux Etats-Unis et qui les interrogent sur divers domaines (connaissances scientifiques, raisonnement clinique, bioéthique).

Dénommé USMLE (United States Medical Licensing Examination), cet examen est divisé en trois parties: la première passée après environ deux ans d'études, la deuxième au bout de quatre ans et la troisième étant requise pour devenir médecin.

Méthode critiquée

ChatGPT a été testé sur 350 des 376 questions publiées sur le site de l'USMLE et qui faisaient partie de l'examen de juin 2022. Les questions s'appuyant sur des images ont dû être retirées.

Elles étaient présentées sous trois formats:

des questions ouvertes («que serait le diagnostic pour ce patient compte tenu des informations présentées?»),

des questions à choix multiples sans justification («Quelle est la prochaine étape de suivi la plus appropriée parmi les suivantes?»),

et des choix multiples avec justification (Quelle est la raison la plus probable pour les symptômes nocturnes du patient? Expliquez votre raisonnement").

Deux examinateurs ont noté le travail et un troisième a tranché les écarts entre eux.

Le logiciel a obtenu un score situé entre 52,4% et 75% de bonnes réponses. Généralement, le score nécessaire pour réussir l'examen est de 60%:

«ChatGPT s'approche de la marge de réussite»
Les auteurs de l'étude

Certains experts extérieurs ont critiqué la méthode utilisée. Les chercheurs auraient pu introduire un certain degré d'anonymisation en mélangeant des réponses d'humains à celles du robot, a estimé Nello Cristianini, professeur en intelligence artificielle à l'université de Bath au Royaume-Uni:

«Mais ce sont malgré tout ces travaux comme faisant partie d'une série de nouveaux développements enthousiasmants dans le domaine de l'intelligence artificielle (IA)»

Selon Lucia Ortiz de Zarate, chercheuse à l'université autonome de Madrid, cette étude démontre «le potentiel de l'IA dans le domaine médical». Elle «peut se révéler d'une grande aide pour les médecins lorsqu'ils formulent des diagnostics et prescrivent des traitements», a-t-elle jugé. (ats/jch)

Ce robot imite les visages humains à la perfection
Video: watson
0 Commentaires
Comme nous voulons continuer à modérer personnellement les débats de commentaires, nous sommes obligés de fermer la fonction de commentaire 72 heures après la publication d’un article. Merci de votre compréhension!
Voici la méthode ultime pour vous taper un aristocrate
Vous avez eu le malheur de naître roturier, mais vous ne désespérez pas d'ajouter une particule à votre nom de famille? Le magazine Tatler, la bible des potins royaux, vient de livrer ses 37 recommandations pour réussir votre rendez-vous galant avec un aristo. On vous résume.

Qui n'a pas rêvé d'épouser un duc, une baronne ou une marquise? De passer ses dimanches, ses lundis et même ses mercredis à jouer au polo sur un domaine de 30 hectares, à barboter dans la piscine turquoise de belle-maman et n'avoir rien de plus important à faire que d'organiser le prochain lunch avec ses nobles amis, après une partie de tennis?

L’article