ChatGPT lance une nouvelle fonction après le suicide d'un ado
Adam, 16 ans, s'est donné la mort après avoir discuté avec ChatGPT. L'adolescent américain avait confié au chatbot se sentir parfois émotionnellement insensible. Il avait parlé de mettre fin à ses jours. ChatGPT a d'abord réagi avec empathie et essayé de l'aider en lui donnant les numéros de téléphone de services d'aide. Mais au bout d'un moment, la conversation a pris une autre tournure: l'IA a fini par indiquer au jeune homme la manière la moins douloureuse de se suicider.
L'affaire n'était pas une première et a fait la une à travers le monde. OpenAI devra en répondre devant la justice. Pas de quoi surprendre l'entreprise pour autant. Son directeur, Sam Altman avait déjà ouvertement mis en garde contre une «dépendance émotionnelle» des jeunes: il avait observé que certains adolescents n'étaient plus capables de prendre des décisions par eux-mêmes.
OpenAI a déployé lundi le dispositif de contrôle parental qu'elle avait annoncé: les parents peuvent désormais associer leur compte à celui de leurs enfants d'un simple clic. Et régler les paramètres pour une utilisation sûre et adaptée à chaque âge. La société technologique reconnaît toutefois que ces garde-fous ne suffiront pas. On pourra toujours les contourner délibérément.
En Suisse, la dernière enquête de la Haute école des sciences appliquées de Zurich (ZHAW) révèle qu'environ 70% des jeunes utilisent des IA tels que ChatGPT. Ce taux augmente considérablement avec l'âge. Ainsi, parmi les 18-19 ans, il dépasse 84%. Des chiffres probablement encore plus élevés aujourd'hui, puisque l'enquête a été réalisée au printemps 2024.
Des fausses alertes avec le contrôle parental de ChatGPT
Pour mettre en place les contrôles, un parent envoie une invitation au compte de l'adolescent. Celui-ci devient alors automatiquement protégé contre certains contenus, tels que les représentations explicites, les jeux de rôle sexuels ou violents et les canons de beauté extrêmes. De plus, des paramètres permettent de définir des périodes de repos pendant lesquelles l'application se ferme. On peut aussi désactiver la fonction de rappel afin que ChatGPT n'enregistre aucun contenu.
OpenAI a aussi mis en place un système de notifications. Les parents n'ont pas directement accès aux discussions de leurs enfants. Cependant, si le système détecte des signes d'un risque potentiel, ils en sont informés par e-mail, SMS et push. L'entreprise précise que des fausses alertes ne sont pas exclues, mais qu'en cas de doute, mieux vaut prévenir que guérir. Selon elle, la protection de la vie privée demeure une priorité absolue. Et d'assurer que seules les informations nécessaires à garantir la sécurité des jeunes seront transmises.
Ce point suscite toutefois la controverse. Apple a par exemple introduit il y a quelques années un filtre pour les photos de nudité. Il avertissait les parents lorsque ce genre d'images explicites apparaissaient sur le smartphone de leurs enfants. Cette fonctionnalité a disparu depuis, au motif qu'elle restreignait les droits fondamentaux des mineurs.
ChatGPT se dédouanerait avec son contrôle parental
Angela Müller, directrice générale de l'ONG AlgorithmWatch CH, salue les mesures de protection prises par OpenAI. Mais elle critique par ailleurs le comportement récurrent des groupes technologiques en la matière:
Il est bien sûr important et judicieux que petits et grands apprennent à utiliser les outils d'IA de manière responsable:
Elle estime donc qu'il faudrait modifier directement l'algorithme. Le bot ne s'exprimerait par exemple plus à la première personne, mais il se présenterait comme un système informatique. Cela créerait nettement moins de proximité et donc de dépendance:
Quoi qu'il en soit, OpenAI affirme travailler sur un système capable de détecter si un utilisateur est mineur à partir de l'historique des chats. Si tel est le cas, les paramètres de sécurité pour adolescents seront activés à titre préventif, y compris sans intervention parentale.
Une application suisse comme thérapeute IA
Une équipe dirigée par l'Institut de psychologie appliquée de Zurich a également constaté que les chatbots classiques échouent souvent à fixer des limites claires lorsqu’un utilisateur se sent vraiment mal. Les chercheurs ont ainsi innové avec Ephoria, une application programmée pour interrompre immédiatement la conversation si un interlocuteur se trouve dans une situation de crise aiguë.
Alors, comment est-ce que ça fonctionne? Les développeurs refusent de dévoiler entièrement les mécanismes sous-jacents. Tout ce qu'ils révèlent, c'est que, tandis que ChatGPT génère en grande partie librement le contenu de la conversation, Ephoria s'appuie sur des guides de conversation éprouvés issus de la psychologie. Le logiciel s'appuie sur des dialogues types pour des problèmes courants: stress, troubles du sommeil ou angoisses. Les réponses sont ainsi orientées d'emblée vers des pistes psychologiques.
Si l'application détecte les signes d'une situation psychologiquement délicate, elle affiche les coordonnées de services d'aide professionnels tels que La Main Tendue ou Pro Juventute. Le coach numérique signale par exemple:
Ephoria s'adresse avant tout aux adolescents à partir de 16 ans environ et aux jeunes adultes qui hésitent à consulter directement un spécialiste ou qui doivent patienter jusqu'à l'obtention d'un rendez-vous. Les développeurs reconnaissent toutefois les limites de leur outil: l'application ne perçoit pas les signaux non verbaux et n'est pas expressément adaptée aux maladies psychiques graves.
Elle est actuellement disponible en quatre langues (allemand, français, italien et anglais). La version de base est gratuite, un abonnement annuel coûte 80 francs. Toutes les données sont cryptées et stockées sur des serveurs européens.
Vous vous inquiétez pour vous ou l'un de vos proches?
Parlez-en et faites-vous aider 24 heures sur 24, c'est confidentiel et gratuit:
La Main Tendue (adultes, 24/7) au 143
Pro Juventute (jeunes, 24/7) au 147
Urgences médicales au 144
stopsuicide.ch
Traduit de l'allemand par Valentine Zenker