Une erreur de l’IA a failli faire bombarder un navire chinois
L'erreur d’interprétation d'une intelligence artificielle a failli déclencher une attaque américaine contre un navire chinois au Moyen-Orient. La frappe reposait sur un rapport de renseignement généré par un chatbot, selon lequel un navire chinois transportait des composants destinés à un programme d’armement nucléaire.
Peu avant la frappe aérienne, un analyste a heureusement établi que le robot de conversation avait mal interprété la nature de la cargaison. L’attaque a ainsi été évitée in extremis.
Thilo Stadelmann est professeur à l'Université des sciences appliquées de Zurich et coauteur de l’étude A Theory of Natural Intelligence. Il revient sur cet incident dont la portée aurait pu être catastrophique, et sur la limite de l'intelligence artificielle lorsqu'il s'agit de s'approcher des capacités du cerveau humain.
Cette «stupide» erreur d'une IA a failli provoquer une catastrophe au Moyen-Orient. Les machines seront-elles un jour capables d’éviter complètement des hallucinations de ce type?
Thilo Stadelmann: Il est fondamentalement impossible d'éliminer complètement ce type d’erreur, du moins avec les méthodes d’apprentissage actuelles. L’intelligence artificielle peut déterminer ce qui paraît statistiquement plausible, mais pas ce qui est réellement vrai. Même en lui imposant des règles et des contrôles supplémentaires, on ne pourra donc jamais éliminer totalement ces hallucinations
Pourquoi donc?
L’IA actuelle apprend des relations statistiques à partir d’immenses quantités de données et fonde ses décisions sur des probabilités. Les humains s’appuient eux aussi sur leur expérience et, dans une certaine mesure, sur des apprentissages statistiques. Mais ils sont également capables d’identifier des principes et d’en tirer des conclusions logiques. C’est précisément cette combinaison qui fait largement défaut aux systèmes d’IA actuels.
Pourquoi cela pose-t-il problème?
Le système reconnaît des schémas sur la base de probabilités, sans véritable compréhension des concepts sous-jacents. De petites modifications peuvent donc suffire à lui faire complètement mal interpréter une image.
Celle-ci réagit à des caractéristiques statistiques qui nous échappent. Elle commet donc des erreurs qu’un humain ne ferait jamais.
Si de telles erreurs peuvent se produire aussi facilement, quelles conséquences cela aurait-il pour la guerre?
Une simple supervision humaine ne suffit pas. Il faut systématiquement tenir compte de la vulnérabilité inhérente à ces systèmes lorsque l’IA intervient dans des décisions cruciales, notamment dans le domaine militaire.
C’est ce qu’on appelle le «co-apprentissage». Il est essentiel que les humains sachent dans quelles situations les systèmes d’IA sont particulièrement susceptibles de se tromper.
En quoi l’intelligence humaine fonctionne-t-elle différemment?
Le cerveau humain fonctionne de manière beaucoup plus structurée. Notre perception nous permet de reconnaître des objets individuellement, tout en les intégrant simultanément dans un ensemble cohérent. Lorsque je conduis, je perçois à la fois les voitures, les vélos, les piétons et les panneaux de signalisation. Mais surtout, je ne me contente pas de reconnaître ces objets, je comprends les relations qui existent entre eux. C’est précisément cette structure qui fait largement défaut aux systèmes d’IA actuels.
Ce problème peut-il être résolu en élargissant encore les modèles?
Augmenter les volumes de données et la puissance de calcul a permis d’améliorer considérablement les performances des systèmes. Nous l’avons constaté à chaque nouvelle génération de modèles de langage. Mais cette progression semble aujourd’hui ralentir.
Leur vision du monde reste statistique. Nous pensons donc que ce type d’erreur restera présent de manière fondamentale et que la prochaine avancée majeure reposera moins sur des modèles toujours plus grands que sur de nouveaux principes d’apprentissage.
Quels pourraient être ces nouveaux principes d’apprentissage?
L’intelligence artificielle a besoin d’algorithmes d’apprentissage différents. Actuellement, le réseau est entraîné de façon globale, ce qui la rend largement inefficace. Nous proposons des méthodes dans lesquelles les différentes parties du réseau s’organisent localement et construisent ensemble une représentation cohérente du monde.
Sans pour autant transformer l’IA en cerveau artificiel, cela pourrait lui permettre d’apprendre de manière plus flexible tout en nécessitant beaucoup moins de données d’entraînement.
L’IA sera-t-elle un jour capable de réagir avec autant de spontanéité qu’un humain?
Cela dépendra des tâches pour lesquelles le système d’IA aura été conçu. Prenons l’exemple d’un DJ et de musiciens. Dans la pop, la dance ou la musique électronique, la différence de genre est souvent imperceptible. En revanche, un DJ ne saurait remplacer un orchestre lors d’un concert de musique classique. Il en va de même pour l’intelligence artificielle.
Une IA échouera dans les situations qui ne sont pas couvertes par ces données, car le système ne pourra que «deviner», c’est-à-dire calculer la réponse statistiquement la plus probable.
Quelles seront les implications pour les véhicules autonomes, par exemple?
Les voitures autonomes conduisent mieux et de manière plus sûre dans 99,9% des cas. Mais il peut arriver que l’IA commette une erreur grossière parce qu’elle n’a pas intégré un cas particulier dans ses données d’entraînement. Des vies humaines peuvent alors être en jeu, à cause d’erreurs qu’un humain n’aurait pas commises. Cela soulève une question de société délicate. Sommes-nous prêts à accepter des erreurs aussi inhabituelles si elles permettent malgré tout de réduire le nombre de décès? Nous considérons souvent une erreur humaine comme un accident tragique.
Comment mesure-t-on les progrès de l’IA?
Nous comparons ses performances à celles des humains à l’aide de tests de référence, c’est-à-dire des tests standardisés et publics. Pour les modèles de langage, par exemple, nous examinons à quelle fréquence leurs réponses correspondent à celles d’un humain. Cela permet d'évaluer, dans une certaine mesure, les progrès technologiques. Mais ces tests ne permettent pas de déterminer si une machine possède réellement une forme d’intelligence plus proche de celle de l’être humain.
Traduit de l'allemand et adapté par Joel Espi