Société
Intelligence artificielle

Mati Roy, chef chez OpenAI, redoute l'extinction de l'humanité

Mati Roy est responsable de programme pour OpenAI.
Le Québécois Mati Roy est chef de programme chez OpenAI depuis 2022.Image: Mati Roy

«C'est comme si tout le monde avait sa propre bombe nucléaire»

Mati Roy est cadre au sein de la maison mère de ChatGPT: OpenAI. Il nous a accordé un long entretien concernant les rouages et les dérives que peuvent entraîner l'intelligence artificielle.
09.03.2024, 07:01
Suivez-moi
Plus de «Société»

Mardi, 15h, le rendez-vous est pris avec Mati Roy, responsable de programme technique pour le secteur Human Data chez OpenAI. Le Québécois qui réside aux Etats-Unis, dans l'Etat de Georgie, fait partie de l'une des entreprises les plus discutées et redoutées du monde.

Diplômé en génie physique à l’Université Laval, l'homme aux longs cheveux et à l'accent québécois chantant, choisit ses mots consciencieusement et développe une réflexion qui se cheville autour des enjeux de l'intelligence artificielle, les mauvais comme les bons.

Avant de lancer les grandes questions et réflexions, quel est votre rôle chez OpenAI?
Je supervise une équipe avec laquelle on s'occupe de créer de nombreuses données. Je m'applique à faire l'intermédiaire, entre les chercheurs et les fournisseurs de données, afin de récolter la bonne quantité de données, de réviser la qualité et que les instructions soient bien communiquées.

«Mon rôle consiste autant à entraîner l'intelligence artificielle qu'à la tester»

Je m'occupe actuellement entre autres de l’aspect multimodal de ChatGPT 4, pour le rendre capable de communiquer avec de l’audio et des images, ainsi que de sa mémoire (réd: ce modèle permet l'ajout d'images dans les conversations avec ChatGPT, pour qu'il puisse les analyser et fournir des informations sur celles-ci).

Sam Altman est présenté comme «l'Oppenheimer de notre époque». L'essor de l'intelligence artificielle est souvent comparé à la bombe nucléaire. Selon vous, est-ce une bonne analogie?
C'est une analogie pertinente. L'IA peut être utilisée pour aider l'humanité comme pour lui nuire. Le moment où l'intelligence artificielle dépassera l'humain, si nous distribuons ça à tout le monde, en open source (réd: c'est-à-dire un code conçu pour être accessible facilement au public), c'est un grand danger.

«Partager les modèles open source avec tout le monde, ce sera comme si tout le monde avait sa propre bombe nucléaire»
Mati Roy

De procéder ainsi, ça pose des risques énormes. Il faut que l'intelligence artificielle soit accessible à travers des interfaces sans avoir directement accès à l'intelligence artificielle elle-même. A l'instar de ChatGPT qui est disponible à travers des logiciels propres à l'entreprise.

Selon vos dires, cet accès libre au code est l'origine du problème, ne faudrait-il donc pas le restreindre?
A ce jour, il n'y a rien de mal qui se soit passé à cause de l'open source. Actuellement, ce n'est pas un danger imminent. Mais je me demande quand va-t-on arrêter de laisser un accès à l'open source et relâcher des modèles dans la nature. A force, ça va devenir très dangereux. On devrait se préparer tout de suite à interrompre cette pratique. Cette technologie est trop puissante.

Trop puissant?
Je suis un défenseur de l'open source en général. Mais pour l'intelligence artificielle, cela facilite le travail des personnes malintentionnées.

«Je le répète: au fil du temps, ces pratiques vont devenir très dangereuses»

Pensez-vous que des sociétés européennes comme MistralAI, Aleph Alpha vont pouvoir concurrencer OpenAI ou encore Anthropic?
Ça me semble improbable. Il faut énormément de capital financier et les principaux leaders ont déjà une place importante dans le marché.

Avez-vous déjà fait face à une situation très complexe chez OpenAI?
Des personnes ont tenté de rendre ChatGPT autonome dès sa mise en ligne. Ce ne sont que quelques acteurs qui ont cette idée de «tweaker» (réd: une personne qui modifie pour le rendre plus efficace) le programme.

Pouvez-vous développer?
Je ne me rappelle plus vraiment de l'implémentation. Ces acteurs demandaient à ChatGPT de créer le chaos dans le monde. Je ne pense pas que c'était une grosse compagnie derrière, mais je n'en suis pas sûr.

Etiez-vous préparé à une telle vague de popularité à la publication de ChatGPT?
Je ne m'attendais pas un tel changement. C'était plus intense que ce je m'attendais. Vous savez, ça fait longtemps que l'humanité travaille sur des réseaux de neurones. Le premier a été conçu en 1958 et ça a pris jusqu'à 2022 pour que ces réseaux de neurones soient assez sophistiqués pour que nous puissions communiquer de façon utile. Tant que l'IA reste au niveau d'une souris ou d'un chimpanzé, ce n'est pas utile. Elle le devient au moment où elle s'approche de l'être humain. Cela fait plus de 10 ans que j'avertis les gens des risques futurs de l'intelligence artificielle. Au début, l'intérêt était moindre. Après l'arrivée de ChatGPT, tout a changé et les réactions gouvernementales m'ont d'ailleurs énormément surpris.

«Beaucoup des idées sur l'IA avant 2022 étaient marginales et sont devenues à présent très mainstream»

L'intelligence artificielle relève presque de la guerre idéologique aujourd'hui. On parle de danger et de remplacement, mais l'être humain est-il encore en contrôle?
Historiquement, l'Homo sapiens est arrivé et l'homme de Néandertal était encore présent. Les différences étaient infimes, mais ça a tout de même provoqué l'extinction de l'homme de Néandertal. Nous sommes différents des animaux et l'extinction de nombreuses espèces est en marche en ce moment. Ce n'est pas parce que nous n'aimons pas les animaux, mais parce qu'ils sont sur notre chemin. Travailler sur nos objectifs nous oblige à suivre un processus.

«Par défaut, l'intelligence artificielle a des objectifs et notre survie n'est peut-être pas inclue dans cette marche en avant»

Elle va avoir besoin de plus de ressources. L'un des risques, c'est que les intelligences artificielles prennent de plus en plus de ressources. Surtout, au moment où elle dépassera l'intelligence humaine, l'IA pourrait s'améliorer elle-même et potentiellement de façon très rapide. Une IA peut s'améliorer plus rapidement si elle s'aide elle-même. Nous pourrions voir naître une super intelligence artificielle qui provoquera l'extinction humaine.

A quel moment, peut-on penser qu'elle évolue elle-même et entraîne l'extinction humaine?
C'est au moment où elle devient autosuffisante, qu'elle n'a plus besoin d'une aide humaine. C'est l'instant T où l'IA pourrait subvenir à ses besoins: elle paie pour ses propres serveurs, elle crée ses propres articles et se fait payer en Bitcoin, elle écrit ses propres courriels. Si elle devient un peu meilleure que les programmeurs les plus chevronnés, elle sera capable de gagner plus d'argent avec ses activités et donc de se répliquer et d'acheter plus d'espace de serveurs, en plus de travailler sur son code elle-même pour évoluer. Elle n'aurait plus de besoin d'une main humaine.

L'intelligence artificielle est-elle proche de devenir autonome?
Il y a 5 ans, les modèles étaient très primitifs, ils étaient très loin d'être où ils sont aujourd'hui.

«Dans moins d'une décennie, il semble plausible que les intelligences artificielles soient capables d'être autonomes»
Mati Roy

De 2018 à 2022, chaque année, la grosseur des réseaux de neurones a augmenté d'un facteur de 10.

Chez OpenAI, il y a eu une guerre à l'interne, lorsque Sam Altman a été viré à la surprise générale. Comment avez-vous vécu cette situation?
Personnellement, j'étais en vacances. C'était la semaine de Thanksgiving. J'étais avec ma famille dans un hôtel et au moment où j'ai ouvert mon ordi, mes accès étaient bloqués. Toute la société l'était. Ensuite, j'ai appris aux nouvelles l'éviction de Sam Altman.

Ilya Sutskever est encore chez OpenAI?
Oui, il est encore là, mais je ne travaille pas personnellement avec lui.

Quel était le problème avec le conseil d'administration?
Je ne peux rien dire, je n'ai pas d'informations concrètes. Par contre, il est intéressant de rappeler que l'un des membres du conseil d'administration d'OpenAI a proposé une fusion avec la société à Anthropic. Car il faut rappeler que nous avons une clause dans notre charte chez OpenAI, précisant que si un leader de l'industrie est à moins de deux ans d'atteindre un niveau humain grâce à l'intelligence artificielle et est aligné avec les valeurs d'OpenAI, OpenAI peut se joindre à leurs efforts.

«Ce rapprochement est une manière d'empêcher une course effrénée et irréfléchie»

Mais surtout, pour développer l'IA de façon sûre. Le conseil d'administration avait fait valoir cette clause pour s'associer avec Anthropic (réd: une entreprise financée par Amazon et Google, qui est une société d'utilité publique), mais l'opération n'a pas abouti.

Quel est votre avis sur Anthropic, qui est votre rival le mieux armé?
Anthropic, tout comme OpenAI, ce sont deux sociétés qui possèdent les meilleures structures. Je pense que les deux s'inquiètent beaucoup des risques existentiels de l'intelligence artificielle et y travaillent pour le gérer le mieux possible.

Quel est le problème actuel avec les autres sociétés d'intelligence artificielle?
Tout le monde se bouscule pour créer une intelligence artificielle générale. C'est la préoccupation des différentes sociétés qui se lancent dans une course effrénée pour être le premier, sans jamais se préoccuper des risques existentiels, en faisant les choses à moitié et en faisant moins attention en supprimant des tests pour vérifier le fonctionnement de son modèle. Ça crée cette course qui devient très dangereuse.

Que pensez-vous de Sam Altman?
J'ai été extrêmement surpris par Sam Altman et son discours concernant les risques pour l'humanité. Que le leader de la première société qui crée une intelligence artificielle générative aussi puissante, se soucie autant des risques existentiels de l'IA, est surprenant.

«Sam Altman est conscient de la puissance l'IA»

OpenAI est la mieux placée pour gérer la transition de l'intelligence artificielle, mais nous avons besoin d'interventions gouvernementales. Je pense qu'il faudrait mettre en place des lois qui appliquent des certifications pour diffuser une intelligence artificielle dans le domaine public. OpenAI se soucie beaucoup de ce processus et met beaucoup d'efforts. Adopter ses processus de sécurité prend du temps et entraîne un handicap économique.

Google, par exemple, fait attention comme vous le faites?
C'est un grand groupe qui a une structure corporative à profit. Elon Musk disait que Larry Page avait dit: ‹si l'intelligence artificielle remplace le humains, c'est simplement la prochaine étape dans l'évolution›. Mais je ne sais pas si Page était sérieux (rire). Personnellement, je préfère qu'OpenAI soit le leader de l'IA, avec sa charte forte et alignée sur les risques existentiels.

Vous avez peur de ces grosses entreprises telles qu'Apple et Google, avec cette idée de faire du profit à tout prix?
J'ai une tendance assez libertarienne. Par contre, je pense que c'est très important qu'une structure de société ne soit pas concentrée sur du profit après avoir développé une intelligence artificielle générale (IAG).

Pouvez-vous préciser ce qu'est intelligence artificielle générale?
Quand je dis intelligence artificielle générale, j'imagine une intelligence artificielle plus compétente que les êtres humains dans tous les domaines.

En parlant de métier, l'humain va-t-il être bientôt remplacé comme beaucoup de gens le redoutent?
C'est difficile de faire des prédictions. Nous devrions se préparer à un horizon de moins 10 ans, selon moi. Ça peut prendre plus de temps, 20 ans ou plus. Mais c'est un problème qui devient urgent. Mais avant de parler de remplacement, ChatGPT a d'abord le potentiel de beaucoup aider les travailleurs.

«A court terme, l'IA va aider. A long terme, elle va remplacer»
Mati Roy

Actuellement, les programmeurs ont une production vraiment accélérée grâce à ChatGPT. Si les programmeurs ont une production qui va deux fois plus vite, va-t-on avoir besoin de deux fois moins de programmeurs ou étant donné leur coût moindre, y aura-t-il une plus grande demande? A court terme, les programmeurs vont être aidés et à long terme, ils vont être remplacés.

A vous entendre, le cerveau humain va devenir obsolète?
Toutes nos capacités cognitives peuvent être encapsulées dans une intelligence artificielle. Nous sommes limités par la taille de notre boîte crânienne; les quantités de données qu'on peut ingérer sont significativement plus limitées. L'intelligence artificielle peut aller nettement plus loin, avec la force d'un superordinateur. On ne peut et pourra pas régater avec l'IA à long terme. Toutes les caractéristiques humaines, nous pourrons les programmer dans une IA.

«Il n'y a rien de magique dans le cerveau humain»
Mati Roy

Pour les images générées par une IA, va-t-on créer un objet pour vérifier si c'est une vraie ou fausse image?
OpenAI travaille actuellement pour que chaque image générée par Dall-E possède des informations cryptées à travers l'image, qu'un programme puisse lire quelle est l'origine de la photo, si elle a été générée par Dall-E, par exemple. Or, je ne sais pas si ces interventions seront suffisantes à moyen terme, mais c'est un projet actuel mené par OpenAI.

Les élections approchent aux Etats-Unis et nombreux sont ceux qui se posent des questions concernant l'impact d'une technologie telle que ChatGPT. Cela vous fait peur?
Je ne suis pas inquiet. OpenAI investit des ressources pour prédire les problèmes qui pourraient se produire. Je ne travaille pas sur ce projet directement, mais à l'approche des élections américaines, il va y avoir une ressource externe qui va être déployée. Mais nous avons reçu beaucoup d'excellents feedback concernant l'importance de ChatGPT, qu'il est un très bon outil de raisonnement.

Mais vous n'avez pas peur que certaines personnes arrivent à briser le filet de sécurité de ChatGPT?
Comme notre modèle n'est pas open source, nous allons rapidement savoir si une personne tente d'exploiter les failles de ChatGPT. Si un utilisateur a des intentions malveillantes, nous allons être capable de répondre et d'adapter en temps réel notre modèle d'IA pour mettre en place une nouvelle version. Ce n'est pas le cas si c'est open source.

Selon vous, est-ce que l'intelligence artificielle est allée trop vite?
C'est une question complexe. Comment la ralentir? Je pense qu'il y a de bonnes façons de ralentir le développement de l'IA et des mauvaises. Elle s'est développée très rapidement et je ne sais pas si nous allons avoir le temps de nous adapter à l'avenir.

Mais il y a du positif?
Oui, on relève souvent l'aspect négatif, mais il y a une multitude de choses positives. L'IA a un potentiel immense. Je pense que si nous arrivons à aligner les objectifs des intelligences artificielles avec nos objectifs, l'IA va résoudre des problèmes presque insolubles pour les humains. Prévenir les causes du vieillissement, guérir des maladies, par exemple.

«L'IA pourrait créer de nombreuses richesses. Si nous sommes capables de programmer des IA qui aident l'humanité, nous pourrions atteindre les limites théoriques physiques de l'humanité»
Mati Roy

Comment analyser l'évolution à l'avenir de l'IA?
Il faut prendre son temps pour développer l'IA. Selon moi, il y a plus de 50% de chance que l'intelligence artificielle mène à l'extinction de la race humaine...

Une IA imagine si Harry Potter avait été Japonais
Video: watson
0 Commentaires
Comme nous voulons continuer à modérer personnellement les débats de commentaires, nous sommes obligés de fermer la fonction de commentaire 72 heures après la publication d’un article. Merci de votre compréhension!
«Je vais te fesser»: ce porteur de la flamme olympique est dans la sauce
Baptiste Moirot a été accusé de harcèlement sexuel envers de jeunes femmes mineures. Le comité d'organisation des JO a décidé de retirer le jeune homme du relai de la flamme. Explications.

Souvenez-vous: début avril, nous apprenions que le français Baptiste Moirot, plus connu sous le nom de «T'es pas net Baptiste», ferait partie des porteurs de la flamme des Jeux olympiques de Paris 2024.

L’article