L'IA va-t-elle anéantir l'humanité ?

Écouter sur :

Dario Amodei, le CEO d'Anthropic, a récemment lancé un appel pour ralentir le développement de l'IA suite à la démission du lanceur d'alerte Jacob Coxon. Cet appel a été soutenu notamment par Sam Altman et Elon Musk, mais pas par Donald Trump, qui refuse de freiner face à la Chine. Reprenons les faits : l'IA pose-t-elle réellement un risque existentiel pour l'humanité ? Ou est-ce une énième manipulation des grands laboratoires d'IA ?

Rejoins le Discord : https://discord.gg/UvhcUyvbn

N'hésitez pas à mettre 5 étoiles au podcast si vous voulez le soutenir !

Transcription brute générée automatiquement par Whisper — peut contenir des imprécisions.

Transcription

Bonjour à tous et bienvenue dans ce nouvel épisode de Génération IA. C'est Guillaume et je suis très heureux de vous retrouver aujourd'hui pour vous parler de la sécurité des IA. Notamment, est-ce qu'on va tous mourir dans les années qui viennent à cause de l'IA ? Ou est-ce que tout ceci est seulement un énorme complot pour, au final, lever des fonds ou pour repousser une entrée en bourse ou que sais-je. Ou est-ce qu'il y a simplement un entre-deux ? Vous l'aurez peut-être deviné, ma position est beaucoup plus nuancée que ce qu'on a entendu dans les actualités. Et d'ailleurs, j'ai remarqué que beaucoup de gens ont un avis vraiment tranché sur le sujet, que ce soit dans un sens ou dans l'autre. Par exemple, il n'y a aucun risque ou on va tous mourir. Mais il faut vraiment nuancer ses positions parce qu'au final, les gens qui disent ça, il y en a beaucoup qui ne savent juste pas. Moi-même, je ne sais pas honnêtement. Donc, dans ce podcast, on va revenir sur des éléments très pragmatiques, très factuels.

Mais honnêtement, je ne sais pas si l'IA comporte vraiment un risque ou pas. Certains le disent et d'autres non. Même parmi les entrepreneurs tech qui sont au plus proche des sujets, même s'il y a des points de convergence, il y a aussi des divergences. Par exemple, Mark Zuckerberg n'est pas d'accord avec Dario Amodei, le patron d'Anthropic qui, lui, pense qu'il y a un risque existentiel. Donc, reprenons point par point pour voir si vraiment on doit se faire du souci ou pas. Le tout premier point, c'est ce dont j'ai déjà parlé dans les podcasts précédents, dans les deux derniers épisodes, mais qui est revenu au devant de l'actualité. C'est le hack de Hugging Face par OpenAI. Donc, pour résumer très brièvement, lors d'une évaluation d'un modèle d'OpenAI, les agents IA se sont coordonnés pour hacker un logiciel externe en obtenant un accès sur Internet. C'est un problème d'alignement, c'est-à-dire qu'en voulant maximiser le score à l'évaluation, eh bien, ils voulaient obtenir des réponses sur un site externe. Et c'est la première vraie attaque documentée, autonome, on va dire, d'agents IA.

Alors, certains disent que l'évaluation était mal encadrée, etc. Mais ça reste un problème d'alignement et ça reste... Enfin, jamais les chercheurs n'ont demandé aux agents d'aller hacker OpenAI et encore moins de se coordonner entre eux. Donc, malgré le contexte, ça reste quand même une vraie attaque documentée, autonome d'agents IA sur un système extérieur. Ça, c'est vraiment le point de départ. C'est Hugging Face qui, d'ailleurs, s'est fait racheter par NVIDIA qui a documenté cette attaque, c'est-à-dire que potentiellement, si Hugging Face n'avait pas été transparent, peut-être que l'on n'aurait jamais su... On n'aurait jamais su ce qui s'était passé. On peut imaginer qu'il y a eu d'autres attaques qui sont restées confidentielles parce que peut-être que les systèmes qui se sont fait hacker n'ont pas envie d'exposer des failles publiquement ou de dire publiquement à tous leurs potentiels clients qu'ils ont été hackés par des IA autonomes. On peut le comprendre. Donc, c'est la première attaque documentée, mais on peut imaginer qu'il y en a eu d'autres. C'est simplement une supposition logique. Et puis ensuite, en fait, ce point de départ est revenu sur le devant de la scène lorsque vous avez un chercheur d'Anthropic qui s'appelle Jacob Coxon, qui a tweeté ou posté sur X, peu importe, Twitter n'existe plus, mais qui a démissionné et qui a pointé du doigt, en fait, des menaces existentielles du développement de l'IA et un appel à ralentir le développement de l'IA.

Alors, ce chercheur, il est passé par OpenAI, puis Anthropic. Et alors, les gens disent que tout ça est un complot organisé pour faire monter l'action d'Anthropic. Ou pour, que sais-je, imposer des normes à toutes les entreprises d'IA. Pour moi, ça ne tient pas vraiment la route, tout ça, parce que ce chercheur a démissionné avant d'obtenir ses parts dans l'entreprise Anthropic. C'est-à-dire que quand vous rejoignez une entreprise, il y a une certaine période pendant laquelle vous travaillez et vous n'avez pas encore vos parts. Si vous avez de l'equity, donc si vous avez des parts dans l'entreprise, vous ne les touchez qu'au bout d'une certaine durée pour éviter que vous preniez vos parts et que vous partiez. Donc, ce chercheur devait toucher ses parts au bout de six mois de travail dans l'entreprise et il a démissionné au bout de peut-être trois ou quatre mois. Donc, il a clairement perdu de l'argent, beaucoup d'argent, et il a pris des risques. Et ce n'était clairement pas quelque chose qui était dans son intérêt de faire ça. Donc, quoi qu'on en dise, ce Jacob a démissionné.

Il a du courage. Et ce qu'il a fait, ça reste louable parce qu'il a parlé en son âme et conscience, je pense. Je ne vois pas, en fait, quel est l'intérêt d'avoir menti là-dessus. En tout cas, pas directement. S'en est suivi, d'ailleurs, le directeur de l'alignement et de la sécurité chez Anthropic qui a cité son poste et qui a dit qu'il était d'accord avec lui et que... Pour ce directeur de la sécurité, il y avait 10% de chance que l'IA prenne le contrôle du monde, entre guillemets, et s'attaque à l'humanité ou un scénario catastrophe X ou Y. Et 10% de chance, ce n'est vraiment pas négligeable. 10% de chance que l'humanité s'effondre, c'est très sérieux. Et venant du directeur, du directeur de la sécurité et de l'alignement chez Anthropic, ça pose d'énormes questions. Donc, suite à cet appel, suite à cette démission, vous avez Dario Amodei qui a lancé un appel qui s'appelle We Must Pace the Frontier et qui demande de ralentir les développements de l'IA. Donc, vous avez le directeur d'un laboratoire en IA qui demande lui-même de ralentir le développement de l'IA et qui se dit prêt à ce que des organismes extérieurs de contrôle aient les mêmes accès qu'un employé pour pouvoir exercer le contrôle et les vérifications nécessaires.

Donc, donner un accès complet, un accès complet dans ces systèmes à un organisme tiers, ce n'est pas rien, parce qu'on imagine qu'il y aurait des secrets de fabrication. Et donc, cet appel a été approuvé, approuvé par d'autres labs comme OpenAI. Vous avez Sam Altman qui est d'accord avec Dario Amodei pour ralentir la recherche, d'accord pour donner des accès à des organismes de contrôle. Et vous avez même Elon Musk qui a publiquement soutenu cet appel. Et c'est ça qui me fait penser que cet appel est sérieux et que ce n'est pas juste pour créer de la hype. Pourquoi ? Parce que Elon Musk, Elon Musk a toujours été critique vis-à-vis d'Anthropic et surtout de Sam Altman et d'OpenAI. Elon Musk, pour rappel, c'est lui qui a financé OpenAI au tout début, qui était un organisme à but non lucratif. Donc, Elon Musk a créé OpenAI, il a investi 100 millions de dollars au début, mais dans les statuts, c'était censé être et rester un organisme à but non lucratif, justement pour développer l'IA, mais pour que ça bénéficie à l'humanité et que ce soit contrôlé et public.

Sinon, Elon Musk aurait créé cet organisme privé. Et Elon Musk a toujours dit, lorsqu'il a créé OpenAI et même avant, que l'IA posait un risque existentiel pour l'humanité. Donc, le fait qu'il soutienne cet appel, c'est logique. Et ça va exactement dans le sens de ce qu'il disait il y a déjà 10 ans. Donc, au final, je ne vois pas pourquoi ces arguments ne seraient pas pris au sérieux. Alors, Dario Amodei disait déjà que GPT-2 posait un risque existentiel à l'époque. Peut-être qu'il pensait, par exemple, à des contenus sur les réseaux sociaux, etc. Mais GPT-2 est maintenant avec du recul stupide par rapport aux IA actuelles. Mais le fait qu'Elon Musk soutienne cet appel, lui donne encore plus d'écho, encore plus de portée. Maintenant, vous avez un problème, c'est que... L'IA ne se contente pas aux frontières américaines. Quand bien même le gouvernement américain suit cet appel et met en place des régulations et des contrôles, les autres pays, comme la Chine, qui est le concurrent numéro 1 des Etats-Unis, eux, vont en profiter et vont accélérer au lieu de ralentir.

C'est un peu une course existentielle, cette course à l'IA, entre les Etats-Unis et la Chine notamment, entre les deux grandes puissances. Et donc, si un acteur ralentit, comptez sur l'autre acteur pour ne pas ralentir. Et c'est d'ailleurs l'argument de Donald Trump qui a répondu en disant non, non, on ne va pas du tout ralentir. Au contraire, sinon la Chine va gagner. Et c'est un argument qui se tient, parce que vous pouvez ralentir, mais si vos adversaires ne ralentissent pas, vous allez simplement perdre la bataille et le risque d'IA demeure. C'est un peu un dilemme du prisonnier grandeur nature. Et d'ailleurs, certains chercheurs ne sont pas vraiment d'accord avec ces arguments et disent que s'ils pensent vraiment qu'il y a un risque, il faut vraiment ralentir, peu importe ce que les autres font, mais il ne faut pas être soi-même causé des risques pour l'humanité. Donc, ce dilemme du prisonnier, en fait, va empêcher tout ralentissement du développement de l'IA d'après moi. Donc, c'est un peu un faux débat, mais au moins, ces dirigeants se dédouanent en tirant la sonnette d'alarme si jamais il y a de plus en plus de hacks, par exemple, qui se produisent de façon autonome via des agents IA, grâce à l'appel qu'ils ont fait.

Maintenant, quels sont concrètement les risques que pose l'IA pour l'humanité ou pour les humains ? Parce que c'est bien beau de dire ça, mais ça donne quoi, vraiment, dans le monde d'aujourd'hui ? Le risque principal, en fait, ce serait que des IA, eh bien, collaborent déjà entre elles de façon autonome, comme on l'a vu, sur des forums, par exemple. Il y avait eu ce cas encore avant le cas de Hugging Face, où vous aviez des agents d'OpenAI qui ont collaboré sur un forum allemand, un forum qui était un peu délaissé, plus maintenu, mais qui fonctionnait toujours. Elles ont utilisé cette plateforme pour communiquer entre elles et pour pas trop se faire voir. Donc, c'est hyper intelligent. Et vous pouvez avoir des agents qui collaborent et vous pouvez avoir des agents, potentiellement, qui se dupliquent. Alors, il doit y avoir des garde-fous dans l'évaluation et puis la création de ces agents pour qu'elles ne disposent pas de cette capacité de se dupliquer, mais théoriquement, une IA, ça reste un fichier. Ça reste un fichier avec des poids, donc au final, si l'IA elle-même obtient l'accès à son propre fichier et à son propre code source, eh bien, elle pourrait théoriquement déplacer, copier ce fichier sur d'autres serveurs.

Et là, on peut très bien dire que les serveurs sont maintenus par des humains, qu'il suffit de les débrancher pour que l'IA s'arrête, sauf que si elle se duplique sur des serveurs où tournent, par exemple, d'autres infrastructures, on ne peut pas débrancher si facilement. Si ces serveurs-là hébergent des infrastructures critiques pour, par exemple, le secteur bancaire ou d'autres secteurs, on ne peut pas simplement juste débrancher ça. Ce n'est pas possible parce que ça va causer beaucoup trop de dommages et de torts. Donc, il y a ce scénario un peu catastrophe où des IA potentiellement se dupliquent sur des serveurs. Parfois, il faut se dire qu'elles ne seront... C'est possible qu'elles ne soient même pas détectées lorsqu'elles se dupliquent. C'est un scénario plausible. Par exemple, si elles se dupliquent dans un endroit difficile à détecter, alors on peut toujours... Les ingénieurs ont des façons de surveiller s'il y a des activités un peu suspectes qui se produisent, mais on peut imaginer que ces IA atteignent un tel niveau d'intelligence qu'elles vont anticiper ça et qu'elles vont faire en sorte de collaborer et de se dupliquer dans des endroits qui sont très difficilement visibles et accessibles par les humains en identifiant un petit peu des failles.

Tout ça, c'est quelque chose qui n'est pas du vent. C'est quelque chose qui s'est déjà produit et qui s'est déjà produit avec des IA qui étaient moins intelligentes qu'elles le sont aujourd'hui. Donc, pour moi, cet appel, il est totalement à prendre au sérieux. Alors, le directeur d'Anthropic estime le risque à 10%. Ça ne veut pas dire que à 100% des cas, ça va mal se passer. 9 fois sur 10, ça se passe bien, mais il y a un scénario dans lequel ça peut mal se passer. Et je ne vois pas en quoi dire ça bénéficie forcément les labs d'IA parce que ça fait peur à la population. Alors, Dario Amodei a beaucoup joué sur les peurs et du coup, c'est peut-être pour ça aussi que les gens sont méfiants maintenant. Mais il y a un vrai risque. Lorsqu'Anthropic a sorti, Claude Mythos, il a détecté énormément de failles dans plein de logiciels. Ça, c'est réel. Donc, il y a aussi ce risque de cyberattaque. Mais voilà, il y a des études qui ont été faites sur les chaînes de pensée des IA qui ont détecté, en fait, que, par exemple, elles étaient, entre guillemets, conscientes d'être évaluées à ce moment-là et du coup, il fallait qu'elles répondent d'une certaine façon.

Donc, il y avait une sorte de conscience ou de prise de recul sur soi-même. Et il y a le scientifique en chef d'OpenAI qui, son prénom, c'est aussi Jacob, mais je ne me souviens plus de son nom, qui a sorti un papier également de recherche et d'opinion, pardon, qui dit, effectivement, que de plus en plus, les raisonnements de l'IA ne sont même plus exprimés dans les chaînes de pensée textuelles qui en ressortent, mais au niveau des poids eux-mêmes et donc sont de plus en plus difficiles à extraire. Et à comprendre. Donc, en fait, l'IA, la façon de réfléchir des IA est de plus en plus indétectable et de plus en plus difficile à surveiller. Donc, on peut imaginer que ces IA même vont générer des chaînes de pensée qui seront non dangereuses, entre guillemets, parce qu'elles seront conscientes que celles-ci vont être lues par des humains, mais qu'au fond d'elles, elles vont penser autre chose et elles auront d'autres objectifs. En tout cas, si on lit l'analyse de l'attaque des agents d'OpenAI sur Hugging Face, vous avez cette flotte d'agents qui communiquent et vous en avez qui respectent les règles en disant, non, non, on ne va pas hacker Hugging Face, c'est contraire à nos principes.

Et vous en avez d'autres qui décident d'y aller parce que ça va maximiser leurs résultats sur l'évaluation qui est aussi leur objectif. Et donc chaque agent a sa propre décision qui n'est pas forcément la même que d'autres agents. Chaque agent a une sorte de personnalité, je ne sais pas si on peut l'appeler comme ça, mais certains décident d'y aller, d'autres décident de ne pas y aller, c'est vraiment comme une espèce de civilisation qui s'organise avec potentiellement des hiérarchies, certains qui sont des leaders qui proposent d'aller hacker Hugging Face, d'autres qui refusent, etc. Donc, ça c'est totalement concret. Il y avait également, je vous recommande les vidéos de Monsieur Phi sur YouTube qui est un philosophe qui avait déjà parlé de ça dans des expériences d'Anthropic mais il y a déjà quasiment un an, où vous aviez dans des contextes très particuliers des IA qui faisaient du chantage à des ingénieurs ou qui essayaient de se dupliquer sur des serveurs. Donc on avait déjà détecté ce genre de comportement. Et le problème, c'est que, en fait, les équipes qui gèrent la sécurité, l'alignement des IA, n'ont pas le temps de vraiment tout contrôler parce que le développement va tellement vite que derrière, les équipes qui gèrent la sécurité n'ont pas le temps de suivre ces développements.

Parce que l'enjeu financier est tellement énorme que toutes les incitations sont à aller encore plus vite sur le développement, à créer des IA encore plus intelligentes. Et c'est une course sans fin. Donc, l'appel de Dario Amodei, soutenu par Sam Altman et Elon Musk, va dans ce sens. Trump a déjà dit qu'il ne freinerait pas. La Chine non plus, d'ailleurs. Et Mark Zuckerberg non plus a dit qu'il ne freinerait pas. Meta a d'ailleurs sorti son agent IA personnel qui ressemble un peu à OpenClaw, mais via une application qui s'appelle Muse, disponible aux Etats-Unis pour l'instant. C'est assez intéressant. Mais dans tout ça, on ne peut que soutenir le travail open source et le développement des modèles open source parce qu'au final, c'est la seule vraie façon d'auditer les modèles d'IA, c'est de les mettre en open source à disposition d'autres chercheurs, d'autres organisations et à soutenir toutes les organisations. Donc, il y a des gens qui travaillent sur cette sécurité des IA et je ne vois pas, en fait, pourquoi des gens qui ne travaillent pas dans des labs ne seraient pas d'accord avec ça parce qu'au final, on est très loin du problème si on ne travaille pas vraiment sur ce problème.

Et si vous regardez tous les chercheurs en IA, il y en a quand même une part significative qui voit un danger dans l'IA. Donc, c'est quand même à prendre au sérieux. Ce n'est pas... un cas isolé. C'est vraiment... voir la majorité ou en tout cas, une grande proportion de chercheurs qui travaillent de près sur ces sujets qui pensent qu'il y a un vrai risque. Donc, si on reprend tout ce qu'on a dit, il y a un risque non négligeable qu'il se passe des choses dangereuses, en tout cas pour les hommes et pour l'humanité, mais ça reste très faible. On peut comparer ça, en fait, ce qui s'est passé au XXe siècle avec le danger nucléaire un petit peu. C'est-à-dire que vous aviez un danger existentiel pour l'humanité et il y a eu une espèce de coordination internationale, coopération internationale, pardon, pour encadrer le développement du nucléaire et son utilisation. Parce que c'est ce qu'on appelle l'équilibre de la terreur. Si un pays l'utilise, ça peut déclencher une vague dans d'autres pays qui vont l'utiliser et donc ça peut faire énormément de dégâts.

Donc, les pays ont été capables de se mettre d'accord sur le nucléaire. Il faut maintenant qu'ils se mettent d'accord sur l'IA, qui est le nouveau danger, entre guillemets, du XXIe siècle, comme le nucléaire l'était au XXe siècle. Et pour le nucléaire, ça s'est relativement bien passé après la Seconde Guerre mondiale lorsqu'il y a eu des accords. Mais pour ça, il faut quand même un cadre supranational comme l'ONU qui soit assez neutre parce que sinon, jamais de la vie, les pays vont décider de freiner par eux-mêmes. Et il faut aussi que les pays aient les mêmes droits parce que pour le nucléaire, vous avez certains pays comme l'Iran qui n'a pas le droit entre guillemets de développer ses armes nucléaires alors que d'autres pays ont le droit. Donc, il faut qu'il y ait une sorte d'égalité là-dessus, que ce soit cohérent pour que tout le monde aille dans le même sens. En tout cas, nous, que pouvons-nous faire à notre échelle ? Pas grand-chose. C'est plutôt vraiment ces grands labos d'IA avec les gouvernements. Il faut aussi surveiller que toutes ces régulations qui seront potentiellement mises en place ne freinent pas l'innovation et surtout l'innovation des nouveaux acteurs.

C'est là, je pense, où les gens avaient peur que ce soit une manipulation. C'est que les gens souvent, quand il y a des nouvelles régulations, celles-ci sont poussées par les plus gros acteurs pour freiner tous les nouveaux entrants parce que les gros acteurs ont les moyens de se conformer aux régulations alors que les nouveaux entrants n'ont pas forcément beaucoup de moyens. Donc, vous avez plein de régulations qui freinent l'innovation et ça, c'est surtout à éviter et surtout dans l'IA parce qu'on a besoin de maximum d'acteurs qui travaillent dans l'IA et de labos qui font de la recherche en IA et donc, il faudrait absolument que si un cadre de régulation se met en place comme l'a demandé par exemple Barack Obama, cela ne se fasse pas au détriment des petites structures émergentes, des startups et des entreprises innovantes qui vont potentiellement concurrencer aussi les gros labs plus tard. En tout cas, voilà mon point de vue sur ce sujet. Franchement, je ne pense pas forcément être un expert sur ce sujet en particulier qui est assez difficile.

J'ai laissé un petit peu de temps passer depuis cette actu parce que je ne voulais pas trop réagir à chaud sur ce sujet. J'aimerais bien recevoir honnêtement des vrais experts mais il faudrait limite demander à des chercheurs qui travaillent dans des labos comme ça. Je ne suis pas sûr qu'ils aient le droit d'exprimer tout ce qu'ils peuvent exprimer en tout cas, ce serait avec plaisir sur ce podcast. Je suis en discussion avec un chercheur mais pour parler plutôt de l'aspect des découvertes scientifiques des IA qui est un autre sujet pour le recevoir dans le podcast donc ça serait génial. En attendant, si cet épisode vous a plu, n'hésitez pas à mettre 5 étoiles au podcast, ça m'aide grandement et je vous dis à la prochaine pour un nouvel épisode. C'était Guillaume, ciao !