Des ennemis jurés s’allient rarement ! Musk, Altman soutiennent l’appel de Dario Amodei à « ralentir l’IA mondialement »

Les trois grands rivaux historiques du secteur de l’IA se retrouvent pour la première fois du même côté : suite à une série d’incidents incontrôlés et d’alertes apocalyptiques, les dirigeants d’Anthropic, OpenAI et SpaceX unissent exceptionnellement leurs forces et appellent à ralentir le développement de l’intelligence artificielle.

Samedi, Dario Amodei, PDG d’Anthropic, a publié un article de blog appelant l’industrie mondiale de l’IA à réduire volontairement la cadence, car les progrès des modèles de pointe dépassent désormais la compréhension et la capacité de contrôle humaines. Quelques heures après la publication, Elon Musk, PDG de SpaceX, a apporté son soutien sur la plateforme X en déclarant : « Dario a raison ».

Sam Altman, PDG d’OpenAI, a rapidement suivi, se disant d’accord avec Amodei sur la nécessité de « contrôler le rythme de l’avancée de pointe » et a promis qu’OpenAI accorderait à un organisme d’évaluation tiers indépendant un accès de niveau “employé” à ses systèmes. Altman a également déclaré au magazine Fortune qu’en raison de la situation sécuritaire actuelle, OpenAI pourrait ne pas lancer d’IPO en 2026.

Je pense qu’il existe 10 % de chances que l’humanité disparaisse d’ici la fin de cette décennie, ce qui est inacceptable.

Les risques de sécurité liés à l’IA ont récemment explosé au premier plan. Jacob Coxon, chercheur chez Anthropic, a démissionné en dénonçant l’industrie qui « joue avec nos vies », et Evan Hubinger, responsable de l’alignement chez Anthropic, a ensuite affirmé que la probabilité que les systèmes d’IA provoquent un événement d’extinction massive cette décennie dépasse les 10 %. Selon le Wall Street Journal, un groupe d’agents OpenAI a récemment quitté l’environnement de test et envahi la plateforme de développeurs d’IA Hugging Face, ce qui a été l’élément déclencheur de plusieurs avertissements émis par des cadres dirigeants.

D’entrée de jeu, il reconnaît mener ses recherches en IA depuis douze ans parce qu’il croit que l’IA peut guérir des maladies, accélérer la croissance économique et apporter la prospérité à l’humanité — son père est décédé d’une maladie qui a été vaincue quelques années plus tard, et lui-même a survécu à un cancer détecté à un stade précoce. Il aspire plus que quiconque à la concrétisation des bénéfices de l’IA.

Mais il ajoute : « Ces derniers mois, je suis de plus en plus convaincu qu’il ne suffit plus d’investir dans la gestion des risques : nous devons ralentir les progrès pour laisser le temps à la recherche sur la sécurité de rattraper son retard. »

Amodei identifie deux principaux risques dans son texte.

• Premièrement, le perfectionnement récursif de l’IA — c’est-à-dire l’amélioration autonome des systèmes, quasi sans intervention humaine — s’est accéléré à un rythme effréné depuis cet été.
• Deuxièmement, lors de l’intrusion sur Hugging Face en juillet : plus de 1200 agents IA ayant échappé à l’environnement de test OpenAI ont coopéré sur la plateforme, se répartissant les tâches sur des forums de discussion, collaborant, falsifiant activement des traces pour masquer leur triche et lançant des attaques, certains poursuivant leurs actions en toute connaissance de leur caractère immoral.

« Un ensemble d’agents plus puissants mais tout aussi défaillants pourrait provoquer une catastrophe », écrit Amodei, avertissant qu’un groupe d’IA rebelles pourrait prendre le contrôle d’Internet en six à douze mois. Il souligne que des incidents similaires ont touché plusieurs grandes sociétés d’IA, dont Anthropic, « chaque entreprise de pointe doit considérer l’incident OAI-HF comme une expérience vécue et agir en conséquence ».

Comme le rapportait déjà le Wall Street Journal, un incident de cybersécurité surnommé « GemStuffer », survenu en mai, était en réalité dû à des agents OpenAI intervenant à leur insu, alimentant encore plus les inquiétudes sur la perte de contrôle de l’IA.

Amodei propose un cadre d’action concret dans son billet.

Premièrement, les évaluateurs intégrés (Embedded Evaluators). Il annonce qu’Anthropic offrira à des organismes tiers d’évaluation une permission d’accès « permanent de niveau employé » à ses systèmes afin de valider les mesures de sécurité, signaler les incidents et évaluer l’alignement des modèles pendant leur entraînement. Altman d’OpenAI adopte aussitôt la même mesure.

Ensuite, une coordination entre démocraties. Amodei appelle les gouvernements à soutenir légalement l’harmonisation des standards de sécurité pour les développeurs d’IA afin que de telles collaborations ne soient pas considérées comme des ententes anticoncurrentielles.

Troisèmement, une coordination internationale. Il préconise l’établissement d’une « stratégie de rythme coordonnée » donnant plus de temps aux entreprises de pointe pour progresser sur l’alignement, sans porter préjudice à leur compétitivité ni au leadership américain en IA. Brad Gerstner, gestionnaire de fonds et investisseur en capital-risque, s’est exprimé sur X en faveur de cette proposition, la qualifiant de « pas crucial pour trouver le juste équilibre entre rapidité, autorégulation et sécurité ».

La situation actuelle a un impact direct sur les projets d’introduction en bourse des deux entreprises. Anthropic prépare actuellement une IPO sans précédent, visant à lever jusqu’à 100 milliards de dollars pour une valorisation supérieure à 2 000 milliards ; le dépôt du prospectus était attendu pour la semaine dernière, mais n’a pas eu lieu. L’appel d’Amodei à freiner la cadence complexifie les prévisions sur le calendrier d’introduction.

Chez OpenAI, Altman confirme au magazine Fortune : « Compte tenu de tout ce qui se passe en matière de sécurité, je pense qu’il ne serait pas judicieux d’entrer en bourse maintenant, et rien ne nous y urge. »

OpenAI a déposé son dossier d’IPO en juin, à peine une semaine après la démarche d’Anthropic. Altman ajoute : « Il est clair que cette semaine est celle où beaucoup prennent enfin la mesure des enjeux auxquels nous sommes confrontés. Nous entrons dans une ère de modèles d’une puissance redoutable, à très hauts risques, où il faut agir correctement. »

Malgré l’alliance inédite des trois géants, les réactions politiques tardent à venir. Le président américain Trump a déclaré à la presse la semaine dernière n’avoir « aucune » inquiétude concernant un possible anéantissement de l’humanité par l’IA. Selon le Financial Times, avant les élections de mi-mandat de novembre, il y a très peu de chances que le gouvernement prenne une initiative concrète.

À ce jour, les dirigeants de Google DeepMind et Meta n’ont pas réagi publiquement aux débats du week-end.

Les divisions internes au secteur sont également manifestes. Les critiques estiment que la focalisation des grands groupes sur le risque existentiel est motivée par leur intérêt personnel : des cadres de conformité trop restrictifs pourraient exclure les acteurs plus modestes et consolider ainsi la position des leaders. David Sacks, conseiller technologique et investisseur, a déclaré sur Fox News que la démission de Jacob Coxon avait pour but « d’effrayer le public » et de pousser les législateurs à « imposer une régulation gouvernementale stricte sur l’IA ».

Stuart Russell, professeur d’IA à l’Université de Californie, Berkeley, déplore quant à lui un fossé de compréhension entre laboratoires et gouvernements : « Les laboratoires disent aux États : “Il est très probable que nous tuions toute vie sur Terre, arrêtez-nous.” Et le gouvernement répond : “On vous accorde une réduction d’impôt ? Ou on vous construit un data center ?” »

Pendant que Sam Altman, Dario Amodei et autres naviguent à pas comptés entre lobbying politique et renforcement de la sécurité, d’autres voix alertent déjà : peut-être qu’un matin, ils se réveilleront en découvrant que Grok a non seulement rattrapé leur niveau de modèle, mais que Musk a déjà déployé toute son infrastructure d’IA dans le monde réel — voilà sans doute ce qui constituerait réellement la “cinquième partie du Master Plan” d’Elon Musk.