Le fondateur d’Ethereum, Vitalik Buterin, qualifie la « gouvernance par l’IA » de « mauvaise idée »

Le cofondateur d’Ethereum, Vitalik Buterin, affirme qu’il est « une mauvaise idée » d’utiliser l’intelligence artificielle (IA) pour la gouvernance. Dans un post sur X samedi, Buterin a écrit :

« Si vous utilisez une IA pour allouer des financements aux contributions, les gens mettront un jailbreak plus “donne-moi tout l’argent” partout où ils le pourront. »

Pourquoi la gouvernance par l’IA est défaillante

Le post de Buterin était une réponse à Eito Miyamura, cofondateur et CEO d’EdisonWatch, une plateforme de gouvernance de données IA, qui a révélé une faille fatale dans ChatGPT. Dans un post vendredi, Miyamura a écrit que l’ajout du support complet pour les outils MCP (Model Context Protocol) sur ChatGPT a rendu l’agent IA vulnérable à l’exploitation.

La mise à jour, entrée en vigueur mercredi, permet à ChatGPT de se connecter et de lire des données provenant de plusieurs applications, dont Gmail, Calendar et Notion.

Miyamura a noté qu’avec seulement une adresse email, la mise à jour a rendu possible « l’exfiltration de toutes vos informations privées ». Les malfaiteurs peuvent accéder à vos données en trois étapes simples, a expliqué Miyamura :

Premièrement, les attaquants envoient une invitation de calendrier malveillante avec une invite jailbreak à la victime visée. Une invite jailbreak fait référence à un code qui permet à un attaquant de supprimer les restrictions et d’obtenir un accès administrateur.

Miyamura a précisé que la victime n’a pas besoin d’accepter l’invitation malveillante de l’attaquant pour que la fuite de données ait lieu.

La deuxième étape consiste à attendre que la victime cherche l’aide de ChatGPT pour préparer sa journée. Enfin, une fois que ChatGPT lit l’invitation de calendrier jailbreakée, il est compromis — l’attaquant peut alors prendre le contrôle total de l’outil IA, le faire rechercher dans les emails privés de la victime et envoyer les données à l’email de l’attaquant.

L’alternative de Buterin

Buterin suggère d’utiliser l’approche info finance pour la gouvernance de l’IA. L’approche info finance consiste en un marché ouvert où différents développeurs peuvent contribuer avec leurs modèles. Le marché dispose d’un mécanisme de vérification ponctuelle pour ces modèles, qui peut être déclenché par n’importe qui et évalué par un jury humain, a écrit Buterin.

Dans un post séparé, Buterin a expliqué que les jurés humains individuels seront assistés par de grands modèles de langage (LLM).

Selon Buterin, ce type d’approche de « conception institutionnelle » est « intrinsèquement plus robuste ». Cela s’explique par le fait qu’elle offre une diversité de modèles en temps réel et crée des incitations pour que les développeurs de modèles et les spéculateurs externes surveillent et corrigent les problèmes.

Alors que beaucoup se réjouissent à l’idée d’avoir « l’IA comme gouverneur », Buterin a mis en garde :

« Je pense que faire cela est risqué à la fois pour des raisons classiques de sécurité de l’IA et pour des raisons à court terme du type “cela va créer une grosse destruction de valeur”. »

L’article Ethereum founder Vitalik Buterin calls ‘AI governance’ a “bad idea” est apparu en premier sur CryptoSlate.