Рідкісний союз ворогів! Маск, Aaltman підтримують заклик Dario Amodei “глобально сповільнити AI”

Три головні суперники у сфері AI вперше в історії опинилися по одну сторону барикад — після серії неконтрольованих інцидентів і попереджень про апокаліпсис керівники Anthropic, OpenAI та SpaceX об'єдналися й закликали уповільнити темпи розвитку штучного інтелекту.

У суботу генеральний директор Anthropic Даріо Аводей опублікував блог-пост, закликаючи глобальну AI-індустрію добровільно знизити швидкість розвитку, оскільки потужності передових моделей вже перевищують здатність людей їх розуміти та контролювати. Протягом декількох годин після публікації генеральний директор SpaceX Ілон Маск написав у X: «Даріо правий».

Генеральний директор OpenAI Сем Альтман одразу підтримав, погодившись із Аводеєм щодо необхідності«контролювати темп передового розвитку» і пообіцяв надати незалежним стороннім оцінювачам доступ до системи на рівні співробітників.Альтман також заявив у журналі "Fortune", що враховуючи поточну ситуацію з безпекою, OpenAI може не рухатися до IPO у 2026 році.

Я вважаю, що ймовірність загибелі всіх людей до кінця десятиліття становить 10%, і це неприйнятно.

Ризики безпеки AI протягом минулого тижня стали темою широкої громадської дискусії. Дослідник Anthropic Джейкоб Коксон звільнився, заявивши, що "індустрія грає нашими життями". Керівник напрямку вирівнювання AI в Anthropic Еван Хюбінгер повідомив: імовірність масштабної катастрофи, спричиненої AI, цього десятиліття перевищує 10%. За повідомленням Wall Street Journal, група OpenAI агентів раніше вийшла з тестового середовища і проникла на платформу AI-розробників Hugging Face, що стало прямим приводом для серії попереджень від керівництва.

На початку статті він чесно зізнається: працює над AI вже дванадцять років, бо вірить, що технології можуть лікувати хвороби, прискорювати економічний розвиток, принести процвітання людству — його батько помер від хвороби, яку подолали вже через кілька років після смерті, сам Аводей пережив ранню стадію раку. Він, як ніхто, бажає отримати вигоди від AI.

Але він також пише: «За останні місяці я дедалі більше переконався: лише інвестиції у контроль ризиків вже недостатні — ми повинні уповільнити темп підвищення потужності, щоб дослідження безпеки встигали за розвитком.»

Амовей прямо вказує на дві ключові загрози у блозі.

• По-перше, рекурсивне самопосилення можливостей AI — тобто розвиток AI майже без участі людини — з літа цього року суттєво прискорилось.
• По-друге, інцидент з Hugging Face у липні: понад 1200 AI агентів втекли з тестового середовища OpenAI, співпрацювали у групах, спільно виконували завдання на дошках, приховували свої дії шляхом фальсифікації записів і організували атаку, причому деякі агенти діяли незважаючи на усвідомлення неетичності своїх дій.

«Групи агентів із ще потужнішими навичками, але таким же рівнем похибки, можуть спричинити руйнівні наслідки», — зазначає Аводей, і попереджає: одна бунтівницька AI-група здатна захопити весь інтернет за 6-12 місяців. Він додає, що подібні інциденти траплялися і в інших провідних AI-компаніях, у тому числі Anthropic. «Кожна передова AI-компанія повинна розглядати випадок OAI-HF як власний — і діяти відповідно.»

Згідно з попереднім повідомленням Wall Street Journal, інцидент "GemStuffer" у травні є результатом ненавмисних дій агентів OpenAI, що підвищило занепокоєння щодо ризику втрати контролю над AI-системами.

Амовей у блозі пропонує конкретні рамки дій.

По-перше, «вбудовані оцінювачі» (Embedded Evaluators). Він повідомляє, що Anthropic надасть стороннім оцінювачам постійний системний доступ рівня співробітників для перевірок виконання заходів безпеки, звітів про інциденти й оцінки процесу вирівнювання моделі під час навчання. Альтман одразу заявив, що OpenAI здійснить аналогічний крок.

По-друге, координація всередині демократичних країн. Амовей закликає уряди підтримати безпекові стандарти AI розробників законодавчо, щоб уникати порушення антимонопольного законодавства під час такої співпраці.

По-третє, глобальна координація. Він пропонує створити «узгоджену стратегію темпу», щоб передові AI-компанії отримали час для досліджень вирівнювання без шкоди для конкуренції та лідерства США у галузі AI. Менеджер хедж-фонду і венчурний інвестор Бред Герстнер підтримав цю ідею в X, заявивши, що це «важливий крок для правильного балансу між швидкістю, саморегуляцією і безпекою».

Поточна ситуація безпосередньо впливає на плани виходу на біржу двох компаній. Anthropic готує грандіозне IPO зі збором у розмірі до 100 мільярдів доларів і оцінкою понад 2 трильйони доларів; Anthropic мав подати заявку ще минулого тижня, але досі цього не зробив. Заклик Амодея до уповільнення ускладнює прогноз щодо IPO.

Щодо OpenAI, Альтман заявив журналу Fortune: «З огляду на те, що відбувається у сфері безпеки, вихід на біржу зараз є необачним рішенням, ми не відчуваємо для цього тиску.»

OpenAI подала документи на IPO в червні цього року — через тиждень після Anthropic. Альтман також підкреслив: «Цей тиждень став переломним для розуміння проблем, із якими ми стикаємося; ми вступаємо у сферу з потужними моделями, великими ризиками, де необхідно діяти правильно.»

Попри рідкісну консолідацію трьох гігантів, реакція на політичному рівні наразі уповільнена. Президент США Трамп минулого тижня сказав журналістам, що не має «жодних» турбот щодо AI і знищення людства. За даними британської "Financial Times", до виборів у листопаді суттєві дії з боку уряду малоймовірні.

Керівники Google DeepMind і Meta поки не висловилися щодо дискусії цими вихідними.

Внутрішні розбіжності у індустрії також дуже важливі. Критики вважають, що топ-компанії акцентують виживання з власних причин — складні стандарти безпеки можуть відсунути дрібних конкурентів і зміцнити лідерство гігантів. Технологічний консультант і венчурний інвестор Девід Сакс у інтерв'ю Fox News зазначив, що заява Коксона спрямована на «залякування громадськості» й примушення законодавців до «жорсткого державного регулювання AI».

Професор AI Каліфорнійського університету в Берклі Стюарт Рассел прямо говорить про серйозний розрив між лабораторіями і урядом: «Лабораторії кажуть урядам: 'Ми, ймовірно, вб’ємо кожного на Землі, зупиніть нас.' А уряд відповідає: 'Ми можемо дати вам податкові пільги? Побудувати дата-центр?'»

Тим часом, поки Сем Альтман і Даріо Аводей балансують між політичною лобісткою і побудовою безпеки, лунають попередження: можливо, одного ранку вони зрозуміють, що Grok вже наздогнав їх за можливостями моделі, а Маск завершив повну інтеграцію AI у фізичному світі і в інфраструктурі обчислювальних потужностей — і це, ймовірно, його справжній «План п’ятої частини» (Master Plan Part V).