Nebius (NBIS.US) придбав ізраїльський стартап Inferize для посилення бізнесу AI-інференції, сума угоди може сягнути 150 мільйонів доларів.

Додаток Zhìtóng Caíjīng повідомив, що постачальник AI хмарної інфраструктури Nebius (NBIS.US) оголосив про придбання ізраїльського стартапу з штучного інтелекту Inferize, щоб ще більше посилити свої можливості у сфері AI inference інфраструктури. Inferize спеціалізується на зменшенні простою графічних процесорів (GPU) та прискоренні розгортання великих моделей штучного інтелекту. За оцінками ізраїльського технічного медіа Calcalist, сума угоди складає від 100 до 150 мільйонів доларів США, проте Nebius не розкрив конкретні фінансові умови.

Основна мета цього придбання — підвищити ефективність використання ресурсів GPU, особливо в умовах швидких змін попиту на inference AI, допомогаючи Nebius швидше розподіляти обчислювальні ресурси та скорочувати час простою дорогих пристроїв обчислювальної потужності.

Зосередження на вирішенні вузьких місць ефективності inference AI — зменшення простою GPU

Основна технологія Inferize спрямована на вирішення проблеми “cold start” при розгортанні моделей AI. Cold start означає, що перед тим як AI модель почне обробляти запити користувачів, повинно відбутися завантаження моделі та ініціалізація відповідних ресурсів. Коли запускається новий inference екземпляр, GPU може змушений чекати завершення завантаження моделі, перш ніж почати обчислення, що призводить до короткочасного простою ресурсів.

Ця проблема особливо помітна при різкому рості попиту на inference AI. Коли кількість запитів різко зростає, хмарні провайдери повинні швидко запускати більше inference екземплярів, але якщо завантаження моделі займає багато часу, нові ресурси GPU не можуть бути використані негайно, що впливає на швидкість сервісу та загальну ефективність використання обчислювальної потужності.

Технологія Inferize має на меті скоротити цей час очікування, щоб нові ресурси inference могли швидше приступати до роботи, а масштабування потужності точніше відповідало змінному попиту.

Для Nebius це означає, що компанія має шанс гнучкіше задовольняти потреби клієнтів і підвищити ефективність існуючої інфраструктури без необхідності постійно утримувати великі обсяги резервних GPU-ресурсів.

Данила Штан, технічний директор Nebius, вказав, що для ефективного виконання inference AI сервісів потрібно не лише швидкі GPU та оптимізовані моделі, а й система, що оперативно реагує на зміни попиту, включаючи швидке надання додаткових обчислювальних потужностей у разі збільшення запитів. Він підкреслив, що Inferize не лише має технологію для прискорення цього процесу, але й володіє командою інженерів із великим досвідом роботи з GPU-системами.

Nebius планує включити інженерів Inferize до своєї команди, що займається inference, та інтегрувати технології в inference AI платформу Token Factory, щоб підвищити здатність реагувати на запити клієнтів і дозволити існуючій інфраструктурі виконувати більше реальних обчислювальних завдань.

Штан також зазначив, що внесок команди Inferize у майбутньому не обмежуватиметься лише початковою інтеграцією технології.

Зниження вартості резервної потужності та підвищення ефективності операцій AI-інфраструктури

Гай Бортніков, співзасновник та генеральний директор Inferize, підкреслив, що хмарні провайдери зазвичай повинні підтримувати певний обсяг запасних GPU-ресурсів для негайного реагування на запити клієнтів, а ці пристрої, що перебувають у режимі очікування, спричиняють додаткові витрати. Він відзначив, що Inferize було створено саме для зменшення цих витрат, а співпраця з Nebius дозволяє застосовувати технології безпосередньо на реальній AI хмарній платформі.

У сфері inference AI ефективність розподілу обчислювальних ресурсів безпосередньо впливає на вартість операцій інфраструктури. Через високу ціну GPU, якщо компанії доводиться тривалий час утримувати значні резерви обчислювальної потужності для можливих піків попиту, це може негативно вплинути на загальну рентабельність інвестицій.

Скорочуючи час запуску моделей та прискорюючи доступність обчислювальних ресурсів, Nebius може підвищити гнучкість своїх сервісів і зменшити залежність від резервної GPU потужності.

Варто зазначити, що раніше Бортніков також був співзасновником компанії Granulate з оптимізації обчислювальної інфраструктури. Granulate розробляла технології для підвищення ефективності роботи обчислювальних ресурсів, і у 2022 році була придбана Intel (INTC.US). Це також підтверджує досвід команди Inferize у сфері оптимізації обчислювальної інфраструктури.

Небіус послідовно укладає угоди з AI технологічними компаніями — посилення інфраструктури inference

Придбання Inferize — частина серії недавніх угод Nebius у сфері AI inference та оптимізації моделей. Раніше Nebius вже придбав компанію Eigen AI, сума угоди склала 643 мільйонів доларів США. Крім того, нещодавно компанія придбала AI технологічну компанію Clarifai, але конкретна сума угоди не розголошувалася.

Ці придбання спрямовані на підсилення можливостей Nebius у сфері inference AI та оптимізації моделей AI, і ще більше вдосконалюють AI інфраструктурні сервіси компанії.

На відміну від традиційних інвестицій у інфраструктуру для тренування AI-моделей, які фокусуються на обчислювальній потужності, inference AI більше акцентує увагу на ефективності роботи моделей при їх практичному використанні, включаючи швидкість обробки запитів, розподіл обчислювальних ресурсів, розгортання моделей та собівартість потужності в розрахунку на одну одиницю.

Зі зростанням інтеграції технологій, бізнес-стратегія Nebius почала охоплювати не лише надання обчислювальних GPU-ресурсів, але й технології та сервіси для підвищення реальної ефективності роботи AI-моделей.

Придбання Inferize ще більше зміцнить технічні можливості Nebius у сфері динамічного розподілу обчислювальної потужності та швидкого розгортання моделей. Однак, якою буде реальна економія витрат і підвищення ефективності від інтеграції цих технологій, ще належить перевірити в процесі подальших операцій.