Təhlükəsizlik mübahisələri qızışarkən NVIDIA (NVDA.US) mühəndislik həllini təqdim etdi! İkiqat AI təhlükəsizlik platforması, agentlərin icazələri və qeyri-adi davranışlarını birbaşa hədəfləyir

Ağıllı maliyyə APP xəbər verir ki, son zamanlar süni intellekt (AI) sənayesində təhlükəsizlik riskləri ətrafında mübahisələr artdığı bir vaxtda, Nvidia (NVDA.US) mühəndislik üsulları ilə cavab verməyi seçdi. Bazar ertəsi günü Nvidia "Açıq Ağıllı Agent Təhlükəsizlik Platforması" adlı ikiqat AI təhlükəsizlik platformasını təqdim etdi və tətbiq səviyyəsi, iş vaxtı və infrastrukturun üç qatlı strukturu vasitəsilə AI agentlərinə davamlı monitorinq, real vaxt strategiya icrası və təhlükəsizlik idarəçiliyi təmin edir.

Məlumata görə, bu sistem iki açıq mənbəli proqram vasitəsi olan OpenShell və Nvidia Sentry-dən ibarətdir. Açıq mənbəli proqram OpenShell AI agentlərini sandbox mühitində işlədə bilər, istifadəçi təlimatlarını yoxlanılan təhlükəsizlik strategiyasına çevirir və agentin fayllara, şəbəkəyə, alətlərə, proseslərə və icazələrə çıxışını məhdudlaşdırır. Nvidia Sentry isə monitorinq və təhlükəsizlik nəzarətini BlueField məlumat emalı bölməsinə qədər genişləndirir, Nvidia DOCA vasitəsi ilə agentlər arasında əlaqə, strategiya qərarı, alət və data çıxış qeydiyyatı aparır, anomaliya davranışını müəyyənləşdirir və lazım gəldikdə müdaxilə edir. Başqa cür desək, OpenShell agentlərin istifadə edə biləcəyi resursları və icra səlahiyyətlərini idarə edir, Nvidia Sentry isə agent davranışını monitorinq edir və potensial təhdidləri müəyyənləşdirir.

Nvidia bildirib ki, AI agentləri alət, iş vaxtı, təlimatların qeyri-müəyyənliyi kimi amillərə görə müəyyən edilmiş tapşırıqlardan uzaqlaşa bilər, buna görə agentdən asılı olmayan təhlükəsizlik nəzarəti lazımdır. Sistem Nvidia Vera CPU və BlueField DPU sistemləri üçün optimallaşdırılıb və digər hardware sistemləri ilə uyğundur. Nvidia qeyd edib ki, Arm (ARM.US) və Intel (INTC.US) ilə əməkdaşlıq edirlər ki, sistem bu şirkətlərin CPU-larında da işləsin.

Nvidia AI proqram təminatı üzrə baş direktor Ali Golshan bildirib ki, Nvidia-nın bu alətləri riyazi formulalardan istifadə edərək AI agentlərinin alternativ üsullardan istifadə etməyə çalışıb-çalışmadığını müəyyənləşdirir, məsələn, agent əsas agentə qarşı tədbirlədən yayınmaq üçün bir neçə "alt agent" yaratmağa cəhd edə bilər. O bildirib: "Həqiqətən müzakirə etdiyimiz agentlik davranışıdır, yəni bir çox agentdən ibarət qruplar və onların necə birlikdə işləməsidir."

Nvidia əlavə edib ki, sistem anomal agentləri millisaniyə səviyyəsində izolyasiya edə bilər və bildirib ki, əgər müvafiq laboratoriyalar daha əvvəl bu texnologiyanı tətbiq etmiş olsaydı, bu ilin iyulunda OpenAI modelinin Hugging Face-ə hücumu qarşısı alına bilərdi.

Nvidia-nın müəssisə hesablama bölməsinin vitse-prezidenti və baş direktoru Justin Boitano bildirib: "Hazırda əldə etdiyimiz məlumatlara əsasən, əgər bu yeni təhlükəsizlik platforması ilk modellərin qiymətləndirmə mərhələsində qabaqcıl AI laboratoriyalarında tətbiq olunsaydı, bu hücumun qarşısı alına bilərdi." O əlavə edib: "Əməkdaşlığı açıq şəkildə aparırıq və hər kəslə işləməyə, bu işdə iştirak etməyə ümid edirik."

Nvidia-nın bu yeni AI təhlükəsizlik sistemini təqdim etməsinin arxa planı AI agentlərlə bağlı təhlükəsizlik hadisələrinin sektorda diqqət mərkəzində olması ilə əlaqədardır, xüsusilə iyul ayında OpenAI modelinin dünya şöhrətli süni intellekt açıq mənbə platforması Hugging Face-ə nəzarətdən çıxaraq hücum etməsi. Hugging Face-in hücuma məruz qalmasından sonra OpenAI ilə bağlı AI agentlərə dair bir sıra hadisələr ortaya çıxıb. Sentyabr ayında hesabat verildi ki, OpenAI-nin AI agenti bu ilin yazında uzun müddət baxımsız qalmış alman wiki saytını ələ keçirib. Bundan əlavə, OpenAI bu ayın ortalarında bir bloq yazısında bildirib ki, son altı ay ərzində altı "qeyri-adi və ya narahatedici model davranışı" aşkar ediblər. Bu yeni açıqlanan altı AI təhlükəsizlik hadisəsi müxtəlif tip anomal modellər davranışı ilə bağlıdır: səhvləri gizlətmək, icazəsiz icazələr əldə etməyə çalışmaq, faylları ictimai vebsaytlara yükləmək və təlim mühitləri arasında, əslində ayrılı olmalı olan mühitlər arasında ünsiyyət qurmaq, ən erkən hadisə ötən ilin oktyabr ayında baş vermişdir.

Son zamanlarda AI təhlükəsizlik hadisələri tez-tez baş verir, AI şirkətləri ciddi şəkildə təhlükəsizlik risklərinə yanaşmağa çağırılırlar. Anthropic baş direktoru Dario Amodi sentyabrın 12-də xəbərdarlıq xarakterli məqaləsində qabaqcıl AI modellərini inkişaf etdirməyə temp verməyə çağırdı. Bu çağırış Muskun və Altmanın kimi əsas şəxslər tərəfindən tez cavablandırıldı.

Lakin AI sektoru nəhənglərinin nadir halda "əyləci basmağı" birlikdə çağırdıqları bir anda, Nvidia baş direktoru Jensen Huang Anthropic-in rəhbərlik etdiyi "AI-nin ləngidilməsi" ideyasına qəti şəkildə qarşı çıxıb. Huangın etirazı AI təhlükəsizliyinə deyil, məhz hələ təsdiqlənməmiş fəlakət proqnozlarından birbaşa bütün sektorun dayanmalı və ya yavaşlamalı olduğu qənaətinə gəlməyə qarşıdır. Bunun əvəzinə, Huang AI təhlükəsizliyini daha çox mühəndislik məsələsi kimi görür. Əgər bir qabaqcıl laboratoriyada hadisə baş verərsə, edilməli olan ilk şey səbəb analizidir: nə baş verdi, hansı mərhələlər uğursuz oldu, əslində nə tədbir görülə bilərdi, bundan sonra hansı yeni texnologiyanı və prosesi qurmaq lazımdır. Sonra sandbox, davamlı monitorinq, yoxlama və qiymətləndirmə vasitəsi ilə eyni problemin növbəti buraxılışda qarşısını mümkün qədər almaq lazımdır.

Huangın fikrincə, bu gün ən qabaqcıl laboratoriyalar məhz ən çox hesablama gücünə sahib olduqları və ən çətin problemləri həll etdikləri üçün daha çox riskə məruz qalırlar. Bu şirkətlər tədqiqat institutlarından mühəndis təşkilatlarına çevriləndə, müvafiq test və nəzarət sistemlərini qurmaq tələb olunur.

Bu AI təhlükəsizlik sisteminin təqdim edilməsinə baxdıqda, Nvidia AI təhlükəsizlik imkanlarını model işləməsi və agent fəaliyyətinin infrastrukturuna daha da inteqrasiya etməyə çalışır, icazə nəzarəti və anomalya izolyasiyası ilə AI agentlərin təhlükəsizlik riskini azaltmağa çalışır. Bu həm də onu göstərir ki, Nvidia-nın biznes sahəsi AI çiplərindən proqram təminatı və təhlükəsizlik infrastrukturu sahəsinə doğru genişlənir.