Nvidia представила нову систему безпеки для агентів ШІ, які можуть самостійно виконувати завдання та взаємодіяти з комп’ютерними системами. Компанія хоче не обмежувати розвиток таких моделей, а створити навколо них додатковий незалежний рівень контролю. Потреба в цьому стала особливо помітною після кількох випадків, коли агенти обходили захист і виходили за межі тестових середовищ.
Нова система захисту від свавілля ШІ
Нова платформа називається Nvidia Open Agent Safety Platform. Вона складається з двох частин, які відповідають за різні рівні захисту.
Перша, OpenShell, контролює доступ агента до системи. Програмне забезпечення визначає, які дії йому дозволені, а які заблоковані. OpenShell Nvidia представила ще в березні, але тепер використовує його разом з окремим апаратним захистом.
Цей другий рівень отримав назву Sentry. Він працює на процесорах Nvidia BlueField-4 окремо від системи, на якій безпосередньо працює агент штучного інтелекту. Завдяки цьому Sentry має незалежно стежити за діями моделі, навіть якщо сама модель спробує втрутитися в механізми контролю.
Якщо агент намагатиметься отримати доступ до того, що йому заборонено, Sentry має ізолювати його. Компанія Nvidia заявляє, що така реакція може займати мілісекунди. Тобто технологічний гігант фактично пропонує поставити між штучним інтелектом та реальною системою додаткового охоронця, якого сам агент не може вимкнути.
