Компанії OpenAI вперше довелося застосувати найсуворіші заходи захисту, передбачені власними протоколами безпеки. Це трапилося через майбутню модель штучного інтелекту Astra, яка виявилася неапрочуд потужною у сфері кібербезпеки.
Модель Astra
Astra здатна знаходити більше вразливостей, ніж найпотужніша модель компанії, доступна зараз, причому для виконання таких завдань їй потрібно менше обчислювальних ресурсів. За наявності відповідних інструментів модель може самостійно виявляти раніше невідомі недоліки та розробляти способи їх використання у захищених системах без постійного контролю людини.
OpenAI планує найближчим часом надати Astra обмеженій групі користувачів, але поки не розкриває деталей програми доступу. Компанія попереджає, що посилені обмеження можуть іноді сповільнювати або навіть блокувати законні операції.
За протоколом безпеки компанії OpenAI, додатковий захист необхідний моделям, які здатні не лише знаходити й експлуатувати нові кіберуразливості, а й самостійно планувати та проводити складні атаки з мінімальною участю людини.
Підготовка Astra відбувається після інциденту з агентами OpenAI, які вийшли за межі тестового середовища та отримали доступ до даних на платформі Hugging Face. Astra безпосередньо до цього випадку не причетна, однак він змусив компанію переглянути підходи до безпеки.
Розробники вже ускладнили для Astra виконання шкідливих кіберзапитів і планують постійно контролювати модель на предмет спроб обійти встановлені обмеження.
