У середу фірма з безпеки штучного інтелекту Irregular оголосила про залучення 80 мільйонів доларів у новому раунді фінансування, який очолювали Sequoia Capital і Redpoint Ventures з участю генерального директора Wiz Ассафа Раппапорта. Джерело, близьке до угоди, повідомило, що компанія отримала оцінку в 450 мільйонів доларів.
“Ми вважаємо, що незабаром велика частина економічної активності буде пов’язана з взаємодією між людьми та штучним інтелектом, а також між різними системами ШІ,” сказав співзасновник Дан Лахав. “Це призведе до зламу безпеки в багатьох аспектах.”
Раніше відома як Pattern Labs, Irregular вже займає значну позицію у сфері оцінки ШІ. Робота компанії згадуються в оцінках безпеки для моделей Claude 3.7 Sonnet, а також o3 і o4-mini від OpenAI. Більш загалом, фреймворк компанії для оцінки здатності моделі виявляти вразливості (під назвою SOLVE) широко використовується в індустрії.
Зосереджуючись на існуючих ризиках, Irregular збирає кошти для реалізації ще більш амбіційної мети: виявлення нових ризиків і поведінки ще до їх прояву. Компанія побудувала складну систему симульованих середовищ, що дозволяє проводити інтенсивне тестування моделей перед їх випуском.
“Ми маємо складні мережеві симуляції, де ШІ виконує ролі як нападника, так і захисника,” зазначає співзасновник Омер Нево. “Отже, коли нова модель виходить, ми можемо бачити, де захист працює, а де — ні.”
Безпека стала важливою темою для індустрії штучного інтелекту, адже з появою нових моделей зростають і потенційні ризики. Цього літа OpenAI переглянула свої внутрішні заходи безпеки, зокрема, приділяючи увагу ймовірному корпоративному шпигунству.
Одночасно моделі ШІ все частіше виявляють вразливості програмного забезпечення – здатність, яка має серйозні наслідки як для нападників, так і для захисників.
Для засновників Irregular це лише початок численних викликів у сфері безпеки, які викликані зростаючими можливостями великих мовних моделей.
“Якщо мета передових лабораторій полягає у створенні дедалі більш складних і потужних моделей, то наша мета — забезпечити безпеку цих моделей,” каже Лахав. “Але це постійно змінюється, тому обсяги роботи в майбутньому тільки зростатимуть.”
