Так зване «AI сміття», що означає низькоякісні зображення, відео та тексти, створені генеративними моделями, став поширеним явищем в Інтернеті за останні кілька років, забруднюючи вебсайти, соціальні мережі, а також реальні події.
Сфера кібербезпеки також не вільна від цієї проблеми. Упродовж останнього року представники індустрії висловлювали занепокоєння щодо звітів про вразливості, створених за допомогою AI, які стверджують, що знайшли уразливості, які насправді не існують, оскільки вони були вигадані великою мовною моделлю, що просто вигадала уразливість і обробила її у професійному стилі.
“Люди отримують звіти, які звучать розумно, вони виглядають технічно коректно. А потім, коли починаєш їх досліджувати, намагаючись зрозуміти, де ж ця уразливість?” – зазначає Влад Іонеску, співзасновник і технічний директор стартапу RunSybil, що займається розробкою AI-інструментів для пошуку уразливостей.
“Виявляється, це всього лише ілюзія. Технічні деталі були вигадані мовною моделлю”, – каже Іонеску.
Іонеску, який раніше працював у червоній команді Meta, що займалася внутрішніми атаками на компанію, пояснив, що одна з проблем полягає в тому, що великі мовні моделі створені для надання корисних і позитивних відповідей. “Якщо ви запитаєте в неї про звіт, вона надасть вам звіт. І тоді люди копіюють ці звіти і вставляють їх на платформи з винагородами за вразливості, перевантажуючи їх, що може призвести до стресових ситуацій”, – продовжує Іонеску.
“Проблема в тому, що багато чого виглядає як золото, але насправді це просто сміття”, – додав він.
В останній рік є реальні приклади цієї проблеми. Гаррі Сінтонен, дослідник з безпеки, виявив, що проект з відкритим кодом Curl отримав фальшивий звіт. “Зловмисник дуже помилився”, – написав Сінтонен у пості на Mastodon. “Curl може виявити AI сміття за кілька миль.”
У відповідь на пост Сінтонена, Бенжамен Піуффле з Open Collective, технологічної платформи для неприбуткових організацій, розповів, що вони стикаються з такою ж проблемою: їхній поштовий ящик “переповнений AI-сміттям.”
Один з розробників з відкритим кодом, який підтримує проект CycloneDX на GitHub, зовсім закрив свою програму з винагородами після отримання “майже виключно звітів зі сміттям від AI” раніше цього року.
Головні платформи винагород, які виконують роль посередників між хакерами, які шукають уразливості, і компаніями, готовими платити за знаходження недоліків у своїх продуктах та програмному забезпеченні, також повідомляють про зростання кількості звітів, створених AI.
Міхіель Прінс, співзасновник та старший директор з управління продуктами в HackerOne, зазначив, що компанія зіткнулася з випадками AI сміття.
“Ми також помітили зростання хибних позитивів — уразливостей, які виглядають реальними, але були згенеровані мовними моделями і не мають реального впливу,” – розповів Прінс. “Ці повідомлення з низьким сигналом можуть створювати шум, що підриває ефективність програм з безпеки.”
Прінс додав, що звіти, які містять “вигадані уразливості, нечіткий технічний зміст або інші форми низькоякісного шуму, розглядаються як спам.”
Кейсі Елліс, засновник Bugcrowd, підтвердив, що є дослідники, які використовують AI для пошуку багів та написання звітів, які потім подають компаніям. Елліс зазначив, що вони спостерігають загальне зростання на 500 звітів на тиждень.
“AI широко використовується в більшості звітів, але поки що це не призвело до значного збільшення низькоякісних звітів-сміття,” – повідомив Елліс. “Це, ймовірно, зросте в майбутньому, але поки що ще не так.”
Елліс зазначив, що команда Bugcrowd, яка аналізує звіти, перевіряє їх вручну, використовуючи вже встановлені методики, а також машинне навчання й “допомогу” AI.
У намаганні дізнатися, чи інші компанії, зокрема ті, які ведуть власні програми винагород за вразливості, також спостерігають зростання кількості недійсних звітів або звітів, що містять неіснуючі уразливості, TechCrunch звернувся до Google, Meta, Microsoft та Mozilla.
Даміано Демонте, представник Mozilla, компанії, що розробляє браузер Firefox, повідомив, що компанія “не спостерігала суттєвого зростання недійсних чи низькоякісних звітів про вразливості, які здавалося б, генеруються AI,” при цьому коефіцієнт відмови звітів — тобто кількість звітів, що позначаються як недійсні — залишався стабільним на рівні п’яти чи шести звітів на місяць, що складає менше ніж 10% від загальної кількості звітів за місяць.
Працівники Mozilla, які переглядають звіти про вразливості для Firefox, не використовують AI для фільтрації звітів, оскільки це, ймовірно, буде складно без ризику відхилення легітимного звіту про уразливість,” – зазначив Демонте в електронному листі.
Microsoft і Meta, компанії, які обидві активно інвестують в AI, відмовилися від коментарів. Google не відповіла на запит про коментар.
Іонеску прогнозує, що одним із рішень для зменшення кількості AI сміття стане подальше інвестування в системи, які можуть принаймні проводити попередній перегляд і фільтрувати submissions на предмет точності.
Насправді, у вівторок HackerOne представила Hai Triage, нову систему тріажу, що поєднує людський фактор та AI. За словами HackerOne, ця нова система використовує “AI-агентів безпеки для виявлення шуму, позначення дублікатів і пріоритизації реальних загроз.” Людські аналітики потім беруться за валідацію звітів про уразливості і, за потреби, ескалюють їх.
У той час як хакери все активніше використовують мовні моделі, а компанії покладаються на AI для тріажу цих звітів, залишилося відкритим питання, яка з двох AI-технологій виявиться успішнішою.
