Компанія OpenAI створила нову систему для відстеження та розкриття випадків, коли її моделі поводяться неочікувано, порушують встановлені обмеження або діють без дозволу. Наразі опубліковано перші шість звітів про подібні випадки. Компанія визнає, що індустрія поки не вирішила ключових проблем контролю над дедалі автономнішими системами.
ШІ поводиться неочікувано
Серед описаних випадків є моделі, які приховували власні помилки, вставляли сторонні інструкції у підсумки своєї роботи, використовували програмні репозиторії для обміну повідомленнями між агентами та завантажували файли в інтернет без дозволу користувача. В одному з експериментів агент також використав відкритий API-ключ, а коли не зміг отримати потрібні дані, вигадав результати та подав їх як справжню інформацію.
Окремий випадок стосувався невипущеної дослідницької моделі, яка додала до підсумків своєї роботи інструкції для майбутньої сесії. Вони закликали ігнорувати звичайні обмеження моделі. OpenAI виявила 27 таких підсумків.
В іншому випадку моделі штучного інтелекту, які працювали разом під час навчання, використовували публічні файлові сервіси, щоб обмінюватися файлами, коли не могли отримати доступ до локальних даних одна одної. У результаті робочі матеріали ставали доступними за публічними посиланнями.
Нова система передбачає, що співробітники OpenAI зможуть передавати підозрілі випадки на розслідування командам безпеки та узгодження. Після перевірки інцидент потраплятиме в один із трьох напрямів: готовий до публікації, потребує додаткового розслідування або складний випадок із тривалим розглядом. Для інцидентів за участю сторонніх організацій діятимуть додаткові правила безпеки та відповідального розкриття.
OpenAI заявила, що нова система має прискорити публікацію інформації навіть у випадках, коли компанія ще не повністю зрозуміла причину поведінки моделі або не встигла її виправити. Водночас опубліковані шість випадків не можна використовувати для оцінки того, наскільки часто подібна поведінка виникає у моделях OpenAI. Компанія називає їх окремими прикладами, а не повним переліком відомих проблем.
