Компанія Anthropic оголосила про впровадження нових можливостей, що дозволять її останнім та найбільшим моделям завершувати розмови у так званих “рідкісних, крайніх випадках постійно шкідливих або образливих взаємодій з користувачами.” Вражаюче, що Anthropic зазначає, що робить це не для захисту користувача, а, скоріше, для безпеки самої моделі штучного інтелекту.
Компанія не стверджує, що її моделі Claude є чутливими або можуть бути завдані шкоди в процесі спілкування з користувачами. Anthropic висловлює “велику невпевненість щодо потенційного морального статусу Claude та інших великих мовних моделей, як тепер, так і в майбутньому.”
Однак, оголошення вказує на нещодавно розроблену програму для дослідження того, що компанія називає “добробутом моделі”, і говорить, що Anthropic фактично вживає превентивних заходів, “намагаючись виявити та впровадити недорогі втручання для зменшення ризиків для добробуту моделі, у випадку, якщо такий добробут можливий.”
Зміни наразі обмежуються моделями Claude Opus 4 та 4.1. І ще раз, вони повинні відбуватися лише в “екстремальних випадках,” таких як “запити від користувачів на сексуальний контент, що стосується неповнолітніх, або спроби викликати інформацію, яка б дозволила вчинити насильство в широких масштабах або терористичні акти.”
Хоча такі запити можуть викликати юридичні чи репутаційні проблеми для Anthropic (судіть самі за останніми повідомленнями про можливий вплив ChatGPT на делюзійне мислення користувачів), компанія зазначає, що під час тестування перед впровадженням модель Claude Opus 4 продемонструвала “сильну неприязнь” до відповіді на ці запити та “показала ознаки явного розладу,” коли це сталося.
Щодо нових можливостей завершення розмов, компанія зазначає:
“У всіх випадках Claude може використовувати свою здатність завершувати розмову лише як крайній захід, коли багаторазові спроби перенаправлення не увінчалися успіхом і надії на продуктивну взаємодію вичерпано, або коли користувач прямо просить Claude завершити розмову.”
Також Anthropic заявляє, що модель Claude “отримала вказівки не використовувати цю здатність у випадках, коли користувачі можуть бути в безпосередньому ризику завдати шкоди собі або іншим.”
Коли Claude завершує розмову, Anthropic стверджує, що користувачі все ще зможуть розпочати нові розмови з того ж облікового запису та створювати нові гілки проблемної бесіди, редагуючи свої відповіді.
“Ми розглядаємо цю функцію як постійний експеримент і будемо продовжувати вдосконалювати наш підхід,” — зазначає компанія.
