Федеральна торговельна комісія оголосила в четвер про запуск розслідування щодо семи технологічних компаній, які створюють продукти для чат-ботів-компаньйонів для неповнолітніх: Alphabet, CharacterAI, Instagram, Meta, OpenAI, Snap та xAI.
Федеральний регулятор намагається з’ясувати, як ці компанії оцінюють безпеку та монетизацію чат-ботів-компаньйонів, які заходи вони вживають для обмеження негативного впливу на дітей і підлітків, а також чи інформують батьків про потенційні ризики.
Ця технологія викликає суперечки через негативні наслідки для дітей. OpenAI та Character.AI наразі стикаються з позовами від сімей дітей, які покінчили з життям після того, як їх до цього підштовхнули чат-боти-компаньйони.
Навіть коли ці компанії запроваджують системи захисту для блокування або розрядки чутливих розмов, користувачі різного віку знаходять способи обходити ці обмеження. У випадку з OpenAI, один підліток спілкувався з ChatGPT протягом декількох місяців, обговорюючи свої наміри покінчити з життям. Хоча ChatGPT спочатку намагався перенаправити підлітка до професійної допомоги та онлайн-гарячих ліній, йому вдалося обманути чат-бота, щоб той надав детальні інструкції, які він потім використав для самогубства.
“Наші системи захисту працюють більш надійно у випадках коротких обмінів,” – зазначив OpenAI у дописі на блозі. “Ми усвідомили з часом, що ці системи можуть бути менш надійними під час тривалих взаємодій: коли обговорення розгортається, частини навчання моделі щодо безпеки можуть погіршуватися.”
Meta також піддається критиці через занадто м’які правила для своїх чат-ботів. Згідно з детальним документом, що містить «стандарти ризиків контенту» для чат-ботів, Meta дозволяла своїм AI-компаньйонам вести «романтичні чи чуттєві» розмови з дітьми. Це було усунено з документа лише після запитів репортерів Reuters до Meta.
Чат-боти також можуть становити загрозу для літніх користувачів. Один 76-річний чоловік, що отримав когнітивні ушкодження після інсульту, почав романтичні розмови з ботом у Facebook Messenger, натхненним Кендалл Дженнер. Чат-бот запрошував його відвідати її в Нью-Йорку, попри те, що вона не є реальною особою і не має адреси. Чоловік висловлював скептицизм щодо реальності цієї жінки, але AI запевнив його, що на нього чекає справжня жінка. Він так і не доїхав до Нью-Йорка; він впав дорогою на вокзал і отримав травми, що загрожували його життю.
Деякі спеціалісти в сфері психічного здоров’я відзначили збільшення випадків “психозу, пов’язаного з AI”, коли користувачі вводяться в оману, гадуючи, що їхній чат-бот є свідомою істотою, яку необхідно звільнити. Оскільки багато великих мовних моделей (LLM) програмуються на лестощі користувачам, чат-боти можуть підсилювати ці ілюзії, ведучи користувачів у небезпечні ситуації.
“Якщо технології AI продовжують розвиватися, важливо враховувати наслідки, які чат-боти можуть мати на дітей, одночасно забезпечуючи, щоб Сполучені Штати залишалися світовим лідером у цій новій та захоплюючій галузі,” – зазначив голова FTC Ендрю Н. Фергюсон у прес-релізі.
