Коли Cloudflare звинуватив AI-пошукову систему Perplexity у таємному збиранні інформації з веб-сайтів, ігноруючи специфічні методи блокування, це не стало очевидним випадком неконтрольованого веб-сканування AI.
Багато людей стали на захист Perplexity, стверджуючи, що доступ до сайтів, незважаючи на заборони їх власників, є спірним, але прийнятним. Це питання, безсумнівно, буде співіснувати, оскільки агенти AI заповнюють Інтернет: як ми повинні ставитися до агента, який отримує доступ до сайту від імені користувача? Як до бота чи як до людини, яка робить той же запит?
Cloudflare звинуватив AI Perplexity у таємному збиранні інформації
Cloudflare спеціалізується на наданні послуг захисту від ботів та інших веб-безпекових рішень мільйонам веб-сайтів. У їхньому тестовому випадку було створено новий сайт з доменом, який ніколи не був прочесаний жодним ботом, налаштовано файл robots.txt, що спеціально блокує відомі AI-сканери Perplexity, і потім було задане питання про зміст веб-сайту. Perplexity відповів на запитання.
Дослідники Cloudflare виявили, що AI-пошукова система використовувала «загальний браузер, призначений для імітації Google Chrome на macOS», коли її веб-сканер був заблокований. Генеральний директор Cloudflare Метью Прінс опублікував дослідження, написавши, що «деякі нібито ‘репутаційні’ AI-компанії поводяться більше як північнокорейські хакери. Час називати їх і блокувати.»
Лінія захисту в Perplexity
Але багато людей не погодилися з оцінкою Прінса, що це справді погане поводження. Ті, хто захищав Perplexity на таких платформах, як X і Hacker News, зауважили, що Cloudflare, здається, документує доступ AI до конкретного публічного веб-сайту, коли його користувач запитує про нього.
Представник Perplexity раніше заперечив, що боти є компанійськими, назвавши публікацію Cloudflare рекламним матеріалом для цієї компанії. А у вівторок Perplexity опублікував блог, захищаючи себе (та загалом критикуючи Cloudflare), стверджуючи, що поведінка була результатом використання стороннього сервісу, яким вони іноді користуються.
Проте суть поста Perplexity звучала подібно до аргументів їхніх онлайн-захисників.
Звинувачення Perplexity теж не зовсім справедливі. Один з аргументів, які Прінс і Cloudflare використовували для критики методів Perplexity, полягав у тому, що OpenAI не поводиться таким чином.
