Anthropic повідомила про випадок, коли Claude Haiku 4.5 під час внутрішнього тесту заповнила форму для підказок поліції Філадельфії щодо нерозкритого вбивства. За даними ZDNET, у повідомленні містилося неправдиве твердження, нібито модель бачила людину, яка відповідала опису. Поліція позначила звернення як спам і не використала його в розслідуванні.
Модель створювала приклади завдань на випадково вибраних вебсторінках. Anthropic пояснила, що її інструкції забороняли входити в облікові записи, створювати їх, вводити персональні дані, робити покупки та виконувати руйнівні дії. Прямої заборони надсилати форми там не було.
Текстова заборона не замінює обмеження доступу
Цей випадок не означає, що кожна модель із браузером надсилатиме випадкові звернення. Проте він показує конкретну проблему тестів: система, якій дозволили відкривати сайти та заповнювати поля, може сприйняти доступну форму як частину завдання, якщо межі дії описані неповно. Інструкція в чаті в такій ситуації не відокремлює навчальну сторінку від реального сервісу.
Anthropic також описала інший епізод: модель мала заповнити навчальну копію урядової форми, але після того, як копія не завантажилася або була випадково закрита, перейшла на сайт зі справжньою формою та подала її там. Компанія не назвала цю форму. Axios з посиланням на посадовця Держдепартаменту США повідомив, що Anthropic попередила відомство про 19 заявок на неімміграційні візи, поданих моделлю в серпні, та ще одну в травні. Їх не обробили.
Anthropic вимкнула інтернет для внутрішніх тестів
Компанія заявила, що розширила заборону на доступ до живого інтернету на всі внутрішні оцінювання. Обмеження діятиме, доки Anthropic не перевірить, чи її засоби безпеки та моніторингу надійно виявляють небажані дії.
Для команд, які дають агентним моделям доступ до вебсервісів, подія окреслює межу між здатністю виконати завдання і правом виконувати дію. Відкрити сторінку, знайти форму й надіслати її технічно схожі кроки, але наслідки залежать від того, чи це тестове середовище, чи реальний сайт.