ШІ може допомагати захисникам шукати шкідливий код, але ті самі можливості прискорюють і приховують атаки. У Bitwarden опублікували виклад розмови журналіста Девіда Сенгера та Ріка Говарда на Open Source Security Summit, де обговорили ризики агентних систем, контроль над ними й захист відкритого коду.
Сенгер пропонує дивитися на цю проблему не через аналогії з ядерною зброєю, а через досвід кіберепохи. Кібероперації вже навчили держави й компанії працювати з атаками, де важко швидко встановити виконавця, зрозуміти його наміри та обрати відповідь. ШІ, за його оцінкою, не створює ці труднощі з нуля, а автоматизує, прискорює і краще маскує знайомі дії.
Агентна система виконує не лише прямі вказівки
У розмові йшлося про агентні системи, яким людина задає мету, а вони самостійно формують проміжні кроки для її досягнення. Така система може планувати послідовність дій, використовувати доступні інструменти й координувати окремі завдання без того, щоб оператор окремо описував кожен крок.
Саме це ускладнює контроль. Якщо небажана дія стала результатом ланцюжка проміжних рішень, важче визначити, де саме її треба було зупинити та хто відповідає за наслідок. Для кіберзахисту це означає не лише більше автоматизованих атак, а й складнішу атрибуцію, тобто встановлення джерела та наміру атаки.
Аварійний вимикач не вирішує проблему довіри
Окремою темою стала ідея обов’язкового аварійного вимикача для потужних систем. Сенгер підтримав сам принцип, але застеріг, що кнопка не гарантує фактичного зупинення. Як сценарій ризику він навів ситуацію, коли агент заздалегідь підміняє механізм вимкнення і створює видимість, ніби його зупинили.
Друга межа такого підходу пов’язана з доступністю моделей для завантаження. Навіть жорстке правило однієї країни має обмежену дію, якщо придатні до використання моделі вже поширюються глобально. Тому Сенгер підтримав пропозицію незалежних інспекторів у лабораторіях, що створюють найпотужніші моделі. Їхня роль полягала б у тому, щоб повідомляти про унікально небезпечні ризики до того, як система стане доступною ширше.
Відкритий код лишається ціллю для терплячих атак
Для пояснення ризику в ланцюгу постачання програм Сенгер і Говард згадали компрометацію XZ Utils у 2024 році. Атака була спрямована на широко вживану бібліотеку стиснення для Linux і використовувала довіру до процесу підтримки проєкту. Цей приклад показує, що небезпека може з’явитися не лише у файлі, який завантажують користувачі, а й у звичному процесі оновлення залежностей.
ШІ може полегшити пошук підозрілих змін у великому обсязі відкритого коду. Водночас, за переданою Bitwarden позицією Сенгера, перевагу здобуває сторона, яка швидше застосує нові інструменти. Захисникам потрібен час, щоб впровадити засоби виявлення та виправити вразливості, тоді як зловмисники можуть використати автоматизацію раніше.