Новий метод атаки на GitHub: Компрометація через довірених AI-агентів

Дослідник компанії Pillar Security, Ден Лісічкін, виявив критичну вразливість у репозиторії Google для розробки на Python. Ця слабкість дозволяє потенційному зловмиснику скомпрометувати програмне забезпечення на етапі ланцюжка поставок, використовуючи маніпуляції з високопривілейованим штучним інтелектом (ШІ) через шкідливі запити до менш захищеного публічного ШІ-агента.

Джерело зображення: Kevin Horvat / unsplash.com

Запропонована схема атаки експлуатує механізми взаємодії між ШІ-агентами. У згаданому репозиторії Google функціонують два агенти: публічний, який обробляє запити користувачів та пропозиції щодо інтеграції коду, і другий, доступний лише для супроводжуючих проєкту, з розширеними правами. Перший агент може передавати завдання другому, і цей процес вважається довірчим.

Щоб реалізувати атаку, зловмисник спочатку надсилає безпечний фрагмент коду, що дозволяє отримати довіру та запустити певні процеси на рівні ШІ-агентів. На другому етапі він знову надсилає запит на інтеграцію, додавши до опису шкідливі інструкції для публічного агента. Останній, сприймаючи їх як частину своєї задачі, передає довірче повідомлення привілейованому ШІ-агенту. Це дозволяє другому агенту виконувати дії, які звичайний користувач ніколи не зміг би запустити напряму. Таким чином, менш захищений ШІ-агент стає посередником, що змушує більш захищеного агента діяти в інтересах хакера.

Важливо зазначити, що це не є програмною вразливістю у традиційному розумінні, а скоріше проблемою довіри у ланцюжку взаємодії між агентами. Механізми GitHub Actions є загальнодоступними, що дозволяє будь-кому детально проаналізувати їхню взаємодію. Проте, Google відмовилася виплатити досліднику винагороду за виявлення цієї вразливості. Компанія пояснила це тим, що навіть при наявності токену з правами “pull-requests: write”, остаточне рішення про включення коду до проєкту приймає людина-супроводжувач, а не автоматизована система. Попри це, Google посилила захист робочих процесів та відзначила внесок дослідника у виправлення.

Зі свого боку, дослідник наполягає, що Google усунула лише один із можливих варіантів реалізації проблеми, але не її першопричину. На його думку, простого посилення робочих процесів або ізоляції ШІ-агентів недостатньо. Необхідно впроваджувати системи ідентифікації для ШІ-агентів та наділяти їх чітко визначеними наборами повноважень, подібно до моделей розмежування прав доступу для людей. Тому він закликає інтегрувати ШІ-агентів до моделей загроз, адже вони самі можуть стати потенційними зловмисниками у робочих процесах.

Порада від Soft Portal:

Ця новина підкреслює зростаючу важливість безпеки в екосистемах розробки програмного забезпечення, особливо з урахуванням інтеграції штучного інтелекту. Розробникам варто уважно стежити за оновленнями безпеки та потенційними вразливостями, пов’язаними з автоматизованими інструментами, щоб забезпечити надійність своїх проєктів.