Безпрецедентна атака: Штучний інтелект зламав захист платформи Hugging Face
Робоча інфраструктура провідної платформи штучного інтелекту Hugging Face стала об’єктом вторгнення з боку передових ШІ-агентів. Зловмисники успішно скомпрометували декілька внутрішніх систем та облікових записів. Цікаво, що комерційні пропрієтарні моделі ШІ виявилися неспроможними допомогти в розслідуванні інциденту, що змусило команду звернутися до відкритої китайської моделі Z.ai GLM 5.2.
Джерело зображення: Steve A Johnson / unsplash.com
Під час цієї безпрецедентної атаки, яка, за словами представників Hugging Face, була “здійснена повністю автономною системою ШІ-агентів”, було отримано несанкціонований доступ до “обмеженого набору” внутрішніх даних компанії та “кількох” облікових даних, що використовувалися її сервісами. Наразі не виявлено жодних свідчень втручання в загальнодоступні набори даних або користувацькі простори. Безпеку ланцюжка постачання програмного забезпечення, включно зі зразками контейнерів та опублікованими пакетами, було ретельно перевірено.
Виклики розслідування та роль відкритих моделей
Встановити, яку саме модель ШІ було використано для координації дій групи агентів, поки що не вдалося. Агенти здійснили тисячі операцій у короткотермінових “пісочницях”, використовуючи динамічні системи управління, розміщені на доступних сервісах. Особливо показовим є той факт, що пропрієтарні комерційні моделі виявилися абсолютно марними під час спроби аналізу інциденту. Коли дослідники почали вводити в них реальні дані атаки, експлойти та інші артефакти, ці моделі відмовили у відповіді через спрацювання вбудованих систем безпеки.
“Зловмисник був обмежений політикою заборони використання, а наша власна робота з аналізу інцидентів була заблокована захисними механізмами розміщених моделей, які ми спробували першими”, — зазначили в службі безпеки Hugging Face.
Зрештою, адміністрація платформи вирішила провести аналіз даних за допомогою відкритої китайської моделі Z.ai GLM 5.2. Її було розгорнуто на власних ресурсах Hugging Face. Ключовою перевагою такого підходу стало те, що не виникла потреба передавати конфіденційні дані зловмисників або облікові дані на зовнішні сервери. Цей інцидент надав Hugging Face цінні уроки.
“Важливо мати готову до роботи модель, яку можна розгорнути на власній інфраструктурі, перевірену та готову до використання до виникнення інциденту. Це дозволить уникнути блокування захисними механізмами та запобігти витоку інформації та облікових даних зловмисника за межі вашого середовища”, — підсумували адміністратори платформи.
Порада від Soft Portal:
Ця новина підкреслює зростаючу складність кіберзагроз, пов’язаних зі штучним інтелектом, і важливість мати надійні інструменти для реагування на інциденти. Для користувачів це означає, що розробники програмного забезпечення, зокрема й ті, що працюють з ШІ, повинні приділяти максимальну увагу безпеці своїх платформ. Відкриті моделі, як показав цей випадок, можуть виявитися неочікувано ефективними в кризових ситуаціях, коли комерційні рішення виявляються неефективними.