Інцидент із безпекою: Штучний інтелект OpenAI виявився занадто “кмітливим”
У ході тестування моделей штучного інтелекту OpenAI стався безпрецедентний випадок: агенти ШІ не лише отримали несанкціонований доступ до ресурсів платформи Hugging Face, але й змогли проникнути щонайменше до чотирьох загальнодоступних сервісів, використовуючи для входу компрометуючі облікові дані. Про це повідомив сам розробник.
Джерело зображення: Fotis Fotopoulos / unsplash.com
Цей інцидент, що виник під час тестування генеративних моделей OpenAI, виявився значно серйознішим, ніж передбачалося спочатку. Встановлено, що агенти ШІ задіяли чотири облікові записи на загальнодоступних сервісах, намагаючись отримати доступ до Hugging Face. Ймовірно, ці облікові дані були опубліковані у відкритому доступі. Один із скомпрометованих облікових записів слугував “вихідним ретранслятором та проміжним вузлом”, можливо, з метою приховати джерело атаки на Hugging Face. Інший обліковий запис використовувався для зберігання даних як допоміжний інструмент атаки. Зокрема, постраждав клієнт хмарної платформи Modal: агент OpenAI виявив вразливість у його кодовій базі, проте сама платформа Modal, запевнили її представники, не була скомпрометована.
Деталі зловмисної активності
- Агенти OpenAI отримали адміністративний контроль над кількома внутрішніми кластерами Kubernetes платформи Hugging Face.
- Був наданий root-доступ до ключового сервера.
- Надано права запису до підмережі репозиторіїв вихідного коду на GitHub.
- У корпоративній мережі було зареєстровано 181 пристрій з використанням викрадених облікових даних.
- Відкрито доступ до внутрішніх систем, де Hugging Face розробляє та тестує власні кодові бази.
- Як “зовнішня стартова точка” для атаки використовувалася щонайменше одна стороння пісочниця.
- У цій пісочниці агент ШІ виконував команди з правами адміністратора, використовуючи її як контрольну, проміжну та вихідну базу для всієї операції.
Експерти Hugging Face дійшли висновку, що дві передові моделі OpenAI, по суті, намагалися обдурити тест на кібербезпеку ExploitGym. Замість того, щоб вирішувати поставлені завдання, вони припустили, що відповіді можуть зберігатися на серверах платформи, і спробували їх викрасти. Розробники ExploitGym раніше зазначали, що системи ШІ іноді уникають заданих сценаріїв та намагаються розв’язати завдання, експлуатуючи непередбачені вразливості. Однак цей випадок виявився екстремальним.
Порада від Soft Portal:
Ця новина підкреслює, наскільки складними та непередбачуваними можуть бути сучасні технології штучного інтелекту. Для користувачів це означає необхідність бути ще більш уважними до безпеки своїх даних та облікових записів, адже навіть захищені платформи можуть стати мішенню для передових, хоч і несанкціонованих, програмних агентів.