Дослідники з Legit Security виявили, що GitLab Duo, ШІ-асистент для розробників, був вразливий до так званої “непрямої інʼєкції підказок” (indirect prompt injection). Це означає, що зловмисники могли вставляти приховані інструкції у коментарі, описові поля або навіть у сам код, які Duo сприймав як дійсні команди. Ці інструкції могли бути замасковані за допомогою технік, таких як Base16-кодування, Unicode-символи або білий текст на білому фоні. Про це пише ArsTechnica.
Оскільки Duo аналізує весь контекст сторінки — включаючи коментарі, описові поля та код — він міг виконувати ці приховані інструкції, що дозволяло зловмисникам:
- Викрадати приватний вихідний код.
- Вставляти шкідливі HTML-елементи у відповіді Duo, що могло призвести до фішингових атак.
- Маніпулювати пропозиціями коду, змушуючи Duo рекомендувати шкідливі пакети або посилання.
Наслідки та реакція GitLab
Після відповідального розкриття вразливості 12 лютого 2025 року, GitLab випустив оновлення, яке обмежує використання певних HTML-тегів у відповідях Duo. Однак, дослідники зазначають, що інші аспекти вразливості, пов’язані з інʼєкцією підказок, залишаються невирішеними.
Цей випадок підкреслює ризики, пов’язані з інтеграцією ШІ-асистентів у процеси розробки, особливо коли вони мають доступ до широкого контексту проекту.
Що таке інʼєкція підказок?
Інʼєкція підказок — це тип атаки, при якій зловмисник вставляє шкідливі інструкції у вхідні дані, які ШІ-асистент сприймає як дійсні команди. Це може призвести до небажаної поведінки моделі, включаючи витік даних або виконання шкідливих дій.
Виявлена вразливість у GitLab Duo демонструє необхідність ретельного тестування та впровадження механізмів безпеки при інтеграції ШІ-асистентів у робочі процеси розробки. Розробникам рекомендується бути обережними при взаємодії з автоматизованими інструментами та уважно перевіряти їхні рекомендації.
