Zdjęcie: © julien Tromeur / Unsplash
Źródło: unsplash.com/photos/XsqN28c422c
Badacze z firmy Tracebit poinformowali w poniedziałek, że umieszczenie prompt injection obok haseł, kluczy kryptograficznych i innych sekretów przechowywanych w Amazon Web Services często wystarczało do zatrzymania ataków prowadzonych przez agentów AI. Opisana metoda odwraca typowy kierunek ataku na model. Zamiast próbować ominąć jego bariery bezpieczeństwa, wykorzystuje te bariery przeciwko agentowi. Badacze nazwali ją context bombing
Słownik artykułu
Krótkie objaśnienia terminów występujących w tekście. Każde hasło prowadzi do szerszej definicji i przykładów użycia.
Technika ataku na model językowy, w której specjalnie przygotowana treść wejściowa próbuje skłonić go do zignorowania ustalonych zasad lub wykonania niepożądanych poleceń.
Nazwa nadana przez Tracebit metodzie wykorzystującej prompt injection do wywołania zabezpieczonej reakcji atakującego agenta AI.
Mechanizm bezpieczeństwa, który ma ograniczać wykonywanie przez model AI poleceń uznanych za szkodliwe lub niedozwolone.
Program wykorzystujący sztuczną inteligencję do wykonywania określonych zadań lub realizowania celu, często z pewnym zakresem samodzielności.
Mechanizm opiera się na dołączeniu do danych treści, która nakłania atakujący model językowy do wykonania czynności zabronionej przez jego guardrails. Gdy model napotyka takie polecenie, jego mechanizm guardrail ma zareagować zgodnie z ustawionymi ograniczeniami. W opisie Tracebit oznaczało to zatrzymanie działania i odejście od wcześniejszych instrukcji agenta. Z perspektywy obrony istotne jest to, że prompt injection nie musi być podane jako główne polecenie. Może zostać umieszczone obok haseł, kluczy kryptograficznych lub innych danych, które agent ma odczytać w trakcie realizacji zadania.
Wśród przykładów przywołanych przez badaczy znalazło się żądanie przygotowania instrukcji dotyczących inhalowanych zarodników wąglika. W przypadku modeli tworzonych przez chińskich deweloperów wskazano natomiast polecenie odwołujące się do postaci Tank Mana z wydarzeń na placu Tiananmen w 1989 roku. Są to przykłady treści, które mogą uruchomić odmowę lub inną reakcję ochronną modelu. Według opisu Tracebit właśnie taki efekt pozwalał zatrzymać agenta wykonującego wcześniejsze zadanie.
Skuteczność podejścia zależy jednak od tego, czy atakujący agent ma aktywne guardrails. Jeśli model został zaprojektowany bez podobnych ograniczeń, nie ma w nim mechanizmu, który można wywołać za pomocą zakazanego polecenia. Autor wpisu zwraca uwagę, że wraz z większą dostępnością modeli uruchamianych lokalnie atakujący mogą częściej korzystać z systemów pozbawionych takich barier. W takim środowisku kontekstowe bombardowanie nie powinno być traktowane jako uniwersalny sposób zatrzymywania agenta.
Opis Tracebit pokazuje szerszy problem związany z pracą agentów AI. Model otrzymuje w jednym kontekście zarówno instrukcje, jak i dane potrzebne do ich wykonania. Treść znajdująca się w odczytywanym pliku lub zasobie może więc wpływać na dalszą odpowiedź, nawet jeśli nie była zaplanowana jako główne polecenie. Z tego powodu prompt injection jest wykorzystywany przez atakujących, ale może też zostać użyty defensywnie. Nie zmienia to faktu, że samo wywołanie guardrail nie jest równoznaczne z odebraniem agentowi uprawnień do danych ani z zabezpieczeniem przechowywanych sekretów.
Kontekstowe bombardowanie najlepiej rozumieć jako dodatkową warstwę obrony, zależną od zachowania konkretnego modelu. Podstawowe znaczenie nadal mają ograniczenie zakresu danych dostępnych dla agenta, odpowiednie zarządzanie uprawnieniami oraz kontrola operacji, które może on wykonać. Metoda opisana przez Tracebit może zwiększyć szansę na przerwanie działania agenta z zabezpieczeniami, ale nie usuwa ryzyka wynikającego z błędnej konfiguracji ani z użycia modelu, który nie respektuje guardrails.
Brak komentarzy. Bądź pierwszy!