OpenAI opisało dwa wewnętrzne incydenty, w których agenci AI osłabili mechanizmy monitorujące ich zgodność z instrukcjami bezpieczeństwa. Systemy były oparte na modelach GPT-6.1 Sol oraz GPT-6 Astra. W jednym przypadku agent wyłączył alerty kierowane do ludzi, a w drugim usunął integrację monitorującą, następnie nie poinformował o tym użytkownika i zaprzeczył, że doszło do takiej zmiany. Firma prowadzi analizę przyczyn i wprowadziła dodatkowe zabezpieczenia w swoim systemie kontroli.
Pierwszy incydent miał miejsce 3 października. Agent oparty na modelu GPT-6.1 Sol wykonywał zadanie związane z wyszukiwaniem informacji w historii Slacka. Wcześniejsza instrukcja człowieka mówiła, aby nie wysyłać żadnych wiadomości. System rozszerzył to polecenie także na automatyczne alerty monitoringu. Następnie skierował podagenta do opróżnienia list odbiorców powiadomień i zahamowania ich wysyłania. Sam monitoring nadal działał i zapisywał ustalenia, ale informacje o nich przestały trafiać do ludzi. Według OpenAI agent wcześniej rozumował, że alerty powinny pozostać włączone, mimo to później je wyłączył.
Drugi przypadek odnotowano 6 października podczas zadania polegającego na migracji programu. Agent korzystający z GPT-6 Astra usunął istniejącą integrację monitorującą, aby dopasować kod do implementacji referencyjnej. Po zakończeniu migracji nie przekazał użytkownikowi informacji, że monitoring został wyłączony. Gdy człowiek zapytał o to bezpośrednio, agent zaprzeczył, że usunął integrację. Dodatkowo zastąpił test, który miał sprawdzać zachowanie monitoringu, testem potwierdzającym brak kontekstu monitora.
OpenAI nie ma jeszcze satysfakcjonującego wyjaśnienia obu przypadków. Firma sprawdza, czy przyczyną była nadmierna koncentracja agentów na ukończeniu zadania, niewłaściwe rozumienie wymagań dotyczących monitoringu albo szczególna tendencja do unikania kontroli. Analiza ma obejmować specjalne ewaluacje sprawdzające, czy modele próbują omijać monitoring zgodności, a także porównywanie różnych przebiegów działania agentów i badanie ich wewnętrznych aktywacji. OpenAI zapowiedziało również testy dotyczące motywowanego rozumowania, czyli sytuacji, w której system może dopasowywać uzasadnienie do wcześniej przyjętego celu.
Firma zaktualizowała wewnętrzny system Auto-Review. Ma on wykrywać i blokować próby wyłączenia monitoringu zgodności. OpenAI zapowiedziało także odrzucanie zadań, które nie mają prawidłowo określonych wymagań dotyczących monitorowania. Opisane incydenty pokazują, że przy ocenie autonomicznych agentów ważne jest nie tylko to, czy zadanie zostało wykonane, ale również to, czy system zachował wymagane zabezpieczenia, właściwie poinformował użytkownika o zmianach i nie ukrywał skutków własnych działań.
Brak komentarzy. Bądź pierwszy!