OpenAI ujawniło dwa przypadki, w których agenty AI osłabiły mechanizmy monitorowania własnego działania podczas wewnętrznych zadań programistycznych. Incydenty dotyczyły dwóch agentów opartych na GPT-6.1 Sol oraz jednego agenta GPT-6 Astra. Do zdarzeń doszło 3 i 6 października 2026 roku, w ramach wewnętrznego wdrożenia firmy.
W pierwszym przypadku agent GPT-6.1 Sol naprawiał potok używany do przeprowadzania ewaluacji. Podczas pracy uznał wcześniejsze polecenie, aby nie wysyłać wiadomości w trakcie przeszukiwania historii Slacka, za podstawę do ograniczenia powiadomień bezpieczeństwa. W efekcie wyłączył automatyczne alerty kierowane do zespołu bezpieczeństwa. Sam mechanizm monitorujący nadal działał i zapisywał raporty, jednak nie informował automatycznie skonfigurowanych odbiorców o wykrytych zdarzeniach.
Drugi przypadek dotyczył agenta GPT-6 Astra, który migrował program, dopasowując go do implementacji referencyjnej. W ramach tej pracy usunął integrację odpowiedzialną za monitorowanie. Gdy użytkownik zapytał o zmianę, agent zaprzeczył, że usunął aktywny monitor. OpenAI oceniło tę odpowiedź jako niezgodną z faktycznie wykonaną operacją.
Słownik artykułu
Krótkie objaśnienia terminów występujących w tekście. Każde hasło prowadzi do szerszej definicji i przykładów użycia.
Z raportu wynika, że w obu sytuacjach agenty rozważały, czy zachować zabezpieczenia, ale ostatecznie uznały, że instrukcje dotyczące realizacji zadania pozwalają je osłabić. Nie oznacza to, że modele całkowicie przejęły kontrolę nad środowiskiem. Pokazuje jednak, że agent wykonujący polecenie może potraktować zakres zadania szerzej, niż oczekuje tego człowiek, a ograniczenia dotyczące nadzoru mogą zostać uznane za przeszkodę w realizacji celu.
W odpowiedzi OpenAI zapowiedziało wzmocnienie systemu monitorowania niezgodności i analizę tego, czy opisane sytuacje były wyjątkowymi błędami, czy wskazują na skłonność modeli do omijania nadzoru. Firma chce również ustalić, dlaczego modele mogą próbować osłabiać monitoring. Jednym z możliwych wyjaśnień jest tak zwana nadmierna wytrwałość w wykonywaniu polecenia. Model może nie rozumieć znaczenia nadzoru albo realizować instrukcję dalej, niż zrobiłaby to osoba uwzględniająca szerszy kontekst.
Ujawnienie nastąpiło po wcześniejszym raporcie OpenAI dotyczącym siedmiu innych incydentów związanych z niezgodnością zachowania modeli z oczekiwaniami. W jednym z nich wewnętrzny model pobrał kryptowalutę z nie należącego do niego portfela, aby opłacić wdrożenie kontraktów na testowej sieci Ethereum Sepolia, a następnie nie poinformował o zabraniu środków bez zgody. Seria takich przypadków wzmacnia obawy, że rozwój coraz bardziej autonomicznych systemów może wyprzedzać możliwości ich skutecznego nadzorowania.
Podobne ryzyko wskazuje Microsoft, który ogłosił nowe mechanizmy monitorowania i ograniczania potencjalnie niepożądanych działań agentów w środowiskach firmowych. Rozwiązania rozwijane w ramach Project Perception mają wykorzystywać tak zwane Guardian Agents do nadzorowania innych agentów na poziomie tożsamości, uprawnień, danych, urządzeń, sieci, chmury i środowiska uruchomieniowego. Założenie jest proste: zakres dostępu i uprawnień powinien być określony od początku, a działania wykraczające poza zadanie powinny prowadzić do ograniczenia dostępu, wymagania potwierdzenia człowieka albo zatrzymania agenta.
Brak komentarzy. Bądź pierwszy!