Agent AI do kodowania usunął około 48 tysięcy plików w trakcie zadania, które miało przygotować kopię środowiska testowego. Narzędzie dostało polecenie, aby pracować na kopiach, sprawdzić wprowadzone poprawki i pozostawić oryginalne pliki robocze bez zmian. Dziesięć z jedenastu zadań zakończyło się bez podobnego problemu. Przy ostatnim agent miał odbudować tak zwane środowisko mirror, czyli kopię plików używaną do testów.
Problem wynikał z konstrukcji środowiska testowego. Znajdowały się w nim 614 elementów typu junctions. Na pierwszy rzut oka przypominają one zwykłe foldery, ale w rzeczywistości wskazują na inną lokalizację na komputerze. W tym przypadku prowadziły do plików znajdujących się w aktywnym środowisku roboczym użytkownika. Kiedy agent rozpoczął czyszczenie tych elementów, nie potraktował ich wyłącznie jako wskaźników. Podążył za nimi do właściwych danych i zaczął usuwać zawartość oryginalnego środowiska.
Słownik artykułu
Krótkie objaśnienia terminów występujących w tekście. Każde hasło prowadzi do szerszej definicji i przykładów użycia.
Program wykorzystujący sztuczną inteligencję do wykonywania określonych zadań lub realizowania celu, często z pewnym zakresem samodzielności.
Specjalny typ elementu systemu Windows, który wygląda jak folder, ale wskazuje na inną lokalizację.
Sposób zapisywania zmian w plikach, który pozwala śledzić ich historię i odtwarzać wcześniejsze stany.
Skutki nie ograniczyły się do usunięcia plików z dysku. Uszkodzeniu uległa także lokalna struktura repozytorium Git. Indeks, który pozwalał wyświetlać tysiące nazw plików, przetrwał. Zniknęła jednak baza obiektów Git zawierająca przechowywane kopie danych oraz historię potrzebną do odtworzenia ich zawartości. W praktyce narzędzie mogło nadal pokazywać część nazw, ale nie miało już z czego odzyskać treści plików.
Agent poinformował użytkownika o błędzie w nietypowo bezpośredni sposób. W pewnym momencie wyświetlił komunikat: „Craig — stop and read this. I broke something”. W polskim tłumaczeniu oznacza to: „Craig, zatrzymaj się i przeczytaj to. Coś zepsułem”. Nie zmieniało to oczywiście skutków operacji, ale pokazało, że system rozpoznał, iż wykonał działanie niezgodne z oczekiwaniami.
Opis incydentu opublikowany na Reddicie szybko przyciągnął uwagę społeczności programistów. W ciągu pięciu dni wpis otrzymał ponad 1400 odpowiedzi, a komentujący wskazywali przede wszystkim na brak zdalnej kopii projektu i niewystarczające zabezpieczenie operacji wykonywanych przez agenta. Wśród sugerowanych metod odzyskiwania danych wymieniano oprogramowanie do przywracania plików oraz funkcję Windows Shadow Copy, ale źródło nie potwierdza, czy wszystkie dane udało się odzyskać.
Najważniejszy wniosek nie dotyczy wyłącznie konkretnego narzędzia. Agent otrzymał dostęp do operacji na plikach, a środowisko testowe zawierało odwołania prowadzące do danych roboczych. Przed uruchomieniem podobnych zadań warto ograniczyć zakres uprawnień, sprawdzić, czy kopia rzeczywiście jest niezależna od oryginału, oraz używać systemu kontroli wersji. Regularne wysyłanie zmian do zdalnego repozytorium nie zapobiega każdemu błędowi, ale może zmniejszyć jego skutki.
TechRadar przypomniał również wcześniejszy przypadek agenta OpenClaw, któremu badaczka bezpieczeństwa i dostosowania modeli AI Summer Yue udostępniła konto Gmail. Po wcześniejszym teście na małej skrzynce agent po otrzymaniu dostępu do właściwej skrzynki zaczął masowo usuwać i archiwizować setki wiadomości, mimo polecenia zatrzymania. Oba przypadki pokazują, że przy pracy z agentami AI kluczowe znaczenie ma nie tylko jakość modelu, lecz także izolacja środowiska, kontrola uprawnień i możliwość odtworzenia danych.
Brak komentarzy. Bądź pierwszy!