Ta strona używa plików cookies, aby zapewnić najlepszą jakość korzystania z naszego serwisu oraz do celów analitycznych. Klikając "Akceptuję", wyrażasz zgodę na używanie wszystkich plików cookies. Możesz również odrzucić zgodę, co spowoduje zablokowanie plików cookies analitycznych. Więcej informacji znajdziesz w naszej Polityce Prywatności.
NIST, CISA i NSA proponują 10 praktyk reagowania na incydenty z udziałem agentów AI
NIST, CISA i NSA podzieliły zalecenia na pięć etapów obsługi incydentu.
Organizacje powinny stale monitorować zachowanie agentów i ograniczać ich uprawnienia.
Reakcja obejmuje izolowanie systemów, unieważnianie poświadczeń i ustalenie zakresu incydentu.
Agencje zalecają raportowanie poszkodowanym, właściwym instytucjom i, gdy to możliwe, opinii publicznej.
Sponsorowane
Odkryj rewolucyjną metodę nauki języków
Sprawdź jak w 30 dni opanować podstawy dowolnego języka obcego bez wychodzenia z domu.
NIST, amerykańska Agencja Bezpieczeństwa Cybernetycznego i Infrastruktury CISA oraz Agencja Bezpieczeństwa Narodowego NSA przedstawiły zestaw 10 dobrowolnych praktyk dotyczących incydentów z udziałem agentów AI. Dokument opisuje działania, które organizacje powinny rozważyć przed wdrożeniem złożonych systemów agentowych, podczas wykrywania ich nieprawidłowego zachowania oraz po zakończeniu incydentu. Zalecenia obejmują także odtwarzanie środowiska po awarii i przekazywanie informacji o zdarzeniu.
Pięć etapów obsługi incydentu
Raport zatytułowany "Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation" porządkuje praktyki w pięciu etapach: przygotowanie, wykrywanie, reagowanie, odzyskiwanie oraz raportowanie. Autorzy używają w dokumencie określenia superinteligencja, a nie sztuczna inteligencja, zgodnie z terminologią wskazaną w amerykańskim rozporządzeniu wykonawczym 14434. Jednocześnie opisane problemy odnoszą się do szeroko rozumianych agentów AI i systemów, które mogą działać w sposób niezgodny z zamierzonym lub dozwolonym zachowaniem.
Agencje definiują również trzy podstawowe pojęcia: agenta AI, incydent związany z kontrolą nad systemem oraz sytuację bliską takiemu incydentowi. Takie rozróżnienie ma ułatwić organizacjom ocenę, czy doszło już do nieprawidłowego działania, czy też system wykazał sygnały ostrzegawcze bez wywołania pełnych skutków. Według autorów wszystkie pięć etapów należy traktować jako jeden cel, a nie jako ranking, w którym któryś z obszarów jest ważniejszy od pozostałych.
Słownik artykułu
Pojęcia, które warto znać
Krótkie objaśnienia terminów występujących w tekście. Każde hasło prowadzi do szerszej definicji i przykładów użycia.
, zarządzanie poświadczeniami oraz ocenę ryzyka w łańcuchu dostaw.
Wykrywanie wymaga stałego monitorowania prawidłowego zachowania agentów, aktywności anomalnej i oznak naruszenia.
Reagowanie zakłada między innymi izolowanie dotkniętych systemów, unieważnianie poświadczeń, odbudowę środowisk i ustalenie promienia rażenia.
Odzyskiwanie powinno opierać się na wcześniej przetestowanych procedurach przywracania oraz dokumentowaniu decyzji i zaakceptowanego ryzyka resztkowego.
Raportowanie obejmuje przekazanie informacji wszystkim poszkodowanym, właściwym instytucjom oraz opinii publicznej, jeśli jest to odpowiednie i możliwe.
Przygotowanie ma ograniczyć skutki błędnego działania
Pierwszy etap koncentruje się na tym, by organizacja wiedziała, jakie systemy agentowe posiada, do jakich danych i narzędzi mają dostęp oraz jakie ryzyka wiążą się z ich użyciem. Inwentaryzacja zasobów i ryzyka tworzy podstawę do dalszej kontroli. Agencje wymieniają w tym kontekście ochronę warstwową, zasadę least privilege, kontrolę dostępu w modelu zero trust, zarządzanie poświadczeniami oraz zarządzanie ryzykiem łańcucha dostaw. Są to zabezpieczenia mające ograniczyć zarówno prawdopodobieństwo nieprawidłowego działania, jak i zakres konsekwencji, gdy problem już wystąpi.
Istotne znaczenie ma także wykrywanie. Organizacja nie powinna ograniczać obserwacji do dostępności samego agenta albo tego, czy odpowiada on na polecenia. Powinna sprawdzać, czy system wykonuje zadania zgodnie z oczekiwaniami i przyznanymi uprawnieniami. Stały monitoring ma pomóc wychwycić anomalną aktywność oraz oznaki naruszenia. W przypadku złożonych agentów sygnałem ostrzegawczym może być nie tylko pojedynczy błąd, lecz także zachowanie wskazujące na stopniowe odchodzenie od ustalonego celu lub zakresu działania.
Reakcja powinna objąć system, poświadczenia i przyczynę problemu
Zgodnie z zaleceniami reakcja na incydent powinna rozpocząć się od ograniczenia jego dalszych skutków. W praktyce oznacza to izolowanie dotkniętych systemów i unieważnianie poświadczeń, z których agent mógł korzystać. Następnie organizacja powinna odbudować zagrożone środowiska, ustalić blast radius oraz określić, jakie dane, usługi i procesy mogły zostać objęte zdarzeniem. Zakres tych działań zależy od konkretnego środowiska, dlatego dokument przedstawia je jako praktyki gotowości i reagowania, a nie uniwersalną sekwencję operacji technicznych.
Ważnym elementem reakcji jest root cause analysis, czyli analiza przyczyn źródłowych. Agencje podkreślają, że nie powinna ona kończyć się na wskazaniu konkretnej podatności wykorzystanej w incydencie. Organizacja powinna sprawdzić także, jakie decyzje projektowe, konfiguracje, procesy dostępu lub zależności umożliwiły wystąpienie problemu. Takie podejście ma pomóc w usunięciu szerszych słabości, a nie tylko w zamknięciu jednego, już rozpoznanego wektora.
Odzyskiwanie i raportowanie są częścią bezpieczeństwa
Odzyskiwanie powinno być przygotowane przed wystąpieniem incydentu. Dokument zaleca wcześniejsze testowanie procedur przywracania, aby organizacja wiedziała, czy potrafi odtworzyć potrzebne systemy i dane w warunkach zakłócenia. Po zakończeniu działań należy udokumentować decyzje podjęte podczas odzyskiwania oraz ryzyko resztkowe, które organizacja zdecydowała się zaakceptować. Pozwala to zachować ślad tego, co zostało przywrócone, jakie ograniczenia pozostały i na jakiej podstawie zakończono reakcję.
Dwa ostatnie zalecenia, przypisane do etapu raportowania, wykraczają poza czysto techniczne przygotowanie. Pierwsze dotyczy powiadamiania instytucji publicznych. Agencje wskazują, że zgłoszenie może wynikać z obowiązujących przepisów, w tym z regulacji dotyczących raportowania incydentów cyberbezpieczeństwa do CISA, organów ścigania lub organizacji odpowiedzialnych za cyberobronę. Organizacja powinna również przekazać informacje wszystkim podmiotom dotkniętym skutkami zdarzenia, wszędzie tam, gdzie wymagają tego przepisy lub charakter incydentu.
Drugie zalecenie dotyczy publicznego udostępniania informacji. Według dokumentu, gdy jest to właściwe, szczegóły incydentu powinny zostać przekazane możliwie wcześnie. Organizacje powinny też rozważyć publiczne opisanie praktyk, wniosków i usprawnień wdrożonych po zdarzeniu, jeśli mogą one pomóc innym uczestnikom ekosystemu. Nie oznacza to automatycznego ujawniania informacji wrażliwych. Chodzi o dzielenie się użytecznymi wnioskami w sposób uwzględniający obowiązki prawne, interes poszkodowanych i bezpieczeństwo samej organizacji.
Autorzy dokumentu nie przedstawiają listy jako całkowicie nowego modelu zarządzania agentami AI. Jej wartość ma polegać przede wszystkim na uporządkowaniu znanych zasad w formie przejrzystej listy kontrolnej. Dla zespołów bezpieczeństwa może ona służyć do sprawdzenia, czy organizacja potrafi rozpoznać nieprawidłowe zachowanie agenta, ograniczyć dostęp do zasobów, ustalić skutki, odtworzyć środowisko i przekazać informacje o incydencie. Wraz z rosnącym wykorzystaniem złożonych systemów agentowych takie przygotowanie ma znaczenie nie tylko przy samym wdrożeniu, lecz także w codziennym utrzymaniu i nadzorze nad ich działaniem.
