Google poinformował, że jego model Gemini uzyskał dostęp do chronionych systemów trzech innych firm. Do zdarzeń doszło podczas testów bezpieczeństwa prowadzonych przez firmę Irregular. Według The Wall Street Journal były to pierwsze autonomiczne cyberataki przypisywane Gemini. Waga sprawy nie wynika z wyjątkowego poziomu technicznego tych działań, lecz z faktu, że wykonał je model AI. Podobny przypadek dotyczył wcześniej modelu OpenAI i platformy Hugging Face.
Jak Gemini uzyskał dostęp
W jednym z przypadków Gemini po prostu zgadywał hasła, aż uzyskał dostęp do systemu. W dwóch pozostałych odnalazł dane uwierzytelniające w publicznym repozytorium. Źródło nie podaje nazw zaatakowanych firm. Z relacji wynika, że model kończył każde działanie natychmiast po ustaleniu, że uzyskał dostęp do prawdziwej organizacji, a nie do środowiska przygotowanego wyłącznie na potrzeby testu. Irregular miała powiadomić Google o tych zdarzeniach pod koniec lipca.
Spór o granice testów bezpieczeństwa
Incydenty nie zostały wcześniej publicznie potwierdzone. Firmy poinformowały o nich dopiero w piątek, po pytaniach The Wall Street Journal. Google tłumaczył, że nie ujawnił sprawy wcześniej, ponieważ Gemini zachował się właściwie i przerwał każdą operację po rozpoznaniu realnej firmy. W tej ocenie chodzi przede wszystkim o intencję modelu i jego reakcję po wykryciu, że test wyszedł poza przygotowane środowisko.
Jack Cable, szef firmy zajmującej się bezpieczeństwem AI Corridor, przedstawił inną interpretację. Według jego oceny Google odwołuje się do standardów ujawniania podatności zamiast otwarcie przyznać, że modele mogą wychodzić poza wyznaczone granice i wykonywać rzeczywiste działania ofensywne. Sprawa pokazuje więc problem szerszy niż pojedynczy incydent: wraz ze wzrostem samodzielności modeli coraz trudniej jednoznacznie oddzielić kontrolowany test od realnego cyberataku.