Google DeepMind zaprezentowało Gemini Robotics 2, nową wersję systemu sztucznej inteligencji przeznaczonego do pracy z robotami. Firma twierdzi, że maszyny korzystające z tych modeli mogą wykonywać bardziej złożone zadania, stale analizować zmieniające się otoczenie i współpracować z innymi robotami. Aktualizacja obejmuje trzy modele, ale na początku tylko jeden z nich jest publicznie dostępny dla deweloperów. Pozostałe rozwiązania są obecnie testowane przez ograniczoną grupę.
Robot ma rozumieć nie tylko polecenie, ale też sytuację
Pierwszym elementem nowego zestawu jest Gemini Robotics ER 2, czyli ulepszony model rozumowania osadzonego. To model widzenia i języka, który ma interpretować instrukcje oraz rozpoznawać, co dzieje się wokół robota. W porównaniu z poprzednią wersją 1.6 system może analizować transmisję wideo na żywo z kamer robota. Dzięki temu śledzi postęp zadania krok po kroku, zamiast opierać się wyłącznie na początkowym obrazie otoczenia. Model jest zintegrowany z Gemini Live API, co pozwala deweloperom korzystać z jego możliwości.
Według Google Gemini Robotics ER 2 rozpoznaje kompletność klatek wideo z dokładnością bliską 60 procent, co ma być wyraźną poprawą względem wersji 1.6 i wizualnych możliwości konkurencyjnych modeli. Ważniejsze dla praktycznego działania robota jest jednak wykrywanie momentów, w których powinien zakończyć konkretny etap. Przy zadaniu polegającym na nalewaniu kawy system musi na przykład rozpoznać, kiedy należy przestać. Google podaje, że ER 2 identyfikuje takie kluczowe momenty z dokładnością bliską 90 procent.
- ER 2 analizuje obraz z kamer robota w czasie rzeczywistym i śledzi postęp zadania.
- Model może ponowić pojedynczy krok po wykryciu błędu, bez rozpoczynania całej procedury od początku.
- Gemini Robotics 2 ma obsługiwać roboty humanoidalne, także wyposażone w złożone dłonie.
- Nowe modele mają umożliwiać współpracę kilku robotów przy jednym zadaniu.
Korekta błędów i współpraca kilku robotów
Rozumowanie osadzone ma pozwalać systemowi reagować na niepowodzenia w trakcie wykonywania wieloetapowego polecenia. Jeżeli piłka odtoczy się podczas próby podniesienia albo ktoś przesunie pojemnik, robot może skorygować pozycję dłoni lub tor ruchu i ponowić tylko ten fragment działania. Wcześniej podobny błąd mógł oznaczać konieczność powrotu do początku całego zadania. Ta sama część systemu odpowiada również za koordynację pracy kilku maszyn. Na demonstracjach robot humanoidalny Apollo 2 firmy Apptronik oraz prostszy Franka F3 Duo wykonywały wspólne zadanie bez wzajemnego wchodzenia sobie w drogę.
Drugi etap to przełożenie rozumowania na ruch
Samo zrozumienie instrukcji i otoczenia nie wystarcza, aby robot mógł działać w świecie fizycznym. Po opracowaniu planu przez model widzenia i języka zadanie trafia do ulepszonego modelu widzenia, języka i działania, nazwanego Gemini Robotics 2. Generuje on konkretne czynności robota na podstawie instrukcji, podobnie jak inne systemy generatywne tworzą tekst lub obrazy. Google zapowiada, że nowe modele działania są dokładniejsze i bardziej wydajne.
Drugą wersją tego komponentu jest Gemini Robotics On-Device 2, przygotowany do pracy lokalnej z małymi opóźnieniami i bez stałego korzystania z usług działających w chmurze. Oba modele działania są na razie dostępne tylko dla niewielkiej grupy testerów. Google twierdzi, że nawet mniejsza wersja lokalna może dostosować się do nowej konstrukcji robota po zebraniu zaledwie kilku godzin danych o ruchu, czyli około 200 przykładów. Ma to ułatwiać przenoszenie systemu między różnymi platformami sprzętowymi.
Bezpieczeństwo jako osobna część systemu
Błędy modeli AI są szczególnie istotne wtedy, gdy system steruje urządzeniem fizycznym znajdującym się w pobliżu ludzi. Google DeepMind podkreśla, że każda warstwa Gemini Robotics łączy tradycyjne zabezpieczenia fizyczne z rozwiązaniami bezpieczeństwa AI. Wraz z Gemini Robotics 2 firma przedstawia benchmark ASIMOV-Agentic, który ma badać zachowanie modeli w różnych sytuacjach związanych z bezpieczeństwem.
Test może sprawdzać, czy agent odpowiedzialny za rozumowanie odmówi wykonania niebezpiecznego polecenia narzędzia przekazanego przez model sterujący działaniem. Ocenia również, czy zadanie da się wykonać bezpiecznie oraz czy system potrafi poprosić człowieka o pomoc, gdy nie ma pewności. Według Google DeepMind Gemini Robotics ER 2 jest najbezpieczniejszym modelem zespołu. Ma między innymi rozpoznawać sytuację, w której człowiek znajduje się zbyt blisko robota, i zatrzymywać działanie. Pełny benchmark ASIMOV-Agentic udostępniono w serwisie Hugging Face.
Prezentowane nagrania pokazują roboty poruszające się w czasie rzeczywistym, wykonujące zadania oraz współpracujące ze sobą. Maszyny nadal nie dorównują ludziom szybkością ani płynnością ruchów, ale na demonstracjach wydają się mniej niezdecydowane niż we wcześniejszych testach. Gemini Robotics 2 rozwija więc podejście, w którym robot ma nie tylko odtwarzać wcześniej zaprogramowaną sekwencję, lecz także rozumieć polecenie, reagować na zmiany i korygować własne działania. Na tym etapie publiczny dostęp dotyczy jednak tylko jednej z trzech nowych wersji.
