Google DeepMind zaprezentowało nową wersję modelu Gemini przeznaczoną do sterowania robotami. Platforma Gemini Robotics 2 ma obsługiwać różne konstrukcje, w tym roboty humanoidalne wykonujące zadania wymagające koordynacji całego ciała. Na opublikowanym nagraniu roboty zbierają śmieci, podnoszą konewki, wkładają kasetę do boomboxa, wkręcają żarówkę i zawiązują worek na odpady. Google przedstawia materiał jako nagranie z czasu rzeczywistego, pokazujące w pełni autonomiczne działanie maszyn.
Od ruchów dłoni do kontroli całego robota
Pierwsza wersja Gemini Robotics mogła już sterować ramionami i dłońmi robotów podczas wykonywania precyzyjnych czynności, takich jak zamykanie woreczków do przechowywania czy składanie origami. Gemini Robotics 2 rozszerza ten zakres o tak zwaną inteligentną kontrolę całego ciała. Oznacza to, że system ma koordynować nie tylko pracę chwytaka lub dłoni, lecz także ruchy całej konstrukcji potrzebne do wykonania zadania. Google wykorzystuje w tym celu kilka modeli AI. Model językowo-wizyjny pomaga rozumieć otoczenie, a dwa modele językowo-wizyjno-akcyjne odpowiadają za sterowanie ruchem całego robota oraz jego dłońmi.
Demonstracja nie oznacza jednak, że roboty potrafią wykonywać dowolne polecenia podobnie jak człowiek. Model został wytrenowany do realizacji każdego z zadań pokazanych na nagraniu. W procesie wykorzystano dane zdalnego sterowania przez ludzi, przykłady wideo oraz symulacje. Ograniczenie jest istotne, ponieważ sprawne wykonanie kilku zaplanowanych czynności nie jest tym samym co uniwersalna zdolność poruszania się i działania w nieprzewidywalnym środowisku. Google DeepMind określa tę pracę jako kolejny etap na drodze do tak zwanej fizycznej AGI, czyli robotów zdolnych wykonywać zadania na poziomie człowieka.
Ważnym elementem projektu pozostaje bezpieczeństwo. Błędy modelu są uciążliwe podczas zwykłej rozmowy z AI, ale mogą mieć znacznie poważniejsze skutki, gdy system steruje ciężkim robotem wielkości człowieka. Google deklaruje wielowarstwowe zabezpieczenia, a każda warstwa modelu ma mieć własne ograniczenia. Firma wprowadziła także benchmark ASIMOV-Agentic, który ma pomagać wykrywać, czy wykonanie polecenia może doprowadzić do szkodliwego rezultatu. Carolina Parada z Google DeepMind zwraca uwagę, że w świecie fizycznym pojawia się więcej niepewności, dlatego ocena bezpieczeństwa musi być dokładniejsza.
Gemini Robotics 2 znajduje się na wczesnym etapie rozwoju. Google nie zapowiada w najbliższym czasie wprowadzenia takich robotów do sprzedaży konsumenckiej. Opublikowane nagranie pokazuje więc przede wszystkim kierunek prac nad połączeniem modeli AI z robotyką, a nie gotowy produkt przeznaczony do powszechnego użytku.