Współczesny świat rozwija się w tempie błyskawicznym, a sztuczna inteligencja (AI) staje się coraz bardziej integralną częścią naszego życia. Jednym z najbardziej ekscytujących obszarów AI jest robotyka, a Google konsekwentnie wprowadza innowacje w tej dziedzinie. W 2024 roku Google DeepMind Robotics skupia się na wykorzystaniu modeli językowych i wizualnych do ulepszenia robotów, aby lepiej rozumieli świat i wykonywali złożone zadania.

Nowe metody uczenia robotów

Google opracował nowatorskie metody uczenia robotów z wykorzystaniem filmów i dużych modeli językowych (LLMs). Te metody mają na celu umożliwienie robotom lepszego rozumienia złożonych poleceń, kontekstów i interakcji z otoczeniem.

Autort: uczenie robotów z wykorzystaniem modeli językowych i wizualnych

AutoRT to zaawansowany system szkoleniowy dla robotów, który łączy LLMs z modelami wizualnymi. System ten wykorzystuje algorytmy specjalnie zaprojektowane do robotyki, aby ulepszyć ich umiejętności percepcji i optymalizacji zadań. AutoRT pomaga robotom rozumieć sceny, analizować kontekst i podejmować bardziej trafne decyzje.

Rt-2: przekształcanie modeli językowo-wizualnych w modele akcji

RT-2 (Robotics Transformer 2) to przełomowy model, który wykorzystuje modele językowo-wizualne (VLMs) do sterowania robotami. RT-2 łączy w sobie pre-trAIning VLM z danymi robotycznymi, tworząc potężne modele akcji (VLAs). Dzięki temu roboty mogą bezpośrednio interpretować polecenia językowe i wykonywać zadania w oparciu o informacje wizualne.

Język jako klucz do lepszej robotyki

Google odkrywa potencjał języka w ulepszaniu robotyki. Modele językowe, takie jak PaLM, są wykorzystywane do tworzenia systemów komunikacji między ludźmi a robotami. Dzięki temu roboty mogą lepiej rozumieć ludzkie polecenia, a interakcja staje się bardziej naturalna.

Palm-saycan: robot rozumiejący język

PaLM-SayCan to system, który integruje potężny model językowy, taki jak PaLM, z modelem uczenia się robota. Dzięki temu roboty mogą nie tylko rozumieć polecenia językowe, ale także ulepszać swoje ogólne działanie.

Sora: generowanie filmów z wykorzystaniem tekstu

Google stworzył model Sora, który generuje filmy z wykorzystaniem tekstu. Sora może tworzyć klipy wideo o długości do jednej minuty, zachowując wysoką jakość wizualną i realizując złożone polecenia tekstowe.