NVIDIA stellt eine neue Generation von Roboter-Steuerungsmodellen vor, die auf Videoweltmodellen statt auf Sprachverständnis basieren. Diese sogenannten World Action Models (WAMs) sollen Robotern ermöglichen, Aufgaben besser auf neue Situationen zu übertragen – ohne dass sie dafür erneut trainiert werden müssen. Das Open-Source-Modell NVIDIA Cosmos 3 dient dabei als Grundlage und wurde auf Hunderten Millionen von Videos und Bildern trainiert.
Der entscheidende Unterschied zu bisherigen Systemen: Während Vision-Language-Action-Modelle (VLAs) lernen, Szenen zu beschreiben, lernen WAMs zu verstehen, wie sich eine Szene physikalisch verändert. Das ist für Roboter zentral – wenn ein Greifer einen Gegenstand packt oder ein Tuch gefaltet wird, muss die KI vorhersagen können, was passiert, nicht nur erkennen, was sie sieht. Cosmos 3 nutzt eine sogenannte Mixture-of-Transformers-Architektur und kann sowohl auf leistungsstarken Workstations als auch auf mobilen Geräten mit NVIDIA-Jetson-Prozessoren laufen. Laut NVIDIA benötigen die neuen Modelle deutlich weniger aufgabenspezifisches Training, um auf verschiedene Robotertypen übertragen zu werden.