Google präsentiert eine Kombination aus seiner Inferenz-Software LiteRT und dem leichten Sprachmodell Gemma, um künstliche Intelligenz komplett lokal auf kleinen Geräten wie dem Raspberry Pi auszuführen. Das System ermöglicht autonome Roboter und intelligente Kameras, die ohne Cloud-Verbindung arbeiten und dabei Echtzeitreaktionen ermöglichen.
Die Lösung wird am Beispiel des Reachy-Mini-Roboters demonstriert, der seine Umgebung vollständig lokal wahrnehmen und darauf reagieren kann. Auf einem Raspberry Pi 5 erreicht das kleinste Gemma-Modell (Gemma 4 E2B) eine Generierungsgeschwindigkeit von etwa 300 Wörtern pro Minute – schneller als menschliche Sprache – bei nur 1,4 Gigabyte Speicherverbrauch. Dies ermöglicht Anwendungen wie Echtzeit-Spracherkennung und Übersetzung ohne externe Server.