Google hat die zweite Teil seiner Ray-on-TPU-Serie veröffentlicht und zeigt, wie Entwickler KI-Modelle mit Ray Serve, Ray Data und Ray Train auf Google-TPUs (Tensor Processing Units) einsetzen. Der Schlüssel liegt in der korrekten Topologie-Konfiguration: Wer große Sprachmodelle über mehrere TPU-Chips verteilt (sogenannte Tensor-Parallelisierung), muss diese explizit auf einem gemeinsamen "Slice" reservieren – sonst hängt sich das Trainings- oder Serving-Deployment auf. Google demonstriert dies mit praktischen Beispielen wie Llama 3.1 mit 70 Milliarden Parametern auf v6e-TPUs und bietet fertige Container-Images für schnelle Deployments auf Kubernetes (GKE).
✍️ Blog
Google zeigt Ray-KI-Bibliotheken auf TPU-Hardware
3. August 2026·Quelle: Google Stitch / Flutter
Unsere Einordnung
Eine wichtige technische Orientierungshilfe für KI-Teams, die von teuren GPUs zu TPUs wechseln – allerdings offenbart die Komplexität der Topologie-Konfiguration ein klassisches Cloud-Problem: Kryptische Fehlermeldungen und versteckte Gotchas erfordern tiefe Dokumentation. Google adressiert das mit Beispielen, aber der Overhead bleibt für kleinere Teams erheblich.
Schlüsselfakten
- Ray Serve, Ray Data und Ray Train unterstützen TPU-Beschleunigung mit automatischer Topologie-Verwaltung
- Kritisch: Ein fehlendes Topologie-Feld führt zu endlosen Deployments statt aussagekräftiger Fehlermeldungen
- TPU-Slices (mehrere Chips mit hochschneller ICI-Verbindung) müssen als Einheit reserviert werden – Worker auf verschiedenen Slices können nicht kommunizieren
- vLLM-Integration ermöglicht effizientes Serving großer Sprachmodelle; Beispiele: Llama 3.1 70B auf v6e, Mistral 7B auf v5e
- Google stellt fertige GKE-Tutorials und vLLM-Container-Images bereit für sofortiges Deployment