Google Cloud hat eine neue Funktion vorgestellt, die es Entwicklern ermöglicht, KI-Anfragen automatisch an das beste verfügbare Modell weiterzuleiten. Mit dem Model Routing in der API Gateway können Requests ohne Hardcoding zwischen Geminis, Claude und OpenAI-Modellen verteilt werden – ähnlich wie ein intelligenter Verkehrsleiter für Künstliche Intelligenz.
Die Lösung funktioniert als serverlose Zwischenschicht (Ingress Layer), die OpenAI-kompatible Anfragen entgegennimmt und dann automatisch das optimale Modell auswählt. Entwickler können flexibel Regeln definieren: Welches Modell ist Standard? Wann soll auf ein alternatives Modell ausgewichen werden? Das System ermöglicht auch die Integration mit Googles Enterprise Agent Platform für zusätzliche Sicherheitskontrolle.
Das Feature befindet sich aktuell in der Public Preview. Die Konfiguration erfolgt über OpenAPI-Spezifikationen, die Routen zwischen verschiedenen Modellanbietern definieren. Das spart Entwicklern Zeit bei der Verwaltung mehrerer API-Endpoints und ermöglicht flexible, zukunftssichere Anwendungsarchitekturen. Besonders für Unternehmen, die verschiedene KI-Modelle testen oder kombinieren möchten, könnte das Model Routing eine interessante Option sein.