Im "Fast Gemma Challenge" hat das VIDRAFT-Team eine Optimierungsmethode für Googles Sprachmodell veröffentlicht, die 510,58 Token pro Sekunde auf einer einzelnen GPU erreicht – bei gleichbleibender Qualität. Das Team prioritisiert Nachvollziehbarkeit: Die komplette Konfiguration ist öffentlich und reproduzierbar. Während andere Teilnehmer schnellere Rohen-Durchsätze erreichten, verloren diese durch Qualitätsverluste ihre Gültigkeit. Die Erkenntnis ist bedeutsam für die KI-Infrastruktur-Community, da sie zeigt, wie Software-Optimierungen ohne Hardware-Upgrades deutliche Performancegewinne ermöglichen.
✍️ Blog
Gemma-Optimierung: 510 Token pro Sekunde ohne Qualitätsverlust
14. August 2026·Quelle: Hugging Face Blog
Unsere Einordnung
Der Fast Gemma Challenge zeigt einen erfrischenden Trend in der KI-Community: Statt geschlossene Benchmarks dominiert offene, reproduzierbare Forschung. VIDRAFT verzichtet bewusst auf fragwürdige Speed-Records und liefert stattdessen eine verifiable Lösung – ein Vorbild für sachliche Leistungsbewertung in einem Hype-Umfeld.
Schlüsselfakten
- 510,58 Token pro Sekunde auf einer NVIDIA A10G GPU erreicht
- Vollständig reproduzierbare Konfiguration: Alle Dependencies und Parameter veröffentlicht
- Qualitätsmesswert (Perplexity) bei 2,39 – unter der Grenze von 2,42
- Offene Zusammenarbeit statt Wettbewerb: Teilnehmer teilen Optimierungen in Echtzeit
- Sliding-Window-Mechanismus mit Wert 188 als Schlüsselelement der Optimierung