Moonshot AI hat Anfang Juli 2026 mit Kimi K3 ein massives Open-Source-Sprachmodell veröffentlicht. Mit 2,8 Billionen Parametern ist es das erste frei verfügbare Modell dieser Größenklasse. Besonderheiten sind eine neue Attention-Architektur (KDA), ein hybrides MoE-System mit 896 Experten und Quantisierung im MXFP4-Format für effizienteres Training und Deployment.
✍️ Blog
Kimi K3: Chinas neues 2,8-Billionen-Parameter-Modell geht Open Source
24. Juli 2026·Quelle: Hugging Face Blog
Unsere Einordnung
Mit Kimi K3 verschärft sich der Wettbewerb im Open-Source-LLM-Markt deutlich: China setzt bei der Modellgröße nach, während gleichzeitig innovative Architektur-Details wie KDA und Attention Residuals zeigen, dass Rohparameter-Zahl nicht alles ist. Für die Community bedeutet das sowohl Chancen (direkter Zugriff auf massive Modelle) als auch Herausforderungen (wer hat die Hardware zum Deployen?).
Schlüsselfakten
- 2,8 Billionen Parameter – erstes Open-Source-Modell dieser Größenklasse
- Kontextfenster von 1 Million Token ermöglicht extrem lange Dokumente
- Kimi Delta Attention (KDA) reduziert Rechenlast durch hybride linear-quadratische Aufmerksamkeit
- MoE-System mit 896 Experten, davon nur 16 aktiv pro Token
- MXFP4-Quantisierung für effizienteres Training und Hardware-Einsatz