Liquid AI hat optimierte Versionen seiner LFM2.5-Sprachmodelle veröffentlicht, die auf Edge-Geräten wie Smartphones und Raspberry Pi laufen. Durch eine Technik namens Quantization-Aware Distillation (QAD) können die Modelle 97 Prozent ihrer ursprünglichen Genauigkeit beibehalten, während sie gleichzeitig 4-mal weniger Speicher benötigen. Das ermöglicht KI-Anwendungen auf Geräten ohne Internetverbindung – ein wichtiger Schritt für dezentralisierte KI-Systeme.
✍️ Blog
Effiziente KI-Modelle für Edge-Geräte: Quantisierung ohne Qualitätsverlust
22. August 2026·Quelle: Hugging Face Blog
Unsere Einordnung
Das ist ein wichtiger Schritt: Während große Unternehmen immer größere Server-Modelle trainieren, zeigt Liquid AI hier, dass spezialisierte kleinere Modelle mit intelligenter Kompression auch auf Consumer-Hardware konkurrenzfähig sein können. Das senkt nicht nur die Infrastrukturkosten, sondern ermöglicht auch lokale KI-Verarbeitung ohne Cloud-Abhängigkeit – ein Trend, der die dezentralisierte KI-Zukunft prägt.
Schlüsselfakten
- Vier optimierte Modellvarianten (230M, 350M, 1,2B und 2,6B Parameter) können auf Smartphones und Raspberry Pi laufen
- QAD-Technik erhält 96,5–97,4% der Genauigkeit des Vollmodells, während der Speicherverbrauch um 75% sinkt
- Auf iPhone und Android-Handys erreichen die Modelle 4–33% höhere Verarbeitungsgeschwindigkeit gegenüber größeren Quantisierungsformaten
- Alle Checkpoints sind frei auf Hugging Face verfügbar und kompatibel mit llama.cpp und anderen GGUF-Runtimes