Nach Informationen von VentureBeat haben Forscher bei Sapient Intelligence ein KI-Sprachmodell mit nur etwa 1.500 Dollar Trainingskosten von Grund auf entwickelt. Das Unternehmen nutzt dabei eine alternative Architektur namens Hierarchical Recurrent Model (HRM), die statt massiver Datenmengen gezielt auf Anweisung-Antwort-Paare trainiert – ein Ansatz, der näher an realen Enterprise-Szenarien liegt. Das resultierende Modell mit einer Milliarde Parametern erreicht Leistung vergleichbar mit deutlich größeren Open-Source-Modellen.
Das ist potenziell ein Paradigmenwechsel für die KI-Industrie: Wenn Foundation-Modelle nicht mehr nur Millionen-Dollar-Projekte für Tech-Giganten sind, sondern auch kleinere Organisationen diese trainieren können, fragmentiert sich der Markt. Das könnte proprietäre Modelle unter Druck setzen – macht aber auch deutlich, dass Raw-Compute-Skalierung nicht der einzige Weg zur Leistung ist.