Forscher von Hugging Face und LightOn AI haben eine Methode entwickelt, um ColBERT-Suchmodelle drastisch zu verkleinern. Durch gezielte Regularisierung während des Trainings lassen sich die Speicheranforderungen um das Fünffache reduzieren, während 99,4 Prozent der Suchleistung erhalten bleibt. Das Verfahren nutzt hierarchisches Pooling – eine Technik, die ähnliche Token-Embeddings automatisch zusammenfasst – und kombiniert sie mit spezialisiertem Training.
Die Durchbruchleistung zeigt sich in praktischen Zahlen: Während aggressive Kompression bislang zu erheblichen Leistungseinbußen führte, behält das regularisierte Modell seine Effektivität auch bei extremer Reduktion. Die Methode funktioniert, weil ColBERT-Embeddings eine spezifische mathematische Eigenschaft haben – sie sind hochgradig anisotrop, also nicht gleichmäßig im Vektorraum verteilt. Das ermöglicht es, mehrere nahezu identische Token-Vektoren zu einer einzigen Repräsentation zusammenzufassen, ohne wesentliche Informationen zu verlieren.
Die Forschung adressiert ein fundamentales Problem der modernen Suchmaschinen-Architektur: Late-Interaction-Modelle wie ColBERT speichern für jeden Token eines Dokuments einen separaten Vektor. Ein 300-Wort-Dokument benötigt also 300 Embeddings statt nur eines – bei Millionen von Dokumenten wird dies zum kostspieligen Skalierungsproblem. Durch das adaptive Pooling können Anwendungen ihre Indexgröße signifikant reduzieren und damit Betriebskosten senken.
Die Methode wurde mit mehreren verfeinerten Varianten getestet, einschließlich adaptiver Budgets, die unterschiedliche Dokumente unterschiedlich stark komprimieren. Dies ermöglicht noch bessere Ergebnisse, da kurze, redundante Dokumente stärker gepoolte werden als komplexe, diverse Inhalte.