Vercel hat DeepsecBench veröffentlicht, einen Benchmark zur Bewertung von KI-Modellen bei der Erkennung von Sicherheitslücken in Anwendungscode. Die Tests zeigen große Unterschiede: Während GPT-5.6 Sol mit einem Score von 35,58 führt, erreichen andere Modelle wie Grok 4.5 nur 15,58 Punkte – bei deutlich niedrigeren Kosten. Der Benchmark basiert auf 231 manuell verifizierten Schwachstellen in einem Open-Source-Projekt und bewertet nicht nur die Genauigkeit, sondern auch Kosten und Geschwindigkeit. Das Ziel: Unternehmen sollen das richtige KI-Modell für ihre Sicherheitsscans wählen können, basierend auf ihrem Budget und den Anforderungen ihres Codes.
✍️ Blog
KI-Modelle auf dem Prüfstand: Wer findet Sicherheitslücken am besten
4. August 2026·Quelle: Vercel Blog
Unsere Einordnung
Ein praxisnaher Ansatz: Statt abstrakte KI-Benchmarks zu spielen, testet Vercel konkrete Cybersecurity-Fähigkeiten – und zeigt dabei, dass die teuersten Modelle nicht automatisch die besten sind. Das unterstreicht einen wichtigen Trend: Die KI-Branche branche sich weg von reinen Leistungsmetriken hin zu echten Business-Outcomes, wo Kosten-Nutzen-Verhältnis entscheidend ist.
Schlüsselfakten
- GPT-5.6 Sol erreicht mit 35,58 Punkten den höchsten Score im Vulnerability-Detection-Benchmark
- Benchmark basiert auf 231 manuell verifizierten Schwachstellen in echtem Open-Source-Code
- Größter Unterschied: GPT-5.6 Sol kostet $55,98, Grok 4.5 nur $5,60 bei deutlich niedrigerem Score
- Benchmark bewertet Recall doppelt so hoch wie Precision – weil übersehene Lücken kritischer sind als Fehlalarme
- Geheime Repository-Struktur verhindert, dass Modelle auf Trainings-Memorization abzielen können