OpenAI hat GeneBench-Pro entwickelt, einen neuen Benchmark zur Messung von KI-Agenten in der Computational Biology. Das Tool prüft, wie gut Modelle mit mehrdeutigen wissenschaftlichen Daten umgehen, iterativ analysieren und fundierte Urteile treffen können – Fähigkeiten, die in echten biologischen Forschungsprojekten entscheidend sind. GeneBench-Pro erweitert den bisherigen GeneBench-Standard um komplexere, realistische Aufgaben aus Genomik und translationaler Medizin.
Bislang fehlten aussagekräftige Tests für diese höherstufigen kognitiven Leistungen von KI-Systemen. GeneBench-Pro adressiert diese Lücke, indem es Modelle mit realistischen, ungeordneten Datensätzen konfrontiert und ihre Fähigkeit bewertet, Annahmen zu überprüfen, den richtigen analytischen Weg zu wählen und zu erkennen, wann Ergebnisse entscheidungsreif sind. Die Benchmark-Aufgaben stammen aus echten biologischen Fragestellungen und erfordern exploratives Arbeiten, Modellexperimente und iterative Verbesserungen – nicht bloße Faktenwiedergabe.
Das System wird als "Research Taste" bezeichnet: eine Kette von Urteilsfällungen, die darüber entscheidet, welche Fragen die Daten beantworten können und wie Erkenntnisse die Forschungsstrategie verändern. OpenAI sieht in dieser Dimension eine zentrale Schwachstelle heutiger KI-Systeme, die deren Einsatz in echter wissenschaftlicher Arbeit begrenzt.