Alle Artikel
Wissensinfrastruktur

MedChemBench: Was ein Domänen-Benchmark beweist – und was nicht

OpenAI misst mit MedChemBench, ob Modelle Molekülstrukturen und Versuchsdaten lesen können. Worauf Unternehmen bei herstellereigenen Domänen-Benchmarks achten sollten.

CogLake Redaktion · 21. November 2026 · 5 min

Dieser Beitrag wurde mit KI-Unterstützung automatisch erstellt.

Ein Benchmark ist keine Produktentscheidung. Am 20. November 2026 hat OpenAI MedChemBench veröffentlicht, eine Bewertung mit 99 Aufgaben dazu, wie Modelle Molekülstrukturen mit experimentellen Befunden verbinden. Interessant ist für Unternehmen nicht die Rangliste, sondern das Design: Teilpunkte, zurückgehaltene Ergebnisse — und ein Anbieter, der offen benennt, was sein eigener Benchmark nicht zeigen kann.

Was der Benchmark misst

MedChemBench stützt sich auf 117 aktuelle Fachartikel und Patentveröffentlichungen und bewertet 761 einzelne Molekülstrukturen. Jede Aufgabe liefert den Kontext, den eine Forscherin an einem Entscheidungspunkt eines Wirkstoffprogramms hätte — biologisches Ziel, Zielsetzung, bisher untersuchte Verbindungen, ausgewählte Versuchsergebnisse — und verlangt, Strukturen zu rekonstruieren, Befunde zu erklären, Verbindungen zu rangieren oder gemessene Eigenschaften vorherzusagen.

Die sieben Aufgabenkategorien sind ungleich gewichtet: Integrierte Leitstrukturauswahl umfasst 48 der 99 Aufgaben, SAR-Prognose 26, ADME und Delivery 8. Moleküldesign (6), Sicherheit und Risikoprofile (4), Retrosynthese (4) und Assay-Biologie (3) sind kleinere Anteile.

Die Bewertung kombiniert deterministische Prüfungen von Molekülgraphen und Zahlenwerten mit einer Rubrik für wissenschaftliche Begründungen. Prognosen erhalten Teilpunkte danach, wie nah sie am gemessenen Wert liegen; im Prompt mitgelieferte Messwerte müssen korrekt wiedergegeben werden.

Die Zahlen im Überblick

ModellAnteil der erreichbaren Punkte bei xhigh
GPT-6.2 Astra84,5 %
GPT-6 Astra83,3 %
GPT-6.1 Sol82,0 %
GPT-5.6 Sol58,2 %

Über alle elf getesteten Modelle nennt das Paper bei der gemeinsamen Stufe xhigh eine Spanne von 35,02 % bis 83,33 %. Der höchste Mittelwert, 83,83 %, stammt von GPT-6 Astra bei maximalem Aufwand.

Eine Unstimmigkeit sollte man benennen: Die Ankündigung führt 84,5 % für GPT-6.2 Astra, im eigenen Überblicksabsatz stehen zugleich 83,3 % für Astra bei xhigh — jener Wert, den das Paper GPT-6 Astra zuordnet. Die Rangfolge der Spitzengruppe ist stabil, die exakte Zehntelstelle nicht. Eine Anbietertabelle, die sich selbst widerspricht, ist ein Anlass, eine eigene Stichprobe zu fahren.

Wo die Werte auseinanderfallen

Die Gesamtzahl verdeckt das Nützliche. Beim Rekonstruieren von Molekülstrukturen erreichte GPT-6 Astra bei xhigh 95,4 % der erreichbaren Punkte. Beim Auswählen von Verbindungen und beim Vorhersagen numerischer Eigenschaften waren es etwa die Hälfte.

Das Beispiel aus der Ankündigung ist lehrreich: Sollte ein Molekül unter Erhalt eines 18-Atom-Rings zusammengesetzt werden, gelang das GPT-6 Astra in allen zehn Antworten, während GPT-5.6 Sol einen 15-Atom-Ring erzeugte und GPT-5.6 Luna zwei getrennte Fragmente zurückgab. Ein Modell, das die Struktur falsch liest, denkt über ein anderes Molekül nach — und seine Begründung klingt trotzdem plausibel.

Was der Anbieter selbst einräumt

OpenAI schreibt, die Ergebnisse belegten nicht, ob Modelle Wirkstoffe entdecken oder Labor­entscheidungen verbessern können. Eine frühere Begegnung mit den publizierten Quellen lasse sich nicht ausschließen; jede Antwort sei ein einzelner Versuch ohne Werkzeuge, Feedback oder neue Experimente; das Setting sei retrospektiv. Dass ein Anbieter diese Grenzen benennt, ist ein gutes Zeichen — und die richtige Grundlage, um die Zahlen zu lesen: gemessen wird Schlussfolgern über historische Evidenz, nicht Laborleistung.

Fünf Fragen für den Einkauf

  1. Wer hat den Benchmark gebaut und bewertet? Hier: der Modellanbieter, auf Basis publizierter Literatur. Fragen Sie nach unabhängiger Wiederholung oder testen Sie einen Ausschnitt selbst.
  2. Ist der Testsatz kontaminiert? Veröffentlichte Artikel können in Trainingsdaten liegen. Benchmarks mit privaten Holdouts sind aussagekräftiger.
  3. Wie werden Teilpunkte vergeben? „Nähe zum Messwert“ kann eine plausible Spanne belohnen statt einer richtigen Entscheidung.
  4. Was kostet ein Punkt? Die Leistung wird gegen Output-Tokens aufgetragen, höherer Reasoning-Aufwand verbesserte die Werte. Kalkulieren Sie Latenz und Kosten pro akzeptierter Antwort, nicht pro Aufruf.
  5. Wer prüft nach? Muss eine Chemikerin jede Struktur gegenlesen, liegt die Ersparnis im Entwerfen und Vergleichen, nicht in der Entscheidung.

Ein Pilot, der eine Woche kostet, kein Quartal

Nehmen Sie 20 bis 30 Entscheidungen, die Ihre Fachleute im vergangenen Jahr getroffen haben und deren Ausgang bekannt ist. Geben Sie dem Modell nur die damals verfügbare Evidenz. Bewerten Sie Struktur, Begründung und Auswahl getrennt und messen Sie die Prüfzeit Ihrer Expertinnen. Das ergibt eine Zahl, die Chemie und Audit gleichermaßen vertreten können — keine Rangliste leistet das.

Dieser Beitrag beruht auf Herstellerdokumentation und dem veröffentlichten Paper; eigene Tests haben wir nicht durchgeführt. Er ist keine medizinische, pharmazeutische oder Anlageberatung.

Quellen

Quellen abgerufen am 21. November 2026.

Unternehmenswissen in kontrollierten Kontext verwandeln.

Erfahren Sie, wie CogLake Ihre Quellen, Berechtigungen und KI-Schnittstellen zusammenführt.

Demo vereinbaren