Benchmark

Ein Benchmark ist eine feste Sammlung von Aufgaben mit bekannter Lösung. Jedes Modell bearbeitet dieselben Aufgaben, das Ergebnis ist eine Punktzahl oder Erfolgsquote. So lassen sich Modelle verschiedener Anbieter vergleichen.

Bekannte Beispiele: SWE-bench (echte Programmierfehler aus Open-Source-Projekten beheben), GPQA (Fachfragen auf Promotionsniveau), Mathe-Olympiade-Aufgaben. LMArena ist kein Test mit fester Lösung, sondern ein Vergleich durch Nutzerbewertungen.

Grenzen: Anbieter wählen gern die Tests aus, in denen ihr Modell gut abschneidet. Liegen Testaufgaben im Trainingsmaterial, ist das Ergebnis geschönt. Ein guter Benchmark-Wert sagt deshalb wenig darüber, wie gut ein Modell die Aufgaben im eigenen Betrieb löst. Indizes wie der Epoch Capabilities Index fassen viele Benchmarks zu einer Zahl zusammen und gleichen so einzelne Ausreißer aus.