Zum Inhalt springen

Labor · Prüfstand

Prüfstand: Werkzeuge im Vergleich

Wir stellen KI-Werkzeugen dieselben Aufgaben auf denselben Testdaten: Jev von TypeSafe, den Klassifikatoren GLiNER von Fastino und offenen Sprachmodellen auf unserer eigenen Grafikkarte. Jede Zahl dieser Seite stammt aus dem öffentlichen Repository lab-bench, mit Fällen, Skripten und Auswertungen.

Zur WerkzeugkarteRepository lab-bench

Werkzeugkarte

Welches Werkzeug kann welche Aufgabe?

Drei Arten von KI-Werkzeugen, dieselben Aufgaben, dieselben Testdaten. Jede Zelle ist eine Messung aus unserem Prüfstand oder sagt, warum sie keine ist. Die Farbe zeigt, wie weit ein Werkzeug über bloßem Raten liegt.

AufgabeJevEntscheidungsmodell von TypeSafe, als Dienst in den USAGLiNERKlassifikatoren und Extraktoren von Fastino, lokal auf einer GrafikkarteLokales Sprachmodelloffene Modelle über Ollama, lokal auf einer Grafikkarte
Thema zuordnenEinen kurzen Sprachbefehl einem Thema aus einer festen Liste zuordnen (Datensatz MASSIVE).Quelle: Prüfstand, results/route1/findings.mdJev72,8 %Raten-Linie 13,5 %weit über Raten09.10.2026 · n = 2.974Variante jev, Modell jev-1.13.0GLiNER48,5 %Raten-Linie 13,5 %klar über Raten09.10.2026 · n = 2.974Variante gliner2.5-multi-decide, Modell fastino/GLiNER2.5-multi-DecideLokales Sprachmodell71,8 %Raten-Linie 13,5 %weit über RatenAbstand nicht gesichert09.10.2026 · n = 2.974Variante winnow-12b, Modell EldanRing/Winnow-12B:Q8_0
Absicht zuordnenBei bekanntem Thema die genaue Absicht wählen, nur Fragen mit mehr als einer Möglichkeit (MASSIVE).Quelle: Prüfstand, results/route1/findings.mdJev90,7 %Raten-Linie 50,2 %weit über Raten09.10.2026 · n = 2.622Variante jev, Modell jev-1.13.0GLiNER58,9 %Raten-Linie 50,2 %knapp über Raten09.10.2026 · n = 2.622Variante gliner2.5-multi-decide, Modell fastino/GLiNER2.5-multi-DecideLokales Sprachmodell89,0 %Raten-Linie 50,2 %weit über Raten09.10.2026 · n = 2.622Variante winnow-12b, Modell EldanRing/Winnow-12B:Q8_0
Zuordnen auf GLiNERs HeimdatenKurze Texte in feste Klassen sortieren, Datensatz fast-decisions. Den hat Fastino gebaut, der Hersteller von GLiNER. Ein Gleichstand hier ist darum kein neutrales Ergebnis.nur englisch gemessenQuelle: Prüfstand, results/route1/findings.mdJev63,0 %Raten-Linie 31,2 %klar über Raten09.10.2026 · n = 2.500Variante jev, Modell jev-1.13.0GLiNER64,4 %Raten-Linie 31,2 %klar über RatenAbstand nicht gesichert09.10.2026 · n = 2.500Variante gliner2.5-decide-1b-intext, Modell fastino/GLiNER2.5-Decide-1BLokales Sprachmodell63,6 %Raten-Linie 31,2 %klar über RatenAbstand nicht gesichert09.10.2026 · n = 2.500Variante winnow-12b, Modell EldanRing/Winnow-12B:Q8_0
Bereich einer AnforderungZu einer Zeile aus einer Projektausschreibung den fachlichen Bereich wählen.Quelle: Prüfstand, results/pv1/score-de-adjudicated.md, bereinigte Referenz · mehr dazuJev93,1 %Raten-Linie 16,4 %weit über Raten01.10.2026 · n = 116Variante jev, Modell jev-1.13.0GLiNER32,8 %Raten-Linie 16,4 %knapp über Raten08.10.2026 · n = 116Variante gliner2.5-multi-decide-focus, Modell fastino/GLiNER2.5-multi-DecideLokales Sprachmodell87,1 %Raten-Linie 16,4 %weit über RatenAbstand nicht gesichert01.10.2026 · n = 116Variante winnow-12b, Modell EldanRing/Winnow-12B:Q8_0
Angaben herausziehenAus einem Sprachbefehl Datum, Ort, Namen und ähnliche Angaben im Wortlaut herausziehen (MASSIVE). Gezählt als F1 über alle Angaben.Quelle: Prüfstand, results/ex1/findings.md · ohne SignifikanztestJevnicht vorgesehenJev wählt aus, bewertet und beantwortet Ja oder Nein. Textstellen gibt es nicht zurück.GLiNER22,5 %Raten-Linie 0,0 %nicht über RatenFarbe nach ganzen Rahmen: 27,5 % gegen 33,5 % beim Nichtsherausziehen09.10.2026 · n = 1.000Variante gliner2.5-multi, Modell fastino/gliner2.5-multi-v1Lokales Sprachmodell45,1 %Raten-Linie 0,0 %knapp über RatenFarbe nach ganzen Rahmen: 45,1 % gegen 33,5 % beim Nichtsherausziehen09.10.2026 · n = 1.000Variante winnow-12b, Modell EldanRing/Winnow-12B:Q8_0
Beleg im Lebenslauf findenDie Stelle im Lebenslauf nennen, die eine Anforderung belegt, oder sagen, dass es keine gibt.Quelle: Prüfstand, results/pv1/score-de-adjudicated.md, bereinigte Referenz · mehr dazuJev81,0 %Raten-Linie 41,4 %weit über Raten01.10.2026 · n = 116Variante jev, Modell jev-1.13.0GLiNER19,0 %Raten-Linie 41,4 %nicht über Raten08.10.2026 · n = 116Variante gliner2.5-multi-decide, Modell fastino/GLiNER2.5-multi-DecideLokales Sprachmodell87,9 %Raten-Linie 41,4 %weit über RatenAbstand nicht gesichert01.10.2026 · n = 116Variante qwen3.8-27b, Modell qwen3.8:27b
Stufe einschätzenEinschätzen, wie weit der Lebenslauf eine Anforderung erfüllt, auf einer festen Stufenleiter.Quelle: Prüfstand, results/pv1/score-de-adjudicated.md, bereinigte Referenz · mehr dazuJev79,3 %Raten-Linie 34,5 %weit über Raten01.10.2026 · n = 116Variante jev, Modell jev-1.13.0GLiNER24,1 %Raten-Linie 34,5 %nicht über Raten08.10.2026 · n = 116Variante gliner2.5-multi-decide-intext, Modell fastino/GLiNER2.5-multi-DecideLokales Sprachmodell77,6 %Raten-Linie 34,5 %klar über RatenAbstand nicht gesichert01.10.2026 · n = 116Variante winnow-12b, Modell EldanRing/Winnow-12B:Q8_0
Ja oder Nein über eine RechnungEine Ja-oder-Nein-Frage zum Inhalt einer E-Rechnung beantworten.Quelle: Testentwurf im PrüfstandJevTest geplantTestentwurf festgelegt am 9.10.2026: 34 öffentliche Testrechnungen (KoSIT), zehn Fragen. Vor jeder Bewertung entsteht eine blinde Referenz für alle 340 Antworten.GLiNERTest geplantTestentwurf festgelegt am 9.10.2026: 34 öffentliche Testrechnungen (KoSIT), zehn Fragen. Vor jeder Bewertung entsteht eine blinde Referenz für alle 340 Antworten.Lokales SprachmodellTest geplantTestentwurf festgelegt am 9.10.2026: 34 öffentliche Testrechnungen (KoSIT), zehn Fragen. Vor jeder Bewertung entsteht eine blinde Referenz für alle 340 Antworten.
AntwortzeitMedian je Entscheidung beim Thema zuordnen. Die drei Uhren messen Verschiedenes und sind nicht direkt vergleichbar.Quelle: Prüfstand, results/route1/score.mdJev232 msHin und zurück über das Netz zu TypeSafe in den USA09.10.2026 · Variante jevGLiNER14 msreine Rechenzeit auf der Grafikkarte, ohne Netz09.10.2026 · Variante gliner2.5-multi-decideLokales Sprachmodell89 msAufruf über das lokale Netz an die Grafikkarte09.10.2026 · Variante winnow-12b
stark beiJevThema zuordnen · Absicht zuordnen · Zuordnen auf GLiNERs Heimdaten (nur englisch gemessen) · Bereich einer Anforderung · Beleg im Lebenslauf finden · Stufe einschätzenGLiNERZuordnen auf GLiNERs Heimdaten (nur englisch gemessen)Lokales SprachmodellThema zuordnen · Zuordnen auf GLiNERs Heimdaten (nur englisch gemessen) · Bereich einer Anforderung · Beleg im Lebenslauf finden · Stufe einschätzen

So lesen Sie die Farben

  • weit über Raten
  • klar über Raten
  • knapp über Raten
  • nicht über Raten

Farbe und Beschriftung jeder Zelle zeigen den Abstand zum Raten, nicht die rohe Trefferquote: wie viel der Strecke zwischen Raten-Linie und fehlerfrei ein Werkzeug schafft, grob in Dritteln. Raten heißt, immer die häufigste Antwort zu geben. Beim Herausziehen zählt die Farbe ganze Rahmen gegen gar nichts herauszuziehen, die Zahl bleibt F1. „Abstand nicht gesichert“ steht, wo der Unterschied zu Jev im gepaarten Test nicht signifikant ist. Der verglichene Arm ist erst nach der Messung als bester seiner Familie gewählt, und der Test ist dafür nicht korrigiert. Unter jeder Zahl stehen Messdatum, Fallzahl, Variante und Modell.

„Stark bei“ nennt die Aufgaben, bei denen das Werkzeug im Spitzenfeld liegt: Es hat dort den höchsten Wert, oder sein Abstand zum höchsten Wert ist im gepaarten Test nicht signifikant. Dazu muss es mindestens klar über Raten liegen. Aufgaben ohne Signifikanztest zählen nicht mit.

  • Je Familie zeigt die Karte die beste Variante, ausgewählt auf denselben Testdaten, auf denen sie gemessen ist. Das begünstigt Familien mit vielen Varianten: GLiNER hatte bis zu 9, die lokalen Sprachmodelle bis zu 4, Jev eine.
  • Jede Zahl stammt aus einem einzigen Lauf je Variante.
  • Bereich, Beleg und Stufe messen wir gegen ein Referenzurteil, das ein Sprachmodell gefällt hat und zwei weitere gegengeprüft haben. Eine Stichprobe durch Menschen fehlt noch.
  • Zwei Fragen aus demselben Prüfstand fehlen hier mit Absicht: ob eine Zeile überhaupt eine Anforderung ist und ob sie Pflicht ist. Die Referenz nennt 85,3 % bis 85,6 % aller Zeilen eine Anforderung und 94,0 % bis 94,1 % der Anforderungen Pflicht. Wer immer ja sagt, liegt also schon fast richtig, und die rohe Quote täuscht.
  • Mehr dazu in Experiment 3 auf der Seite Entscheidungsmodelle. Es zählt die deutschen Zeilen gegen das Urteil des ersten Richters und nicht gegen die bereinigte Referenz, darum weichen seine Zahlen leicht ab.

Automatisierung

Wie viel lässt sich automatisieren?

Die Kurve zeigt, welchen Anteil der Fälle ein Werkzeug allein entscheiden kann, wenn es nur Antworten übernimmt, bei denen seine eigene Wahrscheinlichkeit hoch genug ist, und die übernommenen Antworten trotzdem die gewählte Zielgenauigkeit halten. Den Rest prüft ein Mensch.

Aufgabe
Sprache der Testdaten
95 %
Zielgenauigkeit der übernommenen Antworten

Bei 95 % Treffern entscheidet allein:

  • Jev: 60,3 % der Fälle
  • GLiNER: 4,4 % der Fälle
  • Lokales Sprachmodell: 58,0 % der Fälle
  • Klassisch trainiert: 76,4 % der Fälle
  • Jev
  • GLiNERVariante gliner2.5-multi-decide
  • Lokales SprachmodellVariante winnow-12b
  • Klassisch trainiertVariante classic-e5-lr

Der klassisch trainierte Klassifikator lernt aus dem Trainingsteil von MASSIVE, die anderen Werkzeuge sehen kein einziges Beispiel. Beim Abgleich gibt es keinen Trainingsteil.

Vorsicht beim Lesen: Die Schwelle ist auf denselben Daten gewählt, auf denen gezählt wird, die Werte sind also optimistisch. Beim Abgleich stehen nur 600 Fälle deutsch und 615 englisch dahinter, dort wackeln die Werte um einige Punkte. Und Jev und das lokale Sprachmodell geben ganz oben auf der Skala zu viel an: Beim Zuordnen auf Deutsch stimmt Jev bei angegebenen 0,98 in 93 Prozent der Fälle, Winnow-12B bei angegebenen 0,99 in 85 Prozent.

Quelle: Befund T1 im Repository lab-bench

Die Zahlen als Tabelle
Zuordnen, Deutsch, 5.596 Fälle
Werkzeugbei 90 %bei 95 %bei 99 %
Jev78,2 %60,3 %0,0 %
GLiNER (gliner2.5-multi-decide)12,7 %4,4 %0,5 %
Lokales Sprachmodell (winnow-12b)75,4 %58,0 %0,0 %
Klassisch trainiert (classic-e5-lr)93,3 %76,4 %39,4 %
Zuordnen, Englisch, 8.196 Fälle
Werkzeugbei 90 %bei 95 %bei 99 %
Jev64,7 %42,6 %0,0 %
GLiNER (gliner2.5-decide-1b)23,3 %10,8 %1,1 %
Lokales Sprachmodell (winnow-12b)58,7 %41,3 %0,0 %
Klassisch trainiert (classic-e5-lr)100,0 %87,7 %52,5 %
Abgleich, Deutsch, 600 Fälle
Werkzeugbei 90 %bei 95 %bei 99 %
Jev90,8 %53,5 %40,3 %
GLiNER (gliner2.5-multi-decide-focus)38,5 %28,5 %0,2 %
Lokales Sprachmodell (qwen3.8-27b)90,5 %68,2 %44,5 %
Klassisch trainiertnicht gemessennicht gemessennicht gemessen
Abgleich, Englisch, 615 Fälle
Werkzeugbei 90 %bei 95 %bei 99 %
Jev79,3 %51,9 %21,1 %
GLiNER (gliner2.5-decide-1b-focus)38,9 %24,6 %21,0 %
Lokales Sprachmodell (qwen3.8-27b)85,7 %56,4 %33,8 %
Klassisch trainiertnicht gemessennicht gemessennicht gemessen

Methode

So messen wir

Fünf Entscheidungen bestimmen, wie die Zahlen zu lesen sind. Jede hat eine Grenze, und die steht dabei.

  1. Referenz

    Jede Antwort zählt gegen ein Referenzurteil. Bei MASSIVE und fast-decisions sind das die Etiketten des Datensatzes. Beim Abgleich haben Sprachmodelle blind geurteilt, Streitfälle hat ein eigener Richter entschieden. Eine Stichprobe durch Menschen fehlt noch.

    Wie Richter und Modelle urteilen, zeigt Experiment 3 →

  2. Raten-Linie

    Neben jeder Quote steht, was man ohne Modell erreicht: immer die häufigste Antwort geben, beim Herausziehen gar nichts herausziehen. Die Farbe der Karte zeigt den Abstand zu dieser Linie. Wo die Referenz fast immer ja sagt, sieht eine rohe Quote sonst besser aus, als sie ist.

    Ein Klassifikator auf der Raten-Linie →

  3. Beste Variante je Familie, nach der Messung gewählt

    Von jeder Familie zeigt die Karte die beste Variante, gewählt auf denselben Testdaten, auf denen sie gemessen ist. Das begünstigt Familien mit vielen Varianten. Der gepaarte Test gegen Jev ist dafür nicht korrigiert. Ein Abstand ohne Signifikanz heißt deshalb nur, dass der Unterschied nicht gesichert ist. Gleich gut sind die beiden damit nicht.

    Was wir gemessen haben und was nicht →

  4. Ein Lauf je Variante

    Jede Zahl stammt aus einem einzigen Lauf. Ein zweiter Lauf kann anders ausfallen, bei Sprachmodellen schon deshalb, weil sie beim Antworten eine Stichprobe ziehen. Wie stark das ausmacht, haben wir beim Abgleich mit mehreren Läufen und gemischten Optionen gemessen.

    Mischen Sie die Optionen: Experiment 5 →

  5. Testentwurf vor dem ersten Lauf

    Ein neuer Test bekommt zuerst einen datierten Entwurf im Ordner plan/ des Repositorys: Daten, Fragen, Varianten, Referenz, Maß und Schwellen. Erst danach läuft er. So lässt sich der Entwurf nicht nachträglich an die Ergebnisse anpassen.

    Die Linie vorher festlegen: Experiment 2 →

Die Tests

Vier Tests, jeder mit eigener Frage

Jeder Test hat eigene Daten, eine eigene Referenz und eigene Berichte im Repository. Die Quellen in der Werkzeugkarte führen zu diesen Abschnitten.

pv1gemessen

Abgleich: Lebenslauf gegen Ausschreibung

Frage
Passt ein Lebenslauf zu einer Projektausschreibung? Zu jeder Zeile der Ausschreibung beantwortet ein Werkzeug fünf Fragen: Ist sie eine Anforderung, ist sie Pflicht, zu welchem von acht Bereichen gehört sie, welcher Eintrag im Lebenslauf belegt sie und wie weit erfüllt er sie.
Daten und Lizenz
Vier erfundene Ausschreibungen und acht erfundene Lebensläufe, deutsch und englisch, zu zehn Paaren zusammengestellt. Weil alles erfunden ist, darf jedes Werkzeug jeden Fall sehen, auch ein Dienst in den USA. Die Fälle stehen unter CC BY 4.0 im Repository.
Werkzeuge
Jev, vier offene Sprachmodelle über Ollama, darunter Winnow-12B und Qwen3.8-27B, und neun Varianten von GLiNER2.5 Decide.
Ergebnis
Jev liegt beim Bereich und bei der Stufe vorn. Den richtigen Beleg findet Qwen3.8-27B am häufigsten, deutsch 87,9 Prozent gegen 81,0 Prozent bei Jev. GLiNER2.5 Decide kommt im Mittel der fünf Fragen nicht über die häufigste Antwort hinaus.

Nachlesen

route1gemessen

Zuordnen: kurze Texte in feste Klassen

Frage
In welche von mehreren festen Klassen gehört ein kurzer Text? Für diese Aufgabe ist GLiNER2.5 Decide gebaut. Gefragt sind das Thema eines Sprachbefehls, bei bekanntem Thema die genaue Absicht und die Klasse in Fastinos eigenem Datensatz.
Daten und Lizenz
MASSIVE 1.1 von Amazon, Testteil, je 2.974 Sprachbefehle deutsch und englisch, Lizenz CC BY 4.0. Dazu der Entwicklungsteil von fast-decisions, den Fastino auf Hugging Face veröffentlicht hat, nur englisch, Lizenz Apache 2.0.
Werkzeuge
Jev, das lokale Sprachmodell Winnow-12B und sechs Varianten von GLiNER2.5 Decide. Seit Test T12 dazu elf weitere offene Modelle, zu sehen unter Qualität gegen Tempo.
Ergebnis
Auf MASSIVE liegt Jev in jeder Gruppe vorn, Winnow-12B dicht dahinter. GLiNER liegt 13 bis 32 Prozentpunkte hinter Jev. Auf fast-decisions erreichen die englischen Decide-Modelle, Jev und Winnow-12B 63,0 bis 64,4 Prozent, keiner dieser Abstände ist gesichert.

Nachlesen

ex1gemessen

Herausziehen: Angaben im Wortlaut

Frage
Welche Angaben stecken in einem Sprachbefehl, etwa Datum, Uhrzeit, Ort oder Name, und mit welchen Worten? Gezählt wird F1 über alle Angaben, ein Maß, das Genauigkeit und Vollständigkeit zusammenführt.
Daten und Lizenz
1.000 Sprachbefehle je Sprache aus dem Testteil von MASSIVE 1.1, mit den Angaben des Datensatzes als Referenz, Lizenz CC BY 4.0.
Werkzeuge
Das lokale Sprachmodell Winnow-12B und zwei Extraktoren von GLiNER, seit Test T12 dazu elf weitere offene Modelle. Jev ist nicht dabei, weil es auswählt und bewertet, aber keine Textstellen zurückgibt.
Ergebnis
Winnow-12B erreicht deutsch 45,1 und englisch 48,9 Prozent, das beste GLiNER 22,5 und 38,1 Prozent. Ganze Befehle trifft nur Winnow-12B öfter als jemand, der gar nichts herauszieht. GLiNER ist dafür 13- bis 21-mal so schnell.

Nachlesen

einv1geplant

E-Rechnung: Ja oder Nein aus dem Freitext

Frage
Nennt der Freitext einer E-Rechnung ein Zahlungsziel, ein Skonto oder eine Lastschrift? Zehn feste Ja-Nein-Fragen je Rechnung, beantwortet nur aus dem Text, nicht aus den Strukturfeldern.
Daten und Lizenz
34 öffentliche Testrechnungen aus der XRechnung-Testsuite der KoSIT, Lizenz Apache 2.0. Dieselben Rechnungen nutzt unsere Seite „Jev liest E-Rechnungen“.
Werkzeuge
Jev, GLiNER und ein lokales Sprachmodell, gezählt gegen eine blinde Referenz für alle 340 Antworten.
Ergebnis
Noch keins. Der Testentwurf steht seit dem 9. Oktober 2026 im Repository, festgelegt vor dem ersten Lauf und vor der Referenz.

Nachlesen

Lokale Modelle

Qualität gegen Tempo

Test T12 hat 11 offene Sprachmodelle von 3,4 bis 32,8 Milliarden Parametern auf einer einzigen Grafikkarte mit 24 GB gemessen, einer RTX 4090 mit Ollama. Dazu kommt Winnow-12B aus der Messung vom selben Tag. Alle bekamen dieselben Fragen wie Jev beim Zuordnen und beim Herausziehen. Jeder Punkt ist ein Modell: Je weiter rechts, desto schneller, je weiter oben, desto genauer, und je größer der Punkt, desto mehr Grafikspeicher braucht es.

Aufgabe
60,0 %

12 von 12 Modellen erreichen mindestens 60,0 %. Am schnellsten davon: Qwen3 4B mit 92.880 Entscheidungen pro Stunde.

Entscheidungen pro Stunde, logarithmisch

Qwen3.8 27B

  • Treffer: 79,1 %
  • 16.632 Entscheidungen pro Stunde
  • 18,7 GiB Grafikspeicher

Einen Punkt antippen oder mit der Tabulatortaste ansteuern, um ein anderes Modell abzulesen.

  • Fläche nach Grafikspeicher, hier 5,0 GiB und 20,0 GiB
  • gestrichelt: passt nicht ganz in 24 GB
  • Pfeil nach oben: Die Quote ist eine Untergrenze
  • Ring: das schnellste Modell über der Mindestqualität
  • Jev als Dienst, zum Vergleich

Wie voll wird die Grafikkarte?

Wählen Sie ein Modell oder tippen Sie auf einen Punkt im Diagramm. Der Balken zeigt, wie viel Grafikspeicher es während der Läufe belegt hat, zusammen mit dem, was der Desktop schon brauchte. Was nicht mehr auf die Karte passt, rechnet der Prozessor, und das bremst.

Qwen3.8 27B

  • Spitze 20,5 GiB von 24,0 GiB
  • davon 1,8 GiB für den Desktop vor dem Laden
  • 16.632 Entscheidungen pro Stunde, 207 ms je Entscheidung

Das Rennen

Alle Modelle bekommen dieselben Fragen und arbeiten sie eine nach der anderen ab. Jeder Balken füllt sich mit dem gemessenen Tempo, im Zeitraffer. Ist er voll, steht daneben, wie viel davon richtig war.

Aufgabe

Zeitraffer: Eine Sekunde hier sind 312 Sekunden Messung. Jedes Modell beantwortet dieselben 14.396 Fragen. Die Zahl der richtigen ist aus der gerundeten Trefferquote gerechnet.

  1. Qwen3 4B9.962 von 14.396 richtig25,8 pro Sekunde
  2. Granite 4 Micro9.185 von 14.396 richtig25,4 pro Sekunde
  3. Phi-4 14B10.883 von 14.396 richtig22,6 pro Sekunde
  4. Qwen3 14B10.509 von 14.396 richtig19,1 pro Sekunde
  5. Gemma 4 E4B11.056 von 14.396 richtig18,4 pro Sekunde
  6. Mistral Small 3.210.581 von 14.396 richtig16,6 pro Sekunde
  7. Qwen3 30B-A3B9.588 von 14.396 richtig14,3 pro Sekunde
  8. Shisa DE-110.927 von 14.396 richtig12,0 pro Sekunde
  9. Gemma 4 12B11.027 von 14.396 richtig10,5 pro Sekunde
  10. Winnow-12B11.272 von 14.396 richtig9,9 pro Sekunde
  11. Qwen3 32B10.783 von 14.396 richtig5,1 pro Sekunde
  12. Qwen3.8 27B11.387 von 14.396 richtig4,6 pro Sekunde

Größenleiter Qwen3

Vor dem ersten Lauf haben wir vier Qwen3-Modelle als Vertreter der Größenklassen benannt. Auf MASSIVE steigt die Linie mit der Größe, auf fast-decisions bleibt sie flach. Das Modell mit Expertenmischung (MoE) liegt auf beiden unter dem kleinsten.

69,4 %74,0 %76,5 %66,9 %MASSIVE59,7 %60,9 %60,6 %56,2 %fast-decisions

Vorab festgelegter Test: Qwen3 32B gegen Qwen3 4B

Gruppenur Qwen3 32B richtignur Qwen3 4B richtigp (McNemar)
MASSIVE Thema, deutsch459168< 0,001
MASSIVE Thema, englisch368166< 0,001
MASSIVE Absicht, deutsch316129< 0,001
MASSIVE Absicht, englisch229122< 0,001
fast-decisions, englisch1921680,225

Gezählt sind die Fragen, bei denen genau eines der beiden Modelle richtig lag. MASSIVE ist im Bild aus den vier Gruppen zusammengefasst, gewichtet nach der Zahl der Fragen.

Was die Reihe zeigt

  • Qwen3.8 27B ist das genaueste lokale Modell bei beiden Aufgaben. Beim Zuordnen trifft es 79,1 %, Jev 79,4 %. Auf MASSIVE liegen die beiden in keiner Gruppe mehr als einen halben Punkt auseinander. Beim Herausziehen erreicht es 54,3 % deutsch und 55,6 % englisch. Es ist aber auch das langsamste Modell, das ganz auf die Karte passt: rund 16.600 Entscheidungen pro Stunde bei 18,7 GiB Grafikspeicher.
  • Gemma 4 E4B bietet am meisten für wenig Speicher: 5,2 GiB, rund 66.300 Entscheidungen pro Stunde und 76,8 % Treffer. Das ist mehr als Qwen3 32B mit 74,9 %, das 21,3 GiB belegt.
  • Innerhalb von Qwen3 hilft Größe auf MASSIVE. Vom 4B über das 14B zum 32B steigt die Quote, und der vorab festgelegte Test groß gegen klein ist dort in allen vier Gruppen signifikant. Auf fast-decisions hilft Größe nicht: Qwen3 4B kommt auf 59,7 %, Qwen3 32B auf 60,6 %.
  • Auf fast-decisions erreicht kein lokales Modell die Grenze, ab der der Prüfstand eine Aufgabe als nutzbar zählt, also die Hälfte des Wegs von Raten zu fehlerfrei. Alle liegen zwischen 54,9 % und 63,6 %, Jev bei 63,0 %.
  • Mistral Small 3.2, Qwen3 30B-A3B und Phi-4 haben oft mit Text statt mit einem Antwortbuchstaben begonnen, bei 48 %, 44 % und 32 % der Fragen. Gewertet sind dann die Reste der Buchstaben. Ihre Quoten sind deshalb Untergrenzen, im Bild tragen sie einen Pfeil nach oben.
  • Qwen3 32B passt beim festgelegten Kontext von 16.384 Tokens nicht ganz in die 24 GB, ein Teil läuft auf dem Prozessor. Das erklärt einen guten Teil seiner Langsamkeit.

Vorsicht beim Lesen: Das Tempo gilt für eine Anfrage nach der anderen, von einem Mac über das lokale Netz. Gebündelt oder parallel schafft dieselbe Karte mehr, das messen C8 und T10. Die Besten sind nach der Messung auf denselben Daten benannt, ein Test zwischen ihnen fehlt. Jedes Modell lief einmal. Die Testdaten sind öffentlich. Ob ein Modell sie im Training gesehen hat, ist nicht geprüft. Jevs Tempo steht nicht im Bild, weil Jev als Dienst in den USA läuft und seine Uhr etwas anderes misst.

Quellen: Befund T12 · Daten zum Diagramm

Alle Modelle als Tabelle
Lokale Modelle auf einer Karte mit 24 GB, nach Treffern
ModellTreffer ZuordnenMASSIVEfast-decisionsEntscheidungen pro StundeF1 deutschF1 englischBefehle ganz richtigSprachbefehle pro StundeGrafikspeicherauf dem Prozessorganz auf der Karte
Qwen3.8 27B 27,3 Mrd., Q4_K_M79,1 %81,6 %62,0 %16.63254,3 %55,6 %990 von 2.0009.75618,7 GiB0,0 GiBja
Winnow-12B 11,9 Mrd., Q8_078,3 %80,1 %63,6 %35.60445,1 %48,9 %900 von 2.0009.360etwa 13,7 GiBn. v.ja
Gemma 4 E4B 7,5 Mrd., Q4_K_M76,8 %78,8 %61,1 %66.34839,3 %42,2 %495 von 2.00016.2365,2 GiBn. v.ja
Gemma 4 12B 11,9 Mrd., Q4_K_M76,6 %78,4 %61,6 %37.94447,9 %51,9 %917 von 2.00017.7489,3 GiBn. v.ja
Shisa DE-1 25,2 Mrd., Q4_K_M75,9 %77,8 %61,0 %43.20046,3 %49,3 %752 von 2.00015.22817,7 GiBn. v.ja
Phi-4 14B 14,7 Mrd., Q4_K_M75,6 % ↑77,7 %59,7 %81.36037,8 %43,6 %665 von 2.00012.60012,0 GiB0,0 GiBja
Qwen3 32B 32,8 Mrd., Q4_K_M74,9 %76,5 %60,6 %18.32439,8 %44,3 %588 von 2.0005.36421,3 GiB1,9 GiBnein
Mistral Small 3.2 24 Mrd., Q4_K_M73,5 % ↑74,2 %62,8 %59.65236,4 %39,5 %411 von 2.0005.61617,0 GiB0,0 GiBja
Qwen3 14B 14,8 Mrd., Q4_K_M73,0 %74,0 %60,9 %68.90435,1 %43,9 %611 von 2.00011.05211,6 GiB0,0 GiBja
Qwen3 4B 4 Mrd., Q4_K_M69,2 %69,4 %59,7 %92.88026,3 %36,1 %652 von 2.00027.9005,0 GiB0,0 GiBja
Qwen3 30B-A3B 30,5 Mrd., Q4_K_M66,6 % ↑66,9 %56,2 %51.55233,9 %39,0 %536 von 2.00014.47219,2 GiB0,0 GiBja
Granite 4 Micro 3,4 Mrd., Q4_K_M63,8 %63,6 %54,9 %91.26019,5 %28,4 %690 von 2.00031.5723,8 GiB0,0 GiBja
Jev als Dienst79,4 %81,8 %63,0 %n. v.n. v.n. v.n. v.n. v.n. v.n. v.n. v.

Treffer gepoolt über alle MASSIVE-Fragen beider Sprachen und die Aufgaben von fast-decisions mit höchstens 26 Optionen, 14.396 Fragen, für Jev nach derselben Regel. Der Pfeil markiert eine Untergrenze. Grafikspeicher ist die Spitze während der Läufe abzüglich des Leerlaufs vor dem Laden, bei Winnow-12B der Wert nach dem Laden. n. v. heißt nicht vorhanden.

Fähigkeiten

Was der Rechner kann

Die zweite Testreihe kommt ohne Jev aus. Sie fragt, was eine Arbeitsstation mit einer Grafikkarte von 24 GB im eigenen Haus leistet: je Fähigkeit ein öffentlicher Datensatz, ein vorab festgelegter Testentwurf und mehrere offene Modelle. Jeder Punkt ist ein Modell. Je höher, desto besser, je weiter rechts, desto mehr Grafikspeicher braucht es.

  • das Modell, das die Karte zeigt
  • gleichauf, der Test trennt die beiden nicht
  • Strich: 95 % Intervall
  • Grundlinie ohne Modell
  • läuft noch oder nicht fertig geworden
  • Punkte mit fast gleichem Grafikspeicher stehen leicht nebeneinander, die genauen Werte stehen in der Tabelle.

C1gemessen

Suche auf Deutsch für RAG

Welches Modell findet zu einer deutschen Frage die passenden Textstellen? MIRACL deutsch mit 305 Fragen, gezählt als nDCG@10.

Grafikspeicher in GB, die Karte hat 24

qwen3-emb-8b mit Reranker bge-reranker-v2-m3

  • nDCG@10 0,640, 95 % Intervall 0,605 bis 0,677
  • 21,8 GB Grafikspeicher
  • 44 Passagen pro Sekunde beim Indexieren, 209,4 ms je Anfrage
  • steht auf der Karte
  • gleichauf mit qwen3-emb-8b mit Reranker Qwen3-Reranker-0.6B, p 0,60

Einen Punkt antippen oder mit der Tabulatortaste ansteuern, um ein anderes Modell abzulesen.

Die Karte zeigt qwen3-emb-8b mit Reranker bge-reranker-v2-m3, gleichauf mit qwen3-emb-8b mit Reranker Qwen3-Reranker-0.6B (p 0,60). Beide brauchen gleich viel Grafikspeicher, darum steht der bessere Wert auf der Karte.

  • Qwen3-Embedding-8B ist das beste Suchmodell, mit 0,613. Der Preis ist Speicher und Zeit: 21,8 GB Grafikspeicher und nur 44 Passagen pro Sekunde beim Indexieren.
  • Ein Reranker, der die besten Treffer neu sortiert, hebt das auf 0,640 mit bge-reranker-v2-m3, gesichert gegen das Suchmodell allein (p 0,036). Eine Anfrage dauert dann 209,4 ms statt 53,7 ms. Qwen3-Reranker-0.6B liegt mit 0,634 gleichauf, braucht aber 1.078,2 ms je Anfrage.
  • bge-m3 mit 0,577 und e5-large mit 0,564 brauchen rund 3,0 GB und indexieren rund 1.189 Passagen pro Sekunde. Für einen großen oder täglich wechselnden Bestand sind sie die praktische Wahl. Das ist ein Rat, keine gemessene Gleichwertigkeit.
  • Die Wortsuche BM25 kommt auf 0,199. Der Datensatz enthält mit Absicht viele Passagen mit denselben Wörtern wie die Frage. Das ist eine Untergrenze für diesen Bestand, kein Urteil über BM25 in Firmendokumenten.

Nachlesen auf GitHub: Befund · Bericht mit allen Zahlen · Testentwurf

Alle Modelle als Tabelle
Suche auf Deutsch für RAG, eine Karte mit 24 GB, bestes zuerst
ModellnDCG@1095 % IntervallGrafikspeicherPassagen pro SekundeAbstand zum besten
qwen3-emb-8b mit Reranker bge-reranker-v2-m3 (auf der Karte)0,6400,605 bis 0,67721,8 GB44bester Wert
qwen3-emb-8b mit Reranker Qwen3-Reranker-0.6B0,6340,600 bis 0,66721,8 GB44nicht gesichert, p 0,60
qwen3-emb-8b0,6130,576 bis 0,65121,8 GB44gesichert, p 0,036
nomic-v2-moe0,5820,543 bis 0,6202,6 GB840gesichert, p < 0,01
bge-m30,5770,540 bis 0,6163,0 GB1.189gesichert, p < 0,01
e5-large0,5640,527 bis 0,6033,0 GB1.194gesichert, p < 0,01
qwen3-emb-0.6b0,5460,510 bis 0,5839,3 GB335gesichert, p < 0,01
gte-multi0,5120,473 bis 0,5522,4 GB2.377gesichert, p < 0,01
e5-large-instruct0,5100,474 bis 0,5503,0 GB1.204gesichert, p < 0,01
bm25 (Grundlinie)0,199

305 Fragen aus MIRACL deutsch, Grafikspeicher ist die Spitze über den ganzen Lauf abzüglich des Leerlaufs. BM25 läuft auf dem Prozessor.

C2gemessen

Sprache zu Text auf Deutsch

Wie genau schreibt ein Modell gesprochenes Deutsch mit? FLEURS deutsch mit 862 vorgelesenen Aufnahmen, gezählt als Wortfehlerrate (WER).

Grafikspeicher in GB, die Karte hat 24

whisper-large-v3

  • Wortfehlerrate 4,70 %, 95 % Intervall 3,95 % bis 5,50 %
  • 8,9 GB Grafikspeicher
  • 23-fache Echtzeit, eine Aufnahme nach der anderen
  • steht auf der Karte
  • gleichauf mit canary-1b-v2, p 0,62

Einen Punkt antippen oder mit der Tabulatortaste ansteuern, um ein anderes Modell abzulesen.

Die Karte zeigt whisper-large-v3, gleichauf mit canary-1b-v2 (p 0,62), weil es weniger Grafikspeicher braucht.

  • canary-1b-v2 mit 4,52 % und whisper-large-v3 mit 4,70 % trennt der Test nicht, p 0,62. Die Karte zeigt whisper-large-v3, weil es 8,9 GB statt 22,9 GB Grafikspeicher belegt.
  • parakeet-v3 ist das Modell für Menge: 5,16 % Fehler bei 182-facher Echtzeit.
  • Aufnahmen über 30 Sekunden bringen Whisper aus dem Tritt: whisper-large-v3 macht dort 17,58 % Fehler, canary-1b-v2 nur 3,24 %. Diese Aufteilung war nicht vorab festgelegt, sie beschreibt nur, und die Gruppe ist mit 21 Aufnahmen klein.
  • Die deutschen Nachtrainings sind schlechter als ihr Ausgangsmodell: whisper-turbo-de kommt auf 5,85 % gegen 5,63 % beim Original, distil-whisper-de auf 13,32 %.

Nachlesen auf GitHub: Befund · Bericht mit allen Zahlen · Testentwurf

Alle Modelle als Tabelle
Sprache zu Text auf Deutsch, eine Karte mit 24 GB, bestes zuerst
ModellWortfehlerrate95 % IntervallGrafikspeichermal EchtzeitAbstand zum besten
canary-1b-v24,52 %3,95 % bis 5,16 %22,9 GB23bester Wert
whisper-large-v3 (auf der Karte)4,70 %3,95 % bis 5,50 %8,9 GB23nicht gesichert, p 0,62
parakeet-v35,16 %4,56 % bis 5,75 %16,3 GB182gesichert, p < 0,01
whisper-large-v3-turbo5,63 %4,55 % bis 6,88 %4,5 GB69gesichert, p 0,026
whisper-turbo-de5,85 %5,20 % bis 6,51 %4,5 GB64gesichert, p < 0,01
distil-whisper-de13,32 %11,83 % bis 14,94 %4,4 GB90gesichert, p < 0,01

862 Aufnahmen aus FLEURS deutsch. Grafikspeicher ist die Spitze laut nvidia-smi, die NeMo-Modelle reservieren mehr, als sie belegen.

C3gemessen

Rechnungsfelder aus dem Bild

Wie viele von zwölf Feldern liest ein Modell richtig aus dem Bild einer Rechnung? 34 öffentliche XRechnung-Testrechnungen der KoSIT, 408 Zellen, gezählt als Anteil richtiger Felder.

Grafikspeicher in GB, die Karte hat 24

gemma4-12b

  • richtige Felder 0,978, 95 % Intervall 0,963 bis 0,990
  • 9,8 GB Grafikspeicher
  • 2,1 s je Rechnung
  • steht auf der Karte
  • gleichauf mit gemma4-26b, p 0,86

Einen Punkt antippen oder mit der Tabulatortaste ansteuern, um ein anderes Modell abzulesen.

Die Karte zeigt gemma4-12b, gleichauf mit gemma4-26b (p 0,86), weil es weniger Grafikspeicher braucht.

  • nicht fertig qwen3-vl-32b: nicht fertig im Zeitbudget von 180 Minuten.
  • gemma4-26b mit 0,980 und gemma4-12b mit 0,978 liegen gleichauf, p 0,86. Die Karte zeigt gemma4-12b: 2,1 s je Rechnung bei 9,8 GB. Regeln über der Textschicht des PDF schaffen 0,270.
  • mistral-small-3.2 liegt bei 0,909. Texterkennung vor demselben Modell schadet: docling mit gemma4-12b kommt auf 0,875. Das Bild direkt zu lesen ist besser.
  • qwen3.8-27b hat für alle Geldfelder null geliefert, auch aus der sauberen Textschicht. Seine übrigen Felder sind fast alle richtig, gewertet ist, was es zurückgab.
  • qwen3-vl-8b kam im zweiten Lauf auf 0,571. Bei 6 von 34 Rechnungen kam keine verwertbare Antwort, und es braucht 39,0 s je Rechnung.
  • qwen3-vl-32b wurde im Zeitbudget von 180 Minuten auf einer RTX 4090 nicht fertig. Modell und Kontext passen nicht ganz in den Grafikspeicher, ein Teil lief auf dem Prozessor.

Nachlesen auf GitHub: Befund · Bericht mit allen Zahlen · Testentwurf

Rechnungen mit Sollwerten auf Hugging Face · Antworten der Modelle je Rechnung ansehen

Alle Modelle als Tabelle
Rechnungsfelder aus dem Bild, eine Karte mit 24 GB, bestes zuerst
Modellrichtige Felder95 % IntervallGrafikspeichers je RechnungAbstand zum besten
gemma4-26b0,9800,968 bis 0,99019,8 GB3,6bester Wert
gemma4-12b (auf der Karte)0,9780,963 bis 0,9909,8 GB2,1nicht gesichert, p 0,86
mistral-small-3.20,9090,880 bis 0,93619,7 GB4,6gesichert, p < 0,01
docling+gemma4-12b0,8750,838 bis 0,90718,7 GB6,5gesichert, p < 0,01
pdftext+qwen3.8-27b (Bezug, Textschicht)0,6570,647 bis 0,66419,7 GB2,1gesichert, p < 0,01
docling+qwen3.8-27b (teils auf dem Prozessor)0,5910,561 bis 0,61822,8 GB26,1gesichert, p < 0,01
qwen3-vl-8b0,5710,466 bis 0,67211,9 GB39,0gesichert, p < 0,01
Regex über der Textschicht (Grundlinie)0,270
qwen3-vl-32bqwen3-vl-32b: nicht fertig im Zeitbudget von 180 Minuten.

34 Rechnungen mit je zwölf Feldern. Grafikspeicher ist die Spitze abzüglich des Leerlaufs, Tempo der Median je Rechnung.

C4gemessen

Strukturierte Ausgabe und Werkzeugaufrufe

Ruft ein Modell die richtige Funktion mit den richtigen Argumenten auf? BFCL v3 mit 1.000 Aufgaben über die eingebaute Werkzeugschnittstelle von Ollama, gezählt als Anteil richtiger Aufrufe.

Grafikspeicher in GB, die Karte hat 24

qwen3-14b

  • richtige Aufrufe 0,919, 95 % Intervall 0,901 bis 0,935
  • 10,3 GB Grafikspeicher
  • 606 ms je Aufgabe
  • steht auf der Karte
  • gleichauf mit qwen3.8-27b, p 0,22

Einen Punkt antippen oder mit der Tabulatortaste ansteuern, um ein anderes Modell abzulesen.

Die Karte zeigt qwen3-14b, gleichauf mit qwen3.8-27b (p 0,22), weil es weniger Grafikspeicher braucht.

  • qwen3-14b mit 0,919 und qwen3.8-27b mit 0,906 trennt der Test nicht, p 0,22. Die Karte zeigt qwen3-14b. Es braucht 10,3 GB statt 22,3 GB Grafikspeicher.
  • Kleine Modelle liegen nah dran: granite4-3b kommt mit 3,1 GB auf 0,869. Die Lücke öffnet sich, wenn eine Antwort mehrere Aufrufe auf einmal enthalten muss.
  • Stehen die Funktionen als JSON im Systemprompt und wird die Antwort aus dem Text gelesen, kommt qwen3-14b auf 0,946, gemma4-26b auf 0,947 und mistral-small-3.2 auf 0,934. Die eingebaute Werkzeugschnittstelle ist nicht von selbst der sicherere Weg.
  • gpt-oss-20b scheitert an der Anbindung in Ollama, nicht am Inhalt. Es gibt je Aufgabe höchstens einen Aufruf zurück und kommt so auf 0,508.
  • Erzwingt Ollama das JSON-Schema beim Erzeugen, hält jedes Modell das Schema öfter ein, granite4-3b etwa 0,895 statt 0,733. Auch dann besteht nicht jede Antwort die Prüfung. Eine Kontrolle hinter dem Modell bleibt nötig.

Nachlesen auf GitHub: Befund · Bericht mit allen Zahlen · Testentwurf

Alle Modelle als Tabelle
Strukturierte Ausgabe und Werkzeugaufrufe, eine Karte mit 24 GB, bestes zuerst
Modellrichtige Aufrufe95 % IntervallGrafikspeicherms je AufgabeAbstand zum besten
qwen3-14b (auf der Karte)0,9190,901 bis 0,93510,3 GB606bester Wert
qwen3.8-27b (teils auf dem Prozessor)0,9060,888 bis 0,92322,3 GB886nicht gesichert, p 0,22
qwen3-8b0,8920,872 bis 0,9116,3 GB374gesichert, p 0,010
gemma4-26b0,8810,861 bis 0,90019,0 GB252gesichert, p < 0,01
gemma4-12b0,8770,857 bis 0,8979,2 GB300gesichert, p < 0,01
granite4-3b0,8690,849 bis 0,8893,1 GB223gesichert, p < 0,01
mistral-small-3.20,8160,791 bis 0,84016,2 GB726gesichert, p < 0,01
gpt-oss-20b0,5080,479 bis 0,53912,6 GB334gesichert, p < 0,01

1.000 Aufgaben aus BFCL v3, Aufruf über die Werkzeugschnittstelle von Ollama. Grafikspeicher ist die Spitze über den ganzen Lauf abzüglich des Leerlaufs, Tempo der Median je Aufgabe.

C5gemessen

Übersetzung Deutsch und Englisch

Übersetzt ein Modell einzelne Sätze zwischen Deutsch und Englisch, in beide Richtungen? 1.012 Sätze je Richtung aus FLORES+, gezählt als chrF++ (Mittel beider Richtungen, 0 bis 100).

Grafikspeicher in GB, die Karte hat 24

gemma4-12b

  • chrF++ 66,5, 95 % Intervall 65,7 bis 67,3
  • 8,7 GB Grafikspeicher
  • 4,2 Sätze pro Sekunde
  • steht auf der Karte
  • gleichauf mit gemma4-26b, p 0,053
  • Deutsch nach Englisch 67,9, Englisch nach Deutsch 65,1

Einen Punkt antippen oder mit der Tabulatortaste ansteuern, um ein anderes Modell abzulesen.

Die Karte zeigt gemma4-12b, gleichauf mit gemma4-26b (p 0,053), weil es weniger Grafikspeicher braucht.

  • Die beiden Gemma-4-Modelle führen in beiden Richtungen. Deutsch nach Englisch erreicht gemma4-26b 68,1, gemma4-12b 67,9. Englisch nach Deutsch sind es 65,5 und 65,1. Der gepaarte Test trennt die beiden nicht (p 0,060 und 0,053). Die Karte zeigt darum gemma4-12b: 8,7 GB Grafikspeicher statt 18,5 GB.
  • eurollm-9b folgt mit 67,3 und 64,8. Der Test trennt es von gemma4-26b in beiden Richtungen (p < 0,01).
  • Das eigens für Übersetzung gebaute opus-mt liegt mit 64,9 und 61,1 drei bis vier Punkte hinter gemma4-12b. Es braucht nur 1,9 GB Grafikspeicher und schafft einzeln 6,0 Sätze pro Sekunde (gemma4-12b 4,2), im Bündel von 32 sind es 84. Für einen großen Stapel Übersetzungen ist die Frage, ob drei bis vier Punkte zählen.
  • Die Maße ergeben keine einheitliche Reihenfolge. Das gelernte Maß COMET trennt nur opus-mt von den übrigen Modellen, unter den Sprachmodellen gibt es keine Rangfolge her. Den Rang von qwen3.8-27b bei chrF++ lesen wir darum nicht als Aussage über den Sinn der Übersetzung.
  • Grenzen: ein Satz pro Aufruf, nur Deutsch und Englisch, Nachrichten und Lexikontext. Zu Verträgen, Mail-Verläufen oder langen Dokumenten sagt der Test nichts. FLORES+ ist seit 2021 der übliche Satz für diese Messung und kann im Training einzelner Modelle gewesen sein. Die Quantisierung unterscheidet sich zwischen den Armen. 1 Aufruf von gemma4-12b scheiterte und zählt als leere Übersetzung.

Nachlesen auf GitHub: Befund · Bericht mit allen Zahlen · Testentwurf

Alle Modelle als Tabelle
Übersetzung Deutsch und Englisch, eine Karte mit 24 GB, bestes zuerst
ModellchrF++95 % IntervallGrafikspeicherSätze pro SekundeAbstand zum besten
gemma4-26b66,866,0 bis 67,618,5 GB4,9bester Wert
gemma4-12b (auf der Karte)66,565,7 bis 67,38,7 GB4,2nicht gesichert, p 0,053
eurollm-9b66,065,2 bis 66,99,4 GB2,5gesichert, p < 0,01
madlad-3b65,664,7 bis 66,49,4 GB0,5gesichert, p < 0,01
mistral-small-3.265,564,7 bis 66,414,8 GB1,7gesichert, p < 0,01
qwen3.8-27b64,663,8 bis 65,417,7 GB2,0gesichert, p < 0,01
opus-mt63,062,2 bis 63,81,9 GB6,0gesichert, p < 0,01
Quelltext unverändert kopiert (Grundlinie)19,8

1.012 Sätze je Richtung aus FLORES+, der Wert ist das Mittel beider Richtungen. Grafikspeicher ist die Spitze über den ganzen Lauf abzüglich des Leerlaufs, Tempo die Sätze pro Sekunde einzeln (Mittel beider Richtungen).

C6gemessen

Leseverstehen auf Deutsch

Findet ein Modell die Antwort auf eine Frage in einem deutschen Textabschnitt? 1.000 Fragen aus GermanQuAD, gezählt als F1 über die Wörter der Antwort.

Grafikspeicher in GB, die Karte hat 24

gelectra-large

  • F1 0,872, 95 % Intervall 0,855 bis 0,888
  • 1,7 GB Grafikspeicher
  • 28 ms je Frage
  • steht auf der Karte
  • bester Wert, der Test trennt es von allen anderen

Einen Punkt antippen oder mit der Tabulatortaste ansteuern, um ein anderes Modell abzulesen.

Die Karte zeigt gelectra-large.

  • Das kleine Lesemodell gelectra-large schlägt jedes Sprachmodell: 0,872 gegen 0,849 beim besten Sprachmodell gemma4-12b, gesichert mit p 0,024. Es braucht 1,7 GB Grafikspeicher und 28 ms je Frage, gemma4-12b 9,2 GB und 302 ms. Das Lesemodell hat dabei einen Vorteil: Es wurde auf dem Trainingsteil desselben Datensatzes trainiert.
  • Sprachmodelle antworten länger und weniger wörtlich. Der Anteil genau getroffener Antworten fällt von 0,719 beim Lesemodell auf 0,656 bei gemma4-12b und 0,345 bei qwen3-8b.
  • Größe hilft hier nicht. gemma4-26b liegt mit 0,778 unter gemma4-12b, und qwen3.8-27b schrieb 104-mal „keine Antwort“, obwohl die Antwort im Text steht.
  • Unter den Sprachmodellen ist gemma4-12b die Empfehlung. Sein deutsches Nachtraining winnow-12b liegt mit 0,848 praktisch gleich. Einen Test zwischen den beiden haben wir nicht geplant.

Nachlesen auf GitHub: Befund · Bericht mit allen Zahlen · Testentwurf

Alle Modelle als Tabelle
Leseverstehen auf Deutsch, eine Karte mit 24 GB, bestes zuerst
ModellF195 % IntervallGrafikspeicherms je FrageAbstand zum besten
gelectra-large (auf der Karte)0,8720,855 bis 0,8881,7 GB28bester Wert
gemma4-12b0,8490,832 bis 0,8669,2 GB302gesichert, p 0,024
winnow-12b0,8480,832 bis 0,86613,5 GB448gesichert, p 0,026
mistral-small-3.20,8010,783 bis 0,81916,0 GB416gesichert, p < 0,01
gemma4-26b0,7780,759 bis 0,79819,0 GB264gesichert, p < 0,01
qwen3.8-27b0,7510,729 bis 0,77218,1 GB541gesichert, p < 0,01
qwen3-8b0,6760,655 bis 0,6966,3 GB248gesichert, p < 0,01
Regex über der Textschicht (Grundlinie)0,221

1.000 Fragen aus GermanQuAD. Grafikspeicher ist die Spitze abzüglich des Leerlaufs, Tempo der Median je Frage.

C7gemessen

Langer Kontext bis 32k Tokens

Findet ein Modell eine Angabe wieder, die in einem langen deutschen Text versteckt ist? 180 Aufgaben je Länge, bei 4k, 16k und 32k Tokens, gezählt als Anteil richtiger Antworten bei 32k.

Grafikspeicher in GB, die Karte hat 24

qwen3-14b

  • richtig bei 32k 1,000, 95 % Intervall 1,000 bis 1,000
  • 14,0 GB Grafikspeicher
  • 8,1 s zum Einlesen von 32k Tokens
  • steht auf der Karte
  • gleichauf mit qwen3.8-27b, p 1,00

Einen Punkt antippen oder mit der Tabulatortaste ansteuern, um ein anderes Modell abzulesen.

Die Karte zeigt qwen3-14b, gleichauf mit qwen3.8-27b (p 1,00), weil es weniger Grafikspeicher braucht.

  • qwen3-14b, qwen3.8-27b und gpt-oss-20b beantworten bei 32k alle Aufgaben richtig. gpt-oss-20b liest 32k Tokens in 2,7 s ein, qwen3-14b braucht 8,1 s. Längere Texte haben wir nicht getestet.
  • Die Fehler von Gemma und Mistral sind gekürzte Eingaben, keine verlorenen Angaben. Ist ein Text in den Tokens des Modells länger als das eingestellte Kontextfenster, schneidet Ollama ihn vorne ab, ohne Fehlermeldung. gemma4-12b kommt so auf 0,944. Im Betrieb muss das Kontextfenster darum größer sein als die längste Eingabe.
  • qwen3-8b erreicht 0,983 bei 10,0 GB Grafikspeicher. Der Test trennt es nicht vom besten Modell (p 0,11).
  • Die Aufgabe ist künstlich: eine eingefügte Angabe in Text aus GermanQuAD. Sie zeigt, ob ein Modell lange Texte sicher liest, nicht ob es sie versteht.

Nachlesen auf GitHub: Befund · Bericht mit allen Zahlen · Testentwurf

Alle Modelle als Tabelle
Langer Kontext bis 32k Tokens, eine Karte mit 24 GB, bestes zuerst
Modellrichtig bei 32k95 % IntervallGrafikspeichers Einlesen bei 32kAbstand zum besten
qwen3-14b (auf der Karte)1,0001,000 bis 1,00014,0 GB8,1bester Wert
qwen3.8-27b1,0001,000 bis 1,00019,7 GB13,5nicht gesichert, p 1,00
gpt-oss-20b1,0001,000 bis 1,00013,2 GB2,7nicht gesichert, p 1,00
mistral-small-3.20,9890,972 bis 1,00019,6 GB9,3nicht gesichert, p 0,29
qwen3-8b0,9830,961 bis 1,00010,0 GB4,1nicht gesichert, p 0,11
gemma4-12b0,9440,911 bis 0,97210,5 GB6,0gesichert, p < 0,01
gemma4-26b0,9440,911 bis 0,97219,2 GB4,2gesichert, p < 0,01

180 Aufgaben bei 32k Tokens, drei Aufgabenarten an drei Stellen im Text. Grafikspeicher ist die Spitze bei 32k abzüglich des Leerlaufs, Tempo die Zeit zum Einlesen (Median).

C9gemessen

Personenbezogene Daten finden

Findet ein Verfahren Namen, Adressen, E-Mail-Adressen, Telefon-, Konto- und Ausweisnummern sowie Geburtsdaten in deutschem Text? Gezählt wird, ob genau die richtige Stelle getroffen wird (Span-F1, gleich welcher der sieben Typen). Der Datensatz sind 476 deutsche Texte aus dem synthetischen Gretel-Datensatz im Finanzbereich. Der Wert im Bild gilt für 40 davon, deren Soll-Stellen nachgeprüft wurden.

Vorab: Die Soll-Stellen dieses Datensatzes hat selbst ein Sprachmodell erzeugt, und sie sind verrauscht. Die Nachprüfung der 40 Texte hat kein Mensch gemacht, sondern ein Sprachmodell (Claude Haiku 5.5), jede Beanstandung hat Claude Opus 5.5 gegengeprüft. Der Testentwurf verlangt eine Prüfung durch einen Menschen, sie steht noch aus. Von 149 Soll-Stellen blieben 102 unverändert, 43 waren falsch (etwa „Damen“, „Herren“ oder „Jetzt“ als Person) und 4 brauchten eine neue Grenze. Die Präzision der Soll-Stellen liegt bei 0,685, der Recall bei 0,981. Das ist unter der vorab festgelegten Schwelle von 0,90, der Test gilt als „Soll verrauscht“. Alle Zahlen hier beschreiben nur, es gibt keine Rangfolge.

Grafikspeicher in GB, die Karte hat 24

gemma4-12b

  • F1 0,839, 95 % Intervall 0,706 bis 0,929
  • 9,2 GB Grafikspeicher
  • 516,9 ms je Dokument
  • steht auf der Karte
  • gleichauf mit qwen3.8-27b, p 0,79
  • auf allen 476 Texten mit dem ursprünglichen Gold: 0,627, Recall 0,628, Präzision 0,626

Einen Punkt antippen oder mit der Tabulatortaste ansteuern, um ein anderes Modell abzulesen.

Die Karte zeigt gemma4-12b, gleichauf mit qwen3.8-27b (p 0,79), weil es weniger Grafikspeicher braucht.

  • Die beiden Sprachmodelle liegen vorn: gemma4-12b erreicht 0,839, qwen3.8-27b 0,828. Der gepaarte Test trennt die beiden nicht (p 0,79). Auf allen 476 Texten mit dem ursprünglichen Gold ist die Reihenfolge umgekehrt: qwen3.8-27b 0,644, gemma4-12b 0,627. Die Karte zeigt gemma4-12b, es braucht 9,2 GB Grafikspeicher statt 18,1 GB.
  • Das kleine gliner-pii-domains erreicht 0,738 bei Recall 0,667 und Präzision 0,828, in 27,7 ms je Dokument (gemma4-12b 516,9 ms). Auf den 40 Texten trennt der Test es nicht von der Spitze (p 0,19), auf allen 476 Texten schon: 0,564 gegen 0,644. gliner2.5-multi (0,649) und gliner-multi-pii (0,444) liegen getrennt dahinter.
  • Presidio erreicht 0,300 bei einem Recall von 0,407 und einer Präzision von nur 0,238: Es meldet viel mehr, als im Gold steht. Der Regex (0,150) trifft feste Formate wie E-Mail-Adressen sauber, aber nur einen kleinen Teil aller Stellen (Recall 0,083).
  • Grenzen: Die Texte sind erfunden und stammen aus dem Finanzbereich, hinter keiner Stelle steht ein echter Mensch. Der Datensatz ist seit 2024 öffentlich und kann im Training einzelner Modelle gewesen sein. Jedes Verfahren lief einmal. Claude Haiku 5.5 ist kein Teilnehmer des Tests. Die Zahlen sagen nichts über echte Dokumente und sind kein Nachweis, dass ein Verfahren die DSGVO erfüllt. Kommt die Prüfung durch einen Menschen, rechnen wir neu.

Nachlesen auf GitHub: Befund · Bericht mit allen Zahlen · Testentwurf

Alle Modelle als Tabelle
Personenbezogene Daten finden, eine Karte mit 24 GB, bestes zuerst
ModellF195 % IntervallGrafikspeicherms je DokumentAbstand zum besten
gemma4-12b (auf der Karte)0,8390,706 bis 0,9299,2 GB516,9bester Wert
qwen3.8-27b0,8280,738 bis 0,90218,1 GB1.141,8nicht gesichert, p 0,79
gliner-pii-domains0,7380,643 bis 0,8162,0 GB27,7nicht gesichert, p 0,19
gliner2.5-multi0,6490,517 bis 0,7427,6 GB21,9gesichert, p 0,014
gliner-multi-pii0,4440,282 bis 0,5962,0 GB27,9gesichert, p < 0,01
presidio0,3000,213 bis 0,3850,0 GB36,8gesichert, p < 0,01
regex (Grundlinie)0,150

40 deutsche Texte aus dem Gretel-Datensatz, deren Soll-Stellen ein Sprachmodell nachgeprüft hat (kein Mensch). Grafikspeicher ist die Spitze abzüglich des Leerlaufs, bei Presidio und Regex läuft der Prozessor, Tempo ist der Median je Dokument.

Vorsicht beim Lesen: Jedes Modell lief einmal. Gleichauf heißt, der gepaarte Test trennt zwei Modelle nicht (p ab 0,05). Dann zeigt die Karte das Modell mit weniger Grafikspeicher. Die Testdaten sind öffentlich, ob ein Modell sie im Training gesehen hat, ist nicht ausgeschlossen. Die Texte der Datensätze sind sauber und vorgelesen, echte Dokumente und Besprechungen sind schwieriger.

Plan

Was als Nächstes kommt

Diese Tests haben wir am 9. Oktober 2026 festgelegt, bevor einer davon lief. Gemessen heißt ein Test erst, wenn sein datierter Entwurf im Repository steht und er gelaufen ist.

Jede Familie bekommt ihr Heimspiel

Ein Vergleich, der nur fragt, wofür ein Werkzeug gebaut ist, begünstigt dieses Werkzeug. Darum bekommt jede Familie der Karte mindestens einen Test auf ihrem eigenen Gebiet, vorab benannt und neben den Tests, in denen sie zu Gast ist. Für Jev sind das Urteile mit Wahrscheinlichkeit, für GLiNER schnelles Zuordnen und das Finden von Textstellen, für lokale Sprachmodelle offene Aufgaben mit strukturierter Ausgabe. Verliert eine Familie auf eigenem Platz, steht das hier.

  1. T1

    Automatisierungsquote

    Welchen Anteil der Fälle kann ein Werkzeug bei 95 Prozent Treffsicherheit allein entscheiden, und stimmen seine Wahrscheinlichkeiten? zum Abschnitt →

    Daten: vorhandene Läufe aus Zuordnen und Abgleich, keine neuen · neue Zeile

    gemessen
  2. T2

    Stabilität

    Ein zweiter Lauf mit gemischten Optionen: Wie oft kippt die Antwort? Gemessen am 12. Oktober 2026 an 5.948 Fragen: qwen3.8-27b 5,7 %, winnow-12b 7,8 %, gemma4-12b 9,1 %, GLiNER Decide 0 %. Bei den Sprachmodellen sitzen die Kipper vor allem in der Frage mit 18 Optionen. Befund auf GitHub

    Daten: Zuordnen · neue Zeile

    gemessen
  3. T3

    Klassischer Klassifikator

    Mehrsprachige Satzvektoren mit logistischer Regression, trainiert auf dem Trainingsteil von MASSIVE.

    Daten: MASSIVE, Training und Test · neue Spalte

    gemessen
  4. T4

    GLiNER Decide nachtrainiert

    Trainiert mit 10, 50 und allen Beispielen je Klasse.

    Daten: MASSIVE, Training · neue Variante

    geplant
  5. T5

    Gehostetes Sprachmodell

    Gestrichen am 9. Oktober 2026: Der Prüfstand konzentriert sich auf offene Modelle, die im eigenen Haus laufen.

    Daten: Zuordnen, Herausziehen · neue Spalte

    gestrichen
  6. T6

    E-Rechnung Ja oder Nein

    Ja-Nein-Fragen über den Freitext, Testentwurf steht. zum Abschnitt →

    Daten: KoSIT, Apache 2.0 · neue Zeile

    geplant
  7. T7

    Personenbezogene Daten finden

    Gemessen als Fähigkeitstest C9, mit einem öffentlichen deutschen Datensatz unter Apache 2.0. Das Soll hat ein Sprachmodell nachgeprüft, kein Mensch. zum Abschnitt →

    Daten: Gretel, synthetische Finanzdaten, Apache 2.0 · neue Zeile

    gemessen
  8. T8

    Rechnungsfelder

    Gemessen als Fähigkeitstest C3: Rechnungen als Bild, die XML-Felder sind die Referenz. zum Abschnitt →

    Daten: KoSIT, Apache 2.0 · neue Zeile

    gemessen
  9. T9

    Robustheit

    Tippfehler und Umgangssprache in deutschen Sprachbefehlen. Gemessen am 12. Oktober 2026 an 1.000 Befehlen in vier Fassungen: Tippfehler kosten jedes der vier Werkzeuge 3,0 bis 4,2 Punkte Treffer, fehlende Umlaute und Umgangssprache höchstens 1,8. Befund auf GitHub

    Daten: MASSIVE deutsch, verändert · neue Zeile

    gemessen
  10. T10

    Durchsatz mit Bündeln

    Wie viele Entscheidungen schafft ein Werkzeug, wenn Anfragen gebündelt laufen? Gemessen am 12. Oktober 2026 für GLiNER Decide: im Bündel von 8 sind es etwa 400 Entscheidungen pro Sekunde, 5,7-mal so viele wie einzeln. Größere Bündel sind langsamer, die Antworten bleiben gleich. Die Sprachmodelle haben wir dafür nicht neu gemessen, ihr Durchsatz steht in C8. Befund auf GitHub

    Daten: Zuordnen · neue Zeile

    gemessen
  11. T11

    Lange Dokumente

    Texte zuordnen, die länger sind als das, was ein Encoder auf einmal liest.

    Daten: noch zu wählen · neue Zeile

    geplant
  12. T12

    Reihe lokaler offener Modelle

    Elf offene Modelle von 3,4 bis 32,8 Milliarden Parametern auf Zuordnen und Herausziehen: Treffer, Antwortzeit, Grafikspeicher, Entscheidungen pro Stunde auf einer Grafikkarte mit 24 GB. Gemessen am 9. Oktober 2026. zum Abschnitt →

    Daten: Zuordnen, Herausziehen · neue Variante

    gemessen
  13. C1

    Suche auf Deutsch für RAG

    Offene Suchmodelle, zwei Reranker und die Wortsuche BM25 auf MIRACL deutsch. zum Abschnitt → Befund auf GitHub

    Daten: MIRACL de, CC BY-SA 4.0 · Fähigkeitstest

    gemessen
  14. C2

    Sprache zu Text auf Deutsch

    Offene Modelle auf FLEURS deutsch: Wortfehlerrate, Tempo und Grafikspeicher. zum Abschnitt → Befund auf GitHub

    Daten: FLEURS de, CC BY 4.0 · Fähigkeitstest

    gemessen
  15. C3

    Rechnungsfelder aus dem Bild

    Bildmodelle, Texterkennung mit Sprachmodell und eine Regex-Grundlinie auf den Testrechnungen der KoSIT. zum Abschnitt → Befund auf GitHub

    Daten: KoSIT, Apache 2.0 · Fähigkeitstest

    gemessen
  16. C4

    Strukturierte Ausgabe und Werkzeugaufrufe

    Offene Sprachmodelle rufen Funktionen auf und füllen JSON-Schemata, frei und mit erzwungenem Schema. zum Abschnitt → Befund auf GitHub

    Daten: BFCL v3, Apache 2.0, und JSONSchemaBench, MIT · Fähigkeitstest

    gemessen
  17. C5

    Übersetzung Deutsch und Englisch

    Offene Modelle übersetzen in beide Richtungen, gezählt als chrF++. zum Abschnitt → Befund auf GitHub

    Daten: FLORES+, CC BY-SA 4.0 · Fähigkeitstest

    gemessen
  18. C6

    Leseverstehen auf Deutsch

    Ein trainiertes Lesemodell und offene Sprachmodelle beantworten Fragen zu deutschen Textabschnitten. zum Abschnitt → Befund auf GitHub

    Daten: GermanQuAD, CC BY 4.0 · Fähigkeitstest

    gemessen
  19. C7

    Langer Kontext bis 32k Tokens

    Offene Sprachmodelle suchen eine versteckte Angabe in deutschen Texten mit 4k, 16k und 32k Tokens. zum Abschnitt → Befund auf GitHub

    Daten: künstliche Angaben in Text aus GermanQuAD · Fähigkeitstest

    gemessen
  20. C8

    Durchsatz und Strom

    Wie viele Tokens und Entscheidungen schafft die Karte mit einem und mit 16 gleichzeitigen Nutzern, und was kostet das an Strom? Ollama gegen vLLM. Ohne Gütemaß, darum ohne Bild unter „Was der Rechner kann“. Befund auf GitHub

    Daten: künstliche Anfragen und Entscheidungen aus Zuordnen · Fähigkeitstest

    gemessen
  21. C9

    Personenbezogene Daten finden

    Offene Modelle markieren personenbezogene Angaben in deutschen Texten, zugleich Test T7. Das Soll ist verrauscht, die Nachprüfung machte ein Sprachmodell statt eines Menschen, darum nur beschreibende Zahlen. zum Abschnitt → Befund auf GitHub

    Daten: Gretel, synthetische Finanzdaten, Apache 2.0 · Fähigkeitstest

    gemessen

T1, T2, T3, T7, T8, T9, T10 und T12 sind gemessen, T5 ist gestrichen. Daneben steht eine zweite Familie ohne Jev, C1 bis C9: was eine Arbeitsstation mit einer Grafikkarte kann, von der Suche für RAG über Sprache zu Text und Rechnungen als Dokument bis zu Durchsatz und Strom. C1 bis C9 sind gemessen, bei C9 ist das Soll verrauscht und von einem Sprachmodell nachgeprüft, nicht von einem Menschen. Alle Entwürfe liegen im Ordner plan/ des Repositorys. Testentwürfe im Ordner plan/

Fehlt ein Test, der Sie interessiert? Welchen Test sollen wir als Nächstes machen? Schreiben Sie uns.

Alles zum Nachrechnen
Fälle, Skripte, Referenzen und Auswertungen liegen im Repository lab-bench, Code unter MIT, Daten unter CC BY 4.0. Die Antworten von Jev je Frage liegen dort ebenfalls, veröffentlicht mit Zustimmung von TypeSafe vom 10. Oktober 2026. Für sie gilt ein eigener Nutzungshinweis: nur zum Nachrechnen der Messungen, nicht zum Trainieren oder Destillieren von Modellen und nicht für ein Konkurrenzprodukt. Die Ergebnistabellen ohne die Einzelantworten von Jev liegen zusätzlich auf Hugging Face.

Welches Werkzeug passt zu Ihrer Aufgabe?

Bringen Sie eine Aufgabe und einige Beispiele mit. Wir ordnen ein, welche Werkzeugfamilie in Frage kommt und wie ein fairer Test auf Ihren eigenen Daten aussieht.

Gespräch vereinbaren