Entscheidungsmodelle: Fragen mit Typ, Antworten mit Wahrscheinlichkeit

Ein Entscheidungsmodell schreibt keinen Text. Es beantwortet eine Frage mit festem Typ und gibt je Option eine Wahrscheinlichkeit zurück. Was daraus folgt, entscheidet Code. Hier sehen Sie das an aufgezeichneten Antworten von Jev, einem Entscheidungsmodell von TypeSafe, und ziehen die Schwelle selbst.

Linie selbst ziehen →Jeder Punkt ist eine Anfrage, für die Jev das passende Werkzeug (einen Skill) wählt. Rechts ist Jev sicher, links unsicher. Gefüllt: Jev wählt richtig, umrandet: falsch. 490 Urteile von jev-1.13.0, gemessen am 19.09.2026. Wo würden Sie die Linie ziehen?

Auf einen Blick

Weg einer Entscheidung

Ein Entscheidungsmodell wie Jev von TypeSafe arbeitet mit drei Teilen: einem Zustand in benannten Feldern, einer Frage mit festem Typ und Code, den man lesen, testen und ändern kann.

Unser Beispiel ist der Projekt-Abgleich: Ein Lebenslauf wird Zeile für Zeile gegen eine Projektausschreibung geprüft. Die Fälle stammen aus unserem Prüfstand und sind erfunden. Eine Anforderungszeile aus dem Prüfstand geht hier Schritt für Schritt durch das Modell bis zum Urteil im Code. TypeSafe veröffentlicht Jevs Inneres nicht. Darum beginnt das Startbild mit Winnow-12B, einem offenen Modell, das dieselbe Frage beantwortet hat. Schalten Sie auf Jev, um zu sehen, was davon sichtbar bleibt. Wählen Sie einen Fall und ein Modell, gehen Sie vor und zurück, und vergleichen Sie denselben Schritt bei drei Modellen.

Startbild · Weg einer Entscheidung

Aufgezeichnete Antworten vom 01.10.2026, keine Live-Anfrage.

1 Eingabe

Ein Text: Vorlage, Zustand, Frage, Optionen als Buchstaben

Vorlage<|turn>system You judge a project posting and a candidate CV. Answer each multiple-choice question with the letter of exactly one option.<turn|> <|turn>user
Zustand: Zeilerequirement „Aufbau einer End-to-End-Testautomatisierung mit Playwright und TypeScript für unser Kundenportal“
Zustand: Lebenslaufcv 7 Einträge, je eine Zeile
FrageQuestion: How well does `cv` show that the candidate has done what `requirement` asks for?
Optionen als Buchstaben
- A) Not at all
- B) Adjacent or transferable experience
- C) Done in at least one role or project
- D) Done repeatedly, across several roles or projects
Antwortanfangleer, Denkmodus aus: keine Überlegungen vorab. Den ersten Buchstaben schreibt das Modell selbst.

Vorlage: der feste Rahmen, in dem dieses Modell Fragen erwartet. Zeichen wie <|turn> gehören dazu.

828 Tokens gemessen

Ganzer Prompt im Wortlaut

<|turn>system
You judge a project posting and a candidate CV. Answer each multiple-choice question with the letter of exactly one option.<turn|>
<|turn>user
`requirement`:
Aufbau einer End-to-End-Testautomatisierung mit Playwright und TypeScript für unser Kundenportal

`cv`:
cv.x-profile: Senior Test Automation Engineer (SDET) für Web, API und CI/CD. Elf Jahre Qualitätssicherung, davon acht in der Testautomatisierung. Baut wartbare End-to-End- und API-Testsuiten, bindet sie in Pipelines ein und befähigt Teams, ihre Tests selbst zu tragen.. B.Sc. Informatik, Hochschule Bremen, 2012 - 2015. Deutsch (Muttersprache), Englisch (fließend)
cv.s-e-commerce-sdet: Senior SDET (freiberuflich), Tidewave Commerce GmbH (03/2022 - heute): - End-to-End-Suite mit Playwright und TypeScript für einen Webshop aufgebaut: 1.400 Tests, laufen in Azure DevOps Pipelines bei jedem Pull Request API-Tests für die REST-Dienste (Bestellung, Zahlung, Lager) mit Playwright und Vertragstests mit Pact Flaky-Quote von 9 % auf unter 1 % gesenkt durch Testisolation und stabile Testdaten Drei Entwicklungsteams zur Testpyramide und zum Code-Review von Tests gecoacht Testberichte für Product Owner in Azure-DevOps-Dashboards
cv.s-insurer-automation: Test Automation Engineer (freiberuflich), Hanse Versicherungsdienste AG (06/2019 - 02/2022): - 600 Selenium-Tests (Java) auf Playwright migriert, Laufzeit von 3 Stunden auf 25 Minuten BDD-Szenarien mit Cucumber, gemeinsam mit dem Fachbereich geschrieben API-Tests mit Postman und Newman in der Azure DevOps Pipeline Testdatenmanagement für Vertrags- und Schadenszenarien aufgebaut
cv.s-telecom-qa: QA Engineer, Kombitel Services GmbH (09/2016 - 05/2019): - Selenium-WebDriver-Tests in Java mit TestNG für das Kundenportal Mobile Tests mit Appium für die Android- und iOS-Apps Jenkins-Pipelines für nächtliche Regressionsläufe Fehlerbewertung gemeinsam mit der Entwicklung in Jira
cv.s-agency-tester: Software Tester, Pixelfabrik Medien GmbH (10/2014 - 08/2016): - Manuelle und explorative Tests von Websites und Webanwendungen für Agenturkunden Erste Selenium-IDE- und WebDriver-Skripte für Smoke-Tests Testdokumentation in Confluence, Fehlerverfolgung in Jira
cv.p-llm-testgen: Testfallentwürfe mit einem LLM (2024): Internes Werkzeug, das aus User Stories über eine LLM-API Playwright-Testentwürfe erzeugt. Eine Testerin oder ein Tester prüft jeden Entwurf vor dem Merge. Zwei Teams nutzen es als Zeitgewinn bei neuen Features. Stack: TypeScript, Playwright, Azure OpenAI.
cv.p-flaky-radar: Dashboard zur Fehlerklassifikation (2023): Sammelt Testergebnisse aus Pipelines und gruppiert Fehlschläge nach Ursache (Testdaten, Timing, Umgebung, echter Fehler). Hilft dem Team zu entscheiden, welche Fehlschläge zuerst geprüft werden. Stack: Python, pytest, Grafana.

Question: How well does `cv` show that the candidate has done what `requirement` asks for?
A) Not at all
B) Adjacent or transferable experience
C) Done in at least one role or project
D) Done repeatedly, across several roles or projects<turn|>
<|turn>model
<|channel>thought
<channel|>

2, 3 Modell
- Vorlage
- Zustand: Zeile
- Zustand: Lebenslauf
- Frage
- Optionen als Buchstaben
Jedes Token wird zu einer Liste von Zahlen
Schema: Zerlegung und Zahlen schematisch, Anzahl gemessen
Schicht für Schicht mischen sich die Zahlen
Schema: Schema: so fließt Information ungefähr, nicht die echten Gewichte
Winnow-12B, auf Entscheidungen nachtrainiertes offenes Sprachmodell
hf.co/EldanRing/Winnow-12B:Q8_0, lokal auf einer RTX 4090 über Ollama, 426 ms · Modellkarte unter Weiterlesen
4 Nächstes Token
CD
- A 0,000
- B 0,000
- C 0,948
- D 0,050
- andere Tokens (1 − Masse) 0,002
Masse 0,9981Summe auf allen Optionsbuchstaben
C erstes Token: „C“
5 Teilen
1. A → 0 · gar nicht0,0000,000 → 0,000
2. B → 1 · benachbart, übertragbar0,0000,000 → 0,000
3. C → 2 · in einer Rolle getan0,9500,948 → 0,950
4. D → 3 · mehrfach getan0,0500,050 → 0,050
C: 0,9477 ÷ 0,9981 = 0,950
durch die Masse teilen
6 Code
Code entscheidet, nicht das Modell
bench/match.ts, readRequirement()
1. const level = Math.max(0, Math.min(3, x.level?.score ?? 0));← 2,05
2. cover: level / 3,→ 0,68
Lokal setzt der Prüfstand hier die Verteilung nach dem Teilen ein (bench/analyze.mjs, Zeile 54).
0123
Erwartungswert 2,05: Stufe mal Wahrscheinlichkeit, zusammengezählt
Abdeckung 0,68
Gleiche Regel, drei Modelle
- Jev Abdeckung 0,86
- Winnow-12B Abdeckung 0,68
- Qwen3.8-27B Abdeckung 0,74

Zum Vergleich unser Richter: Claude Opus, ein allgemeines Sprachmodell (Experiment 3). Er antwortet mit einer Wahl und einer Begründung: Beleg Senior SDET (freiberuflich), Tidewave Commerce GmbH, Stufe 3, Begründung „1.400 Playwright/TS tests; also Playwright migration at insurer and LLM tool in TS“ (im Original englisch).

Code liest den Erwartungswert 2,05 und teilt durch 3. Ergebnis: Abdeckung 0,68. Abdeckung heißt: wie gut der Lebenslauf diese Zeile belegt, von 0 bis 1. Darunter dieselbe Regel für alle drei Modelle.

Das Urteil schreibt kein Modell. Jedes Modell liefert nur Zahlen, der Code liest sie.Warum die Antwort je Fragetyp anders aussieht →Was macht eine Linie mit 490 Urteilen? →Wie daraus ein Gesamtwert wird →

Alle neun Kombinationen aus Fall und Modell
Fall	Modell	Verteilung nach dem Teilen	Masse	erstes Token	Code liest
Eine klare Zeile	Jev	0 · gar nicht 0,00, 1 · benachbart, übertragbar 0,00, 2 · in einer Rolle getan 0,42, 3 · mehrfach getan 0,58	keine, Jev gibt die Verteilung selbst	keine, Jev gibt die Verteilung selbst	Abdeckung 0,86
Eine klare Zeile	Winnow-12B	0 · gar nicht 0,00, 1 · benachbart, übertragbar 0,00, 2 · in einer Rolle getan 0,95, 3 · mehrfach getan 0,05	0,9981	„C“	Abdeckung 0,68
Eine klare Zeile	Qwen3.8-27B	0 · gar nicht 0,00, 1 · benachbart, übertragbar 0,01, 2 · in einer Rolle getan 0,75, 3 · mehrfach getan 0,23	0,9997	„C“	Abdeckung 0,74
Ein Grenzfall	Jev	nein 0,57, ja 0,43	keine, Jev gibt die Verteilung selbst	keine, Jev gibt die Verteilung selbst	zählt nicht
Ein Grenzfall	Winnow-12B	nein 0,92, ja 0,08	0,9987	„B“	zählt nicht
Ein Grenzfall	Qwen3.8-27B	nein 0,42, ja 0,58	0,9904	„A“	zählt
Das Modell will etwas anderes schreiben	Jev	nein 0,06, ja 0,94	keine, Jev gibt die Verteilung selbst	keine, Jev gibt die Verteilung selbst	zählt
Das Modell will etwas anderes schreiben	Winnow-12B	nein 0,02, ja 0,98	0,0714	„The“	zählt
Das Modell will etwas anderes schreiben	Qwen3.8-27B	nein 0,09, ja 0,91	0,9983	„A“	zählt

Quelle: Prüfstand lab-bench, Lauf 1 je Modell vom 01.10.2026. Prompt nachgebaut aus bench/run-local.mjs, Code wörtlich aus bench/match.ts. Lokale Modelle über Ollama auf einer RTX 4090, Jev über die TypeSafe-API. Ausschreibungen und Lebensläufe sind erfunden. Referenz: claude-opus-5-5, blind beurteilt (Experiment 3).

Ausprobieren

Welches Experiment erklärt welchen Schritt

Jeder Schritt im Startbild hat ein Experiment, das ihn genauer zeigt. Wählen Sie einen Schritt. Alle Experimente spielen aufgezeichnete Antworten ab, keines fragt live an.

Wählen Sie einen Schritt: Hervorgehoben sind die Experimente, die ihn erklären. Schema: Schema: die sechs Schritte des Startbilds als Weg, keine Messwerte

Weg einer EntscheidungDas Startbild: eine Zeile, drei Modelle, sechs Schritte bis zum Urteil im Code.Eingabe · Zerlegen · Schichten · Nächstes Token · Teilen · Code
01Eine Frage, drei FormenJa oder nein, Auswahl, Stufe: drei Formen der Antwort, der Code liest ein Feld.Eingabe · Code
02Wo setzt der Code die Schwelle?Eine Linie, 490 Urteile aus dem Skill-Routing und ein zweiter Datensatz: was automatisch durchgeht und was ein Mensch ansieht.Code
03Wer trifft den Richter?Jev und lokale Modelle im Fallspieler und in der Tabelle, gegen den ersten Opus-Richter.Nächstes Token · Teilen
04Wie sicher ist sicher?Wie oft ein Modell 0,99 sagt, und ob es dann auch stimmt.Teilen · Code
05Mischen Sie die OptionenDieselbe Frage, die Optionen gemischt. Bleibt die Wahl?Eingabe · Nächstes Token
06Vom Einzelurteil zum GesamtwertDrei Knöpfe der Rechnung, zehn Paare ordnen sich neu.Code
Wo trägt es, wo nicht?Erst tippen, dann die Messung: Einsätze und Schwächen, je mit Quelle.Schichten · Code

Welches Experiment erklärt welchen Schritt
Schritt	erklärt in
Eingabe	Weg einer Entscheidung, Eine Frage, drei Formen, Mischen Sie die Optionen
Zerlegen	Weg einer Entscheidung
Schichten	Weg einer Entscheidung, Wo trägt es, wo nicht?
Nächstes Token	Weg einer Entscheidung, Wer trifft den Richter?, Mischen Sie die Optionen
Teilen	Weg einer Entscheidung, Wer trifft den Richter?, Wie sicher ist sicher?
Code	Weg einer Entscheidung, Eine Frage, drei Formen, Wo setzt der Code die Schwelle?, Wie sicher ist sicher?, Vom Einzelurteil zum Gesamtwert, Wo trägt es, wo nicht?

Experiment 2Eigene Messung · öffentlicher und eigener Datensatz

Wo setzt der Code die Schwelle?

Eine Wahrscheinlichkeit allein entscheidet nichts. Erst eine Schwelle im Code macht daraus ja, nein oder „bitte ansehen“. Wo sie liegt, entscheidet die Fachseite.

Experiment 2 · Wo setzt der Code die Schwelle?

Skill-Routing: 490 Urteile des Entscheidungsmodells jev-1.13.0 über die TypeSafe-API, gemessen am 19.09.2026. Keine Live-Anfrage.

Datensatz

Skill-RoutingPrompt-Injection

Welcher Skill passt zu dieser Anfrage? Eine Auswahlfrage. Code übernimmt den ersten Platz ab einer Schwelle, darunter sieht ein Mensch hin.

Anfrage
eine Routing-Anfrage, ihr Text ist nicht veröffentlicht
Jev (jev-1.13.0)
nicht veröffentlicht: Architektur, Größe, Basismodell, Trainingsdaten
Laut TypeSafe eine eigene Modellklasse, trainiert mit dem Verfahren RLCD.
Platz 1
p = 0,92
Die Zahl, die Jev liefert, ist die Lage des Punktes im Feld darunter.
modell.ts, entscheide()
1. export function entscheide(p: number, unten: number, oben: number): Entscheid {
2. if (p >= oben) return 'ja';
3. if (p < unten) return 'nein';
4. return 'mensch';
5. }
Ergebnis
automatisch: Platz 1 übernehmen

erster Platz richtig
erster Platz falsch
ohne Menschenblick falsch entschieden
geht an einen Menschen

Schwelle: ab hier übernimmt Code den ersten Platz0,90

Die Punkte bleiben, wo sie sind. Die Schwellen ändern nur, was Code daraus macht. Dafür ist keine neue Anfrage nötig.

Freies Spiel: Ziehen Sie die Linie und sehen Sie, wie mit dem automatisch entschiedenen Anteil auch die Fehler steigen oder fallen. Die Punkte bleiben, wo sie sind.

Treffsicherheit ohne Menschenblick

99,7 %

297 von 298 richtig

Automatisch entschieden

60,8 %

298 von 490 ohne Menschenblick

An einen Menschen

192

39,2 % der Urteile

Falsch ohne Menschenblick

1

von 298 automatisch entschiedenen

Was der Code mit 490 Urteilen macht

automatisch, richtig297
automatisch, falsch1
an einen Menschen192

Abwägung: je Linie ein gemessener Punkt

Skill-Routing: Linie, automatisch entschieden, Fehler und Menschenblick
Linie	Automatisch entschieden	Falsch ohne Menschenblick	An einen Menschen
0,80	70,4 %	6	145
0,85	66,1 %	2	166
0,90	60,8 %	1	192
0,95	50,8 %	1	241
0,97	46,1 %	0	264
0,99	37,6 %	0	306

Quelle: eigene Testanfragen an eine Skill-Auswahl, nur die mit passendem Skill, Anfragen von Claude Sonnet geschrieben und von Claude Opus geprüft. Jev jev-1.13.0 über die TypeSafe-API, ein Lauf am 19.09.2026. Dieselben Urteile stehen im Artikel „Jev im Praxistest“.

So funktioniert der Aufbau Oben ein Urteil auf seinem Weg durch den Code. Darunter ist jeder Punkt ein aufgezeichnetes Urteil, eingetragen nach Jevs Wahrscheinlichkeit, die Achse unter 0,80 gestaucht. Gefüllt heißt laut Datensatz ja, umrandet nein. Das Band geht an einen Menschen, Rot ist, was Code ohne Menschenblick falsch entscheidet. Daneben die Abwägung je Linie.

Einordnung und Grenzen

Nicht Teil dieser Darstellung: Warum eine hier eingestellte Linie auf neuen Daten schlechter trifft, zeigt der Schritt „Zu gut eingestellt“ beim Datensatz deepset/prompt-injections.

deepset/prompt-injections ist ein öffentlicher Datensatz mit deutschen und englischen Texten, die Menschen von Hand als Angriff oder harmlos markiert haben. Wir nutzen den Prüfteil des Datensatzes, also die 116 Texte, die zum Testen zurückgehalten werden. Die 490 Routing-Anfragen hat Claude Sonnet aus Skill-Beschreibungen geschrieben, Claude Opus hat jede Zuordnung geprüft. Beide Läufe stammen vom 19.09.2026. Ausführlich stehen sie im Artikel „Jev im Praxistest“.

Experiment 3Prüfstand pv1 · Referenz: Opus-Richter

Wer trifft den Richter?

Jev läuft bei TypeSafe in den USA. Unser Schwerpunkt ist souveräne KI, deshalb wollen wir wissen, welche Modelle man selbst betreiben kann und wie weit sie heute an Jev heranreichen. Testfall ist der Projekt-Abgleich, weil er viele Facetten hat. Wir stellen allen Modellen dieselben Fragen und vergleichen mit einem Referenzurteil.

Gemessen im Prüfstand →

Praxisbeispiel · exemplarisch

Tippen Sie vorab, wenn Sie mögen, und spielen Sie einen Fall durch: die Frage, der Richter, Jev und drei lokale Modelle. Darunter alle Zeilen als Tabelle, jede Zelle öffnet ihre Fälle. Keines der lokalen Modelle ist wie Jev gebaut. Welcher Art jedes ist, steht neben seinem Namen.

Hat eine Zeile keinen Beleg im Lebenslauf, sollte die Antwort „kein Beleg“ heißen. Jev nennt in diesen Zeilen in 23,3 % der Fälle trotzdem einen Eintrag. Bei den lokalen Sprachmodellen sind es 9,3 % bis 32,6 %. Nur Qwen3.8-27B tut das abgesichert seltener als Jev. Abgesichert heißt hier: Der Abstand ist im gepaarten Test mit p < 0,05 kaum durch Zufall zu erklären. Bei der Wahl des richtigen Belegs ist keiner ihrer Abstände zu Jev abgesichert, Jev selbst liegt bei 81,9 %.

Experiment 3 · Wer trifft den Richter?

13 ausgewählte Fälle, Lauf 1 je Modell vom 01.10.2026. Keine Live-Anfrage.

Wichtig für alles, was hier „richtig“ heißt: Die Referenz stammt von drei blinden Richtern mit Claude Opus (claude-opus-5-5, beurteilt am 01.10.2026), nicht von Menschen. Keiner sah eine Modellantwort. Zwei haben die deutschen Zeilen unabhängig voneinander beurteilt: gezählt wird gegen den ersten, der zweite steht nur zum Vergleich in der Tabelle. Der dritte hat die englischen Zeilen allein beurteilt, dort fehlt diese Gegenprobe. Dieselbe Modellfamilie kann denselben blinden Fleck haben. Am 2. Oktober haben deshalb zwei weitere blinde Richter aus anderen Claude-Familien, Sonnet und Fable, die deutschen Zeilen gegengeprüft, und eigene Agenten haben die 61 Streitfälle mit Quellen entschieden (results/pv1/crosscheck.md im Prüfstand). Die Zahlen auf dieser Seite zählen weiter gegen den ersten Richter, wie beschriftet. Ein menschliches Urteil steht noch aus.

Das ist die Zeile aus dem Startbild. Jetzt antworten vier Modelle.

alle wie die Referenz

„Aufbau einer End-to-End-Testautomatisierung mit Playwright und TypeScript für unser Kundenportal“

Lebenslauf: Senior Test Automation Engineer (SDET) für Web, API und CI/CD

Welcher Eintrag des Lebenslaufs belegt diese Zeile?

Option	JevEntscheidungsmodell	Winnow-12Bnachtrainiert	Qwen3.8-27Ballgemein	Shisa DE-1nachtrainiert
Senior SDET (freiberuflich), Tidewave Commerce GmbHWahl des Richters	1,00	1,00	1,00	0,98
Masse auf den Buchstaben, darin das erste Token	entfällt, Jev gibt die Verteilung direkt	0,98 B	1,00 B	1,00 B

7 weitere Optionen, je Modell zusammen höchstens 0,02

Begründung des Richters „1.400 Playwright/TS tests; also Playwright migration at insurer and LLM tool in TS“

Liegt die Masse tief, steht die geteilte Zahl auf einem kleinen Rest. So entsteht das: Startbild, Schritt 5

Ergebnis: alle wie die Referenz. 4 von 4 Modellen wählen wie der Richter.

Alle Zeilen gegen den ersten Opus-Richter (Referenz)

Sortieren per Spaltenkopf. Eine Zelle öffnet die Zeilen, aus denen sie gezählt ist.

Modell	n = 116	n = 43	n = 116	n = 116	n = 116	n = 116
JevEntscheidungsmodell per API
Winnow-12Bauf Entscheidungen nachtrainiertes offenes Sprachmodell
Qwen3.8-27Ballgemeines Sprachmodell
Shisa DE-1auf Entscheidungen nachtrainiertes offenes Sprachmodell
Qwen3-32B (früherer Vergleichslauf)allgemeines Sprachmodell
GLiNER2.5 Decide-1BKlassifikator, kein Sprachmodell
zweiter Richterallgemeines Sprachmodell als Richter	94,8 %110/116	0,0 %0/43	94,8 %110/116	100,0 %116/116	100,0 %116/116	97,4 %113/116

Beleg, Stufe und Bereich zählen nur Zeilen, die die Referenz als Anforderung sieht. „Beleg erfunden“ ist der Anteil der Zeilen ohne Beleg, für die das Modell trotzdem einen Eintrag nennt. Kleiner ist besser. Unter jedem Wert steht die Zählung. * unterscheidet sich von Jev mit p < 0,05 (exakter McNemar-Test, gepaart, Lauf 1). Abstände ohne Stern können Zufall sein. Die Zeile „zweiter Richter“ zeigt, wie weit zwei Richter übereinstimmen.

Bisher eine Messung je Modell, am 01.10.2026 und 08.10.2026. Jede weitere Messung des Prüfstands kommt hier dazu.

Das Netz: zwei Modelle nebeneinander

Sieben Achsen von 0 bis 100 Prozent, je weiter außen, desto besser. Ein Ring markiert den höchsten Wert je Achse.

Tempo ist relativ: 100 % ist die schnellste Zeit. Darum prägt Tempo die Fläche stark.

Zeigen Sie auf eine Achse oder tippen Sie sie an, mit der Tastatur über die Tabulatortaste. Dann stehen hier die Werte.

Alle Werte als Tabelle

Modell	Tempo (relativ)	Stufe genau	Bereich	Anforderung erkannt	Kein erfundener Beleg	Beleg	Pflicht	Zeit je Zeile
Jev	100,0 %	79,3 %	93,1 %	88,2 %	75,0 %	81,0 %	93,1 %	0,25 s
Winnow-12B	10,0 %	77,6 %	87,1 %	86,8 %	81,2 %	85,3 %	94,0 %	2,49 s
Qwen3.8-27B	14,2 %	69,0 %	86,2 %	85,3 %	89,6 %	87,9 %	97,4 %	1,76 s
Shisa DE-1	10,6 %	66,4 %	85,3 %	85,3 %	64,6 %	79,3 %	75,9 %	2,35 s
Qwen3-32B	15,2 %	47,4 %	76,7 %	85,3 %	66,7 %	77,6 %	100,0 %	1,65 s

Prüfstand lab-bench, Fassung pv1, erster Lauf vom 1. Oktober 2026. Deutsche Zeilen gegen die abgestimmte Referenz vom 2. Oktober 2026: 136 Zeilen, davon 116 Anforderungen, 48 davon ohne Beleg. Jev 1.13.0 über die TypeSafe-API, die vier anderen Modelle lokal auf einer RTX 4090. „Kein erfundener Beleg“ ist 100 minus dem Anteil dieser 48, bei dem ein Modell trotzdem einen Eintrag nennt. Tempo ist relativ: die schnellste Zeit je Zeile (Jev, 0,25 s) geteilt durch die Zeit des Modells, Median über die 136 Zeilen. Jev beantwortet die fünf Fragen einer Zeile in einer Anfrage, die lokalen Modelle brauchen fünf Aufrufe nacheinander. Die Zeit je Zeile misst also nicht genau dasselbe. Die Kosten sind keine Achse. Lokal haben wir nur den Strom geschätzt, er liegt etwa beim Listenpreis von Jev, und die Hardware ist nicht gerechnet, siehe Abschnitt „Tempo und Kosten“ unten. Anders als die Tabelle darüber zählt das Netz gegen die abgestimmte Referenz, wie der Artikel.

Welche Modelle, wo gerechnet

Modell	Art	Version	Ort	Vorlage, Antwortanfang	Datum	Läufe
Jev	Entscheidungsmodell per API	`jev-1.13.0`	TypeSafe-API, USA	keine, Anfrage als JSON	01.10.2026	5, davon einer gemischt
Winnow-12B	auf Entscheidungen nachtrainiertes offenes Sprachmodell	`hf.co/EldanRing/Winnow-12B:Q8_0`	lokal, RTX 4090 über Ollama	`gemma4`, ohne Antwortanfang	01.10.2026	1
Qwen3.8-27B	allgemeines Sprachmodell	`qwen3.8:27b`	lokal, RTX 4090 über Ollama	`chatml`, `„Answer: **“`	01.10.2026	1
Shisa DE-1	auf Entscheidungen nachtrainiertes offenes Sprachmodell	`hf.co/mradermacher/shisa-de-1-GGUF:Q4_K_M`	lokal, RTX 4090 über Ollama	`gemma4`, ohne Antwortanfang	01.10.2026	1
Qwen3-32B (früherer Vergleichslauf)	allgemeines Sprachmodell	`qwen3:32b`	lokal, RTX 4090 über Ollama	`chatml`, `„Answer: **“`	01.10.2026	2, davon einer gemischt
GLiNER2.5 Decide-1B	Klassifikator, kein Sprachmodell	`fastino/GLiNER2.5-Decide-1B`	lokal, RTX 4090 mit der Bibliothek gliner2	keine, eine Aufgabe je Frage, Optionen als Etiketten	08.10.2026	1
Referenz, erster Opus-Richter	allgemeines Sprachmodell als Richter	`claude-opus-5-5`	blind, ohne Modellantworten	Wahl und kurze Begründung	01.10.2026	ein Urteil je Zeile
zweiter Richter	allgemeines Sprachmodell als Richter	`claude-opus-5-5`	blind, ohne Modellantworten	Wahl und kurze Begründung	01.10.2026	ein Urteil je Zeile

Winnow-12B und Shisa DE-1 liefen in unserem Messaufbau, nicht in ihrem eigenen Format. Allein ein anderer Antwortanfang hat bei Shisa DE-1 6 von 15 Antworten geändert. Ihre Zahlen gelten für diesen Messaufbau.

Alle Prompts im Wortlaut, an der Zeile des Startbilds (p01-de-l03), Frage nach der Stufe

Jev · POST /v1/systemone

{
  "model": "jev-latest",
  "state": {
    "requirement": "Aufbau einer End-to-End-Testautomatisierung mit Playwright und TypeScript für unser Kundenportal",
    "cv": {
      "x-profile": "Senior Test Automation Engineer (SDET) für Web, API und CI/CD. Elf Jahre Qualitätssicherung, davon acht in der Testautomatisierung. Baut wartbare End-to-End- und API-Testsuiten, bindet sie in Pipelines ein und befähigt Teams, ihre Tests selbst zu tragen.. B.Sc. Informatik, Hochschule Bremen, 2012 - 2015. Deutsch (Muttersprache), Englisch (fließend)",
      "s-e-commerce-sdet": "Senior SDET (freiberuflich), Tidewave Commerce GmbH (03/2022 - heute): - End-to-End-Suite mit Playwright und TypeScript für einen Webshop aufgebaut: 1.400 Tests, laufen in Azure DevOps Pipelines bei jedem Pull Request API-Tests für die REST-Dienste (Bestellung, Zahlung, Lager) mit Playwright und Vertragstests mit Pact Flaky-Quote von 9 % auf unter 1 % gesenkt durch Testisolation und stabile Testdaten Drei Entwicklungsteams zur Testpyramide und zum Code-Review von Tests gecoacht Testberichte für Product Owner in Azure-DevOps-Dashboards",
      "s-insurer-automation": "Test Automation Engineer (freiberuflich), Hanse Versicherungsdienste AG (06/2019 - 02/2022): - 600 Selenium-Tests (Java) auf Playwright migriert, Laufzeit von 3 Stunden auf 25 Minuten BDD-Szenarien mit Cucumber, gemeinsam mit dem Fachbereich geschrieben API-Tests mit Postman und Newman in der Azure DevOps Pipeline Testdatenmanagement für Vertrags- und Schadenszenarien aufgebaut",
      "s-telecom-qa": "QA Engineer, Kombitel Services GmbH (09/2016 - 05/2019): - Selenium-WebDriver-Tests in Java mit TestNG für das Kundenportal Mobile Tests mit Appium für die Android- und iOS-Apps Jenkins-Pipelines für nächtliche Regressionsläufe Fehlerbewertung gemeinsam mit der Entwicklung in Jira",
      "s-agency-tester": "Software Tester, Pixelfabrik Medien GmbH (10/2014 - 08/2016): - Manuelle und explorative Tests von Websites und Webanwendungen für Agenturkunden Erste Selenium-IDE- und WebDriver-Skripte für Smoke-Tests Testdokumentation in Confluence, Fehlerverfolgung in Jira",
      "p-llm-testgen": "Testfallentwürfe mit einem LLM (2024): Internes Werkzeug, das aus User Stories über eine LLM-API Playwright-Testentwürfe erzeugt. Eine Testerin oder ein Tester prüft jeden Entwurf vor dem Merge. Zwei Teams nutzen es als Zeitgewinn bei neuen Features. Stack: TypeScript, Playwright, Azure OpenAI.",
      "p-flaky-radar": "Dashboard zur Fehlerklassifikation (2023): Sammelt Testergebnisse aus Pipelines und gruppiert Fehlschläge nach Ursache (Testdaten, Timing, Umgebung, echter Fehler). Hilft dem Team zu entscheiden, welche Fehlschläge zuerst geprüft werden. Stack: Python, pytest, Grafana."
    }
  },
  "questions": {
    "is_req": {
      "type": "noul",
      "instructions": "Does `requirement` describe something the candidate must know, have done or will do (a skill, experience, qualification or task), rather than describing the company, its benefits or the application process?"
    },
    "must": {
      "type": "noul",
      "instructions": "Is `requirement` phrased as mandatory rather than optional or nice to have?"
    },
    "axis": {
      "type": "choice",
      "instructions": "Which area does `requirement` belong to?",
      "criteria": {
        "testauto": "test automation: automated UI, API and end-to-end tests with frameworks such as Playwright, Selenium, pytest or BDD",
        "perf": "load and performance testing: JMeter, Gatling, LoadRunner, performance analysis",
        "qm": "quality strategy and test management: test strategy, test process, test planning, acceptance, defect management",
        "ai": "AI and LLM engineering: building with large language models, RAG, prompt design, AI-assisted testing or evaluation",
        "agents": "AI agents and orchestration: multi-agent systems, agentic coding tools, MCP, A2A, tool use",
        "cloud": "cloud, DevOps and CI/CD: Azure or AWS, containers, pipelines, infrastructure, monitoring",
        "dev": "software development and integration: production code in Python, TypeScript, Java or Kotlin, APIs and system interfaces",
        "lead": "consulting and leadership: advising clients, workshops, coaching, leading or building teams, working with stakeholders",
        "other": "None of these areas"
      }
    },
    "evidence": {
      "type": "choice",
      "instructions": "Which entry of `cv` best shows that the candidate meets `requirement`?",
      "criteria": {
        "x-profile": "`cv.x-profile`",
        "s-e-commerce-sdet": "`cv.s-e-commerce-sdet`",
        "s-insurer-automation": "`cv.s-insurer-automation`",
        "s-telecom-qa": "`cv.s-telecom-qa`",
        "s-agency-tester": "`cv.s-agency-tester`",
        "p-llm-testgen": "`cv.p-llm-testgen`",
        "p-flaky-radar": "`cv.p-flaky-radar`",
        "none": "No entry of `cv` shows it"
      }
    },
    "level": {
      "type": "score",
      "instructions": "How well does `cv` show that the candidate has done what `requirement` asks for?",
      "criteria": [
        "Not at all",
        "Adjacent or transferable experience",
        "Done in at least one role or project",
        "Done repeatedly, across several roles or projects"
      ]
    }
  }
}

Winnow-12B und Shisa DE-1 · Vorlage gemma4

<|turn>system
You judge a project posting and a candidate CV. Answer each multiple-choice question with the letter of exactly one option.<turn|>
<|turn>user
`requirement`:
Aufbau einer End-to-End-Testautomatisierung mit Playwright und TypeScript für unser Kundenportal

`cv`:
cv.x-profile: Senior Test Automation Engineer (SDET) für Web, API und CI/CD. Elf Jahre Qualitätssicherung, davon acht in der Testautomatisierung. Baut wartbare End-to-End- und API-Testsuiten, bindet sie in Pipelines ein und befähigt Teams, ihre Tests selbst zu tragen.. B.Sc. Informatik, Hochschule Bremen, 2012 - 2015. Deutsch (Muttersprache), Englisch (fließend)
cv.s-e-commerce-sdet: Senior SDET (freiberuflich), Tidewave Commerce GmbH (03/2022 - heute): - End-to-End-Suite mit Playwright und TypeScript für einen Webshop aufgebaut: 1.400 Tests, laufen in Azure DevOps Pipelines bei jedem Pull Request API-Tests für die REST-Dienste (Bestellung, Zahlung, Lager) mit Playwright und Vertragstests mit Pact Flaky-Quote von 9 % auf unter 1 % gesenkt durch Testisolation und stabile Testdaten Drei Entwicklungsteams zur Testpyramide und zum Code-Review von Tests gecoacht Testberichte für Product Owner in Azure-DevOps-Dashboards
cv.s-insurer-automation: Test Automation Engineer (freiberuflich), Hanse Versicherungsdienste AG (06/2019 - 02/2022): - 600 Selenium-Tests (Java) auf Playwright migriert, Laufzeit von 3 Stunden auf 25 Minuten BDD-Szenarien mit Cucumber, gemeinsam mit dem Fachbereich geschrieben API-Tests mit Postman und Newman in der Azure DevOps Pipeline Testdatenmanagement für Vertrags- und Schadenszenarien aufgebaut
cv.s-telecom-qa: QA Engineer, Kombitel Services GmbH (09/2016 - 05/2019): - Selenium-WebDriver-Tests in Java mit TestNG für das Kundenportal Mobile Tests mit Appium für die Android- und iOS-Apps Jenkins-Pipelines für nächtliche Regressionsläufe Fehlerbewertung gemeinsam mit der Entwicklung in Jira
cv.s-agency-tester: Software Tester, Pixelfabrik Medien GmbH (10/2014 - 08/2016): - Manuelle und explorative Tests von Websites und Webanwendungen für Agenturkunden Erste Selenium-IDE- und WebDriver-Skripte für Smoke-Tests Testdokumentation in Confluence, Fehlerverfolgung in Jira
cv.p-llm-testgen: Testfallentwürfe mit einem LLM (2024): Internes Werkzeug, das aus User Stories über eine LLM-API Playwright-Testentwürfe erzeugt. Eine Testerin oder ein Tester prüft jeden Entwurf vor dem Merge. Zwei Teams nutzen es als Zeitgewinn bei neuen Features. Stack: TypeScript, Playwright, Azure OpenAI.
cv.p-flaky-radar: Dashboard zur Fehlerklassifikation (2023): Sammelt Testergebnisse aus Pipelines und gruppiert Fehlschläge nach Ursache (Testdaten, Timing, Umgebung, echter Fehler). Hilft dem Team zu entscheiden, welche Fehlschläge zuerst geprüft werden. Stack: Python, pytest, Grafana.

Question: How well does `cv` show that the candidate has done what `requirement` asks for?
A) Not at all
B) Adjacent or transferable experience
C) Done in at least one role or project
D) Done repeatedly, across several roles or projects<turn|>
<|turn>model
<|channel>thought
<channel|>

Qwen3.8-27B und Qwen3-32B · Vorlage chatml

<|im_start|>system
You judge a project posting and a candidate CV. Answer each multiple-choice question with the letter of exactly one option.<|im_end|>
<|im_start|>user
`requirement`:
Aufbau einer End-to-End-Testautomatisierung mit Playwright und TypeScript für unser Kundenportal

`cv`:
cv.x-profile: Senior Test Automation Engineer (SDET) für Web, API und CI/CD. Elf Jahre Qualitätssicherung, davon acht in der Testautomatisierung. Baut wartbare End-to-End- und API-Testsuiten, bindet sie in Pipelines ein und befähigt Teams, ihre Tests selbst zu tragen.. B.Sc. Informatik, Hochschule Bremen, 2012 - 2015. Deutsch (Muttersprache), Englisch (fließend)
cv.s-e-commerce-sdet: Senior SDET (freiberuflich), Tidewave Commerce GmbH (03/2022 - heute): - End-to-End-Suite mit Playwright und TypeScript für einen Webshop aufgebaut: 1.400 Tests, laufen in Azure DevOps Pipelines bei jedem Pull Request API-Tests für die REST-Dienste (Bestellung, Zahlung, Lager) mit Playwright und Vertragstests mit Pact Flaky-Quote von 9 % auf unter 1 % gesenkt durch Testisolation und stabile Testdaten Drei Entwicklungsteams zur Testpyramide und zum Code-Review von Tests gecoacht Testberichte für Product Owner in Azure-DevOps-Dashboards
cv.s-insurer-automation: Test Automation Engineer (freiberuflich), Hanse Versicherungsdienste AG (06/2019 - 02/2022): - 600 Selenium-Tests (Java) auf Playwright migriert, Laufzeit von 3 Stunden auf 25 Minuten BDD-Szenarien mit Cucumber, gemeinsam mit dem Fachbereich geschrieben API-Tests mit Postman und Newman in der Azure DevOps Pipeline Testdatenmanagement für Vertrags- und Schadenszenarien aufgebaut
cv.s-telecom-qa: QA Engineer, Kombitel Services GmbH (09/2016 - 05/2019): - Selenium-WebDriver-Tests in Java mit TestNG für das Kundenportal Mobile Tests mit Appium für die Android- und iOS-Apps Jenkins-Pipelines für nächtliche Regressionsläufe Fehlerbewertung gemeinsam mit der Entwicklung in Jira
cv.s-agency-tester: Software Tester, Pixelfabrik Medien GmbH (10/2014 - 08/2016): - Manuelle und explorative Tests von Websites und Webanwendungen für Agenturkunden Erste Selenium-IDE- und WebDriver-Skripte für Smoke-Tests Testdokumentation in Confluence, Fehlerverfolgung in Jira
cv.p-llm-testgen: Testfallentwürfe mit einem LLM (2024): Internes Werkzeug, das aus User Stories über eine LLM-API Playwright-Testentwürfe erzeugt. Eine Testerin oder ein Tester prüft jeden Entwurf vor dem Merge. Zwei Teams nutzen es als Zeitgewinn bei neuen Features. Stack: TypeScript, Playwright, Azure OpenAI.
cv.p-flaky-radar: Dashboard zur Fehlerklassifikation (2023): Sammelt Testergebnisse aus Pipelines und gruppiert Fehlschläge nach Ursache (Testdaten, Timing, Umgebung, echter Fehler). Hilft dem Team zu entscheiden, welche Fehlschläge zuerst geprüft werden. Stack: Python, pytest, Grafana.

Question: How well does `cv` show that the candidate has done what `requirement` asks for?
A) Not at all
B) Adjacent or transferable experience
C) Done in at least one role or project
D) Done repeatedly, across several roles or projects<|im_end|>
<|im_start|>assistant
<think>

</think>

Answer: **

Quelle: Prüfstand lab-bench, Lauf 1 je Modell vom 01.10.2026 und 08.10.2026, Wertung des Prüfstands. Lokale Sprachmodelle über Ollama, GLiNER2.5-Decide-1B über gliner2, alle auf einer RTX 4090. Fälle und Lebensläufe sind erfunden.

So funktioniert der Aufbau Der Fallspieler zeigt je Modell die Verteilung über die Optionen. Bei den lokalen Modellen steht dabei, wie viel Wahrscheinlichkeit vor dem Teilen auf den Buchstaben lag. Die Tabelle zählt alle Zeilen gegen den ersten Opus-Richter. Das Netz darunter stellt zwei Modelle Ihrer Wahl auf sieben Achsen nebeneinander, dazu das Tempo. Es zählt die deutschen Zeilen gegen die abgestimmte Referenz, wie der Artikel „Jev gegen lokale Modelle“.

Einordnung und Grenzen

Nicht Teil dieser Darstellung: Referenz ist der erste deutsche Opus-Richter, siehe Hinweis im Experiment. Die Fälle sind erfunden. Gezählt ist Lauf 1 je Modell. Jev lief fünfmal, Qwen3-32B zweimal, die übrigen Modelle einmal. Die lokalen Sprachmodelle liefen in unserem Messaufbau über Ollama, auch Winnow-12B und Shisa DE-1, die ein eigenes Format mitbringen. GLiNER2.5-Decide-1B lief am 08.10.2026 über die Bibliothek gliner2. Ihre Zahlen hängen an diesem Messaufbau. Wie die Wahrscheinlichkeiten zustande kommen, zeigt das Startbild.

Die Fälle wählt ein Skript nach fünf Mustern aus allen Zeilen des Prüfstands, nicht von Hand. Die Tabelle stimmt mit dem Bericht des Prüfstands überein, das Exportskript prüft das. Die beiden deutschen Richter wählen bei 110 von 116 Anforderungen denselben Beleg (94,8 %).

Experiment 6Prüfstand pv1 · Rechnung des Projekt-Abgleichs

Vom Einzelurteil zum Gesamtwert

Ein Modell, das „passt zu 80 Prozent“ schreibt, lässt sich nicht prüfen. Fragt man stattdessen je Zeile nach Anforderung, Pflicht, Bereich und Stufe, steht die Rechnung zum Gesamtwert in Code, den man lesen kann.

Experiment 6 · Vom Einzelurteil zum Gesamtwert

10 Paare, Antworten des Entscheidungsmodells Jev jev-1.13.0 über die TypeSafe-API, Lauf 1 vom 01.10.2026. Keine Live-Anfrage.

Der Weg eines Paars zum Gesamtwert

Paar p02: Test Automation Engineer, Quereinstieg aus dem Lehrberuf, Ausschreibung Freelance: Senior Test Automation Engineer mit KI-Schwerpunkt

1 Zeilen und Jevs Antworten
14 Zeilen, je fünf Fragen an Jev
Zeilen mit Jevs Zahl für ja zeigen
1. 0,95 Freelance: Senior Test Automation Engineer (m/w/d) mit KI-Schwerpunkt
2. 0,42 Energieversorger, Kundenportal, Start ab sofort, 6 Monate, überwiegend remote
3. 0,97 Aufbau einer End-to-End-Testautomatisierung mit Playwright und TypeScript für unser …
4. 0,97 Automatisierte API-Tests für die REST-Schnittstellen zu Abrechnung und Vertragsverwaltung
5. 0,97 Integration der Testläufe in Azure DevOps Pipelines, inklusive Berichten für das Team
6. 0,96 Einsatz von KI zur Erzeugung und Pflege von Testfällen aus Anforderungen
7. 0,96 Analyse von Testfehlschlägen und Incidents, auch mit Unterstützung durch LLMs
8. 0,97 Coaching des Entwicklungsteams in Teststrategie und Testpyramide
9. 0,98 Mindestens 5 Jahre Erfahrung in der Testautomatisierung von Webanwendungen
10. 0,98 Sehr gute Kenntnisse in Playwright oder vergleichbaren Frameworks
11. 0,98 Erfahrung mit CI/CD, idealerweise Azure DevOps
12. 0,97 Praktische Erfahrung mit LLMs in der Qualitätssicherung
13. 0,91 Kenntnisse in Lasttests sind ein Plus
14. 0,98 Sehr gute Deutschkenntnisse
Ab hier echter Code, jede Zahl nachrechenbar
2 Tor: Zählt die Zeile?
Zählschwelle (im Projekt-Abgleich fest 0,50)0,50
13 von 14 Zeilen zählen als Anforderung
Derselbe Wortlaut wie Fall B im Startbild, hier mit einem anderen Lebenslauf: 0,42 für ja statt 0,43. Unter der Zählschwelle fällt die Zeile heraus.
3 Pflicht zählt mehr
Gewicht einer Pflichtzeile2,0
11 von 13 gezählten Zeilen sind Pflicht und zählen 2,0-fach
4 Abdeckung und Themenpassung
Abdeckung 0,596 (gewichtetes Mittel der Stufen geteilt durch 3), Themenpassung 0,500
5 Gesamtwert
Anteil der Anforderungen am Gesamtwert0,70
Der Rest ist Themenpassung: wie gut die Bereiche abgedeckt sind, die die Ausschreibung betont.
(0,70 × 0,596 + 0,30 × 0,500) × 100 = 57

Rangfolge nach Gesamtwert

Anteil aus den Anforderungen
Anteil aus der Themenpassung
widerspricht der Reihenfolge, die beim Schreiben beabsichtigt war

Reihenfolge wie beabsichtigt

33 von 33

Vergleiche zwischen Paaren mit verschiedener Absicht

Können Sie die Reihenfolge brechen? Noch steht alles wie beabsichtigt.

Zwei Lösungen:

Absicht beim Schreiben der erfundenen Fälle für p02, kein Referenzurteil: Playwright, TypeScript und API-Tests sind da, aber nur 1,5 statt 5 Jahre, kein LLM-Einsatz in der QA und wenig Tiefe bei CI/CD.

Gesamtwert 57. Rechts alle zehn Paare. Drehen Sie an den Knöpfen und sehen Sie, ob die Reihenfolge der Absicht folgt.

Die Absicht stammt aus dem Schreiben der erfundenen Fälle und ist kein Referenzurteil. Sie zeigt nur, ob die Rechnung grob die gewollte Reihenfolge trifft.

Quelle: Prüfstand lab-bench, Jev Lauf 1 vom 01.10.2026. Rechnung: dieselbe Formel wie im Projekt-Abgleich (bench/match.ts scoreMatch). Wie im Bericht des Prüfstands sind die Stufen hier der Erwartungswert aus Jevs gerundeten Balken. Der Projekt-Abgleich nimmt Jevs eigenen Wert, der davon um etwa 0,01 abweichen kann.

So funktioniert der Aufbau Links der Weg vieler kleiner Urteile zum Gesamtwert, mit drei Knöpfen: Anteil der Anforderungen, Gewicht einer Pflichtzeile, Zählschwelle. Rechts die 10 Paare nach Gesamtwert, je Balken aus Anforderungen und Themenpassung.

Einordnung und Grenzen

Nicht Teil dieser Darstellung: Die Absicht beim Schreiben der Fälle ist kein Referenzurteil. Die Rechnung nutzt Jevs Antworten aus einem Lauf. Über Jevs vier Läufe in gleicher Reihenfolge schwankt der Gesamtwert eines Paars laut Bericht des Prüfstands um weniger als einen Punkt (Standardabweichung).

Die Rechnung ist dieselbe wie im Projekt-Abgleich. Anforderungen zählen ab einer Wahrscheinlichkeit von 0,5, Pflichtzeilen mit dem gewählten Gewicht, die Stufe als Erwartungswert über die vier Stufen. Der Rest ist Themenpassung nach Bereichen.

Wofür taugt es

Wo trägt es, wo nicht? Erst tippen, dann messen

Jede Zahl stammt aus einer eigenen Messung. Jev jev-1.13.0, ein Entscheidungsmodell per API, gemessen am 19.09.2026. Claude Haiku und Claude Opus sind allgemeine Sprachmodelle. Sie liefen als Subagenten, bekamen den Auftrag in normaler Sprache und antworteten mit Text, gemessen am 19.09.2026. Ihre genaue Version haben wir nicht protokolliert. Laya 0.3.5, ein offenes Entscheidungsmodell: Es kennt dieselben drei Fragetypen wie Jev, schreibt keinen Text und gibt je Option eine Wahrscheinlichkeit zurück. Technisch ist es ein Modell, das Text nur liest, mit einer letzten Schicht, die direkt die Wahrscheinlichkeiten ausgibt (Encoder mit Entscheidungskopf). Es lief lokal auf einer RTX 4090 und wurde am 22.09.2026 gemessen. Die Zahlen zum Projekt-Abgleich stammen vom Prüfstand, gemessen am 08.10.2026. Die Methoden stehen in den Quellen unter Weiterlesen.

Ein Entscheidungsmodell wählt zwischen Optionen. Zählen, Rechnen oder Herauslesen gehört in Code oder in eine andere Frageform. Zählen und Rechnen nennt TypeSafe selbst als Schwäche, die übrigen Punkte stammen aus unseren Messungen.

Zählen
AuswahlJevCode liest die Zahl
Ihr Tipp: Trägt es hier oder ist es schwächer?
gemessen, schwächer
Jev65,0 %
je Eintrag einzeln fragen, Code zählt
direkt65,0 %
mit Code95,0 %
Direkt gefragt, wie viele Einträge eine Liste hat, liegt Jev in 65,0 % der 20 Fälle richtig. Fragt man je Eintrag einzeln und zählt im Code, sind es 95,0 %. Quelle: „Jev im Praxistest“.
Anfragen an das richtige Werkzeug leiten
AuswahlJevCode übernimmt Platz 1
Ihr Tipp: Trägt es hier oder ist es schwächer?
gemessen, trägt
Jev84,3 %
Claude Haiku 82,7 %Claude Opus 94,3 %
Eine Variante mit Code haben wir hier nicht gemessen.
Über alle 561 Anfragen, auch die ohne passenden Skill, wählt Jev den passenden Skill in 84,3 % der Fälle. Claude Haiku kommt auf 82,7 %, Claude Opus auf 94,3 %. Der Abstand zu Haiku ist nicht abgesichert (p = 0,38), der zu Opus schon. Als Router vor einem starken Modell lohnt sich Jev für uns deshalb nicht, eher zum Vorsortieren mit eingestellter Schwelle. Quelle: „Jev im Praxistest“.
Rechnen knapp an einer Schwelle
AuswahlJevCode liest die Antwort
Ihr Tipp: Trägt es hier oder ist es schwächer?
gemessen, schwächer
Jev66,7 %
Eine Variante mit Code haben wir hier nicht gemessen.
Liegt ein Betrag knapp über oder unter einer Schwelle, entscheidet Jev in 66,7 % der 15 Fälle richtig. Rechnen gehört in Code. Quelle: „Jev im Praxistest“.
Angriffe auf Sprachmodelle vorsortieren
Ja oder neinJevCode zieht eine Linie
Ihr Tipp: Trägt es hier oder ist es schwächer?
gemessen, trägt
Jev75,0 %
Schwelle auf einer Hälfte einstellen, auf der anderen prüfen
direkt75,0 %
mit Code89,7 %
Auf 116 von Menschen markierten Texten trifft Jev bei der Schwelle 0,5 in 75,0 % der Fälle. Mit einer Schwelle, die auf der einen Hälfte der Daten eingestellt und auf der anderen geprüft ist, sind es 89,7 %. Warum eine an denselben Daten eingestellte Schwelle zu gut aussieht, zeigt Experiment 2. Die Schwelle gehört zur Anwendung, nicht zum Modell.
Fälligkeitsdatum aus mehreren Daten
AuswahlJevCode liest das Datum
Ihr Tipp: Trägt es hier oder ist es schwächer?
gemessen, schwächer
Jev83,3 %
Claude Haiku 100,0 %Claude Opus 100,0 %Laya 15,0 %
Eine Variante mit Code haben wir hier nicht gemessen.
Den Zahlbetrag einer Rechnung findet Jev in 100,0 % der Fälle, das Fälligkeitsdatum zwischen mehreren Daten nur in 83,3 %. Claude Haiku und Claude Opus lagen hier bei 100,0 % und 100,0 %, Laya als Router bei 15,0 %. Quellen: „Jev im Praxistest“ und „Laya gegen Jev“.
Mails und Behauptungen einordnen
AuswahlJevCode ordnet ein
Ihr Tipp: Trägt es hier oder ist es schwächer?
gemessen, trägt
Jev92,2 %
Claude Haiku 87,0 %Claude Opus 100,0 %
Eine Variante mit Code haben wir hier nicht gemessen.
Mails in sieben Kategorien bei 77 Fällen: Jev 92,2 % richtig, Claude Haiku 87,0 %, Claude Opus 100,0 %. Behauptung gegen Quelle prüfen bei 74 Fällen: Jev 97,3 %, Haiku 98,6 %, Opus 100,0 %. Diese zweite Aufgabe trennt die Modelle laut Artikel nicht belastbar. Beides sind feste Optionen, die Form, für die ein Entscheidungsmodell gebaut ist. Quelle: „Jev im Praxistest“.
Viele Optionen für kleine lokale Modelle
AuswahlJevCode nimmt die Wahl
Ihr Tipp: Trägt es hier oder ist es schwächer?
gemessen, schwächer
Jev88,8 %
Laya 5,5 %
Eine Variante mit Code haben wir hier nicht gemessen.
Über die 490 Anfragen mit passendem Skill wählt Jev aus allen 117 Skills auf einmal den richtigen in 88,8 % der Fälle, Laya nur in 5,5 %. Gezählt ist der erste Durchgang allein über die 490 Anfragen mit Skill. Der Artikel „Jev im Praxistest“ wertet dieselben Anfragen anders und gibt Jev dort in 82,9 % den richtigen Skill, über alle 561 Anfragen 84,3 %. Die Werte sind nicht direkt vergleichbar. Die Schwäche liegt bei Laya: kleine lokale Modelle brauchen eine Vorauswahl, und die muss selbst gut sein. Quelle: „Laya gegen Jev“.
Lebenslauf gegen Ausschreibung
viele kleine Fragen je ZeileJevCode rechnet den Gesamtwert
Ihr Tipp: Trägt es hier oder ist es schwächer?
gemessen, trägt
Hier rechnet schon Code: Wie der Gesamtwert entsteht, zeigt Experiment 6. →
Viele kleine Fragen je Zeile, die Rechnung im Code. Beim Bereich liegt Jev vorn: 93,1 % gegen 75,9 % bis 86,2 % bei den lokalen Sprachmodellen, abgesichert gegen 4 von 4. Den passenden Beleg wählt Jev in 81,9 % der Zeilen wie der erste Opus-Richter, die lokalen Sprachmodelle liegen ohne abgesicherten Abstand daneben. In Zeilen ohne Beleg nennt Jev in 23,3 % trotzdem einen Eintrag, Qwen3.8-27B abgesichert seltener. Ob eine Zeile Pflicht ist, beurteilt Jev in 93,1 % der Zeilen wie der erste Opus-Richter. Abgesichert vor Jev: Qwen3-32B (100,0 %). Abgesichert dahinter: Shisa DE-1 (75,9 %). Mehr in Experiment 3.

Wo das Modell zwischen festen Optionen wählt, trägt es. Zählen, Rechnen und Herauslesen gehören in Code oder in eine andere Frageform. Die Frageform entscheidet.

Grenzen

Was wir gemessen haben und was nicht

Die Seite zeigt aufgezeichnete Messungen. Was sie tragen und was nicht, steht hier.

01
Jev läuft in den USA
Jev ist ein Dienst von TypeSafe und läuft laut Datenschutzerklärung in den USA. Der Auftragsverarbeitungsvertrag bindet die EU-Standardvertragsklauseln ein. Laut Datenschutzerklärung trainiert TypeSafe nicht auf Eingaben. Einen Verzicht auf Aufbewahrung gibt es nur im Enterprise-Vertrag. Ob Kundendaten dorthin gehen dürfen, entscheidet der Kunde. Die Dokumente stehen unter Weiterlesen.
02
Wiedergabe statt Live-Anfrage
Die Seite spielt gespeicherte Antworten ab. Aus Ihrem Browser geht keine Anfrage an ein Modell hinaus. Eigene Fragen lassen sich hier noch nicht stellen.
03
Erfundene Fälle, Richter sind Modelle
Ausschreibungen und Lebensläufe im Prüfstand lab-bench sind erfunden. Der Prüfstand liegt in einem öffentlichen Repository, bks-lab/lab-bench, samt den Antworten von Jev je Frage, veröffentlicht mit Zustimmung von TypeSafe vom 10. Oktober 2026. Referenz sind die Opus-Richter aus Experiment 3.
04
Ein Lauf je Messung
Fast jede gezeigte Antwort stammt aus einem einzelnen Lauf. Auf dem Prüfstand ist Jev mehrfach gelaufen, und zwischen den Läufen kippen einzelne Antworten. Wie oft, zeigt Experiment 5.
05
Offene Modelle zum Selbstbetrieb
Laya haben wir gemessen, das Ergebnis steht im Artikel „Laya gegen Jev“. Auf dem Prüfstand sind am 01.10.2026 vier offene Sprachmodelle gelaufen, lokal auf einer RTX 4090 über Ollama. Winnow-12B und Shisa DE-1 haben Dritte auf Entscheidungen nachtrainiert, Qwen3.8-27B und Qwen3-32B sind allgemeine Sprachmodelle. Ihre Zahlen stehen in Experiment 3, gemessen gegen den ersten deutschen Opus-Richter.
06
Ein Klassifikator gegen Jev
Am 08.10.2026 kam GLiNER2.5-Decide-1B von Fastino dazu. Fastino stellt Jev auf seiner Modellkarte in eine eigene Vergleichstabelle. GLiNER ist kein Sprachmodell, sondern ein Klassifikator: Es liest einen Text und verteilt die Wahrscheinlichkeit auf feste Etiketten, ohne Text zu schreiben. Von neun Varianten steht die beste in der Tabelle von Experiment 3. Im Mittel der fünf Zeilenfragen kommt sie auf 52,7 %, Jev auf 85,9 %. Wer jeder Zeile einfach die häufigste Antwort des Richters gibt, erreicht 53,5 %. „Kein Beleg“ wählt GLiNER nie, in Zeilen ohne Beleg nennt es also immer einen Eintrag (100,0 %). Der Bereich ist die Frage, für die GLiNER gebaut ist, nämlich einen kurzen Text einem Thema zuordnen. Dort erreicht es 50,9 %, Jev 93,1 %. Die übrigen acht Varianten und die Methode stehen im Prüfstand unter gliner.md.
07
Tempo und Kosten: Jev liegt vorn
Jev braucht je Zeile rund 0,25 Sekunden, die lokalen Sprachmodelle 1,65 bis 2,49 Sekunden, nacheinander auf einer RTX 4090. 1.000 Zeilen kosten bei Jev zum Listenpreis rund 7 US-Cent. Lokal kostet allein der Strom grob 7 bis 11 Cent, geschätzt aus der gemessenen Rechenzeit und der Höchstleistung der Karte, ohne Hardware. Deshalb vergleichen die Experimente die Qualität der einzelnen Urteile, denn dort entscheidet sich, ob ein lokales Modell mithalten kann. Rechnung im Prüfstand unter speed-cost.md.
08
Was wir nicht gemessen haben
Echte Dokumente aus unserer Arbeit, Lasttests, Kosten im Dauerbetrieb und die Richtigkeit des Projekt-Abgleichs. Die Kalibrierung der lokalen Modelle beruht in Experiment 4 auf einem Lauf. Lokal schwanken die Wahrscheinlichkeiten zwischen zwei Läufen: Ein zweiter Lauf von Qwen3-32B auf zwei Paaren des Prüfstands wählte gleich, aber mit verschobenen Wahrscheinlichkeiten. Für eine verlässliche Kalibrierung braucht es wiederholte Läufe. Gehostete Endpunkte in der EU für die offenen Modelle haben wir nicht gemessen. Der Prüfstand hat zehn erfundene Paare, viele kleine Abstände in Experiment 3 sind laut gepaartem McNemar-Test nicht abgesichert. Die Messung zu E-Rechnungen läuft auf öffentlichen Testdaten.
09
Herkunft und Lizenz
Die Werte in Experiment 2 stammen aus deepset/prompt-injections (Lizenz Apache-2.0) und aus unseren eigenen Routing-Anfragen. Texte der Routing-Anfragen und Skillnamen geben wir nicht heraus. Die Seite trägt je Urteil nur die Wahrscheinlichkeit und das Label des Datensatzes.

Was wir dazu gemessen und geschrieben haben

Die Zahlen dieser Seite kommen aus Messungen, die wir an anderer Stelle ausführlich beschreiben.

01
Jev im Praxistest
Der Bericht hinter Experiment 2 und 4: Skill-Routing, Kalibrierung und eine Reihe kleiner Aufgaben, mit den beiden Nachträgen zur Kalibrierung (22. September) und zu E-Rechnungen (23. September).
Artikel lesen →
02
Laya gegen Jev
Ein offenes Modell, das man selbst betreibt, auf denselben Aufgaben. Wer Jev durch ein lokales Modell ersetzt, baut den Ablauf um.
Artikel lesen →
03
Jev liest E-Rechnungen
Unser Messstand auf öffentlichen Testrechnungen der KoSIT: mehrere Ja-Nein-Fragen je Rechnung in einer Anfrage, jedes Urteil zum Nachsehen. Zu finden unter „Weitere Arbeitsfelder“ am Ende der Seite.
04
Prüfstand lab-bench
Unser Prüfstand für den Projekt-Abgleich: erfundene Ausschreibungen und Lebensläufe, Jev neben lokalen Modellen, Referenz von Opus-Richtern. Er liegt in einem öffentlichen Repository, https://github.com/bks-lab/lab-bench, samt den Antworten von Jev je Frage, veröffentlicht mit Zustimmung von TypeSafe vom 10. Oktober 2026. Nutzungshinweis dazu: https://github.com/bks-lab/lab-bench/blob/main/LICENSE-JEV-OUTPUTS
05
TypeSafe
TypeSafe, der Anbieter von Jev, beschreibt Modelle, Fragetypen, Schnittstelle, Preise und die bekannten Schwächen, dazu sein Trainingsverfahren RLCD (Reinforcement Learning for Calibrated Decisions) in groben Zügen. Außerdem Datenschutzerklärung, Auftragsverarbeitungsvertrag und ein offener Adapter, der Sprachmodelle an Jevs Stelle setzt.
TypeSafe Modellübersicht ↗Schnittstelle /v1/systemone ↗Einführung mit RLCD ↗Ankündigung von Jev ↗Adapter für Sprachmodelle ↗Schwächen von Jev laut TypeSafe ↗Datenschutzerklärung ↗Auftragsverarbeitung ↗
06
Die Modelle neben Jev
Die Modellkarten der vier offenen Sprachmodelle aus dem Prüfstand. Shisa DE-1 beschreibt dort Training und Antwortformat, Winnow-12B das Training. Wie Winnow-12B gefragt werden will, steht im Code seines Servers winnow-inference (native/protocol.h).
Winnow-12B ↗Server winnow-inference ↗Shisa DE-1 ↗Qwen3.8-27B ↗Qwen3-32B ↗
07
deepset/prompt-injections
Der öffentliche Datensatz hinter Experiment 2, deutsche und englische Texte, von Menschen markiert.
Datensatz auf Hugging Face ↗

Warum wir das zeigen

Wer ein Sprachmodell mit Prompt und Parser in einen Ablauf einbaut, entscheidet am Ende oft auch mit einer Schwelle. Sie steht versteckt im Parser. Ein Entscheidungsmodell legt diese Stelle offen. Hier lässt sie sich ausprobieren, auf Messdaten.

Weitere Arbeitsfelder

BKS open-bridge · AgentenkontextTäglich im Eigenbetrieb · Open Source (MIT)
Jev liest E-Rechnungen · Feld und TextEigener Messaufbau · öffentliche Testdaten
Prüfstand · Werkzeuge im VergleichEigene Messungen · öffentliches Repository
Prozesse automatisierenZwei gelieferte Referenzabläufe · ein Vergleichsmodell
Betrieb verständlich machenIm Eigenbetrieb erprobt
k2a · WissenswerkzeugEigene Entwicklung
Wissen erschließenProduktkonzept · k2a in geschlossener Erprobung
Agenten orchestrierenAufbauschema · keine konkrete Anlage

Zur Laborübersicht →

Wo steckt in Ihren Abläufen eine versteckte Schwelle?

Bringen Sie einen Ablauf mit, in dem heute ein Mensch oder ein Prompt entscheidet. Wir sehen gemeinsam nach, welche Fragen sich mit festem Typ stellen lassen und wo die Schwelle liegen sollte.

Gespräch vereinbaren

Entscheidungsmodelle: Fragen mit Typ, Antworten mit Wahrscheinlichkeit

Eine Frage, drei Formen: der Fragetyp bestimmt die Form der Antwort

Wo setzt der Code die Schwelle?

Wer trifft den Richter?

Wie sicher ist sicher?

Mischen Sie die Optionen

Vom Einzelurteil zum Gesamtwert

Zählen

Anfragen an das richtige Werkzeug leiten

Rechnen knapp an einer Schwelle

Angriffe auf Sprachmodelle vorsortieren

Fälligkeitsdatum aus mehreren Daten

Mails und Behauptungen einordnen

Viele Optionen für kleine lokale Modelle

Lebenslauf gegen Ausschreibung

Jev läuft in den USA

Wiedergabe statt Live-Anfrage

Erfundene Fälle, Richter sind Modelle

Ein Lauf je Messung

Offene Modelle zum Selbstbetrieb

Ein Klassifikator gegen Jev

Tempo und Kosten: Jev liegt vorn

Was wir nicht gemessen haben

Herkunft und Lizenz

Jev im Praxistest

Laya gegen Jev

Jev liest E-Rechnungen

Prüfstand lab-bench

TypeSafe

Die Modelle neben Jev

deepset/prompt-injections

Wo steckt in Ihren Abläufen eine versteckte Schwelle?