- 01
Testdateien, keine echten Rechnungen
Die Belege stammen aus einer Testsuite. Sie sind gebaut, um Regeln zu prüfen, und sagen nichts darüber, wie oft eine Angabe in echten Rechnungen nur im Text steht. Manche Testfälle sind Varianten desselben Belegs mit gleichem Freitext. Ein Befund in mehreren Zeilen kann deshalb auf denselben Wortlaut zurückgehen.
- 02
Englische Fragen über deutschen Text
Die Fragen an Jev sind englisch formuliert, die Belegtexte deutsch. Deutsche Fragen haben wir nicht dagegen gemessen.
- 03
Ein Durchlauf
Jedes Urteil stammt aus einem einzigen Lauf. In einer früheren Messung auf denselben Testrechnungen, mit anderen Fragen, wich ein zweiter Lauf um höchstens 0,09 ab.
- 04
Gegenprüfung nur für auffällige Zellen
Zellen der Klassen „nur im Text“ und „unsicher“ hat bei den Standardschwellen ein zweites Sprachmodell einzeln am Wortlaut des Belegs gelesen. Eine dritte, unabhängige Prüfung hat danach drei Zellen gekippt, sie sind im Detailfeld als widerlegt markiert. Ein Mensch hat diese Gegenprüfung noch nicht gegengelesen. Ein Monat, in dem geliefert wurde, gilt dabei als Lieferzeit, aber nicht als Leistungszeitraum. Stimmige Zellen sind nicht geprüft. Verschieben Sie die Schwellen, zeigt das Detailfeld, welche Zellen ungeprüft sind.
- 05
Höchstens zwölf Positionen
Von Belegen mit mehr als zwölf Positionen sah Jev nur die Texte der ersten zwölf. Was weiter unten steht, ging nicht in die Anfrage ein.
- 06
Wiedergabe statt Live-Aufruf
Die Seite spielt gespeicherte Ergebnisse ab. Aus Ihrem Browser geht keine Anfrage an ein Modell hinaus.
- 07
Herkunft und Lizenz
Die Testrechnungen stammen aus der XRechnung-Testsuite der KoSIT, veröffentlicht unter der Lizenz Apache-2.0. Der Preis je Million Eingabetoken steht in der Modellübersicht von TypeSafe.
XRechnung-Testsuite auf GitHub ↗TypeSafe Modellübersicht ↗