Null Prozent Halluzinationen, nie gemessen — der ehrlichste Satz dieser KI-Woche
TypeSafe AI verspricht mit dem Modell Jev null Prozent Halluzinationen und schreibt im selben Blogpost, dass diese Zahl nie gemessen wurde. Was daraus folgt: Ein großer Teil der heutigen Chatmodell-Anwendungsfälle ist gar kein Textproblem.
Ein neuer Anbieter verspricht null Prozent Halluzinationen. Und schreibt in derselben Veröffentlichung, dass diese Zahl nie gemessen wurde.
Das klingt nach einem Widerspruch. Ich halte es für den ehrlichsten Satz, den diese Woche ein KI-Anbieter geschrieben hat.
Was TypeSafe AI angekündigt hat
TypeSafe AI hat gestern ein Modell namens Jev vorgestellt. Es erzeugt keinen Fließtext. Es liefert typisierte Werte mit Konfidenzangabe zurück, aus einem vorher festgelegten Schema. Die Null steht nicht in den Messergebnissen, sie folgt aus der Konstruktion: Was nicht im Schema steht, kann nicht herauskommen.
Auch alle weiteren Angaben stammen bislang vom Anbieter selbst, unabhängig geprüft ist nichts davon.
Trotzdem steckt darin eine Aussage, die unabhängig von diesem Produkt gilt.
Die eigentliche Lektion
Ein großer Teil dessen, wofür heute ein Chatmodell läuft, ist gar kein Textproblem:
- eine Rechnung einer Kategorie zuordnen
- eine Anfrage an das richtige Team leiten
- ein Risiko einstufen
- ein Feld aus einem Dokument ziehen
Das sind Weichen, keine Aufsätze. Wer eine Ja/Nein-Entscheidung als Fließtext zurückbekommt und hinterher mit Parsern und Prüfregeln aufräumt, hat sich das Halluzinationsproblem selbst gebaut.
Zuverlässigkeit entsteht an der Schnittstelle, nicht im Modell. Das ist die gute Nachricht daran: Dafür muss niemand auf die nächste Modellgeneration warten.
Die nüchterne Frage: Wie viele der eigenen KI-Anwendungsfälle brauchen wirklich ein Modell, das Sätze bilden kann?
