Wenn das Modell klüger wird als die Aufgabe erlaubt — mein aktuelles Vertrauensproblem mit Claude Opus
Zwanzig Postings sollten übersetzt werden — Opus wollte dafür ein Skript bauen. Portugiesische WhatsApp-Nachrichten aus Brasilien enthielten erfundene Inhalte. Zwei Muster fallen mir aktuell auf: einen Schritt zu weit denken und Lücken mit Fiktion füllen statt nachzufragen.
Je „klüger” ein KI-Modell wird, desto weniger traue ich ihm gerade einfache Aufgaben zu.
Klingt paradox, ist aber genau meine Erfahrung der letzten Wochen mit Claude Opus.
Zwanzig Postings, ein Übersetzungsskript
Ich wollte zwanzig kurze Postings übersetzen lassen. Eine Aufgabe für eine Kaffeepause. Stattdessen schlug mir Opus mehrfach vor, dafür ein eigenes Übersetzungsskript zu bauen. Dafür brauchte es angeblich meinen OpenAI-Schlüssel. Für zwanzig kleine Beiträge… :O
Erfundene Details in WhatsApp — auf Portugiesisch
Ernster wird es, seit ich gerade in Brasilien bin und für Mails und WhatsApp-Nachrichten auf portugiesische Formulierungen von Opus angewiesen bin, weil ich die Sprache selbst nicht ausreichend beherrsche.
Aus Vorsicht habe ich mehrere dieser Nachrichten mit anderen Apps zurückübersetzen lassen. In jeder einzelnen standen Informationen, die ich nie gegeben hatte oder die den Empfänger schlicht nichts angingen. Kein Tippfehler, keine Stilfrage, sondern erfundener Inhalt in Nachrichten, die im eigenen Namen rausgehen.
Zwei Muster fallen mir auf
Im alltäglichen Chat-Gebrauch fallen mir immer öfter zwei Muster auf:
- Das Modell denkt gerne einen Schritt zu weit voraus und baut Lösungen, die niemand verlangt hat.
- Und es füllt Lücken lieber mit erfundenen Details, als eine Rückfrage zu stellen.
Ich bin damit offenbar nicht allein
In Entwickler-Communities gilt Overengineering aktuell als meistgenannte Beschwerde. Aus einer einfachen E-Mail-Validierung wird eine Klasse mit Regex und Wrapper, aus einer kleinen Funktion zweihundert Zeilen Code, wo fünfzig gereicht hätten.
In Nutzerforen häufen sich Berichte über spürbar mehr Halluzinationen und über ein Modell, das Anweisungen erst infrage stellt, bevor es sie ausführt.
Mehrere unabhängige Quellen beschreiben denselben Zeitraum, in dem sichtbares Denken kürzer, Antworten aber umständlicher wurden.
Warum das gefährlicher ist als bei Code
Was mich nachdenklich macht: Bei Code merkt man einen Fehler mit Glück spätestens beim Testen. Bei einer WhatsApp-Nachricht in einer Sprache, die man selbst nicht prüfen kann, merkt man ihn erst, wenn es zu spät ist.
Bisher hatte ich das Gefühl: von Modell zu Modell kann ich ihm nach und nach mehr vertrauen. Aktuell geht es wieder in die ganz andere Richtung.
Fallback über OpenAI
Während ich eigentlich Codex und ChatGPT in den letzten Monaten kaum genutzt habe, bin ich aktuell sehr froh über den Fallback durch OpenAI. Aktuell bin ich mit dem Output tatsächlich öfters glücklich und habe weniger das Gefühl, es wird übers Ziel hinaus geschossen.
Was sind eure Erfahrungen?
