Halluzination
Eine Halluzination ist, wenn ein Sprachmodell selbstbewussten, flüssigen Text erzeugt, der sachlich falsch oder erfunden ist — eine nicht existierende Quelle, eine erfundene Zahl, eine ausgedachte API. Sie entsteht, weil das Modell plausiblen Text vorhersagt, nicht geprüfte Wahrheit, und ist das zentrale Verlässlichkeitsproblem in AI-Produkten.
Modelle erzeugen die wahrscheinlichsten nächsten Wörter, und eine selbstbewusst klingende falsche Antwort ist statistisch oft genauso plausibel wie die richtige. Halluzinationen sehen daher genau wie korrekte Antworten aus — flüssig, sicher, mitunter mit erfundenen Quellen versehen. Das ist gerade deshalb gefährlich, weil es kein offensichtliches Erkennungszeichen gibt; das Modell lügt nicht, es hat keinen Wahrheitsbegriff, über den es lügen könnte.
Beim Bau eines Produkts beseitigt man Halluzination nicht, man baut darum herum. Verankern Sie das Modell mit RAG in echten Daten, sodass es aus abgerufenen Belegen antwortet und Quellen nennen kann, beschränken Sie es auf überprüfbare Ausgaben, ergänzen Sie Guardrails gegen unmögliche Antworten und gestalten Sie die Oberfläche so, dass Nutzer prüfen statt blind vertrauen. Und messen Sie mit Evals an echten Fällen. Wir entwerfen unter der Annahme, dass das Modell selbstbewusst falsch liegen kann, damit das Produkt vertrauenswürdig bleibt, selbst wenn eine Antwort es nicht ist — diese Ehrlichkeit ist der ganze Sinn, es im Haus und sorgfältig zu tun.
// faq
Häufige Fragen
- Wie verhindere ich, dass meine AI halluziniert?
- Sie verringern es, statt es zu beseitigen. Verankern Sie Antworten mit RAG in Ihren echten Daten, sodass das Modell aus abgerufenen Belegen antwortet und Quellen nennt, beschränken Sie Ausgaben auf prüfbare Formen, ergänzen Sie Guardrails für unmögliche Ergebnisse und halten Sie bei heiklen Antworten einen Menschen in der Schleife. Dann mit Evals an echten Fällen messen. Ziel ist ein Produkt, das vertrauenswürdig bleibt, selbst wenn eine Antwort falsch ist.
- Beseitigt RAG Halluzinationen?
- Es verringert sie deutlich, beseitigt sie aber nicht. RAG verankert das Modell in abgerufenen Fakten, sodass weit weniger Raum zum Erfinden bleibt — doch das Modell kann eine Stelle falsch lesen oder über das Abgerufene hinaus antworten. Sie brauchen weiterhin Guardrails, prüfbare Quellenangaben und Evals. RAG ist der größte einzelne Hebel, keine vollständige Heilung.