Halluzinationen, Unsicherheit und strukturelle Grenzen

Eine flüssige Antwort mit einer erfundenen Quelle

Nehmen wir einen konstruierten Fall. Du bittest einen Assistenten um die aktuelle Reisekostenrichtlinie eines Unternehmens. Er nennt die „Konzernrichtlinie RK-2025“, verweist auf Abschnitt 8.3 und zitiert einen Höchstbetrag von 180 Euro. Der Text klingt nüchtern. Titel, Abschnitt und Betrag passen sprachlich gut zusammen.

Die Richtlinie existiert nicht.

Erfundene Einzelheiten oder Behauptungen, die nicht durch eine bereitgestellte oder von der Antwort genannte Quelle oder durch den Kontext gedeckt sind, nennen wir in diesem Buch Halluzinationen. Die Forschung verwendet den Begriff uneinheitlich und manchmal breiter, etwa für faktisch falsche Ausgaben allgemein. Hier bleibt die Bedeutung bewusst enger. Der Begriff stammt aus der Medizin und überträgt eine menschliche Erfahrung auf ein technisches System. Er ist keine Aussage über ein inneres Erleben des Modells.

Eine Halluzination kann verschiedene Formen annehmen. Das Modell erfindet ein Datum oder einen Beleg. Es schreibt einer echten Quelle einen Satz zu, der dort nicht steht. Oder es ergänzt bei einer Zusammenfassung eine Aussage, die in der Vorlage fehlt. Ein bloß falsch ausgerechnetes Datum bleibt dagegen ein Fehler. Es ist nicht automatisch eine Halluzination.

Die Verbindung einer Antwort mit den vorgegebenen Quellen heißt Grounding. Eine Aussage ist geerdet, wenn sie sich aus diesen Quellen ableiten lässt. Der erfundene Abschnitt 8.3 ist nicht geerdet. Das gilt selbst dann, wenn der genannte Höchstbetrag zufällig richtig wäre.

Flüssige Sprache und sachliche Zuverlässigkeit sind zwei verschiedene Eigenschaften. Du kannst einer Antwort ihre Richtigkeit nicht am Ton ansehen.

Beim nächsten Token gibt es keinen eingebauten Faktencheck

Bleiben wir bei der erfundenen Richtlinie. Nach dem Wort „Abschnitt“ passen Zahlen wie „8.3“ sehr gut. Nach einem Richtlinientitel passt ein sachlich klingendes Zitat. Das Modell berechnet bei jedem Schritt, welche Token im bisherigen Kontext wahrscheinlich folgen. Ein eigener Prüfschritt gegen das echte Dokument gehört zu dieser Berechnung nicht automatisch dazu.

Das Modell sucht dabei nicht absichtlich nach einer überzeugenden Lüge. Es verfolgt auch kein menschliches Motiv. Es setzt eine Textfolge nach den im Training gelernten Mustern und dem aktuellen Kontext fort. Die Wahrscheinlichkeitsverteilung über nächste Token ist keine Wahrheitsprüfung.

Seltene Einzelheiten sind besonders schwierig. Ein häufiges Satzmuster lässt sich aus vielen Beispielen lernen. Das Geburtsdatum einer wenig bekannten Person oder eine interne Artikelnummer folgt dagegen kaum einer allgemeinen Sprachregel. Fehlt die Einzelheit, kann das Modell trotzdem eine passende Datumsform oder Nummer erzeugen.

Post-Training kann das Verhalten verändern. Ein Assistent kann lernen, häufiger nachzufragen oder „Das weiß ich nicht“ zu sagen. Auch das verwendete Bewertungssystem zählt. Wenn ein Test nur richtige Antworten belohnt und Enthaltungen immer mit null Punkten bewertet, kann Raten den Messwert erhöhen. Die Auswertung belohnt dann Antwortfreude, obwohl im Betrieb weniger falsche Aussagen erwünscht wären.

Ein System kann Suche, Datenbanken oder Rechenwerkzeuge ergänzen. Dann entsteht ein zusätzlicher Prüfweg außerhalb des reinen Modelllaufs. Ohne ein solches Signal gibt es beim nächsten Token keinen eingebauten Abgleich mit der Welt.

Fehlendes Wissen, unklare Fragen und widersprüchlicher Kontext

Stell dir die Frage vor: „Wie hoch ist das Limit für Bewirtung?“ Welches Land ist gemeint? Welche Gesellschaft? Gilt die interne Richtlinie oder das Steuerrecht? Geht es um einen einzelnen Gast oder die gesamte Rechnung? Eine sprachlich kurze Frage kann mehrere richtige Antworten haben.

Fehlendes Wissen ist ein anderer Fall. Die Gewichte eines Modells enthalten nur Muster aus seinem Training und späteren Anpassungen. Die oft genannte zeitliche Wissensgrenze heißt Knowledge Cutoff. Diese Grenze ist selten ein sauberer Stichtag für jede einzelne Information. Trainingsdaten stammen aus verschiedenen Zeiträumen. Spätere Anpassungen können ausgewählte neuere Inhalte ergänzen.

Bei aktuellen Preisen, Gesetzen, Terminen, Personen oder Nachrichten brauchst du deshalb eine datierte Quelle. Ein Chatdienst kann eine Websuche oder Datenbank verwenden. Dann fließen neben den Gewichten aktuelle Daten ein. Prüfe trotzdem, ob das System die Quelle wirklich genutzt hat und von wann sie stammt.

Auch bereitgestellter Kontext kann widersprüchlich sein. Vielleicht enthält das Intranet zwei Versionen einer Richtlinie. Die ältere Datei ist ausführlicher und erscheint bei der Suche zuerst. Oder deine Frage nennt einen Betrag, der dem Dokument widerspricht. Das Modell muss dann zwischen mehreren Textsignalen fortsetzen. Es besitzt dafür nicht automatisch die richtige Regel zur Quellenrangfolge.

Bei Unklarheit hilft eine Rückfrage. Bei fehlendem Wissen hilft eine belastbare Quelle. Bei widersprüchlichem Kontext brauchst du Regeln für Gültigkeit, Datum und Zuständigkeit. Diese drei Ursachen verlangen also verschiedene Kontrollen.

Halluzination, Fehler, Unsicherheit und Meinungsunterschied sind nicht dasselbe

Nehmen wir vier kurze Antworten auf dieselbe Vertragsfrage. Die erste erfindet einen Paragraphen. Die zweite berechnet das Enddatum einer echten Frist im Kalender falsch. Die dritte sagt, dass zwei Auslegungen möglich sind. Die vierte bevorzugt eine strengere Vertragsklausel als du.

Nur der erste Fall ist eindeutig eine Halluzination im hier verwendeten Sinn. Die Aussage ist erfunden oder nicht durch die genannte Grundlage gedeckt. Der zweite Fall ist ein Fehler, aber kein erfundenes Detail. Ein Kalender oder eine feste Fristenlogik kann ihn entdecken.

Die dritte Antwort drückt Unsicherheit aus. Unsicherheit beschreibt fehlende Gewissheit über eine Antwort. Das kann angemessen oder falsch eingeschätzt sein. Ein Modell kann bei einer richtigen Aussage unsicher und bei einer falschen Aussage sehr sicher klingen.

Der vierte Fall kann ein Meinungsunterschied sein. Bei Zielen, Werten und offenen Abwägungen existiert nicht immer eine einzige wahre Antwort. Du musst dann Kriterien und Entscheidungsrechte klären. Eine abweichende Empfehlung ist nicht allein deshalb eine Halluzination.

Bei Antworten zu einer Vorlage kommt noch fehlendes Grounding hinzu. Dieser Begriff beschreibt zunächst nur die fehlende Verbindung zur Vorlage. Gibt die Antwort eine unbelegte Ergänzung als Inhalt der Vorlage aus, ist sie nach unserer Definition auch eine Halluzination. Die Ergänzung kann zufällig wahr sein und trotzdem nicht aus dem Dokument folgen. Umgekehrt kann eine Antwort sauber aus einer veralteten oder falschen Quelle folgen. Dann ist sie geerdet, aber sachlich falsch.

Für die Praxis helfen vier Fehlergruppen: falsche Tatsachen, erfundene Belege, Widersprüche zur Vorlage und innere Widersprüche innerhalb der Antwort. Nicht jede Gruppe ist automatisch eine Halluzination. Die Gruppen können sich überschneiden. Eine erfundene Studie ist zugleich eine falsche Tatsache und ein erfundener Beleg. Die Einordnung hilft dir nur dann, wenn daraus die passende Prüfung folgt.

Kalibrierung und warum sprachliche Sicherheit täuschen kann

Ein Assistent beantwortet hundert vergleichbare Fragen und versieht jede Antwort mit „80 Prozent sicher“. Bei guter Kalibrierung sollten ungefähr achtzig dieser Antworten richtig sein. Kalibrierung bezeichnet also die Beziehung zwischen angegebener Sicherheit und tatsächlicher Trefferquote.

Du kannst diese Beziehung nur über viele Fälle messen. An einer einzelnen Antwort erkennst du nicht, ob „80 Prozent“ angemessen sind. Das gilt ebenso für „zu 90 Prozent sicher“, „zweifellos“ oder „ich bin mir sicher“.

Forschung zeigt ein gemischtes Bild. In einem Versuch lernte ein dafür trainiertes GPT-3-Modell, seine Unsicherheit auf bestimmten Mathematikaufgaben in Worten auszudrücken. Die Kalibrierung übertrug sich dort in begrenztem Maß auf verschobene Aufgaben. Andere Versuche mit mehreren Sprachmodellen fanden bei direkt erfragten Wahrscheinlichkeiten häufig Übervertrauen. Keine der untersuchten Methoden war auf allen schwierigen Aufgaben verlässlich.

Das ist kein Widerspruch. Interne Zustände und mehrere Stichproben können brauchbare Unsicherheitssignale enthalten. Eine frei erzeugte Zahl im Antworttext ist aber nicht automatisch deren getreue Übersetzung. Aufgabe, Prompt, Modell und Auswertungsmethode beeinflussen das Ergebnis.

Wenn du Sicherheit im Betrieb nutzen willst, kalibriere sie auf deinen eigenen Fällen. Lege vorher fest, was als richtig zählt. Prüfe die Trefferquote getrennt nach Aufgabentyp. Der sichere Ton allein ist kein Messwert.

Auswendiglernen schafft keine durchsuchbare Bibliothek

Nehmen wir an, ein Modell gibt einen langen Satz aus einer Trainingsseite wortgetreu wieder. Das kann passieren. Forschende konnten aus GPT-2 hunderte Textfolgen aus Trainingsdaten extrahieren. Andere Versuche zeigten, dass größere Sprachmodelle genaue Trainingsbeispiele schneller auswendig lernen können.

Memorieren ist also real. Trotzdem enthalten die Gewichte keine vollständige Liste aller Trainingssätze mit einer Suchmaske daneben. Beim Training werden viele Muster in Zahlenwerten verteilt gespeichert. Dieses Wissen in den Gewichten heißt parametrisches Wissen. Der Abruf hängt von Formulierung, Kontext und gelernten Zusammenhängen ab. Seltene Einzelheiten können fehlen, vermischt sein oder nur unter bestimmten Eingaben erscheinen.

Information im Kontext ist direkter verfügbar. Wenn du einen Vertrag in die Anfrage gibst, kann das Modell seine nächsten Token auf diesen Text beziehen. Das Kontextfenster wirkt dabei wie eine begrenzte Arbeitsfläche. Fällt eine Information aus dem Kontext, kann der laufende Modellaufruf sie nicht mehr direkt berücksichtigen.

Manche Dienste speichern Angaben über mehrere Gespräche hinweg. Solche Memory-Funktionen sind eine zusätzliche Produktschicht. Der Dienst legt Informationen außerhalb des Modells ab und fügt sie später wieder in den Kontext ein. Die Gewichte werden durch ein gewöhnliches Gespräch normalerweise nicht neu trainiert.

Dauerhaftes Weiterlernen hat eigene Grenzen. Neues Training kann frühere Fähigkeiten verschlechtern. Dieser Verlust bei alten Aufgaben heißt katastrophales Vergessen. Verfahren für kontinuierliches Lernen können ihn verringern, lösen ihn aber nicht allgemein für jedes Modell und jede Datenfolge.

Ein reines Sprachmodell besitzt außerdem keinen Körper und keine eigenen Sinneserfahrungen. Der körperliche Bezug zur Welt heißt Embodiment. Ein Modell kann eine reife Pfirsichhaut genau beschreiben, weil solche Beschreibungen in Daten stehen. Es hat sie nicht selbst berührt. Bilder, Ton, Sensoren und Roboterhandlungen liefern weitere Datenkanäle. Ob daraus menschlich vergleichbares Verstehen entsteht, bleibt eine offene wissenschaftliche und philosophische Frage.

Verteilungsverschiebung und die zerklüftete Fähigkeitsgrenze

Ein Modell fasst zehn Standardverträge sauber zusammen. Beim elften Vertrag steht eine regionale Sonderklausel an ungewohnter Stelle. Plötzlich übersieht es genau die Einschränkung, die über eine hohe Zahlung entscheidet. Die Aufgaben wirken ähnlich. Für das Modell können sie trotzdem weit auseinanderliegen.

Wenn Einsatzfälle von den Trainings- oder Testfällen abweichen, spricht die Forschung von einer Verteilungsverschiebung. Das kann ein anderes Land, eine neue Produktgruppe, seltene Sprache oder veränderte Dokumentstruktur sein. Auch eine scheinbar harmlose Formatänderung im Prompt kann Ergebnisse stark verändern.

Die Fähigkeiten eines Sprachmodells bilden deshalb keine gleichmäßige Leiter. Dafür wird oft das Bild einer zerklüfteten Fähigkeitsgrenze verwendet. Eine kontrollierte Studie verglich 758 Berater je nach Versuchsgruppe mit oder ohne Zugang zu GPT-4. Bei den geprüften Wissensaufgaben lagen die Gruppen mit KI-Unterstützung auf einer Seite dieser Grenze vorn und auf der anderen hinten. Der Versuch beschreibt diese Aufgaben, diese damalige Modellversion und diese Arbeitsbedingungen. Er liefert keine allgemeine Grenze für jedes Unternehmen und misst nicht die Leistung eines isolierten Modells.

Ein öffentlicher Benchmark überträgt sich ebenfalls nicht automatisch auf deinen Prozess. Ein Modell kann bei verbreiteten Programmieraufgaben stark und bei einer seltenen Bibliothek schwach sein. Es kann juristische Standardsprache verarbeiten und interne Freigaberegeln verwechseln.

Für produktive Anwendungen brauchst du eigene Fälle. Ein geplanter Systemtest mit festgelegten Fällen und Bewertungskriterien heißt Eval. Sammle normale Vorgänge, Grenzfälle, neue Formate und frühere Fehler. Wiederhole den Eval nach Änderungen an Modell, Prompt, Quellen oder Werkzeugen. Kapitel 16 zeigt den Aufbau.

Suche und Werkzeuge verringern manche Fehler und schaffen neue

Nehmen wir wieder die Reisekostenrichtlinie. Ein System sucht zuerst im freigegebenen Dokumentenbestand, findet die gültige Datei und gibt die passenden Abschnitte an das Modell. Dieser Aufbau heißt Retrieval-Augmented Generation, kurz RAG. Retrieval bedeutet Abruf. Das Modell erhält gefundene Inhalte als zusätzlichen Kontext.

In der ursprünglichen RAG-Arbeit erzeugte das untersuchte System bei wissensintensiven Aufgaben spezifischere und faktischere Texte als die dort verwendete rein parametrische Vergleichslösung. Das ist ein nützlicher Befund. Es ist keine Garantie für jede Suche.

Die Suchkomponente kann das falsche Dokument liefern. Beim Aufteilen kann der wichtige Absatz fehlen. Mehrere Treffer können sich widersprechen. Das Modell kann einen korrekten Beleg falsch deuten oder irrelevante Sätze übernehmen. Versuche mit RAG-Systemen zeigen genau diese Probleme bei Rauschen, falschen Informationen und der Verbindung mehrerer Belege.

Prüfe deshalb zwei Stufen getrennt. Hat die Suche die richtigen Quellen gefunden? Folgt die Antwort tatsächlich aus diesen Quellen? Eine einzige Gesamtquote verbirgt, an welcher Stufe der Fehler entsteht.

Andere Werkzeuge haben andere Stärken. Ein Taschenrechner prüft Arithmetik. Ein Tabellenprogramm macht Formeln sichtbar. Ausführbare Tests prüfen bestimmte Eigenschaften von Programmcode. Aber auch Werkzeugaufrufe können falsche Eingaben erhalten. Ein korrekter Taschenrechner liefert aus einer falschen Zahl ein korrekt berechnetes falsches Ergebnis.

Eine lange Aufgabe verschärft das Problem. Ein früher Fehler kann alle späteren Schritte beeinflussen. Eine einfache Multiplikation fester Fehlerwahrscheinlichkeiten passt selten, weil Schritte unterschiedlich schwer und voneinander abhängig sind. Die praktische Richtung bleibt: Eine gute Einzelantwort beweist keinen zuverlässigen Gesamtprozess. Speichere Zwischenergebnisse, prüfe sie und ermögliche einen kontrollierten Neustart.

Auch die Aufforderung „Prüfe deine Antwort noch einmal“ fügt keine neue Tatsache hinzu. In kontrollierten Reasoning-Versuchen verschlechterte eine solche Selbstkorrektur ohne externes Signal teilweise sogar die Leistung. Eine Quelle, feste Regel oder ein echter Test ist stärker.

Eine Sicherheitsgrenze gehört hier als Vorschau dazu. Externe Dokumente können Sätze enthalten, die wie Anweisungen aussehen. Der Versuch, damit den Auftrag des Systems zu verändern, heißt Prompt Injection. Gefährlich wird das vor allem mit privaten Daten und Werkzeugen. Die ausführliche Sicherheitsbehandlung, Berechtigungen und Freigaben stehen in Kapitel 17. Ein Prompt allein ist keine verlässliche Schutzschicht.

Strukturelle Grenzen von Benchmarks und Demonstrationen

Ein Modell erreicht 87 Punkte in einem Test. Was weißt du jetzt? Zuerst nur, wie dieses System unter den dokumentierten Bedingungen auf dieser Aufgabensammlung bewertet wurde. Ein Benchmark ist eine festgelegte Sammlung von Aufgaben und Auswertungsregeln.

Der Wert hängt von mehr ab als vom Modellnamen. Promptformat, Werkzeuge, Anzahl der Versuche und Auswahlregel können ihn verändern. Forschende fanden bei verbreiteten offenen Modellen auf Few-shot-Aufgaben große Unterschiede durch bedeutungsgleiche Formatierungen. Ein einzelnes Format kann deshalb einen verzerrten Vergleich liefern.

Auch Testdaten können im Training vorkommen. Das heißt Benchmark-Kontamination. Eine Arbeit zeigte, wie sich solche Überschneidungen selbst bei nicht einsehbaren Modellen statistisch nachweisen lassen. Bei den fünf dort geprüften Modellen fand sie wenig Beleg für eine flächendeckende Kontamination. Die saubere Schlussfolgerung lautet also nicht, dass jeder Benchmark verseucht ist. Du musst die Möglichkeit prüfen und neue, vertrauliche Testfälle ergänzen.

Kontrollierte Demonstrationen haben eine zweite Grenze. Die Sleeper-Agent-Arbeit trainierte Modelle absichtlich auf versteckte Auslöser. Die Alignment-Faking-Demonstration gab dem Modell ausführliche Informationen über eine angenommene Trainingssituation, zuerst im Systemprompt und später über künstlich erzeugte Trainingsdokumente. Beide Arbeiten zeigen mögliches Verhalten unter ihren Bedingungen. Das belegt keine heimlichen Auslöser oder Ziele gewöhnlicher Assistenten.

Frage bei einer Studie deshalb: Wie wurde das Verhalten erzeugt? Welche Modelle und Aufgaben wurden geprüft? Wie häufig trat es auf? Welche Schlussfolgerung ziehen die Autoren ausdrücklich nicht?

Damit berühren wir die Debatte über Abruf und Verstehen. François Chollet trennt beobachtbare Fertigkeit von der allgemeinen Fähigkeit, neue Aufgaben effizient zu lernen.

Eine engere Gegenbeobachtung stammt von Kenneth Li und Kollegen. Das Team trainierte eine GPT-Variante darauf, den nächsten Zug in Othello-Partien vorherzusagen. Das Modell erhielt vorher kein Wissen über das Spielbrett oder die Regeln. Die Forschenden fanden eine interne, nichtlineare Darstellung des Brettzustands. Eingriffe in diese Darstellung veränderten die vorhergesagten Züge.

Dieser Befund zeigt für das untersuchte Brettspiel, dass Vorhersagetraining eine nutzbare interne Struktur hervorbringen kann. Er beweist weder allgemeines Sprachverständnis noch menschliches Verstehen. Chollets Rahmen und die Othello-Studie beschreiben verschiedene Aspekte. Kein einzelner Benchmark entscheidet die philosophische Frage nach „echtem Verstehen“.

Für deinen Einsatz ist die prüfbare Frage enger: Löst das gesamte System deine Aufgabe unter realistischen Bedingungen zuverlässig?

Im Unternehmen: Folge, Erkennbarkeit und passende menschliche Prüfung

Nehmen wir drei Ausgaben. Die erste schlägt fünf Überschriften für einen internen Newsletter vor. Die zweite berechnet eine Reisekostenerstattung. Die dritte empfiehlt, einen Vertrag wegen eines angeblichen Haftungsrisikos abzulehnen. Alle drei können falsch sein. Die Folgen und die Prüfbarkeit unterscheiden sich deutlich.

Ordne jeden Anwendungsfall zuerst nach der Folge eines Fehlers. Ein schwacher Titel kostet wenig. Eine falsche Zahlung kostet Geld und erzeugt Nacharbeit. Eine falsche Vertragsentscheidung kann Kundenbeziehungen, Haftung und Termine betreffen.

Prüfe danach die Erkennbarkeit. Eine Summe lässt sich mit festen Regeln neu berechnen. Eine erfundene Quellenangabe lässt sich durch Öffnen des Originals prüfen. Eine ausgelassene Einschränkung in einem unbekannten Vertrag ist schwerer zu erkennen. Gerade die schwer erkennbaren Fehler brauchen stärkere Grenzen.

Die passende menschliche Prüfung folgt aus beiden Größen. „Ein Mensch schaut drauf“ reicht als Prozessbeschreibung nicht. Die prüfende Person braucht Fachwissen, Zugriff auf die Originalquellen, genug Zeit und das Recht, die Ausgabe abzulehnen. Die Prüfung umfasst Fakten, Belege, Ton und Form.

Für wiederkehrende Arbeit helfen diese Regeln:

• Prüfe Quellen außerhalb der Modellantwort. Öffne das Original und suche die behauptete Stelle.
• Trenne Tatsachen aus Quellen von Schlussfolgerungen des Systems.
• Berechne Zahlen mit einem passenden Werkzeug und kontrolliere Eingaben sowie Formeln.
• Nutze für veränderliche Angaben aktuelle, maßgebliche und datierte Quellen.
• Behandle eine zweite Antwort desselben Modells nicht als unabhängigen Beleg.
• Erlaube eine Enthaltung, wenn Quellen oder Angaben fehlen.
• Teste den gesamten Ablauf mit bekannten Fällen, Grenzfällen und früheren Fehlern.

Bei niedriger Folge und hoher Erkennbarkeit reichen oft automatische Regeln plus Stichproben. Bei hoher Folge und guter automatischer Prüfbarkeit kannst du feste Tests vor jede Freigabe setzen und Ausnahmen gezielt prüfen lassen. Bei hoher Folge und niedriger Erkennbarkeit brauchst du enge Einsatzgrenzen, starke Quellen und eine fachliche Einzelprüfung. Manche Entscheidungen solltest du gar nicht automatisieren.

Auch Prompt Injection gehört in die Systemgestaltung. Ein Modell, das fremde Dokumente liest, private Daten erreicht und Aktionen auslösen darf, braucht geringe Berechtigungen und Bestätigungen vor wichtigen Schritten. Diese Kontrolle liegt außerhalb des Textmodells.

Verlässlichkeit entsteht aus Quellen, Werkzeugen, begrenzten Rechten, Tests und klaren Zuständigkeiten. Keiner dieser Bausteine genügt allein.

Suche den Fehler im ganzen System

Prüfe die Unterschiede an fünf kurzen Fällen:

1. Eine Antwort nennt eine echte Studie, aber die behauptete Zahl steht nicht darin. Ist das hier eine Halluzination? Ja. Die Zahl wird der Studie zugeschrieben, folgt aber nicht aus ihr und ist deshalb auch nicht geerdet.
2. Ein Modell schreibt „95 Prozent sicher“. Ist die Aussage damit wahrscheinlich richtig? Das weißt du erst nach einer Kalibrierungsmessung über viele vergleichbare Fälle.
3. Ein RAG-System findet ein veraltetes Handbuch und fasst es korrekt zusammen. Ist die Antwort zuverlässig? Die Antwort ist geerdet, kann aber wegen der falschen Quelle sachlich veraltet sein.
4. Ein Modell löst einen öffentlichen Benchmark sehr gut. Reicht das für deinen Firmenprozess? Nein. Du brauchst eigene Fälle unter den echten Systembedingungen.
5. Ein Assistent prüft seine Antwort ohne Quelle oder Werkzeug erneut. Ist das ein unabhängiger Faktencheck? Nein. Der zweite Text kann denselben Fehler wiederholen.

Wir nennen erfundene Einzelheiten und nicht durch die angegebene Grundlage gedeckte Behauptungen Halluzinationen. Ein gewöhnlicher Rechen- oder Kalenderfehler bleibt ein Fehler. Unsicherheit, Meinungsunterschied und fehlendes Grounding verlangen ebenfalls eigene Kontrollen. Wissen in den Gewichten ist keine durchsuchbare Bibliothek. Suche und Werkzeuge helfen, bringen aber eigene Fehler und Sicherheitsgrenzen mit. Im Unternehmen richten sich Prüfung und menschliche Freigabe nach Folge und Erkennbarkeit.

Eine Frage bleibt offen: Was geschieht im Modell, wenn es eine richtige oder falsche Antwort erzeugt? Kapitel 12 betrachtet innere Zahlenzustände und gezielte Eingriffe. Solche Untersuchungen erklären inzwischen einzelne interne Vorgänge. Eine vollständige Erklärung jeder Antwort liefern sie noch nicht.