Was im Modell geschieht: Interpretierbarkeit und Verstehen

Alle Gewichte zu kennen erklärt noch keine einzelne Antwort

Ein Modell soll eine Rechnung prüfen. Es verarbeitet Positionen, Beträge und eine Zahlungsbedingung. Dann empfiehlt es: „Rechnung freigeben.“ Du möchtest wissen, warum. Der Anbieter gibt dir eine Datei mit jedem einzelnen Gewicht des Modells. Gewichte sind die im Training gelernten Zahlenwerte.

Jetzt besitzt du Milliarden Zahlen. Die Antwort ist damit noch nicht erklärt.

Du müsstest wissen, welche inneren Zustände bei genau dieser Rechnung entstanden sind. Du müsstest verfolgen, wie sich die Beträge, die Zahlungsbedingung und die Anweisung gegenseitig beeinflusst haben. Und du müsstest prüfen, ob die gefundenen Teile die Empfehlung tatsächlich verursacht haben.

Interpretierbarkeit ist die Forschung an solchen Erklärungen. Mechanistische Interpretierbarkeit fragt genauer nach der internen Berechnung. Sie versucht, ein beobachtetes Verhalten auf gelernte Strukturen und Rechenschritte im Modell zurückzuführen. Die Gewichte sind dabei ein Ausgangspunkt. Eine Erklärung entsteht erst durch ein geprüftes Modell des Ablaufs.

Bei einer richtigen Antwort liegen drei Fragen nah beieinander:

1. Welche interne Berechnung führte zu dieser Antwort?
2. Enthält das Modell eine brauchbare Darstellung der gemeinten Dinge und Beziehungen?
3. Erlebt oder fühlt das Modell etwas?

Diese Fragen gehören auf verschiedene Ebenen. Experimente an inneren Zuständen können Teile der ersten Frage beantworten. Solche Befunde sagen auch etwas über interne Darstellungen. Ob du diese Darstellungen „Verstehen“ nennst, hängt aber von deiner Definition ab. Bewusstsein folgt daraus nicht.

Aktivierungen, Merkmale und Schaltkreise

Bleiben wir bei der Rechnung. Während das Modell die Zahlungsbedingung verarbeitet, entstehen in jeder Schicht neue Zahlenzustände. Eine Aktivierung ist ein solcher vorübergehender Zustand. Die Gewichte bleiben beim normalen Modellaufruf gleich. Aktivierungen ändern sich dagegen mit jedem Token und jeder Eingabe.

In diesen Aktivierungen suchen Forschende nach Merkmalen. Ein Merkmal, oft Feature genannt, ist ein erkennbares Muster in einem inneren Zustand. Es kann beispielsweise mit Ortsnamen, Programmcode oder ablehnenden Formulierungen zusammenhängen. Ein Merkmal muss kein einzelnes Neuron sein. Es kann als Richtung über viele Neuronen verteilt liegen.

Wie findest du heraus, wofür ein solches Muster steht? Du sammelst Texte, bei denen es stark aktiv wird. Dann vergleichst du passende Gegenbeispiele. Dieses Vorgehen gehört zur Merkmalsvisualisierung. Bei Bildnetzen erzeugten frühe Arbeiten sogar Bilder, die bestimmte innere Einheiten besonders stark anregten. Bei Sprachmodellen zeigen Forschende meist Textstellen mit niedriger und hoher Aktivierung.

Das Ergebnis ist eine Beschreibung aus menschlicher Sicht. Wenn ein Muster oft bei Brücken, Straßen und Tunneln aktiv wird, könntest du es „Verkehrsbauwerke“ nennen. Der Name ist eine Arbeitshypothese. Vielleicht reagiert das Muster außerhalb deiner Stichprobe auch auf Wurmlöcher oder Telefonnummern. Eine hübsche Beschriftung ist noch kein vollständiger Bedeutungsnachweis.

Einzelne Merkmale reichen außerdem selten für eine Berechnung. Mehrere Modellteile lesen Informationen, verändern sie und geben sie weiter. Eine Gruppe verbundener Teile, die gemeinsam zu einem Verhalten beiträgt, heißt Schaltkreis. Die Forschung verwendet dafür auch das englische Wort Circuit.

Ein Schaltkreis kann Attention-Köpfe, Zwischenschichten und verteilte Merkmale umfassen. Seine Erklärung sollte sagen, welche Information wo entsteht und wie sie die Ausgabe beeinflusst. Das ist deutlich mehr als eine farbige Attention-Ansicht. Ein hoher Attention-Wert zeigt zunächst nur, welche Position ein Kopf stark gewichtet hat. Andere Köpfe, Residualverbindungen und Feedforward-Blöcke können diese Information verstärken, verändern oder ausgleichen.

Korrelation durch Sonden im Vergleich zu kausalen Belegen

Nehmen wir ein Modell, das Züge in Othello-Partien fortsetzt. Du speicherst nach jedem Zug seine Aktivierungen. Ein kleines zusätzliches Verfahren soll daraus den Zustand jedes Spielfelds lesen. Dieses Verfahren heißt Sonde, auf Englisch Probe. Eine Sonde wird darauf trainiert, eine gesuchte Eigenschaft aus inneren Zuständen vorherzusagen.

Trifft die Sonde oft richtig, ist die Information im untersuchten Zustand lesbar. Das ist nützlich. Es beweist aber noch nicht, dass das Modell diese Information selbst für seine Ausgabe verwendet. Eine leistungsfähige Sonde kann Muster lernen, die nur nebenbei vorhanden sind. Sie kann sogar einen großen Teil der eigentlichen Aufgabe übernehmen.

Kontrollaufgaben helfen bei dieser Grenze. John Hewitt und Percy Liang zeigten, dass verbreitete Sonden auf zufällige Zuordnungen geprüft werden sollten. Lernt eine Sonde auch diese Zuordnungen, stammt ein Teil ihrer Leistung aus der Sonde selbst. Der innere Zustand bekommt dann zu viel Verdienst.

Für eine stärkere Aussage brauchst du einen Eingriff. Eine Intervention ist eine gezielte Veränderung im Modelllauf. Du löschst eine Aktivierung, ersetzt sie durch den Zustand aus einem Vergleichsfall oder verstärkst eine bestimmte Richtung. Ändert sich die Ausgabe wie vorhergesagt, hast du einen kausalen Hinweis.

Genau diese zweite Stufe machte die Othello-Arbeit interessant. Kenneth Li und Kollegen fanden eine nichtlineare Darstellung des Brettzustands. Danach änderten sie ausgewählte interne Zustände. Die vorhergesagten Züge änderten sich passend zum veränderten Brett. Für dieses Modell und diese Aufgabe war die Darstellung also mehr als ein lesbares Nebenprodukt.

Auch eine Intervention ist kein Freifahrtschein. Ein starker Eingriff kann unnatürliche Zustände erzeugen. Mehrere interne Wege können dieselbe Ausgabe stützen. Das Entfernen eines Teils kann deshalb durch einen anderen Weg ausgeglichen werden. Umgekehrt kann eine grobe Änderung viele Dinge gleichzeitig treffen.

Die Reihenfolge der Belege ist einfach:

1. Beobachtung: Das Muster tritt zusammen mit einem Inhalt auf.
2. Vorhersage: Das Muster sagt ein späteres Verhalten voraus.
3. Intervention: Eine gezielte Änderung beeinflusst das Verhalten wie erwartet.
4. Mechanismus: Eine zusammenhängende Kette erklärt den Ablauf und besteht Gegenversuche.

Korrelation liefert eine Spur. Ein sauberer Eingriff stützt eine Ursache. Ein ganzer Mechanismus verlangt mehrere passende Spuren und Kontrollen.

Polysemantische Neuronen und Superposition

Ein Neuron in einem kleinen Sprachmodell reagierte auf wissenschaftliche Zitate, englische Dialoge, HTTP-Anfragen und koreanischen Text. Ein solches Neuron heißt polysemantisch. Polysemantisch bedeutet, dass dieselbe Einheit mit mehreren unterschiedlichen Bedeutungen oder Mustern zusammenhängt.

Das Gegenbild wäre ein Neuron mit genau einer klaren Aufgabe. In kleinen Netzen findest du solche Fälle. Bei großen Sprachmodellen verteilt sich eine Bedeutung aber oft auf viele Neuronen. Gleichzeitig trägt ein einzelnes Neuron zu mehreren Bedeutungen bei. Die Hoffnung auf ein einzelnes „Wahrheitsneuron“ führt deshalb schnell in die falsche Richtung.

Eine mögliche Erklärung heißt Superposition. Dabei legt das Modell mehr Merkmale in einen Aktivierungsraum, als dieser einzelne Dimensionen hat. Es nutzt verschiedene Richtungen im Raum. Diese Richtungen überlagern sich. Das funktioniert besonders gut, wenn pro Eingabe nur ein kleiner Teil aller möglichen Merkmale gebraucht wird.

Stell dir einen Schrank mit hundert Fächern für tausend selten benötigte Werkzeuge vor. Kein Werkzeug bekommt ein eigenes Fach. Verschiedene Kombinationen stehen für verschiedene Werkzeuge. Solange du nur wenige gleichzeitig brauchst, bleibt die Störung begrenzt.

Nelson Elhage und Kollegen zeigten Superposition in kleinen ReLU-Netzen mit künstlichen Daten. Diese Modelle lernten mehr Merkmale als vorhandene Dimensionen. Für echte große Sprachmodelle bleibt die Übertragung eine Arbeitshypothese. Die Autoren schreiben selbst, die Verallgemeinerung sei unklar.

Unabhängig davon untersuchten Catherine Olsson und Kollegen Induktionsköpfe. Diese Attention-Köpfe vervollständigen Tokenmuster nach „A, B, später A, also wahrscheinlich B“. Für kleine Modelle nur mit Attention-Schichten lieferten sie starke kausale Belege. Bei größeren Modellen mit MLP-Schichten fanden sie korrelative Belege.

Die Evidenz gilt getrennt. Die Versuchsmodelle zeigen Superposition unter kontrollierten Bedingungen. Die Induktionskopf-Arbeit zeigt einen anderen Mechanismus mit eigener Reichweite. Beide Befunde beschreiben kein großes Sprachmodell vollständig.

Sparse Autoencoder als eine Methode zur Trennung von Merkmalen

Ein Sparse Autoencoder, kurz SAE, ist ein zusätzlich trainiertes Netz. Es zerlegt Aktivierungen in viele mögliche Merkmale und verwendet bei einer Eingabe nur wenige davon. Sparse bedeutet hier dünn besetzt. Autoencoder bedeutet, dass das Netz den ursprünglichen Zustand in eine Merkmalsdarstellung übersetzt und daraus möglichst genau wiederherstellt.

Der Ablauf hat zwei Schritte:

1. Der Encoder übersetzt die Aktivierung in eine größere Liste möglicher Merkmale.
2. Der Decoder setzt aus den wenigen aktiven Merkmalen eine Annäherung an die ursprüngliche Aktivierung zusammen.

Die Beschränkung auf wenige aktive Merkmale soll überlagerte Richtungen trennen. Cunningham und Kollegen bewerteten ihre Merkmale mit automatisierten Verfahren als deutbarer als einzelne Neuronen. Bricken und Kollegen ließen in einer getrennten Studie eine kleine Stichprobe verblindet von einem Menschen bewerten. Auch dort waren Merkmale deutbarer als Neuronen. Spätere Arbeiten skalierten SAE auf größere Modelle und Millionen Merkmale.

Abbildung 10: Der Sparse Autoencoder sucht eine dünn besetzte Beschreibung der Aktivierung. Ein gezielter Eingriff in ein gefundenes Merkmal prüft anschließend dessen Einfluss auf die Ausgabe.

Ein bekanntes Beispiel stammt aus einer Anthropic-Studie von 2024. Das Team trainierte einen großen SAE auf Aktivierungen von Claude 3 Sonnet. Ein gefundenes Merkmal reagierte besonders stark auf die Golden Gate Bridge und verwandte Inhalte. Verstärkten die Forschenden dieses Merkmal, erwähnte das Modell die Brücke häufiger. Bei sehr starken Eingriffen bezog es fast jede Antwort auf die Brücke.

Das Experiment verbindet Merkmalsvisualisierung mit einer Intervention. Die aktivierenden Beispiele halfen bei der Benennung. Der Eingriff zeigte einen kausalen Einfluss auf das Verhalten. Er zeigte keine vollständige Bedeutung des Merkmals und keine vollständige Landkarte des Modells.

Weitere Versuche zum Steuern solcher Merkmale fanden unerwartete Wirkungen auf andere Themen. Sehr starke Eingriffe verschlechterten außerdem die geprüften allgemeinen Fähigkeiten. Aktivierende Beispiele sagen also nicht alle Folgen eines Merkmals voraus.

Ein SAE entdeckt auch nicht die einzige wahre Liste aller Konzepte. Seine Merkmale hängen von Trainingsdaten, untersuchter Schicht, Größe und Einstellungen ab. Manche Begriffe werden in mehrere Merkmale aufgeteilt. Andere Merkmale bleiben mehrdeutig. Aleksandar Makelov und Kollegen fanden bei einer kleinen Sprachaufgabe zwar verständliche SAE-Merkmale. Überwacht gelernte Merkmale konnten das Modell dort aber besser steuern. Rekonstruktionsfehler bleiben ebenfalls bestehen.

Ein SAE ist damit eine gelernte Übersetzung innerer Zustände. Sie kann nützliche Begriffe liefern, bleibt aber eine Annäherung an das ursprüngliche Modell.

Ein Verhalten durch das Modell verfolgen

Nehmen wir eine konkrete Frage: „Die Hauptstadt des US-Bundesstaats, in dem Dallas liegt, ist …“ Ein Modell antwortet „Austin“. Hat es erst Dallas mit Texas verbunden und danach Texas mit Austin? Oder hat ein oberflächliches Textmuster direkt auf Austin gezeigt?

Eine Untersuchung kann so vorgehen:

1. Lege Vergleichseingaben fest. Ändere Dallas, den Fragetyp oder die erwartete Hauptstadt einzeln.
2. Miss die Aktivierungen. Suche nach Zuständen, die Texas, Hauptstädte oder die Ausgabe Austin vorhersagen.
3. Prüfe die Kandidaten mit Sonden und Merkmalsvisualisierungen. Nutze Gegenbeispiele statt nur passender Treffer.
4. Verfolge Verbindungen zwischen den Kandidaten über die Schichten.
5. Führe Interventionen aus. Entferne einen Kandidaten oder ersetze ihn durch den Zustand eines Vergleichsfalls.
6. Wiederhole den Versuch mit neuen Formulierungen, falschen Hinweisen und anderen Städten.

2025 veröffentlichte Anthropic solche Fallstudien für Claude 3.5 Haiku. Die verwendeten Attributionsgraphen bilden mögliche Einflüsse zwischen Merkmalen ab. Sie beruhen auf einem vereinfachten Ersatzmodell. Die Autoren beschreiben sie deshalb ausdrücklich als Hypothesen und prüfen ausgewählte Verbindungen mit Interventionen.

In einfachen Übersetzungsaufgaben fanden sie teils gemeinsame Merkmale für Begriffe in Englisch, Französisch und Chinesisch. Sprachabhängige Teile blieben ebenfalls sichtbar. Das stützt einen teilweise gemeinsamen Begriffsraum in diesen Fällen. Es beweist keine vollständig sprachfreie Gedankensprache.

Bei einer Reimaufgabe wurden mögliche Endwörter vor dem Schreiben der Zeile sichtbar. Änderungen an diesen Merkmalen beeinflussten den späteren Reim. Der Fall liefert einen kausalen Hinweis auf Vorausplanung bei dieser Aufgabe. Daraus folgt nicht, dass jede Antwort weit im Voraus geplant wird.

Bei einer Rechenaufgabe mit einem falschen Hinweis folgte das Modell in einem untersuchten Fall zuerst der vorgegebenen Antwort. Danach erzeugte es eine passend klingende Begründung. Der ausgegebene Gedankengang beschrieb den vorherigen internen Weg also nicht treu. Das passt zur Grenze aus Kapitel 10: Eine Textbegründung ist keine direkte Aufzeichnung innerer Berechnungen.

Was heutige Interpretierbarkeit erklären kann

Einige Mechanismen sind inzwischen genau beschrieben. Kevin Wang und Kollegen untersuchten beispielsweise, wie GPT-2 small bei einem begrenzten Sprachtest das richtige indirekte Objekt auswählt. Ihr Schaltkreis umfasste 26 Attention-Köpfe mit verschiedenen Aufgaben. Kausale Eingriffe stützten die Erklärung. Die Autoren prüften auch, wie treu, vollständig und klein ihr gefundener Schaltkreis war. Dabei blieben Lücken sichtbar.

Solche Arbeiten können mehrere nützliche Dinge leisten. Sie können eine konkrete Rechenstrategie finden. Sie können zeigen, dass ein internes Merkmal an einem Verhalten beteiligt ist. Sie können Abkürzungen entdecken, die ein guter Messwert von außen verbirgt. Und sie können Unterschiede vor und nach einem Post-Training genauer untersuchen.

Kausales Nachverfolgen hilft auch bei Faktenwissen. Kevin Meng und Kollegen störten bei Sprachmodellen zunächst die Verarbeitung eines bekannten Fakts. Danach setzten sie einzelne innere Zustände aus dem ungestörten Lauf wieder ein. So fanden sie Stellen, die bei ihren Faktenfragen einen starken Einfluss hatten. Eine anschließende Änderung ausgewählter Gewichte änderte bestimmte Faktenausgaben.

Das ist mehr als eine Korrelation zwischen Aktivierung und Text. Die Arbeit verbindet Lokalisierung, Eingriff und beobachtete Verhaltensänderung. Trotzdem erklärt sie keinen vollständigen Wissensspeicher und keinen allgemeinen Abrufmechanismus für jede Tatsache.

Interpretierbarkeit kann damit lokale Fragen beantworten: Welcher interne Teil war bei dieser Aufgabe beteiligt? Welche Zwischeninformation lässt sich nachweisen? Welche Änderung verschiebt das Ergebnis? Welcher scheinbare Rechenweg hält einer Intervention stand?

Was unsicher oder umstritten bleibt

Die offenen Punkte beginnen bei Vollständigkeit, Benennung und Stabilität. Eine Analyse kann einen wichtigen Weg finden und einen zweiten übersehen. Ein sauber wirkendes Merkmal kann in anderen Eingaben etwas Zusätzliches tun. Mechanismen können sich zwischen Modellen, Schichten und Formulierungen verändern.

Dazu kommt die Skalierung. Große Modelle können Millionen Merkmale und lange Berechnungen enthalten. Sie samt Verbindungen zu prüfen ist teuer. Meist fehlt eine unabhängige Vergleichswahrheit für die richtige interne Erklärung. Eine plausible Grafik kann dadurch genauer und vollständiger wirken, als sie ist.

Die Werkzeuge sind Annäherungen. Ein SAE rekonstruiert Aktivierungen unvollständig. Attributionsgraphen vereinfachen große Netze. Eingriffe können unnatürliche Zustände erzeugen. Eine veränderte Ausgabe zeigt Beteiligung, aber nicht die ganze Wirkung des Merkmals.

Attention allein löst das Problem ebenfalls nicht. Studien fanden sehr verschiedene Attention-Verteilungen mit fast gleichen Ausgaben. Andere Arbeiten zeigten, dass Attention unter engeren Definitionen trotzdem nützliche Hinweise liefern kann. Die vernünftige Folgerung lautet: Attention kann Teil einer Erklärung sein. Ohne weitere Tests ist sie keine kausale Erklärung.

Dann bleibt die philosophische Frage. John Searle beschrieb 1980 das chinesische Zimmer. Eine Person ohne Chinesischkenntnisse erhält Zeichen und folgt einem Regelbuch. Von außen wirken ihre Antworten richtig. Searle wollte damit zeigen, dass formale Symbolverarbeitung allein kein Verstehen erzeugt.

Ein Einwand betrachtet das gesamte System aus Person, Regelwerk und Speicher. Vielleicht liegt eine Form des Verstehens im System, obwohl kein einzelner Teil Chinesisch beherrscht. Eine funktionale Definition fragt stattdessen, ob das System Wissen flexibel anwenden, übertragen, erklären und korrigieren kann. Das Gedankenexperiment entscheidet diesen Streit nicht. Es zeigt, warum flüssige Sprache allein kein Beweis ist.

Nimm das Wort „Apfel“. Ein Textmodell verbindet es mit Farben, Rezepten und Biologie. Ein multimodales Modell kann Bilder und Ton einbeziehen. Ein Roboter kann zusätzlich Sensordaten und Handlungen verarbeiten. Keine dieser Daten entspricht automatisch deinem Schmecken, Riechen oder Anfassen. Die internen Beziehungen können trotzdem für Aufgaben nützlich sein.

Ein Modell kann einen Apfel passend beschreiben und bei einer ungewöhnlichen Aufnahme trotzdem scheitern. Der philosophische Name ersetzt keinen Test der konkreten Aufgabe.

Strukturierte Repräsentationen können als funktionales Verstehen gelten. Wer subjektive Erfahrung oder einen körperlichen Weltbezug verlangt, setzt eine andere Grenze. Bewusstsein folgt aus keinem Schaltkreis, keiner Sonde und keinem SAE. Ein Modell kann über Gefühle schreiben, ohne dass eine passende Aktivierung ein Erleben beweist. Einen allgemein anerkannten sicheren Ausschlusstest besitzen wir ebenfalls nicht.

Technische Interpretierbarkeit untersucht Mechanismen. Sie entscheidet keine Definition von Verstehen und keine Frage nach Bewusstsein.

Im Unternehmen: Interpretierbarkeit ist kein allgemeines Sicherheitszertifikat

Ein Anbieter zeigt dir ein Merkmal, das bei schädlichen Anfragen aktiv wird. Durch Verstärkung lehnt das Modell mehr solcher Anfragen ab. Darf der Anbieter sein System nun als sicher bezeichnen? Nein. Der Versuch belegt einen Einfluss unter den geprüften Bedingungen. Er sagt noch wenig über unbekannte Anfragen, andere Sprachen, Werkzeugzugriffe oder neue Modellversionen.

Frage bei einem Interpretierbarkeitsbefund nach seinem genauen Umfang:

• Welches Modell und welche Version wurden untersucht?
• Für welche Eingaben, Schichten und Ausgaben gilt die Erklärung?
• Welche Gegenbeispiele und Kontrollaufgaben gab es?
• Wurde nur eine Korrelation gemessen oder auch eingegriffen?
• Wie vollständig ist der gefundene Schaltkreis?
• Welche Nebenwirkungen traten bei Eingriffen auf?
• Wurde der Befund mit neuen Fällen oder unabhängig wiederholt?

Die Antworten können eine technische Prüfung verbessern. Du kannst bekannte problematische Merkmale während eines Tests beobachten. Du kannst Modellversionen intern vergleichen. Du kannst untersuchen, ob ein sichtbarer Gedankengang zum gefundenen Rechenweg passt. Und du kannst unerwartete Strategien entdecken, bevor sie in einem Prozess Schaden anrichten.

In eng begrenzten Versuchen kannst du auch nach Mustern suchen, die mit Täuschung, Manipulation oder gefährlichen Zielvorgaben zusammenhängen. Ein Treffer und sein Ausbleiben brauchen beide weitere Kontrollen.

Aber das Fehlen eines bekannten Merkmals beweist nicht, dass ein Verhalten unmöglich ist. Vielleicht nutzt das Modell einen anderen Weg. Vielleicht erfasst dein SAE das Merkmal nicht. Vielleicht hat die Benennung einen entscheidenden Teil übersehen.

Mechanistische Befunde ergänzen deshalb die Evals aus Kapitel 16. Sie ersetzen weder Tests mit echten Fällen noch Quellenkontrolle, Protokolle, begrenzte Rechte und menschliche Freigaben. Ein internes Bild ist auch nicht automatisch eine ausreichende Erklärung für eine rechtliche Einzelentscheidung. Dafür zählen unter anderem die konkrete Entscheidung, die verwendeten Daten und die geltenden Anforderungen.

Im Betrieb brauchst du mehrere Belegarten. Verhaltenstests zeigen, was das ganze System unter festgelegten Bedingungen tut. Interpretierbarkeit prüft ausgewählte innere Hypothesen. Überwachung zeigt, was nach der Einführung geschieht. Zuständigkeiten legen fest, wer bei einem Fehler eingreift.

Interpretierbarkeit liefert einen Teil der Belege. Ein allgemeines Sicherheitszertifikat ist sie nicht.

Interne Befunde ersetzen keine Systemtests

Prüfe die Begriffe an fünf kurzen Fragen:

1. Eine Sonde liest Vertragsarten zuverlässig aus Aktivierungen. Verwendet das Modell diese Information sicher für seine Antwort? Nein. Die Sonde zeigt zunächst nur, dass die Information lesbar ist.
2. Ein Eingriff in ein Merkmal ändert die Ausgabe wie erwartet. Ist damit das ganze Verhalten erklärt? Nein. Der Eingriff stützt eine kausale Beteiligung dieses Merkmals.
3. Ein SAE liefert ein klar benanntes Merkmal. Ist das die wahre interne Kategorie des Modells? Das ist möglich, aber nicht bewiesen. Der SAE liefert eine gelernte und unvollständige Übersetzung.
4. Ein Schaltkreis erklärt eine Aufgabe in einem kleinen Modell. Gilt er automatisch in einem größeren Modell? Nein. Du musst ihn dort erneut suchen und prüfen.
5. Eine interne Analyse findet keinen bekannten Risikopfad. Ist das System damit sicher? Nein. Unentdeckte Merkmale und alternative Wege bleiben möglich.

Wir kennen jetzt Gewichte, Aktivierungen, Merkmale und Schaltkreise. Sonden können Informationen in inneren Zuständen sichtbar machen. Interventionen liefern stärkere kausale Hinweise. Superposition erklärt, warum Bedeutungen verteilt und überlagert sein können. Sparse Autoencoder zerlegen solche Überlagerungen näherungsweise in wenige aktive Merkmale.

Die Forschung hat einzelne Mechanismen überzeugend gezeigt. Andere Deutungen bleiben Hypothesen. Eine vollständige Erklärung großer Sprachmodelle gibt es nicht. Aussagen über menschliches Verstehen oder Bewusstsein gehen noch einmal über diese technischen Befunde hinaus.

Zwei Kurzschlüsse solltest du vermeiden. „Nur Statistik“ unterschätzt die Strukturen, die aus statistischem Lernen entstehen können. „Es spricht wie ein Mensch, also versteht und fühlt es wie ein Mensch“ verwechselt sichtbares Verhalten mit ungeklärten inneren Eigenschaften.

Damit endet unser Weg durch den technischen Kern des Sprachmodells. Das nächste Problem liegt außerhalb seiner Gewichte: aktuelles, privates und überprüfbares Wissen. Kapitel 13 zeigt, wie RAG, zusätzlicher Kontext und Werkzeuge dieses Wissen in einen Modelllauf bringen.