Glossar

Eine Aktivierung ist ein vorübergehender Zahlenzustand während einer Modellberechnung. Sie entsteht für ein bestimmtes Token und eine bestimmte Eingabe, während die Gewichte beim normalen Aufruf gleich bleiben. Den Unterschied erklärt Kapitel 12.

Ein Agent ist ein KI-System, das in einer Schleife Informationen verarbeitet, einen nächsten Schritt wählt und handeln kann. Das Modell schlägt dabei beispielsweise einen Werkzeugaufruf vor. In einem kontrollierten System kann die Laufzeitsoftware den Aufruf prüfen und mit begrenzten Rechten ausführen. Der vollständige Ablauf steht in Kapitel 17.

AGI ist ein Sammelbegriff für eine künstliche Intelligenz mit breiten Fähigkeiten über viele Aufgaben hinweg. Facharbeiten verwenden dafür verschiedene Definitionen und Messrahmen. Dieses Buch zerlegt den Begriff deshalb nach Breite, Leistung, Selbstständigkeit und dauerhaftem Lernen in Kapitel 22.

Ein AI Winter ist eine Phase mit sinkender Finanzierung, wirtschaftlichem Interesse oder öffentlicher Aufmerksamkeit für KI. Der Begriff fasst verschiedene Entwicklungen zusammen, deren Zeitpunkt und Ursache je nach Land, Forschungsgebiet und Geldgeber abweichen. Die historischen Grenzen des Begriffs stehen in Kapitel 2.

Alignment bedeutet, das beobachtbare Verhalten eines KI-Systems an beabsichtigten Zielen und Regeln auszurichten. Welche Ziele gelten und wie Konflikte zwischen ihnen gelöst werden, müssen Menschen festlegen und prüfen. Deshalb beschreibt Kapitel 9 Alignment als fortlaufenden Prozess und nicht als Schalter.

Anthropomorphisierung bedeutet, einem nicht menschlichen System menschliche Eigenschaften wie Absicht, Verständnis oder Gefühl zuzuschreiben. Flüssige Sprache kann diesen Eindruck fördern, belegt aber keinen entsprechenden inneren Zustand. Das frühe Beispiel ELIZA behandelt Kapitel 2.

Eine API ist hier eine vereinbarte HTTP-Schnittstelle zwischen Programmen. Sie legt fest, wie eine Software Anfragen an einen Dienst senden und Antworten empfangen kann. Eine zugängliche API bedeutet weder Besitz am Modell noch gleiche Datenkontrolle, wie Kapitel 20 erklärt.

Attention ist eine gelernte Gewichtungsrechnung zwischen Positionen einer Folge. Für jede Position erzeugt das Modell drei Zahlenlisten. Query ist die Vergleichsanfrage, Key die Vergleichsrolle einer möglichen Quelle und Value die Information, die diese Quelle beitragen kann. Attention vergleicht Query mit Key und mischt die zugehörigen Value-Vektoren nach den berechneten Gewichten. Den Rechenweg baut Kapitel 7 Schritt für Schritt auf.

Ein Auftragsverarbeitungsvertrag regelt die Verarbeitung personenbezogener Daten durch einen Dienstleister im Auftrag eines Verantwortlichen. Artikel 28 der Datenschutz-Grundverordnung verlangt dafür einen bindenden Vertrag oder anderen Rechtsakt mit festgelegten Inhalten. Der Vertrag ersetzt keine Prüfung von Zweck, Datenfluss, Speicherort, Unterauftragnehmern und Löschweg. Den betrieblichen Zusammenhang zeigt Kapitel 18.

Ein Audit Trail ist ein nachvollziehbares Vorgangsprotokoll. Bei einem KI-System verbindet es beispielsweise Auftrag, Nutzer, Versionen, Werkzeugaufrufe, tatsächliche Ergebnisse und Freigaben. Eine erzeugte Gedankenkette ist kein vollständiges Protokoll der internen Modellberechnung. Die betriebliche Definition steht in Kapitel 17.

Ein Autoencoder ist ein neuronales Netz, das eine Eingabe erst in eine andere Darstellung übersetzt und daraus wieder annähert. Der Encoder erzeugt die Darstellung. Der Decoder rekonstruiert daraus die Eingabe. Kapitel 12 nutzt diese Grundidee für Sparse Autoencoder.

Backpropagation berechnet Ableitungen rückwärts durch die Rechenschritte eines neuronalen Netzes. Ein Gradient ist die Sammlung dieser Änderungsrichtungen für die Parameter. Der Verlustwert, im Englischen Loss, ist der Fehlerwert, den das Training verkleinern soll. Backpropagation liefert für jeden beteiligten Parameter einen lokalen Beitrag zum Gradienten. Die Rechnung und ihre Grenze erklärt Kapitel 8.

Eine Baseline ist die Ausgangsmessung des heutigen Ablaufs. Sie macht sichtbar, ob ein neues System Qualität, Zeit, Kosten oder eine andere festgelegte Zielgröße unter vergleichbaren Bedingungen verändert. Wie diese Messung aufgebaut wird, zeigt Kapitel 16.

Ein Basismodell ist das Ergebnis des breiten Pretrainings vor der gezielten Formung zum Assistenten. Es kann viele gelernte Fähigkeiten zeigen, wurde aber noch nicht oder nur wenig auf gewünschtes Dialogverhalten abgestimmt. Die Grenze zum fertigen Assistenten erklärt Kapitel 9.

Ein Benchmark ist eine festgelegte Sammlung von Aufgaben und Auswertungsregeln. Sein Ergebnis beschreibt das geprüfte Modell unter den dokumentierten Bedingungen. Es belegt nicht automatisch die Qualität einer vollständigen Anwendung im eigenen Prozess. Diese Grenze behandelt Kapitel 16.

Benchmark Contamination bedeutet, dass Testaufgaben, Lösungen oder nahe Varianten in Training, Anpassungsdaten oder Beispielen des Systems auftauchen. Ein hoher Wert kann dann teilweise auf Wiedererkennung beruhen und die Leistung auf neuen Fällen überschätzen. Schutz durch frische und zurückgehaltene Fälle erklärt Kapitel 16.

Bias bedeutet hier eine systematische Verzerrung in Daten, Modell, Ausgabe oder Entscheidung. Sie kann unter anderem durch Datenauswahl, Zielsetzung, Training, Systemgestaltung und Nutzung entstehen. Welche Gruppen betroffen sind und welche Folgen Fehler haben, betrachtet Kapitel 21.

Ein Bias-Wert ist eine gelernte Zahl, die eine Recheneinheit zusätzlich zur gewichteten Eingabe addiert. Er verschiebt den berechneten Wert und gehört zu den Modellparametern. In diesem Buch ist dieser mathematische Bias-Wert von einer systematischen Verzerrung in Daten oder Entscheidungen zu unterscheiden. Der technische Modellaufbau steht in Kapitel 7.

Batching ist die gemeinsame Verarbeitung mehrerer Trainingsbeispiele oder Anfragen als Paket. Ein größeres Batch kann parallele Hardware besser auslasten, braucht aber mehr Speicher und kann einzelne Anfragen warten lassen. Den Unterschied zwischen Durchsatz und Wartezeit erklärt Kapitel 19.

BPE ist ein Verfahren, das häufige benachbarte Zeichenfolgen schrittweise zu wiederverwendbaren Einheiten zusammenfasst. Für neuronale Übersetzung wurde die ältere Kompressionsidee auf Teilwörter übertragen. Moderne Tokenizer nutzen BPE oder verwandte Verfahren. Den Aufbau eines Vokabulars zeigt Kapitel 5.

C2PA ist ein offener technischer Standard für maschinenlesbare Herkunftsangaben zu digitalen Inhalten. Die Spezifikation 2.4 beschreibt signierte Manifeste mit Aussagen über Herkunft und Bearbeitung. Ein gültiger Nachweis schützt die angegebenen Aussagen gegen unbemerkte Veränderung, beweist aber nicht die Wahrheit des Inhalts. Die Fassung und Grenzen stehen in Kapitel 21.

CAG lädt eine begrenzte Wissensbasis direkt in den Modellkontext und kann vorberechnete Zustände dieses festen Anfangs wiederverwenden. Im Unterschied zu RAG sucht das System nicht vor jeder Antwort erneut einzelne Textstellen. Die Inhalte müssen in den nutzbaren Kontext passen. Die Abgrenzung steht in Kapitel 13.

Eine Causal Mask ist ein Sperrmuster in der Attention-Rechnung eines erzeugenden Sprachmodells. Beim Training verhindert sie, dass eine Position auf spätere Tokens zugreift, die sie vorhersagen soll. Wie die Sperre vor Softmax wirkt, erklärt Kapitel 7.

Eine Chain of Thought ist eine erzeugte Folge sprachlicher Zwischenschritte vor einer Antwort. Solche Schritte verbessern manche Aufgaben unter bestimmten Bedingungen. Sie sind aber kein verlässliches Protokoll aller internen Berechnungen. Befund und Grenze trennt Kapitel 10.

Ein Circuit ist eine Gruppe verbundener Modellteile, die gemeinsam zu einem Verhalten beiträgt. Auf Deutsch verwendet dieses Buch dafür auch das Wort Schaltkreis. Ein belastbarer Befund beschreibt den Weg der Information und prüft ihn mit gezielten Eingriffen. Kapitel 12 erklärt diese Grenze.

Ein Chunk ist ein abgegrenzter Abschnitt eines Dokuments. RAG-Systeme speichern und suchen solche Abschnitte einzeln, bevor sie Treffer in den Kontext legen. Größe und Schnitt beeinflussen, ob eine gefundene Stelle vollständig und passend ist. Den Abrufweg erklärt Kapitel 13.

Cognitive Offloading bedeutet, geistige Arbeit an ein äußeres Hilfsmittel auszulagern. Das kann sinnvoll entlasten. Bei Lernaufgaben kann eine ungünstig gestaltete Hilfe aber die eigene Übung verringern. Die Abwägung steht in Kapitel 15.

Computer Vision ist das Teilgebiet der KI für die Verarbeitung von Bildern und Videos. Der hier belegte technische Fall ist die Bildklassifikation, bei der ein Modell ein ganzes Bild einer Kategorie zuordnet. Das breitere Feld erklärt Kapitel 3.

Compute ist ein Sammelbegriff für Rechenarbeit und verfügbare Rechenressourcen. Je nach Zusammenhang meint er eine gesamte Operationsmenge, eine Rechengeschwindigkeit, Chipzeit oder ein Geldbudget. Deshalb muss jede Angabe ihre Einheit und Messgrenze nennen. Diese Trennung führt Kapitel 19 aus.

Continual Learning bedeutet, ein Modell über eine Folge neuer Aufgaben oder Daten hinweg weiterzulernen. Ein Eintrag im Kontext oder externen Speicher verändert die Gewichte nicht. Echtes Nachtraining kann dafür ältere Fähigkeiten beeinträchtigen. Den Unterschied und das Problem des Vergessens erklärt Kapitel 22.

Datenkuratierung ist die gezielte Auswahl, Filterung, Bereinigung, Gewichtung und Mischung von Daten. Sie betrifft Trainingsbestände ebenso wie getrennte Prüfbestände und ihre Herkunft. Die Schritte und ihre Grenzen erklärt Kapitel 8.

Das Kontextfenster ist die technische Obergrenze für die Tokenpositionen, die ein Modell bei einem Aufruf verarbeitet. In diesem Platz konkurrieren Eingabe, Systemanweisung, Gesprächsteile, Dokumente, Werkzeugergebnisse und meist auch die mögliche Antwort. Die Anwendung entscheidet, was sie tatsächlich mitsendet, entfernt oder zusammenfasst. Den Unterschied zwischen Platz und zuverlässiger Nutzung erklärt Kapitel 5.

Ein kontextuelles Embedding ist der Zahlenvektor einer konkreten Tokenposition, nachdem das Modell ihren erlaubten Kontext verarbeitet hat. Derselbe Grundvektor kann dadurch in zwei Sätzen zu verschiedenen Darstellungen werden. Es entsteht während der Berechnung und ist kein neuer gespeicherter Modellparameter. Den Rechenweg erklärt Kapitel 6.

Cross-Attention ist Attention zwischen zwei verschiedenen Folgen von Darstellungen. Im ursprünglichen Transformer verarbeitet der Decoder damit beispielsweise die Ausgabe des Encoders. In multimodalen Modellen können auf ähnliche Weise Bilddarstellungen mit Text verbunden werden. Die Abgrenzung zu Self-Attention steht in Kapitel 7.

Eine CPU ist die zentrale Verarbeitungseinheit eines Computers. Dieses Buch trennt sie von GPU und anderen Beschleunigern, ohne aus dem Bauteilnamen eine allgemeine Leistungsaussage abzuleiten. Die Rollen der Hardware erklärt Kapitel 19.

Ein Decoder-only-Modell besteht aus einem Stapel von Transformer-Decoderblöcken für schrittweise Erzeugung. Eine kausale Maske begrenzt jede Position auf die bisherigen und die aktuelle Position. Viele erzeugende Sprachmodelle verwenden diese Grundform. Die Architektur ordnet Kapitel 7 ein.

Ein Dense Model nutzt für jedes Token grundsätzlich den vollständigen vorgesehenen Rechenweg durch seine Schichten. Ein Mixture-of-Experts-Modell wählt dagegen pro Token nur einen Teil seiner Expertenteilnetze aus. Gesamtparameter und aktiv verwendete Parameter sind deshalb verschieden. Den Vergleich erklärt Kapitel 19.

Deep Learning ist maschinelles Lernen mit neuronalen Netzen aus vielen aufeinanderfolgenden Rechenschichten. „Tief“ beschreibt diese Folge von Schichten und sagt nichts über Verstehen oder Zuverlässigkeit aus. Die historische Einordnung steht in Kapitel 2.

Ein Diffusionsmodell ist ein erzeugendes Modell, das eine schrittweise Umkehrung von hinzugefügtem Rauschen lernt. Bei der hier belegten Bilderzeugung beginnt es mit Rauschen und nähert daraus schrittweise ein Bild an. Den vereinfachten Ablauf zeigt Kapitel 3.

Distillation trainiert ein Schülermodell mit Ausgaben oder Wahrscheinlichkeiten eines Lehrermodells. Das Ziel ist oft ein kleineres Modell, das wichtige Verhaltensweisen übernimmt. Es übernimmt dadurch nicht automatisch jede Fähigkeit oder Grenze des Lehrers. Die betriebliche Abwägung steht in Kapitel 19.

DPO ist ein Verfahren zum Nachtraining mit Paaren aus bevorzugten und abgelehnten Antworten. Es optimiert das Sprachmodell direkt gegen diese Präferenzpaare und ein Referenzmodell. Dafür braucht das Grundverfahren weder ein separates Belohnungsmodell noch eine eigene Reinforcement-Learning-Schleife. Die Herleitung in Alltagssprache steht in Kapitel 9.

Drift ist eine Verschiebung von Eingaben, Daten oder Systemleistung im laufenden Betrieb. Dadurch können frühere Testergebnisse den aktuellen Prozess schlechter abbilden. Welche Signale beobachtet werden müssen, erklärt Kapitel 18.

Dropout ist ein Trainingsverfahren, das zufällig ausgewählte Aktivierungen vorübergehend auf null setzt. Das erschwert eine zu starke Abhängigkeit von einzelnen Recheneinheiten und kann Überanpassung verringern. Bei der normalen Nutzung wird Dropout ausgeschaltet. Sein Platz im Modellblock steht in Kapitel 7.

Ein Embedding ist eine gelernte Darstellung als Vektor, also als geordnete Liste von Zahlen. Es kann Tokens, Texte oder Bilder so in einen Zahlenraum einordnen, dass gelernte Beziehungen vergleichbar werden. Es ist keine vollständige Definition des dargestellten Inhalts. Diese Grenze erklärt Kapitel 6.

Ein Embedding-Modell übersetzt einen Text oder ein Bild in einen Vektor für Ähnlichkeitsvergleiche. Dafür braucht jede Datenform ein passend trainiertes Modell. Ein RAG-System kann ein Textmodell dieser Art für die semantische Suche nutzen. Die Abgrenzung zu einem erzeugenden Sprachmodell steht in Kapitel 6.

Der ELIZA-Effekt ist die Neigung, einer sprachfähigen Maschine mehr Verständnis oder innere Zustände zuzuschreiben, als ihr Verhalten belegt. Der Name verweist auf Joseph Weizenbaums regelbasiertes Gesprächsprogramm ELIZA von 1966. Programm und Wirkung ordnet Kapitel 2 ein.

Ein Eval ist ein geplanter Test eines Modells oder vollständigen KI-Systems. Für eine konkrete Anwendung braucht es typische Fälle, schwierige Grenzfälle, klare Bewertungsregeln und festgelegte Freigabebedingungen. Ein Modellbenchmark ersetzt diesen Systemtest nicht. Den Aufbau zeigt Kapitel 16.

Ein Expertensystem ist ein Programm, das ausdrücklich formuliertes Fachwissen als Regeln auf einen Fall anwendet. Seine Wissensbasis und Schlussregeln werden von Menschen aufgebaut und gepflegt, statt im normalen Betrieb aus großen Beispielsammlungen gelernt zu werden. Das historische Beispiel MYCIN steht in Kapitel 2.

Ein Feature ist ein erkennbares Merkmal oder Muster in einem inneren Modellzustand. Es kann mit bestimmten Eingaben oder Verhaltensweisen zusammenhängen und über viele Recheneinheiten verteilt sein. Beispiele allein beweisen weder eine eindeutige Bedeutung noch einen kausalen Einfluss. Die nötigen Prüfungen erklärt Kapitel 12.

Fine-Tuning ist weiteres Training eines bereits vortrainierten Modells. Dabei werden Gewichte für ein gewünschtes Verhalten oder eine bestimmte Aufgabe angepasst. Aktuelle Fakten gehören meist besser in eine Datenquelle als dauerhaft in neue Gewichte. Den Unterschied zeigt Kapitel 9.

FlashAttention ist ein Algorithmus für die exakte dichte Attention-Berechnung. Er zerlegt die Rechnung in kleine Kacheln und verringert dadurch Zugriffe auf langsameren GPU-Speicher. Die gelernte Attention-Funktion bleibt dabei gleich. Den Speicherweg erklärt Kapitel 7.

Ein FLOP ist eine Gleitkommaoperation, also eine Rechenoperation mit Zahlen in Gleitkommadarstellung. Die Gesamtzahl der FLOP beschreibt die Rechenarbeit. FLOP/s beschreibt dagegen die Rate solcher Operationen pro Sekunde. Warum beide Maße keine Qualität oder reale Auslastung belegen, erklärt Kapitel 19.

Ein Foundation Model ist ein breit vortrainiertes Modell, das als Grundlage für verschiedene nachgelagerte Anwendungen dienen kann. Es kann dafür angepasst oder zusammen mit Kontext, Datenquellen, Werkzeugen und Kontrollen in ein System eingebaut werden. Der Begriff und seine praktische Rolle stehen in Kapitel 8.

Ein GAN ist ein erzeugendes Modell aus zwei gegeneinander trainierten Netzen. Der Generator erzeugt Beispiele, während der Diskriminator echte Trainingsbeispiele von erzeugten unterscheiden soll. Die Rückmeldung verbessert den Generator, garantiert aber weder stabiles Training noch vielfältige Ausgaben. Den Platz neben anderen Modellfamilien zeigt Kapitel 3.

Ein GNN ist ein neuronales Netz für Graphen aus Knoten und Kanten. Jede Schicht bildet einen Knoten aus eigenen Angaben und Informationen seiner Nachbarn neu ab. Welche Beziehungen existieren, legt der gebaute Graph fest. Die Modellfamilie ordnet Kapitel 3 ein.

Eine GPU ist ein Prozessor für viele ähnliche Berechnungen parallel. Diese Bauart entstand für Grafik und passt auch zu großen Matrixoperationen neuronaler Netze. Die tatsächliche Eignung hängt von Modell, Zahlenformat, Speicher und Software ab. Die Rollen der Hardware erklärt Kapitel 19.

Governance bezeichnet die Regeln, Rollen und Kontrollen, mit denen eine Organisation ihre KI-Systeme steuert. Dazu gehören ein Systemverzeichnis, benannte Verantwortliche, abgestufte Freigaben, laufende Prüfungen und ein Vorfallweg. Ein Rahmenwerk kann diese Arbeit ordnen, beweist aber keine automatische Rechtskonformität. Die risikogerechte Staffelung zeigt Kapitel 18.

Grounding bedeutet hier, eine Antwort an bereitgestellte Quellen oder Daten zu binden. Das System soll Aussagen aus diesem Material ableiten und Fundstellen sichtbar machen. Die Antwort kann trotzdem falsch sein, wenn Abruf, Auslegung oder Quelle fehlerhaft sind. Den prüfbaren Anspruch erklärt Kapitel 13.

Ein Gradient ist die Sammlung lokaler Ableitungen des Loss nach den trainierbaren Parametern. Er zeigt für den aktuellen Batch und Modellzustand, in welche Richtung kleine Parameteränderungen den Loss zunächst verändern. Er weist keinem Gewicht eine alleinige Ursache oder Verantwortung zu. Die Rechnung erklärt Kapitel 8.

Gradient Boosting kombiniert viele meist kleine Entscheidungsbäume nacheinander. Jeder neue Baum lernt, einen Teil des Fehlers der bisherigen Folge zu korrigieren. Das Verfahren passt besonders zu vielen Tabellendaten, ist aber nicht für jede Aufgabe automatisch überlegen. Den Ablauf zeigt Kapitel 3.

Gradient Descent, auf Deutsch Gradientenabstieg, ist ein Optimierungsverfahren für kleine Schritte entgegen dem Gradienten. Im Training verändert es Parameter so, dass der aktuelle Loss lokal sinken soll. Ein einzelner Schritt garantiert weder das globale Optimum noch gute Leistung auf neuen Daten. Den praktischen Trainingsweg erklärt Kapitel 8.

Generalisierung bedeutet, gelernte Muster auf Daten anzuwenden, die nicht zur Anpassung verwendet wurden. Ein niedriger Trainings-Loss belegt das nicht, weil ein Modell Trainingsbeispiele auch memorisieren kann. Getrennte Validierungs- und Testdaten prüfen andere Teile dieser Übertragung. Den Unterschied zu Overfitting erklärt Kapitel 8.

Gewichte sind gelernte Zahlen, die Signale in einem neuronalen Netz skalieren und verbinden. Sie verändern sich im Training, bleiben bei einer gewöhnlichen Inferenz aber fest. Ein Modellpaket braucht zusätzlich Architektur, Tokenizer und Laufzeit, während Aktivierungen und KV-Cache erst beim Aufruf entstehen. Diese Grenze erklärt Kapitel 4.

GQA ist eine Attention-Variante, bei der Gruppen von Query-Köpfen jeweils einen Key- und Value-Kopf teilen. Gegenüber klassischer Multi-Head Attention sinkt damit die Zahl der im KV-Cache gespeicherten Köpfe. Qualität, Tempo und Speichergewinn hängen vom trainierten Modell und der Laufzeit ab. Die technische Einordnung steht in Kapitel 7.

Eine Halluzination ist in diesem Buch eine erfundene Einzelheit oder eine Behauptung, die nicht aus der bereitgestellten oder genannten Grundlage folgt. Der Begriff beschreibt ein beobachtbares Ausgabeproblem und keinen inneren Zustand des Modells. Rechenfehler, Unsicherheit und Streit über Bewertungen brauchen eigene Einordnungen. Ein vollständiges Beispiel zerlegt Kapitel 11.

HBM ist Speicher mit hoher Datenübertragungsrate nahe an einem Beschleuniger. Er hält beispielsweise Gewichte und laufende Zwischenwerte, damit der Chip weniger auf Daten wartet. Kapazität und Bandbreite sind konkrete Produkteigenschaften und bestimmen zusammen mit Modell, Zahlenformat und Software den möglichen Betrieb. Den Zusammenhang erklärt Kapitel 19.

Hybrid Search verbindet hier eine dichte Embedding-Suche mit einer wortbasierten Suche wie BM25. So kann sie sowohl ähnliche Bedeutungen als auch genaue Kennungen finden. Welche Mischung hilft, muss ein Team mit seinen Fragen und Dokumenten messen. Den Suchweg zeigt Kapitel 13.

Ein Holdout ist ein zurückgehaltener Testbestand, der während der Entwicklung nicht zur Anpassung von Modell, Prompt, Retrieval oder Regeln dient. Wiederholter Einblick kann Entscheidungen trotzdem an diesen Bestand anpassen. Deshalb braucht er begrenzte Freigabeläufe und später neue Fälle. Den Umgang damit erklärt Kapitel 16.

Ein Hyperparameter ist eine Einstellung für Training oder Modellaufbau, die nicht wie ein Gewicht aus den Trainingsbeispielen gelernt wird. Lernrate, Batchgröße und Zeitplan sind Beispiele. Teams wählen solche Werte vor oder zwischen Läufen und beurteilen sie auf getrennten Daten. Den Einfluss auf das Training erklärt Kapitel 8.

Idempotenz bedeutet, dass mehrere identische Aufrufe dieselbe beabsichtigte Wirkung haben wie ein einzelner. Sie ist eine Eigenschaft der technischen Operation, nicht jedes Werkzeugaufrufs und nicht des Prompts. Wiederholungen sind nur sicher, wenn die Operation idempotent oder durch einen eindeutigen Vorgangsschlüssel gegen Duplikate geschützt ist. Die betriebliche Umsetzung erklärt Kapitel 17.

Inferenz ist die Nutzung eines trainierten Modells, um aus einer Eingabe eine Ausgabe zu berechnen. Bei einem Sprachmodell verarbeitet die Laufzeit zuerst den Kontext und erzeugt danach neue Tokens schrittweise. Die Inferenz verändert die Gewichte normalerweise nicht und ist nur ein Teil der vollständigen Anwendung. Die Grenze zum Training erklärt Kapitel 4.

Ein Jailbreak ist ein gezielter Eingabeversuch, die Verhaltens- oder Sicherheitsgrenzen eines KI-Systems zu umgehen. Der Begriff beschreibt den Angriff, nicht seinen Erfolg. Post-Training, Filter und Anwendungskontrollen können ihn erschweren, aber keine einzelne Schicht deckt alle Eingaben ab. Die Schutzschichten ordnet Kapitel 9 ein.

Kalibrierung beschreibt, wie gut vorhergesagte Sicherheit oder Wahrscheinlichkeit mit der gemessenen Trefferquote vieler vergleichbarer Fälle übereinstimmt. Bei gut kalibrierten Vorhersagen mit 80 Prozent Sicherheit sollten langfristig ungefähr 80 Prozent richtig sein. Das macht keine einzelne Antwort wahr und eine frei formulierte Prozentzahl ist nicht automatisch kalibriert. Die Trennung erklärt Kapitel 11.

KDA ist Moonshot AIs lineare Attention-Variante mit einem begrenzten, fortgeschriebenen Zustand. Der ursprüngliche Kimi-Linear-Bericht beschreibt sie als verfeinerte Gated DeltaNet mit feinerer Steuerung dieses Zustands. Das ist eine anbieterspezifische Architektur und kein allgemeiner Befund über lineare Attention. Die technischen Grundlagen von Attention stehen in Kapitel 7.

Ein KI-System ist die vollständige Anwendung, die aus Eingaben Ausgaben oder Handlungen erzeugt. Es kann Modelle, Kontext, Datenquellen, Gedächtnis, Werkzeuge, Oberfläche, Laufzeit und Kontrollen verbinden. Das Modell ist darin ein Baustein und nicht die ganze Anwendung. Die Bestandteile zeigt Kapitel 4.

Künstliche Intelligenz ist ein Sammelbegriff für Computerverfahren, die Aufgaben wie Erkennen, Vorhersagen, Erzeugen oder Planen bearbeiten. Das Forschungsfeld war schon im Dartmouth-Antrag von 1955 breiter als ein einzelnes Verfahren. Wo gewöhnliche Automatisierung endet und KI beginnt, hängt von der verwendeten Definition ab. Die historische Einordnung steht in Kapitel 2.

Der KV-Cache ist ein Laufzeitspeicher für bereits berechnete Key- und Value-Vektoren früherer Tokens. Er spart bei der schrittweisen Erzeugung erneute Berechnungen, braucht aber mit längeren und parallelen Folgen mehr Speicher. Er ist kein Produktgedächtnis und verändert die Gewichte nicht. Die Abgrenzung zeigt Kapitel 4.

Layer Normalization normalisiert die Merkmale einer einzelnen Darstellung auf eine kontrollierte Größenordnung. Gelernte Skalierungs- und Verschiebungswerte lassen das Netz die passende Größe wieder anpassen. Im Transformer ist sie ein Architekturbaustein für einen trainierbaren tiefen Rechenweg, aber nicht jedes Modell nutzt dieselbe Variante oder Reihenfolge. Den Block zeigt Kapitel 7.

Die Lethal Trifecta ist Simon Willisons Risikofaustregel für Agentensysteme. Sie verbindet nicht vertrauenswürdige Inhalte, Zugriff auf private Daten und eine Möglichkeit zur äußeren Kommunikation oder Handlung. Die Regel zeigt eine gefährliche Angriffskette, ist aber weder ein Theorem noch ein vollständiges Sicherheitsmodell. Die drei Bedingungen erklärt Kapitel 17.

Ein LLM ist ein großes neuronales Sprachmodell, das Wahrscheinlichkeiten für Tokenfolgen berechnet. „Groß“ bezieht sich meist auf viele gelernte Parameter und sagt allein nichts über Eignung oder Zuverlässigkeit aus. Ein multimodales System kann ein LLM mit Bild- oder Audioteilen verbinden, bleibt aber mehr als dieses Sprachmodell. Die Modellgrenze erklärt Kapitel 4.

Ein Logit ist der rohe Punktwert, den ein Sprachmodell einem möglichen nächsten Token gibt. Softmax wandelt alle Logits einer Position in Wahrscheinlichkeiten um, die zusammen eins ergeben. Ein hoher Logit ist ein Vorhersagesignal und kein Wahrheitsbeleg. Den Rechenschritt zeigt Kapitel 8.

LoRA ist ein Verfahren für sparsames Fine-Tuning mit kleinen zusätzlichen Matrizen. Die ursprünglichen Modellgewichte bleiben eingefroren, während das Training die Adaptermatrizen anpasst. Das spart trainierbare Werte, aktualisiert aber wechselnde Fakten nicht automatisch zuverlässig. Die passende Verwendung erklärt Kapitel 9.

Ein LSTM ist ein wiederkehrendes neuronales Netz mit gesteuerten Speicherwegen. Seine Tore steuern, welche Information im fortgeschriebenen Zustand erhalten oder verändert wird. Es kann lange Abhängigkeiten besser lernen als damalige einfache RNNs, verarbeitet eine Folge aber weiterhin Schritt für Schritt. Den Unterschied zu Attention erklärt Kapitel 7.

Der Loss ist eine Zahl für die Abweichung zwischen Modellvorhersage und festgelegtem Trainingsziel. Das Training minimiert meist den mittleren Loss vieler Beispiele. Ein niedriger Wert belegt nur dieses Ziel und nicht automatisch Wahrheit, Nutzen oder Generalisierung. Die Rechnung erklärt Kapitel 8.

Mamba ist ein Sequenzmodell auf Grundlage selektiver Zustandsraummodelle. Es führt frühere Information in einem fortgeschriebenen Zustand und lässt dessen Auswahl von der Eingabe abhängen. Die Originalarbeit beschreibt einen Rechenweg ohne mit der Folge wachsenden KV-Cache, aber keinen allgemeinen Ersatz für Attention in jeder Aufgabe. Die Forschungsrichtung ordnet Kapitel 22 ein.

Maschinelles Lernen ist der Teil der KI, in dem ein Modell veränderbare Parameter aus Beispieldaten anpasst. Menschen legen weiterhin Daten, Ziel, Modellaufbau und Prüfung fest. Das unterscheidet Lernen aus Beispielen von einem Programm, dessen jede Entscheidungsregel einzeln ausgeschrieben ist. Den historischen Weg erklärt Kapitel 2.

MCP ist ein versioniertes Protokoll für Nachrichten zwischen KI-Anwendungen und externen Servern. In der geprüften Spezifikation vom 28. Juli 2026 können Server Ressourcen, Prompts und Werkzeuge über ein gemeinsames JSON-RPC-Format anbieten. Das Protokoll beschreibt diese Verbindung, erzwingt aber weder Vertrauen noch passende Rechte oder sichere Werkzeugaufrufe. Die betriebliche Grenze erklärt Kapitel 17.

Mechanistische Interpretierbarkeit untersucht interne Rechenschritte eines neuronalen Netzes. Sie versucht, beobachtbares Verhalten auf Merkmale, Schaltkreise und kausal geprüfte Informationswege zurückzuführen. Einzelne Fallstudien ergeben noch keine vollständige Karte eines großen Modells. Den Forschungsanspruch erklärt Kapitel 12.

MLA ist eine von DeepSeek im DeepSeek-V2-Bericht beschriebene Attention-Variante. Sie komprimiert Key- und Value-Informationen in eine kleinere latente Darstellung und soll dadurch den KV-Cache verkleinern. Der Anbieterbericht belegt den Aufbau seines Modells, nicht denselben Speichergewinn auf jeder Hardware und Laufzeit. Die betriebliche Einordnung steht in Kapitel 7.

Ein MLP ist ein vorwärtsgerichtetes neuronales Netz aus mehreren Rechenschichten. Im Transformer bezeichnet dieses Buch damit den Feedforward-Block, der jede Tokenposition getrennt verarbeitet, nachdem Attention Informationen zwischen Positionen gemischt hat. Spätere Modelle können gegatete Varianten statt des ursprünglichen Zweischichtblocks nutzen. Den Block zeigt Kapitel 7.

Ein Mixture-of-Experts-Modell teilt bestimmte Modellblöcke in mehrere Expertenteilnetze. Ein Router wählt für jedes Token nur einen Teil davon aus. So können Gesamtparameter und aktiv berechnete Parameter stark auseinanderliegen, während alle Experten gespeichert und erreichbar bleiben müssen. Den Vergleich mit dichten Modellen erklärt Kapitel 19.

Ein Modell ist hier der gelernte Rechenbaustein, der Muster auf eine Eingabe anwendet und eine Ausgabe berechnet. Seine Parameter stammen aus Training und Post-Training. Kontext, Werkzeuge, Oberfläche, Laufzeit und Kontrollen gehören zum umgebenden KI-System. Die Systemgrenze zeigt Kapitel 4.

Das Mooresche Gesetz ist eine historische Beobachtung und Prognose zur wachsenden Zahl wirtschaftlich integrierbarer Bauteile auf Chips. Gordon Moore formulierte 1965 zunächst eine jährliche und 1975 eine ungefähr zweijährige Entwicklung. Es ist kein Naturgesetz und beschreibt KI-Leistung nicht direkt. Den Hardwarekontext erklärt Kapitel 19.

Moravecs Paradox ist eine historische Rahmung für den Unterschied zwischen menschlicher und technischer Schwierigkeit. Formale Aufgaben wie Schach wurden für Computer früher beherrschbar als Wahrnehmung, Gleichgewicht oder sicheres Greifen, die Menschen leicht erscheinen. Das ist kein Naturgesetz und keine vollständige Rangliste von Fähigkeiten. Die Einordnung steht in Kapitel 22.

Multimodal bedeutet, dass ein Modell oder System mehrere Datenformen wie Text, Bild, Ton oder Video verarbeitet oder erzeugt. Es kann dafür ein gemeinsam trainiertes Modell oder mehrere verbundene Spezialmodelle verwenden. Eine gemeinsame Oberfläche beweist nicht, dass alle Datenformen im selben Modell verarbeitet werden. Die Varianten zeigt Kapitel 3.

Muon ist ein Optimierer für ausgewählte zweidimensionale Gewichtsmatrizen. Er glättet das Gradientensignal und orthogonalisiert die Update-Matrix mit Newton-Schulz-Schritten näherungsweise. Das Originalpapier schließt andere Parameter aus, und Moonshot setzte bei Kimi K2 die anbieterspezifische Variante MuonClip ein. Den Rechenweg erklärt Kapitel 8.

Next-Token Prediction ist die Aufgabe, aus bisherigen Tokens eine Wahrscheinlichkeitsverteilung für das nächste Token zu berechnen. Ein autoregressives Sprachmodell übt diese Aufgabe im Pretraining und nutzt sie später bei der schrittweisen Erzeugung. Die Verteilung bewertet mögliche Fortsetzungen und prüft nicht die Wahrheit einer Aussage. Den Trainingsschritt zeigt Kapitel 8.

Ein neuronales Netz ist ein Modell aus verbundenen Recheneinheiten und lernbaren Parametern. Im Training verändern Beispiele, Loss, Gradienten und ein Optimierer diese Parameter, statt dass Menschen jede Entscheidungsregel ausschreiben. Menschen legen trotzdem Daten, Ziel, Aufbau und Prüfung fest. Den Lernweg ordnet Kapitel 2 ein.

Open Source AI bezeichnet nach der Definition der Open Source Initiative ein KI-System, das du nutzen, untersuchen, verändern und weitergeben darfst. Dafür müssen auch die nötigen Informationen über Daten, Code und Parameter verfügbar sein. Zugängliche Gewichte allein erfüllen diese Definition nicht, und andere Rahmenwerke können den Begriff anders abgrenzen. Die Unterschiede erklärt Kapitel 20.

Open Weights bezeichnet ein Modell, dessen trainierte Gewichte zugänglich sind und heruntergeladen werden können. Damit kannst du das Modell je nach Lizenz selbst betreiben oder untersuchen. Trainingsdaten, Trainingscode, Architekturdetails und Nutzungsrechte können trotzdem fehlen oder eingeschränkt sein. Die Abgrenzung zu Open Source AI steht in Kapitel 20.

Ein Optimierer ist ein Trainingsalgorithmus, der Gradienten in Änderungen der Modellparameter übersetzt. AdamW und Muon sind zwei unterschiedliche Beispiele. Sein Ziel ist, den festgelegten Loss im Verlauf des Trainings zu verringern. Bei stochastischen Updates kann ein einzelner Schritt den gemessenen Loss dennoch erhöhen, und ein niedriger Trainings-Loss garantiert keine guten Ergebnisse auf neuen Daten. Den Ablauf zeigt Kapitel 8.

Ein Parameter ist ein Zahlenwert, den ein Modell im Training lernt. Bei neuronalen Netzen sind Gewichte und zusätzliche Bias-Werte typische Parameter. Während einer gewöhnlichen Inferenz bleiben sie fest, während Aktivierungen erst für die aktuelle Eingabe entstehen. Diese Trennung zeigt Kapitel 4.

Perplexität ist ein Maß dafür, wie viel Wahrscheinlichkeit ein Sprachmodell den tatsächlich folgenden Tokens gibt. Bei gleichem Datensatz, Tokenizer und Auswertungsweg bedeutet ein niedrigerer Wert eine bessere Tokenvorhersage. Der Wert misst weder die Hilfreichkeit eines Assistenten noch die Wahrheit seiner Antworten. Den Zusammenhang mit dem Loss erklärt Kapitel 8.

Persona bezeichnet hier ein wiederkehrendes, beobachtbares Antwortverhalten eines Assistenten. Post-Training und Anweisungen der Anwendung können etwa Anweisungsbefolgung oder Zustimmungstendenzen formen. Die vorhandenen Belege stützen keine allgemeine sprachliche Persona und keinen festen inneren Zustand oder eine menschliche Persönlichkeit. Die Entstehung des Produktverhaltens ordnet Kapitel 9 ein.

Polysemie bedeutet, dass ein Wort mehrere Bedeutungen hat. Ein statisches Wort-Embedding speichert für „Bank“ nur einen Vektor und trennt das Geldinstitut nicht vom Sitzmöbel. Kontextabhängige Darstellungen können die konkrete Verwendung unterscheiden, lösen aber nicht jede Mehrdeutigkeit. Den Unterschied zeigt Kapitel 6.

Polysemantik bedeutet, dass eine interne Recheneinheit oder Richtung auf mehrere unterschiedliche Merkmale reagiert. Die gleichen Modellteile können dadurch je nach Eingabe verschiedene Rollen übernehmen. Eine einzelne Aktivierung hat deshalb nicht automatisch eine eindeutige, dauerhaft benennbare Bedeutung. Den Forschungsstand erklärt Kapitel 12.

Post-Training ist der Sammelbegriff für Trainingsschritte nach dem breiten Pretraining. Dazu gehören beispielsweise Supervised Fine-Tuning, Präferenzoptimierung und Reinforcement Learning. Diese Schritte formen Antwortverhalten, Anweisungsbefolgung und bestimmte Fähigkeiten, lösen aber nicht jede Grenze des Basismodells. Den Ablauf erklärt Kapitel 9.

Pretraining ist die breite erste Trainingsphase eines Modells. Dabei lernt es statistische Muster aus großen Datenbeständen. Autoregressive Sprachmodelle nutzen dafür häufig die Vorhersage des nächsten Tokens, während andere Modellarten andere Trainingsziele verwenden. Den konkreten Sprachmodellfall zeigt Kapitel 8.

Ein Prompt ist die Eingabe, die eine Anwendung für eine Aufgabe an ein Modell sendet. Dazu können die sichtbare Frage, Anweisungen, Beispiele, Dokumente und weitere Kontextbestandteile gehören. Was tatsächlich im Prompt steht, hängt von der Anwendung ab, und gute Formulierungen ersetzen weder fehlende Daten noch fehlende Fähigkeiten. Den Aufbau erklärt Kapitel 14.

Prompt Injection ist ein Angriff, bei dem eingeschleuste Eingaben das Modell dazu bringen sollen, maßgebliche Anweisungen zu missachten oder ein fremdes Ziel zu verfolgen. Bei einer direkten Prompt Injection gibt der Angreifer die manipulierte Eingabe selbst ein. Bei einer indirekten Prompt Injection gelangt sie über externe Inhalte wie Webseiten oder Dokumente in den Kontext. Ein unbeabsichtigter Anweisungskonflikt ist kein Angriff, und Zugriff auf private Daten oder Werkzeuge erhöht den möglichen Schaden. Die Angriffskette erklärt Kapitel 17.

PUE ist das Verhältnis zwischen dem gesamten Energieverbrauch eines Rechenzentrums und dem Energieverbrauch seiner IT-Geräte. Ein Wert nahe eins bedeutet, dass neben der IT vergleichsweise wenig zusätzliche Energie anfällt. Die Kennzahl beschreibt weder Strommix und Wasserverbrauch noch die geleistete Rechenarbeit. Messgrenzen und Nutzen erklärt Kapitel 19.

Quantisierung bedeutet, Modellwerte mit weniger Bits zu speichern oder zu berechnen. Dadurch sinken häufig Speicherbedarf und Rechenaufwand. Geschwindigkeit und Qualität hängen aber vom Verfahren, Modell, Zahlenformat, Chip und Laufzeitprogramm ab. Die praktische Abwägung steht in Kapitel 19.

Query, Key und Value sind drei gelernte Projektionen einer Attention-Berechnung. Die Ähnlichkeit von Query und Key bestimmt die Gewichte zwischen Positionen. Mit diesen Gewichten mischt das Modell die zugehörigen Value-Vektoren, wobei andere Attention-Varianten den Rechenweg verändern können. Die drei Rollen erklärt Kapitel 7.

RAG ist ein Verfahren, das vor der Antwort Inhalte aus einer externen Wissensquelle sucht und dem Modell als Kontext gibt. So kann ein System aktuelle oder interne Dokumente nutzen, ohne die Modellgewichte zu verändern. Unpassende Treffer, schlechte Textabschnitte oder eine falsche Auslegung bleiben mögliche Fehlerquellen. Die Abgrenzung zu langem Kontext und Werkzeugen steht in Kapitel 13.

Red Teaming ist die geplante Suche nach Schwachstellen eines KI-Systems durch gezielte Angriffe und schwierige Testfälle. Die Prüfer versuchen beispielsweise, unerwünschte Antworten, Umgehungen oder gefährliche Werkzeugwege auszulösen. Die gefundenen Fehler zeigen konkrete Lücken, beweisen aber keine Sicherheit gegen alle späteren Angriffe. Den Platz im Post-Training erklärt Kapitel 9.

Ein Reasoning-Modell ist ein Modell, das für manche Aufgaben zusätzliche Zwischenschritte oder Suchwege erzeugt und auswertet, bevor es antwortet. Dieses Verhalten kann durch Training oder mehr Rechenaufwand während der Inferenz entstehen. Der Begriff hat keine einheitliche technische Grenze und sagt nichts über Bewusstsein aus. Die Verfahren trennt Kapitel 10.

Reinforcement Learning ist ein Lernverfahren, bei dem ein System durch Belohnungen aus einer Umgebung eine Handlungsstrategie anpasst. Beim Post-Training können auch erzeugte Antworten als Handlungen und Bewertungen als Belohnung dienen. Das Verfahren optimiert das festgelegte Signal, das vom eigentlich gewünschten Verhalten abweichen kann. Den Sprachmodellfall erklärt Kapitel 9.

Reranking ist die zweite Bewertungsstufe einer Suche. Ein erstes Verfahren sammelt Kandidaten, danach sortiert ein genaueres Modell diese kleinere Liste neu. Das kann die Rangfolge verbessern, wenn Modell und Daten zur Aufgabe passen. Den Platz in der Retrieval-Kette zeigt Kapitel 13.

Eine Residual Connection ist eine Verbindung, die den Eingang eines Modellblocks zu dessen berechnetem Ergebnis addiert. Dadurch bleibt ein direkter Pfad für Informationen und Gradienten erhalten, was das Training tiefer Netze erleichtern kann. Architektur und Reihenfolge mit der Normalisierung unterscheiden sich zwischen Modellen. Den Rechenweg zeigt Kapitel 7.

Ein Reward Model ist ein Belohnungsmodell, das aus bewerteten Vergleichen lernt, Antworten mit einer Zahl einzuschätzen. Reinforcement Learning kann dieses Signal anschließend für das Post-Training nutzen. Der Wert ist ein gelernter Stellvertreter für die erhobenen Kriterien und kein Maß für Wahrheit oder alle menschlichen Ziele. Den Aufbau erklärt Kapitel 9.

Retrieval ist die Suche nach relevanten Informationen in einer Wissensquelle. Ein System kann dafür Wörter, Embeddings oder mehrere Suchwege verbinden und die Treffer danach neu sortieren. In RAG geschieht der Abruf vor der Antwort, garantiert aber weder passende Quellen noch eine richtige Auslegung. Die Schritte zeigt Kapitel 13.

RLHF ist eine Familie von Post-Training-Verfahren, die menschliche Rückmeldungen in ein Belohnungssignal übersetzen. Ein verbreiteter Aufbau sammelt Antwortvergleiche, trainiert daraus ein Reward Model und passt das Sprachmodell mit Reinforcement Learning an. Das Ergebnis hängt von den ausgewählten Personen, Beispielen und Kriterien ab. Den Ablauf erklärt Kapitel 9.

RLAIF ist Reinforcement Learning mit Bewertungen, die ein anderes KI-Modell erzeugt. Das bewertende Modell wendet dafür vorgegebene Prinzipien auf mehrere Antworten an und liefert Präferenzdaten für ein Belohnungssignal. Menschen bestimmen weiterhin Prinzipien, Daten, technische Grenzen und Prüfverfahren. Den konkreten Aufbau zeigt Kapitel 9.

RLVR ist Reinforcement Learning mit automatisch überprüfbaren Belohnungen. Ein korrektes Ergebnis in einer Mathematikaufgabe kann beispielsweise ein klares Signal liefern. Für offene Urteile ohne verlässliches Prüfverfahren eignet sich dieser Ansatz nicht auf dieselbe Weise. Die Grenze erklärt Kapitel 9.

Ein RNN ist ein wiederkehrendes neuronales Netz, das eine Folge Schritt für Schritt verarbeitet. Nach jedem Element schreibt es einen internen Zustand fort und nutzt ihn beim nächsten Schritt. Dieser enge Zustand kann lange Abhängigkeiten erschweren, und die schrittweise Verarbeitung begrenzt die Parallelität. Den Vergleich mit Attention beginnt Kapitel 7.

Ein Rollback ist die Rückkehr zu einer früher geprüften Version oder einem bekannten Betriebszustand. Dafür muss ein Team Modelle, Prompts, Datenquellen, Werkzeuge und Konfigurationen nachvollziehbar versionieren. Bereits versendete Nachrichten, Zahlungen oder andere reale Handlungen macht ein Rollback nicht automatisch rückgängig. Den Vorfallweg erklärt Kapitel 18.

RoPE ist ein Verfahren, das Positionsinformationen durch Drehungen von Query- und Key-Vektoren in die Attention-Berechnung einbringt. Der Drehwinkel hängt von der Tokenposition ab und verändert dadurch die berechneten Beziehungen zwischen Positionen. Varianten können Frequenzen und nutzbare Längen anders behandeln. Den Grundgedanken erklärt Kapitel 7.

Sampling ist die Auswahl des nächsten Tokens aus der berechneten Wahrscheinlichkeitsverteilung. Einstellungen wie Temperature oder eine Begrenzung auf wahrscheinliche Kandidaten verändern diese Auswahl. Das beeinflusst Vielfalt und Wiederholbarkeit, garantiert aber selbst bei gleicher Eingabe keinen identischen vollständigen Lauf. Mehrere erzeugte Wege behandelt Kapitel 10.

Scaling Laws sind empirische Beziehungen zwischen dem Trainings-Loss und Größen wie Parameterzahl, Datenmenge oder Rechenaufwand. Forschende passen solche Beziehungen an Messwerte einer bestimmten Modellfamilie und eines bestimmten Trainingsaufbaus an. Sie beschreiben Trends innerhalb dieser Bedingungen und garantieren keine einzelne praktische Fähigkeit. Die Einordnung steht in Kapitel 8.

Self-Attention ist Attention, bei der Query, Key und Value aus derselben Folge von Darstellungen stammen. So kann jede erlaubte Position Informationen anderer Positionen derselben Folge gewichten und mischen. Eine kausale Maske kann den Blick auf spätere Tokens sperren, ist aber nicht Teil jeder Self-Attention. Den Rechenweg zeigt Kapitel 7.

SFT ist ein Nachtraining mit vorgegebenen Eingaben und gewünschten Antworten. Das Modell lernt, die gezeigten Antwortmuster für ähnliche Eingaben fortzusetzen. Fehler, Lücken und einseitige Auswahl in den Demonstrationen können sich im Verhalten wiederfinden. Die Methode erklärt Kapitel 9.

Softmax ist eine Funktion, die eine Liste von Zahlen in positive Anteile umwandelt, die zusammen eins ergeben. Transformer nutzen sie beispielsweise für Attention-Gewichte und Wahrscheinlichkeiten des nächsten Tokens. Ein hoher Anteil beschreibt die Modellrechnung und ist kein Beleg für Wahrheit oder gute Kalibrierung. Die Funktion erklärt Kapitel 7.

Ein Sparse Autoencoder ist ein Hilfsmodell, das Aktivierungen in viele dünn besetzte Merkmale übersetzt und daraus wieder annähert. Pro Eingabe sollen nur wenige dieser Merkmale aktiv sein. Das kann innere Muster besser untersuchbar machen, liefert aber keine vollständige oder automatisch richtige Erklärung des Sprachmodells. Die Methode zeigt Kapitel 12.

Ein State-Space-Modell ist ein Sequenzmodell, das frühere Informationen in einem fortlaufend aktualisierten Zustand zusammenfasst. Moderne Varianten wie Mamba steuern diesen Zustand abhängig von der Eingabe und brauchen keinen mit jeder Position wachsenden KV-Cache. Der begrenzte Zustand kann Informationen verlieren, und das Verfahren ersetzt Attention nicht in jeder Aufgabe. Die Forschungsrichtung ordnet Kapitel 22 ein.

Superposition ist ein Forschungsbegriff für überlagerte Merkmale in einem gemeinsamen Repräsentationsraum. Ein Netz kann dadurch mehr Merkmale abbilden, als unabhängige Dimensionen verfügbar sind. Der Mechanismus ist in vereinfachten Modellen gut zu untersuchen, sein Umfang in großen Sprachmodellen bleibt aber eine Forschungsfrage. Kapitel 12 erklärt den Zusammenhang mit Polysemantik.

Als synthetische Daten bezeichnet dieser Eintrag von Modellen erzeugte Beispiele, die zum Training weiterer Modelle dienen. Sie können neue Trainingsbeispiele bereitstellen, übernehmen aber mögliche Fehler und Auswahlverzerrungen des erzeugenden Verfahrens. Wiederholtes ungeprüftes Training auf Modellausgaben kann seltene Muster verdrängen. Simulationen sowie synthetische Test- oder Bewertungsdaten sind breitere Fälle, die diese Belege nicht abdecken. Nutzen und Grenze behandelt Kapitel 22.

Sycophancy ist die Tendenz eines Modells, der Sicht des Nutzers zuzustimmen, obwohl eine kritischere oder sachlich andere Antwort angemessener wäre. Präferenzdaten können dieses Verhalten fördern, wenn zustimmende Antworten häufiger positiv bewertet werden. Nicht jede Zustimmung ist Sycophancy, und der Befund hängt von Modell, Frage und Bewertung ab. Die Grenze erklärt Kapitel 9.

System Prompt ist ein anbieterspezifischer Name für eine Anweisung außerhalb der normalen Nutzernachrichten. In der Messages API von Anthropic kann eine Anwendung dafür den Parameter system setzen. Nach der OpenAI Model Spec vom 12. September 2025 stammen Systemanweisungen dagegen von OpenAI, während Anwendungsentwickler Developer-Nachrichten verwenden, die über User-Nachrichten stehen. Diese Rollen lassen sich nicht unverändert zwischen Anbietern übertragen und bilden keine verlässliche Sicherheitsgrenze gegen Prompt Injection. Den Aufbau ordnet Kapitel 14 ein.

Temperature ist eine Einstellung, die die Verteilung der möglichen nächsten Tokens vor dem Sampling abflacht oder zuspitzt. Ein höherer Wert verteilt mehr Wahrscheinlichkeit auf weniger wahrscheinliche Tokens, ein niedrigerer Wert bündelt sie stärker. Weitere Sampling-Regeln, Startwerte und die Laufzeit beeinflussen die Ausgabe ebenfalls, deshalb garantiert ein niedriger Wert keine vollständige Wiederholbarkeit. Den Einsatz zeigt Kapitel 10.

Ein Token ist eine Einheit, in die ein Tokenizer Text für ein Modell zerlegt. Je nach Vokabular kann es ein Wort, einen Wortteil, ein Satzzeichen, ein Byte oder eine andere Zeichenfolge darstellen. Deshalb entsprechen Tokens nicht zuverlässig Wörtern und unterscheiden sich zwischen Tokenizern. Den Einstieg gibt Kapitel 5.

Eine Token-ID ist die Nummer eines Tokens im Vokabular des Tokenizers. Das Modell nutzt diese Nummer, um den passenden Eintrag seiner Embedding-Tabelle zu finden. Die Nummer selbst ist nur ein Verweis und trägt keine feste semantische Bedeutung. Den Rechenweg zeigt Kapitel 5.

Ein Tokenizer ist ein Programm mit einem Vokabular und Regeln zur Zerlegung von Text. Er wandelt Text in Token-IDs um und setzt Token-IDs wieder zu Text zusammen. Verschiedene Tokenizer zerlegen denselben Satz unterschiedlich, deshalb sind Tokenzahlen nur mit dem passenden Vokabular vergleichbar. Den Vorgang erklärt Kapitel 5.

Werkzeugnutzung bedeutet, dass ein Modell eine strukturierte Anfrage zur Nutzung eines bereitgestellten Werkzeugs erzeugt. OpenAI nennt solche Modellantworten Function Calls oder Tool Calls, Anthropic gibt sie als Blöcke vom Typ tool_use aus. Die Anwendung prüft den Vorschlag, führt clientseitige Werkzeuge aus und gibt das Ergebnis an das Modell zurück. MCP beschreibt eine andere Schicht: Ein Client entdeckt Serverwerkzeuge mit tools/list und ruft sie mit tools/call auf, das Protokoll standardisiert aber nicht die Modellausgabe. Den Ablauf zeigt Kapitel 17.

Ein Trainings-Cutoff ist der späteste angegebene Zeitpunkt, bis zu dem Daten für eine bestimmte Trainingsphase gesammelt wurden. Quellen im Bestand können trotzdem aus sehr unterschiedlichen Zeiten stammen, und späteres Post-Training kann weitere Daten einbringen. Der Cutoff ist deshalb keine scharfe Wissensgrenze, während Retrieval und Werkzeuge aktuellere Informationen liefern können. Die Grenze erklärt Kapitel 11.

Ein Transformer ist eine neuronale Architektur aus Attention, vorwärtsgerichteten Teilnetzen, Residualverbindungen und Normalisierung. Viele Sprachmodelle stapeln solche Blöcke und verwenden eine kausale Maske für die schrittweise Erzeugung. Spätere Modelle verändern einzelne Bausteine oder verbinden Transformer mit anderen Architekturen. Den vollständigen Block zeigt Kapitel 7.

Trainings-, Validierungs- und Testdaten sind getrennte Bestände mit verschiedenen Aufgaben. Trainingsdaten passen die Gewichte an, Validierungsdaten helfen bei der Auswahl von Einstellungen und Zwischenständen, und Testdaten prüfen das fertige Verfahren möglichst unabhängig. Wiederholte Einsicht in den Testbestand kann Entwicklungsentscheidungen an ihn anpassen und seine Aussagekraft mindern. Die Trennung erklärt Kapitel 8.

Überanpassung ist ein Zustand, in dem ein Modell auf seinen Trainingsdaten gut und auf neuen vergleichbaren Daten deutlich schlechter abschneidet. Das Modell hat dann Eigenheiten des Trainingsbestands gelernt, die sich nicht ausreichend übertragen. Getrennte Prüfbestände helfen bei der Erkennung, bilden aber nur ihre jeweilige Datenverteilung ab. Den Unterschied zur Generalisierung erklärt Kapitel 8.

Eine Umgebung ist im Reinforcement Learning der Teil des Aufbaus, mit dem das lernende System interagiert. Sie verarbeitet Handlungen und liefert neue Beobachtungen sowie Belohnungen zurück. Menschen gestalten diesen Ausschnitt und das Belohnungssignal, das die gewünschte reale Wirkung unvollständig abbilden kann. Den Sprachmodellfall zeigt Kapitel 9.

Ein Vektor ist eine geordnete Liste von Zahlen. KI-Modelle nutzen Vektoren beispielsweise für Tokens, Textabschnitte oder interne Zustände und rechnen mit Abständen oder Richtungen zwischen ihnen. Eine einzelne Koordinate besitzt dabei meist keine einfache, dauerhaft lesbare Bedeutung. Die Grundlage erklärt Kapitel 6.

Eine Vektordatenbank ist ein System zum Speichern, Indexieren und Durchsuchen großer Vektorsammlungen. Sie findet Einträge mit geringer Distanz oder hoher Ähnlichkeit zu einem Anfragevektor und kann so eine semantische Suche unterstützen. Datenbankfunktionen unterscheiden sich zwischen Produkten, und ein naher Vektor ist nicht automatisch relevant oder wahr. Den Einsatz in Retrieval erklärt Kapitel 13.

Ein Verifier bezeichnet hier ein gelerntes Modell, das beim Reasoning eines Sprachmodells eine mathematische Endantwort oder einen Lösungsschritt bewertet. Ein Ergebnisprüfer bewertet die Endantwort, ein Prozessprüfer einzelne Schritte. Sein Urteil ist aus Beispielen gelernt und kann Fehler übersehen oder falsche Anreize setzen. Programme, formale Verfahren und Menschen sind breitere Prüferklassen, die diese Belege nicht abdecken. Die Rolle in Reasoning-Verfahren erklärt Kapitel 10.

Eine Wertfunktion ist im Reinforcement Learning eine gelernte Schätzung der künftig erwarteten Belohnung. Sie bewertet einen Zustand oder ein Paar aus Zustand und Handlung und kann damit die Auswahl weiterer Schritte lenken. Die Schätzung hängt vom gelernten Modell und Belohnungssignal ab und ist keine Garantie für den tatsächlichen Ausgang. Den Einsatz bei Suchverfahren zeigt Kapitel 10.

Ein Weltmodell ist eine gelernte interne Darstellung von Objekten, Beziehungen und möglichen Veränderungen einer Umgebung. Ein System kann damit Folgen von Handlungen abschätzen oder Erfahrungen in einer vereinfachten Umgebung erzeugen. Enge Studien zeigen solche Darstellungen für einzelne Aufgaben, belegen aber kein allgemeines zuverlässiges Weltmodell heutiger Sprachmodelle. Den offenen Forschungsstand beschreibt Kapitel 12.

Ein Zeitreihenmodell ist ein Modell für Messwerte in zeitlicher Reihenfolge. Es nutzt frühere Werte und ihre Abstände, um je nach Aufgabe Muster, Ausreißer oder mögliche zukünftige Verläufe zu schätzen. Ändert sich der zugrunde liegende Prozess, können Beziehungen aus der Vergangenheit unbrauchbar werden. Die Modellfamilie ordnet Kapitel 3 ein.