Wie ein Modell lernt: Pretraining

Ein Trainingsbeispiel: das nächste Token vorhersagen

Nimm den Satzanfang „Der Himmel ist“. Das Modell bekommt diese drei Wörter nicht als Wörter, sondern als Tokens. Das sind die Textbausteine aus Kapitel 5. Für die nächste Position berechnet es zu jedem Token im Vokabular eine Punktzahl. Diese rohen Punktzahlen heißen Logits. Eine Softmax-Funktion macht daraus Wahrscheinlichkeiten, die zusammen eins ergeben. „blau“ könnte 48 Prozent erhalten, „klar“ 16 Prozent und „grün“ weniger als ein Prozent.

Im Trainingsdatensatz steht nach diesem Satzanfang tatsächlich „blau“. Damit ist das richtige Ziel bereits vorhanden. Niemand muss Millionen Sätze von Hand beschriften. Das Modell gewinnt sein Lernsignal aus der Reihenfolge der Daten. Dieses Verfahren heißt selbstüberwachtes Lernen. Das konkrete Ziel heißt Next-Token Prediction, also Vorhersage des nächsten Tokens.

Ein Text mit tausend Tokens liefert nicht nur ein Beispiel. Er liefert fast tausend Vorhersageziele. Das Modell soll nach jedem bisherigen Teil das jeweils folgende Token vorhersagen. Aus sehr vielen Texten entstehen so Billionen einzelner Lerngelegenheiten. Das ist Pretraining. Ein Modell wird breit auf großen Datenmengen vortrainiert, bevor es für das Verhalten eines Assistenten nachtrainiert wird.

Die Aufgabe wirkt schmal. Sie verlangt immer nur das nächste Token. Um sie über viele Texte hinweg besser zu lösen, muss das Modell jedoch regelmäßige Beziehungen in den Daten abbilden. Dazu gehören Grammatik, Schreibweisen, typische Argumentationsmuster, Programmstrukturen und Zusammenhänge zwischen Begriffen. Diese Muster werden nicht als Liste einprogrammiert. Sie entstehen durch wiederholte Änderungen an den Parametern, also den veränderlichen Zahlen im Modell.

Das Pretraining ist trotzdem keine Datenbankbefüllung. Bei einer späteren Antwort sucht das Modell nicht automatisch den passenden Trainingssatz heraus. Es berechnet eine neue Tokenfolge mit den gelernten Parametern. Einzelne Passagen kann es dennoch memorisieren, also in einer Form auswendig lernen. Darauf kommen wir bei der Datenkuratierung zurück.

Der Loss macht den Fehler zu einer Zahl

Für eine Anpassung reicht die Rangfolge der Tokens nicht. Das Training braucht eine Zahl, die ausdrückt, wie gut die Verteilung zum richtigen nächsten Token passt. Diese Zahl heißt Verlustwert oder Loss. Bei Sprachmodellen wird meist die Kreuzentropie verwendet.

Entscheidend ist die Wahrscheinlichkeit, die das Modell dem tatsächlich folgenden Token gegeben hat. Erhält „blau“ 90 Prozent, ist der Loss klein. Erhält es nur 5 Prozent, ist der Loss deutlich größer. Vereinfacht entspricht der Beitrag eines Ziels dem negativen Logarithmus seiner Wahrscheinlichkeit. Deshalb wird eine selbstsichere falsche Vorhersage stärker bestraft als eine unsichere.

Der Loss eines Batches fasst viele solcher Tokenziele zusammen. Ein Batch ist ein Stapel von Beispielen, die gemeinsam verarbeitet werden. Der gemittelte Wert sagt, wie schlecht die aktuellen Vorhersagen auf diesem Stapel waren. Er sagt noch nicht, ob eine Antwort nützlich, wahr oder höflich ist. Er misst zunächst nur die Leistung am festgelegten Trainingsziel.

Aus der Kreuzentropie lässt sich die Perplexität berechnen. Sie ist der Exponentialwert der mittleren Kreuzentropie. Eine niedrigere Perplexität bedeutet, dass das Modell den tatsächlich folgenden Tokens im Mittel mehr Wahrscheinlichkeit gibt. Ein Wert von 10 wird manchmal als effektive Auswahl zwischen zehn Möglichkeiten erklärt. Das ist nur eine Anschauung. Das Vokabular ist viel größer und die Wahrscheinlichkeiten sind nicht gleich verteilt. Werte sind außerdem nur sinnvoll vergleichbar, wenn Tokenizer und Auswertungsdaten zusammenpassen.

Der Loss verdichtet viele Fehler zu einer handhabbaren Kennzahl. Dabei gehen Details verloren. Zwei Modelle können denselben mittleren Loss haben und sich bei einzelnen Themen stark unterscheiden. Für ein Unternehmen ist die Kennzahl daher ein Trainingssignal, kein vollständiger Qualitätsnachweis.

Gradienten zeigen eine Änderungsrichtung

Nach dem ersten Durchlauf ist der Loss bekannt. Nun stellt sich für jeden Parameter eine praktische Frage: Würde eine winzige Änderung den Loss erhöhen oder senken, und wie stark wäre dieser lokale Effekt?

Die Antwort liefert der Gradient. Er besteht aus Ableitungen des Loss nach den Parametern. Eine Ableitung beschreibt hier die lokale Steigung. Ist sie für einen Parameter positiv, senkt eine kleine Bewegung in die Gegenrichtung den Loss unter den aktuellen Bedingungen. Ist ihr Betrag groß, reagiert der Loss lokal stärker. Ist er klein, reagiert er schwächer.

Der Gradient zeigt damit eine Änderungsrichtung im sehr großen Parameterraum. Er erklärt nicht wörtlich, welcher Parameter für einen Fehler „verantwortlich“ ist. Ein Parameter wirkt zusammen mit vielen anderen, und die Ableitung gilt für den aktuellen Batch und den aktuellen Zustand des Modells. Schon nach einem Update kann die lokale Landschaft anders aussehen.

Das Bild eines Wanderers am Hang hilft trotzdem. Er sieht nicht das ganze Gebirge. Er misst die Steigung an seinem Standort und macht einen begrenzten Schritt bergab. Beim Modell hat dieses Gebirge Milliarden Dimensionen. Der Gradient fasst die lokalen Steigungen für alle trainierbaren Parameter zusammen.

Auch ein genauer Gradient verspricht keinen direkten Weg zum bestmöglichen Modell. Die Loss-Landschaft ist komplex. Richtungen können sich zwischen Batches ändern. Manche Parameterkombinationen liegen in flachen Bereichen, andere reagieren empfindlich. Training ist deshalb eine lange Folge kleiner, statistischer Verbesserungen und kein einmaliger Lösungsschritt.

Backpropagation rechnet den Weg rückwärts

Der Transformer aus Kapitel 7 besteht aus vielen verketteten Rechenschritten. Embeddings fließen durch Attention, MLP-Blöcke und Normalisierung. Am Ende entstehen Logits und daraus der Loss. Um alle Ableitungen effizient zu berechnen, verwendet das Training Backpropagation.

Backpropagation geht den Rechenweg vom Loss aus rückwärts durch. Grundlage ist die Kettenregel. Sie verbindet die lokale Ableitung eines Schritts mit den Ableitungen der folgenden Schritte. So lässt sich berechnen, wie eine kleine Änderung an einer früheren Matrix den späteren Loss beeinflussen würde.

In Erklärungen ist oft von einer rückwärts verteilten „Schuld“ die Rede. Das ist eine Metapher. Backpropagation weist weder Bedeutung noch Verantwortung zu. Das Verfahren multipliziert und summiert Ableitungen entlang des gespeicherten Rechengraphen. Der Rechengraph beschreibt, welche Operationen beim Vorwärtslauf voneinander abhingen.

Dieser Rückwärtslauf braucht viel Speicher. Viele Zwischenergebnisse des Vorwärtslaufs werden für die Ableitungen benötigt. Trainingssysteme speichern sie oder berechnen ausgewählte Teile erneut. Deshalb ist das Training desselben Modells wesentlich aufwendiger als eine einzelne Inferenz. Inferenz heißt, dass ein bereits trainiertes Modell eine Ausgabe berechnet. Dabei werden normalerweise keine Gradienten für ein Gewichtsupdate erzeugt.

Am Ende von Backpropagation liegt für jeden trainierbaren Parameter ein Gradient vor. Geändert ist noch nichts. Erst der nächste Schritt übersetzt diese Gradienten in ein Update der Gewichte.

Optimierer, Lernrate, Batches und viele kleine Schritte

Ein Optimierer ist das Verfahren, das aus Gradienten konkrete Parameteränderungen berechnet. Einfacher Gradientenabstieg bewegt jeden Parameter entgegen seinem Gradienten. In der Praxis verwenden große Sprachmodelle häufig AdamW. AdamW führt geglättete Verläufe vergangener Gradienten und ihrer Quadrate. Dadurch passt es die Schrittgröße für einzelne Parameter an. Zusätzlich behandelt es Weight Decay getrennt. Weight Decay zieht Gewichte in kontrollierter Form in Richtung kleinerer Werte und dient auch als Regularisierung.

Die Lernrate legt die allgemeine Größenordnung eines Updates fest. Eine zu hohe Lernrate kann den Loss springen lassen oder einen Lauf instabil machen. Eine zu niedrige Lernrate verbraucht viel Rechenzeit für winzige Fortschritte. Meist folgt sie einem Zeitplan. Sie steigt am Anfang vorsichtig an und sinkt später. Optimierer, Lernrate, Batchgröße und Zeitplan sind Hyperparameter. Das sind Einstellungen, die nicht als Modellgewicht gelernt werden.

Ein Batch enthält viele Tokenfolgen. Sein Gradient ist ein Mittelwert über viele Vorhersageziele. Kleine Batches liefern schwankendere Schätzungen. Größere Batches können die Hardware besser auslasten und die Schätzung stabilisieren. Der Nutzen wächst jedoch nicht unbegrenzt. Sehr große Batches brauchen mehr Speicher und können zusätzliche Daten nicht beliebig durch noch mehr Parallelität ersetzen.

Der Trainingszyklus lautet nun: Batch laden, Vorhersagen berechnen, Loss bestimmen, Gradienten mit Backpropagation berechnen, Gewichte mit dem Optimierer aktualisieren. Danach beginnt der nächste Schritt mit leicht veränderten Parametern. Ein einzelnes Update bewirkt wenig. Aus sehr vielen Updates entsteht das trainierte Modell.

Abbildung 7: Die vereinfachte Trainingsschleife. Backpropagation berechnet lokale Ableitungen, keine wörtliche Verantwortung. Der Optimierer aktualisiert die Gewichte. Datenmenge, Modellgröße und Rechenaufwand beeinflussen den Lauf gemeinsam, bilden aber kein allgemeines Erfolgsgesetz.

Ein vollständiger Durchgang durch einen festen Datensatz heißt Epoche. Bei großen Sprachmodellen ist der Begriff weniger eindeutig. Quellen werden gemischt, unterschiedlich gewichtet und teilweise wiederholt. Teams planen solche Läufe daher oft in Tokens und Optimierungsschritten. Kontrollen prüfen dabei unter anderem den Loss, die Gradienten, die Auslastung und numerische Auffälligkeiten. Ein abgebrochener Lauf kann über gespeicherte Zwischenstände fortgesetzt werden.

Trainings-, Validierungs- und Testdaten

Nicht alle Daten dürfen dieselbe Rolle spielen. Trainingsdaten verändern die Gewichte. Das Modell sieht sie während der Optimierung. Validierungsdaten verändern die Gewichte nicht direkt. Teams nutzen sie während der Entwicklung, um Lernraten, Datenmischungen und Zwischenstände zu vergleichen. Diese Auswahl wirkt jedoch indirekt auf das fertige System. Wer hundert Varianten anhand desselben Validierungssatzes auswählt, passt seine Entscheidungen an genau diesen Satz an.

Testdaten sollen bis zur abschließenden Bewertung zurückgehalten werden. Sie prüfen, wie gut das gewählte Verfahren auf nicht für die Entwicklung genutzte Beispiele überträgt. Bei Sprachmodellen sind das oft mehrere Sammlungen für unterschiedliche Fähigkeiten. Eine zufällige Dreiteilung eines großen Webkorpus reicht nicht aus, wenn fast gleiche Dokumente in mehreren Teilen landen.

Damit sind sechs Begriffe sauber getrennt. Training verändert Parameter. Validierung unterstützt Entscheidungen während der Entwicklung. Ein Test bewertet das ausgewählte System möglichst unabhängig. Inferenz nutzt feste Gewichte für eine Ausgabe. Pretraining ist das breite erste Training auf großen Datenmengen. Post-Training folgt danach und trainiert gezielter auf gewünschtes Verhalten. Post-Training ist Thema des nächsten Kapitels.

Während des Pretrainings werden regelmäßig Zwischenstände auf Validierungsdaten geprüft. Sinkt der Trainings-Loss weiter, während der Validierungs-Loss steigt, ist das ein Warnsignal. Es kann bedeuten, dass sich das Modell zu stark an seine Trainingsbeispiele anpasst. Ein einzelner Messpunkt genügt dafür nicht. Teams betrachten Verläufe, mehrere Datendomänen und konkrete Stichproben.

Auch die organisatorische Trennung zählt. Ein Test verliert seine Unabhängigkeit, wenn seine Resultate täglich Optimierungsentscheidungen steuern. Dann wird er praktisch zu einem Validierungstest. Für belastbare Aussagen braucht es neue, geschützte oder zeitlich spätere Aufgaben.

Datenkuratierung, Kontamination und Memorisierung

Ein Roharchiv des Webs ist noch kein guter Trainingsdatensatz. Es enthält Spam, Navigationstexte, Kopien, private Angaben, schädliche Inhalte und automatisch erzeugte Seiten. Common Crawl nennt auf seiner offiziellen Website mehr als 300 Milliarden erfasste Seiten. Diese Zahl beschreibt den Umfang des Archivs zum Prüfdatum, nicht die Menge geeigneter Trainingsdaten.

Datenkuratierung heißt, Quellen auszuwählen, zu filtern, zu deduplizieren, zu gewichten und zu mischen. Ein Korpus kann Webtexte, Bücher, wissenschaftliche Arbeiten, Code, Foren, lizenzierte Inhalte und synthetische Daten enthalten. Synthetische Daten stammen von anderen Modellen. Sie können gezielte Aufgaben liefern, brauchen aber Prüfungen. Sonst werden Fehler und enge Muster weitervererbt.

Filter entfernen beispielsweise Spam oder falsch erkannte Sprachen. Qualitätsmodelle bewerten Texte nach festgelegten Kriterien. Deduplizierung sucht identische und sehr ähnliche Passagen. Das ist wichtig, weil tausend Kopien eines Textes ihm tausendfaches Gewicht geben können. Untersuchungen zeigen außerdem, dass Deduplizierung die wortgetreue Wiedergabe von Trainingspassagen und Überschneidungen zwischen Training und Auswertung verringern kann. Ganz beseitigt sind beide Probleme dadurch nicht.

Kontamination entsteht, wenn Testaufgaben, Lösungen oder nahe Varianten im Training auftauchen. Dann kann ein hoher Messwert teilweise auf Wiedererkennung beruhen. Bei öffentlichen Benchmarks ist eine vollständige Trennung schwierig. Ihre Aufgaben werden zitiert, diskutiert und in Repositorien kopiert. Zeitlich getrennte Daten und nicht veröffentlichte Tests helfen, lösen das Problem aber ebenfalls nicht vollständig.

Memorisierung bedeutet, dass das Modell bestimmte Sequenzen so stark gelernt hat, dass es sie unter passenden Eingaben nahezu wörtlich ausgeben kann. Häufige Duplikate, ungewöhnliche Zeichenfolgen und große Modellkapazität können das begünstigen. Memorisierung ist nicht dasselbe wie allgemeines Lernen. Ein Modell kann die Struktur einer Adresse erkennen, ohne eine konkrete Adresse wiederzugeben. Umgekehrt kann es eine Passage reproduzieren, ohne ihren Inhalt zuverlässig auf neue Fälle zu übertragen.

Für Unternehmen folgen daraus konkrete Fragen. Welche Quellenklassen wurden genutzt? Gibt es Regeln für Lizenzen, personenbezogene Daten und Löschanfragen? Wie wurde auf Duplikate und Benchmarküberschneidungen geprüft? Ein Anbieter kann nicht jede gelernte Information auf eine einzelne Gewichtszahl zurückführen. Gelernte Zusammenhänge verteilen sich über viele Parameter und zeigen sich während einer Berechnung in inneren Zahlenmustern. Das gezielte Entfernen gelernter Daten heißt Machine Unlearning. Eine Auswertung mit sechs Prüfkriterien namens MUSE prüfte acht verbreitete Verfahren an Modellen mit sieben Milliarden Parametern. Bei mehreren Verfahren blieben Informationen in den geprüften Datenschutzangriffen zugänglich. Die Auswertung zeigte außerdem häufig Einbußen bei der allgemeinen Modellleistung. Das gilt für die geprüften Verfahren, Modelle und Datensätze. Es belegt nicht, dass jede Unlearning-Methode scheitert. Ein bestandener Einzeltest garantiert auch nicht, dass ein Inhalt unter jeder Formulierung entfernt ist.

Daten, Rechenaufwand und Parameter skalieren

Teams trainieren verwandte Modelle in mehreren Größen und messen den Loss. Dabei zeigen sich oft regelmäßige empirische Beziehungen zwischen Modellgröße, Datenmenge und eingesetzter Rechenarbeit. Diese Beziehungen heißen Scaling Laws, also Skalierungsgesetze. „Gesetz“ klingt strenger, als es hier gemeint ist. Es sind gemessene Trends für bestimmte Modellfamilien, Datensätze und Rechenbudgets.

Die Kaplan-Arbeit von 2020 beschrieb annähernde Potenzgesetze für den Loss in Abhängigkeit von Parametern, Daten und Rechenaufwand. Die Chinchilla-Arbeit von 2022 untersuchte über 400 Trainingsläufe und kam für ihr Szenario zu dem Ergebnis, dass Modellgröße und Zahl der Trainingstokens bei wachsendem Rechenbudget ausgewogener steigen sollten. Das damalige Chinchilla-Modell hatte 70 Milliarden Parameter und wurde mit 1,4 Billionen Tokens trainiert. Es übertraf bei ähnlichem Trainingsaufwand das deutlich größere Gopher-Modell in den untersuchten Auswertungen.

Daraus folgt keine feste Tokenzahl, die für jede Architektur gilt. Datenqualität, Wiederholungen, Optimierer, Zahlenformate und das Ziel für spätere Inferenzkosten verändern die Rechnung. Ein kleineres Modell kann länger trainiert werden und dadurch bei jeder späteren Nutzung günstiger sein. Ein größeres Modell kann mehr Kapazität bieten, verursacht aber mehr Speicher- und Rechenaufwand.

Scaling Laws sagen den durchschnittlichen Loss besser voraus als eine konkrete Fähigkeit. Sie garantieren weder zuverlässiges Schlussfolgern noch einen brauchbaren Unternehmensprozess. Manchmal wirkt der Fortschritt in einem Benchmark plötzlich. Eine Untersuchung von 2023 zeigte für mehrere Fälle, dass diskrete oder nichtlineare Messgrößen einen glatten Fortschritt wie einen Sprung aussehen lassen können. Das erklärt nicht jede neue Fähigkeit. Es zeigt, warum eine Skalierungskurve allein keine Zusage für ein bestimmtes Verhalten ist.

Sehr große Modelle passen nicht auf einen Chip. Datenparallelisierung lässt Modellkopien verschiedene Batches verarbeiten. Tensorparallelisierung teilt einzelne Matrixoperationen. Pipeline-Parallelisierung verteilt Gruppen von Schichten. Die Kombination wird häufig 3D-Parallelisierung genannt. Sie verlangt schnelle Netzwerke und genaue Koordination. Neben Chips gehören daher Strom, Speicher, Datenvorbereitung und verteilte Trainingssoftware zum Aufwand eines Frontier-Laufs.

Eine Mixture of Experts, kurz MoE, verteilt den MLP-Teil auf mehrere Experten. Ein Router wählt für jedes Token wenige davon aus. So kann ein Modell viele Gesamtparameter haben, während pro Token nur ein Teil aktiv rechnet. Alle Experten müssen trotzdem gespeichert und erreichbar sein. Das technische Kimi-K2-Papier nennt rund eine Billion Gesamtparameter und etwa 32 Milliarden aktive Parameter pro Token. Diese Größen beschreiben Architektur und Aufwand. Sie belegen für sich keine Modellqualität.

Hochwertige Daten sind ebenfalls begrenzt. Teams nutzen deshalb mehrsprachige, lizenzierte, multimodale und synthetische Quellen. Distillation lässt ein kleineres Modell aus Ausgaben eines größeren lernen. Mehr Rechenarbeit während einer Antwort wird Test-Time Compute genannt. Diese Wege ersetzen keine Datenprüfung. Sie verschieben, wo Daten und Rechenleistung eingesetzt werden. Test-Time Compute greifen wir in Kapitel 10 wieder auf.

Generalisierung und Overfitting

Ein Modell soll nicht nur bekannte Sätze mit niedrigem Loss fortsetzen. Es soll gelernte Muster auf neue Beispiele übertragen. Diese Übertragung heißt Generalisierung. Wenn ein Modell dagegen seine Trainingsdaten immer besser trifft, aber auf neuen Daten schlechter wird, liegt Overfitting oder Überanpassung vor.

Ein kleines Beispiel zeigt den Unterschied. Ein Modell sieht in den Trainingsdaten hundert Rechnungen derselben Form. Es kann die Antworten memorisieren oder die zugrunde liegende Rechenstruktur lernen. Auf den bekannten Aufgaben sehen beide Wege gut aus. Erst neue Zahlenkombinationen zeigen, ob die Struktur übertragen wird.

Bei großen Sprachmodellen ist die Grenze weniger sauber. Das Modell kann Teile eines Dokuments memorisieren und zugleich allgemeine Sprachmuster daraus lernen. Ein niedriger Trainings-Loss belegt deshalb keine zuverlässige Generalisierung. Validierungsdaten, zeitlich spätere Daten und gezielte Aufgaben liefern verschiedene Blickwinkel.

Regularisierung umfasst Maßnahmen, die übermäßige Anpassung begrenzen sollen. Weight Decay bremst große Gewichte. Dropout schaltet während des Trainings zufällig einen Teil der Zwischenwerte aus. Early Stopping beendet das Training, wenn sich die Validierungsleistung nicht weiter verbessert. Mehr unterschiedliche Daten und eine gute Deduplizierung können ebenfalls helfen. Welche Kombination sinnvoll ist, hängt von Architektur, Daten und Trainingsphase ab.

Mehr Parameter bedeuten nicht automatisch Overfitting und auch nicht automatisch bessere Generalisierung. Moderne große Modelle können trotz sehr hoher Kapazität auf viele neue Aufgaben übertragen. Gleichzeitig können sie seltene Sequenzen wortgetreu wiedergeben oder in einzelnen Domänen versagen. Die Größenordnung allein beantwortet die Frage nicht.

Auch „Verstehen“ lässt sich nicht direkt aus dem Trainingsverfahren ablesen. Das Modell bildet interne Repräsentationen von Sprache, Objekten und Beziehungen. Diese können für neue Aufgaben nützlich sein. Daraus folgt weder Bewusstsein noch eine menschliche Form des Verstehens. Für einen betrieblichen Einsatz zählt, welches Verhalten unter festgelegten Bedingungen messbar ist.

Technischer Tiefgang: Muon als anderer Weg zur Gewichtsaktualisierung

AdamW behandelt jeden Zahlenparameter mit einer eigenen adaptiven Skalierung. Viele wichtige Transformer-Parameter liegen jedoch als zweidimensionale Matrizen vor. Muon ist ein Optimierer, der diese Matrixstruktur ausdrücklich nutzt. Genau darin liegt der andere Weg zur Gewichtsaktualisierung.

Muon beginnt mit einem geglätteten Gradientensignal, also Momentum. Statt dieses Signal nur Zahl für Zahl zu skalieren, bringt der Optimierer die Update-Matrix näherungsweise in eine ausgeglichenere Form. Die sogenannten singulären Richtungen beschreiben dabei unabhängige Hauptrichtungen der Matrixänderung. Muon nähert ihre Größen einander an, damit wenige dominante Richtungen das Update weniger stark bestimmen.

Für diese Näherung verwendet Muon Newton-Schulz-Iterationen. Das ist ein wiederholtes Matrixverfahren. Es besteht aus wenigen Matrixmultiplikationen und passt damit gut zu Beschleunigern, die solche Operationen effizient ausführen. Muon berechnet keine exakte Singularwertzerlegung für jeden Schritt. Die Newton-Schulz-Schritte liefern eine praktische Näherung.

Der Begriff „Orthogonalisierung“ darf hier nicht als vollständige Unabhängigkeit der gelernten Merkmale gelesen werden. Er beschreibt die Form der Update-Matrix. Welche Fähigkeiten ein Modell später zeigt, ergibt sich weiterhin aus Daten, Architektur und dem gesamten Trainingsverlauf.

Muon aktualisiert ausgewählte Gewichtsmatrizen in den verborgenen Schichten. AdamW übernimmt die Einbettungstabellen, Normalisierungsparameter, den Sprachmodellkopf und weitere Parameter, die vom Muon-Update ausgeschlossen sind. Ein Trainingslauf kann also beide Optimierer gleichzeitig verwenden. Compute-optimal bedeutet in diesen Versuchen, dass Modellgröße und Trainingsmenge für ein festes Rechenbudget aufeinander abgestimmt wurden. Trainings-FLOPs sind die gezählten Gleitkommaoperationen des Trainingslaufs. Das Muon-Papier berichtet in solchen Skalierungsexperimenten eine vergleichbare Leistung mit ungefähr 52 Prozent dieser Rechenarbeit. Das ist ein Ergebnis der Versuchsanordnung, keine allgemeine Halbierung der Kosten für jedes Modell.

Moonshot AI setzte bei Kimi K2 eine Variante namens MuonClip ein. Das technische Papier beschreibt ein MoE-Modell mit rund einer Billion Gesamtparametern und 32 Milliarden aktiven Parametern. Eine zusätzliche Regel namens QK-Clip beobachtet die Größen der Attention-Logits. Überschreiten sie einen Schwellenwert, werden die Gewichte der Query- und Key-Projektionen nach dem Update herunterskaliert. Das soll extreme Attention-Werte begrenzen.

Laut demselben technischen Bericht wurde Kimi K2 mit 15,5 Billionen Tokens trainiert, ohne dass ein Loss Spike beobachtet wurde. Ein Loss Spike ist ein plötzlicher starker Anstieg des Loss und kann auf Instabilität hindeuten. Die Aussage stammt vom Modellanbieter und ist keine unabhängige Garantie. Sie zeigt, warum Optimierer nicht nur nach Geschwindigkeit beurteilt werden. Bei einem langen Lauf zählen Stabilität, Skalierbarkeit und das Verhalten auf der tatsächlichen Architektur.

Muon ersetzt damit nicht die Trainingsschleife. Next-Token Prediction, Loss und Backpropagation bleiben bestehen. Geändert wird der Schritt zwischen Gradient und neuen Matrixgewichten. Ob dieser Schritt für ein Projekt sinnvoll ist, muss mit kleineren Läufen, Ablationen und denselben Validierungsregeln geprüft werden.

Trainingsergebnisse für die Auswahl einordnen

Die meisten Unternehmen trainieren kein Frontier-Modell von Grund auf. Sie nutzen ein vorhandenes Foundation Model über eine API, betreiben veröffentlichte Gewichte oder lassen ein Modell für ihren Bereich weitertrainieren. Foundation Model bezeichnet ein breit vortrainiertes Modell, das als Grundlage für verschiedene Anwendungen dienen kann.

Für die Auswahl reicht eine hohe Parameterzahl nicht. Ein kompaktes, länger trainiertes Modell kann für einen Prozess günstiger sein. Ein MoE-Modell nennt oft Gesamtparameter und aktive Parameter. Die Gesamtzahl bestimmt unter anderem den Speicherbedarf. Die aktive Zahl prägt einen Teil des Rechenaufwands pro Token. Beide Zahlen müssen zur eingesetzten Hardware und zum erwarteten Anfragevolumen passen.

Auch ein veröffentlichter Trainings-Loss ist kein Produktnachweis. Prüfe das Modell mit Aufgaben aus dem eigenen Prozess. Trenne die Beispiele, mit denen Prompts und Einstellungen entwickelt werden, von einer späteren Testmenge. Erneuere den Test, wenn er häufig für Entscheidungen verwendet wurde. Sonst entsteht dieselbe indirekte Anpassung wie bei einem übernutzten Validierungssatz.

Bei Datenfragen braucht es konkrete statt allgemeiner Aussagen. „Mit öffentlichen Daten trainiert“ sagt wenig über Rechte, Qualität und personenbezogene Inhalte. Nützlicher sind Angaben zu Quellenklassen, Stichtagen, Filtern, Deduplizierung, Lizenzen und Verfahren für Löschanfragen. Bei einem Modell mit geschlossenen Trainingsdaten bleibt ein Teil dieser Prüfung eine Anbieterbewertung.

Training und Inferenz verursachen unterschiedliche Risiken und Kosten. Training verändert die Gewichte und braucht Datenzugriff, Optimiererzustände und viel Rechenleistung. Inferenz verwendet die fertigen Gewichte und verarbeitet betriebliche Eingaben. Ein Anbieter kann Eingaben später für weiteres Training nutzen, doch das wäre ein neuer Trainingsvorgang. Die einzelne Inferenz passt die Gewichte nicht automatisch an.

Ebenso wichtig ist die Grenze zwischen Modellwissen und Quellennachweis. Ein vortrainiertes Modell kann eine richtige Information aus seinen Gewichten erzeugen, ohne die ursprüngliche Quelle zu kennen. Für aktuelle oder belegpflichtige Aussagen braucht die Anwendung daher externe Quellen, Suche oder Retrieval. Retrieval bedeutet, dass das System passende Dokumente abruft und sie der Anfrage beilegt. Das ist ein anderer Mechanismus als Pretraining.

Frontier-Training bleibt wegen Chips, Netzwerken, Daten, Software und Kapital auf wenige Organisationen konzentriert. Eigene kleinere Trainingsläufe können trotzdem sinnvoll sein, etwa für Forschung, spezielle Sprachen oder klar abgegrenzte Modelle. Die Entscheidung sollte vom erwarteten Nutzen ausgehen. Ein vorhandenes Modell mit guten Datenzugängen und sauberer Evaluation ist häufig wertvoller als ein eigenes, aber schlechter geprüftes Training.

Trenne Training, Nutzung und Prüfung

Der Ablauf lässt sich jetzt in sechs Sätzen zusammenfassen. Das Modell sagt das nächste Token voraus. Die Kreuzentropie macht die Abweichung zum tatsächlichen Token zu einem Loss. Backpropagation berechnet mit der Kettenregel lokale Ableitungen. Der Optimierer übersetzt die Gradienten in kleine Gewichtsänderungen. Viele Batches wiederholen diesen Zyklus. Getrennte Validierungs- und Testdaten prüfen, ob die gelernten Muster über die Trainingsbeispiele hinaus nützlich sind.

Prüfe die Begriffe an drei Fragen:

1. Ein Team wählt nach jedem Trainingsabschnitt den besten Zwischenstand anhand derselben Aufgabensammlung. Ist diese Sammlung Training, Validierung oder Test? Sie ist Validierung, weil sie Entwicklungsentscheidungen steuert.
2. Ein Modell beantwortet eine Kundenfrage, ohne dass seine Gewichte geändert werden. Ist das Training oder Inferenz? Es ist Inferenz.
3. Ein Anbieter verdoppelt Parameter, Daten und Rechenaufwand. Sind damit bestimmte Fähigkeiten garantiert? Nein. Scaling Laws beschreiben empirische Loss-Trends. Eine konkrete Fähigkeit muss separat gemessen werden.

Am Ende des Pretrainings steht ein Basismodell. Sein Ziel war eine wahrscheinliche Textfortsetzung. Auf „Was ist die Hauptstadt von Frankreich?“ könnte es direkt mit „Paris“ antworten. Es könnte aber auch eine Liste ähnlicher Fragen fortsetzen, weil beide Folgen in Texten vorkommen. Hilfreich zu antworten war nicht das ausdrückliche Trainingsziel.

Post-Training setzt an diesem Basismodell an. Es verwendet kleinere, gezieltere Datensätze und zusätzliche Rückmeldungen, um gewünschtes Verhalten zu trainieren. Dazu gehören das Befolgen von Anweisungen, bevorzugte Antwortformen und Sicherheitsgrenzen. Pretraining liefert breite Muster und Fähigkeiten. Post-Training formt, wie das Modell sie in einer Interaktion einsetzt.

Das nächste Kapitel trennt diese Verfahren genauer. Dort geht es um überwachtes Nachtraining, Präferenzlernen und die Frage, warum ein gut fortsetzendes Basismodell noch kein verlässlicher Assistent ist.