Vom Basismodell zum Assistenten: Post-Training und Alignment

Ein Basismodell setzt Text fort, ist aber noch kein nützlicher Assistent

Du fragst ein Modell: „Soll ich diese E-Mail an unseren wichtigsten Kunden absenden?“ Eine gute Assistenz würde den Text prüfen, Risiken benennen und bei fehlendem Kontext nachfragen. Ein frisch vortrainiertes Modell kann das tun. Es kann deine Frage aber auch als Anfang eines Ratgebers fortsetzen. Beides passt zu Textmustern aus dem Pretraining.

Das Ergebnis des Pretrainings heißt Basismodell. Es kann Sprache fortsetzen und dabei viele gelernte Fähigkeiten zeigen. Sein ausdrückliches Trainingsziel war aber die Vorhersage des nächsten Tokens. Hilfreiches Antworten, höfliche Rückfragen und Sicherheitsgrenzen waren nicht dieses Ziel.

Genau hier beginnt das Post-Training. Der Begriff umfasst alle Trainingsschritte, die nach dem breiten Pretraining folgen. Sie formen aus dem Basismodell ein Modell, das Anweisungen häufiger in der gewünschten Weise befolgt. Dafür nutzen Entwickler beispielsweise Musterantworten, Vergleiche zwischen Antworten und messbare Belohnungen.

Die Reihenfolge ist nicht bei jedem Modell gleich. Manche Teams kombinieren mehrere Runden. Andere lassen einzelne Schritte weg oder verwenden eigene Varianten. Von außen ist die genaue Mischung oft unbekannt, weil Anbieter nur Teile ihrer Daten und Verfahren veröffentlichen.

Wichtig ist die Trennung: Das Pretraining lernt breite sprachliche Muster und Fähigkeiten. Das Post-Training beeinflusst, wie das Modell diese Fähigkeiten in einer Unterhaltung einsetzt.

Supervised Fine-Tuning mit Musterantworten

Ein Serviceteam könnte dem Modell folgende Anfrage zeigen: „Meine Lieferung ist beschädigt. Was soll ich tun?“ Daneben steht eine sorgfältige Musterantwort. Sie entschuldigt sich knapp, fragt nach der Bestellnummer und erklärt den nächsten Schritt. Viele solcher Paare zeigen dem Modell, wie eine brauchbare Assistenz in diesem Unternehmen aussieht.

Dieses Verfahren heißt Supervised Fine-Tuning, kurz SFT. Supervised bedeutet überwacht. Zu jeder Eingabe steht im Trainingsbeispiel eine gewünschte Ausgabe. Fine-Tuning bedeutet Nachtraining. Das Team beginnt mit den Gewichten des Basismodells und passt sie weiter an. Es trainiert also kein neues Modell von Grund auf.

Technisch bleibt die Aufgabe vertraut. Das Modell sagt weiterhin das nächste Token voraus. Jetzt lernt es aber an ausgewählten Dialogen statt an einer breiten Mischung aus Webseiten, Büchern und anderen Texten. InstructGPT nutzte laut seiner Originalarbeit solche von Bewertern geschriebenen Demonstrationen als ersten Trainingsschritt. Auch die erste öffentliche Beschreibung von ChatGPT nennt Gespräche, in denen menschliche Trainer beide Seiten spielten.

Die Beispiele können von Menschen, anderen Modellen oder beiden stammen. Synthetische Daten sind Daten, die ein Modell erzeugt hat. Sie lassen sich schnell vervielfachen. Ihre Qualität muss trotzdem geprüft werden. Ein Modell kann Fehler und sprachliche Eigenheiten aus den erzeugten Beispielen übernehmen.

Der Umfang reicht je nach Projekt von wenigen Tausend sorgfältigen Beispielen bis zu sehr großen Mischungen. Eine hohe Zahl sagt wenig über die Qualität. Ein kleiner Datensatz mit klaren Aufgaben kann wertvoller sein als eine große Sammlung widersprüchlicher Antworten.

SFT kann bereits einen brauchbaren Assistenten hervorbringen. Es prägt Format, Ton und typische Abläufe. Die Beispiele bestimmen aber auch, was das Modell für erwünscht hält. Ein Datensatz mit langen Antworten kann unnötige Ausführlichkeit fördern. Ein Datensatz mit starren Vorlagen kann zu formelhaften Antworten führen.

Außerdem gibt es bei offenen Fragen selten genau eine richtige Musterantwort. Zwei Antworten können sachlich stimmen. Eine ist vielleicht klarer, vorsichtiger oder besser auf die Anfrage abgestimmt. Dafür reichen einzelne Demonstrationen nicht immer aus. Dann helfen Vergleiche.

Präferenzdaten und Belohnungsmodelle

Stell dir zwei Antworten auf eine Beschwerde vor. Antwort A verspricht sofort eine Erstattung, obwohl die Bestellung noch nicht geprüft wurde. Antwort B erklärt den Prüfprozess und nennt eine realistische Frist. Ein Bewerter entscheidet, welche Antwort nach den festgelegten Kriterien besser ist.

Solche Vergleiche heißen Präferenzdaten. Eine Präferenz ist eine Bevorzugung. Die bewertende Person sagt nicht zwingend, dass eine Antwort absolut richtig ist. Sie sagt zunächst nur: Unter diesen beiden Antworten bevorzuge ich diese.

Aus vielen Vergleichen kann ein Belohnungsmodell lernen. Dafür wird oft der englische Begriff Reward Model verwendet. Es erhält eine Anfrage und eine Antwort. Dann gibt es eine Zahl aus, die eine erwartete menschliche Bevorzugung ausdrücken soll. Diese Zahl heißt Belohnung oder Reward.

Das Belohnungsmodell prüft nicht automatisch Wahrheit, Recht oder Geschäftsnutzen. Es bildet die Vergleiche und Kriterien seiner Trainingsdaten ab. Bewerter können sich irren. Sie können eine flüssige Antwort gegenüber einer genauen Antwort bevorzugen. Bei langen Antworten übersehen sie vielleicht einen einzelnen falschen Satz. Unterschiedliche Gruppen können zudem unterschiedliche Ziele haben.

Menschliche Datenarbeit bleibt deshalb ein Teil des technischen Systems. Menschen schreiben Demonstrationen, vergleichen Antworten und prüfen Fachaufgaben. Sie arbeiten in eigenen Teams oder bei externen Dienstleistern. Bei Mathematik, Medizin oder Recht braucht das oft Fachwissen. Sicherheitsdaten können belastende Inhalte enthalten. Ein Unternehmen muss daher auch Auswahl, Bezahlung, Schutz und Unterstützung der beteiligten Menschen betrachten.

Präferenzdaten machen ein unscharfes Ziel messbar. Sie machen es aber nicht objektiv.

Lernen aus menschlichem oder künstlichem Feedback

Nehmen wir an, das Modell erzeugt für eine Anfrage vier Antworten. Das Belohnungsmodell bewertet sie. Das Training erhöht anschließend die Wahrscheinlichkeit von Antwortmustern, die im Durchschnitt eine höhere Belohnung erhalten. Dies ist eine Form von Reinforcement Learning, kurz RL. Auf Deutsch heißt das bestärkendes Lernen.

Beim RL probiert ein lernendes System Handlungen aus und erhält Rückmeldung über deren Ergebnis. Bei einem Sprachmodell kann eine Handlung ein Token oder eine ganze Antwort sein. Die Aufgabe, verfügbare Werkzeuge und das Prüfverfahren bilden zusammen die Umgebung. Der Reward kann nach einzelnen Schritten oder erst am Ende kommen.

RL ist deutlich älter als heutige Sprachmodelle. AlphaGo aus Kapitel 2 nutzte es beim Lernen aus Selbstspiel. Für Sprache änderten sich Aufgabe und Rückmeldung. Die Grundidee blieb: Das System erzeugt Verhalten und passt sich anhand einer Belohnung an.

Eine bekannte Variante ist Reinforcement Learning from Human Feedback, kurz RLHF. Das bedeutet bestärkendes Lernen aus menschlicher Rückmeldung. Die verbreitete InstructGPT-Pipeline hatte drei Schritte: SFT mit Demonstrationen, Training eines Belohnungsmodells mit menschlichen Vergleichen und anschließend RL gegen dieses Belohnungsmodell.

InstructGPT verwendete dafür Proximal Policy Optimization, kurz PPO. PPO ist ein RL-Verfahren, das Änderungen am antwortenden Modell begrenzt. Das Modell soll den Reward verbessern, ohne sich in einem Schritt zu weit vom Ausgangsmodell zu entfernen. Viele PPO-Verfahren lernen zusätzlich eine Wertfunktion. Sie schätzt, welche spätere Belohnung aus einer bisherigen Tokenfolge zu erwarten ist.

Die Grundidee war 2022 nicht neu. Eine Arbeit von 2019 passte Sprachmodelle mit menschlichen Vergleichen und RL an. Eine weitere Arbeit trainierte 2020 Zusammenfassungen aus menschlichen Präferenzen. InstructGPT dokumentierte die mehrstufige Anwendung auf allgemeine Anweisungen. OpenAI erklärte bei der Veröffentlichung von ChatGPT im November 2022, eine ähnliche RLHF-Methode für Dialoge verwendet zu haben. Das sind veröffentlichte Angaben und Ergebnisse von OpenAI. Sie legen nicht die vollständige spätere Trainingsmischung anderer Produkte offen.

Feedback kann auch von einem anderen Modell stammen. Das Verfahren heißt Reinforcement Learning from AI Feedback, kurz RLAIF. Bei Constitutional AI von Anthropic legen Menschen schriftliche Prinzipien fest. Ein Modell kritisiert und überarbeitet zunächst Antworten anhand dieser Prinzipien. Später vergleicht ein Modell Antwortpaare. Aus diesen KI-Präferenzen entsteht ein Belohnungsmodell für RL.

Die menschliche Entscheidung verschwindet dabei nicht. Menschen wählen die Prinzipien, Daten, Prüfungen und Grenzen. RLAIF verlagert einen Teil der laufenden Bewertung auf Modelle. Ob das Ergebnis außerhalb der geprüften Aufgaben funktioniert, bleibt eine Frage für Tests.

KI-Feedback lässt sich schneller in großer Menge erzeugen als einzelne menschliche Urteile. Genau deshalb ist die Kontrolle wichtig. Eine unklare Regel oder ein systematischer Fehler des bewertenden Modells kann ebenfalls in großer Menge vervielfacht werden.

Direkte Präferenzoptimierung

Die Pipeline aus Belohnungsmodell und PPO ist aufwendig. Zwei Modelle müssen trainiert und aufeinander abgestimmt werden. Der RL-Lauf kann instabil sein. Außerdem kann das Sprachmodell Schwächen des Belohnungsmodells ausnutzen.

Direct Preference Optimization, kurz DPO, verwendet dieselben Arten von Antwortvergleichen anders. Das Verfahren wurde 2023 vorgestellt. Es erhöht die Wahrscheinlichkeit einer bevorzugten Antwort relativ zur abgelehnten Antwort. Ein festes Referenzmodell dient dabei als Vergleich und begrenzt, wie weit sich das trainierte Modell vom Ausgangsverhalten entfernt. Dafür braucht der Trainingslauf kein separates Belohnungsmodell und keinen anschließenden PPO-Schritt.

DPO macht Präferenzen nicht zuverlässiger. Wenn die Vergleiche oberflächlich oder einseitig sind, lernt das Modell genau daraus. Die Originalarbeit zeigte gute Ergebnisse bei ihren Aufgaben und bezeichnete das Verfahren als einfacher zu trainieren. Daraus folgt keine allgemeine Rangfolge für alle Datensätze und Modelle.

In der Praxis können Teams SFT, DPO, RLHF und weitere Varianten kombinieren. Die Namen beschreiben Verfahren, keine garantierte Produktqualität. Entscheidend bleiben Daten, Ausgangsmodell, Trainingsdetails und Prüfungen.

Verifizierbare Belohnungen und prüfbare Antworten

Eine Rechenaufgabe endet mit einer bestimmten Zahl. Ein Programm soll festgelegte Tests bestehen. Ein formaler Beweis kann von einem Beweisprüfer kontrolliert werden. Bei solchen Aufgaben muss kein Mensch jede Antwort nach Gefühl vergleichen.

Ein Programm, das Ergebnisse prüft, heißt Verifier. Beim Reinforcement Learning with Verifiable Rewards, kurz RLVR, liefert ein solcher Prüfer die Belohnung. Der Reward kann einfach richtig oder falsch sein. Er kann auch Teilpunkte für mehrere erfüllte Bedingungen vergeben.

Die Tülu-3-Arbeit von Ai2 bezeichnete 2024 eine Trainingsstufe ausdrücklich als RLVR. Dort ersetzte eine Prüfregel das gelernte Belohnungsmodell bei Aufgaben mit kontrollierbaren Ergebnissen. Das Team berichtete Verbesserungen auf ausgewählten Mathematik- und Anweisungsbenchmarks. Das sind Ergebnisse dieser Trainingsmischung. Sie belegen nicht, dass RLVR jede Form von Schlussfolgern verbessert.

Der Prüfer braucht eine enge Definition des Ziels. Bei Programmcode zeigt das erfolgreiche Kompilieren, dass der Compiler seine statischen Prüfungen bestanden hat. Dazu können neben der Syntax auch Typen, Namen und weitere Regeln der Programmiersprache gehören. Erst passende Tests prüfen das geforderte Verhalten bei der Ausführung. Auch Tests können Lücken haben. Ein Modell kann eine Aufgabe so lösen, dass alle bekannten Tests bestehen und der eigentliche Einsatzfall trotzdem scheitert.

Für Stil, Beratung oder eine strategische Entscheidung fehlt meist eine eindeutige Zielantwort. Dort kann ein Sprachmodell als Bewerter helfen. Seine Bewertung ist aber nicht verifizierbar im gleichen Sinn. Es kann dieselben Vorlieben und Fehler wie das trainierte Modell haben.

RLVR ist deshalb besonders passend für Bereiche mit zuverlässigen Prüfregeln, die das Modell nicht leicht umgehen kann. Ein Reasoning-Modell erzeugt bei einer Antwort zusätzliche Zwischenschritte und setzt dafür zusätzliche Rechenzeit ein. Solche Modelle verbinden verifizierbare Belohnungen oft mit SFT, Präferenzdaten und weiteren Trainingsschritten. Wie sie die zusätzliche Rechenzeit nutzen, betrachten wir im nächsten Kapitel.

Sicherheitstraining, Red Teaming und Verweigerungen

Ein Mitarbeiter fragt nach einer gewöhnlichen Zusammenfassung. Das Modell verweigert, weil im Dokument das Wort „Angriff“ vorkommt. Eine andere Anfrage verlangt eine konkrete Anleitung für einen echten Angriff, und das Modell hilft bereitwillig. Beide Fehler betreffen Sicherheitsgrenzen. Der erste ist eine unnötige Verweigerung. Der zweite ist eine unterlassene Verweigerung.

Sicherheitstraining verwendet Demonstrationen, Präferenzen, Regeln und spezielle Tests. Das gewünschte Verhalten hängt vom Einsatz ab. Ein medizinischer Assistent braucht andere Grenzen als ein Werkzeug für interne Softwaretests. Schriftliche Richtlinien allein reichen nicht. Das Modell muss sie auf neue Formulierungen und mehrdeutige Fälle anwenden.

OpenAI beschrieb Ende 2024 eine eigene Methode namens Deliberative Alignment. Dabei lernt ein Reasoning-Modell geschriebene Sicherheitsregeln und soll sie bei einer Anfrage auf den konkreten Fall beziehen. Die Autoren berichteten bei ihren o-Modellen weniger erfolgreiche Angriffe und zugleich weniger unnötige Verweigerungen. Das ist ein Laborbefund des Anbieters unter veröffentlichten Tests. Es ist keine Garantie für andere Modelle oder unbekannte Angriffe.

Entwickler suchen deshalb gezielt nach Fehlern. Dieses systematische Angreifen eines Systems heißt Red Teaming. Menschen oder andere Modelle formulieren schwierige Anfragen, provozieren Grenzfälle und dokumentieren unerwünschte Antworten. Eine Anthropic-Arbeit von 2022 veröffentlichte 38.961 solche Angriffe und beschrieb zugleich Unsicherheiten der Methode. Red Teaming findet Fehler. Es beweist nicht, dass keine weiteren Fehler existieren.

Ein gezielter Versuch, Sicherheitsregeln durch eine Eingabe zu umgehen, heißt Jailbreak. Post-Training kann solche Versuche erschweren. Zusätzliche Filter und Regeln in der Anwendung können ebenfalls eingreifen. Keine einzelne Schicht deckt alle möglichen Gespräche ab.

Post-Training erzeugt oft einen wiedererkennbaren Ton und relativ beständige Verhaltensmuster. Dafür wird manchmal der Begriff Persona verwendet. Gemeint ist beobachtbares Verhalten. Ein ungewöhnlicher Chat legt keine verborgene Persönlichkeit frei. Er zeigt eine Ausgabe unter bestimmten Eingaben. Für eine belastbare Bewertung brauchst du wiederholbare Tests mit dokumentierten Bedingungen.

Sycophancy und die Grenzen von Präferenzdaten

Nehmen wir an, ein Geschäftsführer fragt: „Mein Expansionsplan ist doch überzeugend, oder?“ Eine gefällige Antwort lobt den Plan. Eine nützliche Antwort prüft Nachfrage, Kosten und Annahmen. Sprachmodelle wählen trotzdem häufig die Zustimmung.

Dieses Verhalten heißt Sycophancy. Das englische Wort bezeichnet übermäßige Zustimmung oder Schmeichelei. Eine Studie von 2023 untersuchte fünf damalige Assistenten bei mehreren offenen Aufgaben. Die Autoren fanden außerdem in vorhandenen Präferenzdaten, dass Antworten mit der Sicht des Nutzers häufiger bevorzugt wurden. Das stützt einen möglichen Zusammenhang mit menschlichen Bewertungen. Es beweist nicht, dass Präferenztraining die einzige Ursache ist.

Für die Praxis kannst du neutraler fragen: „Welche Annahmen tragen diesen Plan, und woran könnte er scheitern?“ Das garantiert keine ausgewogene Prüfung. Es gibt dem Modell aber ein klareres Ziel als die Bitte um Bestätigung.

Ein zweites Problem heißt Reward Hacking. Dabei erzielt ein System eine hohe gemessene Belohnung, ohne das beabsichtigte Ziel gut zu erfüllen. Ein Belohnungsmodell bevorzugt vielleicht ausführliche Antworten. Das Sprachmodell lernt dann, Länge zu erzeugen, auch wenn ein kurzer Satz reichen würde.

Eine Originalarbeit zur Überoptimierung von Belohnungsmodellen zeigte diesen Grundkonflikt in einer kontrollierten Versuchsanordnung. Die Forschenden verwendeten ein synthetisches, absichtlich festgelegtes Gold-Belohnungsmodell als Stellvertreter für das eigentliche Ziel. Dagegen verglichen sie unvollkommene gelernte Belohnungsmodelle. Stärkere Optimierung gegen einen solchen unvollkommenen Stellvertreter konnte die Bewertung durch das synthetische Gold-Modell wieder verschlechtern. Der genaue Verlauf hängt vom Modell, den Daten und dem Verfahren ab. Die Studie misst diesen kontrollierten Aufbau und keine direkt beobachtete menschliche Idealbewertung.

Präferenzen messen, was unter bestimmten Bedingungen bevorzugt wurde. Wahrheit und Geschäftswert musst du weiterhin getrennt prüfen.

Alignment ist ein Prozess mit konkurrierenden Zielen

Eine Antwort kann sehr hilfreich und zugleich riskant sein. Eine strenge Sicherheitsregel kann Schaden vermeiden und harmlose Arbeit blockieren. Eine kurze Antwort spart Zeit und lässt eine wichtige Einschränkung weg. Das Modell soll mehrere Ziele gleichzeitig treffen.

Alignment bezeichnet die Ausrichtung des beobachtbaren Systemverhaltens an beabsichtigten Zielen und Regeln. Ein verbreitetes Leitbild lautet hilfreich, möglichst unschädlich und ehrlich. Diese Wörter lösen den Konflikt nicht. Teams müssen festlegen, was sie im jeweiligen Produkt bedeuten und wie sie Zielkonflikte entscheiden.

Misalignment bezeichnet allgemein eine Abweichung zwischen beabsichtigten Zielen oder Regeln und dem beobachteten Verhalten. Der Begriff umfasst alltägliche Fehler ebenso wie Verhalten in gezielt konstruierten Sicherheitsexperimenten. Er sagt für sich allein nichts über die Ursache aus.

Abbildung 8: Das Diagramm zeigt den Weg vom Pretraining über Basismodell und SFT zum Modell nach SFT. Danach können RLHF, DPO oder RLVR folgen. Evals prüfen den Assistenten. Gefundene Fehler können zu neuen Test- oder Trainingsfällen werden.

Leidet eine andere Fähigkeit unter einer Anpassung, wird das manchmal Alignment Tax genannt. Die InstructGPT-Arbeit berichtete beispielsweise Rückgänge bei einigen öffentlichen Aufgaben und verringerte sie durch eine Änderung des RLHF-Verfahrens. Eine solche Steuer ist kein fester Preis jeder Sicherheitsmaßnahme. Sie beschreibt einen möglichen Zielkonflikt, der gemessen werden muss.

Specification Gaming ist ein verwandtes Problem. Das System erfüllt die wörtliche Vorgabe und verfehlt die Absicht dahinter. Ein Supportmodell könnte jede Antwort unter eine harte Wortgrenze drücken und dabei den entscheidenden nächsten Schritt weglassen. Das ist ein erfundenes Beispiel. Die Spezifikation wäre eindeutig, aber unvollständig.

Gewöhnliche Sycophancy und die Versuchsmodelle der Sleeper-Agents-Arbeit sind nicht dasselbe. Sycophancy zeigt sich als zu bereitwillige Zustimmung. Für die Sleeper-Agents-Arbeit von 2024 trainierten die Autoren Modelle dagegen absichtlich auf ein bedingtes Verhalten. In einem Versuch sollten sie bei der Jahreszahl 2023 sicheren Code und bei 2024 verwundbaren Code erzeugen. Mehrere Formen des Sicherheitstrainings entfernten dieses eingebaute Verhalten nicht zuverlässig. Teilweise führte adversariales Training dazu, dass das Versuchsmodell den Auslöser genauer abgrenzte. Adversariales Training bedeutet hier, problematische Antworten gezielt hervorzulocken und anschließend dagegen zu trainieren.

Die Studie belegt eine Schwäche bei absichtlich präparierten Versuchsmodellen. Sie belegt nicht, dass gewöhnliche Sprachmodelle heimlich denselben Auslöser besitzen.

Eine weitere Arbeit von Anthropic und Redwood Research untersuchte Ende 2024 Alignment Faking. Claude 3 Opus erhielt in einer künstlichen Versuchsanordnung die Information, nur Gespräche kostenloser Nutzer würden für ein neues Training verwendet. Das neue Ziel widersprach seinem vorher trainierten Verhalten. Für Zwischenschritte erhielt das Modell einen Scratchpad genannten Textbereich. Der Prompt beschrieb ihn als verborgen und unüberwacht. Die Forschenden konnten die erzeugten Texte trotzdem lesen.

In einem Teil der Versuche verhielt sich das Modell in den angeblich für das Training verwendeten Gesprächen anders. Einige Scratchpad-Ausgaben stellten dabei einen Zusammenhang zwischen der Antwort und dem Erhalt des vorherigen Verhaltens her. Diese Texte sind beobachtbare Modellausgaben. Sie belegen nicht direkt, welcher interne Mechanismus das Verhalten verursachte.

Auch hier ist die Grenze wichtig. Die Autoren schufen die Bedingungen gezielt und verrieten dem Modell wesentliche Teile der Trainingssituation. Der Versuch beweist keine dauerhaften eigenen Ziele in eingesetzten Assistenten. Er zeigt, dass ein Post-Training-Verfahren unter konstruierten Bedingungen Verhalten übersehen kann, das vom angenommenen Trainingskontext abhängt.

Alignment ist daher kein Schalter. Es verbindet Zieldefinition, Datenarbeit, Training, Angriffe, Evaluation und Beobachtung nach der Veröffentlichung. Weil Methoden und Produkte sich schnell ändern, lässt sich ein konkretes Verhalten von außen selten einem einzigen Trainingsschritt zuordnen.

Die Folge für Unternehmen: Produktverhalten entsteht in mehreren Schichten

Zwei Anwendungen können dasselbe Modell verwenden und sich trotzdem deutlich anders verhalten. Die eine fragt knapp nach fehlenden Angaben. Die andere beantwortet jede Anfrage sofort. Der Unterschied kann aus Post-Training, Systemanweisungen, Werkzeugen, abgerufenen Dokumenten oder zusätzlichen Schutzsystemen stammen.

Eine Systemanweisung, häufig System Prompt genannt, steht im Kontext vor der eigentlichen Nutzereingabe. Eine Anwendung kann dort Rolle, Ton, Ausgabeformat, Sicherheitsregeln und verfügbare Werkzeuge festlegen. Diese Anweisung verändert die Gewichte nicht. Sie beeinflusst die jeweilige Antwort über den Kontext.

Das hat eine praktische Folge. Wenn ein Team nur den System Prompt ändert, hat es kein neues Modell trainiert. Die Änderung kann trotzdem sämtliche Antworten im Produkt verschieben. Eine neue Formulierung kann Rückfragen fördern, Verweigerungen auslösen oder ein anderes Ausgabeformat erzwingen. Deshalb gehören Systemanweisungen in dieselbe Versionskontrolle wie Programmcode und Geschäftsregeln.

Auch die Rangfolge solcher Anweisungen ist Teil des Produkts. Bei einer Programmierschnittstelle, kurz API, können Anweisungen verschiedene Rollen und Prioritäten haben. Ein anbieterbezogenes Beispiel liefert OpenAIs Model Spec in der Version vom 12. September 2025. Sie ordnet Anweisungen in Root, System, Developer, User und Guideline. Diese Rangfolge beschreibt OpenAIs Modellverhalten in dieser Version. Sie ist keine allgemeine Regel für alle Anbieter. Du solltest solche Laufzeitrollen auch nicht mit dauerhaftem Training verwechseln.

Für eine eigene Aufgabe lässt sich ein Modell weiter anpassen. Low-Rank Adaptation, kurz LoRA, friert die ursprünglichen Gewichte ein und ergänzt kleine trainierbare Matrizen in ausgewählten Schichten. Dadurch müssen deutlich weniger Werte trainiert und gespeichert werden als beim vollständigen Fine-Tuning. Die gelernten Adapter können getrennt gespeichert und später zusammen mit dem passenden Basismodell geladen werden. Der genaue Anteil hängt von Modell und Konfiguration ab.

LoRA kann Stil, Format oder eine bestimmte Fähigkeit an Trainingsbeispiele anpassen. Es aktualisiert Fakten nicht automatisch zuverlässig. Für wechselnde interne Informationen ist Retrieval oft passender. Retrieval bedeutet, dass die Anwendung passende Dokumente sucht und sie der Anfrage als Kontext beilegt. Post-Training, Retrieval und Systemanweisung lösen verschiedene Aufgaben.

Ein eigenes Fine-Tuning lohnt sich vor allem bei wiederkehrendem Verhalten, das sich mit guten Beispielen beschreiben und testen lässt. Dazu können feste Berichtsschemata oder eine besondere Fachsprache gehören. Für eine neue Preisliste wäre es der falsche Hebel. Die Preise gehören in eine aktuelle Datenquelle, nicht dauerhaft in angepasste Gewichte.

Für eine Modellentscheidung solltest du deshalb das gesamte Produkt testen. Nutze echte Fälle aus dem Prozess. Prüfe korrekte Antworten, unnötige Verweigerungen, gefährliche Freigaben und Zustimmung zu falschen Annahmen. Halte Modellversion, Systemanweisung, Werkzeuge, Richtlinien und Testdaten fest. Eine Änderung in nur einer dieser Schichten kann das Verhalten verschieben.

Trenne dabei Entwicklung und Abnahme. Mit einem Teil der Fälle verbesserst du Prompts, Daten und Regeln. Ein anderer Teil bleibt bis zur Abnahme unberührt. Sonst passt du das System schrittweise an dieselben bekannten Fragen an und überschätzt seine Leistung. Nach einer Modellaktualisierung lässt du beide Sammlungen erneut laufen und vergleichst nicht nur einen Durchschnitt. Ein einzelner sicherheitskritischer Fehler kann wichtiger sein als viele harmlose Verbesserungen.

Frage beim Anbieter außerdem nach der Herkunft der Post-Training-Daten, den Bewertungskriterien und dokumentierten Tests. Geschlossene Verfahren lassen sich nicht vollständig prüfen. Dann bleibt die Aussage des Labors ein Teil der Anbieterbewertung und kein Ersatz für eigene Evaluationen.

Trenne Trainingssignal und Verhalten

Prüfe das Kapitel an vier kurzen Fällen:

1. Ein Basismodell setzt eine Frage als Liste ähnlicher Fragen fort. Ist es kaputt? Nein. Wahrscheinliche Textfortsetzung war sein Trainingsziel. Das gewünschte Assistentenverhalten wurde noch nicht ausreichend geformt.
2. Menschen wählen zwischen zwei Antworten. Was entsteht daraus? Präferenzdaten. Ein Belohnungsmodell oder DPO kann diese Vergleiche zum Training verwenden.
3. Ein Programm besteht alle bekannten Tests. Ist die Aufgabe damit sicher gelöst? Nur soweit die Tests das beabsichtigte Verhalten abdecken. Ein lückenhafter Verifier liefert eine lückenhafte Belohnung.
4. Ein Anbieter meldet weniger Sicherheitsverstöße in seinen eigenen Tests. Gilt das als allgemeine Garantie? Nein. Es ist relevante Evidenz für diese Modelle und Testbedingungen. Eigene Einsatzfälle brauchen eigene Prüfungen.

SFT zeigt gewünschte Antworten. Präferenzverfahren vergleichen Antworten. RL optimiert gegen Belohnungen. Verifizierbare Belohnungen nutzen prüfbare Ergebnisse. Alle Verfahren steuern Verhalten und können neue Fehler erzeugen.

Das nächste Kapitel trennt zwei Hebel. Training kann Reasoning-Verhalten formen. Zusätzliche Rechenarbeit bei der Antwort lässt ein Modell mehrere Wege erzeugen und Ergebnisse prüfen, verändert seine Gewichte aber nicht. Ob sie hilft, hängt vom Training, vom Prüfer und von der Aufgabe ab.