Verstehen, prüfen, verantwortlich handeln

Drei Antworten, die zusammengehören

Am Anfang dieses Buchs lagen drei sehr verschiedene Antworten im selben Chatfenster. Montagmorgen um 8:40 Uhr wurden aus drei E-Mails, vierzehn Stichpunkten und einem Protokoll die ersten Punkte einer Gesprächsagenda. Die Antwort sparte Arbeit, obwohl du den Entwurf noch prüfen und ergänzen musstest.

Die zweite Antwort fasste ein Lieferantenangebot zusammen. Sie klang klar und nannte sogar eine konkrete Frist. Leider verband sie die Zahlungsfrist von 30 Tagen mit einer Preisänderung, für die drei Monate galten. Die Formulierung wirkte überzeugend. Der Inhalt war falsch.

Die dritte Antwort sollte zwischen zwei Lieferanten wählen. Anbieter A verlangte 84.000 Euro und lieferte in vierzehn Wochen. Anbieter B verlangte 92.000 Euro, lieferte in fünf Wochen und war schon bekannt. Eine Empfehlung konnte gut begründet sein. Ohne die Ziele, Kosten einer Verzögerung und gewünschte Risikoverteilung gab es trotzdem keinen eindeutigen Lösungsschlüssel.

Diese drei Fälle reichen als erste Einordnung noch immer aus. Frage dich, welche Art von Ausgabe vor dir liegt. Ist sie ein Entwurf, den du bearbeiten kannst? Enthält sie eine Tatsachenbehauptung, die du prüfen musst? Oder ordnet sie eine Entscheidung, deren Wertung bei den verantwortlichen Menschen bleibt?

Die Oberfläche beantwortet diese Frage nicht für dich. Ein hilfreicher Entwurf, eine überzeugende Falschaussage und eine vernünftige Abwägung können gleich aussehen.

Frag nach dem ganzen System

Bei einer guten oder schlechten Antwort ist „Welches Modell war das?“ nur der Anfang. Die nützlichere Frage lautet: Welches Modell und welches System darum herum haben diese Ausgabe unter welchen Bedingungen erzeugt?

Das Modell berechnet die sprachliche Fortsetzung Token für Token. Ein Laufzeitprogramm führt diese Berechnung aus. Die Anwendung nimmt deine Eingabe an, baut das Arbeitspaket und zeigt das Ergebnis. Dieses Arbeitspaket heißt Kontext. Es enthält beispielsweise deine Anweisung, Gesprächsteile und ausgewählte Dokumente.

Retrieval ist die gezielte Suche nach passenden Informationen. Verbindet die Anwendung diese Suche mit der Antworterzeugung, entsteht Retrieval-Augmented Generation, kurz RAG. Ein externes Gedächtnis bewahrt Informationen über einzelne Aufrufe hinaus. Werkzeuge können Daten lesen, rechnen oder eine erlaubte Handlung ausführen. Evaluierung prüft das System mit geplanten Fällen. Kontrollen begrenzen Datenzugriffe, Rechte, Kosten und Handlungen.

Um all diese Teile herum arbeiten Menschen. Sie wählen die Aufgabe, legen Grenzen fest, prüfen Ergebnisse und entscheiden über Folgen. Das ist die vollständige Systemkarte: Modell, Laufzeit und Anwendung, Kontext, Retrieval, externes Gedächtnis, Werkzeuge, Evaluierung, Kontrollen und verantwortliche Menschen.

Wenn eine Antwort scheitert, kann der Fehler an mehreren Stellen liegen. Vielleicht kann das Modell die Aufgabe nicht zuverlässig lösen. Vielleicht fehlte die gültige Quelle im Kontext. Vielleicht fand das Retrieval eine alte Fassung. Vielleicht speicherte das Gedächtnis eine falsche Annahme. Vielleicht hatte ein Werkzeug zu viele Rechte. Oder die Organisation hatte nie festgelegt, wer vor dem nächsten Schritt prüft.

Prüfe die ganze Kette

Für eine Entscheidung im Unternehmen solltest du drei Ebenen trennen. Erstens: Kann das Modell die Aufgabe unter günstigen Bedingungen bearbeiten? Zweitens: Bleibt das vollständige System mit echten Daten, Ausnahmen und Störungen zuverlässig? Drittens: Kann eure Organisation es mit passenden Rechten, Zuständigkeiten und Kosten betreiben?

Eine Rangliste beantwortet höchstens einen Teil der ersten Frage. Für die beiden anderen brauchst du eure Aufgabe und eure Bedingungen. Ein einfacher Ablauf hilft:

1. Beschreibe die Aufgabe, das erlaubte Ergebnis und den heutigen Vergleichswert. Lege fest, woran du einen brauchbaren Ausgang erkennst.
2. Sammle eigene Testfälle aus dem Prozess. Nimm typische Fälle, schwierige Ausnahmen, fehlende Angaben und bekannte frühere Fehler auf.
3. Prüfe Modell und System getrennt. Kontrolliere Kontext, Retrieval, Gedächtnis, Werkzeuge, Oberfläche und Freigaben. Ein guter Modelltest gleicht kein falsches Dokument aus.
4. Miss den ganzen Arbeitsablauf. Dazu gehören akzeptable Ergebnisse, schwere Fehler, menschliche Nacharbeit, Zeit, Kosten und sichere Übergaben an Menschen.
5. Prüfe den Datenweg. Welche Eingaben, Ausgaben, Protokolle und für die Suche aufbereiteten Bestände bleiben lokal? Welche gelangen in eine Cloud? Wer darf sie sehen, wie lange bleiben sie dort und wofür dürfen sie verwendet werden?
6. Halte Modell, Anweisungen, Datenstand, Werkzeuge und Prüfungen als zusammengehörige Version fest. Nach einer Änderung laufen die passenden Testfälle erneut.
7. Lege Stopp, Rückkehr und Ausstieg vorher fest. Ein Rollback stellt eine bekannte Version wieder her. Ein Rückfallweg nutzt den früheren Ablauf. Beim technischen und vertraglichen Ausstieg müssen Daten, Testfälle und vereinbarte Nutzungsrechte übertragbar sein. Zugangsdaten und interne Berechtigungen werden dagegen entzogen.

Diese Prüfung ist aufgabenspezifisch. Zehn eigene Fälle können für einen ersten Entwurf mehr zeigen als ein allgemeiner Spitzenplatz. Für eine produktive Freigabe reichen zehn Fälle natürlich selten. Die Fallzahl folgt der Vielfalt der Aufgabe und den möglichen Folgen.

Folgen bestimmen Autonomie und Prüfung

Eine interne Ideensammlung darf mehr ausprobieren als ein System, das Zahlungen vorbereitet. Ein Entwurf für drei Überschriften braucht eine andere Prüfung als eine Kündigungsfrist. Nicht die Bezeichnung „KI“ bestimmt den Aufwand. Die Folge eines Fehlers tut es.

Autonomie bedeutet hier nicht, dass das Modell einen eigenen Willen bekommt. Die Anwendung erhält technische Möglichkeiten, mehrere Schritte auszuführen und Werkzeuge zu benutzen. Mit jedem zusätzlichen Recht wächst die mögliche Wirkung. Deshalb sollten Werkzeuge nur die Daten und Handlungen erhalten, die für die konkrete Aufgabe nötig sind.

Prüfe außerdem, wie leicht ein Fehler erkennbar und umkehrbar ist. Einen Textentwurf kannst du vor dem Versand lesen. Eine ausgelöste Zahlung wirkt bereits außerhalb des Systems. Bei hohen oder schwer umkehrbaren Folgen braucht es engere Rechte, feste Freigaben, unabhängige Prüfungen und einen geübten Stoppweg.

„Ein Mensch prüft“ ist dafür zu ungenau. Die Person braucht die Originalquelle, klare Kriterien, genug Zeit und die Befugnis, eine Ausgabe abzulehnen. Sonst ist der letzte Klick menschlich, aber die Kontrolle bleibt leer.

Welche Art von Aussage liegt vor?

Auch die Belege brauchen eine klare Einordnung. Ein gemessener Befund beschreibt, was in einem bestimmten Test mit festgelegten Aufgaben, Daten und Bedingungen beobachtet wurde. Er gilt nicht automatisch für deinen Prozess.

Eine Anbieterbehauptung beschreibt ein Produkt, einen eigenen Test oder einen geplanten Weg aus Sicht des Anbieters. Sie kann für genau diese Aussage nützlich sein. Sie ersetzt keine unabhängige oder eigene geplante Prüfung.

Eine praktische Empfehlung übersetzt technische und betriebliche Erfahrung in einen Vorschlag. „Teste mit eigenen Fällen“ ist so eine Empfehlung. Du musst sie an Aufgabe, Branche und geltende Regeln anpassen.

Eine informierte Extrapolation verlängert einen beobachteten Zusammenhang. Sie nennt die Bedingungen, unter denen die Fortsetzung plausibel wäre. Eine Spekulation geht weiter. Sie beschreibt eine denkbare Entwicklung, deren nötige Wirkungskette noch nicht gemessen ist.

Diese fünf Klassen helfen bei Studien, Produktmeldungen und Zukunftsdebatten. Frage immer nach Quelle, Datum, Messaufbau und Grenze der Aussage. Bei wichtigen Aussagen liest du möglichst die ursprüngliche Quelle. Eine Vorhersage wird nicht zum Befund, nur weil sie eine genaue Jahreszahl enthält. Ändert ein neuer Beleg die Lage, änderst du auch deine Einschätzung.

Was bleibt, wenn Produkte wechseln?

Modellnamen, Preise, Kontextgrößen und Ranglisten bewegen sich schnell. Auch Oberflächen, Lizenzen und verfügbare Werkzeuge ändern sich. Du musst deshalb weiterlernen. Eine einmal getroffene Produktauswahl ist kein dauerhaftes technisches Urteil.

Die Mechanismen ändern sich langsamer. Sprachmodelle verarbeiten Text als Tokens. Gewichte enthalten gelernte Zahlenwerte. Der Kontext ist das Material für einen Aufruf. Training verändert Gewichte. Inferenz ist die Nutzung der fertigen Gewichte. Retrieval holt Informationen von außen. Ein Werkzeug wirkt außerhalb des Modells. Evaluierung misst Verhalten unter festgelegten Bedingungen. Kontrollen begrenzen die Wirkung.

Mit diesen Unterschieden kannst du neue Meldungen einordnen. Das Kontextfenster ist die technische Grenze für das Arbeitspaket eines Aufrufs. Wird diese Grenze größer, fragst du, welche Informationen darin zuverlässig genutzt werden. Bei einem System, das mehrere Schritte und Werkzeuge auswählt, prüfst du Rechte, Erfolgsquote und Abbruchweg. Bei einem günstigeren Modell misst du die Kosten pro akzeptablem Ergebnis samt Nacharbeit.

Du brauchst dafür keine tägliche Modellrangliste. Wichtiger ist eine datierte Notiz darüber, was behauptet, gemessen und für euren Prozess geprüft wurde. Ändert sich ein Produkt, hast du dann Testfälle und Kriterien statt nur eine alte Meinung.

Nutze KI, aber behalte die Verantwortung

Ein KI-Einsatz lohnt sich, wenn er einen echten Ablauf verbessert. Das System kann Material sortieren, einen ersten Entwurf erstellen oder passende Stellen in einer großen Dokumentensammlung finden. Ob der Ablauf wirklich schneller oder besser wird, zeigt erst der Vergleich mit der bisherigen Arbeit.

Ein lokales Modell kann einen Datenweg begrenzen. Sobald die Anwendung eine Websuche oder einen externen Dienst nutzt, öffnet sich ein weiterer Weg. Ein Cloud-Dienst kann für eine Aufgabe passen, wenn Daten, Vertrag, Zugriff, Löschung und Prüfung stimmen. Der Betriebsort allein entscheidet nicht, ob der Einsatz sicher und nützlich ist.

Die Organisation bleibt für Zweck, Daten, Rechte, Freigabe und Betrieb verantwortlich. Der Anbieter kennt euren vollständigen Arbeitsablauf nicht. Auch die ausführende Person braucht Prüfkriterien, Zeit und die Befugnis, einen Vorschlag abzulehnen.

Das System kann Arbeit übernehmen und begrenzte Rechte erhalten. Die Verantwortung für die Folgen bleibt bei den Menschen und Organisationen, die es auswählen und einsetzen.

Warum ich weiterlerne

Ich habe dieses Buch geschrieben, weil ich die Technik selbst genauer verstehen wollte. Beim Lesen und Schreiben wurden aus großen Begriffen einzelne Teile. Das hilft mir mehr als ein pauschales Urteil über KI.

Ich nutze solche Systeme gern. Sie helfen mir bei meiner Arbeit, besonders beim Planen und Programmieren. Gleichzeitig habe ich genug überzeugende Fehler gesehen, um eine gute Formulierung nicht mit einem guten Ergebnis zu verwechseln. Diese Spannung ist für mich nicht gelöst. Sie ist inzwischen nur genauer beschrieben.

Ich werde morgen wieder ein Modell öffnen, ihm eine echte Aufgabe geben und das Ergebnis prüfen. Wahrscheinlich spare ich dabei Zeit. Vielleicht finde ich wieder einen überzeugenden Fehler. Dann habe ich zumindest die richtigen Fragen zur Hand.

Thomas