Wann KI hilft und wann sie schadet

Zwei ähnliche Aufgaben mit völlig verschiedenen Fehlerfolgen

Deine Firma beantwortet täglich Kundenanfragen. In der ersten Nachricht fehlt die Sendungsnummer. Ein Sprachmodell soll freundlich nach dieser Nummer fragen. In der zweiten Nachricht beschreibt ein Kunde Rauch an einer Maschine. Das Modell soll erklären, was er jetzt tun soll.

Beide Aufgaben sehen gleich aus: Eine Nachricht kommt an, eine Antwort geht zurück. Trotzdem darfst du sie nicht gleich behandeln. Eine falsche Rückfrage zur Sendungsnummer kostet etwas Zeit. Eine falsche Sicherheitsanweisung kann Menschen verletzen. Auch ein sprachlich guter Entwurf ändert daran nichts.

Vor der Wahl eines Modells steht deshalb die Wahl der Aufgabe. Dafür helfen sechs Fragen:

1. Kann das System diese konkrete Aufgabe ausreichend gut bearbeiten?
2. Welche Folgen hat ein Fehler?
3. Kann eine qualifizierte Person das Ergebnis effizient prüfen?
4. Lässt sich ein Fehler vollständig rückgängig machen?
5. Wird ein Fehler vor seiner Wirkung wahrscheinlich erkannt?
6. Darf das System nur helfen oder selbst handeln?

Erst aus den Antworten entsteht ein passender Ablauf. Der Prompt aus Kapitel 14 ist ein Teil davon. Kontext, Werkzeuge und Kontrollen kommen später hinzu.

Fähigkeit ist je nach Aufgabe ungleich

Stell dir zwei Beratungsaufgaben vor. Bei der ersten sollst du aus Marktinformationen neue Produktideen entwickeln. Bei der zweiten musst du aus Interviews und Zahlen genau die Marke mit dem größten Wachstumspotenzial bestimmen. Für Menschen können beide Aufgaben ähnlich anspruchsvoll wirken. Ein Sprachmodell kann bei der ersten helfen und bei der zweiten auf eine falsche Spur führen.

Diese ungleichmäßige Leistung heißt gezackte Fähigkeitsgrenze. In der Forschung steht dafür der englische Begriff jagged technological frontier. Kleine Änderungen an Aufgabe, Material oder verlangter Schlussfolgerung können darüber entscheiden, ob Hilfe nützt oder schadet.

Vorab registriert bedeutet: Die Forscher legen Plan und Auswertung vor dem Versuch fest. Fabrizio Dell’Acqua und seine Kollegen untersuchten die gezackte Fähigkeitsgrenze in einem solchen Feldexperiment mit 758 Beratern der Boston Consulting Group. Die Forscher teilten sie auf zwei getrennte Aufgabenarme auf. 385 Berater bearbeiteten 18 kreative und analytische Aufgaben innerhalb der vorher getesteten Modellfähigkeit. 373 Berater bearbeiteten eine komplexe Markenanalyse außerhalb dieser Grenze. Innerhalb jedes Arms wurden die Teilnehmer zufällig einer von drei Gruppen zugeteilt: ohne KI, mit GPT-4 oder mit GPT-4 plus einer Übersicht zum richtigen Einsatz. Im ersten Arm erledigten die KI-Gruppen 12,2 Prozent mehr Aufgaben. Sie arbeiteten im Durchschnitt 25,1 Prozent schneller und erhielten bessere Qualitätsbewertungen.

Im zweiten Arm kehrte sich das Ergebnis um. Die Teilnehmer mit KI fanden die richtige Lösung im Durchschnitt 19 Prozentpunkte seltener als die Kontrollgruppe. Ihre falschen Empfehlungen wirkten trotzdem schlüssiger und überzeugender. Genau das macht die Grenze praktisch wichtig.

Die Studie belegt kein allgemeines Gesetz für Wissensarbeit. Sie untersuchte Berater einer Firma, die Ende April 2023 verfügbare Version von GPT-4 und nur eine Aufgabe außerhalb der Grenze. Ein Teil der Qualität wurde mit Bewertungsrastern beurteilt. Die Teilnehmer befanden sich außerdem überwiegend in frühen Karrierephasen. Der Versuch zeigt etwas Engeres: Du kannst die Eignung nicht aus einer allgemeinen Rangliste oder dem Eindruck einer Vorführung ableiten.

Zwei weitere Studien zeigen die andere Seite. Shakked Noy und Whitney Zhang teilten 453 Hochschulabsolventen mit Berufen wie Marketing, Beratung und Personalwesen zufällig einer Gruppe mit oder ohne ChatGPT zu. Bei kurzen beruflichen Schreibaufgaben sank die Bearbeitungszeit im Mittel um 40 Prozent. Unabhängige Prüfer bewerteten die Texte um 18 Prozent besser. Das waren begrenzte Online-Aufgaben und keine vollständigen Arbeitsprozesse.

Erik Brynjolfsson, Danielle Li und Lindsey Raymond untersuchten die gestaffelte Einführung eines Assistenten bei 5.172 Mitarbeitern im Kundendienst. Die Auswertung verglich die Leistung vor und nach der Freischaltung und nutzte den zeitlich versetzten Zugang als Vergleich. In rund drei Millionen Chats stieg die Zahl gelöster Fälle pro Stunde im Durchschnitt um 15 Prozent. Weniger erfahrene und vorher schwächere Mitarbeiter profitierten stärker. Bei den stärksten Mitarbeitern fanden die Forscher kleine Qualitätseinbußen. Die Einführung war im Hauptdatensatz nicht vollständig zufällig. Die Ergebnisse stammen aus einer Firma mit einem recht stabilen Produkt und lassen sich nicht einfach auf andere Berufe übertragen.

Fähigkeit gehört also zur Aufgabe, zum System, zur Nutzergruppe und zum Zeitpunkt. Sie ist keine feste Eigenschaft des Produktnamens.

Folgen: Was passiert bei einem Fehler?

Ein Modell schlägt drei Titel für einen internen Vortrag vor. Einer ist langweilig. Du verwirfst ihn und probierst den nächsten. Die Folgen sind klein.

Anders sieht es bei einer medizinischen Dosierung, einer Vertragsfrist oder einer Überweisung aus. Ein kleiner Fehler kann körperlichen, rechtlichen oder finanziellen Schaden auslösen. In solchen Fällen reicht der Hinweis „Ein Mensch prüft noch“ nicht. Du brauchst aktuelle maßgebliche Quellen und eine Person mit der nötigen Fachkunde. Die Weltgesundheitsorganisation weist bei medizinischer KI auf genau solche Grenzen von Daten, Verantwortung und menschlicher Aufsicht hin.

Auch die Reichweite verändert die Folge. Eine falsche Formulierung in einem privaten Entwurf bleibt begrenzt. Dieselbe Formulierung in einer automatisch versendeten Nachricht an 100.000 Kunden kann Beschwerden, Kosten und Vertrauensverlust auslösen.

Frage deshalb konkret:

• Kann jemand verletzt oder unfair behandelt werden?
• Kann Geld, eine Frist oder ein Anspruch verloren gehen?
• Können vertrauliche Daten nach außen gelangen?
• Kann eine Handlung Kunden, Mitarbeiter oder Geschäftspartner erreichen?
• Wie viele Fälle sind bei demselben Fehler betroffen?

„Hohe Folge“ bedeutet nicht automatisch „keine KI“. Ein Modell kann Begriffe erklären, Fragen für einen Arzttermin sammeln oder Vertragsfassungen gegenüberstellen. Aber seine Rolle, die Prüfung und die Berechtigungen müssen zur möglichen Folge passen.

Prüfbarkeit: Kann eine qualifizierte Person effizient prüfen?

Du suchst einen Programmierfehler. Zuerst isolierst du einen kleinen Fall und hältst erwartetes sowie tatsächliches Verhalten fest. Das Modell nennt mehrere Ursachen und passende Tests. Am Ende zählt das Testergebnis. Eine überzeugende Erklärung ohne bestandenen Test reicht nicht.

Prüfbarkeit bedeutet, dass du ein Ergebnis mit vertretbarem Aufwand gegen verlässliche Kriterien prüfen kannst. Dabei zählt auch, wer prüft. Eine Quellenangabe hilft nur, wenn jemand die Quelle versteht, ihre Gültigkeit erkennt und die Schlussfolgerung kontrollieren kann.

Gut prüfbar sind oft Zahlen mit einer bekannten Berechnung, Datenformate mit festen Regeln oder Programmcode mit aussagekräftigen Tests. Auch ein Vertragsvergleich kann prüfbar sein, wenn eine qualifizierte Person jede Fundstelle mit den Originalen abgleicht. Das Urteil über den Vertrag ist damit noch nicht automatisiert.

Schwer prüfbar sind offene Zukunftsfragen, Personalentscheidungen und persönliche Konflikte. Dort gibt es häufig mehrere vertretbare Antworten und keine schnelle Kontrollrechnung. Ein Modell kann Annahmen, fehlende Informationen, Folgen und Gegenpositionen ordnen. Deine Gewichtung ist im bereitgestellten Material nur teilweise abgebildet. Die Entscheidung bleibt bei dir.

Die Prüfung darf außerdem nicht teurer sein als die ursprüngliche Arbeit. Wenn ein Fachanwalt jeden Satz eines erzeugten Gutachtens neu recherchieren muss, hast du kaum Arbeit gespart. Dann kann eine engere Aufgabe sinnvoller sein, etwa das Sortieren von Dokumenten oder das Sammeln offener Fragen.

Umkehrbarkeit und Erkennbarkeit

Ein Entwurf liegt in einem Textfeld. Du kannst ihn löschen. Eine E-Mail ist bereits verschickt. Ein Kunde hat danach gehandelt. Technisch kannst du vielleicht eine Korrektur senden, aber die erste Wirkung verschwindet nicht vollständig.

Umkehrbarkeit beschreibt, wie vollständig du die Folgen einer Handlung zurücknehmen kannst. Erkennbarkeit beschreibt, wie wahrscheinlich ein Fehler vor seiner Wirkung auffällt. Beide Eigenschaften sind getrennt. Eine gelöschte Datei kann aus einer Sicherung wiederkommen, obwohl der Fehler zunächst unbemerkt blieb. Eine falsche Überweisung kann sofort auffallen und trotzdem schwer zurückzuholen sein.

Bevorzuge am Anfang Aufgaben, deren Ergebnisse vor einer Wirkung sichtbar werden. Entwürfe, Vorschläge und markierte Fundstellen lassen sich prüfen. Ein System mit Zugriff auf E-Mail, Bankkonto oder Produktionssystem kann dagegen direkt etwas verändern. Dann brauchst du engere Rechte, Bestätigungen, Protokolle und einen sicheren Abbruch.

Auch Daten gehören hierher. Eine öffentliche Produktbeschreibung hat andere Folgen als eine Patientenakte oder ein Kundendokument. Prüfe daher nicht nur die Ausgabe. Prüfe, welche Informationen und Berechtigungen für die Aufgabe überhaupt nötig sind.

Unterstützung, Entwurf, Entscheidungshilfe und selbstständige Handlung

Die vier Rollen schließen sich für einen ersten Einsatz gegenseitig aus. Du ordnest einer abgegrenzten Aufgabe genau eine Rolle zu.

Unterstützung liefert Ideen, Fundstellen oder Prüfschritte. Sie erzeugt keine vollständige Ausgabe, die du direkt ausführen, versenden oder veröffentlichen kannst.

Ein Entwurf ist ein vollständiger Vorschlag. Das System kann ihn nicht selbst wirksam machen. Erst eine Person prüft und genehmigt ihn.

Entscheidungshilfe ordnet Optionen, Belege, Annahmen und mögliche Folgen. Eine qualifizierte Person prüft die Grundlage, trifft die Entscheidung und trägt die Verantwortung dafür.

Bei einer selbstständigen Handlung verändert das System selbst einen Zustand. Als erste Rolle passt das nur zu niedrigen Folgen, eng begrenzten Rechten, einem Protokoll und einer verlässlichen Rücknahme.

Ein Behördenbrief zeigt den Unterschied. Als Unterstützung erklärt das Modell einen Begriff oder nennt eine Fundstelle. Als Entwurf verarbeitet es den Originalbrief, dein Ziel und bestätigte Tatsachen zu einem vollständigen Vorschlag. Frist, Aktenzeichen, Zusagen und rechtliche Aussagen prüfst du vor der Freigabe. Als Entscheidungshilfe kann es Antwortmöglichkeiten und ihre Belege ordnen. Eine qualifizierte Person entscheidet. Der Versand des Briefs ist wegen seiner möglichen Folgen keine passende erste selbstständige Handlung.

Bei der Entscheidungshilfe droht Automatisierungsverzerrung. Der Begriff bezeichnet die Neigung, einer automatischen Empfehlung zu stark zu folgen, auch wenn sie falsch ist.

Hammaad Adam und seine Kollegen prüften diesen Effekt online mit 438 Klinikern und 516 Personen ohne medizinische Fachrolle. Die Teilnehmer sahen acht erfundene Notrufe zu psychischen Krisen und entschieden zwischen medizinischer Hilfe und Polizei. Eine Gruppe erhielt keinen Hinweis. Zwei Gruppen erhielten direkte Empfehlungen, unverzerrt oder verzerrt. Zwei weitere erhielten beschreibende Risikohinweise, ebenfalls unverzerrt oder verzerrt. Verzerrte direkte Empfehlungen verschoben die Entscheidungen von Fachleuten und Laien. Beschreibende Hinweise ohne konkrete Handlungsanweisung hatten diesen Effekt nicht.

Der Versuch nutzte erfundene Fälle und ein absichtlich verzerrtes GPT-2-System. Er bildet keine echte Notrufzentrale ab. Er zeigt aber, warum eine menschliche Freigabe allein noch keine verlässliche Kontrolle ist. Oberfläche und Form der Ausgabe beeinflussen das Urteil.

Für eine erste selbstständige Handlung brauchst du eine engere Aufgabe. Das System kann beispielsweise ein Supportticket nach einer bestätigten Regel intern kennzeichnen. Das Label ist sichtbar, protokolliert und leicht zu entfernen. Zahlungen, Löschungen oder der Versand eines Behördenbriefs gehören nicht in diese erste Rolle.

Fähigkeiten aufbauen, erhalten oder verlieren

Du willst ein neues Thema lernen. Das Modell erklärt den Stoff flüssig, und beim Lesen wirkt alles verständlich. Zwei Stunden später kannst du die Idee nicht selbst erklären. Gute Ausgabe und eigener Kompetenzaufbau sind eben zwei verschiedene Ergebnisse.

Cognitive Offloading bedeutet, geistige Arbeit an äußere Hilfsmittel auszulagern. Auf Deutsch passt „geistige Auslagerung“. Das ist oft sinnvoll. Ein Kalender darf Termine speichern. Eine Tabelle darf lange Zahlen addieren. Du musst nicht jede entlastete Tätigkeit im Kopf behalten.

Problematisch wird die Auslagerung, wenn du genau die ausgelagerte Fähigkeit lernen, erhalten oder später ohne Hilfe ausüben musst. Hamsa Bastani und ihre Kollegen untersuchten das in einem Feldexperiment mit fast 1.000 Schülern der Klassen 9 bis 11 an einer türkischen Schule. Die Klassen wurden einer Kontrollgruppe, einer frei antwortenden GPT-4-Hilfe oder einem Tutor mit von Lehrern entworfenen Hinweisen zugeteilt. In vier Mathematikstunden lösten beide KI-Gruppen die Übungsaufgaben besser. Ohne KI lag die frei antwortende Gruppe in der anschließenden Prüfung 17 Prozent unter der Kontrollgruppe. Beim Tutor mit Lernkontrollen war dieser Nachteil weitgehend verschwunden.

Auch dieser Befund ist eng. Er betrifft Mathematik an einer Schule, vier Sitzungen und zwei konkrete Oberflächen. Er beweist keinen allgemeinen Fähigkeitsverlust durch KI. Er zeigt, dass hohe Leistung mit Hilfe und eigenes Lernen auseinanderfallen können.

Für Wissensarbeit gibt es bisher weniger belastbare Langzeitdaten. Hao-Ping Lee und seine Kollegen befragten 319 Wissensarbeiter zu 936 echten Einsätzen generativer KI. Höheres Vertrauen in die KI hing mit weniger selbst berichteter kritischer Denkarbeit zusammen. Die Studie maß weder objektive Denkleistung noch dauerhaften Kompetenzverlust. Als Befragung kann sie auch keine Ursache beweisen.

Umgekehrt kann Hilfe Fähigkeiten erweitern. Im Kundendienst profitierten unerfahrene Mitarbeiter in der Studie von Brynjolfsson und seinen Kollegen besonders. Der geschützte Mathematiktutor half beim Üben, ohne denselben Nachteil in der Prüfung zu zeigen. Entscheidend waren Aufgabe, Gestaltung und Messung.

Wenn du lernen willst, kannst du den Ablauf so bauen:

1. Skizziere die Lösung zuerst selbst.
2. Lass das Modell Lücken, Fehler und Gegenargumente nennen.
3. Erkläre die Lösung danach in eigenen Worten.
4. Löse eine neue Aufgabe ohne Hilfe.

Das Modell arbeitet dann als Tutor und Gegenleser. Die eigene Übung bleibt sichtbar.

Modell, Kontext, Werkzeuge und Kontrollen folgen der Aufgabe

Erst jetzt wählst du das System. Beginne nicht mit „Wir haben Zugang zu Modell X“. Beginne mit „Wir wollen diese abgegrenzte Aufgabe unter diesen Bedingungen bearbeiten“.

Danach gehst du die Systemkarte aus Kapitel 4 durch:

1. Das Modell muss die Aufgabe mit ausreichender Qualität bearbeiten können.
2. Der Kontext muss die nötigen und gültigen Informationen enthalten.
3. Retrieval oder Werkzeuge müssen aktuelle Quellen, Berechnungen oder Tests liefern, wenn die Aufgabe sie braucht.
4. Die Oberfläche muss Unsicherheit, Quellen und ausstehende Prüfungen sichtbar machen.
5. Kontrollen begrenzen Datenzugriff, Handlungen und Rechte.
6. Die menschliche Verantwortung legt Prüfung, Freigabe und Eskalation fest.

Auch die Betriebsform folgt der Aufgabe. Ein Cloud-Dienst überträgt Eingaben an einen Anbieter. Speicherung und Training hängen von Vertrag, Tarif und Einstellung ab. Ein lokales Modell kann mehr Kontrolle über Daten geben. Datenschutz entsteht dadurch nicht automatisch. Betriebssystem, Protokolle, Sicherungen und Zugriffsrechte bleiben relevant.

Ein multimodales System verarbeitet neben Text auch Bilder oder Ton. Das kann bei Rechnungen, Diagrammen und gesprochenen Notizen helfen. Eine schlecht lesbare Zahl kann trotzdem falsch erkannt werden. Bei wichtigen Angaben vergleichst du den erkannten Inhalt mit dem Original.

Ein stärkeres Modell repariert keine unklare Verantwortung. Ein Werkzeug repariert keine ungeprüften Rechte. Die Systemwahl ist eine Folge der Aufgabenauswahl.

Eine praktische Matrix für die Aufgabenauswahl

Du kannst die sechs Fragen in einer Tabelle zusammenführen. „Niedrig“ und „hoch“ sind keine Naturwerte. Definiere sie für deinen Prozess mit konkreten Folgen und Beispielen.

Eine ungeeignete Aufgabe bekommt keine weich formulierte Freigabe. Du grenzt sie ein und beantwortest die sechs Fragen erneut. Das System darf keine medizinische Dosierung festlegen. Eine engere Aufgabe kann aktuelle Dosierungsquellen für einen Kliniker suchen und abgleichen. Das ist Unterstützung. Auch der automatische Versand an 100.000 Kunden ist kein geeigneter Start. Die engere Aufgabe ist ein einzelner Antwortentwurf, den eine verantwortliche Person vor dem Versand prüft.

Abgegrenzte Aufgabe	Fähigkeit	Folge	Prüfung	Umkehrbar?	Fehler früh erkennbar?	Erste Rolle
Titelideen für einen internen Vortrag liefern	mit echten Fällen leicht testbar	niedrig	Verantwortlicher wählt aus	ja	ja, vor Nutzung	Unterstützung
Supportantwort für einen festgelegten Fall formulieren	pro Fallgruppe testen	mittel	gegen Fall und Richtlinie	ja, vor Versand	ja, vor Freigabe	Entwurf
Ursachen und Tests für einen reproduzierten Programmierfehler nennen	je Bibliothek testen	mittel bis hoch	durch Tests	ja, vor Änderung	ja, durch Testergebnis	Unterstützung
Vertragsfassungen samt Fundstellen vergleichen	Fundstellen testbar	hoch	qualifizierte Fachperson prüft Originale	ja, vor Unterschrift	meist vor Entscheidung	Entscheidungshilfe
Optionen und Belege für eine strategische Entscheidung ordnen	schwer allgemein zu belegen	hoch	qualifizierte Person prüft Quellen	teilweise	oft erst spät	Entscheidungshilfe
Für einen Kliniker aktuelle Dosierungsquellen suchen und abgleichen	pro Fachgebiet und Quelle testen	sehr hoch im späteren Einsatz	Kliniker prüft jede Quelle	ja, keine Dosierungsentscheidung	vor Entscheidung durch Fachprüfung	Unterstützung
Supportticket nach bestätigter Regel intern kennzeichnen	mit gelabelten Fällen testbar	niedrig	Regelprüfung und Stichprobe	ja, Label entfernbar	ja, in Warteschlange und Protokoll	selbstständige Handlung
Für einen geplanten Massenversand einen Antwortentwurf erstellen	mit typischen Fällen testen	hoch durch Reichweite	Verantwortlicher prüft Text und Fall	ja, vor Versand	ja, vor Freigabe	Entwurf

Lies jede Zeile von links nach rechts. Ohne belegte Fähigkeit gibt es keine Freigabe. Die Fehlerfolge setzt die Obergrenze. Die Prüfung nennt ein Kriterium und eine qualifizierte Person. Umkehrbarkeit beschreibt die Rücknahme. Erkennbarkeit zeigt, ob ein Fehler vor seiner Wirkung auffällt. Die letzte Spalte legt genau eine erste Rolle fest.

Folge und Prüfbarkeit ergeben weiterhin eine schnelle Vorauswahl. Hohe Folgen und geringe Prüfbarkeit schließen selbstständige Handlungen aus. Niedrige Folgen und gute Prüfbarkeit reichen dafür aber noch nicht. Fähigkeit, Umkehrbarkeit, Erkennbarkeit und enge Rechte müssen ebenfalls passen.

Zuerst die Aufgabe eingrenzen

Wähle für den Anfang eine Zeile aus der Matrix. Eine Supportantwort als Entwurf ist eine andere Aufgabe als ihr automatischer Versand. Bei einem Entwurf bleibt die Wirkung bis zur Prüfung aus. Beim Versand erreicht jeder Fehler sofort einen Kunden.

Halte die ausgewählte Aufgabe mit Eingabe, gewünschter Ausgabe und genau einer ersten Rolle fest. Nenne auch die Handlungen, die ausdrücklich nicht dazugehören. Wähle erst danach ein Modell oder eine technische Umsetzung.

Ob das gewählte System diese Aufgabe wirklich gut genug erledigt, zeigen feste Vergleichsfälle und Messwerte. Kapitel 16 erklärt diese Prüfung. Kapitel 17 behandelt technische Handlungsgrenzen. Kapitel 18 übernimmt Rückfallweg und Verantwortung im laufenden Betrieb.

Das ist keine langsame Vorstufe zu einer angeblich unvermeidlichen Vollautomatisierung. Für manche Aufgaben bleibt der geprüfte Entwurf dauerhaft die bessere Form.

Von der Aufgabe zum geplanten Systemtest

Nimm eine Aufgabe aus deinem Unternehmen und beantworte diese Fragen:

1. Welche kleine Änderung könnte sie über eine gezackte Fähigkeitsgrenze schieben?
2. Was ist die schwerste mögliche Fehlerfolge?
3. Wer kann das Ergebnis fachlich prüfen, und wie lange dauert das?
4. Wie vollständig lässt sich ein Fehler zurücknehmen?
5. Wird ein Fehler vor seiner Wirkung wahrscheinlich erkannt?
6. Soll das System unterstützen, entwerfen, eine Entscheidung vorbereiten oder selbst handeln?
7. Welche Fähigkeit soll der Mensch dabei aufbauen oder behalten?

Wenn diese Antworten fehlen, ist die Aufgabe noch nicht bereit für die Systemwahl. Wenn sie vorliegen, brauchst du Messwerte statt Bauchgefühl. Kapitel 16 zeigt, wie du aus der gewählten Aufgabe einen Vergleichswert, repräsentative Testfälle, Fehlergruppen und feste Freigabebedingungen machst.