Bedeutung als Geometrie: Embeddings

Ähnliche Supportfälle ohne gleiche Wörter finden

In eurem Support liegen 80.000 alte Tickets. Eine Kundin schreibt: „Die Anmeldung lädt ewig und bricht dann ab.“ Vor sechs Monaten gab es bereits einen passenden Fall. Dort stand aber: „Beim Login tritt nach 30 Sekunden eine Zeitüberschreitung auf.“

Eine Suche nach gleichen Wörtern hat es hier schwer. „Anmeldung“ und „Login“ meinen in diesem Zusammenhang fast dasselbe. „Lädt ewig“ beschreibt ungefähr das Problem, das im alten Ticket „Zeitüberschreitung“ hieß. Eine gute Stichwortsuche kann Synonyme und Wortstämme ergänzen. Sie kennt aber nicht automatisch jede Formulierung aus eurem Alltag.

Ein Embedding-Modell verfolgt einen anderen Ansatz. Es übersetzt jeden Text in eine gelernte Zahlenliste. Texte mit ähnlicher Verwendung sollen dabei vergleichbare Zahlenmuster bekommen. Du kannst dann nach Tickets suchen, deren Zahlenlisten dem neuen Fall nahekommen.

Diese Nähe ist immer eine Näherung. Das Modell beweist weder die gleiche Ursache noch die gleiche Lösung. Es liefert Kandidaten, die du anschließend prüfen oder in einem verlässlichen Prozess weiterverarbeiten kannst.

Im letzten Kapitel wurde Text zu Token-IDs. Eine Token-ID ist nur eine Adresse im Vokabular. Dieses Kapitel beginnt beim nächsten Schritt: Aus einer Adresse wird eine gelernte Darstellung.

Ein Vektor ist eine geordnete Liste von Zahlen

Nehmen wir einen stark verkürzten Vektor mit vier Werten: 0,12 | -0,47 | 0,08 | 0,91. Die Reihenfolge gehört zur Darstellung. Vertauschst du zwei Werte, hast du einen anderen Vektor.

Ein Vektor ist eine geordnete Liste von Zahlen. Jede Stelle in der Liste heißt Dimension. Das Wort klingt größer, als die Sache an dieser Stelle ist. Ein Vektor mit vier Zahlen hat vier Dimensionen. Ein Modell kann Vektoren mit einigen Hundert oder mehreren Tausend Dimensionen verwenden.

Du kannst dir einen Vektor näherungsweise als Punkt vorstellen. Mit zwei Zahlen lässt sich der Punkt auf einem Blatt einzeichnen. Drei Zahlen ergeben ein räumliches Bild. Bei Hunderten Zahlen funktioniert die Zeichnung nicht mehr. Die Rechenregeln für Abstand und Richtung bleiben trotzdem nutzbar.

Die einzelnen Dimensionen sind keine von Menschen beschrifteten Regler. Dimension 17 bedeutet nicht automatisch „Vertrag“ und Dimension 204 nicht „verärgert“. Gelernte Eigenschaften verteilen sich meist über viele Stellen. Eine Stelle kann zugleich an mehreren Mustern beteiligt sein.

Auch die Token-ID ist eine Zahl, aber sie erfüllt eine andere Aufgabe. Nehmen wir an, „Bank“ hat in einem Vokabular die ID 6.320. Diese Zahl bezeichnet eine Tabellenzeile. Erst die dort gespeicherte Zahlenliste ist der Vektor, mit dem das Modell weiterrechnet.

Ein Embedding ordnet gelernte Darstellungen in einem gemeinsamen Raum an

Nehmen wir wieder die Wörter Hund, Katze, Wolf und Auto. Ein Trainingsverfahren sieht Hund oft in der Nähe von Leine, bellen oder Pfote. Katze erscheint bei Fell, Tier oder füttern. Wolf teilt einige dieser Umgebungen, kommt aber häufiger mit Wald oder Rudel vor. Auto erscheint in anderen Zusammenhängen.

Aus solchen Mustern kann das Training Vektoren lernen. Die Zuordnung eines Worts, Tokens, Satzes oder anderen Objekts zu einem Vektor heißt Embedding. Das englische Wort bedeutet ungefähr Einbettung. Eingebettet wird die gelernte Darstellung in einen gemeinsamen Zahlenraum. Einen solchen Raum nennen wir Embedding-Raum.

Die Idee hinter diesem Lernen heißt distributionelle Semantik. Sie beschreibt sprachliche Bedeutung anhand der Umgebungen, in denen Ausdrücke vorkommen. Der britische Linguist John Rupert Firth formulierte 1957 sinngemäß, dass du ein Wort an seiner Gesellschaft erkennst.

Spätere Verfahren machten diese Idee berechenbar. Das neuronale Sprachmodell von Bengio und Kollegen lernte bereits 2003 verteilte Wortdarstellungen zusammen mit der Wortvorhersage. word2vec lernte 2013 effizient aus der Vorhersage eines Worts oder seiner Umgebung. GloVe verwendete 2014 Häufigkeiten gemeinsamer Vorkommen im gesamten Textbestand. Die Verfahren unterscheiden sich. Gemeinsam ist ihnen, dass niemand die Koordinaten von Hand als Themen beschriftet.

Das Bild eines Raums hilft, hat aber Grenzen. Hund und Katze können in einem trainierten Raum nahe liegen. Gegensätze wie heiß und kalt können ebenfalls nahe liegen, weil sie in ähnlichen Sätzen stehen. Geometrische Nähe bedeutet deshalb eher ähnliche statistische Verwendung als gleiche menschliche Bedeutung.

Ein Embedding ist eine gelernte Darstellung. Es ist keine vollständige Definition des dargestellten Inhalts.

Abstand und Ähnlichkeit

Nehmen wir drei eingebettete Supporttickets. Zwei beschreiben abgebrochene Anmeldungen. Das dritte handelt von einer falschen Rechnung. Für die Suche brauchst du nun eine Regel, mit der du ihre Vektoren vergleichst.

Eine Möglichkeit ist der gewöhnliche Abstand zwischen zwei Punkten. Bei Vektoren heißt dieses Maß euklidischer Abstand. Ein kleiner Wert bedeutet, dass die Punkte im verwendeten Raum nahe beieinanderliegen. Ob diese Nähe auch fachlich nützlich ist, hängt vom Modell und von euren Daten ab.

Ein anderes Maß ist die Kosinusähnlichkeit. Sie vergleicht vor allem die Richtung zweier Vektoren. Für zwei Vektoren mit einer Länge größer als null liegt der mathematische Wert zwischen -1 und +1. +1 steht für dieselbe Richtung. -1 steht für entgegengesetzte Richtungen. Normalisierung bedeutet hier, jeden Wert eines Vektors durch seine Gesamtlänge zu teilen. Der Vektor behält seine Richtung und erhält die Länge eins. Manche Systeme rechnen aus der Kosinusähnlichkeit eine Distanz oder verwenden solche normalisierten Vektoren. Die angezeigten Zahlen sind deshalb nicht zwischen Produkten austauschbar.

Ein hoher Wert ist auch keine feste Zusage für inhaltliche Gleichheit. Der sinnvolle Grenzwert hängt von der Aufgabe ab. Für eine Empfehlung darf eine grobe Verwandtschaft reichen. Beim Zusammenführen zweier Kundendatensätze kann derselbe Fehler teuer werden.

Vergleiche außerdem nur Vektoren, die für diesen Vergleich gedacht sind. Vektoren aus zwei verschiedenen Modellen leben in unterschiedlichen gelernten Räumen. Selbst zwei Versionen derselben Modellfamilie können andere Koordinaten erzeugen. Die Zahlen passen dann nicht direkt zusammen.

Abstand und Ähnlichkeit sind Messregeln innerhalb eines bestimmten gelernten Raums. Sie sind keine allgemeine Skala für Wahrheit oder Bedeutung.

Statische Wort-Embeddings und kontextabhängige Darstellungen

Nehmen wir den Satz „Wir überweisen das Geld an die Bank.“ Ein statisches Wort-Embedding gibt dem Wort „Bank“ immer denselben Vektor. Im Satz „Wir sitzen auf der Bank im Park“ wäre es genau derselbe.

Statisch bedeutet hier: Ein Eintrag im Vokabular hat eine feste gelernte Darstellung. Frühe verteilte Wortdarstellungen gab es lange vor den bekannten Modellen der 2010er Jahre. word2vec und GloVe machten statische Wortvektoren dann besonders verbreitet. Für jedes Wort im jeweiligen Vokabular stand ein kontextunabhängiger Vektor bereit.

Ein modernes Sprachmodell beginnt ähnlich. Seine Embedding-Tabelle enthält für jede Token-ID einen festen Grundvektor. Die Tabelle gehört zu den Gewichten des Modells. Wenn du ein offenes Modell herunterlädst, ist sie ein Teil der großen Sammlung gelernter Zahlen.

Der Tokenizer bleibt davon getrennt. Seine Dateien enthalten das Vokabular, Regeln für die Zerlegung und besondere Tokens. Die ID aus dem Tokenizer wählt eine Zeile der Embedding-Tabelle. Erst danach arbeiten die Rechenschichten mit dem ausgewählten Vektor weiter.

Der feste Vektor ist also der Startpunkt. Nach der ersten Schicht ist die Darstellung einer Tokenposition bereits vom sichtbaren Satz abhängig. Jede weitere Schicht kann sie erneut verändern. Diese späteren Vektoren heißen kontextabhängige oder kontextuelle Darstellungen.

Die Unterscheidung ist wichtig: Ein statisches Embedding gehört dauerhaft zu einem Eintrag. Eine kontextabhängige Darstellung entsteht erst für eine konkrete Tokenposition in einer konkreten Eingabe.

Mehrdeutigkeit und der Einfluss des Kontexts

Das Wort „Bank“ hat mehrere Bedeutungen. Diese Eigenschaft heißt Polysemie. Ein statischer Wortvektor muss die Verwendungen als Finanzinstitut und Sitzmöbel in einer einzigen Darstellung zusammenfassen.

Kontextabhängige Modelle können die beiden Fälle trennen. ELMo führte 2018 Wortdarstellungen ein, die vom vollständigen Eingabesatz abhängen. BERT verband 2019 jede Position in allen Schichten mit dem linken und rechten Kontext. Ein erzeugendes Sprachmodell arbeitet anders. Bei der Vorhersage des nächsten Tokens darf es nur die bisherigen Positionen berücksichtigen. In beiden Fällen verändert der erlaubte Kontext die Darstellung.

Die Reihenfolge gehört ebenfalls dazu. „Der Hund beißt den Mann“ bedeutet etwas anderes als „Der Mann beißt den Hund“. Beide Sätze enthalten fast dieselben Token-Embeddings. Das Modell braucht deshalb Positionsinformationen.

Der ursprüngliche Transformer addierte ein berechnetes Positionsmuster zu den Eingabe-Embeddings. Andere Architekturen lernten solche Positionsvektoren. Viele neuere Modelle verwenden Rotary Position Embeddings, kurz RoPE. Dabei wirkt die Position innerhalb einer späteren Vergleichsrechnung auf bestimmte Vektoren. RoPE dreht nicht einfach den festen Grundvektor in der Embedding-Tabelle.

Abbildung 4: Vereinfachtes Schema. Die Token-ID 6.320 wählt denselben festen Grundvektor. Positionsinformation und Transformer-Schichten erzeugen daraus unterschiedliche Darstellungen für „Bank“ als Finanzinstitut oder Sitzmöbel. Die genaue Einbindung der Position hängt von der Architektur ab.

Bei einer lokalen Ausführung liegen diese Zwischenwerte während der Rechnung im Arbeitsspeicher. Sie werden dadurch nicht zu neuen Gewichten des Modells. Ein Cloud-Dienst kann Eingaben und Antworten unabhängig davon protokollieren oder als Verlauf speichern. Das ist eine Frage des Dienstes und seiner Einstellungen, keine Eigenschaft des Embeddings.

Embedding-Modelle für Suche und Gruppierung

Nehmen wir wieder das neue Supportticket. Für die Suche brauchst du meistens keinen Vektor für jedes einzelne Wort. Ein spezialisiertes Embedding-Modell bildet die gesamte Anfrage als einen Vektor ab. Dasselbe geschieht vorher mit jedem vorhandenen Ticket.

Solche Satz- oder Text-Embeddings sind für Vergleiche ganzer Textstellen trainiert. Sentence-BERT zeigte 2019 einen Ansatz, mit dem sich Sätze einzeln berechnen und anschließend per Kosinusähnlichkeit vergleichen lassen. Offizielle Embedding-Dienste nennen heute unter anderem Suche, Gruppierung, Empfehlungen und Klassifikation als Anwendungen.

Du kannst dafür auch interne Darstellungen aus einem großen Sprachmodell verwenden. Ein spezialisiertes Embedding-Modell hat aber einen anderen Trainingszweck. Es soll ganze Texte für Ähnlichkeitsvergleiche oder den Abruf passender Inhalte abbilden. Sentence-BERT verkürzte in einem Versuch die Suche nach dem ähnlichsten Paar unter 10.000 Sätzen von rund 65 Stunden mit BERT auf etwa fünf Sekunden. Das ist ein Ergebnis für diesen Aufbau, keine allgemeine Rangliste. Bei großen Beständen kann ein spezialisiertes Modell die Suche deshalb deutlich schneller und günstiger machen. Es ist aber nicht automatisch kleiner oder qualitativ besser. Welches Modell eure Suche trägt, prüfst du mit echten Anfragen und passenden Treffern aus eurem Unternehmen.

Ein Vektorindex ist eine Datenstruktur für die schnelle Suche nach nahen Vektoren. Eine Vektordatenbank verbindet einen solchen Index mit Datenbankfunktionen. Du brauchst dafür nicht zwingend ein eigenes Datenbankprodukt. Auch klassische Datenbanken können einen Vektorindex anbieten.

Der Suchablauf besteht aus fünf Schritten:

1. Du zerlegst eure Dokumente oder Tickets in sinnvolle Einheiten.
2. Das Embedding-Modell berechnet für jede Einheit einen Vektor.
3. Ein Vektorindex speichert diese Vektoren zusammen mit Verweisen auf die Originale.
4. Für eine neue Anfrage entsteht ein weiterer Vektor.
5. Der Index liefert nahe Kandidaten zurück.

Bei der Gruppierung, oft Clustering genannt, sucht ein Verfahren Gruppen ähnlicher Vektoren. So kannst du vielleicht erkennen, dass sich viele Tickets um Anmeldung, Rechnungen oder Versand drehen. Das Modell kennt eure Kategorien dabei nicht automatisch. Die Gruppen entstehen aus seinen Ähnlichkeiten und den gewählten Einstellungen. Du musst ihnen anschließend eine fachliche Bedeutung geben.

Eine Suche kann Embeddings mit Stichwörtern verbinden. Die Stichwortsuche findet Artikelnummern, Namen und genaue Formulierungen oft besser. Die Vektorsuche findet verwandte Umschreibungen. Eine gemeinsame Rangfolge nutzt beide Signale.

Embedding-Suche ist auch ein Baustein für Retrieval-Augmented Generation, kurz RAG. Dabei sucht eine Anwendung passende Quellen und gibt sie einem Sprachmodell als Kontext. Den vollständigen Ablauf betrachten wir in Kapitel 13. Ein Treffer im Vektorraum ist dabei noch kein Beleg für eine korrekte Antwort.

Dieselbe Grundidee trägt Empfehlungen, die Suche nach sinngleichen Passagen und die Erkennung möglicher Duplikate. Sie lässt sich außerdem auf andere Datenarten übertragen. CLIP und CLAP sind Beispiele für gemeinsam kontrastiv gelernte Räume. Beim kontrastiven Training rücken passende Bild-Text- oder Audio-Text-Paare näher zusammen. Unpassende Paare sollen weiter auseinanderliegen. Ein Bild-Encoder oder Audio-Encoder ist dabei ein Netz, das die jeweilige Eingabe in Zahlen übersetzt. Der gemeinsame Raum ermöglicht anschließend eine Textsuche nach passenden Bildern oder Tönen.

Ein multimodales Sprachmodell kann anders aufgebaut sein. Bei manchen dieser Modelle verarbeitet zuerst ein Bild-Encoder das Bild. Eine gelernte Verbindung passt seine Werte an und führt sie in die Berechnung des Sprachmodells ein. Flamingo ist ein Beispiel dafür. Dort verdichten neu trainierte Zwischenschichten die Werte eines vortrainierten Bild-Encoders und verbinden sie über gelernte Gewichtungen mit einem Sprachmodell. Andere multimodale Sprachmodelle verwenden andere Verbindungen oder gemeinsame Architekturen. Es gibt dafür keinen einheitlichen Bauplan.

Die Grenzen von Karten, Dimensionen und Vektorrechnungen

Nehmen wir 10.000 Ticket-Embeddings mit jeweils Hunderten Zahlen. Für eine Präsentation soll daraus eine Karte mit zwei Achsen werden. Das geht, aber die Karte zeigt eine verdichtete Sicht.

Verfahren wie die Hauptkomponentenanalyse, kurz PCA, oder t-SNE rechnen viele Dimensionen auf zwei oder drei herunter. PCA sucht große Richtungen der Streuung. t-SNE versucht vor allem, lokale Nachbarschaften sichtbar zu machen. Beide Verfahren werfen Informationen weg. Abstände können sich verändern. Scheinbar saubere Inseln auf der Karte müssen im ursprünglichen Raum nicht ebenso klar getrennt sein.

Auch die Achsen des ursprünglichen Raums haben keine einfachen Namen. Eigenschaften wie Grammatik, Thema oder Stil können als verteilte Muster und Richtungen auftreten. Die Forschung zur mechanistischen Interpretierbarkeit untersucht solche internen Merkmale genauer. Einzelne Neuronen können auf mehrere unterschiedliche Muster reagieren. Dafür wird der Begriff Polysemantik verwendet. Kapitel 12 geht darauf ausführlich ein.

Schon frühe Wortvektor-Arbeiten verwendeten sehr unterschiedliche Breiten. In veröffentlichten Versuchen finden sich einige Dutzend, einige Hundert und mehr als tausend Dimensionen. Die oft genannte Spanne von 50 bis 300 beschreibt daher einige bekannte Modelle, aber keinen allgemeinen Standard. Mehr Dimensionen brauchen mehr Speicher und Rechenarbeit. Sie machen die Darstellung nicht automatisch verständlicher oder besser.

Nun zur bekannten Vektorrechnung. In einer Arbeit von 2013 lag das Ergebnis dieser Rechnung nahe beim gesuchten Wort:

Vektor König minus Vektor Mann plus Vektor Frau ergibt ungefähr den Vektor Königin.

Ähnliche Beispiele verwenden Paris, Frankreich, Italien und Rom. Solche Ergebnisse zeigen, dass bestimmte Beziehungen in manchen statischen Wortvektoren ungefähr als Richtungen auftreten. Sie sind kein Rechengesetz für Bedeutung. Bereits die ursprünglichen Versuche lösten nur einen Teil ihrer Analogiefragen richtig. Andere Datensätze, Sprachen, Trainingsverfahren oder Wörter ergeben andere Richtungen.

Vektorrechnungen und Karten sind Anschauungen für gelernte statistische Beziehungen. Behandle sie nicht als garantierte Eigenschaften eines beliebigen Embedding-Modells.

Embeddings im Betrieb prüfen

Nehmen wir an, eure Supportsuche liefert zu jeder Anfrage fünf alte Fälle. Im Vorführtermin sehen die Treffer ordentlich aus. Das reicht nicht für die Entscheidung über den Betrieb.

Baue zuerst eine kleine Prüfsammlung aus echten Anfragen. Fachleute markieren, welche alten Fälle wirklich helfen. Miss danach, wie oft unter den ersten fünf Treffern mindestens ein passender Fall liegt. Prüfe zusätzlich, wie oft unpassende oder veraltete Fälle weit oben landen. Wiederhole das für kurze Meldungen, lange Beschreibungen, Tippfehler, Produktnamen und die Sprachen eurer Kunden.

Vergleiche die Embedding-Suche mit einer brauchbaren Stichwortsuche. Oft ist die Verbindung beider Verfahren besser als eines allein. Das gilt besonders für genaue Nummern und seltene Eigennamen. Eine schöne Vektorkarte ersetzt diesen Vergleich nicht.

Für die Erkennung von Duplikaten brauchst du einen eigenen Grenzwert. Zwei fast gleiche Tickets dürfen vielleicht zusammengefasst werden. Zwei ähnliche Verträge oder Kundenakten dürfen es nicht ohne weitere Prüfung. Kombiniere Embeddings dort mit exakten Merkmalen, Regeln und einer fachlichen Freigabe. Ein Hash ist ein kurzer berechneter Prüfwert für Daten. Gleiche Dateien ergeben mit demselben Verfahren denselben Hash und lassen sich damit exakt wiedererkennen. Ein Embedding findet eher sinngleiche Inhalte. Das sind verschiedene Aufgaben.

Prüfe auch Verzerrungen. Embeddings übernehmen statistische Beziehungen aus ihren Trainingsdaten. Forschung an Wortvektoren hat beispielsweise geschlechtsspezifische Stereotype in geometrischen Beziehungen gefunden. In eurem System können andere Verzerrungen wichtiger sein: eine Sprache liefert schlechtere Treffer, Beschwerden bestimmter Kundengruppen werden falsch gebündelt oder historische Entscheidungen erscheinen wegen ihrer Häufigkeit besonders passend.

Solche Fehler findest du nicht mit einem einzigen Durchschnittswert. Teile die Ergebnisse nach Sprache, Produkt, Dokumenttyp und anderen fachlich begründeten Gruppen auf. Prüfe sensible Fälle gesondert. Die Einteilung selbst muss zulässig und sinnvoll sein.

Berechtigungen gelten vor der Suche. Ein naher Vektor darf keinen Zugriff auf ein gesperrtes Dokument schaffen. Filtere den erlaubten Bestand für die jeweilige Person oder stelle auf andere Weise sicher, dass unzulässige Treffer gar nicht ausgegeben werden.

Speichere außerdem Modellname, Version und Einstellungen zu jedem Vektorbestand. Wechselst du das Embedding-Modell, musst du die vorhandenen Dokumente normalerweise neu einbetten. Alte und neue Vektoren lassen sich nicht einfach mischen. Teste die neue Version gegen dieselbe Prüfsammlung, bevor du den Index austauschst.

Retrieval-Qualität entsteht aus Modell, Datenzuschnitt, Suchverfahren, Berechtigungen und Prüfung. Der Vektor allein löst den Prozess nicht.

Prüfe Nähe als Kandidatensuche

Du kannst die Grundidee nun an fünf Fragen prüfen:

1. Was unterscheidet eine Token-ID von einem Embedding-Vektor?
2. Warum ist ein Embedding-Raum gelernt und nicht von Menschen beschriftet?
3. Was unterscheidet statische und kontextabhängige Darstellungen?
4. Warum ist ein hoher Ähnlichkeitswert kein Beweis für gleiche Bedeutung?
5. Welche Prüfungen braucht eine Embedding-Suche im Unternehmen?

Ein Embedding übersetzt einen Token oder ganzen Text in eine geordnete Zahlenliste. Abstand und Richtung machen gelernte Beziehungen vergleichbar. Die Geometrie bleibt dabei eine Näherung aus Trainingsdaten. Dimensionen sind keine lesbaren Themen. Karten verlieren Information. Analogie-Rechnungen funktionieren nur unter bestimmten Bedingungen.

Im Sprachmodell ist der feste Eingabevektor erst der Anfang. Der Satz „Wir sitzen auf der Bank“ verlangt eine andere Darstellung als „Wir überweisen an die Bank“. Dafür müssen Tokenpositionen Informationen aus ihrem Kontext aufnehmen.

Wie entscheidet das Modell, welche früheren Positionen für eine aktuelle Position wichtig sind? Dafür verwendet der Transformer Attention. Attention ist eine gelernte Gewichtungsrechnung. Damit kann eine Tokenposition Informationen aus anderen Positionen aufnehmen. Kapitel 7 verfolgt diesen Rechenweg Schritt für Schritt.