Wie Sprachmodelle funktionieren: Über Wörter im Kopf und Vektoren im Raum

Sie erzählen von einem Film und kommen an die Stelle, an der der Name des Hauptdarstellers fallen muss. Das Gesicht haben Sie vor sich, die etwas zu hohe Stimme haben Sie im Ohr, Sie wissen sogar, mit wem der Mann einmal verheiratet war. Der Name fängt mit K an, er hat drei Silben, die Betonung liegt vorne, und zwei falsche Namen funken hartnäckig dazwischen. Die anderen am Tisch warten. Sie durchsuchen Ihr Gedächtnis von diesem Moment an öffentlich, und das dauert.

Man sagt in solchen Momenten, der Name liege einem auf der Zunge. Das ist eine merkwürdige Ortsangabe für etwas, das dort nicht liegt und überhaupt nirgends liegt. Trotzdem beschreibt die Redensart den Zustand genauer als die Vorstellung, die wir sonst von unserem Wortgedächtnis haben: die eines Nachschlagewerks. In einem Wörterbuch steht ein Eintrag entweder auf der Seite oder er steht nicht dort. Es gibt keinen Eintrag, von dem man den Anfangsbuchstaben kennt, die Silbenzahl und die Betonung, aber nicht das Wort.

Roger Brown und David McNeill haben daraus 1966 ein Experiment gemacht. Sie lasen Studierenden die Definitionen seltener Wörter vor und befragten diejenigen, die in den Zustand gerieten, sehr genau: erster Buchstabe, Anzahl der Silben, Betonungsmuster, ähnlich klingende Wörter, ähnlich bedeutende Wörter. Die Antworten lagen deutlich über dem Zufall (1). Der Zustand hat seither einen Namen, das Zungenspitzenphänomen, er tritt bei Erwachsenen ungefähr einmal pro Woche auf (2), und er beweist ganz nebenbei etwas Grundsätzliches: Wer den Anfangsbuchstaben kennt und das Wort nicht, hat kein Wörterbuch im Kopf.

Die Linguistin Jean Aitchison hat dem menschlichen Wortspeicher ein ganzes Buch gewidmet, das seit 1987 in vier Auflagen erschienen ist und trotz des Themas gut zu lesen ist (3). Ihr Befund, verkürzt: Das mentale Lexikon liegt nicht alphabetisch abgelegt und überhaupt nicht in einer Reihe. Es ist mehrfach geordnet, nach Bedeutung, nach Klang, nach Wortbestandteilen und nach Gebrauchszusammenhang. In den einflussreichsten psycholinguistischen Modellen läuft der Zugriff darauf als Ausbreitung von Aktivierung durch dieses Geflecht und nicht als Suche in einem Verzeichnis.

Der Beleg liegt in den Fehlern. Versprecher greifen fast immer ins Nachbarfeld: Man sagt Gabel statt Löffel, das ist der semantische Nachbar, oder man produziert einen Malapropismus und sagt ein Wort, das ähnlich klingt und etwas anderes bedeutet. Aitchison zeigt außerdem den Badewannen-Effekt: Von einem halb erinnerten Wort behalten wir Anfang und Ende am zuverlässigsten, die Mitte versinkt, wie ein Mensch in der Wanne, aus der Kopf und Füße herausragen. Ein Verzeichnis macht keinen dieser Fehler, es sind durchweg die Fehler eines Geflechts.

Zellig Harris formulierte 1954 die distributionelle Hypothese: Wörter, die in ähnlichen Kontexten vorkommen, haben ähnliche Bedeutungen (4). John Rupert Firth machte daraus 1957 den Satz, den seither jede Einführung in die Computerlinguistik zitiert, man erkenne ein Wort an der Gesellschaft, in der es verkehrt (5). Das war eine linguistische These über menschliche Bedeutung, aufgestellt von jemandem, der von Rechnern nichts wusste und nichts wissen musste.

Auf dieser These beruhen Sprachmodelle, und das mentale Lexikon ist der beste Schlüssel, um ihre Mechanik zu verstehen. Was im Kopf ein Geflecht aus Nachbarschaften ist, wird im Modell zu einer Ortsangabe. Jedes Token bekommt einen Vektor, und der ist weniger unheimlich, als er klingt: eine lange Liste von Zahlen, die als Adresse in einem Raum mit einigen tausend Richtungen dient. Beim Training verschiebt das Modell diese Adressen so lange, bis Wörter, die in ähnlicher Gesellschaft auftreten, nah beieinander liegen, die Gabel beim Löffel, der Arzt bei der Krankenschwester. Mehr ist über Bedeutung nicht hinterlegt. Bedeutung ist hier kein Inhalt, sie ist eine Lage. Frühe Verfahren wie word2vec blieben an diesem Punkt stehen und gaben jedem Wort genau eine solche Adresse (6).

Das hat ein Problem, das jeder kennt, der je ein Wörterbuch benutzt hat: Die Bank im Park und die Bank mit dem Schalterraum sind nicht dasselbe Wort, obschon sie gleich geschrieben werden. Im mentalen Lexikon löst der Kontext das auf, er aktiviert die eine Nachbarschaft und lässt die andere stumm. Ein Transformer, die Architektur hinter den heutigen Modellen, macht sinngemäß dasselbe: Er beginnt mit der festen Adresse eines Tokens und verschiebt sie dann Schicht für Schicht, je nachdem, welche Wörter sonst noch im Satz stehen (7). Nach dem Satz über die Bank am Ufer liegt die Adresse in der Nähe von Parkweg und Holz, nach dem Satz über die Überweisung liegt sie beim Konto. Was im Kopf Aktivierung heißt, heißt im Modell Verschiebung, und Firths Idee ist auf diesem Weg beweglich geworden.

In beiden Beschreibungen wird Bedeutungsnähe zu Nachbarschaft, einmal als Assoziationsgeflecht im Kopf, einmal als Vektorraum im Rechenzentrum. Der Raum ist dabei auf der menschlichen Seite eine Modellierung und keine anatomisch vermessene Karte, was man beim Vergleich mitdenken sollte.

Auch das Priming hat auf beiden Seiten eine Entsprechung. Meyer und Schvaneveldt zeigten 1971, dass Versuchspersonen das Wort Krankenschwester schneller als Wort erkennen, wenn kurz zuvor Arzt gefallen ist (8). Das Netz war schon aktiviert, bevor die Aufgabe kam. Was der Kontext im Prompt-Fenster mit einem Modell macht, hat dieselbe Form, und was Priming mit Menschen auf einer Website macht, haben wir im Priming-Artikel beschrieben.

Das Kohortenmodell der Worterkennung, das William Marslen-Wilson 1987 in seiner ausgereiften Fassung vorgelegt hat, beschreibt das Hören eines Wortes als fortlaufendes Aussortieren (9). Bei den ersten Lauten sind noch viele Kandidaten aktiv, mit jedem weiteren Laut fallen welche heraus. Der Mensch wartet nicht, bis das Wort zu Ende gesprochen ist. Er rechnet mit.

Hier ist Vorsicht geboten, denn die naheliegende Gleichsetzung trägt nicht. Die Parallele liegt nicht im Verfahren, sondern in der Zeitlichkeit. Das Kohortenmodell beschreibt, wie ein Hörer ein bereits begonnenes Wort identifiziert, und die Kandidatenmenge schrumpft dabei auf einen Treffer zusammen. Ein Sprachmodell sagt die nächste Einheit voraus, und seine Verteilung kann sich mit jedem Token vollständig neu ordnen. Gemeinsam ist beiden allein, dass sie Sprache Stück für Stück verarbeiten und dass jede neue Einheit das Feld des Erwartbaren verschiebt.

Wo die Verbindung wirklich gemessen wird, heißt sie Surprisal. John Hale hat 2001 vorgeschlagen und Roger Levy 2008 ausgearbeitet, den Verarbeitungsaufwand eines Wortes als seine negative logarithmische Wahrscheinlichkeit im gegebenen Kontext zu beschreiben: Je unerwarteter ein Wort, desto teurer ist es für den Leser (10). Das ist deshalb bemerkenswert, weil diese Wahrscheinlichkeit heute routinemäßig mit Sprachmodellen berechnet und gegen die Blickbewegungen echter Leser geprüft wird, womit die Modelle in dieser Forschung als Messinstrument dienen und nicht als Vergleichsobjekt.

Der Mensch am Tisch merkt, dass ihm etwas fehlt, und er merkt sogar, welche Form das Fehlende hat. Die Lücke ist als Lücke da. Sie unterbricht das Sprechen, sie ist unangenehm, man kann sie aushalten, weitersuchen oder den Satz anders führen und das Wort umgehen.

Ein Sprachmodell hat nichts auf der Zunge. Es hat keine Zunge, und ihm fehlt auch nichts. Schon das Fehlen ist eine menschliche Deutung dessen, was rechnerisch eine Verteilung von Wahrscheinlichkeiten ist. Ein Modell kann Unsicherheit formulieren, wenn man es dazu anhält, und mitunter trifft die Formulierung zu. Innehalten kann es deswegen nicht.

Auch der Malapropismus ist kein Wissensproblem, und das ist wichtig für den Vergleich. Er ist ein Fehlgriff bei der Auswahl oder in der Lautplanung: Das Wort war da, die falsche Nachbarschaft war schneller. Wer das mit einer maschinellen Falschaussage gleichsetzt, hat zwei verschiedene Vorgänge in einen Topf geworfen, die sich nur im Ergebnis ähneln.

Das Wort steht am vorläufigen Ende einer sehr langen Reihe. Douwe Draaisma hat die Geschichte der Gedächtnismetaphern nachgezeichnet, von der Wachstafel bei Platon über das Buch und die Fotografie bis zum Computer und zum Hologramm (11). Jede Epoche erklärt das Gedächtnis mit dem fortschrittlichsten Speicher ihrer Zeit. Inzwischen läuft die Reihe rückwärts, und wir erklären den Rechner mit dem Gedächtnis. Dass die Branche für seine Fehler dann in die Psychiatrie gegriffen hat, ist von dort aus keine Überraschung.

Eine Halluzination ist eine Wahrnehmungsstörung. Wer halluziniert, sieht oder hört etwas, das nicht da ist. Ein Sprachmodell nimmt nichts wahr, es hat keine Sinne, und im medizinischen Wortsinn kann es darum gar nicht halluzinieren. Andrew Smith, Felix Greaves und Trishan Panch haben 2023 in PLOS Digital Health vorgeschlagen, aus demselben psychiatrischen Vokabular den passenderen Begriff zu nehmen: Konfabulation (12).Konfabulieren heißt, eine Lücke mit einer plausiblen Erzählung zu schließen, ohne Täuschungsabsicht und ohne es selbst zu merken.

Der Beitrag der drei ist ein dreiseitiger Standpunkt und keine empirische Untersuchung, und die Autoren selbst sprechen von der treffenderen Metapher. Das ist die ehrliche Beschreibung, denn auch Konfabulation ist ein menschlicher Begriff: Er setzt Gedächtnis voraus, ein Verhältnis zu sich selbst und die Abwesenheit von Absicht. Nichts davon lässt sich einfach übertragen. Lujain Ibrahim und Myra Cheng haben 2026 gezeigt, wie stark vermenschlichende Terminologie in der Forschungsliteratur zugenommen hat, und vor einer Nebenwirkung gewarnt: Solche Wörter beschreiben nicht nur. Sie bestimmen die Fragen mit, die anschließend überhaupt gestellt werden (13).

Konfabulation ist nicht der wörtlich richtige Ausdruck, den gibt es für diesen Vorgang vermutlich nicht. Er ist die produktivere Metapher, weil er zu den besseren Fragen führt. Wer eine Wahrnehmungsstörung vermutet, sucht den Fehler im Sensor. Wer eine Konfabulation vermutet, sucht ihn in der fehlenden Rückbindung an Belege.

Für Organisationen, die Auskünfte über Beitragsordnungen, Fristen oder Behandlungswege erteilen, ist das die praktisch entscheidende Weichenstellung. Die Falschaussage ist im Einsatz ein Fehler, aber kein rätselhafter Ausnahmezustand: Sie stammt aus einem System, dessen Aufgabe die plausible Fortsetzung ist und nicht die selbstständige Wahrheitsprüfung. Quellen mitzuliefern und Aussagen an abrufbare Dokumente zu binden, hilft deshalb spürbar, beseitigt das Problem aber nicht. Modelle können bereitgestellte Belege übergehen, falsch gewichten oder mit Gelerntem vermischen; die Forschung führt Retrieval folgerichtig unter Gegenmaßnahmen und nicht unter Heilung (14).

Nebenbei hätte auch das Lateinische ausgeholfen. „Lernen" gehört mit „lehren" und dem verschwundenen mittelhochdeutschen leis „Spur" zu derselben Wurzel wie das „Gleis", indoeuropäisch leis-, die am Boden gezogene Furche. Zur selben Familie gehört lateinisch lira, die Ackerfurche, und dēlīrus heißt bei Pfeifer wörtlich „geistig aus dem Gleis gekommen" (15). Wer lernt, folgt demnach einer Spur, und wer die Spur verlässt, deliriert.

Das menschliche Lexikon ist verkörpert. Das Wort Zitrone hängt bei Ihnen an einer Frucht, die jemand auf einem Brett angeschnitten hat. Die Finger riechen danach. In einer kleinen Schnittwunde am Daumen brennt der Saft. Vielleicht hängt daran auch ein Sommer, eine Reise oder der Kuchen einer Person, die es nicht mehr gibt.

Stevan Harnad hat das Problem 1990 auf den Begriff gebracht und Symbol Grounding genannt: Ein System, das Zeichen nur durch andere Zeichen erklärt, hat nirgends Boden unter den Füßen (16). Ein reines Sprachmodell weiß, dass die Zitrone gelb ist, sauer, mediterran und reich an Vitamin C, es kennt Rezepte, Stillleben und Redensarten. Nur ist ihm noch nie Saft in einen Schnitt am Finger geraten. Multimodale Systeme haben Bild und Ton dazubekommen, was den Abstand verkleinert und die Sache nicht erledigt.

Die zweite Differenz ist unspektakulärer und wirkt tiefer. Aitchison unterscheidet zwischen Wörtern und Morphemen als Speichereinheiten, also zwischen ganzen Wörtern und ihren bedeutungstragenden Teilen. Sprachmodelle folgen einem dritten Kriterium: der statistischen Häufigkeit im Trainingsmaterial. Der Tokenizer trennt, wo es sich rechnet, und nicht, wo eine Bedeutungsgrenze verläuft. Kopf und Modell schneiden dieselbe Sprache an verschiedenen Stellen auseinander, und das ist beim Vergleich der beiden Systeme kein Detail.

Damit steht Firths Satz plötzlich schärfer da, als er 1957 gemeint war. Für uns beschreibt er einen Weg unter mehreren, auf dem Bedeutung sich stabilisiert. Für ein Sprachmodell ist er die vollständige Auskunft.

Wir haben Wörter und daneben eine Welt. Das Modell kennt die Gesellschaft, in der die Zitrone verkehrt. Die Zitrone kennt es nicht.