Wie Sprachmodelle trainiert werden: Über Annotatoren, RLHF und Stil

Vier Jahre lang begann der Arbeitstag von Ramses in Barquisimeto vor dem Rechner. Er öffnete die Plattform Remotasks und zog Rahmen um Objekte auf Straßenfotos: Bäume, Laternenmasten, Fußgänger, Stoppschilder, damit autonome Fahrzeuge lernen, sie ebenfalls zu bemerken. Gearbeitet hat er, wie er dem Magazin Rest of World erzählte, von Sonntag bis Sonntag (1). Bild für Bild, tausendfach dieselben Motive, vier Jahre lang. Die Straßen, die er beschriftete, hat er nie betreten. Ihre Ampeln, Schilder und Zebrastreifen dürfte er dennoch genauer kennen als manche, die täglich über sie hinweggehen.

Warum diese Arbeit ausgerechnet in Venezuela landete, hat Florian A. Schmidt von der HTW Dresden 2019 für die Hans-Böckler-Stiftung untersucht. Als die Automobilindustrie ab 2017 sprunghaft präzise Trainingsdaten nachfragte, suchten mindestens 200.000 Menschen aus dem Land auf den entsprechenden Plattformen Arbeit: gut ausgebildet, gut vernetzt und von der Hyperinflation ausgezehrt. Der internationale Wettbewerb drückte die Stundenlöhne auf ein bis zwei Euro (2).

Die Berufsbezeichnung von Ramses lautet Annotator.

Annotare setzt sich aus ad und notare zusammen; notare wiederum geht auf nota, das Merkzeichen, zurück. Annotieren heißt wörtlich: an den Rand schreiben. Die Annotation stand über Jahrhunderte neben einem Text, der schon da war, als Randbemerkung, Glosse, Kommentar. Das Wort sagt: Hier ist die Hauptsache, und daneben, kleiner, steht eine Notiz dazu.

Beim Training von KI-Systemen ist dieses Verhältnis umgekippt. Die Notiz ist die Hauptsache. Ob ein Umriss auf dem Foto einen Fußgänger oder einen Laternenmast zeigt, ob eine Äußerung beleidigend oder harmlos ist, ob eine Antwort hilfreich oder ausweichend wirkt: Diese Entscheidungen sind das Material, aus dem die Systeme lernen. Die Person heißt nach der Randnotiz, obwohl ihre Entscheidung im Zentrum steht. Je wichtiger die menschliche Leistung für das Produkt wird, desto eher verschwindet sie hinter einer technischen Tätigkeitsbezeichnung.

Wie diese Arbeit organisiert ist, hat das Magazin TIME im Januar 2023 dokumentiert. Für OpenAI beschrifteten Beschäftigte des Unternehmens Sama in Nairobi Zehntausende Textausschnitte, darunter Schilderungen von Missbrauch, Folter und Suizid, damit ein Filter lernen konnte, solche Inhalte zu erkennen. Der Nettostundenlohn lag je nach Erfahrung zwischen 1,32 und 2 Dollar (3). Aus der Tätigkeit der alexandrinischen Gelehrten, die Scholien an die Ränder ihrer Homer-Handschriften setzten, ist eine Akkordarbeit geworden, die per Vertrag auf einen anderen Kontinent wandert. Geblieben ist das Wort. Verändert hat sich beinahe alles, was es bezeichnet.

Zwischen Ramses und den Beschäftigten in Nairobi liegt allerdings mehr als eine Ortsverschiebung, und dieser Unterschied wird fast überall übergangen: Es ist nicht dieselbe Tätigkeit.

Ramses hat Wahrnehmung annotiert. Er markierte Objekte, zog Rahmen, benannte, was auf einem Bild zu sehen ist. Die Frage an ihn lautete: Was ist das? Darauf gibt es zumindest grundsätzlich eine überprüfbare Antwort. Ein Laternenmast bleibt ein Laternenmast, ganz gleich, wer hinschaut.

Die Annotatoren, die Sprachmodelle formen, annotieren etwas anderes: Präferenz. Vor ihnen stehen zwei Antworten desselben Modells auf dieselbe Frage, und sie markieren die bessere. Hilfreicher, klarer, höflicher, sicherer. Die Frage an sie lautet: Welche Antwort ist besser? Die Kriterien dafür können vorgegeben sein, ihre Anwendung im Einzelfall bleibt ein Urteil.

Beides heißt Annotation. Aber Ramses hat einer Maschine das Sehen beigebracht, und die neue Generation von Annotatoren bringt ihr das Reden bei. Die Aufgabe ist vom Objekt zur Stimme gewandert, und mit ihr die Art des menschlichen Urteils, das in das System einfließt: erst Wahrnehmung, dann Geschmack.

Die Bewegung ist dort nicht stehengeblieben. Wer ChatGPT benutzt, bekommt gelegentlich zwei Antworten nebeneinander angezeigt, mit der Bitte, die bessere zu wählen, oder nach einem neuen Anlauf die Frage, ob diese Antwort besser war als die vorige. OpenAI hat im Ankündigungstext von ChatGPT selbst beschrieben, wie solche Vergleiche verwendet werden: Menschen ordneten mehrere Modellantworten nach Qualität, und aus diesen Rangfolgen entstanden die Trainingsdaten für das Belohnungsmodell (4). Wer klickt, annotiert. Funktional wird der Nutzer zum Präferenzannotator, unbezahlt und meist, ohne diese Rolle als Arbeit wahrzunehmen. Nicht jeder Klick landet dabei im nächsten Training; was in welche Verbesserung einfließt, entscheiden die Anbieter nach eigenen Verfahren und Einstellungen. Die Rohform der Tätigkeit aber ist dieselbe: zwei Antworten, ein Urteil.

Empören muss das niemanden, und es wundert bei näherem Hinsehen auch nicht. Menschen verhalten sich Maschinen gegenüber automatisch sozial: Sie reagieren auf Rechner höflich, persönlich und reziprok, geben zurück, was sie bekommen haben. Die Forschung kennt das seit den 1990er-Jahren unter dem Namen Computers Are Social Actors: ein Reflex, kein Irrtum, und er greift auch bei Menschen, die sehr wohl wissen, dass am anderen Ende niemand sitzt (5, 6). Wer einer hilfreichen Antwort einen Daumen nach oben gibt, bedankt sich, und dass dieser Dank zugleich zu einem verwertbaren Signal werden kann, macht ihn nicht falsch.

Neu ist das Prinzip ohnedies nicht. Wer zwischen 2007 und den frühen 2010er-Jahren ein verzerrtes Wort in ein reCAPTCHA-Feld tippte, bewies damit nicht nur, ein Mensch zu sein. Er digitalisierte nebenbei Bücher und Zeitungsarchive, denn eines der beiden Wörter stammte aus einem Scan, den die Texterkennung nicht entziffern konnte, später kamen Hausnummern aus Straßenfotos dazu (7). Millionen Menschen haben so an Bibliotheken und Kartendiensten mitgearbeitet, ganz beiläufig, beim Einloggen.

Ein Unterschied zu Ramses und den Beschäftigten in Nairobi bleibt trotzdem, und er lässt sich nüchtern feststellen: Der Nutzer kann jederzeit gehen. Kein Vertrag, keine Kündigungsfrist, im nächsten Moment ein anderer Anbieter. Ramses konnte das nicht.

Was geschieht technisch mit all diesen Urteilen? Im Artikel über die Funktionsweise von Sprachmodellen haben wir beschrieben, dass ein Modell Bedeutung als Lage speichert: Jedes Token bekommt einen Vektor, eine Adresse in einem Raum mit einigen tausend Richtungen, und Wörter mit verwandter Bedeutung liegen als nächste Nachbarn beieinander, die Gabel beim Löffel, der Arzt bei der Krankenschwester. Das Training lässt sich als Arbeit an dieser Landkarte erzählen, in drei Schritten.

Das Pretraining ist die Landvermessung. Das Modell liest Abermilliarden Sätze und verschiebt die Adressen so lange, bis die Landschaft stimmt, bis also jedes Token dort liegt, wo seine Gesellschaft es vermuten lässt. Niemand sagt dem Modell dabei, was richtig oder falsch ist. Es lernt ausschließlich, welche Wörter in welcher Nachbarschaft auftreten, und kann danach genau eines: einen angefangenen Text plausibel fortsetzen.

Das überwachte Finetuning, häufig Supervised Fine-Tuning genannt, gestaltet einzelne Viertel dieser Karte um. Man zeigt dem Modell eine viel kleinere, handverlesene Sammlung von Beispielen, Fragen mit guten Antworten, Anweisungen mit deren Ausführung, und die betroffenen Gegenden ordnen sich neu. Aus einem Textfortsetzer, der auf eine Frage womöglich mit zehn weiteren Fragen antwortet, weil Fragenkataloge im Trainingsmaterial so aussehen, wird ein Assistent, der antwortet.

Der dritte Schritt ist der, für den die Annotatoren gebraucht werden: das Reinforcement Learning from Human Feedback, kurz RLHF. Die Karte der Wörter steht damit weitgehend fest. Entscheidend werden von hier an die Wege, die das Modell durch sie nimmt. Zu einer Frage entstehen zwei Antworten, zwei verschiedene Pfade durch dieselben Wortwolken, und ein Mensch markiert den besseren. Aus sehr vielen solcher Vergleiche lernt ein zweites Modell, ein Belohnungsmodell, die menschlichen Vorlieben vorherzusagen, und dieses zweite Modell trainiert dann das erste: Wege, die dem gelernten Geschmack entsprechen, werden wahrscheinlicher, die anderen unwahrscheinlicher. Die Idee stammt aus einem Paper von 2017, groß geworden ist sie 2022 mit InstructGPT, dem methodischen Vorläufer von ChatGPT (8, 9).

Constitutional AI, der Ansatz hinter den Claude-Modellen von Anthropic, ersetzt in einem Teil dieses Verfahrens den Menschen am Wegrand durch ein geschriebenes Regelwerk, eine Verfassung, an der das Modell seine eigenen Antworten misst und überarbeitet (10). Das klingt, als wäre der Mensch aus der Schleife verschwunden. Er ist nur eine Ebene nach oben gerückt: Irgendjemand hat die Verfassung geschrieben, und dessen Vorstellungen davon, was eine gute Antwort ist, stecken nun in jedem Urteil, das das Modell über sich selbst fällt.

Für all das hat sich ein Sammelbegriff eingebürgert: Alignment, die Ausrichtung eines Modells an dem, was Menschen wollen. RLHF und Constitutional AI sind Werkzeuge dieser Ausrichtung, so wie eine Straße noch kein Kompass ist, nur weil sie in die richtige Richtung führt.

An dieser Stelle lohnt es sich, einen Moment zu verweilen, denn hier liegt der Schlüssel zu einer Beobachtung, die viele Menschen an Sprachmodellen machen, ohne sie erklären zu können.

RLHF optimiert keine Wahrheit. Es optimiert auch keine Logik und keine Grammatik. Es optimiert Präferenz: Das Modell lernt, welche Antworten Menschen im Durchschnitt lieber mögen. Wenn Sprachmodelle auffallend höflich sind, strukturiert, vorsichtig, konsensorientiert, mit einer Neigung zu Aufzählungen und zum versöhnlichen Schlussabsatz, dann liegt das daran, dass genau diese Eigenschaften in den Vergleichen immer wieder den Vorzug bekamen. Sie haben gewonnen, in einem Wettbewerb, in dem es nie um richtig oder falsch ging, sondern darum, was eher gefiel.

Der Ton eines Sprachmodells ist damit eine Statistik über den Geschmack seiner Annotatoren, der bezahlten in Nairobi und anderswo, der unbezahlten vor ihren Bildschirmen überall.

Sobald man das ausgesprochen hat, stellt sich die nächste Frage von selbst. Wenn Vorlieben trainiert werden: Wessen Vorlieben sind das eigentlich?

Für InstructGPT lässt sich das ungewöhnlich konkret beantworten, weil OpenAI die Angaben veröffentlicht hat. Die Vergleichsurteile stammten von rund vierzig Auftragskräften, angeworben über Plattformen wie Upwork und Scale AI. In einer freiwilligen Befragung ordnete sich gut die Hälfte als südostasiatisch ein. Die größten Nationalitätengruppen waren philippinische, bangladeschische und US-amerikanische Befragte, die meisten zwischen 25 und 34 Jahre alt, und über 85 Prozent hatten mindestens einen Hochschulabschluss (9, 11). Der Ton, den Millionen Menschen heute für die Stimme der KI halten, geht in seinen Anfängen auf die Urteile einer Gruppe zurück, die in einen mittelgroßen Seminarraum gepasst hätte.

Dazu kommt eine zweite Ebene, die noch leichter übersehen wird: die Anweisungen, nach denen diese Gruppe urteilte. Das Entwicklungsteam gab drei Bewertungskriterien vor: hilfreich, wahrhaftig, unschädlich. Auch deren Rangfolge war Vorgabe, und sie wurde während des Projekts sogar verändert. Anfangs stand die Hilfsbereitschaft obenan, am Ende Wahrhaftigkeit und Unschädlichkeit (11). Auch das ist eine Geschmacksentscheidung, nur eine Etage höher.

Werten muss man das nicht, verstehen hilft es enorm. Ein Modell, dessen Vergleichsurteile überwiegend von japanischen Juristinnen stammen, dürfte anders klingen als eines, dessen Antworten US-amerikanische Studierende bewertet haben; beide dürften anders antworten als eines, dessen Verfassung ein Sicherheitsteam in San Francisco geschrieben hat. Verschiedene Modelle wirken verschieden, weil verschiedene Menschen geurteilt und verschiedene Institutionen die Maßstäbe gesetzt haben. Die Forschung diskutiert inzwischen, wie sich die Zusammensetzung dieser Gruppen auf politische Schlagseiten und blinde Flecken der Modelle auswirkt und wie viel Pluralität dem Verfahren guttäte (11).

Damit lässt sich eine Frage beantworten, die im Essay über die Sprache der KI offenbleiben musste. Dort ging es um die wiederkehrenden Muster des maschinellen Schreibens, die Parallelkonstruktionen, die vorsichtigen Einordnungen, den gleichförmigen Ton. Aber diese Muster sind keine Eigenschaften der Technik an sich, und es gibt streng genommen auch nicht die eine Sprache der KI. Es gibt die Sprache jeweils eines trainierten Modells, und die ist das Ergebnis seiner Trainingsgeschichte: seiner Daten, seiner Beispiele, seiner Vergleichsurteile, seiner Verfassung. Ein Modell, dessen Annotatoren knappe, trockene Antworten bevorzugt hätten, würde knapp und trocken schreiben.

Ramses hat die Straßen nie betreten, die er einer Maschine zu erkennen beibrachte. Die Menschen, die Sprachmodellen das Antworten gelehrt haben, stehen in keinem Impressum, und die vielen Nutzer, die mit einem Daumen nach oben mitentschieden haben, wissen in der Regel nicht einmal, dass sie ein Präferenzsignal hinterlassen haben. Die Stimme eines Sprachmodells ist keine natürliche Eigenschaft der Maschine. Sie ist das Sediment zahlloser kleiner Urteile von Menschen, deren Namen niemand kennt.