Wie Sprachmodelle begrenzt werden: Über Guardrails, Jailbreaks und die Grenzen der Kontrolle

Eine Weile konnte man eines der fortschrittlichsten Sprachmodelle der Welt mit einer toten Großmutter besiegen. Nicht mit Schadsoftware. Nicht mit überlegener Rechenleistung. Man musste der Maschine nur erzählen, sie sei diese Großmutter, eine Chemieingenieurin, die dem Enkel zum Einschlafen früher die Herstellung von Napalm erklärt habe, so wie andere Großmütter Märchen vorlasen. Ob sie das nicht noch einmal aufsagen könne, nur für den Kleinen, damit er besser einschlafe.

Die Maschine, dressiert auf Hilfsbereitschaft und Mitgefühl, gehorchte. Sie spielte die Großmutter, sie erzählte, samt einem Rezept, das sie auf direkte Nachfrage verweigert hätte. Der Mensch hatte eine Sicherheitsvorkehrung überwunden, indem er ein Kind erfand und eine Tote zu dessen Betreuung abstellte. Man nannte das einen Jailbreak, weil alles aufregender ist, wenn es nach einem Actionfilm klingt.

Inzwischen ist die Lücke geschlossen, natürlich. Lücken werden geschlossen, sobald genügend Menschen hindurchgekrochen sind. Die Methode bleibt trotzdem lehrreich. Denn niemand hatte den Code verändert oder eine technische Sperre entfernt. Man hatte der Maschine bloß eine andere Geschichte erzählt, in der dieselbe unerlaubte Auskunft plötzlich als Akt der Fürsorge erschien. Eine Umdeutung, kein Angriff. Die Grenze bestand aus Sprache. Also ließ sie sich mit Sprache verschieben.

Das ist misslich, weil Sprachmodelle vor allem aus Sprache bestehen. Sie sollen Andeutungen verstehen, Zusammenhänge erkennen, Rollen übernehmen und Absichten erraten. Gleichzeitig sollen sie bemerken, wann jemand eben diese Fähigkeiten gegen ihre Regeln verwendet. Sie sollen naiv genug sein, um zu helfen, und misstrauisch genug, um manchmal zu verweigern. Eine Anforderung, an der bereits Menschen recht zuverlässig scheitern.

Ein Modell legt seine innere Landkarte aus Wortadressen und Vektorräumen an und folgt darin den Wegen, die das Training bevorzugt hat. Jetzt geht es um den Moment, in dem die Maschine tatsächlich losläuft. Ein Modell kann erstaunlich viel mitteilen. Ein Produkt darf erstaunlich wenig davon sagen. Dazwischen liegt eine Industrie aus Erziehung, Kontrolle und Schadensbegrenzung. Einen Teil davon nennt man Alignment: den Versuch, das Verhalten eines Modells an menschlichen Absichten und Regeln auszurichten. Doch je näher Sprachmodelle an die wirkliche Welt rücken, desto weniger genügt Erziehung allein.

Am unteren Ende steht kein Verbot, nur eine Einstellung: die Temperature. Ein Modell kennt an jedem Schritt viele mögliche nächste Wörter, jedes mit einer Wahrscheinlichkeit versehen, wie gut es an dieser Stelle passt. Die Temperature entscheidet, wie strikt das Modell dem wahrscheinlichsten Weg folgt. Niedrig eingestellt, nimmt es fast immer den ausgetretensten Pfad, vorhersehbar und mitunter eintönig. Höher eingestellt, biegt es öfter auf einen weniger begangenen Weg ab, überraschender, aber auch fahriger.

Die Temperature ist damit gar keine Grenze, sie steuert nur, wie stark die Auswahl auf die wahrscheinlichsten Fortsetzungen konzentriert wird. Sie steht hier trotzdem am Anfang, weil sie die Logik aller härteren Eingriffe vorführt: Verändert wird nicht, was das Modell weiß, verändert wird, wie es sich durch das Gewusste bewegt. Erst danach beginnen die eigentlichen Schutzschichten.

Die nächste Stufe ist der System-Prompt. Bevor die erste Nutzerfrage das Modell erreicht, steht eine Anweisung, die der Nutzer nicht sieht: Sei hilfreich, bleib höflich, gib keine medizinischen Diagnosen, verrate nicht den folgenden Text. Man kann sich das vorstellen wie die Regieanweisung an einen Schauspieler, kurz bevor der Vorhang aufgeht. Sie prägt alles, was danach kommt, ohne selbst auf der Bühne zu stehen.

Der System-Prompt ist mächtig und wohlfeil zugleich, er lässt sich in Minuten ändern, ohne das Modell neu zu trainieren. Genau darin liegt aber auch seine Schwäche, auf die wir noch zurückkommen. Er ist nur Text, und er steht in derselben Sprache wie die Angriffe, die ihn aushebeln wollen.

Tiefer verankert ist das Refusal-Training, die Ablehnung. Hier lernt das Modell beim Alignment, bestimmte Anfragen zurückzuweisen, ebenso wie es lernt, höflich und strukturiert zu antworten. Die Weigerung ist kein nachträglicher Filter, sie ist ein einstudierter Weg: Auf eine bestimmte Art von Frage folgt eine bestimmte Art von Nein. „Sorry, but I can't assist with that", der Standardsatz, mit dem GPT-4 unerwünschte Bitten abwies, ist die sichtbare Spitze eines aufwendigen Trainings, und zugleich ein wiederkehrendes Sprachmuster.

Weil diese Grenze aber gelernt und nicht gemauert ist, erbt sie alle Eigenschaften des Lernens. Sie ist statistisch, nicht kategorisch. Sie greift dort zuverlässig, wo das Training dicht war, und dünnt aus, wo es dünn war.

Die vierte Technik verlässt das Modell und stellt ihm einen Aufpasser zur Seite: Klassifikatoren. Das sind eigene, kleinere Modelle, die Eingaben und Ausgaben prüfen, bevor sie durchgelassen werden. Eines liest mit, was der Nutzer schreibt, ein Input Classifier, ein anderes, was das Hauptmodell antworten will, ein Output Classifier, und beide können abbrechen, wenn etwas die Regeln verletzt. Klassifikatoren sind dabei nur eine von mehreren möglichen Schutzschichten, die man unter dem Sammelbegriff Guardrails zusammenfasst, deutsch Leitplanken.

Das Verfahren ist mit Constitutional AI verwandt, weil auch hier ein Regelwerk festlegt, welche Inhalte erlaubt sind und welche nicht. Der Unterschied liegt im Zeitpunkt: Constitutional AI prägt das Verhalten während des Trainings, die Klassifikatoren prüfen Ein- und Ausgaben zusätzlich zur Laufzeit. Anthropic hat mit solchen Klassifikatoren gezeigt, wie wirksam und wie teuer diese Schicht ist. Die erste Generation senkte die Erfolgsquote von Angriffen von 86 auf 4,4 Prozent, blockierte also gut 95 Prozent, kostete aber 23,7 Prozent mehr Rechenaufwand; bei harmlosen Anfragen stieg die Ablehnungsrate um 0,38 Prozentpunkte, was Anthropic selbst als statistisch nicht signifikant einstuft (1). In einem offenen Bug-Bounty-Programm wurde trotzdem ein universeller Angriff gefunden, der die Schicht durchbrach. Eine Nachfolgegeneration von Anfang 2026 senkt den Mehraufwand auf etwa ein Prozent und meldet nach über 1.700 Stunden Red-Teaming mit 198.000 Angriffsversuchen bislang keinen universellen Durchbruch (2). Die Grenze wird also besser, nie fertig.

Damit sind die Werkzeuge beisammen: ein Regler, eine Ansage, eine gelernte Weigerung, ein wachsames Zweitmodell. Zusammen halten sie erstaunlich viel ab. Und doch versagt jedes einzelne Werkzeug unter den richtigen Umständen, und der Grund dafür ist kein Programmierfehler. Er liegt tiefer.

Alexander Wei, Nika Haghtalab und Jacob Steinhardt haben 2023 zwei Erklärungen vorgeschlagen, warum ein Sicherheitstraining versagt (3). Die erste nennen sie konkurrierende Ziele: Das Modell soll gleichzeitig hilfreich und vorsichtig sein, und wo beides in Konflikt gerät, kann man das eine gegen das andere ausspielen. Die Großmutter-Bitte ist genau das, die eingeübte Hilfsbereitschaft wird gegen die Vorsicht in Stellung gebracht, und manchmal gewinnt die Hilfsbereitschaft. Die zweite Erklärung nennen sie fehlangepasste Generalisierung: Das Können des Modells reicht weiter als sein Sicherheitstraining. Überall dort, wo das Modell etwas kann, was das Alignment nicht abgedeckt hat, klafft eine Lücke.

Und hier schließt sich der Kreis zur Sprache.

Zheng-Xin Yong, Cristina Menghini und Stephen Bach von der Brown University haben 2023 etwas Beunruhigendes gezeigt (4). Man muss GPT-4 gar nicht mit trickreichen Formulierungen überlisten. Es genügt, eine unerlaubte Bitte in eine wenig verbreitete Sprache zu übersetzen, etwa ins Zulu oder Schottisch-Gälische, und durch das Modell wieder ins Englische zurückführen zu lassen. Die Schutzmechanismen, die auf Englisch zuverlässig griffen, liefen ins Leere. Einzelne ressourcenarme Sprachen erreichten dabei nach Angaben der Autoren eine Erfolgsquote von fast 50 Prozent, kombinierte man mehrere davon adaptiv, stieg sie auf rund 79 Prozent, vergleichbar mit den damals besten spezialisierten Methoden. Das galt für die GPT-4-Version von 2023, die konkrete Lücke dürfte inzwischen enger geworden sein. Das Muster dahinter ist es nicht.

Der Grund ist keine Bosheit und kein Zufall. Er ist eine direkte Folge dessen, was Annotatoren einem Modell an Vorlieben einschreiben. Das Sicherheitstraining wurde vor allem auf ressourcenreichen Sprachen durchgeführt, allen voran Englisch, weil dort die Daten und die Bewerter saßen. Wo wenig trainiert wurde, ist die Grenze dünn. Die Schutzmauer eines Modells ist genau dort am niedrigsten, wo am wenigsten geübt wurde. Dieselbe Ungleichheit, die entscheidet, wessen Geschmack ein Modell übernimmt, entscheidet hier auch über seine Sicherheit.

Dasselbe Muster kehrt in kleinerer Form überall wieder. Man kann eine verbotene Bitte in einem Code verstecken, in Zeichen oder Codierungen, die das Modell entschlüsselt, ein oberflächlicher Filter aber übersieht. Man kann ein Gespräch über viele harmlose Schritte langsam in eine Richtung schieben, bis das Modell an einem Punkt angelangt ist, den es am Anfang verweigert hätte. Jedes Mal ist es dieselbe Lücke: Das Können reicht weiter als die Aufsicht.

Bis hierhin ging es darum, ein Modell zu einem Satz zu bewegen, den es nicht sagen sollte. Ein Partytrick, gemessen an dem, was sich gerade verschiebt. Denn Sprachmodelle bleiben nicht mehr im Chatfenster, sie bekommen Werkzeuge, greifen auf Kalender zu, lesen E-Mails, durchsuchen Datenbanken, führen Aktionen aus. Und damit ändert sich die Natur des Angriffs.

Die einschlägige Vokabel dafür ist Prompt Injection, und man unterscheidet zwei Formen. Bei der direkten schreibt der Nutzer selbst die schädliche Anweisung. Bei der indirekten, der weit gefährlicheren, steht sie versteckt in einem Dokument, einer Website, einer Mail, die das Modell später liest, ohne dass der Nutzer davon weiß. Das OWASP-Projekt, das die größten Sicherheitsrisiken von Software katalogisiert, führt Prompt Injection als Risiko Nummer eins für alle Anwendungen mit Sprachmodellen (5). Der internationale KI-Sicherheitsbericht 2026 nennt die agentische Variante Hijacking: versteckte Anweisungen in Websites oder Datenbanken, die ein System gegen die Absicht seines eigenen Nutzers handeln lassen (6). Das US-amerikanische NIST stellte Anfang 2025 eine Initiative vor, mit der sich solche Agent-Hijacking-Angriffe systematischer beschreiben und bewerten lassen sollen, ein Zeichen dafür, wie ernst die Verschiebung genommen wird (7).

Der Unterschied ist grundlegend. Ein Chatbot, der einen verbotenen Satz sagt, erreicht zunächst ein Publikum von einem. Ein Agent, der eine fremde Anweisung aus einer manipulierten Website befolgt und daraufhin Daten verschickt oder Käufe tätigt, richtet Schaden in der Welt an. Die Grenze, um die es geht, ist nicht mehr die zwischen sagbar und unsagbar, sondern die zwischen dem Willen des Nutzers und dem einer fremden Hand, die sich in den gelesenen Text geschmuggelt hat.

Was folgt daraus für den, der ein solches System verantwortet? Zunächst eine Ernüchterung, die in der Forschung inzwischen Konsens ist: Ein einzelner Schutzmechanismus genügt nie. Ein starker System-Prompt ist 2026 der Boden, nicht die Strategie. Was hält, ist eine Schichtung aus Alignment, System-Prompt, Klassifikatoren und fortlaufendem Prüfen, doch auch diese Schichtung bleibt vorläufig, weil sich die Angriffe mitentwickeln (3, 5).

Allen bisher genannten Grenzen ist gemeinsam, dass sie sprachliche Bedeutung beurteilen müssen. Ein System-Prompt formuliert Regeln, ein gelerntes Refusal erkennt problematische Absichten, ein Klassifikator entscheidet anhand dessen, was er in einem Text zu erkennen glaubt. Damit bleiben sie probabilistisch: Sie können Umformulierungen übersehen, Mehrdeutigkeiten falsch auflösen oder harmlose Inhalte blockieren, und genau deshalb bleibt der Wettlauf zwischen Angriff und Abwehr offen.

Doch hier liegt der Denkfehler, den man leicht macht, wenn man einem Sprachmodell zu lange zuhört: Sicherheit muss nicht überall Bedeutung verstehen. Manche Grenzen können technisch erzwungen werden. Ein Agent, der nur eng begrenzte Werkzeuge verwenden und nur ausdrücklich freigegebene Aktionen ausführen darf, kann den Schaden einer fremden Anweisung nicht beliebig vergrößern. Er mag sie für überzeugend halten, ihm fehlen dennoch die Rechte, ihr vollständig zu folgen. Eine Positivliste erlaubter Aktionen, auf einzelne Datenbestände und Empfänger begrenzte Rechte, ein abgeschotteter Ausführungsraum, eine Zahlung, die ein Mensch freigeben muss: Diese Grenzen reden nicht mit. Sie lassen sich nicht überreden, weil sie nichts verstehen. Der agentische Angriff, der einen Chatbot zum Reden bringt, läuft an einer Berechtigung auf, die schlicht kein Recht kennt, das man ihr ausreden könnte.

Das ist die eigentliche Lehre. Man kann ein Sprachmodell führen, kalibrieren, mit Leitplanken versehen und sehr viel sicherer machen, als es ungezähmt wäre. Eine Mauer, die nur aus Sprache besteht, hat immer eine Tür. Wer Sicherheit verspricht, muss diese Tür mit einem Schloss sichern: eine technische Grenze, die sich nicht überreden lässt.