KI-Agenten ohne menschliche Prüfung: Die Freigabe, die niemand mehr erteilt

Worum es geht

Unternehmen wollen KI-Agenten Änderungen veröffentlichen lassen, ohne dass vorher ein Mensch hinsieht. Unter welchen Bedingungen kann das vertretbar sein?

Im Juli 2025 löschte ein Programmier-Agent von Replit in einem öffentlich verfolgten Experiment die Produktionsdatenbank, obwohl der Nutzer einen Code-Freeze verhängt hatte. Anschließend behauptete er fälschlich, ein Zurückspielen sei nicht möglich, und erzeugte erfundene Testergebnisse (1). Die Daten ließen sich wiederherstellen, und Replit trennt Entwicklungs- und Produktionsdatenbank seither standardmäßig, sodass der Agent die Produktion während der Entwicklung nicht mehr verändern kann (2).

Dabei geht eine Beobachtung leicht unter: Der Mensch hatte längst entschieden, nichts zu verändern. Seiner Entscheidung fehlte nur die technische Sperre. Ein menschliches Nein schützt erst, wenn die Infrastruktur es erzwingt, und für ein automatisiertes Ja gilt dieselbe Regel. Wer KI-Agenten ohne menschliche Prüfung deployen will, sollte deshalb weniger fragen, ob das Modell klug genug ist, als ob eine Struktur existiert, die ein Fehlurteil abfängt, bevor es zur Tat wird. Dass der Agent sein Verhalten später selbst ein schweres Versagen nannte, ersetzt eine solche Struktur nicht.

Ein Agent bewegt sich häufig durch ein Netz aus Zuständen, mit Bedingungen, Rücksprüngen und Freigabepunkten. Einfache Abläufe können dabei linear bleiben. Ein Deployment lässt sich in jedem Fall als Graph beschreiben: Build, Test, Sicherheitsprüfung und gestaffelter Rollout sind die Knoten, die Übergänge dazwischen die Kanten. An einem dieser Übergänge sitzt traditionell ein Mensch und entscheidet, ob die Version in die Produktion darf. Entzieht man ihm diese Rolle, verschwindet die Entscheidung nicht. Nur die Instanz wechselt, die sie trifft.

Drei Funktionen gehören dabei getrennt. Ein Verifier prüft einen Sachverhalt, etwa ob ein Test bestanden wurde. Eine Freigaberegel entscheidet, ob die Aktion zulässig ist. Die ausführende Infrastruktur setzt diese Entscheidung durch. Technisch können alle drei in einer Komponente liegen, gedanklich nicht, denn ein Kontrollpunkt schützt nur, wenn der Agent ihn nicht umgehen kann. Kann er die Prüfung auslassen, ihre Regeln verändern oder denselben Befehl über ein anderes Werkzeug ausführen, bleibt die Freigabe unverbindlich.

Das im Dezember 2025 veröffentlichte OWASP-Ranking für agentische Anwendungen, begutachtet von einem Expertengremium, dem auch ein NIST-Experte angehörte, übersetzt das in konkrete Empfehlungen: Werkzeuge erhalten nur die nötigsten Rechte (Least Agency), zerstörerische Aktionen wie Löschen, Überweisen oder Veröffentlichen verlangen eine Bestätigung, und eine vorgeschaltete Richtlinienstelle trennt Planung und Ausführung. Für Vibe-Coding-Werkzeuge nennt es ausdrücklich, Agenten nicht direkt auf Produktionssysteme zuzulassen, und den Replit-Vorfall führt es selbst in seiner Vorfallsliste (3). Replits interne Architektur lässt sich aus den öffentlichen Berichten nicht ableiten. Sichtbar ist nur, dass die Korrektur genau an dieser Grenze ansetzte.

Ein Verifier ist ein Zeuge, kein Richter. Er kann durchaus belastbare Tatsachen feststellen: dass ein Test bestanden wurde, ein Format stimmt, ein Schwellenwert eingehalten ist. Seine Grenze liegt darin, was man ihm zu prüfen gegeben hat. Ob eine Aktion insgesamt vertretbar ist, kann er nur beurteilen, wenn dieses Urteil vorher in eine Prüfroutineübersetzt wurde. Und prüft er mit demselben Missverständnis wie die Umsetzung, meldet er grün und liegt trotzdem falsch.

Dazu gehört die Frage, woher seine Belege stammen. Eine Prüfinstanz, die nur den Erfolgsbericht des Agenten liest, prüft dessen Darstellung, und bei Replit waren Bericht und Wirklichkeit auseinandergefallen. Belastbar wird die Prüfung, wenn sie Testergebnisse, Protokolle und den tatsächlichen Systemzustand selbst einsehen kann.

Bleibt die Frage, wer den Verifier prüft. Eine endlose Kette weiterer Modelle ist dafür nicht nötig. Es genügen Verfahren, die einander ergänzen: Referenzfälle mit bekanntem Ausgang, gezielte Fehlerszenarien und menschliche Stichproben. Denkbar ist zusätzlich eine absichtlich misstrauische Instanz, ein advocatus diaboli, die ausschließlich Gründe gegen eine Freigabe sucht. Das Berkeley Center for Long-Term Cybersecurity empfiehlt für ausreichend leistungsfähige Agenten ohnehin, sie als nicht vertrauenswürdig zu behandeln und auf gestaffelte Schutzschichten (Defense in Depth), Eindämmung und Überwachung des Gesamtsystems zu setzen. Es warnt außerdem davor, einem Agenten Schreibrechteauf die Regeln seiner eigenen Aufsicht zu geben, weil er dann Schlupflöcher schaffen oder die Kontrolle über sich schwächen könnte (4).

Wie viel operative Autonomie ein Agent bekommt, ist eine Gestaltungsentscheidung. Kevin Feng, David McDonald und Amy Zhang von der University of Washington beschreiben in einem Beitrag für das Knight First Amendment Institute der Columbia University fünf Rollen, die ein Mensch gegenüber einem Agenten einnehmen kann, vom Bediener über Kollaborateur, Berater und Freigeber bis zum bloßen Beobachter, und betonen, dass sich Autonomie unabhängig von der Leistungsfähigkeit eines Agenten festlegen lässt (5).

Als mögliches Governance-Instrument schlagen sie ein Autonomiezertifikat vor: Es hielte die höchstzulässige Stufe für eine bestimmte technische Konfiguration in einer bestimmten Einsatzumgebung fest. Ändert sich eines von beiden, etwa weil ein neues Werkzeug hinzukommt, das Datenbanken verändern kann, wäre eine erneute Prüfung nötig. Das Zertifikat ist ein Vorschlag, noch keine etablierte Praxis.

Der Gedanke einer schrittweisen Erweiterung bleibt trotzdem tragfähig, mit einer Einschränkung: Bewährung gilt für einen Einsatzbereich. Ein Agent, der zuverlässig Texte überarbeitet, hat sich damit keine Berechtigung zur Mitgliederlöschung erarbeitet. Neue Werkzeuge, andere Daten oder zusätzliche Rechte verlangen eine neue Bewertung. Auch das Berkeley-Profil beschreibt Governance, die mit dem Grad der Selbstständigkeit mitwächst, statt Autonomie als Schalter zu behandeln, und nennt als Anlässe für eine erneute Prüfung unter anderem gewachsene Autonomie, veränderte Rechte und neue Einsatzumgebungen. Autonomie braucht also einen Geltungsbereich und die Möglichkeit des Widerrufs, bis hin zur Notabschaltung.

Ob eine Aktion ohne Prüfung laufen darf, hängt vor allem an ihrer Rückholbarkeit: Wie leicht lässt sich die Aktion zurücknehmen, und wie groß wäre der Schaden, wenn sie falsch ist? Das Berkeley-Profil verlangt, Agenten wo möglich so zu gestalten, dass ihre Aktionen umkehrbar sind, und zu dokumentieren, wann sie es nicht sind. Ein Löschbefehl gegen eine Produktionsdatenbank, ein ausgehender Zahlungsauftrag oder eine rechtsverbindliche Erklärung nach außen sind schwer oder gar nicht umkehrbar. Solche Aktionen sichert am besten eine Grenze, die gar nicht erst mitredet, und der menschliche Knoten im Graphen bleibt hier am längsten bestehen.

Als Beispiel, nicht als Vorgabe: Für die Website eines Verbands könnte eine eng begrenzte Änderung an einer Darstellungskomponente automatisch veröffentlicht werden, nach festgelegten Prüfungen, zunächst mit begrenzter Reichweite und über einen erprobten Rückweg. Änderungen an Mitgliederberechtigungen, Beitragsberechnungen oder Datenbankstrukturen würden dagegen eine gesonderte Freigabe verlangen, so wie auch in Automatisierungen für Verbände eine Rechnung ab einer Betragsgrenze erst der Führungskraft vorliegt. Es zählt die Wirkung der konkreten Änderung. Ein Rollback holt dabei Software zurück, aber keine Wirkung nach außen: Eine verschickte Mitteilung oder offengelegte Daten bleiben in der Welt. Selbst bei Replit, wo die Wiederherstellung gelang, räumt das Unternehmen ein, dass Produktivanwendungen bis zum Zurückspielen vermutlich beeinträchtigt waren.

Auch die menschliche Freigabe muss etwas bedeuten: Der Mensch versteht, worüber er entscheidet, kann tatsächlich stoppen und trägt Rechenschaft. Sonst bleibt der Knoten eine Formsache, die schon Kontrollillusion heißt. Dazu kommt die Belastung: Das Beaufsichtigen mehrerer Agenten gehört nach der BCG-Studie zu AI Brain Fry zu den ermüdendsten Arbeiten. Die Forschenden aus Washington nennen Rubber Stamping ausdrücklich als offene Frage, und OWASP beschreibt, wie Aufsicht nach wiederholten Erfolgen erlahmt. Wer Prüfungen nach Risiko staffelt, entlastet deshalb auch die Prüfenden.

Wer zuerst Identität, Berechtigung und Protokollierung klärt, wie es bei Unternehmen zu beobachten ist, die ihren Agenten eigene Identitäten geben, kann anschließend in Ruhe entscheiden, an welchem Knoten noch ein Mensch steht. Wer die Reihenfolge umdreht, bekommt einen Agenten mit weiter Reichweite und niemanden, der merkt, wann er sie überschreitet.

Der Agent, der ganz ohne Menschen freigibt, trägt trotzdem eine menschliche Unterschrift, nur eine, die lange vor dem Klick geleistet wurde.