Zwischen Kontrollillusion und Automatisierungsbias

Es gibt eine Formel, die derzeit in deutschen Konferenzräumen Karriere macht. Sie fällt immer dann, wenn ein KI-Projekt ins Stocken gerät, weil jemand die Frage nach der Verantwortung stellt. Human in the Loop, sagt dann einer, meistens der, der die Software verkauft. Ein Mensch in der Schleife, könnte man übersetzen, aber die Übersetzung klingt nach Verkehrsplanung und hat es nie zu derselben Karriere gebracht. Das Englische verspricht mehr: einen Menschen, der drinbleibt, während ringsum die Maschinen übernehmen. Die Runde nickt, das Protokoll vermerkt den Punkt als geklärt, und die eigentliche Frage bleibt unbeantwortet im Raum stehen.

Denn was tut dieser Mensch eigentlich, dort in seiner Schleife? Versteht er, was er freigibt? Hat er die Zeit, es zu prüfen? Dürfte er widersprechen, wenn ihm etwas merkwürdig vorkommt, und würde jemand auf ihn hören? Die Formel beantwortet nichts davon. Sie versichert nur, dass jemand da ist. Für die Beruhigung eines Lenkungskreises reicht das erstaunlich oft.

Dabei hat der Begriff eine Herkunft, die man ihm in der Folienästhetik heutiger Projektmeetings nicht mehr ansieht. Im Jahr 2013 trug die NGO Article 36 die Forderung nach „Meaningful Human Control" in die Verhandlungen der Vereinten Nationen über autonome Waffensysteme. Verhandelt wurde, ob eine Maschine töten darf, wenn im letzten Moment kein Mensch mehr dazwischentreten kann. Bedeutsame menschliche Kontrolle über einzelne Angriffe, das war der Anspruch, und wer die Protokolle jener Jahre liest, spürt noch den Ernst, mit dem um jedes Wort gerungen wurde.

Von den Waffen wanderte der Gedanke in die Verwaltungen, von den Verwaltungen ins Produktmarketing. Unterwegs fächerte er sich in Varianten auf, die sich in Vorträgen gut erklären lassen: Human in the Loop, der Mensch entscheidet im Prozess selbst. Human on the Loop, er überwacht von außen und greift nur bei Bedarf ein. Human in Command, er entscheidet über den Einsatz des Systems insgesamt, aber über keinen Einzelfall mehr. Was keine dieser Varianten beantwortet, ist die Frage, an der sich alles entscheidet: Hat dieser Mensch noch eine reale Möglichkeit, anders zu wählen, als die Maschine vorschlägt?

Heute steht der Begriff in Datenblättern für Bewerbungssoftware und in den Schlussfolien von Vertriebspräsentationen. Er ist ausgetreten wie eine Steinstufe in einem alten Treppenhaus: Jeder benutzt sie, keiner sieht sie mehr an, und über die Jahre hat sie ihre Kante verloren. Der Anspruch ist derselbe geblieben. Das Bewusstsein für seinen Ernst nicht immer.

Man kann sich den Menschen in der Schleife in zwei Zuständen vorstellen, und keiner davon ist der, den die Formel suggeriert.

Im ersten sitzt er vor einem Bildschirm, auf dem ihm eine Software an einem Vormittag vierzig Fälle zur Freigabe vorlegt. Pro Fall bleiben ihm wenige Minuten. Das Modell, dessen Empfehlungen er absegnet, bleibt für ihn eine Blackbox. Die Begründung einer vorgeschlagenen Ablehnung liegt oft tief in den Trainingsdaten, Knowledge-Bases und feinen Gewichtungen vergraben, niemand kann sie noch ernsthaft nachvollziehen. Er klickt. Was er tut, hat den Ablauf von Kontrolle und die Wirkung eines Stempels.

Man könnte von einer Kontrollillusion sprechen, und sie ist längst kein bloßes Diskussionsthema mehr. Der Europäische Gerichtshof hat beispielsweise für diese Konstellation im Dezember 2023 eine bemerkenswert unsentimentale Antwort gefunden. Im SCHUFA-Verfahren entschied er, dass schon ein vorgelagerter Score als automatisierte Entscheidung im Sinne der Datenschutz-Grundverordnung gelten kann, sofern er der späteren menschlichen Entscheidung eine maßgebliche Rolle vorgibt. Auf Deutsch: Es zählt nicht das Organigramm, sondern die tatsächliche Machtverteilung zwischen Mensch und Maschine. Dass am Ende jemand unterschreibt, macht die Maschine davor nicht harmlos.

Der zweite Zustand ist heimtückischer, weil er ohne jeden Zwang auskommt. Obwohl dieser Mensch eingreifen könnte, Zeit hätte, Befugnis, sogar den ausdrücklichen Auftrag, tut er es immer seltener. Die Maschine hatte in den letzten hundert Fällen recht, und wer hundertmal recht behalten hat, dem widerspricht man beim hundertersten Mal nur ungern.

Automatisierungsbias nennt die Forschung diese Erosion der Wachsamkeit, und der europäische AI Act nimmt sie so ernst, dass er sie ausdrücklich als Risiko benennt: die Neigung, sich automatisch oder übermäßig auf die Ausgaben eines Systems zu verlassen. Artikel 14 der Verordnung liest sich streckenweise wie eine Stellenbeschreibung für den Menschen in der Schleife, geschrieben von jemandem, der der Formel misstraut.

Die Aufsichtsperson soll die Grenzen des Systems verstehen, seine Ergebnisse deuten können, sie verwerfen und überstimmen dürfen, den Betrieb notfalls anhalten. Verstehen, widersprechen, stoppen. Selten hat ein Gesetzgeber so genau aufgeschrieben, was ein Versprechen kosten müsste, das im Konferenzraum so billig zu haben ist.

Wer an dieser Stelle an die Bestätigungsmaschine denkt, liegt richtig. Dort passte sich eine KI dem Menschen an, um ihm zu gefallen. Hier passt sich ein Mensch der KI an, weil ihm das Vertrauen leichter fällt als die Prüfung. Beide Bewegungen enden am selben Punkt: bei einer Entscheidung, die niemand mehr wirklich getroffen hat.

Wer glaubt, das alles betreffe nur die Freigabe von Krediten und Bewerbungen, dem hilft ein Blick nach Karlsruhe. Im Februar 2023 verhandelte das Bundesverfassungsgericht über die automatisierte Datenanalyse der Polizei in Hessen und Hamburg, und es räumte dabei mit einer Intuition auf, die auch außerhalb von Polizeibehörden verbreitet ist: dass die Auswertung vorhandener Daten ein neutraler Vorgang sei, ein bloßes Umrühren dessen, was ohnehin schon da ist.

Der Erste Senat sah das anders. Schon die automatisierte Verknüpfung längst bekannter, rechtmäßig erhobener Daten könne ein eigenständiger Grundrechtseingriff sein, urteilte er, denn wer aus getrennten Informationen neue Zusammenhänge sichtbar macht, erzeugt Wissen über Menschen, das es vorher nicht gab. Und mit dem Wissen wächst die Macht.

Wie es klingt, wenn eine Institution diese Einsicht ernst nimmt, konnte man kürzlich in Sascha Lobos Podcast „Tech, KI & Schmetterlinge" hören. Zu Gast war Thomas Berger, Präsident des Präsidiums Technik, Logistik und Service der Polizei Baden-Württemberg, ein Mann, der über Cloud-Infrastrukturen und Datenanalyse spricht wie andere über Streifenwagen, und der mitten im Gespräch einen Satz von beinahe altmodischer Klarheit sagte: Einen KI-Polizisten werde es nicht geben. Seine Begründung verzichtete auf jede Feierlichkeit. Menschen erwarten, von Menschen beurteilt zu werden. Und vor Gericht stellen lässt sich nur ein Mensch, keine KI.

Fast beiläufig schob er die zweite Hälfte seiner Architektur nach: Trainiert werde ausschließlich mit qualitätsgesicherten, selbst erhobenen Daten, der ungeprüfte Rest des Internets bleibe draußen. Letztverantwortung beim Menschen, Hoheit über die Datenbasis. Man könnte es die Langfassung dessen nennen, was der Konferenzraum-Satz behauptet.

Bleibt der Kalender. Lange galt der 2. August 2026 als der Tag, an dem die Hochrisiko-Pflichten des AI Act greifen sollten, Artikel 14 eingeschlossen. Daraus wird nichts, jedenfalls nicht zu diesem Datum. Ende Juni hat der Rat der Europäischen Union den sogenannten Digital Omnibus endgültig angenommen, und mit ihm verschieben sich die Fristen auf den 2. Dezember 2027 für eigenständige Hochrisiko-Systeme, etwa in den Bereichen Beschäftigung, Bildung oder Strafverfolgung, und auf den 2. August 2028 für KI, die als Sicherheitskomponente in regulierten Produkten steckt. Der Grund ist profan: Die technischen Normen, an denen sich die Umsetzung orientieren soll, sind noch nicht fertig.

Am Anspruch selbst ändert die Verschiebung nichts. Er bleibt bestehen, verteilt auf drei Ebenen der Verordnung: Artikel 14 legt fest, was ein Hochrisiko-System technisch und organisatorisch ermöglichen muss, damit es überhaupt beaufsichtigt werden kann. Artikel 26 übersetzt das in die Pflichten der Betreiber, zuständige und geschulte Personen zu benennen, den Betrieb zu überwachen, Auffälligkeiten zu melden. Artikel 27 verlangt für bestimmte Einsatzkontexte zusätzlich eine Grundrechte-Folgenabschätzung, bevor ein System zum Einsatz kommt.

Man kann in der Verschiebung ein Aufatmen sehen. Man kann in ihr auch eine Versuchung erkennen. Denn die Architektur einer Aufsicht entsteht nicht am Stichtag, sondern in dem Moment, in dem ein System zum ersten Mal in einen Entscheidungsprozess eingebaut wird. Wer heute eine Schleife konstruiert, in der ein Mensch nur noch abnickt, wird sie im Dezember 2027 nicht dadurch heilen, dass er das Abnicken dokumentiert. Die gewonnene Zeit hilft nur dem, der in ihr baut.

Am Anfang stand eine Formel, die beruhigen soll, ohne viel zu sagen. Recht, Forschung und Praxis erlauben inzwischen, sie zu präzisieren, und erst dadurch wird sie wahr. Ein Mensch in der Schleife bedeutet etwas, wenn drei Bedingungen zusammenkommen. Er versteht, worüber er entscheidet, statt nur formal zuständig zu sein. Er kann tatsächlich eingreifen, mit echter Zeit und echter Befugnis, über den Freigabebutton hinaus. Und er trägt Rechenschaft, denn Verantwortung ohne Konsequenz ist nur ein Wort.

Vielleicht liegt die ehrlichste Pointe ohnehin in der Übersetzung, die nie zünden wollte. Der Mensch in der Schleife, das klingt harmlos, nach einem Rädchen im Ablauf. Gemeint war einmal etwas anderes, damals, als über Drohnen verhandelt wurde: ein Mensch, der versteht, der eingreifen kann und der geradesteht. Wer den Satz im nächsten Meeting hört, könnte ja einmal um diese Langfassung bitten. An der Antwort lässt sich ziemlich genau ablesen, ob der Loop hält, was er verspricht.