Modell-Routing: KI-Kosten senken mit dem passenden LLM

Worum es geht

Ein Drittel der deutschen Unternehmen, die KI einsetzen, stellt fest, dass sie deutlich mehr kostet als erwartet (1). Wohin das Geld fließt, zeigt eine spätere Bitkom-Erhebung: Als großen Kostenpunkt nennen die Anwender vor allem Infrastruktur, Datenaufbereitung und die Integration in bestehende Systeme, den Verbrauch von Token dagegen nur acht Prozent (2). Solange KI überwiegend über Chat-Lizenzen mit festem Monatspreis genutzt wird, ist das wenig überraschend. Es ändert sich, sobald Sprachmodelle in Anwendungen arbeiten, die rund um die Uhr automatisierte Anfragen stellen: Formulare auswerten, Support-Tickets sortieren, Dokumente zusammenfassen. Dort wird jeder einzelne Aufruf abgerechnet, und die Wahl des Modells bestimmt die Rechnung.

Wer jede Anfrage an dasselbe leistungsstarke Modell schickt, bezahlt auch bei einfachen Aufgaben dessen Preis. Modell-Routing, im Englischen LLM routing, setzt genau dort an. Eine vorgeschaltete Instanz entscheidet für jede Anfrage, welches Modell sie bearbeitet. Die einfache landet beim kleinen, günstigen Modell, die schwierige beim großen.

Zwischen kleinen und großen Sprachmodellen liegen beim Preis pro Token schnell eine Größenordnung oder mehr, oft sogar beim selben Anbieter. Die Leistungsunterschiede sind dagegen ungleich verteilt: Bei anspruchsvollem Schlussfolgern, langen Analysen oder heiklen Formulierungen spielen große Modelle ihre Stärke aus. Beim Klassifizieren, Extrahieren, Zusammenfassen kurzer Texte oder bei einfachen Übersetzungen liefern kleinere Modelle häufig Ergebnisse, die sich von denen der großen kaum unterscheiden.

Wie viel sich damit sparen lässt, hängt am Aufgabenmix der jeweiligen Anwendung. Ein Assistent, der vor allem eingehende Anfragen einordnet und Felder aus Dokumenten zieht, kann fast alles an das kleine Modell geben. Ein Werkzeug für juristische Stellungnahmen eskaliert dagegen beinahe jede Anfrage, und ein Router spart dort wenig. Für die Anwendung selbst bleibt die Verteilung unsichtbar; sie spricht weiterhin eine einzige Schnittstelle an.

Der einfachste Weg ist eine feste Zuordnung: Die Anwendung weiß selbst, welche Art Aufgabe sie gerade stellt, und wählt das Modell per Regel. Das Kategorisieren eingehender Anfragen geht an ein kleines Modell, der Entwurf einer Stellungnahme an ein großes. Das ist transparent, leicht zu testen und reicht in vielen Projekten völlig aus.

Wo die Aufgaben weniger vorhersehbar sind, kommen gelernte Router ins Spiel. Ein kleines Hilfsmodell schätzt anhand des Prompts ab, ob das günstige Modell genügt. Das Forschungsprojekt RouteLLM aus Berkeley hat so zwischen GPT-4 Turbo und dem deutlich kleineren Mixtral vermittelt und im Benchmark MT-Bench rund 95 Prozent der Benchmark-Leistung von GPT-4 erreicht, bei bis zu 85 Prozent geringeren Kosten; auf anderen Testsets fiel die Ersparnis kleiner aus (3).

Ein dritter Weg ist die Kaskade: Zuerst antwortet das kleine Modell, eine Prüfung bewertet das Ergebnis, und nur bei Zweifeln wird das große Modell gefragt. Die Stanford-Studie FrugalGPT kam mit diesem Prinzip beim Klassifizieren von Finanzschlagzeilen auf die Qualität des besten Einzelmodells bei rund 98 Prozent geringeren Kosten. Bei den beiden anderen untersuchten Aufgaben lag die Ersparnis bei 73 und 59 Prozent (4). Solche Werte zeigen, was unter günstigen Bedingungen möglich ist, mehr nicht.

Am meisten bringt Routing dort, wo viele automatisierte Aufrufe mit gemischtem Schwierigkeitsgradzusammenkommen. Eine Studie mit 500 synthetischen Geschäftsanfragen kam auf 37,4 Prozent geringere Kosten als der durchgehende Einsatz des stärkeren Modells, die Kosten für den Router selbst bereits eingerechnet. Der Anteil brauchbarer Antworten sank dabei von 94,6 auf 94,4 Prozent (5). Bewertet hat allerdings ein Sprachmodell, die Zahlen sind ein Indiz und kein Versprechen für die eigene Rechnung.

Jeder zusätzliche Schritt kostet außerdem Zeit. Ein Router, der den Prompt vor der eigentlichen Antwort bewertet, oder eine Kaskade, die bei Zweifeln ein zweites Modell befragt, verlängert die Antwortzeit. Im Chat, auf den jemand wartet, fällt das stärker ins Gewicht als in einer nächtlichen Stapelverarbeitung. Wo ein einziges kleines Modell alle Aufgaben zuverlässig löst, ist jeder Router überflüssige Komplexität.

Routing ist inzwischen auch eine fertige Funktion großer Cloud-Plattformen, etwa der Model Router in Microsoft Foundry oder das Intelligent Prompt Routing in Amazon Bedrock. Amazon weist dabei selbst darauf hin, dass sein Routing für englische Prompts optimiert ist. Für deutschsprachige Anfragen mit eigenem Fachvokabular ist das ein guter Grund, vor jeder Umstellung mit eigenen Beispielen zu testen.

Die Kennzahl, auf die es ankommt, sind die Kosten pro erledigter Aufgabe. Ein günstiger Aufruf hilft wenig, wenn danach ein zweiter nötig wird oder jemand das Ergebnis von Hand korrigiert. Was „erledigt“ heißt, muss je Aufgabe festgelegt werden: Bei einer Extraktion zählt, ob die richtigen Felder korrekt gefüllt sind, bei einer Zusammenfassung, ob nichts Wesentliches fehlt. Eine Antwort, die nur gut klingt, genügt nicht.

Grundlage ist ein Testset aus echten Beispielen der eigenen Organisation. Daran wird der Router gegen einfache Alternativen gemessen, also gegen ein einzelnes passendes Modell und gegen eine feste Zuordnung. Mitgerechnet wird der vollständige Ablauf mit Router, Prüfschritten, Wiederholungen und, bei Kaskaden, den doppelten Aufrufen für eskalierte Fälle. Weil neue Modellversionen Preise und Leistung verschieben, gehört dieselbe Messung nach jedem Modellwechsel wiederholt. Daneben bleiben die klassischen Stellschrauben: kürzere Kontexte, wiederverwendete Prompt-Bausteine im Cache, keine Dokumente im Prompt, die das Modell gar nicht braucht.

Routing kann auch festlegen, welche Modelle bestimmte Daten überhaupt verarbeiten dürfen. Vertrauliche Unterlagen und personenbezogene Daten bleiben dann auf einer kontrollierten Infrastruktur, Unkritisches darf an eine Cloud-Schnittstelle. Die Regel muss allerdings für die gesamte Verarbeitung gelten, einschließlich Router, Protokollierung und Ausweichmodellen. Ein externer Klassifikator, der zuerst den vollständigen Prompt liest, hätte das Ziel schon unterlaufen, bevor überhaupt ein Modell gewählt ist.

Ein Serverstandort in Deutschland macht den Betrieb für sich genommen noch nicht datenschutzkonform; Rechtsgrundlagen, Verantwortlichkeiten und Zugriffe gehören ebenso geklärt, wie die Orientierungshilfe der Datenschutzkonferenz ausführt. Technisch ist die Grundlage inzwischen gut verfügbar. Offene Modelle mittlerer Größe können die günstige Standardstufe übernehmen und zugleich als lokaler Router dienen. Manche Aufgaben erledigen sogar lokale Modelle direkt im Browser.

Wer jede Frage dem klügsten Modell stellt, bezahlt am Ende vor allem für die einfachen zu viel.