Kill Switch für KI-Agenten: in-manas startet europäisches Sovereign AI OS

Mit dem Sovereign AI OS können Unternehmen Zugriffsrechte für KI-Agenten festlegen, deren Aktionen nachvollziehen, Agent Runs über einen „Kill Switch“ stoppen und Kosten kontrollieren. Nach Angaben von in-manas ist die Lösung für sensible Anwendungen in der Energieversorgung, im Gesundheitswesen, im öffentlichen Verkehr, in der Logistik, in der technologieintensiven Industrie und im Verteidigungssektor ausgelegt. Sie ist nach Unternehmensangaben bereits bei ausgewählten Referenzkunden im Einsatz und steht seit dem 15. Oktober 2026 allen Unternehmen und Institutionen zur Verfügung.

Einzelne KI-Agenten lassen sich schnell entwickeln und erproben. Sobald Unternehmen viele Agenten parallel im regulären Betrieb einsetzen, wird ihre Steuerung laut in-manas zur Infrastrukturfrage: Mit der Zahl der Agenten steigen Tokenkosten, manuelle Nacharbeit und das Risiko von Fehlfunktionen. Anders als Chatbots greifen Agenten selbstständig auf Daten und Systeme zu und lösen Aktionen aus. Fehler, Fehlkonfigurationen oder manipulierte Eingaben können sich dadurch unmittelbar auf Geschäftsprozesse auswirken.

„Wer KI-Agenten in kritischen Anwendungen ohne klare Zugriffsregeln, Kostenlimits und Kill Switch einsetzt, handelt fahrlässig. Als wir begonnen haben, eigene Agenten zu entwickeln, habe ich direkt gesehen: Sie brauchen klare Grenzen – und die Möglichkeit, jeden Agent Run sofort zu stoppen. Deshalb haben wir mit dem Sovereign AI OS eine Plattform entwickelt, die genau diese Kontrolle ermöglicht“

Das für europäische Unternehmen entwickelte Sovereign AI OS führt unterschiedliche Agenten und Plattformen in einer gemeinsamen Kontrollstruktur zusammen. So bleiben Zugriffe, Aktionen und Kosten an einer Stelle sichtbar, auch wenn im Unternehmen mehrere Systeme parallel im Einsatz sind. Es ist headless, also unabhängig von einer bestimmten Benutzeroberfläche: Bestehende Werkzeuge und Anwendungen können weiter genutzt werden, während Steuerung und Kontrolle zentral darunterliegen. Unternehmen können zudem eigene Anwendungen und Benutzeroberflächen darauf aufbauen. Mit dem integrierten Agent Builder entwickeln sie eigene KI-Agenten und überführen sie über einen geregelten Freigabeprozess in den produktiven Betrieb.

Betrieb auf eigener Infrastruktur oder in einer europäischen Cloud

Die Plattform lässt sich als dedizierte Instanz auf der Infrastruktur des Kunden betreiben, einschließlich lokal betriebener Open-Weight-Modelle, oder in einer souveränen Cloud innerhalb Europas. Unternehmen steuern Datenzugriffe zentral und können Modelle und Anbieter über die Konfiguration wechseln, ohne jeden Agenten einzeln anzupassen.

Während der Ausführung protokolliert das System die Aktionen und Kosten jedes Agent Runs, auch bei Fehlern oder Abbrüchen. Verantwortliche können dadurch nachvollziehen, was ein Agent getan hat, und über den Kill Switch den Agent Run sowie die zugehörigen Modell-, Daten- und Toolzugriffe stoppen. Budgets lassen sich für einzelne Agenten, Abteilungen oder das gesamte Unternehmen festlegen. Werden definierte Grenzen erreicht, warnt das System oder bricht den Agent Run automatisch ab. Die Dokumentation unterstützt nach Angaben von in-manas interne Prüfungen und regulatorische Nachweise, etwa im Rahmen des EU AI Act, und liefert zusammen mit der zentralen Zugriffssteuerung eine Grundlage für das Cybersicherheits-Risikomanagement nach NIS2.

Praxisbeispiel Biolyz: Kosten pro Agent Run

Wie sich die Kostenkontrolle praktisch auswirkt, zeigt nach Angaben von in-manas eine Kundenanwendung beim Healthtech-Unternehmen Biolyz: Dort geben KI-Agenten Leistungssportlern Empfehlungen zu Ernährung, Schlaf und Bewegung. Biolyz hatte eine Kostenobergrenze von zwei Euro pro Agent Run festgelegt. Durch detaillierte Kostenerfassung und schrittweise Optimierung der Arbeitsschritte konnte in-manas die Kosten bei einzelnen Agent Runs auf 20 Cent senken, ein Zehntel der Obergrenze. (Unternehmensangabe, nicht unabhängig geprüft.)

Die Frage, wer KI-Systeme im Ernstfall anhalten kann, ist inzwischen auch in der Politik angekommen. Der EU AI Act sieht für Hochrisiko-KI-Systeme wirksame menschliche Aufsicht vor. Dazu gehört, dass Menschen in den Betrieb eingreifen und das System über eine „Stopp“-Funktion in einen sicheren Zustand bringen können (Art. 14) [1]. Bundesdigitalminister Karsten Wildberger forderte laut Pressemitteilung im September auf der KI-Konferenz ALL IN in Montréal, dass Menschen KI-Systeme steuern, korrigieren und bei Bedarf stoppen können müssen [2]. In Kalifornien hat Gouverneur Gavin Newsom per Executive Order eine Expertengruppe beauftragt, Empfehlungen vorzulegen, darunter eine mögliche Pflicht zu Notabschaltungen für besonders leistungsfähige Frontier-Modelle [3].

Für sensible Anwendungen in der Energieversorgung, im Gesundheitswesen oder im öffentlichen Verkehr reicht die Möglichkeit zum Eingreifen allein nicht aus. Ebenso entscheidend ist laut in-manas, wer die Infrastruktur betreibt, wer auf Daten zugreifen kann und welche Abhängigkeiten von Modell- und Cloudanbietern bestehen. Europäische Souveränität bedeutet demnach, die KI-Verarbeitung unter eigener Kontrolle auf europäischer Infrastruktur betreiben und die eingesetzten Anbieter wechseln zu können. In Unternehmen stelle sich die Kontrollfrage auf der Ebene der Anwendung: Welche Aktionen darf ein Agent ausführen, wer kann eingreifen, und lässt sich im Nachhinein belegen, was geschehen ist?