Souveräne KI im Krisenmanagement: Kontrolle über die Entscheidungskette

Wenn im Zusammenhang mit NIS2 und dem All-Hazard-Ansatz über souveräne KI gesprochen wird, stehen häufig Standort, Hosting und die Unabhängigkeit von einzelnen Anbietern im Mittelpunkt. Diese technologische Souveränität ist wichtig. Sie reicht aber nicht aus.

Gerade im Risiko- und Krisenmanagement zählt, ob eine Organisation nachvollziehen kann, wie aus ihren eigenen Daten eine konkrete Einschätzung oder Handlungsempfehlung entsteht. Wer KI in kritischen Situationen einsetzt, muss deshalb neben der Infrastruktur auch den Weg von der Information zur Entscheidung kontrollieren.

Das Risiko entsteht zwischen den Schritten

KI-gestütztes Risiko- und Krisenmanagement basiert selten auf einem einzelnen Modell. Informationen aus Sensorik, Meldewesen, Lageberichten, externen Quellen und internen Systemen werden zusammengeführt, bewertet und mit fachlichen Regeln abgeglichen. Dabei kann jeder Verarbeitungsschritt für sich plausibel erscheinen und das Gesamtergebnis trotzdem falsch sein. Kontext geht verloren, kleine Abweichungen verstärken sich oder eine korrekt erfasste Information wird im weiteren Prozess falsch gewichtet oder zugeordnet.

Deshalb greift es zu kurz, ausschließlich das eingesetzte KI-Modell zu prüfen. Organisationen müssen auch die Verarbeitungskette nachvollziehen können: Welche Daten sind eingeflossen? Welche Bewertungen wurden angewendet? Wie wurden Widersprüche behandelt? Wie entstand daraus die Empfehlung?

Skill-basierte Orchestrierung macht Verarbeitungsschritte prüfbar

Eine Antwort darauf bietet eine skill-basierte Orchestrierung. Dabei wird ein komplexer KI-Prozess in klar abgegrenzte fachliche Aufgaben zerlegt. Jeder sogenannte Skill übernimmt eine definierte Funktion, greift auf festgelegte Daten zu und liefert einen nachvollziehbaren Beitrag zum Gesamtergebnis. Ein übergeordneter Master-Skill koordiniert diese Schritte.

Der Vorteil liegt in der Prüfbarkeit: Einzelne Verarbeitungsschritte lassen sich nachvollziehen, testen und bei Bedarf korrigieren, ohne die gesamte Kette infrage stellen zu müssen.

Entscheidend ist die feste Verbindung zwischen Skill und Datenquelle. Es ist definiert und geprüft, welche Daten ein Skill nutzt und wie er sie verarbeitet. Soll dieselbe fachliche Logik mit einer neuen Datenquelle eingesetzt werden, muss diese Anbindung erneut geprüft werden. Wiederverwendbar ist also die fachliche Logik, nicht ungeprüft ihre konkrete Datenbasis. So lässt sich auch im Nachhinein rekonstruieren, welcher Verarbeitungsschritt auf welcher Datengrundlage zu einer Entscheidung beigetragen hat.

Praxisbeispiel: das KI-gestützte Lagebild

Wie relevant das im Krisenfall ist, zeigt das Beispiel eines Lagebilds. Es entsteht nicht aus einer einzigen Quelle, sondern aus dem Zusammenspiel zahlreicher Datenpunkte wie Meldungen verschiedener Stellen, Sensordaten, historische Ereignisse, interne Systeme und externe Nachrichtenlagen.

Ein KI-Assistent kann diese Informationen schnell verdichten und daraus eine Einschätzung ableiten. Im Ernstfall genügt eine plausible Zusammenfassung jedoch nicht. Wird eine Lage falsch bewertet, muss ein Krisenstab erkennen können, auf welchen Informationen die Einschätzung beruht, wie Quellen berücksichtigt wurden und wo eine Fehleinschätzung entstanden sein könnte.

Ein Beispiel für eine solche Architektur ist DAPHY®, eine vom Münchener KI-Anbieter moresophy entwickelte Technologie zur datengetriebenen Reasoning-Orchestrierung. Das Lagebild ist dabei nur ein möglicher Anwendungsfall; das gleiche Prinzip lässt sich etwa für Ressourcenplanung, Risikobewertungen oder Business Continuity Management nutzen.

Für einen Lagebildassistenten können fachliche Sub-Skills beispielsweise einzelne Quellen erfassen, deren Verlässlichkeit bewerten oder die Herleitung einer Einschätzung dokumentieren. Ein Master-Skill führt die Beiträge zu einem Gesamtbild zusammen. Anders als bei einer rein generativen KI wird die Einschätzung dabei nicht bei jeder Anfrage allein aus Rohdaten neu erzeugt. Sie folgt einer zuvor definierten fachlichen und datenbezogenen Logik. Dadurch bleibt erkennbar, warum das System zu einer bestimmten Einschätzung kommt und wo sie überprüft oder korrigiert werden kann.

Menschliche Kontrolle muss im Prozess ansetzen

Das ist auch für die Rolle des Menschen entscheidend. Ein Human-in-the-Loop hilft wenig, wenn ein Entscheider am Ende lediglich ein fertiges KI-Ergebnis bestätigen oder verwerfen kann, ohne zu wissen, wie es entstanden ist.

Menschliche Kontrollpunkte sollten deshalb dort liegen, wo fachliches Urteil gefragt ist, etwa bei widersprüchlichen Quellen, kritischen Schwellenwerten oder weitreichenden Entscheidungen. So bleibt die Verantwortung beim Menschen, ohne auf die Geschwindigkeit und Analysefähigkeit von KI verzichten zu müssen.

Kognitive Souveränität ist mehr als Anbieterunabhängigkeit

Damit schließt sich der Kreis zur Frage der Souveränität. Wer lediglich den Anbieter oder das Sprachmodell austauschen kann, hat zwar technische Wahlfreiheit. Kontrolle über KI-gestützte Entscheidungen entsteht daraus noch nicht.

Dafür braucht es kognitive Souveränität: die Fähigkeit einer Organisation, zu verstehen und zu steuern, wie aus ihren eigenen Daten Einschätzungen und Entscheidungen entstehen. Die fachliche Logik bleibt dabei unter eigener Kontrolle und ist nicht untrennbar an ein bestimmtes Sprachmodell gebunden. Modelle können ausgetauscht oder weiterentwickelt werden, ohne dass mit ihnen die Nachvollziehbarkeit des Entscheidungsprozesses verloren geht. Denn gerade im Krisenfall reicht es nicht zu wissen, was eine KI empfiehlt. Verantwortliche müssen auch beurteilen können, warum.