Am 6. Mai 2010 verlor der Dow Jones Industrial Average innerhalb weniger Minuten fast 1.000 Punkte, rund neun Prozent seines Werts, und vernichtete kurzzeitig rechnerisch etwa eine Billion Dollar an Marktwert. Ausgelöst wurde der sogenannte “Flash Crash” durch einen einzelnen automatisierten Verkaufsauftrag über 75.000 E-Mini-Kontrakte im Wert von rund 4,1 Milliarden Dollar, den ein Algorithmus ohne Rücksicht auf Preis oder Zeitpunkt in den Markt drückte. Andere automatisierte Handelssysteme reagierten in Sekundenbruchteilen darauf, verstärkten die Verkaufswelle, und binnen Minuten brach der Markt ein. Erst rund zwanzig Minuten später erholte er sich wieder fast vollständig. Menschliche Händler saßen währenddessen vor ihren Bildschirmen und sahen zu. Eingreifen konnte in dieser Zeitspanne niemand - die Systeme agierten schneller, als ein Mensch überhaupt erfassen konnte, was gerade geschah.
Diese Geschichte wird in Risikomanagement-Kreisen meist als Warnung vor fragmentierten Märkten und Hochfrequenzhandel erzählt. Das greift zu kurz. Der eigentliche Kern ist ein anderer: Organisationen bauen zunehmend Systeme, die schneller handeln, als Menschen sie überwachen können, und verlassen sich gleichzeitig darauf, dass im Ernstfall ein Mensch eingreift. Diese Kombination ist eine strukturelle Zeitbombe, und sie betrifft längst nicht mehr nur den Börsenhandel. Sie betrifft jede Organisation, die KI-gestützte Systeme in Entscheidungsprozesse mit echtem Zeitdruck einbaut: automatisierte Fraud-Detection, KI-gestützte Netzwerküberwachung, algorithmische Lieferkettensteuerung, Frühwarnsysteme im Krisenmanagement.
Die zwei Fehler, die sich gegenseitig verstärken
Der erste Fehler ist eine Illusion von Kontrolle. Viele Organisationen implementieren KI-Systeme mit der beruhigenden Formel “der Mensch bleibt in der Schleife”. In der Praxis bedeutet das oft: Ein Mitarbeiter sitzt vor einem Dashboard und soll im Zweifel eingreifen. Doch wenn ein System in Sekunden Entscheidungen trifft, die sich in Minuten kumulieren, ist diese menschliche Aufsicht eine Fiktion. Niemand kann eine Entscheidungskette sinnvoll unterbrechen, deren Geschwindigkeit für menschliche Reaktionszeiten nicht ausgelegt ist. Das Problem ist nicht die Kompetenz der Aufsichtsperson, sondern die Architektur: Wer Eskalationsschwellen, Not-Aus-Mechanismen und Interventionsfenster nicht von Anfang an technisch mitdenkt, hat de facto keine menschliche Kontrolle eingebaut, sondern nur ein Feigenblatt dafür.
Der zweite Fehler ist subtiler und wurde in der Luftfahrt lange vor dem KI-Zeitalter beschrieben: der Verlust manueller Fähigkeiten durch Automatisierungsgewöhnung, im Fachjargon “skill fade” genannt. Der Absturz von Air France 447 im Jahr 2009 ist dafür das bekannteste Beispiel. Als die Geschwindigkeitssensoren wegen Vereisung ausfielen und sich der Autopilot abschaltete, übernahmen die Piloten manuell - und reagierten mit einer Steuerbewegung, die einen Strömungsabriss verursachte, statt ihn zu beheben. Die Untersuchung zeigte: Jahre der Automatisierungsgewöhnung hatten die Routine im Umgang mit genau jenen Grenzsituationen erodieren lassen, für die menschliches Eingreifen eigentlich vorgesehen war. Das Paradoxe daran: Je zuverlässiger ein automatisiertes System im Normalbetrieb funktioniert, desto seltener trainiert der Mensch daneben genau jene Fähigkeit, die im Ausnahmefall gebraucht wird.
Für Führungskräfte, die heute KI-Systeme in Sicherheits-, Risiko- oder Entscheidungsprozesse integrieren, ergibt sich daraus eine unbequeme Konsequenz. Es reicht nicht, ein System zu bauen und einen Menschen “zur Sicherheit” danebenzusetzen. Wer Resilienz ernst meint, muss zwei Dinge parallel sicherstellen: erstens eine Systemarchitektur, die menschliches Eingreifen technisch tatsächlich ermöglicht, mit klar definierten Zeitfenstern, Schwellenwerten und Abschaltmechanismen, die zur tatsächlichen Reaktionsgeschwindigkeit des Menschen passen. Zweitens eine bewusste Praxis, mit der genau jene Fähigkeiten trainiert werden, die im Normalbetrieb durch Automatisierung überflüssig erscheinen. Piloten üben deshalb regelmäßig im Simulator Ausnahmesituationen, obwohl der Autopilot 99 Prozent der Flugzeit übernimmt. Organisationen, die KI-gestützte Entscheidungsprozesse einführen, brauchen ein Äquivalent dazu: regelmäßige, bewusst inszenierte Situationen, in denen Menschen ohne das System entscheiden müssen, damit die Fähigkeit dazu im Ernstfall noch vorhanden ist.
Verantwortung darf nicht im System verschwinden
Damit verbunden ist eine zweite, oft übersehene Verschiebung: die Diffusion von Verantwortung. Wenn eine Entscheidung von einem KI-System vorgeschlagen oder getroffen wurde, entsteht in Organisationen leicht eine implizite Entlastung - “das System hat es so berechnet” wird zur Rechtfertigung, ohne dass jemand die Berechnung tatsächlich geprüft hätte. Genau das war auch beim Flash Crash ein Teil des Problems: Die beteiligten Handelsalgorithmen folgten jeweils für sich genommen plausiblen, korrekt programmierten Regeln. Niemand hatte in Echtzeit die Befugnis oder die Werkzeuge, das Zusammenspiel dieser Regeln zu hinterfragen, bevor sich die Verkaufswelle selbst verstärkte. Führung im KI-Zeitalter bedeutet deshalb auch, explizit festzulegen, wer für eine KI-gestützte Entscheidung haftet und rechenschaftspflichtig bleibt - nicht als Formalie im Compliance-Dokument, sondern als gelebte Praxis, die regelmäßig getestet wird, bevor der Ernstfall sie testet.
Resilienz entsteht nicht dadurch, dass man ein System für ausfallsicher erklärt. Sie entsteht dadurch, dass man ehrlich zugibt, wo die Grenzen menschlicher Reaktionsfähigkeit liegen, und die Architektur genau darauf ausrichtet, statt sich auf eine Aufsicht zu verlassen, die im entscheidenden Moment gar nicht mehr eingreifen kann.