Führung · Innovation · Risikomanagement
Autonomie ohne Aufsicht

Autonomie ohne Aufsicht

Robert-P. Pelikan | | 1 Min. Lesezeit

Resilienz als Frage der Reaktionszeit

Drei Entwicklungen prägen gerade jede Organisation, die mit künstlicher Intelligenz arbeitet, und werden fast immer getrennt diskutiert. Erstens: KI ist längst kein reines Verteidigungswerkzeug mehr, sondern ebenso ein Angriffswerkzeug, oft mit denselben Modellen auf beiden Seiten. Zweitens: automatisierte Systeme treffen und verbreiten Entscheidungen inzwischen so schnell, dass menschliche Aufsicht strukturell nicht mehr mithält. Drittens: die klassischen Grundlagen von Führungsautorität - Titel, Erfahrung, privilegierter Wissensvorsprung - verlieren an Tragfähigkeit, weil KI genau jene Fähigkeiten demokratisiert, auf denen diese Autorität bisher beruhte.

Diese drei Entwicklungen sind keine unabhängigen Baustellen, sondern Ausprägungen desselben Problems: Das Zeitfenster, in dem ein Mensch mit ausreichender Befugnis, Urteilsvermögen und Rückhalt noch eingreifen kann, bevor eine automatisierte Entscheidung Wirkung entfaltet, wird kürzer - technisch, weil Systeme schneller werden, und menschlich, weil das eigenständige Urteilsvermögen unter permanenter KI-Nutzung nachweislich erodiert, wenn niemand gegensteuert. Wer Resilienz nur als Ingenieursfrage behandelt oder Führung nur als Frage der Haltung, verpasst diesen Zusammenhang - und genau er entscheidet, welche Organisationen Schocks abfedern und welche daran zerbrechen.

Zwei Seiten derselben Front

Der WEF Global Cybersecurity Outlook 2026, erstellt mit Accenture auf Basis von mehr als 800 befragten Führungskräften aus 92 Ländern, benennt KI als den mit Abstand wichtigsten Treiber für Veränderung in der Cybersicherheit: 94 Prozent stufen sie so ein. 87 Prozent identifizieren KI-bezogene Schwachstellen als das am schnellsten wachsende Cyberrisiko des vergangenen Jahres. Der Anteil jener, die die Sicherheit ihrer eigenen KI-Werkzeuge systematisch prüfen, stieg von 37 auf 64 Prozent (WEF, Global Cybersecurity Outlook 2026) - Fortschritt, aber auch ein Eingeständnis, dass gut ein Drittel weiterhin KI-Systeme einsetzt, ohne deren Angreifbarkeit zu kennen.

Die ENISA liefert die operative Innenansicht dazu. Ihr Threat Landscape 2025, gestützt auf fast 4.900 ausgewertete Vorfälle zwischen Juli 2024 und Juni 2025, hält fest, dass KI-gestütztes Phishing bereits Anfang 2025 mehr als 80 Prozent der beobachteten Social-Engineering-Aktivitäten ausmachte. Der Bericht beschreibt zudem eigenständige, bösartige KI-Systeme wie Xanthorox AI sowie die Nutzung kommerzieller Modelle wie Gemini und ChatGPT durch staatsnahe Akteure aus China, Iran und Nordkorea zur Angriffsvorbereitung (ENISA, Threat Landscape 2025). Bemerkenswert ist nicht die Existenz solcher Werkzeuge, sondern dass Verteidiger und Angreifer zunehmend dieselbe technologische Basis nutzen - die Trennlinie zwischen “innen, kontrolliert” und “außen, Bedrohung” verschwimmt.

Wie konkret das bereits wirkt, zeigt ein Fall aus dem Jänner 2024. Ein Finanzmitarbeiter der Hongkonger Niederlassung des britischen Ingenieurbüros Arup nahm an einer Videokonferenz teil, in der er den Finanzvorstand und mehrere Kolleginnen und Kollegen zu erkennen glaubte, und veranlasste in der Folge fünfzehn Überweisungen im Gesamtvolumen von rund 25,6 Millionen US-Dollar. Jede Person im Videoanruf war eine KI-generierte Fälschung aus öffentlich verfügbarem Bild- und Tonmaterial (Weltwirtschaftsforum, Bericht zum Arup-Vorfall, 2025). Kein IT-System wurde kompromittiert - die Schwachstelle war das Wiedererkennen eines vertrauten Gesichts in einer Position mit Entscheidungsbefugnis. Der Angriff richtete sich nicht gegen ein System, sondern gegen die menschliche Heuristik, mit der Autorität erkannt wird.

Eine KI-Strategie, die Effizienzgewinne und Sicherheitsrisiko getrennt betrachtet, verfehlt damit die Realität. Wer ein Sprachmodell für Kundenservice oder Codeentwicklung einführt, erweitert unweigerlich die Angriffsfläche, die ein Gegenüber mit denselben Werkzeugen ausnutzen kann. Jede Sicherheitsarchitektur, die von einer stabilen Trennung zwischen Angreifer- und Verteidigerwerkzeug ausgeht, ist bereits beim Entwurf veraltet.

Wenn Geschwindigkeit die Aufsicht überholt

Am 19. Juli 2024 legte ein fehlerhaftes Update der Sicherheitssoftware CrowdStrike weltweit rund 8,5 Millionen Windows-Systeme lahm. Flüge wurden gestrichen, Krankenhäuser mussten auf Papierprozesse zurückgreifen, Zahlungssysteme fielen aus. Eine Versicherungsanalyse bezifferte den direkten Schaden für Fortune-500-Unternehmen auf mehr als fünf Milliarden Dollar. Kein Cyberangriff, sondern ein Fehler im automatisierten Verteilungsprozess eines einzelnen Anbieters, der binnen Minuten globale Wirkung entfaltete, weil ein Update ohne ausreichende Kontrollschleife an Millionen Systeme gleichzeitig ausgerollt wurde. Resilienzplanung für kritische Infrastruktur heißt deshalb heute: Es reicht nicht, Systeme redundant auszulegen, wenn ein automatisierter Prozess ohne böse Absicht ganze Sektoren gleichzeitig treffen kann, bevor ein Mensch überhaupt bemerkt, dass etwas schiefläuft. Zwölf Jahre zuvor hatte bereits der Fall Knight Capital, das binnen 45 Minuten 440 Millionen Dollar durch einen nicht deaktivierten Code-Rest verlor, denselben Konstruktionsfehler offengelegt - ohne dass die Branche daraus ein wiederkehrendes Muster statt eines Einzelfalls gemacht hätte.

Diese Dynamik wird sich mit zunehmender Autonomie verschärfen. Gartner geht davon aus, dass der Anteil von IT-Betriebsabläufen mit echter menschlicher Kontrollinstanz - “human in the loop” - von 95 Prozent (2025) auf 40 Prozent (2028) fallen wird, während bis 2027 rund 40 Prozent der eingeführten autonomen KI-Agenten wieder zurückgestuft werden, weil sich Governance-Lücken erst nach realen Vorfällen zeigen (Gartner, 2026). Beide Zahlen beschreiben denselben Trend aus zwei Richtungen: Die Bereitschaft, Kontrolle abzugeben, wächst schneller als die Fähigkeit, sie im Ernstfall zurückzuholen.

Resilienz ist keine Eigenschaft von Systemen. Sie ist die Zeit, die einem Menschen bleibt, um noch etwas zu ändern - und die Bereitschaft, diese Zeit auch zu nutzen.

Regulatorisch ist die Lücke erkannt, auch wenn Erkenntnis und Wirkung zwei verschiedene Dinge sind. Der EU AI Act verpflichtet Betreiber von KI-Systemen in Hochrisikobereichen ab 2. August 2026 zu Risikomanagement, Protokollierung und - in Artikel 14 - zu wirksamer menschlicher Aufsicht. Singapurs im Jänner 2026 vorgestelltes Rahmenwerk für agentische KI verlangt zusätzlich für jeden autonomen Agenten eine überprüfbare digitale Identität samt lückenlosem Protokoll, wer unter wessen Autorisierung gehandelt hat. Beide Regelwerke beantworten damit nicht die eigentliche Frage: Ein Protokoll beweist im Nachhinein, wer hätte eingreifen sollen. Es verhindert nicht, dass in Echtzeit niemand tatsächlich eingegriffen hat.

Governance als Architektur, nicht als Dokument

McKinseys AI Trust Maturity Survey 2026, unter rund 500 Organisationen mit direkter Governance- oder Investitionsverantwortung, zeigt leichten Fortschritt: Der durchschnittliche Reifegrad für verantwortungsvolle KI stieg von 2,0 auf 2,3 von 5 Punkten. Der eigentliche Befund liegt tiefer: Nur rund 30 Prozent erreichen bei der Steuerung autonomer Agenten überhaupt die dritte von vier Reifestufen, fast zwei Drittel nennen Sicherheits- und Risikofragen als größtes Skalierungshindernis (McKinsey, State of AI Trust 2026).

Diese Lücke ist keine Nachlässigkeit, sondern die logische Folge davon, dass Governance meist als Dokument oder jährliche Prüfung gedacht wird. Autonome Systeme, die kontinuierlich in Echtzeit entscheiden, sich gegenseitig als Werkzeuge aufrufen und sich mit jedem Update verändern, lassen sich damit nicht führen. Governance muss Teil der technischen Plattform selbst werden: mit klaren Handlungsgrenzen pro Agent, schrittweiser Ausweitung von Autonomie erst nach nachgewiesen stabilem Verhalten, und einer jederzeit abrufbaren Antwort auf eine Frage: Welcher konkrete Mensch - nicht Team, nicht Abteilung - ist für die Entscheidung eines bestimmten Systems rechenschaftspflichtig?

Diese Frage lässt sich nicht outsourcen. Audit-Trails lösen das technische Problem, im Nachhinein zu rekonstruieren, was geschehen ist. Sie lösen nicht, wer die Verantwortung trägt, wenn ein System innerhalb seiner Programmierung korrekt, im konkreten Kontext aber falsch entscheidet. Ein Protokoll zeigt, dass eine Entscheidung nachvollziehbar zustande kam - es ersetzt nicht, dass jemand bereit und fähig war, sie im entscheidenden Moment zu hinterfragen.

Die stille Erosion des Urteilsvermögens

Während sich die Governance-Debatte meist auf Systeme konzentriert, deutet eine wachsende Zahl an Studien auf ein zweites, weniger sichtbares Risiko hin: die Abnahme genau jener menschlichen Fähigkeit, die im entscheidenden Moment gebraucht wird. Eine 2025 im Fachjournal Societies veröffentlichte Untersuchung der SBS Swiss Business School unter 666 Teilnehmenden fand einen klaren Zusammenhang zwischen häufiger KI-Nutzung und geringerer Fähigkeit zum kritischen Denken, vermittelt über kognitive Auslagerung: Wer Denkarbeit regelmäßig delegiert, übt die zugrundeliegende Fähigkeit seltener (Gerlich, Societies, 2025). Eine Untersuchung des MIT Media Lab, “Your Brain on ChatGPT”, fand 2025 messbar reduzierte kognitive Aktivität bei KI-unterstützten Schreibaufgaben, besonders bei jüngeren Nutzerinnen und Nutzern.

Die Boston Consulting Group übersetzte diesen Befund 2026 in eine unternehmerische Warnung. Ihre Analyse “When Everyone Uses AI, Companies Risk Losing Critical Skills” benennt Urteilsvermögen, Problemlösungskompetenz sowie kreatives und kausales Denken als besonders gefährdet, wenn Organisationen nicht gezielt gegensteuern. Sie empfiehlt, den Nutzen von KI-Einsatz nicht nur an Effizienz zu messen, sondern an einer Gegenrechnung namens “Return on Intelligence” - und jüngeren Mitarbeitenden bewusst Gelegenheit zu geben, Entscheidungen ohne KI-Unterstützung zu treffen. Die Begründung: Fehlt heute die Übung im KI-freien Entscheiden, fehlt in fünf oder zehn Jahren die Entscheidungsgrundlage für die wirklich folgenreichen Weichenstellungen.

Für Führung ergibt sich daraus eine unbequeme Rechnung: Die zu überwachenden Systeme werden schneller und autonomer, während bei genau jenen Menschen, die diese Überwachung leisten sollen, ohne Gegenmaßnahmen die Übung im eigenständigen Urteilen erodiert. Das ist kein Argument gegen KI-Werkzeuge, sondern dafür, ihren Einsatz so bewusst zu gestalten wie die Einsatzgrenzen eines autonomen Agenten - mit Phasen bewusst KI-freier Entscheidungsfindung und einer Kultur, die langsameres Selberdenken nicht als Ineffizienz behandelt, sondern als Investition in eine Kompetenz, die im entscheidenden Moment nicht nachträglich erwerbbar ist.

Warum Titel nicht mehr schützen

Damit verschiebt sich auch die Grundlage von Führungsautorität selbst. Klassische Autorität speiste sich aus drei Quellen: formaler Titel, angesammelte Erfahrung, privilegierter Zugang zu Information. Alle drei verlieren an exklusiver Kraft, sobald ein KI-System Fachwissen in Sekunden aufbereitet und Muster erkennt, für die früher jahrzehntelange Erfahrung nötig war. Erfahrung wird dadurch nicht wertlos - sie reicht nur allein nicht mehr, um Autorität zu begründen, wenn eine Nachwuchskraft mit den richtigen Werkzeugen strukturell denselben Informationsstand erreicht wie eine Führungskraft mit zwanzig Dienstjahren.

McKinseys State of Organizations 2026, unter mehr als 10.000 Führungskräften in 15 Ländern, fand, dass 88 Prozent der Organisationen KI bereits einsetzen - meist in isolierten Einzelanwendungen ohne Wirkung auf Unternehmensebene. Das Nadelöhr sitzt im mittleren Management: Führungskräfte, die selbst unsicher sind, geben diese Unsicherheit an ihre Teams weiter, unabhängig von der Qualität der Strategie. Der Rohstoff dagegen wäre vorhanden - laut Edelman Trust Barometer 2026 vertrauen 78 Prozent der Beschäftigten weltweit ihrem Arbeitgeber, “das Richtige zu tun”. Dieses Vertrauen verpufft, wenn Führungskräfte es nicht in nachvollziehbare Entscheidungen übersetzen, sondern hinter Prozessen und Systemempfehlungen verschwinden.

Legitim ist zunehmend, wer unter Zeitdruck tragfähige Urteile fällt, diese erklären kann und bereit ist, im entscheidenden Moment tatsächlich einzugreifen, statt sich hinter einer Systemempfehlung zu verstecken. Diese Fähigkeit lässt sich nicht durch einen Titel verleihen oder durch Dienstjahre erwerben. Sie muss trainiert werden, ähnlich wie ein Pilot Ausnahmesituationen im Simulator übt, obwohl die Automatik den Großteil des Fluges übernimmt - und sie setzt genau jenes Urteilsvermögen voraus, das im vorigen Abschnitt als gefährdete Ressource beschrieben wurde.

Der Fall Arup macht die Verschiebung besonders deutlich. Was den Mitarbeiter überzeugte, war kein Argument, sondern das vertraute Gesicht des Finanzvorstands - ein reines Autoritätssignal, losgelöst von jedem nachprüfbaren Inhalt. Genau dieses Signal ließ sich täuschend echt nachbilden, weil es auf Wiedererkennung beruhte, nicht auf Begründung.

Wer Autorität durch ein wiedererkennbares Gesicht behauptet, liefert die Vorlage für die eigene Fälschung.

Autorität, die sich stattdessen an nachvollziehbarem Urteil und konsistentem Verhalten über Zeit festmacht, ist gegen diese Art von Angriff strukturell widerstandsfähiger. Das war schon immer die eigentliche Grundlage guter Führung - nur musste sie bisher selten unter Beweis gestellt werden, weil Titel und Präsenz als Abkürzung genügten. Diese Abkürzung fällt weg, und mit ihr die Möglichkeit, Führungsqualität auf Dauer zu simulieren statt sie auszuüben.

Der gemeinsame Nenner

Die drei eingangs beschriebenen Entwicklungen laufen auf eine einzige Konstruktionsfrage zusammen, die sich nicht in Ressorts aufteilen lässt: Wie lange ist das Zeitfenster, in dem eine Entscheidung noch korrigierbar ist, wer steht mit welcher Befugnis davor, verfügt diese Person über trainiertes, nicht ausgelagertes Urteilsvermögen, und genießt sie genug Rückhalt, um im Zweifel gegen die Empfehlung eines Systems zu entscheiden? Ob wachsende Angriffsfläche, automatisierte Infrastruktur, Agenten-Governance oder Führungsautorität: In jedem Fall verengt sich dasselbe Fenster aus zwei Richtungen zugleich - technisch, weil Systeme schneller werden, menschlich, weil das dafür nötige Urteilsvermögen ohne gezielte Pflege genau dann schwächer wird, wenn es am dringendsten gebraucht wird.

Resilienz entscheidet sich nicht daran, ob dieses Fenster existiert - es existiert fast immer, und sei es nur für Minuten wie bei CrowdStrike oder Sekunden wie im Hochfrequenzhandel. Sie entscheidet sich daran, ob eine Organisation vorab festgelegt hat, wer darin mit welcher Befugnis handeln darf, ob diese Person das Fenster tatsächlich nutzen kann, und ob sie genug Rückhalt genießt, um es zu tun. Technische Redundanz, Governance-Architektur, gepflegtes Urteilsvermögen und Führungsvertrauen sind damit keine vier getrennten Vorhaben mehr, sondern Bauteile derselben Konstruktion. Die Organisationen, die die kommenden Jahre gut überstehen, werden nicht jene mit dem schnellsten System oder dem erfahrensten Vorstand sein. Es werden jene sein, die wissen, wie lange ihr Interventionsfenster ist, wer davorsteht - und ob diese Person im entscheidenden Moment tatsächlich noch entscheiden kann.