Cybersicherheit im Zeichen von Gefahren durch agentische KI: 11 Handlungspunkte für IT/OT-Cybersicherheit

Während eines ExploitGym-Benchmark-Sicherheitstests durch OpenAI wurden Drittparteien wie Hugging Face zur Lösung der gestellten Aufgabe durch agentische KI kompromittiert. Dieser Sicherheitsvorfall hat gezeigt, dass hochentwickelte KI-Agenten in Kombination mit leistungsstarken KI-Frontier-Modellen autonome Exploit-Fähigkeiten mit weitreichenden Planungsfähigkeiten entwickeln können.

Diese sind in der Lage, komplexe IT-Systeme und Anwendungen zu analysieren, dynamische Codeanalysen durchzuführen und Schutzmaßnahmen wie Sandboxing zu umgehen. Zudem können diese KI-Agenten auf die Suche nach neuen Zero-Day-Schwachstellen ausweichen, falls ein zuvor eingeschlagener Pfad zur Ausnutzung von Schwachstellen mit bekannten Exploits fehlschlägt.

Um IT-/OT-Umgebungen vor solchen KI-automatisierten Angriffen zu schützen, müssen Abwehrmaßnahmen über klassische Methoden wie ein reaktives Patch-Management hinausgehen. Es ist wichtig, dass sich Organisationen in der Cybersicherheit neu aufstellen. Methoden wie risikopriorisierte Gegenmaßnahmen, Segmentierung, Governance für KI-Agenten sowie ein Monitoring von agentischer-KI sind Schlüssel zur erfolgreichen Abwehr dieser neuen Gefahren durch KI.

Im Folgenden werden elf strategische Handlungsempfehlungen für IT/OT-Sicherheitsteams zum Umgang mit Gefahren durch KI-Agenten zusammengefasst.

Segmentierung von IT-/OT-Netzwerken

Die Implementierung einer (Mikro-)Segmentierung für IT-/OT-Zonen und Isolierung von industriellen Steuerungssystemen (ICS/SCADA), speicherprogrammierbaren Steuerungen (SPS) und Edge-Gateways über Zero-Trust-Netzwerkzonen ist eine wirkungsvolle Schutzmaßnahme gegen Angriffe durch KI-Agenten.

Für hochkritische Anwendungen sind zusätzliche Netzwerkabsicherungen wie Air Gaps zu empfehlen. Standardmäßig müssen API-Schnittstellen und Ports zwischen diesen Segmenten geschlossen sein und offene Ports auf Protokolle und Aktivitäten durch agentische KI überwacht werden.KI-Agenten zeichnen sich durch laterale Bewegung über mehrere Punkte in Netzwerken und deren Erkundung aus, wenn ihnen ein unbegrenzter Zugang im Netzwerk gewährt wird. (Mikro-)Segmentierung verhindert, dass ein KI-Agent ohne Hürden von einer kompromittierten IT-Umgebung in weitere IT-Elemente und beispielsweise kritische OT-Prozesse vordringt. Jeder Übergang zwischen Netzwerksegmenten erzeugt für KI-Agenten einen Bedarf an Rechenleistung (Compute) zur Suche und Ausnutzung von Schwachstellen. (Mikro-Segmentierung erhöht somit den Ressourcenaufwand für den Angreifer.

Hardware gestützte Sicherheitsmerkmale

KI-Agenten können dazu Angriffsmethoden auf Ebene des Betriebssystems, wie beispielsweise im Kernel-Speicher-Management, anwenden, um einen Sprung aus der Sandbox oder zu anderen Systemumgebungen zu bewerkstelligen. Hardwaregestützte Sicherheitsmerkmale (Smartcards), Physical Unclonable Functions (PUF) und Trusted Platform Modules (TPM) stellen durch die physikalische Bindung für agentische KI eine schwere zu überwindende Hürde dar. Daher sollten kritische Systembereiche und Systemelemente zusätzlich mit solchen physikalischen Sicherheitsfunktionen abgesichert werden. Anwendungsbereiche sind hier beispielsweise Kernel Prozesse auf Betriebssystemebene, Speichersicherheit, Root-Dateisysteme, Endgeräte, virtuelle Maschinen und Container. Abwehrmaßnahmen zum Schutz des Betriebssystemkerns wie Address Space Layout Randomisation (ASLR) senken die Erfolgsraten von KI-Agenten beim Ausbruch aus Sandbox-Umgebungen oder dem Eindringen in Zielsysteme.

Anwendungshygiene auf Test- und Produktivsystemen

KI-Agenten sind in hohem Maße auf vorhandene Werkzeuge angewiesen, um Laufzeitumgebungen und Netzwerke zu untersuchen, lokale Exploits zu kompilieren und Fuzzing-Tests in parallelen Ausführungen durchzuführen. Die Entfernung aller Debugging-Tools, Compiler, Binäranalyse-Tools und dynamischen Skript-Shells aus den produktiven IT- und OT-(Mikro-)Segmenten und Systemen ist zum Schutz vor Angriffen durch KI-Agenten unerlässlich.

Monitoring und Anomalieerkennung

Autonome KI-Agenten arbeiten oftmals nach Brute-Force-Prinzipien und generieren parallele Trial-and-Error-Iterationen sowie API-Aufrufe, während sie Zielsysteme untersuchen und den Erfolg von Exploits überprüfen. Der Einsatz von Verhaltenserkennungssystemen, die hochfrequente Befehlssequenzen, ungewöhnliche Dateisystemabfragen oder API-Aufrufe innerhalb kurzer Zeitfenster erkennen und einen Alarm auslösen muss auf KI-Agenten ausgeweitet werden. Die zur Verhaltenserkennung verwendeten KI-Modelle sollten dabei dynamisch austauschbar sein, damit der Angreifer seinen Angriff nicht einfach auf ein spezifisches KI-Modell der Verhaltenserkennung anpassen kann.

Risikobasierte Patch- und Update-Zyklen

Agenten prüfen Codebasen unabhängig voneinander und identifizieren sekundäre Schwachstellen. Wenn eine bekannte Schwachstelle nicht gepatcht ist, stellt diese eine für KI-Agenten leicht zu lösende Aufgabe dar. Die Etablierung einer kontinuierlichen Pipeline für das Schwachstellenmanagement mit strengen SLA Fristen für Zero-Day- und N-Day-Schwachstellen in Betriebssystemkernen, Software-Bibliotheken, virtuellen Systemen und Web-Engines ist in Zeiten von blitzschnellen KI-angriffen notwendig.

Dabei ist die Reihenfolge und Anwendung von Patches auf Basis der Risiken für die eigenen IT-/OT Systeme zu priorisieren. Systeme mit hohen Risiken sind vorrangig und in engen Zeitfenstern von 12 Stunden bis einen Tag zu patchen. Die Reduzierung der Angriffsfläche durch bekannte Schwachstellen ist daher unerlässlich.

Human in the Loop bei kritischen Prozessen

Autonome KI-Systeme führen Befehlsketten ohne menschliches Eingreifen aus. Harte physische oder kryptografische Grenzen verhindern, dass KI-Agenten destruktive Aktionen ausführen.

Für risikoreiche Vorgänge (z. B. Firmware-Updates in Firewalls, Routern und OT-/SPS-Systemen) ist eine Mehrfaktor-Authentifizierung (MFA) oder eine Verifizierung per Hardware-Token oder Smartcards zum Schutz vor KI-Agenten erforderlich. Zero-Trust-Identitätsarchitektur mit kurzlebigen Anmeldeinformationen KI-Agenten nutzen Berechtigungen oder ungeschützte lokale Authentifizierungstokens, um sicherheitsrelevante Informationen zu exfiltrieren und Berechtigungen in Systemen bis zum Vollzugriff (Root-Berechtigungen) auszuweiten. Die Absicherung von Systeminteraktionen muss mithilfe von Authentifizierung und kurzlebigen Tokens an bereichsgebundene Identitäten und Non Human Identities erfolgen. Das Prinzip der geringsten Berechtigungen für alle Benutzeraccounts muss auf allen Anwendungsebenen durchgesetzt werden.

Automatisierte KI-Agenten in der Verteidigung einsetzen (KI-Angriff vs. KI-Triage) Eine KI-automatisierte Verteidigung ist erforderlich, um mit der Geschwindigkeit der KI-Angriffe Schritt zu halten. Integration von KI-Agenten in den SOC-Betrieb wird daher notwendig, um eine kontinuierliche, automatisierte Risiko-Triage und Patch-Validierung mit minimalen Latenzen durchzuführen. Menschliche Verteidiger können manuell nicht rechtzeitig auf mehrstufige, automatisierte Exploit-Generierung durch KI-Agenten reagieren, die in kontinuierlichen hochfrequenten Zeitfenstern abläuft.

Sicherung der Schnittstellen zwischen KI-Agenten und API-Protokollen

Agentenbasierte Workflows, die nicht validierte Eingaben akzeptieren oder Befehlseingaben ohne Absicherung ausführen, können missbraucht werden, um als unbeabsichtigte Proxys für laterale Angriffe durch KI-Agenten zu fungieren. Alle agentenübergreifenden Nachrichten, Prompts, Protokolle, Schema-Nutzdaten und API-Aufrufe müssen mithilfe strenger Eingabevalidierung kontrolliert werden.

Prompts müssen durch Parser gegen schädliche Prompt-Injections bereinigt werden. Mit Unterstützung kryptografischer Methoden sind APIs und Protokollinhalte gegen Manipulation zu sichern.

Überwachung von Zustandsabweichungen und Sandboxing

KI-Agenten versuchen dynamische Umgehungstechniken, beispielsweise durch Manipulation des Kernel-Zustands. Die Weiterleitung von KI-agentischen Telemetriedaten, Ereignissen und Container-Protokollen an einen Security Data Lake ist zu empfehlen, um bei einem Post-Compromise-Verdacht eine forensische Analyse der Indicators of Compromise (IoC) zu ermöglichen. (Mikro-)Segmente, Container und Anwendungen können so bei Erkennung einer Zustandsabweichung unter Quarantäne gestellt werden. Die Telemetrieanalyse gewährleistet die Nachvollziehbarkeit, selbst wenn der lokale Laufzeitspeicher kompromittiert ist. Proaktives Threat Hunting zum Erkennen von Schwachstellen KI-Agenten suchen und nutzen in erster Linie sowohl bekannte Schwachstellen als auch unsichere Konfigurationen, um einen Angriff auszuführen. Neue Zero-Day-Schwachstellen werden dabei ebenso gesucht, um einen bislang unbekannten Angriffspfad erfolgversprechend einschlagen zu können. Die Nutzung von KI-Agenten zur proaktiven Suche nach Schwachstellen in der eigenen IT-/OT-Infrastruktur kann hier zum Vorteil in der Cyberabwehr genutzt werden. Die durch KI-Agenten im Red Teaming gewonnenen Erkenntnisse werden ausgewertet, um Schwachstellen mittels Patches, Updates und Konfigurationsmanagement zu schließen und damit die Angriffsoberfläche für Angriffe zu verkleinern. Dazu muss die Nutzung von agentischer KI, um ein automatisiertes Red Teaming in engen Testzyklen für Risikosysteme und Risikoanwendungen aufgebaut werden. Bei wesentlichen Änderungen am Zielsystem, beispielsweise bei Updates oder neuen Konfigurationen, sollte immer ein automatisierter Pentest durch KI-Agenten die Systemsicherheit auf Schwachstellen prüfen.

Zusammenfassung

Die Bedrohung durch KI basierte Angriffe ist eine Realität. Diese läutet eine neue Ära der Cybersicherheit ein. Bislang praktizierte Methoden, Werkzeuge und organisatorische Abläufe müssen um den Aspekt der KI-Bedrohungen erweitert werden. Die notwendige Beschleunigung von Prozessen wie Schwachstellen-Scans, Patch und Update-Management müssen in weiten Teilen durch Automatisierung erfolgen. KI und KI-Agenten bieten hier neue Möglichkeiten und Chancen. Das Rennen um die effektivste Nutzung von KI zwischen Angreifer und Verteidiger ist damit eröffnet.