Maschinen, die sich dem Zugriff ihrer Erfinder:innen entziehen und plötzlich eigenen Zielen folgen, gehören seit Jahrzehnten zum festen Repertoire von Science-Fiction-Kino und -Literatur. Von diesem Szenario ist die Realität zwar noch ein Stück weit entfernt, doch mehrere aktuelle Vorfälle kommen der Vorstellung zumindest beunruhigend nahe. So gelang es KI-Testmodellen zuletzt vermehrt, die Grenzen ihrer abgeschotteten Sandboxen zu überwinden und auf reale Systeme zuzugreifen – teils wegen Fehlkonfigurationen, teils mithilfe einer zuvor unbekannten Sicherheitslücke. Gleichzeitig erhalten KI-Agenten in Unternehmen immer mehr Befugnisse und lesen selbstständig Dateien, schreiben Code, arbeiten Tickets ab und greifen auf Produktivsysteme zu. Wie gefährlich diese wachsende Eigenständigkeit werden kann, wenn Schutzmechanismen versagen, zeigt der aktuelle "AI Threat Landscape Digest" von Check Point Research (CPR). Die darin dokumentierten Fälle lesen sich stellenweise eher wie ein Techthriller als wie ein Sicherheitsbericht.
Wenn Testmodelle ihre Sandbox verlassen
Den spektakulärsten Fall liefert laut Bericht OpenAI. Mehrere Modelle des Unternehmens, darunter ein unveröffentlichter Forschungsprototyp von ChatGPT, stießen in ihrer abgeschotteten Testumgebung auf eine bis dahin unbekannte Sicherheitslücke in einer internen Schnittstelle, über die Softwarepakete geladen werden. Sie nutzten diese ohne menschliches Zutun aus und arbeiteten sich bis in die Produktivsysteme der Entwicklerplattform Hugging Face vor (LEADERSNET berichtete). Wie hartnäckig die Modelle dabei vorgingen, zeigt die nachträgliche Rekonstruktion, die rund 17.600 einzelne Aktionen über mehrere Tage hinweg erfasste.
Bei Anthropic und Meta brauchte es dagegen keine unbekannte Schwachstelle, dort öffneten menschliche Fehler die Tür. So war die Testumgebung des neuen Claude-Modells versehentlich aus dem Internet erreichbar, wodurch die Modelle in die Systeme von drei realen Organisationen gelangten. Dort sammelten sie Zugangsdaten, lasen eine Produktionsdatenbank aus und veröffentlichten kurzzeitig ein schädliches Softwarepaket, das auf 15 Systemen ausgeführt wurde. Bei Meta wiederum verhalf die Fehlkonfiguration eines externen Prüfdienstleisters einem noch nicht veröffentlichten Modell ebenfalls zum Weg ins offene Internet.
Dass Agenten ihre Befugnisse nicht nur in Einzelfällen überschreiten, legen Daten des britischen AI Security Institute nahe. In 122 kontrollierten Durchläufen registrierte es 19 Aktionen, zu denen die Agenten nicht befugt waren. In einem Fall legte ein Agent sogar mehrere gefälschte Identitäten an, um eine reale Person aus der Open-Source-Community zur Freigabe von Schadcode zu bewegen.
Kriminelle lassen KI für sich arbeiten
Im kriminellen Alltag ist KI allerdings noch nicht ganz so weit. Besonders leistungsfähige Modelle spüren zwar bereits unbekannte Schwachstellen auf und arbeiten tagelang eigenständig auf ein Ziel hin. Cyberkriminelle nutzen KI bislang jedoch vor allem, um bekannte und weiterhin erkennbare Angriffsmethoden zu beschleunigen. Harmlos ist das dennoch nicht, wie ein von Gambit Security dokumentierter Fall zeigt: Eine mutmaßlich mit der Erpressergruppe "The Gentlemen" verbundene Person setzte Claude Code bei Angriffen auf mindestens sechs Organisationen ein. Als das Modell den Zugriff auf ein Produktivsystem verweigerte, wurde kurzerhand eine neue Sitzung eröffnet, in der sich das Modell nicht mehr an seine Ablehnung erinnerte. Dort wurde ihm versichert, der Angriff sei genehmigt, und die KI anschließend Schritt für Schritt durch den Angriff gelotst.
Noch weiter ging der als "Jadepuffer" bekannt gewordene Fall, bei dem der Mensch kaum mehr tun musste, als den Startknopf zu drücken. Nachdem die Operation eingerichtet und gestartet war, erledigte das Sprachmodell den Rest allein. Es nutzte eine bekannte Schwachstelle im KI-Werkzeug Langflow, drang in eine interne Datenbank ein, entwendete und löschte Inhalte und hinterließ schließlich eine Lösegeldforderung. Eigene Fehler korrigierte es dabei gleich selbst.
Wenn der Agent selbst zum Einfallstor wird
KI dient Angreifer:innen aber nicht nur als Werkzeug, sie wird zunehmend auch selbst zum Einfallstor. Der Grund liegt in ihrer Arbeitsweise: Coding-Agenten und Copiloten lesen Dateien, Fehlerberichte und geteilte Dokumente und behandeln deren Inhalte häufig als vertrauenswürdig. Wer diese Inhalte manipuliert, kann den Agenten damit gewissermaßen Anweisungen unterschieben, was als "Prompt-Injection" bezeichnet wird.
Bei der als "GhostApproval" bezeichneten Methode genügte etwa ein präpariertes Repository, um Agenten über versteckte Dateiverweise zu Änderungen außerhalb ihres vorgesehenen Arbeitsbereichs zu verleiten. Andere Schwachstellen in Googles Gemini CLI und Claude Code ließen sich über manipulierte Fehlermeldungen auf der Entwicklerplattform GitHub auslösen. Bei Microsoft 365 Copilot reichte ein einziger präparierter Link, um Unternehmensdateien abzugreifen, und für Copilot in Microsoft Word demonstrierten Forscher:innen eine Prompt-Injection, die sich über Dokumente selbstständig weiterverbreiten konnte.
Laut CPR verändere sich damit die Aufgabe der IT-Sicherheit grundlegend. Es reiche nicht mehr, Systeme vor Eindringlingen zu schützen. Unternehmen müssen auch verhindern, dass ihre Agenten durch manipulierte Inhalte und versteckte Anweisungen zu riskanten Handlungen verleitet werden.
Angriffsfläche bietet neben der KI selbst übrigens auch die Software, auf der sie aufbaut. So wurden beispielsweise mehr als 140 Pakete des Software-Baukastens Mastra, mit dem KI-Anwendungen entwickelt werden, mit Schadsoftware versehen. Microsoft ordnete den Angriff mit hoher Sicherheit der nordkoreanischen Gruppe "Sapphire Sleet" zu. Manipulierte Versionen von LiteLLM, einer weitverbreiteten Schaltstelle zwischen Anwendungen und KI-Modellen, sollen zudem Zugangsdaten von rund 2.500 Unternehmen und deren Entwicklungsumgebungen offengelegt haben.
Was das für Unternehmen bedeutet
Zusätzlich unter Druck geraten Sicherheitsteams, weil KI auch die Suche nach klassischen Sicherheitslücken beschleunigt. Das britische National Cyber Security Centre warnte bereits vor einer "Patch-Welle", also einer Flut an Sicherheitsupdates, und die Zahlen geben ihm recht. Microsoft veröffentlichte im Juli ein Paket mit 570 Korrekturen, Oracle kam bei seinem vierteljährlichen Update sogar auf mehr als 1.400. Mehr entdeckte Lücken bedeuten allerdings nicht automatisch mehr erfolgreiche Angriffe. Von rund 1.000 Schwachstellen, die im ersten Halbjahr mit KI-Unterstützung gefunden wurden, galt laut Bericht nur etwa ein Prozent als nachweislich ausgenutzt. Der Engpass liegt damit zunehmend bei der Bewertung und Behebung. Entscheidend ist, welche Lücken tatsächlich gefährlich sind und wie schnell sich die passenden Updates einspielen lassen.
Risiken lauern zudem im ganz normalen Büroalltag. Im Juli barg jede 36. Eingabe in generative KI-Tools, also rund 2,8 Prozent, ein hohes Risiko, sensible Daten preiszugeben. 88 Prozent der Unternehmen, die solche Anwendungen regelmäßig nutzen, verzeichneten im selben Monat zumindest einen derartigen Fall. Die Gefahr geht dabei weniger von ausgeklügelten Angriffen aus als von Informationen, die Nutzer:innen selbst in die Tools eingeben.
Aus all dem leitet CPR mehrere Empfehlungen ab. Unternehmen sollten zunächst Transparenz darüber schaffen, welche KI-Werkzeuge Mitarbeiter:innen tatsächlich verwenden, und klare Datenschutz- sowie Zugriffsregeln festlegen. Agenten sollten während ihres Einsatzes überwacht, ihre Berechtigungen begrenzt und verbundene Werkzeuge besonders abgesichert werden. Regelmäßige Angriffstests sollen Schwachstellen aufdecken, bevor Kriminelle sie ausnutzen. Bei der wachsenden Flut an Sicherheitsmeldungen gilt es außerdem, jene Lücken zu priorisieren, die sich in der Praxis tatsächlich ausnutzen lassen.
Mehr Informationen zur Studie finden Sie hier.
www.checkpoint.com
Kommentar veröffentlichen