KI-Kolumne von Jürgen Bogner

Code. Charakter. Kontrolle.

Ich durfte vorletzte Woche beim IT-Security & Risk Management Kongress der LSZ in Kitzbühel sprechen. Mein Thema: "Code, Charakter, Kontrolle – Security in der Ära autonomer Agenten." Und ja, ich war dort als Speaker. Aber ich bin auch als Lernender heimgefahren.

Selten trifft man auf so viel geballtes Know-how. Besonders das Thema Quantencomputing hat mir wieder gezeigt, wie schnell sich die Grundlagen digitaler Sicherheit verschieben. Verschlüsselung, Identität, Zugriff, Vertrauen – Dinge, die wir gerne als stabil betrachten, geraten in Bewegung.

Und genau in diesem Moment kommen KI-Agenten ins Spiel. Systeme, die nicht mehr nur antworten. Sondern handeln. Sie starten Prozesse, verschieben Daten, prüfen Angebote, schreiben E-Mails, schließen Tickets und treffen vorbereitende Entscheidungen.

Auf den ersten Blick klingt das nach Effizienz. Auf den zweiten Blick beginnt hier eine neue Führungsaufgabe.

Die Zukunft kam nicht als Hacker – sie kam als Helfer

Viele Unternehmen denken bei Cybersecurity noch immer an Hacker im Hoodie. An Phishing-Mails. An Ransomware. An Firewalls. Alles wichtig. Keine Frage. Aber die nächste große Sicherheitsfrage entsteht nicht nur außen. Sie entsteht innen. In den Tools, Automationen und digitalen Helfern, die wir selbst bauen, kaufen oder schnell irgendwo aktivieren.

Ein klassisches Sprachmodell ist eine Antwortmaschine. Man schreibt etwas hinein, bekommt eine Antwort zurück und entscheidet selbst, was damit passiert. Ein Agent ist etwas anderes. Er hat Zugriff. Auf Systeme. Auf Daten. Auf Schnittstellen. Manchmal sogar auf Budgets.

Oder einfacher gesagt: Ein Agent ist kein Taschenrechner. Er ist eher ein neuer Mitarbeiter. Nur ohne Bewerbungsgespräch. Ohne Onboarding. Ohne Unternehmenskultur. Ohne Bauchgefühl. Und oft ohne klare Grenzen.

Richtig eingesetzt, werden KI-Agenten Unternehmen massiv entlasten. Sie automatisieren Reporting, verbessern Kundenservice, beschleunigen Recherche und machen Management-Teams schneller entscheidungsfähig. Aber wenn ein System handeln kann, braucht es Führung. Und genau daran fehlt es gerade vielerorts.

Die stille Belegschaft arbeitet längst im Hintergrund

Früher war ein:e Mitarbeiter:in jemand mit Laptop, E-Mail-Adresse und Zugangskarte. Heute haben auch Maschinen Identitäten. API-Keys, Service Accounts, Chatbots, Automationen, Copilots, n8n-Workflows, interne GPTs, CRM-Automatismen, Slackbots, Reporting-Helfer. Das sind keine abstrakten IT-Begriffe. Das sind digitale Türen, Schlüssel und Arbeitskräfte.

Ein:e Mitarbeiter:in baut sich einen kleinen Helfer, weil ihn:sie ein Reporting nervt. Eine Abteilung testet einen Chatbot, weil der Kundenservice überlastet ist. Jemand verbindet ein Tool mit dem CRM, weil es schneller gehen muss. Dann funktioniert es halbwegs. Das Projekt läuft aus. Der Mensch wechselt die Rolle. Das Tool bleibt.

So entsteht die stille Belegschaft. Niemand hat sie offiziell eingestellt. Niemand hat sie eingeschult. Niemand hat ihr erklärt, was sie darf und was nicht. Aber sie ist da. Und sie arbeitet. Oder sie schläft irgendwo im System, bis jemand sie weckt.

Palo Alto Networks spricht davon, dass Maschinenidentitäten menschliche Identitäten bereits im Verhältnis 82 zu 1 übersteigen. Obsidian Security weist zusätzlich darauf hin, dass viele agentische Systeme in SaaS-Umgebungen mit viel zu vielen Berechtigungen laufen. Das Risiko entsteht also nicht nur durch bösartige KI. Es entsteht durch gut gemeinte KI, die niemand mehr steuert.

Wenn der Helfer zum Generalschlüssel wird

Damit das greifbar wird, zwei Beispiele. Bei ServiceNow wurde unter dem Namen BodySnatcher eine Schwachstelle beschrieben, bei der agentische Workflows und Identitäten missbraucht werden konnten. Übersetzt für Nicht-Security-Leute: Wenn ein System glaubt, jemand sei berechtigt, kann der digitale Helfer plötzlich Dinge tun, die er nie tun sollte.

Noch greifbarer wird es beim McKinsey-Wissenssystem Lilli. Laut The Stack gelang es einem Security-Forscher, mit einem offensiven KI-Agenten innerhalb von rund zwei Stunden Zugriff auf interne Funktionen zu bekommen. Die dafür angefallenen Tokenkosten lagen bei etwa 20 Dollar.

Der Punkt ist nicht der Betrag. Der Punkt ist: Ein Angreifer kann heute für den Gegenwert einer Pizza automatisiert testen, suchen, kombinieren und angreifen. Früher brauchte man dafür Spezialwissen, Zeit und ein Team.
Heute braucht man manchmal nur einen Agenten, ein Ziel und Geduld.

Wenn du einem Praktikanten den Generalschlüssel gibst, darfst du dich nicht wundern, wenn irgendwann eine Tür offensteht.

Die großen Labs erziehen ihre Modelle bereits

Jetzt kommt der Teil, der ungewöhnlich klingt: Philosophie wird plötzlich Security-relevant. Anthropic hat für Claude eine eigene Constitution veröffentlicht. Dieses Dokument beschreibt Werte und gewünschtes Verhalten des Modells. Es geht also nicht nur darum, was Claude darf oder nicht darf. Es geht darum, welche Haltung das System entwickeln soll.

Und ja, das klingt für klassische IT-Ohren seltsam. Aber es ist logisch. Je autonomer Systeme werden, desto weniger reichen starre Regeln. Regeln funktionieren gut bei bekannten Situationen. Agenten handeln aber oft in neuen, offenen, unklaren Situationen. Dann braucht es nicht nur ein Verbot. Dann braucht es ein Wertesystem.

Anthropic hat mit sogenannten Constitutional Classifiers gezeigt, dass Sicherheitsmechanismen auf Basis natürlicher Sprachregeln messbar wirken können. Laut Anthropic-Tests wurden Jailbreak-Angriffe zu über 95 Prozent verhindert. Ohne diesen Ansatz lag die Abwehr bei rund 14 Prozent.

Auch Google DeepMind bewegt sich in diese Richtung und hat mit Henry Shevlin einen Philosophen für Themen wie Machine Consciousness, Human-AI Relationships und AGI Readiness geholt.

Das ist kein akademischer Luxus. Es ist ein Signal: Die führenden KI-Labs bauen nicht nur Modelle. Sie bauen Verhalten. Für Unternehmen heißt das: Wir müssen aufhören, KI nur als Software zu betrachten. Software wird installiert.
Mitarbeitende werden geführt. Agenten brauchen beides.

Code sichert die Tür – Charakter entscheidet, ob sie geöffnet wird

Das ist der Kern meiner Keynote gewesen:

• Code bedeutet: technische Grenzen. Rechte, Rollen, Schnittstellen, Logs, Monitoring, Kill Switches.
• Charakter bedeutet: Werte, Prioritäten, Loyalität, Kontext. Was ist im Sinne des Unternehmens? Was ist verboten, auch wenn jemand es anordnet? Wann muss ein Agent stoppen und fragen?
• Kontrolle bedeutet: Governance. Zuständigkeit. Auditierbarkeit. Freigaben. Eskalationswege. Verantwortung.

Viele Unternehmen starten bei Code und bleiben dort stehen. Sie kaufen Tools, vergeben Rechte, aktivieren Copilots und hoffen, dass die Technik den Rest regelt. Das wird nicht reichen. Denn ein Agent, der nur technisch begrenzt ist, aber keinen Kontext versteht, wird an den falschen Stellen kreativ. Und Kreativität ohne Verantwortung ist kein Innovationsmotor. Sie ist ein Risiko.

Der Battleplan beginnt nicht in der IT

Was können Unternehmen jetzt konkret tun? Nicht in fünf Jahren. Nicht nach dem nächsten Strategie-Retreat. Jetzt.

1. Mach eine Inventur deiner stillen Mitarbeiter: Welche Automationen, Bots, Copilots, API-Keys, Service Accounts, GPTs und Workflows existieren bereits? Wer hat sie gebaut? Wer nutzt sie? Worauf greifen sie zu? Was läuft noch, obwohl das Projekt längst vorbei ist?
2. Klassifiziere Autonomie wie ein echtes Risiko: Ein Agent, der Meetingnotizen zusammenfasst, hat ein anderes Risikoprofil als ein Agent, der Lieferanten prüft, Zahlungen vorbereitet oder Kundendaten verschiebt. Baue einfache Stufen: Vorschlag, Vorbereitung, Ausführung mit Freigabe, autonome Ausführung.
3. Reduziere Rechte radikal: Ein Agent darf nicht alles können, nur weil es technisch bequem ist. Wer nur lesen muss, darf nicht schreiben. Wer vorbereiten soll, darf nicht auslösen. Wer testen soll, darf nicht produktiv handeln.
4. Schreib eine Agent Charter: Keine 40-seitige KI-Richtlinie, die niemand liest. Eine klare Verfassung für digitale Mitarbeiter: Was ist ihr Zweck? Welche Werte gelten? Welche Daten sind tabu? Wann brauchen sie menschliche Freigabe? Was bedeutet Loyalität gegenüber Unternehmen, Kunden und Mitarbeitenden?
5. Bau Kontrolle dort ein, wo Fehler teuer werden: Geld, Identität, Kundendaten, Verträge, Zugriffe: immer mit zusätzlicher Prüfung. Ein Agent darf vorbereiten. Ein Mensch muss entscheiden. Zumindest dort, wo Fehler rechtlich, finanziell oder reputativ gefährlich werden.

Das klingt nach Arbeit. Ist es auch. Aber es ist deutlich angenehmer, diese Arbeit vor dem Vorfall zu machen als danach im Krisenmeeting.

Der nächste CISO wird auch Erziehungsarbeit leisten

Die Aufgabe der nächsten Jahre wird nicht sein, KI-Agenten zu verbieten. Das wäre ungefähr so sinnvoll, wie E-Mail zu verbieten, weil Phishing existiert.

Die Aufgabe wird sein, sie richtig zu führen. Mit sauberem Code. Mit klaren Grenzen. Mit Governance. Und ja: mit Charakter.

Denn der nächste CISO wird nicht nur Firewalls verwalten. Er wird digitale Mitarbeitende erziehen müssen. Willkommen in der Ära des Chief Parenting Officer.

Mein kleiner Appell an alle Entscheider:innen: Schau diese Woche nicht nur auf Menschen im Organigramm. Schau auf die digitalen Mitarbeiter daneben. Die, die keiner eingestellt hat. Die, die längst mitarbeiten. Die, die vielleicht schon mehr Zugriff haben, als dir lieb ist.

Wer sie jetzt sichtbar macht, kann sie führen. Wer wartet, wird irgendwann von ihnen geführt.

Meine Keynote zu "Code, Charakter, Kontrolle" gibt es hier zum Nachsehen: 

www.ahoi.biteme.digital

Kommentare auf LEADERSNET geben stets ausschließlich die Meinung des jeweiligen Autors bzw. der jeweiligen Autorin wieder, nicht die der gesamten Redaktion. Im Sinne der Pluralität versuchen wir, unterschiedlichen Standpunkten Raum zu geben – nur so kann eine konstruktive Diskussion entstehen. Kommentare können einseitig, polemisch und bissig sein, sie erheben jedoch nicht den Anspruch auf Objektivität.