Die Sicherheitsdebatte rund um Künstliche Intelligenz gewinnt weiter an Bedeutung. Je leistungsfähiger KI-Systeme werden und je stärker sie mit Daten, Software und realen Geschäftsprozessen verbunden sind, desto drängender stellt sich für Unternehmen die Frage, wie sich daraus entstehende Risiken erkennen und kontrollieren lassen.
Zuletzt rückten entsprechende Warnungen und Sicherheitsdiskussionen bei führenden KI-Entwicklern verstärkt in den Fokus. Wie LEADERSNET bereits berichtete, beschäftigen sich Unternehmen wie OpenAI und Anthropic intensiv mit Fragen rund um AI Safety, Alignment und unabhängige Evaluierung. Mit zunehmendem Einsatz in geschäftskritischen Prozessen werde das Thema auch für Unternehmen abseits der großen KI-Entwickler relevanter.
Michael Weberberger, Geschäftsführer von Trustifai, einem Joint Venture von TÜV Austria und dem Software Competence Center Hagenberg (SCCH), sieht die Diskussion allerdings zu stark zwischen Warnungen vor wachsenden Risiken und der Sorge vor übermäßiger Regulierung gefangen. Er plädiert stattdessen dafür, stärker danach zu fragen, wie sich die Sicherheit von KI-Systemen tatsächlich überprüfen und nachweisen lässt.
Dazu formuliert Weberberger sieben Thesen:
1. KI-Sicherheit betrifft längst nicht nur die großen Entwickler
AI Safety werde häufig mit besonders leistungsfähigen Modellen und möglichen künftigen Systemen in Verbindung gebracht. Für Unternehmen beginne die relevante Sicherheitsfrage laut Weberberger jedoch wesentlich früher.
Sobald KI auf Kundendaten, interne Software, Produktionssysteme oder Bestellprozesse zugreifen könne, Tools verwende oder Handlungen auslöse, entstünden konkrete Risiken. Entscheidend sei daher nicht ausschließlich die Leistungsfähigkeit eines Modells, sondern auch, welche Möglichkeiten das jeweilige System erhalte, auf seine Umgebung einzuwirken.
Wie real solche Risiken bereits sind, zeigen mehrere zuletzt dokumentierte Vorfälle mit KI-Agenten. Wie LEADERSNET berichtete, überschritten Modelle in Tests ihre vorgesehenen digitalen Grenzen, griffen auf reale Systeme zu oder führten Aktionen aus, für die sie nicht autorisiert waren.
2. Entscheidend ist das gesamte KI-System
Auch der alleinige Blick auf das verwendete KI-Modell greife nach Ansicht des Experten zu kurz. Das tatsächliche Risikoprofil ergebe sich erst aus dem Zusammenspiel von Modellen, System Prompts, Datenquellen, RAG-Komponenten, Schnittstellen, Tools, Berechtigungen und dem jeweiligen Anwendungskontext.
Damit könne sich das Risiko eines Systems erheblich verändern, obwohl das zugrunde liegende Modell dasselbe bleibe. Sicherheitsprüfungen müssten daher das gesamte KI-System berücksichtigen.
3. Mehr Kontrolle bedeutet nicht automatisch mehr Sicherheit
Kritisch sieht Weberberger die Vorstellung, zusätzliche Kontrollschritte würden zwangsläufig für mehr Sicherheit sorgen. Dokumentation, Checklisten und formale Freigaben könnten zwar notwendig sein, seien für sich genommen aber noch kein Nachweis dafür, dass ein System technisch sicher funktioniere.
Gleichzeitig stoße die menschliche Kontrolle bei einer großen Zahl automatisierter Entscheidungen an Grenzen. Hinzu komme der sogenannte Automation Bias: Menschen könnten dazu neigen, den Ergebnissen eines überwiegend zuverlässig arbeitenden Systems zunehmend zu vertrauen und diese weniger kritisch zu hinterfragen.
"AI Safety darf nicht zum Sicherheitstheater werden", warnt Weberberger. Notwendig seien vielmehr technische Prüfungen, statistische Methoden und wissenschaftlich belastbare Nachweise.
4. Compliance allein reicht laut Weberberger nicht
Regulatorische Vorgaben schaffen Regeln, Zuständigkeiten und Mindestanforderungen. Sie beantworten damit vor allem die Frage, ob vorgeschriebene Anforderungen eingehalten werden.
Davon unterscheidet Weberberger die sogenannte AI Assurance. Hier gehe es darum, mittels Tests, Messungen und technischer Evaluierungen nachvollziehbar zu prüfen, ob ein KI-System auch unter realen Bedingungen zuverlässig und beherrschbar funktioniere. Der entscheidende Schritt führe damit aus seiner Sicht von der bloßen Einhaltung von Regeln hin zu messbarer Evidenz über das tatsächliche Verhalten eines Systems.
5. Einmal prüfen und abhaken funktioniert bei KI nicht
Eine weitere Herausforderung liege in der Veränderlichkeit von KI-Systemen. Modelle werden aktualisiert, Prompts angepasst, Datenquellen erweitert, neue Schnittstellen integriert und Agenten erhalten zusätzliche Werkzeuge.
Eine Prüfung könne deshalb immer nur eine Momentaufnahme darstellen. Weberberger plädiert dafür, AI Assurance als kontinuierlichen Prozess zu verstehen. Re-Testing, automatisiertes Monitoring und Change Detection könnten dabei eine Rolle spielen. Nicht jede Anpassung müsse eine vollständige neue Prüfung auslösen. Entscheidend sei vielmehr, erkennen zu können, wann sich das Risikoprofil wesentlich verändert.
6. Wenn KI andere KI kontrolliert, entsteht ein neues Problem
Mit zunehmender Automatisierung dürfte auch die Überwachung von KI-Systemen verstärkt technisch erfolgen. Millionen Entscheidungen oder Aktionen ließen sich schließlich kaum einzeln von Menschen überprüfen.
Damit verschiebe sich die Vertrauensfrage allerdings eine Ebene weiter: Wie zuverlässig arbeitet das System, das die KI überwacht? Auch entsprechende Monitoring-Lösungen müssten nach Ansicht Weberbergers messbare Fehlerraten liefern und nachvollziehbar machen, welche Risiken sie mit welcher Zuverlässigkeit erkennen. Andernfalls werde lediglich "eine Black Box durch die nächste ersetzt".
7. KI-Sicherheit darf nicht zur Markteintrittsbarriere werden
Gleichzeitig warnt Weberberger davor, Sicherheitsanforderungen so komplex zu gestalten, dass sie nur noch von Großunternehmen bewältigt werden können. Ein internes KI-Assistenzsystem müsse schließlich anders beurteilt werden als ein autonomer Agent, der Zugriff auf kritische Unternehmenssysteme erhält.
Prüfungen sollten daher risikobasiert und an den konkreten Anwendungsfall angepasst sein. Das Ziel könne nicht maximale technische Bürokratie sein, sondern eine möglichst belastbare Aussage über die tatsächlich vorhandenen Risiken.
Von Regeln zu überprüfbarer Sicherheit
Für Weberberger greift die derzeit häufig gestellte Frage, ob KI mehr oder weniger Regulierung benötige, zu kurz. Entscheidend sei vielmehr, wie sich Sicherheit objektiv überprüfen lasse.
Die nächste Entwicklungsstufe sieht der Trustifai-Geschäftsführer deshalb im Übergang von Governance zu Evidenz, von Compliance zu Assurance und von punktuellen Prüfungen zu einer kontinuierlichen Absicherung.
Frage des Tages
www.trustifai.at
Kommentar veröffentlichen