Künstliche Intelligenz (KI) ist in Unternehmen und Behörden längst im Arbeitsalltag angekommen. Woran sich die Verlässlichkeit einer einzelnen Anwendung ablesen lässt, bleibt für Anwender:innen aber meist offen. An dieser Lücke will nun eine neue Initiative des Know Center ansetzen. So wurde am Dienstag im Rahmen einer Pressekonferenz in Wien mit "Trustworthy AI – by Know Center" ein neues Gütesiegel präsentiert, das KI-Tools, KI-Services, KI-Modelle und KI-Systeme erstmalig anhand definierter Kriterien bewerten und qualifizieren soll. Als erstes Leuchtturmprojekt hat der Prototyp eines KI-Assistenten des Österreichischen Städtebundes den Qualifizierungsprozess erfolgreich abgeschlossen.
Qualität als Wettbewerbsvorteil
Bei dem hinter dem Siegel stehenden Know Center handelt es sich um ein COMET-Kompetenzzentrum mit Sitz in Graz und Schwerpunkt auf vertrauenswürdiger KI und Data Science. Für CEO Oliver Bernecker geht es bei der Arbeit seines Unternehmens auch um die wirtschaftliche Position Europas: "Bei den KI-Modellen werden Europa und Österreich mit den globalen Anbietern kaum in Hinblick auf Größe und Kapital konkurrieren können. Unsere Chance liegt dort, wo Qualität, Sicherheit und Vertrauenswürdigkeit zum Wettbewerbsvorteil werden." Gleichzeitig erlebe er, dass das Vertrauen in KI unter Druck stehe: "Systeme liefern unerwartete und nicht erklärbare Ergebnisse und für Unternehmen und die öffentliche Verwaltung ist nicht immer klar, wie belastbar eine Anwendung tatsächlich ist. Hier kann Europa Stärke entwickeln. Mit dem Gütesiegel übersetzen wir wissenschaftliche Expertise in einen konkreten Qualifizierungsprozess für reale KI-Anwendungen", so Bernecker.
Ebenfalls bei der Pressekonferenz vor Ort war Erich Albrechtowitz, CDO der Gruppe I/C Digitalisierung und Informationsmanagement im Bundeskanzleramt, der dabei eine Einordnung aus Sicht der öffentlichen Verwaltung vornahm. "Vertrauenswürdige KI ist ein Standortthema", so Albrechtowitz. "Österreich braucht eigene wissenschaftliche und technologische Kompetenz, um KI-Systeme beurteilen, europäische Anforderungen in die Praxis übertragen und hochwertige Anwendungen entwickeln zu können. Kompetenz in diesen Bereichen stärkt die technologische Handlungsfähigkeit und digitale Souveränität Österreichs und Europas." In Entwicklung, Prüfung und Vergabe des Siegels ist Albrechtowitz nicht eingebunden, "Trustworthy AI – by Know Center" ist eine eigenständige Initiative des Forschungszentrums und kein staatliches Gütesiegel.
Sieben Bereiche und zwei Phasen
Bewertet wird nach den Kriterien Datenschutz und Sicherheit, Transparenz, Erklärbarkeit und Fairness, menschliche Aufsicht und Entscheidung, digitale Souveränität, Ökonomie, Nachhaltigkeit sowie digitaler Humanismus. In die Beurteilung fließen Forschungsergebnisse der Expert:innen des Know Centers ein, darunter wissenschaftlich entwickelte Methoden und Metriken etwa für Fairness, Robustheit und Transparenz. Offene Punkte, die sich während des Audits zeigen, werden aufgezeigt und können von der antragstellenden Organisation nachgebessert werden, anschließend ist eine neuerliche Bewertung der betroffenen Kriterien möglich. "Wir prüfen konkrete Anwendungen anhand klar definierter Kriterien", erklärt Cathrin von Hesler, Verantwortliche für das Gütesiegel. "Dabei schauen wir uns an, welche Daten vorhanden sind, wo diese gespeichert und verarbeitet werden, welche Prozesse dahinterstehen und wie zentrale Anforderungen in der Praxis umgesetzt werden. Die Bewertung zeigt, wo eine Anwendung die Anforderungen erfüllt und wo Handlungsbedarf besteht."
Der Ablauf beginnt mit einem Antrag beim Know Center und wird danach auf die jeweilige Anwendung abgestimmt, die Prüfung kann online oder vor Ort stattfinden. Ihr Umfang richtet sich nach Kritikalität und Komplexität der Anwendung. Das Verfahren umfasst zwei Phasen, in der ersten werden die festgelegten Kriterien geprüft, in der zweiten legt die antragstellende Organisation ein Konzept zur künftigen Einhaltung der Anforderungen vor. Als zweite Voraussetzung der Vergabe kommt eine kontinuierliche Eigenüberwachung durch die Antragsteller:innen hinzu, zusätzlich wird die KI-Kompetenz innerhalb der Organisation berücksichtigt. Sind die Vergabebestimmungen beider Phasen erfüllt, vergibt das Know Center das Siegel samt individueller ID. "Vertrauen braucht eine nachvollziehbare Grundlage", ergänzt von Hesler. "Mit dem Gütesiegel machen wir sichtbar, welche Kriterien eine konkrete KI-Anwendung erfüllt. Unternehmen und Organisationen erhalten damit eine belastbare Grundlage für die Bewertung und den Einsatz ihrer KI."
Kommunaler Assistent im Testbetrieb
Jene Anwendung, die den Prozess als Erste absolviert hat, stammt von der IT-Kommunal GmbH, die als technischer Dienstleister im Auftrag des Österreichischen Städtebundes für dessen Mitgliedsstädte tätig ist. Der "Kommunale KI-Assistent" setzt zu 100 Prozent auf Open Source Software auf, die Architektur stammt aus einer laufenden Projektinitiative des öffentlichen Sektors in Deutschland. Zur Verfügung stehen vier Module für grundlegende Verwaltungsaufgaben, darunter ein klassischer Chatbot etwa zum Redigieren von Dokumenten oder Erstellen von Entwürfen, ein Recherche-Tool mit Zugriff auf hinterlegte kommunalspezifische Wissenspools, ein Zusammenfassungs-Tool für längere Studien, Gutachten oder Verträge mit frei wählbarer Länge und Schwerpunktsetzung sowie ein Transkriptions-Tool, das Video- und Audio-Aufzeichnungen in Text umwandelt und vor allem bei intensivem Sitzungsbetrieb hilfreich ist.
Alle Mitgliedsgemeinden des Städtebundes waren eingeladen, eine limitierte Zahl an Mitarbeiter:innen für die Evaluierung zu nominieren. Derzeit sind rund 300 Gemeindebedienstete im Einsatz, der Testbetrieb läuft voraussichtlich noch bis Jahresende 2026. "Bei einer KI-Anwendung für Städte zählt, dass sie absolut vertrauenswürdig ist, sodass Mitarbeiter:innen aus der Verwaltung also auch datenschutzrechtlich relevante Dokumente damit bearbeiten können und gewährleistet ist, dass keine Daten die Betriebsumgebung des KI-Assistenten verlassen und weder gespeichert noch in irgendeiner Form ausgewertet werden. Der Qualifizierungsprozess gab uns dafür einen klaren Blick auf die notwendigen Qualitätskriterien und zeigte uns, wo wir nachschärfen mussten", erklärt Ronald Sallmann, CDO des Österreichischen Städtebundes und strategischer Geschäftsführer der IT-Kommunal GmbH.
Mehr Informationen über das Gütesiegel finden Sie hier.
Eindrücke von der Pressekonferenz finden Sie in unserer Galerie.
www.know-center.at
Kommentar veröffentlichen