An einem Dienstag im August meldete unser System rund 50 problematische Fundstellen. Klingt nach einem schlechten Tag. Am Ende blieben elf übrig. Die anderen verschwanden nicht, weil wir sie schön gerechnet haben. Sie verschwanden, weil andere Modelle die Ergebnisse noch einmal gegen die Primärquellen geprüft haben. Ein Teil war schlicht falsch. Bei anderen lag das Problem nicht in der Quelle, sondern in unserem Prüfaufbau. Hätten wir der ersten KI einfach geglaubt, hätten wir sehr selbstbewusst Unsinn produziert.
Willkommen beim Bau eines KI-Agenten. Denn genau hier beginnt das Missverständnis, das mir derzeit ständig begegnet. Viele glauben, einen Agenten zu bauen bedeute, ein starkes Sprachmodell zu nehmen, einen cleveren Prompt davorzuschalten und ein paar Dokumente hochzuladen. Dann bekommt das Ding noch einen Namen. Fertig ist der digitale Mitarbeiter.
Ganz ehrlich? So baust du keinen Mitarbeiter. Du baust einen eloquenten Praktikanten mit beeindruckendem Allgemeinwissen und keinerlei Ahnung, wann er besser den Mund halten sollte.
Das Modell ist nicht dein Agent
Wir haben intern einen Compliance-Wissensspeicher aufgebaut. Er heißt Wilhelm. Ich liebe Wilhelm! 😃 Wilhelm ist mittlerweile seit Monaten bei uns im Einsatz. Für ein kleines Unternehmen wie unseres ist er so etwas wie der interne Hausjurist für Compliance, Datenschutz, EU AI Act und Vertragsrecht. Mit einer wichtigen Einschränkung: Er ist natürlich kein:e Rechtsanwält:in und ersetzt auch keine:n. Aber er erledigt einen riesigen Teil der Recherche- und Vorprüfungsarbeit, bevor überhaupt ein Mensch übernehmen muss.
Und genau das verändert für uns die Spielregeln. Wenn wir mit einem Konzern zusammenarbeiten wollen, landen sehr schnell Auftragsverarbeitungsverträge, NDAs, AGB, Haftungsklauseln und umfangreiche Vertragswerke auf meinem Tisch. Ein großer Konzern hat dafür eine Rechtsabteilung. Ich habe keine. Würde ich jedes dieser Dokumente vollständig extern prüfen lassen, kann ich bei einer einzigen größeren Zusammenarbeit schnell mit 4.000 bis 6.000 Euro Rechtskosten starten, bevor wir überhaupt einen Euro Umsatz miteinander gemacht haben. Für ein kleines Unternehmen ist das kein Detail. Das ist eine Eintrittsbarriere.
Plötzlich kann der Kleine den Vertrag des Großen challengen
Heute geben wir solche Dokumente zuerst Wilhelm. Er geht Klausel für Klausel durch, vergleicht sie mit unserem hinterlegten Wissen, markiert Risiken, zeigt Abweichungen und liefert die Fundstellen dazu. Und da wird es spannend.
Wir hatten inzwischen Vertragsunterlagen großer Unternehmen auf dem Tisch, die von namhaften und vermutlich nicht ganz günstigen Kanzleien erstellt wurden, und Wilhelm hat darin konkrete Fehler beziehungsweise problematische Klauseln gefunden, die vorher niemand aufgegriffen hatte. Nicht Fehler, die eine:n Vertragspartner:in überbevorteilen (das gibt's natürlich auch), sondern schlicht juristische Fehler, wo z.B. eine Klausel die andere wieder aushebelt.
Und das nicht, weil die Anwält:innen schlecht wären. Sondern, weil Menschen Dinge übersehen. KI übrigens auch. Genau deshalb haben wir Wilhelm nicht als ein einzelnes allwissendes Modell gebaut. Beim Aufbau haben Modelle aus mehr als fünf verschiedenen Familien zusammengearbeitet. Unterschiedliche Systeme recherchieren, prüfen, challengen und lesen einander gegen. Kein Modell darf einfach seine eigene Arbeit abnicken.
Das Prinzip dahinter ist banal: Jedes Modell hat blinde Flecken. Also lässt du ein anderes genau dort hinschauen. Wenn Wilhelm heute beispielsweise einen Vertrag prüft, interessiert mich deshalb nicht nur sein Urteil. Ich will wissen: Welche Klausel? Welches Risiko? Welche Grundlage? Welche Fundstelle? Wie sicher ist diese Einschätzung? Erst dann wird aus einer KI-Antwort ein Arbeitsinstrument.
Auf 73 Wissenskarten kommen rund 414 Dokumente Arbeit
Wilhelm besteht aktuell aus 73 aktiven sogenannten Evidence Cards. Das sind kleine Wissenseinheiten. Eine Aussage, ihre Quelle, ihre Fundstelle und die Information, wann sie wieder überprüft werden muss. Hinter diesen 73 Karten liegen rund 414 Arbeitsdokumente. Briefings, Befunde, Prüfprotokolle, Synthesen und Belegmappen. Der Aufbau bis zum heutigen System hat viele Wochen gedauert.
Und genau diese Zahlen sind für mich interessanter als jeder KI-Benchmark. Denn sie zeigen, was wir in der ganzen Agenten-Debatte gerne übersehen: Die Intelligenz ist geliehen. Die Prüfarbeit ist die eigentliche Arbeit. Das Sprachmodell kannst du austauschen. Das Wissen dahinter musst du besitzen, pflegen und verteidigen können.
Ein Ordner voller PDFs ist noch kein Wissen
Ein Wissensspeicher beginnt nicht dort, wo du hundert Dokumente hochlädst. Er beginnt dort, wo du eine Aussage mit einer Quelle, einem Prüfdatum, einem Vertrauensgrad und einem Ablaufdatum verbindest. Denn Wissen altert. Gerade bei Compliance, Datenschutz, Verträgen oder Regulierung kann eine brillant formulierte Antwort mit Informationen arbeiten, die längst nicht mehr gelten.
Das Gefährliche daran ist nicht, dass ein Agent nichts weiß. Das Gefährliche ist, dass er nicht merkt, dass sein Wissen von gestern ist. Deshalb trägt bei Wilhelm jede Wissenseinheit ihre Herkunft mit sich. Und deshalb wird Wissen nicht einfach überschrieben. Überholte Informationen werden archiviert. Änderungen bleiben nachvollziehbar. Das ist wesentlich unsexyer als eine spektakuläre KI-Demo. Aber genau dort entsteht Vertrauen.
Kleine Unternehmen bekommen plötzlich einen neuen Hebel
Für mich ist Wilhelm deshalb nicht nur ein KI-Experiment. Er zeigt mir ganz praktisch, warum diese Technologie wirtschaftlich so relevant werden kann. Ein kleines Unternehmen bekommt plötzlich Fähigkeiten, für die früher eine eigene Abteilung notwendig gewesen wäre. Nicht weil KI die Expert:innen ersetzt. Sondern weil sie ihm die 90 Prozent Vorarbeit abnimmt, für die du vorher Stunden und Geld verbrannt hast.
Am Ende kann ich bei wirklich kritischen Fragen immer noch spezialisierte Anwält:innen einschalten. Nur kommen die dann nicht mehr mit einem Stapel von 80 Seiten bei null an. Sie bekommen die relevanten Klauseln, die Auffälligkeiten, die Fundstellen und unsere konkreten Fragen. Das ist ein völlig anderes Kostenmodell. Und ein völlig anderer Hebel.
Genau deshalb hängen wir bei dieser Kolumne auch das Leistungsblatt von Wilhelm dazu (siehe PDF unten). Wer sehen möchte, was hinter so einem System tatsächlich steckt, kann dort tiefer in Aufbau, Prüfverfahren und Leistungsumfang einsteigen. Denn ich glaube, wir müssen endlich aufhören, Agenten nur anhand dessen zu beurteilen, was vorne aus dem Chatfenster herauskommt. Interessanter ist, was hinten hineingebaut wurde.
Ein guter Agent weiß, wann sein Wissen endet
Die entscheidende Frage beim Bau eines Agenten lautet deshalb nicht mehr: "Kann KI das?" Diese Frage wird immer langweiliger, weil die Antwort immer öfter "Ja" lautet. Die besseren Fragen sind: Woher weiß sie es? Wer hat es geprüft? Was darf sie daraus machen? Und wann läuft dieses Wissen ab?
Wer darauf keine Antwort hat, sollte nicht mehr Intelligenz in sein System stecken. Er:sie sollte zuerst mehr Disziplin hineinbauen. Denn ein Agent, der offen sagt "Das weiß ich nicht sicher genug", wirkt vielleicht weniger beeindruckend. Aber genau diesem Agenten würde ich eher vertrauen.
Die Zukunft gehört nicht den KI-Systemen, die auf alles eine Antwort haben. Sondern denen, die beweisen können, warum ihre Antwort stimmt.
Wenn dich interessiert, ob solch ein System auch bei euch einen Hebel ergibt: Schreib mir kurz, ich zeige dir gern, wo wir ansetzen würden.
biteme.digital, Wien. Wir bauen, prüfen und zertifizieren KI-Systeme für Unternehmen. Wenn dich das Thema beschäftigt, melde dich gern bei mir.
www.ahoi.biteme.digital
Kommentare auf LEADERSNET geben stets ausschließlich die Meinung des jeweiligen Autors bzw. der jeweiligen Autorin wieder, nicht die der gesamten Redaktion. Im Sinne der Pluralität versuchen wir, unterschiedlichen Standpunkten Raum zu geben – nur so kann eine konstruktive Diskussion entstehen. Kommentare können einseitig, polemisch und bissig sein, sie erheben jedoch nicht den Anspruch auf Objektivität.
Kommentar veröffentlichen