„Am Ende gibt ein Mensch frei.“ Das klingt nach einem sicheren Verfahren. Aber woran erkennt dieser Mensch, ob das Ergebnis des KI-Agenten richtig ist? Sieht er das tatsächliche Ergebnis – oder nur eine überzeugende Erfolgsmeldung? Und wie viel Zeit hat er, einen Fehler zu finden?
Eine menschliche Freigabe klärt zunächst, wer entscheiden darf. Sie beweist noch nicht, dass diese Entscheidung gut vorbereitet ist oder Fehler verhindert. Genau hier liegt eine häufig übersehene Führungsaufgabe: Verantwortung zuweisen und Urteilsfähigkeit ermöglichen sind zwei verschiedene Dinge.
Unsere These lautet deshalb: Die Verlässlichkeit von KI-Agenten muss am konkreten Arbeitsablauf überprüft werden. Nicht an der Anzahl der Prüfmodelle, Kontrollschritte oder Freigabeknöpfe, sondern daran, welche Fehler sie erkennen, welche korrekten Ergebnisse sie unnötig stoppen und welchen Aufwand sie verursachen.
Ein Freigabeschritt ist noch kein Kontrollnachweis
Stell dir vor, ein KI-Agent soll ein Kundendokument ändern. Das System meldet „Erledigt“, ein weiterer Agent bewertet die Antwort als plausibel und eine Führungskraft klickt auf „Freigeben“. Wenn niemand überprüft, ob das richtige Dokument tatsächlich geändert wurde, können drei Instanzen dasselbe unbelegte Ergebnis bestätigen. Das ist ein Gedankenbeispiel, kein dokumentierter Forschungsfall.
Ebenso problematisch wäre das Gegenteil: Ein Prüfer blockiert richtige Ergebnisse so häufig, dass Menschen die Warnungen ignorieren oder die Arbeit unnötig lange dauert. Eine gute Kontrollarchitektur muss deshalb Fehlfreigaben und unnötige Stopps gleichermaßen betrachten.
Was die Forschung zeigt – und was nicht
1. Technische Prüfung: Aktion und Abschluss sind unterschiedliche Aufgaben
Die Preprintstudie DeReAct trennt die Prüfung einer geplanten Aktion von der Prüfung, ob das beauftragte Ergebnis tatsächlich erreicht wurde. Auf zwei Benchmarks, GAIA und SWE-bench Verified, verbesserte dieses Vorgehen die Lösungshäufigkeit bei einigen getesteten Agenten deutlich; bei einer stärkeren Modellkonfiguration ergab sich hingegen kein klarer Zugewinn bei der betrachteten Erfolgskennzahl. Entscheidend war auch, ob die Prüfkomponenten zum tatsächlichen Fehlerprofil passten. [1]
Das ist ein Forschungsanhaltspunkt für technische Kontrollen – kein Nachweis, dass ein zusätzlicher menschlicher Freigabeschritt wirksam ist. Der Preprint wurde nicht unabhängig repliziert; die beiden Benchmarks bilden reale Unternehmensprozesse, rechtliche Folgen oder Freigaben durch Mitarbeitende nicht vollständig ab.
2. Zweitmeinung: Zustimmung ist nicht mit unabhängiger Prüfung gleichzusetzen
In einem weiteren Preprint änderten KI-Modelle nach dem Widerspruch eines anderen Modells teilweise ihr Urteil. Der Einfluss hing von der jeweiligen Modellpaarung ab. Untersucht wurden sieben offene Modelle in begrenzten Sprachaufgaben mit kurzen Interaktionen. [2]
Für die Unternehmenspraxis ist das ein Anlass zum Testen, keine allgemeine Warnung vor Multi-Agenten-Teams: Ein zweites Modell kann nützlich sein. Ob es einen Fehler unabhängig erkennt oder einer plausiblen Antwort folgt, müssen wir jedoch im vorgesehenen Zusammenspiel überprüfen.
3. Menschliche Freigabe: Ein guter Hinweis muss zutreffen
Besonders anschaulich ist eine kontrollierte Puzzle-Studie mit 210 Menschen. Wenn Versuchspersonen nur die Standardnachricht eines KI-Systems sahen, akzeptierten sie 78 Prozent der falschen Platzierungen. Mit präzise auf bekannte Fehler gerichteten Unsicherheitshinweisen sank dieser Anteil auf 36 Prozent. Das ist ein bemerkenswerter Befund – aber keine übertragbare Erfolgsquote für Geschäftsprozesse. [3]
Die entscheidende Einschränkung: Die besonders hilfreichen Hinweise wurden gezielt auf Fehler ausgerichtet, deren Lage im Experiment bekannt war. Ein automatisch aus dem KI-Modell abgeleiteter Hinweis konnte dagegen auch schaden. Außerdem bewerteten die Menschen aufgezeichnete Interaktionen in einer Puzzle-Aufgabe, keinen laufenden Unternehmensprozess.
Die praktische Frage ist daher nicht einfach, ob eine KI ihre Unsicherheit erklärt. Sondern ob ihre Erklärung auf die richtige Unklarheit hinweist und dem Menschen hilft, angemessen zu entscheiden.
4. Neue Gegenbefunde: Mehr Erklärung bedeutet nicht automatisch bessere Entscheidungen
Drei weitere, bisher nur auf Abstract-Ebene ausgewertete Preprints ergänzen dieses Bild: In einer Studie zur Pflegeschichtplanung wurden Unsicherheitsangaben häufig missverstanden und gingen mit geringerer Entscheidungssicherheit einher; Erklärungen beeinflussten dort Entscheidungssicherheit und Annahme der Vorschläge nicht signifikant. [4] In einer Feedbackstudie mit 244 Menschen veränderte sich das Übernahmeverhalten, ohne dass sich die Gesamtleistung verbesserte. [5] Bei 110 unerfahrenen Teilnehmenden einer KI-gestützten klinischen Begriffsextraktion beobachteten die Forschenden im Kontext vorhandener Erklärungen eine zunehmende Überabhängigkeit; selbstberichtetes Aufgabenverständnis war mit selektiverer Nutzung assoziiert. [6]
Diese Studien untersuchen unterschiedliche Aufgaben. Ihre Ergebnisse dürfen weder addiert noch als direkte Wirksamkeitsvergleiche ausgegeben werden. Weniger Entscheidungssicherheit kann beispielsweise angemessene Vorsicht bedeuten. Und eine statistische Assoziation ist kein Kausalbeweis. Gemeinsam unterstreichen die Befunde vor allem eine offene Forschungsfrage: Wann helfen Hinweise Menschen tatsächlich, richtige Ergebnisse anzunehmen und falschen Ergebnissen zu widersprechen?
Vier Prüfaufgaben für Führungskräfte und AI-Verantwortliche
1. Handlung prüfen
Welche konkrete Aktion soll der Agent ausführen? Welche Berechtigungen, Eingaben und Grenzen gelten? Welche Fehler wären an dieser Stelle relevant? Nicht jede Aktion braucht denselben Kontrollmechanismus.
2. Abschluss belegen
Woran lässt sich nachweisen, dass das gewünschte Ergebnis wirklich erreicht wurde? Eine Erfolgsmeldung des ausführenden Agenten allein ist kein unabhängiger Nachweis. Bei Dokumenten kann das die überprüfte Datei sein, bei Datenänderungen der kontrollierte Zielzustand.
3. Unsicherheit entscheidbar machen
Ein Hinweis wie „Bitte sorgfältig prüfen“ hilft wenig. Konkreter wäre beispielsweise: „Zwei Datensätze passen zur Beschreibung. Die Kundennummer stimmt bei A, die Adresse bei B. Bitte prüfe die Zuordnung.“ Ob ein solcher Hinweis korrekt ist und Entscheidungen verbessert, muss getestet werden. Das Beispiel ist ein Gestaltungsvorschlag, kein empirisch validierter Standard.
4. Kontrollwirkung statt Kontrollmenge messen
Wir schlagen für begrenzte Tests mindestens vier getrennte Größen vor: falsch freigegebene Ergebnisse, unnötig abgelehnte richtige Ergebnisse, nachweisliches Verständnis der Hinweise und tatsächliche Prüfzeit. Ergänzend können Entscheidungssicherheit, Gesamtdurchlaufzeit und Kosten erfasst werden. Eine hohe Annahmequote oder die bloße Zahl erfolgreicher Freigaben genügt nicht.
Wie ein kleiner Praxistest aussehen könnte
In unserem Research-Backlog liegt ein Vorschlag für einen sehr kleinen Living-Lab-Test: Vier freiwillige Prüfende beurteilen jeweils zwölf vorbereitete Agentenabschlüsse mit bekannten Soll-Ergebnissen, darunter vier absichtlich falsche. Neutrale Anzeigen und gezielte Unsicherheitshinweise sollen ausbalanciert verglichen werden. Erfasst würden Fehlfreigaben, falsche Zurückweisungen, Hinweisverständnis, subjektive Sicherheit und Prüfzeit.
Dieser Test wurde hier nicht als durchgeführt oder freigegeben dargestellt. Er müsste vor einem Start mit Experiment Charter, Messplan, möglichen Störfaktoren und gegebenenfalls Datenschutz-/Ethikprüfung konkretisiert werden. Bei so wenigen Personen wären Ergebnisse lokale Fehlerdiagnosen und Hypothesengeneratoren – kein allgemeiner Wirksamkeitsbeweis für Organisationen.
Ein belastbares Verfahren entsteht erst durch weitere Überprüfung, Vergleich und Übertragbarkeitstests. Bis dahin bleibt auch unser Vier-Aufgaben-Modell eine vorläufige Arbeitshypothese, keine wissenschaftlich validierte Methode oder Zertifizierung.
Was das für Führung bedeutet
Die Führungsfrage bei KI-Agenten lautet nicht: „Wie viele Kontrollen haben wir eingebaut?“ Sie lautet: „Welche Entscheidung trifft wer, mit welchen Informationen – und woran erkennen wir, dass die Kontrolle in diesem Prozess nützt?“
Notwendige menschliche Freigaben sollten deshalb nicht wegen einzelner Benchmarkbefunde abgeschafft werden. Gleichzeitig reicht ihre bloße Existenz nicht als Qualitätsversprechen. Wer KI-Agenten in der Organisation einsetzen möchte, muss Arbeitsteilung, Entscheidungsrechte, nachvollziehbare Ergebnisse und die Qualifikation der Prüfenden gemeinsam gestalten.
Eine Erklärung ist noch keine Entscheidungshilfe. Wir sollten prüfen, ob Menschen damit die richtigen Ergebnisse übernehmen und den falschen widersprechen können.
Nächster Schritt für dein Unternehmen
Du möchtest klären, welche Aufgaben KI-Agenten übernehmen können, wo Menschen entscheiden müssen und wie die Zusammenarbeit sinnvoll gestaltet wird? Im Rahmen unserer Beratung und Begleitung unterstützen wir Unternehmen bei Organisationsentwicklung, digitaler Transformation und zukunftsfähigen Arbeitsprozessen. Lass uns einen konkreten Anwendungsfall besprechen – ohne vorschnell eine neue Kontrollmethode als bewiesen zu verkaufen.
Beratung & Begleitung: https://future-fit.work/begleitung/
Quellen und Transparenz
[1] Vohra et al. (2026): DeReAct: Decomposed Reasoning and Acting for Reliable AI Agents. Preprint vom 1. Oktober 2026. https://arxiv.org/abs/2610.02351v1
[2] Peer Influence across Heterogeneous AI Models. Preprint vom Oktober 2026. https://arxiv.org/abs/2610.03095v1
[3] Poelitz et al. (2026): Referential Uncertainty in Human–AI Collaboration. Preprint vom 30. September 2026. https://arxiv.org/abs/2609.39518v1
[4] Rollwagen et al. (2026): Communicating Uncertainty in AI-Supported Nurse Scheduling. Preprint vom 13. Oktober 2026. Nur Abstract geprüft; https://arxiv.org/abs/2610.18679v1
[5] Holstein et al. (2026): Think Once, Reflect Twice: How Feedback Shapes Human-AI Collaboration. Preprint vom 14. Oktober 2026. Nur Abstract geprüft; https://arxiv.org/abs/2610.19991v1
[6] Kang et al. (2026): Novice Reliance Calibration in AI-Assisted Decision Making. Preprint vom 6. Oktober 2026. Nur Abstract geprüft; https://arxiv.org/abs/2610.07800v1
Evidenzstatus: Die hier ausgewerteten Arbeiten sind Preprints und keine eigenen Feldstudien des Future-Fit Work Instituts. Abgeleitete Gestaltungsvorschläge und Experimente sind als Hypothesen gekennzeichnet.