Schlagwort: EU AI Act

Human in the Loop – Führung, wenn Intelligenz überall ist

6 min.

Summary

Was bedeutet „Human in the Loop“, wenn ein KI-System mehr Informationen und mehr Argumentationsstränge berücksichtigt, als ein Mensch nachvollziehen kann? Diese Frage habe ich dem Futuristen Kevin Benedict am 29. Oktober gestellt. Seine ehrliche Antwort: eine der großen ungelösten Fragen. In seinem neuen Buch zeigt er aber, wohin die Verantwortung wandert. Nicht weg vom Menschen, sondern nach vorn, vor die eigentliche Entscheidung.

Wie kam es zu diesem Beitrag?

Kevin Benedict ist Futurist bei Tata Consultancy Services und schreibt seit Jahren über Technologie, Zukunft und Führung. Im September ist sein Buch „The Future of Human Leadership: When Intelligence Is Everywhere“ erschienen. Am 29. Oktober habe ich seine Masterclass „Human Leadership in a Machine-Intelligent World“ gehört, die genau dieses Buch zum Inhalt hatte.

In der Fragerunde habe ich ihm eine Frage gestellt, die mich beschäftigt. Ich habe sie auf Englisch gestellt, hier in meiner Übersetzung: „Was machen wir mit all den regulierten Bereichen, in denen Human in the Loop Pflicht ist? Ich finde es manchmal schwierig zu entscheiden, ob das KI-Ergebnis tatsächlich besser oder schlechter ist als das, was wir vorher hatten. Gerade Modelle, die schrittweise schlussfolgern, können viel breiter denken und mehrere Argumentationsstränge berücksichtigen, denen ein Mensch vielleicht gar nicht mehr folgen kann. Würden wir uns nicht selbst beschränken, wenn wir uns nur auf menschliches Urteil verlassen? Wie siehst du das?“

Das Paradox der Kontrolle

Benedict nannte das eine enorme Herausforderung ohne einfache Antwort. Ich gebe seine Antwort hier sinngemäß wieder, nicht wörtlich. KI kann weit mehr Informationen einbeziehen als ein einzelner Mensch, der sich vor allem auf Ausbildung, Erfahrung, Praxis und Tradition stützt. Trotzdem soll gerade dieser Mensch prüfen und entscheiden. In regulierten Kontexten bleibt er nötig, weil sich Verantwortung und Rechenschaft nicht an eine Maschine delegieren lassen.

Sein Beispiel: Jemand übernimmt eine Rolle neu. Diese Person war an der Entwicklung des Algorithmus oder des Entscheidungsbaums nicht beteiligt. Für dessen Entscheidungen verantwortlich ist sie trotzdem. Eine fertige Lösung dafür hatte Benedict nicht. Er sieht darin eine der großen offenen Führungs- und Governance-Fragen der KI-Zeit.

Allgemeiner hat er das Problem in einem Gespräch mit Ronald Worman beschrieben. Worman gibt es in seinem Blogbeitrag dazu so wieder: Die Geschwindigkeit, mit der Folgen eintreten, beginne die Geschwindigkeit des Verstehens zu überholen.

Die Regulierung kennt das Problem. Die EU-KI-Verordnung verlangt in Artikel 14 für Hochrisiko-Systeme menschliche Aufsicht, anwendbar je nach Art des Systems ab Dezember 2027 bzw. August 2028. Die zuständigen Personen sollen in die Lage versetzt werden, Fähigkeiten und Grenzen des Systems zu verstehen. Sie sollen sich der Neigung bewusst bleiben, sich zu sehr auf seine Ergebnisse zu verlassen, dem sogenannten Automatisierungsbias. Und sie müssen Ergebnisse übergehen und das System anhalten können.

Das ist ein hoher Anspruch. Je besser ein Modell argumentiert, desto schwerer wird die Prüfung im Einzelfall. Wer nur noch abnickt, ist formal in der Schleife. Faktisch ist er es nicht.

Die Entscheidung wandert nach vorn

In seinem Buch geht Benedict einen Schritt weiter als in der Fragerunde. Auf LinkedIn zitiert er daraus einen Satz: „Autonomie schafft die menschliche Entscheidung nicht ab. Sie verlagert sie.“ (eigene Übersetzung)

Wohin, beschreibt er in einer Kurzfassung des Buchs auf seinem Blog. Menschliche Aufsicht könne nicht wirksam sein, wenn Menschen erst eingebunden werden, nachdem die wichtigen Entscheidungen schon gefallen sind. Mit wachsender Autonomie rücke Führung oft eine Ebene höher, über die Schleife. Dort legt sie fest, bevor ein System arbeitet (seine Aufzählung, von mir in Fragen zusammengefasst):

  1. Zweck. Welches Problem soll das System lösen, und wem dient es?
  2. Befugnisse und Grenzen. Was darf das System selbst entscheiden und was nicht?
  3. Eskalation und Stopp. Wann muss ein Mensch übernehmen, und wer darf das System anhalten?
  4. Prüfung. Wie wird kontrolliert, ob die Ergebnisse stimmen?
  5. Reparatur und Einspruch. Wie werden Fehler korrigiert, und wie können Betroffene widersprechen?

Er hält dort fest: „Operative Autonomie lässt sich delegieren, moralische Verantwortung kann nicht einfach verschwinden.“ (eigene Übersetzung)

In der Masterclass hat er für diese Verschiebung, sinngemäß nach meinen Notizen, ein Bild aus der Luftfahrt verwendet. Die Brüder Wright steuerten ihr Flugzeug noch unmittelbar mit dem eigenen Körper und Seilzügen. In einem modernen Kampfjet wie der F-35 verarbeitet Software so viele Sensordaten, dass der Pilot nicht mehr jede Bewegung selbst steuert. Er überwacht das System und führt die Mission. Den Gedanken hat Benedict schon 2021 in einem Artikel über Komplexität und Denken angelegt.

Verantwortung braucht Information, Zeit und Befugnis

Ein Satz aus Benedicts Text zur Entstehung des Buchs trifft meine Frage direkt. Wer verantwortlich ist, braucht nach Benedict „die Informationen, die Zeit und die Befugnis, eine Empfehlung zu hinterfragen, einen schädlichen Ablauf zu stoppen oder die Richtung zu ändern“ (eigene Übersetzung).

Sein Beispiel mit der neu besetzten Rolle zeigt, wo das scheitert. Wer die Entscheidungslogik nicht kennt, trägt Verantwortung ohne Information.

Dazu kommt die Zeit. Benedict unterscheidet vier Uhren: die digitale Zeit, in der Systeme arbeiten, die menschliche Zeit zum Lernen, Vertrauen fassen und Erholen, die erinnerte Vergangenheit, die Menschen in jede Veränderung mitbringen, und die Zukunftszeit, also Erwartungen und Versprechen, die beeinflussen, wozu Menschen heute bereit sind. Er veranschaulicht das so: Ein System lässt sich an einem Wochenende einführen. Die Beschäftigten brauchen Monate, bis sie ihm vertrauen.

Und es geht um Energie. Benedict spricht von Einheiten transformativer Energie („Transformational Energy Units“). Gemeint ist die begrenzte Kraft, die Menschen für Anpassung zur Verfügung haben. Mehrere Veränderungen gleichzeitig ziehen aus demselben Vorrat. Die „Einheiten“ seien keine exakte Messung, schreibt er, sondern sollen die Belastung besprechbar machen. Daraus folgt für mich: Wer erschöpft ist, prüft schlechter. Auch das gehört zu einer ehrlichen Antwort auf Human in the Loop.

Was heißt das für Projekte?

In meinem GPM Focus Workshop zu Führung im KI-Zeitalter im März 2026 in Frankfurt hat ein Teilnehmer es so zusammengefasst: „Accountable ist immer der Mensch. Responsible kann Mensch oder KI sein – abhängig von Aufgabe und Komplexität.“ Ich habe das in meinem Beitrag Projektmanager im Jahre 2036 zitiert. Benedicts Buch ergänzt, was dafür nötig ist. Für Projekte lassen sich daraus vier Konsequenzen ableiten.

  1. Entscheidungsrechte gehören in den Projektauftrag. Für jeden KI-gestützten Ablauf sollte feststehen, wer empfiehlt, wer entscheidet, wer überschreiben darf und wer anhält. Das ist eine erweiterte Verantwortungsmatrix, keine IT-Frage.
  2. Übergaben umfassen die Entscheidungslogik. Wechselt eine Rolle, reicht die Übergabe von Aufgaben nicht. Die neue Person braucht Zweck, Annahmen, Schwellenwerte und bekannte Grenzen des Systems.
  3. Die Prüftiefe richtet sich nach der Tragweite. In der Masterclass empfahl Benedict sinngemäß, Reaktionszeiten nach Risiko, Umkehrbarkeit und Tragweite zu unterscheiden. Kleine, umkehrbare Entscheidungen dürfen schnell laufen. Weitreichende brauchen Zeit und mehrere Perspektiven.
  4. Veränderungen werden nach Belastung geplant. Nicht nur je Projekt, sondern kumuliert je Rolle und Zeitraum. Sonst trifft die fünfte Einführung im Quartal auf Menschen, die keine Kraft mehr zum Prüfen haben.

Was bedeutet das für die nächsten Jahre?

Ab hier ist es meine Einschätzung, keine gesicherte Entwicklung.

Human in the Loop wird sich vermutlich in zwei Aufgaben teilen. Die Prüfung im Einzelfall bleibt dort, wo ein Mensch das Ergebnis noch beurteilen kann. Daneben wächst die Arbeit über der Schleife: Zweck, Grenzen, Stopp-Kriterien und Reparaturwege festlegen, bevor das System läuft. Diese zweite Aufgabe ist näher am Projektmanagement als an der Technik.

Für die Qualifizierung heißt das, dass sie diese Gestaltung prüfen müsste. Damit sind wir bei der Frage aus meinem Beitrag KI und die Zukunft der PM-Zertifizierung. Urteilsvermögen zeigt sich eher im Gespräch als im Dokument.

Meine Ausgangsfrage bleibt offen, und Benedict hat das auch nicht anders behauptet. Wenn ein Modell Argumentationsstränge verfolgt, die kein Mensch mehr nachvollzieht, hilft keine Unterschrift unter dem Ergebnis. Dann hilft nur, vorher zu entscheiden, wofür das System da ist und wann es anhalten muss.

Human in the Loop ist kein Platz im Prozess. Es ist eine Verantwortung, die vor dem ersten Ergebnis beginnt.

Wer darf in unseren Projekten ein KI-System anhalten – und woran erkennt diese Person, dass es nötig ist?

Gerne meinen kostenlosen Newsletter abonnieren.

Quellen