Auf dieser Seite
Christopher Helm
Christopher Helm

Christopher Helm founded Helm & Nagel GmbH in 2016 after studying Information Technology at TU Munich and Business Administration at the University of Mannheim. He leads the company's technical strategy and personally reviews production deployments.

Es gibt zwei Aspekte der kognitiven Automatisierung, auf die das Management erheblichen Einfluss hat: erstens zu messen, ob die Entscheidungen Ihrer Organisation so korrekt sind, wie Sie glauben, und zweitens zu verstehen, ob die Unterschiede in der Arbeitsweise Ihrer Mitarbeiter wertvolles Fachwissen oder teures Rauschen darstellen.

Das Erste, was man erkennen muss: Die meisten Organisationen implementieren Automatisierung, um ihren bestehenden Prozess zu beschleunigen. Was sie später entdecken, ist, dass sie einen fehlerhaften Prozess mit großem Aufwand beschleunigt haben. Die Frage, die es sich lohnt zu stellen, bevor Sie irgendetwas automatisieren, lautet: Wie viel Prozent unserer Entscheidungen sind korrekt? Nicht wie viel Prozent unserer Dokumente verarbeitet werden, sondern wie viel Prozent unserer Entscheidungen richtig sind.

Das ist schwieriger zu messen als der Durchsatz. Es ist auch wichtiger. Dennoch überspringen die meisten Organisationen diese Messung vollständig und automatisieren ihren bestehenden Prozess, anstatt ihn neu zu gestalten. Das bedeutet, sie beschleunigen Entscheidungsfehler, anstatt sie zu beseitigen. Zu verstehen, welche Genauigkeitslücken vor Beginn der Automatisierung bestehen, ist für jede Implementierung, die sich über die Zeit auszahlen soll, unerlässlich.

Das Vorbild der Fertigung, das die Wissensarbeit ignoriert hat

Die Fertigung hat diese Lektion vor Jahrzehnten gelernt. Toyota wurde nicht Toyota, indem es seinen bestehenden Produktionsprozess beschleunigte. Toyota wurde Toyota, indem es maß, was tatsächlich auf dem Fabrikboden geschah, erkannte, dass ein Großteil der scheinbar notwendigen Variation Verschwendung war, und diese systematisch beseitigte.

Six Sigma, Lean Production, Total Quality Management: Das sind alles Methoden, um tatsächliche Leistung mit angenommener Leistung zu vergleichen, dann zu standardisieren, was funktioniert, und zu eliminieren, was nicht funktioniert.

Die Wissensarbeit hat diese Lektion weitgehend ignoriert. Wir nehmen an, dass Arbeit, die Urteilsvermögen statt physischer Montage erfordert, nicht standardisiert werden kann. Wir nehmen an, dass Unterschiede in der Arbeitsweise von Menschen Fachkompetenz widerspiegeln statt Inkonsistenz.

Unserer Erfahrung nach ist diese Annahme meist falsch.

Wenn Sie messen, wie Wissensarbeiter tatsächlich Entscheidungen treffen, bei der Vertragsüberprüfung, der Compliance-Bewertung, dem Kunden-Onboarding oder der Zahlungsfreigabe, stellen Sie typischerweise fest, dass das, was wie individualisiertes Fachwissen aussieht, tatsächlich eine kleine Anzahl von Kernentscheidungsmustern mit umfangreichen lokalen Variationen ist, die keinen Mehrwert schaffen.

Fragen Sie 100 Mitarbeiter, wie sie ihre Arbeit erledigen, und Sie erhalten 101 Meinungen. Messen Sie, wie sie ihre Arbeit tatsächlich erledigen, und Sie finden vielleicht 12 Muster, die 90 % der Entscheidungen ausmachen, verdeckt durch Varianz, die diese Muster für die ausführenden Personen unsichtbar macht.

Diese Varianz ist teuer. Jede unnötige Abweichung im Prozess schafft Möglichkeiten für Entscheidungen, die korrekt sein sollten, es aber nicht sind. Diese Ungenauigkeiten summieren sich über Zeit und Volumen auf eine Weise, die selten gemessen und fast nie dem Prozessdesign zugeschrieben wird.

Die Chance in der kognitiven Automatisierung besteht nicht darin, Ihren aktuellen Prozess zu automatisieren. Die Chance besteht darin, KI zu nutzen, um zu messen, was Ihr aktueller Prozess tatsächlich produziert, herauszufinden, wo die Varianz Rauschen statt Signal ist, und einen Prozess zu gestalten, der eine höhere Entscheidungsgenauigkeit erzeugt, bevor Sie irgendetwas automatisieren.

Das dauert länger als Software zu kaufen und auf Ihre Dokumente anzuwenden. Es ist politisch schwieriger, weil es erfordert, unbequeme Wahrheiten über die aktuelle Leistung aufzudecken. Es produziert keine beeindruckenden Demos in 90 Tagen.

Aber es scheint der einzige Ansatz zu sein, der Ergebnisse produziert, die sich über die Zeit aufbauen, anstatt nach dem ersten Enthusiasmus zu stagnieren.

Warum Entscheidungsgenauigkeit systematisch überschätzt wird

Wenn das Management Abteilungen nach der Entscheidungsgenauigkeit fragt, lautet die typische Antwort: "Wir liegen bei etwa 98 %, vielleicht 97 % in einem schlechten Quartal."

Diese Schätzung ist fast immer zu hoch, nicht weil Menschen unehrlich sind, sondern weil der Messansatz strukturelle Verzerrungen aufweist.

Er misst nur erkannte Ungenauigkeiten. Wenn eine Zahlung für den falschen Betrag freigegeben wird, aber niemand sich beschwert, zählt sie als korrekt. Wenn eine Compliance-Prüfung übersprungen wird, der Fall aber nicht geprüft wird, zählt sie als korrekt. Wenn eine Vertragsklausel falsch interpretiert wird, aber kein Streit entsteht, zählt sie als korrekt.

Er basiert auf Selbstauskunft der Personen, die die Entscheidungen treffen. Ein Mitarbeiter, der glaubt, seine Entscheidungen seien zu 98 % korrekt, wird 98 % angeben, auch wenn eine Messung 89 % ergeben würde.

Er verwechselt Prozesskonformität mit Entscheidungsqualität. "Wir haben das Verfahren befolgt" wird als gleichwertig mit "Wir haben die richtige Entscheidung getroffen" behandelt. Aber wenn 800 Personen das Verfahren auf 800 verschiedene Weisen interpretieren, sagt Konformität nichts über Korrektheit aus.

Er mittelt über Populationen, ohne die Verteilung zu verstehen. Wenn 70 % der Mitarbeiter eine Genauigkeit von 97 % erreichen und 30 % eine Genauigkeit von 80 %, beträgt der Durchschnitt 92 %. Das Management schätzt jedoch typischerweise auf Basis der 70 %, mit denen es am häufigsten interagiert.

Diese Verzerrungen summieren sich. Unserer Erfahrung nach sind die Schätzungen des Managements zur Entscheidungsgenauigkeit typischerweise um 5 bis 15 Prozentpunkte zu optimistisch. Nicht gelegentlich. Systematisch.

Die Parallele zum Pensionsfondsmanagement ist treffend. Pensionsversicherungsmathematiker sind sehr gut darin, die Konsequenzen von Annahmen zu berechnen. Sie sind systematisch schlecht darin, die Annahmen selbst zu treffen, insbesondere bei den Faktoren, die am meisten zählen. Die Schätzung der Entscheidungsgenauigkeit leidet unter demselben strukturellen Problem: Die Personen, die schätzen, werden für Konsens belohnt, nicht für unbequeme Genauigkeit.

Sie können nicht verbessern, was Sie nicht ehrlich gemessen haben. Und Sie können nicht ehrlich messen, wenn Sie Selbstauskünfte von den Personen verwenden, deren Leistung gemessen wird.

Die Unumkehrbarkeit der Prozessautomatisierung

Sobald eine Organisation einen Prozess automatisiert, ohne zuvor die Entscheidungsgenauigkeit zu messen, ist eine Kurskorrektur außerordentlich schwierig.

Das Projektteam hat Monate investiert. Der Anbieter hat ein System geliefert, das die technischen Spezifikationen erfüllt. Die Verarbeitungsgeschwindigkeit hat sich verbessert. Das System extrahiert Daten aus Dokumenten mit 98 % Genauigkeit. Das Projekt wird als erfolgreich erklärt.

Aber angenommen, die Entscheidungsgenauigkeit, also ob der richtige Betrag gezahlt, die richtigen Kunden ongeboardet oder die richtigen Ansprüche genehmigt wurden, hat sich nicht verbessert. Woher würden Sie das wissen? Das Messrahmenwerk erfasste die Dokumentenverarbeitung, nicht die Entscheidungsqualität. Der Ausgangswert wurde nie festgelegt.

Sie könnten jetzt aufhören und messen, aber das erfordert anzuerkennen, dass die ursprüngliche Implementierung möglicherweise das Falsche optimiert hat. Projektteams bieten diese Analyse nicht freiwillig an. Anbieter schlagen sie nicht vor. Abteilungsleiter werden sich nicht für Messungen einsetzen, die zeigen könnten, dass ihre ursprünglichen Schätzungen falsch waren.

Also läuft das System weiter. Es wird eingebettet. Die Organisation geht weiter. Und die Entscheidungsgenauigkeit, die möglicherweise weit unter dem Geglaubten liegt, produziert weiterhin Verluste, die sich über Abteilungen verteilen und nie dem Automatisierungsprojekt zugeschrieben werden.

Das liegt nicht daran, dass jemand in böser Absicht gehandelt hat. Es liegt daran, dass Automatisierungsentscheidungen, einmal getroffen, Interessengruppen schaffen, die in ihren Erfolg investiert haben und politische Kosten tragen, wenn sie zugeben, dass der Ansatz fehlerhaft war.

Die praktische Schlussfolgerung: Messen Sie die Entscheidungsgenauigkeit, bevor Sie automatisieren. Verstehen Sie, was Sie tatsächlich richtig und falsch machen. Dann gestalten Sie einen Prozess, der hohe Genauigkeit produziert, und automatisieren Sie diesen.

Das Problem der Anbieterauswahl

Angenommen, 1.000 Unternehmen implementieren 2025 kognitive Automatisierung. Nach einem Jahr zeigen vielleicht 250 starke Ergebnisse: Verarbeitungsgeschwindigkeit gestiegen, Genauigkeitskennzahlen erfüllt, Effizienzziele übertroffen. Diese werden zu den Fallstudien, die Anbieter auf Konferenzen präsentieren.

Aber wenn Sie Fünfjahresergebnisse messen könnten, würden Sie vielleicht feststellen, dass nur ein kleiner Bruchteil, vielleicht 25 der ursprünglichen 1.000, Ergebnisse erzielt hat, die sich aufgebaut haben. Der Rest stagnierte oder verschlechterte sich, sobald der erste Enthusiasmus nachließ.

Die Schwierigkeit besteht darin, dass im ersten Jahr die 25, die langfristig erfolgreich sein werden, identisch aussehen wie die 225, die kurzfristig aufgrund günstiger Bedingungen erfolgreich waren. Beide haben positive Kennzahlen. Beide haben zufriedenes Management.

Der Unterschied ist weder in der Technologie, dem Implementierungszeitplan noch in den anfänglichen Ergebnissen sichtbar. Er ist sichtbar in dem, was vor Beginn der Implementierung gemessen wurde.

Die Organisationen, die langfristig erfolgreich sind, haben fast ausnahmslos damit begonnen, die tatsächliche Entscheidungsgenauigkeit zu messen und festzustellen, dass sie niedriger war als geglaubt. Diese Erkenntnis, so unbequem sie auch war, ermöglichte es ihnen, den Prozess vor der Automatisierung neu zu gestalten.

Die Organisationen, die kurzfristig erfolgreich waren, begannen typischerweise damit, ihren aktuellen Prozess zu automatisieren und Effizienzgewinne zu messen. Sie optimierten, was sie hatten. Wenn Sie einen Prozess optimieren, der zu 89 % korrekte Entscheidungen trifft, erhalten Sie ein sehr effizientes System für falsche Entscheidungen.

Nach fünf Münzwürfen würden Sie erwarten, 31 Münzmanager mit durchgehend erfolgreichen Bilanzen zu haben, die, mit ihren Fähigkeiten vom Markt bestätigt, über ihre Methodik schreiben würden. Das ist kein Zynismus. Das ist Arithmetik.

Wenn der Unterschied erkennbar wird, typischerweise nach 18 bis 36 Monaten, sind die ursprünglichen Entscheidungen praktisch unumkehrbar. Sie können nicht zurückgehen und den Ausgangswert messen, den Sie zu Beginn nicht gemessen haben. Sie können den Prozess, den Sie bereits automatisiert haben, nicht neu gestalten.

Deshalb ist die Anbieterauswahl auf Basis von Fallstudien und Jahresergebnissen so schwierig. Die Stichprobe ist mit glücklichen kurzfristigen Gewinnern kontaminiert, die zurückfallen werden. Und die Methodik, die langfristigen Erfolg produziert, nämlich mit der Messung der Entscheidungsgenauigkeit zu beginnen, produziert keine schnellen beeindruckenden Demos.

Ich habe keine Lösung für dieses Problem. Ich weise darauf hin, dass es existiert.

Die kommende Verifikationskrise

In Deutschland machte die große Inflation der frühen 1920er Jahre fast alle früheren Investitionen wertlos. Vertragliche Versprechen, die bei ihrer Entstehung solide wirkten, wurden unmöglich zu erfüllen.

Ich sehe ein paralleles Risiko in der kognitiven Automatisierung, obwohl der Mechanismus ein anderer ist. Das Risiko ist nicht, dass KI zu mächtig wird. Das Risiko ist, dass KI alles unverifizierbar macht.

Wenn KI-generierte Inhalte von authentischen Inhalten nicht mehr zu unterscheiden sind, wie verifizieren Sie dann irgendetwas? Ein Lieferant sendet eine Rechnung: Ist sie authentisch? Sie erhalten eine Vertragsänderung: Wurde sie wirklich von Ihrem Vertragspartner gesendet oder von jemandem mit Zugang zu Ihren Kommunikationsmustern gefälscht? Eine Regulierungsprüfung erfordert Dokumentation von Entscheidungen, die vor drei Jahren getroffen wurden: Wie beweisen Sie, dass Ihre Aufzeichnungen authentisch sind und nicht nachträglich rekonstruiert wurden?

In einer Welt, in der perfekte Fälschung fast nichts kostet, wird authentische Dokumentation mit nachweisbarer Herkunft extrem wertvoll. Aber nur, wenn die Herkunft von Anfang an eingebaut wurde.

Verifikation nachträglich in Systeme einzubauen, die ohne sie konzipiert wurden, ist wie Erdbebenschutz nach dem Bau hinzuzufügen. Theoretisch möglich. In der Praxis unerschwinglich teuer. Nie so zuverlässig wie von Anfang an eingebaut.

Einige Organisationen bauen jetzt Verifikationsketten in ihre Systeme ein: Aufzeichnungen über Dokumentenherkunft, Verarbeitungsschritte, Entscheidungspunkte. Das erhöht die Entwicklungskosten um vielleicht 10 bis 15 %. Es nicht einzubauen und später festzustellen, dass man es braucht, kostet typischerweise das Zwei- bis Vierfache der ursprünglichen Implementierung.

Mehr über Verifikation und Validierung in Entscheidungssystemen und warum Messung früh erfolgen muss.

Ich könnte mit diesem Risiko falsch liegen. Meine Einschätzungen zur Verifikationskrise sind pessimistischer als die meisten. Die Argumentation hängt mehr von institutionellen Urteilen als von technischer Analyse ab. Aber die Kosten des Irrtums erscheinen asymmetrisch. Verifikation einzubauen, wenn sie sich als unnötig herausstellt, verschwendet bescheidene Ressourcen. Sie nicht einzubauen, wenn sie sich als notwendig herausstellt, macht Ihre Systeme rechtlich nicht verteidigbar.

Wie das Inflationsszenario für Pensionen ist dieses Erdbebenrisiko leichter abzutun als sich darauf vorzubereiten.

Ein unkonventioneller Ansatz

Über zehn Jahre haben wir einen Ansatz entwickelt, der sich von typischen Anbietern unterscheidet, nicht weil wir klüger sind, sondern weil wir unter anderen Rahmenbedingungen arbeiten.

Wir sind ein deutsches Mittelstandsunternehmen, bootstrapped, ohne Risikokapitaldruck für schnelles Wachstum oder kurzfristige Exits. Das schafft andere Anreize.

Wir lehnen Projekte ab, bei denen Kunden nicht bereit sind, zuerst die tatsächliche Entscheidungsgenauigkeit zu messen. Das wahrscheinliche Ergebnis wäre die Implementierung eines Systems, das Dokumente schneller verarbeitet, während die zugrunde liegende Entscheidungsgenauigkeit und die damit verbundenen Verluste unverändert bleiben. Alle erklären den Erfolg anhand von Geschwindigkeitskennzahlen. Nichts Grundlegendes verbessert sich.

Wir investieren unverhältnismäßig viel in Bildung. Wir haben über 900 Artikel veröffentlicht und mehr als 20 kostenlose Tools entwickelt. Rund 300.000 Menschen nutzten sie 2025. Der ROI ist schwer zu messen. Aber Kunden, die uns auf diesem Weg finden, kommen mit besseren Fragen, nachdem sie in der Regel Implementierungen versucht haben, die sie enttäuscht haben, und fragen jetzt warum.

Wir konzentrieren uns auf Probleme, die sowohl technische Tiefe als auch Domänenwissen erfordern: Fahrzeugdokumentenarchivierung, bei der Compliance-Anforderungen Jahrzehnte umfassen, Bau-Compliance, bei der Vorschriften über Jurisdiktionen hinausgehen, Order-to-Pay-Verifizierung, bei der die Frage nicht lautet, ob Dokumente verarbeitet werden, sondern ob Entscheidungen korrekt sind. Das sind keine großen Märkte einzeln betrachtet. Es sind profitable Märkte mit Kunden, die verstehen, dass günstige Lösungen teuer sind, wenn man sie über die Zeit misst.

Wir pflegen eine Analyse des Markts für kognitive Automatisierung auf idp-software.com: rund 300 Anbieter, etwas, das vor KI unmöglich gewesen wäre. Die wichtigste Erkenntnis aus dieser Analyse: Anbieter veröffentlichen Genauigkeitskennzahlen, aber "Genauigkeit" hat keine Standarddefinition. Anbieter anhand behaupteter Genauigkeit zu vergleichen, ist wie Anlagerenditen zu vergleichen, ohne zu wissen, ob sie vor oder nach Steuern, nominal oder real gemessen werden.

Die direkte Frage lautet: Für wen ist das nicht geeignet?

Wenn Ihre Beschaffung Antworten auf 147 Spezifikationen erfordert, werden wir nicht antworten. Wenn Sie 80 Folien und eine Demo bis Freitag brauchen, können wir nicht helfen. Wenn Ihr Zeitplan "bis Quartalsende, weil wir es dem Vorstand versprochen haben" lautet, sind wir die falsche Wahl.

Wir arbeiten mit Organisationen, die damit beginnen zu messen, was sie falsch machen, nicht mit Organisationen, die damit beginnen zu spezifizieren, was sie kaufen wollen.

Was wir über Fachkompetenz gelernt haben

Bei der qualitativen Analyse von Entscheidungsmustern im letzten Jahrzehnt haben wir etwas über Fachkompetenz bemerkt, das uns überrascht hat.

Die am höchsten bezahlten Spezialisten haben oft eine ähnliche Entscheidungsgenauigkeit wie Nachwuchskräfte. Sie sind einfach selbstsicherer. Wir haben das bei der Rechtsüberprüfung, der Compliance-Bewertung, dem Underwriting und der Zahlungsfreigabe beobachtet. Die Korrelation zwischen Dienstalter und Genauigkeit ist schwach. Die Korrelation zwischen Selbstsicherheit und Genauigkeit ist nahezu null. Die Korrelation zwischen der Bereitschaft zu messen und der Genauigkeit ist stark.

Echte Fachkompetenz ist keine Gewissheit, recht zu haben. Es ist die Bereitschaft, Messungen zu akzeptieren, die zeigen könnten, dass man falsch liegt.

Das beschreibt unsere Organisation genauso wie unsere Kunden. Bis vor kurzem maßen wir unseren Erfolg an verarbeiteten Dokumenten und Extraktionsgenauigkeit. Wir glaubten, dass Kunden, die Millionen von Dokumenten mit 97 % Extraktionsgenauigkeit verarbeiten, Erfolg darstellten.

Dann stellte ein Kunde fest, dass seine Vertragsstreitigkeiten trotz Automatisierung nicht zurückgegangen waren. Als wir maßen, hatten die Streitigkeiten leicht zugenommen. Das System verarbeitete Dokumente schneller und extrahierte Text genau, traf aber falsche Entscheidungen schneller. Niemand hatte gemessen, ob die richtigen Entscheidungen getroffen wurden.

Das war eine unbequeme Erkenntnis. Aber sie veränderte, was wir messen. Wir beginnen jetzt mit der Frage: Welche Entscheidungen löst dieses Dokument aus, und wie viel Prozent davon sind derzeit korrekt? Technologiefragen kommen an zweiter Stelle.

Ausblick

Mit dem Ende des Jahres 2025 sind einige Dinge klar geworden.

Die Technologie zur Textextraktion ist zur Ware geworden. Mehrere Anbieter bieten gleichwertige Fähigkeiten für Standardanwendungen. Der Unterschied liegt nicht in der KI. Er liegt darin, ob Sie die tatsächliche Entscheidungsgenauigkeit und Prozessvarianz vor der Automatisierung messen oder ob Sie Ihren aktuellen Prozess automatisieren und das Beste hoffen.

Für 2026 kommt es auf Folgendes an:

Helm & Nagel
Prioritäten 2026

Was das Management im Fokus haben sollte

  • Entscheidungsgenauigkeit vor der Automatisierung messen, nicht Dokumentenverarbeitungsgenauigkeit
  • Verstehen, dass Prozessvarianz sich über Zeit aufbaut; standardisieren, um Rauschen zu entfernen, nicht Urteilsvermögen
  • Verifikation jetzt in Systeme einbauen, nicht später; Nachrüstung kostet das 2- bis 4-Fache der ursprünglichen Implementierung
  • Erfolg über Jahre messen, nicht Quartale; Standardisierung baut sich auf wie Erträge sich aufbauen

Erstens: Messen Sie die Entscheidungsgenauigkeit, bevor Sie irgendetwas automatisieren. Nicht die Dokumentenverarbeitungsgenauigkeit. Die Entscheidungsgenauigkeit. Das ist unbequem, weil die Antwort meist schlechter ist als geglaubt. Aber Sie können nicht verbessern, was Sie nicht ehrlich gemessen haben.

Zweitens: Verstehen Sie, dass Prozessvarianz sich über Zeit aufbaut. Wenn Tausende von Mitarbeitern Entscheidungen nach Tausenden von Methoden treffen, zahlen Sie die Kosten dieser Varianz täglich in Entscheidungen, die korrekt sein sollten, es aber nicht sind. Zu standardisieren, was standardisiert werden kann, bedeutet nicht, Urteilsvermögen zu entfernen. Es bedeutet, Rauschen zu entfernen, damit Urteilsvermögen dort eingesetzt werden kann, wo es Mehrwert schafft.

Drittens: Bauen Sie Verifikation jetzt in Systeme ein, nicht später. Ob die Verifikationskrise bald kommt oder nie, die Kosten des Einbauens sind bescheiden und die Kosten der Nachrüstung sind prohibitiv.

Viertens: Messen Sie Erfolg über Jahre, nicht Quartale. Prozessstandardisierung baut sich auf wie Erträge sich aufbauen. Organisationen, die über fünf Jahre eine hohe Standardisierung erreichen, werden grundlegend andere Fähigkeiten haben. Aber das wird in Quartalskennzahlen nicht sichtbar sein.

Die teuersten Entscheidungen sind die, von denen Sie glauben, sie seien korrekt, die es aber nicht sind. Die wertvollste Technologie ist die Art, die Ihnen den Unterschied zeigt.

Wir haben zehn Jahre gebraucht, um das zu lernen. Vielleicht können Sie es schneller lernen.

Mit den besten Wünschen für ein erfolgreiches 2026,

Christopher Helm CEO, Helm & Nagel GmbH