Steuerungs-KPIs vom Piloten zur Skalierung

Ohne Messung keine Steuerung

Die vorherigen Lektionen haben die Wirkungslogik, die Priorisierung und die Kostenseite geklärt. Bleibt die Steuerungsebene: Wie wissen Sie während eines Piloten, ob er sich entwickelt wie geplant? Und wie entscheiden Sie am Ende, ob skaliert wird?

Ohne saubere KPI-Struktur wird jede KI-Initiative über kurz oder lang im Nebel. Diese Lektion schließt den Kurs mit einem knappen, einsatzfähigen KPI-Gerüst.

Die vier KPI-Ebenen

Für eine ausgewogene Steuerung braucht es Kennzahlen auf vier Ebenen. Jede einzelne beantwortet eine andere Frage.

Ebene A — Aktivierung und Nutzung. Wer nutzt die KI-Anwendung, wie oft, in welchem Umfang? Beispielhafte KPIs: aktive Nutzer pro Woche, Anteil der Zielgruppe, die mindestens zwei Anwendungen pro Woche durchführt, durchschnittliche Interaktionsdauer. Diese Zahlen sind Leading Indicators — sie zeigen früh, ob der Pilot von der Organisation angenommen wird.

Ebene B — Ergebnis und Wirkung. Was hat sich am Prozess verändert? Durchlaufzeit pro Vorgang, Fehlerquote, Kosten pro Ergebnis, Reklamationsquote. Das sind die klassischen Lagging Indicators — die harten Nachweise, aber mit Verzögerung.

Ebene C — Qualität der KI-Ausgaben. Wie gut sind die generierten Ergebnisse? Übernahme-Rate (wie oft wird die KI-Ausgabe ohne Änderung übernommen), Änderungs-Anteil, Zufriedenheit der Nutzer, Korrektheitsstichproben. Diese Ebene ist der Frühwarnsystem für Halluzinationen und Drift.

Ebene D — Geschäftsbeitrag und Finanz. Wirkung auf die Unternehmenskennzahlen, die in Ihrem Reporting ohnehin stehen: Angebotsquote, Conversion, Kundenzufriedenheit, Umsatz pro Mitarbeiter, Kostenquote. Das ist die Ebene, die den CFO am Ende interessiert.

Für einen einzelnen Piloten reichen drei bis fünf KPIs aus diesen Ebenen — nicht alle gleichzeitig. Die Auswahl hängt vom Use Case ab und wird vor Pilotstart festgelegt.

Baseline, Pilot-Phase, Skalierungsphase

Ein belastbarer KPI-Prozess umfasst drei Phasen.

Baseline. Mindestens vier Wochen vor Pilotstart die ausgewählten KPIs ohne KI-Unterstützung messen. Das Ergebnis ist Ihre Vergleichsgrundlage. Je sauberer die Baseline, desto weniger diskussionsanfällig sind die späteren Ergebnisse.

Pilot-Phase. Während des Piloten werden die KPIs in einem festen Rhythmus erhoben, typischerweise wöchentlich. Dashboards oder ein einfaches Tabellenformat reichen — entscheidend ist, dass die Zahlen regelmäßig vor den Piloten-Lenkungskreis kommen und diskutiert werden.

Skalierungsphase. Nach dem Go zur Skalierung werden KPIs nachhaltiger erhoben, in geringerer Frequenz, aber als Teil der Regelsteuerung. Der Fokus verschiebt sich auf Ebene B und D; Ebenen A und C bleiben als Frühwarnsystem.

Stop-or-Scale: die Entscheidung am Pilotende

Ein Pilot ohne klare Entscheidungslogik am Ende ist ein Zombie. Die drei möglichen Ausgänge:

Skalieren. Die vordefinierten Kriterien sind erreicht oder übertroffen. Die Organisation beschließt die Ausweitung — auf weitere Nutzergruppen, weitere Standorte oder weitere Anwendungsfälle. Die Skalierung ist selten ein Kopierschritt; sie erfordert wiederum Change, Integration und Steuerung. Planen Sie sie bewusst.

Stoppen. Die Kriterien sind nicht erreichbar. Die Ursachen können technischer, datentechnischer, organisatorischer oder strategischer Natur sein. Wichtig: Ein Stopp ist kein Scheitern, sondern eine Entscheidung auf Basis von Evidenz. Lernen aus gestoppten Piloten ist oft wertvoller als der zögerliche Dauerbetrieb einer mittelmäßigen Lösung.

Nachbessern. Die Kriterien sind nicht vollständig erreicht, aber die Ursachen sind identifiziert und adressierbar. Ein gezielt nachgeschobener Pilot-Abschnitt (vier bis acht Wochen) mit klar definierten Verbesserungsmaßnahmen und einem neuen Entscheidungstermin.

Die Entscheidung gehört in ein Gremium, das sie auch tragen kann — in den meisten Mittelstandsunternehmen ist das ein kleiner Steuerkreis aus Geschäftsführung, Bereichsleitung, IT und Datenschutz.

Kommunikation gegenüber Board und Stakeholdern

Einige Formate, die sich in der Berichterstattung an Aufsichtsrat, Beirat oder größere Führungsrunden bewährt haben:

• One-Pager pro Use Case. Ziel, Baseline, aktueller Stand, nächster Meilenstein, Entscheidungsbedarf. Ein Blatt.
• Portfolio-Überblick. Eine Folie mit allen laufenden Piloten auf einer Wert-Aufwand-Matrix, Status-Ampel, erwarteter Entscheidungstermin.
• Quartalsweise Revision. Ein fester Termin, in dem das KI-Portfolio als Ganzes reflektiert wird — mit einer bewussten Entscheidung, welche Use Cases priorisiert werden und welche zurückgestellt.

Typische Fehler in der Steuerung

• Zu viele KPIs. Wer zwanzig Zahlen verfolgt, verfolgt keine. Drei bis fünf gut gewählte KPIs je Pilot sind wirksamer.
• Nur Lagging Indicators. Wer nur auf Durchlaufzeit und Fehlerquote schaut, merkt zu spät, wenn Adoption ausbleibt. Leading Indicators einführen.
• Keine Baseline. Ohne Vorher-Zahlen gibt es keine belastbare Wirkung. Die Verführung, direkt in den Pilotbetrieb zu starten, ist verständlich, kostet aber später Glaubwürdigkeit.
• Kein Review-Rhythmus. KPIs, die nicht wöchentlich oder zweiwöchentlich diskutiert werden, verkommen zu Zahlenfriedhöfen. Ein fester Termin mit klarer Runde ist die Grundlage jeder Steuerung.
• Schwankende Kriterien. Die Entscheidungskriterien für Stop-or-Scale werden während des Piloten erneut diskutiert und aufgeweicht. Das ist der schnellste Weg in die Zombie-Zone.

Kursabschluss

Sie haben jetzt einen Denkrahmen für KI-Investitionen auf Entscheidungsebene:

• Die Wirkung liegt auf drei Ebenen — Effizienz, Qualität, Fähigkeit — und nicht nur auf der Kostenseite.
• Priorisierung nach Wert, Aufwand und Risiko schafft Fokus im Portfolio.
• TCO umfasst sieben Blöcke, nicht nur Lizenz und Integration.
• Steuerungs-KPIs auf vier Ebenen, klare Baseline und eine bindende Stop-or-Scale-Entscheidung sichern die Lern- und Wirkungskurve.

Mit diesem Rahmen können Sie eigene Portfolios belastbar aufsetzen, Ihrer Organisation eine nachvollziehbare Roadmap geben und gegenüber Board und Finanz eine Sprache sprechen, die auch außerhalb des KI-Themas Bestand hat.

Die Abschlussprüfung wartet auf Sie.