Vor der Autopsie

Die 3×3-Regel

Neun Ja-oder-Nein-Prüfungen, ob KI hier Mehrwert schafft oder ob gerade eine Demo gebaut wird. In dieser Prüfung steckt kein Modell. Gezählt wird. Das ist die Methode.

Wenn du Problem, Nutzer und Ergebnis nicht klar beantworten kannst, ist es noch nicht Zeit für KI. Beschreibe zuerst den Fall.

Den Fall beschreiben

Benenne den Schmerz, wen er trifft und woran du den Erfolg erkennst. Die ersten drei sind die Weiche. Die Ja/Nein-Zählung darunter ersetzt sie nicht.

Die neun Prüfungen

Ja oder nein. 7–9 Ja: ein guter Kandidat. 4–6: ein begrenzter Pilot. 0–3: noch keine KI.

1

Gibt es verstreuten Text oder verstreute Informationen, die man verstehen muss?

Suchen, zusammenfassen, klassifizieren, extrahieren, entwerfen. Klare Regeln und wenig Mehrdeutigkeit sind eine Aufgabe für Regeln.

2

Ändert sich das Wissen häufig?

Wenn es sich oft ändert, hält ein Abruf (RAG) die Antworten aktuell. Wenn es statisch ist, bleibt eine Vorlage oder eine Regel länger richtig.

3

Kommt die Aufgabe viele Male pro Woche vor?

Bei hoher Wiederholung rechnet sich der Aufwand eines Modells. Eine seltene Aufgabe bringt wenig.

4

Haben wir gepflegte, nachvollziehbare Daten?

Ziel sind 20–50 passende Einträge, mit Datum oder Version und einer einheitlichen Form. Wenn nicht, bereite sie vor, bevor du baust.

5

Können wir Zeit, Fehler oder die Kundenzufriedenheit (CSAT) messen?

Eine oder zwei einfache Kennzahlen, mit dem Fachbereich abgestimmt. Ohne Kennzahl keine Verbesserung.

6

Ist ein Fehler wiedergutzumachen?

Wiedergutzumachende Fehler kann ein Mensch prüfen. Wo kein Fehler erlaubt ist, braucht es einen Menschen in der Schleife oder kein generatives Modell.

7

Ist die Entscheidung umkehrbar?

Unumkehrbare oder teure Folgen brauchen eine Freigabe. Umkehrbare, günstige Entscheidungen können eigenständiger laufen.

8

Ist eine Antwortzeit von wenigen Sekunden in Ordnung?

Ein Modellaufruf passt nur, wenn ein paar Sekunden reichen.

9

Liegen die Kosten pro Nutzung unter der geschätzten Ersparnis?

Hohe Kosten und geringe Ersparnis lohnen sich nicht. Niedrige Kosten und hohe Ersparnis schon.

Zwei Weichen

Sie stehen außerhalb der neun. Eine Regel, die schon funktioniert, schlägt ein Modell. Bei Geld oder Recht entscheidet ein Mensch.

Lässt sich das mit einer klaren Regel oder einer kleinen Prozessänderung lösen?

Wenn ja, nimm die Regel. Diese Weiche steht außerhalb der neun Fragen, und sie gewinnt.

Ist die Auswirkung hoch — Geld, Recht oder schwer rückgängig zu machen?

Hohe Auswirkung heißt: Ein Mensch gibt frei, bevor etwas gesendet oder festgeschrieben wird.

So liest du die Latte

Wann KI Mehrwert schafft und wann nicht

Sie schafft Mehrwert, wenn sie …

  • Sie senkt den Zeitaufwand oder die Fehler in der Informationsarbeit: suchen, zusammenfassen, klassifizieren, extrahieren, entwerfen.
  • Sie gibt eine klare Antwort genau an der Stelle im Ablauf, an der sie gebraucht wird.
  • Sie unterstützt eine operative Entscheidung mit relevanten, verständlichen Informationen.
  • Man kann sie mit ein oder zwei einfachen Kennzahlen messen, die mit dem Fachbereich vereinbart sind.

Sie schafft keinen Mehrwert, wenn …

  • Eine einfache Regel oder eine kleine Prozessänderung löst es schon.
  • Es gibt keine verlässlichen Daten, und sie lassen sich nicht bald vorbereiten.
  • Ein Fehler ist teuer, und niemand prüft das Ergebnis.
  • Es gibt keine Erfolgskennzahl oder keine verantwortliche Person für das Ergebnis.
Entscheidungsbasis — das Minimum
  • Fall und Kennzahl. Ein Fall, ein oder zwei Kennzahlen. Ohne Kennzahl keine Verbesserung.
  • Gepflegte Daten. 20–50 passende Einträge, mit Datum oder Version und einer einheitlichen Form.
  • Leitplanken. Klare Grenzen für Inhalt und Handlungen. Ein Mensch prüft, wo Fehler teuer sind.
  • Einfachheit. Eine klare Oberfläche und weniger Schritte. Das ist es, was genutzt wird.
  • Beobachtbarkeit. Protokolliere Nutzung, Kosten, Latenz und Qualität, damit die nächste Änderung auf Belegen beruht.

Wenn sie die Latte verfehlt, ist das kein hartes Nein. Es ist ein Noch-nicht. Liefern, nachschärfen oder pausieren.

Stufen: Luxus, nützlich, notwendig
  • Luxus. Kann. Ein Gestaltungs- oder Komfortgewinn ohne klare Wirkung auf Zeit, Fehler oder Nachfrage. Keine Priorität.
  • Nützlich. Sollte. Sie spart Zeit oder senkt Fehler, und der Prozess kommt auch ohne sie aus.
  • Notwendig. Muss. Ohne sie skaliert der Prozess nicht, oder er verfehlt das Servicelevel.
Was tatsächlich entscheidet
Komplexität der Information
Niedrig, mit klaren Regeln: Regeln gewinnen. Mittel oder hoch, mit natürlicher Sprache und mehreren Quellen: Ein Modell kann helfen.
Veränderlichkeit des Wissens
Statisches Wissen gehört in eine Vorlage. Wissen, das sich ändert, gehört in einen Abruf (RAG).
Maßstab und Häufigkeit
Wenig Nachfrage, geringer Nutzen. Hohe Wiederholung ist der Punkt, an dem sich die Kosten rechnen.
Fehlertoleranz
Null Fehler heißt: ein Mensch in der Schleife, oder kein generatives Modell. Wiedergutzumachende Fehler können ein Assistent plus Prüfung sein.
Umkehrbarkeit der Entscheidung
Unumkehrbar oder teuer: mehr Kontrolle und eine Freigabe. Umkehrbar und günstig: mehr Eigenständigkeit.
Datenreife
Unvollständige Daten werden zuerst gepflegt. Gepflegte, nachvollziehbare Daten sind der Ort, an dem ein Modell sich benimmt.
Messbarkeit
Keine Kennzahl ist Innovationstheater. Eine klare Kennzahl ist eine Entscheidung auf Belegen.
Relative Kosten
Hohe Kosten pro Nutzung und geringe Ersparnis lohnen sich nicht. Niedrige Kosten und hohe Ersparnis schon.
Koordination und kognitive Last
Hohe Reibung zwischen Teams und Systemen ist der Ort, an dem Zusammenfassungen, Suche und Vereinheitlichung helfen. Wenig Reibung bringt wenig Nutzen.
Der Entscheidungsbaum
  1. Lässt es sich mit Regeln lösen? Nimm Regeln.
  2. Geht es um Text oder Informationen — suchen, zusammenfassen, klassifizieren, extrahieren, entwerfen? Dann kann ein Modell helfen.
  3. Ändert sich das Wissen häufig? Nutze einen Abruf (RAG), damit es aktuell bleibt.
  4. Hohe Auswirkung, Geld oder Recht? Ein Mensch gibt frei.
  5. Kannst du die Veränderung messen? Wenn nicht, lege zuerst die Kennzahl fest.

Weniger Magie, mehr Methode: ein klares Problem, eine einfache Kennzahl, bereite Daten, festgelegte Grenzen und stetige Verbesserung. Wenn das nicht steht, setze noch keine KI ein.