Umstieg auf das neue NLU-Modell: Erkennung prüfen und verbessern
Ein pragmatischer Leitfaden für bestehende AI Agents
Worum es geht
Bisher hast du deinem AI Agent neue Beispiele beigebracht, indem du unter Daten → Modelle ein Training gestartet hast. Mit dem neuen NLU-Modell entfällt das: Änderungen an Intentionen und Beispielen gelten sofort. Dazu bekommst du im Bereich NLU neue Werkzeuge, die dir zeigen, wie gut dein AI Agent versteht.
Die Umstellung startest du selbst. Drei Gründe sprechen dafür:
Kein Training mehr: Neue Beispiele wirken sofort, ohne Wartezeit.
Du siehst, was im Alltag passiert: Das Monitoring zeigt dir, wie sicher dein AI Agent bei echten Anfragen ist und ob sich die Sprache deiner Nutzer verändert.
Lücken werden sichtbar: Die Analyse findet Beispiele, die sich widersprechen oder überschneiden. Das Clustering zeigt dir Themen, für die es noch keine Intention gibt.
Das Grundprinzip: erst prüfen, dann umbauen
Nach der Umstellung zeigt dir die Analyse vermutlich einiges, was du verbessern kannst. Die Versuchung ist groß, sofort alles aufzuräumen. Warte damit besser noch ein paar Tage.
Der Grund: Innerhalb von 30 Tagen kannst du zum bisherigen Modell zurückkehren. Dabei geht aber alles verloren, was du in der Zwischenzeit geändert hast. Teile die ersten Wochen deshalb in zwei Abschnitte:
Prüfen
In den ersten Tagen
Testen, ob dein AI Agent gut versteht, und offensichtliche Fehler beheben
Umbauen
Sobald du beim neuen Modell bleibst
Intentionen zusammenführen oder neu aufteilen, neue Intentionen aus Clustern anlegen
So verlierst du im Fall der Fälle höchstens ein paar kleine Korrekturen.
Umstellung Schritt für Schritt
Ausgangslage festhalten
Notiere dir vor dem Start, wie gut dein bisheriges Modell abschneidet. In der Auswertung deines letzten Modells unter Daten → Modelle findest du den F1-Score und die Intentionen, die am schlechtesten erkannt werden. Die Zahlen lassen sich mit dem neuen Modell nicht eins zu eins vergleichen. Sie zeigen dir aber, wo du später genauer hinschauen solltest.
Sammle außerdem fünf bis zehn typische Anfragen deiner Nutzer, zum Beispiel aus der Inbox. Mit ihnen testest du nach der Umstellung.
Passenden Zeitpunkt wählen
Dein AI Agent bleibt während der Umstellung erreichbar. Wähle trotzdem einen Zeitpunkt, an dem keine größeren Änderungen anstehen. Schließe angefangene Änderungen an Intentionen, Beispielen und FAQs ab und sag allen Bescheid, die an deinem AI Agent mitarbeiten. Solange die Umstellung läuft, sollte niemand etwas daran ändern.
Umstellung starten
Navigiere zu NLU → Übersicht und klicke auf Jetzt aktivieren. Je nach Anzahl der Beispiele dauert das wenige Sekunden bis mehrere Stunden. Alles Weitere steht unter Übersicht.
Erkennung testen
Gib deine gesammelten Anfragen in die Intentions-Simulation im Monitoring ein. Erkennt dein AI Agent jedes Mal die richtige Intention? Spricht er mehrere Sprachen, teste jede davon.
Neue Version bereitstellen
Versionen, die noch mit dem bisherigen Modell erstellt wurden, kannst du nach der Umstellung nicht mehr bereitstellen. Erstelle deshalb eine neue Version. Du erkennst sie an der Angabe v2 in der Spalte NLU-Engine. Stelle sie zuerst in der Testumgebung bereit, teste sie auf deinen Kanälen und stelle sie danach in der Produktivumgebung bereit.
Nach der Umstellung: in dieser Reihenfolge verbessern
Beim ersten Öffnen zeigt dir die Analyse vielleicht viele Punkte auf einmal. Geh sie in dieser Reihenfolge an, dann bringt jeder Schritt am meisten:
1
Widersprüche
Falsch einsortierte Beispiele führen zu falschen Antworten
Verschieben, bestätigen oder entfernen
2
Überlappung
Zwei Intentionen werden miteinander verwechselt
Beispiele eindeutig zuordnen oder Intentionen zusammenführen
3
Übersicht
Manche Intentionen werden oft übersehen
Neue, unterschiedliche Beispiele ergänzen
4
Beispiele
Manche Intentionen haben zu wenige Beispiele
Auf mindestens 20 Beispiele bringen
Woran du gute Beispiele erkennst
Diese Richtwerte helfen dir einzuschätzen, wo dein AI Agent steht. Unterhalb dieser Werte markiert ihn auch die Analyse:
Beispiele pro Intention
mindestens 20 bis 30
Analyse → Beispiele
Diversität
über 40 %
Analyse → Beispiele
Health Score
über 60 %
Analyse → Beispiele
F1-Score je Intention
über 85 %
Analyse → Konfusionsmatrix
Durchschnittliche Konfidenz
über 70 %
Monitoring → Konzeptdrift
Gute und weniger gute Beispiele
Am Beispiel einer Intention Bestellung verfolgen:
✅ Empfohlen
„Wo ist mein Paket?“
„Wann kommt meine Bestellung bei mir an?“
„Ich warte seit einer Woche auf meine Lieferung.“
„Die Sendung hängt laut Tracking seit Tagen im Verteilzentrum.“
„paket immer noch nicht da“
→ kurz und lang, förmlich und locker, mit und ohne Tippfehler, so wie echte Personen schreiben
❌ Nicht empfohlen
„Wo ist mein Paket?“, „Wo ist mein Paket bitte?“, „Wo ist denn mein Paket?“ → fast gleich formuliert, dein AI Agent lernt daraus kaum etwas Neues
„Bestellung verfolgen“ → ein Stichwort statt eines Satzes, den eine Person wirklich schreiben würde
„Wo ist mein Paket und wie kann ich es zurückschicken?“ → zwei Anliegen in einem Satz, die zu zwei verschiedenen Intentionen gehören
Derselbe Satz bei Bestellung verfolgen und bei Lieferstatus → dein AI Agent kann nicht wissen, welche Intention gemeint ist
Checkliste für die Umstellung
Häufige Stolpersteine
Zu früh zu viel umbauen. Kehrst du zum bisherigen Modell zurück, gehen alle Änderungen seit der Umstellung verloren. Größere Umbauten deshalb erst, wenn du dich entschieden hast.
Eine alte Version bereitstellen wollen. Versionen mit v1 lassen sich nach der Umstellung nicht mehr bereitstellen. Erstelle eine neue Version.
Ähnlich heißt nicht verwechselt. Zwei Intentionen können sich ähneln und trotzdem im Alltag sauber getrennt werden. Entscheidend ist die Spalte Verwechslung.
„Nicht kalibriert“ für einen Fehler halten. Gerade bei kleineren oder neuen AI Agents ist das normal. Die Konfidenz ist dann nur innerhalb deines AI Agents vergleichbar.
Prozent und Prozentpunkte verwechseln. „+2 %-Punkte“ neben 90 % heißt: von 88 % auf 90 % gestiegen, nicht um 2 % von 90.
Zu früh bewerten. Direkt nach einer Änderung zeigen Analyse und Simulation für einige Minuten noch den vorherigen Stand.
Die Hürde der generativen KI übersehen. Ist die generative KI eingeschaltet, wählt dein AI Agent eine Intention erst ab 90 % Konfidenz. Darunter antwortet die generative KI. Liegen wichtige Intentionen oft knapp darunter, helfen zusätzliche Beispiele am meisten.
Eine Sprache ohne Beispiele. Spricht dein AI Agent mehrere Sprachen, braucht jede Sprache eigene Beispiele. Sonst erkennt er Anliegen in dieser Sprache deutlich schlechter.
Und danach
Läuft das neue Modell, hilft eine feste Routine, damit dein AI Agent auch dann gut versteht, wenn sich die Sprache deiner Nutzer verändert:
Nach jeder Änderung
Kurz warten, Ergebnis mit der vorherigen Version vergleichen, wichtige Anfragen testen
Analyse, Monitoring
Jede Woche
Neue Cluster ansehen, Widersprüche auflösen
Clustering, Analyse
Jeden Monat
Konzeptdrift und schwächer werdende Intentionen prüfen
Monitoring, Analyse
Vor jeder Veröffentlichung
Version in der Testumgebung testen
Versionen
Bekommt dein AI Agent sehr viele Anfragen, lohnt sich ein kürzerer Rhythmus.
Last updated