> For the complete documentation index, see [llms.txt](https://docs.epic-ai.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.epic-ai.com/best-practice/umstieg-auf-das-neue-nlu-modell-erkennung-prufen-und-verbessern.md).

# Umstieg auf das neue NLU-Modell: Erkennung prüfen und verbessern

Ein pragmatischer Leitfaden für bestehende AI Agents

### Worum es geht

Bisher hast du deinem <code class="expression">space.vars.TERM\_AI\_AGENT</code> neue Beispiele beigebracht, indem du unter *Daten → Modelle* ein Training gestartet hast. Mit dem neuen NLU-Modell entfällt das: Änderungen an Intentionen und Beispielen gelten sofort. Dazu bekommst du im Bereich [NLU](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/nlu.md) neue Werkzeuge, die dir zeigen, wie gut dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> versteht.

Die Umstellung startest du selbst. Drei Gründe sprechen dafür:

* **Kein Training mehr:** Neue Beispiele wirken sofort, ohne Wartezeit.
* **Du siehst, was im Alltag passiert:** Das [Monitoring](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/nlu/monitoring.md) zeigt dir, wie sicher dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> bei echten Anfragen ist und ob sich die Sprache deiner Nutzer verändert.
* **Lücken werden sichtbar:** Die [Analyse](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/nlu/analyse.md) findet Beispiele, die sich widersprechen oder überschneiden. Das [Clustering](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/nlu/clustering.md) zeigt dir Themen, für die es noch keine Intention gibt.

{% hint style="info" %}
**Beachte:** Dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> arbeitet so lange mit dem bisherigen Modell weiter, bis du die Umstellung startest. Wir stellen nichts automatisch um. Deshalb zeigt dein Dashboard den Hinweis *Neues NLU-Modell verfügbar*: Das ist erwartet, kein Fehler.

Wurde dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> von Anfang an mit dem neuen Modell angelegt, musst du nichts tun.
{% endhint %}

{% hint style="info" %}
Begriffe wie Intention, Beispiel oder Konfidenz sind unter [Begriffe kurz erklärt](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/nlu.md#begriffe-kurz-erklart) zusammengefasst.
{% endhint %}

***

### Das Grundprinzip: erst prüfen, dann umbauen

Nach der Umstellung zeigt dir die Analyse vermutlich einiges, was du verbessern kannst. Die Versuchung ist groß, sofort alles aufzuräumen. Warte damit besser noch ein paar Tage.

Der Grund: Innerhalb von 30 Tagen kannst du zum bisherigen Modell zurückkehren. Dabei geht aber alles verloren, was du in der Zwischenzeit geändert hast. Teile die ersten Wochen deshalb in zwei Abschnitte:

| Abschnitt | Wann                                | Was du tust                                                                                                                 |
| --------- | ----------------------------------- | --------------------------------------------------------------------------------------------------------------------------- |
| Prüfen    | In den ersten Tagen                 | Testen, ob dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> gut versteht, und offensichtliche Fehler beheben |
| Umbauen   | Sobald du beim neuen Modell bleibst | Intentionen zusammenführen oder neu aufteilen, neue Intentionen aus Clustern anlegen                                        |

So verlierst du im Fall der Fälle höchstens ein paar kleine Korrekturen.

***

### Umstellung Schritt für Schritt

{% stepper %}
{% step %}

#### Ausgangslage festhalten

Notiere dir vor dem Start, wie gut dein bisheriges Modell abschneidet. In der [Auswertung](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/daten/modelle/auswertung.md) deines letzten Modells unter *Daten → Modelle* findest du den F1-Score und die Intentionen, die am schlechtesten erkannt werden. Die Zahlen lassen sich mit dem neuen Modell nicht eins zu eins vergleichen. Sie zeigen dir aber, wo du später genauer hinschauen solltest.

Sammle außerdem fünf bis zehn typische Anfragen deiner Nutzer, zum Beispiel aus der [Inbox](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/inbox.md). Mit ihnen testest du nach der Umstellung.
{% endstep %}

{% step %}

#### Passenden Zeitpunkt wählen

Dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> bleibt während der Umstellung erreichbar. Wähle trotzdem einen Zeitpunkt, an dem keine größeren Änderungen anstehen. Schließe angefangene Änderungen an Intentionen, Beispielen und FAQs ab und sag allen Bescheid, die an deinem <code class="expression">space.vars.TERM\_AI\_AGENT</code> mitarbeiten. Solange die Umstellung läuft, sollte niemand etwas daran ändern.
{% endstep %}

{% step %}

#### Umstellung starten

Navigiere zu *NLU → Übersicht* und klicke auf *Jetzt aktivieren*. Je nach Anzahl der Beispiele dauert das wenige Sekunden bis mehrere Stunden. Alles Weitere steht unter [Übersicht](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/nlu/ubersicht.md).
{% endstep %}

{% step %}

#### Ergebnis kontrollieren

Prüfe auf der Übersicht, wie viele Beispiele übernommen und wie viele übersprungen wurden. Übersprungen werden Sätze, die bisher doppelt bei mehreren Intentionen standen. Das ist ein erster Hinweis auf Intentionen, die sich überschneiden.
{% endstep %}

{% step %}

#### Erkennung testen

Gib deine gesammelten Anfragen in die Intentions-Simulation im [Monitoring](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/nlu/monitoring.md) ein. Erkennt dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> jedes Mal die richtige Intention? Spricht er mehrere Sprachen, teste jede davon.
{% endstep %}

{% step %}

#### Neue Version bereitstellen

Versionen, die noch mit dem bisherigen Modell erstellt wurden, kannst du nach der Umstellung nicht mehr bereitstellen. Erstelle deshalb eine neue [Version](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/versionen-and-bereitstellungsumgebungen.md). Du erkennst sie an der Angabe *v2* in der Spalte *NLU-Engine*. Stelle sie zuerst in der Testumgebung bereit, teste sie auf deinen Kanälen und stelle sie danach in der Produktivumgebung bereit.
{% endstep %}

{% step %}

#### Beobachten und entscheiden

Schau in den ersten Wochen regelmäßig ins Monitoring, vor allem auf *Konfidenz* und *Zugeordnete Anfragen*. Entscheide möglichst früh und vor Ablauf der 30 Tage, ob du beim neuen Modell bleibst.
{% endstep %}
{% endstepper %}

***

### Nach der Umstellung: in dieser Reihenfolge verbessern

Beim ersten Öffnen zeigt dir die [Analyse](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/nlu/analyse.md) vielleicht viele Punkte auf einmal. Geh sie in dieser Reihenfolge an, dann bringt jeder Schritt am meisten:

| Schritt | Bereich                                                                                             | Warum                                                      | Was du tust                                                  |
| ------- | --------------------------------------------------------------------------------------------------- | ---------------------------------------------------------- | ------------------------------------------------------------ |
| 1       | *Widersprüche*                                                                                      | Falsch einsortierte Beispiele führen zu falschen Antworten | Verschieben, bestätigen oder entfernen                       |
| 2       | *Überlappung*                                                                                       | Zwei Intentionen werden miteinander verwechselt            | Beispiele eindeutig zuordnen oder Intentionen zusammenführen |
| 3       | *Übersicht*                                                                                         | Manche Intentionen werden oft übersehen                    | Neue, unterschiedliche Beispiele ergänzen                    |
| 4       | *Beispiele*                                                                                         | Manche Intentionen haben zu wenige Beispiele               | Auf mindestens 20 Beispiele bringen                          |
| 5       | [Clustering](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/nlu/clustering.md) | Es gibt Themen ohne Intention                              | Zuordnen oder neue Intention anlegen                         |

{% hint style="info" %}
Nach jeder Änderung rechnet die Analyse ihre Zahlen neu, das dauert bis zu 15 Minuten. Bewerte das Ergebnis erst, wenn der Hinweis dazu verschwunden ist.
{% endhint %}

***

### Woran du gute Beispiele erkennst

Diese Richtwerte helfen dir einzuschätzen, wo dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> steht. Unterhalb dieser Werte markiert ihn auch die Analyse:

| Kennzahl                    | Richtwert            | Wo du sie findest          |
| --------------------------- | -------------------- | -------------------------- |
| Beispiele pro Intention     | mindestens 20 bis 30 | Analyse → Beispiele        |
| Diversität                  | über 40 %            | Analyse → Beispiele        |
| Health Score                | über 60 %            | Analyse → Beispiele        |
| F1-Score je Intention       | über 85 %            | Analyse → Konfusionsmatrix |
| Durchschnittliche Konfidenz | über 70 %            | Monitoring → Konzeptdrift  |

***

### Gute und weniger gute Beispiele

Am Beispiel einer Intention *Bestellung verfolgen*:

:white\_check\_mark: **Empfohlen**

„Wo ist mein Paket?“

„Wann kommt meine Bestellung bei mir an?“

„Ich warte seit einer Woche auf meine Lieferung.“

„Die Sendung hängt laut Tracking seit Tagen im Verteilzentrum.“

„paket immer noch nicht da“

→ kurz und lang, förmlich und locker, mit und ohne Tippfehler, so wie echte Personen schreiben

**❌ Nicht empfohlen**

„Wo ist mein Paket?“, „Wo ist mein Paket bitte?“, „Wo ist denn mein Paket?“\
→ fast gleich formuliert, dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> lernt daraus kaum etwas Neues

„Bestellung verfolgen“\
→ ein Stichwort statt eines Satzes, den eine Person wirklich schreiben würde

„Wo ist mein Paket und wie kann ich es zurückschicken?“\
→ zwei Anliegen in einem Satz, die zu zwei verschiedenen Intentionen gehören

Derselbe Satz bei *Bestellung verfolgen* und bei *Lieferstatus*\
→ dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> kann nicht wissen, welche Intention gemeint ist

***

### Checkliste für die Umstellung

* [ ] Werte des bisherigen Modells unter *Daten → Modelle* notiert
* [ ] Fünf bis zehn typische Anfragen zum Testen gesammelt
* [ ] Angefangene Änderungen an Intentionen, Beispielen und FAQs abgeschlossen
* [ ] Alle Beteiligten über die Umstellung informiert
* [ ] Umstellung gestartet, Status *Aktiviert*
* [ ] Übernommene und übersprungene Beispiele kontrolliert
* [ ] Testanfragen in der Intentions-Simulation geprüft, bei mehreren Sprachen in jeder Sprache
* [ ] Widersprüche aufgelöst
* [ ] Starke Überlappungen geprüft
* [ ] Neue Version erstellt und in Test und Produktiv bereitgestellt
* [ ] Monitoring in den ersten Wochen regelmäßig angesehen
* [ ] Innerhalb von 30 Tagen entschieden, ob du beim neuen Modell bleibst

***

### Häufige Stolpersteine

**Zu früh zu viel umbauen.** Kehrst du zum bisherigen Modell zurück, gehen alle Änderungen seit der Umstellung verloren. Größere Umbauten deshalb erst, wenn du dich entschieden hast.

**Eine alte Version bereitstellen wollen.** Versionen mit *v1* lassen sich nach der Umstellung nicht mehr bereitstellen. Erstelle eine neue Version.

**Ähnlich heißt nicht verwechselt.** Zwei Intentionen können sich ähneln und trotzdem im Alltag sauber getrennt werden. Entscheidend ist die Spalte *Verwechslung*.

**„Nicht kalibriert“ für einen Fehler halten.** Gerade bei kleineren oder neuen <code class="expression">space.vars.TERM\_AI\_AGENT</code>s ist das normal. Die Konfidenz ist dann nur innerhalb deines <code class="expression">space.vars.TERM\_AI\_AGENT</code>s vergleichbar.

**Prozent und Prozentpunkte verwechseln.** „+2 %-Punkte“ neben 90 % heißt: von 88 % auf 90 % gestiegen, nicht um 2 % von 90.

**Zu früh bewerten.** Direkt nach einer Änderung zeigen Analyse und Simulation für einige Minuten noch den vorherigen Stand.

**Die Hürde der generativen KI übersehen.** Ist die generative KI eingeschaltet, wählt dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> eine Intention erst ab 90 % Konfidenz. Darunter antwortet die generative KI. Liegen wichtige Intentionen oft knapp darunter, helfen zusätzliche Beispiele am meisten.

**Eine Sprache ohne Beispiele.** Spricht dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> mehrere Sprachen, braucht jede Sprache eigene Beispiele. Sonst erkennt er Anliegen in dieser Sprache deutlich schlechter.

***

### Und danach

Läuft das neue Modell, hilft eine feste Routine, damit dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> auch dann gut versteht, wenn sich die Sprache deiner Nutzer verändert:

| Wann                       | Was                                                                                    | Wo                  |
| -------------------------- | -------------------------------------------------------------------------------------- | ------------------- |
| Nach jeder Änderung        | Kurz warten, Ergebnis mit der vorherigen Version vergleichen, wichtige Anfragen testen | Analyse, Monitoring |
| Jede Woche                 | Neue Cluster ansehen, Widersprüche auflösen                                            | Clustering, Analyse |
| Jeden Monat                | Konzeptdrift und schwächer werdende Intentionen prüfen                                 | Monitoring, Analyse |
| Vor jeder Veröffentlichung | Version in der Testumgebung testen                                                     | Versionen           |

Bekommt dein <code class="expression">space.vars.TERM\_AI\_AGENT</code> sehr viele Anfragen, lohnt sich ein kürzerer Rhythmus.
