> For the complete documentation index, see [llms.txt](https://docs.epic-ai.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.epic-ai.com/epic-ai-platform/epic-ai-platform/ai-agent/daten/modelle/auswertung.md). # Auswertung ### Wo finde ich das? 1. Navigiere zu `Optimierung → Modelle`. 2. Klicke in der Modellverlauf-Tabelle auf das gewünschte Modell. 3. Die Modell-Bewertung öffnet sich mit der Übersichtsseite. ### Erklärung – Was genau ist die Modell-Bewertung? Die Modell-Bewertung gibt dir einen detaillierten Einblick, wie zuverlässig dein space.vars.TERM\_AI-Modell arbeitet. Dabei werden die Erkennungsleistungen für Intentionen und Entitäten separat ausgewertet. Über den Filter **„Modelltyp"** kannst du zwischen der Auswertung für Intentionen und Entitäten wechseln. Die Bewertung ist in vier Bereiche (Tabs) unterteilt: * **Übersicht:** Zeigt die wichtigsten Kennzahlen auf einen Blick. * **Performance:** Listet die Erkennungsleistung für jede einzelne Intention bzw. Entität auf. * **Datenverteilung:** Zeigt, wie deine Trainingsdaten auf die einzelnen Intentionen bzw. Entitäten verteilt sind. * **Confusion Matrix:** Visualisiert, welche Intentionen bzw. Entitäten das Modell verwechselt. #### Die drei Kennzahlen verstehen In der Modell-Bewertung begegnen dir drei zentrale Kennzahlen. Alle drei Werte liegen zwischen 0 % und 100 % – je höher, desto besser. * **Precision (Präzision):** Gibt an, wie oft das Modell richtig liegt, wenn es eine bestimmte Intention oder Entität erkennt. Eine hohe Precision bedeutet: Wenn das Modell sagt „Das ist Intention X", dann stimmt das in den meisten Fällen auch. Einfach gesagt: Wie verlässlich sind die Treffer? * **Recall:** Gibt an, wie gut das Modell alle tatsächlichen Fälle einer Intention oder Entität findet. Ein hoher Recall bedeutet: Das Modell verpasst nur wenige relevante Eingaben. Einfach gesagt: Wie vollständig werden die Fälle erkannt? * **F1-Score:** Ist der Mittelwert aus Precision und Recall. Er fasst beide Werte in einer einzigen Kennzahl zusammen. Ein hoher F1-Score bedeutet, dass das Modell sowohl verlässlich als auch vollständig erkennt. Der F1-Score eignet sich daher am besten als Gesamtbewertung der Erkennungsqualität. ### Die vier Bereiche im Detail #### Übersicht Die Übersicht zeigt die drei Kennzahlen (F1-Score, Precision und Recall) als Diagramme für alle Intentionen bzw. Entitäten zusammengefasst. Du siehst hier auf einen Blick, wie gut dein Modell insgesamt abschneidet. Dieser Bereich eignet sich besonders, um nach einem Training schnell einzuschätzen, ob die Erkennungsqualität zufriedenstellend ist. #### Performance Der Performance-Tab zeigt eine detaillierte Tabelle mit den Erkennungswerten für jede einzelne Intention bzw. Entität. Für jeden Eintrag siehst du: * **Name:** Der Name der Intention bzw. Entität. * **F1:** Der F1-Score für diese Intention bzw. Entität. * **Precision:** Die Präzision für diese Intention bzw. Entität. * **Recall:** Der Recall für diese Intention bzw. Entität. * **TP (True Positives):** Anzahl der Fälle, die korrekt als diese Intention erkannt wurden. * **TN (True Negatives):** Anzahl der Fälle, die korrekt als eine andere Intention erkannt wurden. * **FP (False Positives):** Anzahl der Fälle, die fälschlicherweise als diese Intention erkannt wurden, obwohl sie einer anderen Intention zugehören. * **FN (False Negatives):** Anzahl der Fälle, die zu dieser Intention gehören, aber fälschlicherweise einer anderen zugeordnet wurden. Dieser Bereich hilft dir, gezielt die Intentionen oder Entitäten zu identifizieren, bei denen das Modell Schwächen zeigt. Intentionen mit niedrigen Werten sollten überarbeitet werden – z. B. durch zusätzliche [Trainingsbeispiele](/epic-ai-platform/epic-ai-platform/ai-agent/build/intentionen.md). #### Datenverteilung Der Datenverteilungs-Tab zeigt, wie viele Trainingsbeispiele pro Intention bzw. Entität vorhanden sind und wie diese auf Trainings- und Testdaten aufgeteilt wurden. Für jeden Eintrag siehst du: * **Name:** Der Name der Intention bzw. Entität. * **Training:** Anzahl der Beispiele, die für das Training verwendet wurden. * **Test:** Anzahl der Beispiele, die für die Evaluation verwendet wurden. * **Zusammen:** Gesamtanzahl der verfügbaren Beispiele. Am oberen Rand wird zusätzlich die Gesamtzahl der Trainings- und Testdaten mit prozentualem Anteil angezeigt. {% hint style="info" %} Eine ungleiche Verteilung der Trainingsdaten kann die Erkennungsqualität beeinflussen. Intentionen oder Entitäten mit sehr wenigen Beispielen werden tendenziell schlechter erkannt. {% endhint %} #### Confusion Matrix Die Confusion Matrix zeigt in einer Matrix-Darstellung, wie das Modell die einzelnen Intentionen bzw. Entitäten einander zuordnet. Sie macht sichtbar, welche Intentionen oder Entitäten das Modell miteinander verwechselt. So liest du die Matrix: Jede Zeile steht für die tatsächliche Intention, jede Spalte für die vom Modell vorhergesagte Intention. Ein Wert auf der Diagonale (z. B. grün hinterlegt) bedeutet, dass das Modell korrekt erkannt hat. Werte außerhalb der Diagonale (z. B. rot oder gelb hinterlegt) zeigen Verwechslungen an. Über den Filter **„Format"** kannst du zwischen zwei Darstellungen wechseln: * **Normalisiert:** Zeigt die Werte als Prozentangaben (0 bis 1). So siehst du den Anteil der korrekt bzw. falsch zugeordneten Fälle. * **Absolute Anzahl:** Zeigt die tatsächliche Anzahl der Fälle. So siehst du die konkreten Zahlen. {% hint style="info" %} Nutze die normalisierte Ansicht, um Verwechslungsmuster zu erkennen, und die absolute Ansicht, um die tatsächlichen Fallzahlen zu prüfen. {% endhint %} ### Best Practices * **F1-Score als Leitwert nutzen:** Der F1-Score gibt dir die zuverlässigste Gesamtbewertung. Achte darauf, dass er für deine wichtigsten Intentionen möglichst hoch ist. * **Schwache Intentionen gezielt verbessern:** Prüfe im Performance-Tab, welche Intentionen niedrige Werte haben. Häufig hilft es, zusätzliche und vielfältigere [Trainingsbeispiele](/epic-ai-platform/epic-ai-platform/ai-agent/build/intentionen.md) hinzuzufügen. * **Verwechslungen analysieren:** Wenn die Confusion Matrix zeigt, dass zwei Intentionen häufig verwechselt werden, sind ihre Trainingsbeispiele möglicherweise zu ähnlich. Überarbeite in diesem Fall die betroffenen Intentionen, damit sie sich klarer voneinander unterscheiden. * **Auf ausgewogene Datenverteilung achten:** Intentionen mit deutlich weniger Trainingsbeispielen werden oft schlechter erkannt. Versuche, die Anzahl der Beispiele pro Intention möglichst gleichmäßig zu halten. * **Beide Modelltypen prüfen:** Vergiss nicht, die Auswertung sowohl für Intentionen als auch für Entitäten zu kontrollieren. Wechsle dazu einfach über den Modelltyp-Filter.