Überwachung eines Assistenten
In diesem Abschnitt
Dieser Abschnitt erklärt die verschiedenen Überwachungsfunktionen für Assistenteninteraktionen.
Gesprächsverlauf
Der Gesprächsverlauf eines Assistenten ermöglicht es Ihnen, alle Interaktionen zwischen Endbenutzern und dem Assistenten zu überwachen.
Dieser Bereich ist zugänglich, indem Sie das Menü des Assistenten (die drei Punkte oben rechts auf der Karte) öffnen und Gesprächsverlauf auswählen.
Gesprächsarchiv
Beim Zugriff auf den Bereich können Sie die vollständige Liste der Gespräche innerhalb des angegebenen Zeitraums anzeigen.
Sie können Gespräche filtern nach:
- Benutzer-ID.
- Gesprächs-ID.
- Interaktionskanal.
Für jedes Gespräch werden angezeigt:
| Feld | Beschreibung |
|---|---|
| Startdatum und -uhrzeit des Gesprächs | — |
| Vom Assistenten an den Benutzer gesendete Nachrichten | — |
| Höflichkeitsantworten | Siehe Höflichkeitsantworten und Engagement-Nachrichten. Vom Assistenten an den Benutzer gesendet. |
| Beantwortete Fragen | Anzahl der Benutzerfragen, die eine Antwort erhalten haben (ohne Höflichkeitsantworten). |
| Interaktionskanal | — |
| Live-Chat-Operator | Siehe Live Chat. Operator, der während des Gesprächs eingegriffen hat. |
| Benutzerkontakt | Falls während der Interaktion über ein Formular angegeben (siehe Konversationsformulare). |
Analysieren eines einzelnen Gesprächs
Durch Auswahl der Option Chat öffnen können Sie das Gesprächstranskript anzeigen.
Oben sehen Sie die Gesprächs-ID und die Quelle, d. h. den Kanal.
Im Transkript befinden sich links in grau die Fragen des Benutzers; rechts in grün die Antworten des Assistenten.
Benutzerfragen
Je nach den vom Assistenten verwendeten Funktionen kann die Benutzerfrage bestimmte Informationen anzeigen.
Wissensdatenbank
Wenn die Antwort des Assistenten aus der Wissensdatenbank stammt (siehe Wissensdatenbank), zeigt das Info-Symbol den Namen des gewinnenden Intents an.
Umformulierte Frage
Wenn die Funktion Frageumformulierung basierend auf Gesprächskontext aktivieren aktiv ist (siehe AI Gen für die Wissensdatenbank), wird die Benutzerfrage durch ihre umformulierte Version ersetzt, und das Info-Symbol zeigt die ursprüngliche Frage an.
In diesem Fall zeigt das Info-Symbol, selbst wenn die Antwort aus der Wissensdatenbank stammt, die ursprüngliche Frage des Benutzers an.
Übersetzte Frage
Wenn die Funktion Mehrsprachigkeit aktiv ist, wird die Benutzerfrage durch ihre übersetzte Version in der Basissprache des Assistenten ersetzt (siehe Erstellung eines Assistenten), und das Übersetzungssymbol zeigt die ursprüngliche Frage an.
Assistentenantworten
Je nach den vom Assistenten verwendeten Funktionen können seine Antworten bestimmte Informationen anzeigen.
Antworttyp
Je nach Antworttyp wird ein Code angezeigt:
| Code | Bedeutung |
|---|---|
| WM | Begrüßungsnachricht (siehe Allgemeine Assistenteneinstellungen). |
| QA | Antwort aus der Wissensdatenbank. |
| QB | Höflichkeitsantwort. |
| QG | Über AI Gen generierte Antwort (siehe AI Gen für die Wissensdatenbank). |
Wenn die generierte Antwort aus der Wissensdatenbank stammt, wird der QA-Code verwendet.
- SDA entspricht einer Antwort von Smart Document Access (siehe Smart Document Access).
- FORM entspricht einer Antwort oder Frage aus einem Formular (siehe Konversationsformulare).
Übersetzte Antwort
Wenn die Funktion Mehrsprachigkeit aktiv ist, zeigt das Übersetzungssymbol die tatsächliche Antwort an, die dem Benutzer gegeben wurde.
Smart Document Access
Wenn die Antwort von Smart Document Access stammt, ist darunter die Option Dokumente anzeigen verfügbar.
Wenn ausgewählt, werden die zur Generierung der Antwort verwendeten Dokumente angezeigt.
Wenn die Funktion Die Option 'Dokumente anzeigen' nach der Antwort nicht anzeigen aktiv ist, wird angezeigt, dass Dokumente während der tatsächlichen Interaktion ausgeblendet wurden.
Reinforcement
Der Bereich Reinforcement ermöglicht es Ihnen, alle vom Assistenten bearbeiteten Fragen und Antworten anzuzeigen.
Der Bereich ist zugänglich, indem Sie das Menü des Assistenten auswählen und dann Reinforcement auswählen.
Unbeantwortete Fragen
In diesem Bereich finden Sie die vollständige Liste der unbeantworteten Fragen.
Für jede unbeantwortete Frage können Sie Folgendes anzeigen:
| Feld |
|---|
| Benutzerfrage |
| Datum und Uhrzeit |
| Vollständiges Gespräch |
Zum Beispiel hat ein Benutzer den Assistenten gefragt „Stimmt es, dass du Tore schießen kannst?“, aber der Assistent konnte nicht antworten.
Der Assistent hat möglicherweise aus zwei Gründen nicht geantwortet:
- Es gibt keinen passenden Intent in der Wissensdatenbank;
- Der Intent ist in der Wissensdatenbank vorhanden, aber der Algorithmus konnte ihn basierend auf der erhaltenen Eingabe nicht erkennen.
Disambiguierungen
In diesem Bereich finden Sie die vollständige Liste der Disambiguierungen.
Für jede Disambiguierung können Sie Folgendes anzeigen:
| Feld |
|---|
| Benutzerfrage |
| Ausgewählte Option |
| Antwort entsprechend der ausgewählten Option |
| Datum und Uhrzeit |
| Vollständiges Gespräch |
Positiv bewertete Antworten
In diesem Bereich finden Sie die Liste der Assistentenantworten, die von Benutzern positiv bewertet wurden.
Für jede positive Bewertung können Sie Folgendes anzeigen:
| Feld |
|---|
| Benutzerfrage |
| Assistentenantwort |
| Datum und Uhrzeit |
| Vollständiges Gespräch |
Benutzerbewertungen sind nur verfügbar, wenn die Option Bewertung aktivieren in Parameter und Reinforcement aktiv ist.
Negativ bewertete Antworten
In diesem Bereich finden Sie die Liste der Assistentenantworten, die von Benutzern negativ bewertet wurden.
Für jede negative Bewertung können Sie Folgendes anzeigen:
| Feld |
|---|
| Benutzerfrage |
| Assistentenantwort |
| Ausgewählte Option (erfordert die Funktion Vorschläge anzeigen in Parameter und Reinforcement) |
| Datum und Uhrzeit |
| Vollständiges Gespräch |
Benutzerbewertungen sind nur verfügbar, wenn die Option Bewertung aktivieren in Parameter und Reinforcement aktiv ist.
SDA
In diesem Bereich finden Sie die Liste aller Benutzerfragen, die eine Antwort aus der Dokumentation von Smart Document Access erhalten haben (siehe Verbinden eines Assistenten mit der Dokumentation).
Für jede Frage können Sie Folgendes anzeigen:
| Feld |
|---|
| Benutzerfrage |
| Assistentenantwort |
| Link zum Dokument |
| Datum und Uhrzeit |
| Vollständiges Gespräch |
AI Gen
In diesem Bereich finden Sie die Liste aller Benutzerfragen, die eine Antwort von AI Gen erhalten haben (siehe AI Gen für die Wissensdatenbank).
Für jede Frage können Sie Folgendes anzeigen:
| Feld |
|---|
| Benutzerfrage |
| Assistentenantwort |
| Datum und Uhrzeit |
| Vollständiges Gespräch |
Hinzufügen eines Elements zur Wissensdatenbank
Alle Bereiche von Reinforcement ermöglichen es Ihnen, die Benutzerfrage (und eine eventuell generierte Antwort) zur Wissensdatenbank des Assistenten hinzuzufügen, indem Sie die Option Hinzufügen auswählen.
Die Benutzerfrage kann einem vorhandenen Intent zugewiesen werden, der aus der Liste auswählbar ist.
Alternativ können Sie einen neuen Intent erstellen, dem die Benutzerfrage bereits zugewiesen ist.
In beiden Fällen kann die Benutzerfrage geändert und verbessert werden, sobald sie zur Wissensdatenbank hinzugefügt wurde (siehe Intent).
Statistiken
Der Bereich Statistiken, zugänglich über das linke Menü, ermöglicht es Ihnen, Daten zur Überwachung und Analyse der Leistung des virtuellen Assistenten anzuzeigen.
In diesem Bereich können Sie Folgendes anzeigen:
- Die Leistung des Assistenten.
- Die Leistung von Webservice-Aufrufen, die von dem/den Assistenten durchgeführt wurden.
Webservice-Aufrufe
Dieser Bereich ermöglicht es Ihnen, statistische Daten zu Webservice-Aufrufen anzuzeigen, die vom ausgewählten Assistenten durchgeführt wurden, falls vorhanden.
Durch Auswahl des Kalendersymbols oben rechts können Sie den Zeitraum definieren, für den Sie Statistiken anzeigen möchten. Der Standardzeitraum beträgt einen Monat ab dem heutigen Datum.
Sie können die Suche mit Filtern verfeinern für:
- Assistententyp.
- Status.
Assistenten
Für jeden Assistenten können Sie über die Symbole auf der rechten Seite auf Folgendes zugreifen:
| Bereich | Inhalt |
|---|---|
| Gespräche | Daten zur Leistung des Assistenten bei der Interaktion mit den Benutzern. |
| Emotionen | Statistiken zu den vom virtuellen Assistenten erkannten Emotionen. |
| Aufmerksamkeitsniveau | Statistiken zum vom virtuellen Assistenten erkannten Aufmerksamkeitsniveau. |
| Fragen | Ranking der häufigsten Anfragen, die eine Antwort vom virtuellen Assistenten erhalten haben. |
Die Bereiche Emotionen und Aufmerksamkeit sind nur für freigeschaltete Konten verfügbar.
Gespräche
Allgemeine Statistiken
Dieser Bereich bietet eine allgemeine Zusammenfassung der Leistung des virtuellen Assistenten. Die angezeigten Daten sind:
| Metrik | Beschreibung |
|---|---|
| Gespräche | Anzahl der Gespräche. |
| Nachrichten | Anzahl der ausgetauschten Nachrichten. |
| Unbeantwortet | Anzahl der Fragen, die der Assistent nicht beantworten konnte. |
| Disambiguierungen | Anzahl der Male, in denen der Assistent mit einer Disambiguierung geantwortet hat. |
| Gesprächstiefe | Durchschnittliche Anzahl der pro Gespräch ausgetauschten Nachrichten. |
| Durchschnittliche Gesprächsdauer | — |
| Gesamte Gesprächsdauer | — |
| Antwortgeschwindigkeit | Durchschnittliche Antwortgeschwindigkeit. |
Gesprächstrend
Dieser Bereich bietet einen Überblick über zeitliche Trends in Bezug auf Gespräche, die vom virtuellen Assistenten bearbeitet wurden. Sie können die Datenverteilung nach Zeit und Tag filtern.
Antworttyp
In diesem Bereich werden die Antworten des Assistenten in verschiedene Kategorien eingeteilt, wie korrekte Antworten, Höflichkeitsantworten und Disambiguierungen. Sie können die Verteilung dieser Antworten nach Zeit, nach Tag filtern und auch Gesamtsummen anzeigen.
Interaktionstyp
Dieser Bereich beschreibt die verschiedenen Interaktionsformen des Assistenten, einschließlich Formulare, Engagement und Fragen. Die Verteilung dieser Interaktionen kann nach verschiedenen Parametern wie Zeit und Tag gefiltert werden, und es können auch Gesamtsummen angezeigt werden.
Einzigartige Benutzer pro Kanal
Dieser Bereich listet die Anzahl der verschiedenen Benutzer auf, die mit dem Assistenten interagiert haben, aufgeschlüsselt nach Kommunikationskanal (z. B. Web, Social usw.).
Formulare
Dieser Bereich enthält Daten zu Formularen, die von Benutzern während der Interaktion mit dem Assistenten ausgefüllt wurden. Formulare werden klassifiziert als abgeschlossen, fehlgeschlagen, unvollständig und unterbrochen.
Eingabetyp
In diesem Bereich werden die verschiedenen Eingabetypen katalogisiert, die der Assistent erhalten hat, einschließlich Tastatur, Klick, Engagement und Spracheingabe.
Unbekannte Eingabe bezieht sich auf Facebook-, WhatsApp- und Telegram-Kanäle.
Die Verteilung solcher Eingaben kann nach Zeit und Tag gefiltert werden, und es gibt auch die Möglichkeit, Gesamtsummen anzuzeigen.
Öffnungen nach Domain
In diesem Bereich werden neue Gesprächseröffnungen aufgelistet, kategorisiert nach Quelldomain (z. B. Unternehmenswebsite, App usw.).
Wenn der Assistent in eine einzige Domain integriert ist, zeigt das Diagramm nur ein Segment.
Öffnungen nach Typ
Hier finden Sie Daten zu neuen Gesprächseröffnungen, aufgeschlüsselt nach Eröffnungstyp.
Die Eröffnungstypen sind:
| Typ |
|---|
| Textgespräch |
| Sprach- und Textgespräch |
| Gespräch mit Digital Human |
Live-Chat-Nachrichten
Dieser Bereich enthält Statistiken zu Nachrichten, die im Live-Chat-Modus ausgetauscht wurden, einschließlich der Anzahl der gesendeten und empfangenen Nachrichten.
Live-Chat-Aktionen
In diesem Teil werden die Aktionen aufgeführt, die während Live-Chat-Sitzungen durchgeführt wurden.
Verbrauchsdashboard
Das Dashboard ermöglicht es Ihnen, den Status der Verbrauchseinheiten Ihres Kontos zu überwachen.
Textuell
Der Zähler für Textgespräche gibt die Anzahl der Gespräche an, in denen mindestens einmal eine Textinteraktion (d. h. über Tastatur) verwendet wurde.
Sprachlich
Der Zähler für Sprachgespräche gibt die Anzahl der Gespräche an, in denen mindestens einmal eine Sprachinteraktion (d. h. über Mikrofon) verwendet wurde.
AI Gen
Der Zähler für AI-Gen-Nachrichten gibt die Anzahl der Nachrichten an, für die mindestens eine AI-Gen-Funktion verwendet wurde.
Wenn mehr als eine AI-Gen-Funktion für eine Nachricht verwendet wurde, entspricht die Anzahl der verbrauchten Verbrauchseinheiten der Anzahl der verwendeten Funktionen.
Wenn ein Assistent beispielsweise sowohl die Funktion Frageumformulierung basierend auf Gesprächskontext aktivieren als auch Antwortumformulierung basierend auf dem Fragekontext aktivieren aktiviert hat (siehe AI Gen für die Wissensdatenbank), dann verbraucht eine Assistentenantwort zwei Verbrauchseinheiten.
Wenn ein Assistent beispielsweise die über Smart Document Access generierte Antwort aktiviert hat (siehe Verbinden eines Assistenten mit der Dokumentation) und Von AI Gen festgelegtes Formular starten aktiviert hat, dann verbraucht eine Assistentenantwort zwei Verbrauchseinheiten.