Surveillance d'un assistant
Dans cette section
Cette section présente les différentes fonctions de surveillance des interactions des assistants.
Historique des conversations
L'Historique des conversations d'un assistant permet de surveiller toutes les interactions qui ont eu lieu entre les utilisateurs finaux et l'assistant.
Cette section est accessible en ouvrant le menu de l'assistant (les trois points en haut à droite de la carte) et en sélectionnant Historique des conversations.
Archive des conversations
En accédant à la section, il est possible de consulter la liste complète des conversations qui ont eu lieu pendant la période indiquée.
Il est possible de filtrer les conversations par :
- ID utilisateur.
- ID conversation.
- Canal d'interaction.
Pour chaque conversation sont indiqués :
| Champ | Description |
|---|---|
| Date et heure de début de la conversation | — |
| Messages envoyés par l'assistant à l'utilisateur | — |
| Réponses de courtoisie | Voir Réponses de courtoisie et messages d'engagement. Envoyées par l'assistant à l'utilisateur. |
| Questions répondues | Nombre de questions de l'utilisateur ayant reçu une réponse (hors réponses de courtoisie). |
| Canal d'interaction | — |
| Opérateur de Live Chat | Voir Live Chat. Opérateur intervenu pendant la conversation. |
| Contact de l'utilisateur | S'il a été fourni pendant l'interaction via un formulaire (voir Formulaires conversationnels). |
Analyser une conversation
En sélectionnant l'option Ouvrir le chat, il est possible d'afficher la transcription de la conversation.
En haut, il est possible de voir l'ID de la conversation et la source, c'est-à-dire le canal.
Dans la transcription, les questions de l'utilisateur figurent à gauche, en gris ; les réponses de l'assistant à droite, en vert.
Questions de l'utilisateur
Selon les fonctions utilisées par l'assistant, la question de l'utilisateur peut indiquer certaines informations.
Base de connaissances
Si la réponse de l'assistant provient de la Base de connaissances (voir Base de connaissances), l'icône d'information affichera le nom de l'intent retenu.
Question reformulée
Si la fonction Activer la reformulation de la question en fonction du contexte de la conversation est active (voir AI Gen pour la Base de connaissances), la question de l'utilisateur sera remplacée par sa version reformulée et l'icône d'information affichera la question originale.
Dans ce cas, même si la réponse provient de la Base de connaissances, l'icône d'information affichera la question originale de l'utilisateur.
Question traduite
Si la fonction Multilingue est active, la question de l'utilisateur sera remplacée par sa version traduite dans la langue de base de l'assistant (voir Création d'un assistant) et l'icône de traduction affichera la question originale.
Réponses de l'assistant
Selon les fonctions utilisées par l'assistant, ses réponses peuvent indiquer certaines informations.
Type de réponse
Selon le type de réponse, un code sera indiqué :
| Code | Signification |
|---|---|
| WM | Message de bienvenue (voir Paramètres généraux de l'assistant). |
| QA | Réponse provenant de la Base de connaissances. |
| QB | Réponse de courtoisie. |
| QG | Réponse générée via AI Gen (voir AI Gen pour la Base de connaissances). |
Si la réponse générée provient de la Base de connaissances, le code QA sera utilisé.
- SDA correspond à une réponse provenant de Smart Document Access (voir Smart Document Access).
- FORM correspond à une réponse ou à une question provenant d'un formulaire (voir Formulaires conversationnels).
Réponse traduite
Si la fonction Multilingue est active, l'icône de traduction affichera la réponse effectivement donnée à l'utilisateur.
Smart Document Access
Si la réponse provient de Smart Document Access, l'option Afficher les documents sera disponible sous celle-ci.
Si elle est sélectionnée, les documents utilisés pour générer la réponse sont affichés.
Si la fonction Ne pas afficher l'option « Afficher les documents » après la réponse est active, il sera indiqué que les documents étaient masqués lors de l'interaction réelle.
Reinforcement
La section Reinforcement permet de consulter toutes les questions et réponses traitées par l'assistant.
La section est accessible en ouvrant le menu de l'assistant, puis en sélectionnant Reinforcement.
Questions sans réponse
Cette section contient la liste complète des questions sans réponse.
Pour chaque question sans réponse, il est possible de consulter :
| Champ |
|---|
| Question de l'utilisateur |
| Date et heure |
| Conversation complète |
Par exemple, un utilisateur a demandé à l'assistant « C'est vrai que tu sais marquer des buts ? », mais celui-ci n'a pas été en mesure de répondre.
L'assistant peut ne pas avoir répondu pour deux raisons :
- Il n'existe pas d'intent correspondant dans la KB ;
- L'intent figure dans la KB, mais l'algorithme, sur la base de l'entrée reçue, n'est pas parvenu à l'intercepter.
Désambiguïsations
Cette section contient la liste complète des désambiguïsations.
Pour chaque désambiguïsation, il est possible de consulter :
| Champ |
|---|
| Question de l'utilisateur |
| Option choisie |
| Réponse correspondant à l'option choisie |
| Date et heure |
| Conversation complète |
Réponses votées positivement
Cette section contient la liste des réponses de l'assistant qui ont reçu un vote positif de la part des utilisateurs.
Pour chaque vote positif, il est possible de consulter :
| Champ |
|---|
| Question de l'utilisateur |
| Réponse de l'assistant |
| Date et heure |
| Conversation complète |
Les votes des utilisateurs sont disponibles uniquement si l'option Activer le vote est active dans Paramètres et Reinforcement.
Réponses votées négativement
Cette section contient la liste des réponses de l'assistant qui ont reçu un vote négatif de la part des utilisateurs.
Pour chaque vote négatif, il est possible de consulter :
| Champ |
|---|
| Question de l'utilisateur |
| Réponse de l'assistant |
| Option choisie (nécessite la fonction Afficher les suggestions dans Paramètres et Reinforcement) |
| Date et heure |
| Conversation complète |
Les votes des utilisateurs sont disponibles uniquement si l'option Activer le vote est active dans Paramètres et Reinforcement.
SDA
Cette section contient la liste de toutes les questions de l'utilisateur qui ont reçu une réponse provenant de la documentation de Smart Document Access (voir Connecter un assistant à la documentation).
Pour chaque question, il est possible de consulter :
| Champ |
|---|
| Question de l'utilisateur |
| Réponse de l'assistant |
| Lien vers le document |
| Date et heure |
| Conversation complète |
AI Gen
Cette section contient la liste de toutes les questions de l'utilisateur qui ont reçu une réponse provenant de l'AI Gen (voir AI Gen pour la Base de connaissances).
Pour chaque question, il est possible de consulter :
| Champ |
|---|
| Question de l'utilisateur |
| Réponse de l'assistant |
| Date et heure |
| Conversation complète |
Ajouter un élément à la base de connaissances
Toutes les sections de Reinforcement permettent d'ajouter la question de l'utilisateur (et l'éventuelle réponse générée) à la base de connaissances de l'assistant en sélectionnant l'option Ajouter.
La question de l'utilisateur peut être attribuée à un intent existant, sélectionnable dans la liste.
Il est également possible de créer un nouvel intent auquel la question de l'utilisateur est déjà attribuée.
Dans les deux cas, la question de l'utilisateur peut être modifiée et améliorée une fois ajoutée à la base de connaissances (voir Intent).
Statistiques
La section Statistiques, accessible depuis le menu de gauche, permet de consulter les données utiles au suivi et à l'analyse des performances de l'assistant virtuel.
Dans cette section, il est possible de consulter :
- Les performances de votre assistant.
- Les performances des appels aux web services effectués par le ou les assistants.
Appels Web Services
Cette section permet de consulter les données statistiques relatives aux appels de web services effectués par l'assistant sélectionné, s'il en utilise.
En sélectionnant l'icône du calendrier située en haut à droite, il est possible de définir la période pour laquelle afficher les statistiques. La période par défaut correspond à un mois à compter de la date du jour.
Il est possible d'affiner la recherche à l'aide de filtres par :
- Type d'assistant.
- Statut.
Assistants
Pour chaque assistant, il est possible d'accéder, via les icônes à droite, aux sections suivantes :
| Section | Contenu |
|---|---|
| Conversations | Données sur les performances de l'assistant en interaction avec les utilisateurs. |
| Émotions | Statistiques sur les émotions reconnues par l'assistant virtuel. |
| Niveau d'attention | Statistiques sur le niveau d'attention reconnu par l'assistant virtuel. |
| Questions | Classement des demandes les plus fréquentes ayant reçu une réponse de l'assistant virtuel. |
Les sections Émotions et Attention sont disponibles uniquement pour les comptes habilités.
Conversations
Statistiques générales
Cette section fournit un résumé global des performances de l'assistant virtuel. Les données affichées sont :
| Métrique | Description |
|---|---|
| Conversations | Nombre de conversations. |
| Messages | Nombre de messages échangés. |
| Sans réponse | Nombre de questions auxquelles l'assistant n'a pas été en mesure de répondre. |
| Désambiguïsations | Nombre de fois où l'assistant a répondu par une désambiguïsation. |
| Profondeur des conversations | Nombre moyen de messages échangés par conversation. |
| Durée moyenne des conversations | — |
| Durée totale des conversations | — |
| Vitesse de réponse | Vitesse moyenne de réponse. |
Tendance des conversations
Cette section offre une vue d'ensemble des tendances temporelles des conversations gérées par l'assistant virtuel. Il est possible de filtrer la répartition des données par heure et par jour.
Type de réponse
Dans cette section, les réponses de l'assistant sont classées en plusieurs catégories, comme les réponses correctes, les réponses de courtoisie et les désambiguïsations. Il est possible de filtrer la répartition de ces réponses par heure et par jour, et d'afficher également les totaux agrégés.
Type d'interaction
Cette section décrit les différentes formes d'interaction gérées par l'assistant, notamment les formulaires, l'engagement et les questions. La répartition de ces interactions peut être filtrée selon différents paramètres, comme l'heure et le jour, et il est également possible d'afficher les totaux agrégés.
Utilisateurs uniques par canal
Cette section indique le nombre d'utilisateurs distincts ayant interagi avec l'assistant, répartis par canal de communication (ex. web, réseaux sociaux, etc.).
Formulaires
Cette section contient les données relatives aux formulaires remplis par les utilisateurs au cours des interactions avec l'assistant. Les formulaires sont classés en complétés, échoués, incomplets et interrompus.
Type d'entrée
Cette section répertorie les différents types d'entrée reçus par l'assistant, notamment le clavier, le clic, l'engagement et l'entrée vocale.
L'entrée inconnue fait référence aux canaux Facebook, WhatsApp et Telegram.
La répartition de ces entrées peut être filtrée par heure et par jour, et il est également possible d'afficher les totaux agrégés.
Ouvertures par domaine
Cette section répertorie les ouvertures de nouvelles conversations, classées selon le domaine de provenance (ex. site web de l'entreprise, application, etc.).
Si l'assistant est intégré à un seul domaine, le graphique n'affichera qu'une seule part.
Ouvertures par type
Cette section contient les données sur les ouvertures de nouvelles conversations, réparties par type d'ouverture.
Les types d'ouverture sont :
| Type |
|---|
| Conversation textuelle |
| Conversation vocale et textuelle |
| Conversation avec digital human |
Messages Live Chat
Cette section contient les statistiques relatives aux messages échangés en mode Live Chat, notamment le nombre de messages envoyés et reçus.
Actions Live Chat
Cette partie présente les actions effectuées pendant les sessions de Live Chat.
Tableau de bord des consommables
Le tableau de bord permet de surveiller l'état des consommables du compte.
Textuels
Le compteur des conversations textuelles indique le nombre de conversations dans lesquelles l'interaction textuelle (c'est-à-dire via le clavier) a été utilisée au moins une fois.
Vocaux
Le compteur des conversations vocales indique le nombre de conversations dans lesquelles l'interaction vocale (c'est-à-dire via le microphone) a été utilisée au moins une fois.
AI Gen
Le compteur des messages AI Gen indique le nombre de messages pour lesquels au moins une fonctionnalité AI Gen a été utilisée.
Si plusieurs fonctionnalités AI Gen ont été utilisées pour un même message, le nombre de consommables utilisés correspondra au nombre de fonctionnalités utilisées.
Par exemple, si un assistant a activé à la fois la fonction Activer la reformulation de la question en fonction du contexte de la conversation et la fonction Activer la reformulation de la réponse en fonction du contexte de la question (voir AI Gen pour la Base de connaissances), une réponse de l'assistant consommera deux consommables.
Par exemple, si un assistant a activé la réponse générée via Smart Document Access (voir Connecter un assistant à la documentation) ainsi que l'option Lancer le formulaire défini par AI Gen, une réponse de l'assistant consommera deux consommables.