Comment évaluer l’intelligence d’un chatbot ?

La longue marche des boîtes de conserve vers l’intelligence Les chatbots sont des membres de la confrérie des robots. Les robots ont été annoncés longtemps avant leur existence réelle par la mythologie (grecque, biblique) et ses avatars littéraires les plus récents, notamment la science-fiction. Dans ces histoires, des créatures artificielles douées de raison, et plus […]

La longue marche des boîtes de conserve vers l’intelligence

Les chatbots sont des membres de la confrérie des robots. Les robots ont été annoncés longtemps
avant leur existence réelle par la mythologie (grecque, biblique) et ses avatars littéraires les plus
récents, notamment la science-fiction. Dans ces histoires, des créatures artificielles douées de raison,
et plus ou moins libres de leurs actes ont le pouvoir d’aider ou s’opposer à l’humanité. Lorsqu’on
parle de chatbot, on évoque cette intelligence. Mais à partir de quand décidons-nous que cette
intelligence existe et que ce chatbot en est vraiment un ? D’ailleurs y a-t-il vraiment un seuil, binaire,
au-delà duquel on constate cette intelligence ou bien est-ce une progression continue de l’inanimé à
l’animé ?

Plutôt que de tenter ici de vainement trancher ce débat philosophique, nous allons plutôt nous
intéresser à la nature de cette intelligence ou plutôt aux diverses natures de ces intelligences. Car
derrière la grande excitation du marché et des médias pour cette technologie émergeante se cachent
des réalités très diverses. Nous nous sommes focalisés ici sur l’intelligence cognitive et celle du
langage.

Il est important de noter que ce ne sont pas les seules formes d’intelligence et que l’intelligence
émotionnelle ou l’intelligence interpersonnelle sont de celles qui ne sont pas couvertes dans la suite
de cet article même si elle a un rôle à jouer dans la qualité d’un chatbot. La raison en est que nous
avons choisi de privilégier ce qui est indispensable à servir une conversation, c’est-à-dire son sens et
sa pertinence. Il est certain que l’empathie et la sympathie sont des éléments très importants eux
aussi mais alors que le service peut être rendu sans empathie, il ne peut pas être rendu sans
pertinence. Cela explique notre choix.

Pour donner une échelle de progression, nous avons arbitrairement choisi une note pour chaque
capacité citée plus loin. L’échelle proposée n’est pas linéaire et le lecteur pourra construire sa propre
vision de cette échelle indicative, l’idée étant de faire prendre conscience de l’existence de ces stades
de progrès et de leur plus ou moins bonne prise en charge par les chatbots existants aujourd’hui.

Commençons par le langage.

Pour traiter le langage naturel émis par ses interlocuteurs humains, le chatbot doit faire appel à la
reconnaissance des mots, de la syntaxe, de la sémantique et de la conversation.
La reconnaissance des mots va de la simple correspondance lettre à lettre avec une référence bien
orthographiée (ce que l’on appelle parfois la reconnaissance par mot clé) à une reconnaissance
approximative tolérant les erreurs. Note de 1 à 2

Vient ensuite la syntaxe qui guide la compréhension de la structure des phrases, du rôle des mots
dans cette phrase et de la position qu’ils y occupent ainsi que des variantes engendrées par les
accords et la conjugaison. Là aussi la tolérance aux erreurs, propres à l ‘expression humaine est
essentielle. Note de 3 à 4

Enfin, la sémantique permet de rattacher cette phrase à sa signification. C’est cette partie qui est la
moins formelle et la plus « intelligente ». On est capable d’accomplir cette prouesse notamment en
s’appuyant sur les graphes de synonymie associant les mots proches en cliques. Ces regroupements
constituent des ontologies propres à un domaine. L’ontologie du commerce n’est pas celle de la
plomberie ou de la fiscalité. Note de 5 à 7

Pour finir, la reconnaissance de la conversation permet de reconnaître les ontologies applicables au
discours en donnant une cohérence d’interprétation à l’ensemble. Hélas, le domaine peut changer en
cours de conversation et parfois même en cours de phrase et les ontologies ne sont pas des
constructions statiques et formidables mais bien plutôt des structures en évolution et variant de
locuteur et locuteur et d’environnement en environnement. Note de 8 à 10

Le cerveau humain est toujours inégalé aujourd’hui dans ces tâches et les techniques les plus
avancées dans ce domaine ne donnent des résultats satisfaisants que dans les cas les moins
perturbés et les plus simples.

Et finissons par la capacité à répondre

Mais une fois le langage analysé, pour savoir répondre à une interaction humaine, en supposant que
son sens en ait été parfaitement cerné, il faut une capacité d’identification du raisonnement (ou
processus cognitif) qui permettra de formuler en retour l’interaction avec l’humain que celui-ci
attend ou espère.

Pour cela, il est possible d’appliquer à la lettre une recette préétablie, décrite par ceux qui ont conçu
le chatbot. Cette recette pourra être appliqué sans personnalisation ou être influencée par le
contexte d’utilisation. Note de 1 à 2.

Il est possible également d’appliquer une de ces recettes en donnant une latitude au chatbot pour
s’écarter du cadre prédéfini, notamment par l’apprentissage des chemins les plus efficients ou par
l’intégration de données contextuelles dans la détermination de ces chemins. Note de 3 à 4

On peut également offrir au chatbot une capacité à construire une nouvelle recette par analogie avec
une recette existante, cette capacité dépendant de sa compréhension de la recette modèle et de sa
proximité avec la situation et de sa capacité à adapter plus ou moins profondément la recette de
départ pour compenser l’écart entre la notion originelle de la recette et la notion proche, identifiée
dans la situation actuelle. Note de 5 à 7

On peut enfin imaginer, car les travaux dans le domaine sont encore balbutiants que le chatbot
puisse bâtir seul une recette sans modèle sachant que cela dépend de capacités d’apprentissage qui
sont à la fois limitées à ce que le chatbot a pu expérimenter donc à son exposition à ces situations et
par sa capacité à les interpréter donc sa capacité d’interaction avec les situations. On conçoit
facilement qu’une telle capacité est très limitée pour un objet informatique dépourvu des sens et des
moyens de se déplacer et d’interagir avec son environnement dont bénéficient les humains. Note de
8 à 10.

Où en sommes-nous ?

Les notes des chatbots de 2017 oscillent entre 0 et 10 sur 20. On se rend compte que pour assister
les humains, cela peut déjà suffire, pourvu que le problème soit simple, la solution déjà éprouvée et
l’exigence de l’humain peu élevée. En revanche, on voit aussi que cela illustre les grandes disparités qui
existent dans les outils proposés dans ce domaine et doit inciter à la vigilance lors du choix de ces
outils et de leur adaptation au besoin à satisfaire.
Quelle note a obtenu votre chatbot ? La longue marche est loin d’être terminée mais elle a vraiment
commencé…

Partagez cet article

Blog

Pour que le SAV ne soit plus perçu comme un centre de coûts

La fonction support remplie par le Service Après-Vente (SAV) regroupe principalement les actions d’assistance technique et de hotline destinées à aider les clients à régler les problèmes rencontrés avec leurs produits. Le SAV constitue un service clé dans le parcours du client puisque de la qualité du service rendu dépend bien souvent la satisfaction du client et par là même,

Lire la suite »

Optimiser la relation client par la logistique

L’optimisation de la relation client doit aussi être envisagée au regard des problématiques logistique et transport. En effet, ces problématiques représentent plus de 30% des contacts reçus au sein du service client des e-commerçants*. Le déroulement de la commande, son acheminement et sa livraison sont donc déterminants dans l’expérience vécue par le client avec le marchand. C’est pourquoi en s’attachant

Lire la suite »

Automatiser les traitements backoffice pour améliorer l’expérience client

Aujourd’hui, les entreprises estiment que 30 à 40% de leurs de flux de contacts clients (téléphone, email, chat…) sont « automatisables »*. La RPA (Robotic Process Automation) est la solution souple pour absorber ces flux. Elle retire les tâches systématiques des processus pour concentrer les ressources de l’entreprise sur les missions où l’humain est indispensable. Tous les collaborateurs impliqués dans des process de

Lire la suite »

Réduire le temps de formation tout en améliorant l’efficience du collaborateur

La formation d’un collaborateur est nécessaire, quelle que soit l’activité exercée. Elle repose en premier lieu sur l’acquisition de connaissances indispensables (techniques, produits, logistiques…) ; elle a aussi son importance pour l’enrichissement et l’essor des compétences du collaborateur. Avec le déploiement de nouveaux outils digitaux, la formation évolue. En effet, un certain nombre de procédures et informations peuvent désormais être

Lire la suite »

Le One Click Answer pour réduire l’effort du conseiller

Plus personne n’est étonné, plus personne ne se pose de question lorsqu’il voit deux écrans sur la position de travail d’un conseiller client. C’est pourtant la matérialisation de la complexité de son environnement de travail, qui est devenue un standard du métier. Mais ce n’est pas une fatalité ! Un poste de travail qui se complexifie Pourquoi deux écrans ?

Lire la suite »

Les bénéfices d’une démarche Once & Done

Sereneo a présenté la démarche « Once & Done » et ses enjeux dans le cadre du webinar organisé en partenariat avec CustUp. Ainsi, le leader de l’expérience client augmentée a montré que résoudre la problématique du client au 1er contact ne suffit plus ; il faut aussi et surtout savoir lui donner satisfaction sur tous les canaux et anticiper

Lire la suite »

Le Once & Done illustré en 5 exemples

Sereneo a évoqué la démarche Once & Done lors de son webinar organisé en partenariat avec Custup. Délivrer la bonne réponse à un client, du 1er coup, quel que soit le canal de contact est aujourd’hui indispensable pour répondre à l’exigence croissante des clients, dans un univers de plus en plus digitalisé. La démarche Once & Done s’appuie sur les

Lire la suite »

Un chatbot pour une expérience client sans couture

Plus d’un appel sur trois reçu sur les centres de contacts des e-commerçants concerne un problème de livraison. Ce flux de contacts entrants encombre les services clients. Le manque d’accessibilité qui en découle pénalise le consommateur et génère de l’insatisfaction. Il existe désormais une solution pour remédier à ces difficultés. Elle est née du partenariat signé par WelcomeTrack avec Sereneo,

Lire la suite »

Le Once & Done en 5 étapes avec Sereneo

Sereneo, a consacré son premier webinar – en partenariat avec Custup – à un enjeu clé de la relation client aujourd’hui : le Once & Done. Le nombre moyen d’échanges nécessaires à la résolution d’une problématique client est porté à 2,75 en 2016*. A cet égard, pouvoir délivrer la bonne réponse, du 1er coup, sur tous les canaux de contact,

Lire la suite »

L’expérience client augmentée : PROMEL a testé le logiciel de SERENEO

PROMEL a testé la solution d’expérience client augmentée de SERENEO lors de notre workshop sur le salon Stratégie Clients. Aujourd’hui, le cabinet de conseil expert pour la définition des profils cibles dans les métiers de la relation client en parle et publie une interview de Frédéric Godefroy, président fondateur de SERENEO. Lire l’interview : Test du logiciel d’expérience client augmentée

Lire la suite »

Satisfaction client : atteindre l’excellence ! – L’Express de mars 2017

Frédéric Godefroy, président de SERENEO, évoque le trio gagnant d’une relation client performante dans le dossier de l’Express de mars  « Quand la gestion de la relation client devient agile et connectée ». Ainsi, répondre vite, bien et surtout du 1er coup sont les trois actions simultanées gages d’excellence ! Retrouvez le dossier complet de L’Express de mars 2017 sous le lien

Lire la suite »

Stratégie Clients 2017

Cette année encore, Sereneo est présent sur le salon de la relation client ! Les 18, 19 et 20 avril 2017 à Paris, Porte de Versailles Stand I32-J31 Nous échangerons sur vos projets et nos solutions ; vous découvrirez à cette occasion le one-click answer et nos robots. -> Retrouvez-nous Stand I32-J31 Vous pourrez également prendre part à notre atelier

Lire la suite »