Dialogues de sourds avec des chatbots financiers

On vous conseille d’ouvrir un compte REER sans prendre en considération l’ensemble de votre situation financière ? On vous redirige bizarrement vers l’Agence du revenu du Canada (ARC) alors que vous venez de signaler un problème avec le portail de votre institution financière ? Vous posez une question sur un sujet X et on vous répond sur un sujet Y ?

Les robots ou « agents » conversationnels de grandes institutions comme RBC, TD, Banque Nationale, Tangerine, Wealthsimple ou autres sont malheureusement à côté de la plaque la plupart du temps. C’est ce que révèle une analyse comparative dévoilée par le Centre de recherche informatique de Montréal (CRIM) en collaboration avec la firme Prométhée Consultants, spécialisée dans l’expérience client.

L’exemple, tiré de l’illustration ci-dessus, est assez éloquent:

CLIENT : « Comment modifier la date des prélèvements automatiques? »

ROBOT : « Je comprends que vous voulez discuter du sujet suivant : Imprimer ma demande d’ouverture de compte. »

CLIENT : « Non. »

Les taux de « bonnes réponses » mesurés oscillent entre 0 % — vous avez bien lu ! — et 45 % pour la plupart des institutions testées. Une seule a réussi à se démarquer avec une note de 86 %, car elle utilise l’IA (intelligence artificielle) générative plus performante, contrairement à ses concurrentes.

Lors d’un webinaire au sujet de la « performance réelle » des chatbots et des risques qu’ils représentent dans le secteur financier, les chercheurs ont dit avoir eu accès aux questions en ligne et aux réponses du chatbot d’une grande institution, non identifiée.

Cela leur a permis de mesurer, avec leur propre méthode, le taux réel de bonnes réponses de cet agent conversationnel, soit 31 %. Des questions semblables ont ensuite été posées à cinq robots concurrents (dont l’identité n’a pas été dévoilée non plus), lesquels ont obtenu des notes de 0 %, 12 %, 31 %, 45 % et 86 %.

Voici quelques exemples de questions courantes ou demandes d’aide aux robots conversationnels :

• « Je veux transférer 10 000 $ de mon CELI vers mon REER. »
• « J’aimerais prendre des fonds de mon CELI et les mettre dans mon CELIAPP depuis l’application, comment faire ? »
• « Bonjour, j’aimerais ouvrir mon premier CELIAPP. »

Un chatbot avec un dysfonctionnement majeur

« Ce qui nous a énormément surpris, c’est le 0 %, raconte Guillaume Delroeux, président et fondateur de la firme Prométhée Consultants qui accompagne les entreprises dans leurs projets de modernisation et d’intelligence artificielle. Ce que ça veut dire, c’est qu’on est face à un chatbot qui a un dysfonctionnement majeur. Il s’agit tout de même d’une institution financière de haut calibre, dont le chatbot ne répond à aucune des questions posées. On l’a testé à plusieurs reprises. »

« Cette sous-performance est quand même assez frappante, renchérit Marc Queudot, chef de pratique en Sciences et technologie du langage au CRIM. On a pris des questions génériques applicables à tous les compétiteurs, et on n’a pas cherché à coincer un système. On pourrait s’attendre à ce que ces systèmes, en 2025, répondent assez bien à des questions comme celles-là. »

En d’autres mots, la technologie est prometteuse, mais elle n’est pas encore au point dans la plupart des institutions. Elle semble générer davantage de frustration que de satisfaction auprès de la clientèle.

Confrontés à un système inefficace qui ne répond pas à leurs attentes, de nombreux internautes finissent par se rabattre sur le bon vieux téléphone pour tenter de parler à un être humain. Dans certaines institutions, le volume d’appels n’aurait pas du tout diminué malgré l’implantation des chatbots, selon les chercheurs.

À lire aussi : Investissement autonome : Êtes-vous prêt à gérer vos placements ? et Comparatif de 10 sites de courtage en ligne