Agents IA4 min de lecturePar Publié le

Comment empêcher une IA de support d’inventer des réponses ?

Toute entreprise qui a mis une IA face à ses clients semble avoir son anecdote : celle où elle invente avec aplomb une politique de remboursement. On ne rend pas un modèle de langage parfait. On peut en revanche rendre les réponses inventées rares, et s’assurer que celles qui passent ne font pas de dégâts.

En bref

Appuyez chaque réponse sur votre contenu validé, laissez l’IA dire « je ne sais pas » et passer la main quand ce contenu ne couvre pas la question, limitez ce qu’elle a le droit de promettre, consignez la source de chaque réponse et lisez chaque semaine un échantillon de vraies conversations. Testez avec de vraies questions passées avant le lancement et après chaque modification.

Pourquoi les bots de support inventent

Un modèle de langage écrit les mots les plus probables. Demandez-lui votre politique de retour alors qu’il ne l’a jamais vue, et il en écrira une. Une politique plausible. Souvent généreuse.

La plupart des hallucinations en support n’ont donc rien de mystérieux. On a posé au bot une question pour laquelle il n’avait aucun fait, et rien ne lui a dit de s’arrêter. Un bot générique, avec une consigne aimable et sans accès à vos documents, est configuré pour échouer exactement ainsi.

Exemple : la même question, avec et sans sources

Puis-je retourner un article soldé après 30 jours ?

Bot sans sources

Bien sûr ! Tous les articles peuvent être retournés sous 60 jours contre un remboursement intégral.

Règle inventée, aucune source

Agent avec sources

Les articles soldés peuvent être retournés sous 14 jours contre un avoir. Votre commande a été passée il y a 32 jours, j’ai donc transmis votre demande à notre équipe, qui vous répondra aujourd’hui.

Source : politique de retour, section 2. Transmis à une personne.

Cinq garde-fous qui fonctionnent

Aucun n’est exotique. Ensemble, ils transforment un bot qui improvise en un bot qui va chercher l’information et sait s’arrêter.

Les garde-fous, dans l’ordre où nous les mettons en place
  1. Appuyer les réponses sur des sources

    L’agent répond à partir de vos politiques validées, de votre catalogue et de vos données de commande, pas de connaissances générales.

  2. Autoriser le « je ne sais pas »

    Quand le contenu ne couvre pas la question, il le dit et passe la main au lieu de deviner.

  3. Limiter les promesses

    Remboursements, remises et dates de livraison uniquement dans le cadre de vos règles. Tout le reste passe par une personne.

  4. Garder la source

    Chaque réponse est consignée avec le document ou la fiche dont elle vient, pour que vous puissiez la vérifier.

  5. Relire chaque semaine

    Lisez un échantillon de vraies conversations, comblez les trous de votre contenu et ajoutez les cas difficiles à vos tests.

Testez avant vos clients

Rassemblez quelques centaines de vraies questions tirées de votre boîte mail ou de l’historique de chat, y compris les plus délicates : clients en colère, messages mi-français mi-arabe, questions sur des produits que vous ne vendez plus. Notez à quoi ressemble une bonne réponse pour chacune.

Faites passer l’agent sur cet ensemble avant le lancement, puis après chaque changement de contenu ou de règles. C’est une étape ennuyeuse. Elle évite aussi la plupart des réponses embarrassantes avant qu’un client ne les voie.

Quand il se trompe quand même

Cela arrivera, de temps en temps. Traitez chaque mauvaise réponse comme un rapport de bogue sur votre contenu : trouvez le document manquant ou ambigu, corrigez-le, et ajoutez la question à votre jeu de tests pour que le problème reste réglé.

Ensuite, donnez la bonne réponse au client. On pardonne bien plus facilement une erreur corrigée vite qu’une erreur défendue.

Questions fréquentes

Peut-on supprimer complètement les hallucinations de l’IA ?

Non. Un modèle de langage peut toujours produire une phrase fausse. Les sources, les règles de relais et les tests les rendent rares, et les limites sur ce que l’agent peut promettre rendent les rares erreurs peu coûteuses.

Faut-il notre propre modèle d’IA pour régler cela ?

Presque jamais. Le problème vient en général de faits et de règles manquants, pas du modèle. La réponse habituelle, c’est un modèle de premier plan relié à votre propre contenu, avec des limites claires.

À quelle fréquence faut-il relire les conversations ?

Chaque semaine pendant les deux premiers mois, le temps de repérer les trous dans le contenu. Ensuite, une relecture mensuelle et une alerte sur les conversations mal notées par le client suffisent en général.

Service associé

Vous vous demandez ce que votre bot de support raconte à vos clients ?

Parlons-en

Autres articles

Gardez une longueur d’avance sur l’IA

Notre lettre d’information

Des conseils concrets sur l’IA pour les entreprises en croissance. Une lettre par mois.