¿Cómo evitar que una IA de soporte se invente las cosas?

Un modelo de lenguaje escribe las palabras que tienen más probabilidad de venir después. Si le pregunta por su política de devoluciones y nunca ha visto su política de devoluciones, la escribirá. Una verosímil. Normalmente una generosa.

Así que la mayoría de las alucinaciones en soporte no tienen misterio. Al bot le preguntaron algo para lo que no tenía datos y nada le dijo que se detuviera. Un bot genérico, con un prompt amable y sin acceso a sus documentos, está configurado para fallar exactamente así.

Ninguna es exótica. Juntas convierten a un bot que improvisa en uno que consulta y sabe cuándo parar.

Reúna unos cientos de preguntas reales de su bandeja de entrada o del historial de chat, incluidas las incómodas: clientes enfadados, mensajes mitad en español y mitad en árabe, preguntas sobre productos que dejó de vender. Anote cómo sería una buena respuesta para cada una.

Pruebe el agente con ese conjunto antes del lanzamiento y otra vez después de cada cambio en su contenido o sus reglas. Es un paso aburrido. También detecta la mayoría de las respuestas bochornosas antes de que un cliente las vea.

Pasará, de vez en cuando. Trate cada respuesta equivocada como un informe de error sobre su contenido: busque el documento que faltaba o no estaba claro, corríjalo y añada la pregunta a sus pruebas para que no vuelva a fallar.

Después, dígale al cliente la respuesta correcta. La gente perdona mucho más fácilmente un error que se corrige pronto que uno que se defiende.