El chatbot en producción

En esta etapa el análisis y medición de las conversaciones permiten mejorar el flujo de los bots. En este marco dejaremos de guiarnos por la intuición o nuestro know-how del negocio y comenzaremos a medir de manera metódica.

BotCenter es una plataforma centrada en la interacción híbrida. Gracias a nuestra integración con Desk es posible trabajar en equipo de manera exitosa entre humanos y máquinas.

Con lo anterior, hay métricas clave que debemos medir para comenzar el proceso iterativo:

Tasa de resolución (TR).

Representa la cantidad de tickets donde el bot fue capaz de resolver todo por su cuenta sin la necesidad de derivación y donde el cliente se sintió confiado del proceso y lo realizó de principio a fin.

Este es un número que queremos maximizar siempre. Revelará la efectividad de nuestro bot. En casos reales, se considera un bot exitoso cuando logramos sobre un 25-30% de resolución completa en el universo de tickets que gatillan el bot. Alcanzar un 100% aún es irreal, como comentamos anteriormente, la tecnología actual no nos permite reemplazar a nuestros agentes especializados.

Si estamos por debajo de un 25% entonces existen dos caminos posibles: Nuestro bot requiere más entrenamiento e inspección de los puntos de falla o abandono.

Si esto aún no mejora después de hacer un trabajo minucioso, es importante plantear la posibilidad de que el objetivo diseñado para el bot aún es un proceso difícil de manejar de manera automatizada y quizás es mejor centrarse en otras tareas que el bot pueda realizar mejor y dejar estas intenciones al manejo humano.

Tasa de derivaciones a humanos (TDH).

Este indicador representa la cantidad de interacciones que se derivan a personas dado que el cliente así lo solicita o el bot no es capaz de entender. Es una tasa que dependerá en gran parte del diagrama de flujo que hayamos definido.

Si nuestro bot tiene salidas a personas reales dentro de las opciones que se presentan a los usuarios, posiblemente esta tasa sea bastante alta, lo cual no necesariamente es malo. Tanto cuando el bot resuelve completamente o lo deriva a un agente, es parte del trabajo en equipo para el cual el bot ha sido diseñado.

Tasa de abandonos (TA).

Este indicador representa la cantidad de flujos iniciados pero que no terminaron ni en cierre ni derivación. Es decir, el cliente dejó de responder. Esto es precisamente lo que no queremos que ocurra y debemos intentar de llevar a 0. En casos reales, una tasa de abandono esperada es del 4 a 5%. Cuando un bot está mal diseñado podemos ver tasas de abandono de un 85-90%. En este momento es crítico estudiar las conversaciones para comprender las potenciales causas de una tasa de abandono tan alta, integrarlas en el proceso iterativo de entrenamiento y poder mejorar nuestro flujo.

Tasa de intenciones no comprendidas (TINC).

Esta tasa nos dirá qué porcentaje de las intenciones no estaban en el espectro del bot y tuvo que dar la respuesta de “no entendí”. Mirar qué mensajes representan este universo para hacer nuestras intenciones más robustas es sumamente importante. Si nuestra TINC es alta, aumentará la TA. Valores esperados para un bot exitoso en un ambiente real corresponde a un 4 a 5%.

Indicadores de negocio (IN).

Estos indicadores corresponden a métricas personalizadas que dependen de cada bot en específico. Ahora bien, es fundamental definir desde el lado del cliente cuáles son los objetivos de negocio del bot y cómo mediremos estos resultados. Es posible definir varios KPI a nivel de flujo que nos indiquen cuando se cumple una venta o cuando se resuelve cierta problemática. Estas definiciones se hacen en conjunto con el equipo de BotCenter.

De acuerdo a las tasas anteriores, es posible definir algunos accionables. Lo primero es determinar cuáles son los errores de tipo UMM de las siglas en inglés Unsupported, Misunderstood y Missed:

Intenciones no soportadas (unsupported)

Son aquellas intenciones que el bot no tenía contemplado soportar. Corresponden a las interacciones que componen la TINC. El accionable en este caso es integrar todas estas intenciones al flujo de entrenamiento. Intenciones mal comprendidas (misunderstood)

¿Está el bot siendo gatillado cuando no debe? Esto ocurre cuando el bot no maneja bien el contexto de la pregunta o responde algo levemente diferente a la pregunta del cliente. El accionable en este caso es pulir las fuentes de entrenamiento, se deben hacer más robustas dichas intenciones para hacer que el bot sea más certero en estas situaciones de borde.

Intenciones faltantes (missed)

A veces el cliente se comunica con la marca, describe algo que debió ser abordado por el bot pero este simplemente no responde. Acá tenemos problemas en el momento en el que se gatilla el bot. El accionable es revisar estas conversaciones e incorporarlas también para que el bot sea capaz de reconocer correctamente los patrones de inicialización.

Finalmente, es clave descubrir qué cosas el bot puede y qué no puede soportar. Enfocarse en el primer grupo para lograr conversaciones efectivas. Descartar el segundo grupo y dejar esto a los agentes humanos.