Alfonso Carmona9 de octubre de 2026 · 10 min de lectura
Saber cómo medir si un agente de IA funciona separa una herramienta que te ahorra trabajo de una cuota mensual que pagas por inercia. Cuando el proveedor o tu propio equipo te dicen que «parece que va bien», esa frase no basta para seguir pagando. Necesitas números que entiendas sin abrir un panel técnico. También tienen que poder compararse con cómo trabajabas antes.
Cada vez más empresas pagan por esta tecnología. Según la encuesta del INE sobre uso de TIC en las empresas, en el primer trimestre de 2025 el 21,1% de las empresas españolas de 10 o más empleados usaba IA. En el sector servicios la cifra llegaba al 25,7%. Las guías de evaluación al uso hablan de precisión del modelo o de latencia, y eso le sirve al técnico. Al dueño de una asesoría, un despacho o una distribuidora le interesan otras preguntas. ¿Cuántas tareas salen sin que nadie las toque? ¿Cuántas hay que rehacer? ¿Cuánto cuesta cada una?
Un agente de IA funciona cuando resuelve sin ayuda tareas que antes hacía una persona, con menos errores, a menor coste por tarea y derivando bien lo que no le toca. Tienen que cumplirse las cuatro condiciones a la vez. Si falla una, el resultado engaña.
Piensa en un agente que contesta deprisa pero obliga a tu equipo a corregir buena parte de los correos. No ahorra nada: cambia el trabajo de escribir por el trabajo de revisar. Y uno que nunca escala parece muy autónomo hasta que un cliente se queja de una respuesta que nadie vio.
Por eso las cinco medidas se leen juntas.
Las cinco medidas son tareas resueltas sin persona, errores corregidos, tiempo de respuesta, coste por tarea y casos escalados. Todas se cuentan con lo que ya tienes (el buzón, el programa de pedidos, el registro de horas). No hace falta ninguna herramienta especial.
Son las tareas que el agente cierra de principio a fin sin que una persona toque nada: clasifica el correo, responde o registra el pedido, y el caso queda cerrado. Es la medida que más se parece a las horas que recuperas.
Cuenta solo lo que está terminado de verdad. En una distribuidora, un pedido repetido que el agente pasa al sistema y confirma al cliente cuenta. Uno que deja en borrador para que alguien lo valide, no. Esta es justo la tarea que más se ha extendido: según Eurostat, analizar lenguaje escrito era en 2025 el uso más común de la IA en las empresas de la UE (11,8% de las de 10 o más empleados).
Son las respuestas, clasificaciones o pedidos que salieron del agente y que una persona tuvo que rectificar después. Cuéntalos por tipo y no solo en total. No pesa igual un correo mal archivado que un pedido con la referencia equivocada. Tampoco pesa igual que responder a un cliente de la asesoría con un plazo fiscal incorrecto.
La forma más sencilla es una hoja compartida donde quien corrige anota qué falló, quién lo detectó y cuánto tardó en arreglarlo. Si el error lo detecta el cliente y no tu equipo, márcalo aparte.
Es la señal más grave de todas.
El tiempo de respuesta es lo que pasa desde que entra el correo o el pedido hasta que el cliente recibe una respuesta útil. Útil quiere decir que resuelve o que indica el siguiente paso con fecha. Un acuse automático de «hemos recibido su mensaje» no cuenta.
Mídelo con la hora de entrada y la de la primera respuesta real, que cualquier gestor de correo guarda. En un despacho importa más que una solicitud de cita tenga hueco confirmado esa misma mañana que recibir un texto amable a los dos minutos.
El coste por tarea es lo que pagas al mes por el agente, más el tiempo que tu equipo dedica a revisarlo, dividido entre las tareas que resuelve. Ese número se compara con el de la misma tarea hecha a mano: minutos por tarea multiplicados por el coste por hora de quien la hace.
En el gasto del agente entran licencias, consumo por uso y mantenimiento. El tiempo de revisión es la partida que más se olvida y la que más cambia la cuenta. Si quieres hacer el cálculo con tus propios números, la calculadora de retorno de la automatización te ordena las partidas.
Son las tareas que el agente decide no resolver y pasa a alguien del equipo con el contexto preparado. Un escalado bien hecho no es un fallo. Es el agente reconociendo un caso que no le toca: una reclamación, un cliente enfadado o una consulta que exige criterio profesional.
Aquí no buscas el número más bajo, buscas el adecuado. Comprueba si lo escalado era de verdad delicado. Y comprueba si llega a la persona con lo necesario para resolverlo sin volver a preguntar al cliente.
Antes de arrancar hay que apuntar la línea base: cómo funciona hoy el proceso que el agente va a asumir, medido con las mismas cinco preguntas. Sin ese punto de partida no tendrás con qué comparar al final del mes. Volverás al «parece que va bien».
Basta con registrar el proceso manual durante un par de semanas. Apunta esto:
Define también qué cuenta como tarea antes de empezar. Si cambias la definición a mitad de mes, las cifras dejan de ser comparables. Cómo se elige el proceso y se monta el agente es otra conversación, y la tratamos en la guía para llevar un agente de la estrategia a producción en una pyme.
En el primer mes, las dos primeras semanas sirven para corregir y ajustar, y solo al cerrar la cuarta tiene sentido comparar con la línea base y decidir. Juzgar un agente de IA el quinto día es como valorar a un empleado nuevo antes de que conozca a los clientes.
Lee tendencias, no valores sueltos. En una asesoría, la semana de vencimiento de impuestos trae consultas más raras y más escalados. Eso no significa que el agente haya empeorado. Anota los picos para no confundirlos con un fallo.
Un buen número esconde un mal resultado cuando el agente, o quien lo ajusta, empieza a trabajar para mejorar la cifra y no el servicio. Lo describe la ley de Campbell, formulada por el psicólogo social Donald T. Campbell en los años setenta. Cuanto más se usa un indicador para tomar decisiones, más presión recibe y más tiende a deformar el proceso que debía vigilar.
Con un agente de IA pasa de dos formas muy concretas. Un escalado bajo puede ocultar respuestas malas que nadie revisa: si el agente contesta casos que debería derivar, la tasa mejora y nadie se entera hasta que llega la queja. Y una tarea dada por resuelta puede volver reabierta por el cliente. El agente cerró el hilo, el cliente escribe otra vez dos días después porque la respuesta no le servía, y en el informe consta como éxito.
La defensa es cruzar medidas. Revisa cada semana una muestra de lo que el agente contestó solo, cuenta las tareas que el cliente reabre y relaciona los escalados con las quejas. Un escalado que baja mientras suben las reaperturas es una alarma, diga lo que diga el panel. Qué parte del trabajo debe seguir pasando por una persona lo explicamos en la pieza sobre automatización inteligente con revisión humana en pymes.
Al cerrar el primer mes hay tres decisiones posibles: ampliar el agente a más tipos de tarea, mantenerlo igual unas semanas más o recortarlo a lo que hace bien. La que toca depende de la comparación con la línea base. La impresión del equipo no basta.
Nuestro criterio es claro. Si el coste por tarea ya está por debajo del manual y el cliente casi nunca detecta errores, amplía de uno en uno (un nuevo tipo de correo o de pedido cada vez) y vuelve a medir. Si el tiempo de revisión se come el ahorro, no amplíes todavía. Recorta el alcance a las tareas donde menos se equivoca. Ampliar un agente que aún necesita vigilancia constante solo multiplica el trabajo de revisar.
| Medida | Qué cuenta | Dónde se mira | Señal de alarma |
|---|---|---|---|
| Tareas resueltas sin persona | Tareas cerradas de principio a fin sin que nadie las toque | Registro del agente y estado en el buzón o en el programa de pedidos | Suben a la vez que las reaperturas de clientes |
| Errores corregidos | Respuestas, clasificaciones o pedidos que una persona rectificó | Hoja de correcciones del equipo | Los detecta el cliente antes que tu equipo |
| Tiempo de respuesta | Desde que entra el mensaje hasta la primera respuesta útil | Horas de entrada y de respuesta en el gestor de correo | Baja solo porque se cuentan acuses automáticos |
| Coste por tarea | Gasto mensual del agente más tiempo de revisión, entre tareas resueltas | Facturas del proveedor y registro de horas de revisión | Supera al coste manual al cerrar el mes |
| Casos escalados | Tareas que el agente pasa a una persona con contexto | Bandeja o etiqueta de escalados | Caen muy rápido sin que bajen errores ni quejas |
Si quieres que el agente trabaje sobre procesos concretos y llegue con estas medidas preparadas desde el primer día, mira cómo planteamos los agentes de IA que trabajan sobre el correo y los pedidos de tu pyme.
Para saber si un agente de IA funciona hace falta, como mínimo, el primer mes completo. Las primeras semanas sirven para corregir y ajustar, no para juzgar. Al cerrar el mes ya puedes comparar con la línea base que apuntaste antes de arrancar y decidir si conviene ampliar el agente, mantenerlo o recortarlo.
No necesariamente. Puede significar que resuelve, o que responde casos que debería derivar a una persona. Revisa una muestra de lo que contestó solo y cruza el dato con los errores corregidos y las quejas de clientes.
Para calcular el coste por tarea de un agente de IA, suma lo que pagas al mes por él (licencias, uso y mantenimiento) más el tiempo que tu equipo dedica a revisarlo. Divide el total entre las tareas resueltas y compáralo con lo que cuesta hacerlas a mano.
Dirección técnica y estrategia en Novantin. Escribo los artículos de este blog: elijo el enfoque, reviso los datos y las fuentes y apruebo lo que se publica, apoyándome en el sistema de contenidos con IA que montamos para nuestros clientes, tal y como pide el artículo 50 del reglamento europeo de IA. Sobre mí.
Aceptas la política de privacidad. Doble opt-in: confirma desde tu correo.
Qué hace un agente de IA en el buzón compartido de una asesoría, cómo se vigila y qué correos deben quedar siempre en manos…
Qué proceso automatizar primero en una pyme de transporte, cuánto cuesta de verdad el primero y cuándo no compensa hacerlo.
Qué hace y qué no hace la IA en la optimización de rutas de flotas pequeñas, y cuándo pagar un optimizador deja de compensar.
Casos prácticos y tácticas accionables para tu empresa, un correo cada poco. Sin humo y sin spam.