Experimentos A/B: prueba otras instrucciones con clientes reales

Compara las instrucciones actuales de tu agente (A) con otra versión (B) en conversaciones reales y quédate con la que mejor funciona.

Jun 26, 2026

¿Las respuestas más cortas resuelven más? ¿Conviene proponer la cita en el primer mensaje? Con un experimento A/B lo pruebas con clientes reales en vez de adivinar.

  • La variante A es tu agente tal como está hoy.
  • La variante B es el mismo agente (mismo nivel del motor, herramientas, conocimiento y horario) con otras instrucciones que escribes tú.

Cada conversación nueva que atiende la IA queda en A o en B y se queda ahí hasta el final. Omnifox anota cómo terminó cada una y te dice cuál funcionó mejor.

Disponible desde el plan Escala (y en Exclusivo). En los demás planes verás «Los experimentos A/B están disponibles desde el plan Escala» y el botón Mejorar plan. Solo lo ven quienes pueden editar agentes (propietario y administradores).

Cómo crear un experimento

  1. Abre Agentes IA, entra a tu agente y ve a la pestaña Instrucciones.
  2. Arriba del editor pulsa Experimento A/B (junto a Usar plantilla, Historial y Optimizar con IA). El agente tiene que estar guardado.
  3. Pulsa Nuevo experimento (o Crear el primer experimento).
  4. Completa:
    • Nombre del experimento (obligatorio) y Descripción (opcional). Ej.: «Respuestas más cortas».
    • Reparto de conversaciones: qué parte de las conversaciones nuevas va a B. De fábrica, 50 % / 50 %.
    • Cómo se mide el éxito: una de las tres métricas (ver abajo).
    • Muestra mínima por variante: cuántas conversaciones con resultado necesita cada variante antes de decidir (100 de fábrica).
    • Instrucciones de la variante B: empiezan como copia de las actuales; cambia solo lo que quieres probar.
  5. Pulsa Guardar. El experimento queda en Borrador.
  6. En la lista de experimentos pulsa Iniciar.

Consejo: cambia una sola cosa por experimento. Si cambias cinco a la vez, no sabrás cuál hizo la diferencia. Si B queda igual a A, no te deja guardar.

Las tres métricas

Métrica Éxito Fracaso
Resolución sin pasar a una persona La conversación terminó (se resolvió, se cerró o pasaron 72 horas sin mensajes) sin pasar a una persona. La IA la pasó a una persona, se asignó a alguien del equipo o una persona respondió.
Conversión (cita o pedido) Se agendó una cita o se creó un pedido (no cancelado) en la conversación. Terminó (se cerró o 72 horas sin mensajes) sin ninguno de los dos.
Satisfacción (encuesta) El cliente calificó bien: 4 o 5 de 5, 8 a 10 de 10, o pulgar arriba. La calificó mal. Las que no responden la encuesta en 7 días no cuentan.

Para la satisfacción, la encuesta tiene que estar activa en Espacio de trabajo → Encuesta de satisfacción; si no, el editor te avisa.

Mientras corre

  • Solo las conversaciones nuevas que atiende la IA se reparten; las abiertas siguen igual.
  • Cada agente puede tener un solo experimento en curso. Para empezar otro, pausa o termina el actual.
  • Pausar: todas las conversaciones usan A hasta que pulses Reanudar. Un experimento en borrador o pausado se puede Editar.
  • Si el agente está apagado, el experimento no recibe conversaciones.
  • Eliminar (papelera) borra el experimento y sus resultados; el agente sigue igual.

Los resultados

En Ver resultados ves los días en curso, las conversaciones con resultado en A y en B, la Probabilidad de ganar de cada variante y la Comparación: éxitos, fracasos, En espera (las que todavía no terminaron), tasa de éxito y cuánto falta para la muestra mínima.

Se actualizan solos cada hora y cada vez que abres la página. En la métrica de resolución, cuando la IA pasa una conversación a una persona el fracaso se anota al instante.

Cómo se declara la ganadora

  • Cuando las dos variantes llegan a la muestra mínima y una supera el 95 % de probabilidad de ser mejor, se declara ganadora sola: Ganó A o Ganó B.
  • Si con el triple de la muestra mínima no hay una diferencia clara, termina Sin ganador.
  • Si quieres decidir antes: Terminar → Declarar ganadora a A, Declarar ganadora a B o Terminar sin ganadora.

Usar las instrucciones de B

Si gana B, pulsa Usar las instrucciones de B en el agente y confirma con Sí, usar las de B. El agente responde con el texto de B desde ese momento y la versión anterior queda en el Historial de instrucciones, así que puedes volver atrás cuando quieras. Si gana A, no hace falta hacer nada.

Si no funciona

  • No veo el botón Experimento A/B: revisa tu plan (Escala o superior), que tengas permiso para editar agentes y que el agente esté guardado.
  • No me deja iniciar: ya hay otro experimento en curso en ese agente.
  • No entran conversaciones: el agente tiene que estar activo y conectado a un canal; solo cuentan las conversaciones nuevas.
  • La satisfacción no tiene datos: activa la encuesta de satisfacción del espacio.

Todo el detalle, con capturas, está en el capítulo 12 del manual en PDF de la guía completa de los Agentes de IA y en la Guía completa de los Agentes de IA.

Artículos relacionados

¿Te fue útil?

Artículos relacionados

Escríbenos por WhatsApp