Experimentos A/B: prueba otras instrucciones con clientes reales
Compara las instrucciones actuales de tu agente (A) con otra versión (B) en conversaciones reales y quédate con la que mejor funciona.
¿Las respuestas más cortas resuelven más? ¿Conviene proponer la cita en el primer mensaje? Con un experimento A/B lo pruebas con clientes reales en vez de adivinar.
- La variante A es tu agente tal como está hoy.
- La variante B es el mismo agente (mismo nivel del motor, herramientas, conocimiento y horario) con otras instrucciones que escribes tú.
Cada conversación nueva que atiende la IA queda en A o en B y se queda ahí hasta el final. Omnifox anota cómo terminó cada una y te dice cuál funcionó mejor.
Disponible desde el plan Escala (y en Exclusivo). En los demás planes verás «Los experimentos A/B están disponibles desde el plan Escala» y el botón Mejorar plan. Solo lo ven quienes pueden editar agentes (propietario y administradores).
Cómo crear un experimento
- Abre Agentes IA, entra a tu agente y ve a la pestaña Instrucciones.
- Arriba del editor pulsa Experimento A/B (junto a Usar plantilla, Historial y Optimizar con IA). El agente tiene que estar guardado.
- Pulsa Nuevo experimento (o Crear el primer experimento).
- Completa:
- Nombre del experimento (obligatorio) y Descripción (opcional). Ej.: «Respuestas más cortas».
- Reparto de conversaciones: qué parte de las conversaciones nuevas va a B. De fábrica, 50 % / 50 %.
- Cómo se mide el éxito: una de las tres métricas (ver abajo).
- Muestra mínima por variante: cuántas conversaciones con resultado necesita cada variante antes de decidir (100 de fábrica).
- Instrucciones de la variante B: empiezan como copia de las actuales; cambia solo lo que quieres probar.
- Pulsa Guardar. El experimento queda en Borrador.
- En la lista de experimentos pulsa Iniciar.
Consejo: cambia una sola cosa por experimento. Si cambias cinco a la vez, no sabrás cuál hizo la diferencia. Si B queda igual a A, no te deja guardar.
Las tres métricas
| Métrica | Éxito | Fracaso |
|---|---|---|
| Resolución sin pasar a una persona | La conversación terminó (se resolvió, se cerró o pasaron 72 horas sin mensajes) sin pasar a una persona. | La IA la pasó a una persona, se asignó a alguien del equipo o una persona respondió. |
| Conversión (cita o pedido) | Se agendó una cita o se creó un pedido (no cancelado) en la conversación. | Terminó (se cerró o 72 horas sin mensajes) sin ninguno de los dos. |
| Satisfacción (encuesta) | El cliente calificó bien: 4 o 5 de 5, 8 a 10 de 10, o pulgar arriba. | La calificó mal. Las que no responden la encuesta en 7 días no cuentan. |
Para la satisfacción, la encuesta tiene que estar activa en Espacio de trabajo → Encuesta de satisfacción; si no, el editor te avisa.
Mientras corre
- Solo las conversaciones nuevas que atiende la IA se reparten; las abiertas siguen igual.
- Cada agente puede tener un solo experimento en curso. Para empezar otro, pausa o termina el actual.
- Pausar: todas las conversaciones usan A hasta que pulses Reanudar. Un experimento en borrador o pausado se puede Editar.
- Si el agente está apagado, el experimento no recibe conversaciones.
- Eliminar (papelera) borra el experimento y sus resultados; el agente sigue igual.
Los resultados
En Ver resultados ves los días en curso, las conversaciones con resultado en A y en B, la Probabilidad de ganar de cada variante y la Comparación: éxitos, fracasos, En espera (las que todavía no terminaron), tasa de éxito y cuánto falta para la muestra mínima.
Se actualizan solos cada hora y cada vez que abres la página. En la métrica de resolución, cuando la IA pasa una conversación a una persona el fracaso se anota al instante.
Cómo se declara la ganadora
- Cuando las dos variantes llegan a la muestra mínima y una supera el 95 % de probabilidad de ser mejor, se declara ganadora sola: Ganó A o Ganó B.
- Si con el triple de la muestra mínima no hay una diferencia clara, termina Sin ganador.
- Si quieres decidir antes: Terminar → Declarar ganadora a A, Declarar ganadora a B o Terminar sin ganadora.
Usar las instrucciones de B
Si gana B, pulsa Usar las instrucciones de B en el agente y confirma con Sí, usar las de B. El agente responde con el texto de B desde ese momento y la versión anterior queda en el Historial de instrucciones, así que puedes volver atrás cuando quieras. Si gana A, no hace falta hacer nada.
Si no funciona
- No veo el botón Experimento A/B: revisa tu plan (Escala o superior), que tengas permiso para editar agentes y que el agente esté guardado.
- No me deja iniciar: ya hay otro experimento en curso en ese agente.
- No entran conversaciones: el agente tiene que estar activo y conectado a un canal; solo cuentan las conversaciones nuevas.
- La satisfacción no tiene datos: activa la encuesta de satisfacción del espacio.
Todo el detalle, con capturas, está en el capítulo 12 del manual en PDF de la guía completa de los Agentes de IA y en la Guía completa de los Agentes de IA.
Artículos relacionados
Artículos relacionados
-
Crear tu primer agente de IA
Aprende qué hace un agente de IA en Omnifox, cómo darle instrucciones, conectarlo a un canal y probarlo en el sandbox antes de que hable con clientes reales.
-
Cómo escribir buenas instrucciones para tu agente de IA
Aprende a redactar instrucciones claras para que tu agente de IA responda con el tono, los límites y las acciones correctas.
-
Guía completa de los Agentes de IA
Los Agentes de IA a fondo, en 65 capítulos: crear, instrucciones, herramientas, conocimiento, comportamiento, probador, bandeja, flujos, analítica y consumo, con cada opción explicada.
-
Conectar tu agente de IA a WhatsApp, Instagram, Messenger y el chat web
Un agente sin canales no atiende a nadie. Conéctalo a tu WhatsApp, Instagram, Messenger o al chat de tu sitio web desde la sección Conexiones, y enciéndelo para que empiece a responder.
-
Empieza aquí: los Agentes de IA en 8 minutos
Lo esencial de los Agentes de IA en un video corto: crear un agente, sus instrucciones, herramientas, conocimiento, canales, el probador, el horario y el paso a una persona.