Experimentos A/B: teste outras instruções com clientes reais
Compare as instruções atuais do seu agente (A) com outra versão (B) em conversas reais e fique com a que funciona melhor.
Respostas mais curtas resolvem mais? Vale a pena oferecer o agendamento na primeira mensagem? Com um experimento A/B você testa com clientes reais em vez de adivinhar.
- A variante A é o seu agente como está hoje.
- A variante B é o mesmo agente (mesmo nível do motor, ferramentas, conhecimento e horário) com outras instruções que você escreve.
Cada conversa nova que a IA atende fica em A ou em B e permanece ali até o fim. O Omnifox registra como cada uma terminou e diz qual funcionou melhor.
Disponível a partir do plano Escala (e no Exclusivo). Nos outros planos aparece «Os experimentos A/B estão disponíveis a partir do plano Escala» e o botão Melhorar plano. Só veem quem pode editar agentes (proprietário e administradores).
Como criar um experimento
- Abra Agentes IA, entre no seu agente e vá à aba Instruções.
- Acima do editor clique em Experimento A/B (ao lado de Usar modelo, Histórico e Otimizar com IA). O agente precisa estar salvo.
- Clique em Novo experimento (ou Criar o primeiro experimento).
- Preencha:
- Nome do experimento (obrigatório) e Descrição (opcional). Ex.: «Respostas mais curtas».
- Divisão das conversas: que parte das conversas novas vai para B. Por padrão, 50% / 50%.
- Como o sucesso é medido: uma das três métricas (veja abaixo).
- Amostra mínima por variante: quantas conversas com resultado cada variante precisa antes de decidir (100 por padrão).
- Instruções da variante B: começam como cópia das atuais; mude só o que quer testar.
- Clique em Salvar. O experimento fica como Rascunho.
- Na lista de experimentos clique em Iniciar.
Dica: mude uma coisa só por experimento. Se mudar cinco de uma vez, não vai saber qual fez a diferença. Se B ficar igual a A, não deixa salvar.
As três métricas
| Métrica | Sucesso | Fracasso |
|---|---|---|
| Resolução sem passar para uma pessoa | A conversa terminou (foi resolvida, fechada ou ficou 72 horas sem mensagens) sem passar para uma pessoa. | A IA passou para uma pessoa, foi atribuída a alguém da equipe ou uma pessoa respondeu. |
| Conversão (agendamento ou pedido) | Foi agendado um horário ou criado um pedido (não cancelado) na conversa. | Terminou (fechada ou 72 horas sem mensagens) sem nenhum dos dois. |
| Satisfação (pesquisa) | O cliente avaliou bem: 4 ou 5 de 5, 8 a 10 de 10, ou polegar para cima. | Avaliou mal. As que não respondem à pesquisa em 7 dias não contam. |
Para medir a satisfação, a pesquisa precisa estar ativa em Espaço de trabalho → Pesquisa de satisfação; se não estiver, o editor avisa.
Enquanto roda
- Só as conversas novas que a IA atende são divididas; as abertas continuam como estavam.
- Cada agente pode ter um só experimento em andamento. Para começar outro, pause ou encerre o atual.
- Pausar: todas as conversas usam A até você clicar em Retomar. Um experimento em rascunho ou pausado pode ser Editado.
- Se o agente estiver desligado, o experimento não recebe conversas.
- Excluir (lixeira) apaga o experimento e seus resultados; o agente continua igual.
Os resultados
Em Ver resultados você vê os dias em andamento, as conversas com resultado em A e em B, a Probabilidade de vencer de cada variante e a Comparação: sucessos, fracassos, Aguardando (ainda não terminaram), taxa de sucesso e quanto falta para a amostra mínima.
Eles se atualizam sozinhos a cada hora e cada vez que você abre a página. Na métrica de resolução, quando a IA passa uma conversa para uma pessoa o fracasso é registrado na hora.
Como a vencedora é declarada
- Quando as duas variantes chegam à amostra mínima e uma passa de 95% de probabilidade de ser melhor, ela é declarada vencedora sozinha: A venceu ou B venceu.
- Se com o triplo da amostra mínima não houver diferença clara, termina Sem vencedor.
- Para decidir antes: Encerrar → Declarar A vencedora, Declarar B vencedora ou Encerrar sem vencedora.
Usar as instruções de B
Se B vencer, clique em Usar as instruções de B no agente e confirme com Sim, usar as de B. O agente passa a responder com o texto de B e a versão anterior fica no Histórico de instruções, então você pode voltar atrás quando quiser. Se A vencer, não precisa fazer nada.
Se não funcionar
- Não vejo o botão Experimento A/B: confira seu plano (Escala ou superior), se você pode editar agentes e se o agente está salvo.
- Não deixa iniciar: já existe outro experimento em andamento nesse agente.
- Não entram conversas: o agente precisa estar ativo e conectado a um canal; só contam as conversas novas.
- A satisfação não tem dados: ative a pesquisa de satisfação do espaço.
Todos os detalhes, com capturas, estão no capítulo 12 do manual em PDF do guia completo dos Agentes de IA e no Guia completo dos Agentes de IA.
Artigos relacionados
Artigos relacionados
-
Crie seu primeiro agente de IA
Aprenda o que um agente de IA faz no Omnifox, como dar instrucoes, conecta-lo a um canal e testa-lo no sandbox antes de falar com clientes reais.
-
Como escrever boas instruções para seu agente de IA
Aprenda a redigir instruções claras para que seu agente de IA responda com o tom, os limites e as ações corretas.
-
Guia completo dos Agentes de IA
Os Agentes de IA a fundo, em 65 capítulos: criar, instruções, ferramentas, conhecimento, comportamento, teste, caixa de entrada, fluxos, análise e consumo, com cada opção explicada.
-
Conectar seu agente de IA ao WhatsApp, Instagram, Messenger e chat do site
Um agente sem canais não atende ninguém. Conecte-o ao seu WhatsApp, Instagram, Messenger ou ao chat do seu site na seção Conexões e ative-o para ele começar a responder.
-
Comece aqui: os Agentes de IA em 8 minutos
O essencial dos Agentes de IA em um vídeo curto: criar um agente, as instruções, ferramentas, conhecimento, canais, o teste, o horário e a passagem para uma pessoa.