Experimentos A/B: teste outras instruções com clientes reais

Compare as instruções atuais do seu agente (A) com outra versão (B) em conversas reais e fique com a que funciona melhor.

Jun 26, 2026

Respostas mais curtas resolvem mais? Vale a pena oferecer o agendamento na primeira mensagem? Com um experimento A/B você testa com clientes reais em vez de adivinhar.

  • A variante A é o seu agente como está hoje.
  • A variante B é o mesmo agente (mesmo nível do motor, ferramentas, conhecimento e horário) com outras instruções que você escreve.

Cada conversa nova que a IA atende fica em A ou em B e permanece ali até o fim. O Omnifox registra como cada uma terminou e diz qual funcionou melhor.

Disponível a partir do plano Escala (e no Exclusivo). Nos outros planos aparece «Os experimentos A/B estão disponíveis a partir do plano Escala» e o botão Melhorar plano. Só veem quem pode editar agentes (proprietário e administradores).

Como criar um experimento

  1. Abra Agentes IA, entre no seu agente e vá à aba Instruções.
  2. Acima do editor clique em Experimento A/B (ao lado de Usar modelo, Histórico e Otimizar com IA). O agente precisa estar salvo.
  3. Clique em Novo experimento (ou Criar o primeiro experimento).
  4. Preencha:
    • Nome do experimento (obrigatório) e Descrição (opcional). Ex.: «Respostas mais curtas».
    • Divisão das conversas: que parte das conversas novas vai para B. Por padrão, 50% / 50%.
    • Como o sucesso é medido: uma das três métricas (veja abaixo).
    • Amostra mínima por variante: quantas conversas com resultado cada variante precisa antes de decidir (100 por padrão).
    • Instruções da variante B: começam como cópia das atuais; mude só o que quer testar.
  5. Clique em Salvar. O experimento fica como Rascunho.
  6. Na lista de experimentos clique em Iniciar.

Dica: mude uma coisa só por experimento. Se mudar cinco de uma vez, não vai saber qual fez a diferença. Se B ficar igual a A, não deixa salvar.

As três métricas

Métrica Sucesso Fracasso
Resolução sem passar para uma pessoa A conversa terminou (foi resolvida, fechada ou ficou 72 horas sem mensagens) sem passar para uma pessoa. A IA passou para uma pessoa, foi atribuída a alguém da equipe ou uma pessoa respondeu.
Conversão (agendamento ou pedido) Foi agendado um horário ou criado um pedido (não cancelado) na conversa. Terminou (fechada ou 72 horas sem mensagens) sem nenhum dos dois.
Satisfação (pesquisa) O cliente avaliou bem: 4 ou 5 de 5, 8 a 10 de 10, ou polegar para cima. Avaliou mal. As que não respondem à pesquisa em 7 dias não contam.

Para medir a satisfação, a pesquisa precisa estar ativa em Espaço de trabalho → Pesquisa de satisfação; se não estiver, o editor avisa.

Enquanto roda

  • Só as conversas novas que a IA atende são divididas; as abertas continuam como estavam.
  • Cada agente pode ter um só experimento em andamento. Para começar outro, pause ou encerre o atual.
  • Pausar: todas as conversas usam A até você clicar em Retomar. Um experimento em rascunho ou pausado pode ser Editado.
  • Se o agente estiver desligado, o experimento não recebe conversas.
  • Excluir (lixeira) apaga o experimento e seus resultados; o agente continua igual.

Os resultados

Em Ver resultados você vê os dias em andamento, as conversas com resultado em A e em B, a Probabilidade de vencer de cada variante e a Comparação: sucessos, fracassos, Aguardando (ainda não terminaram), taxa de sucesso e quanto falta para a amostra mínima.

Eles se atualizam sozinhos a cada hora e cada vez que você abre a página. Na métrica de resolução, quando a IA passa uma conversa para uma pessoa o fracasso é registrado na hora.

Como a vencedora é declarada

  • Quando as duas variantes chegam à amostra mínima e uma passa de 95% de probabilidade de ser melhor, ela é declarada vencedora sozinha: A venceu ou B venceu.
  • Se com o triplo da amostra mínima não houver diferença clara, termina Sem vencedor.
  • Para decidir antes: Encerrar → Declarar A vencedora, Declarar B vencedora ou Encerrar sem vencedora.

Usar as instruções de B

Se B vencer, clique em Usar as instruções de B no agente e confirme com Sim, usar as de B. O agente passa a responder com o texto de B e a versão anterior fica no Histórico de instruções, então você pode voltar atrás quando quiser. Se A vencer, não precisa fazer nada.

Se não funcionar

  • Não vejo o botão Experimento A/B: confira seu plano (Escala ou superior), se você pode editar agentes e se o agente está salvo.
  • Não deixa iniciar: já existe outro experimento em andamento nesse agente.
  • Não entram conversas: o agente precisa estar ativo e conectado a um canal; só contam as conversas novas.
  • A satisfação não tem dados: ative a pesquisa de satisfação do espaço.

Todos os detalhes, com capturas, estão no capítulo 12 do manual em PDF do guia completo dos Agentes de IA e no Guia completo dos Agentes de IA.

Artigos relacionados

Isso foi útil?

Artigos relacionados

Fale conosco no WhatsApp