Fazer um teste A/B em uma campanha

Um teste A/B envia de duas a cinco versões de uma campanha para um grupo de teste, aguarda e depois envia a versão que teve o melhor desempenho para o restante dos destinatários. Teste linhas de assunto, o texto de pré-visualização, o nome do remetente ou o conteúdo inteiro e escolha a vencedora pela taxa de abertura, pela taxa de cliques, pelos pedidos ou pela receita.

Como um teste funciona

1. Quando a campanha é enviada, o Emailit separa o grupo de teste, uma parcela dos destinatários escolhida aleatoriamente, e o divide igualmente entre as versões.
2. A campanha aparece como Testing enquanto o Emailit aguarda o tempo que você definiu.
3. Quando o tempo acaba, o Emailit classifica as versões pela métrica de escolha da vencedora e envia a versão que está à frente para todos que não estão no grupo de teste. A campanha passa então para Sent.

Com um grupo de teste de 100%, cada destinatário recebe uma das versões e não há fase de escolha da vencedora.

Configurar um teste

1. Abra a etapa de teste A/B. No assistente de campanha, acesse A/B test e ative Test versions of this email.

2. Escolha como a vencedora é definida.

   Opção	Classifica as versões por
   Open rate	Aberturas únicas por destinatário.
   Click rate	Cliques únicos por destinatário.
   Orders per recipient	Pedidos atribuídos a cada versão, por destinatário.
   Revenue per recipient	Receita dos pedidos atribuídos a cada versão, por destinatário.

   Orders per recipient e Revenue per recipient usam o e-commerce, que está em alfa: só a equipe do Emailit pode escolhê-las. Uma campanha que já usa uma delas continua com ela.

3. Defina o grupo de teste e a espera. Test group (% of audience) vai de 10 a 100 (padrão 20). Wait before picking (hours) vai de 1 a 168 (padrão 4). Os pedidos demoram mais que os cliques, então dê um dia ou mais aos testes por pedidos ou receita.

4. Edite as versões. Cada versão tem os próprios Subject, Preview text e From name. Deixe um campo vazio para usar o valor da campanha. Selecione Use different content para dar a uma versão um conteúdo de e-mail próprio; caso contrário, ela usa o conteúdo da campanha. Add version adiciona versões, até cinco.

5. Envie. Os testes A/B são enviados de uma só vez, agora ou em um horário agendado. As outras estratégias de envio não estão disponíveis para eles.

Ler os resultados

O relatório da campanha mostra um card A/B test com Sent, Loaded, Clicked, Orders e Revenue de cada versão (pedidos e receita apenas para a equipe do Emailit, enquanto o e-commerce estiver em alfa) e um troféu ao lado da vencedora. O rótulo do card indica o grau de confiança do resultado, com base na probabilidade de a versão que está à frente realmente superar a segunda colocada:

Nos testes por receita, a confiança é calculada com base nos pedidos. A métrica de escolha da vencedora e a porcentagem aparecem ao lado do rótulo.

Encerrar um teste antes da hora

Enquanto a campanha está em Testing, selecione Send this one em qualquer versão para enviá-la na hora para o restante dos destinatários. Isso encerra o teste.

Se todas as versões tiverem o mesmo resultado, por exemplo quando ainda não há pedidos atribuídos, a primeira versão vence.

Usar a API

Passe ab_test ao criar ou atualizar um rascunho:

{
  "ab_test": {
    "enabled": true,
    "winner_metric": "clicked",
    "test_size_percent": 20,
    "duration_hours": 6,
    "variants": [
      { "name": "A", "subject": "Our autumn collection is here" },
      { "name": "B", "subject": "{{first_name|\"Hey\"}}, new arrivals picked for you" }
    ]
  }
}

variants aceita de duas a cinco versões. Cada uma pode definir subject, preview_text, from_name, from_email, html e text. Envie { "enabled": false } para desativar o teste. Obter as estatísticas de uma campanha retorna os resultados de cada versão em ab_test.

Veja também