Esegui un test A/B su una campagna

Un test A/B invia da due a cinque versioni di una campagna a un gruppo di test, attende, poi invia la versione con il risultato migliore al resto dei destinatari. Puoi testare l’oggetto, il testo di anteprima, il nome del mittente o l’intero contenuto, e scegliere la vincente in base al tasso di apertura, al tasso di clic, agli ordini o ai ricavi.

Come si svolge un test

1. Quando la campagna viene inviata, Emailit prende il gruppo di test, una quota dei destinatari scelti a caso, e lo divide in parti uguali tra le versioni.
2. La campagna risulta Testing mentre Emailit attende per il tempo che hai impostato.
3. Allo scadere del tempo, Emailit classifica le versioni in base alla metrica scelta e invia la versione in testa a tutti quelli che non fanno parte del gruppo di test. La campagna passa poi a Sent.

Con un gruppo di test del 100%, ogni destinatario riceve una delle versioni e non c’è una fase di scelta della vincente.

Imposta un test

1. Apri il passaggio del test A/B. Nella procedura guidata della campagna, vai ad A/B test e attiva Test versions of this email.

2. Scegli come viene scelta la vincente.

   Opzione	Classifica le versioni per
   Open rate	Aperture uniche per destinatario.
   Click rate	Clic unici per destinatario.
   Orders per recipient	Ordini attribuiti a ciascuna versione, per destinatario.
   Revenue per recipient	Ricavi degli ordini attribuiti a ciascuna versione, per destinatario.

   Orders per recipient e Revenue per recipient usano l’e-commerce, che è in alpha: solo il team di Emailit può sceglierle. Una campagna che ne usa già una la mantiene.

3. Imposta il gruppo di test e l’attesa. Test group (% of audience) va da 10 a 100 (predefinito 20). Wait before picking (hours) va da 1 a 168 (predefinito 4). Gli ordini arrivano più lentamente dei clic, quindi per i test su ordini o ricavi lascia almeno un giorno.

4. Modifica le versioni. Ogni versione ha i propri Subject, Preview text e From name. Lascia vuoto un campo per usare il valore della campagna. Seleziona Use different content per dare a una versione un contenuto email proprio; altrimenti usa il contenuto della campagna. Add version aggiunge versioni, fino a cinque.

5. Invia. I test A/B vengono inviati tutti insieme, subito o all’orario programmato. Le altre strategie di invio non sono disponibili per i test.

Leggi i risultati

Il report della campagna mostra un riquadro A/B test con Sent, Loaded, Clicked, Orders e Revenue per ogni versione (ordini e ricavi solo per il team di Emailit, finché l’e-commerce è in alpha), e un trofeo accanto alla vincente. La sua etichetta indica quanto è affidabile il risultato, in base alla probabilità che la versione in testa batta davvero la seconda:

Per i test sui ricavi, l’affidabilità viene calcolata sugli ordini. La metrica scelta e la percentuale sono mostrate accanto all’etichetta.

Termina un test in anticipo

Mentre la campagna è Testing, seleziona Send this one su una versione qualsiasi per inviarla subito al resto dei destinatari. Questo termina il test.

Se tutte le versioni ottengono lo stesso punteggio, ad esempio quando non è ancora stato attribuito nessun ordine, vince la prima versione.

Usa l’API

Passa ab_test quando crei o aggiorni una bozza:

{
  "ab_test": {
    "enabled": true,
    "winner_metric": "clicked",
    "test_size_percent": 20,
    "duration_hours": 6,
    "variants": [
      { "name": "A", "subject": "Our autumn collection is here" },
      { "name": "B", "subject": "{{first_name|\"Hey\"}}, new arrivals picked for you" }
    ]
  }
}

variants accetta da due a cinque versioni. Ognuna può impostare subject, preview_text, from_name, from_email, html e text. Invia { "enabled": false } per disattivare il test. Recupera le statistiche di una campagna restituisce i risultati di ogni versione in ab_test.

Vedi anche