A/B testování kampaně

A/B test odešle dvě až pět verzí kampaně testovací skupině, počká a pak verzi, která si vedla nejlépe, odešle zbytku příjemců. Testujte předměty, text náhledu, jméno odesílatele nebo celý obsah a vítěze vybírejte podle míry otevření, míry prokliků, objednávek nebo tržeb.

Jak test probíhá

1. Při odeslání kampaně Emailit vezme testovací skupinu, náhodně vybraný podíl příjemců, a rovnoměrně ji rozdělí mezi verze.
2. Kampaň se zobrazuje ve stavu Testing, zatímco Emailit čeká nastavenou dobu.
3. Po uplynutí této doby Emailit seřadí verze podle metriky pro výběr vítěze a vedoucí verzi odešle všem, kdo nejsou v testovací skupině. Kampaň pak přejde do stavu Sent.

Při testovací skupině 100 % dostane každý příjemce jednu z verzí a fáze s vítězem odpadá.

Nastavte test

1. Otevřete krok A/B test. V průvodci kampaní přejděte na A/B test a zapněte Test versions of this email.

2. Zvolte, jak se vybere vítěz.

   Možnost	Řadí verze podle
   Open rate	Jedinečných otevření na příjemce.
   Click rate	Jedinečných prokliků na příjemce.
   Orders per recipient	Počtu objednávek připsaných každé verzi, na příjemce.
   Revenue per recipient	Tržeb z objednávek připsaných každé verzi, na příjemce.

   Orders per recipient a Revenue per recipient využívají E-commerce, které je v alfaverzi: zvolit je může jen tým Emailitu. Kampaň, která už jednu z nich používá, si ji ponechá.

3. Nastavte testovací skupinu a dobu čekání. Test group (% of audience) je od 10 do 100 (výchozí hodnota 20). Wait before picking (hours) je od 1 do 168 (výchozí hodnota 4). Objednávky přicházejí později než prokliky, takže testům podle objednávek nebo tržeb dejte den nebo víc.

4. Upravte verze. Každá verze má vlastní Subject, Preview text a From name. Pokud pole necháte prázdné, použije se hodnota kampaně. Výběrem Use different content dáte verzi vlastní obsah e-mailu; jinak používá obsah kampaně. Add version přidává verze, celkem až pět.

5. Odešlete. A/B testy se odesílají najednou, hned, nebo v naplánovaný čas. Ostatní strategie odesílání pro ně nejsou dostupné.

Přečtěte si výsledky

Report kampaně ukazuje panel A/B test s údaji Sent, Loaded, Clicked, Orders a Revenue pro každou verzi (objednávky a tržby jen pro tým Emailitu, dokud je E-commerce v alfaverzi) a s trofejí u vítěze. Jeho označení říká, jak spolehlivý výsledek je, podle pravděpodobnosti, že vedoucí verze skutečně překonává druhou v pořadí:

U testů podle tržeb se spolehlivost počítá z objednávek. Vedle označení se zobrazuje metrika pro výběr vítěze a procento.

Ukončete test předčasně

Dokud je kampaň ve stavu Testing, výběrem Send this one u kterékoli verze ji hned odešlete zbytku příjemců. Tím test skončí.

Pokud mají všechny verze stejný výsledek, například když zatím nebyly připsány žádné objednávky, vyhrává první verze.

Práce s API

Předejte ab_test při vytvoření nebo úpravě konceptu:

{
  "ab_test": {
    "enabled": true,
    "winner_metric": "clicked",
    "test_size_percent": 20,
    "duration_hours": 6,
    "variants": [
      { "name": "A", "subject": "Our autumn collection is here" },
      { "name": "B", "subject": "{{first_name|\"Hey\"}}, new arrivals picked for you" }
    ]
  }
}

variants přijímá dvě až pět verzí. Každá může nastavit subject, preview_text, from_name, from_email, html a text. Test vypnete odesláním { "enabled": false }. Načtení statistik kampaně vrací výsledky každé verze v ab_test.

Související