Tester une campagne en A/B

Un test A/B envoie de deux à cinq versions d’une campagne à un groupe de test, attend, puis envoie la version la plus performante au reste de la liste. Testez des lignes d’objet, le texte d’aperçu, le nom de l’expéditeur ou tout le contenu, et choisissez la gagnante selon le taux d’ouverture, le taux de clics, les commandes ou le chiffre d’affaires.

Déroulement d’un test

1. À l’envoi de la campagne, Emailit prend le groupe de test, une part des destinataires tirée au hasard, et le répartit équitablement entre les versions.
2. La campagne apparaît comme Testing pendant qu’Emailit attend le délai que vous avez défini.
3. Une fois le délai écoulé, Emailit classe les versions selon le critère de victoire et envoie la version en tête à toutes les personnes qui ne font pas partie du groupe de test. La campagne passe alors à Sent.

Avec un groupe de test de 100 %, chaque destinataire reçoit l’une des versions et il n’y a pas de phase de sélection de la gagnante.

Configurer un test

1. Ouvrez l’étape A/B test. Dans l’assistant de campagne, accédez à A/B test et activez Test versions of this email.

2. Choisissez comment la gagnante est désignée.

   Option	Classe les versions selon
   Open rate	Les ouvertures uniques par destinataire.
   Click rate	Les clics uniques par destinataire.
   Orders per recipient	Les commandes attribuées à chaque version, par destinataire.
   Revenue per recipient	Le chiffre d’affaires des commandes attribuées à chaque version, par destinataire.

   Orders per recipient et Revenue per recipient utilisent Commerce, qui est en alpha : seule l’équipe Emailit peut les choisir. Une campagne qui utilise déjà l’un de ces critères le conserve.

3. Définissez le groupe de test et le délai d’attente. Test group (% of audience) va de 10 à 100 (20 par défaut). Wait before picking (hours) va de 1 à 168 (4 par défaut). Les commandes arrivent plus lentement que les clics : pour un test sur les commandes ou le chiffre d’affaires, prévoyez au moins un jour.

4. Modifiez les versions. Chaque version a ses propres Subject, Preview text et From name. Laissez un champ vide pour utiliser la valeur de la campagne. Sélectionnez Use different content pour donner à une version son propre contenu d’e-mail ; sinon, elle utilise le contenu de la campagne. Add version ajoute des versions, jusqu’à cinq.

5. Envoyez. Les tests A/B sont envoyés tout d’un coup, immédiatement ou à une heure programmée. Les autres stratégies d’envoi ne sont pas disponibles pour eux.

Lire les résultats

Le rapport de la campagne affiche une carte A/B test avec, pour chaque version, Sent, Loaded, Clicked, Orders et Revenue (commandes et chiffre d’affaires réservés à l’équipe Emailit tant que Commerce est en alpha), et un trophée à côté de la gagnante. Son libellé indique le degré de confiance du résultat, d’après la probabilité que la version en tête batte réellement la deuxième :

Pour les tests sur le chiffre d’affaires, la confiance est calculée sur les commandes. Le critère de victoire et le pourcentage sont affichés à côté du libellé.

Terminer un test plus tôt

Tant que la campagne est Testing, sélectionnez Send this one sur n’importe quelle version pour l’envoyer immédiatement au reste de la liste. Cela met fin au test.

Si toutes les versions obtiennent le même score, par exemple quand aucune commande n’a encore été attribuée, la première version l’emporte.

Utiliser l’API

Transmettez ab_test quand vous créez ou mettez à jour un brouillon :

{
  "ab_test": {
    "enabled": true,
    "winner_metric": "clicked",
    "test_size_percent": 20,
    "duration_hours": 6,
    "variants": [
      { "name": "A", "subject": "Our autumn collection is here" },
      { "name": "B", "subject": "{{first_name|\"Hey\"}}, new arrivals picked for you" }
    ]
  }
}

variants accepte de deux à cinq versions. Chacune peut définir subject, preview_text, from_name, from_email, html et text. Envoyez { "enabled": false } pour désactiver le test. Récupérer les statistiques d’une campagne renvoie les résultats de chaque version dans ab_test.

Voir aussi