Réaliser un test A/B sur une campagne

Le test A/B consiste à envoyer deux versions d’un email à deux groupes tirés au hasard, puis à comparer. C’est simple à lancer et facile à mal interpréter.

Le problème de taille

Un écart entre deux versions ne veut dire quelque chose que si l’échantillon est assez grand pour que le hasard soit exclu.

Prenons un cas courant. Deux groupes de 500 personnes, un taux de clic de 3,0 % contre 3,6 %. Cela fait 15 clics contre 18. Trois clics d’écart, sur des groupes où une poignée de personnes de bonne humeur suffit à faire la différence. Ce test ne prouve rien.

Pour détecter un écart relatif de 20 % sur un taux de clic de 3 %, il faut de l’ordre de plusieurs milliers de destinataires par version. En dessous de 2 000 par groupe, seuls les écarts énormes sont interprétables.

Si votre liste fait 800 contacts, ne testez pas : envoyez la version qui vous paraît la meilleure et gardez votre énergie.

Tester une chose à la fois

Deux versions qui diffèrent par l’objet et par le bouton ne vous apprennent rien : vous ne saurez pas lequel des deux a joué, et les deux ont pu jouer en sens contraire.

Une variable, deux versions, un résultat interprétable.

Ce qui vaut la peine

Par ordre d’effet décroissant, d’après ce qu’on observe généralement :

Le nom de l’expéditeur. L’effet le plus fort, et le moins testé. « Camille de la Librairie du Port » contre « Librairie du Port » change souvent plus de choses que n’importe quelle retouche d’objet.

L’offre elle-même. Livraison offerte contre 10 % de remise, à valeur équivalente. Ce n’est pas une question de rédaction, c’est une question commerciale, et c’est là que se trouvent les gros écarts.

L’objet, à condition de juger sur le clic et pas sur l’ouverture.

Le moment d’envoi, mais il demande deux campagnes distinctes plutôt qu’un test A/B classique.

Le bouton, son libellé plus que sa couleur. Les tests de couleur de bouton donnent des résultats spectaculaires dans les études de cas et nuls dans la vraie vie.

Pourquoi l’ouverture n’est plus un bon juge

Depuis 2021, Apple Mail charge les images de suivi automatiquement, que le message soit lu ou non. Sur une liste française grand public, cela représente souvent 40 à 60 % des ouvertures déclarées.

Un test d’objet jugé sur l’ouverture mesure donc en partie du bruit. Jugez sur le taux de clic rapporté au nombre de destinataires, pas au nombre d’ouvreurs.

Le protocole qui tient

Décidez avant l’envoi de l’indicateur que vous regarderez et de l’écart qui vous fera changer d’avis. Décider après revient à choisir le chiffre qui arrange.

Répartissez au hasard, pas par ordre alphabétique ni par date d’inscription : les contacts les plus anciens ne se comportent pas comme les plus récents.

Envoyez les deux versions en même temps. Une heure d’écart introduit une variable que vous ne contrôlez pas.

Attendez quarante-huit heures. Les clics s’étalent, et le classement peut s’inverser entre la sixième et la trente-sixième heure.

Le test sur échantillon, proposé par les outils

La plupart des plateformes proposent d’envoyer les deux versions à 20 % de la liste, puis la gagnante aux 80 % restants.

C’est commode, mais la décision se prend alors sur un échantillon réduit et après quelques heures seulement, donc souvent sur l’ouverture. Le gagnant désigné est parfois le perdant réel.

Cette fonction a du sens sur les très grandes listes, où 10 % représentent déjà plusieurs milliers de personnes. En dessous, préférez un test franc en deux moitiés dont vous tirez un enseignement pour la campagne suivante.

Ce qu’un test ne dira jamais

Il compare deux options que vous avez imaginées. Il ne vous dira pas qu’une troisième, à laquelle vous n’avez pas pensé, ferait trois fois mieux.

Les progrès importants viennent rarement d’un test A/B. Ils viennent d’un changement de fond : parler à un segment plutôt qu’à toute la liste, changer d’offre, changer de rythme.