Les moyennes de secteur, et pourquoi s'en méfier

Chaque plateforme publie son étude annuelle, avec un tableau par secteur. C’est le premier chiffre que l’on cherche quand on veut savoir si l’on s’en sort bien, et c’est rarement une bonne idée.

D’où viennent ces chiffres

Chaque éditeur agrège les envois de ses propres clients. Le tableau de Mailchimp décrit les clients de Mailchimp, celui de Brevo les siens.

Ces populations n’ont rien à voir. Une plateforme dont l’offre d’entrée est gratuite compte beaucoup de très petites listes, souvent très engagées, ce qui tire les moyennes vers le haut. Une plateforme vendue aux grandes entreprises mesure des envois massifs à des bases anciennes, ce qui les tire vers le bas.

Les périodes diffèrent, les pays aussi, et la définition d’un secteur varie d’une étude à l’autre. Votre activité tombera dans « commerce de détail » chez l’un et dans « biens de consommation » chez l’autre.

Le problème de l’ouverture

La plupart de ces tableaux mettent en avant le taux d’ouverture, qui est devenu l’indicateur le moins comparable qui soit.

Deux études publiées la même année sur le même secteur peuvent différer de dix points simplement parce que l’une exclut les ouvertures attribuées au préchargement d’Apple Mail et l’autre non. Aucune ne détaille sa méthode au point de permettre le calcul inverse.

Comparer votre taux d’ouverture à une moyenne publiée, c’est comparer deux mesures qui n’ont pas la même définition.

Ce qu’une moyenne cache

Une moyenne de secteur écrase des situations qui n’ont rien de commun.

Une liste de 300 clients fidèles obtient des chiffres qu’une liste de 50 000 contacts froids n’atteindra jamais, et l’inverse serait inquiétant. Les deux sont dans le même secteur et dans la même moyenne.

L’âge de la liste, la fréquence d’envoi, la façon dont les adresses ont été collectées pèsent bien plus lourd que le secteur d’activité. Une base construite par double opt-in et une base constituée par jeu-concours ne se comparent pas, même vitrine, même ville, même métier.

À quoi se comparer

À vous-même, trois mois plus tôt. C’est la seule comparaison dont les deux termes sont mesurés de la même façon, sur le même public, avec le même outil.

À votre meilleur envoi. Regardez ce qu’il avait de particulier, et voyez si c’est reproductible.

À une autre version du même envoi, par un test A/B. C’est la seule comparaison qui isole vraiment une variable.

Ce à quoi elles servent quand même

Repérer un ordre de grandeur aberrant. Si votre taux de clic est à 0,05 % quand toutes les études annoncent entre 1 et 3 %, le problème n’est pas dans la nuance méthodologique : quelque chose est cassé.

Et argumenter en interne, ce qui est un usage honnête à condition de dire d’où vient le chiffre et ce qu’il recouvre.

Pour le reste, votre historique vaut mieux que n’importe quelle étude, et c’est exactement ce que le tableau de bord mensuel sert à constituer.