Les tests de fichiers

Concernant les tests, la question qui revient le plus souvent est "combien d'adresses faut'il tester ?".

Le nombre d'adresses par fichier testé est toujours un compromis entre une prise de risque (si le fichier ne fonctionnait pas) et le niveau de précision avec lequel vous souhaitez interpréter sa performance (si le fichier fonctionne et si vous décidez de le généraliser). C'est en effet le taux de remontée (nombre de réponses ou commandes sur quantité expédiée) rapporté à la taille de l'échantillon testé qui déterminera l'intervalle de confiance, plage de probabilité dans laquelle devrait se situer statistiquement le rendement que vous obtiendrez lors de l'extrapolation. Et ce quel que soit le volume d'adresse extrapolé, c'est-à-dire tout ou partie du solde des adresses disponibles.

Exemple :

Vous effectuez un test de 5000 adresses prises aléatoirement sur un fichier présentant un potentiel total de 25000 adresses et obtenez un rendement de 1% (50 commandes). Vous aurez 95 % de chances que les 20000 adresses restantes, issues du même fichier et prospectées avec la même offre vous rapportent entre 0.72% et 1.28% de commandes.

Cette même marge d'erreur s'appliquerait de même si vous aviez extrapolé sur 50000, 100000 ou 1 million d'adresses. Pourvu que l'échantillon testé soit réellement représentatif de l'ensemble du fichier, c'est-à-dire prélevé de manière aléatoire ou aléatoire-séquentielle (les adresses sont classées par ordre de codes postaux et par ordre alphabétique à l'intérieur d'un même code postal, puis il est prélevé une adresse sur X, X étant la fraction de l'échantillon test par rapport au potentiel total. (X=5 si notre test porte sur 10000 adresses issues d'un fichier de 50000, X=20 si test de 5000 sur 100000...).

Nous avons donc à arbitrer entre une quantité la plus faible possible pour parer à un éventuel « flop » et malgré tout la plus « statistiquement lisible » pour ne pas avoir de déconvenue lors d'extrapolation. Combien de fois ai-je vu de vépécistes s'étonner de rendements en deçà du taux réalisé sur le test, alors que ce résultat était tout à fait dans l'intervalle de confiance prévisible ! Un fichier éliminé trop tôt du fait d'une mauvaise interprétation des résultats du test, et ce sont des milliers voire dizaines de milliers d'adresses écartées du terrain de prospection.



Cliquez ici tester notre outil qui vous permettra de calculer la taille de votre test, en fonction de l'intervalle de confiance, ou marge d'erreur que vous êtes prêt à accepter

S'il vous restait encore la moindre zone d'ombre pour assimiler cette notion d'intervalle de confiance, suivons ensemble cette expérience.

Imaginons que nous routions 100 000 messages sur un même et unique fichier, sur lequel nous obtenons un taux de remontée de 2%, soit 2000 réponses.
Si nous avions routé séparément, mais avec le même message, la même offre et le même jour, 100 lots de 1000 adresses sélectionnées selon la méthode du prélèvement séquentiel (une sur cent) et identifié chaque lot par un code de 1 à 100, nous pourrions observer quelques lots avec 8 ou 9 réponses mais aussi d'autres avec 30 ou 31. Toutefois 95 % des lots remonteront avec un taux situé entre 11 et 29 réponses. La somme des réponses de tous les lots faisant 2000.

Si nous avions routé maintenant sur le même principe 10 lots de 10000 adresses et identifié chaque lot par un code de 1 à 10, nous pourrions observer quelques lots avec 150 ou 160 réponses mais aussi quelques autres avec 240 ou 250 réponses. Toutefois 95 % des lots remonteront avec un taux situé entre 172 et 228 réponses. La somme des lots faisant toujours 2000.

En multipliant la taille de l'échantillon testé par 10, j'ai certes diminué considérablement ma marge d'erreur (+ ou - 28/200 = 14% de marge d'erreur contre 8/20 = 40% de marge d'erreur) mais j'ai pris un risque 10 fois plus important en affranchissements, enveloppes, impression et location d'adresses. Ce risque est toutefois limité à 10000-1000 = 9000 messages. Mais en définitive, cette prise de risque n'est rien en comparaison de celle qu'aurait entraîné la généralisation de 99000 adresses me rapportant 2% alors que mon test de 1000 adresses me laissait entrevoir un résultat plus près des 3%, sans qu'il n'y ait rien à redire d'un point de vue purement statistique.

Notons nous avons essentiellement utilisé le « taux de recrutement » comme outil de mesure de notre test. Si aucune autre composante que le fichier testé ne varie dans notre campagne de prospection, ce taux exprimé en pourcentage est suffisant pour juger de la qualité d'un fichier par rapport à un autre et organiser notre plan fichier.

Mais pour juger de la rentabilité à moyen et long terme, le retour sur investissement (ROI) généré par un fichier et déterminer le seuil de rentabilité (BEP, break even point) en dessous duquel un client acquis risque de n'être jamais rentable la notion de taux de recrutement ne suffit plus.

 

Retrouvez la rubrique de Paul Adam dans VAD magazine