A/B testing et test multivariés (MVT) : par où commencer ?

Pour faire suite à une vidéo tournée pour Diiink.tv, voici quelques recommandations suite à un retour d’expérience très concret sur la mise en place de test AB et multivarié MVT sur le site e-commerce que j’anime à ce jour. Google n’étant pas encore capable de scanner les paroles d’une vidéo et de les indexer, j’ai décidé de formaliser certains de nos échanges dans cet article.

Pour débuter, je ne vous ferais pas le coup du « pourquoi faire du testing ? ». Vous trouverez pléthore d’articles à ce sujet sur la toile et sur ce blog qui vous encourageront à mettre en place des tests votre site et à valider vos évolutions fonctionnelles. Cet excellent article d’Oseox inspiré par GetElastic vous donnera les 4 raisons essentielles de tester votre site. Certains vous feront miroiter des +300% de transfo par ici, +120% de contacts par là Ces chiffres ont le mérite d’interpeller et d’évangéliser sur ce sujet maistout n’est pas toujours aussi rose et simple. Ce qui est certain, c’est qu’il faut se lancer et ça ne semble pas aussi évident pour les 73% de sites e-commerce qui n’en font pas et les 49% qui n’ont pas prévu d’en faire …

Étape préalable :

Avant de tester à tout va, il faut bien évidemment identifier les points noirs de votre site. Ne sélectionnez pas vos tests à l’aveugle ! Les chiffres sont ROIs. Voilà le genre de questions qu’il faut poser en priorité :

  • Quel est le taux de transformation de votre tunnel de commande en partant du panier jusqu’à la confirmation de commande et quelle est la page qui génère le plus de déperditions ?
  • Quel est le taux de rebond de votre homepage ?
  • Quel est le taux de mise au panier de vos fiches produits ?
  • Quel est le poids en trafic et en CA de votre moteur de recherche interne ?

Il faut donc mesurer avant toute chose. Je vous conseil de mettre en place Google Analytics, totalement gratuit, suffisamment puissant et simple à installer. Entourez-vous ensuite d’un expert (du genre juliencoquet.com) ou activez votre réseau pour savoir rapidement si vous êtes dans le clous ou pas.

NB = mesurez le trafic en visiteurs uniques sur les pages ciblées par vos tests. Cette étape est cruciale pour le choix de la méthode de testing (voir ci-dessous la partie AB ou MVT ?)

Si votre budget vous le permet, réalisez une étude d’Eyetracking et autres tests utilisateurs en complément des webanalytics afin d’identifier très rapidement les points bloquants du site. Cette méthode nécessite plus de budget (clé d’entrée à 10K€ pour une dizaine de testeurs + recommandations) mais elle viendra appuyer vos convictions et/ou vous éclairer sur d’autres grosses failles grâce à des cartes de chaleur et des chiffres très concrets. Cette analyse vous permettra de prioriser vos évolutions (et donc les tests) sur les anomalies les plus importantes.

Voilà ! Vous avez ciblé et priorisé vos évolutions fonctionnelles en fonction des résultats de vos webanalytics, confirmés (ou pas) par l’étude d’Eyetracking plus orientée comportement et expérience d’achat client. Si vous avez de la chance, votre responsable technique ou votre patron (le fameux HiPPO = Highest Paid Person in the Organization) ne viendra pas perturber cet logique implacable et redoutable d’efficacité. Business and customer power ! Il est temps de mettre en place vos tests.

1ère étape : le choix de l’outil

Il existe de nombreux outils sur le marché. Vous trouverez ici une liste non exhaustive et mes recommandations. Le choix de l’outil va essentiellement dépendre de votre budget et du développement technique de votre site e-commerce. Nous avons finalement choisi Google Website Optimizerpour Decathlon.fr pour sa compatibilité avec notre environnement technique, sa robustesse et sa gratuité. Et oui, on a l’habitude de faire du vin avec de l’eau chez Décat 🙂

Mise à jour Décembre 2012 : nous utilisons désormais Avenseo, plus robuste et agile sur des tests avancés. Il est couplé à Google Analytics pour mesurer plus de KPI pertinents.

A/B testing ou test multivarié (MVT) ?

Le test A/B permet de faire varier une page contre une (ou plusieures) autre(s). Exemple : fiche produit A contre fiche produit B. Le test multivarié (MVT : Multi Variate Testing) permet de faire varier plusieurs éléments d’une même page. Exemple : 4 versions du bouton de mise au panier de la fiche produit + 4 titres différents + 2 images différentes testés SIMULTANEMENT et toutes choses égales par ailleurs => 4 X 4 X 2 = 32 variations différentes. C’est le mode idéal pour aller vite et fort mais qui nécessite beaucoup de trafic sur la page de conversion. En effet, tout va dépendre du trafic sur la page ou l’élément testé. Idéalement, il faut débuter par le l’A/B testing pour dégrossir des hypothèses radicalement différentes puis d’affiner vos résultats grâce à du test multivarié et plus ciblé.

En résumé, pour débuter et vous forger de bonnes convictions sur l’intérêt de la méthode, faites SIMPLE et rapide. Trouvez et taillez vos diamants (AB) puis ensuite, il suffit de le polir (MVT) pour reprendre l’excellent tweet de Ion Interactive. Démarrez donc par un simple test A/B, puis un deuxième et vous ne pourrez plus vous en passer 🙂

Où commencer ?

Comme vous l’aurez entendu sur la vidéo, il est très rémunérateur de débuter par le tunnel de commande (le checkout : processus de paiement du panier jusqu’à la confirmation de commande). Vous allez ainsi impacter 100% de vos commandes potentielles. Voilà ensuite quelques idées

  • la fiche produit : elle génère généralement beaucoup de trafic et c’est le coeur de réacteur du site. Testez différents contenus (images), avec ou sans certains éléments (vidéo, 3D… pour mesurer les gains et passer les bons messages aux équipes produit) pour mais l’idéal est de débuter par  le call to action / bouton de mise au panier (couleur, effet au survol, taille, emplacement…).
  • le panier
  • la homepage

Comment valider les résultats et au bout de combien de temps ?

Pour valider un test, l’idéal est d’atteindre 100 conversions par variantes. Si vous tester en MVT 48 variantes différentes de la page livraison de votre checkout, il faudra attendre 4800 confirmations de commande pour valider le test. Si la page ciblée n’a que 1000 conversions par semaine, il faudra alors attendre près de 5 semaines pour y voir clair.  L’idéal est de ne pas dépasser 2 semaines. Si vous générez 250 commandes par semaine par exemple (page de confirmation de paiement par exemple), vous avez un potentiel de 5 variantes, pas plus. Un simple test AB fera l’affaire. Si par contre vous générez 1000 commandes par jours, votre potentiel monte à 140 variantes. Un test MVT vous permettra de valider très vite de nombreuses hypothèses.

Mise à jour Décembre 2012 : cet adage n’est plus la principale clé de décision. Il faut se fier à l’indice de confiance du test (% de chance de dépasser la version originale : idéalement il faut atteindre 95% et plus).

Combien ça coûte ?

L’AB testing coûte potentiellement cher contrairement à ce qu’on peut entendre ici et là. Avant de tester différentes variantes, il faut les imaginer, les designer et les développer. La refonte de la fiche produit et la fiche multi-produits avait demandé plusieurs milliers d’heures sur LaRedoute.fr. On ne peut pas se permettre de faire 4 variantes an à ce tarif là… La mise en place des codes de tracking et l’analyse des résultats ne sont que la surface émergé de l’iceberg.

Ce qui est certain, c’est que c’est l’outil idéal pour mesurer le ROI de vos projets et surtout pour gagner du temps, donc de l’argent.

Quels sont les résultats attendus ?

Tout dépendra du point de départ. Si votre site est déjà bien optimisé, les leviers ne seront à priori pas énormes. Les tests serviront essentiellement à valider les hypothèses et avancer pas à pas pour grappiller durablement de la transfo. Mais je connais une multitude de site où les marges de manœuvres sont énormes 🙂

Vous avez d’autres questions ? Vous voulez partager votre expérience ?

Les commentaires sont ouverts juste en dessous 🙂

5 Replies to “A/B testing et test multivariés (MVT) : par où commencer ?”

  1. Rétroliens : Tweets that mention A/B testing et test multivariés (MVT) : par où commencer ? | e-Merchandising.net -- Topsy.com

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*