Plan d'expérimentation A/B (plan de test A/B)
Mettez-vous d'accord sur ce que vous testez, sur la façon de le mesurer et sur le moment d'arrêter, avant que quiconque voie l'une ou l'autre version.
- Durée
- 45 min
- Participants
- 3–5
- Type de travail
- Tester
En bref
Un plan d'expérimentation A/B est un document court et validé, rédigé avant de comparer deux versions d'un service auprès de vrais utilisateurs. Il énonce une hypothèse, les deux variantes, l'indicateur principal, la façon de répartir les personnes entre les versions et la règle d'arrêt. L'écrire d'abord protège le résultat des lectures complaisantes.
De quoi s'agit-il
Une expérimentation A/B montre la version A à un groupe de personnes et la version B à un autre, au même moment, puis compare ce qu'elles font. Comme la répartition est aléatoire, un écart de résultat peut être attribué à la différence entre les versions. Le plan est ce qui précède tout cela : les décisions qui rendent le résultat fiable.
La plupart des expérimentations ratées échouent dès la préparation. Les équipes changent deux choses à la fois, choisissent l'indicateur après avoir vu les données ou arrêtent le test le jour où il semble favorable. Un plan d'une page en cinq rubriques évite l'essentiel de ces travers. Il impose aussi une conversation utile avec un analyste : aurez-vous assez de données pour apprendre quoi que ce soit ?
Quand l'utiliser
À utiliser quand
- Vous avez deux versions crédibles d'une page, d'un message ou d'un écran du parcours et voulez savoir laquelle fonctionne le mieux auprès de vrais utilisateurs.
- Le service a assez de trafic ou de volume pour qu'un écart apparaisse en quelques semaines.
- Une décision est contestée et l'équipe veut une preuve sur laquelle elle s'est accordée à l'avance.
- Vous pouvez mesurer automatiquement et de façon fiable le résultat qui vous importe.
À éviter quand
- Les volumes sont faibles, comme un service utilisé par quelques dizaines de personnes par mois ; le test n'aboutira pas à une réponse claire.
- Vous ne savez pas encore pourquoi les gens peinent ; menez d'abord un test d'utilisabilité modéré pour trouver le problème.
- Montrer à un groupe une version moins bonne pourrait causer un vrai préjudice, comme des délais médicaux ou juridiques manqués.
Ce qu'il vous faut
- Durée
- Environ 45 minutes pour rédiger le plan ensemble, plus du temps avec un analyste pour vérifier les besoins en données.
- Participants
- Trois à cinq personnes : le responsable du service, un designer ou rédacteur, une personne capable de construire les variantes et un analyste.
- Matériel
- La fiche de travail avec Hypothèse, Variantes, Indicateur, Répartition et Règle d'arrêt ; les valeurs actuelles de l'indicateur ; une description ou une maquette de chaque version.
Comment la mener
Étape 1: Écrire une seule hypothèse
Énoncez le changement, l'effet attendu et la raison. Par exemple : « Si nous affichons le montant total avant le début du formulaire, davantage de demandeurs iront jusqu'au paiement, car la surprise face au tarif est la première cause d'abandon. » Une hypothèse par expérimentation garde le résultat lisible.
Étape 2: Décrire les deux variantes
Décrivez côte à côte A (la version actuelle) et B (la nouvelle). Ne changez qu'un seul élément significatif. Si B diffère à la fois par le texte, la mise en page et le moment d'affichage, vous ne saurez pas quel changement a fait la différence.
Étape 3: Choisir l'indicateur principal et un indicateur garde-fou
Retenez la seule mesure qui tranche, comme la part des demandes commencées qui arrivent au paiement. Ajoutez un indicateur garde-fou qui ne doit pas se dégrader, comme les appels au service d'assistance. Notez la valeur actuelle de chacun.
Étape 4: Convenir de la répartition avec un analyste
Décidez comment les personnes sont réparties, en général moitié-moitié au hasard, et qui est inclus. Demandez à l'analyste combien de personnes il faut par version pour détecter le plus petit écart qui justifierait d'agir, et combien de temps cela prendra aux volumes actuels.
Étape 5: Fixer la règle d'arrêt
Écrivez quand le test se termine : une date fixe ou un nombre fixe de personnes, selon la recommandation de l'analyste. Ajoutez les conditions d'arrêt anticipé, par exemple une dégradation donnée de l'indicateur garde-fou. N'arrêtez pas parce que le résultat semble bon au troisième jour.
Étape 6: Décider de ce que signifiera chaque résultat
Avant le lancement, écrivez ce que vous ferez si B l'emporte, si A l'emporte et s'il n'y a pas d'écart net. L'expérimentation devient ainsi une décision, et l'équipe ne la relance pas jusqu'à obtenir la réponse qu'elle espérait.
Étape 7: Faire valider, puis lancer
Partagez le plan d'une page avec le décideur et l'analyste, puis figez-le. Tout changement après le lancement, comme un nouvel indicateur, est consigné comme modification, avec sa raison.
Exemple concret
Une banque de détail voulait que davantage de clients aillent au bout de l'ouverture d'un compte d'épargne en ligne. Environ 40 % abandonnaient au moment où un justificatif de domicile était demandé. L'équipe digitale pensait que les gens ne savaient pas quels documents étaient acceptés.
Hypothèse : si l'écran liste les documents acceptés avec de petites images, davantage de demandeurs en téléverseront un et poursuivront, car le doute sur ce qui est accepté est la première cause d'abandon.
La variante A était l'écran de téléversement actuel. La variante B ajoutait une liste de quatre documents acceptés, illustrés. Rien d'autre ne changeait. L'indicateur principal était la part des personnes arrivées sur cet écran qui le terminaient ; l'indicateur garde-fou, la part des justificatifs refusés par les équipes.
L'analyste a estimé qu'avec environ 3 000 personnes par semaine sur cet écran, une répartition 50/50 demanderait trois semaines pour détecter une amélioration de cinq points. La règle d'arrêt était de trois semaines pleines, avec arrêt anticipé si les refus augmentaient de plus d'un quart.
Au bout de trois semaines, le taux de complétion était passé de 60 à 66 % dans B et les refus n'avaient pas bougé. Comme prévu dans le plan, l'équipe a généralisé B et s'est attaquée à l'écran suivant du parcours.
À titre illustratifConseils et erreurs
Conseils
- Rédigez le plan dans une langue simple, qu'un responsable extérieur à l'équipe peut lire en deux minutes.
- Faites tourner les deux versions sur des semaines entières, car les comportements diffèrent souvent entre semaine et week-end.
- Vérifiez que la répartition fonctionne avant de commencer en faisant passer une petite part des personnes par les deux versions.
- Tenez un journal simple des expérimentations et de leurs résultats pour que l'organisation cesse de retester de vieilles idées.
Erreurs fréquentes
- Choisir l'indicateur après avoir vu les données, ce qui fait presque toujours apparaître quelque chose qui ressemble à une victoire.
- Arrêter tôt parce que le résultat semble bon, avant qu'assez de personnes aient vu les deux versions.
- Changer plusieurs éléments dans B, si bien qu'une victoire ne peut être ni expliquée ni reproduite.
- Lancer un test avec trop peu de trafic et prendre l'absence d'écart net pour la preuve que le changement n'a pas d'importance.
Ce que vous obtenez
Vous repartez avec un plan d'une page validé : une hypothèse unique, deux variantes clairement décrites, un indicateur principal et un indicateur garde-fou avec leurs valeurs actuelles, une répartition convenue avec un analyste et une règle d'arrêt assortie de la décision que déclenchera chaque résultat. Une fois l'expérimentation terminée, consignez le résultat au regard du plan. Si vous ne savez pas quel indicateur pilote vraiment le résultat, construisez d'abord un arbre de KPI ; si le changement reste une intuition, formulez-le comme un test d'hypothèse.
Questions fréquentes
Combien de temps doit durer un test A/B ?
Assez longtemps pour atteindre le nombre de personnes calculé par l'analyste, et au moins une ou deux semaines entières pour couvrir les cycles hebdomadaires habituels. Fixez la durée avant le lancement. Arrêter le test dès qu'une version semble devant est la façon la plus courante d'obtenir un faux résultat.
Quelle différence entre un test A/B et un test d'hypothèse ?
Un test d'hypothèse est toute vérification légère d'une conviction : un entretien, un prototype ou un comptage. L'expérimentation A/B en est une forme précise : deux versions montrées à des groupes de vrais utilisateurs répartis au hasard et comparées sur un indicateur. Utilisez-la quand vous avez le volume.
Faut-il un statisticien pour préparer un test A/B ?
Il faut quelqu'un capable d'estimer le nombre de personnes nécessaire par version et de lire le résultat. Un analyste peut suffire. Le reste du plan, l'hypothèse, les variantes et les décisions, relève de l'équipe du service.
Fiche de l'outil
La fiche de travail que remplit votre équipe, une case par rubrique.
- Hypothèse
- Variantes
- Indicateur
- Répartition
- Règle d'arrêt