Test du magicien d'Oz (Wizard of Oz)
Les usagers voient un service qui fonctionne. Derrière le rideau, une personne fait le travail à la main.
- Durée
- 60 min
- Participants
- 3–5
- Type de travail
- Tester
En bref
Un test du magicien d'Oz permet de savoir si un service fonctionne avant de construire la technologie. Les usagers utilisent une interface simple, comme une fenêtre de discussion ou un formulaire, pendant qu'un membre de l'équipe, caché, produit les réponses à la main. Vous fixez une question d'apprentissage, menez quelques séances, puis expliquez le dispositif.
De quoi s'agit-il
Le nom vient du film où un puissant magicien se révèle n'être qu'un homme derrière un rideau. Dans un test du magicien d'Oz, l'usager voit ce qui ressemble à un système opérationnel : un assistant conversationnel, un formulaire intelligent, une recommandation automatique. En réalité, un membre de l'équipe, le « magicien », lit chaque saisie et tape ou choisit la réponse en temps réel.
On peut ainsi tester des services coûteux à construire, comme tout ce qui fait appel à l'intelligence artificielle, à des règles complexes ou à des données issues de plusieurs systèmes. Vous apprenez ce que les usagers demandent vraiment, les réponses dont ils ont besoin et leurs réactions, avant d'investir des mois de développement. Comme l'usager ne sait pas pendant la séance qu'une personne répond, le consentement et l'information doivent être traités avec soin. Prévenez les participants qu'ils testent une version préliminaire, évitez de recueillir de vraies données personnelles et expliquez le dispositif à la fin.
Quand l'utiliser
À utiliser quand
- Vous envisagez un chatbot, un assistant intelligent ou un conseil automatisé et voulez savoir ce que demanderont les usagers.
- La technologie est coûteuse ou incertaine, et il vous faut des preuves avant d'engager un budget.
- Vous voulez tester le contenu et le ton des réponses automatiques avant d'écrire des règles ou d'entraîner un modèle.
- Vous devez déterminer quelles questions peuvent être automatisées et lesquelles exigent une personne.
À éviter quand
- Le test impliquerait de vraies décisions sur les droits, l'argent ou la santé des personnes. Tenez le test du magicien d'Oz à l'écart des dossiers réels.
- Vous ne pouvez pas répondre à la main assez vite pour que l'expérience soit crédible.
- Les usagers se sentiraient trompés au point d'abîmer la confiance, par exemple dans un service public sensible. Préférez un test concierge, où le service manuel est visible.
Ce qu'il vous faut
- Durée
- Environ 60 minutes pour préparer et mener 3 à 4 courtes séances, plus un débrief
- Participants
- Un animateur aux côtés de l'usager, un ou deux magiciens hors de vue, un preneur de notes et 4 à 6 participants
- Matériel
- Une interface simple (un outil de discussion, un formulaire partagé, un écran factice basique), un ordinateur caché pour le magicien, une fiche de réponses préparée, un formulaire de consentement, un enregistrement si les participants l'acceptent
Comment la mener
Étape 1: Définir la question d'apprentissage
Écrivez la question à laquelle le test doit répondre, par exemple « Que demandent les commerçants lors du renouvellement d'une licence, et une réponse courte suffit-elle ? ». Ajoutez une hypothèse : « Au moins 7 questions sur 10 trouvent réponse dans notre documentation actuelle ».
Étape 2: Construire le service visible
Mettez en place l'interface la plus légère possible : une fenêtre de discussion sur un ordinateur, un formulaire qui arrive chez le magicien ou un écran imprimé mis à jour à la main. Elle doit paraître plausible mais n'a besoin d'aucune logique réelle. Vérifiez que les messages parviennent au magicien et que les réponses reviennent.
Étape 3: Préparer le magicien
Remettez au magicien un court guide : le ton à adopter, les sources à utiliser, un délai de réponse cible (par exemple moins de 30 secondes) et quoi dire quand il ne peut pas répondre. Une fiche de réponses fréquentes garde les réponses rapides et cohérentes.
Étape 4: Informer les participants avec soin
Dites aux participants qu'ils essaient une version préliminaire d'un service et que leurs retours vont la façonner. Demandez-leur d'utiliser des informations inventées, pas leurs vrais dossiers. Recueillez un consentement écrit pour l'enregistrement. Réservez l'explication complète du dispositif au débrief, mais ne trompez jamais personne sur ce qui le concerne.
Étape 5: Mener les séances
Donnez à chaque participant une tâche réaliste. Le magicien répond en temps réel pendant que le preneur de notes consigne chaque question, réponse, délai et réaction. Limitez chaque séance à 10 à 15 minutes. Repérez les moments de confusion, les questions répétées et les abandons.
Étape 6: Révéler le dispositif et débriefer
Après chaque séance, expliquez qu'une personne produisait les réponses et pourquoi vous avez testé ainsi. Demandez ce que le participant a pensé des réponses et si le savoir change son avis. Proposez de supprimer son enregistrement s'il le souhaite.
Étape 7: Analyser et décider
Remplissez la fiche : hypothèse, service visible, opération manuelle, observation. Regroupez les questions posées et notez celles auxquelles le magicien a répondu facilement et celles qui ont demandé du jugement. Décidez si l'hypothèse tient et ce qu'il faut construire, modifier ou abandonner.
Exemple concret
Une chambre de commerce envisage un assistant conversationnel pour répondre aux questions des petits commerçants sur le renouvellement de leurs licences commerciales. Avant de payer la technologie, une petite équipe mène un test du magicien d'Oz avec six commerçants dans un centre d'affaires.
L'hypothèse : « Au moins 70 % des questions de renouvellement trouvent réponse dans les pages d'aide existantes en moins de 30 secondes. » Le service visible est une fenêtre de discussion sur une tablette. Deux agents sont installés dans la pièce voisine en magiciens, les pages d'aide ouvertes.
On explique aux participants qu'ils testent une version préliminaire d'un service d'aide et on leur demande d'utiliser un nom de commerce inventé. Chacun reçoit une tâche : « Votre licence expire le mois prochain. Découvrez ce qu'il vous faut pour la renouveler. »
Sur six séances, les participants posent 41 questions. Les magiciens en traitent 26 directement à partir de la documentation, soit environ 63 %. Les 15 autres demandent du jugement, surtout pour des commerces titulaires de plusieurs licences aux dates d'expiration différentes. Deux participants posent trois fois la même question en d'autres termes, signe que la première réponse n'était pas claire.
Au débrief, la plupart des participants disent que la rapidité comptait davantage que de savoir si une personne ou un système répondait. L'équipe conclut que l'hypothèse est proche mais pas atteinte. Elle décide de réécrire la documentation pour les commerces à licences multiples, puis de refaire le test avant d'investir dans l'assistant.
À titre illustratifConseils et erreurs
Conseils
- Prévoyez deux magiciens si les réponses sont complexes : l'un cherche, l'autre tape.
- Notez l'heure de chaque réponse. Les délais révèlent les questions difficiles à automatiser.
- Tenez une liste des questions auxquelles le magicien n'a pas pu répondre. C'est souvent le résultat le plus utile.
- Répétez avec un collègue avant le premier vrai participant.
Erreurs fréquentes
- Tester avec de vraies données personnelles ou des dossiers en cours, ce qui crée des risques pour la vie privée et l'équité.
- Omettre l'explication finale, ce qui abîme la confiance quand les gens découvrent le dispositif.
- Laisser le magicien improviser des réponses que le vrai système ne pourrait jamais donner.
- Mener le test sans hypothèse claire, si bien que vous recueillez des impressions au lieu de preuves.
Ce que vous obtenez
Vous repartez avec une liste de vraies questions d'usagers, des preuves sur celles qui se traitent simplement et celles qui demandent un jugement humain, et un verdict clair sur votre hypothèse. Vous connaissez aussi le ton et le contenu attendus. Si le service paraît prometteur, rédigez un test d'hypothèse formel pour un pilote plus large, ou menez un test concierge pour assurer le service complet à la main auprès de quelques usagers.
Questions fréquentes
Un test du magicien d'Oz est-il éthique ?
Il peut l'être s'il est mené avec soin. Prévenez les gens qu'ils testent une version préliminaire, évitez les vraies données personnelles et les vraies décisions, expliquez le dispositif ensuite et laissez-les retirer leurs données. Pour les services sensibles, préférez un test concierge où le travail manuel est visible.
Quelle différence entre un test du magicien d'Oz et un test concierge ?
Dans un test du magicien d'Oz, les usagers pensent utiliser un système alors qu'une personne cachée fait le travail. Dans un test concierge, les usagers savent qu'une personne les aide directement. Le magicien d'Oz teste l'interface et l'automatisation ; le concierge vérifie si le service lui-même répond au besoin.
Combien de séances faut-il ?
Quatre à six séances font généralement apparaître les grandes tendances de ce que demandent et attendent les usagers. Si vous estimez un pourcentage, par exemple la part de questions automatisables, visez au moins 40 questions d'usagers au total.
Fiche de l'outil
La fiche de travail que remplit votre équipe, une case par rubrique.
- Hypothèse
- Service visible
- Opération manuelle
- Observation