Prueba del Mago de Oz (Wizard of Oz)
Los usuarios ven un servicio que funciona. Detrás de la cortina, una persona hace el trabajo a mano.
- Tiempo
- 60 min
- Personas
- 3–5
- Tipo de trabajo
- Probar
En resumen
Una prueba del Mago de Oz te permite saber si un servicio funciona antes de construir la tecnología. Los usuarios interactúan con una interfaz sencilla, como una ventana de chat o un formulario, mientras alguien del equipo, oculto, produce a mano las respuestas. Fijas una pregunta de aprendizaje, haces unas sesiones, registras lo que pasa y explicas después cómo funcionaba.
Qué es
El nombre viene de la película en la que un mago poderoso resulta ser un hombre detrás de una cortina. En una prueba del Mago de Oz, el usuario ve lo que parece un sistema en funcionamiento: un asistente de chat, un formulario inteligente, una recomendación automática. En realidad, un miembro del equipo, el “mago”, lee cada entrada y escribe o selecciona la respuesta en tiempo real.
Así puedes probar servicios que serían caros de construir, como cualquier cosa que use inteligencia artificial, reglas complejas o datos de varios sistemas. Aprendes qué preguntan de verdad los usuarios, qué respuestas necesitan y cómo reaccionan, antes de invertir meses en desarrollo. Como el usuario no sabe durante la sesión que responde una persona, debes gestionar con cuidado el consentimiento y la información. Avisa a los participantes de antemano de que prueban una versión preliminar, evita recoger datos personales reales y explica el montaje al final.
Cuándo usarlo
Úsalo cuando
- Estás valorando un chatbot, un asistente inteligente o un asesoramiento automatizado y quieres saber qué preguntarán los usuarios.
- La tecnología es cara o incierta y necesitas evidencias antes de comprometer presupuesto.
- Quieres probar el contenido y el tono de las respuestas automáticas antes de escribir reglas o entrenar un modelo.
- Necesitas averiguar qué preguntas pueden automatizarse y cuáles necesitan a una persona.
Evítalo cuando
- La prueba implicaría decisiones reales sobre los derechos, el dinero o la salud de las personas. Mantén la prueba del Mago de Oz lejos de casos reales.
- No puedes responder a mano lo bastante rápido para que la experiencia resulte creíble.
- Los usuarios se sentirían engañados de un modo que dañaría la confianza, por ejemplo en un servicio público sensible. Usa un test concierge, en el que el servicio manual es visible.
Qué necesitas
- Tiempo
- Unos 60 minutos para preparar y hacer de 3 a 4 sesiones cortas, más un repaso
- Personas
- Una persona facilitadora con el usuario, uno o dos magos fuera de la vista, una persona que toma notas y de 4 a 6 participantes
- Materiales
- Una interfaz sencilla (una herramienta de chat, un formulario compartido, una pantalla simulada básica), un portátil oculto para el mago, una hoja de respuestas preparada, un formulario de consentimiento y grabación si los participantes aceptan
Cómo aplicarlo
Paso 1: Define la pregunta de aprendizaje
Escribe una pregunta a la que la prueba deba responder, por ejemplo “¿Qué preguntan los titulares de negocios al renovar una licencia, y puede resolverlo una respuesta breve?”. Añade una hipótesis: “Al menos 7 de cada 10 preguntas pueden responderse con nuestra guía actual”.
Paso 2: Construye el servicio visible
Monta la interfaz más ligera posible: una ventana de chat en un portátil, un formulario que llega al mago o una pantalla impresa que se actualiza a mano. Debe parecer verosímil, pero no necesita lógica real. Comprueba que los mensajes llegan al mago y que las respuestas vuelven.
Paso 3: Prepara al mago
Da al mago una guía breve: el tono que debe usar, las fuentes de las que responder, un tiempo objetivo de respuesta (por ejemplo, menos de 30 segundos) y qué decir cuando no pueda responder. Una hoja preparada con respuestas frecuentes mantiene las respuestas rápidas y coherentes.
Paso 4: Informa a los participantes con cuidado
Explica a los participantes que prueban una versión preliminar de un servicio y que sus comentarios le darán forma. Pídeles que usen datos inventados, no sus expedientes reales. Obtén consentimiento por escrito para grabar. Reserva la explicación completa del montaje para el repaso, pero nunca engañes a nadie sobre algo que le afecte.
Paso 5: Haz las sesiones
Da a cada participante una tarea realista. El mago responde en tiempo real mientras quien toma notas registra cada pregunta, respuesta, demora y reacción. Limita cada sesión a 10 a 15 minutos. Fíjate en los momentos de confusión, las preguntas repetidas o las personas que se rinden.
Paso 6: Revela el montaje y repasa
Después de cada sesión, explica que una persona producía las respuestas y por qué lo probaron así. Pregunta qué le parecieron las respuestas y si saberlo cambia su opinión. Ofrece borrar su grabación si lo desea.
Paso 7: Analiza y decide
Rellena la ficha: hipótesis, servicio visible, operación manual, observación. Agrupa las preguntas que hicieron los usuarios y anota cuáles respondió el mago con facilidad y cuáles requirieron criterio. Decide si la hipótesis se sostiene y qué construir, cambiar o descartar.
Ejemplo práctico
Una cámara de comercio está valorando un asistente de chat que responda a las preguntas de los pequeños comerciantes sobre la renovación de sus licencias comerciales. Antes de pagar por la tecnología, un equipo pequeño hace una prueba del Mago de Oz con seis comerciantes en un centro de negocios.
La hipótesis: “Al menos el 70 % de las preguntas sobre renovación pueden responderse con las páginas de ayuda existentes en menos de 30 segundos”. El servicio visible es una ventana de chat en una tableta. Dos empleados se sientan en la sala de al lado como magos, con las páginas de ayuda abiertas.
A los participantes se les dice que prueban una versión preliminar de un servicio de ayuda y se les pide que usen un nombre de comercio inventado. Cada uno recibe una tarea: “Tu licencia caduca el mes que viene. Averigua qué necesitas para renovarla”.
En seis sesiones, los participantes hacen 41 preguntas. Los magos responden 26 directamente con la guía, alrededor del 63 %. Las otras 15 requieren criterio, sobre todo en comercios con varias licencias que caducan en fechas distintas. Dos participantes preguntan lo mismo tres veces con palabras diferentes, lo que muestra que la primera respuesta no fue clara.
En el repaso, la mayoría de los participantes dice que la rapidez importó más que saber si respondía una persona o un sistema. El equipo concluye que la hipótesis se acerca pero no se cumple. Decide reescribir la guía para comercios con varias licencias y repetir la prueba antes de invertir en el asistente.
IlustrativoConsejos y errores
Consejos
- Usa dos magos si las respuestas son complejas: uno busca la respuesta y el otro la escribe.
- Registra la hora de cada respuesta. Las demoras revelan qué preguntas son difíciles de automatizar.
- Lleva una lista de las preguntas que el mago no pudo responder. A menudo es el resultado más útil.
- Ensaya con un compañero antes del primer participante real.
Errores frecuentes
- Probar con datos personales reales o casos en curso, lo que crea riesgos de privacidad y equidad.
- Saltarse la explicación final, lo que daña la confianza cuando la gente se entera.
- Dejar que el mago improvise respuestas que el sistema real nunca podría dar.
- Hacer la prueba sin una hipótesis clara, de modo que recoges impresiones en lugar de evidencias.
Con qué terminas
Sales con una lista de preguntas reales de usuarios, evidencias de cuáles pueden responderse de forma sencilla y cuáles necesitan criterio humano, y un veredicto claro sobre tu hipótesis. También sabes qué tono y contenido esperan los usuarios. Si el servicio parece prometedor, redacta una prueba de hipótesis formal para un piloto más grande, o haz un test concierge para prestar el servicio completo a mano a unos pocos usuarios.
Preguntas frecuentes
¿Es ética una prueba del Mago de Oz?
Puede serlo si se gestiona con cuidado. Avisa de antemano de que se prueba una versión preliminar, evita datos personales o decisiones reales, explica el montaje después y permite que retiren sus datos. En servicios sensibles, es preferible un test concierge en el que el trabajo manual sea visible.
¿Qué diferencia hay entre una prueba del Mago de Oz y un test concierge?
En una prueba del Mago de Oz, los usuarios creen estar usando un sistema mientras una persona oculta hace el trabajo. En un test concierge, los usuarios saben que una persona les ayuda directamente. El Mago de Oz pone a prueba la interfaz y la automatización; el concierge comprueba si el propio servicio resuelve la necesidad.
¿Cuántas sesiones necesitamos?
De cuatro a seis sesiones suelen mostrar los patrones principales de lo que los usuarios preguntan y esperan. Si estás estimando un porcentaje, como cuántas preguntas pueden automatizarse, apunta a al menos 40 preguntas de usuarios en total.
Ficha de la herramienta
La ficha de trabajo que rellena tu equipo, una casilla por campo.
- Hipótesis
- Servicio visible
- Operación manual
- Observación