Teste Mágico de Oz (Wizard of Oz)
O usuário vê um serviço funcionando. Atrás da cortina, uma pessoa faz o trabalho à mão.
- Tempo
- 60 min
- Pessoas
- 3–5
- Tipo de trabalho
- Testar
Em resumo
O teste Mágico de Oz permite saber se um serviço funciona antes de construir a tecnologia. O usuário interage com uma interface simples, como uma janela de chat ou um formulário, enquanto alguém da equipe, escondido, produz as respostas à mão. Você define uma pergunta de aprendizado, faz algumas sessões, registra o que acontece e conta aos participantes como funcionou.
O que é
O nome vem do filme em que um mago poderoso acaba se revelando um homem atrás de uma cortina. No teste Mágico de Oz, o usuário vê o que parece um sistema funcionando: um assistente de chat, um formulário inteligente, uma recomendação automática. Na verdade, alguém da equipe, o “mágico”, lê cada entrada e digita ou escolhe a resposta em tempo real.
Isso permite testar serviços que seriam caros de construir, como qualquer coisa que use inteligência artificial, regras complexas ou dados de vários sistemas. Você aprende o que os usuários realmente perguntam, de que respostas precisam e como reagem, antes de investir meses em desenvolvimento. Como o usuário não sabe, durante a sessão, que uma pessoa está respondendo, é preciso cuidar bem do consentimento e da revelação. Avise antes que os participantes vão testar uma versão inicial, não colete dados pessoais reais e explique a montagem no final.
Quando usar
Use quando
- Você está pensando num chatbot, num assistente inteligente ou numa orientação automática e quer saber o que os usuários vão perguntar.
- A tecnologia é cara ou incerta, e você precisa de evidência antes de comprometer o orçamento.
- Você quer testar o conteúdo e o tom das respostas automáticas antes de escrever regras ou treinar um modelo.
- Você precisa descobrir quais perguntas dá para automatizar e quais precisam de uma pessoa.
Evite quando
- O teste envolveria decisões reais sobre direitos, dinheiro ou saúde das pessoas. Mantenha o teste Mágico de Oz longe de casos reais.
- Não dá para responder à mão rápido o bastante para tornar a experiência verossímil.
- Os usuários se sentiriam enganados de um jeito que prejudica a confiança, por exemplo num serviço público sensível. Use um teste concierge, em que o trabalho manual fica visível.
Do que você precisa
- Tempo
- Cerca de 60 minutos para montar e fazer 3 a 4 sessões curtas, mais a conversa final
- Pessoas
- Um facilitador com o usuário, um ou dois mágicos fora de vista, alguém anotando e de 4 a 6 participantes
- Materiais
- Uma interface simples (uma ferramenta de chat, um formulário compartilhado, uma tela básica de mentira), um notebook escondido para o mágico, uma folha de respostas preparada, um termo de consentimento e gravação, se os participantes concordarem
Como aplicar
Passo 1: Defina a pergunta de aprendizado
Escreva uma pergunta que o teste precisa responder, por exemplo “O que os donos de negócio perguntam ao renovar uma licença, e uma resposta curta resolve?” Acrescente uma hipótese: “Pelo menos 7 em cada 10 perguntas podem ser respondidas com as orientações que já temos.”
Passo 2: Monte o serviço visível
Monte a interface mais enxuta possível: uma janela de chat num notebook, um formulário que vai para o mágico ou uma tela impressa atualizada à mão. Ela precisa parecer plausível, mas não precisa de lógica real. Teste se as mensagens chegam ao mágico e se as respostas voltam.
Passo 3: Prepare o mágico
Entregue ao mágico um guia curto: o tom a usar, as fontes para responder, um tempo-alvo de resposta (por exemplo, menos de 30 segundos) e o que dizer quando não souber responder. Uma folha preparada com respostas comuns mantém as respostas rápidas e coerentes.
Passo 4: Oriente os participantes com cuidado
Diga aos participantes que eles vão experimentar uma versão inicial de um serviço e que o retorno deles vai moldá-lo. Peça que usem dados inventados, não os registros reais deles. Obtenha consentimento por escrito para gravar. Guarde a explicação completa da montagem para o final, mas nunca engane as pessoas sobre algo que as afete.
Passo 5: Conduza as sessões
Dê a cada participante uma tarefa realista. O mágico responde em tempo real enquanto quem anota registra cada pergunta, resposta, demora e reação. Mantenha cada sessão entre 10 e 15 minutos. Fique atento a momentos de confusão, perguntas repetidas ou desistências.
Passo 6: Revele e converse
Depois de cada sessão, explique que uma pessoa estava produzindo as respostas e por que vocês testaram assim. Pergunte o que o participante achou das respostas e se saber disso muda a opinião dele. Ofereça apagar a gravação, se ele quiser.
Passo 7: Analise e decida
Preencha a planilha: hipótese, serviço visível, operação manual, observação. Agrupe as perguntas feitas pelos usuários e anote quais o mágico respondeu com facilidade e quais exigiram julgamento. Decida se a hipótese se sustenta e o que construir, mudar ou abandonar.
Exemplo prático
Uma câmara de comércio está pensando num assistente de chat para responder às dúvidas de pequenos lojistas sobre a renovação do alvará de funcionamento. Antes de pagar pela tecnologia, uma pequena equipe faz um teste Mágico de Oz com seis lojistas num centro empresarial.
A hipótese: “Pelo menos 70% das perguntas sobre renovação podem ser respondidas com as páginas de orientação existentes em menos de 30 segundos.” O serviço visível é uma janela de chat num tablet. Duas pessoas da equipe ficam na sala ao lado como mágicos, com as páginas de orientação abertas.
Os participantes são informados de que estão testando uma versão inicial de um serviço de ajuda e recebem o pedido de usar um nome de loja inventado. Cada um recebe uma tarefa: “Seu alvará vence no mês que vem. Descubra o que você precisa para renovar.”
Nas seis sessões, os participantes fazem 41 perguntas. Os mágicos respondem 26 direto das orientações, cerca de 63%. As outras 15 exigem julgamento, a maioria sobre lojas com vários alvarás que vencem em datas diferentes. Dois participantes fazem a mesma pergunta três vezes com palavras diferentes, o que mostra que a primeira resposta não ficou clara.
Na conversa final, a maioria diz que a rapidez importou mais do que saber se quem respondia era uma pessoa ou um sistema. A equipe conclui que a hipótese chegou perto, mas não foi atingida. Decide reescrever as orientações para lojas com vários alvarás e repetir o teste antes de gastar com o assistente.
IlustrativoDicas e erros comuns
Dicas
- Use dois mágicos se as respostas forem complexas: um encontra a resposta, o outro digita.
- Registre o horário de cada resposta. As demoras mostram quais perguntas são difíceis de automatizar.
- Mantenha uma lista das perguntas que o mágico não soube responder. Muitas vezes é o resultado mais útil.
- Ensaie com um colega antes do primeiro participante real.
Erros comuns
- Testar com dados pessoais reais ou casos em andamento, o que cria riscos de privacidade e de justiça.
- Pular a revelação no final, o que prejudica a confiança quando as pessoas descobrem.
- Deixar o mágico improvisar respostas que o sistema real nunca poderia dar.
- Fazer o teste sem uma hipótese clara, e você junta impressões em vez de evidências.
O que você leva
Você sai com uma lista de perguntas reais dos usuários, evidência de quais podem ser respondidas de forma simples e quais pedem julgamento humano, e um veredito claro sobre a hipótese. Também sabe o tom e o conteúdo que os usuários esperam. Se o serviço parecer promissor, escreva um teste de hipótese formal para um piloto maior, ou faça um teste concierge para entregar o serviço completo à mão a alguns usuários.
Perguntas frequentes
O teste Mágico de Oz é ético?
Pode ser, se for feito com cuidado. Avise as pessoas antes que vão testar uma versão inicial, evite dados pessoais e decisões reais, explique a montagem depois e permita que retirem seus dados. Em serviços sensíveis, prefira um teste concierge, em que o trabalho manual é visível.
Qual a diferença entre o teste Mágico de Oz e o teste concierge?
No teste Mágico de Oz, o usuário acha que está usando um sistema enquanto uma pessoa escondida faz o trabalho. No teste concierge, o usuário sabe que uma pessoa está ajudando diretamente. O Mágico de Oz testa a interface e a automação; o concierge testa se o próprio serviço resolve a necessidade.
Quantas sessões precisamos fazer?
De quatro a seis sessões costumam mostrar os principais padrões do que os usuários perguntam e esperam. Se você quiser estimar uma porcentagem, como quantas perguntas dá para automatizar, mire em pelo menos 40 perguntas de usuários no total.
Ficha da ferramenta
A planilha que sua equipe preenche, um quadro por campo.
- Hipótese
- Serviço visível
- Operação manual
- Observação