Plano de experimento A/B (plano de teste A/B)
Combine o que será testado, como será medido e quando o teste termina, antes que qualquer pessoa veja uma das versões.
- Tempo
- 45 min
- Pessoas
- 3–5
- Tipo de trabalho
- Testar
Em resumo
Um plano de experimento A/B é um documento curto e acordado, escrito antes de comparar duas versões de um serviço com usuários reais. Ele traz uma hipótese, as duas variantes, a métrica principal, como as pessoas são distribuídas entre as versões e a regra de parada. Escrevê-lo antes protege o resultado de leituras otimistas depois.
O que é
Um experimento A/B mostra a versão A para um grupo de pessoas e a versão B para outro, ao mesmo tempo, e compara o que cada grupo faz. Como as pessoas são distribuídas de forma aleatória, uma diferença no resultado pode ser atribuída à diferença entre as versões. O plano é a parte que vem antes disso: as decisões que tornam o resultado confiável.
A maioria dos experimentos que dão errado falha no planejamento. Equipes mudam duas coisas de uma vez, escolhem a métrica depois de ver os dados ou encerram o teste no dia em que ele parece bom. Um plano de uma página com cinco campos evita quase tudo isso. Ele também força uma conversa útil com um analista sobre se haverá dados suficientes para aprender alguma coisa.
Quando usar
Use quando
- Você tem duas versões plausíveis de uma página, mensagem ou passo e quer saber qual funciona melhor para usuários reais.
- O serviço tem tráfego ou volume suficiente para que uma diferença apareça em poucas semanas.
- Uma decisão está em disputa e a equipe quer evidências que tenha combinado com antecedência.
- O resultado que importa pode ser medido de forma automática e confiável.
Evite quando
- Os volumes são pequenos, como um serviço usado por algumas dezenas de pessoas por mês; o teste não chegará a uma resposta clara.
- Você ainda não sabe por que as pessoas têm dificuldade; faça antes um teste de usabilidade moderado para encontrar o problema.
- Mostrar uma versão pior a um grupo pode causar dano real, como a perda de prazos médicos ou legais.
Do que você precisa
- Tempo
- Cerca de 45 minutos para escrever o plano em conjunto, mais um tempo com um analista para checar a necessidade de dados.
- Pessoas
- De três a cinco pessoas: o responsável pelo serviço, alguém de design ou conteúdo, alguém que consiga construir as variantes e um analista.
- Materiais
- A planilha com Hipótese, Variantes, Métrica, Alocação e Regra de parada; os números atuais da métrica; uma descrição ou mock-up de cada versão.
Como aplicar
Passo 1: Escreva uma hipótese
Descreva a mudança, o efeito esperado e o motivo. Por exemplo: "Se mostrarmos a taxa total antes do início do formulário, mais solicitantes vão concluir o pagamento, porque a surpresa com a taxa é o principal motivo de desistência." Uma hipótese por experimento mantém o resultado legível.
Passo 2: Descreva as duas variantes
Escreva como são A (a versão atual) e B (a nova), lado a lado. Mude uma única coisa relevante. Se B diferir em texto, layout e momento ao mesmo tempo, você não saberá qual mudança fez a diferença.
Passo 3: Escolha a métrica principal e uma métrica de proteção
Escolha a medida única que decide o resultado, como a parcela de solicitações iniciadas que chegam ao pagamento. Acrescente uma métrica de proteção que não pode piorar, como as ligações para a central de atendimento. Registre o valor atual de cada uma.
Passo 4: Combine a alocação com um analista
Decida como as pessoas serão divididas, normalmente metade e metade de forma aleatória, e quem será incluído. Pergunte ao analista quantas pessoas cada versão precisa para detectar a menor diferença que justifique agir, e quanto tempo isso leva com os volumes atuais.
Passo 5: Defina a regra de parada
Escreva quando o teste termina: em uma data fixa ou depois de um número fixo de pessoas, conforme a recomendação do analista. Acrescente as condições para parar antes, como a métrica de proteção piorar em um valor definido. Não pare porque o resultado parece bom no terceiro dia.
Passo 6: Decida o que cada resultado vai significar
Antes do lançamento, escreva o que será feito se B vencer, se A vencer e se não houver diferença clara. Isso transforma o experimento em uma decisão e impede que a equipe o repita até obter a resposta que queria.
Passo 7: Obtenha a aprovação e lance
Compartilhe o plano de uma página com quem decide e com o analista e congele o documento. Qualquer mudança depois do lançamento, como uma nova métrica, é registrada como alteração, com o motivo.
Exemplo prático
Um banco de varejo queria que mais clientes concluíssem a abertura online de uma conta poupança. Cerca de 40 por cento desistiam no passo que pedia comprovante de endereço. A equipe digital acreditava que as pessoas não sabiam quais documentos eram aceitos.
Hipótese: se o passo listar os documentos aceitos com pequenas imagens, mais solicitantes vão enviar um e seguir adiante, porque a incerteza sobre o que vale é o principal motivo de desistência.
A variante A era o passo de envio atual. A variante B acrescentou uma lista de quatro documentos aceitos com imagens. Nada mais mudou. A métrica principal era a parcela de quem chegava ao passo e o concluía; a métrica de proteção era a parcela de envios recusados pela equipe.
O analista estimou que, com cerca de 3.000 pessoas chegando ao passo por semana, uma divisão 50/50 precisaria de três semanas para detectar uma melhora de cinco pontos. A regra de parada foi de três semanas completas, com parada antecipada se os envios recusados subissem mais de um quarto.
Depois de três semanas, a conclusão subiu de 60 para 66 por cento em B e os envios recusados não mudaram. Como combinado no plano, a equipe liberou B para todos e passou para o próximo passo da jornada.
IlustrativoDicas e erros comuns
Dicas
- Escreva o plano em linguagem simples, que um gestor de fora da equipe consiga ler em dois minutos.
- Rode as duas versões por semanas completas, porque o comportamento costuma variar entre fins de semana e dias úteis.
- Antes de começar, confira se a divisão funciona enviando uma pequena parcela de pessoas pelas duas versões.
- Mantenha um registro simples dos experimentos e resultados para que a organização pare de testar de novo ideias antigas.
Erros comuns
- Escolher a métrica depois de ver os dados, o que quase sempre encontra algo que parece uma vitória.
- Parar antes porque o resultado parece bom, sem que pessoas suficientes tenham visto as duas versões.
- Mudar várias coisas em B, de modo que uma vitória não possa ser explicada nem repetida.
- Rodar um teste com pouco tráfego e tratar a ausência de diferença clara como prova de que a mudança não importa.
O que você leva
Você sai com um plano aprovado de uma página: uma única hipótese, duas variantes bem descritas, uma métrica principal e uma de proteção com seus valores atuais, uma alocação combinada com um analista e uma regra de parada com a decisão que cada resultado vai disparar. Depois que o experimento rodar, registre o resultado em relação ao plano. Se não tiver certeza de qual métrica realmente move o resultado, monte antes uma árvore de KPIs e, se a mudança ainda for um palpite, formule-a como um teste de hipótese.
Perguntas frequentes
Por quanto tempo um teste A/B deve rodar?
Tempo suficiente para alcançar o número de pessoas calculado pelo analista e pelo menos uma ou duas semanas completas, para cobrir os padrões semanais normais. Combine a duração antes do lançamento. Encerrar o teste assim que uma versão parece na frente é a forma mais comum de chegar a um resultado falso.
Qual a diferença entre um teste A/B e um teste de hipótese?
Um teste de hipótese é qualquer teste pequeno de uma crença e pode ser uma entrevista, um protótipo ou uma contagem. Um experimento A/B é um tipo específico: duas versões mostradas a grupos de usuários reais divididos aleatoriamente e comparadas por uma métrica. Use-o quando houver volume.
Preciso de um estatístico para planejar um teste A/B?
Você precisa de alguém que saiba estimar quantas pessoas cada versão exige e como ler o resultado. Pode ser um analista, não necessariamente um estatístico. O restante do plano, ou seja, hipótese, variantes e decisões, cabe à equipe do serviço.
Ficha da ferramenta
A planilha que sua equipe preenche, um quadro por campo.
- Hipótese
- Variantes
- Métrica
- Alocação
- Regra de parada