Plan de experimento A/B (plan de prueba A/B)
Acuerden qué van a probar, cómo lo van a medir y cuándo van a parar, antes de que una sola persona vea cualquiera de las dos versiones.
- Tiempo
- 45 min
- Personas
- 3–5
- Tipo de trabajo
- Probar
En resumen
Un plan de experimento A/B es un documento breve y acordado que se redacta antes de comparar dos versiones de un servicio con usuarios reales. Recoge una hipótesis, las dos variantes, la métrica principal, cómo se reparte a las personas entre versiones y la regla para detener la prueba. Escribirlo antes protege el resultado de interpretaciones interesadas.
Qué es
Un experimento A/B muestra la versión A a un grupo de personas y la versión B a otro, al mismo tiempo, y compara lo que hacen. Como la asignación es aleatoria, una diferencia en el resultado puede atribuirse a la diferencia entre las versiones. El plan es lo que se hace antes de todo eso: las decisiones que hacen que el resultado sea fiable.
La mayoría de los experimentos fallidos fallan en la planificación. Los equipos cambian dos cosas a la vez, eligen la métrica después de ver los datos o detienen la prueba el día en que parece ir bien. Un plan de una página con cinco campos evita casi todo esto. También obliga a una conversación útil con un analista sobre si habrá datos suficientes para aprender algo.
Cuándo usarlo
Úsalo cuando
- Tienes dos versiones creíbles de una página, un mensaje o un paso y quieres saber cuál funciona mejor con usuarios reales.
- El servicio tiene suficiente tráfico o volumen para que una diferencia se vea en pocas semanas.
- Una decisión está en disputa y el equipo quiere una evidencia acordada de antemano.
- Puedes medir de forma automática y fiable el resultado que te importa.
Evítalo cuando
- Los volúmenes son pequeños, como un servicio que usan unas pocas decenas de personas al mes; la prueba no llegará a una respuesta clara.
- Todavía no sabes por qué la gente tiene dificultades; haz primero una prueba de usabilidad moderada para encontrar el problema.
- Mostrar a un grupo una versión peor podría causar un daño real, como plazos médicos o legales incumplidos.
Qué necesitas
- Tiempo
- Unos 45 minutos para redactar el plan en equipo, más tiempo con un analista para revisar las necesidades de datos.
- Personas
- De tres a cinco: la persona responsable del servicio, un diseñador o redactor de contenidos, alguien que pueda construir las variantes y un analista.
- Materiales
- La plantilla con Hipótesis, Variantes, Métrica, Reparto y Regla de parada; las cifras actuales de la métrica; una descripción o maqueta de cada versión.
Cómo aplicarlo
Paso 1: Escribe una sola hipótesis
Indica el cambio, el efecto que esperas y por qué. Por ejemplo: «Si mostramos el importe total antes de empezar el formulario, más solicitantes completarán el pago, porque la sorpresa ante la tasa es el principal motivo de abandono». Una hipótesis por experimento mantiene el resultado legible.
Paso 2: Describe las dos variantes
Escribe cómo son A (la versión actual) y B (la nueva), una junto a otra. Cambia una sola cosa significativa. Si B difiere a la vez en el texto, el diseño y el momento, no sabrás qué cambio marcó la diferencia.
Paso 3: Elige la métrica principal y una métrica de control
Escoge la única medida que decide el resultado, como el porcentaje de solicitudes iniciadas que llegan al pago. Añade una métrica de control que no debe empeorar, como las llamadas a la línea de ayuda. Anota el valor actual de cada una.
Paso 4: Acuerda el reparto con un analista
Decide cómo se divide a las personas, normalmente mitad y mitad al azar, y quién queda incluido. Pregunta al analista cuántas personas necesita cada versión para detectar la diferencia más pequeña que justificaría actuar, y cuánto tiempo llevará con los volúmenes actuales.
Paso 5: Fija la regla de parada
Escribe cuándo termina la prueba: una fecha fija o un número fijo de personas, según recomiende el analista. Añade las condiciones para detenerla antes, como que la métrica de control empeore en una cantidad determinada. No la detengas porque el resultado parezca bueno al tercer día.
Paso 6: Decide qué significará cada resultado
Antes del lanzamiento, escribe qué harán si gana B, si gana A y si no hay una diferencia clara. Así el experimento se convierte en una decisión y se evita que el equipo lo repita hasta obtener la respuesta que quería.
Paso 7: Obtén la aprobación y lanza
Comparte el plan de una página con quien decide y con el analista, y congélalo. Cualquier cambio posterior al lanzamiento, como una nueva métrica, se registra como cambio junto con su motivo.
Ejemplo práctico
Un banco minorista quería que más clientes terminaran de abrir una cuenta de ahorro en línea. Alrededor del 40 por ciento abandonaba en el paso que pedía un justificante de domicilio. El equipo digital creía que la gente no sabía qué documentos eran válidos.
Hipótesis: si el paso enumera los documentos aceptados con pequeñas imágenes, más solicitantes subirán uno y continuarán, porque la duda sobre qué es válido es el principal motivo de abandono.
La variante A era el paso de subida actual. La variante B añadía una lista de cuatro documentos aceptados con imágenes. Nada más cambiaba. La métrica principal era el porcentaje de personas que, al llegar al paso, lo completaban; la métrica de control era el porcentaje de documentos rechazados por el personal.
El analista calculó que, con unas 3.000 personas por semana llegando al paso, un reparto 50/50 necesitaría tres semanas para detectar una mejora de cinco puntos. La regla de parada fue de tres semanas completas, con parada anticipada si los documentos rechazados subían más de una cuarta parte.
Al cabo de tres semanas, la finalización subió del 60 al 66 por ciento en B y los documentos rechazados no variaron. Tal como se había acordado en el plan, el equipo extendió B a todo el mundo y pasó al siguiente paso del recorrido.
IlustrativoConsejos y errores
Consejos
- Redacta el plan en un lenguaje sencillo que una directiva ajena al equipo pueda leer en dos minutos.
- Mantén las dos versiones durante semanas completas, porque el comportamiento suele cambiar entre fines de semana y días laborables.
- Comprueba que el reparto funciona antes de empezar, enviando una pequeña parte de las personas por ambas versiones.
- Lleva un registro sencillo de los experimentos y sus resultados para que la organización deje de volver a probar ideas antiguas.
Errores frecuentes
- Elegir la métrica después de ver los datos, lo que casi siempre encuentra algo que parece un éxito.
- Detener la prueba antes de tiempo porque el resultado parece bueno, sin que suficientes personas hayan visto ambas versiones.
- Cambiar varias cosas en B, de modo que un éxito no se puede explicar ni repetir.
- Hacer una prueba con muy poco tráfico y tomar la ausencia de una diferencia clara como prueba de que el cambio no importa.
Con qué terminas
Terminas con un plan aprobado de una página: una única hipótesis, dos variantes bien descritas, una métrica principal y una de control con sus valores actuales, un reparto acordado con un analista y una regla de parada con la decisión que activará cada resultado. Cuando el experimento se ejecute, registra el resultado frente al plan. Si no tienes claro qué métrica impulsa realmente el resultado, construye primero un árbol de KPI y, si el cambio sigue siendo una suposición, plantéalo como una prueba de hipótesis.
Preguntas frecuentes
¿Cuánto tiempo debe durar una prueba A/B?
Lo suficiente para alcanzar el número de personas que calculó el analista y, como mínimo, una o dos semanas completas para cubrir los patrones semanales normales. Acuerda la duración antes del lanzamiento. Terminar la prueba en cuanto una versión parece ir por delante es la forma más común de obtener un resultado falso.
¿Qué diferencia hay entre una prueba A/B y una prueba de hipótesis?
Una prueba de hipótesis es cualquier prueba pequeña de una creencia, y puede ser una entrevista, un prototipo o un recuento. Un experimento A/B es un tipo concreto: dos versiones mostradas a grupos de usuarios reales repartidos al azar y comparadas según una métrica. Úsalo cuando tengas volumen.
¿Necesito un estadístico para planificar una prueba A/B?
Necesitas a alguien capaz de estimar cuántas personas requiere cada versión y cómo interpretar el resultado. Puede ser un analista en lugar de un estadístico. El resto del plan, la hipótesis, las variantes y las decisiones, corresponde al equipo del servicio.
Ficha de la herramienta
La ficha de trabajo que rellena tu equipo, una casilla por campo.
- Hipótesis
- Variantes
- Métrica
- Reparto
- Regla de parada