Calculadora de test A/B con significación, tamaño de muestra y duración

«Comprobar resultado» usa el clásico test z de dos proporciones, el mismo que usan la mayoría de las calculadoras A/B. La hipótesis nula: las tasas de conversión de A y B son iguales y la diferencia observada es ruido del muestreo.

Primero se calculan las tasas p_A = x_A / n_A y p_B = x_B / n_B. Para el test, el error estándar de la diferencia usa la tasa combinada, porque bajo la hipótesis nula ambos grupos comparten una misma conversión:

Φ es la función de distribución de la normal estándar. La diferencia es significativa cuando el p-valor es menor que α = 1 − nivel de confianza.

Intervalos de confianza

Los intervalos se construyen sin combinar: cada grupo conserva su propia varianza (intervalo de Wald):

El intervalo de la mejora relativa p_B/p_A − 1 usa el método delta. Estas distribuciones normales N(p, SE) son las que muestran los gráficos: el área sombreada es el intervalo de confianza, las líneas discontinuas son sus límites (percentiles 2,5 y 97,5 al 95 %) y la línea continua es la mediana.

Potencia y comprobaciones de la muestra

La «potencia» es la potencia observada (post hoc): la probabilidad de que un test de este tamaño detecte una diferencia igual a la observada. Es una pista sobre si tienes datos suficientes, no una prueba a favor de la hipótesis: la potencia observada es una función directa del p-valor y no aporta información nueva.

La calculadora también comprueba el SRM (sample ratio mismatch, desequilibrio de muestra) con un test χ² de reparto equitativo del tráfico. Si los visitantes se reparten de forma claramente desigual, lo más probable es que la aleatorización esté rota y comparar conversiones no tenga sentido.

Cuántos visitantes necesitas depende de cuatro números: la conversión base, el efecto mínimo detectable (MDE), el nivel de significación α y la potencia 1 − β. La calculadora usa la fórmula de aproximación normal para comparar dos proporciones, la misma que la calculadora de Evan Miller, así que los resultados coinciden:

n es el número de visitantes en cada variante. Duración del test = n × número de variantes ÷ visitantes al día.

Con más de dos variantes, cada comparación con el control es una nueva oportunidad de equivocarse. La calculadora aplica la corrección de Bonferroni: α se divide entre el número de comparaciones. Es conservadora, pero simple y honesta; el precio es una muestra mayor.

Reglas prácticas:

• Haz tests por semanas completas: como mínimo 7 días, idealmente 14. El público de entre semana y el del fin de semana son distintos.
• Reducir el MDE a la mitad exige aproximadamente cuatro veces más tráfico. Si un test fuera a durar seis meses, prueba un cambio más ambicioso o una métrica más cercana a la acción.
• En onboarding funcionan mejor las métricas con una base alta, como completar un paso o la primera acción clave, que el pago: necesitan varias veces menos visitantes.

El modo bayesiano responde a la pregunta que la gente suele hacerse: ¿qué probabilidad hay de que B sea mejor que A? La conversión de cada variante se describe con una distribución beta. Con una distribución a priori Beta(α, β) y x conversiones de n visitantes, la distribución a posteriori es Beta(α + x, β + n − x): el modelo conjugado beta-binomial.

La probabilidad de superar al control se calcula por integración numérica y en nuestros tests se compara con la fórmula exacta de Evan Miller para parámetros enteros y con una simulación de Monte Carlo. La pérdida esperada es cuánta conversión pierdes de media si la elección resulta equivocada. Una regla de parada cómoda: termina el test cuando el riesgo de la variante elegida esté por debajo de un umbral que no importe al negocio.

La inferencia bayesiana no justifica un proceso descuidado: mirar a mitad del test y parar «al primer 95 %» también la perjudica. La distribución a priori uniforme Beta(1, 1) apenas influye cuando ya tienes cientos de conversiones; una a priori informativa solo tiene sentido si refleja con honestidad tests anteriores.

Qué significa «estadísticamente significativo»

Un p-valor de 0,03 significa: si realmente no hubiera diferencia, una distancia igual o mayor aparecería en aproximadamente un 3 % de los tests. No es la probabilidad de que B sea mejor ni el tamaño del efecto. El tamaño lo muestra el intervalo de confianza: «de +0,2 a +1,4 pp» es más honesto que «+16 %, significativo».

Errores frecuentes

• Mirar a mitad del test. Comprobar la significación cada día y parar al primer p < 0,05 es una forma segura de conseguir una victoria falsa. Calcula el tamaño de muestra de antemano y decide una sola vez.
• Parar en «significativo» antes de una semana completa. El efecto novedad y los patrones por día de la semana distorsionan los primeros días de un test.
• Demasiadas métricas y segmentos. Revisa veinte métricas y encontrarás una «significativa» por azar. Elige la métrica principal antes de lanzar; trata los segmentos como ideas para el siguiente test.
• Reparto desigual (SRM). Si el tamaño de los grupos diverge más de lo que permite el azar, busca un fallo en el reparto de tráfico, no un ganador.
• Contar eventos como conversiones. Un usuario que hace clic cinco veces es una conversión. El test asume observaciones independientes.
• «No significativo» = «sin efecto». Un resultado no significativo con una muestra pequeña solo indica que faltaron datos. Mira el intervalo: si va de −5 % a +10 %, el test no ha decidido nada.

Si pruebas el onboarding (un tour frente a ningún tour, o dos versiones de un checklist), compara la activación (la primera acción clave), no «completó el tour». Cómo aumentarla: cómo aumentar la activación de usuarios en SaaS.

1. Fleiss J. L., Levin B., Paik M. C. Statistical Methods for Rates and Proportions. 3.ª ed. Wiley, 2003 — test z de dos proporciones y tamaño de muestra.
2. Miller E. Sample Size Calculator — evanmiller.org/ab-testing/sample-size.html; Miller E. Formulas for Bayesian A/B Testing — evanmiller.org/bayesian-ab-testing.html.
3. Kohavi R., Tang D., Xu Y. Trustworthy Online Controlled Experiments. Cambridge University Press, 2020 — SRM, mirar a mitad del test, elección de métricas.
4. Marsaglia G. Evaluating the Normal Distribution. Journal of Statistical Software, 11(4), 2004 — cálculo de Φ(x).
5. Press W. H. et al. Numerical Recipes. 3.ª ed., §6.4 — función beta incompleta.