Calculadora de teste A/B com significância, amostra e duração

“Verificar resultado” usa o clássico teste z para duas proporções, o mesmo da maioria das calculadoras de teste A/B. A hipótese nula: as taxas de conversão de A e B são iguais, e a diferença observada é ruído de amostragem.

Primeiro são calculadas as taxas p_A = x_A / n_A e p_B = x_B / n_B. Para o teste, o erro padrão da diferença usa a taxa combinada — sob a hipótese nula, os dois grupos têm a mesma conversão:

Φ é a função de distribuição acumulada da normal padrão. A diferença é significativa quando o p-valor fica abaixo de α = 1 − nível de confiança.

Intervalos de confiança

Os intervalos são calculados sem combinar as taxas — cada grupo mantém a própria variância (intervalo de Wald):

O intervalo do ganho relativo p_B/p_A − 1 usa o método delta. São essas distribuições normais N(p, SE) que os gráficos mostram: a área sombreada é o intervalo de confiança, as linhas tracejadas são os limites (percentis 2,5 e 97,5 a 95%) e a linha contínua é a mediana.

Poder e verificações da amostra

“Poder” é o poder observado (post hoc): a probabilidade de um teste desse tamanho detectar uma diferença igual à observada. É uma pista sobre se há dados suficientes, não uma evidência a favor da hipótese — o poder observado é função direta do p-valor e não traz informação nova.

A calculadora também verifica o SRM (sample ratio mismatch, desbalanceamento de amostra) com um teste χ² de divisão igual do tráfego. Se os visitantes estão divididos de forma claramente desigual, a randomização provavelmente quebrou e comparar conversões não faz sentido.

Quantos visitantes você precisa depende de quatro números: a conversão base, o efeito mínimo detectável (MDE), o nível de significância α e o poder 1 − β. A calculadora usa a fórmula de aproximação normal para comparar duas proporções — a mesma da calculadora de Evan Miller, então os resultados batem:

n é o número de visitantes em cada variante. Duração do teste = n × número de variantes ÷ visitantes por dia.

Com mais de duas variantes, cada comparação com o controle é mais uma chance de errar. A calculadora aplica a correção de Bonferroni: α é dividido pelo número de comparações. É conservadora, mas simples e honesta; o preço é uma amostra maior.

Regras práticas:

• Rode testes em semanas inteiras — no mínimo 7 dias, idealmente 14: o público de dias úteis e o de fim de semana são diferentes.
• Cortar o MDE pela metade exige cerca de quatro vezes mais tráfego. Se um teste fosse levar seis meses, teste uma mudança mais ousada ou uma métrica mais próxima da ação.
• No onboarding, métricas com base alta — concluir uma etapa, a primeira ação-chave — funcionam melhor que o pagamento: precisam de várias vezes menos visitantes.

O modo bayesiano responde à pergunta que as pessoas costumam fazer: qual a probabilidade de B ser melhor que A? A conversão de cada variante é descrita por uma distribuição beta. Com a priori Beta(α, β) e x conversões em n visitantes, a posteriori é Beta(α + x, β + n − x) — o modelo conjugado beta-binomial.

A probabilidade de superar o controle é calculada por integração numérica e verificada nos nossos testes contra a fórmula exata de Evan Miller para parâmetros inteiros e contra uma simulação de Monte Carlo. A perda esperada é quanto de conversão você perde, em média, se a escolha estiver errada. Uma regra de parada prática: encerre o teste quando o risco da variante escolhida ficar abaixo de um limite irrelevante para o negócio.

A inferência bayesiana não desculpa um processo descuidado: espiar e parar “no primeiro 95%” também a prejudica. A priori uniforme Beta(1, 1) quase não afeta o resultado quando há centenas de conversões; uma a priori informativa só faz sentido se refletir honestamente testes anteriores.

O que significa “estatisticamente significativo”

Um p-valor de 0,03 quer dizer: se realmente não houvesse diferença, uma distância desse tamanho ou maior apareceria em cerca de 3% dos testes. Não é a probabilidade de B ser melhor nem o tamanho do efeito. O tamanho aparece no intervalo de confiança: “de +0,2 a +1,4 p.p.” é mais honesto que “+16%, significativo”.

Erros comuns

• Espiar. Verificar a significância todo dia e parar no primeiro p < 0,05 é um jeito garantido de ter uma vitória falsa. Calcule a amostra com antecedência e decida uma única vez.
• Parar no “significativo” antes de uma semana inteira. O efeito novidade e os padrões por dia da semana distorcem os primeiros dias do teste.
• Métricas e segmentos demais. Olhe vinte métricas e uma vai parecer “significativa” por acaso. Escolha a métrica principal antes de lançar; trate segmentos como ideias para o próximo teste.
• Divisão desigual (SRM). Se o tamanho dos grupos diverge mais do que o acaso permite, procure um bug na divisão do tráfego, não um vencedor.
• Contar eventos como conversões. Um usuário que clica cinco vezes é uma conversão. O teste pressupõe observações independentes.
• “Não significativo” = “sem efeito”. Um resultado não significativo com amostra pequena só mostra que faltaram dados. Olhe o intervalo: se ele vai de −5% a +10%, o teste não decidiu nada.

Se você está testando o onboarding — um tour contra nenhum tour, ou duas versões de checklist —, compare a ativação (a primeira ação-chave), não “concluiu o tour”. Como aumentá-la: como aumentar a ativação de usuários em SaaS.

1. Fleiss J. L., Levin B., Paik M. C. Statistical Methods for Rates and Proportions. 3ª ed. Wiley, 2003 — teste z para duas proporções e tamanho de amostra.
2. Miller E. Sample Size Calculator — evanmiller.org/ab-testing/sample-size.html; Miller E. Formulas for Bayesian A/B Testing — evanmiller.org/bayesian-ab-testing.html.
3. Kohavi R., Tang D., Xu Y. Trustworthy Online Controlled Experiments. Cambridge University Press, 2020 — SRM, espiar resultados, escolha de métricas.
4. Marsaglia G. Evaluating the Normal Distribution. Journal of Statistical Software, 11(4), 2004 — cálculo de Φ(x).
5. Press W. H. et al. Numerical Recipes. 3ª ed., §6.4 — função beta incompleta.