Calculadora de dimensão da amostra e margem de erro

A calculadora resolve o problema clássico de estimar uma proporção: que parte de uma população tem uma característica — está satisfeita com o produto, usa uma funcionalidade, pagaria. Para uma amostra aleatória simples de uma população grande, a dimensão segue a fórmula de W. G. Cochran em «Sampling Techniques»:

Exemplo: 95%, ±5 p.p., p = 0,5. n₀ = 1,96² · 0,25 / 0,0025 = 384,2 — arredonde para cima: 385. São os famosos «385 inquiridos» dos guias: valem apenas para uma população grande e uma seleção aleatória.

Correção para população finita

Quando a população é pequena — trabalhadores de uma empresa, clientes de um plano, participantes de um webinar —, cada inquirido reduz visivelmente a incerteza sobre os restantes. A correção para população finita tem isso em conta:

Para N = 1000, 385 passa a 278; para N = 10 000, 370; para N = 100 000, 383. A correção importa quando a amostra excede 5% da população; para centenas de milhares de pessoas quase não altera nada.

Margem de erro de um inquérito concluído

O problema inverso está no separador «Margem de erro». Para uma proporção observada p̂ numa amostra de n respostas:

O segundo fator é a mesma correção para população finita; sem N, vale um. Este intervalo normal comporta-se mal com n pequeno e proporções perto de 0 ou 100%: pode ultrapassar os limites e cobre a proporção real menos vezes do que promete. Por isso a calculadora mostra também o intervalo de Wilson, que Brown, Cai e DasGupta recomendam em vez do intervalo de Wald:

O produto p · (1 − p) é máximo em p = 0,5, onde vale 0,25. Em p = 0,2 vale 0,16; em p = 0,1, 0,09. Assim, se souber de antemão que a característica é rara, precisa de uma amostra menor: com p = 20%, 95% de confiança e ±5 p.p., bastam 246 pessoas em vez de 385.

Mas um questionário tem quase sempre várias perguntas, com proporções diferentes. Uma amostra dimensionada para p = 0,2 dá uma margem de cerca de ±6,2 p.p. numa pergunta «50/50». Por isso os inquéritos são planeados com p = 50%: garante a margem declarada para qualquer pergunta de duas opções. Use uma proporção menor apenas quando o inquérito se centra numa métrica cujo nível conhece de medições anteriores.

Não se esqueça dos subgrupos. Para comparar utilizadores novos e antigos, precisa de ±5 p.p. em cada subgrupo — 385 respostas em cada um, não no total.

A dimensão da amostra controla apenas o erro aleatório. A representatividade é outra propriedade: a amostra assemelha-se à população se cada membro teve uma probabilidade conhecida e diferente de zero de ser inquirido. As fórmulas acima pressupõem seleção aleatória simples, e nenhuma quantidade de respostas corrige um enviesamento sistemático.

Autosseleção nos inquéritos dentro do produto

Um inquérito num pop-up ou num e-mail é respondido por quem quer. Os utilizadores ativos e as pessoas com opiniões fortes, num sentido ou noutro, respondem mais. Quem já abandonou o produto nunca vê o convite. Esta amostra não é aleatória e uma margem de ±3 p.p. é uma formalidade: o erro real pode ser muito maior e não é possível estimá-lo a partir das respostas. A American Association for Public Opinion Research (AAPOR) alerta expressamente que a margem de erro clássica perde sentido em amostras online não probabilísticas.

O que ajuda na prática:

• Sorteie quem vê o convite. Por exemplo, um em cada dez utilizadores que chegam a um determinado passo, não todos.
• Pergunte num momento com sentido. Perguntar pelo valor do produto no primeiro acesso não serve: a pessoa ainda não fez nada. É melhor depois de concluir um passo-chave do onboarding.
• Compare quem respondeu com quem não respondeu segundo o que a análise de dados sabe: plano, antiguidade da conta, atividade. Se os grupos forem muito diferentes, pondere os resultados ou pelo menos registe a ressalva.
• Acompanhe a taxa de resposta. Taxa de resposta = respostas / convites. Quanto mais baixa, maior o risco de quem responde ser diferente dos restantes. As referências dependem do canal e do público, por isso compare com os seus inquéritos anteriores.

Quantos convites enviar

Se precisa de 385 respostas e normalmente responde uma em cada cinco pessoas, mostre o convite a 385 / 0,2 = 1925 utilizadores. A calculadora faz isto automaticamente. Se forem necessários mais convites do que pessoas na população, mude o método, não a amostra: encurte o inquérito, acrescente um lembrete, escolha outro momento.

• Confundir percentagem com pontos percentuais. Uma margem de ±5% nas calculadoras de amostra são pontos percentuais: uma proporção de 30% significa «de 25 a 35%», não «de 28,5 a 31,5%».
• Dimensionar para todos, mas concluir por segmento. Comparar grupos exige uma amostra suficiente em cada um; testar a diferença entre eles é outro cálculo, como num teste A/B.
• Confiar na margem com autosseleção. A fórmula cobre apenas o erro aleatório. O enviesamento de quem responde não está nela.
• Arredondar para baixo. A dimensão da amostra arredonda-se sempre para cima: 384,2 passa a 385.
• Esquecer a taxa de resposta e as respostas inválidas. Parte das respostas estará incompleta ou será aleatória. Acrescente uma margem aos convites.
• Confundir confiança com precisão. 99% não torna o resultado mais preciso — o intervalo alarga e a amostra para a mesma margem cresce cerca de 1,7 vezes.

Se o inquérito serve para comparar duas versões do onboarding, calcule a dimensão da amostra para um teste de hipóteses, não para uma margem — na calculadora de testes A/B.

1. Cochran W. G. Sampling Techniques. 3rd ed. Wiley, 1977 — dimensão da amostra para uma proporção e correção para população finita (cap. 4).
2. Wilson E. B. Probable Inference, the Law of Succession, and Statistical Inference. Journal of the American Statistical Association, 22(158), 1927 — intervalo de Wilson.
3. Brown L. D., Cai T. T., DasGupta A. Interval Estimation for a Binomial Proportion. Statistical Science, 16(2), 2001 — comparação de intervalos para uma proporção.
4. Groves R. M. et al. Survey Methodology. 2nd ed. Wiley, 2009 — erro de cobertura, não resposta, autosseleção.
5. AAPOR. Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys — definições de taxa de resposta; AAPOR Report on Online Panels, 2010 — sobre a margem de erro de amostras não probabilísticas.