Calculadora de NPS, CSAT e CES com margem de erro

O Net Promoter Score (NPS) foi apresentado por Fred Reichheld em “The One Number You Need to Grow”, Harvard Business Review, 2003. A métrica se baseia em uma única pergunta:

As respostas se dividem em três grupos: promotores (9–10) — clientes fiéis que recomendam o produto; neutros (7–8) — satisfeitos, mas fáceis de perder para a concorrência; detratores (0–6) — insatisfeitos que podem desencorajar outras pessoas. A nota:

O NPS é medido em pontos de −100 (só detratores) a +100 (só promotores), não em porcentagem. Os neutros não entram no numerador, mas entram no denominador: se promotores viram neutros, a nota cai.

Net Promoter®, NPS® e Net Promoter Score® são marcas registradas da Bain & Company, Inc., NICE Satmetrix (Satmetrix Systems, Inc.) e Fred Reichheld. Esta calculadora é uma ferramenta independente, sem vínculo com os titulares das marcas.

O NPS é a diferença de duas parcelas da mesma amostra, então a margem de erro dele é maior que a de cada parcela isolada. Se p_P e p_D são as parcelas de promotores e detratores, a variância da nota (em proporções) é:

No exemplo acima (0,6 e 0,167; n = 300), SE = 4,39 e o intervalo de 95% vai de +34,7 a +51,9. Uma faixa de 17 pontos com 300 respostas é normal, e é o principal a lembrar ao ler relatórios: uma variação de 3–5 pontos no NPS com algumas centenas de respostas quase sempre está dentro da variação aleatória. No pior caso — promotores e detratores iguais e nenhum neutro — a margem de 95% é de ±9,8 pontos com 400 respostas; para chegar a ±5 são necessárias 1.537 respostas.

O NPS mudou de verdade?

Para duas pesquisas independentes — por exemplo, dois trimestres com respondentes diferentes — teste a diferença com um teste z:

Se o p-valor for menor que 1 − nível de confiança, a mudança é significativa. Se as mesmas pessoas responderam as duas vezes, as pesquisas são dependentes e a fórmula fica conservadora demais — pesquisas em painel precisam de métodos pareados.

CSAT — satisfação

O Customer Satisfaction Score responde a “Qual o seu nível de satisfação com…” — geralmente logo depois de uma interação específica: um atendimento, uma compra, a conclusão da configuração. O CSAT não tem redação padrão; o mais comum é uma escala de 1 a 5 e a parcela de clientes satisfeitos, ou seja, notas 4 e 5:

A nota média (“4,2 de 5”) também é usada, mas é mais difícil de interpretar: a mesma média sai de “todos deram 4” e de “metade deu 5 e alguns deram 1”. Para a parcela de satisfeitos, a calculadora usa o intervalo de Wilson — com parcelas perto de 80–90%, o intervalo simples de “± margem” erra bastante.

CES — esforço do cliente

O Customer Effort Score surgiu depois de “Stop Trying to Delight Your Customers”, de Matthew Dixon, Karen Freeman e Nicholas Toman (Harvard Business Review, 2010). Os autores defendiam que a lealdade depende mais da facilidade de resolver um problema do que das tentativas de “encantar”. A primeira versão perguntava quanto esforço foi necessário numa escala de 1 a 5. “The Effortless Experience” (2013) descreve a segunda: concordância com “A empresa facilitou a resolução do meu problema” numa escala de 1 a 7, em que maior é mais fácil. A calculadora usa essa versão.

Além da média, olhe a parcela de notas 1–3: são as pessoas que tiveram dificuldade, e os casos delas merecem atenção primeiro.

Qual métrica usar

• NPS — a relação com o produto como um todo. Pergunte ao mesmo usuário no máximo uma vez por trimestre, e não antes de ele ter obtido valor.
• CSAT — um momento específico: um chamado de suporte, uma nova funcionalidade, uma etapa de configuração.
• CES — a facilidade de uma tarefa: onboarding, importação de dados, pagamento. Mostra bem onde a interface atrapalha.

O NPS é popular por ser simples, mas a métrica tem fraquezas conhecidas.

• A ligação com o crescimento é contestada. Um estudo de Keiningham e colegas no Journal of Marketing (2007) não confirmou que o NPS preveja o crescimento da receita melhor que outras medidas de satisfação.
• Perda de informação. Onze níveis viram três grupos: uma nota que passa de 0 para 6 não muda o índice, mas de 6 para 7 muda. Olhe a distribuição das notas, não só o número final.
• Comparação com outras empresas. O nível do NPS depende muito do setor, do público, do canal e da redação da pergunta. Não citamos “benchmarks” — é mais honesto comparar o produto com ele mesmo ao longo do tempo, com o mesmo método.
• Autosseleção. Nem todos respondem, e quem responde é diferente de quem fica em silêncio. A margem de erro aqui cobre só o erro aleatório de amostragem — veja a calculadora de tamanho de amostra.

Quando perguntar dentro do produto

O erro mais comum é mostrar o NPS no primeiro login. A pessoa ainda não fez nada, então a nota reflete a landing page e as expectativas, não o produto. Melhor:

• perguntar depois de uma etapa-chave do onboarding — primeiro projeto criado, dados importados, um colega convidado;
• para CSAT e CES, perguntar logo depois do evento medido, com a impressão fresca;
• não interromper uma tarefa: faça a pesquisa depois que a ação terminou, não no meio de um formulário;
• sempre incluir uma pergunta aberta, “Por que você deu essa nota?” — o número mostra o que está acontecendo, os comentários explicam o porquê;
• limitar a frequência: a mesma pessoa não deve ver a pesquisa toda semana.

1. Reichheld F. F. The One Number You Need to Grow. Harvard Business Review, dezembro de 2003 — definição do NPS.
2. Dixon M., Freeman K., Toman N. Stop Trying to Delight Your Customers. Harvard Business Review, julho–agosto de 2010 — Customer Effort Score.
3. Dixon M., Toman N., DeLisi R. The Effortless Experience: Conquering the New Battleground for Customer Loyalty. Portfolio/Penguin, 2013 — CES 2.0 na escala de 1 a 7.
4. Keiningham T. L., Cooil B., Andreassen T. W., Aksoy L. A Longitudinal Examination of Net Promoter and Firm Revenue Growth. Journal of Marketing, 71(3), 2007 — uma crítica ao NPS.
5. Wilson E. B. Probable Inference, the Law of Succession, and Statistical Inference. Journal of the American Statistical Association, 22(158), 1927 — intervalo para uma proporção.
6. ISO 10004:2018. Quality management — Customer satisfaction — Guidelines for monitoring and measuring.