Calculadora de NPS, CSAT e CES com margem de erro

O Net Promoter Score (NPS) foi apresentado por Fred Reichheld em “The One Number You Need to Grow”, Harvard Business Review, 2003. A métrica assenta numa única pergunta:

As respostas dividem-se em três grupos: promotores (9–10) — clientes fiéis que recomendam o produto; passivos (7–8) — satisfeitos, mas facilmente atraídos pela concorrência; detratores (0–6) — insatisfeitos que podem desencorajar outros. O índice:

O NPS mede-se em pontos de −100 (só detratores) a +100 (só promotores), e não em percentagem. Os passivos não entram no numerador, mas entram no denominador: se promotores passarem a passivos, o índice desce.

Net Promoter®, NPS® e Net Promoter Score® são marcas registadas da Bain & Company, Inc., NICE Satmetrix (Satmetrix Systems, Inc.) e Fred Reichheld. Esta calculadora é uma ferramenta independente, sem ligação aos titulares das marcas.

O NPS é a diferença de duas percentagens da mesma amostra, pelo que a sua margem de erro é maior do que a de cada percentagem isolada. Se p_P e p_D forem as percentagens de promotores e detratores, a variância do índice (em proporções) é:

Para o exemplo acima (0,6 e 0,167; n = 300), SE = 4,39 e o intervalo de 95% vai de +34,7 a +51,9. Uma amplitude de 17 pontos com 300 respostas é normal, e é o mais importante a reter ao ler relatórios: uma variação de 3–5 pontos no NPS com algumas centenas de respostas está quase sempre dentro da variação aleatória. No pior caso — tantos promotores como detratores e nenhum passivo — a margem de 95% é de ±9,8 pontos com 400 respostas; para a reduzir para ±5 são precisas 1537 respostas.

O NPS mudou mesmo?

Para dois inquéritos independentes — por exemplo, dois trimestres com inquiridos diferentes — teste a diferença com um teste z:

Se o valor-p for inferior a 1 − nível de confiança, a variação é significativa. Se as mesmas pessoas responderam das duas vezes, os inquéritos são dependentes e a fórmula é demasiado conservadora — os inquéritos em painel exigem métodos emparelhados.

CSAT — satisfação

O Customer Satisfaction Score responde a “Qual é o seu grau de satisfação com…” — normalmente logo após uma interação concreta: um pedido de suporte, uma compra, a conclusão da configuração. O CSAT não tem uma formulação padrão; o mais comum é uma escala de 1 a 5 e a percentagem de clientes satisfeitos, ou seja, avaliações 4 e 5:

Também se usa a avaliação média (“4,2 em 5”), mas é mais difícil de interpretar: a mesma média resulta de “todos deram 4” e de “metade deu 5 e alguns deram 1”. Para a percentagem de satisfeitos, a calculadora usa o intervalo de Wilson — com percentagens perto de 80–90%, o intervalo simples “± margem” afasta-se bastante.

CES — esforço do cliente

O Customer Effort Score surgiu depois de “Stop Trying to Delight Your Customers”, de Matthew Dixon, Karen Freeman e Nicholas Toman (Harvard Business Review, 2010). Os autores defendiam que a lealdade depende mais da facilidade em resolver um problema do que das tentativas de “encantar”. A primeira versão perguntava quanto esforço foi necessário numa escala de 1 a 5. “The Effortless Experience” (2013) descreve a segunda: concordância com “A empresa facilitou a resolução do meu problema” numa escala de 1 a 7, em que mais alto é mais fácil. A calculadora usa essa versão.

Além da média, observe a percentagem de avaliações 1–3: são as pessoas que tiveram dificuldades, e os seus casos merecem atenção primeiro.

Que métrica usar

• NPS — a atitude face ao produto no seu todo. Pergunte à mesma pessoa no máximo uma vez por trimestre, e não antes de ela ter obtido valor.
• CSAT — um momento concreto: um pedido de suporte, uma nova funcionalidade, um passo de configuração.
• CES — a facilidade de uma tarefa: onboarding, importação de dados, pagamento. Mostra bem onde a interface atrapalha.

O NPS é popular por ser simples, mas a métrica tem fragilidades conhecidas.

• A ligação ao crescimento é contestada. Um estudo de Keiningham e colegas no Journal of Marketing (2007) não confirmou que o NPS preveja o crescimento da receita melhor do que outras medidas de satisfação.
• Perda de informação. Onze níveis reduzem-se a três grupos: uma avaliação que passa de 0 para 6 não muda o índice, mas de 6 para 7 muda. Observe a distribuição das avaliações, não apenas o valor final.
• Comparação com outras empresas. O nível do NPS depende muito do setor, do público, do canal e da formulação da pergunta. Não citamos “benchmarks” — é mais honesto comparar o produto consigo próprio ao longo do tempo, com o mesmo método.
• Autosseleção. Nem todos respondem, e quem responde é diferente de quem fica calado. A margem de erro aqui cobre apenas o erro aleatório de amostragem — veja a calculadora do tamanho da amostra.

Quando perguntar dentro do produto

O erro mais comum é mostrar o NPS no primeiro início de sessão. A pessoa ainda não fez nada, pelo que a avaliação reflete a página de entrada e as expectativas, não o produto. Melhor:

• perguntar após um passo-chave do onboarding — o primeiro projeto criado, dados importados, um colega convidado;
• para CSAT e CES, perguntar logo a seguir ao evento que está a medir, com a impressão ainda fresca;
• não interromper uma tarefa: faça o inquérito depois de a ação estar concluída, não a meio de um formulário;
• acrescentar sempre uma pergunta aberta, “Porque deu esta avaliação?” — o número mostra o que se passa, os comentários explicam porquê;
• limitar a frequência: a mesma pessoa não deve ver o inquérito todas as semanas.

1. Reichheld F. F. The One Number You Need to Grow. Harvard Business Review, dezembro de 2003 — definição do NPS.
2. Dixon M., Freeman K., Toman N. Stop Trying to Delight Your Customers. Harvard Business Review, julho–agosto de 2010 — Customer Effort Score.
3. Dixon M., Toman N., DeLisi R. The Effortless Experience: Conquering the New Battleground for Customer Loyalty. Portfolio/Penguin, 2013 — CES 2.0 numa escala de 1 a 7.
4. Keiningham T. L., Cooil B., Andreassen T. W., Aksoy L. A Longitudinal Examination of Net Promoter and Firm Revenue Growth. Journal of Marketing, 71(3), 2007 — uma crítica ao NPS.
5. Wilson E. B. Probable Inference, the Law of Succession, and Statistical Inference. Journal of the American Statistical Association, 22(158), 1927 — intervalo para uma proporção.
6. ISO 10004:2018. Quality management — Customer satisfaction — Guidelines for monitoring and measuring.