Calculadora SUS: pontuação System Usability Scale

A System Usability Scale (SUS) é um questionário de dez itens criado por John Brooke na Digital Equipment Corporation em 1986 e publicado em 1996 como uma escala de usabilidade “rápida e simples”. Tornou-se o questionário padronizado de usabilidade mais usado: é gratuito, independe de tecnologia, leva um minuto para responder e funciona com amostras pequenas.

Os participantes avaliam cada afirmação de 1 (discordo totalmente) a 5 (concordo totalmente). As afirmações ímpares são positivas (“Achei o sistema fácil de usar”) e as pares, negativas (“Achei o sistema desnecessariamente complexo”) — por isso são pontuadas em sentidos opostos:

SUS não é porcentagem. Uma pontuação de 75 não quer dizer “75 % usável”. Para interpretá-la é preciso comparar com outros produtos, e é para isso que servem percentis e notas.

Vários participantes

Cada participante recebe uma pontuação e depois calcula-se a média. O intervalo de confiança usa a distribuição t de Student, porque as amostras de SUS costumam ser pequenas:

Tullis e Stetson (2004) mostraram que o SUS chega a conclusões estáveis com 12–14 participantes, antes de outros questionários comparados. Mesmo com 5 participantes a pontuação é informativa, mas o intervalo é largo — a calculadora mostra isso para você não tirar conclusões de diferenças pequenas.

Sobre a tradução. O questionário original é em inglês. As afirmações da calculadora são uma tradução fiel; qualquer que seja a versão escolhida, use sempre a mesma em todas as medições para que as rodadas sejam comparáveis.

Jeff Sauro e James Lewis reuniram dados de SUS de centenas de estudos. A pontuação média é 68, que corresponde ao percentil 50. A escala de notas com curva deles, baseada em 241 estudos industriais, associa faixas de pontuação a notas e percentis:

A calculadora mostra a nota da média e um percentil interpolado linearmente dentro dessas faixas. Assim, um SUS de 72,5 é C+ e fica perto do percentil 65: um pouco acima da média, e não “72,5 % bom”.

Avaliação por adjetivo. Bangor, Kortum e Miller (2009) acrescentaram uma sétima pergunta pedindo que as pessoas descrevessem o produto com um adjetivo e calcularam o SUS médio de cada um: o pior imaginável 12,5, péssimo 20,3, ruim 35,7, razoável 50,9, bom 71,4, excelente 85,5, o melhor imaginável 90,9. A calculadora mostra o adjetivo cuja média está mais próxima. Os mesmos autores propuseram faixas de aceitabilidade: abaixo de 50, não aceitável; de 50 a 70, marginal; acima de 70, aceitável.

Usabilidade e aprendizado

Lewis e Sauro (2009) descobriram que os itens 4 e 10 — precisar de ajuda técnica e precisar aprender muita coisa antes — formam um fator próprio de aprendizado. A calculadora os converte para uma escala de 0 a 100 (soma das duas contribuições × 12,5) e os outros oito itens para uma pontuação de usabilidade (soma × 3,125). Um produto com boa usabilidade e baixo aprendizado geralmente precisa de um onboarding melhor, não de um redesign.

• Pergunte depois das tarefas, não depois de uma demo. O SUS mede a usabilidade percebida de uma experiência; os participantes precisam ter usado o produto.
• Mantenha a redação e a ordem originais. Alterar afirmações, remover itens ou usar outra escala quebra a comparabilidade com a base. Trocar “sistema” por “site” ou pelo nome do produto é prática aceita.
• Não tire os itens negativos. A alternância de tom faz parte do método. Existe uma versão totalmente positiva (Sauro e Lewis, 2011) com resultados parecidos, mas não misture versões num mesmo estudo.
• Trate respostas em branco de forma explícita. Uma convenção comum é substituir um único item em branco pelo neutro 3 e excluir linhas com mais lacunas. A calculadora lista as linhas ignoradas para você decidir.
• Compare, não só reporte. O SUS é mais útil para comparar versões, concorrentes ou lançamentos. Se os intervalos de confiança se sobrepõem muito, a diferença não está comprovada — revise o tamanho da amostra.
• Combine a pontuação com comportamento. Aprendizado baixo e itens 3, 7 e 10 fracos costumam indicar problema na primeira experiência. As métricas de ativação depois de melhorar o onboarding mostram se a mudança funcionou.

O SUS mede o quanto as pessoas acham o produto usável; o NPS mede se elas o recomendariam. As métricas se relacionam, mas um produto pode ser fácil de usar e ainda assim não valer uma recomendação.

1. Brooke J. SUS: A "quick and dirty" usability scale. In: Jordan P. W. et al. (eds.) Usability Evaluation in Industry. Taylor & Francis, 1996.
2. Sauro J., Lewis J. R. Quantifying the User Experience: Practical Statistics for User Research, 2ª ed. Morgan Kaufmann, 2016 — escala de notas com curva, média de referência 68.
3. Bangor A., Kortum P., Miller J. Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale. Journal of Usability Studies, 4(3), 2009.
4. Bangor A., Kortum P. T., Miller J. T. An Empirical Evaluation of the System Usability Scale. International Journal of Human–Computer Interaction, 24(6), 2008 — faixas de aceitabilidade.
5. Lewis J. R., Sauro J. The Factor Structure of the System Usability Scale. HCD 2009, LNCS 5619 — subescalas de usabilidade e aprendizado.
6. Tullis T. S., Stetson J. N. A Comparison of Questionnaires for Assessing Website Usability. UPA Conference, 2004 — tamanho de amostra.