Calculadora SUS: pontuação System Usability Scale

A System Usability Scale (SUS) é um questionário de dez itens criado por John Brooke na Digital Equipment Corporation em 1986 e publicado em 1996 como uma escala de usabilidade «rápida e simples». Tornou-se o questionário normalizado de usabilidade mais usado: é gratuito, independente da tecnologia, responde-se num minuto e funciona com amostras pequenas.

Os participantes avaliam cada afirmação de 1 (discordo totalmente) a 5 (concordo totalmente). As afirmações ímpares são positivas («Achei o sistema fácil de usar») e as pares negativas («Achei o sistema desnecessariamente complexo») — por isso pontuam em sentidos opostos:

O SUS não é uma percentagem. Uma pontuação de 75 não significa «75 % usável». Para a interpretar é preciso compará-la com outros produtos, e é para isso que servem os percentis e as notas.

Vários participantes

Cada participante tem a sua pontuação e depois calcula-se a média. O intervalo de confiança usa a distribuição t de Student, porque as amostras SUS costumam ser pequenas:

Tullis e Stetson (2004) mostraram que o SUS chega a conclusões estáveis com 12–14 participantes, antes de outros questionários comparados. Mesmo com 5 participantes a pontuação é informativa, mas o intervalo é largo — a calculadora mostra-o para não tirar conclusões de diferenças pequenas.

Sobre a tradução. O questionário original é em inglês. As afirmações da calculadora são uma tradução fiel; seja qual for a versão escolhida, use sempre a mesma em todas as medições para que as rondas sejam comparáveis.

Jeff Sauro e James Lewis reuniram dados SUS de centenas de estudos. A pontuação média é 68, que corresponde ao percentil 50. A sua escala de notas com curva, baseada em 241 estudos industriais, associa intervalos de pontuação a notas e percentis:

A calculadora mostra a nota da média e um percentil interpolado linearmente dentro destes intervalos. Assim, um SUS de 72,5 é C+ e fica perto do percentil 65: ligeiramente acima da média, e não «72,5 % bom».

Avaliação por adjetivo. Bangor, Kortum e Miller (2009) acrescentaram uma sétima pergunta a pedir que as pessoas descrevessem o produto com um adjetivo e calcularam o SUS médio de cada um: o pior imaginável 12,5, péssimo 20,3, fraco 35,7, razoável 50,9, bom 71,4, excelente 85,5, o melhor imaginável 90,9. A calculadora mostra o adjetivo cuja média está mais próxima. Os mesmos autores propuseram faixas de aceitabilidade: abaixo de 50, não aceitável; de 50 a 70, marginal; acima de 70, aceitável.

Usabilidade e aprendizagem

Lewis e Sauro (2009) verificaram que os itens 4 e 10 — precisar de ajuda técnica e ter de aprender muito antes — formam um fator próprio de aprendizagem. A calculadora converte-os para 0–100 (soma dos dois contributos × 12,5) e os restantes oito itens para uma pontuação de usabilidade (soma × 3,125). Um produto com boa usabilidade e baixa aprendizagem precisa normalmente de melhor onboarding, não de um redesign.

• Pergunte depois das tarefas, não depois de uma demonstração. O SUS mede a usabilidade percebida de uma experiência; os participantes têm de ter usado o produto.
• Mantenha a redação e a ordem originais. Alterar afirmações, retirar itens ou usar outra escala quebra a comparabilidade com a base. Trocar «sistema» por «site» ou pelo nome do produto é prática aceite.
• Não retire os itens negativos. A alternância de tom faz parte do método. Existe uma versão totalmente positiva (Sauro e Lewis, 2011) com resultados semelhantes, mas não misture versões no mesmo estudo.
• Trate as respostas em branco de forma explícita. Uma convenção comum é substituir um único item em branco pelo neutro 3 e excluir linhas com mais falhas. A calculadora lista as linhas ignoradas para decidir.
• Compare, não se limite a reportar. O SUS é mais útil para comparar versões, concorrentes ou lançamentos. Se os intervalos de confiança se sobrepõem muito, a diferença não está provada — reveja o tamanho da amostra.
• Junte a pontuação ao comportamento. Aprendizagem baixa e itens 3, 7 e 10 fracos apontam muitas vezes para um problema na primeira experiência. As métricas de ativação depois de melhorar o onboarding mostram se a alteração resultou.

O SUS mede quão usável as pessoas acham o produto; o NPS mede se o recomendariam. Estão relacionados, mas um produto pode ser fácil de usar e ainda assim não merecer recomendação.

1. Brooke J. SUS: A "quick and dirty" usability scale. In: Jordan P. W. et al. (eds.) Usability Evaluation in Industry. Taylor & Francis, 1996.
2. Sauro J., Lewis J. R. Quantifying the User Experience: Practical Statistics for User Research, 2.ª ed. Morgan Kaufmann, 2016 — escala de notas com curva, média de referência 68.
3. Bangor A., Kortum P., Miller J. Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale. Journal of Usability Studies, 4(3), 2009.
4. Bangor A., Kortum P. T., Miller J. T. An Empirical Evaluation of the System Usability Scale. International Journal of Human–Computer Interaction, 24(6), 2008 — faixas de aceitabilidade.
5. Lewis J. R., Sauro J. The Factor Structure of the System Usability Scale. HCD 2009, LNCS 5619 — subescalas de usabilidade e aprendizagem.
6. Tullis T. S., Stetson J. N. A Comparison of Questionnaires for Assessing Website Usability. UPA Conference, 2004 — tamanho da amostra.