Como fazer testes A/B de product tours e onboarding no Clew
O Clew mostra duas versões do mesmo tour a visitantes diferentes e conta quantas pessoas concluem cada uma. Este guia percorre um teste do início ao fim: o que mudar, durante quanto tempo o manter, como ler os números e como pôr o vencedor em produção sem estragar nada.
- Tempo
- ● 20 minutos para configurar, 1–4 semanas de teste
- Quem faz
- Product manager ou profissional de marketing com acesso de editor no Clew
- Passos
- 6
Passo a passo
- Passo 01
Escreva a hipótese e uma única métrica
Antes de abrir o editor, escreva uma frase: «Se mudarmos X, mais pessoas vão fazer Y, porque Z.» Por exemplo: «Se o primeiro item do checklist for Convidar um colega em vez de Preencher o perfil, mais pessoas vão concluir o checklist, porque o valor aparece mais cedo.»
Escolha antecipadamente uma métrica principal. No Clew é a taxa de conclusão do tour: visitantes únicos que o concluíram a dividir pelos visitantes únicos que o viram. Mude uma coisa de cada vez — texto, ordem ou número de passos —, caso contrário não saberá que alteração fez a diferença.
Passo 1 · ilustração esquemática - Passo 02
Crie a variante B no editor do tour
Abra o tour em Tours, expanda Teste A/B no fim do editor e mude Teste para Ligado. Clique em Copiar de A: a variante B começa como cópia exata dos passos atuais e só edita o que a hipótese altera.
A variante B tem os seus próprios passos: elemento (seletor), posição, título e texto — e pode ter outro número de passos. A variante B também pode ter as suas próprias cores: marque Cores da variante B e escolha fundo, texto, contorno, destaque e raio dos cantos com os mesmos seletores do tema do tour; o interruptor A / B na pré-visualização mostra qualquer uma das duas. Para testar só as cores, em Conteúdo da variante B escolha Os mesmos passos de A (testar só as cores). Tudo o resto é comum às duas: formato, acionador, páginas, regras de público e frequência.
Passo 2 · ilustração esquemática - Passo 03
Estime o tamanho da amostra e a duração
Abra a calculadora de testes A/B, no separador de tamanho da amostra e duração. Indique a taxa de conclusão atual do tour como conversão de base (está nas estatísticas), o menor ganho que justifica a mudança e as visualizações por dia.
Exemplo: 40% de quem vê o checklist conclui-o e quer detetar uma subida para 45% (+5 pontos percentuais) com 95% de confiança e 80% de potência. A calculadora dá 1515 visitantes por variante. Com 200 visualizações por dia são 3030 ÷ 200 = 16 dias — arredonde para 3 semanas completas para abranger todos os dias da semana.
Passo 3 · ilustração esquemática - Passo 04
Defina a divisão e publique
Percentagem da variante A, % é a parte dos visitantes que vê o original; os restantes veem B. Mantenha 50, a não ser que B seja arriscada. Mude o estado para Publicado e guarde — o teste começa de imediato para visitantes novos e recorrentes.
A divisão é estável: o widget calcula um hash do identificador anónimo do visitante guardado no navegador juntamente com o slug do tour, por isso a mesma pessoa vê sempre a mesma variante desse tour, sem pedidos adicionais. Quem usa outro navegador ou dispositivo, ou apagou os dados do site, é um visitante novo e pode calhar na outra variante.
Passo 4 · ilustração esquemática - Passo 05
Leia o cartão de resultados nas estatísticas do tour
Abra o tour e veja as estatísticas no topo do editor (ou 📊 Estatísticas na lista de tours). Com um teste a decorrer, o cartão Resultados do teste A/B mostra as visualizações, conclusões e a taxa de conclusão de cada variante com intervalo de 95%, o ganho de B face a A com intervalo de 95% para a diferença, o valor-p de um teste z bilateral, a probabilidade de B ser melhor (bayesiana) e o progresso até à amostra planeada para o menor ganho que lhe interessa — com a mesma fórmula da calculadora. Comparar funis por variante põe os funis de passos de A e B lado a lado, para ver onde cada versão perde pessoas.
A etiqueta no topo é o veredicto: A recolher dados, Pouco tráfego, Ainda sem diferença significativa, Sem diferença significativa, B ganhou ou A ganhou — ou Divisão desequilibrada (SRM) quando as visualizações não seguem a divisão configurada. Uma diferença significativa antes de atingir a amostra planeada é marcada como não definitiva: vantagens iniciais costumam desaparecer, por isso aguarde o plano.
Passo 5 · ilustração esquemática - Passo 06
Torne B a versão principal ou mantenha A
Quando o veredicto for definitivo, termine o teste no mesmo cartão — nada para copiar nem registar:
- B venceu: carregue em Tornar B a versão principal. Os passos de B substituem os principais (e, se B tinha cores próprias, passam a ser as do tour), o teste é desligado e todos veem a nova versão.
- A venceu ou não há diferença: carregue em Manter A. O teste é desligado e todos veem A.
Em ambos os casos o teste terminado fica guardado em Histórico de testes, por baixo das estatísticas: os passos das duas variantes, a divisão, as datas, os números finais, a decisão e quem a tomou. Restaurar versão anterior repõe a versão de antes da decisão. Desligar o Teste no editor e guardar arquiva o teste da mesma forma, e os testes terminados não contam para o limite do seu plano. Se terminar um teste antes de o resultado ser definitivo, a confirmação avisa primeiro.
Parar o teste não volta a mostrar o tour a quem já o concluiu ou fechou: com a frequência Uma vez por visitante, continua marcado como visto.
Passo 6 · ilustração esquemática
O que pode testar no Clew
| Ideia | Como fazer no Clew | Métrica |
|---|---|---|
| Texto de um passo | Variante B com outro título ou texto | Taxa de conclusão |
| Ordem dos passos ou itens do checklist | Reordene os passos copiados em B | Taxa de conclusão |
| Tour mais curto ou mais longo | Retire ou adicione passos em B | Taxa de conclusão, abandono |
| Para que elemento aponta a dica | Outro seletor em B | Taxa de conclusão |
| Modal ou dica, acionador, público | Dois tours separados, divididos por uma propriedade sua (exemplo 3) | Taxa de conclusão de cada tour |
O que o Clew mede — e o que não mede
O Clew conta visitantes únicos por variante que viram o tour e que o concluíram (o último passo de um tour ou todos os itens de um checklist). Não vê o que as pessoas fazem depois no seu produto. Se o objetivo real é ativação ou conversão, trate a conclusão como indicador antecipado e confirme o efeito na sua analítica de produto depois da implementação. Uma tarefa da checklist conta como concluída tanto se o visitante a marcou como se a regra dela a marcou (uma página visitada, um clique ou Clew.complete() da sua aplicação), por isso uma variante que se marca sozinha não é pontuada de outra forma — mas dê as mesmas regras às duas variantes.
Traduções
As traduções adicionadas no editor pertencem à variante A. A variante B mostra o texto tal como foi escrito, em qualquer idioma. Se o seu público fala várias línguas, teste um idioma de cada vez, por exemplo limitando o tour com uma regra de público. Quando B passa a ser a versão principal e tem o mesmo número de passos, a confirmação permite manter as traduções existentes; caso contrário, são removidas e os novos passos têm de ser traduzidos de novo.
Vários testes em simultâneo
Um teste conta para o limite do plano enquanto o tour está publicado com Teste: Ligado; os rascunhos não contam.
| Plano | Testes A/B em simultâneo | Histórico de analítica |
|---|---|---|
| Free | — | 1 mês |
| Pro | 1 | 3 meses |
| Business | 5 | 12 meses |
| Lifetime | 5 | 12 meses |
| Servidores próprios | Sem limite | Sem limite |
O período experimental de 14 dias após o registo inclui os limites do Business. As variantes de tours diferentes são atribuídas de forma independente, porque o slug faz parte do hash. Ainda assim, evite dois testes na mesma página para o mesmo público: só aparece um tour de cada vez, por isso um teste retiraria tráfego ao outro.
Armadilhas que estragam testes de tours
Espreitar antes do tempo
Ver todos os dias e parar assim que B fica «à frente» encontra vencedores que não existem. Fixe a amostra antecipadamente e decida quando for atingida. O cartão de resultados ajuda: mostra o progresso até à amostra planeada e marca como não definitivo um resultado que ficou significativo antes do tempo.
Mudar o teste a meio
Editar a divisão passa parte dos visitantes para a outra variante; mudar o slug volta a baralhar todos; editar o texto de uma variante mistura duas versões no mesmo grupo. Se precisar de mudar algo, desligue o teste e comece outro.
Efeito novidade
Utilizadores antigos podem clicar num tour com aspeto novo por curiosidade. Mantenha o teste pelo menos uma ou duas semanas completas e, se possível, analise os utilizadores novos à parte.
Desequilíbrio de amostras (SRM)
As visualizações de A e B devem seguir a divisão configurada. Se forem mais diferentes do que o acaso explica — por exemplo 1800 contra 1400 com 50/50 —, algo está avariado: um seletor que só existe para uma variante, cache, um bot. O cartão de resultados verifica-o com um teste qui-quadrado contra a divisão configurada e mostra um aviso de SRM em vez de um vencedor; corrija a causa antes de confiar nos números.
Sazonalidade e novas versões
Feriados, campanhas e novas versões do frontend afetam as variantes de forma desigual num teste curto. Use semanas completas e consulte Estado durante o teste: um passo avariado numa variante distorce o resultado.
Três exemplos resolvidos
1. Ordem do checklist
Hipótese: começar por Ligar os seus dados leva mais pessoas a concluir o checklist do que começar por Preencher o perfil. Configuração: tour do tipo checklist, teste ligado, «Copiar de A», subir o item em B. Métrica: taxa de conclusão. Duração: a da calculadora com a taxa atual como base; os checklists são concluídos ao longo de várias sessões, por isso pelo menos duas semanas.
2. Texto da dica
Hipótese: um título centrado no benefício («O seu primeiro relatório em 2 minutos») vence o nome da funcionalidade («Relatórios»). Configuração: tour de dicas, «Copiar de A», mudar apenas o título e o texto do primeiro passo. Leitura: A 1560 visualizações, 624 concluíram (40%); B 1540 visualizações, 709 concluíram (46%). A calculadora: p ≈ 0,0007, diferença de +2,6 a +9,5 pontos a 95% — B vence. As visualizações estão equilibradas, sem SRM.
3. Modal ou dica
O formato é do tour inteiro, por isso são precisos dois tours. Divida os utilizadores na sua aplicação, por exemplo Clew.identify({ onboarding_arm: Math.random() < 0.5 ? 'modal' : 'tooltip' }), guardado uma única vez por utilizador. Crie um tour modal com a regra de público Propriedade onboarding_arm é igual a modal e um tour de dicas com tooltip, nas mesmas páginas e com o mesmo acionador. Compare a taxa de conclusão dos dois tours na calculadora. Como a sua aplicação conhece o grupo, também pode comparar a ativação na sua própria analítica. As regras de público exigem um plano pago ou o período experimental.
Problemas frequentes e perguntas
O teste A/B está disponível no plano Free?
Não. Os testes A/B começam no Pro (um teste de cada vez); Business e Lifetime permitem até cinco em simultâneo. As contas novas têm um período experimental de 14 dias com os limites do Business.
Um visitante vai ver variantes diferentes em visitas diferentes?
Não. A variante é calculada a partir do identificador anónimo do visitante guardado no navegador e do slug do tour, por isso é a mesma em todas as visitas. Só muda noutro navegador ou dispositivo, depois de apagar os dados do site ou se mudar o slug do tour.
O Clew calcula significância estatística?
Sim. Com um teste a decorrer, as estatísticas do tour mostram o ganho de B face a A com intervalo de 95%, o valor-p de um teste z bilateral, a probabilidade bayesiana de B ser melhor, uma verificação de desequilíbrio de amostras e o progresso até à amostra planeada, resumidos num veredicto. A calculadora de testes A/B gratuita continua útil para planear a amostra antes de começar.
É possível testar mais de duas variantes?
Um tour tem duas variantes, A e B. Para comparar três versões, faça os testes um a seguir ao outro ou divida os utilizadores em três grupos com uma propriedade sua e três tours.
É possível comparar um modal com uma dica ou dois acionadores?
Não dentro de um tour: formato, acionador, páginas e público são comuns às duas variantes. Use dois tours com regras de público sobre uma propriedade que a sua aplicação atribui ao acaso — veja o exemplo 3.
O que acontece aos resultados quando paro o teste?
Nada se perde. Terminar um teste — com Tornar B a versão principal, Manter A ou desligando o teste — guarda-o no histórico de testes do tour com os passos das duas variantes e os números finais, e Restaurar versão anterior anula a alteração.
A divisão funciona em aplicações de página única?
Sim. O widget volta a verificar os tours depois das mudanças de rota no cliente, e a variante não depende da página, por isso o visitante mantém a mesma variante em todas as rotas.
Durante quanto tempo deve correr um teste de tour?
Até atingir a amostra da calculadora e pelo menos uma semana completa — duas ou mais se muitos visitantes só voltam algumas vezes por semana.
Ainda não instalou? Escolha um caminho
Google Tag Manager
Etiqueta de HTML personalizado em todas as páginas, verificação na pré-visualização e publicação. Para sites que já usam o GTM.
Abrir guia →Vibe codingAssistentes de IA para programar
Um prompt para Claude Code, Cursor, Lovable, Bolt.new, v0 e Replit que coloca a linha no ficheiro raiz certo.
Abrir guia →Sem códigoConstrutores de sites e CMS
WordPress, Webflow, Shopify, Wix, Squarespace, Framer, Tilda ou HTML: onde está o campo de código do head e onde clicar.
Abrir guia →