Como fazer teste A/B de product tours e onboarding no Clew
O Clew mostra duas versões do mesmo tour para visitantes diferentes e conta quantas pessoas concluem cada uma. Este guia percorre um teste do início ao fim: o que mudar, por quanto tempo rodar, como ler os números e como lançar o vencedor sem quebrar nada.
- Tempo
- ● 20 minutos para configurar, 1–4 semanas de teste
- Quem faz
- Product manager ou profissional de marketing com acesso de editor no Clew
- Passos
- 6
Passo a passo
- Passo 01
Escreva a hipótese e uma única métrica
Antes de abrir o editor, escreva uma frase: “Se mudarmos X, mais pessoas vão fazer Y, porque Z.” Por exemplo: “Se o primeiro item do checklist for Convidar um colega em vez de Preencher o perfil, mais gente vai concluir o checklist, porque o valor aparece antes.”
Escolha antes uma métrica principal. Dentro do Clew ela é a taxa de conclusão do tour: visitantes únicos que concluíram divididos pelos visitantes únicos que viram. Mude uma coisa de cada vez — texto, ordem ou número de passos —, senão você não vai saber qual mudança fez diferença.
Passo 1 · ilustração esquemática - Passo 02
Crie a variante B no editor do tour
Abra o tour em Tours, expanda Teste A/B no fim do editor e mude Teste para Ligado. Clique em Copiar de A: a variante B começa como cópia exata dos passos atuais, e você edita só o que a hipótese muda.
A variante B tem os próprios passos: elemento (seletor), posição, título e texto — e pode ter outro número de passos. A variante B também pode ter as próprias cores: marque Cores da variante B e escolha fundo, texto, borda, destaque e raio dos cantos com os mesmos seletores do tema do tour; a chave A / B na pré-visualização mostra qualquer uma das duas. Para testar só as cores, em Conteúdo da variante B escolha Os mesmos passos de A (testar só as cores). Todo o resto é comum às duas: formato, gatilho, páginas, regras de público e frequência.
Passo 2 · ilustração esquemática - Passo 03
Estime o tamanho da amostra e a duração
Abra a calculadora de teste A/B, na aba de tamanho da amostra e duração. Informe a taxa de conclusão atual do tour como conversão base (ela está nas estatísticas), o menor ganho que vale a pena e as visualizações por dia.
Exemplo: 40% de quem vê o checklist o conclui, e você quer detectar uma alta para 45% (+5 pontos percentuais) com 95% de confiança e 80% de poder. A calculadora dá 1.515 visitantes por variante. Com 200 visualizações por dia, são 3.030 ÷ 200 = 16 dias — arredonde para 3 semanas completas para cobrir todos os dias da semana.
Passo 3 · ilustração esquemática - Passo 04
Defina a divisão e publique
Parcela da variante A, % é a parte dos visitantes que vê o original; o restante vê B. Mantenha 50, a menos que B seja arriscada. Mude o status para Publicado e salve — o teste começa na hora para visitantes novos e recorrentes.
A divisão é estável: o widget calcula um hash do identificador anônimo do visitante guardado no navegador junto com o slug do tour, então a mesma pessoa sempre vê a mesma variante daquele tour, sem requisições extras. Quem usa outro navegador ou dispositivo, ou limpou os dados do site, é um visitante novo e pode cair na outra variante.
Passo 4 · ilustração esquemática - Passo 05
Leia o cartão de resultados nas estatísticas do tour
Abra o tour e veja as estatísticas no topo do editor (ou 📊 Estatísticas na lista de tours). Com um teste rodando, o cartão Resultados do teste A/B mostra visualizações, conclusões e a taxa de conclusão de cada variante com intervalo de 95%, o ganho de B sobre A com intervalo de 95% para a diferença, o valor-p de um teste z bicaudal, a chance de B ser melhor (bayesiana) e o progresso até a amostra planejada para o menor ganho que importa para você — com a mesma fórmula da calculadora. Comparar funis por variante coloca os funis de passos de A e B lado a lado, para ver onde cada versão perde pessoas.
A etiqueta no topo é o veredito: Coletando dados, Pouco tráfego, Ainda sem diferença significativa, Sem diferença significativa, B venceu ou A venceu — ou Divisão desequilibrada (SRM) quando as visualizações não seguem a divisão configurada. Uma diferença significativa antes de atingir a amostra planejada é marcada como não definitiva: vantagens iniciais costumam sumir, então espere o plano.
Passo 5 · ilustração esquemática - Passo 06
Torne B a versão principal ou mantenha A
Quando o veredito for definitivo, encerre o teste no mesmo cartão — nada para copiar nem anotar:
- B venceu: clique em Tornar B a versão principal. Os passos de B substituem os principais (e, se B tinha cores próprias, elas viram as cores do tour), o teste é desligado e todos veem a nova versão.
- A venceu ou não há diferença: clique em Manter A. O teste é desligado e todos veem A.
Nos dois casos o teste encerrado fica salvo em Histórico de testes, abaixo das estatísticas: os passos das duas variantes, a divisão, as datas, os números finais, a decisão e quem a tomou. Restaurar versão anterior traz de volta a versão de antes da decisão. Desligar o Teste no editor e salvar arquiva o teste do mesmo jeito, e testes encerrados não contam no limite do seu plano. Se você encerrar um teste antes de o resultado ser definitivo, a confirmação avisa antes.
Parar o teste não mostra o tour de novo para quem já concluiu ou fechou: com a frequência Uma vez por visitante, ele continua como visto.
Passo 6 · ilustração esquemática
O que dá para testar no Clew
| Ideia | Como fazer no Clew | Métrica |
|---|---|---|
| Texto de um passo | Variante B com outro título ou texto | Taxa de conclusão |
| Ordem dos passos ou itens do checklist | Reordene os passos copiados em B | Taxa de conclusão |
| Tour mais curto ou mais longo | Tire ou adicione passos em B | Taxa de conclusão, abandono |
| Para qual elemento o tooltip aponta | Outro seletor em B | Taxa de conclusão |
| Modal versus tooltip, gatilho, público | Dois tours separados, divididos por uma propriedade sua (exemplo 3) | Taxa de conclusão de cada tour |
O que o Clew mede — e o que não mede
O Clew conta visitantes únicos por variante que viram o tour e que o concluíram (o último passo de um tour ou todos os itens de um checklist). Ele não vê o que as pessoas fazem depois no seu produto. Se o objetivo real é ativação ou conversão, trate a conclusão como indicador antecedente e confirme o efeito no seu analytics de produto depois do rollout. Um item do checklist conta como concluído tanto se o visitante o marcou quanto se a regra dele marcou (uma página visitada, um clique ou Clew.complete() do seu app), então uma variante que se marca sozinha não é pontuada de outro jeito — mas dê as mesmas regras às duas variantes.
Traduções
As traduções adicionadas no editor pertencem à variante A. A variante B mostra o texto como foi escrito, em qualquer idioma. Se o seu público fala várias línguas, teste um idioma por vez, por exemplo limitando o tour com uma regra de público. Quando B vira a versão principal e tem o mesmo número de passos, a confirmação permite manter as traduções existentes; caso contrário, elas são removidas e os novos passos precisam ser traduzidos de novo.
Vários testes ao mesmo tempo
Um teste conta no limite do plano enquanto o tour está publicado com Teste: Ligado; rascunhos não contam.
| Plano | Testes A/B simultâneos | Histórico de analytics |
|---|---|---|
| Free | — | 1 mês |
| Pro | 1 | 3 meses |
| Business | 5 | 12 meses |
| Lifetime | 5 | 12 meses |
| Servidores próprios | Sem limite | Sem limite |
O teste grátis de 14 dias depois do cadastro inclui os limites do Business. As variantes de tours diferentes são sorteadas de forma independente, porque o slug entra no hash. Mesmo assim, evite dois testes na mesma página para o mesmo público: só um tour aparece por vez, então um teste tiraria tráfego do outro.
Armadilhas que estragam testes de tours
Espiar antes da hora
Olhar todo dia e parar assim que B fica “na frente” encontra vencedores que não existem. Fixe a amostra antes e decida quando ela for atingida. O cartão de resultados ajuda: ele mostra o progresso até a amostra planejada e marca como não definitivo um resultado que ficou significativo antes.
Mudar o teste no meio
Editar a divisão move parte dos visitantes para a outra variante; renomear o slug reembaralha todos; editar o texto de uma variante mistura duas versões no mesmo grupo. Se precisar mudar algo, desligue o teste e comece outro.
Efeito novidade
Usuários antigos podem clicar num tour com cara nova só por curiosidade. Rode pelo menos uma ou duas semanas completas e, se der, olhe os usuários novos à parte.
Desbalanceamento de amostras (SRM)
As visualizações de A e B devem seguir a divisão configurada. Se forem mais diferentes do que o acaso explica — digamos 1.800 contra 1.400 com 50/50 —, algo está quebrado: um seletor que só existe para uma variante, cache, um bot. O cartão de resultados verifica isso com um teste qui-quadrado contra a divisão configurada e mostra um aviso de SRM em vez de um vencedor; resolva a causa antes de confiar nos números.
Sazonalidade e releases
Feriados, campanhas e releases do frontend afetam as variantes de forma desigual num teste curto. Rode semanas completas e acompanhe Saúde durante o teste: um passo quebrado numa variante distorce o resultado.
Três exemplos resolvidos
1. Ordem do checklist
Hipótese: começar por Conectar seus dados faz mais gente concluir o checklist do que começar por Preencher o perfil. Configuração: tour do tipo checklist, teste ligado, “Copiar de A”, subir o item em B. Métrica: taxa de conclusão. Duração: a da calculadora com a taxa atual como base; checklists são concluídos ao longo de várias sessões, então pelo menos duas semanas.
2. Texto do tooltip
Hipótese: um título focado no benefício (“Seu primeiro relatório em 2 minutos”) vence o nome da função (“Relatórios”). Configuração: tour de tooltips, “Copiar de A”, mudar só o título e o texto do primeiro passo. Leitura: A 1.560 visualizações, 624 concluíram (40%); B 1.540 visualizações, 709 concluíram (46%). A calculadora: p ≈ 0,0007, diferença de +2,6 a +9,5 pontos a 95% — B vence. As visualizações estão equilibradas, sem SRM.
3. Modal versus tooltip
O formato é do tour inteiro, então são necessários dois tours. Divida os usuários no seu app, por exemplo Clew.identify({ onboarding_arm: Math.random() < 0.5 ? 'modal' : 'tooltip' }), guardado uma única vez por usuário. Crie um tour modal com a regra de público Propriedade onboarding_arm é igual a modal e um tour de tooltips com tooltip, nas mesmas páginas e com o mesmo gatilho. Compare a taxa de conclusão dos dois tours na calculadora. Como o seu app sabe o grupo, dá para comparar também a ativação no seu próprio analytics. Regras de público exigem um plano pago ou o teste grátis.
Problemas comuns e perguntas
O teste A/B está disponível no plano Free?
Não. Os testes A/B começam no Pro (um teste por vez); Business e Lifetime rodam até cinco ao mesmo tempo. Contas novas ganham um teste grátis de 14 dias com os limites do Business.
Um visitante vai ver variantes diferentes em visitas diferentes?
Não. A variante é calculada a partir do identificador anônimo do visitante guardado no navegador e do slug do tour, então é a mesma em todas as visitas. Ela só muda em outro navegador ou dispositivo, depois de limpar os dados do site ou se você renomear o slug do tour.
O Clew calcula significância estatística?
Sim. Com um teste rodando, as estatísticas do tour mostram o ganho de B sobre A com intervalo de 95%, o valor-p de um teste z bicaudal, a chance bayesiana de B ser melhor, uma checagem de desbalanceamento de amostras e o progresso até a amostra planejada, resumidos em um veredito. A calculadora de teste A/B gratuita continua útil para planejar a amostra antes de começar.
Dá para testar mais de duas variantes?
Um tour tem duas variantes, A e B. Para comparar três versões, faça os testes um depois do outro ou divida os usuários em três grupos com uma propriedade sua e três tours.
Dá para comparar modal com tooltip ou dois gatilhos?
Não dentro de um tour: formato, gatilho, páginas e público são comuns às duas variantes. Use dois tours com regras de público sobre uma propriedade que o seu app sorteia — veja o exemplo 3.
O que acontece com os resultados quando eu paro o teste?
Nada se perde. Encerrar um teste — com Tornar B a versão principal, Manter A ou desligando o teste — salva-o no histórico de testes do tour com os passos das duas variantes e os números finais, e Restaurar versão anterior desfaz a mudança.
A divisão funciona em single-page apps?
Sim. O widget verifica os tours de novo depois das mudanças de rota no cliente, e a variante não depende da página, então o visitante mantém a mesma variante em todas as rotas.
Por quanto tempo rodar um teste de tour?
Até atingir a amostra da calculadora e por pelo menos uma semana completa — duas ou mais se muitos visitantes voltam só algumas vezes por semana.
Ainda não instalou? Escolha um caminho
Google Tag Manager
Tag de HTML personalizado em todas as páginas, conferência na visualização e publicação. Para sites que já usam GTM.
Abrir guia →Vibe codingAssistentes de IA para programar
Um prompt para Claude Code, Cursor, Lovable, Bolt.new, v0 e Replit que coloca a linha no arquivo raiz certo.
Abrir guia →Sem códigoConstrutores de sites e CMS
WordPress, Webflow, Shopify, Wix, Squarespace, Framer, Tilda ou HTML: onde fica o campo de código do head e o que clicar.
Abrir guia →