Paano mag-A/B test ng mga product tour at onboarding sa Clew
Kayang ipakita ng Clew ang dalawang bersyon ng parehong tour sa magkakaibang bisita at bilangin kung ilan ang nakatapos sa bawat isa. Tinatalakay ng gabay na ito ang isang test mula simula hanggang wakas: ano ang babaguhin, gaano katagal patakbuhin, paano basahin ang mga numero at paano i-rollout ang nanalo nang walang nasisira.
- Oras
- ● 20 minuto para sa setup, 1–4 na linggo ng test
- Sino ang gagawa
- Product manager o marketer na may editor access sa Clew
- Mga step
- 6
Step by step
- Step 01
Isulat ang hypothesis at isang metric
Bago buksan ang editor, isulat ang isang pangungusap: “Kung babaguhin ang X, mas maraming tao ang gagawa ng Y, dahil Z.” Halimbawa: “Kung ang unang item ng checklist ay Mag-imbita ng kasamahan sa halip ng Kumpletuhin ang profile, mas maraming tao ang tatapos sa checklist, dahil mas maagang makikita ang value.”
Pumili ng isang pangunahing metric bago magsimula. Sa Clew, ito ang completion rate ng tour: mga unique na bisitang nakatapos hinati sa mga unique na bisitang nakakita. Magbago ng isang bagay sa bawat pagkakataon — text, order o bilang ng step — kung hindi, hindi ninyo malalaman kung aling pagbabago ang nagdulot ng resulta.
Step 1 · eskematikong ilustrasyon - Step 02
Gumawa ng variant B sa tour editor
Buksan ang tour sa Mga tour, i-expand ang A/B test sa ibaba ng editor at itakda ang Test sa Naka-on. I-click ang Kopyahin mula A: nagsisimula ang variant B bilang eksaktong kopya ng kasalukuyang mga step, kaya binabago lamang ang bahaging sinusubok ng hypothesis.
Ang variant B ay may sariling mga step: element (selector), placement, title at text — at maaaring may ibang bilang ng step. Puwede ring may sariling mga kulay ang variant B: i-tsek ang Mga kulay ng variant B at piliin ang background, text, border, accent at radius ng sulok gamit ang parehong mga picker ng tema ng tour; ipinapakita ng A / B na switch sa preview ang alinman sa dalawa. Para kulay lang ang subukan, sa Nilalaman ng variant B piliin ang Parehong mga step ng A (kulay lang ang susubukan). Ang lahat na iba ay pareho para sa dalawa: format, trigger, mga page, audience rule at frequency.
Step 2 · eskematikong ilustrasyon - Step 03
Tantiyahin ang sample size at tagal
Buksan ang A/B test calculator, tab na sample size at tagal. Ilagay ang kasalukuyang completion rate ng tour bilang baseline (nasa stats ng tour), ang pinakamaliit na pagtaas na nararapat i-rollout at ang bilang ng view bawat araw.
Halimbawa: 40% ng mga nakakita sa checklist ang nakatatapos, at nais ninyong matukoy ang pagtaas sa 45% (+5 percentage point) sa 95% confidence at 80% power. Ang calculator ay nagbibigay ng 1,515 na bisita bawat variant. Sa 200 view bawat araw, 3,030 ÷ 200 = 16 na araw — i-round up sa 3 buong linggo para masakop ang lahat na araw ng linggo.
Step 3 · eskematikong ilustrasyon - Step 04
Itakda ang hati at i-publish
Ang Bahagi ng variant A, % ay ang bahagi ng mga bisitang nakakakita ng orihinal; ang natitira ay nakakakita ng B. Iwanan sa 50 maliban kung risky ang B. Itakda ang status sa Naka-publish at i-save — agad nagsisimula ang test para sa mga bago at bumabalik na bisita.
Ang hati ay sticky: nag-hash ang widget ng anonymous na visitor ID na naka-store sa browser kasama ang slug ng tour, kaya ang parehong tao ay laging nakakakuha ng parehong variant ng tour na iyon, nang walang dagdag na request. Ang taong gumagamit ng ibang browser o device, o nag-clear ng site data, ay bagong bisita at maaaring mapunta sa kabilang variant.
Step 4 · eskematikong ilustrasyon - Step 05
Basahin ang results card sa stats ng tour
Buksan ang tour at tingnan ang stats sa itaas ng editor (o 📊 Stats sa listahan ng mga tour). Habang tumatakbo ang test, ipinapakita ng card na Mga resulta ng A/B test ang mga view, pagtapos at completion rate ng bawat variant na may 95% interval, ang pagtaas ng B kontra A na may 95% interval para sa pagkakaiba, ang p-value ng two-sided z-test, ang tsansa na mas mahusay ang B (Bayesian) at ang progreso tungo sa nakaplanong sample para sa pinakamaliit na pagtaas na mahalaga sa iyo — gamit ang parehong formula ng calculator. Inilalagay ng Ikumpara ang mga funnel bawat variant ang mga step funnel ng A at B magkatabi, para makita kung saan nawawalan ng tao ang bawat bersyon.
Ang label sa itaas ay ang pasya: Nangongolekta ng data, Hindi sapat ang traffic, Walang significant na pagkakaiba pa, Walang significant na pagkakaiba, Nanalo ang B o Nanalo ang A — o Hindi tugmang hati (SRM) kapag hindi sumusunod ang mga view sa itinakdang hati. Ang significant na pagkakaiba bago naabot ang nakaplanong sample ay minamarkahang hindi pinal: kadalasang naglalaho ang maagang pangunguna, kaya tapusin ang plano.
Step 5 · eskematikong ilustrasyon - Step 06
Gawing pangunahing bersyon ang B o panatilihin ang A
Kapag pinal ang pasya, tapusin ang test mula sa parehong card — walang kailangang kopyahin o isulat:
- Nanalo ang B: pindutin ang Gawing pangunahing bersyon ang B. Papalitan ng mga step ng B ang mga pangunahing step (at kung may sariling kulay ang B, iyon na ang magiging kulay ng tour), papatayin ang test at makikita ng lahat ang bagong bersyon.
- Nanalo ang A o walang pagkakaiba: pindutin ang Panatilihin ang A. Papatayin ang test at makikita ng lahat ang A.
Sa parehong kaso, itinatabi ang tapos na test sa History ng test sa ilalim ng stats: mga step ng dalawang variant, ang hati, mga petsa, mga huling numero, ang pasya at kung sino ang nagpasya. Ibinabalik ng Ibalik ang dating bersyon ang bersyon bago ang pasya. Ang pag-off ng Test sa editor at pag-save ay nag-a-archive din ng test, at hindi binibilang sa limit ng iyong plan ang mga tapos na test. Kung tatapusin ang test bago pinal ang resulta, magbababala muna ang confirmation.
Ang paghinto sa test ay hindi muling nagpapakita ng tour sa mga nakatapos o nagsara na: sa frequency na Minsan bawat bisita, nananatili itong tapos para sa kanila.
Step 6 · eskematikong ilustrasyon
Ano ang maaaring subukan sa Clew
| Idea | Paano sa Clew | Metric |
|---|---|---|
| Text ng isang step | Variant B na may ibang title o text | Completion rate |
| Order ng mga step o item ng checklist | Ayusin muli ang mga kinopyang step sa B | Completion rate |
| Mas maikli o mas mahabang tour | Magbawas o magdagdag ng step sa B | Completion rate, drop-off |
| Aling element ang tinuturo ng tooltip | Ibang selector sa B | Completion rate |
| Modal laban sa tooltip, trigger, audience | Dalawang hiwalay na tour, hinati gamit ang inyong property (halimbawa 3) | Completion rate ng bawat tour |
Ano ang sinusukat ng Clew — at ano ang hindi
Binibilang ng Clew ang mga unique na bisita bawat variant na nakakita at nakatapos sa tour (ang huling step ng tour, o lahat na item ng checklist). Hindi nakikita ng Clew ang ginagawa ng mga tao pagkatapos sa inyong produkto. Kung ang tunay na layunin ay activation o conversion, ituring ang completion bilang maagang indicator at kumpirmahin ang epekto sa inyong product analytics pagkatapos ng rollout. Bilang tapos ang item ng checklist maging tinsek ito ng bisita o ng sarili nitong rule (isang page na binisita, isang click, o Clew.complete() mula sa app ninyo), kaya hindi iba ang pagpuntos sa variant na kusang nate-tsek — pero bigyan ng parehong rule ang dalawang variant.
Mga salin
Ang mga salin na idinagdag sa editor ay para sa variant A. Ipinapakita ng variant B ang text nito nang eksakto kung paano isinulat, sa anumang wika. Kung multilingual ang inyong audience, subukan ang isang wika sa bawat pagkakataon, halimbawa sa paglimita sa tour gamit ang audience rule. Kapag ang B ay naging pangunahing bersyon at may parehong bilang ng step, pinapayagan ng confirmation na panatilihin ang kasalukuyang mga salin; kung hindi, inaalis ang mga ito at kailangang isalin muli ang mga bagong step.
Pagpapatakbo ng ilang test nang sabay
Binibilang ang test sa limit ng plan habang ang tour nito ay naka-publish na may Test: Naka-on; hindi binibilang ang mga draft.
| Plan | Sabay na A/B test | History ng analytics |
|---|---|---|
| Free | — | 1 buwan |
| Pro | 1 | 3 buwan |
| Business | 5 | 12 buwan |
| Lifetime | 5 | 12 buwan |
| Sariling server | Walang limit | Walang limit |
Ang 14 na araw na trial pagkatapos ng sign-up ay may mga limit ng Business. Ang mga variant ng magkakaibang tour ay itinatalaga nang hiwalay, dahil bahagi ng hash ang slug ng tour. Gayunpaman, iwasan ang dalawang test sa parehong page para sa parehong audience: isang tour ang ipinapakita sa bawat pagkakataon, kaya aagawan ng traffic ng isang test ang kabila.
Mga pagkakamaling sumisira sa test ng tour
Pag-peek
Ang pagsuri araw-araw at paghinto sa sandaling “nangunguna” ang B ay nakakahanap ng mga nanalong hindi tunay. Itakda ang sample size bago magsimula at magpasya kapag naabot ito. Tumutulong ang results card: ipinapakita nito ang progreso tungo sa nakaplanong sample at minamarkahang hindi pinal ang resultang maagang naging significant.
Pagbabago sa gitna ng test
Ang pag-edit ng hati ay naglilipat ng ilang bisita sa kabilang variant; ang pagpapalit ng slug ay nag-shuffle ng lahat; ang pag-edit ng text ng variant ay naghahalo ng dalawang bersyon sa isang grupo. Kung kailangang magbago, i-off ang test at magsimula ng bago.
Novelty effect
Ang mga dating user ay maaaring mag-click sa tour na mukhang bago dahil sa curiosity. Patakbuhin nang hindi bababa sa isa o dalawang buong linggo at, kung maaari, tingnan nang hiwalay ang mga bagong user.
Sample ratio mismatch (SRM)
Ang mga view ng A at B ay dapat sumunod sa hating itinakda. Kung mas malayo kaysa pinapayagan ng pagkakataon — halimbawa 1,800 laban sa 1,400 sa 50/50 — may nasira: selector na umiiral lamang para sa isang variant, cache, o bot. Sinusuri ito ng results card gamit ang chi-square test laban sa itinakdang hati at nagpapakita ng babala ng SRM sa halip ng nanalo; ayusin ang sanhi bago magtiwala sa mga numero.
Season at mga release
Ang mga holiday, campaign at frontend release ay nakakaapekto nang hindi pantay sa maikling test. Patakbuhin nang buong linggo at tingnan ang Kalusugan habang tumatakbo ang test: ang sirang step sa isang variant ay sumisira sa resulta.
Tatlong halimbawa
1. Order ng checklist
Hypothesis: ang pagsisimula sa Ikonekta ang inyong data ay nagpapatapos ng mas maraming checklist kaysa pagsisimula sa Kumpletuhin ang profile. Setup: checklist na tour, naka-on na test, “Kopyahin mula A”, itaas ang item sa B. Metric: completion rate. Tagal: mula sa calculator na may kasalukuyang rate bilang baseline; tinatapos ang mga checklist sa ilang session, kaya hindi bababa sa dalawang linggo.
2. Text ng tooltip
Hypothesis: ang title na nakatuon sa benepisyo (“Ang inyong unang report sa 2 minuto”) ay nananalo sa pangalan ng feature (“Mga report”). Setup: tooltip na tour, “Kopyahin mula A”, baguhin lamang ang title at text ng unang step. Pagbasa: A 1,560 view, 624 nakatapos (40%); B 1,540 view, 709 nakatapos (46%). Calculator: p ≈ 0.0007, pagkakaiba +2.6 hanggang +9.5 point sa 95% — nanalo ang B. Balanse ang mga view, kaya walang SRM.
3. Modal laban sa tooltip
Ang format ay para sa buong tour, kaya kailangan ng dalawang tour. Hatiin ang mga user sa inyong app, halimbawa Clew.identify({ onboarding_arm: Math.random() < 0.5 ? 'modal' : 'tooltip' }), na naka-store nang minsan bawat user. Gumawa ng modal na tour na may audience rule na Property onboarding_arm ay equal sa modal at tooltip na tour na may tooltip, sa parehong mga page at trigger. Ikompara ang completion rate ng dalawang tour sa calculator. Dahil alam ng inyong app ang grupo, maaari ring ikompara ang activation sa inyong sariling analytics. Ang mga audience rule ay nangangailangan ng paid plan o trial.
Mga karaniwang problema at FAQ
Available ba ang A/B test sa Free plan?
Hindi. Nagsisimula ang A/B test sa Pro (isang test sa bawat pagkakataon); ang Business at Lifetime ay nagpapatakbo ng hanggang lima nang sabay. Ang mga bagong account ay may 14 na araw na trial na may mga limit ng Business.
Makakakita ba ang bisita ng magkakaibang variant sa magkakaibang pagbisita?
Hindi. Kinakalkula ang variant mula sa anonymous na visitor ID na naka-store sa browser at sa slug ng tour, kaya pareho ito sa bawat pagbisita. Nagbabago lamang sa ibang browser o device, pagkatapos ng pag-clear ng site data, o kung papalitan ang slug ng tour.
Nagkakalkula ba ang Clew ng statistical significance?
Oo. Habang tumatakbo ang test, ipinapakita ng stats ng tour ang pagtaas ng B kontra A na may 95% interval, ang p-value ng two-sided z-test, ang Bayesian na tsansa na mas mahusay ang B, check para sa sample ratio mismatch at progreso tungo sa nakaplanong sample, na pinagbubuod sa isang pasya. Ang libreng A/B test calculator ay nananatiling kapaki-pakinabang para iplano ang sample bago magsimula.
Maaari bang subukan ang higit sa dalawang variant?
Ang isang tour ay may dalawang variant, A at B. Para ikompara ang tatlong bersyon, patakbuhin ang mga test nang magkasunod, o hatiin ang mga user sa tatlong grupo gamit ang inyong property at tatlong tour.
Maaari bang ikompara ang modal sa tooltip o dalawang trigger?
Hindi sa loob ng isang tour: pareho para sa dalawang variant ang format, trigger, mga page at audience. Gumamit ng dalawang tour na may audience rule sa property na random na itinatalaga ng inyong app — tingnan ang halimbawa 3.
Ano ang mangyayari sa resulta kapag itinigil ang test?
Walang nawawala. Ang pagtapos ng test — gamit ang Gawing pangunahing bersyon ang B, Panatilihin ang A o pag-off ng test — ay itinatabi ito sa history ng test ng tour kasama ang mga step ng dalawang variant at ang mga huling numero, at binabawi ng Ibalik ang dating bersyon ang pagbabago.
Gumagana ba ang hati sa single-page app?
Oo. Muling sinusuri ng widget ang mga tour pagkatapos ng client-side na pagbabago ng route, at hindi nakadepende sa page ang variant, kaya nananatili ang bisita sa parehong variant sa lahat na route.
Gaano katagal dapat tumakbo ang test ng tour?
Hanggang naabot ang sample size mula sa calculator, at hindi bababa sa isang buong linggo — dalawa o higit kung maraming bisita ay bumabalik lamang ilang beses sa isang linggo.
Hindi pa naka-install? Pumili ng paraan
Google Tag Manager
Custom HTML tag sa All Pages, check sa Preview, i-publish. Para sa mga site na gumagamit na ng GTM.
Buksan ang gabay →Vibe codingAI coding assistant
Isang prompt para Claude Code, Cursor, Lovable, Bolt.new, v0 at Replit na naglalagay ng line sa tamang root file.
Buksan ang gabay →No-codeWebsite builder at CMS
WordPress, Webflow, Shopify, Wix, Squarespace, Framer, Tilda o plain HTML: kung saan ang head code field at ang dapat i-click.
Buksan ang gabay →