Cara uji A/B product tour dan onboarding di Clew
Clew bisa menampilkan dua versi dari tur yang sama ke pengunjung yang berbeda dan menghitung berapa orang yang menyelesaikan masing-masing. Panduan ini membahas satu uji dari awal sampai akhir: apa yang diubah, berapa lama dijalankan, cara membaca angkanya, dan cara merilis pemenang tanpa merusak apa pun.
- Waktu
- ● 20 menit pengaturan, uji 1–4 minggu
- Siapa yang mengerjakan
- Product manager atau marketer dengan akses editor di Clew
- Langkah
- 6
Langkah demi langkah
- Langkah 01
Tulis hipotesis dan satu metrik
Sebelum membuka editor, tulis satu kalimat: “Jika kami mengubah X, lebih banyak orang akan Y, karena Z.” Misalnya: “Jika item pertama checklist adalah Undang rekan tim, bukan Lengkapi profil, lebih banyak orang akan menyelesaikan checklist, karena manfaatnya terlihat lebih awal.”
Tentukan satu metrik utama sejak awal. Di Clew metrik itu adalah tingkat penyelesaian tur: pengunjung unik yang menyelesaikannya dibagi pengunjung unik yang melihatnya. Ubah satu hal saja — teks, urutan, atau jumlah langkah — kalau tidak, Anda tidak akan tahu perubahan mana yang berpengaruh.
Langkah 1 · ilustrasi skematis - Langkah 02
Buat varian B di editor tur
Buka tur di Tur, buka bagian Uji A/B di bawah editor, dan ubah Uji menjadi Aktif. Klik Salin dari A: varian B dimulai sebagai salinan persis dari langkah saat ini, jadi Anda hanya mengedit bagian yang diubah hipotesis.
Varian B punya langkah sendiri: elemen (selector), posisi, judul, dan teks — jumlah langkahnya pun boleh berbeda. Varian B juga bisa punya warna sendiri: centang Warna varian B lalu pilih latar, teks, garis tepi, aksen, dan radius sudut dengan pemilih yang sama seperti tema tur; tombol A / B di pratinjau menampilkan salah satu varian. Untuk menguji warnanya saja, pada Isi varian B pilih Langkah sama dengan A (uji warnanya saja). Semua yang lain dipakai bersama oleh kedua varian: format, pemicu, halaman, aturan audiens, dan frekuensi.
Langkah 2 · ilustrasi skematis - Langkah 03
Perkirakan ukuran sampel dan durasi
Buka kalkulator uji A/B, tab ukuran sampel dan durasi. Masukkan tingkat penyelesaian tur saat ini sebagai konversi dasar (ada di statistik tur), kenaikan terkecil yang layak dirilis, dan jumlah tayangan per hari.
Contoh: 40% orang yang melihat checklist menyelesaikannya, dan Anda ingin mendeteksi kenaikan ke 45% (+5 poin persentase) dengan tingkat kepercayaan 95% dan power 80%. Kalkulator memberi 1.515 pengunjung per varian. Dengan 200 tayangan per hari, itu 3.030 ÷ 200 = 16 hari — bulatkan ke 3 minggu penuh agar semua hari dalam seminggu tercakup.
Langkah 3 · ilustrasi skematis - Langkah 04
Atur pembagian dan terbitkan
Porsi varian A, % adalah bagian pengunjung yang melihat versi asli; sisanya melihat B. Biarkan 50 kecuali B berisiko. Ubah status menjadi Terbit lalu simpan — uji langsung berjalan untuk pengunjung baru maupun yang kembali.
Pembagiannya tetap: widget membuat hash dari ID pengunjung anonim yang tersimpan di browser bersama slug tur, sehingga orang yang sama selalu mendapat varian yang sama untuk tur itu, tanpa permintaan tambahan. Orang di browser atau perangkat lain, atau yang menghapus data situs, dianggap pengunjung baru dan bisa masuk ke varian lain.
Langkah 4 · ilustrasi skematis - Langkah 05
Baca kartu hasil di statistik tur
Buka tur dan lihat statistik di bagian atas editor (atau 📊 Statistik di daftar tur). Selama uji berjalan, kartu Hasil uji A/B menampilkan tayangan, penyelesaian, dan tingkat penyelesaian tiap varian dengan interval 95%, kenaikan B dibanding A dengan interval 95% untuk selisihnya, nilai p dari uji z dua sisi, peluang B lebih baik (Bayesian), dan progres menuju sampel yang direncanakan untuk kenaikan terkecil yang penting bagi Anda — dengan rumus yang sama seperti kalkulator. Bandingkan funnel per varian menampilkan funnel langkah A dan B berdampingan, sehingga terlihat di mana setiap versi kehilangan orang.
Label di atas adalah putusannya: Mengumpulkan data, Trafik kurang, Belum ada perbedaan signifikan, Tidak ada perbedaan signifikan, B menang, atau A menang — atau Pembagian tidak sesuai (SRM) jika tayangan tidak mengikuti pembagian yang diatur. Selisih yang signifikan sebelum sampel yang direncanakan tercapai ditandai belum final: keunggulan awal sering memudar, jadi tunggu sesuai rencana.
Langkah 5 · ilustrasi skematis - Langkah 06
Jadikan B versi utama atau pertahankan A
Saat putusannya final, akhiri uji dari kartu yang sama — tidak ada yang perlu disalin atau dicatat:
- B menang: tekan Jadikan B versi utama. Langkah B menggantikan langkah utama (dan jika B punya warna sendiri, warnanya menjadi warna tur), uji dimatikan, dan semua orang melihat versi baru.
- A menang atau tidak ada perbedaan: tekan Pertahankan A. Uji dimatikan dan semua orang melihat A.
Dalam kedua kasus, uji yang selesai disimpan di Riwayat uji di bawah statistik: langkah kedua varian, pembagian, tanggal, angka akhir, keputusan, dan siapa yang mengambilnya. Pulihkan versi sebelumnya mengembalikan versi sebelum keputusan. Mematikan Uji di editor lalu menyimpan juga mengarsipkan uji dengan cara yang sama, dan uji yang selesai tidak dihitung dalam batas paket Anda. Jika Anda mengakhiri uji sebelum hasilnya final, konfirmasi akan memperingatkan lebih dulu.
Menghentikan uji tidak menampilkan tur lagi kepada orang yang sudah menyelesaikan atau menutupnya: dengan frekuensi Sekali per pengunjung, tur itu tetap dianggap selesai.
Langkah 6 · ilustrasi skematis
Apa yang bisa diuji di Clew
| Ide | Caranya di Clew | Metrik |
|---|---|---|
| Teks sebuah langkah | Varian B dengan judul atau teks lain | Tingkat penyelesaian |
| Urutan langkah atau item checklist | Susun ulang langkah salinan di B | Tingkat penyelesaian |
| Tur lebih pendek atau lebih panjang | Hapus atau tambah langkah di B | Tingkat penyelesaian, drop-off |
| Elemen yang ditunjuk tooltip | Selector lain di B | Tingkat penyelesaian |
| Modal atau tooltip, pemicu, audiens | Dua tur terpisah, dibagi dengan properti Anda sendiri (contoh 3) | Tingkat penyelesaian tiap tur |
Apa yang diukur Clew — dan yang tidak
Clew menghitung pengunjung unik per varian yang melihat tur dan yang menyelesaikannya (langkah terakhir tur, atau semua item checklist). Clew tidak melihat apa yang dilakukan orang setelahnya di produk Anda. Jika tujuan sebenarnya adalah aktivasi atau konversi, anggap penyelesaian sebagai indikator awal dan pastikan efeknya di analitik produk setelah rilis. Item checklist dihitung selesai baik ketika pengunjung mencentangnya maupun ketika aturannya sendiri yang mencentang (halaman yang dikunjungi, klik, atau Clew.complete() dari aplikasi Anda), jadi varian yang tercentang otomatis tidak dinilai berbeda — tetapi berikan aturan yang sama pada kedua varian.
Terjemahan
Terjemahan yang ditambahkan di editor milik varian A. Varian B menampilkan teksnya apa adanya, dalam bahasa apa pun. Jika audiens Anda multibahasa, uji satu bahasa dalam satu waktu, misalnya dengan membatasi tur lewat aturan audiens. Saat B menjadi versi utama dan jumlah langkahnya sama, konfirmasi memungkinkan Anda mempertahankan terjemahan yang ada; jika tidak, terjemahan dihapus dan langkah baru perlu diterjemahkan ulang.
Menjalankan beberapa uji sekaligus
Sebuah uji dihitung dalam batas paket selama turnya terbit dengan Uji: Aktif; draf tidak dihitung.
| Paket | Uji A/B bersamaan | Riwayat analitik |
|---|---|---|
| Free | — | 1 bulan |
| Pro | 1 | 3 bulan |
| Business | 5 | 12 bulan |
| Lifetime | 5 | 12 bulan |
| Server sendiri | Tanpa batas | Tanpa batas |
Masa uji coba 14 hari setelah mendaftar memakai batas Business. Varian dari tur yang berbeda ditentukan secara independen, karena slug tur ikut di-hash. Meski begitu, hindari dua uji di halaman yang sama untuk audiens yang sama: hanya satu tur yang tampil dalam satu waktu, jadi satu uji akan mengambil trafik uji lainnya.
Jebakan yang merusak uji tur
Mengintip hasil
Mengecek setiap hari dan berhenti begitu B “unggul” akan menemukan pemenang yang sebenarnya tidak ada. Tetapkan ukuran sampel di awal dan putuskan setelah tercapai. Kartu hasil membantu: kartu ini menampilkan progres menuju sampel yang direncanakan dan menandai hasil yang terlalu cepat signifikan sebagai belum final.
Mengubah uji di tengah jalan
Mengubah pembagian memindahkan sebagian pengunjung ke varian lain; mengganti slug mengacak ulang semua orang; mengedit teks varian mencampur dua versi dalam satu kelompok. Jika harus mengubah sesuatu, matikan uji dan mulai yang baru.
Efek kebaruan
Pengguna lama bisa mengeklik tur yang tampak baru karena penasaran. Jalankan setidaknya satu atau dua minggu penuh dan, jika bisa, lihat pengguna baru secara terpisah.
Ketidaksesuaian rasio sampel (SRM)
Tayangan A dan B seharusnya mengikuti pembagian yang Anda atur. Jika selisihnya lebih besar dari yang wajar secara kebetulan — misalnya 1.800 dan 1.400 pada 50/50 — ada yang rusak: selector yang hanya ada di satu varian, cache, atau bot. Kartu hasil memeriksanya dengan uji chi-kuadrat terhadap pembagian yang diatur dan menampilkan peringatan SRM, bukan pemenang; perbaiki penyebabnya sebelum memercayai angkanya.
Musim dan rilis
Hari libur, kampanye, dan rilis frontend memengaruhi varian secara tidak merata pada uji yang singkat. Jalankan minggu penuh dan pantau Kesehatan selama uji: langkah yang rusak di satu varian mendistorsi hasil.
Tiga contoh lengkap
1. Urutan checklist
Hipotesis: memulai dengan Hubungkan data Anda membuat lebih banyak checklist selesai dibanding memulai dengan Lengkapi profil. Pengaturan: tur berformat checklist, uji aktif, “Salin dari A”, naikkan item itu di B. Metrik: tingkat penyelesaian. Durasi: dari kalkulator dengan tingkat saat ini sebagai dasar; checklist diselesaikan dalam beberapa sesi, jadi minimal dua minggu.
2. Teks tooltip
Hipotesis: judul yang menonjolkan manfaat (“Laporan pertama Anda dalam 2 menit”) mengalahkan nama fitur (“Laporan”). Pengaturan: tur tooltip, “Salin dari A”, ubah hanya judul dan teks langkah pertama. Membaca hasil: A 1.560 tayangan, 624 selesai (40%); B 1.540 tayangan, 709 selesai (46%). Kalkulator: p ≈ 0,0007, selisih +2,6 sampai +9,5 poin pada 95% — B menang. Tayangan seimbang, jadi tidak ada SRM.
3. Modal atau tooltip
Format berlaku untuk seluruh tur, jadi perlu dua tur. Bagi pengguna di aplikasi Anda, misalnya Clew.identify({ onboarding_arm: Math.random() < 0.5 ? 'modal' : 'tooltip' }), disimpan sekali per pengguna. Buat tur modal dengan aturan audiens Properti onboarding_arm sama dengan modal dan tur tooltip dengan tooltip, di halaman dan dengan pemicu yang sama. Bandingkan tingkat penyelesaian kedua tur di kalkulator. Karena aplikasi Anda tahu kelompoknya, aktivasi juga bisa dibandingkan di analitik Anda sendiri. Aturan audiens memerlukan paket berbayar atau masa uji coba.
Masalah umum dan FAQ
Apakah uji A/B tersedia di paket Free?
Tidak. Uji A/B mulai tersedia di Pro (satu uji dalam satu waktu); Business dan Lifetime menjalankan hingga lima sekaligus. Akun baru mendapat masa uji coba 14 hari dengan batas Business.
Apakah pengunjung melihat varian berbeda di kunjungan berbeda?
Tidak. Varian dihitung dari ID pengunjung anonim yang tersimpan di browser dan slug tur, jadi tetap sama di setiap kunjungan. Varian hanya berubah di browser atau perangkat lain, setelah data situs dihapus, atau jika Anda mengganti slug tur.
Apakah Clew menghitung signifikansi statistik?
Ya. Selama uji berjalan, statistik tur menampilkan kenaikan B dibanding A dengan interval 95%, nilai p dari uji z dua sisi, peluang Bayesian bahwa B lebih baik, pemeriksaan ketidaksesuaian rasio sampel, dan progres menuju sampel yang direncanakan, lalu merangkumnya dalam putusan. Kalkulator uji A/B gratis tetap berguna untuk merencanakan sampel sebelum mulai.
Bisakah menguji lebih dari dua varian?
Satu tur punya dua varian, A dan B. Untuk membandingkan tiga versi, jalankan uji satu per satu, atau bagi pengguna ke tiga kelompok dengan properti Anda sendiri dan tiga tur.
Bisakah membandingkan modal dengan tooltip atau dua pemicu?
Tidak dalam satu tur: format, pemicu, halaman, dan audiens dipakai bersama oleh kedua varian. Gunakan dua tur dengan aturan audiens pada properti yang diacak oleh aplikasi Anda — lihat contoh 3.
Apa yang terjadi pada hasil saat uji dihentikan?
Tidak ada yang hilang. Mengakhiri uji — dengan Jadikan B versi utama, Pertahankan A, atau mematikan uji — menyimpannya di riwayat uji tur beserta langkah kedua varian dan angka akhirnya, dan Pulihkan versi sebelumnya membatalkan perubahan.
Apakah pembagian berfungsi di single-page app?
Ya. Widget memeriksa ulang tur setelah perpindahan rute di sisi klien, dan varian tidak bergantung pada halaman, sehingga pengunjung tetap di varian yang sama di semua rute.
Berapa lama uji tur sebaiknya dijalankan?
Sampai ukuran sampel dari kalkulator tercapai, dan minimal satu minggu penuh — dua minggu atau lebih jika banyak pengunjung hanya kembali beberapa kali seminggu.
Belum terpasang? Pilih caranya
Google Tag Manager
Tag Custom HTML di semua halaman, cek di Preview, lalu publikasikan. Untuk situs yang sudah memakai GTM.
Buka panduan →Vibe codingAsisten coding AI
Satu prompt untuk Claude Code, Cursor, Lovable, Bolt.new, v0, dan Replit yang menaruh baris kode di file root yang tepat.
Buka panduan →Tanpa kodeWebsite builder & CMS
WordPress, Webflow, Shopify, Wix, Squarespace, Framer, Tilda, atau HTML biasa: letak kolom kode head dan tombol yang perlu diklik.
Buka panduan →