Clew-де өнім турлары мен онбордингті A/B тестілеу
Clew бір турдың екі нұсқасын әртүрлі келушілерге көрсетіп, әрқайсысын қанша адам соңына дейін өткенін санай алады. Бұл нұсқаулықта тест басынан аяғына дейін қарастырылады: нені өзгерту керек, қанша уақыт ұстау керек, сандарды қалай оқу керек және жеңімпазды ештеңені бұзбай қалай енгізу керек.
- Уақыты
- ● Баптауға 20 минут, тестке 1–4 апта
- Кім орындайды
- Clew-де редактор құқығы бар продукт-менеджер немесе маркетолог
- Қадам саны
- 6
Қадам-қадаммен
- Қадам 01
Гипотеза мен бір метриканы жазыңыз
Редакторды ашпас бұрын бір сөйлем жазыңыз: «Егер X-ті өзгертсек, көбірек адам Y жасайды, себебі Z». Мысалы: «Егер чек-парақтың бірінші тармағы Профильді толтыру емес, Әріптесті шақыру болса, чек-парақты көбірек адам аяқтайды, себебі құндылық ертерек көрінеді».
Алдын ала бір негізгі метриканы таңдаңыз. Clew ішінде бұл турдың аяқталу үлесі: турды соңына дейін өткен бірегей келушілер санының оны көрген бірегей келушілер санына қатынасы. Бір уақытта бір нәрсені өзгертіңіз — мәтінді, ретті немесе қадам санын, әйтпесе қай өзгеріс әсер еткенін білмейсіз.
Қадам 1 · интерфейс сызбасы - Қадам 02
Тур редакторында B нұсқасын жасаңыз
Турлар бөлімінде турды ашып, редактордың төменгі жағындағы A/B тест блогын ашыңыз және Тест мәнін Қосулы етіңіз. A-дан көшіру батырмасын басыңыз: B нұсқасы ағымдағы қадамдардың дәл көшірмесінен басталады, сондықтан гипотеза өзгертетін бөлікті ғана түзетесіз.
B нұсқасының өз қадамдары бар: элемент (селектор), орналасуы, тақырыбы мен мәтіні, ал қадам саны басқаша болуы мүмкін. B нұсқасының өз түстері де болуы мүмкін: B нұсқасының түстері құсбелгісін қойып, фонды, мәтінді, жиекті, акцентті және бұрыш дөңгелектігін тур тақырыбындағыдай палитралармен таңдаңыз; алдын ала қараудағы A / B ауыстырғышы кез келген нұсқаны көрсетеді. Тек түстерді тексеру үшін B нұсқасының мазмұны өрісінде A-мен бірдей қадамдар (тек түстерді тексереміз) тармағын таңдаңыз. Қалғанының бәрі екі нұсқаға ортақ: формат, көрсету шарты, беттер, аудитория ережелері және жиілік.
Қадам 2 · интерфейс сызбасы - Қадам 03
Іріктеме көлемі мен мерзімін бағалаңыз
A/B тест калькуляторын ашып, іріктеме көлемі мен мерзімі қойындысына өтіңіз. Базалық конверсия ретінде турдың қазіргі аяқталу үлесін (ол тур статистикасында бар), енгізуге тұрарлық ең аз өсімді және күніне қаралым санын енгізіңіз.
Мысал: чек-парақты көргендердің 40%-ы аяқтайды, ал сіз 95% сенімділік пен 80% қуатта 45%-ға дейінгі өсімді (+5 пайыздық тармақ) байқағыңыз келеді. Калькулятор әр нұсқаға 1515 келуші береді. Күніне 200 қаралым болса, бұл 3030 ÷ 200 = 16 күн — аптаның барлық күндерін қамту үшін 3 толық аптаға дейін дөңгелектеңіз.
Қадам 3 · интерфейс сызбасы - Қадам 04
Үлесті белгілеп, жариялаңыз
A нұсқасының үлесі, % — бастапқы нұсқаны көретін келушілер бөлігі; қалғандары B-ні көреді. B тәуекелді болмаса, 50 қалдырыңыз. Күйін Жарияланған етіп, сақтаңыз — тест жаңа және қайта келген келушілер үшін бірден басталады.
Бөлу тұрақты: виджет браузерде сақталған келушінің анонимді идентификаторын тур слагымен бірге хэштейді, сондықтан бір адам сол турдың әрқашан бір нұсқасын көреді, қосымша сұраулар жоқ. Басқа браузердегі немесе құрылғыдағы, сондай-ақ сайт деректерін тазалаған адам — жаңа келуші және басқа нұсқаға түсуі мүмкін.
Қадам 4 · интерфейс сызбасы - Қадам 05
Тур статистикасындағы нәтижелер карточкасын оқыңыз
Турды ашып, редактордың жоғарғы жағындағы статистиканы қараңыз (немесе турлар тізіміндегі 📊 Статистика). Тест жүріп жатқанда A/B тест нәтижелері карточкасы әр нұсқаның қаралымдарын, аяқтауларын және 95% аралығымен аяқталу үлесін, B-ның A-дан өсімін айырмашылықтың 95% аралығымен, екіжақты z-тесттің p-мәнін, B-ның жақсы болу ықтималдығын (байестік) және сізге маңызды ең аз өсім үшін жоспарлы іріктемеге қарай прогресті көрсетеді — калькулятордағы формуламен. Нұсқалар бойынша воронкаларды салыстыру A мен B қадамдар воронкаларын қатар қояды, сонда әр нұсқа адамдарды қай жерде жоғалтатыны көрінеді.
Жоғарыдағы белгі — шешім: Деректер жиналуда, Трафик аз, Әзірге маңызды айырмашылық жоқ, Маңызды айырмашылық жоқ, B жеңді немесе A жеңді — не қаралымдар бапталған бөлуге сәйкес келмесе, Бөлудегі сәйкессіздік (SRM). Жоспарлы іріктеме жиналмай тұрып пайда болған маңызды айырмашылық түпкілікті емес деп белгіленеді: ерте көшбасшылық жиі жоғалады, жоспарды күтіңіз.
Қадам 5 · интерфейс сызбасы - Қадам 06
B-ны негізгі нұсқа етіңіз немесе A-ны қалдырыңыз
Шешім түпкілікті болғанда, тестті сол карточкадан аяқтаңыз — ештеңе көшірудің де, жазып алудың да қажеті жоқ:
- B жеңді: B-ны негізгі нұсқа ету батырмасын басыңыз. B қадамдары негізгі қадамдардың орнын басады (B-ның өз түстері болса, олар тур түстеріне айналады), тест өшіріледі және барлығы жаңа нұсқаны көреді.
- A жеңді немесе айырма жоқ: A-ны қалдыру батырмасын басыңыз. Тест өшіріледі және барлығы A-ны көреді.
Екі жағдайда да аяқталған тест статистиканың астындағы Тесттер тарихы блогына сақталады: екі нұсқаның қадамдары, бөлу, күндер, қорытынды сандар, шешім және оны кім қабылдағаны. Бұрынғы нұсқаны қалпына келтіру шешімге дейінгі нұсқаны қайтарады. Редакторда Тест мәнін өшіріп сақтасаңыз да, тест осылай мұрағатталады, ал аяқталған тесттер тариф лимитіне есептелмейді. Нәтиже түпкілікті болмай тұрып тестті аяқтасаңыз, растау терезесі алдымен ескертеді.
Тестті тоқтату турды оны бұрын аяқтаған немесе жапқандарға қайта көрсетпейді: Әр келушіге бір рет жиілігінде ол олар үшін аяқталған болып қалады.
Қадам 6 · интерфейс сызбасы
Clew-де нені тестілеуге болады
| Идея | Clew-де қалай | Метрика |
|---|---|---|
| Қадам мәтіні | Басқа тақырыбы немесе мәтіні бар B нұсқасы | Аяқталу үлесі |
| Қадамдардың немесе чек-парақ тармақтарының реті | B-дегі көшірілген қадамдардың орнын ауыстырыңыз | Аяқталу үлесі |
| Қысқарақ немесе ұзынырақ тур | B-де қадамдарды алып тастаңыз немесе қосыңыз | Аяқталу үлесі, шығып кету |
| Тултип қай элементті көрсетеді | B-де басқа селектор | Аяқталу үлесі |
| Модальды терезе немесе тултип, көрсету шарты, аудитория | Өз қасиетіңіз бойынша бөлінген екі бөлек тур (3-мысал) | Әр турдың аяқталу үлесі |
Clew нені өлшейді, нені өлшемейді
Clew әр нұсқада турды көрген және оны аяқтаған бірегей келушілерді санайды (турдың соңғы қадамы немесе чек-парақтың барлық тармақтары). Адамдар кейін өніміңізде не істейтінін Clew көрмейді. Нақты мақсат белсендіру немесе төлем болса, аяқтауды алдын ала көрсеткіш ретінде қарастырып, енгізгеннен кейін әсерін өнім аналитикасында растаңыз. Чек-парақ тармағы келуші өзі белгілегенде де, оның ережесі белгілегенде де (кірген бет, басу немесе қолданбаңыздан Clew.complete()) аяқталған болып саналады, сондықтан өзі белгіленетін нұсқа басқаша бағаланбайды — бірақ екі нұсқаға бірдей ереже беріңіз.
Аудармалар
Редакторда қосылған аудармалар A нұсқасына тиесілі. B нұсқасы мәтінін кез келген тілде жазылғандай көрсетеді. Аудиторияңыз көп тілді болса, бір уақытта бір тілде тестілеңіз, мысалы турды аудитория ережесімен шектеп. B негізгі нұсқа болғанда және қадам саны бірдей болса, растау терезесінде бар аудармаларды қалдыруға болады; әйтпесе олар жойылады және жаңа қадамдарды қайта аудару керек.
Бірнеше тестті қатар жүргізу
Тест турымен бірге жарияланған және Тест: Қосулы болған кезде тариф лимитіне есептеледі; жобалар есептелмейді.
| Тариф | Қатар жүретін A/B тесттер | Аналитика тарихы |
|---|---|---|
| Free | — | 1 ай |
| Pro | 1 | 3 ай |
| Business | 5 | 12 ай |
| Lifetime | 5 | 12 ай |
| Өз серверлеріңіз | Шектеусіз | Шектеусіз |
Тіркелгеннен кейінгі 14 күндік сынақ кезеңінде Business лимиттері жұмыс істейді. Әртүрлі турлардың нұсқалары бір-біріне тәуелсіз тағайындалады, себебі тур слагы хэшке кіреді. Соған қарамастан бір бетте бір аудиторияға екі тест жүргізбеңіз: бір уақытта тек бір тур көрсетіледі, сондықтан бір тест екіншісінің трафигін алады.
Тур тесттерін бұзатын қателер
Ерте қарау
Күн сайын қарап, B «алда» болған сәтте тоқтатсаңыз, жоқ жеңімпаздарды табасыз. Іріктемені алдын ала белгілеп, ол жиналғанда шешіңіз. Нәтижелер карточкасы көмектеседі: ол жоспарлы іріктемеге қарай прогресті көрсетеді және ерте маңызды болған нәтижені түпкілікті емес деп белгілейді.
Тест барысында өзгерту
Үлесті өзгерту келушілердің бір бөлігін басқа нұсқаға ауыстырады; слагтың атын өзгерту барлығын қайта араластырады; нұсқа мәтінін түзету бір топта екі нұсқаны араластырады. Бірдеңе өзгерту керек болса, тестті өшіріп, жаңасын бастаңыз.
Жаңалық әсері
Ескі пайдаланушылар жаңа көріністегі турды қызығушылықпен басуы мүмкін. Тестті кемінде бір-екі толық апта ұстаңыз және мүмкін болса жаңа пайдаланушыларды бөлек қараңыз.
Іріктеме арақатынасының сәйкессіздігі (SRM)
A мен B қаралымдары сіз баптаған бөлуге сәйкес болуы керек. Олар кездейсоқтық рұқсат еткеннен көп ерекшеленсе — мысалы 50/50 кезінде 1800 және 1400 — бірдеңе бұзылған: тек бір нұсқада бар селектор, кэш, бот. Нәтижелер карточкасы мұны бапталған бөлуге қарсы хи-квадрат тестімен тексеріп, жеңімпаздың орнына SRM ескертуін көрсетеді; сандарға сенбес бұрын себебін жойыңыз.
Маусымдылық пен релиздер
Мерекелер, науқандар және фронтенд релиздері қысқа тестте нұсқаларға біркелкі әсер етпейді. Толық апталарды пайдаланып, тест кезінде Күйі бөлімін қарап отырыңыз: бір нұсқадағы бұзылған қадам нәтижені бұрмалайды.
Үш талданған мысал
1. Чек-парақ реті
Гипотеза: Деректерді қосу тармағынан бастау Профильді толтыру тармағынан бастағаннан гөрі чек-парақты жиірек аяқтатады. Баптау: чек-парақ форматындағы тур, тест қосулы, «A-дан көшіру», B-де тармақты жоғары көтеру. Метрика: аяқталу үлесі. Мерзім: қазіргі үлесті база етіп калькулятор бойынша; чек-парақтар бірнеше сессияда аяқталады, сондықтан кемінде екі апта.
2. Тултип мәтіні
Гипотеза: пайдаға бағытталған тақырып («Алғашқы есеп 2 минутта») функция атауынан («Есептер») жақсы. Баптау: тултиптер туры, «A-дан көшіру», тек бірінші қадамның тақырыбы мен мәтінін өзгерту. Нәтиже: A — 1560 қаралым, 624 аяқтады (40%); B — 1540 қаралым, 709 аяқтады (46%). Калькулятор: p ≈ 0,0007, 95% деңгейде айырма +2,6-дан +9,5 тармаққа дейін — B жеңді. Қаралымдар теңгерілген, SRM жоқ.
3. Модальды терезе немесе тултип
Формат бүкіл турға беріледі, сондықтан екі тур қажет. Пайдаланушыларды қосымшаңызда бөліңіз, мысалы Clew.identify({ onboarding_arm: Math.random() < 0.5 ? 'modal' : 'tooltip' }), мәнді пайдаланушыға бір рет сақтап. Аудитория ережесі Қасиет onboarding_arm тең modal болатын модальды тур және tooltip мәнімен тултиптер турын жасаңыз — бірдей беттерде, бірдей көрсету шартымен. Екі турдың аяқталу үлесін калькуляторда салыстырыңыз. Қосымшаңыз топты білетіндіктен, белсендіруді өз аналитикаңызда да салыстыра аласыз. Аудитория ережелері ақылы тарифтерде және сынақ кезеңінде қолжетімді.
Бірдеңе жұмыс істемесе
Free тарифінде A/B тест бар ма?
Жоқ. A/B тесттер Pro тарифінен басталады (бір уақытта бір тест); Business және Lifetime бір уақытта беске дейін жүргізеді. Жаңа аккаунттар Business лимиттерімен 14 күндік сынақ кезеңін алады.
Келуші әр келгенде әртүрлі нұсқаны көре ме?
Жоқ. Нұсқа браузерде сақталған келушінің анонимді идентификаторы мен тур слагынан есептеледі, сондықтан әр келгенде бірдей болады. Ол тек басқа браузерде немесе құрылғыда, сайт деректерін тазалағаннан кейін немесе тур слагының атын өзгерткенде ауысады.
Clew статистикалық маңыздылықты есептей ме?
Иә. Тест жүріп жатқанда тур статистикасы B-ның A-дан өсімін 95% аралығымен, екіжақты z-тесттің p-мәнін, B-ның жақсы болуының байестік ықтималдығын, іріктеме арақатынасының сәйкессіздігін тексеруді және жоспарлы іріктемеге қарай прогресті көрсетіп, бәрін шешімге жинақтайды. Тегін A/B тест калькуляторы бастамас бұрын іріктемені жоспарлау үшін әлі де пайдалы.
Екіден көп нұсқаны тестілеуге бола ма?
Бір турда екі нұсқа бар: A және B. Үш нұсқаны салыстыру үшін тесттерді кезекпен жүргізіңіз немесе пайдаланушыларды өз қасиетіңізбен үш топқа бөліп, үш тур жасаңыз.
Модальды терезені тултиппен немесе екі көрсету шартын салыстыруға бола ма?
Бір турдың ішінде — жоқ: формат, көрсету шарты, беттер және аудитория нұсқаларға ортақ. Қосымшаңыз кездейсоқ тағайындайтын қасиет бойынша аудитория ережелері бар екі турды пайдаланыңыз — 3-мысалды қараңыз.
Тестті тоқтатқанда нәтижелер не болады?
Ештеңе жоғалмайды. Тестті аяқтау — B-ны негізгі нұсқа ету, A-ны қалдыру батырмаларымен немесе тестті өшірумен — оны екі нұсқаның қадамдарымен және қорытынды сандармен турдың тесттер тарихына сақтайды, ал Бұрынғы нұсқаны қалпына келтіру өзгерісті болдырмайды.
Бөлу бір беттік қосымшаларда жұмыс істей ме?
Иә. Виджет бетті қайта жүктемей ауысқаннан кейін турларды қайта тексереді, ал нұсқа бетке тәуелді емес, сондықтан келуші барлық маршрутта өз нұсқасында қалады.
Тур тестін қанша уақыт ұстау керек?
Калькулятор берген іріктеме жиналғанша және кемінде бір толық апта — көп келушілер аптасына бірнеше рет қана оралса, екі апта немесе одан көп.
Әлі орнатпадыңыз ба? Тәсілді таңдаңыз
Google Tag Manager
Барлық беттегі «Пользовательский HTML» тегі, алдын ала қараудағы тексеру, жариялау.
Нұсқаулықты ашу →МетрикаЯндекс Тег Менеджер
Бетті қарау триггері бар «Пользовательский HTML» тегі — тікелей Метрикада, сайтқа Google Tag Manager кодын қоймай-ақ.
Нұсқаулықты ашу →ВайбкодингЖИ-ассистенттер
Жолды дұрыс түбір файлға қоятын Cursor, Claude Code, Lovable, Bolt.new, v0 және Replit үшін бір промпт.
Нұсқаулықты ашу →КодсызТильда, Битрикс, WordPress
Тильда, 1С-Битрикс, WordPress, Webflow және қарапайым HTML сайтында head кодының өрісі қайда және нені басу керек.
Нұсқаулықты ашу →