Басты бет ҚұралдарA/B тест калькуляторы

A/B тест калькуляторы маңыздылықты, іріктемені және ұзақтықты есептейді

Конверсиялар айырмашылығының маңызды екенін тексеріңіз, тестке қанша келуші мен күн керек екенін біліңіз және нәтижені Байес статистикасы арқылы қараңыз. Классикалық калькуляторлардағыдай сенімділік интервалдары мен процентильдері бар үлестірім графиктері.

● Тегін, тіркелусізЖаңартылды: 2026 ж. 16 қыркүйек

—

A конверсиясы—

B конверсиясы—

Айырма—

Салыстырмалы өсім—

p-value—

Қуат—

A және B конверсияларының үлестірімібоялған аймақ — сенімділік интервалы

A — бақылауB — нұсқаүзік сызық — интервал шекаралары, тұтас — медиана

Үлестірім процентильдері
	2,5-процентиль	50 (медиана)	97,5-процентиль
A	—	—	—
B	—	—	—
B − A	—	—	—

B − A айырмасының үлестірімі, п.т.интервал нөлді қамтымаса — маңызды

Нәтижеге ерте қарамаңыз. Алдын ала есептелген іріктеме көлемі жиналғанда бір-ақ рет шешім қабылдаңыз. p-value-ді күн сайын тексеріп, алғашқы «маңызды» нәтижеде тоқтау жалған жеңістер санын бірнеше есе арттырады.

Барлығы браузеріңізде есептеледі — енгізген деректеріңіз ешқайда жіберілмейді.

Қалай пайдалану керек

Режимді таңдаңызІске қоспас бұрын «Іріктеме және ұзақтық» арқылы қанша келуші мен күн керек екенін біліңіз. Тесттен кейін «Нәтижені тексеру» немесе «Байес әдісі» режимін пайдаланыңыз.
Деректерді енгізіңізБақылау (A) мен нұсқаның (B) келушілері мен конверсиялары. Конверсия — мақсатқа жеткен пайдаланушы, оқиғалар саны емес.
Қорытындыны оқыңызЖоғарыдағы қорытынды нәтижені сөзбен түсіндіреді; төменде p-value, интервалдар және үлестірім графиктері. Мән мен процентильді көру үшін курсорды графикке апарыңыз.
Сілтемемен бөлісіңізЕнгізілген мәндер бет URL-ында сақталады. «Сілтемені көшіру» әріптесіңіз дәл сол есептеуді көретін мекенжай береді.

Калькулятор маңыздылықты қалай тексереді

«Нәтижені тексеру» көптеген A/B калькуляторлары қолданатын классикалық екі үлеске арналған z-тестті пайдаланады. Нөлдік гипотеза: A мен B конверсиялары тең, ал байқалған айырма — іріктеменің кездейсоқ ауытқуы.

Алдымен p_A = x_A / n_A және p_B = x_B / n_B конверсиялары есептеледі. Тест үшін айырманың стандартты қатесі біріктірілген үлесті пайдаланады — нөлдік гипотеза бойынша екі топтың конверсиясы бірдей:

p̂ = (x_A + x_B) / (n_A + n_B) SE₀ = √( p̂ · (1 − p̂) · (1/n_A + 1/n_B) ) z = (p_B − p_A) / SE₀ p-value = 2 · (1 − Φ(|z|)) — екіжақты тест p-value = 1 − Φ(z) — біржақты, H₁: p_B > p_A

Φ — стандартты қалыпты үлестірімнің функциясы. p-value α = 1 − сенімділік деңгейінен кіші болса, айырма маңызды.

Сенімділік интервалдары

Интервалдар біріктірусіз құрылады — әр топ өз дисперсиясын сақтайды (Вальд интервалы):

SE_A = √( p_A (1 − p_A) / n_A ) CI_A = p_A ± z₁₋α/₂ · SE_A SE_Δ = √( SE_A² + SE_B² ) CI_Δ = (p_B − p_A) ± z₁₋α/₂ · SE_Δ

p_B/p_A − 1 салыстырмалы өсімінің интервалы дельта-әдіспен есептеледі. Графиктер дәл осы N(p, SE) қалыпты үлестірімдерін көрсетеді: боялған аймақ — сенімділік интервалы, үзік сызықтар — оның шекаралары (95% деңгейінде 2,5 және 97,5-процентильдер), тұтас сызық — медиана.

Қуат және іріктемені тексеру

«Қуат» — бақыланған (post-hoc) қуат: осындай көлемдегі тест байқалған айырмаға тең айырманы анықтау ықтималдығы. Бұл деректердің жеткілікті екеніне нұсқау, гипотезаның дәлелі емес — бақыланған қуат p-value-дің тікелей функциясы және жаңа ақпарат бермейді.

Калькулятор сонымен қатар трафиктің тең бөлінуіне χ²-тест арқылы SRM (sample ratio mismatch, іріктеме теңгерімсіздігі) тексереді. Келушілер айтарлықтай тең бөлінбесе, рандомизация бұзылған болуы ықтимал, ал конверсияларды салыстырудың мәні жоқ.

Іріктеме көлемі және тест ұзақтығы

Қанша келуші керек екені төрт саннан тәуелді: базалық конверсия, ең аз анықталатын әсер (MDE), маңыздылық деңгейі α және қуат 1 − β. Калькулятор екі үлесті салыстыруға арналған қалыпты жуықтау формуласын қолданады — Эван Миллердің калькуляторындағыдай, сондықтан нәтижелер сәйкес келеді:

δ = MDE (абсолютті; салыстырмалы MDE p-ға көбейтіледі) n = ( z₁₋α/₂ · √(2p(1 − p)) + z₁₋β · √(p(1 − p) + (p + δ)(1 − p − δ)) )² / δ²

n — әр нұсқадағы келушілер саны. Тест ұзақтығы = n × нұсқалар саны ÷ күніне келушілер.

Нұсқалар екіден көп болса, бақылаумен әр салыстыру — қателесудің тағы бір мүмкіндігі. Калькулятор Бонферрони түзетуін қолданады: α салыстырулар санына бөлінеді. Бұл консервативті, бірақ қарапайым әрі адал тәсіл; оның бағасы — үлкенірек іріктеме.

Практикалық ережелер:

Тесттерді толық апталармен жүргізіңіз — кемінде 7 күн, ең дұрысы 14: жұмыс күндері мен демалыс күндерінің аудиториясы әртүрлі.
MDE-ні екі есе азайту үшін шамамен төрт есе көп трафик керек. Тест алты айға созылатын болса, батылырақ өзгерісті немесе әрекетке жақынырақ метриканы тексеріңіз.
Онбордингте төлемнен гөрі базалық мәні жоғары метрикалар — қадамды аяқтау, алғашқы негізгі әрекет — тиімдірек: оларға бірнеше есе аз келуші керек.

Байес тәсілі: B-ның жақсы болу ықтималдығы

Байес режимі адамдар әдетте қоятын сұраққа жауап береді: B-ның A-дан жақсы болу ықтималдығы қандай? Әр нұсқаның конверсиясы бета-үлестіріммен сипатталады. Beta(α, β) априорлы үлестірімі және n келушіден x конверсия болғанда, апостериорлы үлестірім Beta(α + x, β + n − x) болады — түйіндес бета-биномдық модель.

P(B > A) = ∫ f_B(x) · F_A(x) dx B таңдау қаупі = E[ max(p_A − p_B, 0) ] A қалдыру қаупі = E[ max(p_B − p_A, 0) ]

Бақылаудан озу ықтималдығы сандық интегралдау арқылы есептеледі және тесттерімізде бүтін параметрлер үшін Эван Миллердің нақты формуласымен әрі Монте-Карло модельдеуімен салыстырылады. Күтілетін шығын — таңдау қате болып шықса, орта есеппен қанша конверсия жоғалатыны. Ыңғайлы тоқтату ережесі: таңдалған нұсқаның қаупі бизнес үшін маңызсыз шектен төмен түскенде тестті аяқтаңыз.

Байес тәсілі немқұрайлы процесті ақтамайды: нәтижеге ерте қарау және «алғашқы 95%-да» тоқтау оған да зиян. Біркелкі Beta(1, 1) үлестірімі жүздеген конверсия болғанда нәтижеге іс жүзінде әсер етпейді; ақпараттық априорлы үлестірім бұрынғы тесттерді адал көрсетсе ғана мағыналы.

Нәтижені қалай оқу керек және қандай қателерден сақтану керек

«Статистикалық тұрғыдан маңызды» нені білдіреді

0,03 p-value мынаны білдіреді: шын мәнінде айырмашылық болмаса, осындай немесе одан үлкен алшақтық тесттердің шамамен 3%-ында пайда болар еді. Бұл B-ның жақсы болу ықтималдығы да, әсердің шамасы да емес. Шаманы сенімділік интервалы көрсетеді: «+0,2-ден +1,4 п.т.-ға дейін» деу «+16%, маңызды» дегеннен адалырақ.

Жиі кездесетін қателер

Нәтижеге ерте қарау. Маңыздылықты күн сайын тексеріп, алғашқы p < 0,05-те тоқтау — жалған жеңіске жетудің сенімді жолы. Іріктеме көлемін алдын ала есептеп, бір-ақ рет шешім қабылдаңыз.
Толық апта өтпей тұрып «маңызды» нәтижеде тоқтау. Жаңалық әсері мен апта күндерінің заңдылықтары тесттің алғашқы күндерін бұрмалайды.
Тым көп метрика мен сегмент. Жиырма метриканы тексерсеңіз, біреуі кездейсоқ «маңызды» болып шығады. Негізгі метриканы іске қоспас бұрын таңдаңыз; сегменттерді келесі тесттің идеялары ретінде қарастырыңыз.
Тең емес бөлу (SRM). Топтардың көлемі кездейсоқтық рұқсат еткеннен көп алшақтаса, жеңімпазды емес, трафикті бөлудегі қатені іздеңіз.
Оқиғаларды конверсия ретінде санау. Бес рет басқан пайдаланушы — бір конверсия. Тест бақылаулардың тәуелсіздігін болжайды.
«Маңызды емес» = «әсер жоқ». Шағын іріктемедегі маңызды емес нәтиже тек деректердің жетпегенін білдіреді. Интервалға қараңыз: ол −5%-дан +10%-ға дейін созылса, тест ештеңе шешпеді.

Онбордингті тексерсеңіз — турмен және турсыз нұсқаны немесе чек-парақтың екі нұсқасын — «турды аяқтады» дегенді емес, активацияны (алғашқы негізгі әрекетті) салыстырыңыз. Оны қалай арттыруға болады: SaaS-та пайдаланушы активациясын арттыру.

Дереккөздер

Fleiss J. L., Levin B., Paik M. C. Statistical Methods for Rates and Proportions. 3rd ed. Wiley, 2003 — екі үлеске арналған z-тест және іріктеме көлемі.
Miller E. Sample Size Calculator — evanmiller.org/ab-testing/sample-size.html; Miller E. Formulas for Bayesian A/B Testing — evanmiller.org/bayesian-ab-testing.html.
Kohavi R., Tang D., Xu Y. Trustworthy Online Controlled Experiments. Cambridge University Press, 2020 — SRM, нәтижеге ерте қарау, метрикаларды таңдау.
Marsaglia G. Evaluating the Normal Distribution. Journal of Statistical Software, 11(4), 2004 — Φ(x) есептеу.
Press W. H. et al. Numerical Recipes. 3rd ed., §6.4 — толық емес бета-функция.

Жиі қойылатын сұрақтар

A/B тесттің статистикалық маңыздылығын қалай тексеруге болады?

«Нәтижені тексеру» бөліміне екі топтың келушілері мен конверсияларын енгізіңіз. Калькулятор екі үлеске арналған z-тест жүргізіп, p-value береді: ол 1 − сенімділік деңгейінен кіші болса (мысалы, 95%-да 0,05), айырма статистикалық тұрғыдан маңызды. Айырманың сенімділік интервалына да қараңыз — ол әсердің шамасын көрсетеді.

A/B тест қанша уақыт жүруі керек?

Алдын ала есептелген іріктеме көлемі жиналғанша және кемінде 7 толық күн. «Іріктеме және ұзақтық» бөліміне базалық конверсияны, ең аз әсерді және күндік трафикті енгізіңіз — калькулятор әр нұсқаға келушілер санын және күнмен ұзақтықты береді.

Қандай сенімділік деңгейін таңдау керек: 90, 95 әлде 99%?

Стандарт — 95%. 90% жалған жеңіс арзанға түсетін, қайтаруға болатын арзан өзгерістерге сай; 99% баға сияқты тәуекелді шешімдерге арналған. Сенімділік деңгейі неғұрлым жоғары болса, соғұрлым үлкен іріктеме қажет.

Біржақты және екіжақты тесттің айырмашылығы неде?

Екіжақты тест B-ның A-дан кез келген бағытта өзгеше екенін тексереді; біржақты тест тек B-ның жақсы екенін тексереді. Біржақты тестке деректер аз керек, бірақ оны іске қоспас бұрын таңдау қажет және ол құлдырауды байқамайды. Күмәндансаңыз, екіжақты тестті қолданыңыз.

MDE деген не?

Ең аз анықталатын әсер — тест таңдалған қуатпен сенімді түрде байқайтын конверсиядағы ең кіші айырма. Оны тестке дейін белгілеңіз: MDE неғұрлым кіші болса, соғұрлым көп келуші қажет — шамамен әсер квадратына кері пропорционал.

Нәтижелер Эван Миллердің калькуляторымен сәйкес келе ме?

Иә. Іріктеме көлемі сол формуламен есептеледі; автоматты тесттеріміз нәтижені оның калькуляторымен бірнеше параметр жиынында салыстырады, кері қалыпты функцияның дәлдігіне байланысты айырма бір келушіден аспайды.

Байес тәсілі жиіліктік тәсілден жақсы ма?

Жақсы емес — ол басқа сұраққа жауап береді. Жиіліктік тест айырма болмаса деректердің қаншалықты күтпеген екенін айтады; Байес тәсілі B-ның жақсы болу ықтималдығын және қанша жоғалту қаупі барын көрсетеді. Екіншісін бизнеске түсіндіру оңайырақ, бірақ екеуіне де тоқтату ережелері мен тәртіп қажет.

Екіден көп нұсқаны тексеруге бола ма?

Иә. «Іріктеме және ұзақтық» бөлімінде нұсқалар санын көрсетіңіз: калькулятор Бонферрони түзетуін қолданып, іріктемені ұлғайтады. Нәтижені тексергенде әр нұсқаны бақылаумен бөлек салыстырыңыз, салыстырулар санына бөлінген α-ны пайдаланыңыз.

«A/B тестілеу» бөлімінде тағы

RICE және ICE басымдау калькуляторы
RICE немесе ICE бойынша бэклогтың қай тапсырмалары бірінші орында?
Активация және түсім калькуляторы
Активация деңгейінің өсуі қанша табыс әкеледі?
Воронка конверсиясының калькуляторы
Воронканың қай қадамында пайдаланушылар жоғалады және қайсысын бірінші түзеу керек?
Іріктеме көлемі калькуляторы
Берілген қателік шегі үшін сауалнамаға қанша жауап керек?