Тарифные планы

Калькулятор для A/B-тестирования

Ваши результаты статистически значимы?

Рассчитайте статистическую значимость

Посетители

Конверсии

Коэффициент конверсии (показатель эффективности рекламы)

A

1,00 %

B

1,14 %

ГипотезаДвусторонняя гипотеза учитывает вероятность того, что Ваш вариант может оказать негативное влияние на Ваш результат.

ДостоверностьСтепень вероятности того, что Ваши результаты соответствуют действительности, а не обусловлены случайными факторами.

Статистически значимый результат!

Коэффициент конверсии варианта B (1,14 %) на 14 % выше, чем коэффициент конверсии варианта A (1 %). Вы можете со степенью достоверности 95 % сказать, что вариант B будет работать лучше, чем вариант A.

Уверенность

86,69 %

Значение вероятности

0,0157

Что такое статистическая значимость?

При экспериментах с A/B-тестированием статистическая значимость определяет, насколько вероятно, что различие между контрольной версией и тестовой версией экспериментальных данных не вызвана ошибкой или случайностью.

Например, если Вы провели тестирование с уровнем значимости 95%, Вы можете быть на 95% уверены, что различия реальны.

В бизнесе статистическая значимость часто используется для наблюдения за влиянием экспериментов на коэффициент конверсии бизнеса. В сфере опросов статистическая значимость обычно позволяет измерить, насколько можно доверять результатам опроса. Например, если в опросе спрашивается, какую из двух рекламных концепций предпочитают участники, Вам надо убедиться, что различие в результатах статистически значимо, прежде чем решить, какую из этих концепций использовать.

Все расчеты мы сделаем за Вас. Автоматическое определение статистической значимости предлагается в плане ADVANTAGE. Смотреть цены.

Как определить статистическую значимость

Все начинается с формирования гипотезы. В любом эксперименте существует нулевая гипотеза, которая утверждает, что никакой связи между сравниваемыми фактами нет, и альтернативная гипотеза. Альтернативная гипотеза обычно пытается доказать, что связь существует, и это утверждение Вы пытаетесь подтвердить экспериментом. Если говорить о A/B-тестировании коэффициента конверсии, гипотеза предполагает, что добавление кнопки, изображения или какого-то текста на страницу влияет на коэффициент конверсии. Если использовать опросы для проверки концепций, как в примере выше, Ваша гипотеза может включать тестирование различных вариантов рекламы на привлекательность для потребителей.

Иногда после формулирования нулевых и альтернативных гипотез статистики проводят тесты для проверки состоятельности своих гипотез. Мерой состоятельности нулевой гипотезы является Z-оценка. Она может показать вам, что между сравниваемыми фактами на самом деле нет никакой связи. P-значение показывает, достаточны ли доказательства, которые у Вас имеются, для подтверждения альтернативной гипотезы.

При проведении тестов на статистическую значимость полезно выбрать, каким будет тест: односторонним или двусторонним (или, как еще говорят, одновыборочным или двухвыборочным). В одностороннем тесте предполагается, что Ваша альтернативная гипотеза будет иметь направленный эффект, тогда как двусторонний тест предусматривает, что гипотеза также может оказать негативное влияние на результаты. Как правило, двусторонний тест дает более консервативные выводы.

Даже профессиональные статистики используют для расчета значимости и подтверждающих ее тестов специальные программы для статистического моделирования, поэтому мы здесь не будем подробно рассматривать этот механизм. Однако, проводя A/B-тестирование, Вы можете использовать калькулятор, приведенный вверху этой страницы, для вычисления статистической значимости результатов. Если Вам нужно рассчитать значимость результатов опроса, SurveyMonkey может сделать это автоматически.

Хотите знать, почему Вы не получаете значимых результатов?

Попробуйте направить Вашим клиентам опрос, чтобы узнать, что они ищут.