Статистическая значимость без достаточного бизнес-эффекта не означает победу.
Режим
Методика
z-тест двух долей; α = 0,05; power = 0,80
Осторожно
- Не останавливайте тест при первом p<0,05.
- До запуска зафиксируйте MDE и размер выборки.
- Покройте нормальный цикл поведения.
Как считается
CR = Conversions / Visitors; Lift = CR_B / CR_A − 1; z = (CR_B − CR_A) / SE; p-value = 2 × (1 − Φ(|z|)).
Расчёт выполняется локально в браузере и зависит от корректности исходных данных.
Что означает результат
Калькулятор разделяет статистическую убедительность и бизнес-значимость. Даже значимый результат следует оценивать относительно MDE, стоимости внедрения и длительности эффекта.
Частые вопросы
Что такое MDE?
Минимальный эффект, ради которого тест имеет смысл проводить и внедрять.
Что означает p-value выше 0,05?
Данных недостаточно, чтобы отклонить гипотезу об отсутствии различий на уровне 5%.
Можно остановить тест при первом p<0,05?
Нет, последовательное подглядывание повышает вероятность ложноположительного вывода.
Почему важен полный цикл поведения?
Дни недели и задержка до сделки могут менять состав и зрелость выборки.