Результаты test и control
Формула
Incremental rate = Growth test − Growth control
Угрозы валидности
Сезонность, несопоставимые города, внешняя акция, изменение цены, одновременная смена креатива или лендинга.
Как считается
Incremental Rate = Growth Test − Growth Control; Incremental Revenue = Baseline Test Revenue × Incremental Rate; Incremental ROMI = (Incremental Profit − Media Spend) / Media Spend × 100%.
Расчёт выполняется локально в браузере и зависит от корректности исходных данных.
Что означает результат
Difference-in-differences отделяет общую динамику рынка от дополнительного роста тестовых территорий. Достоверность зависит от сопоставимости test и control и чистоты дизайна.
Частые вопросы
Зачем нужна контрольная территория?
Она оценивает рост, который мог произойти без тестового воздействия.
Что означает инкрементальный эффект?
Разница динамики test и control, выраженная в процентных пунктах.
Какие угрозы валидности важны?
Сезонность, акции, изменения цены, несопоставимые города и одновременная смена других факторов.
Можно ли считать ROMI по всей выручке test?
Нет, экономика эксперимента должна опираться на инкрементальную часть.