CUPED снижает дисперсию за счёт предэкспериментальных данных. На бумаге это звучит как бесплатная мощность теста, но на практике выгода зависит от качества исходной метрики.
Когда CUPED полезен
- Есть сильная корреляция между прошлым и будущим поведением пользователя
- Метрика считается на уровне пользователя, а не на уровне сессии
- Предэкспериментальный период не содержит структурных выбросов
Когда обычный тест лучше
Если метрика волатильна, а пользовательская история короткая, коррекция добавит сложности и не даст заметного выигрыша в доверительном интервале.
Практический критерий
Смотрите на объяснённую вариацию. Если covariate почти ничего не объясняет, CUPED превращается в академическое украшение.
Сначала докажите, что прошлое поведение предсказывает будущее, и только потом усложняйте экспериментальный пайплайн.
Автор
И
Илья П.
Product Analytics Lead
Разбирает воронки, retention и эксперименты без маркетингового шума.
Нужна аналитика не только в статьях?
Подключим sandbox, покажем отчёты на ваших данных и поможем собрать контур событий без лишней бюрократии.