A/B-тесты и эксперименты
Четыре метода статистики, bandits, mutex-группы, переключение стратегий на лету. Как лаборатория внутри вашего продукта — проверяете гипотезы, а не гадаете.
Решения на данных, не на интуиции
Как весы вместо «на глазок» — точно знаете, какой вариант лучше.
Результат быстрее с CUPED
Снижение дисперсии на 30-50%. Как GPS вместо компаса — тот же маршрут, но быстрее.
Чистые эксперименты
Mutex-группы изолируют тесты. Один пользователь — один эксперимент. Никаких пересечений.
Как это работает
Четыре шага — как рецепт пирога. Следуете инструкции, получаете результат.
Создаёте эксперимент
Указываете ключ, варианты с весами, основную метрику, confidence level (95% или 99%), метод статистики. Как рецепт — ингредиенты перед готовкой.
Запускаете
POST /v1/experiments/{id}/start — статус меняется на running. SDK вызывает assign — пользователь получает вариант. Redis кеширует на 30 дней.
Смотрите результаты
POST /v1/query/experiments/results — p-value, lift, confidence intervals для каждого варианта. Sequential — e-values с историей. CUPED — процент снижения дисперсии.
Принимаете решение
Видите победителя, завершаете эксперимент. Или переключаете на bandit для автоматической оптимизации. Как судья на финише — чётко, по факту.
Как выглядят результаты
Пример результатов A/B-теста с Sequential+CUPED. Данные демонстрационные.
Все возможности
A/B и multivariate тесты
Классические эксперименты: контроль + любое количество вариантов. Каждый вариант с весом, payload и описанием. Sticky-хеширование по user_id — пользователь всегда видит свой вариант, как именная кружка.
Sequential Testing (ранняя остановка)
Не ждите 2 недели, если результат уже ясен. E-values накапливаются день за днём — как копилка. Когда набралось достаточно, тест можно останавливать. История e-values для графиков.
CUPED (variance reduction)
Используем данные до эксперимента, чтобы убрать «шум». Как наушники с шумоподавлением — сигнал тот же, но слышно чётче. Есть комбо: Sequential + CUPED одновременно.
Multi-armed Bandits
Thompson Sampling автоматически перенаправляет трафик на лучший вариант. Как умный официант — несёт блюдо, которое чаще хвалят. Отслеживание alpha/beta, история аллокаций.
Mutex-группы и Holdout
Пользователь попадает только в один эксперимент из группы — как билет на один аттракцион. Holdout-группы: часть пользователей видит только контроль для чистого сравнения.
Переключение стратегии на лету
Начали как A/B-тест, поняли что долго — переключили на bandit одной кнопкой. API: POST /v1/experiments/{id}/switch-strategy. Как переключение передач в машине.
Калькулятор выборки
До запуска знаете: сколько пользователей нужно и сколько дней ждать. Вводите baseline rate, минимальный эффект, мощность — получаете число. Как калькулятор ипотеки, только для экспериментов.
4 метода статистики
Fixed horizon (классика), Sequential (ранняя остановка), CUPED (шумоподавление), Sequential+CUPED (максимум скорости). Выбираете метод при создании или меняете потом.
API-эндпоинты экспериментов
Полный контроль через API — как пульт от телевизора, только для экспериментов.
| Метод | Эндпоинт | Что делает |
|---|---|---|
| POST | /v1/experiments | Создать эксперимент |
| POST | /v1/experiments/{id}/start | Запустить |
| POST | /v1/experiments/{id}/stop | Поставить на паузу |
| POST | /v1/experiments/{id}/complete | Завершить |
| GET | /v1/experiments/{id}/assign | Получить вариант для пользователя |
| POST | /v1/experiments/{id}/switch-strategy | Переключить ab_test / bandit |
| GET | /v1/experiments/{id}/bandit-state | Состояние Thompson Sampling |
| GET | /v1/experiments/{id}/bandit-history | История аллокаций |
| POST | /v1/query/experiments/results | Результаты (4 метода) |
| POST | /v1/query/experiments/sample-size | Калькулятор выборки |
Trektik vs конкуренты
| Возможность | Trektik | Amplitude | Mixpanel |
|---|---|---|---|
| Sequential Testing (e-values) | ✓ | ✓ | ✗ |
| CUPED (variance reduction) | ✓ | ✓ | ✗ |
| Sequential + CUPED (комбо) | ✓ | ✗ | ✗ |
| Multi-armed Bandits | ✓ | ✗ | ✗ |
| Переключение стратегии на лету | ✓ | ✗ | ✗ |
| Mutex-группы + Holdout | ✓ | ✓ | ✗ |
| Данные в РФ | ✓ | ✗ | ✗ |
Когда что использовать
Новый дизайн чекаута увеличит конверсию?
Запустите A/B-тест с CUPED — результат быстрее за счёт снижения дисперсии. Если эффект большой, sequential testing остановит тест раньше. Не ждите 2 недели, когда можно за 5 дней.
Какой из 5 заголовков лучше работает?
Multi-armed bandit — Thompson Sampling автоматически перенаправляет трафик на лучший вариант. Минимизируете потери, пока ищете победителя. Как умный GPS — объезжает пробки на ходу.
Как избежать конфликта между 3 параллельными тестами?
Mutex-группа: каждый пользователь попадёт только в один из экспериментов. Holdout-группа покажет, какой общий эффект от всех экспериментов. Как разделительные полосы на дороге.
Начали A/B, но хотим перейти на bandit?
POST /v1/experiments/{id}/switch-strategy — переключение за секунду, без перезапуска эксперимента. Bandit-состояние инициализируется автоматически. Как переключение передач на ходу.
Запустите первый A/B-тест за 10 минут
Бесплатный тариф — до 100K событий в месяц, навсегда. Все 4 метода статистики включены.