A/B тест
A/B тест сравнивает два варианта воздействия, а holdout сравнивает воздействие с его отсутствием.
←
Вернуться к списку понятий
Attribution
Holdout
Контрольная группа
Простое объяснение
Часть аудитории, которой специально не показывают рекламу, чтобы сравнить результат с основной группой.
Зачем это нужно
Holdout помогает понять, дала ли реклама реальный прирост или пользователи совершили бы целевое действие и без неё.
Как это выглядит на практике
Например, из 100 000 пользователей 90 000 видят рекламу, а 10 000 не видят. Затем результаты двух групп сравниваются.
Формула
Lift = test − holdout
Как считать
Сначала соберите показатели за один период и убедитесь, что база расчёта одинакова для всех сравниваемых объектов. Затем подставьте значения в формулу `Lift = test − holdout` и интерпретируйте результат только в связке с контекстом: качеством трафика, маржой, атрибуцией или этапом воронки.
С чем путают
Частые ошибки
- Сравнивать группы, которые изначально различаются по качеству или поведению.
- Оценивать результат слишком рано, когда эффект кампании ещё не проявился.
- Смотреть только на одну метрику без бизнес-контекста и дополнительного анализа.