P-value
P-value — один из инструментов оценки значимости, а Statistical Significance — само решение о том, достаточно ли убедителен результат.
←
Вернуться к списку понятий
Attribution
Statistical Significance
Статистическая значимость
Простое объяснение
Порог уверенности, после которого результат теста считается маловероятным случайным совпадением.
Зачем это нужно
Статистическая значимость защищает от поспешных выводов по шумным данным, особенно в A/B тестах, holdout-экспериментах и lift studies.
Как это выглядит на практике
Если одна версия лендинга даёт конверсию 5,1%, а другая 5,4%, разница ещё не означает победу. Сначала нужно проверить, достаточно ли данных и статистически значим ли результат.
Формула
Обычно ориентируются на p-value < 0,05
Как считать
Сначала соберите показатели за один период и убедитесь, что база расчёта одинакова для всех сравниваемых объектов. Затем подставьте значения в формулу `Обычно ориентируются на p-value < 0,05` и интерпретируйте результат только в связке с контекстом: качеством трафика, маржой, атрибуцией или этапом воронки.
С чем путают
Confidence Interval
Confidence Interval показывает диапазон возможных значений, а Statistical Significance отвечает, можно ли считать эффект устойчивым.
Частые ошибки
- Останавливать эксперимент при первом удобном результате, не дождавшись достаточного объёма данных.
- Считать значимым любой небольшой разрыв в метрике без проверки p-value и доверительного интервала.
- Игнорировать бизнес-смысл эффекта и смотреть только на статистический критерий.