Статистическая значимость это простыми словами
Коротко
Статистическая значимость — это оценка того, могла ли увиденная разница получиться случайно. Если при предположении, что разницы нет, такой результат или ещё более крайний выпадает редко, разницу называют статистически значимой. Слово «значимая» здесь значит «вряд ли случайная», а не «большая» и не «важная для бизнеса».
Откуда берётся слово «значимая»
Любое измерение идёт по выборке: сто звонков, тысяча заявок, две недели рекламы. Из выборки делают вывод обо всей массе клиентов, и в этом переходе всегда есть шанс ошибиться. Статистическая значимость отвечает ровно на один вопрос: насколько вероятно, что увиденная разница — игра случая, а не свойство рынка.
Проверку строят от нулевой гипотезы — утверждения, что разницы нет: новая страница даёт ту же конверсию, что старая, канал А приносит столько же, сколько канал Б. Дальше считают p-значение: вероятность получить наблюдаемый результат или ещё более крайний, если нулевая гипотеза верна. Маленькое p говорит, что при отсутствии разницы такое совпадение маловероятно, и нулевую гипотезу отвергают.
Порог, ниже которого результат считают значимым, выбирают заранее. Обычный порог — 0,05: если p меньше 0,05, результат значим на уровне 5 %. Порог 0,01 — более строгий.
Чего значимость не говорит
Значимость не измеряет размер эффекта. На большой выборке значимой становится и разница в полпроцента, которая не окупит и дня работы. На маленькой выборке настоящая крупная разница легко окажется незначимой: данных слишком мало, чтобы её разглядеть.
Значимость не доказывает гипотезу. Проверка лишь показывает, насколько данные несовместимы с нулевой гипотезой; никакой статистический метод не подтверждает гипотезу окончательно. И «незначимо» не значит «эффекта нет» — значит, данных не хватило, чтобы его увидеть.
Значимость не равна важности. Результат может быть статистически значимым и при этом ничего не значить для бизнеса: выигрыш в конверсии на десятые доли процента, разница в возрасте покупателей, которую некуда применить. Поэтому рядом с p всегда нужен размер эффекта и доверительный интервал — диапазон, в котором с заданной вероятностью лежит настоящая величина.
Как читать значимость в отчёте
- Смотрите на размер эффекта и доверительный интервал, а не только на p: важно, на сколько именно выросла конверсия и какой разброс допускают данные.
- Проверьте, сколько наблюдений стоит за цифрой. На сотнях случаев незначимая разница может быть настоящей, просто выборки мало.
- Смотрите, сколько сравнений сделано. Чем больше гипотез проверено на одних данных, тем выше шанс, что одна из них окажется значимой случайно.
- Требуйте проверки на новых данных. Результат, который повторяется на следующем периоде, весит больше, чем значимость, найденная один раз.
- Отличайте статистическую значимость от практической: решение принимают по деньгам, а значимость лишь отсекает случайные колебания.
Частые вопросы
Что такое p-значение простыми словами?
Это вероятность увидеть такой результат или ещё более крайний при условии, что никакой разницы нет. p = 0,01 значит: если эффекта нет, подобный результат выпадет примерно в одном случае из ста.
Почему порог именно 0,05?
Это принятое в статистике соглашение, а не закон природы. Порог выбирают до сбора данных, и для ответственных решений его делают строже. Жёсткое деление на «меньше 0,05 — правда» и «больше — ложь» приводит к ошибкам: значимость не равна истине.
Если результат незначим, значит, эффекта нет?
Нет. Это значит, что данных не хватило, чтобы отличить эффект от случайных колебаний. На маленькой выборке даже крупная разница часто выглядит незначимой.
Почему на больших выборках значимо почти всё?
Чем больше наблюдений, тем меньшую разницу можно уверенно отличить от шума. Поэтому в крупных данных значимыми становятся и ничтожные эффекты, и смотреть нужно на их размер, а не на сам факт значимости.
Чем статистическая значимость отличается от практической?
Статистическая отвечает, вряд ли ли результат случаен. Практическая — важно ли это для дела: окупится ли изменение, заметит ли его клиент, стоит ли оно затрат. Первое без второго не повод менять решение.
Можно ли считать значимость доказательством?
Нет. Проверка гипотезы лишь оценивает, насколько данные несовместимы с предположением об отсутствии разницы. Утверждать, что эффект есть и он такого размера, позволяет повторение результата на новых данных.
Читать в журнале
Когда цифры из отчётов пора свести в одно решение
Чтобы за цифрами было видно, что происходит с бизнесом
Значимость отвечает на один узкий вопрос, а собственнику нужно другое: какой канал, товар или клиент приносит прибыль, а какой её съедает. Для этого данные из рекламных кабинетов, CRM и учёта сводят вместе и считают деньги по каждому направлению.
Я собираю цифры бизнеса в одну картину: аудит маркетинга и продаж, сквозная аналитика, юнит-экономика и панель, которая каждое утро показывает главное.