Что такое АБ тест
Коротко
АБ тест — это сравнение двух вариантов одного элемента на реальных клиентах, когда аудиторию случайно делят на две группы: одна видит вариант А, другая — вариант Б. Через некоторое время считают, какой вариант чаще приводит к нужному действию: покупке, заявке, клику. На основании этих данных выбирают лучший вариант и оставляют его в работе.
Зачем нужен АБ тест
Решение о том, какой заголовок, кнопка или цена лучше, часто принимают на вкус: «мне кажется, так понятнее». АБ тест заменяет мнение измерением: вы показываете два варианта живым людям и смотрите, какой из них приносит больше нужных действий.
Тест помогает не тратить бюджет на изменение, которое не даёт результата, и не упустить изменение, которое могло бы увеличить продажи. Например, если новая кнопка на сайте приносит на 10% больше заявок, это видно по цифрам, а не по спору в переговорной.
Как провести АБ тест
Сначала выбирают один элемент, который будете менять. Это может быть заголовок объявления, текст на кнопке, цена, картинка или порядок блоков на странице. Важно менять только одну переменную за раз, иначе непонятно, что именно повлияло на результат.
Затем создают два варианта: А — текущий, Б — изменённый. Аудиторию делят случайным образом: половина видит А, половина — Б. Важно, чтобы группы были похожи по составу, иначе результат будет искажён.
После запуска собирают данные о целевом действии: сколько человек в каждой группе совершили покупку, оставили заявку или кликнули. Когда набирается достаточно данных, сравнивают результаты и проверяют, не случайно ли различие. Для этого используют статистическую значимость: если разница может быть случайной, тест считают неубедительным.
Где применяют АБ тестирование
- В рекламе: сравнивают тексты объявлений, заголовки, картинки и кнопки, чтобы понять, какое объявление приносит больше кликов и заявок по той же цене.
- На сайте: тестируют заголовки, кнопки призыва к действию, формы заявки, цены и структуру страницы, чтобы увеличить конверсию без дополнительного трафика.
- В письмах: сравнивают тему письма, текст и кнопку, чтобы больше людей открывали письмо и переходили на сайт.
- В соцсетях: проверяют, какие посты и креативы лучше вовлекают аудиторию и приводят переходы.
- В ценах и тарифах: осторожно тестируют разные уровни цен или составы пакетов, чтобы найти оптимальный баланс между выручкой и числом покупателей.
Сколько данных нужно для результата
Нельзя останавливать тест, как только один вариант вырвался вперёд: на маленькой выборке разница может быть случайной. Чем меньше разница между вариантами, тем больше данных нужно, чтобы её заметить.
Ориентируются на статистическую значимость: если вероятность того, что разница случайна, велика (обычно больше 5%), результат считают недостоверным. Для расчёта нужного объёма выборки есть калькуляторы, но общее правило такое: тест должен идти достаточно долго, чтобы набрать хотя бы несколько десятков целевых действий в каждой группе.
Частые вопросы
Чем АБ тест отличается от обычного сравнения?
При обычном сравнении варианты показывают разным людям в разное время или в разных условиях, и на результат влияют сезонность, рекламные кампании и другие факторы. В АБ тесте аудиторию делят случайно и одновременно, поэтому влияние внешних факторов снижается.
Можно ли тестировать сразу несколько элементов?
Можно, но тогда нужно больше данных и специальные методы (например, многофакторное тестирование). Если менять несколько элементов сразу, непонятно, какой из них дал эффект. Начинать лучше с одного элемента.
Что делать, если тест не дал разницы?
Это тоже результат: значит, изменение не влияет на поведение клиентов. Можно попробовать другую гипотезу или увеличить выборку, если данных было мало. Иногда отсутствие разницы говорит о том, что элемент не важен для клиента.
Сколько должен длиться АБ тест?
Зависит от трафика и конверсии. Тест нельзя заканчивать раньше, чем наберётся достаточно данных для статистической значимости. Обычно это от нескольких дней до нескольких недель. Не стоит растягивать тест слишком надолго, чтобы не терять время.
Можно ли АБ тест считать точным?
АБ тест даёт вероятностную оценку. Если разница статистически значима, вероятность ошибки мала (обычно 5%). Но нельзя исключить случайность полностью. Чем больше данных, тем выше точность.
Посчитать рядом
Когда тест нужен, чтобы решить, куда вкладывать бюджет
Чтобы АБ тест приносил деньги, а не просто цифры
АБ тест — инструмент, который показывает, какой вариант лучше, но только если правильно выбрана гипотеза и измеряется то, что важно для бизнеса. Если тестировать незначительные элементы, можно получить красивую разницу в процентах, которая не повлияет на выручку.
Я помогаю выстроить маркетинг так, чтобы каждое изменение проверялось на цифрах: от рекламных объявлений до страниц сайта. В рамках услуги «Сквозная аналитика» настраиваю сбор данных, чтобы результаты тестов были видны в деньгах, а не в кликах.