A/B-тест
A/B-тест — эксперимент, в котором две версии одного элемента показывают равным по составу группам людей и смотрят, какая даёт лучший результат. Так решения принимают по данным, а не по вкусу.
Как проводить
- Сформулируйте гипотезу: «заголовок с ценой даст выше CTR».
- Меняйте только один элемент.
- Разделите аудиторию на равные части и запустите варианты одновременно.
- Дождитесь достаточного числа событий и сравните метрики.
Что тестировать
- Заголовок и первый абзац.
- Изображение или видео.
- Оффер и призыв к действию.
- Посадочную страницу и форму.
Начинайте с того, что сильнее влияет на результат: оффер обычно важнее цвета кнопки.
Сколько данных нужно
Ориентируйтесь на десятки конверсий в каждой группе и на полные недели, чтобы учесть дни недели. Для оценки значимости используйте калькуляторы статистической значимости.
Нюансы и пример
Допустим, вариант А даёт CTR 1,2%, вариант Б — 1,8%, при 10 000 показов на каждый. Разница заметна, но проверьте главное: конверсию и стоимость заявки. Бывает, что кликабельный вариант приводит случайных людей. Некоторые площадки имеют встроенные инструменты экспериментов, они следят за равенством условий. Результаты фиксируйте в таблице и повторно проверяйте при смене сезона.
Заводите журнал экспериментов: гипотеза, даты, результат и вывод. Через несколько месяцев такой журнал превращается в базу знаний о вашей аудитории и избавляет от повторных тестов.
Вопросы и ответы
Можно ли тестировать несколько элементов сразу?
Можно, но результаты сложнее интерпретировать. Для начала меняйте по одному элементу.
Сколько длится тест?
Пока не накопится достаточно данных и не пройдёт хотя бы одна-две недели.
Что делать, если разницы нет?
Это тоже результат: выбирайте любой вариант и тестируйте более смелую гипотезу.