A/B-тест в рекламе: как провести по шагам
A/B-тест сравнивает два варианта и показывает, какой работает лучше. Но он отвечает честно только при правильной постановке. Разбираем порядок проведения, выбор метрики, длительность и ошибки, из-за которых тест врёт.
Что такое A/B-тест и когда он нужен
A/B-тест — это эксперимент, в котором аудитория делится на две сопоставимые группы. Одна видит вариант А, другая вариант Б, а все остальные условия одинаковы. Если результаты различаются настолько, что случайность это не объясняет, вы делаете вывод, какой вариант лучше.
Тестировать имеет смысл то, что влияет на деньги: заголовок и изображение объявления, оффер, посадочную страницу, форму заявки, стратегию ставок. Мелкие правки вроде оттенка кнопки редко стоят усилий, пока не отработаны большие рычаги.
Шаг 1. Сформулируйте гипотезу
Плохая гипотеза: «попробуем другой баннер». Хорошая: «Если в объявлении указать цену первого визита, то конверсия в заявку вырастет, потому что снимется вопрос о стоимости». В ней есть изменение, ожидаемый эффект и причина. Причина важна: если тест подтвердится, вы поймёте, что можно применить и в других местах.
Меняйте один фактор за раз. Если вы изменили заголовок, картинку и цену одновременно, вы не узнаете, что сработало.
Шаг 2. Выберите метрику и заранее решите, как будете судить
Главная метрика должна быть близка к деньгам: конверсия в заявку, цена заявки, конверсия в продажу. CTR подходит для теста креативов, но высокий CTR при плохой конверсии вводит в заблуждение. Заранее запишите: какая метрика основная, какое различие вы считаете значимым и сколько будет длиться тест. Нельзя выбирать метрику после того, как увидели результаты, иначе всегда найдётся показатель, по которому вариант «победил».
Шаг 3. Подготовьте условия
- Распределите аудиторию случайно. В кабинетах площадок есть инструменты для разделения трафика и экспериментов, а для сайта можно использовать сервисы тестирования.
- Убедитесь, что бюджет, ставки, гео и время показа одинаковы.
- Проверьте, что оба варианта размечены разными метками и цели считаются одинаково.
- Не запускайте тест в период, когда сезонность или акции искажают спрос.
Если вы запускаете варианты в разные недели, это уже не A/B-тест, а сравнение периодов, и вывод ненадёжен.
Шаг 4. Определите длительность и объём
Тест нужно довести до заранее запланированного объёма данных. Остановить его при первых хороших цифрах — самая частая ошибка: на малых выборках случайные колебания выглядят как победа. Ориентируйтесь на число конверсий в каждом варианте, а не на дни. Чем меньше разница между вариантами, которую вы хотите заметить, тем больше данных нужно. Для рекламы, где конверсий немного, имеет смысл проверять крупные гипотезы с заметным эффектом и учитывать недельный цикл: проводите тест полными неделями. Подробнее о расчёте объёма — в статье о статистической значимости.
Шаг 5. Проанализируйте результат
| Показатель | Вариант А | Вариант Б |
|---|---|---|
| Показы | 20 000 | 20 000 |
| Переходы | 400 | 420 |
| Заявки | 20 | 32 |
| Конверсия в заявку | 5,0% | 7,6% |
| Расход | 40 000 ₽ | 40 000 ₽ |
| Цена заявки | 2 000 ₽ | 1 250 ₽ |
Цифры условные. Разница выглядит значительной, но при таких объёмах нужно проверить, не случайна ли она, и сверить, дошли ли заявки до продаж. Победитель по заявкам не всегда победитель по продажам: вариант с обещанием «бесплатно» может привести много нецелевых обращений.
Что тестировать в первую очередь
- Оффер: что именно вы предлагаете и на каких условиях.
- Первый экран страницы: заголовок, подзаголовок, главное изображение.
- Форма заявки: число полей, текст кнопки, способ связи.
- Формат рекламы: видео, карусель, статичный баннер.
- Аудитории: сегменты и исключения.
Ведите журнал тестов: гипотеза, даты, метрика, результат, решение. Через полгода он станет базой знаний о том, что работает у вас.
Ошибки A/B-тестов
- Остановка по первым цифрам.
- Изменение нескольких факторов сразу.
- Разные условия показа у вариантов.
- Выбор метрики после результата.
- Слишком много сравнений: чем больше вариантов и метрик, тем выше шанс случайного «победителя».
- Игнорирование качества лидов и продаж.
Если тест не показал различий, это тоже результат: вы узнали, что фактор не важен, и можете искать другие рычаги.
Пример журнала тестов
Журнал не требует сложных систем. Достаточно таблицы со столбцами: номер теста, дата начала и окончания, гипотеза, что менялось, основная метрика, результат по каждому варианту, вывод и решение. Пример записи (условный): «Тест 7. 3–17 июня. Гипотеза: цена первого визита в заголовке повысит конверсию в заявку. Вариант А без цены, Б с ценой. Результат: конверсия 4,2% против 5,1%, разница на границе значимости. Решение: продлить тест на неделю, затем выкатить на все кампании». Такой журнал помогает не повторять уже проверенные идеи и быстро вводить в курс нового сотрудника.
Как тестировать при пополнении бюджета через C4B
Эксперименты требуют стабильного бюджета: если на середине теста кабинет остался без денег и один вариант перестал показываться, результат испорчен. Заранее пополняйте кабинет с запасом на весь срок теста. На платформе C4B можно настроить автоматический ежемесячный счёт и уведомления в Telegram о балансе, чтобы эксперимент не прервался. Возврат начисляется при пополнении по ставке площадки, поэтому запас бюджета не лежит мёртвым грузом: вы можете потратить его на рекламу или вывести.
Вопросы и ответы
Сколько вариантов тестировать одновременно?
Для начала два. Больше вариантов требуют кратно больше данных и повышают риск ложных выводов.
Можно ли делать A/B-тест при небольшом бюджете?
Можно, если тестировать крупные изменения и дать тесту достаточно времени. Мелкие различия при малом бюджете не обнаружить.
Чем A/B-тест отличается от ротации объявлений?
Ротация показывает варианты поочерёдно, а площадка сама перераспределяет показы в пользу лучшего по её метрике. В A/B-тесте вы контролируете условия и критерий.
Как понять, что результат случаен?
Использовать проверку статистической значимости и достаточный объём данных. Об этом отдельная статья.