Клиенты для бизнеса
Аналитика

A/B-тест в рекламе: как провести по шагам

A/B-тест сравнивает два варианта и показывает, какой работает лучше. Но он отвечает честно только при правильной постановке. Разбираем порядок проведения, выбор метрики, длительность и ошибки, из-за которых тест врёт.

· 5 мин чтения

Что такое A/B-тест и когда он нужен

A/B-тест — это эксперимент, в котором аудитория делится на две сопоставимые группы. Одна видит вариант А, другая вариант Б, а все остальные условия одинаковы. Если результаты различаются настолько, что случайность это не объясняет, вы делаете вывод, какой вариант лучше.

Тестировать имеет смысл то, что влияет на деньги: заголовок и изображение объявления, оффер, посадочную страницу, форму заявки, стратегию ставок. Мелкие правки вроде оттенка кнопки редко стоят усилий, пока не отработаны большие рычаги.

Шаг 1. Сформулируйте гипотезу

Плохая гипотеза: «попробуем другой баннер». Хорошая: «Если в объявлении указать цену первого визита, то конверсия в заявку вырастет, потому что снимется вопрос о стоимости». В ней есть изменение, ожидаемый эффект и причина. Причина важна: если тест подтвердится, вы поймёте, что можно применить и в других местах.

Меняйте один фактор за раз. Если вы изменили заголовок, картинку и цену одновременно, вы не узнаете, что сработало.

Шаг 2. Выберите метрику и заранее решите, как будете судить

Главная метрика должна быть близка к деньгам: конверсия в заявку, цена заявки, конверсия в продажу. CTR подходит для теста креативов, но высокий CTR при плохой конверсии вводит в заблуждение. Заранее запишите: какая метрика основная, какое различие вы считаете значимым и сколько будет длиться тест. Нельзя выбирать метрику после того, как увидели результаты, иначе всегда найдётся показатель, по которому вариант «победил».

Шаг 3. Подготовьте условия

  1. Распределите аудиторию случайно. В кабинетах площадок есть инструменты для разделения трафика и экспериментов, а для сайта можно использовать сервисы тестирования.
  2. Убедитесь, что бюджет, ставки, гео и время показа одинаковы.
  3. Проверьте, что оба варианта размечены разными метками и цели считаются одинаково.
  4. Не запускайте тест в период, когда сезонность или акции искажают спрос.

Если вы запускаете варианты в разные недели, это уже не A/B-тест, а сравнение периодов, и вывод ненадёжен.

Шаг 4. Определите длительность и объём

Тест нужно довести до заранее запланированного объёма данных. Остановить его при первых хороших цифрах — самая частая ошибка: на малых выборках случайные колебания выглядят как победа. Ориентируйтесь на число конверсий в каждом варианте, а не на дни. Чем меньше разница между вариантами, которую вы хотите заметить, тем больше данных нужно. Для рекламы, где конверсий немного, имеет смысл проверять крупные гипотезы с заметным эффектом и учитывать недельный цикл: проводите тест полными неделями. Подробнее о расчёте объёма — в статье о статистической значимости.

Шаг 5. Проанализируйте результат

ПоказательВариант АВариант Б
Показы20 00020 000
Переходы400420
Заявки2032
Конверсия в заявку5,0%7,6%
Расход40 000 ₽40 000 ₽
Цена заявки2 000 ₽1 250 ₽

Цифры условные. Разница выглядит значительной, но при таких объёмах нужно проверить, не случайна ли она, и сверить, дошли ли заявки до продаж. Победитель по заявкам не всегда победитель по продажам: вариант с обещанием «бесплатно» может привести много нецелевых обращений.

Что тестировать в первую очередь

  • Оффер: что именно вы предлагаете и на каких условиях.
  • Первый экран страницы: заголовок, подзаголовок, главное изображение.
  • Форма заявки: число полей, текст кнопки, способ связи.
  • Формат рекламы: видео, карусель, статичный баннер.
  • Аудитории: сегменты и исключения.

Ведите журнал тестов: гипотеза, даты, метрика, результат, решение. Через полгода он станет базой знаний о том, что работает у вас.

Ошибки A/B-тестов

  • Остановка по первым цифрам.
  • Изменение нескольких факторов сразу.
  • Разные условия показа у вариантов.
  • Выбор метрики после результата.
  • Слишком много сравнений: чем больше вариантов и метрик, тем выше шанс случайного «победителя».
  • Игнорирование качества лидов и продаж.

Если тест не показал различий, это тоже результат: вы узнали, что фактор не важен, и можете искать другие рычаги.

Пример журнала тестов

Журнал не требует сложных систем. Достаточно таблицы со столбцами: номер теста, дата начала и окончания, гипотеза, что менялось, основная метрика, результат по каждому варианту, вывод и решение. Пример записи (условный): «Тест 7. 3–17 июня. Гипотеза: цена первого визита в заголовке повысит конверсию в заявку. Вариант А без цены, Б с ценой. Результат: конверсия 4,2% против 5,1%, разница на границе значимости. Решение: продлить тест на неделю, затем выкатить на все кампании». Такой журнал помогает не повторять уже проверенные идеи и быстро вводить в курс нового сотрудника.

Как тестировать при пополнении бюджета через C4B

Эксперименты требуют стабильного бюджета: если на середине теста кабинет остался без денег и один вариант перестал показываться, результат испорчен. Заранее пополняйте кабинет с запасом на весь срок теста. На платформе C4B можно настроить автоматический ежемесячный счёт и уведомления в Telegram о балансе, чтобы эксперимент не прервался. Возврат начисляется при пополнении по ставке площадки, поэтому запас бюджета не лежит мёртвым грузом: вы можете потратить его на рекламу или вывести.

Вопросы и ответы

Сколько вариантов тестировать одновременно?

Для начала два. Больше вариантов требуют кратно больше данных и повышают риск ложных выводов.

Можно ли делать A/B-тест при небольшом бюджете?

Можно, если тестировать крупные изменения и дать тесту достаточно времени. Мелкие различия при малом бюджете не обнаружить.

Чем A/B-тест отличается от ротации объявлений?

Ротация показывает варианты поочерёдно, а площадка сама перераспределяет показы в пользу лучшего по её метрике. В A/B-тесте вы контролируете условия и критерий.

Как понять, что результат случаен?

Использовать проверку статистической значимости и достаточный объём данных. Об этом отдельная статья.