Клиенты для бизнеса
Аналитика

Статистическая значимость в рекламе простыми словами

Результат теста может быть случайным. Статистическая значимость помогает отличить реальный эффект от шума. Объясняем без сложных формул, как оценить достаточность данных и принять решение осторожно.

· 5 мин чтения

Что означает значимость

Допустим, вы подбросили монету десять раз и девять раз выпал орёл. Значит ли это, что монета нечестная? Возможно, но вероятность такого результата у честной монеты не нулевая. Со статистикой рекламы то же самое: в варианте Б заявок больше, но может быть, что вам просто повезло.

Статистическая значимость отвечает на вопрос: какова вероятность получить такую или большую разницу, если на самом деле вариантов нет разницы. Если вероятность мала (по общей практике меньше 5%), разницу считают значимой. Это не гарантия, а мера осторожности.

Почему малые выборки обманывают

Когда конверсий мало, один-два случайных случая сильно меняют процент. Например, в варианте А 3 заявки на 100 визитов (3%), в варианте Б 5 заявок на 100 визитов (5%). Кажется, Б лучше на две трети. На деле разница в две заявки легко объясняется случайностью. Чтобы выявить такую разницу надёжно, нужны тысячи визитов.

СитуацияРиск
Мало конверсий (единицы)Процент прыгает от случайности
Остановка теста по первым цифрамЛожная победа
Много вариантов и метрикШанс найти «выигрыш» случайно

Три понятия, которые нужно знать

  • Уровень значимости — допустимая вероятность ошибиться, принимая случайную разницу за реальную. Чаще всего берут 5%.
  • Мощность — способность теста заметить реальный эффект. Обычно берут около 80%.
  • Минимальный значимый эффект — наименьшая разница, которую вы хотите заметить. Чем она меньше, тем больше нужно данных.

Эти три величины вместе определяют размер выборки. Все онлайн-калькуляторы A/B-тестов принимают их на вход: вы указываете текущую конверсию, ожидаемое улучшение, уровень значимости и мощность, а на выходе получаете число визитов на вариант.

Практический порядок проверки

  1. До запуска теста определите текущую конверсию. Допустим, 4%.
  2. Определите, какое улучшение для вас стоящее. Допустим, рост до 5%, то есть на четверть.
  3. Введите числа в калькулятор размера выборки и получите нужное число визитов на каждый вариант. Для таких данных обычно это порядка нескольких тысяч на вариант, точное значение даст калькулятор.
  4. Оцените, за какой срок вы наберёте столько трафика при вашем бюджете.
  5. Если срок неприемлем, увеличьте ожидаемый эффект: тестируйте более смелое изменение.
  6. Дождитесь набора выборки и только затем проверяйте результат.

Как читать результат

Калькулятор итогов выдаёт значение вероятности (p-value) или доверительный интервал. Если p-value меньше 0,05, различие считается значимым. Но смотрите и на размер эффекта: значимая разница в 0,1 процентного пункта может не оправдать затрат на смену решения. Доверительный интервал показывает диапазон, в котором, скорее всего, лежит реальный эффект. Если интервал включает ноль или отрицательные значения, уверенного вывода нет.

«Незначимо» не значит «одинаково». Это значит «данных недостаточно, чтобы утверждать». Можно продолжить тест или принять решение, исходя из других соображений.

Пример принятия решения

Тест двух баннеров. Условные данные: вариант А — 2 000 визитов, 80 заявок (4,0%). Вариант Б — 2 000 визитов, 96 заявок (4,8%). Разница 0,8 п.п. Калькулятор покажет, что такая разница на этих объёмах не достигает значимости: данных мало. Решение: продолжить тест до набора нужной выборки или не менять баннер, если выигрыш не оправдывает хлопот. Если бы Б дал 120 заявок (6%), разница была бы значимой, и баннер можно внедрять. Цифры иллюстративные, расчёты делайте в калькуляторе под свои данные.

Когда статистика не нужна

Не всё нужно проверять тестами. Если вы отключаете объявление, которое за 30 000 ₽ не дало ни одной заявки при нормальной конверсии у остальных, статистический тест не потребуется: решение очевидно. Статистика нужна там, где различия невелики и решение дорого стоит. Для оперативного управления кампаниями используйте правила здравого смысла: порог расхода без результата и цены заявки.

Ошибка в бюджете обходится деньгами, поэтому полезно учитывать, что при пополнении через C4B вы получаете возврат по ставке площадки, и это снижает цену ошибки, но не отменяет необходимости считать корректно.

Частые ошибки

  • Смотреть результат каждый день и останавливать тест при первой «значимости».
  • Сравнивать проценты без учёта объёма.
  • Проверять десять метрик и радоваться той, что оказалась значимой.
  • Путать значимость с важностью.
  • Не фиксировать условия: во время теста менялись ставки или сайт.

Простое правило для малого бюджета

Если у вас до нескольких десятков заявок в месяц, строгие статистические тесты вам не помогут: данных не хватит. Используйте последовательные решения. Не принимайте вывод по отдельному дню. Сравнивайте результаты за несколько недель. Меняйте один фактор. Ориентируйтесь на крупные различия в цене результата, например в два раза, а не на разницу в 10%. И записывайте результаты, чтобы со временем накопилась собственная база наблюдений.

Что записать в протокол теста

Перед запуском теста зафиксируйте в одном документе: гипотезу, основную метрику, текущую конверсию, минимальный эффект, уровень значимости, необходимый объём выборки, даты начала и окончания. После завершения добавьте фактические значения, вывод и решение. Протокол дисциплинирует и защищает от соблазна менять правила по ходу. Заодно его легко показать руководителю, чтобы объяснить, почему тест нужно довести до конца, а не остановить на первом приятном результате.

Вопросы и ответы

Что такое p-value простыми словами?

Это вероятность увидеть такую же или большую разницу между вариантами, если на самом деле разницы нет. Чем она меньше, тем осторожнее можно считать разницу реальной.

Сколько конверсий достаточно для вывода?

Универсального числа нет. Нужный объём зависит от текущей конверсии и размера эффекта, который вы хотите заметить. Используйте калькулятор размера выборки.

Можно ли смотреть результаты во время теста?

Смотреть можно, останавливать по промежуточным результатам нельзя: это увеличивает шанс ложного вывода.

Что делать, если данные не набираются за разумный срок?

Тестируйте более заметные изменения, объединяйте похожие кампании или используйте предварительные метрики выше по воронке с осторожностью.