Get in touch
Back to archive
10.08Веб-аналитика и GTM

A/B тестирование: как проверять гипотезы без самообмана

intermediate4 min readexperimentation · ab-testing · cro

TL;DR

  • A/B тест - это рандомизированный эксперимент: часть пользователей видит вариант A, часть - вариант B, затем сравнивается влияние на заранее выбранную метрику.
  • Тест начинается не с "поменяем кнопку", а с гипотезы: что меняем, почему это должно сработать, на какую метрику влияет.
  • Маленькая выборка почти всегда врет. Если у вас мало трафика, тестируйте крупные изменения или используйте качественные исследования.
  • Нельзя останавливать тест в момент, когда график "понравился". Сначала sample size, потом решение.
  • В GA4 тесты обычно запускаются во внешнем experiment tool, а GA4 используется для анализа событий и результатов.

1. Что это такое

A/B тестирование сравнивает два или больше вариантов одной страницы, формы, рекламы, цены, onboarding-экрана или механики. Пользователи случайно распределяются между вариантами, чтобы команда могла понять, какой вариант лучше достигает цели.

Пример нормальной гипотезы:

Если на странице кредита показать ежемесячный платеж вместо полной суммы займа, конверсия в отправку формы вырастет, потому что пользователю легче оценить доступность продукта.

Плохая гипотеза:

Давайте сделаем кнопку красной, вдруг будет лучше.

Разница в том, что первая формулировка объясняет механизм. После теста команда узнает что-то о поведении клиента. Вторая просто бросает монету.

2. Что тестировать

Хороший тест меняет то, что реально может повлиять на поведение.

ЗонаЧто можно тестироватьКогда имеет смысл
Офферцена, рассрочка, гарантия, бонусЕсли есть трафик, но слабая заявка/оплата
Первый экранheadline, proof, CTA, порядок блоковЕсли много отказов в начале страницы
Формаколичество полей, порядок, подсказкиЕсли пользователи начинают форму и бросают
Checkoutспособы оплаты, доставка, trust blocksЕсли корзина есть, но оплаты нет
Рекламакреатив, hook, audience promiseЕсли клики дорогие или низкий CTR
App onboardingпервый шаг, permission prompt, paywallЕсли install не превращается в активного пользователя

Цвет кнопки можно тестировать, но обычно это слабая гипотеза. Если трафика мало, проверяйте крупные различия: новый оффер, другая структура страницы, другой способ показать цену, короткая форма против длинной.

3. Метрики: primary и guardrails

Перед запуском теста нужно выбрать:

  • primary metric - по ней принимается решение;
  • secondary metrics - помогают понять поведение;
  • guardrail metrics - защищают от вреда.

Пример для кредитной формы:

ТипМетрика
Primarygenerate_lead_rate
Secondaryform_start_rate, field_error_rate, scroll depth
Guardrailapproval rate, duplicate rate, call center load

Если вариант B увеличил заявки на 20%, но approval rate упал в два раза, это не победа. Он привел больше мусора в CRM.

4. Выборка и длительность

Самая частая ошибка: остановить тест слишком рано.

На вариант A пришло 100 человек, 5 оставили заявку. На вариант B пришло 100 человек, 8 оставили заявку. На экране это выглядит как +60%. Но такая разница легко может быть случайностью.

До запуска нужно оценить:

  • текущую конверсию;
  • минимальный эффект, ради которого стоит менять продукт;
  • нужную мощность теста;
  • длительность с учетом недельных циклов;
  • сезонность, акции, праздники, payday, внешние кампании.

Для большинства маркетинговых тестов вредно смотреть результат каждые два часа и принимать решение по текущему лидеру. Это не data-driven подход, а азартная игра с интерфейсом аналитики.

5. Как GA4 участвует в A/B тестах

GA4 сам не является полноценной платформой запуска экспериментов. Обычно тест запускается во внешнем инструменте: VWO, Optimizely, AB Tasty, GrowthBook, feature flags, собственный experiment service. GA4 принимает события и параметры эксперимента.

Минимальная схема:

gtag("event", "experiment_view", {
experiment_id: "credit_form_2026_05",
variant_id: "b_monthly_payment"
});
gtag("event", "generate_lead", {
experiment_id: "credit_form_2026_05",
variant_id: "b_monthly_payment",
lead_id: "lead_01HY8C2V"
});

Так в GA4/BigQuery можно сравнить варианты не только по клику, но и по заявке, качеству лида и downstream-статусам из CRM.

6. Частые ошибки

Тестируют несколько изменений и называют это A/B

Если в варианте B поменяли заголовок, форму, цену и изображение, вы не узнаете, что сработало. Иногда такой radical redesign test нужен, но называйте его честно: тест концепции, а не тест кнопки.

Смотрят только конверсию в форме

Форма может стать короче и дать больше заявок, но продажи упадут, потому что менеджеры получают неквалифицированных людей. Для lead-gen обязательно смотрите качество.

Запускают тест на слабом трафике

Если на сайте 20 заявок в месяц, классический A/B тест может длиться вечность. В таком случае лучше делать UX-интервью, анализ записей сессий, экспертный CRO-аудит, последовательные изменения или тестировать только радикальные гипотезы.

Ломают каналы трафика

Если вариант A получает брендовый поиск, а B получает холодный TikTok, тест невалиден. Рандомизация должна быть честной.

7. QA чеклист эксперимента

  • Гипотеза записана до запуска.
  • Primary metric выбрана до запуска.
  • Guardrail metrics выбраны до запуска.
  • Размер выборки и длительность оценены заранее.
  • Пользователь стабильно попадает в один вариант.
  • Events содержат experiment_id и variant_id.
  • Варианты проверены на mobile/desktop.
  • CRM downstream-качество доступно, если тест влияет на лиды.
  • Решение принимается после завершения условия теста, а не "по ощущению".

Видео к теме

What is A/B Testing? Marketing and Advertising A/B Tests Explained

Короткий маркетинговый разбор базовой логики A/B тестов: варианты, один изменяемый элемент, достаточный объем данных и постоянная итерация.

Главный совет

Не используйте A/B тесты как способ узаконить мнение директора. Хороший эксперимент начинается с честной гипотезы и заранее выбранной метрики. Если команда решила "победителя" до запуска, тест уже проигран.

Sources / Notes