На странице курса по аналитике сократили форму: убрали необязательный вопрос о бюджете. Заявок стало 80 вместо 50. Вы предлагаете оставить новую форму, менеджер по продажам жалуется на качество заявок, а владелец спрашивает про оплаты: в прежней группе их десять, в новой восемь. Каждый защищает свою цифру, потому что до запуска никто не записал, по какой из них будут решать.
Курс тот же, что в уроке о сквозной аналитике: цена 25 000 ₸, вклад с продажи 15 000 ₸. Тест формы мы придумали для этого урока, его цифры условные. HADI (Hypothesis, Action, Data, Insights) заставляет связать вопрос, изменение, данные и решение ещё до запуска. Ту же расшифровку даёт руководство Сбера.
Заявки и оплаты в одних группах
| Показатель | Форма А | Форма Б |
|---|---|---|
| Посетителей | 500 | 500 |
| Заявок | 50 | 80 |
| Оплат | 10 | 8 |
По двум недостающим оплатам ещё рано объявлять Б вредной.
H: гипотеза объясняет, что мешает человеку
«Уберём поле» - это задача для разработчика. Гипотеза объясняет, почему это поможет покупателю. Для курса она может звучать так:
Люди не знают заранее, сколько готовы потратить на обучение, и бросают форму на вопросе о бюджете. Если убрать его из первой формы, больше посетителей дойдут до конца заявки, качество обращений не упадёт, а доля оплативших посетителей вырастет.
В этой записи есть причина, изменение и ожидаемый результат. Причину сначала поищите в обращениях и посмотрите, как люди заполняют форму. Если посетители жалуются на ошибку в поле телефона, а вопрос о бюджете спокойно пропускают, гипотезе не на что опереться, и объяснение придётся искать другое.
Изменение готово к тесту, когда понятно, для кого оно и что этот человек увидит. Здесь меняется одно поле первой формы. Цена курса, реклама, предложение и работа менеджера остаются прежними. Уберёте вместе с полем цену со страницы, и уже не скажете, какое из двух изменений дало результат.
A: план, по которому можно запустить тест
Новых посетителей, которые подходят под тест, одновременно и случайно делят между формами А и Б. Вариант закрепляют за посетителем: вернётся он через пару дней - увидит ту же форму. Сотрудников и тестовые отправки исключают по правилу, которое записали до запуска. Как посетитель связывается с заявкой и оплатой, проверьте на своих тестовых заказах, иначе в конце теста окажется, что оплаты не к чему привязать.
Главная метрика - доля назначенных посетителей, которые оплатили курс в течение 30 дней после входа в тест. Окно 30 дней мы выбрали для примера. На проекте его берут из данных: сколько времени у этого курса проходит от первого визита до оплаты. Качество заявки менеджер оценивает в обеих группах одинаково: подходят ли человеку программа, формат и цена курса.
Число заявок показывает, повлияло ли поле на заполнение. Квалифицированные заявки показывают, кого привело изменение. Жалобы, возвраты и время менеджера - защитные метрики: они ограничивают цену улучшения. Если заявок стало больше, но отдел продаж весь день обзванивает людей, которым курс не подходит, это тоже результат теста.
До запуска в карточку записывают размер групп, минимальный полезный эффект, метод анализа, дату окончания набора и дату чтения результата. Выборку для сравнения двух долей прикиньте в планировщике A/B-теста. По 500 посетителей в группе в примере ниже взяты для разбора таблицы, для вашего курса размер выборки считают заново.
D: одна база сравнения на весь тест
У каждого посетителя в таблице прошло полное 30-дневное окно. Повторные заявки одного человека объединены. Оплаты привязаны к варианту, который человек получил при входе в тест, а отмены и возвраты исключены по одному правилу для обеих групп.
| Показатель | Форма А | Форма Б |
|---|---|---|
| Назначенные посетители | 500 | 500 |
| Посетители с заявкой | 50 | 80 |
| Посетители с квалифицированной заявкой | 30 | 32 |
| Посетители с оплатой | 10 | 8 |
| Доля с заявкой | 10% | 16% |
| Доля с квалифицированной заявкой | 6% | 6,4% |
| Доля с оплатой | 2% | 1,6% |
| Выручка при цене 25 000 ₸ | 250 000 ₸ | 200 000 ₸ |
| Вклад при 15 000 ₸ с продажи | 150 000 ₸ | 120 000 ₸ |
Заявок стало на 30 больше, а квалифицированных - всего на две. Доля заявок выросла на 6 процентных пунктов, это плюс 60% к прежним 10%. Доля оплативших посетителей в этих данных упала на 0,4 пункта. Строки с деньгами пересчитывают те же оплаты, и расходы на рекламу и переделку формы в них не вычтены.
Менеджеру по продажам пригодится доля квалифицированных среди заявок: 30 / 50 = 60% у А и 32 / 80 = 40% у Б. Но в основном сравнении в знаменателе остаются все назначенные посетители. Форма уже повлияла на то, кто оставил заявку. Если делить только на заявителей, вы сравните две группы разного состава.
Перед расчётом эффекта аналитик сверяет назначение групп, дубли ID, связь с оплатами и то, сколько дней каждый участник пробыл в тесте. Если часть оплат группы Б потерялась по дороге из CRM, сначала восстанавливают данные. Статистика поверх пропусков измерит разницу между отчётами, а не разницу между формами.
I: вывод должен отвечать на исходный вопрос
По этой таблице можно записать: «Б дала больше заявок при почти том же числе квалифицированных. Наблюдаемая доля оплат 1,6% против 2% у А. Эффект на оплаты оцениваем методом, выбранным до запуска, с учётом неопределённости». Разница в две оплаты слишком мала, чтобы назначать победителя. Так же осторожно читают разницу в одного-двух клиентов в разборе креативов.
Назвать Б вредной из-за двух недостающих оплат тоже рано. Если тест закончился по плану, а диапазон оценки захватывает и рост, и снижение, результат записывают как неопределённый. Тогда можно оставить прежнюю форму и внимательнее посмотреть на новые обращения. Для нового теста пишут новый план. Добавлять посетителей в старый, пока результат не станет удобным, нельзя: если подглядывать и останавливаться в удачный момент, «победитель» рано или поздно найдётся даже там, где разницы нет.
В журнале теста остаются исходная гипотеза, обе формы, аудитория, даты, метрики, итоговая таблица, проблемы с данными и решение владельца. Оставить прежнюю форму - нормальное решение: команда не наращивает поток слабых заявок, не видя от этого выгоды. В следующем цикле проверяют уже новое объяснение.
Один цикл не обязан помещаться в неделю
Длину цикла задают окно результата и поток людей, календарь спринтов здесь ни при чём. Оплату курса ждут 30 дней, а тест напоминания со вторым заказом за 60 дней растянется на много месяцев: расчёт есть в тесте удержания. Пообещаете клиенту «каждую неделю по подтверждённой гипотезе» - покупателей от этого больше не станет, зато появится соблазн закрывать тесты раньше срока.
Задание: заполните цикл до запуска
Возьмите изменение формы, сообщения или шага в продукте. Запишите, что мешает человеку, для кого изменение, какой один элемент вы меняете, главную метрику с окном и защитные метрики. Добавьте размер групп, правило назначения, даты окончания набора и чтения результата, владельца решения. И рядом - что команда сделает, если результат окажется полезным, вредным или неопределённым.
Потом разберите сообщение из рабочего чата курса: «Через две недели после старта у формы Б 40 заявок, у формы А 25. Оставляем Б всем». Какое решение сейчас допускает записанный план?
Главная метрика - оплата в течение 30 дней после входа в тест, а через 14 дней это окно не закрылось ни у одного участника. Заявки говорят только о заполнении формы, и в итоговой таблице больше заявок не дали больше оплат. По плану команда продолжает набор, следит за назначением групп, дублями и временем менеджера и читает результат в записанную дату. Если сработает защитный порог, например по жалобам, тест останавливают по этому правилу, и победителя при этом не объявляют.
Видео: практика HADI
Видео канала «Маркетинг WHOяркетинг». Пока смотрите, сверяйте видео со своей карточкой: записано ли в ней решение, ради которого команда собирает данные.