Онлайн-школа в Алматы продаёт курс по аналитике за 25 000 ₸. Вся реклама ведёт на одну страницу с формой записи, а в WhatsApp школы каждую неделю приходят одни и те же вопросы: входит ли в цену проверка домашних заданий, остаются ли записи уроков. На планёрке у каждого своя идея. Дизайнер хочет перекрасить кнопку, копирайтер - новый заголовок, менеджер просит убрать из формы лишние поля. На всё сразу нет ни времени, ни разработчика, и кто-то должен решить, с чего начать.
Этим и занимается CRO (conversion rate optimization, оптимизация конверсии): ищет, почему подходящие люди уходят, не оставив заявку, и меняет страницу так, чтобы заявку оставляли. В уроке вы запишете идеи школы как гипотезы, которые можно проверить, расставите их по ICE и разберёте, что делать с первой, когда трафика на A/B-тест не хватает. Цифры школы условные.
Сначала почините то, что сломано
Не всё на странице - гипотеза. Если форма не отправляется с iPhone, кнопка уезжает за край экрана или на сайте курс стоит 25 000 ₸, а в рекламе 20 000 ₸, это ошибки. Их исправляют сразу, без оценок и тестов: сравнивать с версией, где форма не работает, нечего.
Найти такие ошибки проще всего самому. Откройте страницу с телефона по ссылке из рекламы, отправьте форму с ошибкой в номере, потом правильно и дождитесь сообщения менеджера. Всё, что сломалось по дороге, идёт в список исправлений, а не гипотез.
Где искать гипотезы
Гипотеза начинается с наблюдения: люди делают на странице что-то не так, как вы ждали. У школы три источника наблюдений, у вас будут те же.
- Вопросы в WhatsApp и по телефону. Если человек спрашивает менеджера о том, что должно быть на странице, страница на этот вопрос не ответила. За две недели школа насчитала 30 вопросов от тех, кто ещё не записался, и 12 из них были про то, что входит в курс.
- События в GA4. Улучшенная статистика отправляет
form_start, когда человек в первый раз за сеанс взаимодействует с формой. Положите его рядом сgenerate_leadиз настройки GA4, и станет видно, сколько раз форму начинали и не отправляли. У школы за неделюform_startсработал 320 раз, аgenerate_lead- 69. - Записи сессий. Microsoft Clarity бесплатно записывает, как посетители ведут себя на странице, и строит тепловые карты. Десяток записей тех, кто начал форму и бросил, покажет, на каком поле они остановились.
Наблюдение ещё не называет причину. За разницей в 251 форму, которую начали и не отправили, может стоять поле «Должность», звонок посреди заполнения или человек, который открыл форму посмотреть, о чём там спрашивают. Гипотеза выбирает одно объяснение, и его ещё нужно проверить.
Как записать гипотезу, которую можно проверить
«Сделать форму удобнее» - это пожелание: непонятно, что менять и как потом понять, что получилось. Гипотезу записывают одной фразой из четырёх частей:
Если мы изменим [что именно], то [метрика] сдвинется [куда], потому что [что мы видели]. Проверим по [данным] за [срок].
Для вопросов о составе курса это звучит так:
Если рядом с кнопкой записи показать, что входит в 25 000 ₸ (проверка домашних заданий, записи уроков, чат с куратором), то доля посетителей с заявкой вырастет, а вопросов о составе курса в WhatsApp станет меньше, потому что 12 из 30 вопросов за две недели были об этом. Проверим по заявкам в CRM и по вопросам в WhatsApp за четыре недели после изменения.
У каждой части своя задача. «Что меняем» можно отдать разработчику без пояснений. Метрика и направление названы до запуска, и по ним заранее ясно, при каком результате признать, что не сработало. «Потому что» ссылается на то, что вы видели. Если заполнить его нечем, кроме «нам кажется», это тоже ответ: у такой гипотезы будет низкая уверенность в ICE.
ICE: три оценки и что значит итог
ICE помогает выбрать, с чего начать, когда идей больше, чем рук. В описании GrowthHackers каждую идею оценивают по трём шкалам от 1 до 10, и везде больше значит лучше.
- Impact (влияние). Насколько вырастет целевая метрика, если гипотеза верна. Учитывайте, скольких посетителей касается изменение: блок рядом с кнопкой увидит каждый, кто дошёл до формы, а правку в подвале страницы - мало кто.
- Confidence (уверенность). Насколько вы уверены, что гипотеза верна. 7-10, если наблюдение подтверждают два источника, например вопросы в WhatsApp и записи сессий. 4-6, если источник один. 1-3, если это мнение.
- Ease (простота). Сколько стоит сделать изменение. 10 - час работы в конструкторе сайта, 5 - несколько дней разработчика, 1 - недели работы или съёмка.
Итог - среднее трёх оценок: ICE = (Impact + Confidence + Ease) / 3. Тот же расчёт используется при приоритизации по ICE и RICE, а в RICE к оценкам добавляется охват.
Пять гипотез школы после оценки:
| Гипотеза | Impact | Confidence | Ease | ICE |
|---|---|---|---|---|
| Блок «Что входит в 25 000 ₸» рядом с кнопкой | 7 | 8 | 9 | 8,0 |
| Убрать из формы поля «Компания» и «Должность» | 7 | 6 | 8 | 7,0 |
| Новый заголовок по формуле первого экрана | 6 | 4 | 9 | 6,3 |
| Перекрасить кнопку из зелёной в оранжевую | 2 | 2 | 10 | 4,7 |
| Видео с фрагментом урока на первом экране | 5 | 3 | 3 | 3,7 |
У блока о составе курса уверенность 8, потому что за ним два источника: вопросы в WhatsApp и записи Clarity, где люди перед формой возвращаются наверх, к описанию программы. У формы 6: GA4 показывает, что её бросают, но не показывает почему. Заголовок опирается на рассуждение, а не на данные этой страницы. За цвет кнопки и за видео пока говорит только вкус.
Теперь об итоге. 8,0 у блока о составе курса - не прогноз «плюс 8%» и не вероятность успеха 80%. Это место в очереди: из пяти идей эту стоит сделать первой. Сравнивать баллы можно только внутри одного списка, который оценивали одни и те же люди по одной шкале. И смотрите на сами оценки, а не только на итог. Кнопка обогнала видео за счёт одной простоты: Impact 2 и Confidence 2 говорят, что ждать от неё нечего, просто это дёшево.
Оценки меняются вместе с данными. Если записи сессий покажут, что форму бросают на поле «Должность», уверенность во второй гипотезе вырастет до 8, и с итогом 7,7 она почти догонит первую.
A/B-тест или внедрение с наблюдением
Строже всего гипотезу проверяет A/B-тест: посетителей случайно делят между старой и новой версией страницы и сравнивают результат статистически. Случайность нужна, чтобы группы различались только страницей, а не днём недели, рекламой или аудиторией.
Но тесту нужны люди. У школы около 2 500 посетителей и 69 заявок в неделю (40 из Instagram и Facebook, 20 из Google, 9 из Telegram, как в разметке UTM), то есть 34-35 заявок на каждую версию. Небольшую разницу между версиями на таких числах придётся ждать месяцами. У вашей страницы из трека «Старт» трафика ещё меньше: в примере теста недели 2 было 171 клик и 11 заявок. Разделите их пополам, и одна заявка в любую сторону перевернёт вывод.
При таком трафике ни одну гипотезу из списка A/B-тестом за разумный срок не проверить. Их внедряют и наблюдают. Когда трафика хватит на настоящий A/B-тест, выборку для него считают заранее.
Как внедрить первую гипотезу и наблюдать
Первой школа делает блок «Что входит». Внедрить без теста не значит сделать и забыть. Порядок такой:
- Запишите в журнал гипотез дату, что поменяли и что ждёте увидеть. Без даты через месяц никто не вспомнит, с какого дня на странице появился блок.
- В ту же неделю не меняйте на странице ничего другого, а если получится, то и в рекламе. Иначе не поймёте, какое из двух изменений сдвинуло цифры.
- Следите за тем, что предсказывала гипотеза: за долей посетителей с заявкой и за числом вопросов о составе курса в WhatsApp. Вопросы особенно удобны: их видно без всякого теста, и если их не стало меньше, блок на них, скорее всего, не отвечает, что бы ни происходило с заявками.
- Смотрите на качество заявок: сколько из них дошло до оплаты по CRM. Если заявок стало больше, а оплат столько же, новые заявки до оплаты не доходят, и надо понять, что их останавливает.
- Через четыре недели сравните с четырьмя неделями до изменения и запишите вывод в журнал.
Вывод из такого сравнения скромнее, чем из теста. Недели до и после отличаются не только страницей: могла смениться реклама, начаться набор на новый поток, закончиться каникулы. Поэтому в отчёт пишут, что видели, а не чем это вызвано. Например: «За четыре недели после появления блока доля заявок 3,1% против 2,8% за четыре недели до него. Реклама и цена не менялись. Вопросов о составе курса за последние две недели 3, до изменения было 12». Фраза «блок поднял конверсию» сюда не годится: причину покажет только тест.
Если доля заявок упала и держится ниже две-три недели, а вопросов меньше не стало, верните старую версию и запишите это в журнал. Следующая гипотеза начнётся с этой записи.
Задание: пять гипотез для своей посадочной
Возьмите посадочную, на которую вела ваша кампания недели 2 трека «Старт».
Задание готово, когда у пяти гипотез есть оценки ICE, а первая внедрена.
Теперь посмотрите на столбец Confidence. Если у гипотезы там 7 и выше, а в «потому что» нет ни одного наблюдения из вашего списка, оценка завышена: уверенность берут из данных, а не из того, насколько нравится идея. Если в «потому что» стоит «так сделано у конкурентов», это повод для гипотезы, но уверенность у неё низкая: вы не знаете, работает ли это у них. А если первой в таблице оказалась самая простая правка с Impact 2, начните со следующей строки, где влияние и уверенность выше, а простую правку сделайте после того, как закончится наблюдение за первой, и запишите её дату в журнал.
Через четыре недели вернитесь к журналу и сравните цифры до и после. Гипотеза, оценка, что сделали и что увидели - это уже материал для кейса в портфолио.