Перейти к содержимому
Назад в Академию

Продуктовые метрики и ага-момент: какое событие считать пользой

03.10Продукт и позиционирование
Содержание статьи

Сервис онлайн-записи для салонов красоты в Алматы берёт с салона 12 000 ₸ в месяц, но первые две недели салон пользуется им бесплатно, и всё это время команда гадает, заплатит ли он. Основатель хочет знать раньше: в какой момент салон понимает, что сервис ему нужен, и можно ли увидеть этот момент в данных, пока не кончился пробный период? Цифры в уроке условные, сентябрьские взяты из разбора product-led growth.

Признаки пользы для салона

Сервис онлайн-записи

Событие

Первая онлайн-запись за пробный период

booking_created: source = online

Слова владелиц
Утром увидели запись, которую клиентка сделала сама поздно вечером

Повторная польза

  1. На неделе 5 записи получают 40 из 60 салонов с ага-моментом

Событие сопоставляют со словами клиентов и повторным использованием.

Первая онлайн-запись, рассказ владелиц и повторные записи на неделе 5 у сервиса для салонов.

Метрики продукта от регистрации до North Star

Ага-момент (aha moment) наступает, когда человек видит пользу продукта на своих данных. Для салона это утро, когда администратор открывает календарь и находит запись, которую клиентка сделала сама в 23:40. В данных такого утра нет. Есть событие, которое, как вы считаете, его сопровождает, и рядом другие метрики продукта, у каждой свой вопрос:

МетрикаКак считает сервис записиНа какой вопрос отвечает
Регистрацииsalon_signed_up за месяцСколько салонов привели реклама и рекомендации
АктивацияВключил онлайн-запись в первые 7 днейДошёл ли салон до шага, после которого сервис может помочь
Ага-моментПолучил первую онлайн-запись за пробный периодУвидел ли салон пользу на своих клиентках
Время до пользыМедиана дней до первой онлайн-записи и сколько салонов до неё дошлоУспевает ли салон за две бесплатные недели
ОплатаОплатил подписку после пробного периодаПревратилась ли польза в деньги
УдержаниеПолучает ли онлайн-записи каждую неделю, платит ли каждый месяцПовторяется ли польза
Главная метрика (North Star)Онлайн-записи за неделю во всех салонахРастёт ли польза, которую сервис приносит всем салонам вместе

Удержание сервис считает двумя способами: по неделям, по онлайн-записям, и по месяцам, по оплатам. А главная метрика складывает пользу всех салонов в одно число за неделю, как предлагает подход Amplitude к North Star.

Ага-момент стоит посередине. Метрики до него описывают, что салон сделал сам, метрики после - получает ли он то, ради чего пришёл, и платит ли за это. Если ага-момент выбран неверно, ошибка расползается по цепочке: время до пользы меряет не то, а онбординг подталкивает салоны не к тому шагу. Поэтому его выбирают по данным.

Какое событие отделяет тех, кто заплатит

Из 200 салонов, зарегистрированных в сентябре, после пробного периода заплатили 50. Кандидатов в ага-момент несколько, и для каждого считают две доли. Первая - сколько дошедших до события потом заплатили: чем она выше, тем лучше событие отделяет будущих клиентов. Вторая - какую часть всех оплативших событие охватывает. Если до него дошла только половина платящих, оно описывает путь одной группы.

КандидатДошлиИз них оплатилиДоля оплатившихОхват 50 оплативших
Добавил услуги1305038%100%
Включил онлайн-запись в первые 7 дней804657,5%92%
Получил первую онлайн-запись за пробный период604677%92%
Получил три онлайн-записи и больше за пробный период383489%68%

Услуги добавили все, кто потом заплатил, но из добавивших заплатили только 38%. Шаг обязательный, без услуг клиентке не на что записаться. Пользы он пока не приносит, это подготовка.

Включённая онлайн-запись (это и есть активация) и первая онлайн-запись охватывают одних и тех же 46 оплативших. Но среди включивших запись заплатили 57,5%, а среди получивших первую запись - 77%. Из остальных 140 салонов заплатили четверо. Первая запись отделяет точнее и ничего не теряет в охвате.

Порог в три записи соблазнителен: 89% дошедших до него заплатили. Зато он охватывает лишь 34 оплативших из 50. Из 22 салонов, у которых за две недели была одна или две онлайн-записи, заплатили 12, больше половины. Три записи за пробный период зависят ещё и от того, сколько у салона клиенток, и маленький салон может их не набрать, даже если сервис ему нужен. С таким порогом команда записала бы в неудачники салоны, которые платят.

Сервис выбирает первую онлайн-запись за пробный период. Пороги из чужих историй сюда не переносят: число и окно считают на своих данных, потому что они зависят от того, как часто в продукте вообще случается польза.

Что говорят сами владелицы

Таблица показывает, что делали салоны, но не что они при этом думали. Аналитик позвонил десяти владелицам из 50 оплативших и спросил, когда они решили, что будут платить. Спрашивал о том, что было, а не о мнениях: «Вспомните день, когда вы поняли, что сервис нужен. Что тогда произошло?» Так задают вопросы на интервью CustDev.

Семь владелиц вспомнили утро, когда увидели в календаре запись, которую клиентка сделала сама поздно вечером. Две рассказали, что администратору больше не нужно отвечать в директ после закрытия. Одна решила платить ещё до регистрации, по совету знакомой из другого салона.

Из десяти разговоров долю не посчитаешь. Они нужны для другого: совпадает ли событие с тем, что люди описывают своими словами. Здесь совпадает. Если бы владелицы рассказывали про красивый календарь или отчёт по мастерам, событие с хорошими цифрами всё равно оставалось бы под вопросом.

Повторная польза

Повторную пользу видно на удержании: на неделе 5 после регистрации онлайн-записи получают 40 из 60 салонов с ага-моментом и один из 140 остальных. Кривые удержания для этих двух групп строят каждую от своего числа салонов.

Вызывает ли первая запись оплату, проверяют тестом на новых салонах, как в разборе PLG.

Определение, которое у всех считается одинаково

Выбранное событие записывают так, чтобы через полгода любой в команде получил ту же цифру:

Часть определенияКак у сервиса записи
ЕдиницаСалон, а не сотрудник: запись приходит от клиентки, и в воронке по людям её не увидеть
Событиеbooking_created с source = online
Окно14 дней пробного периода от salon_signed_up
ПовторыСалон засчитывается один раз, по первой онлайн-записи
ИсключенияТестовые и демонстрационные салоны команды
Когда считатьКогда пробный период закончился у последнего салона месяца

С единицей легко промахнуться. Amplitude и Mixpanel по умолчанию считают людей, и в обычной воронке все шаги должен пройти один человек. Салон, где регистрировалась владелица, а запись пришла от клиентки, из такой воронки выпадет. Счёт по салонам в Amplitude и Mixpanel - платное дополнение, поэтому без него долю считают по базе сервиса.

Последняя строка защищает от спешки. Если посчитать долю 1 октября, салоны, зарегистрированные в конце сентября, окажутся среди тех, кто до пользы не дошёл, хотя пробный период у них ещё идёт. А если определение меняют, дату изменения отмечают на графике, иначе через три месяца кто-нибудь примет скачок за рост.

Упражнение: ага-момент своего продукта

Нужен продукт с регистрацией и пробным периодом или бесплатным тарифом: сервис клиента, приложение, с которым вы работаете, или сервис записи из урока.

Выполнено 0 из 6

Теперь ситуация. Продакт-менеджер предлагает включать онлайн-запись автоматически, сразу при регистрации: «Активация станет 100%, и вопрос закрыт». Что вы ответите?

Активация станет 100% в день релиза и тут же потеряет смысл: она перестанет отличать салоны, которые сами дошли до рабочей записи, от остальных. Изменится способ счёта, а не поведение, и дату на графике придётся отметить. Смотреть нужно на первую онлайн-запись. Салон, у которого запись включена, а расписание мастеров не заполнено, покажет клиенткам пустой календарь или неверное время, и первая встреча клиентки с сервисом может кончиться жалобой. А может, часть салонов получит первую запись раньше, потому что им не придётся искать нужную кнопку. Какой эффект перевесит, заранее не знает никто. Ответ продакт-менеджеру может быть таким: «Проверим тестом на новых салонах. Основная метрика - доля получивших первую онлайн-запись за пробный период, сейчас это 60 из 200, рядом оплаты и обращения в поддержку. Долю включивших запись в этом тесте не сравниваем: в группе с автовключением она 100% заранее».

Видео: AHA-момент

3.15. Aha-Moment - Site.pro (на английском)

Истории ага-моментов известных сервисов и то, как они связаны с активацией.

Нужна помощь с аналитикой вашего проекта?