Retention в продукте: кривые удержания, незрелые когорты и ага-момент

Понедельник, 16 ноября, сервис онлайн-записи для салонов красоты в Алматы: 12 000 ₸ в месяц после двух бесплатных недель. В еженедельном дашборде появилась новая строка - удержание новых салонов на неделе 3 после регистрации. У сентябрьских салонов 21,5%, у октябрьских 13%. В октябре маркетолог удвоил бюджет Instagram и получил 320 новых салонов вместо 200, а в декабре хочет удвоить ещё раз. Основатель пишет в чат: «Instagram привёл салоны, которые не остаются. Никаких удвоений, пока не разберёмся». Цифры в уроке условные.

Что считать возвратом

Удержание (retention) отвечает на вопрос, повторяется ли польза. Поэтому возвратом считают событие пользы, а не любое действие. У сервиса записи это онлайн-запись, которую клиентка сделала сама: booking_created с source = online из плана событий. Первая такая запись - ага-момент салона, а удержание показывает, случается ли он снова.

Вход в кабинет на эту роль не годится. Администратор открывает календарь каждое утро, даже если все клиентки по-прежнему пишут в WhatsApp и она вносит их руками. По входам видно, что сервисом пользуются как блокнотом, но не видно, экономит ли он время.

Период берут по тому, как часто случается польза: по дням кривая маленьких салонов будет скакать, по месяцам совпадёт с оплатой и запоздает. Сервис считает по неделям: салон удержан на неделе N, если за дни с 7N по 7N + 6 после регистрации получил хотя бы одну онлайн-запись. Помесячное удержание по оплатам остаётся для другого вопроса: нашёл ли продукт свой рынок.

Форму кривой меняет и правило продукта: после двух бесплатных недель онлайн-запись работает только у салонов, которые заплатили. С недели 2 кривая показывает тех, кто заплатил и продолжает получать записи.

Неделя N: ровно в эту неделю или в эту и позже

Удержание на неделе N считают двумя способами, и в инструменте легко взять не тот, что нужен сервису. В Amplitude Return On считает тех, кто вернулся ровно в этот период, а Return On or After - в этот или в любой следующий (расчёт удержания в Amplitude). В Mixpanel те же варианты называются On и On or After (удержание в Mixpanel). Mixpanel по умолчанию считает On or After, а справка Amplitude описывает график Return On or After с любым событием возврата.

Возьмём салон, которому записи пришли на неделе 0 и на неделе 2, а на неделе 1 мастер был в отпуске. При счёте «ровно в неделю» он попадёт в недели 0 и 2, при счёте «в эту неделю или позже» - во все три. Вторая кривая отвечает, остался ли салон вообще, первая - получает ли он пользу каждую неделю, и сервису нужна она.

Удержание - не воронка: в неделю 2 попадают и те, кого не было в неделе 1.

Режим дней тоже записывают: в Amplitude это 24-часовые окна от начального события или календарные даты, в Mixpanel скользящий или календарный режим, и дашборд с инструментом сверяют только при одинаковом режиме.

Кривая сентябрьской когорты

Вот 200 салонов, зарегистрированных в сентябре. К 16 ноября неделя 5 прошла у всех.

На неделе 1 кривая растёт: часть салонов включает запись не сразу, и первые онлайн-записи приходят к ним на второй неделе. На неделе 2 она падает до 44: пробный период закончился, и запись осталась только у 50 оплативших. Дальше кривая почти ровная, минус салон в неделю. Выйдет ли она на полку, решают по помесячному удержанию платящих, а недельная кривая ценна тем, что готова раньше.

Незрелая когорта: недели, которые ещё не наступили

Теперь октябрь. Запрос в дашборде делит число салонов, получивших онлайн-запись на неделе 3, на всех 320 октябрьских. Но неделя 3 - это дни с 21-го по 27-й после регистрации, и к воскресенью 15 ноября она закончилась только у салонов, зарегистрированных с 1 по 19 октября. Таких 190. У остальных 130 неделя 3 ещё идёт или не началась. Идёт она у салонов, зарегистрированных с 20 по 25 октября, их около 60. Четверо из них уже получили запись, остальных запрос записал в неудержанные.

В Amplitude и Mixpanel незрелые ячейки помечены звёздочкой, а Amplitude ещё и убирает из знаменателя тех, кто до периода не дожил. Самописный запрос этого не делает, поэтому в знаменатель берут только салоны, у которых неделя N полностью прошла, а рядом с долей пишут, из скольких она посчитана: «38 из 190». В когортной таблице то же правило звучит короче: «ещё нет» - не ноль.

Регистраций вдвое больше: что смотреть первым

Исправленный запрос снимает панику, но не вопрос о бюджете. Когда регистраций вдвое больше, а новые салоны не возвращаются, сначала раскладывают по когортам первые действия и удержание и смотрят, доходят ли салоны до пользы. Пока это неизвестно, ещё одно удвоение рекламы приведёт вдвое больше салонов в тот же сценарий, а отчёт о регистрациях вместо удержания проблему только спрячет.

Первые действия октябрьских салонов уже разложены по каналам: ни в одном канале доля включивших онлайн-запись в первую неделю не упала. А 20% против 21,5% в сентябре - это три салона из 190, и от случайности такую разницу не отличить.

Ответ основателю: «У салонов, прошедших неделю 3, удержание 20%, в сентябре было 21,5%. 13% в дашборде дали 130 салонов, у которых неделя 3 ещё не закончилась, запрос исправлен. По каналам неделю 3 ещё не разложили, а что салоны из Instagram платят почти вдвое реже, чем из поиска, видно с сентября. Про декабрь решим по цене оплатившего салона за октябрь».

Ага-момент и удержание: у каждой кривой свой знаменатель

Ага-момент - первая онлайн-запись за пробный период, в сентябрьской когорте она была у 60 салонов из 200. Удержание групп сравнивают с недели 2, когда пробный период закончился: иначе салон с первой записью на неделе 1 окажется удержанным по определению, и кривая сравнит событие само с собой.

Каждую строку делят на свою группу. Если 40 салонов ага-группы поделить на всю когорту из 200, выйдет 20%, не лучше общей кривой: так бывает, когда удержанных отфильтровали по группе, а знаменатель оставили общим.

Разрыв огромный, но большую его часть объясняет сама оплата: из 140 салонов без ага-момента заплатили четверо, и у остальных онлайн-запись после пробного периода выключилась. Кривые говорят, что салоны, увидевшие пользу за пробный период, продолжают её получать: две трети ага-группы получают записи и на неделе 5. Поможет ли подтолкнуть остальных, покажет только тест на новых салонах.

Платит, а записей нет

Недельное удержание опережает оплату. Из 50 сентябрьских салонов, оплативших первый месяц, на неделе 5 онлайн-записи получил 41, а 9 ни одной. Неделя 5 кончается на 41-й день после регистрации, второй платёж приходит около 44-го:

Салон, который платит, но не получает записей, - отложенный уход: из девяти таких второй месяц оплатили трое. Почему они перестали получать записи, из таблицы не понять, но для списка, кому звонить, причина не нужна. Каждый понедельник поддержка получает список салонов, которые платят и за прошедшую неделю не получили ни одной онлайн-записи, и звонит им до следующего платежа. А помогли ли звонки, покажет сравнение с частью списка, которой не звонили.

Упражнение: кривая удержания своего продукта

Возьмите продукт с повторным использованием: сервис клиента, приложение, с которым вы работаете, или сервис записи из урока.

Выполнено 0 из 5

• Назовите событие пользы и период, в котором она должна повторяться.
• Постройте удержание «ровно в период» для двух соседних когорт, с числом и долей в каждой ячейке.
• Уберите из знаменателя тех, у кого период ещё не закончился, и отметьте такие ячейки.
• Разделите когорту по раннему действию, окно которого закрылось до первого периода, где вы меряете удержание.
• Составьте список тех, кто платит, но за последний период не получил пользы.

Теперь ситуация. Маркетолог присылает график из Amplitude: удержание октябрьских салонов на неделе 3 - 46%. В вашем дашборде 20%. Кто ошибся?

Скорее всего, никто: графики отвечают на разные вопросы, и ответ ищут в настройках графика. Справка Amplitude описывает график удержания с любым событием возврата и методом Return On or After: вход администратора в кабинет засчитается наравне с онлайн-записью, а салон с записью на неделе 5 попадёт и в неделю 3. И считает Amplitude людей, а не салоны. Чтобы графики можно было сравнить, поставьте возвратом booking_created с source = online, метод Return On и тот же режим дней, что в дашборде, а оставшуюся разницу сверьте по списку салонов в когорте.

Видео: анализ retention в Amplitude

Второй день интенсива: удержание в Amplitude. Посмотрите, какой метод счёта и какое событие возврата стоят в графике автора.