North Star Metric: главная метрика продукта и защитные метрики к ней

Понедельничная планёрка в сервисе онлайн-записи для салонов красоты в Алматы. Маркетолог показывает 320 регистраций за октябрь против 200 в сентябре, продакт-менеджер - долю салонов, которые включили онлайн-запись, бухгалтер - 1 200 активных салонов по 12 000 ₸ в месяц. Каждая цифра верная, и каждая тянет команду в свою сторону: маркетолог хочет снова удвоить Instagram, продакт-менеджер - переделать настройку. Основатель просит одно число, по которому видно, что сервис приносит салонам всё больше пользы, и по которому каждый поймёт, как на него влиять. Цифры в уроке условные.

Что такое North Star Metric

Amplitude определяет North Star Metric как одну метрику, которая лучше всего описывает, что клиенты получают от продукта. У неё три свойства: она отражает пользу для пользователей, на неё могут влиять продукт и маркетинг, и она опережает выручку (хорошая и плохая North Star). Там же сказано, почему на эту роль не годятся выручка в месяц (MRR) и выручка на пользователя (ARPU): они описывают прошлое. Не годится и число зарегистрированных пользователей, потому что оно молчит о том, что эти люди делают в продукте. Подход целиком, с семинаром для команды, собран в North Star Playbook и материалах к нему.

Главная метрика - договорённость команды, а не закон. Что её рост потянет за собой оплаты, проверяют на своих данных, и у сервиса записи такая проверка уже есть: салоны, которые получают онлайн-записи, платят и дальше.

Кандидаты для сервиса записи

Онлайн-запись - то, за что салон платит: администратору не нужно отвечать в директ в полночь, а клиентке не нужно ждать ответа до утра. Влияют на неё все. Маркетинг приводит салоны, которым она нужна, продукт помогает быстрее её включить, поддержка возвращает тех, у кого записи остановились. И она опережает оплату на несколько недель.

Лучше всего было бы считать визиты: клиентка записалась и пришла. Но неявки салоны отмечают в календаре вручную, и не все, так что визит виден в данных не везде. Поэтому считают созданные онлайн-записи, а неявки ставят рядом защитной метрикой.

Определение в одну строку

Главную метрику записывают в словарь метрик так же, как активный салон для отчёта инвестору:

Онлайн-записи за неделю - записи, которые клиентки сделали сами по ссылке салона (booking_created с source = online), с понедельника по воскресенье по времени Алматы, во всех салонах на пробном периоде и на платном тарифе. Одна клиентка на одно время - одна запись, сколько бы услуг она ни выбрала. Записи, которые сотрудники салона сделали по ссылке сами, войдя в кабинет, и тестовые салоны команды не считаются. Источник: база сервиса. Определение меняет аналитик, и только вместе с основателем.

За неделю с 9 по 15 ноября таких записей было 24 000.

Прежде чем утверждать определение, попробуйте нарастить метрику без пользы. Если считать каждую услугу отдельной записью, маникюр с педикюром дадут две записи вместо одной, и метрика вырастет оттого, что в форме появилась кнопка «Добавить услугу». Если считать записи, которые администратор сделал по ссылке сам, проверяя её, метрика вырастет от проверок. Каждую такую лазейку закрывает строка определения, а не уговор «так делать не будем».

Из чего она складывается

Одно число не подскажет, кому что делать, поэтому главную метрику раскладывают на входные метрики (inputs), и у каждой есть хозяин. Amplitude советует три-пять таких метрик и предлагает искать их с четырёх сторон: широта, глубина, частота и эффективность (как найти свою North Star). Сервису записи хватает трёх:

Онлайн-записи за неделю = салоны, получившие за неделю хотя бы одну онлайн-запись × онлайн-записи на такой салон.

В неделю с 9 по 15 ноября это 960 × 25 = 24 000.

Первая строка питает вторую: салоны, которые сегодня дошли до ага-момента, через месяц получают записи уже как платящие. Вторая строка - широта, третья - глубина. Если главная метрика выросла, разложение покажет, за счёт чего: салонов стало больше или прежние получают больше записей. Это арифметика, и причину роста она не назовёт, но подскажет, у кого спрашивать.

Защитные метрики

Главную метрику можно нарастить так, что польза не вырастет или даже упадёт. Поэтому рядом с ней держат защитные метрики (guardrails), те же, что в A/B-тесте фичи, только постоянно. У сервиса записи защитные метрики следят за тремя вещами: качеством, удержанием и жалобами:

• качество - неявки на 100 онлайн-записей у салонов, которые их отмечают, сейчас их 8;
• удержание - доля платящих салонов, получивших онлайн-запись за неделю, и оплата следующего месяца;
• жалобы - обращения в поддержку на 100 салонов за неделю.

У сервиса обучения с главной метрикой «выполненные полезные упражнения» защитные метрики те же три: качество выполнения, удержание учеников и жалобы, а у доставки рядом ставят ещё и вклад с заказа. Нажатия на кнопку «Далее» качество обучения не покажут: их легко набрать, ничему не научившись.

И ни одна главная метрика не заменяет остальные. Выручка, цена привлечения и окупаемость салона остаются в отчёте основателя: главная метрика говорит, растёт ли польза, а деньги считают отдельно.

Как главная метрика растёт без пользы

Допустим, тест кнопки «Свободные окна», которая рассылает клиенткам свободное время на завтра, закончился так. Кнопку показывали случайной половине действующих салонов, по флагу на ID салона: 600 из 1 200, остальные 600 её не видели. Цифры за третью неделю теста:

В группе Б главная метрика на 8% выше. Состоявшихся записей столько же, в группе Б их даже на 24 меньше, это 0,2%, и по таким данным нельзя сказать, что кнопка добавила хоть одну состоявшуюся запись. Зато неявок стало 15 на 100 записей вместо 8, а обращений в поддержку в два с лишним раза больше. Неявки посчитаны по салонам, которые их отмечают, и перенесены на все записи группы, поэтому «состоялись» - оценка. Если смотреть только на главную метрику, кнопку выпустили бы на всех и отчитались о росте.

Почему клиентки чаще не приходят, выясняют разговорами с администраторами. Одна гипотеза - они записываются на завтра прямо из рассылки, не сверившись с планами. А решение принимают по правилу, записанному до теста: защитная метрика ухудшилась, значит, в таком виде кнопку не выпускают.

Где живёт главная метрика

В еженедельном дашборде главная метрика стоит первой строкой, под ней три входные, рядом защитные. Если определение меняют, дату отмечают на графике. А саму метрику пересматривают, когда меняется продукт. Если неявки начнут отмечать все салоны, визит станет виден в данных, и главной метрикой лучше сделать онлайн-записи, по которым клиентка пришла. Зачем, показывает тест предоплаты: онлайн-записей в нём стало меньше, а визитов почти столько же.

Упражнение: главная метрика своего продукта

Возьмите продукт, с которым работаете, или сервис записи из урока.

Выполнено 0 из 5

• Выпишите три-четыре кандидата и для каждого ответьте на три вопроса: отражает ли он пользу клиента, могут ли на него влиять продукт и маркетинг, идёт ли он раньше выручки.
• Запишите определение выбранной метрики в одну строку: что считаем, за какой период, из какого источника и кто может его менять.
• Попробуйте нарастить её без пользы и закройте каждую лазейку строкой определения.
• Разложите её на две-три входные метрики и назовите, кто влияет на каждую.
• Поставьте рядом защитные метрики: качество, удержание, жалобы.

Теперь ситуация. Основатель предлагает сделать главной метрикой выручку: «Деньги и есть польза, зачем считать что-то ещё». Что вы ответите?

Выручка останется в отчёте, но главной метрикой ей быть не стоит: об уходе она узнаёт последней. В сентябрьской когорте девять салонов заплатили за первый месяц, но на неделе 5 не получили ни одной онлайн-записи, и второй месяц из них оплатили только трое. Онлайн-записи показали проблему до платежа, когда салону ещё можно было позвонить, а выручка - в день, когда шесть салонов не заплатили. К тому же на выручку продукт и маркетинг влияют через месяц, после пробного периода и оплаты, а на онлайн-записи - с первой недели. Ответ основателю может быть таким: «Выручку оставим в еженедельном отчёте. Главной сделаем онлайн-записи: они двигаются раньше денег, и по ним каждая команда видит свой вклад».

Видео: выбор North Star Metric

Вводное видео о выборе главной метрики. Пока смотрите, примеряйте критерии из видео к онлайн-записям сервиса или к своему кандидату.