Эксперименты с удержанием: holdout вместо ловушек для клиента

Владелец интернет-магазина кофе в Алматы пересылает вам пост «10 retention-хаков». В нём подписка на зерно с автосписанием, которую отменяют только звонком менеджеру, скидка, которая «сгорит через 24 часа», и кнопка отписки с текстом «Нет, я не люблю свежий кофе». «Давайте внедрим, удержание вырастет». Доля продлений может вырасти за счёт тех, кому трудно уйти. Возьмём магазин из архитектуры удержания; цифры условные.

Почему ловушка - не удержание

Удержание считают, чтобы понимать, возвращаются ли люди к продукту и получают ли от него пользу. Подписка с трудной отменой добавляет к продлениям тех, кто не дозвонился. У сервиса онлайн-записи для салонов такой клиент уже описан: салон платит, а онлайн-записей у него нет, и это риск отложенного ухода. Покупательница, с которой третий месяц списывают деньги за ненужный кофе, вряд ли станет советовать магазин коллегам, как это делает Алия.

Остальные приёмы из поста тоже искажают выбор. Скидка, которая «сгорает», а через день приходит снова, создаёт поддельную срочность. Кнопка «Нет, я не люблю свежий кофе» стыдит за отказ. По нашему прочтению закона «О защите прав потребителей» (с изменениями на 20 августа 2026 года), заранее отмеченная платная услуга похожа на навязанную, а обязанность платить за такие услуги закон относит к нарушениям прав потребителя (пп. 3 п. 2 ст. 8-1). Это не юридическая консультация.

Такие приёмы магазин в тест не берёт. Тест трудной отмены по числу продлений смешал бы тех, кто хочет остаться, с теми, кому мешает интерфейс. Поэтому магазин проверяет полезное: сколько заказов он получит, если поможет покупателю вернуться.

Что проверять тестом, а что просто внедрить

На этапе, когда пачка подходит к концу, у магазина три шага: открытка в первой посылке с датой, когда килограмм закончится, напоминание через 21 день после доставки тем, кто согласился на сообщения, и инструкции в Instagram с меткой utm_campaign=reorder. Все три должны поднять долю новичков со вторым заказом за 60 дней с четверти до трети, как записано в цели магазина.

Тест не бесплатный: пока он идёт, половина новичков не получает шаг, который, может быть, работает. Поэтому тестом проверяют то, что может навредить или стоит заметных денег. Открытка стоит копейки и не тратит ничьё согласие, её кладут всем, записывают дату запуска и включают печать в смету. Сторис на группы не разделить: кому их показать, решает Instagram. А напоминание можно отправить одной группе и не отправлять другой, и оно может как добавить заказы, так и навредить: человек, которому написали не вовремя, отвечает «СТОП» или отписывается. Его и проверяют. Когда идей больше, чем времени на тесты, порядок помогает выбрать RICE.

План теста

В спецификации цепочки напоминание назначено на 21-й день после доставки первого заказа. В тест войдут покупатели с первой оплатой в период набора, согласившиеся на сообщения: около 100 из 150 новичков за месяц. Группу назначают один раз, сразу после первой оплаты и согласия, до первого сообщения: чётный ID получает напоминание, нечётный нет. Группу без напоминания называют holdout. В группе отправки выбирают WhatsApp при согласии на него, иначе email при согласии на письма; перед отправкой учитывают повторный заказ, жалобу и отзыв согласия. Остальной сервис обеих групп одинаков.

Гипотезу записывают по шаблону из гипотез для посадочной:

Если через 21 день после доставки первого заказа напомнить, что зерно заканчивается, то второй заказ за 60 дней сделает больше новичков, потому что килограмма при двух чашках в день хватает примерно на месяц, а доставка идёт 2-5 дней. Проверим по доле со вторым оплаченным заказом в обеих группах, по ответам «СТОП» и отпискам.

• Единица - покупатель. Группа сохраняется до конца теста. Перед запуском выясняют, как выдаются ID: чётность не должна быть связана с каналом привлечения, датой или филиалом. Если связана, разработчик настраивает случайное распределение покупателей и хранит назначенную группу. Деление по ID удобно только при выполнении этого условия.
• Главная метрика - по всей назначенной группе. Доля покупателей со вторым оплаченным и не возвращённым заказом в течение 60 дней от первой оплаты, среди всех согласившихся, назначенных в каждую группу. Клиент остаётся в расчёте, даже если сообщение не дошло, он его не прочитал или позже отписался. Сравнение только прочитавших смешает эффект напоминания с их готовностью покупать.
• Защитные метрики. Ответы «СТОП», отписки от писем и жалобы менеджеру. До старта записывают порог, при котором напоминания остановят и перепишут.
• Срок и чтения. До запуска фиксируют срок набора, окно метрики и даты промежуточных чтений. По раннему эффекту тест не останавливают и не продлевают.

Окно нужно и в инструменте. В Amplitude Return On считает возврат в заданный день, а Return On or After - в этот день или позже. Окно в 60 дней можно собрать в режиме Return On (Custom), но оплаченные и не возвращённые заказы есть только в CRM, поэтому долю со вторым заказом за 60 дней считают по датам заказов в CRM.

Сколько ждать ответа

Откройте калькуляторы, вкладку «Планировщик A/B-теста». Для плана возьмём базовую долю 25%, как у всех новичков магазина; до запуска её нужно уточнить на закрытых когортах согласившихся на сообщения. Цель расчёта - 33%, разница 8 п.п. Минимально различимый эффект вводится относительно базы: 8 / 25 × 100 = 32%, поэтому в этом поле поставьте 32. Уровень значимости 5%, мощность 80% и два варианта оставьте по умолчанию. При 100 участниках за условный 30-дневный месяц в поле трафика поставьте 3,33 человека в день.

Планировщик округляет выборку вверх: 473 человека на вариант, 946 всего и 285 дней набора. После последнего вошедшего нужны ещё 60 дней, всего около 345 дней, или 11,5 месяца. Вердикт калькулятора - больше восьми недель. При таком потоке быстрый ответ о разнице в 8 п.п. получить не выйдет.

Калькулятор советует поднять эффект или не запускать тест: для страницы сайта это верно, за полгода меняются акции, сезон и cookie. Здесь группы делят по ID клиента один раз, поэтому тест можно держать дольше, если дата решения записана заранее. Сезон и акции обе группы проживают вместе, а изменения цепочки записывают и не смешивают с исходным вариантом. Допустим, магазин запустит тест в конце октября. В план заранее войдут 285 дней набора и окончательное чтение через 345 дней от старта. Для запланированной мощности 80% нужны 473 участника с закрытым окном в каждой группе. Календарь этого не обеспечивает: при меньшем потоке или неравных группах в окончательном отчёте укажут недобор и неопределённость, без вывода об отсутствии эффекта. Продлевать тест из-за увиденного результата нельзя.

В плане есть два промежуточных чтения без выбора победителя. Первые три месяца набора дадут около 150 человек на группу; их окна закроются примерно на пятом месяце от старта. Шесть месяцев дадут около 300 на группу, чтение будет примерно на восьмом месяце. По той же нормальной аппроксимации, что в планировщике, мощность при настоящей разнице 25% против 33% составит около 37% и 61%. Доля контроля 20% вместо 50% потребует больше людей: при приближении с равными дисперсиями множитель равен 0,25 / (0,8 × 0,2) = 1,5625. Это около 1 480 участников, почти 15 месяцев набора плюс 60 дней ожидания.

У теста есть цена. Если напоминание добавляет 8 п.п., группа без него недополучит в среднем 473 × 0,08 = 37,84, то есть около 38 вторых заказов. При вкладе 6 000 ₸ это 473 × 0,08 × 6 000 = 227 040 ₸, или около 227 000 ₸ за время теста. Это условная цена недополученных заказов без вычета затрат на сообщения. Взамен магазин получит оценку эффекта для расчёта ценности нового покупателя.

Как читать цифры, пока тест идёт

Допустим, через шесть недель владелец открывает CRM: среди чётных ID 8 вторых заказов, среди нечётных 6. «Работает, отправляем всем». Окно 60 дней ещё не закрылось ни у кого: первые участники прожили в тесте 42 дня. Разница в два заказа тоже слишком хрупкая для решения, как в правиле выбора креативов. В этот момент смотрят доставку сообщений и защитные метрики, а не выбирают победителя.

Запланированные срезы на пятом и восьмом месяце описывают только участников, у которых закрылись 60 дней, сохраняя их исходные группы. Они помогают увидеть диапазон совместимых с данными эффектов, но дата решения остаётся прежней. Если каждую неделю искать значимость и остановиться при первом «зелёном» результате, ложных побед станет больше.

Каждую неделю смотрят защитные метрики: если порог по «СТОП», отпискам или жалобам достигнут, отправку останавливают по правилу безопасности, без объявления победителя. Отдельно сверяют назначенные группы. Если после двух месяцев в них 130 и 70 человек вместо примерно равных чисел, анализ эффекта откладывают и ищут дубли ID, ошибку назначения или фильтр, который исключил людей уже после деления. Если напоминание ушло нечётному ID, сломалась отправка, а не деление.

Подписка без ловушки

Вернёмся к подписке из поста. Сама идея нормальная: килограмм раз в месяц приходит без напоминаний, и человеку не нужно помнить о заказе. Ловушка в выходе. Подписку, которую отменяют, ставят на паузу или пропускают одну доставку в том же месте и так же быстро, как оформляют, можно предлагать и проверять.

Предложение подписки можно показать случайной половине подходящих новых покупателей и сравнить обе группы. Число подписчиков для этого не годится: часть из них заказывала бы и без подписки, просто теперь платит автоматически. Для расчёта в этом же планировщике нужна доля: например, хотя бы один следующий оплаченный и не возвращённый заказ за заранее выбранные 60 дней от первой оплаты. Каждого покупателя считают один раз в своей назначенной группе. Число заказов на человека можно смотреть дополнительно, но его выборку этот планировщик двух долей не рассчитывает. Защитные метрики те же, плюс отмены и вопросы «что за списание». Срок и выборку определяют по базовой доле и ожидаемому эффекту именно этого предложения до запуска.

Задание: план теста удержания для своего бизнеса

Возьмите бизнес с повторными покупками и один шаг удержания, который может и добавить покупки, и навредить: напоминание, рассылку со скидкой, подписку.

Выполнено 0 из 6

• Запишите гипотезу: что меняете, чего ждёте, почему и по какой метрике проверите
• Определите, кто входит в тест и как эти люди дали согласие на сообщения
• Решите, как делить: по клиенту, один раз, до первого сообщения
• Посчитайте в планировщике выборку и сколько месяцев она наберётся при вашем потоке, плюс окно метрики
• Запишите защитные метрики, порог остановки и дату, когда прочитаете главную метрику
• Посчитайте цену теста: сколько покупок недополучит группа без изменения, если оно работает

Если планировщик насчитал больше года, у теста три выхода. Можно проверять шаг с большим ожидаемым эффектом, но только если вы можете объяснить, откуда такой эффект возьмётся. Можно расширить поток: включать в тест не только новичков, а всех, кто дошёл до нужного дня после любого заказа, и тогда главную метрику записывают заново. Или признать, что тест не по силам, внедрить шаг и наблюдать, записав дату в журнал. Недомощный тест с победителем по первым цифрам хуже всех трёх: он даёт уверенность, которой нет.

Трудная отмена, скидка с постоянно перезапускаемым таймером и платная галочка по умолчанию в такой план не входят. Удержание, которое они дают, состоит из людей, которые не смогли уйти, и в таблице их не отличить от тех, кто хочет остаться.

Видео: процессы удержания

Доклад Андрея Законова из Яндекса на канале Epic Growth. Идеи из него, как и из любого списка «хаков», сравнивайте на своих покупателях с группой без изменений.