Карина, владелица школы UX-дизайна в Алматы, хочет написать на лендинге «75% студентов освоили UX-дизайн». В наборе сто оплативших, итоговую работу прислали сорок, критерии выполнили тридцать. Эти 75% - доля среди тех, кто сдал работу. Про остальных шестьдесят школа ничего не знает.
Возьмём восьминедельную программу за 150 000 ₸, цифры условные. Маркетологу здесь нужны две таблицы об одном и том же наборе: чему научились студенты и сколько денег осталось у школы после обучения, поддержки, возвратов и привлечения. Из просмотров видео вторую не собрать, а по оплатам не понять, освоен ли навык.
Обещание превращается в задание
Вместо «станете востребованным UX-дизайнером» школа описывает, что выпускник сможет сделать: провести тест с пользователями, найти, где они застревают, и обосновать правки макета. На странице курса - входные требования, нагрузка, пример задания и формат обратной связи. Тогда человек до оплаты понимает, подходит ли ему курс и найдёт ли он на него время.
Eberly Center при Carnegie Mellon предлагает согласовывать цели, занятия и оценивание. Если школа обещает UX-дизайн, итоговое задание должно требовать проектирования. Тест на знание терминов проверит термины, а для теста с пользователями и правок макета нужна другая работа.
Критерии методист задаёт заранее: доля участников, прошедших сценарий, посчитана, причины ошибок объяснены, правки макета проверены повторным тестом. На занятиях студенты тренируются на другой задаче и получают обратную связь. Иначе итоговая проверка спросит то, к чему курс не готовил.
Пример проверки результата обучения
Экран курса
100%
- Отдельная проверка навыка
- Решить новую задачу
Критерии итоговой работы
- Посчитал
Долю участников, прошедших сценарий
- Объяснил
Причины ошибок
- Проверил
Правки макета повторным тестом
Критерии задают заранее, на занятиях тренируются на другой задаче и получают обратную связь.
Для обещания трудоустройства или дохода нужны другие основания: умение выполнить задание - только часть того, чего требует профессия. Историю выпускника можно рассказать как его опыт, с условиями и путём, но выдавать его результат за результат всего набора нельзя.
Три знаменателя вместо одного процента
Для каждого из ста оплативших прошло 90 дней с начала обучения. В группе остаются и те, кому позже вернули деньги. Если убрать неудобные строки, набор будет выглядеть лучше, чем был на самом деле.
| Что произошло к 90-му дню | Студенты | Доля исходного набора |
|---|---|---|
| Начали обучение | 90 | 90% |
| Просмотрели все обязательные видео | 70 | 70% |
| Отправили итоговую работу | 40 | 40% |
| Выполнили критерии итоговой работы | 30 | 30% |
Тридцать справившихся входят в сорок сдавших. А вот просмотр всех видео в примере для допуска к заданию не нужен: человек мог знать часть материала. Поэтому строки таблицы не складываются в воронку, где каждый шаг вытекает из предыдущего.
Отсюда три показателя. Охват итоговой проверкой - 40 / 100 = 40%. Успех среди сдавших - 30 / 40 = 75%. Подтверждённый результат - у 30 / 100 = 30% исходного набора. В отчёт идут все три, и у каждого подписано, от какой группы он считается.
У шестидесяти несдавших результат неизвестен. Кто-то не освоил материал, кто-то освоил его раньше, кто-то решил задачу и не отправил преподавателю. Записать их всех в проваленные так же неверно, как в успешные.
Освоенный навык и его прирост различаются
Итоговая работа показывает, что человек умеет к моменту проверки. Чтобы оценить, что изменилось, нужна сопоставимая входная работа: возможно, часть студентов умела это ещё до курса.
Входная и итоговая работы должны проверять одну цель по сопоставимым критериям. Если студент повторяет знакомые ответы, балл растёт, а с новой задачей он всё равно может не справиться. За содержание проверки отвечает методист, а аналитик следит, чтобы результаты одного студента были связаны между собой.
Даже разница между входом и выходом не показывает вклад одного курса: человек мог параллельно учиться где-то ещё и практиковаться на работе. Для лендинга достаточно сказать, сколько студентов выполнили итоговое задание. Приписывать курсу всё, что случилось с человеком за эти месяцы, для этого не нужно.
Помощь зависит от места остановки
Рассылка «Вы давно не заходили» почти ничего не говорит о том, где студент застрял. Сначала посмотрите на его путь: получил доступ, нашёл первый шаг, начал работу, прочитал обратную связь.
| Наблюдение | Что разбирает команда |
|---|---|
| Первый урок не открыт | Доступ, расписание и понятность первого шага |
| Одна работа несколько раз не принята | Ошибку, объяснение критерия и возможность потренироваться |
| Группа остановилась на одном модуле | Инструкцию, материалы и посильность задания |
| Курс завершён | Применение навыка и следующую потребность |
Причину выясняют в разговоре или по обращению в поддержку: одно событие в аналитике её не объяснит. По неоткрытому уроку не скажешь, что человек ленивый или что лид был плохим.
Обещанная поддержка должна помещаться в расписание команды. Если школа проводит групповые консультации, на лендинге нельзя обещать каждому личного наставника. В смету закладывают проверку работ, повторные попытки и ответы в Telegram-чате группы, включая то, что обещали после последнего занятия.
Курс закончился, и выпускник больше не заходит - это нормально. Когорта помогает найти, где студенты останавливаются во время обучения, а покупка следующего курса - уже новая потребность. Гнать выпускника на платформу ради показателя активности незачем.
Деньги этого набора
Сто студентов заплатили по 150 000 ₸, всего 15 000 000 ₸. За 90 дней пять человек получили полный возврат, это 750 000 ₸. На обучение и поддержку набора школа потратила 5 000 000 ₸, на привлечение по принятой смете ещё 3 000 000 ₸.
| Статья за период | Сумма |
|---|---|
| Полученные оплаты | 15 000 000 ₸ |
| Возвраты | 750 000 ₸ |
| Осталось после возвратов | 14 250 000 ₸ |
| Обучение и поддержка | 5 000 000 ₸ |
| Привлечение | 3 000 000 ₸ |
| Остаток по учтённым статьям | 6 250 000 ₸ |
Из 15 000 000 ₸ вычитаем 750 000 ₸ возвратов и 8 000 000 ₸ расходов, остаётся 6 250 000 ₸. Расчёт упрощённый: постоянные расходы, налоги и обязательства за пределами периода из него не вычтены. Если поддержка выпускников продолжается, на неё нужно оставить деньги.
Стоимость привлечения по смете - 3 000 000 / 100 = 30 000 ₸ на каждого, кто оплатил. Если считать только 95 человек без возврата, выйдет около 31 579 ₸. Сравнивая наборы, держитесь одного определения или показывайте оба: тихо поменяете знаменатель, и CAC начнёт значить другое.
Полный CAC включает все расходы на привлечение. Если в трёх миллионах только часть, так и подпишите. Обучение и поддержку показывают рядом с привлечением, но не внутри него, и в общей экономике каждую статью учитывают один раз.
Рассрочка добавляет календарь поступлений. Будущие платежи по договору ещё не лежат на счёте школы. Если платит финансовый партнёр, в расчёт идут его поступления и комиссии по его условиям. Рекламный бюджет и оплату преподавателей сверяют с тем, когда деньги действительно придут.
Более подходящие студенты и меньше продаж
Допустим, школа добавила на страницу курса пример задания и настоящую нагрузку. Оплат стало меньше, а доля сдавших работу выросла. Одного процента для вывода мало: смотрите на число подтверждённых результатов, возвраты, нагрузку на поддержку и деньги набора.
Сравнивают на одинаковом сроке от старта и по тем же критериям. Рядом записывают, что ещё менялось: цена, преподаватель, программа, аудитория. Если что-то из этого поменялось одновременно с лендингом, разницу целиком на него не спишешь.
Для следующего теста команда меняет что-то одно и заранее договаривается, какой результат позволит принять решение. Просмотры, посещения и продажи годятся как промежуточные показатели, но обещанный студенту навык проверяют своей оценкой.
Задание: текст для страницы и таблица для владельца
Возьмите закрытый набор своего проекта или составьте форму отчёта на будущее. Читатель отчёта должен понять, кто попал в расчёт и что школа действительно измерила.
Выполнено 0 из 6
Карина приносит следующий набор: сто оплативших, к 90-му дню шестьдесят прислали работу, сорок пять выполнили критерии. Фраза «75% студентов освоили UX-дизайн» снова говорит больше, чем знает школа. 45 / 60 = 75% - это доля среди сдавших, охват равен 60%, а подтверждённый результат есть у 45% исходного набора.
Для страницы подойдёт «45 из 100 участников выполнили критерии итоговой работы к 90-му дню», а рядом описание задания. Чтобы написать, что навык появился благодаря курсу, нужно другое основание, например сопоставимая входная работа. А Карине как владелице к этим цифрам нужна ещё экономика того же набора.