ИИ в маркетинге: сколько стоит готовый результат

Контент-команда интернет-магазина бытовой техники в Алматы готовила карточку товара за час, и ещё двадцать минут её проверяла редактор Ляззат. С ИИ черновик готов за десять минут. Но теперь Ляззат тратит пятьдесят минут на сверку с характеристиками производителя и пятнадцать на правки. В презентации внедрения написали «В шесть раз быстрее». Владелец магазина спросил: быстрее что - черновик или карточка, которую можно выкладывать на сайт?

Ответ скромнее презентации. При том же качестве полный цикл сократился с 80 до 75 минут, выигрыш пять минут, или 6,25%. Цифры условные, ни одну модель мы здесь не оцениваем. О внедрении судят по всему пути: от первого ответа модели до принятой карточки.

Когда будете замерять у себя, записывайте время по этапам и не забывайте неудачные попытки: черновик, который пришлось переписать или выбросить, тоже съел минуты.

Выберите работу, которую кто-то принимает

«Внедрить ИИ» - задача без конца. У карточки товара конец есть: Ляззат получила текст в нужном формате, сверила характеристики с источником и разрешила публикацию. У разбора обращений покупателей приёмка другая: каждая тема ведёт к исходным записям, подсчёт можно повторить, а неизвестная причина не выдана за факт.

Запишите для своей задачи вход, выход, частоту, кто делает и кто принимает. Потом перечислите ошибки, из-за которых результат возвращают. Неверную цену холодильника красивый заголовок не спасёт. Карточка без важного ограничения товара может быть короткой и понятной и всё равно непригодной.

Для первого пилота берите узкую работу, где проверяющий может открыть источник. Если ручной процесс меняется каждую неделю и никто не договорился, какое качество считать нормой, сравнивать будет не с чем. Сначала договоритесь о результате, потом ускоряйте его.

Разложите нынешний процесс

Запишите путь от задания до принятой версии: сбор фактов, подготовка, проверка, правки, передача. Ожидание в очереди пишите в одну строку, работу в другую. Два часа по календарю могут оказаться десятью минутами труда и часом пятьдесят ожидания. Срок сокращают, убирая ожидание, а загрузку считают по минутам работы.

Берите в замер и обычные материалы, и трудные: без нужного условия, с противоречащими источниками, на двух языках, с неудачным образцом стиля. Если вручную делали сложные карточки, а ИИ достались простые, вы сравнили карточки, а не способы работы.

Старый способ работы не выбрасывайте. Он нужен для сравнения и на случай сбоя. При переходе на новый процесс заранее решают, что меняется и когда прежнюю обязательную работу можно перестать делать. Если добавить генератор и ничего не поменять в проверке, у Ляззат просто появится вторая очередь.

Отделите настройку от проверки

На одном наборе карточек команда доводит инструкцию: какие факты брать, в каком формате выдавать, как помечать, что сведений нет. Второй набор откладывают для оценки и под него инструкцию не трогают. Если подгонять запрос после каждого ответа на проверочном наборе, а потом назвать это независимой проверкой, вы проверите собственную подгонку.

Оценщику лучше не знать, каким способом сделан текст: так он не будет строже к одному из способов. Критерии у него одинаковые, он отмечает серьёзные ошибки и время, которое ушло на доведение текста до приёмки. Часть входов прогоните дважды: один удачный ответ ещё не значит, что следующий будет таким же.

NIST AI RMF связывает оценку с условиями применения и с наблюдением за системой после запуска. Для пилота это значит хранить проверенные входы, версии инструкции, способ выполнения и найденные ограничения. Поменялась модель, источники или правила по товарам - повторите ту часть проверки, которую это затронуло.

Дайте редактору возможность проверить

За фразой «посмотрит человек» прячется несколько условий. Ляззат нужны знание предмета, время, актуальный источник и право вернуть карточку. Цену она сверяет с действующим прайсом, расчёт пересчитывает, цитату находит в первоисточнике. Ссылку, которую предложила модель, она тоже открывает и смотрит, что там на самом деле.

Можно попросить другую модель поискать ошибки, это ещё один проход. Но совпадение двух ответов не заменяет источник. Если обе системы повторили неверный срок гарантии, покупатель всё равно получит неверное обещание.

Разделяйте полномочия. Подготовить черновик письма, выбрать получателей и отправить - три действия с разными последствиями. Удачный пилот на текстах не даёт оснований сразу разрешить системе менять аудиторию или публиковать без редактора. Владелец процесса записывает, кто выпускает результат и что делать, если есть сомнение.

Русскую и казахскую версии карточки принимает человек, который знает язык и условия предложения. Удачный русский текст ничего не говорит о казахском. Незнакомый термин или двусмысленную фразу лучше вернуть на разбор, чем пропустить ради скорости.

Посчитайте время команды и новые расходы

Применим 80 и 75 минут к 120 принятым карточкам в месяц. Допустим, время включает все попытки, проверку и правки, а качество одинаковое. Вручную выходит 9 600 минут, или 160 часов. С ИИ 9 000 минут, или 150 часов. Освобождается десять часов.

Чтобы перевести часы в тенге, возьмём внутреннюю стоимость часа 5 000 ₸. Ручной процесс занимает времени команды на 800 000 ₸, новый на 750 000 ₸. Разница 50 000 ₸, но в ней нет ни сопровождения, ни инструмента.

На инструмент и другие платежи в бюджете пилота заложено 30 000 ₸ в месяц. Сопровождение занимает пять часов в месяц: разбор ошибок, обновление инструкции, повторная проверка. По той же ставке это 25 000 ₸ времени.

При таких условиях работа с ИИ дороже на 5 000 ₸ в месяц. И это без разовой подготовки пилота: её добавьте своей строкой. Бывает и обратная ошибка. Если сопровождение уже вошло в измеренные 150 часов, второй раз пять часов не прибавляйте.

Таблица сравнивает время команды, а не деньги на счёте. Оклады не меняются, поэтому 50 000 ₸ в кассу не вернутся. Команда освободит десять часов на подготовке, пять из них уйдут на сопровождение, а за инструмент магазин заплатит 30 000 ₸ настоящими деньгами. Владельцу остаётся решить, какую работу Ляззат сделает за оставшиеся пять часов и окупит ли эта работа новый расход.

Решите, какие данные можно отдавать

Для каждого входа решите, нужен ли он задаче и кто вправе передавать его выбранному сервису. Условия хранения, доступа и использования данных зависят от продукта, рабочего пространства и настроек. До запуска их сверяет тот, кто отвечает за эту среду. Рекламная страница другого тарифа подтверждением не считается.

Для первых прогонов подготовьте примеры без данных клиентов, но той же сложности по языку и задаче, иначе проверка выйдет слишком лёгкой. Убрать имя мало: в тексте остаются другие признаки, по которым человека можно узнать. Поэтому состав входа тоже просматривают.

Оставьте понятный путь назад к ручной работе. Если источник недоступен или качество упало, сотрудник должен знать, куда уходит задача, что сказать заказчику и где записать сбой. По одному удачному черновику эту часть процесса не оценить.

Задание: ускорился только черновик

После правки инструкции черновик занимает пять минут вместо десяти. Проверка и правки остаются на 50 и 15 минутах. Допустим, новые входы подтвердили это время и прежнее качество. Пересчитайте полный цикл и месяц со 120 карточками, пятью часами сопровождения и 30 000 ₸ на инструмент и платежи.

Полный цикл теперь 5 + 50 + 15 = 70 минут. Против ручных 80 минут это десять минут, или 12,5%. На 120 карточках выходит двадцать часов, по внутренней ставке 100 000 ₸. Вычтите пять часов сопровождения и 30 000 ₸ платежей, и работа с ИИ выигрывает 45 000 ₸ в месяц, ещё до разовой подготовки. Оклады при этом остаются прежними, так что это оценка времени команды. В отчёте о прибыли такой строки не появится.

Сделайте такую же запись для своего пилота: принятый объём, качество, полное время работы, новые платежи, сопровождение и задача, на которую пойдут освободившиеся часы. Расширять пилот стоит по этим цифрам и по новым проверкам. Скорость первого ответа для этого решения ничего не значит.