Эффект должен быть проверяемым
ИИ-проект почти всегда начинается с ожидания «станет быстрее». Но если до запуска не определена база сравнения, после запуска невозможно понять, что именно изменилось. Поэтому метрики фиксируются до внедрения.
Три уровня метрик
Процессные. Время обработки, количество ручных действий, доля обращений без вмешательства человека.
Качественные. Точность ответа, доля ошибок, число повторных обращений, удовлетворённость клиента.
Экономические. Стоимость обработки одного обращения, стоимость часа команды, влияние на конверсию и выручку.
Начните с одной процессной и одной экономической метрики. Остальные подключайте по мере накопления данных.
Как не обмануть себя
- Сравнивайте одинаковые периоды и похожие типы обращений.
- Учитывайте сезонность и изменения в потоке заявок.
- Считайте стоимость владения: API, инфраструктуру, поддержку и время на разбор ошибок.
- Фиксируйте не только средние значения, но и худшие случаи.
Метрика, которая часто врёт
«Сэкономили 500 часов» звучит убедительно, но не отвечает на вопрос, что команда сделала с этими часами. Экономия превращается в эффект, когда освобождённое время уходит на продажи, качество или развитие — а не растворяется в операционке.
Минимальный набор для пилота
- Время выполнения процесса до и после.
- Доля сценариев, закрытых без человека.
- Стоимость одной операции.
- Количество критических ошибок.
Этого достаточно, чтобы принять решение: масштабировать, дорабатывать или остановить.