Когда проверять 1% диалогов уже недостаточно
Ручной контроль качества всегда упирается в один и тот же потолок: людей не хватает, а большая часть ошибок так и остается незамеченной. Мы внедрили гибридную модель, где AI выполняет первичную проверку, а специалисты по качеству разбирают только те случаи, где действительно нужен человек.
Контекст
В чатах контроль качества полностью строился на ручной проверке. Из-за этого оценивалась лишь небольшая часть диалогов, а обратная связь до операторов доходила не всегда вовремя. Попытка просто увеличить объём проверок означала бы расширение команды QA, но это не решало главную проблему. Нужно было научить систему самостоятельно находить потенциальные нарушения, при этом не потеряв доверие к результатам оценки.
Роль
Я отвечал за внедрение инструмента со стороны контактного центра. Формировал требования к системе, адаптировал существующий чек-лист под работу AI, определял логику оценки и приоритизацию диалогов, чтобы в первую очередь проверялись самые рискованные обращения. Вместе с отделом качества проводил пилот, анализировал расхождения между оценками AI и аудиторов, корректировал настройки системы и промпты до тех пор, пока результаты не стали достаточно стабильными для масштабирования.
Действия
Начали с пилота, где AI проверял только часть диалогов. Это позволило спокойно сравнить его выводы с оценками аудиторов и понять, где система ошибается. Быстро стало ясно, что существующие критерии качества нельзя просто перенести в модель — их пришлось адаптировать под новый подход. Отдельной задачей стала работа с командой. У специалистов по качеству были опасения, что AI со временем заменит их работу. На практике произошло обратное: система взяла на себя рутинную первичную проверку, а аудиторы сосредоточились на сложных случаях, разборе спорных ситуаций и развитии самих критериев оценки. После нескольких итераций настройки система была переведена на проверку всех чатов.
Результат
Охват контроля качества вырос более чем в 200 раз без сопоставимого увеличения ресурсов. Время, которое аудиторы тратили на рутинную проверку диалогов, сократилось примерно на 20–30%. Ошибки стали находиться значительно быстрее, а обсуждение качества перестало быть задачей только отдела QA — тренеры и специалисты по качеству начали работать с одной системой и опираться на единые результаты проверки. AI не заменил человека, но позволил сосредоточить внимание там, где действительно нужна экспертная оценка.
