Раздел Оценка обучения позволяет анализировать качество работы NLU-агента. Он позволяет сравнивать ожидаемые и фактические результаты распознавания намерений и сущностей, а также выявлять проблемные случаи для корректировки модели.
В отличие от поочередного тестирования фраз, оценка обучения позволяет:
- Запустить проверку сразу для большого набора фраз.
- Рассчитать автоматически процент успешных и неуспешных распознаваний.
- Оценить визуально статистику качества работы модели.
- Исключить ручное тестирование каждой отдельной фразы.
¶ Подготовительные шаги
- Перейдите в личный кабинет.
- Создайте NLU-агента.
- Добавьте намерения и сущности.
¶ Добавление фраз для оценки
- Перейдите в раздел Агенты NLU.
- Выберите необходимого агента.
- Перейдите на вкладку Оценка обучения.
- Добавьте фразы для тестирования:
- Нажмите Создать оценку обучения или
в левом верхнем углу. - Добавьте текст фразы для тестирования.
- Выберите из выпадающего списка ожидаемое намерение.
- (Опционально) Выберите из выпадающего списка ожидаемые сущности.
- Нажмите Сохранить. Фраза появится в списке фраз.
- Нажмите Создать оценку обучения или
- Нажмите кнопку Обучить. Дождитесь завершения процесса обучения.
- Перезагрузите страницу при необходимости и проверьте полученные оценки. Если точность распознавания недостаточна, измените настройки агента и повторите обучение.
При добавлении новых фраз для оценки всегда проводите повторное обучение агента.
¶ Рекомендации
- Регулярно обновляйте список тестируемых фраз для учёта новых сценариев общения пользователей.
- Анализируйте показатели эффективности и вносите корректировки для улучшения качества модели.
- Используйте инструмент оценки для сравнения различных версий моделей и выбора оптимальной конфигурации.