При некорректной работе AI-агента следует обратить внимание на следующие потенциальные ошибки:
¶ Переменная не объявлена в разделе «Переменные»
Все переменные, которые используются в промптах и запросах нужно предварительно добавить в настройках агента во вкладке Переменные. Подробная информация о настройке переменных доступна в статье Запросы к внешним сервисам из AI-агентов.
¶ Несоответствие названия переменной
Ошибки могут возникать, если название переменной содержит опечатки, или не соответствует названию переменной в запросе/промптах.
¶ Некорректное обращение к переменным
Если нужно обратиться к значению переменной, то требуется указать ее в формате {имя_переменной}.
Пример:
Клиент забронировал столик на {дата}. Имя клиента: {имя}.
Если нужно указать агенту на саму переменную, например, для записи значения переменной, то название переменной требуется указать без фигурных скобок.
Пример:
Названную клиентом дату запиши в переменную "дата". Имя клиента хранится в переменной "имя".
Стоит учитывать, что при настройке запроса к серверу фигурные скобки в URL могут заменяться на их закодированный вариант (%7B и %7D) - это нормальное поведение.
Некорректное обращение к переменным может вызвать серьезные ошибки в работе AI-агентов.
¶ Некорректное обращение к инструментам
Инструмент не сработает, если:
- В основном промпте нет обращения к инструменту
- Обращение к инструменту не совпадает с названием из настроек инструмента (Например: инструмент запроса к серверу называется “API_Request_BitrixSearch” а в промпте он вызывается как “BitrixSearch”)
- В промптах не указано когда или в каком случае должен использоваться инструмент
¶ Использование слова «клиент» в промптах
LLM не всегда понимает о ком идет речь, когда в промпте упоминается клиент. По умолчанию LLM не знает, что ведет диалог с каким-то клиентом.
Рекомендуется использовать обращение «собеседник» - в таком случае LLM понимает о ком идет речь.
¶ Дублирование частей промпта
Если одни и те же инструкции продублированы в рамках одного или нескольких промптов (например, в основном промпте и в промпте инструмента), то повышается вероятность галлюцинаций, замедляется генерация ответов, и повышается расход токенов LLM.
¶ Противоречивые/циклические инструкции в промпте
В некоторых случаях некорректно составленный промпт может зациклить диалог с агентом, или не позволить агенту завершить диалог.
Для того, чтобы избежать ошибок, не следует при составлении инструкции по выполнению какого-либо действия ссылаться на другие действия.
Пример некорректной инструкции для инструмента :
Вызывай если был применен инструмент END_CALL. Зафиксируй причину вызова END_CALL, описав причину кратко и своими словами.
LLM воспринимает эту инструкцию как «заверши звонок: зафиксируй причину и заверши звонок». Агент не может завершить звонок, так как далее следует действие, и инструкция зацикливается.
Пример корректной инструкции:
Завершение диалога: если у собеседника не осталось вопросов, зафиксируй результат диалога, описав причину кратко и своими словами, и используй инструмент END_CALL.
Для проверки наличия цикличных и противоречивых инструкций можно использовать какую-либо внешнюю LLM для помощи при составлении промпта.
¶ Неточные инструкции для вызова инструментов
Если в промпте не указана точная информация о том, как и когда нужно вызвать инструмент, то агент может некорректно интерпретировать инструкцию, и не вызвать инструмент.
Для того чтобы избежать ошибок следует подробно расписать использование инструмента в промпте.
Пример для инструмента Перевод на оператора:
<КАК ВЫПОЛНИТЬ ПЕРЕВОД>
Когда срабатывает условие для перевода на оператора:
1. Ты ОБЯЗАН сформировать ОДИН ответ, который включает:
а) Короткую фразу-предупреждение для собеседника (1 предложение)
б) НЕМЕДЛЕННЫЙ вызов инструмента TRANSFER_CALL в том же блоке ответа
2. Это НЕ два разных сообщения. Это ОДИН ответ: текст + инструмент.
3. Если ты написал фразу о переводе, но не добавил [TRANSFER_CALL] — это критическая ошибка.
4. Фраза «пожалуйста, оставайтесь на линии» появится автоматически после вызова инструмента — тебе НЕ нужно её писать.
ПРИМЕР ПРАВИЛЬНОГО ОТВЕТА:
"Понял Вас, сейчас соединю со специалистом." [TRANSFER_CALL]
ПРИМЕР ОШИБКИ (НЕ ДЕЛАЙ ТАК):
"Я переведу Вас на оператора, подождите." ← нет инструмента, диалог продолжается
</КАК ВЫПОЛНИТЬ ПЕРЕВОД>
¶ Загрузка слишком больших файлов в базу знаний
Лимит на количество токенов (символов) загруженного файла составляет 65000 токенов.
Если будет загружен файл, содержащий более 65000 токенов, то он не будет обработан LLM.
¶ Распознавание автоответчиков
AI-агенты не способны распознавать автоответчики, вне зависимости от того как выполнены настройки и заполнен промпт.
Для того чтобы избежать лишних расходов, рекомендуется использовать дополнительные инструменты для распознавания автоответчиков - например, систему Интеллин.
Для получения информации по подключению системы Интеллин вы можете обратиться к вашему куратору.