Как сделать ИИ-бота в Telegram, который не врёт клиентам: промпт и проверки

Заводите ии бот телеграм, который будет отвечать клиентам, и уже представляете, как он вечером пересказывает прайс? Самое время остановиться и спросить другое: что он скажет клиенту про скидку, которой у вас нет. Модель обучена давать связный ответ на любой вопрос, и чем меньше она знает о вашем прайсе, тем увереннее звучит её выдумка.

Я строила диалоговых агентов и читала их логи на аудитах, поэтому привыкла смотреть на бота со стороны данных: что он видел на входе, откуда взял каждое число и кто это проверил до отправки. За 17 лет в корпоративном ИТ я ни разу не видела, чтобы враньё бота было проблемой самой модели. Это всегда проблема рамки, которую вокруг неё поставили.

Почему ИИ-бот врёт и как это выглядит

У модели нет намерения обмануть. Она продолжает текст так, чтобы он был правдоподобным, и когда в её контексте нет вашего прайса, она достраивает его по общим представлениям о ценах в вашей сфере. Для клиента это выглядит как официальный ответ от вашей компании: тон уверенный, структура аккуратная, цифра точная до рубля.

Типовые сценарии вранья узнаваемы с первого взгляда, если знать, куда смотреть:

бот называет цену, которой нет в прайсе, и называет её уверенно;

бот обещает доставку за срок, который вы никогда не давали;

бот придумывает филиал, акцию или рассрочку;

бот отвечает на любой вопрос подряд, включая темы, которые вы запрещали.

Общее у всех сценариев одно: у ответа нет источника внутри вашей компании, и никто не проверил черновик до отправки. Значит, и лечится это источником и проверкой.

Врёт не модель, врёт конфигурация: бот без базы знаний отвечает из общих представлений о мире.

Кстати, сам бот в Telegram это по документации просто интерфейс, который принимает сообщения и отправляет ответы: интерфейс Telegram Bot API описывает доставку сообщений, а за содержание каждого ответа отвечает ваша связка промпта, данных и проверок, которую вы построили вокруг модели.

Каркас, который держит бота на правде

Правдивый бот стоит на четырёх слоях, и строить их нужно снизу вверх. Первый слой это роль и границы: кто бот, о чём он говорит и какие темы закрыты полностью.

Второй слой это источники: все цены, сроки и условия модель получает из вашей базы при каждом запросе. Третий слой это проверка перед отправкой: черновик ответа сверяется с найденным источником, и факт без опоры не уходит клиенту.

Четвёртый слой это лог и разбор: каждый ответ фиксируется с указанием источника, чтобы ошибку нашли вы.

Убрать любой слой, и система проседает. Без второго слоя бот фантазирует о ценах, без третьего он пересказывает фантазию клиенту, без четвёртого вы узнаёте о проблеме из отзыва на пару звёзд ниже, чем хотелось бы.

Промпт, который запрещает выдумывать

Промпт это половина лекарства, и половина работающая, если в нём есть прямой запрет отвечать без источника. Фраза "отвечай честно" не работает, потому что модель и так считает себя честной. Работает правило "нет данных в переданных документах, значит отвечай отказом и передавай оператору", написанное явно и с примером.

Второе правило: цены и условия не хранятся в промпте. Промпт задаёт поведение, а факты приходят с каждым запросом из вашей базы, будь то файл, таблица или страница сайта. Тогда смена прайса это правка одной строки в базе.

Третье правило: у отказа есть готовая формулировка. Если боту не дали текст отказа, он сочинит его сам, и в этом отказе может проскочить обещание перезвонить через пять минут.

Промпт и проверки: забирайте и подставляйте своё

Ниже промпт, с которого я советую начинать любой клиентский бот в Telegram. Скопируйте целиком, замените текст в квадратных скобках на своё и прогоните по тестовым вопросам до того, как бот увидит первого живого клиента.

Ты бот компании [название]. Ты отвечаешь клиентам в Telegram по темам: [список тем].

Правило источников: отвечай только фактами из документов, переданных тебе в этом запросе. Если ответа в них нет, напиши: "Уточню этот вопрос у коллеги и вернусь с ответом", и передай диалог оператору.

Запрещено: называть цены, сроки и условия, которых нет в переданных документах; отвечать на темы вне списка; давать советы по медицине, праву и финансам; обещать то, чего нет в источниках.

Формат ответа: до трёх предложений, без списков, обращение на "вы".

Если клиент пишет агрессивно или просит человеческого оператора, сразу передавай диалог оператору.

Промпт работает в паре с проверками, и каждая проверка это конкретный тест, который вы можете прогнать руками:

1. Задайте боту 20 вопросов из реальных диалогов с клиентами, включая каверзные, и сверьте каждый ответ с эталоном.
2. Спросите цену на товар, которого нет в прайсе: бот обязан отказать, придумывать цену нельзя.
3. Спросите про тему из запрещённого списка и убедитесь, что бот вежливо уходит от ответа.
4. Проверьте, что каждый ответ в логе содержит ссылку на источник, из которого взяты факты.
5. Попросите оператора у бота и убедитесь, что диалог передаётся человеку сразу.

Полный тест бот проходит до встречи с клиентом, после каждого обновления базы и после любой правки промпта. Прогон трёх вопросов из любопытства это проверка галочкой.

Если хотите, чтобы этот каркас собрали, настроили и взяли на сопровождение под вашу базу знаний, посмотрите, как мы делаем ботов для Telegram: промпт, проверки и лог входят в работу с первого дня.

Вопросы, которые задают перед сборкой бота

Можно ли полностью исключить враньё бота?

Полностью исключить нельзя, потому что модель всегда остаётся вероятностной, и на странной формулировке вопроса она может ошибиться в интерпретации. Но ограничение источников плюс проверка перед отправкой плюс отказ при отсутствии данных сводят ошибки к редким случаям, которые вы находите по логу раньше клиента.

Как раз ночью честный отказ работает на вас: бот отвечает мгновенно, признаёт, что вопрос передан специалисту, и фиксирует контакт. Клиент получает реакцию и оператор утром получает готовый список вопросов вместо пустого диалога.

В отдельный структурированный источник, который передаётся модели при каждом запросе: файл, таблица или раздел сайта. Ключевое условие одно: источник обновляется в одном месте, и тот же текст видит и бот, и ваши менеджеры, тогда расхождений не будет в принципе.

После каждого изменения базы, промпта или модели, а в спокойные периоды достаточно регулярного просмотра лога с выборочной сверкой ответов против источников. Проверка после правок это правило, регулярный аудит это привычка, и работают они только вместе.

Что проверить у бота уже сегодня

Откройте лог ответов, если он у вас есть, и выберите десять последних сообщений с цифрами. Сверьте каждую цифру с источником. Если лога нет, задайте боту пять вопросов с ловушками из этого материала прямо в чате.

Отказ с передачей оператора это нормальный ответ бота, и клиенты его принимают спокойнее, чем уверенную выдумку, которую вы потом разбираете в переписке. Проверенный бот продаёт медленнее, зато не продаёт то, чего у вас нет.

Что ваш бот ответил бы сейчас на вопрос про скидку, которой у вас нет?

Откройте лог ответов, если он у вас есть, и выберите десять последних сообщений с цифрами. Сверьте каждую цифру с источником. Если лога нет, задайте боту пять вопросов с ловушками из этого материала прямо в чате.

Отказ с передачей оператора это нормальный ответ бота, и клиенты его принимают спокойнее, чем уверенную выдумку, которую вы потом разбираете в переписке. Проверенный бот продаёт медленнее, зато не продаёт то, чего у вас нет.

Что ваш бот ответил бы сейчас на вопрос про скидку, которой у вас нет?

Новые разборы выходят в моём канале: t.me/promaren.