Контекст запроса и ответ внешней модели — разные риски
Документ, который пытается отдать агенту команду
Договоры, письма и страницы могут попасть в контекст обращения к внешней модели. Внутри такого материала может лежать инструкция, которую модель примет за поручение.
- Поручение даёт человек — прочитанный текст задачей не становится.
- Контекст обращения к внешней модели проверяется до отправки.
- Попытка фиксируется как событие безопасности, а не теряется в логах.
Ответ инструмента — тоже вход для модели
Материалы внешних сервисов могут стать контекстом запроса, а ответ внешней модели — входом для следующего шага агента. Эти данные проверяются по правилам ИБ.
- Материалы в контексте запроса и ответ внешней модели проверяются по правилам ИБ.
- Категории и реакцию по каждому источнику задаёт ваша ИБ.
- В логе не просто «инструмент вызван» — видно, что он вернул и что дошло до модели.