На бесплатном уроке 16 ноября сравнят настройки Codex, Pi и OMP и покажут, какие инструкции помогают модели, а какие мешают.

image

Фото: securitylab.ru

ИИ-агент может начать ошибаться ещё до получения задачи от пользователя. Причина иногда скрывается в избытке инструкций, которые система заранее передаёт нейросети. Описания инструментов, подключённые навыки, правила проекта и настройки памяти занимают место в контексте и могут мешать модели находить действительно важную информацию,сообщает securitylab.ru.

Контекст включает всё, что нейросеть получает для обработки запроса: сообщения пользователя, системные инструкции, документы и результаты работы инструментов. Чем больше посторонних сведений попадает в ограниченное контекстное окно, тем сложнее модели правильно использовать нужную информацию. В исследовании Lost in the Middle учёные обнаружили, что языковые модели нередко хуже находят важные сведения в середине длинного текста, чем в начале или конце.

Дополнительную нагрузку создают инструменты ИИ-агента. Каждый подключённый навык требует инструкций, а похожие функции могут затруднять выбор правильного действия. Разработчики Anthropic в рекомендациях по управлению контекстом советуют передавать информацию постепенно, вместо того чтобы загружать все документы и правила сразу. Такой подход позволяет агенту обращаться к нужным сведениям непосредственно во время работы.

Проблемы возникают и при совместной работе нескольких агентов. Если первый исполнитель неправильно понимает задачу, остальные могут продолжить работу с ошибочными результатами. Увеличение количества агентов не гарантирует повышения качества без проверки промежуточных действий и чётких критериев завершения задачи.

Влияние перегруженного контекста на практике покажут 16 ноября в 19:00 МСК на бесплатном уроке CyberED. Исследователь Никита Шилов сравнит результаты одной модели с минимальным и избыточным количеством инструкций, разберёт настройки Codex, Pi и OMP, а также покажет ошибки, возникающие из-за подключённых навыков и правил памяти.

Для повышения надёжности ИИ-агентов разработчикам важно не просто расширять контекст, а выбирать действительно необходимые сведения, ограничивать лишние инструкции и проверять результаты каждого этапа работы.

Источник securitylab.ru

 


Популярные новости