Компактизация контекста
У каждого нексуса есть контекстное окно – ограничение на объем текста, который он может держать в памяти в рамках одной сессии. Ограничение задается как порог, который постоянно отслеживается во время диалога. Когда в длинном диалоге сообщения превышают лимит этого окна, ассистент выполняет компактизацию беседы, чтобы она могла продолжаться дальше без потери смысла.
Компактизация происходит автоматически. Во время этого процесса в чате отображается соответствующее сообщение.
Настройка компактизации
Настройка выполняется на вкладке Компактизация формы ассистента.
При создании нового ассистента все поля вкладки уже будут заполнены значениями по умолчанию, которые подходят для большинства ассистентов. Обычно достаточно проверить Нексус компактизации и оставить остальное без изменений.
Рекомендуем изменять расширенные параметры, только если вы знаете, на что они влияют.
Основные параметры
| Поле | Обязательно | Описание |
|---|---|---|
| Нексус компактизации | Да | Укажите нексус, который составляет краткое содержание при сворачивании диалога. |
| Порог компактизации | Да | Укажите, насколько заполненным должно стать контекстное окно, чтобы запустить компактизацию. Например, значение 0,80 соответствует заполнению на 80 %. |
| Отключить ИИ-саммаризацию | Нет | Установите флажок, чтобы составлять краткое содержание упрощенным способом без использования ИИ. В этом случае система продолжает учитывать пользовательские запросы, действия ассистента, результаты инструментов и ошибки, но формирование краткого содержания происходит алгоритмически по шаблонной структуре. По умолчанию флажок снят. Установите флажок, чтобы отключить создание краткого содержания с помощью нексуса и использовать упрощенный способ. По умолчанию каждое сообщение сокращается до 700 символов, а итоговое краткое содержание — до 8000 символов. |
Расширенные параметры
Установите флажок Дополнительно, чтобы открыть поля дополнительной настройки компактизации. Используя эти параметры вы сможете определить, какую часть диалога сохранять дословно, какую сворачивать, а также насколько объемным делать краткое содержание.
| Поле | Обязательное | Описание |
|---|---|---|
| Размер контекста (токены) | Да | Укажите размер контекстного окна в токенах для выбранного нексуса. На основании этого значения будет определен порог. |
| Мин. длина контекста (токены) | Да | Укажите значение в токенах, до превышения которого компактизация не производится. |
| Резерв токенов на ответ | Да | Укажите количество токенов, может быть отведено для ответа ассистента. |
| Служебные токены платформы | Да | Укажите количество токенов, которые могут быть потрачены на служебные нужды платформы. |
| Минимум сообщений в хвосте | Д а | Укажите минимальное число последних сообщений, которые всегда сохраняются дословно. |
| Верхний предел минимального хвоста | Да | Укажите максимальное число последних сообщений, которые всегда сохраняются дословно. |
| Доля бюджета на хвост | Да | Определите доступный объем для последних сообщений. |
| Защитить первые N | Да | Укажите, сколько первых сообщений диалога всегда должны быть развернуты. |
| Макс. доля токенов резюме | Да | Укажите максимальную долю объема, которую может занять краткое содержание. |
| Мин. токенов резюме | Да | Укажите минимальный размер краткого содержания в токенах. |
| Потолок токенов резюме | Да | Укажите максимальный размер краткого содержания. |
| Макс. символов фоллбэк-резюме | Да | Установите ограничение на максимальное количество символов в упрощенном кратком содержании, то есть созданном без обращения к нексусу. |
| Макс. символов на сообщение в фоллбэк-резюме | Да | Установите ограничение на длину одного сообщения в упрощенном кратком содержании. |
| Начало аргументов инструмента | Да | Укажите, какую часть аргументов вызова инструмента сохранять. |
| Длина усечения результата инструмента | Да | Задайте длину старых результатов работы инструментов, которая будет сохранена. |
Принцип работы
- Ассистент отслеживает объем диалога и сравнивает его с установленным порогом.
- При превышении порога старые сообщения (кроме защищенных первых и последних) сворачиваются в краткое содержание.
- Последние сообщения сохраняются дословно, чтобы беседа продолжалась без разрывов.
- Краткое содержание подставляется в начало диалога вместо свернутых сообщений.
Таким образом беседа продолжается сколько необходимо, а ассистент помнит ее смысл.