Конфигурация нексуса
Запись таблицы Нексусы (mai_nexus_configuration) – конфигурация нексуса, которая описывает маршрут, действия и свойства, необходимые для подключения к выбранной нейросети.
На форме конфигурации вы задаете:
- параметры подключения: экземпляр ИИ, конечную точку, модель и способ авторизации;
- правила биллинга, по которым считается расход обращений к нексусу в кредитах;
- удаление полей из ответа нейросети, например расхода токенов, прежде чем ответ получит клиент;
- защиту персональных данных в запросах;
- запасной нексус на случай недоступности основного;
- тестовые запросы, чтобы проверить соединение до ввода конфигурации в эксплуатацию.
Требуемые роли:
- Чтение – mai_reporter и mai_billing_manager, а также владельцы лицензий.
- Создание – mai_admin.
- Обновление – mai_admin.
- Удаление – mai_admin.
Создание записи конфигурации нексуса
- Перейдите в навигаторе в Управление инсталляциями приложений (MAI) → Маршрутизация ИИ → Нексусы.
- Нажмите Создать и заполните поля вкладок формы.
- На вкладке Биллинг выберите тариф, задайте собственные правила биллинга или отключите биллинг. Без этого запись не сохранится. Читайте подробнее в статье Биллинг нексуса.
- Нажмите Сохранить, чтобы применить изменения. Связанные списки появляются на форме только после сохранения записи.
- Создайте тестовый запрос и нажмите Test Configuration в правом верхнем углу формы, чтобы проверить соединение с нейросетью.
- В случае успешного соединения выберите в поле Состояние значение В эксплуатации, чтобы ввести конфигурацию в эксплуатацию.
- Нажмите Сохранить или Сохранить и выйти, чтобы применить изменения.
Конфигурация доставляется на платформу автоматически после сохранения записи. Читайте подробнее в статье Доставка конфигураций.
Поля формы сгруппированы по четырем вкладкам: Общее, Расширенные параметры, Декорация и Биллинг. Обязательные поля расположены на вкладке Общее. На вкладках Расширенные параметры и Биллинг обязательность полей зависит от других настроек.
Поля вкладки Общее
| Поле | Обязательно | Описание |
|---|---|---|
| Name | Да | Укажите уникальное наименование конфигурации нексуса. |
| Состояние | Нет | Выберите состояние конфигурации. Доступные опции:
|
| Method | Нет | Укажите HTTP-метод для взаимодействия с нексусом. Доступные опции:
Значение по умолчанию: POST. |
| Model | Нет | Укажите модель, к которой обращается нексус. Доступны только модели из списка Доступные модели выбранного экземпляра ИИ. |
| Экземпляр ИИ | Да | Укажите экземпляр ИИ, к которому обращается нексус. Выбранный экземпляр определяет, какие модели, конечные точки и токены можно указать в этой конфигурации. |
| Экземпляр ИИ.Провайдер | Нет | Провайдер выбранного экземпляра ИИ. Поле заполняется автоматически и доступно только для чтения. |
| Экземпляр ИИ.Хост | Нет | Хост выбранного экземпляра ИИ. Поле заполняется автоматически и доступно только для чтения. |
| Endpoint | Да | Укажите конечную точку, на которую будут отправляться запросы. Доступны только конечные точки из списка Доступные конечные точки выбранного экземпляра ИИ. |
| Auth Type | Нет | Укажите тип авторизации. Доступные опции:
|
| Auth Token | Да/Нет | Укажите запись токена для авторизации. Доступны только токены из списка Доступные токены выбранного экземпляра ИИ. Поле обязательно, если в поле Auth Type выбрано Bearer. |
| Auth Param | Нет | Укажите параметры авторизации в нейросети. Поле отображается, если в поле Auth Type выбрано OAuth 2.0. |
| Настройки HTTP-клиента | Нет | Установите флажок, чтобы применять к запросам параметры HTTP-клиента: Query Params, Headers, Added Body и Response to base64. Если флажок снят, заполненные значения этих полей сохраняются в записи, но в конфигурацию нексуса не попадают и на запросы не влияют. |
| Response to base64 | Нет | Установите флажок, если запросы к текущей нейросети должны быть сформированы в виде строки в кодировке Base64. Настройка применяется, только если установлен флажок Настройки HTTP-клиента. |
| Query Params | Нет | Укажите параметры строки запроса, которые нужно добавлять к каждому обращению к нейросети, в том числе параметры авторизации, если в поле Auth Type выбрано Query Param. В значении можно использовать местозаполнитель {{AUTH_TOKEN}}. Параметры применяются, только если установлен флажок Настройки HTTP-клиента. Параметры, которые передал пользователь, доходят до нейросети без изменений. Если имя параметра совпадает с заданным здесь, применяется значение из конфигурации. |
| Headers | Нет | Укажите заголовки запроса, в том числе параметры авторизации, если в поле Auth Type выбрано Header. В значении можно использовать местозаполнитель {{AUTH_TOKEN}}. Заголовки применяются, только если установлен флажок Настройки HTTP-клиента. |
| Added Body | Нет | Укажите дополнительные параметры запроса, например текст промпта, название модели или настройки генерации. Параметры применяются, только если установлен флажок Настройки HTTP-клиента. |
Поля вкладки Расширенные параметры
| Поле | Обязательно | Описание |
|---|---|---|
| Model path | Нет | Укажите путь к модели, если он отличается от ее названия. Значение переопределяет название модели в запросах. Заполните поле, если провайдер ожидает ключ модели в нестандартном формате. |
| Bypass | Нет | Укажите запись конфигурации, которая используется, если текущий нексус:
Запрос через эту конфигурацию выполняется в рамках того же обращения, поэтому общее время ожидания равно сумме значений Timeout обеих конфигураций. |
| Действие фильтра данных | Нет | Укажите запись действия из справочника Действия фильтра данных, которое будет выполняться до отправки запроса в нейросеть. |
| Timeout | Нет | Укажите время ожидания ответа от конечной точки в секундах. Время ответа зависит от нейросети и сложности задачи и может составлять от нескольких секунд до нескольких часов. Значение по умолчанию: 600 секунд. |
| Редактировать ответ Нексуса | Нет | Установите флажок, чтобы удалять из ответа нейросети поля, перечисленные в поле Ключи для удаления, прежде чем ответ получит клиент. |
| Ключи для удаления | Да/Нет | Укажите ключи ответа, которые нужно удалить, в виде JSON-массива. Путь начинается с response., ключи разделяются точкой. Ключ удаляется вместе с вложенным содержимым. Например:
Поле отображается и обязательно, если установлен флажок Редактировать ответ Нексуса. Ключи удаляются из успешных ответов в формате JSON, при потоковой передаче – из события с расходом токенов модели ( |
Поля вкладки Декорация
На вкладке указывается декорация нексуса. Остальные поля показывают ее настройки: они заполняются автоматически из выбранной записи и доступны только для чтения – чтобы изменить их, откройте саму запись декорации.
| Поле | Обязательно | Описание |
|---|---|---|
| Decoration | Нет | Укажите декорацию нексуса – описательную сущность, включающую скрипт запроса, метод и другие атрибуты нексуса, которые будут доступны на уровне клиента. |
| Decoration.Type | Нет | Тип нексуса из выбранной декорации. |
| Decoration.Method | Нет | Метод класса API из выбранной декорации. |
| Decoration.Operation State | Нет | Состояние нексуса, которое видит клиент. |
| Decoration.Decommission date | Нет | Дата вывода нексуса из эксплуатации. |
| Decoration.Ainergy safe cloud | Нет | Признак того, что нексус хранится в безопасном облаке Ainergy. |
| Decoration.Вызов функции | Нет | Признак того, что нексус может вызывать функции при выполнении запросов. |
| Decoration.Is Default | Нет | Признак нексуса по умолчанию для своего типа. |
| Decoration.Description | Нет | Описание из выбранной декорации. |
| Decoration.Request script | Нет | Скрипт преобразования запроса из выбранной декорации. |
| Decoration.Response script | Нет | Скрипт преобразования ответа из выбранной декорации. |
Вкладка Биллинг
На вкладке задаются правила биллинга нексуса: расчет по тарифу или по собственным правилам, возврат кредитов в ответе API и отключение биллинга. Читайте подробнее в статье Биллинг нексуса.
Действия конфигурации нексуса
| UI-действие | Описание |
|---|---|
| Test Configuration | Нажмите, чтобы проверить настроенное соединение с нейросетью. Кнопка расположена в правом верхнем углу формы. |
Связанные списки
- Nexus Test Case – список тестовых запросов к текущей конфигурации нексуса.
- Nexus Test Result – результат отправки тестового запроса.
Состояние Черновик
В состоянии Черновик конфигурацию нексуса можно дорабатывать, пока она не готова к использованию. Такой нексус на платформу не доставляется. Конфигурация доставляется на платформу в состояниях В разработке, В эксплуатации и Устарел.
В черновике ошибки в правилах биллинга не мешают сохранить запись, кроме незаполненных обязательных значений. Читайте подробнее в статье Биллинг нексуса.
Состояние конфигурации и поле Operation State декорации означают разное. Состояние определяет, доставляется ли конфигурация на платформу, и видно администратору в AINIMA. Значение Operation State видит клиент в интерфейсе потребления.
Вернуть конфигурацию в состояние Черновик нельзя, если нексус уже добавлен в лицензии. При попытке сохранить такое изменение отображается сообщение Нексус не может быть возвращен в состояние черновика, так как он используется в лицензиях. Чтобы открыть список этих лицензий, нажмите на слово лицензиях в сообщении: фильтр в списке уже подставлен. Уберите нексус из лицензий и повторите изменение состояния.