Skip to main content

Конфигурация нексуса

MAI Nexus Configuration – конфигурация нексуса, которая описывает маршрут, действия и свойства, необходимые для подключения к выбранной нейросети.

Запись конфигурации нексуса содержит следующие элементы:

  • Определение параметров подключения.
  • Настройка путей учета трафика.
  • Настройка политики безопасности.
  • Конфигурация отказоустойчивости.
  • Тестирование соединения.

Конфигурация поддерживает доступ к параметрам Prompt Tokens Usage Path и Completion Tokens Usage Path. Эти настройки необходимы для точного учета входящего и исходящего трафика, что позволяет системе корректно рассчитывать итоговую стоимость каждой сессии и контролировать потребление ресурсов.

Процесс обработки запроса организован по строгому протоколу, обеспечивающему безопасность и прозрачность каждой сессии:

  1. Маршрутизация через прокси. Сформированный запрос отправляется в прокси-сервер Ainergy, который выступает единой точкой входа.
  2. Валидация и безопасность. На стороне прокси происходит комплексная проверка конфигурации. Система анализирует параметры запроса, включая фильтрацию персональных данных для обеспечения соответствия корпоративным политикам безопасности.
  3. Авторизация. После успешной проверки выполняется авторизация через API нейросети с использованием предоставленных учетных данных.

Для обеспечения максимальной доступности сервиса в системе реализован механизм автоматического восстановления: система совершает до трех попыток обращения к конечной точке. В случае неудачи или недоступности основного узла, запрос автоматически перенаправляется на запасную конфигурацию – Bypass, что гарантирует бесперебойную работу даже при технических сбоях на стороне провайдера нейросети.

Завершающим этапом настройки является тестирование соединения, которое позволяет убедиться в корректности всех заданных параметров перед запуском конфигурации в промышленную эксплуатацию.

Статусная модель позволяет разделять записи, которые уже введены в эксплуатацию, находятся в стадии разработки или готовятся к выводу из эксплуатации.

Создание записи конфигурации нексуса​

  1. Перейдите в навигаторе в Managing Application Installation → MAI Nexus.
  2. Нажмите Создать и заполните поля формы.
  3. Нажмите Test Connections. В случае успешного соединения переведите статус In operation, чтобы ввести конфигурацию в эксплуатацию.
  4. Передайте конфигурационные файлы для внедрения на промежуточный экземпляр (middleware).

Поля Формы MAI Nexus Configurations​

ПолеОбязательноОписание
NameДаУкажите уникальное наименование конфигурации нексуса.
NN InstanceНетУкажите экземпляр ИИ-модели или сервиса, развернутый на конкретной инфраструктуре из справочника NN Instance.
StateНетВыберите статус конфигурации. Доступные опции:
  • In development – конфигурация в разработке или ожидает ввода в эксплуатацию;
  • Operation – конфигурация используется;
  • Deprecated – конфигурация является устаревшей;
  • Decommissioned – конфигурация выведена из эксплуатации.
MethodНетУкажите HTTP-метод для взаимодействия c нексусом. Доступные опции:
  • GET
  • POST – установлен по умолчанию
  • PUT
  • PATCH
NN Instance HostНетУкажите хост экземпляра нейросети.
EndpointНетУкажите конечную точку, на которую будут отправляться запросы. из справочника NN Endpoints.
Query ParamsНетУкажите параметры авторизации в нейросети, если в поле Auth Type выбрано Query Params.
HeadersНетУкажите параметры авторизации в нейросети, если в поле Auth Type выбрано Headers. Допускается использование плейсхолдера {{AUTH_TOKEN}}.
Added BodyНетУкажите дополнительные параметры запроса, например, текст промпта, название модели или настройки генерации.
Prompt Tokens Usage PathНетУкажите путь к полю в JSON-ответе нейросети, которое содержит количество токенов, затраченных на обработку входящего запроса (включая системную инструкцию, историю диалога и текущий промпт). Например, usage.input_tokens.
Completion Tokens Usage PathНетУкажите путь к полю в JSON-ответе нейросети, которое содержит количество токенов, затраченных на генерацию ответе. Например, usage.output_tokens.
ModelНетУкажите модель, к которой необходимо обращаться при использовании текущего нексуса.
Model PathНетУкажите путь к модели, если он отличается от ее названия, чтобы переопределить его в запросах.

Ключ модели для некоторых провайдеров может ожидаться в нестандартном формате.

Auth TypeНетУкажите тип авторизации. Доступные опции:
  • Bearer
  • Header
  • OAuth 2.0
  • Query Params
Auth TokenНетУкажите запись токена из справочника для авторизации, если в Auth Type выбрано Bearer.
Auth ParamНетУкажите параметры авторизации в нейросети, если в поле Auth Type выбрано OAuth 2.0.
TimeoutНетУкажите время ожидания запроса от конечной точки в секундах. Обратите внимание, что время ожидания может варьироваться от нескольких секунд до нескольких часов в зависимости от типа операций и их вычислительной сложности для конкретной нейросети и поставленной задачи. Значение по умолчанию: 600 секунд.
BypassНетУкажите запись другой конфигурации, которая будет использована, если текущий нексус недоступен (код ошибки 500+).
Response to base64НетУстановите флажок, если запросы к текущей нейросети должны быть сформированы в виде строки в кодировке Base64.
DecorationsНетОписательная сущность, включающая скрипт запроса, метод и другие атрибуты нексуса, которые будут доступны на уровне клиента.
Preflow actionНетУкажите запись действия из справочника MAI Nexus PII, которое будет выполняться до отправки запроса в нейросеть.

Действия MAI Nexus Configurations​

UI-действиеОписание
Test configurationНажмите, чтобы проверить настроенное соединение с нейросетью.
Copy JSONНажмите, чтобы скопировать файл конфигурации в формате JSON.
Copy YAMLНажмите, чтобы скопировать файл конфигурации в формате YAML.
Download YAMLНажмите, чтобы скачать файл конфигурации в формате YAML.
Связанные списки​
  • Nexus Test Case – список тестовых запросов к текущей конфигурации нексуса.
  • Nexus Test Result – результат отправки тестового запроса.