Модели и маршрутизация

Какие модели доступны вашей компании и как приложения к ним обращаются. Запросы можно отправлять через OpenAI SDK или Anthropic SDK — маршрутизация и политики о

Кому подходит

Администраторам — включение и отключение моделей для организации.
Разработчикам — выбор модели в запросе с API-ключом.

Каталог моделей

Платформа поддерживает несколько поставщиков (OpenAI, Anthropic, локальные модели и др.). Полный список доступных моделей виден в личном кабинете (раздел Модели) или через API.

Примеры идентификаторов моделей:

ID модели	Поставщик
`gpt-4o-mini`	OpenAI
`claude-3-5-sonnet`	Anthropic

Администратор включает только нужные модели для своей компании через кабинет или PATCH /api/organization/models. Если список enabledModels пуст, считаются доступными все модели, разрешённые на платформе.

Каждый API-ключ дополнительно ограничивает подмножество моделей при создании.

Как это работает

Администратор включает модели в кабинете.
Разработчик создаёт API-ключ с нужным списком моделей.
Приложение отправляет запрос с ключом и полем model — см. Текстовый запрос.

LLM Mart направляет запрос к нужной модели по типу операции (чат, embeddings, изображения, realtime и т.д.) и формату ответа (json, поток SSE, multipart, WebSocket, фоновая задача).

Биржа провайдеров

Одна логическая модель может быть доступна через нескольких поставщиков. Платформа выбирает маршрут с учётом цены, скорости и доступности — в том числе приоритета «экономия ↔ скорость», заданного на API-ключе.

Приложению не нужно знать, у какого провайдера в данный момент отвечает модель: достаточно указать model в запросе. Если нужен конкретный поставщик или площадка, в тело добавляют объект provider — выбор поставщика и площадки.

Устойчивость при сбое поставщика

Если основной маршрут недоступен, запрос может быть автоматически перенаправлен на запасную модель в настроенной цепочке. Код приложения менять не нужно.

В журнале запросов видно, какая модель фактически ответила и сработали ли политики. Расход остаётся привязан к исходному API-ключу и клиентской системе.

Список моделей по API

GET /v1/models и карточка GET /v1/models/{model} отдают модели, которые может вызвать этот ключ. Без заголовка anthropic-version поля карточки — id, object, created, owned_by. С заголовком ответ в форме Anthropic, со страницами limit, after_id и before_id.

Если у модели нет маршрута для выбранного типа запроса, вызов вернёт 404 model_not_found, даже когда модель видна в кабинете.

Адрес API моделей и полный список методов — Обзор API моделей.

Статус в кабинете

В разделе Модели отображается, доступны ли модели и сколько их в каталоге. Через API платформы: GET /api/organization/gateway/status (статус API моделей) и GET .../models.

Проверка каталога

TOKEN="<token>"

curl -s "https://www.llmmart.ru/api/organization/models" \
  -H "Authorization: Bearer $TOKEN"

В ответе — статус и массив models с флагом enabled.