OpenAI: GPT-3.5 Turbo (batch)

curl -s "https://llmmart.ru/api/v1/batches" \
  -H "Authorization: Bearer $LLM_ROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "requests": [{
      "custom_id": "1",
      "method": "POST",
      "url": "/v1/chat/completions",
      "body": {
        "model": "openai/gpt-3.5-turbo:batch",
        "messages": [{"role": "user", "content": "Привет!"}]
      }
    }]
  }'

# результат: GET https://llmmart.ru/api/v1/batches/<id из ответа>

import requests

# Пакетный режим: до 20 запросов в одном задании, поток не поддерживается.
task = requests.post(
    "https://llmmart.ru/api/v1/batches",
    headers={"Authorization": "Bearer sk-..."},  # API-ключ из личного кабинета
    json={
        "requests": [
            {
                "custom_id": "1",
                "method": "POST",
                "url": "/v1/chat/completions",
                "body": {
                    "model": "openai/gpt-3.5-turbo:batch",
                    "messages": [{"role": "user", "content": "Привет!"}],
                },
            }
        ]
    },
).json()

print(task["id"])
# Результат читается отдельным запросом:
# requests.get(f"https://llmmart.ru/api/v1/batches/{task['id']}", headers=...)

// Пакетный режим: до 20 запросов в одном задании, поток не поддерживается.
const response = await fetch("https://llmmart.ru/api/v1/batches", {
  method: "POST",
  headers: {
    Authorization: "Bearer " + process.env.LLM_ROUTER_API_KEY,
    "Content-Type": "application/json",
  },
  body: JSON.stringify({
    requests: [
      {
        custom_id: "1",
        method: "POST",
        url: "/v1/chat/completions",
        body: {
          model: "openai/gpt-3.5-turbo:batch",
          messages: [{ role: "user", content: "Привет!" }],
        },
      },
    ],
  }),
});

const task = await response.json();
console.log(task.id);
// Результат читается отдельным запросом: GET https://llmmart.ru/api/v1/batches/{id}