LLM Mart
Начать
Meta.llama

Meta: Llama 3.1 70B Instruct

meta-llama/llama-3.1-70b-instruct

Модель последнего класса Meta (Llama 3.1) выпущена в различных размерах и вкусах. Эта версия 70B, настроенная на инструкции, оптимизирована для использования в высококачественных диалогах. Он продемонстрировал высокие результаты по сравнению с ведущими моделями с закрытым исходным кодом при человеческих оценках. Чтобы узнать больше о выпуске модели, нажмите здесьОткрывается в новой вкладке. Использование этой модели регулируется Политикой допустимого использования Meta.Открывается в новой вкладке.

Модальности
Вход: Текст
Выход: Текст
Цена ввод / вывод
Вводот44 ₽/M
Выводот44 ₽/M
Кэшот90 ₽/M
за 1M токенов
Контекст131K
Релиз23 июл. 2024 г.

Доступные площадки

Модель доступна на этих площадках.
Вы можете выбрать конкретную площадку, провайдера, обеспечивающего доступ к ней, либо воспользоваться нашими типовыми правилами маршрутизации.

ПлощадкаПровайдерВходВыходКэшОшибки tool-callingОшибки structured output
CoreWeave
bf16
лучший провайдер: 1polza90 ₽/M90 ₽/M90 ₽/M——
———
———
WandB
bf16
лучший провайдер: 1polza90 ₽/M90 ₽/M90 ₽/M——
———
———
AllTokens
n/a
лучший провайдер: 1AllTokens50 ₽/M50 ₽/M———
———
———
SprutDock
n/a
лучший провайдер: 1SprutDock50 ₽/M50 ₽/M———
———
———
proxyapi
n/a
лучший провайдер: 1proxyapi51 ₽/M51 ₽/M———
———
———
wandb-legacy
bf16
лучший провайдер: 1polza90 ₽/M90 ₽/M90 ₽/M——
———
———
DeepInfra
fp8
лучший провайдер: 1ru_openrouter44 ₽/M44 ₽/M—83 %0,5 %
второй провайдер: 2routerai44 ₽/M44 ₽/M—
———
deepinfra/turbo
n/a
лучший провайдер: 1polza45 ₽/M45 ₽/M———
———
———
Hyperbolic
n/a
лучший провайдер: 1polza45 ₽/M45 ₽/M———
———
———
Neurly
n/a
лучший провайдер: 1Neurly53 ₽/M53 ₽/M———
———
———
bothub
n/a
лучший провайдер: 1bothub54 ₽/M54 ₽/M———
———
———
ZvenoAI
n/a
лучший провайдер: 1ZvenoAI75 ₽/M75 ₽/M———
———
———
Amazon Bedrock
n/a
лучший провайдер: 1routerai79 ₽/M79 ₽/M———
второй провайдер: 2ru_openrouter79 ₽/M79 ₽/M—
третий провайдер: 3polza81 ₽/M81 ₽/M—
Together
n/a
лучший провайдер: 1polza99 ₽/M99 ₽/M———
———
———
VseGPT
n/a
лучший провайдер: 1VseGPT120 ₽/M120 ₽/M———
———
———

Бенчмарки

Для этой модели пока нет опубликованных результатов бенчмарков.

Быстрый старт

Готовый код для вызова модели. API совместим с OpenAI — достаточно указать base_url LLM Mart. Меняется только slug модели: meta-llama/llama-3.1-70b-instruct.

curl -s "https://llmmart.ru/api/v1/chat/completions" \
  -H "Authorization: Bearer $LLM_ROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/llama-3.1-70b-instruct",
    "messages": [
      {"role": "user", "content": "Привет!"}
    ]
  }'

Нужен API-ключ организации — создайте ключ в личном кабинете или см. инструкцию. Подробнее: первый запрос к модели и примеры SDK.

Ещё модели от Meta.llama

Meta: Llama 3.1 70B Instruct — цены и детали API | LLM Mart