Инференс нейросети: что это и от чего зависят скорость и стоимость
Инференс это этап, на котором обученная модель выдаёт ответ на ваш запрос. Обучение происходит один раз у разработчика, а инференс случается на каждом вызове и оплачивается по токенам. Скорость и цена зависят от размера модели, длины ответа и кэширования входа.
Содержание
Что такое инференс
Инференс это проход запроса через уже обученную модель. Веса при этом не меняются, модель просто вычисляет ответ. Всё, что делает ваш код при вызове API, это инференс чужой обученной модели на вашем запросе.
Обучение и инференс различаются по затратам принципиально. Обучение требует тысяч GPU на недели, инференс укладывается в секунды на одном ускорителе. Поэтому доступ по API дешевле, чем содержать свою инфраструктуру ради нескольких задач.
Почему ответ генерируется по шагам
Вход модель обрабатывает параллельно: весь текст запроса считается за один проход. А ответ генерируется токен за токеном, каждый следующий опирается на предыдущие. Отсюда две особенности.
Первая: длинный ответ всегда медленнее короткого, причём время растёт примерно линейно. Вторая: выходные токены дороже входных, потому что на каждый нужен отдельный проход. Если приложению хватает одной строки, просите одну строку.
От чего зависит скорость
От размера модели: флагман на сотни миллиардов параметров отвечает медленнее компактной модели. От длины ответа: 500 токенов генерируются дольше, чем 50. От загрузки провайдера: в пиковые часы очередь может растянуть ожидание.
Длина входного текста влияет меньше, чем кажется: вход обрабатывается параллельно. Но она занимает контекст, и при переполнении окна запрос просто не пройдёт.
Сколько это стоит
Цена инференса задаётся за миллион входных и выходных токенов, и у каждой модели в каталоге эти ставки свои.
| Модель | Ввод / 1M | Вывод / 1M |
|---|---|---|
| GPT-5.6 Luna | 15,77 ₽ | 92,97 ₽ |
| Claude Haiku 5.5 | 11,57 ₽ | 57,61 ₽ |
| DeepSeek V4.1 Flash | 21,89 ₽ | 90,61 ₽ |
Как ускорить и удешевить
Первое: сократите выход. Для классификации просите один класс, для проверки один бит ответа, а не рассуждение. Второе: включите кэширование, если системный промпт большой и повторяется. Третье: возьмите модель под задачу, а не максимальную по всем параметрам.
Четвёртое: не тащите историю диалога целиком. Для чата достаточно последних сообщений и краткого резюме предыдущих. Это уменьшает и время, и счёт.
Про выбор модели и маршрутизацию запросов написано в документации, а цены за миллион токенов видны в каталоге.
Частые вопросы
Инференс это простыми словами что?
Это работа обученной модели на конкретном запросе: вы отправляете текст, модель вычисляет ответ. Веса при этом не меняются, поэтому инференс дешевле и быстрее обучения. Всё, что происходит при вызове API в каталоге LLM Mart, это инференс модели на вашем запросе с оплатой по токенам.
Почему длинный ответ стоит дороже?
Выходные токены генерируются по одному, каждый требует отдельного прохода модели, поэтому тариф на выход выше входа, иногда в несколько раз. Отсюда практическое правило: просите ответ нужной длины и не заказывайте рассуждение там, где достаточно одной строки. На потоке запросов это меняет счёт сильнее смены модели.
От чего зависит скорость ответа?
От размера модели, длины ответа и загрузки провайдера. Вход обрабатывается параллельно, поэтому длинный промпт замедляет ответ меньше, чем длинная генерация. Компактные модели вроде Haiku или Flash отвечают быстрее флагманов. Точное время зависит от задачи, поэтому мерить стоит на своих запросах.
Что такое время до первого токена?
Это пауза между отправкой запроса и началом ответа. Она зависит от длины входа и от загрузки модели, а не от длины ответа. В потоковом режиме клиент видит первые символы раньше, чем сформирован весь текст, поэтому интерфейс кажется быстрее. Для чата это важнее общей длительности запроса.
Можно ли запустить инференс на своём железе?
Да, если веса модели открыты, как у Llama, Gemma или GPT-OSS. Нужны GPU подходящего объёма памяти и обслуживание. На старте это дороже, чем вызов по API в каталоге LLM Mart, потому что железо покупается заранее. Свой инференс выигрывает при устойчивом объёме и требованиях к контуру.
Комментарии 0