Что такое токены в нейросетях: как они считаются и почему от них зависит цена API
Токен это кусок текста, который модель обрабатывает за один шаг: обычно часть слова, иногда целое слово или пробел с ним. Цена API считается за токены, а не за слова, поэтому одна и та же страница на русском и английском стоит по-разному. Понимание токенажа объясняет, откуда берутся цифры в счёте.
Содержание
Токен это не слово
Модель не работает с буквами и не работает со словами. Она разбивает текст на куски по частям слов: «программирование» может разрезаться на три-четыре токена, а «кот» останется одним. Такой способ позволяет описывать любой текст конечным словарём.
Отсюда первое практическое следствие: считать объём в словах бессмысленно. Одна и та же мысль на русском и английском даст разное число токенов, потому что словари обучены в основном на английском.
Почему русский текст дороже
В типичном токенизаторе английское слово занимает один-два токена. Русское слово, особенно длинное и с приставкой, может разбиться на четыре-шесть кусков. Значит, на одинаковый по смыслу текст русская версия потребует больше токенов, и счёт будет выше.
Причина в обучающих данных, а не в устройстве конкретной модели. Планируя бюджет, добавляйте запас на русский текст: в среднем он даёт больше токенов на ту же страницу.
Вход и выход считаются по-разному
Входные токены это всё, что вы отправили: системный промпт, история диалога, документы, вопрос. Выходные это ответ модели. Выход почти всегда дороже входа, иногда в несколько раз.
Отсюда простая оптимизация: сокращайте не только вопрос, но и ответ. Если приложению нужен короткий статус, просите одну строку, а не абзац. На потоке запросов это меняет счёт сильнее, чем смена модели.
| Модель | Ввод / 1M | Вывод / 1M |
|---|---|---|
| DeepSeek V4.1 Flash | 22,4 ₽ | 91,56 ₽ |
| GPT-5 | 155,05 ₽ | 1 240,4 ₽ |
| Claude Sonnet 5.5 | 169,75 ₽ | 830,94 ₽ |
Контекст измеряется в токенах
Когда пишут «контекст 128K», речь о токенах: примерно сотня страниц текста. Миллион токенов это уже большая документация или средний репозиторий. Окно ограничивает не длину вопроса, а всё, что модель видит за раз: инструкции плюс данные плюс ответ.
Превышение окна даёт ошибку, а не усечение. Поэтому длинные документы либо режут на части, либо отбирают релевантные фрагменты через поиск по эмбеддингам.
Как узнать расход
В каждом ответе API есть поле usage с числом входных и выходных токенов. Ориентироваться на него надёжнее любых прикидок: токенизатор у моделей разный, и посчитать вручную не получится.
В кабинете LLM Mart расход виден по каждому запросу: модель, токены, сумма в рублях. Кэш-чтение показывается отдельной строкой и стоит дешевле обычного входа, что важно для агентов с повторяющимся промптом. Подробнее про учёт написано в документации по расходам.
Частые вопросы
Сколько токенов в одном слове?
Для английского текста грубо один токен на слово, для русского в среднем больше: длинные слова и приставки разбиваются на несколько кусков. Точное число зависит от модели и её токенизатора. Ориентироваться на поле usage в ответе API надёжнее любой прикидки, потому что у разных моделей каталога LLM Mart разбиение отличается.
Почему ответ модели стоит дороже вопроса?
Выходные токены тарифицируются по более высокой ставке, потому что генерация требует больше вычислений, чем чтение входа. В каталоге LLM Mart цены входа и выхода указаны отдельно, и у большинства моделей разница кратная. Отсюда правило: просите короткий ответ, если приложению не нужен длинный текст.
Что такое окно контекста в токенах?
Это максимальный объём текста, который модель видит за один запрос: инструкции, история диалога, документы и ответ вместе. Контекст 128K это примерно сотня страниц, миллион токенов это крупная документация или репозиторий из каталога LLM Mart. При превышении окна запрос завершается ошибкой, а не обрезкой текста.
Как уменьшить расход токенов?
Сократите системный промпт, не тащите всю историю диалога без нужды и просите ответ нужной длины. Для длинных инструкций включите кэширование: тогда повторяющийся ввод тарифицируется по пониженной ставке в каталоге LLM Mart. Отбор релевантных фрагментов через эмбеддинги дешевле, чем отправка базы целиком.
Токены и символы это одно и то же?
Нет. Символ это единица текста, а токен это кусок, которым оперирует модель, и он может содержать несколько символов или быть их частью. В английском слове из семи букв обычно один токен, в русском их может быть несколько. Поэтому стоимость по символам посчитать нельзя: нужен токенизатор конкретной модели каталога LLM Mart и поле usage в ответе.
Комментарии 0