Ошибка 429 Too Many Requests в API нейросетей: причины и как исправить

Что значит 429

Код 429 расшифровывается как Too Many Requests, слишком много запросов. Сервер принял ваш вызов, но отказался его выполнять, потому что превышен лимит. В ответе приходит конверт с типом ошибки rate_limit_exceeded, а оплата не списывается.

Ошибка говорит о темпе, а не о качестве кода: если повторить тот же запрос через минуту, он обычно проходит.

Какие бывают лимиты

Лимиты считаются по двум величинам. Первая: число запросов в минуту, RPM. Вторая: число токенов в минуту, TPM. Можно уложиться в десяток запросов и всё равно получить 429, если каждый из них несёт сотню тысяч токенов контекста.

Отдельно от частоты работает бюджет: это ограничение на сумму расходов за период, и при его исчерпании тоже приходит 429. Разница в том, что частота восстанавливается через минуту, а бюджет только после сброса периода или его изменения.

Чем отличается от других кодов

Ошибки легко перепутать, а лечение у них разное.

Как повторять правильно

Главная ошибка: повторять запрос сразу в цикле без паузы. Это усиливает нагрузку и растягивает блокировку. Правильно ставить нарастающую задержку: первая попытка через секунду, следующая через две, затем через четыре, с上限 на разумном значении.

import time
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["LLM_MART_API_KEY"],
    base_url="https://llmmart.ru/api/v1",
)

def ask(messages, attempts=4):
    for i in range(attempts):
        try:
            return client.chat.completions.create(
                model="openai/gpt-5.6-luna",
                messages=messages,
            )
        except Exception as err:
            if "429" not in str(err) or i == attempts - 1:
                raise
            time.sleep(2 ** i)

Как снизить вероятность

Три приёма. Первое: ограничьте параллельность воркеров. Десять одновременных запросов к одной модели чаще ловят 429, чем очередь из десяти последовательных. Второе: сокращайте размер контекста, потому что TPM зависит именно от токенов.

Третье: распределяйте нагрузку по моделям. Если приложение делает массовую разметку, дешёвая модель с высокой пропускной способностью подойдёт лучше флагмана, к которому обращаются все.

Где смотреть лимиты

Лимиты частоты задаются правилами политик: на организацию, участника, группу, систему или отдельный ключ. Там же настраивается бюджет в рублях и период его сброса. Механика описана в документации по лимитам, полный список кодов есть в справочнике ошибок.