Распознавание и синтез речи нейросетями: Whisper, TTS и озвучка текста по API

Два направления и разные модели

Распознавание речи нужно, когда есть аудио и требуется текст: расшифровка встреч, субтитры, голосовой ввод. Синтез решает обратную задачу: из текста получается звук, который нужен для озвучки, подкастов и голосовых ассистентов.

Модели в каталоге размечены по этим задачам. Whisper от OpenAI и его большие версии закрывают транскрипцию, GigaASR от Sber и Voxtral от Mistral тоже работают с речью. За синтез отвечают модели ElevenLabs, Fish Audio и Sber SaluteSpeech.

Транскрипция

Маршрут POST /audio/transcriptions принимает файл через multipart вместе с полем model. Ответ приходит в JSON с текстом, а параметр stream включает потоковую отдачу. Файл передаётся с корректным MIME-типом, иначе часть поставщиков откажет.

import os

from openai import OpenAI

client = OpenAI(
    api_key=os.environ["LLM_MART_API_KEY"],
    base_url="https://llmmart.ru/api/v1",
)
with open("meeting.mp3", "rb") as f:
    result = client.audio.transcriptions.create(
        model="openai/whisper-1",
        file=f,
    )
print(result.text)

Синтез речи

Синтез идёт на POST /audio/speech с JSON-телом: модель, текст и голос. Ответ приходит бинарным аудиофайлом, а не JSON, поэтому в клиенте его нужно сохранять сразу.

curl -s "https://llmmart.ru/api/v1/audio/speech" \
  -H "Authorization: Bearer $LLM_MART_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"sber/salutespeech","input":"Привет, это тест озвучки.","voice":"alloy"}' \
  -o speech.mp3

Карточка SaluteSpeech в каталоге указывает эндпоинт /audio/speech, а голос alloy взят из её примера кода. Набор голосов зависит от модели: у одних это условные имена вроде alloy, у других собственный каталог. Проверять набор стоит в документации провайдера, потому что через шлюз параметры пробрасываются как есть.

Для озвучки на русском стоит попробовать Fish Audio: S2 Pro. Модель поддерживает больше 80 языков, русский входит во второй уровень качества вместе с немецким и французским. Тарифы есть в карточке Fish Audio S2 Pro для озвучки, а все модели для речи собраны на отдельной странице.

Как считается стоимость

У распознавания тарификация идёт за время: минуты или секунды записи. Синтез считается по объёму входного текста, например у SaluteSpeech за символы. Сравнивать аудиомодели с текстовыми по цене за миллион токенов не стоит.

Практический ориентир можно получить в кабинете: обработать несколько типовых записей и посмотреть сумму. Для потока расшифровок это точнее, чем любая таблица, потому что качество и цена сильно зависят от длины файлов и шума на записи.

Что проверить перед выбором

Первое: язык и акцент. Модель, которая хорошо распознаёт английские звонки, может путаться в русской быстрой речи и терминах. Проверяйте на своих записях, а не на демо.

Второе: формат и качество исходника. Шум, эхо и узкая полоса пропускания ухудшают результат сильнее, чем смена модели. Иногда дешевле улучшить запись, чем платить за более дорогую модель.

Третье: требования к хранению данных. Если запись содержит персональные данные, проверьте, где она обрабатывается. Механика вызова описана в документации по аудио, модели собраны в каталоге.