Квантование нейросетей: что это, зачем нужно и как влияет на качество
Квантование это сжатие весов модели за счёт меньшей точности чисел. Модель занимает в разы меньше памяти, работает быстрее и помещается на обычную видеокарту. Платить приходится небольшим снижением качества, которое на разговорных задачах часто незаметно, а на точных вычислениях становится ощутимым.
Содержание
Что такое квантование
Веса модели это числа с плавающей точкой, обычно 16 бит на параметр. Квантование заменяет их числами с меньшей точностью: 8, 4 или даже меньше бит. Файл модели уменьшается пропорционально, и её можно запустить на железе, которое иначе не хватило бы.
Термин пришёл из обработки сигналов, где означал округление значений до дискретных уровней. В нейросетях он означает то же: числа представляются грубее, но в целом сохраняют структуру.
Как читать обозначения
Q4 и Q8 означают число бит на параметр. Чем меньше бит, тем компактнее модель и тем грубее округление. Есть варианты вроде Q4_K_M, где буквы означают разные способы группировки параметров при сжатии: они дают лучшее качество при том же размере.
Практический ориентир по памяти: модель на 8 миллиардов параметров в Q4 занимает около 5 ГБ, на 30 миллиардов около 20 ГБ, на 70 миллиардов около 40 ГБ. В полной точности те же модели требуют в три-четыре раза больше.
Как влияет на качество
На разговорных задачах разница между Q4 и полной точностью часто не видна: модель отвечает так же связно и по делу. На точных вычислениях, длинных цепочках рассуждений и коде потеря заметнее, потому что ошибки округления накапливаются.
Проверять нужно на своих примерах. Общие бенчмарки плохо показывают, как квант влияет на вашу задачу: там, где важна точность чисел, разница будет резкой, а на пересказе текста её не будет вовсе.
Где это встречается в API
Провайдеры квантуют модели, чтобы снизить стоимость инференса, и в API выбор кванта иногда можно запросить явно. В каталоге LLM Mart у моделей есть параметры выбора площадки, и при недоступном кванте возвращается ошибка quantization_unavailable со списком доступных вариантов.
| Модель | Контекст | Ввод / 1M |
|---|---|---|
| Llama 4 Scout | 328K | 15,67 ₽ |
| Gemma 4 26B | 262K | 10,46 ₽ |
| Qwen3.5 Flash | 128K | 6,57 ₽ |
Когда модель вызывается по API, квант обычно не важен для клиента: провайдер уже выбрал вариант. Квантование становится вашей задачей при локальном запуске.
Практический порядок
Память
Посчитайте, сколько видеопамяти доступно: от этого зависит максимальный размер модели.
Квант
Начните с Q4: он даёт лучшее соотношение памяти и качества.
Проверка
Прогоните свои примеры и сравните с облачной моделью через ключ каталога.
Уточнение
Если качество не хватает, попробуйте Q5 или Q8, если помещается в память.
Для локального запуска подойдут инструменты вроде Ollama или llama.cpp, они работают с квантованными файлами напрямую. Открытые модели для экспериментов собраны в каталоге.
Частые вопросы
Что такое квантование нейросети простыми словами?
Это сжатие весов модели за счёт меньшей точности чисел: вместо 16 бит на параметр используется 8, 4 или меньше. Модель занимает в разы меньше памяти и работает быстрее, но числа округляются грубее. На разговорных задачах потеря качества часто незаметна, на точных вычислениях и коде становится ощутимой.
Что означает Q4 в названии модели?
Это число бит на параметр: Q4 значит четырёхбитное представление весов. Чем меньше бит, тем компактнее файл и грубее округление. Варианты с дополнительными буквами вроде Q4_K_M используют более аккуратную группировку параметров и дают лучшее качество при том же размере файла, поэтому их и стоит брать.
Сильно ли квантование ухудшает качество?
На пересказе, чате и извлечении данных разница между Q4 и полной точностью обычно не видна. На математике, длинных рассуждениях и генерации кода она проявляется, потому что ошибки округления накапливаются. Проверять нужно на своих примерах: общие бенчмарки плохо предсказывают результат для конкретной задачи.
Сколько памяти нужно для квантованной модели?
Модель на 8 миллиардов параметров в Q4 занимает около 5 ГБ, на 30 миллиардов около 20 ГБ, на 70 миллиардов около 40 ГБ. В полной точности те же модели требуют в три-четыре раза больше. Если все слои помещаются в видеопамять, ответы быстрые, иначе часть уходит на процессор и скорость падает в разы.
Нужно ли думать о квантовании при работе по API?
Обычно нет: провайдер сам выбирает и применяет квант, а клиент получает результат. В каталоге LLM Mart квант можно запросить через параметры выбора площадки, и при недоступном варианте придёт ошибка со списком доступных. Квантование становится вашей задачей только при локальном запуске модели.
Комментарии 0