Ollama: как запустить нейросеть локально и подключить её по API
Ollama это инструмент, который запускает открытые модели на вашем компьютере одной командой и поднимает локальный API. Модель работает без интернета и без оплаты за токены, но качество и скорость ограничены вашим железом. Хороший сценарий: локально для приватных данных и черновиков, облако для сложных задач.
Содержание
Что такое Ollama
Ollama это программа, которая скачивает открытые модели и запускает их локально. Одна команда поднимает и саму модель, и HTTP-сервер с API на локальном порту. Никакой регистрации, ключей и оплаты не нужно: вычисления идут на вашем процессоре или видеокарте.
Популярность пришла из простоты. Раньше локальный запуск требовал настройки Python-окружения, весов и квантизации. Ollama упаковала это в один исполняемый файл и набор команд.
Что нужно по железу
Ключевой параметр это объём памяти. Модель на 8 миллиардов параметров в квантизованном виде занимает около 5 ГБ, на 70 миллиардов около 40 ГБ. Если памяти не хватает, часть слоёв уходит на процессор, и скорость падает в разы.
Второй параметр это видеокарта. На GPU модель отвечает заметно быстрее, чем на процессоре. Для 8B хватает 8 ГБ видеопамяти, для 70B нужно уже 40-48 ГБ, а это уровень профессиональных карт.
Какие модели запускать
Для ноутбука с 8-16 ГБ памяти разумны модели на 3-8 миллиардов параметров: они отвечают быстро, но на сложных задачах ошибаются. Для рабочей станции с 24-48 ГБ видеопамяти доступны модели на 30-70 миллиардов, и это уже уровень, пригодный для повседневной помощи.
Подбор по задаче важнее размера. Для кода нужна модель, обученная на коде, для русского текста модель с хорошей поддержкой языка. Универсальная модель среднего размера часто проигрывает специализированной компактной.
Как подключить по API
Локальный сервер отвечает на порту 11434 и совместим с OpenAI-совместимыми запросами. Это значит, что код для облачной модели переносится почти без изменений: меняется только адрес и имя модели.
from openai import OpenAI
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
print(local.chat.completions.create(
model="llama3",
messages=[{"role": "user", "content": "Привет"}],
).choices[0].message.content)
remote = OpenAI(
base_url="https://llmmart.ru/api/v1",
api_key=os.environ["LLM_MART_API_KEY"],
)Установка
Поставьте Ollama и запустите её: сервер поднимется на локальном порту.
Модель
Скачайте модель подходящего размера и проверьте, что она отвечает в чате.
API
Подключите приложение к localhost, указав имя модели и фиктивный ключ.
Гибрид
Для сложных запросов оставьте второй клиент на облачный адрес с реальным ключом.
Локально или облако
Локальный запуск выигрывает в трёх случаях. Первый: данные нельзя отдавать наружу. Второй: нагрузка небольшая и непостоянная, платить за токены жалко. Третий: нужна работа без интернета.
Облако выигрывает в качестве и скорости. Флагманские модели на сотни миллиардов параметров локально не запустить, а через API они доступны сразу. Для сложных задач разница в качестве между локальной 8B и облачным флагманом видна с первого ответа.
Рабочая схема: локальная модель для черновиков, суммаризации и приватных данных, облачная для финальных ответов и сложных рассуждений. Оба варианта совместимы по протоколу, поэтому переключение занимает одну строку.
Модели с ценами и фильтрами есть в каталоге, инструкции по вызову текстовых моделей лежат в документации.
Частые вопросы
Что такое Ollama простыми словами?
Это программа, которая запускает открытые языковые модели на вашем компьютере и поднимает локальный API. Регистрация и оплата не нужны, данные не покидают машину. Качество и скорость зависят от объёма памяти и видеокарты: модели на 8 миллиардов параметров работают на ноутбуке, на 70 миллиардов требуют рабочей станции.
Сколько памяти нужно для локальной модели?
Грубо: модель на 8 миллиардов параметров в квантизованном виде занимает около 5 ГБ, на 30 миллиардов около 20 ГБ, на 70 миллиардов около 40 ГБ. Если памяти не хватает, часть расчётов уходит на процессор и ответ замедляется в разы. Для моделей уровня флагманов из каталога LLM Mart локального железа обычно недостаточно.
Можно ли подключить Ollama к своему приложению?
Да, локальный сервер отвечает на порту 11434 и совместим с OpenAI-совместимыми запросами. В клиенте задаётся base_url http://localhost:11434/v1 и имя загруженной модели, ключ может быть любым. Код, написанный под облачный API, переносится на локальный запуск почти без изменений.
Локальная модель заменит облачную?
Для части задач да, для сложных нет. Модели на 8-30 миллиардов параметров подходят для черновиков, суммаризации и приватных данных, но уступают флагманам на рассуждениях и коде. Рабочая схема: локально то, что не должно уходить наружу, облако для финальных ответов через ключ LLM Mart.
Нужен ли интернет для работы Ollama?
После скачивания модели интернет не нужен: она работает офлайн, и данные остаются на машине. Сеть требуется только для загрузки самой модели и её обновления. Для проектов с требованием к изоляции это главный аргумент в пользу локального запуска, даже если качество ниже облачного.
Комментарии 0