Что такое LLM простыми словами: как устроена большая языковая модель
LLM или большая языковая модель это нейросеть, обученная предсказывать следующее слово в тексте. Из этой простой задачи вырастает умение отвечать на вопросы, писать код и пересказывать документы. Размер модели, объём обучающих данных и длина контекста определяют, что она умеет и сколько стоит её вызов.
Содержание
Что такое LLM
LLM расшифровывается как large language model, большая языковая модель. Это нейросеть с очень большим числом параметров, обученная на огромных объёмах текста. Её задача формулируется просто: по началу текста предсказать, какое слово будет следующим.
Повторённая миллиарды раз, эта операция даёт всё остальное. Модель учится связывать факты, держать структуру абзаца, следовать инструкции и имитировать стиль. Никакой базы знаний внутри нет: есть статистика совместной встречаемости слов, сжатая в числа.
Как она обучается
Обучение идёт в два этапа. Сначала модель читает тексты и учится предсказывать следующее слово: ошибки исправляются, веса подстраиваются. На этом этапе она впитывает язык, факты и структуры, но ещё не умеет следовать инструкциям.
Затем идёт дообучение на примерах диалогов и задач. Здесь модель узнаёт, что на просьбу нужно отвечать по существу и в понятном формате. Именно этот этап превращает предсказатель текста в ассистента.
Токены и контекст
Модель не видит буквы. Текст режется на токены, куски слов, и уже они превращаются в числа. Английское слово часто это один токен, русское может разбиться на несколько, поэтому одинаковый по смыслу текст на разных языках даёт разное число токенов и разную цену.
Контекст это окно, в котором модель работает за один запрос. Оно включает инструкции, историю диалога, документы и ответ. Если история растёт, места для новых данных остаётся меньше, а счёт растёт, потому что входные токены тарифицируются на каждом шаге.
Почему модель ошибается
Первая причина: модель продолжает текст, а не ищет факт. Если в обучающих данных было похожее, ответ окажется верным. Если нет, модель достроит правдоподобное продолжение, и оно может быть вымыслом.
Вторая: знания ограничены датой обучения. Всё, что случилось позже, модель не знает, пока вы не передадите это в запросе или не подключите поиск.
Третья: длина рассуждения. На длинной цепочке шагов ошибка накапливается, поэтому сложные задачи лучше дробить на части и проверять промежуточный результат.
Чем модели отличаются
Размером: модели на 10-30 миллиардов параметров дешевле и быстрее, флагманы на сотни миллиардов дают более глубокий ответ. Контекстом: у компактных моделей он меньше, у новых флагманов доходит до миллиона токенов. Специализацией: есть модели под код, под изображения, под распознавание речи.
В каталоге LLM Mart модели разных разработчиков стоят рядом и вызываются одним ключом, поэтому сравнить их на своей задаче можно за несколько минут. Цены за миллион токенов указаны в каталоге, а общие инструкции по вызову есть в документации.
Частые вопросы
LLM простыми словами это что?
Это нейросеть, обученная предсказывать следующее слово в тексте, и за счёт этого она умеет отвечать на вопросы, писать код и пересказывать документы. Внутри нет базы фактов: есть статистика, сжатая в миллиарды чисел. Поэтому ответ в каталоге LLM Mart бывает правдоподобным, но неверным, и его стоит проверять.
Чем LLM отличается от обычного поиска?
Поиск находит страницы, где встречаются слова запроса, и показывает их вам. LLM формирует новый текст, опираясь на закономерности обучающих данных, а не на конкретный источник. Из-за этого она может ошибаться в фактах. Надёжнее совмещать: сначала поиск по документам, потом ответ модели по ним, как в RAG.
Что такое токен и зачем его считать?
Токен это кусок текста, которым оперирует модель: часть слова, слово или пробел с ним. Русские слова разбиваются на несколько токенов чаще английских, поэтому тот же текст на русском стоит дороже. Цена в каталоге LLM Mart считается за миллион токенов, а фактический расход виден в поле usage каждого ответа.
Почему LLM придумывает факты?
Модель продолжает текст, а не ищет информацию, поэтому при нехватке данных достраивает правдоподобное окончание. Это называют галлюцинацией. Знания ещё и ограничены датой обучения. Надёжнее давать факты в самом запросе или подключать поиск по базе через эмбеддинги из каталога LLM Mart.
Сколько параметров у современных LLM?
От нескольких миллиардов до сотен миллиардов, а у MoE-моделей считают отдельно общее число и активные параметры на токен. Больше параметров обычно значит глубже рассуждение, но и дороже инференс. В каталоге LLM Mart рядом стоят модели разного размера, и на типовых задачах компактная часто не хуже флагмана.
Комментарии 0