Как работает ChatGPT: короткий ответ
ChatGPT работает как предельно начитанный автодополнитель: модель разбивает ваш текст на токены и раз за разом предсказывает, какой токен вероятнее всего должен идти следующим — из этих предсказаний и складывается ответ. Никакой базы готовых ответов внутри нет: есть миллиарды числовых параметров-«весов», в которых сжат опыт чтения огромной части интернета. Такие модели называют LLM — большими языковыми моделями; формальное определение есть в глоссарии про LLM.
Теперь то же самое — по шагам и без магии.
Токены: на каком языке думает модель
Модель не видит ни букв, ни слов — она работает с токенами, кусочками текста длиной от одного символа до целого слова. Фраза «нейросети умеют писать» превратится в несколько токенов, каждый — просто номер в огромном словаре. В токенах измеряется всё: длина вашего вопроса, объём ответа, размер контекстного окна и оплата использования.
Из этого следует неожиданно много практики: модель «мыслит» кусочками текста, поэтому ей труднее даются задачи на отдельные буквы (посчитать «р» в слове) и проще — задачи на смысл целых фраз.
Обучение: триллионы примеров и одна задача
Обучение LLM устроено вокруг одной-единственной задачи: по началу текста угадать следующий токен. Модели показывают фрагмент текста из обучающей выборки, она предсказывает продолжение, ошибка измеряется — и миллиарды весов чуть-чуть сдвигаются, чтобы в следующий раз угадывать точнее. Повторите это на триллионах примеров — и веса выучат грамматику, факты, стили, логические связи: всё это оказывается «побочным продуктом» умения хорошо продолжать текст.
Затем модель дообучают быть собеседником: люди оценивают её ответы, и модель учится отвечать полезно, безопасно и по делу, а не просто «правдоподобно продолжать». Именно этот этап отличает ChatGPT от «сырого» автодополнителя.
Генерация ответа: предсказание за предсказанием
Когда вы отправляете вопрос, модель делает следующее:
- Разбивает всю переписку на токены и загружает в контекст.
- Вычисляет вероятности для каждого возможного следующего токена.
- Выбирает один из наиболее вероятных (с элементом случайности — поэтому ответы на один вопрос различаются).
- Добавляет выбранный токен к тексту и повторяет цикл — токен за токеном, пока ответ не завершится.
Отсюда же и «галлюцинации»: модель всегда выбирает правдоподобное продолжение, даже когда точного знания в весах нет. Уверенный тон и достоверность — разные вещи; факты, на которых что-то строится, стоит перепроверять.
Чем отличаются модели между собой
Все современные LLM устроены по описанной схеме — различаются масштаб, данные и дообучение:
| Параметр | На что влияет |
|---|---|
| Число весов и вычисления | Глубина рассуждений, качество на сложных задачах |
| Обучающие данные | Эрудиция, знание языков и областей |
| Контекстное окно | Сколько текста модель видит сразу (у флагманов — до 1 млн токенов) |
| Дообучение | Стиль, аккуратность, следование инструкциям |
Поэтому GPT-5.5, Claude Opus 5 и Gemini 3.1 Pro на один вопрос отвечают по-разному — и лучший способ выбрать «свою» модель не бенчмарки, а проверка на собственных задачах. Пользоваться ChatGPT и его конкурентами из России можно на ГПТ Россия: один чат, переключение моделей в пару кликов, без VPN, оплата в рублях за фактическое использование. Новичку начисляется 50 ₽ — хватит, чтобы задать один вопрос нескольким флагманам и сравнить ответы.
Частые вопросы
ChatGPT ищет ответы в интернете?
По умолчанию — нет: ответ генерируется из весов, выученных при обучении. Отдельно существует режим веб-поиска, когда модель подтягивает свежие страницы и отвечает с опорой на них — это надстройка над базовым механизмом предсказания.
Почему модель уверенно говорит неправду?
Потому что её базовая задача — правдоподобное продолжение текста, а не проверка фактов. Если точного знания нет, модель всё равно выберет наиболее вероятное продолжение — и оно может оказаться выдумкой. Критичные факты перепроверяйте.
Понимает ли нейросеть смысл или просто угадывает слова?
Это открытый философский спор, но практический факт таков: чтобы хорошо предсказывать следующий токен на триллионах текстов, модели пришлось выучить грамматику, факты и логические связи. Для рабочих задач это функционально неотличимо от понимания — с поправкой на галлюцинации.
