Одно предложение, из которого следует всё

Модель предсказывает, какое слово вероятнее всего идёт следующим.

Звучит скромно для системы, которая пишет тексты и разбирает документы. Но именно из этого устройства вытекают и все её сильные стороны, и все странности — поэтому понимать его полезно даже без интереса к технике.

Речь дальше о моделях для текста: устройство ChatGPT в деталях разобрано отдельно, а картинки рисуются по совсем другому принципу — про диффузию.

Токены вместо слов

Текст модель видит не буквами и не словами, а токенами — кусочками примерно в 3-4 символа. «Нейросеть» может разбиться на «нейро» и «сеть», а «в» останется целым.

Из этого следуют две практические вещи. Первая: платите вы за токены, а не за символы, и русский текст обычно расходует их чуть больше английского. Вторая: модель плохо считает буквы в слове и путается в задачах вроде «сколько букв "о" в этом предложении» — она просто не видит текст побуквенно.

Контекст — это рабочий стол

Всё, что модель учитывает при ответе, должно помещаться в контекст: ваш вопрос, приложенный документ, предыдущие сообщения диалога и её собственные ответы.

Представьте стол ограниченной площади. Кладёте новые бумаги — старые вытесняются с края. Именно поэтому в длинном разговоре модель «забывает» начало: оно уехало со стола.

Размер стола различается: у Gemini 3.1 Pro это около миллиона токенов — сотни страниц. У экономичных моделей заметно меньше, и для работы с длинным документом их не хватит.

Практический вывод: если разговор ушёл далеко, важное надо повторить, а не надеяться, что оно ещё «помнится». Подробнее — в материале про контекст и память.

Почему модель врёт

Она не проверяет факты, а продолжает текст правдоподобно. Правдоподобная неправда для неё ровно так же вероятна, как правдоподобная правда.

Отсюда самый опасный случай — выдуманные источники, цитаты и цифры: они выглядят убедительно именно потому, что модель хорошо умеет делать текст убедительным. Механика и способы проверки разобраны в гайде про то, почему нейросеть врёт.

Почему один и тот же вопрос даёт разные ответы

В выборе следующего токена участвует случайность — намеренно. Без неё модель отвечала бы одинаково на один и тот же запрос и звучала бы монотонно.

Практически это значит: не нравится ответ — попросите ещё раз, он будет другим. И наоборот: если нужен воспроизводимый результат, его надо закреплять формулировкой, а не надеяться на повтор.

Почему хороший запрос работает лучше

Раз модель продолжает текст, ваш запрос задаёт направление продолжения. Чем конкретнее вход, тем уже коридор.

«Напиши про маркетинг» оставляет коридор шириной с улицу — модель пойдёт по самому проторённому пути и выдаст общие места. «Напиши для владельца кофейни, как за две недели набрать первые сто подписчиков в местном сообществе» — коридор узкий, и ответ будет конкретным.

То же с ролью и форматом: «ты редактор», «пять пунктов», «до 100 слов» — это стенки коридора.

Попробовать можно на ГПТ Россия: новичку начисляется приветственный бонус 50 ₽, сервис работает без VPN, оплата в рублях российской картой. Полный список моделей с ценами — на странице моделей.

Чего модель не делает

Не ищет в интернете, если ей это отдельно не поручено, — она отвечает из того, чему научилась.

Не помнит вас между разными разговорами: каждый новый диалог начинается с чистого стола.

Не понимает в человеческом смысле. Она очень хорошо оперирует формой языка, и этого достаточно для огромного числа задач, — но за формой не стоит проверка на соответствие действительности.

Частые вопросы

Почему модель уверенно говорит неправду?

Уверенность — свойство стиля, а не признак точности. Модель воспроизводит тон, характерный для утверждений, независимо от того, верно ли содержание. Тон ответа ничего не говорит о его надёжности.

Обучается ли модель на моих сообщениях?

Обучение модели и её работа — разные процессы, разнесённые во времени: отвечая вам, она не меняется. Вопрос о том, используются ли переписки для будущего обучения, решается политикой конкретного сервиса.

Почему разные модели отвечают по-разному?

У них разный объём, разные данные обучения и разные настройки. Отсюда и разница в характере: одни сильнее в рассуждениях, другие в языке, третьи в коде. Именно поэтому под задачу стоит подбирать модель.