Temperature (температура)

temperatureтемператураsampling temperatureтемпература сэмплирования
Кратко

Temperature (температура) — параметр LLM, контролирующий случайность вывода. Низкая (0-0.3) — детерминированные, повторяемые ответы. Высокая (0.7-1.5) — креативные, разнообразные. Стандарт по умолчанию — 0.7-1.0 в большинстве LLM API.

Под капотом LLM генерирует распределение вероятностей следующего токена. Без температуры (T=0) выбирается самый вероятный — argmax. С температурой логиты делятся на T перед softmax: чем T выше, тем плавнее распределение, тем больше шанс выбрать менее вероятный токен.

T=0 (детерминированно): код, факты, юридические тексты, классификация. Тот же ввод → тот же вывод. T=0.3-0.5: технические тексты с лёгким разнообразием. T=0.7-1.0: универсал, сбалансированный выход (default GPT-5.4 = 1.0). T=1.2-1.5: креативное письмо, рассказы, поэзия. T > 1.7: экспериментальный, часто бессмысленный текст.

Важно: temperature не делает модель умнее или глупее. Высокая T помогает находить нестандартные идеи, низкая — гарантирует точность. Альтернативные параметры: top_k (выбор из k вариантов), top_p / nucleus sampling (выбор из вариантов с суммарной вероятностью p).

Примеры

  • T=0 — генерация SQL-запроса
  • T=0.3 — техническая документация
  • T=0.7 — обычный диалог (default)
  • T=1.3 — стихотворение, креативный рассказ

Связанные термины

Часто задаваемые вопросы

Какую температуру использовать для кода?

T=0 (или 0.1) для детерминированного кода. Тот же запрос → тот же код, легко отладить. T=0.7+ — только если хотите альтернативные решения.

Что лучше — temperature или top_p?

Меняйте что-то одно. Top_p (nucleus sampling) — обычно более интуитивен: 0.9 = выбираем из 90% вероятностной массы. Temperature и top_p вместе — лишний хаос.

Влияет ли на стоимость?

Нет, температура не влияет на цену запроса. Биллинг идёт по токенам. Но при T>1.5 модель может генерировать более длинные/бессмысленные ответы → косвенно дороже.

Зачем temperature > 1?

Для творческих задач: brainstorming, вариации одного концепта, поэзия. На production — обычно 0-1, выше — экспериментально.

Попробуйте нейросети на практике

30₽ при регистрации, без VPN, оплата в рублях.

Зарегистрироваться