Что такое Temperature (температура)
Подробнее
Под капотом LLM генерирует распределение вероятностей следующего токена. Без температуры (T=0) выбирается самый вероятный — argmax. С температурой логиты делятся на T перед softmax: чем T выше, тем плавнее распределение, тем больше шанс выбрать менее вероятный токен.
T=0 (детерминированно): код, факты, юридические тексты, классификация. Тот же ввод → тот же вывод. T=0.3-0.5: технические тексты с лёгким разнообразием. T=0.7-1.0: универсал, сбалансированный выход (default GPT-5.4 = 1.0). T=1.2-1.5: креативное письмо, рассказы, поэзия. T > 1.7: экспериментальный, часто бессмысленный текст.
Важно: temperature не делает модель умнее или глупее. Высокая T помогает находить нестандартные идеи, низкая — гарантирует точность. Альтернативные параметры: top_k (выбор из k вариантов), top_p / nucleus sampling (выбор из вариантов с суммарной вероятностью p).
Примеры
- T=0 — генерация SQL-запроса
- T=0.3 — техническая документация
- T=0.7 — обычный диалог (default)
- T=1.3 — стихотворение, креативный рассказ
Частые вопросы
Какую температуру использовать для кода?
T=0 (или 0.1) для детерминированного кода. Тот же запрос → тот же код, легко отладить. T=0.7+ — только если хотите альтернативные решения.
Что лучше — temperature или top_p?
Меняйте что-то одно. Top_p (nucleus sampling) — обычно более интуитивен: 0.9 = выбираем из 90% вероятностной массы. Temperature и top_p вместе — лишний хаос.
Влияет ли на стоимость?
Нет, температура не влияет на цену запроса. Биллинг идёт по токенам. Но при T>1.5 модель может генерировать более длинные/бессмысленные ответы → косвенно дороже.
Зачем temperature > 1?
Для творческих задач: brainstorming, вариации одного концепта, поэзия. На production — обычно 0-1, выше — экспериментально.