Что такое LoRA (Low-Rank Adaptation)
Подробнее
Полный fine-tuning большой модели (70B параметров) — это десятки тысяч долларов на тысячах GPU за дни. Большинству задач не нужен полный fine-tuning — нужно лишь немного «подправить» модель.
LoRA добавляет к каждому слою маленькие низкоранговые матрицы (rank=8-64), которые обучаются. Базовые веса не меняются. После обучения LoRA-адаптер занимает 10-200 MB вместо 140 GB.
Для Stable Diffusion и подобных image-моделей LoRA — стандарт. Платформы вроде Civitai наполнены сотнями тысяч LoRA-адаптеров для конкретных стилей, персонажей, концепций.
Для LLM — топ-инструмент дообучения. Стоимость от $10 до $500 вместо $1000+ для полного fine-tuning'а.
Примеры
- LoRA для стиля анимации в Stable Diffusion
- LoRA для tone of voice бренда в LLM
- Civitai — каталог тысяч LoRA
- QLoRA — LoRA с квантизацией
Частые вопросы
Что такое LoRA простыми словами?
Это «адаптер» к нейросети. Вместо переобучения всей модели — обучаем маленькую надстройку. Это в 100-1000 раз дешевле и быстрее.
Сколько стоит обучить LoRA?
Для image — $5-50 (RTX 4090 за несколько часов). Для LLM — $10-500 в зависимости от модели и данных.
Можно ли обучить LoRA на ГПТ Россия?
На gptrf.ru LoRA-обучение не предоставляется — мы оптимизированы под inference. Используйте RunPod / Vast.ai или собственные GPU для обучения.
Чем LoRA лучше полного fine-tuning?
В 100-1000 раз дешевле. Адаптер маленький (10-200 MB). Можно держать сотни LoRA для разных задач.