微调 Fine-Tuning
微调指在已经预训练好的模型上用自己的数据继续训练,使它适应特定任务、格式或语气,是中小团队最现实的定制方式——从零训练一个大模型的成本,与租几张卡跑几个小时不在一个数量级。
术语表 · GPU 与算力
Model Training (slang)
又写作
要点
什么是炼丹?
炼丹是中文机器学习圈对训练模型的戏称,取自结果难以预测、只能反复调参试出来的过程;「炼丹炉」指用来训练的机器,「丹」指训练出来的模型权重。
这个词几乎只出现在社区和聊天里,正式文档不会这么写。知道它,主要是为了看懂论坛上的经验帖——那里的信息密度通常比产品页高得多,而「4090 炼丹炉」这类说法一句话就把预算、显存和用途讲清楚了。
它对应的真实开销结构值得说明:花掉卡时的不是最后成功的那一次训练,而是前面几十次失败的尝试。按小时计费之下,跑完就关机、把数据集与权重放在单独的数据盘上,比纠结选哪张卡更能省钱。
论坛上的一句话,信息量比产品页大
「4090 炼丹炉一台,24G 显存跑 LoRA 够用,全参微调 70B 就别想了。」——一句话同时说清了卡、显存、能做什么和不能做什么,这是这个市场典型的表达方式。
本站相关页面
相关术语
微调指在已经预训练好的模型上用自己的数据继续训练,使它适应特定任务、格式或语气,是中小团队最现实的定制方式——从零训练一个大模型的成本,与租几张卡跑几个小时不在一个数量级。
LoRA(低秩适配)是一种参数高效微调方法:冻结原模型权重,只训练一组新增的低秩矩阵,显存占用与产出文件都远小于全参数微调,是消费级显卡上最常用的微调方式。
显存是显卡上独立于系统内存的高速存储,模型权重、激活值与缓存都必须放进显存,因此显存容量决定一块 GPU 能不能跑某个模型——放不下就完全跑不起来,而算力不足只是跑得慢。
CUDA 是 NVIDIA 的并行计算平台与编程接口,PyTorch、TensorFlow 等框架的 GPU 加速全部经由它实现,因此实践中「这台机器能不能跑我的代码」等于「驱动、CUDA 版本与框架编译版本是否对得上」。
按小时计费是 GPU 算力租用的通行方式:从预付余额中按实例运行的小时数扣费,关机即停止计算算力费用,与 VPS 的月付按整月结算完全不是一回事。