显存 VRAM (Video Memory)
显存是显卡上独立于系统内存的高速存储,模型权重、激活值与缓存都必须放进显存,因此显存容量决定一块 GPU 能不能跑某个模型——放不下就完全跑不起来,而算力不足只是跑得慢。
术语表 · GPU 与算力
ECC Video Memory
又写作
要点
什么是ECC 显存?
ECC 显存是带纠错校验的显存,能自动纠正单比特翻转错误,专业卡与数据中心卡配备,消费级的 RTX 4090、5090 没有——这是长时间训练任务倾向于选专业卡的主要理由之一。
显存位翻转的麻烦之处在于它不报错:一次静默的翻转可能表现为 loss 突然发散、结果无法复现,或者干脆什么都看不出来但权重已经脏了。任务跑得越久,撞上的概率越高。
对几分钟到几小时的推理与出图任务,这个风险小到可以忽略,消费级卡的性价比优势更实在。对连续跑几天的训练,专业卡多出来的钱买的正是「不用怀疑结果」。
本站相关页面
相关术语
显存是显卡上独立于系统内存的高速存储,模型权重、激活值与缓存都必须放进显存,因此显存容量决定一块 GPU 能不能跑某个模型——放不下就完全跑不起来,而算力不足只是跑得慢。
炼丹是中文机器学习圈对训练模型的戏称,取自结果难以预测、只能反复调参试出来的过程;「炼丹炉」指用来训练的机器,「丹」指训练出来的模型权重。
微调指在已经预训练好的模型上用自己的数据继续训练,使它适应特定任务、格式或语气,是中小团队最现实的定制方式——从零训练一个大模型的成本,与租几张卡跑几个小时不在一个数量级。
快照是虚拟机磁盘在某一时刻的完整镜像,用于在升级或改配置前留一个还原点,它是回滚工具而不是备份——快照通常与源机器在同一机房、同一账号之下。