训练和部署大模型,GPU 怎么选?
训练和推理对 GPU 的要求完全不同。本文讲清显存、算力、带宽、互联的区别,给出显存-能力对照、分场景选型、租还是买的判断,以及中国可买型号的注意点。
大模型
输入关键词开始搜索
训练和推理对 GPU 的要求完全不同。本文讲清显存、算力、带宽、互联的区别,给出显存-能力对照、分场景选型、租还是买的判断,以及中国可买型号的注意点。
做聊天/陪伴类 AI 产品,选基座比选模型更重要。本文给出六个选型维度、要避开的“助手腔”陷阱、当前主流开源候选对比,以及一套三天选型对测方法。
SFT 是训练自己模型的第一步,也是最关键的一步。本文讲清 SFT 在训练流程中的位置、数据集格式、只对 assistant 算 loss、全量与 LoRA 的取舍,以及常见踩坑。
训练大模型不只是喂数据。本文讲清预训练、微调、对齐三个阶段,以及从零预训练、继续预训练、LoRA、QLoRA、RLHF、DPO、蒸馏等主流方式,帮你选对路线。