DeepSeek V3/R1 满血版微调工具发布：低成本高效打造高质量私有模型

8.2K 0

随着 DeepSeek V3/R1 在市场上广泛应用，许多开发者正寻找新的途径，以较低成本提升其业务竞争力与模型质量。本文详细介绍如何使用 Colossal-AI 提供的强大工具箱，实现这一目标。

DeepSeek V3/R1 拥有高达 6710 亿参数，如何进行低成本微调成为了关注焦点。借助 Colossal-AI 开源大模型后训练工具箱，用户可以通过几个简单步骤快速完成模型微调。该工具箱不仅包含 DeepSeek V3/R1 的满血 671B LoRA 低成本 SFT 微调功能，还提供了一系列强化学习工具链如 PPO、GRPO、DPO 和 SimPO。

数据集准备

为了进行有效的微调，首先需要准备合适的训练数据集。Colossal-AI 支持 JSONL 格式的输入文件，其中每一行代表一个聊天对话列表。这种格式兼容 HuggingFace chat template，并允许用户自定义 system prompt。例如：

[{role: user, content: 你好，最近怎么样？}, {role: assistant, content: 我很好。今天有什么可以帮你的吗？}]

此数据格式确保了灵活性和适应性，使用户可以根据具体需求调整对话内容。

模型权重转换

为了达到更佳的微调效果，建议使用 BF16 权重。如果已经下载了 FP8 版本的 DeepSeek V3/R1 权重，可以通过官方提供的 Python 脚本将其转换为 BF16。对于使用华为昇腾平台的用户，也有专门的脚本可用于此转换过程。

启动微调任务

当数据集和模型权重都准备好之后，就可以使用 Colossal-AI 提供的一键启动脚本来执行微调任务。该脚本完全兼容 HuggingFace PEFT，用户只需指定必要的参数即可开始训练。此外，脚本还支持通过 TensorBoard 记录训练过程中的关键指标，以便于监控。

优化硬件资源利用

通过采用 LoRA 技术，Colossal-AI 显著降低了 DeepSeek V3/R1 671B 微调所需的最低硬件要求，减少了近 10 倍。例如，可以在 32 个 Ascend 910B NPU 或 24 个 H100/H800 GPU 上运行微调任务。启用 CPU offload 功能后，硬件需求还能进一步降低，尽管这会牺牲一定的训练速度。

强化学习微调蒸馏版 DeepSeek

对于希望利用强化学习构建类似 DeepSeek R1 模型的开发者，Colossal-AI 提供了一套完整的解决方案。团队验证并实现了 DeepSeek 论文中提到的 GRPO 算法及 verifiable reward，并使用 Qwen2.5-3B-Base 模型进行了实验。奖励函数的设计使得模型能够根据输出的质量获得不同的奖励值，从而激励更准确的回答。