如何利用INT8量化技术优化DeepSeek R1模型性能并扩展GPU兼容性

美团搜推团队近期开源了INT8无损满血版DeepSeek R1，显著提升了模型在A100等旧款GPU上的部署能力和性能表现。通过INT8量化技术的应用，不仅实现了50%的吞吐量提升，还保持了模型精度基本无损。本文详细介绍这一创新技术及其实际应用。

DeepSeek R1原生版本的模型权重采用FP8数据格式，这种格式对GPU类型有严格要求，仅限于支持Ada和Hopper架构的新款英伟达GPU。然而，通过引入INT8量化，美团团队成功解决了这一局限，使得更多类型的GPU能够高效运行DeepSeek R1。

INT8量化技术的优势

INT8量化是一种将模型权重从高精度格式转换为低精度格式的方法，它具有与FP8相同的位宽，但拥有更广泛的硬件支持。在实践中，FP8精度虽然降低了计算成本，但也带来了精度损失的问题。为了弥补这一点，美团团队选择了INT8作为替代方案，因为它不仅能保持高吞吐性能，还能大幅扩展模型的硬件部署范围。

量化技术的具体实现

美团团队采用了两种主要的量化方法：分块量化和通道量化。分块量化通过将权重矩阵细分为较小的部分进行量化，有效地控制了每次量化过程中的损失。相比之下，通道量化则是按列对权重进行量化，减少了计算开销。这两种方法都确保了训练和推理过程中的一致性，从而保证了模型的稳定性和准确性。

模型精度评估

为了验证INT8量化的效果，美团团队在GSM8K和MMLU两个数据集上进行了测试。结果显示，无论是分块量化还是通道量化，两种INT8量化模型的精度均与原始BF16和FP8模型相当，证明了量化过程并未显著影响模型性能。

推理吞吐量提升

在知名开源推理框架SGLang上，美团团队对两种INT8量化方法进行了吞吐量评估。实验表明，在相同的硬件配置下，分块量化的INT8推理相比BF16提升了33%的吞吐量，而通道量化则进一步提高了50%。这表明INT8量化不仅优化了模型精度，还显著增强了推理效率。

部署指南

对于希望部署INT8量化模型的开发者，美团提供了详细的步骤说明。以双节点各8张A100 GPU为例，开发者需安装最新版本的SGLang，并执行特定命令来启动主节点和副节点的服务。此外，美团还展示了如何通过curl命令发送请求，获取模型的推理结果。

案例分析

通过具体的案例，如识别不同金属种类以及模拟大量小球在球体内运动的任务，可以看出INT8量化后的DeepSeek R1模型依然具备出色的推理能力和逻辑判断力。这些例子充分展示了INT8量化模型的实际应用价值。

总结与展望

综上所述，美团搜推团队通过对DeepSeek R1模型进行INT8量化，不仅克服了硬件兼容性的挑战，还显著提升了模型的推理吞吐量。未来，团队将继续致力于技术创新，推动更多优质模型和服务的开源，助力社区发展。