谷歌新训练方法DiLoCo突破LLM分布式训练瓶颈

近日，谷歌Research、谷歌Search、谷歌DeepMind三大团队联合宣布，在训练大型语言模型（LLM）方面取得了重大突破。他们研发出一种名为DiLoCo的新训练方法，能够在多个数据中心高效训练越来越大的LLM，无惧模型规模。这一成果被发布在论文平台上，引起了广泛关注。

据谷歌研究员Zachary Charles介绍，DiLoCo训练方法的核心在于其Scaling Law，即随着模型规模的扩大，DiLoCo的训练效果远超传统的数据并行训练方法。具体来说，DiLoCo在四个方面表现出了显著优势：更稳健、更优越、更强大以及更高的批大小容忍度。

论文中指出，DiLoCo在不同模型规模下，其超参数保持稳定且可预测，这保证了训练过程的稳健性。同时，随着模型规模的扩大，DiLoCo相较于数据并行训练的优势进一步提升，表现出更优越的性能。此外，DiLoCo能够容忍比数据并行训练大得多的批大小，这意味着在训练大型模型时，DiLoCo能够更高效地利用计算资源。

为了验证DiLoCo的有效性，谷歌研究团队进行了大量实验。他们使用C4数据集的训练集来训练模型，并用C4的验证集来评估模型性能。实验结果表明，DiLoCo在模型规模增长时，表现出稳定且可预测的扩展性。特别是在训练40亿和100亿参数的模型时，DiLoCo的评估损失明显低于数据并行训练方法。

值得一提的是，DiLoCo的训练过程采用了内外优化的结合方式。每个DiLoCo模型副本都会独立进行内部优化步骤，然后通过外部优化器基于参数空间计算的外部梯度进行更新。这种训练方式使得DiLoCo在保持模型性能的同时，提高了训练的稳定性和效率。

此外，DiLoCo的突破也引发了业界对于未来AI发展趋势的讨论。有专家认为，随着AI技术的不断发展，分布式训练将成为主流趋势。而DiLoCo正是分布式训练领域的一次重大突破，它有望为AI行业的未来发展带来深远影响。