这条帖子转引了 MegaTrain 论文摘要，核心主张是：通过把参数和优化器状态放在主机内存，而把 GPU 当作临时计算引擎，可以在单卡上以全精度训练 100B 以上参数的大语言模型。摘要介绍了两项关键优化，一是用双缓冲流水线把参数预取、计算和梯度回传尽量重叠，降低 CPU 与 GPU 带宽瓶颈带来的空转；二是用无状态层模板替代持久化计算图，在参数流式加载时再动态绑定权重，以减少常驻图元数据占用。论文声称，在配备 1.5TB 主机内存的单张 H200 上，这套系统可稳定训练最高 120B 参数模型，对 14B 模型的吞吐也达到 DeepSpeed ZeRO-3 CPU offloading 的 1.84 倍。
来源：Reddit（r/artificial）
原始发布时间：2026-04-08 21:20