梁文锋署名DeepSeek新论文：公开V3大模型降本方法
梁文锋亲自参与的DeepSeek最新论文来了！这一次，团队把DeepSeek-V3在训练和推理过程中，如何解决“硬件瓶颈”的方法公布了出来。具体而言，DeepSeek-V3之所以可以只用2048块H800，就能达到超大规模集群（如数万块GPU）相当的训练效果，核心在于四项创新技术：内存优化-多头潜在注意力（MLA）；计算优化-混合专家模型（MoE）与FP8低精度训练；通信优化-多层网络拓扑与低延迟设计；推理加速-多token预测（MTP）。
［本文作者佚名，i黑马原创。如需转载请联系微信公众号（ID:iheima）授权，未经授权，转载必究。］
匿名用户
