智谱GLM5架构负责人白雨石加入腾讯混元
据行业媒体消息，白雨石，此前担任智谱 GLM5 新模型架构及 DSA 技术负责人，近日已加入腾讯混元团队。
白雨石的研究领域涉及长上下文大模型与大模型评测，已在 NeurIPS、ICML、ICLR、ACL 等国际顶会发表 10 篇一作论文。
在智谱期间，白雨石参与 GLM5 的模型架构设计及强化学习适配工作。据其个人主页介绍，今年 2 月 GLM5 发布时，其为 “GLM5 新模型架构（DSA）、架构改进以及强化学习适配的负责人”。
一个月后，他又以第一作者身份发布 IndexCache 研究，进一步优化了 GLM5 采用的 DSA 稀疏注意力机制。
从 arXiv 论文信息来看，白雨石的署名机构已更新为腾讯相关团队，出现在混元长上下文稀疏注意力相关论文作者栏。
Hy4 是腾讯混元于 8 月 28 日发布的新一代大语言模型，总参数 770B、激活参数 49B，上下文长度突破 100 万 Token。
白雨石的加入，或为混元团队补充了来自智谱 GLM5 架构线的关键经验。
［本文作者i黑马，i黑马原创。如需转载请联系微信公众号（ID:iheima）授权，未经授权，转载必究。］
匿名用户
