百度开源文心5.5 Flash Base,2800 亿参数刷新同尺寸 SOTA
11 月 5 日,百度正式开源基座模型文心 5.5 Flash Base,采用 MoE 架构,总参数 2800 亿、每 Token 激活 140 亿,用 33.5 万亿 Token 完成预训练;预训练上下文最高 128K,微调与推理支持最长 100 万 Token。官方称在知识、推理、数学、代码与长上下文等基准取得同尺寸 SOTA,权重已上线 Hugging Face。
[本文为作者独立观点,不代表i黑马立场。如需转载请联系微信公众号(ID:iheima)授权,未经授权,转载必究。]



