i黑马讯 10月27日,智谱AI于2023中国计算机大会(CNCC)上,推出了全自研的第三代基座大模型ChatGLM3及相关系列产品,这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。
此次推出的ChatGLM3采用了独创的多阶段增强预训练方法,使训练更为充分。与ChatGLM2相比,MMLU提升36%、CEval提升33%、GSM8K提升179% 、BBH提升126%。评测显示,在44个中英文公开数据集测试中,ChatGLM3在国内同尺寸模型中排名首位。
同时,ChatGLM3瞄向GPT-4V本次实现了若干全新功能的迭代升级,包括多模态理解能力的CogVLM-看图识语义,在10余个国际标准图文评测数据集上取得SOTA;代码增强模块Code Interpreter根据用户需求生成代码并执行,自动完成数据分析、文件处理等复杂任务;网络搜索增强WebGLM-接入搜索增强,能自动根据问题在互联网上查找相关资料并在回答时提供参考相关文献或文章链接。ChatGLM3的语义能力与逻辑能力得到了极大的增强。
ChatGLM3还集成了自研的AgentTuning技术,激活了模型智能体能力,尤其在智能规划和执行方面,相比于ChatGLM2提升了1000% ;开启了国产大模型原生支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景。
此外,在全新升级的ChatGLM3赋能下,生成式AI助手智谱清言已成为国内首个具备代码交互能力的大模型产品(Code Interpreter)。
同时,随着WebGLM大模型能力的加入,智谱清言也具有了搜索增强能力,可以帮助用户整理出相关问题的网上文献或文章链接,并直接给出答案。
自2022年初,智谱AI推出的GLM系列模型已支持在昇腾、神威超算、海光DCU架构上进行大规模预训练和推理。截至目前,智谱AI的产品已支持10余种国产硬件生态,包括昇腾、神威超算、海光DCU、海飞科、沐曦曦云、算能科技、天数智芯、寒武纪、摩尔线程、百度昆仑芯、灵汐科技、长城超云等。