JioNLP大语言模型测评发布:“360智脑”多项能力国内领跑
2023-05-24 15:17 360

i黑马讯 5月23日,JioNLP大语言模型评测发布最新测试结果,360版GPT——认知智能通用大模型“360智慧大脑”(简称“360智脑”)成为“国内大语言模型目前最好的”。此前,360智脑在中文通用大模型基准(SuperCLUE)评测结果中,多项能力也是位列国产大模型第一。

1684913400263

近期国内众多公司的大模型产品集中涌现,为把所有公测大模型拉齐到同一个水平线上进行横向比较,JioNLP制作了一份大语言模型评测数据集,用于考察各个大语言模型的实际效果。在其最新一次评测结果中,360智脑得分68分,仅次于ChatGPT和GPT4,高于科大讯飞等国产大模型。

JioNLP表示360智脑的表现超出预期,“相比其它国内模型,优势主要体现在客观题回答准确率相对较高,问答类题型准确性较好,说明模型训练的文本数据分布较广,最值得一提的是模型对于编程题目的准确性较高,测试题中共3道程序题目,全部答对,没有出现明显的偏离和瞎答。”

专业人士分析,作为搜索引擎厂商,360做大模型有天然优势,其海量多样高质量的训练语料和工程化的调度能力,是很多厂商不具备的。同时,搜索引擎数据实时更新、知识校对准确,而大模型能自动剔除垃圾信息,因此两者融合相互增强,形成良性循环。因此JioNLP认为“360智脑准确性较高”是有原因的。

据360相关负责人介绍,未来,360集团将依托多年人工智能技术积累及搜索、浏览器等场景优势,进一步布局“两翼齐飞+四路并发”大模型战略,一方面坚持核心技术研发,另一方面做大优势场景,在场景中不断提升大模型的核心技术能力。