人工智能行业近年的发展,可以用一日九迁来形容,而预训练大模型作为当前人工智能发展的重要方向,已经成为了全球科技媒体关注的焦点。
12月21日,全球顶级科技商业杂志麻省理工科技评论发布了一篇题为《2021 was the year of monster AI models》的文章,鹏城-百度·文心大模型等中国预训练大模型作为代表案例被重点提及:“百度和鹏程实验室发布了鹏城-百度·文心大模型,这是一个拥有 2800 亿个参数的模型,百度已经在各种应用中使用,包括互联网搜索、新闻提要和智能音箱。”
“在 10 或 20 年内,大型模型将成为常态,”OpenAI 的研究员兼 GPT-3 的设计者之一贾里德·卡普兰,在 NeurIPS 小组会议上说。如果真是这样,研究人员就应该不仅关注模型的大小,还应关注他们如何处理模型。
就在今年12月8日,鹏城实验室与百度正式发布双方共同研发的全球首个知识增强千亿大模型——鹏城-百度·文心。鹏城-百度 ·文心基于百度知识增强大模型ERNIE3.0全新升级,模型参数规模达到2600亿,相对GPT-3的参数量提升50%。
在算法框架上,该模型沿袭了ERNIE3.0的海量无监督文本与大规模知识图谱的平行预训练算法,模型结构上使用兼顾语言理解与语言生成的统一预训练框架。为提升模型语言理解与生成能力,研究团队进一步设计了可控和可信学习算法。
在训练上,基于业界领先的“鹏城云脑Ⅱ”算力集群,通过我国首个自主研发、开源开放、功能丰富的百度飞桨深度学习平台进行训练,解决了大模型训练中的多个世界性难题。在应用上,首创大模型在线蒸馏框架,大幅降低了大模型落地成本。
百度首席技术官、深度学习技术及应用国家工程实验室主任王海峰介绍,百度知识增强大模型从大规模知识和海量数据中融合学习,效率更高,效果更好,具有良好的可解释性。从2019年3月发布文心ERNIE1.0,到最新的产业级知识增强大模型文心全景图,既包含基础通用的大模型,也包含面向重点领域、重点任务的大模型,以及丰富的工具与平台,有助于促进技术创新和产业发展。
鹏城-百度 ·文心,将进一步解决传统AI技术在推广中缺乏领域和场景化数据等关键难题,推动人工智能进入大规模、可复制的大工业落地阶段。
作为中文NLP的领军者,百度让中文语义理解中最先进的技术始终掌握在中国人手中。而以百度为代表的中国AI企业仍持续探索技术创新,未来中国AI将有更多突破成果持续涌现,为世界科技与经济发展注入创新源动力。