阿里造芯启示录
2019-09-26 10:46 阿里 云栖大会

2阿里造芯启示录

一年造芯成功,平头哥做对了什么?

作者:罗超  来源: 罗超频道(luochaotmt)

在2019年云栖大会主论坛,阿里巴巴CTO、达摩院院长张建锋从口袋里掏出一款看得见、摸得着的芯片:含光800。这是一款AI芯片,重点应用于机器视觉中,如图片识别、视频识别等。作为平头哥半导体公司首颗自主研发的芯片,含光800成为云栖大会主论坛的热门话题。

平头哥当立1.png

全球最强AI芯片?

一年前的云栖大会上,平头哥半导体公司宣告成立,这是阿里首次对外宣告要自主造芯,但事实上,阿里很早就已想要拥有自己的芯片,并为此筹谋许久。阿里当时宣布正在打造内部代号为“Ali-NPU”的芯片,主要针对图像和视频的AI任务加速场景,按照设计,Ali-NPU的性能将是同类产品的40倍。对于“40倍”这个数字,当时很多人是不信的。

从定位来看,含光800应该就是一年前所说的Ali-NPU,我注意到在发布会现场,张建锋数次强调这款芯片很“大”——移动端芯片因为应用场景要求往往都强调体积的小,这意味着含光800的应用场景不是终端,而是云端服务器。“大”不是指体积大,而是计算能力强大,其每秒能处理78000张图片。仅仅是从晶体管数量来看,含光800拥有170亿个晶体管就远超同行。

最能体现出其算力强大的则是一组对比数据。在业界标准的ResNet-50测试中,含光800推理性能达到78563 IPS,比目前业界最好的AI芯片Habana Goya 高4倍;能效比500 IPS/W是其3.3倍。跟一年前市面上的英伟达P4比,性能有46倍的优势,“Ali-NPU 性能40倍于同类产品”不是吹牛。

平头哥当立2.png

含光800算力强大的原因在于面向AI视觉场景自研的架构和定制的算法,以下来自官方新闻稿:

“含光800硬件层面采用自研芯片架构,通过推理加速等技术有效解决芯片性能瓶颈问题;软件层面集成了达摩院先进算法,针对CNN及视觉类算法深度优化计算、存储密度,可实现大网络模型在一颗NPU上完成计算。”

更具体的解释:平头哥针对含光800瞄准的机器视觉场景,自研了架构、软件编译器、框架、工具链等等,并针对INT8数据类型做了大量优化,最终在性能、良率、功耗等指标上均表现良好。比如在架构上,含光800针对深度学习中使用的大量权重参数和张量数据,在支持稀疏压缩与量化处理的基础上,通过独特设计的数据访存与流水线处理技术,大大减低了I/O需求和数据的搬移,NPU同时深度优化了卷积,矩阵乘,向量计算和各种激活函数,通过高有效的硬件资源调度和全并行的数据流处理,把AI运算的性能和能效双双推向极致,整个架构都是创新设计的。

换言之,这是一款软硬件高度整合的AI芯片,用张建锋的话说:传统芯片公司擅长硬件,然而在算法上不具备优势。我看到在一个媒体社群记者们就“含光800是否全球最强”有不同看法,但毋庸置疑,在视觉这一场景下,在市面上的同类产品中,含光800从算力、能效比来看均绝对领先。

平头哥当立3.png

要注意的是,含光800不是一款PPT芯片,其已实现流片量产,应用到阿里商业生态中。对内应用在阿里核心业务上,张建锋在云栖大会的现场演示现实,城市大脑实时处理杭州主城区交通视频场景,原来需要40颗传统GPU,延时为300ms,使用含光800仅需4颗,延时降至150ms;拍立淘商品库每天新增10亿商品图片,使用传统GPU算力识别需要1小时,使用含光800后可缩减至5分钟。对外,含光800不直接售卖,而是通过云的形式向阿里云数百万客户售卖AI算力,基于含光800的AI云服务已正式上线,相比传统GPU算力,性价比提升100%。 

平头哥一年当立

含光800的“含光”,将是平头哥系列终端芯片的名称。含光是上古时代三大神剑之一,《列子·汤问》:“孔周曰:’吾有三剑,惟子所择。一曰含光,视不可见,运之不知其所触,泯然无际,经物而物不觉。’”含而不露、光而不耀,意指含光系列芯片将主打无形却强劲的算力。

平头哥当立4.png

百度了一下,另外两大神剑分别是承影和宵练,这意味着,平头哥或许还有更多宝剑静候出鞘。不过,虽然平头哥目前只有含光800,但其已拥有多款“宝剑”:7月25日,平头哥在上海阿里云峰会上发布RISC-V处理器玄铁910,其是业界性能最强的一款RISC-V处理器IP,就像杨过可以将玄铁剑铸成屠龙刀一样,5G、人工智能、网络通信、自动驾驶等领域的开发者可以基于玄铁定制自有芯片提高性能提高一倍以上,同时将成本降低一半以上,在玄铁之前则有C-Sky系列,均主打IoT场景;8月29日,在世界人工智能大会上,平头哥发布无剑SoC芯片平台,集成CPU、GPU、NPU等,降低芯片设计门槛。

平头哥当立5.png

在含光前,平头哥发布的“宝剑”是帮助第三方铸剑,不论是玄铁还是无剑都旨在帮助企业降低芯片设计门槛,“让天下没有难造的芯片”是平头哥成立的使命之一;含光800则是平头哥给自己铸的第一把剑,基于此让企业拥有高性价比的AI算力。

至此,平头哥的芯片布局已经有了雏形:SoC平台、处理器IP和自有芯片形成的自有+开放结合的全栈芯片生态。接下来平头哥会延续玄铁、无剑和含光三大系列进行完善,布局云上AI训练芯片和端上的AI推理芯片,已经确定的是平头哥正在研发用于阿里云神龙服务器的SoC专用芯片,以满足更多场景的算力需求。

不论何种形式,平头哥都将让算力在AI时代更加普惠,接下来,平头哥将继续在端上做芯片基础设施,在云端给企业提供普惠算力,助力企业拥抱数字化经济。

从技术布局来看,平头哥不是孤立的,它是阿里AI+芯片+云计算三位一体战略的一部分,因为有AI算法优势,含光800作为第一代就拥有全球领先的性能;正是因为有飞天这一阿里自研的高性能云计算平台,含光800性能才可以在云端被充分挖掘转化为强劲算力;正是因为有云计算这一强势业务,含光800才可以不售卖芯片只售卖算力的方式商业化,“芯片即算力,算力即服务”。

阿里巴巴在云计算上优势已经确立,阿里云稳居亚太第一;基于阿里丰富的应用场景和达摩院高端基础技术的布局,阿里在AI技术上尤其是语音智能、语言技术、机器视觉、决策智能上正在构建优势,平头哥基于云和AI的优势迎头直追。阿里已形成“一拖二”的技术战略格局,云计算领跑,AI和芯片齐头并进,三者互相协同,你拉我带。站在这样的视角来看,阿里造芯成功有其必然性。

阿里造芯启示录

因为自研芯片成功而具备技术长板的例子很多,比如A系列处理器对iPhone的成功居功至伟,再比如麒麟处理器则让华为成功走向了高端,因为缺乏自主芯片,在技术上体现出短板的公司不胜枚举。芯片是计算的基础,对科技公司至关重要,因此2018年以来科技巨头都在造芯,不过现在看来最新一批“造芯新势力”的领先者,是阿里平头哥:

1、有了看得见摸得着的领先型产品,特别是玄铁和含光;

2、有了全栈的芯片生态;

3、有了大规模的商用,含光已被应用到阿里核心业务并通过阿里云以算力形式开放。

阿里造芯成功给行业的启示是什么?我认为有如下几点:

1、芯片技术不是研发一个App,心血来潮是做不成的。

芯片技术门槛相当高,一年半载很难有什么成就。表面上看,含光800是芯片研发领域的一个奇迹,平头哥只用7个月就完成了含光800的前端设计,之后仅了3个月就成功流片,一般公司往往要经历两次甚至多次流片才可能成功,平头哥快速成功显然不是因为“运气好”,而是厚积薄发。

阿里十年来一直未曾拥有自己的芯片,日益复杂的阿里生态对计算提出的要求越来越高,然而工程师每天跟服务器打交道时逐步发现,他们正在触摸算力的边界,就像当初决定去IOE以强化数据库底层控制权一样,阿里意识到一定要有自己的芯片,只有拥有自己的芯片才能拥有最极致的算力。

不过阿里没有选择蛮干,而是步步为营,阿里先是投资寒武纪、深鉴和Barefoot Networks等多家芯片公司,再收购中国大陆唯一拥有自主嵌入式CPU IP Core的公司中天微,有媒体报道称马云已投资中国大半个芯片圈,这一过程花了好些年。在投资收购芯片公司外,阿里2017年成立三年投资千亿的基础技术研究机构达摩院,人工智能和芯片技术是其重点研究范畴。而在硬件层面,阿里在服务器、FPGA以及存储等领域拥有多年研发经验,此外,平头哥团队在体系结构、编译技术等领域拥有深厚的技术储备。

平头哥当立6.png

在软硬件上都打好底子后,阿里才正式宣布“造芯”。阿里造芯是深思熟虑的结果,是战略选择,不是心血来潮更不是要蹭热点。

2、对的策略,对的战术,对的时机。

不论是PC还是移动芯片,发展都已接近极限。五年前PC衰落,芯片“够用了”很难再有升级动能,Intel大力转型移动;Intel移动化尚未成功,手机市场又进入下滑周期,移动芯片“够用了”,智能手机的瓶颈不再是计算性能,而是网速、续航和交互,ARM被软银收购,2019年第二财季高通营收下降4.6%,芯片巨头都在寻找新的方向。“18个月性能翻番、成本减半”的摩尔定律,失效了。芯片产业的第三次浪潮是什么?答案很清晰,就是AI以及AI拉动的IoT、5G等产业浪潮。

2018年是一个非常好的节点:AI普及的趋势,对算力,对数据能力,对芯片都提出全新的要求,同时创造了大量新的应用场景,这意味着新玩家有新的机会,我们会看到平头哥做玄铁是瞄准的IoT,含光则是瞄准了机器视觉这一AI强相关场景,这都体现出差异化竞争的思路,而不是去做手机芯片这样的毫无胜算的市场,现在再去做手机芯片意义不大了。

瞄准AI和IoT场景是战术选择,2018年入场是时机选择,而在策略上,平头哥没有一上来就发布自己的芯片,在含光发布前先发布了处理器IP玄铁710和SoC无剑平台,循序渐进。对的策略、对的节奏,对的时机,促成了平头哥的首战告捷。

平头哥当立7.png

3、全新的普惠模式,是一种战略选择。

平头哥是芯片公司的“新物种”,它不是要做一家卖芯片的公司,做芯片的目的是解决自己问题,再将其开放出来实现技术普惠,这是一种战略选择。

阿里巴巴业务场景日益复杂, 对算力提出更高的要求,搜索、推荐、视频分析、城市大脑、金融科技等等AI场景,存量芯片已难以满足,这是阿里自主造芯的初心。

不过,只是解决自己的问题是不够的,就像阿里云是将在阿里业务场景千锤百炼的各种技术开放一样,阿里造芯最终同样会走普惠路线。

在云栖大会上,阿里巴巴集团董事长兼CEO张勇在演讲时提到一个说法:“如果说大数据是石油,算力就是发动机,它们共同构成面向数字经济时代的核心能力。”他的逻辑是:当数据在数字经济时代以几何倍数增加,能够与之协同的是同样几何倍增的强大算力,让数据被高效使用。而阿里巴巴商业操作系统正成为数字经济时代的基础设施,在这一操作系统中,算力这一发动机要保持高速运转的根本就是有强大的芯片。平头哥成立的初心就是要让算力普惠,不论是SoC和IP模式降低芯片设计门槛,还是在云端将含光800的算力开放出来,均体现出这样的理念。

平头哥当立8.png

这样的理念促成了平头哥独特的竞争力。PC和移动芯片都是“巨头+巨头”模式,比如Intel与Windows的“Win-Tel”联盟,再比如高通/联华科与手机巨头间的联盟。然而到了IoT时代这样的模式很难再奏效了,一方面,只要有能力,巨头都想做自己的芯片;另一方面,AIoT市场一定是碎片化和强应用驱动的,一款芯片卖一年的做法很难再适应如此复杂的芯片需求,芯片一定会走向面向场景定制和基于软件定义,芯片公司一时之间也难以再找到牵手的巨头,这时候,平头哥做芯片基础设施“让天下没有难造的芯片”模式就生逢其时,虽然才面世一年就已展现出强大的生命力。