英伟达林耀南:做VR正如谈恋爱,第一次印象不好,就玩不下去了
2016-04-17 16:43 VR/AR 林耀南 英伟达

虚拟现实的核心是现实,而非虚拟。

在2016 GTIC VR/AR峰会上,乐视新技术研发副总裁李强首次对外公开了乐视VR生态布局。

英伟达亚太GPU产品总监林耀南发表了名为“一沙一世界一花一天堂 化虚拟为现实之术”的主题演讲,解密图形处理在VR时代的核心技术和解决方案。

他认为,VR平台的建立应该将三个层级分开,即

消费级,如VR游戏和娱乐PC,涉及到全景视频的捕获;

专业级,如VR工作站和体验馆,涉及到全景视频捕获和流化;

移动级,如移动VR头戴设备,涉及到嵌入式视频捕获和流化。

而在AR方面,图形图像非常丰富,而画面与现实环境的融合对机器视觉提出的要求,决定了GPU性能必须持续发展。

以下为林耀南演讲实录:

我先问大家一个问题,交女朋友最重要的问题是什么?

回答:漂亮。

林耀南:漂亮是第一印象。

交女朋友最重要的事情第除了第一印象还有第一次约会。女孩交男朋友最重要是第一印象,第一次体验很重要,第一次印象搞砸了,这个产业就不要玩了,因为工作关系我很早期接触VR/AR的设计,开始玩它。

我可以看到很多很棒的设计,很棒的VR体验,但有时候会遇到比较差的VR体验,比较差的VR体验怎么来?因为不够快。到底要多快呢?VR体验从头到尾要20个minisecond,显卡到摆头只有9个mini秒,天下武功为快不破,所以快非常重要。

快之外还有一点就是知识,我们要讲虚拟现实,虚拟现实不是讲虚拟,重点在现实。所以怎么样兼具那个快还要达到现实,这就是NVIDIA的专长。

今天听到很多VR体验全都是在这里头,这都是用NVIDIA的特异功能,这是攀登声母峰的DAMO,这是美国图形开发者大会Mars2030的VR,这也是用NVIDIA的技术。

还有星际迷航的光剑也是NVIDIA,NVIDIA已经用到游戏开发商以及硬件开发商这里。

这是五个特异功能,包括两个部分,左边是游戏开发者做的,右边三个是头盔开发者做的。

大家中午吃饭如果离开自己公司到外面吃饭回来最快要多少?有没有一小时的?我看到有点头,有没有半小时?没有人点头。有。也有半小时。如果说今天我要是出去吃饭,再回来老板跟我讲说,可不可以不要30分钟,我们 最近很忙,会不会觉得老板很过分,会,真的很过分。世界上有两种对,一个是道理对一个是老板对,VR世界里面眼睛告诉你,世界上最快的显卡、设备、眼镜,眼睛告诉你说,不行,我有点晕,是一样的道理。

我们吃饭先把菜点好,把车打好到那边吃,吃饭吃到一半,人只有两只手变成四只手,多余两只手剥橘子皮,这个特异功能做这些事,我尽量用非技术的方式来讲,我用5分钟说技术。

第一,MULTIRES SHADING,反扭曲,经过反扭曲看到很漂亮世界,NVIDIA发现有一些猫腻。这个东西在你的眼镜里面其实是没有完全成像,只成像一半,大部分的地方都是黑的,这些都没有成像,我为什么要画那么大?我画了150分最后显示100分,太浪费。你看这一角,最后显现出来七分之一不到。这就是浪费,所以NVIDIA的特异功能,切成9个部分,根据9个部分,中间形变最少采取100%的分辨率,剩下的开发商可以自己填,填完之后在没有减少你视觉的差异底下,你填上以后还是100%,没有一点浪费。

一个游戏被切成9个,同时跑9个游戏浪费时间,依序处理这9个在不同的时间点。NVIDIA在5年前,我们可以同时处理9个游戏完全不占用任何时间,一次过去。所以它是完全同步的。

我们就可以得到很好的补偿,原来你在中间看到东西是比较好的,你在旁边看到是比较差的,那我们都用最过的像素密度绘图,现在不用了,在边缘的地方下降,减少浪费。

既然可以做减少浪费就有更高端技术出来。我抓到了,你现在比原来只还要差,作弊,这并不是。我们在3D,你看着我就看不到后面,今天更厉害的3D电影比 《阿凡达》还舒适,中间清楚,旁边再模糊一点。NVIDIA可以切成9个,让你游戏增加50%的效能。

第一个记录,目前最新记录有人打算试试看,12个小时之内没有做任何事就增加50%的效能,以前记录一个礼拜增加30%。

用了三天,把一个场景不小心增加100%的效能,50%的效能970当作980来用,300美金变成650美金。

第二个功能,就是VR SLI,它需要用CPU,确保两个眼睛看到同一点。

眼镜开发商、头盔开发商也会导入一些功能。大家有没有知道SKII有一个东西叫Petria,Context由于Petria,做VR眼镜,我画这里头跑到这边,头往右边看到这张,头往左边也看到这张,头就晕了。TMIEWARP,针对你要画的地方画一点,根据陀螺仪跑这边抓这一张,这样不会头晕。但是这要用掉一个Context,你的显卡不能画下一张图,一到90帧,没来,重复贴第一帧,我们装的两倍Petria的SKII给你。Context要有优先权,因为它马上要显示。

再来就是DIRECTMODE,什么样眼镜就要插显卡,不要跟微软讲,微软就不知道插的第二台应用进来,再此就不会有延伸桌面。

第五个功能,叫FRONT BUFFER,显卡把游戏的画面画在后面。我们刚刚讲,天下武功为快不破,头盔知道怎么拿的情况下,显卡直接把图放到前面口袋,同时我一拿出来的瞬间,屏幕就像拿了,我们就分析下去拿,都不会打结,这会快很多,这是非常跳脱在盒子之外的思考,才能够减少很多的浪费。

五个非常棒的SDK,它被用在不只是GeForce还有专业绘图卡上面,还有Tegra。

VR的应用会被用在各个部分,这个地方我想大家知道。

NVIDIA的技术帮助整个架构技术系统,头盔设备降低延时提高分辨率和刷新率,游戏引擎跟引擎做华丽的特效,高的帧速率,应用开发还需要电脑视觉,还有深度学习。在直播这边要用到高速运算。

AR,未来非常看好,我也很看好,在AR上面不只要丰富的图形还有一个很重要的,AR叠在空间的人头上,不管怎么跑不可以歪掉,要电脑视觉,这都是GPU必须发展的地方。NVIDIA的技术跟大家一起同在,你甩都甩不掉。

今天主题是一沙一世界,一花一天堂,告诉大家怎么样化现实为虚拟之术,今天的国人讲爆点,12小时增加50%的效能,做的是VR的特别版。4.1已经发布了,我们在昨天晚上11点也把它做完了,有做RV开发,用引擎的就可以跟我联络,特异功能你也有,就是周星弛说的你想学,我教你。

第一,VR/AR从我的观念,它是一个枯木逢春的产业,在座的前辈,王捷已经做超久了,但是到一个时间点就爆发,这跟《阿凡达》是一样的,《阿凡达》3D电影已经存在,突然间大爆发,现在电影常常有3D眼镜,VR一旦进去现在爆发就停不了,VR爆了之后就会爆AR,大家一起做,所以对我来讲VR/AR就是枯木逢春。

第二点,VR/AR的生态系统,生态系统没有凭空产生的,就像地球的演化,从原有的生态系长出来,VR/AR的生态系来自于GPU、图形就已经存在的生态系,各种游戏产业、设计产业各种国防等等的还有医疗产业,VR生态系建筑于GPU的生态系之上。

最后,VR,对我来讲是RV,现实虚拟。

 

VR圈:关于VR行业的那些人和事儿