你是否知道,没有VR音频就没有沉浸感?
柏蓉 柏蓉

你是否知道,没有VR音频就没有沉浸感?

在电影行业有一句话,“没声音再好的戏也出不来”,这句话强调了声音对电影的重要性。

这个道理同样适用于VR影视。谷歌Cardboard的高管Nathan Martz曾表示,VR音频不容忽略。他说,许多人认为在开发VR产品和体验过程中,视频和视觉是最重要的因素,其实不然,声音也同样重要。在资深游戏开发者群体中,有一个行业经验——“声音让场景更加真实”。

但VR音频到底是什么鬼?森声数字科技创始人&CEO张瑞博为我们带来他的看法。

VR音频的概念

Q:一提到VR音频,有人会说3D音效(往往是游戏),有人会说杜比全景声,甚至还有说人头录音。到底VR音频是什么?

A:首先,VR音频并不是一个技术名称。它是对所有能解决VR技术中音频方位模拟的技术解决方案的统称

其次,游戏中使用的3D音频也可以包括在VR音频的范畴。上面列举的例子都是在解决特定场景下的特定问题。比如说雷蛇的游戏3D音效和Oculus Audio SDK是解决游戏中虚拟音源的技术。但是,现场采集怎么办?音乐会怎么办?直播怎么办?而杜比Atmos(杜比全景声)的核心是基于object音源的影院扬声器矩阵的还原技术,更多是针对杜比推出的下一代影院效果。这并非真实声场模拟,更多是追求来自于周围和上方震撼的音效。但是,不是影院怎么办?现场采集怎么办?头盔终端回放怎么办?

在音频技术上,人们会因为实现方式流程以及对应用户场景不同,所采用的技术也完全不同。这并不是提问所理解的一个技术通吃所有情况,而是不同情况都需要对应技术方案。

VR音频实际效果

Q:VR音频具体效果以及甄别真伪的方式?

A:首先我不知道什么叫作伪VR音频。因为VR音频本来就随着VR的发展而开始的一个技术板块。就像是高清标准刚刚开始的时候你能说720p是伪高清1080p是真高清么。只是执行程度彻底与否的区别而已。如果说VR音频效果的话,主要有几个特征点:

1.能够和头显视觉画面对应,并表现出对应视角下的声源方位与声源距离

2.同时体现出对应空间环境中的混响情况、声音反射和吸收情况等

3.满足以上要求中部分或者全部都可以叫VR音频

有一个图,可以表明VR音频的基本概念。(下图)

QQ截图20160513140652

VR音频的实现要求

Q:VR音频对比现有的3D音效有什么技术上的硬性要求,比如采集,储存,传输等方面的?)

A: 3D音效是一个有一定年头的东西了,最早你在一些游乐园中听到3D鬼故事或者是网上的理发店都是3D音效。目前3D音效主要由立体声来承载信息,但是由于VR音频需要实现和头显视觉画面对应的空间音效变化,可以理解为声音的维度升级。如果假设传统的3D音效是2维的话,那VR音效至少要做到3维才能实现基本要求,所以整体信息采集量和传输量和传统的3D音效都是天翻地覆的区别,理论上讲至少4倍以上。

不过,好在目前的情况看来VR音频并不会对带宽提出新的挑战,因为相对于4K的全景视频的带宽需求,音频提升所带来的带宽压力基本可以忽略了。

Q:在视频,游戏,电影等不同领域,对VR音频的需求是不是有所不同?为此带来的算法和方案也会有所不同么?)

A:  答案是肯定的。不同情况下对VR音频的需求和实现方式都是不同的。

比如游戏中的VR音频,游戏厂商在开发游戏的时候会把对应的发声源object的对应音轨准备好。比如说脚步声,开火的声音,这些音轨都是普通的音轨。在游戏引擎中设置好根据这些发声的object在虚拟环境中与player的相对位置,然后对应调用HRTF(Head Related Transfer Function,头相关变换函数)算法来实现音源的方位化与距离化,最后通过耳机播放让玩家感觉的方位信息,实现听声辨位。

又比如音乐会VR节目制作,VR游戏中音频不存在采集的问题,因为音轨是准备好的,你不可能把一个现场的音乐会通过事先准备好的音轨代替吧,那就不是这个音乐会了。所以这个时候的VR音频是要通过现场采集的方式来实现。这里实现的方式就比较多了,有通过多向采集再进行声场运算的方式,有通过数字HRTF加工的方式,也有自然HRTF采集的方式,各有各的好处和问题,目前还没有一个标准是肯定的。但是可以肯定的是大多数方式都是通过耳机回放来实现。

VR音频的挑战与瓶颈

Q:目前VR音频遇到的技术瓶颈是什么呢?

A:  VR音频相对于现有的VR视频技术而言并不存在非常难受的技术瓶颈。比如说VR视频中的几个比较难受的瓶颈包括终端屏幕dpi(像素密度)、高分辨率传输、带宽等等。这些都是需要非常大的投入促使量变到质变的发展过程。

但对于VR音频而言,大部分现有的技术加以升级和改进已经可以满足VR的需求,更多的是如何推广和适应实际应用的过程。

Q:哪一部分成熟之后,VR音频才会大规模在内容商普及?

A:  虽然没有太大的瓶颈但是技术挑战还是非常大的。我认为在影视与视频节目方面VR音频的主要挑战是对传统制作方式与制作思路的挑战。

这个问题影响其实非常大,由于VR影视的特殊性,导演在叙事的过程中如何对观众产生视觉方向的引导,如何布置场景,如何隐藏灯光和道具,如何保持观众的代入感和临场感......实际上VR影视对于从19世纪末就发明的电影积累下来的拍摄手法和理论都是颠覆性的。很多以前理所当然的东西到现在都不适用了,各种拍摄团队都在摸索的寻找新的规律和方法,所以VR音频最终能走入千家万户,还要看我们奋战在影视制作一线的工作者能否找到VR音频制作的新规则并创作出各种富有感染力的作品。

当然,我们作为技术与硬件提供商,也会尽全力去帮助他们一起来寻找VR中的声音之路,毕竟在那在头盔之后可是一个对想象力没有边界的世界。


【点击关键词,直达往期精选】

榜单

电影游戏一体机/融资

企业

全球科技巨头华为小鸟看看戴尔HTC

融资

融资事件合集乐客VR幻视灵犀AR眼镜

观点

VR线下娱乐狂欢泼冷水拉人类回正轨情色拯救VR

经验

VR内容创业游戏开发/优酷土豆九合创投

深度

公司布局图谱VR娱乐VR投资研究 

VR圈ID   VR-2014

VR圈ID VR-2014

 

VR vr音频
赞(...)
文章评论
匿名用户
发布