VR幕后鲜为人知的关键技术:虚拟环绕声

发布时间:2016-02-24 阅读量:1471 来源: 我爱方案网 作者:

【导读】VR还做不到对现实世界感觉的全面模拟,但在现有的技术条件下的视听体验已经模拟的相当到位了。注意这个“视听”二字,与VR在视觉和内容的进步方面取得的关注来说,VR的听觉体验却少有人关注,事实上要实现像真实世界里那样逼真的听觉体验,同样不是一件容易的事。
 
双声道完全不够用了!
 
双声道是音频领域的一项革命性的进步,它的出现让用户从耳机/扬声器中听到的声音的“场”从一个单薄的“点”扩宽到了一个“面”,通过两个声道发出的音量和音色细节与播放出来的时间的细微差距,已经可以分辨出一束声音来自左边还是右边,我们现在听到的大多数音乐都是基于这种技术制作的。而在欣赏音乐和大多数电影的时候,双声道音频已经能给予我们需要的足够的空间感和立体感。
 
传统音乐只需要提供两个方向的声音来源即可营造足够的立体感
 
但是当运用在VR上的时候,情况发生了变化:VR需要360度全方位的模拟一个虚拟的世界,在这个世界里声音当然不可能是只来自于用户的左边和右边的。想象一下,如果你处在一个看起来一切都很像真实世界的地方,但你听到的声音只会从左边或右边传来,那会是一件多荒谬的事,视觉上营造的逼真观感会被听觉上的异样毁得荡然无存。VR迫切需要一项更加先进的技术来给听众提供更逼真的听觉体验。
 
彼时仍然庞大的环绕声设备
 
当然,这项技术是存在的。在VR技术被首次提出的20世纪80年代,已经有许多高级影院和一些家庭用上了这项被称为“环绕声”的技术,环绕声的原理其实同样比较简单粗暴:两个扬声器不够,那就多加几个啊。这样音频差异的发挥空间就更加灵活了。可以在音频上给观众以比双声道音响逼真得多的体验。
 
5.1声道是环绕声的一个代表性标准
 
但那时的环绕声虽然在实现原理上不算困难,录制音源却是非常麻烦且困难的。所以音源的稀少导致这项技术一直未能广泛普及,成本居高不下。并且在大空间内放置多个音响是很容易实现的。但VR的要求明显更高:至少要在一个能戴在头上的设备上实现这个效果。20世纪90年代后期是一个科技爆炸性发展的时代。那个年代的VR研究者们应该是相当乐观,认为符合他们要求的技术很快就会出现。事实上他们确实没有估计错。
 
虚拟环绕声的登场
 
或许在VR最初的设计者的设想中,最终声音的模拟立体化是靠头盔内的数组微型扬声器来实现的,他们或许没想到最终的技术竟然可以实现在任何一副只有两个音响的普通耳机上,都能实现真正的环绕声效果。这就是虚拟环绕声技术了。要说明它的实现方式,首先还需要简单讲述一下人耳的工作原理:
 
人耳只有两个,但却能在所有角度上大概分辨出声音到底来自于哪个方向。这是因为人对声音音源的定位方法非常复杂,其由以下效应组成:
 
1.简单的“左-右”信息可以通过相对电平的不同和每只耳朵接收到的不同而获得。
2.对于打击乐器的声音,皮肤可以感受到声波的冲击。
3.声波在进入鼓膜时,受人体的反射、折射和衍射而扭曲变形,大脑能根据经验判断出声源的方位和距离。此一研究领域为头部相关传输函数(Head-related transfer function,HRTF)。
 
大脑处理外界声源的方式可以概括为一个函数
 
人们根据这些原理开发出了数种录音方式,随着技术的进步,其录音效果也在逐渐改善中,方法主要有以下几种:
 
(1)听觉传输立体声系统。它是根据听觉传输技术的原理,通过人工假头进行捡拾,或者用信号处理的方法模拟出声源到双耳的传输函数HRTF,从而得到含有3D空间环绕声信息的双耳信号。所得到的两声道信号经放大、记录、传输后,在经耳机重放,或由扬声器重放。这种方法的优点是声像逼真自然,且只需两个独立的重放声道就可以再现三维空间的声像。但是其缺点也是存在的,由于这种方法对测量和处理的精度要求很高,而且由于HRTF与声源到双耳的相对位置有关,因此,严格来说理想的有效听音域是有限的,而且,倾听者头部的转动也会造成前后声像的倒置等等。
 
听觉传输立体声系统,也叫人头录音
 
(2)3D“准”虚拟环绕声系统。这类系统是在听觉传输立体声技术的基础上,从双声道信号提取出空间信息并予以增强,或者通过模拟空寂不同方向上的HRTF来模拟发射声与混响声,进而增加主观听觉上的空间感与包围感,达到模拟3D环绕声的目的,是普通双声道节目源的后期处理系统。这类系统所起到的是模拟环绕声信息的作用,也就是“准”环绕声系统。SRS、Spatializer3D、Qxpander等是这类系统的代表。
 

 
(3)多通道虚拟环绕声系统。这类系统多采用听觉传输技术的虚拟声源的方法,通过HRTF的模拟。利用一对前方扬声器虚拟出部分扬声器,从而实现环绕声的效果。值得一提的是,这类系统也存在听音域窄和声像前后倒置的缺陷。
 
通过几种特殊的处理方式,带有特殊信息的音频信号被汇总、处理,最终就能得出十分逼真的3D声音信号。
 
良好的音频技术不仅可以给使用者身临其境的感受,也对实际使用有帮助,比如游戏的听音辨位
 
音频技术在VR的讨论中甚少被提及,但其重要性其实丝毫不亚于画面的逼真。据行业内人士的估计,逼真的声音效果至少可以给VR增加50%的代入感和临场感。而虚拟环绕声技术最大的贡献不仅是提供了一种可以营造逼真音效的方法,更重要的是让几乎任何一台耳机都可以达到这种效果,这对VR的普及无疑是非常有利的。
 
相关资讯
国产突围!川土微电子CA-IF1044AX-Q1 CAN收发器:全链路自主化与EMC性能双突破

随着汽车智能化、电动化浪潮加速,CAN收发器作为车载网络的核心通信接口,其可靠性与安全性成为产业链关注焦点。然而,国际局势的不确定性使得供应链自主可控需求迫在眉睫。川土微电子推出的CA-IF1044AX-Q1 CAN收发器,实现了从设计、晶圆制造到封测的全链条国产化,并通过欧洲权威机构IBEE/FTZ-Zwickau的EMC认证,成为兼具安全性与高性能的国产车规级解决方案。

“中国芯”逆袭时刻:新唐携7大新品打造全场景AIoT解决方案矩阵

在万物互联与智能化浪潮席卷全球的今天,新唐科技以颠覆性创新奏响行业强音。4月25日,这场历时10天、横跨七城的科技盛宴在深圳迎来高潮,以"创新驱动AI、新能源与车用科技"为主题,汇聚全球顶尖行业领袖,首次公开七大核心产品矩阵,展现从芯片设计到智能生态的全链条创新能力,为半导体产业转型升级注入新动能。

半导体先进制程技术博弈:台积电、英特尔与三星的差异化路径

在2025年北美技术研讨会上,台积电正式宣布其A14(1.4nm)工艺将于2028年量产,并明确表示无需依赖ASML最新一代High NA EUV光刻机。这一决策背后,折射出全球半导体巨头在技术路线、成本控制和市场竞争中的深层博弈。

嵌入式主板EMB-3128:轻量级边缘计算的工业级解决方案

随着AIoT技术的快速落地,智能设备对高性能、低功耗嵌入式硬件的需求持续攀升。华北工控推出的EMB-3128嵌入式主板,搭载Intel® Alder Lake-N系列及Core™ i3-N305处理器,以高能效比设计、工业级可靠性及丰富的接口配置,成为轻量级边缘AI计算的理想选择。该主板支持DDR5内存、多模态扩展接口及宽温运行环境,可广泛应用于智能家居、工业自动化、智慧零售等场景,助力产业智能化升级。

从ASMI财报看行业趋势:AI芯片需求爆发如何重塑半导体设备市场?

作为全球半导体沉积设备领域的龙头企业,荷兰ASM国际(ASMI)近日发布2024年第一季度财报,展现强劲增长动能。财报显示,公司当季新增订单额达8.34亿欧元(按固定汇率计算),同比增长14%,显著超出市场预期的8.08亿欧元。这一表现主要受益于人工智能芯片制造设备需求激增与中国市场的战略性突破,同时反映出半导体产业技术迭代与地缘经济博弈的双重影响。