分享到微信

×
用微信"扫一扫"扫描二维码即可发给您的好友或分享到朋友圈

【未来观影体验】④ AI人工智能驱动的创新型音效技术

2020年5月14日

这是一个家庭娱乐的时代。现代“家”不仅局限于是一个住宅空间,而是成为了一个能够休息、娱乐、与他人共享美好时光的地方。而位于这一趋势核心位置的是拥有超大屏、超高清、超细像素的电视所带来的多维度内容体验。毫无疑问,高质量的音频体验将成为其中的点睛之笔。

三星通过2020年QLED 8K电视和AI音效技术(AI sound technologies),将电视音频体验提升到了新的高度。音画追踪OTS+技术(Object Tracking Sound+)使用基于人工智能的软件,通过声音的移动来配合屏幕上物体的移动;智能控声技术(Active Voice Amplifier,AVA)持续对用户音频环境进行追踪探测;Q交响乐(Q-Symphony)*则能够创造出一种更真实、更立体的声音。

三星新闻中心与三星电子映像显示事业部的音效研发人员进行了深入交流,进一步了解他们在不同领域的研发实力以及在音效方面的创新历程。

(从左至右)Youngtae Kim(Sound Lab声音实验室)、Jongbae Kim(Sound Lab声音实验室)、Yoonjae Lee(Sound Device Lab声音设备实验室)和Sunmin Kim(Sound Lab声音实验室)

(从左至右)Youngtae Kim(Sound Lab声音实验室)、Jongbae Kim(Sound Lab声音实验室)、Yoonjae Lee(Sound Device Lab声音设备实验室)和Sunmin Kim(Sound Lab声音实验室)

音画追踪OTS+技术:通过感知房间氛围带来更真实的音效体验

那些拥有出色音效的动作大片能够给电影院观众带来非常真实的观影体验。因为电影院在几乎所有的墙壁(包括天花板)以及屏幕周围都安装了拥有3D声音功能的多声道扬声器。这与仅在两侧配备扬声器的双声道音效相比,电影院多声道扬声器的音效体验更为精细。如何在家居环境重现这种真实感?三星音效研发人员提出了音画追踪OTS+技术,通过内置6个扬声器,这项技术让声音跟随屏幕画面中的动作而移动。

有了这项技术,视频内容中的音频可以实时地跟踪屏幕上的动作。当一辆汽车从屏幕的左侧移到右侧时,它发出的声音也会随之移动;当一个重物从屏幕的顶部下落到底部时,声音也会随之下降。

有了这项技术,视频内容中的音频可以实时地跟踪屏幕上的动作。当一辆汽车从屏幕的左侧移到右侧时,它发出的声音也会随之移动;当一个重物从屏幕的顶部下落到底部时,声音也会随之下降。

为了让声音实现对动作的模拟,在研发2020年QLED 8K电视时,三星研发人员把电视扬声器数量从2个增加至6个。“在屏幕两侧、顶部和底部各放置两个扬声器,总共6个扬声器来向各个方向传播声音。”Jongbae Kim解释说,“我们尽可能拉大了两个主扬声器之间的距离,同时安装了附加扬声器,以便让所有轴线上的声音都能更好传播,从而让声音显得更有立体感。例如,屏幕上方的扬声器使声音能够在垂直方向上移动,带来更加沉浸的体验。”Kim还强调,尽管配置了6个嵌入式扬声器的电视结构非常复杂,但研发团队还是设法让电视保持了纤薄简约的设计。

为确保音频能准确跟随画面的动作,很重要的一点就是理解内容创作者的意图。“在混音的时候,音效工程师需要增加屏幕画面上动作与伴奏音轨之间的一致性。工程师通过音频信号将声音在一段视频内容中的位置信息,包括声音移动等,发送到伴音通道中,然后我们必须能够跟踪这些信号,以便准确地再现内容中音频的位置和移动。”Jongbae Kim指出,“音画追踪OTS+技术能够分析音频信号中所包含的位置信息,这些信息最初是在混音的过程中被放置进去的。这意味着电视可以区分声音的方向,以及音频源位置是在屏幕上还是在屏幕外、是在特写中还是在远景里,并基于此在6个扬声器之间有效地分配声音。”

智能控声技术(AVA):智能噪声检测,以提升语音清晰度

当您正在观看节目的关键时刻,却被搅拌器的声音所淹没,或者正在收看重要的突发新闻报道,却被打雷的声音所掩盖,此时再通过遥控器调整音量可能已经来不及。这就是研发团队要研发智能控声(AVA)技术的原因,它可以识别外部噪音,一旦周围环境太过吵闹,就会相应地加大内容中声音的音量。

当您正在观看节目的关键时刻,却被搅拌器的声音所淹没,或者正在收看重要的突发新闻报道,却被打雷的声音所掩盖,此时再通过遥控器调整音量可能已经来不及。这就是研发团队要研发智能控声(AVA)技术的原因,它可以识别外部噪音,一旦周围环境太过吵闹,就会相应地加大内容中声音的音量。

智能控声(AVA)技术拥有智能的工作方式。电视声音传感器安装在其底部的中间位置,同时接收来自屏幕内容和周围环境的声音信号。之后,通过AI技术比较这两种声音的音量水平,如果发现外部声音大,就会选择性调大电视的音量。“这个系统对于噪音并没有一个固定的定义,”Sunmin Kim解释说,“它认为无论任何因素,只要对内容享受造成了干扰,就全都是噪音。当外部声音持续高于一定的分贝水平时,系统就会将其记录为‘噪音’。”

然而,智能控声技术不仅是在发现环境音量更高的时候调大电视音量这么简单,因为这种做法会让整个房间更加喧闹。“该系统使用了人工智能技术,会保持电视音效和背景音处在一致水平,仅调大语音音频的音量,”Sunmin Kim表示,“研究表明大部分内容中都包含了大量的对话,我们认为增强对话的传递效果将有利于帮助观众理解内容。”

Q交响乐(Q-Symphony)*:创造多维度的声音景观

在电视内容回放过程中呈现出真实的音效,关键要素之一就是三维立体感,包括水平和垂直音频特性。电视团队和音响团队一直在这些方向上分别进行研发。不过,随着三星2020年QLED 8K电视开始配备顶部扬声器,团队研发了一个全方位解决方案,将电视和音响功能和谐地融合在一起。Q交响乐(Q-Symphony)*支持同时使用电视扬声器和外接音响,作为一项业界创新成果,该技术在2020年CES展会上荣获了“最佳创新奖”(Best of Innovation Award)。

even recognized with a Best of Innovation Award at CES 2020.

“在使用具备不同特点的扬声器时,Q交响乐*技术可以和谐地管理声音回放。该技术的核心在于遵循预先确定的声音回放规则,且在电视与音响联网情况下,在两者之间进行必要的信息交换。这种方法让卓越的声音再现体验成为可能,”Yoonjae Lee解释道,“这项技术的一个关键要素是我们开发的一种特殊算法,它可以在电视扬声器和音响之间对声音进行分割和调和。”

在研发过程中,团队在人物对话再现的质量方面遇到了挑战。当音响和电视扬声器同时播放对话时,音质出现了明显的下降。不过,通过将包括对话在内的主要音轨与整体信号进行分离,并将不同音轨分别分配给电视扬声器和音响之后,研发团队成功解决了问题。“在2020年QLED 8K电视上,人物语音信号会被提取出来,从电视内置扬声器所再现的声音中去除掉。然后,分配给内置扬声器的就是包括各种音效在内的环境声音信号。”Lee解释说,“最后,所有包含对话的主要声音都由外部音响来负责再现。这项技术可以分别利用电视扬声器和音响的优势,为用户提供优质、和谐的声音体验。”

共同协作,研发出色音效体验

2020年QLED 8K电视不仅增加了扬声器数量、调整了扬声器布局,还通过AI人工智能技术实现了扬声器与外部音响之间的协作。研发团队认为,之所以能取得这些成果,主要在于与其他多个团队进行密切合作。“在一款新品研发的过程中,所有其它领域同样都需要实现创新的同步。”Youngtae Kim指出,“我们共同提出了各种解决方案,以开放的心态克服了每一个技术障碍。”

2020年QLED 8K电视不仅增加了扬声器数量、调整了扬声器布局,还通过AI人工智能技术实现了扬声器与外部音响之间的协作。研发团队认为,之所以能取得这些成果,主要在于与其他多个团队进行密切合作。“在一款新品研发的过程中,所有其它领域同样都需要实现创新的同步。”Youngtae Kim指出,“我们共同提出了各种解决方案,以开放的心态克服了每一个技术障碍。”

Youngtae Kim(左)和Sunmin Kim在介绍2020年QLED 8K电视的创新声音技术

音效研发团队将一如既往致力于为用户带来更好音频体验。除了与三星位于美国的音频实验室(Audio Lab)合作开发未来的音频技术之外,还与三星研究院(Samsung Research)在全球各地的研发中心、大学和创业专家开展合作。“我们希望带来尽可能自然且真实的声音体验,”Youngtae Kim解释说,“为实现这一目标,我们将继续努力理解声音从端到端的整个过程,并让各种声音在我们的电视产品中成为现实。”

三星电视在音效方面的创新也有助于实现其“屏幕无处不在”(Screens Everywhere)的愿景。“未来,我们将加强对人工智能的使用,用户在欣赏自己喜爱的内容时,甚至不需要使用遥控器就能够让音效达到完美平衡。”Sunmin Kim表示,“随着时间推移,电视在安装环境、生活方式和目标用户年龄段都愈发多样化。无论内容的类型或者收听的环境如何,我们都希望用户在欣赏内容的时候能够获得符合预期的音效体验。”

 

 

* 所述功能仅与支持Q交响乐功能的三星回音壁条形音响兼容,其可用性因音响型号、地域、国家不同而异。

列表 目前已在第一页 目前已在最后一页