1月22日凌晨,兔年春晚落下帷幕,超高清的画质、沉浸式的视听形式带给观众全新的体验。由抖音集团作为UWA成员深度参与和开发的三维菁彩声 (Audio Vivid)技术,也被应用到了2023央视春晚的节目制作和现场直播当中,场外观众戴上耳机就可以身临其境地感受录制现场震撼的三维声场听音感受。
据了解,“三维菁彩声”是一种沉浸式的空间音频,对比传统的立体声拥有更好的空间呈现效果,能精准地再现每个音源的位置和所处环境的空间信息。当前,空间音频的带来的沉浸式体验已经在影视、音乐等场景有广泛的应用,例如常见的全景声、环绕声等,但昂贵的设备和严苛的环境要求阻碍了大众对空间音频沉浸式体验的追求。
为满足直播、互动等场景低延迟、低功耗、高沉浸且统一的音频渲染要求。抖音集团智能创作语音团队SAMI(Speech, Audio and Music Intelligence)在“三维菁彩声”技术中贡献并开源了一整套元数据系统和三维声双耳渲染引擎,形成8项技术专利。抖音集团的三维声双耳渲染引擎通过一系列自主研发的沉浸式渲染算法,对三维声场进行精细的重构,并对双耳声还原模式做了一系列的效果和性能优化。让原本需要多声道的音箱系统才能体验的三维空间感能用耳机就可以感受,三维沉浸式的空间音频体验从此不用再受硬件的限制。
此前,抖音智能创作团队已携手中央广播电视总台,在2022年中秋晚会中采用了这项技术。2023兔年春晚,“三维菁彩声”再次让观众们通过“百城千屏”、央视频、云听等平台置身于视觉与听觉盛宴之中。目前,该技术也已通过火山引擎-音频技术面向企业客户提供服务。