从标准构建到编码实现,MV-HEVC 已具备产业化基础。随着 Vision Pro 等终端设备的推出,这项技术正在从幕后走向前台,成为沉浸视频大规模落地的关键一环。本篇将聚焦 MV-HEVC 在 Apple 全链路中的具体应用,并展望其在更多平台的实践进展。

Apple Vision Pro 强大的硬件与显示能力,为 MV-HEVC 的实际落地提供了理想舞台。iPhone 15 Pro 等配备双摄像头的设备,可直接拍摄并生成符合 MV-HEVC 规范的3D视频:主摄画面存储为主视图,另一摄像头的画面裁剪放大后作为副视图,仅以较低比特率存储两路画面间的差异。Vision Pro 则利用硬件解码器同时解码 MV-HEVC 的多层视频,为左右眼提供高分辨率画面,并配合头部追踪和空间音频实现沉浸式观感。

图7 iPhone15 Pro及后续机型支持使用MV-HEVC存储空间视频,以便在Vision Pro上3D观看[5]

在播放时,Vision Pro 可呈现相当于每只眼 4K 甚至更高分辨率的内容,并根据头部转动实时更新视角,让用户“环顾四周”。这种 180° 或更广视角的3D视频,在全景拼接与视角切换时仍保持清晰流畅,得益于 MV-HEVC 的高效压缩和 Vision Pro M 系列芯片的强大算力。测试显示,Vision Pro 理论上甚至可以播放高达单眼7.5K分辨率的3D视频(总像素约15K)@30fps的超高规格MV-HEVC内容,在700Mbps码率下仍可稳定播放[2],并通过空间音频实现画面与声场的方向联动,带来逼真的临场体验。

除了 Vision Pro 之外,MV-HEVC 技术也在其他设备与平台中得到广泛应用。例如,NVIDIA 在其 Video Codec SDK 13.0 中引入了对 MV-HEVC 的支持,使其能够高效编码 3D 视频内容。该方案通过多视角预测与高效压缩,显著降低双目视图视频的码率开销,并广泛应用于 AR/VR 等沉浸式场景中,进一步提升了终端设备在处理复杂视角切换时的流畅性和画面质量[11]。

图8 NVIDIA Video Codec SDK 13.0 中对 MV-HEVC(多视图高效视频编码)的实现[11]

此外,国内的音视频团队也在逐步集成对 MV-HEVC 标准的支持,主要面向3D视频内容的生产与分发场景。借助该技术,开发者能够在同一帧中存储多视角画面(如左右眼视图),不仅提升了编码效率,也降低了传输带宽需求,为移动端或小型设备上的3D播放提供了更高性价比的技术路径[12]。

图9 国内团队逐步开始新增对MV-HEVC编码的支持[12]

来源: 中移科协