MV-HEVC 已在 Apple 沉浸视频中率先落地，但从应用突破到生态普及，仍面临硬件、内容、标准等多重挑战。本篇将着眼未来演进路径，探讨新一代编解码、AI增强与自由视角技术如何引领沉浸视频迈向更高自由度与真实感的下一程。

MV-HEVC 为沉浸视频奠定了坚实基础，但要实现大规模部署和持续演进，仍需解决以下问题并关注未来趋势：

1、计算与硬件资源挑战

高分辨率3D视频（如双眼 8K 乃至每眼 7.5K）对设备算力、带宽和功耗提出严苛要求。即使 MV-HEVC 提升了压缩效率，每秒数百 Mbps 的码流仍可能导致头显发热、续航缩短。Apple Vision Pro 等高端设备率先提供多视角硬解码和强大的芯片性能，但其他平台和芯片厂商尚需跟进，这种不均衡的硬件支持将影响沉浸视频的普及速度[2]。

2、内容制作与工具链

3D视频的拍摄与后期仍是专业门槛。要获得如 Vision Pro 所要求的超高清3D素材，往往需要多机位阵列或定制硬件，并进行繁琐的同步、拼接与3D校正[2]。MV-HEVC 虽然在文件结构上便于多层编码，但市场上对多视角编辑和编码的软硬件支持依然匮乏，主流工具正处于起步阶段。这种“拍摄难、后期繁、编码工具少”的现状，无形中提高了内容制作成本。

3、存储、传输与兼容性

沉浸视频动辄百 GB 级的数据量，对存储与网络传输都是巨大挑战。Apple 通过自有生态 (如 HLS 流媒体、MV-HEVC 封装) 将沉浸视频引入 Vision Pro，但第三方平台在采用这一格式时需面对专利授权与标准兼容等问题。目前 MV-HEVC 针对老旧设备的后向兼容主要通过单视图回退[7]，但要在更广泛设备与平台间统一布局，仍需产业协同与标准化升级。

4、下一代编解码技术

随着 5G/6G 网络与新硬件的发展，对更高效率的编解码方案需求愈加突出。H.266/VVC 在相同画质下可比 HEVC 再降约 50% 码率，也包含了多视角与可伸缩编码的扩展接口。一旦硬解码器普及，MV-VVC 或多视角 VVC 将成为自然演进方向，有望在相同带宽下提供更逼真的沉浸视频体验[3]。

5、AI 驱动的视频优化

AI 编解码器与深度学习增强是新的研究热点。虽然目前端到端 AI 编码在解码开销上过高，短期难以直接用于消费级头显，但 AI 超分辨率、深度推断、视角合成等技术已经展示出降码率与提升视觉质量的潜能。未来随着 NPU 性能提升，这些 AI 模块有望在终端侧实时运行，进一步优化沉浸视频体验[9]。

6、沉浸视频的更远未来

沉浸视频的发展正从传统的多视角编码逐步迈向更高度自由的交互体验。作为早期支持多视角视频压缩的标准，MV-HEVC 通过对多个视角图像进行高效编码，为3D和全景视频的实现奠定了基础。但在实现更沉浸、可交互的视频体验方面，它仍存在自由度受限等问题。为突破这一瓶颈，MPEG 推出了新一代沉浸式视频标准 MPEG-I/MIV（MPEG Immersive Video），在继承 MV-HEVC 多视角编码思路的基础上，进一步引入深度信息支持自由视点合成，可实现360°乃至 6DoF（六自由度）的观看体验，让用户真正“走进视频”，在虚拟场景中自由移动、观察[10]。要实现这种体验，仍需依赖更高效的视频压缩技术和更强的终端渲染能力，但其所带来的沉浸感与交互潜力，已成为未来视频技术演进的重要方向。

从MV-HEVC在Apple沉浸视频中的应用可以看出，多视角视频编码正从实验走向实用，为大众带来前所未有的沉浸式体验。眼下，Apple Vision Pro 已经证明了这一技术组合的可行性：用户能够在家中戴上头显，就如同身临其境地观赏8K 3D影片，甚至回味自己的3D生活片段。这背后离不开MV-HEVC对海量3D视频数据的高效压缩和传递。尽管仍有挑战需要克服，但随着产业生态日趋完善、下一代编解码和AI技术的加入，沉浸视频的品质和普及有望进一步提升。可以想见，不久的将来，我们将迎来更加逼真、生动的沉浸式影音内容——从目前的180°3D视频，到360°全景，再到自由视角的虚实融合体验。MV-HEVC 作为这一进程中的里程碑技术，已开启了空间视频的新篇章，而未来的精彩图景正徐徐展开。我们正站在通往全面沉浸感娱乐的起点，技术的演进将不断拉近虚拟与现实的距离。

【参考资料】

[1] 全新 Apple 沉浸视频系列片与电影在 Apple Vision Pro 首播，Apple

[2] Apple Vision Pro Video Formats Explained, 360 Labs

[3] Multiview HEVC, Nokia

[4] How MV-HEVC makes spatial and multiview video more efficient, Andy Francis

[5] 在 Apple Vision Pro 或 iPhone 上录制空间视频，Apple

[6] Enabling Stereoscopic and 3D Views Using MV-HEVC in NVIDIA Video Codec SDK 13.0, NVIDIA

[7] HEVC-Stereo-Video-Profile, Apple

[8] H.267: A Codec for (One Possible) Future, Streaming Media

[9] Streaming Futures: AI Codecs, Next-Gen Audio, and VVC Advancements, Jan Ozer

[10] 149th meeting of MPEG, MPEG

[11] Enabling Stereoscopic and 3D Views Using MV-HEVC in NVIDIA Video Codec SDK 13.0，NVIDIA

[12] V265/TXAV1直播场景下的编码优化和应用，腾讯云

作者：

中国移动咪咕公司北京研究院系统开发专员 刘东卓

审核：

教授级高工 中国移动集团级首席专家 咪咕公司技术管理部总经理兼北京研究院院长 李琳

中国移动咪咕公司北京研究院技术标准总监 单华琦

中国移动咪咕公司北京研究院技术项目总监 邢刚

中国移动咪咕公司北京研究院技术项目总监 罗云飞

中国移动咪咕公司北京研究院资深系统开发总监 马里千

来源: 中移科协