每一次技术革新的背后，都伴随着突破与挑战的共生。这些挑战既是技术升级的方向，更是推动 3DGS 从 “可用” 向 “易用”“好用” 进化的动力。本文将探讨如何进一步打破边界，开启 “人人可创作高精度三维内容” 的新纪元。

3DGS最近经历了重大发展，在计算机图形学和计算机视觉领域显示出巨大的技术优势。同时，3DGS在行业内不同的实际场景得到了应用落地，展示了其在业务方面的价值潜力。然而，由于3DGS的复杂结构和不同任务，各种挑战仍然存在，这并为未来的研究提出了潜在的方向。

1、需要高数据质量

当前3DGS在训练前需要高质量的场景初始3D点云先验信息，没有这些信息会出现训练时间变长和效果变差的问题。但是在实际应用中，视角受限的场景是很常见的，无法为3DGS提供多视图先验3D点云。因此，研究这种视角受限甚至是单视图条件下的3DGS技术是必要的。

2、资源占用大

3DGS采用数以万计的3D高斯基元填充场景，是显式的表征，比起NeRF使用的深度神经网络，参数量比较大并且有很多参数冗余，从而导致内存的占用量也比较大。因此，在内存紧张的条件下优化高斯基元的表征和渲染的密度，在保证精度的同时紧凑地表达场景是未来的一个研究方向。

3、可编辑性差

当前3DGS的可编辑性较差，这限制了其在业务场景中的应用。3DGS的语义分割技术可大幅提升其后处理编辑能力。语义分割是内容感知的一项重要技术，它的目标是将图像分割成若干区域，并为每个区域赋予一个类别标签。因此，使用语义分割融合3DGS，协同构建形状、颜色、语义场是未来的重要研究方向。

3DGS拥有逼真的实景复刻与高效渲染能力，其作为下一代三维表征技术，正在从根本上引发3D领域的技术革新。3DGS技术涉及数据采集、模型重建、编辑交互、终端呈现生产流程的各个方面，鲁棒性、实时性、可编辑性的提升成为学术界、产业界研究的重点。相信在不久的未来，UGC高精度三维内容生产能力将成为可能，3DGS也会在更多领域实现应用。

作者：

中国移动咪咕公司北京研究院渲染开发总监 孙佳佳

审核：

教授级高工 中国移动集团级首席专家 咪咕公司技术管理部总经理兼北京研究院院长 李琳

中国移动咪咕公司北京研究院技术标准总监 单华琦

中国移动咪咕公司北京研究院技术项目总监 邢刚

中国移动咪咕公司北京研究院系统开发总监 马里千

【参考资料】

[1] Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering. SIGGRAPH 2023.

[2] Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. (2020).NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV 2020.

[3] Zwicker, M., Pfister, H., van Baar, J., & Gross, M. (2001).Surface Splatting. SIGGRAPH 2001

[4] Luiten, J., Kopanas, G., Leibe, B., & Ramanan, D. (2023).Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis. International Conference on 3D Vision.

[5] Zwicker, M., Pfister, H., van Baar, J., & Gross, M. (2001).EWA Volume Splatting. IEEE Visualization 2001.

[6] Yu, A., Fridovich-Keil, S., Tancik, M., Chen, Q., Recht, B., & Kanazawa, A. (2023).Plenoxels: Radiance Fields without Neural Networks. CVPR 2022.

[7] BenMildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and RenNg. Nerf:Representing scenes as neural radiance fields for view synthesis. Communications of the ACM,65(1):99–106,2021.

[8] Albert Pumarola, Enric Corona, Gerard Pons-Moll, and Francesc Moreno-Noguer. D-nerf: Neural radiance fields for dynamic scenes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages10318–10327,2021.

[9] LiMa, XiaoyuLi, JingLiao, Qi Zhang, Xuan Wang, Jue Wang, and Pedro VSander. Deblur-nerf: Neural radiance fields from blurry images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,pages12861–12870,2022.

[10] PengWang, Lingjie Liu, Yuan Liu, Christian Theobalt, TakuKo mura, and WenpingWang. Neus: Learning neural implicit surfaces by volume rendering formulti-view reconstruction. arXiv:2106.10689,2021.

[11] ZhaoshuoLi, ThomasMuller, AlexEvans, RussellHTaylor, Mathias Unberath, Ming-Yu Liu, and Chen-Hsuan Lin. Neuralangelo: High fidelity neural surface reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,pages8456 8465,2023.

[12]《基于3DGS的三维重建技术综述》，3D视觉之心

来源: 中移科协