如今科技快速发展，三维重建技术已应用于影视娱乐、智能驾驶、建筑设计、文博文旅等多个行业，并带来了显著的影响。三维高斯泼溅（3DGS）彻底颠覆了传统三维重建的整个架构，从场景表示和渲染方式上作出了革新。3DGS到底成功在哪里？

现有三维场景重建存在建模效率低、语义性差、可编辑性不高的问题，基于3DGS的高精度三维重建技术研究，颠覆传统以物体为中心的重建范式，实现室内外360度高精重建，解决半透明/反光等复杂场景重建难的问题，并支持终端实时渲染与6DoF漫游，高质量6DoF交互空间达到40立方米，有效漫游空间业界领先。

3DGS的核心是一种光栅化技术，使用了大量高斯函数而不是传统的三角形来表示场景。这些高斯函数包括位置、变形、颜色等参数。3DGS还使用了结构运动算法从图像中恢复点云，然后将点云转换为高斯函数。然后，利用可微分高斯光栅化，通过类似神经网络的随机梯度下降进行训练，优化高斯函数的参数。最终，经过训练的高斯函数可用于实时快速光栅化生成场景。

图1 3DGS的Splatting 泼溅

1、基本概念

传统的隐式三维表征技术包含神经隐式场表征和基于点云的高质量可微渲染。其中神经隐式场表征是将二维或三维信号概念化，将其重构为相应欧几里得空间中的场，利用离散样本来训练近似这些场的神经网络。这种方法有助于原始离散样本的重建，插值和外推，从而实现2D图像的超分辨率和3D场景的新视图合成等应用。基于点云的高质量可微渲染方法通常依赖于预构建的点云或需要密集的点云重建。这些方法在训练过程中没有进一步优化点云结构，导致渲染质量高度依赖于初始点云质量，使最终图像容易出现伪影或不正确的外观。

3DGS是一种新的隐式三维表征技术，结合了神经隐式场和基于点的渲染方法的优点，在保持基于点的渲染能力的同时，获得了前者的高保真渲染质量。具体来说，3DGS将点云中的点定义为具有体积密度的3D高斯基元。3DGS使用的重参数化方法虽然引入了额外的可学习参数，但有利于对高斯基元施加几何约束(例如，约束缩放向量以使高斯基元具有平坦化特征)。除了几何属性外，每个高斯原语还存储一个不透明度α和一组可学习的球面谐波(SH)参数，以表示与视图相关的外观。因此，所有原语的集合可以看作是一个离散的表示，它只存储神经场的非空部分。

2、基本特征

①****逼真度：3DGS擅长捕捉细节和复杂的光影效果，如反射和折射，实现高度逼真的渲染效果。

②****效率：与多边形网格或数据庞大的神经网络相比，3DGS更为简洁，需要的存储和计算能力更少。

③****速度：3DGS能够实现实时或接近实时的渲染速度，适合交互式应用。

④****可扩展性：能够高效处理包含数百万个3DGS点的复杂场景，不影响性能。

3、发展脉络

传统的三维重建方法发展比较成熟，通常分为4个步骤：运动结构恢复（SfM）、多视立体视觉（MVS）、表面重建以及纹理渲染。但传统重建方法在面对复杂场景时效率低且精度差，而神经辐射场（NeRF）的出现，给三维重建领域带来了革新和生命力。NeRF是一种利用稀疏视角图像重建场景的三维表示的隐式学习技术，通过对场景的光照和颜色信息进行编码，能够生成新的视角图像，实现高质量的三维重建和视角合成效果。NeRF的提出标志着三维重建领域的一次里程碑突破，其高度逼真的渲染效果和对复杂场景的处理能力超过了以往的主流方法。

NeRF的成功实质上是深度学习在三维重建领域的成功。但是使用深度神经网络来建模一个连续体场景，对场景中的细节进行充分还原，实现逼真的视觉效果，需要付出巨大代价。一方面，利用神经网络表达场景时需要大量的训练时间和渲染资源，无法实现实时渲染；另一方面，采用隐式辐射场表达方式时很难对场景进行编辑。这些技术局限导致NeRF技术在一些对实时性要求很强的机器人应用中的发展受到极大的挑战与限制，例如环境建模、导航以及路径规划等。

表1 3DGS和NeRF技术细节对比

在此背景下，3DGS技术应运而生。3DGS技术改变了NeRF技术的底层范式，彻底颠覆了NeRF的整个架构，从场景表示和渲染方式上作出了革新。3DGS技术一般使用数以万计的3D高斯基元来紧凑地表达某个场景，然后通过分块并行光栅化的方式实现高效的图像渲染。这种紧凑表达和高效渲染使得3DGS技术变得非常实用。在不影响重建质量和视觉效果的前提下，3DGS实现了实时渲染。另外，3DGS这种显式场景表达方式提高了场景的可编辑性，在三维重建和新视图合成领域达到了新的高度，基于3DGS的改进技术和下游应用也层出不穷。

来源: 中移科协