隨著自動駕駛技術(shù)的迅猛發(fā)展，構(gòu)建高保真、動態(tài)的仿真場景成為了行業(yè)的迫切需求。傳統(tǒng)的三維重建方法在處理復(fù)雜場景時常常面臨效率和精度的挑戰(zhàn)。在此背景下，3D高斯點陣渲染（3DGS）技術(shù)應(yīng)運而生，成為自動駕駛仿真場景重建的關(guān)鍵突破。

一、3DGS技術(shù)概述與原理

1、3DGS的技術(shù)概述

3DGS是一種基于3D高斯分布的三維場景表示方法。通過將場景中的對象轉(zhuǎn)化為多個3D高斯點，每個點包含位置、協(xié)方差矩陣和不透明度等信息，3DGS能夠精確地表達復(fù)雜場景的幾何形狀和光照特性。

與傳統(tǒng)的神經(jīng)輻射場（NeRF）方法相比，3DGS在渲染速度和圖像質(zhì)量方面表現(xiàn)出色，彌補了NeRF在動態(tài)場景處理和細節(jié)保留上的不足。

圖1：3DGS重建流程

2、3DGS的技術(shù)原理

在3DGS中，首先通過SfM（Structure from Motion）技術(shù)進行數(shù)據(jù)預(yù)處理，校準相機位置并恢復(fù)其內(nèi)部和外部參數(shù)，生成稀疏點云。然后，基于這些點云初始化一組3D高斯點，每個高斯點的初始位置、協(xié)方差矩陣和不透明度都會進行設(shè)置。

訓(xùn)練過程中，3DGS通過反向傳播不斷優(yōu)化這些高斯點的位置、形狀和不透明度。值得注意的是，3DGS采用了自適應(yīng)密度控制，能夠在每次反向傳播后去除那些不重要的高斯點，并根據(jù)需要對高斯點進行分裂或克隆，以保證場景重建的精度和細節(jié)。

圖2：訓(xùn)練過程中高斯點的優(yōu)化

二、3DGS在自動駕駛仿真中的應(yīng)用

在自動駕駛領(lǐng)域，3DGS技術(shù)被廣泛應(yīng)用于高保真仿真場景的重建。通過將多視角圖像轉(zhuǎn)化為3D高斯點云，3DGS能夠快速、精確地重建復(fù)雜的街道場景，為自動駕駛系統(tǒng)的訓(xùn)練和驗證提供真實的虛擬環(huán)境。例如，Huang等人提出的S3Gaussian方法，通過自監(jiān)督學(xué)習(xí)，從4D一致性中分解動態(tài)和靜態(tài)元素，實現(xiàn)了高質(zhì)量的街道場景重建。

此外，Zhou等人提出的DrivingGaussian方法，針對環(huán)視動態(tài)自動駕駛場景，發(fā)展了基于3D高斯的重建仿真技術(shù)。該方法能夠有效建模復(fù)雜的多尺度背景和前景，提升了自動駕駛系統(tǒng)在復(fù)雜環(huán)境下的感知能力。

圖3：S3Gaussian方法

圖4：DrivingGaussian方法

1、3DGS的優(yōu)勢與挑戰(zhàn)

（1）優(yōu)勢

高效性：通過顯式建模方法，3DGS避免了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的計算開銷，訓(xùn)練速度更快，渲染效率更高。

精度：3D高斯點可以細致地捕捉場景中的每個細節(jié)，從而實現(xiàn)高精度的三維重建。

實時性：3DGS支持實時渲染，適合需要快速響應(yīng)的應(yīng)用場景，如自動駕駛仿真。

（2）挑戰(zhàn)

場景復(fù)雜度：對于極為復(fù)雜的三維場景，3DGS可能需要大量的高斯點，這會增加計算負擔(dān)和內(nèi)存消耗。

動態(tài)場景的支持：目前，3DGS主要集中在靜態(tài)場景的重建，如何高效地處理動態(tài)場景中的物體變化，仍然是一個技術(shù)挑戰(zhàn)。

三、aiSim的3DGS重建功能

aiSim仿真平臺結(jié)合3DGS技術(shù)，可以提供強大的三維重建功能，極大地提升了自動駕駛仿真測試的效率和精度。

在aiSim中，3DGS被用于從多視角圖像中重建復(fù)雜的三維場景。aiSim能夠精確地捕捉環(huán)境的幾何形狀和光照特性，為自動駕駛系統(tǒng)提供高保真的虛擬環(huán)境。這種高精度的三維重建使得自動駕駛算法能夠在仿真中進行更為真實的測試，減少了對實際道路測試的依賴。

圖5：大FoV相機渲染出現(xiàn)非一致性（左）重建3DGS渲染方案后（右）

aiSim新構(gòu)建的GGSR通用高斯?jié)姙R渲染器優(yōu)化了重建場景下光線追蹤傳感器的渲染效果，增強了廣角鏡頭渲染下的一致性，并能減少偽影的產(chǎn)生，實現(xiàn)高保真度的3DGS重建場景兼容。

在重建的靜態(tài)場景之上，aiSim支持自定義動態(tài)的場景交通流。通過添加動態(tài)實體，aiSim可以模擬交通流、行人行為等動態(tài)元素，為自動駕駛系統(tǒng)提供更為全面的測試場景。這種動態(tài)重建能力使得aiSim在驗證自動駕駛系統(tǒng)的泛化能力和應(yīng)對復(fù)雜場景的能力方面，展現(xiàn)出了巨大的優(yōu)勢。

圖6：十字路口車輛起步場景

四、結(jié)語

3DGS作為一種新興的三維場景重建技術(shù)，憑借其高效、精確和實時的特點，在自動駕駛仿真領(lǐng)域展現(xiàn)出了巨大的潛力。我們有理由相信，未來3DGS將為更多行業(yè)帶來創(chuàng)新性的解決方案。

▍參考文獻

1. 3D Gaussian Splatting for Real-Time Radiance Field Rendering

2. S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving

3. DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes