基于 3D LIDAR 的多傳感器融合 SLAM 系統(tǒng)

智能無人平臺在大規(guī)模環(huán)境下實(shí)現(xiàn)自主導(dǎo)航定位的能力要求越來越高，其中基于激光雷達(dá)的同步定位與建圖（SLAM）是研究方案的主流。然而基于激光雷達(dá)的SLAM系統(tǒng)在高動態(tài)或者稀疏特征的極端環(huán)境下會出現(xiàn)退化而影響定位與建圖效果。

對于SLAM系統(tǒng)來說，精 確的位置和姿態(tài)估計(jì)至關(guān)重要，學(xué)者們進(jìn)行了大量的研究，包括基于視覺的方法和基于LIDAR的方法，以實(shí)現(xiàn)移動機(jī)器人的實(shí)時高精度6自由度狀態(tài)估計(jì)。然而單一的傳感器系統(tǒng)存在局限性，一方面視覺對初始化的依賴以及對光照總和的敏感性導(dǎo)致系統(tǒng)不穩(wěn)定，另一方面LIDAR提供的稀疏信息在非結(jié)構(gòu)化場景中使定位迅速退化，另外快速的運(yùn)動模式和長期的誤差積累使里程計(jì)進(jìn)一步失效。因此在定位系統(tǒng)中加入了很多輔助傳感器如IMU、GPS、MEMS、UWB等來解決上述問題。

現(xiàn)代SLAM系統(tǒng)大多分為前端和后端兩部分（如圖2所示）。前端負(fù)責(zé)實(shí)時估計(jì)當(dāng)前幀位姿并存儲對應(yīng)地圖信息，后端負(fù)責(zé)大規(guī)模位姿和場景優(yōu)化?；丨h(huán)檢測是SLAM的關(guān)鍵問題之一，有助于機(jī)器人識別訪問過的場景，并觸發(fā)全局漂移校正。大規(guī)模全局優(yōu)化也是SLAM與現(xiàn)代里程計(jì)的主要區(qū)別，兩種方法在位姿估計(jì)方面有很多相似之處。現(xiàn)代多傳感器融合技術(shù)大多作用于前端，通過信息互補(bǔ)、局部位姿融合、多數(shù)據(jù)源濾波等手段，實(shí)現(xiàn)里程計(jì)系統(tǒng)的高精度、低漂移。

單傳感器系統(tǒng)發(fā)展相對成熟，其中LIDAR、攝像頭、IMU是SLAM系統(tǒng)中最常見的傳感器。3D LIDAR可以為系統(tǒng)提供豐富的環(huán)境結(jié)構(gòu)信息，但數(shù)據(jù)離散且數(shù)量眾多；攝像頭可以高速捕捉環(huán)境中的顏色和紋理，但深度無法被攝像頭直接感知且易受光線干擾；IMU可以靈敏地感知系統(tǒng)在極短時間內(nèi)的微弱變化，但長期漂移不可避免。三者特點(diǎn)鮮明，優(yōu)缺點(diǎn)明顯。單傳感器SLAM系統(tǒng)脆弱且充滿不確定性，無法同時應(yīng)對高速場景、狹小空間、開闊大場景等多種復(fù)雜環(huán)境。

多傳感器融合成為SLAM系統(tǒng)發(fā)展的新趨勢。多模態(tài)傳感器融合的SLAM和里程計(jì)系統(tǒng)大多采用激光雷達(dá)、攝像頭、IMU的組合，可分為松耦合或緊耦合兩種方式。松耦合系統(tǒng)分別處理各個傳感器的測量數(shù)據(jù)，并通過對當(dāng)前幀數(shù)據(jù)進(jìn)行邊緣化的濾波器進(jìn)行融合，得到最 新的狀態(tài)估計(jì)結(jié)果。緊耦合系統(tǒng)聯(lián)合優(yōu)化所有傳感器的測量數(shù)據(jù)，結(jié)合各個傳感器的觀測特點(diǎn)和物理模型，得到更加魯棒的位姿估計(jì)。松耦合系統(tǒng)計(jì)算量小，系統(tǒng)結(jié)構(gòu)簡單，易于實(shí)現(xiàn)，但其定位精度通常存在局限性。緊耦合系統(tǒng)計(jì)算量大，實(shí)現(xiàn)難度大，但在復(fù)雜多變的環(huán)境下能獲得更準(zhǔn)確的狀態(tài)估計(jì)。

本文根據(jù)系統(tǒng)的耦合方式和需要融合的傳感器類型，將這些工作分為LIDAR-IMU松耦合系統(tǒng)、Visual-LIDAR-IMU松耦合系統(tǒng)、LIDAR-IMU緊耦合系統(tǒng)、Visual-LIDAR-IMU緊耦合系統(tǒng)。

 LIDAR-IMU松耦合系統(tǒng)

3D LIDAR還有一個分支——固態(tài)LIDAR，相對于傳統(tǒng)的VLP-16、VLP-32等多線LDIAR，具有性能穩(wěn)定、成本低廉的優(yōu)勢，但由于采用不規(guī)則掃描，這類視場較小的LIDAR容易產(chǎn)生運(yùn)動模糊?；诠虘B(tài)LIDAR的SLAM是一個比較新的課題，LOAM-Livox [ 27 ]是其中最 具代表性的作品之一。作者根據(jù)Livox雷達(dá)獨(dú)特的掃描方式和傳感器特性，以LOAM為參考，設(shè)計(jì)了一套適用于Livox的SLAM系統(tǒng)，去除不合格的點(diǎn)云，提取線、面特征，通過構(gòu)建線、面距離的殘差，迭代求解位姿，但該方法并未使用IMU。

慣性系統(tǒng)松耦合處理IMU數(shù)據(jù)進(jìn)行點(diǎn)云畸變校正，提供先驗(yàn)位姿，在此框架下，傳感器融合的效果有限，因此現(xiàn)有算法大多從前端和后端進(jìn)行改進(jìn)，表2對比了LIDAR-IMU緊耦合系統(tǒng)的相關(guān)工作。

從表中可以看出，近年來的LI松耦合系統(tǒng)大部分都集中在系統(tǒng)的完善和優(yōu)化上，尋找精準(zhǔn)的前端匹配和高效的后端優(yōu)化方法是其主要創(chuàng)新點(diǎn)。這部分工作雖然沒有對數(shù)據(jù)融合做出突出貢獻(xiàn)，但卻為后續(xù)工作提供了穩(wěn)定的平臺和接口，加速了SLAM技術(shù)的發(fā)展。

LIDAR-視覺-IMU松耦合系統(tǒng)

LIDAR 里程計(jì)性能下降通常發(fā)生在非結(jié)構(gòu)化和重復(fù)性環(huán)境中。即使借助 IMU 進(jìn)行定位，也無法長時間正常工作。相比之下，視覺傳感器不需要邊緣和平面等特定結(jié)構(gòu)特征，這些特征需要足夠的紋理和顏色信息才能完成定位。然而，視覺傳感器無法直觀地獲取深度信息。因此，將攝像頭與 LIDAR 相結(jié)合提供了一種互補(bǔ)的解決方案。LIDAR-Visual-IMU 松耦合系統(tǒng)的 LO 和 VO 大多獨(dú)立運(yùn)行，但它們彼此共享定位信息以進(jìn)行姿態(tài)校正和更平滑的估計(jì)。

CamVox [ 42 ] 是第 一個用于輔助視覺的 Livox LIDAR SLAM 系統(tǒng)。該系統(tǒng)基于 ORB-SLAM2 [ 43 ] 構(gòu)建，使用 Livox 為相機(jī)提供更精 確的深度估計(jì)。與 LOAM-Livox 不同，IMU 用于非重復(fù)掃描點(diǎn)云的畸變校正。此外，作者利用 Livox LIDAR 的非重復(fù)掃描特性，在非受控場景下執(zhí)行相機(jī)和 LIDAR 之間的自動標(biāo)定。該系統(tǒng)取得了比 VINS-MONO 和 ORB-SLAM2 更好的位姿估計(jì)結(jié)果。

基于激光雷達(dá)的多傳感器緊耦合系統(tǒng)

隨著機(jī)器人技術(shù)的快速發(fā)展，定位與建圖技術(shù)被應(yīng)用到更加復(fù)雜多變的場景中。以往的松耦合系統(tǒng)具有實(shí)時性、計(jì)算復(fù)雜度低等優(yōu)勢，但在高速運(yùn)動或劣化場景下仍難以保證精度。IMU憑借其高頻運(yùn)動響應(yīng)特性，一直是移動機(jī)器人不可或缺的傳感器。對于緊耦合系統(tǒng)，如何將IMU與其他里程計(jì)進(jìn)行有效融合是關(guān)鍵問題。

LIDAR-IMU緊耦合系統(tǒng)

慣性系統(tǒng)緊耦合在提高精度的同時無疑會增加系統(tǒng)的計(jì)算負(fù)擔(dān)，現(xiàn)有的算法大多通過邊緣化歷史數(shù)據(jù)或者限制局部地圖容量來提高計(jì)算速度，后端優(yōu)化一般只構(gòu)建LIDAR的位姿圖而不加入IMU測得的偏差和速度。這些方法在多數(shù)場景下都能取得優(yōu)異的效果。但由于對幾何特征的依賴，在開闊的非結(jié)構(gòu)化場景中一旦慣性系統(tǒng)失去LO約束，SLAM就會出現(xiàn)嚴(yán)重的漂移和退化。

隨著IMU預(yù)積分理論的發(fā)展和完善，LO系統(tǒng)可以與IMU建立更強(qiáng)的約束關(guān)系，SLAM系統(tǒng)的定位精度也得到了進(jìn)一步的提高，但緊耦合會帶來很大的計(jì)算量，尋找速度與精度之間的平衡是此階段工作的難點(diǎn)。

LIDAR-Visual-IMU緊耦合系統(tǒng)

雖然視覺SLAM的研究起步較晚，但由于其體積小、成本低等優(yōu)勢，很快成為SLAM技術(shù)的研究熱點(diǎn)。近年來，視覺SLAM的研究成果頗豐。視覺不受場景結(jié)構(gòu)的約束，與激光雷達(dá)形成了極好的互補(bǔ)。因此，LVI系統(tǒng)因其在傳感器退化場景中具有更強(qiáng)的魯棒性而受到越來越多的關(guān)注。

LIDAR、視覺、IMU 相互配合、相互補(bǔ)充的完整系統(tǒng)的出現(xiàn)，是多傳感器融合 SLAM 的一個里程碑。融合并不局限于這三個傳感器，車輪/腿部里程計(jì)、GNSS 也已有效融入系統(tǒng)。同樣，計(jì)算復(fù)雜度的增加也是最棘手的問題之一。此外，還有一些細(xì)節(jié)需要優(yōu)化，比如動態(tài)環(huán)境、非結(jié)構(gòu)化環(huán)境、雨雪天氣等。

結(jié)論與未來展望

基于3D LIDAR的SLAM技術(shù)近年來發(fā)展迅速，其中多傳感器融合的優(yōu) 秀作品層出不窮?？v觀融合SLAM的發(fā)展歷史，我們看到從基于濾波器的概率方法到基于信息的優(yōu)化方法；從原始數(shù)據(jù)輔助的前端融合到基于誤差耦合的后端優(yōu)化；從單一傳感器系統(tǒng)到多個子系統(tǒng)耦合的復(fù)雜系統(tǒng)；從獨(dú)立的誤差模型到緊耦合的完全圖模型。各種應(yīng)用場景和需求促進(jìn)了SLAM技術(shù)的多樣性，傳感器技術(shù)的不斷進(jìn)步為其提供了基礎(chǔ)和動力。

還有更多的基于深度學(xué)習(xí)進(jìn)行多傳感器融合的作品，主要用于環(huán)境感知、物體檢測和語義分割。它們可能在SLAM系統(tǒng)中起到輔助作用。

多傳感器融合是構(gòu)建魯棒系統(tǒng)的關(guān)鍵?；诙鄠鞲衅鞯膹?fù)雜系統(tǒng)需要輕量、精 確、可擴(kuò)展、通用。從實(shí)驗(yàn)部分，我們知道動態(tài)環(huán)境、物體遮擋、長廊環(huán)境是基于特征的SLAM方法的關(guān)鍵挑戰(zhàn)。

將傳感器與機(jī)器人或車輛的控制模型相結(jié)合，可以有效緩解特殊情況下里程表退化的問題。隨著傳感器數(shù)量、數(shù)據(jù)量的增加以及應(yīng)用場景的不斷擴(kuò)展，SLAM系統(tǒng)很難在規(guī)定的計(jì)算時間內(nèi)進(jìn)一步提高定位和建圖的精度。

因此，SLAM在各種場景的應(yīng)用中都有很大的發(fā)展空間。分布式多機(jī)器人協(xié)作、陸空協(xié)作、?？諈f(xié)作系統(tǒng)可以有效解決大場景面臨的問題。

此外，硬件加速和并行處理特征提取和位姿優(yōu)化可以有效緩解由于多傳感器數(shù)據(jù)融合而給系統(tǒng)帶來的計(jì)算壓力。另一方面，深度學(xué)習(xí)無疑是目前最熱門的方向之一。將深度學(xué)習(xí)與 SLAM 系統(tǒng)相結(jié)合的研究已經(jīng)有很多，在特征提取、深度估計(jì)、環(huán)境感知、位姿估計(jì)、語義地圖等幾乎所有關(guān)鍵步驟中都可以看到深度學(xué)習(xí)的應(yīng)用。在目前的研究中，深度學(xué)習(xí)僅取代了 SLAM 系統(tǒng)中有限的部分，例如優(yōu)化單目相機(jī)的深度估計(jì)以獲取地標(biāo)點(diǎn)、不提取特征直接估計(jì)位姿、感知環(huán)境以區(qū)分運(yùn)動物體、構(gòu)建高精度語義地圖等。

深度學(xué)習(xí)的應(yīng)用將進(jìn)一步提高和擴(kuò)展 SLAM 的性能和功能。在未來的工作中，結(jié)合多傳感器數(shù)據(jù)融合和深度學(xué)習(xí)來優(yōu)化和改進(jìn) SLAM 算法將受到更多關(guān)注。