視覺同步定位和建圖（vSLAM）是指計(jì)算攝像機(jī)相對于周圍環(huán)境的位置和方向，同時(shí)繪制環(huán)境圖的過程。該過程僅使用來自相機(jī)的視覺輸入。vSLAM 的應(yīng)用包括增強(qiáng)現(xiàn)實(shí)、機(jī)器人和自動駕駛。

單目視覺SLAM

ORB-SLAM概述

ORB-SLAM 管道包括：

l  地圖初始化：ORB-SLAM 首先初始化兩個視頻幀的 3D 點(diǎn)地圖。3-D 點(diǎn)和相對相機(jī)位姿是使用基于 2-D ORB 特征對應(yīng)的三角測量來計(jì)算的。

l  跟蹤：初始化地圖后，對于每個新幀，通過將當(dāng)前幀中的特征與最后一個關(guān)鍵幀中的特征進(jìn)行匹配來估計(jì)相機(jī)姿態(tài)。通過跟蹤本地地圖來細(xì)化估計(jì)的相機(jī)姿態(tài)。

l  局部映射：如果當(dāng)前幀被識別為關(guān)鍵幀，則當(dāng)前幀用于創(chuàng)建新的 3D 地圖點(diǎn)。在此階段，束調(diào)整用于通過調(diào)整相機(jī)姿態(tài)和 3D 點(diǎn)來最小化重投影誤差。

l  循環(huán)閉合：通過使用特征袋方法將每個關(guān)鍵幀與所有先前的關(guān)鍵幀進(jìn)行比較來檢測每個關(guān)鍵幀的循環(huán)。一旦檢測到閉環(huán)，就會優(yōu)化位姿圖以細(xì)化所有關(guān)鍵幀的相機(jī)位姿。

立體視覺SLAM

ORB-SLAM2 

立體 vSLAM 的管道與單目視覺同步定位和建圖示例中的單目 vSLAM 管道非常相似。主要區(qū)別在于，在地圖初始化階段，3D 地圖點(diǎn)是根據(jù)同一立體對的一對立體圖像而不是不同幀的兩個圖像創(chuàng)建的。

l  地圖初始化：管道首先使用視差圖初始化一對立體圖像的 3D 點(diǎn)圖。左側(cè)圖像被存儲為第 一個關(guān)鍵幀。

l  跟蹤：初始化地圖后，對于每個新的立體對，通過將左圖像中的特征與最后一個關(guān)鍵幀中的特征進(jìn)行匹配來估計(jì)相機(jī)的姿態(tài)。通過跟蹤本地地圖來細(xì)化估計(jì)的相機(jī)姿態(tài)。

l  局部映射：如果當(dāng)前左圖像被識別為關(guān)鍵幀，則根據(jù)立體對的視差計(jì)算新的 3D 映射點(diǎn)。在此階段，束調(diào)整用于通過調(diào)整相機(jī)姿態(tài)和 3D 點(diǎn)來最小化重投影誤差。

l  循環(huán)閉合：通過使用特征袋方法將每個關(guān)鍵幀與所有先前的關(guān)鍵幀進(jìn)行比較來檢測每個關(guān)鍵幀的循環(huán)。一旦檢測到閉環(huán)，就會優(yōu)化位姿圖以細(xì)化所有關(guān)鍵幀的相機(jī)位姿

單目視覺慣性SLAM

ORB-SLAM3 是一種基于特征的視覺慣性 SLAM 算法

因子圖是設(shè)計(jì)基于傳感器融合的 SLAM 算法的一種流行方法，因?yàn)樗鼈優(yōu)?/span> SLAM 問題提供了高效且模塊化的解決方案，并且在新的測量或約束可用時(shí)允許輕松更新圖表。此外，此類模型提供了一種靈活的方法，結(jié)合了不同類型的傳感器和數(shù)據(jù)，包括視覺、激光雷達(dá)和慣性傳感器，這使其可用于各種 SLAM 應(yīng)用。

概述

視覺慣性SLAM流程包括以下步驟：

l  初始 IMU 偏差估計(jì)（可選）：如果您的數(shù)據(jù)序列包含足夠數(shù)量的靜態(tài)幀，則可以使用它們來估計(jì) IMU 偏差。這有助于您稍后初始化因子圖。

l  地圖初始化：首先初始化兩個視頻幀的 3D 點(diǎn)地圖。3-D 點(diǎn)和相對相機(jī)位姿是使用基于 2-D ORB 特征對應(yīng)的三角測量來計(jì)算的。

l  相機(jī)和 IMU 對齊：地圖初始化后，使用運(yùn)動結(jié)構(gòu) (SFM) 生成一組相機(jī)姿勢。然后使用相應(yīng)的 IMU 測量來對齊相機(jī)和 IMU 框架，并找到 IMU 和相機(jī)里程計(jì)之間的比例轉(zhuǎn)換。

l  跟蹤：相機(jī)和 IMU 數(shù)據(jù)正確對齊和縮放后，初始化因子圖。然后，對于每個新的關(guān)鍵幀，通過將當(dāng)前幀中的特征與最后一個關(guān)鍵幀中的特征進(jìn)行匹配來估計(jì)相機(jī)姿態(tài)。通過跟蹤本地地圖來細(xì)化估計(jì)的相機(jī)姿態(tài)。然后，將相機(jī)姿態(tài)及其相應(yīng)的 IMU 測量值添加到因子圖中。

l  局部映射：如果當(dāng)前幀被識別為關(guān)鍵幀，則使用當(dāng)前幀創(chuàng)建新的 3D 地圖點(diǎn)。在此階段，將優(yōu)化因子圖，并使用一組本地關(guān)鍵幀調(diào)整相機(jī)姿勢和 3D 點(diǎn)。

l  循環(huán)閉合：通過使用特征袋方法將關(guān)鍵幀與所有先前關(guān)鍵幀進(jìn)行比較來檢測每個關(guān)鍵幀的循環(huán)。一旦檢測到循環(huán)閉合，就向因子圖添加新鏈接以反映循環(huán)閉合找到的連接。