多模態(tài)3D定位目標檢測

3D_Detector技術(shù)白皮書

工業(yè)現(xiàn)場人員活動檢測

1.多模態(tài)3D定位目標檢測應用背景  

2D可見光目標檢測隨著AI模型的發(fā)展和成熟，已經(jīng)是相對普遍了，2D 物體檢測可以精 確檢測物體，但缺乏深度和高度信息。深度和高度信息在避障、自動駕駛汽車導航、家用機器人、醫(yī)療手術(shù)等方面至關重要。除了自動駕駛領域，3D物體檢測包括識別物體類別和精準位置，在工業(yè)生產(chǎn)現(xiàn)場安全管理同樣至關重要。          

物理空間目標3D定位可以采用以下技術(shù)路線：激光雷達、雙目視覺或者RGB-D相機。激光雷達點云的局限性在于很難實現(xiàn)目標識別，另外相比較而言，設備成本高。雙目視覺可以完成目標3D定位，但是只適用幾米的距離，另外在低照度環(huán)境表現(xiàn)不佳。RGB-D同樣有距離限制和環(huán)境照度要求。

針對十米以上物理空間3D可視化、空間內(nèi)目標識別以及實時獲取目標精準3D空間坐標的需求，目前成熟的技術(shù)路線是多模態(tài)3D定位目標檢測。

多模態(tài)系統(tǒng)充分利用圖像、LiDAR 和 RADAR 的優(yōu)勢:

三維物體檢測不僅需要描述物體的位置，還需要描述其空間維度、位置和方向。數(shù)據(jù)描述涉及物體的長度、寬度、高度、偏航、俯仰、滾動、遮擋量等參數(shù)。

多模態(tài)3D定位目標檢測的技術(shù)步驟：

1.目標空間的視頻和激光雷達信號覆蓋。根據(jù)空間的情況，可能需要多個視頻和雷達

2.激光雷達3D點云和視頻圖像之間的精 確對齊和校準，得到基于視頻的3D激光雷達點云

3.基于視頻目標檢測AI算法，實現(xiàn)目標實時檢測及跟蹤，同時獲取目標的3D空間位置坐標

4.通過人員UWB標簽高精度定位和激光雷達點云融合，實現(xiàn)目標身份識別。              

多模態(tài)3D定位目標檢測智能駕駛應用： 

1.1.多模態(tài)3D定位目標檢測定義  

多模態(tài)技術(shù)發(fā)展充分利用了多種傳感器優(yōu)勢：使用 LiDAR 可以很好地感知物體的結(jié)構(gòu)信息，而攝像頭則擅長感知精細的紋理信息。

基于激光雷達的檢測性能對于遠距離物體會下降。相反，彩色圖像傳感器可以提供高分辨率采樣和豐富的上下文數(shù)據(jù)，從而彌補激光雷達的局限性。RGB圖像和LiDAR數(shù)據(jù)的融合通常可以增強3D檢測性能。

多模態(tài)3D定位目標檢測融合可見光/紅外熱成像的視頻AI目標識別及跟蹤、激光雷達/毫米波雷達的3D目標精準定位、UWB標簽高精度測量實現(xiàn)目標身份識別。

多模態(tài)3D定位目標檢測技術(shù)要點

lWhat-視頻目標檢測及跟蹤AI算法：基于YOLO、DEEPSORT、CLIP等AI算法，實現(xiàn)目標檢測及跟蹤。

lWhere-通過激光雷達3D點云和視頻圖像的精 確對齊和校準，實現(xiàn)基于視頻3D可視化。每個像素都可以得到3D空間精準坐標。

lWho-UWB錨點和標簽之間測距/測角 TWR+PDOA，通過UWB標簽和激光雷達點云融合，實時獲取UWB標簽目標的精準空間3D坐標。

總結(jié)：

基于視頻AI的目標檢測、雷達點云的目標3D定位及目標UWB標簽的身份識別，解決工業(yè)現(xiàn)場3D空間電子圍欄等應用的What&Where&Who問題。

1.2.多模態(tài)3D定位目標檢測應用  

多模態(tài)3D定位目標檢測最主要的應用就是工業(yè)現(xiàn)場3D空間電子圍欄，支持固定式樣或移動式部署。

傳統(tǒng)工業(yè)現(xiàn)場電子圍欄技術(shù)缺陷：

UWB高精度定位技術(shù)-不適用復雜的工業(yè)現(xiàn)場，一方面多徑導致定位不穩(wěn)定和極大定位誤差，另一方面不帶標簽或者標簽沒電，都沒有識別和定位。最后復雜的系統(tǒng)部署工作也是UWB技術(shù)沒辦法推廣的重要因素。

視頻電子圍欄-復雜和低照度環(huán)境適用性一般，另外涉及距離和立體空間的電子圍欄，沒有辦法滿足。

2D雷達電子圍欄-一般用于室外周界，室內(nèi)及復雜空間電子圍欄并不適用

融合視頻AI的目標檢測、激光雷達點云的3D目標定位及UWB電子標簽的身份識別，是解決復雜環(huán)境工業(yè)現(xiàn)場3D空間電子圍欄的技術(shù)路線。

多模態(tài)融合的3D定位另一個重要好處在于可以辨認未帶標簽以及標簽沒電的人員。       

l圍繞煤礦作業(yè)面大型設備的電子圍欄

1、掘進工作面掘進裝備（綜掘機、掘錨機、掘錨一體機、連采機等）    

黃色區(qū)域為報警區(qū)、紅色區(qū)域為停機區(qū)、綠色區(qū)域為工作人員工作區(qū)。

距離設備機頭或機尾7m 的范圍劃定為報警區(qū)；距離設備機頭或機尾 3m 的范圍劃定為停機區(qū)；以設備為圓心，4m 為半徑的區(qū)域劃定工作區(qū)。在工作區(qū)域內(nèi)，有且只有 1 名工作人員的情況下設備能夠正常啟機運行。

外來人員進入報警區(qū)，系統(tǒng)自動觸發(fā)報警提示；外來人員進入停機區(qū)，自動觸發(fā)報警提示并停機。本機工作人員離開工作區(qū)時，自動觸發(fā)報警提示并停機。

現(xiàn)場大量的金屬反射會導致UWB精準測距誤差很大，導致誤報漏報現(xiàn)象嚴重。多模態(tài)3D定位目標檢測是良好的解決辦法。通過激光雷達對掘進設備的作業(yè)環(huán)境三維建模，視頻/熱成像發(fā)現(xiàn)人員目標，通過視頻和激光雷達點云融合，獲取目標的實時空間坐標。佩戴的UWB電子標簽作為人員標識，實現(xiàn)區(qū)域授權(quán)?？梢员嬲J未帶標簽或者標簽沒電的違規(guī)人員。

2、液壓支架工作環(huán)境    

采煤面采煤機的位置, 以及采煤機、液壓支架協(xié)同工作環(huán)境，現(xiàn)場工作人員準確位置對于安全生產(chǎn)管理至關重要。采煤機和多個液壓支架以及工作人員協(xié)同工作，需要精準掌握采煤機的位置，以及工作人員在的準確液壓支架位置，這對采煤機和液壓支架協(xié)同工作，以及工作人員人身安全非常重要。

單一的視頻/熱成像AI檢測技術(shù)或者UWB定位技術(shù)都沒有辦法準確無誤的解決這一需求，多模態(tài)3D定位目標檢測是良好的解決辦法。通過激光雷達對作業(yè)環(huán)境三維建模，視頻/熱成像發(fā)現(xiàn)人員目標，通過視頻和激光雷達點云融合，獲取目標的實時空間坐標。佩戴的UWB電子標簽作為人員標識，可以辨認未帶標簽或者標簽沒電的違規(guī)人員。

l變電站嚴格作業(yè)規(guī)范的人員位置管理

涉及室內(nèi)和室外環(huán)境，需要準確掌握操作人員的位置信息，避免誤操作設備造成經(jīng)濟損失。定位精度要求穩(wěn)定在10厘米以內(nèi)，室外工作環(huán)境有作業(yè)高度限制。

室內(nèi)作業(yè)要求：    

大量金屬柜體導致無線射頻信號反射嚴重，任何室內(nèi)定位技術(shù)都不能滿足操作人員精準定位的技術(shù)要求，多模態(tài)3D定位目標檢測是良好的解決辦法。通過激光雷達對作業(yè)區(qū)域環(huán)境三維建模，視頻發(fā)現(xiàn)人員目標，通過視頻和激光雷達點云融合，獲取操作人員精準的實時空間坐標（精度確保10厘米以內(nèi)）。佩戴的UWB電子標簽作為操作人員標識，可以辨認未帶標簽或者標簽沒電的違規(guī)人員。

室外作業(yè)要求：

大量金屬體導致無線射頻信號反射嚴重，任何定位技術(shù)都不能滿足操作人員精準定位的要求。此外，現(xiàn)有的物理電子圍欄手段沒有辦法滿足作業(yè)現(xiàn)場3D空間電子圍欄的人員管理要求，多模態(tài)3D定位目標檢測是良好的解決辦法。

通過激光雷達對關注設備區(qū)域三維建模，視頻發(fā)現(xiàn)人員目標，通過視頻和激光雷達點云融合，獲取操作人員精準的實時空間坐標（精度確保10厘米以內(nèi)）。佩戴的UWB電子標簽作為操作人員標識，可以辨認未帶標簽或者標簽沒電的違規(guī)人員。

采用移動式多模態(tài)3D空間電子圍欄，實現(xiàn)作業(yè)現(xiàn)場的3D空間電子圍欄的人員管理要求。支持辨認未帶標簽或者標簽沒電的違規(guī)人員。

l化工、核電、鐵路檢修維護人員作業(yè)管理

這些行業(yè)的關鍵設備定期維修和檢修，可能涉及高危安全要求，或者保密要求?，F(xiàn)場作業(yè)人員要求嚴格的授權(quán)管理，指定時間、指定區(qū)域、指定人群、指定工作；

最 佳解決方案采用支持快速部署的移動式電子圍欄。以激光雷達為中心建立立體空間電子圍欄，工作人員佩戴UWB電子標簽做人員標識和授權(quán)管理。以辨認未帶標簽或者標簽沒電的違規(guī)人員。

l軌交列車檢修站

人員定位系統(tǒng)目的是了解檢修人員行動軌跡，工作時長，工作具體部位。要求定位能區(qū)分定位在檢修臺的哪一層操作平臺，是在列車上，還是檢修平臺上。定位要求精 確，提供電子圍欄，非作業(yè)區(qū)人員具備報警功能

大量金屬體導致無線射頻信號反射極其嚴重，任何定位技術(shù)都不能滿足人員定位的技術(shù)要求，多模態(tài)3D定位目標檢測是良好解決辦法。通過激光雷達對作業(yè)區(qū)域環(huán)境三維建模，視頻發(fā)現(xiàn)人員目標，通過視頻和激光雷達點云融合，獲取操作人員精準的實時空間坐標（精度確保10厘米以內(nèi)）。佩戴的UWB電子標簽作為操作人員標識，可以辨認未帶標簽或者標簽沒電的違規(guī)人員。

相關微文：多模態(tài)3D 物體檢測技術(shù)及應用