小目標(biāo)檢測仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，尤其是在尋找移動或邊緣應(yīng)用的快速準(zhǔn)確解決方案時。在這項(xiàng)工作中，我們提出了一個簡單、快速、高效的網(wǎng)絡(luò) YOLO-S。它利用一個小的特征提取器，以及通過旁路和級聯(lián)的跳過連接，以及一個重塑直通層來促進(jìn)整個網(wǎng)絡(luò)的特征重用，并將低級位置信息與更有意義的高級信息相結(jié)合。

在 AIRES（歐洲獲得的新數(shù)據(jù)集）和 VEDAI 上評估性能，使用四個基線對提出的 YOLO-S 架構(gòu)進(jìn)行基準(zhǔn)測試。還證明，基于 DOTAv2 和 VEDAI 的組合數(shù)據(jù)集上的過渡學(xué)習(xí)任務(wù)可以提高從 COCO 數(shù)據(jù)傳輸?shù)母话闾卣鞯恼w準(zhǔn)確性。YOLO-S 比 YOLOv3 快 25% 到 50%，僅比 Tiny-YOLOv3 慢 15-25%，在 VEDAI 數(shù)據(jù)集上的準(zhǔn)確度 (mAP) 方面也比 YOLOv3 高出 15%。在 SARD 數(shù)據(jù)集上的模擬也證明了其適用于搜索和救援行動。

此外，YOLO-S 擁有 Tiny-YOLOv3 約 90% 的參數(shù)和 YOLOv3 的一半 FLOP，因此可以部署用于低功耗工業(yè)應(yīng)用。

1. 簡介

如今，航拍圖像中的小目標(biāo)檢測已成為多種應(yīng)用的熱門研究課題 。事實(shí)上，無人機(jī)( UAV ) 等數(shù)據(jù)支持技術(shù)的近期出現(xiàn)為廣大客戶群提供了一種經(jīng)濟(jì)高效的解決方案，可以根據(jù)攝像機(jī)、飛行器高度和所用膠片類型滿足廣泛且?guī)缀鯚o限的用戶需求。此外，來自衛(wèi)星或無人機(jī)搭載的傳感器的數(shù)據(jù)越來越容易公開，推動了該領(lǐng)域的研究。

盡管如此，圖像中車輛分辨率低，微小目標(biāo)的辨別特征不強(qiáng)，車輛類型、大小和顏色多變，以及存在雜亂背景或干擾大氣因素，仍然對卷積神經(jīng)網(wǎng)絡(luò) (CNN) 的車輛檢測率構(gòu)成挑戰(zhàn)。此外，集裝箱、建筑物或道路標(biāo)記等混淆物體的出現(xiàn)可能會增加誤報的可能性。此外，需要在準(zhǔn)確率和延遲時間之間進(jìn)行合理的權(quán)衡。流行的物體檢測器需要大量內(nèi)存，通常只能在集中式高性能平臺上執(zhí)行。特別是雙階段檢測器 不適合實(shí)時檢測，而單階段檢測器 只有在強(qiáng)大的資源上才能提供實(shí)時性能。它們都不能充分用于小目標(biāo)檢測。

此外，許多工業(yè)應(yīng)用要求在靠近數(shù)據(jù)源的邊緣設(shè)備上本地部署 CNN ，因?yàn)閿?shù)據(jù)處理更便宜、更快，與遠(yuǎn)程服務(wù)器的數(shù)據(jù)交換不可靠，或者存在安全和隱私問題。然而，這類設(shè)備通常具有性能、成本和能耗硬件資源有限的特點(diǎn)，并且不包括 GPU。因此，快速、輕量級的 CNN 是必需的，同時即使在小目標(biāo)上也要保持令人滿意的準(zhǔn)確率。Tiny-YOLOv3 無法保證足夠的性能，因?yàn)槠渲鞲商崛〉奶卣鬏^差，且輸出尺度較粗糙。

因此，現(xiàn)在逐漸出現(xiàn)了替代解決方案，以更精 確、更快地檢測小型車輛。?inta? 等人和 Saribas 等人將 Tiny-YOLOv3 用于 UAV（無人機(jī)）物體檢測，將核相關(guān)濾波器（KCF）用于圖像跟蹤，在Tiny-YOLOv3 在新呈現(xiàn)的數(shù)據(jù)集上的準(zhǔn)確度提高了 18%，并且在分析視頻時通過在 30 張連續(xù)圖像上運(yùn)行 YOLO 階段一次來提高 FPS（每秒幀數(shù)）。

UAV-YOLO，它基于 YOLOv3，其中首先通過連接兩個具有相同寬度和高度的 ResNet 單元來優(yōu)化 darknet 中的 Resblock。然后，通過在早期層增加卷積操作來豐富空間信息，從而改進(jìn)整個 darknet 結(jié)構(gòu)。結(jié)果在準(zhǔn)確率上提高了YOLOv3，但是模型體積不如Tiny-YOLOv3小。

Tan 等人提出了一個有趣的模型 EfficientDet，用于高效的物體檢測。其中作者提出了兩個關(guān)鍵優(yōu)化：加權(quán)雙向特征金字塔網(wǎng)絡(luò)（BiFPN）和復(fù)合縮放方法，該方法同時均勻縮放所有主干網(wǎng)絡(luò)、特征網(wǎng)絡(luò)和框/類預(yù)測網(wǎng)絡(luò)的分辨率、深度和寬度。因此，EfficientDet 的準(zhǔn)確率與 YOLOv3 大致相同，速度提高了 28 倍，而參數(shù)僅為 6%。EfficientDet 并未針對小物體檢測進(jìn)行特別優(yōu)化。相比之下，模型 YOLO-S 速度提高了 2 倍，使用了 YOLOv3 的 12% 的參數(shù)，但在小物體檢測方面明顯優(yōu)于 YOLOv3；例如，在 VEDAI 數(shù)據(jù)集上，mAP 提高了 15%。

改進(jìn)YOLOv5 網(wǎng)絡(luò)，在無人機(jī)圖像上將 YOLOv5 的 mAP 提高了 1%，將 YOLOv3 的 mAP 提高了 2%。何等人提出了 TF-YOLO，它保留了與 Tiny-YOLOv3 相同的主干，但像 YOLOv3 一樣引入了一個輸出尺度，以及多個層之間的橫向連接。通過基于 Jake 距離的 k 均值聚類估計(jì)更穩(wěn)健的錨點(diǎn)，在 NWPU VHR-10 數(shù)據(jù)集上，TF-YOLO 的表現(xiàn)優(yōu)于 Tiny-YOLOv3，平均精度 (mAP) 高出近 6%，速度約為每秒 24 幀 (FPS)。在 VOC2007 數(shù)據(jù)集的一個子集上，TF-YOLO 獲得了 31.5% 的 mAP（平均精度）和 11.1 FPS（每秒幀數(shù)），與 YOLOv3 相比，準(zhǔn)確率降低了 24.4%，速度提高了近 30.8%；與 Tiny-YOLOv3 相比，準(zhǔn)確率提高了 4.3%，速度降低了 10%。手動設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)可能包括不重要的層。Zhang et al. 因此設(shè)想了一種自動迭代增量模型修剪程序，并將其應(yīng)用于 YOLOv3-SPP3，它是 YOLOv3 的修改版本，在三個頭之上添加了空間金字塔池化（SPP），以便基于四個主要步驟提取卓越的多尺度特征：（i）應(yīng)用通道稀疏性來識別每個卷積層中不太重要的通道，（ii）根據(jù)預(yù)定義閾值刪除無用通道，（iii）然后對模型進(jìn)行微調(diào)，以及（iv）最后評估修剪后的模型以確定是否適合部署；否則，從（i）重新開始。最輕量剪枝模型 SlimYOLOv3-SPP3-95 在 VisDrone DET2018 數(shù)據(jù)集的 416 × 416 圖像上獲得 mAP，與 YOLOv3-SPP3 相比下降了 18%，但速度卻快了 80%，占用的體積僅為 YOLOv3-SPP3 的 8%，相當(dāng)于 Tiny-YOLOv3 體積的 59%。Ju 等人介紹了一個簡單、快速且準(zhǔn)確的網(wǎng)絡(luò)，由 31 個卷積層、一個 reshape-passthrough 層和一個輸出尺度組成。為了快速擴(kuò)展感受野并獲取更多目標(biāo)周圍的上下文信息避免信息丟失，他們實(shí)現(xiàn)了擴(kuò)張卷積而不是基于步幅卷積的下采樣。此外，他們使用 reshape-passthrough 層和特征融合將較早層的特征與較深層的特征合并，并提高整體定位性能。在 VEDAI（空中圖像中的車輛檢測）上，該網(wǎng)絡(luò)實(shí)現(xiàn)了 47.8% 的 mAP，即準(zhǔn)確率比 YOLOv3 低 8.0%，但比 Tiny-YOLOv3 高 30.0%。在 Intel i7-5930k 處理器和 TITAN X GPU 上，它可以處理近 75 FPS，速度比 YOLOv3 快約 5 倍，幾乎與 Tiny-YOLOv3 一樣快。

假設(shè)圖像是從路邊的攝像頭而不是無人機(jī)獲取的，背景不會發(fā)生顯著變化。因此，在這種受限環(huán)境中，卷積操作后的批量歸一化 (BN) 層不是必需的。因此，從 Tiny-YOLOv3 開始，手動逐步修剪 BN 層以及不在最 大池化層之前的整個卷積層。他們獲得的最輕的修剪網(wǎng)絡(luò)在 BIT-vehicle 數(shù)據(jù)集上進(jìn)行測試，其中目標(biāo)可能延伸到圖像大小的百分之幾十，實(shí)現(xiàn)了非常接近 YOLOv3 的 mAP，速度略高于 Tiny-YOLOv3。

其他研究則以準(zhǔn)確度換取速度。第四個輸出尺度 104 × 104104×104被添加到Y(jié)OLOv3中以減小感受野，盡管推理速度較慢，但在DOTA（航拍圖像中目標(biāo)檢測數(shù)據(jù)集）上獲得了3％的mAP改進(jìn)。由于YOLOv3主要檢測52×52規(guī)模的小目標(biāo)，提出了基于52×52和104×104兩個輸出的YOLO-E，并實(shí)現(xiàn)了雙向殘差子模塊以降低網(wǎng)絡(luò)深度。他們還通過將交并比（IoU）度量替換為GIoU 并在YOLOv3損失函數(shù)中添加新項(xiàng)1—GIoU，提高了對目標(biāo)位置的靈敏度。在VEDAI上，它獲得了91.2％的mAP，比YOLOv3準(zhǔn)確率提高了近五分之一，速度慢6.7％。一種基于 VGG16 架構(gòu)的級聯(lián)檢測器 ，其在 VEDAI 和 Munich 數(shù)據(jù)集上的表現(xiàn)優(yōu)于 Faster R-CNN，但推理速度要慢 20–30%。此外，低分辨率航拍圖像由于車輛外觀模糊且與上下文相似，不利于從車輛中提取有意義的特征。兩個超分辨率和檢測網(wǎng)絡(luò)的聯(lián)合學(xué)習(xí)可以在超分辨率圖像中產(chǎn)生更有意義的目標(biāo)和更高的感知質(zhì)量，從而提高檢測任務(wù)的準(zhǔn)確性，并且在低分辨率航拍圖像上的性能接近現(xiàn)有的以相應(yīng)高分辨率圖像為基礎(chǔ)的最 先進(jìn)的方法。為了解決這個問題，提出了一種聯(lián)合超分辨率和車輛檢測網(wǎng)絡(luò) (Joint-SRVDNet)，它利用兩個相互關(guān)聯(lián)的超分辨率和檢測任務(wù)的互補(bǔ)信息。Joint-SRVDNet 由兩個主要模塊組成：用于圖像超分辨率的多尺度 MsGAN，具有 4 倍上采樣因子，以及用于車輛檢測的 YOLOv3。具體來說，作者證明，兩個網(wǎng)絡(luò)的聯(lián)合學(xué)習(xí)可以在超分辨率圖像中獲得更有意義的目標(biāo)和更高的感知質(zhì)量，從而提高檢測任務(wù)的準(zhǔn)確性，并在低分辨率航拍圖像上的表現(xiàn)接近現(xiàn)有的最 先進(jìn)方法，并使用相應(yīng)的高分辨率航拍圖像。

因此，快速準(zhǔn)確的小型車輛檢測仍然是當(dāng)今一個有爭議的問題，鼓勵對該領(lǐng)域進(jìn)行進(jìn)一步研究。特別是，就從航拍圖像中檢測微小目標(biāo)而言，Tiny-YOLOv3 不能保證足夠的準(zhǔn)確性 。一種新型的 YOLO 類網(wǎng)絡(luò)，即 YOLO-S 或 YOLO- small，并將其性能與一些著名的基線檢測器進(jìn)行比較。更具體地說，本文的貢獻(xiàn)如下：

1. 設(shè)計(jì)了 YOLO-S，這是一個小型而快速的網(wǎng)絡(luò)，具有單個細(xì)粒度輸出尺度，并通過上采樣和重塑傳遞層利用 4×、8× 和 16× 下采樣特征圖的殘差連接和特征融合，以加強(qiáng)特征傳播和重用，并相應(yīng)地改善目標(biāo)位置。

2. 還設(shè)計(jì)了 YOLO-L 或 YOLO- large，這是一個基線 CNN，可在三個不同的分辨率級別進(jìn)行檢測，分別對應(yīng) 4×、8× 和 16× 縮小的層，但更注重準(zhǔn)確性，并且由于 FPS 接近 YOLOv3，因此僅適用于離線數(shù)據(jù)處理。

3. 準(zhǔn)備了兩個不同的車輛數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)：VEDAI 和 AIRES，后者是一個用于從直升機(jī)圖像中檢測車輛的新數(shù)據(jù)集。此外，還在 SARD（搜索和救援圖像數(shù)據(jù)集）上進(jìn)行了實(shí)驗(yàn)，以驗(yàn)證 YOLO-S 如何推廣到搜索和救援（SAR）環(huán)境中；

4. 將 YOLO-S 與四個基線進(jìn)行了比較：YOLOv3 、Tiny-YOLOv3、 YOLO-L。實(shí)驗(yàn)通過應(yīng)用基于滑動窗口的推理或?qū)θ叽鐖D像的檢測來執(zhí)行；

5. 提出了一種雙階段訓(xùn)練程序，首先在由 DOTA 和 VEDAI 組成的數(shù)據(jù)集上進(jìn)行微調(diào)，然后在感興趣的特定車輛數(shù)據(jù)集上進(jìn)行訓(xùn)練。事實(shí)上，領(lǐng)域知識遷移通常是通過從 COCO 或 ImageNet上的預(yù)訓(xùn)練權(quán)重開始微調(diào)學(xué)習(xí)模型來實(shí)現(xiàn)的。然而，由于大型公開數(shù)據(jù)集不包含來自航拍圖像的小型車輛，基本的單階段訓(xùn)練模型可能由于領(lǐng)域差距而效率較低，并且可能與所提出的雙階段訓(xùn)練相比表現(xiàn)不佳。

結(jié)果表明，YOLO-S 確實(shí)是一種適用于實(shí)際應(yīng)用的經(jīng)濟(jì)高效的解決方案，其準(zhǔn)確率優(yōu)于其他基線，并且比 YOLOv3 快 50%，可與 Tiny-YOLOv3 相媲美。選擇基于 YOLO 的方法作為基線有兩個原因。第 一個原因是，所提出的模型 YOLO - S/L 是定制架構(gòu)，采用與 YOLOv3 相同的工作原理和相同的損失函數(shù)，因此使用 YOLOv3 作為基線是合理的。

YOLO-S，它比 Tiny-YOLOv3 還要小，但不會犧牲相對于 YOLOv3 等較大模型的準(zhǔn)確性。事實(shí)上，Tiny-YOLOv3 雖小但速度快，但對于小物體檢測來說相當(dāng)不準(zhǔn)確。另一方面，YOLO-S 與 Tiny-YOLOv3 一樣小，但速度沒有那么快，因?yàn)榧軜?gòu)更復(fù)雜。因此，YOLO-S 比大模型 YOLOv3 更準(zhǔn)確、更快，但沒有 Tiny-YOLOv3 快。我們犧牲了速度來換取相對于 Tiny-YOLOv3 的準(zhǔn)確性，仍然獲得了一個非常小的模型，它比較大的模型更準(zhǔn)確、更快。

綜上所述，YOLO-S 確實(shí)能夠滿足準(zhǔn)確率和實(shí)時檢測的要求，因此是低功耗無 GPU 系統(tǒng)集成的有希望的候選方案。