TWI790957B

TWI790957B - 一種多目標追蹤的高速數據關聯方法

Info

Publication number: TWI790957B
Application number: TW111113024A
Authority: TW
Inventors: 蔡奇謚
Original assignee: 淡江大學學校財團法人淡江大學
Priority date: 2022-04-06
Filing date: 2022-04-06
Publication date: 2023-01-21
Also published as: TW202341072A

Abstract

本發明揭露的多目標追蹤的高速數據關聯方法是在即時多目標追蹤系統中，改良的高速數據關聯方法。本發明使用簡單篩選之過濾操作的方法，基於前一幀中的目標與當前幀之間的度量距離，刪除一些不可能的匹配後，使用線性加權求和的方法融合剩餘的距離信息作為匈牙利匹配的成本矩陣，並只執行兩次的匈牙利匹配。基於本發明所提供的多目標追蹤的高速數據關聯方法，可有效提升多目標追蹤運算的處理速度，特別是在運算資源有限的嵌入式平台中達到即時運算的能力。

Description

一種多目標追蹤的高速數據關聯方法

本發明係有關於一種追蹤系統的數據關聯方法，特別是關於一種多目標追蹤的高速數據關聯方法。

多目標追蹤(Multi-Object Tracking,MOT)是電腦視覺領域最具挑戰性的任務之一。現有的多目標追蹤方法中，偵測後追蹤(Tracking By Detection,TBD)演算法已成為此領域的主流架構，其先利用物件偵測模型偵測每一幀中所有目標，隨後將每一幀的偵測結果進行數據關聯，例如SORT與DeepSORT就是透過現有的Faster-RCNN做為物件偵測模型，達到強健的多目標追蹤性能。

TBD將多目標追蹤看成數據關聯(Data Association)的問題，其目的是將影片序列中跨幀的偵測結果透過數據關聯進行匹配；現有方法中，SORT是透過Faster-RCNN偵測出當前幀中目標物的類別與位置資訊後，透過卡爾曼濾波器預測上一幀成功被追蹤的目標在當前幀的位置資訊，隨後計算出兩幀之間目標物的IoU距離(Intersection over Union Distance)，即計算兩目標物之間的邊界框(bounding box)重疊率，並將兩幀之間目標物的IoU距離作為成本矩陣(Cost Matrix)並透過匈牙利匹配進行數據關聯；SORT偵測模型很大程度上決定了多目標追蹤系統的追蹤準確率，其透過更換偵測模型可使追蹤準確率提高18.9%。

儘管SORT在MOT取得良好的追蹤準確率，不過其在追蹤過程中發生大量的身分交換(identity switches)，主要原因為其採用的關聯度量(association metric)僅在狀態估計不確定性較低時才是準確的；為了改善此問題而提出DeepSORT架構，其基於SORT的架構加入外觀模型(appearance model)，換句話說，DeepSORT為了更好地進行數據關聯效果，將多目標追蹤細分成物件偵測與外觀提取兩步驟；根據這樣的特點，此架構被稱呼為Two-Step TBD；然而，Two-Step TBD架構在運算處理速度方面表現不理想，因為物件偵測與外觀提取都需要大量計算，並且外觀提取是針對影像重新計算，這造成一定程度的重複計算；因此，近年來One-Shot TBD的架構越來越受到重視，其核心思想是將外觀提取模型融入物件偵測模型中，成為一個多目標追蹤模型來同時完成物件偵測與外觀提取，以此共享大部份計算來減少運算時間。

隨著物件偵測技術不斷突破，多目標追蹤模型得到最直接的效益就是追蹤準確率也跟著不斷上升，但其背後所帶來的是不斷增加的模型大小與處理時間；為了改善此問題而提出JDE架構，其捨棄其他多目標追蹤方法大多使用二階段物件偵測模型RCNN系列進行設計，改用一階段的YOLOv3，並依據One-Shot TBD架構進行設計。

然而，上述的方法在使用高效的運算架構之桌上型電腦運行也只達到近乎即時運算的水平，無法實現真正即時處理性能，具體來說，根據IPVM(IP Video Market)報告得知工業應用中實時視覺系統的平均幀速率在11到20FPS之間，而現有的方法都無法達到平均幀速率在11到20FPS之間的需求，更無法用於需要運行在計算資源有限的嵌入式平台上。

有鑑於此，如何為計算資源有限的嵌入式系統開發輕量化MOT方法，同時保持適當的追蹤精度及高於10FPS運算速度仍一項亟待解決之問題，本發明基於One-Shot TBD的架構，提出了一種輕量化即時多目標追蹤系統，其基於輕量化網路Mobilenet-SSDv2作為物件偵測模型，並搭配一種多目標追蹤的高速數據關聯方法，使用簡單篩選(Simple Filtering)之過濾操作的方法來替換卡爾曼濾波器，基於前一幀中的目標與當前幀之間的度量距離(例如IoU距離和餘弦距離)，刪除一些不可能的匹配後，使用線性加權求和的方法融合剩餘的距離信息作為匈牙利匹配的成本矩陣，並只執行兩次該匈牙利匹配，以實現一個輕量化的多目標追蹤系統，藉此改善現有方法因運算量龐大而無法在運算資源有限的嵌入式平台中進行即時運算的應用限制。

本發明之多目標追蹤的高速數據關聯方法，可以解決現有技術無法克服之困難點，包含：

(1)提出一種低複雜度的數據關聯方法，其可與現有的TBD多目標追蹤技術結合，為最後端的數據關聯模組。

(2)提出的數據關聯方法具備高速運算特性，可在運算資源有限的嵌入式平台中即時運算，實驗結果顯示在嵌入式平台中可達到12FPS的處理速度。

(3)提出的數據關聯方法仍可維持多目標追蹤系統的追蹤精度及強健性，實驗結果顯示在MOT16資料集中可達到58.3% MOTA的追蹤精度及48.0% IDF1的追蹤強健性。

(4)提出的數據關聯方法可運用於基於TBD多目標追蹤之監控系統，如自駕車的視覺環境感知系統、交通監控系統、安全監控系統等。

本發明提供一種多目標追蹤的高速數據關聯方法，包含下述步驟：(a)輸入當前幀中M個偵測物件資訊、及前一幀中N個追蹤器資訊；(b)計算第i個偵測物件之特徵向量與第j個追蹤器之特徵向量之間的特徵度量距離

；(c)計算第i個偵測物件之邊界框與第j個追蹤器之邊界框之間的邊界框度量距離

；(d)將特徵度量距離及邊界框度量距離套用簡單篩選之過濾操作，分別獲得過濾特徵度量指標

及過濾邊界框度量指標

，其中i=1~M，j=1 ~N；(e)將過濾特徵度量指標

及過濾邊界框度量指標

進行權重和運算，以產生大小為M×N的成本矩陣C；(f)將成本矩陣C套用第一次線性指派算法，以找到當前偵測物件與先前追蹤器之間的最佳匹配對集合、未匹配偵測物件集合、及未匹配追蹤器集合；(g)根據第一次最佳匹配對集合中的當前偵測物件資訊來更新所對應的追蹤器資訊，並將追蹤器放置於活動追蹤池中，同時清除追蹤器的未匹配幀數計數器，使計數器數值為0；(h)根據第一次未匹配追蹤器集合中的每個先前追蹤器，若連續未匹配的幀數超過K幀則刪除追蹤器，若否，則將追蹤器放置於未活動追蹤池中，並更新追蹤器的未匹配幀數計數器；(i)根據步驟(a)~步驟(e)，計算剩餘的M1個未匹配偵測物件與未活動追蹤池中全部N1個追蹤器，產生大小為M1×N1的成本矩陣C1；(j)將成本矩陣C1套用第二次線性指派算法，以找到當前未匹配偵測物件與未活動追蹤器之間的最佳匹配對集合、未匹配偵測物件集合、及未匹配追蹤器集合；(k)根據第二次最佳匹配對集合中的當前未匹配偵測物件資訊來更新所對應的未活動追蹤器資訊，並將追蹤器放置於活動追蹤池中，同時清除追蹤器的未匹配幀數計數器，使計數器數值為0；(l)根據第二次未匹配追蹤器集合中的每個未活動追蹤器，若連續未匹配的幀數超過K幀則刪除未活動追蹤器，若否，則將未活動追蹤器放置於未活動追蹤池中，並更新未活動追蹤器的未匹配幀數計數器；(m)根據每個第二次未匹配偵測物件資訊，建立新的追蹤器負責追蹤物件，並將追蹤器放置於未活動追蹤池中；(n)輸出所有活動追蹤池中的追蹤器結果。

在一實施例中，在步驟(a)中，每個輸入的偵測物件資訊及追蹤器資訊，均包含至少一個邊界框資訊及至少一個特徵向量資訊。

在一實施例中，在步驟(b)中，特徵度量距離

為餘弦距離，且是套用下述公式(1)之藉由偵測物件之特徵向量及追蹤器之特徵向量來求得；

公式(1)中，符號˙表示兩個向量之間的內積運算子。

在一實施例中，在步驟(c)中，邊界框度量距離

為IoU距離，且是套用下述公式(2)之藉由偵測物件之邊界框及追蹤器之邊界框來求得；

公式(2)中，IoU函數定義為：

其中，BBox _i及BBox _j表示當前幀中第i個檢測對象及前一幀中第j個追蹤對象的邊界框；函數area(A)為計算輸入集A的面積；符號∩及∪表示兩個集合的交集及並集算子。

在一實施例中，在步驟(d)中，簡單篩選之過濾操作為給定閾值t 後，經由下述公式(3)及公式(4)對特徵度量距離

及邊界框度量距離

進行濾除動作：

公式(3)中，SF表示簡單篩選之過濾操作；

公式(4)中，t ^E表示過濾特徵度量指標的閾值，t ^l表示過濾邊界框度量指標的閾值。

在一實施例中，在步驟(e)中，權重和運算為給定權重值w後，經由下述公式(5)對過濾特徵度量指標

及過濾邊界框度量指標

，以一對一的方式進行權重融合運算動作，以產生大小為M×N的二維矩陣：

公式(5)中，C_ij表示成本矩陣中位置(i,j)的成本值，w表示用於融合兩個度量的權重參數。

在一實施例中，在步驟(f)中，第一次線性指派算法為匈牙利算法。

在一實施例中，在步驟(g)中，當前偵測物件資訊來更新所對應的追蹤器資訊，包含儲存當前偵測物件之邊界框到追蹤器中，以及將當前偵測物件之特徵向量及追蹤器之特徵向量的權重和運算。

在一實施例中，在步驟(h)中，K值為任意大於0的正整數；更新追蹤器的未匹配幀數計數器為計數器數值加1。

在一實施例中，在步驟(i)中，滿足M1

M。

在一實施例中，在步驟(j)中，第二次線性指派算法為匈牙利算法。

在一實施例中，在步驟(k)中，當前未匹配偵測物件資訊來更新所對應的未活動追蹤器資訊，包含儲存當前未匹配偵測物件之邊界框到未活動追蹤器中，以及將當前未匹配偵測物件之特徵向量及未活動追蹤器之特徵向量的權重和運算，並將未活動追蹤器之狀態更新為活動。

在一實施例中，在步驟(l)中，K值為任意大於0的正整數。

在一實施例中，在步驟(m)中，建立新的追蹤器負責追蹤物件，包含儲存當前未匹配偵測物件之邊界框及特徵向量到新的追蹤器中，並將新的追蹤器之狀態設定為未活動、未匹配幀數計數器數值為0。

本發明另提供一種多目標追蹤的高速數據關聯方法，包含下述步驟：(a)輸入當前幀中M個偵測物件資訊、及前一幀中N個追蹤器資訊；(b)計算第i個偵測物件之特徵向量與第j個追蹤器之特徵向量之間的特徵度量距離

；(c) 計算第i個偵測物件之邊界框與第j個追蹤器之邊界框之間的邊界框度量距離

； (d)將特徵度量距離及邊界框度量距離套用簡單篩選之過濾操作，分別獲得過濾特徵度量指標

及過濾邊界框度量指標

，其中i=1~M，j=1~N；(e)將過濾特徵度量指標

及過濾邊界框度量指標

進行權重和運算，以產生大小為M× N的成本矩陣C；(f)將成本矩陣C套用第一次線性指派算法，以找到當前偵測物件與先前追蹤器之間的最佳匹配對集合、未匹配偵測物件集合、及未匹配追蹤器集合；(g)根據第一次最佳匹配對集合中的當前偵測物件資訊來更新所對應的追蹤器資訊，並將追蹤器放置於活動追蹤池中，同時清除追蹤器的未匹配幀數計數器，使計數器數值為0；並經由運動預測器來預測活動追蹤池中每個追蹤器之邊界框於下一幀的位置，以及更新每個追蹤器之邊界框的位置；(h)根據第一次未匹配追蹤器集合中的每個先前追蹤器，若連續未匹配的幀數超過K幀則刪除追蹤器，若否，則將追蹤器放置於未活動追蹤池中，並更新追蹤器的未匹配幀數計數器；並經由運動預測器來預測未活動追蹤池中每個追蹤器之邊界框於下一幀的位置，以及更新每個追蹤器之邊界框的位置；(i)根據步驟(a)~步驟(e)，計算剩餘的M1個未匹配偵測物件與未活動追蹤池中全部N1個追蹤器，產生大小為M1×N1的成本矩陣C1；(j)將成本矩陣C1套用第二次線性指派算法，以找到當前未匹配偵測物件與未活動追蹤器之間的最佳匹配對集合、未匹配偵測物件集合、及未匹配追蹤器集合；(k)根據第二次最佳匹配對集合中的當前未匹配偵測物件資訊來更新所對應的未活動追蹤器資訊，並將追蹤器放置於活動追蹤池中，同時清除追蹤器的未匹配幀數計數器，使計數器數值為0；(l)根據第二次未匹配追蹤器集合中的每個未活動追蹤器，若連續未匹配的幀數超過K幀則刪除未活動追蹤器，若否，則將未活動追蹤器放置於未活動追蹤池中，並更新未活動追蹤器的未匹配幀數計數器；(m)根據每個第二次未匹配偵測物件資訊，建立新的追蹤器負責追蹤物件，並將追蹤器放置於未活動追蹤池中；(n)輸出所有活動追蹤池中的追蹤器結果。

在一實施例中，在步驟(g)及步驟(h)中，運動預測器為卡曼濾波器、資訊濾波器、或其他系統狀態估測器。

圖1為先前技術之數據關聯動作流程圖；圖2為本發明之輕量化多目標追蹤系統架構圖；圖3為本發明之一高速數據關聯動作流程圖；圖4為本發明之另一高速數據關聯動作流程圖。

為利貴審查委員了解本發明之技術特徵、內容與優點及其所能達到之功效，茲將本發明配合附圖及附件，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的申請範圍，合先敘明。

請參閱圖2，為本發明之輕量化多目標追蹤系統架構圖，該模型是基於現有的One-Shot TBD架構，分成輕量化MobileNet-JDE模型及後處理模塊，本發明以MobileNet-SSDv2作為提出MOT模型的基礎，並使用IR(Inverted Residual)模塊來實現輕量化預測器(Mobile Predictor)，其中分類、回歸及嵌入分支分別用於預測對象的類別類型、位置信息、及外觀資訊。

後處理模塊包括非最大抑制(NMS)及數據關聯處理；NMS從MOT模型輸出的檢測信息中刪除置信度分數低、重疊率高的檢測信息；數據關聯處理將剩餘的檢測信息與當前的追蹤信息進行匹配；在數據關聯處理中，本發明使用簡單篩選之過濾操作的方法，基於前一幀中的目標與當前幀之間的度量距離(例如IoU距離及餘弦距離)，刪除一些不可能的匹配後，使用線性加權求和的方法融合剩餘的距離信息作為匈牙利匹配的成本矩陣。

傳統上的數據關聯方法是基於卡曼濾波器，並執行三次匈牙利樣本匹配(或線性分配)演算法以提高追蹤精度(請參考圖1)，但卻大幅增加了計算成本；請參閱圖3，為本發明之一高速數據關聯動作流程圖，為了在保持追蹤精度的同時提高處理速度，本發明只需要執行兩次的樣本匹配操作，並提出使用簡單篩選之過濾操作的方法來代替卡曼濾波器。

以下對於本發明之高速數據關聯方法做更進一步的說明：首先，輸入當前幀中複數個偵測物件資訊、及前一幀中複數個追蹤器資訊。

計算第i個偵測物件之特徵向量與第j個追蹤器之特徵向量之間的一特徵度量距離

；在一實施例中，此特徵度量距離是餘弦距離，定義如下述公式(1)：

公式(1)中，符號˙表示兩個向量之間的內積運算子。

計算第i個偵測物件之邊界框與第j個追蹤器之邊界框之間的一邊界框度量距離

；在一實施例中，此邊界框度量距離是IoU距離定義如下述公式 (2)、公式(3)：令(BBox _i,

)及(BBox _j,,

)分別表示當前幀中第i個檢測對象及前一幀中第j個追蹤對象的邊界框及嵌入特徵向量：

其中IoU函數定義為：

其中函數area(A)為計算輸入集A的面積；符號∩及∪表示兩個集合的交集及並集算子。

為了加快樣本匹配處理，本發明的簡單篩選之過濾操作的方法旨在盡快過濾掉具有較大度量值的樣本匹配對，因此，本發明應用閾值操作來加速這個過濾過程，定義如下述公式(3)：

閾值t是根據不同的指標確定的；在一實施例中，以t ^E表示所述過濾特徵度量指標的閾值，以t ^l表示所述過濾邊界框度量指標的閾值，使得滿足下述公式(4)：

上述方法可以用來有效地從總共i×j個匹配對中，檢測出一些不好的匹配對。

接著，基於公式(4)給出的兩個過濾指標的加權和，創建一個i-by-j成本矩陣，使得滿足下述公式(5)：

最後，將匈牙利算法應用於成本矩陣，以找到當前檢測與先前追蹤器之間的最佳匹配對集合。

特別注意的是，本發明使用不同的參數設置執行兩次樣本匹配處理，第一次匹配旨在確定當前檢測與活動追蹤池中的所有追蹤器之間的最佳匹配對集合，第二次匹配旨在確定當前未匹配檢測與非活動追蹤池中的所有追蹤器之間的最佳匹配對集合。

在一實施例中，第一次匹配的參數設置為(t ^E,t ^l,w)=(0.8,0.5,0.8)。

在一實施例中，第二次匹配的參數設置為(t ^E,t ^l,w)=(0.8,1.0,1.0)。

當前幀中所有剩餘的未匹配檢測將用於創建在非活動追蹤池中初始化的新追蹤器；否則，超過30幀未激活的非活動追蹤器將被刪除。

請參閱圖4，為本發明之另一高速數據關聯動作流程圖，本發明之高速數據關聯方法也可以包含使用運動預測器，例如經由運動預測器來預測活動追蹤池中每個追蹤器之邊界框於下一幀的位置，或者經由運動預測器來預測未活動追蹤池中每個追蹤器之邊界框於下一幀的位置。

運動預測器的種類並不受限制，例如可以為卡曼濾波器、資訊濾波器、或其他系統狀態估測器；在一實施例中，運動預測器為卡曼濾波器。

請參閱下述表1，顯示與傳統之基於VGG-SSD的多目標跟蹤器相比，本發明之MOT模型(MobileNetV2)在桌上型電腦上的性能評估結果，其中VGG-SSD的資訊來自於2016年12月在荷蘭阿姆斯特丹之歐洲電腦視覺會議(European Conference on Computer Vision)中第21-37頁；從表3中可知，當使用簡單篩選之過濾操作的方法來代替卡曼濾波器時，其處理速度大幅提升至50.5FPS，其追蹤性能也顯著提高7.3% MOTA及3.1 IDF1；由於簡單篩選之過濾操作的方法沒有預測被追蹤目標在前一幀的運動，因此追蹤結果中的IDSW數量顯著增加，使處理速度達到最佳水平；這一優勢有助於提高嵌入式系統上運行的MOT模型的即時處理性能。

請參閱下述表2，表2顯示本發明與現有方法相比的運算效率；從表2可知，基於使用簡單篩選之數據關聯方法可以在不增加記憶體使用大小及參數數量的情況下大大提高處理速度；並且，當多目標追蹤器的主幹網路模型越強健，簡單篩選之數據關聯方法對追蹤性能的降低影響就越小。

綜上所述，在本發明中，提出一種基於MobileNet的實時輕量級MOT方法，以有效提高MOT處理速度；本發明提出的追蹤方法由輕量級MOT模型和後處理模塊組成；在後處理模塊中，提出一種簡單篩選之過濾操作方法來代替傳統數據關聯處理中所使用的卡爾曼濾波器，以加快處理速度；實驗結果顯示，提出的MOT方法在桌上型電腦及嵌入式平台上分別運行時可以達到每秒50.5幀(FPS)及12.6FPS的高速處理速度；此外，與現有的MOT方法相比，所提出的方法提供具有競爭力的追蹤性能；這些優點使得本發明之方法適用於在嵌入式平台上運行的許多應用，例如視覺監控、移動機器人的視覺追蹤控制、人機互動等。

以上僅表達了本發明的其中的實施例，但並非對本發明專利範圍的限制，對於本領域的具通常知識者來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬於本發明的保護範圍。

Claims

一種多目標追蹤的高速數據關聯方法，應用於預測器，包含使該預測器執行下述步驟：(a)輸入當前幀中M個偵測物件資訊、及前一幀中N個追蹤器資訊；(b)計算第i個偵測物件之特徵向量與第j個追蹤器之特徵向量之間的一特徵度量距離
； (c)計算第i個偵測物件之邊界框與第j個追蹤器之邊界框之間的一邊界框度量距離
； (d)將所述特徵度量距離及所述邊界框度量距離套用一簡單篩選之過濾操作，分別獲得一過濾特徵度量指標
及一過濾邊界框度量指標
，其中i=1~M，j=1~N； (e)將所述過濾特徵度量指標
及所述過濾邊界框度量指標
進行一權重和運算，以產生一大小為M×N的一成本矩陣C；(f)將所述成本矩陣C套用一第一次線性指派算法，以找到當前偵測物件與先前追蹤器之間的一最佳匹配對集合、一未匹配偵測物件集合、及一未匹配追蹤器集合；(g)根據第一次所述最佳匹配對集合中的當前偵測物件資訊來更新所對應的追蹤器資訊，並將所述追蹤器放置於活動追蹤池中，同時清除所述追蹤器的未匹配幀數計數器，使所述計數器數值為0； (h)根據第一次所述未匹配追蹤器集合中的每個先前追蹤器，若連續未匹配的幀數超過K幀則刪除所述追蹤器，若否，則將所述追蹤器放置於未活動追蹤池中，並更新所述追蹤器的未匹配幀數計數器；(i)根據所述步驟(a)~步驟(e)，計算剩餘的M1個未匹配偵測物件與所述未活動追蹤池中全部N1個追蹤器，產生一大小為M1×N1的一成本矩陣C1；(j)將所述成本矩陣C1套用一第二次線性指派算法，以找到當前未匹配偵測物件與未活動追蹤器之間的一最佳匹配對集合、一未匹配偵測物件集合、及一未匹配追蹤器集合；(k)根據第二次所述最佳匹配對集合中的當前未匹配偵測物件資訊來更新所對應的未活動追蹤器資訊，並將所述追蹤器放置於所述活動追蹤池中，同時清除所述追蹤器的未匹配幀數計數器，使所述計數器數值為0；(l)根據第二次所述未匹配追蹤器集合中的每個未活動追蹤器，若連續未匹配的幀數超過K幀則刪除所述未活動追蹤器，若否，則將所述未活動追蹤器放置於所述未活動追蹤池中，並更新所述未活動追蹤器的未匹配幀數計數器；(m)根據每個第二次所述未匹配偵測物件資訊，建立一新的追蹤器負責追蹤所述物件，並將所述追蹤器放置於所述未活動追蹤池中；(n)輸出所有活動追蹤池中的追蹤器結果。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟(a)中，每個輸入的所述偵測物件資訊及所述追蹤器資訊，均包含至少一個邊界框資訊及至少一個特徵向量資訊。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟 (b)中，所述特徵度量距離
為餘弦距離，且是套用下述公式(1) 之藉由偵測物件之特徵向量及追蹤器之特徵向量來求得；
所述公式(1)中，符號˙表示兩個向量之間的內積運算子。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟 (c)中，所述邊界框度量距離
為IoU距離(Intersection over union distance)，且是套用下述公式(2)之藉由偵測物件之邊界框及追蹤器之邊界框來求得；
所述公式(2)中，所述IoU函數定義為：
其中，BBox _i及BBox _j表示當前幀中第i個檢測對象及前一幀中第j個追蹤對象的邊界框；函數area(A)為計算輸入集A的面積；符號∩及∪表示兩個集合的交集及並集算子。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟(d)中，所述簡單篩選之過濾操作為給定一閾值t後，經由下述公式(3)及公式(4)對所述特徵度量距離
及所述邊界框度量距離
進行濾除動作：
所述公式(3)中，SF表示簡單篩選之過濾操作；
所述公式(4)中，t ^E表示所述過濾特徵度量指標的閾值，t ^l表示所述過濾邊界框度量指標的閾值。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟(e)中，所述權重和運算為給定一權重值w後，經由下述公式(5) 對所述所述過濾特徵度量指標
及所述過濾邊界框度量指標
，以一對一的方式進行權重融合運算動作，以產生所述大小為M×N的二維矩陣：
所述公式(5)中，C_ij表示成本矩陣中位置(i,j)的成本值，w表示用於融合兩個度量的權重參數。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟(f)中，所述第一次線性指派算法為匈牙利算法。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟 (g)中，所述當前偵測物件資訊來更新所對應的追蹤器資訊，包含儲存所述當前偵測物件之邊界框到所述追蹤器中，以及將所述當前偵測物件之特徵向量及所述追蹤器之特徵向量的權重和運算。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟(h)中，所述K值為任意大於0的正整數；所述更新所述追蹤器的未匹配幀數計數器為所述計數器數值加1。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟(i)中，滿足M1
M。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟(j)中，所述第二次線性指派算法為匈牙利算法。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟(k)中，所述當前未匹配偵測物件資訊來更新所對應的未活動追蹤器資訊，包含儲存所述當前未匹配偵測物件之邊界框到所述未活動追蹤器中，以及將所述當前未匹配偵測物件之特徵向量及所述未活動追蹤器之特徵向量的權重和運算，並將所述未活動追蹤器之狀態更新為活動。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟(l)中，所述K值為任意大於0的正整數。
如請求項1所述之多目標追蹤的高速數據關聯方法，在所述步驟(m)中，所述建立一新的追蹤器負責追蹤所述物件，包含儲存所述當前未匹配偵測物件之邊界框及特徵向量到所述新的追蹤器中，並將所述新的追蹤器之狀態設定為未活動、未匹配幀數計數器數值為0。
一種多目標追蹤的高速數據關聯方法，應用於預測器，包含使該預測器執行下述步驟：(a)輸入當前幀中M個偵測物件資訊、及前一幀中N個追蹤器資訊；(b)計算第i個偵測物件之特徵向量與第j個追蹤器之特徵向量之間的一特徵度量距離
； (c)計算第i個偵測物件之邊界框與第j個追蹤器之邊界框之間的一邊界框度量距離
； (d)將所述特徵度量距離及所述邊界框度量距離套用一簡單篩選之過濾操作，分別獲得一過濾特徵度量指標
及一過濾邊界框度量指標
，其中i=1~M，j=1~N； (e)將所述過濾特徵度量指標
及所述過濾邊界框度量指標
進行一權重和運算，以產生一大小為M×N的一成本矩陣C；(f)將所述成本矩陣C套用一第一次線性指派算法，以找到當前偵測物件與先前追蹤器之間的一最佳匹配對集合、一未匹配偵測物件集合、及一未匹配追蹤器集合；(g)根據第一次所述最佳匹配對集合中的當前偵測物件資訊來更新所對應的追蹤器資訊，並將所述追蹤器放置於活動追蹤池中，同時清除所述追蹤器的未匹配幀數計數器，使所述計數器數值為0；並經由一運動預測器來預測所述活動追蹤池中每個追蹤器之邊界框於下一幀的位置，以及更新所述每個追蹤器之邊界框的位置；(h)根據第一次所述未匹配追蹤器集合中的每個先前追蹤器，若連續未匹配的幀數超過K幀則刪除所述追蹤器，若否，則將所述追蹤器放置於未活動追蹤池中，並更新所述追蹤器的未匹配幀數計數器；並經由一運動預測器來預測所述未活動追蹤池中每個追蹤器之邊界框於下一幀的位置，以及更新所述每個追蹤器之邊界框的位置；(i)根據所述步驟(a)~步驟(e)，計算剩餘的M1個未匹配偵測物件與所述未活動追蹤池中全部N1個追蹤器，產生一大小為M1×N1的一成本矩陣C1；(j)將所述成本矩陣C1套用一第二次線性指派算法，以找到當前未匹配偵測物件與未活動追蹤器之間的一最佳匹配對集合、一未匹配偵測物件集合、及一未匹配追蹤器集合；(k)根據第二次所述最佳匹配對集合中的當前未匹配偵測物件資訊來更新所對應的未活動追蹤器資訊，並將所述追蹤器放置於所述活動追蹤池中，同時清除所述追蹤器的未匹配幀數計數器，使所述計數器數值為0；(l)根據第二次所述未匹配追蹤器集合中的每個未活動追蹤器，若連續未匹配的幀數超過K幀則刪除所述未活動追蹤器，若否，則將所述未活動追蹤器放置於所述未活動追蹤池中，並更新所述未活動追蹤器的未匹配幀數計數器； (m)根據每個第二次所述未匹配偵測物件資訊，建立一新的追蹤器負責追蹤所述物件，並將所述追蹤器放置於所述未活動追蹤池中；(n)輸出所有活動追蹤池中的追蹤器結果。
如請求項15所述之多目標追蹤的高速數據關聯方法，在所述步驟(g)及所述步驟(h)中，所述運動預測器為卡曼濾波器、資訊濾波器、或其他系統狀態估測器。