TW202123171A - 目標跟蹤方法、裝置、系統及電腦可讀存儲介質 - Google Patents

Abstract

本發明提供了一種目標跟蹤方法、裝置、系統及計算機可讀存儲介質，該方法包括：獲取設置於監控區域內的多個攝像頭的當前待測幀；依次對多個攝像頭中每個攝像頭的當前待測幀進行目標檢測，得到每個攝像頭對應的檢測框集合；根據每個攝像頭對應的檢測框集合進行目標跟蹤，根據跟蹤結果確定全局目標軌跡。利用上述方法，能夠減少基於多攝像頭的目標跟蹤的計算資源。

Description

目標跟蹤方法、裝置、系統及電腦可讀存儲介質

本發明屬於圖像處理領域，具體涉及一種目標跟蹤方法、裝置、系統及計算機可讀存儲介質。

本部分旨在為申請專利範圍中陳述的本發明的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

目前，隨著視頻監控技術的普及以及不斷提升的安防需求，應用於視頻監控領域中的目標跟蹤逐漸成為計算機視覺研究領域的熱點之一。追蹤目標對象的移動軌跡通常需要獲取攝像頭的監控區域圖像，對圖像進行目標檢測以識別目標，並對識別出的目標對象進行跟蹤從而可以得到目標對象的完整軌跡。由於監控場景的複雜性，且單個攝像頭視野範圍是有限的，所以為了實現全域監控，可能需要多個攝像頭的配合才能進行監控區域的全域覆蓋。然而，現有的基於多攝像頭的目標跟蹤方法需要通過深度學習方法分析圖像並實現目標跟蹤，隨著攝像頭數量的增加，計算資源需求和通信資源需求同時大幅增加，造成目標跟蹤的技術瓶頸。

針對上述現有技術中存在的問題，提出了一種目標跟蹤方法、裝置及計算機可讀存儲介質，利用這種方法、裝置及計算機可讀存儲介質，能夠解決上述問題。

本發明提供了以下方案。

第一方面，提供一種目標跟蹤方法，包括：獲取設置於監控區域內的多個攝像頭的當前待測幀；依次對多個攝像頭中每個攝像頭的當前待測幀進行目標檢測，得到每個攝像頭對應的檢測框集合；根據每個攝像頭對應的檢測框集合進行目標跟蹤，根據跟蹤結果確定全域目標軌跡。

在一些可能的實施方式中，還包括：確定多個待測幀序號，根據多個待測幀序號按時序地迭代獲取多個攝像頭的當前待測幀，從而迭代地執行目標跟蹤；其中，根據多個待測幀序號中初始待測幀序號對應得到初始的全域目標軌跡；根據多個待測幀序號中後續待測幀序號對應得到迭代更新後的全域目標軌跡。

在一些可能的實施方式中，對每個攝像頭的當前待測幀進行目標檢測，包括：將每個攝像頭的當前待測幀輸入目標檢測模型進行目標檢測；其中，目標檢測模型是基於神經網絡訓練得到的行人檢測模型。

在一些可能的實施方式中，在得到每個攝像頭對應的檢測框集合之後，還包括：根據每個攝像頭的取景位置對每個攝像頭對應的檢測框集合中的每個檢測框的框底中心點進行投影變換，從而確定每個檢測框的地面坐標。

在一些可能的實施方式中，多個攝像頭的取景區域至少部分地重疊，方法還包括：根據每個攝像頭的取景區域在地面坐標系中劃分每個攝像頭的工作區域；其中，每個攝像頭的工作區域互不重疊，若多個攝像頭中的第一攝像頭對應的任意一個檢測框的地面坐標超出對應的工作區域，則在第一攝像頭的檢測框集合中去除任意一個檢測框。

在一些可能的實施方式中，方法還包括：將每個攝像頭的工作區域中的非關鍵區域截去。

在一些可能的實施方式中，根據每個攝像頭對應的檢測框集合進行跟蹤，包括：採用多目標跟蹤算法，並基於每個攝像頭對應的檢測框集合進行多目標跟蹤，確定每個攝像頭對應的局部跟蹤信息；其中，多目標跟蹤採用的參數基於每個攝像頭的歷史待測幀而確定。

在一些可能的實施方式中，多目標跟蹤算法為deepsort 算法。

在一些可能的實施方式中，還包括：根據每個攝像頭對應的局部跟蹤信息為每個檢測框添加身份標識；基於每個檢測框的身份標識和地面坐標確定迭代更新後的全域目標軌跡。

在一些可能的實施方式中，還包括：根據多個攝像頭的工作區域確定多個攝像頭之間的關聯關係；根據每個攝像頭的局部跟蹤信息確定對應工作區域中的新增檢測框和消失檢測框；根據多個攝像頭之間的關聯關係對處於不同工作區域中的新增檢測框和消失檢測框進行關聯，得到關聯信息；根據關聯信息確定迭代更新後的全域目標軌跡。

第二方面，提供一種目標跟蹤裝置，包括：獲取單元，用於獲取設置於監控區域內的多個攝像頭的當前待測幀；檢測單元，用於依次對多個攝像頭中每個攝像頭的當前待測幀進行目標檢測，得到每個攝像頭對應的檢測框集合；跟蹤單元，用於根據每個攝像頭對應的檢測框集合進行目標跟蹤，根據跟蹤結果確定全域目標軌跡。

在一些可能的實施方式中，還包括：選幀單元，用於確定多個待測幀序號，根據多個待測幀序號按時序地迭代獲取多個攝像頭的當前待測幀，從而迭代地執行目標跟蹤；其中，根據多個待測幀序號中初始待測幀序號對應得到初始的全域目標軌跡；根據多個待測幀序號中後續待測幀序號對應得到迭代更新後的全域目標軌跡。

在一些可能的實施方式中，檢測單元，還用於：將每個攝像頭的當前待測幀輸入目標檢測模型進行目標檢測；其中，目標檢測模型是基於神經網絡訓練得到的行人檢測模型。

在一些可能的實施方式中，檢測單元，還用於：在得到每個攝像頭對應的檢測框集合之後，根據每個攝像頭的取景位置對每個攝像頭對應的檢測框集合中的每個檢測框的框底中心點進行投影變換，從而確定每個檢測框的地面坐標。

在一些可能的實施方式中，多個攝像頭的取景區域至少部分地重疊，裝置還用於：根據每個攝像頭的取景區域在地面坐標系中劃分每個攝像頭的工作區域；其中，每個攝像頭的工作區域互不重疊，若多個攝像頭中的第一攝像頭對應的任意一個檢測框的地面坐標超出對應的工作區域，則在第一攝像頭的檢測框集合中去除任意一個檢測框。

在一些可能的實施方式中，檢測單元，還用於：將每個攝像頭的工作區域中的非關鍵區域截去。

在一些可能的實施方式中，跟蹤單元，還用於：採用多目標跟蹤算法，並基於每個攝像頭對應的檢測框集合進行多目標跟蹤，確定每個攝像頭對應的局部跟蹤信息；其中，多目標跟蹤採用的參數基於每個攝像頭的歷史待測幀而確定。

在一些可能的實施方式中，多目標跟蹤算法為deepsort 算法。

在一些可能的實施方式中，跟蹤單元，還用於：根據每個攝像頭對應的局部跟蹤信息為每個檢測框添加身份標識；基於每個檢測框的身份標識和地面坐標確定迭代更新後的全域目標軌跡。

在一些可能的實施方式中，跟蹤單元，還用於：根據多個攝像頭的工作區域確定多個攝像頭之間的關聯關係；根據每個攝像頭的局部跟蹤信息確定對應工作區域中的新增檢測框和消失檢測框；根據多個攝像頭之間的關聯關係對處於不同工作區域中的新增檢測框和消失檢測框進行關聯，得到關聯信息；根據關聯信息確定迭代更新後的全域目標軌跡。

第三方面，提供一種目標跟蹤系統，包括：設置於監控區域內的多個攝像頭，以及與多個攝像頭分別通信連接的目標跟蹤裝置；其中，目標跟蹤裝置被配置用於執行如第一方面的方法。

第四方面，提供一種目標跟蹤裝置，包括：一個或者多個多核處理器；存儲器，用於存儲一個或多個程序；當一個或多個程序被一個或者多個多核處理器執行時，使得一個或多個多核處理器實現：獲取設置於監控區域內的多個攝像頭的當前待測幀；依次對多個攝像頭中每個攝像頭的當前待測幀進行目標檢測，得到每個攝像頭對應的檢測框集合；根據每個攝像頭對應的檢測框集合進行目標跟蹤，根據跟蹤結果確定全域目標軌跡。

第五方面，提供一種計算機可讀存儲介質，計算機可讀存儲介質存儲有程序，當程序被多核處理器執行時，使得多核處理器執行如第一方面的方法。

本申請實施例採用的上述至少一個技術方案能夠達到以下有益效果：本實施例中，通過依次對來各個攝像頭的當前待測幀進行圖像檢測，然後基於對應於各個攝像頭的檢測結果在監控區域中進行全域追蹤，可以基於較少的計算資源實現對多路監控視頻中的目標對象實現全域的跟蹤，能夠基於較少的計算資源實現基於多攝像頭的目標跟蹤。

應當理解，上述說明僅是本發明技術方案的概述，以便能夠更清楚地瞭解本發明的技術手段，從而可依照說明書的內容予以實施。為了讓本發明的上述和其它目的、特徵和優點能夠更明顯易懂，以下特舉例說明本發明的具體實施方式。

下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，並且能夠將本公開的範圍完整的傳達給本領域的技術人員。

在本發明中，應理解，諸如“包括”或“具有”等術語旨在指示本說明書中所公開的特徵、數字、步驟、行為、部件、部分或其組合的存在，並且不旨在排除一個或多個其他特徵、數字、步驟、行為、部件、部分或其組合存在的可能性。

另外還需要說明的是，在不衝突的情況下，本發明中的實施例及實施例中的特徵可以相互組合。下面將參考附圖並結合實施例來詳細說明本發明。

在對監控區域內活動目標進行跟蹤時，可以通過依次對來自於各個攝像頭的當前待測幀進行圖像檢測，然後基於對應於各個攝像頭的檢測結果在監控區域中進行全域追蹤，進而基於較少的計算資源實現對多路監控視頻中的目標對象實現全域的跟蹤，降低對計算資源的需求。

在介紹了本發明的基本原理之後，下面具體介紹本發明的各種非限制性實施方式。

圖1 示意性地示出了根據本發明實施方式的目標跟蹤方法100 的流程示意圖，

如圖1 所示，該方法100 可以包括：

步驟S101、獲取設置於監控區域內的多個攝像頭的當前待測幀；

具體地，監控區域是指多個攝像頭的取景區域的總和，多個攝像頭包括至少兩個攝像頭，並且上述多個攝像頭的取景區域彼此相鄰接或至少部分地重疊，從而待跟蹤的目標對象能夠在監控區域中移動進而出現在任意一個或多個攝像頭的取景區域內。其中，從多個攝像頭的監控視頻中分別提取多個攝像頭的當前待測幀，其中每個攝像頭的當前待測幀具有相同的採集時間。可選地，本公開中的待跟蹤目標優選為行人，本領域技術人員可以理解，上述待跟蹤目標也可以是其他可移動的物體，比如動物、車輛等，本公開對此不作具體限制。

例如，在複雜監控場景下，比如在樓道、大型商場、機房等場所，通常會使用大量的攝像頭對各個區域進行監控，並得到多路監控視頻。圖2 示出一種示意性監控場景，在該監控場景中設置有攝像頭201 和攝像頭202，如圖3 示出上述攝像頭201 和攝像頭202 的取景畫面。其中，攝像頭201 的監控視頻可解析為圖像幀序列(𝐴1, 𝐴2, . . . , 𝐴𝑁)，攝像頭202 的監控視頻可解析為圖像幀序列(𝐵1, 𝐵2, . . . , 𝐵𝑁)，其中上述解析可以實時在線進行或離線進行。基於此，可以按時序從上述多個圖像幀序列中依次提取兩個攝像頭的當前待測幀𝐴𝑛和𝐵𝑛以進行本公開所示出的目標跟蹤，其中，下標n 的取值可以是𝑛 = 1,2, … , 𝑁。

在一些可能的實施例中，該方法100 還可以包括：確定多個待測幀序號，根據多個待測幀序號按時序地迭代獲取多個攝像頭的當前待測幀，從而迭代地執行目標跟蹤；其中，根據多個待測幀序號中初始待測幀序號對應得到初始的全域目標軌跡；根據多個待測幀序號中後續待測幀序號對應得到迭代更新後的全域目標軌跡。這樣可以減少運算量，提高全域跟蹤實時性，具體地，可以根據預設取幀策略確定多個待測幀序號。例如，針對每秒24幀的監控視頻，可以每跨5 幀從攝像頭201 和攝像頭202 的監控視頻中獲取一次當前待測幀𝐴𝑛和𝐵𝑛，其中下標𝑛的取值可以是𝑛 =1，6，11，…，並依次類推。

然而，也可以採取其他間隔幀數，或者，也可以採取逐幀檢測的方式，本公開對此不作具體限定。基於此，可以基於初始待測幀序號（𝑛 = 1）對應的當前待測幀𝐴1和𝐵1到初始的全域目標軌跡，進一步可以根據後續待測幀序號（𝑛 =6,11, . ..等）對應的當前待測幀𝐴𝑛和𝐵𝑛進行迭代的目標跟蹤，從而得到迭代更新後的全域目標軌跡。

如圖1 所示，該方法100 還可以包括：

步驟S102、依次對多個攝像頭中每個攝像頭的當前待測幀進行目標檢測，得到每個攝像頭對應的檢測框集合；

在一個可能的實施方式中，對每個攝像頭的當前待測幀進行目標檢測，包括：將每個攝像頭的當前待測幀輸入目標檢測模型進行目標檢測；其中，目標檢測模型是基於神經網絡訓練得到的行人檢測模型。

例如，如圖4 所示，示出了攝像頭201 和攝像頭202 的當前待測幀𝐴𝑛和𝐵𝑛，然後，在任意基於深度學習的行人檢測模型中輸入預處理後的當前待測幀𝐴𝑛和𝐵𝑛進行檢測，輸出針對每個攝像頭的一系列行人檢測框。獲取行人檢測框的目的在於獲取當前待測幀𝐴𝑛和𝐵𝑛中所有行人的位置信息和尺寸信息。行人檢測模型比如可以是YOLO(統一實時目標檢測，You Only Look Once)模型等，本公開對此不作具體限制。如圖5 所示，示出了對多個當前待測幀𝐴𝑛和𝐵𝑛進行檢測得到的多個檢測框集合，其中攝像頭201 對應的檢測框集合(𝑎1, 𝑎2, 𝑎3)，攝像頭202 對應的檢測框集合(𝑏)。

在一個可能的實施方式中，在得到每個攝像頭對應的檢測框集合之後，還包括：根據每個攝像頭的取景位置、以及每個攝像頭對應的檢測框集合中的每個檢測框的框底中心點進行投影變換，從而確定每個攝像頭對應的檢測框集合中每個檢測框的地面坐標。這樣，可以將每個攝像頭取景範圍內識別的目標組合到統一的坐標系中。

例如，可以獲取圖5 中每個攝像頭對應的每個檢測框的框底中心點位置，對該每個檢測框的框底中心點位置進行轉換，得到目標對象在監控場景中的實際地面位置，圖6 示出了通過投影轉換獲得的每個檢測框的地面坐標。具體而言，可以看出，每個攝像頭視角下的地面過道是一個近似梯形區域，因此針對每個攝像頭對應的檢測框集合，首先可以通過梯形-矩形轉換得到每個檢測框的框底中心點在標準矩形區域中的坐標，其次根據監控場景的實際佈局對標準矩形區域進行旋轉，通過旋轉矩陣計算得到每個檢測框的框底中心點的旋轉後坐標，最後根據監控場景的實際佈局對旋轉後坐標進行平移和縮放，得到最終的坐標位置。

在一個可能的實施方式中，多個攝像頭的取景區域至少部分地重疊，方法還包括：根據每個攝像頭的取景區域在地面坐標系中劃分每個攝像頭的工作區域；其中，每個攝像頭的工作區域互不重疊，若多個攝像頭中的第一攝像頭對應的任意一個檢測框的地面坐標超出對應的工作區域，則在第一攝像頭的檢測框集合中去除任意一個檢測框。

例如，如圖2 所示，為了使得監控場景中不存在監控盲區，攝像頭201 和攝像頭202 的取景區域實際上存在重疊。基於此，為了有效避免坐標顯示衝突的問題，可以對每個攝像頭進行工作區域的劃分，比如，攝像頭201 的工作區域為X 區域，攝像頭202 的工作區域為Y 區域，使得每個攝像頭的工作區域相鄰接。進一步地，每個攝像頭對應的每個檢測框的地面坐標需位於該攝像頭的工作區域內，若不在該攝像頭負責的工作區域內則除去。比如，由於攝像頭201對應的檢測框集合(𝑎1, 𝑎2, 𝑎3)中的檢測框𝑎3的地面坐標在X 區域之外，因此，在攝像頭201 對應的檢測框集合中去除檢測框𝑎3，得到(𝑎1, 𝑎2)進行後續的操作。

在一個可能的實施方式中，方法還包括：將每個攝像頭的工作區域中的非關鍵區域截去。具體地，可以基於監控場景的具體佈局確定是否為關鍵區域，比如，對於行人無法通過的天花板區域，就可以直接截去，這樣能夠減少目標跟蹤的運算量。

如圖1 所示，該方法100 還可以包括：

步驟S103、根據每個攝像頭對應的檢測框集合進行目標跟蹤，根據跟蹤結果更新全域目標軌跡。

具體地，如上文所述，針對每個攝像頭，可以根據初始的當前待測幀𝐴1和𝐵1進行目標檢測，確定初始的全域目標軌跡。進一步地，可以根據後續獲取的當前待測幀𝐴𝑛和𝐵𝑛進行目標檢測，並根據目標檢測結果迭代地進行目標跟蹤，從而對全域目標軌跡進行迭代更新。

在一個可能的實施方式中，根據每個攝像頭對應的檢測框集合進行跟蹤，包括：採用多目標跟蹤算法，並基於每個攝像頭對應的檢測框集合進行多目標跟蹤，確定每個攝像頭對應的局部跟蹤信息；其中，多目標跟蹤採用的參數基於每個攝像頭的歷史待測幀而確定。這樣能夠實現監控區域中的多目標跟蹤。

具體地，多目標跟蹤算法是基於單攝像頭的目標跟蹤算法，例如DeepSORT算法(基於深度特徵關聯的簡單在線實時跟蹤算法， Simple Online and Realtime Tracking with a Deep Association Metric)，因此可以得到每個攝像頭的局部跟蹤信息。其中，多目標跟蹤採用的參數基於每個攝像頭的歷史待測幀而確定，具體而言，可以在任意一個目標初次出現在某個攝像頭的工作區域時確定待跟蹤的目標框，並基於多目標檢測算法和已經標註身份的目標框對該攝像頭的後續待測幀進行跟蹤，確定該目標在該攝像頭工作區域中的局部跟蹤信息。

在一個可能的實施方式中，多目標跟蹤算法為deepsort 算法。當然，也可以採用其他的目標跟蹤算法，本領域的技術人員可以理解，本公開所要強調的不是具體採用何種目標跟蹤算法。

在一個可能的實施方式中，根據跟蹤結果更新全域目標軌跡，還包括：根據每個攝像頭對應的局部跟蹤信息為每個檢測框添加身份標識；基於身份標識，利用每個檢測框的地面坐標對全域目標軌跡進行更新。

例如，如圖6 所示，其中的曲線部分示出了當前已有的全域目標軌跡，也即是在上一次迭代過程中確定的全域目標軌跡，且其中的點𝑎1、點𝑎2和點b分別表示圖5 中所示出多個檢測框的地面坐標。其中，若攝像頭201 對應的局部跟蹤信息指示檢測框𝑎2和已有的“目標2”特徵匹配，則為檢測框𝑎2標註“目標2”並將點𝑎2的地面坐標加入“目標2”的現有軌跡中（即圖6 中的“目標2”虛曲線），若攝像頭201 對應的局部跟蹤信息指示檢測框點𝑎1並不存在匹配目標，則為檢測框𝑎1新增一個標註“目標3”，並新創建“目標3”的軌跡。

在一個可能的實施方式中，根據跟蹤結果更新全域目標軌跡，還包括：多個攝像頭的工作區域確定多個攝像頭之間的關聯關係；根據每個攝像頭的局部跟蹤信息確定對應工作區域中的新增檢測框和消失檢測框；根據多個攝像頭之間的關聯關係對處於不同工作區域中的新增檢測框和消失檢測框進行關聯，得到關聯信息；根據關聯信息更新全域目標軌跡。

具體地，其中多個攝像頭之間的關聯關係比如是區域X 和區域Y 在指定位置相鄰接，從而在目標移動時能夠基於上述關聯關係從鄰接位置處跨越不同的工作區域。其中，關聯信息是指某一工作區域中的新增檢測框和另一工作區域中的消失檢測框實現關聯，也即對應為同一身份標識。換句話說，針對具有鄰接邊界的兩個工作區域，可以在其中一個工作區域的鄰接邊界處先獲取多個跟蹤目標的消失次序，在另一工作區域中按照上述消失次序對出現於該鄰接邊界處的多個新增目標進行對應的標識分配並持續跟蹤，例如，如圖6 所示，其中區域Y 中的點b表示圖5 中所示出檢測框b的地面坐標。若攝像頭201 對應的局部跟蹤信息指示檢測框點𝑏並不存在匹配目標，也即在區域Y 中存在新增目標；並且攝像頭201 對應的局部跟蹤信息指示所持續跟蹤的“目標1”在當前檢測幀消失，也即在區域X 中存在消失目標，則可以為檢測框b標註“目標1”並將點b的地面坐標加入“目標1”的現有軌跡中（即圖6 中的“目標1”虛曲線），實現跨攝像頭、跨工作區域的目標跟蹤。

這樣，根據本發明實施方式的基於多攝像頭的目標跟蹤方法，通過依次對來各個攝像頭的當前待測幀進行圖像檢測，然後基於對應於各個攝像頭的檢測結果在監控區域中進行全域追蹤，可以基於較少的計算資源實現對多路監控視頻中的目標對象實現全域的跟蹤，降低對計算資源的需求。例如，無需為各個攝像頭單獨提供用於跟蹤各個局部區域中的目標對象的GPU 計算資源，而可以提供較少的計算資源以用於在監控區域中進行目標對象的全域跟蹤。

基於相同的技術構思，本發明實施例還提供一種目標跟蹤裝置，用於執行上述任一實施例所提供的目標跟蹤方法。圖7 為本發明實施例提供的一種目標跟蹤裝置結構示意圖。

如圖7 所示，裝置700 包括：

獲取單元701，用於獲取設置於監控區域內的多個攝像頭的當前待測幀；

檢測單元702，用於依次對多個攝像頭中每個攝像頭的當前待測幀進行目標檢測，得到每個攝像頭對應的檢測框集合；

跟蹤單元703，用於根據每個攝像頭對應的檢測框集合進行目標跟蹤，根據跟蹤結果確定全域目標軌跡。

在一些可能的實施方式中，裝置700 還包括：選幀單元，用於確定多個待測幀序號，根據多個待測幀序號按時序地迭代獲取多個攝像頭的當前待測幀，從而迭代地執行目標跟蹤；其中，根據多個待測幀序號中初始待測幀序號對應得到初始的全域目標軌跡；根據多個待測幀序號中後續待測幀序號對應得到迭代更新後的全域目標軌跡。

在一些可能的實施方式中，檢測單元702，還用於：將每個攝像頭的當前待測幀輸入目標檢測模型進行目標檢測；其中，目標檢測模型是基於神經網絡訓練得到的行人檢測模型。

在一些可能的實施方式中，檢測單元702，還用於：在得到每個攝像頭對應的檢測框集合之後，根據每個攝像頭的取景位置對每個攝像頭對應的檢測框集合中的每個檢測框的框底中心點進行投影變換，從而確定每個檢測框的地面坐標。

在一些可能的實施方式中，多個攝像頭的取景區域至少部分地重疊，裝置700 還用於：根據每個攝像頭的取景區域在地面坐標系中劃分每個攝像頭的工作區域；其中，每個攝像頭的工作區域互不重疊，若多個攝像頭中的第一攝像頭對應的任意一個檢測框的地面坐標超出對應的工作區域，則在第一攝像頭的檢測框集合中去除任意一個檢測框。

在一些可能的實施方式中，檢測單元702，還用於：將每個攝像頭的工作區域中的非關鍵區域截去。

在一些可能的實施方式中，跟蹤單元703，還用於：採用多目標跟蹤算法，並基於每個攝像頭對應的檢測框集合進行多目標跟蹤，確定每個攝像頭對應的局部跟蹤信息；其中，多目標跟蹤採用的參數基於每個攝像頭的歷史待測幀而確定。

在一些可能的實施方式中，多目標跟蹤算法為deepsort 算法。

在一些可能的實施方式中，跟蹤單元703，還用於：根據每個攝像頭對應的局部跟蹤信息為每個檢測框添加身份標識；基於每個檢測框的身份標識和地面坐標確定迭代更新後的全域目標軌跡。

在一些可能的實施方式中，跟蹤單元703，還用於：根據多個攝像頭的工作區域確定多個攝像頭之間的關聯關係；根據每個攝像頭的局部跟蹤信息確定對應工作區域中的新增檢測框和消失檢測框；根據多個攝像頭之間的關聯關係對處於不同工作區域中的新增檢測框和消失檢測框進行關聯，得到關聯信息；根據關聯信息確定迭代更新後的全域目標軌跡。

這樣，根據本發明實施方式的基於多攝像頭的目標跟蹤裝置，通過依次對來各個攝像頭的當前待測幀進行圖像檢測，然後基於對應於各個攝像頭的檢測結果在監控區域中進行全域追蹤，可以基於較少的計算資源實現對多路監控視頻中的目標對象實現全域的跟蹤，降低對計算資源的需求。例如，無需為各個攝像頭單獨提供用於跟蹤各個局部區域中的目標對象的GPU 計算資源，而可以提供較少的計算資源以用於在監控區域中進行目標對象的全域跟蹤。

需要說明的是，本申請實施例中的 裝置可以實現前述 方法的實施例的各個過程，並達到相同的效果和功能，這裡不再贅述。

基於相同的技術構思，本發明實施例還提供一種目標跟蹤系統，具體包括：設置於監控區域內的多個攝像頭，以及與多個攝像頭分別通信連接的目標跟蹤裝置；其中，目標跟蹤裝置被配置用於執行上述任一實施例所提供的目標跟蹤方法。

基於相同的技術構思，所屬技術領域的技術人員能夠理解，本發明的各個方面可以實現為設備、方法或計算機可讀存儲介質。因此，本發明的各個方面可以具體實現為以下形式，即：完全的硬件實施方式、完全的軟件實施方式（包括固件、微代碼等），或硬件和軟件方面結合的實施方式，這裡可以統稱為“電路”、“模塊”或“設備”。

在一些可能的實施方式中，本發明的一種目標跟蹤裝置可以至少包括一個或多個處理器、以及至少一個存儲器。其中，所述存儲器存儲有程序，當所述程序被所述處理器執行時，使得所述處理器執行如圖1 所示的步驟：獲取設置於監控區域內的多個攝像頭的當前待測幀；依次對多個攝像頭中每個攝像頭的當前待測幀進行目標檢測，得到每個攝像頭對應的檢測框集合；根據每個攝像頭對應的檢測框集合進行目標跟蹤，根據跟蹤結果確定全域目標軌跡。

下面參照圖8 來描述根據本發明的這種實施方式的目標跟蹤裝置8。圖8 顯示的裝置8 僅僅是一個示例，不應對本發明實施例的功能和使用範圍帶來任何限制。

如圖8 所示，裝置8 可以以通用計算設備的形式表現，包括但不限於：

至少一個處理器10、至少一個存儲器20、連接不同設備組件的總線60。

總線60 包括數據總線、地址總線和控制總線。

存儲器20 可以包括易失性存儲器，例如隨機存取存儲器（RAM）21 和/或

高速緩存存儲器22，還可以進一步包括只讀存儲器（ROM）23。

存儲器20 還可以包括程序模塊24，這樣的程序模塊24 包括但不限於：

操作設備、一個或者多個應用程序、其它程序模塊以及程序數據，這些示例中的每一個或某種組合中可能包括網絡環境的實現。

裝置5 還可以與一個或多個外部設備2（例如鍵盤、指向設備、藍牙設備等）通信，也可與一個或者多個其他設備進行通信。這種通信可以通過輸入/輸出（I/O）接口40 進行，並在顯示單元30 上進行顯示。並且，裝置5還可以通過網絡適配器50 與一個或者多個網絡（例如局域網（LAN），廣域網（WAN）和/或公共網絡，例如因特網）通信。如圖所示，網絡適配器50 通過總線60 與裝置5 中的其它模塊通信。應當明白，儘管圖中未示出，但可以結合裝置5 使用其它硬件和/或軟件模塊，包括但不限於：微代碼、設備驅動器、冗餘處理單元、外部磁盤驅動陣列、RAID 設備、磁帶驅動器以及數據備份存儲設備等。

圖9 示出了一種計算機可讀存儲介質，用於執行如上所述的方法。

在一些可能的實施方式中，本發明的各個方面還可以實現為一種計算機可讀存儲介質的形式，其包括程序代碼，當所述程序代碼在被處理器執行時，所述程序代碼用於使所述處理器執行上面描述的方法。

上面描述的方法包括了上面的附圖中示出和未示出的多個操作和步驟，這裡將不再贅述。

所述計算機可讀存儲介質可以採用一個或多個可讀介質的任意組合。可讀介質可以是可讀信號介質或者可讀存儲介質。可讀存儲介質例如可以是——但不限於——電、磁、光、電磁、紅外線、或半導體的設備、設備或器件，或者任意以上的組合。可讀存儲介質的更具體的例子（非窮舉的列表）包括：具有一個或多個導線的電連接、便攜式盤、硬盤、隨機存取存儲器（RAM）、只讀存儲器（ROM）、可擦式可編程只讀存儲器（EPROM 或閃存）、光纖、便攜式緊湊盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。

如圖9 所示，描述了根據本發明的實施方式的計算機可讀存儲介質90，其可以採用便攜式緊湊盤只讀存儲器(CD-ROM)並包括程序代碼，並可以在終端設備，例如個人電腦上運行。然而，本發明的計算機可讀存儲介質不限於此，在本文件中，可讀存儲介質可以是任何包含或存儲程序的有形介質，該程序可以被指令執行設備、設備或者器件使用或者與其結合使用。

可以以一種或多種程序設計語言的任意組合來編寫用於執行本發明操作的程序代碼，所述程序設計語言包括面向對象的程序設計語言—諸如Java、Python、C++等，還包括常規的過程式程序設計語言—諸如“C”語言或類似的程序設計語言。程序代碼可以完全地在用戶計算設備上執行、部分地在用戶設備上執行部分在遠程計算設備上執行、或者完全在遠程計算設備或服務器上執行。在涉及遠程計算設備的情形中，遠程計算設備可以通過任意種類的網絡——包括局域網（LAN）或廣域網（WAN）—連接到用戶計算設備，或者，可以連接到外部計算設備（例如利用因特網服務提供商來通過因特網連接）。

此外，儘管在附圖中以特定順序描述了本發明方法的操作，但是，這並非要求或者暗示必須按照該特定順序來執行這些操作，或是必須執行全部所示的操作才能實現期望的結果。附加地或備選地，可以省略某些步驟，將多個步驟合併為一個步驟執行，和/或將一個步驟分解為多個步驟執行。

雖然已經參考若干具體實施方式描述了本發明的精神和原理，但是應該理解，本發明並不限於所公開的具體實施方式，對各方面的劃分也不意味著這些方面中的特徵不能組合以進行受益，這種劃分僅是為了表述的方便。本發明旨在涵蓋所附權利要求的精神和範圍內所包括的各種修改和等同佈置。

無。

[圖1]為根據本發明一實施例的目標跟蹤方法的流程示意圖； [圖2]為根據本發明一實施例的監控區域的地面示意圖； [圖3]為根據本發明一實施例的多個攝像頭的取景畫面示意圖； [圖4]為根據本發明一實施例的多個攝像頭的當前待測幀的示意圖； [圖5]為根據本發明一實施例的多個攝像頭對應的檢測框集合的示意圖； [圖6]為根據本發明一實施例的全域目標軌跡的示意圖； [圖7]為根據本發明一實施例的目標跟蹤裝置的結構示意圖； [圖8]為根據本發明另一實施例的目標跟蹤裝置的結構示意圖； [圖9]為根據本發明一實施例的計算機可讀存儲介質的示意圖。 在附圖中，相同或對應的標號表示相同或對應的部分。

Claims (23)

1. 一種目標跟蹤方法，其特徵在於，包括： 獲取設置於監控區域內的多個攝像頭的當前待測幀； 依次對所述多個攝像頭中每個攝像頭的當前待測幀進行目標檢測，得到每個攝像頭對應的檢測框集合； 根據所述每個攝像頭對應的檢測框集合進行目標跟蹤，根據跟蹤結果確定全域目標軌跡。
2. 如請求項1 所述的方法，其特徵在於，還包括： 確定多個待測幀序號，根據所述多個待測幀序號按時序地迭代獲取所述多個攝像頭的當前待測幀，從而迭代地執行所述目標跟蹤； 其中，根據所述多個待測幀序號中初始待測幀序號對應得到初始的所述全域目標軌跡；根據所述多個待測幀序號中後續待測幀序號對應得到迭代更新後的所述全域目標軌跡。
3. 如請求項2 所述的方法，其特徵在於，對所述每個攝像頭的當前待測幀進行目標檢測，包括： 將所述每個攝像頭的當前待測幀輸入目標檢測模型進行所述目標檢測； 其中，所述目標檢測模型是基於神經網絡訓練得到的行人檢測模型。
4. 如請求項2 所述的方法，其特徵在於，在得到每個攝像頭對應的檢測框集合之後，還包括： 根據每個攝像頭的取景位置對所述每個攝像頭對應的檢測框集合中的每個檢測框的框底中心點進行投影變換，從而確定所述每個檢測框的地面坐標。
5. 如請求項4 所述的方法，其特徵在於，所述多個攝像頭的取景區域至少部分地重疊，所述方法還包括： 根據所述每個攝像頭的取景區域在地面坐標系中劃分所述每個攝像頭的工作區域； 其中，所述每個攝像頭的工作區域互不重疊，若所述多個攝像頭中的第一攝像頭對應的任意一個檢測框的地面坐標超出對應的工作區域，則在所述第一攝像頭的檢測框集合中去除所述任意一個檢測框。
6. 如請求項5 所述的方法，其特徵在於，所述方法還包括： 將所述每個攝像頭的工作區域中的非關鍵區域截去。
7. 如請求項2 所述的方法，其特徵在於，根據所述每個攝像頭對應的檢測框集合進行跟蹤，包括： 採用多目標跟蹤算法，並基於所述每個攝像頭對應的檢測框集合進行多目標跟蹤，確定每個攝像頭對應的局部跟蹤信息； 其中，所述多目標跟蹤採用的參數基於所述每個攝像頭的歷史待測幀而確定。
8. 如請求項7 所述的方法，其特徵在於，所述多目標跟蹤算法為deepsort 算法。
9. 如請求項7 所述的方法，其特徵在於，還包括： 根據所述每個攝像頭對應的局部跟蹤信息為所述每個檢測框添加身份標識； 基於所述每個檢測框的身份標識和地面坐標確定迭代更新後的所述全域目標軌跡。
10. 如請求項7 所述的方法，其特徵在於，還包括： 根據所述多個攝像頭的工作區域確定所述多個攝像頭之間的關聯關係； 根據所述每個攝像頭的局部跟蹤信息確定對應工作區域中的新增檢測框和消失檢測框； 根據所述多個攝像頭之間的關聯關係對處於不同工作區域中的新增檢測框 和消失檢測框進行關聯，得到關聯信息； 根據所述關聯信息確定迭代更新後的所述全域目標軌跡。
11. 一種目標跟蹤裝置，其特徵在於，包括： 獲取單元，用於獲取設置於監控區域內的多個攝像頭的當前待測幀； 檢測單元，用於依次對所述多個攝像頭中每個攝像頭的當前待測幀進行目 標檢測，得到每個攝像頭對應的檢測框集合； 跟蹤單元，用於根據所述每個攝像頭對應的檢測框集合進行目標跟蹤，根據跟蹤結果確定全域目標軌跡。
12. 如請求項 11 所述的裝置，其特徵在於，還包括： 選幀單元，用於確定多個待測幀序號，根據所述多個待測幀序號按時序地 迭代獲取所述多個攝像頭的當前待測幀，從而迭代地執行所述目標跟蹤； 其中，根據所述多個待測幀序號中初始待測幀序號對應得到初始的所述全域目標軌跡；根據所述多個待測幀序號中後續待測幀序號對應得到迭代更新後 的所述全域目標軌跡。
13. 如請求項12 所述的裝置，其特徵在於，所述檢測單元，還用於： 將所述每個攝像頭的當前待測幀輸入目標檢測模型進行所述目標檢測； 其中，所述目標檢測模型是基於神經網絡訓練得到的行人檢測模型。
14. 如請求項12 所述的裝置，其特徵在於，所述檢測單元，還用於： 在得到每個攝像頭對應的檢測框集合之後，根據每個攝像頭的取景位置對　　所述每個攝像頭對應的檢測框集合中的每個檢測框的框底中心點進行投影變換，從而確定所述每個檢測框的地面坐標。
15. 如請求項14 所述的裝置，其特徵在於，所述多個攝像頭的取景區域至少部分地重疊，所述裝置還用於： 根據所述每個攝像頭的取景區域在地面坐標系中劃分所述每個攝像頭的工作區域； 其中，所述每個攝像頭的工作區域互不重疊，若所述多個攝像頭中的第一攝像頭對應的任意一個檢測框的地面坐標超出對應的工作區域，則在所述第一攝像頭的檢測框集合中去除所述任意一個檢測框。
16. 如請求項 15 所述的裝置，其特徵在於，所述檢測單元，還用於： 將所述每個攝像頭的工作區域中的非關鍵區域截去。
17. 如請求項12 所述的裝置，其特徵在於，所述跟蹤單元，還用於： 採用多目標跟蹤算法，並基於所述每個攝像頭對應的檢測框集合進行多目標跟蹤，確定每個攝像頭對應的局部跟蹤信息； 其中，所述多目標跟蹤採用的參數基於所述每個攝像頭的歷史待測幀而確定。
18. 如請求項 17 所述的裝置，其特徵在於，所述多目標跟蹤算法為deepsort 算法。
19. 如請求項17 所述的裝置，其特徵在於，所述跟蹤單元，還用於： 根據所述每個攝像頭對應的局部跟蹤信息為所述每個檢測框添加身份標識； 基於所述每個檢測框的身份標識和地面坐標確定迭代更新後的所述全域目標軌跡。
20. 如請求項17 所述的裝置，其特徵在於，所述跟蹤單元，還用於： 根據所述多個攝像頭的工作區域確定所述多個攝像頭之間的關聯關係； 根據所述每個攝像頭的局部跟蹤信息確定對應工作區域中的新增檢測框和消失檢測框； 根據所述多個攝像頭之間的關聯關係對處於不同工作區域中的新增檢測框和消失檢測框進行關聯，得到關聯信息； 根據所述關聯信息確定迭代更新後的所述全域目標軌跡。
21. 一種目標跟蹤系統，其特徵在於，包括：設置於監控區域內的多個攝像頭，以及與所述多個攝像頭分別通信連接的目標跟蹤裝置； 其中，所述目標跟蹤裝置被配置用於執行如請求項 1-10 中的任一項所述的方法。
22. 一種目標跟蹤裝置，其特徵在於，包括： 一個或者多個多核處理器； 存儲器，用於存儲一個或多個程序； 當所述一個或多個程序被所述一個或者多個多核處理器執行時，使得所述 一個或多個多核處理器實現： 獲取設置於監控區域內的多個攝像頭的當前待測幀； 依次對所述多個攝像頭中每個攝像頭的當前待測幀進行目標檢測，得到每 個攝像頭對應的檢測框集合； 根據所述每個攝像頭對應的檢測框集合進行目標跟蹤，根據跟蹤結果確定全域目標軌跡。
23. 一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有程序，當所述程序被多核處理器執行時，使得所述多核處理器執行如請求項1-10 中任一項所述的方法。

Images