TW202244847A - 目標跟蹤方法、裝置、電子設備及儲存媒體 - Google Patents

目標跟蹤方法、裝置、電子設備及儲存媒體 Download PDF

Info

Publication number
TW202244847A
TW202244847A TW111115565A TW111115565A TW202244847A TW 202244847 A TW202244847 A TW 202244847A TW 111115565 A TW111115565 A TW 111115565A TW 111115565 A TW111115565 A TW 111115565A TW 202244847 A TW202244847 A TW 202244847A
Authority
TW
Taiwan
Prior art keywords
target
position coordinates
target object
current moment
coordinates
Prior art date
Application number
TW111115565A
Other languages
English (en)
Inventor
關英妲
劉文韜
錢晨
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202244847A publication Critical patent/TW202244847A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本公開提供了一種目標追蹤方法、裝置、電子設備及儲存媒體,其中,該目標追蹤方法包括:獲取目標場所內設置的多個採集設備採集的當前時刻的視頻畫面;多個採集設備在目標場所中的採集視角不同,視頻畫面中包括目標場所中目標對象的感興趣區域;基於多個採集設備採集的當前時刻的視頻畫面,確定各個目標對象在當前時刻的第一位置坐標;針對各個目標對象,基於該目標對象的第一位置坐標和該目標對象在上一時刻的第二位置坐標,確定該目標對象在當前時刻的第二位置坐標。

Description

目標跟蹤方法、裝置、電子設備及儲存媒體
本公開涉及計算機視覺技術領域,具體而言,涉及一種目標跟蹤方法、裝置、電子設備及儲存媒體。
人工智能技術在打造智能教育,文娛及生活上發揮著越來越重要的作用。其中計算機視覺作為關鍵的技術之一,應用廣泛。例如可以基於計算機視覺的定位技術,對不同場景下的目標場所內的目標對象進行追蹤,確定目標場所內目標對象的軌跡。
在基於計算機視覺對目標對象進行追蹤的過程中,可以通過相機採集的目標場所圖像,確定目標場所圖像中的目標對象在不同時刻的位置,進一步根據目標對象在不同時刻的位置對目標對象進行追蹤。
本公開實施例至少提供一種目標追蹤方案。
第一方面,本公開實施例提供了一種目標追蹤方法,包括:
獲取目標場所內設置的多個採集設備採集的當前時刻的視頻畫面;所述多個採集設備在所述目標場所中的採集視角不同,所述視頻畫面中包括所述目標場所中目標對象的感興趣區域;
基於所述多個採集設備採集的當前時刻的視頻畫面,確定各個所述目標對象在當前時刻的第一位置坐標;
針對各個所述目標對象,基於該目標對象的所述第一位置坐標和該目標對象在上一時刻的第二位置坐標,確定該目標對象在當前時刻的第二位置坐標。
第二方面,本公開實施例提供了一種目標追蹤裝置,包括:
獲取模組,用於獲取目標場所內設置的多個採集設備採集的當前時刻的視頻畫面;所述多個採集設備在所述目標場所中的採集視角不同,所述視頻畫面中包括所述目標場所中目標對象的感興趣區域;
確定模組,用於基於所述多個採集設備採集的當前時刻的視頻畫面,確定各個所述目標對象在當前時刻的第一位置坐標;
追蹤模組,用於針對各個所述目標對象,基於該目標對象的所述第一位置坐標和該目標對象在上一時刻的第二位置坐標,確定該目標對象在當前時刻的第二位置坐標。
第三方面,本公開實施例提供了一種電子設備,包括:處理器、儲存器和匯流排,所述儲存器儲存有所述處理器可執行的機器可讀指令,當電子設備運行時,所述處理器與所述儲存器之間通過匯流排通訊,所述機器可讀指令被所述處理器執行時執行如第一方面所述的目標追蹤方法的步驟。
第四方面,本公開實施例提供了一種計算機可讀儲存媒體,該計算機可讀儲存媒體上儲存有計算機程式,該計算機程式被處理器運行時執行如第一方面所述的目標追蹤方法的步驟。
第五方面,本公開實施例提供了一種計算機程式產品,該計算機程式產品包括計算機程式並儲存於儲存媒體上,該計算機程式被處理器執行時執行如第一方面所述的目標追蹤方法的步驟。
為使本公開的上述目的、特徵和優點能更明顯易懂,下文特舉一些實施例,並配合所附附圖,作詳細說明如下。
本專利申請要求於2021年4月28日提交的、申請號為202110467650.7、發明名稱為“一種目標跟蹤方法、裝置、電子設備及儲存媒體”的中國專利申請的優先權,該申請以引用的方式併入文本中。
為使本公開實施例的目的、技術方案和優點更加清楚,下面將結合本公開實施例中附圖,對本公開實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本公開一部分實施例,而不是全部的實施例。通常在此處附圖中描述和示出的本公開實施例的組件可以以各種不同的配置來佈置和設計。因此,以下對在附圖中提供的本公開的實施例的詳細描述並非旨在限制要求保護的本公開的範圍,而是僅僅表示本公開的選定實施例。基於本公開的實施例,本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例,都屬於本公開保護的範圍。
應注意到:相似的標號和字母在下面的附圖中表示類似項,因此,一旦某一項在一個附圖中被定義,則在隨後的附圖中不需要對其進行進一步定義和解釋。
本文中術語“和/或”,僅僅是描述一種關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合,例如,包括A、B、C中的至少一種,可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
在很多應用場景中,通常需要對一個場所內的目標對象進行追蹤。例如針對工廠內,需要追蹤員工是否有進入危險區域的趨勢。在商場中,可以追蹤顧客的行動軌跡。可以通過相機採集的圖像,確定目標對象的位置,進而完成對目標對象的追蹤。然而針對一些場地複雜面積較大的目標場所,在基於相機對目標對象進行追蹤的過程中,可能存在無法捕捉到目標對象的情況,即存在追蹤中斷的問題;還有可能由於存在遮擋區域,無法完成在這些遮擋區域中的目標對象的追蹤。
基於上述研究,本公開提供了一種目標追蹤方法,目標場所內設置的採集設備的採集視角不同,且目標場所中的每個目標對象至少被兩個採集設備同時採集到。這樣可以完成對目標場所中的目標對象進行全面較準確的定位,得到目標對象在當前時刻的第一位置坐標。進一步結合目標對象在上一時刻準確度較高的第二位置坐標和在當前時刻的第一位置坐標,準確確定目標對象在當前時刻的第二位置坐標,即完成對進入目標場所中的目標對象的追蹤。
為便於對本實施例進行理解,首先對本公開實施例所公開的一種目標追蹤方法進行詳細介紹。本公開實施例所提供的定位方法的執行主體為具有計算能力的計算機設備,該計算機設備例如包括:伺服器或其它處理設備。在一些可能的實現方式中,該目標追蹤方法可以通過處理器調用儲存器中儲存的計算機可讀指令的方式來實現。
參見圖1所示,為本公開實施例提供的目標追蹤方法的流程圖,所述方法包括步驟S101~S103。
S101,獲取目標場所內設置的多個採集設備採集的當前時刻的視頻畫面;多個採集設備在目標場所中的採集視角不同,視頻畫面中包括目標場所中目標對象的感興趣區域。
示例性地,針對不同的應用場景,目標場所可以為與該應用場景對應的場所。例如需要對工廠內的員工進行定位的情況下,目標場所可以為工廠;需要對商場內的顧客進行定位的情況下,目標場所可以為商場;需要對體育館內的運動員進行定位的情況下,目標場所可以為體育館。
示例性地,感興趣區域為目標場所內需要進行定位的對象(例如上述提到的員工、顧客和運動員)在視頻畫面中所在區域。
示例性地,採集設備可以為單目攝像機或者雙目攝像機。目標場所內可以設置多個採集設備。針對不同的目標場所,可以根據目標場所的實際場地確定多個採集設備的安裝位置。例如可以使得採集設備在目標場所中的採集視角不同,以覆蓋目標場所的全部區域,不留死角,另外,考慮到採集設備過多會導致同一時刻採集的視頻畫面過多,因此會影響視頻畫面的處理速度,故在目標場所中安裝採集設備時,需要同時考慮到採集設備的安裝角度、以及數量,例如可以使得進入目標場所中的每個目標對象可以同時被兩個採集設備採集到,這樣目標場所內設置的多個採集設備可以完整的採集到目標場所整個區域的當前視頻畫面。
S102,基於多個採集設備採集的當前時刻的視頻畫面,確定各個目標對象在當前時刻的第一位置坐標。
示例性地,目標對象為目標場所內需要進行定位的對象,例如上述提到的員工、顧客和運動員。以目標場所為工廠為例,工廠內的各個員工即為目標對象。由於採集設備佈置時考慮了對目標對象進行多視角採集,所以,同一目標對象在同一個時刻可以至少被兩個採集設備採集到,得到至少兩張視頻畫面,每張視頻畫面中各涉及一個感興趣區域。
示例性地,以目標場所為工廠為例。例如,該工廠內的員工為2個人,即目標對象為2個。由於同一個員工至少需要被2個採集設備採集到,所以可以假設該工廠內設置有2個攝像機。在這種情況下,一種可能的情況是,在早上9點,兩個攝像機各採集到一張視頻畫面,例如,視頻畫面1和視頻畫面2;每張視頻畫面中各涉及2個感興趣區域,例如,在視頻畫面1中,員工1對應的感興趣區域1、員工2對應的感興趣區域2;在視頻畫面2中,員工1對應的感興趣區域3、員工2對應的感興趣區域4。
示例性地,考慮到目標場所中的每個目標對象至少被兩個採集設備同時採集到,因此針對目標場所中的每個目標對象,均可以按照多個採集設備採集的包含該目標對象的感興趣區域的當前時刻的視頻畫面,來確定該目標對象在當前時刻的第一位置坐標。
示例性地,目標對象的第一位置坐標可以指目標對象在針對目標場所預先構建的世界坐標系中的位置坐標。這樣在基於當前時刻的視頻畫面,確定目標對象的第一位置坐標時,可以基於當前時刻的視頻畫面中的感興趣區域在視頻畫面中的像素坐標,以及採集該視頻畫面的採集設備的參數資訊,確定該視頻畫面中感興趣區域對應的目標對象在目標場所中的初始位置坐標。考慮到不同採集設備的參數資訊之間存在一些誤差,因此基於不同採集設備採集到的當前時刻的視頻畫面確定的感興趣區域對應的目標對象中屬於同一目標對象的初始位置坐標會有一些差距。可以對屬於同一目標對象的初始位置坐標進行融合,然後根據同一目標對象在當前時刻關聯的多個初始位置坐標,確定該目標對象在當前時刻的第一位置坐標。
示例性地,目標場所對應的世界坐標系可以以目標場所中一固定位置為坐標原點,建立唯一世界坐標系。例如可以以目標場所地面中心點為坐標系原點,在地面上設定一個方向作為世界坐標系X軸的正方向,在地面上設定與X軸垂直的方向作為世界坐標系Y軸的正方向,將垂直與地面向上的方向作為世界坐標系Z軸的正方向。
S103,針對各個目標對象,基於該目標對象的第一位置坐標和該目標對象在上一時刻的第二位置坐標,確定該目標對象在當前時刻的第二位置坐標。
示例性地,在得到目標對象在當前時刻的第一位置坐標後,可以基於目標場所中的目標對象在上一時刻的第二位置坐標,以及目標場所中的目標對象在當前時刻的第一位置坐標,對同一目標對象在不同時刻的位置進行時序關聯。確定目標場所中的目標對象在當前時刻的第二位置坐標,後續將目標場所中的各目標對象在不同時刻的第二位置坐標進行關聯,可以得到各目標對象在目標場所中的移動軌跡。
示例性地,考慮到第一位置坐標是基於採集設備採集到的,考慮到採集設備的外參資訊存在一定的誤差,因此基於採集設備採集的當前時刻的視頻畫面確定的目標對象在當前時刻的第一位置坐標也會存在一定的誤差。因此在對同一目標對象在不同時刻的位置進行時序關聯的過程中,會對目標對象的第一位置坐標進行修正,確定目標對象在當前時刻準確度較高的第二位置坐標。
示例性地,目標對象在上一時刻的第二位置坐標的確定方式與確定目標對象在當前時刻的第二位置坐標的方式相似。因此本公開主要闡述確定目標對象在當前時刻的第二位置坐標的過程進行闡述。
本公開實施例中,目標場所內設置的採集設備的採集視角不同,這樣可以完成對目標場所中的目標對象進行全面較準確的定位,得到目標對象在當前時刻的第一位置坐標。進一步結合目標對象在上一時刻準確度較高的第二位置坐標和在當前時刻的第一位置坐標,準確確定目標對象在當前時刻的第二位置坐標,即完成對進入目標場所中的目標對象的追蹤。
下面將結合具體實施例對上述S101~S103進行闡述。
針對上述S102,在基於多個採集設備採集的當前時刻的視頻畫面,確定各個目標對象在當前時刻的第一位置坐標時,如圖2所示,包括以下S201~S203:
S201,獲取多個採集設備分別採集的當前時刻的視頻畫面中的感興趣區域的像素坐標。
示例性地,可以基於預先訓練的用於進行目標檢測的神經網路來識別當前時刻的視頻畫面中的目標對象的感興趣區域。進一步可以讀取感興趣區域中設定位置點在視頻畫面對應的圖像坐標系中的像素坐標,將該設定位置點對應的像素坐標作為感興趣區域的像素坐標。
具體地,在獲取多個採集設備分別採集的當前時刻的視頻畫面中的感興趣區域的像素坐標時,可以包括以下S2011~S2012:
S2011,將多個當前時刻的視頻畫面輸入預先訓練的神經網路,得到每個視頻畫面中的目標檢測框;其中,神經網路包含多個用於檢測不同尺寸的目標對象的感興趣區域的目標檢測子網路,在視頻畫面中目標檢測框所在區域即為感興趣區域。
S2012,提取每個視頻畫面中的目標檢測框上的目標位置點在該視頻畫面中的像素坐標,得到該視頻畫面中的感興趣區域的像素坐標。
示例性地,神經網路可以檢測出當前時刻的視頻畫面中包含的每個目標對象的感興趣區域,並標記出每個目標檢測框。如圖3所示,為當前時刻的視頻畫面中包含的目標檢測框的示意圖。該當前時刻的視頻畫面中包含兩個感興趣區域對應的目標檢測框,分別包括感興趣區域1的目標檢測框A1B1C1D1和感興趣區域2的目標檢測框A2B2C2D2。可以在每個感興趣區域的目標檢測框上提取一個位置點作為目標位置點。例如提取檢測框底邊的中點作為目標位置點,如圖3中通過目標檢測框A1B1C1D1底邊D1C1的中點K1的像素坐標表示感興趣區域1的像素坐標。通過目標檢測框A2B2C2D2底邊D2C2的中點位置點K2的像素坐標表示感興趣區域2的像素坐標。
示例性地,考慮到目標對象在目標場所中的位置是變化的,且目標場所中設置的多個採集設備在目標場所中的採集視角不同,因此,不同採集設備在同一時刻採集的當前時刻的視頻畫面中包含的目標對象的感興趣區域的尺寸可能不同。為了能夠準確地標記出不同尺寸的目標對象的感興趣區域的檢測框,本公開實施例使用的神經網路可以包含多個用於檢測不同尺寸的目標對象的感興趣區域的目標檢測子網路。例如可以是特徵金字塔網路。該特徵金字塔網路中的每個目標檢測子網路用於檢測識別出當前時刻的視頻畫面中與該目標檢測子網路對應尺寸的目標對象的感興趣區域。通過該神經網路,可以準確地檢測出同一採集設備採集的當前時刻的視頻畫面中不同尺寸的目標對象的感興趣區域。
本公開實施例中,神經網路中包含多個用於檢測不同尺寸的目標對象的感興趣區域的目標檢測子網路,這樣在通過神經網路對視頻畫面中的目標對象的感興趣區域進行目標檢測時,可以準確地檢測出同一視頻畫面中不同尺寸的目標對象的感興趣區域。
S202,針對每個採集設備採集的當前時刻的視頻畫面,基於該視頻畫面中的感興趣區域的像素坐標和該採集設備的參數資訊,確定該視頻畫面中感興趣區域對應的目標對象在當前時刻下在目標場所中的初始位置坐標。
示例性地,每個採集設備的參數資訊可以包含採集設備的單應性矩陣,其中,單應性矩陣可以表示採集設備採集的當前時刻的視頻畫面對應的圖像坐標系和採集設備所處的目標場所對應的世界坐標系之間的轉換關係。這樣,在得到感興趣區域在當前時刻的視頻畫面對應的圖像坐標系中的像素坐標後,可以根據採集設備的參數資訊,確定感興趣區域在目標場所對應的世界坐標系中的位置坐標,將感興趣區域在世界坐標系中的位置坐標作為該感興趣區域對應的目標對象在世界坐標系中的初始位置坐標。
具體地,在針對每個採集設備採集的當前時刻的視頻畫面,基於該視頻畫面中的感興趣區域的像素坐標和該採集設備的參數資訊,確定該視頻畫面中感興趣區域對應的目標對象在當前時刻下在目標場所中的初始位置坐標時,包括以下S2021~S2022:
S2021,針對每個採集設備,基於該採集設備的內參矩陣和畸變參數,對該採集設備採集的視頻畫面中的感興趣區域的像素坐標進行修正,得到該視頻畫面中的感興趣區域的修正像素坐標。
示例性地,採集設備的內參矩陣包含
Figure 02_image001
Figure 02_image003
表示採集設備的焦距,
Figure 02_image005
表示採集設備採集的當前時刻的視頻畫面的中心點在圖像坐標系中的像素坐標。採集設備的畸變參數包含徑向畸變參數和切向畸變係數。在預先得到每個採集設備的內參矩陣和畸變係數後,可以根據該採集設備的內參矩陣和畸變係數對該採集設備採集的當前時刻的視頻畫面中的感興趣區域的像素坐標進行去畸變處理。例如可以通過Opencv軟體中的去畸變函數,得到該採集設備採集的當前時刻的視頻畫面中的感興趣區域的修正像素坐標。
示例性地,可以按照張正友棋盤標定的方式預先確定每個採集設備的內參矩陣和畸變參數。例如可以從不同角度拍攝多張棋盤格圖像,檢測出圖像中的特徵點,根據這些特徵點在棋盤格圖像中的像素坐標,求解出採集設備的內參矩陣和畸變參數,然後不斷對內參矩陣和畸變參數進行優化。在優化過程中,可以根據相鄰兩次得到的內參矩陣和畸變參數對同一像素坐標進行修正處理,通過前後兩次的修正像素坐標的差異確定是否結束優化。例如可以在該差異不再降低後,結束優化得到採集設備的內參矩陣和畸變參數。
S2022,基於預先確定的該採集設備的單應性矩陣和該視頻畫面中的感興趣區域的修正像素坐標,確定該視頻畫面中的感興趣區域對應的目標對象的初始位置坐標。
示例性地,單應性矩陣可以表示採集設備採集的當前時刻的視頻畫面對應的圖像坐標系和採集設備位於的目標場所對應的世界坐標系之間的轉換關係。該單應性矩陣同樣可以預先對採集設備進行標定時確定。例如可以通過採集設備採集帶有多個標誌物的樣本視頻畫面,預先確定多個標誌物與地面(世界坐標系X軸和Y軸所在的平面)的交點在目標場所對應的世界坐標系中的世界坐標。然後根據上述方式確定多個標誌物與地面的交點在樣本視頻畫面中對應的修正像素坐標。進一步可以基於多個標誌物分別對應的修正像素坐標和世界坐標,確定該採集設備的單應性矩陣。
示例性地,在確定視頻畫面中的感興趣區域對應的目標對象的初始位置坐標時,可以根據視頻畫面中的感興趣區域的修正像素坐標和採集該當前時刻的視頻畫面的採集設備的單應性矩陣,得到視頻畫面中的感興趣區域在目標場所對應的世界坐標系中的位置坐標,將視頻畫面中的感興趣區域在世界坐標系中的位置坐標確定為該感興趣區域對應的目標對象的初始位置坐標。
本公開實施例中,在得到視頻畫面中感興趣區域的像素坐標後,先基於採集該視頻畫面的採集設備的內參矩陣和畸變係數對像素坐標進行修正,從而可以得到準確度較高的修正像素坐標,進一步提高得到的感興趣區域對應的目標對象在目標場所中的初始位置坐標的準確度。
S203,對初始坐標位置中屬於同一目標對象的初始位置坐標進行融合,得到該目標對象在當前時刻下在目標場所中的第一位置坐標。
示例性地,考慮到不同採集設備的參數資訊之間存在一些誤差,因此基於不同採集設備採集到的當前時刻的視頻畫面確定的屬於同一目標對象的初始位置坐標會有一些差距。可以對屬於同一目標對象的初始位置坐標進行融合,得到該目標對象的第一位置坐標。
本公開實施例中,提出可以先確定感興趣區域在視頻畫面中的像素坐標,然後再根據採集設備的參數資訊,得到感興趣區域對應的目標對象在目標場所中的初始位置坐標。進一步對不同視頻畫面中的初始位置坐標中屬於同一目標對象的初始位置坐標進行融合,得到該目標對象準確度較高的第一位置坐標。
具體地,針對上述S203,在對初始坐標位置中屬於同一目標對象的初始位置坐標進行融合,得到該目標對象在當前時刻下在目標場所中的第一位置坐標時,如圖4所示,可以包括以下S301~S302:
S301,基於多個當前時刻的視頻畫面確定的感興趣區域對應的目標對象的初始位置坐標,確定初始位置坐標中與同一目標對象關聯的多個初始位置坐標。
示例性地,根據上文提到的目標場所中的每個目標對象至少被兩個採集設備同時採集到,針對每個目標對象,在同一時刻被不同的採集設備拍攝到的情況下,採集設備的參數資訊存在一定的誤差,且不同的採集設備的參數資訊之間的誤差不同。因此,基於不同的當前時刻的視頻畫面確定的同一目標對象的初始位置坐標可能不同。在對同一目標對象的初始位置坐標進行融合之前,需要先確定與同一目標對象關聯的多個初始位置坐標。
S302,將與同一目標對象關聯的多個初始位置坐標進行依次融合,得到同一目標對象在當前時刻下在目標場所中的第一位置坐標。
示例性地,假設與同一目標對象關聯的多個初始位置坐標包含N個,可以先將前兩個進行融合。得到融合後的初始位置坐標,然後將融合後的初始位置坐標與第三個初始位置坐標進行融合。直至與最後一個初始位置坐標進行融合後,將最終融合得到的位置坐標作為該目標對象的第一位置坐標。
本公開實施例中,考慮到基於不同採集設備採集的視頻畫面確定的同一目標對象的初始位置坐標會存在一些誤差,因此可以通過對多個採集設備採集的同一目標對象的初始位置坐標進行融合,從而可以得到該目標對象準確度較高的第一位置坐標。
在一種實施方式中,針對上述S301,在基於多個當前時刻的視頻畫面確定的感興趣區域對應的目標對象的初始位置坐標,確定初始坐標中與同一目標對象關聯的多個初始位置坐標時,包括以下S3011~S3012:
S3011,針對當前時刻的任意兩個視頻畫面,確定任意兩個視頻畫面中第一視頻畫面中每個感興趣區域對應的目標對象為第一目標對象,該任意兩個視頻畫面中第二視頻畫面中每個感興趣區域對應的目標對象為第二目標對象,針對每個所述第一目標對象的初始位置坐標,確定該第一目標對象的初始位置坐標與第二當前時刻的視頻畫面中各個第二目標對象的初始位置坐標之間的第二距離;
S3012,將該第一目標對象的初始位置坐標和與該第一目標對象具有最小第二距離的第二目標對象的初始位置坐標,作為與同一目標對象關聯的多個初始位置坐標,最小第二距離小於第二預設融合距離閾值。
示例性地,例如目標場所中設置A個採集設備,假設在同一時刻A個採集設備採集的當前時刻的視頻畫面中均包含至少一個目標對象的感興趣區域,在該時刻可以得到A組初始位置坐標,A組初始位置坐標構成初始坐標集合
Figure 02_image007
,其中,
Figure 02_image009
依次表示為A個採集設備中的第一個採集設備、第二個採集設備、第三個採集設備至第A個採集設備拍攝的當前時刻的視頻畫面中的目標對象的初始位置坐標集合,簡言之,SN表示A個採集設備中第N個採集設備拍攝的當前時刻的視頻畫面中感興趣區域對應的目標對象的初始位置坐標集合,N為大於等於1且小於等於A的整數。下面將以下當前時刻的任意兩個視頻畫面為第一個採集設備和第二個採集設備採集的當前時刻的視頻畫面為例,說明如何確定與同一目標對象關聯的多個初始位置坐標:
示例性地,S1中包含a個第一目標對象的初始位置坐標(也稱作第一初始位置坐標),S2中包含b個第二目標對象的初始位置坐標(也稱作第二初始位置坐標),可以確定每個第一初始位置坐標和各個第二初始位置坐標之間的歐式距離,得到距離矩陣:
Figure 02_image011
其中,
Figure 02_image013
表示S1中第1個第一初始位置坐標和S2中第1個第二初始位置坐標之間的第二距離;
Figure 02_image015
表示S1中第1個第一初始位置坐標和S2中第b個第二初始位置坐標之間的第二距離;
Figure 02_image017
表示S1中第i個第一初始位置坐標和S2中第j個第二初始位置坐標之間的第二距離;
Figure 02_image019
表示S1中第a個第一初始位置坐標和S2中第1個第二初始位置坐標之間的第二距離;
Figure 02_image021
表示S1中第a個第一初始位置坐標和S2中第b個第二初始位置坐標之間的第二距離。
示例性地,具體在操作時,可以按照以下方式確定S1和S2中與同一目標對象關聯的多個初始位置坐標,包括S30121~S3012:
S30121,在當前距離矩陣中的元素中查找當前最小第二距離;
示例性地,在首次查找最小第二距離的情況下,當前距離矩陣中的元素包含S1中每個第一目標對象的初始位置坐標和S2中各個第二目標對象的初始位置坐標之間的歐式距離。
S30122,判斷當前最小第二距離是否小於第二預設融合距離閾值。
示例性地,第二預設融合距離可以根據經驗設定。例如預先通過不同採集設備針對同一目標對象進行拍攝,然後根據不同採集設備採集的視頻畫面分別確定出該同一目標對象在目標場所中的多個初始位置坐標,根據多個初始位置坐標之間的距離來確定該第二預設融合距離閾值。
S30123,在確定該當前最小第二距離小於第二預設融合距離閾值的情況下,確定該當前最小第二距離關聯的兩個初始位置坐標為同一目標對象關聯的初始位置坐標。
示例性地,例如確定出
Figure 02_image019
為當前最小距離,且
Figure 02_image019
小於第二預設融合距離閾值,可以將S1中第a個第一目標對象的初始位置坐標和S2中第1個第二目標對象的初始位置坐標作為與同一目標對象關聯的初始位置坐標。
S30124,將當前距離矩陣中的當前最小第二距離,以及與當前最小第二距離關聯的兩個初始位置坐標中任一初始位置坐標之間的所有其它第二距離設置為第二預設融合距離閾值後,返回執行S30121,直至當前距離矩陣中的當前最小第二距離大於等於第二預設融合距離閾值的情況下,得到S1和S2中所有與同一目標對象關聯的初始位置坐標。
示例性地,假設當前距離矩陣由S1和S2中初始位置坐標計算得到,具體一個為3×3矩陣:
Figure 02_image024
, 第二預設融合距離閾值為
Figure 02_image026
;假設
Figure 02_image028
為當前矩陣中最小距離且小於
Figure 02_image026
,那麼S1中的第1個第一初始位置坐標以及S2中的第1個第二初始位置坐標,為同一目標對象的關聯初始位置坐標。則在當前距離矩陣中,與這兩個初始位置坐標中任一初始位置坐標計算出的所有其它距離為
Figure 02_image030
Figure 02_image032
Figure 02_image034
Figure 02_image036
。所以,根據S30124,在當前矩陣中,需要把
Figure 02_image028
Figure 02_image030
Figure 02_image032
Figure 02_image034
Figure 02_image036
均設置為
Figure 02_image026
;設置後的矩陣為:
Figure 02_image038
, 之後返回執行S30121。
示例性地,在將當前距離矩陣中的當前最小第二距離,以及與當前最小第二距離關聯的兩個初始位置坐標中任一初始位置坐標之間的所有其它距離設置為第二預設融合距離閾值後,在繼續查找當前最小第二距離的過程中,可以排除被設置為第二預設融合距離閾值的元素,從而提高搜索效率。
示例性地,在一種實施方式中,在得到S1和S2中與同一目標對象關聯的多個初始位置坐標後,可以繼續基於其它任意兩張當前時刻的視頻畫面確定是否存在與同一目標對象關聯的初始位置坐標。直至判斷完A個採集設備在在同一時刻採集的當前時刻的視頻畫面後,可以得到A個採集設備在同一時刻採集的當前時刻視頻畫面中涉及的各個目標對象的不同初始位置坐標。然後在不同初始位置坐標中對與同一目標對象關聯的初始位置坐標進行融合,得到A個採集設備在同一時刻拍攝的A張當前時刻的視頻畫面中的各目標對象在目標場所中的第一位置坐標。
示例性地,在另一種實施方式中,在得到S1和S2中與同一目標對象關聯的多個初始位置坐標後,可以對多個初始位置坐標進行坐標融合,得到該同一目標對象更新後的初始位置坐標。針對S1和S2中待融合的初始位置坐標,可以與更新後的初始位置坐標構成S2’。進一步通過S2’和S3中的初始位置坐標構成新的當前距離矩陣,重複執行S30121至S30124的步驟,得到S2’和S3中與同一目標對象關聯的多個初始位置坐標,按照相同的方式得到S3’。進一步通過S3’和S4中的初始位置坐標構成新的當前距離矩陣,重複執行S30121至S30124的步驟,直至完成與初始坐標集合中的最後一個元素(即SA)中的初始位置坐標的融合後,得到A個採集設備在同一時刻拍攝的A張視頻畫面中的各目標對象在目標場所中的第一位置坐標。
特別地,在直至完成與初始坐標集合中的最後一個元素(即SA)中的初始位置坐標的融合後,若檢測到存在任一初始位置坐標從開始到結束均為參與融合,考慮到目標場所中的每個目標對象至少被兩個採集設備同時採集到,因此可以將該任一初始位置坐標作為誤差初始位置坐標進行過濾。
本公開實施例中,根據當前時刻的任意兩張視頻畫面中感興趣區域對應的目標對象的初始位置坐標,和第二預設融合距離閾值,可以快速確定出與同一目標對象關聯的初始位置坐標,從而為後續確定各目標對象的第一位置坐標提供依據。
針對上述S302,在對同一目標對象關聯的多個初始位置坐標進行依次融合,得到同一目標對象在當前時刻下在目標場所中的第一位置坐標時,可以包括以下S3021~S3022:
S3021,從同一目標對象關聯的多個初始位置坐標中選取任一初始位置坐標,將選取的任一初始位置坐標作為第一中間融合位置坐標;
S3022,將第一中間融合位置坐標與其它任一待融合的初始位置坐標進行融合,生成第二中間融合位置坐標;將第二中間融合位置坐標作為更新後的第一中間融合位置坐標,並返回生成第二中間融合位置坐標的步驟,直到不存在待融合的初始位置坐標。
其中,待融合的初始位置坐標是指未參與融合的初始位置坐標。
示例性地,在將第一中間融合位置坐標與其它任一待融合的初始位置坐標進行融合,生成第二中間融合位置坐標時,包括:
確定第一中間融合位置坐標與其它任一待融合的初始位置坐標的中點坐標,將該中點坐標作為生成的第二中間融合位置坐標。
示例性地,結合上述實施例若確定出與目標對象A關聯的多個初始位置坐標包含N個。可以將任一初始位置坐標作為第一中間融合位置坐標,確定該第一中間融合位置坐標與其它任一待融合的初始位置坐標的中點坐標。然後將該中點坐標作為更新後的第一中間融合位置坐標,繼續與其它任一待融合的初始位置坐標進行融合。直到N個初始位置坐標中不存在待融合的初始位置坐標後,得到目標對象A的第一位置坐標。
本公開實施例中,針對與同一目標對象關聯的多個初始位置坐標,可以按照依次取中點的方式融合,從而得到準確度較高的第一位置坐標。
在一種可能的實施方式中,在基於獲取到的目標對象的第一位置坐標和目標對象在上一時刻的第二位置坐標,確定目標對象在當前時刻的第二位置坐標時,如圖5所示,可以包括以下S401~S403:
S401,基於目標對象在上一時刻的第二位置坐標,確定目標對象在當前時刻的預測位置坐標;
S402,基於目標對象在當前時刻的預測位置坐標和第一位置坐標,確定目標對象在當前時刻的觀測位置坐標;
S403,基於目標對象在當前時刻的預測位置坐標和觀測位置坐標,確定目標對象在當前時刻的第二位置坐標。
示例性地,這裡可以引入卡爾曼濾波器通過卡爾曼濾波的方式來確定目標對象在當前時刻的第二位置坐標。在基於卡爾曼濾波方式確定目標對象在當前時刻準確度較高的第二位置坐標的過程中,需要確定觀測位置坐標和預測位置坐標。其中預測位置坐標是指可以基於上一時刻的第二位置坐標預測得到的目標對象在當前時刻的位置坐標。觀測位置坐標可以根據採集設備採集的當前時刻的視頻畫面來確定,例如上述確定的目標對象在當前時刻的第一位置坐標。但是考慮到第一位置坐標可能存在誤差,本公開實施例提出結合預測位置坐標和基於採集設備採集的當前時刻的視頻畫面確定的第一位置坐標來共同確定觀測位置坐標。最後可以結合觀測位置坐標和預測位置坐標,得到目標對象在當前時刻的第二位置坐標。
具體地,在基於目標對象在上一時刻的第二位置坐標,確定目標對象在當前時刻的預測位置坐標時,可以根據卡爾曼濾波公式中的以下公式(1)來確定:
Figure 02_image040
(1);
其中,
Figure 02_image042
表示根據目標對象在上一時刻的第二位置坐標,確定的目標對象在當前時刻的預測位置坐標;
Figure 02_image044
表示目標對象在上一時刻的第二位置坐標;
Figure 02_image046
表示預測目標對象在當前時刻的預測位置坐標過程中的白噪聲,表示預測位置坐標的誤差量;A和B表示卡爾曼濾波器的參數矩陣,其中,A表示卡爾曼濾波器中的狀態轉移矩陣,
Figure 02_image048
表示在上一時刻對卡爾曼濾波的控制量,可以為0。
另外,進一步地,在得到目標對象在當前時刻的觀測位置坐標後,可以根據以下公式(2)確定目標對象在當前時刻的觀測位置坐標的協方差矩陣:
Figure 02_image050
(2);
其中,
Figure 02_image052
表示目標對象在當前時刻的觀測位置坐標的協方差矩陣,可以表示目標對象在當前時刻的觀測位置坐標的不確定度;
Figure 02_image054
表示目標對象在上一時刻的第二位置坐標的協方差矩陣,可以表示目標對象在上一時刻的第二位置坐標的不確定度;Q表示卡爾曼濾波器引入的系統過程協方差矩陣,用來表示狀態轉移矩陣相比實際過程的誤差。
示例性地,在得到目標對象在當前時刻的預測位置坐標後,可以結合目標對象的預測位置坐標和第一位置坐標,確定目標對象在當前時刻的觀測位置坐標,具體將在後續進行闡述。
在得到目標對象在當前時刻的預測位置坐標和觀測位置坐標後,可以根據卡爾曼濾波公式中的以下公式(3)來確定目標對象在當前時刻的第二位置坐標:
Figure 02_image056
(3);
其中,
Figure 02_image058
表示目標對象在當前時刻的第二位置坐標;
Figure 02_image060
表示目標對象在當前時刻的觀測位置坐標;
Figure 02_image062
表示卡爾曼濾波器中的濾波增益矩陣,該濾波增益矩陣可以通過以下公式(4)確定:
Figure 02_image064
(4);
其中,H表示卡爾曼濾波器中的參數矩陣,表示觀測矩陣;R表示卡爾曼濾波器中已知的測量噪聲協方差。
進一步地,可以基於濾波增益矩陣後續還需要確定目標對象在下一時刻的第二位置坐標,因此需要確定目標對象在當前時刻的第二位置坐標的協方差矩陣
Figure 02_image066
,具體可以通過以下公式(5)進行確定:
Figure 02_image068
(5);
在得到目標對象在當前時刻的第二位置坐標的協方差矩陣後,可以基於該協方差矩陣確定目標對象在下一時刻的觀測位置坐標的協方差矩陣,為確定目標對象在下一時刻的第二位置坐標做準備。
示例性地,如果當前時刻為採集的初始時刻,則目標對象沒有上一時刻的第二位置坐標。在這種情況下,可以將目標對象在當前時刻的第一位置坐標直接確定為目標對象在當前時刻的第二位置坐標。
本公開實施例中,可以根據目標對象在上一時刻的第二位置坐標,確定目標對象在當前時刻的預測位置坐標,進一步結合目標對象在當前時刻的第一位置坐標,可以得到目標對象在當前時刻準確度較高的第二位置坐標。
具體地,目標對象包含多個,針對上述S402,在基於目標對象在當前時刻的預測位置坐標和第一位置坐標,確定目標對象在當前時刻的觀測位置坐標時,可以包括以下S4021~S4022:
S4021,基於多個目標對象在當前時刻的預測位置坐標和第一位置坐標,確定與同一目標對象關聯的預測位置坐標和第一位置坐標。
S4022,確定與同一目標對象關聯的預測位置坐標和第一位置坐標的第一中點坐標,將該第一中點坐標作為該目標對象在當前時刻的觀測位置坐標。
示例性地,根據上一時刻目標場所中包含的N個目標對象的第二位置坐標,可以得到N個目標對象在當前時刻的預測位置坐標。另外基於多個採集設備採集的當前時刻的視頻畫面,可以得到目標場所中的M個目標對象在當前時刻的第一位置坐標。在N個預測位置坐標和M個第一位置坐標中,可以基於距離的貪心算法確定與同一目標對象關聯的預測位置坐標和第一位置坐標。然後進一步可以將與同一目標對象關聯的預測位置坐標和第一位置坐標的中點坐標,作為該同一目標對象在當前時刻的觀測位置坐標。
示例性地,N可以大於或等於M。在N大於M的情況下,可能在採集設備採集的當前時刻的視頻畫面中,存在漏檢的目標對象。例如由於目標場所中的障礙物遮擋導致無法採集到某個目標對象的視頻畫面,這樣在基於當前時刻的視頻畫面確定目標場所中的目標對象的第一位置坐標的情況下,會存在漏檢的情況。此時可以通過該目標對象的預測位置坐標來確定該目標對象在當前時刻的觀測位置坐標。
本公開實施例中,基於目標對象在當前時刻的預測位置坐標和第一位置坐標,確定目標對象在當前時刻的觀測位置坐標,可以包括:基於多個目標對象在所述當前時刻的多個第一位置坐標和該目標對象在所述當前時刻的所述預測位置坐標,確定該目標對象的第一位置坐標;確定該目標對象的所述預測位置坐標和所述第一位置坐標的第一中點坐標,將該第一中點坐標作為該目標對象在所述當前時刻的觀測位置坐標。
具體地,針對上述S4021,在基於多個目標對象在當前時刻的預測位置坐標和第一位置坐標,確定與同一目標對象關聯的預測位置坐標和第一位置坐標時,可以包括以下S40211~S40212:
S40211,針對每個預測位置坐標,確定該預測位置坐標和各個第一位置坐標之間的第一距離;
S40212,將該預測位置坐標和與該預測位置坐標具有最小第一距離的第一位置坐標,作為與同一目標對象關聯的預測位置坐標和第一位置坐標,最小第一距離小於第一預設融合距離閾值。
示例性地,例如當前時刻包含N個預測位置坐標以及M個觀測位置坐標,根據N個預測位置坐標以及M個觀測位置坐標,確定每個預測位置坐標和各個觀測位置坐標之間的歐式距離,得到距離矩陣:
Figure 02_image070
其中,
Figure 02_image072
表示N個預測位置坐標中第1個預測位置坐標和M個觀測位置坐標中第1個觀測位置坐標之間的第一距離;
Figure 02_image074
表示N個預測位置坐標中第1個預測位置坐標和M個觀測位置坐標中第M個觀測位置坐標之間的第一距離;
Figure 02_image076
表示N個預測位置坐標中第n個預測位置坐標和M個觀測位置坐標中第m個觀測位置坐標之間的第一距離;
Figure 02_image078
表示N個預測位置坐標中第N個預測位置坐標和M個觀測位置坐標中第1個觀測位置坐標之間的第一距離;
Figure 02_image080
表示N個預測位置坐標中第N個預測位置坐標和M個觀測位置坐標中第M個觀測位置坐標之間的第一距離。
進一步地,可以按照上述確定與同一目標對象關聯的多個初始位置坐標的方式,確定與同一目標對象關聯的預測位置坐標和第一位置坐標,具體過程在此不再贅述。
本公開實施例中,基於多個目標對象在所述當前時刻的多個第一位置坐標和該目標對象在所述當前時刻的預測位置坐標,確定該目標對象的第一位置坐標,可以包括:確定該目標對象的預測位置坐標和各個第一位置坐標之間的第一距離;將所述多個第一位置坐標中與該目標對象的所述預測位置坐標構成最小第一距離的第一位置坐標,作為與該目標對象的所述第一位置坐標,所述最小第一距離小於第一預設融合距離閾值。
本公開實施例中,結合根據目標對象在歷史時刻的位置坐標預測的目標對象在當前時刻的預測位置坐標,以及根據採集設備採集的當前時刻的視頻畫面確定的目標對象的第一位置坐標,一方面可以快速得到同一目標對象在不同時刻的位置坐標,另一方面可以得到準確度較高的觀測位置坐標。
在一種實施方式中,如圖6所示,本公開實施例提供的目標追蹤方法還包括以下S501~S502:
S501,確定當前時刻的視頻畫面中是否存在漏檢的目標對象,其中,漏檢的目標對象在當前時刻具有預測位置坐標,且在當前時刻的第一位置坐標為空;
S502,在確定存在漏檢的目標對象的情況下,將漏檢的目標對象在當前時刻的預測位置坐標作為漏檢的目標對象在當前時刻的觀測位置坐標。
示例性地,考慮到在目標場所中的目標對象較多的情況下,不同目標對象之間容易發生擁堵的情況,這樣可能存在某個時刻不同的目標對象之間發生遮擋導致採集設備採集的視頻畫面中存在漏檢的情況。例如多個採集設備中採集設備1和採集設備2採集的當前時刻的視頻畫面中的目標對象A均被遮擋,該情況可以將基於採集設備1和採集設備2採集的當前時刻的視頻畫面確定出的目標對象A的第一位置坐標記為空,此時將目標對象A作為漏檢的目標對象。
示例性地,在使用卡爾曼濾波方式確定目標對象A在當前時刻的預測位置坐標的情況下,會使用目標對象A在歷史時刻的第二位置坐標。由於有目標對象A在進入目標場所的過程中,會被採集設備採集到,因此可以確定目標對象A在歷史時刻的第二位置坐標,這樣按照卡爾曼濾波的方式可以確定目標對象A在當前時刻的預測位置坐標。如果目標對象A在當前時刻的第一位置坐標為空,可以直接將目標對象A在當前時刻的預測位置坐標作為其在當前時刻的觀測位置坐標。
本公開實施例中,在採集設備採集的當前時刻的視頻畫面中存在被遮擋的目標對象的情況下,可以基於被遮擋的目標對象在歷史時刻中的第二位置坐標確定被遮擋的目標對象在當前時刻的觀測位置坐標,以便確定目標對象在當前時刻準確度較高的第二位置坐標。
在一種實施方式中,目標對象包含多個,如圖7所示,本公開實施例提供的目標追蹤方法還包括以下S601~S602:
S601,在確定目標對象在當前時刻的第二位置坐標後,在第二位置坐標指示的地圖位置中標記與目標對象關聯的身份標識符;
S602,基於標記同一身份標識符的目標對象在多個時刻的第二位置坐標,生成每個目標對象的軌跡數據。
示例性地,以目標場所為工廠,目標對象為進入工廠中的員工為例,可以在工廠進口處設置用於採集員工圖像的採集設備。並基於採集的員工圖像進行特徵提取,例如提取員工圖像中的人臉特徵和/或人體特徵。基於提取的特徵資訊和預先儲存的員工身份庫中每個員工的特徵資訊,確定進入工廠中的每個員工的身份。在對目標對象進行追蹤過程中,確定出目標對象在當前時刻的第二位置坐標後,可以在第二位置坐標指示的地圖位置中標記與目標對象關聯的身份標識符。然後連接具有同一身份標識符的多個時刻的第二位置坐標,可以得到不同目標對象在地圖中的移動軌跡。
示例性地,地圖可以為預先構建高精度地圖。預先構建的高境地地圖與目標場所具有對應關係,兩者在相同的坐標系中可以按照1:1進行呈現。因此這裡可以基於標記同一身份標識符的目標對象在多個時刻的第二位置坐標,生成用於表示各目標對象在目標場所中的移動軌跡的軌跡數據。
本公開實施例中,可以根據目標對象的身份標識符以及不同時刻的第二位置坐標,快速確定每個目標對象在目標場所中的移動軌跡。
示例性地,在目標場所中存在部分目標對象之間的距離較近的情況下,對這部分目標對象進行聚類可以構成目標群。同一目標群中的目標對象的第二位置坐標標記身份標識符時可能發生錯誤,例如將目標群中的目標對象A的身份標識符標記給目標對象B,將目標對象B的身份標識符標記給目標對象A,即發生串號問題。在目標對象A和目標對象B屬於同一目標群的情況下,發生串號時,因為發生串號的目標對象之間的距離較近,因此對軌跡數據的影響較小。但是在發生串號的目標對象遠離目標群的情況下,若該目標對象的身份標識符發生錯誤,最終確定的該目標對象的軌跡數據也會發生錯誤。因此在一種實施方式中,在確定目標對象在當前時刻的第二位置坐標之後,如圖8所示,本公開實施例提供的目標追蹤方法還包括以下S701~S703:
S701,基於多個目標對象在當前時刻的第二位置坐標,檢測是否存在偏離目標群的目標對象;目標群為根據多個目標對象在上一時刻的第二位置坐標進行聚類得到的。
示例性地,可以根據聚類算法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN),對多個目標對象在上一時刻的第二位置坐標進行聚類,得到目標群。目標群中不同目標對象之間的第二位置坐標的距離小於預先設定的進入目標群的距離閾值。
示例性地,基於多個目標對象在當前時刻的第二位置坐標和預先設定的離開目標群的距離閾值,可以判斷是否存在偏離所屬目標群的目標對象。
S702,在確定存在偏離目標群的目標對象情況下,檢測偏離目標群的目標對象關聯的身份標識符是否準確。
具體地,在檢測偏離目標群的目標對象關聯的身份標識符是否準確時,包括:
S7021,提取偏離目標群的目標對象的特徵資訊;
S7022,基於偏離目標群的目標對象的特徵資訊,以及預先保存的進入目標場所中的各目標對象的特徵資訊和身份標識符之間的映射關係,檢測偏離目標群的目標對象關聯的身份標識符是否準確。
示例性地,在確定存在偏離目標群的目標對象的情況下,獲取該偏離目標群的目標對象的當前時刻的視頻畫面。基於該當前時刻的視頻畫面,提取該偏離目標群的目標對象的特徵資訊。基於該特徵資訊和預先儲存的該目標對象的身份標識符和對應的特徵資訊,確定該偏離目標群的目標對象關聯的身份標識符是否準確。例如可以確定當前提取的偏離目標群的目標對象的特徵資訊和預先標記的該目標對象的身份標識符關聯的特徵資訊之間的相似度。在確定該相似度達到預設相似度閾值的情況下,確定該偏離目標群的目標對象關聯的身份標識符準確。相反,在確定該相似度未達到預設相似度閾值的情況下,確定該偏離目標群的目標對象關聯的身份標識符不準確。
例如,檢測到存在偏離目標群的目標對象,預先對該目標對象標記的身份標識符為001。在確定當前時刻的視頻畫面提取的該偏離目標對象的特徵資訊和身份標識符001關聯的特徵資訊之間的相似度小於預設相似度閾值的情況下,確定目標對象001的身份標識符不準確。
S703,在確定偏離目標群的目標對象的身份標識符不準確的情況下,對偏離目標群的目標對象關聯的身份標識符進行修正。
示例性地,在確定偏離目標群的目標對象的身份標識符不準確的情況下,可以基於提取的該偏離目標群的目標對象的特徵資訊和預先儲存的員工身份庫中每個員工的特徵資訊,重新確定該偏離目標群的目標對象的身份標識符。
本公開實施例中,在檢測到存在離開目標群的目標對象的情況下,對離開目標群的目標對象的身份標識符進行重新驗證,可以提高在不同時刻標記的目標對象的身份標識符的準確度,從而提高目標對象的軌跡數據的準確度。
本公開實施例提出的目標追蹤方法可以準確地確定目標場所中各目標對象在當前時刻的第二位置坐標,該方式可以應用於多種應用場景。以應用於工廠為例,在得到目標對象在目標場所中的第二位置坐標之後,如圖9所示,本公開實施例提供的定位方法還包括以下S801~S802:
S801,基於目標場所中的各目標對象分別對應的第二位置坐標,以及預先設定的目標區域,確定是否存在進入目標區域的目標對象;
S802,在確定存在進入目標區域的目標對象的情況下,進行預警提示。
示例性地,目標場所為工廠的情況下,可以預先在目標場所對應的世界坐標下中設定工廠記憶體在危險的目標區域對應的坐標範圍。然後根據確定的目標場所中的各目標對象在當前時刻分別對應的第二位置坐標以及目標位於對應的坐標範圍,確定是否存在進入目標區域的目標對象。進一步在確定存在進入目標區域的目標對象的情況下,進行預警提示。
示例性地,預警提示可以包括但不限於聲光報警提示、語音報警提示等。通過預警提示,可以保障目標場所中員工的安全,提高目標場所的安全性。
本公開實施例中,在得到目標場所中的各目標對象準確度較高的第二位置坐標後,可以基於預先設定的目標區域,例如預先設定的危險區域,判斷目標場所中的目標對象是否進入目標區域,以便及時預警提示,提高目標場所的安全性。
下面結合圖10,以目標場所為工廠,目標對象為員工為例,對本公開實施例提供的目標追蹤過程進行闡述:
1)針對工廠進行採集設備安裝,例如在工廠安裝多個相機;為了實現對場景內目標的精準定位,並保證算法通用性及魯棒性,使得不同的採集設備在工廠中的採集視角不同,確保進入工廠中的每個員工至少被兩個採集設備同時採集到;
2)使用張正友標定方式確定每個相機的內參矩陣和畸變係數;
3)在工廠內設置多個標誌物,確定標誌物與地面的交點在工廠對應的世界坐標系中的位置坐標;並根據相機的內參矩陣和畸變係數確定標誌物與地面的交點在樣本視頻畫面中的修正像素坐標;並根據交點在世界坐標系中的位置坐標和在樣本視頻畫面中的修正像素坐標,確定每個相機的單應性矩陣;
4)針對進入工廠中的每個員工進行特徵檢測,例如可以包含圖10中的人體檢測和人臉識別,得到每個員工的特徵資訊;並基於提取的特徵資訊和預先構建預先儲存的員工身份庫中每個員工的特徵資訊,確定進入工廠的每個員工的身份標識符;
5)針對採集設備採集的當前時刻的視頻畫面,使用加入特徵金字塔的神經網路進行目標檢測,得到每張當前時刻的視頻畫面中涉及的員工的像素坐標;
6)根據採集該張視頻畫面的相機的內參矩陣和畸變係數,對該張視頻畫面中涉及的員工的像素坐標進行修正,得到該張視頻畫面中涉及的員工的修正像素坐標;
7)根據採集該張視頻畫面的相機的單應性矩陣和該張視頻畫面中涉及的員工的修正像素坐標,確定該張視頻畫面中涉及的員工在工廠中的初始位置坐標;
8)對同一時刻採集到的視頻畫面中涉及同一員工的初始位置坐標進行融合,得到工廠中的員工在該時刻的第一位置坐標;
9)根據確定的員工在上一時刻的第二位置坐標和員工在當前時刻的第一位置坐標,確定員工在當前時刻的第二位置坐標,具體過程詳見上文;
10)每次在確定員工在當前時刻的第二位置坐標的同時,可以在員工的第二位置坐標指示的地圖位置中標記員工關聯的身份標識符;進一步基於標記同一身份標識符的員工在多個時刻的第二位置坐標,生成每個員工的軌跡數據。
本領域技術人員可以理解,在具體實施方式的上述方法中,各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定,各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
基於同一技術構思,本公開實施例中還提供了與目標追蹤方法對應的目標追蹤裝置,由於本公開實施例中的裝置解決問題的原理與本公開實施例上述目標追蹤方法相似,因此裝置的實施可以參見方法的實施,重複之處不再贅述。
參照圖11所示,為本公開實施例提供的一種目標追蹤裝置900的示意圖,該目標追蹤裝置包括:
獲取模組901,用於獲取目標場所內設置的多個採集設備採集的當前時刻的視頻畫面;多個採集設備在目標場所中的採集視角不同,視頻畫面中包括目標場所中目標對象的感興趣區域;
確定模組902,用於基於多個採集設備採集的當前時刻的視頻畫面,確定各個所述目標對象在當前時刻的第一位置坐標;
追蹤模組903,用於針對各個所述目標對象,基於該目標對象的第一位置坐標和該目標對象在上一時刻的第二位置坐標,確定該目標對象在當前時刻的第二位置坐標。
在一種可能的實施方式中,追蹤模組903在用於針對各個所述目標對象,基於該目標對象的第一位置坐標和該目標對象在上一時刻的第二位置坐標,確定該目標對象在當前時刻的第二位置坐標時,包括:
基於目標對象在上一時刻的第二位置坐標,確定目標對象在當前時刻的預測位置坐標;
基於該目標對象在當前時刻的預測位置坐標和第一位置坐標,確定該目標對象在當前時刻的觀測位置坐標;
基於該目標對象在當前時刻的預測位置坐標和觀測位置坐標,確定該目標對象在當前時刻的第二位置坐標。
在一種可能的實施方式中,追蹤模組903在用於基於該目標對象在當前時刻的預測位置坐標和第一位置坐標,確定該目標對象在當前時刻的觀測位置坐標時,包括:
基於多個目標對象在當前時刻的預測位置坐標和第一位置坐標,確定與同一目標對象關聯的預測位置坐標和第一位置坐標;
確定與同一目標對象關聯的預測位置坐標和第一位置坐標的第一中點坐標,將該第一中點坐標作為該目標對象在當前時刻的觀測位置坐標。
在一種可能的實施方式中,追蹤模組903在用於基於多個目標對象在當前時刻的預測位置坐標和第一位置坐標,確定與同一目標對象關聯的預測位置坐標和第一位置坐標時,包括:
針對每個預測位置坐標,確定該預測位置坐標和各個第一位置坐標之間的第一距離;
將該預測位置坐標和與該預測位置坐標具有最小第一距離的第一位置坐標,作為與同一目標對象關聯的預測位置坐標和第一位置坐標,最小第一距離小於第一預設融合距離閾值。
在一種可能的實施方式中,追蹤模組903還用於:
確定當前時刻的視頻畫面中是否存在漏檢的目標對象,其中,漏檢的目標對象在當前時刻具有預測位置坐標,且在當前時刻的第一位置坐標為空;
在確定存在漏檢的目標對象的情況下,將漏檢的目標對象在當前時刻的預測位置坐標作為漏檢的目標對象在當前時刻的觀測位置坐標。
在一種可能的實施方式中,目標對象包含多個,追蹤模組903還用於:
在確定目標對象在當前時刻的第二位置坐標後,在第二位置坐標指示的地圖位置中標記與目標對象關聯的身份標識符;
基於標記同一身份標識符的目標對象在多個時刻的第二位置坐標,生成每個目標對象的軌跡數據。
在一種可能的實施方式中,在確定目標對象在當前時刻的第二位置坐標之後,追蹤模組903還用於:
基於多個目標對象在當前時刻的第二位置坐標,檢測是否存在偏離目標群的目標對象;目標群為根據多個目標對象在上一時刻的第二位置坐標進行聚類得到的;
在確定存在偏離目標群的目標對象情況下,檢測偏離目標群的目標對象關聯的身份標識符是否準確;
在確定偏離目標群的目標對象的身份標識符不準確的情況下,對偏離目標群的目標對象關聯的身份標識符進行修正。
在一種可能的實施方式中,追蹤模組903在用於檢測偏離目標群的目標對象關聯的身份標識符是否準確時,包括:
提取偏離目標群的目標對象的特徵資訊;
基於偏離目標群的目標對象的特徵資訊,以及預先保存的進入目標場所中的各目標對象的特徵資訊和身份標識符之間的映射關係,檢測偏離目標群的目標對象關聯的身份標識符是否準確。
在一種可能的實施方式中,確定模組902在用於基於多個採集設備採集的當前時刻的視頻畫面,確定各個所述目標對象在當前時刻的第一位置坐標時,包括:
獲取多個採集設備分別採集的當前時刻的視頻畫面中的感興趣區域的像素坐標;
針對每個採集設備,基於該採集設備採集的當前時刻的視頻畫面中的感興趣區域的像素坐標和該採集設備的參數資訊,確定該視頻畫面中感興趣區域對應的目標對象在當前時刻下在目標場所中的初始位置坐標;
對初始位置坐標中屬於同一目標對象的初始位置坐標進行融合,得到該目標對象在當前時刻下在目標場所中的第一位置坐標。
在一種可能的實施方式中,確定模組902在用於獲取多個採集設備分別採集的當前時刻的視頻畫面中的感興趣區域的像素坐標時,包括:
將多個當前時刻的視頻畫面輸入預先訓練的神經網路,得到每個當前時刻的視頻畫面中的目標檢測框;其中,神經網路包含多個用於檢測不同尺寸的目標對象的感興趣區域的目標檢測子網路;
提取每個當前時刻的視頻畫面中的目標檢測框上的目標位置點在該當前時刻的視頻畫面中的像素坐標,得到該當前時刻的視頻畫面中的感興趣區域的像素坐標。
在一種可能的實施方式中,確定模組902在用於基於每個採集設備採集的當前時刻的視頻畫面中的感興趣區域的像素坐標和該採集設備的參數資訊,確定感興趣區域對應的目標對象在當前時刻下在目標場所中的初始位置坐標時,包括:
基於每個採集設備的內參矩陣和畸變參數,對該採集設備採集的視頻畫面中感興趣區域的像素坐標進行修正,得到該視頻畫面中的感興趣區域的修正像素坐標;
基於預先確定的該採集設備的單應性矩陣和該採集設備採集的當前時刻的視頻畫面中的感興趣區域的修正像素坐標,確定該視頻畫面中的感興趣區域對應的目標對象的初始位置坐標。
在一種可能的實施方式中,確定模組902在用於對初始坐標位置中屬於同一目標對象的初始位置坐標進行融合,得到該目標對象在當前時刻下在目標場所中的第一位置坐標時,包括:
基於多個當前時刻的視頻畫面確定的初始位置坐標,確定與同一目標對象關聯的多個初始位置坐標;
將與同一目標對象關聯的多個初始位置坐標進行依次融合,得到該目標對象在當前時刻下在目標場所中的第一位置坐標。
在一種可能的實施方式中,確定模組902在用於將與同一目標對象關聯的多個初始位置坐標進行依次融合,得到該目標對象在當前時刻下在目標場所中的第一位置坐標時,包括:
從該目標對象關聯的多個初始位置坐標中選取任一初始位置坐標,將選取的任一初始位置坐標作為第一中間融合位置坐標;
將第一中間融合位置坐標與其它任一待融合的初始位置坐標進行融合,生成第二中間融合位置坐標,將第二中間融合位置坐標作為更新後的第一中間融合位置坐標,並返回生成第二中間融合位置坐標的步驟,直到不存在待融合的初始位置坐標。
在一種可能的實施方式中,確定模組902在用於將第一中間融合位置坐標與其它任一待融合的初始位置坐標進行融合,生成第二中間融合位置坐標時,包括:
確定第一中間融合位置坐標與其它任一待融合的初始位置坐標的中點坐標,將該中點坐標作為生成的第二中間融合位置坐標。
在一種可能的實施方式中,確定模組902在用於基於多個當前時刻的視頻畫面確定的初始位置坐標,確定與同一目標對象關聯的多個初始位置坐標時,包括:
針對當前時刻的任意兩個視頻畫面,確定任意兩個視頻畫面中第一視頻畫面中每個感興趣區域對應的目標對象為第一目標對象,該任意兩個視頻畫面中第二視頻畫面中每個感興趣區域對應的目標對象為第二目標對象,確定該第一目標對象的初始位置坐標與第二當前時刻的視頻畫面中各個第二目標對象的初始位置坐標之間的第二距離;
針對每個第一目標對象的初始位置坐標,將該第一目標對象的初始位置坐標和與該第一目標對象具有最小第二距離的第二目標對象的初始位置坐標,作為與同一目標對象關聯的多個初始位置坐標;最小第二距離小於第二預設融合距離閾值。
在一種可能的實施方式中,在追蹤模組903確定目標對象在當前時刻的第二位置坐標後,確定模組902還用於:
基於目標場所中的各目標對象分別對應的第二位置坐標,以及預先設定的目標區域,確定是否存在進入目標區域的目標對象;
在確定存在進入目標區域的目標對象的情況下,進行預警提示。
關於裝置中的各模組的處理流程、以及各模組之間的交互流程的描述可以參照上述方法實施例中的相關說明,這裡不再詳述。
對應於圖1中的目標追蹤方法,本公開實施例還提供了一種電子設備1100,如圖12所示,為本公開實施例提供的電子設備1100結構示意圖,包括:
處理器111、儲存器112、和匯流排113;儲存器112用於儲存執行指令,包括記憶體1121和外部儲存器1122;這裡的記憶體1121也稱記憶體儲存器,用於暫時存放處理器111中的運算數據,以及與硬碟等外部儲存器1122交換的數據;處理器111通過記憶體1121與外部儲存器1122進行數據交換;當電子設備1100運行時,處理器111與儲存器112之間通過匯流排113通訊,使得處理器111執行以下指令:獲取目標場所內設置的多個採集設備採集的當前時刻的視頻畫面;多個採集設備在目標場所中的採集視角不同,視頻畫面中包括目標場所中目標對象的感興趣區域;基於多個採集設備採集的當前時刻的視頻畫面,確定目標場所中的目標對象在當前時刻的第一位置坐標;針對各個目標對象,基於該目標對象的第一位置坐標和該目標對象在上一時刻的第二位置坐標,確定該目標對象在當前時刻的第二位置坐標。
本公開實施例還提供一種計算機可讀儲存媒體,該計算機可讀儲存媒體上儲存有計算機程式,該計算機程式被處理器運行時執行上述方法實施例中所述的目標追蹤方法的步驟。其中,該儲存媒體可以是揮發性或非揮發的計算機可讀取儲存媒體。
本公開實施例還提供一種計算機程式產品,該計算機程式產品承載有程式代碼,所述程式代碼包括的指令可用於執行上述方法實施例中所述的目標追蹤方法的步驟,具體可參見上述方法實施例,在此不再贅述。
其中,上述計算機程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中,所述計算機程式產品具體體現為計算機儲存媒體,在另一個可選實施例中,計算機程式產品具體體現為軟體產品,例如軟體開發包(Software Development Kit,SDK)等等。
所屬領域的技術人員可以清楚地瞭解到,為描述的方便和簡潔,上述描述的系統和裝置的具體工作過程,可以參考前述方法實施例中的對應過程,在此不再贅述。在本公開所提供的幾個實施例中,應該理解到,所揭露的系統、裝置和方法,可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,又例如,多個單元或組件可以結合或者可以整合到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些通訊介面,裝置或單元的間接耦合或通訊連接,可以是電性,機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是實體上分開的,作為單元顯示的部件可以是或者也可以不是實體單元,即可以位於一個地方,或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外,在本公開各個實施例中的各功能單元可以整合在一個處理單元中,也可以是各個單元單獨實體存在,也可以兩個或兩個以上單元整合在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時,可以儲存在一個處理器可執行的非揮發的計算機可讀取儲存媒體中。基於這樣的理解,本公開的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來,該計算機軟體產品儲存在一個儲存媒體中,包括若干指令用以使得一台計算機設備(可以是個人計算機,伺服器,或者網路設備等)執行本公開各個實施例所述方法的全部或部分步驟。而前述的儲存媒體包括:隨身碟、移動硬碟、唯讀記憶體(Read-Only Memory,ROM)、隨機存取記憶體(Random Access Memory,RAM)、磁碟或者光碟等各種可以儲存程式代碼的媒體。
最後應說明的是:以上所述實施例,僅為本公開的具體實施方式,用以說明本公開的技術方案,而非對其限制,本公開的保護範圍並不局限於此,儘管參照前述實施例對本公開進行了詳細的說明,本領域的普通技術人員應當理解:任何熟悉本技術領域的技術人員在本公開揭露的技術範圍內,其依然可以對前述實施例所記載的技術方案進行修改或可輕易想到變化,或者對其中部分技術特徵進行等同替換;而這些修改、變化或者替換,並不使相應技術方案的本質脫離本公開實施例技術方案的精神和範圍,都應涵蓋在本公開的保護範圍之內。因此,本公開的保護範圍應所述以申請專利範圍的保護範圍為准。
S101:獲取目標場所內設置的多個採集設備採集的當前時刻的視頻畫面;多個採集設備在目標場所中的採集視角不同,視頻畫面中包括目標場所中目標對象的感興趣區域 S102:基於多個採集設備採集的當前時刻的視頻畫面,確定各個目標對象在當前時刻的第一位置坐標 S103:針對各個目標對象,基於該目標對象的第一位置坐標和該目標對象在上一時刻的第二位置坐標,確定該目標對象在當前時刻的第二位置坐標 S201:獲取多個採集設備分別採集的當前時刻的視頻畫面中的感興趣區域的像素坐標 S202:針對每個採集設備採集的當前時刻的視頻畫面,基於該視頻畫面中的感興趣區域的像素坐標和該採集設備的參數資訊,確定該視頻畫面中感興趣區域對應的目標對象在當前時刻下在目標場所中的初始位置坐標 S203:對初始坐標位置中屬於同一目標對象的初始位置坐標進行融合,得到該目標對象在當前時刻下在目標場所中的第一位置坐標 S301:基於多個當前時刻的視頻畫面確定的感興趣區域對應的目標對象的初始位置坐標,確定初始位置坐標中與同一目標對象關聯的多個初始位置坐標 S302:將與同一目標對象關聯的多個初始位置坐標進行依次融合,得到同一目標對象在當前時刻下在目標場所中的第一位置坐標 S401:基於目標對象在上一時刻的第二位置坐標,確定目標對象在當前時刻的預測位置坐標 S402:基於目標對象在當前時刻的預測位置坐標和第一位置坐標,確定目標對象在當前時刻的觀測位置坐標 S403:基於目標對象在當前時刻的預測位置坐標和觀測位置坐標,確定目標對象在當前時刻的第二位置坐標 S501:確定當前時刻的視頻畫面中是否存在漏檢的目標對象,其中,漏檢的目標對象在當前時刻具有預測位置坐標,且在當前時刻的第一位置坐標為空 S502:在確定存在漏檢的目標對象的情況下,將漏檢的目標對象在當前時刻的預測位置坐標作為漏檢的目標對象在當前時刻的觀測位置坐標 S601:在確定目標對象在當前時刻的第二位置坐標後,在第二位置坐標指示的地圖位置中標記與目標對象關聯的身份標識符 S602:基於標記同一身份標識符的目標對象在多個時刻的第二位置坐標,生成每個目標對象的軌跡數據 S701:基於多個目標對象在當前時刻的第二位置坐標,檢測是否存在偏離目標群的目標對象;目標群為根據多個目標對象在上一時刻的第二位置坐標進行聚類得到的 S702:在確定存在偏離目標群的目標對象情況下,檢測偏離目標群的目標對象關聯的身份標識符是否準確 S703:在確定偏離目標群的目標對象的身份標識符不準確的情況下,對偏離目標群的目標對象關聯的身份標識符進行修正 S801:基於目標場所中的各目標對象分別對應的第二位置坐標,以及預先設定的目標區域,確定是否存在進入目標區域的目標對象 S802:在確定存在進入目標區域的目標對象的情況下,進行預警提示 900:目標追蹤裝置 901:獲取模組 902:確定模組 903:追蹤模組 1100:電子設備 111:處理器 112:儲存器 1121:記憶體 1122:外部儲存器 113:匯流排
圖1示出了本公開實施例所提供的一種目標追蹤方法的流程圖。 圖2示出了本公開實施例所提供的一種確定目標對象的第一位置坐標的方法流程圖。 圖3示出了本公開實施例所提供的一種針對當前時刻的視頻畫面進行目標檢測得到的檢測框示意圖。 圖4示出了本公開實施例所提供的一種確定同一目標對象在當前時刻的第一位置坐標的具體方法流程圖。 圖5示出了本公開實施例所提供的一種確定目標對象在當前時刻的第二位置坐標的方法流程圖。 圖6示出了本公開實施例所提供的一種確定漏檢的目標對象在當前時刻的觀測位置坐標的方法流程圖。 圖7示出了本公開實施例所提供的一種確定每個目標對象的軌跡數據的方法流程圖。 圖8示出了本公開實施例所提供的一種針對偏離目標群的目標對象的身份標識符進行修正的方法流程圖。 圖9示出了本公開實施例所提供的一種預警方法。 圖10示出了本公開實施例所提供的一種針對目標對象進行追蹤的場景示意圖。 圖11示出了本公開實施例所提供的一種目標追蹤裝置的結構示意圖。 圖12示出了本公開實施例所提供的一種電子設備的示意圖。
S101:獲取目標場所內設置的多個採集設備採集的當前時刻的視頻畫面;多個採集設備在目標場所中的採集視角不同,視頻畫面中包括目標場所中目標對象的感興趣區域
S102:基於多個採集設備採集的當前時刻的視頻畫面,確定各個目標對象在當前時刻的第一位置坐標
S103:針對各個目標對象,基於該目標對象的第一位置坐標和該目標對象在上一時刻的第二位置坐標,確定該目標對象在當前時刻的第二位置坐標

Claims (20)

  1. 一種目標追蹤方法,包括: 獲取目標場所內設置的多個採集設備採集的當前時刻的視頻畫面;所述多個採集設備在所述目標場所中的採集視角不同,所述視頻畫面中包括所述目標場所中的目標對象的感興趣區域; 基於所述多個採集設備採集的所述當前時刻的視頻畫面,確定各個所述目標對象在所述當前時刻的第一位置坐標; 針對各個所述目標對象,基於該目標對象的所述第一位置坐標和該目標對象在上一時刻的第二位置坐標,確定該目標對象在當前時刻的第二位置坐標。
  2. 如請求項1所述的目標追蹤方法,其特徵在於,基於該目標對象的所述第一位置坐標和該目標對象在上一時刻的第二位置坐標,確定該目標對象在所述當前時刻的第二位置坐標,包括: 基於該目標對象在上一時刻的第二位置坐標,確定該目標對象在所述當前時刻的預測位置坐標; 基於該目標對象在所述當前時刻的所述預測位置坐標和所述第一位置坐標,確定該目標對象在所述當前時刻的觀測位置坐標; 基於該目標對象在所述當前時刻的所述預測位置坐標和所述觀測位置坐標,確定該目標對象在所述當前時刻的第二位置坐標。
  3. 如請求項2所述的目標追蹤方法,其特徵在於,基於該目標對象在所述當前時刻的所述預測位置坐標和所述第一位置坐標,確定該目標對象在所述當前時刻的觀測位置坐標,包括: 基於所述目標對象在所述當前時刻的多個第一位置坐標和該目標對象在所述當前時刻的所述預測位置坐標,確定該目標對象的第一位置坐標; 確定該目標對象的所述預測位置坐標和所述第一位置坐標的第一中點坐標,將該第一中點坐標作為該目標對象在所述當前時刻的觀測位置坐標。
  4. 如請求項3所述的目標追蹤方法,其特徵在於,基於所述目標對象在所述當前時刻的多個第一位置坐標和該目標對象在所述當前時刻的預測位置坐標,確定該目標對象的第一位置坐標,包括: 確定該目標對象的所述預測位置坐標和各個所述第一位置坐標之間的第一距離; 將所述多個第一位置坐標中與該目標對象的所述預測位置坐標構成最小第一距離的第一位置坐標,作為與該目標對象的所述第一位置坐標,所述最小第一距離小於第一預設融合距離閾值。
  5. 如請求項2至4任一所述的目標追蹤方法,其特徵在於,所述目標追蹤方法還包括: 確定所述當前時刻的視頻畫面中是否存在漏檢的目標對象,其中,所述漏檢的目標對象在所述當前時刻具有預測位置坐標,且在所述當前時刻的第一位置坐標為空; 在確定存在漏檢的目標對象的情況下,將所述漏檢的目標對象在所述當前時刻的所述預測位置坐標作為所述漏檢的目標對象在所述當前時刻的觀測位置坐標。
  6. 如請求項1至5任一所述的目標追蹤方法,其特徵在於,所述目標追蹤方法還包括: 在確定各所述目標對象在所述當前時刻的第二位置坐標後,在所述第二位置坐標指示的地圖位置中標記與各所述目標對象關聯的身份標識符; 基於標記同一身份標識符的目標對象在多個時刻的第二位置坐標,生成每個所述目標對象的軌跡數據。
  7. 如請求項6所述的目標追蹤方法,其特徵在於,在確定各所述目標對象在所述當前時刻的第二位置坐標之後,所述目標追蹤方法還包括: 基於各所述目標對象在所述當前時刻的第二位置坐標,檢測是否存在偏離目標群的目標對象;所述目標群為根據各所述目標對象在上一時刻的第二位置坐標進行聚類得到的; 在確定存在偏離目標群的目標對象情況下,檢測所述偏離目標群的目標對象關聯的身份標識符是否準確; 在確定所述偏離目標群的目標對象的身份標識符不準確的情況下,對所述偏離目標群的目標對象關聯的身份標識符進行修正。
  8. 如請求項7所述的目標追蹤方法,其特徵在於,檢測所述偏離目標群的目標對象關聯的身份標識符是否準確,包括: 提取所述偏離目標群的目標對象的特徵資訊; 基於所述偏離目標群的目標對象的特徵資訊,以及預先保存的進入所述目標場所中的各對象的特徵資訊和身份標識符之間的映射關係,檢測所述偏離目標群的目標對象關聯的身份標識符是否準確。
  9. 如請求項1所述的目標追蹤方法,其特徵在於,基於所述多個採集設備採集的所述當前時刻的視頻畫面,確定各個所述目標對象在所述當前時刻的第一位置坐標,包括: 獲取所述多個採集設備分別採集的所述當前時刻的視頻畫面中所述感興趣區域的像素坐標; 針對所述多個採集設備裡的每一個,基於該採集設備採集的視頻畫面中感興趣區域的像素坐標和該採集設備的參數資訊,確定該視頻畫面中感興趣區域對應的目標對象在所述當前時刻下在所述目標場所中的初始位置坐標; 對所述初始位置坐標中屬於同一目標對象的初始位置坐標進行融合,得到該目標對象在當前時刻下在所述目標場所中的第一位置坐標。
  10. 如請求項9所述的目標追蹤方法,其特徵在於,獲取所述多個採集設備分別採集的所述當前時刻的視頻畫面中所述感興趣區域的像素坐標,包括: 將所述當前時刻的視頻畫面分別輸入預先訓練的神經網路, 針對所述當前時刻的視頻畫面中的每一個, 得到該視頻畫面中的目標檢測框; 提取該視頻畫面中的目標檢測框上的目標位置點在該視頻畫面中的像素坐標,得到該視頻畫面中感興趣區域的像素坐標。
  11. 如請求項9或10所述的目標追蹤方法,其特徵在於,基於該採集設備採集的視頻畫面中感興趣區域的像素坐標和該採集設備的參數資訊,確定該視頻畫面中感興趣區域對應的目標對象在所述當前時刻下在所述目標場所中的初始位置坐標,包括: 基於該採集設備的內參矩陣和畸變參數,對該視頻畫面中感興趣區域的像素坐標進行修正,得到該視頻畫面中感興趣區域的修正像素坐標; 基於預先確定的該採集設備的單應性矩陣和該視頻畫面中感興趣區域的的修正像素坐標,確定該視頻畫面中感興趣區域對應的目標對象的初始位置坐標。
  12. 如請求項9至10任一所述的目標追蹤方法,其特徵在於,對所述初始位置坐標中屬於同一目標對象的初始位置坐標進行融合,得到該目標對象在所述當前時刻下在所述目標場所中的第一位置坐標,包括: 基於所述初始位置坐標,確定與同一目標對象關聯的多個初始位置坐標; 將與該目標對象關聯的所述多個初始位置坐標進行依次融合,得到該目標對象在所述當前時刻下在所述目標場所中的第一位置坐標。
  13. 如請求項12所述的目標追蹤方法,其特徵在於,將與該目標對象關聯的所述多個初始位置坐標進行依次融合,得到該目標對象在所述當前時刻下在所述目標場所中的第一位置坐標,包括: 從該目標對象關聯的所述多個初始位置坐標中選取任一初始位置坐標,將選取的任一初始位置坐標作為第一中間融合位置坐標; 將所述第一中間融合位置坐標與所述多個初始位置坐標中其它任一待融合的初始位置坐標進行融合,生成第二中間融合位置坐標,將所述第二中間融合位置坐標作為更新後的所述第一中間融合位置坐標,並返回生成所述第二中間融合位置坐標的步驟,直到所述多個初始位置坐標中不存在待融合的初始位置坐標。
  14. 如請求項13所述的目標追蹤方法,其特徵在於,將所述第一中間融合位置坐標與所述多個初始位置坐標中其它任一待融合的初始位置坐標進行融合,生成第二中間融合位置坐標,包括: 確定所述第一中間融合位置坐標與所述多個初始位置坐標中其它任一待融合的初始位置坐標的中點坐標,將該中點坐標作為所述第二中間融合位置坐標。
  15. 如請求項12至14任一所述的目標追蹤方法,其特徵在於,基於所述初始位置坐標,確定與同一目標對象關聯的多個初始位置坐標,包括: 針對所述當前時刻的視頻畫面中的任意兩個視頻畫面,將所述任意兩個視頻畫面中第一視頻畫面中的感興趣區域對應的目標對象確定為第一目標對象,所述任意兩張視頻畫面中第二視頻畫面中的感興趣區域對應的目標對象確定為第二目標對象; 在所述第一視頻畫面中確定每個所述第一目標對象的初始位置坐標; 在所述第二視頻畫面中確定每個所述第二目標對象的初始位置坐標; 針對每個所述第一目標對象的初始位置坐標, 確定該第一目標對象的初始位置坐標與每個所述第二目標對象的初始位置坐標之間的第二距離; 確定與該第一目標對象具有最小第二距離的第二目標對象與該第一目標對象為同一目標對象;其中,所述最小第二距離小於第二預設融合距離閾值; 將該第一目標對象的初始位置坐標和與該第一目標對象具有最小第二距離的第二目標對象的初始位置坐標,作為與同一目標對象關聯的多個初始位置坐標。
  16. 如請求項1至15任一所述的目標追蹤方法,其特徵在於,在確定各個所述目標對象在所述當前時刻的第二位置坐標後,所述目標追蹤方法還包括: 基於所述目標場所中的各所述目標對象分別對應的第二位置坐標,以及預先設定的目標區域,確定是否存在進入所述目標區域的目標對象; 在確定存在進入所述目標區域的目標對象的情況下,進行預警提示。
  17. 一種目標追蹤裝置,包括: 獲取模組,用於獲取目標場所內設置的多個採集設備採集的當前時刻的視頻畫面;所述多個採集設備在所述目標場所中的採集視角不同,所述視頻畫面中包括所述目標場所中目標對象的感興趣區域; 確定模組,用於基於所述多個採集設備採集的所述當前時刻的視頻畫面,確定各個所述目標對象在當前時刻的第一位置坐標; 追蹤模組,用於針對各個所述目標對象,基於該目標對象的所述第一位置坐標和該目標對象在上一時刻的第二位置坐標,確定該目標對象在當前時刻的第二位置坐標。
  18. 一種電子設備,包括:處理器、儲存器和匯流排,所述儲存器儲存有所述處理器可執行的機器可讀指令,當電子設備運行時,所述處理器與所述儲存器之間通過匯流排通訊,所述機器可讀指令被所述處理器執行時執行如請求項1至16任一所述的目標追蹤方法的步驟。
  19. 一種計算機可讀儲存媒體,該計算機可讀儲存媒體上儲存有計算機程式,該計算機程式被處理器運行時執行如請求項1至16任一項所述的目標追蹤方法的步驟。
  20. 一種計算機程式產品,該計算機程式產品包括儲存於儲存媒體中的計算機程式,該計算機程式被處理器執行時執行如請求項1至16任一項所述的目標追蹤方法。
TW111115565A 2021-04-28 2022-04-25 目標跟蹤方法、裝置、電子設備及儲存媒體 TW202244847A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110467650.7 2021-04-28
CN202110467650.7A CN113129339B (zh) 2021-04-28 2021-04-28 一种目标跟踪方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
TW202244847A true TW202244847A (zh) 2022-11-16

Family

ID=76781059

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111115565A TW202244847A (zh) 2021-04-28 2022-04-25 目標跟蹤方法、裝置、電子設備及儲存媒體

Country Status (3)

Country Link
CN (1) CN113129339B (zh)
TW (1) TW202244847A (zh)
WO (1) WO2022227761A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129339B (zh) * 2021-04-28 2023-03-10 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、电子设备及存储介质
CN113759314A (zh) * 2021-09-01 2021-12-07 浙江讯飞智能科技有限公司 一种声源可视化方法、装置、系统和计算机可读存储介质
CN113823029A (zh) * 2021-10-29 2021-12-21 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN116453029B (zh) * 2023-06-16 2023-08-29 济南东庆软件技术有限公司 基于图像数据的楼宇火灾环境检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2834877A1 (en) * 2012-11-28 2014-05-28 Henry Leung System and method for event monitoring and detection
CN107481327B (zh) * 2017-09-08 2019-03-15 腾讯科技(深圳)有限公司 关于增强现实场景的处理方法、装置、终端设备及系统
CN110544273B (zh) * 2018-05-29 2022-08-05 杭州海康机器人技术有限公司 运动捕捉方法、装置以及系统
CN110544278B (zh) * 2018-05-29 2022-09-16 杭州海康机器人技术有限公司 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN111277745B (zh) * 2018-12-04 2023-12-05 北京奇虎科技有限公司 目标人员的追踪方法、装置、电子设备及可读存储介质
CN110517292A (zh) * 2019-08-29 2019-11-29 京东方科技集团股份有限公司 目标跟踪方法、装置、系统和计算机可读存储介质
CN110738143B (zh) * 2019-09-27 2023-06-02 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN110728717B (zh) * 2019-09-27 2022-07-15 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN111563919B (zh) * 2020-04-03 2023-12-29 深圳市优必选科技股份有限公司 目标跟踪方法、装置、计算机可读存储介质及机器人
CN111539991B (zh) * 2020-04-28 2023-10-20 北京市商汤科技开发有限公司 目标跟踪方法及装置、存储介质
CN112330721B (zh) * 2020-11-11 2023-02-17 北京市商汤科技开发有限公司 三维坐标的恢复方法及装置、电子设备和存储介质
CN112330717B (zh) * 2020-11-11 2023-03-10 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质
CN112653848B (zh) * 2020-12-23 2023-03-24 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN113129339B (zh) * 2021-04-28 2023-03-10 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113129339A (zh) 2021-07-16
CN113129339B (zh) 2023-03-10
WO2022227761A1 (zh) 2022-11-03

Similar Documents

Publication Publication Date Title
TW202244847A (zh) 目標跟蹤方法、裝置、電子設備及儲存媒體
US9520040B2 (en) System and method for real-time 3-D object tracking and alerting via networked sensors
Wang Intelligent multi-camera video surveillance: A review
JP4852765B2 (ja) 広域分散カメラ間の連結関係推定法および連結関係推定プログラム
Khan et al. Consistent labeling of tracked objects in multiple cameras with overlapping fields of view
US7321386B2 (en) Robust stereo-driven video-based surveillance
LU102028B1 (en) Multiple view multiple target tracking method and system based on distributed camera network
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
Calderara et al. Bayesian-competitive consistent labeling for people surveillance
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN102243765A (zh) 基于多相机的多目标定位跟踪方法及系统
JP6868061B2 (ja) 人物追跡方法、装置、機器及び記憶媒体
WO2022227462A1 (zh) 定位方法、装置、电子设备及存储介质
Li et al. Robust multiperson detection and tracking for mobile service and social robots
CN106504274A (zh) 一种基于红外摄像头下的视觉跟踪方法及系统
Snidaro et al. Automatic camera selection and fusion for outdoor surveillance under changing weather conditions
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
Choe et al. Traffic analysis with low frame rate camera networks
Xu et al. A real-time, continuous pedestrian tracking and positioning method with multiple coordinated overhead-view cameras
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
JP2015070581A (ja) 移動経路推定装置、移動経路推定方法およびコンピュータプログラム
JP2017182295A (ja) 画像処理装置
Iwaki et al. A novel evidence accumulation framework for robust multi-camera person detection
Smith et al. Integrating and employing multiple levels of zoom for activity recognition
CN113473091B (zh) 摄像机关联方法、装置、系统、电子设备及存储介质