TWI677825B - 視頻目標跟蹤方法和裝置以及非易失性電腦可讀儲存介質 - Google Patents

視頻目標跟蹤方法和裝置以及非易失性電腦可讀儲存介質 Download PDF

Info

Publication number
TWI677825B
TWI677825B TW107101732A TW107101732A TWI677825B TW I677825 B TWI677825 B TW I677825B TW 107101732 A TW107101732 A TW 107101732A TW 107101732 A TW107101732 A TW 107101732A TW I677825 B TWI677825 B TW I677825B
Authority
TW
Taiwan
Prior art keywords
target
face
feature
tracked
current
Prior art date
Application number
TW107101732A
Other languages
English (en)
Other versions
TW201828158A (zh
Inventor
余三思
San Si Yu
Original Assignee
大陸商騰訊科技（深圳）有限公司
Tencent Technology (Shenzhen) Company Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商騰訊科技（深圳）有限公司, Tencent Technology (Shenzhen) Company Limited filed Critical 大陸商騰訊科技（深圳）有限公司
Publication of TW201828158A publication Critical patent/TW201828158A/zh
Application granted granted Critical
Publication of TWI677825B publication Critical patent/TWI677825B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申請提供一種視頻目標跟蹤的方法和裝置，包括：獲取視頻流，根據人臉檢測演算法識別人臉區域，得到第一視頻幀對應的第一待跟蹤目標；對第一待跟蹤目標通過人臉特徵提取得到第一人臉特徵，並將第一人臉特徵存入第一待跟蹤目標對應的特徵庫；在當前視頻幀識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標，對當前待跟蹤目標通過人臉特徵提取得到第二人臉特徵，根據第二人臉特徵和特徵庫將當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從第一視頻幀開始跟蹤第一待跟蹤目標，在跟蹤過程中根據提取的更新的人臉特徵更新特徵庫。

Description

視頻目標跟蹤方法和裝置以及非易失性電腦可讀儲存介質
本申請涉及電腦技術領域，特別是涉及一種視頻目標跟蹤方法和裝置。本申請要求於2017年1月17日提交中國專利局、申請號為201710032132.6，發明名稱為“視頻目標跟蹤的方法和裝置”的中國專利申請的優先權，其全部內容通過引用結合在本申請中。
目標跟蹤技術一直以來都是電腦視覺和影像處理領域的重點之一，被廣泛應用在智慧監控、智慧交通、視覺導航、人機交互、國防偵察等領域。
目標跟蹤演算法通常使用一種或數種簡單的傳統特徵匹配演算法來區分目標，如利用圖像本身的顏色、形狀等特徵。
本申請實施例提供一種視頻目標跟蹤方法和裝置，能夠提高跟蹤的連續性和穩健(robust)性。
本申請實施例提供一種視頻目標跟蹤的方法，應用於終端或伺服器，所述方法包括：獲取視頻流，根據人臉檢測演算法識別人臉區域，得到第一視頻幀對應的第一待跟蹤目標；對所述第一待跟蹤目標通過基於 深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入所述第一待跟蹤目標對應的特徵庫；在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標，對所述當前待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第二人臉特徵，根據所述第二人臉特徵和所述特徵庫將所述當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從所述第一視頻幀開始跟蹤所述第一待跟蹤目標，在跟蹤過程中根據提取的更新的人臉特徵更新所述特徵庫。
本申請實施例還提供一種視頻目標跟蹤裝置，所述裝置包括：處理器以及與所述處理器相連接的記憶體，所述記憶體中儲存有可由所述處理器執行的機器可讀指令模組；所述機器可讀指令模組包括：檢測模組，用於獲取視頻流，根據人臉檢測演算法識別人臉區域，得到第一視頻幀對應的第一待跟蹤目標；人臉特徵提取模組，用於對所述第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入所述第一待跟蹤目標對應的特徵庫；所述檢測模組還用於在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標；所述人臉特徵提取模組還用於對所述當前待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第二人臉特徵；跟蹤模組，用於根據所述第二人臉特徵和所述特徵庫將所述當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從所述第一視頻幀開始跟蹤所述第一待跟蹤目標；學習模組，用於在跟蹤過程中根據提取的更新的人臉特徵更新所述特徵庫。
本申請實施例還提供一種非易失性電腦可讀儲存介質，所述儲存介質中儲存有機器可讀指令，所述機器可讀指令可以由處理器執行以完成以下操作：獲取視頻流，根據人臉檢測演算法識別人臉區域，得到第一視頻幀對應的第一待跟蹤目標；對所述第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入所述第一待跟蹤目標對應的特徵庫；在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標，對所述當前待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第二人臉特徵，根據所述第二人臉特徵和所述特徵庫將所述當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從所述第一視頻幀開始跟蹤所述第一待跟蹤目標，在跟蹤過程中根據提取的更新的人臉特徵更新所述特徵庫。
110‧‧‧終端
120‧‧‧伺服器
130‧‧‧視頻採集裝置
140‧‧‧網路
1101‧‧‧系統匯流排
1102‧‧‧處理器
1103‧‧‧圖形處理單元
1104‧‧‧儲存介質
1105‧‧‧記憶體
1106‧‧‧網路介面
1107‧‧‧顯示螢幕
1108‧‧‧輸入裝置
11041‧‧‧作業系統
11042‧‧‧第一視頻目標跟蹤裝置
1201‧‧‧系統匯流排
1202‧‧‧處理器
1203‧‧‧儲存介質
1204‧‧‧記憶體
1205‧‧‧網路介面
12031‧‧‧作業系統
12032‧‧‧資料庫
12033‧‧‧第二視頻目標跟蹤裝置
310‧‧‧跟蹤模組
320‧‧‧檢測模組
330‧‧‧學習模組
410‧‧‧檢測模組
411‧‧‧圖像特徵提取單元
412‧‧‧身份匹配單元
413‧‧‧第一跟蹤目標確定單元
414‧‧‧第一推薦單元
415‧‧‧第二推薦單元
416‧‧‧第二跟蹤目標確定單元
420‧‧‧人臉特徵提取模組
430‧‧‧跟蹤模組
440‧‧‧學習模組
450‧‧‧特徵身份處理模組
510‧‧‧處理器
520‧‧‧記憶體
521‧‧‧檢測模組
522‧‧‧人臉特徵提取模組
523‧‧‧跟蹤模組
524‧‧‧學習模組
525‧‧‧特徵身份處理模組
530‧‧‧介面
AdaBoost‧‧‧疊代演算法
conv‧‧‧卷積層
FC‧‧‧表示完全連接層
I(x,y,t)‧‧‧圖元
(dx,dy)‧‧‧距離
dt‧‧‧時間
LRN‧‧‧區域響應歸一化層
max pool‧‧‧最大池化層
NPD‧‧‧歸一化的圖元差異特徵
ROM‧‧‧唯讀儲存記憶體
RAM‧‧‧隨機儲存記憶體
S210、S220、S230‧‧‧步驟
S231、S232、S233、S234、S235、S236、S237‧‧‧步驟
TLD‧‧‧單目標長時間跟蹤
VGG‧‧‧視覺化幾何群
VGG-S‧‧‧人臉特徵提取演算法
為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹：圖1為本申請一個實施例中視頻目標跟蹤方法的應用環境圖；圖2為本申請一個實施例中圖1中終端的內部結構圖；圖3為本申請一個實施例中圖1中伺服器的內部結構圖；圖4為本申請一個實施例中視頻目標跟蹤方法的流程圖；圖5為本申請一個實施例中得到當前待跟蹤目標的流程圖；圖6為本申請一個實施例中更新特徵庫的流程圖；圖7為本申請一個實施例中視頻目標跟蹤演算法與範本匹配演算法匹配對比示意圖； 圖8為本申請一個實施例中得到當前待跟蹤目標的另一流程圖；圖9為本申請一個實施例中視頻目標跟蹤方法對應的目標跟蹤系統示意圖；圖10為本申請一個實施例中視頻目標跟蹤演算法得到的視頻跟蹤結果示意圖；圖11為本申請一個實施例中TLD跟蹤演算法得到的視頻跟蹤結果示意圖；圖12為本申請一個實施例中視頻目標跟蹤裝置的結構示意圖；圖13為本申請一個實施例中視頻目標跟蹤裝置的另一結構示意圖；圖14為本申請一個實施例中視頻目標跟蹤裝置的另一結構示意圖；圖15為本申請一個實施例中視頻目標跟蹤裝置的另一結構示意圖；圖16為本申請一個實施例中視頻目標跟蹤裝置的另一結構示意圖。
請參照圖式，其中相同的元件符號代表相同的元件或是相似的元件，本發明的原理是以實施在適當的運算環境中來舉例說明。以下的說明是基於所例示的本發明具體實施例，其不應被視為限制本發明未在此詳述的其它具體實施例。
圖1為本申請一個實施例中視頻目標跟蹤方法運行的應用環境圖。如圖1所示，該應用環境包括終端110、伺服器120、以及視頻採集裝置130，其中，終端110、伺服器120、視頻採集裝置130通過網路140進行通信。
在本申請一些實施例中，終端110可為智慧手機、平板電腦、 筆記型電腦、臺式電腦等，但並不局限於此。視頻採集裝置130可為攝像頭，佈置在建築物入口處等位置。網路140可以是有線網路也可以是無線網路。在本申請一些實施例中，視頻採集裝置130可將採集的視頻流發送至終端110或伺服器120，終端110或伺服器120可對視頻流進行目標跟蹤。在本申請另一些實施例中，視頻採集裝置130也可直接對視頻流進行目標跟蹤，並將跟蹤結果發送至終端110進行顯示。
在本申請一個實施例中，圖1中的終端110的內部結構如圖2所示，該終端110包括通過系統匯流排1101連接的處理器1102、圖形處理單元1103、儲存介質1104、記憶體1105、網路介面1106、顯示螢幕1107和輸入裝置1108。其中，終端110的儲存介質1104儲存有作業系統11041以及第一視頻目標跟蹤裝置11042，該裝置11042用於實現一種適用於終端110的視頻目標跟蹤方法。處理器1102用於提供計算和控制能力，支撐整個終端110的運行。終端110中的圖形處理單元1103用於至少提供顯示介面的繪製能力。記憶體1105為儲存介質1104中的第一視頻目標跟蹤裝置11042的運行提供環境。網路介面1106用於與視頻採集裝置130進行網路通信，如接收視頻採集裝置130採集的視頻流等。顯示螢幕1107用於顯示跟蹤結果等。輸入裝置1108用於接收使用者輸入的命令或資料等。對於帶觸控式的終端110，顯示螢幕1107和輸入裝置1108可為觸控式。圖2中示出的結構，僅僅是與本申請方案相關的部分結構的框圖，並不構成對本申請方案所應用於其上的終端110的限定，具體的終端110可以包括比圖2中所示更多或更少的部件，或者組合某些部件，或者具有不同的部件佈置。
在本申請一個實施例中，圖1中伺服器120的內部結構如圖3 所示，該伺服器120包括通過系統匯流排1201連接的處理器1202、儲存介質1203、記憶體1204和網路介面1205。其中，該伺服器120的儲存介質1203儲存有作業系統12031、資料庫12032、第二視頻目標跟蹤裝置12033。資料庫12032用於儲存資料。第二視頻目標跟蹤裝置12033用於實現一種適用於伺服器120的視頻目標跟蹤方法。該伺服器120的處理器1202用於提供計算和控制能力，支撐整個伺服器120的運行。該伺服器120的記憶體1204為儲存介質1203中的第二視頻目標跟蹤裝置12033的運行提供環境。該伺服器120的網路介面1205用於與外部的視頻採集裝置130通過網路連接通信，比如接收視頻採集裝置130發送的視頻流等。
如圖4所示，在本申請一個實施例中，提供了一種視頻目標跟蹤方法，其應用于上述應用環境中的終端110、伺服器120或視頻採集裝置130，該方法可由本申請任一實施例提供的視頻目標跟蹤裝置執行，包括如下步驟：
步驟S210，獲取視頻流，根據人臉檢測演算法識別人臉區域，得到第一視頻幀對應的第一待跟蹤目標。
具體的，視頻流可由分佈在建築物入口處的視頻採集裝置採集得到。如果視頻目標跟蹤方法應用於視頻採集裝置，則可直接從視頻採集裝置的記憶體中獲得到視頻流。如果視頻目標跟蹤方法應用於終端或伺服器，則視頻採集裝置可即時將採集到的視頻流發送至終端或伺服器。
人臉檢測是指對於任意一幅給定的圖像，採用一定的策略對其進行搜索以確定其中是否含有人臉，如果是，則返回人臉的位置、大小和姿態。在本申請一些實施例中，可通過推薦框的方式顯示人臉區域(如 圖10中所示的矩形框)，得到第一視頻幀對應的第一待跟蹤目標。通過不斷地對視頻流進行人臉檢測，直到檢測到有人臉出現，將人臉區域確定為第一待跟蹤目標。由於一幀中可能檢測到多個人臉，故第一待跟蹤目標可能為多個。如果有多個第一待跟蹤目標，則可通過不同的標識資訊標識不同的人臉區域，如通過不同顏色的推薦框標識不同的人臉區域。人臉檢測演算法可根據需要自訂，如採用NPD(Normalized Pixel Difference，歸一化的圖元差異特徵)人臉檢測演算法，或將NPD人臉檢測演算法與其它演算法結合以提高確定待跟蹤目標的準確性。
步驟S220，對第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入第一待跟蹤目標對應的特徵庫。
具體的，深度神經網路是一種深度學習下的機器學習模型。深度學習是機器學習的分支，是使用包含複雜結構或由多重非線性變換構成的多個處理層對資料進行高層抽象的演算法。深度神經網路可採用視覺化幾何群(VGG,Visual Geometry Group)網路結構，通過VGG網路結構比通過特徵匹配演算法進行區分目標的召回率和準確率高。
為第一待跟蹤目標分配一個目標標識並建立特徵庫，為所述目標標識和特徵庫建立關聯關係並保存所述關聯關係。當第一待跟蹤目標為多個時，可為每個第一待跟蹤目標分配目標標識並建立特徵庫，為每個第一待跟蹤目標和其對應的第一人臉特徵建立關聯關係，將所述關聯關係以及第一人臉特徵儲存至該第一待跟蹤目標對應的特徵庫。通過引用人臉特徵進行特徵匹配，可解決目標跟蹤演算法由於沒有較好地利用人臉特 徵，故而頻繁出現跟錯、跟偏和跟丟後無法重新正確找回跟蹤目標的問題。
步驟S230，在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標，對當前待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第二人臉特徵，根據第二人臉特徵和特徵庫將當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從第一視頻幀開始跟蹤第一待跟蹤目標，在跟蹤過程中根據提取的更新的人臉特徵更新特徵庫。
具體的，將第二人臉特徵與特徵庫中第一待跟蹤目標對應的各個第一人臉特徵進行特徵匹配。特徵匹配的具體演算法可自訂，如可直接計算人臉特徵對應的向量的歐式距離，根據歐式距離判斷是否能匹配成功。如果第二人臉特徵與第一人臉特徵匹配成功，則確定當前待跟蹤目標為第一待跟蹤目標的連續運動目標。如果當前待跟蹤目標有多個，則每個當前待跟蹤目標群組成當前待跟蹤目標集合，將當前待跟蹤目標集合中的各個當前待跟蹤目標對應的第二人臉特徵分別與特徵庫中各個歷史待跟蹤目標對應的人臉特徵進行匹配，如果匹配成功，則將歷史待跟蹤目標的目標標識作為當前待跟蹤目標的目標標識，當前待跟蹤目標的位置為歷史待跟蹤目標運動後的位置。
在本申請一些實施例中，可在跟蹤過程中根據提取的更新的人臉特徵更新特徵庫，如在光照連續變化或側臉時，會得到第一待跟蹤目標在其它幀的更新的人臉特徵，如果該更新的人臉特徵與第一人臉特徵存在差異，可將存在差異的更新的人臉特徵加入第一待跟蹤目標對應的特徵庫，並為該更新的人臉特徵與第一待跟蹤目標的目標標識建立關聯關係， 並將所述關聯關係儲存在特徵庫中，從而在第一待跟蹤目標在其它幀中存在更大角度的側臉或更大光強的光線變化時，可將當前待跟蹤目標對應的第二人臉特徵與第一待跟蹤目標的更新的人臉特徵進行特徵匹配，比直接與第一人臉特徵進行特徵匹配時的差異小，從而加大特徵匹配成功的概率，減小目標跟蹤過程對跟蹤目標的變化、傾斜、遮蓋、光照變化的敏感度，提高跟蹤的連續性和穩健(robust)性。且通過特徵庫可保存大量第一待跟蹤目標在不同幀對應的人臉特徵，在第一待跟蹤目標消失後又出現的情況下，可利用第一待跟蹤目標對應的特徵庫中之前已保存的第一待跟蹤目標消失前的人臉特徵進行特徵匹配，從而對間斷出現的目標達到良好的跟蹤效果。更新特徵庫是通過跟蹤和檢測來更新一個正負樣本庫，相當於一個半線上的跟蹤演算法，相比于完全離線的跟蹤演算法有更好的召回率，相比于完全線上的跟蹤演算法則能表現出更高的準確率。
在本申請實施例中，通過獲取視頻流，根據人臉檢測演算法識別人臉區域，得到第一視頻幀對應的第一待跟蹤目標，對第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，將所述第一人臉特徵加入特徵庫，在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標，對當前待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第二人臉特徵，根據第二人臉特徵和所述特徵庫將當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從第一視頻幀開始跟蹤第一待跟蹤目標，在跟蹤過程中根據提取的更新的人臉特徵更新特徵庫，通過引用基於深度神經網路的人臉特徵進行特徵匹配，可解決目標跟蹤演算法由於沒有較好地利用人臉特徵，頻繁出現跟錯、跟偏和跟丟 後無法重新正確找回跟蹤目標的問題，從而節省了終端或伺服器設備的資源，提升了終端或伺服器的處理器的處理速度。同時，特徵庫在跟蹤過程中不斷更新，可保存待跟蹤目標在不同狀態下對應的不同人臉特徵，從而提高人臉特徵匹配的成功率，減小目標跟蹤過程對跟蹤目標的變化、傾斜、遮蓋、光照變化的敏感度，提高跟蹤的連續性和穩健(robust)性，進而提升了終端或伺服器的處理器的處理速度。
在本申請一個實施例中，上述方法還包括：根據每個待跟蹤目標的人臉狀態通過人臉識別演算法識別得到每個待跟蹤目標對應的人臉身份資訊，通過圖像特徵提取演算法得到人臉身份資訊對應的目標特徵。
在本申請一些實施例中，人臉狀態是指人臉的偏轉角度狀態。當檢測到人臉為正臉時，可通過人臉識別演算法識別得到對應的人臉身份資訊。人臉身份資訊用於描述人臉對應的身份。人臉識別是指將提取的人臉圖像的特徵資料與資料庫中儲存的特徵範本比如人臉特徵範本進行搜索匹配，根據相似程度確定人臉身份資訊。如在對進入企業的員工進行人臉識別時，在資料庫中提前儲存了企業中各個員工的特徵範本，例如人臉特徵範本，從而通過將當前提取的人臉圖像的特徵資料與資料庫中儲存的人臉特徵範本比對得到員工的人臉身份資訊。人臉身份資訊的具體內容可根據需要自訂，如員工名字、工號、所屬部門等。
圖像特徵提取演算法是根據圖像本身的特徵，如顏色特徵、紋理特徵、形狀特徵、空間關係特徵等提取特徵資料，得到目標特徵，其中，所述目標特徵是提取得到的所有特徵資料的集合。為目標特徵與人臉身份資訊建立關聯關係，如衣服顏色、衣服紋理、人體形狀，身高比例等 特徵，並將關聯關係儲存在資料庫中。這樣，當人臉存在偏轉、遮蓋時，可通過其它的目標特徵進行身份的識別和確定人臉區域。在本申請一個實施例中，如圖5所示，步驟S230中在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標的步驟包括：
步驟S231，判斷當前視頻幀根據人臉檢測演算法是否識別到人臉區域，如果沒有識別到人臉區域，則根據圖像特徵提取演算法獲取當前視頻幀對應的當前圖像特徵。
具體的，如果根據人臉檢測演算法在當前視頻幀中沒有識別到人臉區域，也有可能是由於人臉偏側導致檢測失敗，此時需要根據圖像特徵提取演算法獲取當前視頻幀對應的當前圖像特徵。
步驟S232，將當前圖像特徵與目標特徵對比得到匹配的目標人臉身份資訊，根據目標人臉身份資訊得到當前視頻幀對應的當前待跟蹤目標。
具體的，由於之前已經將目標特徵與人臉身份資訊關聯，此時可將當前圖像特徵與目標特徵對比，計算相似度，如果相似度超過閾值，則匹配成功，可獲取匹配的目標特徵對應的目標人臉身份資訊，從而根據目標人臉身份資訊得到當前視頻幀對應的當前待跟蹤目標。然後，通過人臉身份資訊將當前待跟蹤目標與第一待跟蹤目標進行匹配，從而實現對第一待跟蹤目標的跟蹤。
本申請實施例中，將人臉身份資訊引入目標跟蹤，在人臉識別的同時結合圖像特徵，在人臉檢測演算法無法識別人臉區域時也能達到對目標的跟蹤，進一步提高跟蹤的連續性和穩健(robust)性。
在本申請一個實施例中，步驟S220可包括：獲取第一待跟蹤目標對應的第一人臉身份資訊，建立第一人臉身份資訊對應的第一人臉特徵集合，將第一人臉特徵加入所述第一人臉特徵集合並將所述第一人臉特徵集合儲存至第一待跟蹤目標對應的特徵庫。
具體的，可對第一待跟蹤目標進行人臉識別得到第一待跟蹤目標對應的第一人臉身份資訊。第一人臉特徵集合用於儲存第一待跟蹤目標在運動過程中不同狀態下的第一人臉特徵，不同狀態包括不同角度、不同光照、不同遮蓋範圍等。將人臉特徵提取後得到的第一人臉特徵加入第一人臉特徵集合，並為所述第一人臉特徵集合與第一人臉身份資訊建立關聯關係，將所述關聯關係以及第一人臉特徵集合儲存至第一待跟蹤目標對應的特徵庫。
在本申請一個實施例中，如圖6所示，步驟S230中在跟蹤過程中根據提取的更新的人臉特徵更新特徵庫的步驟可包括：
步驟S233，獲取當前待跟蹤目標對應的當前人臉身份資訊，從特徵庫獲取當前人臉身份資訊對應的第一人臉特徵集合。
具體的，在一個實施例中，可通過對當前待跟蹤目標進行人臉識別得到當前待跟蹤目標對應的當前人臉身份資訊。在另外一個實施例中，也可通過對當前待跟蹤目標應用圖像特徵提取演算法得到當前待跟蹤目標對應的當前圖像特徵，再將當前圖像特徵與目標特徵進行匹配，將匹配的目標特徵對應的人臉身份資訊作為當前人臉身份資訊，從而在當前待跟蹤目標無法識別到人臉區域時也能得到當前人臉身份資訊。根據人臉身份資訊與人臉特徵集合的關聯對應關係，得到當前人臉身份資訊對應的第 一人臉特徵集合，表明當前待跟蹤目標與第一待跟蹤目標是同一目標。
步驟S234，計算第一人臉特徵集合中的第一人臉特徵與第二人臉特徵的差異量，如果差異量超過預設閾值，則在第一人臉特徵集合中增加第二人臉特徵。
具體的，可自訂演算法計算第二人臉特徵與第一人臉特徵集合中的第一人臉特徵的差異量。如果第一人臉特徵集合中的第一人臉特徵為多個，則分別計算第二人臉特徵與每個第一人臉特徵的差異量，得到多個差異量。差異量表明了第二人臉特徵與特徵庫中已經保存的同一跟蹤目標的人臉特徵之間的差異，差異越大表明跟蹤目標的人臉狀態變化越大。如果差異量超過預設閾值，則在第一人臉特徵集合中增加第二人臉特徵，增加的第二人臉特徵可用於後續進行的特徵匹配。在人臉特徵集合中儲存的人臉特徵越多，就越能表徵同一跟蹤目標在不同狀態下的特徵，只要其中任何一個特徵能在特徵匹配時匹配成功，就認為當前待跟蹤目標與第一待跟蹤目標的匹配成功，從而加大了匹配成功的概率，減小目標跟蹤過程對跟蹤目標的變化、傾斜、遮蓋、光照變化的敏感度，提高跟蹤的連續性和穩健(robust)性。
在本申請一個實施例中，步驟S220可包括：對第一待跟蹤目標通過深度神經網路進行人臉特徵提取得到第一特徵向量。
具體的，對深度神經網路進行訓練後得到人臉特徵提取模型，輸入第一待跟蹤目標對應的圖元值，則得到第一特徵向量，第一特徵向量的維度由人臉特徵提取模型決定。
步驟S230包括：對當前待跟蹤目標通過深度神經網路進行 人臉特徵提取得到第二特徵向量，計算第一特徵向量與第二特徵向量的歐氏距離，如果歐氏距離小於預設閾值，則確定第一待跟蹤目標與當前待跟蹤目標特徵匹配成功。
具體的，輸入當前待跟蹤目標對應的圖元值至上述人臉特徵提取模型，則可得到第二特徵向量。第一特徵向量與第二特徵向量的歐氏距離代表了當前待跟蹤目標與第一待跟蹤目標的相似度。如果歐氏距離小於預設閾值，則確定當前待跟蹤目標與第一待跟蹤目標特徵匹配成功，表明當前待跟蹤目標與第一待跟蹤目標是同一目標，達到跟蹤目的。
在本申請一個實施例中，深度神經網路的網路結構可以為11層網路層，包括堆疊式的卷積神積網路和完全連接層，堆疊式的卷積神積網路由多個卷積層和maxpool層組成，具體網路結構為：conv3-64*2+LRN+max pool
conv3-128+max pool
conv3-256*2+max pool
conv3-512*2+max pool
conv3-512*2+max pool
FC2048
FC1024,其中conv3表示半徑為3的卷積層，LRN表示LRN層，”maxpool”表示最大池化層(max pool)，FC表示完全連接層。在本申請一個實施例中，LRN(Local Response Normalization)層定義為一區域響應歸一化層，其用於進行歸一化的處理。在本申請一個實施例中，最大池 化層定義為圖案被不重疊的分割成若干個同樣大小的小塊(pooling size)，每個小塊內只取最大的數字，再捨棄其他節點後，保持原有的平面結構。
具體的，此網路結構為簡化的深度神經網路VGG網路結構，其中64*2表示2個64組，LRN層是一種幫助訓練的無參數層，FC2048表示輸出為2048維度向量的完全連接層，最後一個完全連接層FC1024的輸出為特徵提取得到的人臉特徵，是1024維向量。通過簡化的VGG網路結構得到的優化後的人臉特徵在測試集的隨機塊匹配上的表現遠優於TLD(Tracking-Learning-Detection，單目標長時間跟蹤)中的匹配模組的匹配表現，且大大提高了人臉特徵提取的效率，達到跟蹤演算法所要求的即時性。在本申請一個實施例中，可控制待跟蹤目標的解析度為112*112圖元，以減少計算複雜度。圖7為此VGG網路結構對應的人臉特徵提取演算法VGG-S與範本匹配演算法(match template)的匹配比對示意圖。如圖7所示，橫坐標代表召回率，縱坐標代表準確率，可見此VGG網路結構對應的人臉特徵提取演算法在進行特徵匹配時有更好的準確率，提高了目標跟蹤的正確率。
在本申請一個實施例中，步驟S230中在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標的步驟可包括：基於歸一化的圖元差異特徵和人體半身識別演算法在當前視頻幀中識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標。
具體的，基於歸一化的圖元差異特徵(Normalized Pixel Difference，NPD)進行人臉檢測，將得到的返回值作為人臉區域推薦框，如可基於NPD特徵使用AdaBoost(疊代演算法)構造強分類器用以識別和區分人臉。人體半身識別演算法可根據需要定義，可進行上半身檢測，根據 上半身檢測篩選人臉區域推薦框，可過濾掉部分識別錯誤的人臉區域推薦框，極大地提高了人臉區域檢測的召回率和準確率，提升了目標跟蹤的整體表現。
在本申請一個實施例中，如圖8所示，步驟S230中在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標的步驟可包括：
步驟S235，基於歸一化的圖元差異特徵識別人臉區域，在當前視頻幀得到第一推薦區域。
步驟S236，根據光流分析演算法計算得到所述第一待跟蹤目標在當前視頻幀對應的第二推薦區域。
具體的，光流分析演算法假設一個圖元I(x,y,t)在第一幀的光強度，它移動了(dx,dy)的距離到下一幀，用了dt時間。因為圖元點是一樣的，光強度也沒有發生變化。根據歷史第一待跟蹤目標的運動軌跡採用光流分析原理計算得到第一待跟蹤目標對應的向量速度模型，向向量速度模型輸入當前視頻幀和當前視頻幀的前一幀以及第一待跟蹤目標在前一幀的位置，可得到第一待跟蹤目標在當前視頻幀對應的第二推薦區域，即第一待跟蹤目標在當前視頻幀可能出現的位置。
步驟S237，根據第一推薦區域和第二推薦區域得到當前待跟蹤目標。
具體的，根據光流分析演算法得出的第二推薦區域為第一待跟蹤目標基於歷史運動速度可能運動至的區域，可根據第二推薦區域的位置排除與第二推薦區域位置距離超過預設範圍的第一推薦區域，從而得到 當前待跟蹤目標。也可將第一推薦區域和第二推薦區域全部作為當前待跟蹤目標。如果第一待跟蹤目標為多個，則每個第一待跟蹤目標分別有對應的第二推薦區域。
本實施例中，將歸一化的圖元差異特徵與光流分析演算法結合得到當前待跟蹤目標，因為先驗資訊的加入使得後續進行特徵匹配時準確率提高。
在一個實施例中，步驟S237可包括：根據幀間相關性進行運動預測得到預期運動範圍，根據預期運動範圍篩選第一推薦區域和第二推薦區域得到當前待跟蹤目標。
具體的，幀間相關性利用歷史位置資訊和運動軌跡來預測目標在下一幀或數幀內的位置，相當於利用先驗資訊來調整NPD演算法的可信度。將預期運動範圍外的第一推薦區域和第二推薦區域過濾掉，得到當前待跟蹤目標，減少了後續計算特徵匹配的匹配數量，提高了匹配效率和準確率。
在本申請一個實施例中，視頻目標跟蹤方法可通過如圖9所示的三個模組完成視頻目標跟蹤，包括跟蹤模組310、檢測模組320、以及學習模組330。具體地，獲取視頻流，根據人臉檢測演算法識別人臉區域，得到第一視頻幀對應的第一待跟蹤目標，從第一待跟蹤目標所在的視頻幀開始跟蹤，跟蹤模組310對第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵加入特徵庫，學習模組330根據跟蹤情況更新特徵庫，檢測模組320不斷從當前視頻幀中查找更好的當前待跟蹤目標，以防跟錯和跟丟，跟蹤模組310根據更新的特徵庫將當 前待跟蹤目標和第一待跟蹤目標進行匹配，以跟蹤第一待跟蹤目標。
在本申請一個實施例中，採用上述視頻目標跟蹤方法得到的跟蹤區域示意圖可如圖10所示，採用TLD跟蹤演算法得到的跟蹤區域示意圖可如圖11所示。通過對比可以發現，在人臉偏側時，本申請實施例提出的視頻目標跟蹤方法的跟蹤區域比TLD跟蹤演算法的跟蹤區域更為精確，且TLD跟蹤演算法在人臉完全偏轉時會出現跟蹤失敗的現象，而本申請實施例提出的視頻目標跟蹤方法在人臉完全偏轉時仍然能夠跟蹤成功。正確率和召回率相比於TLD跟蹤演算法均有提升，具體資料如下：無人頭檢測版本：準確率提升5個百分點左右，錯誤率降低100%，目標跟蹤丟失率下降25%。
有人頭檢測版本：準確率提升1個百分點左右，錯誤率降低100%，目標跟蹤丟失率下降15%。
在性能方面，例如在640*480的解析度下，3.5G主頻的CPU和NvidiaGeforceGtx 775m顯示卡型號的機器，單幀處理時間在40ms左右，幀率在25FPS(幀/每秒)以上。
上述視頻目標跟蹤方法比傳統方法更精準，給後續的人員人流統計、身份識別和行為分析等需求提供了可能和便利，性能上的良好表現也滿足了線上處理的需求，提高了監控分析系統的準確性、拓展性和適用性，進而提高了硬體處理器的處理速度，提高了處理器的處理性能。
在本申請一個實施例中，如圖12所示，提供了一種視頻目標跟蹤裝置，該裝置可包括：檢測模組410，用於獲取視頻流，根據人臉檢測演算法識別 人臉區域，得到第一視頻幀對應的第一待跟蹤目標。
人臉特徵提取模組420，用於對所述第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入所述第一待跟蹤目標對應的特徵庫。
檢測模組410還用於在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標。
人臉特徵提取模組420還用於對當前待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第二人臉特徵。
跟蹤模組430，用於根據第二人臉特徵和所述特徵庫將當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從第一視頻幀開始跟蹤第一待跟蹤目標。
學習模組440，用於在跟蹤過程中根據提取的更新的人臉特徵更新所述特徵庫。
在本申請一個實施例中，如圖13所示，該裝置還包括：特徵身份處理模組450，用於根據待跟蹤目標的人臉狀態通過人臉識別演算法識別得到對應的人臉身份資訊，根據圖像特徵提取演算法得到人臉身份資訊對應的目標特徵，並為所述目標特徵和人臉身份資訊建立關聯關係。
檢測模組410可包括：圖像特徵提取單元411，用於判斷在當前視頻幀根據人臉檢測演算法是否識別到人臉區域，如果沒有識別到人臉區域，則根據圖像特徵提取演算法獲取當前視頻幀對應的當前圖像特徵。
身份匹配單元412，用於基於所述關聯關係，將當前圖像特徵與目標特徵對比得到匹配的目標人臉身份資訊。
第一跟蹤目標確定單元413，用於根據目標人臉身份資訊得到當前視頻幀對應的當前待跟蹤目標。
在本申請一個實施例中，人臉特徵提取模組420還用於獲取第一待跟蹤目標對應的第一人臉身份資訊，建立第一人臉身份資訊對應的第一人臉特徵集合，將第一人臉特徵加入第一人臉特徵集合並將所述第一人臉特徵集合儲存至所述特徵庫。
學習模組440還用於獲取當前待跟蹤目標對應的當前人臉身份資訊，從特徵庫獲取當前人臉身份資訊對應的第一人臉特徵集合，計算第一人臉特徵集合中的第一人臉特徵與第二人臉特徵的差異量，如果差異量超過預設閾值，則在第一人臉特徵集合中增加第二人臉特徵。
在本申請一個實施例中，檢測模組410還用於基於歸一化的圖元差異特徵和人體半身識別演算法在當前視頻幀中識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標。
在本申請一個實施例中，如圖14所示，檢測模組410可包括：第一推薦單元414，用於基於歸一化的圖元差異特徵識別人臉區域，在當前視頻幀得到第一推薦區域。
第二推薦單元415，根據光流分析演算法計算得到第一待跟蹤目標在當前視頻幀對應的第二推薦區域。
第二跟蹤目標確定單元416，用於根據第一推薦區域和第二推薦區域得到當前待跟蹤目標。
在本申請一個實施例中，第二跟蹤目標確定單元416還用於根據幀間相關性進行運動預測得到預期運動範圍，根據預期運動範圍篩選第一推薦區域和第二推薦區域得到當前待跟蹤目標。
在本申請一個實施例中，深度神經網路的網路結構為11層網路層，包括堆疊式的卷積神積網路和完全連接層，堆疊式的卷積神積網路由多個卷積層和maxpool層組成，具體網路結構為：conv3-64*2+LRN+max pool
conv3-128+max pool
conv3-256*2+max pool
conv3-512*2+max pool
conv3-512*2+max pool
FC2048
FC1024,其中conv3表示半徑為3的卷積層，LRN表示LRN層，maxpool表示最大池化層，FC表示完全連接層。
在本申請一個實施例中，人臉特徵提取模組420還用於對第一待跟蹤目標通過深度神經網路進行人臉特徵提取得到第一特徵向量，對當前待跟蹤目標通過深度神經網路進行人臉特徵提取得到第二特徵向量。
跟蹤模組430還用於計算第一特徵向量與第二特徵向量的歐氏距離，如果所述歐氏距離小於預設閾值，則確定所述第一待跟蹤目標與當前待跟蹤目標特徵匹配成功。
圖15是本申請實施例提供的視頻目標跟蹤裝置的另一結構 示意圖。如圖15所示，該視頻目標跟蹤裝置包括：處理器510，與所述處理器510相連接的記憶體520，以及用於發送和接收資料的介面530。所述記憶體520中儲存有可由所述處理器510執行的機器可讀指令模組，所述所述機器可讀指令模組包括：檢測模組521，用於獲取視頻流，根據人臉檢測演算法識別人臉區域，得到第一視頻幀對應的第一待跟蹤目標。
人臉特徵提取模組522，用於對所述第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入所述第一待跟蹤目標對應的特徵庫。
檢測模組521還用於在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標。
人臉特徵提取模組522還用於對當前待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第二人臉特徵。
跟蹤模組523，用於根據第二人臉特徵和所述特徵庫將當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從第一視頻幀開始跟蹤第一待跟蹤目標。
學習模組524，用於在跟蹤過程中根據提取的更新的人臉特徵更新所述特徵庫。
在本申請一個實施例中，如圖16所示，所述機器可讀指令模組還可包括：特徵身份處理模組525，用於根據待跟蹤目標的人臉狀態通過人臉識別演算法識別得到對應的人臉身份資訊，根據圖像特徵提取演算 法得到人臉身份資訊對應的目標特徵，並為所述目標特徵和人臉身份資訊建立關聯關係。
在本申請實施例中，上述檢測模組521、人臉特徵提取模組522、跟蹤模組523、學習模組524以及特徵身份處理模組525的具體功能和實現方式可參照前述的模組410至450的相關描述，在此不再贅述。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以通過電腦程式來指令相關的硬體來完成，所述程式可儲存于一非易失性電腦可讀取儲存介質中，如本申請實施例中，該程式可儲存於電腦系統的儲存介質中，並被該電腦系統中的至少一個處理器執行，以實現包括如上述各方法的實施例的流程。其中，所述儲存介質可為磁碟、光碟、唯讀儲存記憶體(Read-Only Memory，ROM)或隨機儲存記憶體(Random Access Memory，RAM)等。
通過以上的實施例的描述，本領域的技術人員可以清楚地瞭解到本申請實施例可借助軟體加必需的通用硬體平臺的方式來實現，即通過機器可讀指令來指令相關的硬體來實現，當然也可以通過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本申請實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台終端設備(例如是手機，個人電腦，伺服器，或者網路設備等)執行本申請各個實施例所述的方法。
以上所述實施例的各技術特徵可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術特徵所有可能的組合都進行描述， 然而，只要這些技術特徵的組合不存在矛盾，都應當認為是本說明書記載的範圍。
雖然本申請已用較佳實施例揭露如上，然其並非用以限定本申請，本申請所屬技術領域中具有通常知識者，在不脫離本申請之精神和範圍內，當可作各種之更動與潤飾，因此本申請之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (19)

  1. 一種視頻目標跟蹤方法，應用於終端或伺服器，所述方法包括：獲取視頻流，根據人臉檢測演算法識別人臉區域，得到第一視頻幀對應的第一待跟蹤目標；對所述第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入所述第一待跟蹤目標對應的特徵庫；在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標，對所述當前待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第二人臉特徵，根據所述第二人臉特徵和所述特徵庫將所述當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從所述第一視頻幀開始跟蹤所述第一待跟蹤目標，在跟蹤過程中根據提取的更新的人臉特徵更新所述特徵庫，其中所述對所述第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入所述第一待跟蹤目標對應的特徵庫的步驟包括：獲取第一待跟蹤目標對應的第一人臉身份資訊；建立所述第一人臉身份資訊對應的第一人臉特徵集合，將所述第一人臉特徵加入所述第一人臉特徵集合並將所述第一人臉特徵集合儲存至所述特徵庫；所述在跟蹤過程中根據提取的更新的人臉特徵更新所述特徵庫的步驟包括：獲取當前待跟蹤目標對應的當前人臉身份資訊；從所述特徵庫獲取所述當前人臉身份資訊對應的第一人臉特徵集合；計算所述第一人臉特徵集合中的第一人臉特徵與所述第二人臉特徵的差異量，如果所述差異量超過預設閾值，則在所述第一人臉特徵集合中增加所述第二人臉特徵。
  2. 如申請專利範圍第1項所述之方法，所述方法還包括：根據待跟蹤目標的人臉狀態通過人臉識別演算法識別得到對應的人臉身份資訊，根據圖像特徵提取演算法得到所述人臉身份資訊對應的目標特徵，並為所述目標特徵和人臉身份資訊建立關聯關係；所述在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標的步驟包括：判斷在當前視頻幀根據人臉檢測演算法是否識別到人臉區域，如果沒有識別到人臉區域，則根據圖像特徵提取演算法獲取當前視頻幀對應的當前圖像特徵；基於所述關聯關係，將所述當前圖像特徵與所述目標特徵對比得到匹配的目標人臉身份資訊；根據所述目標人臉身份資訊得到當前視頻幀對應的當前待跟蹤目標。
  3. 如申請專利範圍第1項所述之方法，所述在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標的步驟包括：基於歸一化的圖元差異特徵和人體半身識別演算法在當前視頻幀中識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標。
  4. 如申請專利範圍第1項所述之方法，所述在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標的步驟包括：基於歸一化的圖元差異特徵識別人臉區域，在當前視頻幀得到第一推薦區域；根據光流分析演算法計算得到所述第一待跟蹤目標在當前視頻幀對應的第二推薦區域；根據所述第一推薦區域和所述第二推薦區域得到所述當前待跟蹤目標。
  5. 如申請專利範圍第4項所述之方法，所述根據所述第一推薦區域和所述第二推薦區域得到所述當前待跟蹤目標的步驟包括：根據幀間相關性進行運動預測得到預期運動範圍，根據所述預期運動範圍篩選所述第一推薦區域和所述第二推薦區域得到所述當前待跟蹤目標。
  6. 如申請專利範圍第1至5任一項所述之方法，所述深度神經網路的網路結構為11層網路層，包括堆疊式的卷積神積網路和完全連接層，所述堆疊式的卷積神積網路由多個卷積層和maxpool層組成，具體網路結構為：conv3-64*2+LRN+max pool conv3-128+max pool conv3-256*2+max pool conv3-512*2+max pool conv3-512*2+max pool FC2048 FC1024，其中conv3表示半徑為3的卷積層，LRN表示LRN層，max pool表示maxpool層，FC表示完全連接層。
  7. 如申請專利範圍第1至5任一項所述之方法，所述對所述第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入所述第一待跟蹤目標對應的特徵庫的步驟包括：對所述第一待跟蹤目標通過深度神經網路進行人臉特徵提取得到第一特徵向量；所述對所述當前待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第二人臉特徵，根據所述第二人臉特徵和所述特徵庫將所述當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從所述第一視頻幀開始跟蹤所述第一待跟蹤目標的步驟包括：對所述當前待跟蹤目標通過深度神經網路進行人臉特徵提取得到第二特徵向量；計算所述第一特徵向量與第二特徵向量的歐氏距離，如果所述歐氏距離小於預設閾值，則確定所述第一待跟蹤目標與當前待跟蹤目標特徵匹配成功。
  8. 一種視頻目標跟蹤裝置，所述裝置包括：處理器以及與所述處理器相連接的記憶體，所述記憶體中儲存有可由所述處理器執行的機器可讀指令模組；所述機器可讀指令模組包括：檢測模組，用於獲取視頻流，根據人臉檢測演算法識別人臉區域，得到第一視頻幀對應的第一待跟蹤目標；人臉特徵提取模組，用於對所述第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入所述第一待跟蹤目標對應的特徵庫；所述檢測模組還用於在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標；所述人臉特徵提取模組還用於對所述當前待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第二人臉特徵；跟蹤模組，用於根據所述第二人臉特徵和所述特徵庫將所述當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從所述第一視頻幀開始跟蹤所述第一待跟蹤目標；學習模組，用於在跟蹤過程中根據提取的更新的人臉特徵更新所述特徵庫，其中所述人臉特徵提取模組還用於獲取第一待跟蹤目標對應的第一人臉身份資訊，建立所述第一人臉身份資訊對應的第一人臉特徵集合，將所述第一人臉特徵加入所述第一人臉特徵集合並將所述第一人臉特徵集合儲存至所述特徵庫；所述學習模組還用於獲取當前待跟蹤目標對應的當前人臉身份資訊，從所述特徵庫獲取所述當前人臉身份資訊對應的第一人臉特徵集合，計算所述第一人臉特徵集合中的第一人臉特徵與所述第二人臉特徵的差異量，如果所述差異量超過預設閾值，則在所述第一人臉特徵集合中增加所述第二人臉特徵。
  9. 如申請專利範圍第8項所述之裝置，所述裝置還包括：特徵身份處理模組，用於根據待跟蹤目標的人臉狀態通過人臉識別演算法識別得到對應的人臉身份資訊，根據圖像特徵提取演算法得到所述人臉身份資訊對應的目標特徵，並為所述目標特徵和人臉身份資訊建立關聯關係；所述檢測模組包括：圖像特徵提取單元，用於判斷在當前視頻幀根據人臉檢測演算法是否識別到人臉區域，如果沒有識別到人臉區域，則根據圖像特徵提取演算法獲取當前視頻幀對應的當前圖像特徵；身份匹配單元，用於基於所述關聯關係，將所述當前圖像特徵與所述目標特徵對比得到匹配的目標人臉身份資訊；第一跟蹤目標確定單元，用於根據所述目標人臉身份資訊得到當前視頻幀對應的當前待跟蹤目標。
  10. 如申請專利範圍第8項所述之裝置，所述檢測模組還用於基於歸一化的圖元差異特徵和人體半身識別演算法在當前視頻幀中識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標。
  11. 如申請專利範圍第8項所述之裝置，所述檢測模組包括：第一推薦單元，用於基於歸一化的圖元差異特徵識別人臉區域，在當前視頻幀得到第一推薦區域；第二推薦單元，根據光流分析演算法計算得到所述第一待跟蹤目標在當前視頻幀對應的第二推薦區域；第二跟蹤目標確定單元，用於根據所述第一推薦區域和所述第二推薦區域得到所述當前待跟蹤目標。
  12. 如申請專利範圍第11項所述之裝置，所述第二跟蹤目標確定單元還用於根據幀間相關性進行運動預測得到預期運動範圍，根據所述預期運動範圍篩選所述第一推薦區域和所述第二推薦區域得到所述當前待跟蹤目標。
  13. 如申請專利範圍第8至12任一項所述之裝置，所述人臉特徵提取模組還用於對所述第一待跟蹤目標通過深度神經網路進行人臉特徵提取得到第一特徵向量，對所述當前待跟蹤目標通過深度神經網路進行人臉特徵提取得到第二特徵向量；所述跟蹤模組還用於計算所述第一特徵向量與第二特徵向量的歐氏距離，如果所述歐氏距離小於預設閾值，則確定所述第一待跟蹤目標與當前待跟蹤目標特徵匹配成功。
  14. 一種非易失性電腦可讀儲存介質，所述儲存介質中儲存有機器可讀指令，所述機器可讀指令可以由處理器執行以完成以下操作：獲取視頻流，根據人臉檢測演算法識別人臉區域，得到第一視頻幀對應的第一待跟蹤目標；對所述第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入所述第一待跟蹤目標對應的特徵庫；在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標，對所述當前待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第二人臉特徵，根據所述第二人臉特徵和所述特徵庫將所述當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從所述第一視頻幀開始跟蹤所述第一待跟蹤目標，在跟蹤過程中根據提取的更新的人臉特徵更新所述特徵庫，其中所述對所述第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入所述第一待跟蹤目標對應的特徵庫的步驟包括：獲取第一待跟蹤目標對應的第一人臉身份資訊；建立所述第一人臉身份資訊對應的第一人臉特徵集合，將所述第一人臉特徵加入所述第一人臉特徵集合並將所述第一人臉特徵集合儲存至所述特徵庫；所述在跟蹤過程中根據提取的更新的人臉特徵更新所述特徵庫的步驟包括：獲取當前待跟蹤目標對應的當前人臉身份資訊；從所述特徵庫獲取所述當前人臉身份資訊對應的第一人臉特徵集合；計算所述第一人臉特徵集合中的第一人臉特徵與所述第二人臉特徵的差異量，如果所述差異量超過預設閾值，則在所述第一人臉特徵集合中增加所述第二人臉特徵。
  15. 如申請專利範圍第14項所述之非易失性電腦可讀儲存介質，所述機器可讀指令可以由所述處理器執行以完成以下操作：根據待跟蹤目標的人臉狀態通過人臉識別演算法識別得到對應的人臉身份資訊，根據圖像特徵提取演算法得到所述人臉身份資訊對應的目標特徵，並為所述目標特徵和人臉身份資訊建立關聯關係；所述在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標的步驟包括：判斷在當前視頻幀根據人臉檢測演算法是否識別到人臉區域，如果沒有識別到人臉區域，則根據圖像特徵提取演算法獲取當前視頻幀對應的當前圖像特徵；基於所述關聯關係，將所述當前圖像特徵與所述目標特徵對比得到匹配的目標人臉身份資訊；根據所述目標人臉身份資訊得到當前視頻幀對應的當前待跟蹤目標。
  16. 如申請專利範圍第14項所述之非易失性電腦可讀儲存介質，所述在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標的步驟包括：基於歸一化的圖元差異特徵和人體半身識別演算法在當前視頻幀中識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標。
  17. 如申請專利範圍第14項所述之非易失性電腦可讀儲存介質，所述在當前視頻幀根據人臉檢測演算法識別人臉區域，得到當前視頻幀對應的當前待跟蹤目標的步驟包括：基於歸一化的圖元差異特徵識別人臉區域，在當前視頻幀得到第一推薦區域；根據光流分析演算法計算得到所述第一待跟蹤目標在當前視頻幀對應的第二推薦區域；根據所述第一推薦區域和所述第二推薦區域得到所述當前待跟蹤目標。
  18. 如申請專利範圍第17項所述之非易失性電腦可讀儲存介質，所述根據所述第一推薦區域和所述第二推薦區域得到所述當前待跟蹤目標的步驟包括：根據幀間相關性進行運動預測得到預期運動範圍，根據所述預期運動範圍篩選所述第一推薦區域和所述第二推薦區域得到所述當前待跟蹤目標。
  19. 如申請專利範圍第14至18任一項所述之非易失性電腦可讀儲存介質，所述對所述第一待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第一人臉特徵，並將所述第一人臉特徵存入所述第一待跟蹤目標對應的特徵庫的步驟包括：對所述第一待跟蹤目標通過深度神經網路進行人臉特徵提取得到第一特徵向量；所述對所述當前待跟蹤目標通過基於深度神經網路的人臉特徵提取得到第二人臉特徵，根據所述第二人臉特徵和所述特徵庫將所述當前待跟蹤目標與第一待跟蹤目標進行特徵匹配，以從所述第一視頻幀開始跟蹤所述第一待跟蹤目標的步驟包括：對所述當前待跟蹤目標通過深度神經網路進行人臉特徵提取得到第二特徵向量；計算所述第一特徵向量與第二特徵向量的歐氏距離，如果所述歐氏距離小於預設閾值，則確定所述第一待跟蹤目標與當前待跟蹤目標特徵匹配成功。
TW107101732A 2017-01-17 2018-01-17 視頻目標跟蹤方法和裝置以及非易失性電腦可讀儲存介質 TWI677825B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201710032132.6 2017-01-17
CN201710032132.6A CN106845385A (zh) 2017-01-17 2017-01-17 视频目标跟踪的方法和装置

Publications (2)

Publication Number Publication Date
TW201828158A TW201828158A (zh) 2018-08-01
TWI677825B true TWI677825B (zh) 2019-11-21

Family

ID=59124734

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107101732A TWI677825B (zh) 2017-01-17 2018-01-17 視頻目標跟蹤方法和裝置以及非易失性電腦可讀儲存介質

Country Status (3)

Country Link
CN (1) CN106845385A (zh)
TW (1) TWI677825B (zh)
WO (1) WO2018133666A1 (zh)

Families Citing this family (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置
CN108665476B (zh) * 2017-03-31 2022-03-11 华为技术有限公司 一种行人跟踪方法以及电子设备
CN107341457A (zh) * 2017-06-21 2017-11-10 北京小米移动软件有限公司 人脸检测方法及装置
CN107424273A (zh) * 2017-07-28 2017-12-01 杭州宇泛智能科技有限公司 一种无人超市的管理方法
US10592786B2 (en) 2017-08-14 2020-03-17 Huawei Technologies Co., Ltd. Generating labeled data for deep object tracking
CN108875480A (zh) * 2017-08-15 2018-11-23 北京旷视科技有限公司 一种人脸特征信息的追踪方法、装置及系统
CN109426800B (zh) * 2017-08-22 2021-08-13 北京图森未来科技有限公司 一种车道线检测方法和装置
CN109426785B (zh) * 2017-08-31 2021-09-10 杭州海康威视数字技术股份有限公司 一种人体目标身份识别方法及装置
CN107644204B (zh) * 2017-09-12 2020-11-10 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法
US10510157B2 (en) * 2017-10-28 2019-12-17 Altumview Systems Inc. Method and apparatus for real-time face-tracking and face-pose-selection on embedded vision systems
CN107845105B (zh) * 2017-10-24 2021-09-10 深圳市圆周率软件科技有限责任公司 一种基于全景枪球联动的监控方法、智能设备及存储介质
CN107944381B (zh) * 2017-11-20 2020-06-16 深圳云天励飞技术有限公司 人脸跟踪方法、装置、终端及存储介质
CN109918975B (zh) 2017-12-13 2022-10-21 腾讯科技（深圳）有限公司 一种增强现实的处理方法、对象识别的方法及终端
CN108121931B (zh) * 2017-12-18 2021-06-25 阿里巴巴（中国）有限公司 二维码数据处理方法、装置及移动终端
CN108304001A (zh) * 2018-02-09 2018-07-20 成都新舟锐视科技有限公司 一种人脸检测跟踪方法、球机头部转动控制方法及球机
CN110298863B (zh) * 2018-03-22 2023-06-13 佳能株式会社 用于跟踪视频序列中的对象的装置和方法以及存储介质
CN110400332B (zh) * 2018-04-25 2021-11-05 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN108921008B (zh) * 2018-05-14 2024-06-11 深圳市商汤科技有限公司 人像识别方法、装置及电子设备
CN109063534B (zh) * 2018-05-25 2022-07-22 隆正信息科技有限公司 一种基于图像的购物识别和表意方法
CN108763532A (zh) * 2018-05-31 2018-11-06 上海掌门科技有限公司 用于推送信息、展现信息的方法和设备
CN112292666A (zh) * 2018-06-06 2021-01-29 施耐德电气美国股份有限公司 云计算环境的分布式标准注册中心
CN110706247B (zh) * 2018-06-22 2023-03-07 杭州海康威视数字技术股份有限公司 一种目标跟踪方法、装置及系统
CN109271869B (zh) * 2018-08-21 2023-09-05 平安科技（深圳）有限公司 人脸特征值提取方法、装置、计算机设备及存储介质
CN110866428B (zh) * 2018-08-28 2023-12-15 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN110969045B (zh) * 2018-09-28 2023-06-02 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置、电子设备和存储介质
CN111127509B (zh) * 2018-10-31 2023-09-01 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置和计算机可读存储介质
CN111126113B (zh) * 2018-11-01 2023-10-10 普天信息技术有限公司 一种人脸图像处理的方法及装置
CN109598211A (zh) * 2018-11-16 2019-04-09 恒安嘉新（北京）科技股份公司 一种实时动态人脸识别方法及系统
TWI684907B (zh) * 2018-11-28 2020-02-11 財團法人金屬工業研究發展中心 數位影像辨識方法、電子裝置、電腦程式產品
CN111310526B (zh) * 2018-12-12 2023-10-20 杭州海康威视数字技术股份有限公司 目标跟踪模型的参数确定方法、装置及存储介质
CN111325048B (zh) * 2018-12-13 2023-05-26 杭州海康威视数字技术股份有限公司 一种人员聚集检测方法和装置
CN109685610A (zh) * 2018-12-14 2019-04-26 深圳壹账通智能科技有限公司 产品推送方法、装置、计算机设备和存储介质
CN109800642A (zh) * 2018-12-15 2019-05-24 深圳壹账通智能科技有限公司 人员身份信息获取方法、装置、计算机设备及存储介质
CN109753901B (zh) * 2018-12-21 2023-03-24 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN109815851A (zh) * 2019-01-03 2019-05-28 深圳壹账通智能科技有限公司 厨房卫生检测方法、装置、计算机设备和存储介质
CN109816700B (zh) * 2019-01-11 2023-02-24 佰路得信息技术(上海)有限公司 一种基于目标识别的信息统计方法
CN109815861B (zh) * 2019-01-11 2023-04-28 舟山魔墙科技有限公司 一种基于人脸识别的用户行为信息统计方法
CN109816701B (zh) * 2019-01-17 2021-07-27 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
CN111460413B (zh) * 2019-01-18 2023-06-20 阿里巴巴集团控股有限公司 身份识别系统及方法、装置、电子设备、存储介质
CN109829435B (zh) * 2019-01-31 2023-04-25 深圳市商汤科技有限公司 一种视频图像处理方法、装置及计算机可读介质
CN109829436B (zh) * 2019-02-02 2022-05-13 福州大学 基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN111582006A (zh) * 2019-02-19 2020-08-25 杭州海康威视数字技术股份有限公司 一种视频分析方法及装置
TWI719409B (zh) * 2019-02-23 2021-02-21 和碩聯合科技股份有限公司 追蹤系統及其方法
CN111666786B (zh) * 2019-03-06 2024-05-03 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及存储介质
CN110020613B (zh) * 2019-03-19 2022-12-06 广州爱科赛尔云数据科技有限公司 基于Jetson TX1平台的前端人脸实时检测方法
CN111797652A (zh) * 2019-04-09 2020-10-20 佳能株式会社 对象跟踪方法、设备及存储介质
CN110210285A (zh) * 2019-04-16 2019-09-06 浙江大华技术股份有限公司 人脸跟踪方法、人脸跟踪装置以及计算机存储介质
CN110097586B (zh) * 2019-04-30 2023-05-30 青岛海信网络科技股份有限公司 一种人脸检测追踪方法及装置
CN111860066B (zh) * 2019-04-30 2023-10-27 百度时代网络技术（北京）有限公司 人脸识别方法和装置
CN110097578B (zh) * 2019-05-09 2021-08-17 电子科技大学 塑胶颗粒跟踪方法
CN110309716A (zh) * 2019-05-22 2019-10-08 深圳壹账通智能科技有限公司 基于人脸和体态的服务跟踪方法、装置、设备及存储介质
CN110414324A (zh) * 2019-06-17 2019-11-05 深圳壹账通智能科技有限公司 视频录制过程监控的方法、装置、计算机设备和存储介质
CN110363150A (zh) * 2019-07-16 2019-10-22 深圳市商汤科技有限公司 数据更新方法及装置、电子设备和存储介质
CN112286780B (zh) * 2019-07-23 2024-03-12 浙江宇视科技有限公司 识别算法的测试方法、装置、设备及存储介质
CN110633627A (zh) * 2019-08-01 2019-12-31 平安科技（深圳）有限公司 在视频中定位对象的方法、装置、计算机设备及存储介质
CN110619657B (zh) * 2019-08-15 2023-10-24 青岛文达通科技股份有限公司 一种面向智慧社区的多摄像机联动多目标追踪方法及系统
CN110533700B (zh) * 2019-08-30 2023-08-29 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
CN110569785B (zh) * 2019-09-05 2023-07-11 杭州智爱时刻科技有限公司 一种融合跟踪技术的人脸识别方法
CN110688930B (zh) * 2019-09-20 2023-07-18 Oppo广东移动通信有限公司 人脸检测方法、装置、移动终端及存储介质
CN110838133B (zh) * 2019-09-27 2020-11-24 深圳云天励飞技术有限公司 多目标跟踪方法及相关设备
CN110674786B (zh) * 2019-09-30 2023-05-02 联想(北京)有限公司 处理方法及装置
CN110826406A (zh) * 2019-10-08 2020-02-21 赵奕焜 一种基于深度学习模型的儿童高空防护方法
CN115311330B (zh) * 2019-10-11 2023-04-07 杭州云栖智慧视通科技有限公司 一种基于位置预测的视频多目标跟踪方法
CN112767436A (zh) * 2019-10-21 2021-05-07 深圳云天励飞技术有限公司 一种人脸检测跟踪方法及装置
CN110909651B (zh) * 2019-11-15 2023-12-26 腾讯科技（深圳）有限公司 视频主体人物的识别方法、装置、设备及可读存储介质
CN110930436B (zh) * 2019-11-27 2023-04-14 深圳市捷顺科技实业股份有限公司 一种目标跟踪方法及设备
CN110969110B (zh) * 2019-11-28 2023-05-02 杭州小影创新科技股份有限公司 一种基于深度学习的人脸跟踪方法及系统
CN111091078B (zh) * 2019-12-03 2023-10-24 北京华捷艾米科技有限公司 一种对象跟踪方法和相关设备
CN111145213A (zh) * 2019-12-10 2020-05-12 中国银联股份有限公司 一种目标跟踪方法、装置、系统及计算机可读存储介质
CN111028266B (zh) * 2019-12-16 2023-05-23 洛阳语音云创新研究院 畜禽盘点方法、装置、电子设备和存储介质
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
CN111178218B (zh) * 2019-12-23 2023-07-04 北京中广上洋科技股份有限公司 一种基于人脸识别的多特征联合视频追踪方法及系统
CN111144319A (zh) * 2019-12-27 2020-05-12 广东德融汇科技有限公司 用于k12教育阶段基于人脸识别的多视频人员跟踪方法
CN113052197B (zh) * 2019-12-28 2024-03-12 中移(成都)信息通信科技有限公司 身份识别的方法、装置、设备和介质
CN111209818A (zh) * 2019-12-30 2020-05-29 新大陆数字技术股份有限公司 视频个体识别方法、系统、设备及可读存储介质
CN111145409A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 人体识别定位跟踪系统
CN111460884A (zh) * 2020-02-09 2020-07-28 天津博宜特科技有限公司 基于人体跟踪的多人脸识别方法
CN111339852B (zh) * 2020-02-14 2023-12-26 阿波罗智联(北京)科技有限公司 追踪方法、装置、电子设备和计算机可读存储介质
CN111325137B (zh) * 2020-02-18 2023-06-13 上海东普信息科技有限公司 暴力分拣检测方法、装置、设备及存储介质
CN111414803A (zh) * 2020-02-24 2020-07-14 北京三快在线科技有限公司 人脸识别方法、装置、电子设备
CN111368753B (zh) * 2020-03-06 2023-04-28 西安奥卡云数据科技有限公司 一种人脸检测方法及装置
CN111368934B (zh) * 2020-03-17 2023-09-19 腾讯科技（深圳）有限公司 图像识别模型训练方法、图像识别方法以及相关装置
CN111402288A (zh) * 2020-03-26 2020-07-10 杭州博雅鸿图视频技术有限公司 目标检测跟踪方法及装置
CN111414885A (zh) * 2020-03-27 2020-07-14 海信集团有限公司 智能家居设备、服务器及图像处理方法
CN111460968B (zh) * 2020-03-27 2024-02-06 上海大学 基于视频的无人机识别与跟踪方法及装置
CN113449566B (zh) * 2020-03-27 2024-05-07 北京机械设备研究所 人在回路的“低慢小”目标智能图像跟踪方法及系统
CN111597893B (zh) * 2020-04-14 2023-08-04 北京大学 一种行人图像的匹配方法、装置、存储介质及终端
CN111553234B (zh) * 2020-04-22 2023-06-06 上海锘科智能科技有限公司 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN111583300B (zh) * 2020-04-23 2023-04-25 天津大学 一种基于富集目标形态变化更新模板的目标跟踪方法
CN111553262B (zh) * 2020-04-26 2023-09-01 上海微阱电子科技有限公司 一种快速检测目标图形的检测装置及方法
CN111639546A (zh) * 2020-05-07 2020-09-08 金钱猫科技股份有限公司 一种基于神经网络的小尺度目标云计算识别方法和装置
CN111681208B (zh) * 2020-05-08 2023-08-22 浙江大华技术股份有限公司 漏装零件检测方法、装置、计算机设备和存储介质
CN111695462A (zh) * 2020-05-29 2020-09-22 平安科技（深圳）有限公司 一种人脸识别方法、装置、存储介质和服务器
CN111797691A (zh) * 2020-06-03 2020-10-20 力引万物(深圳)科技有限公司 提高人脸识别准确率的方法及处理子系统
CN111860152A (zh) * 2020-06-12 2020-10-30 浙江大华技术股份有限公司 人员状态检测的方法、系统、设备和计算机设备
CN111860168B (zh) * 2020-06-18 2023-04-18 汉王科技股份有限公司 行人重识别方法、装置、电子设备及存储介质
CN111914635B (zh) * 2020-06-23 2023-12-26 北京迈格威科技有限公司 人体测温方法、装置、系统和电子设备
CN111738181A (zh) * 2020-06-28 2020-10-02 浙江大华技术股份有限公司 对象关联方法及装置、对象检索方法及装置
CN111832549B (zh) * 2020-06-29 2024-04-23 深圳市优必选科技股份有限公司 数据标注方法及装置
CN111968152B (zh) * 2020-07-15 2023-10-17 桂林远望智能通信科技有限公司 一种动态身份识别方法及装置
CN112069875B (zh) * 2020-07-17 2024-05-28 北京百度网讯科技有限公司 人脸图像的分类方法、装置、电子设备和存储介质
CN111860318A (zh) * 2020-07-20 2020-10-30 杭州品茗安控信息技术股份有限公司 一种建筑工地行人徘徊检测方法、装置、设备及存储介质
CN112001948B (zh) * 2020-07-30 2024-06-11 浙江大华技术股份有限公司 一种目标跟踪处理方法及装置
CN111861275B (zh) * 2020-08-03 2024-04-02 河北冀联人力资源服务集团有限公司 家政工作模式的识别方法和装置
CN112862859B (zh) * 2020-08-21 2023-10-31 海信视像科技股份有限公司 一种人脸特征值创建方法、人物锁定追踪方法及显示设备
CN112037247A (zh) * 2020-08-27 2020-12-04 浙江大华技术股份有限公司 一种目标跟踪的方法、装置及计算机存储介质
CN112084939A (zh) * 2020-09-08 2020-12-15 深圳市润腾智慧科技有限公司 图像特征数据管理方法、装置、计算机设备及存储介质
CN112149557B (zh) * 2020-09-22 2022-08-09 福州大学 一种基于人脸识别的人物身份跟踪方法及系统
CN112132041A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于计算机视觉的社区巡更分析方法及其系统
CN112101287B (zh) * 2020-09-25 2023-11-28 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备和存储介质
CN112188140A (zh) * 2020-09-29 2021-01-05 深圳康佳电子科技有限公司 一种人脸跟踪视频聊天方法、系统及存储介质
CN112200084A (zh) * 2020-10-10 2021-01-08 华航高科(北京)技术有限公司 用于视频流的人脸识别方法、装置、电子设备以及存储介质
CN112330710B (zh) * 2020-10-15 2023-03-17 深圳市视必得科技有限公司 运动目标的识别追踪方法、装置、服务器及可读存储介质
CN112329584A (zh) * 2020-10-29 2021-02-05 深圳技术大学 基于机器视觉自动识别电网异物的方法及系统、设备
CN112287880A (zh) * 2020-11-18 2021-01-29 苏州臻迪智能科技有限公司 云台姿态调整方法、装置、系统和电子设备
CN112507824A (zh) * 2020-11-27 2021-03-16 长威信息科技发展股份有限公司 一种视频图像特征识别的方法及系统
CN112784680B (zh) * 2020-12-23 2024-02-02 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
CN112560772B (zh) * 2020-12-25 2024-05-14 北京百度网讯科技有限公司 人脸的识别方法、装置、设备及存储介质
CN112686178B (zh) * 2020-12-30 2024-04-16 中国电子科技集团公司信息科学研究院 一种多视角目标轨迹生成方法、装置和电子设备
CN112699810B (zh) * 2020-12-31 2024-04-09 中国电子科技集团公司信息科学研究院 一种提升室内监控系统人物识别精度的方法及装置
CN112788238A (zh) * 2021-01-05 2021-05-11 中国工商银行股份有限公司 用于机器人跟随的控制方法和装置
CN112906466A (zh) * 2021-01-15 2021-06-04 深圳云天励飞技术股份有限公司 图像关联方法、系统及设备以及图像搜索方法及系统
CN113012190B (zh) * 2021-02-01 2024-02-06 河南省肿瘤医院 手卫生合规监测方法、装置、设备及存储介质
CN112837349A (zh) * 2021-02-09 2021-05-25 普联技术有限公司 一种目标跟踪方法、设备及计算机可读存储介质
CN112884809A (zh) * 2021-02-26 2021-06-01 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质
CN112884810B (zh) * 2021-03-18 2024-02-02 沈阳理工大学 一种基于YOLOv3的行人跟踪方法
CN115147451A (zh) * 2021-03-29 2022-10-04 华为技术有限公司 目标跟踪方法及其装置
CN113095199B (zh) * 2021-04-06 2022-06-14 复旦大学 一种高速行人识别方法及装置
CN112990119B (zh) * 2021-04-25 2021-09-10 之江实验室 一种视频多目标人脸表情识别方法和系统
CN113177459A (zh) * 2021-04-25 2021-07-27 云赛智联股份有限公司 一种智慧机场服务的视频智能分析方法及系统
CN113112525B (zh) * 2021-04-27 2023-09-01 北京百度网讯科技有限公司 目标跟踪方法、网络模型及其训练方法、设备和介质
CN116990874A (zh) * 2021-06-09 2023-11-03 同方威视技术股份有限公司 安检数据关联方法和装置、以及x射线安检系统
CN113747115A (zh) * 2021-06-25 2021-12-03 深圳市威尔电器有限公司 天眼网络视频监控方法、系统、装置及存储介质
CN113516093A (zh) * 2021-07-27 2021-10-19 浙江大华技术股份有限公司 标识信息的标注方法及装置、存储介质及电子装置
CN113674318A (zh) * 2021-08-16 2021-11-19 支付宝(杭州)信息技术有限公司 一种目标跟踪方法、装置及设备
CN113723520A (zh) * 2021-08-31 2021-11-30 深圳市中博科创信息技术有限公司 基于特征更新的人员轨迹追踪方法、装置、设备及介质
CN113837066A (zh) * 2021-09-22 2021-12-24 深圳市商汤科技有限公司 行为识别方法、装置、电子设备及计算机存储介质
CN114092516B (zh) * 2021-11-08 2024-05-14 国汽智控(北京)科技有限公司 一种多目标跟踪检测方法、装置、设备及介质
CN113920169A (zh) * 2021-11-24 2022-01-11 商汤国际私人有限公司 目标跟踪、事件检测方法及装置、电子设备和存储介质
CN114299944B (zh) * 2021-12-08 2023-03-24 天翼爱音乐文化科技有限公司 视频处理方法、系统、装置及存储介质
CN114764786A (zh) * 2022-03-14 2022-07-19 什维新智医疗科技(上海)有限公司 一种基于超声视频流的病灶区域实时检测装置
CN114694184B (zh) * 2022-05-27 2022-10-14 电子科技大学 一种基于多模板特征更新的行人重识别方法及系统
CN115083004B (zh) * 2022-08-23 2022-11-22 浙江大华技术股份有限公司 一种身份识别方法、装置和计算机可读存储介质
CN116030524B (zh) * 2023-02-09 2023-06-23 摩尔线程智能科技(北京)有限责任公司 一种人脸识别方法及装置、电子设备和存储介质
CN115830517B (zh) * 2023-02-14 2023-06-13 江西云眼视界科技股份有限公司 基于视频的考场异常帧提取方法及系统
CN116309710A (zh) * 2023-02-27 2023-06-23 荣耀终端有限公司 目标追踪方法和电子设备
CN117440323B (zh) * 2023-12-20 2024-03-05 广东省人民医院 一种健康体检引导方法及系统
CN117808848B (zh) * 2024-03-01 2024-05-17 杭州穿石物联科技有限责任公司 一种识别跟踪方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324010A1 (en) * 2008-06-26 2009-12-31 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
TW201346782A (zh) * 2012-02-13 2013-11-16 Htc Corp 應用於行動裝置的自動連發影像擷取方法、應用於行動裝置用以在場景中追蹤物件的方法以及相關行動裝置
CN105787440A (zh) * 2015-11-10 2016-07-20 深圳市商汤科技有限公司 一种基于人脸特征和步态特征的安保管理方法及系统
CN106096535A (zh) * 2016-06-07 2016-11-09 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于双线性联合cnn的人脸验证方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156702A (zh) * 2015-04-01 2016-11-23 北京市商汤科技开发有限公司 身份认证方法及设备
CN104794458A (zh) * 2015-05-07 2015-07-22 北京丰华联合科技有限公司 一种从模糊视频中识别人员的方法
CN104794468A (zh) * 2015-05-20 2015-07-22 成都通甲优博科技有限责任公司 一种基于无人机动平台的人脸检测与跟踪方法
CN105931276B (zh) * 2016-06-15 2019-04-02 广州高新兴机器人有限公司 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324010A1 (en) * 2008-06-26 2009-12-31 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
TW201346782A (zh) * 2012-02-13 2013-11-16 Htc Corp 應用於行動裝置的自動連發影像擷取方法、應用於行動裝置用以在場景中追蹤物件的方法以及相關行動裝置
CN105787440A (zh) * 2015-11-10 2016-07-20 深圳市商汤科技有限公司 一种基于人脸特征和步态特征的安保管理方法及系统
CN106096535A (zh) * 2016-06-07 2016-11-09 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于双线性联合cnn的人脸验证方法

Also Published As

Publication number Publication date
CN106845385A (zh) 2017-06-13
TW201828158A (zh) 2018-08-01
WO2018133666A1 (zh) 2018-07-26

Similar Documents

Publication Publication Date Title
TWI677825B (zh) 視頻目標跟蹤方法和裝置以及非易失性電腦可讀儲存介質
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN108509859B (zh) 一种基于深度神经网络的无重叠区域行人跟踪方法
US10198823B1 (en) Segmentation of object image data from background image data
US11393103B2 (en) Target tracking method, device, system and non-transitory computer readable medium
US11741736B2 (en) Determining associations between objects and persons using machine learning models
JP7282851B2 (ja) 装置、方法及びプログラム
Portmann et al. People detection and tracking from aerial thermal views
WO2018188453A1 (zh) 人脸区域的确定方法、存储介质、计算机设备
CN110008867B (zh) 一种基于人物异常行为的预警方法、装置及存储介质
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
WO2017000115A1 (zh) 行人再识别方法及设备
JP6618395B2 (ja) 行動価値によって調査対象の位置を予測する装置、プログラム及び方法
CN106845338B (zh) 视频流中行人检测方法与系统
WO2022252642A1 (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
WO2019033570A1 (zh) 嘴唇动作分析方法、装置及存储介质
Xing et al. DE‐SLAM: SLAM for highly dynamic environment
WO2019033568A1 (zh) 嘴唇动作捕捉方法、装置及存储介质
Unzueta et al. Efficient generic face model fitting to images and videos
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
US20230394686A1 (en) Object Identification
KR20230166840A (ko) 인공지능을 이용한 객체 이동 경로 확인 방법
WO2020192868A1 (en) Event detection
Li et al. Presight: Enabling real-time detection of accessibility problems on sidewalks
Chowdhury et al. Human detection and localization in secure access control by analysing facial features