TW202125332A - 一種目標運動軌跡構建方法、設備以及計算機存儲介質 - Google Patents

一種目標運動軌跡構建方法、設備以及計算機存儲介質 Download PDF

Info

Publication number
TW202125332A
TW202125332A TW109123414A TW109123414A TW202125332A TW 202125332 A TW202125332 A TW 202125332A TW 109123414 A TW109123414 A TW 109123414A TW 109123414 A TW109123414 A TW 109123414A TW 202125332 A TW202125332 A TW 202125332A
Authority
TW
Taiwan
Prior art keywords
target
picture
feature
features
different types
Prior art date
Application number
TW109123414A
Other languages
English (en)
Inventor
付豪
李蔚琳
李曉通
張寅豔
劉暉
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202125332A publication Critical patent/TW202125332A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本發明公開了一種目標運動軌跡構建方法、設備以及計算機可讀存儲介 質，該目標運動軌跡構建方法包括：獲取與檢索條件匹配的至少兩種不同類型的目標特徵，其中至少兩種不同類型的目標特徵至少包括人臉特徵、人體特徵以及車輛特徵中的至少兩種；獲取分別與至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點；根據至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點的組合生成目標運動軌跡。通過上述方法，本發明可以通過輸入檢索條件匹配對應的目標特徵，並根據目標特徵關聯的拍攝時間和拍攝地點生成目標運動軌跡，提高目標運動軌跡構建方法的實用性。

Description

一種目標運動軌跡構建方法、設備以及計算機存儲介質
本發明涉及交通監控領域，特別是涉及一種目標運動軌跡構建方法、設備以及計算機存儲介質。本發明要求在2019年12月30日提交中國專利局，申請號為201911402892.7，申請名稱為“一種目標運動軌跡構建方法、設備以及電腦存儲介質”的中國專利申請的優先權，其全部內容通過引用結合在本發明中。
當前城市中建立了許多攝影鏡頭點位，可以捕捉到包含有人體、人臉、動力車、非動力車等各種內容的即時影片，對這些影片進行目標檢測和結構化解析，可以提取出人臉、人體、車輛的特徵和屬性資訊。在司法部門進行日常的影片偵查、疑犯追蹤等任務時，經常會需要上傳各個渠道收集到的帶有嫌疑人相關資訊(包括人臉、人體、作案/逃跑車輛等)的圖片和文本線索，再比對即時影片中的內容，通過檢索出帶有時空資訊的結果來還原嫌疑人的行動路線和逃跑軌跡等。
本發明提供一種目標運動軌跡構建方法、設備以及計算機可讀存儲介質。
本發明提供一種目標運動軌跡構建方法，該目標運動軌跡構建方法包括如下操作。
獲取與檢索條件匹配的至少兩種不同類型的目標特徵，其中該至少兩種不同類型的目標特徵至少包括人臉特徵、人體特徵以及車輛特徵中的至少兩種。
獲取分別與該至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點。
根據該至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點的組合生成目標運動軌跡。
其中，該根據該至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點的組合生成目標運動軌跡之步驟中進一步包括如下操作。
以該至少兩種不同類型的目標特徵中的某一類型的目標特徵作為主目標特徵，並以其他類型的目標特徵為輔目標特徵。
根據該主目標特徵的拍攝時間和拍攝地點，以及該輔目標特徵的拍攝時間和拍攝地點判斷該輔目標特徵與該主目標特徵相對位置是否符合目標的運動規律。
若不符合目標的運動規律，剔除該輔目標特徵所關聯的拍攝時間和拍攝地點。
其中，該根據該主目標特徵的拍攝時間和拍攝地點，以及該輔目標特徵的拍攝時間和拍攝地點判斷該輔目標特徵與該主目標特徵相對位置是否符合目標的運動規律之步驟中進一步包括如下操作。
根據該主目標特徵的拍攝地點以及該輔目標特徵的拍攝地點計算位置差。
根據該主目標特徵的拍攝時間以及該輔目標特徵的拍攝時間計算時間差。
基於該位置差和該時間差計算運動速度，當該運動速度小於或等於預設運動速度門檻值時，判斷該輔目標特徵與該主目標特徵相對位置符合目標的運動規律。
其中，該獲取分別與該至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點，包括如下操作。
獲取分別與該至少兩種不同類型的目標特徵對應的第一目標圖片。
至少基於該第一目標圖片確定該目標特徵關聯的拍攝時間和拍攝地點。
其中，該獲取分別與該至少兩種不同類型的目標特徵關聯的第一目標圖片之後，該方法還包括如下操作。
分別獲取該人臉特徵對應的目標人臉圖片，該人體特徵對應的目標人體圖片和/或該車輛特徵對應的目標車輛圖片。
在該目標人臉圖片與該目標人體圖片對應於同一第一目標圖片且具有預設空間關係的情況下，將該第一目標圖片中的該目標人臉圖片與該目標人體圖片關聯；在該目標人臉圖片與該目標車輛圖片對應於同一第一目標圖片且具有預設空間關係的情況下，將該第一自標圖片中的該目標人臉圖片與該目標車輛圖片關聯；在該目標人體圖片與該目標車輛圖片對應於同一第一目標圖片且具有預設空間關係的情況下，將該第一目標圖片中的該目標人體圖片與該目標車輛圖片關聯。
其中，在該至少兩種不同類型的目標特徵包括該人臉特徵的情況下，以及將該第一目標圖片中的該目標人臉圖片與該目標車輛圖片關聯之後，該方法還包括如下操作。
基於該目標車輛圖片獲取與該目標車輛圖片對應的第二目標圖片；
該至少基於該第一目標圖片確定該目標特徵關聯的拍攝時間和拍攝地點，包括如下操作。
基於該第一目標圖片和該第二目標圖片確定該目標特徵關聯的拍攝時間和拍攝地點。
其中，在該至少兩種不同類型的目標特徵包括該人臉特徵的情況下，以及將該第一目標圖片中的該目標人臉圖片與該目標人體圖片關聯之後，該方法還包括如下操作。
基於該目標人體圖片獲取與該目標人體圖片對應的第三目標圖片。
該至少基於該第一目標圖片確定該目標特徵關聯的拍攝時間和拍攝地點，包括如下操作。
基於該第一目標圖片和該第三目標圖片確定該目標特徵關聯的拍攝時間和拍攝地點。
其中，該預設空間關係包括以下至少一種。
該第一目標關聯圖片的圖像覆蓋範圍包含該第二目標關聯圖片的圖像覆蓋範圍。
該第一目標關聯圖片的圖像覆蓋範圍與該第二目標關聯圖片的圖像覆蓋範圍部分重疊。
該第一目標關聯圖片的圖像覆蓋範圍與該第二目標關聯圖片的 圖像覆蓋範圍相連接。
其中，該第一目標關聯圖片包括該目標人臉圖片、該目標人體圖片及該目標車輛圖片中的任一一種或多種，該第二目標關聯圖片包括該目標人臉圖片、該目標人體圖片及該目標車輛圖片中的任一一種或多種。
其中，該獲取與檢索條件匹配的至少兩種不同類型的目標特徵之步驟中包括如下操作。
獲取至少兩個該檢索條件。
從資料庫中檢索該至少兩個檢索條件中的任意一檢索條件相匹配的目標特徵。
其中，該檢索條件包括身份檢索條件、人臉檢索條件、人體檢索條件以及車輛檢索條件中的至少一個。
其中，該目標特徵預先關聯有身份資訊，該身份資訊為身份證資訊、姓名資訊和檔案資訊中的任意一種。
其中，該從資料庫中檢索該至少兩個檢索條件中的任意一檢索條件相匹配的目標特徵之步驟中包括如下操作。
以至少兩個檢索條件中的任意一檢索條件的樣本特徵作為聚類中心，對該資料庫中的目標特徵進行聚類，將該聚類中心的預設範圍內的目標特徵作為與該檢索條件相匹配的目標特徵。
本發明提供一種目標運動軌跡構建設備，該目標運動軌跡構建設備包括處理器和記憶體，記憶體中存儲有計算機程式，處理器用於執行計算機程式以實現上述目標運動軌跡構建方法之步驟。
本發明提供一種計算機可讀存儲介質，其中，計算機可讀存儲介質存儲有計算機程式，計算機程式被執行時實現上述目標運動軌跡構建之步驟。
500,600:目標運動軌跡構建設備
51:檢索模組
52:獲取模組
53:軌跡建構模組
61:處理器
62:記憶體
63:輸入輸出設備
64:匯流排
700:計算機可讀存儲介質
71:計算機程式
S101,S102,S103,S201,S202,S301,S302,S303,S401,S402:步驟
為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本發明的一些實施例，對本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些圖式獲得其他的圖式。
第1圖係本發明提供的目標運動軌跡構建方法第一實施例的流程示意圖。
第2圖係本發明提供的目標運動軌跡構建方法第二實施例的流程示意圖。
第3圖係本發明提供的目標運動軌跡構建方法第三實施例的流程示意圖。
第4圖係本發明提供的目標運動軌跡構建方法第四實施例的流程示意圖。
第5圖係本發明提供的目標運動軌跡構建設備一實施例的結構示意圖。
第6圖係本發明提供的目標運動軌跡構建設備另一實施例的結構示意圖。
第7圖係本發明提供的計算機可讀存儲介質一實施例的結構示意圖。
下面將結合本發明實施例中的圖式，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本發明的一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬本發明保護的範圍。
本發明提供了一種具體的目標運動軌跡構建方法。基於人臉檢索、人體檢索以及車輛檢索和影片結構化技術的發展，本發明提供的方法通過融合多種算法，自動將交通圖像中的人臉資訊、人體資訊以及車輛資訊等單一檢索對象或多個檢索對象的組合一次性同時檢索出結果，並且將所有的目標運動軌跡合併還原。
具體操作請參閱第1圖，第1圖係本發明提供的目標運動軌跡構建方法第一實施例的流程示意圖。本發明的目標運動軌跡構建方法應用於一種目標運動軌跡構建設備，目標運動軌跡構建設備可以為例如智慧手機、平板電腦、筆記型電腦、電腦或者可穿戴設備等終端設備，也可以是檢查點交通系統中的監控系統。在下述實施例的描述中，統一使用軌跡構建設備進行目標運動軌跡構建方法的描述。
如第1圖所示，本實施例的目標運動軌跡構建方法具體操作包括以下步驟。
S101：獲取與檢索條件匹配的至少兩種不同類型的目標特徵，其中至少兩種不同類型的目標特徵至少包括人臉特徵、人體特徵以及車輛特徵中的至少兩種。
軌跡構建設備獲取多個圖像資料，圖像資料的獲取可以直接從現有的交通巨量資料開源平臺或者從交通管理部門獲取。其中，圖像資料包括時間資訊和位置資訊。其中，軌跡構建設備還可以從現有的交通巨量資料開源平臺或者從交通管理部門獲取即時影片串流，然後對即時影片串流進行圖像影格切分，以獲取多個圖像資料。
具體地，圖像資料需要包括監控區域內的檢查點點位位置資訊，如經緯度(latitude,longitude)資訊等；還需要包括預設時間段，如一個月內的檢查點快照過車記錄資料，其中，檢查點快照過車記錄資料包括時間資訊。如果檢查點快照過車記錄資料中存儲有經緯度等位置資訊，檢查點點位位置資訊也可以直接在檢查點快照過車記錄資料內提取。
因為在極端情況下近一段時間內的快照記錄不能保證所有檢查點點位都有圖像資料，為保證監控區域內的所有檢查點點位不能缺少，此時，終 端設備需要從現有的交通巨量資料開源平臺或者交通管理部門獲取所有的檢查點點位位置資訊。
由於在原始圖像資料集合中可能會存在部分異常資料，在獲取圖像資料後，終端設備還可以對圖像資料進行前處理。具體地，終端設備判斷每個圖像資料中是否包括快照時間的時間資訊和包括經緯度資訊的位置資訊中的所有資訊。若圖像資料中缺失時間資訊和位置資訊中的任一種資訊，終端設備直接剔除對應的圖像資料，以免在後續時空預料庫出現資料缺失的問題。
終端設備對原始圖像資料中的重複資料、無效資料進行清洗，有利於資料分析。
其中，軌跡構建設備分別對多個圖像資料進行目標檢測，具體地，軌跡構建設備通過一種目標檢測算法或多種目標檢測算法的融合檢測出圖像資料中所有的人臉、人體和/或車輛，並將所有的人臉、人體和/或車輛的特徵進行提取，以形成目標特徵。
具體地，目標特徵可以包括從圖像資料中提取的圖像特徵和/或圖像特徵進行結構化解析所生成的文本特徵。圖像特徵包括圖像資料中所有的人臉特徵、人體特徵以及車輛特徵，文本特徵即將車輛特徵進行結構化解析所生成的特徵資訊，例如，軌跡構建設備可以對車輛特徵進行文字識別，以得到車輛特徵中的車牌號，將該車牌號作為文本特徵。
進一步地，軌跡構建設備接收用戶輸入的檢索條件，並根據檢索條件從動態資料庫中檢索與檢索條件相匹配的目標特徵。其中，軌跡構建設備獲取與檢索條件匹配的至少兩種不同類型的目標特徵，至少兩種不同類型的目標特徵至少包括人臉特徵、人體特徵以及車輛特徵中的至少兩種。獲取多種類型目標特徵有利於提取足夠的軌跡資訊，避免因拍攝模糊、障礙物遮擋等原因丟失部分重要軌跡資訊，提高軌跡構建方法的準確性。
其中，檢索條件可以為警方通過現場勘查、派出所上報、快照檢索等渠道獲取得到的檢索目標的人臉人體圖像、作案/逃跑車輛圖像等，或包含上述圖像資訊的任意圖像或本文。
例如，警方向軌跡構建設備輸入作案嫌疑人的人臉人體圖像後，軌跡構建設備根據人臉人體圖像從動態資料庫中檢索與該人臉人體圖像相匹配的目標特徵。
S102：獲取分別與至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點。
其中，軌跡構建設備獲取圖像資料的目標特徵後，進一步獲取該圖像資料的拍攝時間和拍攝地點，並將同一圖像資料的目標特徵與對應的拍攝時間和拍攝地點進行關聯。關聯方式可以為存儲在同一存儲空間，也可以為設置同一標識號等。
具體地，軌跡構建設備從圖像資料的時間資訊中獲取目標特徵的拍攝時間，軌跡構建設備從圖像資料的位置資訊中獲取目標特徵的拍攝地點。
軌跡構建設備進一步將關聯的目標特徵與拍攝時間和拍攝地點存儲到動態資料庫中，其中，動態資料庫設置可以在伺服器中，也可以在本地記憶體中，還可以在雲端。
S103：根據至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點的組合生成目標運動軌跡。
其中，軌跡構建設備從動態資料庫中提取與檢索條件相匹配的目標特徵所關聯的拍攝時間和拍攝地點，並根據目標特徵的順序，即拍攝時間順序將拍攝地點連接，以生成目標運動軌跡。
在本實施例中，目標運動軌跡構建設備獲取與檢索條件匹配的至少兩種不同類型的目標特徵，其中至少兩種不同類型的目標特徵至少包括人臉 特徵、人體特徵以及車輛特徵中的至少兩種；獲取分別與至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點；根據至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點的組合生成目標運動軌跡。通過上述方法，本發明可以通過輸入檢索條件匹配對應的目標特徵，並根據目標特徵關聯的拍攝時間和拍攝地點生成目標運動軌跡，提高目標運動軌跡構建方法的實用性。
在上述實施例中的S101的基礎上，本發明還提供了另一種具體的目標運動軌跡構建方法，具體操作請參閱第2圖，第2圖係本發明提供的目標運動軌跡構建方法第二實施例的流程示意圖。
如第2圖所示，本實施例的目標運動軌跡構建方法具體操作包括以下步驟。
S201：獲取至少兩個檢索條件。
其中，本發明所示的至少兩個檢索條件包括人臉檢索條件、人體檢索條件以及車輛檢索條件中的至少兩個。基於上述檢索條件種類，本發明還提供了對應的檢索方式。
具體地，當軌跡構建設備獲取一個圖像資料，並將人臉、人體、車輛等任意目標或目標組合作為檢索條件時，軌跡構建設備自動調用的檢索算法類型分別為如下表格。
Figure 109123414-A0101-12-0010-9
進一步地，檢索條件還可以包括身份檢索條件，其中，上述目標特徵預先關聯有身份資訊，身份資訊為身份證資訊、姓名資訊和檔案資訊中的任意一種。
S202：從資料庫中檢索至少兩個檢索條件中的任意一檢索條件相匹配的目標特徵。
其中，軌跡構建設備在動態資料庫中檢索所需要的目標特徵時，分別將目標特徵與用戶輸入的至少兩個檢索條件進行匹配，並選擇與至少兩個檢索條件中任意一檢索條件相匹配的目標特徵。
例如，用戶輸入的兩個檢索條件分別為人臉檢索條件和車輛檢索條件時，軌跡構建設備基於人臉檢索條件和車輛檢索條件在動態資料庫中進行檢索，並提取與人臉檢索條件和車輛檢索條件中至少一個檢索條件相匹配的目標特徵，從而實現對目標特徵的多維度檢索，避免出現單一維度檢索導致的軌跡點缺失的問題。
其中，基於人臉檢索條件的人臉檢索方式具體操作為：用戶上傳的圖像中的人臉與動態資料庫內目標特徵的人臉進行比對，返回相似度超過設定門檻值以上的目標特徵。基於人臉檢索條件和人體檢索條件的融合檢索方式具體操作為：用戶上傳的圖像中的人臉或人體與動態資料庫內目標特徵的人臉或人體進行比對，返回相似度超過設定門檻值以上的目標特徵。基於車輛檢索條件的車輛檢索方式具體操作為：用戶上傳的圖像中的車輛與動態資料庫內目標特徵的車輛進行比對，返回相似度超過設定門檻值以上的目標特徵；車輛檢索方式也可以通過用戶輸入的車牌號，查找動態資料庫中結構化提取出的車牌號，返回車牌號對應的目標特徵。基於人臉檢索條件的人臉檢索方式具體操作為：用戶輸入身份證資訊、姓名資訊和檔案資訊中的任意一種，基於上述資訊匹配關聯有對應身份資訊的目標特徵。例如，當警方需要追捕作案嫌疑人時，可以向軌跡構 建設備輸入該作案嫌疑人的身份識別資訊，身份識別資訊可以為檔案ID、姓名、身份證和車牌號中的任意一種資訊。
具體地，軌跡構建設備將用戶輸入的至少兩個檢索條件中的任意一檢索條件的樣本特徵作為聚類中心，對資料庫中的目標特徵進行聚類，將聚類中心的預設範圍內的目標特徵作為與檢索條件相匹配的目標特徵。
在本實施例中，軌跡構建設置通過人臉檢索條件、人體檢索條件、車輛檢索條件以及身份檢索條件中的任意兩個檢索條件對目標特徵進行檢索，能夠實現多維度檢索，以提高檢索的精度和效率。
在上述實施例的S102的基礎上，本發明還提供了又一種具體的目標運動軌跡構建方法，具體操作請參閱第3圖，第3圖係本發明提供的目標運動軌跡構建方法第三實施例的流程示意圖。
如第3圖所示，本實施例的目標運動軌跡構建方法具體操作包括以下步驟。
S301：以至少兩種不同類型的目標特徵中的某一類型的目標特徵作為主目標特徵，並以其他類型的目標特徵為輔目標特徵。
其中，由於人臉特徵是所有目標特徵中最具表現力的特徵類型，軌跡構建設備將人臉特徵設置為主目標特徵，將其他類型的目標特徵，如人體特徵以及車輛特徵等作為輔目標特徵。
S302：根據主目標特徵的拍攝時間和拍攝地點，以及輔目標特徵的拍攝時間和拍攝地點判斷輔目標特徵與該主目標特徵相對位置是否符合目標的運動規律。
具體地，軌跡構建設備獲取相鄰的主目標特徵和輔目標特徵，根據主目標特徵的拍攝地點和輔目標特徵的拍攝地點計算位移差，以及根據主目 標特徵的拍攝時間和輔目標特徵的拍攝時間計算時間差。進而，軌跡構建設備根據位移差和時間差，計算主目標特徵和輔目標特徵之間的運動速度。
S303：若不符合目標的運動規律，剔除輔目標特徵所關聯的拍攝時間和拍攝地點。
其中，軌跡構建設備可以基於道路的最大限行速度、區間測速資料、歷史行人資料等預設一運動速度門檻值。當主目標特徵和輔目標特徵之間的運動速度大於預設的運動速度門檻值時，說明主目標特徵和輔目標特徵無法正常關聯，進而剔除輔目標特徵所關聯的拍攝時間和拍攝地點。
在本實施例中，軌跡構建設備通過檢測目標特徵之間的關係，判斷是否符合目標的運動規律，從而剔除錯誤目標特徵所關聯的拍攝時間和拍攝地點，從而提高目標運動軌跡構建方法的準確性。
在上述實施例的S103的基礎上，本發明還提供了又一種具體的目標運動軌跡構建方法，具體操作請參閱第4圖，第4圖係本發明提供的目標運動軌跡構建方法第四實施例的流程示意圖。
如第4圖所示，本實施例的目標運動軌跡構建方法具體操作包括以下步驟。
S401：獲取分別與至少兩種不同類型的目標特徵對應的第一目標圖片。
其中，軌跡構建設備獲取第一目標圖片，第一目標圖片中至少包括兩種不同類型的目標特徵。
具體地，軌跡構建設備分別獲取人臉特徵對應的目標人臉圖片，人體特徵對應的目標人體圖片和車輛特徵對應的目標車輛圖片，上述圖片可以存在於同一第一目標圖片。
當目標人驗圖片、目標人體圖片和/或目標車輛圖片存在於同一第一目標圖片時，軌跡構建設備進一步根據預設空間關係將目標人臉圖片、目標人體圖片和/或目標車輛圖片進行關聯。
其中，以目標人臉圖片和目標車輛圖片為例，預設空間關係包括以下中的任意一種：目標車輛圖片的圖像覆蓋範圍包含目標人臉圖片的圖像覆蓋範圍；目標車輛圖片的圖像覆蓋範圍與目標人臉圖片的圖像覆蓋範圍部分重疊；目標車輛圖片的圖像覆蓋範圍與目標人臉圖片的圖像覆蓋範圍相連接。
在本實施例中，通過預設空間關係對目標人臉圖片、目標人體圖片和目標車輛圖片之間是否具有關聯關係進行判斷，能夠快速準確地識別人臉、人體以及車輛之間的關係。例如，駕駛員駕駛動力車的情況，目標車輛圖片覆蓋範圍包含車輛內部的駕駛員的目標人臉圖片覆蓋範圍，因此判斷兩者具有關聯關係，從而進行相互關聯；騎車人騎行電動車的情況，騎車人目標人體圖片的圖像覆蓋範圍與目標車輛圖片的圖像覆蓋範圍具有部分重疊，因此判斷兩者具有關聯關係，從而進行相互關聯。
在至少兩種不同類型的目標特徵包括人臉特徵的情況下，以及將第一目標圖片中的目標人臉圖片與目標車輛圖片關聯之後，軌跡構建設備基於目標車輛圖片獲取與目標車輛圖片對應的第二目標圖片；或者，在至少兩種不同類型的目標特徵包括人臉特徵的情況下，以及將第一目標圖片中的目標人臉圖片與目標人體圖片關聯之後，軌跡構建設備基於目標人體圖片獲取與目標人體圖片對應的第三目標圖片。
獲取與目標車輛圖片對應的第二目標圖片和與目標人體圖片對應的第三目標圖片，是為了在某一目標圖片中不包括目標人臉圖像時，可以根據關聯關係以及目標車輛圖片和/或目標人體圖片搜索目標人臉圖像，以豐富目標運動軌跡構建的軌跡資訊。
S402：至少基於第一目標圖片確定目標特徵關聯的拍攝時間和拍攝地點。
軌跡構建設備基於第一目標圖片、第二目標圖片和/或第三目標圖片確定目標特徵關聯的拍攝時間和拍攝地點。
為了實現上述實施例的目標運動軌跡構建方法，本發明還提供了一種目標運動軌跡構建設備，具體操作請參閱第5圖，第5圖係本發明提供的目標運動軌跡構建設備一實施例的結構示意圖。
本實施例的目標運動軌跡構建設備500可用於執行或實現以上任意實施例中的目標運動軌跡構建方法。如圖5所示，目標運動軌跡構建設備500包括檢索模組51、獲取模組52以及軌跡構建模組53。
其中，檢索模組51，用於獲取與檢索條件匹配的至少兩種不同類型的目標特徵，其中至少兩種不同類型的目標特徵至少包括人臉特徵、人體特徵以及車輛特徵中的至少兩種。
獲取模組52，用於獲取分別與至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點。
軌跡構建模組53，用於根據該至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點的組合生成目標運動軌跡。
為了實現上述實施例的目標運動軌跡構建方法，本發明還提供了另一種目標運動軌跡構建設備，具體操作請參閱第6圖，第6圖係本發明提供的目標運動軌跡構建設備另一實施例的結構示意圖。
如第6圖所示，本實施例的自標運動軌跡構建設備600包括處理器61、記憶體62、輸入輸出設備63以及匯流排64。
該處理器61、記憶體62、輸入輸出設備63分別與匯流排64相連，該記憶體62中存儲有計算機程式，處理器61用於執行計算機程式以實現上述實施例的目標運動軌跡構建方法。
在本實施例中，處理器61還可以稱為CPU(Central Processing Unit，中央處理單元)。處理器61可能是一種積體電路晶片，具有訊號的處理能力。處理器61還可以是通用處理器、數位訊號處理器(DSP，Digital Signal Processing)、專用積體電路(ASIC，application specific IC)、現場可程式化邏輯閘陣列(FPGA，field programmable gate array)或者其它可程式化邏輯閘器件、分立門或者電晶體邏輯閘器件、分立硬體組件。處理器61還可以是GPU(Graphics Processing Unit，圖形處理器)，又稱顯示核心、視覺處理器、顯示晶片，是一種專門在個人電腦、工作站、遊戲機和一些移動設備(如平板電腦、智慧手機等)上圖像運算工作的微處理器。GPU的用途是將計算機系統所需要的顯示資訊進行轉換驅動，並向顯示器提供行掃描訊號，控制顯示器的正確顯示，是連接顯示器和個人電腦主板的重要元件，也是“人機對話”的重要設備之一。顯卡作為電腦主機裡的一個重要組成部分，承擔輸出顯示圖形的任務，對於從事專業圖形設計的人來說顯卡非常重要。通用處理器可以是微處理器或者該處理器51也可以是任何常規的處理器等。
本發明還提供一種計算機可讀存儲介質，如第7圖所示，計算機可讀存儲介質700用於存儲計算機程式71，計算機程式71在被處理器執行時，用以實現如本發明目標運動軌跡構建方法實施例中該的方法。
本發明目標運動軌跡構建方法實施例中所涉及到的方法，在實現時以軟件功能單元的形式存在並作為獨立的產品銷售或使用時，可以存儲在設備中，例如一個計算機可讀取存儲介質。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟 件產品的形式體現出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一台計算機設備(可以是個人計算機，伺服器，或者網絡設備等)或處理器(processor)執行本發明各個實施方式該方法的全部或部分步驟。而前述的存儲介質包括：USB隨身碟、移動硬碟、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、磁碟或者光碟等各種可以存儲程式碼的介質。
以上該僅為本發明的實施方式，並非因此限制本發明的專利範圍，凡是利用本發明說明書及圖式內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護範圍內。
S101,S102,S103:步驟

Claims (14)

  1. 一種目標運動軌跡構建方法，其中，該方法包括：
    獲取與檢索條件匹配的至少兩種不同類型的目標特徵，其中該至少兩種不同類型的目標特徵至少包括人臉特徵、人體特徵以及車輛特徵中的至少兩種；
    獲取分別與該至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點；
    根據該至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點的組合生成目標運動軌跡。
  2. 如請求項1之方法，其中，於根據該至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點的組合生成目標運動軌跡之步驟中進一步包括：
    以該至少兩種不同類型的目標特徵中的某一類型的目標特徵作為主目標特徵，並以其他類型的目標特徵為輔目標特徵；
    根據該主目標特徵的拍攝時間和拍攝地點，以及該輔目標特徵的拍攝時間和拍攝地點判斷該輔目標特徵與該主目標特徵相對位置是否符合目標的運動規律；
    若不符合目標的運動規律，剔除該輔目標特徵所關聯的拍攝時間和拍攝地點。
  3. 如請求項2之方法，其中，於根據該主目標特徵的拍攝時間和拍攝地點，以及該輔目標特徵的拍攝時間和拍攝地點判斷該輔目標特徵與該主目標特徵相對位置是否符合目標的運動規律之步驟中進一步包括：
    根據該主目標特徵的拍攝地點以及該輔目標特徵的拍攝地點計算位置差；
    根據該主目標特徵的拍攝時間以及該輔目標特徵的拍攝時間計算時間差；
    基於該位置差和該時間差計算運動速度，當該運動速度大於預設運動速度門檻值時，判斷該輔目標特徵與該主目標特徵相對位置不符合目標的運動規律。
  4. 如請求項3之方法，其中，於獲取分別與該至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點之步驟中，包括：
    獲取分別與該至少兩種不同類型的目標特徵對應的第一目標圖片；
    至少基於該第一目標圖片確定該目標特徵關聯的拍攝時間和拍攝地點。
  5. 如請求項4之方法，其中，於獲取分別與該至少兩種不同類型的目標特徵關聯的第一目標圖片之後，該方法之步驟中還包括：
    分別獲取該人臉特徵對應的目標人臉圖片，該人體特徵對應的目標人體圖片和/或該車輛特徵對應的目標車輛圖片；
    在該目標人臉圖片與該目標人體圖片對應於同一第一目標圖片且具有預設空間關係的情況下，將該第一目標圖片中的該目標人臉圖片與該目標人體圖片關聯；在該目標人臉圖片與該目標車輛圖片對應於同一第一目標圖片且具有預設空間關係的情況下，將該第一目標圖片中的該目標人臉圖片與該目標車輛圖片關聯；在該目標人體圖片與該目標車輛圖片對應於同一第一目標圖片且具有預設空間關係的情況下，將該第一目標圖片中的該目標人體圖片與該目標車輛圖片關聯。
  6. 如請求項5之方法，其中，在該至少兩種不同類型的目標特徵包括該人臉特徵的情況下，以及將該第一目標圖片中的該目標人臉圖片與該目標車輛圖片關聯之後，該方法之步驟中還包括：
    基於該目標車輛圖片獲取與該目標車輛圖片對應的第二目標圖片；
    該至少基於該第一目標圖片確定該目標特徵關聯的拍攝時間和拍攝地點，包括：
    基於該第一目標圖片和該第二目標圖片確定該目標特徵關聯的拍攝時間和拍攝地點。
  7. 如請求項5之方法，其中，在該至少兩種不同類型的目標特徵包括該人臉特徵的情況下，以及將該第一目標圖片中的該目標人臉圖片與該目標人體圖片關聯之後，該方法之步驟中還包括：
    基於該目標人體圖片獲取與該目標人體圖片對應的第三目標圖片；
    該至少基於該第一目標圖片確定該目標特徵關聯的拍攝時間和拍攝地點，包括：
    基於該第一目標圖片和該第三目標圖片確定該目標特徵關聯的拍攝時間和拍攝地點。
  8. 如請求項5-7任一項之方法，其中，該預設空間關係包括以下至少一種：
    該第一目標關聯圖片的圖像覆蓋範圍包含該第二目標關聯圖片的圖像覆蓋範圍；
    該第一目標關聯圖片的圖像覆蓋範圍與該第二目標關聯圖片的圖像覆蓋範圍部分重疊；
    該第一目標關聯圖片的圖像覆蓋範圍與該第二目標關聯圖片的圖像覆蓋範圍相連接；
    其中，該第一目標關聯圖片包括該目標人臉圖片、該目標人體圖片及該目標車輛圖片中的任一一種或多種，該第二目標關聯圖片包括該目標人臉圖片、該目標人體圖片及該目標車輛圖片中的任意一種或多種。
  9. 如請求項1之方法，其中，於獲取與檢索條件匹配的至少兩種不同類型的目標特徵之步驟中包括：
    獲取至少兩個該檢索條件；
    從資料庫中檢索該至少兩個檢索條件中的任意一檢索條件相匹配的目標特徵。
  10. 如請求項9之方法，其中，該檢索條件包括身份檢索條件、人臉檢索條件、人體檢索條件以及車輛檢索條件中的至少一個；
    其中，該目標特徵預先關聯有身份資訊，該身份資訊為身份證資訊、姓名資訊和檔案資訊中的任意一種。
  11. 如請求項9之方法，其中，於從資料庫中檢索該至少兩個檢索條件中的任意一檢索條件相匹配的目標特徵之步驟中包括：
    以至少兩個檢索條件中的任意一檢索條件的樣本特徵作為聚類中心，對該資料庫中的目標特徵進行聚類，將該聚類中心的預設範圍內的目標特徵作為與該檢索條件相匹配的目標特徵。
  12. 一種目標運動軌跡構建設備，其中，該設備包括檢索模組、獲取模組以及軌跡構建模組；
    該檢索模組，用於獲取與檢索條件匹配的至少兩種不同類型的目標特徵，其中該至少兩種不同類型的目標特徵至少包括人臉特徵、人體特徵以及車輛特徵中的至少兩種；
    該獲取模組，用於獲取分別與該至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點；
    該軌跡構建模組，用於根據該至少兩種不同類型的目標特徵關聯的拍攝時間和拍攝地點的組合生成目標運動軌跡。
  13. 一種目標運動軌跡構建設備，其中，該設備包括處理器和記憶體；該記憶體中存儲有計算機程式，該處理器用於執行該計算機程式以實現如請求項1-11中任一項目標運動軌跡構建方法之步驟。
  14. 一種計算機可讀存儲介質，其中，該計算機可讀存儲介質存儲有計算機程式，該計算機程式被執行時實現如請求項1-11中任一項目標運動軌跡構建方法之步驟。
TW109123414A 2019-12-30 2020-07-10 一種目標運動軌跡構建方法、設備以及計算機存儲介質 TW202125332A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911402892.7 2019-12-30
CN201911402892.7A CN111400550A (zh) 2019-12-30 2019-12-30 一种目标运动轨迹构建方法、设备以及计算机存储介质

Publications (1)

Publication Number Publication Date
TW202125332A true TW202125332A (zh) 2021-07-01

Family

ID=71428378

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109123414A TW202125332A (zh) 2019-12-30 2020-07-10 一種目標運動軌跡構建方法、設備以及計算機存儲介質

Country Status (6)

Country Link
US (1) US20220301317A1 (zh)
JP (1) JP2023505864A (zh)
KR (1) KR20220098030A (zh)
CN (1) CN111400550A (zh)
TW (1) TW202125332A (zh)
WO (1) WO2021135138A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364722A (zh) * 2020-10-23 2021-02-12 岭东核电有限公司 核电作业人员监控处理方法、装置和计算机设备
CN112883214B (zh) * 2021-01-07 2022-10-28 浙江大华技术股份有限公司 特征检索方法、电子设备及存储介质
CN114543674B (zh) * 2022-02-22 2023-02-07 成都睿畜电子科技有限公司 一种基于图像识别的检测方法及系统
CN114724122B (zh) * 2022-03-29 2023-10-17 北京卓视智通科技有限责任公司 一种目标追踪方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6226721B2 (ja) * 2012-12-05 2017-11-08 キヤノン株式会社 再生制御装置、再生制御方法、プログラム及び記憶媒体
US9176987B1 (en) * 2014-08-26 2015-11-03 TCL Research America Inc. Automatic face annotation method and system
CN105975633A (zh) * 2016-06-21 2016-09-28 北京小米移动软件有限公司 运动轨迹的获取方法及装置
CN108875548B (zh) * 2018-04-18 2022-02-01 科大讯飞股份有限公司 人物轨迹生成方法及装置、存储介质、电子设备
CN109189972A (zh) * 2018-07-16 2019-01-11 高新兴科技集团股份有限公司 一种目标行踪确定方法、装置、设备及计算机存储介质
CN110070005A (zh) * 2019-04-02 2019-07-30 腾讯科技（深圳）有限公司 图像目标识别方法、装置、存储介质及电子设备
CN110532923A (zh) * 2019-08-21 2019-12-03 深圳供电局有限公司 一种人物轨迹检索方法及其系统
CN110532432A (zh) * 2019-08-21 2019-12-03 深圳供电局有限公司 一种人物轨迹检索方法及其系统、计算机可读存储介质
CN110609916A (zh) * 2019-09-25 2019-12-24 四川东方网力科技有限公司 视频图像数据检索方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2021135138A1 (zh) 2021-07-08
CN111400550A (zh) 2020-07-10
KR20220098030A (ko) 2022-07-08
US20220301317A1 (en) 2022-09-22
JP2023505864A (ja) 2023-02-13

Similar Documents

Publication Publication Date Title
Shah et al. CADP: A novel dataset for CCTV traffic camera based accident analysis
TW202125332A (zh) 一種目標運動軌跡構建方法、設備以及計算機存儲介質
Feris et al. Large-scale vehicle detection, indexing, and search in urban surveillance videos
US20220092881A1 (en) Method and apparatus for behavior analysis, electronic apparatus, storage medium, and computer program
US20210012094A1 (en) Two-stage person searching method combining face and appearance features
US20210382933A1 (en) Method and device for archive application, and storage medium
WO2022227490A1 (zh) 行为识别方法、装置、设备、存储介质、计算机程序及程序产品
CN101778260A (zh) 一种基于结构化描述的视频监控管理方法及系统
WO2020155790A1 (zh) 理赔信息提取方法和装置、电子设备
CN111488855A (zh) 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN109784220B (zh) 一种确定路人轨迹的方法及装置
KR20180015101A (ko) 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법
CN110619280B (zh) 一种基于深度联合判别学习的车辆重识别方法及装置
US20230008356A1 (en) Video processing apparatus, method and computer program
JPWO2018179119A1 (ja) 映像解析装置、映像解析方法およびプログラム
CN112633244B (zh) 一种社交关系的识别方法、装置、电子设备及存储介质
CN110751065B (zh) 训练数据的采集方法及装置
CN112329665A (zh) 一种人脸抓拍系统
TW202125284A (zh) 基於圖片的多維資訊整合方法及相關設備
CN112541403A (zh) 一种利用红外摄像头的室内人员跌倒检测方法
Duanmu et al. A multi-view pedestrian tracking framework based on graph matching
Golda Image-based Anomaly Detection within Crowds
US20220027406A1 (en) Method and system for using geographic information to direct video
WO2022079841A1 (ja) グループ特定装置、グループ特定方法、及びコンピュータ読み取り可能な記録媒体
Keh et al. Social Distancing Monitoring and Contact Tracing on CCTV Footage