TWI792693B - 用於進行人物重辨識的方法與裝置 - Google Patents

用於進行人物重辨識的方法與裝置 Download PDF

Info

Publication number
TWI792693B
TWI792693B TW110142967A TW110142967A TWI792693B TW I792693 B TWI792693 B TW I792693B TW 110142967 A TW110142967 A TW 110142967A TW 110142967 A TW110142967 A TW 110142967A TW I792693 B TWI792693 B TW I792693B
Authority
TW
Taiwan
Prior art keywords
feature vector
character feature
update
registered
character
Prior art date
Application number
TW110142967A
Other languages
English (en)
Other versions
TW202321984A (zh
Inventor
陳建豪
楊朝勛
吳治緯
陳世澤
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW110142967A priority Critical patent/TWI792693B/zh
Priority to US17/685,383 priority patent/US20230154223A1/en
Application granted granted Critical
Publication of TWI792693B publication Critical patent/TWI792693B/zh
Publication of TW202321984A publication Critical patent/TW202321984A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

一種用於進行人物重辨識的方法，包含：根據包含有一人物的一擷取圖像，得到一人物特徵向量；根據該擷取圖像中該人物的狀態，得到一狀態資訊；將該人物特徵向量與一重辨識資料庫中的複數個已註冊人物特徵向量進行匹配；當該人物特徵向量與該複數個已註冊人物特徵向量中之一第一已註冊人物特徵向量匹配成功時，將該人物識別為該第一已註冊人物特徵向量所對應的一第一人物身分；以及根據該狀態資訊，選擇性地使用該人物特徵向量更新對應於該第一人物身分的該第一已註冊人物特徵向量與至少一第二已註冊人物特徵向量中的一者。

Description

用於進行人物重辨識的方法與裝置
本發明係關於人物重辨識(Person Re-Identification)，尤指一種用於根據人物的狀態資訊來管理人物重辨識資料庫的註冊與更新，從而進行人物重辨識的方法與相關裝置。
一般來說，使用深度學習網路於辨識相關的應用，如：人物重辨識(Person Re-Identification)，大抵包含身分註冊和資料庫比對這兩個流程。在身分註冊流程中，深度學習網路在得到了包含有人物的來源圖片之後，就會輸出一個代表該人物的人物特徵向量，並將此向量及該人物的身分(由使用者輸入或系統自動配發)註冊到資料庫中，建立關聯以完成身分註冊。而在資料庫比對流程中，當該人物再次出現在來源圖像中時，深度學習網路據此產生人物特徵向量，利用此向量與資料庫中所有已註冊向量進行比對，若其與資料庫中的某個已註冊向量的距離小於臨界值，則判定人物具有該已註冊向量所對應的身分。由此可知，若資料庫中的人物特徵向量無法準確地反映或呈現人物的狀態，則會導致辨識失敗。換言之，身分註冊的控制與管理會直接影響到辨識精準度。
本發明提出一種用於根據人物的狀態資訊來管理人物重辨識資料庫的更新與註冊，從而進行人物重辨識的方法與相關裝置。其中，為了能追蹤人物的狀態變化，本發明實施例將即時地更新人物重辨識資料庫，一旦從來源圖像中計算出的人物特徵向量與重辨識資料庫中的已註冊向量成功匹配時，本發明便會採用當前的人物特徵向量更新重辨識資料庫中的已註冊向量。再者，為了確保重辨識資料庫可以涵蓋人物所有可能的狀態變化，本發明實施例在註冊與更新重辨識資料庫時還會參考從來源圖像中判別出的當前人物狀態，而當前的人物特徵向量只會被用來更新重辨識資料庫中，與當前人物狀態相似或相關聯的已註冊向量。如此一來，人物重辨識資料庫便可以保留與當前人物狀態差異較大的已註冊向量，以便後續人物狀態發生劇烈改變時，仍能正確地辨識出人物。
本發明的實施例提供一種用於進行人物重辨識的方法，該方法包含：根據包含有一人物的一擷取圖像，得到一人物特徵向量；根據該擷取圖像中該人物的狀態，得到一狀態資訊；將該人物特徵向量與一重辨識資料庫中的複數個已註冊人物特徵向量進行匹配；當該人物特徵向量與該複數個已註冊人物特徵向量中之一第一已註冊人物特徵向量匹配成功時，將該人物識別為該第一已註冊人物特徵向量所對應的一第一人物身分；以及根據該狀態資訊，選擇性地使用該人物特徵向量更新對應於該第一人物身分的該第一已註冊人物特徵向量與至少一第二已註冊人物特徵向量中的一者。
本發明之一實施例提供一種用於進行人物重辨識的裝置，該裝置包含：一儲存單元以及一處理單元。該儲存單元用以儲存一程式碼。該處理單元用以執行該程式碼，以至於該處理單元得以執行以下操作：根據包含有一人物 的一擷取圖像，得到一人物特徵向量；根據該擷取圖像中該人物的狀態，得到一狀態資訊；將該人物特徵向量與一重辨識資料庫中的複數個已註冊人物特徵向量進行匹配；當該人物特徵向量與該複數個已註冊人物特徵向量中之一第一已註冊人物特徵向量匹配成功時，將該人物識別為該第一已註冊人物特徵向量所對應的一第一人物身分；以及根據該狀態資訊，選擇性地使用該人物特徵向量更新對應於該第一人物身分的該第一已註冊人物特徵向量與至少一第二已註冊人物特徵向量中的一者。
10:影像擷取系統
100:人物重辨識系統
110:物件偵測模組
120:重辨識模組
121:特徵向量計算模組
122:狀態計算模組
123:資料庫比對與更新模組
124:重辨識資料庫
IMG_S:來源圖像
IMG_EXT、IMG_EXT_1、IMG_EXT_2:擷取圖像
VC_IN、VC_IN_1、VC_IN_2:人物特徵向量
R_Info:狀態資訊
ID_Info:辨識結果
ID_1~ID_N:人物身分
VCreg_k_1~VCreg_k_m:已註冊人物特徵向量
S310~S350:步驟
第1圖繪示本發明實施例的一人物重辨識系統的架構圖。
第2圖繪示本發明一實施例中重辨識資料庫針對一特定人物所保存的多個已註冊人物特徵向量。
第3圖繪示本發明另一實施例中重辨識資料庫針對一特定人物所保存的多個已註冊人物特徵向量。
第4圖繪示本發明實施例中重辨識資料庫的更新流程範例。
第5圖繪示繪示本發明實施例的一人物重辨識方法的架構圖。
第6圖繪示繪示本發明實施例中人物重辨識系統的可能實現架構。
在以下內文中，描述了許多具體細節以提供閱讀者對本發明實施例的透徹理解。然而，本領域的技術人士將能理解，如何在缺少一個或多個具體細節的情況下，或者利用其他方法或元件或材料等來實現本發明。在其他情況下，眾所皆知的結構、材料或操作不會被示出或詳細描述，從而避免模糊本發 明的核心概念。
說明書中提到的「一實施例」意味著該實施例所描述的特定特徵、結構或特性可能被包含於本發明的至少一個實施例中。因此，本說明書中各處出現的「在一實施例中」不一定意味著同一個實施例。此外，前述的特定特徵、結構或特性可以以任何合適的形式在一個或多個實施例中結合。
本發明的實施例提供一種人物重辨識系統，請參考第1圖所示的架構。人形重辨識系統100包含：一物件偵測模組110以及一重辨識(Person Re-Identification)模組120。其中，由影像擷取系統10所產生的圖像會被提供給物件偵測模組110。在部分實施例中，影像擷取系統10可由一個或多個攝影機或照相機所組成，當影像擷取系統10由多個攝影機或照相機所組成時，其可能設置在不同或者是鄰近的位置，如：街道、室內空間等。再者，影像擷取系統10可以輸出時間連續的圖像序列給物件偵測模組110。當物件偵測模組110收到一來源圖像IMG_S，其將感知到其中的人物CK的人形輪廓，從而判別出人物CK的存在，並從來源圖像IMG_S中擷取出包含有人物CK的擷取圖像IMG_EXT。擷取圖像IMG_EXT被提供給重辨識模組120。重辨識模組120包含有特徵向量計算模組121、狀態計算模組122、資料庫比對與更新模組123以及重辨識資料庫124，用以實現人物重辨識。
特徵向量計算模組121用以將擷取圖像IMG_EXT中的人形轉換成人物特徵向量VC_IN，其中，人物特徵向量VC_IN可能可以反映出人物CK的：(但不限定於)身形、姿勢、衣著顏色等。狀態計算模組122用以識別擷取圖像IMG_EXT中的人物CK的狀態，從而產生一狀態資訊R_Info。在本發明的一個實 施例中，狀態資訊R_Info可以是上半身占比，也就是在擷取圖像IMG_EXT中的人形的上半身部分相對於整體的比例。其中，狀態計算模組122可以對從擷取圖像IMG_EXT中的人形進行分割(segmentation)處理，判斷出上半身、下半身等關鍵部分，從而計算出上半身占比。而在本發明其他實施例中，狀態資訊R_Info也可以是人物正面旋轉角度(亦既，人物正面相對於擷取圖像IMG_EXT之畫面中心的旋轉角度)。再者，狀態資訊R_Info還可以是擷取圖像IMG_EXT中人物的被遮擋率(亦即，人物的身體被物體遮擋的部分相對於全身的比率)，又或者足以是指出人物姿態的參數。另外，在本發明的部分實施例中，狀態資訊R_Info還可以是由前述的一個或多個狀態資訊所集合而成的一個參數，以便能更好地反映出人物狀態的所有要素。
資料庫比對與更新模組123用於將人物特徵向量VC_IN與重辨識資料庫124內所有已註冊的人物特徵向量進行比對。其中，重辨識資料庫124中紀錄有對應於多個不同人物身分ID_1~ID_N的人物特徵向量。並且，針對單一人物身分，重辨識資料庫124記錄了多組相關的人物特徵向量。例如，重辨識資料庫124可能針對人物身分ID_k記錄了m組的已註冊人物特徵向量VCreg_k_1~VCreg_k_m。請參考第2圖的實施例，該實施例展示了m=3，且資料庫比對與更新模組123使用擷取圖像IMG_EXT的上半身占比做為更新與註冊依據的情況。在這個前提下，重辨識資料庫125針對人物身分ID_k所保存的三個不同已註冊人物特徵向量會有：從人物的頭部到腰部附近的圖像對應的向量VCreg_k_1、從人物的頭部到膝部附近，且腰部以下被遮擋的圖像對應的向量VCreg_k_2以及從人物的頭部至膝部以上的圖像所對應的向量VCreg_k_3。而這3組的已註冊人物特徵向量VCreg_k_1~VCreg_k_3又分別對應了上半身占比的不同數值區間。舉例來說，已註冊人物特徵向量VCreg_k_1可能對應60~90%的上 半身占比、已註冊人物特徵向量VCreg_k_2可能對應30~60%的上半身占比，而已註冊人物特徵向量VCreg_k_3可能對應0~30%的上半身占比。往後，資料庫比對與更新模組123將使用相關於上半身占比的更新臨界值TH1(30%)與TH2(60%)，決定如何更新資料庫比對與更新模組123(將於後詳述)。再者，第3圖繪示了當m=3，且資料庫比對與更新模組123使用擷取圖像IMG_EXT的人物正面旋轉角度(既，人物正面相對於擷取圖像IMG_EXT之畫面中心的旋轉角度)做為更新與註冊依據的情況。在這個前提下，重辨識資料庫125針對人物身分ID_k所保存的三個不同已註冊人物特徵向量會有：對應於人物正面旋轉角度0~60度的圖像的已註冊人物特徵向量VCreg_k_1、對應於人物正面旋轉角度60~120度的圖像的已註冊人物特徵向量VCreg_k_2、以及對應於人物正面旋轉角度120~180度的圖像的已註冊人物特徵向量VCreg_k_3。往後，資料庫比對與更新模組123將使用相關人物正面旋轉角度的角度臨界值TH1(60度)與TH2(120度)，決定如何更新資料庫比對與更新模組123(將於後詳述)。
應當注意的是，上述以及後續的說明中，將繼續以m=3的情形來對發明概念進行解釋，但此非本發明的限制。在本發明的其他實施例中，重辨識資料庫124可能針對單一人物身分保存更多或更少的已註冊人物特徵向量。而這些更多或更少的已註冊人物向量可能分別對應於更窄或更寬的狀態資訊R_Info的數值區間。當重辨識資料庫124紀錄更多的已註冊人物特徵向量時，人物辨識系統100對於人物的追蹤能力會越好，但會對辨識響應速度造成一定程度的影響。
資料庫比對與更新模組123會將人物特徵向量VC_IN與重辨識資料庫124中所有的已註冊人物特徵向量進行比較。此時，若資料庫比對與更新模組 123從重辨識資料庫124中找到已註冊人物特徵向量VCreg_k_1與人物特徵向量VC_IN之間的差異(如：L2距離(歐幾里德距離))小於一匹配臨界值THm時，則判斷人物特徵向量VC_IN與已註冊人物特徵向量VCreg_k1所對應的人物身分ID_k匹配，因此資料庫比對與更新模組123會以人物身分ID_k來識別擷取圖像IMG_EXT中的人物CK。再者，資料庫比對與更新模組123會判斷人物特徵向量VC_IN要用來更新重辨識資料庫124中，關於人物身分ID_k的已註冊人物特徵向量VCreg_k_1~VCreg_k_3中的何者。進一步來說，資料庫比對與更新模組123會將狀態計算模組122根據擷取圖像IMG_EXT所獲得的狀態資訊R_Info(可能是上半身占比、人物正面旋轉角度、被遮擋率、人物姿態參數、又或者是一個基於前者綜合考慮的參數)，與更新臨界值TH1與TH2(假設更新臨界值TH2大於更新臨界值TH1)進行比較，從而決定更新方式。
其中，若擷取圖像IMG_EXT的狀態資訊R_Info小於更新臨界值TH1時，資料庫比對與更新模組123將使用人物特徵向量VC_IN更新重辨識資料庫124中的已註冊人物特徵向量VCreg_k_3(假設其所對應的圖像中的狀態資訊R_Info小於TH1)；若擷取圖像IMG_EXT的狀態資訊R_Info大於更新臨界值TH1但小於更新臨界值TH2時，資料庫比對與更新模組123將使用人物特徵向量VC_IN更新重辨識資料庫124中的已註冊人物特徵向量VCreg_k_2(假其所對應的圖像中的狀態資訊R_Info大於TH1但小於TH2)；若擷取圖像IMG_EXT的狀態資訊R_Info大於更新臨界值TH2時，資料庫比對與更新模組123將使用人物特徵向量VC_IN更新重辨識資料庫124中的已註冊人物特徵向量VCreg_k_1(假設其所對應的圖像中的狀態資訊R_Info大於TH2)。其中，更新臨界值TH1與TH2可能隨著狀態資訊R_Info所反映的具體人物狀態有所不同。
第4圖繪示本發明實施例的更新流程，此圖將以狀態資訊R_Info為上半身占比進行說明。其中，在時間點t=N時，包含有人物CK的擷取圖像IMG_EXT_1被轉換成人物特徵向量VC_IN_1，並且被資料庫比對與更新模組123拿來與重辨識資料庫124的已註冊人物特徵向量進行比對。基於L2距離的計算，人物特徵向量VC_IN_1與人物身分ID_k所對應的已註冊人物特徵向量比對成功，所以擷取圖像IMG_EXT_1中的人物CK被辨識為人物身分ID_k。並且，根據IMG_EXT_1擷取圖像的狀態資訊R_Info可知，其上半身占比小於更新臨界值TH1(即，上半身占比為0~30%)，因此，人物特徵向量VC_IN_1被用來更新重辨識資料庫124中的已註冊人物特徵向量VCreg_k_3(其所對應的圖像的上半身占比為0~30%)。再者，在時間點t=N+1時，包含有人物CK的擷取圖像IMG_EXT_2被轉換成人物特徵向量VC_IN_2，被資料庫比對與更新模組123拿來與重辨識資料庫124的已註冊人物特徵向量進行比對。基於L2距離的計算，人物特徵向量VC_IN_2與人物身分ID_k所對應的已註冊人物特徵向量比對成功，所以擷取圖像IMG_EXT_2中的人物CK被辨識為人物身分ID_k。並且，根據IMG_EXT_2擷取圖像的狀態資訊R_Info可知，其上半身占比大於更新臨界值TH2(即，上半身占比為60~90%)，因此，人物特徵向量VC_IN_2被用來更新重辨識資料庫124中的已註冊人物特徵向量VCreg_k_1(其所對應的圖像的上半身占比為60~90%)。透過以上的操作，可以確保重辨識資料庫124總是保存有對應於不同數值範圍的上半身占比的已註冊人物特徵向量。
另一方面，若資料庫比對與更新模組123沒有從重辨識資料庫124中找到任何已註冊人物特徵向量與人物特徵向量VC_IN之間的差異小於匹配臨界值THm時，則判斷人物特徵向量VC_IN沒有匹配成功。此時資料庫比對與更新模組123會在重辨識資料庫124註冊一個新的人物身分ID_w，並且基於人物特徵 向量VC_IN，以及從後續時間內的新的圖像IMG_EXT中得到的人物特徵向量，於重辨識資料庫124註冊關於人物身分ID_w的已註冊向量。其中，若擷取圖像IMG_EXT的狀態資訊R_Info小於更新臨界值TH1時，資料庫比對與更新模組123將人物特徵向量VC_IN註冊為重辨識資料庫124中的人物特徵向量VCreg_w_3；若擷取圖像IMG_EXT的狀態資訊R_Info大於更新臨界值TH1但小於更新臨界值TH2時，資料庫比對與更新模組123將人物特徵向量VC_IN註冊為重辨識資料庫124中的人物特徵向量VCreg_w_2；若擷取圖像IMG_EXT的狀態資訊R_Info大於更新臨界值TH2時，資料庫比對與更新模組123將人物特徵向量VC_IN註冊為重辨識資料庫124中的人物特徵向量VCreg_k_1。在某些情況下，如果在後續的擷取圖像IMG_EXT中，狀態資訊R_Info持續落在同一個數值區間內，例如，狀態資訊R_Info大於更新臨界值TH1但小於更新臨界值TH2，則資料庫比對與更新模組123不會將續的擷取圖像IMG_EXT的人物特徵向量VC_IN註冊為人物特徵向量VCreg_k_1與VCreg_k_3，而是只會持續更新已註冊的人物特徵向量VCreg_k_2。
透過上述的方式，可以確保重辨識資料庫124盡可能覆蓋對應人物的所有狀態變化的特徵向量。如此一來，當人物動作劇烈變化時，人物辨識系統100會有更好的適應性。進一步來說，若沒有採用更新臨界值TH1與TH2來限定已註冊人物特徵向量的更新，這會讓重辨識資料庫124總是以匹配成功的人物特徵向量VC_IN來更新已註冊向量，但這可能會造成不良影響。舉例來說，若一人物長期處於靜止狀態(如：坐姿或未被遮擋)，在一段時間的持續更新下，將導致重辨識資料庫124中關於該人物的已註冊人物特徵向量均對應該人物的坐姿或未被遮擋著狀態，如此一來，人物辨識系統100只能在該人物處於坐姿時或未被遮擋時，辨識出其身分。此時，若該人物突然進行劇烈的狀態改變(如：從坐 姿轉為站姿，或者從未被遮擋變成被遮擋)，則會因為重辨識資料庫124中缺乏相關於該人物處於站姿或被遮擋時的已註冊向量，導致人物辨識系統100暫時失去對該人物的追蹤與辨識能力。因此，透過本發明提供的資料庫註冊與更新管理，將可確保具有特定狀態的人物特徵向量VC_IN，只會被用來更新重辨識資料庫124中同樣具有特定狀態的已註冊向量。例如，包含有坐姿或未被遮擋狀態的擷取圖像只會被用來更新對應於坐姿或未被遮擋狀態的已註冊人物特徵向量，包含有站姿或被遮擋狀態的擷取圖像只會被用來更新對應於站姿或被遮擋狀態的已註冊人物特徵向量，從而確保更新重辨識資料庫124中已註冊人物特徵向量的多樣性。
第5圖繪示了本發明實施例中用於進行人物重辨識的方法。如圖所示，本發明的方法包含以下的簡化流程：S310：根據包含有一人物的一擷取圖像，得到一人物特徵向量；S320：根據該擷取圖像中該人物的狀態，得到一狀態資訊；S330：當該人物特徵向量與該複數個已註冊人物特徵向量中之一第一已註冊人物特徵向量匹配成功時，將該人物識別為該第一已註冊人物特徵向量所對應的一第一人物身分；S340：當該人物特徵向量與該複數個已註冊人物特徵向量中之一第一已註冊人物特徵向量匹配成功時，將該人物識別為該第一已註冊人物特徵向量所對應的一第一人物身分；以及S350：根據該狀態資訊，選擇性地使用該人物特徵向量更新對應於該第一人物身分的該第一已註冊人物特徵向量與至少一第二已註冊人物特徵向量中的一者。
由於上述步驟的原理以及具體細節已於先前實施例中詳細說明，故在此不進行重複描述。應當注意的是，上述的流程可能可以透過添加其他額外步驟或者是進行適當的變化與調整，更好地實現對人物重辨識，更進一步提升其識別能力。再者，前述本發明實施例中所有的操作，都可以透過第6圖所示的裝置400來實現。其中，裝置400中的儲存單元410(可以是非揮發性記憶體、揮發性記憶體、或者是兩者的組合)可用於儲存程式碼、指令、變數或資料。而裝置400中的硬體處理單元(通用類型處理器)420則可執行儲存單元410所儲存的程式碼與指令，並參考其中的變數或資料來執行前述實施例中所有的操作。在本發明部分實施例中，人物重辨識系統100中的一個或多個模組可以由深度學習網路來實現(如：一卷積神經網路)。另外，在本發明的部分實施例中，人物重辨識系統100中的一個或多個模組還可以用純硬體電路來實現，如特定應用積體電路(application specific integrated circuit,ASIC)、可程式閘陣列(programmable gate array,PGA)或一現場可程式閘陣列(field programmable gate array,FPGA)等。
總結來說，本發明提出一種用於根據人物的狀態資訊來管理人物重辨識資料庫的更新與註冊，從而進行人物重辨識的方法與相關裝置。其中，為了能追蹤人物的狀態變化，本發明實施例將即時地更新人物重辨識資料庫，一旦從來源圖像中計算出的人物特徵向量與重辨識資料庫中的已註冊向量成功匹配時，本發明便會採用當前的人物特徵向量更新重辨識資料庫中的已註冊向量。再者，為了確保重辨識資料庫可以涵蓋人物所有可能的狀態變化，本發明實施例在註冊與更新重辨識資料庫時還會參考從來源圖像中判別出的當前人物狀態，而當前的人物特徵向量只會被用來更新重辨識資料庫中，與當前人物狀態相似或相關聯的已註冊向量。如此一來，人物重辨識資料庫便可以保留與當 前人物狀態差異較大的已註冊向量，以便後續人物狀態發生劇烈改變時，仍能正確地辨識出人物。
本發明之實施例可使用硬體、軟體、韌體以及其相關結合來完成。藉由適當之一指令執行系統，可使用儲存於一記憶體中之軟體或韌體以及相應的指令執行處理器來實現本發明的實施例。就硬體而言，則是可應用下列任一技術或其相關結合來完成：具有可根據資料信號執行邏輯功能之邏輯閘的一個別運算邏輯、具有合適的組合邏輯閘之一特定應用積體電路(application specific integrated circuit,ASIC)、可程式閘陣列(programmable gate array,PGA)或一現場可程式閘陣列(field programmable gate array,FPGA)等。
說明書內的流程圖中的流程和方塊示出了基於本發明的各種實施例的系統、方法和電腦軟體產品所能實現的架構，功能和操作。在這方面，流程圖或功能方塊圖中的每個方塊可以代表程式碼的模組，區段或者是部分，其包括用於實現指定的邏輯功能的一個或多個可執行指令。另外，功能方塊圖以及/或流程圖中的每個方塊，以及方塊的組合，基本上可以由執行指定功能或動作的專用硬體系統來實現，或專用硬體和電腦程式指令的組合來實現。這些電腦程式指令還可以存儲在電腦可讀媒體中，該媒體可以使電腦或其他可編程數據處理裝置以特定方式工作，使得存儲在電腦可讀媒體中的指令，實現流程圖以及/或功能方塊圖中的方塊所指定的功能/動作。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
S310~S350:步驟

Claims (8)

  1. 一種用於進行人物重辨識的方法，包含：利用一特徵向量計算模組，以根據包含有一人物的一擷取圖像，得到一人物特徵向量；利用一狀態計算模組，以根據該擷取圖像中該人物的狀態，得到一狀態資訊，其中該狀態資訊對應於該擷取圖像中之該人物的人物上半身占比、人物正面旋轉角度、被遮擋率以及人物姿態參數中的一個或多個；利用一資料庫比對與更新模組，以將該人物特徵向量與一重辨識資料庫中的複數個已註冊人物特徵向量進行匹配，並且當該人物特徵向量與該複數個已註冊人物特徵向量中之一第一已註冊人物特徵向量匹配成功時，將該人物識別為該第一已註冊人物特徵向量所對應的一第一人物身分；以及利用該資料庫比對與更新模組，以根據該狀態資訊，選擇性地使用該人物特徵向量更新對應於該第一人物身分的該第一已註冊人物特徵向量，與對應於該第一人物身分的至少一第二已註冊人物特徵向量中的一者，其中，該第一已註冊人物特徵項向量以及該第二已註冊人物特徵項向量分別為該第一人物身分在不同狀態下的人物特徵向量。
  2. 如請求項1所述的方法，其中利用該資料庫比對與更新模組，以選擇性地使用該人物特徵向量更新對該第一已註冊人物特徵向量與該至少一第二已註冊人物特徵向量中的一者的步驟包含：利用該資料庫比對與更新模組，以將該狀態資訊與至少一更新臨界值進行比較；當該狀態資訊落於至少一更新臨界值所界定的一數值區間內時，利用該資 料庫比對與更新模組，以使用該人物特徵向量更新該第一已註冊人物特徵向量；以及當該狀態資訊未落於該數值區間內時，利用該資料庫比對與更新模組，以使用該人物特徵向量更新該至少一第二已註冊人物特徵向量。
  3. 如請求項1所述的方法，其中利用該資料庫比對與更新模組，以選擇性地使用該人物特徵向量更新對該第一已註冊人物特徵向量與該至少一第二已註冊人物特徵向量中的一者的步驟包含：利用該資料庫比對與更新模組，以將該狀態資訊與複數個更新臨界值進行比較；當該狀態資訊落於該複數個更新臨界值所界定的一第一數值區間內時，利用該資料庫比對與更新模組，以使用該人物特徵向量更新該第一已註冊人物特徵向量；當該狀態資訊落於該複數個更新臨界值所界定的一第二數值區間內時，利用該資料庫比對與更新模組，以使用該人物特徵向量更新該第二已註冊人物特徵向量；以及當該狀態資訊落於該複數個更新臨界值所界定的一第三數值區間內時，利用該資料庫比對與更新模組，以使用該人物特徵向量更新對應於該第一人物身分的一第三已註冊人物特徵向量。
  4. 如請求項1所述的方法，另包含：當該人物特徵向量未與該複數個已註冊人物特徵向量中之任何一者匹配成功時，利用該資料庫比對與更新模組，以於該重辨識資料庫中註冊對應於該人物的一第二人物身分； 當該狀態資訊落於至少一更新臨界值所界定的一數值區間內時，利用該資料庫比對與更新模組，以於該重辨識資料庫中將該人物特徵向量註冊為該第二人物身分所對應的一第四已註冊人物特徵向量；以及當該狀態資訊未落於該數值區間內時，利用該資料庫比對與更新模組，以於該重辨識資料庫中將該人物特徵向量註冊為該第二人物身分所對應的一第五已註冊人物特徵向量。
  5. 一種用於進行人物重辨識的裝置，包含：一儲存單元，用以儲存一程式碼；一處理單元，用以執行該程式碼，以至於該處理單元得以執行以下操作：根據包含有一人物的一擷取圖像，得到一人物特徵向量；根據該擷取圖像中該人物的狀態，得到一狀態資訊，其中該狀態資訊對應於該擷取圖像中之該人物的人物上半身占比、人物正面旋轉角度、被遮擋率以及人物姿態參數中的一個或多個；將該人物特徵向量與一重辨識資料庫中的複數個已註冊人物特徵向量進行匹配，並且當該人物特徵向量與該複數個已註冊人物特徵向量中之一第一已註冊人物特徵向量匹配成功時，將該人物識別為該第一已註冊人物特徵向量所對應的一第一人物身分；以及根據該狀態資訊，選擇性地使用該人物特徵向量更新對應於該第一人物身分的該第一已註冊人物特徵向量，以及對應於該第一人物身分的至少一第二已註冊人物特徵向量中的一者，其中，該第一已註冊人物特徵項向量以及該第二已註冊人物特徵項向量分別為該第一人物身分在不同狀態下的人物特徵向量。
  6. 如請求項5所述的裝置，其中該處理單元執行該程式碼，從而執行以下操作：將該狀態資訊與至少一更新臨界值進行比較；當該狀態資訊落於至少一更新臨界值所界定的一數值區間內時，使用該人物特徵向量更新該第一已註冊人物特徵向量；以及當該狀態資訊未落於該數值區間內時，使用該人物特徵向量更新該至少一第二已註冊人物特徵向量。
  7. 如請求項5所述的的裝置，其中該處理單元執行該程式碼，從而執行以下操作：將該狀態資訊與複數個更新臨界值進行比較；當該狀態資訊落於該複數個更新臨界值所界定的一第一數值區間內時，使用該人物特徵向量更新該第一已註冊人物特徵向量；當該狀態資訊落於該複數個更新臨界值所界定的一第二數值區間內時，使用該人物特徵向量更新該第二已註冊人物特徵向量；以及當該狀態資訊落於該複數個更新臨界值所界定的一第三數值區間內時，使用該人物特徵向量更新對應於該第一人物身分的一第三已註冊人物特徵向量。
  8. 如請求項5所述的裝置，其中該處理單元執行該程式碼，從而執行以下操作：當該人物特徵向量未與該複數個已註冊人物特徵向量中之任何一者匹配成功時，於該重辨識資料庫中註冊對應於該人物的一第二人物身分；當該狀態資訊落於至少一更新臨界值所界定的一數值區間內時，於該重辨 識資料庫中將該人物特徵向量註冊為該第二人物身分所對應的一第四已註冊人物特徵向量；以及當該狀態資訊未落於該數值區間內時，於該重辨識資料庫中將該人物特徵向量註冊為該第二人物身分所對應的一第五已註冊人物特徵向量。
TW110142967A 2021-11-18 2021-11-18 用於進行人物重辨識的方法與裝置 TWI792693B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110142967A TWI792693B (zh) 2021-11-18 2021-11-18 用於進行人物重辨識的方法與裝置
US17/685,383 US20230154223A1 (en) 2021-11-18 2022-03-03 Method and apparatus for person re-identification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110142967A TWI792693B (zh) 2021-11-18 2021-11-18 用於進行人物重辨識的方法與裝置

Publications (2)

Publication Number Publication Date
TWI792693B true TWI792693B (zh) 2023-02-11
TW202321984A TW202321984A (zh) 2023-06-01

Family

ID=86323908

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110142967A TWI792693B (zh) 2021-11-18 2021-11-18 用於進行人物重辨識的方法與裝置

Country Status (2)

Country Link
US (1) US20230154223A1 (zh)
TW (1) TWI792693B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514386B2 (en) * 2008-10-16 2016-12-06 The Curators Of The University Of Missouri Identifying geographic areas based on change patterns detected from high-resolution, remotely sensed imagery
CN106295313A (zh) * 2016-08-03 2017-01-04 北京地平线机器人技术研发有限公司 对象身份管理方法、装置和电子设备
TW201822150A (zh) * 2016-11-30 2018-06-16 香港商阿里巴巴集團服務有限公司 基於圖片的判別方法及裝置和計算設備
TW201911082A (zh) * 2017-08-04 2019-03-16 大陸商騰訊科技（深圳）有限公司 圖像處理方法、裝置及儲存介質
CN110313152A (zh) * 2017-02-14 2019-10-08 微软技术许可有限责任公司 用于智能助理计算机的用户注册
CN110532991A (zh) * 2019-09-04 2019-12-03 深圳市捷顺科技实业股份有限公司 一种人脸识别方法、装置及设备
TW202111602A (zh) * 2019-09-09 2021-03-16 訊連科技股份有限公司 生物特徵資料庫的建立方法、臉部識別方法與系統

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396412B2 (en) * 2012-06-21 2016-07-19 Siemens Aktiengesellschaft Machine-learnt person re-identification
US20140184803A1 (en) * 2012-12-31 2014-07-03 Microsoft Corporation Secure and Private Tracking Across Multiple Cameras
CN105164696A (zh) * 2013-05-03 2015-12-16 诺基亚技术有限公司 用于人物标识的方法和技术设备
AU2014240213B2 (en) * 2014-09-30 2016-12-08 Canon Kabushiki Kaisha System and Method for object re-identification
US9858679B2 (en) * 2014-11-04 2018-01-02 Hewlett-Packard Development Company, L.P. Dynamic face identification
US10691950B2 (en) * 2017-03-10 2020-06-23 Turing Video, Inc. Activity recognition method and system
US10395385B2 (en) * 2017-06-27 2019-08-27 Qualcomm Incorporated Using object re-identification in video surveillance
US10957053B2 (en) * 2018-10-18 2021-03-23 Deepnorth Inc. Multi-object tracking using online metric learning with long short-term memory
US11048930B2 (en) * 2018-11-09 2021-06-29 Avigilon Corporation Alias capture to support searching for an object-of-interest
GB2584727B (en) * 2019-06-14 2024-02-28 Vision Semantics Ltd Optimised machine learning
JP7165752B2 (ja) * 2019-10-22 2022-11-04 センスタイム インターナショナル ピーティーイー．リミテッド 画像処理方法及び装置、プロセッサ、記憶媒体
CN112232439B (zh) * 2020-11-06 2024-04-05 四川云从天府人工智能科技有限公司 非监督ReID中的伪标签更新方法及系统
CN112884804A (zh) * 2020-12-09 2021-06-01 深圳云天励飞技术股份有限公司 行动对象追踪方法及相关设备
CN113191183A (zh) * 2021-03-02 2021-07-30 清华大学 人员重新识别中的无监督域纠正伪标签方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514386B2 (en) * 2008-10-16 2016-12-06 The Curators Of The University Of Missouri Identifying geographic areas based on change patterns detected from high-resolution, remotely sensed imagery
CN106295313A (zh) * 2016-08-03 2017-01-04 北京地平线机器人技术研发有限公司 对象身份管理方法、装置和电子设备
TW201822150A (zh) * 2016-11-30 2018-06-16 香港商阿里巴巴集團服務有限公司 基於圖片的判別方法及裝置和計算設備
CN110313152A (zh) * 2017-02-14 2019-10-08 微软技术许可有限责任公司 用于智能助理计算机的用户注册
TW201911082A (zh) * 2017-08-04 2019-03-16 大陸商騰訊科技（深圳）有限公司 圖像處理方法、裝置及儲存介質
CN110532991A (zh) * 2019-09-04 2019-12-03 深圳市捷顺科技实业股份有限公司 一种人脸识别方法、装置及设备
TW202111602A (zh) * 2019-09-09 2021-03-16 訊連科技股份有限公司 生物特徵資料庫的建立方法、臉部識別方法與系統

Also Published As

Publication number Publication date
TW202321984A (zh) 2023-06-01
US20230154223A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
Li et al. Multiple-human parsing in the wild
Minhas et al. Incremental learning in human action recognition based on snippets
Yeh et al. Three-pronged compensation and hysteresis thresholding for moving object detection in real-time video surveillance
CN109145766B (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
Wong et al. An efficient algorithm for human face detection and facial feature extraction under different conditions
US6944315B1 (en) Method and apparatus for performing scale-invariant gesture recognition
CN112016371B (zh) 人脸关键点检测方法、装置、设备及存储介质
JP2017062778A (ja) 画像のオブジェクトを分類するための方法およびデバイスならびに対応するコンピュータプログラム製品およびコンピュータ可読媒体
WO2022179401A1 (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN111696130B (zh) 目标跟踪方法、目标跟踪装置及计算机可读存储介质
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
Zakaria et al. Hierarchical skin-adaboost-neural network (h-skann) for multi-face detection
CN110197149B (zh) 耳部关键点检测方法、装置、存储介质及电子设备
CN110969110B (zh) 一种基于深度学习的人脸跟踪方法及系统
CN110163112B (zh) 一种考生姿态分割与平滑方法
Padmapriya et al. Real time smart car lock security system using face detection and recognition
Waheed et al. Exploiting Human Pose and Scene Information for Interaction Detection
US20150213308A1 (en) Method and system for analyzing human behavior in an intelligent surveillance system
Cimmino et al. M2FRED: Mobile masked face REcognition through periocular dynamics analysis
TWI792693B (zh) 用於進行人物重辨識的方法與裝置
Chen et al. Skeleton moving pose-based human fall detection with sparse coding and temporal pyramid pooling
CN113065504A (zh) 一种行为识别方法及装置
CN110309816B (zh) 一种由粗到精的新生儿面部检测方法与系统
Malathi et al. Foreground object detection under camouflage using multiple camera-based codebooks
CN116206249A (zh) 用于进行人物重辨识的方法与装置