TWI769775B - 目標重識別方法、電子設備和電腦可讀儲存介質 - Google Patents
目標重識別方法、電子設備和電腦可讀儲存介質 Download PDFInfo
- Publication number
- TWI769775B TWI769775B TW110112618A TW110112618A TWI769775B TW I769775 B TWI769775 B TW I769775B TW 110112618 A TW110112618 A TW 110112618A TW 110112618 A TW110112618 A TW 110112618A TW I769775 B TWI769775 B TW I769775B
- Authority
- TW
- Taiwan
- Prior art keywords
- picture
- pictures
- picture set
- candidate
- target
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本發明實施例關於目標重識別方法、電子設備和電腦可讀儲存介質,該方法包括通過兩次圖片刪選,包括:對目標對象圖片的第一特徵值和待處理圖片集合對應的第二特徵值集合初步從待處理圖片集合中確定出候選圖片集合,其中,候選圖片集合中的任兩張圖片之間的相似值大於等於預設相似值。以及基於訓練好的圖關聯識別網路對第一特徵值和第二特徵值集合進行識別,從候選圖片集合中確定出與目標對象圖片中目標對象較相似的目標圖片集合。
Description
本發明關於電腦技術領域,尤其關於一種目標重識別方法、電子設備和電腦可讀儲存介質。
目標重識別是電腦視覺以及智慧視頻監控領域的重要問題,其目的是確定同一目標在相同或者不同攝影頭下出現的位置。隨著城市化進程推進和市區攝影頭的不斷增多,目標重識別問題在很多領域都有著重要實際應用,如行人行走行為分析、跨攝影頭的行人和車輛跟蹤,以及行人車輛的異常行為的檢測等等。然而在實際應用中,可能會受場景中其他的目標所干擾,以及目標和目標之間可能存在極度相似的表觀特徵等因素,而這些因素都將對目標重識別過程造成不良影響。
本發明實施例提出了一種目標重識別技術方案。
根據本發明實施例的一方面,提供了一種目標重識別方法,包括:獲取目標對象圖片和待處理圖片集合;目標對象圖片中包含目標對象;根據目標對象圖片的第一特徵值和待處理圖片集合對應的第二特徵值集合從待處理圖片集合中確定出候選圖片集合;候選圖片集合中的任兩張圖片之間的相似值大於等於預設相似值;基於訓練好的圖關聯識別網路,對第一特徵值和第二特徵值集合進行識別,從候選圖片集合中確定出目標圖片集合;目標圖片集合中的圖片包含的對象與目標對象的第一相似程度值,大於等於非目標圖片包含的對象與目標對象的第一相似程度值;候選圖片集合包括目標圖片集合和非目標圖片。這樣可以從待處理圖片集合中確定出更準確的正樣本,以及減少負樣本的干擾,得到目標圖片集合,從而使得後續基於目標圖片集合中的圖片的屬性資訊對其包含的對象進行軌跡行為分析的結果準確性得到提高。
在一些可能的實施方式中,上述圖關聯識別網路包括第一圖結構建立子網路、圖關聯更新子網路以及分類器;第一圖結構建立子網路、圖關聯更新子網路以及分類器串列連接;基於訓練好的圖關聯識別網路,對第一特徵值和第二特徵值集合進行識別,從候選圖片集合中確定出目標圖片集合,包括:將第一特徵值和第二特徵值集合輸入第一圖結構建立子網路,得到第一圖結構;第一圖結構包含有節點和用於連接兩個節點的邊;節點的數量和候選圖片集合中的圖片的數量相同;連接兩個節點的邊是基於連接的兩個節點之間的相似度和預設的相似度確定的;將第一圖結構輸入圖關聯更新子網路,得到更新優化後的第二圖結構;通過分類器根據第二圖結構確定出候選圖片集合中每張候選圖片對應的第一相似程度值;基於每張候選圖片對應的第一相似程度值與相似程度閾值確定出目標圖片集合。相較於常規的卷積神經網路,通過圖卷積神經網路可以更好的對不規則的圖資料進行獨有的節點分類,邊預測,用途更廣泛。
在一些可能的實施方式中,通過分類器根據第二圖結構確定出候選圖片集合中每張候選圖片對應的第一相似程度值,包括:將第一圖結構和第二圖結構相加融合,得到第三圖結構;通過分類器根據第三圖結構確定出候選圖片集合中每張候選圖片對應的第一相似程度值。通過將原始的第一圖結構和第二圖結構相加融合,可以減少優化過程中因為參數不可控和不穩定導致的不利因素出現對整個圖結構造成的影響。
在一些可能的實施方式中,上述圖關聯更新子網路包括注意力機制層,多個圖卷積層、多個啟動層和多個全連接層;注意力機制層、多個圖卷積層、多個啟動層和多個全連接層串列連接;將第一圖結構輸入圖關聯更新子網路,得到更新優化後的第二圖結構,包括:將第一圖結構輸入注意力機制層,得到第一圖結構中每個節點的權重向量;將每個節點的權重向量和第一圖結構確定為注意力機制層的下一層的輸入;將多個圖卷積層、多個啟動層和多個全連接層中的任一當前處理的層確定為當前層;將當前層的上一層的輸出當作當前層的輸入,進行計算處理後得到當前層的輸出;在任一當前層存在對應的輸出的情況下,根據圖關聯更新子網路中最後一層的輸出,得到更新優化後的第二圖結構。通過調整圖關聯更新子網路各個層的數量和位置關係,可以實現針對各種應用場景靈活地搭建網路架構,得到更符合需求的第二圖結構。
在一些可能的實施方式中,根據目標對象圖片的第一特徵值和待處理圖片集合對應的第二特徵值集合從待處理圖片集合中確定出候選圖片集合,包括:基於特徵編碼提取網路確定目標對象圖片包含的目標對象的第一特徵值,基於特徵編碼提取網路確定待處理圖片集合中的每張圖片包含的對象的第二特徵值,基於第二特徵值和第一特徵值確定出每張圖片對應的第二相似程度值,根據第二相似程度值從待處理圖片集合中確定出候選圖片集合。通過特徵值之間的相似度可以初步精准的從候選圖片集合中確定出候選圖片集合,為後續的圖片處理做鋪墊。
在一些可能的實施方式中,根據第二相似程度值從待處理圖片集合中確定出候選圖片集合,包括:將每張待處理圖片對應的第二相似程度值按照數值從大至小進行排序,基於排在前N位的第二相似程度值對應的待處理圖片得到候選圖片集合。通過對第二相似程度值的排序,可以和選出預設的N張圖片這個步驟對應起來,增加實現方案的多樣性。
在一些可能的實施方式中,根據第二相似程度值從待處理圖片集合中確定出候選圖片集合,包括:將每張待處理圖片對應的第二相似程度值按照數值從大至小進行排序,基於排在前N1位的第二相似程度值對應的待處理圖片將待處理圖片集合分為第一候選圖片集合和非第一候選圖片集合,其中,第一候選圖片集合包含排在前N1位的第二相似程度值對應的圖片,根據第一候選圖片集合中的圖片的第二特徵值和非第一候選圖片集合中的圖片的第二特徵值從非第一候選圖片集合中確定出N2張圖片,組成第二候選圖片集合,基於第一候選圖片集合和第二候選圖片集合確定候選圖片集合。相較於一次選擇確定候選圖片集合,本實施方式通過二次搜索逐步確定候選圖片集合,可以使得更多的困難正樣本圖片進入候選圖片集合,為後續圖片識別準確性的提高做好鋪墊,同時也增加了實現方案的多樣性。
在一些可能的實施方式中,根據第一候選圖片集合中的圖片的第二特徵值和非第一候選圖片集合中的圖片的第二特徵值從非第一候選圖片集合中確定出N2張圖片,組成第二候選圖片集合,包括:將第一候選圖片集合中的任一當前使用的圖片確認為當前圖片:根據當前圖片的第二特徵值和非第一候選圖片集合中的圖片的第二特徵值確定出非第一候選圖片集合中的每張圖片對應的第三相似程度值,根據每張圖片對應的第三相似程度值從非第一候選圖片集合確定出當前圖片對應的第三候選圖片集合,在每張當前圖片都存在對應的第三候選圖片集合的情況下,根據每張當前圖片對應的第三候選圖片集合確定出N2張圖片,組成第二候選圖片集合。介紹在第一候選圖片集合中圖片的基礎上進行二次搜索,使得第一候選圖片集合中的圖片作為過渡圖片,進而可以得到更多的正樣本圖片來確定候選圖片集合,為後續圖片識別準確性的提高打下基礎。
在一些可能的實施方式中,從候選圖片集合中確定出目標圖片集合之後,還包括:確定目標圖片集合中的圖片的屬性資訊;根據屬性資訊對目標圖片集合中的圖片包含的對象進行軌跡行為分析。通過屬性資訊,可以將目標圖片集合中的圖片應用在實際場景中。
在一些可能的實施方式中,屬性資訊包括圖片獲取位置和圖片獲取時間,根據屬性資訊對目標圖片集合中的圖片包含的對象進行軌跡行為分析,包括:根據圖片獲取時間對目標圖片集合中的圖片進行排序,基於圖片獲取位置和排序後的圖片對圖片包含的對象進行運動軌跡確定和行為推測。限定如何通過包含的屬性資訊對對象進行軌跡行為分析,使得得到的目標圖片集合能夠應用到特定的場景中,解決生活中的實際問題。
根據本發明實施例的第二方面,提供了一種目標重識別裝置,包括:圖片獲取模組,配置為獲取目標對象圖片和待處理圖片集合;目標對象圖片中包含目標對象;候選圖片確定模組,配置為根據目標對象圖片的第一特徵值和待處理圖片集合對應的第二特徵值集合從待處理圖片集合中確定出候選圖片集合;候選圖片集合中的任兩張圖片之間的相似值大於等於預設相似值;目標圖片確定模組,配置為基於訓練好的圖關聯識別網路,對第一特徵值和第二特徵值集合進行識別,從候選圖片集合中確定出目標圖片集合;目標圖片集合中的圖片包含的對象與目標對象的第一相似程度值,大於等於非目標圖片包含的對象與目標對象的第一相似程度值;候選圖片集合包括目標圖片集合和非目標圖片。
根據本發明實施例的協力廠商面,提供了一種電子設備,包括至少一個處理器,以及與至少一個處理器通信連接的記憶體;其中,記憶體存儲有可被至少一個處理器執行的指令,至少一個處理器通過執行記憶體存儲的指令實現如第一方面中任意一項的一種目標重識別方法。
根據本發明實施例的第四方面,提供了一種電腦可讀存儲介質,上述電腦可讀存儲介質中存儲有至少一條指令或至少一段程式,至少一條指令或至少一段程式由處理器載入並執行以實現第一方面中任意一項的一種目標重識別方法。
根據本發明實施例的第五方面,提供一種包含指令的電腦程式產品,當其在電腦上運行時,使得電腦執行本發明實施例的第一方面中任一目標重識別方法。
在本發明實施例中,通過兩次圖片刪選,包括:對目標對象圖片的第一特徵值和待處理圖片集合對應的第二特徵值集合初步從待處理圖片集合中確定出候選圖片集合,其中,候選圖片集合中的任兩張圖片之間的相似值大於等於預設相似值。以及基於訓練好的圖關聯識別網路,對第一特徵值和第二特徵值集合進行識別,從候選圖片集合中確定出與目標對象圖片中目標對象較相似的目標圖片集合,可以從待處理圖片集合中確定出更準確的正樣本,以及減少負樣本的干擾,得到目標圖片集合,從而使得後續基於目標圖片集合中的圖片的屬性資訊對其包含的對象進行軌跡行為分析的結果準確性得到提高。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,而非限制本發明實施例。
根據下面參考附圖對示例性實施例的詳細說明,本發明實施例的其它特徵及方面將變得清楚。
下面將結合本說明書實施例中的附圖,對本說明書實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本說明書一部分實施例,而不是全部的實施例。基於本說明書中的實施例,本領域普通技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例,都屬於本發明保護的範圍。
需要說明的是,本發明的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別類似的對象,而不必用於描述特定的順序或先後次序。應該理解這樣使用的資料在適當情況下可以互換,以便這裡描述的本發明的實施例能夠以除了在這裡圖示或描述的那些以外的順序實施。此外,術語“包括”和“具有”以及他們的任何變形,意圖在於覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統、產品或伺服器不必限於清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。
以下將參考附圖詳細說明本發明實施例的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面,但是除非特別指出,不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”,僅僅是一種描述關聯對象的關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合,例如,包括A、B、C中的至少一種,可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外,為了更好地說明本發明實施例,在下文的具體實施方式中給出了眾多的實現細節。本領域技術人員應當理解,沒有某些實現細節,本發明實施例同樣可以實施。在一些實例中,對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述,以便於凸顯本發明實施例的主旨。
本發明實施例提供的目標重識別方案,獲取目標對象圖片和待處理圖片集合,上述目標對象圖片中包含目標對象,根據目標對象圖片的第一特徵值和待處理圖片集合對應的第二特徵值集合從待處理圖片集合中確定出候選圖片集合,候選圖片集合中的任兩張圖片之間的相似值大於等於預設相似值。並基於訓練好的圖關聯識別網路對第一特徵值和第二特徵值集合進行識別,從候選圖片集合中確定出目標圖片集合,目標圖片集合中的圖片包含的對象與目標對象的第一相似程度值大於等於非目標圖片包含的對象與目標對象的第一相似程度值,候選圖片集合包括目標圖片集合和非目標圖片。這樣,通過上述的兩次圖片刪選,可以減小光照、背景複雜等各個因素的影響,從待處理圖片集合中確定出更準確的正樣本,以及減少負樣本的干擾,得到目標圖片集合,從而使得基於目標圖片集合的圖片的屬性資訊對其包含的對象進行軌跡行為分析的準確性得到提高。
在相關技術的實際應用中,待處理圖片集合中的圖片由於受到光照強度,背景雜亂或者圖片獲取設備的視角變化影響,導致現有的建模過程中會使用較多的有干擾的負樣本或者忽略掉比較難識別的正樣本,使得建模得到的網路精度不高,從而導致應用過程中,圖片選擇準確度不高,進而影響到對象軌跡行為分析的準確性。本發明實施例提供的目標重識別方法通過對目標對象圖片和初始圖片的特徵值進行比對,得到候選圖片集合,並基於圖關聯識別網路從候選圖片集合識別出和目標對象圖片的目標對象相似度更高的目標圖片集合,提升了待分析圖片的準確度,從而可以在選出的目標圖片集合上對對象進行充分的軌跡行為分析。
本發明實施例提供的技術方案可以應用於圖像或視頻的目標重識別、目標識別等應用場景的擴展,本發明實施例對此不做限定。
本發明實施例提供的目標重識別方法可以由終端設備、伺服器或其它類型的電子設備執行,其中,終端設備可以為使用者設備(User Equipment,UE)、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理(Personal Digital Assistant,PDA)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中,該目標重識別方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。下面以電子設備作為執行主體為例,對本發明實施例的目標重識別方法進行說明。如目標重識別方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
圖1示出根據本發明實施例的一種目標重識別方法的流程圖,如圖1所示,方法包括如下。:
S10:獲取目標對象圖片和待處理圖片集合;目標對象圖片中包含目標對象。
在一些實施方式中,上述的目標對象可以包括但不限於交通工具、行人或者交通工具和行人的結合,交通工具可以是汽車,貨車,摩托車,自行車等等。
在一些實施方式中,可以通過電子設備獲取目標對象圖片,或者,電子設備可以從其他設備處獲取目標對象圖片,例如,電子設備可以從攝影設備、監控設備等設備處獲取目標對象圖片。在一些實現方式中,上述目標對象圖片可以是視頻中的一幀。同樣的,待處理圖片集合可以是通過電子設備獲取的,也可以是通過其他的設備獲取並綜合至電子設備處的。
由於本發明實施例旨在根據目標對象圖片從待處理圖片集合中確定出目標圖片,進而可以根據目標圖片對其包含的對象進行軌跡行為分析,因此,電子設備可以有目的性地選擇性地獲取一些圖片,形成待處理圖片集合。在一些實施方式中,假設目標對象圖片是通過A攝影頭獲取的,則電子設備可以也通過A攝影頭獲取圖片,和/或通過設置在A攝影頭附近的至少一個攝影頭獲取一些圖片,組成待處理圖片集合。在一些實施方式中,假設目標對象圖片是通過A攝影頭在某時刻拍攝得到的,則電子設備也可以獲取A攝影頭在該時刻前後拍攝得到的圖片,和/或其他攝影頭在該時刻前後拍攝得到的圖片,組成待處理圖片集合。在一些實施方式中,假設目標對象圖片是通過A攝影頭在某時刻拍攝得到的,則電子設備也可以獲取A攝影頭在該時刻前後拍攝得到的圖片,和/或通過設置在A攝影頭附近的其他攝影頭在該時刻前後拍攝得到的圖片,組成待處理圖片集合。這樣,由於在前期排除了很多的干擾圖片,在電子設備對待處理圖片集合進行操作過程中,可以節省大量的算力,節省設備開銷。
S20:根據目標對象圖片的第一特徵值和待處理圖片集合對應的第二特徵值集合從待處理圖片集合中確定出候選圖片集合,候選圖片集合中的任兩張圖片之間的相似值大於等於預設相似值。
在一些實施方式中,在根據目標對象圖片的第一特徵值和待處理圖片集合對應的第二特徵值集合從待處理圖片集合中確定出候選圖片集合之前,本發明實施例還可以對待處理圖片集合中的圖片進行預刪選。下面以目標對象為行人進行闡述,由於在待處理圖片集合獲取過程中,可能會因為獲取的管道問題或者其他問題存在獲取得到的圖片中並沒有包含人這一對象,如若直接對待處理圖片集合中的圖片進行第二特徵值的提取,則會大大地增加設備的開銷,因此,可以通過設置在電子設備中的對象識別模組對待處理圖片集合中的圖片進行預刪選,將不包含人的圖片從中刪除,得到較為乾淨的圖片資料。
本發明實施例從待處理圖片集合中確定出候選圖片集合的方式有多種,在一些實施方式中,可以根據目標對象圖片中目標對象的性別從候選圖片集合中選出圖片,組成候選圖片集合。其中,候選圖片集合中圖片包含的對象的性別與目標對象的性別一致。在一些實施方式中,還可以根據目標對象圖片中目標對象的性別和體型,從候選圖片集合中選出圖片,組成候選圖片集合。其中,候選圖片集合中圖片包含的對象的性別和體型分別與目標對象的性別和體型一致。
在一些實施方式中,本發明實施例可以通過提取圖片的特徵值來獲取候選圖片集合,確定目標對象圖片包含的目標對象的第一特徵值,確定待處理圖片集合中的圖片包含的對象的第二特徵值,基於第二特徵值和第一特徵值,確定出每張圖片對應的第二相似程度值,根據第二相似程度值從待處理圖片集合中確定出候選圖片集合。然而,這種方式中,並未對候選圖片集合中的任兩張圖片之間的相似值有做任何要求,也就是說,該種方式中,候選圖片集合中的每張圖片可以只和目標對象圖片有聯繫。
上述的兩種方法都是直接將待處理圖片集合中的圖片和目標對象圖片進行特徵值的比對,得到第二相似程度值。然而,考慮到圖片或者視頻拍攝過程中,光照、拍攝背景和視角變換等各種原因可能導致待處理圖片集合中存在一定數量的困難正樣本圖片和困難負樣本圖片,如若在前期確定候選圖片集合的過程中,沒有考慮到這些困難樣本圖片,極有可能會對後續的圖片識別過程產生不良影響。
本發明實施例中,樣本圖片指的是待處理圖片集合中的每張圖片,正樣本圖片是指圖片中包含的對象和目標對象是同一對象的樣本圖片,負樣本圖片是指圖片中包含的對象和目標對象是不同對象的樣本圖片。困難正樣本圖片是指該圖片中包含的對象雖然和目標對象是同一對象,但是由於拍攝光線原因、對象姿態原因或者其他原因導致電子設備不容易辨別出來。困難負樣本圖片是指該圖片中包含的對象雖然和目標對象是不同對象,但是由於拍攝光線原因、對象姿態原因或者其他原因容易被誤認為和目標對象是同一對象。
考慮到上述困難正樣本圖片和困難負樣本圖片的存在,為了提高後續圖片識別的準確度,圖2示出根據本發明實施例的一種獲取候選圖片集合的方法的流程圖,如圖2所示,方法包括如下。
S201:基於特徵編碼提取網路確定目標對象圖片包含的目標對象的第一特徵值。
在一些實施方式中,將目標對象圖片輸入上述特徵編碼提取網路,特徵編碼提取網路是已經訓練好的,首先可以將目標對象圖片上的目標對象進行框定,然後對框定的目標對象進行特徵提取,得到第一特徵值。
S202:基於特徵編碼提取網路確定待處理圖片集合中的圖片包含的對象的第二特徵值。
在一些實施方式中,電子設備可以將待處理圖片集合中的圖片統一輸入該特徵編碼提取網路,使得該特徵編碼提取網路可以對圖片中的對象進行特徵提取,得到每張圖片的第二特徵值。
在另一些實施方式中,考慮到待處理圖片集合中圖片數量可能十分龐大,因此,可以在多個電子設備中內置特徵編碼提取網路,將待處理圖片集合分割成多個子集,每個子集中的圖片由一個電子設備進行特徵提取,然後匯總至最初的電子設備。
上述的特徵編碼提取網路可以是以無監督、有監督或者半監督學習方法訓練得到的。在一些實施方式中,在特徵編碼提取網路訓練過程中,可以將每一個包含對象的訓練圖片作為一個類別,進行多分類學習。訓練完畢後,去掉該網路最後的分類層,將網路的輸出作為特徵編碼。在實施中,特徵提取方式可以參考上述對目標對象圖片中目標對象的特徵提取方式。
在一些實施方式中,第一特徵值和第二特徵值也可以被稱為第一特徵編碼和第二特徵編碼,該第一特徵值和第二特徵值可以以多種形式輸出,比如可以以向量的形式輸出,或者以多位二進位數字的形式輸出,以何種形式輸出可以根據實際需求確定,這裡不再贅述。
S203:基於第二特徵值和第一特徵值確定出每張待處理圖片對應的第二相似程度值。
在一些實施方式中,電子設備可以根據每一個第二特徵值和第一特徵值計算出每張待處理圖片相較於目標對象圖片的第二相似程度值。舉個例子,假設待處理圖片集合中有10000張圖片,則通過特徵編碼提取網路後,可以得到10000張圖片對應的10000個第二特徵值和目標對象圖片對應的第一特徵值。將每個第二特徵值和第一特徵值按照預設規則進行計算,得到10000個第二相似程度值。
S204:根據第二相似程度值從待處理圖片集合中確定出候選圖片集合。
在一些實施方式中,電子設備獲取預設的第二相似程度閾值,將得到的第二相似程度值和第二相似程度閾值進行對比,確定數值大於第二相似程度閾值的第二相似程度值,且任兩張圖片之間的相似值大於等於預設相似值對應的圖片,組成該候選圖片集合。
在另一些實施方式中,電子設備可以將每張待處理圖片對應的第二相似程度值按照數值從大至小進行排序,將排在前N位的第二相似程度值,且任兩張圖片之間的相似值大於等於預設相似值對應的圖片確定為候選圖片集合中的圖片。比如,N為100,則從待處理圖片集合中確定出100張圖片組成候選圖片集合。
上述方法中,該候選圖片集合中任兩張圖片之間的相似值大於等於預設相似值,在一些實施方式中,任兩張圖片之間的相似值可以通過這兩張圖片的第二特徵值計算得到。也就是說,該實施方式不僅需要通過第一特徵值和第二特徵值的計算,確定候選圖片集合中每張候選圖片和目標對象圖片之間的關聯,還要通過候選圖片集合中任兩張圖片的相似值,建立候選圖片集合中圖片的關聯,如此,可以儘量增加候選圖片集合中困難正樣本圖片的數量的同時,減少困難負樣本圖片的數量。在一些實施方式中,上述的預設相似值可以是根據實際情況設置的。
在另一些實施方式中,電子設備可以先從待處理圖片集合確定出第一候選圖片集合,在第一候選圖片集合的基礎上確定出第二候選圖片集合,將上述兩種候選圖片集合組成候選圖片集合。圖3示出根據本發明實施例的一種獲取候選圖片集合的方法的流程圖,如圖3所示,方法包括如下。
S301:將每張待處理圖片對應的第二相似程度值按照數值從大至小進行排序。
S302:基於排在前N1位的第二相似程度值對應的待處理圖片,將待處理圖片集合分為第一候選圖片集合和非第一候選圖片集合;其中,第一候選圖片集合包含排在前N1位的第二相似程度值對應的圖片。
可替換地,可以獲取預設的第二相似程度閾值,將得到的第二相似程度值和第二相似程度閾值進行對比,確定數值大於第二相似程度閾值的第二相似程度值對應的待處理圖片,組成上述的第一候選圖片集合,待處理圖片集合中其餘的圖片將組成非第一候選圖片集合。在一些實施方式中,第一侯選圖片集合和非第一候選圖片集合不存在交集。
S303:根據第一候選圖片集合中的圖片的第二特徵值和非第一候選圖片集合中的圖片的第二特徵值,從非第一候選圖片集合中確定出N2張圖片,組成第二候選圖片集合。
圖4示出根據本發明實施例的一種獲取第二候選圖片集合的方法的流程圖,如圖4所示,方法包括如下。
S401:將第一候選圖片集合中的任一當前使用的圖片當作當前圖片。
假設N1為10,則第一次選擇過程中確定的第一候選圖片集合中有10張圖片。這10張圖片中的每張圖片都會經歷S401-S403步驟的處理。
S402:根據當前圖片的第二特徵值和非第一候選圖片集合中的圖片的第二特徵值,確定出非第一候選圖片集合中的每張圖片對應的第三相似程度值。
基於假設的待處理圖片集合中共10000張圖片繼續闡述,由於上述例子中已經說明第一候選圖片集合中包括10張圖片,那麼非第一候選圖片集合還包括9990張圖片,在此步驟中,電子設備將根據當前圖片的第二特徵值和9990張圖片的第二特徵值獲得9990張圖片針對於當前圖片的第三相似程度值。
S403:根據每張圖片對應的第三相似程度值,從非第一候選圖片集合確定出當前圖片對應的第三候選圖片集合。
在一些實施方式中,電子設備可以預先設置第三相似程度閾值,將數值大於第三相似程度閾值的第三相似程度值對應的圖片確定到當前圖片對應的第三候選圖片集合中。
在一些實施方式中,電子設備將9990個第三相似程度值進行排序,將排在前幾位的第三相似程度值對應的圖片確定到當前圖片對應的第三候選圖片集合中。
S404:在每張當前圖片都存在對應的第三候選圖片集合的情況下,根據每張當前圖片對應的第三候選圖片集合確定出N2張圖片,組成第二候選圖片集合。
這樣,在每張當前圖片都有對應的第三候選圖片集合的情況下,也就是第一候選圖片集合中10張圖片有和其滿足相似度的圖片的情況下,將根據每張當前圖片對應的第三候選圖片集合確定出N2張圖片,組成第二候選圖片集合。
在一些實施方式中,存在第一候選圖片集合中不同圖片對應的第三候選圖片集合中存在重複的圖片。針對這種存在重複圖片的情況,在組成候選圖片集合後,對其進行複檢,刪除重複圖片。在一些實施方式中,在組成候選圖片集合後,對其進行複檢,刪除重複圖片,還可以基於第三相似程度值對第二候選圖片集合進行圖片補充,直至確定出滿足要求的N2張圖片。在一些實施方式中,N1和N2之和可以是N。
S304:基於第一候選圖片集合和第二候選圖片集合確定候選圖片集合。
本發明實施例中,可以將第一候選圖片集合和第二候選圖片集合進行合併,得到候選圖片集合,候選圖片集合中的任兩張圖片之間的相似值大於等於預設相似值。
圖5示出根據本發明實施例的一種獲取候選圖片集合的示意圖,如圖5所示,基於目標對象圖片,對初始圖片集合51進行篩選,得到第一候選集合的圖片和第二候選集合的圖片,並將這兩部分圖片組成候選圖片集合52。在上述的實施例中,第一候選圖片集合中的圖片可以被看作過渡圖片,比如,目標對象圖片是行人的正面圖片,第一候選圖片集合中的圖片可以是該行人的側面圖片,第二候選圖片集合中的圖片可以是該行人的背面圖片,相較於正面圖片,由於背面圖片和側面圖片中行人的相似點可能更多,由側面圖片確定出背面圖片的可能性會更大。因此,這種實施方式下,電子設備通過二次搜索限定最大搜索數量,利用待處理圖片集合中圖片之間的相似性關係,而不是僅僅利用圖片和目標對象圖片之間的關係,盡可能的挖掘困難正樣本圖片,提升候選圖片集合中正樣本的概率,為後續圖片處理做了鋪墊。
S30:基於訓練好的圖關聯識別網路,對第一特徵值和第二特徵值集合進行識別,從候選圖片集合中確定出目標圖片集合;目標圖片集合中的圖片包含的對象與目標對象的第一相似程度值,大於等於非目標圖片包含的對象與目標對象的第一相似程度值;候選圖片集合包括目標圖片集合和非目標圖片。
在一些實施方式中,圖關聯識別網路可以包括但不限於採用卷積神經網路、循環神經網路或遞歸神經網路等深度學習網路。以卷積神經網路為例,可以獲取大量的訓練資料集合,每個訓練資料集合中包括目標對象圖片的第一特徵值和候選圖片的第二特徵值,以及標注好的目標圖片,然後,基於大量的訓練資料集合對卷積神經網路進行目標圖片識別訓練,在訓練中調整該卷積神經網路的參數至卷積神經網路輸出的目標圖片與標注好的目標圖片相匹配,得到圖關聯識別網路。
在一些實施方式中,圖關聯識別網路可以包括但不限於圖卷積神經網路。這是因為現實生活中,其實有很多不規則的資料結構,典型的就是第一圖結構,或稱拓撲結構,如社交網路、化學分子結構、知識圖譜等等;即使是語言,實際上其內部也是複雜的樹形結構,也是一種第一圖結構;而像圖片,在做目標識別的時候,關注的實際上只是二維圖片上的部分關鍵點,這些點組成的也是一個圖的結構。圖的結構一般來說是十分不規則的,可以認為是無限維的一種資料,所以它沒有平移不變性。每一個節點的周圍結構可能都是獨一無二的,這種結構的資料,就讓傳統的卷積神經網路在此的應用效果不佳,而圖卷積神經網路精妙地設計了一種從圖資料中提取特徵的方法,從而讓可以使用這些特徵去對圖資料進行節點分類(node classification)、圖分類(graph classification)、邊預測(link prediction),還可以順便得到圖的嵌入表示(graph embedding),用途廣泛且合適。
圖6示出根據本發明實施例的一種圖關聯識別網路的結構示意圖,如圖6所示,上述圖關聯識別網路可以包括第一圖結構建立子網路61、圖關聯更新子網路62以及分類器63,其中第一圖結構建立子網路61、圖關聯更新子網路62以及分類器63串列連接。首先,將第一特徵值和第二特徵值集合601輸入到第一圖結構建立子網路61得到第一圖結構602,再將第一圖結構602輸入到圖關聯更新子網路62得到第二圖結構603,最後將第二圖結構602輸入到分類器63得到目標圖片集合604。
圖7示出根據本發明實施例的一種基於圖關聯識別網路確定目標圖片集合的方法的示意圖,如圖7所示,包括如下。
S701:將上述第一特徵值和上述第二特徵值集合輸入上述第一圖結構建立子網路,得到第一圖結構;上述第一圖結構包含有節點和用於連接兩個節點的邊;上述節點的數量和上述候選圖片集合中的圖片的數量相同;上述連接兩個節點的邊是基於連接的上述兩個節點之間的相似度和預設的相似度確定的。
在一些實施方式中,以上述的候選圖片集合中圖片為100張這個例子繼續闡述,電子設備將第一特徵和第二特徵值集合輸入第一圖結構建立子網路,第一圖結構建立子網路將每個第二特徵值和第一特徵值作差,得到每個第二特徵值對應的關聯特徵值,每個關聯特徵值是指其對應的圖片和目標對象圖片的關聯關係。將每個關聯特徵值定義為一個節點,因此,可以確定出100個節點。基於任意兩個節點對應的關聯特徵值確定出這兩個節點之間的相似度,根據排列組合公式,需要做100*99/2=4950次的兩個節點之間的相似度,若存在相似度大於預設的相似度,則可以在其對應的兩個節點之間作邊。如此,就可以得到一個如圖8所示的第一圖結構,圖8所示的第一圖結構只是示例出了部分節點81以及節點之間的邊82。
S702:將上述第一圖結構輸入上述圖關聯更新子網路,更新優化後的第二圖結構。
在一些實施方式中,上述圖關聯更新子網路可以包括多個圖卷積層、多個啟動層和多個全連接層,多個圖卷積層、多個啟動層和多個全連接層串列連接。
在一些實施方式中,可以存在數量相同的圖卷積層和全連接層,其中,每個圖卷積層後面都存在一個啟動層。例如可以呈現:圖卷積層-啟動層-全連接層-圖卷積層-啟動層-全連接層-圖卷積層-啟動層-全連接層……全連接層這種形式。
在一些實施方式中,可以存在數量不相同的圖卷積層和全連接層,其中,每個圖卷積層和每個全連接層後面都存在一個啟動層。例如可以呈現:圖卷積層-啟動層-圖卷積層-啟動層-圖卷積層-啟動層-……全連接層-啟動層-全連接層-啟動層……全連接層-啟動層這種形式。
關聯更新子網路中圖卷積層、全連接層和啟動層的數量和前後位置關係可以根據實際需求設置,比如,可以設置有9層圖卷積層。
在一些實施方式中,為了加強圖卷積層推理的有效性,使得在卷積過程中,加強兩個正樣本對應的節點之間的關聯,減少正樣本和負樣本對應的節點之間的關聯,可以在圖卷積層中增加注意力機制。因此,該圖關聯更新子網路包括注意力機制層,多個圖卷積層、多個啟動層和多個全連接層,其中,注意力機制層、多個圖卷積層、多個啟動層和多個全連接層串列連接。該注意力機制層的個數可以根據實際情況設置。在一些實施方式中,可以只有一個注意力機制層,該注意力機制層可以設置在第一個圖卷積層前面。在一些實施方式中,可以在每一個圖卷積層前面設置一個注意力機制層。
在一些實施方式中,假設只在第一個圖卷積層前面設置有注意力機制層,則將第一圖結構輸入圖關聯更新子網路,得到更新優化後的第二圖結構可以表示為:將每個節點的權重向量和第一圖結構確定為注意力機制層的下一層的輸入;將多個圖卷積層、多個啟動層和多個全連接層中的任一當前處理的層確定為當前層;將當前層的上一層的輸出當作當前層的輸入,進行計算處理後得到當前層的輸出;在任一當前層存在對應的輸出的情況下,根據圖關聯更新子網路中最後一層的輸出,得到更新優化後的第二圖結構。在每一個圖卷積層前設置注意力機制層的計算過程可以參考上述的計算過程,這裡不再贅述。
在一些實施方式中,可能會存在該深度學習網路由於網路深度導致梯度消失和梯度爆炸的問題,可以使用資料的初始化(normlized initializatiton)和正則化(batch normlization)解決該梯度的問題,然而由於深度加深了,會帶來另外的問題,就是網路性能的退化問題,即網路深度加深了,錯誤率卻上升了,因此,可以利用殘差結構來解決退化問題,同時也解決了梯度問題,使得網路的性能也提升了。如圖9所示,殘差結構可以包括圖卷積層91、正則化機制92和啟動層93,輸入的原始資料依次經過圖卷積層91和正則化機制92後得到的結果和原始資料相加後送入啟動層,得到最終的目標資料。
S703:通過分類器根據第二圖結構確定出上述候選圖片集合中每張候選圖片對應的第一相似程度值。
在一些實施方式中,可以將第一圖結構和第二圖結構相加融合,得到第三圖結構,通過分類器根據第三圖結構確定出候選圖片集合中每張候選圖片對應的第一相似程度值。可以將第一圖結構上的第i節點對應的數值和第二圖結構上的第i節點對應的數值進行相加,得到第三圖結構的第i節點對應的數值,結構不變,得到第三圖結構;或者,可以將第一圖結構上的第i節點對應的數值和第二圖結構上的第i節點對應的數值進行相加求平均,得到第三圖結構的第i節點對應的數值,結構不變,得到第三圖結構;還或者,可以將第一圖結構上的第i節點對應的數值和第二圖結構上的第i節點對應的數值進行加權相加,得到第三圖結構的第i節點對應的數值,結構不變,得到第三圖結構。上述的第一圖結構上的第i節點、第二圖結構上的第i節點和第二圖結構上的第i節點都是同一個圖片對應的節點。
S704:基於上述每張候選圖片對應的第一相似程度值與相似程度閾值確定出上述目標圖片集合。
該目標圖片集合中的圖片包含的對象與目標對象的第一相似程度值,大於等於非目標圖片包含的對象與目標對象的第一相似程度值。
本發明實施例還提供一種圖關聯識別網路的訓練方法,如圖10所示,包括:
S1001:電子設備獲取訓練樣本資料集,訓練樣本資料集包括多個參考圖片對應的第一特徵值,以及每個第一特徵值對應的第二特徵值集合和第二特徵值集合對應的第一相似程度值集合;
S1002:電子設備構建預設機器學習網路,將預設機器學習網路確定為當前機器學習網路;
S1003:電子設備基於當前機器學習網路,對第一特徵值,以及每個第一特徵值對應的第二特徵值集合進行關聯識別,確定預測的第一相似程度集合;
S1004:電子設備基於第二特徵值集合對應的第一相似程度值集合和預測的第一相似程度集合,確定損失值;
S1005:電子設備判斷損失值是否大於預設閾值;
在確定損失值大於預設閾值的情況下,轉至步驟S1006;在確定損失值小於或等於預設閾值的情況下,轉至步驟S1007;
S1006:電子設備基於損失值進行反向傳播,對當前機器學習網路進行更新以得到更新後的機器學習網路,將更新後的機器學習網路重新確定為當前機器學習網路;轉至步驟S1003;
S1007:電子設備將當前機器學習網路確定為圖關聯識別網路。
圖11A示出根據本發明實施例的一種目標重識別方法的應用的流程圖,如圖11A所示,除包括上述S10至S30之外,該方法還包括如下。
S40:確定目標圖片集合中的圖片的屬性資訊。
電子設備可以基於圖片確定出該圖片的屬性資訊,屬性資訊可以包括圖片獲取位置和圖片獲取時間,該獲取位置可以包括但不限於拍攝該圖片的設備所處的位置資訊,還可以包括圖片中呈現的場景所處的位置資訊。圖片獲取時間包括但不限於圖片拍攝時間。
S50:根據屬性資訊對目標圖片集合中的圖片包含的對象進行軌跡行為分析。
由於確定出的目標圖片集合中的圖片中的對象基本被認定為和目標對象為同一對象,則根據圖片獲取時間對目標圖片集合中的圖片進行時間上的排序,基於圖片獲取位置和排序後的圖片對圖片包含的對象進行運動軌跡確定和行為推測。比如,在什麼時間段內,對象經過了哪些地方,依次做了什麼事情,基於圖片確定的事情對對象之後可能做得事情進行推測分析,得到分析結果。
本領域技術人員可以理解,在具體實施方式的上述方法中,各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定,各步驟的實際執行順序應當以其功能和可能的內在邏輯確定。
行人重識別問題中有目標(probe)資料集和底庫(gallery)資料集,旨在對於每一個目標圖片,從所有底庫中搜索出和屬於同一行人的圖片。然而在實際應用中,受強烈光照、背景雜亂和視角變換等因素的影響,目標重識別問題時建模是很複雜的。現有的很多方法中主要都是局限於學習目標的表觀特徵資訊,然而目標的表觀可能會被場景中的其他目標和環境背景所干擾。
行人重識別問題的建模是很複雜的,可能會受很多因素所影響。行人的重識別可能會受場景中其他的行人所干擾,行人和行人之間可能存在極度相似的表觀特徵,而現有的建模中僅僅考慮兩兩行人之間的相似度關係,而忽略了潛在的困難正樣本和困難負樣本和目標行人的關係。在本發明實施例中試圖用圖卷積神經網路來建模這種關係,可以充分考慮底庫中所有行人之間的相似度資訊;同時提出一種高效的單次觸發的重排序演算法,僅依靠單個目標圖片即可實現重排序。
本發明實施例以對行人的重識別預測為例進行闡述。可分以下三個步驟進行:首先,訓練一個特徵網路對所有目標和底庫圖片進行特徵編碼。然後,對於每個目標圖片按照相似度從底庫中搜出候選目標特徵,計算關聯特徵,建立圖結構。最後,使用圖卷積神經網路優化關聯特徵,根據優化後的關聯特徵,預測最終的候選目標順序。本發明實施例可以充分利用候選目標間的相似度資訊,將候選目標間的關聯特徵通過圖卷積神經網路,進行進一步的優化,之後再根據優化後的特徵進行重排序,得到更好的預測序列。從更廣泛意義上看,本發明實施例所提供的方案適用於普適的搜索任務。利用該方案可以得到更好搜索序列,相較於傳統的重排序(reranking)演算法,在實際應用中效率更高。同時,此演算法具有可擴展性,可以和傳統的重排序演算法結合使用,得到更高的搜索精度。
本發明實施例利用圖卷積神經網路框架解決目標行人重定位的預測問題。很多影響行人重識別的因素可以利用圖卷積神經網路的強大描述能力進行建模。利用圖卷積的特性,將與目標行人相似的候選行人的關聯特徵作為深度學習網路的輸入,經過圖卷積運算對關聯特徵進行優化學習。本發明實施例提出的關聯特徵圖卷積學習模組可以對搜索到的候選行人特徵進行重排序,達到提升搜索精度的目的。同時圖卷積學習的框架可以和前置的特徵網路解耦或者協同學習,在實際中可以快速部署。
圖11B為本發明實施例提供的一種行人重識別方法的邏輯流程圖,如圖11B所示,該流程包括以下步驟。
S1101,將目標圖片輸入到深度神經網路中,得到特徵編碼。
該過程以場景中所有行人的視覺圖片作為目標圖片輸入,得到一個用來描述所有行人視覺的特徵編碼,這個特徵編碼用於計算關聯特徵並作為深度神經網路的輸入。
在實施中可以通過以下步驟實現:首先,在整個場景中使用目標檢測等手段提取出每個目標行人的目標小圖。然後,對於每一個目標小圖,訓練特徵提取網路並提取特徵編碼。這個特徵提取網路在訓練時,將每一個目標行人作為一個類別,進行多分類學習。訓練完畢後,去掉後面的分類層,將網路的輸出作為特徵編碼。
S1102,根據特徵編碼計算目標圖片和底庫圖片之間的關聯特徵並建立圖結構。
經過上述得到的特徵編碼矩陣,表徵每個目標行人圖片的視覺特徵。對於底庫搜索出來候選特徵,根據關聯特徵建立圖結構,以描述候選行人之間豐富的相似度關係資訊。
首先進行困難底庫樣本採樣,目標是盡可能的挖掘出困難的正樣本,具體是採用二次搜索限定最大搜索數量的方式以及利用底庫之間的相似度關係。然後建立圖結構,以表示的是目標圖片和候選底庫之間整體的相似度關係資訊。將目標圖片和候選底庫之間的關聯特徵作為圖結構的節點,而候選底庫之間的相似度資訊則決定邊的連接情況。其中,為了簡化計算,關聯特徵的表示形式為目標圖片和候選底庫特徵編碼的插值。
圖11C為本發明實施例提供的關聯特徵學習框架,如圖11C所示,將目標圖片111a和底庫圖片111b輸入特徵提取網路112,得到目標圖片的目標特徵和底庫的圖片特徵,再通過目標圖片到底庫圖片(Probe to Gallery,P2G)的搜索過程,得到與目標圖片相似的關聯底庫圖片113,然後對關聯底庫圖片113經過HGS採樣器得到底庫候選圖片114,將底庫候選圖片114和目標圖片111a進行處理得到組成圖結構的候選圖片115,從圖結構的候選圖片115中除去目標特徵圖111得到圖節點116a;同時通過底庫圖片到底庫圖片(Gallery to Gallery,G2G)的搜索過程,得到關聯底庫圖片113中不同底庫圖片之間的特徵矩陣116b,然後在圖推理階段,利用特徵矩陣116b確定圖像邊緣,結合圖節點126a生成圖結構117,然後經過GCN(Graph Convolution Network,圖卷積網路)118得到優化的圖結構119,最後將圖結構117和優化的圖結構119一起送入回歸預測網路120進行預測,得到每一圖節點的預測概率。
圖11D為本發明實施例提供的從底庫中選取困難樣本的示意圖,如圖11D所示,針對目標圖片111,將關聯底庫圖片113中與目標圖片關聯的前4個底庫圖片篩選出來,然後再根據底庫圖片之間的相似度,篩選出與前4個底庫圖片之間最相似的前2個底庫圖片,將這6個底庫圖片組成底庫候選圖片114,其中底庫候選圖片114中包括目標圖片的困難正樣本A。
S1103,利用圖卷積網路對關聯特徵進行推理優化,輸出優化後的預測序列。
圖卷積推理是依靠深度圖卷積神經網路進行的,與傳統的卷積網路不同,圖卷積結構更能夠體現語義上的鄰近節點的拓撲關係。本發明實施例使用9層圖卷積,為了進一步加強推理的有效性,使用了注意力機制來對每一個關聯特徵進行優化,通過優化後的結果可能得出更有的搜索序列。特別地,為了抑制由於網路過深帶來的訓練困難地問題,使用了基於殘差結構。對於優化後的關聯特徵,可以通過進一步地分類來確定最終地搜索序列。
相關技術中主要基於一些傳統的卷積神經網路或者淺層的圖網路,主要是考慮底庫中單個樣本的相似度資訊。同時傳統的重排序演算法往往需要大量的目標圖片同時進行重排序,運行效率緩慢,實用價值低。而本發明實施例利用深度圖卷積神經網路來進行目標的重識別更充分利用樣本之間相似度資訊,能夠更好地對各種影響因素進行綜合分析。本發明實施例可以充分考慮gallery(底庫)中所有行人之間的相似度資訊,利用關聯特徵和基於二次搜索的困難樣本挖掘技術,使得樣本之間的關聯資訊學習可以在高維的特徵空間中更加充分的學習。本發明實施例提出一種高效的單次觸發的重排序演算法,僅依靠單個目標圖片即可實現重排序,可以靈活地應用到現有的重識別演算法中,並帶來穩定的性能提升。
本發明實施例可以應用於視頻監控下的場景中,對所有行人在同一或者不同攝影頭地位置進行預測。同時根據預測結果,分析出目標行人在一段時間內跨攝影頭的運動軌跡,實現跨攝影頭目標追蹤的可能性,還可以對場景中發生的一些異常行為進行檢測。
本發明實施例使用深度圖卷積網路,更充分利用樣本之間相似度資訊,能夠更好地對各種影響因素進行綜合分析。本發明實施例利用關聯特徵和基於二次搜索的困難樣本挖掘技術,使得樣本之間的關聯資訊學習可以在高維的特徵空間中更加充分的學習。本發明實施例提出的演算法模組可以靈活地應用到現有的重識別演算法中,並帶來穩定的性能提升。
可以理解,本發明實施例提及的上述各個方法實施例,在不違背原理邏輯的情況下,均可以彼此相互結合形成結合後的實施例,限於篇幅,本發明實施例不再贅述。
此外,本發明實施例還提供了電子設備和電腦可讀儲存介質,上述均可用來實現本發明實施例提供的任一種目標重識別方法,相應技術方案和描述和參見方法部分的相應記載,不再贅述。
圖12示出根據本發明實施例的一種目標重識別裝置的方塊圖;如圖11所示,所述目標重識別裝置,包括:
圖片獲取模組1201配置為獲取目標對象圖片和待處理圖片集合;目標對象圖片中包含目標對象;
候選圖片確定模組1202配置為根據目標對象圖片的第一特徵值和待處理圖片集合對應的第二特徵值集合從待處理圖片集合中確定出候選圖片集合;候選圖片集合中的任兩張圖片之間的相似值大於等於預設相似值;
目標圖片確定模組1203配置為基於訓練好的圖關聯識別網路,對第一特徵值和第二特徵值集合進行識別,從候選圖片集合中確定出目標圖片集合;目標圖片集合中的圖片包含的對象與目標對象的第一相似程度值大於等於非目標圖片包含的對象與目標對象的第一相似程度值;候選圖片集合包括目標圖片集合和非目標圖片。
在一些可能的實施方式中,上述圖關聯識別網路包括第一圖結構建立子網路、圖關聯更新子網路以及分類器;第一圖結構建立子網路、圖關聯更新子網路以及分類器串列連接;目標圖片確定模組配置為將第一特徵值和第二特徵值集合輸入第一圖結構建立子網路,得到第一圖結構;第一圖結構包含有節點和配置為連接兩個節點的邊;節點的數量和候選圖片集合中的圖片的數量相同;連接兩個節點的邊是基於連接的兩個節點之間的相似度和預設的相似度確定的;將第一圖結構輸入圖關聯更新子網路,得到更新優化後的第二圖結構;通過分類器根據第二圖結構確定出候選圖片集合中每張候選圖片對應的第一相似程度值;基於每張候選圖片對應的第一相似程度值與相似程度閾值確定出目標圖片集合。
在一些可能的實施方式中,目標圖片確定模組配置為將第一圖結構和第二圖結構相加融合,得到第三圖結構;通過分類器根據第三圖結構確定出候選圖片集合中每張候選圖片對應的第一相似程度值。
在一些可能的實施方式中,上述圖關聯更新子網路包括注意力機制層、多個圖卷積層、多個啟動層和多個全連接層,注意力機制層、多個圖卷積層、多個啟動層和多個全連接層串列連接,目標圖片確定模組配置為將第一圖結構輸入注意力機制層,得到第一圖結構中每個節點的權重向量;將每個節點的權重向量和第一圖結構確定為注意力機制層的下一層的輸入;將多個圖卷積層、多個啟動層和多個全連接層中的任一當前處理的層確定為當前層;將當前層的上一層的輸出當作當前層的輸入,進行計算處理後得到當前層的輸出;在任一當前層存在對應的輸出的情況下,根據圖關聯更新子網路中最後一層的輸出得到更新優化後的第二圖結構。
在一些可能的實施方式中,候選圖片確定模組配置為基於特徵編碼提取網路確定目標對象圖片包含的目標對象的第一特徵值,基於特徵編碼提取網路確定待處理圖片集合中的每張圖片包含的對象的第二特徵值,基於第二特徵值和第一特徵值確定出每張圖片對應的第二相似程度值,根據第二相似程度值從待處理圖片集合中確定出候選圖片集合。
在一些可能的實施方式中,上述候選圖片確定模組配置為將每張待處理圖片對應的第二相似程度值按照數值從大至小進行排序,基於排在前N位的第二相似程度值對應的待處理圖片得到候選圖片集合。
在一些可能的實施方式中,上述候選圖片確定模組配置為將每張待處理圖片對應的第二相似程度值按照數值從大至小進行排序,基於排在前N1位的第二相似程度值對應的待處理圖片將待處理圖片集合分為第一候選圖片集合和非第一候選圖片集合,其中,第一候選圖片集合包含排在前N1位的第二相似程度值對應的圖片,根據第一候選圖片集合中的圖片的第二特徵值和非第一候選圖片集合中的圖片的第二特徵值從非第一候選圖片集合中確定出N2張圖片,組成第二候選圖片集合,基於第一候選圖片集合和第二候選圖片集合確定候選圖片集合。
在一些可能的實施方式中,上述候選圖片確定模組配置為將第一候選圖片集合中的任一當前使用的圖片確認為當前圖片:根據當前圖片的第二特徵值和非第一候選圖片集合中的圖片的第二特徵值確定出非第一候選圖片集合中的每張圖片對應的第三相似程度值,根據每張圖片對應的第三相似程度值從非第一候選圖片集合確定出當前圖片對應的第三候選圖片集合,在每張當前圖片都存在對應的第三候選圖片集合的情況下,根據每張當前圖片對應的第三候選圖片集合確定出N2張圖片,組成第二候選圖片集合。
在一些可能的實施方式中,還包括分析模組,該分析模組配置為確定目標圖片集合中的圖片的屬性資訊;根據屬性資訊對目標圖片集合中的圖片包含的對象進行軌跡行為分析。
在一些可能的實施方式中,上述屬性資訊包括圖片獲取位置和圖片獲取時間,分析模組,配置為根據圖片獲取時間對目標圖片集合中的圖片進行排序,基於圖片獲取位置和排序後的圖片對圖片包含的對象進行運動軌跡確定和行為推測。
在一些實施例中,本發明實施例提供的裝置具有的功能或包含的模組可以配置為執行上文方法實施例描述的方法,其實際實現可以參照上文方法實施例的描述,為了簡潔,這裡不再贅述。
本發明實施例還提出一種電腦可讀儲存介質,所述電腦可讀儲存介質中儲存有至少一條指令或至少一段程式,所述至少一條指令或至少一段程式由處理器載入並執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本發明實施例還提出一種電子設備,包括:處理器;配置為儲存處理器可執行指令的記憶體;其中,所述處理器被配置為上述方法。電子設備可以被提供為終端、伺服器或其它形態的設備。
本發明實施例提供一種包含指令的電腦程式產品,當其在電腦上運行時,使得電腦執行本發明實施例的目標重識別方法。
圖13示出根據本發明實施例的一種電子設備的方塊圖。例如,電子設備1300可以是行動電話、電腦、數位廣播終端、訊息收發設備、遊戲控制台、平板設備、醫療設備、健身設備和個人數位助理等終端。
參照圖13,電子設備1300可以包括以下一個或多個組件:處理組件1302,記憶體1304,電源組件1306,多媒體組件1308,音頻組件1310,輸入/輸出(I/O,Input/Output)的介面1312,感測器組件1314,以及通信組件1316。
處理組件1302通常控制電子設備1300的整體操作,諸如與顯示、電話呼叫、資料通信、相機操作和記錄操作相關聯的操作。處理組件1302可以包括一個或多個處理器1320來執行指令,以完成上述的方法的全部或部分步驟。此外,處理組件1302可以包括一個或多個模組,便於處理組件1302和其他組件之間的交互。例如,處理組件1302可以包括多媒體模組,以方便多媒體組件1308和處理組件1302之間的交互。
記憶體1304被配置為儲存各種類型的資料以支援在電子設備1300的操作。這些資料的示例包括配置在電子設備1300上操作的任何應用程式或方法的指令,連絡人資料,電話簿資料,消息,圖片,視頻等。記憶體1304可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現,如靜態隨機存取記憶體(SRAM,Static Random-Access Memory),電可擦除可程式設計唯讀記憶體(EEPROM,Electrically Erasable Programmable Read-Only Memory),可擦除可程式設計唯讀記憶體(EPROM,Erasable Programmable Read-Only Memory),可程式設計唯讀記憶體(PROM,Programmable Read-Only Memory),唯讀記憶體(ROM,Read Only Memory),磁記憶體,快閃記憶體,磁片或光碟。
電源組件1306為電子設備1300的各種組件提供電力。電源組件1306可以包括電源管理系統,一個或多個電源,及其他與為電子設備1300生成、管理和分配電力相關聯的組件。
多媒體組件1308包括在所述電子設備1300和使用者之間的提供一個輸出介面的螢幕。在一些實施例中,螢幕可以包括液晶顯示器(LCD,Liquid Crystal Display)和觸摸面板(TP,TouchPanel)。在螢幕包括觸摸面板的情況下,螢幕可以被實現為觸控式螢幕,以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界,而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中,多媒體組件1308包括一個前置攝影頭和/或後置攝影頭。在電子設備1300處於操作模式,如拍攝模式或視訊模式的情況下,前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件1310被配置為輸出和/或輸入音頻信號。例如,音頻組件1310包括一個麥克風(MIC,Microphone),在電子設備1300處於操作模式,如呼叫模式、記錄模式和語音辨識模式的情況下,麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被儲存在記憶體1304或經由通信組件1316發送。在一些實施例中,音頻組件1310還包括一個揚聲器,用於輸出音頻信號。
I/O介面1312為處理組件1302和週邊介面模組之間提供介面,上述週邊介面模組可以是鍵盤,點擊輪,按鈕等。這些按鈕可包括但不限於:主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件1314包括一個或多個感測器,配置為電子設備1300提供各個方面的狀態評估。例如,感測器組件1314可以檢測到電子設備1300的打開/關閉狀態,組件的相對定位,例如所述組件為電子設備1300的顯示器和小鍵盤,感測器組件1314還可以檢測電子設備1300或電子設備1300一個組件的位置改變,使用者與電子設備1300接觸的存在或不存在,電子設備1300方位或加速/減速和電子設備1300的溫度變化。感測器組件1314可以包括接近感測器,被配置用來在沒有任何的物理接觸的情況下檢測附近物體的存在。感測器組件1314還可以包括光感測器,如互補金屬氧化物半導體(CMOS,Complementary Metal-Oxide-Semiconductor)或電荷耦合器件(CCD,Charge Coupled Device)圖像感測器,用於在成像應用中使用。在一些實施例中,該感測器組件1314還可以包括加速度感測器,陀螺儀感測器、磁感測器、壓力感測器或溫度感測器。
通信組件1316被配置為便於電子設備1300和其他設備之間有線或無線方式的通信。電子設備1300可以接入基於通信標準的無線網路,如無線保真(Wi-Fi,Wireless Fidelity)、第二代移動通信技術(2G,The 2nd Generation)或第三代移動通信技術(3G,The 3nd Generation)或它們的組合。在一個示例性實施例中,通信組件1316經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中,所述通信組件1316還包括近場通信(NFC,Near Field Communication)模組,以促進短程通信。例如,在NFC模組可基於射頻識別(RFID,Radio Frequency Identification)技術,紅外資料協會(IrDA,Infrared Data Association)技術,超寬頻(UWB,Ultra Wide Band)技術,藍牙(BT,Blue Tooth)技術和其他技術來實現。
在示例性實施例中,電子設備1300可以被一個或多個應用專用積體電路(ASIC,Application Specific Integrated Circuit)、數位訊號處理器(DSP,Digital Signal Processor)、數位信號處理設備(DSPD,Digital Signal Processing Device)、可程式設計邏輯器件(PLD,Programmable Logic Device)、現場可程式設計閘陣列(FPGA,Field Programmable Gate Array)、控制器、微控制器、微處理器或其他電子組件實現,用於執行上述方法。
在示例性實施例中,還提供了一種非易失性電腦可讀儲存介質,例如包括電腦程式指令的記憶體1304,上述電腦程式指令可由電子設備1300的處理器1320執行以完成上述方法。
圖14示出根據本發明實施例的另一種電子設備的方塊圖。例如,電子設備1400可以被提供為一伺服器。參照圖14,電子設備1400包括處理組件1422,在一些實施方式中,處理組件1422包括一個或多個處理器,以及由記憶體1432所代表的記憶體資源,配置為儲存可由處理組件1422的執行的指令,例如應用程式。記憶體1432中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外,處理組件1422被配置為執行指令,以執行上述方法。
電子設備1400還可以包括一個電源組件1426被配置為執行電子設備1400的電源管理,一個有線或無線網路介面1450被配置為將電子設備1400連接到網路,和一個I/O介面1458。電子設備1400可以操作基於儲存在記憶體1432的作業系統,例如Windows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM或類似系統。
在示例性實施例中,還提供了一種非易失性電腦可讀儲存介質,例如包括電腦程式指令的記憶體1432,上述電腦程式指令可由電子設備1400的處理組件1422執行以完成上述方法。
本發明實施例可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質,其上載有用於使處理器實現本發明實施例的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是但不限於電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存介質可以包括:可擕式電腦盤、硬碟、隨機存取記憶體(RAM,Random Access Memory)、唯讀記憶體、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體、可擕式壓縮磁碟唯讀記憶體(CD-ROM,Compact Disc Read-Only Memory)、數位多功能盤(DVD,Digital Video Disc)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身,諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如,通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備,或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令,並轉發該電腦可讀程式指令,以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。用於執行本發明實施例操作的電腦程式指令可以是彙編指令、指令集架構(ISA,Industry Standard Architecture)指令、機器指令、機器相關指令、偽代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼,所述程式設計語言包括對象導向的程式設計語言諸如Smalltalk、C++等,以及常規的過程式程式設計語言—諸如C語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中,遠端電腦可以通過任意種類的網路包括局域網(LAN,Local Area Network)或廣域網路(WAN,Wide Area Network)連接到使用者電腦,或者,可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中,通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路,例如可程式設計邏輯電路、現場可程式設計閘陣列或可程式設計邏輯陣列,該電子電路可以執行電腦可讀程式指令,從而實現本發明實施例的各個方面。
這裡參照根據本發明實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本發明實施例的各個方面。應當理解,流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合,都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器,從而生產出一種機器,使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行的情況下,產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中,這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作,從而,儲存有指令的電腦可讀介質則包括一個製造品,其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上,使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟,以產生電腦實現的過程,從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明實施例的多個實施方式的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上,流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分,所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中,方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如,兩個連續的方塊實際上可以基本並行地執行,它們有時也可以按相反的循序執行,這依所涉及的功能而定。也要注意的是,方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合,可以用執行規定的功能或動作的專用的基於硬體的系統來實現,或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本發明實施例的各實施方式,上述說明是示例性的,並非窮盡性的,並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下,對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇,旨在最好地解釋各實施方式的原理、實際應用或對市場中的技術改進,或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
工業實用性
本發明實施例獲取目標對象圖片和待處理圖片集合;所述目標對象圖片中包含目標對象;根據所述目標對象圖片的第一特徵值和所述待處理圖片集合對應的第二特徵值集合,從所述待處理圖片集合中確定出候選圖片集合;所述候選圖片集合中的任兩張圖片之間的相似值大於等於預設相似值;基於訓練好的圖關聯識別網路,對所述第一特徵值和所述第二特徵值集合進行識別,從所述候選圖片集合中確定出目標圖片集合;所述目標圖片集合中的圖片包含的對象與所述目標對象的第一相似程度值,大於等於非目標圖片包含的對象與所述目標對象的第一相似程度值;所述候選圖片集合包括所述目標圖片集合和所述非目標圖片。這樣可以從待處理圖片集合中確定出更準確的正樣本,以及減少負樣本的干擾,得到目標圖片集合,從而使得後續基於目標圖片集合中的圖片的屬性資訊對其包含的對象進行軌跡行為分析的結果準確性得到提高。
51:初始圖片集合
52:候選圖片集合
61:第一圖結構建立子網路
62:圖關聯更新子網路
63:分類器
601:第一特徵值和第二特徵值集合
602:第一圖結構
603:第二圖結構
604:目標圖片集合
91:圖卷積層、
92:正則化機制
93:啟動層
111a:目標圖片
111b:底庫圖片
112:特徵提取網路
113:關聯底庫圖片
114:底庫候選圖片
115:圖結構的候選圖片
116a:圖節點
116b:特徵矩陣
117:圖結構
118:圖卷積網路
119:優化的圖結構
120:回歸預測網路
1201:圖片獲取模組
1202:候選圖片確定模組
1203:目標圖片確定模組
1300:電子設備
1302:處理組件
1304:記憶體
1306:電源組件
1308:多媒體組件
1310:音頻組件
1312:輸入/輸出介面
1314:感測器組件
1316:通信組件
1320:處理器
1400:電子設備
1422:處理組件
1426:電源組件
1432:記憶體
1450:網路介面
1458:輸入輸出介面
S10~S50:步驟
S201~S204:步驟
S301~S304:步驟
S401~S404:步驟
S701~S704:步驟
S1001~S1007:步驟
S1101~S1103:步驟
為了更清楚地說明本說明書實施例或現有技術中的技術方案和優點,下面將對實施例或現有技術描述中所需要使用的附圖作簡單的介紹,顯而易見地,下面描述中的附圖僅僅是本說明書的一些實施例,對於本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其它附圖。
圖1示出根據本發明實施例的一種目標重識別方法的流程圖;
圖2示出根據本發明實施例的一種獲取候選圖片集合的方法的流程圖;
圖3示出根據本發明實施例的一種獲取候選圖片集合的方法的流程圖;
圖4示出根據本發明實施例的一種獲取第二候選圖片集合的方法的流程圖;
圖5示出根據本發明實施例的一種獲取候選圖片集合的示意圖;
圖6示出根據本發明實施例的一種圖關聯識別網路的結構示意圖;
圖7示出根據本發明實施例的一種基於圖關聯識別網路確定目標圖片集合的方法的流程圖;
圖8示出根據本發明實施例的一種第一圖結構的示意圖;
圖9示出根據本發明實施例的一種殘差結構的示意圖;
圖10示出根據本發明實施例的一種圖關聯識別網路的訓練方法的流程圖;
圖11A示出根據本發明實施例的一種目標重識別方法的應用流程圖;
圖11B示出根據本發明實施例的一種行人重識別方法的邏輯流程圖;
圖11C為本發明實施例提供的關聯特徵學習框架;
圖11D為本發明實施例提供的從底庫中選取困難樣本的示意圖;
圖12示出根據本發明實施例的一種目標重識別裝置的方塊圖;
圖13示出根據本發明實施例的一種電子設備的方塊圖;
圖14示出根據本發明實施例的另一種電子設備的方塊圖。
S10~S30:步驟
Claims (12)
- 一種目標重識別方法,應用於電子設備,所述方法包括:獲取目標對象圖片和待處理圖片集合;所述目標對象圖片中包含目標對象;根據所述目標對象圖片的第一特徵值和所述待處理圖片集合對應的第二特徵值集合,從所述待處理圖片集合中確定出候選圖片集合;所述候選圖片集合中的任兩張圖片之間的相似值大於等於預設相似值;基於訓練好的圖關聯識別網路,對所述第一特徵值和所述第二特徵值集合進行識別,從所述候選圖片集合中確定出目標圖片集合;所述目標圖片集合中的圖片包含的對象與所述目標對象的第一相似程度值,大於等於非目標圖片包含的對象與所述目標對象的第一相似程度值;所述候選圖片集合包括所述目標圖片集合和所述非目標圖片。
- 根據請求項1所述的方法,其中,所述圖關聯識別網路包括第一圖結構建立子網路、圖關聯更新子網路以及分類器;所述第一圖結構建立子網路、所述圖關聯更新子網路以及所述分類器串列連接;所述基於訓練好的圖關聯識別網路,對所述第一特徵值和所述第二特徵值集合進行識別,從所述候選圖片集合中確定出目標圖片集合,包括:將所述第一特徵值和所述第二特徵值集合輸入所述第一圖結構建立子網路,得到第一圖結構;所述第一圖結構包 含有節點和用於連接兩個節點的邊;所述節點的數量和所述候選圖片集合中的圖片的數量相同;所述連接兩個節點的邊是基於連接的所述兩個節點之間的相似值和預設的相似值確定的;將所述第一圖結構輸入所述圖關聯更新子網路,得到更新優化後的第二圖結構;通過所述分類器根據所述第二圖結構,確定出所述候選圖片集合中每張候選圖片對應的第一相似程度值;基於所述每張候選圖片對應的第一相似程度值與相似程度閾值,確定出所述目標圖片集合。
- 根據請求項2所述的方法,其中,所述通過所述分類器根據所述第二圖結構確定出所述候選圖片集合中每張候選圖片對應的第一相似程度值,包括:將所述第一圖結構和所述第二圖結構相加融合,得到第三圖結構;通過所述分類器根據所述第三圖結構確定出所述候選圖片集合中每張候選圖片對應的第一相似程度值。
- 根據請求項2所述的方法,其中,所述圖關聯更新子網路包括注意力機制層,多個圖卷積層、多個啟動層和多個全連接層;所述注意力機制層、所述多個圖卷積層、所述多個啟動層和所述多個全連接層串列連接;所述將所述第一圖結構輸入所述圖關聯更新子網路,得到更新優化後的第二圖結構,包括: 將所述第一圖結構輸入所述注意力機制層,得到所述第一圖結構中每個節點的權重向量;將所述每個節點的權重向量和所述第一圖結構確定為所述注意力機制層的下一層的輸入;將所述多個圖卷積層、所述多個啟動層和所述多個全連接層中的任一當前處理的層確定為當前層;將所述當前層的上一層的輸出當作所述當前層的輸入,進行計算處理後得到當前層的輸出;在任一所述當前層存在對應的輸出的情況下,根據所述圖關聯更新子網路中最後一層的輸出,得到更新優化後的第二圖結構。
- 根據請求項1至4任一項所述的方法,其中,所述根據目標對象圖片的第一特徵值和所述待處理圖片集合對應的第二特徵值集合,從所述待處理圖片集合中確定出候選圖片集合,包括:基於特徵編碼提取網路確定所述目標對象圖片包含的所述目標對象的第一特徵值;基於所述特徵編碼提取網路確定所述待處理圖片集合中的每張待處理圖片包含的對象的第二特徵值;基於所述第二特徵值和所述第一特徵值,確定出每張所述待處理圖片對應的第二相似程度值;根據所述第二相似程度值,從所述待處理圖片集合中確定出候選圖片集合。
- 根據請求項5所述的方法,其中,所述根據 第二相似程度值,從所述待處理圖片集合中確定出候選圖片集合,包括:將每張所述待處理圖片對應的第二相似程度值按照數值從大至小進行排序;基於排在前N位的第二相似程度值對應的待處理圖片得到所述候選圖片集合。
- 根據請求項5所述的方法,其中,所述根據第二相似程度值,從所述待處理圖片集合中確定出候選圖片集合,包括:將每張所述待處理圖片對應的第二相似程度值按照數值從大至小進行排序;基於排在前N1位的第二相似程度值對應的待處理圖片將所述待處理圖片集合分為第一候選圖片集合和非第一候選圖片集合;其中,所述第一候選圖片集合包含所述排在前N1位的第二相似程度值對應的待處理圖片;根據所述第一候選圖片集合中的圖片的第二特徵值和所述非第一候選圖片集合中的圖片的第二特徵值,從所述非第一候選圖片集合中確定出N2張圖片,組成第二候選圖片集合;基於所述第一候選圖片集合和所述第二候選圖片集合,確定所述候選圖片集合。
- 根據請求項7所述的方法,其中,所述根據第一候選圖片集合中的圖片的第二特徵值和所述非第一候選圖片集合中的圖片的第二特徵值,從所述非第一候選圖 片集合中確定出N2張圖片,組成第二候選圖片集合,包括:將所述第一候選圖片集合中的任一當前使用的圖片確認為當前圖片;根據所述當前圖片的第二特徵值和所述非第一候選圖片集合中的圖片的第二特徵值,確定出所述非第一候選圖片集合中的每張圖片對應的第三相似程度值;根據每張所述圖片對應的第三相似程度值,從所述非第一候選圖片集合確定出所述當前圖片對應的第三候選圖片集合;在每張所述當前圖片都存在對應的第三候選圖片集合的情況下,根據每張所述當前圖片對應的第三候選圖片集合確定出N2張圖片,組成第二候選圖片集合。
- 根據請求項1所述的方法,其中,所述從所述候選圖片集合中確定出目標圖片集合之後,還包括:確定所述目標圖片集合中的圖片的屬性資訊;根據所述屬性資訊,對所述目標圖片集合中的圖片包含的對象進行軌跡行為分析。
- 根據請求項9所述的方法,其中,所述屬性資訊包括圖片獲取位置和圖片獲取時間;所述根據屬性資訊,對所述目標圖片集合中的圖片包含的對象進行軌跡行為分析,包括:根據所述圖片獲取時間對所述目標圖片集合中的圖片進行排序; 基於所述圖片獲取位置和排序後的圖片,對所述目標圖片集合中的圖片包含的對象進行運動軌跡確定和行為推測。
- 一種電腦可讀儲存介質,所述電腦可讀儲存介質中儲存有至少一條指令或至少一段程式,所述至少一條指令或至少一段程式由處理器載入,並執行以實現如請求項1至10中任一項所述的一種目標重識別方法。
- 一種電子設備,包括至少一個處理器,以及與所述至少一個處理器通信連接的記憶體;其中,所述記憶體儲存有可被所述至少一個處理器執行的指令,所述至少一個處理器通過執行所述記憶體儲存的指令,實現如請求項1至10中任一項所述的一種目標重識別方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011022834.4 | 2020-09-25 | ||
CN202011022834.4A CN112149740B (zh) | 2020-09-25 | 2020-09-25 | 目标重识别方法、装置、存储介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202213185A TW202213185A (zh) | 2022-04-01 |
TWI769775B true TWI769775B (zh) | 2022-07-01 |
Family
ID=73897192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110112618A TWI769775B (zh) | 2020-09-25 | 2021-04-07 | 目標重識別方法、電子設備和電腦可讀儲存介質 |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP2022552761A (zh) |
KR (1) | KR20220042356A (zh) |
CN (1) | CN112149740B (zh) |
TW (1) | TWI769775B (zh) |
WO (1) | WO2022062243A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112464922B (zh) * | 2021-02-02 | 2021-05-28 | 长沙海信智能系统研究院有限公司 | 人车重识别及其模型训练方法、装置、设备及存储介质 |
CN113591948B (zh) * | 2021-07-16 | 2024-09-27 | 清华大学 | 一种缺陷模式识别方法、装置、电子设备和存储介质 |
CN114218992B (zh) * | 2021-12-29 | 2023-09-08 | 重庆紫光华山智安科技有限公司 | 异常对象的检测方法及相关装置 |
CN114545400B (zh) * | 2022-04-27 | 2022-08-05 | 陕西欧卡电子智能科技有限公司 | 基于毫米波雷达的水面机器人的全局重定位方法 |
CN115019245A (zh) * | 2022-05-13 | 2022-09-06 | 浙江大华技术股份有限公司 | 一种目标监测方法、装置、设备及介质 |
CN114972883B (zh) * | 2022-06-17 | 2024-05-10 | 平安科技(深圳)有限公司 | 基于人工智能的目标检测样本生成方法及相关设备 |
CN114814777B (zh) * | 2022-06-27 | 2022-09-27 | 中国人民解放军32035部队 | 一种多雷达密集目标的图形匹配关联方法及系统 |
KR102585912B1 (ko) * | 2022-12-14 | 2023-10-06 | 주식회사 딥노이드 | 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법 |
KR20240092844A (ko) | 2022-12-15 | 2024-06-24 | 유니셈(주) | 객체 재식별 추적 장치 |
CN115687674A (zh) * | 2022-12-20 | 2023-02-03 | 昆明勤砖晟信息科技有限公司 | 服务于智慧云服务平台的大数据需求分析方法及系统 |
CN116700724B (zh) * | 2023-08-03 | 2023-10-20 | 江苏狄诺尼信息技术有限责任公司 | 一种基于模式法的立交平面交互式图形设计系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170116753A1 (en) * | 2014-04-30 | 2017-04-27 | Institute Of Automation Chinese Academy Of Sciences | Large-Range-First Cross-Camera Visual Target Re-identification Method |
CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
CN109299664A (zh) * | 2018-08-27 | 2019-02-01 | 华中科技大学 | 一种行人重识别的重排序方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101482920B (zh) * | 2008-12-30 | 2010-12-22 | 广东国笔科技股份有限公司 | 一种手写字符识别方法及系统 |
US10108850B1 (en) * | 2017-04-24 | 2018-10-23 | Intel Corporation | Recognition, reidentification and security enhancements using autonomous machines |
CN107153817B (zh) * | 2017-04-29 | 2021-04-27 | 深圳市深网视界科技有限公司 | 行人重识别数据标注方法和装置 |
CN110349156B (zh) * | 2017-11-30 | 2023-05-30 | 腾讯科技(深圳)有限公司 | 眼底图片中病变特征的识别方法和装置、存储介质 |
US10671887B2 (en) * | 2017-12-05 | 2020-06-02 | Axis Ab | Best image crop selection |
CN111291765A (zh) * | 2018-12-07 | 2020-06-16 | 北京京东尚科信息技术有限公司 | 用于确定相似图片的方法和装置 |
CN109934249A (zh) * | 2018-12-14 | 2019-06-25 | 网易(杭州)网络有限公司 | 数据处理方法、装置、介质和计算设备 |
CN109886113A (zh) * | 2019-01-17 | 2019-06-14 | 桂林远望智能通信科技有限公司 | 一种基于区域候选网络的旷视行人再识别方法 |
CN110084157B (zh) * | 2019-04-12 | 2021-08-24 | 北京旷视科技有限公司 | 图像重识别的数据处理方法及装置 |
CN110135295A (zh) * | 2019-04-29 | 2019-08-16 | 华南理工大学 | 一种基于迁移学习的无监督行人重识别方法 |
CN110163127A (zh) * | 2019-05-07 | 2019-08-23 | 国网江西省电力有限公司检修分公司 | 一种由粗到细的视频目标行为识别方法 |
CN110796057A (zh) * | 2019-10-22 | 2020-02-14 | 上海交通大学 | 行人重识别方法、装置及计算机设备 |
CN111126224A (zh) * | 2019-12-17 | 2020-05-08 | 成都通甲优博科技有限责任公司 | 车辆检测方法及分类识别模型训练方法 |
CN111339979B (zh) * | 2020-03-04 | 2023-09-19 | 平安科技(深圳)有限公司 | 基于特征提取的图像识别方法及图像识别装置 |
-
2020
- 2020-09-25 CN CN202011022834.4A patent/CN112149740B/zh active Active
- 2020-12-28 KR KR1020227002689A patent/KR20220042356A/ko unknown
- 2020-12-28 JP JP2021574956A patent/JP2022552761A/ja not_active Withdrawn
- 2020-12-28 WO PCT/CN2020/140303 patent/WO2022062243A1/zh active Application Filing
-
2021
- 2021-04-07 TW TW110112618A patent/TWI769775B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170116753A1 (en) * | 2014-04-30 | 2017-04-27 | Institute Of Automation Chinese Academy Of Sciences | Large-Range-First Cross-Camera Visual Target Re-identification Method |
CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
CN109299664A (zh) * | 2018-08-27 | 2019-02-01 | 华中科技大学 | 一种行人重识别的重排序方法 |
Also Published As
Publication number | Publication date |
---|---|
TW202213185A (zh) | 2022-04-01 |
CN112149740B (zh) | 2021-12-28 |
JP2022552761A (ja) | 2022-12-20 |
CN112149740A (zh) | 2020-12-29 |
WO2022062243A1 (zh) | 2022-03-31 |
KR20220042356A (ko) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI769775B (zh) | 目標重識別方法、電子設備和電腦可讀儲存介質 | |
CN109829433B (zh) | 人脸图像识别方法、装置、电子设备及存储介质 | |
TWI759722B (zh) | 神經網路訓練方法及裝置、圖像處理方法及裝置、電子設備和計算機可讀存儲介質 | |
TWI749423B (zh) | 圖像處理方法及裝置、電子設備和電腦可讀儲存介質 | |
JP7171884B2 (ja) | 歩行者認識方法及び装置 | |
TWI773481B (zh) | 圖像處理方法及裝置、電子設備和電腦可讀儲存介質 | |
CN111581488B (zh) | 一种数据处理方法及装置、电子设备和存储介质 | |
KR20210053122A (ko) | 신경망의 훈련 방법, 장치 및 저장 매체 | |
TW202205151A (zh) | 網路訓練方法、目標檢測方法、電子設備和電腦可讀儲存介質 | |
JP2021512378A (ja) | アンカー決定方法及び装置、電子機器並びに記憶媒体 | |
CN112084344A (zh) | 知识图谱推理方法、装置及存储介质 | |
KR20210114511A (ko) | 얼굴 이미지 인식 방법 및 장치, 전자 기기 및 저장 매체 | |
JP2022522551A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
CN112906484B (zh) | 一种视频帧处理方法及装置、电子设备和存储介质 | |
CN113486957B (zh) | 神经网络训练和图像处理方法及装置 | |
JP7114811B2 (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
WO2020232976A1 (zh) | 信息处理方法及装置、电子设备和存储介质 | |
TW202213374A (zh) | 抗體的預測方法、電子設備、電腦可讀儲存介質 | |
CN113781518B (zh) | 神经网络结构搜索方法及装置、电子设备和存储介质 | |
US12094184B2 (en) | Contextual matching | |
CN111027617A (zh) | 神经网络训练及图像识别方法、装置、设备和存储介质 | |
CN109460458B (zh) | 查询改写意图的预测方法及装置 | |
CN111178115B (zh) | 对象识别网络的训练方法及系统 | |
CN113537350B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN112801116B (zh) | 图像的特征提取方法及装置、电子设备和存储介质 |