TW202147156A - 對象再識別方法、儲存介質及電腦設備 - Google Patents

對象再識別方法、儲存介質及電腦設備 Download PDF

Info

Publication number
TW202147156A
TW202147156A TW110101017A TW110101017A TW202147156A TW 202147156 A TW202147156 A TW 202147156A TW 110101017 A TW110101017 A TW 110101017A TW 110101017 A TW110101017 A TW 110101017A TW 202147156 A TW202147156 A TW 202147156A
Authority
TW
Taiwan
Prior art keywords
image data
clustered
network
cluster
initial
Prior art date
Application number
TW110101017A
Other languages
English (en)
Other versions
TWI780567B (zh
Inventor
葛藝瀟
陳大鵬
朱烽
趙瑞
李鴻升
Original Assignee
大陸商商湯集團有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商商湯集團有限公司 filed Critical 大陸商商湯集團有限公司
Publication of TW202147156A publication Critical patent/TW202147156A/zh
Application granted granted Critical
Publication of TWI780567B publication Critical patent/TWI780567B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本發明實施例提供一種對象再識別方法、儲存介質及電腦設備,該方法包括獲取預訓練的再識別網路;獲取待識別圖像;通過所述再識別網路對所述待識別圖像進行再識別處理,得到所述待識別圖像中目標對象的再識別結果。其中,所述再識別網路的訓練圖像資料至少包括第一聚類圖像資料以及非聚類實例圖像資料,所述第一聚類圖像資料和所述非聚類實例圖像資料為由所述再識別網路對應的初始網路對第一圖像資料集進行聚類處理得到,所述第一圖像資料集中的圖像資料不包含真實聚類標籤。

Description

對象再識別方法、儲存介質及電腦設備
本發明關於圖像處理技術領域,尤其關於一種對象再識別方法、儲存介質及電腦設備。
近些年來,在人工智慧領域,使用領域自我調整策略來解決圖像的識別、分類、檢測等任務成為熱點。應用例如對象(如行人、車輛等)的再識別(re-identification,re-ID)等。
相關技術中,通常採用偽標籤(Pseudo-Labelling)技術實現跨領域的對象再識別,即通過對源域圖像資料添加對應的真實標籤,並使用源域圖像資料對網路進行預訓練,再使用預訓練後的網路對目標域圖像資料進行聚類生成偽標籤,最後使用帶有偽標籤的圖像資料對網路進行優化,得到最終的網路。
相關技術在對網路進行優化的情況下,僅用到目標域中帶有偽標籤的圖像資料,而丟棄了不包含在聚類中的離群值,然而,離群值可能是困難但有價值的樣本圖像資料,從而限制了網路的聚類性能,進而可能對網路的聚類結果產生一定影響。
本發明提供一種對象再識別方法、儲存介質及電腦設備。
本發明提供一種對象再識別方法,包括:獲取預訓練的再識別網路;獲取待識別圖像;通過所述再識別網路對所述待識別圖像進行再識別處理,得到所述待識別圖像中目標對象的再識別結果;其中,所述再識別網路的訓練圖像資料至少包括第一聚類圖像資料以及非聚類實例圖像資料,所述第一聚類圖像資料和所述非聚類實例圖像資料為由所述再識別網路對應的初始網路對第一圖像資料集進行聚類處理得到,所述第一圖像資料集中的圖像資料不包含真實聚類標籤。
這樣,本發明實施例通過結合不在聚類中的離群值進行網路訓練,有助於提高再識別網路的聚類性能,進而提高通過本發明的對象再識別方法得到的目標對象再識別結果的準確性。
在一個實施例中,所述再識別網路的訓練圖像資料還包括第二圖像資料集,所述第二圖像資料集中的第二聚類圖像資料包含真實聚類標籤;所述第二圖像資料集所在的圖像資料域與所述第一圖像資料集所在的圖像資料域不同。
這樣,本發明實施例通過提供不包含真實聚類標籤的第一聚類圖像資料、非聚類實例圖像資料以及包含真實聚類標籤的第二聚類圖像資料的監督,有助於提高再識別網路的聚類性能,進而提高通過本發明的對象再識別方法得到的目標對象再識別結果的準確性。
在一個實施例中,所述獲取預訓練的再識別網路之前,還包括:獲取所述初始網路;獲取所述訓練圖像資料;通過所述訓練圖像資料對所述初始網路進行訓練,得到所述再識別網路。
這樣,本發明實施例通過獲取到的訓練圖像資料對初始網路進行訓練,以得到再識別網路,能夠提高再識別網路的圖像分類和物體識別能力。
在一個實施例中,所述獲取所述訓練圖像資料,包括:獲取通過所述初始網路對所述第一圖像資料集進行聚類處理得到的初始聚類結果;對所述初始聚類結果進行再聚類處理,得到所述第一聚類圖像資料以及所述非聚類實例圖像資料。
這樣,對於本發明實施例對目標域圖像資料進行處理的處理流程,可以理解為自定步長對比學習策略,即根據“由簡入難”的原則,首先得到最可信的聚類,然後通過再聚類處理逐漸增加可信的聚類,從而提升學習目標的品質,通過增加可信聚類減小誤差。
在一個實施例中,所述初始聚類結果包括初始聚類圖像資料;所述對所述初始聚類結果進行再聚類處理,得到所述第一聚類圖像資料以及所述非聚類實例圖像資料,包括:根據圖像特徵距離,減少所述初始聚類圖像資料中第一當前集群的圖像資料數量,得到第二當前集群;確定所述第二當前集群的密集指數,所述密集指數為所述第二當前集群的圖像資料數量與所述第一當前集群的圖像資料數量的比值;在所述密集指數達到第一預設閾值的情況下,通過所述第二當前集群替換所述第一當前集群,得到所述第一聚類圖像資料;將減少的圖像資料更新為屬於非聚類實例圖像資料。
這樣,通過評價聚類的密集性來進行再聚類處理,以逐漸增加可信的聚類,從而提升學習目標的品質,通過增加可信聚類減小誤差。
在一個實施例中,所述初始聚類結果還包括初始非聚類圖像資料;所述對所述初始聚類結果進行再聚類處理,得到所述第一聚類圖像資料以及所述非聚類實例圖像資料,包括:根據圖像特徵距離,在所述初始聚類圖像資料的第三當前集群中增加其他集群的圖像資料和/或所述初始非聚類圖像資料中的圖像資料,得到第四當前集群,所述其他集群為所述初始聚類圖像資料中與所述第三當前集群不同的集群;確定所述第四當前集群的獨立指數;所述獨立指數為所述第三當前集群的圖像資料數量與所述第四當前集群的圖像資料數量的比值;在所述獨立指數達到第一預設閾值的情況下,通過所述第四當前集群替換所述第三當前集群,得到所述第一聚類圖像資料;在增加的圖像資料包括所述其他集群的圖像資料的情況下,解散所述其他集群;和/或,在增加的圖像資料包括所述初始非聚類圖像資料中的圖像資料的情況下,將增加的圖像資料更新為不屬於非聚類實例圖像資料。
這樣,通過評價聚類的獨立性來進行再聚類處理,可以逐步提高特徵表示的識別率,將更多的非聚類資料加入到新的聚類中,以逐漸增加可信的聚類,從而提升學習目標的品質,通過增加可信聚類減小誤差。
在一個實施例中,所述通過所述訓練圖像資料對所述初始網路進行訓練,得到所述再識別網路,包括:基於所述訓練圖像資料確定圖像資料中心;基於所述訓練圖像資料以及所述圖像資料中心確定對比損失,基於所述對比損失對所述初始網路進行參數優化,得到優化網路;通過所述優化網路對所述訓練圖像資料中的非聚類實例圖像資料進行聚類,根據聚類結果對所述第一聚類圖像資料以及所述非聚類實例圖像資料進行更新,得到新的訓練圖像資料;基於所述新的訓練圖像資料確定新的圖像資料中心,返回基於所述新的訓練圖像資料以及所述新的圖像資料中心確定新的對比損失的步驟,直至訓練完成,得到所述再識別網路。
這樣,本發明實施例通過動態優化網路、更新訓練資料、更新圖像資料中心,從而能夠提供提高再識別網路的訓練性能,進而提高通過本發明的對象再識別方法得到的目標對象再識別結果的準確性。
在一個實施例中,所述圖像資料中心包括所述第一聚類圖像資料對應的第一聚類中心以及所述非聚類實例圖像資料對應的實例中心;或者,所述圖像資料中心包括所述第一聚類圖像資料對應的第一聚類中心、所述非聚類實例圖像資料對應的實例中心以及所述第二聚類圖像資料對應的第二聚類中心。
這樣,既可以通過無監督學習進行網路訓練,又可以引入第二聚類圖像資料採用半監督學習進行訓練,提供了網路訓練的靈活性和多樣性。
在一個實施例中,所述再識別網路包括殘差網路。
這樣,由於殘差網路是由殘差塊(Residual block)組成的網路,網路內部的殘差塊使用跳躍連接,有助於解決梯度消失和梯度爆炸問題,使得殘差網路具備容易優化的特點,同時又能提高圖像分類和物體識別性能。
本發明提供一種對象再識別裝置,包括:網路獲取模組,配置為獲取預訓練的再識別網路;圖像獲取模組,配置為獲取待識別圖像;再識別模組,配置為通過所述再識別網路對所述待識別圖像進行再識別處理,得到所述待識別圖像中目標對象的再識別結果;其中,所述再識別網路的訓練圖像資料至少包括第一聚類圖像資料以及非聚類實例圖像資料,所述第一聚類圖像資料和所述非聚類實例圖像資料為由所述再識別網路對應的初始網路對第一圖像資料集進行聚類處理得到,所述第一圖像資料集中的圖像資料不包含真實聚類標籤。
本發明提供一種電腦設備,包括:記憶體,處理器及儲存在所述記憶體上並可在所述處理器上運行的電腦程式,所述處理器執行所述程式時實現上述對象再識別方法。
本發明提供一種電腦可讀儲存介質,所述電腦可讀儲存介質中儲存有電腦執行指令,所述電腦執行指令被處理器執行時配置為實現上述對象再識別方法。
本發明實施例提供了一種電腦程式產品,其中,上述電腦程式產品包括儲存了電腦程式的非暫態性電腦可讀儲存介質,上述電腦程式可操作來使電腦執行如本發明實施例對象再識別方法中所描述的部分或全部步驟。該電腦程式產品可以為一個軟體安裝包。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,而非限制本發明實施例。
根據下面參考附圖對示例性實施例的詳細說明,本發明的其它特徵及方面將變得清楚。
為使本發明實施例的目的、技術方案和優點更加清楚,下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例是本發明一部分實施例,而不是全部的實施例。基於本發明中的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都屬於本發明保護的範圍。
在本發明實施例中使用的術語是僅僅出於描述特定實施例的目的,而非旨在限制本發明。在本發明實施例中所使用的單數形式的“一種”和“該”也旨在包括多數形式,除非上下文清楚地表示其他含義。
應當理解,本文中使用的術語“和/或”僅僅是一種描述關聯對象的關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中字元“/”,一般表示前後關聯對象是一種“或”的關係。
取決於語境,如在此所使用的詞語“如果”、“若”可以被解釋成為“在……時”或“當……時”或“回應於確定”或“回應於檢測”。類似地,取決於語境,短語“如果確定”或“如果檢測(陳述的條件或事件)”可以被解釋成為“當確定時”或“回應於確定”或“當檢測(陳述的條件或事件)時”或“回應於檢測(陳述的條件或事件)”。
還需要說明的是,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的商品或者系統不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種商品或者系統所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,並不排除在包括所述要素的商品或者系統中還存在另外的相同要素。
人工智慧(Artificial Intelligence,AI)是利用數位電腦或者數位電腦控制的機器類比、延伸和擴展人的智慧,感知環境、獲取知識並使用知識獲得最佳結果的理論、方法、技術及應用系統。換句話說,人工智慧是電腦科學的一個綜合技術,它企圖瞭解智慧的實質,並生產出一種新的能以人類智慧相似的方式做出反應的智慧型機器。人工智慧也就是研究各種智慧型機器的設計原理與實現方法,使機器具有感知、推理與決策的功能。
人工智慧技術是一門綜合學科,涉及領域廣泛,既有硬體層面的技術也有軟體層面的技術。人工智慧基礎技術一般包括如感測器、專用人工智慧晶片、雲計算、分散式儲存、大資料處理技術、操作/交互系統、機電一體化等技術。人工智慧軟體技術主要包括電腦視覺技術以及機器學習/深度學習等幾大方向。
電腦視覺技術(Computer Vision,CV)一門研究如何使機器“看”的科學,在本發明的一些實施例中,就是指用攝影機和電腦代替人眼對目標進行識別、跟蹤和測量等機器視覺,並做圖形處理,使電腦處理成為更適合人眼觀察或傳送給儀器檢測的圖像。作為一個科學學科,電腦視覺研究相關的理論和技術,試圖建立能夠從圖像或者多維資料中獲取資訊的人工智慧系統。電腦視覺技術通常包括圖像處理、圖像識別、圖像語義理解、圖像檢索、OCR(Optical Character Recognition,光學字元辨識)、視頻處理、視頻語義理解、視頻內容/行為識別、三維物體重建、3D(three dimensional,三維)技術、虛擬實境、增強現實、同步定位與地圖構建等技術,還包括常見的人臉識別、指紋識別等生物特徵識別技術。
機器學習(Machine Learning,ML)是一門多領域交叉學科,涉及概率論、統計學、逼近論、凸分析、演算法複雜度理論等多門學科。專門研究電腦怎樣類比或實現人類的學習行為,以獲取新的知識或技能,重新組織已有的知識結構使之不斷改善自身的性能。機器學習是人工智慧的核心,是使計算機具有智慧的根本途徑,其應用遍及人工智慧的各個領域。機器學習和深度學習通常包括人工神經網路、置信網路、強化學習、遷移學習、歸納學習、示教學習等技術。
目標再識別是電腦視覺以及安防監控領域的重要問題,要求從資料集中檢索出對應目標的圖像,該目標可以為行人、車輛等。然而在直接將訓練好的網路應用於不同的監控場景的情況下,網路表現出無法避免的性能下降,這是圖像領域間的差異所導致的,如攝影環境、光線、背景、拍攝設備等等。另外,針對每個監控場景標注不同的訓練資料用於網路訓練是不現實的,因為標注需要耗費大量的人力和時間。
目前在針對不同領域自我調整(Domain Adaptation,遷移學習的一種)的目標再識別的方法中,基於偽標籤的方法是一種常用方法。該方法旨在通過在無標注的目標域上不斷地聚類以生成偽標籤來進行自我訓練,可以取得最先進的性能。然而,由於聚類的過程會產生一定的異常點,即無法分入任何一類的邊緣樣本,相關方法為了確保聚類的品質,均直接丟棄這些異常點,不將其歸入訓練集,即在網路進行自我訓練的過程中僅用到目標域中帶有偽標籤的圖像資料,而丟棄了不包含在聚類中的離群值,然而,離群值可能是困難但有價值的樣本圖像資料,從而限制了網路的聚類性能,進而可能對網路的聚類結果產生一定影響。
基於此,本發明提出一種對象再識別方法,該方法所使用的再識別網路為至少基於第一聚類圖像資料以及非聚類實例圖像資料訓練得到,從而,本發明通過結合不在聚類中的離群值進行網路訓練,有助於提高再識別網路的聚類性能,進而提高通過本發明的對象再識別方法得到的目標對象再識別結果的準確性。
在本發明實施例中提出的對象再識別方法可分為兩部分,包括網路訓練部分和網路應用部分;其中,網路訓練部分涉及到機器學習這一技術領域,在網路訓練部分中,通過機器學習這一技術訓練初始網路以得到訓練好的再識別網路;在網路應用部分中,通過使用在網路訓練部分訓練得到的再識別網路,獲得待識別圖像中目標對象的再識別結果。
為了便於理解,首先對本發明方案中的網路訓練部分進行解釋說明。
可以理解,本發明中網路訓練部分的方法步驟可以由終端或者伺服器實現。
圖1為本發明實施例中通過網路訓練得到再識別網路的示意圖,如圖1所示,該處理流程包括以下步驟: S100、獲取初始網路; S200、獲取訓練圖像資料; S300、通過訓練圖像資料對初始網路進行訓練,得到再識別網路。
其中,初始網路為初始待訓練的網路,該初始網路具備一定的對象再識別能力。
其中,初始網路可以是例如殘差網路(Residual Network,ResNet)等,殘差網路是由殘差塊(Residual block)組成的網路,網路內部的殘差塊使用跳躍連接,有助於解決梯度消失和梯度爆炸問題,使得殘差網路具備容易優化的特點,同時又提高了圖像分類和物體識別性能。
在一些實施例中,網路訓練方法可以採用無監督學習。無監督學習是指僅使用目標域中無標注的圖像資料進行網路訓練的處理過程,所述目標域可以是第一監控場景。
在採用無監督學習進行網路訓練的情況下,再識別網路的訓練圖像資料包括第一聚類圖像資料以及非聚類實例圖像資料。其中,第一聚類圖像資料和非聚類實例圖像資料為由再識別網路對應的初始網路對第一圖像資料集進行聚類處理得到,第一圖像資料集中的圖像資料不包含真實聚類標籤,第一圖像資料集對應目標域的圖像資料。
在一些實施例中,網路訓練方法可以採用半監督學習。半監督學習是指同時使用源域中有標注的圖像資料以及目標域中無標注的圖像資料進行網路訓練的處理過程,所述源域可以是第二監控場景。源域中有標注的圖像資料帶有ground-truth(真值)標籤,ground-truth可以是採用人工標記,ground-truth可以在網路訓練過程中提供有價值的監督。
其中,在採用半監督學習進行網路訓練的情況下,再識別網路的訓練圖像資料至少包括第一聚類圖像資料、非聚類實例圖像資料以及第二圖像資料集。
其中,第一聚類圖像資料和非聚類實例圖像資料為由再識別網路對應的初始網路對第一圖像資料集進行聚類處理得到,第一圖像資料集中的圖像資料不包含真實聚類標籤,第一圖像資料集對應目標域的圖像資料。
第二圖像資料集中的第二聚類圖像資料包含真實聚類標籤,第二圖像資料集對應源域的圖像資料;第二圖像資料集所在的圖像資料域與第一圖像資料集所在的圖像資料域不同。
在一個實施例中,在採用半監督學習進行網路訓練的情況下,獲取訓練圖像資料的步驟包括獲取有標注的源域圖像資料、獲取無標注的目標域圖像資料以及對目標域圖像資料進行處理的步驟。
其中,獲取源域圖像資料時,可以是直接獲取已完成標注的圖像資料即可。
在一些實施例中,在採用無監督學習進行網路訓練的情況下,獲取訓練圖像資料的步驟包括獲取無標注的目標域圖像資料以及對目標域圖像資料進行處理的步驟。
圖2為對目標域圖像資料進行處理的示意圖,如圖2所示,該處理流程包括以下步驟: S220、獲取通過初始網路對第一圖像資料集進行聚類處理得到的初始聚類結果; S240、對初始聚類結果進行再聚類處理,得到第一聚類圖像資料以及非聚類實例圖像資料。
其中,第一圖像資料集對應目標域圖像資料。在獲取無標注的目標域圖像資料後,首先通過初始網路對第一圖像資料集進行初始聚類處理,得到第一圖像資料集對應的初始聚類結果,然後,再對初始聚類結果進行再聚類處理,得到第一聚類圖像資料以及非聚類實例圖像資料。
其中,對於以上對目標域圖像資料進行處理的處理流程,可以理解為自定步長對比學習策略,即根據“由簡入難”的原則,首先得到最可信的聚類,然後通過再聚類處理逐漸增加可信的聚類,從而提升學習目標的品質,通過增加可信聚類減小誤差。
在一個實施例中,提供一種聚類可信度評價準則,該準則通過評價聚類的密集性來對初始聚類結果進行再聚類處理,從而增加可信的聚類數量。
本發明中,初始聚類結果包括初始聚類圖像資料。
圖3為本發明實施例中對初始聚類結果進行再聚類處理,得到第一聚類圖像資料以及非聚類實例圖像資料的示意圖,如圖3所示,該處理流程包括以下步驟: S242A,根據圖像特徵距離,減少初始聚類圖像資料中第一當前集群的圖像資料數量,得到第二當前集群; S244A,確定第二當前集群的密集指數,密集指數為第二當前集群的圖像資料數量與第一當前集群的圖像資料數量的比值; S246A,在密集指數達到第一預設閾值的情況下,通過第二當前集群替換第一當前集群,得到第一聚類圖像資料; S248A,將減少的圖像資料更新為屬於非聚類實例圖像資料。
本發明通過提高聚類標準來進行再聚類處理,以驗證聚類的密集性是否達到預設要求。
對於歸為同一聚類中的各圖像資料,可以理解為各圖像資料的圖像特徵距離滿足聚類標準,即
Figure 02_image001
,其中,
Figure 02_image003
為圖像特徵距離,
Figure 02_image005
為聚類標準對應的距離。
在提高聚類標準(減小聚類標準對應的距離)後,例如聚類標準變為
Figure 02_image007
,且
Figure 02_image009
,則可能出現部分圖像資料的圖像特徵距離大於聚類標準的情況,即
Figure 02_image011
,此時,根據圖像特徵距離保留
Figure 02_image013
的圖像資料,並將
Figure 02_image015
的圖像資料從第一當前集群中剔除,第一當前集群中的圖像資料數量減少,得到新的第二當前集群。
在得到第二當前集群後,計算第二當前集群的密集指數,該密集指數用於評價聚類的密集性。密集指數可以通過以下公式計算得到:
Figure 02_image016
,其中,P為密集指數,n1為第一當前集群的圖像資料數量,n2為第二當前集群的圖像資料數量。
圖4為計算密集指數的示例圖,如圖4所示,圓點表示圖像資料,黑色圓點表示保留的圖像資料,白色圓點表示被剔除的圖像資料,實線區域表示第一當前集群clu1,虛線區域表示第二當前集群clu2,根據圖4可以看出,第一當前集群clu1的圖像資料數量為7,第二當前集群clu2的圖像資料數量為5,則第二當前集群clu2的密集指數P為:
Figure 02_image018
在計算得到密集指數P後,將密集指數P與相應的第一預設閾值
Figure 02_image020
進行比較,根據比較結果確定是否保留新的集群(即第二當前集群)。
其中,在
Figure 02_image022
的情況下,說明第二當前集群clu2的密集指數P達到預設密集性要求,此時,解散第一當前集群,保留第二當前集群,並使用第二當前集群對第一聚類圖像資料進行更新。同時,對於集群中減少(被剔除)的圖像資料,將該圖像資料更新為屬於非聚類實例圖像資料。例如,參考圖4,在P為5/7,
Figure 02_image020
為0.5的情況下,
Figure 02_image024
,此時,通過第二當前集群替換第一當前集群,對第一聚類圖像資料進行更新。
Figure 02_image026
的情況下,說明第二當前集群clu2的密集指數P未達到預設密集性要求,此時,解散第二當前集群,保留第一當前集群。
本發明通過評價聚類的密集性來進行再聚類處理,以逐漸增加可信的聚類,從而提升學習目標的品質,通過增加可信聚類減小誤差。
在一個實施例中,提供一種聚類可信度評價準則,該準則通過評價聚類的獨立性來對初始聚類結果進行再聚類處理,從而增加可信的聚類數量。
本發明中,初始聚類結果包括初始聚類圖像資料以及初始非聚類圖像資料。
圖5為本發明實施例中對初始聚類結果進行再聚類處理,得到第一聚類圖像資料以及非聚類實例圖像資料的示意圖,如圖5所示,該處理流程包括以下步驟: S242B,根據圖像特徵距離,在初始聚類圖像資料的第三當前集群中增加其他集群的圖像資料和/或初始非聚類圖像資料中的圖像資料,得到第四當前集群,其他集群為初始聚類圖像資料中與第三當前集群不同的集群; S244B,確定第四當前集群的獨立指數;獨立指數為第三當前集群的圖像資料數量與第四當前集群的圖像資料數量的比值; S246B,在獨立指數達到第一預設閾值的情況下,通過第四當前集群替換第三當前集群,得到第一聚類圖像資料; S248B,在增加的圖像資料包括其他集群的圖像資料的情況下,解散其他集群;和/或,在增加的圖像資料包括初始非聚類圖像資料中的圖像資料的情況下,將增加的圖像資料更新為不屬於非聚類實例圖像資料。
本發明通過降低聚類標準來進行再聚類處理,以驗證聚類的獨立性是否達到預設要求。
對於歸為同一聚類中的各圖像資料,可以理解為各圖像資料的圖像特徵距離滿足聚類標準,即
Figure 02_image001
,其中,
Figure 02_image003
為圖像特徵距離,
Figure 02_image005
為聚類標準對應的距離。
在降低聚類標準(增大聚類標準對應的距離)後,例如聚類標準變為
Figure 02_image028
,且
Figure 02_image030
,則可能出現非當前集群的圖像資料(例如其他集群的圖像資料和/或初始非聚類圖像資料中的圖像資料)的圖像特徵距離達到聚類標準的情況,即
Figure 02_image032
,其中,
Figure 02_image034
為非當前集群的圖像資料的圖像特徵距離。
此時,根據圖像特徵距離將
Figure 02_image036
的非當前集群圖像資料添加至第三當前集群,第三當前集群中的圖像資料數量增加,得到新的第四當前集群。
可以理解,增加的圖像資料,可以是僅包括符合要求的其他集群的圖像資料,可以是僅包括符合要求的初始非聚類圖像資料中的圖像資料,還可以是同時包括符合要求的其他集群的圖像資料以及初始非聚類圖像資料中的圖像資料。
在得到第四當前集群後,計算第四當前集群的獨立指數,該獨立指數用於評價聚類的獨立性。獨立指數可以通過以下公式計算得到:
Figure 02_image037
,其中,Q為獨立指數,n3為第三當前集群的圖像資料數量,n4為第四當前集群的圖像資料數量。
圖6為計算獨立指數的示例圖,如圖6所示,實線區域表示再聚類之前已有的聚類集群,即初始聚類圖像資料中的集群,包括第三當前集群clu3以及其他集群clui,圓點表示圖像資料,黑色圓點表示初始聚類圖像資料中的圖像資料,白色圓點表示初始非聚類圖像資料中的圖像資料,虛線區域表示第四當前集群clu4,根據圖6可以看出,第三當前集群clu3的圖像資料數量為2,第四當前集群clu4的圖像資料數量為7,則第四當前集群clu4的獨立指數Q為:
Figure 02_image039
在計算得到獨立指數Q後,將獨立指數Q與相應的第二預設閾值
Figure 02_image041
進行比較,根據比較結果確定是否保留新的集群(即第四當前集群)。
其中,在
Figure 02_image043
的情況下,說明第四當前集群clu4的獨立指數Q達到預設獨立性要求,此時,解散第三當前集群,保留第四當前集群,並使用第四當前集群對第一聚類圖像資料進行更新。
其中,在增加的圖像資料包括其他集群的圖像資料的情況下,解散其他集群,例如,在第四當前集群clu4的獨立指數Q達到預設獨立性要求的情況下,解散其他集群clui(i為表示集群標號的整數)。
其中,在增加的圖像資料包括初始非聚類圖像資料中的圖像資料的情況下,將增加的圖像資料更新為不屬於非聚類實例圖像資料。
Figure 02_image045
的情況下,說明第四當前集群clu4的獨立指數Q未達到預設獨立性要求,此時,解散第四當前集群,保留第三當前集群。
其中,在增加的圖像資料包括其他集群的圖像資料的情況下,保留其他集群,例如,在第四當前集群clu4的獨立指數Q未達到預設獨立性要求的情況下,保留其他集群clui。
其中,在增加的圖像資料包括初始非聚類圖像資料中的圖像資料的情況下,將增加的圖像資料更新為屬於非聚類實例圖像資料。
例如,參考圖6,在Q為2/7,
Figure 02_image041
為0.5的情況下,
Figure 02_image047
,此時,解散第四當前集群clu4,保留第三當前集群clu3以及其他集群clui,同時,增加的未聚類圖像資料更新為屬於非聚類實例圖像資料。
本發明通過評價聚類的獨立性來進行再聚類處理,可以逐步提高特徵表示的識別率,將更多的非聚類資料加入到新的聚類中,以逐漸增加可信的聚類,從而提升學習目標的品質,通過增加可信聚類減小誤差。
在一個實施例中,提供一種聚類可信度評價準則,該準則通過評價聚類的獨立性以及密集性來對初始聚類結果進行再聚類處理,從而增加可信的聚類數量。
關於通過獨立性以及密集性來對初始聚類結果進行再聚類處理的處理流程,可以參考上述實施例中的分別通過評價聚類的獨立性來進行再聚類處理以及通過評價聚類的密集性來進行再聚類處理的處理步驟,在此不再贅述。
其中,在同時結合獨立性以及密集性進行再聚類處理的情況下,對應的預設閾值可以根據實際情況設置,例如,設定
Figure 02_image049
Figure 02_image041
都為0.5等。
本發明通過評價聚類的獨立性以及密集性來進行再聚類處理,以逐漸增加可信的聚類,從而提升學習目標的品質,通過增加可信聚類減小誤差。
在一個實施例中,對網路訓練的處理步驟進行解釋說明。
圖7為本發明實施例中通過訓練圖像資料對初始網路進行訓練,得到再識別網路的示意圖,如圖7所示,該處理流程包括以下步驟: S320、基於訓練圖像資料確定圖像資料中心; S340、基於訓練圖像資料以及圖像資料中心確定對比損失,基於對比損失對初始網路進行參數優化,得到優化網路; S360、通過優化網路對訓練圖像資料中的非聚類實例圖像資料進行聚類,根據聚類結果對第一聚類圖像資料以及非聚類實例圖像資料進行更新,得到新的訓練圖像資料; S380、基於新的訓練圖像資料確定新的圖像資料中心,返回基於新的訓練圖像資料以及新的圖像資料中心確定新的對比損失的步驟,直至訓練完成,得到再識別網路。
在一些實施例中,在採用無監督學習進行網路訓練的情況下,訓練資料包括第一聚類圖像資料以及非聚類實例圖像資料,對應的,圖像資料中心包括第一聚類圖像資料對應的第一聚類中心以及非聚類實例圖像資料對應的實例中心。
在一些實施例中,在採用半監督學習進行網路訓練的情況下,訓練資料包括第一聚類圖像資料、非聚類實例圖像資料以及第二聚類圖像資料。對應的,圖像資料中心包括第一聚類圖像資料對應的第一聚類中心、非聚類實例圖像資料對應的實例中心以及第二聚類圖像資料對應的第二聚類中心。
其中,以採用半監督學習進行網路訓練為例進行解釋說明。
(1)首先基於獲取的訓練圖像資料確定初始的圖像資料中心。
在基於第一聚類圖像資料確定對應的第一聚類中心的情況下,對於第一聚類圖像資料中的每個聚類,可以使用各聚類中圖像資料的平均特徵向量作為各聚類對應的第一聚類中心。可以理解,在第一聚類圖像資料包括多個聚類的情況下,第一聚類中心的數量對應為多個。
在基於非聚類實例圖像資料確定對應的實例中心的情況下,對於非聚類實例圖像資料中的每個單獨實例,各單獨實例對應的特徵向量即為各單獨實例的實例中心。可以理解,在非聚類實例圖像資料包括多個單獨實例的情況下,實例中心的數量對應為多個。
在基於第二聚類圖像資料確定對應的第二聚類中心的情況下,對於第二聚類圖像資料中的每個聚類,可以使用各聚類中圖像資料的平均特徵向量作為各聚類對應的第二聚類中心。可以理解,在第二聚類圖像資料包括多個聚類的情況下,第二聚類中心的數量對應為多個。
(2)基於訓練圖像資料以及圖像資料中心確定對比損失,基於對比損失對初始網路進行參數優化,得到優化網路。
其中,定義
Figure 02_image050
表示第二圖像資料集中的第二聚類圖像資料(即源域資料),
Figure 02_image052
表示第一圖像資料集(即目標域資料),
Figure 02_image054
表示第一聚類圖像資料,
Figure 02_image056
表示非聚類實例圖像資料,則
Figure 02_image058
對於特徵向量
Figure 02_image060
,可以通過以下公式(1)計算對比損失,並基於對比損失對初始網路進行參數優化,得到優化網路:
Figure 02_image062
(1); 其中,
Figure 02_image064
設定為0.05,<a,b>表示a、b兩個特徵向量之間的內積,用於度量特徵向量的相似性,
Figure 02_image066
表示第二聚類圖像資料中聚類的數量,
Figure 02_image068
表示第一聚類圖像資料中聚類的數量,
Figure 02_image070
表示非聚類實例圖像資料中單獨實例的數量,
Figure 02_image072
表示第二聚類圖像資料對應的第二聚類中心,
Figure 02_image074
表示第一聚類圖像資料對應的第一聚類中心,
Figure 02_image076
表示非聚類實例圖像資料對應的實例中心。
另外,
Figure 02_image078
表示特徵向量f對應的資料中心,例如,在
Figure 02_image080
的情況下,
Figure 02_image082
;在
Figure 02_image084
的情況下,
Figure 02_image086
;在
Figure 02_image088
的情況下,
Figure 02_image090
(3)在得到優化網路後,通過優化網路對非聚類實例圖像資料進行聚類,根據聚類結果對第一聚類圖像資料以及非聚類實例圖像資料進行更新。
其中,在本發明的處理過程中,可以使用混合記憶體(hybrid memory)保存第一聚類圖像資料、非聚類實例圖像資料以及第二聚類圖像資料,以及,第一聚類圖像資料對應的第一聚類中心、非聚類實例圖像資料對應的實例中心以及第二聚類圖像資料對應的第二聚類中心。
可以理解,在每次反覆運算中,每次處理的特徵向量都參與混合記憶體的更新。
在使用優化網路進行聚類的過程中,由於會出現新的聚類結果,所以會導致第一聚類圖像資料以及非聚類實例圖像資料的更新變化,即得到新的訓練圖像資料。在得到新的訓練圖像資料後,根據其更新變化對混合記憶體進行更新即可。
(4)在得到新的訓練圖像資料後,基於新的訓練圖像資料確定新的圖像資料中心,即對混合記憶體中保存的圖像資料中心進行更新和調整。
可以理解,對於第二聚類中心的更新,可以是在原中心的基礎上進行調整;而對於第一聚類中心以及實例中心的更新,則是根據第一聚類圖像資料以及非聚類實例圖像資料的更新變化重新計算。
其中,第二聚類中心
Figure 02_image072
的更新可以通過以下公式(2)實現:
Figure 02_image092
(2); 其中,
Figure 02_image094
為當前處理中屬於第二聚類圖像資料的特徵,
Figure 02_image096
為更新第二聚類中心的動量係數,例如,
Figure 02_image098
可以設置為0.2。
第一聚類中心
Figure 02_image074
的更新可以通過以下公式(3)實現:
Figure 02_image100
(3); 其中,
Figure 02_image102
為第一聚類圖像資料中的第k個聚類集群,|
Figure 02_image104
|表示集群中的特徵數量。
實例中心
Figure 02_image076
的更新可以通過以下公式(4)實現:
Figure 02_image105
(4); 其中,
Figure 02_image107
為更新實例中心的動量係數,例如,
Figure 02_image109
可以設置為0.2。
給定非聚類實例圖像資料中的圖像資料,在通過優化網路確定該圖像資料屬於第k個聚類集群的情況下,則使用第一聚類中心
Figure 02_image074
的更新公式更新第一聚類中心
Figure 02_image074
(5)在對混合記憶體進行更新後,返回步驟(2)進行網路反覆運算訓練,直至網路收斂,即得到再識別網路。
在一個實施例中,在採用無監督學習進行網路訓練的情況下,除了訓練圖像資料不包括第二聚類圖像資料,圖像資料中心不包括第二聚類圖像資料對應的第二聚類中心之外,其原理與採用半監督學習進行網路訓練的原理類似,在此不再贅述。
在一個實施例中,對本發明方案中的網路應用部分進行解釋說明。
可以理解,本發明中網路應用部分的方法步驟可以由終端或者伺服器實現,網路應用部分的方法步驟的執行主體可以與網路訓練部分的方法步驟的執行主體相同或不同。
圖8為本發明實施例中通過再識別網路進行對象再識別的示意圖,如圖8所示,該處理流程包括以下步驟: S400、獲取預訓練的再識別網路; S500、獲取待識別圖像; S600、通過再識別網路對待識別圖像進行再識別處理,得到待識別圖像中目標對象的再識別結果; 其中,再識別網路為通過本發明以上各實施例中網路訓練部分的方法步驟訓練得到。
在通過無監督學習訓練得到再識別網路的情況下,再識別網路的訓練圖像資料至少包括第一聚類圖像資料以及非聚類實例圖像資料,第一聚類圖像資料和非聚類實例圖像資料為由再識別網路對應的初始網路對第一圖像資料集進行聚類處理得到,第一圖像資料集中的圖像資料不包含真實聚類標籤。
其中,在通過半監督學習訓練得到再識別網路的情況下,再識別網路的訓練圖像資料還包括第二圖像資料集,第二圖像資料集中的第二聚類圖像資料包含真實聚類標籤;第二圖像資料集所在的圖像資料域與第一圖像資料集所在的圖像資料域不同。
本發明提供一種對象再識別方法,該方法所使用的再識別網路為至少基於第一聚類圖像資料以及非聚類實例圖像資料訓練得到,從而,本發明通過結合不在聚類中的離群值進行網路訓練,有助於提高再識別網路的聚類性能,進而提高通過本發明的對象再識別方法得到的目標對象再識別結果的準確性。
目標再識別是電腦視覺以及安防監控領域的重要問題,要求從資料集中檢索出對應目標的圖片,該目標可以為行人、車輛等。然而在直接將訓練好的模型應用於不同的監控場景的情況下,模型表現出無法避免的性能下降,這是由於領域間的差異,如攝影環境、光線、背景、拍攝設備等等。另外,針對每個監控場景標注不同的訓練資料用於網路訓練是不現實的,因為標注需要耗費大量的人力和時間。
無監督領域自我調整問題旨在將源域上利用有標注的資料訓練好的模型遷移到無標注的目標域上,使其在目標域上可以學習到有辨別力的特徵,從而有效地進行目標再識別,所述源域可以是監控場景A,所述目標域可以是監控場景B。由於源域與目標域的目標身份不重合,目標再識別的無監督領域自我調整問題是一類開放集的問題,所述目標可以是行人或車輛等。
純無監督問題旨在無需任何有標注的資料而能夠學習到有辨別力的特徵,即無需源域的有標注的資料輔助而能夠直接以無監督的方式在目標域上有效地進行目標再識別。
目前在針對無監督或無監督領域自我調整的目標再識別的方法中,基於偽標籤的方法最為有效。該類方法旨在在無標注的目標域上通過不斷地聚類以生成偽標籤來進行自我訓練,可以取得最先進的性能。但該類方法存在以下幾個缺陷,限制了他們的性能提升:第一,由於聚類的過程會產生一定的聚類異常樣本,即無法分入任何一類的邊緣樣本,已有的方法為了確保聚類的品質,均直接丟棄這些聚類異常樣本,不將其歸入訓練集。然而,這些聚類異常樣本可以被視作有價值的困難樣本,應該進行學習;第二,基於聚類的無監督領域自我調整演算法往往利用源域的資料進行預訓練,再將訓練好的模型讀入,並通過聚類生成的偽標籤及無標注的目標域樣本進行訓練,從而遷移到目標域。該演算法在目標域的訓練過程中丟棄了有價值的源域資料,浪費了源域上具有真實標籤的資料,使得源域性能丟失。第三,在無監督領域自我調整的目標再識別問題上識別度欠缺,其中無監督目標再識別問題不曾被探索。第四,相關的對比學習損失函數只考慮實例級監督。
本發明實施例提供一種在無監督目標再識別上的自步對比學習方法,提供一個統一的對比學習框架用以同時在源域和目標域上對所有的樣本進行特徵學習,該框架通過動態更新一個混合記憶模組,從而同時提供源域真實的類級、目標域的聚類級以及目標域未聚類的實例級的監督。
本發明實施例提出一種自步對比學習策略以及一個新穎的聚類可信度評價準則,以通過可信的聚類減小訓練誤差。該策略可以逐漸生成更多的可信聚類以提升特徵學習,從而獲得更有效的特徵説明聚類。
本發明實施例提出的方法在無監督領域自我調整的行人及車輛再識別問題上達到先進的識別度,並且可以在無需人力標注的情況下有效提升源域性能。本發明實施例的方法可以簡單的推廣到無監督的目標再識別問題上,即通過去除訓練中的源域資料以及源域類級的監督,性能比相關方法顯著提升。
本發明實施例提出的統一對比學習框架包括一個基於卷積神經網路的圖像編碼器,以及混合記憶模組,該混合記憶模組通過圖像編碼器輸出的圖像特徵進行動態更新,並且即時提供源域類級、目標域聚類級以及目標域未聚類的實例級的監督。具體來說,混合記憶模組將源域類質心、目標域聚類質心、目標域未聚類的示例特徵作為監督。其中,源域編碼特徵用以直接更新源域類質心,而目標域編碼特徵用以更新實例級特徵,目標域聚類質心由更新的示例特徵即時計算。
本發明實施例提出的自步對比學習策略本著“由簡入難”的原則,通過先學習最可信的聚類,再逐漸增加可信的聚類,來提升學習目標的品質,從而通過增加可信的聚類減小誤差。該策略提供了一種聚類可信度評價準則,通過評價聚類的獨立性與緊密性來選擇最可信的聚類進行保留,其餘聚類將退回為無聚類的樣本,以提供實例級監督。
該統一對比學習框架的訓練步驟主要以下兩步,並不斷交替執行。
通過聚類以及聚類可信度評價準則,將無標注的目標域樣本分為聚類集和非聚類集兩部分,分別提供聚類級和非聚類的示例級監督。
在混合記憶模組提供的源域類級、目標域聚類級以及目標域未聚類的實例級的監督基礎上,通過提出的統一對比學習損失進行訓練,從而優化圖像編碼器;圖像編碼器產生的圖像特徵用以動態更新混合記憶模組,其中源域圖像以類為單位進行更新,而目標域圖像以實例為單位進行更新。
本發明實施例提出一種統一對比學習框架,通過同時學習源域和目標域所有訓練樣本,可以獲得先進的性能;本發明實施例還提出一種自步學習策略,提供了一種聚類可信度評價準則,以通過可信的聚類減小訓練誤差;在領域自我調整學習過程中,可以同時提升源域性能;通過統一對比學習損失函數同時提供了類級、聚類級、實例級的監督;在行人再識別、車輛再識別的無監督領域自我調整問題上達到了更先進的識別效果;可以更有效地利用無標注的目標域資料進行訓練,以提升有標注的源域性能;通過用無標注資料擴充訓練集以提升訓練性能。
可以利用本發明實施例演算法的圖像編碼器,提取目標圖像的特徵資訊;可以利用本發明實施例演算法提取的特徵,對安防監控場景下的行人或車輛進行檢索;可以利用本發明實施例演算法,在無監督的情況下提升圖像編碼器的能力。
圖9為本發明實施例提供的一種採用半監督學習進行再識別網路訓練的方法示意圖,參見圖9,所述再識別網路的訓練方法包括以下步驟: 步驟S901:獲取殘差網路(初始網路)901; 步驟S902:從混合記憶體902中獲取第一圖像資料集9021和第二圖像資料集9022,所述第一圖像資料集9021中包括無標注的目標域圖像資料
Figure 02_image052
,所述第二圖像資料集9022中包括包含真實聚類標籤的源域圖像資料
Figure 02_image111
,所述源域圖像資料又稱第二聚類圖像資料; 步驟S903:通過所述殘差網路901對所述第一圖像資料集中的目標域圖像資料
Figure 02_image052
進行聚類處理得到初始聚類結果,所述初始聚類結果包括初始聚類圖像資料和初始非聚類圖像資料; 步驟S904:對所述初始聚類結果進行再聚類處理,得到所述第一聚類圖像資料以及所述非聚類實例圖像資料; 步驟S905:基於所述訓練圖像資料確定圖像資料中心; 其中,所述訓練圖像資料包括所述第一聚類圖像資料、所述非聚類實例圖像資料、所述第二聚類圖像資料;所述圖像資料中心包括所述第一聚類圖像資料對應的第一聚類中心、所述非聚類實例圖像資料對應的實例中心以及所述第二聚類圖像資料對應的第二聚類中心,可以將確定出的所述第一聚類中心、所述第二聚類中心和所述實例中心均保存在混合記憶體902中。
在一些實施例中,步驟S905可以包括以下步驟: 步驟S9051:基於所述訓練圖像資料以及所述圖像資料中心確定對比損失,基於所述對比損失對所述殘差網路901進行參數優化,得到優化網路; 步驟S9052:通過所述優化網路對所述訓練圖像資料中的非聚類實例圖像資料進行聚類,根據聚類結果對所述混合記憶體902中的第一聚類圖像資料以及所述非聚類實例圖像資料進行更新,得到新的訓練圖像資料
Figure 02_image113
Figure 02_image115
,所述
Figure 02_image113
中包括第二聚類圖像資料,所述
Figure 02_image115
中包括更新後的第一聚類圖像資料以及所述非聚類實例圖像資料; 步驟S9053:基於所述新的訓練圖像資料確定新的圖像資料中心,返回基於所述新的訓練圖像資料以及所述新的圖像資料中心確定新的對比損失的步驟,直至訓練完成,得到所述再識別網路。
其中,可以根據新的訓練資料
Figure 02_image113
Figure 02_image115
對混合記憶體902進行更新。
在一些實施例中,步驟S904中對所述初始聚類結果進行再聚類處理,可以參見圖10a,可以包括以下步驟。
步驟S9041:根據圖像特徵距離,減少所述初始聚類圖像資料中第一當前集群的圖像資料數量,得到第二當前集群; 參見圖10a,圓點可以表示圖像資料,白色圓點可以表示初始聚類圖像資料,灰色圓點可以表示初始非聚類圖像資料;假設圖像特徵距離由d1變為d2,且d2<d1,此時由於第一當前集群101a中的圖像資料1011a和圖像資料1012a的圖像特徵距離大於d2,被從第一當前集群101a中剔除,第一當前集群101a中的圖像資料減少,得到新的第二當前集群102a。
步驟S9042:確定所述第二當前集群的密集指數,所述密集指數為所述第二當前集群的圖像資料數量與所述第一當前集群的圖像資料數量的比值; 參見圖10a,第二當前集群中的圖像資料數量為5,第一當前集群中的圖像資料數量為7,則第二當前集群的密集指數為5/7。
步驟S9043:在所述密集指數達到第一預設閾值的情況下,通過所述第二當前集群替換所述第一當前集群,得到所述第一聚類圖像資料90211; 其中,假設第一預設閾值為0.5,則由於密集指數大於第一預設閾值,則第一聚類圖像資料可以是第二當前集群102a中的圖像資料。
步驟S9044:將減少的圖像資料更新為屬於非聚類實例圖像資料90212。 參見圖10a,可以將減少的圖像資料1011a和圖像資料1012a更新為屬於非聚類實例圖像資料90212,此時,非聚類實例圖像資料中包括灰色圓點表示的初始非聚類圖像資料,以及圖像資料1011a和圖像資料1012a。
在一些實施例中,步驟S904中對所述初始聚類結果進行再聚類處理,可以參見圖10b,包括以下步驟。
步驟S9045:根據圖像特徵距離,在所述初始聚類圖像資料的第三當前集群中增加其他集群的圖像資料和/或所述初始非聚類圖像資料中的圖像資料,得到第四當前集群,所述其他集群為所述初始聚類圖像資料中與所述第三當前集群不同的集群; 參見圖10b,圓點可以表示圖像資料,白色圓點可以表示初始聚類圖像資料,灰色圓點可以表示初始非聚類圖像資料;再聚類處理之前已有的第三當前集群101b和其他集群102b,假設圖像特徵距離由d1變為d3,且d3>d1,此時由於初始非聚類圖像資料1011b、初始非聚類圖像資料1012b和初始非聚類圖像資料1013b的圖像特徵距離均小於d3,初始非聚類圖像資料1011b、初始非聚類圖像資料1012b、初始非聚類圖像資料1013b和其他集群102b中的圖像資料被從加入第三當前集群101b中,第三當前集群101b中的圖像資料增加,得到新的第四當前集群103b。
步驟S9046:確定所述第四當前集群的獨立指數;所述獨立指數為所述第三當前集群的圖像資料數量與所述第四當前集群的圖像資料數量的比值; 參見圖10b,第三當前集群101b中的圖像資料數量為3,第四當前集群103b中的圖像資料數量為9,則第四當前集群103b的獨立指數為3/9。
步驟S9047:在所述獨立指數達到第一預設閾值的情況下,通過所述第四當前集群替換所述第三當前集群,得到所述第一聚類圖像資料; 其中,假設第一預設閾值為0.3,則由於獨立指數大於第一預設閾值,則第一聚類圖像資料90211可以是第四當前集群103a中的圖像資料。
步驟S9048:在增加的圖像資料包括所述其他集群的圖像資料的情況下,解散所述其他集群;和/或,在增加的圖像資料包括所述初始非聚類圖像資料中的圖像資料的情況下,將增加的圖像資料更新為不屬於非聚類實例圖像資料90212。 其中,可以解散其他集群102b和第三集群101b,由於增加的圖像資料包括初始聚類圖像資料中的圖像資料1011b、圖像資料1012b和圖像資料1013b,則將圖像資料1011b、圖像資料1012b和圖像資料1013b更新為不屬於非聚類實例圖像資料,即非聚類實例圖像資料中不包括圖像資料1011b、圖像資料1012b和圖像資料1013b。
應該理解的是,雖然上述實施例中的流程圖中的各個步驟按照箭頭的指示依次顯示,但是這些步驟並不是必然按照箭頭指示的順序依次執行。除非本文中有明確的說明,這些步驟的執行並沒有嚴格的順序限制,其可以以其他的循序執行。而且,圖中的至少一部分步驟可以包括多個子步驟或者多個階段,這些子步驟或者階段並不必然是在同一時刻執行完成,而是可以在不同的時刻執行,其執行順序也不必然是依次進行,而是可以與其他步驟或者其他步驟的子步驟或者階段的至少一部分輪流或者交替地執行。
在一個實施例中,提供一種再識別網路訓練裝置。
圖11為本發明實施例中再識別網路訓練裝置的示意圖,如圖11所示,該裝置包括以下模組: 第一獲取模組100,配置為獲取初始網路; 第二獲取模組200,配置為獲取訓練圖像資料; 網路訓練模組300,配置為通過訓練圖像資料對初始網路進行訓練,得到再識別網路。
關於再識別網路訓練裝置的限定可以參見上文中對於再識別網路訓練方法的限定,在此不再贅述。上述再識別網路訓練裝置中的各個模組可全部或部分通過軟體、硬體及其組合來實現。上述各模組可以硬體形式內嵌於或獨立於電腦設備中的處理器中,也可以以軟體形式儲存於電腦設備中的記憶體中,以便於處理器調用執行以上各個模組對應的操作。
在一個實施例中,提供一種對象再識別裝置。
圖12為本發明實施例中對象再識別裝置的示意圖,如圖12所示,該裝置包括以下模組: 網路獲取模組400,配置為獲取預訓練的再識別網路; 圖像獲取模組500,配置為獲取待識別圖像; 再識別模組600,配置為通過再識別網路對待識別圖像進行再識別處理,得到待識別圖像中目標對象的再識別結果; 其中,再識別網路的訓練圖像資料至少包括第一聚類圖像資料以及非聚類實例圖像資料,第一聚類圖像資料和非聚類實例圖像資料為由再識別網路對應的初始網路對第一圖像資料集進行聚類處理得到,第一圖像資料集中的圖像資料不包含真實聚類標籤。
在一個實施例中,所述再識別網路的訓練圖像資料還包括第二圖像資料集,所述第二圖像資料集中的第二聚類圖像資料包含真實聚類標籤;所述第二圖像資料集所在的圖像資料域與所述第一圖像資料集所在的圖像資料域不同。
在一個實施例中,所述裝置還包括:初始網路獲取模組,配置為獲取所述初始網路;資料獲取模組,配置為獲取所述訓練圖像資料;訓練模組,配置為通過所述訓練圖像資料對所述初始網路進行訓練,得到所述再識別網路。
在一個實施例中,所述資料獲取模組,包括:結果獲取單元,配置為獲取通過所述初始網路對所述第一圖像資料集進行聚類處理得到的初始聚類結果;聚類處理單元,配置為對所述初始聚類結果進行再聚類處理,得到所述第一聚類圖像資料以及所述非聚類實例圖像資料。
在一個實施例中,所述初始聚類結果包括初始聚類圖像資料;所述聚類處理單元,配置為根據圖像特徵距離,減少所述初始聚類圖像資料中第一當前集群的圖像資料數量,得到第二當前集群;確定所述第二當前集群的密集指數,所述密集指數為所述第二當前集群的圖像資料數量與所述第一當前集群的圖像資料數量的比值;在所述密集指數達到第一預設閾值的情況下,通過所述第二當前集群替換所述第一當前集群,得到所述第一聚類圖像資料;將減少的圖像資料更新為屬於非聚類實例圖像資料。
在一個實施例中,所述初始聚類結果還包括初始非聚類圖像資料;所述聚類處理單元,還配置為根據圖像特徵距離,在所述初始聚類圖像資料的第三當前集群中增加其他集群的圖像資料和/或所述初始非聚類圖像資料中的圖像資料,得到第四當前集群,所述其他集群為所述初始聚類圖像資料中與所述第三當前集群不同的集群;確定所述第四當前集群的獨立指數;所述獨立指數為所述第三當前集群的圖像資料數量與所述第四當前集群的圖像資料數量的比值;在所述獨立指數達到第一預設閾值的情況下,通過所述第四當前集群替換所述第三當前集群,得到所述第一聚類圖像資料;在增加的圖像資料包括所述其他集群的圖像資料的情況下,解散所述其他集群;和/或,在增加的圖像資料包括所述初始非聚類圖像資料中的圖像資料的情況下,將增加的圖像資料更新為不屬於非聚類實例圖像資料。
在一個實施例中,所述訓練模組,包括:第一確定單元,配置為基於所述訓練圖像資料確定圖像資料中心;優化單元,配置為基於所述訓練圖像資料以及所述圖像資料中心確定對比損失,基於所述對比損失對所述初始網路進行參數優化,得到優化網路;聚類單元,配置為通過所述優化網路對所述訓練圖像資料中的非聚類實例圖像資料進行聚類,根據聚類結果對所述第一聚類圖像資料以及所述非聚類實例圖像資料進行更新,得到新的訓練圖像資料;第二確定單元,配置為基於所述新的訓練圖像資料確定新的圖像資料中心,返回基於所述新的訓練圖像資料以及所述新的圖像資料中心確定新的對比損失的步驟,直至訓練完成,得到所述再識別網路。
在一個實施例中,所述圖像資料中心包括所述第一聚類圖像資料對應的第一聚類中心以及所述非聚類實例圖像資料對應的實例中心;或者,所述圖像資料中心包括所述第一聚類圖像資料對應的第一聚類中心、所述非聚類實例圖像資料對應的實例中心以及所述第二聚類圖像資料對應的第二聚類中心。
在一個實施例中,所述再識別網路包括殘差網路。
關於對象再識別裝置的限定可以參見上文中對於對象再識別方法的限定,在此不再贅述。上述對象再識別裝置中的各個模組可全部或部分通過軟體、硬體及其組合來實現。上述各模組可以硬體形式內嵌於或獨立於電腦設備中的處理器中,也可以以軟體形式儲存於電腦設備中的記憶體中,以便於處理器調用執行以上各個模組對應的操作。
本發明實施例還提供一種電腦程式產品,所述電腦程式產品包括儲存了電腦程式的非暫態性電腦可讀儲存介質,該電腦程式使得電腦執行如上述方法實施例中記載的任何一種對象再識別方法的部分或全部步驟。
在一個實施例中,提供一種電腦設備,包括:記憶體,處理器及儲存在記憶體上並可在處理器上運行的電腦程式,處理器執行程式時實現以上各實施例中網路訓練部分的方法步驟,和/或,網路應用部分的方法步驟。
在一個實施例中,提供一種電腦可讀儲存介質,電腦可讀儲存介質中儲存有電腦執行指令,電腦執行指令被處理器執行時用於實現以上各實施例中網路訓練部分的方法步驟,和/或,網路應用部分的方法步驟。
本領域技術人員在考慮說明書及實踐這裡公開的申請後,將容易想到本發明的其它實施方案。本發明旨在涵蓋本發明的任何變型、用途或者適應性變化,這些變型、用途或者適應性變化遵循本發明的一般性原理並包括本發明未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的,本發明的真正範圍和精神由下面的請求項書指出。
應當理解的是,本發明並不局限於上面已經描述並在附圖中示出的精確結構,並且可以在不脫離其範圍進行各種修改和改變。本發明的範圍僅由所附的請求項書來限制。
工業實用性 本發明中,通過獲取預訓練的再識別網路;獲取待識別圖像;通過所述再識別網路對所述待識別圖像進行再識別處理,得到所述待識別圖像中目標對象的再識別結果。該方法所使用的再識別網路為至少基於第一聚類圖像資料以及非聚類實例圖像資料訓練得到,從而,本發明通過結合不在聚類中的離群值進行網路訓練,有助於提高再識別網路的聚類性能,進而提高通過本發明的對象再識別方法得到的目標對象再識別結果的準確性。
clu1:第一當前集群 clu2:第二當前集群 clu3:第三當前集群 clu4:第四當前集群 clui:其他集群 901:殘差網路(初始網路) 902:混合記憶體 9021:第一圖像資料集 90211:第一聚類圖像資料 90212:非聚類實例圖像資料 9022:第二圖像資料集 101a:第一當前集群 101b:第三當前集群 1011a:圖像資料 1011b:初始非聚類圖像資料 1012a:圖像資料 1012b:初始非聚類圖像資料 1013b:初始非聚類圖像資料 102a:第二當前集群 102b:其他集群 103b:第四當前集群 100:第一獲取模組 200:第二獲取模組 300:網路訓練模組 400:網路獲取模組 500:圖像獲取模組 600:再識別模組 S100,S200,S300:步驟 S220,S240:步驟 S242A,S244A,S246A,S248A:步驟 S242B,S244B,S246B,S248B:步驟 S320,S340,S360,S380:步驟 S400,S500,S600:步驟
此處的附圖被併入說明書中並構成本說明書的一部分,示出了符合本發明的實施例,並與說明書一起用於解釋本發明的原理。 圖1為本發明實施例中通過網路訓練得到再識別網路的示意圖; 圖2為本發明實施例中對目標域圖像資料進行處理的示意圖; 圖3為本發明實施例中對初始聚類結果進行再聚類處理,得到第一聚類圖像資料以及非聚類實例圖像資料的示意圖; 圖4為本發明實施例中計算密集指數的示例圖; 圖5為本發明實施例中對初始聚類結果進行再聚類處理,得到第一聚類圖像資料以及非聚類實例圖像資料的示意圖; 圖6為本發明實施例中計算獨立指數的示例圖; 圖7為本發明實施例中通過訓練圖像資料對初始網路進行訓練,得到再識別網路的示意圖; 圖8為本發明實施例中通過再識別網路進行對象再識別的示意圖; 圖9為本發明實施例中進行再識別網路訓練的方法示意圖; 圖10a為本發明實施例一種再聚類處理的方法示意圖; 圖10b為本發明實施例另一種再聚類處理的方法示意圖; 圖11為本發明實施例中再識別網路訓練裝置的示意圖; 圖12為本發明實施例中對象再識別裝置的示意圖。 通過上述附圖,已示出本發明明確的實施例,後文中將有更詳細的描述。這些附圖和文字描述並不是為了通過任何方式限制本發明構思的範圍,而是通過參考特定實施例為本領域技術人員說明本發明的概念。
S400,S500,S600:步驟

Claims (11)

  1. 一種對象再識別方法,包括: 獲取預訓練的再識別網路; 獲取待識別圖像; 通過所述再識別網路對所述待識別圖像進行再識別處理,得到所述待識別圖像中目標對象的再識別結果; 其中,所述再識別網路的訓練圖像資料至少包括第一聚類圖像資料以及非聚類實例圖像資料,所述第一聚類圖像資料和所述非聚類實例圖像資料為由所述再識別網路對應的初始網路對第一圖像資料集進行聚類處理得到,所述第一圖像資料集中的圖像資料不包含真實聚類標籤。
  2. 根據請求項1所述的方法,其中,所述再識別網路的訓練圖像資料還包括第二圖像資料集,所述第二圖像資料集中的第二聚類圖像資料包含真實聚類標籤; 所述第二圖像資料集所在的圖像資料域與所述第一圖像資料集所在的圖像資料域不同。
  3. 根據請求項1或2所述的方法,其中,所述獲取預訓練的再識別網路之前,還包括: 獲取所述初始網路; 獲取所述訓練圖像資料; 通過所述訓練圖像資料對所述初始網路進行訓練,得到所述再識別網路。
  4. 根據請求項3所述的方法,其中,所述獲取所述訓練圖像資料,包括: 獲取通過所述初始網路對所述第一圖像資料集進行聚類處理得到的初始聚類結果; 對所述初始聚類結果進行再聚類處理,得到所述第一聚類圖像資料以及所述非聚類實例圖像資料。
  5. 根據請求項4所述的方法,其中,所述初始聚類結果包括初始聚類圖像資料; 所述對所述初始聚類結果進行再聚類處理,得到所述第一聚類圖像資料以及所述非聚類實例圖像資料,包括: 根據圖像特徵距離,減少所述初始聚類圖像資料中第一當前集群的圖像資料數量,得到第二當前集群; 確定所述第二當前集群的密集指數,所述密集指數為所述第二當前集群的圖像資料數量與所述第一當前集群的圖像資料數量的比值; 在所述密集指數達到第一預設閾值的情況下,通過所述第二當前集群替換所述第一當前集群,得到所述第一聚類圖像資料; 將減少的圖像資料更新為屬於非聚類實例圖像資料。
  6. 根據請求項5所述的方法,其中,所述初始聚類結果還包括初始非聚類圖像資料; 所述對所述初始聚類結果進行再聚類處理,得到所述第一聚類圖像資料以及所述非聚類實例圖像資料,包括: 根據圖像特徵距離,在所述初始聚類圖像資料的第三當前集群中增加其他集群的圖像資料和/或所述初始非聚類圖像資料中的圖像資料,得到第四當前集群,所述其他集群為所述初始聚類圖像資料中與所述第三當前集群不同的集群; 確定所述第四當前集群的獨立指數;所述獨立指數為所述第三當前集群的圖像資料數量與所述第四當前集群的圖像資料數量的比值; 在所述獨立指數達到第一預設閾值的情況下,通過所述第四當前集群替換所述第三當前集群,得到所述第一聚類圖像資料; 在增加的圖像資料包括所述其他集群的圖像資料的情況下,解散所述其他集群;和/或,在增加的圖像資料包括所述初始非聚類圖像資料中的圖像資料的情況下,將增加的圖像資料更新為不屬於非聚類實例圖像資料。
  7. 根據請求項3所述的方法,其中,所述通過所述訓練圖像資料對所述初始網路進行訓練,得到所述再識別網路,包括: 基於所述訓練圖像資料確定圖像資料中心; 基於所述訓練圖像資料以及所述圖像資料中心確定對比損失,基於所述對比損失對所述初始網路進行參數優化,得到優化網路; 通過所述優化網路對所述訓練圖像資料中的非聚類實例圖像資料進行聚類,根據聚類結果對所述第一聚類圖像資料以及所述非聚類實例圖像資料進行更新,得到新的訓練圖像資料; 基於所述新的訓練圖像資料確定新的圖像資料中心,返回基於所述新的訓練圖像資料以及所述新的圖像資料中心確定新的對比損失的步驟,直至訓練完成,得到所述再識別網路。
  8. 根據請求項7所述的方法,其中,所述圖像資料中心包括所述第一聚類圖像資料對應的第一聚類中心以及所述非聚類實例圖像資料對應的實例中心;或者, 所述圖像資料中心包括所述第一聚類圖像資料對應的第一聚類中心、所述非聚類實例圖像資料對應的實例中心以及所述第二聚類圖像資料對應的第二聚類中心。
  9. 根據請求項1或2所述的方法,其中,所述再識別網路包括殘差網路。
  10. 一種電腦設備,包括:記憶體,處理器及儲存在所述記憶體上並可在所述處理器上運行的電腦程式,所述處理器執行所述程式時實現如上述請求項1至9任一項所述的對象再識別方法。
  11. 一種電腦可讀儲存介質,所述電腦可讀儲存介質中儲存有電腦執行指令,所述電腦執行指令被處理器執行時配置為實現如請求項1至9任一項所述的對象再識別方法。
TW110101017A 2020-06-04 2021-01-11 對象再識別方法、儲存介質及電腦設備 TWI780567B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010499288.7 2020-06-04
CN202010499288.7A CN111612100B (zh) 2020-06-04 2020-06-04 对象再识别方法、装置、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
TW202147156A true TW202147156A (zh) 2021-12-16
TWI780567B TWI780567B (zh) 2022-10-11

Family

ID=72202637

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110101017A TWI780567B (zh) 2020-06-04 2021-01-11 對象再識別方法、儲存介質及電腦設備

Country Status (5)

Country Link
JP (1) JP2022548187A (zh)
KR (1) KR20210151773A (zh)
CN (1) CN111612100B (zh)
TW (1) TWI780567B (zh)
WO (1) WO2021243947A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612100B (zh) * 2020-06-04 2023-11-03 商汤集团有限公司 对象再识别方法、装置、存储介质及计算机设备
CN112965890B (zh) * 2021-03-10 2024-06-07 中国民航信息网络股份有限公司 一种数据处理方法及相关设备
CN113221820B (zh) * 2021-05-28 2022-07-19 杭州网易智企科技有限公司 一种对象识别方法、装置、设备及介质
CN116682043B (zh) * 2023-06-13 2024-01-26 西安科技大学 基于SimCLR无监督深度对比学习异常视频清洗方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165397B2 (en) * 2006-12-04 2012-04-24 Lockheed Martin Company Identifying descriptor for person or object in an image
CN106022293B (zh) * 2016-05-31 2019-05-07 华南农业大学 一种基于自适应共享小生境进化算法的行人再识别方法
CN108288051B (zh) * 2018-02-14 2020-11-27 北京市商汤科技开发有限公司 行人再识别模型训练方法及装置、电子设备和存储介质
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN108921107B (zh) * 2018-07-06 2021-10-01 北京市新技术应用研究所 基于排序损失和Siamese网络的行人再识别方法
US11537817B2 (en) * 2018-10-18 2022-12-27 Deepnorth Inc. Semi-supervised person re-identification using multi-view clustering
CN109740653B (zh) * 2018-12-25 2020-10-09 北京航空航天大学 一种融合视觉表观与时空约束的车辆再识别方法
CN109961051B (zh) * 2019-03-28 2022-11-15 湖北工业大学 一种基于聚类和分块特征提取的行人重识别方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学(深圳) 基于无监督学习的行人重识别方法、装置及介质
CN111210269B (zh) * 2020-01-02 2020-09-18 平安科技(深圳)有限公司 基于大数据的对象识别方法、电子装置及存储介质
CN111612100B (zh) * 2020-06-04 2023-11-03 商汤集团有限公司 对象再识别方法、装置、存储介质及计算机设备

Also Published As

Publication number Publication date
WO2021243947A1 (zh) 2021-12-09
JP2022548187A (ja) 2022-11-17
CN111612100B (zh) 2023-11-03
KR20210151773A (ko) 2021-12-14
CN111612100A (zh) 2020-09-01
TWI780567B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN111814854B (zh) 一种无监督域适应的目标重识别方法
TWI780567B (zh) 對象再識別方法、儲存介質及電腦設備
Han et al. A unified metric learning-based framework for co-saliency detection
CN110414368B (zh) 一种基于知识蒸馏的无监督行人重识别方法
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN107133569B (zh) 基于泛化多标记学习的监控视频多粒度标注方法
Rabiee et al. Crowd behavior representation: an attribute-based approach
CN114882521A (zh) 基于多分支网络的无监督行人重识别方法及装置
CN115223020A (zh) 图像处理方法、装置、电子设备以及可读存储介质
CN113065409A (zh) 一种基于摄像分头布差异对齐约束的无监督行人重识别方法
CN111325766A (zh) 三维边缘检测方法、装置、存储介质和计算机设备
Zhang et al. Appearance-based loop closure detection via locality-driven accurate motion field learning
CN115953624A (zh) 动态图像的分类方法、装置、车辆及存储介质
CN114333062B (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
CN118135221A (zh) 一种基于跨网络扰动机制的图像语义分割方法
CN111242114B (zh) 文字识别方法及装置
CN112750128B (zh) 图像语义分割方法、装置、终端及可读存储介质
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
CN113223018A (zh) 细粒度图像分析处理方法
Chaudhuri et al. A deep action-oriented video image classification system for text detection and recognition
CN116895002B (zh) 基于多重图对比学习的源自由域适应目标检测方法及系统
CN113850301B (zh) 训练数据的获取方法和装置、模型训练方法和装置
CN117058494A (zh) 一种跨域行人属性识别方法及系统
Zhang The Analysis of Intelligent Real-Time Image Acquisition System Based on Data Mining
CN117437447A (zh) 一种内容匹配方法及相关装置

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent