TW202030637A - 人臉圖像識別方法、裝置、電子設備及儲存介質 - Google Patents

人臉圖像識別方法、裝置、電子設備及儲存介質 Download PDF

Info

Publication number
TW202030637A
TW202030637A TW108141047A TW108141047A TW202030637A TW 202030637 A TW202030637 A TW 202030637A TW 108141047 A TW108141047 A TW 108141047A TW 108141047 A TW108141047 A TW 108141047A TW 202030637 A TW202030637 A TW 202030637A
Authority
TW
Taiwan
Prior art keywords
clustering
network
face images
face image
target objects
Prior art date
Application number
TW108141047A
Other languages
English (en)
Other versions
TWI754855B (zh
Inventor
楊磊
詹曉航
陳大鵬
閆俊杰
呂健勤
林達華
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202030637A publication Critical patent/TW202030637A/zh
Application granted granted Critical
Publication of TWI754855B publication Critical patent/TWI754855B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公開關於一種人臉圖像識別方法、裝置、電子設備及儲存介質，其中，所述方法包括：獲得多個人臉圖像；對所述多個人臉圖像進行特徵提取，得到所述多個人臉圖像分別對應的多個特徵向量；根據所述多個特徵向量得到多個待識別的目標對象；對所述多個待識別的目標對象進行評估，得到所述多個人臉圖像的類別。

Description

人臉圖像識別方法、裝置、電子設備及 儲存介質
本公開關於圖像處理技術領域但不限於圖像處理技術領域，尤其關於一種人臉圖像識別方法、裝置、電子設備及儲存介質。
相關技術中，當輸入的資料有標籤時，則聚類處理為有監督聚類；當輸入的資料沒有標籤時，則進行的聚類處理為無監督聚類。大多數的聚類方法是無監督聚類，聚類效果並不好。
對於人臉識別的應用場景，海量的人臉資料大多是沒有標籤的。針對海量未標注標籤的資料，如何實現聚類以實現人臉識別，是要解決的技術問題。
本公開提出了一種人臉識別技術方案。
根據本公開的第一方面，提供了一種人臉圖像識別方法，所述方法包括：獲得多個人臉圖像；對所述多個人臉圖像進行特徵提取，得到所述多個人臉圖像分別對應的多個特徵向量；根據所述多個特徵向量得到多個待識別的目標對象；對所述多個待識別的目標對象進行評估，得到所述多個人臉圖像的類別。
根據本公開的第二方面，提供了一種人臉識別神經網路的訓練方法，所述方法包括：獲得包括多個人臉圖像資料的第一資料集；通過對所述多個人臉圖像資料進行特徵提取，得到第二資料集；對所述第二資料集進行聚類檢測，得到多個人臉圖像的類別。
根據本公開的第三方面，提供了一種人臉識別裝置，所述裝置包括：第一獲得單元，配置為獲得多個人臉圖像；特徵提取單元，配置為對所述多個人臉圖像進行特徵提取，得到所述多個人臉圖像分別對應的多個特徵向量；第二獲得單元，配置為根據所述多個特徵向量得到多個待識別的目標對象；評估單元，配置為對所述多個待識別的目標對象進行評估，得到所述多個人臉圖像的類別。
根據本公開的第四方面，提供了一種人臉識別神經網路的訓練裝置，所述裝置包括：資料集獲得單元，配置為獲得包括多個人臉圖像資料的第一資料集；資料特徵提取單元，配置為通過對所述多個人臉圖像資料進行特徵提取，得到第二資料集；聚類檢測單元，配置為對所述第二資料集進行聚類檢測，得到多個人臉圖像的類別。
根據本公開的第五方面，提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為：執行上述任意一項所述的方法。
根據本公開的第六方面，提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，其中，所述電腦程式指令被處理器執行時實現上述任意一項所述的方法。
在本公開實施例中，獲得多個人臉圖像；對所述多個人臉圖像進行特徵提取，得到所述多個人臉圖像分別對應的多個特徵向量；根據所述多個特徵向量得到多個待識別的目標對象；對所述多個待識別的目標對象進行評估，得到所述多個人臉圖像的類別。採用本公開實施例，對多個人臉圖像進行特徵提取，可以得到多個特徵向量，對由多個特徵向量得到的多個待識別的目標對象進行評估以得到人臉圖像的類別的聚類處理，是有監督聚類，針對海量未標注標籤的人臉圖像，仍然可以實現聚類且達到較好的人臉識別效果。
11‧‧‧鄰接圖構建模組
12‧‧‧聚類提案生成模組
13‧‧‧聚類檢測模組
14‧‧‧聚類分割模組
15‧‧‧去重疊模組
41‧‧‧第一獲得單元
42‧‧‧特徵提取單元
43‧‧‧第二獲得單元
44‧‧‧評估單元
51‧‧‧資料集獲得單元
52‧‧‧資料特徵提取單元
53‧‧‧聚類檢測單元
800‧‧‧電子設備
802‧‧‧處理組件
804‧‧‧記憶體
806‧‧‧電源組件
808‧‧‧多媒體組件
810‧‧‧音頻組件
812‧‧‧輸入/輸出介面
814‧‧‧感測器組件
816‧‧‧通信組件
820‧‧‧處理器
900‧‧‧電子設備
922‧‧‧處理組件
926‧‧‧電源組件
932‧‧‧記憶體
950‧‧‧網路介面
958‧‧‧輸入輸出介面
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本公開的實施例，並與說明書一起用於說明本公開的技術方案。
圖1示出根據本公開實施例的人臉圖像識別方法的流程圖。
圖2示出根據本公開實施例的人臉圖像識別方法的流程圖。
圖3示出根據本公開實施例的訓練方法的流程圖。
圖4示出根據本公開實施例的訓練方法所應用的訓練模型的方塊圖。
圖5示出根據本公開實施例的鄰接圖的示意圖。
圖6示出根據本公開實施例的聚類得到的類別示意圖。
圖7示出根據本公開實施例的聚類檢測和分割的示意圖。
圖8示出根據本公開實施例的人臉識別裝置的方塊圖。
圖9示出根據本公開實施例的人臉識別神經網路訓練裝置的方塊圖。
圖10示出根據本公開實施例的電子設備的方塊圖。
圖11示出根據本公開實施例的電子設備的方塊圖。
以下將參考附圖詳細說明本公開的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本公開，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本公開同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本公開的主旨。
人臉識別雖然取得了飛速的發展，但是人臉識別性能的提升嚴重依賴於大規模的有標籤資料。在互聯網上可以輕而易舉下載到大量的人臉圖片，但是完全標注這些圖片的費用是極度高昂的。因此，通過無監督學習或者半監督學習來利用這些無標籤資料，能提高人臉識別的處理效率。如果通過聚類的方式賦予無標籤資料以“偽標籤”，然後將這些“偽標籤”一同加入監督學習的框架中進行訓練，可以帶來聚類性能的提升。可這些方法通常是無監督聚類，依賴於一些簡單的假設。如：K-means隱式地假設每個類中的樣本會圍繞一個中心分佈。或者，譜聚類需要每一個聚出來的類別在數量上盡可能是平衡的。層次聚類和近似排序等聚類方法也是無監督聚類，也需要基於簡單的假設才可以對未 標記標籤的無標籤資料(如人臉圖像資料)進行聚類分組，顯然，能滿足這些假設的，都是簡單的結構，當面對複雜的結構需要聚類時，是無法應對的。尤其在應用於大規模的實際問題中時，這個問題嚴重制約了聚類性能的提升，相應制約了人臉識別的處理效率。
採用本公開實施例，是利用圖卷積網路的強大表達能力來捕獲人臉圖像資料中的常見模式，並利用常見模式來對未標記標籤的無標籤資料(如人臉圖像資料)進行分區。該圖卷積網路可以為基於人臉圖像面部聚類的框架圖卷積網路。該框架採用類似於面具(Mask)R-CNN的管道，R-CNN基於卷積神經網路(CNN)，將深度學習應用到目標對象的檢測上。採用本公開實施例的聚類網路對人臉圖像進行聚類，然後用Mask去訓練該聚類網路。這些訓練步驟可以由反覆運算提議生成器基於超節點來完成，以及由圖形檢測網路和圖形分割網路等來實現。本公開實施例的訓練步驟可以應用於任意的鄰接圖上而不限於2D圖像的網格上。本公開實施例為有監督的聚類方式，基於圖卷積網路學習模式，將聚類表示為檢測和分割基於該圖卷積網路的流水線。可以處理具有複雜結構的集群，改善了聚類大規模面部資料的準確性，可以處理未標記的無標籤資料(如人臉圖像資料)，提高了人臉識別的處理效率。
圖1示出根據本公開實施例的人臉圖像識別方法的流程圖，該人臉圖像識別方法應用於人臉識別裝置，例如，人臉識別裝置可以由終端設備或其它處理設備執行，其 中，終端設備可以為使用者設備(UE，User Equipment)、移動設備、蜂窩電話、無線電話、個人數位助理(PDA，Personal Digital Assistant)、手持設備、計算設備、可穿戴設備等。在一些可能的實現方式中，該人臉圖像識別方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
如圖1所示，該流程包括：
步驟S101、獲得多個人臉圖像。本公開可能實現方式中，多個人臉圖像可以是來自於同一個圖像，也可以分別來自於多個圖像。
步驟S102、對所述多個人臉圖像進行特徵提取，得到所述多個人臉圖像分別對應的多個特徵向量。本公開可能的實現方式中，可以根據特徵提取網路對所述多個人臉圖像進行特徵提取，得到所述多個人臉圖像分別對應的多個特徵向量。除了特徵提取網路，還可以採用其他網路，能實現特徵提取的，都包含在本公開的保護範圍內。
步驟S103、根據所述多個特徵向量得到多個待識別的目標對象。
本公開可能的實現方式中，可以根據特徵提取網路和所述多個特徵向量，得到人臉關係圖，對所述人臉關係圖進行聚類處理後得到所述多個待識別的目標對象。所述特徵提取網路包括自學習的過程，所述特徵提取網路根據第一損失函數進行反向傳播，得到自學習後的特徵提取網路。根據所述 自學習後的特徵提取網路對所述人臉關係圖進行聚類處理，得到所述多個待識別的目標對象。
一示例中，將多個人臉圖像輸入該特徵提取網路，特徵提取網路可以為第一圖卷積神經網路。在特徵提取網路中將多個人臉圖像轉化為多個圖像分別對應的多個特徵向量，對由該多個特徵向量得到的人臉關係圖(比如聚類演算法中的鄰接圖)進行優化，根據優化的結果得到多個待識別的目標對象。其中，優化的過程是通過該特徵提取網路根據第一損失函數進行反向傳播來實現的。待識別的目標對象可以為待處理的聚類結果，這些聚類結果最有可能是所需的結果，而最終的聚類結果，還需要通過聚類評估參數予以評估，才可以得到最終的聚類結果。
步驟S104、對所述多個待識別的目標對象進行評估，得到所述多個人臉圖像的類別。
本公開可能的實現方式中，可以根據聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別。比如，在聚類網路中根據聚類評估參數對所述多個待識別的目標對象進行評估，得到所述多個人臉圖像的類別。
本公開可能的實現方式中，在聚類網路中根據聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別，包括：
一、校正方式：根據所述聚類網路對所述聚類評估參數進行校正，得到校正後的聚類評估參數，根據所述校正後的 聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別。
二、聚類網路自學習後的校正方式：所述聚類網路還包括根據所述聚類網路的第二損失函數進行反向傳播，得到自學習後的聚類網路，根據所述自學習後的聚類網路對所述聚類評估參數進行校正，得到校正後的聚類評估參數。根據所述校正後的聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別。
一示例中，將多個待識別的目標對象輸入聚類網路，該聚類網路可以為第二圖卷積神經網路。在聚類網路中對該聚類評估參數進行優化，根據優化的聚類評估參數對該多個待識別的目標對象進行評估，得到人臉圖像的類別。其中，優化的過程是通過該聚類網路根據第二損失函數進行反向傳播來實現的。
採用本公開實施例，對多個人臉圖像進行特徵提取，得到多個人臉圖像分別對應的多個特徵向量，根據多個特徵向量得到多個待識別的目標對象，採取的是特徵提取學習網路，進行特徵提取的學習。通過聚類評估參數對所述多個待識別的目標對象進行評估，得到人臉識別的類別，採取的是聚類學習網路，進行聚類的學習。通過對特徵提取和聚類的學習，針對海量未標注標籤的人臉圖像，仍然可以實現聚類且達到較好的人臉識別效果。
本公開可能的實現方式中，在聚類網路中根據聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別。
本公開可能實現方式中，聚類評估參數包括：第一參數和/或第二參數。其中，第一參數(如IoU)用於表徵該多個聚類結果和真實類別的交集在該多個聚類結果和真實類別的並集中所占的比例，也就是說，在聚類品質的評估中，通過第一參數表示該多個聚類結果和真實類別的接近程度。第二參數(IoP)用於表徵該多個聚類結果和真實類別的交集在該多個聚類結果中所占的比例，也就是說，在聚類品質的評估中，通過第二參數表示該多個聚類提案的純度。
一示例中，獲取多個第一圖像(從同一個圖像或多個圖像中提取的原始人臉圖片)，所述第一圖像為未標注標籤的圖像資料。根據第一圖卷積神經網路得到用於人臉聚類的第一聚類模式(常規的已有聚類模式)，應用於多個第一圖像中進行聚類學習，此時採用第二圖卷積神經網路，最終得到第二聚類模式(學習到如何聚類檢測和聚類分割)。根據第二聚類模式對多個第一圖像進行聚類，得到聚類結果(人臉識別的類別)，根據聚類結果對人臉進行識別。在每個類別中的多個人臉圖像屬於同一個人，不同類別中的多個人臉圖像屬於不同的人。
圖2示出根據本公開實施例的人臉圖像識別方法的流程圖，該人臉圖像識別方法應用於人臉識別裝置，例 如，人臉識別裝置可以由終端設備或其它處理設備執行，其中，終端設備可以為使用者設備(UE，User Equipment)、移動設備、蜂窩電話、無線電話、個人數位助理(PDA，Personal Digital Assistant)、手持設備、計算設備、可穿戴設備等。在一些可能的實現方式中，該人臉圖像識別方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
如圖2所示，該流程包括：
步驟S201、獲得多個人臉圖像。
一示例中，多個人臉圖像可以是來自於同一個圖像，也可以分別來自於多個圖像。
步驟S202、對該多個人臉圖像進行特徵提取，得到該多個人臉圖像分別對應的多個特徵向量，根據該多個特徵向量得到多個待識別的目標對象。
一示例中，將多個人臉圖像輸入該特徵提取網路，特徵提取網路可以為第一圖卷積神經網路。在特徵提取網路中將多個人臉圖像轉化為多個圖像分別對應的多個特徵向量，對由該多個特徵向量得到的人臉關係圖(比如聚類演算法中的鄰接圖)進行優化，根據優化的結果得到多個待識別的目標對象。其中，優化的過程是通過該特徵提取網路根據第一損失函數進行反向傳播來實現的。待識別的目標對象可以為待處理的聚類結果，這些聚類結果最有可能是所需的結果，而最終的聚類結果，還需要通過聚類評估參數予以評估，才可以得到最終的聚類結果。
一示例中，待識別的目標對象可以為待處理的聚類結果，這些聚類結果最有可能是所需的結果，而最終的聚類結果，還需要通過聚類評估參數予以評估，才可以得到最終的聚類結果。
步驟S203、通過聚類評估參數對該多個待識別的目標對象進行評估，得到多個人臉圖像的類別。
一示例中，將多個待識別的目標對象輸入聚類網路，該聚類網路可以為第二圖卷積神經網路。在聚類網路中對該聚類評估參數進行優化，根據優化的聚類評估參數對該多個待識別的目標對象進行評估，得到人臉圖像的類別。其中，優化的過程是通過該聚類網路根據第二損失函數進行反向傳播來實現的。
步驟S204、提取所述類別中的多個人臉圖像，從所述多個人臉圖像中提取符合預設聚類條件的第一人臉圖像。
一示例中，提取該類別中的多個人臉圖像，從該多個人臉圖像中確定出聚類異常的人臉圖像並刪除，剩下的人臉圖像即為多個人臉圖像中符合預設聚類條件的第一人臉圖像。
採用本公開實施例，可以通過聚類檢測對該多個待識別的目標對象進行評估，得到聚類品質滿足預定條件的第一聚類結果，然後通過聚類分割將該第一聚類結果中聚類異常的人臉圖像予以刪除，是對第一聚類結果進行提純的聚類處理。
本公開可能實現方式中，該方法還包括：人臉圖像去重疊處理，具體為：提取所述類別中的多個人臉圖 像，從所述多個人臉圖像中提取符合預設聚類條件的第一人臉圖像之後，提取該類別中的多個人臉圖像，從該多個人臉圖像中確定出聚類重疊的第二人臉圖像。對該第二人臉圖像進行去重疊處理。
需要指出的是，人臉圖像去重疊處理，不限於在上述提取所述類別中的多個人臉圖像，從所述多個人臉圖像中提取符合預設聚類條件的第一人臉圖像之後執行，也可以在上述提取所述類別中的多個人臉圖像之前執行，只要能提高聚類品質都是可行的。
對於上述人臉識別的應用，需要預先進行特徵提取學習和聚類學習網路的訓練。該訓練過程如下所示。
圖3示出根據本公開實施例的人臉識別神經網路的訓練方法的流程圖，如圖3所示，該流程包括：
步驟S301、獲得包括多個人臉圖像資料的第一資料集。
步驟S302、通過對該多個人臉圖像資料進行特徵提取，得到第二資料集。
本公開的可能實現方式中，所述第二資料集由多個表徵人臉圖像資料語義關係的第一鄰接圖得到的聚類結果所構成，簡言之，第二資料集由多個聚類結果構成。
本公開可能實現方式中，將所述多個人臉圖像資料輸入特徵提取網路，特徵提取網路可以為第一圖卷積神經網路。在第一圖卷積神經網路中對該多個人臉圖像資料進行特徵提取後得到多個特徵向量，比較該多個特徵向量中每個特徵向量與鄰近特徵向量間的相似度(如餘弦相似度)，得到K 近鄰，根據所述K近鄰得到多個第一鄰接圖，比如，可以通過鄰接圖構建模組來處理。
本公開可能實現方式中，可以在所述第一圖卷積神經網路中對該多個第一鄰接圖按照超節點進行反覆運算優化。在反覆運算優化過程中，根據預設的閾值將所述多個第一鄰接圖劃分為多個符合預設尺寸的連通域，將該連通域確定為所述超節點。比較多個超節點中每個超節點與鄰近超節點間的相似度，比如，比較多個超節點中每個超節點的中心與鄰近超節點的中心間的餘弦相似度，得到K近鄰，根據K近鄰得到多個待處理的第二鄰接圖。對該多個待處理的第二鄰接圖，繼續執行確定所述超節點的反覆運算優化過程後得到多個聚類結果。由不同尺度的多個所述超節點構成的集合為聚類結果，該聚類結果也可稱為聚類提案。比如，可以通過聚類提案模組來處理。
步驟S303、對所述第二資料集進行聚類檢測，得到多個人臉圖像的類別。
本公開可能實現方式中，可以根據聚類網路的損失函數進行反向傳播，得到自學習後的聚類網路，根據所述自學習後的聚類網路對所述聚類評估參數進行校正，得到校正後的聚類評估參數。根據所述校正後的聚類評估參數對所述第二資料集中的多個聚類結果進行聚類品質評估，得到多個人臉圖像的類別。
一示例中，可以將多個聚類結果輸入第二圖卷積神經網路，在第二圖卷積神經網路中優化聚類評估參數中 的第一參數。第一參數(如IoU)用於表徵所述多個聚類結果和真實類別的交集在所述多個聚類結果和真實類別的並集中所占的比例。也就是說，在聚類品質的評估中，通過第一參數表示該多個聚類結果和真實類別的接近程度。根據優化的第一參數進行聚類檢測，得到針對該多個聚類結果的第一聚類品質評估結果。比如，可以通過聚類檢測模組來處理。
另一示例中，可以將多個聚類結果輸入第二圖卷積神經網路，在第二圖卷積神經網路中優化聚類評估參數中的第二參數。第二參數(IoP)用於表徵所述多個聚類結果和真實類別的交集在所述多個聚類結果中所占的比例，也就是說，在聚類品質的評估中，通過第二參數表示該多個聚類提案的純度。根據優化的第二參數進行聚類檢測，得到針對該多個聚類結果的第二聚類品質評估結果。比如，可以通過聚類檢測模組來處理。
本公開可能實現方式中，對所述第二資料集進行聚類檢測，得到多個人臉圖像的類別之後，還包括：為所述第二資料集中的多個聚類結果中的每個節點預測概率值，以判斷所述多個聚類結果中每個節點是否屬於雜訊的概率。
一示例中，在第二圖卷積神經網路中為該多個聚類結果中的每個節點預測概率值，以判斷多個聚類結果中每個節點是否屬於雜訊的概率。比如，可以通過聚類分割模組來處理。
本公開可能實現方式中，對所述第二資料集進行聚類檢測，得到多個人臉圖像的類別之後，還包括：根據聚類網路和聚類評估參數對所述第二資料集中的多個聚類結果進行評估，得到聚類品質評估結果，根據所述聚類品質評估結果為所述多個聚類結果按照聚類品質由高到低的順序進行排序，得到排序結果。根據所述排序結果從所述多個聚類結果中確定出聚類品質最高的聚類結果，作為最終的聚類結果。
一示例中，處理過程包括如下內容：
一、將多個聚類結果輸入第二圖卷積神經網路，在第二圖卷積神經網路中優化聚類評估參數中的第一參數。第一參數(如IoU)用於表徵所述多個聚類結果和真實類別的交集在所述多個聚類結果和真實類別的並集中所占的比例。也就是說，在聚類品質的評估中，通過第一參數表示該多個聚類結果和真實類別的接近程度。根據優化的第一參數進行聚類檢測，得到針對該多個聚類結果的第一聚類品質評估結果。
二、將多個聚類結果輸入第二圖卷積神經網路，在第二圖卷積神經網路中優化聚類評估參數中的第二參數。第二參數(IoP)用於表徵所述多個聚類結果和真實類別的交集在所述多個聚類結果中所占的比例，也就是說，在聚類品質的評估中，通過第二參數表示該多個聚類提案的純度。根據優化的第二參數進行聚類檢測，得到針對該多個聚類結果的第二聚類品質評估結果。
三、在第二圖卷積神經網路中，根據該第一聚類品質評估結果和/或該第二聚類品質評估結果為該多個聚類結果按照聚類品質由高到低的順序進行排序，得到排序結果。根據排序結果從該多個聚類結果中確定出聚類品質最高的聚類結果，作為最終的聚類結果。比如，可以通過去重疊模組來處理。
應用示例：
使用者在網路上收集了大量的無標籤人臉圖像，想要將其中人臉相同的圖片聚集在一起。在這種情況下，使用者可以利用本公開實施例，在鄰接圖上學習聚類的人臉聚類方式，以將採集到的無標籤人臉圖像劃分為互不相交的一些類別。每個類別中的人臉圖像屬於同一個人，不同類別中的人臉圖像屬於不同的人。通過人臉聚類方式得到類別後，還可以實現人臉識別。
圖4示出根據本公開實施例的訓練方法所應用的訓練模型的方塊圖，該人臉聚類方式可以通過方塊圖中的鄰接圖構建模組、聚類提案生成模組、聚類檢測模組、聚類分割模組和去重疊模組來處理。簡單來說，對於鄰接圖構建模組：輸入資料為資料集中的原始人臉圖像，輸出為表徵所有圖片語義關係的鄰接圖。對於聚類提案生成模組：輸入資料為鄰接圖，輸出為一系列的聚類提案。對於聚類檢測模組：輸入資料為聚類提案，輸出為聚類提案的品質。對於聚類分割模組：輸入為聚類提案，輸出為聚類提案內每個節點 是否屬於雜訊的概率。對於去重疊模組：輸入為聚類提案和聚類提案的品質，輸出為聚類結果。
一：鄰接圖構建模組11：本模組的輸入為資料集中的原圖片(如人臉圖像)，輸出為表徵所有圖片語義關係的鄰接圖。該模組採用常用的深度卷積網路結構，如Resnet-50等。該模組先通過深度卷積網路將圖片轉化為特徵向量，再通過餘弦相似度計算每個特徵向量的k近鄰。將每張圖片得到的特徵向量看作節點的特徵，每兩張圖片的鄰接關係當成邊，這樣就得到了所有資料構建的鄰接圖。其中，所述k近鄰的工作原理是：存在一個樣本資料集合，樣本資料集合中每個對象的特徵屬性都是已知，並且樣本資料集合中每個對象都已知所屬分類。對不知道分類的待測對象，將待測對象的每個特徵屬性與樣本資料集合中資料對應的特徵屬性進行比較，然後通過演算法提取樣本最相似對象(最近鄰)的分類標籤。一般來說，只選擇樣本資料集合中前k個最相似的對象資料。
二、聚類提案生成模組12：本模組的輸入為鄰接圖，輸出為一系列的聚類提案。對於輸入的鄰接圖，該模組首先根據一個既定的閾值，將鄰接圖劃分為一系列符合大小的連通域，並將其定義為“超節點”。以每個“超節點”的中心為節點，又可以計算出各個中心之間的k近鄰，進而再次構成了一個鄰接圖。在此基礎上，可以生成感受野(receptive field)更大的“超節點”，可以感受到更大 的視野。這個過程可以反覆運算進行，形成一系列不同尺度的“超節點”。這些“超節點”的集合構成了聚類提案。
聚類檢測模組13：本模組輸入為聚類提案，輸出為聚類提案的品質。該模組採用圖卷積神經網路的結構。為了描述聚類提案的品質，首先引入兩個參數。第一個參數或稱為第一指標(IoU)描述的是聚類提案和真實類別的交集在聚類提案和真實類別的並集中所占的比例，表示聚類提案和真實類別的接近程度；第二個參數或稱為第二指標(IoP)描述的是聚類提案和真實類別的交集在聚類提案中所占的比例，表示聚類提案的純度。在訓練階段，圖卷積神經網路通過優化預測的IoU和IoP與真實的IoU和IoP的均方誤差來進行訓練。在測試階段，所有聚類提案會經過圖卷積神經網路得到預測的IoU和IoP。
聚類分割模組14：本模組輸入為聚類提案，輸出為聚類提案內每個節點是否屬於雜訊的概率。該模組和聚類檢測模組的結構類似，也採用圖卷積神經網路的結構。該模組為聚類提案中的每一個節點預測一個概率值，來表示該節點在聚類提案中是否屬於雜訊。對於聚類檢測模組中IoP較低的聚類提案，即純度較低的聚類提案，會經由該模組進行提純。
去重疊模組15：本模組輸入為聚類提案和聚類提案的品質，輸出為聚類結果。本模組將有重疊聚類提案進行去重疊處理，得到最終的聚類結果。該模組首先根據聚類提案的品質對聚類提案進行排序，根據排序結果由高到低選 出聚類提案中的節點，每個節點最終會歸屬於所在品質最高的那個聚類提案。
圖5示出根據本公開實施例的鄰接圖的示意圖，圖5中的圖片是一個樣例，展示了本公開實施例在聚類實現上與相關技術的不同點。圖5中包含兩個不同的類別，其中，401所標識目標對象中的各個節點屬於第一類，402所標識目標對象中的各個節點屬於第二類。採用相關技術中的聚類方式31，由於賴於特定的聚類策略，無法處理帶有複雜內部結構的類別(402所標識的第二類)。而採用本公開實施例，可以通過聚類學習類別的結構，評價不同聚類提案的品質，可以對帶有複雜內部結構的類別(402所標識的第二類)予以分類，從而輸出高品質的聚類提案，以得到正確的聚類結果。
圖6示出根據本公開實施例的聚類得到的類別示意圖，圖6中，展示了採用本公開實施例找到的四個類別。根據真實的標注，圖6中所有的節點都屬於同一個真實的類別，圖6中兩個節點間的距離和兩個節點的相似度成反比。該圖片顯示了採用本公開實施例可以處理有複雜結構的類別，例如：類別中有兩個子圖的結構、類別中密集連接和稀疏連接並存的結構。圖6中的每一個目標對象，如501所標識的目標對象、502所標識的目標對象、503所標識的目標對象、504所標識的目標對象都分別屬於同一個類別，也稱為聚類集群簇。
一示例中，為了應對大規模人臉聚類中集群模式的複雜性結構，採用本公開實施例可以基於集群模式在圖卷積網路上進行聚類學習。具體是基於鄰接圖將聚類檢測和聚類分割整合在一起，來解決聚類學習的問題。給定人臉資料集，通過訓練卷積神經網路(CNN)來提取人臉資料集中每個人臉的面部特徵，形成一組特徵值。構建鄰接圖時，使用餘弦相似性來找出每個樣本的K近鄰。通過鄰居之間的聯繫，我們可以獲得整體的鄰接圖資料集，或者，鄰接圖也可以由對稱鄰接矩陣表示。鄰接圖是一個具有數百萬個節點的大型圖。根據鄰接圖，可以得到集群的特性：1)集群中不同的簇所包含的圖像，具有不同標籤；2)一個集群中的圖像具有同一個標籤。
圖7示出根據本公開實施例的聚類檢測和分割的示意圖，“聚類結果”以集群(或稱為類)的形式存在，如圖6所示的各個集群(或稱為類)，本示例中都稱為“集群”。用於聚類檢測所輸入的最初聚類結果，由於是通過提案生成器生成的，也可以稱為聚類提案。圖7中，聚類框架(集群框架)包括三個模組：提案生成器、GCN-D和GCN-S。通過提案生成器生成聚類提案，也就是說，子圖可能是相似圖中的集群。通過GCN-D和GCN-S形成兩階段程式，首先選擇高品質的聚類提案，然後進行改進，通過消除其中的噪音來選擇建議的聚類提案。具體來說，通過GCN-D執行聚類檢測，將由提案生成器生成的聚類提案作為輸入，預測IoU和IoP，以評估提案的該聚類提案構成預 期集群的可能性。然後，通過GCN-S執行分割以細化選定的聚類提案。對於一個聚類提案，通過GCN-S估計每個節點的噪波概率，並通過丟棄異常值對選定的聚類提案進行篩選，最終輸出的集群就是所預期的集群，從而可以有效地獲得高品質的集群。
就聚類提案而言，採用本示例不直接處理大型的鄰接圖，而是首先生成聚類提案，由於只需要對有限數量的集群候選者進行評估，因此，可以大大降低計算成本。該聚類提案的生成基於超節點，所有超節點形成一個聚類提案，即根據超節點生成圖7中的聚類提案。超節點是包含少量節點的鄰接圖的子圖，每個節點與其他每個節點緊密相連。因此，使用連通域可以代表超節點，但是，連通域直接從鄰接圖中匯出可能過大，對此，刪除每個超節點內的高連通性親和力值低於閾值的那些邊，並將超節點的大小限制在最大值以下。通常，1M的鄰接圖可以劃分為50K超節點，每個超節點平均包含20個節點。超節點中的節點極有可能述同一個人，一個人的樣本可以分發幾個超節點。對於目標檢測的應用場景(具體到人臉識別)，是一種多尺度的聚類方案，在多個超節點的中心建立密切關係，中心的連線作為邊。
聚類檢測中，本示例設計了基於圖卷積(GCN)的GCN-D模組，基於GCN-D模組從通過提案生成器生成的該聚類提案中繼續選擇高品質的集群。通過兩個參數，即IoU和IoP得分來衡量集群的品質。IoU和IoP的得分計算如 公式(1)和公式(2)所示。其中，
Figure 108141047-A0101-12-0023-3
為真實集群，P為提案生成器提出的集群。
Figure 108141047-A0101-12-0023-1
Figure 108141047-A0101-12-0023-2
假設高品質的集群通常在節點之間顯示某些結構模式。通過GCN-D模組來識別這樣的集群。比如，給定一個集群方案P i ，GCN-D模組將與其節點相關的特徵(表示為F 0(P i ))和鄰接圖子矩陣(表示為A(P i ))作為輸入，並預測IoU和IoP的評分。GCN-D模組所基於的GCN網路包括L層，每層的計算公式如公式(3)所示。對角度矩陣
Figure 108141047-A0101-12-0023-6
的計算公式如公式(4)所示。其中，F l (P i )為網路第1層節點相關的特徵，W l 為網路第1層的可學習參數。
Figure 108141047-A0101-12-0023-4
Figure 108141047-A0101-12-0023-5
為訓練資料集提供類標籤，可以獲得真實IoU和IoP，對GCN-D模組進行訓練，目的是得到真值與預測值的均方誤差值，對此，GCN-D模組可以給出準確的預測。在推理過程中，可以使用訓練後的GCN-D模組來預測由提案生成器生成的每個聚類提案的IoU和IoP得分。然後，將根據IoU評估的聚類提案，保留固定數量的高品質聚類提案，下一階段再使用IoP評分來確定是否需要繼續完善該聚類提案。
通過GCN-D模組確定的聚類提案可能仍然包含一些離群值，或稱為聚類異常的值，需要消除這些值。為此，通過基於GCN的GCN-S模組進行聚類分割，以排除聚類提案中的聚類異常的值。GCN-S模組的結構類似於GCN-D模組，二者的差異主要在於：GCN-S模組不是預測一個聚類提案整體的品質分數，而是對某集群輸出一個概率值。
為了訓練GCN-S模組識別異常值，可以將節點標籤不同於大多數標籤的節點作為離群值。GCN-S模組可以學習不同的分割模式，只要細分結果包含一個類的節點，不管它是不是多數標籤。具體來說，可以隨機選擇一個節點作為種子。具有相同標籤的節點種子被視為正節點，而其他節點被認為是離群值。基於這個原理多次反覆運算，隨機選擇種子，從而獲得多套訓練樣本。選擇一套訓練樣本，每個樣本包含一組特徵向量。使用節點方向的二進位來訓練GCN-S模組，交叉熵作為損失函數。在推理過程中，還可以為生成的聚類提案選取多次隨機節點，只保留預測結果中正節點數目最多的情況(閾值為0.5)。採用這一策略可以避免被隨機種子對應的正節點數目過少的情況所誤導。對於GCN-S模組來說，可以保留在閾值0.3到0.7的聚類提案。
通過提案生成器得到聚類提案、聚類檢測和聚類分割對聚類提案進一步優化後，仍然有可能不同的集群間彼此重疊，即共用某些節點。這可能導致對面部識別訓練的不利影響。可以採用IoU分數降冪排列的分類建議來快速的 去重疊，由高到低進行排序，從排序結果中順序收集聚類提案，以及通過刪除前面顯示的節點來修改每個聚類提案。
可以理解，本公開提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本公開不再贅述。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本公開還提供了人臉識別裝置、人臉識別神經網路的訓練裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本公開提供的任一種人臉圖像識別方法及人臉識別神經網路的訓練方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖8示出根據本公開實施例的人臉識別裝置的方塊圖，圖8中，所述裝置包括：第一獲得單元41，配置為獲得多個人臉圖像。特徵提取單元42，配置為對所述多個人臉圖像進行特徵提取，得到所述多個人臉圖像分別對應的多個特徵向量。第二獲得單元43，配置為根據所述多個特徵向量得到多個待識別的目標對象。評估單元44，配置為對所述多個待識別的目標對象進行評估，得到所述多個人臉圖像的類別。
本公開可能實現方式中，所述特徵提取單元，配置為根據特徵提取網路對所述多個人臉圖像進行特徵提取，得到所述多個人臉圖像分別對應的多個特徵向量。
本公開可能實現方式中，所述第二獲得單元，配置為根據特徵提取網路和所述多個特徵向量，得到人臉關係圖，對所述人臉關係圖進行聚類處理後得到所述多個待識別的目標對象。
本公開可能實現方式中，所述特徵提取網路還包括自學習的過程。所述特徵提取網路根據第一損失函數進行反向傳播，得到自學習後的特徵提取網路。所述第二獲得單元，配置為根據所述自學習後的特徵提取網路對所述人臉關係圖進行聚類處理，得到所述多個待識別的目標對象。
本公開可能實現方式中，所述評估單元，配置為根據聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別。
本公開可能實現方式中，所述評估單元，配置為在聚類網路中根據聚類評估參數對所述多個待識別的目標對象進行評估，得到所述多個人臉圖像的類別。
本公開可能實現方式中，所述評估單元，配置為根據所述聚類網路對所述聚類評估參數進行校正，得到校正後的聚類評估參數。根據所述校正後的聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別。
本公開可能實現方式中，所述聚類網路還包括根據所述聚類網路的第二損失函數進行反向傳播，得到自學習後的聚類網路。所述評估單元，配置為根據所述自學習後的聚類網路對所述聚類評估參數進行校正，得到校正後的聚類評估參數。根據所述校正後的聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別。
本公開可能實現方式中，所述裝置還包括：提取單元，配置為提取所述類別中的多個人臉圖像，從所述多個人臉圖像中提取符合預設聚類條件的第一人臉圖像。
本公開可能實現方式中，所述裝置還包括：去重疊單元，配置為提取所述類別中的多個人臉圖像，從所述多個人臉圖像中確定出聚類重疊的第二人臉圖像。對所述第二人臉圖像進行去重疊處理。
圖9示出根據本公開實施例的人臉識別神經網路的訓練裝置的方塊圖，圖9中，所述裝置包括：資料集獲得單元51，配置為獲得包括多個人臉圖像資料的第一資料集。資料特徵提取單元52，配置為通過對所述多個人臉圖像資料進行特徵提取，得到第二資料集。聚類檢測單元53，配置為對所述第二資料集進行聚類檢測，得到多個人臉圖像的類別。
本公開可能實現方式中，所述資料特徵提取單元，配置為對所述多個人臉圖像資料進行特徵提取後得到多個特徵向量。根據所述多個特徵向量中每個特徵向量與鄰近特徵向量間的相似度，得到K近鄰，並根據所述K近鄰得到 多個第一鄰接圖。對所述多個第一鄰接圖按照超節點進行反覆運算，得到多個聚類結果。根據所述多個聚類結果構成所述第二資料集。
本公開可能實現方式中，所述資料特徵提取單元，配置為根據預設的閾值將所述多個第一鄰接圖劃分為多個符合預設尺寸的連通域，並將所述連通域確定為所述超節點。根據多個超節點中每個超節點與鄰近超節點間的相似度，得到K近鄰，並根據K近鄰得到多個待處理的第二鄰接圖。對所述多個待處理的第二鄰接圖，繼續執行確定所述超節點的反覆運算直至達到第二閾值區間範圍後停止反覆運算，得到所述多個聚類結果。
本公開可能實現方式中，所述聚類檢測單元，配置為根據聚類網路的損失函數進行反向傳播，得到自學習後的聚類網路。根據所述自學習後的聚類網路對所述聚類評估參數進行校正，得到校正後的聚類評估參數。根據所述校正後的聚類評估參數對所述第二資料集中的多個聚類結果進行聚類品質評估，得到多個人臉圖像的類別。
本公開可能實現方式中，所述裝置還包括：第一處理單元，配置為為所述第二資料集中的多個聚類結果中的每個節點預測概率值，以判斷所述多個聚類結果中每個節點是否屬於雜訊的概率。
本公開可能實現方式中，所述裝置還包括：第二處理單元，配置為根據聚類網路和聚類評估參數對所述第二資料集中的多個聚類結果進行評估，得到聚類品質評估結 果，根據所述聚類品質評估結果為所述多個聚類結果按照聚類品質由高到低的順序進行排序，得到排序結果。根據所述排序結果從所述多個聚類結果中確定出聚類品質最高的聚類結果，作為最終的聚類結果。
在一些實施例中，本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本公開實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本公開實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為上述方法。電子設備可以被提供為終端、伺服器或其它形態的設備。
圖10是根據一示例性實施例示出的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖10，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音頻組件810，輸入/輸出(I/O)的介面812，感測器組件814，以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他元件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，視頻等。記憶體804可以由任何類型的易失性或非易失性儲存裝置或者它們的組合實現，如靜態隨機存取記憶體(SRAM)，電可擦除可程式設計唯讀記憶體(EEPROM)，可擦除可程式設計唯讀記憶體(EPROM)，可程式設計唯讀記憶體(PROM)，唯讀記憶體(ROM)，磁記憶體，快閃記憶體，磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果 螢幕包括觸摸面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影頭和/或後置攝影頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風(MIC)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
輸入/輸出(I/O)介面812為處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相 對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS或CCD圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信(NFC)模組，以促進短程通信。例如，在NFC模組可基於射頻識別(RFID)技術，紅外資料協會(IrDA)技術，超寬頻(UWB)技術，藍牙(BT)技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位信號處理設備(DSPD)、可程式設計邏輯器件(PLD)、現場可程式設計閘陣列(FPGA)、控制器、 微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖11是根據一示例性實施例示出的一種電子設備900的方塊圖。例如，電子設備900可以被提供為一伺服器。參照圖8，電子設備900包括處理組件922，其進一步包括一個或多個處理器，以及由記憶體932所代表的記憶體資源，用於儲存可由處理組件922的執行的指令，例如應用程式。記憶體932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件922被配置為執行指令，以執行上述方法。
電子設備900還可以包括一個電源組件926被配置為執行電子設備900的電源管理，一個有線或無線網路介面950被配置為將電子設備1900連接到網路，和一個輸入輸出(I/O)介面958。電子設備900可以操作基於儲存在記憶體932的作業系統，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或類似。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體932，上述電腦程式指令可由電子設備900的處理組件922執行以完成上述方法。
本公開可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本公開的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是(但不限於)電儲存裝置、磁儲存裝置、光儲存裝置、電磁儲存裝置、半導體儲存裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括：可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部儲存裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面 從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括對象導向的程式設計語言(諸如Smalltalk、C++等)，以及常規的過程式程式設計語言(諸如“C”語言或類似的程式設計語言)。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路〔包括局域網(LAN)或廣域網路(WAN)〕連接到使用者電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA)，該電子電路可以執行電腦可讀程式指令，從而實現本公開的各個方面。這裡參照根據本公開實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本公開的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊 圖中各方塊的組合，都可以由電腦可讀程式指令實現。這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。附圖中的流程圖和方塊圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時 也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本公開的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
圖1代表圖為流程圖，無元件符號說明。

Claims (17)

  1. 一種人臉圖像識別方法，包括：
    獲得多個人臉圖像；
    對所述多個人臉圖像進行特徵提取，得到所述多個人臉圖像分別對應的多個特徵向量；
    根據所述多個特徵向量得到多個待識別的目標對象；
    對所述多個待識別的目標對象進行評估，得到所述多個人臉圖像的類別。
  2. 根據請求項1所述的方法，其中，所述對所述多個人臉圖像進行特徵提取，得到所述多個人臉圖像分別對應的多個特徵向量，包括：
    根據特徵提取網路對所述多個人臉圖像進行特徵提取，得到所述多個人臉圖像分別對應的多個特徵向量。
  3. 根據請求項1所述的方法，其中，所述根據所述多個特徵向量得到多個待識別的目標對象，包括：
    根據特徵提取網路和所述多個特徵向量，得到人臉關係圖；
    對所述人臉關係圖進行聚類處理後得到所述多個待識別的目標對象。
  4. 根據請求項2或3所述的方法，其中，所述特徵提取網路還包括自學習的過程。
  5. 根據請求項3所述的方法，還包括：所述特徵提取網路根據第一損失函數進行反向傳播，得到自學習後的特徵提取網路；根據所述自學習後的特徵提取網路對 所述人臉關係圖進行聚類處理，得到所述多個待識別的目標對象。
  6. 根據請求項1所述的方法，其中，對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別，包括：
    根據聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別；
    根據聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別，包括：
    在聚類網路中根據聚類評估參數對所述多個待識別的目標對象進行評估，得到所述多個人臉圖像的類別。
  7. 根據請求項6所述的方法，其中，在聚類網路中根據聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別，包括：
    根據所述聚類網路對所述聚類評估參數進行校正，得到校正後的聚類評估參數；
    根據所述校正後的聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別。
  8. 根據請求項6或7所述的方法，其中，所述聚類網路還包括根據所述聚類網路的第二損失函數進行反向傳播，得到自學習後的聚類網路；
    根據所述自學習後的聚類網路對所述聚類評估參數進行校正，得到校正後的聚類評估參數；
    根據所述校正後的聚類評估參數對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別。
  9. 根據請求項1至3中任一項所述的方法，還包括：對所述多個待識別的目標對象進行評估，得到多個人臉圖像的類別之後，還包括：
    提取所述類別中的多個人臉圖像，從所述多個人臉圖像中提取符合預設聚類條件的第一人臉圖像；或者
    提取所述類別中的多個人臉圖像，從所述多個人臉圖像中確定出聚類重疊的第二人臉圖像；
    對所述第二人臉圖像進行去重疊處理。
  10. 一種人臉識別神經網路的訓練方法，包括：
    獲得包括多個人臉圖像資料的第一資料集；
    通過對所述多個人臉圖像資料進行特徵提取，得到第二資料集；
    對所述第二資料集進行聚類檢測，得到多個人臉圖像的類別。
  11. 根據請求項10所述的方法，其中，通過對所述多個人臉圖像資料進行特徵提取，得到第二資料集，包括：
    對所述多個人臉圖像資料進行特徵提取後得到多個特徵向量；
    根據所述多個特徵向量中每個特徵向量與鄰近特徵向量間的相似度，得到K近鄰，並根據所述K近鄰得到多個第一鄰接圖；
    對所述多個第一鄰接圖按照超節點進行反覆運算，得到多個聚類結果；
    根據所述多個聚類結果構成所述第二資料集。
  12. 根據請求項11所述的方法，其中，對所述多個第一鄰接圖按照超節點進行反覆運算，得到多個聚類結果，包括：
    根據預設的閾值將所述多個第一鄰接圖劃分為多個符合預設尺寸的連通域，並將所述連通域確定為所述超節點；
    根據多個超節點中每個超節點與鄰近超節點間的相似度，得到K近鄰，並根據K近鄰得到多個待處理的第二鄰接圖；
    對所述多個待處理的第二鄰接圖，繼續執行確定所述超節點的反覆運算直至達到第二閾值區間範圍後停止反覆運算，得到所述多個聚類結果。
  13. 根據請求項10至12中任一項所述的方法，其中，對所述第二資料集進行聚類檢測，得到多個人臉圖像的類別，包括：
    根據聚類網路的損失函數進行反向傳播，得到自學習後的聚類網路；
    根據所述自學習後的聚類網路對所述聚類評估參數進行校正，得到校正後的聚類評估參數；
    根據所述校正後的聚類評估參數對所述第二資料集中的多個聚類結果進行聚類品質評估，得到多個人臉圖像的類別。
  14. 根據請求項10至12中任一項所述的方法，還包括：對所述第二資料集進行聚類檢測，得到多個人臉圖像的類別之後，
    為所述第二資料集中的多個聚類結果中的每個節點預測概率值，以判斷所述多個聚類結果中每個節點是否屬於雜訊的概率。
  15. 根據請求項10至12中任一項所述的方法，還包括：對所述第二資料集進行聚類檢測，得到多個人臉圖像的類別之後，
    根據聚類網路和聚類評估參數對所述第二資料集中的多個聚類結果進行評估，得到聚類品質評估結果，根據所述聚類品質評估結果為所述多個聚類結果按照聚類品質由高到低的順序進行排序，得到排序結果；
    根據所述排序結果從所述多個聚類結果中確定出聚類品質最高的聚類結果，作為最終的聚類結果。
  16. 一種電子設備，包括：
    處理器；
    用於儲存處理器可執行指令的記憶體；
    其中，所述處理器被配置為：執行請求項1至9、請求項10至15中任意一項所述的方法。
  17. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至9、請求項10至15中任意一項所述的方法。
TW108141047A 2019-01-31 2019-11-12 人臉圖像識別方法、裝置、電子設備及儲存介質 TWI754855B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910101153.8A CN109829433B (zh) 2019-01-31 2019-01-31 人脸图像识别方法、装置、电子设备及存储介质
CN201910101153.8 2019-01-31

Publications (2)

Publication Number Publication Date
TW202030637A true TW202030637A (zh) 2020-08-16
TWI754855B TWI754855B (zh) 2022-02-11

Family

ID=66862102

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108141047A TWI754855B (zh) 2019-01-31 2019-11-12 人臉圖像識別方法、裝置、電子設備及儲存介質

Country Status (3)

Country Link
CN (1) CN109829433B (zh)
TW (1) TWI754855B (zh)
WO (1) WO2020155627A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764425B (zh) * 2020-12-10 2022-05-11 鴻海精密工業股份有限公司 基於人臉識別的即時行人統計方法以及裝置
TWI778519B (zh) * 2021-02-09 2022-09-21 鴻海精密工業股份有限公司 瑕疵圖像生成方法、裝置、電子設備及存儲介質

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829433B (zh) * 2019-01-31 2021-06-25 北京市商汤科技开发有限公司 人脸图像识别方法、装置、电子设备及存储介质
CN112084812B (zh) * 2019-06-12 2023-08-01 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110543816B (zh) * 2019-07-23 2021-08-03 浙江工业大学 一种基于谱聚类和增强学习的自适应人脸图像聚类方法
CN110411724B (zh) * 2019-07-30 2021-07-06 广东工业大学 一种旋转机械故障诊断方法、装置、系统及可读存储介质
CN110472533B (zh) * 2019-07-31 2021-11-09 北京理工大学 一种基于半监督训练的人脸识别方法
CN110458078B (zh) * 2019-08-05 2022-05-06 高新兴科技集团股份有限公司 一种人脸图像数据聚类方法、系统及设备
CN110502659B (zh) * 2019-08-23 2022-07-15 深圳市商汤科技有限公司 图像特征提取及网络的训练方法、装置和设备
CN110569777B (zh) * 2019-08-30 2022-05-06 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112699909B (zh) * 2019-10-23 2024-03-19 中移物联网有限公司 信息识别方法、装置、电子设备及计算机可读存储介质
CN111079517B (zh) * 2019-10-31 2023-02-28 福建天泉教育科技有限公司 人脸管理及识别方法及计算机可读存储介质
US11816149B2 (en) 2020-02-11 2023-11-14 Samsung Electronics Co., Ltd. Electronic device and control method thereof
CN113361549A (zh) * 2020-03-04 2021-09-07 华为技术有限公司 一种模型更新方法以及相关装置
CN111414963B (zh) * 2020-03-19 2024-05-17 北京市商汤科技开发有限公司 图像处理方法、装置、设备和存储介质
CN111507232B (zh) * 2020-04-10 2023-07-21 盛景智能科技(嘉兴)有限公司 多模态多策略融合的陌生人识别方法和系统
CN111612051B (zh) * 2020-04-30 2023-06-20 杭州电子科技大学 一种基于图卷积神经网络的弱监督目标检测方法
CN111797746A (zh) * 2020-06-28 2020-10-20 北京小米松果电子有限公司 人脸识别方法、装置及计算机可读存储介质
CN112347842B (zh) * 2020-09-11 2024-05-24 博云视觉（北京）科技有限公司 一种基于关联图的离线人脸聚类方法
CN112131999B (zh) * 2020-09-17 2023-11-28 浙江商汤科技开发有限公司 身份确定方法及装置、电子设备和存储介质
CN112132030B (zh) * 2020-09-23 2024-05-28 湖南快乐阳光互动娱乐传媒有限公司 视频处理方法及装置、存储介质及电子设备
CN112215822B (zh) * 2020-10-13 2023-04-07 北京中电兴发科技有限公司 一种基于轻量级回归网络的人脸图像质量评估方法
CN112396112B (zh) * 2020-11-20 2024-05-14 北京百度网讯科技有限公司 一种聚类方法、装置、电子设备及存储介质
CN112560963A (zh) * 2020-12-17 2021-03-26 北京赢识科技有限公司 大规模人脸图像聚类方法、装置、电子设备及介质
CN112308770B (zh) * 2020-12-29 2021-03-30 北京世纪好未来教育科技有限公司 人像转换模型生成方法及人像转换方法
CN113836300A (zh) * 2021-09-24 2021-12-24 中国电信股份有限公司 日志分析方法、系统、设备及存储介质
CN117611516A (zh) * 2023-09-04 2024-02-27 北京智芯微电子科技有限公司 图像质量评估、人脸识别、标签生成及确定方法和装置
CN117240607B (zh) * 2023-11-10 2024-02-13 北京云尚汇信息技术有限责任公司 一种基于安全计算机的安全认证方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8671069B2 (en) * 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
CN102523202B (zh) * 2011-12-01 2014-10-08 华北电力大学 钓鱼网页的深度学习智能检测方法
US9336433B1 (en) * 2013-07-24 2016-05-10 University Of Central Florida Research Foundation, Inc. Video face recognition
TWI520077B (zh) * 2013-07-25 2016-02-01 Chunghwa Telecom Co Ltd The use of face recognition to detect news anchor screen
CN104731964A (zh) * 2015-04-07 2015-06-24 上海海势信息科技有限公司 基于人脸识别的人脸摘要方法、视频摘要方法及其装置
CN106250821A (zh) * 2016-07-20 2016-12-21 南京邮电大学 一种聚类再分类的人脸识别方法
CN106355170B (zh) * 2016-11-22 2020-03-20 Tcl集团股份有限公司 照片分类方法及装置
CN106815566B (zh) * 2016-12-29 2021-04-16 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN106845528A (zh) * 2016-12-30 2017-06-13 湖北工业大学 一种基于K‑means与深度学习的图像分类算法
CN107330408B (zh) * 2017-06-30 2021-04-20 北京乐蜜科技有限责任公司 视频处理方法、装置、电子设备及存储介质
CN108229321B (zh) * 2017-11-30 2021-09-21 北京市商汤科技开发有限公司 人脸识别模型及其训练方法和装置、设备、程序和介质
CN109117803B (zh) * 2018-08-21 2021-08-24 腾讯科技（深圳）有限公司 人脸图像的聚类方法、装置、服务器及存储介质
CN109242045B (zh) * 2018-09-30 2019-10-01 北京达佳互联信息技术有限公司 图像聚类处理方法、装置、电子设备及存储介质
CN109829433B (zh) * 2019-01-31 2021-06-25 北京市商汤科技开发有限公司 人脸图像识别方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764425B (zh) * 2020-12-10 2022-05-11 鴻海精密工業股份有限公司 基於人臉識別的即時行人統計方法以及裝置
TWI778519B (zh) * 2021-02-09 2022-09-21 鴻海精密工業股份有限公司 瑕疵圖像生成方法、裝置、電子設備及存儲介質

Also Published As

Publication number Publication date
CN109829433B (zh) 2021-06-25
TWI754855B (zh) 2022-02-11
CN109829433A (zh) 2019-05-31
WO2020155627A1 (zh) 2020-08-06

Similar Documents

Publication Publication Date Title
TWI754855B (zh) 人臉圖像識別方法、裝置、電子設備及儲存介質
TWI710964B (zh) 圖像聚類方法及裝置、電子設備和儲存介質
WO2020232977A1 (zh) 神经网络训练方法及装置以及图像处理方法及装置
TWI749423B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存介質
WO2021155632A1 (zh) 图像处理方法及装置、电子设备和存储介质
US20210232847A1 (en) Method and apparatus for recognizing text sequence, and storage medium
JP6458394B2 (ja) 対象追跡方法及び対象追跡装置
CN108629354B (zh) 目标检测方法及装置
US11288514B2 (en) Video processing method and device, and storage medium
CN108280458B (zh) 群体关系类型识别方法及装置
US11455491B2 (en) Method and device for training image recognition model, and storage medium
WO2021008022A1 (zh) 图像处理方法及装置、电子设备和存储介质
TWI769775B (zh) 目標重識別方法、電子設備和電腦可讀儲存介質
TW202139140A (zh) 圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體
WO2021031645A1 (zh) 图像处理方法及装置、电子设备和存储介质
WO2021027344A1 (zh) 图像处理方法及装置、电子设备和存储介质
TW202109449A (zh) 影像處理方法、電子設備，和電腦可讀儲存介質
KR20210114511A (ko) 얼굴 이미지 인식 방법 및 장치, 전자 기기 및 저장 매체
JP2022522551A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
TWI735112B (zh) 圖像生成方法、電子設備和儲存介質
CN110659690B (zh) 神经网络的构建方法及装置、电子设备和存储介质
CN112287994A (zh) 伪标签处理方法、装置、设备及计算机可读存储介质
WO2020192113A1 (zh) 图像处理方法及装置、电子设备和存储介质
TW202141352A (zh) 字元識別方法及電子設備和電腦可讀儲存介質
WO2021164100A1 (zh) 图像处理方法及装置、电子设备和存储介质