TW202107337A - 一種人臉圖像識別方法及裝置、電子設備和電腦可讀儲存媒體 - Google Patents
一種人臉圖像識別方法及裝置、電子設備和電腦可讀儲存媒體 Download PDFInfo
- Publication number
- TW202107337A TW202107337A TW109122357A TW109122357A TW202107337A TW 202107337 A TW202107337 A TW 202107337A TW 109122357 A TW109122357 A TW 109122357A TW 109122357 A TW109122357 A TW 109122357A TW 202107337 A TW202107337 A TW 202107337A
- Authority
- TW
- Taiwan
- Prior art keywords
- face image
- image data
- face
- image recognition
- feature
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本發明涉及一種人臉圖像識別方法及裝置、電子設備和電腦可讀儲存媒體,其中,該方法包括:從人臉圖像資料中提取屬於不同人臉的待處理圖像資料;根據所述屬於不同人臉的待處理圖像資料,得到非配對的人臉圖像資料對;其中,所述非配對的人臉圖像資料對用於表徵屬於不同人臉的兩張人臉圖像的特徵;根據所述非配對的人臉圖像資料對,對人臉圖像識別網路進行訓練,得到用於識別人臉圖像的目標識別網路。採用本發明,能提高對人臉圖像的識別效率和準確率。
Description
本申請要求在2019年8月12日提交中國專利局、申請號為201910739381.8、發明名稱為“一種人臉圖像識別方法及裝置、電子設備和儲存媒體”的中國專利申請的優先權,其全部內容通過引用結合在本申請中。
本發明涉及電腦視覺技術領域,尤其涉及一種人臉圖像識別方法及裝置、電子設備和電腦可讀儲存媒體。
基於深度學習的人臉識別應用,目前非常普遍。通過深度學習得到的人臉識別模型的性能與其訓練所用的資料類型息息相關,為了提高人臉識別的識別效率和準確度,需要對人臉識別模型進行改善、或者提高用於該模型訓練的訓練資料的有效性(有效性指有助於人臉識別模型的改善,並能有助於挖掘出更多對模型訓練有幫助的訊息),然而,相關技術中未存在有效的解決方案。
本發明提出了一種人臉圖像識別技術方案。
根據本發明的一方面,提供了一種人臉圖像識別方法,所述方法包括:
從人臉圖像資料中提取屬於不同人臉的待處理圖像資料;
根據所述屬於不同人臉的待處理圖像資料,得到非配對的人臉圖像資料對;其中,所述非配對的人臉圖像資料對用於表徵屬於不同人臉的兩張人臉圖像的特徵;
根據所述非配對的人臉圖像資料對,對人臉圖像識別網路進行訓練,得到用於識別人臉圖像的目標識別網路。
採用本發明,由於可以針對屬於不同人臉的兩兩人臉圖像特徵,來形成非配對的人臉圖像資料對,從而可以得到屬於不同人臉圖像但卻特徵相近的兩兩人臉圖像特徵,因此,根據該非配對的人臉圖像資料對,對人臉圖像識別網路進行訓練,得到用於識別人臉圖像的目標識別網路,相比之前的人臉圖像識別網路會更加完善,可以在使用目標識別網路對待識別的人臉圖像進行識別時,提高對人臉圖像的識別效率和準確率。可能的實現方式中,所述從人臉圖像資料中提取屬於不同人臉的待處理圖像資料,包括:
根據所述人臉圖像識別網路,提取所述人臉圖像資料中人臉圖像的特徵;
將屬於不同人臉圖像的特徵作為所述待處理圖像資料。
採用本發明,可以根據所述人臉圖像識別網路,提取所述人臉圖像資料中人臉圖像的特徵,由於需要針對屬於不同人臉的兩兩人臉圖像特徵,來形成非配對的人臉圖像資料對,因此,將屬於不同人臉圖像的特徵作為所述待處理圖像資料。
可能的實現方式中,所述根據所述屬於不同人臉的待處理圖像資料,得到非配對的人臉圖像資料對,包括:
所述屬於不同人臉的特徵至少包括第一人臉中的第一特徵和第二人臉中的第二特徵;
根據所述第一特徵和所述第二特徵得到的相似度符合預設條件的情況下,將所述第一人臉和所述第二人臉構造為所述人臉圖像資料對。
採用本發明,由於屬於不同人臉的特徵有很多,需要篩選出屬於不同人臉但較為相似的特徵,這樣一來,根據該較為相似的特徵形成非配對的人臉圖像資料對,才有利於人臉圖像識別網路的訓練,因此,可以至少根據第一人臉的第一特徵和第二人臉的第二特徵得到的相似度符合預設條件的情況下,將所述第一人臉和所述第二人臉構造為所述人臉圖像資料對。
可能的實現方式中,所述對人臉圖像識別網路進行訓練之前,所述方法還包括:
根據所述人臉圖像資料對之間的特徵相關性,得到採樣順序。
採用本發明,對人臉圖像識別網路進行訓練之前,需要根據所述人臉圖像資料對之間的特徵相關性,得到採樣順序,以便根據該採樣順序從訓練樣本中提取樣本資料,從而有利於人臉圖像識別網路的訓練。如果不考慮採樣順序,比如隨機採樣,勢必降低人臉圖像識別網路的訓練效果。
可能的實現方式中,所述根據所述人臉圖像資料對之間的特徵相關性,得到採樣順序,包括:
根據所述人臉圖像資料對之間的特徵,得到特徵集合;
根據所述特徵集合構造特徵樹KD-Tree,人臉圖像資料對之間的特徵相關性近的特徵作為所述KD-Tree的相鄰節點;
將遍歷所述KD-Tree得到的遍歷路徑作為所述採樣順序。
採用本發明,採用KD-Tree,並根據人臉圖像資料對之間的特徵相關性近的特徵作為KD-Tree的相鄰節點,那麼,遍歷KD-Tree得到遍歷路徑後,可以將該遍歷路徑作為採樣順序,根據該採樣順序從訓練樣本中提取樣本資料,有利於人臉圖像識別網路的訓練。可能的實現方式中,所述得到採樣順序之後,所述方法還包括:
將根據所述採樣順序讀取的人臉圖像資料對,作為輸入所述人臉圖像識別網路的訓練樣本。
採用本發明,根據該採樣順序從訓練樣本中提取樣本資料,有利於人臉圖像識別網路的訓練。
可能的實現方式中,所述人臉圖像資料對,至少來源於用於人臉訓練的第一人臉圖像集合和採集人臉得到的第二人臉圖像集合,且兩個人臉圖像集合中的人臉為不相同。
採用本發明,可以將人臉圖像資料對從預先劃分好的兩個人臉圖像集合中獲取,兩個人臉圖像集合中的人臉為不相同,從而避免了從一個人臉圖像集合中篩選不同人臉的處理成本,可以更快得到用於訓練人臉圖像識別網路的樣本資料“非配對的人臉圖像資料對”。
可能的實現方式中,所述對人臉圖像識別網路進行訓練,包括:
對所述人臉圖像識別網路進行訓練的每次反覆運算中,保存樣本特徵;
所述樣本特徵包括從所述第一人臉圖像集合中提取的特徵,經多次反覆運算得到樣本特徵集。
採用本發明,對人臉圖像識別網路進行訓練的過程中,將從第一人臉圖像集合中提取的特徵作為樣本特徵並保存,可以更多的保留特徵,從而為下一次對人臉圖像識別網路的反覆運算訓練更多參考特徵,有利於人臉圖像識別網路的訓練。可能的實現方式中,所述對人臉圖像識別網路進行訓練,還包括:
根據每次反覆運算中從所述第二人臉圖像集合中提取的當前人臉特徵和上一次反覆運算得到樣本特徵集中的所有樣本特徵,計算損失函數;
根據所述損失函數的反向傳播來訓練所述人臉圖像識別網路。
採用本發明,在每次反覆運算中,可以根據第二人臉圖像集合中提取的當前人臉特徵和上一次反覆運算保存的樣本特徵來計算損失函數,從而根據該損失函數的反向傳播來訓練人臉圖像識別網路,得到的目標識別網路,相比之前的人臉圖像識別網路會更加完善,可以在使用目標識別網路對待識別的人臉圖像進行識別時,提高對人臉圖像的識別效率和準確率。
根據本發明的一方面,提供了一種人臉圖像識別裝置,所述裝置包括:
提取單元,用於從人臉圖像資料中提取屬於不同人臉的待處理圖像資料;
第一處理單元,用於根據所述屬於不同人臉的待處理圖像資料,得到非配對的人臉圖像資料對;其中,所述非配對的人臉圖像資料對用於表徵屬於不同人臉的兩張人臉圖像的特徵;
第二處理單元,用於根據所述非配對的人臉圖像資料對,對人臉圖像識別網路進行訓練,得到用於識別人臉圖像的目標識別網路。
可能的實現方式中,所述提取單元,進一步用於:
根據所述人臉圖像識別網路,提取所述人臉圖像資料中人臉圖像的特徵;
將屬於不同人臉圖像的特徵作為所述待處理圖像資料。
可能的實現方式中,所述第一處理單元,進一步用於:
所述屬於不同人臉的特徵至少包括第一人臉中的第一特徵和第二人臉中的第二特徵;
根據所述第一特徵和所述第二特徵得到的相似度符合預設條件的情況下,將所述第一人臉和所述第二人臉構造為所述人臉圖像資料對。
可能的實現方式中,所述裝置還包括第三處理單元,用於:
根據所述人臉圖像資料對之間的特徵相關性,得到採樣順序。
可能的實現方式中,所述第三處理單元,進一步用於:
根據所述人臉圖像資料對之間的特徵,得到特徵集合;
根據所述特徵集合構造特徵樹KD-Tree,人臉圖像資料對之間的特徵相關性近的特徵作為所述KD-Tree的相鄰節點;
將遍歷所述KD-Tree得到的遍歷路徑作為所述採樣順序。
可能的實現方式中,所述第二處理單元,進一步用於:
將根據所述採樣順序讀取的人臉圖像資料對,作為輸入所述人臉圖像識別網路的訓練樣本。
可能的實現方式中,所述人臉圖像資料對,至少來源於用於人臉訓練的第一人臉圖像集合和採集人臉得到的第二人臉圖像集合,且兩個人臉圖像集合中的人臉為不相同。
可能的實現方式中,所述第二處理單元,進一步用於:
對所述人臉圖像識別網路進行訓練的每次反覆運算中,保存樣本特徵;
所述樣本特徵包括從所述第一人臉圖像集合中提取的特徵,經多次反覆運算得到樣本特徵集。
可能的實現方式中,所述第二處理單元,進一步用於:
根據每次反覆運算中從所述第二人臉圖像集合中提取的當前人臉特徵和上一次反覆運算得到樣本特徵集中的所有樣本特徵,計算損失函數;
根據所述損失函數的反向傳播來訓練所述人臉圖像識別網路。
根據本發明的一方面,提供了一種電子設備,包括:
處理器;
用於儲存處理器可執行指令的記憶體;
其中,所述處理器被配置為:執行上述人臉圖像識別方法。
根據本發明的一方面,提供了一種電腦可讀儲存媒體,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現上述人臉圖像識別方法。
根據本發明的一方面,提供了一種電腦程式,所述電腦程式包括電腦可讀代碼,當所述電腦可讀代碼在電子設備中運行時,所述電子設備中的處理器執行用於實現上述人臉圖像識別方法。
在本發明實施例中,從人臉圖像資料中提取屬於不同人臉的待處理圖像資料;根據所述屬於不同人臉的待處理圖像資料,得到非配對的人臉圖像資料對;其中,所述非配對的人臉圖像資料對用於表徵屬於不同人臉的兩張人臉圖像的特徵;根據所述非配對的人臉圖像資料對,對人臉圖像識別網路進行訓練,得到用於識別人臉圖像的目標識別網路。採用本發明,由於可以針對屬於不同人臉的兩兩人臉圖像特徵,來形成非配對的人臉圖像資料對,從而可以得到屬於不同人臉圖像但卻特徵相近的兩兩人臉圖像特徵,因此,根據該非配對的人臉圖像資料對,對人臉圖像識別網路進行訓練,得到用於識別人臉圖像的目標識別網路,相比之前的人臉圖像識別網路會更加完善,後續在目標識別網路對待識別的人臉圖像進行識別時,能提高對人臉圖像的識別效率和準確率。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,而非限制本發明。
根據下面參考圖式對示例性實施例的詳細說明,本發明的其它特徵及方面將變得清楚。
以下將參考圖式詳細說明本發明的各種示例性實施例、特徵和方面。圖式中相同的圖式標記表示功能相同或相似的組件。儘管在圖式中示出了實施例的各種方面,但是除非特別指出,不必按比例繪製圖式。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”,僅僅是一種描述關聯物件的關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合,例如,包括A、B、C中的至少一種,可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外,為了更好的說明本發明,在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解,沒有某些具體細節,本發明同樣可以實施。在一些實例中,對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述,以便於凸顯本發明的主旨。
隨著深度學習的發展,人臉識別技術在很多應用場景都得到了應用,尤其是在安防監控中更是不可或缺的一個模組。通過深度學習得到的人臉識別網路的性能與其訓練所用的資料類型息息相關,為了在某一場景(如視訊分析、安防人臉監控等)下得到更好的識別處理效率和準確性等性能,可以通過採集該場景下的人臉資料對人臉識別網路做訓練(如增量訓練)。所述增量訓練是指:根據新的訓練樣本進行訓練,以不斷地從新的訓練樣本中學習新的知識,並能保存大部分以前已經學習到的歷史知識,比如根據同一人臉得到的兩兩配對人臉圖像資料進行訓練所得到的歷史記錄,本發明在此基礎上增加了根據不同人臉得到的兩兩非配對人臉圖像資料進行訓練的過程。
需要指出的是,為了在增量訓練中不引入雜訊,可以使用採集的人臉圖像構造無標籤資料做無監督訓練。在訓練過程中,人臉圖像按照“成對”的方式被輸送進人臉識別網路進行訓練。由於這種無監督訓練方式只在成對的人臉之間進行約束,即使有多對人臉圖像被輸送進人臉識別網路,不同對的人臉圖像之間由於並沒有進行約束,因此,無法挖掘更多對訓練該人臉識別網路有幫助的有效訊息,從而導致採用這種訓練方式得到的訓練後人臉識別網路(如用於識別人臉圖像的目標識別網路)的處理效率比較低效,識別精度也不高。
本發明中,可以採用屬於不同人臉的待處理圖像資料,根據屬於不同人臉的待處理圖像資料,得到非配對的人臉圖像資料對,從而,根據該非配對的人臉圖像資料進行上述增量訓練,由於在不同對的人臉圖像之間進行約束,因此,可以挖掘出更多對訓練該人臉識別網路有幫助的有效訊息,導致採用本發明訓練方式得到的訓練後人臉識別網路(如用於識別人臉圖像的目標識別網路)的處理效率比較高效,提高了識別精度。
圖1示出根據本發明實施例的人臉圖像識別方法的流程圖,該人臉圖像識別方法應用於人臉圖像識別裝置,例如,人臉圖像識別裝置可以由終端設備或伺服器或其它處理設備執行,其中,終端設備可以為使用者設備(UE,User Equipment)、移動設備、行動電話、無線電話、個人數位助理(PDA,Personal Digital Assistant)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中,該人臉圖像識別方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。如圖1所示,該流程包括:
步驟S101、從人臉圖像資料中提取屬於不同人臉的待處理圖像資料。
一示例中,獲取人臉圖像資料,人臉圖像資料為多個不同人臉的圖像資料。根據人臉圖像識別網路提取該人臉圖像資料中人臉圖像的特徵,比如,可以採用人臉圖像識別網路中的特徵提取功能模組,對該人臉圖像資料中人臉圖像的特徵進行特徵提取。將屬於不同人臉圖像的特徵作為該待處理圖像資料,該待處理圖像資料由多個人臉特徵組成,包括同一人臉的多個人臉特徵及不同人臉的多個人臉特徵。
步驟S102、根據所述屬於不同人臉的待處理圖像資料,得到非配對的人臉圖像資料對;其中,所述非配對的人臉圖像資料對用於表徵屬於不同人臉的兩張人臉圖像的特徵。
可能的實現方式中,屬於不同人臉的待處理圖像資料,可以是對多個不同人臉的圖像資料進行特徵提取後所得到的多個特徵,計算該多個特徵中兩兩特徵之間的相似度,如果兩兩特徵之間的相似度符合預設條件,則查詢具備相似度的兩兩特徵所分別對應的人臉圖像,根據查詢到的人臉圖像構造所述人臉圖像資料對,該人臉圖像資料對(如非配對人臉圖像對)也可以稱為“成對”的無標籤資料,即在後續訓練過程中將該非配對人臉圖像作為無標籤資料,並成對地輸入人臉圖像識別網路,以訓練該人臉圖像識別網路。
一示例中,用“第一”、“第二”這種指代來區分來源於不同人臉圖像的不同特徵。上述屬於不同人臉的特徵至少包括第一人臉中的第一特徵和第二人臉中的第二特徵,根據所述第一特徵和所述第二特徵得到的相似度符合預設條件的情況下,將所述第一人臉和所述第二人臉構造為所述人臉圖像資料對。
步驟S103、根據所述非配對的人臉圖像資料對,對人臉圖像識別網路進行訓練,得到用於識別人臉圖像的目標識別網路。
一示例中,將多個人臉圖像資料對作為無標籤資料,並成對地輸入人臉圖像識別網路,以訓練該人臉圖像識別網路。
採用本發明,通過上述步驟S101-步驟S102,可以得到用於該人臉圖像識別網路訓練的訓練樣本,即:多個人臉圖像資料對(如非配對人臉圖像對),其中,非配對人臉圖像對指:兩張人臉圖像不屬於同一個人。通過上述步驟S103,可以利用不同對人臉圖像資料間可能產生的約束性(或稱相關性),得到非配對的人臉圖像資料對後更有效的訓練該人臉圖像識別網路。在實際應用中,比如,在智慧視訊分析或安防人臉監控場景中,可以根據該目標識別網路對待識別的人臉圖像進行識別,得到識別結果。由於根據非配對的人臉圖像資料對可以更有效的訓練該人臉圖像識別網路並對其網路參數進行完善,因此,通過訓練該人臉圖像識別網路得到用於識別人臉圖像的目標識別網路後,根據該目標識別網路進行圖像識別,識別處理效果更高,且提高了識別精度。
圖2示出根據本發明實施例的人臉圖像識別方法的流程圖,該人臉圖像識別方法應用於人臉圖像識別裝置,例如,人臉圖像識別裝置可以由終端設備或伺服器或其它處理設備執行,其中,終端設備可以為使用者設備(UE,User Equipment)、移動設備、行動電話、無線電話、個人數位助理(PDA,Personal Digital Assistant)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中,該人臉圖像識別方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。如圖2所示,該流程包括:
步驟S201、從人臉圖像資料中提取屬於不同人臉的待處理圖像資料。
一示例中,獲取人臉圖像資料,人臉圖像資料為多個不同人臉的圖像資料。根據人臉圖像識別網路提取該人臉圖像資料中人臉圖像的特徵,比如,可以採用人臉圖像識別網路中的特徵提取功能模組,對該人臉圖像資料中人臉圖像的特徵進行特徵提取。將屬於不同人臉圖像的特徵作為該待處理圖像資料,該待處理圖像資料由多個人臉特徵組成,包括同一人臉的多個人臉特徵及不同人臉的多個人臉特徵。
步驟S202、根據所述屬於不同人臉的待處理圖像資料,得到非配對的人臉圖像資料對;其中,所述非配對的人臉圖像資料對用於表徵屬於不同人臉的兩張人臉圖像的特徵。
可能的實現方式中,屬於不同人臉的待處理圖像資料,可以是對多個不同人臉的圖像資料進行特徵提取後所得到的多個特徵,計算該多個特徵中兩兩特徵之間的相似度,如果兩兩特徵之間的相似度符合預設條件,則查詢具備相似度的兩兩特徵所分別對應的人臉圖像,根據查詢到的人臉圖像構造所述人臉圖像資料對,該人臉圖像資料對(如非配對人臉圖像對)也可以稱為“成對”的無標籤資料,即在後續訓練過程中將該非配對人臉圖像作為無標籤資料,並成對地輸入人臉圖像識別網路,以訓練該人臉圖像識別網路。
一示例中,用“第一”、“第二”這種指代來區分來源於不同人臉圖像的不同特徵。上述屬於不同人臉的特徵至少包括第一人臉中的第一特徵和第二人臉中的第二特徵,根據所述第一特徵和所述第二特徵得到的相似度符合預設條件的情況下,將所述第一人臉和所述第二人臉構造為所述人臉圖像資料對。
步驟S203、根據所述人臉圖像資料對之間的特徵相關性,得到採樣順序。
一示例中,在增量訓練之前,可以按照人臉特徵的相關性決定人臉圖片的採樣順序,比如,根據所述人臉圖像資料對之間的特徵,得到特徵集合。根據所述特徵集合構造特徵樹KD-Tree,人臉圖像資料對之間的特徵相關性近的特徵作為所述KD-Tree的相鄰節點。將遍歷所述KD-Tree得到的遍歷路徑作為所述採樣順序。根據人臉圖像特徵的相關性計算對人臉圖像的採樣順序,可以使得相鄰讀取的人臉圖像具備較大的相關性,也就是說,根據該採樣順序來讀取人臉圖像,相比較於對人臉圖像的隨機讀取,可以得到不同對人臉圖像資料間產生的更多約束性(或稱相關性)。而更多約束性(或稱相關性)可以更有效的訓練該人臉圖像識別網路並對其網路參數進行完善。在後續的示例中,可以結合特徵記憶模組中保存的樣本特徵,進一步提高對該人臉圖像識別網路的有效訓練,提高該人臉圖像識別網路的訓練效率和準確度。
步驟S204、將根據採樣順序讀取的人臉圖像資料對,作為輸入所述人臉圖像識別網路的訓練樣本。
一示例中,該人臉圖像資料對,至少來源於用於人臉訓練的第一人臉圖像集合和真實環境下採集人臉得到的第二人臉圖像集合,且兩個人臉圖像集合中的人臉為不相同,提取第一人臉圖像的特徵得到的特徵集合在後續應用示例中可以記為集合A,提取第二人臉圖像的特徵得到的特徵集合在後續應用示例中可以記為集合B,此處不做贅述。
步驟S205、根據所述訓練樣本對人臉圖像識別網路進行訓練,得到用於識別人臉圖像的目標識別網路。
一示例中,將多個人臉圖像資料對作為無標籤資料,並成對地輸入人臉圖像識別網路,以訓練該人臉圖像識別網路。
採用本發明,通過上述步驟S201-步驟S204,可以得到用於該人臉圖像識別網路訓練的訓練樣本,即:多個人臉圖像資料對(如非配對人臉圖像對),其中,非配對人臉圖像對指:兩張人臉圖像不屬於同一個人。通過上述步驟S205,可以利用不同對人臉圖像資料間可能產生的約束性(或稱相關性),得到非配對的人臉圖像資料對所構成的訓練樣本,之後,可以根據該訓練樣本更有效的訓練該人臉圖像識別網路。在實際應用中,比如,在智慧視訊分析或安防人臉監控場景中,可以根據該目標識別網路對待識別的人臉圖像進行識別,得到識別結果。由於根據該訓練樣本可以更有效的訓練該人臉圖像識別網路並對其網路參數進行完善,因此,通過訓練該人臉圖像識別網路得到用於識別人臉圖像的目標識別網路後,根據該目標識別網路進行圖像識別,識別處理效果更高,且提高了識別精度。
可能的實現方式中,對人臉圖像識別網路進行訓練,包括:對所述人臉圖像識別網路進行訓練的每次反覆運算中,保存樣本特徵。所述樣本特徵包括從所述第一人臉圖像集合中提取的特徵,經多次反覆運算得到樣本特徵集。樣本特徵在後續應用示例中可以記為FA,FA可以保存在特徵記憶模組中,樣本特徵集在後續應用示例中可以記為FM,FA所構成的集合為FM。,此處不做贅述。
可能的實現方式中,所述對人臉圖像識別網路進行訓練,還包括:根據每次反覆運算中從所述第二人臉圖像集合中提取的當前人臉特徵和上一次反覆運算得到樣本特徵集中的所有樣本特徵,計算損失函數。根據所述損失函數的反向傳播來訓練所述人臉圖像識別網路。可以理解為:每一次反覆運算保留的人臉特徵與上一次反覆運算的人臉特徵計算損失函數,即用每一次反覆運算保留的人臉特徵與上一次反覆運算的人臉特徵進行約束,以得到更多約束訊息。而這些約束訊息由於可以更有效的訓練該人臉圖像識別網路,也可以稱為“有效訊息”。如果在訓練過程中僅用當前反覆運算的兩兩人臉圖像特徵計算損失函數,相比於本發明的實現方式而言,得不到更多有效訊息,而本發明可以通過在人臉圖像識別網路中增加特徵記憶模組(用於保存該樣本特徵),在訓練過程中,將當前反覆運算的人臉特徵與特徵記憶模組裡的樣本特徵一起計算損失函數,則可以提供更多的有效訊息,從而,在訓練過程中可以利用更多的有效訊息,更有效的訓練該人臉圖像識別網路,提高訓練效率。
應用示例:
圖3示出根據本發明實施例的人臉圖像識別網路訓練過程流程圖,如圖3所示,包含:
步驟S301、對採集到的不同人臉圖像分別提取特徵,構造由非配對人臉圖像對構成的訓練樣本,在訓練樣本中的圖像可以稱為訓練圖像。
步驟S302、根據非配對人臉圖像對的特徵,計算訓練樣本中的訓練圖像在訓練時的採樣順序。
步驟S303、按照計算好的採樣順序,讀取訓練樣本中的訓練圖像,並結合特徵記憶模組中的樣本特徵一起訓練人臉圖像識別網路。
圖4示出根據本發明實施例的人臉圖像識別網路訓練過程流程圖,基於圖3-圖4所示,對所涉及的具體實現方式描述如下:
一、對採集到的不同人臉圖像分別提取特徵,構造由非配對人臉圖像對構成的訓練樣本。
輸入:從實際應用場景採集的人臉圖像、系統原有的人臉訓練圖像,且兩個集合的人臉需保證不存在相同的人臉;
輸出:人臉圖像特徵、非配對人臉圖像對。
具體實現方式包括:對輸入的人臉圖像做人臉對齊;使用當前人臉識別模型對對齊後的人臉圖像提取特徵,得到人臉識別特徵,從實際應用場景採集的人臉圖像特徵記為集合A,系統原有人臉圖像特徵記為集合B;將特徵集合B與特徵集合A中的兩兩特徵計算餘弦相似度,並對得到的餘弦相似度集合按照從大到小排序,取前10%(該百分比不唯一,可根據實際情況調整,百分比越大,對該人臉圖像識別網路的訓練難度越大,訓練完得到的目標識別網路的性能也越好)的餘弦相似度對應的圖像組合作為該非配對人臉圖像對,並將臨界點的餘弦相似度作為後續該人臉圖像識別網路訓練的一個最佳化目標閾值(threshold)。
二、根據非配對人臉圖像對的特徵,計算訓練樣本中的訓練圖像在訓練時的採樣順序。
輸入:特徵集合A、非配對人臉圖像對的訊息;
輸出:人臉圖像識別網路訓練時的圖像採樣順序。
具體實現方式包括:根據該非配對人臉圖像對的訊息,構造特徵集合C={A1,A2,…,An},集合C中的元素為訓練所選取的系統原有人臉訓練圖像的特徵;使用特徵集合C建立KD-Tree,遍歷KD-Tree,遍歷路徑則為訓練時的圖像採樣順序。
三、按照計算好的採樣順序,讀取訓練樣本中的訓練圖像,並結合特徵記憶模組中的樣本特徵一起訓練人臉圖像識別網路。
輸入:當前人臉圖像識別網路、該非配對人臉圖像對,圖像採樣順序;
輸出:訓練後得到目標識別網路,即新的人臉圖像識別網路。
具體實現方式包括:使用當前人臉圖像識別網路的網路參數,初始化該人臉圖像識別網路;按照計算好的採樣順序讀取該非配對人臉圖像對,對於每一次反覆運算,讀取的該非配對人臉圖像對至少包含兩個部分:IA和IB,IA來源於系統原有人臉訓練圖像,IB來源於採集的人臉圖像。圖像IA和IB經過人臉圖像識別網路的計算,得到特徵FA和FB,然後將FA保存到特徵記憶模組。將FB與特徵記憶模組中的所有特徵集合FM計算損失函數,並更新人臉圖像識別網路的網路參數。計算損失函數的公式可以如公式(1)所示,其中,L為損失函數;N、M分別為不同特徵至少一種對應的數量總和;FM為樣本特徵FA構成的樣本特徵集合;FB為圖像IB經過人臉圖像識別網路的計算所得到特徵;threshold為根據特徵集合B與特徵集合A中的兩兩特徵計算餘弦相似度時得到的臨界點的餘弦相似度,即作為該人臉圖像識別網路訓練的一個最佳化目標閾值。
需要指出的是:特徵記憶模組中的樣本特徵存在時效性,需要定期刪除,從而實現對特徵記憶模組中的樣本特徵的更新。比如,特徵記憶模組中的樣本特徵存在時間超過100(數值不唯一,可根據實際訓練效果進行調整)次反覆運算,則將該樣本特徵從特徵記憶模組中移除,一直進行該反覆運算處理直到滿足預設的反覆運算次數。
本領域技術人員可以理解,在具體實施方式的上述方法中,各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定,各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
本發明提及的上述各個方法實施例,在不違背原理邏輯的情況下,均可以彼此相互結合形成結合後的實施例,限於篇幅,本發明不再贅述。
此外,本發明還提供了人臉圖像識別裝置、電子設備、電腦可讀儲存媒體、程式,上述均可用來實現本發明提供的任一種人臉圖像識別方法,相應技術方案和描述和參見方法部分的相應記載,不再贅述。
圖5示出根據本發明實施例的人臉圖像識別裝置的方塊圖,如圖5所示,本發明實施例的人臉圖像識別裝置包括:提取單元31,用於從人臉圖像資料中提取屬於不同人臉的待處理圖像資料;第一處理單元32,用於根據所述屬於不同人臉的待處理圖像資料,得到非配對的人臉圖像資料對;其中,所述非配對的人臉圖像資料對用於表徵屬於不同人臉的兩張人臉圖像的特徵;第二處理單元33,用於根據所述非配對的人臉圖像資料對,對人臉圖像識別網路進行訓練,得到用於識別人臉圖像的目標識別網路。
可能的實現方式中,還可以包括識別單元(圖未示),用於根據所述目標識別網路對待識別的人臉圖像進行識別,得到識別結果。
可能的實現方式中,所述提取單元31,進一步用於:根據所述人臉圖像識別網路,提取所述人臉圖像資料中人臉圖像的特徵;將屬於不同人臉圖像的特徵作為所述待處理圖像資料。
可能的實現方式中,所述第一處理單元32,進一步用於:所述屬於不同人臉的特徵至少包括第一人臉中的第一特徵和第二人臉中的第二特徵;根據所述第一特徵和所述第二特徵得到的相似度符合預設條件的情況下,將所述第一人臉和所述第二人臉構造為所述人臉圖像資料對。
可能的實現方式中,所述人臉圖像識別裝置還包括第三處理單元(圖未示),用於:根據所述人臉圖像資料對之間的特徵相關性,得到採樣順序。
可能的實現方式中,所述第三處理單元,進一步用於:根據所述人臉圖像資料對之間的特徵,得到特徵集合;根據所述特徵集合構造特徵樹KD-Tree,人臉圖像資料對之間的特徵相關性近的特徵作為所述KD-Tree的相鄰節點;將遍歷所述KD-Tree得到的遍歷路徑作為所述採樣順序。
可能的實現方式中,所述第二處理單元33,進一步用於:將根據所述採樣順序讀取的人臉圖像資料對,作為輸入所述人臉圖像識別網路的訓練樣本。
可能的實現方式中,所述人臉圖像資料對,至少來源於用於人臉訓練的第一人臉圖像集合和真實環境下採集人臉得到的第二人臉圖像集合,且兩個人臉圖像集合中的人臉為不相同。
可能的實現方式中,所述第二處理單元33,進一步用於:對所述人臉圖像識別網路進行訓練的每次反覆運算中,保存樣本特徵;所述樣本特徵包括從所述第一人臉圖像集合中提取的特徵,經多次反覆運算得到樣本特徵集。
可能的實現方式中,所述第二處理單元33,進一步用於:根據每次反覆運算中從所述第二人臉圖像集合中提取的當前人臉特徵和上一次反覆運算得到樣本特徵集中的所有樣本特徵,計算損失函數;根據所述損失函數的反向傳播來訓練所述人臉圖像識別網路。
在一些實施例中,本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法,其具體實現可以參照上文方法實施例的描述,為了簡潔,這裡不再贅述。
本發明實施例還提出一種電腦可讀儲存媒體,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存媒體可以是非揮發性電腦可讀儲存媒體。
本發明實施例還提出一種電子設備,包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為上述方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
本發明實施例還提供了一種電腦程式,所述電腦程式包括電腦可讀代碼,當所述電腦可讀代碼在電子設備中運行時,所述電子設備中的處理器執行用於實現上述方法。
圖6是根據一示例性實施例示出的一種電子設備800的方塊圖。例如,電子設備800可以是行動電話,電腦,數位廣播終端,訊息收發設備,遊戲控制台,平板設備,醫療設備,健身設備,個人數位助理等終端。
參照圖6,電子設備800可以包括以下一個或多個元件:處理元件802,記憶體804,電源元件806,多媒體元件808,音訊元件810,輸入/輸出介面812,感測器元件814,以及通訊元件816。
處理元件802通常控制電子設備800的整體操作,諸如與顯示,電話呼叫,資料通信,相機操作和記錄操作相關聯的操作。處理元件802可以包括一個或多個處理器820來執行指令,以完成上述的方法的全部或部分步驟。此外,處理元件802可以包括一個或多個模組,便於處理元件802和其他元件之間的交互。例如,處理元件802可以包括多媒體模組,以方便多媒體元件808和處理元件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令,連絡人資料,電話簿資料,訊息,圖像,視訊等。記憶體804可以由任何類型的揮發性或非揮發性存放裝置或者它們的組合實現,如靜態隨機存取記憶體(SRAM),電子可抹除可程式化唯讀記憶體(EEPROM),可抹除可程式化唯讀記憶體(EPROM),可程式化唯讀記憶體(PROM),唯讀記憶體(ROM),磁記憶體,快閃記憶體,磁碟或光碟。
電源元件806為電子設備800的各種元件提供電力。電源元件806可以包括電源管理系統,一個或多個電源,及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體元件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中,螢幕可以包括液晶顯示器(LCD)和觸控面板(TP)。如果螢幕包括觸控面板,螢幕可以被實現為觸控式螢幕,以接收來自用戶的輸入訊號。觸控面板包括一個或多個觸控感測器以感測觸控、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸控或滑動動作的邊界,而且還檢測與所述觸控或滑動操作相關的持續時間和壓力。在一些實施例中,多媒體元件808包括一個前置攝影機和/或後置攝影機。當電子設備800處於操作模式,如拍攝模式或視訊模式時,前置攝影機和/或後置攝影機可以接收外部的多媒體資料。每個前置攝影機和後置攝影機可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊元件810被配置為輸出和/或輸入音訊訊號。例如,音訊元件810包括一個麥克風(MIC),當電子設備800處於操作模式,如呼叫模式、記錄模式和語音辨識模式時,麥克風被配置為接收外部音訊訊號。所接收的音訊訊號可以被進一步儲存在記憶體804或經由通訊元件816發送。在一些實施例中,音訊元件810還包括一個揚聲器,用於輸出音訊訊號。
輸入/輸出介面812為處理元件802和周邊介面模組之間提供介面,上述周邊介面模組可以是鍵盤,滑鼠,按鈕等。這些按鈕可包括但不限於:主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器元件814包括一個或多個感測器,用於為電子設備800提供各個方面的狀態評估。例如,感測器元件814可以檢測到電子設備800的打開/關閉狀態,元件的相對定位,例如所述元件為電子設備800的顯示器和小鍵盤,感測器元件814還可以檢測電子設備800或電子設備800一個元件的位置改變,使用者與電子設備800接觸的存在或不存在,電子設備800方位或加速/減速和電子設備800的溫度變化。感測器元件814可以包括接近感測器,被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器元件814還可以包括光感測器,如CMOS或CCD圖像感測器,用於在成像應用中使用。在一些實施例中,該感測器元件814還可以包括加速度感測器,陀螺儀感測器,磁感測器,壓力感測器或溫度感測器。
通訊元件816被配置為便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路,如WiFi,2G或3G,或它們的組合。在一個示例性實施例中,通訊元件816經由廣播通道接收來自外部廣播管理系統的廣播訊號或廣播相關訊息。在一個示例性實施例中,所述通訊元件816還包括近場通訊(NFC)模組,以促進短程通訊。例如,在NFC模組可基於射頻識別(RFID)技術,紅外資料協會(IrDA)技術,超寬頻(UWB)技術,藍牙(BT)技術和其他技術來實現。
在示例性實施例中,電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位訊號處理設備(DSPD)、可程式化邏輯裝置(PLD)、現場可程式化邏輯閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實現,用於執行上述方法。
在示例性實施例中,還提供了一種非揮發性電腦可讀儲存媒體,例如包括電腦程式指令的記憶體804,上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖7是根據一示例性實施例示出的一種電子設備900的方塊圖。例如,電子設備900可以被提供為一伺服器。參照圖7,電子設備900包括處理元件922,其進一步包括一個或多個處理器,以及由記憶體932所代表的記憶體資源,用於儲存可由處理元件922的執行的指令,例如應用程式。記憶體932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外,處理元件922被配置為執行指令,以執行上述方法。
電子設備900還可以包括一個電源元件926被配置為執行電子設備900的電源管理,一個有線或無線網路介面950被配置為將電子設備900連接到網路,和一個輸入輸出介面958。電子設備900可以操作基於儲存在記憶體932的作業系統,例如Windows ServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM或類似。
在示例性實施例中,還提供了一種非揮發性電腦可讀儲存媒體,例如包括電腦程式指令的記憶體932,上述電腦程式指令可由電子設備900的處理元件922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存媒體,其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是――但不限於――電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子(非窮舉的列表)包括:可攜式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式化唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可攜式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能影音光碟(DVD)、記憶卡、磁片、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存媒體不被解釋為暫態訊號本身,諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如,通過光纖電纜的光脈衝)、或者通過電線傳輸的電訊號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備,或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網路下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換器、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令,並轉發該電腦可讀程式指令,以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、韌體指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始碼或目標代碼,所述程式設計語言包括物件導向的程式設計語言—諸如Smalltalk、C++等,以及常規的過程式程式設計語言—諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中,遠端電腦可以通過任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到用戶電腦,或者,可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中,通過利用電腦可讀程式指令的狀態訊息來個性化定制電子電路,例如可程式設計邏輯電路、現場可程式化邏輯閘陣列(FPGA)或可程式設計邏輯陣列(PLA),該電子電路可以執行電腦可讀程式指令,從而實現本發明的各個方面。
這裡參照根據本發明實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解,流程圖和/或方塊圖的每個方框以及流程圖和/或方塊圖中各方框的組合,都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器,從而生產出一種機器,使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時,產生了實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中,這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作,從而,儲存有指令的電腦可讀媒體則包括一個製造品,其包括實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上,使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟,以產生電腦實現的過程,從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作。
圖式中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上,流程圖或方塊圖中的每個方框可以代表一個模組、程式段或指令的一部分,所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中,方框中所標注的功能也可以以不同於圖式中所標注的順序發生。例如,兩個連續的方框實際上可以基本並行地執行,它們有時也可以按相反的循序執行,這依所涉及的功能而定。也要注意的是,方塊圖和/或流程圖中的每個方框、以及方塊圖和/或流程圖中的方框的組合,可以用執行規定的功能或動作的專用的基於硬體的系統來實現,或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本發明的各實施例,上述說明是示例性的,並非窮盡性的,並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下,對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇,旨在最好地解釋各實施例的原理、實際應用或對市場中技術的技術改進,或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
S101~S103:流程步驟
S201~S205:流程步驟
S301~S303:流程步驟
31:提取單元
32:第一處理單元
33:第二處理單元
800:電子設備
802:處理元件
804:記憶體
806:電源元件
808:多媒體元件
810:音訊元件
812:輸入/輸出介面
814:感測器元件
816:通訊元件
820:處理器
900:電子設備
922:處理元件
926:電源元件
932:記憶體
950:網路介面
958:輸入輸出介面
此處的圖式示出了符合本發明的實施例,並與說明書一起用於說明本發明的技術方案。
圖1示出根據本發明實施例的人臉圖像識別方法的流程圖。
圖2示出根據本發明實施例的人臉圖像識別方法的流程圖。
圖3示出根據本發明實施例的人臉圖像識別網路訓練過程流程圖。
圖4示出根據本發明實施例的人臉圖像識別網路訓練過程流程圖。
圖5示出根據本發明實施例的人臉圖像識別裝置的方塊圖。
圖6示出根據本發明實施例的電子設備的方塊圖。
圖7示出根據本發明實施例的電子設備的方塊圖。
S101~S103:流程步驟
Claims (12)
- 一種人臉圖像識別方法,包括: 從人臉圖像資料中提取屬於不同人臉的待處理圖像資料; 根據所述屬於不同人臉的待處理圖像資料,得到非配對的人臉圖像資料對;其中,所述非配對的人臉圖像資料對用於表徵屬於不同人臉的兩張人臉圖像的特徵; 根據所述非配對的人臉圖像資料對,對人臉圖像識別網路進行訓練,得到用於識別人臉圖像的目標識別網路。
- 如請求項1所述的人臉圖像識別方法,其中,所述從人臉圖像資料中提取屬於不同人臉的待處理圖像資料,包括: 根據所述人臉圖像識別網路,提取所述人臉圖像資料中人臉圖像的特徵; 將屬於不同人臉圖像的特徵作為所述待處理圖像資料。
- 如請求項2所述的人臉圖像識別方法,其中,所述根據所述屬於不同人臉的待處理圖像資料,得到非配對的人臉圖像資料對,包括: 所述屬於不同人臉的特徵至少包括第一人臉中的第一特徵和第二人臉中的第二特徵; 根據所述第一特徵和所述第二特徵得到的相似度符合預設條件的情況下,將所述第一人臉和所述第二人臉構造為所述人臉圖像資料對。
- 如請求項2所述的人臉圖像識別方法,其中,所述對人臉圖像識別網路進行訓練之前,所述人臉圖像識別方法還包括: 根據所述人臉圖像資料對之間的特徵相關性,得到採樣順序。
- 如請求項4所述的人臉圖像識別方法,其中,所述根據所述人臉圖像資料對之間的特徵相關性,得到採樣順序,包括: 根據所述人臉圖像資料對之間的特徵,得到特徵集合; 根據所述特徵集合構造特徵樹KD-Tree,人臉圖像資料對之間的特徵相關性近的特徵作為所述KD-Tree的相鄰節點; 將遍歷所述KD-Tree得到的遍歷路徑作為所述採樣順序。
- 如請求項4或5所述的人臉圖像識別方法,其中,所述得到採樣順序之後,所述人臉圖像識別方法還包括: 將根據所述採樣順序讀取的人臉圖像資料對作為輸入所述人臉圖像識別網路的訓練樣本。
- 如請求項1~5中任一項所述的人臉圖像識別方法,其中,所述人臉圖像資料對,至少來源於用於人臉訓練的第一人臉圖像集合和採集人臉得到的第二人臉圖像集合,且兩個人臉圖像集合中的人臉為不相同。
- 如請求項7所述的人臉圖像識別方法,其中,所述對人臉圖像識別網路進行訓練,包括: 對所述人臉圖像識別網路進行訓練的每次反覆運算中,保存樣本特徵; 所述樣本特徵包括從所述第一人臉圖像集合中提取的特徵,經多次反覆運算得到樣本特徵集。
- 如請求項8所述的人臉圖像識別方法,其中,所述對人臉圖像識別網路進行訓練,還包括: 根據每次反覆運算中從所述第二人臉圖像集合中提取的當前人臉特徵和上一次反覆運算得到樣本特徵集中的所有樣本特徵,計算損失函數; 根據所述損失函數的反向傳播來訓練所述人臉圖像識別網路。
- 一種人臉圖像識別裝置,包括: 提取單元,用於從人臉圖像資料中提取屬於不同人臉的待處理圖像資料; 第一處理單元,用於根據所述屬於不同人臉的待處理圖像資料,得到非配對的人臉圖像資料對;其中,所述非配對的人臉圖像資料對用於表徵屬於不同人臉的兩張人臉圖像的特徵; 第二處理單元,用於根據所述非配對的人臉圖像資料對,對人臉圖像識別網路進行訓練,得到用於識別人臉圖像的目標識別網路。
- 一種電子設備,包括: 處理器; 用於儲存處理器可執行指令的記憶體; 其中,所述處理器被配置為:執行如請求項1至9中任意一項所述的人臉圖像識別方法。
- 一種電腦可讀儲存媒體,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現如請求項1至9中任意一項所述的人臉圖像識別方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910739381.8 | 2019-08-12 | ||
CN201910739381.8A CN110458102A (zh) | 2019-08-12 | 2019-08-12 | 一种人脸图像识别方法及装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202107337A true TW202107337A (zh) | 2021-02-16 |
Family
ID=68485929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109122357A TW202107337A (zh) | 2019-08-12 | 2020-07-02 | 一種人臉圖像識別方法及裝置、電子設備和電腦可讀儲存媒體 |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP2022520120A (zh) |
KR (1) | KR20210114511A (zh) |
CN (1) | CN110458102A (zh) |
TW (1) | TW202107337A (zh) |
WO (1) | WO2021027343A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458102A (zh) * | 2019-08-12 | 2019-11-15 | 深圳市商汤科技有限公司 | 一种人脸图像识别方法及装置、电子设备和存储介质 |
CN111339964A (zh) * | 2020-02-28 | 2020-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN112949634B (zh) * | 2021-03-08 | 2024-04-26 | 北京交通大学 | 一种铁路接触网鸟窝检测方法 |
CN112784823B (zh) * | 2021-03-17 | 2023-04-07 | 中国工商银行股份有限公司 | 人脸图像识别方法、装置、计算设备和介质 |
CN113269425B (zh) * | 2021-05-18 | 2022-06-07 | 北京航空航天大学 | 无监督条件下设备健康状态的定量评估方法及电子设备 |
KR20230032092A (ko) | 2021-08-30 | 2023-03-07 | 주식회사 엘지에너지솔루션 | 고체 전해질막 및 이를 포함하는 전고체 전지 |
CN114255502B (zh) * | 2021-12-23 | 2024-03-29 | 中国电信股份有限公司 | 人脸图像生成方法及装置、人脸识别方法、设备、介质 |
CN115909434B (zh) * | 2022-09-07 | 2023-07-04 | 以萨技术股份有限公司 | 一种获取人脸图像特征的数据处理系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4606779B2 (ja) * | 2004-06-07 | 2011-01-05 | グローリー株式会社 | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム |
JP4591215B2 (ja) * | 2005-06-07 | 2010-12-01 | 株式会社日立製作所 | 顔画像データベース作成方法及び装置 |
US8224042B2 (en) * | 2009-03-12 | 2012-07-17 | Seiko Epson Corporation | Automatic face recognition |
CN103679158B (zh) * | 2013-12-31 | 2017-06-16 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
JP6312485B2 (ja) * | 2014-03-25 | 2018-04-18 | キヤノン株式会社 | 情報処理装置、認証装置およびそれらの方法 |
CN109753875A (zh) * | 2018-11-28 | 2019-05-14 | 北京的卢深视科技有限公司 | 基于人脸属性感知损失的人脸识别方法、装置与电子设备 |
CN110458102A (zh) * | 2019-08-12 | 2019-11-15 | 深圳市商汤科技有限公司 | 一种人脸图像识别方法及装置、电子设备和存储介质 |
-
2019
- 2019-08-12 CN CN201910739381.8A patent/CN110458102A/zh active Pending
-
2020
- 2020-05-07 KR KR1020217026325A patent/KR20210114511A/ko active Search and Examination
- 2020-05-07 JP JP2021547720A patent/JP2022520120A/ja active Pending
- 2020-05-07 WO PCT/CN2020/089012 patent/WO2021027343A1/zh active Application Filing
- 2020-07-02 TW TW109122357A patent/TW202107337A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
JP2022520120A (ja) | 2022-03-28 |
KR20210114511A (ko) | 2021-09-23 |
CN110458102A (zh) | 2019-11-15 |
WO2021027343A1 (zh) | 2021-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW202107337A (zh) | 一種人臉圖像識別方法及裝置、電子設備和電腦可讀儲存媒體 | |
TWI754855B (zh) | 人臉圖像識別方法、裝置、電子設備及儲存介質 | |
TWI766286B (zh) | 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介 | |
TWI717923B (zh) | 面部識別方法及裝置、電子設備和儲存介質 | |
KR102222300B1 (ko) | 비디오 처리 방법 및 장치, 전자 기기 및 저장 매체 | |
TWI780751B (zh) | 網路訓練方法、目標檢測方法、電子設備和電腦可讀儲存介質 | |
WO2021196401A1 (zh) | 图像重建方法及装置、电子设备和存储介质 | |
TW202105244A (zh) | 圖像處理方法及裝置、電子設備和電腦可讀儲存介質 | |
WO2021035812A1 (zh) | 一种图像处理方法及装置、电子设备和存储介质 | |
WO2021031645A1 (zh) | 图像处理方法及装置、电子设备和存储介质 | |
WO2021093375A1 (zh) | 检测同行人的方法及装置、系统、电子设备和存储介质 | |
TW202038183A (zh) | 文本識別方法及裝置、電子設備、儲存介質 | |
TW202109360A (zh) | 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存介質 | |
TW202034211A (zh) | 圖像處理方法、電子設備和電腦可讀儲存介質 | |
WO2021208666A1 (zh) | 字符识别方法及装置、电子设备和存储介质 | |
TWI735112B (zh) | 圖像生成方法、電子設備和儲存介質 | |
CN104636164B (zh) | 启动页面生成方法及装置 | |
TW202127369A (zh) | 網路訓練方法、圖像生成方法、電子設備及電腦可讀儲存介質 | |
CN104035995A (zh) | 群标签生成方法及装置 | |
CN111582383B (zh) | 属性识别方法及装置、电子设备和存储介质 | |
WO2020220807A1 (zh) | 图像生成方法及装置、电子设备及存储介质 | |
WO2022099989A1 (zh) | 活体识别、门禁设备控制方法和装置、电子设备和存储介质、计算机程序 | |
WO2023029389A1 (zh) | 视频指纹的生成方法及装置、电子设备、存储介质、计算机程序、计算机程序产品 | |
TW202242715A (zh) | 身份辨識方法及電子設備、電腦可讀儲存媒體 | |
TWI751593B (zh) | 網路訓練方法及裝置、圖像處理方法及裝置、電子設備、電腦可讀儲存媒體及電腦程式 |