TWI665613B - 人臉辨識訓練方法、裝置、電子設備、電腦可讀儲存介質及電腦程式產品 - Google Patents

人臉辨識訓練方法、裝置、電子設備、電腦可讀儲存介質及電腦程式產品 Download PDF

Info

Publication number
TWI665613B
TWI665613B TW107113594A TW107113594A TWI665613B TW I665613 B TWI665613 B TW I665613B TW 107113594 A TW107113594 A TW 107113594A TW 107113594 A TW107113594 A TW 107113594A TW I665613 B TWI665613 B TW I665613B
Authority
TW
Taiwan
Prior art keywords
loss value
training
sample
training sample
face recognition
Prior art date
Application number
TW107113594A
Other languages
English (en)
Other versions
TW201832134A (zh
Inventor
王浩
李志鋒
季興
賈凡
王一同
Original Assignee
大陸商騰訊科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商騰訊科技（深圳）有限公司 filed Critical 大陸商騰訊科技（深圳）有限公司
Publication of TW201832134A publication Critical patent/TW201832134A/zh
Application granted granted Critical
Publication of TWI665613B publication Critical patent/TWI665613B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一種人臉辨識訓練方法、裝置、電子設備、電腦可讀儲存介質及電腦程式產品，該方法包括：獲取疊代的批次資料訓練樣本，所述批次資料訓練樣本包括不同樣本類的多個訓練樣本；確定各訓練樣本對應的中心損失值；根據所述各訓練樣本對應的中心損失值，確定所述批次資料訓練樣本對應的中心損失值；根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值；以及若所述人臉辨識的目標損失值達到設定的訓練收斂條件，則輸出人臉辨識的訓練結果。

Description

人臉辨識訓練方法、裝置、電子設備、電腦可讀儲存介質及電腦程式 產品
本揭示關於影像處理技術領域，特別是關於一種人臉辨識訓練方法、裝置、電子設備、電腦可讀儲存介質及電腦程式產品。
人臉辨識是通過人臉辨識器從圖像中辨識出人臉的技術，人臉辨識器的訓練好壞會直接影響到人臉的辨識效果，因此如何優化人臉辨識器的訓練過程一直是本揭示所屬技術領域中具有通常知識者研究的重點。
隨著深度學習的發展，基於卷積神經網路(Convolutional Neural Network，CNN)的人臉辨識器訓練已成為人臉辨識器的一種主流訓練方式，例如使用Faster RCNN(Faster Region-based Convolutional Neural Network)的卷積神經網路進行人臉辨識器的訓練等。基於CNN的人臉辨識器的訓練過程主要是：構建CNN模型，通過訓練樣本進行疊代的訓練，以在每次疊代時更新CNN模型的網路參數，實現人臉辨識器的訓練優化；其中每次疊代時更新CNN模型的網路參數的過程，可以認為是人臉辨識器的優化過程。
目前的人臉辨識器的優化目標主要是最大化人臉和非人臉的差異(即最大化類間差異)，然而對於人臉和人臉之間的差異則沒有太多的關注，這使得人臉辨識器在應對不同場景下的人臉變化時，人臉辨識的 判別能力較弱，強健性(robustness)較差。
有鑑於此，本揭示實施例提供一種人臉辨識訓練方法、裝置、電子設備、電腦可讀儲存介質及電腦程式產品，以提升人臉辨識判別能力，提升人臉辨識的強健性。
為實現上述目的，本揭示實施例提供如下技術方案。
一種人臉辨識訓練方法，包括：獲取疊代的批次資料訓練樣本，所述批次資料訓練樣本包括不同樣本類的多個訓練樣本；分別根據各訓練樣本的特徵向量及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值；根據所述各訓練樣本對應的中心損失值，確定所述批次資料訓練樣本對應的中心損失值；根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值；以及若所述人臉辨識的目標損失值達到設定的訓練收斂條件，則輸出人臉辨識的訓練結果。
本揭示實施例還提供一種人臉辨識訓練裝置，包括：一樣本獲取模組，用於獲取疊代的批次資料訓練樣本，所述批次資料訓練樣本包括不同樣本類的多個訓練樣本；一樣本中心損失值確定模組，用於分別根據各訓練樣本的特徵向量及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值；一批次樣本中心損失值確定模組，用於根據所述各訓練樣本對應的中心損失值，確定所述批次資料訓練樣本對應的中心損失值；一辨識目標損失值確定模組，用於根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值；以及一辨識輸出模組，用於若所述人臉辨識的目標損失值達到設定的訓練收斂條件，則輸出人臉辨識的訓練結果。
本揭示實施例還提供一種電子設備，包括：至少一記憶體；以及至少一處理器；其中所述記憶體儲存有程式，所述處理器用於調用所述程式，所述程式用於：獲取疊代的批次資料訓練樣本，所述批次資料訓 練樣本包括不同樣本類的多個訓練樣本；分別根據各訓練樣本的特徵向量及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值；根據所述各訓練樣本對應的中心損失值，確定所述批次資料訓練樣本對應的中心損失值；根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值；以及若所述人臉辨識的目標損失值達到設定的訓練收斂條件，則輸出人臉辨識的訓練結果。
本揭示實施例還提供一種電腦可讀儲存介質，包括指令，當其在電腦上運行時，使得電腦執行上述方法。
本揭示實施例還提供一種電腦程式產品，包括指令，當其在電腦上運行時，使得電腦執行上述方法。
基於上述技術方案，本揭示實施例提供的人臉辨識訓練流程可以包括：獲取疊代的批次資料訓練樣本，所述批次資料訓練樣本包括不同樣本類的多個訓練樣本；分別根據各訓練樣本的特徵向量及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值；根據所述各訓練樣本對應的中心損失值，確定所述批次資料訓練樣本對應的中心損失值；根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值；以及若所述人臉辨識的目標損失值達到設定的訓練收斂條件，則輸出人臉辨識的訓練結果。
本揭示實施例中，人臉辨識的訓練優化目標結合了批次資料訓練樣本對應的中心損失值，可使得人臉辨識對於人臉和人臉之間的類內差異具有不變性，因此結合批次資料訓練樣本對應的中心損失值進行人臉辨識的優化的訓練，可使優化訓練後的人臉辨識能夠在保證對人臉和非人臉具有較高的類間辨識性能的同時，對於人臉的類內差異具有不變性，提升人臉辨識的強健性。
1‧‧‧處理器
2‧‧‧通信介面
3‧‧‧記憶體
4‧‧‧通信匯流排
100‧‧‧樣本獲取模組
200‧‧‧樣本中心損失值確定模組
300‧‧‧批次樣本中心損失值確定模組
400‧‧‧辨識目標損失值確定模組
500‧‧‧參數更新模組
600‧‧‧辨識輸出模組
700‧‧‧批次樣本分類損失值確定模組
800‧‧‧批次樣本人臉框座標回歸損失值確定模組
S100-S160、S200-S220、S300-S330‧‧‧步驟
第1圖為CNN模型的結構。
第2圖為CNN模型的另一結構。
第3圖為電子設備的硬體結構方塊圖。
第4圖為本揭示實施例提供的人臉辨識訓練方法的流程圖。
第5圖為基於CNN模型的人臉辨識訓練示意圖。
第6圖為人臉框座標回歸損失值的確定方法流程圖。
第7圖為批次資料訓練樣本的獲取方法流程圖。
第8圖為本揭示實施例提供的人臉辨識訓練裝置的結構方塊圖。
第9圖為本揭示實施例提供的人臉辨識訓練裝置的另一結構方塊圖。
第10圖為本揭示實施例提供的人臉辨識訓練裝置的再一結構方塊圖。
為了使本揭示所屬技術領域中具有通常知識者更好地理解本揭示方案，下面將結合本揭示實施例中的附圖，對本揭示實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本揭示一部分的實施例，而不是全部的實施例。基於本揭示中的實施例，本揭示所屬技術領域中具有通常知識者在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本揭示保護的範圍。
本揭示實施例基於CNN所構建的一種可選的CNN模型可以如第1圖所示，包括：基礎網路層、候選框預測層、及人臉辨識層。
基礎網路層可以是由一系列的卷積層(Convolution)和池化層(Pooling)依次連接構成的子網路，基礎網路層可以通過一系列的卷積層對每一訓練樣本(訓練樣本可以是圖像形式的樣本)進行逐層的卷積處理，下一卷積層卷積處理上一卷積層輸出的卷積處理結果；多層卷積層處理的圖像特徵中，淺層特徵能夠表示豐富的邊緣角點、紋理結構等特徵，深層特徵是基於淺層特徵的進一步抽象映射，通過多層卷積層的逐層卷積處理，可以實現不同層次的圖像特徵的提取；而針對每一訓練樣本，基礎 網路層輸出的是最後一層的卷積層卷積處理後的特徵圖(Feature Map)，特徵圖可以是圖像特徵的一種表示。
候選框預測層可以是全卷積結構的子網路，建立在基礎網路層輸出的圖像特徵之上，候選框預測層可以通過卷積層對每一訓練樣本的特徵進行映射，從而通過映射的結點建立候選框分類器和候選框回歸器，形成候選框辨識器；候選框分類器可用於進行候選框(Proposals)的機率預測，候選框回歸器可用於進行候選框的座標預測，從而輸出候選框(Proposals)，候選框預測層輸出的候選框可以輸入到人臉辨識層。
人臉辨識層可以是包含關注區域池化層(Regions of Interest Pooling，RoI Pooling)的子網路，建立在基礎網路層輸出的圖像特徵和候選框預測層輸出的候選框的基礎上；針對每一訓練樣本，人臉辨識層可以基於候選框(Proposals)對基礎網路層的輸出的訓練樣本的圖像特徵做降維的採樣，得到固定尺寸的特徵圖，將特徵圖中所有的結點連接映射到固定長度的特徵向量，從而得到每一訓練樣本的特徵向量，基於每一訓練樣本的特徵向量建立人臉分類器和人臉回歸器，人臉分類器和人臉回歸器聯合構成了人臉辨識器，人臉分類器能夠預測人臉和非人臉的機率，人臉回歸器可基於候選框進行更為準確的人臉框的座標回歸。
進一步，第1圖所示CNN模型可通過基於Faster RCNN的CNN模型實現，Faster RCNN是一種人臉辨識的經典演算法，分為RPN(Region Proposal Networks)層和Fast RCNN層，RPN層生成候選框，Fast RCNN層可基於候選框得到最終的辨識結果。
如第2圖所示，基於Faster RCNN的CNN模型可以包括：基礎網路層、RPN層、及Fast RCNN層。RPN層可以認為是候選框預測層的一種可選實現，Fast RCNN層可以認為是人臉辨識層的一種可選實現。
在本揭示實施例中，RPN層的目標是基於基礎網路層輸出的圖像特徵產生候選框，在這個過程中，本揭示實施例可預先定義多個錨框， 該多個錨框覆蓋不同尺度與長寬比，通過該預先定義的多個錨框可確定訓練樣本中的子框，通過該子框預測候選框(如利用該子框可以訓練候選框辨識器，從而通過候選框辨識器進行候選框的預測)。
可選地，錨框是用來定義和建立候選框(Proposal)的分類器和回歸器，是RPN層裡面的。RPN層可以看出候選框辨識器。具體來說，每個錨框都關聯一個辨識器(分類加回歸)，分類和回歸有預測值和目標值才能進行訓練和學習。RPN層中，分類目標值的確定(亦即如何定義輸出是正類還是負類)是根據錨框和真實框的重疊率。類似層，Fast RCNN層中，分類目標值的確定是根據候選框與真實框的重疊率。因此，RPN層用到的錨框與Fast RCNN層用到的候選框在建立分類器時有相似的作用，錨框可看成候選框的候選框。RPN層可對圖像特徵經過卷積處理後的每個結點都建立多個候選框辨識器(每個候選框辨識器關聯一個錨框)。
Fast RCNN層的目標是基於候選框和基礎網路層輸出的圖像特徵，生成訓練樣本的特徵向量，從而以訓練樣本的特徵向量建立人臉分類器和人臉回歸器，人臉分類器和人臉回歸器聯合構成人臉辨識器。
為使得人臉辨識器具有更好的辨識效果，可通過隨機梯度下降演算法(Stochastic Gradient Descent，SGD)等模型優化演算法，進行疊代訓練，在每一次疊代時，通過從訓練樣本集合中選取批次資料訓練樣本進行訓練，然後在每一次疊代中視人臉辨識器的優化目標是否達成，來更新CNN模型的網路參數。
目前主要是以最大化人臉和非人臉的差異作為人臉辨識的優化目標，而忽視了人臉和人臉之間在不同場景下的人臉變化差異，例如忽視了人臉在不同的拍攝角度、解析度、光照條件、表情變化以及遮擋等場景下的變化差異，導致訓練出的人臉辨識的判別能力較弱，強健性較差。例如，類內人臉和人臉(例如有光照和無光照)的差異太大，就會被判別為不同類，而實際上應該是同類，因此本揭示實施例需要使得類內差異盡 可能小，保證人臉辨識對類內差異具有不變性。
基於此，本揭示實施例對人臉辨識的疊代訓練優化過程進行了改進，提出新的人臉辨識訓練方法，以保證人臉辨識在對人臉和非人臉具有較高辨識性能的同時，減小人臉和人臉之間的類內差異，提升人臉辨識的判別能力。
本揭示實施例提供的人臉辨識訓練方法可通過程式形式裝載在用於實施人臉辨識訓練的電子設備上，該電子設備可以是網路側的伺服器，也可能是使用者側的個人電腦(Personal Computer，PC)等終端設備，該電子設備的形式可視人臉辨識的實際訓練需求而定。
可選地，用於實施人臉辨識訓練的電子設備的硬體結構可以如第3圖所示，包括：至少一個處理器1、至少一個通信介面2、至少一個記憶體3和至少一個通信匯流排4。
在本揭示實施例中，處理器1、通信介面2、記憶體3、通信匯流排4的數量為至少一個，且處理器1、通信介面2、記憶體3通過通信匯流排4完成相互間的通信。顯然，第3圖所示的處理器1、通信介面2、記憶體3和通信匯流排4的通信連接示意僅是可選的。
可選地，通信介面2可以為通信模組的介面，如全球行動通信系統(Global System for Mobile Communications，GSM)模組的介面。
處理器1可以是一個中央處理器(Central Processing Unit，CPU)，或者是特定積體電路(Application Specific Integrated Circuit，ASIC)，或者是被配置成實施本揭示實施例的一個或多個積體電路。
記憶體3可以包含高速隨機存取記憶體(Random Access Memory，RAM)，也可能還包括非易失性記憶體(Non-Volatile Memory，NVM)，例如至少一個磁碟記憶體。
記憶體3儲存有程式，處理器1調用記憶體3所儲存的程式，該程式可用於執行本揭示實施例提供的人臉辨識訓練方法。
本揭示實施例可通過隨機梯度下降演算法(Stochastic Gradient Descent，SGD)等模型優化演算法進行人臉辨識的疊代訓練，SGD是常用的卷積神經網路優化演算法，對解決大規模機器學習問題有效，SGD在每次疊代時，會使用從訓練樣本集合中隨機抽取的批次資料訓練樣本(Minibatch)進行梯度下降優化。
以一次疊代涉及的人臉辨識訓練為例，本揭示實施例提供的人臉辨識訓練方法的流程可以如第4圖所示，每次疊代涉及的人臉辨識訓練流程均可參照第4圖，本揭示實施例提供的人臉辨識訓練方法可以包括下列步驟。
步驟S100、獲取當前次疊代的批次資料訓練樣本，所述批次資料訓練樣本包括多個訓練樣本，所述多個訓練樣本的樣本類包括正類和負類。
可選地，批次資料訓練樣本(Minibatch)為從包含所有訓練樣本的訓練樣本集合中選取的。
人臉辨識可以認為是實現二分類任務(人臉和非人臉)，在每次疊代時，可以從訓練樣本集合中獲取多個人臉圖像作為正類的訓練樣本，獲取多個非人臉圖像作為負類的訓練樣本，將獲取的正類的訓練樣本和負類的訓練樣本構成每次疊代的批次資料訓練樣本。
相應地，當前次疊代使用的批次資料訓練樣本可以包括多個訓練樣本，該多個訓練樣本的樣本類可以分為正類(即對應以人臉圖像作為的正類的訓練樣本)和負類(即對應以非人臉圖像作為的負類的訓練樣本)。
步驟S110、分別根據各訓練樣本的特徵向量，及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值。
對於所述批次資料訓練樣本中的一訓練樣本，本揭示實施例可確定該訓練樣本的特徵向量，及該訓練樣本所屬的樣本類在所述批次資 料訓練樣本中對應的中心特徵向量，從而確定出該訓練樣本對應的中心損失值，對於所述批次資料訓練樣本中的每一訓練樣本均進行此處理，可得到所述批次資料訓練樣本中各訓練樣本對應的中心損失值。
可選地，所述批次資料訓練樣本中一樣本類的中心特徵向量可以通過當前次疊代中所述批次資料訓練樣本中屬於該樣本類的訓練樣本的特徵向量的平均值對應的更新。
可選地，對於一樣本類，本揭示實施例可確定所述批次資料訓練樣本中屬於該樣本類的各訓練樣本；根據所述批次資料訓練樣本中屬於該樣本類的各訓練樣本的特徵向量，確定屬於該樣本類的各訓練樣本的特徵向量的平均值，得到所述批次資料訓練樣本中該樣本類的中心特徵向量的更新變數；根據所述更新變數和設定學習率，得到所述批次資料訓練樣本中該樣本類的中心特徵向量，以實現根據所述批次資料訓練樣本中一樣本類的各訓練樣本的特徵向量的平均值，更新該樣本類的中心特徵向量。
可選地，本揭示實施例可根據如下公式確定批次資料訓練樣本中一樣本類的中心特徵向量：
α表示設定學習率，Δ表示更新變數，表示第j樣本類在第t次疊代中所使用的批次資料訓練樣本對應的中心特徵向量，表示第j樣本類在第t+1次疊代中所使用的批次資料訓練樣本對應的中心特徵向量。
可選地，對於一樣本類，本揭示實施例可將上一次疊代時批次資料訓練樣本在該樣本類對應的中心特徵向量減去所述更新變數和設定學習率的乘積，得到當前次疊代時批次資料訓練樣本在該樣本類對應的中心特徵向量。
可選地，對於所述批次資料訓練樣本中正類的樣本類，本揭示實施例可確定所述批次資料訓練樣本中屬於正類的各訓練樣本的特徵向量，確定屬於正類的各訓練樣本的特徵向量的平均值，從而更新正類的樣 本類的中心特徵向量；相應地，對於所述批次資料訓練樣本中負類的樣本類，本揭示實施例可確定所述批次資料訓練樣本中屬於負類的各訓練樣本的特徵向量，確定屬於負類的各訓練樣本的特徵向量的平均值，從而更新負類的樣本類的中心特徵向量；可選地，進一步，對於所述批次資料訓練樣本中正類的各訓練樣本，本揭示實施例可分別根據正類的各訓練樣本的特徵向量，與正類的樣本類的中心特徵向量，確定出正類的各訓練樣本對應的中心損失值；對於所述批次資料訓練樣本中負類的各訓練樣本，本揭示實施例可分別根據負類的各訓練樣本的特徵向量，與負類的樣本類的中心特徵向量，確定出負類的各訓練樣本對應的中心損失值。
可選地，一訓練樣本的中心損失值可以通過該訓練樣本的特徵向量與該訓練樣本所屬的樣本類的中心特徵向量的距離表示；假設xi表示批次資料訓練樣本中的第i個訓練樣本，yi表示xi所屬於樣本類(可設yi=1表示正類，yi=0表示負類，當然，也可設置yi=0表示負類，yi=1表示正類，只要正類和負類對應的yi值不同即可)，cyi表示xi所屬於樣本類yi的中心特徵向量，則xi樣本的中心損失值可以定義為：
需要說明的是，一訓練樣本的特徵向量的確定過程可以是：基礎網路層輸出訓練樣本的圖像特徵後，人臉辨識層根據候選框(Proposals)確定訓練樣本中的關注區域，從而人臉辨識層對訓練樣本的關注區域的圖像特徵做降維的採樣，得到固定尺寸的特徵圖，將特徵圖中所有的結點連接映射到固定長度的特徵向量，得到訓練樣本的特徵向量。
步驟S120、根據所述各訓練樣本對應的中心損失值，確定所述批次資料訓練樣本對應的中心損失值。
可選地，本揭示實施例可根據各訓練樣本對應的中心損失值，確定各訓練樣本對應的中心損失值的平均值，根據各訓練樣本對應的中心損失值的平均值確定出所述批次資料訓練樣本對應的中心損失值。
可選地，本揭示實施例可直接將各訓練樣本對應的中心損失值的平均值作為所述批次資料訓練樣本對應的中心損失值，也可以將各訓練樣本對應的中心損失值的平均值乘以設定數值(如乘以1/2)，得到所述批次資料訓練樣本對應的中心損失值。
假設批次資料訓練樣本有共m個訓練樣本，則批次資料訓練樣本對應的中心損失值可以表示為
步驟S130、至少根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值。
人臉辨識的目標損失值是人臉辨識疊代訓練過程中的優化目標的表示，目標損失值達到設定的訓練收斂條件(如最小)，則可結束疊代訓練，輸出人臉辨識的訓練結果；在每一次疊代中，本揭示實施例可將現有的人臉辨識的優化目標，與所使用的批次資料訓練樣本對應的中心損失值相結合，作為本揭示實施例人臉辨識的優化目標，得到人臉辨識的目標損失值。
可選地，本揭示實施例可根據所述批次資料訓練樣本對應的中心損失值、所述批次資料訓練樣本對應的分類損失值、以及所述批次資料訓練樣本對應的人臉框座標回歸損失值確定人臉辨識的目標損失值。
批次資料訓練樣本對應的分類損失值可以根據批次資料訓練樣本中各訓練樣本的分類預測機率和分類目標機率(分類真實機率)的差值確定。
如對於批次資料訓練樣本的每一訓練樣本，在獲取到訓練樣本的特徵向量後，本揭示實施例可通過Softmax函數等預測該訓練樣本所屬的樣本類，得到該訓練樣本的分類預測機率，從而可根據該訓練樣本的分類預測機率和該訓練樣本真實的分類目標機率，確定出該訓練樣本對應的分類損失值(如取該訓練樣本的分類預測機率和分類目標機率的差值)，進 而可根據批次資料訓練樣本中各訓練樣本對應的分類損失值，確定出批次資料訓練樣本對應的分類損失值(如取各訓練樣本的分類損失值的平均值等)。
可見批次資料訓練樣本對應的分類損失值是人臉辨識對於人臉和非人臉的類間分類的指標，批次資料訓練樣本對應的分類損失值可以對人臉和非人臉的差異(類間差異)進行表示，將批次資料訓練樣本對應的分類損失值作為人臉辨識的優化目標的部分，可使得優化後的人臉辨識對於人臉和非人臉的類間區分具有較高的性能。
在此基礎上，批次資料訓練樣本對應的中心損失值對訓練樣本的特徵向量和訓練樣本所屬的樣本類的中心特徵向量的距離進行了表示，因此批次資料訓練樣本對應的中心損失值，可以說明訓練樣本的特徵向量與其所屬的樣本類的中心特徵向量的差異，可以對每一樣本類中的訓練樣本的類內的特徵向量差異進行表示，因此將批次資料訓練樣本對應的中心損失值作為人臉辨識的優化目標的部分，可使得優化後的人臉辨識對於人臉的類內差異具有不變性(如不同場景下的人臉和人臉之間的類內差異)，提升人臉辨識的強健性。
可選地，人臉辨識的訓練可以包含分類訓練和回歸訓練，是聯合訓練的過程；一次疊代中批次資料訓練樣本對應的中心損失值和分類損失值構成的損失值，可以認為是分類訓練的優化目標，如使批次資料訓練樣本對應的中心損失值和分類損失值構成的損失值最小，來作為人臉辨識訓練中分類訓練的優化目標。
而每一次疊代中，人臉辨識訓練中回歸訓練的優化目標可以由批次資料訓練樣本對應的人臉框座標回歸損失值構成。
通過聯合一次疊代中批次資料訓練樣本對應的中心損失值、分類損失值和人臉框座標回歸損失值，可形成人臉辨識的目標損失值，來表示人臉辨識訓練的優化目標。
可選地，本揭示實施例可將所述批次資料訓練樣本對應的中心損失值和第一設定權重的乘積、所述批次資料訓練樣本對應的人臉框座標回歸損失值和第二設定權重的乘積、及所述批次資料訓練樣本對應的分類損失值進行求和，得到人臉辨識的目標損失值。
假設Lcls表示批次資料訓練樣本對應的分類損失值，Lc表示批次資料訓練樣本對應的中心損失值，則人臉辨識的目標損失值可以表示為：Lcls+μLc+λLreg。μ和λ表示設定權重係數，μ為第一設定權重，λ為第二設定權重。
可選地，本揭示實施例也可直接將所述批次資料訓練樣本對應的中心損失值、分類損失值和人臉框座標回歸損失值進行求和，得到人臉辨識的目標損失值。
步驟S140、判斷所述人臉辨識的目標損失值是否達到設定的訓練收斂條件，若否，執行步驟S150，若是，執行步驟S160。
可選地，設定的訓練收斂條件可以認為是人臉辨識的目標損失值最小。
具體地，批次資料訓練樣本對應的分類損失值越小，說明人臉辨識對於人臉和非人臉分類的效果越好，人臉辨識可實現最大化的人臉和非人臉的差異區分(即最大化類間差異)；而批次資料訓練樣本對應的中心損失值越小，說明每一樣本類中的訓練樣本的類內的特徵向量差異越小，可使得同一樣本類的訓練樣本的差異減小，進而降低樣本類中人臉和人臉之間的差異，即通過疊代訓練，使得批次資料訓練樣本的每個訓練樣本的特徵向量與該訓練樣本所歸屬的樣本類的中心特徵向量的距離最小。
可見通過結合批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值，從而以人臉辨識的目標損失值判斷訓練收斂條件，可使得人臉辨識在最小化的批次資料訓練樣本對應的中心損失值的情況下，保證人臉辨識對於人臉的類內差異具有不變性(如不同場景下的人臉 和人臉之間的類內差異)，提升人臉辨識的強健性。
步驟S150、根據所述人臉辨識的目標損失值，更新CNN模型中與人臉辨識相關的網路參數，並進入下一次疊代，返回步驟S100。
可選地，如果人臉辨識的目標損失值未達到設定的訓練收斂條件(如人臉辨識的目標損失值未達到最小)，則本揭示實施例可根據所述人臉辨識的目標損失值，對CNN模型中的網路參數進行更新；同時，按照疊代訓練流程進行下一次疊代，返回步驟S100，以更新網路參數後的CNN模型迴圈執行步驟S100至步驟S140，直至步驟S140的判斷結果為人臉辨識的目標損失值達到設定的訓練收斂條件。
可選地，本揭示實施例可根據隨機梯度下降演算法進入下一次疊代，返回步驟S100。
步驟S160、輸出人臉辨識的訓練結果。
可選地，如果人臉辨識的目標損失值達到設定的訓練收斂條件(如人臉辨識的目標損失值達到最小)，則可輸出通過CNN模型訓練得到的人臉辨識的訓練結果，完成人臉辨識的疊代訓練優化過程。
本揭示實施例提供的人臉辨識訓練流程可以包括：獲取當前次疊代的批次資料訓練樣本，所述批次資料訓練樣本包括多個訓練樣本，所述多個訓練樣本的樣本類包括正類和負類；分別根據各訓練樣本的特徵向量，及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值；根據所述各訓練樣本對應的中心損失值，確定所述批次資料訓練樣本對應的中心損失值；至少根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值；如果所述人臉辨識的目標損失值未達到設定的訓練收斂條件，則根據所述人臉辨識的目標損失值，更新CNN模型中的網路參數，並進入下一次疊代，直至人臉辨識的目標損失值達到設定的訓練收斂條件；如果所述人臉辨識的目標損失值達到設定的訓練收斂條件，則可輸出人臉辨識的訓練結果，完成人臉辨識的訓練。
本揭示實施例中，人臉辨識的訓練優化目標結合了批次資料訓練樣本對應的中心損失值，可使得人臉辨識對於人臉和人臉之間的類內差異具有不變性，因此結合批次資料訓練樣本對應的中心損失值進行人臉辨識的優化的訓練，可使優化訓練後的人臉辨識能夠在保證對人臉和非人臉具有較高的類間辨識性能的同時，對於人臉的類內差異具有不變性，提升人臉辨識的強健性。
可選地，在根據人臉辨識的目標損失值更新CNN模型中的網路參數時，本揭示實施例可根據人臉辨識的目標損失值通過反向傳播方式，更新CNN模型中的網路參數。
可選地，本揭示實施例可根據所述人臉辨識的目標損失值，以及上一次疊代的CNN模型中的網路參數，確定人臉辨識的參數更新值，從而根據該人臉辨識的參數更新值對上一次疊代的CNN模型中的網路參數進行更新。
可選地，假設人臉辨識的目標損失值為Loss，Loss=Lls+μLc+λLreg，上一次疊代後的CNN模型中的網路參數為W1，則人臉辨識的參數更新值可以表示為：
根據人臉辨識的參數更新值對上一次疊代後的CNN模型中的網路參數進行更新可通過如下公式實現：W2=kW1-α(ΔW+sW1)。
W2為更新後的CNN模型的網路參數，k為動量，α為學習率，s為權重衰減係數。
可選地，如第5圖所示，本揭示實施例可在人臉辨識層(如Fast RCNN層)設置中心損失函數(Center Loss)，該中心損失函數可作用於人臉辨識層的全連接特徵表示層，該全連接特徵表示層可通過全連接形 式將特徵圖中所有的結點連接映射到固定長度的特徵向量，得到各訓練樣本的特徵向量；從而在每一次疊代訓練中，中心損失函數可根據當前次疊代使用的批次資料訓練樣本的各訓練樣本的特徵向量，確定出批次資料訓練樣本的各訓練樣本對應的中心損失值，並相應確定出批次資料訓練樣本對應的中心損失值Lc。
同時，可在人臉辨識層(如Fast RCNN層)設置Softmax函數，Softmax函數可作用於人臉辨識層的全連接特徵表示層，在疊代訓練的每一次訓練中，Softmax函數可對各訓練樣本的特徵向量進行處理，確定出各訓練樣本的分類預測機率；進而通過Softmax Loss(分類損失函數)表示出訓練樣本的分類預測機率和分類目標機率(分類真實機率)的差值，且確定出批次資料訓練樣本對應的分類損失值Lcls。
亦即Softmax函數的輸入是訓練樣本的特徵向量，輸出是訓練樣本屬於每個樣本類的預測機率；而Softmax Loss(分類損失函數)是輸入訓練樣本的p(分類預測機率)和p*(分類目標機率)，輸出是損失值(Loss)，Loss越小表示分類越準確。本揭示實施例中，Center Loss與Softmax Loss作用在同一層之上(即輸入的特徵向量是相同的)，Center Loss作為人臉辨識優化的輔助監督信號，Center Loss越小表示人臉辨識所辨識的類內的特徵的差異越小，Softmax Loss則驅使人臉辨識所辨識的類間的特徵相互分離，保證類間具有可分辨差異。
可選地，進一步，本揭示實施例可在人臉辨識層(如Fast RCNN層)設置人臉框回歸預測函數SmoothL1(平滑-範數函數)，通過SmoothL1基於候選框，確定批次資料訓練樣本中各訓練樣本對應的人臉框預測座標；進而通過SmoothL1 Loss確定各訓練樣本對應的人臉框座標回歸損失值，其輸入是訓練樣本對應的人臉框預測座標和人臉框目標座標，輸出是損失值(Loss)，進而以此確定出批次資料訓練樣本對應的人臉框座標回歸損失值Lreg。
可選地，本揭示實施例可確定出人臉辨識的目標損失值Loss=Lls+μLc+λLreg，通過每次疊代得到的目標損失值Loss，更新CNN模型中的網路參數，直至目標損失值Loss達到最小。
可選地，一次疊代中批次資料訓練樣本對應的分類損失值的確定過程可以如下：分別根據批次資料訓練樣本中各訓練樣本對應的分類預測機率和分類目標機率，確定所述批次資料訓練樣本中各訓練樣本對應的分類損失值；根據所述批次資料訓練樣本中各訓練樣本對應的分類損失值，確定所述批次資料訓練樣本對應的分類損失值。
可選地，一次疊代中批次資料訓練樣本對應的人臉框座標回歸損失值的確定過程，可以如第6圖所示，包括下列步驟。
步驟S200、根據候選框確定批次資料訓練樣本中各訓練樣本對應的人臉框預測座標。
可選地，本揭示實施例可根據候選框預測層輸出的候選框，確定當前次疊代中批次資料訓練樣本的各訓練樣本的關注區域，得到各訓練樣本對應的人臉框預測座標；一訓練樣本的人臉框預測座標可以通過左上頂點橫坐標、左上頂點縱坐標、右下頂點橫坐標、右下頂點縱坐標等表示。
可選地，本揭示實施例可在人臉辨識層(如Fast RCNN層)設置人臉框回歸預測函數SmoothL1(平滑-範數函數)，通過SmoothL1基於候選框，確定出各訓練樣本對應的人臉框預測座標。
步驟S210、分別根據各訓練樣本對應的人臉框預測座標，以及各訓練樣本對應的人臉框目標座標，確定各訓練樣本對應的人臉框座標回歸損失值。
可選地，訓練樣本對應的人臉框目標座標可以是訓練樣本中人臉框真實對應的座標；對於每一訓練樣本，本揭示實施例可通過該訓練樣本對應的人臉框預測座標以及人臉框目標座標的差值，確定出該訓練樣 本對應的人臉框座標回歸損失值，從而對於每一訓練樣本均作此處理，可得到各訓練樣本對應的人臉框座標回歸損失值。
可選地，本揭示實施例可通過SmoothL1 Loss表示人臉框座標回歸損失值，其輸入是訓練樣本對應的人臉框預測座標和人臉框目標座標，輸出是損失值(Loss)，損失值越小表示人臉框的回歸越準確。
步驟S220、根據各訓練樣本對應的人臉框座標回歸損失值，確定所述批次資料訓練樣本對應的人臉框座標回歸損失值。
可選地，本揭示實施例可根據批次資料訓練樣本中各訓練樣本對應的人臉框座標回歸損失值，確定各訓練樣本對應的人臉框座標回歸損失值的平均值，根據該平均值確定批次資料訓練樣本對應的人臉框座標回歸損失值(SmoothL1 Loss)。
可選地，本揭示實施例進行人臉辨識疊代訓練的過程使用了多損失函數聯合訓練，包括人臉分類和回歸兩個聯合任務，分類訓練使用Center Loss和Softmax Loss聯合優化，回歸訓練使用SmoothL1 Loss優化；人臉辨識最終優化目標是批次資料訓練樣本對應的Center Loss。Softmax Loss和SmoothL1 Loss的三損失值的加權和最小。
可選地，本揭示實施例可以對通用大規模人臉識別任務(ImageNet)上預訓練好的模型進行微調(Fine-tuning)；通過引入中心損失值作為人臉辨識的輔助優化目標，引導CNN模型的優化、訓練，提升人臉辨識對於人臉與人臉之間的類內差異的判別能力。
可選地，在疊代訓練的過程中，本揭示實施例可基於上一次疊代的CNN模型，確定訓練樣本集合中人臉辨識較難辨識的訓練樣本，來確定下一次疊代所使用的批次資料訓練樣本，以加強人臉辨識對這些較難辨識的訓練樣本的辨識能力；訓練樣本是否較難辨識可通過測量訓練樣本對應的目標損失值確定，目標損失值越高則說明訓練樣本距離優化目標越遠，辨識的難度也就越大。
相應地，第7圖示出了本揭示實施例提供的獲取當前次疊代的批次資料訓練樣本的方法流程圖，參照第7圖，該方法可以包括下列步驟。
步驟S300、固定上一次疊代的CNN模型，以上一次疊代的CNN模型獲取訓練樣本集合中各訓練樣本對應的中心損失值、分類損失值和人臉框座標回歸損失值。
步驟S310、分別根據訓練樣本集合中各訓練樣本對應的中心損失值、分類損失值和人臉框座標回歸損失值，確定訓練樣本集合中各訓練樣本的目標損失值。
可選地，對於一訓練樣本，本揭示實施例可對該訓練樣本的中心損失值、分類損失值和人臉框座標回歸損失值進行加權求和，得到該訓練樣本的目標損失值；對於每一訓練樣本均進行如此處理，則可得到各訓練樣本的目標損失值。
可選地，對於一訓練樣本，其目標損失值可以表示為：分類損失值+μ中心損失值+λ人臉框座標回歸損失值。
可選地，對於一訓練樣本，本揭示實施例也可將該訓練樣本的中心損失值、分類損失值和人臉框座標回歸損失值進行求和，得到該訓練樣本的目標損失值。
步驟S320、根據訓練樣本集合中正類的樣本類中各訓練樣本的目標損失值，選取正類的樣本類中目標損失值最大的第一數量的訓練樣本；及根據訓練樣本集合中負類的樣本類中各訓練樣本的目標損失值，選取負類的樣本類中目標損失值最大的第二數量的訓練樣本，所述第一數量和所述第二數量的比值與設定比例相應。
可選地，在得到訓練樣本集合中各訓練樣本的目標損失值後，本揭示實施例可將訓練樣本集合中各訓練樣本按照正類和負類的樣本類進行分類，從而可確定出訓練樣本集合中屬於正類的樣本類中各訓練樣本的目標損失值，以及訓練樣本集合中屬於負類的樣本類中各訓練樣本的 目標損失值；同時，可根據正類的樣本類中各訓練樣本的目標損失值，對屬於正類的訓練樣本進行排序(可以是按照目標損失值從大到小排序，也可以是按照目標損失值從小到大排序)，及根據負類的樣本類中各訓練樣本的目標損失值，對屬於負類的訓練樣本進行排序；進而根據批次資料訓練樣本中正類的訓練樣本和負類的訓練樣本的設定比例，並根據訓練樣本集合中正類的樣本類中各訓練樣本的目標損失值，選取正類的樣本類中目標損失值最大的第一數量的訓練樣本，根據訓練樣本集合中負類的樣本類中各訓練樣本的目標損失值，選取負類的樣本類中目標損失值最大的第二數量的訓練樣本，使得第一數量和所述第二數量的比值與批次資料訓練樣本中要求的正、負類樣本數量的設定比例相應。
可選地，基於Center Loss對正樣本(人臉)和負樣本(非人臉)的資料平衡要求的考慮，本揭示實施例可以使得設定比例為1：1，即第一數量和第二數量相同。
步驟S330、根據從正類的樣本類中選取的訓練樣本，和從負類的樣本類中選取的訓練樣本，構成當前次疊代的批次資料訓練樣本。
可見本揭示實施例提供的人臉辨識訓練方法中，在將上一次疊代的批次資料訓練樣本送入CNN模型中進行訓練後，可根據上一次疊代的批次資料訓練樣本的Center Loss和Softmax Loss，更新優化人臉辨識方法，根據上一次疊代的批次資料訓練樣本的SmoothL1 Loss更新優化人臉回歸方法，使得人臉辨識往Center Loss、Softmax Loss和SmoothL1 Loss的加權和最小的方向優化。
而上一次疊代可決定下一次疊代所使用的批次資料訓練樣本，通過上一次疊代後的CNN模型，可確定訓練樣本集合中的各訓練樣本的Center Loss、Softmax Loss和SmoothL1 Loss的目標損失值，從而從訓練樣本集合中選取出目標損失值最大的第一數量的正類的訓練樣本，和目標損失值最大的第二數量的負類的訓練樣本，構建出下一次疊代的Minibatch(即 批次資料訓練樣本)。
而進入下一次的疊代，在下一次的疊代中，將該Minibatch送入CNN模型中進行訓練，以此迴圈疊代的進行訓練，直至在某一次的疊代中，批次資料訓練樣本的SmoothL1 Loss、Softmax Loss和SmoothL1 Loss的加權和達到最小。
採用上述描述的訓練樣本集合中，上一次疊代訓練後的人臉辨識較難辨識的訓練樣本作為下一次疊代所使用的Minibatch，可使得每一次疊代能夠更好的進行Center Loss的估計，從而更好的監督學習訓練樣本中具有類內差異辨識力的特徵。
這裡需要說明的是，與習知利用隨機梯度下降演算法進行人臉辨識的疊代訓練不同的是，本揭示實施例並不是單純使用隨機抽取的批次資料訓練樣本(Minibatch)進行梯度下降優化，而是結合上一次疊代時，訓練樣本集合中較難辨識的訓練樣本來確定下一次疊代所使用的Minibatch。
可見本揭示實施例提出了一種強健的人臉辨識訓練方法。該方法基於神經網路實現，在疊代訓練的每一次訓練過程中，引入批次資料訓練樣本對應的中心損失值(Center Loss)作為人臉和非人臉的二分類任務的輔助損失函數，與批次資料訓練樣本對應的分類損失值(Softmax Loss)聯合監督人臉辨識的優化訓練；可引導人臉辨識的學習過程，使得人臉辨識保持人臉與非分類的類間差異可區分的同時，減小人臉和人臉之間的類內差異，提升人臉辨識對於人臉的判別能力。
本揭示並且利用困難樣本線上挖掘演算法(Online Hard Example Mining，OHEM)，根據訓練樣本的總損失值，對上一次訓練時，較難辨識的正類訓練樣本和負類訓練樣本進行挖掘，並保持正負樣本的比例是1：1，從而增強人臉辨識對於較難辨識的訓練樣本的分類能力，提升人臉辨識的整體性能。
此外，本揭示採用更適合人臉目標的錨框(覆蓋多個尺寸、多個長寬比)以及多尺度訓練的策略，提升對於不同解析度人臉目標的判別性，可使得候選框的生成適用於不同的人臉，而使用本揭示實施例提供的人臉辨識訓練方法能夠有效提升準確率，增強強健性。本揭示實施例的人臉辨識與採用其他方式訓練的人臉辨識的性能比對可如下表1所示。
可見本揭示實施例能夠提升人臉辨識的人臉辨識判別能力，提升人臉辨識的強健性。
下面對本揭示實施例提供的人臉辨識訓練裝置進行介紹，下文描述的人臉辨識訓練裝置內容，可以認為是實施人臉辨識訓練的電子設備為了實現本揭示實施例提供的人臉辨識訓練方法所需設置的程式模組，下文描述的人臉辨識訓練裝置內容可與上文描述的人臉辨識訓練方法內容相互對應參照。
第8圖為本揭示實施例提供的人臉辨識訓練裝置的結構框圖，參照第8圖，該人臉辨識訓練裝置可以包括：樣本獲取模組100，用於獲取當前次疊代的批次資料訓練樣本，所述批次資料訓練樣本包括多個訓練樣本，所述多個訓練樣本的樣本類包括正類和負類。
樣本中心損失值確定模組200，用於分別根據各訓練樣本的 特徵向量，及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值。
批次樣本中心損失值確定模組300，用於根據所述各訓練樣本對應的中心損失值，確定所述批次資料訓練樣本對應的中心損失值。
辨識目標損失值確定模組400，用於至少根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值。
參數更新模組500，用於若所述人臉辨識的目標損失值未達到設定的訓練收斂條件，根據所述人臉辨識的目標損失值，更新CNN模型的網路參數，並進入下一次疊代。
辨識輸出模組600，用於若所述人臉辨識的目標損失值達到設定的訓練收斂條件，輸出人臉辨識的訓練結果。
可選地，辨識目標損失值確定模組400用於至少根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值，具體包括：根據所述批次資料訓練樣本對應的中心損失值，所述批次資料訓練樣本對應的分類損失值，以及所述批次資料訓練樣本對應的人臉框座標回歸損失值確定人臉辨識的目標損失值。
可選地，辨識目標損失值確定模組400用於根據所述批次資料訓練樣本對應的中心損失值、所述批次資料訓練樣本對應的分類損失值、以及所述批次資料訓練樣本對應的人臉框座標回歸損失值確定人臉辨識的目標損失值，具體包括：將所述批次資料訓練樣本對應的中心損失值和第一設定權重的乘積、所述批次資料訓練樣本對應的人臉框座標回歸損失值和第二設定權重的乘積、及所述批次資料訓練樣本對應的分類損失值進行求和，得到人臉辨識的目標損失值。
可選地，樣本獲取模組100用於獲取當前次疊代的批次資料訓練樣本，具體包括：以上一次疊代的CNN模型確定訓練樣本集合中各訓練樣本對應的目標損失值；根據訓練樣本集合中正類的樣本類中各訓練樣 本的目標損失值，選取正類的樣本類中目標損失值最大的第一數量的訓練樣本；根據訓練樣本集合中負類的樣本類中各訓練樣本的目標損失值，選取負類的樣本類中目標損失值最大的第二數量的訓練樣本，所述第一數量和所述第二數量的比值與設定比例相應；根據從正類的樣本類中選取的訓練樣本，和從負類的樣本類中選取的訓練樣本，構成當前次疊代的批次資料訓練樣本。
可選地，樣本獲取模組100用於以上一次疊代的CNN模型確定訓練樣本集合中各訓練樣本對應的目標損失值，具體包括：以上一次疊代的CNN模型，獲取訓練樣本集合中各訓練樣本對應的中心損失值、分類損失值和人臉框座標回歸損失值。一訓練樣本對應的分類損失值根據該訓練樣本對應的分類預測機率和分類目標機率確定，一訓練樣本對應的人臉框座標回歸損失值根據該訓練樣本對應的人臉框預測座標和人臉框目標座標確定；分別根據訓練樣本集合中各訓練樣本對應的中心損失值、分類損失值和人臉框座標回歸損失值，確定訓練樣本集合中各訓練樣本的目標損失值。
可選地，第9圖示出了本揭示實施例提供的人臉辨識訓練裝置的另一結構，結合第8圖和第9圖所示，該人臉辨識訓練裝置還可以包括批次樣本分類損失值確定模組700，用於分別根據所述批次資料訓練樣本中各訓練樣本對應的分類預測機率和分類目標機率，確定所述批次資料訓練樣本中各訓練樣本對應的分類損失值；根據所述批次資料訓練樣本中各訓練樣本對應的分類損失值，確定所述批次資料訓練樣本對應的分類損失值。
可選地，樣本中心損失值確定模組200用於分別根據各訓練樣本的特徵向量及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值，具體包括：確定所述批次資料訓練樣本中各訓練樣本的特徵向量，及所述批次資料訓練樣本中各樣本類的中心特徵向量；對於所述批次資料訓練樣本中的一訓練樣本，確定該訓練樣本的特徵向量 與所述批次資料訓練樣本中該訓練樣本所屬的樣本類的中心特徵向量的距離，得到該訓練樣本對應的中心損失值。
可選地，樣本中心損失值確定模組200用於確定所述批次資料訓練樣本中各樣本類的中心特徵向量，具體包括：對於一樣本類，確定所述批次資料訓練樣本中屬於該樣本類的各訓練樣本；根據所述批次資料訓練樣本中屬於該樣本類的各訓練樣本的特徵向量，確定屬於該樣本類的各訓練樣本的特徵向量的平均值，得到所述批次資料訓練樣本中該樣本類的中心特徵向量的更新變數；根據所述更新變數和設定學習率，得到所述批次資料訓練樣本中該樣本類的中心特徵向量。
可選的，第10圖示出了本揭示實施例提供的人臉辨識訓練裝置的又一結構，結合第9圖和第10圖所示，該人臉辨識訓練裝置還可以包括： 批次樣本人臉框座標回歸損失值確定模組800，用於根據候選框回歸器確定各所述批次資料訓練樣本中各訓練樣本對應的人臉框預測座標；分別根據各訓練樣本對應的人臉框預測座標，以及各訓練樣本對應的人臉框目標座標，確定各訓練樣本對應的人臉框座標回歸損失值；根據各訓練樣本對應的人臉框座標回歸損失值，確定所述批次資料訓練樣本對應的人臉框座標回歸損失值。
可選地，參數更新模組500用於根據所述人臉辨識的目標損失值，更新CNN模型的網路參數，具體包括：根據人臉辨識的目標損失值通過反向傳播方式，更新CNN模型中的網路參數。
可選地，參數更新模組500用於根據人臉辨識的目標損失值通過反向傳播方式，更新CNN模型中的網路參數，具體包括：根據所述人臉辨識的目標損失值，以及上一次疊代的CNN模型中的網路參數，確定人臉辨識的參數更新值；根據該人臉辨識的參數更新值，對上一次疊代的CNN模型中的網路參數進行更新。
可選地，本揭示實施例提供的人臉辨識訓練裝置還可用於： 預先定義多個錨框，該多個錨框覆蓋不同尺度與長寬比；通過該預先定義的多個錨框確定訓練樣本中的子框，通過該子框預測候選框。
本揭示實施例還提供一種電子設備，該電子設備的硬體結構可以如第3圖所示，包括：至少一個記憶體和至少一個處理器。
所述記憶體儲存有程式，所述處理器調用所述程式，所述程式用於：獲取當前次疊代的批次資料訓練樣本，所述批次資料訓練樣本包括多個訓練樣本，所述多個訓練樣本的樣本類包括正類和負類；分別根據各訓練樣本的特徵向量及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值；根據所述各訓練樣本對應的中心損失值，確定所述批次資料訓練樣本對應的中心損失值；至少根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值；若所述人臉辨識的目標損失值未達到設定的訓練收斂條件，根據所述人臉辨識的目標損失值，更新卷積神經網路CNN模型的網路參數，並進入下一次疊代；若所述人臉辨識的目標損失值達到設定的訓練收斂條件，輸出人臉辨識的訓練結果。
本揭示實施例還提供一種電腦可讀儲存介質，其包括指令，當其在電腦上運行時，使得電腦執行如上述任一實施例之方法。
本揭示實施例還提供一種電腦程式產品，其包括指令，當其在電腦上運行時，使得電腦執行如上述任一實施例之方法。
本說明書中各個實施例採用漸進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對於實施例所揭示的裝置而言，由於其與實施例所揭示的方法相對應，所以描述的比較簡單，相關之處參見方法部分說明即可。
本揭示所屬技術領域中具有通常知識者還可以進一步意識到，結合本文中所公開的實施例描述的各示例的單元及演算法步驟，能夠以電子硬體、電腦軟體或者二者的結合來實現，為了清楚地說明硬體和軟 體的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。上述功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計條件。本揭示所屬技術領域中具有通常知識者可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本揭示的範圍。
結合本文中所公開的實施例描述的方法或演算法的步驟可以直接用硬體、處理器執行的軟體模組，或者二者的結合來實施。軟體模組可以置於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可程式設計唯讀記憶體、電可擦除可程式設計唯讀記憶體、寄存器、硬碟、抽取式磁碟、CD-ROM、或本揭示所屬技術領域中所習知的任意其它形式的儲存介質中。
雖然本揭示已用較佳實施例揭露如上，然其並非用以限定本揭示，本揭示所屬技術領域中具有通常知識者在不脫離本揭示之精神和範圍內，當可作各種之更動與潤飾，因此本揭示之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (17)

  1. 一種人臉辨識訓練方法，包括：獲取疊代的批次資料訓練樣本，所述批次資料訓練樣本包括不同樣本類的多個訓練樣本；分別根據各訓練樣本的特徵向量及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值；根據所述各訓練樣本對應的中心損失值，確定所述批次資料訓練樣本對應的中心損失值；根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值；若所述人臉辨識的目標損失值達到設定的訓練收斂條件，則輸出人臉辨識的訓練結果；以及若所述人臉辨識的目標損失值未達到所述設定的訓練收斂條件，則根據所述人臉辨識的目標損失值，更新人臉辨識模型的網路參數，並進入下一次疊代。
  2. 如申請專利範圍第1項所述之人臉辨識訓練方法，其中所述根據所述批次資料訓練樣本對應的中心損失值，確定所述人臉辨識的目標損失值包括：根據所述批次資料訓練樣本對應的中心損失值、所述批次資料訓練樣本對應的分類損失值、以及所述批次資料訓練樣本對應的人臉框座標回歸損失值確定所述人臉辨識的目標損失值。
  3. 如申請專利範圍第2項所述之人臉辨識訓練方法，其中所述根據所述批次資料訓練樣本對應的中心損失值、所述批次資料訓練樣本對應的分類損失值、以及所述批次資料訓練樣本對應的人臉框座標回歸損失值確定人臉辨識的目標損失值包括：將所述批次資料訓練樣本對應的中心損失值和第一設定權重的乘積、所述批次資料訓練樣本對應的人臉框座標回歸損失值和第二設定權重的乘積、及所述批次資料訓練樣本對應的分類損失值進行求和，得到所述人臉辨識的目標損失值。
  4. 如申請專利範圍第1至3項任一項所述之人臉辨識訓練方法，其中所述多個訓練樣本的樣本類包括正類和負類，所述獲取疊代的批次資料訓練樣本包括：以上一次疊代的模型確定訓練樣本集合中各訓練樣本對應的目標損失值；根據訓練樣本集合中所述正類的樣本類中各訓練樣本的目標損失值，選取所述正類的樣本類中目標損失值最大的第一數量的訓練樣本，以及根據所述訓練樣本集合中所述負類的樣本類中各訓練樣本的目標損失值，選取所述負類的樣本類中目標損失值最大的第二數量的訓練樣本，所述第一數量和所述第二數量的比值與設定比例相應；以及根據從所述正類的樣本類中選取的訓練樣本，和從所述負類的樣本類中選取的訓練樣本，構成當前次疊代的批次資料訓練樣本。
  5. 如申請專利範圍第4項所述之人臉辨識訓練方法，其中所述以上一次疊代的模型確定訓練樣本集合中各訓練樣本對應的目標損失值包括：以上一次疊代的模型，獲取所述訓練樣本集合中各訓練樣本對應的中心損失值、分類損失值和人臉框座標回歸損失值，其中訓練樣本對應的分類損失值根據所述訓練樣本對應的分類預測機率和分類目標機率確定，訓練樣本對應的人臉框座標回歸損失值根據所述訓練樣本對應的人臉框預測座標和人臉框目標座標確定；以及分別根據所述訓練樣本集合中各訓練樣本對應的中心損失值、分類損失值和人臉框座標回歸損失值，確定訓練樣本集合中各訓練樣本的目標損失值。
  6. 如申請專利範圍第2項所述之人臉辨識訓練方法，其中所述批次資料訓練樣本對應的分類損失值的確定過程包括：分別根據所述批次資料訓練樣本中各訓練樣本對應的分類預測機率和分類目標機率，確定所述批次資料訓練樣本中各訓練樣本對應的分類損失值；以及根據所述批次資料訓練樣本中各訓練樣本對應的分類損失值，確定所述批次資料訓練樣本對應的分類損失值。
  7. 如申請專利範圍第2項所述之人臉辨識訓練方法，其中所述批次資料訓練樣本對應的人臉框座標回歸損失值的確定過程包括：確定所述批次資料訓練樣本中各訓練樣本對應的人臉框預測座標；分別根據各訓練樣本對應的人臉框預測座標以及各訓練樣本對應的人臉框目標座標，確定各訓練樣本對應的人臉框座標回歸損失值；以及根據各訓練樣本對應的人臉框座標回歸損失值，確定所述批次資料訓練樣本對應的人臉框座標回歸損失值。
  8. 如申請專利範圍第1項所述之人臉辨識訓練方法，其中所述分別根據各訓練樣本的特徵向量及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值包括：確定所述批次資料訓練樣本中各訓練樣本的特徵向量及所述批次資料訓練樣本中各樣本類的中心特徵向量；以及對於所述批次資料訓練樣本中的訓練樣本，確定所述訓練樣本的特徵向量，與所述批次資料訓練樣本中所述訓練樣本所屬的樣本類的中心特徵向量的距離，得到所述訓練樣本對應的中心損失值。
  9. 如申請專利範圍第8項所述之人臉辨識訓練方法，其中所述確定所述批次資料訓練樣本中各樣本類的中心特徵向量包括：確定所述批次資料訓練樣本中屬於所述樣本類的各訓練樣本；根據所述批次資料訓練樣本中屬於所述樣本類的各訓練樣本的特徵向量，確定屬於所述樣本類的各訓練樣本的特徵向量的平均值，得到所述批次資料訓練樣本中所述樣本類的中心特徵向量的更新變數；以及根據所述更新變數與設定學習率，得到所述批次資料訓練樣本中所述樣本類的中心特徵向量。
  10. 如申請專利範圍第1項所述之人臉辨識訓練方法，其中所述根據所述人臉辨識的目標損失值，更新人臉辨識模型中的網路參數包括：根據人臉辨識的目標損失值通過反向傳播方式，更新人臉辨識模型中的網路參數。
  11. 如申請專利範圍第10項所述之人臉辨識訓練方法，其中所述根據人臉辨識的目標損失值通過反向傳播方式，更新人臉辨識模型中的網路參數包括：根據所述人臉辨識的目標損失值，以及上一次疊代的人臉辨識模型中的網路參數，確定人臉辨識的參數更新值；以及根據所述人臉辨識的參數更新值，對上一次疊代的人臉辨識模型中的網路參數進行更新。
  12. 如申請專利範圍第1項所述之人臉辨識訓練方法，還包括：預先定義多個錨框，所述多個錨框覆蓋不同尺度與長寬比；以及通過所述預先定義的多個錨框確定訓練樣本中的子框，通過所述子框預測候選框。
  13. 一種人臉辨識訓練裝置，包括：一樣本獲取模組，用於獲取疊代的批次資料訓練樣本，所述批次資料訓練樣本包括不同樣本類的多個訓練樣本；一樣本中心損失值確定模組，用於分別根據各訓練樣本的特徵向量及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值；一批次樣本中心損失值確定模組，用於根據所述各訓練樣本對應的中心損失值，確定所述批次資料訓練樣本對應的中心損失值；一辨識目標損失值確定模組，用於根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值；一辨識輸出模組，用於若所述人臉辨識的目標損失值達到設定的訓練收斂條件，則輸出人臉辨識的訓練結果；以及一參數更新模組，用於若所述人臉辨識的目標損失值未達到所述設定的訓練收斂條件，則根據所述人臉辨識的目標損失值，更新人臉辨識模型的網路參數，並進入下一次疊代。
  14. 如申請專利範圍第13項所述之人臉辨識訓練裝置，其中所述樣本獲取模組具體用於：以上一次疊代的模型確定訓練樣本集合中各訓練樣本對應的目標損失值；根據訓練樣本集合中所述正類的樣本類中各訓練樣本的目標損失值，選取所述正類的樣本類中目標損失值最大的第一數量的訓練樣本，以及根據所述訓練樣本集合中所述負類的樣本類中各訓練樣本的目標損失值，選取所述負類的樣本類中目標損失值最大的第二數量的訓練樣本，所述第一數量和所述第二數量的比值與設定比例相應；以及根據從所述正類的樣本類中選取的訓練樣本，和從所述負類的樣本類中選取的訓練樣本，構成當前次疊代的批次資料訓練樣本。
  15. 一種電子設備，包括：至少一記憶體；以及至少一處理器；其中所述記憶體儲存有程式，所述處理器用於調用所述程式，所述程式用於：獲取疊代的批次資料訓練樣本，所述批次資料訓練樣本包括不同樣本類的多個訓練樣本；分別根據各訓練樣本的特徵向量及各訓練樣本所屬的樣本類的中心特徵向量，確定各訓練樣本對應的中心損失值；根據所述各訓練樣本對應的中心損失值，確定所述批次資料訓練樣本對應的中心損失值；根據所述批次資料訓練樣本對應的中心損失值，確定人臉辨識的目標損失值；若所述人臉辨識的目標損失值達到設定的訓練收斂條件，則輸出人臉辨識的訓練結果；以及若所述人臉辨識的目標損失值未達到所述設定的訓練收斂條件，則根據所述人臉辨識的目標損失值，更新人臉辨識模型的網路參數，並進入下一次疊代。
  16. 一種電腦可讀儲存介質，包括指令，當其在電腦上運行時，使得電腦執行如申請專利範圍第1至12項任一項所述之方法。
  17. 一種電腦程式產品，包括指令，當其在電腦上運行時，使得電腦執行如申請專利範圍第1至12項任一項所述之方法。
TW107113594A 2017-06-02 2018-04-20 人臉辨識訓練方法、裝置、電子設備、電腦可讀儲存介質及電腦程式產品 TWI665613B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201710406726.9 2017-06-02
CN201710406726.9A CN108985135A (zh) 2017-06-02 2017-06-02 一种人脸检测器训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
TW201832134A TW201832134A (zh) 2018-09-01
TWI665613B true TWI665613B (zh) 2019-07-11

Family

ID=64426184

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107113594A TWI665613B (zh) 2017-06-02 2018-04-20 人臉辨識訓練方法、裝置、電子設備、電腦可讀儲存介質及電腦程式產品

Country Status (8)

Country Link
US (2) US10929644B2 (zh)
EP (1) EP3633549A4 (zh)
JP (1) JP6855098B2 (zh)
KR (1) KR102236046B1 (zh)
CN (2) CN110490177A (zh)
MA (1) MA48806A (zh)
TW (1) TWI665613B (zh)
WO (1) WO2018219016A1 (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490177A (zh) * 2017-06-02 2019-11-22 腾讯科技（深圳）有限公司 一种人脸检测器训练方法及装置
CN108694401B (zh) * 2018-05-09 2021-01-12 北京旷视科技有限公司 目标检测方法、装置及系统
CN110889487A (zh) * 2018-09-10 2020-03-17 富士通株式会社 神经网络架构搜索装置和方法及计算机可读记录介质
US11620555B2 (en) * 2018-10-26 2023-04-04 Samsung Electronics Co., Ltd Method and apparatus for stochastic inference between multiple random variables via common representation
CN111191782A (zh) * 2018-11-14 2020-05-22 普天信息技术有限公司 卷积网络训练方法和装置
TWI684959B (zh) * 2018-11-16 2020-02-11 國立雲林科技大學 口鼻異物遮蔽檢測方法及其系統
US10891845B2 (en) 2018-11-28 2021-01-12 National Yunlin University Of Science And Technology Mouth and nose occluded detecting method and system thereof
CN111325223B (zh) * 2018-12-13 2023-10-24 中国电信股份有限公司 深度学习模型的训练方法、装置和计算机可读存储介质
TWI705340B (zh) * 2018-12-13 2020-09-21 財團法人工業技術研究院 相位圖像生成器的訓練方法及相位圖像分類器的訓練方法
CN109829893B (zh) * 2019-01-03 2021-05-25 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN111477212B (zh) * 2019-01-04 2023-10-24 阿里巴巴集团控股有限公司 内容识别、模型训练、数据处理方法、系统及设备
US10430691B1 (en) * 2019-01-22 2019-10-01 StradVision, Inc. Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring
US10423860B1 (en) * 2019-01-22 2019-09-24 StradVision, Inc. Learning method and learning device for object detector based on CNN to be used for multi-camera or surround view monitoring using image concatenation and target object merging network, and testing method and testing device using the same
CN109801636A (zh) * 2019-01-29 2019-05-24 北京猎户星空科技有限公司 声纹识别模型的训练方法、装置、电子设备及存储介质
CN111522228B (zh) * 2019-02-02 2023-09-22 北京京东乾石科技有限公司 一种飞行器的检测方法及装置
CN111626087A (zh) * 2019-02-28 2020-09-04 北京市商汤科技开发有限公司 神经网络训练及眼睛睁闭状态检测方法、装置及设备
CN109948478B (zh) * 2019-03-06 2021-05-11 中国科学院自动化研究所 基于神经网络的大规模非均衡数据的人脸识别方法、系统
CN109934198B (zh) * 2019-03-22 2021-05-14 北京市商汤科技开发有限公司 人脸识别方法及装置
CN110070107B (zh) * 2019-03-26 2020-12-25 华为技术有限公司 物体识别方法及装置
CN110033332A (zh) * 2019-04-23 2019-07-19 杭州智趣智能信息技术有限公司 一种人脸识别方法、系统及电子设备和存储介质
CN110059707B (zh) * 2019-04-25 2021-05-14 北京小米移动软件有限公司 图像特征点的优化方法、装置和设备
CN110414550B (zh) * 2019-06-14 2022-07-29 北京迈格威科技有限公司 人脸识别模型的训练方法、装置、系统和计算机可读介质
CN110443280B (zh) * 2019-07-05 2022-06-03 北京达佳互联信息技术有限公司 图像检测模型的训练方法、装置及存储介质
CN110443366B (zh) * 2019-07-30 2022-08-30 上海商汤智能科技有限公司 神经网络的优化方法及装置、目标检测方法及装置
TWI712961B (zh) * 2019-08-07 2020-12-11 瑞昱半導體股份有限公司 全連接卷積神經網路影像處理方法與電路系統
CN110432895B (zh) * 2019-08-09 2022-02-11 上海鹰瞳医疗科技有限公司 训练数据处理、心电波形检测方法及电子设备
CN110490115B (zh) * 2019-08-13 2021-08-13 北京达佳互联信息技术有限公司 人脸检测模型的训练方法、装置、电子设备及存储介质
CN110263774B (zh) * 2019-08-19 2019-11-22 珠海亿智电子科技有限公司 一种人脸检测方法
CN110532985B (zh) * 2019-09-02 2022-07-22 北京迈格威科技有限公司 目标检测方法、装置及系统
TWI719696B (zh) * 2019-11-01 2021-02-21 財團法人工業技術研究院 臉部影像重建方法與系統
CN114424253B (zh) * 2019-11-08 2024-10-15 深圳市欢太科技有限公司 模型训练方法、装置、存储介质及电子设备
CN110956255B (zh) * 2019-11-26 2023-04-07 中国医学科学院肿瘤医院 难样本挖掘方法、装置、电子设备及计算机可读存储介质
WO2021125434A1 (ko) * 2019-12-19 2021-06-24 주식회사 노타 딥러닝 기반 실시간 온-디바이스 얼굴 인증을 위한 방법 및 장치
US11277626B2 (en) 2020-02-21 2022-03-15 Alibaba Group Holding Limited Region of interest quality controllable video coding techniques
CN111275011B (zh) * 2020-02-25 2023-12-19 阿波罗智能技术(北京)有限公司 移动红绿灯检测方法、装置、电子设备和存储介质
US11388423B2 (en) 2020-03-23 2022-07-12 Alibaba Group Holding Limited Region-of-interest based video encoding
CN111563541B (zh) * 2020-04-21 2023-04-18 北京百度网讯科技有限公司 图像检测模型的训练方法和装置
CN113673272B (zh) * 2020-05-13 2023-04-28 北京君正集成电路股份有限公司 一种基于宠物检测的双层标注二级级联计算损失值的方法
CN111598185B (zh) * 2020-05-27 2021-11-19 深圳市铁越电气有限公司 一种基于深度学习的训练数据平衡方法、设备和系统
CN111814553B (zh) * 2020-06-08 2023-07-11 浙江大华技术股份有限公司 人脸检测方法、模型的训练方法及其相关装置
WO2021252940A1 (en) * 2020-06-12 2021-12-16 University Of Washington Eye tracking in near-eye displays
JP2022544635A (ja) * 2020-06-29 2022-10-20 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 危険運転行動認識方法、装置、電子機器および記憶媒体
CN112070205A (zh) * 2020-07-30 2020-12-11 华为技术有限公司 一种多损失模型获取方法以及装置
CN112016599B (zh) * 2020-08-13 2023-09-15 驭势科技（浙江）有限公司 用于图像检索的神经网络训练方法、装置及电子设备
CN111930980B (zh) * 2020-08-21 2023-07-07 深圳市升幂科技有限公司 图像检索模型的训练方法及图像检索方法、装置、及介质
CN111985439B (zh) * 2020-08-31 2024-08-13 中移（杭州）信息技术有限公司 人脸检测方法、装置、设备和存储介质
CN112257781A (zh) * 2020-10-22 2021-01-22 腾讯音乐娱乐科技（深圳）有限公司 一种模型训练方法及装置
CN112541587A (zh) * 2020-11-19 2021-03-23 西人马帝言(北京)科技有限公司 一种识别模型训练方法、装置、设备及计算机存储介质
KR20220073914A (ko) * 2020-11-27 2022-06-03 연세대학교 산학협력단 경량화 신경망을 이용한 얼굴 인식 장치 및 방법
KR20220098503A (ko) * 2021-01-04 2022-07-12 오드컨셉 주식회사 중복 이미지 검출 방법 및 장치
CN112766104A (zh) * 2021-01-07 2021-05-07 湖北公众信息产业有限责任公司 保险新零售服务平台
CN112734740B (zh) * 2021-01-18 2024-02-23 推想医疗科技股份有限公司 训练目标检测模型的方法、目标检测的方法及其装置
CN113822111B (zh) * 2021-01-19 2024-05-24 北京京东振世信息技术有限公司 人群检测模型训练方法、装置以及人群计数方法、装置
KR102444495B1 (ko) * 2021-01-21 2022-09-19 순천향대학교 산학협력단 영상 인식 검출기 및 그 동작방법
CN112861671B (zh) * 2021-01-27 2022-10-21 电子科技大学 一种对深度伪造人脸图像和视频的鉴别方法
CN112890572B (zh) * 2021-02-07 2021-08-17 广州一盒科技有限公司 一种食材烹调智能控制系统及方法
CN112884040B (zh) * 2021-02-19 2024-04-30 北京小米松果电子有限公司 训练样本数据的优化方法、系统、存储介质及电子设备
CN112733808A (zh) * 2021-02-22 2021-04-30 深圳市商汤科技有限公司 模型训练与图像处理方法、装置、电子设备和存储介质
CN112949855B (zh) * 2021-02-26 2023-08-25 平安科技（深圳）有限公司 人脸识别模型训练方法、识别方法、装置、设备及介质
CN113057647B (zh) * 2021-03-25 2022-04-22 山东省人工智能研究院 一种心电信号的质量评估方法
CN113221655B (zh) * 2021-04-12 2022-09-30 重庆邮电大学 基于特征空间约束的人脸欺骗检测方法
CN113129337B (zh) * 2021-04-14 2022-07-19 桂林电子科技大学 背景感知跟踪方法、计算机可读存储介质及计算机设备
CN113221530B (zh) * 2021-04-19 2024-02-13 杭州火石数智科技有限公司 一种文本相似度匹配方法、装置、计算机设备和储存介质
CN113239975B (zh) * 2021-04-21 2022-12-20 国网甘肃省电力公司白银供电公司 一种基于神经网络的目标检测方法和装置
CN113139462A (zh) * 2021-04-23 2021-07-20 杭州魔点科技有限公司 无监督的人脸图像质量评估方法、电子设备和存储介质
CN113192646B (zh) * 2021-04-25 2024-03-22 北京易华录信息技术股份有限公司 目标检测模型构建方法及不同目标间距离监控方法、装置
US20220383522A1 (en) * 2021-05-26 2022-12-01 Nec Laboratories America, Inc. Semi-automatic data collection and association for multi-camera tracking
CN113326773A (zh) * 2021-05-28 2021-08-31 北京百度网讯科技有限公司 识别模型训练方法、识别方法、装置、设备及存储介质
CN113191461B (zh) 2021-06-29 2021-09-17 苏州浪潮智能科技有限公司 一种图片识别方法、装置、设备及可读存储介质
CN113673357A (zh) * 2021-07-27 2021-11-19 浙江大华技术股份有限公司 停车场寻车方法、设备及存储介质
CN113807237B (zh) * 2021-09-15 2022-11-08 河南星环众志信息科技有限公司 活体检测模型的训练、活体检测方法、计算机设备及介质
CN114495228A (zh) * 2022-01-26 2022-05-13 北京百度网讯科技有限公司 人脸检测器的训练方法及装置、设备、介质和产品
CN114743665A (zh) * 2022-03-21 2022-07-12 平安科技（深圳）有限公司 患病风险估计网络的优化方法、装置、介质及设备
CN115661909B (zh) * 2022-12-14 2024-09-17 深圳大学 人脸图像处理方法、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063865A (zh) * 2014-06-27 2014-09-24 小米科技有限责任公司 分类模型创建方法、图像分割方法及相关装置
TW201701188A (zh) * 2015-06-30 2017-01-01 芋頭科技(杭州)有限公司 一種人臉圖像識別方法
US20170046563A1 (en) * 2015-08-10 2017-02-16 Samsung Electronics Co., Ltd. Method and apparatus for face recognition
CN106682734A (zh) * 2016-12-30 2017-05-17 中国科学院深圳先进技术研究院 一种提升卷积神经网络泛化能力的方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219142B1 (en) * 1997-10-17 2001-04-17 Southwest Sciences Incorporated Method and apparatus for determining wave characteristics from wave phenomena
JPH11161786A (ja) * 1997-11-25 1999-06-18 Toshiba Corp パターン認識方法および記録媒体
US6466685B1 (en) * 1998-07-14 2002-10-15 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method
KR100729273B1 (ko) * 2005-02-04 2007-06-15 오병주 Pca와 역전파 알고리즘을 이용한 얼굴인식 방법
US7471378B2 (en) * 2005-06-30 2008-12-30 Dbm Optical Technologies, Inc. Method and system for determining a polarization dependent characteristics of optical and opto-electrical devices
CN100587708C (zh) * 2008-01-25 2010-02-03 华中科技大学 一种分类器集成方法
JP5207870B2 (ja) * 2008-08-05 2013-06-12 日立コンピュータ機器株式会社 次元削減方法、パターン認識用辞書生成装置、及びパターン認識装置
CN103229208A (zh) * 2011-01-20 2013-07-31 日本电气株式会社 图像处理系统、图像处理方法和图像处理程序
CN102663370B (zh) * 2012-04-23 2013-10-09 苏州大学 一种人脸识别的方法及系统
CN104680121B (zh) * 2013-11-27 2022-06-03 腾讯科技（深圳）有限公司 一种人脸图像的处理方法及装置
US10462450B2 (en) * 2014-04-28 2019-10-29 Autodesk, Inc. Combining two-dimensional images with depth data to detect junctions or edges
CN105069430B (zh) * 2015-08-05 2016-09-14 杭州南江机器人股份有限公司 一种基于msnrd特征的多姿态人脸检测器的设计方法
CN106485230B (zh) * 2016-10-18 2019-10-25 中国科学院重庆绿色智能技术研究院 基于神经网络的人脸检测模型的训练、人脸检测方法及系统
CN110490177A (zh) * 2017-06-02 2019-11-22 腾讯科技（深圳）有限公司 一种人脸检测器训练方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063865A (zh) * 2014-06-27 2014-09-24 小米科技有限责任公司 分类模型创建方法、图像分割方法及相关装置
TW201701188A (zh) * 2015-06-30 2017-01-01 芋頭科技(杭州)有限公司 一種人臉圖像識別方法
US20170046563A1 (en) * 2015-08-10 2017-02-16 Samsung Electronics Co., Ltd. Method and apparatus for face recognition
CN106682734A (zh) * 2016-12-30 2017-05-17 中国科学院深圳先进技术研究院 一种提升卷积神经网络泛化能力的方法及装置

Also Published As

Publication number Publication date
US20190251333A1 (en) 2019-08-15
WO2018219016A1 (zh) 2018-12-06
MA48806A (fr) 2020-04-08
US11594070B2 (en) 2023-02-28
JP6855098B2 (ja) 2021-04-07
US20210089752A1 (en) 2021-03-25
TW201832134A (zh) 2018-09-01
KR102236046B1 (ko) 2021-04-02
EP3633549A1 (en) 2020-04-08
US10929644B2 (en) 2021-02-23
CN110490177A (zh) 2019-11-22
EP3633549A4 (en) 2021-03-10
KR20190116397A (ko) 2019-10-14
JP2020501238A (ja) 2020-01-16
CN108985135A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
TWI665613B (zh) 人臉辨識訓練方法、裝置、電子設備、電腦可讀儲存介質及電腦程式產品
CN110633745B (zh) 一种基于人工智能的图像分类训练方法、装置及存储介质
CN113657465B (zh) 预训练模型的生成方法、装置、电子设备和存储介质
CN107229904B (zh) 一种基于深度学习的目标检测与识别方法
CN109635643B (zh) 一种基于深度学习的快速人脸识别方法
CN110991362A (zh) 一种基于注意力机制的行人检测模型
Barman et al. Shape: A novel graph theoretic algorithm for making consensus-based decisions in person re-identification systems
CN111626200A (zh) 一种基于Libra R-CNN的多尺度目标检测网络和交通标识检测方法
CN106599864A (zh) 一种基于极值理论的深度人脸识别方法
CN105512675B (zh) 一种基于记忆性多点交叉引力搜索的特征选择方法
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
CN111583146A (zh) 一种基于改进多尺度循环网络的人脸图像去模糊方法
CN111368865B (zh) 遥感影像储油罐检测方法、装置、可读存储介质及设备
CN115797735A (zh) 目标检测方法、装置、设备和存储介质
Fu et al. A case study of utilizing YOLOT based quantitative detection algorithm for marine benthos
CN111291785A (zh) 目标检测的方法、装置、设备及存储介质
CN114399780A (zh) 表格检测方法、表格检测模型训练方法及装置
CN113221929A (zh) 一种图像处理方法以及相关设备
CN116758373A (zh) 深度学习模型的训练方法、图像处理方法、装置和设备
Zeng et al. Drone detection based on multi-scale feature fusion
WO2022222832A1 (zh) 图像攻击检测、图像攻击检测模型训练方法和装置
CN110163106A (zh) 一体式纹身检测与识别方法和系统
CN114581751B (zh) 图像识别模型的训练方法和图像识别方法、装置
CN115862087B (zh) 基于可靠性建模的无监督行人重识别方法及系统
CN116758457A (zh) 目标检测方法、装置、设备及介质