TW202113685A - 人臉辨識的方法及裝置 - Google Patents

人臉辨識的方法及裝置 Download PDF

Info

Publication number
TW202113685A
TW202113685A TW108140067A TW108140067A TW202113685A TW 202113685 A TW202113685 A TW 202113685A TW 108140067 A TW108140067 A TW 108140067A TW 108140067 A TW108140067 A TW 108140067A TW 202113685 A TW202113685 A TW 202113685A
Authority
TW
Taiwan
Prior art keywords
face image
similarity
standard
face
mentioned
Prior art date
Application number
TW108140067A
Other languages
English (en)
Other versions
TWI734246B (zh
Inventor
孫浩
Original Assignee
威盛電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 威盛電子股份有限公司 filed Critical 威盛電子股份有限公司
Publication of TW202113685A publication Critical patent/TW202113685A/zh
Application granted granted Critical
Publication of TWI734246B publication Critical patent/TWI734246B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Abstract

一種人臉辨識的方法，包括：接收複數原始人臉圖像；透過一標準人臉生成模型產生對應上述原始人臉圖像之複數標準人臉圖像；以及使用一原始人臉圖像測試集及一標準人臉圖像測試集訓練一辨識模型，直到上述辨識模型辨識上述原始人臉圖像測試集的一第一準確率高於一第一閾值，且上述辨識模型辨識上述標準人臉圖像測試集的一第二準確率高於一第二閾值為止，其中上述原始人臉圖像測試集及上述標準人臉圖像測試集分別由上述原始人臉圖像及上述標準人臉圖像取樣組成。

Description

人臉辨識的方法及裝置
本揭露一般涉及生物識別技術，且更加具體地說係有關於一種人臉辨識的方法及裝置。
由於臉部為人類的一項重要的生物特徵，因此發展出許多人臉相關的研究。其中，一項重要的應用為人臉辨識，其透過電腦分析比較人臉特徵，進行身份鑒別。在利用人臉辨識做為門禁控管的依據時，可省去感應卡的管理建置費用，也能免去進出門禁的人員忘記帶卡的困擾。相較於其他生物特徵的辨識方式，人臉辨識利用非侵入、非接觸的方式進行，容易被大多數人接受的。尤其，在雙手無暇刷卡或按密碼時，特別能感受到人臉辨識技術的好處。
此外，另一項重要的人臉相關的研究為人臉檢測。人臉檢測常應用在有可疑的移動物體進入監控攝影機的設定範圍內時，立即檢測並啟動人臉判別及追蹤功能，鎖定移動物體並判斷其是否為可疑的入侵者。
然而，由於現代人對潮流的不斷追求，往往會進行一定程度的裝扮，比如：佩戴帽子、眼鏡、墨鏡、口罩、化妝等。同時在進行人臉識別時由於個體身高、身型等差異，會存在不同識別角度，比如：造成側臉、低頭等識別角度問題。如何能在不同情景下快速、準確的辨識人臉結果，是一個亟待解決的問題。
因此，需要一種人臉辨識的方法及裝置，以提升人臉辨識的精確度。
以下發明內容僅為示例性的，且不意指以任何方式加以限制。除所述說明性方面、實施方式和特徵之外，通過參照附圖和下述具體實施方式，其他方面、實施方式和特徵也將顯而易見。即，以下發明內容被提供以介紹概念、重點、益處及本文所描述新穎且非顯而易見的技術優勢。所選擇，非所有的，實施例將進一步詳細描述如下。因此，以下發明內容並不意旨在所要求保護主題的必要特徵，也不意旨在決定所要求保護主題的範圍中使用。
本揭露提出一種人臉辨識的方法，包括：接收複數原始人臉圖像；透過一標準人臉生成模型產生對應上述原始人臉圖像之複數標準人臉圖像；使用上述原始人臉圖像及上述標準人臉圖像訓練一辨識模型；以及使用一原始人臉圖像測試集及一標準人臉圖像測試集測試上述辨識模型，直到上述辨識模型辨識上述原始人臉圖像測試集的一第一準確率高於一第一閾值，且上述辨識模型辨識上述標準人臉圖像測試集的一第二準確率高於一第二閾值為止，其中上述原始人臉圖像測試集係由上述原始人臉圖像取樣組成，而上述標準人臉圖像測試集係由上述標準人臉圖像取樣組成。
在一些實施例中，上述方法更包括：使用一混合測試集測試上述辨識模型，其中上述混合測試集係由上述原始人臉圖像及上述標準人臉圖像隨機取樣所組成。
在一些實施例中，上述方法更包括：透過上述標準人臉生成模型產生對應一使用者的一第一原始人臉圖像之一第一標準人臉圖像；透過上述標準人臉生成模型產生對應上述使用者的一第二原始人臉圖像之一第二標準人臉圖像；將上述第二原始人臉圖像與上述第一原始人臉圖像相比較取得一第一相似度，並將上述第二標準人臉圖像與上述第一標準人臉圖像相比較取得一第二相似度；以及根據上述第一相似度及上述第二相似度計算一最終相似度。
在一些實施例中，其中上述最終相似度FinalSimilarity表示如下：
Figure 02_image001
其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，
Figure 02_image003
及
Figure 02_image005
係為介於0～1之間的數值，且
Figure 02_image007
及
Figure 02_image009
。
在一些實施例中，上述方法更包括：將上述第二原始人臉圖像與上述第一標準人臉圖像相比較取得一第三相似度，並將上述第二標準人臉圖像與上述第一原始人臉圖像相比較取得一第四相似度；以及根據上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度計算上述最終相似度。
在一些實施例中，其中上述最終相似度FinalSimilarity表示如下：
Figure 02_image011
Figure 02_image013
其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，SimiP2F1係為上述第三相似度，SimiF2P1係為上述第四相似度，
Figure 02_image003
、
Figure 02_image005
、
Figure 02_image015
及
Figure 02_image017
係為介於0～1之間的數值，且
Figure 02_image019
、
Figure 02_image021
及
Figure 02_image023
。
在一些實施例中，每一標準人臉圖像係為僅包括一人臉區域且上述人臉區域未有其他物件的一正臉圖像。
在一些實施例中，上述原始人臉圖像係具有多姿態或具有其他物件的人臉圖像。
在一些實施例中，上述標準人臉生成模型係一生成式對抗網路(Generative Adversarial Network，GAN)。
在一些實施例中，上述標準人臉生成模型係一變分自動編碼器(Variational Auto-Encoder，VAE)。
本揭露提出一種人臉辨識的裝置，包括：一或多個處理器；以及一或多個電腦儲存媒體，儲存電腦可讀取指令，其中上述處理器使用上述電腦儲存媒體以執行：接收複數原始人臉圖像；透過一標準人臉生成模型產生對應上述原始人臉圖像之複數標準人臉圖像；使用上述原始人臉圖像及上述標準人臉圖像訓練一辨識模型；以及使用一原始人臉圖像測試集及一標準人臉圖像測試集測試上述辨識模型，直到上述辨識模型辨識上述原始人臉圖像測試集的一第一準確率高於一第一閾值，且上述辨識模型辨識上述標準人臉圖像測試集的一第二準確率高於一第二閾值為止，其中上述原始人臉圖像測試集係由上述原始人臉圖像取樣組成，而上述標準人臉圖像測試集係由上述標準人臉圖像取樣組成。
本揭露提出一種人臉辨識的方法，包括：透過一標準人臉生成模型產生對應一使用者的一第一原始人臉圖像之一第一標準人臉圖像；透過上述標準人臉生成模型產生對應上述使用者的一第二原始人臉圖像之一第二標準人臉圖像；將上述第二原始人臉圖像與上述第一原始人臉圖像相比較取得一第一相似度，並將上述第二標準人臉圖像與上述第一標準人臉圖像相比較取得一第二相似度；以及根據上述第一相似度及上述第二相似度計算一最終相似度。
在一些實施例中，上述第一原始人臉圖像及上述第一標準人臉圖像為預存圖像。
在一些實施例中，上述第二原始人臉圖像及上述第二標準人臉圖像為即時圖像。
在一些實施例中，上述最終相似度FinalSimilarity表示如下：
Figure 02_image001
其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，
Figure 02_image003
及
Figure 02_image005
係為介於0～1之間的數值，且
Figure 02_image007
及
Figure 02_image009
。
在一些實施例中，
Figure 02_image025
及
Figure 02_image027
。
在一些實施例中，上述方法更包括：將上述第二原始人臉圖像與上述第一標準人臉圖像相比較取得一第三相似度，並將上述第二標準人臉圖像與上述第一原始人臉圖像相比較取得一第四相似度；以及根據上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度計算上述最終相似度。
在一些實施例中，上述最終相似度FinalSimilarity表示如下：
Figure 02_image011
Figure 02_image013
其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，SimiP2F1係為上述第三相似度，SimiF2P1係為上述第四相似度，
Figure 02_image003
、
Figure 02_image005
、
Figure 02_image015
及
Figure 02_image017
係為介於0～1之間的數值，且
Figure 02_image019
、
Figure 02_image021
及
Figure 02_image023
。
在一些實施例中，
Figure 02_image025
、
Figure 02_image029
、
Figure 02_image031
及
Figure 02_image033
。
在一些實施例中，每一標準人臉圖像係為僅包括一人臉區域且上述人臉區域未有其他物件的一正臉圖像。
在一些實施例中，上述第一原始人臉圖像或上述第二原始人臉圖像係具有多姿態或具有其他物件的人臉圖像。
在一些實施例中，上述標準人臉生成模型係一生成式對抗網路(Generative Adversarial Network，GAN)。
在一些實施例中，上述標準人臉生成模型係一變分自動編碼器(Variational Auto-Encoder，VAE)。
本揭露提出一種人臉辨識的裝置，包括：一或多個處理器；以及一或多個電腦儲存媒體，儲存電腦可讀取指令，其中上述處理器使用上述電腦儲存媒體以執行：透過一標準人臉生成模型產生對應一使用者的一第一原始人臉圖像之一第一標準人臉圖像；透過上述標準人臉生成模型產生對應上述使用者的一第二原始人臉圖像之一第二標準人臉圖像；將上述第二原始人臉圖像與上述第一原始人臉圖像相比較取得一第一相似度，並將上述第二標準人臉圖像與上述第一標準人臉圖像相比較取得一第二相似度；以及根據上述第一相似度及上述第二相似度計算一最終相似度。
在下文中將參考附圖對本揭露的各方面進行更充分的描述。然而，本揭露可以具體化成許多不同形式且不應解釋為侷限於貫穿本揭露所呈現的任何特定結構或功能。相反地，提供這些方面將使得本揭露周全且完整，並且本揭露將給本領域技術人員充分地傳達本揭露的範圍。基於本文所教導的內容，本領域的技術人員應意識到，無論是單獨還是結合本揭露的任何其它方面實現本文所揭露的任何方面，本揭露的範圍旨在涵蓋本文中所揭露的任何方面。例如，可以使用本文所提出任意數量的裝置或者執行方法來實現。另外，除了本文所提出本揭露的多個方面之外，本揭露的範圍更旨在涵蓋使用其它結構、功能或結構和功能來實現的裝置或方法。應可理解，其可透過申請專利範圍的一或多個元件具體化本文所揭露的任何方面。
詞語「示例性」在本文中用於表示「用作示例、實例或說明」。本揭露的任何方面或本文描述為「示例性」的設計不一定被解釋為優選於或優於本揭露或設計的其他方面。此外，相同的數字在所有若干圖示中指示相同的元件，且除非在描述中另有指定，而冠詞「一」和「上述」包含複數的參考。
可以理解，當元件被稱為被「連接」或「耦接」至另一元件時，該元件可被直接地連接到或耦接至另一元件或者可存在中間元件。相反地，當該元件被稱為被「直接連接」或「直接耦接」至到另一元件時，則不存在中間元件。用於描述元件之間的關係的其他詞語應以類似方式被解釋（例如，「在…之間」與「直接在…之間」、「相鄰」與「直接相鄰」等方式）。
第1圖係顯示根據本發明一實施例所述之包括一人臉辨識系統100之環境示意圖。人臉辨識系統100至少包含連接至網路130的一影像擷取裝置110及一識別裝置120。
影像擷取裝置110的設置角度係以能夠捕捉人臉的角度為主，用以擷取人臉圖像。影像擷取裝置110可以是任何市售可擷取影像之裝置或設備，例如網路攝影機等。
識別裝置120可包括輸入裝置122，其中，該輸入裝置122被配置為從各種來源接收輸入數據。舉例來說，識別裝置120可以藉由網路130從其他來源裝置接收人臉圖像數據或接收由影像擷取裝置110所傳送之人臉圖像。識別裝置120也可接收包括臉部的訓練圖像，並基於接收到的訓練圖像訓練被配置為識別臉部的識別器。
識別裝置120還包括處理器124及可以存儲程式1282的一記憶體128。此外，圖像可儲存在記憶體128中。在另一實施例中，識別裝置120可與本文所描述之外的其他組件、系統、子系統和/或裝置一起使用。
識別裝置120的類型範圍從小型手持裝置（例如，行動電話∕可攜式電腦）到大型主機系統（例如大型電腦）。可攜式電腦的示例包括個人數位助理(PDA)、筆記型電腦等裝置。影像擷取裝置110可使用網路130連接至識別裝置120。網路130可以是本領域技術人員所熟悉任何類型的網路，其可使用各種通訊上可用協定中的任一種來支援數據通訊，包括但不侷限於TCP/IP等等。舉例來說，網路130可為一本地區域網路（Local Area Network，LAN），像是乙太網路等等、一虛擬網路，包括但不侷限於虛擬專用網路(Virtual Private Network，VPN)、網際網路(Internet)、無線網路和/或這些和/或其他網路之任何組合。
應可理解，第1圖所示的識別裝置120係為上述人臉辨識系統100架構的示例。第1圖所示的每個元件可經由任何類型的計算裝置來實現，像是參考第7圖所描述的計算裝置700，如第7圖所示。
為方便說明本發明實施例，在此先定義原始人臉圖像及標準人臉圖像。原始人臉圖像係定義為原始取得的人臉圖像。舉例來說，原始人臉圖像可為配置有穿戴裝飾物件（如，口罩、眼鏡、帽子等）的人臉圖像、有頭髮的人臉圖像、有化妝的人臉圖像、具有多姿態（如，誇張表情）的人臉圖像、臉上非關鍵部位被遮擋的人臉圖像或是僅顯示側臉的人臉圖像。第2A~2L圖係顯示根據本揭露一實施例之原始人臉圖像。第2A~2B圖係顯示原始人臉圖像為具有多姿態（如，皺眉、張嘴等表情）的人臉圖像。第2C~2H圖係顯示原始人臉圖像為僅顯示側臉的人臉圖像或人臉偏向某一方向的人臉圖像。第2I~2L圖係顯示原始人臉圖像為配置有穿戴裝飾物件（如，口罩、眼鏡、帽子等）的人臉圖像。
標準人臉圖像係定義為僅包含人臉區域的正臉圖像。舉例來說，標準人臉圖像係為沒有化妝、沒有頭髮且臉部區域並未有任何裝飾物件（如，口罩、眼鏡、帽子等）的正臉圖像。第3圖係顯示根據本揭露一實施例之標準人臉圖像。如圖所示，此標準人臉圖像僅只有臉部區域且並未有其他任何裝飾物件（如，口罩、眼鏡、帽子等）。
第4圖係顯示根據本揭露一實施例所述之人臉辨識的方法400之流程圖。此方法可執行於如第1圖所示之識別裝置120的處理器中。
在步驟S405中，識別裝置接收複數原始人臉圖像。在一實施例中，識別裝置可藉由網路從其他來源裝置接收原始人臉圖像或接收由影像擷取裝置所傳送之原始人臉圖像。這些複數原始人臉圖像的集合在本文中又可被稱為原始人臉圖像測試集。
再來，在步驟S410中，識別裝置透過一標準人臉生成模型產生對應上述原始人臉圖像之複數標準人臉圖像。舉例來說，原始人臉圖像被口罩遮住部分（如，口、鼻）或側臉時，標準人臉生成模型會模擬生成被遮住部分。舉例來說，當原始人臉圖像是側臉（如第2C、2D、2E、2F、2G、2H圖所示）或被口罩遮住口、鼻（如第2K、2L圖所示）而導致缺少部份的人臉資訊時，標準人臉生成模型會透過模擬的方式生成被遮住部分。在一實施例中，此標準人臉生成模型係一生成式對抗網路(Generative Adversarial Network，GAN)。上述生成式對抗網路是指利用生成式對抗網路生成標準人臉的方法。具體的，生成式對抗網路(Generative Adversarial Network，GAN)更包含相應的衍生技術及方法。例如：inforGAN、BigGAN、cycleGAN、AttGAN、StarGAN等方法。在另一實施例中，此標準人臉生成模型係一變分自動編碼器(Variational Auto-Encoder，VAE)。須注意的是，上述標準人臉生成模型均可由第1圖中識別裝置120中處理器124所實現。此外，這些複數標準人臉圖像的集合在本文中又可被稱為標準人臉圖像測試集，其中原始人臉圖像測試集中的人臉圖像和標準人臉圖像測試集中的人臉圖像一一對應，對應關係可由第5圖所示。須注意的是，原始人臉圖像測試集中的人臉圖像和標準人臉圖像測試集中的人臉圖像可為任意收集的測試圖像，也可為實際使用者的人臉圖像。在人臉辨識過程中，當辨識模型在訓練階段所使用的人臉圖像為任意收集的測試圖像時，可重新錄入使用者的原始人臉圖像及相應的標準人臉圖像至辨識模型的數據庫中。當辨識模型在訓練階段所使用的人臉圖像為實際使用者的人臉圖像時，可直接導入使用者原始人臉圖像與標準人臉圖像至辨識模型的數據庫中。更須注意的是，無論是重新錄入使用者的原始人臉圖像及相應的標準人臉圖像或導入實際使用者原始人臉圖像與標準人臉圖像至辨識裝置的數據庫中時，辨識模型都不需再次訓練即可使用。
在步驟S415中，識別裝置使用上述原始人臉圖像及上述標準人臉圖像訓練一辨識模型。在一實施例中，此辨識模型係一卷積神經網路(Convolutional Neural Network, CNN)。在步驟S420中，識別裝置使用一原始人臉圖像測試集及一標準人臉圖像測試集測試上述辨識模型，直到上述辨識模型辨識上述原始人臉圖像測試集的一第一準確率高於一第一閾值，且上述辨識模型辨識上述標準人臉圖像測試集的一第二準確率高於一第二閾值為止，其中上述原始人臉圖像測試集係由原始人臉圖像取樣組成，而上述標準人臉圖像測試集係由標準人臉圖像取樣組成。須注意的是，上述第一閾值及上述第二閾值可根據實際使用情況及符合產品應用需求而人為設定。例如：在通常情況下，第一閾值與第二閾值可設置為50%，即辨識模型準確率為一半以上時，可認為辨識模型已具備識別能力。但是，在門禁識別、出入境識別等較為嚴格的應用需求下，第一閾值與第二閾值可設置為較高數值（例如：99%），即辨識模型準確率超過閾值時認為辨識模型已具備識別能力。
在另一實施例中，在執行完步驟S420後，識別裝置更可使用一混合測試集測試上述辨識模型，其中上述混合測試集係對在原始人臉圖像測試集中的原始人臉圖像及對在標準人臉圖像測試集中的標準人臉圖像進行隨機取樣所組成。例如：上述混合測試集係由上述原始人臉圖像及上述標準人臉圖像按1：1、2：1或1：2等不同比例隨機取樣組成，或者上述混合測試集係由上述原始人臉圖像及上述標準人臉圖像根據實際測試情況需要，沒有比例或數量限制隨機取樣組成。當上述辨識模型辨識上述混合測試集的一第三準確率高於一第三閾值時，識別裝置則可判定上述辨識模型已具備同時識別原始人臉及標準人臉的能力。在此實施例中，須特別注意的是，在一些實際應用的過程中，可不必執行完步驟S420後，再使用一混合測試集測試上述辨識模型。更具體的說，可單獨使用一混合測試集測試上述辨識模型，以使辨識模型具備同時識別原始人臉及標準人臉的能力；而不用使用步驟S420訓練辨識模型。
下方將詳細說明辨識裝置如何在第4圖中所訓練並測試辨識模型進行人臉辨識之流程。第6圖係顯示根據本揭露一實施例所述之人臉辨識的方法600之流程圖。此方法可執行於如第1圖所示之識別裝置120的處理器中。
在流程開始之前，識別裝置已預先將辨識模型訓練並測試完成。此外，識別裝置更可先儲存對應一使用者之一第一原始人臉圖像。在步驟S605中識別裝置透過標準人臉生成模型產生對應使用者的第一原始人臉圖像之一第一標準人臉圖像。在一實施例中，此標準人臉生成模型係一生成式對抗網路。在另一實施例中，此標準人臉生成模型係一變分自動編碼器。須注意的是，上述標準人臉生成模型均可由第1圖中識別裝置120中處理器124所實現。在一些的實際應用中，上述第一原始人臉圖像與上述第一標準人臉圖像可由人臉辨識模型訓練時產生的原始人臉圖像測試集及標準人臉圖像測試集直接導入至上述識別裝置數據庫中。在另外一些實際應用中，上述第一原始人臉圖像與上述第一標準人臉圖像可根據實際應用，重新錄入使用者人臉圖像至上述識別裝置的數據庫中。在此須注意的是，上述第一原始人臉圖像與上述第一標準人臉圖像將作為使用者人臉圖像預存至識別裝置數據庫中。換言之，第一原始人臉圖像與第一標準人臉圖像為預存圖像。
接著，在步驟S610中，識別裝置透過上述標準人臉生成模型產生對應使用者的一第二原始人臉圖像之一第二標準人臉圖像。此第二原始人臉圖像係可由識別裝置藉由網路從其他來源裝置所接收或由影像擷取裝置所傳送，並透過上述標準人臉生成模型可即時產生上述第二標準人臉圖像。換言之，第二原始人臉圖像與第二標準人臉圖像為即時圖像。須注意的是，第一原始人臉圖像或第二原始人臉圖像可為具有多姿態（如，誇張表情）或具有其他物件（如，口罩、眼鏡、帽子等）的人臉圖像。在另一實施例中，識別裝置也可接收包括對應上述使用者的圖像。舉例來說此圖像可包括兩個以上不同的複數人臉，而複數人臉其中之一必須是第二原始人臉圖像。須注意的是，第一標準人臉圖像及第二標準人臉圖像均為僅包括一人臉區域且上述人臉區域未有其他物件的一正臉圖像。
再來，在步驟S615中，識別裝置將上述第二原始人臉圖像與上述第一原始人臉圖像相比較取得一第一相似度，並將上述第二標準人臉圖像與上述第一標準人臉圖像相比較取得一第二相似度。
在步驟S620中，識別裝置根據上述第一相似度及上述第二相似度計算一最終相似度，其中上述最終相似度FinalSimilarity表示如下：
Figure 02_image001
其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，
Figure 02_image003
及
Figure 02_image005
係為介於0～1之間的數值，且
Figure 02_image007
及
Figure 02_image009
。在一實施例中，
Figure 02_image025
及
Figure 02_image027
。以下更詳細地說明
Figure 02_image009
之用意。對大多數的情況而言，原始人臉圖像的辨識率會比標準人臉圖像高。但若是某些臉部特徵被遮住的情況下，標準人臉圖像的辨識率便會比原始人臉圖像的辨識率高。因此，在藉由結合原始人臉圖像與標準人臉圖像做人臉辨識後，識別裝置將給予原始人臉圖像辨識率較高的權重
Figure 02_image003
，而標準人臉圖像的辨識率
Figure 02_image005
做輔助的方式，以提高對人臉辨識的成功率。
在另一實施例中，在步驟S620執行後，識別裝置更可將上述第二原始人臉圖像與上述第一標準人臉圖像相比較取得一第三相似度，並將上述第二標準人臉圖像與上述第一原始人臉圖像相比較取得一第四相似度。識別裝置可根據上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度計算上述最終相似度，其中上述最終相似度FinalSimilarity表示如下：
Figure 02_image011
Figure 02_image013
其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，SimiP2F1係為上述第三相似度，SimiF2P1係為上述第四相似度，
Figure 02_image003
、
Figure 02_image005
、
Figure 02_image015
及
Figure 02_image017
係為介於0～1之間的數值，且
Figure 02_image019
、
Figure 02_image021
及
Figure 02_image023
。在一實施例中，
Figure 02_image025
、
Figure 02_image029
、
Figure 02_image031
及
Figure 02_image033
。以下更詳細地說明
Figure 02_image021
及
Figure 02_image023
之用意。對大多數的情況而言，原始人臉圖像的辨識率會比標準人臉圖像高。但若是某些臉部特徵被遮住的情況下，標準人臉圖像的辨識率便會比原始人臉圖像的辨識率高。因此，在藉由結合原始人臉圖像與標準人臉圖像做人臉辨識後，識別裝置將給予原始人臉圖像辨識率最高的權重
Figure 02_image003
。除了較重視原始人臉圖像的辨識率所以給予較高權重
Figure 02_image003
之外，標準人臉圖像的辨識率仍是做為參考用。但標準人臉圖像的辨識率仍會比使用原始人臉圖像與標準人臉圖像交叉比對的辨識率高，因此識別裝置將設定標準人臉圖像的權重
Figure 02_image005
大於使用原始人臉圖像與標準人臉圖像交叉比對的權重總和
Figure 02_image035
。須注意的是，上述
Figure 02_image003
、
Figure 02_image005
、
Figure 02_image015
及
Figure 02_image017
之數值並不用以限定本揭露，所屬技術領域中具有通常知識者得以根據本實施例做適當更換或調整。
如上所述，本揭露之人臉辨識的方法及裝置係透過標準人臉生成模型去除原始人臉圖像之裝飾，以輔助人臉辨識，並提高準確率。
對於本發明已描述的實施例，下文描述了可以實現本發明實施例的示例性操作環境。具體參考第7圖，第7圖係顯示用以實現本發明實施例的示例性操作環境，一般可被視為計算裝置700。計算裝置700僅為一合適計算環境的一個示例，並不意圖暗示對本發明使用或功能範圍的任何限制。計算裝置700也不應被解釋為具有與所示元件任一或組合相關任何的依賴性或要求。
本發明可在電腦程式碼或機器可使用指令來執行本發明，指令可為程式模組的電腦可執行指令，其程式模組由電腦或其它機器，例如個人數位助理或其它可攜式裝置執行。一般而言，程式模組包括例程、程式、物件、元件、數據結構等，程式模組指的是執行特定任務或實現特定抽象數據類型的程式碼。本發明可在各種系統組態中實現，包括可攜式裝置、消費者電子產品、通用電腦、更專業的計算裝置等。本發明還可在分散式運算環境中實現，處理由通訊網路所連結的裝置。
參考第7圖。計算裝置700包括直接或間接耦接以下裝置的匯流排710、記憶體712、一或多個處理器714、一或多個顯示元件716、輸入/輸出(I/O)埠口718、輸入/輸出(I/O)元件720以及說明性電源供應器722。匯流排710表示可為一或多個匯流排之元件（例如，位址匯流排、數據匯流排或其組合）。雖然第7圖的各個方塊為簡要起見以線示出，實際上，各個元件的分界並不是具體的，例如，可將顯示裝置的呈現元件視為I/O元件；處理器可具有記憶體。
計算裝置700一般包括各種電腦可讀取媒體。電腦可讀取媒體可以是可被計算裝置700存取的任何可用媒體，該媒體同時包括易揮發性和非易揮發性媒體、可移動和不可移動媒體。舉例但不侷限於，電腦可讀取媒體可包括電腦儲存媒體和通訊媒體。電腦可讀取媒體同時包括在用於儲存像是電腦可讀取指令、資料結構、程式模組或其它數據之類資訊的任何方法或技術中實現的易揮發性性和非易揮發性媒體、可移動和不可移動媒體。電腦儲存媒體包括但不侷限於RAM、ROM、EEPROM、快閃記憶體或其它記憶體技術、CD-ROM、數位多功能光碟(DVD)或其它光碟儲存裝置、磁片、磁碟、磁片儲存裝置或其它磁儲存裝置，或可用於儲存所需的資訊並且可被計算裝置700存取的其它任何媒體。電腦儲存媒體本身不包括信號。
通訊媒體一般包含電腦可讀取指令、資料結構、程式模組或其它採用諸如載波或其他傳輸機制之類的模組化數據訊號形式的數據，並包括任何資訊傳遞媒體。術語「模組化數據訊號」係指具有一或多個特徵集合或以在訊號中編碼資訊之一方式更改的訊號。舉例但不侷限於，通訊媒體包括像是有線網路或直接有線連接的有線媒體及無線媒體，像是聲頻、射頻、紅外線以及其它無線媒體。上述媒體的組合包括在電腦可讀取媒體的範圍內。
記憶體712包括以易揮發性和非易揮發性記憶體形式的電腦儲存媒體。記憶體可為可移動、不移動或可以為這兩種的組合。示例性硬體裝置包括固態記憶體、硬碟驅動器、光碟驅動器等。計算裝置700包括一或多個處理器，其讀取來自像是記憶體712或I/O元件720各實體的數據。顯示元件716向使用者或其它裝置顯示數據指示。示例性顯示元件包括顯示裝置、揚聲器、列印元件、振動元件等。
I/O埠口718允許計算裝置700邏輯連接到包括I/O元件720的其它裝置，一些此種裝置為內建裝置。示例性元件包括麥克風、搖桿、遊戲台、碟形衛星訊號接收器、掃描器、印表機、無線裝置等。I/O元件720可提供一自然使用者介面，用於處理使用者生成的姿勢、聲音或其它生理輸入。在一些例子中，這些輸入可被傳送到一合適的網路元件以便進一步處理。NUI可實現語言識別、觸摸與手寫筆辨識、面部識別、生物識別、在螢幕上以及鄰近螢幕的姿勢識別、空中手勢、頭部及眼部追蹤以及與計算裝置700所顯示相關聯的觸摸識別的任意組合。計算裝置700可裝備有深度照相機，像是立體照相機系統、紅外線照相機系統、RGB照相機系統和這些系統的組合，以偵測與識別姿勢。另外，計算裝置700可以裝備有偵測運動的加速度計或陀螺儀。加速度計或陀螺儀的輸出可被提供給計算裝置700顯示以呈現沉浸式增強現實或虛擬實境。
此外，計算裝置700中之處理器714也可執行記憶體712中之程式及指令以呈現上述實施例所述之動作和步驟，或其它在說明書中內容之描述。
在此所揭露程序之任何具體順序或分層之步驟純為一舉例之方式。基於設計上之偏好，必須了解到程序上之任何具體順序或分層之步驟可在此文件所揭露的範圍內被重新安排。伴隨之方法權利要求以一示例順序呈現出各種步驟之元件，也因此不應被此所展示之特定順序或階層所限制。
申請專利範圍中用以修飾元件之「第一」、「第二」、「第三」等序數詞之使用本身未暗示任何優先權、優先次序、各元件之間之先後次序、或方法所執行之步驟之次序，而僅用作標識來區分具有相同名稱（具有不同序數詞）之不同元件。
雖然本揭露已以實施範例揭露如上，然其並非用以限定本案，任何熟悉此項技藝者，在不脫離本揭露之精神和範圍內，當可做些許更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。
100:人臉辨識系統 110:影像擷取裝置 120:識別裝置 122:輸入裝置 124:處理器 128:記憶體 1282:程式 130:網路 400:方法 S405、S410、S415、S420:步驟 600:方法 S605、S610、S615、S620:步驟 700:計算裝置 710:匯流排 712:記憶體 714:處理器 716:顯示元件 718:I/O埠口 720:I/O元件 722:電源供應器
附圖被包括以提供本揭露進一步理解且被合併並組成本揭露的一部分。附圖係說明本揭露的實施例且連同描述一起用以解釋本揭露的原理。其可理解附圖不一定按比例描繪係，一些元件可以超過在實際實施方式的大小來顯示，以清楚地說明本揭露的概念。 第1圖係顯示根據本發明一實施例所述之包括一人臉辨識系統之環境示意圖。 第2A~2L圖係顯示根據本揭露一實施例之原始人臉圖像。 第3圖係顯示根據本揭露一實施例之標準人臉圖像。 第4圖係顯示根據本揭露一實施例所述之人臉辨識的方法之流程圖。 第5圖係顯示根據本揭露一實施例所述之原始人臉圖像測試集中的原始人臉圖像與標準人臉圖像測試集中的人臉圖像之間的一對應關係。 第6圖係顯示根據本揭露一實施例所述之人臉辨識的方法之流程圖。 第7圖係顯示用以實現本發明實施例的示例性操作環境。
400:方法
S405、S410、S415、S420:步驟

Claims (44)

  1. 一種人臉辨識的方法，包括： 接收複數原始人臉圖像；透過一標準人臉生成模型產生對應上述原始人臉圖像之複數標準人臉圖像；使用上述原始人臉圖像及上述標準人臉圖像訓練一辨識模型；以及使用一原始人臉圖像測試集及一標準人臉圖像測試集測試上述辨識模型，直到上述辨識模型辨識上述原始人臉圖像測試集的一第一準確率高於一第一閾值，且上述辨識模型辨識上述標準人臉圖像測試集的一第二準確率高於一第二閾值為止，其中上述原始人臉圖像測試集係由上述原始人臉圖像取樣組成，而上述標準人臉圖像測試集係由上述標準人臉圖像取樣組成。
  2. 如申請專利範圍第1項所述之人臉辨識的方法，更包括： 使用一混合測試集測試上述辨識模型，其中上述混合測試集係由上述原始人臉圖像及上述標準人臉圖像隨機取樣所組成。
  3. 如申請專利範圍第1項所述之人臉辨識的方法，更包括： 透過上述標準人臉生成模型產生對應一使用者的一第一原始人臉圖像之一第一標準人臉圖像； 透過上述標準人臉生成模型產生對應上述使用者的一第二原始人臉圖像之一第二標準人臉圖像； 將上述第二原始人臉圖像與上述第一原始人臉圖像相比較取得一第一相似度，並將上述第二標準人臉圖像與上述第一標準人臉圖像相比較取得一第二相似度；以及 根據上述第一相似度及上述第二相似度計算一最終相似度。
  4. 如申請專利範圍第3項所述之人臉辨識的方法，其中上述最終相似度FinalSimilarity表示如下：
    Figure 03_image001
    其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，
    Figure 03_image003
    及
    Figure 03_image005
    係為介於0～1之間的數值，且
    Figure 03_image007
    及
    Figure 03_image009
    。
  5. 如申請專利範圍第3項所述之人臉辨識的方法，更包括： 將上述第二原始人臉圖像與上述第一標準人臉圖像相比較取得一第三相似度，並將上述第二標準人臉圖像與上述第一原始人臉圖像相比較取得一第四相似度；以及 根據上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度計算上述最終相似度。
  6. 如申請專利範圍第5項所述之人臉辨識的方法，其中上述最終相似度FinalSimilarity表示如下：
    Figure 03_image011
    Figure 03_image013
    其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，SimiP2F1係為上述第三相似度，SimiF2P1係為上述第四相似度，
    Figure 03_image003
    、
    Figure 03_image005
    、
    Figure 03_image015
    及
    Figure 03_image017
    係為介於0～1之間的數值，且
    Figure 03_image019
    、
    Figure 03_image021
    及
    Figure 03_image023
    。
  7. 如申請專利範圍第1項所述之人臉辨識的方法，其中每一標準人臉圖像係為僅包括一人臉區域且上述人臉區域未有其他物件的一正臉圖像。
  8. 如申請專利範圍第1項所述之人臉辨識的方法，其中上述原始人臉圖像係具有多姿態或具有其他物件的人臉圖像。
  9. 如申請專利範圍第1項所述之人臉辨識的方法，其中，上述標準人臉生成模型係一生成式對抗網路(Generative Adversarial Network，GAN)。
  10. 如申請專利範圍第1項所述之人臉辨識的方法，其中上述標準人臉生成模型係一變分自動編碼器(Variational Auto-Encoder，VAE)。
  11. 一種人臉辨識的裝置，包括： 一或多個處理器；以及 一或多個電腦儲存媒體，儲存電腦可讀取指令，其中上述處理器使用上述電腦儲存媒體以執行： 接收複數原始人臉圖像； 透過一標準人臉生成模型產生對應上述原始人臉圖像之複數標準人臉圖像； 使用上述原始人臉圖像及上述標準人臉圖像訓練一辨識模型；以及 使用一原始人臉圖像測試集及一標準人臉圖像測試集測試上述辨識模型，直到上述辨識模型辨識上述原始人臉圖像測試集的一第一準確率高於一第一閾值，且上述辨識模型辨識上述標準人臉圖像測試集的一第二準確率高於一第二閾值為止，其中上述原始人臉圖像測試集係由上述原始人臉圖像取樣組成，而上述標準人臉圖像測試集係由上述標準人臉圖像取樣組成。
  12. 如申請專利範圍第11項所述之人臉辨識的裝置，上述處理器更執行： 使用一混合測試集測試上述辨識模型，其中上述混合測試集係由上述原始人臉圖像及上述標準人臉圖像隨機取樣所組成。
  13. 如申請專利範圍第11項所述之人臉辨識的裝置，上述處理器更執行： 透過上述標準人臉生成模型產生對應一使用者的一第一原始人臉圖像之一第一標準人臉圖像； 透過上述標準人臉生成模型產生對應上述使用者的一第二原始人臉圖像之一第二標準人臉圖像； 將上述第二原始人臉圖像與上述第一原始人臉圖像相比較取得一第一相似度，並將上述第二標準人臉圖像與上述第一標準人臉圖像相比較取得一第二相似度；以及 根據上述第一相似度及上述第二相似度計算一最終相似度。
  14. 如申請專利範圍第13項所述之人臉辨識的裝置，其中上述最終相似度FinalSimilarity表示如下：
    Figure 03_image001
    其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，
    Figure 03_image003
    及
    Figure 03_image005
    係為介於0～1之間的數值，且
    Figure 03_image007
    及
    Figure 03_image009
    。
  15. 如申請專利範圍第13項所述之人臉辨識的裝置，上述處理器更執行： 將上述第二原始人臉圖像與上述第一標準人臉圖像相比較取得一第三相似度，並將上述第二標準人臉圖像與上述第一原始人臉圖像相比較取得一第四相似度；以及 根據上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度計算上述最終相似度。
  16. 如申請專利範圍第15項所述之人臉辨識的裝置，其中上述最終相似度FinalSimilarity表示如下：
    Figure 03_image011
    Figure 03_image013
    其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，SimiP2F1係為上述第三相似度，SimiF2P1係為上述第四相似度，
    Figure 03_image003
    、
    Figure 03_image005
    、
    Figure 03_image015
    及
    Figure 03_image017
    係為介於0～1之間的數值，且
    Figure 03_image019
    、
    Figure 03_image021
    及
    Figure 03_image023
    。
  17. 如申請專利範圍第11項所述之人臉辨識的裝置，其中每一標準人臉圖像係為僅包括一人臉區域且上述人臉區域未有其他物件的一正臉圖像。
  18. 如申請專利範圍第11項所述之人臉辨識的裝置，其中上述原始人臉圖像係具有多姿態或具有其他物件的人臉圖像。
  19. 如申請專利範圍第11項所述之人臉辨識的裝置，其中，上述標準人臉生成模型係一生成式對抗網路(Generative Adversarial Network，GAN) 。
  20. 如申請專利範圍第11項所述之人臉辨識的裝置，其中上述標準人臉生成模型係一變分自動編碼器(Variational Auto-Encoder，VAE)。
  21. 一種人臉辨識的方法，包括： 透過一標準人臉生成模型產生對應一使用者的一第一原始人臉圖像之一第一標準人臉圖像； 透過上述標準人臉生成模型產生對應上述使用者的一第二原始人臉圖像之一第二標準人臉圖像； 將上述第二原始人臉圖像與上述第一原始人臉圖像相比較取得一第一相似度，並將上述第二標準人臉圖像與上述第一標準人臉圖像相比較取得一第二相似度；以及 根據上述第一相似度及上述第二相似度計算一最終相似度。
  22. 如申請專利範圍第21項所述之人臉辨識的方法，其中上述第一原始人臉圖像及上述第一標準人臉圖像為預存圖像。
  23. 如申請專利範圍第21項所述之人臉辨識的方法，其中上述第二原始人臉圖像及上述第二標準人臉圖像為即時圖像。
  24. 如申請專利範圍第21項所述之人臉辨識的方法，其中上述最終相似度FinalSimilarity表示如下：
    Figure 03_image001
    其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，
    Figure 03_image003
    及
    Figure 03_image005
    係為介於0～1之間的數值，且
    Figure 03_image007
    及
    Figure 03_image009
    。
  25. 如申請專利範圍第22項所述之人臉辨識的方法，其中
    Figure 03_image025
    及
    Figure 03_image027
    。
  26. 如申請專利範圍第21項所述之人臉辨識的方法，更包括： 將上述第二原始人臉圖像與上述第一標準人臉圖像相比較取得一第三相似度，並將上述第二標準人臉圖像與上述第一原始人臉圖像相比較取得一第四相似度；以及 根據上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度計算上述最終相似度。
  27. 如申請專利範圍第24項所述之人臉辨識的方法，其中上述最終相似度FinalSimilarity表示如下：
    Figure 03_image011
    Figure 03_image013
    其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，SimiP2F1係為上述第三相似度，SimiF2P1係為上述第四相似度，
    Figure 03_image003
    、
    Figure 03_image005
    、
    Figure 03_image015
    及
    Figure 03_image017
    係為介於0～1之間的數值，且
    Figure 03_image019
    、
    Figure 03_image021
    及
    Figure 03_image023
    。
  28. 如申請專利範圍第25項所述之人臉辨識的方法，其中
    Figure 03_image025
    、
    Figure 03_image029
    、
    Figure 03_image031
    及
    Figure 03_image033
    。
  29. 如申請專利範圍第21項所述之人臉辨識的方法，其中每一標準人臉圖像係為僅包括一人臉區域且上述人臉區域未有其他物件的一正臉圖像。
  30. 如申請專利範圍第21項所述之人臉辨識的方法，其中上述第一原始人臉圖像或上述第二原始人臉圖像係具有多姿態或具有其他物件的人臉圖像。
  31. 如申請專利範圍第21項所述之人臉辨識的方法，其中，上述標準人臉生成模型係一生成式對抗網路(Generative Adversarial Network，GAN)。
  32. 如申請專利範圍第21項所述之人臉辨識的方法，其中上述標準人臉生成模型係一變分自動編碼器(Variational Auto-Encoder，VAE)。
  33. 一種人臉辨識的裝置，包括： 一或多個處理器；以及 一或多個電腦儲存媒體，儲存電腦可讀取指令，其中上述處理器使用上述電腦儲存媒體以執行： 透過一標準人臉生成模型產生對應一使用者的一第一原始人臉圖像之一第一標準人臉圖像； 透過上述標準人臉生成模型產生對應上述使用者的一第二原始人臉圖像之一第二標準人臉圖像； 將上述第二原始人臉圖像與上述第一原始人臉圖像相比較取得一第一相似度，並將上述第二標準人臉圖像與上述第一標準人臉圖像相比較取得一第二相似度；以及 根據上述第一相似度及上述第二相似度計算一最終相似度。
  34. 如申請專利範圍第33項所述之人臉辨識的裝置，其中上述第一原始人臉圖像及上述第一標準人臉圖像為預存圖像。
  35. 如申請專利範圍第33項所述之人臉辨識的装置，其中上述第二原始人臉圖像及上述第二標準人臉圖像為即時圖像。
  36. 如申請專利範圍第31項所述之人臉辨識的裝置，其中上述最終相似度FinalSimilarity表示如下：
    Figure 03_image001
    其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，
    Figure 03_image003
    及
    Figure 03_image005
    係為介於0～1之間的數值，且
    Figure 03_image007
    及
    Figure 03_image009
    。
  37. 如申請專利範圍第32項所述之人臉辨識的裝置，其中
    Figure 03_image025
    及
    Figure 03_image027
    。
  38. 如申請專利範圍第31項所述之人臉辨識的裝置，更包括： 將上述第二原始人臉圖像與上述第一標準人臉圖像相比較取得一第三相似度，並將上述第二標準人臉圖像與上述第一原始人臉圖像相比較取得一第四相似度；以及 根據上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度計算上述最終相似度。
  39. 如申請專利範圍第34項所述之人臉辨識的裝置，其中上述最終相似度FinalSimilarity表示如下：
    Figure 03_image011
    Figure 03_image013
    其中SimiP2P1係為上述第一相似度，SimiF2F1係為上述第二相似度，SimiP2F1係為上述第三相似度，SimiF2P1係為上述第四相似度，
    Figure 03_image003
    、
    Figure 03_image005
    、
    Figure 03_image015
    及
    Figure 03_image017
    係為介於0～1之間的數值，且
    Figure 03_image019
    、
    Figure 03_image021
    及
    Figure 03_image023
    。
  40. 如申請專利範圍第35項所述之人臉辨識的裝置，其中
    Figure 03_image025
    、
    Figure 03_image029
    、
    Figure 03_image031
    及
    Figure 03_image033
    。
  41. 如申請專利範圍第31項所述之人臉辨識的裝置，其中每一標準人臉圖像係為僅包括一人臉區域且上述人臉區域未有其他物件的一正臉圖像。
  42. 如申請專利範圍第31項所述之人臉辨識的裝置，其中上述第一原始人臉圖像或上述第二原始人臉圖像係具有多姿態或具有其他物件的人臉圖像。
  43. 如申請專利範圍第31項所述之人臉辨識的裝置，其中，上述標準人臉生成模型係一生成式對抗網路(Generative Adversarial Network，GAN)。
  44. 如申請專利範圍第31項所述之人臉辨識的裝置，其中上述標準人臉生成模型係一變分自動編碼器(Variational Auto-Encoder，VAE)。
TW108140067A 2019-09-18 2019-11-05 人臉辨識的方法及裝置 TWI734246B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910881025.X 2019-09-18
CN201910881025.XA CN110633677B (zh) 2019-09-18 2019-09-18 人脸识别的方法及装置

Publications (2)

Publication Number Publication Date
TW202113685A true TW202113685A (zh) 2021-04-01
TWI734246B TWI734246B (zh) 2021-07-21

Family

ID=68971546

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108140067A TWI734246B (zh) 2019-09-18 2019-11-05 人臉辨識的方法及裝置

Country Status (3)

Country Link
US (1) US11216648B2 (zh)
CN (1) CN110633677B (zh)
TW (1) TWI734246B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001872B (zh) * 2020-08-26 2021-09-14 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
CN114092864B (zh) * 2022-01-19 2022-04-12 湖南信达通信息技术有限公司 伪造视频的识别方法、装置、电子设备及计算机存储介质
CN114882578B (zh) * 2022-07-12 2022-09-06 华中科技大学 一种多域对抗学习的小样本条件下复合表情识别方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110575B2 (en) * 2002-08-02 2006-09-19 Eastman Kodak Company Method for locating faces in digital color images
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
CA2536864C (en) * 2002-08-29 2014-01-28 Paul Rudolf Associative memory device and method based on wave propagation
US7912246B1 (en) * 2002-10-28 2011-03-22 Videomining Corporation Method and system for determining the age category of people based on facial images
US7508961B2 (en) * 2003-03-12 2009-03-24 Eastman Kodak Company Method and system for face detection in digital images
US7421097B2 (en) * 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7657086B2 (en) * 2006-01-31 2010-02-02 Fujifilm Corporation Method and apparatus for automatic eyeglasses detection using a nose ridge mask
US8121356B2 (en) * 2006-09-15 2012-02-21 Identix Incorporated Long distance multimodal biometric system and method
US8213689B2 (en) * 2008-07-14 2012-07-03 Google Inc. Method and system for automated annotation of persons in video content
TWI382354B (zh) * 2008-12-02 2013-01-11 Nat Univ Tsing Hua 臉部辨識方法
US9965901B2 (en) * 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
US10505756B2 (en) * 2017-02-10 2019-12-10 Johnson Controls Technology Company Building management system with space graphs
US20180343120A1 (en) * 2016-10-26 2018-11-29 Black Gold Coin, Inc. Systems and methods for providing a universal decentralized solution for verification of users with cross-verification features
CN107609481B (zh) * 2017-08-14 2020-11-20 百度在线网络技术（北京）有限公司 为人脸识别生成训练数据的方法、装置和计算机存储介质
CN108491824A (zh) * 2018-04-03 2018-09-04 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN109145801B (zh) * 2018-08-13 2021-02-02 浙江宇视科技有限公司 一种人脸识别方法及人脸识别系统
CN109670444B (zh) * 2018-12-18 2019-12-24 北京字节跳动网络技术有限公司 姿态检测模型的生成、姿态检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110633677A (zh) 2019-12-31
TWI734246B (zh) 2021-07-21
US20210081653A1 (en) 2021-03-18
US11216648B2 (en) 2022-01-04
CN110633677B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
JP7365445B2 (ja) コンピューティング装置及び方法
US9443307B2 (en) Processing of images of a subject individual
US10331945B2 (en) Fair, secured, and efficient completely automated public Turing test to tell computers and humans apart (CAPTCHA)
Porzi et al. A smart watch-based gesture recognition system for assisting people with visual impairments
US10275672B2 (en) Method and apparatus for authenticating liveness face, and computer program product thereof
TWI734246B (zh) 人臉辨識的方法及裝置
Zhao et al. Mobile user authentication using statistical touch dynamics images
US20120259638A1 (en) Apparatus and method for determining relevance of input speech
TWI255141B (en) Method and system for real-time interactive video
Alsaadi Study on most popular behavioral biometrics, advantages, disadvantages and recent applications: A review
WO2021135685A1 (zh) 身份认证的方法以及装置
US20130300650A1 (en) Control system with input method using recognitioin of facial expressions
TWI625680B (zh) 臉部表情辨識的方法及裝置
US9183430B2 (en) Portable electronic apparatus and interactive human face login method
TW202014992A (zh) 虛擬臉部模型之表情擬真系統及方法
Sajid et al. VSig: Hand-gestured signature recognition and authentication with wearable camera
US20200275271A1 (en) Authentication of a user based on analyzing touch interactions with a device
de Sousa Britto Neto et al. A wearable face recognition system built into a smartwatch and the blind and low vision users
Blanco-Gonzalo et al. Time evolution of face recognition in accessible scenarios
WO2020244160A1 (zh) 终端设备控制方法、装置、计算机设备及可读存储介质
Neto et al. A wearable face recognition system built into a smartwatch and the visually impaired user
CN112381064B (zh) 一种基于时空图卷积网络的人脸检测方法及装置
US20230103060A1 (en) Context-based speaker counter for a speaker diarization system
WO2022231702A1 (en) Integrating and detecting visual data security token in data via graphics processing circuitry using a frame buffer
US20220398864A1 (en) Zoom based on gesture detection