TWI819417B - 以並行卷積神經網路進行模式選擇的人臉識別的系統和方法 - Google Patents

以並行卷積神經網路進行模式選擇的人臉識別的系統和方法 Download PDF

Info

Publication number
TWI819417B
TWI819417B TW110144210A TW110144210A TWI819417B TW I819417 B TWI819417 B TW I819417B TW 110144210 A TW110144210 A TW 110144210A TW 110144210 A TW110144210 A TW 110144210A TW I819417 B TWI819417 B TW I819417B
Authority
TW
Taiwan
Prior art keywords
neural network
convolutional neural
face
test
feature vector
Prior art date
Application number
TW110144210A
Other languages
English (en)
Other versions
TW202321979A (zh
Inventor
黃韻年
沈志聰
鄭歆蓉
Original Assignee
元氣智能股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 元氣智能股份有限公司 filed Critical 元氣智能股份有限公司
Priority to TW110144210A priority Critical patent/TWI819417B/zh
Priority to US17/713,636 priority patent/US20230169792A1/en
Publication of TW202321979A publication Critical patent/TW202321979A/zh
Application granted granted Critical
Publication of TWI819417B publication Critical patent/TWI819417B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本發明揭露一種以並行卷積神經網路進行模式選擇的人臉識別的系統 和方法。該系統包含一模式選擇模組、一並行卷積神經網路模組、一資料庫模組及一ID判斷模組。並行卷積神經網路模組包括數個卷積神經網路單元，模式選擇模組可判斷每一人臉圖像的面相特質，並將每一人臉圖像傳送給對應其面相特質的卷積神經網路單元，作為ID判斷模組比對測試人臉圖像的基準。藉由數個卷積神經網路單元針對相同人的不同面相特質進行人臉圖像訓練，可以降低來自其他卷積神經網路單元的噪訊，並提高特徵向量提取階段的相似性。由此而產生的人臉識別的準確性會增加。

Description

以並行卷積神經網路進行模式選擇的人臉識別的系統和 方法
本發明關於一種人臉識別的系統和方法，特別是一種以數個並行卷積神經網路(Convolutional Neural Network，CNN)進行模式選擇的人臉識別的系統和方法。
在人際交流的過程中，彼此認識進而互動的基礎判斷是根據人的長相及人格特質。就人臉的辨識來說，人腦有複雜的神經網絡，在從小耳濡目染的訓練之下，當到了一定的年歲時，以人臉來判斷不同人便是非常容易的本事。因此，這種能力便被人類用來處理一些事務，比如警衛或是門禁管理。
仿照人類的天賦，機器學習也由單純圖像的學習，延伸到了人臉的辨識，應用到自動化的管理當中。卷積神經網路是一種常用於圖像辨識的深度學習演算法。卷積神經網路完整的演算法雖然提出的時間不長，但由於成效好，投入研發的成果也多，自然應用層面廣。一般卷積神經網路在人臉辨識上的操作是先針對大量的人臉圖像進行學習，進而認識並能區分不同人。當接收到一張新進的人臉圖像後，便能藉由既有學習的資料，分辨該張人臉圖像上的人是否曾經為卷積神經網路學習而認識，進而達到人臉辨識的目的。然而，由於人臉圖像中頭部方向、姿勢、年齡差異、面部表情、頭髮顏色、背景和配飾的差異，即使對於相 同人的人臉圖像，用於學習的大數據集也會在圖像之間存在巨大差異。因此，即使在卷積神經網路系統中相同人的特徵提取階段，提取的特徵向量也存在巨大差異，使得特徵向量匹配階段難以發揮作用，卷積神經網路能產生的功效也受限制。
如果將相同人的人臉圖像訓練數據集預分類為具有相似設置的不同子群組，便能夠降低來自其他子群組的噪訊，並提高特徵向量提取階段的相似性。當所有子群組都指向同一個人，由此而產生的人臉識別效果的準確性會增加。然而，現有前案中並未有相關的技術教示。
本段文字提取和編譯本發明的某些特點。其它特點將被揭露於後續段落中。其目的在涵蓋附加的申請專利範圍之精神和範圍中，各式的修改和類似的排列。
為了滿足以上需求，本發明揭露一種以並行卷積神經網路進行模式選擇的人臉識別的系統，安裝運行於一計算器。其包含：一並行卷積神經網路模組，包括複數個卷積神經網路單元，每一卷積神經網路單元針對一面相特質為一個以上接收的人臉圖像提取一特徵向量，並將該特徵向量綁定特定的一ID；一模式選擇模組，接收外部傳入的複數幀人臉圖像、判斷每一人臉圖像的該面相特質，並將每一人臉圖像傳送給對應其面相特質的至少一卷積神經網路單元；一資料庫模組，依照不同的卷積神經網路單元，儲存其產生的特徵向量與綁定的ID；以及一ID判斷模組，於一測試階段中執行以下作業：a.接收來自關於一測試人臉圖像的至少一卷積神經網路單元提取的至少一測試特徵向量，將該至少一測試特徵向量與該資料庫模組中儲存之對應的卷積神經網路單元的特徵向量進行比 較；b.選出與該至少一測試特徵向量最接近的特徵向量所綁定的ID作為票選ID；及c.計算所有票選ID中出現次數最多者。於一學習階段中，該模式選擇模組為具有對應ID的每一特定人，依照面相特質分別輸入至少一幀關於該特定人的人臉圖像到相關的至少一卷積神經網路單元中，以建立該資料庫模組的內容。
本發明亦揭露一種以並行卷積神經網路進行模式選擇的人臉識別的方法，可應用於一計算器。該方法包含步驟：建立一並行卷積神經網路模組，該並行卷積神經網路模組包括複數個卷積神經網路單元，每一卷積神經網路單元針對一面相特質為一個以上接收的人臉圖像提取一特徵向量，並將該特徵向量綁定特定的一ID；於一學習階段中，以一模式選擇模組為具有對應ID的每一特定人，依照面相特質判斷，分別將接收到之外部輸入的至少一幀關於該特定人的人臉圖像輸入到相關的複數個卷積神經網路單元中至少一者，以將產生的特徵向量與綁定的ID建立於一資料庫模組中；及於一測試階段中，由該模式選擇模組判斷一測試人臉圖像的該面相特質，將該測試人臉圖像傳送給對應其面相特質的至少一卷積神經網路單元，並以該ID判斷模組執行以下作業：a.接收來自關於一測試人臉圖像的至少一卷積神經網路單元提取的至少一測試特徵向量，將該至少一測試特徵向量與該資料庫模組中儲存之對應的卷積神經網路單元的特徵向量進行比較；b.選出與該至少一測試特徵向量最接近的特徵向量所綁定的ID作為票選ID；及c.計算所有票選ID中出現次數最多者。
依照本發明，該面相特質可為人臉正面、人臉左側、人臉右側、人臉下方、性別或年齡層。
在一實施例中，該模式選擇模組可進一步為接收的該測試人臉圖像調整每一相關卷積神經網路單元的權重值，從而該ID判斷模組使用該些權重值分別調整每一票選ID的權重，使來自相關卷積神經網路單元的票選ID於計算時，次數可以不為1。
在另一實施例中，若有一卷積神經網路單元所有產生並儲存於該資料庫模組中的特徵向量與該測試特徵向量間的每一對應元素都不相同，或其間距離高於一預設值，則該ID判斷模組判定無票選ID來自該卷積神經網路單元。
最好，人臉圖像可為影像檔、影音檔案中影像部分的一幀、串流影像中的一幀，或是前述任一者的部分擷取圖形。
藉由數個卷積神經網路單元針對相同人的不同面相特質進行人臉圖像訓練，可以降低來自其他卷積神經網路單元的噪訊，並提高特徵向量提取階段的相似性。由此而產生的人臉識別效果的準確性會增加。
1:計算器
2:人臉圖像學習資料庫
3:測試人臉圖像源
4:輸出裝置
10:輸出輸入介面
11:模式選擇模組
12:並行卷積神經網路模組
121:第一卷積神經網路單元
1211:第一特徵向量
1212:第一特徵向量
121A:第一測試特徵向量
122:第二卷積神經網路單元
1221:第二特徵向量
1222:第二特徵向量
123:第三卷積神經網路單元
1231:第三特徵向量
1233:第三特徵向量
123A:第三測試特徵向量
124:第四卷積神經網路單元
1241:第四特徵向量
125:第五卷積神經網路單元
1251:第五特徵向量
1252:第五特徵向量
125A:第五測試特徵向量
13:資料庫模組
14:ID判斷模組
A:45度正面照片
B:正面低頭照片
C:正面平視照片
D:右側面照片
E:左側面照片
F:染髮正面照
G:青年時期正面照片
H:測試人臉圖像
S01~S03:步驟
圖1為依照本發明實施方式的一種以並行卷積神經網路進行模式選擇的人臉識別的系統的元件圖。
圖2繪示該以並行卷積神經網路進行模式選擇的人臉識別的系統在一學習階段中的運作態樣。
圖3繪示該以並行卷積神經網路進行模式選擇的人臉識別的系統在一測試階段中的運作態樣。
圖4繪示計算票選ID的過程。
圖5為依照本發明實施方式的一種以並行卷積神經網路進行模式選擇的人臉識別的方法的流程圖。
本發明將藉由參照下列的實施方式而更具體地描述。
請見圖1，該圖為依照本發明實施方式的一種以並行卷積神經網路進行模式選擇的人臉識別的系統(以下簡稱本系統)的元件圖。本系統可安裝於一計算器1中，藉由計算器1的硬體架構而運作。安裝本系統的計算器1可以是，但不限於伺服器、工業電腦、桌上型電腦或筆記型電腦；其硬體架構可包含中央處理 器、記憶體、儲存裝置(比如硬碟)、輸出入單元等，但最好記憶體的數量要多一點，比如32G，且中央處理器的要能最好也能進行多工平行處理，處理速度快。這些硬體雖未繪示於圖1中，然其為計算機領域的技術人員所應了解的架構。此外，計算器1中重要硬體之一是輸出輸入介面10，其為計算器1與外界硬體透過網路或資料匯流排連接的重要軟韌體的總裝，可以包含網路卡、連接排線、無線通訊模組等硬體。以下所介紹關於本發明的各個模組，為利用或配合上述現有的計算器1的設備而運行之本系統的技術要件。因此，它們可以是軟體，包含了特定的程式碼與資料，而在作業系統下運行於至少一部份的硬體架構中(比如程式碼與相關資料檔案儲存於儲存裝置中，在作業系統的運作下暫存於記憶體，而為中央處理器動態的調用執行)。另一方面，該些模組也可以是特製硬體，比如特殊應用積體電路(Application-specific integrated circuit，ASIC)或外接卡，用以執行該些模組所賦予的作用。更有甚者，這些技術要件可以是部分是軟體、部分是硬體，依照產品設計人員的需求而有效整合，都在本專利所主張的技術範圍內。
本系統包含了一模式選擇模組11、一並行卷積神經網路模組12、一資料庫模組13及一ID判斷模組14。首先先介紹並行卷積神經網路模組12。並行卷積神經網路模組12內包括了數個彼此獨立運作的卷積神經網路單元。如同一般卷積神經網路的架構，每一個卷積神經網路單元具有至少一個卷積層來擷取圖項特徵，經過線性整流層與池化層的降維後，通過完全連接層輸出其學習或測試的結果。本發明的一個特徵是每一卷積神經網路單元是分別針對一種面相特質進行人臉圖像的學習或測試的，並行卷積神經網路模組12並非處理相同特質人臉圖像的平行運算結構。這裡，面相特質指的是卷積神經網路單元進行學習的人臉圖像的不同分類，依據的是取像方位及人臉特質。依照本發明，面相特質可以是人臉正面、人臉左側、人臉右側、人臉下方、性別或年齡層。不一定所有的面相 特質都要應用於本系統，一般都需要的是人臉正面、人臉左側與人臉右側。每一卷積神經網路單元可分別針對一種面相特質為一個以上接收的人臉圖像(無論是在進行學習或測試)提取一特徵向量，並將該特徵向量綁定特定的一ID。要說明的是，每一卷積神經網路單元可以為單獨一幀人臉圖像進行特徵向量提取(可用於學習或測試)，也可以對同一人的多數張人臉圖像進行特徵向量提取(通常用於學習)。將特徵向量綁定特定的ID是用於學習結果的輸出，而特定的ID是屬於特定人的。也就是說，每一卷積神經網路單元在為特定人的一種面相特質的所有人臉圖像進行學習結束之後，得到的唯一一個特徵向量將被綁定到該特定人所有的ID。在本實施例中，並行卷積神經網路模組12包含了5個卷積神經網路單元：第一卷積神經網路單元121針對正面的人臉圖像進行處理，第二卷積神經網路單元122針對右側的人臉圖像進行處理，第三卷積神經網路單元123針對左側的人臉圖像進行處理，第四卷積神經網路單元124針對青少年時期的人臉圖像進行處理，第五卷積神經網路單元125針對男人特徵的人臉圖像進行處理。並行卷積神經網路模組12的運作方式將於後方詳細說明。
模式選擇模組11是一種選擇器，可接收外部(比如由人臉圖像學習資料庫2)傳入的複數幀人臉圖像，並判斷每一人臉圖像的面相特質。也就是說，模式選擇模組11為每一張人臉圖像決定是哪一種面相特質(人臉正面、左側等)，並將每一人臉圖像傳送給對應其面相特質的至少一卷積神經網路單元。更仔細地說明，每一張人臉圖像不一定只具有一種面相特質，比如一張45度正面照片，也是一張45度左側照片，因此該張照片的檔案便可以同時被輸入到第一卷積神經網路單元121與第三卷積神經網路單元123中，進行學習或測試。要注意的是，先不論檔案格式，輸入卷積神經網路單元的人臉圖像可以是彩圖、灰階圖，甚至是素描像，只要該人臉圖像可以代表一特定人並呈現該特定人的面部特徵，讓普通人一眼便能由該人臉圖像認出該特定人。
資料庫模組13是本系統用來儲存學習結果的技術元件。資料庫模組13可依照不同的卷積神經網路單元，儲存其產生的特徵向量與綁定的ID14。
本系統的運作上，分為一學習階段與一測試階段，分別進行對多個人的多張人臉圖像進行學習，以及根據學習結果來判斷後續輸入的測試人臉圖像是否屬於資料庫模組13中某一ID對應之人。對於學習階段的作業，請參見圖2，該圖繪示本系統在學習階段中的運作態樣。簡而言之，於學習階段中，模式選擇模組11為具有對應ID的每一特定人，依照面相特質分別輸入至少一幀關於該特定人的人臉圖像到相關的至少一卷積神經網路單元中，以建立資料庫模組13的內容。如圖2所繪示，人臉圖像學習資料庫2(實作上也可以是個相片集，儲存於儲存裝置中，但有依照不同人而分類)中提供了許多人的多張人臉圖像。以某甲為例，資料庫模組13中有他的45度正面照片A、正面低頭照片B、正面平視照片C、右側面照片D、左側面照片E、染髮正面照F及青年時期正面照片G。模式選擇模組11為這些照片依照面相特質分類，將45度正面照片A輸入第三卷積神經網路單元123，將正面低頭照片B輸入第一卷積神經網路單元121，將正面平視照片C輸入第一卷積神經網路單元121與第五卷積神經網路單元125，將右側面照片D輸入第二卷積神經網路單元122，將左側面照片E輸入第三卷積神經網路單元123，將染髮正面照F輸入第五卷積神經網路單元125，將青年時期正面照片G輸入第一卷積神經網路單元121、第四卷積神經網路單元124與第五卷積神經網路單元125。五個卷積神經網路單元依照輸入資料學習，並分別輸出學習結果為第一特徵向量1211、第二特徵向量1221、第三特徵向量1231、第四特徵向量1241與第五特徵向量1251。依照本發明，特徵向量的型態不拘，它可以是一連串代表特徵的二進位、八進位、十進位或十六進位的數字，其數量依照精準程度而有不同。在本實施例中，請見繪示計算票選ID的過程之圖4，為了簡化說明，茲將每一特徵向量以8位元的0與1來表示。前述的這5個特徵向量分別綁定了代表某甲的ID， 00001。接著，並行卷積神經網路模組12將學習結果產生的特徵向量與綁定的ID建立於資料庫模組13中。之後，本系統繼續於學習階段中進行其他人的人臉圖像學習。然而，並非每個ID都會綁定到所有5個各自的特徵向量。以ID00002來說，該ID對應的人並沒有提供青少年時期的人臉圖像進行學習，因此ID00002只有它綁定的第一特徵向量1212、第二特徵向量1222、第三特徵向量1232與第五特徵向量1252。這些學習後的成果可應用於有門禁的人員進出管制。
對於本系統測試階段的作業，請參見圖3，該圖繪示本系統在測試階段中的運作態樣。在測試階段中，本系統外部的一測試人臉圖像源3，比如監視器的串流監視影片設備，傳來一張測試人臉圖像H，該測試人臉圖像H會經由本系統判定是否屬於資料庫模組13中ID所屬特定人的。這個工作首先由模式選擇模組11開始，判斷測試人臉圖像H的面相特質，將測試人臉圖像H傳送給對應其面相特質的至少一卷積神經網路單元。在此實施例中，測試人臉圖像H是個15度正面抬頭影像，被模式選擇模組11選擇輸入第一卷積神經網路單元121、第三卷積神經網路單元123與第五卷積神經網路單元125。接著，前述3個卷積神經網路單元依照測試人臉圖像H，分別計算出了第一測試特徵向量121A、第三測試特徵向量123A及第五測試特徵向量125A。接著ID判斷模組14執行以下作業。作業a：接收來自關於測試人臉圖像H的至少一卷積神經網路單元提取的至少一測試特徵向量，將該至少一測試特徵向量與資料庫模組13中儲存之對應的卷積神經網路單元的特徵向量進行比較。關於此步驟的說明，請復見圖4。圖4是以表列化的方式，說明計算票選ID的過程，其中展示了特徵向量是如何進行比較。圖4中，第一測試特徵向量121A為[1,0,1,1,0,0,0,1]，它會和相關的所有第一特徵向量1211、1212...等，逐一比較。同樣地，第三測試特徵向量123A與第五測試特徵向量125A也會分別做同樣的事。作業b：選出與該至少一測試特徵向量最接近的特徵向量所綁定的ID作為票選ID。依照本發明，二特徵向量間的接近程度可以該 二者間的距離來表示。在本實施例中，距離以二特徵向量對應內容元素的差異來顯示，比如第一測試特徵向量121A與第一特徵向量1211在第4個位元處不同，那麼距離就是1；第五測試特徵向量125A與第五特徵向量1211在第1與第8位元不同，距離就是2。然而，因為特徵向量的表示方法可以使用其它的進位法，因此距離還可以使用多為空間的歐式距離。依照圖4的結果，ID判斷模組14判斷第一測試特徵向量121A與第一特徵向量1211最接近，選擇了ID00001作為票選ID；第三測試特徵向量123A與某個第三特徵向量(未顯示於圖4表格中)最接近，選擇了該第三特徵向量綁定的ID00008作為票選ID；第五測試特徵向量125A與第五特徵向量1251最接近，選擇了ID00001作為票選ID。最後，步驟c：計算所有票選ID中出現次數最多者。由圖4可知，ID00001作為票選ID兩次，多於ID00008。因此，測試人臉圖像H是屬於ID00001所代表的人。本系統的測試結果，可以藉由輸出輸入介面10輸出到一輸出裝置4，比如液晶螢幕，上呈現。如果本系統應用於門禁管理，則該人為本系統所接受，可以放行。
以上的例子說明每一個卷積神經網路單元的運作結果等值，所以其票選ID也等價。但在一些應用中，比如某些人喜歡在生活中上妝，因此由其取得的測試人臉圖像在不同卷積神經網路單元的計算結果精確率會有差別，因此可以針對不同的卷積神經網路單元之票選ID給予不同的權重值來解決這種問題，越精確的卷積神經網路單元之票選ID給予越高的權重值。依照本發明，模式選擇模組11可進一步為接收的測試人臉圖像調整每一相關卷積神經網路單元的權重值，從而ID判斷模組14使用該些權重值分別調整每一票選ID的權重，使來自相關卷積神經網路單元的票選ID於計算時，次數可以不為1。以圖4的例子來說明，如果給予第一卷積神經網路單元121票選ID權重值0.8、第三卷積神經網路單元123票選ID權重值1.5，第五卷積神經網路單元125票選ID權重值0.6，那麼DI00001 作為票選ID的計算次數變成了1.4次，而DI00008作為票選ID的計算次數變成了1.5次，判斷結果反而是測試人臉圖像H是屬於ID00008所代表的人。
另外，不一定每一個卷積神經網路單元的運作結果都要計算為一次的票選，這是因為比較的2個特徵向量之內容元素彼此都不同，或是其間的差異超過了預設的容忍範圍，容易造成誤判(也就是在一群都不像的人臉圖像中，強迫找出一個最接近的)。本系統處理的方式可以是若有一卷積神經網路單元所有產生並儲存於資料庫模組13中的特徵向量與測試特徵向量H間的每一對應元素都不相同，或其間距離高於一預設值，則ID判斷模組14判定無票選ID來自該卷積神經網路單元。
要注意的是，本發明所提及之人臉圖像(包含測試人臉圖像)型態上可以是影像檔、影音檔案中影像部分的一幀、串流影像中的一幀，或是前述任一者的部分擷取圖形。
由本系統前述的說明可以推得一種以並行卷積神經網路進行模式選擇的人臉識別的方法(以下簡稱本方法)，本方法可應用於一計算器。請見圖5，圖5為本方法的流程圖。由該流程圖可知本方法包含步驟：建立一並行卷積神經網路模組，該並行卷積神經網路模組包括複數個卷積神經網路單元，每一卷積神經網路單元針對一面相特質為一個以上接收的人臉圖像提取一特徵向量，並將該特徵向量綁定特定的一ID；於一學習階段中，以一模式選擇模組為具有對應ID的每一特定人，依照面相特質判斷，分別將接收到之外部輸入的至少一幀關於該特定人的人臉圖像輸入到相關的複數個卷積神經網路單元中至少一者，以將產生的特徵向量與綁定的ID建立於一資料庫模組中；及於一測試階段中，由該模式選擇模組判斷一測試人臉圖像的該面相特質，將該測試人臉圖像傳送給對應其面相特質的至少一卷積神經網路單元，並以該ID判斷模組執行以下作業：a.接收來自關於一測試人臉圖像的至少一卷積神經網路單元提取的至少一測試特徵向 量，將該至少一測試特徵向量與該資料庫模組中儲存之對應的卷積神經網路單元的特徵向量進行比較；b.選出與該至少一測試特徵向量最接近的特徵向量所綁定的ID作為票選ID；及c.計算所有票選ID中出現次數最多者。
如同本系統所揭示者，該面相特質可為人臉正面、人臉左側、人臉右側、人臉下方、性別或年齡層；該模式選擇模組可進一步為接收的該測試人臉圖像調整每一相關卷積神經網路單元的權重值，從而該ID判斷模組使用該些權重值分別調整每一票選ID的權重，使來自相關卷積神經網路單元的票選ID於計算時，次數可以不為1；若有一卷積神經網路單元所有產生並儲存於該資料庫模組中的特徵向量與該測試特徵向量間的每一對應元素都不相同，或其間距離高於一預設值，則該ID判斷模組判定無票選ID來自該卷積神經網路單元；人臉圖像為影像檔、影音檔案中影像部分的一幀、串流影像中的一幀，或是前述任一者的部分擷取圖形。
雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S01~S03:步驟

Claims (8)

  1. 一種以並行卷積神經網路進行模式選擇的人臉識別的系統，安裝運行於一計算器，包含：一並行卷積神經網路模組，包括複數個卷積神經網路單元，每一卷積神經網路單元針對一面相特質為一個以上接收的人臉圖像提取一特徵向量，並將該特徵向量綁定特定的一ID；一模式選擇模組，接收外部傳入的複數幀人臉圖像、判斷每一人臉圖像的該面相特質，並將每一人臉圖像傳送給對應其面相特質的至少一卷積神經網路單元；一資料庫模組，依照不同的卷積神經網路單元，儲存其產生的特徵向量與綁定的ID；以及一ID判斷模組，於一測試階段中執行以下作業：a.接收來自關於一測試人臉圖像的至少一卷積神經網路單元提取的至少一測試特徵向量，將該至少一測試特徵向量與該資料庫模組中儲存之對應的卷積神經網路單元的特徵向量進行比較；b.選出與該至少一測試特徵向量最接近的特徵向量所綁定的ID作為票選ID；及c.計算所有票選ID中出現次數最多者，其中，於一學習階段中，該模式選擇模組為具有對應ID的每一特定人，依照面相特質分別輸入至少一幀關於該特定人的人臉圖像到相關的至少一卷積神經網路單元中，以建立該資料庫模組的內容，該模式選擇模組進一步為接收的該測試人臉圖像調整每一相關卷積神經網路單元的權重值，從而該ID判斷模組使 用該些權重值分別調整每一票選ID的權重，使來自相關卷積神經網路單元的票選ID於計算時，次數可以不為1。
  2. 如請求項1所述的以並行卷積神經網路進行模式選擇的人臉識別的系統，其中該面相特質為人臉正面、人臉左側、人臉右側、人臉下方、性別或年齡層。
  3. 如請求項1所述的以並行卷積神經網路進行模式選擇的人臉識別的系統，其中若有一卷積神經網路單元所有產生並儲存於該資料庫模組中的特徵向量與該測試特徵向量間的每一對應元素都不相同，或其間距離高於一預設值，則該ID判斷模組判定無票選ID來自該卷積神經網路單元。
  4. 如請求項1所述的以並行卷積神經網路進行模式選擇的人臉識別的系統，其中人臉圖像為影像檔、影音檔案中影像部分的一幀、串流影像中的一幀，或是前述任一者的部分擷取圖形。
  5. 一種以並行卷積神經網路進行模式選擇的人臉識別的方法，應用於一計算器，包含步驟：建立一並行卷積神經網路模組，該並行卷積神經網路模組包括複數個卷積神經網路單元，每一卷積神經網路單元針對一面相特質為一個以上接收的人臉圖像提取一特徵向量，並將該特徵向量綁定特定的一ID；於一學習階段中，以一模式選擇模組為具有對應ID的每一特定人，依照面相特質判斷，分別將接收到之外部輸入的至少一幀關於該特定人的人臉圖像輸入到相關的複數個卷積神經網路單元中至少一者，以將產生的特徵向量與綁定的ID建立於一資料庫模組中；及 於一測試階段中，由該模式選擇模組判斷一測試人臉圖像的該面相特質，將該測試人臉圖像傳送給對應其面相特質的至少一卷積神經網路單元，並以該ID判斷模組執行以下作業：a.接收來自關於一測試人臉圖像的至少一卷積神經網路單元提取的至少一測試特徵向量，將該至少一測試特徵向量與該資料庫模組中儲存之對應的卷積神經網路單元的特徵向量進行比較；b.選出與該至少一測試特徵向量最接近的特徵向量所綁定的ID作為票選ID；及c.計算所有票選ID中出現次數最多者，其中該模式選擇模組進一步為接收的該測試人臉圖像調整每一相關卷積神經網路單元的權重值，從而該ID判斷模組使用該些權重值分別調整每一票選ID的權重，使來自相關卷積神經網路單元的票選ID於計算時，次數可以不為1。
  6. 如請求項5所述的並行卷積神經網路進行模式選擇的人臉識別的方法，其中該面相特質為人臉正面、人臉左側、人臉右側、人臉下方、性別或年齡層。
  7. 如請求項5所述的並行卷積神經網路進行模式選擇的人臉識別的方法，其中若有一卷積神經網路單元所有產生並儲存於該資料庫模組中的特徵向量與該測試特徵向量間的每一對應元素都不相同，或其間距離高於一預設值，則該ID判斷模組判定無票選ID來自該卷積神經網路單元。
  8. 如請求項5所述的以並行卷積神經網路進行模式選擇的人臉識別的方法，其中人臉圖像為影像檔、影音檔案中影像部分的一幀、串流影像中的一幀，或是前述任一者的部分擷取圖形。
TW110144210A 2021-11-26 2021-11-26 以並行卷積神經網路進行模式選擇的人臉識別的系統和方法 TWI819417B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110144210A TWI819417B (zh) 2021-11-26 2021-11-26 以並行卷積神經網路進行模式選擇的人臉識別的系統和方法
US17/713,636 US20230169792A1 (en) 2021-11-26 2022-04-05 System and method of mode selection face recognition with parallel cnns

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110144210A TWI819417B (zh) 2021-11-26 2021-11-26 以並行卷積神經網路進行模式選擇的人臉識別的系統和方法

Publications (2)

Publication Number Publication Date
TW202321979A TW202321979A (zh) 2023-06-01
TWI819417B true TWI819417B (zh) 2023-10-21

Family

ID=86500510

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110144210A TWI819417B (zh) 2021-11-26 2021-11-26 以並行卷積神經網路進行模式選擇的人臉識別的系統和方法

Country Status (2)

Country Link
US (1) US20230169792A1 (zh)
TW (1) TWI819417B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230196726A1 (en) * 2021-12-22 2023-06-22 The Nielsen Company (Us), Llc Automated Facial Recognition Library Construction with Privacy Protection
CN116824280B (zh) * 2023-08-30 2023-11-24 安徽爱学堂教育科技有限公司 基于微表情变化的心理预警方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712742B2 (en) * 2004-01-21 2017-07-18 Fujifilm Corporation Photographic apparatus and method using human face detection
US10491895B2 (en) * 2016-05-23 2019-11-26 Intel Corporation Fast and robust human skin tone region detection for improved video coding
CN111680664A (zh) * 2020-06-22 2020-09-18 南方电网科学研究院有限责任公司 一种人脸图像年龄识别方法、装置和设备
TW202119273A (zh) * 2019-10-31 2021-05-16 大仁科技大學 人臉偵測與辨識方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712742B2 (en) * 2004-01-21 2017-07-18 Fujifilm Corporation Photographic apparatus and method using human face detection
US10491895B2 (en) * 2016-05-23 2019-11-26 Intel Corporation Fast and robust human skin tone region detection for improved video coding
TW202119273A (zh) * 2019-10-31 2021-05-16 大仁科技大學 人臉偵測與辨識方法
CN111680664A (zh) * 2020-06-22 2020-09-18 南方电网科学研究院有限责任公司 一种人脸图像年龄识别方法、装置和设备

Also Published As

Publication number Publication date
TW202321979A (zh) 2023-06-01
US20230169792A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
TWI819417B (zh) 以並行卷積神經網路進行模式選擇的人臉識別的系統和方法
US20210326576A1 (en) Identity verification method and apparatus, computer device and storage medium
WO2020253127A1 (zh) 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
WO2021120834A1 (zh) 基于生物识别的手势识别方法、装置、计算机设备及介质
CN110097606A (zh) 面部合成
WO2015165372A1 (en) Method and apparatus for classifying object based on social networking service, and storage medium
US9715638B1 (en) Method and apparatus for identifying salient subimages within a panoramic image
CN109145766A (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN110378438A (zh) 标签容错下的图像分割模型的训练方法、装置及相关设备
CN109408058B (zh) 基于机器学习的前端辅助开发方法和装置
CN111126347B (zh) 人眼状态识别方法、装置、终端及可读存储介质
US20230095182A1 (en) Method and apparatus for extracting biological features, device, medium, and program product
Yi et al. Multi-modal learning for affective content analysis in movies
CN112016450A (zh) 机器学习模型的训练方法、装置和电子设备
Liu et al. Multitask feature selection by graph-clustered feature sharing
US20230334893A1 (en) Method for optimizing human body posture recognition model, device and computer-readable storage medium
CN112381019B (zh) 复合表情识别方法、装置、终端设备及存储介质
CN111475661B (zh) 一种基于有限标签构造场景图的方法、装置及计算机设备
US20220300740A1 (en) System and method for enhancing machine learning model for audio/video understanding using gated multi-level attention and temporal adversarial training
CN111275683B (zh) 图像质量评分处理方法、系统、设备及介质
CN112101109A (zh) 人脸关键点检测模型训练方法、装置、电子设备和介质
CN109960745A (zh) 视频分类处理方法及装置、存储介质和电子设备
KR101961462B1 (ko) 객체 인식 방법 및 장치
CN110765917A (zh) 适用于人脸识别模型训练的主动学习方法、装置、终端、介质
CN114596287A (zh) 图像质量确定方法、装置、设备和存储介质