TWI413936B - 人臉偵測裝置及其人臉偵測方法 - Google Patents

人臉偵測裝置及其人臉偵測方法 Download PDF

Info

Publication number
TWI413936B
TWI413936B TW098115254A TW98115254A TWI413936B TW I413936 B TWI413936 B TW I413936B TW 098115254 A TW098115254 A TW 098115254A TW 98115254 A TW98115254 A TW 98115254A TW I413936 B TWI413936 B TW I413936B
Authority
TW
Taiwan
Prior art keywords
region
face
area
mouth
rectangular
Prior art date
Application number
TW098115254A
Other languages
English (en)
Other versions
TW201040846A (en
Inventor
Kai Tai Song
Meng Ju Han
Shih Chieh Wang
Ming Feng Chiang
Chia Ho Lin
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to TW098115254A priority Critical patent/TWI413936B/zh
Priority to US12/608,013 priority patent/US8437515B2/en
Publication of TW201040846A publication Critical patent/TW201040846A/zh
Application granted granted Critical
Publication of TWI413936B publication Critical patent/TWI413936B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

人臉偵測裝置及其人臉偵測方法
本發明是有關於一種人臉偵測裝置及其人臉偵測方法，且特別是有關於一種降低運算量之人臉偵測裝置及其人臉偵測方法。
傳統人臉偵測技術多先以膚色偵測，將可能為人臉的區域定義出來，再透過圖形比對的方式偵測出人臉可能位置。然而，圖形比對的方式將造成運算量相當地龐大，所以並不適合使用於如個人數位助理(Personal Digital Assistant,PDA)、數位相機或其他嵌入式系統中。不僅如此，膚色偵測容易受到光源影響，而影響人臉偵測結果的正確性。
本發明係有關於一種人臉辨識裝置及其人臉辨識方法，其至少包括如下優點：
一、運算量低且大幅提昇運算速度。
二、對於不同光源具有較大的容忍性。
三、有效對抗取像過程中之複雜背景或雜訊產生。
根據本發明之一方面，提出一種人臉偵測裝置。人臉偵測裝置包括矩形積分影像單元、特徵匹配單元及串列及評分單元。矩形積分影像根據原始影像提供矩形積分影像。特徵匹配單元根據矩形人臉特徵樣板決定人臉候選區域，並根據矩形積分影像計算矩形人臉特徵樣板之特徵值。串列及評分單元判斷人臉候選區域是否符合串列條件，當人臉候選區域符合串列條件，根據特徵值對人臉候選區域評分，若人臉候選區域之分數小於閥值時，人臉候選區域即為非人臉區域。
根據本發明之另一方面，提出一種人臉偵測方法。人臉偵測方法包括根據原始影像提供矩形積分影像；根據矩形人臉特徵樣板決定人臉候選區域；根據矩形積分影像計算矩形人臉特徵樣板之特徵值；判斷人臉候選區域是否符合串列條件；當人臉候選區域符合串列條件，根據特徵值對人臉候選區域評分；以及若人臉候選區域之分數小於閥值時，人臉候選區域即為非人臉區域。
為讓本發明之上述內容能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下：
為了改善傳統人臉辨識技術運算重大且易受光源影響的缺點，下述實施例揭露一種人臉辨識裝置及其人臉辨識方法。人臉偵測裝置至少包括矩形積分影像(Rectangle Integral Image,RII)單元、特徵匹配(Feature Mapping)單元及串列及評分(Cascade and Score)單元。矩形積分影像單元根據原始影像提供矩形積分影像。特徵匹配單元根據矩形人臉特徵樣板決定人臉候選區域，並根據矩形積分影像計算矩形人臉特徵樣板之特徵值。串列及評分單元判斷人臉候選區域是否符合串列條件？當人臉候選區域符合串列條件，根據特徵值對人臉候選區域評分。若人臉候選區域之分數小於一閥值時，人臉候選區域即為非人臉區域。
請參照第1圖，第1圖繪示係為依照本發明第一實施例之人臉辨識裝置之方塊圖平均值之示意圖。人臉偵測裝置10包括矩形積分影像單元110、特徵匹配單元120、串列及評分單元130、區塊平均單元140、分類器150及人臉及非人臉資料庫160。矩形積分影像單元110根據原始影像OI提供矩形積分影像RII。特徵匹配單元120根據矩形人臉特徵樣板決定人臉候選區域HFC，並根據矩形積分影像RII計算矩形人臉特徵樣板之特徵值FV。串列及評分單元130判斷人臉候選區域HFC是否符合串列條件？當人臉候選區域HFC符合串列條件，根據特徵值FV對人臉候選區域HFC評分。若人臉候選區域HFC之分數小於一閥值時，人臉候選區域HFC即為非人臉區域。
需特別說明的是，倘若前述之矩形人臉特徵樣板及串列條件足以精確地判別人臉候選區域HFC為人臉區域或非人臉區域，則可不再經由區塊平均單元140、分類器150及人臉及非人臉資料庫160等後續處理。反之，人臉偵測裝置10亦可利用區塊平均單元140、分類器150及人臉及非人臉資料庫160進行進一步的後續處理，以判別人臉候選區域為人臉區域或非人臉區域。
區塊平均(Block Average)單元140將人臉候選區域HFC分成m×m等分，並計算每一等分之平均值，以輸出特徵向量V1。人臉及非人臉資料庫160儲存多張人臉影像及非人臉影像，並根據人臉影像及非人臉影像提供特徵向量V2。分類器150根據特徵向量V1及特徵向量V2決定人臉候選區域HFC是否為人臉區域。
請同時參照第1圖至第4圖，第2圖繪示係為在座標(x,y)處之矩形積分影像之示意圖，第3圖繪示係為原始影像之灰階值之示意圖，第4圖繪示係為第3圖之矩形積分影像之示意圖。所謂的矩形積分影像係如第2圖繪示表示由原點座標(0,0)至座標(x,y)間所圍成之方形區域內灰階值的總和RII(x,y)。其定義如下公式(1)所述：
假設原始影像OI之灰階值如第3圖繪示，矩形積分影像單元110根據原始影像OI之灰階值及套用公式(1)後提供如第4圖繪示之矩形積分影像RII。舉例來說，由原點座標(0,0)至座標(x1,y1)間所圍成之方形區域內灰階值的總和等於第4圖繪示之RII(x1,y1)=5＋4＋3＋2=14。另外，由原點座標(0,0)至座標(x2,y2)間所圍成之方形區域內灰階值的總和等於第4圖繪示之RII(x2,y2)=5＋4＋3＋2＋1＋5＋2＋3＋5＋2＋2＋3=37。
請同時參照第1圖、第5圖及第6圖，第5圖繪示係為原始影像之灰階值之示意圖，第6圖繪示為第5圖之矩形積分影像之示意圖。透過矩形積分影像單元110提供之矩形積分影像RII，之後在需要計算畫面中任意矩形區域面積時，只需由一個加法及二個減法之運算即能完成。舉例來說，當矩形積分影像單元110計算之方形區域510內灰階值的總和時，並非將方形區域510內逐一畫素去做相加，而是將RII(x6,y6)＋RII(x3,y3)-RII(x4,y4)-RII(x5,y5)=30＋5-10-10=15。由於矩形積分影像單元110並非將方形區域510內逐一畫素去做相加，因此大幅的降低運算量，特別適合於不具強大計算能力之嵌入式硬體。
請同時參照第1圖及第7圖，第7圖繪示係為矩形人臉特徵樣板之示意圖。前述特徵匹配單元120根據矩形人臉特徵樣板決定人臉候選區域，並根據矩形積分影像RII計算矩形人臉特徵樣板之特徵值FV。矩形人臉特徵樣板可視實際應用而決定，且矩形人臉特徵樣板的個數亦可視需求而對應調整。舉例來說，矩形人臉特徵樣板包括第7圖繪示之矩形人臉特徵樣板710、矩形人臉特徵樣板720、730、矩形人臉特徵樣板740、矩形人臉特徵樣板750、矩形人臉特徵樣板760、矩形人臉特徵樣板770及矩形人臉特徵樣板780。而對應於矩形人臉特徵樣板710、720、730、740、750、760、770及780之特徵值FV分別為FV1、特徵值FV2、特徵值FV3、特徵值FV4、特徵值FV5、特徵值FV6、特徵值FV7及特徵值FV8。
由於人臉之長寬比約為1.2：1，因此，矩形人臉特徵樣板710至780之高度H與寬度W之比例較佳地設定為H：W=1.2：1。矩形人臉特徵樣板710包括上下面積實質上相同之上半區域712及下半區域714。矩形人臉特徵樣板710係定義上半區域712之灰階值總和小於下半區域714之灰階值總和。其中，若上半區域712之灰階值總和等於j且下半區域714之灰階值總和等於k，則矩形人臉特徵樣板710之特徵值FV1等於。
矩形人臉特徵樣板720包括左右面積實質上相同之左半區域722及右半區域724。矩形人臉特徵樣板720係定義左半區域722之灰階值總和實質上等於右半區域724之灰階值總和。其中，若左半區域722之灰階值總和等於p且右半區域724之灰階值總和等於q，則矩形人臉特徵樣板720之特徵值FV2等於。
矩形人臉特徵樣板730包括左上區域732、右下區域734、右上區域736及左下區域738。右下區域734係與左上區域斜732對稱，且左下區域738係與右上區域736斜對稱。矩形人臉特徵樣板730係定義左上區域732及右下區域734之灰階值總和實質上等於右上區域736及左下區域738之灰階值總和。其中，若左上區域732及右下區域734之灰階值總和之灰階值總和等於r且右上區域736及左下區域738之灰階值總和等於s，則矩形人臉特徵樣板730之特徵值FV3等於。
矩形人臉特徵樣板740包括眼睛區域742及眼下區域744。眼睛區域742之寬度等於眼下區域744之寬度等於，眼睛區域742及眼下區域744之長度總和等於。矩形人臉特徵樣板740係定義眼睛區域742之灰階值總和小於眼下區域744之灰階值總和。其中，若眼睛區域742之灰階值總和等於t且眼下區域744之灰階值總和等於u，則矩形人臉特徵樣板740之特徵值FV4等於。
矩形人臉特徵樣板750包括眉心區域752、眉毛區域754及眉毛區域756。眉心區域752、眉毛區域754及眉毛區域756之寬度總和等於，眉心區域752之長度等於眉毛區域754之長度等於眉毛區域756之長度等於。矩形人臉特徵樣板750係定義眉心區域752之灰階值總和大於眉毛區域754及眉毛區域756之灰階值總和之二分之一。矩形人臉特徵樣板750係定義眉心區域752之灰階值總和大於眉心兩側區域754之灰階值總和。其中，若眉心區域752之灰階值總和等於v，眉毛區域754之灰階值總和等於w且眉毛區域756之灰階值總和等於z，則矩形人臉特徵樣板750之特徵值FV5等於。
矩形人臉特徵樣板760包括嘴巴區域762，嘴巴區域762包括嘴巴左上角區域762(1)、嘴巴正上區域762(2)、嘴巴右上角區域762(3)、嘴角區域762(4)、嘴巴中心區域762(5)、嘴角區域762(6)、嘴巴左下角區域762(7)、嘴巴正下區域762(8)及嘴巴右下區域762(9)。矩形人臉特徵樣板760係定義嘴巴中心區域762(5)之灰階值總和大於嘴角區域762(4)及嘴角區域762(6)之灰階值總和之二分之一。其中，若嘴巴中心區域760(5)之灰階值總和等於e，嘴角區域760(4)之灰階值總和等於f且嘴角區域760(3)之灰階值總和等於g，則矩形人臉特徵樣板760之特徵值FV6等於。
矩形人臉特徵樣板770包括嘴巴區域772，嘴巴區域772包括嘴巴左上角區域772(1)、嘴巴正上區域772(2)、嘴巴右上角區域772(3)、嘴角區域772(4)、嘴巴中心區域772(5)、嘴角區域772(6)、嘴巴左下角區域772(7)、嘴巴正下區域772(8)及嘴巴右下區域772(9)。其中，嘴巴左上角區域772(1)、嘴巴正上區域772(2)及嘴巴右上角區域772(3)屬於嘴巴上區域，嘴角區域772(4)、嘴巴中心區域772(5)及嘴角區域772(6)屬於嘴巴中區域，而嘴巴左下角區域772(7)、嘴巴正下區域772(8)及嘴巴右下區域772(9)屬於嘴巴下區域。矩形人臉特徵樣板770係定義嘴巴上區域之灰階值總和大於該嘴巴下區域之灰階值總和。其中，若嘴巴左上角區域772(1)之灰階值總和等於a、嘴巴正上區域772(2)之灰階值總和等於b、嘴巴右上角區域772(3)之灰階值總和等於c、嘴角區域772(4)之灰階值總和等於d、嘴巴中心區域772(5)之灰階值總和等於e、嘴角區域772(6)之灰階值總和等於f、嘴巴左下角區域772(7)之灰階值總和等於g、嘴巴正下區域772(8)之灰階值總和等於h及嘴巴右下區域772(9)之灰階值總和等於i，則矩形人臉特徵樣板770之特徵值FV7等於
矩形人臉特徵樣板780包括嘴巴區域782，嘴巴區域782包括嘴巴左上角區域782(1)、嘴巴正上區域782(2)、嘴巴右上角區域782(3)、嘴角區域782(4)、嘴巴中心區域782(5)、嘴角區域782(6)、嘴巴左下角區域782(7)、嘴巴正下區域782(8)及嘴巴右下區域782(9)。嘴巴右下角區域782(9)係與嘴巴左上角區域782(1)斜對稱，且嘴巴左下角區域782(7)係與嘴巴右上角區域782(3)斜對稱。矩形人臉特徵樣板780係定義嘴巴左上角區域782(1)及嘴巴右下角區域782(9)之灰階值總和實質上等於嘴巴右上角區域782(3)及嘴巴左下角區域782(7)之灰階值總和。其中，若嘴巴左上角區域782(1)之灰階值總和等於a，嘴巴右下角區域782(9)之灰階值總和等於i，右上角區域782(3)之灰階值總和等於c，嘴巴左下角區域782(7)之灰階值總和等於g，則矩形人臉特徵樣板770之特徵值FV8等於。
請同時參照第1圖及第8圖，第8圖繪示係為串列條件之示意圖。前述串列及評分單元130判斷人臉候選區域HFC是否符合串列條件？亦即，串列及評分單元130判斷部份特徵值FV是否符合串列條件？串列條件可視實際應用而決定，且串列條件的個數亦可視需求而對應調整。舉例來說，串列條件包括第8圖繪示之串列條件810、串列條件820、串列條件830、串列條件840及串列條件850。
串列條件810定義矩形人臉特徵樣板740之特徵值FV4大於等於10%。亦即，。串列條件820定義矩形人臉特徵樣板750之特徵值FV5大於等於10%。亦即，。串列條件830定義矩形人臉特徵樣板760之特徵值FV6大於等於5%。亦即，。串列條件840定義矩形人臉特徵樣板770之特徵值FV7大於等於100%。亦即，。串列條件850定義矩形人臉特徵樣板780之特徵值FV8小於等於5%。亦即，
串列及評分單元130根據特徵值FV4、特徵值FV5、特徵值FV6、特徵值FV7及特徵值FV8依序判斷是否符合串列條件810、串列條件820、串列條件830、串列條件840及串列條件850。當特徵值FV4符合串列條件810時，串列及評分單元130才進一步判斷特徵值FV5是否符合串列條件820。當特徵值FV5符合串列條件820時，串列及評分單元130才進一步判斷特徵值FV6是否符合串列條件830。之後，當特徵值FV6符合串列條件830時，串列及評分單元130才進一步判斷特徵值FV7是否符合串列條件840。最後，當特徵值FV7符合串列條件840時，串列及評分單元130才進一步判斷特徵值FV8是否符合串列條件850。串列條件810、串列條件820、串列條件830、串列條件840及串列條件850之中，若有任何一項不成立則串列及評分單元130將人臉候選區域FHC判定為非人臉區域。
請同時參照第1圖及第9圖，第9圖繪示係為評分表之示意圖。前述串列及評分單元130根據評分表90及特徵值FV對人臉候選區域FHC進行評分。其中，評分表90可視實際應用而彈性調整。由於一張原始影像OI中可能有多個人臉候選區域FHC，因此，前述串列及評分單元130可以由多個人臉候選區域FHC中進一步篩選出分數較高之人臉候選區域FHC。舉例來說，前述閥值例如為60分，若人臉候選區域FHC之分數小於60分時，人臉候選區域FHC即為非人臉區域。
請同時參照第1圖、第10圖、第11圖及第12圖，第10圖繪示係為人臉候選區域之示意圖，第11圖繪示係為將人臉候選區域分為64等分之示意圖，第12圖繪示係為64等分之灰階平均值之示意圖。前述區塊平均(Block Average)單元140將如第10圖繪示之人臉候選區域HFC分成如第11圖繪示之8×8等分。區塊平均單元140並計算各64等分中之灰階平均值，如第12圖所示。區塊平均單元140根據64等分之灰階平均值獲得一64維度的特徵向量V1。
請同時參照第1圖及第13圖，第13圖繪示係為支持向量機(Support Vector Machine,SVC)之示意圖。前述分類器150例如係由支持向量機(Support Vector Machine,SVC)、主成份分析(Principal Component Analysis,PCA)或特徵臉(Eigenface)所實現。為方便說明起見，本實施例之分類器150係以支持向量機為例說明。在辨別兩類的問題中，支持向量機可以找出兩類之間的分割曲面(Separating Hyperplane)13，使相同一類的樣本同屬於此分割曲面13的一側。
前述人臉及非人臉資料庫160儲存多張人臉影像及非人臉影像，並根據人臉影像及非人臉影像提供特徵向量V2。分類器150根據特徵向量V1及特徵向量V2決定人臉候選區域HFC是否為人臉區域。
請同時參照第1圖及第14圖，第14圖繪示係為依照本發明實施例之一種人臉辨識方法之流程圖。首先如步驟1410所示，矩形積分影像單元110根據原始影像OI提供矩形積分影像RII。接著如步驟1412所示，特徵匹配單元120根據矩形人臉特徵樣板決定人臉候選區域FHC，並根據矩形積分影像RII計算矩形人臉特徵樣板之特徵值FV。跟著如步驟1414所示，串列及評分單元130判斷人臉候選區域FHC是否符合串列條件？若人臉候選區域FHC不符合串列條件，則如步驟1416所示，人臉候選區域FHC為非人臉區域。相反地，若人臉候選區域FHC符合串列條件，則進一步如步驟1418所示，串列及評分單元130對人臉候選區域FHC評分。接著如步驟1420所示，串列及評分單元130判斷人臉候選區域FHC之分數是否小於閥值？若人臉候選區域FHC之分數小於閥值，則如步驟1416所示，人臉候選區域FHC為非人臉區域。相反地，若人臉候選區域FHC之分數不小於閥值，則如步驟1422所示，分類器150根據特徵向量V1及特徵向量V2判斷人臉候選區域FHC是否為人臉區域。
本發明上述實施例所揭露之人臉辨識裝置及其人臉辨識方法，具有多項優點，以下僅列舉部分優點說明如下：
一、運算量低且大幅提昇運算速度。
二、對於不同光源具有較大的容忍性。
三、有效對抗取像過程中之複雜背景或雜訊產生。
綜上所述，雖然本發明已以一較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10．．．人臉偵測裝置
13．．．分割曲面
90．．．評分表
110．．．矩形積分影像單元
120．．．特徵匹配單元
130．．．串列及評分單元
140．．．區塊平均單元
150．．．分類器
160．．．人臉及非人臉資料庫
712．．．上半區域
714．．．下半區域
722．．．左半區域
724．．．右半區域
732．．．左上區域
734．．．右下區域
736．．．右上區域
738．．．左下區域
742．．．眼睛區域
744．．．眼下區域
752．．．眉心區域
754、756．．．眉毛區域
762、772、782．．．嘴巴區域
762(1)、772(1)、782(1)．．．嘴巴左上角區域
762(2)、772(2)、782(2)．．．嘴巴正上區域
762(3)、772(3)、782(3)．．．嘴巴右上角區域
762(4)、772(4)、782(4)、762(6)、772(6)、782(6)．．．嘴角區域
762(5)、772(5)、782(5)．．．嘴巴中心區域
762(7)、772(7)、782(7)．．．嘴巴左下角區域
762(8)、772(8)、782(8)．．．嘴巴正下區域
762(9)、772(9)、782(9)．．．嘴巴右下區域
1410、1412、1414、1416、1418、1420、1422、1424．．．步驟
OI．．．原始影像
RII．．．矩形積分影像
FV．．．特徵值
HFC．．．人臉候選區域
V1、V2．．．特徵向量
RI．．．矩形積分影像
W．．．寬度
H．．．長度
第1圖繪示係為依照本發明第一實施例之人臉辨識裝置之方塊圖平均值之示意圖。
第2圖繪示係為在座標(x,y)處之矩形積分影像之示意圖。
第3圖繪示係為原始影像之灰階值之示意圖。
第4圖繪示係為第3圖之矩形積分影像之示意圖。
第5圖繪示係為原始影像之灰階值之示意圖。
第6圖繪示為第5圖之矩形積分影像之示意圖。
第7A圖及第7B圖繪示係為矩形人臉特徵樣板之示意圖。
第8圖繪示係為串列條件之示意圖。
第9圖繪示係為評分表之示意圖。
第10圖繪示係為人臉候選區域之示意圖。
第11圖繪示係為將人臉候選區域分為64等分之示意圖。
第12圖繪示係為64等分之灰階平均值之示意圖。
第13圖繪示係為支持向量機(Support Vector Machine,SVC)之示意圖。
第14圖繪示係為依照本發明實施例之一種人臉辨識方法之流程圖。
1410、1412、1414、1416、1418、1420、1422、1424．．．步驟

Claims (20)

  1. 一種人臉偵測裝置，包括：一矩形積分影像(Rectangle Integral Image,RII)單元，用以根據一原始影像提供一矩形積分影像；一特徵匹配(Feature Mapping)單元，用以根據複數個矩形人臉特徵樣板決定一人臉候選區域，並根據該矩形積分影像計算該些矩形人臉特徵樣板之複數個特徵值；以及一串列及評分(Cascade and Score)單元，用以判斷該人臉候選區域是否符合複數個串列條件，當該人臉候選區域符合該些串列條件，根據該些特徵值對該人臉候選區域評分，若該人臉候選區域之分數小於一閥值時，該人臉候選區域即為一非人臉區域。
  2. 如申請專利範圍第1項所述之人臉偵測裝置，更包括：一區塊平均(Block Average)單元，用以將該人臉候選區域分成複數個等分，並計算各該些等分之平均值，以輸出一第一特徵向量。
  3. 如申請專利範圍第2項所述之人臉偵測裝置，更包括：一人臉及非人臉資料庫，用以儲存複數個人臉影像及非人臉影像，並根據該些人臉影像及非人臉影像提供一第二特徵向量；以及一分類器，用以根據該第一特徵向量及該第二特徵向量決定該人臉候選區域是否為一人臉區域。
  4. 如申請專利範圍第1項所述之人臉偵測裝置，其中該些矩形人臉特徵樣板之長寬比係為1.2：1。
  5. 如申請專利範圍第1項所述之人臉偵測裝置，其中該些矩形人臉特徵樣板包括：一第一矩形人臉特徵樣板，包括：一上半區域；及一下半區域，該上半區域之灰階值總和小於該下半區域之灰階值總和；一第二矩形人臉特徵樣板，包括：一左半區域；及一右半區域，該左半區域之灰階值總和實質上等於該右半區域之灰階值總和；以及一第三矩形人臉特徵樣板，包括：一左上區域；一右下區域，係與該左上區域斜對稱；一右上區域；及一左下區域，係與該右上區域斜對稱，該左上區域及該右下區域之灰階值總和實質上等於該右上區域及該左下區域之灰階值總和。
  6. 如申請專利範圍第5項所述之人臉偵測裝置，其中該些矩形人臉特徵樣板包括：一第四矩形人臉特徵樣板，包括：一眼睛區域；及一眼下區域，該眼睛區域之灰階值總和小於該眼下區域之灰階值總和；以及一第五矩形人臉特徵樣板，包括：一眉心區域；一第一眉毛區域；及一第二眉心區域，該眉心區域之灰階值總和大於該第一眉毛區域及該第二眉毛區域之灰階值總和之二分之一。
  7. 如申請專利範圍第6項所述之人臉偵測裝置，其中該眼睛區域之寬度等於該眼下區域之寬度等於該第四矩形人臉特徵樣板之寬度之四分之三，該眼睛區域及該眼下區域之長度總和等於該第四矩形人臉特徵樣板之長度之二分之一。
  8. 如申請專利範圍第6項所述之人臉偵測裝置，其中該眉心區域、該第一眉毛區域及第二該眉毛區域之寬度總和等於該第五矩形人臉特徵樣板之寬度之四分之三，該眉心區域之長度等於該第一眉毛區域之長度等於該第二眉毛區域之長度等於該第五矩形人臉特徵樣板之長度之四分之一。
  9. 如申請專利範圍第6項所述之人臉偵測裝置，其中該些矩形人臉特徵樣板包括：一第六矩形人臉特徵樣板，包括：一嘴巴區域，包括：一嘴巴中心區域；一第一嘴角區域；及一第二嘴角區域，該嘴巴中心區域之灰階值總和大於該第一嘴角區域及該第二嘴角區域之灰階值總和之二分之一；一第七矩形人臉特徵樣板，包括：一嘴巴區域，包括：一嘴巴上區域；一嘴巴下區域，該嘴巴上區域之灰階值總和大於該嘴巴下區域之灰階值總和；及一嘴巴中區域，係介於該嘴巴上區域及該嘴巴下區域之間；一第八矩形人臉特徵樣板，包括：一嘴巴區域，包括：一嘴巴左上角區域；一嘴巴右下角區域，係與該嘴巴左上角區域斜對稱；一嘴巴右上角區域；一嘴巴左下角區域，係與該嘴巴右上角區域斜對稱，該嘴巴左上角區域及該嘴巴右下角區域之灰階值總和實質上等於該嘴巴右上角區域及該嘴巴左下角區域之灰階值總和。
  10. 如申請專利範圍第1項所述之人臉偵測裝置，其中該串列及評分單元判斷部分該些特徵值是否符合複數個串列條件。
  11. 一種人臉偵測方法，包括：根據一原始影像提供一矩形積分影像；根據複數個矩形人臉特徵樣板決定一人臉候選區域；根據該矩形積分影像計算該些矩形人臉特徵樣板之複數個特徵值；判斷該人臉候選區域是否符合複數個串列條件；當該人臉候選區域符合該些串列條件，根據該些特徵值對該人臉候選區域評分；以及若該人臉候選區域之分數小於一閥值時，該人臉候選區域即為一非人臉區域。
  12. 如申請專利範圍第11項所述之人臉偵測方法，更包括：將該人臉候選區域分成複數個等分；計算各該些等分之平均值；以及根據該些等分之平均值輸出一第一特徵向量。
  13. 如申請專利範圍第12項所述之人臉偵測方法，更包括：儲存複數個人臉影像及非人臉影像；根據該些人臉影像及非人臉影像提供一第二特徵向量；以及根據該第一特徵向量及該第二特徵向量決定該人臉候選區域是否為一人臉區域。
  14. 如申請專利範圍第11項所述之人臉偵測方法，其中該些矩形人臉特徵樣板之長寬比係為1.2：1。
  15. 如申請專利範圍第11項所述之人臉偵測方法，其中該些矩形人臉特徵樣板包括：一第一矩形人臉特徵樣板，包括：一上半區域；及一下半區域，該上半區域之灰階值總和小於該下半區域之灰階值總和；一第二矩形人臉特徵樣板，包括：一左半區域；及一右半區域，該左半區域之灰階值總和實質上等於該右半區域之灰階值總和；以及一第三矩形人臉特徵樣板，包括：一左上區域；一右下區域，係與該左上區域斜對稱；一右上區域；及一左下區域，係與該右上區域斜對稱，該左上區域及該右下區域之灰階值總和實質上等於該右上區域及該左下區域之灰階值總和。
  16. 如申請專利範圍第15項所述之人臉偵測方法，其中該些矩形人臉特徵樣板包括：一第四矩形人臉特徵樣板，包括：一眼睛區域；及一眼下區域，該眼睛區域之灰階值總和小於該眼下區域之灰階值總和；以及一第五矩形人臉特徵樣板，包括：一眉心區域；一第一眉毛區域；及一第二眉心區域，該眉心區域之灰階值總和大於該第一眉毛區域及該第二眉毛區域之灰階值總和之二分之一。
  17. 如申請專利範圍第16項所述之人臉偵測方法，其中該眼睛區域之寬度等於該眼下區域之寬度等於該第四矩形人臉特徵樣板之寬度之四分之三，該眼睛區域及該眼下區域之長度總和等於該第四矩形人臉特徵樣板之長度之二分之一。
  18. 如申請專利範圍第16項所述之人臉偵測方法，其中該眉心區域、該第一眉毛區域及第二該眉毛區域之寬度總和等於該第五矩形人臉特徵樣板之寬度之四分之三，該眉心區域之長度等於該第一眉毛區域之長度等於該第二眉毛區域之長度等於該第五矩形人臉特徵樣板之長度之四分之一。
  19. 如申請專利範圍第16項所述之人臉偵測方法，其中該些矩形人臉特徵樣板包括：一第六矩形人臉特徵樣板，包括：一嘴巴區域，包括：一嘴巴中心區域；一第一嘴角區域；及一第二嘴角區域，該嘴巴中心區域之灰階值總和大於該第一嘴角區域及該第二嘴角區域之灰階值總和之二分之一；一第七矩形人臉特徵樣板，包括：一嘴巴區域，包括：一嘴巴上區域；一嘴巴下區域，該嘴巴上區域之灰階值總和大於該嘴巴下區域之灰階值總和；及一嘴巴中區域，係介於該嘴巴上區域及該嘴巴下區域之間；一第八矩形人臉特徵樣板，包括：一嘴巴區域，包括：一嘴巴左上角區域；一嘴巴右下角區域，係與該嘴巴左上角區域斜對稱；一嘴巴右上角區域；一嘴巴左下角區域，係與該嘴巴右上角區域斜對稱，該嘴巴左上角區域及該嘴巴右下角區域之灰階值總和實質上等於該嘴巴右上角區域及該嘴巴左下角區域之灰階值總和。
  20. 如申請專利範圍第11項所述之人臉偵測方法，其中該串列及評分單元判斷部分該些特徵值是否符合複數個串列條件。
TW098115254A 2009-05-08 2009-05-08 人臉偵測裝置及其人臉偵測方法 TWI413936B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098115254A TWI413936B (zh) 2009-05-08 2009-05-08 人臉偵測裝置及其人臉偵測方法
US12/608,013 US8437515B2 (en) 2009-05-08 2009-10-29 Face detection apparatus and face detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098115254A TWI413936B (zh) 2009-05-08 2009-05-08 人臉偵測裝置及其人臉偵測方法

Publications (2)

Publication Number Publication Date
TW201040846A TW201040846A (en) 2010-11-16
TWI413936B true TWI413936B (zh) 2013-11-01

Family

ID=43062349

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098115254A TWI413936B (zh) 2009-05-08 2009-05-08 人臉偵測裝置及其人臉偵測方法

Country Status (2)

Country Link
US (1) US8437515B2 (zh)
TW (1) TWI413936B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200842733A (en) * 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method
US9412036B2 (en) 2014-03-07 2016-08-09 Samsung Electronics Co., Ltd. Methods and systems for object detection based on column-wise and row-wise sums of pixel values
CN105760817A (zh) * 2016-01-28 2016-07-13 深圳泰首智能技术有限公司 用人脸识别认证解锁加密存储空间的方法及装置
CN107657472A (zh) * 2017-02-16 2018-02-02 平安科技（深圳）有限公司 一种推广文案显示方法和装置
CN110490029B (zh) * 2018-05-15 2022-04-15 瑞昱半导体股份有限公司 能够对脸部数据做差异化处理的影像处理方法
CN113496174B (zh) * 2020-04-07 2024-01-23 北京君正集成电路股份有限公司 一种提升三级级联检测召回率和正确率的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200741586A (en) * 2006-04-24 2007-11-01 Pre Action Internat Pty Ltd Method for determining rectangular size of human face
TW200809700A (en) * 2006-08-15 2008-02-16 Compal Electronics Inc Method for recognizing face area

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
CN101023446B (zh) * 2004-09-17 2010-06-16 三菱电机株式会社 脸部认证装置和脸部认证方法
JP4910507B2 (ja) * 2006-06-29 2012-04-04 コニカミノルタホールディングス株式会社 顔認証システム及び顔認証方法
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
TW200939135A (en) * 2008-03-04 2009-09-16 Avisonic Technology Corp Apparatus and method of image calculating process and face detection system using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200741586A (en) * 2006-04-24 2007-11-01 Pre Action Internat Pty Ltd Method for determining rectangular size of human face
TW200809700A (en) * 2006-08-15 2008-02-16 Compal Electronics Inc Method for recognizing face area

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Paul Viola, Michael Jones. Robust Real-time Object Detection 2001/07/13 SECOND INTERNATIONAL WORKSHOP ON STATISTICAL AND COMPUTATIONAL THEORIES OF VISION-MODELING, LEARNING, COMPUTING, AND SAMPLING *

Also Published As

Publication number Publication date
US8437515B2 (en) 2013-05-07
TW201040846A (en) 2010-11-16
US20100284619A1 (en) 2010-11-11

Similar Documents

Publication Publication Date Title
TWI413936B (zh) 人臉偵測裝置及其人臉偵測方法
Wang et al. RGB-D salient object detection via minimum barrier distance transform and saliency fusion
US7376270B2 (en) Detecting human faces and detecting red eyes
WO2019114036A1 (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN103443804B (zh) 面部标志检测方法
CN106991689B (zh) 基于fhog和颜色特征的目标跟踪方法及gpu加速
WO2021151277A1 (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
Kherchaoui et al. Face detection based on a model of the skin color with constraints and template matching
CN109670430A (zh) 一种基于深度学习的多分类器融合的人脸活体识别方法
US8811725B2 (en) Learning device, learning method, identification device, identification method, and program
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
WO2006013913A1 (ja) オブジェクト画像検出装置､ 顔画像検出プログラムおよび顔画像検出方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
TW201039251A (en) Facial expression recognition apparatus and facial expression recognition method thereof
JP2013117933A (ja) 画像処理装置、画像処理方法
Kalbkhani et al. An efficient algorithm for lip segmentation in color face images based on local information
Du High-precision portrait classification based on mtcnn and its application on similarity judgement
Wen et al. A method for hand gesture recognition based on morphology and fingertip-angle
CN101887514B (zh) 人脸检测装置及其人脸检测方法
CN111160292A (zh) 人眼检测方法
Shiraishi et al. Optical flow based lip reading using non rectangular ROI and head motion reduction
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
CN111881732B (zh) 一种基于svm的人脸质量评价方法
Chang et al. Multi-level smile intensity measuring based on mouth-corner features for happiness detection
KR101851823B1 (ko) 영상 이미지에서 신장 대비 머리 높이의 비를 이용하여 어린이와 성인을 구분하는 방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees