TWI470563B - 偵測影像中臉部屬性之方法、執行影像分析處理之處理系統及電腦可讀取儲存媒體 - Google Patents

偵測影像中臉部屬性之方法、執行影像分析處理之處理系統及電腦可讀取儲存媒體 Download PDF

Info

Publication number
TWI470563B
TWI470563B TW101112312A TW101112312A TWI470563B TW I470563 B TWI470563 B TW I470563B TW 101112312 A TW101112312 A TW 101112312A TW 101112312 A TW101112312 A TW 101112312A TW I470563 B TWI470563 B TW I470563B
Authority
TW
Taiwan
Prior art keywords
facial
image
facial image
processing system
local
Prior art date
Application number
TW101112312A
Other languages
English (en)
Other versions
TW201305923A (zh
Inventor
Jianguo Li
Tao Wang
Yangzhou Du
Qiang Eric Li
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW201305923A publication Critical patent/TW201305923A/zh
Application granted granted Critical
Publication of TWI470563B publication Critical patent/TWI470563B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features

Description

偵測影像中臉部屬性之方法、執行影像分析處理之處理系統及電腦可讀取儲存媒體
本揭露一般關於影像處理之領域。更特定地，本發明之實施例關於藉由處理系統中處理器執行之臉部屬性偵測處理，用於分析臉部影像。
基於提昇之計算能力的進步，臉部辨識應用變得愈來愈普遍，例如數位相機中自動聚焦/自動白平衡/自動曝光(3A)處理及微笑快門、智慧型手機上以頭像為主之通訊、手持計算裝置上臉識別登錄能力等。在該些臉部分析應用中，可所欲地偵測臉部屬性。臉部屬性可包括臉為微笑與否、臉為男性或女性之臉、眼睛閉合與否、或臉屬於小孩、年輕人、中年人、或老年人。亦可偵測其他臉部屬性。臉部屬性偵測具有許多用途。例如，微笑偵測可用作相機成像中微笑快門啟動，或用作自動喜愛廣告調查中心情偵測能力。性別偵測可用於智慧型數位標示之自動廣告選擇。臉部屬性偵測亦可用於其他範圍，諸如視頻監控、視覺搜索、及內容分析等。因而，需要用於臉部影像中臉部屬性偵測之快速及高效技術。
本發明之實施例提供用於影像中臉部屬性(諸如微笑/心情、性別、年齡、眨眼等)之快速及準確偵測，其可 用於相機成像、數位標示及其他應用。本發明之實施例實現頂尖準確性(在一測試中，96%微笑偵測、94%性別偵測等)，需要使用極小記憶體(小於400KB)，且快速執行(在一測試中，於具有1.6GHz Atom處理器之處理系統上每秒偵測逾800張臉)。
本發明之實施例包含用於臉部屬性偵測之統一框架。實施例透過已知臉部屬性偵測實施而提供至少若干優點，諸如用於微笑偵測及性別偵測。首先，本發明之實施例提供統一及一般技術，其於所有高準確性之臉部屬性之偵測運作良好，同時已知技術僅適於一種特定臉部屬性。其次，本方法具有極小記憶體及計算資源需求。因此，根據實施例之臉部屬性偵測可應用於從個人電腦(PC)到嵌入式裝置之各種計算平台。
在下列說明中，提出許多特定細節以提供各實施例之徹底理解。然而，可無特定細節而體現本發明之各實施例。在其他範例中，未詳細說明知名方法、程序、組件、及電路，以免混淆本發明之特定實施例。此外，使用各裝置可執行本發明之實施例之各方面，諸如積體半導體電路(「硬體」)、組織為儲存於電腦可讀取儲存媒體之一或更多程式的電腦可讀取指令(「軟體」)、或硬體及軟體之若干組合。為本揭露之目的，提及「邏輯」將表示硬體、軟體(包括例如微碼，其控制處理器之作業)、韌體、或其若干組合。
本發明之實施例處理從相機捕捉或先前儲存於處理系 統中之臉部影像。圖1為根據本發明之若干實施例之處理系統100圖。處理系統包括應用程式102、相機104、及顯示器111。在各式實施例中，處理系統可為個人電腦(PC)、膝上型電腦、輕省筆電、平板電腦、手持電腦、智慧型手機、行動網路裝置(MID)、或任何其他固定或行動處理裝置。在若干實施例中，相機可與處理系統整合。相機可為照相機或攝影機。在其他實施例中，相機可為處理系統外部但與處理系統通訊耦合。在實施例中，由相機捕捉之影像可透過網路或有線或無線介面傳達至處理系統進行分析。應用程式102可為於處理系統上執行之應用程式。在各式實施例中，應用程式可為例如用於網路瀏覽器、影像處理應用、遊戲、或多媒體應用之獨立程式或部分其他程式(諸如外掛程式)。應用程式102可包括臉部分析組件106以分析由相機捕捉之影像以偵測人臉。在實施例中，應用程式102及/或臉部分析組件106可實施為硬體組件、韌體組件、軟體組件或一或更多硬體、韌體、及/或軟體組件之組合，作為部分處理系統100。
在實施例中，使用者可操作處理系統100以從相機104捕捉一或更多影像。捕捉之一或更多影像可為各式目的而輸入至應用程式102。應用程式102可將一或更多影像傳送至臉部分析組件106用於決定一或更多影像中臉部特徵。在實施例中，臉部分析組件106可偵測一或更多影像中臉部屬性。包括臉部分析之應用處理的結果可顯示於顯示器111上。
圖2為由根據本發明之實施例之臉部分析組件106執行之臉部分析處理200。影像202可輸入至臉部分析程序。在方塊204，藉由臉部偵測組件205執行臉偵測程序可偵測影像中之臉以定位影像中每一偵測之臉的臉矩形區域。在方塊206，藉由界標偵測組件207執行臉部界標偵測程序可偵測每一臉矩形區域中臉部界標。在實施例中，臉部界標包含六點：眼睛及嘴巴之角落。在方塊208，藉由對齊組件209中依據至少部分偵測之臉部界標的臉對齊程序，臉矩形區域可對齊及正常化為預定尺寸。在一實施例中，對齊及正常化之影像的結果尺寸可小於臉部影像之尺寸。在實施例中，尺寸為64像素X 64像素。在方塊210，可由擷取組件211從正常化之臉部影像的選擇之局部區域擷取局部特徵。局部區域為正常化之臉部影像的子集。在實施例中，局部區域可藉由轉換程序而轉變為一組數字。在一實施例中，局部二元化圖形(LBP)程序可用作特性擷取器。在另一實施例中，梯度方向(HoG)程序之直方圖可用作特性擷取器。在其他實施例中，可使用其他特性擷取程序。在實施例中，局部特徵為代表局部區域之一組數字。在方塊212，每一局部區域係由擷取之局部特性代表，且擷取之局部特徵可輸入至依據多層感知(MLP)結構之弱分類器組件，用於由預測組件213預測選擇之臉部屬性。在方塊214，從每一局部特性之弱分類器輸出之資料可由聚集組件215聚集作為最後偵測分數216。在實施例中，最後偵測分數可為臉部屬性是否於影像中偵測之 指示，最後偵測分數介於0.0至1.0之範圍，其中值愈大，偵測到選擇之臉部屬性的信心愈高。
臉部偵測處理204可於輸入影像上執行以偵測影像中之臉。在實施例中，可使用任何已知臉部偵測程序，只要臉部偵測程序產生偵測之臉部的矩形影像即可。輸入資料包含一或更多2D影像。在實施例中，2D影像為靜止影像。在另一實施例中，2D影像包含一連串某框率fps之視頻訊框，且每一視頻訊框具有影像解析度(WxH)。在實施例中，可使用現有臉部偵測方法，其依循如Paul Viola及Michael Jones於2001年電腦視覺及圖案識別會議之「使用簡單特性之推動梯級的快速目標偵測」("Rapid Object Detection Using a Boosted Cascade of Simple Features")中所示之知名Viola-Jones框架。
在定位臉部區域之後，本發明之實施例偵測臉部界標之準確位置，諸如嘴巴及眼睛角落。界標為臉內關注之點。左眼、右眼及鼻底均為界標之範例。在實施例中，臉部界標偵測處理206可如由Ang Liu、Yangzhou Du、Tao Wang、Jianguo Li、Qiang Li、及Yimin Zhang共同讓渡給本申請案受讓人之共同審理之專利申請案案件編號P37155「臉部界標偵測之方法」("Method of Facial Landmark Detection")中所揭露而予執行。圖3為根據本發明之實施例之臉部影像中偵測之臉部界標範例。矩形區域表示偵測之臉部作為臉部偵測處理204之結果，菱形表明六偵測之臉部界標作為臉部界標偵測處理206之結果。
在臉部對齊處理208期間，偵測之臉部可轉變為灰階，對齊及正常化為預先定義之尺寸，諸如64 x 64(寬及高為64像素)。在實施例中，可以下列步驟實施對齊：計算眼角線與水平線之間之轉角θ；旋轉影像角度θ以使眼角平行於水平線；計算二眼睛中心之間之距離(w)及眼睛至嘴巴距離(h)；從臉部區域剪裁(2w x 2h)矩形，以使左眼中心在(0.5w,0.5h)、右眼中心在(1.5w,0.5h)、及嘴巴中心在(w,1.5h)。
調整剪裁之矩形為預先定義之尺寸(諸如64 x 64)。
為減輕影像之中的照明差異，調整之影像可為等化直方圖。圖4為根據本發明之實施例之臉部影像的選擇之部分之對齊及正常化範例。
局部特徵擷取處理210可執行如下。可從對齊及正常化之臉部影像的局部區域擷取局部特徵。在一實施例中，局部特徵可表示為局部二元化圖形(LBP)直方圖。T.Ojala、M.Pietkainen、及T.Maenpaa於2002年IEEE模式分析與機器智能會報(PAMI)971-987頁之「具局部二元化圖形之多解析度灰階及旋轉不變紋理分類」("Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns")中揭露適當LBP技術。在其他實施例中，局部特徵可表示為梯 度方向直方圖(HoG)。N.Dala及B.Triggs於2005年IEEE電腦視覺及圖案識別(CVPR)會議之「用於人類偵測之梯度方向直方圖」("Histograms of Oriented Gradients for Human Detection")中揭露適當HoG技術。在其他實施例中，可使用其他特性擷取技術。在各式本發明之實施例中，用於擷取局部特性之技術針對不同臉部屬性可不同。例如，當執行微笑偵測時，LBP優於其他技術；當執行性別或年齡偵測時，HoG優於其他技術。圖5為根據本發明之實施例之微笑偵測的選擇之局部區域範例。圖6為根據本發明之實施例之性別偵測的選擇之局部區域範例。
局部區域可定義為四元組(x,y,w,h)，其中(x,y)為局部區域之左上角點，且(w,h)為局部區域之矩形的寬度及高度。在正常化之臉部影像中存在許多可能局部區域。在本發明之實施例中，加速程序可用以從訓練資料集選擇臉部屬性偵測之分化區域。
在訓練程序中，可伸縮尺寸視窗於正常化之臉部影像之上滑動以產生候選局部區域。在實施例中，採用64 x 64正常化之臉部影像作為範例，可以16 x 16視窗開始，臉部影像中每4像素為一步驟。當先前掃描結束時，視窗尺寸接著增加4像素(諸如從16 x 16視窗至20 x 20視窗)。
當正常化之臉部影像為64像素X 64像素時，存在約數百候選視窗(局部區域)，其可根據此方案予以識別。 然而，僅少數局部區域可用於最後分類。可採用加速演算法以從該些候選局部區域同步選擇有用局部區域之子集，及從局部區域為主之代表訓練弱分類器。加速訓練程序列於表1。
在實施例中，對每一擷取之局部特徵而言，分類器經 訓練以執行弱分類。在本發明之實施例中，使用之基礎分類器為多層感知(MLP)，而非支持向量機(SVM)。多層感知(MLP)為前饋類神經網路(feed-forward artificial neural network)模型，其映射輸入資料組至一組適當輸出資料。MLP包含有向圖中多層節點，且每一層完全連接至下一層。除了輸入節點外，每一節點為具非線性啟動函數之神經元(或處理元件)。MLP利用稱為反向傳播之監督學習技術用於訓練網路。MLP為標準線性感知之修改，其可區別非線性可分之資料。
在本發明之實施例中，因許多方面使用MLP。MLP可提供類似性能予頂尖SVM為主演算法。MLP之模型尺寸遠小於SVM，因為MLP僅儲存網路權重作為模型，同時SVM儲存稀少訓練樣本(即支持向量)。由於其僅包含向量積作業，MLP之預測極快速。MLP直接提供預測信心之可能性及分數輸出。
MLP為神經網路之最常用類型。在本發明之實施例中，MLP包含輸入層、輸出層及一隱藏層。假設於輸入層存在d節點(其中d為局部特徵大小，諸如LBP直方圖之59)；在輸出層存在二節點(用於微笑偵測，二節點表明用於微笑或非微笑之預測；用於性別偵測，二節點表明用於男性或女性之預測)；同時隱藏層中節點數量為調諧參數，並由訓練程序決定。圖7為根據本發明之實施例之多層感知(MLP)結構圖。
在實施例中，MLP中所有節點(神經元)類似。MLP 從輸入之先前層中若干節點採取輸出值，並將回應發送至下一層中神經元。從先前層擷取之值可與每一節點之訓練權重加總，加上偏離率，且和可使用啟動函數f轉換。圖8描繪每一節點之計算架構。
啟動函數f可為S形函數，例如f(x)=e-xa /(1+e-xa )。此函數之輸出介於0.0至1.0範圍。顯然在每一節點，計算為來自先前層之權向量與輸入向量之間之向量積，精確地y=f(w‧x)，其中w為權向量且x為輸入向量。該些計算可藉由使用單一指令、多資料(SIMD)指令或其他加速器加速。因此，藉由MLP分類極有效率。
如以上說明，MLP可用作每一選擇之局部特性之弱分類器。每一選擇之局部特徵將與一MLP分類器相關聯。每一MLP分類器輸出介於0.0至1.0之間之值，表明選擇之局部特徵偵測選擇之臉部屬性(例如微笑偵測、性別偵測等)的可能性。
在實施例中，可藉由依據聚集規則之聚集處理214決定最後分類：
提供測試樣本x；
針對每一選擇之局部區域k，於該局部區域擷取局部特徵xk ，接著使用弱MLP分類器Ck (xk )實施預測； 最後輸出為聚集之結果
在實施例中，算術平均數用於聚集，然而，在其他實施例中可使用其他技術，諸如加權平均。在實施例中，最 後偵測分數可連同臉部影像顯示於顯示器上，及/或藉由處理系統之應用或其他組件用於處理。
申請人於X86為主之計算平台上以C/C++程式語言實施本發明之實施例用於微笑/性別/年齡偵測處理。微笑偵測之測試係在GENKI公共資料集上執行(其包含2,000個笑臉及2,000個非笑臉)，並與現有技術比較，諸如整體特性為主之方法及哈爾級聯(Haar-cascade)為主之方法。分類器係在8,000個臉部影像之合集上訓練，其包含約3,000個笑臉。比較結果列於表2。
請注意表2中準確性數字為「roc下面積」曲線準確度，其為用於測量偵測性能之標準公制。顯然本發明之實施例顯著更具計算/記憶體效率，並較二其他已知技術準確。對微笑偵測器而言，申請人亦於許多視頻上進行與數位相機/錄影機實際比較。結果顯示本發明之實施例可實現98%命中率，且僅具1.6%錯誤警報；同時已知數位相機/數位錄影機(DC/DVR)(以最高敏感度調諧)僅實現 80%命中率及大於15%錯誤警報率。
對性別偵測而言，分類器係在17,700臉部影像之合集上訓練，其包含約8,100個女性及9,600個男性臉。當本發明之實施例應用於具1,024個臉之FERET資料集時，本發明之實施例於包括1.6G Hz Atom處理器之處理系統上實現具140 fps之94%準確性。比較結果顯示於表3中。
本發明之實施例聚集局部區域特性取代臉部屬性偵測之整體特性。局部區域藉由加速程序而自動選擇以確保最大準確性。透過每一局部特性訓練MLP弱分類器。來自每一擷取之局部特徵之弱分類器的結果聚集以產生最後偵測結果。選擇之局部區域數量典型地小於20；且加速MLP分類器性能不僅預測準確，且極快速及尺寸小。
本發明之實施例於至少四方面克服習知技藝之缺點。首先，本發明之實施例提供來自局部特徵之弱分類器的聚集結果以產生強臉部屬性偵測器。其次，有關模型尺寸，整體特性(諸如Gabor)通常為極高數量(特性向量可多 於23,000數量)，其使得訓練之分類器在儲存器方面極大(根據已知技術之重新實施，SVM分類器尺寸大於30MB)。相反地，局部區域特性之本發明之實施例的實施具有小尺寸(使用LBP，每一弱分類器僅59尺寸)，且在一實施例中訓練之分類器實施尺寸小於400 KB。習知技藝之加速級聯分類器通常採取數千特性，且分類器尺寸亦極大(在已知技術之重新實施中>=10MB)。相反地，局部區域為主之分類器之本發明之實施例的實施相對較Haar分類器強；且分類器尺寸遠小。第三，處理速度較習知方法佳。甚至在低端Atom處理器上，本發明之實施例可實現實時處理速度；同時甚至在高端PC，其他已知方案無法體現實時處理速度。
本發明之實施例包含許多臉部屬性偵測問題的統一解決方案。本發明之實施例可廣泛地用於如同微笑偵測、性別偵測、眨眼偵測、年齡偵測等工作。
圖9描繪處理系統900之實施例的方塊圖。在各式實施例中，參照本發明之若干實施例，可於可執行文中所討論之一或更多作業的各式電子計算裝置中提供系統900之一或更多組件。例如，藉由執行根據文中所討論之作業中子程序等之處理指令，處理系統900之一或更多組件可用以執行參照圖1-8討論之作業。而且，文中所討論之各式儲存器裝置(例如，參照圖9及/或圖10)可用以儲存資料、作業結果等。在一實施例中，透過網路903(例如，經由網路介面裝置930及/或1030)接收之資料可儲存於 處理器902(及/或圖10之1002)之快取記憶體中(例如，實施例中之L1快取記憶體)。該些處理器接著可應用根據本發明各式實施例之文中所討論之作業。
更具體地，處理系統900可包括一或更多處理單元902或處理器，其經由互連網路904而通訊。因此，於若干實施例中，可藉由處理器執行文中所討論之各式作業。再者，處理器902可包括通用處理器、網路處理器(其處理透過電腦網路903、或其他類型處理器(包括減少指令集電腦(RISC)處理器或複合指令集電腦(CISC)處理器)通訊之資料)。再者，處理器902可具有單核或多核設計。具多核設計之處理器902可將不同類型處理器核心整合於相同積體電路(IC)晶片上。而且，具多核設計之處理器902可實施為對稱或不對稱多處理器。再者，可藉由系統900之一或更多組件執行參照圖1-8討論之作業。在實施例中，處理器(諸如處理器1902-1)可包含臉部分析組件106，及/或用作固線式邏輯(例如電路)或微碼之應用程式102。在實施例中，圖9中所示之多組件可包括於單一積體電路上(例如，晶片上系統(SOC))。
晶片組906可與互連網路904通訊。晶片組906可包括圖形及記憶體控制集線器(GMCH)908。GMCH 908可包括記憶體控制器910，其與記憶體912通訊。記憶體912可儲存資料，諸如來自相機104之影像202。資料可包括藉由處理器902或處理系統900中所包括之任何其他裝置執行之一連串指令。此外，記憶體912可儲存一或更 多程式，諸如臉部分析組件106、相應於可執行、映射之指令等。相同或至少部分此資料(包括指令、相機影像、及暫時儲存器陣列)可儲存於磁碟機928及/或處理器902內一或更多快取記憶體中。在本發明之一實施例中，記憶體912可包括一或更多揮發性儲存器(或記憶體)裝置，諸如隨機存取記憶體(RAM)、動態RAM(DRAM)、同步DRAM(SDRAM)、靜態RAM(SRAM)、或其他類型儲存器裝置。非揮發性記憶體亦可用於諸如硬碟。其餘裝置可經由互連網路904通聯，諸如多處理器及/或多系統記憶體。
GMCH 908亦可包括與顯示器916通訊之圖形介面914。在本發明之一實施例中，圖形介面914可經由加速圖形埠(AGP)而與顯示器916通訊。在本發明之實施例中，顯示器916可為平板顯示器，其經由例如信號轉換器而與圖形介面914通訊，信號轉換器將儲存於諸如視訊記憶體或系統記憶體之儲存器裝置之影像的數位表示轉化為由顯示器916解譯及顯示之顯示器信號。由介面914產生之顯示器信號可於解譯及後續顯示於顯示器916上之前通過各式控制裝置。在實施例中，相機影像、臉部影像及由臉部分析組件106處理之微笑、性別、年齡、或其他臉部屬性偵測之指標，可於顯示器上顯示予使用者。
集線器介面918可允許GMCH 908及輸入/輸出(I/O)控制集線器(ICH)920通訊。ICH 920可提供介面予與處理系統900通訊之I/O裝置。ICH 920可經由週邊 橋接器(或控制器)924，諸如週邊組件互連(PCI)橋接器、通用串列匯流排(USB)控制器、或其他類型週邊橋接器或控制器，而與鏈路922通訊。橋接器924可提供處理器902與週邊裝置之間之資料路徑。可利用其他類型拓樸。而且，多鏈路例如可經由多橋接器或控制器而與ICH 920通訊。再者，於本發明之各式實施例中，與ICH 920通訊之其他週邊裝置可包括電子集成驅動器(IDE)或小型電腦系統介面(SCSI)硬碟、USB埠、鍵盤、滑鼠、並列埠、串列埠、軟碟機、數位輸出支援(例如，數位視訊介面(DVI))、相機104、或其他裝置。
鏈路922可與音頻裝置926、一或更多磁碟機928、及網路介面裝置930通訊，其可與電腦網路903(諸如網際網路)通訊。在實施例中，裝置930可為可有線或無線通訊之網路介面控制器(NIC)。其他裝置可經由鏈路922通訊。而且，在本發明之若干實施例中，各式組件(諸如網路介面裝置930)可與GMCH 908通訊。此外，處理器902、GMCH 908、及/或圖形介面914可組合以形成單一晶片。在實施例中，可從電腦網路903接收影像202及/或臉部分析組件106。在實施例中，臉部分析組件106可為用於藉由處理器902執行之網路瀏覽器的外掛程式。
此外，處理系統900可包括揮發性及/或非揮發性記憶體(或儲存器)。例如，非揮發性記憶體可包括下列一或更多項：唯讀記憶體(ROM)、可程控ROM(PROM) 、可抹除PROM(EPROM)、電氣EPROM(EEPROM)、磁碟機(例如928)、軟碟機、光碟ROM(CD-ROM)、數位影音光碟(DVD)、快閃記憶體、磁性光碟、或可儲存電子資料(例如，包括指令)之其他類型非揮發性機器可讀取媒體。
在實施例中，系統900之組件可以諸如參照圖10討論之點對點(PtP)組態配置。例如，藉由若干點對點介面，處理器、記憶體及/或輸入/輸出裝置可互連。
更具體地，圖10描繪根據本發明之實施例之處理系統1000，其係以點對點(PtP)組態配置。尤其，圖10顯示一系統，其中藉由若干點對點介面，處理器、記憶體及輸入/輸出裝置互連。藉由系統1000之一或更多組件可執行參照圖1-8討論之作業。
如圖10中所描繪，系統1000可包括多處理器，為求清晰僅顯示二處理器1002及1004。處理器1002及1004可各包括局部記憶體控制器集線器(MCH)1006及1008(在若干實施例中，其可與圖9之GMCH 908相同或類似)，以與記憶體1010及1012耦合。記憶體1010及/或1012可儲存諸如參照圖9之記憶體912討論之各式資料。
處理器1002及1004可為諸如參照圖9之處理器902討論之任何適當處理器。處理器1002及1004可分別經由使用PtP介面電路1016及1018之點對點(PtP)介面1014而交換資料。處理器1002及1004可經由使用點對點介面電路1026、1028、1030、及1032之個別PtP介面 1022及1024而各與晶片組1020交換資料。晶片組1020亦可經由使用PtP介面電路1037之高性能圖形介面1036而與高性能圖形電路1034交換資料。
藉由利用處理器1002及1004可提供本發明之至少一實施例。例如，處理器1002及/或1004可執行圖1-18之一或更多作業。然而，本發明之其他實施例可存在於圖10之系統1000內之其他電路、邏輯單元、或裝置中。此外，本發明之其他實施例可遍佈圖10中所描繪之若干電路、邏輯單元、或裝置中。
晶片組1020可耦合至使用PtP介面電路1041之鏈路1040。鏈路1040可具有耦合至其之一或更多裝置，諸如橋接器1042及I/O裝置1043。經由鏈路1044，橋接器1042可耦合至其他裝置，諸如參照圖9討論之鍵盤/滑鼠1045、網路介面裝置1030(諸如可耦合至電腦網路1003之數據機、網路介面卡(NIC)等)、音頻I/O裝置1047、及/或資料儲存器裝置1048。在實施例中，資料儲存器裝置1048可儲存臉部分析組件碼1049，其可藉由處理器1002及/或1004執行。
在本發明之各式實施例中，例如參照圖1-10之文中所討論之作業可實施為硬體(例如，邏輯電路)、軟體(例如，包括控制諸如參照圖9及10討論之處理器的處理器作業之微碼)、韌體、或其組合，其可提供作為電腦程式產品，例如包括實體機器可讀取或電腦可讀取媒體，其具有儲存於其上之指令(或軟體程序)，用以程控電腦( 例如，計算裝置之處理器或其他邏輯)以執行文中所討論之作業。機器可讀取媒體可包括諸如文中所討論之儲存器裝置。
說明書中提及「一實施例」或「實施例」表示與至少一實施中所包括之實施例相關中所說明之特定特性、結構、或特徵。說明書中各處出現之「在一實施例中」用語，係指或並非完全指相同實施例。
而且，在說明及申請項中，可使用「耦合」及「連接」連同其衍生字。在本發明之若干實施例中，「連接」可用以表明二或更多元件直接實體或相互電連接。「耦合」可表示二或更多元件直接實體或電接觸。然而，「耦合」亦可表示二或更多元件並非相互直接接觸，但仍可相互合作或互動。
此外，該等電腦可讀取媒體可下載作為電腦程式產品，其中，經由通訊鏈路(例如，匯流排、數據機、或網路連接)，程式可藉由資料信號而從遠端電腦(例如，伺服器)轉移至請求的電腦(例如，客戶)。
因而，儘管本發明之實施例已以結構特性及/或方法動作之特定語言說明，應理解的是申請之主題並不侷限於所說明之特性或動作。而是，特性及動作揭露為實施申請之主題的樣本形式。
100、900、1000‧‧‧處理系統
102‧‧‧應用程式
104‧‧‧相機
106‧‧‧臉部分析組件
111、916‧‧‧顯示器
200‧‧‧臉部分析處理
202‧‧‧影像
204‧‧‧臉部偵測處理
205‧‧‧臉部偵測組件
206‧‧‧臉部界標偵測處理
207‧‧‧界標偵測組件
208‧‧‧臉部對齊處理
209‧‧‧對齊組件
210‧‧‧局部特徵擷取處理
211‧‧‧擷取組件
212‧‧‧預測選擇之臉部屬性
213‧‧‧預測組件
214‧‧‧方塊
215‧‧‧聚集組件
216‧‧‧最後偵測分數
902、1002、1004‧‧‧處理器
903、1003‧‧‧電腦網路
904‧‧‧互連網路
906、1020‧‧‧晶片組
908‧‧‧圖形及記憶體控制集線器
910‧‧‧記憶體控制器
912‧‧‧記憶體
914‧‧‧圖形介面
918‧‧‧集線器介面
920‧‧‧輸入/輸出控制集線器
922、1040、1044‧‧‧鏈路
924‧‧‧週邊橋接器
926‧‧‧音頻裝置
928‧‧‧磁碟機
930、1030‧‧‧網路介面裝置
1006、1008‧‧‧局部記憶體控制器集線器
1010、1012‧‧‧記憶體
1014、1022、1024‧‧‧點對點介面
1016、1018、1026、1028、1032、1037、1041‧‧‧點對點介面電路
1034‧‧‧圖形電路
1036‧‧‧圖形介面
1042‧‧‧橋接器
1043‧‧‧輸入/輸出裝置
1045‧‧‧鍵盤/滑鼠
1047‧‧‧音頻輸入/輸出裝置
1048‧‧‧資料儲存器裝置
1049‧‧‧臉部分析組件碼
參照附圖提供詳細說明。不同圖中使用相同代號標示 類似或相同項目。
圖1為根據本發明之實施例之臉部影像處理系統圖。
圖2為根據本發明之實施例之臉部分析處理圖。
圖3為根據本發明之實施例之臉部影像中偵測之臉部界標範例。
圖4為根據本發明之實施例之範例臉部影像之選擇部分之對齊及正常化範例。
圖5為根據本發明之實施例之用於微笑偵測的選擇之局部區域範例。
圖6為根據本發明之實施例之用於性別偵測的選擇之局部區域範例。
圖7為根據本發明之實施例之多層感知(MLP)結構圖。
圖8為根據本發明之實施例之MLP之每一節點的計算模型圖。
圖9及10描繪處理系統之實施例方塊圖，其可用以實施文中所討論之若干實施例。
100‧‧‧處理系統
102‧‧‧應用程式
104‧‧‧相機
106‧‧‧臉部分析組件
111‧‧‧顯示器

Claims (23)

  1. 一種偵測影像中臉部屬性之方法，包含：偵測該影像中之臉以產生臉部影像；偵測該臉部影像中之臉部界標；依據至少部分該偵測之臉部界標而對齊及正常化該臉部影像以產生正常化之臉部影像；從該正常化之臉部影像的選擇之局部區域擷取複數局部特徵；藉由將每一選擇之局部特徵輸入複數弱分類器組件之一而預測每一選擇之局部區域中該臉部屬性，每一弱分類器組件具有多層感知(MLP)結構；以及從每一弱分類器組件聚集輸出資料以產生於該臉部影像中偵測該臉部屬性之指示。
  2. 如申請專利範圍第1項之方法，其中，該臉部屬性為微笑。
  3. 如申請專利範圍第1項之方法，其中，該臉部屬性為性別。
  4. 如申請專利範圍第1項之方法，其中，該臉部屬性為年齡。
  5. 如申請專利範圍第1項之方法，其中，對齊及正常化該臉部影像包含將該臉部影像轉變為灰階，使用該偵測之臉部界標對齊該臉部影像，及將該灰階對齊之臉部影像正常化為預定尺寸以產生該正常化之臉部影像，該預定尺寸小於該臉部影像之尺寸。
  6. 如申請專利範圍第1項之方法，其中，該局部特徵表示為局部二元化圖形(LBP)直方圖。
  7. 如申請專利範圍第1項之方法，其中，該局部特徵表示為梯度方向直方圖(HoG)。
  8. 如申請專利範圍第1項之方法，進一步包含於該正常化之臉部影像之上滑動可伸縮尺寸視窗以產生候選局部區域，及選擇該候選局部區域之子集作為選擇之局部區域。
  9. 如申請專利範圍第1項之方法，進一步包含訓練分類器執行每一擷取之局部特徵之該弱分類。
  10. 一種執行影像分析處理之處理系統，包含：臉偵測組件，用以分析影像而偵測該影像中之臉；臉部界標偵測組件，用以分析該臉部影像而偵測臉部界標；對齊及正常化組件，用以依據至少部分該偵測之臉部界標而對齊及正常化該臉部影像以產生正常化之臉部影像；擷取組件，用以從該正常化之臉部影像的選擇之局部區域擷取複數局部特徵；預測組件，用以藉由將每一選擇之局部特徵輸入複數弱分類器組件之一而預測每一選擇之局部區域中該臉部屬性，每一弱分類器組件具有多層感知(MLP)結構；以及聚集組件，用以從每一弱分類器組件輸出資料以產生於該臉部影像中偵測該臉部屬性之指示。
  11. 如申請專利範圍第10項之處理系統，其中，該臉部屬性為微笑。
  12. 如申請專利範圍第10項之處理系統，其中，該臉部屬性為性別。
  13. 如申請專利範圍第10項之處理系統，其中，對齊及正常化組件係用以將該臉部影像轉變為灰階，使用該偵測之臉部界標對齊該臉部影像，及將該灰階對齊之臉部影像正常化為預定尺寸以產生該正常化之臉部影像，該預定尺寸係小於該臉部影像之尺寸。
  14. 如申請專利範圍第10項之處理系統，其中，該局部特徵表示為局部二元化圖形(LBP)直方圖。
  15. 如申請專利範圍第10項之處理系統，其中，該局部特徵表示為梯度方向直方圖(HoG)。
  16. 如申請專利範圍第10項之處理系統，其中，該擷取組件係用以於該正常化之臉部影像之上滑動可伸縮尺寸視窗，以產生候選局部區域，及選擇該候選局部區域之子集作為選擇之局部區域。
  17. 一種執行影像分析處理之處理系統，包含：相機，用以捕捉影像；臉偵測組件，用以分析該影像而偵測該影像中之臉；臉部界標偵測組件，用以分析該臉部影像而偵測臉部界標；對齊及正常化組件，用以依據至少部分該偵測之臉部界標而對齊及正常化該臉部影像以產生正常化之臉部影 像；擷取組件，用以從該正常化之臉部影像的選擇之局部區域擷取複數局部特徵；預測組件，用以藉由將每一選擇之局部特徵輸入複數弱分類器組件之一而預測每一選擇之局部區域中該臉部屬性，每一弱分類器組件具有多層感知(MLP)結構；聚集組件，用以從每一弱分類器組件輸出資料以產生於該臉部影像中偵測該臉部屬性之指示；以及顯示器，用以顯示該影像及該指示。
  18. 如申請專利範圍第17項之處理系統，其中，該臉部屬性為微笑。
  19. 如申請專利範圍第17項之處理系統，其中，該臉部屬性為性別。
  20. 如申請專利範圍第17項之處理系統，其中，該局部特徵表示為局部二元化圖形(LBP)直方圖。
  21. 如申請專利範圍第17項之處理系統，其中，該局部特徵表示為梯度方向直方圖(HoG)。
  22. 一種偵測影像中臉部屬性之電腦可讀取儲存媒體，該電腦可讀取儲存媒體儲存機器可讀取指令，該等指令經配置當被執行時，實施如申請專利範圍第1至9項中任一項之方法。
  23. 一種執行影像分析處理之電腦可讀取儲存媒體，該電腦可讀取儲存媒體儲存機器可讀取指令，該等指令經配置當被執行時，實施如申請專利範圍第10至21項中任一項之處理系統。
TW101112312A 2011-04-11 2012-04-06 偵測影像中臉部屬性之方法、執行影像分析處理之處理系統及電腦可讀取儲存媒體 TWI470563B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/072597 WO2012139273A1 (en) 2011-04-11 2011-04-11 Method of detecting facial attributes

Publications (2)

Publication Number Publication Date
TW201305923A TW201305923A (zh) 2013-02-01
TWI470563B true TWI470563B (zh) 2015-01-21

Family

ID=47008778

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101112312A TWI470563B (zh) 2011-04-11 2012-04-06 偵測影像中臉部屬性之方法、執行影像分析處理之處理系統及電腦可讀取儲存媒體

Country Status (5)

Country Link
US (1) US8805018B2 (zh)
EP (1) EP2697775A4 (zh)
CN (1) CN103503029B (zh)
TW (1) TWI470563B (zh)
WO (1) WO2012139273A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012139271A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Smile detection techniques
US8781221B2 (en) 2011-04-11 2014-07-15 Intel Corporation Hand gesture recognition system
WO2012139273A1 (en) 2011-04-11 2012-10-18 Intel Corporation Method of detecting facial attributes
JP5913940B2 (ja) * 2011-12-01 2016-05-11 キヤノン株式会社 画像認識装置、画像認識装置の制御方法、およびプログラム
KR101671137B1 (ko) * 2012-12-04 2016-10-31 엘지전자 주식회사 영상 촬영 장치 및 그 방법
TWI716344B (zh) * 2014-02-24 2021-01-21 日商花王股份有限公司 增齡分析方法、使用增齡分析方法之衰老修護之輔助方法、增齡分析裝置及電腦可讀取之記錄媒體
US9444999B2 (en) 2014-08-05 2016-09-13 Omnivision Technologies, Inc. Feature detection in image capture
EP3183689A4 (en) * 2014-08-22 2017-08-23 Microsoft Technology Licensing, LLC Face alignment with shape regression
US10728450B2 (en) 2014-09-30 2020-07-28 Qualcomm Incorporated Event based computer vision computation
US9838635B2 (en) 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US9940533B2 (en) 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
US9762834B2 (en) 2014-09-30 2017-09-12 Qualcomm Incorporated Configurable hardware for computing computer vision features
US9923004B2 (en) 2014-09-30 2018-03-20 Qualcomm Incorporated Hardware acceleration of computer vision feature detection
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US9830503B1 (en) * 2014-12-31 2017-11-28 Morphotrust Usa, Llc Object detection in videos
US9268465B1 (en) 2015-03-31 2016-02-23 Guguly Corporation Social media system and methods for parents
CN107924452B (zh) * 2015-06-26 2022-07-19 英特尔公司 用于图像中的脸部对准的组合形状回归
US10037456B2 (en) * 2015-09-04 2018-07-31 The Friedland Group, Inc. Automated methods and systems for identifying and assigning attributes to human-face-containing subimages of input images
US10366277B2 (en) * 2015-09-22 2019-07-30 ImageSleuth, Inc. Automated methods and systems for identifying and characterizing face tracks in video
US9858498B2 (en) 2015-09-23 2018-01-02 Qualcomm Incorporated Systems and methods for incremental object detection using dual-threshold local binary pattern operators
US10860887B2 (en) * 2015-11-16 2020-12-08 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognition model
US10579860B2 (en) * 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
US10375317B2 (en) 2016-07-07 2019-08-06 Qualcomm Incorporated Low complexity auto-exposure control for computer vision and imaging systems
US10198626B2 (en) * 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10614332B2 (en) 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
CN110678878B (zh) * 2017-03-20 2022-12-13 华为技术有限公司 一种表观特征的描述属性识别方法及装置
US10552474B2 (en) 2017-08-16 2020-02-04 Industrial Technology Research Institute Image recognition method and device thereof
CN110395260B (zh) * 2018-04-20 2021-12-07 比亚迪股份有限公司 车辆、安全驾驶方法和装置
WO2020113326A1 (en) * 2018-12-04 2020-06-11 Jiang Ruowei Automatic image-based skin diagnostics using deep learning
CN109657582B (zh) * 2018-12-10 2023-10-31 平安科技（深圳）有限公司 人脸情绪的识别方法、装置、计算机设备及存储介质
TWI772627B (zh) 2019-03-19 2022-08-01 財團法人工業技術研究院 人物重識別方法、人物重識別系統及影像篩選方法
CN111191569A (zh) * 2019-12-26 2020-05-22 深圳市优必选科技股份有限公司 人脸属性的识别方法及其相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI254891B (en) * 2003-12-26 2006-05-11 Seiko Epson Corp Face image detection method, face image detection system, and face image detection program
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
US7447338B2 (en) * 2002-07-19 2008-11-04 Samsung Electronics Co., Ltd. Method and system for face detection using pattern classifier
TWI318108B (en) * 2005-11-30 2009-12-11 Univ Nat Kaohsiung Applied Sci A real-time face detection under complex backgrounds
US7689011B2 (en) * 2006-09-26 2010-03-30 Hewlett-Packard Development Company, L.P. Extracting features from face regions and auxiliary identification regions of images for person recognition and other applications

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642431A (en) * 1995-06-07 1997-06-24 Massachusetts Institute Of Technology Network-based system and method for detection of faces and the like
US6031539A (en) 1997-03-10 2000-02-29 Digital Equipment Corporation Facial image method and apparatus for semi-automatically mapping a face on to a wireframe topology
US6016148A (en) 1997-06-06 2000-01-18 Digital Equipment Corporation Automated mapping of facial images to animation wireframes topologies
US7505621B1 (en) * 2003-10-24 2009-03-17 Videomining Corporation Demographic classification using image components
EP1836476A2 (en) * 2004-12-07 2007-09-26 Clean Earth Technologies, LLC Method and apparatus for standoff detection of liveness
KR100813167B1 (ko) * 2006-06-09 2008-03-17 삼성전자주식회사 고속 정확한 얼굴 검출 방법과 얼굴 검출 학습 방법 및이를 구현하는 시스템
CN101038686B (zh) * 2007-01-10 2010-05-19 北京航空航天大学 一种基于信息融合的机读旅行证件识别方法
TW200842733A (en) * 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method
WO2012139273A1 (en) 2011-04-11 2012-10-18 Intel Corporation Method of detecting facial attributes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
US7447338B2 (en) * 2002-07-19 2008-11-04 Samsung Electronics Co., Ltd. Method and system for face detection using pattern classifier
TWI254891B (en) * 2003-12-26 2006-05-11 Seiko Epson Corp Face image detection method, face image detection system, and face image detection program
TWI318108B (en) * 2005-11-30 2009-12-11 Univ Nat Kaohsiung Applied Sci A real-time face detection under complex backgrounds
US7689011B2 (en) * 2006-09-26 2010-03-30 Hewlett-Packard Development Company, L.P. Extracting features from face regions and auxiliary identification regions of images for person recognition and other applications

Also Published As

Publication number Publication date
EP2697775A1 (en) 2014-02-19
WO2012139273A1 (en) 2012-10-18
TW201305923A (zh) 2013-02-01
US20140003663A1 (en) 2014-01-02
US8805018B2 (en) 2014-08-12
EP2697775A4 (en) 2015-03-04
CN103503029A (zh) 2014-01-08
CN103503029B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
TWI470563B (zh) 偵測影像中臉部屬性之方法、執行影像分析處理之處理系統及電腦可讀取儲存媒體
WO2018086607A1 (zh) 一种目标跟踪方法及电子设备、存储介质
JP5639478B2 (ja) デジタル画像における顔の表情の検出
WO2018188453A1 (zh) 人脸区域的确定方法、存储介质、计算机设备
JP6013241B2 (ja) 人物認識装置、及び方法
JP5517858B2 (ja) 画像処理装置、撮像装置、画像処理方法
CN103443804B (zh) 面部标志检测方法
WO2019033569A1 (zh) 眼球动作分析方法、装置及存储介质
KR101216115B1 (ko) 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템
Lu et al. Face detection and recognition algorithm in digital image based on computer vision sensor
JP2005056387A (ja) 画像処理装置、撮像装置、画像処理方法
JP6351243B2 (ja) 画像処理装置、画像処理方法
Parde et al. Face and image representation in deep CNN features
JP2013206458A (ja) 画像における外観及びコンテキストに基づく物体分類
Lindner et al. Face recognition system based on a single-board computer
Chen et al. Learning to count with back-propagated information
Parde et al. Deep convolutional neural network features and the original image
Fathutdinova et al. Psycho-emotional state analysis system of APCS operator
WO2021155661A1 (zh) 一种图像处理方法以及相关设备
TWI632509B (zh) 人臉辨識裝置及方法、提升影像辨識率的方法、及電腦可讀儲存介質
Venkata Kranthi et al. Real-time facial recognition using deep learning and local binary patterns
Shanmuhappriya Automatic attendance monitoring system using deep learning
Hbali et al. Object detection based on HOG features: Faces and dual-eyes augmented reality
Zhang et al. Adaptive metric learning in local distance comparison for people re-identification
Patel et al. Exploring Facial Landmark Detection Techniques for Attention Detection in Human-Computer Interactions

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees