TWI380223B

TWI380223B - Image processing apparatus and image processing method

Info

Publication number: TWI380223B
Application number: TW097122547A
Authority: TW
Inventors: Kaname Ogawa
Original assignee: Sony Corp
Priority date: 2007-07-05
Filing date: 2008-06-17
Publication date: 2012-12-21
Also published as: CN101339609B; US8463049B2; EP2012255A1; JP4479756B2; TW200910223A; JP2009015614A; CN101339609A; EP2012255B1; US20090010501A1

Description

1380223 九、發明說明：【發明所屬之技術領域】本發明係關於用於㈣並辨識包括在—捕獲影像中的一臉影像之影像處理裝置及影像處理方法，且更特定言之，係關於用於偵測-臉之部分之位置的影像處理裝置及影像處理方法，該等部分如自從一輸入影像该測的一臉影像之眼的中心、内角及外角、一鼻子、 ^ 畀于孩鼻子的下端及側面、 -嘴巴、該嘴巴的端部、眉毛與該等眉毛的内角及外角。更明確地，本發明係、關於用於使用採用—統計學習演算法（例如Adaboost)的一偵測器偵測自一臉影像的一臉2部分之位置的影像處理裝置及影像處理方法，且更特定言之，係關於用於偵測自藉由臉偵測採用少量的計算及記憶體所偵測的一臉影像的一臉之部分（例如眼）之位置的影像處理裝置及彩像處理方法。如本發明包含2007年7月5曰向曰本專利局申請的曰本專利申請案JP 2007-丨77007之相關標的，該案之全部内容係以引用的方式併入本文中。【先前技術】臉辨識技術能廣泛地應用於人機介面，例如不對使用者施加負擔的一個人識別系統以及一性別決定系統。近年來，臉辨識技術已用於對數位相機中的主題偵測或主題辨識之相機工作的自動化，例如自動聚焦（AF)、自動曝光 (AE)、自動設定視角或自動攝影。在臉辨識系統中，（例如）實行用於偵測一臉影像之位置 130240.doc 1380223 並擷取偵測臉影像為一偵測臉之臉偵測，用於偵測自該偵測臉之-臉的主要部分之臉部分偵測’以及用於辨識該偵測臉（指定一人）之臉辨識◊在臉偵測中，從一輸入影像偵測-臉影像之大小及位置並且棟取偵測臉f彡像為一偵測臉。在臉部分偵測巾，從該偵測臉憤測臉部分。臉部分包括眼的中心、内角及外备外钦” 内夂外角、一鼻子、該鼻子的下端及側面、一嘴巴、該嘴巴的端部、眉毛與該等眉毛之内角及外角。在根據偵測臉部分之偵測位置已實行位置調整及旋轉補償之後，在臉辨識中實行偵測臉之辨識（一人之說明）。已建議僅使用—影像信號之密度圖案從複雜影像場景谓測一臉之許多方法。例如，採用一統計學習演算法（例如 Adaboost)的偵測器能用於以上說明的臉偵測。

Adaboost係藉由Freund等人於1996年建議為一理論其中能藉由組合實行稍好於隨機猜測之稱為簡單學習者）來獲得"強大八類Γ ( 4 熳付強大分類Is "。每一簡單分類器均可為-濾波器’例如Haar基底函數，而且係採用下列方式產生：將權重CX指派給先前產生之簡單分類器所不擅長的分類：結果。獲得每一簡單分類器之可靠性，而且根據每一簡單分類器之獲得可靠性實行一多數決。此處’能假定各種大小臉係包括在一輸入影像中（參見圖^因此’有必要切掉各種大小的搜尋視窗以便決定一臉是否係包括在切掉的搜尋視窗之每—者中。 b考里固$影像之解析度的方法(即製備用於包括在輸入t/像中的各種大小臉之各種臉谓測器的方法）以 130240.doc 1380223 及固定一偵測臉之大小的方法（即’以不同方式縮小—輸入影像之解析度用於使用具有一固定可偵測臉大小的一單 —臉偵測器進行偵測的方法），作為處置一影像之解析度與一偵測臉之大小之間的關係之問題的方法。後者係比前者更實際。大小與學習樣本相同的一視窗（下文亦稱為，•搜尋視窗"）係通常從藉由轉換一輸入影像之比例所獲得的每 —影像切掉以便搜尋不同大小的搜尋視窗。即，因為不能決疋包括在該輸入影像中的一臉之大小，所以有必要每次改變該輸入影像之解析度時使一臉偵測器掃描該輸入影像。從藉由改變該輸入影像之解析度所獲得的每一影像，僅能偵測接近臉偵測器之固定可偵測臉大小的一大小之臉 (參見圖10)。然而，例如，由320x240個像素組成的一輸入影像包括近似5,0〇〇個大小之搜尋視窗，而且簡單鑑別器花費較長時間對所有視窗大小實行算術運算。因此，已建議提高簡單鐘別器之算術運算的速度之一些方法。例如’已知使用矩形特徵及稱為整體影像的影像快速地計算簡單假設之方法（參見（例如）美國未審查專利申請案第 2002/0 102024號及Paul Viola提供的使用簡單特徵之增壓串聯的快速物件偵測（CVPR 2001))。此外，揭示一物件偵測器件，其中在多數決時，即使在計算過程中仍使用獲得的計算結果決定一視窗影像為一非物件而不等待直至所有簡單鑑別器個別地輸出計算結果並接著取消進一步計算。在此物件偵測器件中，在學習會期 130240.doc 1380223 中得知用以取消計算的臨界值（參見（例如）日本未審查專利申請公開案第2005-157679號）。因此.，能明顯地減小偵測一物件之程序中的計算量。【發明内容】採用Adaboost演算法的一偵測器能從一複雜影像場僅使用該場景之一影像信號的等級圖案偵測一臉。本發明者考 1此種偵測器亦能應用於偵測臉部分。若將圖1 0 _所解說的臉偵測應用於偵測臉部分，則使一固定大小之臉部分偵測器掃描從一輸入影像所偵測的每_ 驗影像’同時改變臉影像之解析度（參見（例如）圖u)。即’改變藉由一臉偵測器所偵測的每一臉影像之解析度，而且藉由臉部分偵測器掃描臉影像，以便僅偵測接近臉部分偵測器之固定大小的解析度之一臉部分。 .然而’在此臉部分偵測方法中，有必要改變從一輪入影像所擷取的每一臉影像之解析度並且每次改變臉影像之解析度時使一臉部分偵測器掃描該擷取臉影像。此舉導致大量計算及記憶體的消耗。需要提供能夠偵測臉部分之位置的優良影像處理裝置及優良影像處理方法’該等臉部分如自從—輸人影像所债測的一臉影像之眼的中心、内角及外角、一鼻子、該鼻子的下端及側面、一嘴巴、該嘴巴的端部、眉毛與該等眉毛的内角及外角》進一步需要提供能夠使用採用統計學習演算法（例如 Adaboost)之一偵測器偵測自一臉影像的臉部分之位置的優 130240.doc 良影像處理裝置及優良影像處理方法β 進一步需要提供能夠採用少量計算及記憶體偵測臉部分之位置（例如自藉由臉偵測所偵測的一臉影像之眼）的優良影像處理裝置及優良影像處理方法。依據本發明之一具體實施例的一影像處理裝置處理包括一臉之一影像的一影像。該影像處理裝置包括：一正規化單元’其經級態用以正規化包括一臉之該影像的該影像以便該臉之大小變為一預定臉大小；一偵測區域設定單元，其經組態用以設定小於藉由該正規化單元所正規化的該影像之一區域為其中偵測該臉之一臉部分之一位置的一偵測區域；以及一偵測單元，其經組態用以偵測藉由該偵測區域設定單元所設定之該偵測區域中的該臉部分之該位置。已、知使用採用統計學習演算法（例如Adaboost)的谓測器之方法’作為僅使用一影像信號之密度圖案偵測自一複雜影像場景的一臉之方法。因為假定一輸入影像包括各種大 φ臉’所以已知以不同方式改變該輸入影像之解析度以便每次改變臉影像之解析度時使具有固定可摘測臉大小的一單一偵測器實行臉偵測的方法。用於進一步偵測一臉部分（例如自藉由臉偵測所偵測的一臉影像之眼）之位置的處理基本上對應於用於僅使用一影像信號之密度圖案偵測自一複雜影像場景之一臉影像的處理。因此，能考量使用以上說明的統計學習演算法（例如Adaboost)的臉部分偵測方法。然而’為了解決一影像之解析度與一偵測臉之大小之間 130240.doc -9· 1380223 的關係，有必要以不同方式改變藉由臉偵測所獲得的一臉影像之解析度並且每次改變該臉影像之解析度時使一臉部分偵測器實行掃描。此舉導致大量計算及記憶體。或者，存在製備不同大小之複數個臉部分偵測器代替以不同方式改變一臉影像之解析度《然而，此方法係不切實際的。因此，在依據本發明之一具體實施例的影像處理裝置中’使用能藉由在實行臉部分偵測之前實行臉偵測來決定一臉之近似大小的事實，放大或縮小藉由臉偵測所獲得的一臉影像以便包括在臉影像中的一目標臉部分之大小變為一臉部分偵測器可偵測的近似大小。即，預先正規化該臉影像以便目標臉部分之解析度係與臉部分偵測器之解析度相同。隨後’僅使用一固定大小之臉部分偵測器從正規化臉影像偵測該臉部分》因此，依據本發明之一具體實施例，臉部分偵測器僅掃描包括藉由臉偵測器所偵測的一偵測臉之影像的一單一正規化臉影像。即，沒有必要以不同方式改變每一偵測臉之解析度並且每次改變該解析時實行掃描。因此，能明顯地減小所需要的計算及記憶體之量。此外，因為能減小掃描操作之數目，所以能提高臉部分偵測的速度。依據本發明之一具體實施例的一影像處理裝置快速地偵測一目標臉部分（例如一眼）之位置。該偵測區域設定單元設定小於正規化臉影像之一區域為其中偵測該眼之位置的一偵測區域》該偵測單元定義包括在偵測區域中的至少二個像素之光 130240.doc • 10· 設，並義的一且使用利用藉由統計學最終假設來偵測該偵測度位準之間的差異為簡單假習預先獲得的簡單假設所定區域中的臉部分之位置。更明確而δ，在由（例如） ) 個像素組成的偵測單元之應用£域t，該偵測單如，僅數百個集），在^計個像素之複數個集（例 n... /、之間存在允許輕易擷取一臉部分一眼）之特徵的光度位準差之該等集之》差…4算包括在二個像素 :: +的-個像素之光度位準之間的差異；。异結果為對該二個像素的簡單假設，·以及使用藉由者：：習預先獲得的簡單假設來定義一最終假設。其每一差展Γ括在24X24個像素中的二個像素之光度位準之間的 :的定義簡單假設之群組係記錄為-臉部分偵測詞典。使用與藉由該正規同的解析户之心臉影像之解析度相解析度之一臉影像來實行統計學習。 -ί偵!1 一臉部分時’採用以上說明的臉部分偵測詞典之 t位2掃摇藉由一臉侦測器所須測的臉影像。在每一掃 :辛传μ計算二個像素之光度位準之間的差異，該二個一:！彳包括在二個像素之該等集之每-者中而且為其定義假設。決定計算結果是否與對該二個像素的簡單假 ^定義己L轉決定結果來決定該二個像素的分數。根據為 ^ 簡單假設的二個像素之所有該等集之分數的油和’能：定掃描位置是否為目標臉部分之位置。 H則所說明，在本發明中，預先將一臉影像之大小正大小。因此，僅使用（例如）24x24個像素之 130240.doc 1380223 固定大小的臉部分彳貞測n，能從正規化㈣像偵測一臉部分。因為該偵測區域設定單元設定小於正規化臉影像之一區域為用於該臉部分的一偵測區域（例如，當偵測一左眼時，將小於臉影像並且其中左眼很可能存在的一區域設定為該伯測器之-掃描區域代替臉影像的整個區域），所以能減小臉部分愤測所需要的計算及記憶體之量。因此能快速地偵測一目標臉部分之位置。若實行統計學習以便-目標臉部分之分數變為正值，則該摘測單元能決定具有最高正分的所有掃描位置之一係該目標臉部分之位置。為了計算每-掃描位置處的—分數，有必要獲得包括在為其定義一簡單假設的二個像素之所有該等集中的二個像素之光度位準之間的差異。若當存在數百個簡單假設時對臉部分偵測區域的整個區域實行分數計算，則需要大量計算。另一方面，在增加簡單假設之數目的程序中，能估計是否存在掃描位置係該目標臉部分之位置的可能性。在此情況下，可藉由統計學習設定指示不再存在掃描位置係該目標臉部分之位置而且係與簡單假設之數目相關聯的任何可能性之一分數極、限值，以便減小一臉部分偵測器為其實行計算的簡單假設之數目。能根據與從所有輸入學習資料件所獲得的簡單假設之數目相關聯的最低分來設定該極限值。在計算某一掃描位置處的—分數期間將從簡單假設之某一數目所獲得的一分數與一對應極限值比較。若該分數係低於該對應極限值，則能考量掃描位置極不可 130240.doc -12·

乙J 為~目標臉部分之位置。因此’取消隨後的分數計算，而且ΐ回代表掃描位置並非該目標臉部分之位置的結果。不而要該偵測單元在該臉部分偵測區域(小於-臉影像的整個區域之區域）中的所有點（χ、γ)處掃描。藉由2 實仃分數計算所處㈣描位置稀⑭實行高速度掃描，能減少臉部分偵測所需要的處理時間。若在某掃描位置處計算一高分，則存在掃描位置或鄰近掃描位置係、—目標臉部分之位置的高可能性。然而，在 V、中於母隔一點處實行掃描之以上說明的高速度掃描中，臉部分偵測之粒度係較粗。因此右在一知描位置處計算高於預定值的一分數，則亦在鄰近於該掃描位置之位置處實行分數計算，在該等位置處並非藉由預設來實行分數計算，以便設定具有最高正分的一位置為一目標臉部分之位置。因此，能提高一處理速度，而且能維持偵測之精度。目標臉部分係左及右眼之每一者。該正規化單元根據藉由該偵測單元所偵測兩眼之位置來正規化自一輸入影像的臉影像之位置、大小及角度，而且將正規化結果用於臉辨識或另一應用。亦能考量使用關於除兩眼以外的一臉部分之位置的資訊來正規化一臉影像之方法。然而，與其他臉部分比較，使用兩眼之位置能更精確地正規化一臉影像，因為在個人當中左與右眼之間的距離存在很小差異。依據本發明之一具體實施例，提供能夠使用採用統計學 130240.doc -13- 次算法（例如Adab00st)之一偵測器偵測自一臉影像的一臉部分之位置的優良影像處理裝置及優良影像處理方法。依據本發明之-具體實施例，提供能夠採用少量計算及 s己憶體偵測一臉部分（例如自藉由腧 .. 目猎由臉偵測所偵測的一臉影象之眼)之位置的優良影像處理裝置及優良影像處理方法。因為依據本發明之一且體眚始各丨从 /、體貫施例的一影像處理裝置預先

正^化-臉f彡像之大小至—默到、，所以其能僅使用一固定像素大小之-單-臉部们貞測器幻貞測自正規化臉影象之臉。P刀此外’因為藉由該偵測區域設定單元設定小於正規化臉影像之-區域為用於該臉部分的叫貞測區域 (例如，當制-左眼時，將小於臉影像並且其中左眼很可能存在的-區域設定為該#測器之_掃描區域代替臉影像的整個區域)’力以能減小臉部分偵測戶斤需要的計算及記憶體之量。因此，能快速地偵測該臉部分之位置。

依據依照本發明之一具體實施例的一影像處理裝置，藉由實行統計學習為簡單假言史之數目設定一分數極限值。在某一掃描位置處的分數計算期間，當從簡單假設之某一數目獲得的一分數係低於對應極限值時，取消隨後的分數計算。因此，能減少分數計算所需要的成本，而i能提高臉部分偵測之速度。藉由使欲實行分數計算所處的掃描位置稀疏並在計算一高分所處的一掃描位置附近實行分數計算而不使掃描位置稀疏，能明顯地減小計算量以達到快速臉部分偵測並且能預防偵測之精度的降低。 130240.doc •14· 丄380223 從基於本發明之下列具體實施例以及附圖的更詳細說明將明白本發明之其他目的、特性及優點。【實施方式】

臉辨識器14以及用於儲存複數個影像的一記憶體 (賺am)15。臉偵測器12、眼位置㈣器13及臉辨識⑽ 之每一者包括一本地記憶體（SDRAM)。例如，將藉由一數位相機捕獲的-影像輸入於臉辨識系統！中，而且從臉辨識系統1輸出-旗標，其指示一人之捕獲影像是否與預先儲存的一影像相同（是/否）。

以下參考附圖詳細地說明本發明之一具體實施例。圖1示意性地解說依據本發明之一具體實施例之一臉辨識系統的整個組態。該圖中所解說的一臉辨識系統】包括 —影像縮小器11、一臉偵測器12、一眼位置偵測器13、一影像縮小器11縮小-輸人影像之水平及垂直大小至 2便建立—料影像，並將該縮小影像及原始輸人影像儲 1子在SDRAM(同步DRAM)15中。在圖】中所解說的-範例中，影像縮小器11建立三個影像，即為該輸入影像的-影像卜藉由縮小該輸入影像之水平及垂直大小至1/2的一影像二2以及藉由縮小該輸人影像之水平及垂直大小至1/4的和像1/4 ’並且將該等建立影像儲存在s⑽AM ! 5中。，缩J办像時，從計算之精度的觀點看，需要從該輸入影像直接建建立該影像1/2及該影像1/4。然而，從硬體之大小的觀點看，可始大小的nH地實行縮小-影像至其原輸入衫像（影像1)建立該影像1/2 I30240.doc -15· 並接著從該影像1/2建立該影像1/4之方法。臉❹ill⑵貞測自該輸人影像以及儲存在隨歲15中 ^有縮小影像之每"者的—臉，並且獲得㈣測臉之大二：置。若不考量處理速度，則能藉由對-影像的整個實行臉偵測來輕易地獲得該臉位置。另一方面，在偵 =種大小臉的情況下，能考量固定—影像之解析度的方即，製備用於包括在一輸入影像中的各種大小臉之各種臉摘測器的方法)，以及固定一偵測臉之大小的方法以*时式料—輸人影像之解析度用於使用具有 :固定可僧測臉大小的一單一臉偵測器進行偵測的方法 (見圖1G))，作為處置―影像之解析度與—偵測臉之大小 • 1的關係之問題的方法(參見圖9)。後者係比前者更實際。因此’如圖1中所解說’臉伯測器12檢查-臉是否存在二藉由〜像縮小II u所建立的影像丨及縮小影像1/2與1/4 之每一者中的24x24個像素之一區域中。 /縮j比（例如1/2及1/4)之數目係太小以致不能精確地實行臉偵測，則影像縮小nu可使用各種縮小比7/8、㈣及5/8來進—步建立影像7/8、6/8及5/8而且臉偵測器12可對該等建立影像之每一者實行臉谓測。為了在臉偵測中實行特徵擷取，能使用一像素差異方在此方法令，從24x24個像素當中選擇二個像素之在八之間存在允許輕易榻取一臉特徵的光度位準差異，而且在二個像素之該等集之每一者中獲得二個像素之光度位準之間的差異。Adab〇〇st演算法可用於一分類器之 I30240.doc 1380223 計算。作為對自一臉影像的一臉之辨識的製備，眼位置伯測器 13指定左及右眼之位置以便正規化包括在藉由增加由臉偵測器12所偵測的臉影像之解析度而獲得的一影像中的一臉。即，眼位置偵測器13偵測眼之位置以便根據藉由臉偵測所獲得之一臉影像中的一臉之大小及位置來獲得包括在藉由增加該臉影像之解析度所獲得之一影像中的一臉之大小、位置及角度。

在本發明之i定具體實施例中，從—臉影像_左及右眼為臉部Hb原因係在個人當中左與右眼之間的距離存在很小差異。應該注意，可偵測各種臉部分，例如眼的中心、内角及外角、一鼻子、該鼻子的下端及側面、一嘴巴' 該嘴巴的端部、眉毛與該等眉毛之内角及外角。像臉偵測之情況-樣，在偵測兩眼之位置時，像素差異方法能用於待徵擁取。像臉價測器12一樣，眼位貞号

13在24x24個像素之同一 ρ 门£域中實行像素差異方法。因此’使用藉由臉摘測5| ] ^裕田& ^ 旧12所㈣同—硬體’能達到理_t演算法可用於一分類器之計算。 :由24x24個像素組成的一價測器令，選擇二個像素之複數個集（例如，二個像素之僅數百個集），在1之門广 =易操取一眼之特徵的光度位準差異。將二個像素子之 "等集中的—個像素之光度位設’而且使用藉由統計學習箱“ -疋義為簡早假最終假設。因Λ，其每一者:先獲得的簡單假設來定義- 者為包括在24x24個像素中的二 130240.doc 丄獨223 :像素之光度位準之間的差異的簡單假設之群組係使用在 Μ貞測器中’而且係，記錄為—臉部分㈣詞典。在偵測時，使由24x24個像素組成的眼伯測器掃描藉由臉摘測器 12所伯測的臉影像4每—掃描位置處，計算為1定義一簡單假設的二個像素之光度位準之間的差異m計算 -果疋否與簡單假設匹配。根據該決定結果決定—分數。將二個像素之所有該等集之分數的總和定義為最終假設。根據該最終假設’能決定掃描位置是否係一眼位置。本發明之特徵為快速地偵測一臉部分（例如一眼、一嘴巴或一鼻子）之位置。稍後將詳細說明臉部分偵測，例如兩眼之位置的偵測。臉辨識器14獲得自臉影像的一臉之大小、位置及角度，其中藉由眼位置谓測器13指定左及右眼之位置以便正規化藉由臉偵測器12所偵測的臉影像；儲存包括在60x66個像素中的SRAM中的正規化臉影像；以及決定正規化臉影像疋否係與一記錄影像相同。亦月b考里使用關於除兩眼以外的一臉部分之位置的資％來正規化一臉影像之方法。然而，與其他臉部分比較，使用兩眼之位置能更精確地正規化一臉影像，因為在個人當中左與右眼之間的距離存在很小差異。在藉由臉辨識器14所實行的臉辨識中，能將賈柏遽波 (Gabor Filtering)應用於特徵擷取。應瞭解存在具有對特定方向之選擇性的人體視細胞。該等細胞包括回應於垂直線的細胞及回應於水平線的細胞。同樣地，賈柏濾波器係藉 130240.doc •18· 1380223 由具有方向選擇性的複數個渡波器所形成的一空間渡波器。將GenUeboost用於計算在臉辨識器14中所實行的分類器。獲得仙m皮！！對正規化臉影像實行的處理之、。果與使用貝柏;慮波H對預先記錄的影像實行的處理之 -結果之間的相似之程度。對相似之程度執行Ge— 以便決定臉影像是否匹配記錄影像。如先前所說明，能使用採用統計學習演算法（例如 Adab〇°St)的臉偵測器12，作為僅使用-影像信號之密度圖案偵測自一複雜影像場景的一臉之方法。因為假定一輸入影像包括各種大小臉’ m以以不同方式改變該輸入影像之解析度以便每次改變臉影像之解析度時使具有固定可偵測臉大小的一單一偵測器實行臉偵測（參見圖1〇) ^ 用於偵測為臉部分的左及右眼之位置的眼位置偵測器i 3 將像素差異方法用於特徵揭取，而且係採用統計學習演算法（例如Adaboost)之一摘測器。在偵測兩眼之位置中，為了解決一影像之解析度與一偵測臉之大小之間的關係，有必要改變藉由臉偵測器〗2所偵測的一臉影像之解析度並且每次改變該臉影像之解析度時使一臉部分偵測器實行掃描（參見圖丨丨）。在此情況下，需要大量計算及記憶體。或者，能考量製備不同大小之複數個臉部分偵測器的方法代替以上說明的改變一臉影像之解析度的方法。然而’此舉係不切實際的。在此具體實施例中，使用能在藉由臉偵測器12實行臉偵 130240.doc 19· 1380223 測時獲得-臉之近似大小的事實’預先正規化—臉影像以便左及右眼之解析度係與一眼偵測器之解析度相同。更明確而言，若眼偵測器之大小係24χ24個像素，則正規化一臉影像以便臉影像之大小變為8〇)<8〇個像素。在此情況下，僅使用24x24個像素之一固定大小的一單一眼偵測器，能從80x80個像素之正規化臉影像偵測眼之位置。即，如圖2中所解說，若從臉偵測器12輸出的臉影像係較大，則預先正規化該臉影像以便該臉影像之解析度係與一

眼偵測器之解析度相同。另一方面，若臉影像係較小則放大臉影像。因此，不需要掃描複數個解析度之影像。此舉致能快速眼偵測。圖3係示意性地解說正規化一臉影像並偵測為臉部分的眼之一程序的流程圖。

從臉偵測器12輸入關於包括在欲處理之一影像中的一臉之大小及位置的資訊（步驟S1)。在製備眼偵測中，首先，正規化一臉影像以便該臉之大小變為一預定大小（例如，一臉之每一側變為80個像素）（步驟S2)。隨後，將包括正規化臉影像中的眼之一區域設定為一眼偵測區域，而且一眼偵測器在此眼偵測區域中實行掃描 (步驟S3)。該眼偵測器實行像素差異方法，而且將Adaboost演算法用於計算一分類器。例如，眼偵測器之大小係24x24個像素’而臉影像之大小係80x80個像素。在24x24個像素之區域中，眼偵測器設定二個像素之複 130240.doc -20- ^80223 數個集（例>，二個像素之僅數百個集），在其之間存在允許輕易擷取一眼特徵的光度位準差異；定義二個像素之該等集之每一者中的二個像素之光度位準之間的差異為一簡單假設；而且使用藉由預先實行的統計學習所獲得的簡單假設來定義一最終假設。此處，實行統計學習以便一眼 (目標臉部分）之分數變為一正值。在眼偵測區域中的每一掃描位置處，在二個像素之該等集之每一者中計算為其定義簡單假設的二個像素之光度位準之間的差異。決定計算結果是否與簡單假設匹配以決定一分數。將如先前說明所決定之分數的總和儲存為掃描位置處的一分數。在眼债測器已完成預定眼偵測區域的掃描之後將具有最向正分的掃描位置設定為一眼位置（步驟S4)。在實行一臉部分偵測器之統計學習以便一目標臉部分之分數變為一正值的情況下，能將具有最高正分的一位置考量為目標臉部分之位置。如先前所說明，偵測眼之一的位置。隨後，藉由實行從步驟S3至步驟S4的程序來同樣地偵測眼之另一者的位置 (步驟S5)。在已偵測眼之位置之後，實行一臉位置之正規化（步驟 S6)。在一臉位置之正規化中，實行臉之縮放及旋轉以便將眼調整至預先決定的模型眼位置。因此，獲得一臉影像並且接著將其用於一隨後級中的應用’例如一臉辨識應用。圖4係示意性地解說藉由一左眼偵測器所實行的正規化 130240.doc 1380223 臉影像之掃描的圖式。如圖4Α中所解說，假定從臉偵測器12輸出各種解析度之臉影像。在读測-臉部分(例如-左眼)時，首先，將一臉影像之大小正規化至預先決定的大小’例如8〇><8〇個像素 :大小。該左眼谓測器掃描正規化臉影像。該左目艮谓測器定義至少二個像素之光度位準之間的差異為簡單假設，而且藉由組合許多簡單假設來獲得一最終假設。

在此範例中，將臉影像之大小正規化至8〇χ8(Η@像素的大小H左目Μ貞測H可以不掃描正規化臉影像的整個區域。如圖4Β中解說為-對角陰影區域，其中左眼很可能存在的-區域係預先設定為一左眼偵測區域。此臉部分偵測區域係小於正規化臉影像的固定區域。

/一臉影像之大小係80x80個像素，而一眼摘測器之大小係24x24個像素。在採用Adab〇〇st的左眼偵測器中實行統計學習以便在左眼之位置處獲得一正分。因此，能考量係在左眼制器已掃描方向上之以上說明的左目^貞測區域之後獲得的具有最高正分之—位置為目標^分之位置。不需要左眼债測器在左眼_區域中的所有點（χ、γ)處掃描。藉由適當地使掃描位置稀疏，能減少偵測所需要的處'理時間。此將在稍後詳細地進行說明。如圖1中所解說，若用於辨識-臉影像為-臉的處理係實行為-隨後級中的-應用，則製備臉辨識。在製備臉辨識中，使用藉U作-臉部分偵測器的Κ貞測器所實行 130240.doc -22- 上380223 的兩眼之偵測的結果，根據藉由臉偵測所偵測之臉影像中 =-臉之大小及位置，獲得藉由增加臉影像之解析度所獲得之-影料的一臉之角度。在本發明之一特定具體實施例中，從-臉影像㈣左及右眼為臉部分^此原因係在個人當中左與右眼之間的距離存在很小差異。例如，如先前所說明，若將—臉料之大]、正規化請_個像素之大小’則每-眼之寬度係10至15個像素，而眼之間的近似距離係16個像素》

圖5解說左眼偵測器之一範例性組態。由2姆個像素租成的左眼偵測器實行像素差異方法，而且將八灿痛演算法用於計算一分類器。如圖5A中所解說，在由24χ24個像素組成的左眼偵測器中，設定二個像素pixl⑴及pix2⑴之複數個集〇係一正整數1至數百個值)，在其之間存在允許輕易擷取一眼特徵的光度位準差異。為該二個像素？1?(1⑴及pix2⑴之每一集定義代表二個像素之光度位準之間的差異係低於一臨界值 Θ⑴的-簡單假設。使用藉由統計學習預先獲得的簡單假設來定義一最終假設。此處，實行統計學習以便左眼之分數變為一正值。表示簡單假設的等式係如下。 \ρΐχΐ(ή-ρΐχ2(ή<θ(ή 六(叫是·· Λ(’)=ι 使用與正規化臉影像之解析度相同的解析度之臉影像來實行統計學習。 130240.doc •23· 1380223 基本上’為二個像素之一集定義簡單假設，在其之間存在允許輕易擷取一眼特徵之光度位準差異。然而，從兩個像素之該等集擷取不同程度的眼特徵。因此將一權重以⑴ 指派給該二個像素pix 1⑴及pix2(t)之該集。因此，例如用於左眼偵測的一詞典包含關於像素ρίχΐ⑴ 及pix2(t)之位置的資訊件、用於此等像素之光度位準之間的差異之臨界值θ⑴、以及權重α⑴（參見圖5b)。使用 Adaboost製備此詞典。在偵測時，計算該二個像素pixl⑴及pix2⑴之光度位準之間的差異，決定是否滿足像素pixUt)_pix2⑴<θ⑴之假設，以及當假設分別係是及否時返回h(t)=1及之回應。將簡單假設h(t)乘以權重α⑴以便獲得該二個像素ρίχ丨⑴ 及pix2⑴的一分數。將二個像素之所有集之分數的總和定義為掃描位置處的最終假設。如下列等式中所說明，若實仃統計學習以便一眼之分數變為一正值’則能考量具有在左眼偵測器已掃描X及γ方向上的左眼偵測區域之後獲得的最高正分之一位置係一目標臉部分之位置。 ΣΜ0«(Φ〇:眼位置 <_ :非眼位置圖5C解說以程式碼之形式的一臉部分偵測器之組態。首先，將分數之值初始化至一掃描位置處的零。。十算為其疋義簡單假設的該二個像素pixl⑴及pix2⑴之 I30240.doc -24- Ϊ380223 光度位準之間的差異以便決定是否滿足pix 1⑴-Pix2⑴邙⑴ 之假。若簡單假設係是，則返回h(t)=l之回應。若簡單假設係否，則返回咐：]之回應。藉由將簡單假設h⑴乘以權重α⑴所獲得的值h(t)a⑴係該二個像素㈣⑴及 Pu2(t)的分數。將分數h(t)〇^t)添加至分數。對二個像素之所有集之每-者重複地實行以上說明的分

，計算財^獲得的分數係掃描位置處的分數（㈣所有簡單假設之數目，例如數百個值）。實打統計學習以便一眼之分數變為一正值。因此，若八數係-正值’則返回代表掃描位置係—目標臉部分之^ 的回應是。若分數並非—正值，料㈣表掃描位置並非一目標臉部分之位置的回應否。一圖5D解說—簡單假設之定義（簡單學習者·· WL)，其係 ==預定臉部分_區域中的二個像素之光度位 :間的差異。在該圖中解說範例，其中簡單假設之數目 =〇:職π0。應該注意對-臉影像實行等級處理以便預防侵犯肖像權。如圖5B及5D中所解說 7 —— 測器)包括在二個像素之數百個隼::測器(例如-左眼偵位準之間的差異之簡單假:百:集7^^ 分數，有必要獲得二個像素之所有⑽位置處的一異。若計算所有掃描位置處的分數要2度位準差憶體。 j需要大量計算及記因此，可藉由統計學習減小由一驗部分偵測器所計算的 130240.doc •25· 1380223 簡單假設之敦目。在此具體實施例中，如先前所說明實行統計學習以便-目標臉部分之分數變為__正值。在此情況下’在偵測時’若即使在已將簡單假設之數目增加至某 -數目之後仍不能獲得一正分’則藉由統計學習獲得一 ’’極限值”，其代表即使繼續分數計算仍不能實行-目標臉部分之評估或決定。能根據與從所有輸入學習資料件所獲得的簡單假設之數目㈣聯的最低分來設定該極限值（參見圖从）。在計算某一掃描位置處的-分數期間，將從簡單假設之某—數目所獲得的-分數與-對應極限值比較。若該分數係低於該對應極限值（參見圖6B)，則能考量掃描位置極不可能為一目標臉部分之位置。因此，取消隨後的分數計算’而且返回代表掃描位置並非該目標臉部分之位置的結果。不需要左㈣測器在左眼偵測區域中的所有點(X、Y)處掃描。藉錢欲實行分㈣算所處的掃描位置稀疏而實行向速度掃描’能減少臉部分偵測所需要的處理時間。圖7解說在-臉部分伯測區域中實行的高速度掃描。在該圖中，藉由向左傾斜影線指示預設掃描位置。在一解說範例中’將預設掃描位置設定在水平方向(χ方向)上的每隔點處’而且將掃描線（其中每隔一點處實行掃描的線）設定在垂直方向（y方向）上的每隔一列中。若在某-婦描位置處計算—高分，則存在掃描位置或鄰近掃描位置係一目標臉部分之位置的高可能性。然而，在其中於母隔-點處實行掃描之以上說明的高速度掃描中， 130240.doc -26- 臉部分偵測之粒度係較粗。因此’若在一掃描位置處計算高於預定值的一分數則亦在鄰近於該掃描位置之位置處實行分數計算，在該等位置處並非藉由預設來實行分數計算，以便設定具有最高正分的一位置為—目標臉部分之位置。因此，能提高一處理速度’而且能維持偵測之精度。在圖7中所解說的範例中，計算一高分所處的一掃描位置係用父又線畫出陰影。在鄰近位置（藉由向左傾斜影線所指不）（即掃描位置之右側上的一位置、掃描位置下面的一位置、以及掃描位置之右下角的—位置）處，亦實行分數計算。藉由實行圖7中所解說的高速度掃描’能採用在預防该測精度之降低的同時在所有掃描位置處實行分數計算之情況下所需要之計算量的四分之一來偵測一目標臉部分。欲從-臉影像偵測的—臉部分之範例包括左及右眼。如中所解說’臉辨識系w具備眼位置偵測器13作為臉部分偵測器。根據藉由眼位置㈣器13所谓測的兩眼之位置’正規化藉由-輸人單元所輸人的臉影像之位置、大小及角度。正規化臉影像係經受藉由臉辨識㈣所實行的驗辨識（先前所說明），或能用於使用—_臉的另—應解說）。圖8解說根據臉影像之大小所實行的制臉影像之正規化的結果，以及根據正規化臉影像中的眼之位置所實行的正規化臉影像之位置、大小及角度之正規化的結果。能從 130240.doc -27- 1380223 此圖瞭解，藉由對每一臉區域影像實行眼偵測並根據偵測結果而正規化臉區域影像來精確地對準隨機定向的臉。能考量將關於除兩眼以外的另一臉部分之位置的資訊用於正規化一臉影像。然而，與其他臉部分比較，使用眼之位置能達到一驗影像之更精確的正規化，因為在個人當中左與右眼之間的距離存在很小差異。熟習技術人士應瞭解，只要在隨附申請專利範圍或其等效内容的範疇内，可根據設計要求及其他因素作出各種修改、組合、子組合及變更。【圖式簡單說明】圖1係示意性地解說依據本發明之一具體實施例之一臉辨識系統的整個組態之一圖式；圖2係解說一臉影像之正規化之—圖式，其係預先實行以便在使用能在臉偵測中獲得一臉之近似大小的事實進行偵測之刖左及右眼之解析度係與一眼偵測器之解析度相同；圖3係示意性地解說正規化一臉影像並實行臉部分偵測之一程序的流程圖；圖4A係示意性地解說在正規化一臉影像之後藉由一左眼偵測器所實行的掃描之一圖式；圖4B係示意性地解說使用一左眼偵測器掃描一正規化臉影像之一圖式；圖5A係一圖式，其解說由24x24個像素組成之一左眼偵測器中的二個像素pixl⑴及pix2⑴之複數個集之設定，在 I30240.doc -28- 1380223 其之間存在允許輕易擷取一眼特徵之光度位準差異；圖5B係解說用於臉部分偵測的一詞典之一範例性組態之一圖式；圖5 C係解說以一偽程式碼之形式的一臉部分偵測器之一組態之一圖式；圖5 D係解說為一臉影像中一預定臉部分偵測區域中的二個像素之光度位準之間的差異之一簡單假設的定義之一圖式；圖6A係解說基於與從所有輸入學習資料件獲得的簡單假 s又之數目相關聯的最低分的一極限值之設定之·—圖式. 圖6B係解說以一分數係低於一極限值情況下的簡單假設之數目取消分數計算之一圖式；圖7係解說在一臉部分偵測區域中實行的高速度掃描之一圖式；圖8係一圖式，其解說根據臉影像之大小所實行的偵測臉影像之正規化的結果’以及根據眼之位置所實行的正規化臉影像之位置、大小及角度之正規化的結果；圖9係解說包括各種大小臉之一輸入影像之一圖式. 圖10係一圖式，其解說使用一臉偵測器掃描—輸入影像，同時改變該輸入影像之解析度，該臉偵測器經實行用於僅偵測具有接近該臉偵測器之大小的一解析度之一臉· 以及 ^ 圖11係一圖式，其解說使用一臉部分偵測器掃描—臉影像，同時改變該臉影像之解析度，該臉部分偵測器經實= I30240.doc -29- 1380223 . 用於僅偵測具有接近該臉部分偵測器之大小的解析度之 # 臉部分。【主要元件符號說明】 11 影像縮小器 12 臉偵測器 . 13 眼位置偵測器 14 臉辨識器 15 記憶體（SDRAM) 130240.doc -30-

Claims

申請專利範圍：第097122547號專利申請案中文申請專利範圍替換f (101年6月y 年q修疋本 1· 一種影像處理裝置，其用於處理包括一臉之一影像’該影像處理裝置包含：正規化構件，其用於正規化包括一臉之該影像的該影像以便該臉之大小變為一預定臉大小；偵測區域設定構件，其用於設定小於藉由該正規化構件所正規化的該影像之—區域為其中偵測該臉之一臉部分之一位置的一偵測區域；偵測構件，其用於偵測藉由該偵測區域設定構件所設定之該偵測區域中的該臉部分之該位置；其中該谓測構件定義包括在該偵測區域中的至少二個像素之光度位準之間的一差異為一簡單假設，並且使用利用藉由統計學習減獲得的簡單假設所定義的一最级假設來偵測該臉部分之該位置；以及中在該谓測構件之一庫用P λ » t 應用£域中，該偵測構件至少二個像素之複數個集，在1 疋 -臉邻在”之間存在允許輕易操取臉·。μ分之一特徵之_ -㈣去準差異；計算包括在至少一個像素之該複數個集每一市·<►母者尹的二個像音夕止由準之間的一差異.以月〜《调诼京之先度位的一簡單假設。勹了^一個像素 2.如凊求項】之影像處理裝置，苴用區域中的每一掃扩〃〜偵測構件之該應少二個像夸夕兮.$批，两叫稱件#异包括在至像素之该複數個集之每-者中#曰“ 單假設的··個偾| 1 ，且為其定義該簡個像素之光度位準之間的-差異… 產呉，决定該計 I30240-1010605.doc 异結果是否與對該二個像素之該簡單假設匹配，根據該決定結果決定該二個像素之一分數，以及根據至少二個像素之所有該複數個集的該等分數之總和來決定該掃描位置是否係該臉部分之該位置。 Λ ‘如請求項2之影像處理裝置，其中實行該統計學習以便一目標臉部分之一分數變為 —正值，以及八中4偵測構件決定具有最高正分的所有該等掃描位置之一係該目標臉部分之該位置。 4. 如請求項3之影像處理裝置’其進一步包含設定構件，其用於根據與從用於該統計學習之所有學習資料件獲得的間早假設之-數目相關聯的最低分來設定―分數極限值，以及 <其中在某一掃描位置處的分數計算期間，當從簡單假 °又之某數目獲得的一分數係低於對應極限值時，該偵測構件取消該分數計算。 5. 如請求項4之影像處理裝置，其中該偵測構件返回代表該某一掃描位置並非該目標臉部分之該位置的一結果。 6·如請求項2之影像處理裝置’其中在該偵測區域中，該 :測構件藉由使欲實行分數計算所處的掃描位置稀疏來貫行南速度掃描。月求項6之影像處理裝置其中該伯測構件亦在一掃描位：士實行分數計算，該掃描位置係鄰近於具有高於先又疋之值的一計算分數之一掃描位置而且在其處 130240-1010605.doc 1380223 , 一匕藉由預設來取消分數計算。 . 8·如請求項〗之影像處理裝置，其中該臉部分係左及右眼之每一者，以及其中該正規化構件根據藉由該谓測構件所谓測的該等左及右眼之位置來實行正規化。 •種處理包括-臉之-影像的一影像之影像處理方法，其包含下列步驟：纟規化包括—臉之該影像的該影像以便該臉之大小變為一預定臉大小；設定小於該正規化影像之一區域為其中偵測該臉之一臉部分之一位置的一偵測區域；偵測該偵測區域中的該臉部分之該位置；其中該憤測該偵測區域中的該臉部分之該位置定義包括在該㈣n域中的至少二個像素之光度位準之間的一 :異為一簡單假設，並且使用利用藉由統計學習預先獲鲁付的間早假設所定義的一最終假設來伯測該臉部分之該位置；以及在該伯測區域令’設定至少二個像素之複數個集，在 • 其之間存在允許輕㈣取—臉部分之-特徵之-光度位準差異’ 4昇包括在至少二個像素之該複數個集之每一者中的二個像素之光度位準之間的一差異；以及定義該。十算結果為對該二個像素的—簡單假設。 1〇二種影像處理裝置，其用於處理包括—臉之-影像的一影像’該影像處理裝置包含： 130240-10i0605.doc 1380223 定義構件’其用於設定包括在其中摘測該臉之一臉部之-位置之一㈣區域令的至少二個像素之複數個集’计算包括在至少二個像素之該複數個集之每一者中 ::個像素之光度位準之間的一差異，以及定義該計算結果為對該二個像素的一簡單假設；以及 :::件’其用於在該偵測區域中的每一掃描位置處计算包括在至少二個像素之該複數個集之每一者 :其定義該簡單假設的該二個像素之光度位準之間的— 異，決定該計算結果是否與對該二個像素之 =至根據該決定結果決定該二個像素之一分數以及根據至少二個像专之新古象素之所有該複數個集的該等分數之轉 11 和來決定該掃描位置是否係該臉部分之該位置。〜 • 一種處理包括·一臉之—旦彡你二其包含下列步驟：“象的-影像之影像處理方法，設定包括在其"測該臉之一臉部分之—位置測區域中的至少二個傻+ 備袖“ 像素之複數個集，計算包括在至少一個像素之該複數個隼夕直 ^ 準之間的一差異者中的二個像素之光度仅異，以及定義該計算結果為對的一簡單假設；以及 T忑一個像素在該摘測區域令的各 ^ 加你本，母一知描位置處計算包括在至少二個像素之該複數個集之每一者 ^•n. aa ^ - im /a *. 為其定義該簡單假。又的忒一個像素之光度位準之平俶結果是否與對該二個像辛二一差異’決定該計算疋，。果決^二個像素之-分數，以及根據至少二個^ 130240-10l0605.doc 1380223 t 素之所有該複數個集的該等分數之總和來決定該掃描位置是否係該臉部分之該位置。

130240-1010605.doc