TWI488496B - Face capture method for image capture device - Google Patents

Description

影像擷取裝置之人臉對焦方法

本發明係有關一種影像擷取裝置之對焦方法，特別是一種依據影像中的人臉進行自動對焦之方法。

數位相機為了能夠取得良好之影像，通常配置有自動對焦機構(Auto-focusing)。此自動對焦機構係針對被攝物體所在位置進行對焦程序。

在近幾年的技術中，在被攝景象中有人像時，通常會採用人臉來做為對焦之物體。也就是說，數位相機會先以人臉偵測技術，找出被攝景物中的人臉、定出人臉區塊後，再以人臉區塊作為對焦的物體並進行測距。

人臉偵測技術有採用膚色辨識方式或採用人臉特徵辨識方式。前者係從擷取到的影像中尋找膚色資訊，符合膚色資訊之區塊即認定為人臉區塊。此種方式，容易因環境光線較暗或較亮而導致無法找到人臉膚色，或所框選的人臉區塊並不適當，例如框選到較大或較小的人臉區塊。

前述後者則是以臉部的口、鼻、眼之特徵做為人臉區塊之判斷，此種方式在判別程序上較為複雜，且判別後所得到的人臉區塊的大小亦可能因為判別手段的些微差異而不同。

在前述人臉區塊決定後，數位相機即以該人臉區塊為對焦標的進行測距。如此一來，被攝影像中的人臉將能有較為清晰效果。

然而，在選取人臉區塊時，會因為人臉偵測程序的偵測能力有限，造成人臉位置圈選不夠精確，例如當選取範圍過大時，就會造成選取範圍除了包含人臉影像外，亦會包含人臉旁邊的背景影像。接著，再以此人臉區塊進行對焦時，自動對焦程序將會一併考量人臉影像及背景影像，使得人臉對焦精確度降低。尤其是，大部分的被攝景像中的背景影像的清晰值(例如對比值)通常比人臉影像的清晰值來得高，使得人臉對焦結果不佳。

基於上述問題，本發明提出一種影像擷取裝置之人臉對焦方法，係能分別對人臉區塊中的各個子區塊進行對焦，並辨別出近群的子區塊，再依據近群的子區塊的子區塊焦距決定目標焦距，如此一來，即可解決前述問題。

依據一實施例，影像擷取裝置之人臉對焦方法係適於影像擷取裝置，此人臉對焦方法包含：在多個焦距位置，擷取多個對焦影像，每一對焦影像係對應焦距位置之一，每一對焦影像具有一人臉；偵測每一對焦影像之人臉，以得到對應對焦影像之多個人臉區塊；分割每一人臉區塊為多個子區塊；依據子區塊及焦距位置，決定對應子區塊之多個子區塊焦距(即每個子區塊的較佳對焦位置)；對子區塊焦距執行近群判斷程序，以得到一近群，近群包含部分子區塊焦距；以及依據近群的該些子區塊焦距，決定目標焦距。

前述依據子區塊及焦距位置，決定對應子區塊之子區塊焦距之步驟為依據子區塊及焦距位置，以二次多項式逼近法決定對應子區塊之子區塊焦距。

依據一實施例，前述近群判斷程序包含依據子區塊焦距，執行分群演算法，以得到多個群組，每一群組包含部分子區塊焦距；各別計算群組的該些子區塊焦距之一平均焦距；以及以最小的平均焦距所對應的群組為近群。

藉由上述方法，影像擷取裝置得以先在預定焦段中擷取多張對焦影像，其次，將對焦影像中的人臉區塊分割為子區塊，分別依據對應的子區塊進行最佳焦距位置計算，以獲得對應每個子區塊的子區塊焦距，接著，再將該些子區塊焦距進行分群，以得到代表人臉的一近群(近群即代表純人臉影像的子區塊的群組)，最後再依據近群中的子區塊焦距，決定目標焦距。如此一來，即可排除在人臉區塊中非人臉影像的子區塊，並保留人臉區塊中純人臉的子區塊，而能夠更精確地使影像擷取裝置對焦在人臉上。

有關本發明的特徵與實作，茲配合圖示及實施例說明如下。

首先，依據本發明之一實施例，影像擷取裝置之人臉對焦方法適於一影像擷取裝置。此影像擷取裝置係可以但不限於一數位相機、或數位攝影機。以下以數位相機做為影像擷取裝置之實施例，請參閱「第1圖」。其係為影像擷取裝置之功能方塊示意圖。

從「第1圖」中可以見悉，影像擷取裝置包含鏡頭10、影像感測器11、影像前置處理單元12、自動白平衡單元13、影像訊號處理器14、自動曝光單元15、自動對焦單元16、馬達驅動器17、顯示單元18、及儲存單元19。

影像擷取裝置在拍攝模式時，可分幾種模式，例如但不限於預覽階段(Live view,又稱S0階段)、自動對焦階段(即使用者對準待攝物後半按快門，又稱S1階段)、及拍攝階段(即使用者全按快門，又稱S2階段)。

影像擷取裝置在被啟動時，景象的光線經過鏡頭10後即由影像感測器11所接收並轉換成一影像。此影像經過影像前置處理單元12、及自動白平衡單元13後，分別由影像訊號處理器14、自動曝光單元15及自動對焦單元16所接收。影像訊號處理器14處理該影像後，可將之顯示於顯示單元18。自動曝光單元15則判斷所接收到的影像是否需要進行曝光補償，而對影像感測器11進行控制。

影像擷取裝置在被啟動時，通常會進入預覽階段。此時自動對焦單元16以快速對焦之參數對景象進行快速對焦。自動對焦單元16即依據快速對焦參數控制馬達驅動器17以移動鏡頭10於不同焦距位置。自動對焦單元16即擷取對應不同焦距位置下的影像並進行焦距計算，以得到目標焦距。自動對焦單元16在得到目標焦距時，即將鏡頭10移到該目標焦距處，以能讓顯示在顯示單元18的影像能較為清晰。

在使用者半按快門時，影像擷取裝置即進入S1階段，此時，自動對焦單元16即以細部對焦參數對景象進行對焦。自動對焦單元16得到細部對焦的目標焦距後，即將鏡頭10移至該目標焦距。接著，使用者全按快門時，影像感測器11即擷取影像，被擷取的影像經過影像前置處理單元12及自動白平衡單元13之處理後，由影像訊號處理器14將被處理的影像顯示於顯示單元18或儲存於儲存單元19。

本發明之影像擷取裝置之人臉對焦方法係可應用於自動對焦單元16。意即可應用於快速對焦或細部對焦。請續參閱「第2圖」，其為依據本發明人臉對焦方法一實施例之流程示意圖。圖中可以看見，人臉對焦方法包含下述步驟：步驟S20：在多個焦距位置，擷取多個對焦影像，每一該對焦影像係對應該些焦距位置之一，每一該對焦影像具有一人臉；步驟S22：偵測每一該對焦影像之該人臉，以得到對應該些對焦影像之多個人臉區塊；步驟S24：分割每一該人臉區塊為多個子區塊；步驟S26：依據該些子區塊及該些焦距位置，決定對應該些子區塊之多個子區塊焦距；步驟S28：對該些子區塊焦距執行一近群判斷程序，以得到一近群，該近群包含部分該些子區塊焦距；以及步驟S29：依據該近群的該些子區塊焦距，決定一目標焦距。

前述步驟S20係指由自動對焦單元16通過一個透鏡與在透鏡的移動範圍內的多個位置，依據對焦參數依序取得多張對焦影像。前述對焦參數可以包含對焦焦段及影像取樣點數。對焦焦段 可以是全對焦範圍，亦可以是一個在全對焦範圍中的一段對焦區間。此處的全對焦範圍指的是馬達驅動器17所驅動的步進馬達(Step Motor)能被控制的移動範圍，此移動範圍通常以移動的步級數來表示，例如但不限於114步、262步。此步進馬達每次被推進一個步級約能推動鏡頭10移動數個微米(um,10^-6 m)。而前述一段對焦區間則是在該全對焦範圍中的一個區段，例如但不限於201步到236步的區間。前述影像取樣點數是指在前述對焦範圍內所要擷取的對焦影像的張數。以上述201步到236步之對焦焦段為例，若擷取6張對焦影像，則約每間隔7步級距離即取一張對焦影像，也就是說，在焦距位置為201,208,215,222,229,236步級位置時，各別擷取一張對焦影像。意即每一張對焦影像係對應一個焦距位置。前述對焦焦段、對焦範圍及焦距位置之單位雖實務上多以步進馬達(被馬達驅動器17所驅動)之步數來代表焦距位置、對焦範圍、或對焦焦段，但並不限於此種表示方式，亦可以微米等單位。

前述對焦影像中具有至少一個人臉，以下先以每一對焦影像中僅具有一個人臉為例進行說明，但本發明之適用並不以一張人臉為限。對焦影像中的人臉可以是正面或側面。

接著，請搭配「第3圖」閱覽之。「第3圖」為依據本發明人臉對焦方法步驟S22所擷取之對焦影像30之示意圖。步驟S22係藉由一人臉偵測程序偵測每一對焦影像之人臉，以得到人臉區塊。以圖中之對焦影像30為例，在執行完步驟S22後，即可得到 人臉區塊32。每一人臉區塊32係對應一對焦影像30。而由於每一對焦影像30係對應一焦距位置，因此，每一人臉區塊32亦對應一焦距位置。

前述人臉偵測程序可以是膚色偵測法、特徵偵測法或其他人臉偵測之方法。從圖中可以看出，偵測所得之人臉區塊32包含了人臉及非人臉之影像(如圖中方框的四個角落中的影像)。唯，本發明之方法並不限於人臉區塊32包含了人臉及非人臉之影像，亦可用於僅有人臉之影像的人臉區塊。

接著，請同時參照「第4圖」，其為「第3圖」的對焦影像30中的人臉區塊32放大示意圖。在步驟S24執行後，係將人臉區塊32分割為9個子區塊321,322,323,324,325,326,327,328,329，換句話說，也就是將人臉區塊32分割為M個子區塊，其中M為正整數。「第4圖」中可以看出，本實施例係將人臉區塊32分割成9個子區塊321~329，但其分割數並不以此為限。亦可將之分割成較多或較少之小區塊數，視經驗值及所需之精確度而定。然而，為了能較為準確地進行後續步驟，在同一次的對焦程序時所擷取到的所有對焦影像30的人臉區塊32，建議均分割成相同數目的子區塊。也就是說，步驟S24係將前述步驟S22所偵測到的所有人臉區塊32均分割為相同數目的子區塊。以「第4圖」為例，則所有偵測到人臉區塊32均分割成9個子區塊321~329。且其分割之條件相同。意即其分割的尺寸相同。

其次，執行步驟S26。依據子區塊321~329及其焦距位置， 決定對應子區塊321~329之子區塊焦距，換句話說，也就是對於M個子區塊中的第i個子區塊與對應的焦距位置，決定第i個子區塊焦距，其中i為不大於M的正整數。步驟S26係以二次多項式逼近法決定對應每一子區塊321~329之子區塊焦距。請同時參閱「第5圖」及「第6圖」。「第5圖」為依據本發明人臉對焦方法步驟S26之二次多項式逼近法之示意圖。「第6圖」為依據本發明人臉對焦方法步驟S26之二次多項式逼近法之流程示意圖。

在「第5圖」中水平軸係為焦距位置，單位是步進馬達的步數(或稱步級數)，垂直軸為清晰值，在此例中係以對比值來代表清晰值，但並不以此為限。從圖中可以看出此實例中係於步級數在75到112步之間的對焦焦段中擷取8個對焦影像30(圖中每一個點即代表擷取一次對焦影像30)。而圖中的每一個點的水平高度所對應的清晰值即為在該次擷取到的對焦影像30中的人臉區塊32的一個子區塊的清晰值。

請參考「第6圖」，步驟S26包含：步驟S260：分別計算每一子區塊之一清晰值，每一子區塊之清晰值係對應該些焦距位置之一；以及步驟S262：分別以該些對焦影像30的同一該子區塊的該清晰值，以該二次多項式逼近法決定該些子區塊焦距。

在步驟S260中，係先計算第一個焦距位置(約75步級位置)的對焦影像30中的人臉區塊32的第一個子區塊321(先以左上角之子區塊為例)的清晰值。圖中可以看出，其清晰值約為1.7×10⁵ 。 接著，計算第二個焦距位置(約82步級位置)的對焦影像30中的人臉區塊32的第一個子區塊321的清晰值，圖中可以看出，其清晰值約為1.6×10⁵ 。其餘依此類推，即可得到第一子區塊321在8個焦距位置的清晰值。同樣地，其餘子區塊322~329亦各可得到8個焦距位置的清晰值，並繪製如「第5圖」所示分佈圖。在將其餘子區塊完成步驟S260之動作後，再進行步驟S262。

步驟S262即是分別以該些對焦影像30的同一子區塊的清晰值，以該二次多項式逼近法決定子區塊焦距。也就是說，依二次多項式逼近法，求取(或繪製)「第5圖」中的二次多項式趨近線34，這個二次多項式趨近線34可以用作為對應子區塊的清晰值曲線。並求取該趨近線34中最高清晰值36所對應的步級位置(步級數或稱對焦位置)，亦即估計位置作為該子區塊焦距。以「第5圖」為例，第一子區塊321的子區塊焦距約在98步級數位置。同樣地，其餘子區塊322~329均可依步驟S262得到各別的子區塊焦距。

完成步驟S26之後，即進行步驟S28，對該些子區塊焦距執行一近群判斷程序，以得到一近群，該近群包含部分該些子區塊焦距。其中，請參閱「第7圖」，其為依據本發明人臉對焦方法之近群判斷程序之流程示意圖。圖中可以見悉近群判斷程序包含：步驟S280：依據該些子區塊焦距，執行一分群演算法，以得到多個群組，每一群組包含部分該些子區塊焦距；以及步驟S282：依據該些群組的該M個子區塊焦距，決定該近群。

接續步驟S260，茲舉一實例說明步驟S280及S282之內容。 首先，假設在步驟S260執行後，得到的9個子區塊321~329之子區塊焦距分別為219,220,225,219,220,225,219,220,225步級數。步驟S280係將此9個子區塊焦距執行分群演算法。此分群演算法可以為K平均演算法(K-means Clustering)、類神經網路演算法(Artificial Neural Network Clustering,ANN)、模糊分群(Fuzzy Clustering)、或支持向量機演算法(SVM,Support vector machine Clustering)。以下以K平均演算法為例，茲設預設分群數為二群，將上述9個子區塊焦距進行分群，得到二個群組。此二群組分別包含了部分的子區塊焦距。此二群組分別是群組一的219,219,219,220,220,220，以及群組二的225,225,225。從此二群組中即可依據步驟S282判斷近群及遠群。此處的近群之定義係表示焦點距離影像擷取裝置較近的群，也就是說焦距較近(或稱較短)的群，也就是說近群係由該M個子區塊焦距中，數值最小的N個子區塊焦距所組成，N為小於M的正整數。遠群係表示焦點距離影像擷取裝置較遠的群，也就是說焦距較遠(或稱較長)的群。以前述例子而言，由於此步進馬達的步級數愈小表示焦距愈長，因此，從上述群組一及群組二之子區塊焦距即可得知，群組二屬於近群。群組一為遠群。

雖然此舉例中，步級數較小者表示焦距較長，但並非限制條件。部分影像擷取裝置之步進馬達的步級數較小者表示焦距較短(近)，則近群則是子區塊焦距較小之群組。

為了能夠更清楚地說明近群之判斷方法，請參閱「第8圖」。 其為依據本發明人臉對焦方法之步驟S282之流程示意圖。步驟S282包含：步驟S284：各別計算該些群組的該些子區塊焦距之一平均焦距；以及步驟S286：以最小的該平均焦距所對應的該群組為該近群。

將上述二群組各別的子區塊焦距之數據套入步驟S284及286後，群組一的平均值為219.5步級數，而群組二的平均值為225步數。而219.5步級數及225步級數所代表之焦距，以本舉例而言，225步級數具有較短(近)之焦距，因此，決定群組二為近群。

最後，執行步驟S29，依據該近群的該些子區塊焦距，決定一目標焦距。此決定目標焦距之步驟有下述幾種方式，但並不以此為限。第一種方式為以近群的該些子區塊焦距的中位數為目標焦距。第二種方式為以近群的該些子區塊焦距的眾數為目標焦距。第三種方式為以近群的該些子區塊焦距的平均數為目標焦距。以前述舉例之子區塊焦距為例，由於近群中的子區塊焦距均為225，故無論採用上述那一種方式，所得到之目標焦距均為225。此三種方式各有其利弊，但均能達到本發明之目的。

影像擷取裝置在得到目標焦距後，自動對焦單元16即可驅動馬達驅動器17將鏡頭10移至該目標焦距，以進行後續拍攝之動作。

在步驟S28中之所以使用近群而非遠群來作為步驟S29中決定目標焦距之依據，其考量原因如下：在人臉區塊32大部分區域 為人臉影像，部分區域則可能為背景影像，人臉影像及背景影像在進行測距(即經過判斷最佳清晰值所對應的焦距位置)後，背景的焦距位置將比人臉影像的焦距位置還遠，故使用近群之子區塊焦距做為目標焦距判斷之依據。

從上述說明中即可以得知，即便分割後之子區塊321~329中僅有3個子區塊322,325,328的大部分像素是人臉影像，而其餘的6個影像中背景影像佔大部分像素，經過本方法判別後，亦能夠將非人臉影像(即背景影像)的子區塊排除掉，而僅以人臉影像做為對焦標的，由此可知，本發明能在不受人臉偵測程序的優劣的影響，而仍能準確地得到人臉對焦結果。

此外，當所擷取到的每一張對焦影像30中具有多張人臉時，可以於偵測到人臉區塊32後，在每一張對焦影像30中取尺寸最大的人臉區塊32進行步驟S24、S26、S28及S29之動作。當然除了採用最大的人臉區塊32進行本發明外，亦可採用其他方式決定欲進行分割的人臉區塊32。

雖然上述舉例均係以影像擷取裝置在拍攝靜態照片為例，但並不以此為限，以可以應用在動態攝影模式。

雖然本發明以前述之較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

10‧‧‧鏡頭

11‧‧‧影像感測器

12‧‧‧影像前置處理單元

13‧‧‧自動白平衡單元

14‧‧‧影像訊號處理器

15‧‧‧自動曝光單元

16‧‧‧自動對焦單元

17‧‧‧馬達驅動器

18‧‧‧顯示單元

19‧‧‧儲存單元

30‧‧‧對焦影像

32‧‧‧人臉區塊

321,322,323,324,325,326‧‧‧子區塊

327,328,329‧‧‧子區塊

34‧‧‧趨近線

36‧‧‧最高清晰值

第1圖為依據本發明人臉對焦方法所適用之影像擷取裝置之功能方塊示意圖。

第2圖為依據本發明人臉對焦方法一實施例之流程示意圖。

第3圖為依據本發明人臉對焦方法步驟S22所擷取之對焦影像之示意圖。

第4圖為「第3圖」的對焦影像中的人臉區塊示意圖。

第5圖為依據本發明人臉對焦方法步驟S26之二次多項式逼近法之示意圖。

第6圖為依據本發明人臉對焦方法步驟S26之二次多項式逼近法之流程示意圖。

第7圖為依據本發明人臉對焦方法之近群判斷程序之流程示意圖。

第8圖為依據本發明人臉對焦方法之步驟S282之流程示意圖。

Claims (9)

1. 一種影像擷取裝置之人臉對焦方法，適於一影像擷取裝置，包含：通過一透鏡，在該透鏡的一移動範圍內的多個位置，擷取多個對焦影像，每一該對焦影像係對應該些位置其中之一，每一該對焦影像中有一人臉；偵測每一該對焦影像中之該人臉，以得到每一該對焦影像中的該人臉所對應的一人臉區塊；於每一該對焦影像中，將該人臉所對應的該人臉區塊分割為M個子區塊；對該人臉區塊的該M個子區塊中的第i個子區塊，決定該第i個子區塊對應的一子區塊焦距，包括：依據該第i個子區塊於該些對焦影像中的清晰值以及該些對焦影像所對應的該些位置，計算該第i個子區塊的一清晰值曲線；以及於該透鏡的該移動範圍內，計算對應該第i個子區塊的該清晰值曲線有最大值時對應的一估計位置，以將該估計位置決定為該第i個子區塊之該子區塊焦距；將該M個子區塊所對應到的該M個子區塊焦距執行一近群判斷程序，以得到一近群，該近群係由該M個子區塊焦距中，數值最小的N個子區塊焦距所組成；以及依據該近群的該N個子區塊焦距，決定一目標焦距； 其中M為正整數，N為小於M的正整數，i為不大於M的正整數。
2. 如請求項1所述之人臉對焦方法，其中該依據該第i個子區塊於該些對焦影像中的清晰值以及該些對焦影像所對應的該些位置，計算該第i個子區塊的一清晰值曲線之步驟為依據該些清晰值及該些對焦影像所對應的該些位置，以一二次多項式逼近法計算該第i個子區塊的該清晰值曲線。
3. 如請求項2所述之人臉對焦方法，其中該依據該些清晰值及該些對焦影像所對應的該些位置，以該二次多項式逼近法計算該第i個子區塊的該清晰值曲線之步驟包含：分別以該些對焦影像中該第i個子區塊的該清晰值，以該二次多項式逼近法決定該第i個子區塊的該清晰值曲線。
4. 如請求項1所述之人臉對焦方法，其中該近群判斷程序包含：依據該M個子區塊焦距，執行一分群演算法，以得到多個群組，每一群組包含部分該M個子區塊焦距；以及依據該些群組的該些子區塊焦距，決定該近群。
5. 如請求項4所述之人臉對焦方法，其中該依據該些群組的該些子區塊焦距，決定該近群的步驟包含：各別計算該些群組的該些子區塊焦距之一平均焦距；以及以最小的該平均焦距所對應的該群組為該近群。
6. 如請求項4所述之人臉對焦方法，其中該分群演算法係為K平均演算法(K-means Clustering)、類神經網路演算法(Artificial Neural Network,ANN)、模糊分群(Fuzzy Clustering)、或支持向量機演算法(SVM,Support vector machine)。
7. 如請求項1所述之人臉對焦方法，其中該依據該近群的該N個子區塊焦距，決定該目標焦距的步驟為以該近群的該N個子區塊焦距的中位數為該目標焦距。
8. 如請求項1所述之人臉對焦方法，其中該依據該近群的該N個子區塊焦距，決定該目標焦距的步驟為以該近群的該N個子區塊焦距的眾數為該目標焦距。
9. 如請求項1所述之人臉對焦方法，其中該依據該近群的該N個子區塊焦距，決定該目標焦距的步驟為以該近群的該N個子區塊焦距的平均數為該目標焦距。