TWI684955B - 前景影像的提取方法與電子裝置 - Google Patents

Abstract

本發明提供了一種前景影像的提取方法與電子裝置，其利用紅外線(Infrared；IR)來進行前景影像提取，以降低環境光影響與背景雜訊。更進一步來說，本發明的提取方法與電子裝置可以在不同的IR強度下擷取代表亮燈狀態的一IR亮幀影像、代表暗燈狀態的一IR暗幀影像與一彩色影像(如RGB影像、YUV影像等)，並透過一簡單運算計算IR亮幀影像與IR暗幀影像之間的關係與彩色影像的相關數值以藉此切割出較佳的前景影像(包含使用者的人臉部分、身體部分與頭髮部分)，並可降低運算量而達到即時處理。

Description

前景影像的提取方法與電子裝置

本發明提供一種前景影像的提取方法與電子裝置，且特別是關於一種能夠切割出合適的前景影像的提取方法與電子裝置。

在影像合成技術中，前景影像提取大致上可分為三類，其分別是色鍵(Chroma key)技術；背景相減法與特徵偵測法。

色鍵技術的概念是將背景改為單一顏色，並藉由前景與背景的顏色差距來去除背景，以切割出前景。然而，色鍵技術需要使用者額外架設單一顏色的布幕，對於使用者來說非常不便。

背景相減法的概念是當前景像素值與背景像素值相差很大時，即可切割出前景影像。然而，背景影像容易受到雜訊的干擾，使得提取出來的前景影像常會包含部分的背景影像。

而特徵偵測法通常是針對某特定物體進行前景影像提取。以人臉影像為例，首先執行臉部特徵偵測，接著再針對臉部特徵找到輪廓而提取人臉影像。然而，臉部特徵偵測很容易受到環境光影響而偵測不到人臉影像。此外，較佳的臉部特徵偵測會造成複雜計算，進而無法達到即時處理。

因此，在前景影像提取的過程中，若可以降低環境光影響、背景雜訊與運算量，將可提取出較佳的前景影像。

本發明提供了一種前景影像的提取方法與電子裝置，其利用紅外線(Infrared；IR)來進行前景影像提取，以降低環境光影響與背景雜訊。更進一步來說，本發明的提取方法與電子裝置可以在不同的IR強度下擷取代表亮燈狀態的一IR亮幀影像、代表暗燈狀態的一IR暗幀影像與一彩色影像(如RGB影像、YUV影像等)，並透過一簡單運算計算IR亮幀影像與IR暗幀影像之間的關係與彩色影像的相關數值以藉此切割出較佳的前景影像(包含使用者的人臉部分、身體部分與頭髮部分的前景影像)，並可降低運算量而達到即時處理。

本發明實施例提供一種前景影像的提取方法，且適用於一電子裝置。前景影像的提取方法包括如下步驟：(A)於一IR發射器由一暗燈狀態到一亮燈狀態再回到暗燈狀態的過程中，擷取具有一使用者的多個幀影像；(B)於這些幀影像中擷取代表亮燈狀態的一IR亮幀影像，擷取代表暗燈狀態的一IR暗幀影像，且擷取一彩色影像；(C)計算IR亮幀影像與IR暗幀影像的一差值影像，且將差值影像二值化以產生一二值化影像，其中二值化影像具有多個前景像素與多個背景像素；(D)根據一人臉代表圖框的一圖框位置取得二值化影像中的一感興趣區域，其中感興趣區域對應到使用者的一人臉部分與一頭髮部分；(E)根據差值影像、彩色影像與感興趣區域中的每一個像素位置與一中心點的距離關係調整感興趣區域中的該些前景像素與該些背景像素以產生一二值化增強影像，其中二值化增強影像具有多個第二前景像素與多個第二背景像素；以及(F)根據二值化增強影像中的該些第二前景像素，將彩色影像中對應的像素決定為前景影像。

本發明實施例提供一種電子裝置，且用以提取一前景影像。電子裝置包括一IR發射器、一影像擷取裝置與一影像處理器。IR發射器發射一IR訊號。影像擷取裝置接收關聯於IR訊號的 一IR反射訊號且接收一可見光訊號。影像處理器耦接IR發射器與影像擷取裝置，且用以執行下列步驟：(A)控制IR發射器由一暗燈狀態到一亮燈狀態再回到暗燈狀態，且根據IR反射訊號與可見光訊號擷取具有一使用者的多個幀影像；(B)於這些幀影像中擷取代表亮燈狀態的一IR亮幀影像，擷取代表暗燈狀態的一IR暗幀影像，且擷取一彩色影像；(C)計算IR亮幀影像與IR暗幀影像的一差值影像，且將差值影像二值化以產生一二值化影像，其中二值化影像具有多個前景像素與多個背景像素；(D)根據一人臉代表圖框的一圖框位置取得二值化影像中的一感興趣區域，其中感興趣區域對應到使用者的一人臉部分與一頭髮部分；(E)根據差值影像、彩色影像與感興趣區域中的每一個像素位置與一中心點的距離關係調整感興趣區域中的該些前景像素與該些背景像素以產生一二值化增強影像，其中二值化增強影像具有多個第二前景像素與多個第二背景像素；以及(F)根據二值化增強影像中的該些第二前景像素，將彩色影像中對應的像素決定為前景影像。

為使能更進一步瞭解本發明之技術內容，請參閱以下有關本發明之詳細說明與附圖，但是此等說明與所附圖式僅係用來說明本發明，而非對本發明的權利範圍作任何的限制。

100‧‧‧電子裝置

110‧‧‧影像擷取裝置

120‧‧‧IR發射器

130‧‧‧影像處理器

Si‧‧‧IR訊號

Sr‧‧‧反射訊號

Sv‧‧‧可見光訊號

FC‧‧‧使用者

FCN‧‧‧非使用者

S310、S320、S330、S340、S350、S360、S370、S380‧‧‧步驟

410‧‧‧第一幀影像

420‧‧‧第二幀影像

430‧‧‧第三幀影像

440‧‧‧第四幀影像

510‧‧‧IR亮幀影像

520‧‧‧IR暗幀影像

530‧‧‧差值影像

540‧‧‧二值化影像

542‧‧‧前景像素

544‧‧‧背景像素

S410、S420、S430、S440、S450‧‧‧步驟

S341、S342、S343、S344、S345、S346、S347、S348‧‧‧步驟

RFr‧‧‧人臉代表圖框

NFr‧‧‧目前人臉圖框

ROI‧‧‧感興趣區域

A1‧‧‧第一預定距離

A2‧‧‧第二預定距離

A3‧‧‧第三預定距離

Ct‧‧‧中心點

D1‧‧‧圖框長度

S351、S353、S355、S357、S359‧‧‧步驟

640‧‧‧二值化增強影像

IFr‧‧‧前景影像

740‧‧‧漸進影像

742‧‧‧漸進像素

P1‧‧‧前景調整像素

P2‧‧‧灰階像素

P3‧‧‧背景調整像素

900‧‧‧混合影像

(80,30)、(100,10)、(120,10)‧‧‧像素位置

圖1是本發明一實施例之電子裝置與使用者的位置關係圖。

圖2是本發明一實施例之電子裝置的示意圖。

圖3是本發明一實施例之基於前景影像的背景虛化方法的流程圖。

圖4A-4D是本發明一實施例之影像處理器擷取四個幀影像的示意圖。

圖5是本發明一實施例之計算二值化影像的示意圖。

圖6A是本發明一實施例之取得二值化影像的流程圖。

圖6B是本發明一實施例之取得人臉代表圖框的流程圖。

圖6C是本發明一實施例之人臉代表圖框的示意圖。

圖6D是本發明一實施例之感興趣區域的示意圖。

圖7A是本發明一實施例之調整感興趣區域中的前景像素與背景像素的流程圖。

圖7B是本發明一實施例之差值影像示意圖。

圖7C是本發明一實施例之二值化影像的示意圖。

圖8是本發明一實施例之漸進影像的示意圖。

圖9是本發明一實施例之混合影像的示意圖。

在下文中，將藉由圖式說明本發明之各種例示實施例來詳細描述本發明。然而，本發明概念可能以許多不同形式來體現，且不應解釋為限於本文中所闡述之例示性實施例。此外，圖式中相同參考數字可用以表示類似的元件。

本發明實施例所提供的前景影像的提取方法與電子裝置，其控制一IR發射器由一暗燈狀態到一亮燈狀態，再由亮燈狀態到暗燈狀態。而在上述過程中，前景影像的提取方法與電子裝置將在不同的IR強度下擷取代表亮燈狀態的一IR亮幀影像、代表暗燈狀態的一IR暗幀影像與一彩色影像。接著根據IR亮幀影像與IR暗幀影像的差值產生具有多個前景像素與多個背景像素的二值化影像。再來根據一人臉代表圖框的一圖框位置取得二值化影像中的一感興趣區域(對應到使用者的人臉部分與頭髮部分)。接著再調整感興趣區域中的前景像素與背景像素以產生一二值化增強影像，其中二值化增強影像具有多個第二前景像素與多個第二背景像素。最後，根據二值化增強影像中的該些第二前景像素，彩色影像中對應的像素(作為頭髮部分的背景像素)會被決定 為前景影像。

藉此，本發明之前景影像的提取方法與電子裝置可以透過上述簡單運算切割出較佳的前景影像(包含使用者的人臉部分、身體部分與頭髮部分的前景影像)。而在取得前景影像後，電子裝置可以根據前景影像來對彩色影像進行背景虛化，以藉此產生一背景虛化影像。更進一步來說，電子裝置將根據前景影像與電子裝置之間的距離來對彩色影像進行不同程度的背景虛化，以更貼近真實的虛化場景。以下將進一步介紹本發明揭露之前景影像的提取方法與電子裝置。

首先，請參考圖1-2，圖1顯示本發明一實施例之電子裝置與使用者的位置關係圖，且圖2是本發明一實施例之電子裝置的示意圖。如圖1-2所示，電子裝置100設置在一使用者FC附近，用來拍攝具有使用者FC的一動態影像，並從動態影像中提取具有使用者FC的多個幀(frame)影像。電子裝置100具有一IR發射器120、一影像擷取裝置110與一影像處理器130。影像處理器130耦接影像擷取裝置110與IR發射器120。在本實施例中，電子裝置100可為智慧型手機、監視器、平板電腦、筆記型電腦或其他可同時擷取IR影像與RGB影像的電子裝置，本發明對此不作限制。

如圖1所示，IR發射器120發射一IR訊號Si至使用者FC，使用者FC將會反射一IR反射訊號Sr。此時，影像擷取裝置110將接收到使用者FC反射的IR反射訊號Sr與一環境光所產生的一可見光訊號Sv。更進一步來說，IR發射器120可以是由一顆或多顆IR發光二極體(LED)組成，且設置在影像擷取裝置110附近。在本實施例中，IR發射器120是由一顆IR LED組成，且設置在影像擷取裝置110的下方。本實施例的影像擷取裝置110為紅綠藍-紅外(RGB-IR)感測器，使得影像擷取裝置110可以同時接收到IR反射訊號Sr與可見光訊號Sv。當然，影像擷取裝 置110亦可以由二個獨立的RGB感測器與IR感測器組成，本發明對此不作限制。

而影像處理器130將控制IR發射器120由一暗燈狀態到一亮燈狀態再回到暗燈狀態。在上述過程中，影像處理器130將接收IR反射訊號Sr與可見光訊號Sv，且根據IR反射訊號Sr與可見光訊號Sv產生一動態影像，並執行下列步驟，進而從動態影像中提取具有使用者FC的前景影像。

請同時參考圖3，其顯示本發明一實施例之基於前景影像的背景虛化方法的流程圖。首先，電子裝置100的影像處理器130將從動態影像中提取具有使用者FC的多個幀影像(步驟S310)，並從這些幀影像中擷取代表亮燈狀態的一IR亮幀影像、擷取代表暗燈狀態的一IR暗幀影像與擷取一彩色影像(步驟S320)。

更進一步來說，請同時參考圖4A-4D，影像處理器130將依序擷取具有使用者FC的四個幀影像。這四個幀影像分別包括由暗燈狀態轉換為亮燈狀態的一第一幀影像410、在亮燈狀態下的一第二幀影像420、由亮燈狀態轉換為暗燈狀態的一第三幀影像430、與在暗燈狀態下的一第四幀影像440。在這四個幀影像中，第一幀影像410與第三幀影像430為IR光源尚未全亮或全暗時的影像，且第二幀影像420與第四幀影像440為IR光源已全亮或全暗時的影像。因此，影像擷取器110將擷取第二幀影像420中的IR影像作為IR亮幀影像(如圖5的IR亮幀影像510)，擷取第四幀影像440中的IR影像作為IR暗幀影像(如圖5的IR暗幀影像520)，且擷取第三幀影像430中的RGB影像作為彩色影像。

值得注意的是，擷取第三幀影像430時，IR光源尚未全暗，使得第三幀影像430中的RGB影像很容易受到紅外線干擾。因此，上述RGB影像會經過一補償技術(例如串擾補償(crosstalk compensation))來減緩紅外線干擾。而有關上述補償技術為所屬領域具有通常知識者所悉知，故在此不再贅述。

而在其他實施例中，影像處理器130也可以依序擷取具有使用者FC的六個幀影像(未繪於圖式中)。六個幀影像分別包括由暗燈狀態轉換為亮燈狀態的一第一幀影像、在亮燈狀態下的一第二幀影像、由亮燈狀態轉換為暗燈狀態的一第三幀影像、在暗燈狀態下的一第四幀影像、一第五幀影像與一第六幀影像。在這六個幀影像中，第一幀影像與第三幀影像為IR光源尚未全亮或全暗時的影像，且第二幀影像、第四幀影像、第五幀影像與第六幀影像為IR光源已全亮或全暗時的影像。因此，影像處理器130將擷取第二幀影像中的IR影像作為IR亮幀影像，擷取第五幀影像中的IR影像作為IR暗幀影像，且擷取第四幀影像或者第六幀影像中的RGB影像作為彩色影像。

值得注意的是，第四幀影像或第六幀影像為IR光源已全暗時的影像，因此，第四幀影像不會受到紅外線干擾而不需要再經過其他的補償技術的處理。而影像處理器130也可以利用其他方式擷取IR亮幀影像、IR暗幀影像與彩色影像，本發明對此不作限制。

接下來，請同時參考圖5，在取得IR亮幀影像、IR暗幀影像與彩色影像(即步驟S320)後，影像處理器130接著將計算IR亮幀影像510與IR暗幀影像520的一差值影像530(步驟S330)，且將差值影像530二值化以產生一二值化影像540(步驟S340)，以將差值影像530中的使用者FC(前景部分)與非使用者FCN(背景部分)分開。此時，二值化影像540將具有多個前景像素542與多個背景像素544。

更進一步來說，影像處理器130首先將在IR亮幀影像510與IR暗幀影像520中，依序擷取同一個像素位置的像素值。再來，影像處理器130將依序計算同一個像素位置的像素值的差值，以產生差值影像530。差值影像530的每一個像素位置的像素值可以下述式(1)來表示。

IRdif(x,y)=(IRb(x,y)-IRd(x,y))/2 式(1)其中，(x,y)為像素位置，IRb(x,y)為IR亮幀影像510的某個像素位置的像素值，IRb(x,y)為IR暗幀影像520的某個像素位置的像素值，且IRdif(x,y)為差值影像530的某個像素位置的像素值。需說明的是，差值影像的像素值可以有不同的定義，式(1)只是本實施例所使用的其中一種定義。

相較於背景部分，前景部分較靠近IR發射器120。因此，比較前景部分在亮燈狀態及暗燈狀態下所反射的IR反射訊號Sr的強度，兩個狀態之間的強度會有較大的差異。相對地，背景部分在亮燈狀態及暗燈狀態下所反射的IR反射訊號Sr強度，其兩個狀態之間的強度差異較小。

舉例來說，影像處理器130擷取IR亮幀影像510與IR暗幀影像520中，同一個像素位置(x,y)=(10,50)的像素值，且像素值分別為50與20。而影像處理器130將透過式(1)來計算差值影像530的像素位置(10,50)的像素值IRdif(10,50)，即IRdif(10,50)=(IRb(10,50)-IRd(10,50))/2=(50-20)/2=15。再舉例來說，於IR亮幀影像510與IR暗幀影像520中，同一個像素位置(x,y)=(100,100)的像素值，且像素值分別為150與30。影像處理器130將透過式(1)來計算差值影像530的像素位置(100,100)的像素值IRdif(100,100)，即IRdif(100,100)=(IRb(100,100)-IRd(100,100))/2=(150-30)/2=60。而差值影像530中其他像素位置的像素值同樣以式(1)計算而得。

請同時參考圖6A，在影像處理器130將差值影像530二值化以產生二值化影像540(即步驟S340)的過程中，影像處理器130將判斷差值影像530中的每一個像素(以下稱為差值像素)的像素值是否大於等於一門檻值(步驟S410)。若差值像素的像素值大於等於門檻值，影像處理器130將此差值像素視為二值化影像540的前景像素542(步驟S420)。反之，若差值像素的像素值小 於門檻值，影像處理器130則將此差值像素視為二值化影像540的背景像素544(步驟S430)。

承接上述例子，門檻值設定為25。因此，影像處理器130判斷此差值像素的像素值IR(10,50)=15小於門檻值25，並將差值像素(10,50)視為二值化影像540的背景像素544。而影像處理器130判斷此差值像素的像素值(100,100)=60大於等於門檻值25，並將差值像素(100,100)視為二值化影像540的前景像素542。在本實施例中，前景像素542的像素值為255(代表白色)，背景像素544的像素值為0(代表黑色)。而前景像素542的像素值與背景像素544的像素值也可以依照實際狀況作設定，本發明對此不作限制。

而上述差值影像530與二值化影像540的計算以及門檻值的設定也可以照實際狀況來作修正，本發明對此不作限制。

需說明的是，若使用者FC的頭髮部分(實際上屬於前景像素542)顏色較深而對於紅外線的反射性不佳，差值影像530中的頭髮部分經過上述二值化的實施方式後會被認定為背景像素，如圖5的二值化影像540中的背景像素544。影像處理器130有必要將使用者FC的頭髮部分改變為前景像素544。藉此，影像處理器130將執行步驟S440與S450，以取得具有使用者FC的人臉部分與頭髮部分的前景像素。

在步驟S440中，影像處理器130將根據一人臉代表圖框RFr的一圖框位置取得二值化影像540中的一感興趣區域ROI。而感興趣區域ROI將會對應到使用者FC的一人臉部分與一頭髮部分。

更進一步來說，影像處理器130將透過圖6B的流程圖來取得人臉代表圖框RFr的圖框位置。首先，影像處理器130判斷是否有前一個人臉圖框(步驟S341)。在本實施例中，前一個人臉圖框是影像處理器130前一次取得的人臉代表圖框，也可以是前幾 次取得的人臉代表圖框，本發明對此不作限制。

若影像處理器130判斷有前一個人臉圖框時，表示影像處理器130也許可以延用之前取得人臉代表圖框來進行後續處理，來降低重新尋找人臉代表圖框的計算量。此時，影像處理器130將前一個人臉圖框的一圖框位置對應到二值化影像540(步驟S342)。

接著，影像處理器130將進一步判斷前一個人臉圖框的圖框位置中的這些前景像素的數量是否大於等於一預定數量(步驟S343)。若影像處理器130判斷上述數量大於等於預定數量(例如50*50個)時，表示可以延用之前取得人臉代表圖框來進行後續處理。此時，影像處理器130將前一個人臉圖框的圖框位置作為人臉代表圖框RFr的圖框位置(步驟S344)，如圖6C所示。反之，若影像處理器130判斷上述數量小於預定數量時，表示使用者FC的移動幅度過大，不可以延用之前取得人臉代表圖框來進行後續處理。此時，影像處理器130將由二值化影像540取得一目前人臉圖框(步驟S345)，且判斷目前人臉圖框的一圖框位置中的這些前景像素的數量是否大於等於預定數量(例如40*40個)(步驟S346)。

若影像處理器130判斷上述數量大於等於預定數量時，代表影像處理器130在二值化影像540找到正確的目前人臉圖框(即對應到使用者FC的人臉部分)。此時，影像處理器130將目前人臉圖框的圖框位置作為人臉代表圖框RFr的圖框位置(步驟S347)，如圖6C所示。反之，若影像處理器130判斷上述數量小於預定數量時，代表影像處理器130在二值化影像540找到錯誤的目前人臉圖框NFr(即沒有對應到使用者FC的人臉部分)。此時，影像處理器130將認定沒有取得人臉代表圖框的圖框位置(步驟S348)，並回到步驟S345以重新計算二值化影像540的目前人臉圖框來進行步驟S346的判斷。在本實施例中，影像處理 器130可以由任一人臉偵測演算法來取得二值化影像540中的目前人臉圖框，本發明對此不作限制。

再請回到圖6B的步驟341：判斷是否有前一個人臉圖框。若影像處理器130判斷沒有前一個人臉圖框時，表示影像處理器130第一次執行取得人臉代表圖框的步驟又或者無法延用之前的人臉代表圖框。此時，影像處理器130將執行步驟S345-S346，以藉此將目前人臉圖框的圖框位置作為人臉代表圖框RFr的圖框位置。而有關步驟S345-S346的實施方式已於上述作說明，故在此不再贅述。

再請回到圖6A，影像處理器130在取得例如圖6C的人臉代表圖框RFr的圖框位置(即步驟S344與S347)後，將根據人臉代表圖框RFr的圖框位置取得二值化影像540中的感興趣區域ROI。更進一步來說，如圖6D所示，由於使用者FC的頭髮部分位於人臉部分的左邊、右邊與上面。因此，影像處理器130將人臉代表圖框RFr向左擴大一第一預定距離A1、向右擴大一第二預定距離A2，且向上擴大一第三預定距離A3，以藉此產生感興趣區域ROI。在本實施例中，人臉代表圖框RFr具有一圖框長度D1。影像處理器130將人臉代表圖框RFr向左擴大30%的圖框長度D1(即第一預定距離A1)、向右擴大30%的圖框長度D1(即第二預定距離A2)，且向上擴大50%的圖框長度D1(即第三預定距離A3)，以藉此產生感興趣區域ROI。因此，感興趣區域ROI將會對應到使用者FC的人臉部分與頭髮部分。

為了將使用者FC的頭髮部分改變為前景像素，在取得感興趣區域ROI(即步驟S440)後，影像處理器130將根據差值影像530、彩色影像、與二值化影像540的感興趣區域ROI中的每一個像素位置與一中心點Ct的距離關係，調整感興趣區域ROI中的這些前景像素與這些背景像素，且將二值化影像540中的這些前景像素作為前景影像(步驟S450)。需說明的是，差值影像530、 彩色影像與二值化影像540之間具有一像素位置對應關係。舉例來說，差值影像530中的像素位置(10,10)會對應到彩色影像中的像素位置(10,10)與對應到二值化影像540中的像素位置(10,10)。而上述影像的其他像素位置也是依照此對應關係來作設置。

更進一步來說，請同時參考圖6D、7A、7B與7C。圖7A顯示本發明一實施例之調整感興趣區域中的前景像素與背景像素的流程圖。影像處理器130首先將二值化影像540中感興趣區域ROI的像素位置對應到差值影像530，並取得差值影像530中位於感興趣區域ROI內的多個差值像素(步驟S351)。接下來，影像處理器130將依序在同一個像素位置中，根據差值影像530的差值像素的一像素值、彩色影像的亮度值、此像素位置與感興趣區域ROI的中心點Ct之間的距離關係計算一轉換值(步驟S353)。

接著，影像處理器130將判斷此轉換值是否大於等於一預定轉換值(步驟S355)。若轉換值大於等於預定轉換值，代表影像處理器130判斷此像素位置為使用者FC的頭髮部分。此時，影像處理器130將此像素位置對應到前景像素的像素值(步驟S357)。反之，若轉換值小於預定轉換值，代表影像處理器130判斷此像素位置不為使用者FC的頭髮部分。此時，影像處理器130將維持此像素位置的像素值(步驟S359)。

而依照前景像素542(對應到使用者FC)在差值影像530、彩色影像與感興趣區域ROI的特性。當差值影像530的差值像素的像素值越高，代表越有可能是前景像素；當彩色影像的亮度值越低，代表越有可能是前景像素；當彩色影像的彩度值越低，代表越有可能是前景像素；以及當感興趣區域ROI中的某一個像素位置距離與中心點Ct越近，代表越有可能是前景像素。

因此，影像處理器130可以將步驟S351-S359整理為下述式 (2)-式(6)，以藉此調整感興趣區域ROI中的前景像素與背景像素，進而產生(調整後的)二值化影像640。需特別說明的是，為了區分調整前的二值化影像540與調整後的二值化影像640，本發明之實施例亦將調整後的二值化影像640稱為二值化增強影像640。

POW=256-IRdif(x,y) 式(3)

LUM=256*Y(x,y)/Ymax 式(4)

RAD=R_cur(x,y)/R_roi 式(5)

UV=|U(x,y)-128|+|V(x,y)-128|+1 式(6)

其中，FG(x,y)為二值化影像640的某個像素位置的像素值，(x,y)為某個像素位置，Fmax為二值化影像640中前景像素的像素值(本實施例中為255(代表白色))，Fbi(x,y)為像素位置(x,y)於(調整前的)二值化影像540中的像素值，IRdif(x,y)為差值影像530的某個像素位置的像素值，Y(x,y)為彩色影像的某個像素位置的亮度值，Ymax為彩色影像的最大亮度值，R_cur(x,y)為感興趣區域ROI的某個像素位置與中心點Ct的距離，R_roi為感興趣區域ROI的所有像素位置與中心點Ct的最遠距離，U(x,y)與V(x,y)為彩色影像的某個像素位置的彩度資訊，TRS為轉換值，ROI_TH為預定轉換值。需說明的是，二值化影像640的像素值可以有不同的定義，式(2)-式(6)只是本實施例所使用的其中一種定義。

請同時參考圖7B-7C，其分別顯示本發明一實施例之差值影像與二值化影像的示意圖。舉例來說，像素位置(x,y)=(100,10)， 前景像素的像素值Fmax=255，最大亮度值Ymax=255，最遠距離R_roi=100，且預定轉換值ROI_TH=250。而於同一個像素位置(100,10)中，影像處理器130計算差值影像530的像素值IRdif(100,10)=30，彩色影像的亮度值Y(100,10)=10，感興趣區域ROI的像素位置(100,10)與中心點Ct的距離R_cur(100,10)=35，彩色影像的彩度資訊U(100,10)=15與V(100,10)=30。

因此，POW=256-IRdif(100,10)=256-30=226。LUM=256*Y(100,10)/Ymax=256*10/255=10。RAD=R_cur(100,10)/R_roi=35/100=0.35。UV=|U(100,10)-128|+|V(100,10)-128|+1=|15-128|+|30-128|+1=212。影像處理器130將根據上述數值套用到式(2)計算轉換值TRS，如下所示。

影像處理器130判斷轉換值TRS大於等於預定轉換值，代表像素位置(100,10)為使用者FC的頭髮部分。此時，影像處理器130將像素位置(100,10)對應到前景像素的像素值Fmax=255，即影像處理器130將圖7B中差值影像530的像素位置(100,10)的像素值0轉為圖7C中二值化影像640的像素位置(100,10)的像素值255。

再舉例來說，像素位置(x,y)=(80,30)，前景像素的像素值Fmax=255，最大亮度值Ymax=255，最遠距離R_roi=100，且預定轉換值ROI_TH=250。而於同一個像素位置(80,30)中，影像處理器130計算差值影像530的像素值IRdif(80,30)=2，彩色影像的亮度值Y(80,30)=100，感興趣區域ROI的像素位置(80,30)與中心點Ct的距離R_cur(80,30)=50，彩色影像的彩度資訊U(100,10)=3與V(100,10)=4。

因此，POW=256-IRdif(80,30)=256-2=254。LUM=256*Y(80,30)/Ymax=256*100/255=100。RAD=R_cur(80,30)/R_roi=50/100=0.5。UV=|U(80,30)-128|+|V(80,30)-128|+1=|3-128|+|4-128|+1=250。影像處理器130將根據上述數值套用到式(2)計算轉換值TRS，如下所示。

影像處理器130判斷轉換值TRS小於預定轉換值，代表像素位置(80,30)不是使用者FC的頭髮部分。此時，影像處理器130將維持像素位置(80,30)的像素值Fbi(x,y)=0。即影像處理器130維持圖7B中差值影像530的像素位置(80,30)的像素值0。

而二值化影像640中其他像素位置的像素值同樣以式(2)-式(6)計算而得。因此，影像處理器130將根據上述式(2)-式(6)計算出二值化影像640，並擷取二值化影像640中的這些前景像素(即白色部分)作為前景影像IFr(步驟S350)。由上述說明可知，使用者FC的頭髮部分將由背景像素(如圖6C的二值化影像540的像素值0)轉變成前景像素(如圖7C的二值化增強影像640的像素值255)，以藉此產生具有使用者的人臉部分、身體部分與頭髮部分的前景像素，進而切割出較佳的前景影像IFr。此時，前景影像IFr的像素位置對應到使用者位於二值化影像640中的像素位置且對應到使用者位於彩色影像中的像素位置。

請回到圖3，在取得前景影像IFr(即步驟S350)後，影像處理器130可以根據前景影像來對彩色影像進行背景虛化，以藉此產生一背景虛化影像。詳細說明如步驟S360-S380所述。

為了方便說明，以下前景影像以圖7C的二值化影像640中的前景影像IFr作說明。因此，在取得前景影像IFr(即步驟S350)後，影像處理器130將取得差值影像530中前景部分的一平均 IR亮度值(步驟S360)。更進一步來說，影像處理器130針對差值影像530中對應於圖7C的前景影像IFr的每一個像素位置取得像素值，且平均這些像素值以產生平均IR亮度值。而由於頭髮部分的像素值很低，容易影響平均IR亮度值的結果。故在其他實施例中，影像處理器130也可以將圖6C的二值化影像540中的每一個前景像素的像素位置對應到差值影像530(即排除作為頭髮部分的前景像素)，影像處理器130再於差值影像530中取得對應像素位置的多個像素值，並平均這些像素值以產生平均IR亮度值。

而為了更貼近真實的虛化場景，影像處理器130將根據平均IR亮度值計算一模糊半徑，以藉此根據前景影像IFr與電子裝置100之間的距離來對彩色影像進行不同程度的背景虛化(步驟S370)。在計算模糊半徑的過程中，平均IR亮度值越大，模糊半徑就越大(即平均IR亮度值與模糊半徑成正相關)。前景影像IFr離電子裝置100越近，平均IR亮度值越亮。反之，前景影像IFr離電子裝置100越遠，平均IR亮度值越暗。

藉此，影像處理器130可以將步驟S360-S370整理為下述式(7)，以根據平均IR亮度值計算模糊半徑。

其中，Rmax為最大模糊半徑，IRdif_max為最大IR亮度值，IRdif_mean為平均IR亮度值，且Ract為模糊半徑。需說明的是，模糊半徑Ract可以有不同的定義，式(7)只是本實施例所使用的其中一種定義。舉例來說，最大模糊半徑Rmax=15，最大IR亮度值IRdif_max=200，且平均IR亮度值為IRdif_mean=55。因此，影像處理器130將根據式(7)計算出模糊半徑Ract=15*(55/200)=4。

在取得模糊半徑(即步驟S370)後，影像處理器130將根據模糊半徑對彩色影像進行濾波(例如二次均值濾波)以產生一背景虛化影像(步驟S380)。舉例來說，若模糊半徑Ract=3，代表遮罩大小為3*3。因此，影像處理器130將根據3*3的遮罩(即模糊半徑Ract=3)對彩色影像進行濾波(例如二次均值濾波)以產生一背景虛化影像(未繪於圖式中)。再舉例來說，若模糊半徑Ract=4，代表遮罩大小為4*4。而在實際作法中，4*4的遮罩為3*3的遮罩與5*5的遮罩的組合。因此，影像處理器130將分別根據3*3的遮罩與5*5的遮罩對彩色影像進行濾波(例如二次均值濾波)以產生第一虛化影像與第二虛化影像(未繪於圖式中)。影像處理器130最後再依序平均第一虛化影像與第二虛化影像中同一個像素位置的像素值，以據此產生背景虛化影像(未繪於圖式中)。

而在其他實施例中，影像處理器130也可以根據其他遮罩大小來組合成所需的模糊半徑，本發明對此不作限制。有關影像處理器130對一張影像進行二次均值濾波的實施方式為所屬領域具有通常知識者所悉知，故在此不再贅述。

而在取得更貼近真實的虛化場景的其它作法，影像處理器130也可以在取得二值化影像後，進一步對二值化影像進行一均值濾波以產生一漸進影像。以圖7C的二值化影像640為例作說明。請同時參考圖7C與8，影像處理器130將對二值化影像640進行均值濾波以產生一漸進影像740。漸進影像740具有多個漸進像素742。漸進像素742由多個前景調整像素P1、多個灰階像素P2與多個背景調整像素P3組成。在本實施例中，前景調整像素P1的像素值為255，且在漸進像素742中代表白色。背景調整像素P3的像素值為0，且在漸進影像740中代表黑色。而灰階像素P2的像素值為介於1-254之間，且在漸進影像740中代表灰階顏色。更進一步來說，影像處理器130可以根據實際狀 況來設計不同遮罩(mask)，例如3*3的遮罩，並將設計的遮罩對二值化增強影像640進行均值濾波以產生漸進影像740，本發明對此不作限制。

相較於上述實施例中影像處理器130利用單一個模糊半徑對彩色影像進行濾波，本實施例的影像處理器130也可以針對漸進影像740中的每一個灰階像素，根據其不同的像素值來決定出不同的模糊半徑，並利用這些模糊半徑來對彩色影像中對應於漸進影像740中灰階像素的部分進行濾波，以更貼近真實的虛化場景。因此，如圖8所示，影像處理器130將根據每一個灰階像素P2的像素值與一最大像素值之間的比值調整模糊半徑，以於每一個灰階像素的像素位置對應產生一漸進模糊半徑。

藉此，影像處理器130可以將上述計算漸進模糊半徑的方法整理為下述式(8)，以於每一個灰階像素P2的像素位置對應產生一個漸進模糊半徑。

其中，(a,b)為漸進影像740中的某一個灰階像素P2的像素位置，Ract為式(7)所計算出的模糊半徑，Pmax為最大像素值，P2(a,b)為某個灰階像素P2的像素值，且Rgray(a,b)為某個灰階像素P2的漸進模糊半徑。需說明的是，漸進模糊半徑Rgray(a,b)可以有不同的定義，式(8)只是本實施例所使用的其中一種定義。舉例來說，模糊半徑Ract=4，灰階像素P2的某個像素位置(a,b)=(120,10)且其像素值P2(a,b)=130，最大像素值Pmax=255。因此，影像處理器130將根據式(8)計算不同於模糊半徑Ract的漸進模糊半徑Rgray(120,10)=4*130/255=2。

請同時參考圖8，在影像處理器130計算出前景調整像素P1與背景調整像素P3對應的單一模糊半徑Ract與計算出每一個灰階像素P2對應的一漸進模糊半徑Rgray(a,b)後，影像處理器130 將據此對彩色影像進行濾波(例如二次均值濾波)。更進一步來說，於彩色影像中，影像處理器130將對應於這些前景調整像素P1與這些背景調整像素P3的像素位置的像素值作為多個第一彩色值，且將對應於這些灰階像素P2的像素位置的像素值作為多個第二彩色值。接下來，影像處理器130將根據模糊半徑Ract依序將這些第一彩色值進行濾波，且根據這些漸進模糊半徑Rgray(a,b)依序將對應的第二彩色值進行濾波以藉此產生背景虛化影像。

而上述背景虛化影像的產生，雖然有將模糊半徑Ract應用於彩色影像中對應於前景調整像素P1的像素位置的像素值，但在下一步驟中(如式(9)以及以下相關段落所述)，藉由權重的調整，將使得混合影像900中對應於前景調整像素P1的像素沒有被虛化。

由上述說明可知，影像處理器130可以根據前景影像與電子裝置之間的距離來對彩色影像進行不同程度的背景虛化，以更貼近真實的虛化場景。

而為了使最後得到的影像突顯出前景影像，影像處理器130可以針對每一像素位置，根據圖8漸進影像740中對應的漸進像素742的像素值，來混合(blend)彩色影像中對應的像素值與背景虛化影像中對應的像素值，以於一混合影像900中的像素位置產生一混合像素值。更進一步來說，於混合影像900中的像素位置產生混合像素值的過程中，影像處理器130首先將根據對應的漸進像素740的像素值計算一第一權重比例與一第二權重比例，且第一權重比例與第二權重比例的總和為1。接下來，影像處理器130將根據第一權重比例與第二權重比例來混合彩色影像與背景虛化影像，以產生此像素位置的混合像素值。

藉此，影像處理器130可以將上述混合方法整理為下述式(9)，以在對應的像素位置中計算混合像素值，混合像素值可表 示如下：

其中，(m,n)為某個像素位置，Irgb(m,n)為彩色影像中某個像素位置的像素值，Pgr(m,n)為漸進影像740中某個像素位置的像素值(而第一權重比例為Pgr(m,n)/Pmax，且第二權重比例為(1-(Pgr(m,n)/Pmax))，Iblur(m,n)為背景虛化影像中某個像素位置的像素值，Pmax為最大像素值(例如255)，且Pmix(m,n)為某個像素位置的混合像素值。需說明的是，混合像素值Pmix(m,n)可以有不同的定義，式(9)只是本實施例所使用的其中一種定義。

由式(9)可知，對前景調整像素P1而言，由於Pgr(m,n)=255，故其彩色影像Irgb(m,n)的權重比例(即第一權重比例)為1，且背景虛化影像Iblur(m,n)的權重比例(即第二權重比例)為0；對背景調整像素P3而言，由於Pgr(m,n)=0，故其彩色影像Irgb(m,n)的權重比例(即第一權重比例)為0，且背景虛化影像Iblur(m,n)的權重比例(即第二權重比例)為1。藉此可使混合影像900的背景虛化並突顯出前景影像。

請參考圖9，舉例來說，像素位置(m,n)=(120,10)，彩色影像中像素位置(120,10)的像素值Irgb(120,10)=40，漸進影像740中像素位置(120,10)的像素值Pgr(m,n)=180，背景虛化影像中像素位置(120,10)的像素值Iblur(120,10)=50，最大像素值Pmax=255。因此，影像處理器130將根據式(9)計算混合像素值Pmix(120,10)=40*(180/255)+50*(1-(180/255))=43。

據此，影像處理器130可以混合彩色影像與背景虛化影像，以藉此產生混合影像900中的每一個像素位置的混合像素值，並使混合影像900中對應到漸進影像740的灰階像素P2的影像將會更平滑，以更貼近真實的虛化場景。

綜上所述，本發明實施例所提供的一種前景影像的提取方法 與電子裝置，可以透過上述簡單運算切割出較佳的前景影像(包含使用者的人臉部分、身體部分與頭髮部分的前景影像)。而在取得前景影像後，電子裝置可以根據前景影像來對彩色影像進行背景虛化，以藉此產生一背景虛化影像。更進一步來說，電子裝置將根據前景影像與電子裝置之間的距離來對彩色影像進行不同程度的背景虛化，以更貼近真實的虛化場景。

以上所述僅為本發明之實施例，其並非用以侷限本發明之專利範圍。

100‧‧‧電子裝置

110‧‧‧影像擷取裝置

120‧‧‧IR發射器

130‧‧‧影像處理器

Si‧‧‧IR訊號

Sr‧‧‧反射訊號

Sv‧‧‧可見光訊號

Claims (10)

1. 一種前景影像的提取方法，適用於一電子裝置，用以提取一前景影像，且該提取方法包括：於一IR發射器由一暗燈狀態到一亮燈狀態再回到該暗燈狀態的過程中，擷取具有一使用者的多個幀影像；於該些幀影像中擷取代表該亮燈狀態的一IR亮幀影像，擷取代表該暗燈狀態的一IR暗幀影像，且擷取一彩色影像；計算該IR亮幀影像與該IR暗幀影像的一差值影像，且將該差值影像二值化以產生一二值化影像，其中該二值化影像具有多個前景像素與多個背景像素；根據一人臉代表圖框的一圖框位置取得該二值化影像中的一感興趣區域，其中該感興趣區域對應到該使用者的一人臉部分與一頭髮部分；根據該差值影像、該彩色影像與該感興趣區域中的每一個像素位置與一中心點的距離關係調整該感興趣區域中的該些前景像素與該些背景像素以產生一二值化增強影像，其中該二值化增強影像具有多個第二前景像素與多個第二背景像素；以及根據該二值化增強影像中的該些第二前景像素，將彩色影像中對應的像素決定為該前景影像。
2. 如請求項1之前景影像的提取方法，其中，於擷取該IR亮幀影像、該IR暗幀影像與該彩色影像的步驟中，更包括：依序擷取該些四個幀影像，其中該些四個幀影像分別包括由該暗燈狀態轉換為該亮燈狀態的一第一幀影像、在該亮燈狀態下的一第二幀影像、由該亮燈狀態轉換為該暗燈狀態的一第三幀影像、在該暗燈狀態下的一第四幀影像；以及擷取該第二幀影像中的一IR影像作為該IR亮幀影像，擷取該第四幀影像中的該IR影像作為該IR暗幀影像，且擷取該第三幀 影像中的一RGB影像作為該彩色影像。
3. 如請求項1之前景影像的提取方法，其中，於擷取該IR亮幀影像、該IR暗幀影像與該彩色影像的步驟中，更包括：依序擷取該些六個幀影像，其中該些六個幀影像分別包括由該暗燈狀態轉換為該亮燈狀態的一第一幀影像、在該亮燈狀態下的一第二幀影像、由該亮燈狀態轉換為該暗燈狀態的一第三幀影像、在該暗燈狀態下的一第四幀影像、一第五幀影像與一第六幀影像；以及擷取該第二幀影像中的一IR影像作為該IR亮幀影像，擷取該第五幀影像中的該IR影像作為該IR暗幀影像，且擷取該第四幀影像或該第六幀影像中的一RGB影像作為該彩色影像。
4. 如請求項1之前景影像的提取方法，其中，於計算該差值影像與該二值化影像的步驟中，更包括：於該IR亮幀影像與該IR暗幀影像中，依序擷取同一個像素位置的像素值；依序計算該同一個像素位置的該些像素值的差值，以產生該差值影像；判斷該差值影像中的每一差值像素的像素值是否大於等於一門檻值；若該差值像素的該像素值大於等於該門檻值，將該差值像素視為該二值化影像的該前景像素；以及若該差值像素的該像素值小於該門檻值，將該差值像素視為該二值化影像的該背景像素。
5. 如請求項1之前景影像的提取方法，其中，於取得該人臉代表圖框的該圖框位置的過程中，更包括： 判斷是否有前一個人臉圖框，且若判斷有該前一個人臉圖框時，將該前一個人臉圖框的一圖框位置對應到該二值化影像；以及判斷該前一個人臉圖框的該圖框位置中的該些前景像素的數量是否大於等於一預定數量，且若判斷該數量大於等於該預定數量時，將該前一個人臉圖框的該圖框位置作為該人臉代表圖框的該圖框位置。
6. 如請求項5之前景影像的提取方法，其中，於判斷是否有該前一個人臉圖框的步驟中，若判斷沒有該前一個人臉圖框時，由該二值化影像取得一目前人臉圖框，且判斷該目前人臉圖框的一圖框位置中的該些前景像素的數量是否大於等於該預定數量；其中，若判斷該數量大於等於該預定數量時，將該目前人臉圖框的該圖框位置作為該人臉代表圖框的該圖框位置；以及其中，若判斷該數量小於該預定數量時，表示沒有取得該人臉代表圖框的該圖框位置。
7. 如請求項5之前景影像的提取方法，其中，於判斷該前一個人臉圖框的該圖框位置中的該些前景像素的數量是否大於等於該預定數量的步驟中，若判斷該數量小於該預定數量時，由該二值化影像取得一目前人臉圖框，且判斷該目前人臉圖框的一圖框位置中的該些前景像素的數量是否大於等於該預定數量；其中，若判斷該數量大於等於該預定數量時，將該目前人臉圖框的該圖框位置作為該人臉代表圖框的該圖框位置；以及其中，若判斷該數量小於該預定數量時，表示沒有取得該人臉代表圖框的該圖框位置。
8. 如請求項1之前景影像的提取方法，其中，於取得該二值化影 像中的該感興趣區域的步驟中，更包括：將該人臉代表圖框向左擴大一第一預定距離、向右擴大一第二預定距離且向上擴大一第三預定距離，以產生該感興趣區域。
9. 如請求項1之前景影像的提取方法，其中，於調整該感興趣區域中的該些前景像素與該些背景像素的步驟中，更包括：將該感興趣區域的一區域位置對應到該差值影像，並取得該差值影像中位於該感興趣區域內的多個差值像素；依序於同一個像素位置中，根據該差值像素的像素值、該彩色影像的一亮度值、該像素位置與該感興趣區域的一中心點之間的該距離關係計算一轉換值；判斷該轉換值是否大於等於一預定轉換值；以及若該轉換值大於等於該預定轉換值，將該像素位置的像素值對應到該前景像素的像素值，且若該轉換值小於該預定轉換值，維持該像素位置的像素值。
10. 一種電子裝置，用以提取一前景影像，該電子裝置包括：一IR發射器，發射一IR訊號；一影像擷取裝置，接收關聯於該IR訊號的一IR反射訊號，且接收一可見光訊號；以及一影像處理器，耦接該IR發射器與該影像擷取裝置，且用以執行下列步驟：控制該IR發射器由一暗燈狀態到一亮燈狀態再回到該暗燈狀態，且根據該IR反射訊號與該可見光訊號擷取具有一使用者的多個幀影像；於該些幀影像中擷取代表該亮燈狀態的一IR亮幀影像，擷取代表該暗燈狀態的一IR暗幀影像，且擷取一彩色影像；計算該IR亮幀影像與該IR暗幀影像的一差值影像，且將 該差值影像二值化以產生一二值化影像，其中該二值化影像具有多個前景像素與多個背景像素；根據一人臉代表圖框的一圖框位置取得該二值化影像中的一感興趣區域，其中該感興趣區域對應到該使用者的一人臉部分與一頭髮部分；根據該差值影像、該彩色影像與該感興趣區域中的每一個像素位置與一中心點的距離關係調整該感興趣區域中的該些前景像素與該些背景像素以產生一二值化增強影像，其中該二值化增強影像具有多個第二前景像素與多個第二背景像素；以及根據該二值化增強影像中的該些第二前景像素，將彩色影像中對應的像素決定為該前景影像。

Images