TW201923712A

TW201923712A - 前景影像提取的影像處理方法與電子裝置

Info

Publication number: TW201923712A
Application number: TW106139501A
Authority: TW
Inventors: 邱仲毅; 黃文聰; 劉楷
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2017-11-15
Filing date: 2017-11-15
Publication date: 2019-06-16
Also published as: US10748019B2; US20190147280A1; TWI638334B

Abstract

本發明提供了一種前景影像提取的影像處理方法與電子裝置。影像處理方法包括如下步驟：(A)擷取動態影像的多個幀影像，且每個該幀影像具有RGB影像與IR影像；(B)擷取代表暗燈狀態的RGB影像作為RGB擷取影像，擷取代表亮燈狀態的IR影像作為IR亮幀影像，且擷取代表暗燈狀態的IR影像作為IR暗幀影像；(C)計算IR亮幀影像與IR暗幀影像的差值影像，根據門檻值將差值影像二值化以產生二值化影像；以及(D)擷取RGB擷取影像中對應二值化影像的IR前景部分的多個前景像素，並將多個前景像素作為前景影像，進而可降低環境光影響、背景雜訊與運算量。

Description

前景影像提取的影像處理方法與電子裝置

本發明提供一種影像處理方法與電子裝置，且特別是關於一種前景影像提取的影像處理方法與電子裝置。

在影像合成技術中，前景影像提取大致上可分為三類，其分別是色鍵(Chroma key)技術；背景相減法與特徵偵測法。

色鍵技術的概念是將背景改為單一顏色，並藉由前景與背景的顏色差距來去除背景，以切割出前景。然而，色鍵技術需要使用者額外架設單一顏色的布幕，對於使用者來說非常不便。

背景相減法的概念是當前景像素值與背景像素值相差很大時，即可切割出前景影像。然而，背景影像容易受到雜訊的干擾，使得提取出來的前景影像常會包含部分的背景影像。

而特徵偵測法通常是針對某特定物體進行前景影像提取。以人臉影像為例，首先執行臉部特徵偵測，接著再針對臉部特徵找到輪廓而提取人臉影像。然而，臉部特徵偵測很容易受到環境光影響而偵測不到人臉影像。此外，較佳的臉部特徵偵測會造成複雜計算，進而無法達到即時處理。

因此，在前景影像提取的過程中，若可以降低環境光影響、背景雜訊與運算量，將可提取出較佳的前景影像。

本發明提供了一種前景影像提取的影像處理方法與電子裝置，其利用紅外線(Infrared,IR)來進行前景影像提取，以降低環境光影響與背景雜訊。更進一步來說，本發明的影像處理方法與電子裝置在不同的IR強度下擷取多個IR影像，並透過一簡單運算計算多個IR影像之間的關係以提取較佳的前景影像，進而可降低運算量而達到即時處理。

本發明實施例提供一種前景影像提取的影像處理方法，適用於一電子裝置。影像處理方法包括如下步驟：(A)控制一IR發射器由一暗燈狀態到一亮燈狀態再回到該暗燈狀態(B)擷取一動態影像的多個幀影像，且每一個幀影像具有一RGB影像與一IR影像，其中多個幀影像是在IR發射器由暗燈狀態到亮燈狀態再回到暗燈狀態的過程中產生；(C)擷取代表暗燈狀態的其中一個RGB影像作為一RGB擷取影像，擷取代表亮燈狀態的其中一個IR影像作為一IR亮幀影像，且擷取代表暗燈狀態的其中一個IR影像作為一IR暗幀影像；(D)計算IR亮幀影像與IR暗幀影像的一差值影像，且根據一門檻值將差值影像二值化以產生一二值化影像，其中二值化影像具有一IR前景部分與一IR背景部分；以及(E)擷取RGB擷取影像中對應IR前景部分的多個前景像素，並將這些前景像素作為一輸出影像的一前景影像。

本發明實施例提供一種前景影像提取的電子裝置，其包括一IR發射器、一影像擷取裝置與一影像處理器。IR發射器發射一IR訊號。影像擷取裝置接收IR訊號反射的一IR反射訊號且接收一可見光訊號。影像處理器耦接IR發射器與影像擷取裝置，且用以執行下列步驟：(A)控制IR發射器由一暗燈狀態到一亮燈狀態再回到暗燈狀態，且根據IR反射訊號與可見光訊號產生一動態影像；(B)擷取動態影像的多個幀影像，且每一個幀影像具有一RGB影像與一IR影像，其中多個幀影像是在影像處理器控制一IR發射器由一暗燈狀態到一亮燈狀態再回到暗燈狀態的過程中產生；(C)擷取代表暗燈狀態的其中一個RGB影像作為一RGB擷取影像，擷取代表亮燈狀態的其中一個IR影像作為一IR亮幀影像，且擷取代表暗燈狀態的其中一個IR影像作為一IR暗幀影像；(D)計算IR亮幀影像與IR暗幀影像的一差值影像，且根據一門檻值將差值影像二值化以產生一二值化影像，其中二值化影像具有一IR前景部分與一IR背景部分；以及(E)擷取RGB擷取影像中對應IR前景部分的多個前景像素，並將這些前景像素作為一輸出影像的一前景影像。

為使能更進一步瞭解本發明之技術內容，請參閱以下有關本發明之詳細說明與附圖，但是此等說明與所附圖式僅係用來說明本發明，而非對本發明的權利範圍作任何的限制。

100‧‧‧電子裝置

110‧‧‧影像擷取裝置

120‧‧‧IR發射器

130‧‧‧影像處理器

Si‧‧‧IR訊號

Sr‧‧‧反射訊號

Sv‧‧‧可見光訊號

OBJ‧‧‧待攝物

OBJN‧‧‧非待攝物

S310、S320、S330、S340‧‧‧步驟

410‧‧‧第一幀影像

420‧‧‧第二幀影像

430‧‧‧第三幀影像

440‧‧‧第四幀影像

510‧‧‧第一幀影像

520‧‧‧第二幀影像

610‧‧‧IR亮幀影像

620‧‧‧IR暗幀影像

630‧‧‧差值影像

640‧‧‧二值化影像

642‧‧‧IR前景部分

644‧‧‧IR背景部分

710‧‧‧RGB擷取影像

720‧‧‧前景影像

730‧‧‧背景影像

790‧‧‧輸出影像

圖1是本發明一實施例之電子裝置與物體的位置關係圖。

圖2是本發明一實施例之前景影像提取的電子裝置的示意圖。

圖3是本發明一實施例之前景影像提取的影像處理方法的流程圖。

圖4A-4D是本發明一實施例之影像處理器透過滾動快門機制擷取四個幀影像的示意圖。

圖5A-5B是本發明一實施例之影像處理器透過全局快門機制擷取二個幀影像的示意圖。

圖6是本發明一實施例之計算二值化影像的示意圖。

圖7是本發明一實施例之擷取前景影像的示意圖。

在下文中，將藉由圖式說明本發明之各種例示實施例來詳細描述本發明。然而，本發明概念可能以許多不同形式來體現，且不應解釋為限於本文中所闡述之例示性實施例。此外，圖式中相同參考數字可用以表示類似的元件。

本發明實施例所提供的前景影像提取的影像處理方法與電子裝置，其控制一IR發射器由一暗燈狀態到一亮燈狀態，再由亮燈狀態到暗燈狀態。而在上述過程中，影像處理方法與電子裝置將在不同的IR強度下擷取多個IR影像，以據此產生代表亮燈狀態的IR影像作為一IR亮幀影像，以及代表暗燈狀態的IR影像作為一IR暗幀影像。接著再根據IR亮幀影像與IR暗幀影像產生具有一IR前景部分與一IR背景部分的二值化影像。最後再擷取一RGB擷取影像中對應IR前景部分的多個前景像素，以將這些前景像素作為輸出影像的前景影像。據此，影像處理方法與電子裝置可以降低環境光影響、背景雜訊與運算量，以取得較佳的前景影像。以下將進一步介紹本發明揭露之前景影像提取的影像處理方法與電子裝置。

首先，請參考圖1-2，圖1顯示本發明一實施例之電子裝置與待攝物的位置關係圖，且圖2顯示本發明一實施例之前景影像提取的電子裝置的示意圖。如圖1-2所示，電子裝置100設置在一待攝物OBJ附近，用來拍攝具有待攝物OBJ的一動態影像，並從動態影像中提取具有待攝物OBJ的一前景影像。電子裝置100具有一IR發射器120、一影像擷取裝置110與一影像處理器130。影像處理器130耦接影像擷取裝置110與IR發射器120。在本實施例中，電子裝置100可為智慧型手機、監視器、平板電腦、筆記型電腦或其他可同時擷取IR影像與RGB影像的電子裝置，本發明對此不作限制。而待攝物OBJ為電子裝置100前面的人。

如圖1所示，IR發射器120發射一IR訊號Si至待攝物OBJ，待攝物OBJ將會反射一IR反射訊號Sr。此時，影像擷取裝置 110將接收到IR待攝物OBJ反射的反射訊號Sr與一環境光所產生的一可見光訊號Sv。更進一步來說，IR發射器120可以是由一顆或多顆IR發光二極體(LED)組成，且設置在影像擷取裝置110附近。在本實施例中，IR發射器120是由一顆IR LED組成，且設置在影像擷取裝置110的下方。本實施例的影像擷取裝置110為紅綠藍-紅外(RGB-IR)感測器，使得影像擷取裝置110可以同時接收到IR反射訊號Sr與可見光訊號Sv。當然，影像擷取裝置110亦可以由二個獨立的RGB感測器與IR感測器組成，本發明對此不作限制。

而影像處理器130將控制IR發射器120由一暗燈狀態到一亮燈狀態再回到暗燈狀態，接收反射訊號Sr與可見光訊號Sv，且根據IR反射訊號Sr與可見光訊號Sv產生一動態影像，並執行下列步驟，進而從動態影像中提取具有待攝物OBJ的前景影像。

請同時參考圖3，其顯示本發明一實施例之影像處理方法的流程圖。首先，電子裝置100中的影像處理器130將擷取動態影像中的多個幀(frame)影像(步驟S310)。而由於動態影像係根據反射訊號Sr與可見光訊號Sv產生，故每一個幀影像具有一RGB影像與一IR影像。

值得注意的是，上述該些幀影像是在影像處理器130控制IR發射器120由暗燈狀態到亮燈狀態，再由亮燈狀態回到暗燈狀態的過程中產生。在本實施例中，影像處理器130是透過一滾動快門(Rolling Shutter)機制或一全局快門(Global Shutter)機制來擷取動態影像中的該些幀影像。而有關影像處理器130利用滾動快門機制或一全局快門機制擷取幀影像的方法為所屬領域具有通常知識者所悉知，故在此不再贅述。

由於滾動快門機制為依序以水平掃描方式，擷取一幀影像中的部分像素，再組合成一幀完整影像，故會造成一幀影像中的像素並非全在同一時間所擷取，這使得IR發射器120於暗燈狀態及亮燈狀態之間切換的過程中，有些時間點擷取到的單一幀影像的像素的曝光程度不一致。而這種幀影像無法提供給影像處理器130分析使用。因此，在滾動快門機制下，當影像處理器130擷取到的單一幀影像的所有像素的曝光程度相同(亦即對應相同的IR光源亮度)，影像處理器130才會對這個幀影像進行分析。如圖4A-4D，其說明本發明一實施例之影像處理器透過滾動快門機制擷取四個幀影像的示意圖。

如圖4A所示，影像處理器130控制IR發射器120由暗燈狀態轉換為亮燈狀態時擷取一第一幀影像410。此時IR光源處於由暗至亮的過程，因此在滾動快門機制下，第一幀影像410中的待攝物OBJ會有曝光程度不一致的問題，影像處理器130無法對第一幀影像410進行分析。如圖4B所示，影像處理器130控制IR發射器120持續亮燈狀態一段時間後擷取一第二幀影像420。此時，IR光源已完全點亮，使得第二幀影像420中的待攝物OBJ曝光程度一致。故第二幀影像420代表在亮燈狀態下的幀影像，且影像處理器130將對該幀影像進行後續分析。

類似地，如圖4C所示，影像處理器130控制IR發射器120由亮燈狀態轉換為暗燈狀態時擷取一第三幀影像430。此時IR光源處於由亮至暗的過程，因此在滾動快門機制下，第三幀影像430中的待攝物OBJ會有曝光程度不一致的問題，影像處理器130無法對第三幀影像430進行分析。如圖4D所示，影像處理器130控制IR發射器120持續暗燈狀態一段時間後擷取一第四幀影像440。此時，IR光源已完全熄滅，使得第四幀影像440中的待攝物OBJ曝光程度一致。故第四幀影像440代表在暗燈狀態下的幀影像，且影像處理器130將對該幀影像進行後續分析。

若以全局快門機制來擷取動態影像中的該些幀影像，由於全局快門機制為同時擷取一幀影像中的所有像素，故不會造成同一個幀影像的曝光程度不一致。因此，影像處理器130可透過全局快門機制直接擷取動態影像的二個幀影像，且影像處理器130對上述二個幀影像進行後續分析。如圖5A-5B，其說明本發明一實施例之影像處理器透過全局快門機制擷取二個幀影像的示意圖。

如圖5A所示，影像處理器130控制IR發射器120於亮燈狀態時擷取一第一幀影像510。在第一幀影像510中的待攝物OBJ曝光程度一致，且第一幀影像510將代表在亮燈狀態下的幀影像。如圖5B所示，影像處理器130控制IR發射器120於暗燈狀態時擷取一第二幀影像520。在第二幀影像520中的待攝物OBJ曝光程度一致，且第二幀影像520將代表在暗燈狀態下的幀影像。

需說明的是，在所取得的這些幀影像中，每一個幀影像都具有RGB像素與IR像素，故每一幀影像都可區分為RGB影像與IR影像。由於RGB影像容易受到IR光汙染，所以會希望用於分析的RGB影像沒有經過IR光源照射。因此，在步驟S310之後，影像處理器130將從這些幀影像中擷取代表暗燈狀態(沒有經過IR光源照射)的其中一個RGB影像作為一RGB擷取影像710，此外，擷取代表亮燈狀態的其中一個IR影像作為一IR亮幀影像610，且擷取代表暗燈狀態的其中一個IR影像作為一IR暗幀影像620(步驟S320)。

以影像處理器130擷取圖4A-4D的四個幀影像為例作說明。影像處理器130將擷取第四幀影像440中的RGB影像作為RGB擷取影像710，擷取第二幀影像420中的IR影像作為IR亮幀影像610，且擷取第四幀影像440中的IR影像作為IR暗幀影像620。

再以影像處理器130擷取圖5A-5B的二個幀影像為例作說明。影像處理器130將擷取第二幀影像520中的RGB影像作為RGB擷取影像710，擷取第一幀影像510中的IR影像作為IR亮幀影像610，且擷取第二幀影像520中的IR影像作為IR暗幀影像620。

請同時參考圖6，在取得RGB擷取影像710、IR亮幀影像610與IR暗幀影像620(即步驟S320)後，影像處理器130接著將計算IR亮幀影像610與IR暗幀影像620的一差值影像630。影像處理器130再根據一門檻值將差值影像630二值化以產生一二值化影像640(步驟S330)，以將差值影像630中的待攝物OBJ(前景)與非待攝物OBJN(背景)分開。此時，二值化影像640將具有一IR前景部分642與一IR背景部分644。

更進一步來說，影像處理器130首先將在IR亮幀影像610與IR暗幀影像620中，依序擷取同一個像素位置的像素值。再來，影像處理器130將依序計算同一個像素位置的像素值的差值，以產生差值影像630。差值影像630的每一個像素位置的像素值可以下述式(1)來表示。

IR(i,j)=(IRb(i,j)-IRd(i,j))/2 式(1)其中，(i,j)為像素位置，IRb(i,j)為IR亮幀影像610的某個像素位置的像素值，IRb(i,j)為IR暗幀影像620的某個像素位置的像素值，且IR(i,j)為差值影像630的某個像素位置的像素值。需說明的是，差值影像的像素值可以有不同的定義，式(1)只是本實施例所使用的其中一種定義。

舉例來說，影像處理器130擷取IR亮幀影像610與IR暗幀影像620中，同一個像素位置(i,j)=(10,50)的像素值，且像素值分別為50與20。而影像處理器130將透過式(1)來計算差值影像630的像素位置(10,50)的像素值IR(10,50)，即IR(10,50)=(IRb(10,50)-IRd(10,50))/2=(50-20)/2=15。再舉例來說，考慮IR亮幀影像610與IR暗幀影像620中，同一個像素位置 (i,j)=(100,100)的像素值，且像素值分別為150與30。影像處理器130將透過式(1)來計算差值影像630的像素位置(100,100)的像素值IR(100,100)，即IR(100,100)=(IRb(100,100)-IRd(100,100))/2=(150-30)/2=60。而差值影像630中其他像素位置的像素值同樣以式(1)計算而得，以藉此產生差值影像630。

影像處理器130接著將判斷差值影像630中的每一個像素(以下稱為差值像素)的像素值是否大於等於門檻值。若差值像素的像素值大於等於門檻值，影像處理器130將該差值像素視為IR前景部分642中的像素(以下稱為前景像素)。而若差值像素的像素值小於門檻值，影像處理器130則將該差值像素視為IR背景部分644的像素(以下稱為背景像素)。

承接上述例子，門檻值設定為25。因此，影像處理器130判斷此差值像素的像素值IR(10,50)=15小於門檻值25，並將差值像素(10,50)視為二值化影像640的背景像素(即二值化影像中像素值為0)。而影像處理器130判斷此差值像素的像素值(100,100)=60大於等於門檻值25，並將差值像素(100,100)視為二值化影像640的前景像素(即二值化影像中，像素值設為例如255)。

而上述差值影像630的計算以及門檻值的設定，可以照實際狀況來作修正，本發明對此不作限制。

接著，請同時參考圖7，在取得二值化影像640(即步驟S330)後，影像處理器130將進一步擷取RGB擷取影像710中，與二值化影像640的IR前景部分642的位置對應的多個前景像素，並將這些前景像素作為一輸出影像790的一前景影像720(設定為RGB影像)。而輸出影像790的一背景影像730可以設定為黑色(如圖7所示)，且亦可以任何影像做為輸出影像790的背景影像730。

綜上所述，本發明實施例所提供的一種前景影像720提取的影像處理方法與電子裝置，其利用IR來進行前景影像提取，以降低環境光影響與背景雜訊。更進一步來說，本發明的影像處理方法與電子裝置在不同的IR強度下擷取多個IR影像，並透過一些運算計算多個IR影像之間的關係以提取較佳的前景影像，進而可降低整體運算量而達到即時處理。

以上所述僅為本發明之實施例，其並非用以侷限本發明之專利範圍。

Claims

一種前景影像提取的影像處理方法，適用於一電子裝置，且該影像處理方法包括：控制一IR發射器由一暗燈狀態到一亮燈狀態再回到該暗燈狀態；擷取一動態影像的複數個幀影像，且每一該幀影像具有一RGB影像與一IR影像，其中該些幀影像是在該IR發射器由該暗燈狀態到該亮燈狀態再回到該暗燈狀態的過程中產生；擷取代表該暗燈狀態的其中一該RGB影像作為一RGB擷取影像，擷取代表該亮燈狀態的其中一該IR影像作為一IR亮幀影像，且擷取代表該暗燈狀態的其中一該IR影像作為一IR暗幀影像；計算該IR亮幀影像與該IR暗幀影像的一差值影像，且根據一門檻值將該差值影像二值化以產生一二值化影像，其中該二值化影像具有一IR前景部分與一IR背景部分；以及擷取該RGB擷取影像中對應該IR前景部分的複數個前景像素，並將該些前景像素作為一輸出影像的一前景影像。
如請求項1之影像處理方法，其中，於擷取該動態影像的該些幀影像的步驟中，更包括：透過一滾動快門(Rolling Shutter)機制或一全局快門(Global Shutter)機制擷取該動態影像中的該些幀影像。
如請求項2之影像處理方法，其中，於透過該滾動快門機制擷取該動態影像的該些幀影像的步驟中，更包括：擷取該動態影像中的該四個幀影像，其中於該IR發射器由該暗燈狀態轉換為該亮燈狀態的過程擷取一第一幀影像，於該IR發射器持續該亮燈狀態一段時間的過程擷取一第二幀影像，於該IR發射器由該亮燈狀態轉換為該暗燈狀態的過程擷取一第三幀影像，且於該IR發射器持續該暗燈狀態一段時間的過程擷取一第四幀影像。
如請求項3之影像處理方法，其中，於擷取該RGB擷取影像、該IR亮幀影像與該IR暗幀影像的步驟中，更包括：擷取該第四幀影像中的該RGB影像作為該RGB擷取影像，擷取該第二幀影像中的該IR影像作為該IR亮幀影像，且擷取該第四幀影像中的該IR影像作為該IR暗幀影像。
如請求項2之影像處理方法，其中，於透過該全局快門機制擷取該動態影像的該些幀影像的步驟中，更包括：擷取該動態影像中的該二個幀影像，其中於該IR發射器於該亮燈狀態時擷取一第一幀影像，且於該暗燈狀態時擷取一第二幀影像。
如請求項5之影像處理方法，其中，於擷取該RGB擷取影像、該IR亮幀影像與該IR暗幀影像的步驟中，更包括：擷取該第二幀影像中的該RGB影像作為該RGB擷取影像，擷取該第一幀影像中的該IR影像作為該IR亮幀影像，且擷取該第二幀影像中的該IR影像作為該IR暗幀影像。
如請求項5之影像處理方法，其中，於擷取該動態影像的該些幀影像之前，更包括：發射一IR訊號至一待攝物，接收該待攝物反射的一IR反射訊號，且接收一可見光訊號；以及根據該IR反射訊號與該可見光訊號產生該動態影像。
如請求項1之影像處理方法，其中，於計算該差值影像的步驟中，更包括：於IR亮幀影像與IR暗幀影像中，依序擷取同一個像素位置的像素值；依序計算該同一個像素位置的該些像素值的差值，以產生該差值影像；判斷該差值影像中的每一差值像素的像素值是否大於等於該門檻值；若該差值像素的該像素值大於等於該門檻值，將該差值像素視為該IR前景部分的該前景像素；以及若該差值像素的該像素值小於該門檻值，將該差值像素視為該IR背景部分的一背景像素。
一種前景影像提取的電子裝置，包括：一IR發射器，發射一IR訊號；一影像擷取裝置，接收關聯於該IR訊號的一IR反射訊號，且接收一可見光訊號；以及一影像處理器，耦接該IR發射器與該影像擷取裝置，且用以執行下列步驟：控制該IR發射器由一暗燈狀態到一亮燈狀態再回到該暗燈狀態，且根據該IR反射訊號與該可見光訊號產生一動態影像；擷取該動態影像的複數個幀影像，且每一該幀影像具有一RGB影像與一IR影像，其中該些幀影像是在該影像處理器控制該IR發射器由該暗燈狀態到該亮燈狀態再回到該暗燈狀態的過程中產生；擷取代表該暗燈狀態的其中一該RGB影像作為一RGB擷取影像，擷取代表該亮燈狀態的其中一該IR影像作為一IR亮幀影像，且擷取代表該暗燈狀態的其中一該IR影像作為一IR暗幀影像；計算該IR亮幀影像與該IR暗幀影像的一差值影像，且根據一門檻值將該差值影像二值化以產生一二值化影像，其中該二值化影像具有一IR前景部分與一IR背景部分；以及擷取該RGB擷取影像中對應該IR前景部分的複數個前景像素，並將該些前景像素作為一輸出影像的一前景影像。
如請求項9之電子裝置，其中，當該影像處理器擷取該動態影像的該些幀影像時，透過一滾動快門(Rolling Shutter)機制或一全局快門(Global Shutter)機制擷取該動態影像中的該些幀影像。