TWI689892B - 基於前景影像的背景虛化方法與電子裝置 - Google Patents

基於前景影像的背景虛化方法與電子裝置 Download PDF

Info

Publication number
TWI689892B
TWI689892B TW107117002A TW107117002A TWI689892B TW I689892 B TWI689892 B TW I689892B TW 107117002 A TW107117002 A TW 107117002A TW 107117002 A TW107117002 A TW 107117002A TW I689892 B TWI689892 B TW I689892B
Authority
TW
Taiwan
Prior art keywords
image
pixel
foreground
frame
color
Prior art date
Application number
TW107117002A
Other languages
English (en)
Other versions
TW202004660A (zh
Inventor
邱仲毅
黃文聰
劉楷
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW107117002A priority Critical patent/TWI689892B/zh
Priority to US16/371,176 priority patent/US10943354B2/en
Priority to US16/371,203 priority patent/US10755418B2/en
Publication of TW202004660A publication Critical patent/TW202004660A/zh
Application granted granted Critical
Publication of TWI689892B publication Critical patent/TWI689892B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供了一種基於前景影像的背景虛化方法與電子裝置。背景虛化方法包括如下步驟：(A)取得彩色影像、IR亮幀影像與IR暗幀影像，計算IR亮幀影像與IR暗幀影像之間的差值影像以產生二值化影像；(B)取得二值化影像中的前景影像；(C)取得差值影像中前景部分的平均IR亮度值；以及(D)根據平均IR亮度值對彩色影像進行濾波以產生背景虛化影像。於本發明中，根據前景影像(包含使用者的人臉部分、身體部分與頭髮部分)與電子裝置之間的距離產生不同的模糊程度，彩色影像可被進行不同模糊程度的背景虛化，以更貼近真實的虛化場景。

Description

基於前景影像的背景虛化方法與電子裝置
本發明提供一種背景虛化方法與電子裝置，且特別是關於一種基於前景影像的背景虛化方法與電子裝置。
背景虛化技術已經廣泛的使用於拍照與視訊通話功能上。常見的背景虛化技術如下所述。當電子裝置拍攝影像時，為了突顯影像中的人物，一般會採用所謂淺景深的拍攝技巧，意即將相機透鏡的焦距聚集到影像中的特定距離範圍，使得此距離範圍內的人物可以清楚成像，同時也使得此距離範圍外的背景模糊。
另一種方法則是藉由改變相機拍攝參數來產生模糊或清楚的影像，例如對同一場景以不同焦距進行一系列的連拍，分別找出每個像素點在各影像中最清晰的位置，進而利用焦距與景深的關係，來推出影像中各像素點的相對景深。然而，此方法需要使用者適當地控制相機拍攝參數來估計出相對景深，進而產生人物清晰且背景模糊的影像。而對於大部分使用者來說，相機拍攝參數的調整與控制實屬困難。
因此，若電子裝置可以自動地將影像中的背景模糊化，將可協助使用者取得人物清晰且背景模糊的影像。
本發明提供了一種基於前景影像的背景虛化方法與電子裝置，其根據一前景影像與電子裝置之間的距離來對彩色影像進行不同程度的背景虛化，以更貼近真實的虛化場景。
本發明實施例提供一種基於前景影像的背景虛化方法，且適用於一電子裝置。背景虛化方法包括如下步驟：(A)取得彩色影像、代表亮燈狀態的IR亮幀影像與代表暗燈狀態的IR暗幀影像，計算IR亮幀影像與IR暗幀影像之間的差值影像，並將差值影像二值化以產生二值化影像；(B)取得二值化影像中的前景影像，其中二值化影像與彩色影像具有一像素位置對應關係，前景影像的像素位置對應到一目標物位於二值化影像中的像素位置且對應到目標物位於彩色影像中的像素位置；(C)取得差值影像中前景部分的平均IR亮度值，其中前景部分對應到前景影像；(D)根據平均IR亮度值對彩色影像進行濾波以產生一背景虛化影像，其中至少一部分背景虛化影像的虛化程度與平均IR亮度值成正相關。
本發明實施例提供一種電子裝置。電子裝置包括一IR(紅外線)發射器、一影像擷取裝置與一影像處理器。IR發射器發射一IR訊號。影像擷取裝置接收關聯於IR訊號的一IR反射訊號，且接收一可見光訊號。影像處理器耦接IR發射器與影像擷取裝置，且用以執行下列步驟：(A)取得彩色影像、代表亮燈狀態的IR亮幀影像與代表暗燈狀態的IR暗幀影像，計算IR亮幀影像與IR暗幀影像之間的差值影像，並將差值影像二值化以產生二值化影像；(B)取得二值化影像中的前景影像，其中二值化影像與彩色影像具有一像素位置對應關係，前景影像的像素位置對應到一目標物位於二值化影像中的像素位置且對應到目標物位於彩色影像中的像素位置；(C)取得差值影像中前景部分的平均IR亮度值，其中前景部分對應到前景影像；(D)根據平均IR亮度值計算一模糊半徑，其中模糊半徑與平均IR亮度值成正相關；(E) 根據模糊半徑以及漸進影像中的每一灰階像素的像素值，於每一灰階像素的像素位置產生一漸進模糊半徑；以及(F)根據模糊半徑以及該些漸進模糊半徑對彩色影像進行濾波。
為使能更進一步瞭解本發明之技術內容，請參閱以下有關本發明之詳細說明與附圖，但是此等說明與所附圖式僅係用來說明本發明，而非對本發明的權利範圍作任何的限制。
100‧‧‧電子裝置
110‧‧‧影像擷取裝置
120‧‧‧IR發射器
130‧‧‧影像處理器
Si‧‧‧IR訊號
Sr‧‧‧反射訊號
Sv‧‧‧可見光訊號
FC‧‧‧使用者
FCN‧‧‧非使用者
S310、S320、S330、S340、S350、S360、S370、S380‧‧‧步驟
410‧‧‧第一幀影像
420‧‧‧第二幀影像
430‧‧‧第三幀影像
440‧‧‧第四幀影像
510‧‧‧IR亮幀影像
520‧‧‧IR暗幀影像
530‧‧‧差值影像
540‧‧‧二值化影像
542‧‧‧前景像素
544‧‧‧背景像素
S410、S420、S430、S440、S450‧‧‧步驟
S341、S342、S343、S344、S345、S346、S347、S348‧‧‧步驟
RFr‧‧‧人臉代表圖框
NFr‧‧‧目前人臉圖框
ROI‧‧‧感興趣區域
A1‧‧‧第一預定距離
A2‧‧‧第二預定距離
A3‧‧‧第三預定距離
Ct‧‧‧中心點
D1‧‧‧圖框長度
S351、S353、S355、S357、S359‧‧‧步驟
640‧‧‧二值化增強影像
IFr‧‧‧前景影像
740‧‧‧漸進影像
742‧‧‧漸進像素
P1‧‧‧前景調整像素
P2‧‧‧灰階像素
P3‧‧‧背景調整像素
900‧‧‧混合影像
(80,30)、(100,10)、(120,10)‧‧‧像素位置
圖1是本發明一實施例之電子裝置與使用者的位置關係圖。
圖2是本發明一實施例之電子裝置的示意圖。
圖3是本發明一實施例之基於前景影像的背景虛化方法的流程圖。
圖4A-4D是本發明一實施例之影像處理器擷取四個幀影像的示意圖。
圖5是本發明一實施例之計算二值化影像的示意圖。
圖6A是本發明一實施例之取得二值化影像的流程圖。
圖6B是本發明一實施例之取得人臉代表圖框的流程圖。
圖6C是本發明一實施例之人臉代表圖框的示意圖。
圖6D是本發明一實施例之感興趣區域的示意圖。
圖7A是本發明一實施例之調整感興趣區域中的前景像素與背景像素的流程圖。
圖7B是本發明一實施例之差值影像示意圖。
圖7C是本發明一實施例之二值化影像的示意圖。
圖8是本發明一實施例之漸進影像的示意圖。
圖9是本發明一實施例之混合影像的示意圖。
在下文中，將藉由圖式說明本發明之各種例示實施例來詳細 描述本發明。然而，本發明概念可能以許多不同形式來體現，且不應解釋為限於本文中所闡述之例示性實施例。此外，圖式中相同參考數字可用以表示類似的元件。
本發明實施例所提供的基於前景影像的背景虛化方法與電子裝置，其根據一前景影像來對一彩色影像進行背景虛化，以藉此產生一背景虛化影像。該前景影像為一目標物的影像，該目標物可為任何實體，例如人物、動物、物品等等。在本發明實施例中，前景影像為一使用者(包含使用者的人臉部分、身體部分與頭髮部分)。更進一步來說，電子裝置將根據前景影像與電子裝置之間的距離計算不同的模糊程度，並據此對彩色影像進行不同模糊程度的背景虛化，以更貼近真實的虛化場景。
此外，本發明的電子裝置會藉由控制一IR(紅外線)發射器由一暗燈狀態到一亮燈狀態，再由亮燈狀態到暗燈狀態來取得上述前景影像。更進一步來說，電子裝置將在不同的IR強度下擷取代表亮燈狀態的一IR亮幀影像、代表暗燈狀態的一IR暗幀影像與一彩色影像。接著電子裝置根據IR亮幀影像、IR暗幀影像與彩色影像透過一些簡單運算切割出較佳的前景影像(包含使用者的人臉部分、身體部分與頭髮部分)。
以下將進一步介紹本發明揭露之基於前景影像的背景虛化方法與電子裝置。
首先，請參考圖1-2，圖1顯示本發明一實施例之電子裝置與使用者的位置關係圖，且圖2是本發明一實施例之電子裝置的示意圖。如圖1-2所示，電子裝置100設置在一使用者FC附近，用來拍攝具有使用者FC的一動態影像，並從動態影像中提取具有使用者FC的多個幀(frame)影像。電子裝置100具有一IR發射器120、一影像擷取裝置110與一影像處理器130。影像處理器130耦接影像擷取裝置110與IR發射器120。在本實施例中，電子裝置100可為智慧型手機、監視器、平板電腦、筆記型電腦 或其他可同時擷取IR影像與RGB影像的電子裝置，本發明對此不作限制。
如圖1所示，IR發射器120發射一IR訊號Si至使用者FC，使用者FC將會反射一IR反射訊號Sr。此時，影像擷取裝置110將接收到使用者FC反射的IR反射訊號Sr與一環境光所產生的一可見光訊號Sv。更進一步來說，IR發射器120可以是由一顆或多顆IR發光二極體(LED)組成，且設置在影像擷取裝置110附近。在本實施例中，IR發射器120是由一顆IR LED組成，且設置在影像擷取裝置110的下方。本實施例的影像擷取裝置110為紅綠藍-紅外(RGB-IR)感測器，使得影像擷取裝置110可以同時接收到IR反射訊號Sr與可見光訊號Sv。當然，影像擷取裝置110亦可以由二個獨立的RGB感測器與IR感測器組成，本發明對此不作限制。
而影像處理器130將控制IR發射器120由一暗燈狀態到一亮燈狀態再回到暗燈狀態。在上述過程中，影像處理器130將接收IR反射訊號Sr與可見光訊號Sv，且根據IR反射訊號Sr與可見光訊號Sv產生一動態影像，並執行下列步驟，進而從動態影像中提取具有使用者FC的前景影像。
請同時參考圖3，其顯示本發明一實施例之基於前景影像的背景虛化方法的流程圖。首先，電子裝置100的影像處理器130將從動態影像中提取具有使用者FC的多個幀影像(步驟S310)，並從這些幀影像中擷取代表亮燈狀態的一IR亮幀影像、擷取代表暗燈狀態的一IR暗幀影像與擷取一彩色影像(步驟S320)。
更進一步來說，請同時參考圖4A-4D，影像處理器130將依序擷取具有使用者FC的四個幀影像。這四個幀影像分別包括由暗燈狀態轉換為亮燈狀態的一第一幀影像410、在亮燈狀態下的一第二幀影像420、由亮燈狀態轉換為暗燈狀態的一第三幀影像430、與在暗燈狀態下的一第四幀影像440。在這四個幀影像中， 第一幀影像410與第三幀影像430為IR光源尚未全亮或全暗時的影像，且第二幀影像420與第四幀影像440為IR光源已全亮或全暗時的影像。因此，影像擷取器110將擷取第二幀影像420中的IR影像作為IR亮幀影像(如圖5的IR亮幀影像510)，擷取第四幀影像440中的IR影像作為IR暗幀影像(如圖5的IR暗幀影像520)，且擷取第三幀影像430中的RGB影像作為彩色影像。
值得注意的是，擷取第三幀影像430時，IR光源尚未全暗，使得第三幀影像430中的RGB影像很容易受到紅外線干擾。因此，上述RGB影像會經過一補償技術(例如串擾補償(crosstalk compensation))來減緩紅外線干擾。而有關上述補償技術為所屬領域具有通常知識者所悉知，故在此不再贅述。
而在其他實施例中，影像處理器130也可以依序擷取具有使用者FC的六個幀影像(未繪於圖式中)。六個幀影像分別包括由暗燈狀態轉換為亮燈狀態的一第一幀影像、在亮燈狀態下的一第二幀影像、由亮燈狀態轉換為暗燈狀態的一第三幀影像、在暗燈狀態下的一第四幀影像、一第五幀影像與一第六幀影像。在這六個幀影像中，第一幀影像與第三幀影像為IR光源尚未全亮或全暗時的影像，且第二幀影像、第四幀影像、第五幀影像與第六幀影像為IR光源已全亮或全暗時的影像。因此，影像處理器130將擷取第二幀影像中的IR影像作為IR亮幀影像，擷取第五幀影像中的IR影像作為IR暗幀影像，且擷取第四幀影像或者第六幀影像中的RGB影像作為彩色影像。
值得注意的是，第四幀影像或第六幀影像為IR光源已全暗時的影像，因此，第四幀影像不會受到紅外線干擾而不需要再經過其他的補償技術的處理。而影像處理器130也可以利用其他方式擷取IR亮幀影像、IR暗幀影像與彩色影像，本發明對此不作限制。
接下來，請同時參考圖5，在取得IR亮幀影像、IR暗幀影 像與彩色影像(即步驟S320)後，影像處理器130接著將計算IR亮幀影像510與IR暗幀影像520的一差值影像530(步驟S330)，且將差值影像530二值化以產生一二值化影像540(步驟S340)，以將差值影像530中的使用者FC(前景部分)與非使用者FCN(背景部分)分開。此時，二值化影像540將具有多個前景像素542與多個背景像素544。
更進一步來說，影像處理器130首先將在IR亮幀影像510與IR暗幀影像520中，依序擷取同一個像素位置的像素值。再來，影像處理器130將依序計算同一個像素位置的像素值的差值，以產生差值影像530。差值影像530的每一個像素位置的像素值可以下述式(1)來表示。
IRdif(x,y)=(IRb(x,y)-IRd(x,y))/2 式(1)其中，(x,y)為像素位置，IRb(x,y)為IR亮幀影像510的某個像素位置的像素值，IRb(x,y)為IR暗幀影像520的某個像素位置的像素值，且IRdif(x,y)為差值影像530的某個像素位置的像素值。需說明的是，差值影像的像素值可以有不同的定義，式(1)只是本實施例所使用的其中一種定義。
相較於背景部分，前景部分較靠近IR發射器120。因此，比較前景部分在亮燈狀態及暗燈狀態下所反射的IR反射訊號Sr的強度，兩個狀態之間的強度會有較大的差異。相對地，背景部分在亮燈狀態及暗燈狀態下所反射的IR反射訊號Sr強度，其兩個狀態之間的強度差異較小。
舉例來說，影像處理器130擷取IR亮幀影像510與IR暗幀影像520中，同一個像素位置(x,y)=(10,50)的像素值，且像素值分別為50與20。而影像處理器130將透過式(1)來計算差值影像530的像素位置(10,50)的像素值IRdif(10,50)，即IRdif(10,50)=(IRb(10,50)-IRd(10,50))/2=(50-20)/2=15。再舉例來說，於IR亮幀影像510與IR暗幀影像520中，同一個像素位置(x,y)=(100,100) 的像素值，且像素值分別為150與30。影像處理器130將透過式(1)來計算差值影像530的像素位置(100,100)的像素值IRdif(100,100)，即IRdif(100,100)=(IRb(100,100)-IRd(100,100))/2=(150-30)/2=60。而差值影像530中其他像素位置的像素值同樣以式(1)計算而得。
請同時參考圖6A，在影像處理器130將差值影像530二值化以產生二值化影像540(即步驟S340)的過程中，影像處理器130將判斷差值影像530中的每一個像素(以下稱為差值像素)的像素值是否大於等於一門檻值(步驟S410)。若差值像素的像素值大於等於門檻值，影像處理器130將此差值像素視為二值化影像540的前景像素542(步驟S420)。反之，若差值像素的像素值小於門檻值，影像處理器130則將此差值像素視為二值化影像540的背景像素544(步驟S430)。
承接上述例子，門檻值設定為25。因此，影像處理器130判斷此差值像素的像素值IR(10,50)=15小於門檻值25，並將差值像素(10,50)視為二值化影像540的背景像素544。而影像處理器130判斷此差值像素的像素值(100,100)=60大於等於門檻值25，並將差值像素(100,100)視為二值化影像540的前景像素542。在本實施例中，前景像素542的像素值為255(代表白色)，背景像素544的像素值為0(代表黑色)。而前景像素542的像素值與背景像素544的像素值也可以依照實際狀況作設定，本發明對此不作限制。
而上述差值影像530與二值化影像540的計算以及門檻值的設定也可以照實際狀況來作修正，本發明對此不作限制。
需說明的是，若使用者FC的頭髮部分(實際上屬於前景像素542)顏色較深而對於紅外線的反射性不佳，差值影像530中的頭髮部分經過上述二值化的實施方式後會被認定為背景像素，如圖5的二值化影像540中的背景像素544。影像處理器130有必要 將使用者FC的頭髮部分改變為前景像素544。藉此，影像處理器130將執行步驟S440與S450，以取得具有使用者FC的人臉部分與頭髮部分的前景像素。
在步驟S440中，影像處理器130將根據一人臉代表圖框RFr的一圖框位置取得二值化影像540中的一感興趣區域ROI。而感興趣區域ROI將會對應到使用者FC的一人臉部分與一頭髮部分。
更進一步來說，影像處理器130將透過圖6B的流程圖來取得人臉代表圖框RFr的圖框位置。首先，影像處理器130判斷是否有前一個人臉圖框(步驟S341)。在本實施例中，前一個人臉圖框是影像處理器130前一次取得的人臉代表圖框，也可以是前幾次取得的人臉代表圖框，本發明對此不作限制。
若影像處理器130判斷有前一個人臉圖框時，表示影像處理器130也許可以延用之前取得人臉代表圖框來進行後續處理，來降低重新尋找人臉代表圖框的計算量。此時，影像處理器130將前一個人臉圖框的一圖框位置對應到二值化影像540(步驟S342)。
接著，影像處理器130將進一步判斷前一個人臉圖框的圖框位置中的這些前景像素的數量是否大於等於一預定數量(步驟S343)。若影像處理器130判斷上述數量大於等於預定數量(例如50*50個)時，表示可以延用之前取得人臉代表圖框來進行後續處理。此時，影像處理器130將前一個人臉圖框的圖框位置作為人臉代表圖框RFr的圖框位置(步驟S344)，如圖6C所示。反之，若影像處理器130判斷上述數量小於預定數量時，表示使用者FC的移動幅度過大，不可以延用之前取得人臉代表圖框來進行後續處理。此時，影像處理器130將由二值化影像540取得一目前人臉圖框(步驟S345)，且判斷目前人臉圖框的一圖框位置中的這些前景像素的數量是否大於等於預定數量(例如40*40個)(步 驟S346)。
若影像處理器130判斷上述數量大於等於預定數量時，代表影像處理器130在二值化影像540找到正確的目前人臉圖框(即對應到使用者FC的人臉部分)。此時，影像處理器130將目前人臉圖框的圖框位置作為人臉代表圖框RFr的圖框位置(步驟S347)，如圖6C所示。反之，若影像處理器130判斷上述數量小於預定數量時，代表影像處理器130在二值化影像540找到錯誤的目前人臉圖框NFr(即沒有對應到使用者FC的人臉部分)。此時，影像處理器130將認定沒有取得人臉代表圖框的圖框位置(步驟S348)，並回到步驟S345以重新計算二值化影像540的目前人臉圖框來進行步驟S346的判斷。在本實施例中，影像處理器130可以由任一人臉偵測演算法來取得二值化影像540中的目前人臉圖框，本發明對此不作限制。
再請回到圖6B的步驟341：判斷是否有前一個人臉圖框。若影像處理器130判斷沒有前一個人臉圖框時，表示影像處理器130第一次執行取得人臉代表圖框的步驟又或者無法延用之前的人臉代表圖框。此時，影像處理器130將執行步驟S345-S346，以藉此將目前人臉圖框的圖框位置作為人臉代表圖框RFr的圖框位置。而有關步驟S345-S346的實施方式已於上述作說明，故在此不再贅述。
再請回到圖6A，影像處理器130在取得例如圖6C的人臉代表圖框RFr的圖框位置(即步驟S344與S347)後，將根據人臉代表圖框RFr的圖框位置取得二值化影像540中的感興趣區域ROI。更進一步來說，如圖6D所示，由於使用者FC的頭髮部分位於人臉部分的左邊、右邊與上面。因此，影像處理器130將人臉代表圖框RFr向左擴大一第一預定距離A1、向右擴大一第二預定距離A2，且向上擴大一第三預定距離A3，以藉此產生感興趣區域ROI。在本實施例中，人臉代表圖框RFr具有一圖框長度 D1。影像處理器130將人臉代表圖框RFr向左擴大30%的圖框長度D1(即第一預定距離A1)、向右擴大30%的圖框長度D1(即第二預定距離A2)，且向上擴大50%的圖框長度D1(即第三預定距離A3)，以藉此產生感興趣區域ROI。因此，感興趣區域ROI將會對應到使用者FC的人臉部分與頭髮部分。
為了將使用者FC的頭髮部分改變為前景像素，在取得感興趣區域ROI(即步驟S440)後，影像處理器130將根據差值影像530、彩色影像、與二值化影像540的感興趣區域ROI中的每一個像素位置與一中心點Ct的距離關係，調整感興趣區域ROI中的這些前景像素與這些背景像素，且將二值化影像540中的這些前景像素作為前景影像(步驟S450)。需說明的是，差值影像530、彩色影像與二值化影像540之間具有一像素位置對應關係。舉例來說，差值影像530中的像素位置(10,10)會對應到彩色影像中的像素位置(10,10)與對應到二值化影像540中的像素位置(10,10)。而上述影像的其他像素位置也是依照此對應關係來作設置。
更進一步來說，請同時參考圖6D、7A、7B與7C。圖7A顯示本發明一實施例之調整感興趣區域中的前景像素與背景像素的流程圖。影像處理器130首先將二值化影像540中感興趣區域ROI的像素位置對應到差值影像530，並取得差值影像530中位於感興趣區域ROI內的多個差值像素(步驟S351)。接下來，影像處理器130將依序在同一個像素位置中，根據差值影像530的差值像素的一像素值、彩色影像的亮度值、此像素位置與感興趣區域ROI的中心點Ct之間的距離關係計算一轉換值(步驟S353)。
接著，影像處理器130將判斷此轉換值是否大於等於一預定轉換值(步驟S355)。若轉換值大於等於預定轉換值，代表影像處理器130判斷此像素位置為使用者FC的頭髮部分。此時，影像 處理器130將此像素位置對應到前景像素的像素值(步驟S357)。反之，若轉換值小於預定轉換值，代表影像處理器130判斷此像素位置不為使用者FC的頭髮部分。此時，影像處理器130將維持此像素位置的像素值(步驟S359)。
而依照前景像素542(對應到使用者FC)在差值影像530、彩色影像與感興趣區域ROI的特性。當差值影像530的差值像素的像素值越高，代表越有可能是前景像素；當彩色影像的亮度值越低，代表越有可能是前景像素；當彩色影像的彩度值越低，代表越有可能是前景像素；以及當感興趣區域ROI中的某一個像素位置距離與中心點Ct越近，代表越有可能是前景像素。
因此，影像處理器130可以將步驟S351-S359整理為下述式(2)-式(6)，以藉此調整感興趣區域ROI中的前景像素與背景像素，進而產生(調整後的)二值化影像640。
Figure 107117002-A0101-12-0012-1
POW=256-IRdif(x,y) 式(3)
LUM=256*Y(x,y)/Ymax 式(4)
RAD=R_cur(x,y)/R_roi 式(5)
UV=|U(x,y)-128|+|V(x,y)-128|+1 式(6)
其中，FG(x,y)為二值化影像640的某個像素位置的像素值，(x,y)為某個像素位置，Fmax為二值化影像640中前景像素的像素值(本實施例中為255(代表白色))，Fbi(x,y)為像素位置(x,y)於(調整前的)二值化影像540中的像素值，IRdif(x,y)為差值影像530的某個像素位置的像素值，Y(x,y)為彩色影像的某個像素位置的亮度值，Ymax為彩色影像的最大亮度值，R_cur(x,y)為感興 趣區域ROI的某個像素位置與中心點Ct的距離，R_roi為感興趣區域ROI的所有像素位置與中心點Ct的最遠距離，U(x,y)與V(x,y)為彩色影像的某個像素位置的彩度資訊，TRS為轉換值，ROI_TH為預定轉換值。需說明的是，二值化影像640的像素值可以有不同的定義，式(2)-式(6)只是本實施例所使用的其中一種定義。
請同時參考圖7B-7C，其分別顯示本發明一實施例之差值影像與二值化影像的示意圖。舉例來說，像素位置(x,y)=(100,10)，前景像素的像素值Fmax=255，最大亮度值Ymax=255，最遠距離R_roi=100，且預定轉換值ROI_TH=250。而於同一個像素位置(100,10)中，影像處理器130計算差值影像530的像素值IRdif(100,10)=30，彩色影像的亮度值Y(100,10)=10，感興趣區域ROI的像素位置(100,10)與中心點Ct的距離R_cur(100,10)=35，彩色影像的彩度資訊U(100,10)=15與V(100,10)=30。
因此，POW=256-IRdif(100,10)=256-30=226。LUM=256*Y(100,10)/Ymax=256*10/255=10。RAD=R_cur(100,10)/R_roi=35/100=0.35。UV=|U(100,10)-128|+|V(100,10)-128|+1=|15-128|+|30-128|+1=212。影像處理器130將根據上述數值套用到式(2)計算轉換值TRS，如下所示。
Figure 107117002-A0101-12-0013-2
影像處理器130判斷轉換值TRS大於等於預定轉換值，代表像素位置(100,10)為使用者FC的頭髮部分。此時，影像處理器130將像素位置(100,10)對應到前景像素的像素值Fmax=255，即影像處理器130將圖7B中差值影像530的像素位置(100,10)的像素值0轉為圖7C中二值化影像640的像素位置 (100,10)的像素值255。
再舉例來說，像素位置(x,y)=(80,30)，前景像素的像素值Fmax=255，最大亮度值Ymax=255，最遠距離R_roi=100，且預定轉換值ROI_TH=250。而於同一個像素位置(80,30)中，影像處理器130計算差值影像530的像素值IRdif(80,30)=2，彩色影像的亮度值Y(80,30)=100，感興趣區域ROI的像素位置(80,30)與中心點Ct的距離R_cur(80,30)=50，彩色影像的彩度資訊U(100,10)=3與V(100,10)=4。
因此，POW=256-IRdif(80,30)=256-2=254。LUM=256*Y(80,30)/Ymax=256*100/255=100。RAD=R_cur(80,30)/R_roi=50/100=0.5。UV=|U(80,30)-128|+|V(80,30)-128|+1=|3-128|+|4-128|+1=250。影像處理器130將根據上述數值套用到式(2)計算轉換值TRS，如下所示。
Figure 107117002-A0101-12-0014-3
影像處理器130判斷轉換值TRS小於預定轉換值，代表像素位置(80,30)不是使用者FC的頭髮部分。此時，影像處理器130將維持像素位置(80,30)的像素值Fbi(x,y)=0。即影像處理器130維持圖7B中差值影像530的像素位置(80,30)的像素值0。
而二值化影像640中其他像素位置的像素值同樣以式(2)-式(6)計算而得。因此，影像處理器130將根據上述式(2)-式(6)計算出二值化影像640，並擷取二值化影像640中的這些前景像素(即白色部分)作為前景影像IFr(步驟S350)。由上述說明可知，使用者FC的頭髮部分將由背景像素(如圖6C的二值化影像540的像素值0)轉變成前景像素(如圖7C的二值化增強影像640的像素值255)，以藉此產生具有使用者的人臉部分、身體部分與頭髮部分的前景像素，進而切割出較佳的前景影像IFr。此時，前景 影像IFr的像素位置對應到使用者位於二值化影像640中的像素位置且對應到使用者位於彩色影像中的像素位置。
請回到圖3，在取得前景影像IFr(即步驟S350)後，影像處理器130可以根據前景影像來對彩色影像進行背景虛化，以藉此產生一背景虛化影像。詳細說明如步驟S360-S380所述。
為了方便說明，以下前景影像以圖7C的二值化影像640中的前景影像IFr作說明。因此，在取得前景影像IFr(即步驟S350)後，影像處理器130將取得差值影像530中前景部分的一平均IR亮度值(步驟S360)。更進一步來說，影像處理器130針對差值影像530中對應於圖7C的前景影像IFr的每一個像素位置取得像素值，且平均這些像素值以產生平均IR亮度值。而由於頭髮部分的像素值很低，容易影響平均IR亮度值的結果。故在其他實施例中，影像處理器130也可以將圖6C的二值化影像540中的每一個前景像素的像素位置對應到差值影像530(即排除作為頭髮部分的前景像素)，影像處理器130再於差值影像530中取得對應像素位置的多個像素值，並平均這些像素值以產生平均IR亮度值。
而為了更貼近真實的虛化場景，影像處理器130將根據平均IR亮度值計算一模糊半徑，以藉此根據前景影像IFr與電子裝置100之間的距離來對彩色影像進行不同程度的背景虛化(步驟S370)。在計算模糊半徑的過程中，平均IR亮度值越大，模糊半徑就越大(即平均IR亮度值與模糊半徑成正相關)。前景影像IFr離電子裝置100越近，平均IR亮度值越亮。反之，前景影像IFr離電子裝置100越遠，平均IR亮度值越暗。
藉此，影像處理器130可以將步驟S360-S370整理為下述式(7)，以根據平均IR亮度值計算模糊半徑。
Figure 107117002-A0101-12-0016-4
其中，Rmax為最大模糊半徑，IRdif_max為最大IR亮度值，IRdif_mean為平均IR亮度值，且Ract為模糊半徑。需說明的是，模糊半徑Ract可以有不同的定義，式(7)只是本實施例所使用的其中一種定義。舉例來說，最大模糊半徑Rmax=15，最大IR亮度值IRdif_max=200，且平均IR亮度值為IRdif_mean=55。因此，影像處理器130將根據式(7)計算出模糊半徑Ract=15*(55/200)=4。
在取得模糊半徑(即步驟S370)後，影像處理器130將根據模糊半徑對彩色影像進行濾波(例如二次均值濾波)以產生一背景虛化影像(步驟S380)。舉例來說，若模糊半徑Ract=3，代表遮罩大小為3*3。因此，影像處理器130將根據3*3的遮罩(即模糊半徑Ract=3)對彩色影像進行濾波(例如二次均值濾波)以產生一背景虛化影像(未繪於圖式中)。再舉例來說，若模糊半徑Ract=4，代表遮罩大小為4*4。而在實際作法中，4*4的遮罩為3*3的遮罩與5*5的遮罩的組合。因此，影像處理器130將分別根據3*3的遮罩與5*5的遮罩對彩色影像進行濾波(例如二次均值濾波)以產生第一虛化影像與第二虛化影像(未繪於圖式中)。影像處理器130最後再依序平均第一虛化影像與第二虛化影像中同一個像素位置的像素值，以據此產生背景虛化影像(未繪於圖式中)。
而在其他實施例中，影像處理器130也可以根據其他遮罩大小來組合成所需的模糊半徑，本發明對此不作限制。有關影像處理器130對一張影像進行二次均值濾波的實施方式為所屬領域具有通常知識者所悉知，故在此不再贅述。
而在取得更貼近真實的虛化場景的其它作法，影像處理器 130也可以在取得二值化影像後，進一步對二值化影像進行一均值濾波以產生一漸進影像。以圖7C的二值化影像640為例作說明。請同時參考圖7C與8，影像處理器130將對二值化影像640進行均值濾波以產生一漸進影像740。漸進影像740具有多個漸進像素742。漸進像素742由多個前景調整像素P1、多個灰階像素P2與多個背景調整像素P3組成。在本實施例中，前景調整像素P1的像素值為255，且在漸進像素742中代表白色。背景調整像素P3的像素值為0，且在漸進影像740中代表黑色。而灰階像素P2的像素值為介於1-254之間，且在漸進影像740中代表灰階顏色。更進一步來說，影像處理器130可以根據實際狀況來設計不同遮罩(mask)，例如3*3的遮罩，並將設計的遮罩對二值化增強影像640進行均值濾波以產生漸進影像740，本發明對此不作限制。
相較於上述實施例中影像處理器130利用單一個模糊半徑對彩色影像進行濾波，本實施例的影像處理器130也可以針對漸進影像740中的每一個灰階像素，根據其不同的像素值來決定出不同的模糊半徑，並利用這些模糊半徑來對彩色影像中對應於漸進影像740中灰階像素的部分進行濾波，以更貼近真實的虛化場景。因此，如圖8所示，影像處理器130將根據每一個灰階像素P2的像素值與一最大像素值之間的比值調整模糊半徑，以於每一個灰階像素的像素位置對應產生一漸進模糊半徑。
藉此，影像處理器130可以將上述計算漸進模糊半徑的方法整理為下述式(8)，以於每一個灰階像素P2的像素位置對應產生一個漸進模糊半徑。
Figure 107117002-A0101-12-0017-5
其中，(a,b)為漸進影像740中的某一個灰階像素P2的像素位置，Ract為式(7)所計算出的模糊半徑，Pmax為最大像素值， P2(a,b)為某個灰階像素P2的像素值，且Rgray(a,b)為某個灰階像素P2的漸進模糊半徑。需說明的是，漸進模糊半徑Rgray(a,b)可以有不同的定義，式(8)只是本實施例所使用的其中一種定義。舉例來說，模糊半徑Ract=4，灰階像素P2的某個像素位置(a,b)=(120,10)且其像素值P2(a,b)=130，最大像素值Pmax=255。因此，影像處理器130將根據式(8)計算不同於模糊半徑Ract的漸進模糊半徑Rgray(120,10)=4*130/255=2。
請同時參考圖8，在影像處理器130計算出前景調整像素P1與背景調整像素P3對應的單一模糊半徑Ract與計算出每一個灰階像素P2對應的一漸進模糊半徑Rgray(a,b)後，影像處理器130將據此對彩色影像進行濾波(例如二次均值濾波)。更進一步來說，於彩色影像中，影像處理器130將對應於這些前景調整像素P1與這些背景調整像素P3的像素位置的像素值作為多個第一彩色值，且將對應於這些灰階像素P2的像素位置的像素值作為多個第二彩色值。接下來，影像處理器130將根據模糊半徑Ract依序將這些第一彩色值進行濾波，且根據這些漸進模糊半徑Rgray(a,b)依序將對應的第二彩色值進行濾波以藉此產生背景虛化影像。
而上述背景虛化影像的產生，雖然有將模糊半徑Ract應用於彩色影像中對應於前景調整像素P1的像素位置的像素值，但在下一步驟中(如式(9)以及以下相關段落所述)，藉由權重的調整，將使得混合影像900中對應於前景調整像素P1的像素沒有被虛化。
由上述說明可知，影像處理器130可以根據前景影像與電子裝置之間的距離來對彩色影像進行不同程度的背景虛化，以更貼近真實的虛化場景。
而為了使最後得到的影像突顯出前景影像，影像處理器130可以針對每一像素位置，根據圖8漸進影像740中對應的漸進像 素742的像素值，來混合(blend)彩色影像中對應的像素值與背景虛化影像中對應的像素值，以於一混合影像900中的像素位置產生一混合像素值。更進一步來說，於混合影像900中的像素位置產生混合像素值的過程中，影像處理器130首先將根據對應的漸進像素740的像素值計算一第一權重比例與一第二權重比例，且第一權重比例與第二權重比例的總和為1。接下來，影像處理器130將根據第一權重比例與第二權重比例來混合彩色影像與背景虛化影像，以產生此像素位置的混合像素值。
藉此，影像處理器130可以將上述混合方法整理為下述式(9)，以在對應的像素位置中計算混合像素值，混合像素值可表示如下：
Figure 107117002-A0101-12-0019-6
其中，(m,n)為某個像素位置，Irgb(m,n)為彩色影像中某個像素位置的像素值，Pgr(m,n)為漸進影像740中某個像素位置的像素值(而第一權重比例為Pgr(m,n)/Pmax，且第二權重比例為(1-(Pgr(m,n)/Pmax))，Iblur(m,n)為背景虛化影像中某個像素位置的像素值，Pmax為最大像素值(例如255)，且Pmix(m,n)為某個像素位置的混合像素值。需說明的是，混合像素值Pmix(m,n)可以有不同的定義，式(9)只是本實施例所使用的其中一種定義。
由式(9)可知，對前景調整像素P1而言，由於Pgr(m,n)=255，故其彩色影像Irgb(m,n)的權重比例(即第一權重比例)為1，且背景虛化影像Iblur(m,n)的權重比例(即第二權重比例)為0；對背景調整像素P3而言，由於Pgr(m,n)=0，故其彩色影像Irgb(m,n)的權重比例(即第一權重比例)為0，且背景虛化影像Iblur(m,n)的權重比例(即第二權重比例)為1。藉此可使混合影像900的背景虛化並突顯出前景影像。
請參考圖9，舉例來說，像素位置(m,n)=(120,10)，彩色影像 中像素位置(120,10)的像素值Irgb(120,10)=40，漸進影像740中像素位置(120,10)的像素值Pgr(m,n)=180，背景虛化影像中像素位置(120,10)的像素值Iblur(120,10)=50，最大像素值Pmax=255。因此，影像處理器130將根據式(9)計算混合像素值Pmix(120,10)=40*(180/255)+50*(1-(180/255))=43。
據此，影像處理器130可以混合彩色影像與背景虛化影像，以藉此產生混合影像900中的每一個像素位置的混合像素值，並使混合影像900中對應到漸進影像740的灰階像素P2的影像將會更平滑，以更貼近真實的虛化場景。
綜上所述，本發明實施例所提供的一種基於前景影像的背景虛化方法與電子裝置其根據一前景影像(包含使用者的人臉部分、身體部分與頭髮部分)來對一彩色影像進行背景虛化，以藉此產生一背景虛化影像。更進一步來說，電子裝置將根據前景影像與電子裝置之間的距離產生不同的模糊程度，並據此對彩色影像進行不同模糊程度的背景虛化，以更貼近真實的虛化場景。
以上所述僅為本發明之實施例，其並非用以侷限本發明之專利範圍。
100‧‧‧電子裝置
110‧‧‧影像擷取裝置
120‧‧‧IR發射器
130‧‧‧影像處理器
Si‧‧‧IR訊號
Sr‧‧‧反射訊號
Sv‧‧‧可見光訊號

Claims (10)

  1. 一種基於前景影像的背景虛化方法，適用於一電子裝置，且該背景虛化方法包括：取得一彩色影像、代表一亮燈狀態的一IR亮幀影像與代表一暗燈狀態的一IR暗幀影像，計算該IR亮幀影像與該IR暗幀影像之間的一差值影像，並將該差值影像二值化以產生一二值化影像；取得該二值化影像中的一前景影像，其中該二值化影像與該彩色影像具有一像素位置對應關係，該前景影像的像素位置對應到一目標物位於該二值化影像中的像素位置且對應到該目標物位於該彩色影像中的像素位置；取得該差值影像中一前景部分的一平均IR亮度值，其中該前景部分對應到該前景影像；根據該平均IR亮度值對該彩色影像進行濾波以產生一背景虛化影像，其中至少一部分該背景虛化影像的虛化程度與該平均IR亮度值成正相關。
  2. 如請求項1之基於前景影像的背景虛化方法，其中，於取得該差值影像中該前景部分的該平均IR亮度值的步驟中，更包括：取得該差值影像中對應於該前景影像的每一像素位置的像素值，且平均該些像素值以產生該平均IR亮度值。
  3. 如請求項1之基於前景影像的背景虛化方法，其中，於取得該彩色影像、該IR亮幀影像與該IR暗幀影像的步驟中，更包括：於一IR發射器由該暗燈狀態到該亮燈狀態再回到該暗燈狀態的過程中，擷取具有該目標物的多個幀影像；以及於該些幀影像中擷取代表該亮燈狀態的該IR亮幀影像，擷取代表該暗燈狀態的該IR暗幀影像，且擷取該彩色影像。
  4. 如請求項1之基於前景影像的背景虛化方法，其中，於取得該二值化影像的步驟後，產生該背景虛化影像的步驟前，更包括：對該二值化影像進行一均值濾波以產生一漸進影像，其中該漸進影像具有多個漸進像素，該些漸進像素由多個前景調整像素、多個灰階像素與多個背景調整像素組成。
  5. 如請求項4之基於前景影像的背景虛化方法，其中，產生該背景虛化影像的步驟包括：根據該平均IR亮度值計算一模糊半徑，其中該模糊半徑與該平均IR亮度值成正相關；根據該模糊半徑以及該漸進影像中的每一該灰階像素的像素值，於每一該灰階像素的像素位置產生一漸進模糊半徑；以及根據該模糊半徑以及該些漸進模糊半徑對該彩色影像進行濾波。
  6. 如請求項5之基於前景影像的背景虛化方法，其中，於對該彩色影像進行濾波的步驟中，更包括：於該彩色影像中，將對應於該些前景調整像素與該些背景調整像素的像素位置的像素值作為多個第一彩色值，且將對應於該些灰階像素的像素位置的像素值作為多個第二彩色值；以及根據該模糊半徑依序將該些第一彩色值進行濾波且根據該些漸進模糊半徑依序將對應的該第二彩色值進行濾波。
  7. 如請求項4之基於前景影像的背景虛化方法，其中，於產生該背景虛化影像的步驟後，更包括：依序於同一個像素位置中，根據對應的該漸進像素的像素值混合該彩色影像中對應的像素值與該背景虛化影像中對應的像素值，以於一混合影像中的該像素位置產生一混合像素值。
  8. 如請求項7之基於前景影像的背景虛化方法，其中，於該混合影像中的該像素位置產生該混合像素值的步驟中，更包括：根據對應的該漸進像素的該像素值計算一第一權重比例與一第二權重比例，且該第一權重比例與該第二權重比例的總和為1；以及根據該第一權重比例與該第二權重比例混合該彩色影像與該背景虛化影像，以產生該像素位置的混合像素值。
  9. 如請求項1之基於前景影像的背景虛化方法，其中，於將該差值影像二值化的步驟中，更包括：判斷該差值影像中的每一像素位置的像素值是否大於等於一門檻值；其中，若該像素位置的像素值大於等於該門檻值，將該像素位置作為該二值化影像中的一前景像素，而若該像素位置的像素值小於該門檻值，將該像素位置作為該二值化影像中的一背景像素。
  10. 一種電子裝置，包括：一IR發射器，發射一IR訊號；一影像擷取裝置，接收關聯於該IR訊號的一IR反射訊號，且接收一可見光訊號；以及一影像處理器，耦接該IR發射器與該影像擷取裝置，且用以執行下列步驟：根據該IR反射訊號與該可見光訊號取得代表一亮燈狀態的一IR亮幀影像，取得代表一暗燈狀態的一IR暗幀影像，且取得一彩色影像；計算該IR亮幀影像與該IR暗幀影像之間的一差值影像，並將該差值影像二值化以產生一二值化影像； 取得該二值化影像中的一前景影像，其中該二值化影像與該彩色影像具有一像素位置對應關係，該前景影像的像素位置對應到一目標物位於該二值化影像中的像素位置且對應到該目標物位於該彩色影像中的像素位置；取得該差值影像中一前景部分的一平均IR亮度值，其中該前景部分對應到該前景影像；根據該平均IR亮度值對該彩色影像進行濾波以產生一背景虛化影像，其中至少一部分該背景虛化影像的虛化程度與該平均IR亮度值成正相關。
TW107117002A 2018-05-18 2018-05-18 基於前景影像的背景虛化方法與電子裝置 TWI689892B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107117002A TWI689892B (zh) 2018-05-18 2018-05-18 基於前景影像的背景虛化方法與電子裝置
US16/371,176 US10943354B2 (en) 2018-05-18 2019-04-01 Method and electronic apparatus for extracting foreground image
US16/371,203 US10755418B2 (en) 2018-05-18 2019-04-01 Background blurred method and electronic device based on foreground image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107117002A TWI689892B (zh) 2018-05-18 2018-05-18 基於前景影像的背景虛化方法與電子裝置

Publications (2)

Publication Number Publication Date
TW202004660A TW202004660A (zh) 2020-01-16
TWI689892B true TWI689892B (zh) 2020-04-01

Family

ID=68532408

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107117002A TWI689892B (zh) 2018-05-18 2018-05-18 基於前景影像的背景虛化方法與電子裝置

Country Status (2)

Country Link
US (2) US10943354B2 (zh)
TW (1) TWI689892B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865856B (zh) * 2018-08-27 2022-04-22 华为技术有限公司 一种界面元素颜色显示方法及装置
CN113052754B (zh) * 2019-12-26 2022-06-07 武汉Tcl集团工业研究院有限公司 一种图片背景虚化的方法及装置
CN113965664B (zh) * 2020-07-20 2024-02-09 武汉Tcl集团工业研究院有限公司 一种图像虚化方法、存储介质以及终端设备
CN112529800B (zh) * 2020-12-07 2022-08-23 同济大学 一种用于滤除毛发噪声的近红外静脉图像处理方法
CN112862852A (zh) * 2021-02-24 2021-05-28 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
US11800048B2 (en) * 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
CN113240700B (zh) * 2021-05-27 2024-01-23 广州博冠信息科技有限公司 图像处理方法及装置、计算机可读存储介质、电子设备
CN114022395B (zh) * 2022-01-06 2022-04-12 广州卓腾科技有限公司 一种证件照头发颜色矫正方法、装置及介质
WO2023245362A1 (zh) * 2022-06-20 2023-12-28 北京小米移动软件有限公司 图像处理方法及装置、电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069198A1 (en) * 2005-12-27 2012-03-22 Tessera Technologies Ireland Limited Foreground/Background Separation Using Reference Images
US20120219236A1 (en) * 2011-02-28 2012-08-30 Sony Corporation Method and apparatus for performing a blur rendering process on an image
US20150089348A1 (en) * 2013-09-23 2015-03-26 Yahoo! Inc. System and method for web page background image delivery
US20150205505A1 (en) * 2014-01-17 2015-07-23 Jeremy B. Conn Dynamic adjustment of a user interface

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101608903B1 (ko) * 2009-11-16 2016-04-20 삼성전자주식회사 적외선 이미지 센서
US8818028B2 (en) * 2010-04-09 2014-08-26 Personify, Inc. Systems and methods for accurate user foreground video extraction
US9008457B2 (en) 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
US8408821B2 (en) * 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system
CN102760234B (zh) 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
KR101247497B1 (ko) 2012-02-29 2013-03-27 주식회사 슈프리마 환경 적응형 얼굴 인식장치 및 그 방법
JP5948983B2 (ja) * 2012-03-09 2016-07-06 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2014159779A1 (en) * 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9955140B2 (en) 2015-03-11 2018-04-24 Microsoft Technology Licensing, Llc Distinguishing foreground and background with inframed imaging
TWI565323B (zh) * 2015-09-02 2017-01-01 原相科技股份有限公司 分辨前景的成像裝置及其運作方法、以及影像感測器
US10868978B2 (en) * 2016-07-14 2020-12-15 Sony Corporation Image processing device and image processing method
CN108389870A (zh) * 2017-02-03 2018-08-10 松下知识产权经营株式会社 摄像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069198A1 (en) * 2005-12-27 2012-03-22 Tessera Technologies Ireland Limited Foreground/Background Separation Using Reference Images
US20120219236A1 (en) * 2011-02-28 2012-08-30 Sony Corporation Method and apparatus for performing a blur rendering process on an image
US20150089348A1 (en) * 2013-09-23 2015-03-26 Yahoo! Inc. System and method for web page background image delivery
US20150205505A1 (en) * 2014-01-17 2015-07-23 Jeremy B. Conn Dynamic adjustment of a user interface

Also Published As

Publication number Publication date
TW202004660A (zh) 2020-01-16
US10943354B2 (en) 2021-03-09
US20190355127A1 (en) 2019-11-21
US20190356869A1 (en) 2019-11-21
US10755418B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
TWI689892B (zh) 基於前景影像的背景虛化方法與電子裝置
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
KR101861153B1 (ko) 화상처리장치 및 그 제어 방법
CN107451969B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108846807B (zh) 光效处理方法、装置、终端及计算机可读存储介质
US8917938B2 (en) Method for estimating blur degree of image and method for evaluating image quality
JP2008234208A (ja) 顔部位検出装置及びプログラム
JP6412386B2 (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
JP7401013B2 (ja) 情報処理装置、制御装置、情報処理方法及びプログラム
CN110555809B (zh) 基于前景影像的背景虚化方法与电子装置
JP2004133919A (ja) 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
JPWO2006057314A1 (ja) 画像処理装置および画像処理方法
TWI638334B (zh) 前景影像提取的影像處理方法與電子裝置
JP2017152866A (ja) 画像処理装置及び画像処理方法
JP2020021397A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
CN110555351B (zh) 前景影像的提取方法与电子装置
WO2016063595A1 (ja) 画像処理装置、画像処理方法及びプログラム
TWI684955B (zh) 前景影像的提取方法與電子裝置
CN113128259B (zh) 人脸识别设备及人脸识别方法
JP6675461B2 (ja) 画像処理装置およびその制御方法、ならびにプログラム
JP7080724B2 (ja) 配光制御装置、投光システム及び配光制御方法
JP2020195127A (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体
EP4356601A1 (en) Depth-based auto-exposure management
KR20230004533A (ko) 조명원을 포함하는 장치를 이용한 라이브니스 검출