TWI693576B - 影像模糊處理方法與系統 - Google Patents
影像模糊處理方法與系統 Download PDFInfo
- Publication number
- TWI693576B TWI693576B TW108106469A TW108106469A TWI693576B TW I693576 B TWI693576 B TW I693576B TW 108106469 A TW108106469 A TW 108106469A TW 108106469 A TW108106469 A TW 108106469A TW I693576 B TWI693576 B TW I693576B
- Authority
- TW
- Taiwan
- Prior art keywords
- pixels
- background
- color
- image
- target
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000003672 processing method Methods 0.000 claims description 18
- 230000000694 effects Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Abstract
影像模糊處理方法與系統,包括:獲得一影像與對應於此影像的深度資訊;根據深度資訊,識別前述影像中的目標物與背景,其中目標物包含多個目標物像素,背景包含多個背景像素;定義目標物與背景之間所間隔的邊緣像素的數量;使用不同尺寸的多個遮罩對邊緣像素與背景像素分別執行模糊處理;結合前述多個目標物像素、經模糊處理後的邊緣像素與經模糊處理後的背景像素以產生輸出影像;以及輸出此輸出影像。
Description
本發明是有關於一種影像處理方法與系統,特別是有關於針對拍攝影像中物件邊緣進行模糊處理的一種影像模糊處理方法與系統。
隨著光學感應元件與光學鏡頭的精密發展以及影像處理晶片與軟體的效能增進,數位相機/攝影機與具有鏡頭的可攜式電子產品(例如手機、平板電腦、筆記型電腦等)早已成為我們生活上不可或缺的電子產品,因其可隨時隨地進行拍照或自拍並儲存為數位影像。然為達到具有景深的特殊視覺效果,現已有產品會針對所拍攝的影像的背景進行模糊化的處理以突顯拍攝主體。
然而,一般來說,在對影像的背景執行模糊處理時,只有拍攝主體(例如人物)保持清晰,以突顯攝影主體效果,但卻可能因此造成拍攝主體的邊緣相對於模糊背景而言在視覺上過於銳利而顯得不自然。因此,傳統上,一種解決方案是採用模糊演算法,
模糊演算法是針對整個影像取整個滑動視窗(或遮罩)內的像素數值進行運算,但如此一來,拍攝主體的顏色有可能會與背景顏色混合,造成拍攝主體邊緣模糊且向外蔓延的結果。
本發明提供一種影像模糊處理方法與影像模糊處理系統,可以讓處理後的影像同時達到背景模糊但前景主體邊緣清晰的效果。
本發明提出一種影像模糊處理方法,包括:獲得一影像與對應於所述影像的一深度資訊;根據所述深度資訊,識別所述影像中一目標物與一背景,其中所述目標物包含多個目標物像素,所述背景包含多個背景像素;定義所述目標物與一背景之間所間隔的至少一邊緣像素的數量;使用不同尺寸的多個遮罩對所述邊緣像素與所述多個背景像素分別執行一模糊處理;結合所述多個目標物像素、經所述模糊處理後的所述邊緣像素與經所述模糊處理後的所述多個背景像素以產生一輸出影像;以及輸出所述輸出影像。
本發明提出一種影像模糊處理系統,包括:影像擷取電路、深度感測電路與處理器。影像擷取電路用以獲得一影像。深度感測電路用以獲得對應於所述影像的一深度資訊。處理器耦接至所述影像擷取電路與所述深度感測電路。處理器用以執行下述運作:根據所述深度資訊,識別所述影像中一目標物與一背景,
其中所述目標物包含多個目標物像素,所述背景包含多個背景像素;定義所述目標物與一背景之間所間隔的至少一邊緣像素的數量;使用不同尺寸的多個遮罩對所述邊緣像素與所述多個背景像素分別執行一模糊處理;結合所述多個目標物像素、經所述模糊處理後的所述邊緣像素與經所述模糊處理後的所述多個背景像素以產生一輸出影像;以及輸出所述輸出影像。
基於上述,本發明的影像模糊處理方法與影像模糊處理系統可以將影像分成目標物(即,前景)、目標物的邊緣、與背景等多個區域,並分別對此些區域執行模糊處理後重新組合成輸出影像。利用這種分區域執行模糊處理的作法,可以讓處理後的影像達到背景模糊但目標物(人物)與邊緣清晰的效果。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
1000:影像模糊處理系統
240:處理器
242:影像擷取電路
244:深度感測電路
246:輸出電路
248:儲存電路
S201:獲得一影像與對應於此影像的深度資訊的步驟
S203:根據深度資訊,識別前述影像中的目標物的步驟
S205:定義目標物與背景之間所間隔的至少一邊緣像素的數量的步驟
S207:使用多個遮罩對邊緣像素與背景的多個背景像素執行模糊處理的步驟
S209:結合影像中目標物的多個目標物像素、經模糊處理後的邊緣像素與經模糊處理後的背景像素以產生輸出影像的步驟
S211:輸出前述的輸出影像的步驟
R1~R4:區域
300:影像
p1~p20:像素
圖1是依照本發明的一實施例所繪示的影像模糊處理系統的示意圖。
圖2是依照本發明的一實施例所繪示的影像模糊處理方法的流程圖。
圖3是依照本發明的一實施例所繪示的影像中的目標物、邊緣像素與背景的示意圖。
圖4A至圖4J是依照本發明的各實施例中採用不同遮罩尺寸對邊緣像素進行模糊處理的效果的示範示意圖。
圖5是依照本發明的一實施例所繪示的影像模糊處理方法的範例的示意圖。
現將詳細參考本發明之示範性實施例,在附圖中說明所述示範性實施例之實例。另外,凡可能之處,在圖式及實施方式中使用相同標號的元件/構件代表相同或類似部分。
圖1是依照本發明的一實施例所繪示的影像模糊處理系統的示意圖。
請參照圖1,影像模糊處理系統1000包括處理器240、影像擷取電路242、深度感測電路244、輸出電路246以及儲存電路248。其中,影像擷取電路242、深度感測電路244、輸出電路246以及儲存電路248分別直接或間接電性耦接至處理器240。需注意的是,在本實施例中,影像模糊處理系統1000可以是桌上型電腦、筆記型電腦、平板電腦、工業電腦、伺服器、手機、手持式電子裝置或其他種類的電子裝置,在此不作限制。
處理器240可以是中央處理器(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific
Integrated Circuit,ASIC)或其他類似元件或上述元件的組合。
影像擷取電路242是用以擷取一或多張影像。舉例來說,影像擷取電路242可以配備有電荷耦合元件(Charge Coupled Device,CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor,CMOS)元件或其他種類的感光元件的攝像鏡頭。
深度感測電路244可以是相同於影像擷取電路242的另一個影像擷取電路,其可以用於擷取影像並且讓處理器240根據深度感測電路244所擷取的影像以及影像擷取電路242所擷取的影像來產生深度圖以判斷影像擷取電路242所拍攝的影像(或深度感測電路244所拍攝的影像)中的物體的深度。或者,深度感測電路244也可以是用來發射紅外線與接收該紅外線的反射以獲取深度的紅外線感測器。或者,深度感測電路244也可以是其他種類可以取得深度資訊的感測器,例如結構光感測器,在此不做限制。
輸出電路246可以是用於將訊號輸出給顯示器或其他電子裝置的相關電路。
儲存電路248可以是任何型態的固定或可移動隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。在本範例實施例中,儲存電路中儲存有多個程式碼片段,在上述程式碼片段被安裝後,會由處理器240來執行。例
如,儲存電路中包括多個模組,藉由這些模組來分別執行本發明的距離偵測方法的各個運作,其中各模組是由一或多個程式碼片段所組成。然而本發明不限於此,影像模糊處理系統1000的各個運作也可以是使用其他硬體形式或搭配其它軟體或是整合其它軟體或是至少一部分電路改以軟體取代的方式來實現。
圖2是依照本發明的一實施例所繪示的影像模糊處理方法的流程圖。
請同時參照圖1與圖2,首先處理器240可以透過影像擷取電路242拍攝並獲得一影像並且透過深度感測電路244獲得對應於前述影像的深度資訊(步驟S201)。換句話說,深度感測電路244所獲得的深度資訊可以用來得知影像擷取電路242所拍攝的影像中各個像素的深度。
之後,處理器240可以根據前述的深度資訊識別影像擷取電路242所拍攝的影像中的目標物(亦即,前景)(步驟S203)。詳細來說,由於深度感測電路244所獲得的深度資訊可以用來得知影像擷取電路242所拍攝的影像中各個像素的深度,因此可以事先設定一個深度預設值(例如,兩公尺),將深度小於或等於該深度預設值的像素識別為影像的前景,大於該深度預設值的像素識別為背景,其中,位於前景中的物件即視為是前述的目標物。
接著,處理器240會依據製造商/用戶的設定或是依據偵測前景與背景的色彩反差大小定義目標物與背景之間所間隔的至
少一邊緣像素的數量(步驟S205)。舉例來說,圖3是依照本發明的一實施例所繪示的影像中的目標物、邊緣像素與背景的示意圖。
請參照圖3,假設影像300是一個5*5個像素的影像。假設影像300中區域R1中的像素(亦稱為,目標物像素)是藉由前述的步驟S201~S203被識別為影像中的目標物(亦即,前景)。假設影像模糊處理系統1000被預先或自動設定目標物與背景中間所間隔的邊緣像素數量是2個。因此,處理器240可以由區域R1(即,目標物)的邊緣往外延伸兩個像素的距離,藉此將影像300中區域R2~R3中相像素定義為前述的邊緣像素。此外,影像300中剩餘的區域R4會被識別為背景,而區域R4中的像素可以被定義為背景像素。
請再次參照圖2,在執行完步驟S205後,處理器240會使用多個遮罩分別對前述的邊緣像素與前述的背景像素執行模糊處理(步驟S207)。模糊處理例如是使用高斯模糊(Gaussian Blur)的遮罩來對影像進行處理,其可以由習知技術所得知,在此不再贅述。接續前述的圖3範例,在對屬於區域R2~R3中的邊緣像素與區域R4中的背景像素執行模糊處理時,用於對區域R2~R3中的邊緣像素執行模糊處理的遮罩(亦稱為,第一遮罩)是不同於用於對區域R4中的背景像素執行模糊處理的遮罩(亦稱為,第二遮罩)。由於遮罩的尺寸越大模糊效果越強,因此在本實施例中,第一遮罩的尺寸(例如7x7)是小於所述第二遮罩的尺寸(例如19x19)。
特別是,在本實施例中,還可以將區域R2~R3中的邊緣像素依照與目標物的距離區分為近邊緣像素與遠邊緣像素。例如,處理器240可以將區域R2中的像素識別為前述的近邊緣像素以及將區域R3中的像素識別為前述的遠邊緣像素。在本實施例中,每一個近邊緣像素與目標物之間的距離是間隔零個像素,而每一個遠邊緣像素與目標物之間的距離是間隔一個像素。換句話說,每一個近邊緣像素與目標物之間的距離是小於每一個遠邊緣像素與目標物之間的距離。在本實施例中,前述作用在邊緣區域的遮罩還可以包括用於對近邊緣像素執行模糊處理的遮罩(亦稱為,第三遮罩)與用於對遠邊緣像素執行模糊處理的遮罩(亦稱為,第四遮罩)。在本實施例中,第三遮罩的尺寸(例如3x3)是小於第四遮罩的尺寸(例如5x5)。換句話說,在分別使用第三遮罩與第四遮罩對區域R2與R3執行模糊處理後,相對於區域R2來說,區域R3會較模糊。此外相對於區域R3來說,區域R4會較模糊。
之後,請再次參照圖2,處理器240可以結合前述影像中未經模糊處理的目標物的多個目標物像素、經模糊處理後的邊緣像素與經模糊處理後的背景像素以產生一張輸出影像(步驟S209),並且輸出此輸出影像(步驟S211)。
以前述的範例來說,處理器240例如可以使用從影像擷取電路242所拍攝的影像中取出區域R1中未經模糊處理的像素、使用前述的第三遮罩對影像擷取電路242所拍攝的影像執行模糊
處理並僅取出區域R2中經模糊處理後的像素、使用前述的第四遮罩對影像擷取電路242所拍攝的影像執行模糊處理並僅取出區域R3中經模糊處理後的像素以及使用前述的第二遮罩對影像擷取電路242所拍攝的影像執行模糊處理並僅取出區域R4中經模糊處理後的像素。之後,處理器240可以結合未經模糊處理的區域R1中的像素、經模糊處理(根據第三遮罩)的區域R2中的像素、經模糊處理(根據第四遮罩)的區域R3中的像素以及經模糊處理(根據第二遮罩)的區域R4中的像素以產生輸出影像。
然而在其他實施例中,處理器240也可以分別從影像擷取電路242所拍攝的影像中取出區域R1~R4的區域,並且使用前述的第三遮罩對所取出的區域R2中的像素執行模糊處理、使用前述的第四遮罩對所取出的區域R3中的像素執行模糊處理以及使用前述的第二遮罩對所取出的區域R4中的像素執行模糊處理。之後,處理器240可以結合未經模糊處理的區域R1中的像素、經模糊處理(根據第三遮罩)的區域R2中的像素、經模糊處理(根據第四遮罩)的區域R3中的像素以及經模糊處理(根據第二遮罩)的區域R4中的像素以產生輸出影像。
以下以一範例來解釋本發明的影像模糊處理方法。
圖4A至圖4J是依照本發明各實施例中採用不同遮罩尺寸對邊緣像素進行模糊處理的效果的示範示意圖。為了方便說明,在圖4A至圖4J的範例是取單一頻道(灰階)來進行說明,並以
20個一維像素為範例,來示範性地說明採用不同遮罩尺寸對邊緣像素的模糊處理的效果。
請同時參照圖4A與圖4B,在圖4A中,假設影像擷取電路242所拍攝的影像中像素p1~p10的像素值為0(即,黑色),而像素p11~p20的像素值為255(即,白色)。在此假設黑色的像素為目標物(即,前景)。若將像素p1~p20的像素值圖像化之後,可以得到如圖4B的折線圖。可以很明顯地看出,像素p10與p11這兩個黑白像素交界的梯度相當明顯。
請參照圖4C,當處理器240例如使用尺寸為3x1的遮罩且該遮罩中各像素的權重分別為[1,2,1]並使用此遮罩執行模糊處理時,處理器240是將一目標像素的像素值乘上2,位在該目標像素左右兩側的像素值個別乘上1,並且將前述的值加總後再除以4,並將所得到的商作為該目標像素的新像素值。在分別對像素p1~p20執行前述的模糊處理後,可以看到像素p10~p11的像素值改變。經圖像化之後,如圖4D所示,可以看到像素p10~p11這兩個像素已經不再是原本的黑與白,而是模糊成灰色的像素,且黑白像素交界的梯度也較和緩。
請參照圖4E,當處理器240例如使用尺寸為5x1的遮罩且該遮罩中各像素的權重分別為[1,2,4,2,1]並使用此遮罩執行模糊處理時。在分別對像素p1~p20執行前述的模糊處理後,可以看到不只像素p10~p11的像素值改變,連像素p9與像素p12都模糊
成灰色的像素,黑白像素交界的梯度更為和緩,如圖4F所示。
請參照圖4G,當處理器240例如使用尺寸為19x1的遮罩且該遮罩中各像素的權重分別為[1,2,4,8,16,32,64,128,256,512,256,128,64,32,16,8,4,2,1]並使用此遮罩執行模糊處理時。在分別對像素p1~p20執行前述的模糊處理後,如圖4F所示,交界處幾乎已經模糊成曲線。也就是說,交界處梯度越緩,表示顏色越接近,可視為黑色的前景擴散到背景。值得一提的是,由圖4D、圖4F與圖4H可看出,遮罩越大的模糊效果會越大,而邊緣的顏色像外蔓延的程度也越大。
因此,當欲調整或控制前景與背景之間邊緣像素的模糊程度時,即可以擷取透過不同遮罩尺寸進行模糊化處理過後的圖4A、圖4C、圖4E與圖4G中的不同選定像素進行結合以產生一輸出影像。
更詳細來說,請參照圖4I,在一實施例中,處理器240可以取出圖4A中像素p1~p10(即,不使用遮罩,對應於目標物的像素)的像素值、圖4C中像素p11(即,使用3x1遮罩,對應於近邊緣像素)的像素值、圖4E中像素p12(即,使用5x1遮罩,對應於遠邊緣像素)的像素值以及圖4G中像素p13~p20(即,使用19x1遮罩,對應於背景像素)的像素值來組合並產生如圖4I中的像素所組成的輸出影像。而在其他實施例中,處理器240也可以使用圖4A中像素p1~p10(即,不使用遮罩,對應於目標物的像素)的像素
值取代圖4G中像素p1~p10的像素值、使用圖4C中像素p11(即,使用3x1遮罩,對應於近邊緣像素)的像素值取代圖4G中像素p11的像素值以及使用圖4E中像素p12(即,使用5x1遮罩,對應於遠邊緣像素)的像素值取代圖4G中像素p12的像素值以產生如圖4I中的像素所組成的輸出影像。
如圖4J所示,像素p10與像素p11的像素差值相當明顯。邊緣像素p11~p12與背景像素p13~p20有模糊效果,而屬於目標物的像素p1~p10是清晰且未經模糊處理的。像素p10與像素p11的交界邊緣也有清晰的效果,確實能減少人物邊緣向外蔓延的問題。
請再次參照圖2,在此需說明的是,在前述的步驟S205中是以設定目標物與背景之間間隔兩個邊緣像素為例進行說明。然而本發明並不用於限定目標物與背景之間間隔的邊緣像素的數量。在一實施例中,處理器240例如可以預先儲存多個色彩差值與邊緣像素的多個預設數量的對應關係於儲存電路248中。色彩差值與邊緣像素的預設數量的對應關係可以如下表一所示:
在本實施例中,處理器240可以在步驟205中分別獲得目標物的目標物像素在一色彩空間中的多個色彩參數。在本實施例中,前述的色彩空間是HSV的色彩空間,而色彩參數包括色相(Hue)、飽和度(Saturation)與明度(Value)。HSV的色彩空間是一種將RGB色彩空間中的點表示在圓柱座標系統中。HSV的色彩空間的幾何結構比RGB的色彩空間更加直觀。其中,色相(H)是色彩的基本屬性,就是所謂的顏色名稱,如紅色、黃色等,其範圍介於0°~360°。飽和度是指色彩的純度,其值越高代表色彩越純,其值越低則逐漸變灰,其值介於0~100%。明度則取值介於0-100%。
當目標物(即,前景)與背景的差異相當大時,目標物與背景之間間隔的邊緣像素的數量的越大越能平滑地模糊所產生的人物邊緣漫出的問題。若預設的目標物與背景之間間隔的邊緣像素的數量的最大值為N時,則可以將HSV的色彩空間分N等分,其中N為正整數。如上述的表一所示,若預設的目標物與背景之間間隔的邊緣像素的數量的最大值為4時,則可以將HSV的色彩空間分4等分。透過偵測與判斷目標物與背景色彩的差異大小,處理器240可以自動選擇該影像中目標物與背景之間間隔的邊緣像
素的數量。在本實施例中,當色彩空間H、S、V其中一項差異值符合預設的條件即可。
舉例來說,在步驟S205中,處理器240會分別獲得影像中的目標物的每一個目標物像素在HSV的色彩空間中的H值、S值與V值。此外,處理器240會分別獲得影像中的背景的每一個背景像素在HSV的色彩空間中的H值、S值與V值。處理器240將所有目標物像素中位於邊緣的目標物像素的各H值、S值與V值與與該些邊緣邊緣的目標物像素相鄰接的背景像素的各H值、S值與V值進行比對以計算差值。之後,處理器240選擇出第一像素,並將此第一像素的H值、S值與V值定義為「第一色彩參數」。此外,處理器240還會選擇出第二像素,並將此第二像素的H值、S值與V值定義為「第二色彩參數」。特別是,第一色彩參數與第二色彩參數的一差值(亦稱為,第一差值)為最大。換句話說,在目標物的第一像素與背景的第二像素的選擇上是挑選整張圖片中所有相鄰的目標物像素與背景像素中其中具有最大的H值、S值或V值差值的兩像素。例如,第一差值例如是H值的差異,且此H值的差異在該影像中是最大。或者,第一差值也可以是S值的差異,且此S值的差異在該影像中是最大。或者,第一差值也可以是V值的差異,且此V值的差異在該影像中是最大。
舉例而言,如圖5所示,假設擷取的影像500包含有F1~F10的前景(目標物)像素以及B1~B15的背景像素。以多個邊
緣像素其中的F6前景邊緣像素為例,當以3x3遮罩進行模糊處理時,會先找出與其相鄰的背景邊緣像素B4、B7、B10,再以前景邊緣像素F6與該些背景邊緣像素B4、B7、B10進行HSV差異計算,如此當F2、F4、F6、F8、F10皆找出與其相鄰的背景邊緣像素之HSV差異後,取出最大差異的H或S或V值(亦即前述的第一差值),而產生此最大差異的H或S或V值的相鄰兩像素即為前述的第一像素與第二像素。
在獲得前述的第一差值後,處理器240可以例如根據上述的表一與第一差值定義目標物與背景之間所間隔的邊緣像素的數量。
舉例來說,以第一差值是H值的差異為範例。當第一像素與第二像素的HSV三個值的差值分別為H:105°、S:20%、V:45%時,處理器240可以根據表一選擇目標物與背景之間間隔的邊緣像素的數量為三個。也就是說,處理器240是根據第一色彩參數與第二色彩參數的第一差值,從表一選擇所述多個色彩差值中對應於第一差值的一第一色彩差值(例如,表一中的H:90°、S:50%、V:55%)。之後,處理器240根據此第一色彩差值,獲得對應於第一色彩差值的第一預設數量(即,目標物與背景之間間隔的邊緣像素的數量為三個)。之後,處理器240會將此第一預設數量定義為目標物與背景之間所間隔的邊緣像素的數量。
以第一差值是V值的差異為範例。當第一像素與第二像
素的HSV三個值的差值分別為H:5°、S:5%、V:80%時,處理器240可以根據表一選擇目標物與背景之間間隔的邊緣像素的數量為四個。
綜上所述,本發明的影像模糊處理方法與影像模糊處理系統可以將影像分成目標物(即,前景)、目標物的邊緣、與背景等多個區域,並分別對此些區域執行不同遮罩尺寸的模糊處理後重新組合成輸出影像。利用這種分區域執行模糊處理的作法,可以讓處理後的影像達到背景模糊、人物與邊緣清晰的效果。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S201:獲得一影像與對應於此影像的深度資訊的步驟
S203:根據深度資訊,識別前述影像中的目標物的步驟
S205:定義目標物與背景之間所間隔的至少一邊緣像素的數量的步驟
S207:使用多個遮罩對邊緣像素與背景的多個背景像素執行模糊處理的步驟
S209:結合影像中目標物的多個目標物像素、經模糊處理後的邊緣像素與經模糊處理後的背景像素以產生輸出影像的步驟
S211:輸出前述的輸出影像的步驟
Claims (16)
- 一種影像模糊處理方法,包括: 獲得一影像與對應於所述影像的一深度資訊; 根據所述深度資訊,識別所述影像中一目標物與一背景,其中該目標物包含多個目標物像素,所述背景包含多個背景像素; 定義所述目標物與該背景之間所間隔的至少一邊緣像素的數量; 使用不同尺寸的多個遮罩對所述邊緣像素與所述多個背景像素分別執行一模糊處理; 結合所述多個目標物像素、經所述模糊處理後的所述邊緣像素與經所述模糊處理後的所述多個背景像素以產生一輸出影像;以及 輸出所述輸出影像。
- 如申請專利範圍第1項所述的影像模糊處理方法,其中用於對所述邊緣像素執行所述模糊處理為一第一遮罩,用於對所述背景像素執行所述模糊處理為一第二遮罩,且所述第一遮罩的尺寸不同於所述第二遮罩的尺寸。
- 如申請專利範圍第2項所述的影像模糊處理方法,其中所述第一遮罩的尺寸小於所述第二遮罩的尺寸。
- 如申請專利範圍第2項所述的影像模糊處理方法,其中所述邊緣像素包括多個近邊緣像素與多個遠邊緣像素,所述多個近邊緣像素中的每一個近邊緣像素與所述目標物之間的距離小於所述多個遠邊緣像素中的每一個遠邊緣像素與所述目標物之間的距離。
- 如申請專利範圍第4項所述的影像模糊處理方法,其中所述第一遮罩包括用於對所述多個近邊緣像素執行所述模糊處理的一第三遮罩與用於對所述多個遠邊緣像素執行所述模糊處理的一第四遮罩,所述第三遮罩的尺寸小於所述第四遮罩的尺寸。
- 如申請專利範圍第1項所述的影像模糊處理方法,其中定義所述目標物與所述背景之間所間隔的所述邊緣像素的數量的步驟包括: 分別獲得所述多個目標物像素在一色彩空間中的多個色彩參數; 分別獲得與所述目標物像素相鄰接的所述多個背景像素在所述色彩空間中的多個色彩參數; 比較所述相鄰接的各個所述目標物像素的所述色彩參數與各個所述背景像素的所述色彩參數並分別計算出一差值; 找出所有差值中最大的一第一差值,並依據該第一差值從所述多個目標物像素的所述多個色彩參數中選擇出一第一色彩參數以及從所述多個背景像素的所述多個色彩參數中選擇出一第二色彩參數;以及 根據所述第一色彩參數與所述第二色彩參數的第一差値定義所述目標物與所述背景之間所間隔的所述邊緣像素的數量。
- 如申請專利範圍第6項所述的影像模糊處理方法,更包括: 預先儲存多個色彩差値與所述邊緣像素的多個預設數量的對應關係, 其中根據所述第一色彩參數與所述第二色彩參數的第一差値定義所述目標物與所述背景之間所間隔的所述邊緣像素的數量的步驟包括: 根據所述第一色彩參數與所述第二色彩參數的第一差値,選擇所述多個色彩差値中對應於所述第一差値的一第一色彩差値; 根據所述第一色彩差値,獲得所述多個預設數量中對應於所述第一色彩差値的一第一預設數量;以及 將所述第一預設數量定義為所述目標物與所述背景之間所間隔的所述邊緣像素的數量。
- 如申請專利範圍第6項所述的影像模糊處理方法,其中所述色彩空間為HSV的色彩空間。
- 一種影像模糊處理系統,包括: 一影像擷取電路,用以獲得一影像; 一深度感測電路,用以獲得對應於所述影像的一深度資訊;以及 一處理器,耦接至所述影像擷取電路與所述深度感測電路,其中 所述處理器根據所述深度資訊,識別所述影像中一目標物與一背景,其中該目標物包含多個目標物像素,該背景包含多個背景像素, 所述處理器定義所述目標物與所述背景之間所間隔的至少一邊緣像素的數量, 所述處理器使用不同尺寸的多個遮罩對所述邊緣像素與所述背景的多個背景像素分別執行一模糊處理, 所述處理器結合所述多個目標物像素、經所述模糊處理後的所述邊緣像素與經所述模糊處理後的所述多個背景像素以產生一輸出影像,以及 所述處理器輸出所述輸出影像。
- 如申請專利範圍第9項所述的影像模糊處理系統,其中用於對所述邊緣像素執行所述模糊處理為一第一遮罩,用於對所述背景像素執行所述模糊處理為一第二遮罩,且所述第一遮罩的尺寸不同於所述第二遮罩的尺寸。
- 如申請專利範圍第10項所述的影像模糊處理系統,其中所述第一遮罩的尺寸小於所述第二遮罩的尺寸。
- 如申請專利範圍第10項所述的影像模糊處理系統,其中所述邊緣像素包括多個近邊緣像素與多個遠邊緣像素,所述多個近邊緣像素中的每一個近邊緣像素與所述目標物之間的距離小於所述多個遠邊緣像素中的每一個遠邊緣像素與所述目標物之間的距離。
- 如申請專利範圍第12項所述的影像模糊處理系統,其中所述第一遮罩包括用於對所述多個近邊緣像素執行所述模糊處理的一第三遮罩與用於對所述多個遠邊緣像素執行所述模糊處理的一第四遮罩,所述第三遮罩的尺寸小於所述第四遮罩的尺寸。
- 如申請專利範圍第9項所述的影像模糊處理系統,其中在定義所述目標物與所述背景之間所間隔的所述邊緣像素的數量的運作中, 所述處理器分別獲得所述多個目標物像素在一色彩空間中的多個色彩參數, 所述處理器分別獲得與所述目標物像素相鄰接的所述多個背景像素在所述色彩空間中的多個色彩參數, 所述處理器比較所述相鄰接的各個所述目標物像素的所述色彩參數與各個所述背景像素的所述色彩參數並分別計算出一差值; 所述處理器找出所有差值中最大的一第一差值,並依據該第一差值從所述多個目標物像素的所述多個色彩參數中選擇出一第一色彩參數以及從所述多個背景像素的所述多個色彩參數中選擇出一第二色彩參數,以及 所述處理器根據所述第一色彩參數與所述第二色彩參數的第一差値定義所述目標物與所述背景之間所間隔的所述邊緣像素的數量。
- 如申請專利範圍第14項所述的影像模糊處理系統,更包括: 一儲存電路,用以預先儲存多個色彩差値與所述邊緣像素的多個預設數量的對應關係, 其中在根據所述第一色彩參數與所述第二色彩參數的第一差値定義所述目標物與所述背景之間所間隔的所述邊緣像素的數量的運作中, 所述處理器根據所述第一色彩參數與所述第二色彩參數的第一差値,選擇所述多個色彩差値中對應於所述第一差値的一第一色彩差値, 所述處理器根據所述第一色彩差値,獲得所述多個預設數量中對應於所述第一色彩差値的一第一預設數量,以及 所述處理器將所述第一預設數量定義為所述目標物與所述背景之間所間隔的所述邊緣像素的數量。
- 如申請專利範圍第14項所述的影像模糊處理系統,其中所述色彩空間為HSV的色彩空間。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108106469A TWI693576B (zh) | 2019-02-26 | 2019-02-26 | 影像模糊處理方法與系統 |
CN201910189139.8A CN111614888B (zh) | 2019-02-26 | 2019-03-13 | 影像模糊处理方法与系统 |
US16/404,750 US11164290B2 (en) | 2019-02-26 | 2019-05-07 | Method and system for image blurring processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108106469A TWI693576B (zh) | 2019-02-26 | 2019-02-26 | 影像模糊處理方法與系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI693576B true TWI693576B (zh) | 2020-05-11 |
TW202032500A TW202032500A (zh) | 2020-09-01 |
Family
ID=71895896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108106469A TWI693576B (zh) | 2019-02-26 | 2019-02-26 | 影像模糊處理方法與系統 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11164290B2 (zh) |
CN (1) | CN111614888B (zh) |
TW (1) | TWI693576B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI751571B (zh) * | 2020-06-02 | 2022-01-01 | 仁寶電腦工業股份有限公司 | 環境氛圍調整系統及環境氛圍調整方法 |
CN113938578A (zh) * | 2020-07-13 | 2022-01-14 | 武汉Tcl集团工业研究院有限公司 | 一种图像虚化方法、存储介质及终端设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11461880B2 (en) * | 2021-01-12 | 2022-10-04 | Adobe Inc. | Generating image masks from digital images utilizing color density estimation and deep learning models |
CN113344832A (zh) * | 2021-05-28 | 2021-09-03 | 杭州睿胜软件有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100539698C (zh) * | 2007-07-10 | 2009-09-09 | 浙江大学 | 一种数字视频处理中交互式时空一致的视频抠图方法 |
CN102254325A (zh) * | 2011-07-21 | 2011-11-23 | 清华大学 | 一种运动模糊场景的分割及前景提取方法和系统 |
TW201320734A (zh) * | 2011-11-03 | 2013-05-16 | Altek Corp | 產生背景模糊的影像處理方法及其影像擷取裝置 |
US9311901B2 (en) * | 2013-06-28 | 2016-04-12 | Canon Kabushiki Kaisha | Variable blend width compositing |
CN105513105A (zh) * | 2015-12-07 | 2016-04-20 | 天津大学 | 基于显著图的图像背景虚化方法 |
US9466113B2 (en) * | 2013-12-23 | 2016-10-11 | Canon Kabushiki Kaisha | Post-processed bokeh rendering using asymmetric recursive gaussian filters |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06203157A (ja) * | 1992-10-14 | 1994-07-22 | Fujitsu Ltd | カラー画像処理方法および装置 |
JP2002300373A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像処理方法、画像処理装置、記録媒体及びプログラム |
JP5800187B2 (ja) * | 2011-08-16 | 2015-10-28 | リコーイメージング株式会社 | 撮像装置および距離情報取得方法 |
CN105303514B (zh) * | 2014-06-17 | 2019-11-05 | 腾讯科技(深圳)有限公司 | 图像处理方法和装置 |
US9741125B2 (en) * | 2015-10-28 | 2017-08-22 | Intel Corporation | Method and system of background-foreground segmentation for image processing |
CN106993112B (zh) * | 2017-03-09 | 2020-01-10 | Oppo广东移动通信有限公司 | 基于景深的背景虚化方法及装置和电子装置 |
US10217195B1 (en) * | 2017-04-17 | 2019-02-26 | Amazon Technologies, Inc. | Generation of semantic depth of field effect |
CN107370958B (zh) * | 2017-08-29 | 2019-03-29 | Oppo广东移动通信有限公司 | 图像虚化处理方法、装置及拍摄终端 |
CN107509031B (zh) * | 2017-08-31 | 2019-12-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
CN107566723B (zh) * | 2017-09-13 | 2019-11-19 | 维沃移动通信有限公司 | 一种拍摄方法、移动终端及计算机可读存储介质 |
CN107592466B (zh) * | 2017-10-13 | 2020-04-24 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
CN107977940B (zh) * | 2017-11-30 | 2020-03-17 | Oppo广东移动通信有限公司 | 背景虚化处理方法、装置及设备 |
CN107948517B (zh) * | 2017-11-30 | 2020-05-15 | Oppo广东移动通信有限公司 | 预览画面虚化处理方法、装置及设备 |
CN108830785B (zh) * | 2018-06-06 | 2021-01-15 | Oppo广东移动通信有限公司 | 背景虚化方法及装置、电子装置、计算机设备和存储介质 |
-
2019
- 2019-02-26 TW TW108106469A patent/TWI693576B/zh active
- 2019-03-13 CN CN201910189139.8A patent/CN111614888B/zh active Active
- 2019-05-07 US US16/404,750 patent/US11164290B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100539698C (zh) * | 2007-07-10 | 2009-09-09 | 浙江大学 | 一种数字视频处理中交互式时空一致的视频抠图方法 |
CN102254325A (zh) * | 2011-07-21 | 2011-11-23 | 清华大学 | 一种运动模糊场景的分割及前景提取方法和系统 |
TW201320734A (zh) * | 2011-11-03 | 2013-05-16 | Altek Corp | 產生背景模糊的影像處理方法及其影像擷取裝置 |
US9311901B2 (en) * | 2013-06-28 | 2016-04-12 | Canon Kabushiki Kaisha | Variable blend width compositing |
US9466113B2 (en) * | 2013-12-23 | 2016-10-11 | Canon Kabushiki Kaisha | Post-processed bokeh rendering using asymmetric recursive gaussian filters |
CN105513105A (zh) * | 2015-12-07 | 2016-04-20 | 天津大学 | 基于显著图的图像背景虚化方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI751571B (zh) * | 2020-06-02 | 2022-01-01 | 仁寶電腦工業股份有限公司 | 環境氛圍調整系統及環境氛圍調整方法 |
CN113938578A (zh) * | 2020-07-13 | 2022-01-14 | 武汉Tcl集团工业研究院有限公司 | 一种图像虚化方法、存储介质及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111614888A (zh) | 2020-09-01 |
US11164290B2 (en) | 2021-11-02 |
CN111614888B (zh) | 2022-03-18 |
US20200273152A1 (en) | 2020-08-27 |
TW202032500A (zh) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI693576B (zh) | 影像模糊處理方法與系統 | |
CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US9294662B2 (en) | Depth map generation and post-capture focusing | |
JP6467787B2 (ja) | 画像処理システム、撮像装置、画像処理方法およびプログラム | |
US10015374B2 (en) | Image capturing apparatus and photo composition method thereof | |
CN107563979B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN111368819B (zh) | 光斑检测方法和装置 | |
KR20090091780A (ko) | 디지털 이미지 내의 노이즈 감소 방법, 디지털 이미지 내의 노이즈 감소 장치 및 디지털 이미지 내의 노이즈 감소 시스템 | |
CN108198189B (zh) | 图片清晰度的获取方法、装置、存储介质及电子设备 | |
US11170252B2 (en) | Face recognition method and computer system thereof | |
US10972676B2 (en) | Image processing method and electronic device capable of optimizing hdr image by using depth information | |
US10965877B2 (en) | Image generating method and electronic apparatus | |
CN112351271A (zh) | 一种摄像头的遮挡检测方法、装置、存储介质和电子设备 | |
CN108520036B (zh) | 图像的选取方法、装置、存储介质及电子设备 | |
JP2007258923A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
US9122935B2 (en) | Object detection method, storage medium, integrated circuit, and object detection apparatus | |
JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN112581380A (zh) | 图像的色彩增强方法、装置和服务器 | |
WO2012085246A1 (en) | Face detection method | |
JP6663223B2 (ja) | 画像処理装置および方法、および撮像装置 | |
US9298319B2 (en) | Multi-touch recognition apparatus using filtering and a difference image and control method thereof | |
CN110933288B (zh) | 图像产生方法与电子装置 | |
TW201827911A (zh) | 影像擷取裝置及其對焦方法 | |
US10769805B2 (en) | Method, image processing device, and system for generating depth map | |
JP2023077195A (ja) | 情報処理装置、認証システム、制御方法、プログラム及び記憶媒体 |