TWI566601B - 影像處理裝置及影像景深處理方法 - Google Patents
影像處理裝置及影像景深處理方法 Download PDFInfo
- Publication number
- TWI566601B TWI566601B TW104106025A TW104106025A TWI566601B TW I566601 B TWI566601 B TW I566601B TW 104106025 A TW104106025 A TW 104106025A TW 104106025 A TW104106025 A TW 104106025A TW I566601 B TWI566601 B TW I566601B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- depth
- foreground
- background
- value
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims description 39
- 238000004088 simulation Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 17
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 230000005669 field effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007865 diluting Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
Description
本發明關於一種影像處理裝置及影像景深處理方法,特別是指一種能依據深度圖及原始影像來產生具景深拍照效果之模擬影像的影像處理裝置及影像景深處理方法。
隨著科技的日新月異,智慧型手機及一般數位相機之體積越來越小,以方便使用者攜帶並隨時進行景物的拍攝。一般而言,智慧型手機及一般數位相機的光圈通常較小,故可產生遠近景皆清楚的拍攝影像。值得注意的是,此遠近景皆可拍攝清楚的優點,卻也使得智慧型手機或一般數位相機無法產生能凸顯特定物件之景深效果的拍攝影像。
相對地,數位單眼(Digital Singal Lens Reflex,DSLR)相機因具較大之光圈,故在對焦後,可使不在對焦處之非特定物件的影像模糊,而使在對焦處之特定物件的影像清晰,以產生具淺景效果的拍攝影像。然而,具大光圈之數位單眼相機其體積龐大並不利使用者攜帶,且其價格昂貴並不利一般消費者購買。
因此,近年來,多種影像景深處理方法已陸續應用於智慧型手機或一般數位相機中,用以將智慧型手機或一般數位相機所產生的拍攝影像進行部分影像模糊化,藉以凸顯所述影像中之一特定物件。然而,因習知影像景深處理方法未考慮光學物理條件,故並無法有效推估非特定物件與特定物件的影像模糊程度,因而
造成模糊後的拍攝影像產生畫面不連續或不自然的問題。
本發明依據幾何光學物理原理提供一種影像處理裝置及影像景深處理方法,所述影像處理裝置可經由執行所述影像景深處理方法,而僅依據一原始影像及對應於所述原始影像的一深度圖來產生畫面連續且自然的景深模擬影像。
本發明實施例提供一種影像景深處理方法,所述影像景深處理方法包括依據一深度圖之景深由遠至近的順序,每次由一原始影像中取得一背景影像及一前景影像,其中所述深度圖對應於所述原始影像,且背景影像的深度值大於前景影像的深度值;依據背景影像之深度值,模糊背景影像;依據前景影像之深度值,模糊前景影像及模糊後的背景影像中臨近的前景影像邊緣的局部影像;以及於模糊前景影像及局部影像後,依據前景影像及背景影像形成模擬影像。
在本發明其中一個實施例中,所述影像景深處理方法更包括在模糊前景影像及局部影像的步驟後,以及在形成所述模擬影像的步驟前,執行一淡入淡出程序,以淡化背景影像中的一邊界線影像。
本發明實施例提供一種影像處理裝置,包括記憶模組及處理模組。處理模組耦接記憶模組。處理模組用以執行上述之影像景深處理方法。記憶模組儲存有所述原始影像及深度圖。
本發明實施例更提供一種影像處理裝置,包括影像擷取模組及處理模組。影像擷取模組用以對一場景進行影像擷取以產生複數個拍攝影像。處理模組耦接影像擷取模組,並依據複數個影像產生一原始影像及對應於原始影像的一深度圖。處理模組依據深度圖之景深由遠至近的順序,每次由原始影像中取得背景影像及前景影像,其中背景影像之深度值大於前景影像之深度值。處理
模組依據背景影像之深度值模糊背景影像,且依據前景影像之深度值,模糊前景影像及模糊後的背景影像中臨近前景影像邊緣的局部影像,處理模組於模糊前景影影像及局部影像之後,依據前景影像及背景影像形成一模擬影像。
綜上所述,本發明實施例所提供的影像處理裝置及影像景深處理方法,在影像處理裝置依據背景影像之深度值模糊背景影像後,經由依據前景影像的深度值模糊前景影像與背景影像中的一局部影像,以使前景影像與背景景像間之接軌較為符合幾何光學物理原理,呈現自然且連續之影像效果,並且影像處理裝置會進一步地執行淡入淡出程序,以淡化背景影像中的邊界線影像,藉此產生具大光圈單眼景深拍照效果的模擬影像。
為使能更進一步瞭解本發明之特徵及技術內容,請參閱以下有關本發明之詳細說明與附圖,但是此等說明與所附圖式僅係用來說明本發明,而非對本發明的權利範圍作任何的限制。
1‧‧‧影像處理裝置
11‧‧‧記憶模組
12‧‧‧處理模組
13‧‧‧顯示模組
N1‧‧‧第一階層影像
N2‧‧‧第二階層影像
N3‧‧‧第三階層影像
N4‧‧‧第四階層影像
P1‧‧‧原始影像
P11、P12、P13‧‧‧局部影像
L1、L2‧‧‧邊界線影像
S201、S203、S205、S206、S207、S209、S211、S213、S215、S217‧‧‧步驟
圖1為根據本發明實施例之影像處理裝置的區塊示意圖。
圖2為根據本發明實施例之影像景深處理方法之流程圖。
圖3為儲存於影像處理裝置之記憶模組的原始影像。
圖4為依據圖3所示之原始影像所取得的背景影像之示意圖。
圖5為依據圖3所示之原始影像所取得的另一背景影像之示意圖。
圖6為依據圖3所示之原始影像所取得的又一背景影像之示意圖。
圖7為依據圖3所示之原始影像所產生的模擬影像之示意圖。
在下文將參看隨附圖式更充分地描述各種例示性實施例,在
隨附圖式中展示一些例示性實施例。然而,本發明概念可能以許多不同形式來體現,且不應解釋為限於本文中所闡述之例示性實施例。確切而言,提供此等例示性實施例使得本發明將為詳盡且完整,且將向熟習此項技術者充分傳達本發明概念的範疇。在諸圖式中,可為了清楚而誇示層及區之大小及相對大小。類似數字始終指示類似元件。
應理解,雖然本文中可能使用術語第一、第二、第三等來描述各種元件,但此等元件不應受此等術語限制。此等術語乃用以區分一元件與另一元件。因此,下文論述之第一元件可稱為第二元件而不偏離本發明概念之教示。如本文中所使用,術語「及/或」包括相關聯之列出項目中之任一者及一或多者之所有組合。
請參照圖1,圖1為根據本發明實施例之影像處理裝置的區塊示意圖。如圖1所示,影像處理裝置1包括記憶模組11、處理模組12及顯示模組13,且處理模組12耦接記憶模組11及顯示模組13。在本實施例中,影像處理裝置1可以為智慧型手機、筆記型電腦、桌上型電腦、平板電腦、數位相機、數位相框或其他具有數位運算及顯示能力之電子裝置,本實施例並不限制影像處理裝置1的實施態樣。
記憶模組11為一儲存媒體,儲存有一原始影像、一深度圖(depth image,即灰階圖,其為以0~255之灰階值範圍來表示之影像,圖中顏色愈亮(灰階值愈大)代表該位置的距離愈近,反之則愈遠)與至少一光圈模擬參數,其中所述深度圖對應於所述原始影像。記憶模組11例如為嵌入式暫存記憶體、實體記憶體或是外接式儲存裝置(如外接式記憶卡)。在實施例中,所述原始影像可為前後景皆清晰之全景深圖,但本發明實施例並不以此為限,即所述原始影像亦可為一局部清晰之影像。所述深度圖的建立方法可以由雷射測距、雙眼視覺、結構光或光場效果來實現,而關於所述深度圖的具體實現方式乃是本技術領域之通常知識,故本發明
實施例在此不贅述之。所述光圈模擬參數例如為光圈形狀、光圈大小及鏡頭焦距。
處理模組12可由記憶模組11取得所述原始影像、深度圖及光圈模擬參數。處理模組12依據所述深度圖可判斷所述原始影像中各個像素之深度值,並據以將原始影像分為深度值不同的複數個階層影像。處理模組12依據複數個階層影像之深度值及光圈模擬參數,對複數個階層影像進行模糊處理,以生成具單眼大光圈景深拍照效果的一模擬影像。在實施例中,處理模組12可為特殊應用積體電路(application specific integrated circuits,ASIC)、可程式化之微處理器(microprocessor)、數位訊號處理器(digital signal processor,DSP)、可程式化邏輯裝置(programmable logic device,PLD)或是CPU基於軟體來實現的軟體模組,本發明並不限定處理模組12的可能態樣。
顯示模組13例如為具有觸控功能之一液晶顯示螢幕,其可顯示所述原始影像,以供使用者點選所述原始影像中的任一位置,藉此處理模組12可依據此位置所對應像素之深度值來決定所述基準深度值。值得注意的是,本發明實施例並不限制顯示模組13的可能態樣,顯示模組13亦可為不具觸控功能之一數位顯示螢幕或其他種類之顯示螢幕,而於此例中,使用者可通過滑鼠或鍵盤等輸入模組(未繪示)來點選所述原始影像中的任一位置,以讓處理模組12依據此位置所對應像素之深度值來決定一基準深度值,抑或使用者通過所述輸入模組可直接輸入一數值,以讓處理模組12據以作為所述基準深度值。簡言之,本發明實施例並不限制處理模組12取得所述基準深度值的可能實施方式。
在本實施例中,當處理模組12決定一基準深度值後,處理模組12會計算各階層影像之深度值與基準深度值間的差異值,並依據所述差異值來決定多個階層影像的模糊程度。此外,處理模組12依據所述光圈模擬參數,可控制顯示模組13顯示多個不同形狀
的光圈圖形以供使用者選擇。接下來,當使用者通過具觸控功能之顯示模組13、滑鼠或鍵盤等輸入模組選擇一光圈圖形後,處理模組12便可依據對應的光圈模擬參數,來產生據所述光圈圖形所產生之具有特定散景形狀(如星形、心形、圓形、五邊形或其他形狀)的模擬影像。值得注意的是,若使用者未自行選擇一光圈圖形,則處理模組12會自動載入預設的一光圈模擬參數,以產生散景形狀為圓形高斯函數的模擬影像。
另,需一提的是,影像處理裝置1取得上述原始影像及深度圖的方式可為,使用者預先將所述原始影像及對應的深度圖儲存於記憶模組11中。然,本實施例並不以此為限,即影像處理裝置1可自行產生所述原始影像及深度圖。詳細地說,影像處理裝置1可包含有一影像擷取模組(未繪示),且影像擷取模組與處理模組12耦接。影像擷取模組包括鏡頭、感光元件及光圈,其可用以對一場景進行影像擷取,以產生複數個拍攝影像,其中所述感光元件例如為電荷耦合元件(charge coupled device,CCD)或互補性氧化金屬半導體(complementary metal-oxide semiconductor,CMOS)。在本實施例中,處理模組12依據複數個拍攝影像,可產生所述原始影像及深度圖。需一提的是,關於處理模組12如何以複數個拍攝影像來產生原始影像與對應於原始影像的深度圖的影像處理方式,乃是本技術領域之通常知識,故本發明在此不贅述之。
請參照圖1至圖3,圖2為根據本發明實施例之影像景深處理方法之流程圖。圖3為儲存於影像處理裝置之記憶模組的原始影像。所述影像景深處理方法可適用於圖1所示的影像處理裝置1中,並可據圖3所示之原始影像來產生具大光圈單眼景深拍照效果的模擬影像,故以下即搭配圖1之影像處理裝置1及圖3所示之原始影像來說明本實施例之影像景深處理方法。值得注意的是,圖3所示之原始影像僅是用以幫助說明所述影像景深處理方法之工作原理,並非用以侷限所述影像景深處理方法僅可應於圖3
所示之原始影像,所述影像景深處理方法亦可依據其他原始影像來產生模擬影像。
在步驟S201中,處理模組12依據深度圖之景深由遠至近的順序,可由原始影像取得N個階層影像,其中N為大於1的正整數,且多個階層影像之深度值皆不相同。具體地,如圖3所示,依據對應於原始影像P1之深度圖,處理模組12可由原始影像P1取得四個階層影像,即第一階層影像N1、第二階層影像N2、第三階層影像N3及第四階層影像N4,其中階層數越高之階層影像,其深度值越高(即景深越遠)。須一提的是,在處理模組12由原始影像取得N個階層影像之前,使用者可通過具觸控功能之顯示模組13、滑鼠或鍵盤設定所述N值,以指定景深層次的總數與重聚焦的層次數,當然所述N值亦可為一預設值。
在步驟S203中,當使用者通過具觸控功能之顯示模組13、滑鼠或鍵盤選擇一基準深度值後,處理模組12會分別計算多個階層影像之深度值與所述基準深度值間的差值,以取得對應於各個階層影像之差異值。處理模組12依據所述差異值可決定各階層影像的模擬程度,其中若所述差異值越大,則階層影像的模糊程度越大。具體地,記憶模組11還儲存有一查找表(未繪示),且所述查找表紀錄有複數個模糊參數。假設使用者通過具觸控功能之顯示模組13係點選第一階層影像N1,則處理模組12會將第一階層影像N1之深度值作為基準深度值,並分別計算多個階層影像之深度值與所述基準深度值間的差值,以對應取得第一、第二、第三與第四差異值。處理模組12依據所述差異值,可由查找表中取出對應的模糊參數,接著依據所述模糊參數決定各階層影像的模糊程度。
在步驟S205中,處理模組12會將具最高深度值之第N階層影像(如第四階層影像N4)作為一背景影像,並將深度值次於第N階層影像的第N-1階層影像(如第三階層影像N3)作為一前景影
像,接著依據預設的光圈模擬參數(或使用者選擇的光圈模擬參數)及對應於第N階層影像之差異值,對背景影像進行模糊。
在步驟S206中,處理模組12合成前景影像及模糊後的背景影像中臨近前景影像邊緣的一局部影像。具體地,請參照圖4,圖4為依據圖3所示之原始影像所取得的背景影像之示意圖。在此步驟中,處理模組12會由第四階層影像N4中取得局部影像P11,且所述局部影像P11係對應於第四階層影像N4中臨近第三階層影像N3邊緣的部分影像。處理模組12合成局部影像P11與第三階層影像N3,以生成一合成影像。
在步驟S207中,處理模組12依據所述光圈模擬參數及對應於背景影像之差異值,對由前景影像及背景影像中的局部影像所形成之合成影像進行模糊,以使第四階層影像N4跨接至第三階層影像N3的景深效果,能較為連續且自然。
在步驟S209中,因在執行步驟S207之後,局部影像的模糊程度已與背景影像的模糊程度不同,故背景影像中會存在一邊界線影像,因此,在此步驟中,處理模組12會執行一淡入淡出程序,以淡化背景影像中的一邊界線影像。具體地,請參照圖5,圖5為依據圖3所示之原始影像所取得的另一背景影像之示意圖。如圖5所示,於執行步驟S207後,因局部影像P11的模糊程度已與第四階層影像N4不同,故第四階層影像N4中會存在一邊界線影像L1。因此,在此步驟中,處理模組12會沿著邊界線影像L1對第四階層影像N4執行一淡入處理(即,使鄰近於邊界線影像L1之第四階層影像N4呈現逐漸清晰之視覺效果),以及沿著邊界線影像L1對局部影像P11執行一淡出處理(即,使鄰近於邊界線影像L1之局部影像P11呈現逐漸模糊之視覺效果),藉此淡化所述邊界線影像L1。
在步驟S211中,處理模組12會判斷N-1是否等於1,若N-1等於1,則執行步驟S213,以依據目前的背景影像及前景影像形
成一模擬影像。反之,若N-1不等於1,則執行步驟S215,以將N值減1,接著執行步驟S217。
在步驟S217中,處理模組12依據目前的背景影像及前景影像形成新的背景影像,以取代舊有的背景影像,並將第N-1階層影像作為新的前景影像以取代舊有的前景影像。具體地,在執行步驟S215後,N值已等於3(即N=4-1),故在此步驟中,處理模組12係將第二階層影像N2作為新的前景影像,並依據已經由所述步驟S203至步驟S209處理後之第四階層影像N4及第三階層影像N3來形成新的背景影像(如圖5所示)。
接下來,於步驟S217後,處理模組12再次執行步驟S206,合成前景影像(即第二階層影像N2)及背景影像中的一局部影像(即背景影像中臨近第二階層影像N2邊緣的一局部影像P12),以生成一合成影像。
接下來,處理模組12執行步驟S207,以依據所述光圈模擬參數及對應於第二階層影像N2之深度值,對於步驟S206中所生成之合成影像進行模糊。
接下來,請參照圖6,圖6為依據圖3所示之原始影像所取得的又一背景影像之示意圖。如圖6所示,在執行步驟S207後,所述背景影像中會存在一邊界線影像L2,故處理模組12會再次執行步驟S209,以沿著邊界線影像L2對所述背景影像中執行一淡入處理(即,使鄰近於邊界線影像L2之所述背景影像呈現逐漸清晰之視覺效果),以及沿著邊界線影像L2對局部影像P12執行一淡出處理(即,使鄰近於邊界線影像L2之局部影像P12呈現逐漸模糊之視覺效果),藉此淡化所述邊界線影像L2。
接下來,處理模組12再次執行步驟S211,以判斷出N-1不等於1(即N-1=2),接著處理模組12再次執行步驟S215,以將N值減1(此時N=2)。接下來,處理模組12再次執行步驟S217,以將第一階層影像N1作為新的前景影像,並依據已經由所述步驟S207
與步驟S209處理後之背景影像及前景影像來形成新的背景影像(如圖6所示)。
接下來,處理模組12再次執行步驟S206,合成前景影像(即第一階層影像N1)及背景影像中的一局部影像(即背景影像中臨近第一階層影像N1邊緣的一局部影像P13),以生成一合成影像。
接下來,處理模組12執行步驟S207與步驟S209,以依據所述光圈模擬參數及對應於第一階層影像N1之深度值,對於步驟S206中所生成之合成影像進行模糊,接著沿著背景影像中的一邊界線影像(未繪示)對所述背景影像中執行一淡入處理,以及沿著所述邊界線影像對局部影像P13執行一淡出處理,藉此淡化所述邊界線影像。
接下來,處理模組12再次執行步驟S211,以判斷出N-1等於1(即2-1=1),接著執行步驟S213,以生成一模擬影像。進一步地說,當N-1等於1時,即代表所有的階層影像皆已完成處理。因此,請參照圖7,圖7為依據圖3所示之原始影像所產生的模擬影像之示意圖。如圖7所示,處理模組12依據目前的背景影像與前景影像,可生成具大光圈單眼景深拍照效果的模擬影像。
由上可知,因影像處理裝置1在模糊背景影像後,除了會依據對應於前景影像的差異值與光圈模擬參數模糊所述前景影像外,還會依據所述差異值與光圈模擬參數模糊背景影像中的一局部影像,接著沿背景影像中的一邊界線影像執行一淡入淡出程序,故能產生符合幾合光學的物理原理之模擬影像,如此所述模擬影像能具有自然且連續的漸層性景深效果。
另,須一提的是,上述實施例雖是以第一階層影像N1之深度值作為基準深度值,從而產生具淺景深效果的模擬影像,但本發明實施例並不以此為限。換言之,依據使用者所點選的位置,影像處理裝置1亦可將其他階層影像之深度值作為基準深度值,從而產生具其他景深效果的模擬影像。但,值得注意的是,不管
影像處理裝置1係以哪一階層影像之深度值作為基準深度值,在影像處理的過程中,影像處理裝置1皆是由深度值最高之階層影像處理至深度值最低之階層影像,即由距離最遠的階層影像處理至距離最近的階層影像,藉此以生成符合光學物理現象之模擬影像。
此外,於另一實施例中,在影像處理裝置1模糊多個階層影像之前,影像處理裝置1會預先提升原始影像P1中的至少一亮區影像的亮度值,以避免所述亮區影像的亮度值被降低。詳細地說,所述原始影像P1中可能具有如聚光點或反光面等亮區影像,且所述亮區影像通常具有最高亮度值255(一般影像的亮度值表現範圍為0~255)。然,因所述亮區影像之亮度值一般僅以255來表示,故若在所述亮區影像之亮度值未被預先提升的情況下,就對原始影像P1進行模糊的話,則模糊後之原始影像P1的亮區影像之亮度值將會被降低,如此影像處理裝置1所生成之模擬影像,將較不符合光學物理現象。因此,在影像處理裝置1執行步驟205之前,影像處理裝置1會預先提升所述亮區影像的亮度值(例如將255提升為500),以避免於模糊各階層影像的過程中,降低所述亮區影像之亮度值。但,本發明實施例並不限制影像處理裝置1一定須事先提升所述亮區影像的亮度值,本技術領域具通常知識者可依據實際需求亦可省略或執行此步驟。
又,須一提的是,所述影像景深處理方法除了可應用於靜態影像上,亦可將之應用於模擬動態影像(即動畫)的景深效果,本發明實施例並不限制所述影像景深處理方法可能的實施方式。
最後,在此須說明的是,圖2實施例之各步驟僅為方便說明之須要,本發明實施例並不以各步驟彼此間的順序作為實施本發明各個實施例的限制條件。
綜合以上所述,本發明實施例所提供的影像處理裝置及影像景深處理方法,可讓使用者指定景深層次的總數與重聚焦的層次
數,以及依據所述光圈模擬參數模擬任意實際鏡頭的景深效果,以及藉由預先提高原始影像中至少一亮區影像的光度值,以強化模擬影像中的至少一亮區影像。此外,本發明實施例所提供的影像處理裝置及影像景深處理方法,經由模糊前景影像與背景影像中臨近前景影像邊緣的一局部影像,並執行淡入淡出程序,以淡化背景影像中的邊界線影像,而能產生符合幾合光學物理原理之模擬影像,即能產生具有自然且連續的漸層性景深效果之模擬影像。
以上所述,僅為本發明最佳之具體實施例,惟本發明之特徵並不侷限於此,任何熟悉該項技藝者在本發明之領域內,可輕易思及之變化或修飾,皆可涵蓋在本發明專利範圍。
S201、S203、S205、S206、S207、S209、S211、S213、S215、S217‧‧‧步驟
Claims (15)
- 一種影像景深處理方法,包括:步驟a:依據一深度圖由一原始影像中取得一背景影像及一前景影像,其中該深度圖對應於該原始影像,且該背景影像之深度值大於該前景影像之深度值;步驟b:依據該背景影像之深度值,模糊該背景影像;步驟c:依據該前景影像之深度值,模糊該前景影像及模糊後的該背景影像中的一局部影像,其中該局部影像對應於該背景影像中臨近該前景影像邊緣的影像;以及步驟d:於模糊該前景影像及該局部影像後,依據該前景影像及該背景影像形成一模擬影像。
- 如請求項1所述之影像景深處理方法,其中在步驟b中更包括:計算該背景影像之深度值與一基準深度值間的一第一差異值;以及依據該第一差異值決定該背景影像的模糊程度。
- 如請求項1所述之影像景深處理方法,其中在步驟c中更包括:計算該前景影像與一基準深度值間的一第二差異值;以及依據該第二差異值決定該前景影像與該局部影像的模糊程度。
- 如請求項1所述之影像景深處理方法,其中在步驟c之後與步驟d之前,該影像景深處理方法更包括:執行一淡入淡出程序,以淡化該背景影像中的一邊界線影像。
- 如請求項1所述之影像景深處理方法,其中在步驟c之後與步驟d之前,該影像景深處理方法更包括:沿著該背景影像中的一邊界線影像,對該背景影像進行一淡入處理以及對該局部影像進行一淡出處理,藉此淡化該邊界線影像。
- 如請求項1所述之影像景深處理方法,其中於模糊該背景影像及該前景影像之前,該影像景深處理方法更包括: 提升該原始影像中的至少一亮區影像的亮度值。
- 如請求項1所述之影像景深處理方法,更包括:依據一光圈模擬參數,模擬該模擬影像的一散景形狀。
- 如請求項1所述之影像景深處理方法,其中在步驟a之前,該影像景深處理方法更包括:依據該深度圖及該原始影像,形成N個階層影像,其中N為大於1的正整數,且各該階層影像之深度值皆不相同;以及將該些階層影像中一第N階層影像與一第N-1階層影像分別作為該背景影像與該前景影像,其中該第N階層影像之深度值大於該第N-1階層影像之深度值。
- 如請求項8所述之影像景深處理方法,其中在步驟d之前,更包括:當N-1不等於1時,將N值減1;依據該前景影像及該背景影像形成另一背景影像以取代該背景影像;將該些階層影像中一第N-1階層影像作為另一前景影像以取代該前景影像;以及再次執行步驟b與步驟c。
- 如請求項1所述之影像景深處理方法,其中在步驟c之前,更包括:合成該前景影像及該局部影像。
- 一種影像處理裝置,包括:一處理模組,用以執行如請求項1所述之影像景深處理方法;以及一記憶模組,耦接該處理模組,儲存有該原始影像及該深度圖。
- 如請求項11所述之影像處理裝置,更包括:一輸入模組,耦接該處理模組,用以供一使用者選擇一光圈模擬參數,其中該光圈模擬參數儲存於該記憶模組中,且該 處理模組依據該光圈模擬參數模擬該模擬影像的一散景形狀。
- 如請求項12所述之影像處理裝置,其中該使用者通過該輸入模組選擇一基準深度值,該處理模組計算該基準深度值與該背景影像之深度值間的一第一差異值,以決定該背景影像的模糊程度,以及該處理模組計算該基準深度值與該前景影像之深度值間的一第二差異值,以決定該前景影像與該局部影像的模糊程度。
- 如請求項11所述之影像處理裝置,其中於該處理模組模糊該背景影像及該前景影像後,該處理模組執行一淡入淡出程序以淡化該背景影像中的一邊界線影像。
- 一種影像處理裝置,包括:一影像擷取模組,用以對一場景進行影像擷取,以產生複數個拍攝影像;以及一處理模組,耦接該影像擷取模組,依據該些影像產生一原始影像及對應於該原始影像的一深度圖,該處理模組依據該深度圖由該原始影像中取得一背景影像及一前景影像,其中該背景影像之深度值大於該前景影像之深度值;其中,該處理模組依據該背景影像之深度值模糊該背景影像,且依據該前景影像之深度值,模糊該前景影像及模糊後的該背景影像中的一局部影像,該局部影像對應於該背景影像中臨近該前景影像邊緣的影像,該處理模組於模糊該前景影影像及該局部影像之後,依據該前景影像及該背景影像形成一模擬影像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW104106025A TWI566601B (zh) | 2015-02-25 | 2015-02-25 | 影像處理裝置及影像景深處理方法 |
US14/706,090 US9412170B1 (en) | 2015-02-25 | 2015-05-07 | Image processing device and image depth processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW104106025A TWI566601B (zh) | 2015-02-25 | 2015-02-25 | 影像處理裝置及影像景深處理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201631955A TW201631955A (zh) | 2016-09-01 |
TWI566601B true TWI566601B (zh) | 2017-01-11 |
Family
ID=56555986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104106025A TWI566601B (zh) | 2015-02-25 | 2015-02-25 | 影像處理裝置及影像景深處理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9412170B1 (zh) |
TW (1) | TWI566601B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI811043B (zh) * | 2022-07-28 | 2023-08-01 | 大陸商星宸科技股份有限公司 | 影像處理系統及其影像物件疊加裝置及方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10217195B1 (en) * | 2017-04-17 | 2019-02-26 | Amazon Technologies, Inc. | Generation of semantic depth of field effect |
CN109408718B (zh) * | 2018-10-23 | 2020-12-11 | 西安艾润物联网技术服务有限责任公司 | 信息推送方法及相关产品 |
CN112950692B (zh) * | 2019-11-26 | 2023-07-14 | 福建天晴数码有限公司 | 一种基于移动游戏平台的图像景深处理方法及其系统 |
US11094041B2 (en) | 2019-11-29 | 2021-08-17 | Samsung Electronics Co., Ltd. | Generation of bokeh images using adaptive focus range and layered scattering |
WO2021107384A1 (en) * | 2019-11-29 | 2021-06-03 | Samsung Electronics Co., Ltd. | Generation of bokeh images using adaptive focus range and layered scattering |
CN113052754B (zh) * | 2019-12-26 | 2022-06-07 | 武汉Tcl集团工业研究院有限公司 | 一种图片背景虚化的方法及装置 |
CN112270728A (zh) * | 2020-10-27 | 2021-01-26 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
CN112532882B (zh) * | 2020-11-26 | 2022-09-16 | 维沃移动通信有限公司 | 图像显示方法和装置 |
CN117693767A (zh) * | 2022-06-20 | 2024-03-12 | 北京小米移动软件有限公司 | 图像处理方法及装置、电子设备、存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7286704B2 (en) * | 2000-03-09 | 2007-10-23 | Robert Bosch Gmbh | Imaging fire detector |
US20100265313A1 (en) * | 2009-04-17 | 2010-10-21 | Sony Corporation | In-camera generation of high quality composite panoramic images |
CN101998053A (zh) * | 2009-08-13 | 2011-03-30 | 富士胶片株式会社 | 图像处理方法、图像处理设备和成像设备 |
US20110110591A1 (en) * | 2009-11-09 | 2011-05-12 | Ming-Hwa Sheu | Multi-point image labeling method |
CN104253939A (zh) * | 2013-06-27 | 2014-12-31 | 聚晶半导体股份有限公司 | 调整对焦位置的方法及电子装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101470693B1 (ko) * | 2012-07-31 | 2014-12-08 | 엘지디스플레이 주식회사 | 영상 데이터 처리 방법과 이를 이용한 입체 영상 표시장치 |
AU2013206601A1 (en) * | 2013-06-28 | 2015-01-22 | Canon Kabushiki Kaisha | Variable blend width compositing |
CN103945118B (zh) * | 2014-03-14 | 2017-06-20 | 华为技术有限公司 | 图像虚化方法、装置及电子设备 |
-
2015
- 2015-02-25 TW TW104106025A patent/TWI566601B/zh active
- 2015-05-07 US US14/706,090 patent/US9412170B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7286704B2 (en) * | 2000-03-09 | 2007-10-23 | Robert Bosch Gmbh | Imaging fire detector |
US20100265313A1 (en) * | 2009-04-17 | 2010-10-21 | Sony Corporation | In-camera generation of high quality composite panoramic images |
CN101998053A (zh) * | 2009-08-13 | 2011-03-30 | 富士胶片株式会社 | 图像处理方法、图像处理设备和成像设备 |
US20110110591A1 (en) * | 2009-11-09 | 2011-05-12 | Ming-Hwa Sheu | Multi-point image labeling method |
CN104253939A (zh) * | 2013-06-27 | 2014-12-31 | 聚晶半导体股份有限公司 | 调整对焦位置的方法及电子装置 |
Non-Patent Citations (1)
Title |
---|
Jianqiao Li,"Continuous depth map reconstruction from light fields "20130715 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI811043B (zh) * | 2022-07-28 | 2023-08-01 | 大陸商星宸科技股份有限公司 | 影像處理系統及其影像物件疊加裝置及方法 |
Also Published As
Publication number | Publication date |
---|---|
US20160247285A1 (en) | 2016-08-25 |
US9412170B1 (en) | 2016-08-09 |
TW201631955A (zh) | 2016-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI566601B (zh) | 影像處理裝置及影像景深處理方法 | |
Wadhwa et al. | Synthetic depth-of-field with a single-camera mobile phone | |
US7961970B1 (en) | Method and apparatus for using a virtual camera to dynamically refocus a digital image | |
US9311901B2 (en) | Variable blend width compositing | |
US10410327B2 (en) | Shallow depth of field rendering | |
US20170061635A1 (en) | Depth-based application of image effects | |
EP3692500A1 (en) | Estimating depth using a single camera | |
US20170301145A1 (en) | Image Compensation for an Occluding Direct-View Augmented Reality System | |
US20160150215A1 (en) | Method for performing multi-camera capturing control of an electronic device, and associated apparatus | |
CN110677621B (zh) | 摄像头调用方法、装置、存储介质及电子设备 | |
CN105989574A (zh) | 图像处理装置及图像景深处理方法 | |
WO2018210318A1 (zh) | 图像虚化处理方法、装置、存储介质及电子设备 | |
KR102049080B1 (ko) | 영상 처리 장치 및 방법 | |
EP2526528A2 (en) | Blur function modeling for depth of field rendering | |
WO2018210308A1 (zh) | 图像虚化处理方法、装置、存储介质及电子设备 | |
CN108848367B (zh) | 一种图像处理的方法、装置及移动终端 | |
Dutta et al. | Stacked deep multi-scale hierarchical network for fast bokeh effect rendering from a single image | |
JP2018508898A (ja) | デジタルズーム方法およびシステム | |
Choi et al. | A method for fast multi-exposure image fusion | |
CN105450943B (zh) | 产生图像散景效果的方法及图像获取装置 | |
CN104793910B (zh) | 一种信息处理的方法及电子设备 | |
CN107155000B (zh) | 一种拍照行为分析方法、装置及移动终端 | |
WO2021145913A1 (en) | Estimating depth based on iris size | |
US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
JPWO2013136403A1 (ja) | 画像処理装置、集積回路、プログラム、撮像装置、表示装置 |