TWI479453B - 產生淺景深影像的方法及裝置 - Google Patents

Description

產生淺景深影像的方法及裝置

本發明是有關於一種影像處理方法及裝置，且特別是有關於一種產生淺景深影像的方法及裝置。

圖1是習知相機鏡頭對被攝主體平面進行對焦之示意圖。請參照圖1，相機鏡頭10對著被攝主體平面20對焦時，當被攝主體平面20在焦點平面30成像達到最清晰畫面後，相機鏡頭10與被攝主體平面20之間的距離為攝影距離Y，而相機鏡頭10與焦點平面30之間的距離為鏡頭焦點距離(焦距)y。在使用相機拍攝影像時，為了突顯所拍攝影像中的主題，一般會採用所謂淺景深的拍攝技巧，也就是在小於攝影距離Y之內的物件皆可清楚成像，然而在此攝影距離Y之外的物件則逐漸模糊。

然而，一般相機鏡頭所能製造出的淺景深效果相當有限，若要獲得較佳的淺景深效果，則需對同一場景以不同焦距進行一系列的連拍，分別找出每個像素點在各影像中最清晰的位置，進而利用焦距與景深的關係，來推出影像中各像素點的相對景深，然而此方法所需之處理時間冗長，且消耗之儲存空間很大，不利於商品化。

若是對同一場景以不同焦距拍攝2至3張影像，也就是說，利用少數幾張影像來推得各像素點相對景深的關係，雖然可稍微減少處理時間，但其結果易受影像雜訊影響，導致處理後的影像產生景深不連續或是不夠自然的問題。

有鑑於此，本發明提供一種產生淺景深影像的方法，可判別兩種不同光圈值所拍攝的影像內容之相對景深，藉此保留影像主體的清晰度而強化影像非主體部分的模糊程度。

本發明提供一種產生淺景深影像的裝置，可利用不同光圈值對同一場景進行拍攝，進行影像處理後可保留影像主體的清晰度而強化影像非主體部分的模糊程度。

從一觀點來看，本發明提出一種產生淺景深影像的方法，此方法包括下列步驟。依據第一光圈值對被攝主體進行拍攝，藉以產生第一光圈值影像。並依據第二光圈值對此被攝主體進行拍攝，藉以產生第二光圈值影像，其中，第二光圈值係大於第一光圈值。此外，分析第一光圈值影像與第二光圈值影像，以獲得影像差值。另外，若判斷此影像差值大於臨界值，則對第一光圈值影像進行影像處理以獲得淺景深影像。

在本發明之一實施例中，所述之依據第一光圈值對被攝主體進行拍攝，藉以產生第一光圈值影像的步驟包括依據第一光圈值對此被攝主體進行對焦後拍攝，並獲得此第一光圈值影像。並且於第一光圈值影像中選取包括此被攝主體之一清晰區域。

在本發明之一實施例中，所述之依據第二光圈值對此被攝主體進行拍攝，藉以產生第二光圈值影像的步驟之後，更包括利用此清晰區域以計算第二光圈值影像的幾何轉換參數。並依據此幾何轉換參數對第二光圈值影像進行幾何轉換，以獲得轉換後的第二光圈值影像。

在本發明之一實施例中，其中若判斷影像差值大於臨界值，則對第一光圈值影像進行影像處理以產生淺景深影像的步驟包括下列步驟。若判斷影像差值大於臨界值，則對第一光圈值影像與轉換後的第二光圈值影像進行平滑化處理，藉以獲得相對景深圖。並且對此相對景深圖進行模糊化處理以產生模糊化影像。再將此模糊化影像與第一光圈值影像進行平均化處理，藉以獲得該淺景深影像。

在本發明之一實施例中，所述之平滑化處理係採用影像內插方法。

在本發明之一實施例中，所述之產生淺景深影像的方法更包括若判斷此影像差值不大於臨界值，則直接輸出第一光圈值影像。

從另一觀點來看，本發明提出一種產生淺景深影像的裝置，其包括影像擷取模組以及處理模組。影像擷取模組分別依據第一光圈值及第二光圈值對被攝主體進行拍攝，藉以分別產生第一光圈值影像及第二光圈值影像。其中，第二光圈值大於第一光圈值。處理模組耦接至影像擷取模組，分析第一光圈值影像與第二光圈值影像，藉以獲得影像差值。處理模組若判斷此影像差值大於臨界值，則對第一光圈值影像進行影像處理以產生淺景深影像。

在本發明之一實施例中，所述之影像擷取模組依據第一光圈值對被攝主體進行對焦後拍攝，並產生第一光圈值影像。

在本發明之一實施例中，所述之處理模組對影像擷取模組所產生的第一光圈值影像中選取包括被攝主體之清晰區域。

在本發明之一實施例中，所述之產生淺景深影像的裝置更包括幾何轉換單元。幾何轉換單元耦接至處理模組，幾何轉換單元利用此清晰區域以計算第二光圈值影像的幾何轉換參數，並利用幾何轉換參數對第二光圈值影像進行幾何轉換，以產生轉換後的第二光圈值影像。

在本發明之一實施例中，所述之處理模組包括平滑化處理單元以及模糊化處理單元。處理模組若判斷此影像差值大於臨界值，則處理模組控制平滑化處理單元對第一光圈值影像與轉換後的第二光圈值影像進行平滑化處理，以獲得相對景深圖。模糊化處理單元對相對景深圖進行模糊化處理以產生模糊化影像，其中，處理模組將模糊化影像與第一光圈值影像進行平均化處理，藉以產生淺景深影像。

在本發明之一實施例中，所述之處理模組若判斷影像差值不大於臨界值，則直接輸出第一光圈值影像。

基於上述，本發明所提供之產生淺景深影像的方法及裝置，藉由光圈大小的不同造成影像景深的不同之特性，對同一場景以不同光圈值進行拍攝，並且比較影像間的差異，藉此判別影像內容的相對景深，當影像差值夠大時，便可進行影像合成以保留影像主體的清晰度而強化非主體的模糊程度；當影像差值偏低時，則可直接輸出大光圈所拍攝之影像。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明提出一種利用景深與光圈大小的關係來合成淺景深影像之方法。先以大光圈對近距離的物件進行對焦後拍攝，然後約略框出影像中的清晰區域，接著改以較小光圈拍攝第二張影像，對兩張影像進行分析，利用此兩張影像間的差值大小來代表被攝主體區域與其他背景區域的相對景深，並根據此影像差值決定是否進行淺景深影像合成。為了使本發明之內容更為明瞭，以下列舉實施例作為本發明確實能夠據以實施的範例。

圖2是依照本發明之一實施例所繪示之產生淺景深影像的裝置方塊圖。請參照圖2，本實施例的產生淺景深影像的裝置200例如是數位相機、攝影機或具備相機功能之智慧型手機等等，產生淺景深影像的裝置200包括影像擷取模組210以及處理模組220。其功能分述如下：影像擷取模組210包括鏡頭、感光元件以及光圈。鏡頭例如是標準鏡頭、廣角鏡頭、變焦鏡頭等。感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件，鏡頭與感光元件或其組合在此皆不設限。

光圈指的是一組製作在鏡頭裡面可以活動的葉片，藉由控制葉片開合的大小，就可以控制光線在一定時間內，進入影像擷取模組210內光量的多寡。此開孔會隨著鏡頭上的光圈值(本領域具通常知識者亦稱為f值)做調節而開大或縮小。常見的f值有：f1.4、f2、f2.8、f4、f5.6、f8、f11、f16、f22、f32。在此需注意的是，f值愈小則光圈開孔愈大，進光量愈多；f值愈大則光圈開孔愈小，進光量愈少。據此，本實施例中所述之「大光圈」係指f值較小的光圈值。本實施例之影像擷取模組210係主要利用兩種不同光圈值來對同一場景進行拍攝，藉以產生第一及第二光圈值影像。

處理模組220例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置，處理模組220係耦接至影像擷取模組210，用以對影像擷取模組210所接收的第一及第二光圈值影像進行分析處理，藉以產生淺景深影像。

圖3是依照本發明之一實施例所繪示之產生淺景深影像的方法流程圖。請參照圖3，本實施例的方法適用於圖2的產生淺景深影像的裝置200，以下即搭配圖2中的各項元件說明本實施例產生淺景深影像的方法之詳細步驟：首先在步驟S310中，影像擷取模組210依據第一光圈值對被攝主體進行對焦後拍攝，藉以產生第一光圈值影像。接著，在步驟S320中，影像擷取模組210依據第二光圈值並且不改變其他條件(例如焦距、快門或攝影距離等)的情況下，對此被攝主體進行拍攝，藉以產生第二光圈值影像。其中，第二光圈值係大於第一光圈值，也就是說，第一光圈值影像之進光量大於第二光圈值。因此，在相同條件下，以不同光圈所拍攝的畫面結果有所不同。光圈愈大(f值愈小)，景物清楚的範圍就會愈小，背景就愈模糊，拍攝的主體較有立體感，主題也更為明確。

更詳細地說，當我們以大光圈對被攝主體進行對焦後拍攝，被攝主體所在之平面(如圖1所示之被攝主體平面20，請配合參照圖1)附近的物件會是清晰的，若不改變其他條件的情況下，僅改以較小光圈對同一場景進行拍攝，除了被攝主體所在之平面附近的物件是清晰的以外，距離被攝主體所在之平面較遠的物件亦為清晰的。如此一來，藉由比較兩張不同光圈值所拍攝的影像，便可判別出影像中何處是近距離物件，何處是遠距離物件。

接下來在步驟S330中，處理模組220便是根據上述觀點對第一及第二光圈值影像進行分析，以獲得影像差值。其方法例如是計算第一及第二光圈值影像中的每個像素點的灰階值之差，更可輔以影像邊緣偵測演算法藉以分辨出被攝主體區域與其他背景區域之差別。若影像差值偏低，代表整張影像中的各物件與被攝主體所在之對焦平面之距離不遠，因此以兩種不同光圈值所拍攝出來的影像皆為清晰的。若影像差值較大，代表整張影像中的各物件與被攝主體所在之對焦平面之距離較遠。

因此，在步驟S340中，處理模組220若判斷此影像差值大於臨界值，則對第一光圈值影像進行影像處理以獲得淺景深影像。其中，臨界值可由處理模組220依照目前的拍攝模式自動選定或是由使用者依照拍攝環境自由設定，在此不設限。影像處理係對背景區域(距離被攝主體所在之對焦平面較遠之各物件)進行模糊強化，以達到突顯主題，使被攝主體較有立體感的效果。

在此須說明的是，第一光圈值與第二光圈值之比例與所使用之鏡頭特性以及攝影距離(如圖1所示之攝影距離Y)有關，因此第一光圈值與第二光圈值之比例須根據產生淺景深影像的裝置200之鏡頭特性以及不同的攝影距離事先做調校，而後實際拍攝時，方可根據鏡頭與被攝主體之間的距離來調整適合的第一光圈值與第二光圈值進行拍攝，因此，第一光圈值與第二光圈值並非固定不變，可由使用者依據實際拍攝情況做調整。

以下另舉一實施例來對本發明進行說明。圖4是依照本發明之另一實施例所繪示之產生淺景深影像的裝置方塊圖。請參照圖4，本實施例之產生淺景深影像的裝置400包括影像擷取模組410、處理模組420以及幾何轉換單元430。圖4所示之產生淺景深影像的裝置400與圖2所示之產生淺景深影像的裝置200大致相似，故以下僅就兩者不同之處進行說明。

處理模組420包括平滑化處理單元422以及模糊化處理單元424。平滑化處理單元422例如是採用影像內插方法，用以對兩張影像進行一平滑化處理。糢糊化處理單元424例如是採用空間濾波器(spatial filter)、線性濾波器(linear filter)、非線性濾波器(non-linear filter)或模糊化濾波器(blur filter)等，用以對影像進行模糊化。幾何轉換單元430耦接至處理模組420，其係採用仿射矩陣(affine transformation matrix)執行位移量校正，而可將兩張不同影像之起始像素點校正至相同位置。

圖5是依照本發明之另一實施例所繪示之產生淺景深影像的方法流程圖。請同時配合參照圖4與圖5。

影像處理模組410依據第一光圈值對被攝主體進行拍攝，藉以產生第一光圈值影像。處理模組420接著在第一光圈值影像中選取包括此被攝主體之一清晰區域，也就是被攝主體所在之平面的對焦區域，在此對焦區域之影像畫面為清晰的影像(步驟S510)。影像處理模組410接著依據第二光圈值對此被攝主體進行拍攝，藉以產生第二光圈值影像，其中，第二光圈值係大於第一光圈值(步驟S520)。

幾何轉換單元430利用仿射矩陣(affine transformation matrix)對此清晰區域計算出幾何轉換參數(步驟S530)，並利用此幾何轉換參數對第二光圈值影像進行幾何轉換，使得轉換後的第二光圈值影像的清晰區域之起始像素點位置相同於第一光圈值影像的清晰區域之起始像素點位置(步驟S540)。處理模組420分析第一光圈值影像與轉換後的第二光圈值影像，以獲得影像差值(步驟S550)，接著處理模組420判斷此影像差值是否大於臨界值(步驟S560)。

若此影像差值大於臨界值，則對第一光圈值影像進行影像處理以獲得強化背景模糊之淺景深影像(步驟S570)。舉例而言，處理模組420可控制平滑化處理單元422對第一光圈值影像與轉換後的第二光圈值影像進行內插，以獲得相對景深圖。詳細地說，由於影像差值夠大，代表第一光圈值影像之景深較深，第二光圈值影像之景深較淺，因此採用內插之平滑化處理後可產生景深較連續之相對景深圖。接著可利用模糊化處理單元424對相對景深圖進行模糊化處理以產生一模糊化影像，其中，模糊化程度可為使用者事先預定。最後，處理模組420便將此模糊化影像與第一光圈值影像之各像素點進行平均化處理(例如是加權平均等)。據此，可產生保持被攝主體區域之清晰而強化模糊其他背景區域之淺景深影像。

然而，回到步驟560，若判斷此影像差值不大於臨界值，表示被攝主體以外的各物件及其他背景區域之位置，皆靠近被攝主體所在之平面，也就是說，以第一及第二兩種不同光圈值所拍攝出來的影像差距不大，皆為清晰的影像，即無法合成強化背景模糊之淺景深影像，因此可直接輸出第一光圈值影像(步驟S580)。在一實施例中，當處理模組420判斷影像差值不大於臨界值，即可顯示一提示畫面於產生淺景深影像的裝置400之螢幕(未繪示)，藉以提示使用者目前拍攝之場景不適合進行淺景深影像之合成，因此，使用者可另外尋找長景深之場景進行拍攝。據此，產生淺景深影像的裝置400可省下不必要的計算，縮短其處理時間。在另一實施例中，若使用者以現有的影像擷取模組410所能提供之最大光圈及最小光圈進行拍攝的影像，其影像差值無法大於臨界值，也就是不足以判斷相對景深時，可輔以改變鏡頭焦點距離(焦距)之後進行拍攝，以產生影像差值較大的兩張影像，然而鏡頭焦點距離與攝影距離亦有直接的關係，因此鏡頭焦點距離之調校也須依實際拍攝情況做調整，才能拍出影像差值大於臨界值的兩張影像。

綜上所述，本發明之產生淺景深影像的方法及裝置，只需具有大小兩種不同光圈所拍攝的兩張影像，即可合成出較佳淺景深效果之影像，計算簡單且一般消費型相機即可達成。並不需要如高檔相機所配備之昂貴的變焦鏡頭進行一系列的連拍，才能計算並產生淺景深影像。此外，本發明之方法及裝置在兩張影像之影像差值偏低，不適合進行淺景深影像之合成時，還可事先提示使用者另尋較適合之場景拍攝，藉此省下運算處理時間。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10．．．相機鏡頭

20．．．被攝主體平面

30．．．焦點平面

200、400．．．產生淺景深影像的裝置

210、410．．．影像擷取模組

220、420．．．處理模組

422．．．平滑化處理單元

424．．．糢糊化處理單元

430．．．幾何轉換單元

Y．．．攝影距離

y．．．鏡頭焦點距離

S310~S340．．．本發明之一實施例之產生淺景深影像的方法之各步驟

S510~S580．．．本發明之另一實施例之產生淺景深影像的方法之各步驟

圖1是習知相機鏡頭對被攝主體平面進行對焦之示意圖。

圖2是依照本發明之一實施例所繪示之產生淺景深影像的裝置方塊圖。

圖3是依照本發明之一實施例所繪示之產生淺景深影像的方法流程圖。

圖4是依照本發明之另一實施例所繪示之產生淺景深影像的裝置方塊圖。

圖5是依照本發明之另一實施例所繪示之產生淺景深影像的方法流程圖。

S310~S340．．．產生淺景深影像的方法之各步驟

Claims (5)

1. 一種產生淺景深影像的方法，該方法包括下列步驟：依據一第一光圈值對一被攝主體進行對焦並且拍攝，藉以產生一第一光圈值影像；於該第一光圈值影像中選取包括該被攝主體之一第一清晰區域，其中該第一清晰區域為該第一光圈值影像中該被攝主體所在的一對焦平面；依據一第二光圈值對該被攝主體進行拍攝，藉以產生一第二光圈值影像，其中該第二光圈值大於該第一光圈值；利用該第一清晰區域以計算該第二光圈值影像的一幾何轉換參數；依據該幾何轉換參數對該第二光圈值影像進行幾何轉換，以獲得一轉換後的第二光圈值影像，其中該轉換後的第二光圈值影像的一第二清晰區域之起始像素點位置相同於第一光圈值影像的該第一清晰區域之起始像素點位置；分析該第一光圈值影像與該轉換後的第二光圈值影像，以獲得一影像差值；以及若判斷該影像差值大於一臨界值，則對該第一光圈值影像進行一影像處理以獲得一淺景深影像，包括：對該第一光圈值影像與轉換後的該轉換後的第二光圈值影像進行一平滑化處理，以獲得一相對景深圖；對該相對景深圖進行一模糊化處理以產生一模糊化 影像；以及將該模糊化影像與該第一光圈值影像進行一平均化處理，藉以獲得該淺景深影像。
2. 如申請專利範圍第1項所述之產生淺景深影像的方法，其中該平滑化處理係採用一影像內插方法。
3. 如申請專利範圍第1項所述之產生淺景深影像的方法，更包括：若判斷該影像差值不大於該臨界值，則直接輸出該第一光圈值影像。
4. 一種產生淺景深影像的裝置，包括：一影像擷取模組，分別依據一第一光圈值及一第二光圈值對一被攝主體進行對焦並且拍攝，藉以分別產生一第一光圈值影像及一第二光圈值影像，其中，該第二光圈值大於該第一光圈值；一處理模組，耦接至該影像擷取模組，對該影像擷取模組所產生的該第一光圈值影像中選取包括該被攝主體之一第一清晰區域，並且分析該第一光圈值影像與一轉換後的第二光圈值影像，以獲得一影像差值，若判斷該影像差值大於一臨界值，則對該第一光圈值影像進行一影像處理以產生一淺景深影像，其中該第一清晰區域為該第一光圈值影像中該被攝主體所在的一對焦平面，其中該處理模組包括：一幾何轉換單元，耦接至該處理模組，該幾何轉換單元利用該第一清晰區域以計算該第二光圈值影像的一幾 何轉換參數，並利用該幾何轉換參數對該第二光圈值影像進行幾何轉換，以產生該轉換後的第二光圈值影像，其中該轉換後的第二光圈值影像的一第二清晰區域之起始像素點位置相同於第一光圈值影像的該第一清晰區域之起始像素點位置；一平滑化處理單元，該處理模組若判斷該影像差值大於該臨界值，則該處理模組控制該平滑化處理單元對該第一光圈值影像與該轉換後的第二光圈值影像進行一平滑化處理，以獲得一相對景深圖；以及一模糊化處理單元，對該相對景深圖進行一模糊化處理以產生一模糊化影像，其中，該處理模組將該模糊化影像與該第一光圈值影像進行一平均化處理，藉以產生該淺景深影像。
5. 如申請專利範圍第4項所述之產生淺景深影像的裝置，其中：該處理模組若判斷該影像差值不大於該臨界值，則直接輸出該第一光圈值影像。