TW201216203A - Method and apparatus for generating image with shallow depth of field - Google Patents

Description

D-022 35422twf.doc/n 201216203 六、發明說明： 【發明所屬之技術領域】 本發明是有關於一種影像處理方法及裝置，且特別是 有關於一種產生淺景深影像的方法及裝置。 【先前技術】

隨著光學技術的進步，可調整光圈、快門甚至可更換 鏡頭的相機逐漸普及，相機的功能也趨於多樣化。其中， 在使用相機拍攝影像時，為了突顯所拍攝影像中的主題， 一般會採用所謂淺景深的拍攝技巧，將相機透鏡的焦距聚 集到影像中的特定距離範圍，使得此距離範圍内的物件可 以清楚成像，同時也使得此距離範圍外的物件逐漸模糊。 然而，一般相機鏡頭所能製造出的淺景深效果相當有 限’若要獲致触的淺景深效果，則需侧大隸的鏡頭 強，距離物件的模糊化，而讓清楚成像的主題得以從 旁景中突顯出來。然而’大孔徑鏡頭的體積龐大且價格昂 價’並非一般消費型相機所能配備。 史另一種製造淺景深效果的方式則有賴於影像後製，利 用影像處理的方式估卿像巾各個物件的深淺關係，然後 再據此加強遠距離物件的模糊程度，以突顯主題。然而， 此種方式只能憑藉—般認知來判別物件的模糊程度，對於 不在對焦範m⑽物件，其模齡度贿以估測而可能造 成相當大的誤差’結果導致處理後的影像產 不夠自然的問題。 m木 201216203 35422twf.doc/n 因此，如何此夠取得影像中物件的正破深度資訊，藉 以協助辨別各個物件的模触度並製造較佳的淺景深效 果，實為本領域技術所要解決的一大課題。 【發明内容】 本發明提供一種產生淺景深影像的方法及裝置，可提 高虛擬淺景深影像的真實性。 本發明提供-種產生淺景深影像的方法，適用於包括 左鏡頭及右鏡_立體成像系統。此方法係分刺用左鏡 頭及右鏡·攝左㈣像及魏影像，接著計算左眼影像 及右眼影像相對應之多個像素中各個像素的像差，然後依 據左鏡頭及錢頭拍攝錢影像及右眼影像的鎌、左鏡 頭及右鏡_鏡_距以及各個像素的像差，估測各個像 素的深度資訊4後職社_及右鏡、距以及所 ^測各個像素躲度資訊，將左眼影像或右眼影像中的像 素模糊化，以獲得淺景深影像。 =發明之“實_巾，上料算左㈣像及右眼影 應之像素中各個像素的像差的步驟包括依據各個像 ίίίϊ影像及右眼影像中的位置，計算各個像素在左眼 不·/像及右眼影像中的位移，以作為像差。 在本發社-纽射，上舰據絲财右鏡頭拍 一眼影像及右眼影像的焦距以及所估測各個像素的深产 將左眼影像或右眼影像中的像素模糊化，以ς 〜衣影像的步驟包括利用左鏡頭及右鏡頭的焦距求得—對 201216203 -------U-022 35422twf.doc/n 焦平面，並依據各個像素的深度資訊，計算各個像素與對 焦平面的距離，之後則依據各個像素與對焦平面的距^， 將此像素模糊化，以獲得淺景深影像。其中，所述將像素 模糊化的程度與所計算像素與對焦平面的距離呈正比。、 _在本發明之一實施例中，在上述估測各個像素的深度 資訊的步驟之後，更包括比較各個像素的深度資訊，以辨 識左眼影像及右眼影像中的至少一個物件，其中各個物件 具有深度資訊相近的多個相鄰像素。其中，各個物件中相 * 鄰像素之深度資訊的差值小於預設值。 在本發明之一實施例中，上述依據左鏡頭及右鏡頭拍 攝左眼影像及右眼影像的焦距以及所估測像素的深度資 訊，將左眼影像或右眼影像中的像素模糊化，以獲得淺景 深影像的步驟更包括計算各個物件的模糊程度，並依據物 件的模糊程度，擴大模糊化左眼影像或右眼影像中的物 件，以獲得淺景深影像。其中，擴大模糊化物件的程度與 所計算物件的模糊程度呈正比。 • 本發明提出一種產生淺景深影像的裝置，其包括左鏡 頭、右鏡頭及處理單元。其中，左鏡頭係用以拍攝左眼影 像，右鏡頭則用以拍攝一右眼影像，而此左鏡頭及右鏡頭 具有一鏡頭間距。處理單元係耦接左鏡頭及右鏡頭，而用 以計算左眼影像及右眼影像相對應之多個像素中各個像素 的像差，並依據左鏡頭及右鏡頭拍攝左眼影像及右眼影像 的焦距、左鏡頭及右鏡頭的鏡頭間距以及各個像素的像 差，估測各個像素的深度資訊，以及依據左鏡頭及右鏡頭 201216203 ALK2〇l〇-u22 35422twf.doc/n ^焦距以及各雜素的深度龍，將左㈣像或右眼影像 中的像素模糊化，以獲得淺景深影像。 在本發明之-實施例中，上述之處理單元更包括比較 各個像韻深度資訊，以_核景彡像及魏影像中的至 傻Z各個物件的模糊程度，而據以擴大模 ^左眼祕或右眼影像中的物件，以獲得淺景深影像， 素 ^中所辨識的各個物件具有深度資訊相近❹個相鄰像 Μ基^上述，本购之產錢景郷_方法及裳置， 象系統所操取之左右眼影像的像差，估測影像 個傻木度資訊，並依據此深度資訊對影像中的各 =或物純确化處理，…纖的虛擬淺景 I眚=本發明之上述特徵和優點能更明顯易懂，下文特 舉貫施例’並配合所附圖式作詳細說明如下。 ’ 【實施方式】 立體成像系統的雙鏡頭可拍攝同—區域不 結合左 '右鏡頭所拍攝影像間的像差資訊以 預知的鏡翻距、焦料f訊，即可準確了 個像素或物件的深度資訊。本 2中各 測影像中物件深产資mp糟由立體成像糸統估 擴大t㈣處理’糾產生純難赶深絲的景t β δ之’ II 1及11 2(a)〜⑻是依照本發明—實施例所 201216203

AjLivzui 0-022 35422twf.doc/n 繪示之利用立體成像系統拍攝影像的範例。請同時束照圖 1及圖2(a)〜(c)，本實施例之立體成像系統包括具有固定視 野的左鏡頭110及右鏡頭120 (如圖1所示）^本實施例 即在此左鏡頭110及右鏡頭120的視野内，立體成像系統 前方不同距離的位置分別擺設尺寸相同的物件（即物件 102、104及106)。對於物件1〇2、1〇4及106，分別利用 左鏡頭110及右鏡頭120拍攝所得的影像則如圖2(a)中的 影像210a〜230a以及圖2(b)中的影像21〇a〜230a及 • 210b〜230b。其中，若將相同物件的影像重疊顯示則可得 圖2(c)所繪示的影像210〜230，此影像21〇〜230中重疊顯 示之物件間的位移即為像差（diSparity )。由圖2(c)可知， 距離愈遠_件（例如物件1G6) ’其在兩個鏡頭所拍攝 影像間的像差也越小；反之，距離愈近的物件（例如物件 1〇2) ’其在兩個鏡賴轉影像_像細越大。而依據 此處左鏡頭110及右鏡頭120所拍攝影像間的像差，以及 左鏡頭110及右鏡頭12〇的鏡頭間距與焦距，即可估測出 .衫像中各個物件或像素的深度資訊。 /發明即根據上述原理，提出一種產生淺景深影像的 旦法及裝置。圖3是依照本發明一實施例所繪示之產生淺 ;、深，像的裝置方塊圖。請參照圖3,本實施例的裝置300 ^如疋立體成像系統，其包括左鏡頭則、右鏡頭娜及 處理單元330。 左鏡頭310與右鏡頭no中均配置有感光元件（未繪 丁肖以分別感測進入左鏡頭310與右鏡頭320的光線 201216203 w22 35422twf.doc/n 強度’進而產生左眼影像及右眼影像。所述的感光元件例 如是電荷麵合元件（Charge Coupled Device，CCD)、互 補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor ’ CMOS)元件或其他元件，在此不設限。 此外，左鏡頭310與右鏡頭320之間例如具有約為77毫米 的鏡頭間距，而可模擬真實人眼間的距離。 處理卓元330例如是中央處理單元（Central Processing Unit ’ CPU )，或是其他可程式化之微處理器（Micr〇pr〇 cessor)、 數位訊號處理器（Digital Signal Processor，DSP)、可程式化控 制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置（progfamjnabie Logic Device ’ PLD)或其他類似裝置，其係耦接左鏡頭31〇及右 鏡頭320 ’而用以對上述左鏡頭31〇及右鏡頭32〇所擷取 的左眼影像及右眼影像進行處理，以獲得淺景深影像。 詳言之’圖4是依照本發明一實施例所繪示之產生淺 景深影像的方法流程圖。請同時參照圖3及圖4，本實施 例的方法適用於圖3的裝置3〇〇，適於在使用者利用裝置 300拍攝影像時，產生具有淺景深效果的輸出影像，以下 即搭配圖3之裝置300的各項元件，說明本實施例方法的 詳細步驟： 首先’分別利用左鏡頭310及右鏡頭320拍攝左眼影 像及右眼影像（步驟S410)。其中，左鏡頭310及右鏡頭 320例如是採用相同的參數拍攝影像’所述參數包括焦 距、光圈、快門、白平衡等，本實施例並不設限。 201216203 〜1一〇-022 35422twf_doc/】 接著’由處理單元330計算左眼影像及右眼影像相對 應之多個像素中各個像素的像差（步驟S420)。詳言之， 本實施例係以像素為單位來計算像差，而計算方式則類似 於圖2(c)所繪示的方式，依據左眼影像及右眼影像中相對 應像素（例如物件的最右端像素）在影像（即影像210a 及21〇b)中的位置來計算此像素在影像中的位移，以作為 此像素的像差。

然後，依據左鏡頭310及右鏡頭320拍攝左眼影像及 右眼影像，焦距、左鏡頭310及右鏡頭320的鏡頭間距以 及上述计算所得各個像素的像差，處理單元330即可估測 各個像素的深度資訊（步驟S430)。詳言之，由圖i及圖 HiC)所緣示的範例可知’左、右眼影像中相對應像素的 像重驗（蚊影像大小）、鏡賴距（決定影 魏圍）以⑽像素職物件與鏡_的距離（即深 :存！荖ΐί影像中物件的大小）而來決定，這些參數之 ’而記載此關係的關係表可藉由在裝置 300 得。因此’當使用者實際使用裝置 先建立的:系表查;=中像素的像差時’即可利用預 的焦=及右鏡_ 眼影像中的像_化像度左^像或右 清晰，並二ΓίϊΓ的就是要維持對焦範圍内的物件 圍卜的物件依其距離遠近逐漸模糊化， 201216203 1 w-^22 35422tw£doc/n 才能夠突顯出對焦範圍内的物件。 舉例來說，圖5是依照本發明一實施例所繪示 化影像中像素的方法流程圖。請參照圖5，本實施係士 處理單元330利用左鏡頭310及右鏡頭320的焦距求彳^、— 個對焦平面（步驟㈣），並依據上述所求得各 = 深度資訊，計算像素與對焦平面的距離（步驟S52〇)'，、最 後則可依據各個像素與對焦平面的距離，對像素進行 化處理，以獲得淺景深影像（步驟S530)。其中，上述 糊化像素的程度例如是與所計算像讀聽平面的距y =比，意即，距離愈近模糊化程度愈輕，距離越遠模糊 粒度愈重此外’上述的模糊化處理例如是採用模糊化 鏡（blur filter)對目標像素及其周圍像素的像素值進二 權平均，而所使用濾鏡的尺寸及種類則可由處理單 依照目前的拍攝模式自動選定或是由使用者依照拍攝 自由選定，在此不設限。 又兄 由於上述淺景深影像的產生方法係使神確 深度資訊來實施模糊化處理，因此其所產生的 j 較佳的淺景深絲，而大幅提高虛_景深影像的真實性。 Μ ί得—提的是’除了上騎對影財各個像素進行模 糊化處理的方式之外’本發明還包括針對影像中的· 體物件進賴齡纽，·可達縣發日服高淺景深二 果的目的，以下則再舉一實施例詳細說明。 > 圖6是依照本發明一實施例所繪示之產生淺 的方法流程圖。請同時參照圖3及圖6，本實施例的= 201216203 0-022 35422twf.doc/n ，用於圖3的裝置3GG ’適於在使用者利用裝置獨拍攝 影像時’產生具有淺景深效果的輸出影像，以下即搭配圖 3之裝置3GG的各項科，朗本實麟】綠的詳細步驟： 首先’分別利用左鏡頭31〇及右鏡頭32〇拍攝左眼影 像及右眼影像（步驟S610)，接著由處理單元33〇計算左 眼影像及右眼影像㈣叙多個像封各個像素的像差 步輝S620) ’然後依據左鏡頭31〇及右鏡頭拍攝左 目艮影像及右眼影像的焦距、左鏡頭3U)及右鏡頭320的鏡 頭間距以及上述&十算所得各個像素的像差，估測各個像素 ，深度資訊（步驟S630)。上述步驟S61〇〜S63〇的詳細内 容係與前述實施例中的步驟S41〇〜S43〇相同或相似，在此 不再贅述。 與前述實施例不同的是，本實施例係在處理單元33〇 =測-出各個像素的深度資訊之後，進-步比較這些像素的 冰度資訊，以辨識出左眼影像及右眼影像中的至少一個物 件（步驟S640)。其中，由處理單元33〇所辨識出的各個 • 牛均具有沬度資訊相近的多個相鄰像素.，而所謂的深度 為efl相近即疋}曰物件中的各個相鄰像素彼此之間的深度資 訊，暴，小於一個預設值，而具有此種特徵的影像區塊合 理認為是:個獨立的物件。此外’在本發明的另一實施例 處理單元33〇更可同時參考各個像素的像素值，來辨 識影像中的物件，例如藉由互相連接之像素區塊的輪廊來 辨識物件，本實施例不限定其實施方式。 接著，處理單元330即針對所辨識出的各個物件，計 201216203 Αΐ^κζυιυ-υ22 35422twf.doc/n

算其模糊程度（步驟S650)，並依據左鏡頭310及右鏡頭 320的焦距以及所計算各個物件的模糊程度，對左眼影像 或右眼影像中的對應物件進行擴大模糊化的處理，以獲得 淺景深影像（步驟S660)。其中，處理單元330例如是依 據左鏡頭310及右鏡頭320的焦距求得對焦平面，而依照 各個物件的深度資訊，對位於對焦平面外的物件進行擴大 模糊化處理，並維持對焦平面内之物件的清晰程度。上述 擴大模糊化物件的程度例如是與所計算該物件的模糊程度 呈正比，意即，愈不模糊的物件模糊化程度愈輕，愈模糊 的物件則加重模糊化，藉此即可獲得較佳的淺景深效果。 ^綜上所述，本發明的產生淺景深影像的方法及裴置因 採用立體成像系統所拍攝的左右眼影像來估測影像中像素 或物件的深度資訊，因此可獲得準確的深度資訊估測結 ，，而將此結果應用在影像的模糊化上，則可獲得較佳^ 淺景深效果，而大幅提高虛擬淺景深影像的真實性。

雖然本發明已以實施例揭露如上，然其並非用以限定 本發明，任何所屬技術領域中具有通常知識者，在不脫離 本發明之精神和範㈣’當可作些許之更動與潤飾，故 發明之保護範圍當視後附之申請專利範圍所界定者為準。 【圖式簡單說明】 立體成像系 圖1是依照本發明一實施例所繪示之利用 統拍攝影像的範例。 圖2(a)〜(C)是依照本發明一實施例所繪示之利用立體 12 201216203 ru^rv^vi 0-022 35422twf.doc/n 成像系統拍攝影像的範例。 圖3是依照本發明一實 的裝置方塊圖。 彳所繪示之產生淺景深影像 圖4是依照本發明一 的方法流程圖。 實施例所纟會示之產线景深影像

圖5是依照本發明一 素的方法流程圖。 圖6是依照本發明一 的方法流程圖。 實施例所繪示之模糊化影像中像 實施例所繪示之產生淺景深影像 【主要元件符號說明】 102、104、106 :物件 110、310 :左鏡頭 120、320 :右鏡頭 210a〜230a、210b〜230b、210〜:230 :影像 300 :拍攝裝置 330 :處理單元 S410〜S440 :本發明一實施例之產生淺景深影像的方 法步驟 S510〜S530 :本發明一實施例之模糊化影像中像素的 方法步驟 S610〜S660 :本發明一實施例之產生淺景深影像的方 法步驟

Claims (1)

1. 201216203 ai,j^uiu-u22 35422twf.doc/n 七 申請專利範圍： 及-錢景深影_妓，翻於包括—左鏡頭 右^^的田一立體成像系統，該方法包括下列步驟： 右眼^該左鏡駄該錢獅攝—左眼影像及一 各該目嶋編之多個像素中 左魏及該錢翻攝社㈣像及該右眼 兮此推4、距該左鏡頭及該右鏡頭的—鏡頭間距以及各 〜㈣㈣縣，估測各該些像素的_深度資訊；以及 傍去2該左鏡頭及該右鏡頭的該焦距以及所估測該些 深度資訊’模糊化該左眼影像或該右眼影像中的該 二像素，以獲得一淺景深影像。 2，·如申請，利範圍第1項所述之產生淺景深影像的 •，其中計算該左眼影像及該右眼影像相對應之該些像 ，、中各該些像素的該像差的步驟包括： 位依該些像素在該左眼影像及該右眼影像中的一 立置’计鼻各該些像素在該左眼影像及該右眼影像中的— 位移，以作為該像差。 方去3·如申請專利範圍第1項所述之產生淺景深影像的 A 其中依據該左鏡頭及該右鏡頭的該焦距以及所估測 °亥些像素的深度資訊’模糊化該左眼影像或該右眼影像中 的該些像素’以獲得該淺景深影像的步驟包括♦· 利用該焦距求得一對焦平面； 14 201216翌——n 面的的深度資訊’計算該像素與該對焦平 素，對焦平面的該距離，模糊化該像 方法述之產^景深影像的 焦平面的該轉呈正度無計算該像素與該對 方法專簡圍第1項所述之產生淺景深影像的 更包括Υ ㈤各該些像素的該深度資訊的步驟之後， 比較該些像素的深度資 眼影像中的至少—祕场⑽左眼⑹像及該右 ^ . 物件，其中各該至少一物件具有深度資 訊相近的多個相鄰像素。 方法請專利範_ 5销述之產线妓影像的 一差信Ϊ各該至少一物件中該些相鄰像素之深度資訊的 值小於一預設值。 方法^申請專利範圍第5項所述之產生淺景深影像的 估、、則誃^依據該左鏡頭及該右鏡頭拍攝的該焦距以及所 像中=像素崎度#訊’麵化社㈣像或該右眼影 」It些像素，以獲得該淺景深影像的步驟更包括： 十算各該至少一物件的一模糊程度；以及 的該據邊左鏡頭及該右鏡頭拍攝的該焦距以及該物件 命物牲糊程度，擴大模糊化該左眼影像或該右眼影像中的 以件，以獲得該淺景深影像。 2012162p32235422twfdoc/n 8. 如申請專现圍第7項所述之產錢景深影像的 方法，其中擴大模糊化該物件的一程度與所計算該物件的 該模糊程度呈正比。 9. 一種產生淺景深影像的裝置，包括： 一左鏡頭，拍攝一左眼影像； 一右鏡頭，拍攝一右眼影像，其中該左鏡頭及該右鏡 頭具有一鏡頭間距；以及 一處理單元，耦接該左鏡頭及該右鏡頭，計算該左眼 影像及該右眼影像相對應之多個像素中各該些像素的一 ^ 差，並依據該左鏡頭及該右鏡頭拍攝該左眼影像及該右眼 影像的一焦距、該左鏡頭及該右鏡頭的一鏡頭間距=及^ 該些像素的該像差，估測各該些像素的一深度資訊，以及 依據該左鏡頭及該右鏡頭的該焦距以及該些像素的深产資 訊，模糊化該左眼影像或該右眼影像中的該此冰=二 得-淺景深影像。 ϋ轉 '如中請專利範圍第9項所述之產生淺景深影像的 裝置，其中該處理單元更包括比較該些像素的深度資訊， 以辨識該左眼影像及該右眼影像中的至少—物件，並I十瞀 各該至少-物件的—模糊程度，而據以擴大模糊化該= 影像或該右眼影像中的該物件，以獲得該淺 = =辨識之各該至少一物件具有深度資訊相近 16