TW200913673A - Device and method for obtain a clear image - Google Patents

Description

200913673 九、發明說明： 【發明所屬之技術領域】 本發明係關於一種影像處理方法’且特別是一種將多張不同 景深之影像合成為單張清晰影像的影像處理方法。 【先前技術】 所謂景深，就是當焦距對準於一點時，聚焦點前後清晰可辨 的範圍。景深與光圈、鏡頭、及拍攝點與拍攝物距離有關：當光 圈大時景深越淺，當光圈小時景深越深；當鏡頭焦距越長景深越 淺，反之景深越深；當越靠近拍攝物，所攝得景深越淺，反之景 深越深。其中，改變光圈大小為調整景深大小深淺最直接、有效 的方式。拍照時，若想要突顯拍攝之人物模糊周圍景色，則選用 較大光圈取得較淺景深；相反的’若要拍攝風钱建築物，則選 用較小光圈取得較深景深即可轉得前後景物皆清晰之影像。 隨著數位減零組體造縣日趨絲發展，諸如行動i 話、個人數位助理⑽）、MP3隨身聽、筆記型電腦等電子裝置p 嵌數位相機池，肋讓賴者享魏時隨地賴景物的樂趣 這類電子妓設計上需符合體積_短小、便利攜帶，以及㊉ ==操作之需求，因此大多數的電子裝置⑽之數蝴 松、、且夕半為駄細、固定細喊賴組。 位相機模組為符合拍攝近物及遠物 子，之1 積=^鏡願_整統，対财增加數 如 置的數位相機模組仍舊採用蚊光圈，其理由騎固 200913673 多葉片設計及馬達牽引等方式控制光圈大小，較固定光圈的數位 相機模組侧空間。然而，使用者對這_子裝置所拍攝之影像 品質的要求日織昇，大部分的翻麵望賴電子裝置的數位 相機模組能打破景深的技術瓶頸，達到可調整景深以取得前景/ 或全域清晰之影像。部麵解決方案為將錄抑妓影像合成 為全域清晰之影像，如中華人民共和國專利公告號第⑽娜似 號係將影像劃分為數個區塊，經過「非降採樣小波分解」將 =頻率域’並依據區塊的局部對比_麵塊紐晰區塊或模 2區t ’最後取兩張影像中清晰區塊部分·為單—張清晰影 眢=法的缺點為將數位影像由空間域轉換為頻率域相當耗費計 ”貝源，且職合錢存在_貞的f彡像輕(f彡像雜彳㈣^ 或模糊），使此影像看起來較不自然。透'U像邊界處〜別清晰 【發明内容】 明之使無法難拍攝翁景深之_，本發 像，達到像之清晰部分為單一清晰影 使用丁艾先圈亦可調整影像景深之功效。 數位述目的，本發明之合成清晰影像方法透過電子穿置之 數位㈣處理_)晶片或微處驾 奸裝置之 之第-、第二數位影像為第三數，距拍攝 執行邊緣糊=t 分卿分域_塊。步驟b. 二數位數位影像之第—邊緣景_ 1豕〈弟_邊緣影像。步驟e 二邊緣影像之相應區塊的影 比對弟—邊緣影像與第 緣貝讯。步驟d.取出包含較多影 200913673 像邊緣資訊者為 影像。 /月晰區塊。步驟e.合併這些清晰區塊為第三數位 ’.、上叙邊緣偵測之技術，例如是梯度量值（Gradient agnnude)^ ^f^„(Laplacian)^ ^ (Tengengrad)^ , 及一維水平濾波⑼H〇rizontai Filter)法。 依知本發日崎交佳實_所叙合成清晰影像方法，兩相應 區塊映射之邊緣影像中可能包含等量的影像邊緣資訊。因此，本 2成清晰料方法更包括取出這些包含等量影㈣緣資訊的區 i =將：^些區賴分出更細小的數個交界子區塊。之後，再次 針對第-、第二触影像巾的械較界子區塊執行上述步 驟b至步驟d之動作，以赫存在之明顯影像邊界。 偶右乂界子區塊再行合成清晰影像之各步驟後，仍舊存在明 顯影像邊界’則進-步執行影像邊界處理程序。此程序包括：取 出具有等量影像邊緣f訊之相應_塊(或交界子區塊)，並計算這 些相應的區塊(歧界子區塊)中每—像素之灰輯訊;及逐一比對 由這些像素及鄰接像素(即像素所在位置之上、下、左、右、左上、 左下、右上、右下等八個純之像素)計算歧階#訊量級，並取 出具有相㈣較大灰階f訊之像素作為第三數位影像巾影像邊界 之像素。其巾，灰度資賴計算方式所㈣如柄算像素與鄰接 像素之間的麵㈣量(㈣Levd Varianee)法、標準差⑶她^ Deviation)、差距係數總和(Sum ModuIus Difference)、像素灰階平 均值(Mean of Pixels' Grey-Level)或灰階能量(Gray Levd Ene@y)。 由上所述，本發·祕㈣焦狀數姆賴分為多麵 200913673 行邊緣偵測，藉由取出區塊映射位置 影像，以綱崎—像素的灰度資 然，因此部修補使影像觀感較為自 右 亦此6 周整拍攝所得影像景深之效。 細說明如實作’兹配合圖示在實施方式中詳 *内、I足以使任何熟f相關技藝者了解本發明之技 1”ΓΓ魏，且根據本說日_揭__式，任何 =相關技勢者可㈣地理解本發明相關之目 【實施方式】 本毛月之目的及其貫現的方法在下列較佳實施例中詳細說明 之，、、、而本發明之概念亦可用於其他範圍。以下列舉之實施例僅 用於說:本發明之目的與執行方法，麟用以關其範圍。 第1圖」為本發日錢佳實關之合成清晰影像方法流程 圖。月翏知、第1圖」’在本實施例中，内絲位相機模組的電子 裝置(如摘電話或個人數位助理PDA)_如f磁力等物理牵引 原理調整f、距輯得兩張不H距之影像，並透勒部之數位信 號處理（Digital Signal Processor，Dsp)晶片或微處理器 (Mi—證,MPU)執行本合成清晰影像方法，本合成清晰影^ 方法包括下列步驟： 步驟a.將第-触影像及第二触影像分糊分為數個區 塊(S110); 步驟b.執行邊緣偵測手段，分別取得第一數位影像之第一 邊緣影像及第二數位影像之苐二邊緣影像(s〗2〇); 200913673 步驟C.逐一比對第一邊緣影像與第二邊緣影像之相應區塊 的影像邊緣資訊(S130); 步驟d·取出包含較多影像邊緣資訊者為清晰區塊；以及 步驟e•合併這些清晰區塊為第三數位影像(S140)。 使用者可經由電子裝置的使用者介面設定區塊之大小，或依 據電子裝置預設之區塊尺寸來分割拍攝之第一、第二數位影像。 舉例來說，拍攝之影像像素為_*_且殺之區塊尺寸為4〇*3〇 像素則可劃分出4〇〇個區塊。第一、第二數位影像劃分完成後， 透迻DSP阳片或微處理器對此第一、第二數位影像進行邊緣偵 ’則所明邊緣即為影像的不同灰階特徵，就像是素描時勾勒物體 之邊線。諸如透過··梯度量值(Gmdient Magnitude)、拉普拉斯 (aplacian)法、取大梯度（Tenge嗯吨法、及一維水平遽波⑽ —lFliter)法皆可用以取得邊緣影像，在此不限制其範圍。 像之种€麟透過梯度量值、或拉普減法取得邊緣影 梯度晉傕 第一 向梯Sr影像的每一像素值形成之矩陣乘上水平及垂直方

Sobel運算子，梯 r rt铜财值，雜縣—《之梯度歸製出 度其中梯度運算子例如為 -1 -2 -1 水平方向梯度運嘗 9 200913673 -1 - 2 0 0 0 1 2 垂直方向梯度運算子: 拉普拉斯 個別將第一、笫-奴/… 製出第 拉普拉斯運算子；；:像每一像素卿成的矩陣與-纏的 一 疋積(C〇nV〇i此㈨之後，亦可攄以猞 、一邊緣影像，拉普拉斯運算何絲如T :、曰 拉普拉斯運算子(】)= ~4 〇1 或 厂1 拉普拉斯運算子(2)=1/3 將第-、二數位影像之像素所形成之矩阵與拉普拉斯運算子⑴或 拉普摘運算子(2)計算旋積皆谓_之第_、二邊緣影像。 虽取得第-、第二邊緣影像之後，接著逐次取出第_、第二 數位心像中相應的區塊，並比對這些區塊映射至第―、第二邊緣 影，位置的影像邊緣資訊多寡。判斷影像邊緣:#訊多募之方式例 如疋將該H塊每—像素的梯度值相加，並比對第_、第二數位影 像中相應的兩區塊，取出具有較高總和的區塊當作較為清晰之區 鬼般而5，影像經過邊緣偵測處理後，較模糊區塊的梯度值 總和較小，較清晰區塊的梯度值總和較大。因此，可用以比對兩 相應區塊中，哪一區塊為較清晰之區塊。 在本較佳實施例中，總和較大的區塊代表具有較多的邊緣資 汛，故選作為較清晰之區塊。當決定第一、第二數位影像中每一 10 200913673 個相應區塊中的「清晰區塊」後，將這些清晰區塊，依相應之座 標位置整合為-張第三數位影像。然而，在選取「清樞塊」時， 可忐會因為兩相應區塊具有等量的邊緣資訊，致使無法判定何者 為「清晰區塊」。若隨機擇一作為「清晰區塊」，則可能導致兩影 像融合之交界處模糊之缺點。為克服交界處(即交界區塊)模糊之缺 點，更執行下列步驟： 首先，取出第一、第二影像中具有等量影像邊緣資訊的相應 區塊為交界區塊，並計算第一、第二影像的交界區塊中每一像素 的灰度資訊。本實施例是計算像素與其鄰接像素的灰階變異量 (Gray Level Variance)計算出像素的灰度資訊，其他諸如：標準差 (Standard Deviation)法、差距係數總和(SumM〇dulus Ditference)、 像素灰階平均值（Mean of Pixels，Grey-Level)、或灰階能量(Gray Level Energy)皆可計算出像素的灰度資訊。舉例來說，若第一數 位影像中座標(2,2)的像素灰階值為2〇〇,其鄰接像素座標及灰階值 依序為（1,1，150)、（1，2,150)、（1，3，150)、（2，1，150)、（2,3，150)、 (3，1，150)、（3,2,200)、及(3,3,200),若灰度資訊所指為像素與鄰接 像素之像素灰)¾平均值（Mean of Pixels' Grey-Level)，經計算後可 传該像素之灰度質訊為(2,2,167)。之後，逐一比較第一、第二數位 影像中的交界區塊中的每一個像素之灰度資訊，並取出具相等或 較大灰度資訊之像素作為第三數位影像中交界區塊之像素。 在一實施例’合成清晰影像方法之步驟d(取出包含較多影像 邊緣資訊者為清晰區塊），更包括將前述之交界區塊劃分為較小的 交界子區塊，以避免因為區塊選取過大導致第―、第二影像之交 200913673 界區塊過多而影響第三數位影 影像的清晰區塊、模糊'又田f疋出第―、第二 兄域Q塊、及交界區塊後，進—八― 弟二影像的交界區塊為數個交界子區塊，二 中對應的這些交界子區塊，執行前述步Μ至^=影相 區塊1複執行前述步驟b至d :界 間的交界區塊區域。當縮 ^一兩衫像之 區塊執爾 的灰度資贱妓塊之麵之綠），細财 =r服繼合時交編㈣法以敘述於^= 另-較佳實施例說明。「第 圖」’在本錄細 一太 电千裝置例如為仃動電話200， ==Γ__、㈣—模組= 攝中^攝㈣22G(㈣嵌歧軸難組)係具扣 攝衫模組，可_如機械手段'電磁力等物理手段或是其他等效 整焦距，以便在攝取影像時由系統自動地拍攝不同 I 數位影像；而微處理器210誠於電子裝置，並執行 ^合成清晰影像方法之各步驟(步驟a至步驟e)，以掘取兩張不 5…、距的數位影像巾的清晰部分合成為單—騎幡域較廣 位影像，翻嫩_縣慨深，使影紅景深更輕遠之功 效。 第3A圖」為本發明另一較佳實施例中，電子裝置所攝得 12 200913673 行動電話或個人數位助謂A)拍攝不同焦距之兩張數 第—數位影像310及第二數位影物 /、中弟1讀31Q妓於寶特瓶罐，因此財景物較為产 晰’而後方不物(如螢幕字體)較為模糊；第二數位影像汹聚: 螢幕’因此吾人發現第二數位影像32 :、、； 像的螢幕雜柄。 數位影 電子裝置接收第一、第二位影像(31〇、綱後，執行前述步 驟a至步驟d之動作’而制如「第3β圖」之清晰區塊選取示音 圖。請蒼照「第3B圖」，第一數位影像清晰區塊分布細及^ 數位影像清晰區塊分布細的藍色標記區塊為清晰區塊，: 記區塊為模糊區塊，轉色標記區塊為第―、第二數位影像融二 時的交界區塊。此時’再進-步分析交界區塊(即綠色標記區· 而選取第-1二數位潍較·塊巾灰妓贿大的像素作 為清晰像素，交界區塊中的清晰像素選取步驟概再作說明。杏 標記第一、第二數位影像劃分_塊後，擷取第-數位影像清: 區塊分布33〇之藍色標記區塊及綠色標記區塊中選定的清晰像素 對應到第:數位影像310部分，及擷取第二數位影像清晰區塊分 布=4〇之監色標記區塊及綠色標記區塊中選定的清晰像素對應到 第-數位影像320部分而融合為第三數位影像35〇(如「第圖 融合後影像示意圖所示）。 °」 前述交界區塊(即「第犯圖」中的綠色標記區塊)的清晰像素 選取^驟包括：錢，取出第―、第二數位影像之相應區境中， 具有等1景彡像邊緣讀的區塊為交界區塊，並計算這些交界區塊 13 200913673 的每-像钱灰度資訊。灰度資訊的計算方式吨雜前，在此 不再敘述。之後，取出該第-、第二數位影像之該些相應區塊令 的相錢較大灰度資訊之像素作為該第三數位影像中影像邊界之 像素。本較佳實施例是透過計算每一個像素與其鄰接的八個像素 之=的灰階量(Gray Levd Varianee)作麵度賢雜，其他諸 如標準差(Standard Deviate)、差距係數總和(s_ m_us

Difference) > mm^(Mean ofPiXQW Qrey-Level) ^ 能量㈣LeveIEnergy博方式亦可求得此灰度資訊值在此不限 制其範圍。魏上述步驟，即可修補兩張影像進行影像融合時， 交界處存在蝴綺晰馳不均的聽，使轉的影像之觀感較 為自然。 承上，當第-、第二數位影像進行影像融合時，若第一、第 二數位影像沒有交界輯(即不存在如「第3β圖」㈣綠色和己 區塊)時’絲示直接藉由比對影像邊緣資訊大小即可區別出兩張 數位影像中的清幅塊。此時，#财需再標記交界區塊中的清 晰雜’，接將第-、第二數位影像中的清晰區塊(如「第3β圖」 中弟一、第二數位影像清晰區塊分布(33〇、34〇)中的藍色標記區塊） 融合為弟三触影像，即可_全域清_數位影像。 為證明本發明之合成清晰影像方法確實可生成景深深遠之夺 像，且執行速度與影像合成後之清晰度皆優於目前影像融合之技 術，特以兩張不同焦距拍攝之影像同時測試本發明之合成清晰影 像以及中華人民共和國專利公告號第CNHCmWA號(以下稱為 對比技術)揭露之採用「非降採樣小波分解」技術之影像融合方法 14 200913673 之效能。評估效能之標的為計算本案融合後影像之各像素的RGB 值方均根差值(Mean Square Error, MSE)及共同資訊(Mutual Information，MI) ’方均根差值及共同資訊算式詳列於下： 方均根差值=11丨 i=i j~) Μ :輸入影像寬(像素） N :輸入影像高(像素） F' (i，j):融合後影像 F(I，j) ·參考影像 共同資訊 <=1 W PR^)Px{j) ln :灰階度 R:參考影像 X:融合後影像

Pr，x :參考影像及融合後影像之灰階統計 Pr :參考影像中未選擇之像素數目 Ρχ ··融合後影像中未選擇之像素數目 〜經測試後發現’若設定區塊大小為16*16像素，則本發明測 4的MSE為0.1318優於對比技術之〇 l522(MSE值越小效能越優 良）’而本發明之Mi值為4.6〇77優於對比技術之（π2寧值越 大效能越優良）。雜定區塊大小為奶2像素，則本發明測得的 MSE為0.2666優於對比技術之〇 3〇11，本發明之值為4.侧6 優於對比技術之4.4604。 知上所述’本發明透過邊緣細取得影像之邊緣資訊，藉由 15 200913673 比對邊緣資訊完整性(或邊緣資訊多 數個區塊，_合併為單—騎 、兩影料較清晰的 各像素之峨吻行細部===比對影像邊界的 並至少有以下優點： 史正張衫像趨於全域清晰， ι_不需額外添力姻職光_元件 數位相機元件即可控制不同景深影像之生成/取得:、鏡頭，以現有 ^ 料，使用者觸得影像錢感較為自然。 產生的放恤顯_(即鏡頭所 修正輸出清晰成像。揭露之合成清晰影像方法加以 雖然本發_ _之健實施例揭露如 上’然其並非用以限 之精神和範圍 疋本發明，任何熟習相像技藝者，在不稅離本發明 動=飾’均屬本發明之專海護範圍，因此本發 準。…觀廣視本說明書所附之申請專利範圍所界定者為 【圖式簡單說明】 =圖為本發明較佳實施例之合成清晰影像方法流程圖。 〜圖為本發明另—較佳實施例之電子裝置示意圖。 、弟3a圖為本發明另-較佳實施例中，電子裝置所攝得之參 f B圖為第SA圖之清晰區塊選取示意圖。 弟3c圖為第SA圖之融合後影像示意圖。 L主要元件符號說明】 16 200913673 sn〇將第一數位影像及第二數位影像分聊 ⑽執行邊緣偵測手段，分別取得第一數 ^區塊’· 影像及第二數位影像之第二邊緣影像； 邊緣 逐比對第一邊緣影像與第二邊緣影像之相應區塊的 影像邊緣資訊； S140 取出包含較乡影像邊料訊者為清晰區塊 S150 合併這些清晰區塊為第三數位影像。 200 行動電話 210 微處理器 220 拍攝模組 230 RF模組 240 通話模組 310 第一數位影像 320 第二數位影像 330 第一數位影像清晰區塊分布 340 第二數位影像清晰區塊分布 350 第三數位影像 17

Claims (1)

1. 200913673 十、申请專利範圍： ,成’月晰衫像方法，係透過一數位信號處理(DSp)晶片或 一 m理ϋ執行該清晰影像合成方法，以融合兩鮮同焦距拍 ，之-第-數位影像及—第二數位影像為清晰之—第三數位 ’Ϊ、/像該5成清晰影像方法包括下列步驟： ⑻將該® -數位影像及該第二數位影像分麵分為複數 個區塊； 〇))執行—邊緣偵測手段’分別取得該第—數位影像之第 -邊緣影像及該第二數位影像之第二邊緣影像； (C)逐一比對該第一邊緣影像與該第二邊緣影像之相應區 塊的影像邊緣資訊； (d) 取出包含較多影像邊緣資訊者設為一清晰區塊；以及 (e) 合併該些清晰區塊為該第三數位影像。 2. 如申睛專利範圍第1項所述之合成清晰影像方法，其中該邊緣 偵測手段係選自於由梯度量值(GradiemMagnitude)法、拉普拉 斯(Laplacian)法、最大梯度(Tengengrad)法、及一維水平濾波(1D Horizontal Filter)法所組成的群組。 3. 如申請專利範圍第1項所述之合成清晰影像方法，該步驟4更 包括： 取出該第一、第二數位影像中具有等量影像邊緣資訊之該 些相應的區塊為交界區塊； 計算該第一、第二數位影像之該些交界區塊中每一像素之 18 200913673 灰度資訊；及 取出該第一、第二數位影像之該些相應區塊中的相等或較 大灰度資訊之像素作為該第三數位影像中影像邊界之像素。 4. 如申請專利範圍第3項所述之合成清晰影像方法’其中該灰度 資訊的計算方式係選自於逐一計算每一像素與其鄰接像素之 間的灰階變異量(Gray Level Variance)法、標準差(Standard Deviation)法、差距係數總和(Sum Modulus Difference)、像素灰 階平均值（Mean of Pixels’ Grey-Level)、及灰階能量(Gray Level Energy)法所組成的群組。 5. 如申請專利範圍第1項所述之合成清晰影像方法，該步驟d更 包括： 取出具有等量影像邊緣資訊之該些相應區塊為交界區塊； 劃分該些交界區塊為複數個交界子區塊；以及 針對該些交界子區塊執行該合成清晰影像方法之步驟c至 步驟d。 6. -種合成清晰影像的f子裝置，子裝置可將不同焦距之該 第-、第二數位影像融合為該第三數位影像，該電子裝置包括： 一具有固定細之拍攝模組，可自動地分酬不同焦距拍 攝該第-數位影像及該第二數位影像；以及 一影像處黯，喊於該電子裝置，肋執行下列步驟： ⑻將該第一數位影像及該第二數位影像分賴分為 複數個區塊； (b)執行該觀_手段，相取得鮮—數位影像 19 200913673 之第-邊緣影像及該第二數位影像之第二邊緣影像； ⑻逐一比對該第—邊緣影像與該第二邊緣影像之相 應區塊的影像邊緣資訊； ⑼取出包含較多影像邊緣資訊者為清晰區塊；以及 (e)合併該些清晰區塊為該第三數位影像。 7. 如申請補麵第6項所述之電抒置，其巾該邊緣_手段 係選自於由梯度量值(Gradient Magnitude)法、拉#㈣ (Laplacian)法、最大梯度(Tengengrad)法、及一維水平滤波⑽ Horizontal Filter)法所組成的群組。 8. 如申請專利範圍第6項所述之電子裝置，其中該影像處理器更 包括執行下列程序： 取出該第-、第二數位影像中具有等量影像邊緣資訊之該 些相應的區塊為交界區塊； 計算該第一、第二數位影像之該些交界區塊中每一像素之 灰度資訊；及 取出該第一、第二數位影像之該些相應區塊中的相等或較 大灰度資訊之像素作為該第三數位影像中影像邊界之像素。 9. 如申請專利範圍第8項所述之電子裝置，其中該灰度資訊的計 算方式係選自於逐一計算每一像素與其鄰接像素之間的灰階 麦異里(Gray Level Variance)法、標準差(Standard Deviation) 法、差距係數總和(Sum Modulus Difference)、像素灰階平均值 (Mean of Pixels’ Grey-Level )、及灰階能量(Gray Level Energy) 法所組成的群組。 20 200913673 10.如申請專利範圍第 執行下列步驟： 6項所述之電子裝置，其中該影像處理器更 取出具有等量影像邊緣資訊之該些相應的區塊； 將對應至該第一、第二數位影像之該些區塊，再次劃分出 複數個交界子區塊；以及 針對該第一、第二數位影像之該些交界子區塊執行該步驟 c至步驟d。 21