TWI376945B - - Google Patents

Description

Ϊ376945 九、發明說明： 【發明所屬之技術領域】 種對於數位影像的處理方法，特別是有關於修正因為手震 模糊的數位影像處理方法。 【先前技術】 在數位相機發展快速的今天，許多人會利用攝影來記錄值得 紀念的一刻。但無論在底片相機或數位相機上，往往會因為使用 者對相機把财穩定’而導致拍攝啦生模糊影像。只要是徒手 拿=相機’多多少少都存在著震動的問題。差別是每個人手持的 穩定程度均有所不同，導致按下快門賴會不自主的位移。所以 為了避免®為手震而使得拍攝產生模糊影像，數位相機薇商會透 過硬體方式來較手震或讀财絲職正已模_數位影 所以在每-家數位相機廠商在自家的產品中，均加入不同的 a震卿时震機制是要在拍攝過程巾，侧並抑制因為手 太、成的"^像㈣現象。防手震技齡要透過硬體或軟體 的方式來達成。 =體的料-般都是彻感光元件时震以及機械式防手 ^兀件防手震係為提 月J凡成動作，但提高iS〇同時也會帶來更高的 5 雜訊。而機械式防手震係在數 數位相機债測到發生手_2相機中設置一運動偵測元件。當 將鏡頭移向反方向，二3二Μ減會根據手震的方向來 -種防手震枝係放大 為鄉所造成的影像模糊。另外 門時間。但是光圈大:::::頭:以增力―縮-,^ 、於鏡碩組的組合架構。一般而士， =Γ—本與體積，-設-咖 【發明内容】 鑒於以上的問題，本翻的 模糊的數位影像修正方，；/、一種修正手震 的影像模糊。 _於數位相機在拍攝時手震所造成 下列=月正手震模糊的數位影像修正方法，更包括 八卿敕目躺安讀門_;進行曝_整程序， 刀糊正數位相機的光圈大 整後之快_;進行拍攝二 像補償輕序，將這些數位影像中相象的^些數位影像執行影 一對齊，並將這些每一個料逐^的衫像物件將對應的像素逐 本發明係提出以產生一輪出影像。 像之修正方法。样攝响㈣生的模糊影 域來對模__神=^ 触影財擷取相似的區 心像的修補，错以產生新的合成影像。透過 相二=影像來對其修高峨。 明如=本發啊魏與㈣，聽合_作最佳f補詳細說 【實施方式】 手='「_」所示’其係、為本發明之運作_。修正 ==位影像處理方法中包括以下步驟:首先，取得數位 :=__叫__程序，分別調整 與感枝，並觸取得數位相機調整後之快 門·" 2G)。進仃拍攝程序(步驟_。判斷相機快門時 ^否小於安全快Η(步驟_)。若數位相機之快門時間小 全快_，___像(步驟⑽）。 ^據這些触f彡行雜職料，將這些触 輸出影像(步驟S150)。 部運解說每—步驟之運作，以下將針對個別步驟進行細 iti 8110'5 r ISO Γ ^(Intemati〇nal 〇rgani— ^ Stand.dizatlon,, 使冉用者決定。安全_的是小於此，時間時， 使用者發生手㈣機率會最小。—般而言，安全快Η的設定係為 焦長之倒數。舉例來說，若鏡頭的焦長為5〇_時 為⑽)秒。㈣㈣臟侧目_蝴門時間= 的r門之亦，、除此之外’數位相機的光圈值也會影響安全快門 :::二為在相同的快門時間，較大光圈值的入光量比小光圈 讀的高，使得數位相機可以在更短的快門時間中完成 動作。 機可以利用較短時間的快門進行拍攝的 機根時的相應安全快門後，數位相 係為曝光調整程序之運作sut考「第1b圖」所示，其 包括以下步驟：rr,rr 本魏财曝細整程序中 間判斷其是否小於 S121)。根據縮短後的快門時 間小於安全快Η時^ (步驟S122)。若縮短後的快門時 安全快門時，仃铸S13G。若驗後的簡時間大於 縮短後的快門快門時間(步驟嘲。根據 縮短後的快二，侧__ s叫若 門時間(步_5)。 _，則調整感光值用以縮短快 根據步驟S125之έ士屏古丨链 快門。若是師猶_物如、於安全 拍攝單張影像。若是快門:二=订拍攝程序’則數位相機 的快門速度決定拍攝數位影像的張數： 大於兩倍的安全快門㈣I m兄’右是快門時間 門㈣’則拍攝至少兩張數位影像；若是快門 ==四倍的安全_間，則在此—,__至少四張 ==影像。料快門時社於安全快門時，數位 率會提高。本實施例在此-快門時間中分別拍攝複數張 :像’並雜這錄位影像執行影_償程序。 ^別需要朗的是，本實_中所採用的數位影像係由减光 =:影像(RA，_播包含兩種類型的資訊:影 拍；==㈣資料一•中繼資料就是崎 ㈣ 的諸」。舉例來說，不論是_檔或咖 田木’都包含EXIF的中繼資料，其中包括： 大二有沒有亮······等資訊。^ 除此之:有史疋會影響槽：光圈、快門與感光度。 “者都可以在轉換過程做各種控制：不 闡釋或色彩、階調與細節（銳利化與雜訊處理）的處理，㈣ 很大^性的，馳間。甚至侧刪光娜重新做轉。 請麥考「第lc圖」所示，其係為影像補償程序之 =補償_ _下步驟：在步驟⑽所_安全 間中的第-時嶋第，mm ^ 鄉將第—f_:罐概㈣驟 者:間決定-者絲礎影像另_者為比縣物驟2；。’=兩 先〜計算辦(娜S153),用崎絲礎咖丁 同影像物件之每-像素位置，並產生_像 9 1376945 得到的安全快Π時間，判斷是否重複執行步則1M〜步驟si研步 驟 S154) 〇 7 請參考「第W圖」所示，其係為邊界模糊積測手段之運作流 程圖。在步驟S152中所述的邊界模糊偵測手段中更包括以下= 驟：分別對第-影像與第二影像進行區域對焦手段(步驟si52i)^ 分別比對[與第二影像之區域對焦、中的邊界輯值是否符 合邊界門檻值(步驟S1522)。若第-影像與第二影像之邊界對比: 之任-大於邊界值，則選擇邊界對比值最大者作為基卿 像三另-者則為比對影像(步驟S1523)。若第一影像之邊界對比值 與第二影像之邊界對比值均小於邊界門魏的話，重新執行操取 第一影像與第二影像(步驟S1524)。 、 請參考「第_卿’其縣极計算⑽之運作流 f153情賴轉謝她T卿：設定第— 礎影像之部分影像。第二選取取以選取基 德Ρ 取視用以廷取比對影像之部分影 ，弟一選取視窗小於第二選取視窗。計算 第二選取視窗中相應位置的像素之位置偏 k W對 每-位置偏移量從比對影像 二^驟阳32)。根據 每-像素(步驟⑽3)。妨中相同影像物件之 除比對影料餘梅㈣邱’用以去 像素與基礎料中钱㈣赠素。將這些 驟 置的像W $合產生輸出影像（步 1376945 S1535)。 7楚綱本實施财㈣像補償料之運作綠，在此以 彻為說明，其中物的各項設定麵僅 不，所以在此合細。假設安全快_係為職秒，^ 所m , b、門㈣大於兩倍的安全快門時間， 斤乂本貫施例巾設定在朗時間中拍攝兩張 —時間與第二時間中拍攝第-影像與第二影像/刀別於第 ό月另外配合「弟2圖丨所干，曾於达^、 舉· =為:12◦秒的第-時間 =:邊界_測手段’在兩者之間決定-者為基 中，數位相機執行邊界模糊偵測手 ⑽)。分別比對第—影像之邊界比 二=步驟 中的if界ί：卜餅佶β不Μ A '、弟〜像之區域對焦 疋付5邊界門檻值(對應步驟S1522)。邊凡比對 ，的是對焦時對於影像物件間的交界清晰度。若找== =界__話，_對比，管'真 界對比值可料像鱗邊界_距寬 : =第-影像:1與第二影像2i2之邊界對比值。夂== Hi比叙與弟―影像之料對比值之任—大 話侧娜、者輪娜㈣ 1376945 應步戰sin3)。若第—影像之邊界對比健$二影像之邊界對比 值均小於邊界門植值輸’重新執行擷取第，影像與第二影 應步驟S1524)。 一 對比對影像與基礎影像執行絲計算’用以從輯影像中找 出相對於基礎影狀像賴在位置驗置偏料。找㈣^ 指的是數位影像中的影像物件在多張不同影像之移動位移 I °因為拍攝的過程中發生手震，使得輯影像與基礎影像中的 相同影像物料會絲於相同驗置±。在本實施例巾利用光户 計算用以聰_影像與基礎影像中相同影像物件的每—像素Γ 請配合「第le圖」，以下係為光流計算之詳細運作步驟:首 定第-選取視窗與設定第二選取視窗。第_選取視窗用以 像之部分影像。第二選取視f用以選取比對影像之部 =’？一選取視窗小於第二選取視窗。計算第-選取視窗

==窗中相應位置的像素之位置偏移量。在拍攝的過 紅口為手震的緣故，會使得基 一m e使付奴衫像311中的物件之像素位置不 比象312相同的像素位置上。所以為了能找出 比對二像312中與基礎影像311相同的物件之所在位置。 別為圖」'「第3b圖」與「第4圖」所示，其係分 像之示意圖、利用位置偏移量取代相應像素之 來::=、」中，在基礎影像中利用第-選取視_ k料部分的繼域；在「第㈣中，在嶋像中係利 12 1376945 用第二選取視窗314來選取其部分的影像區域。 其中，第一選取視窗313的圈選範圍係取決於第二選取視窗 314。第二選取視窗314中選定一個第二選取視窗子區域3141，第 -視窗子(1域3141的大小鱗同於第—選取視窗313。第二選取 視窗子區域3141分別依序且重疊的方式從第二選取視窗314中選 取各個區域。第-選取視窗313係從第二選取視f 314由左到右、 由上至下的方向進行選取。計算第二選取視窗子區域3141和第一 •選取窗313的相似度。相似度計算請參考式1，其係為第-選取視 ._在第二選取視窗中的第(i，j)像素與其周圍的像素的相似度計算：

Cost ~ Σ Σ (% · wij · I7! (^k+i, yl+j) -12 (x.m+i, yn+j )||) 式 i (AM):係為比對影像與基礎影像中具有相同影像物件之像素 位且’ Wy .第(i，j)像素的權重值； < :第⑼像素的雜訊濾波器； Ii ·係為比對影像；L :係為基礎影像。t c〇st值越小代表這兩個 -Φ 像素的相似度越高，換句話說，就是兩個像素越相似。特別值得 • 注意的是，在本實施例中更利用雜訊濾波器對雜訊像素進行其像 素值的調整。藉以避免之後在進行像素4合時，g為直接將雜訊 像素與原始像素疊加會導致疊加後的像素出現失真。當比對影像 (或基礎影像)的第(Xk，yi)個像素為雜訊像素時，則將 < 設為〇， 反之則將w/設為1。 舉例來說，假設第一選取視窗313係為5*5像素陣列；第二 遙取視窗3H係為9*9像素陣列。將第一選取視窗313係從第二 13 1376945 選取視窗314由左到右、由上至下的方向進行選取。並且逐—比 對第一選取視窗313相應於第二選取視窗314的像辛。在此 施例中需要對第二選取視窗314進行25回合的相似度計算。並得 到25個Cost值。再從25個Cost值中選取最小的c〇st值，將其 視為第二選取視窗相應於第一選取視窗的相同影像物件之像素。 重複的執行此-步驟，用以找出影像物件的其他相應位置的像素。 在本實施例巾係光流計算所產生的位置偏移量對比對影 #像犯的像素位置進行修正，用以找出在基礎影像中相應的 .像素。在基礎影像犯與比對影像M2中的相同影像像素係利用 斜紋方格作為代表。「第4圖」右方代表的是基礎影像3ιι與比對

影像312的相同像素的所在位置。請參考「第5圖」所示了其係 為產生位置偏移量之示意圖。 T 若是以座標值來解說的話，基礎影像311的相同像素位置 為(2，3) ’比對影像312的相同像素位置係為(4，5)。將比對影 312與基礎影像311的像素位置進行相減，可以得到比對影像= 對基礎影像311的像奴姆位置。兩者補錄的修正值係 (2，2)，其係代表將比對影像312的像素減掉修正_^_ 像311中相應像素位置。分別計算每一個比對影像M2對基声 像311的相對位置修正值，根據這些修正值從基礎影像3 出的像素。並將職㈣像素依相組合，使其產生暫抑 315。杯考「第6圖」所示，其係為產生暫存影像之示意圖。 14 最後’料錄麵基赖像巾減位置的像素相疊 輸出影像。將暫存影像315巾 。一 應像素，再對暫存影像犯絲㈣ 基影像311中之相 〜礎影像311進行影像合併處理。 的位置的像素，再將1晶人扭t 日“像化找出相同 提供亮度的疊合樓所儲私中繼資料可以 -又，⑼貝’所以當兩張影像相疊合時以 應量的快門_。最_兩張4合 q相封 影像。 、〜fi出為一清晰的輸出 t發明㈣-觸_咖射 像之修正方法。杯明 ㈣歧的松糊影 域來對模_心 近的數位影料擷取相似的區 成m像麵影像的修補，藉以產生 相似的數位影像來對其修補 ”出以象故過 跄缺士 & 乂何同破位影像的清晰度。 ‘、、、、本舍明以前述之較佳實 ， 定本發明，任何熟習相像技 上然其亚非用以限 内，當可作麵之更動* 不麟本糾之精神和範園 本說明書_之4^=，目韓發批糊倾範圍須視 【圖式簡單說：細所界定者為準。 第la圖係為本發明之運作流程圖。 第1b圖係祕光難程序之運作流程圖。 fC圖料影像補償程序之運作流程圖。 弟1d圖係為邊界模糊侦測手段之運作流程圖。 1376945 第le圖係為光流計算程序之運作流程圖。 第2圖係為影像拍攝之時間示意圖。 第3a圖係為選取視窗對影像之示意圖。 第3b圖係為選取視窗對影像之示意圖。 第4圖為利用位置偏移量取代相應像素之示意圖。 第5圖係為產生位置偏移量之示意圖。 第6圖係為產生暫存影像之示意圖。 φ 【主要元件符號說明】 211 第一影像 212 第二影像 311 基礎影像 312 比對影像 313 第一選取視窗 314 第二選取視窗 3141 第二選取視窗子區域 315 暫存影像 16

Claims (1)

1. ΜΜι月巧日修正本 100年η月25曰替換頁 卜、申請專利範圍： 攝時手震數位雜處财法，修正—數位相機在拍 換糊影像’該影像修正方法包括下列步驟. 取得該數位相__安全快門時間； 盘一咸二曝光調整轉，分糊整該數仙機的—光圈大小 /、先度’並重新取得該數位相機調整後之快門時間. 進行一拍攝程序； ^ 則拍攝複 若該數位袖之_邮大概安全快門時間 數張數位影像； -第:::=:，_攝-第，及 &,===㈣輸偵測手 分別對該第一影像與該第二影像進行區域對焦； 相比_第—影像與該第二影像之區域對焦中的 邊對值是否符合-邊界門櫪值； :該第1像触第二影像之邊界對比值之任—大 傻Ί州&值，贿擇邊界對比值最大者作為該基礎影 ’一者則為槪對影像；以及 Λ第讀之邊界對比值與該帛二§彡像之邊界對 值句小於該邊界門檀值的話，重新執行操取該第一影像 17 1376945

   與該第二影像；以及 2. 進行-光流計算程序，用以對齊該基礎影像與該比對影像 中的相同影像物件之每-像素位置，並產生—輪出影像。 如申請專概圍第！撕狀修鮮紐_數 進行該拍攝程序後更包如下步^ 3. 快叫間小於該安全快門時間，則拍攝單張數位影像。 :=正手震模糊的數位影像處理方法，修正—數位相機在拍 攝才手^造成的模糊影像，該影像修正方法包括下列步驟： 取得該數位相機的一安全快門時間； ，行-曝光調整程序，分別調整該數位相機的—光圈大小 ，感光度，並靖取城難後之快門時間； 進行一拍攝程序； 若該數位相機之快門時間大於該安全 數張數位影像； 則拍攝稷 在該安全快Η時間中的—第—時間拍攝 一第二時間拍攝-第二影像； 力如像以及 ρ _第一影像與該第二影像分職行—邊界模_測手 在兩者之間被—者為—基礎影像另—者為-比對影像. 從該比射彡料Μ麵於該 針 的-位置偏移量； ^象之像素所在位置 設定-第-選取視窗，用以選取該基礎影像之部分影像； 18 1376945 日替換頁 没定-第二選取視窗’用以選取該比對影像之部分影像， 且該第一選取視窗小於該第二選取視窗； 計算該第-選取視窗比對該第二選取視窗+相應位㈣ 像素之該位置偏移量； 根據每一該位置偏移量從該比對影像中找 像中相同影像物件之每一像素；

   出與該基礎影 進行-除雜訊程序’用以去除該比對影像中與該基礎影像 目同衫像物件中之雜訊像素；以及 將沒些像素與該基礎影像中相應位置的像素相最人，產生 —輪出影像。

   19