TW200945885A - Digital image processing method for correcting shaking blur - Google Patents

Description

200945885 九、發明說明： 【發明所屬之技術領域】 特別是有關於修正因為手震 —種對於數位影像的處理方法， 模糊的數位影像處理方法。 【先4技術】 ,4; 者對她掊但無論在底片相機或數位相機上，往往會因為使用 t機把持不穩定’而導致拍攝時產生模糊影像。只要是徒手 2相機^多少少都存在著震動的問題。差別是每個人手持的 狀長度均有所柯，導致按下快門瞬間料自主的位移。所以 為了避免因為手震而使得拍攝產生翻影像，數位械廠商會透 過硬體方式來贼手震或魏體方絲雜正已_的數位影 像0 所以在每一家數位相機廉商在自家的產品中，均加入不同的 :手震機制。时震機制是要在祕過財，制並抑制因為手 部晃動而造成的影像翻縣。防手震技齡要透過硬體或軟體 的方式來達成。 硬體的方式一般都是利用感光元件防手震以及機械式防手 震。感光元件防手震係為提高感光度(International

Standards

Ogamzation ’以下簡稱IS〇)能力。基本上提高IS〇只是讓快門可 以在感受到震動之前完成動作，但提高IS〇同時也會帶來更高的 200945885 雜訊。而機械式时震係在數位相機巾設置—魏彳細元件。告 數位相機侧職生手震的同時，數位相機會根據手震的方向^ 將綱移向反方向’藉以補償因為位移所造成的影像模糊。另外 -種防手震方法係放大光_方式，用以增加人光量藉以縮短快 門時間。但是光圈大小係取決於鏡頭組的組合架構…般而士，、 大光圈的鏡頭具有較高的成本與體積。所以不倾妓於消_ 的數位相機中。 [發明内容】

—馨於以上的問題’本發_主要目的在於提供—種修正手震 模糊的數位影像修正方、本，_ m A 的影像模糊。/應用於數位相機在拍攝時手震所造成 e 本毛月提出種修正手震模糊的數位影像修正方法 == 轉細目輪酬_; _光調整程序， 整後之快門日===感光度’並重新取得數位相機調 全快門時間，則拍攝4 &序’右數位相機之快門時間大於安 像補償程序，將張數位影像；根據這些數位影像執行影 一對齊，並將這^^!中相同的影像物件將對應的像素逐 像之修正方種對數位相機拍攝中因手震而產生的模糊影 域來對模糊影像進且相近的數位爾 'οι補，藉以產生新的合成影像。透過 200945885 相似的數位衫像來對其修補，可以提高數位影像的清晰度。 有關本發明㈣徵與實作’脑合圖示作最佳實施 明如下。 【實施方式】 ❿ ❿ >考弟la ®}」所示，其係為本發明之運作流程圖。修正 手震模_触處理樹_下步驟：首先，取得數位 :目機的女王快門時間(步驟sn〇)。進行曝光調整程序，分別調整 文位相機的光圈大小與感光度，並重新取得數位相機調整後之快 =胸⑽)。物_!序__。胸目機快門時 :疋否小於安全快Η(步驟S⑽）。若數位相機之快⑽間小 全快門時間，則拍攝單银 、文 攝早張數位衫像(步驟SMD。若數位相機之快 1=於⑭快_，難攝複數張數位影像(步驟。 1 艮據妙練潍齡鋪⑽，料錄位雜，產生— 輸出影像(步驟S150)。 生 a為了清楚解說每-步驟之運作，以下將針對個別步驟進行細 ^她卿。物S1财，触相撕 據 =峨的感光梅 請)與纖峨f咖㈣於 間 使用者發生手震的機率會最小。一，〜以㈣間化’ 焦長之倒數。舉例來說，若鏡頭的焦長°5:王、門的投定係為 為_)秒。所以在較大的值^、咖時’安全快Η係 &大的焦長值’數位相機的安全快門時間就越 200945885 紐反之亦然。除此之外，數位相機的光圈值也會影響安全快 的時間在_的快⑽間’較大細值的人光量比小光圈 、令光里來的四’使得數位相機可以在更㈣快Η時間中完成 ^動作。㈣顯侧_刪術〗進行^的 數位相機絲得此—顧拍攝時的減安全快 包ztr㈣之運作流程圖。在本實_中曝_整程料 門判斷並=驟.、％紐快門時間(步驟S121)。根據縮短後的快門時 鲁二州、於安全朗時_驟S122)。若驗後的快門時 間小於女王快Η時，則進行步驟⑽。若縮短後的快門 根據 __._間:二==驟，)。若 門時間(步驟S125)。 …正感光值用以縮短快 減單於安全快門時進行拍攝程序，則數位相機 拍攝複J 咖大騎钱f5_抽_序，則 ⑽142)。化轉输位相機 又决疋拍攝數位影像的張數。舉 大於兩倍的安全，間，攝至少兩張數位影 200945885 的安全快_ ’則在此-快門時間拍攝至少四張 數位影像，二T例在此一快門時間中分別拍攝複數張 特別需要酬的是’本實施例 元件所輪_始影像_)^ 〜係由感光 ❹ 像畫素本身及m W Q㈣_型的資訊♦•影 拍照所產生之r(metad一簡就是相機每次 姆，都包二=舉例來說’不論是 快Η速戶L 其中包括：相機型號、序號、 迷又光圈大小、舞距、問,卢_右、力亡1 程中，口有m ··.·..等資訊。拍攝過 ”有_種相機奴會影響播：光圈、 =之:卜，攝影者都可以在轉換過程做崎 ❹ :大彈Γ衫、階調與細節(銳利化與雜訊處理)的處理，都有 、\的游空間。甚至可以針對曝光補償重新做轉。 旦考「第1C圖」所示，其係為影像補償程序之運触程圖。 象她程序係包括以下步驟：在步卿25所得到的安全 間中的第-_拍鮮-影像以及第二時間 ^時 s 拍攝弟—影像（步驟 S叫。影像與第二影像分別執行邊界模_測手段，在兩 者之間^定-者為基礎影像另—者為比對影像(步驟幻叫。進行 光流計算程序(步驟S153)，用以對齊基礎影像與比對影像中的相 同影像物件之每-像素位置，並產生輸出影像。根據步驟§⑵所 200945885 得到的安全快門時間’判斷是否重複執行步驟S151〜步驟si53(步 驟 S154)。 請參考「第Id圖」所示，其係為邊界模糊偵測手段之運作流 程圖。在步驟S152中所述的邊界模糊偵測手段中更包括以下步 驟·分別對第一影像與第二影像進行區域對焦手段(步驟S1521)。 刀另i比對弟一影像與第二影像之區域對焦中的邊界比對值是否符 _合邊界值(步驟S1S22)。若第-影像與第二影像之邊界對比值 之任-大於邊界門雜，則選擇邊界對比值最大者作為基礎影 像，另一者則為比對影像(步驟S1523)。若第一影像之邊界對比值 ^第二影像之邊界對比值均小於邊界《值的話，4新執行擷取 第一影像與第二影像(步驟S1524)。 睛參考「第le圖」所示’其係為光流計算程序之運作流程圖。 在步驟S153中所述的光流計算程序中更包括下列步驟：設定第一 弟選^視窗與第二選取視窗(步驟s_。第一選取視窗用以選取基 t☆像^部分影像。第二選取視窗用以選取比對影像之部分影 像_，第—選取視窗小於第二選取視窗。計算第一選取視窗比對 =这取視_中相應位置的像素之位置偏移量(步驟SHU)。根據 $位置偏移置從比對影像中找出與基礎影像中相同影像物件之 ―像素(步驟sib3)。進行一除雜訊程序(步驟奶34)，用以去 軸鄉像中與基礎影像中相同影像物件中之雜訊像素。將這些 t'、基礎影像中相應位置的像素相疊合產生輸出影像(步驟 200945885 S1535)。 為清楚說明本實施例中的影像補償程序之運作流程，在此以 下例作為說明，其中所使㈣各項設定_僅於此說明所 示，所以在此合先敘明。假設安全快門時間係4 1/1〇〇秒，當前快 門時間為1/6G秒。因為當前快門時間大於兩倍的安全快門時間， 所以本實施例中設定在快Η時財拍攝兩張數位影像。分別於第 一時間與第二時間中拍攝第一影像與第二影像。 請另外配合「第2圖」所示，其係為影像拍攝之時間示意圖。 糊來說’爾_輸卿_物，再細分成快Η =間各為i⑽秒的第—時間與第二時間進行拍攝。將第一影像與 弟-影像分別執行邊界模_辭段，在兩者之間歧一者為基 smU別·—影像與第二影像進樞域對焦手段(對應步驟 中的邊界邊界比對值與第二影像之區域對焦 ,t 疋付5邊界門檻值(對應步驟S1522)。邊界比對 的像轉間的交界清晰度™^ 界對比㈣、 杨界對比值越高，反之亦然。計算邊 比較第旦過景清物件邊界的間距寬度來作為計算的依據。 t匕竿乂弟一影像211鱼 邊界對比值與第二i像212之邊界對比值。若第一影像之 話，選擇4界對比—衫像之邊界對比值之任一大於邊界門植值的 "、值較大者作為基礎影像 ’較小者則為比對影像(對 200945885 應步驟S1523)。若第—影像之邊界對比值與第二影像之邊界對比 值均小於編職的話，賊執彳·影像與第二影像(對 應步驟S1524)。 對比對影像與基礎影像執行歧計算，用峨輯影像中找 出相對於频影像讀賴纽㈣位置偏移量。光流㈣^ A叫指的是數位影像中的影像物件在多張不同影像之移動位移 夏°因為拍攝的顧中發生手震，使得_影像與基礎影像中的 相同影像物料會絲__位置上。在本實補巾利用光流 什异用以對齊比對影像與基礎影像中相同影像物件的每一像素。 Φ © 月配。$ le圖」’以下係為光流計算之詳細運作步驟：首 先’設定第-選取視窗與設定第二選取視窗。第—選取視窗用以 選取基礎影像之部分影像。第二選取視窗用以選取比對影像之部 分影像，且第—選取«小於第二選取«。計算第-選取視窗 比對第二選取視窗中相應位置的像素之位置偏移量。在拍攝的過 程=騎震的緣故，會使得基礎影像如中的物件之像素位置不 -定會落在與比對影像312相同的像素位置上。所以為了能找出 比對^像312中與基礎影像311相同的物件之所在位置。 、凊爹考「第3a圖」、「第3b圖」與「第4圖」所示，其係分 別為選取視窗對影傻夕立 一立 像之不忍圖、利用位置偏移量取代相應像素之 厂、圖在第3a圖」中，在基礎影像中利用第一選取視窗313 來選取其部分的影像區域；在「第3b圖」中，在比對影像中係利 12 200945885 用第二選取視窗314來選取其部分的影像區域。

其中，第—選取視窗313的圈選範圍係取決於第二選取視窗 3M。弟一選取視窗314中選定„個第二選取視窗子區域遍，第 二視窗子區域3⑷的大小係等同於第—選取視窗313。第二選取 視窗子區域3141分獅且咖方式從第二選取視細中選 取各個區域。第—選取視窗313係從第二選取視_由左到右、 由上至下的方向進行選取。計算第二選取簡子區域迎和第一 選取窗3_目似度。她料算請參考式1，其係為第-選取視 固在弟一選取鋪巾嶋，j)像素與其觸的像素的她度計算： w, 式1

(M):係為比對影像與基礎影像中具有相同影像物件之像素 位置;Wij ··第(·素的權重值；w/:第娜素的雜訊滤波器； Ii :係為比對影像；l2:係為基礎影像。當CQst值越小代表這兩個 像素的相似度越高’換句話說，就是兩轉素越她。特別值得 注意的是，在本實施射更_雜域波輯舰像素進行其像 素值的§。藉以避免之後在進行像素疊合時，因為直接將雜訊 像素與原始像素疊加會導致4加後的像素出現域。#比對影像 (或基礎影像)的第(Xk,yl)個像素為雜訊像素時，則將Wi广設為0， 反之則將Wijn設為1。 舉例來說，假設第一選取視窗313係為5*5像素陣列；第二 選取視窗训係為9*9像素陣列。將第一選取視窗犯係從第二 200945885 選取視窗314由左到右、由上至下的方向進行選取。並且逐一比 對第一選取視窗313相應於第二選取視窗314的像素。在此一實 施例中需要對第二選取視窗314進行25回合的相似度計算。並^ 到25個Cost值。再從25個Cost值中選取最小的—值，將其 視為第二選取視窗相應於第一選取視窗的相同影像物件之像素。 重複的執行此-步驟，用以找出影像物件的其他相應位置的像素。

在本實施财制絲_算難生的位置偏移量對比對影 像312的像素位置進行修正，用以找出在基礎影像mi中相應的 像素。在基礎影像311與比對影像312中的相同影像像素係利用 斜纹方格作為代表。「第4圖」右方代表的是基礎影像犯與比對 影像312的相同像素的所在位置。請參考「第$圖」所示，其係 為產生位置偏移量之示意圖。 若是以座標值來解說的話，基礎影像311的相同像素位置係 為(2 ’ 3)，比對影像犯的相同像素位置係為(4，Q。將比對影像 312與基礎影像311的像素位置進行相減，可以得到比對影像祀 對基％〜像311的像素之相對位置。兩者相對位置的修正值係為 (2 ’幻’其係代表將比對影像312的像素減掉修正值即為在基礎影 像如中相應像素位置。分別言十算每—個比對影像犯對基礎影 象的相對位置修正值’根據這些修正值從基礎影像中找 出的像素。並將職出的像素依序的組合，使其產生暫存影像 315。杯考「第6圖」所示’其係為產生暫存影像之示意圖。 14 200945885 最後將這些像素與基礎影像中相應位置的像素相疊合產生 輪出影像。將暫存影像仍中的像素對齊於基礎影像犯中之相 j像素，再對暫存影像315肖基礎影像31i進行影像合併處理。 影像合併處理可以直接將基礎影像祀與暫存影像祀找出相同 的位置的像素，再將其4合起來。靈撕儲細巾繼資料可以 提供亮度的疊合補償，所以當兩張影像相疊合時，可以得到相對

應量的快⑽間。最後將兩張疊合後的影像輸出為—清晰的輸出 影像。 ^發明係提出-種對數位相機拍攝中因手震而產生的模糊影 雜連㈣雜轉物取相似的區 相似的補，f以纽軸知影像。透過 雖以I 可以提高數位影像的清晰度。 定本㈣猶述讀佳實施例揭露如上，然其並非用以限 ri二技藝者，在不脫離本發明之精神和範圍 本㈣書_之申料·_界定者鱗。 视圍舰 【圖式簡單說明】 第1an係為本翻之運作流程圖。 第1b圖係為曝光調整程序之運作流程圖。 第化圖係為影像·#程序之運作流程圖。 第id_為邊界翻制手段之運作流程圖。 15 200945885 第le圖係為光流計算程序之運作流程圖。 第2圖係為影像拍攝之時間示意圖。 第3a圖係為選取視窗對影像之示意圖。 第3b圖係為選取視窗對影像之示意圖。 第4圖為利用位置偏移量取代相應像素之示意圖。 第5圖係為產生位置偏移量之示意圖。 第6圖係為產生暫存影像之示意圖。 Φ 【主要元件符號說明】 211 第一影像 212 第二影像 311 基礎影像 312 比對影像 313 第一選取視窗 314 第二選取視窗 3141 第二選取視窗子區域 315 暫存影像 16

Claims (1)

1. 200945885 、申請專利範圍： I種修科__触影像處理紐，私—齡相機在拍 枯手震造成的模糊影像，該劍象修正方法包括下列步驟： 取得該數位相機的—安全快門時間； 物—曝光難程序，分職整該_目機的—光圈大小 ，感光度，並域取得魏位相機難後之快門時間； 進行一拍攝程序； 右亥數位相機之快門時間大於該安全快門時間，則拍攝複 數張數位影像；以及 根據该錄轉像執行—影像補償程相 2. =像中相同影像物件的每—像素，藉以產生—輸出影像: :清專纖15第丨項所狀修正手顏_數位影像處理方 ’’其中錄像補償程序包括以下步驟： 在該安全快m間中的-第—時間拍攝—第—影像以及 —第二時間拍攝一第二影像； &將該第-影像與該第二影像分別執行—輕模糊侧手 奴’在兩者之間決定一者為一基礎影像另一者為—比對影像，· 以及 進行—光流計算程序，用以對齊該基礎影像與該比對影 像中的相同影像物件之每一像素位置，並產生該輸出影像。 •如申請專利_第2賴狀修科震_峨崎彡像處理方 17 200945885 法，其中該邊界__手段蚊包括以下步驟： 分別對該第-影像與卿二影像進行區域對焦； 相嶋第-影像與該第：影像之區域對焦中的邊界 比對值疋否符合一邊界門檀值； 若該第一影倾二影像之邊界_值往-大於該 邊界門插值’贿擇邊界對比值最大者作為該基礎影像，另-者則為該比對影像；以及 若該第-影像之邊界對比值與該第二影像之邊界對比值 均小於該邊界服_話，麵執行娜娜-影像與該第二 影像。 4.如申請補細第2項所述之修正手賴麵數位影像處理方 法’其中執行該光流計算程序巾更包括下列步驟： 從該比對影像中找出相對於該基礎影像之像素所在位置 的一位置偏移量； ·· 奴一第一選取視窗’用以選取該基礎影像之部分影像; ，狀n取視窗’用㈣取該輯影像之部分影 像，且該第一選取視窗小於該第二選取視窗； 計算該第一選取視窗比對該第二選取視窗中相應位置的 像素之該位置偏移量； 根據母一该位置偏移量從該比對影像中找出與該基礎影 像中相同影像物件之每一像素； 18 200945885 ―士進订雜祕序，用以去除該比對影像中與該基礎影 象中相同影像物件令之雜訊像素；以及 生該像素编彻中她立置_相4合，產 法申其 1項所述之修正手震模糊的數位影像處理方 Ο 快門時間ΓΓ麵攝程序後更包括以下步驟：若該數位相機之 。亥安全快門時間，則拍攝單張數位影像。

   19