TW490976B - Method and apparatus for automatic focusing in an image capture system using symmetric fir filters - Google Patents

Description

490976 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明（ 發明背背 本發明和數位影像範料關。特鼓 用，限脈衝響應滤波器之影像捕捉系統内使 万法及裝置有關。 曰勒對焦< 技術描诫 =用如數位相機之數位影像捕捉系統捕捉視訊及靜態馬 訊编：多應用越趨盛行。視訊捕捉可用於如視訊會議： 可用於如相本、相片編輯及合成-之應用。像捕捉 元靜態影像捕嫩使用由-各視爲像素 =牛^感7°件陣列構成之影像“器。各像素元件自責 ，：：顏道ί-:，綠或藍。即各像素元件經由在 滤色器使到達該像素元件之光能只爲特 狀光能而對-特定顏色頻道感應。各像素元件產生 和所暴露光能量對應之信號。 通吊預期數位影像捕捉系統在多種狀況作用。另外 如自動對焦及自動暴光之特性爲整合之特性。這些是栌 ::::體程：。對於自動對焦，速度及精確度是捕捉：品 貝〜象所必需的。故希望實施有效而易於實行硬體之 對焦處理。 ㈡乃 登明概論· -種決定影像焦點値之方法，包含選擇想要影像區及想 要色面。然後對想要色相於想要區域過遽以產生一過遽範 -4- (請先閱讀背面之注意事項再填寫本頁) 裝

私纸張尺錢財關家標^iS)A4規格（21G x 297公爱） 490976 五、發明說明（2 ) 圍、及決定該過濾範圍平均決對値 系統。 ；，天對値吓揭不實施該方法之 i式簡述 圖1説明想要之影像區。 圖2之流程圖説明依照本發明一操作 之影像決定一焦點値（v)。 口 ^似像 圖3'包含依照本發明一督竑 、 ^ ^ g她例架構 < 濾波器脈衝及頻率 窖應（大小及相位響應）。 圖4之流程圖説明一依昭太 依…、本發明架構 < 自動對焦系統操 fM吴式。 - • _ 5包含使用圖2流程圖決定之四串影像之影像焦點値。 登J月細述〜 、本發明提供如數位影像及視訊攝影機（此稱爲，，攝影機。 《數位影像捕捉系統之自動對焦方法及裝置。在該對焦相 位，捕捉不同焦點長之影像串列。在捕捉後，各影像由 對稱有限脈衝響應（FIR)濾波器過滤。自該過攄影像得到 ，，攝影機對焦程度之一對焦値。該算法採用一 fir濾波 泰疋因其可由固足功能數位信號處理（FFDSp)硬體以較少 花費貫施及亦避免然限脈衝響應（HR)滤波器常見之錯誤累 才貝問趨。另外和非對濾波器相較，使用對稱濾波器可大略 將過滤1¾影像之乘數減半。在一實施例，具最大對焦値之 該捕捉影像焦點距離視爲該情形之最佳焦點距離並由該算 法輸出。 在一實施例，使用一處理器及一記憶體處理該影像以得 5- 本紙張尺度適帛+ Θ S家標準（CNS)A4規格do X 297公爱） (請先閱讀背面之注咅？事項再填寫本頁)

裝-----^----訂---------線I 經濟部智慧財產局員工消費合作社印製

A7 B7 490976 第089117216號專利申請案 中文說明書修正頁（91年4月） 五、發明説明（ ） 到決定該影像捕捉系統何時對焦之對焦值。如上述，該處 理器可為一較佳仏破處理器或一特定功能積體電路 (ASIC)。該處理器可亦為通用處理器。該記憶體可為適於 該處理器存取之任何儲存裝置。 圖1說明之影像100具寬X及高γ。影像丨〇〇由一組像素組 成’各由一濾色器陣列（CFA) 102之濾色器覆蓋。在一實 施例CFA 102是Bayer型式，具重複之紅、綠、綠 (G )及藍（B )滤波器型式。另外圖1亦包含一想要區1〇4， 大小為N個像素及Μ行。 圖2之流程圖說明依照本發明之一操作模式自如圖1影 像100之影像決定一焦點值（V)。 在方塊200，自如影像100之影像選擇如想要區1〇4之想 要區。在一實施例，在該影像焦點值之計算中，只自該影 像選擇一想要值。但在其它實施例可選擇多個想要區並計 算多個焦點值。以下之描述是要決定每影像一焦點值。在 選擇想要區後，繼續於方塊202作用。 在方塊202，自想要區選擇一想要色。在一實施例選擇 綠色面，因綠色較適於決定亮度。在其它實施例可選擇符 合具最多背景亮度資訊之色面選擇之其它色面。例如，在 YCYMG (青綠、黃及绛紅）影像捕捉系統，選擇具最多袁 度資訊之黃面做為想要色面。另外在接著之敘述中，該$ 整影像範圍（如想要區104)位置（0，0 )之像素設為綠像素 即該修整影像範圍左上角之配置使該左上像素為綠像素 在方塊204，該修整影像範圍中每二綠像素列合併為單一

經濟部智慧財產局員工消費合作社印製 五、發明說明（4 ) 完整綠像素歹I!以由以T二步驟產生大小爲Μ χ N/2像素之一 綠面G，： 1· G(i，j>G(i，j + 1)，H，3, 5, κ，Μ-1々· = 〇, 2, 4, κ，N 2 ; 以及 2 · G’(i，j/2)=G(i，j) ’ 〇 g i<M及j=〇, 2, 4, κ，Ν·2 其中G(i，j)是該修整影像範圍位置（丨，」·）之綠像素値。在合 併前’，只在位置（m，n)妥爲定義G(i，乃，其中（m+n) m〇d 2=〇, (^㈤^及“以…在該合併後’該〜降爲大小心體 像素。此合併作用用於此影像捕捉系統所用之特定CFA型 式（如該Bayer*型式），但可視所禽依任何CFA型式改良。 在方塊206，使用一低通濾波_^過濾合併色面G,以降低 雜訊引起之不精確（如使用該Bayeri式引起之加工邊緣）。 在一貫施例然後以一三抽頭低通濾波器以列過濾該綠G，：

Ga (i j)= a〇G’ (卜1，+ 叩(1，响’ (i+1，几 對〇< i < M-1 及0 句· < M/2 G，(lj), 對 1=0, M-1 及〇 sj < M/2

其中A=[a0 ai a2] = [0.25 0.5 0.25]。該内插綠面Ga維持相同M XN/2像素大小。在該綠面G，改良爲内插綠Ga後，作用在 方塊208持續。 在方塊208，泫系統將該内插綠面Ga分爲三個等大小子範 圍Gi ’ G2 ’及G3。在一實施例，該内插綠面Ga分爲三個大 小Μ X N/6像素之子範圍。在其它實施例，該内插綠面&可 分爲二個大小M/3 X N/2像素之子範圍。另外對其它實施 例，該内插綠面Ga可分爲多個任何大小之範圍。 在方塊210,由一p分支FIR濾、波器過濾各子範圍^，〜及 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 裝-----r---訂---------線 (請先閱讀背面之注意事項再填寫本頁) 490976 A7B7 五、發明說明（5 ) g3之行： p-l G“i，j)= hnGk(j，j-n) n=0 其中 h=[h〇，h!，...h ] ; k=l 2 3，a / · 、、 ，，〇 $ 1<：M ;及p· i < 】· < n/6。該 濾波器是要得到可用於決宕兮w P ~ J 1 資訊。 用万、决疋孩攝影機是否對焦之相關邊緣 在二實施例，用於過濾内插綠 \ ， ’瓦卸〇3予聋巳圍〇丨，G,及Π，之P 慮波器爲-20分支對稱fir遽波器。如上述，本 =實遽波器是因其可以較小花費於現有硬 慮波器相較’過遽該影像所需乘 數、，々可減半。另外，如上述， 时 通慮波咨並典IIR滹古哭 吊有之錯誤累積問題。表丨包本一组人心^ ° σ 殂可用於產生想要结果 之FIR濾波器之濾波器係數。 、 广請先S讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 hn 値 h〇=h19 0.006 hi=h18 -0.0041 h2=h17 0.0000 h3=h16 0.0292 h4=h15 -0.0350 h5=h14 -0.0578 h6=h13 0.1361 h7=h12 0.0000 j 0.2109 h9=h10 0.1418 表1 :該對稱FIR濾波器係數 圖3顯示所設計該濾波器之脈衝及頻率響·應（該大小及相 -8 - 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 裝-----Γ---訂---------線 ^0976 A7 五、發明說明（6 ) 位響應）。該濾波器大小響應和帶通濾波器類似。在過濾 各子範圍後，則繼續在方塊212作用。 在方塊212計算各過濾子範圍&之平均絕對値: 1 Μ Ν/6-1 |Gk(i,j)| A, Μ / (N/6-p-fl) 1=〇5 j=p- 其中Μ / (N/6-p+l)是値可依照方塊2i〇計算之像素總數。 在方塊214以V(r)表示之目前影像r對焦値由下式決定 V(r )= max Ak k=l，2,3 經濟部智慧財產局員工消費合作社印製 其中較對焦之影像，焦點値較高_。 圖4〈流程圖説明依照本發明—I構之自動對焦系統一操 作模式。在一貫施例該架構是以一一串在不同焦點距離捕捉 <影像呈現。在另一實施例，在捕捉整串不同焦點距離之 影像前，該架構將一焦點距離配置於該影像對焦處。在稍 後足實施例，由此架構處理之影像在該架構搜尋該對焦晝 面時捕捉。該架構一般進行快速搜尋以找出產生相當對焦 影像之焦點長（如利用檢查該等焦點値找出最高焦點値）及 將該焦點長上沖至較先前焦點値特定百分比小之焦點値。 然後孩架構進行詳細搜尋以決定產生較對焦影像之一焦點 長。此架構假設所算對焦値是該焦點距離之單模型函數， 這是大邵份情形所面臨狀況。 在方塊1 0 2，該系統起始設定以下變數： Vmax = 〇 f=fmax -9 - 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閱讀背面之注意事項再填寫本頁) 裝 訂---------線』 490976 A? B7 經濟部智慧財產局員工消費合作社印製 五、發明說明（7 ) f o p t - f m a x 其中f是一焦點距離；V(f)是在f所得影像之計算焦點値； Vamx疋找出之最大焦點値；fmax及fmin分別是該影像捕捉系 統之最長及最短焦點距離；及fQpt是此架構之最佳焦點诞 離。在該系統起始化後，在方塊丨〇4開始該粗搜尋。 在方塊104，決定在焦點距離f捕捉之一影像焦點値 V(f)。V(f)依圖2所述決定。如上述，若該架構並非以一串 捕捉影像呈現，則在決定該焦點値前該系統立刻在方搞 104捕捉該影像。在於方塊1〇4算出該焦點値後，將之在方 塊106和已找出之最大焦點値比-較。若該焦點値大於先划 计算最大焦點値（V(f)>Vmax，），在-方_塊1〇8繼續作用。否則名 方塊110繼續作用。 〜 在方塊108，設定所找出最大焦點値爲該目前焦點傾 (Vmax=V(f))。另外該最佳焦點距離設爲目前焦點距靡 (5>pt=f)。然後在方塊1 10，該焦點距離減去該粗焦點距離指 尋步驟（f=f-fsl)。該粗焦點距離搜尋步驟是在搜尋該粗隹势 距離時變更該焦點距離之步驟大小。在一實施例，由式 找出該粗焦點距離搜尋步驟fsl : ^ fsl -(fmax-fmin) X SFN1/SN1 其中SN1及SFN1控制影像評估總數。灯川和該目前f數目 =二目前焦點距射有關。咖可根據先前實驗以簡 早寺式列表或公式化。SN1是控制該搜尋之搜尋數之参 目。通常若該影像捕捉系統孔徑很小，該步驟大小可彰 大，因M f彡像捕㈣統讀大範圍之焦點距料焦友 -----------裝-----：----訂---------線 (請先閱讀背面之注意事項再填寫本頁) -10- ν/7 /〇 ν/7 /〇 A7

五、發明說明（8 ) i，當茲影像捕捉系統之孔徑大，該步驟大小應較小，因 違影像捕捉系統在一窄焦點距離對焦。 在方塊112決定該焦點距離是否大於或等於該影像捕捉系 統瑕小焦點距離（f?fmin)。另外決定該焦點値是否大於已找 出之最大焦點値特定百分比（如8〇%)(v⑴>〇·8?ν_)。在一 貝施例，孩架構使用一預定百分比評估該算法是否已經過 咸最佳焦點値’而該系統現評估之影像越來越出焦（如該 焦點値越來越小）。在其它實施例可根據該目前焦點距離 或其b參數變動該百分比。若該焦點距離大於或等於該影 像捕捉系統最小焦點距離（f?fmin··)及該焦點値大於已找出最 大焦點値< 80% (V(f)>0.8?Vmax)一，弭到方塊1〇4作用評估另 一影像。否則作用在方塊114繼續7 在方塊114，決定提供一對焦影像之焦點距離，在該影像 捕捉系統供應之最大焦點距離4以至該目前焦點距離f之範 圍中。明確地説，因該粗搜尋自該最大焦點距離開始，並 減少焦點距離檢查捕捉影像之焦點直到符合現況止，邏輯 上想要之焦點距離包括於該範圍内。但在方塊1丨〇之該目 前焦點距離減掉粗焦點距離搜尋步驟，若該目前焦點距離 不大於或等於fmin，該目前焦點距離値可能低於fmin，即非 一有效値，將造成該粗搜尋結束。在方塊U4設定該目前 焦點距離爲該影像捕捉系統最小焦點距離或該目前焦點距 離之最大値（f=max(fmin，f))。 在方塊116，決定在焦點距離f捕捉之影像焦點値v(f)。 V(f)依圖2所述決定。在於方埯U6算出該焦點値後，將之 -11 - 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） -----------------：----訂-------—線 (請先閱讀背面之注意事項再填寫本頁) 麴 經濟部智慧財產局員工消費合作社印製 490976 A7 B7 五、發明說明（9 ) 在方塊118和已找出之最大焦點値比較。若該焦點値大於 先削计算最大焦點値V(f)>vmax,)，在方塊丨2〇繼續作用。否 則在方塊122繼續作用。 在方塊122 ’设走所找出最大焦點値爲該目前焦點値 (Vmax=V(f))。另外該最佳焦點距離設爲目前焦點距離 (f〇pt=f)。然後在方塊122，該焦點距離加上該細焦點距離搜 尋步驟（f=f+fs2)。該粗焦點距離搜尋步驟是在搜尋該細焦 點距離時變更該焦點距離之步驟大小。在一實施例，由下 式找出該焦點距離搜尋步驟fs2 : fs2 = (fmax-fmin)XSFN2/SN2 ~ • 其中SN2及SFN2控制影像評估總數。SFN2*該目前F數目 设足以及目动焦點距離f有關。SF&2可根據先前實驗以簡 單等式列表或公式化。SN2是控制該粗搜尋之搜尋數之數 目。在一實施例，步驟大小Q設定爲遠小於步驟大小^， 以提供較高細調能力。通常若該影像捕捉系統孔徑很小， 忒步驟大小可較大，因該影像捕捉系統以較大範圍之焦點 距離對焦。相反地，當該影像捕捉系統之孔徑很大，該步 驟大小應車父小，因該影像捕捉系統一窄焦點距離對焦。 在方塊124決足該焦點距離是否小於或等於該影像捕捉系 統最大焦點距離（f^fmax)。另外決定該焦點値是否大於已找 出之最大焦點値特定百分比（如80%)(v⑴>〇 8?U。在一 實施例，該架構使用一預定百分比評估該算法是否已經過 該最佳焦點値，而該系統現評估之影像越來越出焦（如該 焦點値越來越小）。在其它實施例可根據該目前焦點距離 -12- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公爱) ------^^ (請先閱讀背面之注意事項再填寫本頁) 裝----l· 訂---------線_ 經濟部智慧財產局員工消費合作社印製 490976 第089117216號專利申請案 M 中文說明書修正頁（91年4月） B7 9!· 4· 26 修正 年月8 < 、,補无 五、發明説明（ ） 10 或其它參數變動該百分比。若該焦點距離小於或等於該影 像捕捉系統最大焦點距離（fsfmax)及該焦點值大於已找出 最大焦點值之80% (V(f)〉0.8?Vmax)，回到方塊116作用評估 另一影像。否則作用在方塊126繼續。 在方塊126輸出該最佳焦點距離，而該串影像之作用 結束（或在該系統依評估該焦點值所需捕捉影像時，該作 用結束直到需要新焦點距離止）。 圖5說明四串列影像之焦點值（將最大焦點值歸一化於各 測試串列中）。標記圓圈（〇 )之影像表示影像良好對焦。在 圖5可看到所算對焦值可用來找出該四_列對焦良好影 像。 本發明在前述說明參照特定實施例描述。但很清楚可進 行各種改良及變化而未偏離所附申請專利範圍所訂之本發 明廣義精神及範圍。故該等說明及圖式是說明而非限制。 圖式元件符號說明 100影像 102濾色器陣列(CFA) 104想要區 -13- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐)

Claims (1)

1. 第089117216號專利申請案 g 4, ^ j£ 中文申請專利範圍修正本（91年4月、 月日‘充 六、申請專利範圍 1 · 種決足^像對焦值之方法，包含： 選擇該影像之想要區； 選擇想要之色面； 於想要區過滤想要色面，以產生過濾範圍；以及 決定該過遽範圍之平均絕對值。 2 ·如申請專利範圍第丨項之方法，其中過濾想要色面包 含： 將想要色面分為一組子範圍；以及 過濾各子範圍。 3 ·如申請專利範圍第丨項之方法，其中過濾想要色面包 含： 使用有限脈衝響應濾波器過濾想要色相。 4 .如申請專利範圍第3項之方法，其中之有限脈衝響應濾 波器是一 2 0分支有限脈衝響應濾波器。 5 ·如申請專利範圍第i項之方法，其中在一焦點長捕捉該 影像，另包含： 將孩濾波範圍之平均絕對值和先前計算最大平均絕 對值比較；以及 若遠過濾範圍平均絕對值大於先前算出最大平均絕 對值’設定最佳焦點長等於該焦點長。 6 ·如申請專利範圍第5項之方法，另包含： 決定該過濾範圍之平均絕對值是否大於先前算出最 大平均絕對值之一百分比；以及 若該過濾範圍之平均絕對值不大於先前算出最大平 本紙張尺度適用中國國家標準(CNS) A4規格(21〇 X 297公董) 490976

   均絕對值之該百分比，輸出該最佳焦點長。 7 ·如申請專利範圍第5項之方法，另包含： 決定該焦點長是否在—焦點值範圍中；以及 若該焦點長不在—焦點值範圍中，輸出該最佳焦點 長。 8 ·如申請專利範圍第5項之方法，另包含： 決定該焦點長是否在一焦點值範圍中，·以及 若該焦點長不在一焦點值範圍中，輸出該最佳焦點 長。 9 ·如申請專利範圍第5項之方法，另包含： 以一步驟大小變更該焦點長；以及 在該焦點長捕捉一第二影像。 10·如申請專利範圍第9項之方法，其中該步騾大小由以下 公式決定： fs = (fmax-fmin)XSFN/SN 其中fs是該步驟大小；fmax是捕捉該影像之影像捕捉 系統最大焦點長；fmin是該影像捕捉系統最小焦點長· SN控制影像評估總數；以及SFN1和一 F數設定以 二、 焦點距離有關。 ~ 11· 一個包含電腦可讀媒體之文章，具指令儲存於其中，其 在執行時造成： ^ 選擇一影像之想要區； 選擇想要之色面； 於想要區過濾想要色面，以產生過濾範圍；以及 -2 -

   裝

   本紙張尺度適用中國國家標準(CNS) Α4规格(210 X 297公釐)

   決定該過濾範圍之平均絕對值β 12·如申請專利範圍第"項之文章，其中過濾想要色面勺 含： 匕 將想要色面分為一組子範圍；以及 過遽各子範圍。 13.如申請專利範圍第11項之文章，其中過濾想要色面包 含： 使用有限脈衝響應濾波器過濾想要色相。 14·如申請專利範圍第13項之文章，其中之有限脈衝響應濾 波器是一 20分支有限脈衝響應濾波器。 15·如申請專利範圍第"項之文章，其中在一焦點長捕捉該 影像，另包含： 將該滤波範圍之平均絕對值和先前計算最大平均絕 對值比較；以及 若遠過濾範圍平均絕對值大於先前算出最大平均絕 對值’設定最佳焦點長等於一焦點長。 16·如申請專利範圍第1 5項之文章，另包含： 決足該過濾範圍之平均絕對值是否大於先前算出最 大平均絕對值之一百分比；以及 若該過濾、範圍之平均絕對值不大於先前算出最大平 均絕對值之該百分比，輸出該最佳焦點長。 17.如申請專利範圍第1 5項之文章，另包含： 決定遠焦點長是否在一焦點值範圍中；以及 若該焦點長不在一焦點值範圍中，輸出該最佳焦點 -3 - 本紙張尺度適用中國國家標準(CNS) Α4規格(210X297公爱） 490976 A8 B8 C8 D8 f · C修正 虜充 々、申請專利範圍 長。 18.如申請專利範圍第1 5項之文章，另包含： 決定該焦點長是否在一焦點值範圍中；以及 若該焦點長不在一焦點值範圍中，輸出該最佳焦點 19. 如申請專利範圍第1 5項之文章，另包含： 以一步騾大小變更該焦點長；以及 在該焦點長捕捉一第二影像。 20. 如申請專利範圍第1 9項之文章，其中該步騾大小由以下 公式決定： fs = (fmax-fmin)XSFN/SN 其中匕是該步驟大小；fmax是捕捉該影像之影像捕捉 系統最大焦點長，fmin是該影像捕捉系統最小焦點長， SN控制影像評估總數；以及SFN 1和一 F數設定以及該 焦點距離有關。 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐)