201106294 六、發明說明： 【發明所屬之技術領域】 本發明係關於信號處理。 根據35 U.S.C. §119之優先權主張 本專利申請案主張2009年5月8日申請之題為「SYSTEMS， METHODS, AND APPARATUS FOR GENERATION OF REINFORCEMENT SIGNAL, ARTIFACT EVALUATION, CAMERA TUNING, ECHO CANCELLATION, AND/OR REFERENCE IMAGE GENERATION」的美國臨時專利申請案第61/176,73 1號之優 先權，該案已讓與給本受讓人。 【先前技術】 由影像擷取器件（諸如數位靜態相機）擷取之影像資訊可 易受由於影像感測器之實體限制、來自照明源之干擾及其 類似者造成之雜訊的影響。隨著對（例如）諸如行動無線通 信器件之多用途行動器件中的愈來愈小之影像擷取器件的 曰益增加之需求，出現對更小型之影像感測器模組之需 要。影像感測器模組尺寸之減少通常引起在影像資訊内擷 取之雜訊量的顯著增加。 在蜂巢式電話（「行動電話」）相機及其他廉價數位相機 之不同型號系列之間，影像品質可大不相同。與習知數位 相機系列之型號不同，蜂巢式電話之不同型號可具有不同 光學元件及不同感測器。習知相機之高品質光學系統之間 的變化通常比行動電話相機之光學系統之間的變化小得 多，行動電話相機之光學系統可由玻璃或塑膠製成，可能 148266.doc 201106294 或可能不包括一或多個光學塗層，且可具有極不同的解析 力。類似地，習知數位相機系列之各種型號通常具有相同 感測器（可能尺寸不同），而同一系列或甚至同一型號之行 動電話相機可具有極不同的感測器。結果，來自不同型號 的行動電活相機之影像彼此之間不同的程度通常將比來自 不同型號之習知相機之影像彼此之間不同的程度大得多。 為了自行動電話相機或其它廉價數位相機產生商業上可 接受之影像品質’可能需要對經操取之影像執行—滤波操 作（亦被稱為「後處理步驟」）。此操作可經設計以藉由（例 如）減少假影及/或增加邊緣銳度來增強影像品質。判定用 於-特定相機之適當後處理步驟之程序亦被稱為「相機調 控」。通常，無論何時使用一新透鏡及/或感測器， 進行相機調控。 【發明内容】 1 里很髁 、、U3> 万凌包括擷取參考圖案之— 示’其包括複數個特徵，該複數個特徵中之每一者具有 該參考圖案内的-不同部位。此方法亦包括對於該參考
案之該複數個特徵中之每—者，判定在該義取之表干I 該特徵的—部位；及基於在該_取之表示中該複數個, 徵的該等經判定之部位，計算部位轉移誤差之―特性。^ 方法亦包括將部位轉移誤差之該特性應用至該參考圖案上 獲得-空間上經修改之參考圖案。亦在本文中揭示用^ 行此方法繼及其他構件，及具有用於此方法之可執: 指令的電腦可讀媒體。 W + I48266.doc 201106294 -種根據另-一般組態之方法包括：擷取參考圖案之一 影像’其包括相接以形成邊緣之具有不同強度之區： 該經掏取之影像執行—濾、波操作以獲得—經銳化之影像。 此方法亦包括判定該經銳化之影像之複數個像素值為過衝 overshot)像素值；及區分該複數個過衝像素值中的至少 ^類別。亦在本文中揭示用於執行此方法的裝置及其他 卜二於此方法之可執行指令的電腦可讀媒體。 【貫施方式】 /目機調控通常為耗時、昂責且主觀的。傳統上，相機調 =過色彩學方面之高級培訓的工程師執行。因為在相 機調控程序中可涉及到大量參數，所以問題之參數空間可 極尚。找到-接近最佳的解決方案(例如，在不會亦產生 以之It况下增加一所要品質量度的濾波器參數之集人) 為-重要問題且可能花費數曰或數週。若由調控工程師。產 生之結果不匹配其客戶（例如，相機製造商）之主觀偏好， :重複相機調控程序亦可為必要的，可能需要自動化一相 1調控程序以減少此程序之學習曲線，及/或使此程序之 結果更可量化或具較少主觀性。 除非受上下文明確地限制，否則術語「信號」在本文中 用以指示其普通音羞巾 .. 。義中之任一者’包括如在導線、匯流排 :其他傳輪媒體上表達之記憶體部位(或記憶體部位之集 心除非受上下文明確地限制，否則術語「產 、本文中用以私示其普通意義中之任一者，諸如計算 或〃他方式製成。除非受上下文明確地限制’否則術語 148266.doc 201106294 「計算」在本文中用以指示其普通意義中之任—者，諸如 計算、評估、平滑化及/或自複數個值進行選擇。除非受° 上下文明確地限制，否則術語「獲得」用以指示其普通= 義中之任一者，諸如計算、導出、接收（例如，自:部: 件）及/或擷取（例如，自儲存元件之陣列）。在本描述及申 請專利範圍中使用術語「包含」之處，其並不排除其他元 件或操作。術語「基於」（如在「A係基於B」中）用以指_ 其普通意義中之任一者，包括以下狀況：（i)「自導出 (例如，「B為A之前驅物」）（ii)「基於至少 」 ^」（例如，「A係 基於至少B」），且若在特定上下文中為適當&，间「等 於」（例如，「A等於B」或「A與B相同」）。類似地，術語 「回應於」用以指示其普通意義中之任一 , t，包括「回應 於至少」。 除非另外指示，否則對具有特定特徵 <展置之操作的任 何揭示内容亦明確地意欲揭示具有類似 α风之方法（且反 之亦然且對根據特定組態之裝置之操作的任何揭示内 谷亦明確地意欲揭示根據類似組態之方法（且只 V此久之亦然）。 術語「組態」可如由其特定上下文所指示關於方法、褒置 及/或系統而使用。除非由特定上下 、 乃示，否則一 般性地且可互換地使用術語「方法 「 狂序」、「步驟及 技術」。除非由特定上下文另外指示， ά則亦—般性土士 且可互換地使用術語「裝置盥「残 J 沿1干J。術語「元株 及「模組」通常用以指示一更大組態之—八 」 口丨刀。除非受上 下文明確地限制，否則術語「系統」在 F又上 个又中用以指示其 148266.doc 201106294 曰通意義中之任一者’包括「相互作用以用於一共同目的 之一群元件」。以引用的方式對文件之一部分的任何併入 亦應理解為併入在該部分内所引用之術語或變數的定義 (其中此等定義在該文件中之別處出現），以及在所併入之 部分中所引用的任何圖。 圖1A展示根據--般組態之方法M100的流程圖，該方 法M100包括任務丁1〇〇、T2〇〇、T3〇〇、及⑽。任務 丁 1〇〇執行一擷取操作以擷取一參考圓案之表示。基於該經 擷取之表示，任務Τ200獲得一用於匹配之圖案。任務τ3〇〇 對该經擷取之表示執行一待調控之濾波操作。任務τ4〇〇評 估戎經濾波之表示，且任務Τ5〇〇基於該評估之結果修改該 濾波操作之至少一參數值。可能需要將方法Μ1〇〇實施為 一自動化調控程序，其藉由反覆進行任務Τ3〇〇、丁4〇〇及 Τ5 00直至任務Τ400產生一所要評估結果及/或直至已執行 一最大數目之反覆而最佳化該至少一參數值。 在一實例中’方法Μ100經組態以最佳化待應用於由一 相機感測器擷取之影像之照度通道的濾波操作（或「後處 理步驟」）。此調控程序可基於諸如雜訊、邊緣銳度及過 度銳化假影之準則。該調控程序可包括選擇可能彼此矛盾 且對影像品質之組合效應並未事先已知之參數的值。在成 像應用之其他實例中’方法Ml00經組態以最佳化及/或自 動化對一或多個色彩通道之調控。更一般而言，方法 Ml 00可應用於最佳化及/或自動化對非成像信號之處理（諸 如音訊信號之回音消除處理），或應用於最佳化及/或自動 148266.doc 201106294 化其他高參數空間問題。 圖1B展示方法Ml 00的作為一自動化相機調控程序之實 施1^11〇之流程圖。方法河110包括任務1[1〇〇、丁2〇〇、 丁3 00、T400 及 T500 之分別的實施 T110、T21〇、T31〇、 丁410及Τ510。任務Τη〇使用待調控之相機之一例項來擷取 一參考圖案之影像。基於該經擷取之影像，任務T2l〇獲得 一增強圖案。任務Τ310對該經擷取之影像執行一待調控之 後處理步驟。任務Τ410評估該經後處理之影像，且任務 T5U)修改該後處理步驟之至少一參數值。可能需要組態方 法MU0來調控該後處理步驟以補償來自可包括相機感測 器、相機光學系統(例如’透鏡)及甚至該後處理步驟自身 之㈣的雜訊的效應。可在製造期間(諸如)藉由將值複製 ^母-相機之快閃記憶體或其他非揮發性記憶體中來將所 得經最佳化之一或多個參數值載入經調控之相機之其他例 項(例如’具有相同感測器及透鏡之其他例項，諸如同一 型號之其他相機）令。 可將方法Μ100實施為一增強學習程序㈣ leannngproces…在此程序之成像應用中，使用待調控之 ^掏取參相案之影像，使用後處理步驟來處理該經 。之影像以獲得—經處理之（「或經渡波之」）影像，且 ::該後處理步驟之-或多個參數之值直至二:之； :^刀接近一增強圖案(或直至到達-最大數目之反覆)： ^圖案之性質及品質可對該自動化相機調控程序之效能 者效應。若使用-有缺陷的增強圖案，則該自動化 148266.doc 201106294 相機調控程序可產生次最佳結果。 此調控程序之一實例使用經設計以量化待調控之後處理 步驟之不同態樣的參考圖案之—集合。在—成像應用中， 例如，可此需要使用抽象地表示一範圍之影像特徵的參考 圖案之一集合，該等影像特徵為在現實影像中普通的、普 遍存在的及/或在感知上為重要的。需要使用—足夠 數目之不同參考圖案覆蓋特定參數空間。亦可能需要事先 具有每-參考圖案之内容的完整知識。舉例而t，可使用 參考圖案之完整事先知識來建構如本文十所描述之用於匹 配之圖案。 圖2展示方法M100之實施M1〇2之流程圖，其包括擷取任 務τιοο之多個對應例項T1〇〇a、T1〇〇b ' Ti〇〇c ;圖案產生 任務T200之多個對應例項T2〇〇a、T2〇〇b、T2〇〇c ;及評估 任務T400之多個對應例項T4〇〇a、T4〇〇b、T4〇〇c。在此狀 況下，任務τι00之每一例項經組態以擷取一不同參考圖案 之表示，且任務Τ300經組態以對每一經擷取之表示執行相 同濾波操作（根據初始的參數值集合）以產生一對應經濾波 之表不。任務Τ200之每一例項經組態以基於來自對應參考 圖案及經擷取之表示的資訊而獲得一用於匹配之圖案，且 任務Τ400之每一例項經組態以評估該對應經濾波之表示。 在此方法中，任務Τ500經組態以使用來自任務Τ400之各種 例項之資訊來修改濾波器參數值，且任務Τ3 〇〇之下一反覆 經組態以對每一經擷取之表示執行相同濾波操作（根據經 修改之參數值集合）以產生經濾波之表示之下一集合。圖] 148266.doc 201106294 ，示方法M102及M110之對應實施Mn2之流程圖。在另— 實例中，針對不同各別照明而實施方法M112之多個 項。 可吨需要參考圖案之一集合包括至少一像素雜訊量化圖 案、至少一邊緣銳度量化圖案，及至少一過度銳化假影量 化圖案。圖4至圖11展示八個單色參考圖案的此種集合之 一實例。 一像素雜訊量化圖案提供可用以量化相機感測器之雜訊 (例如，圖案雜訊）之資訊。此圖案可經組態以包括具有低 像素至像素方差（variance)之一或多個區（例如，以減少除 了感測器雜訊之外的像素至像素回應差異之來源舉例 而a ’此圖案可包括一或多個平面場區。一種此實例為如 圖4中展示之圖案，其包括三個平面場區：一高度飽和片 (例如，最大強度，或1.0或接近丨.〇之正規化照度），其用 以特徵化高光區域中之雜訊；一中間調片（例如，〇5或接 近0.5之正規化照度），其用以特徵化中間調區域中之雜 訊；及一高度不飽和片（例如，最小強度，或〇〇或接近〇〇 之正規化照度），其用以特徵化陰影區域中之雜訊。此圖 案亦可包括.一或多個梯度區域，如圖4之圖案之背景中展 示。可預期相機之成像感測器及相關聯電路將為像素雜訊 之主要來源。 可能需要一邊緣銳度量化圖案或一集合之此等圖案包括 一範圍之具有不同定向及/或形狀的邊緣。舉例而言，可 選定邊緣銳度量化圖案之一集合以提供對預期會在相機之 148266.doc •10- 201106294 使用期間遇到之空間頻率特徵之範圍的一所要取樣。此集 〇之貫例包括一含有水平及垂直邊緣之圖案（例如，如 圖5中展不）、一含有圓形邊緣之圖案（包括具有相對於彼此 不同的一個、兩個或多個不同曲率半徑的邊緣，例如圖7 中展示），及一含有傾斜邊緣之圖案（包括具有諸如與垂直 方向成正四十五度及負四十五度的角度，或與垂直方向成 十二度及負五十三度的角度的定向的邊緣，如圊9中 展不）。具有傾斜線之邊緣銳度量化圖案之另一實例包括 以不同角度輻射離開圖案之中心的線。可預期相機透鏡將 為影像模糊之主要來源。 可能需要-邊緣銳度量化圖案之邊緣形成同心狀圖（例 如，如目7至圖10中及亦_令展示）。可能需要該集合之 邊緣銳度量化圖案包括在兩個正交方向上之邊緣，及在與 該等正交方向令之每-者相差至少：十五度或三十度的第 三方向上之邊緣（例如，如圖5、圖6、圖9及圖1〇中展示 雖然不同邊緣特徵（料，正交及傾斜邊緣、直線及曲線 邊緣)可組合至同一圖案之不同區域中，但此合併可導致 調控程序之準確性的減少（例如，對局部像差之校正被全 局地應用），且可能需要針對不同特徵使料同圖案。 可能需要邊緣銳度量化圖案中之一或多者(可能全部)中 之每一者為雙模態的。舉例而言，此特徵可簡化區分待分 析之每一邊緣之側的全局程序。此圖案可包括具有大體上 均句的低強度之區，其與具有大體上均句的高強度之區相 接以形成邊緣。術語「大體上給4 -J」}曰示在百分之五、百 148266.doc 11 201106294 分之二或百分之一内之均勻性。 替代性地或額外地，可能需要此集合包括一或多個圖案 之高對比度及低對比度版本（例如圖5至圖1〇中展示）。對於 高對比度邊緣，可能需要相接以形成邊緣之區分別儘可能 地高度飽和及不飽和。可能需要在低對比度邊緣處之強度 過渡不大於在高對比度邊緣處之強度過渡的百分之七十 五。舉例而言，對於低對比度邊緣，可能需要相接以形成 邊緣的區具有在可用強度範圍之中間的半部内（例如，在 〇.〇至1.0之正規化範圍中至少〇 25且不大於〇 75)的強度。 替代性地或額外地，可能需要此等圖案中之一或多者包括 具有至少兩個不同對比度之邊緣。此圖案可包括在具有高 對比度及低對比度之區域（例如，高對比度半部及低對比 度半邛）之間的突然過渡，及/或自一具有高對比度之區域 至一具有低對比度之區域的逐漸過渡。 可能需要該等邊緣銳度量化圖案中之_或多者包括具有 相同基本空間頻率之邊緣（例如，使得每一各別對邊緣之 間的売像素之最小數目與每一各別對邊緣之間的暗像素之 =數目相同）。替代性地或額外地，可能需要該等邊緣 :度$化圖案中之一或多者包括兩個或兩個以上不同基本 工二頻率(例如’使得一對相鄰邊緣過渡之間的空間距離 不同於另一對相鄰邊緣過渡之間的空間距離）。可能需要 在=慮到4使用之特錢取配置之情況下設計該等圖案， 使侍該等經擷取之表示中之邊緣之間的距離將為至少一最 J值（例如’八個 '十個、十六個或二十個像素）。 148266.doc •12- 201106294 一過度銳化假影量化圖案（例如，如圖u中展示）提供可 用以量化由後處理步驟之邊緣銳化操作引起之假影的資 訊。如圖12B中展示’此等假影可表現為過衝(亦即，在自 -暗區之過渡附近的過亮像素）或欠衝⑽如如叫（亦即， 在自-亮區之過渡附近的過暗像素）。圖13展示在過度銳 化之後圖丨丨中之過度銳化假影量化圖案的一區之實例，其 中沿邊緣可見過衝及欠衝像素。可預期後處理步驟將為過 度銳化假影之主要來源。 一過度銳化假影量化圖案之—實例（例如，如圖u中展 示）包括對比度及基本空間頻率經選定以促進經掏取之影 像中之過度銳化假影之可债測性及可量化性的邊緣。可能 需要參考圖案在相鄰邊緣之間具有最小間隔，使得與相鄰 邊緣相關聯之假影不重疊或以其它方式干擾彼此且可容易 地彼此區分。此最小間隔可基於諸如以下各者之因辛：銳 化演算法之假影產生行為、相機光學系統之解析力(例 如，調變轉移函數），及在操取期間相機與參考圖案之預 期距離。舉例而言，可能需 ㈣之料在㈣邊緣之 間具有最小數目之像素（例如，八個、十個 十個像素）。如圖11中展干，如L — 4一 接一痒 中展不例如’該圖案可包括具有交 度之平行條帶，該等平行條帶具有至少-最小寬产。 可-需要該等過度銳化假影量化圖案中之—或 全部）中之每一者為雙模態的（如在圖11之實例中）。月" 過度銳化假影可發生在曲@ 者圄宏”b ⑨生在曲線邊緣以及直線邊緣上，且參 考圖案之_合可包括—具有曲線邊緣（例如，如圖8中展 148266.doc 201106294 示）及/或傾斜邊緣（例如，如圖10中展示）之過度銳化假影 量化圖案。舉例而言，一具有頂部/底部及左/右對稱性之 銳化内核（kernel)(例如，諸如 1/6 * [-1 -2 6 -2 -1; -1 -2 6 2 -1; -1 -2 6 -2 -1; -1 -2 6 -2 -1; -1 -2 6 -2 -1]之 5x5 内核） 可傾向於在曲線邊緣上產生過度銳化假影，且可能需要在 相機調控程序中考量此等假影。 可能需要一過度銳化假影量化圖案之邊緣具有充分對比 度以支援過度銳化假影之產生。若該圖案中之邊緣不具有 充分對比度，則其可能不能足夠地表示在相機之典型使用 期間擷取之影像中之邊緣，且銳化操作可能不能產生假 影。舉例而言，在零至一之正規化強度標度上，其中零指 示最小強度（例如，零照度或零反射率）且一指示最大強度 (例如，全飽和或全反射率），可能需要一邊緣之亮側與暗 側之間的差異具有在自〇 2至〇 6之範圍内之值（例如， 0.4)。 然而，亦可能需要該圖案之動態範圍（例如，對比度）） 分低，以使得所產生之假影可被特性化。一定程度之過名 銳化通常為需要的（例如，以增強對邊緣銳度之感知），』 可能需要其以允許有充分餘量來區分可接受假影與不可右 又假影舉例而吕’若對應於邊緣之亮側的經輔取之影揭 之部分過亮’則甚至由過度銳化引起之可接受過衝亦可\ 達或超過鮮㈣，使料可能區分可接受過彳_不可接 受過衝。同樣地，若對應於邊緣之暗側的經掏取 部分過暗，則甚至由過度銳化引起之可接受欠衝亦‘到達 148266.doc 14 201106294 零 受 強度位準或落在零強度位準以下’使得不可能區分可接 欠衝與不可接受欠衝。舉例而言，在零至一之正規化強 度標度上，可能需要一邊緣之暗側具有在自〇 2至〇 4之範 圍内之值（例如，〇.3)，且一邊緣之亮側具有在自0.6至0.8 之範圍内之值（例如，〇·7)。 任務Τ100使用待調控之感測器（例％，待調控之相機型 號之例項）來擷取一參考圖案之表示。舉例而言，可執行 任務Τ11 G之夕個例項來使用待調控之相機操取該等參考圖 案中之每一者之影像。當前行動電話相機及其他廉價數位 相機之典型經擷取之影像之大小包括VGA或3G萬像素解析 度（64〇X480像素）、130萬像素（例如1280x960像素）、200萬 像素（例如，1600x1200像素或UXGA解析度）、32〇萬像素 (例如’ 2048X1536像素）、彻萬像素（例如，2240χ1680像 素）、500萬像素（例如，256〇χΙ92〇像素），及6〇〇萬像素⑽ 如’ 3〇32x2_像素）。任務T100可由人工操作者執行或可 為部分或完全自動化的。舉例而言，任務Tu〇可包括將參 考圖案之-集合之一對應者適當地置放(用手抑或自動地) 於相機(其可安裝於-固定位置中)之前，及手動地或自動 地起始對應擷取。 通常’藉由將每—參考圖案印刷S -海報（例如，豆有 8.5乘……^，、㈣或㈣英叶之大小/而製 備用於操取之每一參考圖案。可能需要藉由（例如）將經印 圖案安裝i平坦、硬質表面（例如，發泡體芯材）來 減v ’’、、明不均勻性（例如，鏡面反射）。同樣地，可能需要 148266.doc -15- 201106294 圖案之表面為無光澤的或非反射的。可能需要在跨越視p (至少遍及待分析之圖案區域）之均勾照明條件下執行景^ 榻取。舉例而言，可能需要在均句照明下（例如，在柔光 帳（UgM tent)或燈箱（light booth)内之漫射照明場）掏取與 像。在掏取期間之均勻照明可有助於減少同_模式 之值之間的方差。可能需要在至少兩個不同照明位準(例 如，明亮照明及暗淡照明；或明亮、正常及暗淡照明）下 擷取該等參考圖案中之一或多者（可能全部）中之每—者的 單獨影像。在另一實例中’在螢幕，諸如用於透射型顯示 器之電漿顯示面板或液晶顯示面板，或用於反射型顯示器 之電子紙顯示器（例如’擰轉型（Gyr—、電泳或電潤顯 示器）上呈現每一參考圖案（在手動或自動控制下）以供擁 取。同樣地，在此狀況下可能需要在至少兩個不同面板照 明位準下擷取該等參考圖案中之一或多者(可能全部)中之 每一者的單獨影像。 在擷取操作期間，可能需要參考圖案經定位成使其中心 接近相機之光學軸。對於相機具有固定焦距透鏡之狀況， 可能需要將參考圖案定位於景深内或超焦點距離内。由於 超焦點距離可為若干呎，故可能需要參考圖案足夠大（例 如，24x36英吋）以在彼距離處覆蓋視場之至少大部分。對 於相機具有自動調焦透鏡之狀況’可能需要確保該透鏡適 當地聚焦於參考圖案上，且在圖案與透鏡之間的距離較短 之情況下使用放大模式（macr〇 mode)。亦可能需要相對於 相機之光學軸來定向參考圓案以最小化捲動或傾斜（亦 148266.doc •16- 201106294 即，圖案繞相機光學軸之旋轉）、俯仰或偏斜（亦即，圖案 繞水平地正交於相機光學轴之轴線的旋轉），及橫搖（亦 即，圖案繞垂直地正交於相機光學軸之軸線的旋轉）。在 圖12A中說明傾斜、偏斜及橫搖之實例。此位置誤差最小 化可有助於產生一更好的相機調控結果（例如，藉由限制 在經擷取之影像令之任何點處的最大模糊量），對於正被 調控之後處理步驟對正被處理之影像全局地操作（例如， 如在下文描述之自適應性空間濾波器中）之狀況而言尤其 如此。 可獲得呈未經壓縮格式（例如，RGB或YCbc〇或呈經壓 縮格式（例如，JPEG)的經擷取之影像。擷取操作（亦即， 任務T110)亦可包括一或多個預處理操作，諸如眩光減 乂、資料線性化、色彩平衡、彩色濾光片陣列（例如，拜 耳濾鏡（Bayer filter))解馬赛克等等。 理想地，每一經擷取之影像將與對應參考圖案等同。實 際上，經操取之影像將由於相機之回應中之非理想性而與 多考圖案不同’相機之回應中之非理想性可至少部分地由 後處理步驟補&。‘然而，經擁取之影像將亦由於由搁取操 作引入之其他非理想性（諸如參考圖案之定位及/或照明中 之非理想性)而與參考圖案不同。可能需要執行一不同操 作來補償此等操作特定之_想性之效應，而非允許相機 調控程序嘗試純處理步财補㈣等效應。 般方法將為II由將經擷取之影像更改成更類似於參 考圖案來補償經棟取之影像中之操作特定之非理想性的效 148266.doc •17- 201106294 應。然而，可能需要避免在經擷取之影像上添加此層處 理。更改經擷取之影像可能引起資訊損失，此可引起相機 調控程序產生次最佳的後處理步驟（例如，由於遮掩了待 量化之影像特性）。 如下文描述之另—般方法為量化除了將由後處理步驟 補你之非理u生之外的非理想性（例如，操作特定之非理 想性）之效應，且將此資訊應用至參考圖案以產生一用於 匹配之圖案（亦被稱為一目標或增強圖案）。圖14A包括任 務T210之此實施丁212之流程圖，其包括任務τ2〇ι〇及 Τ2020。基於一參考圖案之經擷取之影像，任務丁2〇 1 〇獲得 部位轉移誤差之一特性。任務Τ2〇2〇將部位轉移誤差之該 特性應用至對應參考圖案以產生一空間上經修改之（例 如，經變換之）參考圖案。舉例而言，任務Τ2〇2〇可經組態 以將部位轉移誤差之該特性應用至用以產生經印刷之參考 圖案的影像檔案的複本，應用至參考圖案之演算法描述， 或應用至參考圖案之另一無誤差定義或描繪。在此實例 中，任務Τ212亦包括任務Τ2030及Τ2〇4〇。基於該經擷取 之影像，任務Τ2030獲得強度轉移誤差資訊，且任務Τ2〇4〇 組合該強度轉移誤差資訊與該經變換之參考圖案以產生一 目標或增強圖案。可能需要對該等經擷取之影像中之每一 者執行任務Τ210之（例如，任務了212或丁214之）一對應例 項。 可能需要該擷取操作對於相機與正被擷取之參考圖案之 相對位置及/或定向中的一定程度之變化而言為穩固的。 148266.doc •18· 201106294 舉例，5 ’可能需要該擷取操作允許相機與參考圖案之間 的距離中的某-變化、參考圖案相對於相機光學軸之草 平移，及參考圖案相對於相機之光學轴之定向; 化。此變化可包括參考圖案之捲動、俯仰及/或橫搖(例 如’如圖12A中展示）。在方法MU2中之任務Tu〇之每— 例項中’對應參考圖案可相對於相機不同地定向。不慮及 此等變化之操取操作可能既難以使用又易於出現誤差。 即使相機之透鏡及感測器為完美的，但至少由於距離' 平移及定向中之此變化，該經擷取之影像仍將不同於參考 圖案：可能需要量化此變化。舉例而t，除非調控方法可 經組態以補償此變化，否則此變化可能阻止—隨後誤差分 析操作（例如，任務T4〇〇)產生有用資訊。 、該參考圖案可經實施以包括若干經良好界定之特徵（亦 被稱為「標記」）’其在經擷取之影像中之位置可用以界 定參考圖案中之位置與經操取之影像中之像素之間的對 應。可根據支援在經擁取之影像中充分準確地定位標記之 置（例:it至至少像素解析度）的任何所要設計來實施此 等標記。在參考圖案中該等標記之部⑯，及在賴取之影 像中的該等標記之對應部位可接著用以特性化由擷取操作 引入之位置轉移誤差（例如，作為空間扭曲）。 可將一標記實施為在一較大未填充片内（例如，在較大 未填充>1之中4)之填滿片。在—實例中，將該等標記 中之兩個或兩個以上者中之每—者實施為_正方形片内之 填滿圓形片，纟中在圓形片與正方形片之間具有高對比度 148266.doc •19· 201106294 (例如，白色片内之黑色圓圈，或黑色片内之白色圓圈）。 在另一實例中，將該等標記中之兩個或兩個以上者中之每 -「者實施為具有一特定顏色之填滿圓形片或正方形片 (「彩色點」）。在又—實例+，將該等標記中之兩個或兩 個以上者中之每―者實施為_正方形白色片内之彩色點 (例如，一填滿的紅色圓圈）。在此等狀況下，任務τ2〇ι〇 可紅組態以將在經擷取之影像中的標記之位置敎為填滿 的片之影像之重心Μ壬務Τ2010可經組態以使用一相連組 (connected component labeling operation)^ ^ 測每一彩色點之像素。可能需要將每—標記之部位識別為 經棟取之f彡像之-特定像素n可能需要財像素精 度識別每-標記之部位。通常’使用至少四個標記(經配 置為四邊形之點）之位置來界定經#|取之影像與參考圖案 之間的唯-投影變換。投影變換將四邊形映射至四邊形。 圖4展示每一標記包括一彩色點(例如，一紅色點)之狀 況。彩色輯於準確的位置散可為有料，甚至對於僅 使用-種顏色之狀況亦然、然而，歸因於經擷取之影像中 之標記的經定位之位置的不精確性，在變換中可發生某誤 差。對於—簡單圖案(例如’如圖4中展示之雜訊量化圖 案）’由四個標記之單—集合支援的變換之準確度可為充 分的。為了支援-更準確變換’可能需要組態任務丁2〇1〇 以在參考圖案中定位四個以上標記、然而，當使用四個以 上標記時，在參考圖案中之標記與其在經擁取之影像中之 對應物之間的對應中可發生不明確性。 148266.doc 201106294 對於一參考圖案包括四個以上 考圖案包括標記之兩個<^ 可能需要參 a兩個以上集合（其中 — 有高達四個標記），該等华入 、 & 土 α 等集S經組態以使得任務Τ2010可可 罪地區分經擷取之影像中之 — 人之芦1 集0之私記與所有其他集 。 此料記可經實施以包括具有-特定顏色之填 滿圓形或正方形片（亦被稱為「 、 π 衫巴點」）。在一個此實例 中，第-集合(例如，具有四個標記)之標記為白色正方形 内：具有第-顏色(例如，紅色、綠色或藍色)之彩色點， 且第一集合(例如，具有四個標記)之標記為白色正方形内 之具有第二顏色(例如，紅色、綠色及藍色中的一不同顏 色）之彩色點。在另-實例中，第三集合（例如，具有四個 標記)之標記為白色正方形内之具有第三顏色(例如，紅 色、綠色及藍色中的剩餘顏色)之彩色點。圖5至圖U展示 二個具有四個標記之集合的參考圖案之實例，且圖Η展示 將顏色指派至此等圖案中之各集合之標記的—實例。任務 T2〇10可經組態以獨立地（可能並列地）執行對每一集合: 標記的偵測。對於三個以上顏色可被容易地區分之狀況 (例如，包括額外色彩通道，諸如黃色通道可用之狀況）， 可使用標記之額外集合。如上文提及，任務Τ2〇ι〇可經組 態以使用一相連組件標示操作來偵測每一彩色點之像素。 在參考圖案内標記之位置，連同在經擷取之影像内標記 之對應位置表示關於在拍攝經擷取之影像時存在的參考圖 案相對於相機的位置及定向的資訊（亦被稱為「部位轉移 誤差資訊」），諸如相機與參考圖案之間的距離中的特 148266.doc -21 · 201106294 變化、參相案相對光學 對於相機之光學轴之定移及參考圖案相 以外推此資訊以將經擷取::二=:可經組態 對應位置。 ’、、士至*考圖案内之 可能需要將參考圖案甲之每— 之拐角處。可能需要此四邊形且有：：°放於四邊形 橫比a❹袖 料具有與相機❹⑻目同之縱 邊广於彼此按_::轉(==: 平口甲之母者的四邊形為同心的實例。 具體而§ ’在此圖中，紅色及藍色標記定位於各別及同軸 矩形之頂點處’且綠色標記沿矩形之軸線定位於菱形之頂 點處。若任務丁201(H貞測到少於最小數目之標記（例如，若 該等標記中之任-者不在經操取之影像中），則可能需要 對於一參考圖案重複操取操作。 任務T2020經組態以將部位轉移誤差之特性應用至參考 圖案以獲得一增強圖案。舉例而言，任務T2010可經組態 以使用標記部位來將部位轉移誤差之特性計算為一變換 (諸如投影隻換），且任務Τ2020可經組態以將該經計算 之變換應用至參考圖案（例如使用雙線性或雙三次内插）以 產生增強圖案。在一實例中，任務丁2〇1〇及72〇2〇經組態以 使用套裝軟體MATLAB(位於美國馬薩諸塞州内蒂克市之
MathWorks公司，The MathWorks，Inc.，Natick，ΜΑ)之函式 cp2tf〇rm及imtransfcmn來分別計算及應用該變換。可由任 148266.doc -22- 201106294 務T2010及/或T2020之其他實施使用以執行此等操作的其 他套裝軟體包括GNU Octave(位於美國馬薩諸塞州波士頓 之自由軟體基金會 www.gnu.org，Free Software Foundation, Boston，MA,’ www-dot-gnu-dot-org)及 Mathematica(位於美國 伊利諾伊州尚佩恩之沃爾夫勒姆研究公司，Wolfram Research, Champaign, IL) ° 在另一實例中，任務T2020經組態以將部位轉移誤差之 特性應用至參考圖案以藉由將部位轉移誤差之該特性與參 考圖案之演算法描述組合而獲得一增強圖案。舉例而言， 圖1 1之參考圖案之演算法描述可規定，邊緣出現在由線 y = yc土出/(2/ν), χ= &土mv(2N)，形成之矩形處（每一整數i>〇)， 其中（心，八)為圖案之中心；Η及W分別為圖案之高度及寬度； TV = min ([M//(2m)j, U//(2m)j):;且m為邊緣之間的最小間隔。 可能需要提供足夠數目之標記來支援一變換，該變換將 考量由相機之光學系統（例如，相機透鏡）之不完美性引起 的幾何失真，諸如桶形失真或枕形失真。幾何失真可引起 直線在經擷取之影像中表現為曲線。此變換可包括曲線擬 合運算，其經組態以使曲線擬合至經擷取之表示中的標記 之部位。 部位轉移誤差之校正可有助於使經擷取之表示内之邊緣 與經變換之參考圖案内之對應邊緣對準。剩餘誤差中之一 些將係歸因於感測器不完美性。然而，剩餘誤差中之一些 (可能更多）將係歸因於在擷取期間參考圖案之照明中之不 均勻性（亦被稱為「強度轉移誤差」）。此誤差可歸因於（例 148266.doc -23- 201106294
定向方面的差異而發生。 面性、自參考圖案之 參考圖案的照明及/或 可能需要考量光自照明源㈣參考圖案至相機感 測器之
為透鏡衰減（falloff)或漸暈），其甚至在完全均勻照明下也 可能引起經擷取之影像之中心比周邊亮。儘管行動電話相 機及其他廉價相機通常具有固定孔徑透鏡，但應注意透鏡 滾偏可隨著透鏡孔徑變化。強度轉移誤差可引起雙模態圖 案之經擷取之影像為非雙模態的，及/或可引起具有均勻 反射比或亮度之區之經擷取影像具有不均勻照度，即使用 以擷取衫像之感測器具有跨越其表面的完全均勻回應亦 在一實例中’任務T2030經組態以藉由對該經擷取之影 像執行一基於區塊之模式之濾波操作而產生強度轉移誤差 資訊之一映射》此操作包括將經擷取之影像劃分成不重疊 區塊之一集合，計算用於每一區塊之模式值（亦即，最頻 繁出現之值），及使用該對應模式值取代每一區塊之像素 之值。典型區塊大小包括8x8、16x16、32x32、8x16及 16 X 8像素。 在另一實例中，任務T2030經組態以藉由對該經擷取之 148266.doc -24- 201106294 影像執订一基於窗口之模式之濾波操作而產生強度轉移誤 差資訊之一映射。此操作包括使一窗口橫穿該影像，計算 在紅口之每一位置處之模式值，及使用該經計算之模式值 取代該窗口之中心處之像素之值。使用一基於窗口之模式 之濾波操作產生之影像可更準確地反映跨越該影像之照明 %中的逐漸改變，及/或可含有如與使用一基於區塊之模 式之濾波操作產生的影像相比較雜訊較少之邊緣。典型窗 口大小包括 9x9、51x51、ιοίΜο!及201x201像素。 在又一貫例中，任務T2030經組態以藉由對該經擷取之 影像執行-經組合的基於區塊與基於窗口之模式之滤波操 作而產生強度轉移誤差資訊之一映射，使得在每一窗口之 中心處之區塊（例如，具有3χ3、5χ5、7><7或9)<9像素）内之 所有像素被給予相同值（例如，如在整個窗口上計算之模 式=)。或者，任務2030亦可經組態以使用一不同非線性 運算，該非線性運算平滑化局部雜訊變且亦增強邊緣。 任務Τ2040經組態以組合強度轉移誤差資訊與經變換之 參考圖案以產生一增強圖案。舉例而t，儘管一經模式渡 波之影像可提供關於在擷取期間遍及參考圖案之照明的重 要資訊’但其亦可含有在邊緣過渡處之不準確性。任務 T2040可經組態以藉由將經變換之參考圖案之過渡強加於 匕模式渡波之影像上而組合強度轉移誤差f訊與經變換之 參考圖案。舉例而t ’任務T2040可經組態以藉由根㈣ ，參考圖案中的對應過渡之位置來移動經模式遽波之 影像之過渡（例如，藉由重新建構經模式渡波之影像中之 148266.doc •25· 201106294 過渡點）’而產生增強圖牵。式 系次者’任務T2040可經組態以 藉由根據強度相似性準則#用姑 干丨使用經模式濾波之影像之對應像 素取代經變換之參考圖荦之I_ 系之每一像素而組合強度轉移誤差 資訊與經變換之參考圖案 像的大小相同。 通常’增強圖案與經擷取之影 可能需要任務Τ2040使用 ’、’£文換之參考圖案來指示每一 像素所關聯於之模式（例如，雙模㈣案之低強度模式或 南強度模式），且使用該經模式遽波之影像指示與每-模 式局部地相關聯之特定像素值。舉例而言，任務測〇可 經組態以使用經變換之參考圖案之像素值㈣經模式遽波 之影像中之模式誤h在―個此實例中，當經模式遽波之 影像之像素值高於一局部模態間臨限值且經變換之參考圖 案之對應像素值指示-低強度模式，或經模式遽波之影像 之像素值低於該局部模態間臨限值且經變換之參考圖案之 對應像素值指示-高強度模式時，任務T2()，測到二模 式誤差H例中，在以賴取影像之對應像素為中心 的51x51像素窗口上計算局部模態間臨限值。任務仞〇4〇可 經組態以根據任何適當技術計算局部模態間臨限值，諸如 藉由將Otsu方法應用至包括當前像素之窗口，藉由採用包 括g刚像素之窗口之平均值（例如，均值或中值）等等。 圖14B包括任務T200之此實施T214之流程圖。任務仞μ 包括任務Τ2040之實施Τ2045，其獲得強度轉移誤差資訊 (如上文參考任務Τ2030所描述）且將其與來自經變換之參 考圖案之邊緣部位資訊組合以產生一增強圖案。在此狀兄 148266.doc -26- 201106294 在由ά變換之參考圖案提供之約束（例如，用於每一 2之拉式指示）下執行模式滤波操作。任務T2G45基於經 參考圖案之對應像素的值限制選擇範圍，而非在整 個區塊或® 口上計算每一模式值。舉例而言，任務no" 可經組態以在每-區塊或窗口中選擇在-特定強度範圍 才艮據特疋模式指示高於或低於如上文描述之局部 模態間臨限值的範圍)内之最頻繁出現之值，或替代地在 該特定強度範圍内之值的均值。 可能需要任務Τ2045包括計算區塊或窗口之直方圖。任 務Τ2045亦可能使用具有一大小之窗口計算局部模態間臨 限值’且使用具有一不同大小之窗口計算用於選定模式之 像素值，或替代地對每一操作使用相同窗口。亦注意，模 式誤差很可能僅發生在經模式較之影像内之邊緣㈣、 使得可能不必要檢查在經模式濾波之影像的遠離邊緣（例 如’至少兩個、三個、四個或五個像素之外）之像素處的 模式誤差。 任務Τ300對該等經擷取之表示中之一或多者執行一後處 理步驟以獲得對應經處理之表示。舉例而言，任務丁31〇可 經組態以執行自適應性空間濾波操作，諸如在題為 r ADAPTIVE SPATIAL FILTER FOR FILTERING IMAGE INFORMATION」（「Jiang」）之美國公開專利申請案第 2008/003 153 8號中描述之範圍的操作中的任一者，該案以 引用之方式併入，目的限於揭示任務丁31〇之實施（包括揭 示經組態以執行此任務之裝置）^可具有大量參數的此自 148266.doc •27- 201106294 適應性空間濾波器可經組態以減少雜訊，同時找出邊緣銳 度與假影產生之間的最佳平衡。可能需要任務丁3〇〇對經擷 取之表示之集合中的每一者執行相同後處理步驟（亦即， 使用相同參數值）。對於在不同各別擷取條件（例如，不同 各別照明位準）下拍攝經操取之影像之多個集合之情況， 可旎需要任務T3 0 0針對經操取之表示之每一集合使用參數 值之不同對應集合。 自適應性空間濾波器可包括一平滑濾波器KS丨〇。可將 此平滑濾波器實施為一平均濾波器，其中根據一平滑參數 之值控制平均度。Jiang之陳述式（1)描述此濾波器之以下 貫例.Vs- 1/9*[1 1 1; 1 1 1 1 + _1 _ 1; -1 8 _ 1; -1 _ 1 _ 1 ]，其中Vs指示經平滑之像素值。在此 實例中，平滑參數P經實施以具有自零（〇%平滑）至一百 (100〇/〇平滑）之值範圍。在另一實例中，平滑參數經實施以 具有自零（無平滑）至一（1〇〇%平滑）之值範圍。在又一實例 中’平滑參數經實施以具有自零（無平滑）至十四（1〇〇%平 滑）之範圍上的十五個可能值。亦可能使用5 X 5平滑濾波器 而非上文描述之3x3濾波器》 自適應性空間濾波器可包括用於邊緣銳化之一或多個濾 波器。舉例而言，自適應性空間濾波器可包括經組態以銳 化水平邊緣之濾波器KH10及經組態以銳化垂直邊緣之濾 波器KV1 0 ^可將每一此濾波器實施為一正方形内核（亦 即’正方形迴旋遮罩p jiang之陳述式及分別描述 5 X 5水平及垂直邊緣銳化内核之以下實例：Vh =丨/6* [_丨_ i 148266.doc -28- 201106294 -1 -1 -1; -2 -2 -2 -2 -2; 6 6 6 6 6; -2 -2 -2 -2 -2; -1 -1 -1 -1 -1]及 vv=l/6*[-l -2 6 -2 -1; -1 _2 6 -2 -1; -1 -2 6 -2 -1; -1 _2 6 -2 -1; -1 _2 6 -2 _1]，其中％指示經水平銳化之像素 值，且vv指示經垂直銳化之像素值。可將每一銳化滤波器 之一各別增益因子（例如’一水平銳化增益因子kH及一垂 直銳化增益因子kv)實施為一乘數，該乘數被應用至使用 對應内核迴方疋S玄影像之結果（例如，分別應用至值及 VV) °在一特定實例中’水平銳化增益因子kH及垂直銳化 增益因子kV被各自實施以具有均勻地分佈在自〇至4 〇〇之 範圍上的401個可能值（亦即，〇.〇〇、〇 〇1、〇 〇2等等）。可 用於任務T310中之銳化濾波器之其他實例包括反銳化遮罩 (unsharp masking) ° 自適應性空間濾波器可經組態以在與平滑操作並列之處 理路徑中執行邊緣銳化。或者，自適應性空間渡波器可經 組態以與平滑操作串列地執行邊緣銳化。舉例而言，任務 T31〇可經組態以如圖16令展示（且如在^时8之文獻中參看 圖2描述）執行濾波操作，其中邊緣銳化操作與平滑操作（平 滑遽波器KS1G)串列地執行，其中對平滑操作之結果單獨 地且並列地執行垂直邊緣銳化及水平邊緣銳化操作(内核 KV10及ΚΗ10，具有各別增益因子kv&kH)。 ，可能需要組態任務T31G以使得至少該等邊緣銳化操作僅 被對於經擷取之影像之照度通道(例如，γ通道)執行。將 不同銳化#作應用至彡像之色料道可在所得經銳化之 影像中引起色彩假影。任務丁31〇可經組態以僅對正處理之 148266.doc -29- 201106294 影像之照度通道進行操作。 如上文描述，任務T310可經組態以使用一固定内核及— 可變增益因子值執行一邊緣銳化操作。然而，在一些狀況 下（例如，在一影像之梯度區域中），使用固定銳化内核（諸 如 ’ [-1 -2 6 -2 -1; ] _2 6 -2 -1; -1 -2 6 -2 -1; -1 -2 6 -2 -1; -1 _2 6 -2 -1])可在經處理之影像中產生交叉影線（cr〇ss hatch)假 景_/在另一貫例中，任務T300可經組態以使用可變内核值 執仃一邊緣銳化操作。在此狀況下，可能需要強加一或多 個約束，諸如圍繞中間列及行之對稱性（亦即，頂部/底部 及左/右對稱性）。此對稱性約束將5χ5内核減少至九個參 數。在一個此實例中，任務Τ310經實施以執行一垂直邊緣 銳化操作及一水平邊緣銳化操作，其中每一操作具有界定 一可變内核之九個參數。在又一實例中，亦包括如上文描 述之增益因子值，對於每一邊緣銳化操作就具有總共十個 參數。 自適應性空間濾波器可包括對邊緣銳化操作之輸出的截 割或箝位運算CL10。舉例而言’箝位器clio可經組態以 包括一最大正銳化限制e2(例如，使得高於e2之銳化值被 箝位於e2處）。替代性地或額外地，箝位器cl 1 〇可經組態 以包括一最大負銳化限制e3(例如’使得少於負e3之銳化 值被箝位於負e3處）。限制e2及e3可具有相同值或不同值， 且可對垂直及水平邊緣銳化操作兩者之輸出實施此等運算 (例如，如圖16中展示，使用箝位器cl〗〇之各別例項 CL 1 0a、CL 1 Ob)。通常’對於垂直及水平邊緣銳化操作兩 148266.doc -30· 201106294 者使用e2及e3之相同值，但亦可能對於此等操作使用。及/ 或e：3的不同值。在一特定實例中，e2經實施以在自〇至1〇〇 之範圍上具有10 1個可能值（例如，〇、1、2等等），且e3等 於e2。 自適應性空間濾波器可包括—應用銳化減法臨限值e丨之 疋限運算CT10。舉例而言，此運算可經組態以使得經銳化 之影像的具有小於el之量值之像素減少至零，且使得自經 銳化之影像的具有至少61之量值之像素減去el。在一特定 貫例中，el經實施以在自〇至1〇〇之範圍上具有1〇1個可能 值（例如，0、1、2等等）。可能需要組態任務T3丨〇以在限 制e2及e3之下游應用臨限值e丨（例如，如圖丨6中展示，使用 在垂直及水平銳化路徑中之定限器（thresh〇ld)CT1〇之各別 例項CTlOa、CTlOb)。在一實例中，任務T31〇具有六個參 數.Ρ、kH、kv、el、e2及e3。在另一實例中，任務T3l〇 具有十八個額外參數（如上文描述，對於兩個5χ5銳化内核 中之每一者，具有九個參數）。 任務Τ3 10之每一例項可經組態以處理經擷取之影像之集 合中的一對應影像（可能並列地執行任務丁3丨〇之多個例 項），且自s玄經操取之影像產生一對應的經處理之影像。 任務T 3 1 0可經組態以將每一經處理之影像產生為對應經平 滑之影像、經垂直銳化之影像與經水平銳化之影像之總和 (例如，如圖16中展示）。可能需要實施方法Mu〇之多個例 項（每一者包括任務T310之多個例項），以根據參數值之不 同各別集合處理經擷取之影像之多個集合（例如，對應於 148266.doc -31- 201106294 不同照明位準），從而產生對應的 免埋影像之多個集 合0 任務謂相對於用於匹配之對應圖案來評估如由任務 產生之-或多個經遽波之表示。可能需要組態任務 T400以使用-致性量度來描述經遽波之表示之品質。 而言^壬務T_可經組態以依據成本函數而量化—㈣波 之表示與用於匹配之對應圖案之間的 左，成本函數之項 可根據關於其在特定實施中之相對重要性或優先權之決策 而受到加權。舉例而言，成本函數之某項可受到更重地加 權，以增加對由該項表示之行為的負增強的程度。 任務T4GG之各別例項可經組態以評估經據波之表示 合中的每一表示的成本函數。在此狀況下，任務Τ400可經 組態以將總成本函數值產生為各種評估之平均值。替代性 地或額外地，任務Τ400可經組態以基於來自經渡波之表示 之集合中的兩個或兩個以上(可能全部)表示之資： 一成本函數。可能需要實施方法Μ110之多個例項（每L者 包括任務Τ4Π)之多個例項）以產生用於多個 合(例如’其中每-集合對應於-不同照明位準)中的t 集合的單獨的評估量測。 在-實你J中，任務期使用四項《本函數 其中p表示經處理之影像相對於增強圖 案的逐像素誤差’ η表示雜訊量測，。表示過度銳化量測， 兒度里測，且Wl至W4表示權重因子。在一特定實例 ’權重％12及〜中之每一者具有值卜亦可能需要組 148266.doc -32- 201106294 態方法Ml02以組合來自任務T4〇〇之多個例項的評估結 果。舉例而言’可能需要組態方法M112以將來自任務 T410之多個例項的評估結果組合至如本文中描述之單一成 本函數中。在此狀況下，任務T41〇之例項中之一或多者 (可能全部）可經組態以在少於成本函數之全部項的情況下 產生評估結果。 任務Τ410可經組態以將逐像素誤差ρ計算為經處理之影 像與對應增強圖案之間的RMS誤差。在此狀況下，任務 以1〇可經組態以自增強圖案減去經處理之影像，計算所得 差異影像之值之平方的總和，藉由影像大小正規化該總 和，且將值P產生為經正規化之總和之平方根。 刀沄M112可經 -----、、工w >王於 中的平均誤差。或者，方法M112可經組態以自少於全 經處理之料的經處理之影像計算值p。舉例而言，方 Ml 12可包括經組態以將值p計算為雜訊量化圖案(例如， 圖4中展不）之RMS誤差的任務T41〇之一例項。 雜訊量測η量化經處理之影像中的雜訊之存在。如與 於諸如數位單鏡頭反光(SLR)相機之高品質相機令之景; 感測器相比較，用於諸如行動電話相機之廉價相機中^ 像感測器趨向於更小且具有更小像素點。因而，由較小 測器擷取之影像趨向於具有較低信雜比(SNR)。任務T4 可經組態以基Ρ雜訊量化圖案之—或多個片中之―一 中的方差而計算雜訊量測。在如應用於圖4之一實： 將此量測計算為該三個片中之每一 之t準差的總和 148266.doc •33· 201106294 可能需要組態任務Τ410之此例項以自動地定位該等片。在 一個此實例中，方法Μ11 〇經組態以重複任務Τ2020以將變 換應用至一集合之三個遮罩影像中之每一者，每一遮罩影 像對應於由參考圖案中之該等片之一對應片佔據的區域， 且任務Τ41 0經組態以使用經變換之遮罩影像中之每一者來 定位該對應片。或者，任務Τ 410可經組態以使用用於特性 化固定圖案雜訊之任何其他技術來計算雜訊量測η。 過度銳化或「過衝/欠衝」量測0量化了經處理之影像中 的過度銳化假影之存在。通常，需要具有一定程度之過度 銳化’因為其趨向於增強對銳度之感知。然而，太多過度 銳化可產生過多、可見及不適宜之過衝及/或欠衝，且可 能需要成本函數包括一處罰過度銳化假影之存在的項。圖 13展示過衝像素（亦即，在自較暗區之過渡附近的過亮像 素）及欠衝像素（亦即，在自較亮區之過渡附近的過暗像素） 的實例。在經過度銳化之邊緣附近的此等假影之存在亦被 稱為「暈環效應」或「邊緣條帶（edge banding)」。 圖1 7 A包括汁算過度銳化量測〇之值的任務T41 0之實施 Τ412的流程圖。圖17Α之流程圖亦展示將一變換應用至— 遮罩影像（例如，二元影像，其中選定像素具有一值且所 有其他像素具有另-值)以產生-經變換之遮罩影像的任 務Τ250。該遮罩影像選擇一過度銳化假影量化參考圖案之 一特定區。舉例而言，可能需要遮罩影像選擇一含有在至 少-邊緣附近之—區域的區。在—個此實例中，該遮罩影 像選擇3有至少兩個相鄰邊緣之區《對於雙模態參考圖 148266.doc •34- 201106294 案’可能需要遮罩影像選擇具有每一強度模式之大體上相 同數目之像素（例如，至1 %、5%、1 〇%或2〇%内）的參考圖 案之一區。任務T250應用至遮罩影像之變換為與用以自過 度銳化假影量化參考圖案獲得一增強圖案（例如，在如上 文4田述之任務T2020中）之變換相同的變換。此變換描述過 度銳化假影量化圖案與對應的經擷取之影像之間的空間扭 曲’使得所得經變換之遮罩影像自對應的經濾波之影像選 擇所要區。任務T250可包括於任務T210内（例如，任務 T2020内）。 任務T4010獲取經濾波之影像之選定區的直方圖。儘管 可能評估經處理之影像之任何一或多個區上的銳化效能， 但可能需要選擇在參考圖案之中心附近之區。舉例而言， 可能需要組態遮罩影像以選擇一接近參考圖案之中心（例 如，在透鏡之中心附近）的區。相機之透鏡在光學軸附近 之解析力很可能比在周邊附近之解析力強，且最佳化在周 邊附近之區上的銳化操作可能引起在中心附近之過度銳 化。 在一典型狀況下，過度銳化假影量化參考圖案及區選擇 經設計以使得直方圖具有兩個峰值，一峰值對應於該邊緣 或該等邊緣之較亮側且另一峰值對應於較暗側。對於較亮 側，任務T4020a判定一高強度基線值，其為對應直方圖峰 值之平均值。在一實例中，基線值為對應直方圖峰值之模 式（亦即’最頻繁出現之值在另—實例中，基線值為大 於直方圖之中點的像素值之均值。 148266.doc -35- 201106294 基於此基線值，任務T4030a判定對應的第一及第二過衝 臨限值。任務T4030a可經組態以自一範圍判定第一臨限 值’該範圍為自基線值之110%或115%至u〇%、125%或 130%。在一實例中，任務74〇3{^將第一臨限值計算為基 線值之115%。任務T4030a可經組態以自一範圍判定第二 臨限值’該範圍為自基線值之115%或12〇%至13〇%、14〇% 或150。/。。在一實例中，任務T4〇3〇a將第二臨限值計算為 基線值之122.5%。圖18展示一過度銳化假影量化圖案之經 濾波之表示的選定區之直方圖的實例，其中指示第一及第 二過衝臨限值。任務丁4〇3〇3可經組態以對於明亮及暗淡照 明條件不同地計算第一及/或第二臨限值。 可能需要基於該區中之過度銳化假影像素之數目（例 如，過衝及/或欠衝像素之數目）計算一過度銳化量測。在 此狀況下，可旎需要根據每一假影像素之誤差之量值來加 權每假〜像素。基於第一及第二臨限值，任務T4〇4〇a計 算一過衝1測。在一個一般實例中，任務T4〇4〇a經組態以 將該區中t不可接受之像素的&目計算為具有大於（或 不】；）第限值且不大於（或者，小於）第二臨限值
之值的像素之數目。太+香I 在此貫例中，任務T4040a亦可經組態 以將該區中之極不可接受之像素的數目計算為具有大於 (或者，不小於）第二臨限值之值的像素之數目。 任務T4G4Ga之此實施可經組“基於不可接受像素之數 目及極不可接文像素之數目計算過衝量測。舉例而言，任 務丁4〇4〇a可經組態以根據諸如Mo=wuoPuo+wvoPvo之陳述 I48266.doc -36- 201106294 式計算過衝量測，其中Mo表示過衝量測，Pu〇表示不可接 文過衝像素之數目，Pvo表示極不可接受過衝像素之數 目’且WUO及WVO表示權重因子。通常，WV0之值比wuo之 值大得多（例如，比wuo之值大五倍至二十倍）。在一實例 中’ WUO/WVO之比率等於〇 〇75。可能需要根據Pu〇及Pv〇之 觀測到之比率選擇比率wuo/wvo(可能動態地），使得可預 期項〜110卩110及wvoPv〇大致相等。在另一特定實例甲，wU〇 之值為1且wvo之值為20。 可能需要組態任務T4040a以正規化像素計數。舉例而 言’任務T4040a可經組態以藉由以下方式正規化該等值 Puo及Pvo :使每一值除以該區中之像素之總數目，或使每 一值除以具有大於（或者，不小於）基線值之值的像素之數 目。任務T4040a可經組態以對於明亮及暗淡照明條件使用 WU0及/或WV0之不同值（例如，根據wuo/wVO之不同值）。 任務T4040a可經組態以計算值大於基線值但小於（或 者’不大於）第一臨限值的像素之數目，且基於此數目計 算過衝量測。或者’可將此等像素視為可接受的。舉例而 言’如上文提及，藉由後處理步驟之一定程度之過度銳化 可為需要的（例如，以增強對影像中的邊緣銳度之感知）， 且任務T4〇40a可經組態以忽略此等像素。 對於較暗側，任務T4020b判定一基線值，其為對應直方 圖峰值之平均值（例如，模式）。基於此基線值，任務 T4030b判定對應的第一及第二欠衝臨限值。任務丁4〇3〇13可 經組態以自一範圍判定第一臨限值，該範圍為自基線值之 148266.doc -37· 201106294 70%、75% 或 800/。至 85% 或 900/。。在一實例中，任務 T4〇30b 將第一臨限值計算為基線值之80%。任務T403Ob可經組態 以自一範圍判定第二臨限值，該範圍為自基線值之50%、 60%或70%至80%或85%。在一實例中，任務T4030b將第二 臨限值計算為基線值之70%。任務T4030b可經組態以對於 明亮及暗淡照明條件不同地計算第一及/或第二臨限值。 基於第一及第二臨限值，任務T4040b計算一欠衝量測。 在一個一般實例中，任務T4040b經組態以將該區中之不可 接受之像素的數目計算為具有小於（或者，不大於）第一臨 限值且不小於（或者，大於）第二臨限值之值的像素之數 目。在此實例中，任務T4040b亦可經組態以將該區中之極 不可接受之像素的數目計算為具有小於（或者，不大於）第 二臨限值之值的像素之數目。 任務T4040b之此實施可經組態以基於不可接受像素之數 目及極不可接受像素之數目計算欠衝量測。舉例而言，任 務T4040b可經組態以根據諸如Mu=wuuPuu+wvuPvu之陳述 式計算欠衝量測，其中Mu表示欠衝量測，Puu表示不可接 受欠衝像素之數目，Pvu表示極不可接受欠衝像素之數 目，且WUU及WVU表示權重因子。通常，WVU之值比WUU之 值大得多（例如，比WUU之值大五倍至二十倍）。在一實例 中，wuu/wvu之比率等於0.075。可能需要根據Puu及Pvu之 觀測到之比率選擇比率wuu/wvu(可能動態地），使得可預 期項wuuPuu及wvuPvu大致相等。在另一特定實例中，WUU 之值為1且wvu之值為20。 148266.doc •38· 201106294 可能需要組態任務T4040b以正規化像素計數。舉例而 言，任務T4040b可經組態以藉由以下方式正規化該等值 Puu及Pvu ··使每一值除以該區中之像素之總數目，或使每 一值除以具有小於（或者，不大於）基線值之值的像素之數 目。任務T4040a及T4040b可經組態以使得wuo等於wuu及/ 或wvo等於wvu。任務T4040b可經組態以對於明亮及暗淡 照明條件使用wuu及/或wvu之不同值（例如，根據wuu/wvu 之不同值）。 任務T4040b可經組態以計算值小於基線值但大於（或 者，不小於）第一臨限值的像素之數目’且基於此數目計 算欠衝量測。或者，可將此等像素視為可接受的。舉例而 言，如上文提及，藉由後處理步驟之一定程度之過度銳化 可為需要的（例如，以增強對影像中的邊緣銳度之感知）’ 且任務T4040b可經組態以忽略此等像素。 任務T412可經組態以評估具有單獨的過衝及欠衝項之成 本函數。或者，任務T412可經組態以將過度銳化量測〇之值 產生為過衝量測Mo與欠衝量測Mu之總和。或者，任務T412 可經組態以將過度銳化量測〇之值產生為過衝量測Mo及欠衝 量測Mu之平均值（可能使每一項由一對應像素數目加權）。 圖17B包括任務T410之替代實施T414之流程圖’其包括任務 T4040之實施T4042。任務T4042產生過度銳化量測〇之值（例 如，產生為過衝量測Mo及欠衝量測Mu之總和或平均值）。在 一實例中，任務 T4042根據諸如 〇=wu(Puo+Puu)/Pt+wv(Pvo+Pvu)/Pt 或o=(Puo+Puu)/Pt+(wv/wu)(Pvo+Pvu)/Pt之陳述式計算 〇 之值， -39- 148266.doc 201106294 其中WU及WV為權重因子且Pt指示該㊣中之像素之總數目。 邊緣斜率或銳度量測s量化了經處理之影像中的邊緣之 銳度（例如’斜率）。儘管可能需要避免經處理之影像中之 過夕過衝及欠衝’但亦可能需要在邊緣處獲得一充分陡的 斜率理，。地，經處理之影像中的每一邊緣之斜率將等於 對應的增強圖案中的彼邊緣之斜率。可能需要將銳度量測 计算為經處理之影像中之邊緣斜率與增強圖案中之邊緣斜 率之間的差異之量測。 圖19展不任務T41〇之實施丁416的流程圖，其可用以評估 銳度量測s(可能與用於評估過度銳化量測〇之任務丁412或 Τ414相結合）。任務Τ416包括自經處理之影像之橫截面向 量什算一導數向量之任務T4〇5〇a及自對應的增強圖案之橫 截面向量計算一導數向量之任務T4〇5〇b。圖2〇展示一增強 圖案之橫截面之大體上雙模態部分的曲線，及展示不同程 度之邊緣銳度的三個經處理之影像之橫截面之對應部分的 曲線。一般而言，任務T4050a及T4050b可經組態以選擇對 應於參考圖案之任何橫截面的跨越多個邊緣之同一部分的 橫截面向量。舉例而言，任務T4050a及T4050b可經組態以 根據一經變換之遮罩影像（例如’如由類似於如上文描述 之任務T2 50的任務所產生）選擇橫截面向量。在此狀況 下’可能需要遮罩影像選擇一在參考圖案之中心附近的 區。 該等任務T4050a及T4050b中之每一者可經組態以根據諸 如b[i]=a[i+l]-a[i]之陳述式自橫截面向量a計算作為差異向 148266.doc -40- 201106294 量的一導數向量b。圖21展示用於匹配之圖案及圖2〇中展 示之經濾波之影像1的橫截面之此等導數向量的部分的實 例。任務T416亦包括任務T4060a及T4060b，其分別對用於 經處理之影像及對應的增強圖案之導數向量進行分類。圖 22展示用於橫截面（其部分展示在圖2〇中）的經分類之導數 向量的實例。 任務T41 6亦包括計算經分類之導數向量之間的絕對差向 量的任務T4070及基於來自絕對差向量之資訊將量測s之值 計算為一邊緣誤差的任務T4080。圖23展示圖22之經渡波 之影像的經分類之導數向量的絕對差向量的曲線。任務 T4〇80可經組態以將邊緣誤差計算為絕對差向量之終值的 平均值。舉例而言，任務Τ4080可經組態以將邊緣誤差計 算為絕對差向量之第一個及最後一個、五個、十個或二十 個值的平均值。或者，任務Τ4080可經組態以將邊緣誤差 計算為絕對差向量之第一個及最後丨個、2 5%、4%或5%個 值的平均值。或者，任務Τ4080可經組態以將邊緣誤差計 算為絕對差向量之值之平均值，其指數對應於來自增強圖 案之對應橫截面的經分類之導數向量的終值之指數（舉例 而=量值大於〇·2的圖22中之增強圖案的經分類之導數 向量的值之指數’可預期其對應於橫截面向量中之邊 緣）。 可能需要組態任務Τ4080以將銳度量測計算為來自對應 於經;慮波影像之不同對應橫截面的一個以上絕對差向量 (例如’四個絕對差向量）之邊緣誤差的總平均值。在任務 148266.doc •41 - 201106294 Τ4 16之一特定實施中，針對四個垂直橫截面及四個水平橫 截面中之每一者執行任務T4〇5〇a、T4〇5〇b、T4060a、 T4060b及T4070之例項，且任務T4〇8〇經組態以將銳度量 測計算為來自八個橫截面中之每一者的邊緣誤差的平均 值。方法Μ112可經組態以藉由組合（例如，平均）來自任務 Τ4 16之多個例項之結果來計算銳度量測s，任務丁416之每 一例項經組態以評估一對應於一不同各別參考圖案之經濾 波影像》 任務Τ500最佳化後處理步驟之參數值。舉例而言，任務 Τ500可經組態以最佳化該等參數值以使得任務丁4〇〇之成本 函數最小化。如圖1Α中展示’方法Μ⑽可經組態以使得 任務Τ500被反覆以產生用於任務Τ3〇〇之後處理步驟的新參 數值，任務Τ300又被反覆以產生將在任務Τ4〇〇中評估的新 的經濾波之表示，使得在任務Τ400中計算之成本函數得以 最小化。可將此狀況視為有監督學習與無監督學習之混 合：適應度（fitness)函數及適應度評估階段為無監督的， 但如在有監督學習中，將增強信號提供為一理想值。可能 需要方法Μ110包括用於不同照明位準之集合中之每一 準的任務Τ510之一單獨例項（例如，反覆處理路徑τ3ι〇至 Τ410至Τ510之單獨例項）。 在如上文描述的提供ρ的15個可能值，kH&kv中之每 者的401個可能值’及el及e2中之每一者的ι〇ι個可能僧 實例中’解空間包括240億個以上的不同可能性。若亦 放對銳化内核之最佳化，則此解空間會變得大許多倍。 148266.doc •42. 201106294 行此咼參數空間之竭盡式搜尋為不實際的。因此’可能需 要將任務Τ500組態為適用於最佳化一大參數空間之技術的 實施。種此技術為模擬退火（simulated annealing)。其他 此種技術包括類神經網路及模糊邏輯。另一此種技術為最 小二乘最佳化，其將參數映射至最小二乘問題，此等技術 中之一些可對初始條件（例如，用於任務T3〇〇之第一反覆 中之參數值的集合）敏感。 可用於任務T500中的用於最佳化一大參數空間之另一技 術為遺傳演算法。遺傳演算法評估基因組之種群，其中每 一基因組為編碼參數值之一特定集合的解域之（亦即，參 數空間之）遺傳表示。遺傳演算法反覆地自前一種群產生 基因組的新種群，直至找到滿足一適應度準則之基因組 及/或直至已執行最大數目之反覆。在遺傳演算法之每一 反覆處的基因組（亦被稱為「染色體」）之種群亦被稱為一 「代j 〇 在遺傳/臾异法+之狀況下，任務T500可經組態以將待最佳 化之每一參數之值編碼為足夠長以涵蓋該參數之可能值之 範圍的位元串，且串接用於該等個別參數之串以獲得為具 有某一長度L之位元串的基因組。在此系統中，具有長度l 之每一串界定最佳化問題之一特定解（亦即，參數空間中 之一特定資料點）。當然’任務T500亦可經組態以使用除 了串之外的資料結構。 在一實例中，任務T5 10經組態以將平滑度p之值（例如， 在0至14之範圍内）編碼成四個位元，將銳化内核增益h及 148266.doc •43· 201106294 kv中之每一者的值（例如，在〇至4.00之範圍内）編碼成七個 位元，且將銳化臨限值el及銳化限制e2中之每一者的值 (例如，在0至100之範圍内）編碼成七個位元以獲得5參數、 3 2位元之基因組。此基因組具有4 〇億個以上的可能值。對 於參數集合亦包括來自每一銳化内核之九個參數的狀況， 可能需要使用長達約62個位元的基因組。 方法M100可經組態以使用一隨機地產生之初始種群（例 如，長度為η之隨機串）開始。在此狀況下，對於該種群中 之每一基因組，任務T300根據在基因組中編碼之參數值執 行後處理操作以產生一對應的經濾波之表示，且任務T4〇〇 s平估用於彼經濾波之表示的成本函數以判定基因組之適應 度。 任務T5〇o之隨後反覆執行一繁殖（repr〇ducti〇n)階段以產 生下一代之種群。可能需要組態任務T500以向每一基因組 提供繁殖之機會（例如，以保持多樣性及/或以避免局部最 小值）。可能需要組態任務Τ500以使得一基因組繁殖之幾 率係基於自一經擷取之影像根據該基因組產生的一經處理 之影像的對應成本函數值。在—實例t，任務τ經組態 以根據一輪盤選擇程序選擇下一代之母體（parent)，其= 選擇-基因組為-母體的幾率與對應成本函數值成反比。 在另一實例中，任務T500經組態以根據一競赛選擇程序選 擇下-代之母體，使得自隨機地選自該種群的兩個或兩個 以上基因組或「競赛者」的每一集合選擇具有最低對應 成本函數值之基因組為母體。 I48266.doc -44- 201106294 任務丁 500可經組態以藉由 丄 組)產生新一代的基因 父越操作(亦被稱為重 體之部分產生一新基因組。新越二:自兩個或兩個以上母 大跳躍。可藉由在單-點處自參數空間中的較 體基因組而執行一交越操作▲因組切換至另-母 .. °亥早—點可被隨機地選擇。 或者，可藉由在多個點處自— 母體基因組切換至另一母體 基因組而執行一交越操作， 夕個點亦可被隨機地選擇。 替代性地或額外地，任務τ ^ n n 了 00了經組態以藉由執行一突 作而產生新一代的基因、组，突變操作藉由翻轉母體基 因組中之-隨機位元而產生_新基因組。此突變表示參數 空間中之-小的隨機偏離（讀）。在突變之另—實例中， 編碼-參數之值的子串(亦被稱為—「對偶基因」）由一隨 機變數（例如，-均勻分佈變數、—正態分佈（高斯）變數 等）之值取代。突變之又-實例藉由翻轉母體基因組中之 —個以上隨機位元’或藉由颠倒基因組之一隨機地選擇之 子串（亦被稱為「反轉」）而產生一新基因組。 任務T500可經組態以執行交越操作與突變操作之隨機混 合。任務T500亦可經組態以識別一代之一或多個最佳基因 組（例如，具有最低成本函數值之基因組）且使其不變地傳 遞至下一代。此程序亦被稱作「菁英主義（elitism)」。在一 實例中’任務T500經組態以使用80%之交越幾率及小於 10%之突變幾率產生下一代。在此狀況下，可使用菁英主 義選擇剩餘種群。 在一特定實例中，方法Ml 00經組態以針對—百代中之 148266.doc • 45· 201106294 母者產生且s平估一百個基因組之種群，且傳回編碼於與 最低對應成本函數值相關聯之基因組中的參數值之集合。 方法M100之此實例亦可經組態以在遇到與低於一給定臨 限值之成本函數值相關聯的基因組的情況下提早終止。將 理解，方法M100之遺傳演算法實施可用以藉由對參數空 間之極小部分（遠小於參數空間之1%、〇 1%或甚至〇 〇ι%) 取樣而獲得一商業上可接受或甚至優良的結果。 任務T2〇0、T300、ΊΜ00及丁5〇〇可藉由包括至少一處理 器及儲存器之裝置執行，諸如桌上型電腦或電腦網路。可 針對一代之母一基因組並列地執行後處理任務Τ3〇〇及評估 任務Τ400之例項，而無需與用於彼代之任何其他基因組之 處理路徑通信。因而，每一任務之多個例項可實施於諸如 圖形處理單元（GPU)之多核心處理器上。此處理器之一實 例為GTX 200 GPU(位於美國加利福尼亞之聖克拉拉的 Nvidia公司，Nvidia Corporation，Santa Clara，CA)，其包 括240個流處理器。包括此處理器之總成之一實例為 Nvidia GeForce GTX 280圖形擴展卡。具有此處理器之卡 可用以一次評估一整個代。此等任務之多個例項亦可在具 有一個以上多核心GPU之卡上及/或多個多核心處理器卡 (例如，經由可擴充鏈接介面（SLI)橋接器連接）上執行。另 外，多核心處理器及/或具有此處理器之卡可堆疊以處理 連續的代。 藉由相機之終端使用者擷取的影像之銳度可與拍攝影像 之照明條件相關。舉例而言，室外場景趨向於被更明亮地 148266.doc •46· 201106294 照亮以及更直接地照亮，且在此等條件下拍攝之影像趨向 於具有更高銳度H面’室内場景趨向於被更暗淡地 照亮以及更漫射地照亮，且在此等條件下拍攝之影像趨向 於具有較不清晰之邊緣。可能需要執行方法而〇細12 之多個例項（可能並列地）以產生用於後處理在不同照明條 件下擷取之影像的參數值之不同集合。舉例而言，在暗淡 照明下擷取的經擷取之影像之集合可用以產生為了在暗淡 照明下擷取之影像之後處理而最佳化的參數值之集合，且 在明焭照明下擷取的經擷取之影像之集合可用以產生為了 在明免照明下擷取之影像之後處理而最佳彳匕的參數值之集 合。在又-實例中’將在三個不同照明位準下拍攝之影像 之集合用以產生用⑥後處理的參數值之三個+同對應集 合。 : *=»初iU 日很;調控程序，該 自動化相機調控程序具有減少之學習曲線且可用卩獲得Γ 致及商業品質的結果而無需經過訓練之專家的主觀評估。 此程序可使得-相對不熟練的人工操作者能夠藉由獲得經 擷取之影像且起始自動化調控程序(例如，藉由指示經擷 取之影像所儲存於之檔案目錄或其它部位)來調控一相 機。在又一實例中’亦可自動化獲得經擷取之影像之任 務。應注意，方法MU0可包括在任務T110與T31〇之間及/ 或任務Τ310與Τ41〇之間對經操取之影像執行—或多個其他 處理操作（例如’ f彡像壓縮及解壓縮、色彩校正及/或轉 換’及/或—或多個其他空間域及/或頻率域處理操作:諸 148266.doc -47- 201106294 如自動白平衡）。 圖心展示根據-—般組態之裝置m觸之方塊圖。裝 置MF100包括用於獲得—參考圖案之一經操取表示的構件 觸。構件觸可經組“執行—操取操作（例如，如上 文參考任務TUK)之各種實施所描述)以獲得經擷取之表 示。或者，構件謂可經組態以自另一器件接收該經拍員取 之表不或自儲存器（例如，電腦可讀揮發性或非揮發性儲 存媒體，諸如記憶體模組或磁碟）擷取該經擷取之表示。 裝置刪00包括用於獲得一用於匹配之圖案的構件 F200(例如，如上文參考任務T2〇〇之各種實施所描述）。裝 置MF100包括用於對該經擷取之表示執行一濾波操作的構 件F300(例如，如上文參考任務丁3〇〇之各種實施所描述 裝置MF100包括用於評估該經濾波之表示的構件以〇〇㈠列 如，如上文參考任務丁4〇0之各種實施所描述）。裝置 MF100包括用於修改該瀘、波操作之至少—參數值的構件 F500(例如，如上文參考任務Τ5〇〇之各種實施所描述卜在 一實例中，構件F100、F200、F300、F400及F500中之一或 多者（可能全部）中的每一者整體地或部分地實施為可由一 或多個處理器執行之指令集。在另一實例中，構件Fi〇〇、 F200、F300、F400及F500中之一或多者（可能全部）中的每 一者整體地或部分地以硬體（例如’以特殊應用積體電路 (ASIC)或場可程式化閘陣列（Fpga))實施。 圖24B展示根據--般組態之裝置A1 00之方塊圖。裝置 A 100包括一感測器1〇〇，其經組態以擷取一參考圖案之— 148266.doc 48· 201106294 表示（例如，如上文參考任務T100之各種實施所描述卜裝 置A100包括一圖案產生器2〇〇 ’其經組態以獲得一用於匹 配之圖案（例如，如上文參考任務T2〇〇之各種實施所描 述）。裝置A100包括一濾波器3〇〇，其經組態以對該經擷取 之表示執行一濾波操作（例如，如上文參考任務之各 種實施所描述）。裝置A100包括一計算器4〇〇，其經組態以 s平估该經濾波之表示（例如，如上文參考任務T4〇〇之各種 實施所描述）。裝置Α100包括一最佳化器5〇〇，其經組態以 修改該濾波操作之至少一參數值（例如，如上文參考任務 Τ500之各種實施所描述）。在一實例中，元件2〇〇、' 400及500中之一或多者（可能全部）中的每一者整體地或部 分地實施為可由一或多個處理器執行之指令集。在另一實 例中，το件200、300、400及500中之一或多者（可能全部） 中的每一者整體地或部分地以硬體（例如，以特殊應用積 體電路（ASIC)或場可程式化閘陣列（FpGA))實施。 圖25A展示用於獲得一用於匹配之圖案的構件F2〇〇之一 實施F202的方塊圖，其包括用於判定特徵部位的構件 F210、用於計算部位轉移誤差之特性的構件ρ22〇,及用於 應用部位轉移誤差之該特性的構件F23〇。構件F2l〇經組態 以針對該參考圖案之複數個特徵中之每一者判定在該經擷 取之表示内該特徵的一部位（例如，如上文參考任務τ2〇ι〇 之各種實施所描述）。構件F22〇經組態以基於在該經擷取 之表示中該複數個特徵的該等經判定之部&而計算部位轉 移决差之特性（例如，如上文參考任務T2〇1〇之各種實施 148266.doc •49· 201106294 所描述）。構件F23〇經組態以將部位轉移誤差之該特性應 用至該參考圖案以獲得一空間上經修改之參考圖案（例 如’如上文參考任務Τ2〇2〇之各種實施所描述）。 圖25Β展示裝置MF1〇〇之一實施MF1〇2的方塊圖，其包 括用於執行以下各者之一序列的至少一進一步反覆的構件 F600 :執行一濾波操作、評估及修改。構件F6〇〇經組態以 控制構件F300、構件F4〇〇及構件F500執行以下各者之一序 列的至少一進一步反覆：執行一濾波操作、評估及修改 (例如’如本文中參考方法Mi 〇〇之實施所描述），以使得將 來自每一反覆的經修改之參數值用來產生用於下一反覆的 經據波之表示。 圖26A展示圖案產生器2〇〇之實施2〇2的方塊圖，其包括 特徵偵測器2 10、變換計算器22〇及重映射器230。特徵偵 測器210經組態以針對該參考圖案之複數個特徵中之每一 特徵判定在該經擷取之表示内該特徵的一部位（例如，如 上文參考任務T2010之各種實施所描述）。變換計算器22〇 經組態以基於在該經擷取之表示中的該複數個特徵的該等 經判定之部位而計算部位轉移誤差之一特性（例如，如上 文參考任務T2010之各種實施所描述）。重映射器23〇經組 態以將部位轉移誤差之該特性應用至該參考圖案以獲得一 空間上經修改之參考圖案（例如，如上文參考任務丁2〇2〇之 各種實施所描述）。 圖26B展示裝置A100之實施A1〇2的方塊圖，其包括一控 制器600。控制裔600經組態以控制濾波器3〇〇、計算器4〇〇 148266.doc •50· 201106294 及最佳化器500以執行以下各者之一序列的至少一進一步 反覆’執行一濾波操作、評估及修改（例如，如本文中參 考方法Ml 〇〇之實施所描述），以使得將來自每一反覆的經 修改之參數值用來產生用於下一反覆的經濾波之表示。 圖27A展示用於評估的構件4〇〇之實施F4〇2的方塊圖， 其包括用於判定過衝像素值的構件F4丨〇及用於在過衝像素 值中進行區分的構件F42〇。構件F41〇經組態以判定一經銳 化之影像之複數個像素值為過衝像素值，且構件F42〇經組 邊以區分該複數個過衝像素值中的至少兩個類別（例如， 如本文中參考任務T410之實施所描述）。 圖27B展示計算器4〇〇之實施4〇2的方塊圖，其包括第一 比較器410及第二比較器42〇。第一比較器41〇經組態以判 疋一經銳化之影像之複數個像素值為過衝像素值，且第二 比較器420經組態以區分該複數個過衝像素值中的至少兩 個類別（例如，如本文中參考任務T41〇之實施所描述 圖27C展示根據--般組態之方法Μ200的流程圖。方法 Μ200包括如本文中描述之任務T1〇〇、Τ3〇〇、14〇〇及丁5〇〇 之例項。在此狀況下，可忽略任務Τ2〇〇，且任務Τ4〇〇可經 組態以在不參考一用於匹配之圖案之情況下評估該經濾波 之表不的一或多個品質（例如，如上文參考對雜訊及銳度 量測之評估所描述）。 提供所描述之組態之先前陳述以使任何熟習此項技術者 月&夠製造或使用本文中所揭示之方法及其他結構。本文中 展示及描述之流程圖、方塊圖、狀態圖及其他結構僅為實 148266.doc •51 · 201106294 例’且此等結構之其他變型亦在本發明之範疇内。對此等 組態之各種修改係可能的，且本文中所呈現之_般原理亦 可應用於其他組態。因此，本發明並不意欲限於上文所展 示之組態，而是符合與在本文中以任何方式揭示之原理及 新穎特徵（包括於如所申請之隨附申請專利範圍中，其形 成原始揭示内容之一部分）一致的最廣範疇。 熟習此項技術者將理解，可使用多種不同技術及技藝中 的任一者來表示資訊及信號。舉例而言，貫穿以上描述可 能提及的資料、指令、命令、資訊、信號、位元及#^ 由電麼、電流、電磁波、磁場或磁性粒子、光場或光學粒 子’或其任何組合表示。 如本文中揭示之裝置之實施的各種元件(例如，裝置 MFH)〇,以及依據如本文中揭示之方法之各種實施的描述 在本文中明確揭示的此裝置及額外裝置之許多實施）可以 被認為適用於所欲應用的硬體、軟體及/或勤體的任何組 :體現。舉例而言，可將此等元件製造為駐留於(例蝴 -晶片上或晶片組中之兩個或兩個以上晶片中的電子及/ 或光子器#必匕态件之一實例為邏輯元件(諸如電晶體或 邏輯閘）之固定或可程式化陣列，且此等元件中之任一者 可實施為-或多個此等陣列。此等元件令之任何兩者或兩 者以上或甚至全部可實施於同—陣列或若干相同陣列内。 此陣列或此等陣列可實施於—或多個晶片内(例如，包括 兩個或兩個以上晶片之晶片組内）。 本文中揭示之裝置之各種管竑& 合種貫鈿的—或多個元件亦可整體 148266.doc -52- 201106294 地或部分地實施為-或多個指令集，該一或多個指令集經 配置以執打於一或多個固定或可程式化邏輯元件陣列上， 諸如微f理器、嵌式處理器、㈣心、數位信號處理器、 FPGA(场可程式化閘陣列）、Assp(特殊應用標準產品）及 ASIC(特殊應用積體電路）。如本文t揭示之裝置之-實施 的各種元件中之任—去-rt--ΓΒΛ « 4 者亦ΤΓ體現為一或多個電腦（例如， 包括經程式化以執行一或多個指令集或指令序列的一或多 個陣列的機器，亦被稱為「處理器」），且此等元件中之 、可兩者或兩者以i ’或甚至全部可實施於相同的此電腦 或此等電腦内。 可將如本文中揭示之處理器或用於處理的其他構件製造 為駐留於(例如)同-晶片上或晶片組中之兩個或兩個以上 晶片中的-或多個電子及/或光學器件…件之一實例 為邏輯元件（諸如電晶體或邏輯閘）之固定或可程式化陣 列’且此等元件中之任-者可實施為-或多個此等陣列。 此陣列或此等陣列可實施於—或多個晶片内(例如，包括 兩個或兩個以上晶片夕θ μ A〜、 日日月之日a片組内）。此等陣列之實例包括 固定或可程式化邏輯元件陣列，諸如微處理器、嵌式處理 益、IP核心、DSP、FPGA、ASSPMSIC。如本文中揭示 之處理器或用於處理的其他構件亦可體現為一或多個電腦 (例如G括、、工程式化以執行一或多個指令集或指令序列 之一或多個陣列的機器）或其他處理器。 热習此項技術者將瞭解，可將結合本文中揭示之乡且能所 描述的各種說明性模組、邏輯區塊、電路及操作實施為電 148266.doc •53· 201106294 子硬體、電腦軟體或兩者之組合。此等模組、邏輯區塊、 電路及操作可使用通用處理器、數位信號處理器（闕、 ASIC或ASSP、FPGA或盆他玎色 飞他可程式化邏輯器件 '離散閘或 電晶體邏輯、離散硬體組件或經設計以產生如本文中揭示 之組態的其任何組合來實施或執行。舉例而言，此組態可 至少部分地實施為-硬連線電路'實施為製造於特殊應用 積體電路中之電路組態，或實施為載入至非揮發性儲存器 中之動體程式或作為機器可讀碼自一資料儲存媒體載入或 載入至一資料儲存媒體中之軟體程式，此碼為可由邏輯元 件（諸如’通用處理器或其他數位信號處理單元）之陣列執 订的指令。通用處理器可為微處理器，但在替代例中，處 理'可為任何習知處理器、控制器、微控制器或狀態機。 亦可將處理器實施為計算器件之組合，例如，DSP與微處 理益之組合、複數個微處理器、結合-DSP核心之-或多 個微處㈣，或任何其他此組態…軟體模組可駐存於 RAM(隨機存取記憶體）、R〇M(唯讀記憶體）、諸如快閃 RAM之非揮mAM(NVRAM)、可抹除可程式化 R〇M(EPR〇M)、電可抹除可程式化R〇M(EEPROM)、暫存 益 '硬碟、抽取式磁碟、咖R0M或此項技術中已知之任 :，、他=式的储存媒體中。一說明性儲存媒體麵接至處理 口得處理器可自該儲存媒體讀取資訊及將資訊寫入至 儲存媒體。在替代例令，儲存媒體可整合至處理器。處理 存媒體可駐留於ASIC中。ASIC可駐留於使用者終 k機中。在替沖也丨+ J中’處理器及儲存媒體可作為離散組件 I48266.doc •54· 201106294 而駐留於使用者終端機中。 應注意，本文中揭示之各種 Μιη〇 λ/ί11η 套（例如，方法 Μ100、 胸2、仙〇舰112)可藉由諸 盗之遜輯件的陣列 執仃，且可將如本文令描述之裝 舛以劫兑认n f置的各種几件實施為經設 4執㈣此陣列上之H如本文中所使用，術語「模 組」或「子模組」可指代包括呈 雷… 〜括呈軟體、硬體杨體形式之 :“曰“例如，邏輯陳述式)的任何方法、裝置、器件、 單元或電腦可讀資料儲存媒體。 ° 1,人A 應理解，多個模組或系統 可.，且&成一個模組或系統，且一 Μ ,θ ., ^ 個模組或系統可分成多個 Μ、.且或系統以執行相同功能。去 田以軟體或其他電腦可執行 才曰5貫施時，程序之元素基本 馬用以執仃相關任務之程 式碼片段’諸如常式、程式、4 ^ 式物件、組件、資料結構及其 類似者。。術語「軟體」應被理解為包括原始碼、組合語言 碼機益碼、一進位碼、157體、巨集碼（macrocode)、微 碼、可由邏輯元件陣列勃 執仃之任何一或多個指令集或指令 序歹J &此等實例之任何組合。程式或程式碼片段可儲存 於處理器可讀媒體中或藉由體現於傳輸媒體或通信鍵路上 的載波中之電腦資料信號來傳輸。 本文中揭7Γ之方法、方案及技術的實施亦可切實地體現 (例士在如本文中列出之一或多個電腦可讀媒體中）為可 由一包括邏輯元件（例如’處理器、微處理器、微控制器 或其他有限狀態機）之陣列的機器讀取及/或執行之-或多 個才”木術扣電腦可讀媒體」可包括可儲存或轉移資 訊的任何媒體’包括揮發性、非揮發性、抽取式及非抽取 148266.doc -55· 201106294 式媒體。電腦可讀媒體之實例包括電子電路、半導體記憶 體器件、R〇M、快閃記憶體、可抹除ROM(EROM)、軟碟 或其他磁性儲存H、CD_R⑽DVD或其他光學健存器、硬 碟，或可用以储存所要資訊且可被存取之任何其他媒體。 ^腦資料信號可包括可經由諸如電子網路通道、光纖、空 氣、電磁、RF鍵路等之傳輸媒體傳播的任何信號。程式媽 片段可經由諸如網際網路或企業内部網路之電腦網路下 2。在任何狀況下’本發明之料h應被解釋為由 貫施例限制。 由中描述之方法之任務中的每一者可直接以硬體、以 2 #執仃之軟體模組或以該兩者之組合體現。在如本 文中揭示之方法之一實施的典 晝應用中，邏輯元件（例 士 邏輯閘）之陣列經組態以勃杆古、土—々 〜乂執仃方法之各種任務中的一 Γ 一者以上或甚至全部。亦可將任務中之-或多者（可 月匕全部）實施為體現於電 M ^ ^ 產时（例如，一或多個資料 儲存媒體，諸如磁碟、快閃 κ ψ .. 隐卡或其他非揮發性記憶 卞、牛導體記憶體晶片等）中 ’甲之程式碼(例如，-或多個指 7 其可由包括邏輯元件為 微护制„。+ ( j如，處理器、微處理器、 微控制态或其他有限狀態機） M n / ^ ^ 1皁列的機盗（例如，電腦）讀 取及/或執行。如本文中揭示 — 由一彳之方法之一貫施的任務亦可 田個以上此陣列或機器執行。 在一或多個例示性實施例中 體、β 本文中描述之操作可以硬 箄择柞~r ^ 貫施。右以軟體實施，則此 4钿作可作為一或多個指令 程式碼在一電腦可讀媒體上 148266.doc • 56 - 201106294 儲存或經由該電腦可靖进；触彳由±人 …… 傳輸。術語「電腦可讀媒體」 =電=媒體與通信媒體兩者，通信媒體包括促進電 :a至另—處之轉移的任何媒體。儲存媒體可為 可由電腦存取之任何可用拔驷批丄 “ 7 J用媒體。借助於實例且非限制，此 等電腦可讀媒體可包含儲在 化 “件之陣列，諸如半導體記憶 體（其可包括（但不限於）動態或靜態_、r〇m、咖職 或：：AM) ’或鐵電、磁阻、雙向、聚合或相變記憶 體’ CD-ROM或其他光碟儲存器、磁碟料器或其他磁性 儲存器件，或可用以儲存呈指令或資料結構之形式的所要 程式碼且可由電腦存取之任何其他媒體。如本文中所使 用’磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數 夕力月匕光碟（DVD)、軟性磁碟及Bluray DiseTM(B^_Ray
Di- ASS0ciati0n，美國加利福尼亞尤尼弗瑟爾錫_，—_ ㈣DiSe Assoeiatic)n’ g⑽】㈣ca) ’其中磁碟通常 磁ί生地再生資料’而光碟藉由雷射光學地再生資料。上述 各物之組合亦應包括在電腦可讀媒體之範疇内。 ^將本文中描述之模組、元件及器件之各種實施的元件 製為駐留於（例如）同一晶片上或晶片組中之兩個或兩個 ^曰片/的電子及/或光學器件。此器件之-實例為邏 輯兀件(諸如’電晶體或閘)之固定或可程式化陣列。本文 中心述之裝置之各種實施的一或多個元件亦可整體地或部 刀地實施為-或多個指令集’該-或多個指令集經配置以 執4丁於一或多個固定或可程式化邏輯元件陣列上，諸如微 處理器、嵌式處理器、IP核心、數位信號處理器、 148266.doc •57· 201106294 FPGA、ASSP及 ASIC。 本文中描述之裝置之一貫施的—或多個元件有可能用 、執行並非與該裝置之操作直接相關的任務或執行並非與 該裝，之操作直接相關的其他指令集，諸如與I入有該裝 置之β件或系統之另-操作相關的任務。此裝置之一實施 的-或多個元件亦有可能具有共同結構(例如，用以在不 同時間執行程式碼的對應於不同元件之部分的處理器、經 執行以在不同時間執行對應於不同元件之任務的指令集， 或在不同時間執行不同元件之操作之電子及/或光學器件 的配置）。 【圖式簡單說明】 圖1Α展示根據--般組態之方法M100的流程圖； 圖展示方法M100之實施M110之流程圖； 圖2展示方法M100之實施M1〇2之流程圖； 圖3展示方法M100及M102之實施M112之流程圖； 圖4展示雜訊量化圖案之實例； 圖5展示含有水平及垂直邊緣之邊緣銳度量化圖案之實 例； 圖ό展示圖5中展示之圖案之低對比度版本的實例； 圖7展示含有圓形邊緣之邊緣銳度量化圖案之實例； 圖8展示圖7中展示之圖案之低對比度版本的實例； 圖9展示含有傾斜邊緣之邊緣銳度量化圖案之實例； 圖10展示圖9中展示之圖案之低對比度版本的實例； 圖11展示過度銳化假影量化圖案之實例； 148266.doc •58- 201106294 圖12A說明一相機感測器及一參考圖案之相對定位； 圖12B展示一邊緣處之過衝及欠衝之實例； 圖13展示—經過度銳化之區之實例； 圖ΗA展示一流程圖，其包括任務T2丨〇之實施丁2丨2之流 程圖； 圖14Β展示一流程圖，其包括任務Τ21〇之另一實施丁214 之流程圖； 圖15展示將顏色指派至圖5至圖η中展示的圖案中之各 集合之標記的一實例； 圖16展示由任務Τ310之實施執行之濾波操作的方塊圖； 圖17Α包括任務Τ410之實施Τ412之流程圖。圖17Β包括 任務Τ410之實施Τ414之流程圖； 圖18展示一經濾波之影像之一選定區的直方圖； 圖19展示任務Τ 410之實施Τ41 6之流程圖； 圖20展示四個影像橫截面之對應部分的曲線； 圖21展示圖20中展示之橫截面之導數向量的部分. 圖22展示四個橫截面中之每一者的經分類之導數 置的 曲線； 圖23展示三個經濾波之影像之對應橫截面的絕對差 的曲線； 量 圖24A展示根據--般組態之裝置MF100之方塊圖. 圖24B展示根據--般組態之裝置A100之方塊圖. 圖25A展示構件F2〇0之實施F202的方塊圖； 圖25B展示裝置MF100之實施MF102的方塊圖； 148266.doc 59· 201106294 圖26A展示圖案產生器200之實施202的方塊圖； 圖26B展示裝置A100之實施A102的方塊圖； 圖27A展示構件400之實施F402的方塊圖； 圖27B展示計算器400之實施402的方塊圖；及 圖27C展示根據——般組態之方法M200的流程圖。 【主要元件符號說明】 100 感測器 200 圖案產生器 202 圖案產生器 210 特徵偵測器 220 變換計算器 230 重映射器 300 渡波器 400 計算器 402 計算器 410 第一比較器 420 第二比較器 500 最佳化器 600 控制器 A100 裝置 A102 裝置 CLIOa 箝位器 CLIOb 箝位器 CTlOa 定限器 148266.doc 60· 201106294 CTlOb F100 F202 F200 F210 F220 F230 F300 F400 F402 F500 F600 KH10 KS10 KV10 MF100 MF102 M100 M102 M110 M112 M200 T100 定限器 用於獲得一參考圖案之一經擷取之表示的構件 用於獲得一用於匹配之圖案的構件 用於獲得一用於匹配之圖案的構件 用於判定特徵部位的構件 用於計算部位轉移誤差之特性的構件 用於應用部位轉移誤差之該特性的構件 用於對該經擷取之表示執行一濾波操作的構件 用於評估該經濾波之表示的構件 用於評估的構件 用於修改該濾波操作之至少一參數值的構件 用於執行該執行一濾波操作、該評估及該修 改之一序列的至少一進一步反覆的構件 遽波器/内核 平滑濾、波器 濾波器/内核 裝置 裝置 方法 方法 方法 方法 方法 任務/擷取任務 148266.doc -61 - 201106294 TIOOa 擷取任務T100之對應例項 TIOOb 擷取任務T10 0之對應例項 TIOOc 擷取任務Τ100之對應例項 T110 任務 T200 任務/圖案產生任務 T200a 圖案產生任務Τ200之對應例項 T200b 圖案產生任務Τ200之對應例項 T200c 圖案產生任務Τ200之對應例項 T210 任務 T212 任務 T214 任務 T250 任務 T300 任務/後處理任務 T310 任務 T400 任務/評估任務 T400a 評估任務Τ400之對應例項 T400b 評估任務Τ400之對應例項 T400c 評估任務Τ400之對應例項 T410 任務 T412 任務 T414 任務 T416 任務 T500 任務 T510 任務 148266.doc -62- 201106294 T2010 任務 T2020 任務 T2030 任務 T2040 任務 T2045 任務 T4010 任務 T4020a 任務 T4020b 任務 T4030a 任務 T4030b 任務 T4040a 任務 T4040b 任務 T4042 任務 T4050a 任務 T4050b 任務 T4060a 任務 T4060b 任務 T4070 任務 T4080 任務 -63 148266.doc