TW201103316A - Two-dimensional polynomial model for depth estimation based on two-picture matching - Google Patents

Description

201103316 六、發明說明： 【發明所屬之技術領域】 本發明大致屬於影像捕捉，更明確地說，關係於使攝 像機根據兩圖片匹配受到深度估測的方法與設備。 【先前技術】 捕捉想要影像的臨界度量爲其適當焦點。各種系統已 經被開發，用以估測或取得適當的攝影焦點。當攝影透鏡 系統具有多數相關元件與特徵時，針對這些元件與其相關 特徵有以下的主要討論。 通常照相透鏡的兩個主要光學參數爲最大孔徑與焦長 。焦長決定視角、及對於到該主體之給定距離（主體·距 離）的該物體（主體）相對的影像大小。最大孔徑（f-數 ，或f-制光圈）限制了影像的亮度及可用於給定設定（焦 長^有效孔徑）的最快快門速度（焦長/有效孔徑），愈小 的數値表示更多光被提供在對焦面上，該對焦面典型可以 被視爲在簡單數位相機中之影像感應器的面。 典型簡單透鏡的一形式（技術上爲具有單一元件之透 鏡）爲具有單一焦長的透鏡（也稱爲定焦透鏡）。在對焦 使用單一焦長透鏡的攝像機時，其中透鏡與對焦面間之距 離被改變，以更改了對該對焦面所受到之照相焦點。因此 ，雖然單一焦長透鏡具有固定的光學關係及焦長，但其被 用於攝像機中，以在景深間隔間對焦於主體。因此’不應 將固定焦距的透鏡與使用該透鏡的攝像機上可取得之焦距 -5- 201103316 的範圍混淆，藉以相關於對焦面改變焦距調整該透鏡的位 置。 在使用單一焦長透鏡時’我們可以調整孔徑，以相對 應於想要快門速度選擇光的數量，然後，依據也稱焦距的 主體距離調整焦點’然後捕捉一影像。經常地，巨觀設定 對單一焦長透鏡被設有不同焦長選擇，以進行特寫拍攝。 長透鏡提供高倍率之很窄視角，用以使視框塡滿來自遠端 物體的影像。 多焦長透鏡通常稱爲“變焦”透鏡，因爲影像倍率可以 被如想要地“變焦”或“不變焦”。變焦透鏡允許使用者選擇 主體的放大倍率量，或另一方式表示，即主體塡滿視框的 程度。重要的是’了解這些透鏡的變焦功能，或攝影機鏡 頭系統的變焦功能與焦點控制及孔徑控制在槪念上係彼此 分開的。 不管利用單焦長透鏡或多焦長透鏡，均有必要適當地 將透鏡適當地對焦至給定主體距離。給定對焦設定的對焦 的可接受範圍被稱爲“景深（depth of field) ”，其係爲在 物體空間或主體空間中之可接受銳度的深度量測値。例如 ，對於15呎主體距離，高解析度攝像機的焦點可接受範 圍可以約幾吋，而最佳焦點可以甚至需要更高準確度。可 以了解的是，當景深隨著對焦由中間距離向外移向“無限 遠”（例如捕捉遠山、雲等等的影像）而增加，無限遠當 然是該範圍的無限景深。 對於在一給定孔徑設定的單一焦長透鏡，對於攝像機 -6- 201103316 至該主體（主體距離）的給定距離將會有單一最佳對焦設 定°較攝像機的焦距爲近或爲遠的主體部份將在所捕捉影 像中的特寫，顯示部份程度的模糊，這係取決於衝擊於景 深的很多因素。然而，在多焦點透鏡中，對於可以爲透鏡 所取得之各個透鏡倍率（透鏡焦長）有一最佳焦點。爲了 增加實用性，透鏡製造者已經顯著降低回應於變焦設定的 再對焦’然而，再對焦的需求係取決於所用之特定攝像透 鏡系統。另外，孔徑設定可能需要回應於不同層次的變焦 倍率而改變。 原始上，攝像對焦只可以回應於操作者辨識及人工對 焦調整加以決定與校正。然而，由於所得對焦的臨界本質 ’對焦協助被立即採用。近來，攝像裝置經常設有能力以 自動對焦於主體上，其功能今日大致稱爲“自動對焦”。當 很多現行自動對焦機制受到有缺點及取捨時，對焦持續爲 密集技術開發要點。 現存有兩通用類型之自動對焦（AF )系統，即主動自 動對焦及被動自動對焦。在主動自動對焦中，一或更多影 像感應器被利用以決定至焦點的距離，或者，檢測影像捕 捉透鏡系統的外部焦點。因爲主動A F系統典型不透過視 窗對焦，或者在其他特定應用中，因爲聲波及紅外線光爲 玻璃或其他表面所反射，所以主動A F系統可以執行快速 對焦。在被動自動對焦系統中，所觀看影像的特徵係被用 以檢測及設定焦點。 多數高階SLR攝影機現行使用透過透鏡的光學AF感 201103316 應器，其例如也可以被使用爲測光計。這些現代AF系統 的對焦能力可以經常較透過一般取景器人工所完成更高之 準確度。 被動A F的一形式利用相位檢測，例如將進入光透過 分束鏡分爲呈對的影像並將之在AF感應器上作比較。兩 光學稜鏡捕捉來自透鏡相反側的光束並將之轉向AF感應 器，建立具有與透鏡直徑相同的基礎的測距器。回應於檢 查類似光強度圖案及用於決定是否物體被認爲在焦點前或 適當焦點位置後的相位差，而決定焦點。 另一類型之被動AF系統中，透過透鏡在感應器視野 內完成對比fi測。系統調整焦點以最大化於相鄰像素間之 強度差，其通常表示正確影像聚焦。因此，執行對焦直到 取得最大對比位準爲止。此形式之對焦較主動AF爲慢， 特別是，當操作於昏暗光線時，但這是爲低階攝像裝置中 所常用之方法。 眾人所知被動系統在低對比狀況下作出聚焦決定比較 差，特別是在大型單色面（實體面、天空等等）或低亮度 狀況時。被動系統取決於主體的照亮程度（自然光與否） ，同時，當有必要時，主動系統甚至在全暗時也可以正確 對焦。 因此，有需要改良自動對焦技術，以在大範圍條件下 ，提供快速及準確主體距離決定及/或對焦控制。本發明 完成該需要及其他需要，以克服先前攝像機對焦技術的缺 點。 -8 - 201103316 【發明內容】 所述爲一種攝像深度估測方法，其係根據模糊差與多 圖片匹配。該方法計算在不同焦點位置所捕獲之影像間之 模糊差。此模糊差係取決於透鏡焦點與相關於目標影像的 位置加以改變，其依據本發明可以使用至少二維的多項式 模型加以近似。該模型係例如藉由使用一連串的步階緣影 像加以校正，或者，類似方便校正影像機制加以校正，以 對準適當的焦點，然後，被利用以計算給定影像收集設備 的一般影像的深度。校正目標或主體因此被用於特徵化處 理’其中對焦特徵，或更適當地表示爲攝像機及透鏡系統 的模糊特徵係被決定及模型化，以於攝像機操作時使用。 於此所討論是主要關係於具有單一焦長透鏡的攝像機 ’然而，該技術也可以應用至多焦長度透鏡（例如，“變 焦”透鏡），並將在接近說明書結束處加以討論。應了解 的是’除了自動對焦外，於此所教導的深度估測在包含電 腦/機械手臂版本、監看、3D攝像、及類似攝像系統的領 域中有很多應用》 依據本發明之一般說明，匹配曲線係取得用於校正（ 例如步階緣影像）在整個景深或其想要部份的不同距離的 影像。然後，建立多維（例如二維）模型，較佳多項式模 型以代表匹配曲線。當給定設備之一般影像的模糊差被計 算時’二維多項式模型然後可以用於深度估測。 以下名詞大致參考說明書加以描述，並不用以解釋爲 -9 - 201103316 限制說明書的特定內容。 用語“直方圖”係爲統計用語，用以描述列表頻率的圖 形顯示，大致顯示成比例於落入各個類型之若干情形，不 論是分立的條狀或在一範圍內。 用以模型化一匹配曲線的用語“多項式”係爲多項式函 數，例如，具有通常一維形式： 少=a〆 + + …+ a2x2 + a〆 + 其中n爲非負整數，其界定多項式的程式。應注意的 是，具有冪次3的爲立體’冪次2的爲平面、冪次1爲直 線及〇爲常數。多項式可以使用以模型化大範圍的經驗決 定關係》 於此所用之用語“卷積”描述一對兩函數的數學運算， 以產生第三函數，其典型視爲原始函數之一的修改版本。 經常’第二函數爲逆轉並重鹽第一函數的一部份，朝向更 適當模型化一給定資料組。 用語“點擴散函數”（P S F )描述攝像系統對點光源或 點物體的反應’其經常被稱爲脈衝反應，例如在步階緣所 找到。在本文中’點物體的擴散（模糊）程度係爲攝像系 統的聚焦品質的量測値》 用語“離群”爲一統計用語，表示在經驗資料組中之— 或更多觀察係爲數値上遠離或分開其他的資料組。雖然在 任一大取樣組中期待少量的離群，但離群點可以表示系統 缺點、故障資料等等。想要模型化包含“離群，，的資料組造 成誤導模型’其中一旦確定它們並不能適當代表其中之函 -10- 201103316 數的特徵，則它們典型就被丟棄。 本發明可以以若千形式被實施，包含但並不限於以下 說明。 本發明之一實施例爲一種電子捕捉影像的設備，包含 :(a)攝像裝置（例如一或更多電荷耦合裝置（CCD) 、互補金屬氧化物半導體（CMOS)攝像元件等等）；（b )耦接至該攝像裝置的焦點控制元件；（c )耦接至該攝 像裝置及焦點控制元件之電腦處理器；及（d )至少一記 憶體，架構以保存由攝像裝置所捕捉的影像、適用以保持 可執行於電腦上的程式；（e )至少一多維焦點匹配模型 ，回應於在不同焦長的攝像校正目標，取得用於該設備並 保留在該記憶體中；及（f)可執行於電腦上的程式，用 以捕捉多物體影像並回應於將根據物體影像間之檢測的模 糊差輸入該多維焦點匹配模型，對物體影像執行深度估測 ，自動調整該設備的焦點控制元件。應了解的是，該設備 包含至少一靜態、影像、或靜態與視訊影像捕捉裝置。也 應了解的是，校正較佳使用電腦執行，其中多項式係數可 以爲該電腦所計算，用以儲存於給定攝像機，或給定實施 例的攝像機中。在較佳實施例中，深度估測及焦點控制然 後實施於該攝像機中。 在本發明之一模式中，焦點匹配的模型（例如多維焦 點匹配模型）係被投影爲多項式函數，其模型化該焦點匹 配曲線如同回應於在攝像機之景深中之校正目標的攝像所 取得。應注意的是，焦點匹配模型係被決定用於攝像設備 -11 - 201103316 (及/或光學系統）的給定實施例之攝像裝置（例如模型 、類型或架構）及代表該模型的資訊係被儲存於至少一記 憶體中，其內容可以爲攝像機中之電腦處理器元件所取回 〇 在本發明之一模式中，直方圖匹配係在計算模糊差前 被執行。直方圖匹配涉及等化，其中最近亮度的像素係回 應於在不同主體距離處所捕捉的圖片間之最小誤差而被移 動於直方圖之間。此程序然後藉由線性直方圖匹配函數加 以近似。 本發明之一實施例爲一設備，用以估測由攝像機（物 鏡）至主體的焦距，包含：（a) —電腦整合或架構以連 接至攝像機的攝像裝置（例如在攝像裝置內的計算元件） ；(b )至少一記憶體，架構以保存所捕捉影像，及保存 可以執行於電腦中之程式；（c )回應於在不同焦長的攝 像校正目標，取得至少一多維焦點匹配模型給該設備，該 多維焦點匹配模型保存在該記憶體中；（d )可執行於該 電腦上的程式，用以回應於執行深度估測，而自動估測適 當焦距（例如自動聚焦），回應於（i )捕捉多物體影像 ，（ii )決定於該多物體影像間之模糊差，及（iii )將該 模糊差輸入該多維焦點匹配模型，以產生至該主體的焦距 的估測。應了解的是，該設備被架構用以加入靜態相機、 視訊攝影機、或靜態及視訊攝像機裝置的組合。以上之焦 點匹配模型可以被建立及用於單一焦長透鏡，或當利用多 焦長（變焦）透鏡系統時，採用在放大倍率範圍內的其他 -12- 201103316 資料。 本發明之一態樣中，二維模型的焦點匹配曲線係根據 模糊差，該模糊差係回應於當攝像機校正主體距離範圍通 過該攝像機及/或透鏡系統的景深的至少部份或更好爲全 部的對比變化而決定。因此，影像被捕捉處的對焦設定及 在這些影像間檢測的模糊差的量係被利用以估測實際主體 距離，或該主體離開攝像機的深度。在本發明之一模式中 ，產生二維模型之焦點匹配曲線，包含：（i )由第一位 置至第二位置，將模糊變化模型化爲點擴散函數；（ii ) 估測在第一與第二位置間之中間位置的模糊變化並決定哪 一影像較尖銳；及（iii )回應執行被收集在攝像機的至少 一想要部份的景深或較佳整個景深的一順序影像的步驟（ i )及（ii )，產生焦點匹配模型，在影像間的模糊差由該 景深加入該焦點匹配模型中。 在本發明之一模式中，執行直方圖匹配處理，用以移 除或減輕回應於實體攝像機及環境變動造成之連續焦點位 置間之失配（例如，發光變化、快門計時變化、位置變動 等等），使得距離可以根據模糊更準確地決定。應了解的 是’可以在原始產生焦點匹配模型時及在攝像裝置中，被 捕捉影像被用以焦點匹配模型中作爲在決定模糊差前的一 步驟時，對校正目標的影像執行直方圖匹配處理。 在至少一較佳實施例中，焦點匹配模型被鑄成多項式 函數’其平順在焦點位置間之曲線，朝向降低失配雜訊。 多項式較佳根據想要影像應用及所用之透鏡本質及攝像系 -13- 201103316 統加以選擇。例如，但並不限於多項式函數可以爲雙二次 函數'雙三次函數等等。 本發明之一實施例爲一種主體焦深的自動攝像估測方 法’包含·· （a)回應於在不同焦距所捕捉的校正主體的 多影像間之檢測模糊差，儲存多維焦點匹配的模型；（b )捕捉多物體影像；（c )決定於該多物體影像間之模糊 差；及（d)回應於將多物體影像間之模糊差輸入該多維 焦點匹配模型，而估測焦深，以產生至該主體的焦距的估 測。該方法可以倂入任何形式之框捕捉可攝像系統中，例 如在靜態相機、視訊影像攝影機、或靜態與視訊攝像機之 組合。 在本發明之一態樣中，在捕捉影像間之模糊差係回應 於決定已知校正目標（例如一特定固定板或圖形）之對比 差變化成爲校正主體與攝像機間之距離變化加以決定。影 像捕捉的焦距及這些影像間之模糊差數量係透過焦點匹配 的模型被利用以估測實際主體距離或深度。 本發明之一實施例爲包含電腦程式之電腦可讀取媒體 ，電腦程式係可執行於電腦（例如整合於攝像裝置內）上 ，電腦被架構以回應於以下步驟，自動估測主體的攝像焦 深，該等步驟包含：（a )儲存焦點匹配模型’該焦點匹 配模型係回應於在不同焦距處的校正主體所產生之模糊差 資訊加以建立；（b )捕捉至少兩不同焦點位置的影像： (c)計算於捕捉影像間之模糊差；及（d )回應於將捕捉 影像間之模糊差輸入至焦點匹配模型而估測主體的深度’ -14- 201103316 並解開該模型，而產生至該主體的距離估測。更明確地說 ，將了解的是，該模型被利用以解開該等輸入，以達到至 該主體的距離估測。因此’應了解的是，本發明可以構成 爲攝像設備（例如電子靜態及/或視訊攝影機）、用於攝 像裝置的控制設備、或者在攝像系統內的估測主體距離的 方法，例如其較佳包含電腦處理元件及記憶體，用以保存 可以在電腦上執行之程式。 本發明提供若干有利態樣，其可以被分開或以任何想 要組合方式實施，而不脫離本發明之教導範圍。 本發明之一態樣爲一種回應於多焦點處特徵化攝像 機-透鏡系統時捕捉及匹配多影像，而估測至主體的距離 (主體距離或攝像機焦距）之方法。 本發明之另一態樣爲使用距離估測，以估測焦點或控 制在攝像系統內的焦點調整。 本發明之另一態樣爲一種主體距離估測方法，其可以 回應於代表在給定主體距離處的影像所取之至少兩對焦設 定的至少影像的輸入估測距離。 本發明之另一態樣爲主體距離估測方法，其特徵化給 定設備的模糊差，然後當提供至少兩影像展現給定主體距 離的模糊的可區分位準時，使用此特徵化以估測主體距離 〇 本發明之另一態樣爲主體距離估測方法，其只需要使 用兩影像輸入，用以估測主體距離，但其他輸入也可以利 用以如想要地增加估測準確度，或作連續及/或持續估測 -15- 201103316 本發明之另一態樣爲主體距離估測方法，其中，具有 不同對焦設定的多重影像係被捕捉爲具有固定主體距離的 影像，及來自這些影像的模糊資訊係被插入焦點控制模型 ，其被解開作爲距離，以產生實際主體距離的估測。 本發明之另一態樣爲主體距離估測方法或設備，其採 用多項式模型以表示經驗焦點匹配模型。 本發明另一態樣爲直方圖匹配方法，其中，像素被依 序由一直方圖移動至另一·直方圖，以等化在其他直方圖中 之最接近亮度的像素，以回應於不想要實體及環境變動， 降低雜訊引入該模型的影響，並爲一線性匹配函數所近似 〇 本發明之另一態樣爲主體距離估測設備與方法，其可 以被利用作單焦點透鏡、分立焦點透鏡（例如正常及巨觀 設定），或連續可變焦點透鏡（例如變焦透鏡）。 本發明之另一態樣爲分立估測設備及方法，其中可對 於攝像機的各個分立倍率設定或沿著連續可變倍率（變焦 )範圍的增a位置，產生焦點匹配模型。 本發明之另一態樣爲深度估測及對於攝像設備（例如 靜態及/或視訊攝影裝置）的寬範圍決定焦點，以架構以 不同焦點及變焦設定捕捉影像。 本發明之其他態樣將在說明書之以下部份說明，其中 之詳細說明只爲了完全揭示本發明較佳實施例之目的，而 沒有限定之用。 -16- 201103316 本發明將可更藉由參考例示用之附圖完全· 【實施方式】 參考附圖，爲了例示目的，本發明係大致 至圖14所示之設備中。應了解的是，該設備 及元件細節上作變化，該方法可以對特定步驟 變化’而不會脫離於此所揭示之基本槪念。 1 ·模糊差 圖1顯示一實施例1 0，其中當收集給定攝 如特定實施例，作出或模型化攝像機、或一系 使用相同/類似光學攝像元件）時，於不同焦 體距離）之多重影像係被捕捉爲校正目標（或 。收集資料組包含於給定倍率設定（透鏡於固 焦設定）攝像機透鏡系統的特徵化處理。顯示 (相機）1 2 ’其可以由最小焦長i 4對焦至無 小焦長14 (例如，此例爲3 5公分）被顯示， 1 6處的焦點。依據本發明，焦點沿著對焦路徑 校正目標22上的第一焦點位置18，然後至第 20 ’校正目標22係例如步階緣影像 '板、影 已知光學特徵的類似目標。 例如但並不限於，於此使用S 〇 n y D S C - R 1 本發明之方法’但熟習於本技藝者可以了解到 可以爲其他數位靜態相機及/或視訊攝影機加 解。 實施於圖1 可以在架構 及順序上作 像設備（例 列攝像機， 點位置（主 校正主體） 定焦長、變 一攝像裝置 艮遠1 6。最 及在無限遠 24收斂於 二焦點位置 規、或具有 相機以例示 ，該方法也 以利用。此 •17- 201103316 相機的焦距範圍係於最小焦距（例如，對於Sony DSC-Rl 爲3 5公分）至無限遠。 圖2A描述一狀況30’其中主體32被對焦，其中所 捕捉影像爲最銳利，如同陡急對比曲線3 4所表示，這也 被稱爲步階緣的“緣剖面”。可以了解到，校正目標或主體 較佳提供一機制，用以簡單地根據對比決定對焦的銳利度 。例如，在一步階緣目標中，在至少兩顏色、陰影、亮度 間完成一清楚的步階緣界線，其中，焦點的銳利度可以迅 速地由對比剖面的銳利度決定。爲熟習於本技藝者所了解 ’目標可以以若干不同方式之任一，以類似於測試視訊捕 捉及輸出不同態樣中，使用不同色度鑲疊法及彩條檢驗圖 的方式加以架構。 圖2B描繪當透鏡移開“對焦”位置時，物體38的影像 的模糊增加，得到如所示之斜向對比曲線40的狀況36。 通常，當以兩不同焦距拍攝雨圖片時，較接近主體距離拍 攝的圖片係較另一個銳利。圖片拍攝所取得之焦距及在這 兩圖片間之模糊差數量可以用以估測實際主體距離或深度 〇 假設在位置A及B取得兩圖片/A及/b，h較/b銳利 。模糊變化可以藉由點擴散函數P模型化爲： /α*Ρ-/β 其中*表示二維卷積。另外，點擴散函數Ρ可以藉由 以模糊核心Κ使用一連串卷積加以近似。 Ρ = Κ*Κ*...*Κ (1) 18- (2) 201103316 對於一測試例，核心K被選擇爲

Ί 4 Γ 4 28 4 J 4 Κ 據此’於/Α及/Β間之模糊差數量可以藉由方程式1 中之卷積數量加以量測。在實際實施法中，模糊差較佳利 用疊代處理加以取得。 圖3顯示一疊代處理，於此例示有三個疊代執行於圖 片/a (左）及圖片/Β (右）之間。 圖4描繪放置於固定距離（例如1〇〇公分）之步階緣 影像所取得之匹配曲線。第一圖片的順序係被於無限遠的 焦距拍攝，則一圖片係爲每當透鏡移動以更接近對焦一景 深時拍攝，直到焦距到達最小焦距爲止。此順序圖片以 ，//，…，/λ^表示，其中Ν爲該順序的長度。實際上， 爲了確保順序涵蓋整個景深，/〇較佳由較無限遠略遠處的 距離開始’及/Ν· !則爲略較指定最小焦距靠近。這些結果 使用DSC-R1相機完成，其被組態有軟體，用來控制相機 步階及順序。 對於給定焦深，爲了找出於疊代數與焦點位置間之關 係，一順序圖片在相機的整個景深中拍攝，該景深係爲每 兩圖片間之模糊差可以被由該處計算。 應了解的是，疊代及尤其是負疊代數表示爲何，將由 某些圖（例如圖4 )看出。正疊代數表示，較/i +,銳利。 argminU/；. *K*K*..*K-fM ||2. 疊代數的絕對値係藉由使用方程式 < /con^ons 計算。否則，如果疊代數爲負，則表示/i+ ,係較/,銳利。 -19- 201103316 在此時，疊代數的絕對値係由下式 argrninllLmW.II， J ν__·_ ’ I convolutions 。應注意的是，Η2表示L2 norm。也應了解也可以利用 其他錯誤量測方法而不脫離本發明。然而，應注意的是當 取兩圖片時，不知先驗的（priori ) ，/,·或/i+l哪一個較銳 利。因此，該方法被架構以計算以下之方程式3及4。 (3) (4)

/^argmin y；*K*K*...*K-fM / II / COQVolutlOQS || 2 /2 =argmin / I convolutions || 2 如果I i大於I2，則/i較/i+ i銳利，其中疊代數量（如 圖4所示）的値將爲h。否則，如果12大於I,，則/i + 1較 /i銳利，及疊代數量（如圖4所示）的値將爲-I2。如果I, 及12相等，則比較錯誤爲： ei /] convolutions :及 e2

fM*K*K* ^K-L v ,2 convolutions 如果e i小於e 2，則/i較/i +1銳利：相反當e 2爲較小 ，則/i+I較/i銳利。 在疊代數量與深度1 〇〇cm的焦點位置間之關係被顯示 於圖4。於每兩圖片/i及/i+1間之模糊差’對於i = 〇 ’ N-2被計算出。“圖片數”軸表示計算的疊代數之影像對。 例如，圖片號〇表示#代數量被計算於八與/ι之間。可 以看出當透鏡焦點位置移動離開主體距離時’疊代數量的 絕對値增加。零交叉點爲主體對焦處。 -20- 201103316 圖5及6比較來自圖4之圖片138及139的直方圖， 其中注意到顯著失配。應了解的是，在根據模糊準確計算 主體距離之前，此失配應被移除。 2 .直方圖匹配 爲了校正失配，失配程序較佳藉由修改一直方圖以匹 配另一直方圖加以執行。應了解的是，可以應用簡單線性 匹配函數，但也可以應用其他函數。像素被依序由一直方 圖移位，以等化最接近其他直方圖的亮度的若干像素。回 應於像素之移動於兩直方圖之間，匹配函數被例如使用最 小平方差解法加以決定。隨後，在聚焦匹配執行前，直方 圖匹配函數被應用至該兩圖片。 圖7及圖8描繪不同主體深度的疊代曲線，在焦點匹 配前未施加直方圖匹配係以實線顯示，而具有直方圖匹配 的則以虛線表示。圖7描繪單一例子，圖8描繪十五個不 同距離之疊代曲線。圖8的表係藉由分別放置一步階緣於 無限遠、1000、 500、 300、 200、 150、 125、 100、 80、 70 、60、50、45、40及35公分等距離。疊代數I可以被寫 爲焦距L及主體深度D的函數F。 I = F(L,D), (5) 其中L及D均爲圖片數所量測，其實體表示由無限遠 量測的景深數’或由圖片0之處界定。深度估測爲給定I 及L決定D的程序。示於圖8中之資料中，方程式5被用 以模型化深度估測。 -21 · 201103316 示於圖4、7及8的資料顯示顯著信號雜訊。例如， 在圖4至6中，在圖片139處看到明顯之離群。這些離群 之來源可以包含在捕捉程序中發光狀況的變化及孔徑變動 ，及其他實體攝像機及環境變動。 應了解的是，在這些圖中所見的失配，直方圖匹配技 術係在模糊差計算前被應用至該等影像。假設h,及h2分 別表示影像/l及/2的直方圖。1^爲參考直方圖及h2爲予 以修改以匹配至h,的直方圖，其中執行以下步驟： (1) 產生像素映圖矩陣w(i，j)。 (2) 對於範圍由〇至最大灰階Μ的各個i及j，設定 w ( i，j ) = 〇 〇 (3 )找出滿足h, ( i ) >0的最小i，及找出滿足h2 ( j ) > 0的最小j。 (4 )如果 h2 ( j ) 2 1m ( i )，設定 w ( i，j ) =hl ( i )’更新 h2(j)爲 h2(j) <-h2(j) -hi(i)，及設定 h| (i) =0，否則 如果 h2(j)<hi(i) ’ 設定 w(i，j)=h2(j)，更 新 1^(〇爲 ，並設定 h2(j) =〇 Ο 步驟3及4然後被重覆，直到h!及h2對於所有灰階 均爲〇爲止’這係回應於具有相同數量像素的兩圖片而發 生。 在映圖矩陣w ( i，j )建立後，例如使用加權最小平 方回歸法’建立線性匹配函數Η ( X) =ax + b，其中a及b •22- (6) 201103316 被計算爲： b = ls〇 y=〇_，=〇 y=o__ -λ * -- 」 ;«〇 /*〇 y=o

MM -MM /=0 7=0 /»〇 ys=〇 ΣΣ w(“ 乃艺 Σ 卜(w)/]- ΣΣ w(，，乃·/ ΣΣ[0_]-6ΣΙ>(，，·/)·/] (7) /=0 y-0 /s〇 ys〇 aT"m £!>(，，·/) is〇 _/=〇 矩陣w(i，j)通常爲稀疏。在該方法之—模式中， 只有非零値及其位置被儲存，以改良記億體及計算效率。 在執行兩影像的模糊匹配前，直方圖匹配函數Η ( X )被應用至的各個像素。直方圖匹配的結果係如圖8所 不 ° 應了解的是，直方圖匹配的主要目的爲移除離群。即 使在匹配程序執行後，也可以看出匹配曲線仍展現有重大 之雜訊。因此，在匹配執行後，曲線係依據多項式模型加 以模型化。 3 .二維多項式模型 上述之匹配曲線可以使用多維多項式函數，例如二維 (2-D )多項式函數加以近似，以促成計算，同時，移除 由圖4至圖8所看到之大部份失配離訊。 在此模型中’疊代數爲透鏡位置與物體距離的函數。 係數係例如回應於使用最小平方差二維多項式配適演算法 加以決定。二維多項式係用以模型化方程式5的模糊函數 -23- (8) (8)201103316 i=0 y=0 係數C ( i ’ j )係使用描述於i 997年九月之新加坡資 訊、通訊及信號處理的IEEE國際年會之由T.B.Deng所述之 “最小平方多維多項式配適的線性方式，，的方法加以決定。 多項式的次數（m及η)係取決於特定透鏡的使用及 應用加以選擇。例如雙二次（m = n = 2)及雙三次（m = n = 3 )多項式的例子被顯示於圖中。 例如’第一例中，雙二次函數係數可以用以近似配適 演算法。例如但並不限於，雙二次函數中，曲線可以藉由 3x3矩陣表示，例如以下： C (’，_/) = -5.268385e+00 1.014786e+01 -3.073324e-02 -9.677197e+00 -1,522669e-02 3.695552e-04 3.325387e-02 -2.438326e-04 -3.833738e-07 圖9爲以虛線表示雙二次配適曲線及以實線表示之匹 配資料間之比較。雙二次曲線配適的平滑線係與經驗收集 得之匹配資料的曲折線呈Stark對比。可以了解的是，多 項式提供爲實線所示之匹配資料的足夠匹配。 第二例子中，雙三次函數係數可以被交替利用以近似 出配適演算法。例如但並不限於雙三次似近法，曲線也可 以以例如下面之4x4矩陣表示。 -24- 201103316 C(U) = -2.096603e+01 1.414987e+01 -1.356138e-01 5.802D68e-04 -1.074841 e+01 -1.387527e-01 4.771262e-03 -2.600512e-05 8.499311e-02 -4.243161 e-04 -3.456327e-05 2.485215e-07 -3.199641 e-04 6.471844e-06 5.348240e-08 -6.416592e-10 圖1 〇描繪以虛線表示之雙三次配適曲線與以實線表 示之匹配資料間之比較。可以了解的是，雙三次多項式提 供較圖9示之雙二次配適略微接近的匹配。 4·深度估測 在方程式5所表示之模型中，深度估測法被迅速實現 。首先，至不同焦點位置的兩影像被捕捉，焦點位置間之 距離係在一景深內。應注意的是，主體距離在此時爲未知 ’並爲想要估測者。用於此程序之兩圖片可以以任何距離 被捕捉，只要這兩圖片之焦點位置間之差爲一景深即可。 或者，例如直方圖匹配的雜訊處理可以在模糊差決定前針 對所捕捉影像加以執行。於捕捉影像間之模糊差係在有關 於方程式2至4中計算，並且方程式（5)變成單一變數 多項式方程式。多項式方程式被解開爲D，這造成產生物 體的估測深度’也稱爲主體距離。應注意的是，D也可以 以例如整數或浮點數之任何想要格式加以建構。對於自動 聚焦應用’透鏡可以被移動至在估測距離D處的焦點，並 以相同方式估測新深度。該程序可以被重覆，直到疊代數 收斂於0或低於一些想要臨限爲止。應了解的是，演算法 可以擴充至有變化焦長及孔徑的更高維多項式模型。 -25- 201103316 5.方法與設備的一般說明 圖11顯示將要爲例如攝像機的給定攝像裝置的製造 者所執行之校正實施例。在方塊50中，對在不同焦長處 的步階緣影像取得匹配曲線。如方塊5 2所示，然後建立 二維模型，以例如藉由多維多項式模型表示匹配曲線。在 此校正處理後’模型的代表値，例如多項式係被儲存（方 塊5 4 )’並例如編碼入攝像裝置的非揮發程式記憶體中。 圖12顯示依據本發明在攝像裝置中使用用以深度估 測的多維多項式模型的實施例。在校正處理後（圖丨丨）， 取得了在特定攝像裝置內，估測物體深度的模型。在方塊 6〇中所示’在兩不同焦點位置捕捉兩影像（例如拍攝圖片 )。經由方塊62，較佳針對這些影像執行直方圖匹配。模 糊差然後在方塊64中計算。此後，在方塊66中，使用多 項式模型，以根據模糊差及兩影像被捕捉的焦點位置，估 測測度。 應了解的是，可以依據本發明執行一連串的深度估測 。例如’如果該方法係配合攝像機焦點調整加以使用，則 因爲攝像機焦點被調整，所以，可以收集額外的影像輸入 並再次（或連續）執行距離估測處理，以當主體距離估測 匹配實際主體距離時，攝像機接近適當焦點時，提供加強 的準確度。 爲了簡化焦點匹配模型及平滑該反應，有想要免除由 實體攝像機方面（例如孔徑變動、光學元件倍率及溫度變 -26- 201103316 動、機械透鏡設定變動等等）及環境因素（即，發光、動 作、溫度、位置等等）之變化所造成之誤差。雖然直方圖 匹配程序在決定模糊差前，移除一些雜訊來源，但仍有一 些如圖7所見之雜訊可以被免除。爲了免除額外雜訊，回 應於校正處理而決定的焦點匹配模型本身較佳被投人足夠 平滑的數學表示法（函數）中，例如，藉由採用用以深度 估測的想要次數（例如2、3或4次）的多項式函數加以 進行。因此，一函數（例如多項式函數）被選擇，以替代 根據經驗收集資料所建立的模型。當然，替代函數必須提 供經驗資料以作足夠曲線匹配（配適），以使得模型的使 用可以完成足夠準確之距離估測。 例如，給定一透鏡位置及疊代數，二維多項式方程式 變成單變數方程式。本發明之態樣描述單變數方程式作爲 可以在一步驟中解開的二次或三次方程式之例子。應了解 的是，演算法也可以如想要地擴充爲更高維多項式函數， 例如使用不同焦長及孔徑。 圖1 3顯示可以由圖1 2之方塊62所見之較佳被執行 之直方圖匹配處理，其係用以在計算模糊差前移除雜訊。 如由方塊70所表示，直方圖係被產生用以在不同焦點位 置取得兩圖片。在方塊72’像素被依序由一直方圖移位， 以等化其他直方圖之最接近亮度的像素數。如方塊74所 示，直方圖匹配函數係使用最小平方差解法加以決定。應 了解的是，爲了簡單起見，較佳選擇一維線性函數用於此 直方圖匹配函數。應了解的是，直方圖匹配函數與焦點匹 -27- 201103316 配函數爲不同並可區別的，後者爲二維多項式函數。 圖1 4顯示架構以依據本發明深度估測的影像捕捉裝 置（攝像機）9 0的例示實施例9 0。對焦/變焦控制9 4係 被顯示耦接至攝像光學9 2，以爲電腦（C P U ) 9 6所控制 。電腦96回應於來自記憶體98及/或輔助記憶體100的 執行指令，而執行深度估測方法。雖然，例如所示之攝像 裝置（例如視訊或靜態）爲影像顯示1 02及觸控螢幕1 04 ，但可以了解的是，依據本發明之方法仍可以實施於各種 影像捕捉裝置中，這些裝置係被架構有聚焦控制、聚焦指 示器 '或其組合。應了解的是，產生例如爲多項式所界定 之模型的校正程序（例如圖1 1 )係爲電腦控制測試設定所 執行。相反地，深度估測及對焦控制應被實施於圖1 4所 示之攝像機，或類似攝像裝置中。 有關於使用變焦控制或其他手段以改變透鏡焦長（也 稱爲倍率）時，應了解的是使用之攝像機/或透鏡系統較 佳依據本發明特徵化於整個可應用變焦範圍內。例如，攝 像機及/或透鏡特徵化將被執行至具有分立透鏡選擇之所 述之攝像機中之透鏡設定的各個分立焦長或執行至具有連 續可選擇變焦控制的攝像機之變焦範圍的增量步階處。以 此方式，可以如所述對單一焦長透鏡、或對於連續範圍（ 例如變焦）或典型稱爲分立範圍（例如正規/巨設定或其 他可選擇範圍設定）的不連續的多範圍透鏡，執行至主體 的距離估測。在先前段落中，已經描述2維多項式模型擴 散至多維，以提供各種焦長（不同變焦位置）及孔徑。例 -28- 201103316 如但並不限於，方程式（5 )可以被重寫爲I = F ( L , D，z ’A ) ’其中Z爲焦長，及A爲孔徑，以提供四維多項式 模型。 雖然上述說明已經包含很多細節，但這些細節並不應 被作爲限制本發明之範圍，而僅只於提供本發明較佳實施 例之部份顯示。因此，可以了解的是，本發明之範圍包含 可能爲熟習於本技藝者所熟知的其他實施例，因此，本發 明之範圍係爲隨附之申請專利範圍所限制，其中除非特別 說明，否則以單數表示之元件並不是想要表示爲“ 一且只 有一個”，而是“ 一個或更多”。爲熟習於本技藝者所知等 效於上述較佳實施例之元件的所有結構及功能係被加入作 爲參考並想要爲本案申請專利範圍所包圍。再者，也不必 然一裝置或方法來針對各個爲本發明所解決的問題。再者 ’本案中之元件、組件或方法步驟係想要針對大眾，而不 管該等元件 '組合或方法步驟是明確地說明於申請專利範 圍中者。於此之申請專利範圍元件係依據相關規定加以撰 寫’除非明確表示使用“功能手段”用語之外。 【圖式簡單說明】 圖1爲依據本發明態樣的於多焦點捕捉多影像的示意 圖； 圖2 A-2B爲依據本發明態樣之校正目標（例如步階緣 )影像的比較； 圖3爲依據本發明態樣之在三疊代中計算模糊差的示 • 29 · 201103316 意圖； 圖4爲依據本發明態樣收集之匹配曲線圖並顯示包含 離群及雜訊； 圖5爲依據本發明態樣之連續主體距離間之失配直方 圖； 圖6爲描繪於圖5中之直方圖的一部份的放大直方圖 圖7爲依據本發明之直方圖匹配前後之匹配的匹配曲 線圖； 圖8爲依據本發明態樣之直方圖匹配前後之匹配的十 五個距離的匹配曲線圖； ’ 圖9爲依據本發明態樣之使用雙二次配適的匹配曲線 圖； 圖1 〇爲依據本發明態樣之使用雙三次配適的匹配曲 線圖； 圖11爲依據本發明態樣之校正流程圖； ® 12爲依據本發明態樣之兩圖片匹配的攝像機深度 估測的流程圖； 圖1 3爲依據本發明態樣的直方圖匹配流程圖；及 圖1 4爲架構以依據本發明態樣的執行深度估測的影 像捕捉設備的方塊圖。 【主要元件符號說明】 1 2 :攝像裝置 -30- 201103316 1 4 :最小焦長 1 6 :無限遠 1 8 :第一焦點位置 20 :第二焦點位置 22 :校正目標 24 :對焦路徑 32 :主體 3 4 :對比曲線 3 8 :物體 40 ··對比曲線 90 :影像捕捉裝置 92 :攝像光學 94 :焦點/變焦控制 9 6 :電腦 98 :記憶體 100 :輔助記憶體 102 :影像顯示器 104 :觸控螢幕

Claims (1)

1. 201103316 七、申請專利範圍： I.—種電子捕捉影像的設備，包含： 攝像裝匱； 焦點控制元件，耦接至該攝像裝置； 電腦處理器，耦接至該攝像裝置及該焦點控制元件； 記憶體，耦接至該電腦處理器並架構以保存自該攝像 裝置捕捉的影像並保存爲該電腦處理器可執行之程式； 多維焦點匹配模型，保存在該記憶體中，其中該模型 係根據在不同焦長的攝像校正目標；及 爲該電腦處理器可執行之程式，用以執行步驟有： (i )捕捉多物體影像，及 (ii )回應於根據將在該等影像間檢測的模糊差輸入 至該焦點匹配模型，對該等物體影像執行深度估測，自動 調整該焦點控制元件。 2 ·如申請專利範圍第1項所述之設備，其中該攝像 裝置包含靜態影像攝像機、視訊影像攝像機、或靜態及視 訊影像攝像機的組合。 3 ·如申請專利範圍第1項所述之設備，其中該焦點 匹配模型利用多項式函數，以降低失配雜訊。 4.如申請專利範園第3項所述之設備，其中該多項 式函數的係數被儲存於該記憶體中。 5 ·如申請專利範圍第1項所述之設備，更包含保存 在該記憶體中並爲該電腦處理器可執行之直方圖匹配程式 ，用以處理該等物體影像’以在將該等模糊差輸入該焦點 -32- 201103316 匹配模型之前，降低來自焦點位置間之離群的雜訊。 6 ·如申請專利範圍第1項所述之設備’其中該焦點 匹配模型係藉由執行一校正程序加以產生’該校正程序包 含： 取得用以對準適當焦點的一連串的校正目標影像； 取得該連串的校正目標影像的焦點曲線；及 根據對該連串的校正目標影像匹配該等焦點曲線’產 生該多維模型。 7. 如申請專利範圍第6項所述之設備， 其中該校正程序包含直方圖匹配程序，用以降低當取 得該連串校正目標影像時於連續焦點位置間之失配’該直 方圖匹配程序包含： 由第一直方圖順序移位像素至第二直方圖，以等化最 近亮度的像素；及 利用線性匹配函數，近似該直方圖匹配； 其中回應於不想要的實體及環境變動而已經被引入該 模型的雜訊影響被降低。 8. —種用以估測由攝像機至物體的焦長的設備，包 含： 電腦處理器，架構以相關於攝像機的攝像裝置操作； 記憶體，耦接至該電腦處理器並架構以保存由該攝像 裝置捕捉的物體的影像並保存爲該電腦處理器可執行之程 式； 多維焦點匹配模型，保存在該記憶體中，其中該模型 -33- 201103316 係根據在不同焦長的攝像校正目標；及 爲該電腦處理器可執行之程式，用以回應於執行深度 估測而自動估測適當焦距，該深度估測包含： (i)捕捉多物體影像， (Π)決定於該等多物體影像間之模糊差，及 (iU )將該等模糊差輸入該焦點匹配模型，以產生至 該物體的焦距的估測。 9. 如申請專利範圍第8項所述之設備，其中該設備 係被加入一靜態影像攝像機、視訊影像攝像機、或靜態及 視訊影像攝像機的組合。 10. 如申請專利範圍第8項所述之設備，其中該焦點 匹配模型係根據回應於對比變化所決定之模糊差，該對比 變化係被檢測爲通過該攝像機的該景深的至少一部份的攝 像機至校正目標距離的變化。 11. 如申請專利範園第1 〇項所述之設備，其中影像 被捕捉的該等焦距及在該等影像間之模糊差的量係被模型 化於該焦點匹配模型內。 12. 如申請專利範圍第8項所述之設備，其中該程式 更包含直方圖匹配程序，其在決定模糊差前被執行，以移 除在連續焦點位置間之失配’使得距離可以根據更準確模 糊差而更準確決定。 13. 如申請專利範圍第8項所述之設備，其中該焦點 匹配模型利用一多項式函數，以降低失配雜訊。 14. 如申請專利範圍第6項所述之設備，其中該焦點 -34- 201103316 匹配模型更包含用於多焦長透鏡系統的不同焦長設定的焦 點匹配資訊。 1 5 _ —種攝像機至物體焦深的自動估測方法，包含： 回.應於檢測在不同焦距所捕捉的校正主體的多影像間 之模糊差，產生‘多維焦點匹配模型； 捕捉多物體影像； 決定在該等多物體影像間之模糊差；及 回應於將在該等多物體影像間之該等模糊差輸入至該 焦點匹配模型@估測焦深，以產生至該物體的焦距的估測 〇 16.如申請專利範圍第15項所述之方法，其中該方 法係相，於靜態影像攝像機、視訊影像攝像機、或靜態及 視訊影像攝像機的組合加以執行。 1 7 .如申請專利範圍第1 6項所述之方法，其中該決 定模糊差係回應於對比差變化被檢測爲物體與攝像機間之 距離的變化而執行。 18.如申請專利範圍第15項所述之方法’更包含該 等多物體影像的直方圖匹配，用以在決定模糊差前降低有 關於焦點位置間之離群的雜訊。 1 9.如申請專利範圍第1 5項所述之方法’更包含在 該焦點匹配模型中利用多項式函數，以降低失配雜訊° 2 0. —種包含電腦程式的電腦可讀取媒體’該電腦程 式爲電腦可執行並組態以回應於以下步驟而自動估測物體 的攝像機焦深，該等步驟包含： -35- 201103316 儲存焦點匹配模型，其係回應於有關於校正目標於γ 同焦距所產生之模糊差資訊加以建立； 捕捉在至少兩不同焦點位置的影像； 計算於該等捕捉影像間之模糊差；及 回應於將該等捕捉影像間之該等模糊差輸入至該焦點 匹配模型，並解開該模型，而估測該物體的深度，以產生 至該物體的距離估測。 -36-