201142718 六、發明說明： 【發明所屬之技術領域】 一個特徵係關於電腦視覺，且更特定而言，係關於用於 改善影像辨識系統之效能及/或效率的方法及技術。 本專利申請案主張2010年1月8曰申請之題為「{^>^〇11^
Stabilization Technique」的美國臨時申請案第 61/293,437 號之優先權，該案已讓與給其受讓人且在此以引用之方式 明確地併入本文中。 【先前技術】 各種應用可受益於具有能夠以視覺表示（例如，影像或 圖片）來識別物件的機器或處理器。電腦視覺之領域試圖 提供准許識別影像中之物件或特徵之技術及/或演算法， 其中物件或特徵可由識別一或多個關鍵點之描述符來表 徵。常常亦將諸如SIFT(尺度不變特徵變換）之此等技術及/ 或/臾算法應用至影像識別、物件偵測、影像匹配、3維結 構建構、立體對應，及/或運動追蹤、面部辨識（連同其他 應用）。 大體上，出於特徵識別、影像擷取及/物件辨識之目 的，物件或特徵辨識可涉及識別影像中之所關注點（亦稱 為關鍵點）及/或彼等關鍵點周圍之區域化特徵。在此等辨 識演算法中，具有特徵之高穩定性及可重複性非常重要。 因此，該等關鍵點可經選擇及/或處理使得其對於影像尺 度改變及/或旋轉為不變的且提供跨越實質範圍之失真、 視點之改變及/或雜訊及照明之改變的強健匹配。另外， 153462.doc
S 201142718 為了良好地適合於諸如影像摘取及物件辨識之任務，在單 -特徵可相對於來自複數個目標影像之特徵之大資料庫以 高機率匹配的意義上，特徵描述符可較佳為獨特的。 在偵測並定位影像中之關鍵點之後，可藉由使用各種描 述符來識別或描述該等關鍵點。舉例而言，描述符亦可表 示影像中之内容的視覺特徵，諸如，形狀、色彩、紋理、 旋轉，及/或運動（連同其他影像特性）。對應於關鍵點且由 描述符所表示之個別特徵接著匹配至來自已知物件之特徵 的資料庫。 作為識別及選擇影像之關鍵點的部》，可能歸因於缺乏 精確度或可信度而必須捨棄選定之一些點。舉例而言，可 能由於沿邊緣之不良對比度及/或不良定位而拒絕一些最 初偵測到之關鍵點《>此等拒絕在相對於照明、雜訊及定向 變化而增加關鍵點穩定性方面係重要的。最小化將減小特 徵匹配之可重複性的錯誤關鍵點拒絕亦係重要的。然而， 因為諸如陰影之效應可有效地使所關注特徵被完全忽略從 而減小物件辨識之可重複性，所以具有在空間上變化之照 明改變對特徵偵測造成了顯著問題。 因此’需要定義適應於區域及全域照明改變之臨限值以 用於物件辨識演算法内之特徵選擇的方法或途徑。 【發明内容】 下文呈現對一或多個實施例之簡化概述，以便提供對一 些實施例之基本理解》此概述並非所有預期實施例之廣泛 綜述，且既不意欲識別所有實施例之關鍵或重要要素，亦 153462.doc 201142718 不意欲描繪任何或所有實施例之範疇。其唯一目的係以簡 化形式來呈現一或多個實施例之一些概念以作為稍後所呈 現之更詳細描述的序部。 提供一種在一影像特徵偵測器件中操作的用於減小照明 改變對一影像中之關鍵點/特徵偵測之影響的方法。可將 一影像與具有不同尺度調整寬度之複數個平滑核進行卷積 運算以獲得該影像之複數個經平滑版本，該複數個經平滑 版本定義一尺度空間金字塔。可藉由獲取該影像之兩個不 同經平滑版本之間的差而產生一尺度空間影像差。該影像 之該兩個不同經平滑版本可處於該經平滑之尺度空間金字 塔中的鄰近層級。舉例而言，該影像之第三經平滑版本可 具有與該影像之該兩個不同經平滑版本之尺度（例如，平 滑核）令之較大者相等或寬於該較大者的一尺度（例如，平 滑核）。可重複此程序以藉由獲取該影像之不同經平滑版 本對之間的差而產生一尺度空間差，該尺度空間影像差形 成該尺度空間差之部分。 可藉由將該尺度空間影像差除以該影像之一第三經平滑 版本而產生一經正規化之尺度空間影像差，其中該影像之 *亥第二經平滑版本與該影像之該兩個不同經平滑版本中之 最平滑者一樣平滑或比該最平滑者平滑，可藉由使用該經 正規化之尺度空間影像差來執行對該影像之一或多個特徵 的摘測。可使用肖經正規化之尺度空間i藉由制該經正 規化之尺度二間影像差内之區域極值來識別該影像之一或 多個特徵。每一特徵可包括一關鍵點及關於其周圍點之資 153462.doc
201142718 訊。可接著基於該等經識別之一或多個特徵產生該影像之 描述符。 類似地，可提供一種用於減小照明改變對一影像中之關 鍵點/特徵偵測之影響的影像特徵偵測器件。該特徵偵測 器件可包括：一尺度空間產生器、一尺度空間差產生器、 一尺度空間差產生器正規化器、一特徵偵測器及/或一特 徵描述符產生器。該尺度空間產生器可經調適以將一影像 與具有不同尺度調整寬度之複數個平滑核進行卷積運算以 獲传該衫像之複數個經平滑版本’該複數個經平滑版本定 義一尺度空間金字塔。該尺度空間差產生器可經調適以藉 由獲取該影像之兩個不同經平滑版本之間的差而產生一尺 度空間影像差。該影像之該兩個不同經平滑版本可為該經 平滑之尺度空間金字塔中的鄰近層級。該尺度空間差產生 器可經調適以藉由獲取該影像之不同經平滑版本對之間的 差而產生一尺度空間差，該尺度空間影像差形成該尺度空 間差之部分。 S亥尺度空間差產生器正規化器可經調適以藉由將該尺度 空間影像差除以該影像之一第三經平滑版本而產生一經正 規化之尺度空間影像差，其中該影像之該第三經平滑版本 與該影像之該兩個不同經平滑版本中之最平滑者一樣平滑 或比該最平滑者平滑。該影像之該第三經平滑版本可具有 與該影像之該兩個不同經平滑版本之該等尺度（例如，平 滑核）中之較大者相等或寬於該較大者的一尺度（例如，平 滑核）。 153462.doc 201142718 該特徵偵測器可經調適以使用該經正規化之尺度空間影 像差以偵測該影像之一或多個特徵。該特徵偵測器可經調 適以使用該經正規化之尺度空間差藉由偵測該經正規化之 尺度空間影像差内之區域極值來識別該影像之特徵。該特 徵描述符產生器可經調適以基於該等經識別之一或多個特 徵產生該影像之描述符。 【實施方式】 當結合圖式閱讀時，自下文闡述之[實施方式]可顯而易 見各種特徵、本質及優點’在圖式中相同參考字元始終相 應地進行識別。 現參看圖式來描述各種實施例，其中相同參考數字始終 用以指代相同元件。在以下描述中，出於解釋之目的，閣 述眾多特定細節’以便提供對一或多個實施例之透徹理 解。然而，可顯而易見，可在無此等特定細節之情況下實 踐此(此等)實施例。在其他例子中’以方塊圖形式來展示 熟知結構及器件，以便促進描述—或多個實施例。 綜述 本文中所描述之各種特㈣關於改善影像辨識之速度及/ 或效率。根據第一態樣 規化尺度空間差來消除或減小跨越影像 均勻）的影響。接著對經正規化之尺度空 藉由在特徵/關鍵點偵測之前正 鍵點偵測》 之照明（均勻或非 間差執行特徵/關 化函數來表示影像 測之目的’可藉由 大體上，應認識到，可藉由—空間變 中之照明。因此’出於特徵/關鍵點偵 153462.doc
201142718 析出照明函數之因㈣正規化程序來抵消照明之影響（例 如，遮光、亮影像、暗影像等）。舉例而言，可 具有平滑因數之-範圍的函㈣（亦即，核函數或滤波函 數）逐漸地模糊影像來處理影像以產生影像之經平滑尺度 空間L。可接著藉由獲取經平滑之尺度空間層級的鄰近對 (Li至LM)之間的差而獲得影像之尺度空間差接著藉由 將尺度空間層級差除以經平滑之尺度空間層級、而達成 尺度空間L之差的正規化，該經平滑之尺度空間層級“與 用以獲得尺度特；t空間層級差Di的尺度空間層叫中之最 平滑者一樣平滑或比該最平滑者平滑。 例示性物件辨識程序 圖1為說明用於對經查詢之影像執行物件辨識之功能階 段的方塊圖。在影像捕獲階段102處，可捕獲所關注之影 像108(亦即，經查詢之影像）。影像1〇8可由可包括一或多 個影像感測器及/或類比至數位轉換器之影像捕獲器件捕 獲以獲得數位捕獲影像。該等影像感測器（例如，電荷麵 合器件（CCD)、互補金屬半導_M〇s))可將光轉換成電 子：該等電子可形成一類比信號’接著藉由類比至數位轉 換器將該類比信號轉換成數位值。以此方式，可以數位格 式捕獲影像1G8’該數位格式可將影像Ι(χ，狀義為（例如） 具有相應色彩、照明及/或其他特性之複數個像素。 在影像處理階段廟中，接著藉由產生相應尺度空間 (例如’高斯（Gaussian)尺度空間）、執行特徵傾測u2及 執行特徵描述符提取116來處理經捕獲之影像⑽。特徵伯 153462.doc 201142718 測112可識別經捕獲之影像108之極獨特的關鍵點及/或具 有幾何關注性的關鍵點’該等關鍵點可隨後用於特徵描述 符提取116中以獲得複數個描述符。在影像比較階段1〇6 處，此等描述符用以執行與已知描述符之資料庫的特徵匹 配122(例如，藉由比較關鍵點及/或關鍵點之其他特性或圍 繞關鍵點之小片（patch)) ^接著對關鍵點匹配執行幾何驗 證或一致性檢查124以確認正確之特徵匹配且提供匹配結 果126。以此方式，經查詢之影像可與目標影像之資料庫 進行比較及/或自該資料庫識別。 已觀察到，影像中之照明的改變可對影像之特徵/關鍵 點辨識的穩定性及/或可重複性具有不利影響。亦即，影 像中之區域及/或全域照明改變可影響影像之特徵/關鍵點 的偵測。舉例而言，特徵/關鍵點之數目及/或位置可取決 於影像中之照明（例如，遮光、對比度等）而改變。因此， 在影像中之特徵/關鍵點偵測之前實質上消除或最小化區 域及/或全域照明改變之影響將係有益的。 進行此操作之一種方式可為在開始特徵/關鍵點偵測之 前處理影像自身以移除或補償區域及/或全域照明改變。 然而，此種處理可為計算密集的。另外，常常難以判定在 影像中是否存在區域及/或全域照明改變。此種處理亦必 /員應用至資料庫中之影像。在不首先處理目標影像及資料 庫影像兩者以校正照明改變之情況下，特徵/關鍵點匹配 可忐不成功。但在先前不知曉照明可影響特定影像之方式 的情況下，此程序極難自動地實施。 153462.doc •10· 201142718 =，需要可在無實質之處理額外耗用之情況下執行的 替代例。根據-實例，出於特徵谓測之㈣，可藉由在對 尺度空間差執行特徵/_則貞測之前正規化尺度空間差 來消除或減小跨越影像之照明（均勾或非均…的影變。可 使用-已得到之經平滑尺度空間來執行此正規化程序，因 此最小化任何額外計算。 根據-實例，可將尺度空間正規化器114實施為尺度空 間產生110之部分以減小或消除照明改變對影像中之關鍵 點/特徵辨識之影響。 圖2說明-例示性影像處理階段1〇4中之高斯尺度空間產 生已開發出若干種演算法（諸如，尺度不變特徵變換 _τ))以執行影像中之特徵㈣。針對影像中之特定物件 之偵測的第一步驟為基於經查詢之物件之區域特徵來將該 物件分類。目標在於識別及選擇對於（例如）照明、影像雜 訊、鉍轉、尺度調整及/或視點之小改變而不變及/或強健 之特徵。亦即，應尋找查詢影像與比較目標影像之間的匹 配’而不管該兩個影像之間的照明、影像雜訊、旋轉、尺 度及/或視點的差異。進行此操作之一種方式為對影像之 小片執行極值偵測（例如，區域最大值或最小值）以識別極 獨特之特徵（例如，影像中之獨特點、像素及/或區域）。 SIFT為用於偵測及提取對於照明之改變、影像雜訊、旋 轉、尺度調整及/或視點之小改變而合理地不變之區域特 徵的一種途徑。用於SIFT之影像處理階段1〇4可包括： 尺度空間極值偵測、（b)關鍵點定位、（c)定向指派，及/或 153462.doc -11 - 201142718 (d)關鍵點描述符之產生。應清楚，用於特徵偵測及後續特 徵描述符產生之替代演算法亦可受益於本文中所描述之特 徵，該等替代演算法包括（連同其他者）加速強健特徵 (Speed Up Robust Features，SURF)、梯度定位及定向直方 圖（Gradient Location and Orientation Histogram’ GLOH)、 基於區域能量之形狀直方圖（L〇cal Energy based Shape HiStogram，LESH)、梯度之壓縮直方圖（c〇mpressed mst〇gram of Gradients，CHoG) o 在高斯尺度空間產生110中，數位影像I(x，y) 1〇8逐步地 經高斯模糊（亦即，經平滑）以建構高斯金字塔202。高斯模 糊（平滑）大體上涉及在尺度C(y下將原始影像I(x，y)與高斯 模糊/平滑函數G(X，y，Ca)進行卷積運算，使得高斯模糊/平 滑函數 L(x，y，ca)被定義為 L(x，y，C(y) = G(x, y，cct)*i(x， y)。此處，G為高斯核，C(y表示用於模糊影像Ι(χ，y)之高斯 函數的標準偏差1為乘數e變化（eQ<ei< e2< e3<G4)，所以 標準偏差⑺變化且獲得逐步模糊/平滑。Sigma σ為基本尺 度變數（例如，高斯核之寬度）。較高尺度（亦即，較低解析 度）比較低尺度（亦即，較高解析度）更多地被模糊/平滑。 因此，尺度層級愈寬（亦即，解析度愈低），則影像愈 (愈被模糊）。 备初始影像I(X，y)與高斯G漸增地進行卷積運算以產生 經模糊之影像L時，在尺度空間中以恆定因數c來分離經模 糊之影像L。當經高斯模糊（平滑）之影像[的數目增大且經 提供用於高斯金字塔202之近似接近連續空間時，兩個尺 153462.doc 12 201142718 度亦接近一個尺度。在一實例中， 了 乂 .卫（octave)來分组 經卷積運算之影像L，其中一组可對廄 ，.且了對應於加倍之標準偏差σ 之值。此外，選擇乘數c之值（例如，c〇<Ci<C2<c3<c4 ),使 得每一組獲得U定數目缝卷積運算之影像卜尺度調整 之每一組對應於-顯式之影像大小調整。因此，當藉由逐 步模糊/平滑函數來模糊/平滑原始影像办，y)時，像素之 數目逐漸地減小。應注意，雖然本文中出於說明之目的而 使用了高斯平滑函數，但亦可使用其他類型之平滑核/函 數0 藉由„十算冋斯金子塔2G2中之任何兩個連續經高斯模糊 之影像的差來建構高斯差（D〇G)金字塔2〇4。在d〇g空間 204 1 D(x, y, a)-L(x, y, cna)-L(x, y, 〇„.,〇)〇 DoGfHI-D(x，y，σ)為在尺度Cn(J&CnitJ下之兩個鄰近經高斯模糊之 影像L之間的差。D(x，y，σ)之尺度位於成間的某 處。可每一組自鄰近經高斯模糊之影像^獲得D〇G影像 在每一組之後，可將高斯影像減少取樣1/2且接著重複該 程序。以此方式，可將影像變換成對於轉譯、旋轉、尺度 及/或其他影像參數及/或失真而強健或不變之區域特徵。 一旦產生’經查詢之影像之D〇g空間204便可用於極值 偵測以識別所關注之特徵（例如，識別影像中之極獨特的 點）。本文中將此等極獨特之點稱作關鍵點。可藉由圍繞 每一關鍵點之小片或區域之特性來識別此等關鍵點。可針 對每一關鍵點及其相應小片產生一描述符，該描述符可用 於比較查詢影像與所儲存之目標影像之間的關鍵點。「特 153462.doc •13· 201142718 徵」可指代描述符（亦即’關鍵點及其相應小片）。特徵（亦 即，關鍵點及相應小片）之群組可稱作叢集。 圖3說明例示性影像處理階段104中之特徵偵測。在特徵 债測112中’ DoG空間204可用以識別影像Ι(χ，y)之關鍵 點。特徵偵測112設法判定影像中之特定樣本點或像素周 圍之區域或小片疋否為可能關注之小片（在幾何方面^ 言）。 大體上，識別DoG空間204中之區域最大值及/或區域最 小值且將此等最大值及最小值之位置用作D〇G空間2〇4中 之關鍵點位置。在圖3中所說明之實例中，已藉由小片3〇6 識別了關鍵點308。可藉由以下動作來達成尋找區域最大 值及最小值（亦稱為區域極值镇測）：比較D〇G空間2〇4中之 每像素（例如，關鍵點3 0 8之像素）與同一尺度下之其八個 相鄰像素及在關鍵點408之兩側上之相鄰尺度中之每一者 中的九個相鄰像素（在鄰近小片31〇及312中），總計26個像 素（9x2 + 8=26)。此處，將小片定義為3χ3像素區域。大體 而言’若關鍵點306之像素值為小片306、31〇及3〇8中之所 有一十六（26)個經比較像素當中的最大值或最小值，則將 其選擇為關鍵點。可進一步處理該等關鍵點使得更準確地 識別其位置且可捨棄該等關鍵點中之一些（諸如，低對比 度關鍵點及邊緣關鍵點）。 圖4說明例示性影像處理階段1〇4中之特徵描述符提取。 大體上’特徵（例如，關鍵點及其相應小片）可由描述符來 表示’描述符允許有效比較該特徵（來自一查詢影像）與儲 153462.doc 201142718 存於目標影像之資料料之特徵。在特徵描述符提取ιΐ6 之-實例中，可基於區域影像梯度之方向來向每一關鍵點 指派-或多個定向或方向。藉由基於區域影像性質將一致 定向指派給每-關鍵點，可相對於此定向來表示關鍵點描 述符且因此達成對於影像旋轉之不變性。可針對在經高斯 模糊之影像L中及/或在關鍵點尺纟下圍繞關鍵點308之相 鄰區域中的每㈣素執行量值及方向計算。位於（X，⑽ 之關鍵點则之梯度的量值可表示為m(x，y)且（x，y)處之關 鍵點之梯度㈣向或方向可表示為Γ(χ，y)。關鍵點之尺度 用以選擇具有最接近於關鍵點則之尺度之尺度的經高斯 平滑之影像L，使得以尺度不變之方式來執行所有計算。 對於此尺度下之每_影像樣本…，而言使用像素差來 計算梯度量值m(x，y)及定向Γ(χ，y)。舉例而言，可將量值 m(x，y)計算為： 可將方向或定向Γ(χ，y)計算為： (方程式1) r(x^)=arctan S^ix>y + ^)L{x, y ~\) (方程式2) {L{x + \iy)-L{x- 此處，L(x，y)為經高斯模糊之影像L(x，y，…在亦為關鍵點 之尺度的尺度下之樣本。 可在比關鍵點高之尺度下針對高斯金字塔中位於d〇g空 間中之關鍵點平面上方的平面或在比關鍵點低之尺度下針 對高斯金字塔中位於關鍵點平面下方的平面而—致地計算 關鍵點308之梯度。總之，對於每一關鍵點而f，在圍繞 153462.doc 15 201142718 關鍵點之矩形區（小片）中，該等梯度全部在同一尺度下來 计算。此外，影像信號之頻率反映於經高斯模糊之影像的 尺度中。又，SIFT簡單地在小片（例如，矩形區）中之所有 像素處使用梯度值。在關鍵點周圍定義小片；在區塊内定 義子區塊；在子區塊内定義樣本，且即使在關鍵點之尺度 不同時此結構對於所有關鍵點亦保持相同。因此，雖然在 同一組中影像信號之頻率隨著高斯平滑濾波器之連續應用 而改變，但可以相同數目個樣本來對在不同尺度下所識別 之關鍵點取樣，而不考慮影像信號之頻率（由尺度表示）的 改變。 為了表徵一關鍵點定向，可在關鍵點3〇8之附近（使用在 最接近關鍵點之尺度的尺度下的高斯影像）產生（在SIFT中） 梯度定向之向量。然而，亦可藉由使用（例如）梯度之壓縮 直方圖（CHoG)而以梯度定向直方圖（參見圖4)來表示關鍵 點定向。可藉由梯度量值及高斯窗來對每一相鄰像素之貢 獻（contribution)加權。直方圖中之峰值對應於主定向。可 相對於關鍵點定向來量測關鍵點之所有性質，此情形提供 對於旋轉之不變性。 在一實例中’可針對每一區塊計算經高斯加權之梯度的 分佈’其中每一區塊為2個子區塊乘2個子區塊，總共為4 個子區塊。為了計算經高斯加權之梯度的分佈，形成具有 若個區間（bin)之定向直方圖，其中每一區間覆蓋關鍵點周 圍之區的一部分。舉例而言，定向直方圖可具有36個區 間’每一區間覆蓋定向之36〇度範圍中之1〇度。或者，直 153462.doc -】6 - 201142718 方圖可具有8個區間，每一區間覆蓋360度範圍中之45度。 應清楚，本文中所描述之直方圖編碼技術可適用於具有任 何數目個區間之直方圖。應注意，亦可使用最終產生直方 圖之其他技術。 可以各種方式獲得梯度分佈及定向直方圖。舉例而言， 將二維梯度分佈（dx，dy)(例如，區塊406)轉換為一維分佈 (例如，直方圖414)。關鍵點408位於圍繞關鍵點408之小片 406(亦稱為單元或區域）之中心處《，將針對金字塔之每一層 級而預先計算之梯度展示為每一樣本位置408處之小箭 頭。如所展示’樣本408之4x4i域形成子區塊410且子區 塊之2x2區域形成區塊406。區塊406亦可稱作描述符窗。 高斯加權函數係藉由圓圈402展示且用以將一權重指派給 母一樣本點408之量值。圓形窗402中之權重平滑地減少。 高斯窗402之目的在於，藉由窗之位置的小改變來避免描 述符之突然改變且較不強調遠離描述符之中心的梯度。自 在直方圖之每一區間中具有8個定向的2χ2子區塊獲得定向 直方圖之2x2=4陣列412，從而產生（2χ2)χ8=32維之特徵描 述符向量。舉例而言’定向直方圖413及415可對應於子區 塊410之梯度分佈。然而’使用在每_直方圖中具有8個定 向之直方圖(8區間直方圖)之4χ4陣列(針對每一關鍵點產生 (4Χ4)Χ8=128維之特徵描述符向量）可得到-較佳結果。應 注意’其他類型之量化區間群集(例如，具有不W_oi 單元結構）亦可用以獲得梯度分佈。 如本文中所使用，直方圖為 圆马映射t，該映射h對屬於稱 153462.doc 201142718 為區間之各種不相交種類的觀察、樣本或出現（例如，梯 度）之數目計數。直方圖之圖形僅為表示直方圖之一種方 式。因此’若4觀察、樣本或出現之總數目且⑺為區間之 總數目，則直方圖t中之頻率滿足以下條件： m η = Σ\， (方程式3) /=1 其中Σ為求和運算符。 可串連來自子區塊之直方圖以獲得關鍵點之特徵描述符 向量。若使用來自16個子區塊之8區間直方圖中的梯度， 則可產生128維之特徵描述符向量。 以此方式’可針對經識別之每一關鍵點獲得描述符，其 中此描述符可由位置（x，m向及經高斯加權之梯度之 分佈的描述符來表徵。應注意，影像可由—或多個關鍵點 描述符（亦稱作影像描述符）來表徵。另外，描述符亦可包 括位置資訊(例如’關鍵點之座標)、尺度(例如，偵測關鍵 點所在之高斯尺度），及諸如叢集識別符等之其他資訊。 藉由在高斯差空間204中操作，影像之亮度的任何位準 之移位（亮度之空間上均勻之附加偏移）被完全忽略。但亮 度之尺度移位將會影響判斷及最終選擇或拒絕關鍵點之方 式。此應用於均勻以及空間上變化之倍增亮度因數。關鍵 點在影像内之定位與關鍵點偵測一樣重要。藉由物件之特 徵的幾何内容及其空間相互關係將物件進行分類。因此， 關鍵點之計算位置為一重要元素，使得即使偵測到該關鍵 點’仍應以相對於任何亮度尺度改變而不變之方式來計算 153462.doc •18· 201142718 其定位。 因此，在識別關鍵點及產生描述符之前，一個特徵提供 以用於正規化向斯差空間204以便自偵測關鍵點之尺度空 間減小、移除及/或濾除照明之影響。 例示性尺度空間差正規化 圖5說明針對照明不變特徵/關鍵點偵測之尺度空間正規 化的一實例。可在不同尺度Ci(y下將影像1(1 y) 5〇2與平滑 核G(x，y，ciCr) 504進行卷積運算以產生經平滑之尺度空間 金字塔506，其中i為〇與11之間的整數。應注意，該等平滑 核可為高斯核及/或其他類型之平滑函數。可獲取經平滑 之尺度空間金字塔506之兩個鄰近尺度空間之間的差以獲 得尺度空間差508。 首先觀察到’可將尺度空間差508的每一廣級定義為與 影像I(x，y) 502進行卷積運算之在不同尺度5〇4下之平滑核 差（例如’ G(x，y，Cj + 1〇)-G(x，y, Cj〇))。此等於兩個相應經 平滑尺度空間之差（例如，L(x，y，cj + 1a)-L(x，y，CjCy))e因 此’兩個平滑尺度空間之差可表示為： (方程式4) 亦觀察到，若將照明表示為一尺度調整函數S(x，y)，則 針對兩個平滑尺度空間之差的照明改變可表示為： (/(文，少)办，;；)）。 （方程式 5) 此處’在一般狀況下，照明尺度調整函數S(x，y)可在空間 上變化或在空間上恆定。 153462.doc -19· 201142718 然而’以執行階段（runtime)來模型化照明以獲得照明尺 度調整函數S(x，y)係不實用及/或不可行的。因此，本文中 揭示一替代途徑’該替代途徑獲得未由照明而自特徵空間 (例如’ DoG空間508)偏移的基礎特徵（例如，關鍵點），通 常對該特徵空間（例如，DoG空間508)執行特徵選擇及/或 修剪。根據此替代途徑，藉由使用自影像I(x，y) 502提取 之尺度空間資訊來正規化影像1(& y) 5〇2之亮度分佈。無 需關於照明之先驗資訊。此方法使得能夠選擇穩定特徵且 增加針對跨越不同照明改變之一致層級的可重複性，而不 引入任何重大計算及處理。 為了進行此操作’可藉由一較寬尺度空間來正規化發生 特徵價測之尺度空間之差5 〇 8。此途徑可藉由以下方程式 來定義： (方程式6) D\x,yiCr)= [G(W川oQ-GQcuo·)” [取说(文，少)] L G(x^^j+uhcr)*[I(x,y)S(x,y)] 其中 第一高斯平滑核G(x，y，Cj + 1<j)寬於第二高斯平滑核G(x， 丫’ cj〇)(亦即，尺度Cj + 1a寬於尺度Cj〇，其中j為〇與n之間的 正整數）； i(x’ y)為正經處理之影像或其導出物（例如，影像之反射 性質）； s(x，y)為照明尺度調整函數；且 G(x’ y，Cj + 1 + ha)為具有與第二平滑核G(x，y，+ 一樣寬 或寬於第二平滑核G(x，y，Cj + lCy)之尺度空間的第三平滑 153462.doc
S •20· 201142718 核’其中h為〇細之間的正整數。藉由對尺度空間差5〇8之 每層級重複此程序，可產生經正規化之尺度空間差 川、。舉例而言，對於由G(x，y，Cj+la)及G(x，y,㈣定義之 差分尺度空間’正規化函數可為G(x，y，_)或更高尺度 之任何正規化函數（亦即，G(X，y, ej + 2(J)、G(X, y， J + 3CJ) ..·)。該正規化函數無需大於差分尺度空間中所使 用之兩個平滑才亥，其僅需要與該兩個平滑核—樣平滑。在 另實例中，正規化函數可為所使用之第一及第二平滑核 的和（亦即，G(x，y，Cj+1a) + G(x, y，Cj〇))使得： - G{x,y,Cjq)\ * [/(>,y)S(x,y)] [G(x,y,cJ+ia) + G(x,y,Cja)] * D'U，少，σ) 應注意’方程式6亦可表示為： (方程式7) (方程式8) D'(x,y,a)= - L(x,y,Cjg)] *S(x,y) L{x,y,Cj^ha)*S{x,y) 一 因為照明尺度調整函數S(x，y)出現於分子及分母兩者 (方程式6、方程式7及方程式8之分子及分母兩者）中，所以 其尺度調整影響被取消。亦即，因為照明尺度調整函數 s(x，y)存在於用於正規化之經平滑之影像L(x，y， ej+i+ha)*S(x，y)中，所以其完全或實質上取消照明尺度調 整函數S(x，y)在尺度空間差[L(x，y, Cj+lCj)-L(x，y， Cja)]*S(x，y)中的影響。如前所述，L(x，y，Cj + 1+h(5)可等於 L(x，y，Cj+1〇)或更高尺度之影像（亦即，l(x，y，Cj+2(y)、L(x， Υ，Cjwcy)、...）^以此方式，將分母中之影像内容平滑至使 得該影像内容引入極少空間假影的程度。 153462.doc •21· 201142718 在正規化尺度空間差中，應選擇正規化經平滑之影像 L(x，y，Cj + 1+ha)以便不會過多地改變特徵空間（亦即，尺度 空間差）’從而不使區域極值位置（其識別關鍵點/特徵）移 位。亦即’因為已知尺度空間差最佳用以達成尺度不變特 徵’所以應在正規化之後保持極其近似的尺度空間差。為 此’選擇經平滑之影像L(x，y，Cj+1+h<y)使得其尺度層級足夠 平滑’以便得到高頻内容之平均值。亦即，若經平滑之影 像 L(x，y，Cj + 1+h(y)充分平，則尺度空間差L(x，y，Cj+l(y)_L(X， y，之形狀很大程度上不改變（亦即，特徵/關鍵點之位 置不改變）》應注意，在一實施例中’在接近用以獲得經 正規化之差分尺度空間之尺度層級的尺度層級（相同尺度 層級或次高尺度層級）下選擇一正規化函數可為較佳的， 因此避免引入過多雜訊。舉例而言，藉由挑選如G(X，y， Cj+ισ)之平滑尺度以用於由g(x，y，Cj+1 σ)及G(x，y，Cj〇)定義 之差分尺度空間，可保留尺度空間中之彼特定層級之典型 區域不規則性。 如先前所提及，在影像中偵測到之特徵的數目可很大程 度上受影像中之倍增亮度尺度改變影響（例如，減小）。由 亮度引起之尺度調整傾向於充當影像上之遮罩，即使無任 何幾何變換’該遮罩亦大大減小最終特徵空間中之内容。 因此，藉由應用方程式6及方程式7而達成之正規化確保在 不考慮照明改變之情況下偵測到在幾何意義上「相等」的 特徵，藉此增加可重複性。 圖6說明可獲得經正規化之尺度空間差之一層級的方式 153462.doc •22· 201142718 之一實例。此處，影像I(X，y) 6〇2可與第一平滑核G(x，y， °ίσ)進行卷積運算以獲得第一經平滑之尺度空間影像[(χ， y，~σ) 608。影像I(x，y) 602亦可與第二平滑核G(x，y， Α+1σ) 606進行卷積運算以獲得第二經平滑之尺度空間影像 L(x’ y，Cj+1〇) 610。可獲取第二經平滑之影像61〇與第一經 平滑之影像608之間的差以獲得尺度空間層級差D』（x，y，幻 612。可基於更高尺度之平滑核G(x，y，b—) 6ΐ6或經平 滑之尺度空間影像L(x，y，Cj + 1+h(J) 618來正規化（亦即，根 據方程式6及/或方程式7)此尺度空間層級差Dj(x，y，幻 612,以獲得經正規化之尺度空間層級D，j(x，y，〇) 6ΐ4’。可 藉由將具有不同寬度（由尺度調整因數設定）之不同平滑 核應用於影像I(x，y)來重複此程序，藉此建置一經平滑之 尺度空間金字塔。可藉由獲取經平滑之尺度空間金字塔 (例如，圖5中之506)之鄰近層級之間的差來建置尺度空間 差（例如，圖5中之508)。根據方程式6及/或方程式7 ,可產 生經正規化之尺度空間差（例如，圖5中之5 10)。 圖7說明用於產生經正規化之尺度空間差以用於抵抗照 明之改變來改善特徵偵測的方法。將影像Ι(χ，y)與具有不 同尺度調整寬度（藉由不同Ci〇設定，其中i=〇至n)之平滑核 G(x，y, cp)進行卷積運算以獲得組成經平滑之尺度空間金 字塔的複數個經平滑之影像L(x，y，Ci(y)(其中丨=〇至 n)(702)。應注意，影像Ι(χ，y)可藉由原始影像4)來表示， 將影像空間I(X，丫)乘以照明尺度調整函數S(x，y)以獲得乘以 空間變化照明函數S(x，y)的經尺度調整之影像空間Iq(x， 153462.doc •23· 201142718 亦即’影像i(x，y)可由已藉由照明函數s(x，力完全地或在 逐像素基礎上修改的基礎影像恤y)來表徵。在一實例 中，平滑核G(x，y，Ci〇)可為高斯核使得經平滑之尺度空間 金字塔為高斯尺度空間金字塔。 _接下來，藉㈣取跨越經平狀尺度㈣金字塔的鄰近 經平滑影像對之差L(X，y，ej+1(y)_L(x，y，⑽而產生尺度空 間差Dj(x，y，σ)(其中j=〇至η·1)(7〇4)β針對鄰近經平滑影像 之夕個集合重複此程彳以獲得具有多個層級之尺度空間 差。應注意，用以獲得第二經平滑之影像L(x，y，Cj + l(y)之 第一平滑核G(X，y，Cj+w)可寬於用以獲得第一經平滑之影 像 L(x，y，Cj+1〇)之第一平滑核 G(x，y，^)。 p可=著藉由將每一尺度空間層級差Dj(x，y，幻除以相應 ’厂、’月之景y像L(x, y，Cj”+h<J)而產生經正規化之尺度空間差
Dj(x，y，σ)(其中卜〇至nl)，其中每—經平滑之影像咖y， Cj + i+hCi)係與影像之兩個不同經平滑版本l(x，y，及 (，y，cjtj)中之最平滑者一樣平滑或比該最平滑者平滑 ()亦即，正規化經平滑之影像L(x，y，Cj + 1+h(5)可具有 與影像之兩個Μ經平滑版本L(x，y，〜⑷及L(X，y，C卓 尺度（例如’平滑核）中的較大者相等或寬於該較大者的尺 度（例如，平滑核）。 經正規化之尺度空間差D,j(x，y，σ)(其中j=〇至ni)可接著 用以識別影像I(x，y)之特徵（7〇8)。舉例而言可將區域極 ('、P最〗、值或最大值）識別為關鍵點，可在該關鍵點 周圍定義特徵。可接著基於經識別之特徵產生影像I(x，y) 153462.doc ·24· 201142718 之描述符（710)。 圖5、圖6及圖7中所說明之方法無需關於影像之照明的 先驗資訊。此方法使得能夠選擇影像中之穩定特徵且增加 針對跨越不同照明改變之一致層級的可重複性，而不引入 任何重大（明顯）計算及處理《亦即，因為經平滑之尺度空 間已包括用以正規化尺度空間差Dj(x，y，σ)的經平滑^ 像L(x’y，Cj+1+h<J)，所以除了除法運算以外，正規化無需額 外處理。 另外’藉由調適藉以選擇特徵之可信度，可根據谓測特 徵所在之尺度（例如，平滑層級）獲得較多穩定特徵。亦 即，較南尺度大體上包括影像之較平滑版本（亦即，較模 糊）且在此等尺度下偵測之關鍵點/特徵具有較高可信度。 例示性特徵偵測實例 ^ 圖包含圖8A、圖8B及圖8C)說明在使用傳統特徵憤測 途徑之情況下可能歸因於照明之改變而影響影像之特徵偵 測之方式18A說明藉由大致均句之照明而在影像令價測 到之特徵。請說明藉由在整個影㈣尺度調整至低層級 之均勻照明而在影像中偵測到之特徵。亦即，相對於圖 8A，圖8B中之影像歸因於照明尺度調整(例如，影像之暗 化）而在整個影像内具有較少仙^之特徵。圖％更鮮； 地說明在㈣上變化（非均句）之照明尺度調整可影響特徵 偵測之方式。亦即’相對於圖衩’圖⑽之影像 之已受照明尺度調整（例如，影像之暗化）影響的下半 具有較少伯測到之特徵。對於圖8，顯然，<貞測到之特徵 153462.doc •25· 201142718 的數目取決於影像中之倍增亮度尺度改變。 圖9(包含圖9A、圖9B及圖9C)說明在不管照明改變之情 況下在特徵偵測之前正規化尺度空間差有助於偵測特徵之 方式。圖9A說明在尺度空間（在該尺度空間中偵測到特徵） 之差首先經正規化時藉由大致均勻之照明在影像中偵測到 之特徵。圖9B說明在尺度空間（在該尺度空間中偵測特徵） 之差首先經正規化時藉由在整個影像内尺度調整至低層級 之均勻照明而在影像中偵測到之特徵。由於此正規化，在 不管圖9B之照明尺度調整（例如，影像之暗化）之情況下， 在圖9A及圖9B中偵測到大致相同之特徵密度。圖叱說明 在不管在空間上變化之照明改變的情況下正規化偵測特徵 之尺度空間之差准許穩定或可重複特徵偵測的方式。由於 此正規化，在不管圖9C之在空間上變化之照明尺度調整 (例如，影像之下半部之暗化）的情況下，在圖9A及圖9C中 偵測到大致相同之特徵密度。自圖9A、圖9B及圖％可瞭 解，在特徵偵測之前正規化尺度空間差（例如，高斯空間 差）的所揭示技術很大程度上消除或減小照明改變之影 響。 " 圖1〇(包含圖10A及圖10B)說明高斯尺度空間差與經正規 化之咼斯尺度空間差之間的比較。圖10A說明包含（具有） 複數個影像（在不同組、尺度及尺度調整寬度下）之高斯尺 度空間差’該等影像中之每一者為原始影像之不同經平滑 版本。圖10A清楚地展示了亮度尺度改變對特徵辨識的不 利影響。圖10B說明與圖丨〇A中相同之高斯尺度空間差， 153462.doc •26- 201142718 該！斯尺度空間差已根據圖5、圖6及圖7中所說明之技術 予以了正規化。圖10B展示在不管亮度尺度改變之情況下 可清楚識別之更多特徵。 圖11(包含圖11A及圖11B)說明尺度空間差之正規化對關 鍵點匹配驗證之影響。圖11A說明在無尺度空間差（例如， DoG空間）之正規化之情況下測試影像11〇4中之關鍵點（受 均勻照明尺度調整影響）與資料庫影像1102匹配之方式。 此處，在測試影像1104與資料庫影像1102之間匹配大約 144個關鍵點。圖11B說明在具有尺度空間差之正規化（例 如’經正規化之DoG空間）之情況下測試影像11〇6中之關鍵 點（受均勻照明尺度調整影響）與資料庫影像丨1〇2匹配之方 式。正規化導致大約495個關鍵點匹配，從而達成相比於 圖11A之M4個關鍵點匹配的顯著改善。 例示性特徵偵測器件 圖12為說明照明不變特徵偵測器件之實例的方塊圖。特 徵债測器件1200可接收或獲得數位查詢影像丨202 »尺度空 間產生器1204(例如，高斯尺度空間產生器）可接著將查詢 影像1202與具有不同尺度寬度之複數個不同平滑核〗2〇3進 行卷積運算以產生一尺度空間。該尺度空間可包含影像之 複數個經平滑版本，該複數個經平滑版本經平滑至不同尺 度調整寬度。尺度空間差產生器12〇6接著自尺度空間產生 尺度空間差。尺度空間差正規化器1208接著藉由（例如）將 每一尺度空間層級差除以相應經平滑之影像來正規化尺度 空間差’其中此經平滑之影像具有與用以產生尺度空度差 153462.doc -27· 201142718 (被進行除法運算）的經平滑 卞⑺之影像中之較大者一樣寬或寬 於該較大者的尺度。關鍅赴* 鍵點產生4 1210接著識別或偵測經 正規化之尺度空間差中的關 刃關鍵點。此操作可（例如）藉由尋 找經正規化之尺度空間差 像素备中的區域極值（亦即， 最大值或最小值）來進行。拉外Α Α 仃特徵產生器1212可接著藉由（例 如）表徵經識狀關鍵點周圍之區域像素來產生特徵。應 注意’可藉由特徵摘測器來執行關鍵點產生器ΐ2ι〇及特徵 產生器1212之功能。特徵描述符產生器ΐ2ΐ4接著產生每一 特徵之描述符以提供可用以識別查詢影像之複數個影像描 述符1216。圖12中所說明之功能可藉由單獨電路或藉由一 或多個處理器來執行。 例示性影像匹配器件 圖13為說明將經正規化之尺度空間差用於特徵偵測之影 像匹配器件之實例的方塊圖。影像匹配器件13〇〇可包括耦 接至通信介面1304之處理電路1302、影像捕獲器件13〇6， 及/或儲存器件1308。通信介面1304可經調適以經由有線/ 無線網路通信且接收影像及/或一或多個影像之特徵描述 符°影像捕獲器件1306可為（例如）可捕獲查詢影像之數位 相機。處理電路1302可包括用以自影像提取特徵之影像處 理電路1314及使用經提取之特徵使查詢影像與目標影像之 資料庫1310匹配及/或使查詢影像描述符與描述符資料庫 13 12匹配的影像匹配電路13 16。根據一例示性實施，影像 匹配應用程式試圖使一查詢影像與影像資料庫中之一戍多 個影像匹配。影像資料庫可包括與儲存於資料庫131〇中之 153462.doc • 28- 201142718 一或多個影像相關聯之數百萬個特徵描述符。 影像處理電路13 14可包括特徵識別電路132〇，該特徵識 別電路1320包括南斯尺度空間產生器1322、尺度空間差產 生器1324、尺度空間差正規化器1326、關鍵點偵測器 1328、特徵產生器1330，及/或特徵描述符產生器1332。 尚斯尺度空間產生器1322可用以將影像與模糊函數（例 如’平滑核）進行卷積運算以產生複數個不同尺度空間， 如（例如）在圖2及圖5中所說明。尺度空間差產生器1324接 著自尺度空間產生尺度空間差。尺度空間差正規化器丨326 接著藉由（例如）將母一尺度空間層級差除以相應經平滑之 影像來正規化尺度空間差’其中此經平滑之影像寬於用以 產生尺度空度差（被進行除法運算）的經平滑之影像中之任 一者（如圖6中所說明）。關鍵點產生器1328接著識別或偵測 經正規化之尺度空間差中的關鍵點（如圖9中所說明）。此操 作可（例如）藉由尋找經正規化之尺度空間差之像素當中的 區域極值（亦即’最大值或最小值）來進行。特徵產生器 1330可接著藉由（例如）表徵經識別之關鍵點周圍之區域像 素來產生特徵（如圖3中所說明）。特徵描述符產生器1332接 著產生每一特徵之描述符以提供可用以識別查詢影像之複 數個影像描述符（如圖4中所說明）。 影像匹配電路1316可接著試圖基於該等特徵描述符使查 詢影像與影像資料庫131〇中之影像匹配。可經由通信介面 提供匹配結果（例如，提供至發送影像或特徵描述符之行 動器件）。 153462.doc •29· 201142718 應注意，在一些實施中，可藉由影像匹配器件接收與査 。句衫像之關鍵點相關聯的特徵描述符之集合。在此情形 下，查珣影像已經處理（以獲得描述符）。因此，可繞過影 像處理電路1314或自影像匹配器件13〇〇移除影像處理電路 1314。 例示性行動器件 圖14為說明經調適以執行影像處理以便達成影像或物件 辨識之目的之例示性行動器件的方塊圖。行動器件14〇〇可 包括麵接至影像捕獲器件1404之處理電路1402、通信介面 141〇及儲存器件1408。影像捕獲器件14〇4(例如，數位相 機）可經調適以捕獲所關注之查詢影像14〇6且將其提供至 處理電路1402。處理電路1402可包括影像處理電路1414， 該影像處理電路1414經調適以處理經捕獲之影像從而產生 可隨後經傳輸或用於影像/物件辨識的特徵描述符。舉例 而言，影像處理電路1414可包括或實施特徵識別電路 M20，該特徵識別電路142〇包括高斯尺度空間產生器 1422、尺度空間差產生器1424、尺度空間差正規化器 1426、關鍵點偵測器1428、特徵產生器143〇,及/或特徵 描述符產生器1432。咼斯尺度空間產生器1422可用以將影 像與模糊函數（例如，平滑核）進行卷積運算以產生複數個 不同尺度空間，如（例如）在圖2及圖5中所說明。尺度空間 差產生器1424接著自尺度空間產生尺度空間差。尺度空間 差正規化器1426接著藉由（例如）將每一尺度空間層級差除 以相應經平滑之影像來正規化尺度空間差，其中此經平滑 153462.doc •30- 201142718 之影像寬於用以產生尺度空度差（被進行除法運算）的經平 滑之影像中之任一者(如圖6中所說明）。關鍵點產生器i428 接著識別或偵測經正規化之尺度空間差中的關鍵點（如圖9 中所說明）。此操作可（例如）藉由尋找經正規化之尺度空間 差之像素當中的區域極值（亦即，最大值或最小值）來進 行特徵產生器1430可接著藉由（例如）表徵經識別之關鍵 點周圍之區域像素來產生特徵（如圖3中所說明）。特徵描述 符產生器1432接著產生每一特徵之描述符以提供可用以識 別查s旬影像之複數個影像描述符（如圖4中所說明 。。處理電路咖可接著將一或多個特徵猫述符儲存於儲存 器件1彻中及/或亦可經由通信介面141〇(例如，無線通信 介面、收發器或電路）經通信網路1412將特徵描述符傳輸 至影像匹配伺服器’該影像匹配伺服器使用該等特徵描述 符來識別影像或其中之物件。亦即，影像匹配健器可比 較特徵描述符與其自身之特徵描述符資料庫關定其資料 庫中之任何影像是否具有相同特徵。 在-實例中，影像處理電路1414可實施本文中所描述之 -或多種方法。根據_例示性實施，行動器件可㈣特徵 描述符以供傳輸。因為頻寬傾向於為無線傳輸中之一限制 因素，所以藉由應用本文中所描述之-或多種技術，壓縮 特徵描述符可減小經由行動網路中之無線頻道及空載傳輸 鏈路傳輸之資料的量。 用於經正規化之尺度空間中之特㈣測的例示性方法 •說月用於使用經正規化之尺度空間差的特徵偵測之 153462.doc •31 - 201142718 方法可針對一影像產生一（高斯）尺度空間i5〇2，其中該 尺度空間可包含該影像之不同經模糊(經平滑)版本。可藉 由獲取影像之兩個不同經平滑版本之間以（自尺度空間） 而產生尺度空間影像差1504。可針對影像之複數個其他 (例如，鄰近）經平滑版本重複此程序以獲得複數個尺度空 間影像差。該複數個尺度空間影像差形《尺度空間差。 可接著藉由將尺度空間影像差除以影像之第三經平滑版 本而產生經正規化之尺度空間影像（層級）差，其中影像之 第三經平滑版本係與影像之兩個不同經平滑版本中之最平 滑者-樣平滑或比該最平滑者平滑15G6。舉例而言，影像 之該第三經平滑版本可具有與影像之兩個不同經平滑版本 之尺度（例如，平滑核）中的較大者相等或宽於該較大者的 尺度（例如，平滑核）。可針對複數個差分尺度空間影像重 複此程序以獲得複數個正規化的尺度空間之差的影像。該 複數個經正規化之尺度空間影像差形成經正規化之尺度空 間差。 又二 可藉由使用經正規化之尺度空間影像差來偵測或識別影 像之一或多個特徵1 508。類似地，可跨越經正規化之尺度 空間差來偵測額外特徵。可接著基於經識別之特徵產生影 像之描述符1 5 1 0。 可使用多種不同技藝及技術中之任一者來表示資訊及信 號。舉例而言，可藉由電麼、電流、電磁波、磁場或磁粒 子、光場或光粒子或其任何組合來表示可能貫穿以上描述 而引用之資料、指令、命令、資訊、信號及其類似物。 153462.doc -32- 201142718 本文中所描述之各種說明性邏輯區塊、模組及電路及演 算法步驟可實施或執行為電子硬體、軟體或兩者之組合。 為了清楚地說明硬體與軟體之此互換性，上文已大體上在 功能性方面描述了各種說明性組件、區塊、模組、電路及 步驟。將此功能性實施為硬體抑或軟體視特定應用及強加 於整個系統之設計約束而定。應注意，可將組態描述為一 私序’該程序被描繪為流程圖、流程框圖、結構圖或方塊 圖。雖然流程圖可將操作描述為一順序程序，但操作中之 許多者可並行地或同時執行。另外，可重新配置該等操作 之次序。當一程序之操作完成時，該程序終止。程序可對 應於方法、函式、程序（proccedure)、次常式、子程气 等。當一程序對應於一函式時，其終止對應於該函式返回 至調用函式或主函式。 當以硬體實施時，各種實例可使用通用處理器、數位作 號處理器（DSP)、特殊應用積體電路（ASIC)、場可程式化 閘陣列信號（FPGA)或其他可程式化邏輯器件' 離散閘^電 晶體邏輯、離散硬體組件，或其經設計以執行本文中所描 述之功能的任何合適組合。通用處理器可為微處理器，但 在替代例中，該處理器可為任何習知處理器、控制器、微 控制器或狀態機。處理器亦可實施為計算器件之組合，例 如，DSP與微處理器之組合、複數個微處理器、結合 核心之一或多個微處理器，或任何其他此種組態。 當以軟體實施時，各種實例可使用韌體、中間軟體或微 碼。可將用以執行必要任務之程式碼或程式碼片段儲存於 153462.doc •33· 201142718 諸如儲存媒體或其他儲存器之電腦可讀媒體中。處理器可 執行必要任務。程式碼片段可表示程序、函式、子程式、 程式、常式、次常式、模組、套裝軟體、類別，或指令、 資料結構或程式陳述式之任何組合。可藉由傳遞及/或接 收資訊、資料、引數、參數或記憶體内容而將—程式碼片 段耦接至另一程式碼片段或硬體電路。可經由任何合適方 式（包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸等） 來傳遞、轉遞或傳輸資訊、引數、參數'資料等。 如本申請案中所使用，術語「組件 統」及其類似者意欲指代電腦相關實體，該電腦相關實覺 為硬體、動體、硬體與軟體之組合、軟體或執行中之車 體。舉例而言，組件可為（但不限於）在處理器上執行之肩 理程序、處理器、物件、可執行程式、執行緒、程式及 或電腦。藉由說明’在計算器件上執行之應用程式及計與 器件兩者均可為組件。—或多個組件可駐留於__處理程_ 及/或執行緒内’且一組件可位於一電腦上及/或分散於兩 個或兩個以上電腦之間。另外，可自儲存有各種資料結檇 之各種電腦可㈣體執行此等組件。料組件可藉由本端 處理程序及/或遠端處理程序進行通信，諸如根據具有一 或多個資料封包之信號(例如，來自藉由信號而與另一組 件互動的組件上之資料’另一組件係在本端系統中、在分 散式系統中及/或跨越具有其他系統的網路（諸如，網際 路）中）。 在本文中之一或多個實例中 所描述之功能可以硬體、 153462.doc
S -34· 201142718 可將該望體或其任何組合來實施。若以軟體加以實施，則 讀媒體能作為—或多個指令或程式碼而儲存於電腦可 括電腦链ΐ經由電腦可讀媒體進行傳輸。電腦可讀媒體包 2電^存媒體及通信媒體兩者，通信媒體包括促進電腦 蕤U至另一處之傳送的任何媒體。儲存媒體可為可 :腦進行存取之任何可用媒體。藉由實例而非限制， 此專電腦可讀媒體可包含讀、rom、eepromcd_ 其他光碟儲存器、|或其他磁性儲存器 /可用以攜載或儲存呈指令或資料結構之形式之所要 呈=且可藉由電腦進行存取的任何其他媒體。又，將任 :連接恰當地稱為電腦可讀媒體。舉例而言，若使用同轴 電纜、光纖纜線、雙绞蝮、叙 又絞線數位用戶線（DSL)，或諸如紅 被‘，.、線電及微波之無線技術而自網站、飼服器或其他 2源傳輸軟體，則同轴電規、光纖規線、雙絞線、舰 1如紅外線、無線電及微波之無線技術包括於媒體之定 ㈣本如本文中所使用’磁碟及光碟包括緊密光碟(CD)、 雷射光碟、光學光碟、數彳 / 影曰光碟（DVD)、軟性磁碟及 =T:y)光碟，其中磁碟通常以磁性方式再生資料， =藉由雷射以光學方式再生資料。上述各物之組合亦 許多指令，且可】内。軟體可包含單一指令或 干不同程式碼片段上、在不同程式中 夕個體而分散。可將例示性儲存媒體麵接至 ’ 11可自儲存媒體讀取資訊及將資訊寫 入至儲存媒體。在替代例中，儲存媒體可整合至處理器:、 153462.doc * 35 - 201142718 本文中所揭示之方法包含用於達成所描述方法之—或多 個步驟或動作。該等方法步驟及/或動作可在不脫離申請 專利範圍之範疇的情況下彼此互換。換言之，除非正加以 描述之實施例之適當操作需要步驟或動作之特定次序，否 則，在不脫離申請專利範圍之範疇的情況下，可修改特定 步驟及/或動作之次序及/或使用。 了將諸圖中所說明之組件、步驟及/或功能中的一或多 者重新配置及/或組合為單一組件、步驟或功能或體現於 若干組件、步驟或功能中。亦可添加額外元件、組件、步 驟及/或功能。諸圖中所說明之裝置、器件及/或組件可經 組態或調適以執行其他圖中所描述之方法、特徵或步驟中 的一或多者。舉例而言，本文中所描述之演算法可有效地 貫施於軟趙及/或嵌入式硬體中。 應注意’前述組態僅為實例且不應被解釋為限制申請專 利範圍。該等組態之描述意欲為說明性的且不限制申請專 利範圍之範疇。因而，本發明之教示可易於應用於其他類 型之裝置，且許多替代、修改及變化對於彼等熟習此項技 術者而言將為顯而易見的。 【圖式簡單說明】 圖1為說明用於對經查詢之影像執行物件辨識之功能階 段的方塊圖。 圖2說明例示性影像處理階段中之高斯尺度空間產生。 圖3說明例示性影像處理階段中之特徵偵測。 圖4說明例示性影像處理階段中之特徵描述符提取。 153462.doc -36- 201142718 圖5說明針對照明不變特徵/關鍵點偵測之尺度空間正規 化的一實例。 圖6說明可獲得經正規化之尺度空間差之一層級的方式 之一實例。 圖7說明用於產生經正規化之尺度空間差以用於抵抗照 明之改變來改善特徵偵測的方法。 圖8(包含圖8A、圖8B及圖8C)說明在使用傳統特徵偵測 途徑之情況下可能歸因於照明之改變而影響影像之特徵偵 測之方式。 圖9(包含圖9A、圖9B及圖9C)說明在不管照明改變之情 況下在特徵偵測之前正規化尺度空間差有助於偵測更多特 徵（與圖8相比）之方式。 圖1〇(包含圖10A及圖10B)說明高斯尺度空間差與經正規 化之高斯尺度空間差之間的比較。 圖11(包含圖11A及圖11B)說明尺度空間差正規化對關鍵 點匹配驗證之影響。 圖12為說明照明不變特徵偵測器件之實例的方塊圖。 圖13為說明將經正規化之尺度空間差用於特徵偵測之影 像匹配器件之實例的方塊圖。 圖14為說明經調適以執行影像處理以便達成影像或物件 辨識之目的之例示性行動器件的方塊圖。 圖15說明用於使用經正規化之尺度空間差之特徵偵測的 方法。 【主要元件符號說明】 153462.doc -37· 201142718 102 影像捕獲階段 104 影像處理階段 106 影像比較階段 108 所關注之影像 110 相應尺度空間 112 特徵偵測 114 尺度空間正規化器 116 特徵描述符提取 122 特徵匹配 124 幾何驗證或一致性檢查 126 匹配結果 202 高斯金字塔 204 高斯差（DoG)空間 306 小片 308 關鍵點 310 小片 312 小片 402 圓圈/高斯窗/圓形窗 406 區塊 408 樣本/關鍵點 410 子區塊 412 定向直方圖之2x2=4陣列 413 定向直方圖 414 直方圖 38- 153462.doc 201142718 415 定向直方圖 502 影像I(x，y) 504 平滑核G(x, y，〜σ) 506 經平滑之尺度空間金字塔 508 尺度空間差 510 經正規化之尺度空間差 602 影像I(x，y) 604 第一平滑核G(x，y，Cj〇) 606 第二平滑核 G(x, y, Cj + 1a) 608 第一經平滑之尺度空間影像L(x，y，Cj〇) 610 第二經平滑之尺度空間影像L(x，y，Cj + 1< 612 尺度空間層級差Dj(x，y，σ) 614 經正規化之尺度空間層級D'j(x，y, σ) 616 更高尺度之平滑核G〇, y，Cj + 1+ha) 618 經平滑之尺度空間影像L(x，y，Cj + 1+ha) 1102 資料庫影像 1104 測試影像 1106 測試影像 1200 特徵偵測器件 1202 數位查詢影像 1203 平滑核 1204 尺度空間產生器 1206 尺度空間差產生器 1208 尺度空間差正規化器 153462.doc -39- 201142718 1210 關鍵點產生器 1212 特徵產生器 1214 特徵描述符產生器 1216 影像描述符 1300 影像匹配器件 1302 處理電路 1304 通信介面 1306 影像捕獲器件 1308 儲存器件 1310 目標影像之資料庫 1312 描述符資料庫 1314 影像處理電路 1316 影像匹配電路 1320 特徵識別電路 1322 高斯尺度空間產生器 1324 尺度空間差產生器 1326 尺度空間差正規化器 1328 關鍵點偵測器 1330 特徵產生器 1332 特徵描述符產生器 1400 行動器件 1402 處理電路 1404 影像捕獲器件 1406 查詢影像 153462.doc -40- 201142718 1408 儲存器件 1410 通信介面 1412 通信網路 1414 影像處理電路 1420 特徵識別電路 1422 高斯尺度空間產生器 1424 尺度空間差產生器 1426 尺度空間差正規化器 1428 關鍵點偵測器 1430 特徵產生器 1432 特徵描述符產生器 153462.doc -41 -