TWI684919B

TWI684919B - 數位影像的特徵樹結構之建立方法與影像物件辨識方法

Info

Publication number: TWI684919B
Application number: TW107124171A
Authority: TW
Inventors: 盧俊諺; 費祥霆; 劉邦旭
Original assignee: 盧俊諺
Priority date: 2018-07-13
Filing date: 2018-07-13
Publication date: 2020-02-11
Also published as: TW202006599A

Abstract

一種數位影像的特徵樹結構之建立方法與影像物件辨識方法，應用於數位影像的特徵點描述元樹狀結構的建立與待識別影像的相似度辨識。特徵樹結構之建立方法包括載入原始影像，對原始影像進行影像階層處理並生成多張子影像。從子影像中任選其一，將所選的子影像進行高斯影像差值處理並產生多張序列影像。根據序列影像決定至少一特徵點，並生成該特徵點相應的特徵點描述元。將特徵點描述元進行分群處理生成特徵樹結構。將待識別影像生成特徵點與特徵點描述元。將待識別影像的特徵點描述元載入特徵樹結構，用於判斷待識別影像與原始影像的相似程度。

Description

數位影像的特徵樹結構之建立方法與影像物件辨識方法

本發明是關於一種數位影像的特徵建立與影像物件的辨識方法，尤指一種數位影像的特徵樹結構之建立方法與影像物件辨識方法。

隨著積體電路的快速發展，也帶動數位影像的興起。現有的行動裝置上幾乎都會設置相機功能，使用者可以隨時的拍攝相片或影片。由於數位影像的大量記錄，如何管理影像與搜尋內容變成新的研究課題。

習知技術利用邊界或圖塊(pattern)等方式對圖形作比對搜尋。這樣的方式雖然快速，但是無法克服數位圖像經縮放、旋轉或部分破壞後的搜尋。雖然後續有學者提出Binary Robust Independent Elementary Features或ORientedBrief等影像分析方法。但所述的影像分析方法僅克服了縮放後的檢索問題，但對於已經過旋轉或破壞仍是無法透過所述分析方法進行分析。

目前最新的影像分析是影像中的多個特徵點並加上特徵點描述，藉以確保影像經過前述變化後仍可被辨識。由於每一次數位影像識別需要建立相應的特徵點與相應結果，使得進行比對時的運算時間會被拉長。再者，這樣的運算方式對於具有行動裝置的計算也是一大負擔。

此外，若要同時對多張數位影像進行分析與比對，程序的運算負載量與記憶體均會數倍的增長。如此一來，計算機可能在短時間中做出分析與搜尋比對的處理。

本發明揭露一種數位影像的特徵樹結構之建立方法，其係應用在數位影像的特徵點描述元樹結構的建立，用於加速其他數位影像的物件識別速度。

本發明的數位影像的特徵樹結構之建立方法包括以下步驟載入原始影像，對原始影像進行影像階層處理，用於生成多張子影像；從子影像中任選其一，並將所選的子影像進行高斯影像差值處理，用於產生多張序列影像；根據序列影像決定至少一特徵點；對特徵點進行快速視網膜關鍵點處理，用於生成該特徵點相應的特徵點描述元；將特徵點描述元進行分群處理，用於生成特徵樹結構。

本發明另揭露一種影像物件辨識方法，其係包括以下步驟：載入數位影像；拍攝待識別影像；根據待識別影像生成特徵點與特徵點描述元；從數位影像的子影像中選擇與待識別影像的尺寸大小之差的絕對值最小者的子影像；根據所選的子影像調用所屬的特徵樹結構；將待識別影像的特徵點描述元搜尋子影像的特徵樹結構，並輸出搜尋結果。

本發明的數位影像的特徵樹結構之建立方法與影像物件辨識方法提供快速建立數位影像的特徵點描述元，並將特徵點描述元建構成樹狀結構。如此一來，當新的待識別影像輸入時，計算裝置不需重新建立待識別影像的特徵樹結構。計算裝置可以根據待識別影像的大小找出相應的子影像，並調用所述子影像的特徵樹結構。接著，計算裝置將待識別影像與子影像進行比對，即可快速檢索出與數位影像中相似的區域。

100‧‧‧電子裝置

110‧‧‧處理單元

120‧‧‧儲存單元

130‧‧‧輸入介面

140‧‧‧影像擷取單元

150‧‧‧電力單元

160‧‧‧數位影像

161‧‧‧特徵樹結構

162‧‧‧影像階層處理程序

163‧‧‧影像特徵分群程序

164‧‧‧影像特徵識別程序

171‧‧‧原始影像

172‧‧‧目標影像

173‧‧‧待識別影像

174‧‧‧子影像

175‧‧‧序列影像

510‧‧‧第一影像群組

511‧‧‧第一基底影像

520‧‧‧第二影像群組

521‧‧‧第二基底影像

530‧‧‧第三影像群組

531‧‧‧第三基底影像

541、542、543‧‧‧平滑影像

710‧‧‧特徵點

721‧‧‧第一同心圓

722‧‧‧第二同心圓

S210、S220、S230、S240、S250‧‧‧步驟

S221、S222、S223、S224、S225、S226、S227、S228、S229‧‧‧步驟

S610、S620、S630、S640、S650、S660‧‧‧步驟

S810、S820、S830、S840、S850、S860‧‧‧步驟

S910、S920、S930、S940、S950、S960、S970、S980、S990‧‧‧步驟

S1110、S1120、S1130、S1140、S1150、S1160、S1170‧‧‧步驟

S1310、S1320、S1330、S1340、S1350、S1360‧‧‧步驟

圖1係為本發明的電子裝置的硬體架構示意圖。

圖2係為本發明的影像特徵點分群的運作流程示意圖。

圖3係為本發明的原始影像與各階子影像示意圖。

圖4係為本發明的高斯影像差值處理的示意圖。

圖5A係為本發明的高斯平滑處理與平滑影像的生成示意圖。

圖5B係為本發明的各影像群組的生成順序示意圖。

圖6A係為本發明的序列影像的生成流程示意。

圖6B係為本發明的序列影像的生成順序示意圖。

圖7係為本發明的目標像素與其他序列影像的示意圖。

圖8係為本發明的特徵點識別的運作流程示意圖。

圖9係為本發明的特徵點與快速視網膜關鍵點處理示意圖。

圖10A係為本發明的快速視網膜關鍵點處理示意圖。

圖10B係為本發明的快速視網膜關鍵點處理另一示意圖。

圖10C係為本發明的特徵點對的示意圖。

圖10D係為本發明的特徵點描述元的陣列元素示意圖。

圖11係為本發明的分群處處理流程示意圖。

圖12A係為本發明的特徵樹結構的分群示意圖。

圖12B係為本發明結合深先搜尋的特徵樹結構示意圖。

圖12C係為本發明應用於LENA圖的特徵樹結構示意圖。

圖13係為本發明的影像物件識別的運作流程示意圖。

茲有關本發明之詳細內容及技術說明，現以實施例來作進一步說明，但應瞭解的是，該等實施例僅為例示說明之用，而不應被解釋為本發明實施之限制。

本發明主要目的在於數位影像的特徵分析與影像物件的識別，本發明可以應用於具有計算能力的電子裝置，例如：桌上型電腦、筆記型電腦(notebook)、行動電話(mobile phone)或平板(tablet)。本發明的電子裝置包括處理單元110、儲存單元120、輸入介面130、影像擷取單元140與電力單元150。請參考圖1所示，其係為本發明的電子裝置的硬體架構示意圖。

處理單元110電性連結儲存單元120、輸入介面130、影像擷取單元140與電力單元150。儲存單元120用於存儲數位影像160、所屬的特徵樹結構161(Search Tree)、影像階層處理程序162(image pyramid)、影像特徵分群程序163與影像特徵識別程序164。輸入介面130用於控制影像特徵分群程序163的參數控制與選擇影像中的部分區域。影像擷取單元140用於拍攝數位影像160。電力單元150用於提供處理單元110、儲存單元120、輸入介面130與影像擷取單元140的運作電力。處理單元110針對所選的數位影像160進行影像特徵分群，並產生所述數位影像160的特徵樹結構161。其中，特徵樹結構161係由多組節點所構成，每一節點係由多個特徵點所構成(詳細構成方式將於後文詳述)。

為方便說明不同處理階段的影像，因此定義各階段的數位影像160。影像特徵分群程序163所輸入的數位影像160定義為原始影像171。具有特徵樹結構161的原影像定義為目標影像172。待辨識的數位影像160則定義為待識別影像173。請配合參考圖2所示，其係為本發明的影像特徵點分群的運作流程示意圖。

本發明的特徵樹結構之建立包括以下步驟：步驟S210：載入原始影像，對原始影像進行影像階層處理，用於生成多張子影像；步驟S220：從子影像中任選其一，並將所選的子影像進行高斯影像差值處理，用於產生多張序列影像；步驟S230：根據序列影像決定至少一特徵點；步驟S240：對特徵點進行快速視網膜關鍵點處理，用於生成該特徵點相應的特徵點描述元；步驟S250：將特徵點描述元進行分群處理，用於生成特徵樹結構。

首先，處理單元110可以透過影像擷取單元140取得原始影像171，或是從儲存單元120中載入原始影像171。處理單元110對原始影像171進行影像階層處理並生成不同階層的子影像174。影像階層處理程序162的種類可以是高斯金字塔(Gaussian image pyramid)或拉普拉斯金字塔(Laplacian image pyramid)。請配合圖3所示，其係為本發明的原始影像與所屬子影像之示意圖。在圖3中僅以三階子影像為示例，但實際運作時可依據處理單元110或原始影像171之大小調整不同的子影像174階層。處理單元110將原始影像171為影像階層的初始，選擇部分區塊以高斯平滑(Gaussian smooth)與插值方式(interpolation)對原始影像171進行處理，用於生成次一階的子影像174。其中，插值方式可以是線性插值(Linear Interpolation)或雙線性插值(Bilinear Interpolation)。同理，對第二階子影像重複高斯平滑與插值，進一步產生第三階的子影像。

接著，處理單元110可以從多張子影像174中任選其一。處理單元110對所選的子影像174進行高斯影像差值處理(difference of Gaussian image)，並生成多張序列影像175。其中在通過高斯影像差值處理的過程中更包括以下步驟，並請同時參考圖4所示：步驟S221：將所選的子影像定義為第一基底影像；步驟S222：將基底影像遞迴進行高斯平滑處理，並生成至少一平滑影像；步驟S223：設定第一影像群組，第一影像群組包含基底影像與這些平滑影像；步驟S224：從第一影像群組的選擇任一平滑影像，並對所選的平滑影像進行降低取樣處理，用於產生第二影像群組的第二基底影像；步驟S225：判斷第二基底影像或第三基底影像是否小於終止門檻；步驟S226：若是第二基底影像或第三基底影像小於終止門檻，則終止平滑影像的生成；步驟S227：若第二基底影像大於終止門檻，處理單元110根據第二基底影像生成第二影像群組的這些平滑影像；步驟S228：從第二影像群組中選擇任一平滑影像，並對所選的平滑影像進行降低取樣處理，用於產生第三影像群組的第三基底影像；步驟S229：若第三基底影像大於終止門檻，處理單元110根據第三基底影像生成第三影像群組的這些平滑影像。

為清楚說明子影像174與序列影像175的生成處理，將所選出的子影像174定義為第一基底影像511。處理單元110對第一基底影像511進行高斯平滑處理，並輸出第一階的平滑影像。接著，處理單元110再對第一階的平滑影像進行高斯平滑處理，並產生第二階的平滑影像。處理單元110以遞迴(recursive)方式進行高斯平滑處理，以逐層產生不同階層的平滑影像。請配合參考圖5A所示，其係為本發明的高斯平滑處理與平滑影像的生成示意圖。在本發明中係以進行兩次平滑影像為例，但不僅侷限於此次數。

處理單元110將第一基底影像511與該些平滑影像設定第一影像群組510。處理單元110從第一影像群組510中取出最後生成的平滑影像541。處理單元110將所選的平滑影像541進行降低取樣處理 (downsample)，藉以生成第二影像群組520的第二基底影像521。為方便識別各影像群組與所屬的影像，後文中將以影像

進行說明，其中m為經過高斯平滑處理的處理次數、n為經過降低取樣處理的次數。生成第二基底影像521時，處理單元110會判斷第二基底影像521是否小於終止門檻。若是第二基底影像521小於終止門檻，則終止第二影像群組520的平滑影像542的生成。換句話說，當第二基底影像521小於終止門檻，則處理單元110則不會繼續生成第二影像群組520與第三影像群組530。

若是第二基底影像521大於終止門檻，處理單元110根據第二基底影像521並以遞迴方式進行高斯平滑處理，用於生成多階層的平滑影像。同理，當平滑影像的尺寸大小小於終止門檻時，處理單元110就會停止生成平滑影像542。處理單元110將第二基底影像521所生成的該些平滑影像542彙整於第二影像群組520。

處理單元110從第二影像群組520中選擇最後生成的平滑影像542。處理單元110對所選的平滑影像進行高斯平滑處理，並生成第三基底影像531。同理，處理單元110判斷第三基底影像531是否小於終止門檻。若第三基底影像531小於終止門檻時，則處理單元110將終止生成平滑影像543。反之，處理單元110將會生成第三影像群組530與所屬的平滑影像543。

需要注意的是，處理單元110在生成第三影像群組530的最後的平滑影像時，處理單元110可以利用此一平滑影像543再生成第四影像群組，或生成更次一階層的影像群組。

在本發明中僅以第一影像群組510、第二影像群組520與第三影像群組530作為示例。假設第一影像群組510中分別具有第一基底影像

、第一平滑影像

與第二平滑影像

。第二平滑影像

經過降低取樣處理後生成第二基底影像

。第二影像群組520中具有第二基底影像

、第三平滑影像

與第四平滑影像

。第三影像群組530中具有第三基底影像

、第五平滑影像

與第六平滑影像

。請配合參考圖5B所示，其係為本發明的各影像群組的生成順序示意圖。在圖5B中img(x,y)係等同

。

接著，處理單元110根據第一影像群組510、第二影像群組520與第三影像群組530產生多張序列影像175。請參考圖6A與圖6B所示，其係分別為本發明的序列影像的生成流程示意圖與序列影像的生成順序示意圖。本發明的序列影像175的生成包括以下步驟：步驟S610：於第一影像群組中，依序選擇兩相鄰的這些平滑影像；步驟S620：將所選的兩平滑影像進行高斯影像差值處理，並生成序列影像；步驟S630：於第二影像群組中，依序選擇兩相鄰的這些平滑影像；步驟S640：將所選的兩平滑影像進行高斯影像差值處理，並生成序列影像；步驟S650：於第三影像群組中，依序選擇兩相鄰的這些平滑影像；以及步驟S660：將所選的兩平滑影像進行高斯影像差值處理，並生成序列影像。

處理單元110從第一影像群組510中依序且相鄰的方式選擇任兩張平滑影像。處理單元110將所選的兩影像進行高斯影像差值處理(difference of Gaussian image)，並輸出一序列影像175。例如：選擇第一基底影像

與第一平滑影像

。處理單元110將第一基底影像

與第一平滑影像

進行高斯差值處理將輸出相應的序列影像

。同理，處理單元110分別生成序列影像

、

、

、

與

。

處理單元110根據降低取樣處理與高斯平滑處理的順序將序列影像175進行排列，其排列結果如下序列影像

、

、

、

、

與

。換句話說，處理單元110係以降取處理次數為主並以高斯平滑處理次數對序列影像175升冪排序。在本說明中雖以三個影像群組為例，但實際運作可能實現更多的影像群組與所包含的平滑影像。

在生成序列影像175後，處理單元110在從現有的序列影像175中選擇最前的三張相鄰的序列影像175，並依序定義為第一序列影像

、第二序列影像

與第三序列影像

，k為經過降低取樣處理的次數。在選擇第一序列影像

、第二序列影像

與第三序列影像

後，處理單元110將會以第二序列影像為基準並判斷第一序列影像與第三序列影像

的大小是否相符。

如果第一序列影像

的尺寸小於第二序列影像

，則處理單元110將會對第一序列影像

進行上升取樣(upsample)處理，將第一序列影像

的尺寸調整成第二序列影像

的尺寸大小一致。若是第一序列影像

的尺寸大於第二序列影像

，則處理單元110將會對第一序列影像

進行降低取樣處理，將第一序列影像

的尺寸調整成第二序列影像

的尺寸大小一致。同理，對於第三序列影像

與第一序列影像

的尺寸比對也會通過前述方式進行調整。

接下來，處理單元110從第二序列影像中選擇任一像素，在此將所選的像素定義為目標像素

，其中m-n為序列影像之生成差值，k為經過降低取樣處理的次數，x為橫軸座標位置，y為縱軸座標位置。請參考圖7所示，其係為本發明的目標像素與其他序列影像的示意圖。

將目標像素與周圍的其他像素進行絕對差值的計算，所述的絕對差值計算意即為兩像素相減後取絕對值。在此將與目標像素相鄰的像素定義為待測像素。假設所選擇的第一序列影像為

，第二序列影像為

，第三序列影像為

，而目標像素為

。因此待測像素分別為

，其他序列影像175與目標像素相鄰的待測像素分別為

、

，其中dx與dy

{-1，1}。根據前文所述，待測像素共有26個其係分別為第一序列影像

有九個待測像素、第二序列影像為

有八個待測像素，第三序列影像為

有九個待測像素。請參考圖8所示，其係為本發明的特徵點識別的運作流程示意圖。特徵點識別的運作包括以下步驟：步驟S810：選擇相鄰三張這些序列影像，分別指定為第一序列影像、第二序列影像與第三序列影像；步驟S820：從第二序列影像中選擇一目標像素；步驟S830：以目標像素為基準從第一序列影像、第二序列影像與第三序列影像中與目標像素相鄰的一待測像素；步驟S840：統計目標像素與這些待測像素的絕對差值大於一邊界門檻值的數量；步驟S850：若絕對差值的數量大於特徵門檻，則將目標像素設定為特徵點；以及步驟S860：若絕對差值的數量小於特徵門檻，則放棄記錄目標像素。

處理單元110選擇目標像素時，另需要判別所選的目標像素與二階梯度(Laplacian threshold)的差值比較。當所選的目標像素取絕對值小於二階梯度時，則處理單元110會捨棄當前的目標像素。反之，處理單元將會保留所選的目標像素。處理單元110計算目標像素與各待測像素的絕對差值。處理單元110統計各待測像素的絕對差值大於邊界門檻值的數量。若統計數量大於特徵門檻時，則處理單元110將記錄目標像素為特徵點。若統計數量小於特徵門檻時，則處理單元110不會將目標像素記錄為特徵點。特徵點可以表示該區域的影響半徑(Hessian matrix)以及其梯度方向(gradient)。換句話說，處理單元110會計算目標像素與其他各個待測像素的絕對差值，用於取得目標像素周圍的其他像素並計算該區域中的區域梯度方向(local gradient)。如此一來，目標像素與其周圍的像素投影至對應座標時，即可產生具有方向性的特徵資訊。

在從序列影像得到多個特徵點後，處理單元110根據已得到的特徵點分別進行快速視網膜關鍵點處理。本發明的特徵點與快速視網膜關鍵點處理請參考圖9所示。在本發明的快速視網膜關鍵點處理中包括以下步驟：步驟S910：選取任一特徵點；步驟S920：以特徵點為圓心設定至少一組涵蓋半徑，並生成相應的第一同心圓；步驟S930：於各第一同心圓的圓周上分別設定六個不相交的第二同心圓；步驟S940：取得第一同心圓與第二同心圓的圓心，並將圓心定義為採樣像素；步驟S950：根據採樣像素所在的一涵蓋區域，並計算涵蓋區域的平均像素值

，直至完成所有採樣像素為止；步驟S960：選定一採樣像素，再選任一採樣像素且根據平均像素值生成對應的特徵點描述元

；以及步驟S970：重複選定採樣像素並生成相應的特徵點描述元為止；以及步驟S980：重複從特徵點與這些待測像素選擇任二，並計算相應的一描述子。

為能簡單說明快速視網膜關鍵點的運作方式。處理單元110從多個特徵點中選取其中之一。處理單元110以所選特徵點710為圓心，並設置多組涵蓋半徑用於生成多個同心圓接著，在第一同心圓721的圓周上以不相交的方式設置六組相同大小的第二同心圓722。請參考圖10A與圖10B所示，其係分別為本發明的快速視網膜關鍵點處理的第一同心圓與第二同心圓的設置示意圖。

處理單元110記錄所有第一同心圓721與第二同心圓722的圓心(意即欲進行採樣的像素)。處理單元110對所選出的圓心定義為採樣像素。在圖10B中以第一同心圓721係以黑實線表示，第二同心圓722係以黑虛線表示。在圖10A中，以特徵點710為圓心依序往外以不同的涵蓋半徑規劃多個第一同心圓721。接下來，處理單元110對於涵蓋半徑1以外的第一同心圓721上更設置六個相鄰且不相交的第二同心圓722。

舉例來說，處理單元110可以從前述圓心往外設置6組涵蓋半徑為(3，5，8，12，17，23，30)的第一同心圓721。接著，除了最內層的第一同心圓721外，在其他第一同心圓721上再分別設置6組不相交的第二同心圓722。

處理單元110從採樣像素中任選一個，並計算所選採樣像素涵蓋區域中的像素平均值，

，其中m為涵蓋區域中的像素數量。處理單元110重複選取與計算像素平均值，直至所有採樣像素被選取過為止。

處理單元110從所有採樣像素中先選定一個採樣像素，處理單元110再從其餘的採樣像素中選擇任一。處理單元110根據兩採樣像素與所屬的像素平均值進行下述的計算：

其中，F係為描述子，Pa係為兩採樣像素對組，

與

分別為兩採樣像素的像素值，N為特徵點個數。

如此一來，處理單元110可以得到43個同心圓(分別為1+6+6+6+6+6+6+6=43)，意即有43個採樣像素，請參考圖10C所示。從43個採樣像素任選兩個作為描述子的排列組合共有

特徵點配(pair)種組合。處理單元110根據特徵點710與描述子組合建立一特徵陣列D，D係為N列、行數則為排列組合數量M。

若為提高計算時的精確度，可以更進一步的採用本段落之處理。如果為能快速計算則可以跳至次一段落的處理程序。在建立描述子後，處理單元110需要對描述子的內容進一步的篩選，使得特徵點710可以更精準代表該區塊的影響程度。處理單元110根據所選的兩待測像素計算相應的描述子。處理單元110計算特徵陣列中每一列的均值A，並降冪排序均值。由於描述子係為(0,1)所構成，因此均值將分布於(0,1)之間。均值與採樣門檻值差值越小時則代表該像素與其他像素的重複性越低。一般而言，採樣門檻值可以設定為0.5。當完成所有特徵點710的均值計算後，可以得到N*M維的陣列D`，如圖10D所示。承接前例，其中M係為

。

接著，處理單元110將陣列D`中的描述子依降冪排序。處理單元110再從陣列D`中選擇前排特定數量的描述子。一般而言，可以根據處理單元110的運算能力選擇排序前64、128、256或512個描述子。而所選擇出的描述子組合則定義為特徵點描述元(binary descriptor)。

在完成所有的特徵點描述元後，處理單元110接著對特徵點描述元進行分群處理。本發明的分群處處理包括以下步驟，請配合圖11所示：步驟S1110：設定特徵樹結構的一結構層級的數量、每一結構層級的一節點的數量、每一節點的特徵點數量；步驟S1120：計算任兩特徵點描述元的一漢明距離；步驟S1130：以K-means方式對這些漢明距離與相應的這些節點進行分群，使得每一節點涵蓋符合小於一門檻距離的這些特徵點描述元與這些特徵點；步驟S1140：判斷節點的特徵點數量是否小於一葉節點閥值；步驟S1150：若節點的特徵點數量小於葉節點閥值，則設定節點為一葉節點；步驟S1160：若節點的特徵點數量大於葉節點閥值，則產生節點的次一結構層級並進行分群；以及步驟S1170：以一指標記錄節點所生成的次一結構層級的這些節點。

在開始分群程序前，處理單元110會預先設定特徵樹結構161所欲生成的層級數量、每一結構層級的最多的節點數量與各節點的最少的特徵點數量。舉例來說，特徵樹結構161可以被設定是3階層，每一階層具有3個節點，每一節點至少包含2個特徵點。本發明所採用的分群演算法為K-means演算法，處理單元110將設定K個質心並對所有的特徵點描述元進行分群。在分群的過程中係以兩特徵點描述元的漢明距離(Hamming distance)作為分群的依據。處理單元110將兩相近的漢明距離的特徵點描述元分群至同一節點。漢明距離的計算方式是依據兩特徵點描述元的”0”、”1”的變異數量。當漢明距離越大，則表示兩特徵點描述元的差異越大。

處理單元110將漢明距離相近的特徵點描述元劃分於同一節點中。以根節點且假設3個質心為例，處理單元110將根節點中的N個特徵點描述元分群為3個子節點。每一個子節點均包含部分的根節點中的特徵點描述元。換言之，子節點中的特徵點描述元必然存在於上一階的節點，請參考第12圖所示。圖12A中根節點包含特徵點描述元A、B、C、D、E、F、G、H、I與J。根節點根據漢明距離將特徵點描述元分為三群(意即第二層結構包含三個子節點)。第一子節點包含特徵點描述元A、E、G與H，第二子節點包含特徵點描述元B、I與J，第三子節點包含特徵點描述元D與F。

接著，處理單元110對第二階層中的節點更進一步的分群處理。在此一示例中，子節點最少需具有兩特徵點描述元。因此第二階層的第三子節點將不會進行次一階的分群，第三子節點可以被視為葉節點(leaf node)。第二子階層的第一子節點可以進一步分群為第四子節點與第五子節點，而第二子節點僅能分群出第六子節點。

處理單元110在每次分群的過程中，處理單元110對於各節點均會以指標(pointer)的方式記錄各階層的生成關係。在本發明於建立記錄文件的過程中可以採用深先搜尋(Depth-first search)或廣先搜尋(Breadth-first search)的方式建立各階層間的順序關係。以深先搜尋與前例為說明，請配合圖12B所示，其係為本發明結合深先搜尋的特徵樹結構示意圖。在此一說明中，係以左子樹作為優先拜訪的對象。在圖12B中的箭頭表示拜訪的順序。因此根據廣先搜尋的結果可以得到{第一子節點、第四子節點、第五子節點、第二子節點、第六子節點、第三子節點}的拜訪順序。此一順序則是前述的各階層的生成順序關係。

此外，處理單元110同時也會記錄各特徵點描述元的索引表單(index)、搜尋樹節點索引、各節點間指標關係與節點描述符索引至記錄文件中。如此一來，則完成所選子影像174的特徵樹結構161。

為能具體說明數位影像如何演示生成特徵樹結構161，因此本發明的圖12C係以Lena的數位影像作為說明。在圖12C中以「X」作為特徵點的擷取。假設特徵點描述元的總量為「261」個；每一階層可以生成最大數量為「8」的節點，包含子節點(係以圓形表示)及葉節點(係以鈍角方形表示)；每一子節點的特徵點描述元上限為「16」個，在葉節點群中的數字表示各群組的特徵點描述元數量。在圖12C中，根節點在經過分群處理後生成八個子節點，子節點分別包括53、17、23、37、51、51、14、15個特徵點描述元；其中，「14」、「15」的節點由於無法繼續分群，因此「14」與「15」的節點既是根節點的子節點也是葉節點。

在圖12C的右子樹為例，具有「53」個特徵點描述元的子節點在經過分群處理後，可生成次一階層的子節點(具有「19」個特徵點描述元)與若干個葉節點。為簡化說明，所以將同一子節點所生成的葉節點定義為葉節點群組。因此「53」個特徵點描述元生成出子節點(具有「19」個特徵點描述元)後，其餘的「34」個特徵點描述元形成七組葉節點。所述七組葉節點分別包括7、9、5、3、3、3、4個特徵點描述元。同理對於其他子節點而言，在經過新的分群處理後，可能會產生次一階層的子節點或葉節點。

處理單元110可以再對其他子影像174重複前述的特徵樹結構161的生成處理，用於已建立原始影像171的各子影像174的特徵樹結構161。最後，處理單元110將所有的子影像174的特徵樹結構161與記錄文件彙整至一特徵集成文件。在完成原始影像171的特徵集成文件後，處理單元110可以根據特徵集成文件對新的數位影像160進行影像特徵識別程序164，用於搜尋影像物件的特徵。請參考圖13，其係為本發明的影像物件識別的運作流程示意圖。本發明的影像物件識別的運作流程包括以下步驟：步驟S1310：載入目標影像與特徵樹結構；步驟S1320：拍攝待識別影像；步驟S1330：根據待識別影像生成這些特徵點與這些特徵點描述元；步驟S1340：從數位影像的這些子影像中選擇與待識別影像的尺寸大小之差的絕對值最小的子影像；步驟S1350：根據所選的子影像調用所屬的特徵樹結構；以及步驟S1360：將待識別影像的特徵點描述元搜尋子影像的特徵樹結構，並輸出搜尋結果。

處理單元110可以透過影像擷取單元140拍攝待識別影像173，或從儲存單元120中選擇任一待識別影像173。處理單元110對載入的待識別影像173進行影像特徵的處理，用於產生待識別影像173的特徵點描述元。處理單元110從目標影像172中選擇與待識別影像173的尺寸大小相近的子影像174。換句話說，待識別影像173與子影像174的尺寸大小之差取絕對值最小者即為所選的子影像174。

處理單元110根據所選的子影像174取得相應的特徵樹結構161。處理單元110將待識別影像173的特徵點描述元帶入特徵樹結構161。處理單元110比對特徵樹結構161的各節點與特徵點描述元。處理單元110首先從根節點與特徵點描述元比對漢明距離，用於檢測最接近待識別影像173之特徵點描述元的次一階層的節點。處理單元110從根節點移動至次一階的節點，並檢測節點中與待識別影像173的特徵點描述元的最短漢明距離。處理單元110重複檢測與移動至新節點，直至移動至葉節點為止。

如果移動至葉節點時，處理單元110仍將特徵點描述元與葉節點中的特徵點描述元進行比對，並得到最小與次小的漢明距離其中，最小的漢明距離為 t ₁與次小的漢明距離為 t ₂。接著，處理單元110計算

是否小於匹配門檻。匹配門檻越高則表示兩像素的特徵點描述元差異越大。因此，當計算結果小於匹配門檻時，則處理單元110將會將該待識別影像173的相關特徵點描述元記錄至搜尋結果中。反之，則處理單元110將不會記錄。

本發明的數位影像160的特徵點描述元的建立方法與影像物件辨識方法提供快速建立數位影像160的特徵點描述元，並將特徵點描述元建構成樹狀結構。如此一來，當新的待識別影像173輸入時，計算裝置不需重新建立待識別影像173的特徵樹結構161。計算裝置可以根據待識別影像173的大小找出相應的子影像174，並調用所述子影像174的特徵樹結構161。接著，計算裝置將待識別影像173與子影像174進行比對，即可快速檢索出與數位影像160中相似的區域。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

S210、S220、S230、S240、S250 步驟

Claims

一種數位影像的特徵樹結構之建立方法，其係至少包括：載入一原始影像，對該原始影像進行一影像階層處理，用於生成多張子影像；從該些子影像中任選其一，並將所選的該子影像進行一高斯影像差值處理(difference of Gaussian image)，用於產生多張序列影像；從該些序列影像決定至少一特徵點；選擇相鄰三張該些序列影像，分別指定為一第一序列影像、一第二序列影像與該第三序列影像，並且從該第二序列影像中選擇一目標像素；接著，以該目標像素為基準，將該第一序列影像、該第二序列影像與該第三序列影像中與該目標像素相鄰之像素定義為一待測像素，並統計該目標像素與該些待測像素的絕對差值大於一邊界門檻值的數量；若該數量大於一特徵門檻，則將該目標像素設定為該特徵點；反之，若該數量小於一特徵門檻，則放棄記錄該目標像素；對該特徵點進行一快速視網膜關鍵點處理(Fast Retina Keypoint，FREAK)，用於生成該特徵點相應的一特徵點描述元；以及將該些特徵點描述元進行一分群處理，用於生成一特徵樹結構。
如請求項1所記載之數位影像的特徵樹結構之建立方法，其中該影像階層處理係為高斯影像金字塔處理(Gaussian image pyramid)或拉普拉斯影像金字塔處理(Laplacian image pyramid)。
如請求項1所記載之數位影像的特徵樹結構之建立方法，其中在進行該高斯影像差值處理的步驟更包括；將所選的該子影像定義為一第一基底影像；將該基底影像遞迴進行一高斯平滑處理，並生成至少一平滑影像；設定一第一影像群組，該第一影像群組包含該基底影像與該平滑影像；從該第一影像群組的選擇任一該平滑影像，並對所選的該平滑影像進行一降低取樣處理(downsample)，用於產生一第二影像群組的一第二基底影像；根據該第二基底影像生成該第二影像群組的該平滑影像；從該第二影像群組中選擇任一該平滑影像，並對所選的該平滑影像進行一降低取樣處理，用於產生一第三影像群組的一第三基底影像；以及根據該第三基底影像生成該第三影像群組的該平滑影像。
如請求項3所記載之數位影像的特徵樹結構之建立方法，其中產生該第二基底影像與該第三基底影像的步驟更包括：選擇該第一影像群組中最後生成的該平滑影像；將所選的該平滑影像進行該降低取樣處理，用於生成該第二基底影像；選擇該第二影像群組中最後生成的該平滑影像；將所選的該平滑影像進行該降低取樣處理，用於生成該第三基底影像。
如請求項3所記載之數位影像的特徵樹結構之建立方法，其中在生成該第一影像群組、該第二影像群組與該第三影像群組後更包括：於該第一影像群組中，依序選擇兩相鄰的該些平滑影像
，其中x為該高斯平滑處理的處理次數，y為該降低取樣處理的次數；將所選的兩該平滑影像進行該高斯影像差值處理，並生成該序列影像；於該第二影像群組中，依序選擇兩相鄰的該些平滑影像；將所選的兩該平滑影像進行該高斯影像差值處理，並生成該序列影像；於該第三影像群組中，依序選擇兩相鄰的該些平滑影像；以及將所選的兩該平滑影像進行該高斯影像差值處理，並生成該序列影像。
如請求項1所記載之數位影像的特徵樹結構之建立方法，其中選擇該第一序列影像、該第二序列影像與該第三序列影像的步驟更包括：比對該第一序列影像、該第二序列影像與該第三序列影像的影像大小是否相同；以及若影像大小不一致時，以該第一序列影像為準，對該第二序列影像或該第三序列影像進行一重取樣處理，用於將影像大小調整與該第一序列影像一致。
如請求項1所記載之數位影像的特徵樹結構之建立方法，其中在進行該快速視網膜關鍵點處理中更包括：根據該特徵點並通過該快速視網膜關鍵點處理取得多個待測像素；重複從該特徵點與該些待測像素選擇任二，並計算相應的一描述子；根據所有該些描述子進行一均值處理，並得到一結果均值；判斷該結果均值是否大於一採樣門檻值；若大於該採樣門檻值，則排序該特徵點與該些待測像素；以及從已排序的該些待測像素與該特徵點中，從序列起始選擇符合一設定數量的該些待測像素，並將所選的該些待測像素為該特徵點描述元。
如請求項1所記載之數位影像的特徵樹結構之建立方法，其中該分群處理包括：設定該特徵樹結構的一結構層級的數量、每一該結構層級的一節點的數量、每一該節點的一特徵點數量；計算任兩該特徵點描述元的一漢明距離(Hamming distance)；以K-means方式對該些漢明距離與相應的該些節點進行分群，使得每一該節點涵蓋符合小於一門檻距離的該些特徵點描述元與該些特徵點；判斷該節點的該特徵點數量是否小於一葉節點閥值；若該節點的該特徵點數量小於該葉節點閥值，則設定該節點為一葉節點；若該節點的該特徵點數量大於該葉節點閥值，則產生該節點的次一該結構層級並進行分群；以及以一指標分別記錄該節點與所生成的該些節點的一生成關係。
一種影像物件辨識方法，其係應用申請專利範圍第1項至第8項中的任一項所述之數位影像的特徵樹結構之建立方法所建立的特徵樹結構；該影像物件辨識方法包括：載入一目標影像與該特徵樹結構；拍攝一待識別影像；根據該待識別影像生成該些特徵點與該些特徵點描述元；從該數位影像的該些子影像中選擇與該待識別影像的尺寸大小之差的絕對值為最小者的該子影像；根據所選的該子影像調用所屬的該特徵樹結構；以及將該待識別影像的該特徵點描述元搜尋該子影像的該特徵樹結構，並輸出一搜尋結果。
如請求項9所記載之影像物件辨識方法，其中在搜尋該子影像的該特徵樹結構的步驟中更包括：以該特徵樹結構的根節點為初始；計算該待識別影像的該些特徵點與根節點的該些特徵點描述元的一漢明距離；找出最小的該漢明距離的該子影像的該特徵點與相應的次一層級的一節點；移動至所述次一層級的該節點；檢查該節點是否為一葉節點；若該節點為該葉節點，則計算該葉節點的該些特徵點與該待識別影像的該些特徵點的該漢明距離；找出最小的該漢明距離的該子影像的該特徵點；以及若該節點不為該葉節點，則重複搜尋最小的該漢明距離的該子影像的該特徵點與相應的次一層級的一節點並移動至所述的該節點。
如請求項10所記載之影像物件辨識方法，其中在移動至所述次一層級的該節點的步驟中更包括：當該節點為該葉節點時，比對該待識別影像的該些特徵點與該葉節點的該些特徵點描述之間的差距而得到各個該漢明距離；從各個該漢明距離中找出最小的該漢明距離(t ₁)與次小的該漢明距離(t ₂)；根據計算
是否小於一匹配門檻；若小於該匹配門檻，則將該特徵點設定至該搜尋結果；以及若大於該匹配門檻，則不紀錄該特徵點。