TWI411969B

TWI411969B - 紋理特徵點比對方法及系統

Info

Publication number: TWI411969B
Application number: TW99145937A
Authority: TW
Inventors: Yu Long Wang; Yen Shu Chang; Zhi Hong Ou; Yea Shuan Huang
Original assignee: Ind Tech Res Inst
Priority date: 2010-12-24
Filing date: 2010-12-24
Publication date: 2013-10-11
Also published as: TW201227534A; CN102542245B; CN102542245A

Description

紋理特徵點比對方法及系統

本案是有關於一種影像之比對方法及系統，且特別是有關於一種影像之紋理特徵點比對方法及系統。

現今特徵點擷取較常見的技術為角點偵測，其角點偵測方法眾多，目的是在灰階影像中找出較具有鑑別度的特徵點位置，希望能排除容易比對錯誤的直線與亮度值變化較為一致的區域，而擷取出的特徵點通常為灰階影像亮度值對比較強烈且較為角落的區域，其效果雖然穩定，但所偵測到的特徵點點數不夠密集，其實在灰階影像中還有很多區域其比對的鑑別度也是相當高的。

傳統的比對方法有光流法與眾多的區塊比對方法，傳統光流法因為其本身理論的定義限制，無法比對移動量較大的特徵點，對於光線變化較無抑制能力，且速度上也稍嫌太慢。

本案係有關於一種影像之比對方法及系統，其利用區塊比對方法，其對光線變化有一定的抑制能力。

根據本案之第一方面，提出一種影像之紋理特徵點比對方法。紋理特徵點比對方法包括以下步驟。接收一參考影像及一目標影像。依據參考影像，產生一局部二元圖形(Local Binary Pattern，LBP)參考影像，並依據目標影像產生一LBP目標影像。偵測LBP參考影像之數個參考紋理特徵點。依據此些參考紋理特徵點，於LBP目標影像比對出對應之數個目標紋理特徵點。

根據本案之一第二方面，提出一種影像之紋理特徵點比對系統。紋理特徵點比對系統包括一局部二元圖形(Local Binary Pattern，LBP)產生單元、一偵測單元及一比對單元。提供單元用以接收一提供單元提供之一參考影像及一目標影像。LBP產生單元係依據參考影像，產生一LBP參考影像，並依據目標影像產生一LBP目標影像。偵測單元係偵測LBP參考影像之數個參考紋理特徵點。比對單元係依據此些參考紋理特徵點，於LBP目標影像尋找對應之數個目標紋理特徵點。

為了對本案之上述及其他方面更瞭解，下文特舉實施例，並配合所附圖式，作詳細說明如下：

請參照第1圖及第2圖，第1圖繪示本實施例影像之紋理特徵點比對方法之流程圖，第2圖繪示本實施例影像之紋理特徵點比對系統100之方塊圖。本實施例之紋理特徵點比對方法主要包含三個部分：(1)紋理特徵點的擷取、(2)局部二元圖形(Local Binary Pattern，LBP)影像之區塊比對及(3)絕對誤差和(Sum of Absolute Difference，SAD)之區塊比對。以下係搭配第2圖之影像之紋理特徵點比對系統100說明本實施例。然而，本案所屬技術領域中具有通常知識者均可瞭解，本案之比對方法並不侷限應用於第2圖之比對系統100，也不侷限於下述之演算示例。

(1)紋理特徵點擷取的擷取：

如第1圖所示，在步驟S101中，提供單元110提供一參考影像Ir及一目標影像It，以供本實施例影像之紋理特徵點比對系統100接收。提供單元110例如是一攝影機、一照相機或儲存數張影像之儲存裝置。參考影像Ir及目標影像It例如是連續拍攝之前一刻影像及當下刻影像。

接著，在步驟S102中，LBP產生單元120依據參考影像Ir，產生一LBP參考影像LBPr，並依據目標影像It產生一LBP目標影像LBPt。

舉例來說，本實施例之LBP參考影像LBPr的產生方法是從參考影像Ir上進行3x3的遮罩運算所產生的結果，而3x3的遮罩運算方法是比較遮罩中心點之參考像素Pr之亮度與周遭8個參考像素Pr之亮度的大小關係。

請參照第3圖，其繪示LBP運算示意圖。參考影像Ir之一個參考像素Pr的亮度可以用8位元來表示，其分別表示為b1、b2、b3、b4、b5、b6、b7、b8。當鄰近之參考像Pr之亮度大於中心參考像素Pr之亮度，則設定其值為1；否則設定其值為0。如第3圖右側所示，最後所產生的8位元LBP值為「11111100」。參考影像Ir的每一個參考像素Pr皆計算其LBP值後，即可獲得LBP參考影像LBPr。

請參照附圖1，其繪示數張原始影像及其LBP影像。附圖1之上排影像為亮度不同的原始影像，附圖1之下排影像為其對應之LBP影像。由附圖1可以得知LBP影像是一種區域性的亮度對比關係(即較亮或較暗)，對光線變化有相當程度的容忍能力。當原始影像的光線變化時，其LBP影像不會有太大的變動。

然後，在步驟S103中，偵測單元130偵測出參考影像Ir之數個目標紋理特徵點fr。在說明紋理特徵點擷取方法之前，先說明偵測單元130如何依據漢明距離(Hamming distance)來求得兩個LBP值之差異量。

在LBP影像中，一個LBP值代表的是中心點像素與8個鄰近像素的亮度大小關係。偵測單元130利用互斥(XOR)邏輯運算將兩個要比對的LBP值進行二進制的8位元與8位元邏輯計算，其中只有1對1與0對0才會有0的結果，否則皆為1的結果，最後再計算互斥(XOR)邏輯運算後其數值為1的個數，即為漢明距離。

如下式(1)為例，「10110111」與「10111010」的戶斥邏輯運算結果為「00001101」，其漢明距離為3。當1的個數較多時，則漢明距離越大，表示其差異度越大。

請參照第4圖，其繪示一參考像素Pr0與周遭16個參考像素xi(i=1～16)之示意圖。以參考像素Pr0為例，在7×7的參考像素範圍內，以參考像素Pr0為中心，畫一個圓C，而周遭會有16個參考像素xi位於這個圓C上。偵測單元130再計算此參考像素Pr0之LBP值與其周遭16個參考像素xi(i=1～16)之LBP值的16個漢明距離H _pr _0→xi (i=1～16)。偵測單元130並設定一臨界值t，當連續n個漢明距離H _pr _0→xi 滿足H _pr _0→xi >t 時，則定義此參考像素Pr0為我們所要擷取的一個參考紋理特徵點fr。其中，H _pr _0→xi >t 表示參考像素Pr0與參考像素xi的差異較大。所以，當參考像素Pr0之附近為平滑區域時，其漢明距離H _pr _0→xi 會比較低。並且漢明距離H _pr _0→xi 滿足H _pr _0→xi >t 的連續數量可以表示此參考像素Pr0的幾何角度程度。例如，當參考像素Pr0為角點時，其漢明距離H _pr _0→xi 滿足H _pr _0→xi >t 的連續數量會較大；參考像素Pr0為直線邊緣時，其漢明距離H _pr _0→xi 滿足H _pr _0→xi >t 的連續數量會比較小。在此步驟中，偵測單元130係利用參數n來排除容易比對錯誤的直線邊緣。

請參照附圖2，其繪示參考紋理特徵點fr之示意圖。偵測單元130將所有的參考像素Pr均進行判斷後，滿足上述條件之參考像素Pr即可偵測為參考紋理特徵點fr。

(2)LBP影像之區塊比對：

接著，在步驟S104中，比對單元140依據此些參考紋理特徵點fr，於目標影像It比對出對應之數個目標紋理特徵點ft。

當LBP產生單元120得到LBP參考影像LBPr與LBP目標影像LBPt，且偵測單元130偵測出參考紋理特徵點fr後，緊接著就進行LBP區塊比對來找出目標影像It的目標紋理特徵點ft可能的位置，以建構出參考紋理特徵點fr與目標紋理特徵點ft對應關係。

舉例來說，請參考第5圖，其繪示LBP區塊比對之示意圖。比對單元140於目標影像It尋找出對應於一參考紋理特徵點fr之位置(x ,y )。

接著，以位置(x ,y )為中心，在目標影像It框選出7×7搜尋範圍R。比對單元140並在參考影像Ir中，以參考紋理特徵點fr為中心框選出3×3參考比對區塊r1。比對單元140更在7×7搜尋範圍R內，以每一目標像素Pt為中心任意框選出3×3目標比對區塊r2。如此將可以框選出7×7個目標對比區塊r2(第5圖僅繪示出一個目標比對區塊r2)。

然後，比對單元140計算參考比對區塊r1與每一目標比對區塊r2的漢明距離總和。其數學式表示如下式(2)：

其中(u ,v )為移動向量，r [-1,1]，u [-3,3]，v [-3,3]。L _r (x +i ,y +j )為參考影像Ir中，座標為(x +i ,y +j )的參考像素Pr之LBP值。L _t (x +i +u ,y +j +v )為目標影像It中，座標為(x +i +u ,y +j +v )的參考像素Pt之LBP值。

當統計完7×7搜尋範圍內所有參考像素Pr與目標像素Pt之漢明距離LBP ₍ _x _, _y ₎ (u ,v )時，設定一門檻值。當漢明距離LBP ₍ _x _, _y ₎ (u ,v )小於此門檻值時，表示此參考像素Pr與此目標像素Pt之相似度夠高，則設定此目標像素Pt為目標紋理特徵點ft之候選點，最後在7×7搜尋範圍內建構出一個座標為(x ,y )之參考紋理特徵點fr與多個可能的目標紋理特徵點ft的移動向量(u ,v )的集合。

(3)絕對誤差和(SAD)之區塊比對：

接著，在步驟S105中，判斷單元150判斷每一參考紋理特徵點fr是否僅對應於一個目標紋理特徵點ft。若其中之一參考紋理特徵點fr對應於多個目標紋理特徵點ft，則進入步驟S106。

在步驟S106中，選取單元160依據參考紋理特徵點fr之亮度與此些目標紋理特徵點ft之亮度的絕對誤差和(Sum of Absolute Difference，SAD)選取其中之一目標紋理特徵點ft。

舉例來說，經過上述LBP區塊比對之後，比對單元140得到座標為(x ,y )之參考紋理特徵點fr可能對應於多個移動向量(u ,v )，而對應於多個目標紋理特徵點ft。但是最後我們只允許一個參考紋理特徵點fr對應於一個目標紋理特徵點ft(一個移動向量(u ,v ))，所以我們必須找出真正的目標紋理特徵點ft(即真正移動向量(u ,v ))。

絕對誤差和(SAD)是一個全域的搜尋法，選取單元160將可能的目標紋理特徵點ft與參考紋理特徵點fr帶入以下方程式(3)，即可得到SAD值最小的移動向量(u ^* ,v ^* )及其對應之最理想的目標紋理特徵點ft*，其座標為(x +u ^* ,y +v ^* )。

(x +u ^* ，y +v ^* )=argSAD ₍ _x _, _y ₎ (x +u ,y +v )………………………(3)

其中，上述在計算計算漢明距離的實作上，將XOR邏輯運算後的8位元值，可以直接利用查表的方式來計算1的個數。如第2圖所示，儲存單元170可以建立一個8位元的漢明距離表，其資料表大小為8×256=2,048 bits，如下表1所示：

查表單元180可以依據漢明距離表查出漢明距離。若需要計算32 bits的XOR運算，也只需要進行4次查表即可快速完成，有助於整體效能的提升。

本實施例中所使用的是區塊比對方法，因為使用的特徵經實驗證明，對於光線變化有一定的抑制能力，且實作上利用特徵點擷取方法中特徵影像的資料結構，搭配查表方式，大大的減少計算次數與一般區塊比對方法相較之下擁有較高的效能。

綜上所述，雖然本案已以實施例揭露如上，然其並非用以限定本案。本案所屬技術領域中具有通常知識者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾。因此，本案之保護範圍當視後附之申請專利範圍所界定者為準。

100．．．紋理特徵點比對系統

110．．．提供單元

120．．．LBP產生單元

130．．．偵測單元

140．．．比對單元

150．．．判斷單元

160．．．選取單元

170．．．儲存單元

180．．．查表單元

b1、b2、b3、b4、b5、b6、b7、b8．．．位元

C．．．圓

fr．．．參考紋理特徵點

ft、ft*．．．目標紋理特徵點

Ir．．．參考影像

It．．．目標影像

LBPr．．．LBP參考影像

LBPt．．．LBP目標影像

Pr、Pr0、xi．．．參考像素

Pt．．．目標像素

R．．．搜尋範圍

r1．．．參考比對區塊

r2．．．目標比對區塊

S101～S106．．．流程步驟

第1圖繪示本實施例影像之紋理特徵點比對方法之流程圖。

第2圖繪示本實施例影像之紋理特徵點比對系統之方塊圖。

第3圖繪示LBP運算示意圖。

第4圖繪示一參考像素與周遭16個參考像素之示意圖。

第5圖繪示LBP區塊比對之示意圖。

附圖1繪示數張原始影像及其LBP影像。

附圖2繪示參考紋理特徵點之示意圖。

S101～S106．．．流程步驟

Claims

一種影像之紋理特徵點比對方法，包括：接收一參考影像及一目標影像；依據該參考影像，產生一局部二元圖形(Local Binary Pattern，LBP)參考影像，並依據該目標影像產生一LBP目標影像；偵測該LBP參考影像之複數個參考紋理特徵點；以及依據該些參考紋理特徵點，於該LBP目標影像比對出對應之複數個目標紋理特徵點。
如申請專利範圍第1項所述之影像之紋理特徵點比對方法，其中在產生該LBP參考影像及該LBP目標影像之步驟中，該參考影像包括複數個參考像素，該LBP參考影像係為各個參考像素與鄰近之該些參考像素之亮度大小關係；該目標影像包括複數個目標像素，該LBP目標影像係為各個目標相素與鄰近之該些目標像素之亮度大小關係。
如申請專利範圍第1項所述之影像之紋理特徵點比對方法，其中該LBP參考影像包括複數個LBP參考像素，偵測該些參考紋理特徵點之步驟包括：依據各該LBP參考像素與鄰近之該些LBP參考像素之漢明距離(Hamming distance)，偵測該些參考紋理特徵點。
如申請專利範圍第3項所述之影像之紋理特徵點比對方法，其中各該LBP參考像素與鄰近之該些LBP參考像素之漢明距離係採用查表之方式獲得。
如申請專利範圍第1項所述之影像之紋理特徵點比對方法，其中該LBP參考影像包括複數個LBP參考像素，該LBP目標影像包括複數個LBP目標像素，比對出對應之該些目標紋理特徵點之步驟係依據該些LBP參考像素與該些LBP目標像素之漢明距離(Hamming distance)比對出對應之該些目標紋理特徵點。
如申請專利範圍第5項所述之影像之紋理特徵點比對方法，其中該些LBP參考像素與該些LBP目標像素之漢明距離係採用查表所獲得。
如申請專利範圍第1項所述之影像之紋理特徵點比對方法，更包括：判斷每一參考紋理特徵點是否僅對應於一個目標紋理特徵點；若其中之一參考紋理特徵點對應於多個目標紋理特徵點，則依據該參考紋理特徵點之亮度與該些目標紋理特徵點之亮度的絕對誤差和(Sum of Absolute Difference，SAD)選取其中之一目標紋理特徵點。
一種影像之紋理特徵點比對系統，接收一提供單元提供之一參考影像及一目標影像，包括：一局部二元圖形(Local Binary Pattern，LBP)產生單元，係依據該參考影像，產生一LBP參考影像，並依據該目標影像產生一LBP目標影像；一偵測單元，用以偵測該LBP參考影像之複數個參考紋理特徵點；以及一比對單元，係依據該些參考紋理特徵點，於該LBP目標影像尋找對應之複數個目標紋理特徵點。
如申請專利範圍第8項所述之影像之紋理特徵點比對系統，其中該參考影像包括複數個參考像素，該LBP參考影像係為各個參考像素與鄰近之該些參考像素之亮度大小關係；該目標影像包括複數個目標像素，該LBP目標影像係為各個目標相素與鄰近之該些目標像素之亮度大小關係。
如申請專利範圍第8項所述之影像之紋理特徵點比對系統，其中該LBP參考影像包括複數個LBP參考像素，該偵測單元係依據各該LBP參考像素與鄰近之該些LBP參考像素之漢明距離(Hamming distance)，偵測該些參考紋理特徵點。
如申請專利範圍第10項所述之影像之紋理特徵點比對系統，更包括：一儲存單元，用以儲存一漢明距離表；以及一查表單元，係依據該漢明距離表查出各該LBP參考像素與鄰近之該些LBP參考像素之漢明距離。
如申請專利範圍第8項所述之影像之紋理特徵點比對系統，其中該LBP參考影像包括複數個LBP參考像素，該LBP目標影像包括複數個LBP目標像素，該比對單元係依據該些LBP參考像素與該些LBP目標像素之漢明距離(Hamming distance)比對出對應之該些目標紋理特徵點。
如申請專利範圍第12項所述之影像之紋理特徵點比對系統，更包括：一儲存單元，用以儲存一漢明距離表；以及一查表單元，係依據該漢明距離表查表出該些LBP參考像素與該些LBP目標像素之漢明距離。
如申請專利範圍第8項所述之影像之紋理特徵點比對系統，更包括：一判斷單元，用以判斷每一參考紋理特徵點是否僅對應於一個目標紋理特徵點；以及一選取單元，若其中之一參考紋理特徵點對應於多個目標紋理特徵點，則該選取單元依據該參考紋理特徵點之亮度與該些目標紋理特徵點之亮度的絕對誤差和(Sum of Absolute Difference，SAD)選取其中之一目標紋理特徵點。