TWI578240B - 特徵描述方法及應用其之特徵描述器 - Google Patents

特徵描述方法及應用其之特徵描述器 Download PDF

Info

Publication number
TWI578240B
TWI578240B TW104140191A TW104140191A TWI578240B TW I578240 B TWI578240 B TW I578240B TW 104140191 A TW104140191 A TW 104140191A TW 104140191 A TW104140191 A TW 104140191A TW I578240 B TWI578240 B TW I578240B
Authority
TW
Taiwan
Prior art keywords
feature
data
dimension data
dimension
string
Prior art date
Application number
TW104140191A
Other languages
English (en)
Other versions
TW201721515A (zh
Inventor
李偉碩
高榮揚
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW104140191A priority Critical patent/TWI578240B/zh
Priority to CN201510960397.3A priority patent/CN106815589A/zh
Priority to US14/978,699 priority patent/US20170154239A1/en
Application granted granted Critical
Publication of TWI578240B publication Critical patent/TWI578240B/zh
Publication of TW201721515A publication Critical patent/TW201721515A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

特徵描述方法及應用其之特徵描述器
本揭露是有關於一種以二元化字串描述特徵區塊之特徵描述方法及應用其之特徵描述器。
特徵描述器(feature descriptor)廣泛地使用在影像辨識、三維建模、追蹤等的各式影像處理相關的應用中。特徵描述器可將偵測到的影像特徵進行描述，以供後續的比對及應用。一般而言，影像辨識需將每張影像中的特徵擷取出來，再與資料庫中的參考特徵進行比對以找出最佳的匹配目標。然而，當影像中的特徵數量越多，所需的比對時間將愈多。此外，當特徵所攜帶的資料量越大，將需要更多的記憶體空間以儲存相關的特徵描述。
因此，如何提供一種可加速特徵比對並降低特徵描述所需資料量的特徵描述方法及應用其之特徵描述器，乃目前業界所致力的課題之一。
本揭露係有關於一種特徵描述方法及應用其之特徵描述器，可產生二元化字串以描述特徵擷取演算法所取得的特徵區塊。所產生的二元化字串可用來加速特徵比對以實現即時的特徵比對。且二元化字串只占少量的資料量，故可減少記憶體空間的使用。
根據本揭露之一方面，提出一種特徵描述方法，其包括以下步驟：接收高維資料，此高維資料對應於透過特徵擷取演算法所取得的特徵區塊；自高維資料挑選多個維度資料組；對各維度資料組中的不同維度資料進行比較，以產生各維度資料組所對應的比較結果；以及依據比較結果產生二位元字串，此二位元字串用以描述特徵區塊。
根據本揭露之另一方面，提出一種特徵描述器，其包括接收器、資料選擇器、比較器以及字串產生器。接收器接收高維資料，此高維資料對應於透過特徵擷取演算法所取得的特徵區塊。資料選擇器自高維資料挑選多個維度資料組。比較器對各維度資料組中的不同維度資料進行比較，以產生各維度資料組所對應的比較結果。字串產生器依據比較結果產生二位元字串，此二位元字串用以描述特徵區塊。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
100‧‧‧特徵描述器
102‧‧‧接收器
104‧‧‧資料選擇器
106‧‧‧比較器
108‧‧‧字串產生器
110‧‧‧匹配目標搜尋器
112‧‧‧資料庫
HD‧‧‧高維資料
SS、SS1~SS32‧‧‧維度資料組
CR‧‧‧比較結果
BS‧‧‧二位元字串
RBS、RBS1~RBS3‧‧‧參考二位元字串
RFB1~RFB3‧‧‧參考特徵區塊
202、204、206、208‧‧‧步驟
I‧‧‧影像
FP‧‧‧特徵點
FB‧‧‧特徵區塊
B1~B128‧‧‧維度資料
第1圖繪示依據本揭露一實施例之特徵描述器之方塊圖。
第2圖繪示依據本揭露一實施例之特徵描述方法之流程圖。
第3圖繪示對一特徵區塊進行二元化編碼以產生相應之二位元字串之一例示意圖。
第4圖繪示利用二位元字串進行特徵比對之示意圖。
在本文中，參照所附圖式仔細地描述本發明的一些實施例，但不是所有實施例都有表示在圖示中。實際上，這些發明可使用多種不同的變形，且並不限於本文中的實施例。相對的，本揭露提供這些實施例以滿足應用的法定要求。圖式中相同的參考符號用來表示相同或相似的元件。
請參考第1圖及第2圖。第1圖繪示依據本揭露一實施例之特徵描述器100之方塊圖。第2圖繪示依據本揭露一實施例之特徵描述方法之流程圖。特徵描述器100可例如以微處理器、中央處理單元、特定目的處理器或其他運算處理電路來實現，或是由處理單元自至少一記憶體裝置讀取至少一可讀取程式碼來實現。
特徵描述器100主要包括接收器102、資料選擇器104、比較器106以及字串產生器108。在步驟202，接收器102接收高維資料HD，高維資料HD係對應於透過特徵擷取演算法所取得的特徵區塊(patch)。特徵擷取演算法可以是尺度不變特徵轉換(Scale-Invariant Feature Transform,SIFT)演算法、SURF (Speeded Up Robust Features,SURF)演算法等。
在步驟204，資料選擇器104自高維資料HD挑選多個維度資料組SS。各維度資料組SS例如包括高維資料HD中至少兩個不同維度的維度資料。在一實施例中，資料選擇器104可以隨機方式挑選高維資料HD中的維度資料以產生該些維度資料組SS。又一實施例中，資料選擇器104可以一預設順序挑選高維資料HD中的維度資料以產生該些維度資料組SS。
在步驟206，比較器106對各維度資料組SS中的不同維度資料進行比較，以產生各維度資料組SS所對應的比較結果CR。
在步驟208，字串產生器108依據比較結果CR產生二位元字串BS，此二位元字串BS係用來描述所述之特徵區塊。簡言之，本揭露實施例之特徵描述器100可對不同維度資料的比較結果CR進行二元化編碼，並以所產生的二位元字串BS描述特徵擷取演算法所取得的特徵區塊。
在一實施例中，如第1圖所示，特徵描述器100更包括匹配目標搜尋器110。匹配目標搜尋器110可比較二位元字串BS與預存於資料庫112中的參考二位元字串RBS，以判斷二位元字串BS所描述的特徵區塊與參考二位元字串RBS所描述的參考特徵區塊是否匹配。在一實施例中，匹配目標搜尋器110可依據二位元字串BS與參考二位元字串RBS間的漢明距離(Hamming Distance)來判斷特徵區塊與參考特徵區塊是否匹配。 匹配目標搜尋器110可例如對二位元字串BS與參考二位元字串RBS執行XOR運算以決定兩者間的漢明距離。一般來說，當二位元字串BS與參考二位元字串RBS間的漢明距離越小，表示兩者相似度越高。當兩者相似度高至某一程度，表示特徵區塊與參考特徵區塊匹配。此時，當參考特徵區塊的資料內容為已知，特徵區塊的資料內容將可被識別出來。
第3圖繪示對一特徵區塊FB進行二元化編碼以產生相應之二位元字串BS之一例示意圖。在第3圖的例子中，特徵點FP係擷取自影像I。特徵點FP例如是影像I中圖像的輪廓、尖角、斑點等明顯突出的部分。特徵點FP可經由各種特徵擷取演算法而被偵測出來。
特徵區塊FB例如包括特徵點FP周圍的m×n個(如16×16個)像素。在第3圖的例子中，特徵區塊FB被分成p×q個(如4×4個)子區塊。藉由統計各子區塊中的像素資料，即可產生對應的高維資料HD。高維資料HD例如是以直方圖(histogram)表示，直方圖中的各直條分別代表不同維度的資料。舉例來說，藉由統計一子區塊(如特徵區塊FB中的左上區塊)中像素資料沿著8個不同方向的梯度值，即可產生對應的8個維度資料B1~B8。因此，16個子區塊係對應16×8(=128)個維度資料B1~B128，如第3圖所示。須注意本揭露並不以此為限，高維資料HD亦可依據其他的統計參數來定義其不同的維度資料。
在一實施例中，可隨機選取兩不同維度的維度資料 進行比較，並依據比較結果決定二位元字串BS之一位元的位元值(如「0」或「1」)。如第3圖所示，係自高維資料HD選出32個維度資料組SS1~SS32，各維度資料組SS1~SS32分別包括一第一維度資料與一第二維度資料。舉例來說，維度資料組SS1包括隨機選出的第一維度資料B2與第二維度資料B10；維度資料組SS2包括隨機選出的第一維度資料B16與第二維度資料B5；維度資料組SS32包括隨機選出的第一維度資料B1與第二維度資料B127。
在一實施例中，比較器106可比較第一維度資料與第二維度資料的大小，以決定二位元字串BS之一位元的位元值。舉例來說，可定義當第一維度資料大於第二維度資料，則輸出第一位元值(例如「1」)；當第一維度資料小於第二維度資料，則輸出第二位元值(例如「0」)。如第3圖所示，由於維度資料組SS1中第一維度資料B2大於第二維度資料B10，故決定二位元字串BS第一個位元的位元值為「1」。類似地，由於維度資料組SS2中第一維度資料B16小於第二維度資料B5，故決定二位元字串BS中第二個位元的位元值為「0」，以此類推。
透過上述機制，可將原本包括128個維度資料B1~B128的高維資料HD，化簡為32位元的二位元字串BS。因此，原本由高維資料HD所描述的特徵區塊FB，係改由長度為32位元的二位元字串BS來描述，如此不僅方便快速比對，更可大幅降低特徵描述所需的資料量。
在部分實施例中，可按照一預定順序/規則來選取維 度資料作比較以決定二位元字串BS的位元值。舉例來說，比較器106可比較各維度資料與其最鄰近的維度資料的大小關係以決定二位元字串BS中至少一位元的位元值。例如，一個維度資料組SS中可包括第一維度資料與第二維度資料，其中第一維度資料係維度資料組SS中最鄰近於第二維度資料的維度資料(以第3圖中的三個維度資料B1、B2、B5作說明，可視維度資料B2最鄰近於維度資料B1，維度資料B5較遠離維度資料B1)。此時，比較器106可藉由比較第一維度資料與第二維度資料以決定二位元字串BS之一位元的位元值。比較器106可進一步將維度資料組SS中最後一筆維度資料與第一筆維度資料作比較以決定二位元字串BS之一位元的位元值，藉此形成一個循環(cycle)。
或者，比較器106可將各維度資料與其前面K筆(例如5筆)維度資料的平均值作比較，以決定二位元字串BS之一位元的位元值。舉例來說，當選取N筆維度資料作為一維度資料組SS以決定二位元字串BS之一位元的位元值，比較器106可將此N筆維度資料中的第N筆維度資料與其前K筆資料的平均值作比較，以決定該位元之位元值，其中N、K為正整數，K小於N。
第4圖繪示利用二位元字串BS進行特徵比對之示意圖。如第4圖所示，資料庫112預存參考特徵區塊RFB1、RFB2及RFB3所分別對應的參考二位元字串RBS1、RBS2及RBS3。所述之參考特徵區塊RFB1、RFB2及RFB3例如是已知的特徵圖樣，像是標誌圖片或其他特徵截圖。參考二位元字串RBS1、RBS2 及RBS3係參考特徵區塊RFB1、RFB2及RFB3經前述之二元化特徵描述機制而產生的二元化字串。在第4圖中，匹配目標搜尋器110可將二位元字串BS與各參考特徵區塊RFB1、RFB2及RFB3所對應的參考二位元字串RBS1、RBS2及RBS3一一進行比對，例如計算漢明距離，以判斷二位元字串BS所對應特徵區塊FB係對應於哪一個參考特徵區塊。舉例來說，當判斷二位元字串BS與參考二位元字串RBS1的漢明距離最小，可視二位元字串BS與參考二位元字串RBS1為匹配，此時可辨識出特徵區塊FB的內容係對應參考特徵區塊RBS1。
綜上所述，本揭露所提供之特徵描述方法及應用其之特徵描述器，可產生二元化字串以描述特徵擷取演算法所取得的特徵區塊。所產生的二元化字串可用來加速特徵比對，且二元化字串只需占少量的資料量，故可減少記憶體空間的使用。
雖然本揭露已以較佳實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
202、204、206、208‧‧‧步驟

Claims (16)

  1. 一種特徵描述方法，包括：接收一高維資料，該高維資料對應於透過一特徵擷取演算法所取得的一特徵區塊；自該高維資料挑選複數個維度資料組；對各該維度資料組中的不同維度資料進行比較，以產生各該維度資料組所對應的一比較結果；以及依據該些比較結果產生一二位元字串，該二位元字串用以描述該特徵區塊；其中該些維度資料組之一包括一第一維度資料與一第二維度資料，該特徵描述方法更包括：比較該第一維度資料與該第二維度資料的大小，以決定該二位元字串之一位元的位元值。
  2. 如申請專利範圍第1項所述之特徵描述方法，其中該第一維度資料係該些維度資料組之該者中最鄰近於該第二維度資料的維度資料。
  3. 如申請專利範圍第1項所述之特徵描述方法，其中該第一維度資料係該些維度資料組之該者中的第一筆維度資料，該第二維度資料係該些維度資料組之該者中的第二筆維度資料。
  4. 如申請專利範圍第1項所述之特徵描述方法，更包括：以隨機方式挑選該高維資料中的維度資料以產生該些維度資料組。
  5. 如申請專利範圍第1項所述之特徵描述方法，更包括：以一預設順序挑選該高維資料中的維度資料以產生該些維度資料組。
  6. 如申請專利範圍第1項所述之特徵描述方法，更包括：比較該二位元字串與一參考二位元字串，以判斷該二位元字串所描述的該特徵區塊與該參考二位元字串所描述的一參考特徵區塊是否匹配。
  7. 如申請專利範圍第6項所述之特徵描述方法，更包括：依據該二位元字串與該參考二位元字串間的漢明距離(Hamming distance)，判斷該特徵區塊與該參考特徵區塊是否匹配。
  8. 如申請專利範圍第6項所述之特徵描述方法，更包括：對該二位元字串與該參考二位元字串間執行XOR運算，以取得該二位元字串與該參考二位元字串間的漢明距離。
  9. 一種特徵描述器，包括：一接收器，接收一高維資料，該高維資料對應於透過一特徵擷取演算法所取得的一特徵區塊；一資料選擇器，自該高維資料挑選複數個維度資料組；一比較器，對各該維度資料組中的不同維度資料進行比較，以產生各該維度資料組所對應的一比較結果；以及一字串產生器，依據該些比較結果產生一二位元字串，該二位元字串用以描述該特徵區塊； 其中該些維度資料組之一包括一第一維度資料與一第二維度資料，該比較器比較該第一維度資料與該第二維度資料的大小，以決定該二位元字串之一位元的位元值。
  10. 如申請專利範圍第9項所述之特徵描述器，其中該第一維度資料係該些維度資料組之該者中最鄰近於該第二維度資料的維度資料。
  11. 如申請專利範圍第9項所述之特徵描述器，其中該第一維度資料係該些維度資料組之該者中的第一筆維度資料，該第二維度資料係該些維度資料組之該者中的第二筆維度資料。
  12. 如申請專利範圍第9項所述之特徵描述器，其中該資料選擇器以隨機方式挑選該高維資料中的維度資料以產生該些維度資料組。
  13. 如申請專利範圍第9項所述之特徵描述器，其中該資料選擇器以一預設順序挑選該高維資料中的維度資料以產生該些維度資料組。
  14. 如申請專利範圍第9項所述之特徵描述器，更包括：一匹配目標搜尋器，比較該二位元字串與一參考二位元字串，以判斷該二位元字串所描述的該特徵區塊與該參考二位元字串所描述的一參考特徵區塊是否匹配。
  15. 如申請專利範圍第14項所述之特徵描述器，其中該匹配目標搜尋器依據該二位元字串與該參考二位元字串間的漢明距離(Hamming distance)，判斷該特徵區塊與該參考特徵區塊是否匹 配。
  16. 如申請專利範圍第14項所述之特徵描述器，其中該匹配目標搜尋器對該二位元字串與該參考二位元字串間執行XOR運算，以取得該二位元字串與該參考二位元字串間的漢明距離。
TW104140191A 2015-12-01 2015-12-01 特徵描述方法及應用其之特徵描述器 TWI578240B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104140191A TWI578240B (zh) 2015-12-01 2015-12-01 特徵描述方法及應用其之特徵描述器
CN201510960397.3A CN106815589A (zh) 2015-12-01 2015-12-18 特征描述方法及应用其的特征描述器
US14/978,699 US20170154239A1 (en) 2015-12-01 2015-12-22 Method for feature description and feature descriptor using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104140191A TWI578240B (zh) 2015-12-01 2015-12-01 特徵描述方法及應用其之特徵描述器

Publications (2)

Publication Number Publication Date
TWI578240B true TWI578240B (zh) 2017-04-11
TW201721515A TW201721515A (zh) 2017-06-16

Family

ID=58777955

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104140191A TWI578240B (zh) 2015-12-01 2015-12-01 特徵描述方法及應用其之特徵描述器

Country Status (3)

Country Link
US (1) US20170154239A1 (zh)
CN (1) CN106815589A (zh)
TW (1) TWI578240B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960760A (zh) * 2019-03-26 2019-07-02 北京字节跳动网络技术有限公司 特征描述信息的获取方法、装置及其相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200744020A (en) * 2006-05-23 2007-12-01 Academia Sinica Method and device for feature-extraction and matching of digitized images
TW200930107A (en) * 2007-12-31 2009-07-01 Altek Corp Apparatus and method of recognizing feature pixels of an image
WO2014015889A1 (en) * 2012-07-23 2014-01-30 Metaio Gmbh Method of providing image feature descriptors
US8655029B2 (en) * 2012-04-10 2014-02-18 Seiko Epson Corporation Hash-based face recognition system
TW201415379A (zh) * 2012-07-27 2014-04-16 Hitachi High Tech Corp 匹配處理裝置、匹配處理方法及使用彼之檢查裝置
US20140169681A1 (en) * 2012-12-13 2014-06-19 Canon Kabushiki Kaisha Method, apparatus and system for generating a feature vector

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8620034B2 (en) * 2011-03-31 2013-12-31 Raytheon Company System and method for biometric identification using ultraviolet (UV) image data
WO2014023641A1 (en) * 2012-08-09 2014-02-13 Sony Corporation Refinement of a disparity or motion map based on user interaction
EP2953064B1 (en) * 2013-02-01 2022-07-06 Fujitsu Limited Information conversion method, information conversion device, and information conversion program
CN103440292B (zh) * 2013-08-16 2016-12-28 新浪网技术(中国)有限公司 基于比特向量的多媒体信息检索方法和系统
CN103679136B (zh) * 2013-10-24 2017-12-05 北方工业大学 基于局部宏观特征和微观特征结合的手背静脉身份识别方法
CN103714122A (zh) * 2013-12-06 2014-04-09 安徽大学 一种基于局部分块二进制编码特征的图像检索方法
CN103729654A (zh) * 2014-01-22 2014-04-16 青岛新比特电子科技有限公司 基于改进sift算法的图像匹配检索系统
CN104268602A (zh) * 2014-10-14 2015-01-07 大连理工大学 一种基于二进制特征匹配的遮挡工件识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200744020A (en) * 2006-05-23 2007-12-01 Academia Sinica Method and device for feature-extraction and matching of digitized images
TW200930107A (en) * 2007-12-31 2009-07-01 Altek Corp Apparatus and method of recognizing feature pixels of an image
US8655029B2 (en) * 2012-04-10 2014-02-18 Seiko Epson Corporation Hash-based face recognition system
WO2014015889A1 (en) * 2012-07-23 2014-01-30 Metaio Gmbh Method of providing image feature descriptors
TW201415379A (zh) * 2012-07-27 2014-04-16 Hitachi High Tech Corp 匹配處理裝置、匹配處理方法及使用彼之檢查裝置
US20140169681A1 (en) * 2012-12-13 2014-06-19 Canon Kabushiki Kaisha Method, apparatus and system for generating a feature vector

Also Published As

Publication number Publication date
TW201721515A (zh) 2017-06-16
CN106815589A (zh) 2017-06-09
US20170154239A1 (en) 2017-06-01

Similar Documents

Publication Publication Date Title
Levi et al. Emotion recognition in the wild via convolutional neural networks and mapped binary patterns
Cai et al. Learning meta pattern for face anti-spoofing
Nosaka et al. Feature extraction based on co-occurrence of adjacent local binary patterns
CN108595710B (zh) 一种快速的海量图片去重方法
US20140226906A1 (en) Image matching method and apparatus
US20130343654A1 (en) Generating a binary descriptor representing an image patch
JP2017516133A (ja) 等高線暗号化および復号
Liao et al. IR feature embedded bof indexing method for near-duplicate video retrieval
Deng et al. Deep multi-scale discriminative networks for double JPEG compression forensics
Mantecón et al. Visual face recognition using bag of dense derivative depth patterns
CN109697240B (zh) 一种基于特征的图像检索方法及装置
TW201712604A (zh) 圖像條碼編碼方法、圖像條碼解碼方法、圖像條碼編碼裝置及圖像條碼解碼裝置
TWI578240B (zh) 特徵描述方法及應用其之特徵描述器
CN112948895A (zh) 数据的水印嵌入方法、水印溯源方法及装置
Chan On using LSB matching function for data hiding in pixels
Karsh et al. Perceptual robust and secure image hashing using ring partition-PGNMF
Gui et al. Steganalysis of LSB matching based on local binary patterns
JP2015007919A (ja) 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法
CN105224619B (zh) 一种适用于视频/图像局部特征的空间关系匹配方法及系统
Liu et al. Video copy detection by conducting fast searching of inverted files
CN104462503B (zh) 确定数据点的相似度的方法
Slaby et al. Compression methods for image processing implementation into the low capacity device
JP2014225168A (ja) 特徴点集合で表される画像間の類似度を算出するプログラム、装置及び方法
Chalamala et al. Local binary patterns for digital image watermarking
JP2015191568A (ja) 画像認識装置、画像認識方法及びプログラム