TWI532012B - 基於梯度直方圖轉換圖像描述符之方法及相對的圖像處理裝置 - Google Patents

基於梯度直方圖轉換圖像描述符之方法及相對的圖像處理裝置 Download PDF

Info

Publication number
TWI532012B
TWI532012B TW102123706A TW102123706A TWI532012B TW I532012 B TWI532012 B TW I532012B TW 102123706 A TW102123706 A TW 102123706A TW 102123706 A TW102123706 A TW 102123706A TW I532012 B TWI532012 B TW I532012B
Authority
TW
Taiwan
Prior art keywords
histogram
gradient
sub
descriptor
image
Prior art date
Application number
TW102123706A
Other languages
English (en)
Other versions
TW201407542A (zh
Inventor
史塔羅斯 帕斯查拉基司
米羅斯洛 包柏
Original Assignee
西斯維爾科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 西斯維爾科技公司 filed Critical 西斯維爾科技公司
Publication of TW201407542A publication Critical patent/TW201407542A/zh
Application granted granted Critical
Publication of TWI532012B publication Critical patent/TWI532012B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Description

基於梯度直方圖轉換圖像描述符之方法及相對的圖像處理裝置
本發明係關於對穩鍵、有辨別力、可擴縮及緊湊型圖像描述符之計算。
更特定而言，本發明係關於藉由計算圖像興趣點周圍之局部區域內之子區域之梯度直方圖在該等局部區域中計算出之圖像描述符。
圖像描述符已在包括物件識別、基於內容之圖像檢索及圖像配準等等中廣泛應用。此類圖像描述符之最廣為人知的實例之一係尺度不變特徵轉換(SIFT)描述符。
簡單地說，根據SIFT方法，按下述方式形成局部圖像描述符：首先，執行跨多個圖像尺度及位置之一搜尋以識別並定域尺度及定向不變之穩定圖像關鍵點；然後，針對每一關鍵點，基於局部圖像梯度判定一或多個主要定向，以允許相對於每一關鍵點之所指派定向、尺度及位置執行後續局部描述符計算，從而達成此等轉換之不變性。
然後，按下述方式形成關鍵點周圍之局部圖像描述符：首先，在該關鍵點周圍之一區域中之圖像樣本點處計算梯度量值及定向資訊；然後，將此等樣本累加成歸納n×n個子區域上之內容之定向直方圖。
僅以圖解說明方式，圖1a及圖1b中展示一關鍵點描述符之一實例，其中圖1a展示分為4×4個子區域SR之局部區域R之一細分且圖1b 展示針對每一定向直方圖h分為八個組格h之360°範圍之定向之一細分，其中每一箭頭之長度對應於彼直方圖項目之量值。
因此，如圖1a中所圖解說明之一局部圖像描述符具有4×4×8=128個元素。SIFT方法更詳細呈現於David G.Lowe，「來自尺度不變關鍵點之區別性圖像特徵」，國際電腦視覺期刊，第2期(2004年)，第60卷，第91-110頁中。
存在採用用於偵測穩定圖像關鍵點之不同機制、細分關鍵點周圍之局部區域之不同方法及計算子區域梯度直方圖之不同方法之SIFT方法之若干替代形式及變化形式。
例如，圖2a及圖2b分別展示為比如K.Mikolajczyk及C.Schmid，「局部描述符之效能評估」，IEEE模式分析及機器智慧會報第27卷(第10期)：第1615-1630頁中所述之梯度位置定向直方圖(GLOH)及Chandrasekhar等人，「經壓縮梯度直方圖：低位速率描述符」，國際電腦視覺期刊，2011年5月，第5期，第94卷中所述之未經壓縮梯度直方圖(UHoG)之其他技術特有之對數極坐標空間子區域，作為SIFT方法中所採用之笛卡兒空間細分之替代形式。
作為另一實例，圖3展示為UHoG特有之用於基於分為若干組格之梯度之x及y分量之2維空間之一細分來計算梯度直方圖之方法，作為SIFT方法中所採用之分為若干組格之360°範圍之梯度定向之細分之一替代形式。
此處考量上述先前技術僅為舉例說明產生本發明基於其執行對穩鍵、有辨別力、可擴縮及緊湊型圖像描述符之計算之圖像描述符之技術。
儘管此等圖像描述符已在先前所述之諸多電腦視覺應用中得到廣泛應用，但其儲存及傳輸成本(由其位元組大小界定)通常在某些應用領域中被認為很高。這是因為，儘管針對一圖像中之一關鍵點之 一局部圖像描述符之大小可能相對較小，但整個圖像描述符將包含數百個此類關鍵點及相關聯局部描述符，從而意謂整個圖像描述符可具有比得上該整個圖像描述符自其提取之實際圖像之一JPEG壓縮版本之一大小。
其中此級別之描述符大小被認為成問題之一個此類應用領域係使用行動終端之視覺搜尋。儘管不同架構在此應用領域中可行，但一種典型架構需要由諸如一行動電話之一行動終端用戶端捕獲一感興趣物件之一圖像、由該用戶端自動提取一圖像描述符及經由一無線通信網路將該圖像描述符傳輸至將處理該圖像描述符並提供諸如關於該感興趣物件之身分識別或額外資訊之一適當回應之一伺服器以及將該回應傳回至該用戶端。因此，很顯然，需要使經由該無線網路自該用戶端傳輸至該伺服器之資訊量最小化。為利於此等應用，已存在此等圖像描述符之壓縮方面的大量開發工作。
針對壓縮基於梯度之關鍵點描述符之一直方圖之最簡單方法係藉由純量量化直方圖組格值，此意謂減少用於個別表示每一組格值之位元數目。實際上，此方法因其難以在不顯著損害描述符之辨別力之情況下達成非常高的壓縮率而不常用。例如，用八個位元每組格編碼SIFT描述符直方圖係常用的，但導致其位元組大小通常被認為太大而無法經由無線網路傳輸之圖像描述符。另一方面，對僅幾個(例如僅一或兩個)位元每組格之純量量化已發現損害圖像描述符之辨別力。
因此，已提出更複雜的壓縮方案。此等方案之一概述呈現於V.Chandrasekhar等人，「SIFT壓縮方案之綜述」，2010年8月，土耳其，伊斯坦布爾，國際模式識別會議(ICPR)之會刊中。
簡單地說，據此藉由將組格值映射至有限數目個代表性向量質心中之一者來共同量化組格值之以向量量化為中心的方案已特別受歡迎且以諸如樹狀結構及產品向量量化之各種形式加以研究。此等方法 之缺點在於其需要一相對較高的計算複雜度以及對儲存其數目可介於自數千至數百萬之範圍且對其之判定亦需要一計算複雜訓練階段之質心之從數百位元組到幾兆位元組或以上之相當高的記憶體要求。
亦已充分研究據此藉由在含有所有可能輸入向量之空間內形成一均勻類型點陣並針對任一既定輸入向量藉由最接近於其之類型之指標對其進行編碼來再次共同量化組格值之以類型寫碼為中心的方案。此等方法之記憶體要求與向量量化方法相比減少，但亦已發現，所得壓縮描述符在高壓縮率下之識別效能方面無法與向量量化描述符相提並論。總的來說，與類型寫碼相關聯之計算成本顯著高於簡單純化量化之計算成本。
其他壓縮方案對關鍵點描述符(例如128維SIFT關鍵點描述符)利用諸如PCA之已知維度縮減方法，然後對所得維度進行純量量化。此等方法之一關鍵問題在於其需要高計算複雜度及過度訓練之一高風險。
總之，壓縮基於梯度之描述符之直方圖及產生穩鍵、有辨別力、可擴縮及緊湊型圖像描述符之現有方法展現某些缺點。
諸如對描述符元素進行純量量化之一簡單方法具有非常低的計算複雜度及記憶體要求之優點，但已發現損害高壓縮率下之描述符之辨別力。
更複雜的方法已被證明能夠達成高壓縮率下之較佳效能，但具有不同的缺點。向量量化方法已顯著增加計算複雜度及記憶體要求。類型寫碼方法需要增加之複雜度且，雖然不受向量量化方法之記憶體要求拖累，但亦已發現與此等方法相比表現不佳。此外，向量量化方法及類型寫碼方法皆不很適合於壓縮域中之維度縮減。基於已知維度縮減技術(諸如PCA)之方法亦已採用，但亦具有高計算複雜度及過度訓練之一高風險。
因此，本發明之一目的係指示一種用於基於一梯度直方圖轉換一圖像描述符從而允許縮減該圖像描述符之大小之方法。
本發明之另一目的係指示一種用於基於一梯度直方圖轉換一圖像描述符從而允許減少其儲存及傳輸(特定而言在行動終端應用中經由一無線網路)之成本之方法。
本發明之另一目的係指示一種用於基於一梯度直方圖轉換一圖像描述符從而允許縮減由與環繞一圖像關鍵點之子區域相關之複數個梯度直方圖構成之一圖像描述符之大小之方法。
本發明之此等及其他目的係經由如作為本說明之一組成部分之隨附申請專利範圍中所請求之用於基於一梯度直方圖轉換一圖像描述符之一方法及一相對的圖像處理裝置來達成。
綜合而言，本發明係關於基於對梯度直方圖之轉換採用該等梯度直方圖對來自圖像描述符之穩鍵、有辨別力、可擴縮及緊湊型圖像描述符之計算，其中該轉換捕獲以分佈之形狀及其組格值之間的關係之形式含於其中之顯著及穩鍵資訊。更特定而言，本發明藉由計算對應於直方圖組格之間的關係之值來轉換梯度直方圖。
根據本發明之方法亦關於基於處理與環繞一圖像關鍵點之子區域相關之梯度直方圖之不同方法對穩鍵、有辨別力、可擴縮及緊湊型圖像描述符之計算。
本發明之進一步特徵陳述於意欲作為本說明之一組成部分之隨附申請專利範圍中。
以實例方式而無任何限制，本發明之態樣呈現用於自一圖像描述符(特定而言，如圖4中所圖解說明之一SIFT圖像描述符)計算穩鍵、有辨別力、可擴縮及緊湊型圖像描述符，其中圖4a圖解說明分為4×4個子區域SR之局部區域R之一實例性細分且圖4b圖解說明一子區域之一實例性8組格梯度直方圖。
設h以若干組格h i 表示圖4b之梯度直方圖，其中i為組格指標，其中i=0...n-1。根據本發明之一梯度直方圖轉換計算對應於梯度直方圖組格之間的關係之值v j 。
可根據其位置或接近度(其在圖4b之梯度直方圖之情況下轉譯為其角度分離)來選擇計算對應於其之間的關係之值之組格。
以對應於梯度直方圖組格之間的關係之值之實例方式，如下面的(1)中所示之相鄰組格差捕獲該直方圖之整體形狀及極值位置。
v 0=h 0-h 1 v 1=h 1-h 2 v 2=h 2-h 3 v 3=h 3-h 4 v 4=h 4-h 5 v 5=h 5-h 6 v 6=h 6-h 7 v 7=h 7-h 0 (1)
對應於具有如下面的(2)中所示之90°或更特定而言當梯度直方圖特性及組格粒度允許時在90°限度內之一角差之梯度之組格之間的差捕獲關於彼此呈實質直角之梯度之間的關係之資訊。
v 0=h 0-h 2 v 1=h 1-h 3 v 2=h 2-h 4 v 3=h 3-h 5 v 4=h 4-h 6 v 5=h 5-h 7 v 6=h 6-h 0 v 7=h 7-h 1 (2)
對應於具有如下面的(3)中所示之180°或更特定而言當梯度直方圖特性及組格粒度允許時在180°限度內之一角差之梯度之組格之間的差捕獲關於定向內(諸如水平定向內及垂直定向內)之梯度之間的關係之重要高層次資訊。
v 0=h 0-h 4 v 1=h 1-h 5 v 2=h 2-h 6 v 3=h 3-h 7 (3)
下面的(4)中所示之函數組合多於兩個梯度組格並捕獲關於特定定向之間的梯度之關係(諸如沿任何一個方向之水平梯度與沿任何一個方向之垂直梯度之間的關係)之資訊。
v 0=(h 0+h 4)-(h 2+h 6) v 1=(h 1+h 5)-(h 3+h 7) (4)
下面的(5)中所示之函數組合梯度直方圖之所有組格以產生代表整個直方圖之形狀之有辨別力值。
v 0=(h 0+h 2+h 4+h 6)-(h 1+h 3+h 5+h 7) v 1=(h 0+h 1+h 2+h 3)-(h 4+h 5+h 6+h 7) (5)
亦可根據不同準則來選擇計算對應於其之間的關係之值之組格。例如，亦可選擇計算對應於其之間的關係之值之組格以便提高所得值之辨別力。例如，此等函數可採取下面的(6)中所示之函數之形式。
v 0=(h 0+h 2+h 4+h 6)-(h 1+h 3+h 5+h 7) v 1=(h 0+h 1+h 2+h 3)-(h 4+h 5+h 6+h 7) v 2=(h 0+h 4)-(h 2+h 6) v 3=(h 1+h 5)-(h 3+h 7) (6)
作為另一實例，可經由一隨機選擇程序來選擇計算對應於其之 間的關係之值之組格。此等函數之實例展示於下面的(7)中
v 0=2h 0-h 3-h 6 v 1=h 0+h 1+h 5-3h 7 (7)
作為一直方圖轉換之另一實例，下面的(8)中所示之函數集構成據此v 7作為代表總直方圖計數之一值之一可逆轉換。
v 0=h 0-h 1 v 1=h 1-h 2 v 2=h 2-h 3 v 3=h 3-h 4 v 4=h 4-h 5 v 5=h 5-h 6 v 6=h 6-h 7 v 7=h 0+h 1+h 2+h 3+h 4+h 5+h 6+h 7 (8)
(1)至(8)之函數展示計算為組格之間的和或差或組格之和之間的差之梯度直方圖組格之間的關係，但此並非係限制性的且可採用不同線性或非線性運算，諸如組格之間的比率或組格之和之間的比率或組格之乘積之間的比率或組格之乘積之間的差等等。
一般而言，可藉由計算對應於梯度直方圖組格之間的關係之值v j 轉換一梯度直方圖，對該等梯度直方圖組格之選擇取決於諸如其接近度或所得值之辨別力之一或多個準則或其準則之一組合。
此外，當根據其接近度來選擇組格時，可藉由下述方式轉換一梯度直方圖：例如基於僅如同在(1)中一樣相鄰組格之間的關係或基於僅如同在(3)中一樣180°分離組格之間的關係等等來計算對應於展現一單個角度分離之梯度直方圖組格之間的關係之值v j 。另一選擇為，亦可藉由下述方式來轉換一梯度直方圖：例如基於如(1)中所示之某些關係、如(2)中所示之某些關係等等來計算對應於展現複數個 角度分離之梯度直方圖組格之間的關係之值v j 。總的來說，該轉換選擇程序相當重要，因為其根據與梯度直方圖之維度n相對照之所得經轉換描述符之維度k(其可由k=n或k<n或k>n彼此相關)使一特定類型之資訊之量與不同類型之資訊之混合物相平衡。
在下文中，自一梯度直方圖h之轉換計算之值v j (其中j=0...k-1)將統稱為k個元素之經轉換梯度直方圖描述符v。
如先前所見，一單個圖像描述符H可包含多個梯度直方圖h p ，每一梯度直方圖h p 對應於圖像關鍵點KP周圍之局部區域R之一子區域SR。圖4a圖解說明分為4×4個子區域SR之局部區域R之細分之一實例，每一子區域SR由一梯度直方圖h p 描述。可藉由如上文所述將每一子區域SR之梯度直方圖個別轉換為一經轉換梯度直方圖描述符v p 將此一圖像描述符轉換為一新的圖像描述符V。
上文所述之梯度直方圖轉換程序在產生一緊湊型圖像描述符方面具有眾多優點。一第一優點在於經由對轉換之適當選擇，上文所述之程序使得能夠例如藉由以先前所示之(3)及(4)之經組合之六個元素替換八個梯度組格使用少於原始梯度直方圖之元素來編碼一梯度直方圖之顯著形狀特性及有辨別力資訊，從而導致仍然在建立或驗證視覺對應方面很成功之一較小圖像描述符並達成一高識別效能。
另一優點在於，不同於原始梯度直方圖，經轉換梯度直方圖適合於藉由據此將每一描述符元素量化為僅幾個位元甚至低到一或兩個位元之簡單粗純量量化來壓縮，該簡單粗純量量化實際上僅提供對特定梯度之間的關係或特定組格相對於其他特定組格之優勢之一粗量測。然而，該粗量測仍然提供在建立或驗證視覺對應方面成功之一穩鍵且有辨別力緊湊型圖像描述符並在相同純量量化條件下並且在諸如向量量化及類型寫碼之更複雜壓縮方案下達成高於基於原始梯度直方圖之描述符之識別效能。
舉例而言，使用純量量化，將值v j 個別量化為q個位準，例如，其中q=2或q=3或q=4等等，但此並非係限制性的且可使用不同量化位準數目以達成所得描述符中之所期望緊湊性。此量化可藉由比較每一值v j 之值與一組臨限值來執行。存在用於決定量化臨限值之眾多選項。量化臨限值可例如藉由對每一v j 之動態範圍之均勻劃分來判定。另一選擇為，量化臨限值可經設定以達成該q個量化位準之間的一特定長期值分佈，例如一均勻分佈。此外，量化臨限值可對於在所有子區域SR中所計算出之所有值v j 相同，或者其可對於跨所有子區域SR之同一指標j相同，或者，其可對於跨所有j之每一子區域SR相同，或者其可對於每一子區域SR及每一指標j不同。
因此，上文所述之梯度直方圖轉換程序因整體計算複雜度及記憶體要求之相關聯減少而免除對諸如先前所見之方案之複雜壓縮方案之需要，同時達到類似或得到改良之效能特性。
一作為結果的第三優點在於經轉換梯度直方圖描述符之維度不僅在壓縮之前而且在壓縮之後係高度可擴縮的，且若一應用或傳輸通道特性需要則可容易藉由簡單地排除其個別量化元素中之一或多者來加以進一步縮減，而此不容易藉助諸如向量量化或類型寫碼之更複雜壓縮技術達成。
同時，如上文所述對每一子區域之梯度直方圖之個別轉換及壓縮係非常有利的，此乃因若需要則其藉由簡單地排除該等經個別轉換及量化子區域直方圖中之一或多者來促進整個經轉換圖像描述符之可擴縮性。
然而，亦必須強調，上文所述之經轉換梯度直方圖描述符與先前所述之更複雜壓縮方案或適用於基於梯度之描述符之原始直方圖之任何壓縮方案不相容且若需要其仍可與任何此類壓縮方案結合使用。
如先前所見，基於梯度之圖像描述符H之一單個直方圖可包含多 個梯度直方圖h p ，每一梯度直方圖h p 對應於圖像關鍵點KP周圍之局部區域R之一子區域SR且此一圖像描述符H可如上文所述藉由對每一子區域SR之梯度直方圖之個別轉換來加以轉換。更特定而言，可以相同於其他子區域梯度直方圖之一方式轉換每一子區域梯度直方圖，但另一選擇為，可不同於其他子區域梯度直方圖地轉換至少一個子區域梯度直方圖。
例如，在不同於其他子區域直方圖地轉換某些子區域直方圖之背景下，可在該圖像描述符轉換程序中強加任一梯度直方圖之轉換函數必須至少部分地不同於用於其空間相鄰梯度直方圖中之至少一些梯度直方圖中之轉換函數之一要求。此圖解說明於圖5中。
更特定而言，圖5涉及彼此完全不同或部分不同之轉換函數集。例如，把(1)之函數視作A並把(2)之函數視作B導致完全不同函數集，而把(3)之函數及來自(1)之偶數元素視作A，並把(3)之函數及來自(1)之奇數元素視作B導致部分不同函數集。在圖5中，對子區域直方圖應用轉換函數A及B以使得針對由A(或者另一選擇為B)轉換之每一子區域直方圖，其四個水平及垂直相鄰直方圖由B(或者另一選擇為A)轉換。雖然對多個轉換函數集之此利用稍微增加實施複雜度，但其與在所有子區域直方圖中對相同轉換函數之利用相比具有一顯著優點。彼等熟習此項技術者知道，對於SIFT描述符以及基於梯度之圖像描述符之其他直方圖，相鄰梯度直方圖(特定而言，水平或垂直連接之)展現亦保持於經轉換梯度直方圖描述符中之顯著相關性。結合任一隨後的粗量化在此等相鄰直方圖中應用相同轉換導致相鄰直方圖具有相同元素之一增加機率。此問題因如上文所述對不同轉換函數之利用而得到減輕，從而增加熵及因而描述符之辨別力。
作為在不同於其他子區域直方圖地轉換某些子區域直方圖之背景下之另一實例，某些子區域之經轉換梯度直方圖描述符可包含根據 諸如相對於關鍵點周圍之區域之中心之子區域位置之某些決定因數不同於其他子區域之經轉換梯度直方圖描述符之一元素數目。
圖6圖解說明此之一項實例，其中直接環繞圖像關鍵點KP之中央四個子區域SRc如上文所述轉換為k c 個元素而十二個邊界子區域如上文所述轉換為k b 個元素，其中k c >k b 。因此，相對於整體經轉換圖像描述符，此增加中央子區域SRC之資訊內容，該等子區域SRC通常由彼等熟習此項技術者視為在建立或驗證視覺對應方面更重要。
作為在不同於其他子區域直方圖地轉換某些子區域直方圖之背景下之另一實例，可根據諸如相對於關鍵點周圍之區域之中心之子區域位置之某些決定因數不同於其他子區域之經轉換梯度直方圖描述符地壓縮某些子區域之經轉換梯度直方圖描述符。
圖7圖解說明此之一項實例，其中直接環繞圖像關鍵點KP之中央四個子區域SRc如上文所述轉換且量化為q c 個位準而十二個邊界子區域SRb如上文所述轉換且量化為q b 個位準，其中q c >q b 。因此，此提高對整體經轉換圖像描述符內之中央子區域SRc之表示精度，該等子區域SRc通常由彼等熟習此項技術者視為在建立或驗證視覺對應方面更重要。
此外，不同壓縮特性亦可根據諸如特定元素之轉換函數或其基礎統計之某些決定因數僅應用於經轉換梯度直方圖描述符之特定元素。
總的來說，諸如針對不同子區域對適當轉換函數之選擇及針對不同子區域及/或子區域元素對適當壓縮參數之選擇之因數相當重要，因為其控制描述符之資訊內容及辨別力與其複雜度及儲存/傳輸成本之間的關係。
現在藉助圖8至圖13來闡述本發明之實施例。
第一實施例
本發明之一第一實施例圖解說明於圖8中，其中藉由下述方式來處理例如根據圖4包含若干梯度直方圖h p 之一基於梯度直方圖之描述符H：藉由計算對應於根據其接近度選擇之梯度直方圖之間的關係之值來轉換每一梯度直方圖h p 以便縮減其維度。
更特定而言，在圖8中，依次處理每一直方圖h p ，其中p=0...N-1(N=16)。在步驟S100中，將p設定為0。
然後，在步驟S110中，藉由經選擇以捕獲具有一單個角度分離之組格之間的關係之一函數集(即，捕獲相鄰組格之間的關係之(9)之函數)將n個組格(n=8)之直方圖h p 轉換為k個元素(k=4)之描述符v p 。
v 0=h 0-h 1 v 1=h 2-h 3 v 2=h 4-h 5 v 3=h 6-h 7 (9)
另一選擇為，(9)之函數可由捕獲具有另一單個角度分離之組格之間的關係之不同函數(諸如捕獲分離開90°之組格之間的關係之函數或導致具有一不同元素數目k(但仍然其中k<n)一描述符v p 之函數)替換。
然後，在步驟S120中，檢查p之值且若其等於H中之最後直方圖之指標，則該程序結束，否則在步驟S130中使其遞增1且處理回到步驟S110。
因此，所得描述符V使用顯著少於H之元素來編碼H之顯著形狀特性及有辨別力資訊，從而導致在建立或驗證視覺對應方面仍很成功之一較小描述符並達成一高識別效能。
視情況，例如為將該等值映射為非負值及/或映射為一特定動態範圍，例如8位元，可適當擴縮並移位V之個別元素之值。
為判定是否已自不同圖像中之同一關鍵點提取兩個描述符並建 立圖像之間的視覺對應對所得描述符之後續處理超出本發明之範疇且可以類似於對於例如David G.Lowe，「來自尺度不變關鍵點之區別性圖像特徵」，國際電腦視覺期刊，第2期(2004年)，第60卷，第91至110頁中所述之原始梯度直方圖描述符之一方式或以任一其他適當方式進行。
第二實施例
本發明之一第二實施例圖解說明於圖9中，其中藉由下述方式來處理例如根據圖4包含若干梯度直方圖h p 之一基於梯度直方圖之描述符H：藉由計算對應於根據關於其接近度之複數個準則選擇之梯度直方圖組格之間的關係之值來轉換每一梯度直方圖h p 以便縮減其維度。
更特定而言，在圖9中，依次處理每一直方圖h p ，其中p=0...N-1(N=16)。在步驟S200中，將p設定為0。
然後，在步驟S210中，藉由經選擇以捕獲具有複數個角度分離之組格之間的關係之一函數集(即，捕獲相鄰組格之間的關係及分離開180°之組格之間的關係之(10)之函數)將n組格(n=8)之直方圖h p 轉換為k個元素(k=6)(其中k<n)之描述符v p 。
v 0=h 0-h 1 v 1=h 2-h 3 v 2=h 4-h 5 v 3=h 6-h 7 v 4=h 0-h 4 v 5=h 2-h 6 (10)
另一選擇為，(10)之函數可由捕獲具有另外複數個角度分離之組格之間的關係之不同函數，諸如捕獲分離開90°之組格之間的關係及分離開180°之組格之間的關係之函數或導致具有一不同元素數目k(但仍然其中k<n)之一描述符v p 之函數來替換。
然後，在步驟S220中，檢查p之值且若其等於H中之最後直方圖之指標，則該程序結束，否則在步驟S230中使其遞增1且處理回到步驟S210。
因此，所得描述符V使用少於H之元素來編碼H之不同類型之顯著形狀特性及有辨別力資訊，從而導致仍然在建立或驗證視覺對應方面很成功之一較小描述符並達成一高識別效能。
對所得描述符之後續處理然後可以類似於第一實施例之一方式進行。
第三實施例
本發明之一第三實施例圖解說明於圖10中，其中藉由下述方式來處理例如根據圖4包含若干梯度直方圖h p 之一基於梯度直方圖之描述符H：藉由計算對應於根據關於其接近度之複數個準則選擇之梯度直方圖組格之間的關係之值來轉換每一梯度直方圖h p 。
更特定而言，在圖10中，依次處理每一直方圖h p ，其中p=0...N-1(N=16)。在步驟S300中，將p設定為0。
然後，在步驟S310中，藉由經選擇以捕獲具有複數個角度分離之組格之間的關係之一函數集(即，(11)之函數)將n個組格(n=8)之直方圖h p 轉移為k個元素(k=8)之描述符v p 。
v 0=h 2-h 6 v 1=h 3-h 7 v 2=h 0-h 1 v 3=h 2-h 3 v 4=h 4-h 5 v 5=h 6-h 7 v 6=(h 0+h 4)-(h 2+h 6) v 7=(h 0+h 2+h 4+h 6)-(h 1+h 3+h 5+h 7) (11)
另一選擇為，(11)之函數可由捕獲具有另外複數個角度分離之組格之間的關係之不同函數或導致具有一不同元素數目k(其中k=n或k<n或k>n)之一描述符v p 之函數來替換。
然後，在步驟S320中，將k個元素之描述符v p 之每一元素個別量化為q個位準，從而賦予經量化描述符。在此實施例中，我們設定q=3，但此並非係限制性的且可使用不同量化位準數目以達成所得描述符中之所期望緊湊性，例如q=2、q=4等等。此量化可藉由比較每一元素v pj 之值與一組臨限值來執行。存在用於決定量化臨限值之眾多選項。量化臨限值可例如藉由對v pj 之動態範圍之均勻劃分來判定。另一選擇為，量化臨限值可經設定以達成該q個量化位準之間的一特定長期值分佈，例如一均勻分佈。此外，量化臨限值可對於所有元素v pj 相同，或者其可對於跨所有p之同一指標j相同，或者其可對於跨所有j之同一指標p相同，或者其可對於每一v pj 相同。
然後，在步驟S330中，檢查p之值且若其等於H中之最後直方圖之指標，則該程序結束，否則在步驟S340中使其遞增1且處理回到步驟S310。
顯然，替代實施方案可例如藉由首先計算整個描述符V，然後進行量化以產生經量化描述符與圖10相比適當改變某些運算之次序，而此並不背離本發明之範疇。
因此，所得描述符編碼H之不同類型之顯著形狀特性及有辨別力資訊。據此將每一描述符元素個別量化為僅提供對特定梯度組格之間的關係或特定組格相對於其他特定組格之優勢之一粗量測之僅幾個位準之粗純量量化導致在建立或驗證視覺對應方面成功之一穩鍵且有辨別力緊湊型圖像描述符並達成在相同純量量化條件下並且在更複雜壓縮方案下高於基於原始梯度直方圖之描述符之識別效能。
對所得描述符之後續處理然後可以類似於先前實施例之一方式 進行。
第四實施例
本發明之一第四實施例圖解說明於圖11中，其中藉由下述方式來處理例如根據圖4包含若干梯度直方圖h p 之一基於梯度直方圖之描述符H：用展現與用於處理與h p 相鄰之梯度直方圖中之某些直方圖之轉換函數集之差異之一轉換函數集來轉換每一梯度直方圖h p 。
更特定而言，在圖11中，依次處理每一直方圖h p ，其中p=0...N-1(N=16)。在步驟S400中，將p設定為0。
然後，在步驟S410中，檢查p之值以選擇用於處理h p 之適當函數。此選擇可例如沿著圖5中所圖解說明之線進行，其中使用指定為A及B之兩組轉換，其中當p=0、2、5、7、8、10、13、15時選擇A且當p=1、3、4、6、9、11、12、14時選擇B。然而，此並非係限制性的，且可採用不同數目個轉換函數集連同一不同空間配置以使得用於處理一梯度直方圖之轉換函數集展現與用於處理與該直方圖相鄰之梯度直方圖中之某些直方圖之轉換函數集之差異。
然後，在步驟S420中，使用適當選擇之轉換函數集將n個組格(n=8)之直方圖h p 轉換為k個元素(k=8)之描述符v p 。轉換函數集A及B可根據下文分別展示之(12)及(13)來加以界定，其中每一函數集經選擇以捕獲具有複數個角度分離之組格之間的關係，且不存在A與B之間的通用函數。
v 0=h 2-h 6 v 1=h 3-h 7 v 2=h 0-h 1 v 3=h 2-h 3 v 4=h 4-h 5 v 5=h 6-h 7 v 6=(h 0+h 4)-(h 2+h 6) v 7=(h 0+h 2+h 4+h 6)-(h 1+h 3+h 5+h 7) (12)
v 0=h 0-h 4 v 1=h 1-h 5 v 2=h 1-h 2 v 3=h 3-h 4 v 4=h 5-h 6 v 5=h 7-h 0 v 6=(h 1+h 5)-(h 3+h 7) v 7=(h 0+h 1+h 2+h 3)-(h 4+h 5+h 6+h 7) (13)
另一選擇為，如(12)及(13)中所示之任何一個函數集或兩個函數集可由捕獲具有另外複數個角度分離之組格之間的關係之不同函數或導致具有一不同元素數目k(其中k=n或k<n或k>n)之一描述符之函數來替換。此外，函數集A及B可不含有通用函數，或者可含有某些通用函數。此外，可針對函數集A及B中之任何一者或兩者根據不同準則選擇計算對應於其之間的關係之值之組格。如先前所見，此等準則可包括選擇欲計算對應於其之間的關係之值之組格以便增加所得值之辨別力或經由一隨機選擇程序來選擇欲計算對應於其之間的關係之值之組格。此外，亦可使用此等準則之任一混合以選擇函數集A及B中之任何一者或兩者。
然後，在步驟S430中，以類似於對於第三實施例之一方式將k個元素之描述符v p 之每一元素個別量化為q個位準，從而賦予經量化描述符。
然後，在步驟S440中，檢查p之值且若其等於H中之最後直方圖之指標，則該程序結束，否則在步驟S450中使其遞增1且處理回到步驟S410。
顯然，替代實施方案例如藉由首先計算整個描述符V，然後進行量化以產生經量化描述符與圖11相比適當改變某些運算之次序，而此並不背景本發明之範圍。
因此，所得描述符編碼H之有辨別力資訊。根據本實施例利用多個轉換函數集與在所有該等子區域直方圖中利用相同轉換函數相比具有一顯著優點。彼等熟習此項技術者知道，藉助基於梯度之圖像描述符之直方圖，相鄰梯度直方圖展現經轉換梯度直方圖描述符中所保持之顯著相關性且結合粗純量量化，導致相鄰經轉換直方圖具有相同元素之一增加機率。此問題因根據本實施例對不同轉換函數之利用而得到減輕，從而增強熵及因而描述符之辨別力。
對所得描述符之後續處理然後可以類似於先前實施例之一方式進行。
第五實施例
本發明之一第五實施例圖解說明於圖12中，其中藉由下述方式來處理例如根據圖4包含若干梯度直方圖h p 之一基於梯度直方圖之描述符H：藉由計算對應於梯度直方圖組格之間的關係之值來轉換每一梯度直方圖h p 且使得某些子區域之經轉換梯度直方圖描述符包含不同於其他子區域之經轉換梯度直方圖描述符之一元素數目。
更特定而言，在圖12中，依次處理每一直方圖h p ，其中p=0...N-1(N=16)。在步驟S500中，將p設定為0。
然後，在步驟S510中，檢查p之值以選擇用於處理h p 之適當維度。此選擇可例如沿著圖6中所圖解說明之線進行，其中欲轉換其中p=5、6、9、10之中央子區域直方圖以使得所得描述符各自具有k c 個元素(k c =3)且欲轉換其中p=0、1、2、3、4、7、8、11、12、13、14、15之邊界子區域直方圖以使得所得描述符各自具有k b 個元素(k b =2)。然而，此並非係限制性的，且可採用不同數目個可能維度連同一不同 空間配置。
然後，在步驟S520中，藉由下述方式將n個組格(n=8)之直方圖h p 轉換為描述符v p ：根據下面所示之(14)之函數來計算對應於梯度直方圖組格之間的關係之值。
v 0=h 0-h 4 (既用於中央子區域亦用於邊界子區域) v 1=h 1-h 5 (既用於中央子區域亦用於邊界子區域) v 2=(h 1+h 5)-(h 3+h 7) (僅用於中央子區域) (14)
顯然，本實施例可與任一先前實施例組合，且(14)之轉換函數可由根據如先前所見之選擇準則之任一混合所選擇之轉換函數來替換及/或不同轉換函數集可用於不同子區域直方圖。
然後，在步驟S530中，以類似於對於第三及第四實施例之一方式將k個元素之描述符v p 之每一元素個別量化為q個位準，從而賦予經量化描述符。
然後，在步驟S540中，檢查p之值且若其等於H中之最後直方圖之指標，則該程序結束，否則在步驟S550中使其遞增1且處理回到步驟S510。
顯然，替代實施方案可例如藉由首先計算整個描述符V，然後進行量化以產生經量化描述符與圖12相比適當改變某些運算之次序，而此並不背離本發明之範疇。
因此，所得描述符以賦予可在建立或驗證視覺對應(諸如中央子區域直方圖與邊界子區域直方圖)方面更重要之H之彼等部分更多關注之一方式編碼H之有辨別力資訊。
第六實施例
本發明之一第六實施例圖解說明於圖13中，其中藉由下述方式來處理例如根據圖4包含若干梯度直方圖h p 之一基於梯度直方圖之描述符H：藉由計算對應於梯度直方圖組格之間的關係之值來轉換每一 梯度直方圖h p 且使得某些經轉換梯度直方圖描述符元素量化為不同於其他經轉換梯度直方圖描述符元素之位準數目。
更特定而言，在圖13中，依次處理每一直方圖h p ，其中p=0...N-1(N=16)。在步驟S600中，將p設定為0。
然後，在步驟S610中，藉由如下面的(15)中所示經選擇以捕獲組格之間的關係之一函數集將n個組格(n=8)之直方圖h p 轉換為k個元素(k=8)之描述符v p 。
v 0=h 2-h 6 v 1=h 3-h 7 v 2=h 0-h 1 v 3=h 2-h 3 v 4=h 4-h 5 v 5=h 6-h 7 v 6=(h 0+h 4)-(h 2+h 6) v 7=(h 0+h 2+h 4+h 6)-(h 1+h 3+h 5+h 7) (15)
顯然，本實施例可與任一先前實施例組合，且(15)之轉換函數可由根據如先前所見之選擇準則之任一混合所選擇之轉換函數來替換及/或不同轉換函數集可用於不同子區域直方圖及/或不同經轉換描述符維度可用於不同子區域直方圖。
然後，在步驟S620中，檢查p之值以選擇用於量化每一元素v pj 之適當數目個量化位準。此選擇可例如沿著圖7中所圖解說明之線進行，其中欲將其中p=5、6、9、10之中央子區域描述符量化為q c 個位準(q c =4)且欲將其中p=0、1、2、3、4、7、8、11、12、13、14、15之邊界子區域描述符量化為q b 個位準(q b =2)。然而，此並非係限制性的，且可採用一不同可能量化位準數目連同一不同空間配置。此外，儘管此未展示於圖13中，但可根據j之值(亦即，根據特定類型之描述 符元素)來判定每一v pj 之量化位準數目，以代替或補充p之值，亦即，該元素之子區域位置。
然後，在步驟S630中，以類似於對於第三、第四及第五實施例之一方式將k個元素之描述符v p 之每一元素個別量化為適當量化位準數目，從而賦予經量化描述符。
然後，在步驟S640中，檢查p之值且若其等於H中之最後直方圖之指標，則該程序結束，否則在步驟S650中使其遞增1且處理回到步驟S610。
顯然，替代實施方案可例如藉由首先計算整個描述符V，然後進行量化以產生經量化描述符與圖13相比適當改變某些運算之次序，而此並不背離本發明之範圍。
因此，所得描述符以賦予可在建立或驗證視覺對應方面更重要之H之彼等部分或V之彼等元素更高表示精度之一方式編碼H之有辨別力資訊。
儘管本發明之實施例之態樣詳細呈現用於自如圖4中所圖解說明之一SIFT圖像描述符計算穩鍵、有辨別力、可擴縮及緊湊型圖像描述符，但本發明可適用於基於梯度直方圖之其他圖像描述符。例如，圖14圖解說明藉由以類似於本發明之第四實施例之一方式用展現與用於處理其相鄰梯度直方圖之轉換函數集之差異之一轉換函數集及用對應於該等轉換函數集之圖14中之符號A、B及C來轉換其梯度直方圖中之每一者使用一對數極坐標空間細分對一基於梯度直方圖之描述符之處理。作為另一實例，對於基於如圖15中所圖解說明分為若干組格之梯度之x及y分量之2維空間之一細分之一梯度直方圖，以類似於本發明之先前實施例之一方式之一個適當的轉換函數集為v 0=h 0-h 1 v 1=h 1-h 2 v 2=h 2-h 3 v 3=h 3-h 4 v 4=h 4-h 5 v 5=h 5-h 6 v 6=h6-h 7 v 7=h 7-h 0 v 8=h 8-(h 0+h 1+h 2+h 3+h 4+h 5+h 6+h 7) (16)
此外，本發明亦可適用於基於梯度之圖像描述符之經適當處理直方圖。此等適當處理可能需要例如根據本發明在處理之前組合子區域梯度直方圖。
僅旨在圖解闡釋之目的，參見圖4a，對於包含若干子區域直方圖h p (其中p=0...15)之梯度直方圖描述符H，可藉由對其組格值進行平均化將其中p=0、1、4、5之直方圖組合成一單個子區域直方圖，且可針對其中p=2、3、6、7及p=8、9、12、13以及p=10、11、14、15之直方圖執行一類似組合，從而導致可隨後根據本發明之任一先前實施例處理之具有縮減維度之一梯度直方圖描述符。亦可藉由其組格值之一替代函數(諸如和)來組合梯度直方圖。
另一選擇為，或另外，此等適當處理可能需要例如合併子區域梯度直方圖內之組格。旨在圖解闡釋之目的，參見圖4b，對於梯度直方圖h，可藉由平均或加法或中值或任一適當函數將相鄰組格合併成一單個組格，從而導致隨後可根據本發明之任一實施例處理之具有縮減維度之一梯度直方圖描述符。
僅以實例方式，圖16圖解說明用於實施根據本發明之方法之一概念性處理裝置。更特定而言，處理裝置1100自可採取一使用者輸入裝置、一媒體讀取器或一傳輸信號接收器之形式之輸入裝置1000接收可包含諸如圖像或視訊資料視覺資料、基於梯度直方圖之預告計算描 述符、根據本發明之方法之預告計算緊湊型描述符、程式化指令或使用者輸入之輸入。處理裝置1100包含控制其他處理區塊之運算之一中央處理單元1110之主處理區塊、揮發性記憶體1120、非揮發性記憶體1130、視情況經組態以基於梯度直方圖產生描述符之一描述符提取器區塊1140、經組態以實施根據本發明之方法之一緊湊型描述符提取器區塊1150及視情況經組態以處理該緊湊型描述符，例如以建立或驗證視覺對應之一緊湊型描述符處理器區塊1160。處理裝置1100連接至可採取一視覺顯示單元、一媒體寫入器或一信號傳輸器之形式之輸出裝置1900，該輸出裝置可根據本發明之方法提供可包含諸如圖像或視訊資料之經注釋視覺資料、諸如經建立或經驗證視覺對應之處理資訊或經計算緊湊型描述符。應理解，圖16中所示之處理區塊及架構僅為概念性的且可能不與實施根據本發明之方法之每個裝置完全一致。
本文中以實例方式闡述之用於基於一梯度直方圖轉換一圖像描述符之方法及之一相對的圖像處理裝置可經受諸多可能變化，而此並不背離本發明思想之新穎精神；亦很清楚，在本發明之可行實施方案中，所圖解說明之細節可具有不同形狀或由其他技術等效元素替換。
因此可容易理解，本發明並不僅限於用於基於一梯度直方圖來轉換一圖像描述符之一方法及一相對的圖像處理裝置，而是可經受對等效部分或元素之諸多修改、改良或替換，而此並不背離如隨附申請專利範圍中明確指定之本發明思想。
1000‧‧‧輸入裝置
1100‧‧‧處理裝置
1110‧‧‧中央處理單元
1120‧‧‧揮發性記憶體
1130‧‧‧非揮發性記憶體
1140‧‧‧描述符提取器區塊
1150‧‧‧緊湊型描述符提取器區塊
1160‧‧‧緊湊型描述符處理器區塊
1900‧‧‧輸出裝置
A‧‧‧函數集
B‧‧‧函數集
h‧‧‧梯度直方圖
H‧‧‧圖像描述符
h 0‧‧‧梯度直方圖
h 0‧‧‧梯度直方圖組格
h 1 ‧‧‧梯度直方圖組格
h 2 ‧‧‧梯度直方圖組格
h 3 ‧‧‧梯度直方圖組格
h 4 ‧‧‧梯度直方圖組格
h 5 ‧‧‧梯度直方圖組格
h 6 ‧‧‧梯度直方圖組格
h 7 ‧‧‧梯度直方圖組格
h 1‧‧‧梯度直方圖
h 2‧‧‧梯度直方圖
h 3‧‧‧梯度直方圖
h 4‧‧‧梯度直方圖
h 5‧‧‧梯度直方圖
h 6‧‧‧梯度直方圖
h 7‧‧‧梯度直方圖
h 8‧‧‧梯度直方圖
h 9‧‧‧梯度直方圖
h 10‧‧‧梯度直方圖
h 11‧‧‧梯度直方圖
h 12‧‧‧梯度直方圖
h 13‧‧‧梯度直方圖
h 14‧‧‧梯度直方圖
h 15‧‧‧梯度直方圖
k b ‧‧‧元素數目
k c ‧‧‧元素數目
KP‧‧‧圖像關鍵點
q b ‧‧‧位準數目
q c ‧‧‧位準數目
R‧‧‧局部區域
SR‧‧‧子區域
SRb‧‧‧邊界子區域
SRC‧‧‧中央子區域
V‧‧‧經轉換梯度直方圖描述符
v0‧‧‧值
v1‧‧‧值
v2‧‧‧值
v3‧‧‧值
v4‧‧‧值
v5‧‧‧值
v6‧‧‧值
v7‧‧‧值
v8‧‧‧值
v9‧‧‧值
v10‧‧‧值
v11‧‧‧值
v12‧‧‧值
v13‧‧‧值
v14‧‧‧值
v15‧‧‧值
具體參照附圖，閱讀對用於基於一梯度直方圖轉換一圖像描述符之方法之以下詳細說明，以上目的將變得更加一目了然，在附圖中：-圖1a及圖1b展示一先前技術關鍵點描述符之一實例；-圖2a及圖2b展示GLOH及UHoG先前技術中分別使用之空間細分 方案；-圖3(包括圖3a及圖3b)展示用於計算UHoG技術之梯度直方圖之方法；-圖4a及圖4b展示根據本發明之一關鍵點描述符之一實例；-圖5至圖7展示處理對應於環繞一圖像關鍵點之子區域之梯度直方圖之不同方式；-圖8至圖13呈現根據本發明之第六實施例之流程圖；-圖14圖解說明根據本發明藉由使用圖2b之空間細分方案對一圖像描述符之處理；-圖15圖解說明根據本發明藉由使用圖3a之梯度直方圖細分方案對一圖像描述符之處理；-圖16圖解說明適合於實施根據本發明之方法之一圖像處理器件。

Claims (17)

  1. 一種用於轉換一圖像描述符(imagedescriptor)之方法，其基於包含複數個直方圖組格(histogrambins，h i )之複數個梯度直方圖(gradienthistograms，h)將該圖像描述符基於包含一值集(v j )之複數個經轉換梯度直方圖(v)而轉換成一經轉換圖像描述符(V)，其中，為轉換該等梯度直方圖(h)之至少一者，提供應用該等直方圖組格(h i )之至少一位置準則之步驟，其中該位置準則達成計算自該等梯度直方圖組格(h i )導出之值(v j )，該等梯度直方圖組格(h i )展現複數個角度分離。
  2. 如請求項1之方法，其中亦基於毗鄰直方圖組格(h i )計算該等值(v j )中之至少一者。
  3. 如請求項1或2之方法，其中將該等值(v j )個別量化(quantized)為複數個位準(q)，其中該複數個位準可針對每一值(v j )相同或者可針對至少兩個值(v j )不同。
  4. 如請求項1或2之方法，其中根據以下運算中之一或多者來計算該等值(v j )：直方圖組格(h i )之間的和或差；直方圖組格(h i )之和之間的差；在直方圖組格(h i )上執行的線性或非線性運算；直方圖組格(h i )之間的比率；直方圖組格(h i )之和之間的比率；直方圖組格(h i )之乘積之間的比率；直方圖組格(h i )之乘積之間的差。
  5. 如請求項1或2之方法，其中該梯度直方圖(h)具有一第一元素數目(n)之一維度，該值集(v j )具有一第二元素數目(k)之一維度，且該第一元素數目(n)等於該第二元素數目(k)。
  6. 如請求項1或2之方法，其中該梯度直方圖(h)具有一第一元素數目(n)之一維度，該值集(v j )具有一第二元素數目(k)之一維度，且該第一元素數目(n)大於該第二元素數目(k)。
  7. 如請求項1或2之方法，其中該梯度直方圖(h)具有一第一元素數目(n)之一維度，該值集(v j )具有一第二元素數目(k)之一維度，且該第一元素數目(n)低於該第二元素數目(k)。
  8. 一種用於基於複數個梯度直方圖(h p )將一圖像描述符(H)轉換成一經轉換圖像描述符(V)之方法，其中使該複數個梯度直方圖(h p )中之每一者與一圖像關鍵點(image keypoint，KP)周圍之一局部區域(R)之一子區域(SR)相關，且其中該等梯度直方圖(h p )中之每一者包含複數個直方圖組格(h i )且該等複數個直方圖組格(h i )係根據請求項1至7中任一項之方法被轉換成經轉換梯度直方圖(V)之複數個組格。
  9. 如請求項8之方法，其中不同於其他子區域梯度直方圖地轉換至少一個子區域梯度直方圖。
  10. 如請求項9之方法，其中複數個子區域梯度直方圖被組合成一單個子區域直方圖，特定而言係藉由算出該複數個子區域梯度直方圖之組格值的總和或平均數。
  11. 如請求項9之方法，其中用於獲得該至少一個經轉換子區域梯度直方圖之運算至少部分地不同於用於獲得其相鄰子區域中之至少一者之該等經轉換子區域梯度直方圖之運算。
  12. 如請求項9之方法，其中該至少一個經轉換子區域梯度直方圖包含不同於其相鄰子區域中之至少一者之該等經轉換子區域梯度直方圖之一元素數目。
  13. 如請求項12之方法，其中相對於直接環繞該圖像關鍵點(KP)之子區域(SRc)之該等經轉換子區域梯度直方圖包含多於剩餘子區域(SRb)之該等經轉換梯度直方圖之元素(k b )之元素(k c )。
  14. 如請求項13之方法，其中用大於用來量化剩餘子區域(SRb)之該等經轉換梯度直方圖之位準之數目(q b )的數目個位準(q c )來量化 直接環繞該圖像關鍵點(KP)之子區域(SRc)之該等經轉換梯度直方圖之該等元素。
  15. 如請求項14之方法，其中僅對該等子區域梯度直方圖之特定元素應用該量化。
  16. 如請求項8之方法，其中該經轉換圖像描述符(V)經受一量化程序以便產生一經量化之經轉換圖像描述符()。
  17. 一種圖像處理裝置，其包含：一中央處理單元；一記憶體；及一描述符提取器，其經組態而根據梯度之直方圖產生描述符；其中該中央處理單元耦接至該記憶體及該描述符提取器，並控制該記憶體及該描述符提取器之操作以實施如請求項1至16中任一項之方法。
TW102123706A 2012-07-09 2013-07-02 基於梯度直方圖轉換圖像描述符之方法及相對的圖像處理裝置 TWI532012B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT000602A ITTO20120602A1 (it) 2012-07-09 2012-07-09 Method for transforming an image descriptor based on a gradient histogram and relative image processing apparatus.

Publications (2)

Publication Number Publication Date
TW201407542A TW201407542A (zh) 2014-02-16
TWI532012B true TWI532012B (zh) 2016-05-01

Family

ID=46833121

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102123706A TWI532012B (zh) 2012-07-09 2013-07-02 基於梯度直方圖轉換圖像描述符之方法及相對的圖像處理裝置

Country Status (13)

Country Link
US (2) US9454710B2 (zh)
EP (2) EP3702965B1 (zh)
JP (3) JP6292454B2 (zh)
KR (1) KR102193177B1 (zh)
CN (2) CN108520265B (zh)
AR (1) AR091674A1 (zh)
BR (1) BR112014031268A2 (zh)
ES (1) ES2811532T3 (zh)
HK (1) HK1259139A1 (zh)
IT (1) ITTO20120602A1 (zh)
RU (1) RU2661795C2 (zh)
TW (1) TWI532012B (zh)
WO (1) WO2014009198A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2900841C (en) 2013-01-16 2018-07-17 Huawei Technologies Co., Ltd. Context based histogram map coding for visual search
ITTO20130629A1 (it) 2013-07-24 2015-01-25 Sisvel Technology Srl Method for encoding an image descriptor based on a gradient histogram and relative image processing apparatus
WO2019056380A1 (zh) * 2017-09-25 2019-03-28 华为技术有限公司 一种数据访问的方法和装置
JP7087695B2 (ja) * 2018-06-07 2022-06-21 株式会社リコー 学習装置および学習方法
KR20230017549A (ko) * 2021-07-28 2023-02-06 주식회사 넥스트칩 특징점에 대한 기술자를 생성하기 위한 전자 장치 및 그 동작 방법
CN117981319A (zh) * 2021-09-15 2024-05-03 北京达佳互联信息技术有限公司 用于基于块的视频编解码的符号预测
CN114331925B (zh) * 2022-03-15 2022-07-19 北京锐影医疗技术有限公司 一种多尺度相对梯度直方图均衡化方法及装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61239376A (ja) 1985-04-16 1986-10-24 Fujitsu Ltd 画像間の角度差検出装置
JP2000187731A (ja) * 1998-12-21 2000-07-04 Ricoh Co Ltd 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
GB2352076B (en) * 1999-07-15 2003-12-17 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
JP3550681B2 (ja) * 1999-12-10 2004-08-04 日本電気株式会社 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体
US6865295B2 (en) * 2001-05-11 2005-03-08 Koninklijke Philips Electronics N.V. Palette-based histogram matching with recursive histogram vector generation
JP2003150965A (ja) * 2001-11-14 2003-05-23 Sanyo Electric Co Ltd 形状認識方法及びその装置
KR100959053B1 (ko) * 2003-01-13 2010-05-20 한국전자통신연구원 복수의 이미지 프레임을 갖는 비디오 시퀀스 검색을 위한비선형 양자화 및 유사도 매칭 방법
US7840081B2 (en) * 2004-09-23 2010-11-23 Mitsubishi Denki Kabushiki Kaisha Methods of representing and analysing images
US7715623B2 (en) * 2005-11-14 2010-05-11 Siemens Medical Solutions Usa, Inc. Diffusion distance for histogram comparison
CN100530239C (zh) * 2007-01-25 2009-08-19 复旦大学 基于特征匹配与跟踪的视频稳定方法
JP4629740B2 (ja) * 2008-01-16 2011-02-09 富士フイルム株式会社 撮像装置および方法並びにプログラム
CN102016918B (zh) 2008-04-28 2014-04-16 公立大学法人大阪府立大学 物体识别用图像数据库的制作方法以及处理装置
WO2009136673A1 (en) 2008-05-09 2009-11-12 Hankuk University Of Foreign Studies Research And Industry-University Cooperation Foundation Matching images with shape descriptors
US8625861B2 (en) * 2008-05-15 2014-01-07 International Business Machines Corporation Fingerprint representation using gradient histograms
JP4547639B2 (ja) * 2008-08-26 2010-09-22 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8625921B1 (en) * 2008-09-26 2014-01-07 Google Inc. Method for image processing using local statistics convolution
WO2010055399A1 (en) * 2008-11-12 2010-05-20 Nokia Corporation Method and apparatus for representing and identifying feature descriptors utilizing a compressed histogram of gradients
CN101739397A (zh) * 2008-11-17 2010-06-16 新疆亚奥数码科技有限公司 基于mpeg-7的图像检索系统
CN101493891B (zh) * 2009-02-27 2011-08-31 天津大学 基于sift的具有镜面翻转不变性的特征提取和描述方法
JP4877374B2 (ja) * 2009-09-02 2012-02-15 株式会社豊田中央研究所 画像処理装置及びプログラム
WO2011071467A1 (en) 2009-12-09 2011-06-16 Thomson Licensing Method for distinguishing a 3d image from a 2d image and for identifying the presence of a 3d image format by feature correspondence determination
US8582889B2 (en) * 2010-01-08 2013-11-12 Qualcomm Incorporated Scale space normalization technique for improved feature detection in uniform and non-uniform illumination changes
CN101794395B (zh) 2010-03-11 2012-04-25 合肥金诺数码科技股份有限公司 一种基于Sift算法的图像匹配定位方法
US9530073B2 (en) * 2010-04-20 2016-12-27 Qualcomm Incorporated Efficient descriptor extraction over multiple levels of an image scale space
US8625902B2 (en) * 2010-07-30 2014-01-07 Qualcomm Incorporated Object recognition using incremental feature extraction
US8428397B1 (en) * 2010-08-26 2013-04-23 Adobe Systems Incorporated Systems and methods for large scale, high-dimensional searches
US8538164B2 (en) * 2010-10-25 2013-09-17 Microsoft Corporation Image patch descriptors
JP5289412B2 (ja) 2010-11-05 2013-09-11 株式会社デンソーアイティーラボラトリ 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法
KR101127793B1 (ko) 2011-01-04 2012-03-23 위드로봇 주식회사 이미지 인식 시스템 및 그 제공방법
CN102306383B (zh) * 2011-07-01 2013-05-29 北京交通大学 适用于宽基线图像密集匹配的描述符的构建方法
JP2013097583A (ja) * 2011-11-01 2013-05-20 Nec Corp 特徴量生成装置、方法及びプログラム
CN104067272A (zh) * 2011-11-21 2014-09-24 诺基亚公司 用于图像处理的方法和装置
EP2801055B1 (en) * 2012-01-02 2016-04-20 Telecom Italia S.p.A. Method and system for image analysis

Also Published As

Publication number Publication date
JP6292454B2 (ja) 2018-03-14
BR112014031268A2 (pt) 2017-06-27
CN108520265B (zh) 2021-09-07
JP2015522194A (ja) 2015-08-03
EP2870568B1 (en) 2020-06-24
JP2017224337A (ja) 2017-12-21
RU2015104066A (ru) 2016-08-27
US10713523B2 (en) 2020-07-14
JP6714669B2 (ja) 2020-06-24
TW201407542A (zh) 2014-02-16
CN104428793A (zh) 2015-03-18
CN108520265A (zh) 2018-09-11
CN104428793B (zh) 2018-05-08
JP6429134B2 (ja) 2018-11-28
WO2014009198A1 (en) 2014-01-16
HK1259139A1 (zh) 2019-11-29
US20150332116A1 (en) 2015-11-19
US9454710B2 (en) 2016-09-27
EP3702965A1 (en) 2020-09-02
RU2661795C2 (ru) 2018-07-19
JP2019040612A (ja) 2019-03-14
ES2811532T3 (es) 2021-03-12
ITTO20120602A1 (it) 2014-01-10
AR091674A1 (es) 2015-02-18
KR102193177B1 (ko) 2020-12-21
KR20150031333A (ko) 2015-03-23
EP2870568A1 (en) 2015-05-13
US20170300775A1 (en) 2017-10-19
EP3702965B1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
TWI532012B (zh) 基於梯度直方圖轉換圖像描述符之方法及相對的圖像處理裝置
Tsai et al. Location coding for mobile image retrieval
CN103026368B (zh) 使用增量特征提取的对象辨识
KR101612212B1 (ko) 국소 특징 기술자 추출 장치, 국소 특징 기술자 추출 방법, 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체
KR101404401B1 (ko) 특징량 선택 장치
Zhang et al. A joint compression scheme of video feature descriptors and visual content
US20100114871A1 (en) Distance Quantization in Computing Distance in High Dimensional Space
Kumar et al. Near lossless image compression using parallel fractal texture identification
Yang et al. Accumulated stability voting: A robust descriptor from descriptors of multiple scales
Singhal et al. Directional local ternary co-occurrence pattern for natural image retrieval
JP2014178857A (ja) 画像検索システム及び画像検索方法
Ma et al. How does the shape descriptor measure the perceptual quality of the retargeting image?
Admile et al. Content based image retrieval using feature extracted from dot diffusion block truncation coding
CN107870923B (zh) 图像检索方法和装置
Zhou et al. Content based image retrieval using local directional pattern and color histogram
Astola et al. Lossless compression of high resolution disparity map images
Wang et al. PQ-WGLOH: A bit-rate scalable local feature descriptor
Kim et al. A novel image retrieval scheme using DCT filter-bank of weighted color components
JP6368688B2 (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
Qiao A New Feature Coding Scheme for Video-Content Matching Tasks
Kumar et al. Combination of Complementary Features for Automatic Image Annotation
JP2016018325A (ja) 画像辞書構成方法、画像表現方法、装置、及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees
MM4A Annulment or lapse of patent due to non-payment of fees