TW201514865A - 用於基於一梯度統計圖編碼一影像描述符之方法及相關影像處理裝置 - Google Patents

用於基於一梯度統計圖編碼一影像描述符之方法及相關影像處理裝置 Download PDF

Info

Publication number
TW201514865A
TW201514865A TW103124152A TW103124152A TW201514865A TW 201514865 A TW201514865 A TW 201514865A TW 103124152 A TW103124152 A TW 103124152A TW 103124152 A TW103124152 A TW 103124152A TW 201514865 A TW201514865 A TW 201514865A
Authority
TW
Taiwan
Prior art keywords
descriptor
sub
group
descriptors
center
Prior art date
Application number
TW103124152A
Other languages
English (en)
Other versions
TWI576770B (zh
Inventor
史塔羅斯 帕斯查拉基司
Original Assignee
西斯維爾科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 西斯維爾科技公司 filed Critical 西斯維爾科技公司
Publication of TW201514865A publication Critical patent/TW201514865A/zh
Application granted granted Critical
Publication of TWI576770B publication Critical patent/TWI576770B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本發明描述一種用於基於梯度統計圖(hp)將一影像描述符(H)編碼成一經變換描述符(V)之方法,該經變換描述符包括經變換之子描述符(vp),其中各梯度統計圖(hp)包括複數個統計圖區間(hi)且各子描述符(vp)包括一組值(vj),其特徵為:該等子描述符(vp)根據指定該組子描述符(vp)之一子描述符指數(p)及該組值(vj)之一元件指數(j)之一元件利用順序列表而產生。

Description

用於基於一梯度統計圖編碼一影像描述符之方法及相關影像處理裝置
本發明係關於一種用於有效編碼、轉碼、解碼及處理在圍繞影像興趣關鍵點之局部區域經計算之影像描述符之方法,且係關於包括用於編碼、轉碼、解碼及處理此等描述符之構件之一影像處理器件。
已發現,此等影像描述符廣泛適用於諸多電腦視覺應用,包含(僅舉一些例子):物件辨識、基於內容之影像檢索及影像對準。
針對編碼此等描述符之既有方法展現某些缺點。
例如,既有編碼方法導致需要剖析全部描述符之描述符以執行轉碼,藉此具有一給定描述符長度之一描述符經轉換為具有一不同描述符長度之一描述符,或執行解碼及比較具有不同長度之描述符。
如另一實例,既有編碼方法在編碼複雜性方面係低效的,此係因為其等忽略操作中被要求產生可變長度影像描述符之通用性及冗餘。
由申請人自行申請之尚未發表之意大利專利申請案第TO2012A000602號描述局部影像描述符之編碼,藉此自基於梯度統計 圖之變換而採用該等梯度統計圖之影像描述符計算穩固、區別性的、可縮放及緊密影像描述符,其中該變換擷取依分佈形狀及其等區間值之中之關係之形式包含於其中之顯著及穩固資訊。
在該尚未發表之意大利專利申請案中揭示該等描述符之編碼方法,在容易產生可縮放位元流方面,該等方法比先前技術方法更有效。
在上文所提及之尚未發表之意大利專利申請案第TO2012A000602號中揭示此等描述符,該申請案揭示自基於梯度統計圖之變換而採用該等梯度統計圖之影像描述符計算穩固、區別性的、可縮放及緊密影像描述符,其中該變換擷取依分佈形狀及其等區間值之中之關係之形式包含於其中之顯著及穩固資訊。
根據尚未發表之意大利專利申請案第TO2012A000602號而在下文描述自採用梯度統計圖計算影像描述符之穩固、區別性的、可縮放及緊密影像描述符之重要態樣(特定言之係一SIFT影像描述符)。
簡單地說,使用SIFT方法,局部影像描述符經形成如下:首先,執行跨多個影像比例尺影像及位置之一搜尋以識別及局部化針對比例尺及定向不變之穩定影像關鍵點,接著,針對各關鍵點,基於局部影像梯度而判定一或多個顯性定向,允許相對於各關鍵點之指派定向、比例尺及位置而執行隨後局部描述符計算,因此達成針對此等變換之不變性。接著,圍繞關鍵點之局部影像描述符經形成如下:首先,在圍繞關鍵點之一區域中之影像樣本點處計算梯度量值及定向資訊;接著,將此等樣本累積成概括n×n子區域上之內容之定向統計圖。
僅經由繪示,在圖1a及圖1b中展示一SIFT關鍵點描述符之一實例,其中圖1a展示將一局部區域R再劃分成4×4個子區域SR,且圖1b展示將360°範圍之定向再劃分成針對各定向統計圖之八個區間,其中 各箭頭之長度對應於該統計圖項目之量值。因此,如圖1中所繪示之一局部影像描述符具有4x4x8=128個元件。可在David G.Lowe之「Distinctive image features from scale-invariant keypoints」(國際電腦視覺期刊60,2(2004),91頁至110頁)中找到SIFT技術之更多細節。
根據尚未發表之意大利專利申請案第TO2012A000602號,可自一SIFT描述符計算一穩固、區別性的、可縮放及緊密影像描述符,如下文。
在以下描述中,在一整體SIFT描述符中之H包括各具有八個區間h之16個梯度統計圖h,而V係根據本發明之包括16個子描述符v(其等各具有八個元件v)之一整體局部描述符。
用H表示包括16個梯度統計圖h0-h15之一SIFT局部影像描述符,如圖2a中所示,各統計圖包括八個區間值h 0-h 7,如圖2b中所示。可藉由變換H之h0至h15之各者且接著在最終變換值上執行純量量化而計算一更穩固、區別性的、可縮放及緊密影像描述符。更具體而言,根據變換式A或變換式B而變換h0至h15之各者,如下文所示,根據圖3之變換利用資訊,即變換式A被應用於h0、h2、h5、h7、h8、h10、h13、h15且變換式B被應用於h1、h3、h4、h6、h9、h11、h12、h14,給出具有子描述符v0至v15之經變換之描述符V,分別對應於h0至h15,且各包括元件v 0v 7,給出全部128個元件。
變換式A (1)
v 0 =h 2 -h 6
v 1 =h 3 -h 7
v 2 =h 0 -h 1
v 3 =h 2 -h 3
v 4 =h 4 -h 5
v 5 =h 6 -h 7
v 6=(h 0+h 4)-(h 2+h 6)
v 7=(h 0+h 2+h 4+h 6)-(h 1+h 3+h 5+h 7)
變換式B (2)
v 0=h 0-h 4
v 1=h 1-h 5
v 2=h 7-h 0
v 3=h 1-h 2
v 4=h 3-h 4
v 5=h 5-h 6
v 6=(h 1+h 5)-(h 3+h 7)
v 7=(h 0+h 1+h 2+h 3)-(h 4+h 5+h 6+h 7)
接著,各元件經歷粗略的純量量化(例如三進制(3階)量化),其中量化臨限值經選擇以在針對各元件之量化區間之中達成一特定發生概率分佈。此純量量化產生具有各包括元件之子描述符且再次具有全部128個元件之經量化之描述符。此緊密描述符擷取包含於原始梯度統計圖中依分佈形狀及其等區間值之中之關係之形式之最具區別性的及穩固的資訊。
描述符V以及其之經量化之版本之一關鍵優點係:其可高度縮放,且若一應用之儲存要求或一傳輸通道之特性需要,則可藉由僅消除其之元件之一或多者而容易減小其之維度。為了簡單起見,在隨後的描述中,將在使用子描述符v0至v15(各包括元件v 0v 7)來編碼經預先量化之描述符V方面描述本發明之重要態樣,且除非另外說明,應瞭解依一類似方式繼續進行經量化之描述符之編碼。
圖4a至4e展示已被發現產生針對五個目標描述符長度(自最短描述符長度僅利用20個描述符元件之描述符長度0(DL0)至最長描述符長度利用全部128個元件之描述符長度4(DL4))之極佳的辨別力及穩固性 之例示性組之元件。更具體言之,圖4a展示包括20個元件之描述符長度DL0之一例示性組之元件,圖4b展示包括40個元件之描述符長度DL1之一例示性組之元件,圖4c展示包括64個元件之描述符長度DL2之一例示性組之元件,圖4d展示包括80個元件之描述符長度DL3之一例示性組之元件及圖4e展示包括全部128個元件之描述符長度DL4之一例示性組之元件。因此,針對各描述符長度,將(或將不)根據圖4a至圖4e之元件利用組而編碼各子描述符之各元件。
此可縮放性性質之關鍵係用於各描述符長度之該組所利用之元件必須與用於全部更高描述符長度之該組所利用之元件相同或為其等之一子集,如圖4a至圖4e中所繪示。此允許藉由僅消除具有更高描述符長度之描述符之過多元件而轉碼及比較不同長度之描述符,使得其減少至與具有更低描述符長度之描述符相同之元件組。
此描述符之一簡單編碼方法包括依一「按子描述符」順序計算及編碼元件,即依如v 0,0v 0,1、...、v 0,7v 1,0v 1,1、...、v 1,7、...、v 15,0v 15,1、...、v 15,7之一般情況,其中v i,j 表示子描述符v i 之元件v j 。此意指使用適當變換式(例如如圖3中所繪示),且亦使用針對所要描述符長度之適當元件利用組(例如如圖4中所繪示),以決定應編碼哪些元件,編碼經變換之統計圖v0之元件v 0,v 1,...,v 7,接著編碼經變換之統計圖v1之元件v 0,v 1,...,v 7等等。
此編碼(例如)針對一描述符長度DL0的描述符形成v 0,0v 1,0v 2,0v 3,0v 4,0v 5,0v 5,6v 6,0v 6,6v 7,0v 8,0v 9,0v 9,6v 10,0v 10,6v 11,0,v 12,0,v 13,0v 14,0v 15,0且針對一描述符長度DL1的描述符形成v 0,0v 0,1v 1,0v 1,1v 2,0v 2,1v 3,0v 3,1v 4,0v 4,1v 5,0v 5,1v 5,2v 5,6v 6,0v 6,1v 6,2v 6,6v 7,0v 7,1v 8,0v 8,1v 9,0v 9,1v 9,2v 9,6v 10,0v 10,1v 10,2v 10,6v 11,0v 11,1v 12,0v 12,1v 13,0v 13,1v 14,0v 14,1v 15,0v 15,1
圖5將此一簡單編碼器之操作繪示為一序列步驟。在以下描述中,以及在一編碼器之操作之隨後描述中,除非另外指定,此一序列步驟對應於概念上的且不對應於軟體實施、組件及指令之特定硬體而是代表編碼器之總操作之步驟。更具體而言,圖5繪示針對一描述符長度DLk(例如對應於圖4中所繪示之描述符長度之描述符長度)之一編碼器之操作。在圖5之步驟S100中,在第一子描述符(即v0)處開始編碼描述符。在步驟S110中,(例如)根據圖3之變換式利用,針對經處理之子描述符而選擇適當變換式。應注意,根據此處所描述之兩個不同變換式而自描述符H計算描述符V僅係一實例。亦可根據一單一變換式(例如僅變換式A或僅變換式B)(使步驟S110變得不必要)或根據兩個以上變換式而執行自描述符H計算描述符V。在步驟S120中,在第一子描述符元件(即v 0)處開始編碼經處理之子描述符。接著,在步驟S130中,(例如)使用圖4之使用組之一者對照描述符長度DLk之元件利用資訊來核對是否使用特定子描述符之特定元件(即v 0,0)。若未使用該元件,則處理移至步驟S150。若該元件用於描述符長度DLk,則在步驟S140中發生其之編碼。此處,以及在一編碼器之操作之隨後描述中,除非另外指定,詞語「編碼」意指使得元件v 0,0成為局部影像描述符之部分之一或多個動作或其之組合,該等動作包含(舉例而言且非限制):根據先前所見之適當變換函數(1)或(2)而計算、在全部元件經預先計算之情況下(不知哪些元件最終將用於描述符中)用於包含於局部影像描述符中之元件之選擇、元件值之量化、在揮發性或非揮發性記憶體中之元件之儲存及沿一傳輸通道之元件之傳輸。在步驟S140之後,或若在步驟S130中決定元件未用於描述符長度DLk,則處理移至步驟S150。在步驟S150中,若當前元件不是子描述符之最後元件,則處理移至子描述符之下一個元件,否則處理移至步驟S160。在步驟S160中,若當前子描述符不是局部影像描述符之最後子描述符,則處 理移至局部影像描述符之下一個子描述符,否則處理結束。因此,顯然步驟S100、S120、S150及S160係關於執行處理之順序,而步驟S110、S130及S140係關於局部影像描述符之實際編碼。
此描述符之另一簡單編碼方法包括依一「按元件」順序(即依如v 0,0v 1,0、...、v 15,0v 0,1v 1,1、...、v 15,1、...、v 0,7v 1,7、...、v 15,7之一般情況)計算及編碼元件,即再次使用適當變換式(例如如圖3中所繪示),且亦使用針對所要描述符長度之適當元件利用組(例如如圖4中所繪示),以決定應編碼哪一個元件,編碼用於子描述符v0、v1、...、v15之元件v 0,接著編碼用於子描述符v0、v1、...、v15之元件v 1等等。此一編碼器可依圖5之編碼器之一類似方式使用適當重排序步驟來操作。一般而言,兩種上述方法皆提供優於另一方法的優點。出於轉碼、解碼及處理之目的,解碼器必須亦瞭解編碼程序及元件排序及利用組以能夠處理及比較可能具有不同長度之描述符(出於相關電腦視覺應用之目的)。因此,元件利用組必須永久固定或與描述符共同儲存/傳輸。在此背景下,簡單編碼程序係不利的。
更具體而言,此一編碼忽略依編碼順序之不同元件之間之相對重要性。因此,在轉碼方面,藉此具有一所給描述符長度之一描述符被轉換成具有一不同描述符長度之一描述符,或在解碼及藉由比較兩個描述符之間之對應元件而比較具有不同長度之描述符方面,此一編碼需要剖析描述符以達成所要結果。
此外,此一編碼忽略不同元件之間之相對重要性中之冗餘型樣,且關於決定是否應編碼特定元件係不必要地複雜。
因此,本發明之一目標係揭示一種用於基於一梯度統計圖而編碼一影像描述符之方法及相關影像處理裝置,該方法相對於先前技術方法更有效。
本發明之一進一步目標係揭示一種用於基於一梯度統計圖而編 碼一影像描述符之方法及相關影像處理裝置,該方法更靈活。
本發明之一進一步目標係揭示一種用於基於一梯度統計圖而編碼一影像描述符之方法及相關影像處理裝置,該方法允許達成一最佳化編碼器實施方案。
本發明之一進一步目標係揭示一種用於基於一梯度統計圖而編碼一影像描述符之方法及相關影像處理裝置,該方法允許獲得具有任何長度之影像描述符。
透過用於基於一梯度描述符而編碼一影像描述符之一方法及相關影像處理裝置(如係本描述之一整體部分之隨附申請專利範圍中所主張)而達成本發明之此等及其他目標。
簡單地說,揭示一種方法,其用於藉由根據一元件利用順序而編碼影像描述符而有效編碼影像描述符(諸如上文所描述之影像描述符),導致可藉由簡單描述符截斷而不是剖析而被轉換成更低描述符長度之可縮放描述符。
編碼係根據子描述符群組而執行,根據該等子描述符群組之對應元件之間之相對重要性中之冗餘型樣而形成。
更特定而言,藉由分組子描述符而執行該分組,該等子描述符之對應元件在達成高辨識效能方面根據其等之相對重要性在描述符之全部元件之一排序中具有一類似重要性,更具體而言,藉由根據子描述符與描述符中心之距離而分組子描述符及另外藉由根據子描述符之間之距離而分組子描述符及/或另外藉由根據對應編碼特性而排序一群組之子描述符及/或另外藉由根據子描述符之間之距離而排序一群組之子描述符而執行該分組。
根據本發明之編碼方法在效率、計算複雜性及/或產生可縮放位元流所需之資訊量方面有利地比先前技術方法更有效。
在隨附申請專利範圍(意欲作為本描述之一整體部分)中陳述本發 明之進一步特徵。
S100‧‧‧步驟
S110‧‧‧步驟
S120‧‧‧步驟
S130‧‧‧步驟
S140‧‧‧步驟
S150‧‧‧步驟
S160‧‧‧步驟
S200‧‧‧步驟
S210‧‧‧步驟
S220‧‧‧步驟
S300‧‧‧步驟
S310‧‧‧步驟
S320‧‧‧步驟
S330‧‧‧步驟
S340‧‧‧步驟
S400‧‧‧步驟
S410‧‧‧步驟
S420‧‧‧步驟
S430‧‧‧步驟
S500‧‧‧步驟
S510‧‧‧步驟
S520‧‧‧步驟
S530‧‧‧步驟
S540‧‧‧步驟
S600‧‧‧步驟
S610‧‧‧步驟
S620‧‧‧步驟
S630‧‧‧步驟
S640‧‧‧步驟
S650‧‧‧步驟
S660‧‧‧步驟
S670‧‧‧步驟
S680‧‧‧步驟
S690‧‧‧步驟
S695‧‧‧步驟
1000‧‧‧輸入裝置
1100‧‧‧處理裝置
1110‧‧‧中央處理單元
1120‧‧‧揮發性記憶體
1130‧‧‧非揮發性記憶體
1140‧‧‧描述符萃取器區塊
1150‧‧‧緊密描述符編碼器區塊
1160‧‧‧緊密描述符處理器區塊
1900‧‧‧輸出裝置
g0‧‧‧群組
g1‧‧‧群組
g2‧‧‧群組
g3‧‧‧群組
h‧‧‧梯度統計圖
h0‧‧‧梯度統計圖
h1‧‧‧梯度統計圖
h2‧‧‧梯度統計圖
h3‧‧‧梯度統計圖
h4‧‧‧梯度統計圖
h5‧‧‧梯度統計圖
h6‧‧‧梯度統計圖
h7‧‧‧梯度統計圖
h8‧‧‧梯度統計圖
h9‧‧‧梯度統計圖
h10‧‧‧梯度統計圖
h11‧‧‧梯度統計圖
h12‧‧‧梯度統計圖
h13‧‧‧梯度統計圖
h14‧‧‧梯度統計圖
h15‧‧‧梯度統計圖
h‧‧‧區間
h 0‧‧‧區間值
h 1‧‧‧區間值
h 2‧‧‧區間值
h 3‧‧‧區間值
h 4‧‧‧區間值
h 5‧‧‧區間值
h 6‧‧‧區間值
h 7‧‧‧區間值
l‧‧‧元件子描述符
v0‧‧‧子描述符
v1‧‧‧子描述符
v2‧‧‧子描述符
v3‧‧‧子描述符
v4‧‧‧子描述符
v5‧‧‧子描述符
v6‧‧‧子描述符
v7‧‧‧子描述符
v8‧‧‧子描述符
v9‧‧‧子描述符
v10‧‧‧子描述符
v11‧‧‧子描述符
v12‧‧‧子描述符
v13‧‧‧子描述符
v14‧‧‧子描述符
v15‧‧‧子描述符
v 0‧‧‧元件
v 1‧‧‧元件
v 2‧‧‧元件
v 3‧‧‧元件
v 4‧‧‧元件
v 5‧‧‧元件
v 6‧‧‧元件
v 7‧‧‧元件
v 5,0‧‧‧元件
A‧‧‧變換式
B‧‧‧變換式
H‧‧‧影像描述符/SIFT局部影像描述符
R‧‧‧局部區域
SR‧‧‧子區域
V‧‧‧經變換描述符/整體局部描述符
將自以下用於基於一梯度統計圖而編碼一影像描述符之方法及相關影像處理裝置之特定參考附圖之詳細描述更加明白以上目標,其中:圖1a及圖1b展示先前技術關鍵點描述符之一實例;圖2a及圖2b分別展示圖1之關鍵點描述符之梯度統計圖及與梯度之該統計圖有關之區間值;圖3展示待被應用於圖2之梯度統計圖之示意性變換式;圖4a至圖4e展示針對五個各自目標描述符長度之示意性組之元件;圖5表示繪示使用圖4之元件組之一編碼器之操作之一流程圖;圖6展示由根據本發明之一方法使用之一元件利用順序;圖7繪示使用圖6之元件利用順序之一編碼器之操作;圖8展示一局部影像描述符之一區域及一子區域之中心;圖9展示根據本發明之一方法之一第一實施例或一第四實施例之一局部影像描述符之子描述符之一第一分組;圖12及圖14分別展示根據本發明之一方法之第一實施例之一局部影像描述符之子描述符之第二示意性分組及第三示意性分組;圖10、圖13及圖15分別展示與圖9、圖12、圖14及圖17之分組有關之第一群組元件利用順序、第二群組元件利用順序及第三群組元件利用順序;圖11繪示根據本發明之一方法之一第一實施例、第二實施例、或第四實施例之一編碼器之操作;圖16展示根據本發明之一方法之一第一實施例之一第四示意性分組; 圖17展示根據本發明之一方法之第二實施例及第三實施例之一局部影像描述符之子描述符之一第五示意性分組;圖18繪示根據本發明之一方法之第三實施例之使用圖17之元件利用順序之一編碼器之操作;圖19繪示根據本發明之一方法之一第四實施例之一編碼器之操作;圖20展示根據本發明之一方法之一第五實施例之一局部影像描述符之子描述符之一示意性分組;圖21a至圖21e展示根據圖20之分組之示意性組之元件;圖22a至圖22e分別展示當轉換成群組元件利用組時之圖21a至21e之元件組;圖23繪示用於編碼一描述符用以提供圖22a至22e之經轉換之組之元件之一編碼器之操作;圖24繪示適於執行根據本發明之方法之一影像處理器件。
根據本發明,一更有效編碼器並非根據具有不同描述符長度之元件利用組進行編碼,而是可根據一元件利用順序操作,從而產生一描述符,其根據元件利用順序而排序其之元件且其可藉由簡單描述符截斷而被轉換成更低描述符長度。此一元件利用順序可採用可依112位元組編碼之一128元件排序列表之形式,各列表項目指定一子描述符指數及一元件指數,如圖6中所繪示。所以,例如,圖6展示一元件優先權列表,藉此給予元件v 5,0最高優先權,給予元件v 9,0第二最高優先權等等。因此,此一元件利用順序編碼器可藉由編碼列表中之前l個元件而產生具有長度l之一描述符。
圖7繪示使用圖6之元件利用順序之此一編碼器之操作。在圖7之編碼器之情況下,描述符之編碼以在元件利用順序中具有最高優先權 (優先權1)之元件(即子描述符v 5之元件v 0)開始。在步驟S200中,根據此元件所屬之子描述符(例如根據圖3之變換式利用)而選擇適當變換式。應注意,根據如此處所描述之兩個不同變換式而自描述符H計算描述符V僅係一實例。在不同實施例中,亦可根據一單一變換式(例如僅變換式A或僅變換式B)(使步驟S200變得不必要)或根據兩個以上變換式而執行自描述符H計算描述符V。接著,在步驟S210中發生元件(即v 5,0)之編碼。接著,在步驟S220中,若描述符之一所要數目個l元件尚未被編碼,則處理移至在元件利用順序中具有第二高優先權之元件,否則處理結束。
因此,步驟S220係關於控制編碼多少元件,而步驟S200及步驟S210係關於局部影像描述符之實際編碼。因此,圖7之編碼器使用如圖6中之一元件利用順序來產生其之元件根據元件利用順序排序且其可藉由簡單描述符截斷(即消除描述符之最後元件)而被轉換為更低描述符長度之描述符,且比使用如圖4中之元件利用組之圖5之編碼器更靈活。
描述符中之元件l之數目可(可能)在影像級處與描述符共同被儲存/傳輸。出於轉碼、解碼及處理之目的,解碼器亦必須瞭解元件排序以能夠出於相關電腦視覺應用之目的而處理。因此,元件利用順序必須永久固定或與描述符共同儲存/傳輸。
然而,實際上,可改良圖7之編碼器之效率。此係因為圖6中所繪示之元件利用順序含有顯著量之冗餘且在一定程度上對產生及使用係不切實際的。
此原因係V之整組128個元件不對應於其之元件可根據一單一優先權列表而排序之一單一描述符,但對應於16個不同8元件子描述符,各子描述符根據一特定變換式而自一不同梯度統計圖提取,且使得全部子描述符之間之對應元件擷取具有相同角距之區間之間之關 係。
因此,已發現,在使用一有限組之元件達成一高辨識效能方面,一描述符需要在一均勻元件分佈(即自儘可能多的子描述符選擇元件)與自描述符中心之距離(即給予更接近描述符中心之子描述符更高優先權)之間取得一平衡。同時,亦發現,當子描述符至描述符中心之距離相同時,自不同子描述符之對應元件之重要性近似相同,而自不同子描述符之對應元件之重要性隨著子描述符至描述符中心之距離減少而增大。
在此背景下,一子描述符v至描述符中心之距離係指對應於梯度統計圖h(其導致子描述符v)之子區域之中心與包括子區域之區域之中心之間之距離,如圖8中所繪示。儘管可回頭參考影像區域及子區域之尺寸以計算該距離,然其係不必要的,此係由於其僅關注比較該等距離。因此可藉由假定各子區域之各側具有(例如)一單位長度而計算該等距離。此外,在此描述中,儘管亦可使用其他適合距離量測,然該等距離係歐幾里德距離。
因此,可以看出,出於有效編碼一影像描述符之目的,其之子描述符可被分組,使得將利用順序中之一共同重要性指派給針對各組之子描述符之對應描述符元件,且共同編碼該等對應描述符元件。
第一實施例
在本發明之一第一實施例中,根據子描述符自描述符中心之距離而分組子描述符。
例如,在圖9中繪示一此分組,其中存在三種群組,即g0={v0,v3,v12,v15},含有具有至描述符中心之最大距離之子描述符;g1={v1,v2,v4,v7,v8,v11,v13,v14},含有具有至描述符中心之第二大距離之子描述符;及g2={v5,v6,v9,v10},含有具有至描述符中心之最小距離之子描述符。在各群組內,儘管此係非限制性的且可使用其他順 序(諸如順時針方向,自群組中之最頂層最左邊子描述符開始),然依遞升子描述符指數順序排序子描述符。在各群組內,將相同編碼優先權指派給群組之子描述符之對應元件全部。
基於此分組,可產生一群組元件利用順序,其可採用可依15個位元組而編碼之一24元件排序列表之形式,各列表項目指定一子描述符群組及一元件指數,如圖10中所繪示。應注意,圖10之群組元件利用順序僅係一實例,且可藉由改變列表中之項目之優先權而產生不同群組元件利用順序。因此,在長度及編碼大小方面,圖10之群組元件利用順序比圖6之元件利用順序更經濟。所以,例如,圖10展示一群組元件優先權列表,藉此給予群組g2之元件v0最高優先權,指示編碼器首先編碼之四個元件係v 5,0v 6,0v 9,0v 10,0,給予群組g1之元件v 0第二高優先權,指示編碼器接著編碼之八個元件係v 1,0v 2,0v 4,0v 7,0v 8,0v 11,0v 13,0v 14,0等等。
圖11繪示使用圖10之群組元件利用順序且經組態以依該群組元件利用順序而編碼前m個群組之元件之此一編碼器之操作。在圖11之編碼器之情況下,描述符之編碼以在群組元件利用順序中具有最高優先權(優先權1)之元件之群組(即包括子描述符v5、v6、v9及v10之群組g2之元件v 0)開始。在步驟S300中,描述符之編碼在群組之第一子描述符(v5)處開始。在步驟S310中,(例如)根據圖3之變換式利用而選擇適當變換式用於子描述符。應注意,根據如此處所描述之兩個不同變換式而自描述符H計算描述符V僅係一實例。在不同實施例中,亦可根據一單一變換式(例如僅變換式A或僅變換式B,使步驟S310變得不必要)或根據兩個以上變換式而執行自描述符H計算描述符V。接著,在步驟S320中發生元件(即v 5,0)之編碼。在步驟S330中,若當前子描述符不是群組中之最後的子描述符,則處理移至下一個子描述符,否則處理移至步驟S340。接著,在步驟S340中,若所要數目個m個群組之元 件尚未被編碼,則處理移至在群組元件利用順序中具有第二高優先權之元件之群組,否則處理結束。因此,步驟S300、330及340係關於執行處理之順序且係關於控制編碼多少群組之元件,而步驟S310及320係關於局部影像描述符之實際編碼。
描述符中之群組m之數目或對應數目個元件l可(可能)在影像級處與描述符共同儲存/傳輸。
圖10之群組元件利用順序比圖6之元件利用順序更經濟之事實導致一更有效及經濟之編碼器。此外,如先前所見,出於轉碼、解碼及處理之目的,解碼器亦必須瞭解編碼程序及元件利用順序以能夠出於相關電腦視覺應用之目的而處理及比較描述符,此意指元件利用順序必須固定或與描述符共同傳輸。不同應用可需要(例如)藉由給予最接近描述符中心之子描述符更高優先權、或藉由給予一特定類別之元件(例如相對於v 2v 7)更高優先權而在影像或子影像級處改變元件利用順序,以便使用一有限組之元件達成高辨識效能。在此情況下,元件利用順序必須與描述符共同儲存或傳輸。考慮到,低位元率描述符通常在大小上係幾百位元組,圖10之群組元件利用順序表示比圖6之元件利用順序之一更低額外負擔。此外,子描述符分組可固定且為編碼器及解碼器兩者所熟知,或可與描述符共同傳輸。例如,針對至目前為止所考慮之分組,可依小於10個位元組而編碼群組之數目及各群組之組成之大小。
如根據本發明之一第一實施例之另一實例,在圖12中繪示一不同分組,其中存在兩個群組,即,g0={v0,v1,v2,v3,v4,v7,v8,v11,v12,v13,v14,v15},含有全部周邊子描述符;及g1={v5,v6,v9,v10},含有具有至描述符中心之最小距離之子描述符(即全部中心子描述符)。因此,在此實例之情況下,群組g0含有具有至描述符中心之變動距離之子描述符,但始終比群組g0之子描述符進一步遠離中心。在 各群組內,將相同編碼優先權指派給群組之子描述符之對應元件全部。基於此分組,可產生一群組元件利用順序,其可採用可依8個位元組而編碼之一16元件排序列表之形式,各列表項目指定一子描述符群組及一元件指數,如圖13中所繪示。接著,圖11之編碼器可根據圖13之群組元件利用順序再次用於編碼一描述符。應注意,圖13之群組元件利用順序僅係一實例,且可藉由改變列表中之項目之優先權而產生不同群組元件利用順序。
如根據本發明之一第一實施例之另一實例,在圖14中繪示一不同分組,其中存在四個群組,即g0={v0,v3,v12,v15},含有具有至描述符中心之最大距離之子描述符;g1={v1,v2,v4,v7},含有一組具有至描述符中心之第二大距離之四個子描述符;g2={v8,v11,v13,v14},含有一組再次具有至描述符中心之第二大距離之四個不同子描述符;及g3={v5,v6,v9,v10},含有具有至描述符中心之最小距離之子描述符。因此,在此實例之情況下,群組g1及g2之子描述符係具有自描述符之中心之相同距離。藉由將原始群組g1再分成新群組g1及g2而自圖9之分組獲得此分組。此優點係其導致具有相同數目個子描述符之群組,此在最佳化編碼器實施方案中為所要的。在各群組內,將相同編碼優先權指派給群組之子描述符之對應元件全部。基於此分組,可產生一群組元件利用順序,其可採用依20個位元組而編碼之一32元件排序列表之形式,各列表項目指定一子描述符群組及一元件指數,如圖15中所繪示。接著,圖11之編碼器可根據圖15之群組元件利用順序再次用於編碼一描述符。應注意,圖15之群組元件利用順序僅係一實例,且可藉由改變列表中之項目之優先權而產生不同群組元件利用順序。
明顯地,圖14之分組成四個群組並非唯一的。例如,在圖16中展示一替代分組,含有群組g0={v0,v3,v12,v15}、g1={v1,v2,v13, v14}、g2={v4,v7,v8,v11}及g3={v5,v6,v9,v10}。因此,在圖16中,群組g0及g3與圖14之該等群組相同,但與圖14相比,已交換g1及g2之子描述符,使得該等兩個群組之各者含有自子描述符格之左上方、右上方、左下方及右下方部分之一子描述符。
圖7之編碼器與圖11之編碼器之間之一差異在於:與產生具有任何長度之描述符之前者不同,後者允許編碼其之長度具有由子描述符群組決定之一粒度之描述符。實際上,後者可經組態以產生具有任何長度之描述符,如將稍後證實。
第二實施例
在本發明之一第二實施例中,首先根據子描述符自中心之距離(第一條件)及其次根據子描述符之相互距離(第二條件)而分組子描述符。
在此背景下,子描述符之間之距離可再次採用一歐幾里德距離之形式或另一適合距離量測,如曼哈坦距離。
第二條件可為(例如)一群組不應含有其彼此間之距離低於一預定臨限值之子描述符。因此,可設定預定臨限值以防止(例如)將鄰近子描述符分成一組。
第二條件之目的係確保(只要可能)自子描述符格之相對較遠位置獲取不同群組之子描述符,藉此增大具有極低數目個特徵之描述符之資訊內容。應注意,可能無法始終滿足第二條件,例如針對含有全部中心子描述符v5、v6、v9及v10之一群組係不可能滿足第二條件。
例如,在圖17中繪示一此分組,其中存在四個群組,即g0={v0,v3,v12,v15},含有具有至描述符中心之最大距離之子描述符;g1={v1,v7,v8,v14},含有一組具有至描述符中心之第二大距離之四個子描述符;g2={v2,v4,v11,v13},含有一組再次具有至描述符中心之第二大距離之四個不同子描述符;及g3={v5,v6,v9,v10},含有具有至 描述符中心之最小距離之子描述符。因此,在此實例之情況下,群組g0、g1及g2之子描述符滿足其等不含有鄰近子描述符之條件。在各群組內,將相同編碼優先權指派給群組之子描述符之對應元件全部。基於此分組,可產生一群組元件利用順序(諸如圖15中所繪示之群組元件利用順序),且一編碼器(諸如圖11中所繪示之編碼器)可再次根據圖15之群組元件利用順序用於編碼一描述符。
明顯地,亦可採用基於一群組內之子描述符之距離之替代條件,諸如最大化子描述符之間之總距離等等。
第三實施例
在本發明之一第三實施例中,根據子描述符自中心之距離而分組子描述符,且依根據其等之對應編碼特性(諸如其等之對應變換式)而界定之一序列編碼各群組之子描述符。
例如,考慮到本發明之第二實施例之圖17之分組與圖3之變換式部署型樣結合,可看見在各群組內,根據變換式A而變換兩個子描述符且根據變換式B而變換兩個子描述符。因此,設定一共同編碼序列條件係可能的,針對各群組,變換式利用序列必須為「A A B B」,即一編碼序列,藉此針對各子描述符群組,群組中之第一子描述符之變換式係變換式A,群組中之第二子描述符之變換式亦係變換式A,群組中之第三子描述符之變換式係變換式B,且群組中之第四子描述符之變換式亦係變換式B。因此,存在四個群組:g0={v0,v15,v3,v12},含有具有至描述符中心之最大距離之子描述符;g1={v7,v8,v1,v14},含有一組具有至描述符中心之第二大距離之四個子描述符;g2={v2,v13,v4,v11},含有一組再次具有至描述符中心之第二大距離之四個不同子描述符;及g3={v5,v10,v6,v9},含有具有至描述符中心之最小距離之子描述符。在各群組內,將相同編碼優先權指派給群組之子描述符之對應元件全部。此外,在各群組內,針對群組中之四個 子描述符之變換式利用資訊始終係「A A B B」,此意指一有效編碼器實施方案無需識別各子描述符之可應用的變換式。
圖18繪示使用圖15之群組元件利用順序且經組態以依該群組元件利用順序而編碼前m個群組之元件之此一編碼器之操作。使用圖18之編碼器,描述符之編碼依群組元件利用順序以具有最高優先權利(優先權1)之群組之元件(即包括子描述符v 5v 10v 6v 9之群組g 3之元件v 0)開始。在步驟S400中,描述符之編碼在群組之第一子描述符(即v 5)處開始。已知全部群組具有一共同及固定變換式利用順序,處理移至在其中發生元件(即v 5,0)之編碼之步驟S410。在步驟S420中,若當前子描述符不是群組中之最後一個子描述符,則處理移至下一個子描述符,否則處理移至步驟S430。接著,在步驟S430中,若所要數目個m群組之元件尚未被編碼,則處理移至在群組元件利用順序中具有第二高優先權之群組之元件,否則處理結束。因此,步驟S400、420及430係關於執行處理之順序且係關於控制編碼多少群組之元件,而僅步驟S410係關於局部影像描述符之實際編碼。
在以上描述中,在各群組內所利用之變換式上界定共同編碼序列條件,但亦可在其他編碼特性(諸如量化之類型及位準或其之組合)上界定此條件。
明顯地,若需要,則可將不同編碼序列條件應用於子描述符之不同群組。例如,在本發明之第一實施例中,根據圖9之分組導致三個群組,即g0,含有具有至描述符中心之最大距離之四個子描述符;g1,含有具有至描述符中心之第二大距離之八個子描述符;及g2,含有具有至描述符中心之最小距離之四個子描述符。在此情況下,由於不同群組大小,所以可將變換式利用序列必須為「A A B B」之一編碼序列條件應用於群組g0及g2,且可將變換式利用序列必須為「A A A A B B B B」之一不同編碼序列條件應用於群組g1
第四實施例
在本發明之一第四實施例中,根據子描述符自中心之距離而分組子描述符且根據其等之間之其等距離而排序各群組之子描述符。
排序條件可為(例如)一群組內之連續子描述符之間之距離不應低於一預定臨限值。因此,可設定預定臨限值以防止(例如)一群組內之連續鄰近子描述符。一不同排序條件可為(例如)最大化一群組內之連續子描述符之間之距離。
當採用較大子描述符群組時,此排序尤其有益於減小群組元件利用順序之大小及部分群組編碼,如下文所解釋。應注意,此類型之排序可能無法始終可行,例如含有全部中心子描述符v 5v 6v 9v 10之一群組不可能不具有連續鄰近描述符。
例如,考慮到圖9中所繪示之分組,可看見各群組內之子描述符可經排序以最大化連續子描述符之間之距離,自群組內具有最低指數之子描述符開始,導致群組g0={v0,v15,v3,v12}、g1={v1,v14,v2,v13,v7,v8,v11,v4}及g2={v5,v10,v6,v9}。在各群組內,將相同編碼優先權指派給群組之子描述符之對應元件全部。
基於各群組內之子描述符之此分組及排序,可產生一群組元件利用順序(諸如圖10中所繪示之群組元件利用順序),接著,一編碼器(諸如圖11中所繪示之編碼器)可再次根據圖10之群組元件利用順序用於編碼一描述符。替代地,可採用一編碼器(諸如圖19中所繪示之編碼器)。
更特定而言,圖7之編碼器與圖11及圖18之編碼器之間之一差異在於:與產生具有任何長度之描述符之前者不同,後者允許編碼其之長度具有由子描述符群組決定之一粒度之描述符。然而,實際上,圖11及圖18之編碼器之各者可容易經組態以藉由當已達到所要描述符長度時部分編碼最後一群組之元件而編碼具有任何長度之描述符。在此 背景下,圖19展示圖11之編碼器之此一修改。本質上,藉由僅交換圖11之編碼器之步驟S330與340而獲得圖19之編碼器,允許所要數目個元件一經編碼,圖19之編碼器就終止一群組之編碼。明顯地,亦可將一類似修改應用於圖18之編碼器。
在此背景下,一群組內之子描述符根據子描述符之間之距離之排序係非常有利的,此係由於其導致自子描述符格(在一群組之部分編碼的情況下,增大具有較低數目個特徵之描述符之資訊內容)之相對較遠之位置獲取連續元件。
第五實施例
本發明之先前實施例證實根據一群組元件利用順序之影像描述符之有效編碼,群組元件利用順序基於子描述自描述符中心之距離及/或其等彼此間之距離由將子描述符分組成子描述符群組而引起。
在本發明之一替代實施例中,可分組子描述符使得一群組內之各子描述符具有與一群組內之全部其他子描述符相同之一元件利用組。
例如,考慮圖20之分組,其中存在四個群組,即g0={v5,v6,v9,v10}、g1={v1,v7,v8,v14}、g2={v2,v4,v11,v13}及g3={v0,v3,v12,v15}。此係如圖17中相同之分組,但其中重新指派群組指數(即已交換g0與g3),使得具有更低指數之群組含有更接近描述符中心之子描述符。組合此分組與圖4a至圖4e之元件利用組導致圖21a至21e之群組元件利用組。
由於針對各描述符長度之所利用之元件組必須與針對全部更高描述符長度之所利用之元件組相同或成為該元件組之一子集,圖21a至圖21e之群組元件利用組可轉換成遞增群組元件利用組,如圖22a至圖22e中所繪示,其中針對各描述符長度(例如圖22c之DL2),對應元件利用組僅展示(比較緊接更低描述符長度(例如圖22b之DL1))組成具 有該描述符長度之描述符之額外元件。
基於圖22a至圖22e之遞增群組元件利用組,一編碼器可產生可藉由簡單描述符截斷而被轉換為更低描述符長度之描述符。
圖23繪示用於編碼具有長度DLk之一描述符之此一編碼器之操作。更具體而言,在步驟S600中,處理藉由編碼具有最低描述符長度之描述符(即DL0)開始。在步驟S610中,DL0描述符之編碼以編碼第一子描述符群組(即g0)開始,且在步驟S620中,編碼第一子描述符群組以編碼第一元件(即v 0)開始。在步驟S630中,若元件v 0根據圖22之遞增群組元件利用組而不用於在描述符長度DL0處之g0,則處理移至步驟S680,否則處理移至步驟S640。在步驟S640中,選擇群組g0之第一子描述符(即v5),且在步驟S650中,例如根據圖3選擇適當的變換式函數。應注意,根據如此處所描述之兩個不同變換式自描述符H計算描述符V僅係一實例。在不同實施例中,亦可根據一單一變換式(例如僅變換式A或僅變換式B)(使步驟S650變得不必要)或根據兩個以上變換式而執行自描述符H計算描述符V。接著在步驟660中,發生元件v 5,0之編碼。在步驟670中,若當前子描述符不是群組中之最後一個描述符,則處理移至群組中下一個子描述符,否則處理移至步驟S680。在步驟S680中,若當前元件不是最後一個元件(即v 7),則處理移至下一個元件,否則處理移至步驟S690。在步驟S690中,若當前子描述符群組不是最後一個子描述符群組,則處理移至下一個子描述符群組,否則處理移至步驟S695。在步驟S695中,若當前子描述符長度不是目標子描述符長度,則處理移至下一個子描述符長度,編碼由遞增群組元件利用組指定之額外元件。否則,處理結束。
儘管詳細呈現本發明之態樣及實施例用於自一SIFT影像描述符計算穩固、區別性的、可縮放及緊密影像描述符,然可基於梯度統計圖而將本發明應用於其他影像描述符,如在尚未發表之意大利專利申 請案第TO2012A000602號中所概述。
僅舉例而言,圖24繪示用於執行根據本發明之方法之一概念上的影像處理裝置。更具體而言,處理裝置1100自輸入裝置1000(其可採用一使用者輸入裝置、一媒體讀取器或經傳輸之信號之一接收器之形式)接收輸入,其可包括視覺資料(諸如影像或視訊資料)、基於梯度統計圖之經預先計算之描述符、根據本發明之方法之經預先計算之緊密描述符、程式化指令或使用者輸入。處理裝置1100包括一中央處理單元1110之主處理區塊,中央處理單元1110控制其他處理區塊、揮發性記憶體1120、非揮發性記憶體1130、(視情況)經組態以基於梯度統計圖而產生描述符之一描述符萃取器區塊1140、經組態以執行根據本發明之方法之一緊密描述符編碼器區塊1150及(視情況)經組態以處理該等緊密描述符之一緊密描述符處理器區塊1160以(例如)建立或確認視覺對應性。處理裝置1100經連接至輸出裝置1900,該輸出裝置可採用一視覺顯示單元、一媒體寫入器或一信號發射器之形式,其提供可包括經註解之視覺資料(諸如影像或視訊資料)、處理資訊(諸如經建立或確認之視覺對應性)或根據本發明之方法之緊密描述符之輸出。應瞭解,圖24中所示之處理區塊及架構僅係概念上的,且可能無法精確對應於實施根據本發明之方法之每一裝置。
文中所描述之用於基於一梯度統計圖而編碼一影像描述符之方法及一相關影像處理裝置(舉例而言)在不背離發明理念之新穎精神之情況下可經受諸多可能變動;亦明確指出,在本發明之實際實施方案中,所繪示之細節可具有不同形狀或由其他技術等效元件替代。
因此,可容易瞭解,本發明不限於用於基於一梯度統計圖而編碼一影像描述符之方法及一相關影像處理裝置,但在不背離發明理念之情況下可經受諸多修改、改良或等效部件及元件之替代,如以下申請專利範圍中所清楚指定。
S100‧‧‧步驟
S110‧‧‧步驟
S120‧‧‧步驟
S130‧‧‧步驟
S140‧‧‧步驟
S150‧‧‧步驟
S160‧‧‧步驟

Claims (22)

  1. 一種用於基於梯度統計圖(hp)將一影像描述符(H)編碼成一經變換描述符(V)之方法,該經變換描述符包括經變換之子描述符(vp),其中各梯度統計圖(hp)包括複數個統計圖區間(h i )且各子描述符(vp)包括一組值(v j ),其特徵為:該等子描述符(vp)根據指定該組子描述符(vp)之一子描述符指數(p)及該組值(v j )之一元件指數(j)之一元件利用順序列表而產生。
  2. 如請求項1之方法,其中該等子描述符(vp)根據其等自一影像描述符中心之距離而被分組成子描述符群組,且其中在各子描述符群組內,將在該元件利用順序列表中之一相同編碼優先權指派給一子描述符群組之對應值(v j )全部。
  3. 如請求項2之方法,其中該等子描述符(vp)經分組成含有具有至該影像描述符中心之最小距離之全部該等子描述符之一第一群組及含有全部該等剩餘子描述符之一第二群組。
  4. 如請求項2之方法,其中該等子描述符(vp)經分組成含有具有自該描述符中心之最大距離之該等子描述符之一第一群組、含有具有至該描述符中心之第二大距離之一第一組子描述符之一第二群組、含有具有至該描述符中心之該第二大距離之一第二組子描述符之一第三群組及含有具有至該描述符中心之該最小距離之該等子描述符之一第四群組。
  5. 如請求項4之方法,其中該第一群組、該第二群組、該第三群組及該第四群組含有相同數目個子描述符。
  6. 如請求項1之方法,其中該等子描述符(vp)根據其等自一影像描述符中心之距離及根據其等之相互距離而被分組成子描述符群組,且其中在各子描述符群組內,將在該元件利用順序列表中 之一相同編碼優先權指派給一子描述符群組之對應值(v j )全部。
  7. 如請求項6之方法,其中該等子描述符(vp)經分組成含有具有自該描述符中心之該最大距離之該等子描述符之一第一群組、含有具有至該描述符中心之該第二大距離之一第一組子描述符之一第二群組、含有具有至該描述符中心之該第二大距離之一第二組子描述符之一第三群組及含有具有至該描述符中心之該最小距離之該等子描述符之一第四群組。
  8. 如請求項6之方法,其中一子描述符群組不含有其等彼此間之距離低於一預定臨限值之子描述符。
  9. 如請求項6之方法,其中該等相互距離包括最大化子描述符之間之總距離。
  10. 如請求項1之方法,其中該等子描述符(vp)根據其等自一影像描述符中心之距離而被分組成子描述符群組,且根據其等之相互距離而排序,且其中在各子描述符群組內,將該元件利用順序列表中之一相同編碼優先權指派給一子描述符群組之對應值(v j )全部。
  11. 如請求項10之方法,其中一子描述符群組不含有其之距離低於一預定臨限值之連續子描述符。
  12. 如請求項10之方法,其中該等相互距離包括最大化連續子描述符之間之該距離。
  13. 如請求項1之方法,其中該等子描述符(vp)根據其等自一影像描述符中心之距離而被分組成子描述符群組,且依根據其等之對應編碼特性而界定之一序列編碼各群組之該等子描述符,且其中在各子描述符群組內,將該元件利用順序列表中之一相同編碼優先權指派給一子描述符群組之對應值(v j )全部。
  14. 如請求項13之方法,其中該等編碼特性係對應變換式。
  15. 如請求項14之方法,其中針對各子描述符群組,該群組中之一第一子描述符之該變換式係一第一類型之變換式(A),該群組中之一第二子描述符之該變換式係該第一類型之變換式(A),該群組中之一第三子描述符之該變換式係一第二類型之變換式(B)且該群組中之一第四子描述符之該變換式係該第二類型之變換式(B)。
  16. 如請求項13之方法,其中該等編碼特性係量化之類型及位準或其之組合。
  17. 如請求項2之方法,其中給予一特定類別之值更高優先權。
  18. 如請求項2之方法,其中給予最接近該描述符中心之該等子描述符群組更高優先權。
  19. 如請求項2至18之方法,其中該元件利用列表與該影像描述符共同儲存或傳輸。
  20. 如請求項1至19之用於編碼一影像描述符(H)之方法,其中該影像描述符經轉換成具有藉由截斷該描述符之一或多個最後元件之一減小之長度之一描述符。
  21. 如請求項1之用於編碼一影像描述符之方法,其中該元件利用順序採用一16或24或32或128元件排序列表之形式。
  22. 一種影像處理裝置,該裝置包括用於執行如請求項1至21中任一項之方法之構件。
TW103124152A 2013-07-24 2014-07-14 用於基於一梯度統計圖編碼一影像描述符之方法及相關影像處理裝置 TWI576770B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT000629A ITTO20130629A1 (it) 2013-07-24 2013-07-24 Method for encoding an image descriptor based on a gradient histogram and relative image processing apparatus

Publications (2)

Publication Number Publication Date
TW201514865A true TW201514865A (zh) 2015-04-16
TWI576770B TWI576770B (zh) 2017-04-01

Family

ID=49226413

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103124152A TWI576770B (zh) 2013-07-24 2014-07-14 用於基於一梯度統計圖編碼一影像描述符之方法及相關影像處理裝置

Country Status (16)

Country Link
US (1) US9779320B2 (zh)
EP (2) EP3633547A1 (zh)
JP (2) JP6514200B2 (zh)
KR (1) KR102175697B1 (zh)
CN (3) CN110365979A (zh)
AR (1) AR097052A1 (zh)
BR (1) BR112016001479B1 (zh)
DK (1) DK3025274T3 (zh)
ES (1) ES2776196T3 (zh)
HU (1) HUE048315T2 (zh)
IT (1) ITTO20130629A1 (zh)
PL (1) PL3025274T3 (zh)
PT (1) PT3025274T (zh)
RU (3) RU2678668C2 (zh)
TW (1) TWI576770B (zh)
WO (1) WO2015011612A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI655608B (zh) * 2016-05-26 2019-04-01 聯發科技股份有限公司 標示關注區域之方法與裝置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20130629A1 (it) * 2013-07-24 2015-01-25 Sisvel Technology Srl Method for encoding an image descriptor based on a gradient histogram and relative image processing apparatus
KR102466214B1 (ko) * 2020-05-08 2022-11-10 한국기술교육대학교 산학협력단 부품의 3차원 모델 분류 방법, 이를 위한 컴퓨터 프로그램 및 장치
CN111931794B (zh) * 2020-09-16 2021-03-09 中山大学深圳研究院 一种基于草图的图像匹配方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6865295B2 (en) * 2001-05-11 2005-03-08 Koninklijke Philips Electronics N.V. Palette-based histogram matching with recursive histogram vector generation
GB2418555A (en) * 2004-09-23 2006-03-29 Mitsubishi Electric Inf Tech Representing an image using descriptors based on colour information
WO2009085336A1 (en) * 2007-12-27 2009-07-09 Inc. Arbor Labs System and method for advertisement delivery optimization
US8054170B1 (en) * 2008-09-30 2011-11-08 Adobe Systems Incorporated Characterizing and representing images
US20120265768A1 (en) * 2008-10-08 2012-10-18 Mitsubishi Electric Corporation Encoding and decoding method and apparatus for multimedia signatures
WO2010055399A1 (en) * 2008-11-12 2010-05-20 Nokia Corporation Method and apparatus for representing and identifying feature descriptors utilizing a compressed histogram of gradients
WO2011044497A2 (en) * 2009-10-09 2011-04-14 Edgenet, Inc. Automatic method to generate product attributes based solely on product images
RU2427911C1 (ru) * 2010-02-05 2011-08-27 Фирма "С1 Ко., Лтд." Способ обнаружения лиц на изображении с применением каскада классификаторов
HUE051391T2 (hu) * 2010-04-13 2021-03-01 Ge Video Compression Llc Szignifikancia térképek és transzformációs együttható blokkok kódolása
CN101894261B (zh) * 2010-06-29 2012-05-02 武汉大学 一种多对比度模式直方图纹理描述子提取方法
US8428397B1 (en) * 2010-08-26 2013-04-23 Adobe Systems Incorporated Systems and methods for large scale, high-dimensional searches
TW201222288A (en) * 2010-11-22 2012-06-01 Inst Information Industry Image retrieving system and method and computer program product thereof
JP6044547B2 (ja) * 2011-11-18 2016-12-14 日本電気株式会社 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム
US8593452B2 (en) * 2011-12-20 2013-11-26 Apple Inc. Face feature vector construction
EP2801055B1 (en) * 2012-01-02 2016-04-20 Telecom Italia S.p.A. Method and system for image analysis
US9442959B2 (en) * 2012-06-28 2016-09-13 Adobe Systems Incorporated Image search refinement using facets
ITTO20120602A1 (it) 2012-07-09 2014-01-10 Sisvel Technology Srl Method for transforming an image descriptor based on a gradient histogram and relative image processing apparatus.
ITTO20130629A1 (it) * 2013-07-24 2015-01-25 Sisvel Technology Srl Method for encoding an image descriptor based on a gradient histogram and relative image processing apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI655608B (zh) * 2016-05-26 2019-04-01 聯發科技股份有限公司 標示關注區域之方法與裝置
US10360721B2 (en) 2016-05-26 2019-07-23 Mediatek Inc. Method and apparatus for signaling region of interests

Also Published As

Publication number Publication date
RU2698765C2 (ru) 2019-08-29
DK3025274T3 (da) 2020-02-24
CN105493106A (zh) 2016-04-13
CN110365979A (zh) 2019-10-22
RU2678668C2 (ru) 2019-01-30
BR112016001479A2 (zh) 2017-07-25
ES2776196T3 (es) 2020-07-29
JP6745939B2 (ja) 2020-08-26
JP6514200B2 (ja) 2019-05-15
EP3025274B1 (en) 2020-01-08
US9779320B2 (en) 2017-10-03
PT3025274T (pt) 2020-02-21
TWI576770B (zh) 2017-04-01
RU2019125322A (ru) 2021-02-09
ITTO20130629A1 (it) 2015-01-25
EP3025274A1 (en) 2016-06-01
RU2019101654A (ru) 2019-03-11
RU2016105699A (ru) 2017-08-29
EP3633547A1 (en) 2020-04-08
US20160162749A1 (en) 2016-06-09
HUE048315T2 (hu) 2020-07-28
WO2015011612A1 (en) 2015-01-29
JP2019135667A (ja) 2019-08-15
CN110298367A (zh) 2019-10-01
CN105493106B (zh) 2019-09-10
RU2016105699A3 (zh) 2018-06-15
KR102175697B1 (ko) 2020-11-09
JP2016525752A (ja) 2016-08-25
KR20160034990A (ko) 2016-03-30
BR112016001479B1 (pt) 2022-07-19
RU2019101654A3 (zh) 2019-07-17
PL3025274T3 (pl) 2020-06-15
AR097052A1 (es) 2016-02-17

Similar Documents

Publication Publication Date Title
JP6745939B2 (ja) 勾配ヒストグラムに基づいて画像記述子を符号化する方法および関連する画像処理装置
CN101647288B (zh) 生成数据流并识别在数据流内的位置
Korodi et al. An efficient normalized maximum likelihood algorithm for DNA sequence compression
CN100553152C (zh) 基于cabac的编码方法和设备及解码方法和设备
Duan et al. Compact descriptors for visual search
JP6292454B2 (ja) 勾配ヒストグラムに基づいて画像記述子を変換する方法および関連する画像処理装置
CN102098508B (zh) 多媒体签名的编码和解码
CN109783691B (zh) 一种深度学习和哈希编码的视频检索方法
WO2013073621A1 (ja) 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム
US20170185712A1 (en) A method of storing/reconstructing a multitude of sequences in/from a data storage structure
CN103155554A (zh) 通过基于图像内容搜索和分级在视频压缩中对至参考块的链接进行编码
CN110442749B (zh) 视频帧处理方法及装置
JP5499894B2 (ja) 画像処理装置および画像処理方法
CN114780781B (zh) 一种基于模糊聚类和非对称距离计算的乘积量化方法
JP6195365B2 (ja) ベクトル符号化プログラム、装置及び方法
WO2016110125A1 (zh) 高维向量的哈希方法、向量量化方法及装置
CN109698702B (zh) 基因测序数据压缩预处理方法、系统及计算机可读介质
JP5706824B2 (ja) マルチメディアシグネチャのための符号化及び復号の方法及び装置
CN117743639A (zh) 基于有监督对比学习的跨模态视频-文本哈希检索方法
JP2010258927A (ja) 符号データ処理装置、方法及びプログラム
JP2006270821A (ja) 符号化装置及び符号化方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees