TWI499921B - Near duplicate images computer for a method and apparatus - Google Patents

Near duplicate images computer for a method and apparatus Download PDF

Info

Publication number
TWI499921B
TWI499921B TW099106633A TW99106633A TWI499921B TW I499921 B TWI499921 B TW I499921B TW 099106633 A TW099106633 A TW 099106633A TW 99106633 A TW99106633 A TW 99106633A TW I499921 B TWI499921 B TW I499921B
Authority
TW
Taiwan
Prior art keywords
picture
group
color
given
pictures
Prior art date
Application number
TW099106633A
Other languages
English (en)
Other versions
TW201131392A (en
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to TW099106633A priority Critical patent/TWI499921B/zh
Publication of TW201131392A publication Critical patent/TW201131392A/zh
Application granted granted Critical
Publication of TWI499921B publication Critical patent/TWI499921B/zh

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

近重複圖片的計算機查找方法和裝置
本發明係關於數位圖像處理領域,尤其關於一種近重複圖片的電腦查找方法和裝置。
目前,對於給定的兩張圖片,判斷這兩張圖片是否相同具體採用如下圖像特徵提取法:首先,提取兩張圖片的圖像特徵,圖像特徵可以視為圖片的簽名;然後,比較兩張圖片的簽名是否完全匹配,若是,則判斷兩張圖片相同,否則,判斷兩張圖片不相同。
上述方法中,提取的圖片的圖像特徵為該圖片的顔色直方圖向量。顔色直方圖向量的具體提取方法如下:首先,選擇一種顔色空間,如RGB空間,並將顔色空間進行量化,量化後的結果是若干種顔色;然後,統計圖片的全部區域或部分區域中每一種顔色對應的圖元個數,形成顔色直方圖;最後,將形成的所有顔色直方圖拼成一個向量,作為圖片的簽名。
在需要從多張圖片中查找與給定圖片相同的圖片時,具體做法是,按照上述圖像特徵提取法判斷給定圖片與多張圖片中的各張圖片是否相同,並將判斷相同的圖片作為查找結果。
在實現本發明的過程中,發明人發現現有技術中存在如下技術問題:
其一,在從多張圖片中查找與給定圖片相同的圖片時,需要將給定圖片與多張圖片中的每一張圖片進行比較,比較過程涉及圖像特徵提取等複雜過程,實現效率較低。
其二,利用上述圖像特徵提取法並不能判斷兩張圖片是否為近重複圖片,因為在圖片的局部顔色發生不大的變化時,例如在圖片中嵌入了浮水印,圖片的圖像特徵也會發生變化。因此也就無法從多張圖片中查找與給定圖片為近重複圖片的圖片。近重複圖片是指,兩張圖片的主體內容基本相同,只是由於人工加入小面積的標誌或浮水印,或是由於圖片縮放等原因而引起了少量差異,將這兩張圖片稱為近重複圖片。
本發明之實施例提供一種近重複圖片查找方法和裝置,以及一種近重複圖片的電腦查找方法和裝置,用於提高從多張圖片中查找給定圖片的近重複圖片的效率。
本發明之實施例提供一種近重複圖片的電腦查找方法,該方法包括:將資料庫中儲存的多張待分組圖片讀入記憶體;將讀入記憶體的多張待分組圖片劃分為多個分組,劃分為多個分組後同一分組中圖片的主顔色相同;將每一個分組儲存在硬碟上不同的分組資料庫中;將給定圖片讀入記憶體;從硬碟上查找所儲存圖片的主顔色與給定圖片的主顔色相同的分組資料庫,並將查找到的分組資料庫中的圖片讀入記憶體;將從分組資料庫中讀入記憶體的圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
本發明之實施例提供一種近重複圖片的電腦查找方法,該方法包括:將資料庫中儲存的多張待分組圖片讀入記憶體;將讀入記憶體的多張待分組圖片劃分為多個分組,劃分為多個分組後同一分組中圖片的主顔色相同;對於所述多個分組中的各分組,確定該分組中圖片的顔色特徵向量,利用聚類演算法按照該分組中各圖片的顔色特徵向量間的距離,將該分組中的圖片劃分為多個分組,並將該多個分組保存在硬碟上;將給定圖片讀入記憶體;從硬碟上查找所包含圖片的主顔色與給定圖片的主顔色相同、並且與給定圖片的顔色特徵向量的距離最近的分組,並將該分組中的圖片讀入記憶體;將從硬碟上讀入記憶體的圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
本發明之實施例提供一種近重複圖片的電腦查找方法,該方法包括:將多張待分組圖片讀入記憶體;確定讀入記憶體的各待分組圖片的顔色特徵向量;利用聚類演算法按照所述多張待分組圖片的顔色特徵向量間的距離,將所述多張待分組圖片劃分為多個分組,並將該多個分組保存在硬碟上;將給定圖片讀入記憶體;從硬碟上查找與所述給定圖片的顔色特徵向量的距離最近的分組,並將查找到的分組中的圖片讀入記憶體;將從硬碟讀入記憶體的圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
本發明之實施例提供一種近重複圖片查找方法,該方法包括:將多張待分組圖片劃分為多個分組,劃分為多個分組後同一分組中圖片的主顔色相同;從所述多個分組中查找所包含圖片的主顔色與給定圖片的主顔色相同的分組;將查找到的分組中所包含圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
本發明之實施例提供一種近重複圖片查找方法,該方法包括:將多張待分組圖片劃分為多個分組,劃分為多個分組後同一分組中圖片的主顔色相同;對於所述多個分組中的各分組,確定該分組中圖片的顔色特徵向量,利用聚類演算法按照該分組中各圖片的顔色特徵向量間的距離,將該分組中的圖片劃分為多個分組;從當前各分組中查找所包含圖片的主顔色與給定圖片的主顔色相同、並且與給定圖片的顔色特徵向量的距離最近的分組;將查找到的分組中所包含圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
本發明之實施例提供一種近重複圖片查找方法,該方法包括:確定多張待分組圖片中各待分組圖片的顔色特徵向量;利用聚類演算法按照所述多張待分組圖片的顔色特徵向量間的距離,將所述多張待分組圖片劃分為多個分組;從所述多個分組中查找與給定圖片的顔色特徵向量的距離最近的分組;將查找到的分組中所包含圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
本發明之實施例提供一種近重複圖片查找裝置,該裝置包括:分組單元,用於將多張待分組圖片劃分為多個分組,劃分為多個分組後同一分組中圖片的主顔色相同;查找單元,用於從所述多個分組中查找所包含圖片的主顔色與給定圖片的主顔色相同的分組;匹配單元,用於將所述查找單元查找到的分組中所包含圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
本發明之實施例提供一種近重複圖片查找裝置,該裝置包括:第一分組單元,用於將多張待分組圖片劃分為多個分組,劃分為多個分組後同一分組中圖片的主顔色相同;向量確定單元,用於對於所述多個分組中的各分組,確定該分組中圖片的顔色特徵向量;第二分組單元,用於對於所述多個分組中的各分組,利用聚類演算法按照該分組中各圖片的顔色特徵向量間的距離,將該分組中的圖片劃分為多個分組;查找單元,用於從所述第二分組單元分組後的各分組中查找所包含圖片的主顔色與給定圖片的主顔色相同、並且與給定圖片的顔色特徵向量的距離最近的分組;匹配單元,用於將所述查找單元查找到的分組中所包含圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
本發明之實施例提供一種近重複圖片查找裝置,該裝置包括:向量確定單元,用於確定多張待分組圖片中各待分組圖片的顔色特徵向量;分組單元,用於利用聚類演算法按照所述多張待分組圖片的顔色特徵向量間的距離,將所述多張待分組圖片劃分為多個分組;查找單元,用於從所述多個分組中查找與給定圖片的顔色特徵向量的距離最近的分組;匹配單元,用於將所述查找單元查找到的分組中所包含圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
本發明中,根據圖片的主顔色和/或顔色特徵向量將多張待分組圖片進行分組,在各分組中查找所包含圖片的主顔色與給定圖片的主顔色相同和/或與給定圖片的顔色特徵向量的距離最近的分組,將查找到的分組中所包含的各圖片與給定圖片進行圖像特徵的匹配,將匹配結果滿足設定的近重複圖片判定條件的圖片確定為給定圖片的近重複圖片。由於首先將多張待分組圖片分組,在各分組中查找到滿足一定條件的分組後,只將滿足條件的分組中的圖片與給定圖片進行匹配,而不是將所有待分組圖片均與給定圖片進行匹配來確定給定圖片的近重複圖片,能夠有效地提高查找給定圖片的近重複圖片的效率。
為了以較高的效率實現從多張圖片中查找到與給定圖片為近重複圖片的圖片,本發明之實施例提供圖片查找方法,該方法中,根據圖片的主顔色和/或顔色特徵向量將多張待分組圖片進行分組,然後查找所包含圖片的主顔色與給定圖片的主顔色相同和/或與給定圖片的顔色特徵向量的距離最近的分組,最後將該分組中所包含的各圖片與給定圖片進行圖像特徵的匹配,將匹配成功的圖片確定為給定圖片的近重複圖片。
圖片的主顔色,是指該圖片上對應圖元點個數最多的顔色,具體確定方法可以為:首先,選擇一種RGB空間作為顔色空間,將該顔色空間量化到M種顔色;然後,統計量化後的每種顔色在圖片上對應的圖元點個數;最後,選擇圖元點個數最多的顔色作為該圖片的主顔色。這裏,M的取值為大於1的整數,例如512、256、1024等。顔色空間是指,為了使各種顔色能按照一定的排列次序並容納在一個空間內,將三維坐標軸與顔色的三個獨立參數對應起來,使每一個顔色都有一個對應的空間位置,反過來,在空間中的任何一點都代表一個特定的顔色,將這個空間稱為顔色空間。
圖片的顔色特徵向量,是指一種或多種顔色在該圖片上對應圖元點個數構成的向量。圖片的顔色特徵向量的確定方法可以為:首先,將圖片劃分為N塊;然後,對於劃分後N塊中的每一塊,統計該塊上設定種顔色對應的圖元點個數;最後,將統計得到的各圖元點個數構成的向量確定為該圖片的顔色特徵向量。這裏,N的取值為大於1的整數,例如9、4、16等。設定種顔色可以是一種或多種顔色,例如紅、黃、藍三基色,也可以是量化後的M種顔色中的一種或多種顔色。
圖片的顔色特徵向量的確定方法還可以為:直接統計圖片上設定種顔色對應的圖元點個數,將統計得到的各圖元點個數構成的向量確定為該圖片的顔色特徵向量。
圖片的圖像特徵,是指對該圖片內容的描述資訊。圖片的圖像特徵可以有多種,例如,圖片的顔色特徵向量和/或圖片的主顔色率等。圖片的主顔色率的確定方法如下:首先,將選定的顔色空間量化到M種顔色,M為大於1的整數;然後,統計該圖片上M種顔色中各顔色對應的圖元點個數,計算統計得到的最大圖元點個數占該圖片上圖元點個數總和的比例,將計算結果作為該圖片的主顔色率。
本發明之實施例提供的圖片查找方法具體包括以下三種實施例:
實施例一:
本實施例中,根據圖片的主顔色將多張待分組圖片進行分組,參見圖1,具體包括以下步驟:步驟10:將多張待分組圖片劃分為多個分組,劃分為多個分組後同一分組中圖片的主顔色相同;步驟11:從多個分組中查找所包含圖片的主顔色與給定圖片的主顔色相同的分組;步驟12:將查找到的分組中所包含圖片的圖像特徵與給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為給定圖片的近重複圖片。
步驟12中,在將查找到的分組中所包含圖片的圖像特徵與給定圖片的圖像特徵進行匹配之前,需要提取查找到的分組中所包含圖片和給定圖片中各圖片的主顔色率和/或顔色特徵向量等作為該圖片的圖像特徵。
近重複圖片判定條件可以有以下兩種:
第一種,給定圖片的顔色特徵向量與查找到的分組中圖片的顔色特徵向量的距離為0,並且給定圖片的主顔色率與查找到的分組中圖片的主顔色率之差小於設定的主顔色率門限值;主顔色率門限值在0到1之間取值。
第二種,給定圖片的顔色特徵向量與查找到的分組中圖片的顔色特徵向量的距離小於設定的距離門限值、以及給定圖片和查找到的分組中圖片的主顔色率均小於設定的第一主顔色率門限值、並且給定圖片的主顔色率與查找到的分組中圖片的主顔色率之差小於設定的第二主顔色率門限值。距離門限值的取值為大於0的自然數,第一主顔色率門限值和第二主顔色率門限值在0到1之間取值,並且第一主顔色率門限值大於第二主顔色率門限值。
下面結合具體電腦應用對本實施例進行說明:步驟a1:將資料庫中儲存的多張待分組圖片讀取到記憶體中;步驟a2:對讀取到記憶體中的每一張待分組圖片,確定該圖片的主顔色;根據圖片的主顔色將將讀入記憶體的多張待分組圖片劃分為多個分組,同一分組中圖片的主顔色相同,將每一個分組儲存在硬碟上不同的分組資料庫中,並建立主顔色標識與分組資料庫位址的對應關係表A;計算每一張待分組圖片的圖像特徵,建立圖片標識與圖像特徵的對應關係表B,將對應關係表A和B存放在硬碟上;步驟a3:將給定圖片和對應關係表A、B讀入記憶體;確定給定圖片的主顔色,從對應關係表A中查找給定圖片的主顔色的標識對應的分組資料庫位址,從硬碟上讀取該分組資料庫位址對應的分組資料庫中保存的所有圖片到記憶體;步驟a4:從對應關係表B中查找從分組資料庫中讀取到的各個圖片的標識對應的圖像特徵,將給定圖片的圖像特徵分別與查找到各個圖像特徵分別進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖像特徵對應的圖片,確定為給定圖片的近重複圖片。
實施例二:
本實施例中,根據圖片的主顔色和顔色特徵向量將多張待分組圖片進行分組,參見圖2,具體包括以下步驟:步驟20:將多張待分組圖片劃分為多個分組,劃分為多個分組後同一分組中圖片的主顔色相同;步驟21:對於多個分組中的各分組,確定該分組中圖片的顔色特徵向量,利用聚類演算法按照該分組中各圖片的顔色特徵向量間的距離,將該分組中的圖片分為多組;步驟22:從多組中查找所包含圖片的主顔色與給定圖片的主顔色相同、並且與給定圖片的顔色特徵向量的距離最近的分組;步驟23:將查找到的分組中所包含圖片的圖像特徵與給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為給定圖片的近重複圖片。
步驟21中,利用聚類演算法按照一分組中各圖片的顔色特徵向量間的距離,將該分組中的圖片分為多組,假設該分組為分組A,其具體實現方法如下:步驟S01:將分組A作為當前圖片分組,將當前圖片分組中圖片的主顔色設置為圖片簽名樹的子樹的根節點,將該根節點作為當前父節點;步驟S02:利用聚類演算法按照當前圖片分組中各圖片的顔色特徵向量間的距離,將當前圖片分組中各圖片的顔色特徵向量分為K組,K為大於1的整數;步驟S03:對於K組中的每一組,若該組不滿足設定的分組停止條件,則到步驟S04,否則,到步驟S05;步驟S04:將該組中各顔色特徵向量的聚類中心設置為當前父節點的子節點,並將該分組作為當前圖片分組,將所述子節點作為當前父節點,返回步驟S02;步驟S05:將該組中各顔色特徵向量對應的圖片設置為當前父節點的子節點,並將該子節點所包含各圖片構成的分組,確定為利用聚類演算法按照分組A中各圖片的顔色特徵向量間的距離,將分組A中的圖片分為多組後的一個分組。
步驟S02中,聚類演算法是一種將多個同類元素進行分組的演算法,具體的,將給定的一個有N個元素的資料集分成K組,分組後每一個分組至少包含一個元素,且每一個元素屬於且僅屬於一個分組。對於給定的K,演算法首先給出一個初始的分組方法,以後通過反複疊代的方法將上一次的分組繼續進行分組,使得本次的分組結果較之前一次的分組結果好,好的標準是:同一分組中元素的距離越來越近,而不同分組中元素的距離越來越遠。聚類演算法有K-MEANS演算法、GCS演算法等。本發明中是利用聚類演算法將圖片的顔色特徵向量進行分組,兩個顔色特徵向量的距離是指該兩個顔色特徵向量的分量差的平方和,例如,向量A為(a1,b1,c1),向量B為(a2,b2,c2),則向量A和向量B的距離為(a1-a2)2 +(b1-b2)2 +(c1-c2)2
步驟S03中,分組停止條件可以有多種,舉例說明,可以包括以下三種中的一種或任意組合:第一種,分組中包含的顔色特徵向量的個數小於設定的向量數門限值,該向量數門限值為大於1的整數;第二種,分組中各顔色特徵向量到該分組中各顔色特徵向量的聚類中心的距離均小於設定的距離門限值,該距離門限值為不小於0的自然數;第三種,分組的分裂次數超過設定的分裂數門限值,分組的分裂次數是指從待分組圖片到得到該分組的時間段內執行分組操作的次數。分裂數門限值的取值為不小於1的整數。
步驟S04中,分組的聚類中心是根據該分組中所包含的所有顔色特徵向量確定的另一顔色特徵向量,該顔色特徵向量到該分組中所包含的所有顔色特徵向量的距離小於其他分組中任意一個顔色特徵向量到該分組中所包含的所有顔色特徵向量的距離。
步驟22中,從當前各分組中查找所包含圖片的主顔色與給定圖片的主顔色相同、並且與給定圖片的顔色特徵向量的距離最近的分組,其實現方法如下:步驟S11:在上述建立的圖片簽名樹中查找根節點為給定圖片的主顔色的子樹,將該子樹的根節點作為當前父節點;步驟S12:在所述子樹中查找當前父節點的子節點,對於查找到的各子節點,若該子節點為中間節點,則到步驟S13;若該子節點為葉子節點,則到步驟S14;步驟S13:判斷該中間節點的顔色特徵向量與給定圖片的顔色特徵向量的距離是否滿足設定條件,若是,則將該中間節點作為當前父節點,返回步驟S12,否則,停止查找操作;步驟S14:將該葉子節點所包含各圖片構成的分組,確定為所包含圖片的主顔色與給定圖片的主顔色相同、並且與給定圖片的顔色特徵向量的距離最近的分組。
步驟S13中,設定條件可以為以下兩種:第一種,該中間節點的顔色特徵向量與給定圖片的顔色特徵向量的距離小於預先設定的距離閾值,該距離閾值的取值為大於0的自然數;第二種,該中間節點的顔色特徵向量與給定圖片的顔色特徵向量的距離為查找到的各中間節點的顔色特徵向量與給定圖片的顔色特徵向量的距離中的最小值。例如查找到當前父節點的4個中間節點,該4個中間節點的顔色特徵向量與給定圖片的顔色特徵向量的距離分別為1、2、3和4,則確定距離為1的中間節點為符合設定條件的節點。
步驟23中,在將查找到的分組中所包含圖片的圖像特徵與給定圖片的圖像特徵進行匹配之前,需要提取查找到的分組中所包含圖片和給定圖片中各圖片的主顔色率和/或顔色特徵向量等作為該圖片的圖像特徵。近重複圖片判定條件與步驟12中的近重複圖片判定條件相同,這裏不再贅述。
下面以具體實例對上述方法進行說明:假設待分組圖片包含10張圖片,建立這10張圖片的圖片簽名樹即將這10張圖片進行分組的流程如下:步驟S21:將待分組圖片分為2組,每組中包含5張圖片,第1組所包含圖片的主顔色均為紅色,第2組所包含圖片的主顔色均為藍色;確定每組中各圖片的顔色特徵向量;步驟S22:將步驟S21中分組後的第1組中圖片的主顔色設置為圖片簽名樹的一個子樹的根節點,將該根節點作為當前父節點;利用聚類演算法按照第1組中各圖片的顔色特徵向量間的距離,將第1組中各圖片的顔色特徵向量分為2組,分組後第1組中包含2個圖片的顔色特徵向量,第2組中包含3個圖片的顔色特徵向量;步驟S23:對於步驟S22中分組後的第1組,由於該組滿足設置的分組停止條件:向量的數目小於3,將第1組包含的2個圖片的主顔色率和顔色特徵向量設置為當前父節點的子節點;對於步驟S22中分組後的第2組,該組不滿足設置的分組停止條件,將第2組中3個顔色特徵向量的聚類中心設置為當前父節點的子節點,將該子節點作為當前父節點;步驟S24:對於步驟S22中分組後的第2組,利用聚類演算法按照該組中各圖片的顔色特徵向量間的距離,將該組中各圖片的顔色特徵向量分為2組,分組後第1組中包含1個圖片的顔色特徵向量,第2組中包含2個圖片的顔色特徵向量;步驟S25:對於步驟S24中分組後的2組,由於這2組均滿足設置的分組停止條件:向量的數目小於3,將第1組包含的1個圖片的主顔色率和顔色特徵向量設置為當前父節點的一個子節點,將第2組包含的2個圖片的主顔色率和顔色特徵向量設置為當前父節點的另一個子節點;步驟S26:將步驟S21中分組後的第2組中圖片的主顔色設置為圖片簽名樹的一個子樹的根節點,將該根節點作為當前父節點;利用聚類演算法按照第2組中各圖片的顔色特徵向量間的距離,將第2組中各圖片的顔色特徵向量分為2組,分組後第1組中包含1個圖片的顔色特徵向量,第2組中包含4個圖片的顔色特徵向量;步驟S27:對於步驟S26中分組後的第1組,由於該組滿足設置的分組停止條件:向量的數目小於3,將第1組包含的1個圖片的主顔色率和顔色特徵向量設置為當前父節點的子節點;對於步驟S26中分組後的第2組,該組不滿足設置的分組停止條件,將第2組中4個顔色特徵向量的聚類中心設置為當前父節點的子節點,將該子節點作為當前父節點;步驟S28:對於步驟S26中分組後的第2組,利用聚類演算法按照該組中各圖片的顔色特徵向量間的距離,將該組中4個圖片的顔色特徵向量分為2組,分組後第1組中包含2個圖片的顔色特徵向量,第2組中也包含2個圖片的顔色特徵向量;步驟S29:對於步驟S28中分組後的2組,由於這2組均滿足設置的分組停止條件:向量的數目小於3,將第1組包含的2個圖片的主顔色率和顔色特徵向量設置為當前父節點的一個子節點,將第2組包含的2個圖片的主顔色率和顔色特徵向量設置為當前父節點的另一個子節點。
至此,10個待分組圖片的圖片簽名樹建立完畢,如圖3所示,由於該圖片簽名樹具有6個葉子節點,因此,10個待分組圖片被分為6組。
現需要從如圖3所示的圖片簽名樹中查找到一主顔色為紅色的給定圖片的近重複圖片,具體實現流程如下:步驟S31:在圖片簽名樹中查找根節點為紅色的子樹,將查找到的子樹的根節點作為當前父節點;步驟S32:查找當前父節點的子節點,查找到2個子節點,其中一個位元組點為中間節點,另一個子節點為葉子節點;步驟S33:對於步驟S32中查找到的葉子節點,將該葉子節點中各圖片的圖像特徵與給定圖片的圖像特徵進行匹配,匹配發現給定圖片的顔色特徵向量與該葉子節點中一個圖片的顔色特徵向量的距離為0,並且給定圖片的主顔色率與葉子節點中該圖片的主顔色率之差小於設定的主顔色率門限值,將葉子節點中的該圖片確定為查找到給定圖片的近重複圖片;步驟S34:對於步驟S32中查找到的中間節點,判斷該中間節點的顔色特徵向量與給定圖片的顔色特徵向量的距離不滿足設定條件:該距離小於設定的距離門限值,不在繼續查找。
下面結合具體電腦應用對本實施例進行說明:步驟b1:將資料庫中儲存的多張待分組圖片讀取到記憶體中;步驟b2:對讀取到記憶體中的每一張待分組圖片,計算每一張待分組圖片的圖像特徵,建立圖片標識與圖像特徵的對應關係表A,將對應關係表A存放在硬碟上;步驟b3:根據圖片的主顔色將讀入記憶體的多張待分組圖片劃分為多個分組,同一分組中圖片的主顔色相同;對於各個分組,根據步驟S01~步驟S05的演算法,建立圖片簽名樹;將建立的圖片簽名樹保存在硬碟上;步驟b4:將給定圖片、對應關係表A和圖片簽名樹讀入記憶體;從對應關係表A中查找給定圖片的標識對應的圖像特徵;根據步驟S11~步驟S14的演算法,在硬碟上保存的圖片簽名樹中查找所包含圖片的主顔色與給定圖片的主顔色相同、並且與給定圖片的顔色特徵向量的距離最近的葉子節點,將該葉子節點中的圖片讀入記憶體;步驟b5:從對應關係表A中查找上一步驟從葉子節點讀入記憶體的各個圖片的標識對應的圖像特徵,將給定圖片的圖像特徵分別與查找到的各個圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖像特徵對應的圖片,確定為給定圖片的近重複圖片。
實施例三:
本實施例中,根據圖片的顔色特徵向量將多張待分組圖片進行分組,參見圖4,具體包括以下步驟:步驟40:確定多張待分組圖片中各待分組圖片的顔色特徵向量;步驟41:利用聚類演算法按照多張待分組圖片的顔色特徵向量間的距離,將多張待分組圖片劃分為多個分組;步驟42:從多個分組中查找與給定圖片的顔色特徵向量的距離最近的分組;步驟43:將查找到的分組中所包含圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
步驟41中,利用聚類演算法按照多張待分組圖片的顔色特徵向量間的距離,將多張待分組圖片劃分為多個分組,其實現方法可以如下:步驟S41:設置圖片簽名樹的根節點,並將該根節點作為當前父節點;將多張待分組圖片構成的分組作為當前圖片分組;步驟S42:利用聚類演算法按照當前圖片分組中各圖片的顔色特徵向量間的距離,將當前圖片分組中各圖片的顔色特徵向量分為K組,K為大於1的整數;步驟S43:對於K組中的每一組,若該組不滿足設定的分組停止條件,則到步驟S44,否則,到步驟S45;步驟S44:將該組中各顔色特徵向量的聚類中心設置為當前父節點的子節點,並將該分組作為當前圖片分組,將所述子節點作為當前父節點,返回步驟S42;步驟S45:將該組中各顔色特徵向量對應的圖片設置為當前父節點的子節點,並將該子節點所包含各圖片構成的分組,確定為利用聚類演算法按照多張待分組圖片的顔色特徵向量間的距離,將多張待分組圖片劃分為多個分組後的一個分組。
步驟S43中,分組停止條件與步驟S03中的分組停止條件相同,這裏不再贅述。
步驟42中,從多個分組中查找與給定圖片的顔色特徵向量的距離最近的分組,其實現方法如下:步驟S51:將建立的圖片簽名樹的根節點作為當前父節點;步驟S52:在圖片簽名樹中查找當前父節點的子節點,對於查找到的各子節點,若該子節點為中間節點,則到步驟S53;若該子節點為葉子節點,則到步驟S54;步驟S53:判斷該中間節點的顔色特徵向量與給定圖片的顔色特徵向量的距離是否滿足設定條件,若是,則將該中間節點作為當前父節點,返回步驟S52,否則,停止查找操作;步驟S54:將該葉子節點所包含各圖片構成的分組,確定為與給定圖片的顔色特徵向量的距離最近的分組。
步驟S53中,設定條件與步驟S13中的設定條件相同,這裏不再贅述。
步驟43中,在將查找到的分組中所包含圖片的圖像特徵與給定圖片的圖像特徵進行匹配之前,需要提取查找到的分組中所包含圖片和給定圖片中各圖片的主顔色率和/或顔色特徵向量等作為該圖片的圖像特徵。近重複圖片判定條件與步驟12中的近重複圖片判定條件相同,這裏不再贅述。
下面結合具體電腦應用對本實施例進行說明:步驟c1:將資料庫中儲存的多張待分組圖片讀取到記憶體中;步驟b2:對讀取到記憶體中的每一張待分組圖片,計算每一張待分組圖片的圖像特徵,建立圖片標識與圖像特徵的對應關係表A,將對應關係表A存放在硬碟上;步驟b3:根據步驟S41~步驟S45的演算法,建立圖片簽名樹;將建立的圖片簽名樹保存在硬碟上;步驟b4:將給定圖片、對應關係表A和圖片簽名樹讀入記憶體;從對應關係表A中查找給定圖片的標識對應的圖像特徵;根據步驟S51~步驟S54的演算法,在硬碟上保存的圖片簽名樹中查找與給定圖片的顔色特徵向量的距離最近的葉子節點,將該葉子節點中的圖片讀入記憶體;步驟b5:從對應關係表A中查找上一步驟讀入記憶體的各個圖片的標識對應的圖像特徵,將給定圖片的圖像特徵分別與查找到的各個圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖像特徵對應的圖片,確定為給定圖片的近重複圖片。
下面舉例說明本發明的具體應用場景:步驟c1:用戶將輸入的給定圖片或通過網際網路搜索到的給定圖片提交給用戶端的近重複圖片查找系統;步驟c2:近重複圖片查找系統按照實施例一~實施例三中的方法連入網際網路的伺服器上搜索給定圖片的近重複圖片,連入網際網路的伺服器中保存有按照實施例一~實施例三中的方法建立的圖片簽名樹;步驟c3:近重複圖片查找系統將搜索到的近重複圖片返回並展現在用戶所在的用戶端上。
參見圖5,本發明之實施例提供一種圖片查找裝置,該裝置包括:分組單元50,用於將多張待分組圖片劃分為多個分組,劃分為多個分組後同一分組中圖片的主顔色相同;查找單元51,用於從所述多個分組中查找所包含圖片的主顔色與給定圖片的主顔色相同的分組;匹配單元52,用於將所述查找單元查找到的分組中所包含圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
所述近重複圖片判定條件包括:所述給定圖片的顔色特徵向量與查找到的分組中圖片的顔色特徵向量的距離為0,並且所述給定圖片的主顔色率與查找到的分組中圖片的主顔色率之差小於設定的主顔色率門限值;或者,所述給定圖片的顔色特徵向量與查找到的分組中圖片的顔色特徵向量的距離小於設定的距離門限值、以及所述給定圖片和查找到的分組中圖片的主顔色率均小於設定的第一主顔色率門限值、並且所述給定圖片的主顔色率與查找到的分組中圖片的主顔色率之差小於設定的第二主顔色率門限值。
參見圖6,本發明之實施例還提供一種圖片查找裝置,該裝置包括:第一分組單元60,用於將多張待分組圖片劃分為多個分組,劃分為多個分組後同一分組中圖片的主顔色相同;向量確定單元61,用於對於所述多個分組中的各分組,確定該分組中圖片的顔色特徵向量;第二分組單元62,用於對於所述多個分組中的各分組,利用聚類演算法按照該分組中各圖片的顔色特徵向量間的距離,將該分組中的圖片劃分為多個分組;查找單元63,用於從所述第二分組單元分組後的各分組中查找所包含圖片的主顔色與給定圖片的主顔色相同、並且與給定圖片的顔色特徵向量的距離最近的分組;匹配單元64,用於將所述查找單元查找到的分組中所包含圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
所述第二分組單元62包括:子樹建立單元,用於對於所述多個分組中的各分組,將該分組作為當前圖片分組及第一分組,將當前圖片分組中圖片的主顔色設置為圖片簽名樹的子樹的根節點,將該根節點作為當前父節點,觸發聚類分組單元;聚類分組單元,用於利用聚類演算法按照當前圖片分組中各圖片的顔色特徵向量間的距離,將當前圖片分組中各圖片的顔色特徵向量分為K組,K為大於1的整數,觸發遞迴建立單元;遞迴建立單元,用於對於K組中的每一組,判斷該組是否滿足設定的分組停止條件,若是,則觸發葉子節點建立單元;否則,觸發中間節點建立單元;中間節點建立單元,用於將該組中各顔色特徵向量的聚類中心設置為當前父節點的子節點,並將該分組作為當前圖片分組,將所述子節點作為當前父節點,觸發聚類分組單元;葉子節點建立單元,用於將該組中各顔色特徵向量對應的圖片設置為當前父節點的子節點,並將該子節點所包含各圖片構成的分組,確定為利用聚類演算法按照第一分組中各圖片的顔色特徵向量間的距離,將第一分組中的圖片劃分為多個分組後的一個分組。
所述分組停止條件包括以下三種中的一種或任意組合:分組中包含的顔色特徵向量的個數小於設定的向量數門限值;分組中各顔色特徵向量到該分組中各顔色特徵向量的聚類中心的距離均小於設定的距離門限值;分組的分裂次數超過設定的分裂數門限值,所述分組的分裂次數是從所述待分組圖片到得到該分組的時間段內執行分組操作的次數。
所述查找單元63包括:第一查找單元,用於在所述圖片簽名樹中查找根節點為給定圖片的主顔色的子樹,將所述子樹的根節點作為當前父節點;第二查找單元,用於在所述子樹中查找當前父節點的子節點,對於查找到的各子節點,若該子節點為中間節點,則觸發中間節點處理單元;若該子節點為葉子節點,則觸發葉子節點處理單元;中間節點處理單元,用於判斷該中間節點的顔色特徵向量與所述給定圖片的顔色特徵向量的距離是否滿足設定條件,若是,則將該中間節點作為當前父節點,觸發第二查找單元,否則,停止查找操作;葉子節點處理單元,用於將該葉子節點所包含各圖片構成的分組,確定為所包含圖片的主顔色與給定圖片的主顔色相同、並且與給定圖片的顔色特徵向量的距離最近的分組。
所述設定條件為:所述距離小於預先設定的距離閾值;或者,所述距離為查找到的各中間節點的顔色特徵向量與所述給定圖片的顔色特徵向量的距離中的最小值。
所述近重複圖片判定條件包括:所述給定圖片的顔色特徵向量與查找到的分組中圖片的顔色特徵向量的距離為0,以及所述給定圖片的主顔色率與查找到的分組中圖片的主顔色率之差小於設定的主顔色率門限值;或者,所述給定圖片的顔色特徵向量與查找到的分組中圖片的顔色特徵向量的距離小於設定的距離門限值,以及所述給定圖片和查找到的分組中圖片的主顔色率均小於設定的第一主顔色率門限值、並且所述給定圖片的主顔色率與查找到的分組中圖片的主顔色率之差小於設定的第二主顔色率門限值。
參見圖7,本發明之實施例還提供一種圖片查找裝置,該裝置包括:向量確定單元70,用於確定多張待分組圖片中各待分組圖片的顔色特徵向量;分組單元71,用於利用聚類演算法按照所述多張待分組圖片的顔色特徵向量間的距離,將所述多張待分組圖片劃分為多個分組;查找單元72,用於從所述多個分組中查找與給定圖片的顔色特徵向量的距離最近的分組;匹配單元73,用於將所述查找單元查找到的分組中所包含圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片。
所述分組單元71包括:初始化單元,用於設置圖片簽名樹的根節點,並將該根節點作為當前父節點;將所述多張待分組圖片構成的分組作為當前圖片分組;聚類分組單元,用於利用聚類演算法按照當前圖片分組中各圖片的顔色特徵向量間的距離,將當前圖片分組中各圖片的顔色特徵向量分為K組,K為大於1的整數;遞迴建立單元,用於對於K組中的每一組,判斷該組是否滿足設定的分組停止條件,若是,則觸發葉子節點建立單元;否則,觸發中間節點建立單元;中間節點建立單元,用於將該組中各顔色特徵向量的聚類中心設置為當前父節點的子節點,並將該分組作為當前圖片分組,將所述子節點作為當前父節點,觸發聚類分組單元;葉子節點建立單元,用於將該組中各顔色特徵向量對應的圖片設置為當前父節點的子節點,並將該子節點所包含各圖片構成的分組,確定為利用聚類演算法按照所述多張待分組圖片的顔色特徵向量間的距離,將所述多張待分組圖片劃分為多個分組後的一個分組。
分組停止條件包括以下三種中的一種或任意組合:分組中包含的顔色特徵向量的個數小於設定的向量數門限值;分組中各顔色特徵向量到該分組中各顔色特徵向量的聚類中心的距離均小於設定的距離門限值;分組的分裂次數超過設定的分裂數門限值,所述分組的分裂次數是從所述待分組圖片到得到該分組的時間段內執行分組操作的次數。
所述查找單元72包括:第一查找單元,用於將所述圖片簽名樹的根節點作為當前父節點,在所述圖片簽名樹中查找當前父節點的子節點,對於查找到的各子節點,若該子節點為中間節點,則觸發中間節點處理單元;若該子節點為葉子節點,則觸發葉子節點處理單元;中間節點處理單元,用於判斷該中間節點的顔色特徵向量與所述給定圖片的顔色特徵向量的距離是否滿足設定條件,若是,則將該中間節點作為當前父節點,觸發第一查找單元,否則,停止查找操作;葉子節點處理單元,用於將該葉子節點所包含各圖片構成的分組,確定為與給定圖片的顔色特徵向量的距離最近的分組。
所述設定條件為:所述距離小於預先設定的距離閾值;或者,所述距離為查找到的各中間節點的顔色特徵向量與所述給定圖片的顔色特徵向量的距離中的最小值。
所述近重複圖片判定條件包括:所述給定圖片的顔色特徵向量與查找到的分組中圖片的顔色特徵向量的距離為0,以及所述給定圖片的主顔色率與查找到的分組中圖片的主顔色率之差小於設定的主顔色率門限值;或者,所述給定圖片的顔色特徵向量與查找到的分組中圖片的顔色特徵向量的距離小於設定的距離門限值,以及所述給定圖片和查找到的分組中圖片的主顔色率均小於設定的第一主顔色率門限值、並且所述給定圖片的主顔色率與查找到的分組中圖片的主顔色率之差小於設定的第二主顔色率門限值。
綜上,本發明的有益效果包括:本發明之實施例提供的方案中,首先根據圖片的主顔色和/或顔色特徵向量將多張待分組圖片進行分組,然後,在各分組中查找所包含圖片的主顔色與給定圖片的主顔色相同和/或與給定圖片的顔色特徵向量的距離最近的分組,最後,只將查找到的分組中所包含的各圖片與給定圖片進行圖像特徵的匹配,將匹配結果滿足設定的近重複圖片判定條件的圖片確定為給定圖片的近重複圖片。由於首先將多張待分組圖片分組,在各分組中查找到滿足一定條件的分組後,只將滿足條件的分組中的圖片與給定圖片進行匹配,從而確定給定圖片的近重複圖片,而不是將所有待分組圖片均與給定圖片進行匹配來確定給定圖片的近重複圖片,能夠有效地提高查找給定圖片的近重複圖片的效率。
顯然,本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣,倘若本發明的這些修改和變型屬於本發明之申請專利範圍及其等同技術的範圍之內,則本發明也意圖包含這些改動和變型在內。
50...分組單元
51...查找單元
52...匹配單元
60...第一分組單元
61...向量確定單元
62...第二分組單元
63...查找單元
64...匹配單元
70...向量確定單元
71...分組單元
72...查找單元
73...匹配單元
圖1為本發明之實施例一的方法流程示意圖;
圖2為本發明之實施例二的方法流程示意圖;
圖3為本發明之實施例二中建立的圖片簽名樹的結構示例圖;
圖4為本發明之實施例三的方法流程示意圖;
圖5為本發明之實施例提供的一種裝置的結構示意圖;
圖6為本發明之實施例提供的另一種裝置的結構示意圖;
圖7為本發明之實施例提供的又一種裝置的結構示意圖。

Claims (3)

  1. 一種近重複圖片的電腦查找方法,其特徵在於,該方法包括:讀取資料庫中儲存的多張待分組圖片;將讀取的所述多張待分組圖片劃分為多個分組,其中:劃分為多個分組後同一分組中圖片的主顏色相同;且所述多張待分組圖片劃分為多個分組包括:選定圖片的顏色空間;將所述顏色空間量化到多種顏色;計算對應至該圖片的每一顏色的像素的數量:以及將對應至數量最多的像素的顏色識別為該主顏色;將每一個分組圖片儲存在不同的分組資料庫中;讀取給定圖片;查找所儲存圖片的主顏色與給定圖片的主顏色相同的分組資料庫,並讀取查找到的分組資料庫中的圖片;將從分組資料庫中讀取的圖片的圖像特徵與所述給定圖片的圖像特徵進行匹配,並識別匹配結果滿足預先設定的近重複圖片判定條件的圖片為所述給定圖片的近重複圖片;以及決定所述給定圖片之一及該分組的一個以上的該圖片 之主顏色率,其中決定該主顏色率包括:計算對應至該圖片的多種顏色的像素的數量;在圖片中尋找相較於該圖片中的其他顏色的像素數量具有較高數量之像素的顏色:以及計算具有較高數量的該圖片中的該顏色之像素的比率以及該圖片中像素的總種數量;以及其中該近重複圖片判定條件包含:該給定圖片之顏色特徵向量與分組的圖片之顏色特徵向量間的距離小於第一預設閾值,該給定圖片的該主顏色率及該分組中之圖片的主顏色率間的距離小於第二預設閾值,以及該給定圖片的該主顏色率以及在分組中圖片的主色率間的差異小於第三預設閾值;其中該第二預設閾值的值大於該第三預設閾值的值。
  2. 如申請專利範圍第1項之方法,其中,所述給定圖片為用戶輸入的圖片或用戶通過網際網路搜索得到的圖片。
  3. 如申請專利範圍第1項之方法,其中,在將匹配結果滿足預先設定的近重複圖片判定條件的圖片確定為所述給定圖片的近重複圖片之後,該方法進一步包括:將所述近重複圖片展現給用戶。
TW099106633A 2010-03-08 2010-03-08 Near duplicate images computer for a method and apparatus TWI499921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW099106633A TWI499921B (zh) 2010-03-08 2010-03-08 Near duplicate images computer for a method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW099106633A TWI499921B (zh) 2010-03-08 2010-03-08 Near duplicate images computer for a method and apparatus

Publications (2)

Publication Number Publication Date
TW201131392A TW201131392A (en) 2011-09-16
TWI499921B true TWI499921B (zh) 2015-09-11

Family

ID=50180355

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099106633A TWI499921B (zh) 2010-03-08 2010-03-08 Near duplicate images computer for a method and apparatus

Country Status (1)

Country Link
TW (1) TWI499921B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325712B (zh) * 2020-01-20 2024-01-23 北京百度网讯科技有限公司 用于检测图像有效性的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW540008B (en) * 1999-02-05 2003-07-01 Samsung Electronics Co Ltd Color image processing method and apparatus thereof
US20060253491A1 (en) * 2005-05-09 2006-11-09 Gokturk Salih B System and method for enabling search and retrieval from image files based on recognized information
US20070239756A1 (en) * 2006-03-28 2007-10-11 Microsoft Corporation Detecting Duplicate Images Using Hash Code Grouping
TWI291110B (en) * 2005-09-29 2007-12-11 Univ Nat Cheng Kung Method of establishing a way of picture classification by hierarchical association rule

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW540008B (en) * 1999-02-05 2003-07-01 Samsung Electronics Co Ltd Color image processing method and apparatus thereof
US20060253491A1 (en) * 2005-05-09 2006-11-09 Gokturk Salih B System and method for enabling search and retrieval from image files based on recognized information
TWI291110B (en) * 2005-09-29 2007-12-11 Univ Nat Cheng Kung Method of establishing a way of picture classification by hierarchical association rule
US20070239756A1 (en) * 2006-03-28 2007-10-11 Microsoft Corporation Detecting Duplicate Images Using Hash Code Grouping

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾逸鴻、黃吉緯,"整合多搜尋方法之影像資料庫檢索系統",科學與工程技術期刊,第五卷第三期,民國98年 *

Also Published As

Publication number Publication date
TW201131392A (en) 2011-09-16

Similar Documents

Publication Publication Date Title
JP5463415B2 (ja) 準複製画像検索のための方法およびシステム
US11727053B2 (en) Entity recognition from an image
CN109257604A (zh) 一种基于tmc3点云编码器的颜色属性编码方法
JP5916886B2 (ja) 画像特徴の類似性に基づく画像索引作成
Djelouah et al. Multi-view object segmentation in space and time
Duan et al. Compact descriptors for visual search
EP2710518B1 (en) Scalable query for visual search
CN110019876B (zh) 数据查询方法、电子设备及存储介质
US20130046793A1 (en) Fast matching of image features using multi-dimensional tree data structures
CN109902547B (zh) 动作识别方法和装置
CN104700402A (zh) 基于场景三维点云的视觉定位方法及装置
WO2021175040A1 (zh) 视频处理方法及相关装置
CN103942778A (zh) 一种主成分特征曲线分析的快速视频关键帧提取方法
CN112561976A (zh) 一种图像主颜色特征提取方法、图像检索方法、存储介质及设备
WO2012167618A1 (en) System and method for compact descriptor for visual search
TWI499921B (zh) Near duplicate images computer for a method and apparatus
JP2016118971A (ja) 画像特徴量登録装置、方法及びプログラム
CN109446408B (zh) 检索相似数据的方法、装置、设备及计算机可读存储介质
CN104850600A (zh) 一种用于搜索包含人脸的图片的方法和装置
CN104794210A (zh) 一种结合视觉显著性与短语的图像检索方法
JP2014225168A (ja) 特徴点集合で表される画像間の類似度を算出するプログラム、装置及び方法
CN110400349B (zh) 基于随机森林的小场景下机器人导航跟踪恢复方法
Lyu et al. Hierarchically structured multi-view features for mobile visual search
CN107870923B (zh) 图像检索方法和装置
Burdescu et al. Multimedia data for efficient detection of visual objects

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees