TWI761851B - 圖像處理方法、圖像處理裝置、電子設備和電腦可讀儲存媒體 - Google Patents
圖像處理方法、圖像處理裝置、電子設備和電腦可讀儲存媒體 Download PDFInfo
- Publication number
- TWI761851B TWI761851B TW109119433A TW109119433A TWI761851B TW I761851 B TWI761851 B TW I761851B TW 109119433 A TW109119433 A TW 109119433A TW 109119433 A TW109119433 A TW 109119433A TW I761851 B TWI761851 B TW I761851B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- features
- images
- similarity
- cluster
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本發明涉及一種圖像處理方法、圖像處理裝置、電子設備和電腦可讀儲存媒體,其中所述方法包括獲取圖像數據集,所述圖像數據集包括多個圖像以及分別與所述多個圖像關聯的第一索引,所述第一索引用於確定所述圖像中的對象的時空數據;對所述圖像數據集中的圖像執行分布式聚類處理,得到至少一個聚類;基於得到的所述聚類中的圖像所關聯的第一索引,確定所述聚類對應的對象的時空軌跡訊息。本發明實施例可實現快速有效的獲得對象的時空軌跡。
Description
本申請要求在2019年8月15日提交中國專利局、申請號爲201910755628.5、發明名稱爲“圖像處理方法及裝置、電子設備和存儲介質”的中國專利申請的優先權,其全部內容通過引用結合在本申請中。
本發明涉及電腦視覺技術領域,尤其涉及一種圖像處理方法、圖像處理裝置、電子設備和電腦可讀儲存媒體。
隨著平安城市的建設,城市級的監控系統每天都在産生著海量的抓拍人臉圖片。這些人臉數據具有規模大、時間和區域分布廣等特點。因此,如果能夠從抓拍的圖片中有效的挖掘出與圖片中相應的對象的軌跡訊息,具有重要意義。
本發明提供了一種圖像處理的技術方案。
根據本發明的一方面,提供了一種圖像處理方法,其包括:獲取圖像數據集,所述圖像數據集包括多個圖像以及分別與所述多個圖像關聯的第一索引,所述第一索引用於確定所述圖像中的對象的時空數據;對所述圖像數據集中的圖像執行分布式聚類處理,得到至少一個聚類;基於得到的所述聚類中的圖像所關聯的第一索引,確定所述聚類對應的對象的時空軌跡訊息。
在一些可能的實施方式中,所述方法還包括:獲取輸入圖像的圖像特徵;對所述輸入圖像的圖像特徵執行量化處理,得到所述輸入圖像的量化特徵;基於所述輸入圖像的量化特徵以及所述分布式聚類處理得到的所述至少一個聚類的類中心,確定所述輸入圖像所在的聚類。
在一些可能的實施方式中,所述基於所述輸入圖像的量化特徵以及所述分布式聚類處理得到的所述至少一個聚類的類中心,確定所述輸入圖像所在的聚類,包括:獲取所述輸入圖像的量化特徵與所述分布式聚類處理得到的所述至少一個聚類的類中心的量化特徵之間的第三相似度;確定與所述輸入圖像的量化特徵之間的第三相似度最高的K3個類中心,K3爲大於或者等於1的整數;獲取所述輸入圖像的圖像特徵與所述K3個類中心的圖像特徵之間的第四相似度;響應於所述K3個類中心中任一類中心的圖像特徵與所述輸入圖像的圖像特徵之間的第四相似度最高且該第四相似度大於第三閾值,將所述輸入圖像加入至所述任一類中心對應的聚類。
在一些可能的實施方式中,所述基於所述輸入圖像的量化特徵以及所述分布式聚類處理得到的所述聚類的類中心,確定所述輸入圖像所在的聚類,還包括響應於不存在與所述輸入圖像的圖像特徵之間的第四相似度大於第三閾值的類中心,基於所述輸入圖像的量化特徵以及所述圖像數據集中的圖像的量化特徵執行所述分布式聚類處理,得到至少一個新的聚類。
在一些可能的實施方式中,所述第一索引包括以下訊息中的至少一種:所述圖像的採集時間、採集地點以及採集所述圖像的圖像採集設備的標識、所述圖像採集設備所安裝的位置。
在一些可能的實施方式中,所述對所述圖像數據集中的圖像執行分布式聚類處理,得到至少一個聚類,包括:分布式並行地獲取所述圖像數據集中的所述圖像的圖像特徵;分布式並行地對所述圖像特徵執行量化處理得到所述圖像特徵對應的量化特徵;基於所述圖像數據集中的所述圖像對應的量化特徵,執行所述分布式聚類處理,得到所述至少一個聚類。
在一些可能的實施方式中,所述分布式並行地獲取所述圖像數據集中的所述圖像的圖像特徵,包括:將所述圖像數據集中的多個所述圖像進行分組,得到多個圖像組;將所述多個圖像組分別輸入多個特徵提取模型,利用所述多個特徵提取模型分布式並行地執行與所述特徵提取模型對應圖像組中的圖像的特徵提取處理,得到所述多個圖像的圖像特徵,其中每個特徵提取模型所輸入的圖像組不同。
在一些可能的實施方式中,所述分布式並行地對所述圖像特徵執行量化處理得到所述圖像特徵對應的量化特徵,包括:對所述多個圖像的圖像特徵進行分組處理,得到多個第一分組,所述第一分組包括至少一個圖像的圖像特徵;分布式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵。
在一些可能的實施方式中,在所述分布式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵之前,所述方法還包括:爲所述多個第一分組分別配置第二索引,得到多個第二索引;所述分布式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵,包括:將所述多個第二索引分別分配給多個量化器,所述多個量化器中每個量化器被分配的所述第二索引不同;利用所述多個量化器分別並行執行分配的所述第二索引對應的第一分組內的圖像特徵的量化處理。
在一些可能的實施方式中,所述量化處理包括乘積量化編碼處理。
在一些可能的實施方式中,所述基於所述圖像數據集中的所述圖像對應的量化特徵,執行所述分布式聚類處理,得到所述至少一個聚類,包括:獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度;基於所述第一相似度,確定所述任一圖像的K1近鄰圖像,所述K1近鄰圖像的量化特徵是與所述任一圖像的量化特徵的第一相似度最高的K1個量化特徵,所述K1爲大於或等於1的整數;利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述分布式聚類處理的聚類結果。
在一些可能的實施方式中,所述利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述分布式聚類處理的聚類結果,包括:從所述K1近鄰圖像中選擇出與所述任一圖像的量化特徵之間的第一相似度大於第一閾值的第一圖像集;將所述第一圖像集中的全部圖像和所述任一圖像標注爲第一狀態,並基於被標注爲第一狀態的各圖像形成一個聚類,所述第一狀態爲圖像中包括相同對象的狀態。
在一些可能的實施方式中,所述利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述分布式聚類處理的聚類結果,包括:獲取所述任一圖像的圖像特徵與所述任一圖像的K1近鄰圖像的圖像特徵之間的第二相似度;基於所述第二相似度,確定所述任一圖像的K2近鄰圖像,所述K2近鄰圖像的圖像特徵爲所述K1近鄰圖像中與所述任一圖像的圖像特徵的第二相似度最高的K2個圖像特徵,K2爲大於或者等於1且小於或者等於K1的整數;從所述K2近鄰圖像中選擇出與所述任一圖像的圖像特徵的所述第二相似度大於第二閾值的第二圖像集;將所述第二圖像集中的全部圖像和所述任一圖像標注爲第一狀態,並基於被標注爲第一狀態的各圖像形成一個聚類,所述第一狀態爲圖像中包括相同對象的狀態。
在一些可能的實施方式中,在所述獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度之前,所述方法還包括:對所述圖像數據集中的所述多個圖像的量化特徵進行分組處理,得到多個第二分組,所述第二分組包括至少一個圖像的量化特徵;並且,所述獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度,包括:分布式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度。
在一些可能的實施方式中,在所述分布式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度之前,所述方法還包括:爲所述多個第二分組分別配置第三索引,得到多個第三索引;並且,所述分布式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度,包括:基於所述第三索引,建立所述第三索引對應的相似度運算任務,所述相似度運算任務爲獲取所述第三索引對應的第二分組內的目標圖像的量化特徵與所述目標圖像以外的全部圖像的量化特徵之間的第一相似度;分布式並行執行所述多個第三索引中每個第三索引對應的相似度獲取任務。
在一些可能的實施方式中,所述方法還包括:確定所述分布式聚類處理得到的所述聚類的類中心;爲所述類中心配置第四索引,並關聯地儲存所述第四索引和相應的類中心。
在一些可能的實施方式中,所述確定所述分布式聚類處理得到的所述聚類的類中心,包括:基於所述至少一個聚類內的各圖像的圖像特徵的平均值,確定所述聚類的類中心。
在一些可能的實施方式中,所述基於得到的所述聚類中的圖像所關聯的第一索引,確定所述聚類對應的對象的時空軌跡訊息,包括:基於所述聚類中各圖像關聯的第一索引確定所述聚類對應的對象出現的時間訊息和位置訊息;基於所述時間訊息和位置訊息確定所述對象的時空軌跡訊息。
在一些可能的實施方式中,所述方法還包括:基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份。
在一些可能的實施方式中,所述基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份,包括:獲得所述身份特徵庫中已知對象的量化特徵;確定所述已知對象的量化特徵與所述至少一個聚類的類中心的量化特徵之間的第五相似度,並確定與所述類中心的量化特徵的第五相似度最高的K4個已知對象的量化特徵;獲取所述類中心的圖像特徵與對應的K4個已知對象的圖像特徵之間的第六相似度;響應於所述K4個已知對象中的一已知對象的圖像特徵與所述類中心的圖像特徵之間的第六相似度最高且該第六相似度大於第四閾值,確定所述第六相似度最高的所述一已知對象與所述類中心對應的聚類匹配。
在一些可能的實施方式中,所述基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份,還包括:響應於所述K4個已知對象的圖像特徵與相應的類中心的圖像特徵的第六相似度均小於所述第四閾值,確定不存在與所述已知對象匹配的聚類。
根據本發明的第二方面,提供了一種圖像處理裝置,其包括:獲取模組,其用於獲取圖像數據集,所述圖像數據集包括多個圖像以及分別與所述多個圖像關聯的第一索引,所述第一索引用於確定所述圖像中的對象的時空數據;聚類模組,其用於對所述圖像數據集中的圖像執行分布式聚類處理,得到至少一個聚類;確定模組,其用於基於得到的所述聚類中的圖像所關聯的第一索引,確定所述聚類對應的對象的時空軌跡訊息。
在一些可能的實施方式中,所述裝置還包括增量聚類模組,其用於獲取輸入圖像的圖像特徵;對所述輸入圖像的圖像特徵執行量化處理,得到所述輸入圖像的量化特徵;基於所述輸入圖像的量化特徵以及所述分布式聚類處理得到的所述至少一個聚類的類中心,確定所述輸入圖像所在的聚類。
在一些可能的實施方式中,所述增量聚類模組還用於獲取所述輸入圖像的量化特徵與所述分布式聚類處理得到的所述至少一個聚類的類中心的量化特徵之間的第三相似度;確定與所述輸入圖像的量化特徵之間的第三相似度最高的K3個類中心;獲取所述輸入圖像的圖像特徵與所述K3個類中心的圖像特徵之間的第四相似度;在所述K3個類中心中任一類中心的圖像特徵與所述輸入圖像的圖像特徵之間的第四相似度最高且該第四相似度大於第三閾值的情況下,將所述輸入圖像加入至所述任一類中心對應的聚類,K3爲大於或者等於1的整數。
在一些可能的實施方式中,所述增量聚類模組還用於在不存在與所述輸入圖像的圖像特徵之間的第四相似度大於第三閾值的類中心的情況下,基於所述輸入圖像的量化特徵以及所述圖像數據集中的圖像的量化特徵執行所述分布式聚類處理,得到至少一個新的聚類。
在一些可能的實施方式中,所述第一索引包括以下訊息中的至少一種:所述圖像的採集時間、採集地點以及採集所述圖像的圖像採集設備的標識、所述圖像採集設備所安裝的位置。
在一些可能的實施方式中,所述聚類模組包括:第一分布處理單元,其用於分布式並行地獲取所述圖像數據集中的所述圖像的圖像特徵;第二分布處理單元,其用於分布式並行地對所述圖像特徵執行量化處理得到所述圖像特徵對應的量化特徵;聚類單元,其用於基於所述圖像數據集中的所述圖像對應的量化特徵,執行所述分布式聚類處理,得到所述至少一個聚類。
在一些可能的實施方式中,所述第一分布處理單元還用於將所述圖像數據集中的多個所述圖像進行分組,得到多個圖像組;將所述多個圖像組分別輸入多個特徵提取模型,利用所述多個特徵提取模型分布式並行地執行與所述特徵提取模型對應圖像組中的圖像的特徵提取處理,得到所述多個圖像的圖像特徵,其中每個特徵提取模型所輸入的圖像組不同。
在一些可能的實施方式中,所述第二分布處理單元還用於對所述多個圖像的圖像特徵進行分組處理,得到多個第一分組,所述第一分組包括至少一個圖像的圖像特徵;分布式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵。
在一些可能的實施方式中,所述第二分布處理單元還用於在所述分布式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵之前,爲所述多個第一分組分別配置第二索引,得到多個第二索引; 並用於將所述多個第二索引分別分配給多個量化器,所述多個量化器中每個量化器被分配的所述第二索引不同;利用所述多個量化器分別並行執行分配的所述第二索引對應的第一分組內的圖像特徵的量化處理。
在一些可能的實施方式中,所述量化處理包括乘積量化編碼處理。
在一些可能的實施方式中,所述聚類單元還用於獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度;基於所述第一相似度,確定所述任一圖像的K1近鄰圖像,所述K1近鄰圖像的量化特徵是與所述任一圖像的量化特徵的第一相似度最高的K1個量化特徵,所述K1爲大於或等於1的整數;利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述分布式聚類處理的聚類結果。
在一些可能的實施方式中,所述聚類單元還用於從所述K1近鄰圖像中選擇出與所述任一圖像的量化特徵之間的第一相似度大於第一閾值的第一圖像集;將所述第一圖像集中的全部圖像和所述任一圖像標注爲第一狀態,並基於被標注爲第一狀態的各圖像形成一個聚類,所述第一狀態爲圖像中包括相同對象的狀態。
在一些可能的實施方式中,所述聚類單元還用於獲取所述任一圖像的圖像特徵與所述任一圖像的K1近鄰圖像的圖像特徵之間的第二相似度;基於所述第二相似度,確定所述任一圖像的K2近鄰圖像,所述K2近鄰圖像的圖像特徵爲所述K1近鄰圖像中與所述任一圖像的圖像特徵的第二相似度最高的K2個圖像特徵,K2爲大於或者等於1且小於或者等於K1的整數;從所述K2近鄰圖像中選擇出與所述任一圖像的圖像特徵的所述第二相似度大於第二閾值的第二圖像集;將所述第二圖像集中的全部圖像和所述任一圖像標注爲第一狀態,並基於被標注爲第一狀態的各圖像形成一個聚類,所述第一狀態爲圖像中包括相同對象的狀態。
在一些可能的實施方式中,所述聚類單元還用於在所述獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度之前,對所述圖像數據集中的所述多個圖像的量化特徵進行分組處理,得到多個第二分組,所述第二分組包括至少一個圖像的量化特徵;並且,所述獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度,包括:分布式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度。
在一些可能的實施方式中,所述聚類單元還用於在所述分布式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度之前,爲所述多個第二分組分別配置第三索引,得到多個第三索引;並且,所述分布式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度,包括:基於所述第三索引,建立所述第三索引對應的相似度運算任務,所述相似度運算任務爲獲取所述第三索引對應的第二分組內的目標圖像的量化特徵與所述目標圖像以外的全部圖像的量化特徵之間的第一相似度;分布式並行執行所述多個第三索引中每個第三索引對應的相似度獲取任務。
在一些可能的實施方式中,所述類中心確定模組,其用於確定所述分布式聚類處理得到的所述聚類的類中心;爲所述類中心配置第四索引,並關聯地儲存所述第四索引和相應的類中心。
在一些可能的實施方式中,所述類中心確定模組還用於基於所述至少一個聚類內的各圖像的圖像特徵的平均值,確定所述聚類的類中心。
在一些可能的實施方式中,所述確定模組還用於基於所述聚類中各圖像關聯的第一索引確定所述聚類對應的對象出現的時間訊息和位置訊息;基於所述時間訊息和位置訊息確定所述對象的時空軌跡訊息。
在一些可能的實施方式中,所述裝置還包括身份確定模組,其用於基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份。
在一些可能的實施方式中,所述身份確定模組還用於獲得所述身份特徵庫中已知對象的量化特徵;確定所述已知對象的量化特徵與所述至少一個聚類的類中心的量化特徵之間的第五相似度,並確定與所述類中心的量化特徵的第五相似度最高的K4個已知對象的量化特徵;獲取所述類中心的圖像特徵與對應的K4個已知對象的圖像特徵之間的第六相似度;在所述K4個已知對象中的一已知對象的圖像特徵與所述類中心的圖像特徵之間的第六相似度最高且該第六相似度大於第四閾值的情況下,確定所述第六相似度最高的所述一已知對象與所述類中心對應的聚類匹配。
在一些可能的實施方式中,所述身份確定模組還用於在所述K4個已知對象的圖像特徵與相應的類中心的圖像特徵的第六相似度均小於所述第四閾值的情況下,確定不存在與所述已知對象匹配的聚類。
根據本發明的第三方面,提供了一種電子設備,其包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置爲調用所述記憶體儲存的指令,以執行第一方面中任意一項所述的方法。
根據本發明的第四方面,提供了一種電腦可讀儲存媒體,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現第一方面中的任意一項所述的方法。
根據本發明的第五方面,提供了一種電腦程式,所述電腦程式包括電腦可讀代碼,當所述電腦可讀代碼在電子設備中運行時,所述電子設備中的處理器執行用於實現第一方面中的任意一項所述的方法。
在本發明實施例中,可以爲每個圖像配置相應的索引訊息,用於確定圖像中對象的時空數據,基於該配置可以實現不同對象的時空軌跡的分析,其中可以在對圖像數據集中的圖像進行分布式聚類之後,得到每個對象對應的圖像集(一個聚類就相當於一個對象的圖像集),通過該聚類中各圖像所關聯的索引訊息(第一索引)即可以得到該聚類對應的對象的時空軌跡訊息,從而可以實現不同對象的軌跡分析。同時本發明實施例採用分布式聚類的方式,可以提高聚類效率,從而可以快速有效的獲得對象的時空軌跡。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,而非限制本發明。
根據下面參考圖式對示例性實施例的詳細說明,本發明的其它特徵及方面將變得清楚。
以下將參考圖式詳細說明本發明的各種示例性實施例、特徵和方面。圖式中相同的圖式標記表示功能相同或相似的元件。儘管在圖式中示出了實施例的各種方面,但是除非特別指出,不必按比例繪製圖式。
在這裏專用的詞“示例性”意爲“用作例子、實施例或說明性”。這裏作爲“示例性”所說明的任何實施例不必解釋爲優於或好於其它實施例。
本文中術語“和/或”,僅僅是一種描述關聯對象的關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合,例如,包括A、B、C中的至少一種,可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外,爲了更好地說明本發明,在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解,沒有某些具體細節,本發明同樣可以實施。在一些實例中,對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述,以便於凸顯本發明的主旨。
可以理解,本發明提及的上述各個方法實施例,在不違背原理邏輯的情況下,均可以彼此相互結合形成結合後的實施例,限於篇幅,本發明不再贅述。
此外,本發明還提供了圖像處理裝置、電子設備、電腦可讀儲存媒體、程式,上述均可用來實現本發明提供的任一種圖像處理方法,相應技術方案和描述和參見方法部分的相應記載,不再贅述。
本發明實施例提供的圖像處理方法可以應用在任意的圖像處理裝置,例如,圖像處理方法可以由終端設備或伺服器或其它處理設備執行,其中,終端設備可以爲用戶設備(User Equipment,UE)、行動設備、用戶終端、終端、蜂巢式行動電話、無線電話、個人數位助理(Personal Digital Assistant,PDA)、手持設備、計算設備、車載設備、可穿戴設備等,本發明對此不進行一一舉例說明。另外,在一些可能的實現方式中,該圖像處理方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
下面對本發明實施例進行詳細說明。圖1示出根據本發明實施例的一種圖像處理方法的流程圖,如圖1所示,所述圖像處理方法可以包括:
S10:獲取圖像數據集,所述圖像數據集包括多個圖像以及分別與所述多個圖像關聯的第一索引,所述第一索引用於確定所述圖像中的對象的時空數據;
在一些可能的實施方式,圖像數據集中可以包括多個圖像,該多個圖像可以通過圖像採集設備採集獲得,並且各圖像可以由相同的圖像採集設備採集,或者也可以由不同的圖像設備採集,本發明對此不作具體限定。例如在街道、商場、安防領域、家庭、小區或者其他區域可以布設圖像採集設備,通過布設地圖像採集設備可以採集相應場所內的圖像。本發明實施例獲得的圖像可以爲至少一個圖像採集設備採集的圖像,圖像採集設備可以包括手機、攝影機、或者其他能夠採集圖像的設備,本發明在此不一一舉例說明。
在一些可能的實施方式中,本發明實施例的圖像數據集中的圖像中可以包括相同類型的對象,例如可以包括人物對象,對應的通過本發明實施例的圖像處理方法可以獲得同一人物對象的時空軌跡訊息。或者,在其他實施例中,圖像數據集中的圖像也可以包括其他類型的對象,如動物等,從而可以確定同一動物的時空軌跡。對於圖像中的對象的類型本發明不作具體限定。
在一些可能的實施方式中,獲取圖像數據集的方式可以包括直接與圖像採集設備連接,以接收採集的圖像,或者也可以通過與伺服器或者其他電子設備連接,接收伺服器或者其他電子設備傳輸的圖像。另外,本發明實施例中的圖像數據集中的圖像也可以爲經過預處理的圖像,例如該預處理可以從採集的圖像中截取包括人臉的圖像(人臉圖像),或者也可以刪除採集的圖像中訊噪比低,較爲模糊或者不包括人物對象的圖像。上述僅爲示例性說明,本發明不限定獲取圖像數據集的具體方式。
在一些可能的實施方式中,圖像數據集還包括各圖像關聯的第一索引,其中第一索引用於確定圖像對應的時空數據,時空數據包括時間數據和空間位置數據中的至少一種,例如第一索引可以包括以下訊息中的至少一種:圖像的採集時間、採集地點以及採集圖像的圖像採集設備的標識、圖像採集設備所安裝的位置中的至少一種。從而通過圖像關聯的第一索引可以確定圖像中的對象的出現時間、地點等時空數據訊息。
在一些可能的實施方式,圖像採集設備在採集圖像並發送採集的圖像時,還可以發送該圖像的第一索引,例如可以發送採集圖像的時間、採集圖像的地點、採集圖像的圖像採集設備(如攝影機)的標識等訊息。在接收到圖像和第一索引後,可以將該圖像與相應的第一索引關聯的儲存,如儲存在數據庫中,該數據庫可以爲本地數據庫也可以爲雲端數據庫。
S20:對所述圖像數據集中的圖像執行分布式聚類處理,得到至少一個聚類;
在一些可能的實施方式中,在獲得圖像數據集後,可以對該圖像數據集中的多個圖像執行分布式聚類處理。其中,圖像數據集中圖像可以爲相同對象或者不同對象的圖像,本發明實施例可以針對圖像進行分布式聚類處理,得到多個聚類,其中得到的每個聚類內的圖像包括的是相同對象的圖像。其中通過分布式聚類處理可以同時並行的執行聚類處理,在保證聚類精確度的前提下,還可以提高聚類效率。
在一些可能的實施方式中,可以基於圖像數據集中的圖像對應的特徵訊息之間的相似度,確定兩個圖像是否包括相同的對象。例如,可以提取圖像中的人物對象的人臉特徵確定任意兩個圖像的人臉特徵之間的相似度,將相似度大於閾值的兩個圖像確定爲包括相同對象的圖像,該兩個圖像即可以被聚類到一起,進而得到聚類結果。或者,在其他實施例中,也可以通過確定出每個圖像的人臉特徵的K近鄰的人臉特徵(相似度最高的K個人臉特徵,K爲大於或者等於1的整數),並從該K近鄰的人臉特徵中確定出相似度大於閾值的人臉特徵。或者,也可以通過其他方式執行聚類處理。
S30:基於得到的聚類中各圖像所關聯的第一索引,確定所述聚類對應的對象的時空軌跡訊息。
在一些可能的實施方式中,得到的每個聚類中包括的圖像爲相同對象的圖像,因此,通過該聚類中的圖像所關聯的第一索引,即可以確定出該聚類對應的對象的出現時間、位置等訊息。通過各對象的時間訊息和位置訊息即可以形成關於該對象的時空軌跡訊息。例如,可以建立時間和位置坐標系,通過一個聚類內各圖像的第一索引可以在該坐標系中標示出對象的出現時間、地點等訊息,從而可以直觀的顯示該對象的時空軌跡。
基於上述配置,本發明實施例可以基於分布式聚類的聚類結果,根據每個聚類中各圖像關聯的第一索引得到該聚類對應的對象的時空軌跡訊息,本發明實施例有效地挖掘數據中潛在的軌跡訊息,充分利用數據的價值和這些數據背後依賴的資源投入,而且本發明實施例通過分布式聚類的聚類方式,可以加快聚類處理速度。
下面結合圖式對本發明實施例進行詳細說明。其中,在得到圖像數據集之後,可以對圖像數據集中的圖像執行聚類處理。圖2示出根據本發明實施例的一種圖像處理方法中步驟S20的流程圖。其中,所述對所述圖像數據集中的圖像執行分布式聚類處理,得到至少一個聚類(步驟S20),可以包括:
S21:分布式並行地獲取所述圖像數據集中的所述圖像的圖像特徵;
S22:分布式並行地對所述圖像特徵執行量化處理得到所述圖像特徵對應的量化特徵;
S23:基於所述圖像數據集中的所述圖像對應的量化特徵,執行所述分布式聚類處理,得到所述至少一個聚類。
在一些可能的實施方式中,圖像可以爲人臉圖像,相應的圖像特徵即爲對應的人臉特徵。步驟S21中,獲取圖像的圖像特徵時可以通過特徵提取算法提取圖像的圖像特徵,也可以通過經過訓練能夠執行特徵提取的神經網路執行該圖像特徵的提取。其中,特徵提取算法可以包括主成分分析(Principal Components Analysis,簡稱PCA)、線性判別分析(Linear Discriminant Analysis,簡稱LDA)、獨立成分分析(Independent Component Analysis,簡稱ICA)等算法中的至少一種,或者也可以採用其他能夠識別人臉區域並得到人臉區域的特徵的算法,神經網路可以爲卷積神經網路,例如VGG網路(Visual Geometry Group Network),通過卷積神經網路對圖像進行卷積處理,並得到圖像的人臉區域的特徵,即人臉特徵。本發明實施例對特徵提取算法以及特徵提取的神經網路不作具體限定,只要能夠實現人臉特徵(圖像特徵)的提取,即可以作爲本發明實施例。
另外,在一些可能的實施方式中,爲了加快圖像特徵的提取速度,本發明實施例可以分布式並行的提取各圖像的圖像特徵。
圖3示出根據本發明實施例的一種圖像處理方法中步驟S21的流程圖,其中所述分布式並行地獲取所述圖像數據集中的所述圖像的圖像特徵(步驟S21)可以包括:
S211:將所述圖像數據集中的多個所述圖像進行分組,得到多個圖像組;
在一些可能的實施方式中,可以將圖像數據集中的多個圖像進行分組,得到多個圖像組,每個圖像組中可以包括至少一個圖像。其中對圖像進行分組的方式可以包括平均分組或者隨機分組。得到的圖像組的數量可以爲預先配置的組數,該組數可以小於或者等於下述特徵提取模型的數量。
S212:將所述多個圖像組分別輸入多個特徵提取模型,利用所述多個特徵提取模型分布式並行執行與所述特徵提取模型對應圖像組中的圖像的特徵提取處理,得到所述多個圖像的圖像特徵,其中每個特徵提取模型所輸入的圖像組不同。
在一些可能的實施方式中,基於得到的多個圖像組,可以執行特徵提取的分布式並行處理過程。其中可以將得到的多個圖像組中的每個圖像組分配給特徵提取模型中的一個模型,通過特徵提取模型執行被分配的圖像組內的圖像的特徵提取處理,得到相應圖像的圖像特徵。
在一些可能的實施方式,特徵提取模型可以採用上述特徵提取算法執行特徵提取處理,或者特徵提取模型可以構造爲上述特徵提取神經網路得到圖像特徵,本發明對此不作具體限定。
在一些可能的實施方式中,可以利用多個特徵提取模型分布式並行的執行各圖像組的特徵提取,例如每個特徵提取模型可以同時執行一個圖像組或者多個圖像組的圖像特徵提取,從而加快特徵提取的速度。
在一些可能的實施方式中,在得到圖像的圖像特徵之後,可以關聯的儲存圖像的第一索引和圖像特徵,建立第一索引和圖像特徵之間的映射關係,並可以在數據庫中儲存該映射關係。例如,監控的實時圖片流可以被輸入至前端的分布式特徵提取模組(特徵提取模型),通過該分布式特徵提取模組提取圖像特徵後,將該圖像特徵以持久化特徵形態儲存基於時空訊息的特徵數據庫,即將第一索引和圖像特徵以持久化特徵的形式儲存在特徵數據庫中。在數據庫中,該持久化特徵以索引結構儲存,持久化特徵在數據庫中的第一索引key可以包括Region id、Camera idx、Captured time和Sequence id。其中,Region id爲攝影機區域標識,Camera idx爲區域內的攝影機id,Captured time爲圖片的採集時間,Sequence id爲自增的序列標識(如依次排列的數字等標識),可以用於去重,第一索引可以構成每條圖像特徵的唯一標識並可以將圖像特徵的時空訊息包含在內。經第一索引與對應的圖像特徵關聯儲存,可以方便的獲得各圖像的圖像特徵(持久化特徵),同時獲知圖像中對象的時空數據訊息(時間和位置)。
在一些可能的實施方式中,本發明實施例可以在得到圖像的圖像特徵之後,對圖像執行量化處理,得到每個圖像對應的量化特徵,即可以執行步驟S22。其中本發明實施例可以採用乘積量化(Product quantization,簡稱PQ)編碼得到圖像數據集中各圖像的圖像特徵對應的量化特徵。例如通過PQ量化器執行該量化處理。其中通過PQ量化器執行量化處理的過程可以包括將圖像特徵的向量空間分解成多個低維向量空間的笛卡爾積,並對分解得到的低維向量空間分別做量化,這樣每個圖像特徵就能有多個低維空間的量化組合表示,即得到量化特徵。對於PQ編碼的具體過程,本發明對此不做具體說明,本領域技術人員可以通過現有技術手段實現該量化過程。通過量化處理可以實現圖像特徵的數據壓縮,例如本發明實施例圖像的圖像特徵的維度可以爲N,每維數據爲float32浮點數(即32位浮點數),經量化處理後得到的量化特徵的維度可以爲N,以及每維度的數據爲half浮點數(即半精確度浮點數),即通過量化處理可以減少特徵的數據量。
在一些可能的實施方式中,可以通過一個量化器執行所有的圖像特徵的量化處理,也可以通過多個量化器執行圖像特徵的量化處理,即可以通過至少一個量化器對全部圖像的圖像特徵執行量化處理,得到全部圖像對應的量化特徵。其中,在通過多個量化器執行圖像特徵的量化處理過程時,可以採用分布式並行執行的方式,從而提高處理速度。
下面對量化處理以及聚類處理的過程進行詳細的說明,如上述實施例所述,爲了加快量化特徵的獲取過程,本發明實施例可以採用分布式並行執行的方式執行所述量化處理,其中圖4示出根據本發明實施例的一種圖像處理方法中步驟S22的流程圖,其中,所述分布式並行地對所述圖像特徵執行量化處理得到所述圖像特徵對應的量化特徵,可以包括:
S221:對所述多個圖像的圖像特徵進行分組處理,得到多個第一分組,所述第一分組包括至少一個圖像的圖像特徵;
本發明實施例可以對圖像特徵進行分組,分布式並行的執行對各分組的圖像特徵的量化處理,得到相應的量化特徵。在通過多個量化器執行圖像數據集的圖像特徵的量化處理時,可以通過該多個量化器分布並行執行不同圖像的圖像特徵的量化處理,從而可以減少量化處理所需時間,提高運算速度。
在並行執行各圖像特徵的量化處理過程時,可以將圖像特徵分成多個分組(多個第一分組),該第一分組也可以與上述對圖像的分組(圖像組)相同,即按照圖像分組的方式將圖像特徵分成對應數量的分組,即可以直接得到的圖像組的圖像特徵確定圖像特徵的分組,或者也可以重新形成多個第一分組,本發明對此不作具體限定。每個第一分組至少包括一個圖像的圖像特徵。其中,對於第一分組的數量本發明不作具體限定,其可以根據量化器的數量、處理能力以及圖像的數量綜合確定,本領域技術人員或者神經網路可以根據實際需求確定。
另外,本發明實施例中,對所述多個圖像的圖像特徵進行分組處理的方式可以包括:對所述多個圖像的圖像特徵執行平均分組,或者,按照隨機分組方式對所述多個圖像的圖像特徵執行分組。即本發明實施例可以按照分組的數量對圖像數據集中各圖像的圖像特徵進行平均分組,或者也可以隨機分組,得到多個第一分組。只要能夠將多個圖像的圖像特徵分成多個第一分組,即可以作爲本發明實施例。
在一些可能的實施方式中,在對圖像特徵進行分組得到多個第一分組的情況下,還可以爲各第一分組分配標識(如第二索引),並將第二索引和第一分組關聯儲存。例如,圖像數據集的各圖像特徵可以形成爲圖像特徵庫T(特徵數據庫),將圖像特徵庫T中的圖像特徵進行分組(分片)得到n個第一分組,其中表示第i個第一分組,i爲大於或者等於1且小於或者等於n的整數,n表示第一分組的數量,n爲大於或者等於1的整數。其中每個第一分組中可以包括至少一個圖像的圖像特徵。爲了方便區分各第一分組以及方便量化處理,可以爲各第一分組分配相應的第二索引,其中第一分組的第一索引可以爲。
S222:分布式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵。
在一些可能的實施方式中,在對圖像特徵進行分組得到多個(至少兩個)第一分組後,可以分別並行的執行各第一分組內的圖像特徵的量化處理。例如可以通過多個量化器執行該量化處理,每個量化器可以執行一個或多個第一分組的圖像特徵的量化處理,從而加快處理速度。
在一些可能的實施方式,也可以按照各第一分組的第二索引爲各量化器分配相應的量化處理任務。即可以將各第一分組的第二索引分別分配給多個量化器,其中每個量化器被分配的第二索引不同,通過量化器分別並行的執行所分配的第二索引對應的量化處理任務,即執行對應的第一分組內的圖像特徵的量化處理。
另外,爲了進一步提高量化處理速度,可以使得量化器的數量大於或者等於第二分組的數量,同時每個量化器可以至多被分配一個第二索引,即每個量化器可以僅執行一個第二索引對應的第一分組內的圖像特徵的量化處理。但上述並不作爲本發明實施例的具體限定,分組數量以及量化器的數量,以及每個量化器被分配的第一索引的數量可以根據不同的需求進行設定。
如上述實施例所述,量化處理可以減小圖像特徵的數據量。本發明實施例中量化處理的方式可以爲乘積量化(Product quantization,簡稱PQ)編碼,例如通過PQ量化器執行該量化處理。通過量化處理可以實現圖像特徵的數據壓縮,例如本發明實施例圖像的圖像特徵的維度可以爲N,每維數據爲float32浮點數,經量化處理後得到的量化特徵的維度可以爲N,以及每維度的數據爲half浮點數,即通過量化處理可以減少特徵的數據量。
通過上述實施例,可以實現量化處理的分布並行執行,提高量化處理的速度。
在得到圖像數據集中的圖像的量化特徵之後,也可以將量化特徵和第一索引關聯的儲存,從而可以建立第一索引、第二索引、圖像、圖像特徵以及量化特徵的關聯儲存,方便數據的讀取和調用。
另外,在得到圖像的量化特徵的情況下,可以利用各圖像的量化特徵對該圖像數據集執行聚類處理,即可以執行步驟S23。其中,圖像數據集中圖像可以爲相同對象或者不同對象的圖像,本發明實施例可以針對圖像進行聚類處理,得到多個聚類,其中得到的每個聚類內的圖像爲相同對象的圖像。
圖5示出根據本發明實施例的一種圖像處理方法中步驟S23的流程圖,其中,所述基於所述圖像數據集中的所述圖像對應的量化特徵,執行所述分布式聚類處理,得到所述至少一個聚類(步驟S23),可以包括:
S231:獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度;
在一些可能的實施方式中,在得到圖像的圖像特徵對應的量化特徵之後,則可以基於量化特徵執行圖像的聚類處理,即得到相同對象的聚類(具有相同身份的對象的聚類)。其中,本發明實施例可以首先得到任意兩個量化特徵之間的第一相似度,其中第一相似度可以爲餘弦相似度,在其他實施例中也可以採用其他的方式確定量化特徵之間的第一相似度,本發明對此不作具體限定。
在一些可能的實施方式中,可以利用一個運算器計算任意兩個量化特徵之間的第一相似度,也可以通過多個運算器分布式並行地計算各量化特徵之間的第一相似度。通過多個運算器並行執行運算可以加快運算速度。
同樣的,本發明實施例還可以基於量化特徵的分組分布執行各分組的量化特徵與其餘量化特徵之間的第一相似度。其中,可以對各圖像的量化特徵進行分組,得到多個第二分組,每個第二分組包括至少一個圖像的量化特徵。其中,可以直接基於第一分組確定第二分組,即根據第一分組的圖像特徵確定相應的量化特徵,並根據第一分組內的圖像特徵對應的量化特徵直接形成第二分組。或者,也可以按照各圖像的量化特徵進行重新分組,得到多個第二分組。同樣的,該分組的方式可以爲平均分組或者隨機分組,本發明對此不作具體限定。
在得到多個第二分組後,也可以爲各第二分組配置第三索引,得到多個第三索引,通過第三索引可以區分各第二分組,還可以將第三索引和第二分組關聯儲存。例如,圖像數據集的各圖像的量化特徵可以形成爲量化特徵庫L,或者可以將量化特徵也關聯的儲存到上述圖像特徵庫T中,量化特徵與圖像、圖像特徵、第一索引、第二索引、第三索引可以對應的關聯儲存。通過對量化特徵庫L中的量化特徵進行分組(分片)可以得到m個第二分組,其中表示第j個第二分組,j爲大於或者等於1且小於或者等於m的整數,m表示第二分組的數量,m爲大於或者等於1的整數。爲了方便區分各第二分組以及方便聚類處理,可以爲各第二分組分配相應的第三索引,其中第二分組的第三索引可以爲。
在得到多個第二分組後,可以利用多個運算器分別執行該多個第二分組內的量化特徵與其餘量化特徵的第一相似度。由於圖像數據集的數據量可能會很大,可以利用多個運算器並行執行各第二分組中任意一個量化特徵與其餘全部量化特徵之間的第一相似度。
在一些可能的實施方式中,可以包括多個運算器,該運算器可以爲任意具有運算處理功能的電子裝置,如CPU(中央處理器)、處理器、單晶片等,本發明對此不作具體限定。其中,每個運算器可以計算一個或多個第二分組中的各量化特徵與其餘全部圖像的量化特徵之間的第一相似度,從而加快處理速度。
在一些可能的實施方式,也可以按照各第二分組的第三索引爲各運算器分配相應的相似度運算任務。即可以將各第二分組的第三索引分別分配給多個運算器,其中每個運算被分配的第三索引不同,通過運算器分別並行的執行所分配的第三索引對應的相似度運算任務,相似度運算任務爲獲取第三索引對應的第二分組內的圖像的量化特徵與該圖像以外的全部圖像的量化特徵之間的第一相似度。從而通過多個運算器的並行執行,則可以快速的得到任意兩個圖像的量化特徵之間的第一相似度。
另外,爲了進一步提高相似度運算速度,可以使得運算器的數量大於或者等於第二分組的數量,同時每個運算器可以至多被分配一個第三索引,可以每個運算器僅執行一個第三索引對應的第二分組內的量化特徵與其餘量化特徵之間的第一相似度運算。但上述並不作爲本發明實施例的具體限定,分組數量以及運算器的數量,以及每個運算器被分配的第三索引的數量可以根據不同的需求進行設定。
S232:基於所述第一相似度,確定所述任一圖像的K1近鄰圖像,所述K1近鄰圖像的量化特徵是與所述任一圖像的量化特徵的第一相似度最高的K1個量化特徵,所述K1爲大於或等於1的整數;
在得到任意兩個量化特徵之間的第一相似度之後,可以獲取任一圖像的K1近鄰圖像,即與任一圖像的量化特徵的第一相似度最高的K1個量化特徵對應的圖像,該任一圖像和第一相似度最高的K1個量化特徵對應的圖像則爲近鄰圖像,表徵可能包括相同對象的圖像。其中可以獲得針對任一量化特徵的第一相似度序列,第一相似度序列爲與該任一量化特徵從高到低或者從低到高排序的量化特徵的序列,在得到第一相似度序列之後,即可以方便的確定與該任一量化特徵的第一相似度最高的K1個量化特徵,進而確定任一圖像的K1近鄰。其中K1的數量可以根據圖像數據集中的數量確定,如可以爲20、30,或者在其他實施例中也可以設置成其他數值,本發明對此不作具體限定。
S233:利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述分布式聚類處理的聚類結果。
在一些可能的實施方式中,在得到每個圖像的K1近鄰圖像之後,可以執行後續的聚類處理。例如可以直接利用K1近鄰得到聚類,或者也可以基於K1近鄰的圖像特徵得到聚類。圖6示出根據本發明實施例的一種圖像處理方法中步驟S233的流程圖。其中,所述利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述分布式聚類處理的聚類結果(步驟S233),可以包括:
S23301:從所述K1近鄰圖像中選擇出與所述任一圖像的量化特徵之間的第一相似度大於第一閾值的第一圖像集;
S23302:將所述第一圖像集中的全部圖像和所述任一圖像標注爲第一狀態,並基於被標注爲第一狀態的各圖像形成一個聚類,所述第一狀態爲圖像中包括相同對象的狀態。
在一些可能的實施方式中,得到每個圖像的K1近鄰圖像(量化特徵的第一相似度最高的K1個圖像)之後,可以直接從與每個圖像的K1近鄰圖像中選擇出第一相似度大於第一閾值的圖像,通過選擇出的第一相似度大於第一閾值的圖像形成第一圖像集。其中第一閾值可以爲設定的值,如可以爲90%,但不作爲本發明的具體限定。通過第一閾值的設定可以選擇出與任一圖像最相近的圖像。
在從任一圖像的K1近鄰圖像中選擇出第一相似度大於第一閾值的第一圖像集之後,可以將該任一圖像與選擇出的第一圖像集中的全部圖像標注爲第一狀態,並根據處於第一狀態的圖像形成一個聚類。例如,從圖像A的K1近鄰圖像中選擇出第一相似度大於第一閾值的圖像爲包括A1和A2的第一圖像集,則可以將A分別與A1、A2標注爲第一狀態,從與A1的K1近鄰圖像中選擇出第一相似度大於第一閾值的圖像爲包括B1第一圖像集,此時可以將A1與B1標注爲第一狀態,以及A2的K1近鄰圖像中不存在第一相似度大於第一閾值的圖像,不再對A2進行第一狀態的標注。通過上述,則可以將A、A1、A2、B1歸爲一個聚類。即圖像A、A1、A2、B1中包括相同的對象。
通過上述方式可以方便的得到聚類結果,由於量化特徵縮減了圖像特徵量,可以加快聚類速度,同時通過設置第一閾值,可以提高聚類精確度。
在另一些可能的實施例中,可以進一步結合圖像特徵的相似度來提高聚類精確度。圖7示出根據本發明實施例的一種圖像處理方法中步驟S233的另一流程圖,其中,所述利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述分布式聚類處理的聚類結果(步驟S233),還可以包括:
S23311:獲取所述任一圖像的圖像特徵與所述任一圖像的K1近鄰圖像的圖像特徵之間的第二相似度;
在一些可能的實施方式中,得到每個圖像的K1近鄰圖像(量化特徵第一相似度最高的K1個圖像)之後,可以進一步計算該任一圖像的圖像特徵和其對應的K1近鄰圖像的圖像特徵之間的第二相似度。也就是說,在得到任一圖像的K1近鄰圖像之後,還可以對進一步計算該任一圖像的圖像特徵與K1個近鄰圖像的圖像特徵之間的第二相似度。其中該第二相似度也可以爲餘弦相似度,或者在其他實施例中也可以通過其他方式確定相似度,本發明不作具體限定。
S23312:基於所述第二相似度,確定所述任一圖像的K2近鄰圖像,所述K2近鄰圖像的圖像特徵爲所述K1近鄰圖像中與所述任一圖像的圖像特徵的第二相似度最高的K2個圖像特徵,K2爲大於或者等於1且小於或者等於K1的整數;
在一些可能的實施方式中,可以得到的任一圖像的圖像特徵與對應的K1近鄰圖像的圖像特徵之間的第二相似度,並進一步選擇出第二相似度最高的K2個圖像特徵,將該K2個圖像特徵對應的圖像確定爲該任一圖像的K2近鄰圖像。其中,K2的數值可以根據需求自行設定。
S23313:從所述K2近鄰圖像中選擇出與所述任一圖像的圖像特徵的所述第二相似度大於第二閾值的第二圖像集;
在一些可能的實施方式中,得到每個圖像的K2近鄰圖像(圖像特徵的第二相似度最高的K2個圖像)之後,可以直接從與每個圖像的K2近鄰圖像中選擇出第二相似度大於第二閾值的圖像,選擇出的圖像可以形成第二圖像集。其中第二閾值可以爲設定的值,如可以爲90%,但不作爲本發明的具體限定。通過第二閾值的設定可以選擇出與任一圖像最相近的圖像。
S23314:將所述第二圖像集中的全部圖像和所述任一圖像標注爲第一狀態,並基於被標注爲第一狀態的各圖像形成一個聚類,所述第一狀態爲圖像中包括相同對象的狀態。
在一些可能的實施方式中,在從任一圖像的K2近鄰圖像中選擇出圖像特徵之間的第二相似度大於第一閾值的第二圖像集之後,可以將該任一圖像與選擇出的第二圖像集中的全部圖像標注爲第一狀態,並根據處於第一狀態的圖像形成一個聚類。例如,從圖像A的K2近鄰圖像中選擇出第二相似度大於第二閾值的圖像爲圖像A3和A4,則可以將A和A3、A4標注爲第一狀態,從與A3的K2近鄰圖像中選擇出第二相似度大於第二閾值的圖像爲圖像B2,此時可以將A3與B2標注爲第一狀態,以及A4的K2近鄰圖像中不存在第二相似度大於第二閾值的圖像,不再對A4進行第一狀態的標注。通過上述,則可以將A、A3、A4、B2歸爲一個聚類。即圖像A、A3、A4、B2中包括相同的對象。
通過上述方式可以方便的得到聚類結果,由於量化特徵縮減了圖像特徵量,同時基於量化特徵得到的K1近鄰進一步確定圖像特徵最接近的K2近鄰,從而在加快聚類速度的同時進一步提高了聚類精確度。另外,執行量化特徵、圖像特徵之間的相似度的計算過程中,也可以採用分布式並行運算的方式,從而加快聚類速度。
本發明實施例中,由於量化特徵的特徵量相對於圖像特徵被縮減,因此減少了運算成本的耗費,同時通過多個運算器的並行處理,可以進一步提高運算速度。
在得到圖像的至少一個聚類後,可以認爲相同聚類中的圖像爲同一對象(如人物對象)的圖像的集合,利用聚類內的圖像所關聯的第一索引可以得到該對象出現的時間訊息以及對應的位置訊息,根據該時間訊息和位置訊息可以進一步得到該對象的時空軌跡訊息。
如上所述,在執行聚類處理之後,可以得到至少一個聚類,其中,每個聚類中可以包括至少一個圖像,相同聚類中的圖像可以視作包括相同的對象。其中,在執行聚類處理後還可以進一步確定得到的每個聚類的類中心。在一些可能的實施方式中,可以將聚類中每個圖像的圖像特徵的平均值作爲該聚類的類中心。在得到類中心後還可以爲該類中心分配第四索引,用於區別各類中心對應的聚類。也就是說,本發明實施例的各圖像包括作爲圖像標識的第三索引、作爲圖像特徵的第一分組的標識的第一索引,作爲量化特徵所在第二分組的標識的第二索引,以及作爲聚類的標識的第四索引,上述索引以及對應的特徵、圖像等數據可以關聯的儲存。在其他實施例中,可能還存在其他特徵數據的索引,本發明對此不作具體限定。另外,圖像的第三索引、圖像特徵的第一分組的第一索引、量化特徵的第二分組的第二索引以及聚類的第四索引均不相同,可以通過不同的符號標識進行表示。
另外,在通過本發明實施例得到的多個聚類之後,還可以對接收的圖像進行聚類處理,確定接收的圖像所屬的聚類,即執行聚類的增量處理,其中,在確定出接收的圖像匹配的聚類之後,可以將該接收的圖像分配到相應的聚類中,如果當前的聚類與該接收的圖像均不匹配,則可以將該接收的圖像單獨作爲一個聚類,或者與現有的圖像數據集融合重新執行聚類處理。
圖8示出根據本發明實施例的一種圖像處理方法執行聚類增量處理的流程圖,其中所述聚類增量處理可以包括:
S41:獲取輸入圖像的圖像特徵;
在一些可能的實施方式中,輸入圖像可以爲圖像採集設備實時採集的圖像,或者也可以爲通過其他設備傳輸的圖像,或者也可以本地儲存的圖像。本發明對此不做具體限定。在得到輸入圖像之後,可以得到輸入圖像的圖像特徵,與上述實施例相同,可以通過特徵採集算法得到圖像特徵,也可以通過卷積神經網路的至少一層卷積處理得到圖像特徵。其中,圖像可以爲人臉圖像,對應的圖像特徵爲人臉特徵。
S42:對所述輸入圖像的圖像特徵執行量化處理,得到所述輸入圖像的量化特徵;
在得到圖像特徵之後,可以進一步對該圖像特徵執行量化處理,得到相應的量化特徵。其中,本發明實施例獲取的輸入圖像可以爲一個或者多個,在執行圖像特徵的獲取以及圖像特徵的量化處理時,都可以通過分布並行執行的方式獲取,具體並行執行的過程與上述實施例所述的過程相同,在此不作重複說明。
S43:基於所述輸入圖像的量化特徵以及所述分布式聚類處理得到的所述至少一個聚類的類中心,確定所述輸入圖像所在的聚類。
在得到圖像的量化特徵之後,可以根據該量化特徵與各聚類的類中心確定該輸入圖像所在的聚類。具體聚類方式也可以參照上述過程。
圖9示出根據本發明實施例的一種圖像處理方法中步驟S43的流程圖。其中,所述基於所述輸入圖像的量化特徵以及所述分布式聚類處理得到的所述至少一個聚類的類中心,確定所述輸入圖像所在的聚類(S43),可以包括:
S4301:獲取所述輸入圖像的量化特徵與所述分布式聚類處理得到的所述至少一個聚類的類中心的量化特徵之間的第三相似度;
如上所述,可以根據聚類中各圖像的圖像特徵的平均值確定聚類的類中心(類中心的圖像特徵),對應的也可以得到類中心的量化特徵,如可以通過對類中心的圖像特徵執行量化處理得到該類中心的量化特徵,或者也可以對聚類內各圖像的量化特徵執行均值處理,得到該類中心的量化特徵。
進一步地,可以獲得輸入圖像與每個聚類的類中心的量化特徵之間的第三相似度,同樣的該第三相似度可以爲餘弦相似度,但不作爲本發明的具體限定。
在一些可能的實施方式中,可以對多個類中心進行分組,得到多個類中心組,將該多個類中心組分別分配給多個運算器,每個運算器被分配的類中心組不同,通過多個運算器分別並行的執行各類中心組內的類中心與輸入圖像的量化特徵之間的第三相似度,從而加快處理速度。
S4302:確定與所述輸入圖像的量化特徵之間的第三相似度最高的K3個類中心,K3爲大於或者等於1的整數;
在得到輸入圖像的量化特徵與聚類的類中心的量化特徵之間的第三相似度後,可以得到相似度最高的K3個類中心。其中,K3的數目小於聚類的數目。得到的該K3個類中心可以表示爲與輸入對象最爲匹配的K3個聚類。
在一些可能的實施方式中,可以通過分布並行執行的方式得到輸入圖像與各聚類的類中心的量化特徵之間的第三相似度。即可以對各中心進行分組,通過不同的運算器運算對應的分組的類中心的量化特徵與輸入圖像的量化特徵之間的相似度,從而提高運算速度。
S4303:獲取所述輸入圖像的圖像特徵與所述K3個類中心的圖像特徵之間的第四相似度;
在一些可能的實施方式中,在得到與輸入圖像的量化特徵的第四相似度最高的K3個類中心時,可以進一步得到該輸入圖像的圖像特徵與對應的K3個類中心的圖像特徵之間的第四相似度,同樣的,該第四相似度可以爲餘弦相似度,但不作爲本發明的具體限定。
同樣的,在運算輸入圖像的圖像特徵與相應的K3個類中心的圖像特徵之間的第四相似度時,也可以採用分布並行執行的方式運算,例如將K3個類中心分成多組,並將該K3個類中心分別分配給多個運算器,運算器可以執行分配的類中心的圖像特徵與輸入圖像的圖像特徵之間的第四相似度,從而可以加快運算速度。
S4304:在所述K3個類中心中任一類中心的圖像特徵與所述輸入圖像的圖像特徵之間的第四相似度最高且該最高的第四相似度大於第三閾值的情況下,將所述輸入圖像加入至所述任一類中心對應的聚類。
S4305:在不存在與所述輸入特徵的圖像特徵的第四相似度大於第三閾值的類中心的情況下,基於所述輸入圖像的量化特徵以及所述圖像數據集中的圖像的量化特徵執行所述聚類處理,得到至少一個新的聚類。
在一些可能的實施方式中,如果輸入圖像的圖像特徵與K3個類中心的圖像特徵之間的第四相似度存在大於第三閾值的第四相似度,此時可以確定爲該輸入圖像與第四相似度最高的類中心對應的聚類匹配,即該輸入圖像中包括的對象與第四相似度最高的聚類所對應的對象爲相同對象。此時可以將該輸入圖像加入至該聚類中,例如可以將該聚類的標識分配給輸入圖像,以關聯的儲存,從而可以確定輸入圖像所屬的聚類。
在一些可能的實施方式中,如果輸入圖像的圖像特徵與K3個類中心的圖像特徵之間的第四相似度均小於第三閾值,則此時可以確定輸入圖像與全部的聚類均不匹配。此時可以將該輸入圖像作爲單獨的聚類,或者也可以將輸入圖像與現有的圖像數據集融合得到新的圖像數據集,對新的圖像數據集重新執行步驟S20,即對所有的圖像重新進行分布式聚類,得到至少一個新的聚類,通過該方式可以精確地對圖像數據進行聚類。
在一些可能的實施方式中,如果一聚類內包括的圖像發生變化,如新加入了新的輸入圖像,或者重新執行了聚類處理,可以重新確定聚類的類中心,從而提高類中心的精確度,方便後續過程中的精確地聚類處理。
在對圖像聚類之後,還可以確定各個聚類內的圖像所匹配的對象身份,即可以基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份。圖10示出根據本發明實施例的一種圖像處理方法中確定聚類匹配的對象身份的流程圖,其中,所述基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份,包括:
S51:獲得所述身份特徵庫中已知對象的量化特徵;
在一些可能的實施方式中,身份特徵庫中包括多個已知身份的對象訊息,例如可以包括已知身份的對象的人臉圖像以及對象的身份訊息,身份訊息可以包括姓名、年齡、工作等基本訊息。
對應的,身份特徵庫中還可以包括每個已知對象的圖像特徵和量化特徵,其中可以通過每個已知對象的人臉圖像得到相應的圖像特徵,以及對圖像特徵進行量化處理得到量化特徵。
S52:確定所述已知對象的量化特徵與所述至少一個聚類的類中心的量化特徵之間的第五相似度,並確定與所述類中心的量化特徵的第五相似度最高的K4個已知對象的量化特徵,K4爲大於或者等於1的整數;
在一些可能的實施方式中,在得到每個已知對象的量化特徵後,可以進一步得到已知對象的量化特徵與得到的聚類的類中心的量化特徵之間的第五相似度。第五相似度可以爲餘弦相似度,但不作爲本發明的具體限定。進一步地,可以確定與每個類中心的量化特徵的第五相似度最高的K4個已知對象的量化特徵。即可以從身份特庫中找到與類中心的量化特徵的第五相似度最高的K4個已知對象,該K4個已知對象可以爲與類中心匹配對最高的K4個身份。
在另一些可能的實施方式中,也可以得到與每個已知對象的量化特徵的第五相似度最高的K4個類中心。該K4個類中心對應的對象爲與已知對象的身份的匹配度最高的K4個類中心。
同樣的,可以對已知對象的量化特徵進行分組,通過至少一個量化器執行該已知對象的量化特徵與得到的聚類的類中心的量化特徵之間的第五相似度,從而提高處理速度。
S53:獲取所述類中心的圖像特徵與對應的K4個已知對象的圖像特徵之間的第六相似度;
在一些可能的實施方式中,在得到每個類中心對應的K4個已知對象之後,可以進一步確定每個類中心與相應的K4個已知對象的圖像特徵之間的第六相似度,其中第六相似度可以爲餘弦相似度,但不作爲本發明的具體限定。
在一些可能的實施方式中,在確定的是與已知對象對應的K4個類中心的情況下,在得到已知對象對應的K4個類中心之後,可以進一步確定該已知對象的圖像特徵與該K4個類中心的圖像特徵之間的第六相似度,其中第六相似度可以爲餘弦相似度,但不作爲本發明的具體限定。
S54:在所述K4個已知對象中的一已知對象的圖像特徵與所述類中心的圖像特徵之間的第六相似度最高且該第六相似度大於第四閾值的情況下,確定所述第六相似度最高的所述一已知對象與所述類中心對應的聚類匹配。
S55:在所述K4個已知對象的圖像特徵與相應的類中心的圖像特徵的第六相似度均小於所述第四閾值的情況下,確定不存在與所述已知對象匹配的聚類。
在一些可能的實施方式中,如果確定的是與類中心匹配的K4個已知對象,此時如果K4個已知對象的圖像特徵中存在至少一個已知對象的圖像特徵與相應的類中心之間的第六相似度大於第四閾值,此時可以將第六相似度最高的已知對象的圖像特徵確定爲與類中心最匹配的圖像特徵,此時可以將該第六相似度最高的已知對象的身份確定爲與該類中心匹配的身份,即該類中心對應的聚類中各圖像的身份爲第六相似度最高的已知對象的身份。或者,在確定的是與已知對象對應的K4個類中心的情況下,如果已知對象對應的K4個類中心中存在與已知對象的圖像特徵之間的第六相似度大於第四閾值的類中心,可以將第六相似度最高的類中心與該已知對象進行匹配,即該第六相似度最高的類中心對應的聚類與該已知對象的身份匹配,從而確定了相應聚類的對象的身份。
在一些可能的實施方式中,在確定的是與類中心匹配的K4個已知對象的情況下,此時,如果K4個已知對象與對應的類中心的圖像特徵之間的第六相似度全部小於第四閾值,則說明不存在與類中心匹配的身份對象。或者在確定的是與已知對象匹配的K4個類中心的情況下,如果K4個類中心的圖像特徵與所述已知對象的圖像特徵之間的第六相似度均小於第四閾值,則表明得到的聚類中不存在與該已知對象匹配的身份。
綜上所述,在本發明實施例中,可以爲每個圖像配置相應的索引訊息,用於確定圖像中對象的時空數據,基於該配置可以實現不同對象的時空軌跡的分析,其中可以在對圖像數據集中的圖像進行聚類之後,得到每個對象對應的圖像集(一個聚類就相當於一個對象的圖像集),通過該聚類中各圖像所關聯的索引訊息(第一索引)即可以得到該聚類對應的對象的時空軌跡訊息,從而可以實現不同對象的軌跡分析。同時本發明實施例採用分布式聚類的方式,可以提高聚類效率。
本領域技術人員可以理解,在具體實施方式的上述方法中,各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定,各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
圖11示出根據本發明實施例的一種圖像處理裝置的方塊圖,如圖11所示,所述圖像處理裝置包括:
獲取模組10,其用於獲取圖像數據集,所述圖像數據集包括多個圖像以及分別與所述多個圖像關聯的第一索引,所述第一索引用於確定所述圖像中的對象的時空數據;
聚類模組20,其用於對所述圖像數據集中的圖像執行分布式聚類處理,得到至少一個聚類;
確定模組30,其用於基於得到的所述聚類中的圖像所關聯的第一索引,確定所述聚類對應的對象的時空軌跡訊息。
在一些可能的實施方式中,所述裝置還包括增量聚類模組,其用於獲取輸入圖像的圖像特徵;對所述輸入圖像的圖像特徵執行量化處理,得到所述輸入圖像的量化特徵;基於所述輸入圖像的量化特徵以及所述分布式聚類處理得到的所述至少一個聚類的類中心,確定所述輸入圖像所在的聚類。
在一些可能的實施方式中,所述增量聚類模組還用於獲取所述輸入圖像的量化特徵與所述分布式聚類處理得到的所述至少一個聚類的類中心的量化特徵之間的第三相似度;確定與所述輸入圖像的量化特徵之間的第三相似度最高的K3個類中心;獲取所述輸入圖像的圖像特徵與所述K3個類中心的圖像特徵之間的第四相似度;在所述K3個類中心中任一類中心的圖像特徵與所述輸入圖像的圖像特徵之間的第四相似度最高且該第四相似度大於第三閾值的情況下,將所述輸入圖像加入至所述任一類中心對應的聚類,K3爲大於或者等於1的整數。
在一些可能的實施方式中,所述增量聚類模組還用於在不存在與所述輸入圖像的圖像特徵之間的第四相似度大於第三閾值的類中心的情況下,基於所述輸入圖像的量化特徵以及所述圖像數據集中的圖像的量化特徵執行所述分布式聚類處理,得到至少一個新的聚類。
在一些可能的實施方式中,所述第一索引包括以下訊息中的至少一種:所述圖像的採集時間、採集地點以及採集所述圖像的圖像採集設備的標識、所述圖像採集設備所安裝的位置。
在一些可能的實施方式中,所述聚類模組包括:第一分布處理單元,其用於分布式並行地獲取所述圖像數據集中的所述圖像的圖像特徵;第二分布處理單元,其用於分布式並行地對所述圖像特徵執行量化處理得到所述圖像特徵對應的量化特徵;聚類單元,其用於基於所述圖像數據集中的所述圖像對應的量化特徵,執行所述分布式聚類處理,得到所述至少一個聚類。
在一些可能的實施方式中,所述第一分布處理單元還用於將所述圖像數據集中的多個所述圖像進行分組,得到多個圖像組;將所述多個圖像組分別輸入多個特徵提取模型,利用所述多個特徵提取模型分布式並行地執行與所述特徵提取模型對應圖像組中的圖像的特徵提取處理,得到所述多個圖像的圖像特徵,其中每個特徵提取模型所輸入的圖像組不同。
在一些可能的實施方式中,所述第二分布處理單元還用於對所述多個圖像的圖像特徵進行分組處理,得到多個第一分組,所述第一分組包括至少一個圖像的圖像特徵;分布式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵。
在一些可能的實施方式中,所述第二分布處理單元還用於在所述分布式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵之前,爲所述多個第一分組分別配置第二索引,得到多個第二索引;並用於將所述多個第二索引分別分配給多個量化器,所述多個量化器中每個量化器被分配的所述第二索引不同;利用所述多個量化器分別並行執行分配的所述第二索引對應的第一分組內的圖像特徵的量化處理。
在一些可能的實施方式中,所述量化處理包括乘積量化編碼處理。
在一些可能的實施方式中,所述聚類單元還用於獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度;基於所述第一相似度,確定所述任一圖像的K1近鄰圖像,所述K1近鄰圖像的量化特徵是與所述任一圖像的量化特徵的第一相似度最高的K1個量化特徵,所述K1爲大於或等於1的整數;利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述分布式聚類處理的聚類結果。
在一些可能的實施方式中,所述聚類單元還用於從所述K1近鄰圖像中選擇出與所述任一圖像的量化特徵之間的第一相似度大於第一閾值的第一圖像集;將所述第一圖像集中的全部圖像和所述任一圖像標注爲第一狀態,並基於被標注爲第一狀態的各圖像形成一個聚類,所述第一狀態爲圖像中包括相同對象的狀態。
在一些可能的實施方式中,所述聚類單元還用於獲取所述任一圖像的圖像特徵與所述任一圖像的K1近鄰圖像的圖像特徵之間的第二相似度;基於所述第二相似度,確定所述任一圖像的K2近鄰圖像,所述K2近鄰圖像的圖像特徵爲所述K1近鄰圖像中與所述任一圖像的圖像特徵的第二相似度最高的K2個圖像特徵,K2爲大於或者等於1且小於或者等於K1的整數;從所述K2近鄰圖像中選擇出與所述任一圖像的圖像特徵的所述第二相似度大於第二閾值的第二圖像集;將所述第二圖像集中的全部圖像和所述任一圖像標注爲第一狀態,並基於被標注爲第一狀態的各圖像形成一個聚類,所述第一狀態爲圖像中包括相同對象的狀態。
在一些可能的實施方式中,所述聚類單元還用於在所述獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度之前,對所述圖像數據集中的所述多個圖像的量化特徵進行分組處理,得到多個第二分組,所述第二分組包括至少一個圖像的量化特徵;並且,所述獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度,包括:分布式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度。
在一些可能的實施方式中,所述聚類單元還用於在所述分布式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度之前,爲所述多個第二分組分別配置第三索引,得到多個第三索引;並且,所述分布式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度,包括:基於所述第三索引,建立所述第三索引對應的相似度運算任務,所述相似度運算任務爲獲取所述第三索引對應的第二分組內的目標圖像的量化特徵與所述目標圖像以外的全部圖像的量化特徵之間的第一相似度;分布式並行執行所述多個第三索引中每個第三索引對應的相似度獲取任務。
在一些可能的實施方式中,所述類中心確定模組,其用於確定所述分布式聚類處理得到的所述聚類的類中心;爲所述類中心配置第四索引,並關聯地儲存所述第四索引和相應的類中心。
在一些可能的實施方式中,所述類中心確定模組還用於基於所述至少一個聚類內的各圖像的圖像特徵的平均值,確定所述聚類的類中心。
在一些可能的實施方式中,所述確定模組還用於基於所述聚類中各圖像關聯的第一索引確定所述聚類對應的對象出現的時間訊息和位置訊息;基於所述時間訊息和位置訊息確定所述對象的時空軌跡訊息。
在一些可能的實施方式中,所述裝置還包括身份確定模組,其用於基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份。
在一些可能的實施方式中,所述身份確定模組還用於獲得所述身份特徵庫中已知對象的量化特徵;確定所述已知對象的量化特徵與所述至少一個聚類的類中心的量化特徵之間的第五相似度,並確定與所述類中心的量化特徵的第五相似度最高的K4個已知對象的量化特徵;獲取所述類中心的圖像特徵與對應的K4個已知對象的圖像特徵之間的第六相似度;在所述K4個已知對象中的一已知對象的圖像特徵與所述類中心的圖像特徵之間的第六相似度最高且該第六相似度大於第四閾值的情況下,確定所述第六相似度最高的所述一已知對象與所述類中心對應的聚類匹配。
在一些可能的實施方式中,所述身份確定模組還用於在所述K4個已知對象的圖像特徵與相應的類中心的圖像特徵的第六相似度均小於所述第四閾值的情況下,確定不存在與所述已知對象匹配的聚類。
在一些實施例中,本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法,其具體實現可以參照上文方法實施例的描述,爲了簡潔,這裏不再贅述。
本發明實施例還提出一種電腦可讀儲存媒體,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存媒體可以是非揮發性電腦可讀儲存媒體或揮發性電腦可讀儲存媒體。
本發明實施例還提出一種電子設備,包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置爲執行上述方法。
本發明實施例還提出了一種電腦程式産品,所述電腦程式包括電腦可讀代碼,當所述電腦可讀代碼在電子設備中運行時,所述電子設備中的處理器執行用於實現上述任一實施例提供的圖像處理方法。
電子設備可以被提供爲終端、伺服器或其它形態的設備。
圖12示出根據本發明實施例的一種電子設備的方塊圖。例如,電子設備800可以是行動電話,電腦,數位廣播終端,訊息收發設備,遊戲控制台,平板設備,醫療設備,健身設備,個人數位助理等終端。
參照圖12,電子設備800可以包括以下一個或多個組件:處理組件802,記憶體804,電源組件806,多媒體組件808,音訊組件810,輸入/輸出(I/O)的介面812,感測器組件814,以及通訊組件816。
處理組件802通常控制電子設備800的整體操作,諸如與顯示,電話呼叫,數據通訊,相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令,以完成上述的方法的全部或部分步驟。此外,處理組件802可以包括一個或多個模組,便於處理組件802和其他組件之間的交互。例如,處理組件802可以包括多媒體模組,以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置爲儲存各種類型的數據以支持在電子設備800的操作。這些數據的示例包括用於在電子設備800上操作的任何應用程式或方法的指令,連絡人數據,電話簿數據,訊息,圖片,視訊等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現,如靜態隨機存取記憶體(SRAM),電子可抹除可程式化唯讀記憶體(EEPROM),可抹除可程式化唯讀記憶體(EPROM),可程式化唯讀記憶體(PROM),唯讀記憶體(ROM),磁記憶體,快閃記憶體,磁碟或光碟。
電源組件806爲電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統,一個或多個電源,及其他與爲電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出介面的螢幕。在一些實施例中,螢幕可以包括液晶顯示器(LCD)和觸控面板(TP)。如果螢幕包括觸控面板,螢幕可以被實現爲觸控螢幕,以接收來自用戶的輸入訊號。觸控面板包括一個或多個觸控感測器以感測觸控、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸控或滑動動作的邊界,而且還檢測與所述觸控或滑動操作相關的持續時間和壓力。在一些實施例中,多媒體組件808包括一個前置攝影機和/或後置攝影機。當電子設備800處於操作模式,如拍攝模式或視訊模式時,前置攝影機和/或後置攝影機可以接收外部的多媒體數據。每個前置攝影機和後置攝影機可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置爲輸出和/或輸入音訊訊號。例如,音訊組件810包括一個麥克風(MIC),當電子設備800處於操作模式,如呼叫模式、記錄模式和語音識別模式時,麥克風被配置爲接收外部音訊訊號。所接收的音訊訊號可以被進一步儲存在記憶體804或經由通訊組件816發送。在一些實施例中,音訊組件810還包括一個揚聲器,用於輸出音訊訊號。
I/O介面812爲處理組件802和周邊介面模組之間提供介面,上述周邊介面模組可以是鍵盤,滑鼠,按鈕等。這些按鈕可包括但不限於:主頁按鈕、音量按鈕、啓動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器,用於爲電子設備800提供各個方面的狀態評估。例如,感測器組件814可以檢測到電子設備800的打開/關閉狀態,組件的相對定位,例如所述組件爲電子設備800的顯示器和小鍵盤,感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變,用戶與電子設備800接觸的存在或不存在,電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器,被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器,如CMOS(互補式金氧半導體)或CCD(電荷耦合元件)圖像感測器,用於在成像應用中使用。在一些實施例中,該感測器組件814還可以包括加速度感測器,陀螺儀感測器,磁感測器,壓力感測器或溫度感測器。
通訊組件816被配置爲便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路,如WiFi(無線網路),2G(第二代行動通訊技術)或3G(第三代行動通訊技術),或它們的組合。在一個示例性實施例中,通訊組件816經由廣播信道接收來自外部廣播管理系統的廣播訊號或廣播相關訊息。在一個示例性實施例中,所述通訊組件816還包括近場通訊(NFC)模組,以促進短程通訊。例如,在NFC模組可基於射頻識別(RFID)技術,紅外數據協會(IrDA)技術,超寬頻(UWB)技術,藍牙(BT)技術和其他技術來實現。
在示例性實施例中,電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位訊號處理設備(DSPD)、可程式化邏輯裝置(PLD)、現場可程式化邏輯閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實現,用於執行上述方法。
在示例性實施例中,還提供了一種非揮發性電腦可讀儲存媒體,例如包括電腦程式指令的記憶體804,上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖13示出根據本發明實施例的另一種電子設備的方塊圖。例如,電子設備1900可以被提供爲一伺服器。參照圖13,電子設備1900包括處理組件1922,其進一步包括一個或多個處理器,以及由記憶體1932所代表的記憶體資源,用於儲存可由處理組件1922執行的指令,例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外,處理組件1922被配置爲執行指令,以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置爲執行電子設備1900的電源管理,一個有線或無線網路介面1950被配置爲將電子設備1900連接到網路,和一個輸入輸出(I/O)介面1958。電子設備1900可以操作基於儲存在記憶體1932的操作系統,例如Windows ServerTM(微軟作業系統),Mac OS XTM(麥金塔作業系統),UnixTM(UNIX作業系統), LinuxTM(LINUX作業系統),FreeBSDTM(FreeBSD系統)或類似。
在示例性實施例中,還提供了一種非揮發性電腦可讀儲存媒體,例如包括電腦程式指令的記憶體1932,上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式産品。電腦程式産品可以包括電腦可讀儲存媒體,其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是――但不限於――電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子(非窮舉的列表)包括:可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或閃存)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能影音光碟(DVD)、記憶卡、磁片、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裏所使用的電腦可讀儲存媒體不被解釋爲瞬時訊號本身,諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如,通過光纖電纜的光脈衝)、或者通過電線傳輸的電訊號。
這裏所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備,或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令,並轉發該電腦可讀程式指令,以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、韌體指令、狀態設置數據、或者以一種或多種程式化語言的任意組合編寫的原始碼或目標代碼,所述程式化語言包括面向對象的程式化語言—諸如Smalltalk(物件導向語言)、C++(程式設計語言)等,以及常規的過程式程式化語言—諸如“C”語言或類似的程式化語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作爲一個獨立的套裝軟體執行、部分在用戶電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中,遠端電腦可以通過任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到用戶電腦,或者,可以連接到外部電腦(例如利用網際網路服務提供商來通過網際網路連接)。在一些實施例中,通過利用電腦可讀程式指令的狀態訊息來個性化定制電子電路,例如可程式化邏輯電路、現場可程式化邏輯閘陣列(FPGA)或可程式化邏輯陣列(PLA),該電子電路可以執行電腦可讀程式指令,從而實現本發明的各個方面。
這裏參照根據本發明實施例的方法、裝置(系統)和電腦程式産品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解,流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合,都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式化數據處理裝置的處理器,從而生産出一種機器,使得這些指令在通過電腦或其它可程式化數據處理裝置的處理器執行時,産生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中,這些指令使得電腦、可程式化數據處理裝置和/或其他設備以特定方式工作,從而,儲存有指令的電腦可讀媒體則包括一個製造品,其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式化數據處理裝置、或其它設備上,使得在電腦、其它可程式化數據處理裝置或其它設備上執行一系列操作步驟,以産生電腦實現的過程,從而使得在電腦、其它可程式化數據處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
圖式中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式産品的可能實現的體系架構、功能和操作。在這點上,流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分,所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作爲替換的實現中,方塊中所標注的功能也可以以不同於圖式中所標注的順序發生。例如,兩個連續的方塊實際上可以基本並行地執行,它們有時也可以按相反的順序執行,這依所涉及的功能而定。也要注意的是,方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合,可以用執行規定的功能或動作的專用的基於硬體的系統來實現,或者可以用專用硬體與電腦指令的組合來實現。
在不違背邏輯的情況下,本發明不同實施例之間可以相互結合,不同實施例描述有所側重,爲側重描述的部分可以參見其他實施例的記載。
以上已經描述了本發明的各實施例,上述說明是示例性的,並非窮盡性的,並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下,對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇,旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進,或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
10:獲取獏組
20:聚類模組
30:確定模組
800:電子設備
802:處理組件
804:記憶體
806:電源組件
808:多媒體組件
810:音訊組件
812:輸入/輸出介面
814:感測器組件
816:通訊組件
820:處理器
1900:電子設備
1922:處理組件
1926:電源組件
1932:記憶體
1950:網路介面
1958:輸入/輸出介面
S10、S20、S30:步驟
S21~S23:步驟
S211~S212:步驟
S221~S222:步驟
S231~S233:步驟
S23301~S23302:步驟
S23311~S23314:步驟
S41~S43:步驟
S4301~S4305:步驟
S51~S55:步驟
此處的圖式被併入說明書中並構成本說明書的一部分,這些圖式示出了符合本發明的實施例,並與說明書一起用於說明本發明的技術方案:
圖1示出根據本發明實施例的一種圖像處理方法的流程圖;
圖2示出根據本發明實施例的一種圖像處理方法中步驟S20的流程圖;
圖3示出根據本發明實施例的一種圖像處理方法中步驟S21的流程圖;
圖4示出根據本發明實施例的一種圖像處理方法中步驟S22的流程圖;
圖5示出根據本發明實施例的一種圖像處理方法中步驟S23的流程圖;
圖6示出根據本發明實施例的一種圖像處理方法中步驟S233的流程圖;
圖7示出根據本發明實施例的一種圖像處理方法中步驟S233的另一流程圖;
圖8示出根據本發明實施例的一種圖像處理方法執行聚類增量處理的流程圖;
圖9示出根據本發明實施例的一種圖像處理方法中步驟S43的流程圖;
圖10示出根據本發明實施例的一種圖像處理方法中確定聚類匹配的對象身份的流程圖;
圖11示出根據本發明實施例的一種圖像處理裝置的方塊圖;
圖12示出根據本發明實施例的一種電子設備的方塊圖;及
圖13示出根據本發明實施例的另一種電子設備的方塊圖。
S10、S20、S30:步驟
Claims (23)
- 一種圖像處理方法,包括:獲取圖像數據集,所述圖像數據集包括多個圖像以及分別與所述多個圖像關聯的第一索引,所述第一索引用於確定所述圖像中的對象的時空數據;對所述圖像數據集中的圖像執行分布式聚類處理,得到至少一個聚類;基於得到的所述聚類中的圖像所關聯的第一索引,確定所述聚類對應的對象的時空軌跡訊息;其中,所述對所述圖像數據集中的圖像執行分布式聚類處理,得到至少一個聚類,包括:分布式並行地獲取所述圖像數據集中的所述圖像的圖像特徵;分布式並行地對所述圖像特徵執行量化處理得到所述圖像特徵對應的量化特徵;基於所述圖像數據集中的所述圖像對應的量化特徵,執行所述分布式聚類處理,得到所述至少一個聚類。
- 如請求項1所述的方法,其中,所述方法還包括:獲取輸入圖像的圖像特徵;對所述輸入圖像的圖像特徵執行量化處理,得到所述輸入圖像的量化特徵;基於所述輸入圖像的量化特徵以及所述分布式聚類處理得到的所述至少一個聚類的類中心,確定所述輸入圖像所在的聚類。
- 如請求項2所述的方法,其中,所述基於所述輸入圖像的量化特徵以及所述分布式聚類處理得到的所述至少一個聚類的類中心,確定所述輸入圖像所在的聚類,包括:獲取所述輸入圖像的量化特徵與所述分布式聚類處理得到的所述至少一個聚類的類中心的量化特徵之間的第三相似度;確定與所述輸入圖像的量化特徵之間的第三相似度最高的K3個類中心,K3為大於或者等於1的整數;獲取所述輸入圖像的圖像特徵與所述K3個類中心的圖像特徵之間的第四相似度;響應於所述K3個類中心中任一類中心的圖像特徵與所述輸入圖像的圖像特徵之間的第四相似度最高且該第四相似度大於第三閾值,將所述輸入圖像加入至所述任一類中心對應的聚類。
- 如請求項3所述的方法,其中,所述基於所述輸入圖像的量化特徵以及所述分布式聚類處理得到的所述聚類的類中心,確定所述輸入圖像所在的聚類,還包括:響應於不存在與所述輸入圖像的圖像特徵之間的第四相似度大於第三閾值的類中心,基於所述輸入圖像的量化特徵以及所述圖像數據集中的圖像的量化特徵執行所述分布式聚類處理,得到至少一個新的聚類。
- 如請求項1所述的方法,其中,所述第一索引包括以下訊息中的至少一種:所述圖像的採集時間、採集地點以及 採集所述圖像的圖像採集設備的標識、所述圖像採集設備所安裝的位置。
- 如請求項1所述的方法,其中,所述分布式並行地獲取所述圖像數據集中的所述圖像的圖像特徵,包括:將所述圖像數據集中的多個所述圖像進行分組,得到多個圖像組;將所述多個圖像組分別輸入多個特徵提取模型,利用所述多個特徵提取模型分布式並行地執行與所述特徵提取模型對應圖像組中的圖像的特徵提取處理,得到所述多個圖像的圖像特徵,其中每個特徵提取模型所輸入的圖像組不同。
- 如請求項1所述的方法,其中,所述分布式並行地對所述圖像特徵執行量化處理得到所述圖像特徵對應的量化特徵,包括:對所述多個圖像的圖像特徵進行分組處理,得到多個第一分組,所述第一分組包括至少一個圖像的圖像特徵;分布式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵。
- 如請求項7所述的方法,其中,在所述分布式並行執行所述多個第一分組的圖像特徵的量化處理,得到所述圖像特徵對應的量化特徵之前,所述方法還包括:為所述多個第一分組分別配置第二索引,得到多個第二索引;所述分布式並行執行所述多個第一分組的圖像特徵的 量化處理,得到所述圖像特徵對應的量化特徵,包括:將所述多個第二索引分別分配給多個量化器,所述多個量化器中每個量化器被分配的所述第二索引不同;利用所述多個量化器分別並行執行分配的所述第二索引對應的第一分組內的圖像特徵的量化處理。
- 如請求項1項所述的方法,其中,所述量化處理包括乘積量化編碼處理。
- 如請求項1項所述的方法,其中,所述基於所述圖像數據集中的所述圖像對應的量化特徵,執行所述分布式聚類處理,得到所述至少一個聚類,包括:獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度;基於所述第一相似度,確定所述任一圖像的K1近鄰圖像,所述K1近鄰圖像的量化特徵是與所述任一圖像的量化特徵的第一相似度最高的K1個量化特徵,所述K1為大於或等於1的整數;利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述分布式聚類處理的聚類結果。
- 如請求項10所述的方法,其中,所述利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述分布式聚類處理的聚類結果,包括:從所述K1近鄰圖像中選擇出與所述任一圖像的量化特徵之間的第一相似度大於第一閾值的第一圖像集;將所述第一圖像集中的全部圖像和所述任一圖像標注 為第一狀態,並基於被標注為第一狀態的各圖像形成一個聚類,所述第一狀態為圖像中包括相同對象的狀態。
- 如請求項10所述的方法,其中,所述利用所述任一圖像以及所述任一圖像的K1近鄰圖像確定所述分布式聚類處理的聚類結果,包括:獲取所述任一圖像的圖像特徵與所述任一圖像的K1近鄰圖像的圖像特徵之間的第二相似度;基於所述第二相似度,確定所述任一圖像的K2近鄰圖像,所述K2近鄰圖像的圖像特徵為所述K1近鄰圖像中與所述任一圖像的圖像特徵的第二相似度最高的K2個圖像特徵,K2為大於或者等於1且小於或者等於K1的整數;從所述K2近鄰圖像中選擇出與所述任一圖像的圖像特徵的所述第二相似度大於第二閾值的第二圖像集;將所述第二圖像集中的全部圖像和所述任一圖像標注為第一狀態,並基於被標注為第一狀態的各圖像形成一個聚類,所述第一狀態為圖像中包括相同對象的狀態。
- 如請求項10所述的方法,其中,在所述獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度之前,所述方法還包括:對所述圖像數據集中的所述多個圖像的量化特徵進行分組處理,得到多個第二分組,所述第二分組包括至少一個圖像的量化特徵;並且,所述獲取所述圖像數據集中任一圖像的量化特徵與其餘圖像的量化特徵之間的第一相似度,包括: 分布式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度。
- 如請求項13所述的方法,其中,在所述分布式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度之前,所述方法還包括:為所述多個第二分組分別配置第三索引,得到多個第三索引;並且,所述分布式並行地獲取所述第二分組內圖像的量化特徵與所述其餘圖像的量化特徵之間的第一相似度,包括:基於所述第三索引,建立所述第三索引對應的相似度運算任務,所述相似度運算任務為獲取所述第三索引對應的第二分組內的目標圖像的量化特徵與所述目標圖像以外的全部圖像的量化特徵之間的第一相似度;分布式並行執行所述多個第三索引中每個第三索引對應的相似度獲取任務。
- 如請求項1所述的方法,其中,所述方法還包括:確定所述分布式聚類處理得到的所述聚類的類中心;為所述類中心配置第四索引,並關聯地儲存所述第四索引和相應的類中心。
- 如請求項15所述的方法,其中,所述確定所述分布式聚類處理得到的所述聚類的類中心,包括:基於所述至少一個聚類內的各圖像的圖像特徵的平均值,確定所述聚類的類中心。
- 如請求項1所述的方法,其中,所述基於得到的所述聚類中的圖像所關聯的第一索引,確定所述聚類對應的對象的時空軌跡訊息,包括:基於所述聚類中各圖像關聯的第一索引確定所述聚類對應的對象出現的時間訊息和位置訊息;基於所述時間訊息和位置訊息確定所述對象的時空軌跡訊息。
- 如請求項1至17其中任意一項所述的方法,其中,所述方法還包括:基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份。
- 如請求項18所述的方法,其中,所述基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份,包括:獲得所述身份特徵庫中已知對象的量化特徵;確定所述已知對象的量化特徵與所述至少一個聚類的類中心的量化特徵之間的第五相似度,並確定與所述類中心的量化特徵的第五相似度最高的K4個已知對象的量化特徵;獲取所述類中心的圖像特徵與對應的K4個已知對象的圖像特徵之間的第六相似度;響應於所述K4個已知對象中的一已知對象的圖像特徵與所述類中心的圖像特徵之間的第六相似度最高且該第六相似度大於第四閾值,確定所述第六相似度最高的所述 一已知對象與所述類中心對應的聚類匹配。
- 如請求項19所述的方法,其中,所述基於身份特徵庫中的至少一個對象的身份特徵,確定與各所述聚類對應的對象身份,還包括:響應於所述K4個已知對象的圖像特徵與相應的類中心的圖像特徵的第六相似度均小於所述第四閾值,確定不存在與所述已知對象匹配的聚類。
- 一種圖像處理裝置,包括:獲取模組,其用於獲取圖像數據集,所述圖像數據集包括多個圖像以及分別與所述多個圖像關聯的第一索引,所述第一索引用於確定所述圖像中的對象的時空數據;聚類模組,其用於對所述圖像數據集中的圖像執行分布式聚類處理,得到至少一個聚類;確定模組,其用於基於得到的所述聚類中的圖像所關聯的第一索引,確定所述聚類對應的對象的時空軌跡訊息。
- 一種電子設備,包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為調用所述記憶體儲存的指令,以執行如請求項1至20其中任意一項所述的方法。
- 一種電腦可讀儲存媒體,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現如請求項1至20其中任意一項所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910755628.5A CN110502651B (zh) | 2019-08-15 | 2019-08-15 | 图像处理方法及装置、电子设备和存储介质 |
CN201910755628.5 | 2019-08-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202109514A TW202109514A (zh) | 2021-03-01 |
TWI761851B true TWI761851B (zh) | 2022-04-21 |
Family
ID=68586556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109119433A TWI761851B (zh) | 2019-08-15 | 2020-06-10 | 圖像處理方法、圖像處理裝置、電子設備和電腦可讀儲存媒體 |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP2022542127A (zh) |
KR (1) | KR20220025052A (zh) |
CN (1) | CN110502651B (zh) |
TW (1) | TWI761851B (zh) |
WO (1) | WO2021027344A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110502651B (zh) * | 2019-08-15 | 2022-08-02 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111325712B (zh) * | 2020-01-20 | 2024-01-23 | 北京百度网讯科技有限公司 | 用于检测图像有效性的方法及装置 |
CN112270361B (zh) * | 2020-10-30 | 2021-10-22 | 重庆紫光华山智安科技有限公司 | 一种人脸数据处理方法、系统、存储介质及设备 |
CN112686141A (zh) * | 2020-12-29 | 2021-04-20 | 杭州海康威视数字技术股份有限公司 | 人员归档方法、装置及电子设备 |
CN114463565A (zh) * | 2021-01-20 | 2022-05-10 | 赛维森(广州)医疗科技服务有限公司 | 宫颈细胞玻片数字图像的识别模型的模型成长方法 |
CN112949751B (zh) * | 2021-03-25 | 2023-03-24 | 深圳市商汤科技有限公司 | 车辆图像聚类及轨迹还原方法 |
CN113139589B (zh) * | 2021-04-12 | 2023-02-28 | 网易(杭州)网络有限公司 | 图片相似度检测方法、装置、处理器及电子装置 |
TWI803223B (zh) * | 2022-03-04 | 2023-05-21 | 國立中正大學 | 於超頻譜影像之物件偵測方法 |
CN116340991B (zh) * | 2023-02-02 | 2023-11-07 | 魔萌动漫文化传播(深圳)有限公司 | Ip图库素材资源的大数据管理方法、装置以及电子设备 |
CN117786445B (zh) * | 2024-02-26 | 2024-05-10 | 山东盈动智能科技有限公司 | 一种自动化摇纱机运行数据智能处理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWM561251U (zh) * | 2017-07-24 | 2018-06-01 | 正能光電股份有限公司 | 臉部辨識模組 |
CN109543536A (zh) * | 2018-10-23 | 2019-03-29 | 北京市商汤科技开发有限公司 | 图像标识方法及装置、电子设备和存储介质 |
CN109800322A (zh) * | 2018-12-28 | 2019-05-24 | 上海依图网络科技有限公司 | 一种监控方法及装置 |
US20190217774A1 (en) * | 2017-06-06 | 2019-07-18 | Ningbo Kaishuo Lighting Technology Co., Ltd. | Image recognition-based intelligent alarm lamp |
CN110046586A (zh) * | 2019-04-19 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、设备及存储介质 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4172584B2 (ja) * | 2004-04-19 | 2008-10-29 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 文字認識結果出力装置、文字認識装置、その方法及びプログラム |
WO2009072466A1 (ja) * | 2007-12-03 | 2009-06-11 | National University Corporation Hokkaido University | 画像分類装置および画像分類プログラム |
US8971641B2 (en) * | 2010-12-16 | 2015-03-03 | Microsoft Technology Licensing, Llc | Spatial image index and associated updating functionality |
US9081798B1 (en) * | 2012-03-26 | 2015-07-14 | Amazon Technologies, Inc. | Cloud-based photo management |
CN105022752B (zh) * | 2014-04-29 | 2019-04-05 | 中国电信股份有限公司 | 图像检索方法与装置 |
CN106446797B (zh) * | 2016-08-31 | 2019-05-07 | 腾讯科技(深圳)有限公司 | 图像聚类方法及装置 |
CN107798354B (zh) * | 2017-11-16 | 2022-11-01 | 腾讯科技(深圳)有限公司 | 一种基于人脸图像的图片聚类方法、装置及存储设备 |
CN108229321B (zh) * | 2017-11-30 | 2021-09-21 | 北京市商汤科技开发有限公司 | 人脸识别模型及其训练方法和装置、设备、程序和介质 |
CN108229335A (zh) * | 2017-12-12 | 2018-06-29 | 深圳市商汤科技有限公司 | 关联人脸识别方法和装置、电子设备、存储介质、程序 |
CN108897777B (zh) * | 2018-06-01 | 2022-06-17 | 深圳市商汤科技有限公司 | 目标对象追踪方法及装置、电子设备和存储介质 |
CN108876817B (zh) * | 2018-06-01 | 2021-08-20 | 深圳市商汤科技有限公司 | 交叉轨迹分析方法及装置、电子设备和存储介质 |
CN109213732B (zh) * | 2018-06-28 | 2022-03-18 | 努比亚技术有限公司 | 一种改善相册分类的方法、移动终端及计算机可读存储介质 |
CN108921876A (zh) * | 2018-07-10 | 2018-11-30 | 北京旷视科技有限公司 | 视频处理方法、装置和系统及存储介质 |
CN109242048B (zh) * | 2018-11-07 | 2022-04-08 | 电子科技大学 | 基于时间序列的视觉目标分布式聚类方法 |
CN109740660A (zh) * | 2018-12-27 | 2019-05-10 | 深圳云天励飞技术有限公司 | 图像处理方法及装置 |
CN109784221A (zh) * | 2018-12-28 | 2019-05-21 | 上海依图网络科技有限公司 | 一种监控方法及装置 |
CN109753920B (zh) * | 2018-12-29 | 2021-09-17 | 深圳市商汤科技有限公司 | 一种行人识别方法及装置 |
CN109800744B (zh) * | 2019-03-18 | 2021-08-20 | 深圳市商汤科技有限公司 | 图像聚类方法及装置、电子设备和存储介质 |
CN110502651B (zh) * | 2019-08-15 | 2022-08-02 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2019
- 2019-08-15 CN CN201910755628.5A patent/CN110502651B/zh active Active
-
2020
- 2020-05-09 KR KR1020227003244A patent/KR20220025052A/ko not_active Application Discontinuation
- 2020-05-09 WO PCT/CN2020/089402 patent/WO2021027344A1/zh active Application Filing
- 2020-05-09 JP JP2022504708A patent/JP2022542127A/ja not_active Withdrawn
- 2020-06-10 TW TW109119433A patent/TWI761851B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190217774A1 (en) * | 2017-06-06 | 2019-07-18 | Ningbo Kaishuo Lighting Technology Co., Ltd. | Image recognition-based intelligent alarm lamp |
TWM561251U (zh) * | 2017-07-24 | 2018-06-01 | 正能光電股份有限公司 | 臉部辨識模組 |
CN109543536A (zh) * | 2018-10-23 | 2019-03-29 | 北京市商汤科技开发有限公司 | 图像标识方法及装置、电子设备和存储介质 |
CN109800322A (zh) * | 2018-12-28 | 2019-05-24 | 上海依图网络科技有限公司 | 一种监控方法及装置 |
CN110046586A (zh) * | 2019-04-19 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
KR20220025052A (ko) | 2022-03-03 |
WO2021027344A1 (zh) | 2021-02-18 |
CN110502651B (zh) | 2022-08-02 |
TW202109514A (zh) | 2021-03-01 |
CN110502651A (zh) | 2019-11-26 |
JP2022542127A (ja) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI761851B (zh) | 圖像處理方法、圖像處理裝置、電子設備和電腦可讀儲存媒體 | |
TWI754855B (zh) | 人臉圖像識別方法、裝置、電子設備及儲存介質 | |
TWI785267B (zh) | 影像處理方法、電子設備和儲存介質 | |
WO2020048308A1 (zh) | 多媒体资源分类方法、装置、计算机设备及存储介质 | |
CN110472091B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
WO2021093375A1 (zh) | 检测同行人的方法及装置、系统、电子设备和存储介质 | |
WO2021036382A9 (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN109145150B (zh) | 目标匹配方法及装置、电子设备和存储介质 | |
WO2020048392A1 (zh) | 应用程序的病毒检测方法、装置、计算机设备及存储介质 | |
KR102454515B1 (ko) | 네트워크 최적화 방법 및 장치, 이미지 처리 방법 및 장치, 및 기억 매체 | |
TWI778313B (zh) | 圖像處理方法、電子設備和儲存介質 | |
CN112906484B (zh) | 一种视频帧处理方法及装置、电子设备和存储介质 | |
TWI779449B (zh) | 對象計數方法、電子設備、電腦可讀儲存介質 | |
CN109101542B (zh) | 图像识别结果输出方法及装置、电子设备和存储介质 | |
CN113987326B (zh) | 资源推荐方法、装置、计算机设备及介质 | |
CN112561084B (zh) | 特征提取方法、装置、计算机设备及存储介质 | |
WO2022016803A1 (zh) | 视觉定位方法及装置、电子设备和计算机可读存储介质 | |
CN110019907B (zh) | 一种图像检索方法及装置 | |
CN111062407B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN111178115B (zh) | 对象识别网络的训练方法及系统 | |
CN111814631A (zh) | 人员检测方法及装置、电子设备和存储介质 | |
WO2023155393A1 (zh) | 特征点匹配方法、装置、电子设备、存储介质和计算机程序产品 | |
CN111310595A (zh) | 用于生成信息的方法和装置 | |
WO2022110801A1 (zh) | 数据处理方法及装置、电子设备和存储介质 | |
CN111626398B (zh) | 运算方法、装置及相关产品 |