TW202223747A - 物件識別方法及其監控系統 - Google Patents

物件識別方法及其監控系統 Download PDF

Info

Publication number
TW202223747A
TW202223747A TW109143604A TW109143604A TW202223747A TW 202223747 A TW202223747 A TW 202223747A TW 109143604 A TW109143604 A TW 109143604A TW 109143604 A TW109143604 A TW 109143604A TW 202223747 A TW202223747 A TW 202223747A
Authority
TW
Taiwan
Prior art keywords
cluster distribution
moving object
distribution set
cluster
monitoring
Prior art date
Application number
TW109143604A
Other languages
English (en)
Other versions
TWI816072B (zh
Inventor
劉誠傑
Original Assignee
晶睿通訊股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 晶睿通訊股份有限公司 filed Critical 晶睿通訊股份有限公司
Priority to TW109143604A priority Critical patent/TWI816072B/zh
Priority to US17/537,390 priority patent/US20220189176A1/en
Publication of TW202223747A publication Critical patent/TW202223747A/zh
Application granted granted Critical
Publication of TWI816072B publication Critical patent/TWI816072B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一種物件識別方法，應用於監控系統。監控系統具有監控設備。物件識別方法包含有取得監控設備之一系列監控影像內的第一移動物件之複數個第一特徵向量與至少一第二移動物件之複數個第二特徵向量，將複數個第一特徵向量轉換為第一群聚分布集合，將複數個第二特徵向量轉換為至少一第二群聚分布集合，將至少一第二群聚分布集合分別與第一群聚分布集合進行相似度主比較，以及根據主比較結果設定至少一第二群聚分布集合相對於第一群聚分布集合之相似度排序，從而判斷第一移動物件和至少一第二移動物件是否屬於相同物件。

Description

物件識別方法及其監控系統
本發明係提供一種物件識別方法及其監控系統，尤指一種可有效加速資料搜尋時間的物件識別方法及其監控系統。
傳統的監控系統可能以單台攝影機記錄關於其監控區域的錄像資料、或是以多台攝影機分別記錄關於各自監控區域的錄像資料。在錄像資料的某個時間區段發現特定物件時，例如疑犯，若要確認此錄像資料的其它時間區段是否記錄到該特定物件，或是要確認其它錄像資料是否記錄到該特定物件的其它軌跡，需逐幀回放所有錄像資料慢慢辨識。人工目視逐幀回放的所有錄像資料需耗費龐大時間，不符實際需求；即使以影像辨識技術分析逐幀回放的所有錄像資料，仍會浪費許多時間。因此，如何設計一種能提高辨識速度的物件識別方法及其監控系統，即為相關監控產業的重點發展目標。
本發明係提供一種可有效加速資料搜尋時間的物件識別方法及其監控系統，以解決上述之問題。
本發明之申請專利範圍係揭露一種監控系統及應用於監控系統之物件識別方法。監控系統具有至少一監控設備以及運算處理器。監控設備用來取得一系列監控影像。運算處理器以有線或無線方式電連接監控攝影設備，用來取得該系列監控影像以執行該物件識別方法，該方法包含取得監控設備之一系列監控影像內的第一移動物件之複數個第一特徵向量與至少一第二移動物件之複數個第二特徵向量，將複數個第一特徵向量轉換為第一群聚分布集合，將複數個第二特徵向量轉換為至少一第二群聚分布集合，將至少一第二群聚分布集合分別與第一群聚分布集合進行相似度主比較，以及根據主比較結果設定至少一第二群聚分布集合相對於第一群聚分布集合之相似度排序，從而判斷第一移動物件和至少一第二移動物件是否屬於相同物件。
本發明之物件識別方法及其監控系統係在錄影資料中找出每一移動物件出現的多張監控影像，在各張監控影像找出移動物件的對應特徵向量，並將該些特徵向量生成移動物件的群聚分佈集合。錄影資料裡每一個移動物件都有其對應的群聚分佈集合，若要確認某個移動物件是否在錄影資料裡的其它監控時段(此時監控系統具單個攝影機)或其它監控區域(此時監控系統具多個攝影機)出現，則會分析此移動物件之群聚分佈集合的出現時間區間、群聚中心點及特定代表時間點，再與其它群聚分佈集合的出現時間區間、群聚中心點及特定代表時間點相比較，便能在錄影資料中快速地找出此移動物件的所有相關資料。
請參閱第1圖與第2圖，第1圖為本發明實施例之監控系統10之功能方塊圖，第2圖為本發明實施例之監控系統10之示意圖。監控系統10可包含以有線或無線方式電連接的監控設備12以及運算處理器14。監控設備12可能是一台或多台攝影機。單台攝影機12A所取得之一系列監控影像，係為其監控區域A1在一時段之錄影資料；多台攝影機12A與12B分別取得之一系列監控影像，可為各自監控區域A1及A2在相同時段或不同時段之錄像。運算處理器14可以分析攝影機12A之系列監控影像，判斷特定的移動物件是否多次出現在監控區域A1；或是分析攝影機12A與12B之系列監控影像，判斷特定的移動物件是否重複出現在不同的監控區域A1及A2。
請參閱第3圖至第12圖，第3圖至第8圖分別為本發明實施例之監控系統10所取得之系列監控影像I之示意圖，第9圖至第11分別為本發明實施例之系列監控影像I中移動物件O之特徵向量轉換所得之群聚分佈集合的示意圖，第12圖為本發明實施例之物件識別方法之流程圖。第12圖所述之物件識別方法適用於第1圖所示之監控系統10。關於物件識別方法，首先執行步驟S100，取得系列監控影像I內的所有移動物件O之複數個特徵向量。舉例來說，系列監控影像I可能包含上百張，其中有六張監控影像I拍到移動物件O；第3圖與第4圖所示之監控影像I可能先拍到正面朝左的第一移動物件O1，然後第5圖與第6圖所示之監控影像I接著拍到背面的第二移動物件O2，第7圖與第8圖所示之監控影像I又拍到正面朝右的第三移動物件O3。其它監控影像I可能僅拍到空無一人的馬路，故不予繪出。
以第一移動物件O1為例，監控系統10可先行分析系列監控影像I以取得第一移動物件O1的對應軌跡資訊。接下來，從系列監控影像I找出對應於其軌跡資訊的多張監控影像I，意即找出那些有拍到第一移動物件O1的監控影像I，例如第3圖與第4圖之監控影像I才有拍到正面朝左的第一移動物件O1。最後，監控系統10解析那些存在第一移動物件O1的監控影像I，分別取得對應之複數個第一特徵向量。第二移動物件O2和第三移動物件O3也可利用相同方式取得對應的複數個第二特徵向量與複數個第三特徵向量，於此不再重複說明。第一特徵向量、第二特徵向量和第三特徵向量的數量可能彼此相同或不同，端視實際情況而定。
第一移動物件O1之行進過程中，監控系統10會拍到第一移動物件O1的許多變異狀況，例如身體姿勢變化、身體相對於監控設備12之角度變化、身體是否攜帶或背負生活用品等。每張監控影像I內之第一移動物件O1的各對應變異狀況即能轉化生成第一特徵向量。一般來說，具有第一移動物件O1的單張監控影像I會生成一筆第一特徵向量，然實際應用不限於此；也可能將具有第一移動物件O1的單張監控影像I劃分成多個小區域，每個小區域各自產生對應的次級特徵向量，再合併該些次級特徵向量作為該張監控影像I的對應第一特徵向量。
在其它變化實施態樣中，監控系統10可根據第一移動物件O1在系列監控影像I內的尺寸與位置，將每張監控影像I至少劃分為甲區域Ra和乙區域Rb，例如第3圖所示之對應到頭部的甲區域Ra以及對應到腳部的乙區域Rb。接著，監控系統10可計算第一移動物件O1在其軌跡資訊所對應監控影像I之甲區域Ra的第一甲區次特徵向量以及乙區域Rb的第一乙區次特徵向量；最後，合併第一甲區次特徵向量與第一乙區次特徵向量作為對應於該張監控影像I之第一特徵向量。換句話說，第3圖之第一甲區次特徵向量和第一乙區次特徵向量可結合生成第3圖所示監控影像I之第一特徵向量，第4圖之第一甲區次特徵向量和第一乙區次特徵向量則結合生成第4圖所示監控影像I之第一特徵向量。
每張監控影像I所能劃分之區域的數量與位置不限於本實施態樣，端依設計需求而定。監控系統10可能在每張監控影像I預先選好具有較高辨識度的範圍，例如移動物件的頭部作為甲區域Ra、以及移動物件的腳部作為乙區域Rb；或者，監控系統10還可能均分每張監控影像I，以得到監控影像I之上半部的甲區域Ra、和監控影像I之下半部的乙區域Rb；或者，監控系統10也可能在每張監控影像I的特定範圍劃設感興趣區域，例如在移動物件的面部劃設感興趣區域作為甲區域Ra，移動物件面部以外的其它範圍則視為乙區域Rb。
關於物件識別方法，接著執行步驟S102，將各移動物件之對應特徵向量轉換為群聚分佈集合，例如第一移動物件O1的複數個第一特徵向量轉換為第一群聚分布集合P1，如第9圖所示；第二移動物件O2的複數個第二特徵向量轉換為第二群聚分布集合P2，如第10圖所示；第三移動物件O3的複數個第三特徵向量轉換為第三群聚分布集合P3，如第11圖所示。本發明中，群聚分布集合的每一個點可代表移動物件的一筆特徵向量，因此每一個移動物件所具有之特定變異狀況會反映在其特徵向量的群聚分布差異。
在步驟S102中，物件識別方法可預先設定一個群數，例如第9圖至第11圖的群數為3，然後依照預設群數將複數個第一特徵向量(或是第二特徵向量、或第三特徵向量)分類成三個群，以形成第一群聚分布集合P1(或是第二群聚分布集合P2、或第三群聚分布集合P3)。一般來說，預設群數係為定值，意即各群聚分布集合會依照預設群數將複數個特徵向量分類為數量相應的幾個群。然而，物件識別方法另可選擇性根據複數個特徵向量之間的相似度調整群數，以提供更為精確的辨識準度。舉例來說，若依照預設群數將複數個特徵向量分成三個群(分別對應到移動物件O之正面、背面與側面的變異狀況)，但其中兩個群的相似度很高，可能表示監控系統10只拍到移動物件O的兩種變異狀況(例如背面與側面)，此時可將群聚分布集合的群數調整為2；若三個群的相似度皆偏低，且其中一個群的分佈變化較大，可能表示監控系統10拍到移動物件O的某種行為(例如戴帽子、穿外套、或撐雨傘等動作)，移動物件O的外觀改變會增加其變異狀況之數量，故可將群聚分布集合的群數調整為4。
再接下來，執行步驟S104，記錄每一張群聚分布集合之出現時間區間、群聚中心點、和代表此群聚分布集合之特定時間點。前面提及，監控系統10會依據移動物件的軌跡資訊在系列監控影像I中找出所有拍到移動物件O的多張監控影像I，再解析具有移動物件O的該些監控影像I以取得特徵向量與群聚分佈集合，故每一張群聚分布集合可能只出現在系列監控影像I的部分時間區段。舉例來說，男子在較早時間走進餐廳被辨識定義為第一移動物件O1，男子在稍晚時刻離開餐廳則被辨識定義為第三移動物件O3，因此第一群聚分布集合P1的第一出現時間區間可能是上午八點到九點，第三群聚分布集合P3的第三出現時間區間可能是上午十點到十一點。
接下來，第一群聚分布集合P1內各群的第一群聚中心點可以選自各群中所有第一特徵向量分佈之幾何中心(如第9圖中之點P1_1、P1_2、P1_3)，而第一群聚分布集合P1的第一特定時間點則是最接近第一群聚中心點之第一特徵向量的取得時間。舉例來說，第一群聚分布集合P1內其中一群的第一出現時間區間若為t1~tn，各時間點t1~tn分別對應到n個第一特徵向量v1~vn；再以n個第一特徵向量v1~vn設定該其中一群的第一群聚中心點vc，其特定時間點為tc，且t1＜=tc＜=tn，此時可從n個第一特徵向量v1~vn找出與群聚中心點vc最接近的第一特徵向量vm，並以第一特徵向量vm所在時間點tm作為第一特定時間點。在時間點tm取得之監控影像I則能設定為第一群聚分布集合P1的代表影像。
第二群聚分布集合P2與第三群聚分布集合P3也會以相同方式取得對應的出現時間區間、群聚中心點、以及代表其群聚分布集合的特定時間點，於此不再重複說明。
本發明中，監控系統10可長期且持續地蒐集與儲存攝影機12A和/或12B之監控區域A1及A2的系列監控影像I(或謂錄影資料)，並能根據移動物件的群聚分佈特徵，從錄影資料中找出與移動物件相關的資料。首先，若要找出於出現時間區間Ta至Tb間與第一移動物件O1的相關錄影資料，可直接選取特定時間tc落於時間區間Ta至Tb內的多個代表不同移動物件的群聚分布集合，接著，執行步驟S106與S108，將多個不同的群聚分佈集合與第一群聚分布集合P1進行相似度主比較，並根據比較結果設定多個群聚分佈集合之間的相似度排序，從而判斷不同群聚分佈集合所代表之移動物件是否屬於相同物件。不同群之間的相似度判斷取決於群與群的特徵變異性，可依照各群中心以餘弦相似度(Cosine Similarity)運算法進行分析判斷、或是根據歐式距離(Euclidean Distance)運算法取得相鄰群之間的距離來判斷相似度。群聚分布集合之群相似度分析方法不限於前揭兩種數學模型，端視實際需求而定，於此不再對其它可應用之相關數學模型詳加說明。
舉例來說，請參閱第15圖與第16圖，第15圖為第9圖所示第一群聚分布集合P1與第10圖所示第二群聚分布集合P2之疊加示意圖，第16圖為第9圖所示第一群聚分布集合P1與第11圖所示第三群聚分布集合P3之疊加示意圖。在本發明某一實施態樣中，第一群聚分布集合P1具有三個群聚中心點P1_1、P1_2與P1_3，第二群聚分布集合P2具有三個群聚中心點P2_1、P2_2與P2_3，第三群聚分布集合P3具有三個群聚中心點P3_1、P3_2與P3_3。欲進行群聚分佈集合之相似度判斷，可先行計算群聚中心點P1_1、P1_2與P1_3各自相對於群聚中心點P2_1、P2_2與P2_3之九筆距離，並從九筆距離取出最短距離作為第二群聚分布集合P2相比於第一群聚分布集合P1之第二群聚分布相似值；再另計算群聚中心點P1_1、P1_2與P1_3各自相對於群聚中心點P3_1、P3_2與P3_3之九筆距離，並從九筆距離取出最短距離作為第三群聚分布集合P3相比於第一群聚分布集合P1之第三群聚分布相似值。若第三群聚分布相似值小於第二群聚分布相似值，表示第三群聚分布集合P3相似度排序高於第二群聚分布集合P2。
如前所述，群聚中心點可以是各群的幾何中心或重心，不同群聚分布集合之群聚中心點數量可能彼此相同或相異，並且各群聚分布集合之群聚中心點數量不限於上揭實施例，端視實際情況而定。總結而言，若參考群聚分佈集合之各群聚中心點相對於某張群聚分佈集合之各群聚中心點的最短距離，小於參考群聚分佈集合之各群聚中心點相對於另一張群聚分佈集合之各群聚中心點的最短距離，則會判斷某張群聚分佈集合具有高於另一張群聚分佈集合的相似度排序。相似度之排序分析亦可應用其它演算法取得，於此不再詳加說明。
如第9圖至第11圖所示，經由相似度之排序分析，第三群聚分布集合P3的相似度排序較高，可判斷第一移動物件O1與第三移動物件O3屬於相同物件；此時可取出第一群聚分布集合P1在特定時間點tm的監控影像I(例如第3圖與第4圖的其中之一)、及第三群聚分布集合P3在特定時間點的代表影像(例如第7圖與第8圖的其中之一)顯示於監控系統10的顯示螢幕，可看出第一移動物件O1和第三移動物件O3係為同一行人在不同面向的姿勢。第二群聚分布集合P2的相似度排序低於第三群聚分布集合P3；將第二群聚分布集合P2在特定時間點的代表影像(例如第5圖與第6圖的其中之一)顯示於監控系統10的顯示螢幕，可看出第二移動物件O2係為裙裝、長髮、並攜帶後背包的行人，故能判斷第二移動物件O2不同於第一移動物件O1或第三移動物件O3。
在某些可能的變化態樣中，監控系統10亦可能拍到三個移動物件O1、O2與O3以外的行人，其它行人所代表之移動物件及其群聚分布集合都會相比於第一群聚分布集合P1，意即系列監控影像I內出現的所有移動物件都可以視實際需求進行相似度排序。
在某些特殊情況下，第一移動物件O1與第二移動物件O2的變異狀況較少，本發明的物件識別方法可相應調整識別流程來提高辨識準度。舉例來說，第一移動物件O1是褲裝、短髮、無背包的行人；若第二移動物件O2的裝扮改為褲裝、長髮、無背包，第一群聚分布集合P1與第二群聚分布集合P2的相似度會偏高，此時物件識別方法可在監控影像I的中間範圍劃設感興趣區域作為甲區域Ra(如第3圖及先前相關說明)，並將第一移動物件O1在甲區域Ra的多個第一甲區次特徵向量轉換為第一甲區群聚分布集合(未示於附圖中)，再將第二移動物件O2在甲區域Ra的多個第二甲區次特徵向量轉換為第二甲區群聚分布集合(未示於附圖中)。第一甲區群聚分布集合與第二甲區群聚分布集合可依循步驟S106與S108的原理進行相似度次比較，並根據次比較結果重新設定步驟S108以主比較結果所得之相似度排序。
本發明係可於監控影像I的特定範圍劃設感興趣區域，正向選出欲進一步分析的次特徵向量來提高物件識別方法的辨識準度。或者，本發明還可以在監控影像I的特定範圍劃設不感興趣區域，利用不感興趣區域以外的次特徵向量來進一步提高物件識別方法的辨識準度；舉例來說，物件識別方法可能在監控影像I的上半部範圍劃設不感興趣區域，意即反向排除上半部範圍所對應之次特徵向量，只分析監控影像I下半部範圍的次特徵向量來進行辨識準度之調整與改善。
本發明中，監控系統10可長期且持續地蒐集與儲存攝影機12A和/或12B之監控區域A1及A2的系列監控影像I(或謂錄影資料)，並能根據移動物件的群聚分佈特徵，從錄影資料中找出與移動物件相關的資料。首先，若要找出與第一移動物件O1的相關錄影資料，可先取得第一群聚分布集合P1的第一出現時間區間，然後判斷第二群聚分布集合P2的第二出現時間區間和第三群聚分布集合P3的第三出現時間區間是否重疊或接近於第一群聚分布集合P1的第一出現時間區間。以第3圖至第8圖所示實施態樣為例，系列監控影像I內可能找到第三群聚分布集合P3會與第一群聚分布集合P1具有重疊(完全重疊或大部分重疊)/或接近的出現時間區間，意即可利用出現時間區間之參數進行初步過濾以減少資料運算量。
若系列監控影像I內還有其它張群聚分布集合都與第一群聚分布集合P1具有重疊的出現時間區間，例如第三群聚分布集合P3和第四群聚分布集合的出現時間區間都重疊於第一出現時間區間(第四移動物件及其第四群聚分布集合沒有繪製在附圖中)，此時監控系統10可利用第三群聚分布集合P3的第三群聚中心點、和第四群聚分布集合的第四群聚中心點分別與第一群聚分布集合P1的第一群聚中心點進行相似度主比較，並且根據主比較結果設定第三群聚分布集合和第四群聚分布集合的相似度排序。舉例來說，第三群聚分布集合P3在第三特定時間點之對應監控影像I、和第四群聚分布集合在第四特定時間點之對應監控影像I可並列顯示在第一群聚分布集合P1在第一特定時間點之對應監控影像I旁；若第三群聚分布集合之相似度排序高於第四群聚分布集合之相似度排序，第三特定時間點的對應監控影像I可在第一特定時間點的對應監控影像I旁排在首位，第四特定時間點的對應監控影像I則在第一特定時間點的對應監控影像I旁排在次位。
第3圖至第8圖所示監控影像I僅於畫面內針對單個移動物件O進行識別，然本發明之實際應用不限於此。請參閱第13圖與第14圖，第13圖與第14圖為本發明另一實施例之監控系統10所取得之監控影像I’之示意圖。物件識別方法可進一步從系列監控影像I’內取得鄰近第一移動物件O1之第五移動物件O5的第五群聚分佈集合(沒有繪製在附圖中)、和鄰近第二移動物件O2之第六移動物件O6的第六群聚分佈集合(沒有繪製在附圖中)，然後將第五群聚分佈集合與第六群聚分佈集合進行相似度主比較。
本發明的物件識別方法可先針對第一群聚分佈集合和第二群聚分佈集合及第六群聚分佈集合進行一次相似度主比較，然後根據比較結果，再針對第五群聚分佈集合與前次比較排序較後的群聚分佈集合(例如第六群聚分佈集合)進行另一次相似度主比較，再根據兩個主比較結果，依第一移動物件O1與第五移動物件O5是否同時出現、及第二移動物件O2與第六移動物件O6是否同時出現的情況，設定第一移動物件O1與第五移動物件O5之組合相對於第二移動物件O2與第六移動物件O6之組合的相似度排序，達到多物件識別之目的。或者，本發明也可以利用其它方式進行多物件識別，例如可將第一群聚分佈集合與第五群聚分佈集合匯聚形成之一群聚分佈結合集合相比於第二群聚分佈集合與第六群聚分佈集合匯聚形成之另一群聚分佈結合集合，再以此比較結果設定多物件識別的排序結果；多物件識別方法不限於前揭實施態樣，端依設計需求而定。
綜上所述，本發明的物件識別方法及其監控系統係在錄影資料中一具移動物件之軌跡資訊找出每一移動物件出現的多張監控影像，在各張監控影像找出移動物件的對應特徵向量，並該些特徵向量生成移動物件的群聚分佈集合。錄影資料裡每一個移動物件都有其對應的群聚分佈集合，若要確認某個移動物件是否在錄影資料裡的其它監控時段(此時監控系統具單個攝影機)或其它監控區域(此時監控系統具多個攝影機)出現，則會分析此移動物件之群聚分佈集合的出現時間區間、群聚中心點及特定代表時間點，再與其它群聚分佈集合的出現時間區間、群聚中心點及特定代表時間點相比較，便能在錄影資料中快速地找出此移動物件的所有相關資料。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
10:監控系統 12:監控設備 12A, 12B:攝影機 14:運算處理器 I, I’:監控影像 O:移動物件 O1:第一移動物件 O2:第二移動物件 O3:第三移動物件 O5:第五移動物件 O6:第六移動物件 P1:第一群聚分布集合 P2:第二群聚分布集合 P3:第三群聚分布集合 A1, A2:監控區域 Ra:甲區域 Rb:乙區域 P1_1, P1_2, P1_3, P2_1, P2_2, P2_3, P3_1, P3_2, P3_3:群聚中心點 S100、S102、S104、S106、S108:步驟
第1圖為本發明實施例之監控系統之功能方塊圖。 第2圖為本發明實施例之監控系統之示意圖。 第3圖至第8圖分別為本發明實施例之監控系統所取得系列監控影像之示意圖。 第9圖至第11分別為本發明實施例之系列監控影像轉換所得群聚分佈之示意圖。 第12圖為本發明實施例之物件識別方法之流程圖。 第13圖與第14圖為本發明另一實施例之監控系統所取得監控影像之示意圖。 第15圖為第9圖所示第一群聚分布集合與第10圖所示第二群聚分布集合之疊加示意圖。 第16圖為第9圖所示第一群聚分布集合與第11圖所示第三群聚分布集合之疊加示意圖。
S100、S102、S104、S106、S108:步驟

Claims (10)

  1. 一種物件識別方法，應用於一監控系統，該監控系統具有至少一監控設備，該物件識別方法包含有： 取得該監控設備之一系列監控影像內的一第一移動物件之複數個第一特徵向量與至少一第二移動物件之複數個第二特徵向量； 將該複數個第一特徵向量轉換為一第一群聚分布集合； 將該複數個第二特徵向量轉換為至少一第二群聚分布集合； 將該至少一第二群聚分布集合分別與該第一群聚分布集合進行相似度主比較；以及 根據主比較結果，設定該至少一第二群聚分布集合相對於該第一群聚分布集合之一相似度排序，從而判斷該第一移動物件和該至少一第二移動物件是否屬於相同物件。
  2. 如請求項1所述之物件識別方法，其中取得該系列監控影像內的該第一移動物件之該複數個第一特徵向量係包含有： 取得該第一移動物件之一第一軌跡資訊； 在該系列監控影像中找出對應於該第一軌跡資訊之複數張監控影像；以及 解析該複數張監控影像以分別取得該複數個第一特徵向量。
  3. 如請求項1所述之物件識別方法，其中取得該系列監控影像內的該第一移動物件之該複數個第一特徵向量係包含有： 根據該第一移動物件，將該系列監控影像中每一監控影像至少劃分為一甲區域和一乙區域； 計算該第一移動物件分別在其軌跡資訊所對應之監控影像的該甲區域和該乙區域之一第一甲區次特徵向量與一第一乙區次特徵向量；以及 結合該第一甲區次特徵向量和該第一乙區次特徵向量作為該監控影像之一對應第一特徵向量。
  4. 如請求項3所述之物件識別方法，其係根據該第一移動物件，均分該每一監控影像以得到該甲區域和該乙區域、或是根據該第一移動物件，在該每一監控影像設定一感興趣區域以作為該甲區域和該乙區域的其中一區域。
  5. 如請求項3所述之物件識別方法，其中另包含有： 將該第一移動物件之複數個第一甲區次特徵向量轉換為一第一甲區群聚分布集合； 將該至少一第二移動物件之複數個第二甲區次特徵向量轉換為至少一第二甲區群聚分布集合； 將該至少一第二甲區群聚分布集合分別與該第一甲區群聚分布集合進行相似度次比較；以及 根據次比較結果重新設定以該主比較結果所得之該相似度排序。
  6. 如請求項1所述之物件識別方法，其中將該複數個第一特徵向量轉換為該第一群聚分布集合進一步包含有： 紀錄該第一群聚分布集合之一第一出現時間區間、該第一群聚分布集合之一第一群聚中心點、和代表該第一群聚分布集合之一第一特定時間點。
  7. 如請求項6所述之物件識別方法，其係從該第一出現時間區間之各時間點的對應第一特徵向量取出最接近該第一群聚中心點之一特定第一特徵向量，並以該特定第一特徵向量所在時間點作為該第一特定時間點。
  8. 如請求項6所述之物件識別方法，其係進一步包含有： 取得該系列監控影像內的一第三移動物件及其一第三群聚分布集合、與一第四移動物件及其一第四群聚分布集合； 判斷該第三群聚分布集合與該第四群聚分布集合之出現時間區間重疊於該第一群聚分布集合之該第一出現時間區間； 利用該第三群聚分布集合與該第四群聚分布集合之群聚中心點與該第一群聚中心點進行該相似度主比較；以及 根據該主比較結果，將該第三群聚分布集合與該第四群聚分布集合分別在特定時間點之二對應監控影像並列顯示於該第一群聚分布集合在該第一特定時間點之一對應監控影像。
  9. 如請求項1所述之物件識別方法，另包含有： 取得該系列監控影像內鄰近該第一移動物件之一第五移動物件的一第五群聚分佈集合、和鄰近該第二移動物件之一第六移動物件的一第六群聚分佈集合； 將該第五群聚分佈集合與該第六群聚分佈集合進行另一相似度主比較；以及 根據該兩個主比較結果，設定該第一移動物件與該第五移動物件之組合相對於該第二移動物件與該第六移動物件之組合之另一相似度排序。
  10. 一種監控系統，其包含有： 至少一監控設備，用來取得一系列監控影像；以及 一運算處理器，以有線或無線方式電連接該至少一監控攝影設備，用來根據該系列監控影像來執行如請求項1至請求項9的其中之一或其組合所述之物件識別方法。
TW109143604A 2020-12-10 2020-12-10 物件識別方法及其監控系統 TWI816072B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109143604A TWI816072B (zh) 2020-12-10 2020-12-10 物件識別方法及其監控系統
US17/537,390 US20220189176A1 (en) 2020-12-10 2021-11-29 Object identification method and related surveillance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109143604A TWI816072B (zh) 2020-12-10 2020-12-10 物件識別方法及其監控系統

Publications (2)

Publication Number Publication Date
TW202223747A true TW202223747A (zh) 2022-06-16
TWI816072B TWI816072B (zh) 2023-09-21

Family

ID=81942833

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109143604A TWI816072B (zh) 2020-12-10 2020-12-10 物件識別方法及其監控系統

Country Status (2)

Country Link
US (1) US20220189176A1 (zh)
TW (1) TWI816072B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985114B (zh) * 2014-03-21 2016-08-24 南京大学 一种监控视频人物前景分割与分类的方法
US11120070B2 (en) * 2018-05-21 2021-09-14 Microsoft Technology Licensing, Llc System and method for attribute-based visual search over a computer communication network
CN109165540B (zh) * 2018-06-13 2022-02-25 深圳市感动智能科技有限公司 一种基于先验候选框选择策略的行人搜索方法和装置
CN109753920B (zh) * 2018-12-29 2021-09-17 深圳市商汤科技有限公司 一种行人识别方法及装置
CN110929770A (zh) * 2019-11-15 2020-03-27 云从科技集团股份有限公司 一种基于图像处理的智能追踪方法、系统、设备及可读介质

Also Published As

Publication number Publication date
TWI816072B (zh) 2023-09-21
US20220189176A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
Chen et al. Quality-guided key frames selection from video stream based on object detection
Zelnik-Manor et al. Event-based analysis of video
JP6254836B2 (ja) 画像検索装置、画像検索装置の制御方法およびプログラム
CN104794451B (zh) 基于分块匹配结构的行人比对方法
CN104036284A (zh) 基于Adaboost算法的多尺度行人检测方法
CN106650580B (zh) 基于图像处理的货架快速清点方法
CN106203248A (zh) 用于脸部识别的方法和设备
CN101673346A (zh) 对图像进行处理的方法、设备和系统
CN109325546A (zh) 一种结合步法特征的成趟足迹识别方法
CN103530638A (zh) 多摄像头下的行人匹配方法
Schumann et al. A soft-biometrics dataset for person tracking and re-identification
Park et al. Detection of construction workers in video frames for automatic initialization of vision trackers
Wang et al. Mask-RCNN based people detection using a top-view fisheye camera
Cui et al. A scheme for face recognition in complex environments
Mishra et al. A Study on Classification for Static and Moving Object in Video Surveillance System.
Ren et al. An investigation of skeleton-based optical flow-guided features for 3D action recognition using a multi-stream CNN model
Haq et al. On temporal order invariance for view-invariant action recognition
CN111126102A (zh) 人员搜索方法、装置及图像处理设备
KR101711328B1 (ko) 영상 촬영 장치를 통하여 획득한 영상 이미지에서 신장 대비 머리 높이의 비를 이용하여 어린이와 성인을 구분하는 방법
TW202223747A (zh) 物件識別方法及其監控系統
Yun et al. Fall detection in RGB-D videos for elderly care
Li et al. Human Action Recognition Using Multi-Velocity STIPs and Motion Energy Orientation Histogram.
Chahyati et al. Man woman detection in surveillance images
KR101851823B1 (ko) 영상 이미지에서 신장 대비 머리 높이의 비를 이용하여 어린이와 성인을 구분하는 방법
Sowmya Construction workers activity detection using BOF