TWI382762B - 移動物體的追蹤方法 - Google Patents

移動物體的追蹤方法 Download PDF

Info

Publication number
TWI382762B
TWI382762B TW097144397A TW97144397A TWI382762B TW I382762 B TWI382762 B TW I382762B TW 097144397 A TW097144397 A TW 097144397A TW 97144397 A TW97144397 A TW 97144397A TW I382762 B TWI382762 B TW I382762B
Authority
TW
Taiwan
Prior art keywords
moving object
tracking
images
appearance
database
Prior art date
Application number
TW097144397A
Other languages
English (en)
Other versions
TW201021574A (en
Inventor
Chung Hsien Huang
Ming Yu Shih
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW097144397A priority Critical patent/TWI382762B/zh
Priority to US12/346,845 priority patent/US8243990B2/en
Publication of TW201021574A publication Critical patent/TW201021574A/zh
Application granted granted Critical
Publication of TWI382762B publication Critical patent/TWI382762B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

移動物體的追蹤方法
本發明是有關於一種影像處理方法,且特別是有關於一種移動物體的追蹤方法。
視覺監控技術在近幾年來日趨重要,尤其經過九一一事件之後,越來越多的監控攝影機被安置在各個場所,然而傳統的監控往往是藉由人力進行監看,或只是存放於儲存裝置做為事後調閱的工具。隨著越來越多的攝影機架設,所需的人力亦越來越多,因此近年來藉由電腦視覺技術輔助之自動化監控系統扮演更為重要的角色。
視覺監控系統藉由分析監控畫面內移動物體之行為,其可為軌跡、姿態或其他特徵,得以偵測異常事件之發生,並有效通知安全人員進行處理。許多視覺監控之基本議題,如背景相減、移動物體偵測與追蹤、陰影去除等在過去已有相當多的文獻與研究,近年來,焦點則轉往高階之事件偵測,如行為分析、遺留物偵測、徘徊偵測或擁擠偵測等,在目前強烈的監控市場需求下,自動化且具有智慧之行為分析預期將會有極大的需求與商機。
所謂的徘徊偵測,是指當一個或多個移動物體在特定時間內,持續並重覆出現於某個監控區域內。舉例來說,流鶯或乞丐會逗留於街角、塗鴉者會停留於牆邊、有自殺意圖者會徘徊於月臺、或是販毒者會徘徊於地鐵車站等著與其客戶碰面等。
然而,由於視覺監控系統之攝影機的視野有限,無法完全涵蓋徘徊者移動的路徑,因此當徘徊者離開監控區域後,視覺 監控系統即失去監控的目標,無法繼續偵測其動向。特別是徘徊者離開後再返回的情況,如何仍重新辨識並與其之前行為關聯,是目前徘徊偵測技術所面臨的瓶頸。
有鑑於此,本發明提供一種移動物體的追蹤方法,結合多張影像中移動物體的空間資訊及外貌模型,可持續追蹤此移動物體在影像中的移動路徑。
本發明提出一種移動物體的追蹤方法,其包括偵測連續多張影像中之移動物體,以獲得此移動物體在各個影像中的空間資訊,此外亦擷取此移動物體在各個影像中的外貌特徵,以建立此移動物體的外貌模型,最後則結合此移動物體的空間資訊及外貌模型,以追蹤此移動物體在影像中的移動路徑。
在本發明之一實施例中,上述偵測連續多張影像中之移動物體的步驟,更包括判斷此移動物體是否為移動物體,並將非為移動物體的移動物體濾除。其中,判斷該移動物體是否為移動物體的方式包括判斷此矩形區域之面積是否大於第一預設值,而當其面積大於第一預設值時,即判定此矩形區域所包圍之移動物體為移動物體。另一種方式則是判斷此矩形區域的長寬比是否大於第二預設值,而當其長寬比大於第二預設值時,即判定此矩形區域所包圍之移動物體為移動物體。
在本發明之一實施例中,上述擷取移動物體在各個影像中的外貌特徵,以建立移動物體的外貌模型的步驟包括先將矩形區域分割為多個區塊,並擷取各個區塊的色彩分佈,接著採用遞迴的方式,從各個區塊中取出其色彩分佈的中值,據以建立 一個二元樹來描述其色彩分佈,最後則選取此二元樹分支的色彩分佈,以作為移動物體之外貌模型的特徵向量。
在本發明之一實施例中,上述將矩形區域分割為區塊的步驟包括以一定的比例分割該矩形區域為頭部區塊、身體區塊及下肢區塊,而在擷取各個區塊之色彩分佈時則包括將頭部區塊的色彩分佈忽略。其中,上述之色彩分佈包括紅綠藍(RGB)色彩空間或色調色度亮度(HSI)色彩空間中的色彩特徵。
在本發明之一實施例中,在上述偵測連續多張影像中之移動物體,以獲得此移動物體在各個影像中的空間資訊的步驟之後,更包括利用這些空間資訊追蹤此移動物體的移動路徑,並累計此移動物體停留在這些影像中的停留時間。
在本發明之一實施例中,在上述累計移動物體停留在影像中之停留時間的步驟之後,更包括判斷此移動物體停留在這些影像中之停留時間是否超過一第一預設時間,而當此停留時間超過第一預設時間時,始擷取移動物體之外貌特徵,以建立移動物體的外貌模型,並結合移動物體的空間資訊及外貌模型,追蹤移動物體在這些影像中的移動路徑。
在本發明之一實施例中,上述結合移動物體之空間資訊及外貌模型,追蹤移動物體在這些影像中之移動路徑的步驟包括先利用空間資訊計算兩相鄰影像中相對應之移動物體在空間上相關的事前機率,以及利用外貌資訊計算兩相鄰影像中相對應之移動物體的相似度,然後才結合事前機率及相似度於貝式追蹤器,以判斷移動物體在這些相鄰影像中的移動路徑。
在本發明之一實施例中,當判斷停留時間超過第一預設時間時,更包括將此移動物體的停留時間及外貌模型記錄於資料庫,其包括將移動物體的外貌模型與資料庫中的多個外貌模型 進行關聯,以判斷此移動物體的外貌模型是否已記錄於資料庫。其中,若移動物體的外貌模型已記錄於資料庫,則僅記錄移動物體的停留時間於資料庫;反之,若移動物體的外貌模型未記錄於資料庫,則記錄移動物體的停留時間及外貌模型於資料庫。
在本發明之一實施例中,上述將移動物體的外貌模型與資料庫中的外貌模型進行關聯的步驟包括計算同一移動物體於兩不同時間點所建立之外貌模型間的第一距離,以建立第一距離分佈,以及計算各個影像中兩個移動物體之外貌模型間的第二距離,以建立第二距離分佈,然後再利用此第一距離分佈與第二距離分佈求取其界線,以作為區分外貌模型的標準。
在本發明之一實施例中,在上述將移動物體之停留時間及外貌模型記錄於資料庫的步驟之後,更包括分析資料庫中此移動物體的時間序列,以判定此移動物體是否符合徘徊事件。其判斷方式包括判斷移動物體在這些影像中持續出現之時間是否超過第二預設時間,而當移動物體在這些影像中已持續出現超過第二預設時間時,即判定此移動物體符合徘徊事件。另一方式則是判斷移動物體離開這些影像的時間間距是否小於第三預設時間,而當移動物體離開這些影像之時間間距小於第三預設時間時,即判定此移動物體符合徘徊事件。
基於上述,本發明藉由建立訪問者的外貌模型,並結合貝式追蹤技術、資料庫管理技術及適應性閥值學習技術,持續地監控進入畫面中的移動物體,可解決移動物體離開畫面後再返回無法持續偵測的問題。此外,本發明根據訪問者出現於畫面中的時間條件,可自動偵測出訪問者的徘徊事件。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明建立一套非監督式之徘徊偵測技術,系統可自動地由監控畫面之事件學習特定的參數,而對進入畫面之訪問者做外貌模型的建立,並將其與訪問者資料庫進行分析與關聯。其中,藉由與歷史紀錄比對,即使訪問者離開畫面後再進入監控場景,仍可保持追蹤不間斷。最後,利用事前定義的徘徊規則,可進一步地偵測出徘徊事件。為了使本發明之內容更為明瞭,以下特舉實施例作為本發明確實能夠據以實施的範例。
圖1是依照本發明一實施例所繪示之移動物體追蹤之系統架構的示意圖。請參照圖1,本實施例之追蹤系統100包括先經由背景相減110,偵測出連續多張影像中的移動物體。由於本實施例追蹤的對象是具有完整外型的移動物體(例如:行人),因此下一步即藉由簡單的條件設定,將不可能為移動物體的移動物體濾除,此即為移動物體物件擷取120。
另一方面,針對每一個擷取出來的移動物體,本實施例係先計算其外貌特徵130,而利用一個以貝氏決策(Bayesian Decision)為基礎之追蹤器持續追蹤此移動物體140,並藉由多張影像所取得同一個移動物體的外貌特徵來建立其外貌模型。追蹤系統100同時在記憶體內維護一個訪問者資料庫150。其中,訪問者資料庫管理160會根據適應性閥值更新170的結果將目前所擷取之移動物體的外貌特徵與訪問者資料庫150中的外貌模型進行比對及關聯,若此移動物體能與訪問者資料庫150中的某一個人物關聯起來,即表示此移動物體過去曾訪問過該場景;反之,則將此移動物體新增至訪問者資料庫150內。最後,根據訪問者出現於畫面的時間條件作為判斷依據,即可偵測出徘徊事件180。在追蹤移動物體的同時,追蹤 系統100可將畫面中移動物體分佈的情況作為樣本,而自動學習如何區分不同訪問者的差異,用以做為外貌模型關聯之依據,以下即再舉一實施例說明本發明移動物體之追蹤方法的詳細流程。
圖2是依照本發明一實施例所繪示之移動物體之追蹤方法的流程圖。請參照圖2,本實施例係針對進入監控畫面中的移動物體進行追蹤,藉以建立其外貌模型,並與配置於系統記憶體內之訪問者資料庫內的資料進行比對,進而判斷出此移動物體是否曾出現過,而能夠持續追蹤移動物體,其詳細步驟如下:首先,偵測連續多張影像中之移動物體,以獲得此移動物體在各個影像中的空間資訊(步驟S210)。此移動物體偵測技術主要是先建立一個背景影像,而將目前的影像與此背景影像相減來獲得前景。藉由背景相減後所得出之前景則可利用連接區域標記法將每一個連接區域標記出來,並以一個最小可包圍此連接區域的矩形區域b={r left ,r top ,r right ,r bottom }加以記錄,其中r left r top r right r bottom 分別表示此一矩形區域於影像左、上、右、下之邊界。
值得一提的是,由於造成前景的因素很多,而在此感興趣的對象為包含單一個移動物體的前景物體,因此本實施例以行人為例,更包括判斷此移動物體是否為行人,而將其中不屬於行人的移動物體濾除,其例如是藉由下面兩個條件加以濾除:第一個條件是判斷矩形區域的面積是否大於一個第一預設值,而當其面積大於第一預設值時,即判定此矩形區域所包圍的移動物體為行人,如此可濾除雜訊及破碎物體;第二個條件則是判斷矩形區域的長寬比是否大於第二預設值,而當其長寬 比大於第二預設值時,則判定此矩形區域所包圍之的移動物體為行人,如此可濾除多人重疊的區塊或大範圍的雜訊。
下一步則是擷取移動物體在各個影像中的外貌特徵,以建立此移動物體的外貌模型(步驟S220)。詳細地說,本發明提出一種新的外貌描述法,其考慮色彩結構並藉由較寬鬆的身體分割,得出較具意義的外貌特徵。所謂較寬鬆的身體分割,就是將包圍一個行人的矩形區域分割為多個區塊,並擷取各個區塊的色彩分佈,例如可依照2:4:4的比例將矩形區域分割為頭部區塊、身體區塊及下肢區塊,以分別對應於行人的頭、身體及下肢。其中,由於頭部之色彩特徵易受其所面對方向的影響,且區分度並不顯著,因此可將此頭部區塊之資訊忽略。
舉例來說,圖3(a)、3(b)及3(c)是依照本發明一實施例所繪示之移動物體的外貌模型的示意圖。其中,圖3(a)顯示一個行人影像,其係為經由上述二個條件濾除後的矩形區域,可稱之為行人候選者P,而圖3(b)為其對應之連接物件。在將連接物件標記後,接下來即可藉由遞迴的方式,由圖3(c)中的身體區塊及下肢區塊部分取出色彩分佈之中值,進而建立一個二元樹來描述色彩分佈。
圖4是依照本發明一實施例所繪示之色彩分佈之二元樹的示意圖。請參照圖4,其中M表示身體區塊或下肢區塊中某一個色彩分佈的中值,而ML及MH則為此色彩分佈藉由M分開後,各自之色彩分佈的中值,依此可類推得到分支MLL、MLH、MHL及MHH。其中,上述之色彩分佈可為紅綠藍(RGB)色彩空間或色調色度亮度(HSI)色彩空問中的任一色彩特徵,甚至其他色彩空間的色彩特徵,在此不限定。為方便說明,本實施例選用RGB色彩空間,並建立一個包含三層色彩分佈的 二元樹,其可形成一個24維度的特徵向量來描述行人的外貌特徵。取得此一特徵向量後,每一個行人候選人即可以其在影像中的空間資訊及外貌模型來表示。
在取得移動物體之空間資訊及外貌模型後,本實施例即進一步結合這兩樣資訊,據以追蹤移動物體在影像中的移動路徑(步驟S230)。本實施例藉由一種基於貝氏決策之移動物體的追蹤方法來達成移動物體追蹤,此方法考慮兩相鄰影像中移動物體的外貌及位置,而運用貝氏決策來做出最好的關聯,此即為移動物體追蹤。
詳細地說,假設在時間t時,藉由物件偵測及外貌模型建立所獲得之包含n個行人候選者矩形的清單表示為,另外系統所維護之貝氏追蹤器在t-1時間前所追蹤之歷史紀錄為包含m個訪問者猜想之清單。所謂的訪問者猜想是指在連續時間的追蹤下,被相關起來之τ個連續的行人候選者影像,即H={P t-τ ,P t-τ+1,...,P t ,ρ},其中P t-τ 為此訪問者第一次出現之行人候選矩形,其餘依此類推。此外,ρ稱為信心指數,其會隨著物體追蹤的成功或失敗而增加或減少,當此信心指數大於一個上界閥值時,則可認為此訪問者猜想具有足夠的信心程度,而將訪問者猜想轉變為一個實體訪問者;反之,若此信心指數低於零時,則認為此移動物體已離開監控場景,此時即可將此訪問者猜想由貝氏追蹤器所維護的清單M中移除。上述之貝氏物件追蹤可分為學習、相關以及更新三個階段,以下則再舉一實施例詳細說明。
圖5是依照本發明一實施例所繪示之貝式物件追蹤方法的流程圖。請參照圖5,首先,在學習階段中,本實施例先提供一組訪問者猜想清單M(步驟S510),此訪問者猜想清單M中包含多個已經過連續時間追蹤,且被關聯起來的訪問者猜想。
接著,針對訪問者猜想清單M中的每一個訪問者猜想,檢視其在影像中停留的長度(被追蹤的時間)是否超過一第一預設時間L 1(步驟S520),若其長度短於L 1,則認定其仍處於學習階段,此時相鄰畫面之行人候選者僅藉由空間的相關性來關聯(步驟S530)。舉例來說,若屬於訪問者猜想之矩形區域與目前畫面之行人候選者之矩形區域有空間上之重疊關係,則訪問者猜想可藉由加入行人候選者而更新為
接著,在相關階段中,即訪問者猜想之長度大於第一預設時間L 1,則表示其處於被穩定追蹤之狀態,此時我們不只考慮空間相關性,還更考慮物體的外貌特徵,而藉由貝氏決策來將訪問者猜想與行人候選者關聯(步驟S540)。詳細地說,此步驟包括利用上述的空間資訊來計算兩相鄰影像中相對應之移動物體在空間上相關的事前機率,以及利用上述外貌資訊計算兩相鄰影像中相對應之移動物體的相似度,然後再將此事前機率及相似度結合於貝式追蹤器,以判斷訪問者猜想與行人候選者是否相關聯。舉例來說,式(1)為貝氏決策之鑑別方程式(discriminant function):
其中相似度函數表示給予,其屬於之機率, 而則相反,亦即不屬於之機率。因此,若BD大於1,即表示決策偏向於屬於,故將兩者與以關聯。其中,若將式(1)中之相似度函式以多維之常態分佈N(μ2)來表示,則如式(2)所示:
其中μ and Σ為過去L 1個特徵值(從)之平均與共變異矩陣,計算方法如下:
其中σ xy =(f x -μ x )(f y -μ y ) (5)
相似度函數在此則以均勻分佈(uniform distribution)函數來表示。另一方面,由於事前機率p(C H)與是用來反應對該事件發生的事前認知,在此是將此事前認知對應到空間的相關性。換句話說,即當距離越近,則給予較大之事前機率,在此可藉由一個與距離相關之指數函式來表示p(C H)與,如式(6)與(7)所示:
其中,σ D 為由使用者控制之參數,其可根據畫面中移動物體之速度來加以調整。考慮上述空間相關性及外貌特徵,即可用以判斷訪問者猜想是否與行人候選者關聯(步驟S550)。而在更新階段中,若經由上述階段被判定為相關,則可將新增至而更新訪問者猜想為(步驟S560)。同時,亦可加上一常數△ρ,以提高此猜想之信心指數ρ i ,直到ρ i 達到一預設最大值ρ max;反之,若無法與畫面中任何一個行人候選者相關,則將其信心指數ρ i 減去常數△ρ,若其值減小到小於零時,則從訪問者猜想清單M中移除此一訪問者猜想,表示此訪問者已離開監控畫面。另一方面,若畫面t中有行人候選者無法關連到任何訪問者猜想,即表示此行人候選者為新進入之訪問者,故於訪問者猜想清單M中增加一個訪問者猜想(步驟S570),並給定ρ m+1=0。本實施例中,ρ max設定為1而△ρ設定為0.1,但不限定於此。
為了對進出場景內的訪問者做外貌的辨識,以利分析同一個行人在此場景進出之行為及時間點,本發明配置了一個訪問者資料庫來記錄訪問者之外貌模型及其訪問時間,此訪問者資料庫之管理流程如圖6所示,其說明如下:首先,在追蹤器內新增一個訪問者猜想(步驟S610),並判斷此訪問者猜想之長度是否到達第二預設時間L 2的整數倍(步驟S620),而當到達L 2時,即根據其過往L 2個外貌特徵,計算其平均特徵向量及共變異矩陣,藉以一高斯函數描述此時之外貌模型V={N(μ,Σ),{s}}(步驟S630),其中{s}為一常數序列,其係記錄此外貌模型建立的時間。接著,判斷是否有訪問者的猜想長度等於L2(步驟S640)且其外貌模型為與訪問者資料庫中記錄的訪問者外貌模型相關聯(步驟S650)。 其中,若此訪問者與資料庫內訪問者外貌模型存在一個以上之相似(兩者距離小於閥值T),則表示此訪問者曾經訪問過該場景,此時就可將其與最相近者V k 進行關聯並藉由式(8)、(9)與(10)更新至位於訪問者資料庫內之訪問者外貌模型(步驟S660)。
其中σ 2(x,y)表示共變異矩陣內之元素(x,y),u與v為兩外貌模型之時間序列長度,以作為更新之權重,由於此時V i 為一新建立起之外貌模型,故其v值為1。反之,若V i 無法與訪問者資料庫內任何外貌模行進行關聯,則表示此為一個新觀察到的訪問者,此時即可將其外貌模型及時間標記加入訪問者資料庫中(步驟S670)。此處兩個外貌模型(各為一d維度之高斯分佈,N 1(μ 11)與N 2(μ 22))之間的距離係藉由下列的距離公式來計算:D(V(N 1),V(N 2))=(D KL (N 1N 2)+D KL (N 2N 1))/2 (11)其中
值得一提的是,若此訪問者猜想長度為L2的兩倍以上,則表示其已與訪問者資料庫關連過,此時只需藉由式(8)持續更新其對應在訪問者資料庫之外貌模型即可。
針對上述提及做為判斷兩個外貌模型相關依據的閥值T,當兩個外貌模型距離大於此閥值T時,即可判斷此兩個外貌模型來自於相異的訪問者;反之若距離小於閥值T,則可判定此兩者相關聯,進而斷定兩者為同一訪問者。
為了計算一個最適合的閥值T,本發明提出一種非監督式之學習策略,使得系統可自動地從影片中學習更新,以獲得最佳之外貌分辨能力,其包括考慮下面兩種事件:事件A發生於同一個訪問者被持續穩定地追蹤。如圖7(a)與圖7(b)所示,當訪問者已被系統穩定地追蹤2L2時間長度,此時即有足夠的信心相信兩個外貌模型係來自同一個訪問者,此時即可計算這兩個外貌模型之間的距離D(V 1',V 1),而作為事件A的特徵值;而事件B發生於兩個訪問者同時出現畫面中且被穩定地追蹤。如圖7(c)所示,因為當同一個畫面同時出現兩訪問者,此時即有足夠的信心相信這兩個外貌模型是來自不同的訪問者,藉此計算其距離D(V 2,V 3),並作為事件B的特徵值。
當系統蒐集到的事件A與事件B之數量達到一定量時,再對其做統計上的分析。如圖8所示,其中由於事件A的特徵值乃是計算來自同一個訪問者於兩不同時間點所建立之外貌模型的距離,故其值較靠近零點位置且分佈較為集中;而事件B的特徵值乃是計算兩個不同物體之外貌模型的距離,故其值離零點較遠且分佈較為分散。藉由計算這兩種事件個別之平均值及標準差,再以常態分佈N A (μ A ,)與N B (μ B ,)來表示其距離資料,即可建立第一距離分佈及第二距離分佈,此時即可藉由下列等式(13)求取此第一距離分佈與第二距離分佈最佳的界線,以作為區分外貌模型的閥值T:
最後,對於上述訪問者資料庫所記載各個訪問者的外貌模型及停留時間,本發明更進一步地將其應用於徘徊偵測,只要分析訪問者資料庫內每一個訪問者之外貌模型所記錄的時間序列{s}即可,在此可將下式(14)與(15)做為條件來進行徘徊的判定:s t -s 1>α (14)
其中式(14)表示訪問者從第一次出現到目前偵測時,已在畫面出現超過預設時間α,而式(15)表示訪問者被偵測的時間間距至少小於預設時間β
綜上所述,本發明之移動物體的追蹤方法結合「移動物體追蹤」、「訪問者資料庫管理」、以及「適應性閥值學習」等技術,根據多張影像中移動物體的外貌特徵建立外貌模型,並與配置於系統記憶體內之訪問者資料庫內的資料進行比對,而能夠維持對於訪問者的追蹤不間斷,即使訪問者離開監控畫面而後再進入,仍可成功地將此訪問者與其先前的行為相關聯,進而輔助監控者即早發現異常行為並做出後續反應。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧追蹤系統
110‧‧‧背景相減
120‧‧‧移動物體物件擷取
130‧‧‧外貌特徵計算
140‧‧‧貝式物件追蹤
150‧‧‧訪問者資料庫管理
160‧‧‧訪問者資料庫
170‧‧‧適應性閥值更新
180‧‧‧徘徊事件偵測
S210~S230‧‧‧本發明一實施例之移動物體的追蹤方法之各步驟
S510~S570‧‧‧本發明一實施例之貝式物件追蹤方法之各步驟
S610~S670‧‧‧本發明一實施例之訪問者資料庫的管理方法之各步驟
圖1是依照本發明一實施例所繪示之移動物體追蹤之系 統架構的示意圖。
圖2是依照本發明一實施例所繪示之移動物體之追蹤方法的流程圖。
圖3(a)、3(b)及3(c)是依照本發明一實施例所繪示之移動物體的外貌模型的示意圖。
圖4是依照本發明一實施例所繪示之色彩分佈之二元樹的示意圖。
圖5是依照本發明一實施例所繪示之貝式物件追蹤方法的流程圖。
圖6是依照本發明一實施例所繪示之訪問者資料庫之管理方法的流程圖。
圖7(a)、圖7(b)及圖7(c)是依照本發明一實施例所繪示之適應性閥值更新方法的示意圖。
圖8是依照本發明一實施例所繪示之適應性閥值計算的圖例。
S210~S230‧‧‧本發明一實施例之移動物體的追蹤方法之各步驟

Claims (21)

  1. 一種移動物體的追蹤方法,包括下列步驟:偵測連續多張影像中之一移動物體,以獲得該移動物體在各該些影像中之一空間資訊;利用該些空間資訊追蹤該移動物體之一移動路徑,並累計該移動物體停留在該些影像中之一停留時間。判斷該移動物體停留在該些影像中之該停留時間是否超過一第一預設時間;當該停留時間超過該第一預設時間時,始擷取該移動物體在各該些影像中之一外貌特徵,以建立該移動物體之一外貌模型;以及結合該移動物體之該空間資訊及該外貌模型,追蹤該移動物體在該些影像中之該移動路徑。
  2. 如申請專利範圍第1項所述之移動物體的追蹤方法,其中偵測連續多張影像中之該移動物體的步驟包括:將該些影像減去一背景影像,以偵測出該移動物體。
  3. 如申請專利範圍第2項所述之移動物體的追蹤方法,其中在將該些影像減去該背景影像的步驟之後,更包括:標記該些影像中的多個連接區域;以及估測最小可包圍各該些連接區域之一矩形區域。
  4. 如申請專利範圍第3項所述之移動物體的追蹤方法,其中偵測連續多張影像中之該移動物體的步驟,更包括:判斷該移動物體是否為一追蹤目標物;以及濾除非為該追蹤目標物之該移動物體。
  5. 如申請專利範圍第4項所述之移動物體的追蹤方法,其中判斷該移動物體是否為該追蹤目標物的步驟包括: 判斷該矩形區域之一面積是否大於一第一預設值;以及當該面積大於該第一預設值時,判定該矩形區域所包圍之該移動物體為該追蹤目標物。
  6. 如申請專利範圍第4項所述之移動物體的追蹤方法,其中判斷該移動物體是否為該追蹤目標物的步驟包括:判斷該矩形區域之一長寬比是否大於一第二預設值;以及當該長寬比大於該第二預設值時,判定該矩形區域所包圍之該移動物體為該追蹤目標物。
  7. 如申請專利範圍第3項所述之移動物體的追蹤方法,其中擷取該移動物體在各該些影像中之該外貌特徵,以建立該移動物體之該外貌模型的步驟包括:分割該矩形區域為多個區塊,並擷取各該些區塊之一色彩分佈;採用遞迴的方式,取出各該些區塊中該色彩分佈之一中值,據以建立一二元樹來描述該色彩分佈;以及選取該二元樹分支之該些色彩分佈,以作為該移動物體之該外貌模型的一特徵向量。
  8. 如申請專利範圍第3項所述之移動物體的追蹤方法,其移動物體為一行人。
  9. 如申請專利範圍第8項所述之移動物體的追蹤方法,其中分割該矩形區域為該些區塊的步驟包括以2:4:4的比例分割該矩形區域為一頭部區塊、一身體區塊及一下肢區塊。
  10. 如申請專利範圍第9項所述之移動物體的追蹤方法,其中擷取各該些區塊之該色彩分佈的步驟包括忽略該頭部區塊之該色彩分佈。
  11. 如申請專利範圍第10項所述之移動物體的追蹤方法,其中該色彩分佈包括紅綠藍(RGB)色彩空間或色調色度亮度(HSI)色彩空間中的一色彩特徵。
  12. 如申請專利範圍第1項所述之移動物體的追蹤方法,其中結合該移動物體之該空間資訊及該外貌模型,追蹤該移動物體在該些影像中之該移動路徑的步驟包括:利用該些空間資訊計算兩相鄰影像中相對應之該移動物體在空間上相關的一事前機率;利用該些外貌資訊計算兩相鄰影像中相對應之該移動物體的一相似度;以及結合該事前機率及該相似度於一貝式追蹤器,以判斷該移動物體在該些相鄰影像中之該移動路徑。
  13. 如申請專利範圍第1項所述之移動物體的追蹤方法,其中當判斷該停留時間超過該第一預設時間時,更包括:記錄該移動物體之該停留時間及該外貌模型於一資料庫。
  14. 如申請專利範圍第13項所述之移動物體的追蹤方法,其中記錄該移動物體之該停留時間及該外貌模型於該資料庫的步驟包括:將該移動物體之該外貌模型與該資料庫中的多個外貌模型進行關聯,以判斷該移動物體之該外貌模型是否已記錄於該資料庫;若該移動物體之該外貌模型已記錄於該資料庫,則僅記錄該移動物體之該停留時間於該資料庫;以及若該移動物體之該外貌模型未記錄於該資料庫,則記錄該移動物體之該停留時間及該外貌模型於該資料庫。
  15. 如申請專利範圍第14項所述之移動物體的追蹤方法,其中將該移動物體之該外貌模型與該資料庫中的該些外貌模 型進行關聯,以判斷該移動物體之該外貌模型是否已記錄於該資料庫的步驟包括:計算該移動物體之該外貌模型與該資料庫中各該些外貌模型之一距離,並判斷該距離是否小於一閥值;以及若有該外貌模型的該距離小於該閥值,藉由該移動物體之該外貌模型更新該資料庫中之該外貌模型。
  16. 如申請專利範圍第15項所述之移動物體的追蹤方法,其中藉由該移動物體之該外貌模型更新該資料庫中之該外貌模型的步驟包括:選擇該距離小於該閥值的該些外貌模型中與該移動物體之該外貌模型最相似者更新該資料庫中之該外貌模型。
  17. 如申請專利範圍第16項所述之移動物體的追蹤方法,其中計算該移動物體之該外貌模型與該資料庫中各該些外貌模型之該距離的步驟包括:計算各該些影像中該移動物體於兩不同時間點所建立之外貌模型間的一第一距離,以建立一第一距離分佈;計算各該些影像中兩個移動物體之該外貌模型間的一第二距離,以建立一第二距離分佈;以及求取該第一距離分佈與該第二距離分佈之一界線,以作為區分該外貌模型之一標準。
  18. 如申請專利範圍第17項所述之移動物體的追蹤方法,其中建立該第一距離分佈與該第二距離分佈的步驟包括:分別計算該第一距離分佈與該第二距離分佈之一平均值及一標準差;以及依據該平均值及該標準差,以常態分佈的方式表示該些第一距離及該些第二距離的資料,而建立該第一距離分佈與該第二距離分佈。
  19. 如申請專利範圍第13項所述之移動物體的追蹤方法,其中在記錄該移動物體之該停留時間及該外貌模型於該資料庫的步驟之後,更包括:分析該資料庫中該移動物體之一時間序列,以判定該移動物體是否符合一徘徊事件。
  20. 如申請專利範圍第19項所述之移動物體的追蹤方法,其中分析該資料庫中該移動物體之該時間序列,以判定該移動物體是否符合該徘徊事件的步驟包括:判斷該移動物體在該些影像中持續出現之時間是否超過一第二預設時間;以及當該移動物體在該些影像中已持續出現超過該第二預設時間時,判定該移動物體符合該徘徊事件。
  21. 如申請專利範圍第19項所述之移動物體的追蹤方法,其中分析該資料庫中該移動物體之該時間序列,以判定該移動物體是否符合該徘徊事件的步驟包括:判斷該移動物體離開該些影像之一時間間距是否小於一第三預設時間;以及當該移動物體離開該些影像之該時間間距小於該第三預設時間時,判定該移動物體符合該徘徊事件。
TW097144397A 2008-11-17 2008-11-17 移動物體的追蹤方法 TWI382762B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097144397A TWI382762B (zh) 2008-11-17 2008-11-17 移動物體的追蹤方法
US12/346,845 US8243990B2 (en) 2008-11-17 2008-12-31 Method for tracking moving object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097144397A TWI382762B (zh) 2008-11-17 2008-11-17 移動物體的追蹤方法

Publications (2)

Publication Number Publication Date
TW201021574A TW201021574A (en) 2010-06-01
TWI382762B true TWI382762B (zh) 2013-01-11

Family

ID=42172109

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097144397A TWI382762B (zh) 2008-11-17 2008-11-17 移動物體的追蹤方法

Country Status (2)

Country Link
US (1) US8243990B2 (zh)
TW (1) TWI382762B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI647956B (zh) * 2017-04-11 2019-01-11 大眾電腦股份有限公司 物件追蹤系統及其方法
TWI679612B (zh) * 2018-08-14 2019-12-11 國立交通大學 影像追蹤方法
US11037307B2 (en) 2018-08-06 2021-06-15 Institute For Information Industry Method and electronic apparatus for comparing tracking object

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI514324B (zh) * 2010-11-30 2015-12-21 Ind Tech Res Inst 影像目標區域追蹤系統與方法及電腦程式產品
TWI423170B (zh) * 2010-12-31 2014-01-11 Altek Corp 多畫面中物體移動的追蹤方法
JP5774889B2 (ja) * 2011-03-31 2015-09-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
CN102800077B (zh) * 2012-07-20 2014-08-20 西安电子科技大学 贝叶斯非局部均值图像修复方法
US8971573B2 (en) * 2012-09-12 2015-03-03 Xerox Corporation Video-tracking for video-based speed enforcement
CN103475882B (zh) * 2013-09-13 2017-02-15 北京大学 监控视频的编码、识别方法和监控视频的编码、识别系统
CN105989367B (zh) * 2015-02-04 2019-06-28 阿里巴巴集团控股有限公司 目标获取方法及设备
US10049273B2 (en) * 2015-02-24 2018-08-14 Kabushiki Kaisha Toshiba Image recognition apparatus, image recognition system, and image recognition method
KR102015588B1 (ko) * 2015-07-16 2019-08-28 한화테크윈 주식회사 배회 경보 방법 및 장치
DE102016114168A1 (de) * 2016-08-01 2018-02-01 Connaught Electronics Ltd. Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug
US10475194B2 (en) * 2016-12-19 2019-11-12 Htc Corporation Method, device, and non-transitory computer readable storage medium for object tracking
CN107085729B (zh) * 2017-03-13 2021-06-22 西安电子科技大学 一种基于贝叶斯推断的人员检测结果修正方法
CN107240118B (zh) * 2017-05-19 2020-10-09 成都信息工程大学 一种基于rgb颜色直方图的判别式跟踪方法
US10523864B2 (en) * 2018-04-10 2019-12-31 Facebook, Inc. Automated cinematic decisions based on descriptive models
CN108664930A (zh) * 2018-05-11 2018-10-16 西安天和防务技术股份有限公司 一种智能的多目标检测跟踪方法
CN109447011B (zh) * 2018-11-06 2020-07-03 沈阳天眼智云信息科技有限公司 红外对蒸汽管道泄露的实时监控方法
TWI734237B (zh) * 2019-10-29 2021-07-21 財團法人金屬工業研究發展中心 自動控制方法以及自動控制裝置
CN110472614B (zh) * 2019-08-22 2023-06-30 四川自由健信息科技有限公司 一种晕倒行为的识别方法
US11030757B1 (en) * 2019-12-10 2021-06-08 Vivotek Inc. Queue analyzing method and image monitoring apparatus
CN111652907B (zh) * 2019-12-25 2021-08-27 珠海大横琴科技发展有限公司 一种基于数据关联的多目标跟踪方法、装置及电子设备
JP7482644B2 (ja) * 2020-02-17 2024-05-14 本田技研工業株式会社 システム、プログラム、及び情報処理方法
US11915463B2 (en) * 2020-08-21 2024-02-27 Carnegie Mellon University System and method for the automatic enrollment of object images into a gallery
CN117994917B (zh) * 2024-03-12 2024-07-05 江苏荣达信息科技产业有限公司 一种基于园区安防的全天候监控平台及监控方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010004400A1 (en) * 1999-12-20 2001-06-21 Takahiro Aoki Method and apparatus for detecting moving object
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US20050012817A1 (en) * 2003-07-15 2005-01-20 International Business Machines Corporation Selective surveillance system with active sensor management policies
US20050104727A1 (en) * 2003-11-17 2005-05-19 Mei Han Video surveillance system that detects predefined behaviors based on movement through zone patterns
US20080232685A1 (en) * 2007-03-20 2008-09-25 Brown Lisa M Categorizing moving objects into familiar colors in video

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US7023469B1 (en) * 1998-04-30 2006-04-04 Texas Instruments Incorporated Automatic video monitoring system which selectively saves information
US6628835B1 (en) * 1998-08-31 2003-09-30 Texas Instruments Incorporated Method and system for defining and recognizing complex events in a video sequence
US6999599B2 (en) * 2002-06-07 2006-02-14 Microsoft Corporation System and method for mode-based multi-hypothesis tracking using parametric contours
US7149356B2 (en) * 2002-07-10 2006-12-12 Northrop Grumman Corporation System and method for template matching of candidates within a two-dimensional image
US7394916B2 (en) * 2003-02-10 2008-07-01 Activeye, Inc. Linking tracked objects that undergo temporary occlusion
US6882959B2 (en) * 2003-05-02 2005-04-19 Microsoft Corporation System and process for tracking an object state using a particle filter sensor fusion technique
US7072494B2 (en) * 2004-02-20 2006-07-04 Siemens Corporate Research, Inc. Method and system for multi-modal component-based tracking of an object using robust information fusion
US20050249080A1 (en) * 2004-05-07 2005-11-10 Fuji Xerox Co., Ltd. Method and system for harvesting a media stream
US7801328B2 (en) * 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US20010004400A1 (en) * 1999-12-20 2001-06-21 Takahiro Aoki Method and apparatus for detecting moving object
US20050012817A1 (en) * 2003-07-15 2005-01-20 International Business Machines Corporation Selective surveillance system with active sensor management policies
US20050104727A1 (en) * 2003-11-17 2005-05-19 Mei Han Video surveillance system that detects predefined behaviors based on movement through zone patterns
US20080232685A1 (en) * 2007-03-20 2008-09-25 Brown Lisa M Categorizing moving objects into familiar colors in video

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI647956B (zh) * 2017-04-11 2019-01-11 大眾電腦股份有限公司 物件追蹤系統及其方法
US11037307B2 (en) 2018-08-06 2021-06-15 Institute For Information Industry Method and electronic apparatus for comparing tracking object
TWI679612B (zh) * 2018-08-14 2019-12-11 國立交通大學 影像追蹤方法

Also Published As

Publication number Publication date
US8243990B2 (en) 2012-08-14
TW201021574A (en) 2010-06-01
US20100124358A1 (en) 2010-05-20

Similar Documents

Publication Publication Date Title
TWI382762B (zh) 移動物體的追蹤方法
US11704936B2 (en) Object tracking and best shot detection system
CN105745687B (zh) 情景感知移动目标检测
TWI416068B (zh) 跨感測器間之物體追蹤方法與系統
CN101095149B (zh) 图像比较设备和图像比较方法
CN110264493B (zh) 一种针对运动状态下的多目标对象追踪方法和装置
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
KR102244878B1 (ko) 인공지능 기반의 cctv 보안 시스템 및 보안 방법
Tiwari et al. A survey on shadow detection and removal in images and video sequences
CN104809742A (zh) 一种复杂场景下的物品安全检测方法
Tang et al. Hybrid blob and particle filter tracking approach for robust object tracking
CN109977796A (zh) 尾随通行检测方法及装置
CN111428626B (zh) 一种移动物体的识别方法、装置、及存储介质
KR20170095599A (ko) 동영상 검색 시스템 및 그 방법
Yang et al. Robust people detection and tracking in a multi-camera indoor visual surveillance system
Lee et al. An intelligent video security system using object tracking and shape recognition
Sharma et al. Reinforcement learning based querying in camera networks for efficient target tracking
Amato et al. Neural network based video surveillance system
CN112508962B (zh) 基于时间关联图像序列的目标图像区域子序列分离方法
CN116912882B (zh) 一种基于头部和躯干检测的增强DeepSort单镜行人跟踪算法
CN114170561B (zh) 一种应用于智能建筑的机器视觉行为意图预测方法
CN114463687B (zh) 一种基于大数据的移动轨迹预测方法
CN111582025B (zh) 一种移动物体的识别方法、装置、及存储介质
Lei et al. DenseTrack: Drone-based Crowd Tracking via Density-aware Motion-appearance Synergy
Ukita Target-color learning and its detection for non-stationary scenes by nearest neighbor classification in the spatio-color space