TWI668669B - 物件追蹤系統及方法 - Google Patents

物件追蹤系統及方法 Download PDF

Info

Publication number
TWI668669B
TWI668669B TW107118678A TW107118678A TWI668669B TW I668669 B TWI668669 B TW I668669B TW 107118678 A TW107118678 A TW 107118678A TW 107118678 A TW107118678 A TW 107118678A TW I668669 B TWI668669 B TW I668669B
Authority
TW
Taiwan
Prior art keywords
foreground
pixel position
picture
pixel
attribute
Prior art date
Application number
TW107118678A
Other languages
English (en)
Other versions
TW202004667A (zh
Inventor
蔡宗漢
Tsung-Han Tsai
楊景欽
Ching-Chin Yang
王瑞智
Rui-zhi WANG
Original Assignee
國立中央大學
National Central University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中央大學, National Central University filed Critical 國立中央大學
Priority to TW107118678A priority Critical patent/TWI668669B/zh
Priority to US16/241,613 priority patent/US10949984B2/en
Application granted granted Critical
Publication of TWI668669B publication Critical patent/TWI668669B/zh
Publication of TW202004667A publication Critical patent/TW202004667A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Abstract

一種物件追蹤系統，包含：一前景辨識模組、一物件群組化模組及一 物件追蹤模組。前景辨識模組將目前處理畫面與背景模型畫面進行像素位置的像素值差異比較，以判斷目前處理畫面的像素位置的屬性資訊，進而產生一目前前景畫面；物件群組化模組根據目前前景畫面的像素位置的周圍像素位置的屬性資訊而對像素位置設定標籤值，並將具有相同標籤值的相鄰像素位置連接而形成一物件；物件追蹤模組根據物件所對應的像素位置與一被追蹤物件所對應的複數個像素位置來判斷該物件是否為被追蹤物件。

Description

物件追蹤系統及方法
本發明係關於一種影像處理系統及方法，特別是一種物件追蹤系統及方法。
在影像處理中，物件追蹤一直是熱門的研究課題。在實際進行物件追蹤監控時，不同物件之間的遮擋及物件外觀改變等問題都將會影響追蹤的精準度及後續操作，因此物件追蹤的技術門檻非常高。然而現今大多數的追蹤技術並無法符合實際需求，例如演算法複雜而無法進行即時影像處理、必須限制在簡易監控環境中等，因此仍有待改善。此外，目前大多數的追蹤技術仍必須投入大量的人力進行前置作業或後續手動處理，例如必須先建立一個完善的背景模型，如此亦不符合人力及時間成本。
有鑑於此，本發明提供一種物件追蹤系統及方法，以解決上述問題，並可實際應用於任何現實環境中。
本發明的一目的係提供一種物件追蹤系統，包含：前景辨識模組，將連續畫面的目前處理畫面與背景模型畫面進行每個像素位置的像素值差異比 較，以判斷目前處理畫面的每個像素位置的屬性資訊，進而產生目前前景畫面，其中屬性資訊為前景屬性或背景屬性；物件群組化模組，根據目前前景畫面的每個像素位置的複數個周圍像素位置的屬性資訊而對像素位置設定一標籤值，並將具有相同標籤值的複數個相鄰像素位置連接而形成物件；以及物件追蹤模組，判斷目前前景畫面的物件所對應的像素位置與連續畫面的一先前前景畫面的特定物件所對應的像素位置是否至少部分重疊，若是，則判斷物件是特定物件，並將該物件所對應的標籤值轉換為特定物件的標籤值。
本發明的另一目的係提供一種物件追蹤方法，由一物件追蹤系統來執行，該方法包含步驟：藉由前景辨識模組，將目前處理畫面與背景模型畫面進行每個像素位置的像素值差異比較，以判斷目前處理畫面的每個像素位置的屬性資訊，進而產生目前前景畫面，其中屬性資訊為前景屬性或背景屬性；藉由物件群組化模組，根據目前前景畫面的每個像素位置的複數個周圍像素位置的屬性資訊而對每個像素位置設定一標籤值，並將具有相同標籤值的複數個相鄰像素位置連接而形成物件；以及藉由物件追蹤模組，判斷目前前景畫面的物件所對應的像素位置與先前前景畫面中的特定物件所對應的像素位置是否至少部分重疊，若是，則判斷物件為特定物件，並將物件所對應的標籤值轉換為特定物件的標籤值。
1‧‧‧物件追蹤系統
R1、R2‧‧‧搜尋範圍
2‧‧‧輸入輸出介面
S41~S44‧‧‧步驟
4‧‧‧記憶裝置
6‧‧‧連續畫面
10‧‧‧處理裝置
20‧‧‧前景辨識模組
30‧‧‧物件群組化模組
40‧‧‧物件追蹤模組
50‧‧‧物件閉塞解決模 組
f(t-n)~f(t-1)‧‧‧先前畫面
f(t)‧‧‧目前處理畫面
f’(t-n)~f’(t-1)‧‧‧先前前景畫面
f’(t)‧‧‧目前前景畫面
f(b)‧‧‧背景畫面模組
S11~S14‧‧‧步驟
S21~S27‧‧‧步驟
S31~S36‧‧‧步驟
CP‧‧‧目前像素位置
object1、object2、物件
object3、object4‧‧‧物件
G1、G2‧‧‧重心點
圖1(A)是本發明一實施例的物件追蹤系統的系統架構圖；圖1(B)是本發明一實施例的物件追蹤方法的主要流程圖； 圖2(A)是本發明一實施例的前景辨識模組的細部運作流程圖；圖2(B)是本發明另一實施例的前景辨識模組的細部運作流程圖；圖3(A)是本發明一實施例的物件群組化模組的細部運作流程圖；圖3(B)是本發明一實施例的圖3(A)的步驟S31的運作情形示意圖；圖3(C)是本發明一實施例的圖3(A)的步驟S32(a)的運作情形示意圖；圖3(D)是本發明一實施例的圖3(A)的步驟S32(b)的運作情形示意圖；圖3(E)是本發明一實施例的圖3(A)的步驟S32(c)的運作情形示意圖；圖3(F)是本發明一實施例的圖3(A)的步驟S33的運作情形示意圖；圖3(G)是本發明一實施例的圖3(A)的步驟S34的運作情形示意圖；圖3(H)至圖3(J)是本發明一實施例的圖3(A)的步驟S35的運作情形示意圖。
圖4為本發明一實施例的物件追蹤模組的運作流程圖。
圖5為本發明一實施例的物件閉塞解決模組的運作流程圖。
以下將透過多個實施例說明本發明的量測設備的實施態樣及運作原理。本發明所屬技術領域中具有通常知識者，透過上述實施例可理解本發明的特徵及功效，而可基於本發明的精神，進行組合、修飾、置換或轉用。
本文所指的“連接”一詞係包括直接連接或間接連接等態樣，且並非限定。本文中關於”當…”、”…時”的一詞係表示”當下、之前或之後”，且並非限定。此外，本發明記載多個功效(或元件)時，若在多個功效(或元件)之間使用“或”一詞，係表示功效(或元件)可獨立存在，但亦不排除多個功效(或元件)可同時存在的態樣。再者，說明書中所使用的序數例如“第一”、“第
二”等之用詞，除非特別敘明，否則其本身並不意含及代表元件或實施例之間有任何之前的序數，也不代表某一元件或實施例與另一元件或實施例存在順序關係，該些序數的使用僅用來修飾不同的元件或實施例，且不限定本發明只具有這些元件或實施例。
圖1(A)是本發明一實施例的物件追蹤系統1的系統架構圖。如圖1(A)所示，物件追蹤系統1包含一前景辨識模組20、一物件群組化模組30及一物件追蹤模組40。在一實施例中，物件追蹤系統1可更包含一輸入輸出介面2、一記憶裝置4及一處理裝置10，其中前景辨識模組20、物件群組化模組30及物件追蹤模組40可設置於處理裝置10中。輸入輸出介面2可用於接收一連續畫面6以及輸出物件追蹤系統1的處理結果(此處“處理結果”可例如是在連續畫面上產生框線來標示出追蹤對象等，但不限於此)；連續畫面6可包含複數個對應不同時間點的畫面f(t-n)~f(t)，每個畫面具有複數個像素位置，其中f(t)定義為物件追蹤系統1的一目前處理畫面，f(t-n)則定義為目前處理畫面的第前n個畫面，例如f(t-1)可定義為第前1個畫面，f(t-2)可定義為目前處理畫面的第前2個畫面，換句話說，f(t-n)可定義為連續畫面6的第1個畫面，f(t)可定義為連續畫面6目前的最後一個畫面。 記憶裝置4可用以儲存該等畫面f(t-n)~f(t)、物件追蹤系統1處理過的資料或處理時所需的資料等。處理裝置10可使物件追蹤系統1執行特殊運作，例如處理裝置10可藉由前景辨識模組20、物件群組化模組30及物件追蹤模組40對畫面f(t-n)~f(t)進行處理，並將處理結果藉由輸入輸出介面2輸出。在一實施例中，前景辨識模組20可區分畫面的前景部分及背景部分，進而產生二值化的前景畫面，物件群組化模組30可在前景畫面中找出可能是物件的區塊，而物件追蹤模組40可以根據前一個畫面的物件資訊而在目前畫面上找出特定物件(例如被追蹤的物件)，藉此可 在連續畫面上進行物件的追蹤。此外，在一實施例中，處理裝置10可更設置一物件閉塞解決模組50，以在畫面中的物件發生閉塞(Occlusion case)情形時進行處理(關於“閉塞”的定義及處理方式將配合圖5於後續段落中進行說明)。
物件追蹤系統1可藉由前景辨識模組20、物件群組化模組30及物件追蹤模組40來執行一物件追蹤方法。圖1(B)是本發明一實施例的物件追蹤方法的主要流程圖，請同時參考圖1(A)。首先步驟S11被執行，前景辨識模組20將一目前處理畫面f(t)與一背景模型畫面f(b)進行每個像素位置的像素值差異比較，以判斷目前處理畫面f(t)的每個像素位置的一屬性資訊，並根據每個像素位置的屬性資訊產生一目前前景畫面f’(t)，其中屬性資訊是前景屬性或背景屬型。之後步驟S12被執行，物件群組化模組30根據目前前景畫面f’(t)的每個像素位置的周圍像素位置的屬性資訊而對該像素位置設定一標籤值，並將具有相同標籤值的複數個相鄰像素位置連接，以形成至少一物件。之後步驟S13被執行，物件追蹤模組40根據該至少一物件所對應的像素位置與一先前前景畫面f’(t-1)的一特定物件所對應的像素位置進行比較，以判斷目前物件是否為先前前景畫面f’(t-1)中的特定物件。藉此，本發明可將畫面的前景部分取出，並在前景部份中找出可能的物件，並判斷物件是否為前一畫面中的特定物件(例如被追蹤的物件)，本發明無須複雜的演算法，因此能即時進行處理，符合實際應用的需求。此外，物件追蹤方法可更包含步驟S14，物件閉塞解決模組50針對目前前景畫面f’(t)中的物件閉塞情形進行處理，以解決物件閉塞的問題。
請再次參考圖1(A)，物件追蹤系統1可由各種方式實現。在一實施例中，物件追蹤系統1可以是影像處理裝置，例如電腦、監視器或任何具備微處理器或微控制器的電子裝置等，或者亦可以是影像處理裝置中的電子電路。在 一實施例中，輸入輸出介面2可由任何具備資料接收或輸出功能的裝置來實現，例如電子電路中的訊號輸入/輸出端、電腦的資料傳輸介面或其它具備相似功能的元件等。在一實施例中，記憶裝置4可由任何儲存資料的裝置來實現，例如電子電路中的暫存器、電腦中的記憶體或硬碟等。在一實施例中，處理裝置10可例如由微處理器、微控制器或控制晶片等來實現。在一實施例中，記憶裝置4與處理裝置10可整合在一起。需注意的是，上述說明僅是舉例而非本發明的限制。
在一實施例中，前景辨識模組20、物件群組化模組30、物件追蹤模組40及物件閉塞解決模組50可由硬體或軟體的方式來實現。在以硬體實現的方式下，前景辨識模組20、物件群組化模組30、物件追蹤模組40及物件閉塞解決模組50可例如由特殊功能的電子電路或具有特殊韌體的硬體裝置來實現。在以軟體實現的方式下，前景辨識模組20、物件群組化模組30、物件追蹤模組40及物件閉塞解決模組50可以是具備程式碼的非暫態電腦程式產品，當該等載入微處理器或微控制器中，可使微處理器或微控制器執行特殊的運作，因此該等亦可視為微處理器或微控制器中的特殊功能模組；在一實施例中，前景辨識模組20、物件群組化模組30、物件追蹤模組40及物件閉塞解決模組50可以是各自獨立的程式，但亦可以是單一程式中的子程式，其中前景辨識模組20、物件群組化模組30、物件追蹤模組40及物件閉塞解決模組50的程式碼可由各種程式語言撰寫而成；在一實施例中，前景辨識模組20、物件群組化模組30、物件追蹤模組40及物件閉塞解決模組50可先儲存於處理裝置10外部，例如可先儲存於光碟、硬碟或隨身碟等非暫態電腦可讀取媒介或雲端伺服器中，之後再安裝於處理裝置10中。
在一實施例中，連續畫面6可由一影像取得裝置(例如攝影機)以固定視角來取得，並經由輸入輸出介面2而輸入至物件追蹤系統1中。組成連續畫 面6的畫面f(t-n)~f(t)可以是各種畫面類型，例如彩色畫面、灰階畫面或黑白畫面等。在一較佳實施例中，畫面f(t-n)~f(t)皆為灰階畫面，其中畫面f(t-n)~f(t)可以在輸入至物件追蹤系統1之前或之後由其它類型轉換為灰階畫面，或者影像取得裝置所取得的連續畫面6本身即為灰階；畫面f(t-n)~f(t)為灰階畫面的好處是可以降低影像處理的複雜度，舉例來說，本發明的物件追蹤系統1可不用涉及顏色的處理，因此可減少運算上的失誤並提升運算效率。此外，本發明的物件追蹤系統1可對影像取得裝置所取得的即時影像進行處理，亦可以對預錄好的連續畫面進行處理。
在一實施例中，背景模型畫面f(b)可以是一個預先儲存於物件追蹤系統1中的背景畫面。在一實施例中，背景模型畫面f(b)與畫面f(t-n)~f(t)的視角相同。在一實施例中，當滿足特定條件時，前景辨識模組20可更新背景畫面模組f(b)，藉此使得前景分割的準確度提升。
接下來將詳細說明前景辨識模組20、物件群組化模組30及物件追蹤模組40的運作流程的細節。需注意的是，當上述模組為軟體的情況下，各模組的運作過程可藉由微處理器或微控制器的執行來實現。
首先針對前景辨識模組20的運作進行說明。圖2(A)是本發明一實施例的前景辨識模組20的細部運作流程圖，請同時參考圖1(A)及1(B)。如圖2(A)所示，首先步驟S21可被執行，前景辨識模組20從記憶裝置4中取得目前處理畫面f(t)。之後，步驟S22可被執行，前景辨識模組20將目前處理畫面(f(t)與背景模型畫面f(b)進行像素位置的像素值差異比較，並利用一前景後景門檻值(Td1)來判斷像素位置屬於前景屬性或背景屬性，其中前景後景門檻值(Td1)一般可設定為15(此值可例如由多次實驗歸納而得)，但並非限定。此外，步驟S23可被執行， 前景辨識模組20將目前處理畫面f(t)與一先前畫面(例如前一個畫面f(t-1))進行像素位置的像素值差異比較，以產生像素位置的一前後畫面差異資訊。當目前處理畫面f(t)的像素位置(例如一第一像素位置)屬於背景屬性時，步驟S24被執行，前景辨識模組20藉由一濾波運算來更新背景模型畫面(f(b))的對應像素位置的像素值。而當目前處理畫面f(t)的像素位置(第一像素位置)是前景屬性時，步驟S25被執行，前景辨識模組20根據像素位置(例如第一像素位置)的前後畫面屬性差異資訊及一像素值維持時間資訊來產生像素位置(第一像素位置)的一前景累計時間資訊，其中像素值維持時間資訊會於後續段落中定義。而當像素位置(例如第一像素位置)的前景累計時間資訊大於一前景持續時間門檻值(Td2)時，則執行步驟S26，前景辨識模組20將目前處理畫面f(t)的像素位置(第一像素位置)改為背景屬性，並更新背景模型畫面f(b)的對應像素位置的像素值，反之當像素位置(第一像素位置)的前景累計時間資訊不大於前景持續時間門檻值(Td2)時，則不更改目前處理畫面f(t)的像素位置(第一像素位置)的屬性。之後，步驟S27被執行，前景辨識模組20根據目前處理畫面f(t)的每個像素位置的屬性產生目前前景畫面f’(t)。上述步驟的順序僅是舉例而非限定，例如步驟S22與步驟S23的順序並沒有限定等。接著將詳細說明步驟S21~S27。
關於步驟S21，目前前景畫面f(t)及背景模型畫面f(b)可包含複數個像素位置，其中每個像素位置具有一像素值。在一實施例中，像素值可為灰階值。此外，由於目前前景畫面f(t)及背景模型畫面f(b)皆是以相同視角所取得的畫面，因此目前前景畫面f(t)及背景模型畫面f(b)具備相對應的像素位置。
關於步驟S22，在一實施例中，前景辨識模組20可利用一背景減法來取得目前處理畫面(f(t)的像素位置與背景模型畫面f(b)中的對應像素位置的像 素值差異資訊，以取得像素質差異結果。以灰階畫面來舉例(即像素值為灰階值)，當一個像素位置的灰階值的差異越大，表示該像素位置的影像成分經常改變，因此目前處理畫面f(t)的像素位置是背景的可能性越低。藉此，可大致判斷像素位置的屬性。在一實施例中，前景辨識模組20更可將像素值差異結果進行平滑運算，以將前景中的微小雜訊過濾掉。在一實施例中，前景辨識模組20是利用高斯平滑矩陣來進行平滑運算，因此步驟S22的運作可透過下列運算式來呈現，其中目前處理畫面f(t)與背景模型畫面f(b)的像素位置是由XY座標來呈現： 其中，F(x,y)定義為目前處理畫面f(t)的其中一像素位置的像素值，B(x,y)定義為背景模型畫面f(b)中對應的像素位置的像素值，G 3×3(i，j)定義為高斯平滑矩陣，Td1定義為前景後景門檻值，F sb (x,y)定義為該像素位置的像素值經由背景減法及平滑運算後的結果，F b (x,y)定義為像素位置的二值化屬性資訊，其中F b (x,y)=0表示背景屬性，F b (x,y)=1表示為前景屬性。
關於步驟S23，在一實施例中，前景辨識模組20可利用一幀差法來取得目前處理畫面f(t)的像素位置與先前畫面的像素位置的像素值差異資訊，其中先前畫面可以是目前處理畫面f(t)的前一畫面f(t-1)。假如一個像素位置的像素值在前一畫面與目前畫面中並無變化，則表示該像素位置是靜態的，因此屬於背景屬性的可能性越高。因此前後畫面差異資訊將可輔助判斷步驟S22所取得的像素位置的屬性資訊是否正確，並可輔助判斷背景模型畫面f(b)的對應像素位置 的屬性資訊是否需要更新等。在一實施例中，步驟S23的運作可透過下列運算式來呈現： F sd (x,y)=abs(F(x,y)-F t-1(x,y))； 其中，F t-1(x,y)定義為前一畫面f(t-1)的像素位置的像素值，F sd (x,y)定義為幀差法的運算結果，F d (x,y)定義為像素位置的前後畫面差異資訊，其中F d (x,y)=0表示前後畫面的像素位置無變化(即背景可能性越高)，F d (x,y)=1則表示前後畫面的像素位置有變化(即背景可能性越低)。
關於步驟S24，在一實施例中，假如一個像素位置為背景屬性時，前景辨識模組20可利用濾波器來進行濾波運算，例如但不限定為IIR濾波器(Infinite Impulse Response filter)，藉此前景辨識模組20可快速更新背景模型畫面f(b)的對應像素位置的像素值，並可將實際為雜訊的微小變化資訊過濾掉。需進行步驟S24的原因在於，原本的背景在不同時間亦有可能會產生變化(例如空地變成車輛停靠)，因此背景需要適時進行更新。在一實施例中，IIR濾波器的運作可透過下列算式來呈現：B new1(x,y)=F b (x,y) * B(x,y)+(1-F b (x,y)) * [(1-α) * B(x,y)+α * F(x,y)]；其中，B new1(x,y)定義為更新後的背景模型畫面f(b)的對應像素位置的像素值，α定義為一預設參數。
關於步驟S25，在一實施例中，當一個像素位置被判斷為前景屬性時，為了避免誤判，前景辨識模組20可藉由該像素位置的前後畫面差異資訊及像素值維持時間資訊來計算出該像素位置的前景累計時間資訊，其中該像素位置的像素值維持時間資訊是定義為在連續畫面6中，該像素位置的像素值的已存 在時間。像素值維持時間資訊可由計算時間的方式來取得，並可儲存於記憶裝置4中。在一實施例中，像素值維持時間資訊可由像素值存在的秒數或畫面數量為單位來呈現，但在另一實施例中，像素值維持時間資訊亦可由權重值的形式來呈現，例如不同秒數或不同畫面數量可對應不同權重值。當該像素位置的前景累計時間資訊大於前景持續時間門檻值(Td2)時，表示該像素位置的像素值在前後畫面中並沒有產生大量變動，因此該像素位置屬於背景的可能性很高。藉此，前景累計時間資訊可作為步驟S22是否誤判的輔助步驟。在一實施例中，步驟S25的運作可由下列算式來呈現： 其中F sc (x,y)定義為該像素位置的像素值維持時間資訊，F sc2(x,y)定義為該像素位置的前景累計時間資訊，Td2定義為前景持續時間門檻值(Td2)，其中Td2一般預設為50。
關於步驟S26，在一實施例中，當該像素位置的前景累計時間資訊大於前景持續時間門檻值(Td2)時，表示該像素位置屬於背景屬性的可能性很高。而由於步驟S22誤判的可能性很高，表示背景模型畫面f(b)的資訊亦可能過於落後，因此不僅該像素位置的屬性須改為背景屬性，背景模型畫面f(b)的對應像素位置的像素值亦須進行更新。因此，前景辨識模組20可將背景模型畫面f(b)的對應像素位置的像素值更新為目前處理畫面f(t)的該像素位置的像素值(表示該像素位置應為背景)，並且前景辨識模組20可利用步驟S24的濾波運算來進行更新。反之，當該像素位置的前景累計時間資訊不大於前景持續時間門檻值(Td2) 時，則表示背景模型畫面f(b)的對應像素位置無須更新。在一實施例中，步驟S26的運作可由下列算式來呈現： 其中B new2(x,y)定義為背景模型畫面f(b)的對應像素位置的更新像素值，B(x,y)為背景模型畫面f(b)的對應像素位置的原始像素值。
關於步驟S27，前景辨識模組20可根據先前步驟所取得的所有像素位置的屬性資訊，將目前處理畫面f(t)進行二值化處理，藉此產生二值化的目前前景畫面f’(t)。在一實施例中，目前前景畫面f’(t)中的背景屬性的所有像素位置皆以暗色(例如黑色)呈現，而前景屬性的所有像素位置皆以亮色(例如白色)呈現。
在某些情況下，步驟S21~S27所產生的目前前景畫面f’(t)可能會有殘影(鬼影現象)的情況發生，舉例來說，當某個物件在連續畫面6中的同一位置停留太久，則該物件可能會被前景辨識模組20判斷為背景，而當該物件開始移動時，影像處理的結果將產生類似鬼影的現象。本發明更提出另一方法來解決此問題，如圖2(B)所示。
圖2(B)是本發明另一實施例的前景辨識模組20的細部運作流程圖，請同時參考圖1及圖2(A)。該流程的步驟S21至步驟S26與圖2(A)流程相同，故不再說明。該流程的特色在於步驟S241及S261的執行。
在步驟S261中，前景辨識模組20會將前景屬性的每個像素位置與複數個背景畫面樣本中的對應像素位置進行媒合度分析，當媒合度大於一預設門檻值時，將前景屬性的像素位置更改為背景屬性，之後，再次進行步驟S24，以更新背景模型畫面f(b)的像素位置的像素值。之後，步驟S241被執行，機率性地更新背景畫面樣本的該像素位置的像素值及該像素位置的周圍像素的像素 值。藉此，經由步驟S261及步驟S241的執行，目前前景畫面f’(t)中鬼影可以被去除。在一實施例中，背景畫面樣本可預先儲存於記憶裝置4中，或者可由歷次更新的背景模型畫面f(b)做為樣本，且不限於此。在一實施例中，背景畫面樣本可以是不同時間所拍攝的背景畫面。在一實施例中，背景畫面樣本的數量為20。在一實施例中，機率性定義為Φ=16。
另外，在一實施例中，前景辨識模組20亦可利用U、V的差值的統計圖，將目前處理畫面(f(t))或目前前景畫面(f’(t))中光影變化去除。
接著針對物件群組化模組30的運作進行說明。當目前前景畫面f’(t)產生之後，物件群組化模組30可在目前前景畫面f’(t)中找出可能是物件的區塊，例如物件群組化模組30可將多個像素位置組成一個物件，並將多個物件組成一個物件群組。
圖3(A)是本發明一實施例的物件群組化模組30的細部運作流程圖，請同時參考圖1(A)至圖2(B)。首先步驟S31被執行，物件群組化模組30將目前前景畫面f’(t)中屬於背景屬性的像素位置皆設定一背景標籤值(例如“0”)。之後步驟S32被執行，物件群組化模組30對目前前景畫面f’(t)中屬於前景屬性的像素位置進行分析，以設定像素位置的標籤值，該分析是基於像素位置的N個周圍像素位置的標籤值分布情況，其中N為大於零的正整數。此外，標籤值是背景標籤值以外的數值(例如“1”、“2”…等)。其中當一個像素位置(例如第一像素位置)的N個周圍像素位置皆為背景屬性時，則步驟S32(a)被執行，物件群組化模組30對該像素位置(第一像素位置)設定一個未被使用過的最小標籤值。當一個像素位置(例如第一像素位置)的N個周圍像素位置為前景屬性並具有一個相同標籤值時，步驟S32(b)被執行，物件群組化模組30對該像素位置(第一像素位置)設定該 相同標籤值。當一個像素位置(例如第一像素位置)的N個周圍像素位置為前景屬性並具有不同標籤值時，步驟S32(c)被執行，物件群組化模組30對該像素位置(第一像素位置)設定該等周圍像素位置的標籤值中的一個最小值。當所有像素位置皆設定標籤值或背景標籤值後，步驟S33被執行，物件群組化模組30將具備不同標籤值且彼此相鄰的二像素位置中的較大標籤值轉換為較小標籤值。當所有相鄰像素位置的標籤值皆轉換後，步驟S34被執行，物件群組化模組30將具備相同標籤值的相鄰像素位置連接以形成至少一物件。在本實施例中，N可以是4，以4個像素做為參考值的原因在於，既可使目前像素位置CP的周圍具備足夠的參考標籤值，亦可不影響尚未進行標籤值設定的周圍像素位置。以下將以圖3(B)至圖3(G)輔助說明步驟S31至步驟S34的細節。
圖3(B)是本發明一實施例的圖3(A)的步驟S31的運作情形示意圖。 如圖3(B)所示，目前前景畫面(f’(t))具有前景屬性的像素位置(亮色)及背景屬性的像素位置(暗色)。當步驟S31執行後，背景屬性的像素位置(暗色)會被設定背景標籤值(例如“0”)。
圖3(C)是本發明一實施例的圖3(A)的步驟S32(a)的運作情形示意圖。如圖3(C)所示，當屬於前景屬性的一目前像素位置(CP)的周圍4個像素位置皆為背景屬性時，目前像素位置CP會被賦予尚未被使用過的最小標籤值(例如“1”)。
圖3(D)是本發明一實施例的圖3(A)的步驟S32(b)的運作情形示意圖。如圖3(D)所示，當目前像素位置(CP)的周圍4個像素位置皆為前景屬性且具有相同標籤值(例如“1”)，則目前像素位置(CP)會被設定該相同標籤值(“1”)。
圖3(E)是本發明一實施例的圖3(A)的步驟S32(c)的運作情形示意圖。如圖3(E)所示，當目前像素位置(CP)的周圍4個像素位置皆為前景屬性且具有不同標籤值(例如“3”及“4”)，則該像素位置CP)會被賦予該等標籤值中的最小值(“3”)。
圖3(F)是本發明一實施例的圖3(A)的步驟S33的運作情形示意圖。 如圖3(F)所示，相鄰的不同標籤值會被轉換為相同標籤值，且其中較大的標籤值會被轉換為較小的標籤值，例如標籤值“2”及“3”被轉換為標籤值“1”，標籤值“5”被轉換為標籤值“4”。
圖3(G)是本發明一實施例的圖3(A)的步驟S34的運作情形示意圖。 如圖3(G)所示，相鄰的標籤值(此時已為相同標籤值)將被連接而形成至少一物件(例如objeci1及object2)。藉此，物件群組化模組30可在目前前景畫面f’(t)中找出可能的物件(例如objeci1及object2)。
此外，在某些情況下，同一物件的某部分可能因為像素值與背景過於相似而使得同一物件被分割成不同物件，如此將產生錯誤的資訊。在一實施例中，步驟S35可執行，物件群組化模組30可根據二物件的邊界資訊來判斷該二物件是否合併為同一物件群組。圖3(H)至圖3(J)是本發明一實施例的圖3(A)的步驟S35的運作情形示意圖。如圖3(H)所示，一實際物件經由步驟S31~S34而被物件群組化模組30分為二個物件(例如object3及object4)。之後，如圖3(I)所示，物件群組化模組30可先找出物件的重心點(例如G1及G2)，並根據物件的邊界大小向外拓展一比例而形成二搜尋範圍(例如R1及R2)。之後，如圖3(J)所示，物件群組化模組30判斷搜尋範圍中是否具有其它物件的重心點，若有則將該二物件合併為同一物件群組，在圖3(J)中，由於搜尋範圍R2涵蓋了重心點G1及G2，因此二物件 會被合併為一物件群組(group1)。在一較佳實施例中，該預設比例可以是0.75，但並非限定。藉由步驟S35，可解決物件被錯誤分割的問題。
另外，某些過小的物件實際上可能為雜訊，因此在一實施例中，步驟S36可執行，物件群組化模組30可藉由一個物件所涵蓋的像素位置數量來判斷該物件是否為雜訊，舉例來說假如一門檻值設定為3，則由3個以下的像素位置所組成的物件皆會被視為雜訊而被過濾掉。
當目前前景畫面f’(t)中的物件可以被找出後，物件追蹤模組40可對目前前景畫面f’(t)進行物件追蹤處理，即在目前前景畫面f’(t)上找出先前畫面中的特定物件或特定物件群組，進而達成物件追蹤。接下來將說明物件追蹤模組40在目前前景畫面f’(t)上進行物件追蹤處理的過程。需注意的是，特定物件可能是指物件或物件群組，而為使說明更清楚，以下描述皆以物件的情況來說明。
圖4為本發明一實施例的物件追蹤模組40的運作流程圖，請同時參考圖1至圖4。如圖4所示，首先步驟S41被執行，物件追蹤模組40取得先前前景畫面(例如f’(t-1))的物件分布資訊。之後步驟S42被執行，物件追蹤模組40判斷目前前景畫面f’(t)的一物件所對應的像素位置與先前前景畫面f’(t-1)的一特定物件(即被追蹤物件)所對應的像素位置是否至少部分重疊。假如未有部分重疊，則步驟S43被執行，物件追蹤模組40將該二物件判斷為不同物件，並維持目前前景畫面f’(t)的該物件的標籤值。假如有部分重疊，則進行步驟S44，物件追蹤模組40將該二物件判斷為相同物件，並將目前前景畫面f’(t)的該物件的標籤值更換為該特定物件的標籤值，其中該物件的標籤值及對應的像素位置將被記錄下來(例如可儲存於記憶裝置4中)。藉此，只要持續進行步驟S41至步驟S44，前一畫面中的特 定物件可在後續畫面中被找出，因此可持續對連續畫面6中的特定物件(或特定物件群組)進行追蹤。
關於步驟S41，在一實施例中，每個前景畫面在進行物件追蹤處理(即步驟S41~S44)後的物件分布資訊(例如特定物件的標籤值及特定物件所對應的像素位置)，皆可儲存於記憶裝置4中，因此在處理目前前景畫面f’(t)時，記憶裝置4已具備先前前景畫面f’(t-n)~f’(t-1)的物件分布資訊；而在另一實施例中，物件追蹤系統1亦可僅保留目前前景畫面f’(t)的前一個前景畫面f’(t-1)的物件分布資訊，藉此節省儲存空間。此外，對於連續畫面6中的第一個前景畫面f’(t-n)而言，先前前景畫面並不存在，因此在一實施例中，物件追蹤系統1並不會對第一張前景畫面f’(t-n)進行物件追蹤處理，而是在第一張前景畫面f’(t-n)找出物件或物件群組後，將找出的物件或物件群組設定為追蹤對象或透過使用者操作來設定物件或物件群組做為追蹤對象。
關於步驟S42至S44，由於相同物件在前後畫面中的移動幅度通常不會太多，因此只要前後畫面中二物件所對應的像素位置有部分重疊，則該二物件實際上是相同物件在前後畫面中進行小幅移動的可能性很高，因此可使用步驟S42至步驟S44的方式來判判斷目前前景畫面f’(t)中的物件是否是前一前景畫面f’(t-1)中的特定物件(被追蹤物件)。此外，在一實施例中，可能會發生前一前景畫面f’(t-1)中的特定物件在目前前景畫面f’(t)中變成二分裂物件的情況，此時只要該二分裂物件所對應的像素位置皆與該特定物件所對應的像素位置部分重疊，則該二分裂物件依舊可被轉換為該特定物件的標籤值，並被判斷為該特定物件。藉此，即便特定物件發生分裂的情況，追蹤亦可不中斷。
此外，在追蹤過程中，物件之間可能會發生物件閉塞(Occlusion case)的情況，此處“閉塞”可分為至少三種情況，分別式“交錯閉塞(Staggered case)”、“分離閉塞(Separation case)”及“多物件閉塞(Multi objects in single label case)”等情況。“交錯閉塞”是指二個不同物件產生交錯的情況。“分離閉塞”是指同一物件產生分離或二個交錯的物件產生分離的情況。“多物件閉塞”是指多個不同物件過於緊密而被誤判為同一物件等情況，這些情況可能會使物件追蹤系統的1運作產生失誤。因此物件追蹤系統1可更包含物件閉塞解決模組50，以解決閉塞的問題。圖5為本發明一實施例的物件閉塞解決模組50的運作流程圖。
物件閉塞解決模組50可根據物件的移動軌跡及物件的邊緣特徵作為解決閉塞問題的依據。在一實施例中，物件閉塞解決模組50可利用記憶裝置4來記錄最近50個前景畫面的一特定物件的中心點，而物件閉塞解決模組50可透過每個中心點位置而找出該特定物件的移動軌跡中的最近一次的轉折點，並利用轉折點與最近一個畫面(例如目前前景畫面)中的中心點位置來計算出該特定物件的移動速率，進而推估下一個畫面中該特定物件的中心點位置，以取得該特定物件的移動軌跡向量。在一實施例中，物件閉塞解決模組50可對該特定物件進行邊緣分析，並找出該特定物件的邊緣資訊。
在一實施例中，當目前前景畫面發生交錯閉鎖情形時，物件群組化模組30可能會將該二不同物件合併為同一個物件群組。此時物件閉塞解決模組50可在由該物件群組所對應的像素位置所形成區塊之中進行搜尋，假如該等區塊中存在二個物件的重心點，則物件閉塞解決模組50會判斷該物件群組發生交錯閉鎖情形。當發生交錯閉鎖情形時，物件閉塞解決模組50會根據該至少一 特定物件於連續畫面6中的該移動軌跡、該邊緣特徵及一平均面積而將該目前前景畫面中屬於交錯閉塞物件的至少二物件進行分割。
在一實施例中，物件閉塞解決模組50解決分離閉塞情形的方式是藉由邊緣特徵進行分析，並給予一個可能性範圍進行評估，假如分離的可能性到達定值，則強制將單一物件分離為二物件；假如原始物件中具有二個標籤值，則依據標籤值的位子進行評估，若原本物件只有單一標籤值，則進行分離，並給予分離物件新的標籤值。
在一實施例中，物件閉塞解決模組50解決多物件閉塞情形的方式是根據一個特定物件(例如被追蹤物件)的長寬範圍資訊在畫面中進行匹配，並配合邊緣特徵分析及前景覆蓋率來推估標籤區塊最可能擁有的物件數量與座標，來達到多物件閉塞分離的成果，當多物件分離後再進行物件交錯閉塞的解決方式。
在一實施例中，針對1080p解析度的連續畫面而言，本發明的物件追蹤系統1或物件追蹤方法的運作效率至少可達到25fps，即每秒可處理25個畫面，因此並非單純人類心智可達成的成果。
藉此，本發明的物件追蹤系統1或物件追蹤方法可對物件追蹤技術產生精準度提升、即時運算、運算複雜度低、快速追蹤等優點，進而解決習知技術無法符合實際需求的問題。
上述實施例僅係為了方便說明而舉例而已，本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例。

Claims (18)

  1. 一種物件追蹤系統，包含：一前景辨識模組，將一連續畫面的一目前處理畫面與一背景模型畫面進行每個像素位置的像素值差異比較，以判斷該目前處理畫面的每個像素位置的一屬性資訊，進而產生一目前前景畫面，其中該屬性資訊為前景屬性或背景屬性；一物件群組化模組，根據該目前前景畫面的每個像素位置的複數個周圍像素位置的該屬性資訊而對該像素位置設定一標籤值，並將具有相同標籤值的複數個相鄰像素位置連接而形成至少一物件；以及一物件追蹤模組，判斷該目前前景畫面的該至少一物件所對應的複數個像素位置與該連續畫面的一先前前景畫面中的一特定物件所對應的複數個像素位置是否至少部分重疊，若是，則判斷該至少一物件為該特定物件，並將該至少一物件所對應的該標籤值轉換為該特定物件的該標籤值；其中當該目前前景畫面中的一像素位置為前景屬性，且該目前前景畫面中的該像素位置的該等周圍像素位置皆為背景屬性時，該物件群組化模組對該像素位置設定一個尚未被使用過的最小標籤值；當該目前前景畫面中的一像素位置為前景屬性，且該像素位置的該等周圍像素位置皆為前景屬性並具有一相同標籤值時，該物件群組化模組對該像素位置設定該相同標籤值；當該目前前景畫面中的一像素位置為前景屬性，且該像素位置的該等周圍像素位置皆為前景屬性並具有至少二不同的標籤值時，該物件群組化模組對該像素位置設定該至少二標籤值中的一最小值。
  2. 如申請專利範圍第1項所述的物件追蹤系統，其中該前景辨識模組更使用一高斯平滑矩陣而將該目前處理畫面與該背景模型畫面的每個像素位置的該像素值差異比較結果進行一平滑運算。
  3. 如申請專利範圍第1項所述的物件追蹤系統，其中當該目前處理畫面的一像素位置的屬性為背景屬性時，該前景辨識模組執行一濾波運算來更新該背景模型畫面的一對應像素位置的像素值。
  4. 如申請專利範圍第1項所述的物件追蹤系統，其中該前景辨識模組更將該目前處理畫面與一先前畫面進行每個像素位置的像素值差異比較，以產生每個像素位置的一前後畫面差異資訊。
  5. 如申請專利範圍第4項所述的物件追蹤系統，其中當該目前處理畫面的一像素位置為前景屬性時，該前景辨識模組更根據該像素位置的該前後畫面差異資訊及一像素值維持時間資訊來產生該像素位置的一前景累計時間資訊，並根據前景累計時間資訊是否大於一前景持續時間門檻值而判斷該像素位置是否需要改為背景屬性。
  6. 如申請專利範圍第4項所述的物件追蹤系統，其中當該目前處理畫面的一像素位置為前景屬性時，該前景辨識模組更將該像素位置與複數個背景樣本中的對應像素位置進行像素值差異比較，並根據該像素位置與該等背景樣本的對應像素位置的媒合度是否大於一預設門檻值而判斷該像素位置是否需要改為背景屬性。
  7. 如申請專利範圍第1項所述的物件追蹤系統，其中該物件群組化模組更根據該目前前景畫面中的二物件的邊界資訊來判斷該二物件是否需進行合併。
  8. 如申請專利範圍第1項所述的物件追蹤系統，其中更包含一物件閉塞解決模組，其根據連續畫面中的至少一特定物件的一移動軌跡及一邊緣特徵來判斷該目前前景畫面是否發生物件閉塞情形。
  9. 如申請專利範圍第8項所述的影像物件追蹤系統，其中該物件閉塞解決模組係根據該至少一參考物件的該移動軌跡、該邊緣特徵及一平均面積而將該目前前景畫面中屬於交錯閉塞物件的至少二物件進行分割。
  10. 一種物件追蹤方法，由一物件追蹤系統來執行，該方法包含步驟：藉由一前景辨識模組，將一連續畫面的一目前處理畫面與一背景模型畫面進行每個像素位置的像素值差異比較，以判斷該目前處理畫面的每個像素位置的一屬性資訊，進而產生一目前前景畫面，其中該屬性資訊為前景屬性或背景屬性；藉由一物件群組化模組，根據該目前前景畫面的每個像素位置的複數個周圍像素位置的該屬性資訊而對每個像素位置設定一標籤值，並將具有相同標籤值的複數個相鄰像素位置連接而形成至少一物件；以及藉由一物件追蹤模組，判斷該目前前景畫面的該至少一物件所對應的複數個像素位置與一先前前景畫面中的一特定物件所對應的複數個像素位置是否至少部分重疊，若是，則判斷該至少一物件為該特定物件，並將該物件所對應的該標籤值轉換為該特定物件的該標籤值；其中，當該目前前景畫面中的一像素位置為前景屬性，且該像素位置的該等周圍像素位置皆為背景屬性時，藉由該物件群組化模組對該像素位置設定一個尚未被使用過的最小標籤值；當該目前前景畫面中的一像素位置為前景屬性，且該像素位置的該等周圍像素位置皆為前景屬性並具有一相同標籤值時，藉由該物件群組化模組對該像素位置設定該相同標籤值；以及當該目前前景畫面中的一像素位置為前景屬性，且該像素位置的該等周圍像素位置皆為前景屬性並具有至少二不同的標籤值時，該物件群組化模組對該像素位置設定該至少二標籤值中的一最小值。
  11. 如申請專利範圍第10項所述的物件追蹤方法，其中更包含步驟：藉由該前景辨識模組，使用一高斯平滑矩陣而將該目前處理畫面與該背景模型畫面的每個像素位置的該像素值差異比較結果進行一平滑運算。
  12. 如申請專利範圍第10項所述的物件追蹤方法，其中更包含步驟：當該目前處理畫面的一像素位置的屬性為背景屬性時，藉由該前景辨識模組，執行一濾波運算來更新該背景模型畫面的一對應像素位置的像素值。
  13. 如申請專利範圍第10項所述的物件追蹤方法，其中更包含步驟：藉由該前景辨識模組，將該目前處理畫面與一先前畫面進行每個像素位置的像素值差異比較，以產生每個像素位置的一前後畫面差異資訊。
  14. 如申請專利範圍第13項所述的物件追蹤方法，其中更包含步驟：當該目前處理畫面的一像素位置為前景屬性時，藉由該前景辨識模組以根據該像素位置的該前後畫面差異資訊及一像素值維持時間資訊來產生該像素位置的一前景累計時間資訊，並根據前景累計時間資訊是否大於一前景持續時間門檻值而判斷該像素位置是否需要改為背景屬性。
  15. 如申請專利範圍第13項所述的物件追蹤方法，其中更包含步驟：當該目前處理畫面的一像素位置為前景屬性時，藉由該前景辨識模組將該像素位置與複數個背景樣本中的對應像素位置進行像素值差異比較，並根據該像素位置與該等背景樣本的對應像素位置的媒合度是否大於一預設門檻值而判斷該像素位置是否需要改為背景屬性。
  16. 如申請專利範圍第10項所述的物件追蹤方法，其中更包含步驟：藉由該物件群組化模組，根據該目前前景畫面中的二物件的邊界資訊來判斷該二物件是否需進行合併。
  17. 如申請專利範圍第10項所述的物件追蹤方法，其中更包含步驟：藉由一物件閉塞解決模組，根據連續畫面中的至少一特定物件的一移動軌跡及一邊緣特徵來判斷該目前前景畫面是否發生物件閉塞情形。
  18. 如申請專利範圍第17項所述的物件追蹤方法，其中更包含步驟：藉由該物件閉塞解決模組，以根據該至少一特定物件於連續畫面中的該移動軌跡、該邊緣特徵及一平均面積而將該目前前景畫面中屬於交錯閉塞物件的至少二物件進行分割。
TW107118678A 2018-05-31 2018-05-31 物件追蹤系統及方法 TWI668669B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107118678A TWI668669B (zh) 2018-05-31 2018-05-31 物件追蹤系統及方法
US16/241,613 US10949984B2 (en) 2018-05-31 2019-01-07 Object tracking system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107118678A TWI668669B (zh) 2018-05-31 2018-05-31 物件追蹤系統及方法

Publications (2)

Publication Number Publication Date
TWI668669B true TWI668669B (zh) 2019-08-11
TW202004667A TW202004667A (zh) 2020-01-16

Family

ID=68316487

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107118678A TWI668669B (zh) 2018-05-31 2018-05-31 物件追蹤系統及方法

Country Status (2)

Country Link
US (1) US10949984B2 (zh)
TW (1) TWI668669B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3582181B1 (en) * 2018-06-14 2020-04-01 Axis AB Method, device and system for determining whether pixel positions in an image frame belong to a background or a foreground
JP7092016B2 (ja) * 2018-12-13 2022-06-28 日本電信電話株式会社 画像処理装置、方法、及びプログラム
US11082757B2 (en) 2019-03-25 2021-08-03 Rovi Guides, Inc. Systems and methods for creating customized content
US11195554B2 (en) * 2019-03-25 2021-12-07 Rovi Guides, Inc. Systems and methods for creating customized content
US11256863B2 (en) 2019-07-19 2022-02-22 Rovi Guides, Inc. Systems and methods for generating content for a screenplay
US11604827B2 (en) 2020-02-21 2023-03-14 Rovi Guides, Inc. Systems and methods for generating improved content based on matching mappings

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200733004A (en) * 2006-02-22 2007-09-01 Huper Lab Co Ltd Method for video object segmentation
CN103106633A (zh) * 2012-11-30 2013-05-15 杭州易尊数字科技有限公司 一种基于高斯混合模型的视频前景物件截图方法及系统
TW201537956A (zh) * 2014-03-25 2015-10-01 Intel Corp 在經編碼之視訊串流中的物件追蹤技術
US20150310274A1 (en) * 2014-04-25 2015-10-29 Xerox Corporation Method and system for automatically locating static occlusions

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI395483B (zh) * 2009-05-25 2013-05-01 Visionatics Inc 使用適應性背景模型之移動物體偵測方法及其電腦程式產品
EP3255585B1 (en) * 2016-06-08 2018-05-09 Axis AB Method and apparatus for updating a background model
CN106101578B (zh) * 2016-06-27 2019-08-16 上海小蚁科技有限公司 图像合成方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200733004A (en) * 2006-02-22 2007-09-01 Huper Lab Co Ltd Method for video object segmentation
CN103106633A (zh) * 2012-11-30 2013-05-15 杭州易尊数字科技有限公司 一种基于高斯混合模型的视频前景物件截图方法及系统
TW201537956A (zh) * 2014-03-25 2015-10-01 Intel Corp 在經編碼之視訊串流中的物件追蹤技術
US20150310274A1 (en) * 2014-04-25 2015-10-29 Xerox Corporation Method and system for automatically locating static occlusions

Also Published As

Publication number Publication date
TW202004667A (zh) 2020-01-16
US20190370984A1 (en) 2019-12-05
US10949984B2 (en) 2021-03-16

Similar Documents

Publication Publication Date Title
TWI668669B (zh) 物件追蹤系統及方法
Sajid et al. Universal multimode background subtraction
US8218818B2 (en) Foreground object tracking
US7742650B2 (en) Object detection in images
US8218819B2 (en) Foreground object detection in a video surveillance system
Bayona et al. Comparative evaluation of stationary foreground object detection algorithms based on background subtraction techniques
Hao et al. Spatio-temporal traffic scene modeling for object motion detection
Wang et al. A multi-view learning approach to foreground detection for traffic surveillance applications
US9390511B2 (en) Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
US11108970B2 (en) Flicker mitigation via image signal processing
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
Führ et al. Combining patch matching and detection for robust pedestrian tracking in monocular calibrated cameras
CN113449606B (zh) 一种目标对象识别方法、装置、计算机设备及存储介质
Ali et al. Multiple object tracking with partial occlusion handling using salient feature points
Huerta et al. Exploiting multiple cues in motion segmentation based on background subtraction
Nallasivam et al. Moving human target detection and tracking in video frames
CN112364865A (zh) 一种复杂场景中运动小目标的检测方法
Panicker et al. Detection of moving cast shadows using edge information
Gallego et al. Enhanced foreground segmentation and tracking combining Bayesian background, shadow and foreground modeling
Agrawal et al. ABGS Segmenter: pixel wise adaptive background subtraction and intensity ratio based shadow removal approach for moving object detection
Almomani et al. Segtrack: A novel tracking system with improved object segmentation
Yun et al. Unsupervised moving object detection through background models for ptz camera
Huang et al. Random sampling-based background subtraction with adaptive multi-cue fusion in RGBD videos
Wang et al. Tracking objects through occlusions using improved Kalman filter
Sutopo et al. Appearance-based passenger counting in cluttered scenes with lateral movement compensation