TWI514327B

TWI514327B - 目標偵測與追蹤方法及系統

Info

Publication number: TWI514327B
Application number: TW102122760A
Authority: TW
Inventors: Chin Shyurng Fahn; Hsiu Ting Chao
Original assignee: Univ Nat Taiwan Science Tech
Priority date: 2013-06-26
Filing date: 2013-06-26
Publication date: 2015-12-21
Also published as: TW201501080A; CN104252629A

Description

目標偵測與追蹤方法及系統

本發明是有關於一種目標偵測與追蹤方法及系統，且特別是有關於一種在複雜環境中針對一或多個目標進行即時偵測與追蹤的方法及系統。

近年來，視覺監控技術不斷精進且被廣泛地應用在各項領域之中。以智慧型運輸系統(Intelligent Transportation System，ITS)為例，其運用視覺監控技術進行測距及動態物體偵測來提供預先警告駕駛人不當的駕駛行為以及適應性速度控制等功能，如此避免碰撞以預防肇事產生，並可確保行車速度不超過安全範圍。

現有的測距技術是採用雷達或雷射等基於硬體的方式來進行，然而以雷達為基礎的技術雖然擁有準確的深度訊息和較長的檢測距離，但昂貴的硬體成本導致其普及化不易。而現有的動態物體偵測技術在具有複雜背景的環境下則容易造成高誤判率。目前對物體進行偵測與追蹤的技術多半需要在較單純的背景環境下才能達到良好的效果，且為了達到穩健的偵測效果又必須耗費大量的運算成本，難以同時顧及系統效能與準確率。

有鑑於此，本發明提供一種目標偵測與追蹤方法及系統，可在明暗度差異大、畫面具有頻繁動態，以及背景複雜程度高等多種環境中，提供快速且穩健的目標物偵測與追蹤機制。

本發明的目標偵測與追蹤方法包括下列步驟：首先擷取影片中的一影格(frame)做為第一影格，並掃描第一影格以偵測目標物在第一影格中的顯示區域。接著，根據顯示區域佔據第一影格的面積比例，以及影片中接續在第一影格之後的至少一參考影格來追蹤目標物，並記錄被追蹤的目標物的抗縮放及抗旋轉特徵。隨後，利用抗縮放及抗旋轉特徵來辨識目標物是否出現在特定影格中。

本發明的一實施例中，目標偵測與追蹤方法更包括：取得多個訓練正樣本與多個訓練負樣本，擷取各訓練正樣本與各訓練負樣本的紋理特徵，並利用各訓練正樣本與各訓練負樣本的紋理特徵，以及一分類器融合演算法來訓練目標物分類器。

在本發明的一實施例中，上述掃描第一影格以偵測目標物在第一影格中的顯示區域的步驟包括：以n個目標物分類器組成級聯式(cascade)分類器，其中n為正整數。利用級聯式分類器對第一影格進行n次掃描程序，以偵測出目標物在第一影格中的顯示區域。其中每一次的掃描程序包括：在第一影格中依照特定方向移動偵測視窗以完整掃瞄第一影格，並隨後縮小第一影格的尺寸。

在本發明的一實施例中，上述根據顯示區域佔據第一影格的面積比例，以及影片中接續在第一影格之後的至少一參考影格，對目標物進行追蹤的步驟包括：判斷面積比例是否超過預設值。若面積比例不超過預設值，則從顯示區域擷取出關於目標物的至少一特徵點，並利用擷取自顯示區域的上述特徵點與上述參考影格，對目標物進行追蹤。若面積比例超過預設值，則從顯示區域內的多個子區域，分別擷取出關於目標物的至少一特徵點，並利用擷取自上述子區域的上述特徵點與上述參考影格，對目標物進行追蹤。

在本發明的一實施例中，上述子區域為顯示區域的左上角區域及右下角區域。

在本發明的一實施例中，上述子區域彼此不重疊或部分重疊。

在本發明的一實施例中，上述參考影格包括：相鄰於第一影格的第二影格，以及相鄰於第二影格的第三影格。而根據顯示區域佔據第一影格的面積比例，以及影片中接續在第一影格之後的參考影格，對目標物進行追蹤的步驟包括：從第一影格擷取出關於目標物的至少一特徵點，根據卡爾曼(Kalman filter)濾波器，計算第二影格中的預估範圍，並執行光流追蹤(Optical flow)演算法來估測擷取自第一影格的上述特徵點在第二影格的預估範圍內的移動資訊。接著，從第二影格擷取出關於目標物的至少一特徵點，根據卡爾曼濾波器計算第三影格中的預估範圍，並執行光流追蹤演算法來估測擷取自第二影格的上述特徵點在第三影格的預估範圍內的移動資訊。

在本發明的一實施例中，目標偵測與追蹤方法更包括：利用加速強健特徵擷取(Speeded Up Robust Features，SURF)演算法建立抗縮放及抗旋轉特徵。

在本發明的一實施例中，上述特定影格是時序上在所有參考影格之後的任意影格，而利用抗縮放及抗旋轉特徵來辨識目標物是否出現在特定影格中的步驟包括：從特定影格擷取出待辨識特徵，比對待辨識特徵與抗縮放及抗旋轉特徵。當待辨識特徵符合抗縮放及抗旋轉特徵時，則判定目標物出現於特定影格中。

本發明的目標偵測與追蹤系統包括：相互耦接的儲存單元與處理單元。儲存單元記錄多個模組，而處理單元存取並執行儲存單元中的上述模組。上述模組包括：偵測模組、追蹤模組以及辨識模組。偵測模組擷取影片中的一影格做為第一影格，並掃描第一影格以偵測目標物在第一影格中的顯示區域。追蹤模組根據顯示區域佔據第一影格的面積比例，以及影片中接續在第一影格之後的至少一參考影格來追蹤目標物，並記錄被追蹤的目標物的抗縮放及抗旋轉特徵。辨識模組利用抗縮放及抗旋轉特徵來辨識目標物是否出現在特定影格中。

基於上述，本發明的目標偵測與追蹤方法及系統是利用基於機器學習的演算法和級聯式架構來即時偵測複雜動態場景中的目標物，再利用結合光流追蹤演算法和卡爾曼濾波器的追蹤機制，對目標物進行追蹤。本發明的目標偵測與追蹤方法及系統可廣泛地應用於各種環境，並提供快速且穩健的偵測與追蹤效果。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧目標偵測與追蹤系統

110‧‧‧儲存單元

111‧‧‧訓練模組

113‧‧‧偵測模組

115‧‧‧追蹤模組

117‧‧‧辨識模組

120‧‧‧處理單元

S210~S230‧‧‧本發明一實施例所述的目標偵測與追蹤方法的各步驟

310‧‧‧訓練正樣本

320‧‧‧訓練負樣本

330‧‧‧特徵擷取單元

340‧‧‧訓練單元

400‧‧‧級聯式分類器

C₁ 、C₂ 、C₃ 、C₄ ‧‧‧目標物分類器

F₁ ‧‧‧第一影格

NDR₁ 、NDR₂ 、NDR₃ 、NDR₄ ‧‧‧非目標物區域

DR‧‧‧顯示區域

W‧‧‧偵測視窗

60‧‧‧目標物

63‧‧‧顯示區域

63’‧‧‧縮小區域

65、67‧‧‧子區域

+‧‧‧特徵點

R₁ 、R₂ 、R₃ ‧‧‧預估範圍

O₁ 、O₂ 、O₃ ‧‧‧光流運算區域

S810~S850‧‧‧本發明一實施例所述的辨識目標物是否出現在特定影格的各步驟

圖1是依照本發明一實施例所繪示的目標偵測與追蹤系統的方塊圖。

圖2是依照本發明一實施例所繪示的目標偵測與追蹤方法的流程圖。

圖3是依照本發明一實施例所繪示的訓練目標物分類器的示意圖。

圖4是依照本發明一實施例所繪示的級聯式分類器的示意圖。

圖5是依照本發明一實施例所繪示的級聯式分類器進行數次掃描程序的示意圖。

圖6A至6C是依照本發明數個實施例所繪示的擷取目標物的特徵點的示意圖。

圖7是依照本發明一實施例所繪示的在相鄰影格中，對目標物進行追蹤的示意圖。

圖8是依照本發明一實施例所繪示的辨識目標物是否出現在特定影格的流程圖。

圖1是依照本發明一實施例所繪示的目標偵測與追蹤系統的方塊圖。請參閱圖1，本實施例的目標偵測與追蹤系統100可實作於電腦系統、工作站、伺服器，或任何具備運算及處理能力的電子裝置。目標偵測與追蹤系統100包括：相互耦接的儲存單元110與處理單元120，其功能分述如下：儲存單元110例如是隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合，而用以記錄可由處理單元120執行的多個模組，這些模組可載入處理單元120以執行目標物的偵測與追蹤功能。

處理單元120可以是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。處理單元120能存取並執行記錄在儲存單元110中的各個模組，使目標偵測與追蹤系統100對一或多個目標物進行即時偵測與追蹤。

記錄在儲存單元110中的模組包括：訓練模組111、偵測模組113、追蹤模組115以及辨識模組117，上述模組可為電腦程式並在處理單元120的執行下實現目標物的偵測與追蹤功能；以下即舉實施例說明目標偵測與追蹤系統100的詳細運作方式。

圖2是依照本發明一實施例所繪示的目標偵測與追蹤方法的流程圖，請同時參閱圖1與圖2。在本實施例中，目標偵測與追蹤系統100可接收由網路攝影機(或其他影片拍攝裝置)在各種環境(例如，高速公路、市郊或市區街道，但不限於此)下拍攝的影片(video)，並對影片中屬於特定種類的目標物進行偵測與追蹤。其中，影片包括複數張靜態的影格(frame)，而目標物可以是車輛、人臉，或其他種類的物件。

首先在步驟S210中，偵測模組113擷取影片中的一影格做為第一影格，並掃描第一影格，以偵測目標物在第一影格中的顯示區域。

詳言之，為了讓偵測模組113在線上偵測階段能偵測出目標物是否出現在某一影格，以及目標物在該影格中的顯示區域，在本實施例中，訓練模組111將在離線訓練階段取得大量的訓練正、負樣本，並透過機器學習方法來訓練出能區分目標物與背景的目標物分類器。圖3是依照本發明一實施例所繪示的訓練目標物分類器的示意圖。如圖3所示，訓練模組111取得多個訓練正樣本310與多個訓練負樣本320。其中，訓練正樣本310是包含與目標物具有相同種類的物件的圖片，而訓練負樣本320則是不包含與目標物具有相同種類的物件的圖片。訓練模組111利用特徵擷取單元330分別擷取所有訓練正樣本310與訓練負樣本320的紋理特徵。舉例來說，特徵擷取單元330可結合積分圖像技術來快速取得每一訓練正樣本310與訓練負樣本320中明顯的紋理特徵，上述紋理特徵例如是類哈爾(Haar-like)特徵，但本發明並不侷限於此。爾後，訓練模組111利用訓練單元340對各訓練正樣本與各訓練負樣本的紋理特徵執行一分類器融合(Classifier Fusion)演算法，進而訓練出一目標物分類器。舉例來說，訓練單元340是以適應性增益(Adaptive Boosting)演算法訓練出一個可以區分正樣本(即，與目標物具有相同種類的物件)和負樣本(即，與目標物具有不同種類的物件)的目標物分類器，此目標物分類器是由多個弱分類器所組成，這是能夠區別欲偵測的目標物的基本元件。

在線上偵測階段，為了兼顧偵測速度與準確性，偵測模組113以n個(n為正整數)目標物分類器組成一級聯式(cascade)分類器，並利用級聯式分類器對第一影格進行n次掃描程序以偵測出目標物在第一影格中的顯示區域。由於級聯式分類器能盡早排除第一影格中不可能是目標物的區域，因此可以大幅提升偵測速度。圖4是依照本發明一實施例所繪示的級聯式分類器的示意圖，請參閱圖4，在此範例中，假設偵測模組113是以4個目標物分類器C₁ 至C₄ 組成級聯式分類器400。第一影格F₁ 會經過目標物分類器C₁ 至C₄ 的層層檢測，而每一層級的目標物分類器會從第一影格F₁ 中排除不屬於目標物的非目標物區域(即，非目標物區域NDR₁ 至NDR₄ )，而通過所有目標物分類器C₁ 至C₄ 的區域即為目標物的顯示區域DR。

圖5是級聯式分類器400進行4次掃描程序的示意圖。請參閱圖5，為了找出目標物在第一影格F₁ 中的顯示區域，在每一次的掃描程序中，級聯式分類器400會在第一影格F₁ 中依照特定方向移動偵測視窗W，以完整掃瞄第一影格F₁ ，特定方向例如是先由左至右、再由上至下地掃描第一影格F₁ 。隨後，級聯式分類器400縮小第一影格F₁ 的尺寸，再進行下一次的掃描程序，據此能找出第一影格F₁ 中，具有不同大小的目標物的顯示區域。圖5所示的掃描方式又稱為圖像金字塔式的掃描。

如上所述，偵測模組113能偵測出第一影格中，屬於特定種類的所有目標物的顯示區域，然而為了方便說明，在以下假設第一影格中，僅具有一個目標物，因此偵測模組113僅偵測出一個目標物的顯示區域。

在偵測模組113偵測出目標物的顯示區域後，本實施例的追蹤模組115會利用結合卡爾曼濾波器(Kalman filter)及光流追蹤(Optical flow)演算法的追蹤機制，來達到快速且穩定的目標物追蹤效果。詳言之，如步驟S220所示，追蹤模組115根據顯示區域佔據第一影格的面積比例，以及影片中接續在第一影格之後的至少一參考影格來追蹤目標物，並記錄被追蹤的目標物的抗縮放及抗旋轉特徵。在本實施例中，追蹤模組115僅會對影格的某部份(或某些部分)執行光流追蹤演算法，而不會對整張影格進行追蹤。舉例來說，在偵測模組113偵測出顯示區域後，追蹤模組115僅利用光流追蹤演算法，對顯示區域(或顯示區域內的一或多個更小的區域)進行運算，對於擷取自目前影格之部分區域的特徵點，在下一張影格中，找出特徵點的移動位置，以進行目標物的追蹤。以下以數個範例來說明追蹤模組115如何擷取用於光流追蹤演算法的特徵點。

一般來說，由於影片捕捉的是目標物在環境中的移動狀態，因此同一個目標物在不同影格中的大小也不盡相同。當欲追蹤的目標物十分靠近拍攝影片的網路攝影機時，目標物的顯示區域在影格中所佔據的面積比例便相當大。由於追蹤模組115需要對較大的區域進行運算處理，因而會導致運算效率低落的情況產生。為了提升處理速度，針對影格中過大的目標物，追蹤模組115僅利用目標物的數個局部區域的資訊來進行追蹤處理，如此便能降低影格中過大的目標物的運算時間成本。

具體而言，在本實施例中，追蹤模組115會判斷目標物的顯示區域佔據第一影格的面積比例是否超過一預設值，預設值與影片的解析度及影格的大小有關，可經由實驗決定其適當的數值。若面積比例不超過預設值，表示目標物相較於第一影格來說不至於過大，因此追蹤模組115將目標物視為一整體來處理，而從顯示區域擷取出關於目標物的至少一特徵點，並利用擷取自顯示區域的上述特徵點與參考影格對目標物進行追蹤。倘若面積比例超過預設值，表示目標物在第一影格中佔據了較大的面積，追蹤模組115會將目標物分為數個部份來進行追蹤。基此，追蹤模組115在顯示區域內定義多個子區域，並分別從這些子區域中，擷取出關於目標物的至少一特徵點，再利用擷取自各子區域的特徵點與參考影格來對目標物進行追蹤。

圖6A至6C是依照本發明的數個實施例所繪示的擷取目標物的特徵點的示意圖。在圖6A中，假設目標物60(車輛)在第一影格F₁ 中的顯示區域63佔據第一影格F₁ 的面積比例並未超過預設值。在一實施例中，追蹤模組115直接從顯示區域63中，擷取出關於目標物的一或多個特徵點。在另一實施例中，由於顯示區域63的邊緣處可能涵蓋到不屬於目標物的背景，為了避免擷取到的特徵點是屬於背景區，追蹤模組115會取得顯示區域63向中心內縮的一個縮小區域63’，並從此縮小區域63’中，擷取出關於目標物60的一或多個特徵點(在圖6A中，以符號“+”表示)。然而只要顯示區域63佔據第一影格F₁ 的面積比例不超過預設值，追蹤模組115便會將目標物視為一整體來進行追蹤。

在圖6B所示的範例中，假設目標物60在第一影格F₁ 中的顯示區域63佔據第一影格F₁ 的面積比例超過預設值，追蹤模組115為了將目標物60分為數個部份來進行追蹤，首先在第一影格F₁ 中定義兩個子區域65與67，並分別在子區域65與67中擷取出關於目標物60的一或多個特徵點(在圖6B中，以符號“+”表示)。在本實施例中，子區域65為顯示區域63的左上角區域，而子區域67為顯示區域63的右下角區域，此時兩個子區域有部分重疊。須特別說明的是，子區域65與67的大小可以是預設的固定大小，也可隨顯示區域63的大小動態調整。而由於顯示區域63的邊緣處可能包含不屬於目標物的背景，為了避免擷取到的特徵點是位於背景中，因此子區域65與67的位置並不會完全靠近顯示區域63的邊緣，而是向顯示區域63的中心內縮一特定距離。

在圖6C所示的實施例中，假設目標物60在第一影格F₁ 中的顯示區域63佔據第一影格F₁ 的面積比例超過預設值，追蹤模組115在第一影格F₁ 中，定義兩個子區域65與67，並分別在子區域65與67中，擷取出關於目標物60的一或多個特徵點(在圖6C中，以符號“+”表示)，進而將目標物60分為數個部份來進行追蹤。如圖6C所示，在此範例中，子區域65與67彼此互不重疊。

在圖6B與6C的實施例中，雖然是將兩個子區域定義為顯示區域63的左上角區域與右下角區域，但本發明並不侷限於此。換言之，在其他實施例中，追蹤模組115也可定義兩個以上的子區域，且各子區域的位置也不侷限於顯示區域的左上角區域或右下角區域。

從另一方面來看，傳統的光流追蹤演算法是在擷取特徵點後，針對同一套特徵點的動向進行追蹤。但由於本實施例是應用在明暗變化量大的複雜環境，為了適應場景變化，追蹤模組115每次擷取的一套特徵點，只會用來進行一次光流追蹤程序。詳言之，追蹤模組115針對每個影格，都將擷取一套特徵點，而對於此套特徵點，只進行一次光流追蹤程序，隨即在新的影格中，再次擷取新的一套特徵點，由於每套特徵點的使用時間很短，如此可以避免傳統光流追蹤演算法必須維持在一致亮度的限制。在本實施例中，追蹤模組115是利用卡爾曼濾波器，預估特徵點在下一影格中可能出現的範圍，以兼顧追蹤速度與準確性。

具體來說，假設被用於追蹤目標物的參考影格包括：相鄰於第一影格的第二影格，以及相鄰於第二影格的第三影格。首先，追蹤模組115從第一影格中，擷取出關於目標物的至少一特徵點(以下將擷取自第一影格的上述特徵點稱為第一組特徵點)，第一組特徵點是擷取自目標物在第一影格的顯示區域。接著，追蹤模組115根據卡爾曼濾波器，計算第二影格中的預估範圍，此預估範圍是第一組特徵點在第二影格中可能位於的區域。隨後，追蹤模組115執行光流追蹤演算法來實際估測第一組特徵點在第二影格的預估範圍內的移動資訊。在完成第一與第二影格之間的光流追蹤程序後，追蹤模組115捨棄第一組特徵點，而重新從第二影格擷取出關於目標物的至少一特徵點(例如，從目標物在第二影格之顯示區域中擷取特徵點，或從比顯示區域更小的一或多個小區域中擷取出特徵點，以下將擷取自第二影格的上述特徵點稱為第二組特徵點)，再根據卡爾曼濾波器，計算第三影格中的預估範圍(即，第二組特徵點在第三影格中可能位於的區域)，並執行光流追蹤演算法來實際估測第二組特徵點在第三影格的預估範圍內的移動資訊，如此完成第二與第三影格之間的光流追蹤程序，以此類推。

圖7繪示的是追蹤模組115利用影片中三張相鄰的影格來追蹤目標物的示意圖。其中，預估範圍R₁ 、R₂ 、R₃ 是根據卡爾曼濾波器計算而得，此為擷取自前一張影格的特徵點可能出現的區域。而較小的光流運算區域O₁ 、O₂ 、O₃ ，則是擷取自前一張影格的特徵點的實際座落之處。由於目標物在環境中移動會使得目標物在各影格中的大小不一致，故如圖7所示，預估範圍R₁ 、R₂ 、R₃ 及光流運算區域O₁ 、O₂ 、O₃ 的大小會有所改變。然而，光流追蹤演算法和卡爾曼濾波器的交互作用可避免因上述情況而導致追蹤失誤的結果。必須特別說明的是，圖7雖然是以三張相鄰的影格來說明追蹤目標物的方式，但影格的數量並不侷限於三張，只要是結合光流追蹤演算法和卡爾曼濾波器進行追蹤，且擷取自一影格的一套特徵點只進行一次光流追蹤程序，便屬於本發明的追蹤模組115的範疇。

在本實施例中，一旦開始對一目標物進行追蹤，追蹤模組115便利用加速強健特徵擷取(Speeded Up Robust Features，SURF)演算法，建立目標物的抗縮放及抗旋轉特徵，並將其儲存下來。抗縮放及抗旋轉特徵讓目標偵測與追蹤系統100能對此目標物做長期追蹤，無論目標物是否一度消失於影片，只要此目標物再次出現在影片中，則目標偵測與追蹤系統100便可利用其抗縮放及抗旋轉特徵來確認目標物的身分。如圖2的步驟S230所示，辨識模組117利用抗縮放及抗旋轉特徵辨識目標物是否出現在特定影格中。舉例來說，特定影格是指時序上出現在參考影格之後的任意影格。

圖8是依照本發明一實施例所繪示的辨識目標物是否出現在特定影格的流程圖。請參閱圖8，首先如步驟S810所示，辨識模組117從特定影格擷取出待辨識特徵。接著在步驟S820中，辨識模組117將待辨識特徵與先前儲存的抗縮放及抗旋轉特徵進行比對。舉例而言，辨識模組117是採用第K個最近鄰近者(Kth Nearest Neighbor，KNN)演算法來進行比對動作。接下來，如步驟S830所示，辨識模組117依比對結果，判斷待辨識特徵是否符合抗縮放及抗旋轉特徵。若待辨識特徵不符合抗縮放及抗旋轉特徵，如步驟S840所示，辨識模組117判定目標物未出現於特定影格中。反之，若待辨識特徵符合抗縮放及抗旋轉特徵，則如步驟S850所示，辨識模組117判定目標物出現於特定影格中。

在上述實施例中，雖然是針對一個目標物進行偵測與追蹤，但必須特別說明的是，目標偵測與追蹤系統100可針對影片中的數個目標物進行同步偵測與追蹤。每當偵測模組113在新的影格中偵測到目標物的顯示區域時，追蹤模組115會先判斷此目標物是否為先前已開始追蹤的物件。接下來，再透過結合光流追蹤演算法以及卡爾曼濾波器的追蹤機制進行追蹤，並儲存追蹤結果(例如，目標物的位置和大小)。

綜上所述，本發明的目標偵測與追蹤方法及系統，先利用分類器融合演算法和擷取自大量訓練正、負樣本的紋理特徵，訓練出目標物分類器，以區分影格中的目標物與背景區域，據此，即便在動態環境下，依舊能偵測出目標物的所在位置。而對於已偵測到的目標物，則進一步利用結合卡爾曼濾波器和光流追蹤演算法的追蹤機制，從而達到快速且穩定的追蹤效果。一旦目標物被追蹤，則即時建立並儲存此目標物的抗縮放及抗旋轉特徵，如此一來，即便目標物暫時消失於影片，當此目標物再次出現在影片之際，可利用抗縮放及抗旋轉特徵辨識出此目標物的身分。本發明的目標偵測與追蹤方法及系統能在動態環境下達到快速且精確的追蹤的效果。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

Claims

一種目標偵測與追蹤方法，包括：擷取一影片中的一影格(frame)做為一第一影格，並掃描該第一影格，以偵測一目標物在該第一影格中的一顯示區域；根據該顯示區域佔據該第一影格的一面積比例，以及該影片中接續在該第一影格之後的至少一參考影格來追蹤該目標物，並記錄被追蹤的該目標物的一抗縮放及抗旋轉特徵；以及利用該抗縮放及抗旋轉特徵，辨識該目標物是否出現在一特定影格中，其中根據該顯示區域佔據該第一影格的該面積比例，以及該影片中接續在該第一影格之後的該至少一參考影格，對該目標物進行追蹤的步驟，包括：判斷該面積比例是否超過一預設值；若否，則從該顯示區域擷取出關於該目標物的至少一特徵點，並利用擷取自該顯示區域的該至少一特徵點與該至少一參考影格，對該目標物進行追蹤；以及若是，則從該顯示區域內的多個子區域，分別擷取出關於該目標物的至少一特徵點，並利用擷取自該些子區域的該至少一特徵點與該至少一參考影格，對該目標物進行追蹤，其中該些子區域為該顯示區域的一左上角區域及一右下角區域，且該些子區域彼此不重疊或部分重疊。
如申請專利範圍第1項所述的方法，其中在擷取該影片中的該影格做為該第一影格之前，該方法更包括：取得多個訓練正樣本與多個訓練負樣本；擷取各該些訓練正樣本與各該些訓練負樣本的一紋理特徵；以及利用各該些訓練正樣本與各該些訓練負樣本的該紋理特徵，以及一分類器融合演算法，訓練一目標物分類器，而掃描該第一影格，以偵測該目標物在該第一影格中的該顯示區域的步驟，包括：以n個該目標物分類器組成一級聯式(cascade)分類器，其中n為正整數；以及利用該級聯式分類器對該第一影格進行n次掃描程序，以偵測出該目標物在該第一影格中的該顯示區域，其中各該n次掃描程序包括：在該第一影格中，依照一特定方向移動一偵測視窗，以完整掃瞄該第一影格並隨後縮小該第一影格的尺寸。
如申請專利範圍第1項所述的方法，其中該至少一參考影格包括：相鄰於該第一影格的一第二影格，以及相鄰於該第二影格的一第三影格，而根據該顯示區域佔據該第一影格的該面積比例，以及該影片中接續在該第一影格之後的該至少一參考影格，對該目標物進行追蹤的步驟，包括：從該第一影格擷取出關於該目標物的至少一特徵點；根據一卡爾曼(Kalman filter)濾波器，計算該第二影格中的一預估範圍；執行一光流追蹤(Optical flow)演算法來估測擷取自該第一影格的該至少一特徵點，在該第二影格的該預估範圍內的移動資訊；從該第二影格擷取出關於該目標物的至少一特徵點；根據該卡爾曼濾波器，計算該第三影格中的一預估範圍；以及執行該光流追蹤演算法來估測擷取自該第二影格的該至少一特徵點，在該第三影格的該預估範圍內的移動資訊。
如申請專利範圍第1項所述的方法，其中該特定影格是時序上在該至少一參考影格之後的任意影格，該抗縮放及抗旋轉特徵是利用一加速強健特徵擷取(Speeded Up Robust Features，SURF)演算法所建立，而利用該抗縮放及抗旋轉特徵，辨識該目標物是否出現在該特定影格中的步驟，包括：從該特定影格擷取出一待辨識特徵；比對該待辨識特徵與該抗縮放及抗旋轉特徵；以及當該待辨識特徵符合該抗縮放及抗旋轉特徵時，判定該目標物出現於該特定影格中。
一種目標偵測與追蹤系統，包括：一儲存單元，記錄多個模組；以及一處理單元，耦接該儲存單元，以存取並執行該儲存單元中的該些模組，該些模組包括：一偵測模組，擷取一影片中的一影格做為一第一影格，並掃描該第一影格，以偵測一目標物在該第一影格中的一顯示區域；一追蹤模組，根據該顯示區域佔據該第一影格的一面積比例，以及該影片中接續在該第一影格之後的至少一參考影格來追蹤該目標物，並記錄被追蹤的該目標物的一抗縮放及抗旋轉特徵，該追蹤模組判斷該顯示區域佔據該第一影格的該面積比例是否超過一預設值，若否，則從該顯示區域擷取出關於該目標物的至少一特徵點，並利用擷取自該顯示區域的該至少一特徵點與該至少一參考影格對該目標物進行追蹤，若是，則從該顯示區域內的多個子區域，分別擷取出關於該目標物的至少一特徵點，並利用擷取自該些子區域的該至少一特徵點與該至少一參考影格對該目標物進行追蹤，其中該些子區域為該顯示區域的一左上角區域及一右下角區域，且該些子區域彼此不重疊或部分重疊；以及一辨識模組，利用該抗縮放及抗旋轉特徵，辨識該目標物是否出現在一特定影格中。
如申請專利範圍第5項所述的目標偵測與追蹤系統，其中該些模組，更包括：一訓練模組，取得多個訓練正樣本與多個訓練負樣本，擷取各該些訓練正樣本與各該些訓練負樣本的一紋理特徵，並利用各該些訓練正樣本與各該些訓練負樣本的該紋理特徵，以及一分類器融合演算法訓練一目標物分類器，而該偵測模組以n個該目標物分類器組成一級聯式分類器，並利用該級聯式分類器對該第一影格進行n次掃描程序，以偵測出該目標物在該第一影格中的該顯示區域，其中各該n次掃描程序包括：在該第一影格中，依照一特定方向移動一偵測視窗，以完整掃瞄該第一影格並隨後縮小該第一影格的尺寸，而n為正整數。
如申請專利範圍第5項所述的目標偵測與追蹤系統，其中該至少一參考影格包括：相鄰於該第一影格的一第二影格，以及相鄰於該第二影格的一第三影格，而該追蹤模組從該第一影格擷取出關於該目標物的至少一特徵點，根據一卡爾曼濾波器，計算該第二影格中的一預估範圍，以及執行一光流追蹤演算法來估測擷取自該第一影格的該至少一特徵點在該第二影格的該預估範圍內的移動資訊，並且從該第二影格擷取出關於該目標物的至少一特徵點，根據該卡爾曼濾波器，計算該第三影格中的一預估範圍，以及執行該光流追蹤演算法來估測擷取自該第二影格的該至少一特徵點在該第三影格的該預估範圍內的移動資訊。
如申請專利範圍第5項所述的目標偵測與追蹤系統，其中該特定影格是時序上在該至少一參考影格之後的任意影格，該追蹤模組利用一加速強健特徵擷取演算法，建立該抗縮放及抗旋轉特徵，而該辨識模組從該特定影格擷取出一待辨識特徵，比對該待辨識特徵與該抗縮放及抗旋轉特徵，且當該待辨識特徵符合該抗縮放及抗旋轉特徵時，判定該目標物出現於該特定影格中。