TW201931206A - 影像物件追蹤方法及其系統與電腦可讀取儲存媒體 - Google Patents

Abstract

一種影像物件追蹤方法及其系統與電腦可讀取儲存媒體。所述方法包括下列步驟。接收包括先前圖幀與當前圖幀的視訊串流，其中影像擷取裝置拍攝包括移動物件的空間而產生視訊串流。獲取依據先前圖幀而決定之移動物件的移動姿態。判斷移動物件的移動姿態是沿第一方向移動或沿第二方向移動。依據移動物件的移動姿態是沿第一方向移動或沿第二方向移動，而選擇第一追蹤算法或第二追蹤算法來進行物件追蹤，以獲取當前圖幀中關聯於移動物件的物件特徵區域。依據物件特徵區域來追蹤空間裡的移動物件。

Description

影像物件追蹤方法及其系統與電腦可讀取儲存媒體

本發明是有關於一種偵測移動物件的技術，且特別是有關於一種物件移動方向或姿態改變時仍能持續偵測追蹤的影像物件追蹤方法及其系統與電腦可讀取儲存媒體。

隨著科技的進步，視覺監視設備具有廣大的應用潛力，而視訊影像偵測技術已廣泛用於辨識以及追蹤移動物件的多種應用中。其中，基於影像處理的物件追蹤演算法是視覺監視系統中不可或缺的核心技術。透過使用基於影像處理的物件追蹤演算法，視覺監視系統可透過分析視訊畫面來估測被追蹤物件於監視環境中的位置與移動狀態。

然而，對於不同的監視環境與情境來說，被追蹤物件的特性、型態，以及移動習性以及監視環境的類型皆不相同。因此，演算法設計人員往往會根據監視環境與情境來設計出更合適的演算流程，以更準確且有效率地偵測與追蹤監視者感興趣的物件。一般而言，目前常見的物件追蹤演算法大多是透過影像特徵擷取與影像特徵比對的方式來追蹤影像中的物件。然而，對於型態變化較大的被追蹤物件來說，其呈現於各張圖幀中的影像特徵可能因為被追蹤物件的移動方向改變或姿態改變而產生明顯變異。因此，被追蹤物件於圖幀上的影像特徵可能因為姿態變化以及拍攝角度等等因素而不足以進行準確的特徵比對。如此一來，若只是單純透過影像特徵來追蹤型態變化較大的被追蹤物件，有很大的機率會發生物件追失的現象。基此，如何針對型態變化較大的被追蹤物件提昇追蹤準確度為本領域技術人員關心的議題。

有鑑於此，本發明提供一種影像物件追蹤方法及其系統與電腦可讀取儲存媒體，其可依據移動物件的移動姿態選擇適當的追蹤算法，以準確且有效率地追蹤型態變化較大的移動物件。

在本發明的一實施例中，上述影像物件追蹤方法用以追蹤移動物件，所述方法包括下列步驟。接收包括先前圖幀與當前圖幀的視訊串流，其中視訊串流係影像擷取裝置拍攝包括移動物件的空間而產生。獲取依據先前圖幀而決定之移動物件的移動姿態。判斷移動物件的移動姿態是沿第一方向移動或沿第二方向移動。依據移動物件的移動姿態是沿第一方向移動或沿第二方向移動，而選擇第一追蹤算法或第二追蹤算法來進行物件追蹤，以獲取當前圖幀中關聯於移動物件的物件特徵區域。依據物件特徵區域來追蹤空間裡的移動物件。

在本發明的一實施例中，上述影像物件追蹤系統包括影像擷取裝置、儲存裝置，以及處理器，其中處理器耦接影像擷取裝置與儲存裝置。影像擷取裝置用以拍攝包括移動物件的空間而產生視訊串流。儲存裝置用以儲存資料，而處理器用以執行下列步驟。接收包括先前圖幀與當前圖幀的視訊串流。獲取依據先前圖幀而決定之移動物件的移動姿態。判斷移動物件的移動姿態是沿第一方向移動或沿第二方向移動。依據移動物件的移動姿態是沿第一方向移動或沿第二方向移動，而選擇第一追蹤算法或第二追蹤算法來進行物件追蹤，以獲取當前圖幀中關聯於移動物件的物件特徵區域。依據物件特徵區域來追蹤空間裡的移動物件。

在本發明的一實施例中，上述電腦可讀取記錄媒體記錄電腦程式，其經由上述影像物件追蹤系統的處理器載入以執行上述影像物件追蹤方法的步驟。

基於上述，於本發明的實施例中，透過即時判斷移動物件的移動姿態，影像物件追蹤系統可基於不同的移動姿態來選擇不同追蹤算法。藉此，在追蹤型態變化大的移動物件的應用環境中，本發明實施例可提供高準確度的物件追蹤結果。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的影像物件追蹤方法、系統以及電腦可讀取儲存媒體的範例。

圖1是根據本發明一實施例所繪示的影像物件追蹤系統的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹影像物件追蹤系統中的所有構件以及配置關係，詳細功能與操作將配合圖2與圖3一併揭露。

請參照圖1，影像物件追蹤系統10包括影像擷取裝置110、儲存裝置120，以及處理器130，其中處理器130耦接至影像擷取裝置110以及儲存裝置120。在一實施例中，影像物件追蹤系統10可包括具有儲存裝置120與處理器130的電腦系統，以及外接於上述電腦系統的影像擷取裝置110。例如，影像物件追蹤系統10可以是由筆記型電腦或桌上型電腦與外接攝影機而構成，本發明不在此設限。在另一實施例中，影像物件追蹤系統10可以是將影像擷取裝置110、儲存裝置120，以及處理器130整合為單一電子裝置。例如，基於影像的物件追蹤系統10可以是智慧型手機、平板電腦等具有影像擷取功能的電子裝置，本發明不在此設限。

影像擷取裝置110用以朝一空間擷取影像而產生視訊串流，並且包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件，本發明不在此設限。

儲存裝置120用以儲存影像、程式碼等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。

處理器130用以控制影像物件追蹤系統10的構件之間的作動，其可以例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。

圖2為根據本發明一實施例所繪示的影像物件追蹤系統的情境示意圖。於圖2的範例中，被監視的空間S1為一水族箱的內部空間，而被追蹤的移動物件Obj1～Obj3為飼養於水族箱裡的魚群。影像擷取裝置110設置於一個固定位置，並對著水族箱持續進行拍攝而產生視訊串流V1。影像擷取裝置110將視訊串流V1提供給由處理器130與儲存裝置120組成的電腦系統210。視訊串流V1包括分別對應至不同時間點的多張圖幀，像是圖幀Img21以及圖幀Img22。因此，於本發明的實施例中，透過分析視訊串流V1，水族箱裡的魚群（亦即，移動物件Obj1～Obj3）的移動狀態與位置是可以被追蹤的。然而，圖2的範例與以下的多個實施例當中主要以水族箱內的魚來做為移動物件來說明，但本發明並不限制於此。於其他實施例中，移動物件也可以是其他種類的活體生物或非活體生物。

以移動物件為魚隻為例，當影像擷取裝置110朝水族箱的展示面拍攝時，若魚隻的移動姿態為水平左右游動，影像擷取裝置110可擷取到足夠的魚隻影像特徵。另一方面，若魚隻的移動姿態為垂直前後游動，影像擷取裝置110將無法擷取到足夠的魚隻影像特徵。基此，於本發明的實施例中，魚隻的移動姿態可即時被偵測並歸類為沿特定方向移動，以基於魚隻的移動姿態選擇適當的追蹤算法來追蹤視訊串流中的魚隻。

以下即搭配圖1的影像物件追蹤系統10的各元件列舉實施例，以說明影像物件追蹤系統10執行其影像物件追蹤方法的詳細步驟。圖3為根據本發明一實施例所繪示的影像物件追蹤方法的流程圖。請同時參照圖1與圖3。

首先，於步驟S301，處理器130接收包括先前圖幀與當前圖幀的視訊串流。於此，此視訊串流是由影像擷取裝置110朝一空間拍攝而產生，而至少一移動物件位於此空間內。先前圖幀與當前圖幀為對應至不同時間點但皆紀錄有移動物件的影像，而當前圖幀為處理器130正在進行分析的影像。

於步驟S302，當處理器130分析當前圖幀時，處理器130可獲取依據先前圖幀而決定之移動物件的移動姿態。於步驟S303，處理器130判斷移動物件的移動姿態是沿第一方向移動或沿第二方向移動。

具體而言，於本發明的實施例中，處理器130可透過即時分析視訊串流的各張圖幀而辨識出移動物件於各張圖幀中的移動姿態。於此，移動物件的移動姿態可被紀錄為一索引標籤，每當處理器130分析當前圖幀時，處理器130可透過讀取上述索引標籤而獲取移動物件於先前圖幀（亦即，當前圖幀的前一張圖幀）中所辨識出來的移動姿態。之後，處理器130可判斷移動物件於前一張圖幀中的移動姿態是被歸類為沿第一方向移動或沿第二方向移動。

於本發明的實施例中，以移動物件是魚隻為例，沿第一方向移動表示魚隻相對於影像擷取裝置110而左右移動，而沿第二方向移動表示魚隻相對於影像擷取裝置110而前後移動。舉例而言，圖4A繪示魚隻沿第一方向移動時所擷取之圖幀的示意圖。圖4B繪示魚隻沿第二方向移動時所擷取之圖幀的示意圖。當魚隻的移動姿態為沿第一方向移動時，影像擷取裝置110可擷取到圖幀Img41而獲取完整的魚隻特徵。當魚隻的移動姿態為沿第二方向移動時，影像擷取裝置110可擷取到圖幀Img42而無法獲取完整的魚隻特徵。

於是，若移動物件的移動姿態是沿第一方向移動，於步驟S304，處理器130依據移動物件的移動姿態是沿第一方向移動，而選擇第一追蹤算法來進行物件追蹤，以獲取當前圖幀中關聯於移動物件的物件特徵區域（一般稱為感興趣區域(Region of Interest，ROI)）。另一方面，若移動物件的移動姿態是沿第二方向移動，於步驟S305，處理器130依據移動物件的移動姿態是沿第二方向移動，而選擇第二追蹤算法來進行物件追蹤，以獲取當前圖幀中關聯於移動物件的物件特徵區域。需說明的是，第一追蹤算法相異於第二追蹤算法。

於本發明的實施例中，物件特徵區域（亦即ROI）主要是用來標定移動物件的代表範圍，移動物件的追蹤可基於持續定位各張圖幀中的物件特徵區域而完成。物件特徵區域的尺寸至少足以包圍對應的移動物件，而物件特徵區域內的影像資訊用來表示移動物件的影像特徵。

於本發明的實施例中，處理器130可基於移動物件的移動姿態來選擇對應的追蹤算法，以定位各圖幀中的物件特徵區域。換言之，因應於移動物件之移動姿態的變化，多張圖幀中關聯於移動物件的這些物件特徵區域可依據不同的追蹤算法而標定。進一步而言，處理器130可選擇第一追蹤算法來進行影像特徵比對，而獲取當前圖幀中關聯於移動物件的物件特徵區域。或者，處理器130可選擇第二追蹤算法來計算該移動物件的移動向量，而獲取當前圖幀中關聯於移動物件的物件特徵區域。

於本發明的實施例中，第一追蹤算法是一種依據ROI內之影像特徵進行影像物件追蹤的演算法，例如是循環結構核（Circulant Structure Kernal，CSK）算法或核相關跟蹤算法（Kernelized Correlation Filter tracker，KCF tracker）等等。第二追蹤算法是一種透過計算移動物件之移動向量來進行影像物件追蹤的演算法。因此，當追蹤型態變化相當大的移動物件時，本發明實施例可利用第二追蹤算法來彌補第一追蹤算法因為影像特徵不足夠而導致追蹤結果不正確的缺點。

最後，於步驟S306，處理器130依據物件特徵區域來追蹤空間裡的移動物件。具體而言，透過取得各張圖幀中關聯於移動物件的物件特徵區域，移動物件的移動狀態與位置可依據對應至不同時間點的物件特徵區域的位置而被估測出來，致使監視者可達到監視與追蹤移動物件的目的。值得一提的是，在得知各張圖幀中關聯於移動物件的物件特徵區域之後，可依據物件特徵區域所在位置而將移動物件個別的資訊欄添加至視訊串流的各畫面中。因此，當監測者觀賞合成視訊時，畫面中移動物件的資訊欄可追隨著畫面中的移動物件而隨侍在側。

為了更清楚說明如何決定移動物件的移動姿態與如何決定適當的物件特徵區域，以下即搭配圖1的影像物件追蹤系統10的各元件列舉實施例，以說明影像物件追蹤系統10執行其影像物件追蹤方法的詳細步驟。圖5A至5C為根據本發明一實施例所繪示的基於影像的物件追蹤方法的流程圖。請同時參照圖1、圖5A至圖5C。

請先參照圖5A，於步驟S501，處理器130接收視訊串流的當前圖幀。於步驟S502，處理器130判斷當前圖幀是否為視訊串流的首張圖幀。進一步來說，視訊串流是由具有圖幀編號的多張圖幀組成，這些圖幀依據其被拍攝順序而依序編號。基此，處理器130可依據圖幀編號來識別當前分析的當前圖幀是否為視訊串流中的首張圖幀，而首張圖幀為視訊串流中例如為最早被拍攝的第一張圖幀。

若步驟S502判斷為是，於步驟S503，處理器130自首張圖幀辨識出移動物件，並且產生首張圖幀中與移動物件相關聯的物件特徵區域。接著，於步驟S504，處理器130透過比較首張圖幀中的物件特徵區域的寬度與高度，初始化設定移動物件的移動姿態為沿第一方向移動或沿第二方向移動。

具體而言，處理器130可透過前後景分離法或使用分類器於圖幀中搜尋而自首張圖幀之中辨識出移動物件。當使用前後景分離法時，處理器130可依據背景相減法（background subtraction）而將首張圖幀與背景影像相減以求得前景（亦即，移動物件）。當使用分類器辨識移動物件時，處理器130所使用的分類器可以是支援向量機（Support Vector Machine，SVM）分類器或深度學習架構的分類器。藉由輸入移動物件的樣本影像訓練分類器後，分類器可從首張圖幀中辨識出移動物件。

接著，在辨識出首張圖幀中的移動物件之後，處理器130可定義出移動物件的物件特徵區域（亦即ROI）與移動物件的標準尺寸。需說明的是，當分析首張圖幀時，處理器130會在辨識出的移動物件後自動產生至少足以包圍移動物件的物件特徵區域，而移動物件的物件特徵區域可基於偵測到的移動物件的外圍輪廓而決定。舉例而言，圖6為物件特徵區域的範例示意圖。請參照圖6，處理器130可依據所辨識出移動物件obj4的外圍輪廓決定四個頂點座標a1～a4，以獲取四個頂點座標a1～a4所形成之矩形狀的物件特徵區域ROI1。

此外，以移動物件為魚隻為例，當使用分類器辨識魚隻時，由於魚隻的種類是已知的，因此該魚隻對應的標準尺寸可直接定義為魚種所對應的預設尺寸。當使用前後景分離法辨識魚隻時，由於魚隻的種類是未知的，因此該魚隻對應的標準尺寸可依據物件特徵區域來決定。於一範例實施例中，表1為基於不同物件辨識方法決定魚隻對應之標準尺寸的範例算法。

以移動物件為魚隻為例，由於魚隻的型態有其特定規律，因此可透過比對物件特徵區域的寬度與高度來判斷魚隻的游向。於本發明的實施例中，當首張圖幀中關聯於魚隻的物件特徵區域的寬度大於高度時，代表魚隻相對於影像擷取裝置110往左或往右游動。當首張圖幀中關聯於魚隻的物件特徵區域的寬度小於高度時，代表魚隻相對於影像擷取裝置110往前或往後游動。因此，若處理器130判斷首張圖幀中關聯於魚隻的物件特徵區域的寬度大於高度，處理器130可將標準尺寸設定為等於物件特徵區域的尺寸，並初始化設定魚隻的移動姿態為沿第一方向移動。若處理器130判斷首張圖幀中關聯於魚隻的物件特徵區域的寬度小於高度，處理器130可初始化設定魚隻的移動姿態為沿第二方向移動，並依據表1內的式(1)與式(2)計算出標準尺寸。基於魚隻的一般輪廓姿態，式(2)內的調整係數可介於1.5至2之間。

於本發明的實施例中，當處理器130分析完首張圖幀後，移動物件的標準尺寸、初始的物件特徵區域以及移動物件的移動姿態都可依據上述說明而產生並紀錄於儲存裝置120中。

請參照圖5B，若步驟S502判斷為否，於步驟S505，處理器130獲取依據先前圖幀而決定之移動物件的移動姿態。於步驟S506，處理器130判斷移動物件的移動姿態是沿第一方向移動或沿第二方向移動。步驟S506之後，處理器130將基於移動物件的移動姿態是沿第一方向移動或沿第二方向移動而選擇第一追蹤算法或第二追蹤算法來進行物件追蹤。

當處理器130判斷移動物件的移動姿態是沿第一方向移動（亦即依據先前圖幀所決定的移動姿態是沿第一方向移動）時，於步驟S507，處理器130依據先前圖幀中關聯於移動物件的物件特徵區域內的影像特徵，搜索當前圖幀，從而決定當前圖幀中關聯於移動物件的物件特徵區域的位置。舉例而言，透過使用KCF tracker算法，處理器130可根據先前圖幀中物件特徵區域內的紋理而於當前圖幀中找到具有相似度最高之紋理的區域，以定義出當前圖幀中的物件特徵區域。

於步驟S508，處理器130依據當前圖幀中關聯於移動物件的物件特徵區域內的影像特徵來決定移動物件的物件窗口。於本發明的實施例中，物件窗口為小於物件特徵區域的物件搜尋窗口。例如，處理器130例如可透過SURF演算法與Camshift算法來找到物件特徵區域內的物件窗口。

舉例而言，圖7為依據本發明一實施例之產生物件窗口的範例。請參照圖7，處理器130可先透過SURF演算法擷取先前圖幀中物件特徵區域ROI_f1內的多個特徵點（例如特徵點P1）與當前圖幀中物件特徵區域ROI_c1內的多個特徵點（例如特徵點P2）。接著，透過比對先前圖幀中物件特徵區域ROI_f1內的特徵點與當前圖幀中物件特徵區域ROI_c1內的特徵點，處理器130對當前圖幀中物件特徵區域ROI_c1內的特徵點進行篩選而留下匹配正確的特徵點。接著，處理器130可透過Camshift算法於當前圖幀的物件特徵區域ROI_c1中找到特徵點分佈密集的區域，而據以定義出一個物件窗口SW1。

舉例而言，圖8為依據本發明一實施例之產生物件窗口的範例。請參照圖8，處理器130可先透過SURF演算法擷取先前圖幀中物件特徵區域ROI_f2內的多個特徵點（例如特徵點P3）與當前圖幀中物件特徵區域ROI_c2內的多個特徵點（例如特徵點P4）。接著，透過比對先前圖幀中物件特徵區域ROI_f2內的特徵點與當前圖幀中物件特徵區域ROI_c2內的特徵點，處理器130對當前圖幀中物件特徵區域ROI_c2內的特徵點進行篩選而留下匹配正確的特徵點。接著，處理器130可透過Camshift算法於當前圖幀的物件特徵區域ROI_c2中找到特徵點分佈密集的區域，而據以定義出一個物件窗口SW2。

於是，於步驟S509，處理器130判斷物件窗口的寬度是否大於物件窗口的高度。若步驟S509判斷為是，於步驟S510，處理器130決定維持移動物件的移動姿態為沿第一方向移動。若步驟S509判斷為否，代表移動物件改變移動姿態，於步驟S511，處理器130調整當前圖幀中關聯於移動物件的物件特徵區域的尺寸。

以移動物件是魚隻為例，於圖7所示的範例中，由於物件窗口SW1的寬度W1大於物件窗口的高度H1，因此處理器130可判定魚隻的移動姿態依然為沿第一方向移動。於圖8所示的範例中，由於物件窗口SW2的寬度W2小於物件窗口的高度H2，因此處理器130可判定魚隻的移動姿態從沿第一方向移動改變為沿第二方向移動。進一步而言，當魚隻的移動姿態從沿第一方向移動改變為沿第二方向移動時，魚隻的影像可能只佔未調整的物件特徵區域的一小部份。因此，當魚隻的移動姿態從沿第一方向移動改變為沿第二方向移動時，處理器130將縮小當前圖幀中關聯於移動物件的物件特徵區域的尺寸。於本發明實施例中，處理器130可將物件特徵區域的尺寸縮小為與物件窗口相同的尺寸而產生調整後的物件特徵區域，以濾除多餘的背景內容。並且，於步驟S512，處理器130決定將移動物件的移動姿態改變為沿第二方向移動。亦即，當處理器130分析當前圖幀的下一張圖幀時，處理器130將使用第二追蹤算法進行物件追蹤。

請再參照圖5C，當處理器130於步驟S506判斷移動物件的移動姿態是沿第二方向移動（亦即依據先前圖幀所決定的移動姿態是沿第二方向移動），於步驟S513，處理器130判斷當前圖幀是否為使用第二追蹤算法進行追蹤的首張圖幀。若步驟S513判斷為是，於步驟S514，處理器130執行影像相減初始化而將當前圖幀中物件特徵區塊內的影像內容儲存為初始背景影像。於步驟S515，處理器130決定維持移動物件的移動姿態為沿第二方向移動。詳細而言，第二追蹤算法是依據移動物件的移動向量進行物件追蹤，且移動物件的移動向量需要透過比對前後兩張圖幀的影像內容。因此，若當前圖幀為使用第二追蹤算法進行追蹤的首張圖幀，當前圖幀中物件特徵區塊並沒有比較對象而無法計算出移動向量。於是，若當前圖幀為使用第二追蹤算法進行追蹤的首張圖幀，處理器130決定維持移動物件的移動姿態為沿第二方向移動，並且將當前圖幀中的物件特徵區塊儲存為初始背景影像。

若步驟S513判斷為否，於步驟S516，處理器130透過比對先前圖幀中關聯於移動物件的物件特徵區域內的像素與當前圖幀中的預設區域內的像素來產生像素差異圖，並依據像素差異圖計算移動物件的移動向量。

舉例而言，圖9為依據本發明一實施例之計算移動物件的移動向量的示意圖。透過將當前圖幀中的預設區域Z2內的像素減去先前圖幀中的物件特徵區域ROC_f3內的像素，處理器130可獲取像素差異圖PD1。預設區域Z2的尺寸與位置相同於先前圖幀中關聯於移動物件的物件特徵區域ROC_f3的尺寸與位置。亦即，預設區域Z2的四個定點的座標相同於先前圖幀的物件特徵區域ROC_f3四個定點的座標。接著，處理器130以像素差異圖PD1的中心C1為原點來計算出所有像素差異（像素差異圖PD1中的白點）的座標平均值，並依據此座標平均值與原點獲取包括移動方向與移動量的移動向量mv1。

於步驟S517，處理器130判斷移動向量的移動方向是否位於預設範圍內。進一步而言，處理器130可將移動向量的移動方向作為判定移動姿態是否發生改變的依據之一。於本發明實施例中，以圖9為例進行說明，處理器130可依據移動向量mv1的水平分量與垂直分量來計算移動向量的正切值（tanθ），並藉由比較此正切值是否小於預設閥值而判斷移動方向是否位於預設範圍內，從而識別移動物件的移動姿態。舉例而言，此預設閥值可以是，但本發明對此並不限制。或者，處理器130也可先計算移動向量所對應的移動角度，並藉由判斷此移動角度是否位於預設角度範圍內來決定移動向量的移動方向是否位於預設範圍內。

於是，若步驟S517判斷為否，於步驟S518，處理器130調整預設區域的位置，並依據移動向量移位預設區域而獲取當前圖幀中關聯於移動物件的物件特徵區域。以移動物件是魚隻為例，若步驟S517判斷為否，處理器130仍然是將魚隻的移動姿態歸類沿第二方向移動（亦即魚隻相對於影像擷取裝置110而前後移動），因此處理器130不調整物件特徵區域的尺寸，但以先前圖幀之物件特徵區域的中心為原點而依據移動向量平移預設區域，進而獲取當前圖幀中關聯於移動物件的物件特徵區域。舉例而言，請參照圖10，處理器130以先前圖幀之物件特徵區域的中心C2為原點而依據移動向量mv2平移預設區域Z3，而獲取當前圖幀中關聯於移動物件的物件特徵區域ROI_c5。預設區域Z3的尺寸與位置相同於先前圖幀中關聯於移動物件的物件特徵區域的尺寸與位置。之後，於步驟S519，處理器130決定維持移動物件的移動姿態為沿第二方向移動。

若步驟S517判斷為是，於步驟S520，處理器130延伸預設區域的尺寸，並依據移動向量的移動量延伸預設區域的邊長而獲取當前圖幀中關聯於移動物件的物件特徵區域。舉例而言，請參照圖11，處理器130可依據移動向量的水平分量與移動物件的種類來決定延伸長度L，並透過依據延伸長度L延長預設區域Z4的寬度而獲取當前圖幀中關聯於移動物件的物件特徵區域。預設區域Z4的尺寸與位置相同於先前圖幀中關聯於移動物件的物件特徵區域的尺寸與位置。

需說明的是，於移動物件由沿第二方向移動改變為沿第一方向移動的過程中，移動物件的影像大小逐漸變大。透過步驟S520的執行，處理器130可在移動物件改變移動姿態的過程中適度擴大物件特徵區域的尺寸，使此時期定義出來的物件特徵區域可因應於移動物件的影像大小逐漸變大而擴張。之後，於步驟S521，處理器130判斷延伸後的預設區域的邊長是否大於標準尺寸的標準長度。此標準尺寸為執行步驟503所產生且紀錄的標準參考值，其包括移動物件的標準長度與標準寬度。

若步驟S521判斷為是，代表處理器130判定移動物件已經改變移動姿態。因此，於步驟S522，處理器130將當前圖幀中關聯於移動物件的物件特徵區域更新為標準尺寸。以移動物件是魚隻為例，若步驟S521判斷為是，處理器130將魚隻的移動姿態歸類沿第一方向移動（亦即魚隻相對於影像擷取裝置110而左右移動），處理器130可直接將當前圖幀的物件特徵區域更新為標準尺寸。於步驟S523，處理器130決定將移動物件的移動姿態改變為沿第一方向移動。相反的，若步驟S521判斷為否，代表處理器130判定移動物件尚未改變移動姿態。於步驟S524，處理器130決定維持移動物件的移動姿態為沿第二方向移動。

透過重複執行圖5A至圖5C的流程，視頻串流裡每一張圖幀都可被當作當前圖幀而被分析，移動物件的移動姿態透過分析每一張圖幀而被即時偵測，且每一張圖幀中物件特徵區域的位置與尺寸也可依據移動物件的移動姿態而決定並被記錄下來。如此一來，透過分析對應至不同時間點的分析物件特徵區域，可估測出移動物件的移動資訊與位置資訊。此外，於本發明的實施例中，物件特徵區域的尺寸將依據移動物件的移動姿態而被動態調整。

舉例來說，圖12為根據本發明一實施例所繪示的追蹤移動物件的情境示意圖。請參照圖12，藉由依據圖5A至圖5C的流程依序分析圖幀frame(i)～frame(i+5)，各圖幀frame(i)～frame(i+5)中關聯於移動物件obj12的物件特徵區域ROI(i)～ROI(i+5)可據以產生。值得一提的是，於時間點T3，移動物件obj12的移動姿態發生改變，致使移動物件的影像尺寸變小。對應的，本發明實施例的影像物件追蹤系統可即時的偵測出移動物件obj12於時間點T3的移動姿態，並產生尺寸較小的物件特徵區域ROI(i+2)。此外，於時間點T4～T6，移動物件obj12的移動姿態逐漸發生改變，致使移動物件的影像尺寸逐漸變大。對應的，本發明實施例的影像物件追蹤系統可即時的偵測出移動物件obj12分別於時間點T4～T6的移動姿態，並產生尺寸逐漸遞增的物件特徵區域ROI(i+3)～ROI(i+5)。特別需要說明的是，於分析圖幀frame(i)～frame(i+5)的過程中，本發明實施例的影像物件追蹤系統是依據不同的追蹤算法來進行物件追蹤。

本發明實施例另提供一種非暫態的電腦可讀取媒體，此電腦可讀取媒體可儲存多數個程式碼片段，並且這些程式碼片段在載入基於影像的物件追蹤系統10的處理器130中並執行之後，即可完成上述基於影像的物件追蹤方法的各步驟。

綜上所述，於本發明的實施例中，移動物件的移動姿態可即時被偵測並歸類為沿特定方向移動，以基於移動物件的移動姿態選擇適當的追蹤算法進行物件追蹤。對於型態變化相當大的移動物件來說，當影像特徵因為移動物件的呈現姿態而缺乏時，本發明實施例可切換為使用另一種非基於影像特徵的追蹤算法。因此，本發明實施例可利用非基於影像特徵的追蹤算法來彌補因為影像特徵不足夠而導致追蹤結果不正確的缺點，對於型態變化較大的移動物件可提供更高準確度的追蹤結果。此外，基於這些圖幀中物件特徵區域的位置，移動物件的移動狀態與位置可以被準確地追蹤，以利於依據追蹤結果分析出移動物件的活動性或其他特性，也利於使用追蹤結果而將移動物件的物件標示資訊嵌入至視頻串流的畫面中。另外，相較於以固定的ROI尺寸進行追蹤，本發明實施例可以依據移動物件的移動姿態彈性調整ROI的尺寸，從而提昇追蹤準確度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10‧‧‧物件追蹤系統

110‧‧‧影像擷取裝置

130‧‧‧處理器

120‧‧‧儲存裝置

210‧‧‧電腦系統

Obj1～Obj4、obj12‧‧‧移動物件

S1‧‧‧空間

V1‧‧‧視訊串流

a1～a4‧‧‧頂點座標

P1、P2‧‧‧特徵點

SW1、SW2‧‧‧物件窗口

PD1‧‧‧像素差異圖

Z2、Z3、Z4‧‧‧預定區域

mv1、mv2‧‧‧移動向量

C1‧‧‧像素差異圖的中心

T1～T6‧‧‧時間點

C2‧‧‧物件特徵區域的中心

S301～S306、S501～S524‧‧‧步驟

Img21、Img22、Img41、Img42、Img61、frame(i)～frame(i+5)‧‧‧圖幀

ROI_f1、ROI_f2、ROI_f3、ROI_c1、ROI_c2、ROI_c5、ROI_c6、ROI(i+3)～ROI(i+5)‧‧‧物件特徵區域

圖1為根據本發明一實施例所繪示的基於影像的物件追蹤系統的方塊圖。 圖2為根據本發明一實施例所繪示的影像物件追蹤系統的情境示意圖。 圖3為根據本發明一實施例所繪示的影像物件追蹤方法的流程圖。 圖4A繪示魚隻沿第一方向移動時所擷取之圖幀的示意圖。 圖4B繪示魚隻沿第二方向移動時所擷取之圖幀的示意圖。 圖5A至5C為為根據本發明一實施例所繪示的影像物件追蹤方法的流程圖。 圖6為物件特徵區域的範例示意圖。 圖7為依據本發明一實施例之產生物件窗口的範例。 圖8為依據本發明一實施例之產生物件窗口的範例。 圖9為依據本發明一實施例之計算移動物件的移動向量的示意圖。 圖10為依據本發明一實施例所繪示的移動預設區域產生物件特徵區域的的示意圖。 圖11為依據本發明一實施例所繪示的延伸預設區域產生物件特徵區域的的示意圖。 圖12為根據本發明一實施例所繪示的追蹤移動物件的情境示意圖。

Claims (21)

1. 一種影像物件追蹤方法，用以追蹤一移動物件，所述方法包括： 接收包括一先前圖幀與一當前圖幀的一視訊串流，其中該視訊串流係一影像擷取裝置拍攝包括該移動物件的一空間而產生； 獲取依據該先前圖幀而決定之該移動物件的移動姿態； 判斷該移動物件的該移動姿態是沿一第一方向移動或沿一第二方向移動； 依據該移動物件的該移動姿態是沿該第一方向移動或沿該第二方向移動，而選擇一第一追蹤算法或一第二追蹤算法來進行物件追蹤，以獲取該當前圖幀中關聯於該移動物件的一物件特徵區域；以及 依據該物件特徵區域來追蹤該空間裡的該移動物件。
2. 如申請專利範圍第1項所述的影像物件追蹤方法，其中當該先前圖幀為該視訊串流的一首張圖幀時，該獲取依據該先前圖幀而決定之該移動物件的移動姿態的步驟包括： 自該首張圖幀辨識出該移動物件，並且產生該首張圖幀中與所辨識出的該移動物件相關聯的該物件特徵區域；以及 透過比較該首張圖幀中的該物件特徵區域的寬度與高度，初始化設定該移動物件的該移動姿態為沿該第一方向移動或沿該第二方向移動。
3. 如申請專利範圍第1項所述的影像物件追蹤方法，其中依據該移動物件的該移動姿態是沿該第一方向移動或沿該第二方向移動，而選擇該第一追蹤算法或該第二追蹤算法來進行物件追蹤，以獲取該當前圖幀中關聯於該移動物件的該物件特徵區域的步驟包括： 若該移動物件的該移動姿態為沿該第一方向移動，選擇該第一追蹤算法來進行影像特徵比對，以獲取該當前圖幀中關聯於該移動物件的該物件特徵區域；以及 若該移動物件的該移動姿態為沿該第二方向移動，選擇該第二追蹤算法來計算該移動物件的移動向量，以獲取該當前圖幀中關聯於該移動物件的該物件特徵區域。
4. 如申請專利範圍第3項所述的影像物件追蹤方法，其中若該移動物件的該移動姿態為沿該第一方向移動，選擇該第一追蹤算法來進行影像特徵比對，以獲取該當前圖幀中關聯於該移動物件的該物件特徵區域的步驟包括： 依據該先前圖幀中關聯於該移動物件的物件特徵區域內的影像特徵，搜索該當前圖幀，從而決定該當前圖幀中關聯於該移動物件的該物件特徵區域的位置。
5. 如申請專利範圍第4項所述的影像物件追蹤方法，其中若該移動物件的該移動姿態為沿該第一方向移動，選擇該第一追蹤算法來進行影像特徵比對，以獲取該當前圖幀中關聯於該移動物件的該物件特徵區域的步驟更包括： 依據該當前圖幀中關聯於該移動物件的該物件特徵區域內的影像特徵決定一物件窗口；以及 比較該物件窗口的寬度與高度，以決定是否調整該當前圖幀中關聯於該移動物件的該物件特徵區域的尺寸，並決定是否將該移動物件的該移動姿態改變為沿該第二方向移動。
6. 如申請專利範圍第3項所述的影像物件追蹤方法，其中若該移動物件的該移動姿態為沿該第二方向移動，選擇該第二追蹤算法來計算該移動物件的該移動向量，以獲取該當前圖幀中關聯於該移動物件的該物件特徵區域的步驟包括： 透過比對該先前圖幀中關聯於該移動物件的該物件特徵區域內的像素與該當前圖幀中的一預設區域內的像素來產生像差圖，並依據該像差圖計算該移動物件的該移動向量，其中該預設區域的尺寸與位置相同於該先前圖幀中關聯於該移動物件的該物件特徵區域的尺寸與位置，且該移動向量包括一移動方向與一移動量。
7. 如申請專利範圍第6項所述的影像物件追蹤方法，其中若該移動物件的該移動姿態為沿該第二方向移動，選擇該第二追蹤算法來計算該移動物件的該移動向量，以獲取該當前圖幀中關聯於該移動物件的該物件特徵區域的步驟更包括： 若該移動向量的該移動方向位於一預設範圍內，調整該預設區域的位置，並依據該移動向量移位該預設區域而獲取該當前圖幀中關聯於該移動物件的該物件特徵區域。
8. 如申請專利範圍第6項所述的影像物件追蹤方法，其中若該移動物件的該移動姿態為沿該第二方向移動，選擇該第二追蹤算法來計算該移動物件的該移動向量，以獲取該當前圖幀中關聯於該移動物件的該物件特徵區域的步驟更包括： 若該移動向量的該移動方向不位於一預設範圍內，延伸該預設區域的尺寸，並依據該移動向量的該移動量延伸該預設區域的一邊長而獲取該當前圖幀中關聯於該移動物件的該物件特徵區域。
9. 如申請專利範圍第8項所述的影像物件追蹤方法，其中若該移動物件的該移動姿態為沿該第二方向移動，選擇該第二追蹤算法來計算該移動物件的該移動向量，以獲取該當前圖幀中關聯於該移動物件的該物件特徵區域的步驟更包括： 判斷延伸後的該預設區域的該邊長是否大於一標準長度； 若延伸後的該預設區域的該邊長不大於該標準長度，決定維持該移動物件的該移動姿態為沿該第二方向移動；以及 若延伸後的該預設區域的該邊長大於該標準長度，決定將該移動物件的該移動姿態改變為沿該第一方向移動，並將該當前圖幀中關聯於該移動物件的該物件特徵區域更新為一標準尺寸。
10. 如申請專利範圍第1項所述的影像物件追蹤方法，其中該移動物件包括一魚隻。
11. 一種影像物件追蹤系統，包括： 一影像擷取裝置，用以拍攝包括一移動物件的一空間而產生一視訊串流； 一儲存裝置，用以儲存資料；以及 一處理器，耦接於該影像擷取裝置以及該儲存裝置，並經配置以： 　　接收包括一先前圖幀與一當前圖幀的該視訊串流； 　　獲取依據該先前圖幀而決定之該移動物件的移動姿態； 　　判斷該移動物件的該移動姿態是沿一第一方向移動或沿一第二方向移動； 　　依據該移動物件的該移動姿態是沿該第一方向移動或沿該第二方向移動，而選擇一第一追蹤算法或一第二追蹤算法來進行物件追蹤，以獲取該當前圖幀中關聯於該移動物件的一物件特徵區域；以及 　　依據該物件特徵區域來追蹤該空間裡的該移動物件。
12. 如申請專利範圍第11項所述的影像物件追蹤系統，其中當該先前圖幀為該視訊串流中的一首張圖幀時，該處理器自該首張圖幀辨識出該移動物件，並且產生該首張圖幀中與所辨識出的該移動物件相關聯的物件特徵區域， 其中該處理器透過比較該首張圖幀中的該物件特徵區域的寬度與高度，初始化設定該移動物件的該移動姿態為沿該第一方向移動或沿該第二方向移動。
13. 如申請專利範圍第11項所述的影像物件追蹤系統，其中若該移動物件的該移動姿態為沿該第一方向移動，該處理器選擇該第一追蹤算法來進行影像特徵比對，以獲取該當前圖幀中關聯於該移動物件的該物件特徵區域， 其中若該移動物件的該移動姿態為沿該第二方向移動，選擇該第二追蹤算法來計算該移動物件的移動向量，以獲取該當前圖幀中關聯於該移動物件的該物件特徵區域。
14. 如申請專利範圍第13項所述的影像物件追蹤系統，其中該處理器依據該先前圖幀中關聯於該移動物件的物件特徵區域內的影像特徵，搜索該當前圖幀，從而決定該當前圖幀中關聯於該移動物件的該物件特徵區域的位置。
15. 如申請專利範圍第14項所述的影像物件追蹤系統，其中該處理器依據該當前圖幀中關聯於該移動物件的該物件特徵區域內的影像特徵決定一物件窗口，並比對該物件窗口的寬度與高度，以決定是否調整該當前圖幀中關聯於該移動物件的該物件特徵區域的尺寸，並決定是否將該移動物件的該移動姿態改變為沿該第二方向移動。
16. 如申請專利範圍第13項所述的影像物件追蹤系統，其中該處理器透過比對該先前圖幀中關聯於該移動物件的該物件特徵區域內的像素與該當前圖幀中的一預設區域內的像素來產生像差圖，並依據該像差圖計算該移動物件的該移動向量， 其中該預設區域的尺寸與位置相同於該先前圖幀中關聯於該移動物件的該物件特徵區域的尺寸與位置，且該移動向量包括一移動方向與一移動量。
17. 如申請專利範圍第16項所述的影像物件追蹤系統，其中若該移動向量的該移動方向位於一預設範圍內，該處理器調整該預設區域的位置，而依據該移動向量移位該預設區域而獲取該當前圖幀中關聯於該移動物件的該物件特徵區域。
18. 如申請專利範圍第16項所述的影像物件追蹤系統，其中若該移動向量的該移動方向不位於一預設範圍內，該處理器延伸該預設區域的尺寸，而依據該移動向量的該移動量延伸該預設區域的一邊長而獲取該當前圖幀中關聯於該移動物件的該物件特徵區域。
19. 如申請專利範圍第18項所述的影像物件追蹤系統，其中該處理器判斷延伸後的該預設區域的該邊長是否大於一標準長度， 其中若延伸後的該預設區域的該邊長不大於該標準長度，該處理器維持該移動物件的該移動姿態為沿該第二方向移動， 其中若延伸後的該預設區域的該邊長大於該標準長度，該處理器決定將該移動物件的該移動姿態改變為沿該第一方向移動，並將該當前圖幀中關聯於該移動物件的該物件特徵區域更新為一標準尺寸。
20. 如申請專利範圍第11項所述的影像物件追蹤系統，其中該移動物件包括一魚隻。
21. 一種電腦可讀取記錄媒體，記錄電腦程式，經由影像物件追蹤系統的處理器載入以執行下列步驟： 接收包括一先前圖幀與一當前圖幀的一視訊串流，其中該視訊串流係一影像擷取裝置拍攝包括一移動物件的一空間而產生； 獲取依據該先前圖幀而決定之該移動物件的移動姿態； 判斷該移動物件的該移動姿態是沿一第一方向移動或沿一第二方向移動； 依據該移動物件的該移動姿態是沿該第一方向移動或沿該第二方向移動，而選擇一第一追蹤算法或一第二追蹤算法來進行物件追蹤，以獲取該當前圖幀中關聯於該移動物件的一物件特徵區域；以及 依據該物件特徵區域來追蹤該空間裡的該移動物件。