TWI618032B

TWI618032B - 目標偵測與追蹤方法及系統

Info

Publication number: TWI618032B
Application number: TW106136714A
Authority: TW
Inventors: 陳柏志; 林敬文
Original assignee: 財團法人資訊工業策進會
Priority date: 2017-10-25
Filing date: 2017-10-25
Publication date: 2018-03-11
Also published as: US20190122372A1; US10600190B2; TW201917696A; CN109712167A

Abstract

一種目標偵測與追蹤方法及系統。該目標偵測與追蹤方法包含以下步驟：(i)選取一影片所包含之複數個幀其中之一做為一目前幀，(ii)在該目前幀之一目標框搜尋範圍搜尋以生成一目前目標框，(iii)在該目前幀之至少一輔助框追蹤區域中的每一個搜尋以個別地生成一目前輔助框，(iv)當該目前目標框所在之區塊與所有已生成目標框所在之區塊不同時，在該目前幀之中央位置生成一新增輔助框，以及(v)重複上述步驟，直至處理完所有幀。

Description

目標偵測與追蹤方法及系統

本發明係關於一種目標偵測與追蹤方法及系統。具體而言，本發明係關於一種影片之目標偵測與追蹤方法及系統。

近年來，隨著影像處理技術的蓬勃發展，自動化影像追蹤技術也逐漸成熟，但對於追蹤影片中之目標物準確性仍有尚待改進之處。舉例而言，因目前既有的追蹤演算法通常具有特定的追蹤範圍，當影像中的目標物之移動偏移量過大或移動速度過快時，有可能會發生目標物於畫面中消失，或者短暫消失後又再次回到畫面等的情況，使得所追蹤之目標物超出追蹤演算法的特定追蹤範圍之外，導致無法完成目標物之追蹤。此外，當影片中存在與目標物外型相似的其他物件時，目前的追蹤技術亦常發生因無法區分而導致追蹤錯誤的結果。

有鑑於此，本領域亟需一種不需耗費大量運算資源即可進行準確辨識及追蹤目標物的技術，可避免因目標物超出追蹤演算法的特定追蹤範圍外即無法被準確追蹤的問題，及避免因存在與目標物外型相似的物件而造成錯誤追蹤的缺點。

本發明之一目的在於提供一種目標偵測與追蹤方法，其係適用於一電子計算裝置。一影片包含複數個幀，該等幀具有相同之一座標範圍，該座標範圍被定義為複數個區塊。該目標偵測與追蹤方法包含下列步驟：(a)選擇該等幀其中之一做為一目前幀，該目前幀之一前一幀具有一前一目標框及至少一前一輔助框，各該至少一前一輔助框個別地與一已生成目標框具有一第一相對位置，該前一目標框位於該等區塊其中之一，該前一目標框為該至少一已生成目標框其中之一，各該至少一已生成目標框位於該等區塊其中之一；(b)在該目前幀之一目標框追蹤區域搜尋以生成一目前目標框，其中該目標框追蹤區域由該前一目標框所界定，該目前目標框位於該等區塊其中之一；(c)在該目前幀之至少一輔助框追蹤區域中的每一個搜尋以個別地生成一目前輔助框，其中各該至少一輔助框追蹤區域由該至少一前一輔助框其中之一所界定；(d)當該目前目標框所在之該區塊與各該至少一已生成目標框所在之該區塊不同時，在該目前幀之中央位置生成一新增輔助框，該目前目標框與該新增輔助框具有一第二相對位置；以及(e)以該目前幀做為該前一幀，以該目前目標框做為該前一目標框，且以該至少一目前輔助框及該新增輔助框做為該至少一前一輔助框，重複步驟(a)-(d)。

本發明之另一目的在於提供一目標偵測與追蹤系統。一影片包含複數個幀，該等幀具有相同之一座標範圍，該座標範圍被定義複數個區塊。該目標偵測與追蹤系統包含一處理器及一記錄元件，且二者彼此電性連接。該處理器執行以下步驟：(a)選擇該等幀其中之一做為一目前幀，該目前幀之一前一幀具有一前一目標框及至少一前一輔助框，各該至少一前一輔助框個別地與一已生成目標框具有一第一相對位置，該前一目標框位於該等區塊其中之一，該前一目標框為該至少一已生成目標框其中之一，各該至少一已生成目標框位於該等區塊其中之一；(b)在該目前幀之一目標框追蹤區域搜尋以生成一目前目標框，其中該目標框追蹤區域由該前一目標框所界定，該目前目標框位於該等區塊其中之一；(c)在該目前幀之至少一輔助框追蹤區域中的每一個搜尋以個別地生成一目前輔助框，其中各該至少一輔助框追蹤區域由該至少一前一輔助框其中之一所界定；(d)當該目前目標框所在之該區塊與各該至少一已生成目標框所在之該區塊不同時，在該目前幀之中央位置生成一新增輔助框，該目前目標框與該新增輔助框具有一第二相對位置；以及(e)以該目前幀做為該前一幀，以該目前目標框做為該前一目標框，且以該至少一目前輔助框及該新增輔助框做為該至少一前一輔助框，重複步驟(a)-(d)。該記錄元件儲存該前一目標框、該至少一前一輔助框、該目前目標框、該至少一目前輔助框、該新增輔助框、該至少一第一相對位置及該第二相對位置。

本發明所提供之目標偵測及追蹤技術(包含方法及系統)係藉由在各幀中所生成之至少一輔助框及所記錄之各該至少一輔助框與相對應之一已生成目標框間之相對位置，且藉由將各該至少一輔助框之尺寸設計為各該幀尺寸的至少一半，優化所選用之追蹤演算法受限於特定搜尋範圍而無法完成追蹤的問題。當目標物超出追蹤演算法的該特定搜尋範圍外時，本發明所提供之目標偵測及追蹤技術可利用前述之至少一相對位置來取得該目標框的位置。

本發明所提供之目標偵測及追蹤技術將一影片所包含之該等幀所具有之一座標範圍定義為複數個區塊。本發明所提供之目標偵測及追蹤技術會根據記錄元件中所記載之各區塊之輔助框的生成記錄決定是否生成一新增輔助框。具體來說，若該目前目標框所在之區塊從未被據以生成一輔助框，本發明之技術即會在該幀之一中央位置生成一新增輔助框，並記錄該目前目標框、該新增輔助框及兩者之相對位置，以作為後續影像追蹤過程中遺失該目標框的位置時的參考依據。本發明之目標偵測及追蹤技術只有在目前目標框首次生成於各區塊時才會生成相應之新增輔助框，因此可減少針對同一區塊重複產生輔助框所造成的運算資源浪費。

此外，本發明所提供之目標偵測及追蹤技術會以一追蹤演算法追蹤目標框及所有輔助框，計算二個幀中的目標框的相似度值以確保在目前幀中所追蹤到之目前目標框的正確性，且計算二個幀中相對應之輔助框間之相似度值以確保在目前幀中所追蹤到之輔助框之正確性。本發明所提供之目標偵測及追蹤技術會記錄正確之輔助框，作為後續之影像追蹤過程中遺失該目標框的位置時的參考依據，並解決執行追蹤演算法時可能遭遇相似物件而無法辨識的問題。因此，本發明提供了能在低效能需求環境下大範圍搜尋並辨別出畫面中之物件而優化追蹤結果的追蹤技術。

以下結合圖式闡述本發明之詳細技術及實施方式，俾使本發明所屬技術領域中具有通常知識者能理解所請求保護之發明之技術特徵。

S101~S105‧‧‧步驟

B1、B2、B3、B4、B5、B6、B7、B8、B9‧‧‧區塊

F0、F1、F2‧‧‧幀

T‧‧‧目標物

TF0、TF1、TF2‧‧‧目標框

AF0、AF1、AF2、AF3、AF4‧‧‧輔助框

A0、A2‧‧‧目標框追蹤區域

A1、A3、A4‧‧‧輔助框追蹤區域

S201~S208‧‧‧步驟

300‧‧‧目標偵測與追蹤系統

301‧‧‧處理器

302‧‧‧記錄元件

第1A圖係描繪第一實施方式之目標偵測與追蹤方法之流程圖；第1B圖係描繪一影片所包含之該等幀之一座標範圍被定義為複數個區塊之一具體範例；第1C圖係描繪該目標偵測與追蹤方法如何於幀F0及幀F1追蹤目標物T；第1D圖係描繪該目標偵測與追蹤方法如何於幀F1及幀F2追蹤目標物T；第2A圖係描繪第二實施方式之部分流程圖；第2B圖係描繪第二實施方式之部分流程圖；以及第3圖係描繪第三及第四實施方式之目標偵測及追蹤系統300之架構示意圖。

以下將透過實施方式來解釋本發明所提供之用於影片之目標偵測與追蹤方法及系統。然而，該等實施方式並非用以限制本發明需在如該等實施方式所述之任何環境、應用或方式方能實施。因此，關於實施方式之說明僅為闡釋本發明之目的，而非用以限制本發明之範圍。應理解，在以下實施方式及圖式中，與本發明非直接相關之元件已省略而未繪示，且各元件之尺寸以及元件間之尺寸比例僅為例示而已，而非用以限制本發明之範圍。

本發明之第一實施方式為一目標偵測與追蹤方法，其流程圖係描繪於第1A圖。該目標偵測與追蹤方法適用於一電子計算裝置(例如：第三實施方式所述之目標偵測與追蹤系統300，容後說明)。該目標偵測與追蹤方法可針對一影片中之一目標物進行偵測與追蹤。於本實施方式中，該影片包含複數個幀，該等幀具有一時間順序，該等幀具有相同之一座標範圍，且該座標範圍被定義為複數個區塊。請參第1B圖所示之一具體範例，其係將該座標範圍定義為九個尺寸相同的區塊B1、……、B9。為便於理解，後續之說明將參考第1B圖所示之定義方式，但該定義方式並非用以限制本發明之範圍。

請參第1C圖，其係描繪該目標偵測與追蹤方法如何於幀F0及幀F1追蹤一目標物T。茲假設幀F0為該目標偵測與追蹤方法所欲處理之第一個幀，因此該目標偵測與追蹤方法可執行一初始化流程。具體而言，該目標偵測與追蹤方法會確定一欲追蹤之目標物T(例如：由使用者於幀F0上選取目標物T、由一物件偵測技術偵測出符合一特定條件之對象作為目標物T)。在確定所欲追蹤之目標物T後，該目標偵測與追蹤方法會執行一步驟(未繪示)以產生一個能框住目標物T之目標框TF0。於第1C圖所繪示之具體範例中，目標框TF0位於區塊B8。該目標偵測與追蹤方法還會執行一步驟(未繪示)以產生一輔助框AF0，其中輔助框AF0之尺寸可為幀F0之尺寸之至少一半。此外，該目標偵測與追蹤方法還可執行一步驟(未繪示)以記錄以下資訊：(a)目標框TF0，(b)輔助框AF0，(c)輔助框AF0及目標框TF0間之相對位置(例如：目標框TF0位於輔助框AF0中的哪一個位置)，以及(d)輔助框AF0係在目標框TF0位於區塊B8時所產生。

接著，於步驟S101，該電子計算裝置選擇該影片之該等幀其中之一做為一目前幀。該目前幀之一前一幀具有一前一目標框及至少一前一輔助框，各該至少一前一輔助框個別地與一已生成目標框具有一相對位置。為便於理解，茲以第1C圖之具體範例說明，但該具體範例並非用以限制本發明之範圍。於該具體範例中，步驟S101係依據該時間順序選取晚於幀F0之幀F1做為目前幀。舉例而言，當幀F1為該影片中第t個幀，幀F0可為該影片中第t-1或t-n個幀，其中參數t及參數n為正整數。於該具體範例中，目前幀為幀F1，前一幀為幀F0，前一目標框為目標框TF0，前一輔助框為輔助框AF0，且輔助框AF0與一已生成目標框(亦即，目標框TF0)具有一相對位置。

於本實施方式中，步驟S102由該電子計算裝置在該目前幀之一目標框追蹤區域搜尋以生成一目前目標框。需說明者，該目標框追蹤區域由該前一目標框所界定，且該目標框追蹤區域之尺寸/座標介於該目前幀之尺寸/座標及該前一目標框之尺寸/座標之間。此外，步驟S102所生成之該目前目標框位於該等區塊其中之一。為便於理解，茲以第1C圖之具體範例接續說明。步驟S102會根據前一目標框TF0決定一目標框追蹤區域A0，並在目標框追蹤區域A0搜尋到對應至前一目標框TF0之區域做為目前目標框TF1。於第1C圖之具體範例中，目前目標框TF1位於區塊B9。

於步驟S103中，由該電子計算裝置在該目前幀之至少一輔助框追蹤區域中的每一個搜尋以個別地生成一目前輔助框。需說明者，各該至少一輔助框追蹤區域由該至少一前一輔助框其中之一所界定，且各該至少一輔助框追蹤區域之尺寸/座標介於該目前幀之尺寸/座標及相對應之該前一輔助框之尺寸/座標之間。為便於理解，茲以第1C圖之具體範例接續說明。步驟S103會根據前一輔助框為AF0決定輔助框追蹤區域A1，並在輔助框追蹤區域A1搜尋對應至前一輔助框AF0之區域做為目前輔助框AF1。

於本實施方式中，當該目前目標框所在之該區塊與所有已生成目標框所在之區塊不同時，執行步驟S104以由該電子計算裝置在該目前幀之中央位置生成一新增輔助框，其中該目前目標框與該新增輔助框具有一相對位置。為便於理解，茲以第1C圖之具體範例接續說明。於該具體範例中，目前目標框TF1所在之區塊B9與已生成目標框(亦即，前一目標框TF0)所在之區塊B8不同，因此步驟S104在該目前幀F1之中央位置生成一新增輔助框AF2，其中新增輔助框AF2之尺寸可為幀F1之尺寸之至少一半。此新增輔助框AF2與目前目標框TF1間具有一相對位置(例如：目前目標框TF1位於新增輔助框AF2中的哪一個位置)。該目標偵測與追蹤方法會執行一步驟(未繪示)以記錄以下資訊：(a)目前目標框TF1、(b)新增輔助框AF2、(c)新增輔助框AF2與目前目標框TF1間之相對位置以及(d)新增輔助框AF2係在目前目標框TF1位於區塊B9時所產生。

接著，於步驟S105中，由該電子計算裝置判斷該影片是否存在下一需要處理之幀。若步驟S105之判斷之結果為否，則結束此目標偵測與追蹤方法。若步驟S105之判斷結果為是，則以該目前幀做為該前一幀，以該目前目標框做為該前一目標框，且以該至少一目前輔助框及該新增輔助框做為該至少一前一輔助框，重複步驟S101至步驟S105。

為便於理解，茲假設步驟S105之判斷結果為是，並以第1D圖所示之一具體範例說明。第1D圖係描繪該目標偵測與追蹤方法如何於幀F1及幀F2追蹤目標物T。於該具體範例中，該目標偵測與追蹤方法以幀F1做為前一幀，以目標框TF1做為前一目標框，且以目前輔助框AF1及新增輔助框AF2做為至少一前一輔助框，重複步驟S101至步驟S105。

於該具體範例中，步驟S101係依據該時間順序選取晚於幀F1之幀F2做為目前幀。接著，於步驟S102，該電子計算裝置在目前幀F2之一目標框追蹤區域A2搜尋以生成一目前目標框TF2，其中目前目標框TF2位於區塊B6。於步驟S103，該電子計算裝置根據前一輔助框AF1、AF2分別地界定輔助框追蹤區域A3、A4，且於輔助框追蹤區域A3、A4分別地搜尋以生成目前輔助框AF3、AF4。

再來，由於目前目標框TF2所在之區塊B6與已生成目標框TF0、TF1所在之區塊B8、B9不同，因此步驟S104在目前幀F2之中央位置生成一新增輔助框AF5，其中新增輔助框AF5之尺寸可為幀F2之尺寸之至少一半。此新增輔助框AF5與目前目標框TF2間具有一相對位置(例如：目前目標框TF2位於新增輔助框AF5中的哪一個位置)。該目標偵測與追蹤方法會執行一步驟(未繪示)以記錄以下資訊：(a)目前目標框TF2、(b)新增輔助框AF5、(c)新增輔助框AF5與目前目標框TF2間之相對位置以及(d)新增輔助框AF5係在目前目標框TF1位於區塊B9時所產生。

之後，步驟S105再次判斷該影片是否存在下一需要處理之幀。該目標偵測與追蹤方法可重複前述步驟S101至步驟S105，直至該影片不再具有需要處理之幀。

需說明者，於本實施方式中，步驟S102及步驟S103係採用一追蹤演算法進行搜尋，且可由該追蹤演算法決定目標框追蹤區域及各輔助框追蹤區域。該追蹤演算法可為一核化相關濾波器(Kernelized Correlation Filter；KCF)、一連續自適應均值飄移法(Continuous Adaptive Meanshift)、一卡爾曼濾波法(Kalman Filter)、一粒子濾波法(Particle Filter)、一Staple演算法(請參2016年IEEE電腦視覺及圖像識別會議(Conference on Computer Vision and Pattern Recognition)之「Staple：Complementary Learners for Real-Time Tracking」一文)、一區別相關濾波器(Discriminative Correlation Filter；DCF)或一光流(Optical Flow)演算法，但不以此為限。

如前所述，於本實施方式中，步驟S103所生成之各輔助框之尺寸可為各幀之尺寸的至少一半。舉例而言，輔助框AF0之尺寸可為幀F0之尺寸的至少一半，輔助框AF2之尺寸為幀F1之尺寸的至少一半，且輔助框AF5之尺寸為幀F2之尺寸的至少一半。透過輔助框之生成及追蹤，可補強所選用之該追蹤演算法在搜尋目標框時所受到的範圍限制，增加可追蹤範圍的廣度。

此外，於本實施方式中，步驟S104是否針對目前幀生成一新增輔助框(例如：是否針對幀F1、F2分別生成新增輔助框AF2、AF5)係取決於目前目標框所在之區塊是否曾被據以生成一輔助框。當目前目標框所在之區塊與所有已生成目標框所在之區塊不同時，代表目前目標框所在之區塊未曾被據以生成一新增輔助框，因此步驟S104會生成一新增輔助框。當目前目標框所在之區塊與任一已生成目標框所在之區塊相同時，代表目前目標框所在之區塊曾被據以生成一新增輔助框，因此步驟S104不會再生成一新增輔助框。具體而言，當目前幀為幀F1時，目前目標框TF1所在之區塊B9與所有已生成目標框所在之區塊(亦即，目標框TF0所在之區塊B8)不同，代表過去只有區塊B8被據以生成一輔助框(亦即，輔助框AF0)，因而步驟S104會生成新增輔助框AF2。同理，當目前幀為幀F2時，目前目標框TF2所在之區塊B6與所有已生成目標框所在之區塊(亦即，目標框TF0所在之區塊B8及目標框TF1所在之區塊B9)不同，因而於步驟S104會生成新增輔助框AF5。依據前述說明，若區塊B1-B9於任一已處理過之幀中曾出現目標框，表示已有相應之輔助框的生成記錄，故不再生成新增輔助框。換句話說，新增輔助框的生成，只會在某一區塊首次出現一目標框時發生。

另需說明者為一目標框所在之區塊的決定方式。當一目標框橫跨不同區塊時，係以該目標框所涵蓋面積最大的區塊做為該目標框所在之該區塊。舉例來說，目標框TF0橫跨區塊B8及區塊B9，且目標框TF0涵蓋區塊B8之面積大於涵蓋區塊B9之面積，因此目標框TF0會被視為位於區塊B8。同理，目標框TF2橫跨區塊B6及區塊B9，且目標框TF2涵蓋區塊B6之面積大於涵蓋區塊B9之面積，因此目標框TF2會被視為位於區塊B6。

綜上所述，本實施方式之目標偵測與追蹤方法會針對目標框所在之區塊生成輔助框，並記錄目標框與輔助框間之相對位置。本實施方式之目標偵測與追蹤方法不僅追蹤目標框，還會追蹤輔助框，因而在追蹤過程中能夠提供更多有關目標框之訊息(包含目標框與輔助框間之相對位置)，並能透過這些目標框之訊息，增加各幀上所能追蹤到之目標框的搜尋範圍。

本發明之第二實施方式為另一目標偵測與追蹤方法，其部分流程圖係描繪於第2A圖。該目標偵測與追蹤方法適用於一電子計算裝置。該目標偵測與追蹤方法可針對一影片中之一目標物進行偵測與追蹤。第二實施方式亦能執行第一實施方式中所述之步驟，具有同樣之功能，且達成同樣之效果。以下將僅針對第二實施方式與第一實施方式相異之處詳述。

在本實施方式中，目標偵測與追蹤方法亦先執行步驟S101至步驟S103。之後，執行再進一步地計算兩幀間之目標框間之相似度值及輔助框間之相似度值，用以確保所追蹤之目標框及該等輔助框的正確性。

茲以於幀F0及幀F1追蹤目標物T為例，說明本實施方式與第一實施方式相異之處。具體來說，步驟S201由該電子計算裝置計算前一目標框TF0及目前目標框TF1之一第一相似度值。於步驟S202，由該電子計算裝置判斷該第一相似度值是否大於一第一門檻值。若步驟S202之判斷結果為是，則可執行步驟S203，由該電子計算裝置計算各該目前輔助框與相對應之該前一輔助框間之一第二相似度值(亦即，計算目前輔助框AF1及相對應之前一輔助框AF0間的一第二相似度值)，其目的在於確保在目前幀F1所追蹤的目前輔助框AF1的正確性。接著，於步驟S204，對任一目前輔助框，當其第二相似度值大於一第二門檻值時，由該電子計算裝置記錄該目前輔助框為一正確輔助框。另外，於步驟S205，對任一目前輔助框，當其第二相似度值不大於該第二門檻值時，由該電子計算裝置記錄該目前輔助框為一錯誤輔助框。於步驟S205後，即可執行步驟S104。需說明者，本發明並未限制步驟S204及步驟S205之執行順序。此外，於某些實施方式中，若執行完步驟S202之判斷結果為是，則會直接執行步驟S104。

若步驟S202之判斷結果為否，則會執行步驟S206，由該電子計算裝置刪除該目前目標框。之後，於步驟S207，由該電子計算裝置判斷是否存在一正確輔助框。若步驟S207之判斷結果為是，則執行步驟S208，由該電子計算裝置根據一正確輔助框及該正確輔助框所對應之一相對位置產生一新目標框，再執行步驟S104。若步驟S207之判斷結果為否，則後續之流程如第2B圖所示。具體而言，於步驟S105，由該電子計算裝置判斷該影片是否存在下一需要處理之幀。若步驟S105之判斷之結果為否，則結束此目標偵測與追蹤方法。若步驟S105之判斷結果為是，則會執行步驟S101，由該電子計算裝置確認一目前幀(亦即，從該等幀選取下一需要處理之幀做為目前幀)。由於該目前幀之前一幀無該目前目標框及該正確輔助框，故接著執行步驟S103，由該電子計算裝置在該目前幀之至少一輔助框追蹤區域中的每一個搜尋以個別地生成一目前輔助框。接著，該電子計算裝置對該目前幀執行步驟S203至步驟S205。當步驟S204中取得該目前幀之一正確輔助框時，執行步驟S208，由該電子計算裝置根據該正確輔助框及該正確輔助框所對應之一相對位置產生一新目標框。之後，執行步驟S104。

茲以於幀F1及幀F2追蹤目標物T為例，說明本實施方式與第一實施方式相異之處。同樣地，步驟S201計算前一目標框TF1及目前目標框TF2間之一第一相似度值。若步驟S202判斷第一相似度值不大於該第一門檻值時，表示在目前幀F2中所追蹤到之目前目標框TF2為錯誤的。接著，於步驟S206刪除目前目標框TF2。接著，若步驟S207判斷存在一正確輔助框(例如：輔助框AF1)，則會執行步驟S208以根據正確輔助框及該正確輔助框所對應之一相對位置產生一新目標框，之後執行步驟S104。

若步驟S202判斷第一相似度值大於該第一門檻值時，表示在目前幀F2中所追蹤到之目前目標框TF2為正確的。接著，執行步驟S203以計算各該目前輔助框與相對應之前一輔助框間之一第二相似度值(亦即，計算目前輔助框AF3及相對應之前一輔助框AF1間的一第二相似度值，且計算目前輔助框AF4及相對應之前一輔助框AF2間的一第二相似度值)，其目的在於確保對在目前幀F1中所追蹤到之目前輔助框AF3、AF4的正確性。針對任一目前輔助框，當其第二相似度值大於該第二門檻值時，記錄該目前輔助框為一正確輔助框。此外，針對任一目前輔助框，當其第二相似度值不大於該第二門檻值時，記錄該目前輔助框為一錯誤輔助框。

需要說明者，本實施方式中，步驟S201及步驟S204可採用一正規化交互相關直方圖(Normalized cross-correlation ofhistogram)或一主成分分析法(Principal Component Analysis)來決定該等相似度值，但不以此為限。另外，前述第一門檻值及第二門檻值可根據所欲追蹤之目標物及所選用之該追蹤演算法而決定。舉例而言，該等門檻值可由使用者預先設定，當所欲追蹤之目標物的圖樣複雜或所選用之追蹤演算法之解析度及追蹤能力低時，可透過提高該等門檻值來提高追蹤的品質。舉例來說，當選用核化相關濾波器做為追蹤演算法來追蹤一影片中之多個目標物(例如：一目標物為紙箱上的標籤，另一目標物為機箱排線)時，若影片之不同幀之畫面複雜度不同(例如：目前幀之畫面複雜度高於前一幀之畫面複雜度)，則以相同門檻值處理所有幀時，目前幀之追蹤結果的準確度必然低於前一幀之追蹤結果的準確率。因此，使用者可藉由調整該等門檻值來提升本發明之追蹤正確性。

由第二實施方式之說明可知，本發明除了藉由追蹤輔助框而在追蹤過程中提供更多有關目標框之訊息且解決所選用之追蹤演算法之追蹤範圍有限的問題外，更藉由相似度值的比對提升追蹤演算法在追蹤目標物時所能達成的準確度。

在第一及第二實施方式中所闡述之目標偵測與追蹤方法各可由包含複數個指令之一電腦程式產品實現。各電腦程式產品可為能被於網路上傳輸之檔案，亦可被儲存於一非暫態電腦可讀取儲存媒體中。針對各電腦程式產品，在其所包含之該等指令被載入一電子計算裝置(例如：第三實施方式之目標偵測與追蹤系統300)之後，該電腦程式執行如在第一及第二實施方式中所述之目標偵測與追蹤方法。該非暫態電腦可讀取儲存媒體可為一電子產品，例如：一唯讀記憶體(read only memory；ROM)、一快閃記憶體、一軟碟、一硬碟、一光碟(compact disk；CD)、一隨身碟、一磁帶、一可由網路存取之記錄元件或本發明所屬技術領域中具有通常知識者所知且具有相同功能之任何其他儲存媒體。

本發明之第三實施方式為一目標偵測與追蹤系統300，其架構示意圖係描繪於第3圖。目標偵測與追蹤系統300包含處理器301及記錄元件302，其中處理器301電性連接至記錄元件302。記錄元件302儲存處理器301所生成之各種數據，包含各目標框(例如：各目標框之座標)、各輔助框(例如：各輔助框之座標)、各個相對位置等等。處理器301可為各種處理器、中央處理單元(Central Processing Unit；CPU)、微處理器、控制元件、其他可執行指令的硬體元件或本發明所屬技術領域中具有通常知識者所知之其他計算裝置中之任一者。記錄元件302可為一記憶體、一通用串列匯流排(Universal Serial Bus；USB)碟、一硬碟、一光碟(Compact Disk；CD)、一隨身碟或本發明所屬技術領域中具有通常知識者所知且具有相同功能之任何其他儲存媒體或電路。

目標偵測與追蹤系統300可針對一影片中之一目標物進行偵測與追蹤。於本實施方式中，該影片包含複數個幀，該等幀具有一時間順序，該等幀具有相同之一座標範圍，且該座標範圍被定義為複數個區塊。具體而言，目標偵測與追蹤系統300之處理器301執行以下步驟(a)至步驟(e)。首先，步驟(a)：選擇該等幀其中之一做為一目前幀，其中該目前幀之一前一幀具有一前一目標框及至少一前一輔助框，各該至少一前一輔助框個別地與一已生成目標框具有一第一相對位置，該前一目標框位於該等個區塊其中之一，且各該至少一已生成目標框位於該等區塊其中之一。

步驟(b)：在該目前幀之一目標框追蹤區域搜尋以生成一目前目標框，其中該目標框追蹤區域由該前一目標框所界定，且該目前目標框位於該等區塊其中之一。

步驟(c)：在該目前幀之至少一輔助框追蹤區域中的每一個搜尋以個別地生成一目前輔助框，其中各該至少一輔助框追蹤區域由該至少一前一輔助框其中之一所界定。

步驟(d)：當該目前目標框所在之該區塊與各該至少一已生成目標框所在之該區塊不同時，在該目前幀之中央位置生成一新增輔助框，其中該目前目標框與該新增輔助框具有一第二相對位置。

步驟(e)：以該目前幀做為該前一幀，以該目前目標框做為該前一目標框，且以該至少一目前輔助框及該新增輔助框做為該至少一前一輔助框，重複步驟(a)至步驟(d)，或是重複步驟(a)至步驟(e)直至處理完該影片中之所有幀。

記錄元件302會儲存該前一目標框、該至少一前一輔助框、該目前目標框、該至少一目前輔助框、該新增輔助框、該至少一第一相對位置及該第二相對位置。具體而言，前述各種框之數據可為框座標、框尺寸或框內之影像數據等等。

除了上述步驟，第三實施方式亦能執行第一實施方式所描述之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本發明所屬技術領域中具有通常知識者可直接瞭解第三實施方式如何基於上述第一實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。

請繼續參照第3圖，其亦為本發明之第四實施方式之目標偵測與追蹤系統之方塊圖。於本實施方式中，目標偵測與追蹤系統300亦能執行第三實施方式中所述之步驟，具有同樣之功能，且達成同樣之效果，於此不再贅述。以下說明將著重於本實施方式與第三實施方式相異之處。

於第四實施方式中，處理器301在執行步驟(c)後，更計算該前一目標框及該目前目標框之一第一相似度值，且判斷該第一相似度值大於一第一門檻值。若該第一相似度值大於該第一門檻值，處理器301才會執行步驟(d)，且會針對各該至少一目前輔助框執行以下步驟：(i)計算該目前輔助框與相對應之該前一輔助框間之一第二相似度值，(ii)當該第二相似度值大於一第二門檻值時，於記錄元件302記錄該目前輔助框為一正確輔助框，以及(iii)當該第二相似度值不大於該第二門檻值時，於記錄元件302記錄該目前輔助框為一錯誤輔助框。

另一方面，若處理器301判斷該第一相似度值不大於該第一門檻值，則會刪除該目前目標框。另外，處理器301會確認記錄元件302是否記錄了正確輔助框。若記錄元件302存在一正確輔助框，處理器301會根據該正確輔助框及該正確輔助框所對應之一相對位置產生一新目標框，之後再執行步驟(d)。若記錄元件302不存在一正確輔助框，處理器301則直接執行步驟(e)。

除了上述步驟，第四實施方式亦能執行第二實施方式所描述之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本發明所屬技術領域中具有通常知識者可直接瞭解第四實施方式如何基於上述第二實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。

需說明者，於本發明專利說明書中，所有冠以「第一」或「第二」的名詞中之「第一」或「第二」僅用來表示該等名詞為不同名詞。舉例來說，於本發明專利說明書中，第一相似度值及第二相似度值中之「第一」及「第二」僅用來表示該等相似度值為不同相似度值。此外，所有冠以「前一」、「目前」或「新增」的名詞中之「前一」、「目前」或「新增」僅用來表示該等名詞為不同名詞。舉例來說，於本發明專利說明書中，前一輔助框、目前輔助框及新增輔助框中之「前一」、「目前」及「新增」僅用來表示該等輔助框為不同輔助框。

綜上所述，本發明所提供之目標偵測及追蹤技術(包含方法及系統)係藉由在各幀中所生成之至少一輔助框及所記錄之各該至少一輔助框與相對應之一已生成目標框間之相對位置，且藉由將各該至少一輔助框之尺寸設計為各該幀尺寸的至少一半，優化所選用之追蹤演算法受限於特定搜尋範圍而無法準確地追蹤的問題。當目標物超出追蹤演算法的該特定搜尋範圍外時，本發明所提供之目標偵測及追蹤技術可利用前述之至少一相對位置來取得該目標框的位置。

本發明所提供之目標偵測及追蹤技術將一影片所包含之該等幀所具有之一座標範圍定義為複數個區塊。本發明所提供之目標偵測及追蹤技術會根據記錄元件中所記載之各區塊的輔助框的生成記錄決定是否生成一新增輔助框。具體來說，若目前目標框所在之區塊從未被據以生成一輔助框，本發明之技術即會在該幀之一中央位置生成一新增輔助框，並記錄該目前目標框、該新增輔助框及兩者之相對位置，以作為後續影像追蹤過程中遺失該目標框的位置時的參考依據。本發明之目標偵測及追蹤技術只有在目前目標框首次生成於各區塊時才會生成相應之新增輔助框，因此可減少針對同一區塊重複產生輔助框所造成的運算資源浪費。

此外，本發明所提供之目標偵測及追蹤技術會以一追蹤演算法追蹤目標框及所有輔助框，計算二個幀中的目標框的相似度值以確保在目前幀中所追蹤到之目前目標框之正確性，且計算二個幀中相對應之輔助框間之相似度值以確保在目前幀中所追蹤到之輔助框之正確性。本發明所提供之目標偵測及追蹤技術會記錄正確之輔助框，作為後續之影像追蹤過程中遺失該目標框的位置時的參考依據，並解決執行追蹤演算法時可能遭過相似物件而無法辨識的問題。因此，本發明提供了能在低效能需求環境下大範圍搜尋並辨別出畫面中之物件而優化追蹤結果的追蹤技術。

上述實施方式僅用來例舉本發明之部分實施態樣，以及闡釋本發明之技術特徵，而非用來限制本發明之保護範疇及範圍。任何本發明所屬技術領域中具有通常知識者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，而本發明之權利保護範圍以申請專利範圍為準。

S101~S105‧‧‧步驟

Claims

一種目標偵測與追蹤方法，適用於一電子計算裝置，一影片包含複數個幀，該等幀具有相同之一座標範圍，該座標範圍被定義複數個區塊，該目標偵測與追蹤方法包含下列步驟：(a)選擇該等幀其中之一做為一目前幀，其中該目前幀之一前一幀具有一前一目標框及至少一前一輔助框，各該至少一前一輔助框個別地與一已生成目標框具有一第一相對位置，該前一目標框位於該等區塊其中之一，該前一目標框為該至少一已生成目標框其中之一，各該至少一已生成目標框位於該等區塊其中之一；(b)在該目前幀之一目標框追蹤區域搜尋以生成一目前目標框，其中該目標框追蹤區域由該前一目標框所界定，該目前目標框位於該等區塊其中之一；(c)在該目前幀之至少一輔助框追蹤區域中的每一個搜尋以個別地生成一目前輔助框，其中各該至少一輔助框追蹤區域由該至少一前一輔助框其中之一所界定；(d)當該目前目標框所在之該區塊與各該至少一已生成目標框所在之該區塊不同時，在該目前幀之中央位置生成一新增輔助框，該目前目標框與該新增輔助框具有一第二相對位置；(e)以該目前幀做為該前一幀，以該目前目標框做為該前一目標框，且以該至少一目前輔助框及該新增輔助框做為該至少一前一輔助框，重複步驟(a)-(d)。
如請求項1所述之目標偵測與追蹤方法，更包含下列步驟：計算該前一目標框及該目前目標框之一第一相似度值；以及判斷該第一相似度值大於一第一門檻值，其中該步驟(d)係因應該第一相似度值大於該第一門檻值之判斷結果而執行。
如請求項2所述之目標偵測與追蹤方法，更針對各該至少一目前輔助框執行以下步驟：計算該目前輔助框與相對應之該前一輔助框間之一第二相似度值；當該第二相似度值大於一第二門檻值時，記錄該目前輔助框為一正確輔助框；以及當該第二相似度值小於該第二門檻值時，記錄該目前輔助框為一錯誤輔助框。
如請求項1所述之目標偵測與追蹤方法，更包含下列步驟：計算該前一目標框及該目前目標框之一第一相似度值；判斷該第一相似度值小於一第一門檻值；以及因應該第一相似度值小於該第一門檻值之判斷結果刪除該目前目標框。
如請求項4所述之目標偵測與追蹤方法，更包含下列步驟：根據一正確輔助框及該正確輔助框所對應之一相對位置產生一新目標框。
如請求項1所述之目標偵測與追蹤方法，其中該前一輔助框之尺寸為該前一幀之尺寸的至少一半，且該新增輔助框之尺寸為該目前幀之尺寸的至少一半。
如請求項1所述之目標偵測與追蹤方法，其中當該目前目標框橫跨該等區塊之多個時，以該目前目標框所涵蓋面積最大的區塊做為該目前目標框所在之該區塊，當該前一目標框橫跨該等區塊之多個時，以該前一目標框所涵蓋面積最大的區塊做為該前一目標框所在之該區塊。
一種目標偵測與追蹤系統，一影片包含複數個幀，該等幀具有相同之一座標範圍，該座標範圍被定義複數個區塊，該目標偵測與追蹤系統包含：一處理器，執行以下步驟：(a)選擇該等幀其中之一做為一目前幀，該目前幀之一前一幀具有一前一目標框及至少一前一輔助框，各該至少一前一輔助框個別地與一已生成目標框具有一第一相對位置，該前一目標框位於該等個區塊其中之一，該前一目標框為該至少一已生成目標框其中之一，各該至少一已生成目標框位於該等區塊其中之一；(b)在該目前幀之一目標框追蹤區域搜尋以生成一目前目標框，其中該目標框追蹤區域由該前一目標框所界定，該目前目標框位於該等區塊其中之一；(c)在該目前幀之至少一輔助框追蹤區域中的每一個搜尋以個別地生成一目前輔助框，其中各該至少一輔助框追蹤區域由該至少一前一輔助框其中之一所界定；(d)當該目前目標框所在之該區塊與各該至少一已生成目標框所在之該區塊不同時，在該目前幀之中央位置生成一新增輔助框，該目前目標框與該新增輔助框具有一第二相對位置；以及(e)以該目前幀做為該前一幀，以該目前目標框做為該前一目標框，且以該至少一目前輔助框及該新增輔助框做為該至少一前一輔助框，重複步驟(a)-(d)；以及一記錄元件，儲存該前一目標框、該至少一前一輔助框、該目前目標框、該至少一目前輔助框、該新增輔助框、該至少一第一相對位置及該第二相對位置。
如請求項8所述之目標偵測與追蹤系統，其中該處理器更計算該前一目標框及該目前目標框之一第一相似度值，且判斷該第一相似度值大於一第一門檻值，其中該處理器係因應該第一相似度值大於該第一門檻值之判斷結果而執行步驟(d)。
如請求項9所述之目標偵測與追蹤系統，其中該處理器更針對各該至少一目前輔助框執行以下步驟：計算該目前輔助框與相對應之該前一輔助框間之一第二相似度值；當該第二相似度值大於一第二門檻值時，於該記錄元件記錄該目前輔助框為一正確輔助框；以及當該第二相似度值小於該第二門檻值時，於該記錄元件記錄該目前輔助框為一錯誤輔助框。
如請求項8所述之目標偵測與追蹤系統，其中該處理器更計算該前一目標框及該目前目標框之一第一相似度值，判斷該第一相似度值小於一第一門檻值，因應該第一相似度值小於該第一門檻值之判斷結果，刪除該目前目標框。
如請求項11所述之目標偵測與追蹤系統，其中該處理器更根據一正確輔助框及該正確輔助框所對應之一相對位置產生一新目標框。
如請求項8所述之目標偵測與追蹤系統，其中該前一輔助框之尺寸為該前一幀之尺寸的至少一半，且該新增輔助框之尺寸為該目前幀之尺寸的至少一半。
如請求項11所述之目標偵測與追蹤方法，其中當該目前目標框橫跨該等區塊之多個時，以該目前目標框所涵蓋面積最大的區塊做為該目前目標框所在之該區塊，當該前一目標框橫跨該等區塊之多個時，以該前一目標框所涵蓋面積最大的區塊做為該前一目標框所在之該區塊。