TW202139830A - 物件連續追蹤系統及方法 - Google Patents

Abstract

本發明為一種物件連續追蹤系統及方法，其中物件連續追蹤系統包含一攝影模組拍攝一區域，而在區域內設有多個偵測元件，偵測在區域內的物件，其中物件連續追蹤系統更包含一處理模組，而在處理模組包含物件偵測模組與多物件追蹤模組，在影片的各物件周圍產生追蹤各物件的界框，並在界框上標號，其中處理模組更包含一重標記模組，在多物件追蹤模組無法追蹤各界框時，利用偵測元件的資料，辨識各物件，而將標號重新標回給界框，藉以彌補現有物件追蹤方法在發生異常後，無法將異常發生之前的標號標回給同一個物件，而導致追蹤無法連續的問題。

Description

物件連續追蹤系統及方法

本發明關於一種物件追蹤系統及方法，尤其是當追蹤訊號受到干擾，而在干擾排除後得以接續追蹤的物件連續追蹤系統及方法。

一般畜牧業者在畜養家畜時，都會觀察家畜的活動量，以評斷家畜的健康狀況，然而畜牧業者的工作繁忙，並無法長期待在圍籬旁觀察家畜的活動行為，因此畜牧業者通常係利用監視錄影設備，於事後進行觀察。

然而，隨著畜牧業的發展，畜牧業者所需顧及的家畜數量已遠多於昔往，依靠人力觀看錄影影片的方式，已不符需求，因此有中國大陸專利第CN104008367號，提出一種基於影像辨識的家畜行為分析系統與方法，藉由影像辨識器，分辦影像中的家畜，並賦予每隻家畜一個編號，再藉由追蹤不同編號的家畜行為，達到協助畜牧業者進行管理之目的，並於家畜發生緊急情況時，發出警告訊息通知畜牧業者。

此外，有英國學者Cowton,J.et.al發表論文(Automated Individual Pig Localisation,Tracking and Behaviour Metric Extraction Using Deep Learning.IEEE Access,7,108049-108060.)，提出一種基於深度學習的家畜追蹤方法，藉由受過訓練的類神經網路，分辨影像中的家畜，並賦予每隻家畜一個編號，再藉由追蹤不同編號的家畜行為，長期觀察家畜的活動行 為，而達到及早發現家畜異常行為，並及早治療之目的。

然而，當異常排除後，承上所述之先前技術皆無法辨別在異常發生之前所偵測到家畜，與異常排除後所偵測到的家畜之間是否相同，因此同一隻家畜在異常前後，會被賦予不同的編號，而導致追蹤無法接續的問題。

承上，先前技術在發生異常狀況後，如果畜牧業者希望能夠接續追蹤任務，則必須依賴人工將編號標回給家畜，才得以令先前技術接續先前的追蹤，然而以人工標號的方式，造成畜牧業者的諸多困擾，導致先前技術的家畜追蹤系統及方法無法被普及。

本案發明人鑑於上述現有物件追蹤方法所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本創作之物件連續追蹤方法與系統。

為解決上述先前技術之問題，本發明之目的在於提供一種物件連續追蹤方法及系統，在影片發生異常後，得以自動將家畜在異常發生之前的邊號標回家畜，而使得異常發生前後的追蹤任務得以接觸，而不需依靠人工進行辨別。

本發明之物件連續追蹤系統包含一攝影模組、多個偵測元件與一處理模組，其中攝影模組拍攝一區域及區域內移動的物件，而產生影片，其中各偵測元件設於區域內的不同位置，並偵測在其偵測範圍內的各物件，而產生偵測資料，其中處理模組連接攝影模組與各偵測元件，且處理模組包含路徑模組、物件偵測(Object Detection)模組、多物件追蹤(Multiple Object Tracking)模組與重標記模組，其中路徑模組，係用於整合偵測資料，並轉換為軌跡資料，而軌跡資料包含各物件在一段時間內的移動路徑，其中物件偵測模組，係用於在各物件周圍產生界框(Bounding Box)，其中多物件追蹤模組，係用於在各界框上標記不同的代號，並追蹤界框，使界框的代號不隨時間而更變，其中重標記模組更包含比對模組及軌跡模組，而比對模組係用於判斷偵測元件與界框的位置相關性，進而判斷物件、界框及代號之間的相關性，其中軌跡模組，係用於比較各物件移動路徑的差異。其中，在多物件追蹤模組無法追蹤某一物件，而導致該物件無法被標記代號的異常發生時，則藉由重標記模組，利用軌跡資料，辨識出該物件在異常發生之前的代號，並傳給多物件追蹤模組，使多物件追蹤模組得將代號標回並繼續追蹤各物件。

其中，物件偵測模組更包含一個特徵提取模組(Feature Extractor)，且特徵提取模組又包含一個經過訓練的多層卷積神經網路(Multi-layer Convolutional Neural Network)，係用於拆解並學習物件的特徵，而訓練多層卷積神經網路的損失函數包含，定界框損失(Bounding Box Loss)函數、信心損失(Confidence Loss)函數與分類損失(Category Loss)函數。

其中，本發明之物件連續追蹤系統，更包含物件代號模組、確認模組與偵測範圍模組，其中物件代號模組，係用於產生物件代號資料，而物件代號資料包含各物件的代號，而確認模組係用於確認各偵測元件是否可以確實地偵測各物件。

其中，偵測範圍模組，更包含邊緣圖(Canny Edge)模組、 背景相減(Background Subtraction)模組與凸包(Convex Hull)模組，係用於結合偵測元件與物件偵測模組，並計算出各偵測元件的偵測範圍。

本發明之物件連續追蹤方法之步驟包含，利用如上述之處理模組，讀取如上述之影片及偵測資料，然後利用物件偵測模組與多物件追蹤模組，在影片中創建多個初界框框選各物件，並在初界框上面標註初代號。

在一失蹤時間點，影片發生異常，而使影片中存在可被物件偵測模組框選，但無法被多物件追蹤模組追蹤的失蹤物件，則先利用物件偵測模組在失蹤物件周圍產生新界框，框選各失蹤物件，再利用重標記模組與多物件追蹤模組，標記新界框，其步驟如下所述。

利用比對模組，計算在失蹤時間點時，各偵測元件與各新界框之間的IoU(Intersection over Union)值，並判斷IoU值符合一闕值的各新界框與各偵測元件之間為相關，且具有相同相關偵測元件的各新界框之間也為相關，各相關新界框框選的失蹤物件之間也為相關。

利用軌跡模組，讀取軌跡資料，查找最近的歧異時間點的一個以上的歧異偵測元件與歧異物件，而各歧異物件為移動路徑不同於其他相關失蹤物件的各失蹤物件，而歧異時間點為各歧異物件的移動路徑與其他相關失蹤物件的移動路徑不同的時間點，各歧異偵測元件為在歧異時間點偵測到各歧異物件的各偵測元件。

再一次利用比對模組，計算在歧異時間點時，各歧異偵測元件與各新界框的IoU值，並將IoU值符合一闕值的各歧異物件偵測與各新界框之間判斷為相關，各歧異偵測元件與偵測到其的歧異偵測元件的相關新界框之間為相關。

最後，利用多物件追蹤模組，賦予各新界框一新代號，且各新代號與其相關的歧異物件的初代號相同，藉以重新標記各失蹤物件。

其中，計算IoU值的計算公式為：

；其中，S=偵測元件或歧異偵測元件的偵測範圍面積，B=初界框或新界框的框選範圍面積。

本發明之物件連續追蹤方法之步驟更包含，利用物件代號模組、利用偵測範圍模組、以及利用確認模組。

其中，利用物件代號模組的步驟包含，讀取偵測資料，而找到各物件單獨被一個偵測元件僅偵測到的單獨時間點，計算偵測元件與初界框的IoU值，並將IoU值符合閥值的初界框的代號賦予給其所框選的物件，而產生物件代號資料。

其中，利用偵測範圍模組的步驟包含，在區域內設置一個移動的準物件，以邊緣圖(Canny Edge)模組與背景相減(Background Subtraction)模組取得偵測範圍點資料，再利用凸包(Convex Hull)模組，將偵測範圍點資料轉換為各偵測元件的偵測範圍。

其中，利用確認模組的步驟包含，計算各時間點的各初界框與各偵測元件之間的IoU值，若各偵測元件皆與至少一個初界框之間的IoU值符合一闕值，則確定各偵測元件可以偵測到各物件。

10:豬隻

20:豬隻

30:豬隻

100:攝影模組

201:偵測元件

202:偵測元件

203:偵測元件

211:標籤

212:標籤

213:標籤

300:處理模組

310:物件偵測模組

311:特徵提取模組

312:多層卷積神經網路

320:多物件追蹤模組

330:重標記模組

331:比對模組

332:軌跡資料

340:路徑模組

350:偵測範圍模組

351:邊緣圖模組

352:背景相減模組

353:凸包模組

360:確認模組

370:物件代號模組

401:物件

402:物件

403:物件

600:豬欄

711:初界框

712:初界框

713:初界框

721:新界框

722:新界框

723:新界框

811:初代號

812:初代號

813:初代號

821:新代號

822:新代號

823:新代號

S501-S509:步驟

圖1為本發明之物件連續追蹤系統的示意圖；

圖2為本發明之物件連續追蹤方法的流程圖；

圖3 為本發明實施例的區域示意圖；

圖4 為本發明實施例影片的通常示意圖；

圖5 為本發明實施例影片的異常示意圖；

圖6 為本發明實施例影片在失蹤時間點時的示意圖；

圖7 為本發明實施例影片在失蹤時間點時的另一示意圖；

圖8 為本發明實施例影片在歧異時間點時的示意圖；

圖9 為本發明實施例影片的結果示意圖；

圖10 為本發明另一實施例影片的一照片；

圖11 為本發明另一實施例影片的另一照片；

圖12 為本發明另一實施例影片的又一照片；

圖13 為本發明另一實施例影片的成果照片。

為利 貴審查委員了解本發明之技術特徵、內容與優點及其所能達到之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，合先敘明。

請參閱圖1，本發明之物件連續追蹤系統包含一攝影模組100、偵測元件201、偵測元件202、偵測元件203與一處理模組300，其中攝影模組100拍攝一群在一區域內移動的物件401、物件402及物件403，並產生影片，而偵測元件201、偵測元件202及偵測元件203設置在區域內的不同位置，並偵測物件401、物件402及物件403身上的標籤211、標籤212及標籤213，藉以偵測在其偵測範圍內的物件401、物件402或物件403，並產生偵測資料。

其中，處理模組300包含、物件偵測(Object Detection)模組310、多物件追蹤(Multiple Object Tracking)模組320、重標記模組330與路徑模組340，其中物件偵測模組310接收攝影模組100的影片，且在物件偵測模組310內包含一個設有多層卷積神經網路312的特徵提取模組311，藉以創造界框(Bounding Box)框選物件401、物件402及物件403，其中多物件追蹤模組320接收物件偵測模組310的結果，並在各界框上標記代號。

其中，重標記模組330接收多物件追蹤模組320及路徑模組340的資料，且重標記模組330包含比對模組331及軌跡模組332，其中比對模組331接收路徑模組340、偵測元件201、偵測元件202及偵測元件203的資料，並計算出「偵測元件201、偵測元件202或偵測元件203」、「物件401、物件402或物件403」、「界框」及「代號」之間的相關性。

其中，處理模組300還包含偵測範圍模組350、確認模組360與物件代號模組370，其中偵測範圍模組350接收偵測元件201、偵測元件202、偵測元件203及多物件追蹤模組320的資料，並利用設於偵測範圍模組350的邊緣圖模組351、背景相減模組352與凸包模組353，繪製出偵測元件201、偵測元件202及偵測元件203的偵測範圍。

其中，確認模組360，接收偵測元件201、偵測元件202、偵測元件203及多物件追蹤模組320的資料，藉以確認偵測元件201、偵測元件202及偵測元件203的運作是否正常。

其中，物件代號模組370，接收偵測元件201、偵測元件202、偵測元件203及多物件追蹤模組320的資料，整合出各物件401、物件402及物件403的代號，並輸出成物件代號資料。

其中，路徑模組340接收測元件201、偵測元件202及偵測元件203的偵測資料，並重新編排成軌跡資料。

其中，軌跡模組332接收路徑模組340的軌跡資料，找到路徑不同於其他物件的歧異物件。

請參閱圖2，在本發明之物件連續追蹤方法的步驟，包含：

(S501)利用一攝影模組100拍攝一區域而產生影片，且影片中包含物件401、物件402及物件403；

(S502)利用路徑模組340讀取一偵測資料並整合為一軌跡資料；

(S503)利用物件偵測(Object Detection)模組320，讀取影片並創建多個初界框(Bounding Box)框選影片中的物件401、物件402及物件403；

(S504)利用多物件追蹤(Multiple Object Tracking)模組320，在各初界框上標記不同的代號，並追蹤物件401、物件402及物件403，使物件401、物件402及物件403的初界框不隨時間而更變。

在步驟(S501)中，區域內有三個移動中的物件401、物件402及物件403與三個散落各處的偵測元件201、偵測元件202及偵測元件203，在物件401、物件402及物件403的身上皆設有標籤211、標籤212及標籤213，而標籤211代表物件401，標籤212代表物件402，標籤213代表物件403，當物件401、物件402或物件403靠近偵測元件201、偵測元件202或偵測元件203的偵測範圍時，偵測元件201、偵測元件202或偵測元件203藉由偵測物件401、物件402或物件403身上的標籤211、標籤212或標籤213而偵測物件401、物件402或物件403，並產生偵測資料。

其中，偵測資料包含偵測元件201、偵測元件202及偵測元件 203在各時間點所偵測到的物件401、物件402及物件403，而步驟(S502)中的路徑模組340則是整合偵測元件201、偵測元件202及偵測元件203的偵測資料，將偵測資料轉換為以物件401、物件402及物件403為主體的軌跡資料，而軌跡資料包含物件401、物件402及物件403的移動路徑。

在步驟(S503)中，物件偵測模組310，係利用一個特徵提取(Feature Extractor)模組311，創建框選物件401、物件402及物件403的初界框或新界框，其中特徵提取模組311包含一個經過訓練的多層卷積神經網路(Multi-layer Convolutional Neural Network)312，而作為訓練的損失函數包含：定界框損失(Bounding Box Loss)函數、信心損失(Confidence Loss)函數與分類損失(Category Loss)函數，其函數公式為：

其中，在訓練多層卷積神經網路312的過程中，不斷由人工在影片中框選各目標物件，而使多層卷積神經網路312得以拆解並逐漸學習了解目標物件的特徵。

在步驟(S504)中，多物件追蹤模組320，在影片的開頭即賦予每個初界框一個初代號，再將下一個時間點的影格中的各初界框，與其上一個時間點的影格的各初界框作比較，計算各初界框與其上一個影格的各初界框的IoU值，然後將上一時間點的影格的初界框的初代號給與其之間有最高IoU值的初界框，以確認保影片中的各初界框所標記的初代號，在各時間點皆相同。

其中，處理模組300還包含重標記模組330，而重標記模組330還包含比對模組331與軌跡模組332。

然而，在利用重標記模組330之前的步驟更包含，利用一確認模組360，比對偵測元件201、偵測元件202或偵測元件203與初界框之間的IoU(Intersection over Union)值，若IoU值符合一闕值，則確認偵測元件201、偵測元件202或偵測元件203可偵測到物件401、物件402或物件403。

此外，在利用重標記模組330之前的步驟還包含，在拍攝區域內放置一個移動的準物件，再利用偵測範圍模組350，以邊緣圖(Canny Edge)模組351與背景相減(Background Subtraction)模組352，描繪出準物件在影片中出現的各位置點，而產生一偵測範圍點資料，然後利用凸包(Convex Hull)模組353，將偵測範圍點資料轉換為偵測元件201、偵測元件202及偵測元件203的偵測範圍的位置與大小。

若攝影模組100受到干擾，而在異常排除後的失蹤時間點，本影片中存在一個以上的失蹤物件，其中各失蹤物件為可被物件偵測模組310框選，但無法被多物件追蹤模組320標記的物件401、物件402或物件403，此時進行下列步驟：

(S505)利用物件偵測模組310，在失蹤時間點之後的影片中，創建多個框選各失蹤物件的新界框；

(S506)利用比對模組331，取得在失蹤時間點時，偵測元件201、偵測元件202或偵測元件203與各新界框之間的IoU值；

(S507)利用軌跡模組332，讀取軌跡資料，查找最近的歧異時間點的一個或多個歧異偵測元件與歧異物件；

(S508)利用比對模組311，取得在歧異時間點時，各歧異偵測元件與各新界框之間的IoU值；

(S509)利用多物件追蹤模組320，賦予各新界框一新代號，並結合一物件代號資料，將新界框的新代號設為與該新界框的相關歧異物件的初代號相同，藉以重新標記各失蹤物件。

在步驟(S506)中，比對模組311係，將「偵測元件201、偵測元件202或偵測元件203的偵測範圍與各新界框的框選範圍的之間的交集」除以「偵測元件201、偵測元件202或偵測元件203的偵測範圍與各新界框的框選範圍的之間的聯集」，而得到偵測元件201、偵測元件202或偵測元件203與各新界框之間的IoU值。

換句話說，

，其中，S=偵測元件201、偵測元件202或偵測元件203的偵測範圍面積，B=新界框的框選範圍面積。

其中，IoU值符合一闕值的偵測元件201、偵測元件202或偵測元件203與各新界框之間為相關，且具有相同相關偵測元件201、偵測元件202或偵測元件203的各新界框之間也為相關，而各相關新界框框選的各失蹤物件之間也為相關。

在步驟(S507)中，歧異物件為移動路徑不同於其他相關失蹤物件的失蹤物件，而歧異時間點為歧異物件的移動路徑不同於其他相關失蹤物件的時間點，歧異偵測元件為在歧異時間點偵測到歧異物件的偵測元件。

在步驟(S508)中，比對模組331取得歧異偵測元件與各新界框之間的IoU值，同時將IoU值符合一闕值的歧異物件偵測與新界框之間判斷為相關，歧異物件與各歧異偵測元件相關的各新界框之間為相關。

在步驟(S509)中，取得物件代號資料420的方式法，係利用一物件代號模組370，讀取偵測資料，查找到物件401、物件402或物件403單獨被偵測元件201、偵測元件202或偵測元件203僅偵測到的單獨時間點，計算在單獨時間點僅偵測到物件401、物件402或物件403的偵測元件201、偵測元件202或偵測元件203與各初界框的IoU值，並判斷IoU值符合一闕值的各初界框的初代號為各初界框框選的物件401、物件402或物件403的初代號。

為更進一步了解本發明，乃以畜養豬隻的養豬業者為例，說明如下。

請參閱圖3，在本實施例中，攝影模組100安裝於豬欄600的上方，並往下俯視位於豬欄600內的豬隻10、豬隻20、豬隻30，並產生影片。

同時，在豬隻10、豬隻20與豬隻30的身上裝有標籤211、標籤212及標籤213，在本實施例中，標籤211、標籤212及標籤213為無線射頻辨識(Radio Frequency Identification，RFID)標籤，而在豬欄600的三個角落分別安裝有偵測元件201、偵測元件202及偵測元件203，本實施例中，偵 測元件201、偵測元件202及偵測元件203為RFID偵測元件，分別偵測在其偵測範圍內的標籤211、標籤212及標籤213，藉以偵測標籤211、標籤212及標籤213分別代表的豬隻10、豬隻20、豬隻30，然後產生偵測資料，如表1所示。

請參閱圖4，在本實施例中，處理模組300同時讀取影片與偵測資料，並先以路徑模組340，將偵測資料轉換為軌跡資料如表2所示，再以物件偵測模組310，在影片中的豬隻10的周圍創建初界框711、豬隻20的周圍創建初界框712、豬隻30的周圍創建初界框713，然後以多物件追蹤模組320賦予初界框711一個初代號811，初界框712一個初代號812，以及初界框713一個初代號813，例如在本實施例中，初代號811為「1」、初代號812為「2」、初代號813為「3」，換而言之豬隻10的初代號811為「1」、豬隻20的初代號812為「2」、豬隻30的初代號813為「3」。

同時，物件代號模組370讀取偵測資料，找到偵測元件201、偵測元件202或偵測元件203僅單獨偵測到豬隻10、豬隻20或豬隻30的單獨時間點，並計算在單獨時間點時，僅單獨偵測到豬隻10、豬隻20或豬隻30的偵測元件201、偵測元件202或偵測元件203與初界框711、初界框712及初界框713之間的IoU值，並將IoU值最高的初界框711、初界框712或初界框713的初代號811、初代號812或初代號813，賦予給偵測元件201、偵測元件202或偵測元件203在單獨時間點偵測到的豬隻10、豬隻20或豬隻30，而產生物件代號資料如表3所示。

請參閱圖5至圖6，在本實施例中，攝影模組100受到干擾，使得影片發生異常，導致豬隻10、豬隻20無法被物件追蹤模組320所框選，則在干擾排除後的失蹤時間點T₂，先以物件偵測模組310創建新界框721與新界框722框選豬隻10、豬隻20。

請參閱圖7，在本實施例中，比對模組331同時計算在失蹤時間點T₂時，新界框721及新界框722的框選範圍與偵測元件201、偵測元件202與偵測元件203的偵測範圍之間的IoU值，而得到新界框721與偵測元件402之間的IoU值為0.6，且新界框722與偵測元件402之間的IoU值也為0.6，而在本實施例中，只要IoU值大於0.6即符合闕值，故新界框721及新界框722與偵測元件402之間皆被判斷為相關，又由於新界框721及新界框722具有相同的相關偵測元件402，所以新界框721與新界框722之間為相關，進而使豬隻10與豬隻20亦判斷為相關。

請參閱圖8，在本實施例中，軌跡模組322讀取軌跡資料如表2，找到一歧異時間點T₃，在歧異時間點T₃時，豬隻10的移動路徑不同於其相關豬隻20，換而言之，在歧異時間點T₃時，豬隻711與豬隻712皆為歧異物件，而偵測到豬隻711的偵測元件201，以及偵測到的豬隻712的偵測元件202亦皆為歧異偵測元件。

另外說明，由於豬隻30在失蹤時間點時，多物件追蹤模組320仍然標記豬隻30，所以豬隻30並非失蹤物件，雖然豬隻30在歧異時間點T₃時，路徑也不同於豬隻10與豬隻20，但因為他不是失蹤物件，所以豬隻30並不算是歧異物件。

在本實施例中，比對模組331，計算在歧異時間點T₃時，作為歧異偵測元件的偵測元件201及偵測元件202與各新界框721及新界框722之間的IoU值，而在本實施例中，只要IoU值大於0.6即符合闕值，故偵測元件201及偵測元件202分別與新界框721及新界框722相關，換而言之，新界框721的相關歧異元件為偵測元件201，且新界框722的相關歧異元件為偵測元 件202，所以新界框721與偵測元件201偵測到的歧異物件(豬隻10)之間為相關，同理新界框722與豬隻20之間為相關。

請參閱圖9，在本實施例中，最後利用多物件追蹤模組320執行步驟S509，賦予新界框721一個新代號821以及新界框722一個新代號822，且新代號821與新界框721相關歧異物件(豬隻10)的初代號811相同，而新代號822與新界框722相關歧異物件(豬隻20)的初代號812相同，換而言之，新界框721的新代號821為「1」，而新界框721的新代號822為「2」。

請參閱圖10至圖13，在本發明另一實施例中，選用You Only Look Once(YOLO)系統，作為物件偵測模組310與多物件追蹤模組320，並架設攝影機與RFID偵測元件後，利用步驟S501至S504將一豬欄600內的豬隻進行標號並追蹤，如圖10所示，但在追蹤的途中發生異常，而使得影片中存在無法被標號的失蹤豬隻，如圖11所示，而在異常排除後，以步驟S505創建多個新界框框選失蹤豬隻，如圖12所示，並以步驟S506至S509將每個新界框都重新標上編號，結果如圖13所示。

本發明之物件連續追蹤系統及方法，除了畜牧業之外，還可以應用於零售業，其中物件401、物件402及物件403為消費者，而標籤211、標籤212、標籤213則為安裝於提籃或推車的RFID，零售業者得應用本發明物件連續追蹤系統及方法，取得消費者的購物行為，並依據消費者行為重新規劃商品的擺設，而提升消費者的體驗。

先前技術的物件連續追蹤系統及方法，係以辨識器辨識影片中的物件，並於各物件上標註代號的方式，進行物件的追蹤，然而在先前技術受到外界干擾，並於干擾排除後，先前技術則無法辨認影片中的物件與異 常發生之前是否為同一個物件，所以也無法給予同一個物件相同的代號，導致追蹤任務無法連續的問題。

本發明之物件連續追蹤系統及方法，在先前技術之外，更安裝一套標籤偵測系統，並與先前技術作連接，藉以辨識發生干擾前後的物件的代號，並於干擾排除後協助先前技術將代號標回至物件身上，藉以補足先前技術上的不足，使得先前技術在干擾排除之後，物件追蹤系統得以接續前面的追蹤任務，而得到物件連續追蹤之目的。

上列詳細說明係針對本發明之可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

S501-S509:步驟

Claims (8)

1. 一種物件連續追蹤系統，包含：

   一攝影模組，該攝影模組拍攝在一區域內移動的多個物件，並產生一影片；

   多個偵測元件，各該偵測元件分別設於該區域的不同位置，並偵測在各該偵測元件的偵測範圍內的各該物件，而產生一偵測資料；

   一處理模組，係與該處理模組及該攝影模組連接，且該處理模組包含：

   一路徑模組，係用於將各該偵測資料整合為一軌跡資料，而該軌跡資料包含各該物件在一段時間內的移動路徑；

   一物件偵測模組，係用於讀取該片並在各該物件周圍產生一界框；

   一多物件追蹤模組，係用於在各該界框上標記一不同的代號，並追蹤各該界框，使各該界框的該代號不隨時間而更變；

   一重標記模組，該重標記模組更包含：

   一比對模組，係用於判斷各該偵測元件與各該界框的位置相關性；

   一軌跡模組，係用於讀取該軌跡資料，比較各該物件的該移動路徑差異。

   其中，在該多物件追蹤模組無法追蹤任一該物件，而導致任一該物件無法被標記該代號的異常發生時，則藉由該重標記模組，利用該軌跡資料，辨識出任一該物件在異常發生之前的該代號，並傳給該多物件追蹤模組，使該多物件追蹤模組得以將該代號標回並繼續追蹤任一該物件。
2. 如申請專利範圍第1項所述之物件連續追蹤系統，更包含：

   一物件代號模組，係用於將該偵測資料與各該代號結合，產生一物件代號資料，而該物件代號資料包各該物件的各該初代號；

   一確認模組，係用於確認各該偵測元件能否偵測各該物件；

   一偵測範圍模組，該偵測範圍模組更包含一邊緣圖模組、一背景相減模組與一凸包模組，係用於結合該偵測元件與該物件偵測模組，而取得各該偵測元件的偵測範圍。
3. 一種物件連續追蹤方法，利用一處理模組讀取一影片與一偵測資料，其步驟包含：

   利用一物件偵測模組，在各該物件周圍產生一初界框；

   利用一多物件追蹤模組，分別在各該界框上標記一不同的代號，並追蹤各該界框，使各該界框的該代號不隨時間而更變；

   在一失蹤時間點，該影片中存在一個以上的失蹤物件，其中各該失蹤物件為在失蹤時間點前，可被該物件偵測模組框選，但在失蹤時間點後，無法被該多物件追蹤模組追蹤並標記的各該物件，則執行下列步驟：

   利用該物件偵測模組，在該失蹤時間點的該影片中，在各該失蹤物件周圍產生一新界框；

   利用一重標記模組，其步驟包含：

   利用比對模組，在該失蹤時間點時，計算各該偵測元件與各該新界框之間的IoU值，並判斷IoU值符合一闕值的各該新界框與各該偵測元件之間為相關，且將具有相同相關該偵測元件的各新界框之間判斷為相關，各相關該新界框框選的各該失蹤物件之間判斷為相關；

   利用該軌跡模組，讀取該軌跡資料，找到最近的一歧異時間點的一 個以上的歧異偵測元件與歧異物件，其中各該歧異物件為移動路徑不同於其他相關該失蹤物件的各該失蹤物件，而該歧異時間點為各該歧異物件的移動路徑不同於其他相關該失蹤物件的時間點，各該歧異偵測元件為在該歧異時間點偵測到各該歧異物件的各該偵測元件；

   利用比對模組，計算在該歧異時間點時，各該歧異偵測元件與各該新界框的IoU值，並將IoU值符合一闕值的各該歧異偵測元件與各該新界框之間判斷為相關，各該歧異物件與偵測到其的該歧異偵測元件的相關該新界框之間為相關；

   利用該多物件追蹤模組，結合一物件代號資料，在各該新界框上標記一新代號，且各該新界框的新代號相同於各該新界框的相關該歧異物件的該初代號，並繼續追蹤各該歧異物件，使各該新代號不隨時間而更變。
4. 如申請專利範圍第3項所述之物件連續追蹤方法，其中在利用該重標記模組之前，其步驟更包含：

   利用一物件代號模組，讀取該偵測資料，查找到各該物件單獨被一個該偵測元件偵測到的單獨時間點，計算在各該單獨時間點僅偵測到一個該物件的該偵測元件與各該初界框的IoU值，並判斷IoU值符合一闕值的各該初界框的初代號為各該初界框框選的該物件的初代號，並產生該物件代號資料。
5. 如申請專利範圍第3項所述之物件連續追蹤方法，其中在利用該重標記模組之前，其步驟更包含，利用一確認模組，計算各時間點的各該初界框與各該偵測元件之間的IoU值，若各該偵測元件皆與至少一個該初界框之間的IoU值符合一闕值，則確定各該偵測元件可以偵測到各該物 件。
6. 如申請專利範圍第3項至第5項中任一項所述之物件連續追蹤方法，其中計算IoU值的方法係，將該偵測元件或該歧異偵測元件的偵測範圍面積與該初界框或該新界框的框選範圍面積的交集，除以各該偵測元件的偵測範圍面積與各該初界框的框選範圍面積的聯集，其公式為：IoU=

   

   ；

   其中，S=該偵測元件或該歧異偵測元件的偵測範圍面積，B=該初界框或該新界框的框選範圍面積。
7. 如申請專利範圍第3項所述之物件連續追蹤方法，其步驟更包含利用一偵測範圍模組，取得各該偵測元件的偵測範圍，其步驟包含：

   利用該攝影模組拍攝該區域，並產生一準影片；

   其中該區域內有一移動中的準物件；

   利用各該偵測元件，偵測該準物件，而產生一準偵測資料，該準偵測資料包含各偵測元件偵測到該準物件的各時間點；

   利用一邊緣圖模組與背景相減模組，將該準影片轉換為一準物件路徑資料，該準物件路徑資料包含，該準物件在該準影片中的各時間點的位置； 將該準偵測資料與該準物件路徑資料整合為一偵測範圍點資料，該偵測範圍點資料包含，各該偵測元件在各時間點偵測到的該準物件在該影片中的位置；

   利用一凸包模組，將該偵測元件範圍點轉換為各該偵測元件的偵測範圍。
8. 如申請專利範圍第7項所述之物件連續追蹤方法，其中該邊緣圖模組與該背景相減模組，係利用邊緣圖法將該區域的空曠影片與該區域的有該 準物件的影片進行處理後，再將處理結果利用背景相減法處理，然後取得該區域的空曠影片與有該準物件的影片之間的差異影片，在藉由該差異影片推算出該準物件在該準影片中的各時間點的位置。

Images