TWI719591B

TWI719591B - 物件追蹤方法及其電腦系統

Info

Publication number: TWI719591B
Application number: TW108129314A
Authority: TW
Inventors: 黃國庭; 劉政德; 陳裕彥; 卓卿安
Original assignee: 緯創資通股份有限公司
Priority date: 2019-08-16
Filing date: 2019-08-16
Publication date: 2021-02-21
Also published as: TW202109451A; US20210049771A1; CN112396631A; CN112396631B; US10922818B1

Abstract

一種物件追蹤方法及其電腦系統，此方法包括下列步驟。取得包括多張影像的影像序列，其中影像序列具有目標物。接收於影像序列中的起始兩張影像以及末尾兩張影像對應目標物的標記操作，以分別產生目標物的四個真實標記。根據起始兩張影像的真實標記，針對影像序列進行目標物於時序上的正向追蹤，以取得正向追蹤結果。根據末尾兩張影像的真實標記，針對影像序列進行目標物於時序上的逆向追蹤，以取得逆向追蹤結果。比對正向追蹤結果與逆向追蹤結果，據以產生目標物的最終追蹤結果。

Description

物件追蹤方法及其電腦系統

本發明是有關於一種物件追蹤技術，且特別是有關於一種物件追蹤方法及其電腦系統。

深度學習最常見的應用為影像辨識以及物件追蹤，然而其最大的問題在於物件辨識的困難度。若是以一般人臉辨識、手掌辨識等常見用途，可以使用公開的資料庫輔助辨識。若是以跌倒辨識、床鋪動作辨識等少見用途，則必須要自行搜集資料才能進行少見用途的辨識。

有鑑於此，本發明提供一種物件追蹤方法及其電腦系統，當自影像序列的數張影像中標記出目標物後，可自動地自其它影像中追蹤出目標物，以加速對於目標物的追蹤。

在本發明的一實施例中，上述的方法適用於電腦系統，並且包括下列步驟。取得包括多張影像的影像序列，其中影像序列具有目標物。接收於影像序列中的起始兩張影像以及末尾兩張影像對應目標物的標記操作，以分別產生目標物的四個真實標記。根據起始兩張影像的真實標記，針對影像序列進行目標物於時序上的正向追蹤，以取得正向追蹤結果。根據末尾兩張影像的真實標記，針對影像序列進行目標物於時序上的逆向追蹤，以取得逆向追蹤結果。比對正向追蹤結果與逆向追蹤結果，據以產生目標物的最終追蹤結果。

在本發明的一實施例中，上述的電腦系統包括顯示器、輸入裝置以及運算裝置。顯示器用以顯示畫面。輸入裝置用以接收使用者的操作。運算裝置用以：取得包括多張影像並且具有目標物的影像序列；透過輸入裝置接收於起始兩張影像以及末尾兩張影像針對目標物所進行的標記操作，以分別產生該目標物的四個真實標記；根據起始兩張影像的真實標記，針對影像序列進行目標物於時序上的正向追蹤，以取得正向追蹤結果；根據末尾兩張影像的真實標記，針對影像序列進行目標物於時序上的逆向追蹤，以取得逆向追蹤結果；以及比對正向追蹤結果與逆向追蹤結果，據以產生目標物的最終追蹤結果。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與電腦系統的範例。

圖1為根據本發明一實施例所繪示的電腦系統的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹電腦系統中的所有構件以及配置關係，詳細功能將配合圖2一併揭露。

在本實施例中，電腦系統100包括顯示器110、輸入裝置120以及運算裝置130。在一實施例中，顯示器110、輸入裝置120以及運算裝置130可以分屬三個不同裝置。運算裝置130可以是以有線或是任何無線通訊標準連接於顯示器110以及輸入裝置120，並且可以例如是個人電腦、伺服器電腦、工作站的系統或是平台等。在一實施例中，顯示器110以及運算裝置130可以整合成具有顯示器的電子裝置，例如一體成型電腦（All-In-One Computer），而輸入裝置120可以是以有線或是任何無線通訊標準連接於運算裝置110。在一實施例中，顯示器110、輸入裝置120以及運算裝置130亦可以整合成單一裝置，例如筆記型電腦、平板電腦、智慧型手機等，本發明不在此設限。

顯示器110用以顯示畫面，其可以例如是液晶顯示器（Liquid-Crystal Display，LCD）、發光二極體（Light-Emitting Diode，LED）顯示器或其他類似裝置。輸入裝置120可以例如是具有動作感測器的手持控制器、滑鼠、搖桿、軌跡球等允許使用者與顯示器110的顯示畫面互動的輸入裝置。在一實施例中，顯示器110以及輸入裝置120更可以是同時提供顯示以及輸入功能的觸控螢幕，即整合觸碰偵測元件的顯示器。觸碰偵測元件成列、成行地配置在顯示器上，用以偵測使用者手指、手掌或其他物體對於觸控螢幕的觸碰。觸碰偵測元件可以例如是電容式觸碰偵測元件、電阻式觸碰偵測元件、表面聲波觸碰偵測元件、電磁觸碰偵測元件、光學式觸碰偵測元件或近場成像觸碰偵測元件。

運算裝置130包括記憶體以及處理器。記憶體用以儲存影像、程式碼等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。處理器用以控制運算裝置100的構件之間的作動，其可以例如是中央處理單元（central processing unit，CPU）、圖形處理單元（graphic processing unit，GPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置、積體電路及其組合。

圖2為根據本發明一實施例所繪示的物件追蹤方法的流程圖，而圖2的步驟可以是以圖1所繪示的電腦系統100的各元件來實現。

請同時參照圖1以及圖2，首先，電腦系統100的運算裝置130將取得影像序列（步驟S202），其中影像序列包括具有目標物的多張影像。在本實施例中，影像序列可以是具有10秒的播放長度，而以30fps的播放速率來說，將會是300張影像。

接著，運算裝置130將接收使用者於影像序列中的起始兩張影像以及末尾兩張影像針對目標物所進行的標記操作，以分別產生目標物的四個真實標記（步驟S204）。在此，運算裝置130可以是先將起始兩張影像以及末尾兩張影像分別或者是同時顯示於顯示器110上，以供使用者觀看，而使用者可透過輸入裝置120來進行目標物的標記操作。接著，運算裝置130將接收使用者透過輸入裝置120於起始兩張影像以及末尾兩張影像針對目標物所進行的標記操作，以分別產生目標物的四個真實標記。

在此的標記操作可以是使用者透過輸入裝置120以框選、角落點選的方式來自起始兩張影像以及末尾兩張影像標記出目標物，而此四張影像中的目標物是人工標記的結果，因此可視為真實值（ground truth）。以圖3根據本發明一實施例所繪示的影像序列的示意圖為例，使用者將針對起始兩張影像F ₀、F ₁以及末尾兩張影像F _n-1、F _n進行目標物的標記操作，而分別得到真實標記GT ₀、GT ₁、GT _n-1、GT _n。在此的預設可以是用矩形框對目標物進行標記操作，然而本發明不以此為限。

接著，運算裝置130將根據起始兩張影像的真實標記，針對影像序列進行目標物於時序上的正向追蹤，以取得正向追蹤結果（步驟S206）。在此，運算裝置130將利用起始兩張影像的真實標記，依時序由前向後，針對目標物於影像序列中排序於起始兩張影像之後的其它後續影像往後進行追蹤（即，自影像序列中的第三張影像往後至最後一張影像），以獲得目標物的正向追蹤結果。

另一方面，運算裝置130將根據末尾兩張影像的真實標記，針對影像序列進行目標物於時序上的逆向追蹤，以取得逆向追蹤結果（步驟S208）。在此，運算裝置130將利用末尾兩張影像的真實標記，依時序由後向前，針對目標物於影像序列中排序於末尾兩張影像之前的其它先前影像往前進行追蹤（即，自影像序列中的倒數第三張影像往前至第一張影像），以獲得目標物的逆向追蹤結果。

之後，運算裝置130將比對正向追蹤結果與逆向追蹤結果，據以產生目標物的最終追蹤結果（步驟S210）。詳細來說，由於正向追蹤結果以及逆向追蹤結果為針對影像序列的同一個目標物進行時序上的預測。因此，當正向追蹤結果以及逆向追蹤結果皆正確時，目標物在影像序列中無論是正向追蹤以及逆向追蹤的兩個結果將會有很高的重疊率，而產生可信任的最終追蹤結果。由此可知，在本實施例中，一旦使用者自影像序列中的開始與結束的數張影像中標記出目標物後，運算裝置130可自動地自其它影像中追蹤出目標物，以加速對於目標物的追蹤。

為了更清楚明瞭上述流程，以下將以圖4根據本發明一實施例所繪示的物件追蹤方法的流程圖來針對上述流程的細節加以說明，而圖4的步驟可以是以圖1所繪示的電腦系統100的各元件來實現。

請同時參照圖1以及圖4，首先，電腦系統100的運算裝置130在取得一個輸入影片時，可先偵測輸入影片的播放長度，以進行影片分割（步驟S402）。詳細來說，在此每段影片的播放長度上限可以是設定為10秒（以30fps的播放速率來說，將會是300張影像）。例如，當輸入影片的播放長度為16秒時，運算裝置130會將輸入影片分割成10秒以及6秒兩個影片。分割的原因在於，本實施例中的後續處理上，在採取正向追蹤以及逆向追蹤的比對之後，將會針對不可信任的追蹤結果進行修正。若輸入影片的播放長度過長，則修正追蹤結果的次數過多，反而造成修正上的困難，因此將會針對輸入影片的播放長度進行限制，然而，設定的影片播放長度可視需求而調整，本發明不在此設限。

運算裝置130在進行完影片分割後，則會產生一個影像序列，而此影像序列即包括具有目標物的多張影像。接著，運算裝置130將提供使用者利用顯示器110以及輸入裝置120對於影像序列中的起始兩張影像以及末尾兩張影像進行目標物標記（步驟S404）。步驟S404的細節類似於步驟S204，於此不再贅述。

之後，運算裝置130將根據起始兩張影像的真實標記，針對影像序列進行目標物於時序上的正向追蹤（步驟S406），以取得正向追蹤結果。詳細來說，運算裝置130將計算起始兩張影像的兩個真實標記之間的真實距離差值，再根據此真實距離差值，依時序由前向後，預測目標物於影像序列中排序於起始兩張影像之後的其它影像（以下稱為「其它後續影像」）的追蹤範圍以及預測位置，以做為目標物的正向追蹤結果。

具體來說，圖5為根據本發明一實施例所繪示的正向追蹤的示意圖。

請同時參照圖1以及圖5，運算裝置130將取得起始兩張影像F ₀、F ₁中使用者對於目標物的真實標記GT ₀、GT ₁，並且計算真實標記GT ₀、GT ₁之間於水平方向的距離差值D。由於此距離差值D是依照兩個真實標記GT ₀、GT ₁所計算出，因此又稱為「真實距離差值」。接著，運算裝置130將根據距離差值D來預測目標物於下一張影像（第三張影像）F ₂的追蹤範圍SR ₂。在此，由於目標物於起始兩張影像F ₀、F ₁之間的距離差值為D，因此可以假設目標物於影像F ₁與影像F ₂的距離差值也會是D。也就是說，運算裝置130可以由影像F ₁的真實標記GT ₁為中心，於水平方向兩側擴大距離D，以定義出追蹤範圍SR ₂。附帶說明的是，在本實施例中僅是假設目標物只有進行水平方向的移動，因此在預測追蹤範圍時沒有往垂直方向擴大。然而，在實際應用中，運算裝置130可同時考慮到水平方向以及垂直方向的距離差值而設定追蹤範圍，本發明不在此設限。

接著，運算裝置130將利用例如是均值漂移（Mean Shift）等物件追蹤演算法在追蹤範圍SR ₂內取得目標物於第三張影像F ₂的預測位置，詳細來說，透過均值漂移演算法，利用真實標記GT ₁中的特徵在追蹤範圍SR ₂內追蹤目標物以取得目標物於第三張影像F ₂的預測位置。此外，運算裝置130將會計算目標物於第三張影像F ₂與第二張影像F ₁之間的距離差值，而由於此距離差值已是依照預測位置所計算出，因此又稱為「預測距離差值」。類似地，運算裝置130將會根據第三張影像與第二張影像之間的預測距離差值，計算目標物於第四張影像的追蹤範圍以及預測位置，並且再遞迴地計算目標物於第四張影像及其之後的其它後續影像中的追蹤範圍以及預測位置，直到進行到影像序列中的最後一張影像為止。換句話說，以正向追蹤而言，影像序列中除了初始兩張影像，其餘每張影像將會得到一個追蹤範圍以及一個目標物的預測位置，以做為目標物的正向追蹤結果。

請回到圖4，另一方面，運算裝置130將根據末尾兩張影像的真實標記，針對影像序列進行目標物於時序上的逆向追蹤，（步驟S408），以取得逆向追蹤結果。詳細來說，運算裝置130將計算末尾兩張影像的兩個真實標記之間的真實距離差值，再根據此真實距離差值，依時序由後向前，預測目標物於影像序列中排序於末尾兩張影像之前的其它影像（以下稱為「其它先前影像」）的追蹤範圍以及預測位置，以做為目標物的逆向追蹤結果。

逆向追蹤的細節類似於正向追蹤，差異僅是在於正向追蹤是由影像序列中的第一張影像開始往後處理，而逆向追蹤是由影像序列中的最後一張影像開始往前處理。也就是說，運算裝置130將根據末尾兩張影像的兩個真實標記之間的真實距離差值，計算目標物於影像序列中的倒數第三張影像的追蹤範圍，並且於倒數第三張影像的追蹤範圍內以物件追蹤演算法取得目標物的預測位置。此外，運算裝置130將會計算目標物於倒數第三張影像與倒數第二張影像之間的距離差值，而由於此距離差值已是依照預測位置所計算出，因此又稱為「預測距離差值」。

類似地，運算裝置130將會根據倒數第三張影像與倒數第二張影像之間的預測距離差值，計算目標物於倒數第四張影像的追蹤範圍，並且再遞迴地計算目標物於倒數第四張影像及其之前的先前影像中的追蹤範圍以及預測位置，直到進行到影像序列中的第一張影像為止。換句話說，以逆向追蹤而言，影像序列中除了末尾兩張影像，其餘每張影像將會得到一個追蹤範圍以及一個目標物的預測位置，以做為目標物的逆向追蹤結果。

運算裝置130在執行完正向追蹤以及逆向追蹤後，將會判斷正向追蹤以及逆向追蹤是否有至少一者的準確度高（步驟S410），以做為之後產生目標物的最終追蹤結果的重要依據。在此，正向追蹤的準確度將是以最後一張影像的真實標記以及正向追蹤結果來判定，而逆向追蹤的準確度將是以第一張影像的真實標記以及逆向追蹤結果來判定。

以正向追蹤來說，運算裝置130將會判斷目標物於最後一張影像的真實標記與正向追蹤結果的預測位置的重疊率（以下稱為「目標物重疊率」）。當目標物重疊率大於重疊閥值時，運算裝置130將會判定正向追蹤的準確度高，而當目標物重疊率不大於重疊閥值時，運算裝置130將會判定正向追蹤的準確度低。

以圖6根據本發明一實施例所繪示的正向追蹤的示意圖為例，影像序列F ₀～F _n中的起始兩張影像F ₀、F ₁已有使用者針對目標物的標記操作所得到的真實標記GT ₀、GT ₁。另一方面，T _n為目標物於最後一張影像F _n中以正向追蹤所獲得的預測位置，而T _n-1為目標物於倒數第二張影像F _n-1中以正向追蹤所獲得的預測位置。運算裝置130將會判斷目標物於最後一張影像F _n的真實標記GT _n與最後一張影像F _n的預測位置T _n的重疊率LR _n，即交集部份（intersection）。假設重疊閥值為90%。若最後一張影像F _n中的真實標記GT _n與預測位置T _n的重疊率LR _n大於90%，則表示正向追蹤的準確度高。反之，若最後一張影像F _n中的真實標記GT _n與預測位置T _n的重疊率LR _n不大於90%，則表示正向追蹤的準確度低。

另一方面，以逆向追蹤來說，運算裝置130將會判斷目標物於第一張影像的真實標記與逆向追蹤結果的預測位置的目標物重疊率。當目標物重疊率大於重疊閥值時，運算裝置130將會判定逆向追蹤的準確度高，而當目標物重疊率不大於重疊閥值時，運算裝置130將會判定逆向追蹤的準確度低。

請回到圖4，當運算裝置130判斷正向追蹤以及逆向追蹤的準確度兩者皆低時，則將判定最終追蹤結果為不可信任（步驟S412）。在此狀況下，即代表兩個方向的追蹤結果皆不正確，其有可能是影像雜訊過多或是背景特別複雜所造成的結果。在本實施例中，運算裝置130可以是將影像序列顯示於顯示器110上，以交由使用者判斷問題所在，或者是透過輸入裝置120進行人工標記，並且再自輸入裝置120接收使用者對影像序列中的其它影像分別地進行目標物的標記操作，以讓影像序列得以進行後續的應用。

當運算裝置130判斷正向追蹤的準確度以及逆向追蹤的準確度至少有一者高時，將進一步地判斷目標物於正向追蹤結果與逆向追蹤結果中的各個預測位置的重疊率（即「目標物重疊率」），據以判定是否需要修正正向追蹤結果以及逆向追蹤結果。在此，運算裝置130可先判斷正向追蹤結果與逆向追蹤結果的各個目標物重疊率是否皆高（步驟S414）。當兩者的各個目標物重疊率皆高時，運算裝置130將不修正正向追蹤結果以及逆向追蹤結果，並且判定最終追蹤結果為可信任（步驟S416），而結束對於目標物於影像序列的追蹤。

以圖7根據本發明一實施例所繪示的其中一張影像F _m的最終追蹤結果的示意圖為例，假設T _m為目標物於影像F _m中以正向追蹤所獲得的預測位置，t _m為目標物於影像F _m中以逆向追蹤所獲得的預測位置。在此，運算裝置130將判定影像F _m中的預測位置T _m與預測位置t _m的目標物重疊率LR _m大於重疊閥值TH。在本實施例中，運算裝置130可以是將正向追蹤結果的預測位置T _m與逆向追蹤結果的預測位置t _m的聯集（union）TD _m做為目標物於影像F _m中的最終追蹤結果。

請再回到圖4，當運算裝置130判定正向追蹤結果與逆向追蹤結果的各個目標物重疊率並非皆高時，即代表不會產生可信任的最終追蹤結果，因此將進入修正追蹤結果420的程序，以針對正向追蹤結果以及逆向追蹤結果至少之一者進行修正。

以圖8根據本發明一實施例所繪示的正向追蹤FT、逆向追蹤BT以及重疊率LR的示意圖為例，在此假設目標物於影像序列中的影像F _x-1～F _x+y+1以正向追蹤FT以及逆向追蹤BT的預測位置分別為T _x-1～T _x+y+1以及t _x-1～t _x+y+1，其中目標物重疊率LR _x-1與LR _x+y+1大於重疊閥值TH（例如重疊閥值為90%），而目標物重疊率LR _x～LR _x+y皆小於重疊閥值TH。因此，運算裝置130將針對影像F _x～F _x+y的正向追蹤結果以及逆向追蹤結果至少之一者進行修正。

根據正向追蹤以及逆向追蹤的準確度來看，將會有三種情況：兩個方向的準確度皆高、一個方向的準確度高而另一個方向的準確度低、兩個方向的準確度皆低。因此，請回到圖4，運算裝置130在進入到修正追蹤結果420的程序後，會先定義預設基準（步驟S422），也就是以正向追蹤以及逆向追蹤的其中之一者來做為預設基準。接著，運算裝置130將開始修正追蹤範圍（步驟S424），並且重新執行追蹤（步驟S426），再回到步驟S414，以判斷重新追蹤後的各個目標物重疊率是否皆高。若否，則運算裝置130仍將進入修正追蹤結果420的程序，一直到各個目標物重疊率皆高為止。

以兩個方向的準確度皆高但中間有部份影像的目標物重疊率不高的第一種情況來說，運算裝置130將會先取一個方向為預設基準。假設預設基準為正向追蹤，運算裝置130將會先取得影像序列中時序上最後一張目標物重疊率低的影像（以逆向的觀點而言，即第一張目標物重疊率低的影像），在此將定義為「第一逆向執行影像」。接著，運算裝置130將根據第一逆向執行影像的正向追蹤結果的追蹤範圍，修正第一逆向執行影像的逆向追蹤結果的追蹤範圍以及預測位置，並且再遞迴地計算目標物於第一逆向執行影像之前的其它先前影像中的追蹤範圍以及預測位置，以做為修正後的逆向追蹤結果。

另一方面，假設預設基準為逆向追蹤，運算裝置130將會先取得影像序列中時序上第一張目標物重疊率低的影像，在此將定義為「第一正向執行影像」。接著，運算裝置130將根據第一正向執行影像的逆向追蹤結果的追蹤範圍，修正第一正向執行影像的正向追蹤結果的追蹤範圍以及預測位置，並且再遞迴地計算目標物於第一正向執行影像之後的其它後續影像中的追蹤範圍以及預測位置，以做為修正後的正向追蹤結果。

具體來說，圖9～圖11為根據本發明一實施例所繪示的正向追蹤FT以及逆向追蹤BT的流程示意圖。

請先參照圖9，假設目標物於影像序列中的影像F _x-1～F _x+y+1以正向追蹤FT以及逆向追蹤BT的預測位置分別為T _x-1～T _x+y+1以及t _x-1～t _x+y+1，其中對應於影像F _x～F _x+y的目標物重疊率LR _x,x+1,…x+y皆小於重疊閥值TH。假設在本實施例中，運算裝置130是以正向追蹤FT為預設基準，則會是針對影像F _x～F _x+y的逆向追蹤結果進行修正。

請再參照圖10，由於運算裝置130是以正向追蹤FT為預設基準，因此第一逆向執行影像為影像F _x+y，也就是最後一張目標物重疊率低的影像。此外，運算裝置130已先將目標物於前一張影像F _x+y+1的正向追蹤的預測位置T _x+y+1提供給逆向追蹤（1000），以取得聯集TD _x+y+1來做為影像F _x+y+1的最終追蹤結果。由於影像F _x+y+1所對應的目標物重疊率高，因此影像F _x+y+1的追蹤結果為可信賴。

請再參照圖11，由於運算裝置130是以正向追蹤FT為預設基準，因此將會提供影像F _x+y於正向追蹤FT的追蹤範圍SR _x+y給逆向追蹤BT來使用（1100），以做為影像F _x+y於逆向追蹤BT的追蹤範圍sr _x+y。接著，運算裝置130將會利用目標物於F _x+y+1的預測位置TD _x+y+1以及目標物於影像F _x+y的追蹤範圍sr _x+y重新對影像F _x+y及其先前的影像F _x+y-1～F _x重新進行逆向追蹤。接著，運算裝置130會將對應於逆向追蹤BT的修正後的預測位置與對應於正向追蹤FT的預測位置T _x+y～T _x重新進行目標物重疊率的判別。假設若再產生目標物重疊率低的結果（例如影像F _x+a～F _x+y-b的目標物重疊率小於TH），則也會再重新執行修正追蹤結果的程序。

另一方面，以一個方向的準確度高而另一個方向的準確度低的第二種情況來說，運算裝置130將根據準確度高的追蹤方向的追蹤結果來修正準確度低的追蹤方向的追蹤結果。也就是說，當正向追蹤的準確度高時，運算裝置130將根據正向追蹤結果的追蹤範圍（即，正向追蹤做為預設基準），修正逆向追蹤結果中的追蹤範圍以及預測位置。當逆向追蹤的準確度高時（即，逆向追蹤做為預設基準），運算裝置130將根據逆向追蹤結果的追蹤範圍，修正正向追蹤結果中的追蹤範圍以及預測位置。在此修正追蹤結果的細節請參照圖9～圖11的相關說明，於此不再贅述。此外，以兩個方向的準確度皆低的第三種情況來說，則請參照步驟S412的相關說明，於此亦不再贅述。

在本實施例中，圖2以及圖4的物件追蹤方法可以快速增加訓練資料的種類與數量，以利於深度學習的相關應用。詳細來說，運算裝置130在取得影像序列後，使用者僅需要在影像序列中的開始與結束的數張影像中透過輸入裝置120指定目標物，運算裝置130即可自動地自其它影像中追蹤並且標記出目標物，以大幅節省準備訓練資料所需大量時間與人力的人工標記。換言之，運算裝置在執行完圖2或是圖4的物件追蹤方法流程後，影像序列及其所產生出的目標物的最終追蹤結果即可做為追蹤相同目標物的訓練資料。

在其它實施例中，運算裝置130在取得影像序列中的目標物的追蹤結果後，可以針對影像序列中的目標物進行影像處理，以產生處理後的影像序列。舉例來說，運算裝置130可以在影像序列中的目標物所在鄰近處標示文字、將目標物以馬賽克或模糊化處理以提供隱私保護、將目標物進行清晰度以及彩度等影像增強處理、進行目標物的軌跡分析等。

綜上所述，本發明所提出的物件追蹤方法及其電腦系統，當自影像序列中的開始與結束的數張影像中標記出目標物後，運算裝置可自動地自其它影像中追蹤出目標物，以加速對於目標物的追蹤。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:電腦系統

110:顯示器

120:輸入裝置

130:運算裝置

S202～S210、S402～S426、1000、1100:步驟

F ₀～F _n:影像

GT ₀、GT ₁、GT _n-1、GT _n:真實標記

D:距離差值

SR ₂:追蹤範圍

SR _x+y:正向追蹤的追蹤範圍

sr _x+y:逆向追蹤的追蹤範圍

LR _m、LR _x-1～T _x+y+1:目標物重疊率

T _m、T _n-1、T _n、T _x-1～T _x+y:正向追蹤的預測位置

t _m:逆向追蹤的預測位置

TD _m、TD _x+y+1:最終追蹤結果

圖1為根據本發明一實施例所繪示的電腦系統的方塊圖。圖2為根據本發明一實施例所繪示的物件追蹤方法的流程圖。圖3為根據本發明一實施例所繪示的影像序列的示意圖。圖4為根據本發明一實施例所繪示的物件追蹤方法的流程圖。圖5為根據本發明一實施例所繪示的正向追蹤的示意圖。圖6為根據本發明一實施例所繪示的正向追蹤的示意圖。圖7為根據本發明一實施例所繪示的其中一張影像的最終追蹤結果的示意圖。圖8為根據本發明一實施例所繪示的正向追蹤、逆向追蹤以及重疊率的示意圖。圖9為根據本發明一實施例所繪示的正向追蹤以及逆向追蹤的流程示意圖。圖10為根據本發明一實施例所繪示的正向追蹤以及逆向追蹤的流程示意圖。圖11為根據本發明一實施例所繪示的正向追蹤以及逆向追蹤的流程示意圖。

S202~S210:步驟

Claims

一種物件追蹤方法，適用於電腦系統，包括：取得包括多張影像的影像序列，其中該影像序列具有目標物；接收於該影像序列中的起始兩張影像以及末尾兩張影像對應該目標物的標記操作，以分別產生該目標物的四個真實標記；根據所述起始兩張影像的所述真實標記，針對該影像序列進行該目標物於時序上的正向追蹤，以取得正向追蹤結果；根據所述末尾兩張影像的所述真實標記，針對該影像序列進行該目標物於時序上的逆向追蹤，以取得逆向追蹤結果；以及比對該正向追蹤結果與該逆向追蹤結果，據以產生該目標物的最終追蹤結果，其中，比對該目標物於該正向追蹤結果與該逆向追蹤結果，據以產生該目標物的該最終追蹤結果的步驟包括：根據所述末尾兩張影像的最後一張影像的該真實標記以及該正向追蹤結果，取得該正向追蹤對於該目標物的準確度；根據所述起始兩張影像的第一張影像的該真實標記以及該逆向追蹤結果，取得該逆向追蹤對於該目標物的準確度；以及根據該正向追蹤對於該目標物的該準確度以及該逆向追蹤對於該目標物的該準確度，產生該目標物的該最終追蹤結果。
如申請專利範圍第1項所述的方法，其中根據所述起始兩張影像的所述真實標記，針對該影像序列進行該目標物於時序上的該正向追蹤，以取得該正向追蹤結果的步驟包括：計算所述起始兩張影像的所述真實標記之間的真實距離差值；以及根據該真實距離差值，依時序由前向後，預測該目標物於該影像序列中排序於所述起始兩張影像之後的其它後續影像的追蹤範圍以及預測位置，以做為該目標物的該正向追蹤結果。
如申請專利範圍第2項所述的方法，其中根據該真實距離差值，依時序由前向後，預測該目標物於該影像序列中排序於所述起始兩張影像之後的所述其它後續影像的所述預測位置，以做為該目標物的該正向追蹤結果的步驟包括：根據該真實距離差值，計算該目標物於該影像序列中的第三張影像的追蹤範圍；於該第三張影像的該追蹤範圍內，取得該目標物的該預測位置以及該第三張影像的該預測位置與其前一張影像的所述真實標記之間的預測距離差值，以計算該目標物於該影像序列中的第四張影像的追蹤範圍；以及遞迴地計算該目標物於該第四張影像及其之後的各所述其它後續影像中的該追蹤範圍以及該預測位置，以做為該目標物的該正向追蹤結果。
如申請專利範圍第1項所述的方法，其中根據所述末尾兩張影像的所述真實標記，針對該影像序列進行該目標物於時序上的該逆向追蹤，以取得該逆向追蹤結果的步驟包括：計算所述末尾兩張影像的所述真實標記之間的真實距離差值；以及根據該真實距離差值，依時序由後向前，預測該目標物於該影像序列中排序於所述末尾兩張影像之前的其它先前影像的追蹤範圍以及預測位置，以做為該目標物的該逆向追蹤結果。
如申請專利範圍第4項所述的方法，其中根據該真實距離差值，依時序由後向前，預測該目標物於該影像序列中排序於所述末尾兩張影像之前的所述其它先前影像的預測位置，以做為該目標物的該逆向追蹤結果的步驟包括：根據該真實距離差值，計算該目標物於該影像序列中的倒數第三張影像的追蹤範圍；於該倒數第三張影像的該追蹤範圍內，取得該目標物的該預測位置以及該倒數第三張影像的該預測位置與其後一張影像的所述真實標記之間的預測距離差值，以計算該目標物於該影像序列中的倒數第四張影像的追蹤範圍；以及遞迴地計算該目標物於該倒數第四張影像及其之前的各所述其它先前影像中的該追蹤範圍以及該預測位置，以做為該目標物的該逆向追蹤結果。
如申請專利範圍第1項所述的方法，其中根據所述末尾兩張影像的該最後一張影像的該真實標記以及該正向追蹤結果，取得該正向追蹤的該準確度的步驟包括：判斷該目標物於該最後一張影像的該真實標記以及關聯於該正向追蹤結果的預測位置的目標物重疊率；當該目標物重疊率大於重疊閥值時，判定該正向追蹤的該準確度高；以及當該重疊率不大於重疊閥值時，判定該正向追蹤的該準確度低。
如申請專利範圍第1項所述的方法，其中根據所述起始兩張影像的該第一張影像的該真實標記以及該逆向追蹤結果，取得該逆向追蹤的該準確度的步驟包括：判斷該目標物於該第一張影像的該真實標記以及關聯於該逆向追蹤的預測位置的目標物重疊率；當該目標物重疊率大於重疊閥值時，判定該逆向追蹤的該準確度高；以及當該目標物重疊率不大於重疊閥值時，判定該逆向追蹤的該準確度低。
如申請專利範圍第1項所述的方法，其中根據該正向追蹤的該準確度以及該逆向追蹤的該準確度，產生該目標物的該最終追蹤結果的步驟包括：當該正向追蹤的該準確度以及該逆向追蹤的該準確度兩者皆低時，判定該最終追蹤結果為不可信任。
如申請專利範圍第1項所述的方法，其中根據該正向追蹤的該準確度以及該逆向追蹤的該準確度，產生該目標物的該最終追蹤結果的步驟包括：當該正向追蹤的該準確度以及該逆向追蹤的該準確度至少有一者高時，判斷該正向追蹤結果與該逆向追蹤結果的各個目標物重疊率，據以判定是否修正該正向追蹤結果或修正該逆向追蹤結果，以產生該目標物的該最終追蹤結果。
如申請專利範圍第9項所述的方法，其中當該正向追蹤的該準確度以及該逆向追蹤的該準確度兩者皆高時，判斷該正向追蹤結果與該逆向追蹤結果的各所述目標物重疊率，據以判定是否修正該正向追蹤結果或修正該逆向追蹤結果的步驟包括：判斷該正向追蹤結果與該逆向追蹤結果的各所述目標物重疊率是否皆高；若是，不修正該正向追蹤結果以及該逆向追蹤結果，並且判定該最終追蹤結果為可信任；以及若否，修正該正向追蹤結果以及該逆向追蹤結果至少之一者。
如申請專利範圍第10項所述的方法，其中修正該正向追蹤結果以及該逆向追蹤結果至少之一者的步驟包括：當以該正向追蹤為預設基準時：取得該影像序列中的第一逆向執行影像，其中該第一逆向執行影像為該影像序列中最後一張目標物重疊率低的影像；根據該第一逆向執行影像的該正向追蹤結果的追蹤範圍，修正該第一逆向執行影像的該逆向追蹤結果的追蹤範圍以及預測位置；以及遞迴地計算該目標物於該第一逆向執行影像之前的各其它先前影像中的該追蹤範圍以及該預測位置，以做為該目標物的修正後的逆向追蹤結果；以及當以該逆向追蹤為預設基準時：取得該影像序列中的第一正向執行影像，其中該第一正向執行影像為該影像序列中第一張目標物重疊率低的影像；根據該第一正向執行影像的該逆向追蹤結果的該追蹤範圍，修正該第一正向執行影像的該正向追蹤結果的該追蹤範圍以及該預測位置；以及遞迴地計算該目標物於該第一正向執行影像之後的各所述其它後續影像中的該追蹤範圍以及該預測位置，以做為該目標物的修正後的正向追蹤結果。
如申請專利範圍第9項所述的方法，其中當該正向追蹤的該準確度以及該逆向追蹤的該準確度僅有其中一者高時，判斷該正向追蹤結果與該逆向追蹤結果的各所述目標物重疊率，據以判定是否修正該正向追蹤結果或修正該逆向追蹤結果的步驟包括：當該正向追蹤的該準確度高時：取得該影像序列中的第一逆向執行影像，其中該第一逆向執行影像為該影像序列中最後一張目標物重疊率低的影像；根據該第一逆向執行影像的該正向追蹤結果的追蹤範圍，修正該第一逆向執行影像的該逆向追蹤結果的追蹤範圍以及預測位置；以及遞迴地計算該目標物於該第一逆向執行影像之前的各其它先前影像中的該追蹤範圍以及該預測位置，以做為該目標物的修正後的逆向追蹤結果；當該逆向追蹤的該準確度高時：取得該影像序列中的第一正向執行影像，其中該第一正向執行影像為該影像序列中第一張目標物重疊率低的影像；根據該第一正向執行影像的該逆向追蹤結果的該追蹤範圍，修正該第一正向執行影像的該正向追蹤結果的該追蹤範圍以及該預測位置；遞迴地計算該目標物於該第一正向執行影像之後的各所述其它後續影像中的該追蹤範圍以及該預測位置，以做為該目標物的修正後的正向追蹤結果。
如申請專利範圍第1項所述的方法，其中當該目標物的該最終追蹤結果為可信任時，該方法更包括：根據該最終追蹤結果，以該影像序列做為追蹤該目標物的訓練資料。
如申請專利範圍第1項所述的方法，其中當該目標物的該最終追蹤結果為可信任時，該方法更包括：根據該最終追蹤結果，針對該影像序列中的該目標物進行影像處理，以產生處理後的影像序列。
一種電腦系統，包括：顯示器，用以顯示畫面；輸入裝置，用以接收使用者的操作；運算裝置，用以：取得包括多張影像的影像序列，其中該影像序列具有目標物；透過該輸入裝置接收於起始兩張影像以及末尾兩張影像針對該目標物的標記操作，以分別產生該目標物的四個真實標記；根據所述起始兩張影像的所述真實標記，針對該影像序列進行該目標物於時序上的正向追蹤，以取得正向追蹤結果；根據所述末尾兩張影像的所述真實標記，針對該影像序列進行該目標物於時序上的逆向追蹤，以取得逆向追蹤結果；以及比對該正向追蹤結果與該逆向追蹤結果，據以產生該目標物的最終追蹤結果，其中該運算裝置根據所述末尾兩張影像的最後一張影像的該真實標記以及該正向追蹤結果，取得該正向追蹤對於該目標物的準確度，根據所述起始兩張影像的第一張影像的該真實標記以及該逆向追蹤結果，取得該逆向追蹤對於該目標物的準確度，以及根據該正向追蹤對於該目標物的該準確度以及該逆向追蹤對於該目標物的該準確度，產生該目標物的該最終追蹤結果。
如申請專利範圍第15項所述的電腦系統，其中當該正向追蹤的該準確度以及該逆向追蹤的該準確度至少有一者高時，該運算裝置判斷該正向追蹤結果與該逆向追蹤結果的各個目標物重疊率，據以判定是否修正該正向追蹤結果或修正該逆向追蹤結果，以產生該目標物的該最終追蹤結果。
如申請專利範圍第15項所述的電腦系統，其中當該目標物的該最終追蹤結果為可信任時，該運算裝置更根據該最終追蹤結果，以該影像序列做為追蹤該目標物的訓練資料。
如申請專利範圍第15項所述的電腦系統，其中當該目標物的該最終追蹤結果為可信任時，該運算裝置更根據該最終追蹤結果，針對該影像序列中的該目標物進行影像處理，以產生處理後的影像序列。