TWI553592B

TWI553592B - The method of tracking objects in the video

Info

Publication number: TWI553592B
Application number: TW105109793A
Authority: TW
Inventors: Dobromir Todorov; Chien-Hung Shih
Original assignee: Next Animation Studio Ltd
Priority date: 2016-03-29
Filing date: 2016-03-29
Publication date: 2016-10-11
Also published as: TW201734951A

Description

視訊中之物件的追踪方法

本發明是有關於一種物件追踪方法，特別是指一種視訊中之物件的追踪方法。

視訊中之物件追踪的目的在於分析出視訊中移動的物件，其有諸多應用，例如安全監控、視訊壓縮、視訊事件分析等等。

舉例來說，藉由對運動視訊中的運動員進行追踪可獲得運動員的移動軌跡，而根據運動員的移動軌跡可進一步進行事件分析；例如在足球或籃球運動中，藉由運動員的移動軌跡可分析出球隊在運動場上所排列的陣型，而在網球運動中，藉由運動員的移動軌跡可分析出運動員是在上網或是在底線對打。

鑑於視訊中之物件追踪的重要性與應用廣度，研發有效且強健(robust)的物件追踪方法一直是計算機視覺領域中一項重要的課題。

因此，本發明之目的，即在提供一種視訊中之物件的追踪方法。

於是，本發明視訊中之物件的追踪方法由一計算裝置實施。該視訊包含一第一影像及一第二影像，該第一影像包括一物件及一對應該物件的目標窗。該視訊中之物件的追踪方法包含一步驟(a)、一步驟(b)、一步驟(c)、一步驟(d)、一步驟(e)，及一步驟(f)。

該步驟(a)是該計算裝置根據該目標窗在該第一影像中的位置決定出一在該第二影像中的搜尋區域。

該步驟(b)是該計算裝置在該搜尋區域中隨機地劃定多個影像區塊。

該步驟(c)是該計算裝置從該等影像區塊中選出至少一相似於該目標窗的影像區塊，並將所選出的每一影像區塊作為一候選區塊。

該步驟(d)是該計算裝置在該第二影像中劃定一包含該至少一候選區塊的候選窗。

該步驟(e)是該計算裝置判斷是否該候選窗滿足一預定的輸出條件。

該步驟(f)是當該步驟(e)的判斷結果為肯定時，該計算裝置判定該第二影像中的該候選窗對應該物件。

該步驟(g)是當該步驟(e)的判斷結果為否定時，該計算裝置將該候選窗設定為更新後的該搜尋區域，並進行該步驟(b)、該步驟(c)、該步驟(d)，及該步驟(e)。

本發明之功效在於：能有效地對該視訊中的該物件進行追踪。

1‧‧‧視訊

11‧‧‧第一影像

12‧‧‧第二影像

2‧‧‧物件

3‧‧‧目標窗

4‧‧‧搜尋區域

41‧‧‧影像區塊

5‧‧‧候選窗

51‧‧‧候選區塊

91~97‧‧‧步驟

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一示意圖，說明一包含多個影像的視訊；圖2是一示意圖，說明該視訊的一第一影像，及該第一影像中的一物件與對應該物件的目標窗；圖3是一流程圖，說明本發明視訊中之物件的追踪方法所包含的步驟；圖4是一示意圖，說明該視訊的一第二影像，及在該第二影像中的一搜尋區域；圖5是一示意圖，說明在該搜尋區域中隨機地劃定多個影像區塊；圖6是一示意圖，說明在該搜尋區域中的一包含四個候選區塊的候選窗；圖7是一示意圖，說明該候選窗被設定為更新後的該搜尋區域，並在其中隨機地劃定多個影像區塊；及圖8是一示意圖，說明在更新後的該搜尋區域中的一包含兩個候選區塊的更新後的該候選窗。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

本發明視訊中之物件的追踪方法是藉由一例如為個人電腦、智慧型手機等的計算裝置執行一應用程式來實施的，並用於追踪該視訊中一移動的物件；該視訊例如為足球運動視訊或網球運動視訊，其中該物件為一運動員。參閱圖1與圖2，該視訊1包含大小相同且依照被擷取順序排列的第一影像11、第二影像12、第三影像、...、第N影像，N為不小於三的正整數，且在該第一影像11中存在該物件2。該第一影像11包括一對應且涵蓋該物件2的目標窗3，且較佳地，該目標窗3呈矩形；其中，該目標窗3是使用者藉由操作該計算裝置在該第一影像11中劃定的。

以下參照圖3~8來說明本發明視訊中之物件的追踪方法的步驟與實施細節。首先在步驟91，如圖4所示，該計算裝置根據該目標窗3在該第一影像11中的位置決定出在該第二影像12中的一搜尋區域4；較佳地，該搜尋區域4為以該目標窗3為中心的矩形，且該搜尋區域4的長度與寬度分別為該目標窗3的長度與寬度的倍數，其中該倍數大於一。

接著在步驟92，如圖5所示，該計算裝置在該第二影像12中的該搜尋區域4中隨機地劃定多個影像區塊41，其中每一影像區塊41呈矩形且每一影像區塊41的大小實質上等同於該目標窗3的大小。

接著在步驟93，該計算裝置從該等影像區塊41中選出至少一相似於該目標窗3的影像區塊，並將所選出的每一影像區塊作為一候選區塊。

在一實施方式中，該計算裝置針對每一影像區塊41，計算該影像區塊41與該目標窗3的一相似度，該計算裝置將具有最大該相似度的該影像區塊作為該候選區塊，且將所具有該相似度與最大該相似度的一差值的絕對值小於一第一門檻值的每一影像區塊作為該候選區塊。也就是說，除了選擇最相似於該目標窗3的影像區塊作為該候選區塊之外，還選擇其他與該最相似於該目標窗3的影像區塊相似的影像區塊作為該候選區塊。詳言之，該目標窗3與每一影像區塊41均包含多個像素，且每一像素為一RGB向量，該RGB向量包括一R值、一G值，及一B值。令p(X)表示該影像區塊41的該等像素的機率分佈，其中向量x=[x₁,x₂,x₃]^T，且x₁、x₂、x₃分別為表示該影像區塊41的像素的R值、G值、B值的隨機變數 (random variable)，且令p(Y)表示該目標窗，3的該等像素的機率分佈，其中向量Y=[y₁,y₂,y₃]^T，且y₁、y₂、y₃分別為表示該目標窗3的像素的R值、G值、B值的隨機變數。該影像區塊41與該目標窗3的相似度即是藉由計算p(X)與p(Y)的相似度來獲得，其中可利用巴式距離(Bhattacharyya distance)來計算p(X)與p(Y)的相似度，但也可不限於此。

此外，步驟93可有另一實施方式：該計算裝置針對每一影像區塊41，計算該影像區塊41與該目標窗3的該相似度，當該相似度大於一第二門檻值時選擇該影像區塊41作為該候選區塊。且若每一影像區塊41與該目標窗3的該相似度均不大於該第二門檻值，該計算裝置選擇與該目標窗3有最大該相似度的影像區塊作為該候選區塊。

接著在步驟94，如圖6所示，該計算裝置在該第二影像12中劃定一包含該至少一候選區塊51的候選窗5，其中該候選窗5為包含該至少一候選區塊51的最小矩形。舉例來說，在圖6中，該候選窗5包含了四個候選區塊51。

接著在步驟95，該計算裝置判斷是否該候選窗5滿足一預定的輸出條件。

當步驟95的判斷結果為肯定時，該計算裝置判定該第二影像12的該候選窗5對應該物件2(步驟96)，也就是在該第二影像12追踪到了該物件2；否則該計算裝置將該候選窗5設定為更新後的搜尋區域(步驟97)，並再度執行步驟92~95。

承圖6所示之例，以下以圖7與圖8來說明圖6所示的該候選窗5不滿足該輸出條件的情況。當圖6所示的該候選窗5不滿足該輸出條件時，該計算裝置將圖6所示的該候選窗5設定為圖7所示的更新後的該搜尋區域4(步驟97)，接著執行步驟92~94而獲得圖8所示的更新後的該候選窗5，接著執行步驟95來判斷是否更新後的該候選窗5對應該物件2。由圖6~圖8可看出，特別地，本發明的物件追踪方法是藉由迭代(iteration)的方式，逐漸地縮小該物件2的搜尋區域4，直到搜尋區域4滿足該輸出條件為止。在一實施方式中，該輸出條件可為：該等候選區塊51與該目標窗3的該等相似度的標準差(standard deviation)小於一第三門檻值，也就是該等候選區塊51與該目標窗3的該等相似度相當集中。或者，在另一實施方式中，該輸出條件可為：迭代次數已達一預定的次數。

此外，顯而易知地，在該第二影像12中追踪出該物件2之後，可將該第二影像12中滿足該輸出條件的該候選窗5設定為更新後的該目標窗3，並執行前述該等步驟來根據該第二影像12追踪該第三影像中的該物件2，且依此類推至該視訊1的其他影像，即可達成在該視訊1中追踪該物件2的功效。

特別地，本發明的物件追踪方法可藉由多個大小與該目標窗3實質相同的影像區塊41的組合來追踪該物件2，因此，與現有的利用單一個影像區塊來追踪物件的方法相較，本發明物件追踪方法對物件之背景(background)的改變有較高的強健性(robustness)。舉足球比賽視訊的例子來說，一般的足球比賽場地舖有綠色草皮，且劃有白色場線。若一開始該目標窗3涵蓋一運動員，且在該目標窗3中該運動員的背景僅為綠色草皮，沒有涵蓋任何的白色場線部分，當該運動員接近白色場線時，即使該單一影像區塊涵蓋了該運動員，但也因為涵蓋了白色場線而使得該運動員的背景包含了白色場線，若該單一影像區塊涵蓋了過多的白色場線，則容易使得該單一影像區塊與該目標窗3的相似度過低而無法追踪到該運動員。相對地，本發明的物件追踪方法可藉由多個影像區塊的組合來估計涵蓋該運動員的區域，相較於僅利用單一個影像區塊來說較具有彈性(flexibility)，因此當該運動員的背景改變時，也比較能追踪到該運動員，較不受背景改變的影響。

此外，由上述的說明可知，本發明視訊中之物件的追踪方法可用於同時對視訊中的多個物件來進行追踪，只需同時對個別的物件進行上述該等步驟即可；如此，如在先前技術中所言，可藉由本發明視訊中之物件的追踪方法來追踪運動場上的各個運動員的移動軌跡，例如在一對應該運動場之視訊的二維顯示畫面上顯示各個運動員的移動軌跡，以讓使用者能方便地從該二維顯示畫面中觀察出該運動場上的比賽狀況。

踪上所述，本發明視訊中之物件的追踪方法，在給定該第一影像的該目標窗之後，藉由迭代地決定出在該第二影像中的該搜尋區域，並在該搜尋區域中隨機地劃定多個影像區塊，且從該等影像區塊中選出該至少一候選區塊，並在該第二影像中劃定包含該至少一候選區塊的該候選窗，且在該候選窗不滿足該輸出條件時，將該候選窗設定為更新後的該搜尋區域以縮小該物件的搜尋範圍，直到搜尋區域滿足該輸出條件為止，能有效地在該第二影像追踪出該物件，並對該物件之背景的改變有較高的強健性，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

91~97‧‧‧步驟

Claims

一種視訊中之物件的追踪方法，由一計算裝置實施，該視訊包含一第一影像及一第二影像，該第一影像包括一物件及一對應該物件的目標窗，該視訊中之物件的追踪方法包含下列步驟：(a)該計算裝置根據該目標窗在該第一影像中的位置決定出一在該第二影像中的搜尋區域；(b)該計算裝置在該搜尋區域中隨機地劃定多個影像區塊；(c)該計算裝置從該等影像區塊中選出至少一相似於該目標窗的影像區塊，並將所選出的每一影像區塊作為一候選區塊；(d)該計算裝置在該第二影像中劃定一包含該至少一候選區塊的候選窗；(e)該計算裝置判斷是否該候選窗滿足一預定的輸出條件；(f)當該步驟(e)的判斷結果為肯定時，該計算裝置判定該第二影像中的該候選窗對應該物件；及(g)當該步驟(e)的判斷結果為否定時，該計算裝置將該候選窗設定為更新後的該搜尋區域，並進行該步驟(b)、該步驟(c)、該步驟(d)，及該步驟(e)。
如請求項1所述的視訊中之物件的追踪方法，其中在該步驟(c)，該計算裝置針對每一影像區塊，計算該影像區塊與該目標窗的一相似度，該計算裝置將具有最大該相似度的該影像區塊作為該候選區塊，且將所具有該相似度與最大該相似度的一差值的絕對值小於一第一門檻值的每一影像區塊作為該候選區塊。
如請求項2所述的視訊中之物件的追踪方法，該目標窗包含多個像素，其中在該步驟(b)，每一影像區塊包含多個像素，且在該步驟(c)，該相似度為該影像區塊的該等像素的機率分佈與該目標窗的該等像素的機率分佈的相似度。
如請求項3所述的視訊中之物件的追踪方法，其中在該步驟(c)，該影像區塊與該目標窗的每一像素為一RGB向量，該影像區塊的該等像素的機率分佈為該影像區塊的該等RGB向量的機率分佈，且該目標窗的該等像素的機率分佈為該目標窗的該等RGB向量的機率分佈。
如請求項4所述的視訊中之物件的追踪方法，其中在該步驟(e)，該輸出條件為：所有候選區塊與該目標窗的該等相似度的標準差小於一第二門檻值。
如請求項1所述的視訊中之物件的追踪方法，其中在該步驟(b)，每一影像區塊的大小實質上等同於該目標窗的大小。
如請求項6所述的視訊中之物件的追踪方法，該目標窗呈矩形，其中在該步驟(b)，每一影像區塊呈矩形，且在該步驟(d)，該候選窗為包含該至少一候選區塊的最小矩形。
如請求項7所述的視訊中之物件的追踪方法，該第一影像的大小相同於該第二影像，其中在該步驟(a)，該搜尋區域為以該目標窗為中心的一矩形，且該搜尋區域的長度與寬度分別為該目標窗的長度與寬度的倍數，其中該倍數大於一。
如請求項1所述的視訊中之物件的追踪方法，其中在該步驟(c)，該計算裝置針對每一影像區塊，計算該影像區塊與該目標窗的一相似度，當該相似度大於一第三門檻值時，該計算裝置將該影像區塊作為該候選區塊，且若每一影像區塊與該目標窗的該相似度均不大於該第三門檻值，該計算裝置選擇與該目標窗有最大該相似度的影像區塊作為該候選區塊。