TWI520078B - Optical flow tracking method and device - Google Patents

Description

光流追蹤方法和裝置

本發明涉及資訊技術領域，尤其涉及一種光流追蹤方法和裝置。

在視頻監控領域，一般通過目標檢測與追蹤技術來檢測和追蹤人臉、行人或車輛的運動，在視訊壓縮、機器人導航領域，也需要對目標的運動資訊進行分析。因此運動分析的應用場景豐富且具有重要價值。運動分析是為了得到物體位置偏移，從而追蹤到物體。目前常使用光流法來進行運動分析，通過光流計算可以確定影像點上的運動方向和運動速率。它要求在相鄰影像之間的時間間隔非常小，並且在兩幅相鄰影像之間不發生顯著的變化。

現有技術中，使用光流法追蹤目標，首先要在影像上待追蹤的物體上確定特徵點，然後使用金字塔光流演算法逐個追蹤各特徵點，再使用一定的準則排除追蹤錯誤的特徵點，統計剩餘特徵點的位置偏移量資訊，並對位置偏移量進行計算得到待追蹤物體的目標位置。

然而，由於不同的追蹤點很容易具有多義性，從而出現追蹤錯誤，從而導致追蹤精度不夠高。

本發明提供一種光流追蹤方法和裝置，用以在不增加運算複雜度的情況下，提高目標追蹤的精度和即時性。

第一方面，本發明實施例提供一種光流追蹤方法，包括：根據影像上的待追蹤物體生成隨機結構，所述隨機結構包括相對位置固定的至少兩個結構塊，各所述結構塊中包含所述待追蹤物體的至少一個特徵點；採用光流追蹤演算法對所述隨機結構中所有結構塊進行追蹤，以得到所述隨機結構的位置偏移量；根據所述隨機結構的位置偏移量，估計所述待追蹤物體的目標位置。

在第一方面的第一種可能的實現方式中，所述根據影像上的待追蹤物體生成隨機結構，具體包括：根據所述待追蹤物體在所述影像中的起始位置和大小，生成所述待追蹤物體所在的所述影像的梯度圖像；掃描所述梯度圖像得到所述梯度圖像的梯度長條圖，根據所述梯度長條圖，確定平均梯度大於第一設定值的特徵點；確定所述隨機結構包括的所述結構塊的數目，在平均梯度大於第一設定值的特徵點中選擇至少一個特徵點；根據所選擇的特徵點在所述影像中的位置，所述結構塊的數目，設定結構塊之間的距離範圍，確定所述隨機結構中所有結構塊對應的特徵點；根據所述隨機結構中所有結構塊對應的特徵點生成所述隨機結構。

根據第一方面的第一種可能的實現方式，在第二種可能的實現方式中，所述採用光流追蹤演算法對所述隨機結構中所有結構塊進行追蹤，以得到所述隨機結構的位置偏移量，具體包括：採用光流追蹤演算法 ，確定所述隨機結構 中所有結構塊的位移殘差之和，所述隨機結構中所有結構塊的位移殘差之和作為所述隨機結構的位置偏移量； 其中：ε(d)為所述隨機結構中所有結構塊的位移殘差之和，d為所述結構塊的位移，d _x 為所述結構塊在x方向的位移，d _y 為所述結構塊在y方向的位移，dx為所述隨機結構中包括的特徵點在x方向的位移，dy為所述隨機結構中包括的特徵點在y方向的位移，x為所述隨機結構中包括的特徵點在所述影像中的起始位置的橫坐標，y為所述隨機結構中包括的特徵點在所述影像中的起始位置的縱坐標，I _n (x,y)為所述隨機結構中包括的特徵點在所述影像中的起始位置；J _n (x+dx,y+dy)為所述隨機結構中包括的特徵點在所述影像中的目標位置，p _x 為所述隨機結構中所述結構塊的中點的橫坐標，p _y 為所述隨機結構中所述結構塊的中點的縱坐標，w _x 為所述結構塊的橫坐標中點距所述結構塊邊緣距離的點數，w _y 為所述結構塊的縱坐標中點距所述結構塊邊緣距離的點數，N為所述隨機結構中所述結構塊的數目。

根據第一方面、第一方面的第一種和第二種可能的實現方式的任意一種，在第三種可能的實現方式中，所述根據影像上的待追蹤物體生成隨機結構之後，還包括：濾除所述隨機結構中所有結構塊中包括的誤差超過第二設定值的第一誤差特徵點，得到一次濾除誤差後的隨機結構；所述採用光流追蹤演算法對所述隨機結構中所有結構塊進行追蹤，具體包括：所述採用光流追蹤演算法對一次濾除誤差後的隨機結構中所有結構塊進行追蹤。

根據第一方面的第三種可能的實現方式，在第四種可能的實現方式中，所述濾除所述隨機結構中所有結構塊中包括的誤差超過第二設定值的第一誤差特徵點，得到一次濾除誤差後的隨 機結構之後，還包括：採用歸一化相關係數NCC方法，在所述一次濾除誤差後的隨機結構中所有結構塊中包括的特徵點中濾除第二誤差特徵點，得到二次濾除誤差後的隨機結構；

所述採用光流追蹤演算法對所述隨機結構中所有結構塊進行追蹤，具體包括：所述採用光流追蹤演算法對所述二次濾除誤差後的隨機結構中所有結構塊進行追蹤。

根據第一方面的第四種可能的實現方式，在第五種可能的實現方式中，所述根據所述隨機結構的位置偏移量，估計所述待追蹤物體的目標位置，具體包括：將所述隨機結構的位置偏移量的平均值或中間值，確定為所述待追蹤物體的位置偏移量；將所述待追蹤物體的位置偏移量與所述待追蹤物體的起始位置相加，得到所述待追蹤物體的目標位置。

第二方面，本發明實施例提供一種光流追蹤裝置，包括：隨機結構生成模組，用於根據影像上的待追蹤物體生成隨機結構，所述隨機結構包括相對位置固定的至少兩個結構塊，各所述結構塊中包含所述待追蹤物體的至少一個特徵點；光流追蹤模組，用於採用光流追蹤演算法對所述隨機結構中所有結構塊進行追蹤，以得到所述隨機結構的位置偏移量；位置估計模組，用於根據所述隨機結構的位置偏移量，估計所述待追蹤物體的目標位置。

在第二方面的第一種可能的實現方式中，所述隨機結構生成模組具體用於：根據所述待追蹤物體在所述影像中的起始位置和大小，生成所述待追蹤物體所在的所述影像的梯度圖像；掃描所述梯度圖像得到所述梯度圖像的梯度長條圖，根據所述梯度 長條圖，確定平均梯度大於第一設定值的特徵點；確定所述隨機結構包括的所述結構塊的數目，在平均梯度大於第一設定值的特徵點中選擇至少一個特徵點；根據所選擇的特徵點在所述影像中的位置，所述結構塊的數目，設定結構塊之間的距離範圍，確定所述隨機結構中所有結構塊對應的特徵點；根據所述隨機結構中所有結構塊對應的特徵點生成所述隨機結構。

根據第二方面的第一種可能的實現方式，在第二種可能的實現方式中，所述光流追蹤模組具體用於：採用光流追蹤演算法 ，確定所述隨機結構 中所有結構塊的位移殘差之和，所述隨機結構中所有結構塊的位移殘差之和作為所述隨機結構的位置偏移量； 其中：ε(d)為所述隨機結構中所有結構塊的位移殘差之和，d為所述結構塊的位移，d _x 為所述結構塊在x方向的位移，d _y 為所述結構塊在y方向的位移，dx為所述隨機結構中包括的特徵點在x方向的位移，dy為所述隨機結構中包括的特徵點在y方向的位移，x為所述隨機結構中包括的特徵點在所述影像中的起始位置的橫坐標，y為所述隨機結構中包括的特徵點在所述影像中的起始位置的縱坐標，I _n (x,y)為所述隨機結構中包括的特徵點在所述影像中的起始位置；J _n (x+dx,y+dy)為所述隨機結構中包括的特徵點在所述影像中的目標位置，p _x 為所述隨機結構中所述結構塊的中點的橫坐標，p _y 為所述隨機結構中所述結構塊的中點的縱坐標，w _x 為所述結構塊的橫坐標中點距所述結構塊邊緣距離的點數，w _y 為所述結構塊的縱坐標中點距所述結構塊邊緣距離的點數，N為所述隨機結構中所述結構塊的數目。

根據第二方面、第二方面的第一種和第二種可能的實現方式的任意一種，在第三種可能的實現方式中，所述裝置還包括：誤差濾除模組，用於濾除所述隨機結構中所有結構塊中包括的誤差超過第二設定值的第一誤差特徵點，得到一次濾除誤差後的隨機結構；所述光流追蹤模組具體用於：採用光流追蹤演算法對所述一次濾除誤差後的隨機結構中所有結構塊進行追蹤。

根據第二方面的第三種可能的實現方式，在第四種可能的實現方式中，所述誤差濾除模組還用於：採用歸一化相關系統NCC方法，在所述一次濾除誤差後的隨機結構中所有結構塊中包括的特徵點中濾除第二誤差特徵點，得到二次濾除誤差後的隨機結構；所述光流追蹤模組具體用於：採用光流追蹤演算法對二次濾除誤差後的隨機結構中所有結構塊進行追蹤。

根據第二方面的第四種可能的實現方式，在第五種可能的實現方式中，所述位置估計模組具體用於：將所述隨機結構的位置偏移量的平均值或中間值，確定為所述待追蹤物體的位置偏移量；將所述待追蹤物體的位置偏移量與所述待追蹤物體的起始位置相加，得到所述待追蹤物體的目標位置。

本發明實施例提供的光流追蹤方法和裝置，通過獲取影像上待追蹤物體的特徵點，並將各特徵點生成隨機結構，對各隨機結構進行追蹤獲得隨機結構的位置偏移，從而估計待追蹤物體的位置，相比於現有技術中逐個追蹤特徵點的方式，本發明實施例的追蹤方法通過結構約束，減少了追蹤錯誤，有效提高了追蹤精度。

401‧‧‧隨機結構生成模組

402‧‧‧光流追蹤模組

403‧‧‧位置估計模組

404‧‧‧誤差濾除模組

601‧‧‧記憶體

602‧‧‧處理器

101~103‧‧‧流程

201~208‧‧‧流程

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖做一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對於所屬技術領域具有通常知識者來講，在不付出進步性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

第1圖為本發明實施例一提供的光流追蹤方法的流程圖；第2圖為本發明實施例二提供的光流追蹤方法的流程圖；第3圖為本發明實施例二生成的可能的隨機結構示意圖；第4圖為本發明實施例三提供的光流追蹤裝置的結構示意圖；第5圖為本發明實施例四提供的光流追蹤裝置的結構示意圖；第6圖為本發明實施例五提供的光流追蹤裝置的結構示意圖。

為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，所屬技術領域具有通常知識者在沒有做出進步性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

第1圖為本發明實施例一提供的光流追蹤方法的流程圖。本實施例的方法適用於視頻監控領域、機器人導航等各個涉及到影像中物體追蹤的領域。以下步驟的執行主體可以為具備影像處理功能的設備，例如：電腦，PAD，手機等。如第1圖所示，本實施例的方法可以包括如下步驟： 101：根據影像上的待追蹤物體生成隨機結構，所述隨機結構包括相對位置固定的至少兩個結構塊，各所述結構塊中包含待追蹤物體的至少一個特徵點。

其中，各影像都可以劃分為複數個局部區域區塊，特徵點則是對影像的各局部區域區塊的描述，具體包括局部區域區塊的位置描述與局部區域區塊的特定特徵的描述。位置描述可以用局部區域中各特徵點的座標表示，局部區域區塊的特定特徵的描述可以包括影像局部區域區塊的顏色特徵、紋理特徵、空間關係特徵等特徵中的一種或多種，本發明在此不作特別限制。各隨機結構中可以包括至少兩個結構塊，且各結構塊中包含至少一個待追蹤物體的特徵點。其中，各隨機結構中的結構塊的選擇是隨機的，可以在某一個具體的距離範圍內，選擇某幾個結構塊作為一個隨機結構，隨機結構的形狀也是隨意的，並無特定的要求。各結構塊所包含的特徵點並不限於一個，也可以包括相距較近的某幾個特徵點。

102：採用光流追蹤演算法對所述隨機結構中所有結構塊進行追蹤，以得到所述隨機結構的位置偏移量。

在本步驟中，對隨機結構中所有結構塊進行光流追蹤具體可以為，將每一個隨機結構作為一個整體，利用光流追蹤法，對隨機結構中的複數個結構塊同時進行追蹤，以此來獲得各隨機結構的位置偏移量。複數個結構塊的同時追蹤，可有效避免單個特徵點追蹤時出現的多義性，減少追蹤錯誤。

具體地，在進行光流追蹤時，可以使用金字塔光流追蹤演算法，從影像最高層開始，對每一層進行反覆運算計算，獲得 最終的位置偏移量。其中，金字塔光流追蹤演算法的基本思想如下：首先構造影像金字塔；然後，令位置偏移量的初始值為零，並從金字塔的最高層開始對位置偏移量進行估計，一致反覆運算到最底層，最終的反覆運算結果即為隨機結構的位置偏移量。

具體的影像的金字塔構造過程如下：原圖形作為金字塔的底層，可記為F=0，將原始影像減採樣至原尺寸的1/2^2N獲得F=1層影像，其中，N一般取值為1，若過大則會導致影像資訊的嚴重丟失。由此，該F=1層相鄰幀間的目標圖元運動距離變為D/2^N，其中，D為原圖中相鄰幀間的目標圖元運動的距離，亦即特徵點的位移。按照此規則，當F達到一定的值，一般為3 F 5時，最高層相鄰幀間的目標運動尺度變為亞圖元級。由此可以滿足光流追蹤演算法在應用時需要的小運動的約束條件，進行精確的光流估計。

103：根據隨機結構的位置偏移量，估計待追蹤物體的目標位置。

需要說明的是，本發明中涉及的待追蹤物體在影像中的起始位置是指，在進行影像追蹤之前，即待追蹤物體在影像中的位置未變化之前待追蹤物體在影像中所在的位置，目標位置是指影像追蹤之後，即待追蹤物體在影像中的位置變化之後待追蹤物體在影像中所在的位置。目標位置和起始位置之間的差值即為位置偏移量，也就是說，待追蹤物體在影像追蹤過程中所產生的位移即為位置偏移量。一般來說，在影像追蹤可以以幀為單位，即可以對後一幀影像中待追蹤物體相對前一幀影像待追蹤物體的位置變化進行追蹤，在本發明實施例中，起始位置、目標位置均可以用座標值表示，也可用向量、向量等其它表示方式，本發明 不做特別限定。

根據所獲得的各個隨機結構的位置偏移量，進行相關的計算，如求所有位置偏移量的平均值或取所有隨機結構的位置偏移量的中值，得到追蹤目標物體的位置偏移量。然後，可以將該位置偏移量與所追蹤物體在原始影像中的位置相加，得到所追蹤物體的目標位置。

本發明實施例提供的光流追蹤方法，通過獲取影像上待追蹤物體的特徵點，並將各特徵點生成隨機結構，對各隨機結構進行追蹤獲得隨機結構的位置偏移，從而估計待追蹤物體的位置，相比於現有技術中逐一追蹤特徵點的方式，本發明實施例的追蹤方法通過結構約束，減少了追蹤錯誤，有效提高了追蹤精度。

第2圖為本發明實施例二提供的光流追蹤方法的流程圖。本實施例的方法適用於視頻監控領域、機器人導航等各個涉及到影像中物體追蹤的領域。結合第1圖和第2圖所示，在上述實施例一的基礎上，在本發明實施例提供了光流追蹤方法的具體過程： 201：根據待追蹤物體在影像中的起始位置和大小，生成待追蹤物體所在影像的梯度圖像。

具體地，在視頻監控等領域，要對目標物體進行追蹤的時候，首先需要獲得待追蹤物體在影像中的起始位置和大小，以使得在追蹤的時候能盡可能正確地追蹤到目標物體，減少錯誤追蹤。在獲得待追蹤物體在影像中的起始位置和大小後，可以對影像進行一些計算，生成待追蹤物體所在影像的梯度圖像。其中，梯度值是指影像灰度值的顯著變化的地方，若把影像看成二維離 散函數，則圖像梯度就是對這個二維離散函數的求導。因此，梯度圖像指的是就是對影像求梯度值後得到的影像。梯度圖像能夠很好地反映影像中物體的特徵。具體在生成梯度圖像的時候，可以直接對影像進行二維函數的求導，或者採用線性濾波方法中的幾種經典的估計方法，如Sobel運算元、Prewitt運算元、Roberts運算元等方法。以Sobel運算元為例，它是提供了兩組3*3矩陣，分別計算水準梯度圖像和豎直梯度圖像，並將得到的水準梯度圖像和豎直梯度圖像進行卷積，進而獲得梯度圖像的。

在生成的待追蹤物體所在影像的梯度圖像後，可選擇在梯度圖像中待追蹤物體區域中梯度幅值大於一定設定值的點作為待追蹤物體的特徵點，且這些特徵點能夠很好地體現待追蹤物體的特徵。具體可以通過對影像生成梯度圖像，並掃描獲得目的地區域梯度幅值大的點集，將這些點集作為特徵點；或者也可以利用一些傳統的特徵提取演算法，如Sobel運算元、Roberts運算元等來對影像進行邊緣檢測，將所檢測到的邊緣特徵點作為待追蹤物體的特徵點。其中，該設定值可以根據具體的梯度圖像來設定，不同的梯度圖像可能會有不同的設定值，而設定值大小設定的依據則是大於設定值的點能夠較好地反映待追蹤物體的特徵。具體的設定，可以的根據先驗知識獲得，或者也可以在梯度值的可能的範圍內預估一個值，如可以選擇所有梯度值的中間值以作為設定值。

202：掃描梯度圖像得到梯度圖像的梯度長條圖，根據梯度長條圖，確定平均梯度大於第一設定值的特徵點。

具體地，對生成的梯度圖像可以進行掃描，比如可以採用3*3模版等掃描梯度圖像，得到該影像的梯度長條圖，並確定 記錄該梯度長條圖中平均梯度大於第一設定值的待追蹤物體的特徵點。其中，3*3範本為一預處理範本，該範本可以用於計算影像中各個局部區域的最大梯度或者平均梯度，從而統計出梯度圖像中各圖元的梯度長條圖。平均梯度指影像的邊界或影線兩側附近灰度差異的大小，即灰度變化率的大小，平均梯度又稱為清晰度，它可以描述影像的清晰程度，反映影像中微小細節反差程度和紋理變化特徵，一般平均梯度值越大，表明影像越清晰。例如，平均梯度可以指，某一個圖元點與其相鄰圖元點之間梯度的平均值，如水準梯度中，某一圖元與其左側圖元的梯度和該圖元與其右側圖元的梯度的平均值。需要說明的是，第一設定值低於上述確定待追蹤物體特徵點中涉及的設定值，即提取到的所有的待追蹤影像的特徵點的位置都是確定被記錄的，所有的梯度長條圖中平均梯度大於第一設定值的位置會被記錄，並保存在梯度陣列中。

203：選擇隨機結構包括的結構塊的數目，在平均梯度大於第一設定值的特徵點中選擇至少一個特徵點。

可以在特徵點中提取隨機結構，使得後續的追蹤可以以隨機結構為單位來進行追蹤，減小對單個特徵點進行追蹤時出現的多義性。具體地，結構塊的數目可以隨機選擇。結構塊之間的距離，以及各結構塊的大小的範圍可以根據具體需求預先設定，如可以限制隨機結構中各結構塊的大小為範圍[3*3,12*12]，結構塊的數目範圍為(1,4)，結構塊之間的距離範圍為(1，target size)等，並在平均梯度大於第一設定值的特徵點中選擇任意至少一個特徵點。一般情況下，可以在平均梯度大於第一設定值的特徵點中選擇一個特徵點。

204：根據所選擇的特徵點在影像中的位置，結構塊的數目，設定結構塊之間的距離範圍，確定隨機結構中所有結構塊對應的特徵點。

具體地，根據所選擇的結構塊的數目、結構塊之間的距離範圍和相關位置等，確定隨機結構中所有結構塊對應的特徵點，並到梯度陣列中查找到這些特徵點所對應的位置。

205：根據隨機結構中所有結構塊對應的特徵點生成隨機結構。

具體地，根據上述步驟中所獲得的結構塊對應的特徵點生成隨機結構，以各個隨機結構為單元，可以實現對目標物體的追蹤。第3圖為本發明實施例二生成的可能的隨機結構示意圖。如第3圖可示，本實施例生成的隨機結構，結構塊的大小、結構塊的數目以及各結構塊之間的距離並沒有一定的限制，只要符合預先設置的範圍就可以。

進一步地，具體的：206：採用光流追蹤演算法

確定所述隨機結構中所有結構塊的位移殘差之和，所述隨機結構中所有結構塊的位移殘差之和作為所述隨機結構的位置偏移量。

其中：ε(d)為所述隨機結構中所有結構塊的位移殘差之和，d為結構塊的位移，d _x 為結構塊在x方向的位移，d _y 為結構塊在y方向的位移，dx為隨機結構中包括的特徵點在x方向的位移， dy為隨機結構中包括的特徵點在y方向的位移，x為所述隨機結構中包括的特徵點在所述影像中的起始位置的橫坐標，y為所述隨機結構中包括的特徵點在所述影像中的起始位置的縱坐標，I _n (x,y)為所述隨機結構中包括的特徵點在所述影像中的起始位置；J _n (x+dx,y+dy)為所述隨機結構中包括的特徵點在所述影像中的目標位置，p _x 為隨機結構中結構塊的中點的橫坐標，p _y 為隨機結構中結構塊的中點的縱坐標，w _x 為結構塊的橫坐標中點距結構塊邊緣距離的點數，w _y 為結構塊的縱坐標中點距結構塊邊緣距離的點數，N為隨機結構中結構塊的數目。

具體地，在對步驟206中所獲取到的隨機結構進行追蹤，是以隨機結構為單位，分別對每一個隨機結構進行金字塔光流追蹤。具體地，使用金字塔光流追蹤演算法對每一個隨機結構進行追蹤時，可以依據公式(1)，來對金字塔的每一層來從最高層向最底層來反覆運算，最終獲得各隨機結構的位移。在具體在計算中，需要使得ε(d)最小，即就要求得最小的d。設d=，然後，可以令公式(1)為零，即

然後求使得該公式(2)成立的位移的值。具體地，對該公式(2)求導數，可得到：

其中，G和b分別為

I _nx 和I _ny 分別為第n個結構塊中某個特徵點的x方向梯度和y方向梯度，δI _n 代表結構塊中的某個特徵點在原始影像和待追蹤影像中 的位移，p _x 為隨機結構中結構塊的中點的橫坐標，p _y 為隨機結構中結構塊的中點的縱坐標，w _x 為結構塊的橫坐標中點距結構塊邊緣距離的點數，w _y 為結構塊的縱坐標中點距結構塊邊緣距離的點數，N為隨機結構中結構塊的數目，且δI _n =I _n (x,y)-J _n (x+dx,y+dy)。

進一步計算，得求得：

上述的實施例中，通過根據待追蹤物體生成各種隨機結構，利用金字塔光流追蹤演算法，以各隨機結構為單位，對待追蹤物體進行追蹤，避免了追蹤過程中的多義性，有效提高了追蹤的精度。

需要說明的是，在上述實施例的基礎上，S205之後還可以執行以下操作：濾除隨機結構中所有結構塊中包括的誤差超過第二設定值的第一誤差特徵點，得到一次濾除誤差後的隨機結構。相應的，S206中可以採用光流追蹤演算法對一次濾除誤差後的隨機結構中所有結構塊進行追蹤。

較佳的，根據S206中的描述可以看出，由於在使用金字塔光流追蹤演算法對隨機結構進行追蹤涉及反覆運算過程，因此，可以在反覆運算過程中所出現的誤差進行統計。當某一個隨機結構塊在追蹤過程中出現的誤差大於第二設定值時，則認為該隨機結構塊出現了追蹤錯誤。此時，可以對這個隨機結構中所包括的特徵點進行標記，並不再對包括這些特徵點的隨機結構進行追蹤。在進行金字塔光流追蹤的過程中，不斷對誤差大於第二設定值的隨機結構進行濾除，得到一次濾除誤差後的隨機結構。其中，第二設定值為針對隨機結構追蹤過程中出現的追蹤錯誤所設定的誤差值，可以為針對反覆運算中的收斂狀況設定的值，如為 當反覆運算到一定次數後，位移值收斂的數值大於某一個特定的值，則認為出現了追蹤錯誤。此時，該特定的值即為第二設定值。

進一步地，在得到一次濾除誤差後的隨機結構的基礎上，還可以執行以下操作：採用歸一化相關係數NCC方法，在一次濾除誤差後的隨機結構中所有結構塊中包括的特徵點中濾除第二誤差特徵點，得到二次濾除誤差後的隨機結構。相應的，在S206中可以採用光流追蹤演算法對二次濾除誤差後的隨機結構中所有結構塊進行追蹤。

較佳的，在金字塔光流追蹤演算法計算結束後，可以採用歸一化相關係數(Normalized Correlation Coefficient，簡稱NCC)或其他的錯誤衡量方法，來對獲取到的一次濾除誤差後的隨機結構中所有結構塊中包括的特徵點中存在的較大誤差的特徵點進行濾除，如可以根據特徵點的顏色、亮度等特徵來確定錯誤的追蹤點並進行濾除，也即濾除第二誤差特徵點，來得到二次濾除誤差後的隨機結構。其中，NCC方法具體可以是分別對每組結構塊計算NCC相關係數，即面積歸一化後的誤差係數。計算得到所有的NCC相關係數後，基於統計分析，例如求平均值的方法，濾除誤差大於平均值一個NCC係數對應的結構塊。

207：將隨機結構的位置偏移量的平均值或中間值，確定為所述待追蹤物體的位置偏移量。

208：將所述待追蹤物體的位置偏移量與所述待追蹤物體的起始位置相加，得到所述待追蹤物體的目標位置。

具體地，可將隨機結構的位置偏移量進行整合計算，例如可求取這些位置偏移量的平均值或中間值等，並將該平均值或 中間值等作為待追蹤物體的位置偏移量。

進一步地，在獲得該待追蹤物體的位移後，還可以將待追蹤物體的位置偏移量與待追蹤物體的的起始位置相加，確定為待追蹤物體的目標位置。需要說明的是，這裡的偏移位置量與起始位置均可以用向量或座標表示，兩者的加法運算並不是通常意義上的數位相加，而是向量運算。

本發明實施例提供的光流追蹤方法，通過獲取影像上待追蹤物體的特徵點，並將各特徵點生成隨機結構，對各隨機結構進行追蹤獲得隨機結構的位置偏移，從而估計待追蹤物體的位置，將所述待追蹤物體的位置偏移量與所述待追蹤物體的起始位置相加，得到所述待追蹤物體的目標位置。減少了追蹤錯誤，有效提高了追蹤精度。

第4圖為本發明實施例三提供的光流追蹤裝置的結構示意圖。如第4圖所示，本發明實施例的光流追蹤裝置包括：

隨機結構生成模組401，用於根據影像上的待追蹤物體生成隨機結構，隨機結構包括相對位置固定的至少兩個結構塊，各結構塊中包含待追蹤物體的至少一個特徵點；

光流追蹤模組402，用於採用光流追蹤演算法對隨機結構中所有結構塊進行追蹤，以得到隨機結構的位置偏移量；

位置估計模組403，用於根據隨機結構的位置偏移量，估計待追蹤物體的目標位置。

較佳的，隨機結構生成模組401可以具體用於：根據待追蹤物體在影像中的起始位置和大小，生成待追蹤物體所在的影 像的梯度圖像；掃描梯度圖像得到梯度圖像的梯度長條圖，根據梯度長條圖，確定平均梯度大於第一設定值的特徵點；確定隨機結構包括的結構塊的數目，在平均梯度大於第一設定值的特徵點中選擇至少一個特徵點；根據所選擇的特徵點在影像中的位置，結構塊的數目，設定結構塊之間的距離範圍，確定隨機結構中所有結構塊對應的特徵點；根據隨機結構中所有結構塊對應的特徵點生成隨機結構。

較佳的，光流追蹤模組402可以具體用於：採用光流追蹤演算法 ，確定隨機結構中所 有結構塊的位移殘差之和，隨機結構中所有結構塊的位移殘差之和作為隨機結構的位置偏移量；

其中：ε(d)為隨機結構中所有結構塊的位移殘差之和，d為結構塊的位移，d _x 為結構塊在x方向的位移，d _y 為結構塊在y方向的位移，dx為隨機結構中包括的特徵點在x方向的位移，dy為隨機結構中包括的特徵點在y方向的位移，x為隨機結構中包括的特徵點在影像中的起始位置的橫坐標，y為隨機結構中包括的特徵點在影像中的起始位置的縱坐標，I _n (x,y)為隨機結構中包括的特徵點在影像中的起始位置；J _n (x+dx,y+dy)為隨機結構中包括的特徵點在影像中的目標位置，p _x 為隨機結構中結構塊的中點的橫坐標，p _y 為隨機結構中結構塊的中點的縱坐標，w _x 為結構塊的橫坐標中點距結構塊邊緣距離的點數，w _y 為結構塊的縱坐標中點距結構塊邊緣距離的點數，N為隨機結構中結構塊的數目。

第5圖為本發明實施例四提供的光流追蹤裝置的結構示意圖，在第4圖所示實施例的基礎上，較佳的，該裝置還可以包 括：誤差濾除模組404，用於濾除隨機結構中所有結構塊中包括的誤差超過第二設定值的第一誤差特徵點，得到一次濾除誤差後的隨機結構；相應的，光流追蹤模組402可以具體用於：採用光流追蹤演算法對所述一次濾除誤差後的隨機結構中所有結構塊進行追蹤。

較佳的，誤差濾除模組404還可以用於：採用歸一化相關系統NCC方法，在一次濾除誤差後的隨機結構中所有結構塊中包括的特徵點中濾除第二誤差特徵點，得到二次濾除誤差後的隨機結構；相應的，光流追蹤模組402可以具體用於：採用光流追蹤演算法對二次濾除誤差後的隨機結構中所有結構塊進行追蹤。

較佳的，位置估計模組403可以具體用於：將隨機結構的位置偏移量的平均值或中間值，確定為待追蹤物體的位置偏移量；將待追蹤物體的位置偏移量與待追蹤物體的起始位置相加，得到待追蹤物體的目標位置。需要說明的是，這裡的偏移位置量與起始位置均可以用向量或座標表示，兩者的加法運算並不是通常意義上的數位相加，而是向量運算。

本實施例的光流追蹤裝置，可以用於執行上述任一方法實施例的技術方案，其包含的功能模組的具體實現原理可參照前述方法實施例，此處不再贅述。

本發明實施例提供的光流追蹤裝置，通過獲取影像上待追蹤物體的特徵點，並將各特徵點生成隨機結構，對各隨機結構進行追蹤獲得隨機結構的位置偏移，從而估計待追蹤物體的位置，相比於現有技術中逐個追蹤特徵點的方式，本發明實施例的追蹤方法通過結構約束，減少了追蹤錯誤，有效提高了追蹤精度。

第6圖為本發明實施例五提供的光流追蹤裝置的結構示意圖，如第6圖所示，該光流追蹤裝置可以包括：記憶體601以及與記憶體601通信的處理器602，其中，記憶體601中存儲一組程式碼，且處理器602用於調用記憶體中存儲的程式碼，執行如下方法：根據影像上的待追蹤物體生成隨機結構，隨機結構包括相對位置固定的至少兩個結構塊，各結構塊中包含待追蹤物體的至少一個特徵點；採用光流追蹤演算法對隨機結構中所有結構塊進行追蹤，以得到隨機結構的位置偏移量；根據隨機結構的位置偏移量，估計待追蹤物體的目標位置。

較佳的，處理器602執行根據影像上的待追蹤物體生成隨機結構，可以具體為：根據待追蹤物體在影像中的起始位置和大小，生成待追蹤物體所在的影像的梯度圖像；掃描梯度圖像得到梯度圖像的梯度長條圖，根據梯度長條圖，確定平均梯度大於第一設定值的特徵點；確定隨機結構包括的結構塊的數目，在平均梯度大於第一設定值的特徵點中選擇至少一個特徵點；根據所選擇的特徵點在影像中的位置，所選擇的結構塊的數目，設定結構塊之間的距離範圍，確定隨機結構中所有結構塊對應的特徵點；根據隨機結構中所有結構塊對應的特徵點生成隨機結構。

較佳的，處理器602執行採用光流追蹤演算法對隨機結構中所有結構塊進行追蹤，以得到隨機結構的位置偏移量，可以具體為：採用光流追蹤演算法 ，確定隨機結構中所 有結構塊的位移殘差之和，隨機結構中所有結構塊的位移殘差之和作為隨機結構的位置偏移量； 其中：ε(d)為隨機結構中所有結構塊的位移殘差之和，d 為結構塊的位移，d _x 為結構塊在x方向的位移，d _y 為結構塊在y方向的位移，dx為隨機結構中包括的特徵點在x方向的位移，dy為隨機結構中包括的特徵點在y方向的位移，x為隨機結構中包括的特徵點在影像中的起始位置的橫坐標，y為隨機結構中包括的特徵點在影像中的起始位置的縱坐標，I _n (x,y)為隨機結構中包括的特徵點在影像中的起始位置；J _n (x+dx,y+dy)為隨機結構中包括的特徵點在影像中的目標位置，p _x 為隨機結構中結構塊的中點的橫坐標，p _y 為隨機結構中結構塊的中點的縱坐標，w _x 為結構塊的橫坐標中點距結構塊邊緣距離的點數，w _y 為結構塊的縱坐標中點距結構塊邊緣距離的點數，N為隨機結構中結構塊的數目。

較佳的，處理器602執行根據影像上的待追蹤物體生成隨機結構之後，還可以進一步執行：濾除隨機結構中所有結構塊中包括的誤差超過第二設定值的第一誤差特徵點，得到一次濾除誤差後的隨機結構。

相應的，處理器602執行的採用光流追蹤演算法對隨機結構中所有結構塊進行追蹤，具體包括：採用光流追蹤演算法對一次濾除誤差後的隨機結構中所有結構塊進行追蹤。

較佳的，處理器602執行濾除隨機結構中所有結構塊中包括的誤差超過第二設定值的第一誤差特徵點，得到一次濾除誤差後的隨機結構之後，還可以進一步執行：採用歸一化相關系統NCC方法，在一次濾除誤差後的隨機結構中所有結構塊中包括的特徵點中濾除第二誤差特徵點，得到二次濾除誤差後的隨機結構。

相應的，處理器602執行的採用光流追蹤演算法對隨機 結構中所有結構塊進行追蹤，具體包括：採用光流追蹤演算法對二次濾除誤差後的隨機結構中所有結構塊進行追蹤。較佳的，處理器602執行根據隨機結構的位置偏移量，估計待追蹤物體的位置，具體為：將隨機結構的位置偏移量的平均值或中間值，確定為待追蹤物體的位置偏移量；將待追蹤物體的位置偏移量與待追蹤物體的起始位置相加，得到待追蹤物體的目標位置。

需要說明的是，本實施例提供的光流追蹤裝置，其具體可以是各種類型的終端設備，例如PC機，PAD，手機等。其中的處理器具體可以是中央處理單元(Central Processing Unit，CPU)，圖形處理器(Graphic Processing Unit，GPU)或數位訊號處理器(Digital Signal Processor，DSP)等具有資料處理功能的器件。

本實施例的光流追蹤裝置，可以用於執行上述任一方法實施例的技術方案，其實現原理和技術效果類似，此處不再贅述。

所屬技術領域具有通常知識者可以理解：實現上述各方法實施例的全部或部分步驟可以通過程式指令相關的硬體來完成。前述的程式可以存儲於一電腦可讀取存儲介質中。該程式在執行時，執行包括上述各方法實施例的步驟；而前述的存儲介質包括：ROM、RAM、磁碟或者光碟等各種可以存儲程式碼的介質。

最後應說明的是：以上各實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述各實施例對本發明進行了詳細的說明，所屬技術領域具有通常知識者應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換；而這些修改或者替換，並不使 相應技術方案的本質脫離本發明各實施例技術方案的範圍。

101~103‧‧‧流程

Claims (10)

1. 一種光流追蹤方法，其中，包括：根據一影像上的一待追蹤物體生成一隨機結構，該隨機結構包括相對位置固定的至少兩個結構塊，各該結構塊中包含該待追蹤物體的至少一個特徵點；採用一光流追蹤演算法對該隨機結構中所有該結構塊進行追蹤，以得到該隨機結構的位置偏移量；根據該隨機結構的位置偏移量，估計該待追蹤物體的目標位置；其中，所述根據該影像上的該待追蹤物體生成該隨機結構，具體包括：生成該待追蹤物體所在的該影像的一梯度圖像；掃描該梯度圖像得到該梯度圖像的一梯度長條圖，根據該梯度長條圖，確定平均梯度大於第一設定值的特徵點；確定該隨機結構包括的該結構塊的數目，在平均梯度大於第一設定值的特徵點中選擇至少一個特徵點；根據所選擇的特徵點在該影像中的位置，該結構塊的數目，設定該結構塊之間的距離範圍，確定該隨機結構中所有該結構塊對應的特徵點；根據該隨機結構中所有該結構塊對應的特徵點生成該隨機結構。
2. 如申請專利範圍第1項所述的光流追蹤方法，其中，所述採用該光流追蹤演算法對該隨機結構中所有該結構塊進行追蹤，以得到該隨機結構的位置偏移量，具體包括：採用該光流追蹤演算法 ，確定該隨機結構中所有該結構塊的位移殘差之和，該隨機結構中所有該結構塊的位移殘差之和作為該隨機結構的位置偏移量；其中：ε(d)為該隨機結構中所有該結構塊的位移殘差之和，d為該隨機塊的位移，d _x 為該結構塊在x方向的位移，d _y 為該結構塊在y方向的位移，dx為該隨機結構中包括的特徵點在x方向的位移，dy為該隨機結構中包括的特徵點在y方向的位移，x為該隨機結構中包括的特徵點在該影像中的起始位置的橫坐標，y為該隨機結構中包括的特徵點在該影像中的起始位置的縱坐標，I _n (x,y)為該隨機結構中包括的特徵點在該影像中的起始位置；J _n (x+dx,y+dy)為該隨機結構中包括的特徵點在該影像中的目標位置，p _x 為該隨機結構中該結構塊的中點的橫坐標，p _y 為該隨機結構中該結構塊的中點的縱坐標，w _x 為該結構塊的橫坐標中點距該結構塊邊緣距離的點數，w _y 為該結構塊的縱坐標中點距該結構塊邊緣距離的點數，N為該隨機結構中該結構塊 的數目。
3. 如申請專利範圍第2項所述的光流追蹤方法，其中，所述根據該影像上的該待追蹤物體生成該隨機結構之後，還包括：濾除該隨機結構中所有該結構塊中包括的誤差超過第二設定值的第一誤差特徵點；所述採用該光流追蹤演算法對該隨機結構中所有該結構塊進行追蹤，具體包括：該採用光流追蹤演算法對一次濾除誤差後的該隨機結構中所有該結構塊進行追蹤。
4. 如申請專利範圍第3項所述的光流追蹤方法，其中，在濾除該隨機結構中所有該結構塊中包括的誤差超過第二設定值的第一誤差特徵點，得到一次濾除誤差後的該隨機結構之後，還包括：採用歸一化相關系統NCC方法，在一次濾除誤差後的該隨機結構中所有該結構塊中包括的特徵點中濾除第二誤差特徵點，得到二次濾除誤差後的隨機結構；所述採用該光流追蹤演算法對該隨機結構中所有該結構塊進行追蹤，具體包括：該採用光流追蹤演算法對二次濾除誤差後的該隨機結構中所有該結構塊進行追蹤。
5. 如申請專利範圍第1項所述的光流追蹤方法，其中， 所述根據該隨機結構的位置偏移量，估計該待追蹤物體的位置，包括：將該隨機結構的位置偏移量的平均值或中間值，確定為該待追蹤物體的位置偏移量；將該待追蹤物體的位置偏移量與該待追蹤物體的起始位置相加，得到該待追蹤物體的目標位置。
6. 一種光流追蹤裝置，其中，包括：一隨機結構生成模組，用於根據一影像上的一待追蹤物體生成一隨機結構，該隨機結構包括相對位置固定的至少兩個結構塊，各該結構塊中包含該待追蹤物體的至少一個特徵點；一光流追蹤模組，用於採用一光流追蹤演算法對該隨機結構中所有該結構塊進行追蹤，以得到該隨機結構的位置偏移量；一位置估計模組，用於根據該隨機結構的位置偏移量，估計該待追蹤物體的目標位置；其中，該隨機結構生成模組具體用於：生成該待追蹤物體所在的該影像的一梯度圖像；掃描該梯度圖像得到該梯度圖像的一梯度長條圖，根據該梯度長條圖，確定平均梯度大於第一設定值的特徵點；確定該隨機結構包括的該結構塊的數目，在平均梯度大於第一設定值的特徵點中選擇至少一個特徵點；根據所選擇的特徵點在該影像中的位置，該結構塊的 數目，設定該結構塊之間的距離範圍，確定該隨機結構中所有該結構塊對應的特徵點；根據該隨機結構中所有該結構塊對應的特徵點生成該隨機結構。
7. 如申請專利範圍第6項所述的光流追蹤裝置，其中，該光流追蹤模組具體用於：採用該光流追蹤演算法 ，確定該隨機結構中所有該結構塊的位移殘差之和，該隨機結構中所有該結構塊的位移殘差之和作為該隨機結構的位置偏移量；其中：ε(d)為該隨機結構中所有該結構塊的位移殘差之和，d為該結構塊的位移，d _x 為該結構塊在x方向的位移，d _y 為該結構塊在y方向的位移，dx為該隨機結構中包括的特徵點在x方向的位移，dy為該隨機結構中包括的特徵點在y方向的位移，x為該隨機結構中包括的特徵點在該影像中的起始位置的橫坐標，y為該隨機結構中包括的特徵點在該影像中的起始位置的縱坐標，I _n (x,y)為該隨機結構中包括的特徵點在該影像中的起始位置；J _n (x+dx,y+dy)為該隨機結構中包括的特徵點在該影像中的目標位置，p _x 為該隨機結構中該結構塊的中點的橫坐標，p _y 為該隨機結構中該結構塊的中點的縱坐標，w _x 為該結構塊的橫坐標中點距該結構塊邊緣距離的點數，w _y 為該結構塊的縱坐標中點距該結構塊邊緣距離的點數，N為該隨機結構中該結構塊 的數目。
8. 如申請專利範圍第7項所述的光流追蹤裝置，其中，該裝置還包括：一誤差濾除模組，用於濾除該隨機結構中所有該結構塊中包括的誤差超過第二設定值的第一誤差特徵點，得到一次濾除誤差後的該隨機結構；該光流追蹤模組具體用於：採用該光流追蹤演算法對一次濾除誤差後的該隨機結構中所有該結構塊進行追蹤。
9. 如申請專利範圍第8項所述的光流追蹤裝置，其中，該誤差濾除模組還用於：採用歸一化相關系統NCC方法，在一次濾除誤差後的該隨機結構中所有該結構塊中包括的特徵點中濾除第二誤差特徵點，得到二次濾除誤差後的該隨機結構；該光流追蹤模組具體用於：採用該光流追蹤演算法對二次濾除誤差後的該隨機結構中所有該結構塊進行追蹤。
10. 如申請專利範圍第6項所述的光流追蹤裝置，其中，該位置估計模組具體用於：將該隨機結構的位置偏移量的平均值或中間值，確定為該待追蹤物體的位置偏移量；將該待追蹤物體的位置偏移量與該待追蹤物體的起始位置相加，得到該待追蹤物體的目標位置。