TWI706330B

TWI706330B - 目標追蹤方法

Info

Publication number: TWI706330B
Application number: TW108100807A
Authority: TW
Inventors: 朱延陵; 黃國豪; 林世豐
Original assignee: 圓展科技股份有限公司
Priority date: 2019-01-09
Filing date: 2019-01-09
Publication date: 2020-10-01
Also published as: TW202026940A

Abstract

一種目標追蹤方法，包括：在第一幀畫面中，擷取包含目標物件的第一結果追蹤框及其鄰近的第一參考區域，在第一結果追蹤框外擷取第二結果追蹤框及其鄰近的第二參考區域，以比對演算法計算第一及第二參考區域各自相對於預設參考特徵之第一及第二相似程度，及以樣板匹配演算法計算第一結果追蹤框之第一特徵值與目標物件之目標樣板之預設特徵值的第一差異程度、第二結果追蹤框之第二特徵值與預設特徵值的第二差異程度，根據第一及第二相似程度、第一及第二差異程度綜合判斷後選擇第一或第二結果追蹤框作為第二幀畫面的初始追蹤框。

Description

目標追蹤方法

本發明係關於一種目標追蹤方法，特別是一種利用參考區域及目標物件的目標追蹤方法。

習知的Camshift（Continuously Adaptive Mean Shift Algorithm）演算法係利用顏色分布的特性來追蹤一移動物體。首先會先選擇一個作為追蹤目標的物體，然後建立物體的色彩直方圖，接著在追蹤的場景（幀畫面）中得到整個場景的反向投影圖，然後尋找物件的質心位置作為物體位置。藉由反覆對接下來的場景執行與上述相同的步驟達到物體追蹤。

若將Camshift演算法應用於人物追蹤，通常會將目標追蹤框鎖定在人臉部位，依據人臉膚色的特性進行追蹤。在一般的情況下，這種方式能順利追蹤目標人物。然而，一旦在膚色受到干擾的情況下，追蹤的準確率將會降低。此外，若追蹤框因某些因素脫離原先欲追蹤的人物，將可能無法找回正確人臉，導致後續一連串的錯誤追蹤結果。

舉例來說，當原本欲追蹤的人臉被另一個人臉完全遮蔽時，由於人臉的膚色相近，依照Camshift演算法的判斷，此時會追蹤到另一個人。即使後來原本欲追蹤的人再度出現於在畫面中，由於Camshift演算法的追蹤框已鎖定至另一個人臉，追蹤框已無法再回到原本所欲追蹤的人臉上，導致了錯誤的追蹤結果。

因此，可加入被追蹤人物的衣服顏色來輔助判斷人物交錯時候的狀況。然而，若兩個人的衣服顏色相同時，按照上述方式仍無法準確分辨哪一個才是原本欲追蹤的對象。

有鑑於此，本發明提供一種目標追蹤方法，用以解決上述問題。

依據本發明一實施例的一種目標追蹤方法，適用於在連續的一第一幀畫面及一第二幀畫面中追蹤一目標物件，所述的目標追蹤方法包括：在該第一幀畫面中，根據一第一初始追蹤框執行一迭代演算法以擷取一第一結果追蹤框及一第一參考區域，該第一結果追蹤框包含該目標物件，該第一參考區域鄰近該第一結果追蹤框；在該第一結果追蹤框外擷取一第二結果追蹤框及一第二參考區域，該第二參考區域鄰近該第二結果追蹤框；以及在擷取該第二結果追蹤框後，包括：以一比對演算法計算該第一參考區域相對於一預設參考特徵之一第一相似程度及該第二參考區域相對於該預設參考特徵之一第二相似程度；及以一樣板匹配演算法計算該第一結果追蹤框之一第一特徵值、該第一特徵值與一預設特徵值之一第一差異程度、該第二結果追蹤框之一第二特徵值及該第二特徵值相對於該預設特徵值之一第二差異程度；其中該預設特徵值關聯於該目標物件之一目標樣板；當該第一相似程度與該第二相似程度不相等時，以該第一相似程度及該第二相似程度之中較大者所對應之該第一結果追蹤框或該第二結果追蹤框作為該第二幀畫面的該第一初始追蹤框；或當該第一相似程度與該第二相似程度相等時，以該第一差異程度及該第二差異程度之中較小者所對應之該第一結果追蹤框或該第二結果追蹤框作為該第二幀畫面的該第一初始追蹤框。

依據本發明一實施例的一種目標追蹤方法，其中該該第一特徵值、該第二特徵值及該預設特徵值係該目標物件之一明亮度、一色度、一濃度、一色相、一飽和度、或一明度。

依據本發明一實施例的一種目標追蹤方法，其中在擷取該第二結果追蹤框之前，更包括：更新該目標樣板之該預設特徵值至少一次；以及在擷取該第二結果追蹤框後，更包括：暫停更新該目標樣板。

依據本發明一實施例的一種目標追蹤方法，其中擷取一第二結果追蹤框包括：執行該迭代演算法以在該第一結果追蹤框外取得複數個第二初始追蹤框；以及依序選取該些第二初始追蹤框其中之一，並計算所選取的該第二初始追蹤框相對於該目標物件的一信心指標；其中當該信心指標該小於一門檻值時，依序選取該些第二初始追蹤框中之另一者，及根據該目標物件的一特徵值更新該目標樣板至少一次；當該信心指標大於或等於該門檻值時，以所選取的該第二初始追蹤框作為該第二結果追蹤框，及暫停更新該目標樣板。

依據本發明一實施例的一種目標追蹤方法，其中該信心指標為該第二結果追蹤框的複數個像素值中關聯於該目標物件的一比例。

依據本發明一實施例的一種目標追蹤方法，其中該第一參考區域與該第一結果追蹤框之間具有一固定相對位置關係，以及該第二參考區域與該第二結果追蹤框之間具有該固定相對位置關係。

依據本發明一實施例的一種目標追蹤方法，該目標物件為一人臉。

依據本發明一實施例的一種目標追蹤方法，其中該迭代演算法為Camshift演算法。該比對演算法為一相關性係數（Correlation）演算法、卡方（Chi-square）演算法、交點（Intersection）演算法以及巴氏距離（Bhattacharyya distance）演算法其中之一。該樣板匹配演算法為絕對誤差平均（Mean Absolute Differences，MAD）、絕對誤差和（Sum of Absolute Differences，SAD）、誤差平方和（Sum of Squared Differences，SSD）、平均誤差平方和（Mean Square Differences，MSD）、正規化互相關（Normalized Cross Correlation，NCC）、循序相似偵測演算法（Sequential Similiarity Detection Algorithm，SSDA）或絕對變換誤差和（Sum of Absolute Transformed Difference， SATD）。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

圖1為根據本發明一實施例之目標追蹤裝置100的方塊圖。如圖1所示，目標追蹤裝置100包括讀取單元110、迭代處理單元120以及判斷單元130。迭代處理單元120電性連接讀取單元110，判斷單元130電性連接讀取單元110以及迭代處理單元120。讀取單元110、迭代處理單元120以及判斷單元130可藉由各種晶片或者是處理器來實現，在此不加以限制。

目標追蹤裝置100可執行本發明一實施例的目標追蹤方法，以在連續的多個幀畫面中追蹤目標物件。目標物件例如係一人臉。下文以連續的第一幀畫面和第二幀畫面為例說明。請一併參考圖1、圖2及圖3A~3E，圖2係繪示本發明一實施例的目標追蹤方法的流程圖，圖3A~3E係繪示本發明一實施例的追蹤目標物件的示意圖。在步驟S300開始執行本發明一實施例的目標追蹤方法時，首先由讀取單元110讀取第一幀畫面。

請參考步驟S310，擷取第一結果追蹤框10及第一參考區域30。詳言之，在第一幀畫面中，迭代處理單元120根據第一初始追蹤框執行迭代演算法以擷取第一結果追蹤框10及一第一參考區域30，第一結果追蹤框10包含目標物件，第一參考區域30鄰近第一結果追蹤框10。實務上，使用者可透過目標追蹤裝置100或藉由其他方式設定第一初始追蹤框。迭代演算法例如係Camshift演算法（Continue Adaptive Mean Shift Algorithm），執行迭代演算法後可得到包含人物1的人臉的第一結果追蹤框10，如圖3A所示。第一參考區域30與第一結果追蹤框10之間可具有一固定相對位置關係。例如第一參考區域30位於第一結果追蹤框10下方且相距1/2個追蹤框的長度，且第一參考區域30與第一結果追蹤框10大小相同，但並不以此為限。第一參考區域30對應人物1的上衣胸前的部位。一般而言，不同人物之間衣物顏色的差異相較於膚色的差異更大。因此，參考衣物的顏色作輔助所欲追蹤的人臉可增加追蹤結果的準確度。

在步驟S310中，判斷單元130從第一參考區域30擷取第一參考特徵。第一參考特徵例如代表所欲追蹤之人臉所對應的衣服顏色。所述第一參考特徵例如是第一參考區域30於HSV色彩空間中的色相（Hue）與飽和度（Saturation）的直方圖（Histogram）。另外，第一次經由執行迭代演算法後得到的第一結果追蹤框10所對應的第一參考區域30的第一參考特徵可作為預設參考特徵。

請參考步驟S320，更新目標樣板至少一次。詳言之，目標樣板（Image Patch）係目標物件（人臉）的特徵值。特徵值例如係目標物件之明亮度（Luminance）、色度（Chrominance）、濃度（Chrominance）、色相（Hue）、飽和度（Saturation）、或明度（Saturation）。當人的姿勢不動時，即不會由正臉變成側臉、不抬頭或低頭時，根據特徵值所取得的目標樣板基本上不會有太大改變。也就是說，目標樣板可用以代表人臉的特徵。然而實務上，由於所追蹤的人物未必總是以臉部正面出現在影像中，因此需更新目標樣板以增加後續追蹤判斷時的準確率。例如在當前的第一幀畫面中未出現其他人臉時，可每隔一固定週期更新目標物件所對應的目標樣板，但更新的時機並不以此為限。另外，在步驟S300開始執行目標追蹤方法並且被追蹤的目標物件被選定之後，可同時取得此目標物件的目標樣板以作為初始目標樣板。

請參考步驟S330，擷取第二結果追蹤框及第二參考區域40。詳言之，在第一結果追蹤框10外擷取第二結果追蹤框及第二參考區域40，第二參考區域40鄰近第二結果追蹤框。實務上，類似於第一參考區域30與第一結果追蹤框10之間所具有的一固定相對位置關係，第二參考區域40與第二結果追蹤框之間亦具有相同的固定相對位置關係，然而本發明並不以此為限。擷取第二結果追蹤框包括下列步驟：執行迭代演算法以在第一結果追蹤框10外取得複數個第二初始追蹤框，如圖3C、圖3D的20a~20h；依序選取這些第二初始追蹤框其中之一，再計算所選取的第二初始追蹤框相對於目標物件的一信心指標。所述的信心指標係用以決定被選取的第二初始追蹤框是否可作為第二結果追蹤框。實務上，信心指標例如係第二結果追蹤框的複數個像素值中關聯於目標物件的一比例。換言之，以第二結果追蹤框中膚色佔據的比例，判斷第二結果追蹤框中是否具有人臉。因此，當判斷單元130判斷信心指標小於一門檻值時，依序選取其他第二初始追蹤框中之另一者，同時根據目標物件的一特徵值選擇性更新目標樣板；例如可選擇不更新目標樣板（這是因為周圍沒有膚色目標物並不代表周圍沒有其他人，有可能是兩個人重疊），或者在偵測到周圍沒有膚色目標物並且持續一段時間後，選擇更新目標樣板。上述更新目標樣板的狀況僅為例示性敘述而非用於限制本發明。另一方面，當信心指標大於或等於門檻值時，判斷單元130以其所選取的第二初始追蹤框作為第二結果追蹤框。舉例來說，每當選取一第二初始追蹤框時，進一步計算其中膚色占整個追蹤框的百分比是否小於一門檻值，藉以判斷所選取的第二初始追蹤框是否包括足夠大小的人臉。如圖3C~3E所示，經逐一計算之後，例如透過第6個第二初始追蹤框20f所獲得的第二結果追蹤框21f的膚色比例大於或等於門檻值。

需注意的是：在擷取第二結果追蹤框後，相當於此時的幀畫面中具有兩個以上的目標物件，因此需暫停更新目標樣板，以避免更新到非原追蹤者的人臉樣板。然而本發明並不以此為限，實務上，亦可在開始取得第二初始追蹤框的時候便暫停更新樣板。

請參考步驟S340，計算第一及第二相似程度、第一及第二差異程度。詳言之，在擷取第二結果追蹤框後執行下列步驟，包括：判斷單元130執行一比對演算法計算第一參考區域30相對於預設參考特徵之第一相似程度及第二參考區域40相對於預設參考特徵之第二相似程度。所述比對演算法例如是相關性係數（Correlation）演算法、卡方（Chi-square）演算法、交點（Intersection）演算法或巴氏距離（Bhattacharyya distance）演算法。實務上，當追蹤人物被遮蔽時，如圖3B~圖3C所示，可透過比對第一及第二參考區域40內的參考特徵（相當於人物1、2的上衣部分）與預設參考特徵（原被追蹤人物1的上衣部分）進行比對，從而計算出是哪個結果追蹤框所對應的參考區域的特徵值更接近於預設參考特徵的特徵值，也就是哪個結果追蹤框內的上衣顏色更類似於原被追蹤人物1的上衣顏色。

此外，在步驟S340中更包括以樣板匹配演算法計算第一結果追蹤框10之第一特徵值、第一特徵值與預設特徵值之第一差異程度、第二結果追蹤框之第二特徵值及第二特徵值與預設特徵值之第二差異程度，其中預設特徵值關聯於一目標樣板。實務上，樣板匹配演算法例如係：絕對誤差平均（Mean Absolute Differences，MAD）、絕對誤差和（Sum of Absolute Differences，SAD）、誤差平方和（Sum of Squared Differences，SSD）、平均誤差平方和（Mean Square Differences，MSD）、正規化互相關（Normalized Cross Correlation，NCC）、循序相似偵測演算法（Sequential Similiarity Detection Algorithm，SSDA）或絕對變換誤差和（Sum of Absolute Transformed Difference， SATD）。第一及第二差異程度分別反映了第一及第二結果為追蹤框中的人臉與原本預設的人臉樣板的差異程度。在本發明一實施例中，考量到僅依靠前述的相似程度可能遇到無法追蹤到正確的目標物件的情況（例如當前幀畫面中的兩人穿著一樣或相似度極高的衣服），因此加入計算此二差異程度的步驟以提升追蹤的正確率。

請參考步驟S350，判斷第一相似程度與第二相似程度兩者是否相等。詳言之，判斷單元130首先判斷第一結果追蹤框10鎖定的人物1與第二結果追蹤框鎖定的人物2，兩人是否穿著相同顏色的衣服。若判斷結果為否，請繼續參考步驟S370，當第一相似程度與第二相似程度不相等時，以第一相似程度及第二相似程度之中較大者所對應之第一結果追蹤框10或第二結果追蹤框作為第二幀畫面的第一初始追蹤框。也就是以衣服顏色較接近原本追蹤對象的結果追蹤框所對應的人物作為後續追蹤的對象。反過來說，當步驟S350的判斷結果為是，請繼續參考步驟S360，即當第一相似程度與第二相似程度相等時（或兩者差值小於一閾值時，例如相差5%以內也判斷為第一及第二相似程度兩者相等），則以第一差異程度及第二差異程度之中較小者所對應之第一或第二結果追蹤框作為第二幀畫面的第一初始追蹤框。換句話說，當第一目標追蹤框及第二目標追蹤框分別鎖定的兩人，此二人各自的衣服顏色和先前追蹤對象的衣服顏色相比，皆有相當高的相似程度。因此在步驟S340預先計算兩人各自臉部樣板與原始被追蹤者（經更新後）臉部樣板的差異程度，並在步驟S360中，以差異程度較小者，也就是結果追蹤框中臉部樣板特徵值與原始被追蹤者的臉部樣板特徵值差異較小者，作為第二幀畫面的第一初始追蹤框。如步驟S370所示。

綜上所述，本發明一實施例的目標追蹤方法，在初始設定時，以人臉偵測所偵測到的結果追蹤框中的人臉作為目標樣板，並記錄參考區域中的衣服顏色，參考區域可設置為人臉下距離1/2人臉高度且與目標追蹤框相同大小（亦可為足以代表衣服顏色的任意大小的區域）；在記錄衣服顏色的同時，並將目標樣板所有像素的特徵值記錄，作為人臉樣板。

因此，當此追蹤人被全遮蔽時，依照Camshift演算法會追蹤到未被遮蔽的其他目標。此時可先根據目標區域所代表的衣服顏色進行判斷，若衣服顏色不同，則在兩個人又分開時，第二結果追蹤框將挑選衣服顏色相同或相似程度較高者所對應的目標人物繼續追蹤。而若是兩人的衣服顏色都與原本的衣服顏色相同時，則繼續比較兩個結果追蹤框的人臉樣板與原本的目標樣板各自的差異程度，然後在下一幀畫面中追蹤人臉樣板差異程度較小者所對應的目標物件。另外，在實作上，因為後續的第一或第二結果追蹤框所框到的人臉所對應的可能不是初始時第一結果追蹤框10所對應的位置。因此可採用移動偵測（motion estimation）的技巧，去找附近最接近的位置。

基於上述說明，本發明之功效主要是提高人物追蹤的正確率，其架構係建立在迭代演算法（例如Camshift）之基礎上，再利用周圍的結果追蹤框為起始點，預測可能的追蹤人，並以衣服顏色的判斷為輔助，當衣服顏色相同時，將繼續比較人臉的樣板作為判斷的依據。如此在衣服顏色相同時，仍能正確的追蹤原本欲追蹤的人。同時人臉樣板將在判斷當前幀畫面中無其他遮蔽人物時進行更新，以便後續在追蹤對象的人臉移動至不同角度時，仍能保有以人臉樣板辨識差異程度的準確性。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

100 目標追蹤裝置 110 讀取單元 120 迭代處理單元 130 判斷單元 1、2 人物 10 第一結果追蹤框 20a~20h 第二初始追蹤框 21f 第二結果追蹤框 30 第一參考區域 40 第二參考區域 S330~S370 步驟

圖1係依據本發明一實施例所繪示的目標追蹤裝置的方塊架構圖。圖2係依據本發明一實施例所繪示的目標追蹤方法的流程圖。圖3A~3E係依據本發明一實施例所繪示的追蹤目標物件的示意圖。

S300~S370 目標追蹤方法的步驟

Claims

一種目標追蹤方法，適用於在連續的一第一幀畫面及一第二幀畫面中追蹤一目標物件，所述的目標追蹤方法包括：在該第一幀畫面中，根據一第一初始追蹤框執行一迭代演算法以擷取一第一結果追蹤框及一第一參考區域，該第一結果追蹤框包含該目標物件，該第一參考區域鄰近該第一結果追蹤框；在該第一結果追蹤框外擷取一第二結果追蹤框及一第二參考區域，該第二參考區域鄰近該第二結果追蹤框；以及在擷取該第二結果追蹤框後，包括：以一比對演算法計算該第一參考區域相對於一預設參考特徵之一第一相似程度及該第二參考區域相對於該預設參考特徵之一第二相似程度；及以一樣板匹配演算法計算該第一結果追蹤框之一第一特徵值、該第一特徵值與一預設特徵值之一第一差異程度、該第二結果追蹤框之一第二特徵值及該第二特徵值與該預設特徵值之一第二差異程度；其中該預設特徵值關聯於該目標物件之一目標樣板；在計算該第一相似程度、該第二相似程度、該第一差異程度及該第二差異程度之後，判斷該第一相似程度及該第二相似程度是否相等；其中當該第一相似程度與該第二相似程度不相等時，以該第一相似程度及該第二相似程度之中較大者所對應之該第一結果追蹤框或該第二結果追蹤框作為該第二幀畫面的該第一初始追蹤框；或當該第一相似程度與該第二相似程度相等時，以該第一差異程度及該第二差異程度之中較小者所對應之該第一結果追蹤框或該第二結果追蹤框作為該第二幀畫面的該第一初始追蹤框；其中，在擷取該第二結果追蹤框之前，更包括：更新該目標樣板之該預設特徵值至少一次；以及在擷取該第二結果追蹤框後，更包括：暫停更新該目標樣板。
如請求項1所述之目標追蹤方法，其中該第一特徵值、該第二特徵值及該預設特徵值係該目標物件之一明亮度、一色度、一濃度、一色相、一飽和度、或一明度。
如請求項1所述之目標追蹤方法，其中擷取一第二結果追蹤框包括：執行該迭代演算法以在該第一結果追蹤框外取得複數個第二初始追蹤框；以及依序選取該些第二初始追蹤框其中之一，並計算所選取的該第二初始追蹤框相對於該目標物件的一信心指標；其中當該信心指標該小於一門檻值時，依序選取該些第二初始追蹤框中之另一者，及根據該目標物件的一特徵值更新該目標樣板至少一次；當該信心指標大於或等於該門檻值時，以所選取的該第二初始追蹤框作為該第二結果追蹤框，及暫停更新該目標樣板。
如請求項3所述之目標追蹤方法，其中該信心指標為該第二結果追蹤框的複數個像素值中關聯於該目標物件的一比例。
如請求項1所述之目標追蹤方法，其中該第一參考區域與該第一結果追蹤框之間具有一固定相對位置關係，以及該第二參考區域與該第二結果追蹤框之間具有該固定相對位置關係。
如請求項1所述之目標追蹤方法，其中該目標物件為一人臉。
如請求項1所述之目標追蹤方法，其中該迭代演算法為Camshift演算法。
如請求項1所述之目標追蹤方法，其中該比對演算法為一相關性係數(Correlation)演算法、卡方(Chi-square)演算法、交點(Intersection)演算法以及巴氏距離(Bhattacharyya distance)演算法其中之一。
如請求項1所述之目標追蹤方法，該樣板匹配演算法為絕對誤差平均(Mean Absolute Differences，MAD)、絕對誤差和(Sum of Absolute Differences，SAD)、誤差平方和(Sum of Squared Differences，SSD)、平均誤差平方和(Mean Square Differences，MSD)、正規化互相關(Normalized Cross Correlation，NCC)、循序相似偵測演算法(Sequential Similiarity Detection Algorithm，SSDA)或絕對變換誤差和(Sum of Absolute Transformed Difference，SATD)。