TWI811618B - 篩選物件的方法以及電腦程式產品 - Google Patents

Abstract

本發明提供一種篩選物件的方法，包含：從一影片偵測一物件存在的區域；根據該區域的偵測結果建立一取樣空間；從該取樣空間擷取一顏色特徵；將該顏色特徵納入一篩選條件；以及根據該篩選條件，對該影片中的一關注物件進行篩選。

Description

篩選物件的方法以及電腦程式產品

本發明是關於一種影像處理的方法，特別是關於影片中篩選物件的方法。

既有的影像處理方法中，在一場所隨處移動的物件可能是我們的關注物件，舉例來說，如道路中的某車輛、商店內的某顧客等特定目標。當場所面積達到一定的程度時，既有的作法是設置人力駐點或架設攝影機，利用人工的方式在場所中，或是多個攝影機的影片中查找關注對象。然而，這種作法會產生耗費人力、且篩選關注物件效率不佳的問題。

本發明有鑑於上述既有的問題點，提供一種篩選物件的方法，能夠讓使用者更有效率地從影片中篩選出欲篩選的關注物件。

關於本發明的篩選物件的方法，包含：從一影片偵測一物件存在的區域；根據該區域的偵測結果建立一取樣空間；從該取樣空間擷取一顏色特徵；將該顏色特徵納入一篩選條件；以及根據該篩選條件，對該影片中的一關注物件進行篩選。

某實施方式中，從該取樣空間擷取該顏色特徵之步驟更包含：從該取樣空間擷取至少一特徵點；根據該至少一特徵點產生一多邊形；以及從該多邊形構成的區域擷取該顏色特徵。

某實施方式中，該關注物件為人物，該特徵點包含人類的四肢、以及關節等任何一者。

某實施方式中，篩選物件的方法更包含：從該取樣空間擷取一屬性特徵；將該屬性特徵納入該篩選條件；以及根據該篩選條件，對該影片中的該關注物件進行篩選。

某實施方式中，該關注物件為人物，該屬性特徵包含人類的性別、年齡、以及服飾等任何一者。

某實施方式中，篩選物件的方法更包含：對該物件對應的該取樣空間進行一重辨識模型轉換，以取得一特徵向量；對該關注物件對應的一關注物件取樣空間，進行該重辨識模型轉換，以取得一關注物件特徵向量；計算該特徵向量與該關注物件特徵向量在多維空間的一距離；以及將該特徵向量納入該篩選條件時，藉由將該距離與一臨界值進行比較，以判斷該關注物件是否符合該篩選條件。

某實施方式中，該重辨識模型轉換為一矩陣運算。

某實施方式中，篩選物件的方法更包含：根據該篩選條件，篩選出一第2影片中的一第2關注物件；以及比對該關注物件與該第2關注物件被偵測到的複數個時間、複數個地點、以及複數個速度等任何一者，以過濾該第2關注物件。

關於本發明的電腦程式產品，經由電腦載入該程式，使該電腦的處理器執行前述任何一種篩選物件的方法。

某實施方式中，該處理器更執行：根據該篩選條件，篩選出該第2影片中的該第2關注物件；以及比對該關注物件與該第2關注物件被偵測到的複數個時間、複數個地點、以及複數個速度等任何一者，以過濾該第2關注物件。

根據本發明，讓使用者更有效率地從影片中篩選出欲篩選的關注物件。

本發明之上述及其他目的及優點，在參考後面描述的詳細說明並搭配所附的圖式之後，將能更加明顯易懂。

第1圖為一流程圖，說明關於本發明實施例1~4的篩選物件的方法。

[實施例1] 首先，針對本發明的實施例1進行說明。本發明實施例1對應的步驟為步驟ST01、ST02、ST03、ST04、ST09。

首先，在步驟ST01，從影片20偵測物件21存在的區域。其中，影片20為攝影機對某一環境所拍攝。該環境中可能存在各種靜態或動態的人、車等（以下通稱為「物件21」）。物件偵測的方法可以利用既有的物件偵測技術來實現。舉例來說，可以事先利用大量的數據給類神經網路進行機器學習而成。

接著，在步驟ST02，當偵測到影片20的某個區域存在物件21時，根據區域的偵測結果建立取樣空間22。

請參照第2圖。第2圖為一示意圖，示意步驟ST02根據區域的偵測結果建立取樣空間22之一例。如同圖所示，取樣空間22可以是位於物件21（圖式中為人類）約略左上以及右下的兩個座標點所圍成的框選區域。然而，雖然圖式中的取樣空間22為矩形，但在其他實施例中並不以此為限；意即，取樣空間22也可以是其他的多邊形。

回到第1圖。在步驟ST03，建立取樣空間22之後，從取樣空間22擷取顏色特徵。以下說明從取樣空間22擷取顏色特徵的詳細運作流程。

第3圖為一流程圖，說明步驟ST03從取樣空間22擷取顏色特徵的詳細運作流程。如同圖所示，步驟ST03更包含步驟ST31~ST33。以下分別對步驟ST31~ST33進行說明。

首先，在步驟ST31，從取樣空間22擷取特徵點。具體而言，若物件21的偵測結果為人物，則擷取的特徵點可以是人類的四肢以及關節等，例如：身體的左右肩、軸、掌、臀、膝、腳掌、脖子等。如第4A圖所示，從取樣空間22中擷取10個特徵點A~J。特徵點A、B對應左右肩，特徵點C、D對應肘關節，特徵點E、F對應左右手掌，特徵點G、H對應臀部的左右兩側，特徵點I、J對應左右腳掌。若物件21的偵測結果為汽車，則擷取的特徵點可以是車牌、車輪、車頂、車窗等。

接著，在步驟ST32，擷取到特徵點之後，根據擷取的特徵點產生多邊形。如第4B圖所示，假設物件21的偵測結果為人物，則產生的多邊形可以是人物的上半身，也就是由4個特徵點A、B、G、H所圍成的斜線區域。另外，也可以因應擷取到的特徵點的數量，來產生各種形狀的多邊形。

請參照第5A圖、第5B圖。第5A圖、第5B圖為一示意圖，說明第3圖中的步驟ST32根據特徵點產生多邊形之一例。舉例來說，假如擷取到1個特徵點40，其在影片20中的座標為(x, y)，則特徵點40所產生的多邊形可以如第5A圖所示，為(x＋h, y＋h)、(x－h, y＋h)、(x－h, y－h)、(x＋h, y－h)上述4個座標點所圍成的正方形。換言之，正方形的邊長為2h，而特徵點40位於正方形的中心位置。需注意的是，h的數值不宜過大，實施時以小於5(像素)較佳。

另一方面，假如擷取到2個特徵點41、42，其在影片20中的座標分別為(x ₁, y ₁)、(x ₂, y ₂)，則特徵點41、42所產生的多邊形可以如第5B圖所示，為(x ₁＋hcosθ, y ₁＋hsinθ)、(x ₁－hcosθ, y ₁－hsinθ)、(x ₂＋hcosθ, y ₂＋hsinθ)、(x ₂－hcosθ, y ₂－hsinθ)上述4個座標點所圍成的矩形。其中，θ為特徵點41、42所連成的線段與y軸方向的夾角，且矩形其中一邊的邊長為2h。h的數值如前述所說不宜過大，以小於5(像素)較佳。

另外，上述根據至少1個特徵點建立多邊形的規則僅為其中一種範例，但實施時並不以此為限。

回到第3圖，在步驟ST33，從多邊形構成的區域擷取顏色特徵。具體而言，在步驟ST32所產成的多邊形中包含複數個像素。每一個像素都可以用RGB(紅、綠、藍)、HSL(色相、飽和度、亮度)、HSV(色相、飽和度、明度)等色彩空間定義其顏色。為方便說明，以下以HSL色彩空間為例，來說明從多邊形當中的複數個像素擷取一代表顏色，作為取樣空間22的顏色特徵之範例。

首先，從多邊形當中的複數個像素中，計算所有像素於H分量的中位數h’。其次，從取樣空間22的複數個像素中取出H分量介於[h’－20, h’＋20]的像素，並計算該等像素於S分量的中位數s’。最後，從前一步驟取出的複數個像素中，再取出S分量介於[s’－20, s’＋20]的像素，並計算該等像素於L分量的中位數l’。如上所述，就可以得到一代表顏色(h’, s’, l’)，作為取樣空間22的顏色特徵。步驟ST31~ST33執行完畢後，即完成第1圖步驟ST03的完整流程。

回到第1圖，在步驟ST04，從取樣空間22擷取顏色特徵之後，將顏色特徵納入篩選條件。取樣空間22的顏色特徵納入篩選條件之後，在步驟ST09，就可以針對影片20其他已經被偵測出的物件進行篩選，以篩選出關注物件。此處所謂的「關注物件」，是指準備篩選出與物件21在某個特徵上相同或相似的物件。

具體而言，若以取樣空間22的顏色特徵納入篩選條件時，步驟ST09是藉由比較取樣空間22的代表顏色(h’, s’, l’)以及關注物件所對應的代表顏色，以判定影片20當中的其他關注物件是否與物件21相似，而必須被篩選出來。舉例來說，可以事先規定兩個代表顏色若H分量相差小於等於10、且S分量相差小於等於10、且L分量相差小於等於20時，則判定關注物件的代表顏色與取樣空間22的代表顏色(h’, s’, l’)相似，而必須被篩選出來。反過來說，若兩個代表顏色之間並不滿足上述任一條件，則判定關注物件的代表顏色與取樣空間22的代表顏色(h’, s’, l’)不相似，而無須被篩選出來。

另外，雖然上述是以兩個代表顏色的H分量相差小於等於10、且S分量相差小於等於10、且L分量相差小於等於20為條件進行判定並篩選，但前述判定條件亦可以視情況調整。至此，已詳細說明本發明實施例1的步驟ST01、ST02、ST03、ST04、ST09的流程。

[實施例2] 接著，針對本發明的實施例2進行說明。本發明實施例2對應的步驟為步驟ST01、ST02、ST05、ST06、ST09。由於步驟ST01、ST02已於實施例1說明，故此處省略說明。

首先，在步驟ST05，建立取樣空間22之後，從取樣空間22擷取屬性特徵。以下說明從取樣空間22擷取屬性特徵的詳細運作流程。

舉例來說，若物件21的偵測結果為人物，則可以從取樣空間22擷取人類的性別、年齡、以及服飾等屬性特徵，例如：衣服款式、背負物件、手提物件、穿戴物件等可以描述人類的特徵。上述性別、年齡、以及服飾等屬性特徵亦可以使用既有的物件偵測技術來實現。

上述屬性特徵的偵測結果通常會用百分比來表示。具體來說，若對取樣空間22中的人物A進行屬性特徵的偵測，則偵測的結果舉例來說，性別為「男性」的機率為92%、「女性」的機率為8%；穿著為「洋裝」的機率為3%、「長褲」的機率為97%；配戴帽子為「是」的機率為6%、「否」的機率為94%…以此類推。因此，可以從取樣空間22中擷取人物A的屬性特徵為「性別男性」、「穿著長褲」、「未戴帽子」。

然後，在步驟ST06，從取樣空間22擷取屬性特徵之後，將屬性特徵納入篩選條件。取樣空間的屬性特徵納入篩選條件之後，在步驟ST09，就可以針對影片20其他已經被偵測出的物件進行篩選，以篩選出關注物件。舉例來說，如果以「性別男性」、「穿著長褲」為篩選對象，則可以篩選出符合屬性特徵為「性別男性」、「穿著長褲」的所有關注物件。

需注意的是，雖然實施例2的步驟ST09是在步驟ST06從取樣空間22擷取屬性特徵之後，將屬性特徵納入篩選條件。然而，實施例2的步驟ST09也可以同時以顏色特徵(步驟ST04)與屬性特徵(步驟ST06)兩者為篩選條件，一併對影片中的關注物件進行篩選。換言之，實施例1與實施例2彼此並沒有嚴格的執行先後順序，實施例1的步驟ST03~ST04以及實施例2的步驟ST05~ST06也可以分別執行，或是同步進行。

[實施例3] 接著，針對本發明的實施例3進行說明。本發明實施例3對應的步驟為步驟ST01、ST02、ST07、ST08、ST09。由於步驟ST01、ST02已於實施例1說明，故此處省略說明。

首先，在步驟ST07，建立取樣空間22之後，對取樣空間進行重辨識模型轉換，以取得特徵向量。

具體而言，在步驟ST07，重辨識模型轉換是使用一矩陣運算，將2維的取樣空間22影像轉換成256維空間(或其他多維空間)的特徵向量。也就是說，該特徵向量可以視為對應256維空間當中的原點指向某個座標點的方向。由於重辨識模型轉換可運用既有的演算法來實現，故此處省略詳細的說明。

除此之外，在步驟ST07當中，針對影片20當中的其他關注物件，同樣也要進行該重辨識模型轉換，以取得其他每個關注物件的關注物件特徵向量。

然後，在步驟ST08，取得該特徵向量之後，將該特徵向量納入篩選條件。由取樣空間22轉換而得到的該特徵向量納入篩選條件之後，在步驟ST09，就可以針對影片20其他已經被偵測出的物件進行篩選，以篩選出關注物件。

具體而言，在步驟ST09判斷其他關注物件是否與物件21相同或相似的方式，是計算該特徵向量與關注物件特徵向量在256維空間(或其他多維空間)的距離。如前述說明，由於該特徵向量可以視為對應256維空間當中的原點指向某個座標點的方向，因此算出兩個向量的距離，就相當於兩個座標點算出距離。然後，將距離與一臨界值進行比較。若距離小於等於臨界值，則判定關注物件與物件21相似，符合篩選條件，而必須被篩選出來。反過來說，若距離大於臨界值，則判定關注物件與物件21不相似，不符合篩選條件，而無須被篩選出來。

需注意的是，雖然實施例3的步驟ST09是在步驟ST08取得特徵向量之後，將特徵向量納入篩選條件。然而，實施例3的步驟ST09也可以同時以顏色特徵(步驟ST04)、屬性特徵(步驟ST06)、以及特徵向量(步驟ST08)三者為篩選條件，一併對影片中的關注物件進行篩選。換言之，實施例1~實施例3彼此並沒有嚴格的執行先後順序，實施例1的步驟ST03~ST04、實施例2的步驟ST05~ST06、以及實施例3的步驟ST07~ST08也可以分別執行，或是同步進行。

[實施例4] 接著，針對本發明的實施例4進行說明。本發明實施例4對應的步驟為步驟ST09、ST10、ST11、ST12。

在本發明實施例4中，是在關注物件已經篩選過的情況下，再針對篩選後的關注物件進行過濾。因此在實施例4中，先預設第1圖中的步驟ST04、ST06、ST08的任何一者已經執行完成，並根據顏色特徵(步驟ST04)、屬性特徵(步驟ST06)以及特徵向量(步驟ST08)的任何一者從影片20中篩選出關注物件(即執行完步驟ST09)。另外，實施例4還同時使用前述步驟的任何一者，從有別於影片20的另一「第2影片」當中，篩選出有別於關注物件的另一「第2關注物件」，影片20和第2影片，例如是由不同的攝影機分別擷取而得。篩選出第2關注物件之步驟，在第1圖中標示為步驟ST10。

然而，雖然在第1圖中，示意步驟ST10的執行順序在步驟ST09之後，但是步驟ST10的執行順序也可以在步驟ST09之前，亦包含兩步驟同時發生的可能性。

然後，在步驟ST11，針對已經篩選的關注物件以及第2關注物件，比對關注物件以及第2關注物件的時間、地點、以及移動速度等。

然後，在步驟ST12，根據關注物件以及第2關注物件的時間、地點、以及移動速度的比對結果，對第2關注物件進行過濾。

根據本發明實施例4，可以考慮到關注物件以及第2關注物件分別被兩台攝影機所偵測的時間、地點、以及移動速度，以排除第2關注物件被誤判為關注物件的可能性。舉例來說，在本發明實施例1~3的方法的篩選下，已經從影片20篩選出關注物件，並從第2影片篩選出與關注物件相似的第2關注物件。但根據本發明實施例4的實施結果，對關注物件以及第2關注物件的時間、地點、以及移動速度進行比對，發現關注物件與第2關注物件是在同一時間被偵測，且關注物件與第2關注物件分別在影片20以及第2影片中為靜止狀態，但偵測到關注物件以及第2關注物件的兩台攝影機彼此距離100公里之遠。考慮到兩台攝影機的相對距離，相同的物件不可能在短時間內同時出現在影片20以及第2影片中。因此在步驟ST12中，就可以另外對第2關注物件進行過濾，以排除第2關注物件就是關注物件的可能性。

綜上說明，根據本發明實施例1~3，利用影片20的樣本空間22的顏色特徵、屬性特徵、以及特徵向量，對影片20的其他關注物件進行篩選，能夠讓使用者更有效率地從影片中篩選出欲篩選的關注物件。

另外，在實施例1~3其中任何一者執行之後，根據本發明實施例4，可以從已篩選出的關注物件再進行過濾，以進一步降低搜尋的範圍。基於實施例4之態樣，可以適用於對多部攝影機所擷取之影像(或標的)作一次性之篩選。因此，能夠讓使用者更有效率地從影片中篩選出欲篩選的關注物件。

另外，如本發明實施例1~4描述的各項方法步驟，均可以用硬體、軟體、或是硬體與軟體的組合來實現。

當本發明實施例1~4以硬體來實現時，第1圖的步驟ST01~ST12、第3圖的步驟ST31~33、以及第5A圖、第5B圖的演算法，可以是由專用的硬體來實現，但是並非限定於此。專用的硬體舉例來說，相當於單一電路、複合電路、程式化處理器、平行程式化處理器、應用特定積體電路、場式可程式閘陣列、或該等的組合。

當本發明實施例1~4以軟體來實現時，是以軟體作為程式，儲存於電腦的記憶體中。當電腦的處理器讀取儲存於記憶體的程式時，使電腦執行第1圖的步驟ST01~ST12、第3圖的步驟ST31~33、以及第5A圖、第5B圖的演算法。電腦舉例來說，相當於中央處理器、中央處理裝置、處理裝置、演算裝置、微處理器、微電腦、處理器、或是數位訊號處理器等。

以上已詳述本發明實施例1~4。需注意的是，上述的實施例1~4僅為例示性說明本發明的原理及其功效，而並非用於限制本發明的範圍。本領域具通常知識者在不違背本發明的技術原理及精神下，均可以對實施例進行修改與變更。因此，本發明的權利保護範圍，應以後面的申請專利範圍的描述為準。

20:影片 21:物件 22:取樣空間 40~42:特徵點 A~J:特徵點 ST01~ST12:步驟 ST31~ST33:步驟

第1圖為一流程圖，說明關於本發明實施例1~4的篩選物件的方法。 第2圖為一示意圖，示意第1圖中的步驟ST02根據區域的偵測結果建立取樣空間22之一例。 第3圖為一流程圖，說明第1圖中的步驟ST03的詳細運作流程。 第4A圖為一示意圖，示意從取樣空間22的物件21當中擷取10個特徵點A~J之一例。第4B圖為一示意圖，示意以4個特徵點產生多邊形之一例。 第5A圖、第5B圖為一示意圖，說明第3圖中的步驟ST32根據特徵點產生多邊形之一例。

ST01~ST12:步驟

Claims (8)

1. 一種篩選物件的方法，由電腦的處理器執行，包含：從一影片偵測一物件存在的區域；根據該區域的偵測結果建立一取樣空間；從該取樣空間擷取一顏色特徵；將該顏色特徵納入一篩選條件；以及根據該篩選條件，對該影片中的一關注物件進行篩選；其中該處理器更執行；根據該篩選條件，篩選出一第2影片中的一第2關注物件，該第2影片和該影片是以不同的攝影機擷取而得；以及比對該關注物件與該第2關注物件被偵測到的複數個時間、複數個地點、以及複數個速度等任何一者，以過濾該第2關注物件。
2. 如請求項1之篩選物件的方法，其中該處理器執行的從該取樣空間擷取該顏色特徵之步驟更包含：從該取樣空間擷取至少一特徵點；根據該至少一特徵點產生一多邊形；以及從該多邊形構成的區域擷取該顏色特徵。
3. 如請求項2之篩選物件的方法，其中，該關注物件為人物，該特徵點包含人類的四肢、以及關節等任何一者。
4. 如請求項1之篩選物件的方法，更包含由該處理器執行： 從該取樣空間擷取一屬性特徵；將該屬性特徵納入該篩選條件；以及根據該篩選條件，對該影片中的該關注物件進行篩選。
5. 如請求項4之篩選物件的方法，其中，該關注物件為人物，該屬性特徵包含人類的性別、年齡、以及服飾等任何一者。
6. 如請求項1之篩選物件的方法，更包含由該處理器執行：對該物件對應的該取樣空間進行一重辨識模型轉換，以取得一特徵向量；對該關注物件對應的一關注物件取樣空間，進行該重辨識模型轉換，以取得一關注物件特徵向量；計算該特徵向量與該關注物件特徵向量在多維空間的一距離；以及將該特徵向量納入該篩選條件時，藉由將該距離與一臨界值進行比較，以判斷該關注物件是否符合該篩選條件。
7. 如請求項6之篩選物件的方法，其中，該重辨識模型轉換為一矩陣運算。
8. 一種電腦程式產品，經由電腦載入該程式，使該電腦的處理器執行如請求項1至7任何一項之篩選物件的方法。

Images