TWI479431B - 物件追蹤方法 - Google Patents
物件追蹤方法 Download PDFInfo
- Publication number
- TWI479431B TWI479431B TW101111784A TW101111784A TWI479431B TW I479431 B TWI479431 B TW I479431B TW 101111784 A TW101111784 A TW 101111784A TW 101111784 A TW101111784 A TW 101111784A TW I479431 B TWI479431 B TW I479431B
- Authority
- TW
- Taiwan
- Prior art keywords
- tracking
- tracking object
- state
- feature points
- area
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Description
本發明係一種物件追蹤方法,特別是關於一種當被追蹤物件與一非追蹤物件重疊時,仍能有效區分被追蹤物件與非追蹤物件之物件追蹤方法。
一般來說,在做物件追蹤時,通常會先根據某種有用的特徵(如膚色和深度距離)或計算(如背景相減),將原始影像轉換成只以感興趣(影像值為1)和不感興趣(影像值為0)的二元影像,以有效地突顯所追蹤的物件特性,使追蹤更為穩定。
將特徵二元影像做相連元素分析,則可得到於二元影像中不同物件的位置與範圍,其相對的位置關係將會影響追蹤上的難度:當物件與物件間的位置彼此互不觸碰時,其關係單純且追蹤上並不困難;若物件與物件發生了重疊,物件間便有了遮蔽與被遮蔽的關係,追蹤困難度較不觸碰來得高上許多。
因此判斷物件與物件間的狀態與其在不同狀態下相對應的處理就顯得格外重要。在此,二個物件間存在著三種狀態,即”分離”、”接近”與”重疊”。選擇所要追蹤的物件作為感興趣的目標,再與其它非追蹤物件進行狀態偵測,而狀態偵測將會判斷追蹤物件與其它物件之間屬於哪一種狀態。
分離狀態是指追蹤物件與非追蹤物件間的位置,彼此保持著相當的距離;接近狀態為追蹤物件與非追蹤物件的位置間已小於所設定的分離距離,以致追蹤中的物件可能在不久後將與非追蹤物件重疊;重疊狀態是指先前追蹤的物件與非追蹤的物件發生了遮蔽,而重疊形成了一個相連物件。
當追蹤物件與非追蹤物件發生重疊狀態時,將提高物件追蹤之難度,且經常發生追蹤失敗的技術課題。
本發明之一主要目的在於提供一種物件追蹤方法,其透過建立追蹤物件與非追蹤物件兩者之間的位置關係,當判斷二物件為一接近狀態時,則預先建立至少一個分離模板影像,並於二物件發生重疊狀態時,藉由擷取特徵點並與分離模板影像進行匹配程序,而能有效區分追蹤物件與非追蹤物件,藉以解決因發生重疊而追蹤失敗的問題。
根據一實施例,本發明所揭露之物件追蹤方法包括下列步驟:分別建立一追蹤物件與一非追蹤物件之一輪廓區域;根據該二輪廓區域,判斷該追蹤物件與該非追蹤物件之一狀態關係,其中,該狀態關係包括一分離狀態、一接近狀態與一重疊狀態;當該追蹤物件與該非追蹤物件為一接近狀態,則對該二物件中至少一物件的一分離範圍建立至少一分離模板影像;當該追蹤物件與該非追蹤物件為一重疊狀態,共同形成一重疊物件時,擷取此重疊物件輪廓區域內之所有特徵點;將所有特徵點分別與該分離模板影像進行匹配程序,以取得對應之匹配誤差分數;比較該匹配誤差分數與一門檻值,藉以判定此一特徵點屬於追蹤物件或非追蹤物件,而能有效區分追蹤物件與非追蹤物件。
因此,透過上述之物件追蹤方法,本發明可以利用分離模板影像作為參考依據,有效區分追蹤物件與非追蹤物件。
本發明之另一目的在於提供一種物件追蹤方法,當追蹤物件與非追蹤物件重疊時,仍能有效界定追蹤物件的中心點及其可能的矩形輪廓,用以在重疊物件中顯示被追蹤物件的位置。
根據一實施例,當追蹤物件與非追蹤物件發生重疊狀態時,該物件追蹤方法更包括下列步驟:設定該經匹配及比較後判定屬於追蹤物件之所有特徵點為一第一類特徵點;設定該經匹配及比較後判定屬於非追蹤物件之所有特徵點為一第二類特徵點;清除所有第二類特徵點的二元影像值,例如將第二類特徵點的二元影像值由1置換為0,以破壞非追蹤物件的二元結構;執行一距離轉換程序,取得所有第一類特徵點的二元距離值;於所有二元距離值中,選取一擁有最大二元距離值的位置為該追蹤物件之中心點。
本發明之又一目的在於提供一種物件追蹤方法,當追蹤物件與非追蹤物件重疊時,可以有效判斷兩者之間的遮蔽關係,以利追蹤時的判斷有效性。
根據一實施例,該物件追蹤方法另包括下列步驟:設定經匹配及比較後判定屬於追蹤物件之所有特徵點為一第一類特徵點;設定經匹配及比較後判定屬於非追蹤物件之所有特徵點為一第二類特徵點;在重疊期間內,計算及比較該第一類特徵點與該第二類特徵點的減少比例;當該第一類特徵點的減少比例大於該第二類特徵點的減少比例時,判定為非追蹤物件遮蔽追蹤物件,反之判定為追蹤物件遮蔽非追蹤物件。
因此,透過第一類特徵點與第二類特徵點的減少比例關係,可以知道追蹤物件與非追蹤物件的分布關係,特徵點減少比例越高的物件可認定為被遮蔽的物件。
以下係以實施例揭露本發明之物件追蹤方法。
請參考第1及2圖所示,第1圖為本發明物件追蹤方法之一實施例的流程圖,第2圖為第1圖步驟S10之子步驟的流程圖。本實施例中所述之物件追蹤方法可應用一具有影像擷取裝置之資訊處理平台,例如,個人電腦、筆記型電腦等資訊處理裝置。該方法包括步驟:S10 分別建立一追蹤物件與一非追蹤物件之一輪廓區域;S11 根據該二輪廓區域,判斷該追蹤物件與該非追蹤物件之一狀態關係,其中,該狀態關係包括一分離狀態、一接近狀態與一重疊狀態;S12 當該追蹤物件與該非追蹤物件為一接近狀態,則對該二物件中至少一物件的一分離範圍建立至少一分離模板影像;S13 當該追蹤物件與該非追蹤物件為一重疊狀態,共同形成為一重疊物件時,擷取該重疊物件內之所有特徵點;S14 將所有特徵點與該分離模板影像分別進行一匹配程序,以取得一對應之匹配誤差分數;S15 比較該匹配誤差分數與一門檻值,藉以判定該特徵點係屬於該追蹤物件或該非追蹤物件者。
每一個物件皆會具有一各自的輪廓區域描述,於本實施例,各物件之輪廓區域可為但不限於一矩形輪廓,各該輪廓區域具有一物件寬度w、一物件高度h與該物件之一左上角座標值(x,y)的資訊。步驟S10所述之輪廓區域R,為表示與說明的方便,於此定義指在t時刻之第i個物件的矩形輪廓,O t
為在t時刻之追蹤物件的矩形輪廓,而C t
為在t時刻之非追蹤物件的矩形輪廓。其中的4項訊息分別表示為R.x、R.y、R.w和R.h。
在追蹤過程中,我們常將當前影像中的物件,逐一計算第i個物件矩形輪廓與前一時刻的追蹤物件矩形輪廓O t -1
的重疊比例B i
。Area
(O t -1
)為t-1時刻的追蹤物件的矩形面積,Area
()為在t時刻之第i個物件的矩形面積,X left
、X right
、Y top
和Y bottom
分別為第i個物件與t-1時刻追蹤物件之交集矩形的最左、最右、最上和最下的位置數值,也就是
X left
=max
(O t -1
.x
,.x
)
Y top
=max
(O t -1
.y
,.y
)
X right
=min
(O t -1
.x
+O t -1
.w
,.x
+.w
)
Y bottom
=min
(O t -1
.y
+O t -1
.h
,.y
+.h
)
假如X left
>X right
或者Y top
>Y bottom
,代表此交集矩形為空集合,即與O t -1
沒有相交。當與O t -1
有相交時,它們的重疊比例B i
計算方式為
在所有物件中,我們選擇具有最高重疊比例的物件i *
為當前時刻的追蹤物件,也就是
在得到i *
之後,則以第i *
個物件的矩形輪廓來產生第t時刻的追蹤物件矩形輪廓,即O t
=。另外,每一個非i *
的物件矩形輪廓均可作為非追蹤物件的矩形輪廓C t
。
因此,根據上述之說明,本發明之物件追蹤方法所述之步驟S10,進一步包括以下子步驟:S100 對一影像中之多個物件,分別建立一對應之輪廓區域,其中,各該輪廓區域具有該對應之物件的一物件寬度w、一物件高度h與該物件之一左上角座標值(x,y)的資訊;S101 於該些物件中,選取至少一個追蹤物件;S102 計算每一個追蹤物件於一第一時間(即上述之t-1時間)的一第一區域面積與該影像中所有物件於一第二時間(即上述之t時間)的一第二區域面積;S103 根據該第一區域面積,依序對該些第二區域面積計算交集程度,以對應取得一重疊比例;S104 選取具有最高重疊比例之第二區域面積的物件作為當前的一追蹤物件。
如第2圖所示,當該資訊處理平台面對影像中多個物件時,在t與t-1時間對物件進行比對,找出最高重疊比例,簡言之,資訊處理平台可以依序重複執行步驟S100至S104對每一個物件進行追蹤,而將重疊比例較低的物件選定為非追蹤物件。
請參考第3與4圖所示,第3圖為第1圖所述之步驟S11的子步驟示意圖;第4圖為追蹤物件與非追蹤物件之狀態關係示意圖。如第3圖所示,當追蹤物件與非追蹤物件被清楚定義後,該資訊處理平台接著執行步驟S11,根據物件輪廓的大小,來建立其檢測範圍,用作檢查物件間是否接近的判斷依據,步驟S11進一步包括子步驟有:S110 根據該追蹤物件與該非追蹤物件之該輪廓區域大小,以及各該輪廓區域之該物件寬度w、該物件高度h與該左上角座標值(x,y)資訊,以一預定規則對該追蹤物五建立一第一檢測範圍及對非追蹤物件建立一第二檢測範圍;S111 當該第一檢測範圍與該第二檢測範圍不相交時,該狀態關係為一分離狀態;S112 當該第一檢測範圍與該第二檢測範圍為一相交狀態時,該狀態關係為一接近狀態或重疊狀態;S113 在相交狀態時建立一警戒範圍,並計算該警戒範圍與該第一檢測範圍的一重疊比率;S114 當該重疊比率低於一警戒門檻值,該狀態關係為該接近狀態;S115 當該重疊比率高於該警戒門檻值,該狀態關係為一重疊狀態。
其中,該預定規則可由以下關係式表示:
因此,當檢測範圍建立後,便可藉由判斷追蹤物件的檢測範圍與非追蹤物件的檢測範圍是否有發生重疊,來判斷物件間的狀態。
步驟S111與S112所述之相交/不相交,則是利用步驟S103之重疊比例來進行判斷,換言之,當該重疊比例大於0時,即表示追蹤物件與非追蹤物件為一接近狀態,該重疊比例等於0時,即兩物件不相交,為一分離狀態。
搭配第4圖所示,步驟S113所述之該警戒範圍A t
,是用於紀錄接近狀態中追蹤物件矩形輪廓O t
與非追蹤物件矩形輪廓C t
的於t時刻整體範圍,也就是:
A left
=min
(O t .x,C t .x
)
A top
=min
(O t .y,C t .y
)
A right
=max
(O t .x
+O t .w,C t
.x
+C t .w
)
A bottom
=max
(O t .y
+O t .h,C t .y
+C t .h
)
由於A left
、A top
、A right
、A bottom
分別為警戒範圍的左邊、上邊、右邊以及下邊的座標數值,所以警戒範圍A t
的矩形輪廓表示為(A left ,A top , A right
-A left ,A bottom
-A top
)。警戒範圍會根據狀態的不同,所記錄的範圍也不相同,當狀態由接近轉換為分離狀態時,兩物件間就不再需要警戒範圍;當狀態由接近轉換為重疊時,即t-1時刻的追蹤物件o t -1
與某一非追蹤物件C t -1
於t時刻發生了重疊,共同形成了一個重疊物件。在重疊狀態時,重疊物件由於與前一刻的追蹤物件o t -1
有相當高的重疊比例,將被選為此時刻的追蹤物件,然後記錄其矩形輪廓為o t
以及警戒範圍A t
。
於一實施例,該警戒門檻值為0.7,該警戒門檻值可依據物件之該輪廓區域與該警戒範圍調整,其警戒門檻值之範圍介於0.9至0.01。
當該追蹤物件與非追蹤物件之狀態關係為一接近狀態時,如步驟S12與S13所述,資訊處理平台會對該非追蹤物件或該追蹤物件中至少一物件之一分離範圍建立至少一分離模板影像,該分離範圍為該追蹤物件與該非追蹤物件之輪廓區域的集合。該分離模板影像則包括該非追蹤物件於該分離範圍內之特徵點。
下文中將以對該非追蹤物件之一分離範圍建立一分離模板影像為例說明;惟在接近狀態時,仍得選擇對該追蹤物件之一分離範圍建立一分離模板影像,或選擇對該非追蹤物件及該追蹤物件之一分離範圍分別建立一分離模板影像,並以該至少一個分離模板影像,作為重疊狀態時所擷取特徵點的匹配比對基礎;對於熟悉本類技藝之入士,選擇對該非追蹤物件及/或對該追蹤物件建立分離模板影像,係屬於顯而易知之等效實施,本文中恕不另贅述。
當該追蹤物件與非追蹤物件之狀態關係為一接近狀態時,以對該非追蹤物件之一分離範圍建立一分離模板影像為例時,其擷取特徵點及匹配比對方式,說明如下:
當狀態關係自接近狀態改變為重疊狀態時,資訊處理平台則對該追蹤物件與非追蹤物件重疊後的重疊物件內進行所有特徵點的擷取,該些特徵點擷取的方法可為局部二值模式(Local Binary Pattern,LBP)、尺度不變特徵轉換模式(Scale-Invariant Feature Transform,SIFT)、加速穩健特徵模式(Speeded Up Robost Features,SURF)或其它角點偵測等方法。
於一實施例中,本發明是採用LBP模式進行特徵值擷取(步驟S13)與區塊比對法(Block Matching)之差異值平方和(Sum of Squared Difference,SSD)的方法進行特徵值匹配程序(步驟S14),以下說明如下:
當追蹤物件進入重疊狀態,系統將於目前重疊物件的矩形輪廓內進行特徵點抽取,並將所抽取的所有特徵點於接近狀態對非追蹤物件所建立的分離模板中進行區塊匹配運算,用來尋找特徵點於分離模板上所對應的位置。區塊比對法(Block Matching)為一種常用的相似度比較的方法,下面實施以SSD(Sum of squared distance)為例。於當前影像I t
中進行特徵點抽取,所抽取到的特徵點個數為n,逐一將每一個特徵點f i
=(x,y
),1<i n
對應到分離模板所記錄的比對影像I *
相同的位置上,給予一個位移向量(u
,v
),於位置p i
=(x
+u,y
+u
)上做誤差量計算,其中p i
的位置必須落在分離範圍R *
內,而誤差量計算方法如下:
其中B為以特徵點f i
為中心,所建立的樣板區塊(Template Block)範圍限制。當SSD的值越小,表示其對應的位置間相似度越高,反之計算的差異量越大則表示相似度越低。每一個特徵點f i
會在分離模板上尋找有具有最小誤差量的一組位移量(u * ,v *
),即
當找到(u * ,v *
)之後,即可得出最佳的匹配位置=(x
+u * ,y
+v *
),並且誤差量SSD ( x,y )
(u * ,v *
)可做為特徵點分類的根據。當特徵點為非追蹤物件上的特徵點時,因為所記錄的分離模板正是以重疊前的非追蹤物件為記錄目標,因此其SSD誤差量皆偏低;反之,特徵點若為追蹤物件上的特徵點,由於分離範圍R *
內並沒有記錄追蹤物件的資訊,因此其SSD誤差量皆偏高。於此,SSD誤差量定義為匹配誤差分數。
如步驟S14與S15所述,透過固定的門檻值T D
,來將特徵點f i
分類。假設代表第i個特徵點f i
的匹配誤差分數,當低於門檻值T D
者,表示所對應的特徵點為非追蹤物件上的特徵點;高於門檻值T D
者,則表示所對應的特徵點為追蹤物件上的特徵點;藉此可以清楚當物件相互重疊時,追蹤物件與非追蹤物件之兩者的特徵點分布,進而達到區分追蹤物件的效果。
同理,在接近狀態時,如果選擇對該追蹤物件的分離範圍建立該分離模板影像,則在重疊狀態進行匹配比對程序時,當低於門檻值T D
者,表示所對應的特徵點為追蹤物件上的特徵點;高於門檻值T D
者,則表示所對應的特徵點為非追蹤物件上的特徵點。
又,在接近狀態時,如果選擇同時對該非追蹤物件與該追蹤物件的分離範圍分別建立一分離模板影像,則在重疊狀態進行匹配比對程序時,可產生二個匹配誤差分數,使其分別與該門檻值比較及二個匹配誤差分數間相互比較,即能提高匹配比對的準確性。
此外,請參考第5圖所示,第5圖為本發明物件追蹤方法之另一實施例的流程圖。當追蹤物件與非追蹤物件具有近似特性時,為了讓兩者在重疊狀態時,仍可成功追蹤該追蹤物件,本發明之物件追蹤方法,於一實施例,其另包括下列步驟:S50 設定經匹配及比較後判定屬於該追蹤物件之所有特徵點為一第一類特徵點;S51 設定經匹配及比較後判定屬於該非追蹤物件之所有特徵點為一第二特徵點;S52 清除所有第二類特徵點的二元影像值,例如將第二類特徵點的二元影像值由1置換為0,以破壞非追蹤物件的二元結構;S53 執行一距離轉換程序,取得所有第一類特徵點的二元距離值;S54 於所有二元距離值中,選取一擁有最大二元距離值的位置為該追蹤物件之中心點。
根據一實施例,本發明之追蹤方法應用於一手部定位,相關說明如下:
首先,在特徵二元影像上,使用距離轉換(Distance Transform)演算法將二元影像轉換為距離影像,距離影像上的數值,反應著物件上每一個位置與物件邊緣於上下左右四方向中的最短距離,故接近物件邊緣的位置其數值較小,離物件邊緣遠的位置其數值較大。
當重疊發生時,由於手部與其他物件(如:臉部)重疊成一塊,因此若使用距離轉換演算法來找出具有最大距離者,可能會發生擁有最大距離者是位於臉部的情況(因為臉部的皮膚與手的皮膚具有近似的顏色分布,以致在它們二元影像中經常被當作感興趣的影像點),而因此無法正確地找出手心位置。
根據步驟S52,清除所有第二類特徵點的二元影像值,例如將第二類特徵點的二元影像值由1置換為0,其目的便是要破壞位於臉部(或其他非追蹤物件)之二元結構,讓邊緣資訊出現在臉部內部,使得距離轉換後,最大的數值能夠避開臉部而順利地出現於於手部位置。
藉由手心點的位置與其位置上的距離轉換數值,我們可在重疊情況下假定出手部可能的矩形輪廓,用於顯示重疊物件中手部的位置。在距離轉換影像中,假如手心點的座標為(x,y
),而其數值為DT
,則假定手部輪廓HR
為:
HR
=(x
-2DT,y
-2.72DT,
4DT,
4DT
)。
此外,本發明之物件追蹤方法除了可以判斷追蹤物件與非追蹤物件的狀態關係,以及有效在重疊狀態的關係下,定位出該追蹤物件之中心位置外,亦可用於判斷該追蹤物件與非追蹤物件之遮蔽狀態。
請參考第6圖所示,第6圖為本發明物件追蹤方法之一實施例的流程圖。根據一實施例,該物件追蹤方法另包括下列步驟:S60 設定經匹配及比較後判定屬於該追蹤物件之所有特徵點為一第一類特徵點;S61 設定經匹配及比較後判定屬於該非追蹤物件之所有特徵點為一第二類特徵點;S62 計算及比較該第一類特徵點與該第二類特徵點的減少比例;S63 當該第一類特徵點的減少比例大於該第二類特徵點的減少比例時,判定為非追蹤物件遮蔽追蹤物件,反之判定為追蹤物件遮蔽非追蹤物件。
因此我們可以藉由判斷由當前影像所偵測到的特徵點中,位於分離模板所記錄的分離範圍內,屬於非追蹤物件的特徵點(即第二類特徵點)個數K C
與屬於追蹤物件的特徵點(即第一類特徵點)個數K 0
,並依據K C
與K O
的個數變化,作為在重疊狀態時,判斷該追蹤物件與非追蹤物件相互間的遮蔽關係之依據。
當追蹤物件逐漸地遮蔽非追蹤物件時,其重疊物件的矩形輪廓中第一類特徵點個數K o
逐漸增加;第二類特徵點個數K C
則逐漸減少,亦即該第一類特徵點的減少比例小於該第二類特徵點的減少比例,即可判定為該追蹤物件遮蔽該非追蹤物件。如果以第二類特徵點個數K C
與第一類特徵點個數K O
之間的比值K
,即:
當第一類特徵點個數K O
逐漸增加,而第二類特徵點個數K C
逐漸減少時,比值K逐漸變大,亦可判定為該追蹤物件遮蔽該非追蹤物件。
反之,追蹤物件逐漸地被非追蹤物件遮蔽的情況,其重疊物件的矩形輪廓中的第一類特徵點因為被遮蔽而逐漸消失,使其個數K O
逐漸減少;而第二類特徵點個數K C
則穩定地陸續出現於前景,使其個數K C
逐漸增加,亦即該第一類特徵點的減少比例大於該第二類特徵點的減少比例,即可判定為該非追蹤物件遮蔽該追蹤物件。如果以比值K
判斷時,比值K
呈逐漸變小的趨勢。
資訊處理平台可預先設定一個固定的遮蔽係數T K
,根據比值K
來判斷物件的遮蔽狀態:當比值K
的變大比例大於遮蔽係數T K
,則可判斷為追蹤物件遮蔽非追蹤物件的狀態;若比值K
的變小比例大於遮蔽係數T K
,則判斷為非追蹤物件遮蔽追蹤物件的狀態。
綜上所述,本發明之物件追蹤方法透過建立追蹤物件與非追蹤物件兩者之間的位置關係,以及在二物件處於接近狀態時,預先建立至少一分離模板影像,以便在二物件發生重疊時,以該分離模板影像作為特徵點匹配比對的基礎,來解決因發生重疊而追蹤失敗的問題,可有效提升物件追蹤的效率與準確率。
上列詳細說明係針對本發明之可行實施例之具體說明,惟上述實施例並非用以限制本發明之專利範圍,凡未脫離本發明技藝精神所為之等效實施或變更,均應包含於本案之專利範圍中。
A t
...警戒範圍
O t
、C t
...輪廓
...檢測範圍
第1圖為本發明物件追蹤方法之一實施例的流程圖。
第2圖為第1圖步驟S10之子步驟的流程圖。
第3圖為第1圖所述之步驟S11的子步驟示意圖。
第4圖為追蹤物件與非追蹤物件之狀態關係示意圖。
第5圖為本發明物件追蹤方法之另一實施例的流程圖。
第6圖為本發明物件追蹤方法之另一實施例的流程圖。
Claims (7)
- 一種物件追蹤方法,包括下列步驟:分別建立一追蹤物件與一非追蹤物件之一輪廓區域;根據該二個輪廓區域,判斷該追蹤物件與該非追蹤物件之一狀態關係,其中,該狀態關係包括一分離狀態、一接近狀態與一重疊狀態,其中,該根據該二個輪廓區域,判斷該追蹤物件與該非追蹤物件之該狀態關係的步驟,更包括下列步驟:根據該追蹤物件與該非追蹤物件之該輪廓區域大小,以及各該輪廓區域之該物件寬度、該物件高度與該左上角座標值資訊,以一預定規則對該追蹤物件建立一第一檢測範圍及對該非追蹤物件建立一第二檢測範圍;當該第一檢測範圍與該第二檢測範圍不相交時,該狀態關係為該分離狀態;當該第一檢測範圍與該第二檢測範圍為一相交狀態時,建立一警戒範圍,並計算該警戒範圍與該第一檢測範圍的一重疊比率;以及當該重疊比率低於一警戒門檻值時,該狀態關係為該接近狀態;反之,當該重疊比率高於該警戒門檻值時,該狀態關係為該重疊狀態;當該追蹤物件與該非追蹤物件為一接近狀態,則對該追蹤物件及該非追蹤物件中至少一物件的之一分離範圍建立至少一分離模板影像;當該追蹤物件與該非追蹤物件為一重疊狀態,共同形成一重疊物件時,擷取該重疊物件輪廓區域內之所有特徵點;將所有特徵點分別與該分離模板影像進行一匹配程序,以 取得一對應之匹配誤差分數;比較該匹配誤差分數與一門檻值,藉以判定該特徵點屬於該追蹤物件或該非追蹤物件者;以及當該追蹤物件與該非追蹤物件被判斷為該重疊狀態時,更包括下列步驟:設定經匹配及比較後判定屬於該追蹤物件之所有特徵點為一第一類特徵點;設定經匹配及比較後判定屬於該非追蹤物件之所有特徵點為一第二類特徵點;清除所有第二類特徵點的二元影像值;執行一距離轉換程序,取得所有第一類特徵點的二元距離值;以及於該等二元距離值中,選取一擁有最大二元距離值的位置為該追蹤物件之一中心點。
- 如申請專利範圍第1 項所述之物件追蹤方法,其中,當該追蹤物件與該非追蹤物件為該接近狀態時,係對該非追蹤物件建立該分離模板影像;如此,在比較該匹配誤差分數與該門檻值時,當該匹配誤差分數大於該門檻值,判定該特徵點屬於該追蹤物件;反之,判定該特徵點屬於該非追蹤物件者。
- 如申請專利範圍第1 項所述之物件追蹤方法,其中,當該追蹤物件與該非追蹤物件為該接近狀態時,係對該追蹤物件建立該分離模板影像;如此,在比較該匹配誤差分數與該門檻值時,當該匹配誤差分數大於該門檻值,判定該特徵點屬於該非追蹤物件;反之,判定該特徵點屬於該追蹤物件者。
- 如申請專利範圍第1 項所述之物件追蹤方法,其中,該分 別建立該追蹤物件與該非追蹤物件之該輪廓區域的步驟,更包括下列步驟:對一影像中之多個物件,分別建立一對應之輪廓區域,其中,各該輪廓區域分別具有其所對應之物件的一物件寬度、一物件高度與一物件左上角座標值等資訊;於該多個物件中,選取至少一個追蹤物件;計算該等追蹤物件於一第一時間的一第一區域面積與該影像中所有物件於一第二時間的一第二區域面積;根據該第一區域面積,依序對各第二區域面積計算交集程度,以對應取得一重疊比例;以及選取具有最高重疊比例之第二區域面積的物件,作為當前的一追蹤物件。
- 如申請專利範圍第1 項所述之物件追蹤方法,其中,該擷取該重疊物件輪廓區域內之所有特徵點的步驟,係選用自局部二值模式、尺度不變特徵轉換模式、加速穩健特徵模式及其它角點偵測等方法中之一者。
- 如申請專利範圍第1 項所述之物件追蹤方法,其中,該匹配程序係選用自差異值平方和(Sum of Squared Difference,SSD)及其它區塊比對方法中之一者。
- 如申請專利範圍第1 項所述之物件追蹤方法,當該追蹤物件與該非追蹤物件被判斷為該重疊狀態時,進一步更包括下列步驟:計算及比較該第一類特徵點與該第二類特徵點的減少比例;以及 當該第一類特徵點的減少比例大於該第二類特徵點的減少比例時,判定為該非追蹤物件遮蔽該追蹤物件,反之判定為該追蹤物件遮蔽該非追蹤物件。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101111784A TWI479431B (zh) | 2012-04-03 | 2012-04-03 | 物件追蹤方法 |
US13/527,429 US8929597B2 (en) | 2012-04-03 | 2012-06-19 | Method of tracking objects |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101111784A TWI479431B (zh) | 2012-04-03 | 2012-04-03 | 物件追蹤方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201342254A TW201342254A (zh) | 2013-10-16 |
TWI479431B true TWI479431B (zh) | 2015-04-01 |
Family
ID=49235078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101111784A TWI479431B (zh) | 2012-04-03 | 2012-04-03 | 物件追蹤方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8929597B2 (zh) |
TW (1) | TWI479431B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9053191B2 (en) * | 2012-08-30 | 2015-06-09 | Facebook, Inc. | Retroactive search of objects using k-d tree |
EP2994884A4 (en) * | 2013-05-09 | 2017-03-08 | Tata Consultancy Services Limited | Method and apparatus for image matching |
RU2014113049A (ru) * | 2014-04-03 | 2015-10-10 | ЭлЭсАй Корпорейшн | Процессор изображений, содержащий систему распознавания жестов со слежением за объектом на основании вычислительных признаков контуров для двух или более объектов |
CN105139406B (zh) * | 2015-09-08 | 2018-02-23 | 哈尔滨工业大学 | 一种基于序列图像的跟踪精度反演方法 |
EP3381016A4 (en) * | 2015-11-26 | 2019-06-12 | Sportlogiq Inc. | SYSTEMS AND METHODS FOR OBJECT TRACKING AND LOCATION IN VIDEOS WITH ADAPTIVE IMAGE REPRESENTATION |
TWI586936B (zh) * | 2016-05-20 | 2017-06-11 | 國立交通大學 | 實體影像與虛擬影像之間轉換的方法及其系統 |
US9781565B1 (en) | 2016-06-01 | 2017-10-03 | International Business Machines Corporation | Mobile device inference and location prediction of a moving object of interest |
JP2019017867A (ja) * | 2017-07-20 | 2019-02-07 | 株式会社東芝 | 情報処理装置、情報処理システム、およびプログラム |
US11004209B2 (en) * | 2017-10-26 | 2021-05-11 | Qualcomm Incorporated | Methods and systems for applying complex object detection in a video analytics system |
WO2020000270A1 (zh) * | 2018-06-27 | 2020-01-02 | 华为技术有限公司 | 一种图像处理方法、装置及系统 |
CN110688873A (zh) * | 2018-07-04 | 2020-01-14 | 上海智臻智能网络科技股份有限公司 | 多目标追踪方法及人脸识别方法 |
TWI688902B (zh) * | 2018-08-31 | 2020-03-21 | 國立中正大學 | 應用於表情辨識之拓展式局部二值模式方法及其系統 |
US20220189038A1 (en) * | 2019-03-27 | 2022-06-16 | Nec Corporation | Object tracking apparatus, control method, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080240496A1 (en) * | 2007-03-26 | 2008-10-02 | Senior Andrew W | Approach for resolving occlusions, splits and merges in video images |
TW200945218A (en) * | 2008-03-03 | 2009-11-01 | Videoiq Inc | Dynamic object classification |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8111873B2 (en) * | 2005-03-18 | 2012-02-07 | Cognimatics Ab | Method for tracking objects in a scene |
JP4515332B2 (ja) * | 2005-05-30 | 2010-07-28 | オリンパス株式会社 | 画像処理装置及び対象領域追跡プログラム |
US8253800B2 (en) * | 2006-06-28 | 2012-08-28 | Nikon Corporation | Tracking device, automatic focusing device, and camera |
KR100818289B1 (ko) * | 2007-02-02 | 2008-03-31 | 삼성전자주식회사 | 비디오 영상 트레킹 방법 및 장치 |
TWI413024B (zh) * | 2009-11-19 | 2013-10-21 | Ind Tech Res Inst | 物件偵測方法及系統 |
JP5528151B2 (ja) * | 2010-02-19 | 2014-06-25 | パナソニック株式会社 | 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム |
KR101237970B1 (ko) * | 2011-01-17 | 2013-02-28 | 포항공과대학교 산학협력단 | 영상 감시 시스템, 및 이의 방치 및 도난 검출 방법 |
CN103207879B (zh) * | 2012-01-17 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 图像索引的生成方法及设备 |
-
2012
- 2012-04-03 TW TW101111784A patent/TWI479431B/zh not_active IP Right Cessation
- 2012-06-19 US US13/527,429 patent/US8929597B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080240496A1 (en) * | 2007-03-26 | 2008-10-02 | Senior Andrew W | Approach for resolving occlusions, splits and merges in video images |
TW200945218A (en) * | 2008-03-03 | 2009-11-01 | Videoiq Inc | Dynamic object classification |
TW201005656A (en) * | 2008-03-03 | 2010-02-01 | Videoiq Inc | Object matching for tracking, indexing, and search |
Non-Patent Citations (1)
Title |
---|
"Effective Hierarchical Background Modeling and Foreground in Surveillance Systems", Proceedings Of The 14th International CSI Computer Conference, 20091021 * |
Also Published As
Publication number | Publication date |
---|---|
US20130259302A1 (en) | 2013-10-03 |
TW201342254A (zh) | 2013-10-16 |
US8929597B2 (en) | 2015-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI479431B (zh) | 物件追蹤方法 | |
JP5907593B2 (ja) | 画像認識装置、画像認識方法及びプログラム | |
KR101690981B1 (ko) | 형태 인식 방법 및 디바이스 | |
KR101701069B1 (ko) | 매칭 처리 장치, 매칭 처리 방법, 및 그것을 이용한 검사 장치 | |
JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
KR101822185B1 (ko) | 3d 포인트 클라우드 poi 검출 방법 및 장치 | |
EP2980755B1 (en) | Method for partitioning area, and inspection device | |
US9171222B2 (en) | Image processing device, image capturing device, and image processing method for tracking a subject in images | |
WO2015149712A1 (zh) | 一种指向交互方法、装置及系统 | |
JP6277750B2 (ja) | 画像処理装置及び方法 | |
JP2002342756A (ja) | デジタル画像において目と口の位置を検出する方法 | |
CN102521579B (zh) | 一种基于二维平面摄像头推的动作识别方法及系统 | |
JP2010117772A (ja) | 特徴量抽出装置、物体識別装置及び特徴量抽出方法 | |
Shivakumara et al. | New gradient-spatial-structural features for video script identification | |
CN110428438B (zh) | 一种单木建模方法、装置和存储介质 | |
JP2008146329A (ja) | 顔特徴点検出装置及びその方法 | |
WO2013075295A1 (zh) | 低分辨率视频的服装识别方法及系统 | |
Song et al. | Boundary-to-marker evidence-controlled segmentation and MDL-based contour inference for overlapping nuclei | |
CN114067147A (zh) | 一种基于局部形状匹配的舰船目标确认方法 | |
KR20230030501A (ko) | 기하학적 패턴 매칭 방법 및 이러한 방법을 수행하는 장치 | |
Hagara et al. | Fingertip detection for virtual keyboard based on camera | |
JP5217917B2 (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
KR101758693B1 (ko) | 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치 | |
KR101931220B1 (ko) | 인체 부위 측정 장치 및 방법 | |
JP6098498B2 (ja) | 情報処理装置、情報処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |