TWI553512B

TWI553512B - 一種手勢辨識追蹤方法

Info

Publication number: TWI553512B
Application number: TW104100368A
Authority: TW
Inventors: 洪西進; 陳以辰
Original assignee: 國立臺灣科技大學
Priority date: 2015-01-07
Filing date: 2015-01-07
Publication date: 2016-10-11
Also published as: TW201626172A

Description

一種手勢辨識追蹤方法

本發明係關於一種手勢辨識追蹤方法，尤其係關於一種手勢辨識追蹤方法，用以辨識與追蹤一手勢。

在現有的科技領域內，運用手勢辨識的領域已擴及至許多產業上，如汽車、智能電視(Smart TV)及行動手機等，其在影像處理領域上，透過手勢辨識增加其功能性上的操作，以拓展人機互動領域上的科技發展。

目前相關之科技產業已投入許多相關研究在此關領域上。其中對於即時手勢辨識領域如何達到良好的手勢辨識效果、辨識率及辨識速度，為目前研究發展的重點之一。因此，如何設計出一種能良好的辨識率及辨識速度的手勢辨識及追蹤的方法，使得縮短使用者與機器間的距離，並且使人機界面朝向更有效率、更合乎人性化及更多樣化的方向邁進，乃為本案所欲行克服並加以解決的一大課題。

為了解決上述習知技術之問題，本發明提供手勢辨識追蹤方法。首先，本發明之手勢辨識追蹤方法，用以辨識與追蹤一手勢，其包含有以下步驟：連續拍攝手勢以產生一影像序列；前處理影像序列以分別產生一二值化影像序列以及一輪廓影像；根據二值化影像序列進行一指尖點特徵偵測以產生一手部區域；對應手部區域至輪廓影像以進行一手指比例判定以產生一樣本區塊，並在影像序列中掃描一候選區塊；以及分別計算樣本區塊及候選區塊之特徵值並比較樣本區塊以及候選區塊之特徵值，以及分別計算樣本區塊及候選區塊之色彩分布密度函數並比較樣本區塊以及候選區塊之色彩分布密度函數，藉以追蹤手勢。

前處理影像序列以分別產生二值化影像序列以及輪廓影像之步驟更包含下列步驟：利用一時間差相減法將影像序列中之前後兩張連續影像相減後作二值化處理以產生一前景二值化影像；侵蝕運算前景二值化影像，藉以濾除前景二值化影像中之雜訊；擴張運算經侵蝕運算後之前景二值化影像，藉以還原前景二值化影像之影像大小，並且修復中空的物體；連通結構標示經擴張運算後之前景二值化影像，藉由將相連的區域標示為相同區塊，分離的區域標示為不同的區塊，藉以產生二值化影像序列；以及Sobel邊緣偵測經連通結構標示後之前景二值化影像以產生輪廓影像。

根據二值化影像序列進行指尖點特徵偵測以產生手部區域之步驟更包含下列步驟：累加二值化影像序列以產生一累加二值化影像；連通結構標示累加二值化影像後進行數字矩陣轉換以產生一數字矩陣；由上而下由左而右，用7*7遮罩掃描數字矩陣以辨識出一組可能指尖點；將該組可能指尖點投影至Y軸，若呈現四個可能指尖點由上至下的間隔距離皆不超過8個像素，則產生四個指尖點；以及根據四個指尖點中最高之指尖點相對應的位置進行橫向距離掃瞄，藉由判斷是否有呈現四段連續性的像素點1之線段，藉以辨識手部區域。

分別計算樣本區塊及候選區塊之特徵值並比較樣本區塊以及候選區塊之特徵值，以及分別計算樣本區塊及候選區塊之色彩分布密度函數並比較樣本區塊以及候選區塊之色彩分布密度函數，藉以追蹤手勢之步驟中可以根據Haar-like Feature計算與比較樣本區塊以及候選區塊之特徵值以追蹤手勢。

分別計算樣本區塊及候選區塊之特徵值並比較樣本區塊以及候選區塊之特徵值，以及分別計算樣本區塊及候選區塊之色彩分布密度函數並比較樣本區塊以及候選區塊之色彩分布密度函數，藉以追蹤手勢之步驟更包含下列步驟：根據樣本區塊以取得樣本區塊之特徵值；掃描該樣本區塊以取得該候選區塊之特徵值；以及比較樣本區塊之特徵值以及候選區塊之特徵值以追蹤手勢。

分別計算樣本區塊及候選區塊之特徵值並比較樣本區塊以及候選區塊之特徵值，以及分別計算樣本區塊及候選區塊之色彩分布密度函數並比較樣本區塊以及候選區塊之色彩分布密度函數，藉以追蹤手勢之步驟中可以使用平均位移(Mean Shift)做追蹤，透過比對樣本區塊與候選區塊之色彩分布密度函數的相似程度以追蹤手勢。

相較於習知技術，本發明係提出了一種手勢辨識追蹤方法，其利用指尖點特徵偵測法及比例判定法進行手部定位，並於追蹤上混合Haar-like feature與Meanshift(平均位移)兩個方法來進行追蹤。本發明之手勢辨識追蹤方法可進行手部定位、追蹤與功能性的手勢動作指令辨識，且在受干擾及複雜的環境下可有效辨識手勢指令，以達到即時手勢辨識的效果。

關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。

S1~S5‧‧‧步驟

S21~S25‧‧‧步驟

S31~S35‧‧‧步驟

S51~S53‧‧‧步驟

1‧‧‧手勢辨識追蹤系統

10‧‧‧影像輸入模組

11‧‧‧影像前處理模組

12‧‧‧手部定位模組

13‧‧‧手部追蹤模組

14‧‧‧輸出模組

2‧‧‧電子儀器

20‧‧‧影像擷取裝置

圖一係繪示本發明之手勢辨識追蹤系統於一具體實施例之功能方塊圖。

圖二係繪示本發明之手勢辨識追蹤方法於一具體實施例之方法流程圖。

圖三係繪示本發明之手勢辨識追蹤方法於一具體實施例之方法流程圖。

圖四係繪示本發明之手勢辨識追蹤方法於一具體實施例之方法流程圖。

圖五係繪示本發明之手勢辨識追蹤方法於一具體實施例之方法流程圖。

為了讓本發明的目的、特徵和優點能夠更加明顯易懂，下面結合所附圖式對本發明之手勢辨識追蹤方法之具體實施方式做詳細之說明。

請參閱圖一，圖一係繪示本發明之手勢辨識追蹤系統於一具體實施例之功能方塊圖。手勢辨識追蹤系統1應用於一電子儀器2。電子儀器2具有一影像擷取裝置20。影像擷取裝置20用於連續拍攝使用者手勢以產生一影像序列。於實際應用時，電子儀器可以為電視，惟不以此為限，於實際應用時，電子儀器亦可以為手機、電腦等。

影像擷取裝置20用於連續拍攝使用者手勢以產生一影像序列。於一實施例中，影像擷取裝置20可為一攝影機，其透過AV端子將影像傳輸至手勢辨識追蹤系統1之影像輸入模組10。

手勢辨識追蹤系統1主要是先將輸入之影像進行前置處理，以利於後續作手勢定位、追蹤與功能上的動作指令辨識。手勢辨識追蹤系統1包含有一影像輸入模組10、一影像前處理模組11、一手部定位模組12、一手部追蹤模組13及一輸出模組14。影像輸入模組10輸入一影像序列。影像前處理模組11前處理影像序列以分別產生一二值化影像序列以及一輪廓影像。手部定位模組12根據二值化影像序列進行一指尖點特徵偵測以產生一手部區域，對應手部區域至輪廓影像以進行一手指比例判定以產生一樣本區塊，並在影像序列中掃描一候選區塊。手部追蹤模組13分別計算樣本區塊及候選區塊之特徵值並比較樣本區塊以及候選區塊之特徵值，以及分別計算樣本區塊及候選區塊之色彩分布密度函數並比較樣本區塊以及候選區塊之色彩分布密度函數以追蹤手勢。輸出模組14輸出經辨識及追蹤之手勢。

於一實施例中，手勢辨識追蹤系統1應用於一電視。手勢辨識追蹤系統1之輸出模組14輸出經辨識及追蹤之手勢，其經由RS232轉為訊號輸出給Arduino，Arduino再控制紅外線發射器發射訊號給電視。於本實施例中，電視可儲存有參考影像數據及其對應的應用程序或一功能選項。每一個參考影像數據代表一種手勢。手勢辨識追蹤系統1運用在電視的功能性操作時，可針對其功能給予對應到之手勢指令，讓使用者透過手勢辨識來操作電視。

接著，請參閱圖二，圖二係繪示本發明之手勢辨識追蹤方法於一具體實施例之方法流程圖。於一實施例中，本發明之手勢辨識追蹤方法，用以辨識與追蹤一手勢，其包含有以下步驟：步驟(S1)連續拍攝手勢以產生一影像序列；步驟(S2)前處理影像序列以分別產生一二值化影像序列以及一輪廓影像；步驟(S3)根據二值化影像序列進行一指尖點特徵偵測以產生一手部區域；步驟(S4)對應手部區域至輪廓影像以進行一手指比例判定以產生一樣本區塊，並在影像序列中掃描一候選區塊；及步驟(S5)分別計算樣本區塊及候選區塊之特徵值並比較樣本區塊以及候選區塊之特徵值，以及分別計算樣本區塊及候選區塊之色彩分布密度函數並比較樣本區塊以及候選區塊之色彩分布密度函數，藉以追蹤手勢。於實際應用時，本發明之手勢辨識追蹤方法可以應用於點擊(Click)握拳偵測、系統選台與音量操作控制以及手勢數字辨識控制等。

步驟(S1)連續拍攝該手勢以產生一影像序列。於一實施例中，影像序列可以藉由一攝影機拍攝，所得到的影像原始大小可以為一640×480之影像，惟不以上述之影像大小為限，於實際應用時得視使用者需求做調整。

步驟(S2)前處理影像序列以分別產生一二值化影像序列以及一輪廓影像，其主要是先將輸入之影像進行前置處理，以利於後續作手勢定位、追蹤與功能上的動作指令辨識。影像前處理包含五個步驟分別為時間差相減法(Temporal Difference)、侵蝕運算(Erosion)、擴張運算(Dilation)、連通結構標示(Connected Component Labeling)及Sobel邊緣偵測(Sobel Edge Detection)。請參閱圖三，圖三係繪示本發明之手勢辨識追蹤方法於一具體實施例之方法流程圖。更明確的說明，於一實施例中，步驟(S2)前處理影像序列以分別產生一二值化影像序列以及一輪廓影像進一步地包含以下步驟(S21~S25)，如下所示。

步驟(S21)利用一時間差相減法將影像序列中之前後兩張連續影像(Frame)相減後作二值化處理以產生一前景二值化影像。於一實施例中，本發明之步驟(S21)為以每八張影像為一單位之方式，以避免兩兩影像相似度高之情況發生。

步驟(S22)侵蝕運算前景二值化影像，藉以濾除前景二值化影像中之雜訊。

步驟(S23)擴張運算經侵蝕運算後之前景二值化影像，藉以還原前景二值化影像之影像大小，並且修復中空的物體。

步驟(S24)連通結構標示經擴張運算後之前景二值化影像，藉由將相連的區域標示為相同區塊，分離的區域標示為不同的區塊，藉以產生二值化影像序列。

步驟(S25)Sobel邊緣偵測經連通結構標示後之前景二值化影像以產生輪廓影像。其中步驟(S25)Sobel邊緣偵測，針對連通結構標示後影像的區塊，並依此區塊在Sobel過後灰階影像的相對位置進行截取，以產生每個區塊的輪廓以方便以後的手部定位、追蹤與辨識。步驟(S25)之Sobel邊緣偵測主要是利用一濾波器取得前景二值化影像之灰階影像中高頻的部分，並將物體之邊緣其鄰近像素間之灰階度加以放大，以達到凸顯物體邊緣輪廓之影像增強效果。

步驟(S3)根據二值化影像序列進行一指尖點特徵偵測以產生一手部區域，其透過前處理過後較完整的二值化影像作累加後，並將累加值較大之區域顯示出來，再經由連通結構標示(Connected Component Labeling)取出較可能為手部的區域位置，並將其對應到數字矩陣進行指尖點特徵偵測。指尖點特徵偵測法分別為(1)藉由遮罩的方式尋找符合條件的指尖點，並考慮是否呈現四個符合條件之指尖點在一範圍區域內(固定之Y軸間隔範圍)。(2)取得四個指尖點後，利用四個指尖點中最高的點相對應的位置，以此點做橫向距離的掃瞄，判斷是否呈現四段連續性的像素點1之線段，以對指根特徵做判定。請參閱圖四，圖四係繪示本發明之手勢辨識追蹤方法於一具體實施例之方法流程圖。更明確的說明，於一實施例中，步驟(S3)根據二值化影像序列進行一指尖點特徵偵測以產生一手部區域進一步地包含以下步驟(S31~S35)，如下所示。

步驟(S31)累加二值化影像序列以產生一累加二值化影像。

步驟(S32)連通結構標示累加二值化影像後進行數字矩陣轉換以產生一數字矩陣。於一實施例中，步驟(S32)在連通結構標示累加二值化影像後，進行數字矩陣轉換，其以同一數字最左、最右、最上和最下的點進行區塊擷取，並透過此方式擷取到累加值較大之兩區塊，並將此兩區塊的相對位置對應到累加二值化影像上，之後再將此累加二值化影像作數字矩陣轉換。

步驟(S33)由上而下由左而右，用7*7遮罩掃描數字矩陣以辨識出一組可能指尖點。於一實施例中，首先利用FAST(Features from Accelerated Segment Test)演算法進行角點偵測，以一待測像素為中心定義一個7*7遮罩，以遮罩內最大圓圈上的16像素判斷待測像素是否為角點。接著，各別比較待測像素與周圍16像素，以定義周圍16個像素的狀態。當有連續8個或多於8個像素為相同狀態，待測像素初步地判定為一角點。然而，於本實施例中需要取的角點為指尖點，因此取待測像素點的相對位置之像素點1，各別向左右延長五個像素，並向下延長二十個像素，以形成一矩形，惟形成矩形並不以上述像素值為限，於實際應用時，可視需求做調整。若此矩形範圍內呈現像素點1佔全部像素點的比例大於90%，則判定此待測像素點的相對位置之像素點1為一指尖點。於一實施例中，因為每根指頭只會有一個指尖點，所以當此矩形取得一角點(指尖點)時，則此矩形不再做掃描的動作。

步驟(S34)將該組可能指尖點投影至Y軸，若呈現四個可能指尖點由上至下的間隔距離皆不超過8個像素(Pixels)，則產生四個指尖點。

步驟(S35)根據四個指尖點中最高之指尖點相對應的位置進行橫向距離掃瞄，藉由判斷是否有呈現四段連續性的像素點1之線段，藉以辨識手部區域。手部定位可經由步驟(S35)以達成。根於一實施例中，最高之指尖點相對應的位置為同指尖點X軸位置，向下移動15個像素，惟不以上述像素值為限，於實際應用時，可視需求做調整。於一實施例中，若步驟(S35)有呈現四段連續性的像素點1之線段則判定此區域為手部區域。

步驟(S4)對應手部區域至輪廓影像以進行一手指比例判定以產生一樣本區塊，並在影像序列中掃描一候選區塊。手指比例判定主要為針對手部的外觀特徵加以檢視是否為欲定位之手部。於一實施例中，手部區域為經過指尖點特徵偵測所產生，輪廓影像為經過Sobel邊緣偵測所產生。更明確地說，於步驟(S4)中，將指尖點特徵偵測法所得之手部區域對應至經由Sobel邊緣置偵測後所得之輪廓影像以得到一經對應後之影像，針對此經對應後之影像做手指區域的比例判定演算法。前述經過定位之手部可經由步驟(S4)以增加其定位準確率，藉以達到在複雜環境背景下，本發明能避免定位到手部以外的部位之情形發生。

步驟(S5)分別計算樣本區塊及候選區塊之特徵值並比較樣本區塊以及候選區塊之特徵值，以及分別計算樣本區塊及候選區塊之色彩分布密度函數並比較樣本區塊以及候選區塊之色彩分布密度函數，藉以追蹤手勢。

於一實施例中，步驟(S5)中可以根據Haar-like Feature分別計算樣本區塊及候選區塊之特徵值並比較樣本區塊以及候選區塊之特徵值以追蹤手勢。請參閱圖五，圖五係繪示本發明之手勢辨識追蹤方法於一具體實施例之方法流程圖。更明確的說明，於一實施例中，步驟(S5)進一步地包含以下步驟(S51~S53)，如下所示。

步驟(S51)根據樣本區塊以取得樣本區塊之特徵值。於一實施例中，透過數種Haar-like feature特徵矩形檢測樣本區塊之局部特徵，並藉由隨機使用上述數種Haar-like feature特徵矩形以取得樣本區塊之特徵差值。將樣本區塊中所有透過Haar-like feature特徵矩形所得到之差值加總起來，作為樣本區塊之特徵值。

步驟(S52)掃描樣本區塊以取得候選區塊之特徵值。於一實施例中，當下一張影像進來時，依此時樣本區塊的相對位置與框架長度進行延伸，並針對放大後之樣本區塊進行掃描，可得到許多候選區塊之特徵值。

步驟(S53)比較樣本區塊之特徵值以及候選區塊之特徵值以追蹤手勢。於一實施例中，將樣本區塊與候選區塊內之相對位置矩形的特徵值各別相減後，再把這些差值加起來以得到一數值。於經由上述方法所得到的數值中，取出數值最小的候選區塊(因特徵值最接近)，即為欲追蹤之手部區塊。

於一實施例中，步驟(S5)中可以使用平均位移(Mean Shift)做追蹤，透過分別計算樣本區塊及候選區塊之色彩分布密度函數並比對樣本區塊以及候選區塊之色彩分布密度函數的相似程度以追蹤手勢。於一實施例中，平均位移(Mean Shift)追蹤演算法透過色彩分布密度函數的疊代追蹤，對每張輸入的影像(Frame)尋找其新的候選區塊中心點做連續性的追蹤。

由於，於步驟(S51)至步驟(S53)中，Haar-like feature主要是透過隨機使用不同的Haar-like feature特徵矩形(其散落在不同位置)，以擷取樣本區塊之特徵，所以於步驟(S51)至步驟(S53)中可能會有Haar-like feature特徵矩形散落在非主要手部區域的情況發生。另外，Haar-like feature演算法主要是取其特徵差異值較小者，於步驟(S51)至步驟(S53)中可能剛好有影像中其他區域其特徵值與手部相近之情況發生(如臉部、手肘和脖子等)導致在追蹤過程中靠近這些區域時，所更新到的樣本區塊會移到這些區域上，代表追蹤失敗。

為改善此情況，在計算樣本區塊之特徵值時也同時計算其顏色分布密度函數，之後並同時計算候選區塊之特徵值以及顏色分布密度函數。若同時滿足所追蹤到之候選區塊為同一個時，才判斷為正確追蹤。若所判斷到候選區塊不一致時，則判定為追蹤失敗，並重新做定位的動作後再進行追蹤的步驟，透過以上重複步驟來提高其追蹤正確率。於一實施例中，透過Haar-like feature及平均位移(Mean Shift)兩種追蹤方式來取得對於手部追蹤的特徵值擷取，若兩者所取得之區域有較大差異時，則代表可能任一種演算法擷取到其他移動物，則重新計算其特徵值增加其追蹤的準確性。

於一實施例中，步驟(S5)中可以根據平均位移(Meanshift)中Epanechnikov核函數(Epanechnikov Kernel Function)的權重函數Haar-like weight(x)針對每一Haar-like feature特徵矩陣進行權重上的加乘。

首先，以樣本區塊的中心點為原點，針對每一Haar-like feature特徵矩陣進行權重上的加乘，權重的計算是將Epanechnikov Kernel Function作改良，其衍伸出Haar-like weight(x)的方程式如下所示。其中∥x∥為每一像素點與中心點的歐式距離，d=2，C_d為π，L為樣本區塊中長與寬取較短者所呈現的半徑為二分之L的圓。

接著，有權重值的定義後，在Haar-like feature特徵矩陣計算其特徵值的同時搭配Haar-like weight(x)方程式來做運算，且運用Haar-like weight(x)權重分布圖來對每一像素點進行位置上的歐式距離計算。

因此，於本實施例中，透過Haar-like weight(x)權重上的加成，可降低Haar-like feature特徵矩形散落在非主要手部區域所造成追蹤效能影響上的問題。

透過兩種追蹤方式來取得對於手部追蹤的特徵值擷取，若兩者所取得之區域有較大差異時，則代表可能任一種演算法擷取到其他移動物，則重新計算其特徵值增加其追蹤的準確性。

相較於習知技術，本發明之手勢辨識追蹤方法藉由手勢定位、追蹤及操作功能性辨識結合DSP嵌入式系統以及電視機，讓使用者可透過遠距離手勢操作來對電視機作功能操控。除此之外，本發明之手勢辨識追蹤方法也增加其在複雜環境下的定位及追蹤正確率以及操作功能上的辨識正確率，使其可運用在更多領域上(例如：車載，醫療設備等)。更進一步地，本發明之手勢辨識追蹤方法可應用於電視產品、汽車內部系統上、醫療器材、智慧型3C產品或家庭設備上，藉由手勢辨識追蹤方法以進行功能性上的控制。

藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。因此，本發明所申請之專利範圍的範疇應根據上述的說明作最寬廣的解釋，以致使其涵蓋所有可能的改變以及具相等性的安排。

S1~S5‧‧‧步驟

Claims

一種手勢辨識追蹤方法，用以辨識與追蹤一手勢，其包含有以下步驟：輸入一影像序列；前處理該影像序列以分別產生一二值化影像序列以及一輪廓影像，此步驟更包含下列步驟：利用一時間差相減法將該影像序列中之前後兩張連續影像相減後作二值化處理以產生一前景二值化影像；侵蝕運算該前景二值化影像，藉以濾除該前景二值化影像中之雜訊；擴張運算經侵蝕運算後之該前景二值化影像，藉以還原該前景二值化影像之影像大小，並且修復中空的物體；連通結構標示經擴張運算後之該前景二值化影像，藉由將相連的區域標示為相同區塊，分離的區域標示為不同的區塊，藉以產生該二值化影像序列；以及Sobel邊緣偵測經連通結構標示後之該前景二值化影像以產生該輪廓影像；根據該二值化影像序列進行一指尖點特徵偵測以產生一手部區域；對應該手部區域至該輪廓影像以進行一手指比例判定以產生一樣本區塊，並在該影像序列中掃描一候選區塊；以及分別計算該樣本區塊及該候選區塊之特徵值並比較該樣本區塊以及該候選區塊之特徵值，以及分別計算該樣本區塊及該候選區塊之色彩分布密度函數並比較該樣本區塊以及該候選區塊之色彩分布密度函數，藉以追蹤該手勢。
如申請專利範圍第1項所述之手勢辨識追蹤方法，其中Sobel邊緣偵測經連通結構標示後之該前景二值化影像以產生該輪廓影像之步驟中，Sobel邊緣偵測乃利用一濾波器取得該前景二值化影像之灰階影像中高頻部分，並將物體之邊緣其鄰近像素間之灰階度加以放大，以達到凸顯物體邊緣輪廓之影像增強效果。
如申請專利範圍第1項所述之手勢辨識追蹤方法，其中根據該二值化影像序列進行該指尖點特徵偵測以產生該手部區域之步驟更包含下列步驟：累加該二值化影像序列以產生一累加二值化影像；連通結構標示該累加二值化影像後進行數字矩陣轉換以產生一數字矩陣；由上而下由左而右，用7*7遮罩掃描該數字矩陣以辨識出一組可能指尖點；將該組可能指尖點投影至Y軸，若呈現四個可能指尖點由上至下的間隔距離皆不超過8個像素，則產生四個指尖點；以及根據該四個指尖點中最高之指尖點相對應的位置進行橫向距離掃瞄，藉由判斷是否有呈現四段連續性的像素點1之線段，藉以辨識該手部區域。
如申請專利範圍第1項所述之手勢辨識追蹤方法，其中分別計算該樣本區塊及該候選區塊之特徵值並比較該樣本區塊以及該候選區塊之特徵值，以及分別計算該樣本區塊及該候選區塊之色彩分布密度函數並比較該樣本區塊以及該候選區塊之色彩分布密度函數，藉以追蹤該手勢之步驟中可以根據Haar-like Feature計算與比較該樣本區塊以及該候選區塊之該特徵值以追蹤該手勢。
如申請專利範圍第4項所述之手勢辨識追蹤方法，其中分別計算該樣本區塊及該候選區塊之特徵值並比較該樣本區塊以及該候選區塊之特徵值，以及分別計算該樣本區塊及該候選區塊之色彩分布密度函數並比較該樣本區塊以及該候選區塊之色彩分布密度函數，藉以追蹤該手勢之步驟更包含下列步驟：根據該樣本區塊以取得該樣本區塊之特徵值；掃描該樣本區塊以取得該候選區塊之特徵值；以及比較該樣本區塊之特徵值以及該候選區塊之特徵值以追蹤該手勢。
如申請專利範圍第1項所述之手勢辨識追蹤方法，其中分別計算該樣本區塊及該候選區塊之特徵值並比較該樣本區塊以及該候選區塊之特徵值，以及分別計算該樣本區塊及該候選區塊之色彩分布密度函數並比較該樣本區塊以及該候選區塊之色彩分布密度函數，藉以追蹤該手勢之步驟中可以使用平均位移(Mean Shift)做追蹤，透過比對該樣本區塊與該候選區塊之該色彩分布密度函數的相似程度以追蹤該手勢。
如申請專利範圍第1項所述之手勢辨識追蹤方法，其中該手勢辨識追蹤方法可以被應用在Click握拳偵測、系統選台與音量操作控制以及手勢數字辨識控制等。
如申請專利範圍第1項所述之手勢辨識追蹤方法，其中該影像序列可以藉由一影像擷取裝置連續拍攝一使用者手勢以產生，所得到的影像原始大小可以為一640×480之影像。
一手勢辨識追蹤系統，應用於一電子儀器，該電子儀器具有一影像擷取裝置，該影像擷取裝置用於連續拍攝一使用者手勢以產生一影像序列，該手勢辨識追蹤系統包含：一影像輸入模組，輸入該影像序列；一影像前處理模組，前處理該影像序列以分別產生一二值化影像序列以及一輪廓影像；一手部定位模組，根據該二值化影像序列進行一指尖點特徵偵測以產生一手部區域，對應該手部區域至該輪廓影像以進行一手指比例判定以產生一樣本區塊，並在該影像序列中掃描一候選區塊；以及一手部追蹤模組，分別計算該樣本區塊及該候選區塊之特徵值並比較該樣本區塊以及該候選區塊之特徵值，以及分別計算該樣本區塊及該候選區塊之色彩分布密度函數並比較該樣本區塊以及該候選區塊之色彩分布密度函數以追蹤該手勢；其中該影像前處理模組進行下列步驟：利用一時間差相減法將該影像序列中之前後兩張連續影像相減後作二值化處理以產生一前景二值化影像；侵蝕運算該前景二值化影像，藉以濾除該前景二值化影像中之雜訊；擴張運算經侵蝕運算後之該前景二值化影像，藉以還原該前景二值化影像之影像大小，並且修復中空的物體；連通結構標示經擴張運算後之該前景二值化影像，藉由將相連的區域標示為相同區塊，分離的區域標示為不同的區塊，藉以產生該二值化影像序列；以及Sobel邊緣偵測經連通結構標示後之該前景二值化影像以產生該輪廓影像。