TWI529608B - 一種手勢辨識追蹤方法及其系統 - Google Patents

一種手勢辨識追蹤方法及其系統 Download PDF

Info

Publication number
TWI529608B
TWI529608B TW104101632A TW104101632A TWI529608B TW I529608 B TWI529608 B TW I529608B TW 104101632 A TW104101632 A TW 104101632A TW 104101632 A TW104101632 A TW 104101632A TW I529608 B TWI529608 B TW I529608B
Authority
TW
Taiwan
Prior art keywords
hand
block
gesture
image
candidate
Prior art date
Application number
TW104101632A
Other languages
English (en)
Other versions
TW201627852A (zh
Inventor
洪西進
許祖碩
Original Assignee
國立臺灣科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣科技大學 filed Critical 國立臺灣科技大學
Priority to TW104101632A priority Critical patent/TWI529608B/zh
Application granted granted Critical
Publication of TWI529608B publication Critical patent/TWI529608B/zh
Publication of TW201627852A publication Critical patent/TW201627852A/zh

Links

Landscapes

  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

一種手勢辨識追蹤方法及其系統
本發明係關於一種手勢辨識追蹤方法及其系統，尤其係關於一種手勢辨識追蹤方法及其系統，用以辨識一手部與追蹤一手勢。
隨著科技的發展，人機互動領域的發展已漸漸地成為設計主流。互動方式從以往的鍵盤、滑鼠或搖桿等輸入設備轉變為單點觸控螢幕、多點觸控或是藉由人體姿態作為輸入訊號。
在現有的科技領域內，運用手勢辨識的領域已擴及至許多產業上，如汽車、智能電視(Smart TV)、遊戲機及行動手機等，其在影像處理領域上，透過手勢辨識增加其功能性上的操作，以拓展人機互動領域上的科技發展。
藉由人類肢體語言作為控制輸入訊號的應用，在此方面的研究通常是透過攝影裝置擷取影像，再對影像作處理並執行對應的動作。在處理過程一般可分為對目標物體定位、追蹤及辨識。由於在整個處理過程中必須仰賴精準的定位及穩定的追蹤，直至辨識方能完整達到以姿態作為輸入訊號的控制。因此目前常見的相關研究主要為重於定位及追蹤。
為了解決上述習知技術之問題，本發明提供手勢辨識追蹤方法。本發明之手勢辨識追蹤方法，應用於一電子儀器，用以辨識一手部與追蹤一手勢，其包含有以下步驟：輸入一影像序列；前處理影像序列以產生處於移動狀態的一物體區塊；利用快包(Quick Hull)演算法針對物體區塊以選出最少可包圍手部之複數個凸點，藉以產生一第一手部特徵資料；根據第一手部特徵資料針對物體區塊進行邊緣向量計算，藉以產生一第二手部特徵資料；根據第一手部特徵資料以及第二手部特徵資料自物體區塊中擷取產生一手部樣本區塊，並在影像序列中掃描一第一候選區塊；以及分別計算手部樣本區塊及第一候選區塊之色彩分布密度函數，並比較手部樣本區塊以及第一候選區塊之色彩分布密度函數以得到一第一相似度，藉以追蹤手勢。
分別計算手部樣本區塊及第一候選區塊之色彩分布密度函數，並比較手部樣本區塊以及第一候選區塊之色彩分布密度函數以得到第一相似度，藉以追蹤手勢之步驟可選擇性另包含下列步驟：當第一相似度未小於一預定值時，藉由粒子濾波器(Particle Filter)以產生與手部樣本區塊相同大小之複數個第二候選區塊；以及計算該些第二候選區塊之色彩分布密度函數，並比較手部樣本區塊以及該些第二候選區塊之色彩分布密度函數以得到一第二相似度，藉以追蹤手勢。
分別計算手部樣本區塊及第一候選區塊之色彩分布密度函數，並比較手部樣本區塊以及第一候選區塊之色彩分布密度函數以得到第一相似度，藉以追蹤手勢之步驟可選擇性使用平均位移(Mean Shift)做追 蹤，透過比對手部樣本區塊與第一候選區塊之色彩分布密度函數的相似程度以追蹤手勢。
本發明另提供手勢辨識追蹤系統。本發明之手勢辨識追蹤系統，電子儀器具有一影像擷取裝置，影像擷取裝置用於連續拍攝一使用者手勢以產生一影像序列。手勢辨識追蹤系統包含一影像輸入模組、一影像前處理模組、一手部定位模組及一手部追蹤模組。影像輸入模組輸入影像序列。影像前處理模組前處理影像序列以產生處於移動狀態的一物體區塊。手部定位模組利用快包(Quick Hull)演算法針對物體區塊以選出最少可包圍手部之複數個凸點，藉以產生一第一手部特徵資料，根據第一手部特徵資料針對物體區塊進行邊緣向量計算，藉以產生一第二手部特徵資料，根據第一手部特徵資料以及第二手部特徵資料自物體區塊中擷取產生一手部樣本區塊，並在影像序列中掃描一第一候選區塊。手部追蹤模組分別計算手部樣本區塊及第一候選區塊之色彩分布密度函數，並比較手部樣本區塊以及第一候選區塊之色彩分布密度函數以得到一第一相似度，藉以追蹤手勢。
相較於習知技術，本發明提出了一種手勢辨識追蹤方法及其系統，其可利用快包(Quick Hull)演算法及邊緣向量進行手部定位，並可利用平均位移(Meanshift)演算法及粒子濾波器來進行追蹤。本發明之手勢辨識追蹤方法可進行手部定位、追蹤與功能性的手勢動作指令辨識，且在受干擾及複雜的環境下可有效辨識手勢指令，亦可達到即時手勢辨識的效果。
關於本發明之優點與精神可以藉由以下的發明詳述及所附 圖式得到進一步的瞭解。
S1~S7‧‧‧步驟
S21~S24‧‧‧步驟
S71~S75‧‧‧步驟
1‧‧‧手勢辨識追蹤系統
10‧‧‧影像輸入模組
11‧‧‧影像前處理模組
12‧‧‧手部定位模組
13‧‧‧手部追蹤模組
14‧‧‧輸出模組
2‧‧‧電子儀器
20‧‧‧影像擷取裝置
圖一係繪示本發明之手勢辨識追蹤系統於一具體實施例之功能方塊圖。
圖二係繪示本發明之手勢辨識追蹤方法於一具體實施例之方法流程圖。
圖三係繪示本發明之手勢辨識追蹤方法於一具體實施例中步驟S21至步驟S24之方法流程圖。
圖四係繪示本發明之手勢辨識追蹤方法於另一具體實施例之方法流程圖。
圖五係繪示本發明之手勢辨識追蹤方法於另一具體實施例之方法流程圖。
圖六係繪示本發明之手勢辨識追蹤方法於另一具體實施例中步驟S6及步驟S71至步驟S75之方法流程圖。
為了讓本發明的目的、特徵和優點能夠更加明顯易懂，下面結合所附圖式對本發明之手勢辨識追蹤方法之具體實施方式做詳細之說明。
請參閱圖一，圖一係繪示本發明之手勢辨識追蹤系統於一具體實施例之功能方塊圖。於一實施例中，手勢辨識追蹤系統1應用於一電子儀器2。電子儀器2具有一影像擷取裝置20。影像擷取裝置20 用於連續拍攝使用者手勢以產生一影像序列。電子儀器2具有一影像擷取裝置20，其用於連續拍攝使用者手勢以產生一影像序列。於一實施例中，影像擷取裝置20為電子儀器內建的，如一前置鏡頭，惟不以此為限，於實際應用時，影像擷取裝置20亦可以為一攝影機等可透過有線或無線傳輸技術將影像傳輸至手勢辨識追蹤系統1之影像輸入模組10。於一實施例中，所述之影像序列可以藉由手機之前置鏡頭拍攝，所得到的影像原始大小可以為一640×480之影像，惟不以上述之影像大小為限，於實際應用時得視使用者需求做調整。
手勢辨識追蹤系統1主要是先將輸入之影像進行前置處理，以利於後續作手勢定位、追蹤與功能上的動作指令辨識。手勢辨識追蹤系統1包含有一影像輸入模組10、一影像前處理模組11、一手部定位模組12、一手部追蹤模組13及一輸出模組14。影像輸入模組10輸入影像序列。於一實施例中，所述之影像序列會再進一步地縮放至一320x240之影像，以減少核心運算，讓系統整體可以更加流順的執行。影像前處理模組11前處理影像序列以產生處於移動狀態的一物體區塊。手部定位模組12利用快包(Quick Hull)演算法針對物體區塊以選出最少可包圍手部之複數個凸點，藉以產生一第一手部特徵資料。手部定位模組12根據第一手部特徵資料針物體區塊進行邊緣向量計算，藉以產生一第二手部特徵資料。手部定位模組12根據第一手部特徵資料以及第二手部特徵資料自物體區塊中擷取產生一手部樣本區塊，並在影像序列中掃描一第一候選區塊。手部追蹤模組13分別計算手部樣本區塊及第一候選區塊之色彩分布密度函數，並比較手部樣本區塊以及 第一候選區塊之色彩分布密度函數以得到一第一相似度，藉以追蹤手勢。當第一相似度小於一預定值時，手部追蹤模組13藉由粒子濾波器(Particle Filter)以產生與手部樣本區塊相同大小之複數個第二候選區塊。手部追蹤模組13計算該些第二候選區塊之色彩分布密度函數，並比較手部樣本區塊以及該些第二候選區塊之色彩分布密度函數以得到一第二相似度，藉以追蹤手勢。
於一實施例中，手勢辨識追蹤系統1應用於一手機，惟不以此為限，於實際應用時，電子儀器亦可以為電視、電腦、遊戲機、提款機(ATM)、汽車、門禁設備、通行設備等產品。於一實施例中，手機可儲存有參考影像數據及其對應的應用程序或一功能選項。每一個參考影像數據代表一種手勢。手勢辨識追蹤系統1運用在手機的功能性操作時，可針對其功能給予對應到之手勢指令，讓使用者透過手勢辨識來操作手機。
接著，請參閱圖二，圖二係繪示本發明之手勢辨識追蹤方法於一具體實施例之方法流程圖。於一實施例中，本發明之手勢辨識追蹤方法，應用於一電子儀器，用以辨識一手部與追蹤一手勢，其包含有以下步驟：步驟(S1)輸入一影像序列；步驟(S2)前處理影像序列以產生處於移動狀態的一物體區塊；步驟(S3)利用快包(Quick Hull)演算法針對物體區塊以選出最少可包圍手部之複數個凸點，藉以產生一第一手部特徵資料；步驟(S4)根據第一手部特徵資料針對物體區塊進行邊緣向量計算，藉以產生一第二手部特徵資料；步驟(S5)根據第一手部特徵資料以及第二手部特徵資料自物體區塊中擷取產生一手部樣 本區塊，並在影像序列中掃描一第一候選區塊；以及步驟(S6)分別計算手部樣本區塊及第一候選區塊之色彩分布密度函數，並比較手部樣本區塊以及第一候選區塊之色彩分布密度函數以得到一第一相似度，藉以追蹤手勢。於實際應用時，本發明之手勢辨識追蹤方法可以應用於手部握拳偵測、歌曲上下首選擇以及音量操作控制等。
步驟(S1)輸入一影像序列。於一實施例中，為了使本發明之整體效能提升，更進一步地，輸入之影像(解析度為640×480)會進一步地縮放至解析度大小為一320x240之影像，惟不以此為限，於實際應用時得視使用者需求做調整，亦可以直接輸入所需解析度大小之影像。
步驟(S2)前處理影像序列以產生處於移動狀態的一物體區塊，其主要是先將輸入之影像進行前置處理，以利於後續作手勢定位、追蹤與功能上的動作指令辨識。影像前處理包含四個步驟分別為時間差相減法(Temporal Difference)、侵蝕運算(Erosion)、擴張運算(Dilation)及連通結構標示(Connected Component Labeling)。請參閱圖三，圖三係繪示本發明之手勢辨識追蹤方法於一具體實施例中步驟S21至步驟S24之方法流程圖。更明確的說明，於一實施例中，步驟(S2)前處理影像序列以產生處於移動狀態的物體區塊進一步地包含以下步驟(S21~S24)，如下所示。
步驟(S21)利用一時間差相減法將影像序列中之前後兩張連續影像相減後作二值化處理以產生一前景二值化影像。於本實施例中，前景二值化影像為處於移動狀態為的前景。
步驟(S22)侵蝕運算前景二值化影像，藉以濾除前景二值化影像中之雜訊。
步驟(S23)擴張運算經侵蝕運算後之前景二值化影像，藉以還原前景二值化影像之影像大小，並且修復中空的物體。
步驟(S24)連通結構標示經擴張運算後之前景二值化影像，藉由將相連的區域標示為相同區塊，分離的區域標示為不同的區塊，藉以產生處於移動狀態的物體區塊。
藉由步驟(S2)產生處於移動狀態的物體區塊後，接著需要在物體區塊中尋找出手部樣本區塊以完成手部定位。於一實施例中，本發明主要是藉由步驟(S3)及步驟(S4)以完成手部定位。
步驟(S3)利用快包(Quick Hull)演算法針對物體區塊以選出最少可包圍手部之複數個凸點，藉以產生一第一手部特徵資料。快包(Quick Hull)演算法為一種可使用最少的點將物體包圍起來的演算法。
首先計算出物體區塊最高點及最右點和新的y位置。於一實施例中，最高點為位在手部之中指指頭之位置的凸點，在此定義其位置為(x h ,y h )；最右點為靠近手部之大拇指指頭之位置的凸點，在此定義其位置為(x r ,y r )；及新的y位置為藉由公式y=y r +(y r -y h )所求得。由此高度(y)由左至右掃描，第一個邊緣像素即為新點。
由最高點(第一凸點)及新點為快包(Quick Hull)演算法的起始點。首先，藉由最高點及新點兩點之間的第一連線將物體區塊分成兩部分。接著，計算出第一連線之兩側離所述第一線條最遠的邊 點，以取得新的兩個凸點。所述之兩個凸點分別為第二凸點及第三凸點，於一實施例中，第二凸點為位在手部之小拇指之位置的凸點；第三凸點為位在手部之大拇指指頭之位置的凸點。接著，將最高點與第二凸點及第三凸點間進行連線，以得到一第二連線及第三連線。接著，計算出第二線條及第三連線外分別地與所述第二線條及第三連線垂直距離為最遠的邊點，於一實施例中，所述之邊點分別地為位在手部之無名指之位置的凸點(第四凸點)及手部之食指指頭之位置的凸點(第五凸點)。
接著，再對上述凸點進行初步判定，以得到第一手部特徵資料。於一實施例中，上述凸點之判斷方式為先計算一基準高度，所述之基準高度為物體區塊之最高點往下三分之一的物體區塊高度(物體區塊高度為最高點的y座標與新點的y座標之相差值)之高度。接著再計算所述之凸點至此基準高度的垂直距離。於一實施例中，其分別為食指凸點、中指凸點、無名指凸點及小拇指凸點到基準高度的垂直距離，假設其垂直距離分別為L 1、L 2、L 3及L 4，則L 4必小於L 1、L 2和L 3；L 1及L 3必小於L 2，若所述凸點與基準高度之垂直距離滿足上述條件，則初步判定其為手部區塊。
步驟(S4)根據第一手部特徵資料針對物體區塊進行邊緣向量計算，藉以產生一第二手部特徵資料。步驟(S4)根據第一手部特徵資料進一步地對手部特徵做判斷，而手部特徵最為明顯的為具有五根手指頭。於一實施例中，邊緣搜尋之方法可藉由各個像素在角度上的變化判斷手指指尖彎曲，再藉由彎曲的個數作為手指指頭的個數， 惟不以此方式為限。當本發明為應用於行動裝置(如手機...)時，為了避免藉由邊緣搜尋之方法對整個物體區塊之邊緣進行掃描及做判斷，而造成計算量過大而增加系統負荷，於另一實施例中，根據第一手部特徵資料針對物體區塊進行邊緣搜尋，但此方法僅針對部分物體區塊進行邊緣向量計算。更明確的說明，於一實施例中，步驟(S4)根據第一手部特徵資料針對物體區塊進行邊緣向量計算，藉以產生第二手部特徵資料進一步地包含以下步驟(S41)，如下所示。
步驟(S41)藉由像素方向對部分之物體區塊進行判斷，以得到第二手部特徵資料。首先定義起始像素點為P 0，並給予每個像素點額外一個方向變數定義為dir，再將dir初始方向預設為空。從P0開始順時針掃描其周圍3x3的相鄰像素點，當遇到第一個像素值與目前像素相同，便記錄此像素為一邊界點Pn並給予此像素方向dir為目前像素至新像素點Pn的方位，更新像素搜尋方向為目前方向逆時針減去兩個單位並再以新邊界點Pn為出發點重覆以上動作直至Pn和P0的y座標高度相同，於一實施例中，若滿足以上條件，則視此區塊為手部樣本區塊並完成定位。
步驟(S5)根據第一手部特徵資料以及第二手部特徵資料自物體區塊中擷取產生一手部樣本區塊，並在影像序列中掃描一第一候選區塊。
於一實施例中，當手部樣本區塊由物體區塊中被擷取出來，意即完成手部定位，接下來再對手部樣本區塊進行追蹤。
步驟(S6)分別計算手部樣本區塊及第一候選區塊之色彩 分布密度函數，並比較手部樣本區塊以及第一候選區塊之色彩分布密度函數以得到一第一相似度，藉以追蹤手勢。更明確地說，於一實施例中，步驟(S6)可以使用平均位移(Mean Shift)做追蹤，透過比對手部樣本區塊與候選區塊之色彩分布密度函數的相似程度以追蹤手勢。更明確地說，平均位移演算法(Mean Shift)透過將要被追蹤的手部樣本區塊去做顏色的分布統計來與連續影像中的第一候選區塊進行相似度比對，並計算出平均位移向量，利用這樣的方式在連續影像中找出最相似的目標區塊，以達到追蹤的效果。
於一實施例中，相似度的比較是利用巴氏係數(Bhattacharyya Coefficient)作為測量方式，惟不以此為限。於另一實施例中，當本發明為應用於行動裝置(如手機...)時，為了避免計算量過大而造成系統負荷，相似度比較的方法為直接將候選區塊中各個顏色的分布密度與樣本區塊進行相減，並將相減後的值加總起來與1相減，若越相近則相減結果將越趨近於0。比對方式可由以下公式表示：ρ(y)≡ρ[p(u,y),q(u)]= p(u,y)-q(u)。q(u)代表手部樣本區塊中第u個顏色索引的權重，p(u,y)代表第一候選區塊中第u個顏色索引的權重，而ρ(y)-1會介於0到1之間，若兩區塊越相似則ρ(y)會越接近0，若兩區塊完全一模一樣則ρ(y)=0。
接著，請參閱圖四、圖五及圖六，圖四係繪示本發明之手勢辨識追蹤方法於另一具體實施例之方法流程圖，圖五係繪示本發明之手勢辨識追蹤方法於另一具體實施例之方法流程圖，圖六係繪示本發明之手勢辨識追蹤方法於另一具體實施例中步驟S6及步驟S71至 步驟S75之方法流程圖。
由於平均位移演算法(Mean Shift)是透過觀察一定範圍的觀察視窗以決定所追蹤之目標物體位於視窗內之位置，因此對於一般速度的運動物體有穩定的追蹤效果。然而，若物體為快速移動，則可能發生在下一個時間點物體已經超出觀察視窗的範圍，導致平均位移演算法(Mean Shift)無法在視窗內找到相似的候選區塊而追蹤失敗。因此，於另一實施例中，如圖四所示，本發明中所使用之平均位移演算法(Mean Shift)可進一步地與粒子濾波器(Particle Filter)結合，藉以減低追蹤失敗之情形發生。
粒子濾波器(Particle Filter)採隨機打出粒子的方法，可在較遠處找到下一時間的物體所在位置。然而粒子濾波器採隨機打出粒子，因此其精準度較平均位移演算法(Mean Shift)不穩定。
於本實施例中，本發明之手勢辨識追蹤方法，應用於一電子儀器，用以辨識一手部與追蹤一手勢，其包含步驟(S1)至步驟(S7)。由於步驟(S1)至步驟(S6)已於前一個實施例中描述過因此為了簡略說明便不再贅述。於本實施例中，當手部樣本區塊由物體區塊中被擷取出來，意即完成手部定位，接下來再對手部樣本區塊進行追蹤。於本實施例中，步驟(S6)可以使用平均位移(Mean Shift)追蹤手勢，透過比對手部樣本區塊與候選區塊之色彩分布密度函數的相似程度以追蹤手勢。於本實施例中，步驟(S7)利用粒子濾波器以追蹤手勢。因此，於本實施例中，本發明藉由粒子濾波器之特性加強整體的追蹤效果，並藉由平均位移演算法(Mean Shift)以彌補粒子濾波器精準度不穩定之 情形。步驟(S7)包含以下步驟(S71~S75)，如下所示。
步驟(S71)當第一相似度小於預定值時，則判定追蹤成功並持續追蹤。於一實施例中，預定值為一門檻值(R值)，其值為0.2，惟不以此為限，於實際應用時，其值可針對使用者需求做調整。
步驟(S72)當第一相似度未小於一預定值時，藉由粒子濾波器(Particle Filter)以產生與手部樣本區塊相同大小之複數個第二候選區塊。更明確地說，於步驟(S72)中，當第二相似度未小於預定值，則判定追蹤未成功並改採粒子濾波器(Particle Filter)演算法幫助追蹤手勢。
步驟(S73)計算該些第二候選區塊之色彩分布密度函數，並比較手部樣本區塊以及該些第二候選區塊之色彩分布密度函數以得到一第二相似度，藉以追蹤手勢。
步驟(S74)當第二相似度未小於預定值時，則表示追蹤手勢失敗，回到利用快包(Quick Hull)演算法針對物體區塊以選出最少可包圍手部之複數個凸點，藉以產生第一手部特徵資料之步驟。更明確地說，於步驟(S74)中，當第二相似度未小於預定值，則判定追蹤失敗且追蹤物已消失在影像中，並重新進行手部定位步驟。
步驟(S75)當第二相似度小於預定值時，則繼續追蹤手勢。更明確地說，於步驟(S75)中，當第二相似度小於預定值時，則判定物體可能處於快速移動狀態，因此仍可回到步驟(S6)繼續追蹤手勢。
相較於習知技術，本發明之手勢辨識追蹤系統及方法藉由手勢定位、追蹤應用於電子儀器，讓使用者可透過遠距離手勢操作來對 電子儀器作功能操控。除此之外，本發明之手勢辨識追蹤方法也增加其在複雜環境下的定位及追蹤正確率以及操作功能上的辨識正確率，使其可運用在更多領域上(例如：車載，醫療設備等)。更進一步地，本發明之手勢辨識追蹤方法可應用於電視產品、汽車內部系統上、醫療器材、智慧型3C產品或家庭設備上，藉由手勢辨識追蹤方法以進行功能性上的控制。
藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。因此，本發明所申請之專利範圍的範疇應根據上述的說明作最寬廣的解釋，以致使其涵蓋所有可能的改變以及具相等性的安排。
S1~S6‧‧‧步驟

Claims (9)

  1. 一種手勢辨識追蹤方法，應用於一電子儀器，用以辨識一手部與追蹤一手勢，其包含有以下步驟：輸入一影像序列；前處理該影像序列以產生處於移動狀態的一物體區塊；利用快包(Quick Hull)演算法針對該物體區塊以選出最少可包圍該手部之複數個凸點，藉以產生一第一手部特徵資料；根據該第一手部特徵資料針對該物體區塊進行邊緣向量計算，藉以產生一第二手部特徵資料；根據該第一手部特徵資料以及該第二手部特徵資料自該物體區塊中擷取產生一手部樣本區塊，並在該影像序列中掃描一第一候選區塊；以及分別計算該手部樣本區塊及該第一候選區塊之色彩分布密度函數，並比較該手部樣本區塊以及該第一候選區塊之色彩分布密度函數以得到一第一相似度，藉以追蹤該手勢；其中分別計算該手部樣本區塊及該第一候選區塊之色彩分布密度函數，並比較該手部樣本區塊以及該第一候選區塊之色彩分布密度函數以得到該第一相似度，藉以追蹤該手勢之步驟可以使用平均位移(Mean Shift)做追蹤，透過比對該手部樣本區塊與該第一候選區塊之該色彩分布密度函數的相似程度以追蹤該手勢。
  2. 如申請專利範圍第1項所述之手勢辨識追蹤方法，其中分別計算該手部樣本區塊及該第一候選區塊之色彩分布密度函數，並比較該手部樣本區塊以及該第一候選區塊之色彩分布密度函數以產生該第一相似度，藉以追蹤該手勢之步驟更包含下列步驟： 當該第一相似度未小於一預定值時，藉由粒子濾波器(Particle Filter)以產生與該手部樣本區塊相同大小之複數個第二候選區塊；以及計算該些第二候選區塊之色彩分布密度函數，並比較該手部樣本區塊以及該些第二候選區塊之色彩分布密度函數以得到一第二相似度，藉以追蹤該手勢。
  3. 如申請專利範圍第2項所述之手勢辨識追蹤方法，其中計算該些第二候選區塊之色彩分布密度函數，並比較該手部樣本區塊以及該些第二候選區塊之色彩分布密度函數以得到該第二相似度，藉以追蹤該手勢之步驟更包含下列步驟：當該第二相似度未小於該預定值時，則表示追蹤該手勢失敗，回到利用快包(Quick Hull)演算法針對該物體區塊以選出最少可包圍該手部之複數個凸點，藉以產生該第一手部特徵資料之步驟。
  4. 如申請專利範圍第2項所述之手勢辨識追蹤方法，其中計算該些第二候選區塊之色彩分布密度函數，並比較該手部樣本區塊以及該些第二候選區塊之色彩分布密度函數以得到該第二相似度，藉以追蹤該手勢之步驟更包含下列步驟：當該第二相似度小於該預定值時，則繼續追蹤該手勢。
  5. 如申請專利範圍第1項所述之手勢辨識追蹤方法，其中根據該第一手部特徵資料針對該物體區塊進行邊緣向量計算，藉以產生該第二手部特徵資料之步驟中更包含下列子步驟：藉由像素方向對部分之該物體區塊進行判斷，以得到該第二手部特徵資料。
  6. 如申請專利範圍第1項所述之手勢辨識追蹤方法，其中前處理該影像序 列以產生處於移動狀態的該物體區塊之步驟更包含下列子步驟：利用一時間差相減法將該影像序列中之前後兩張連續影像相減後作二值化處理以產生一前景二值化影像；侵蝕運算該前景二值化影像，藉以濾除該前景二值化影像中之雜訊；擴張運算經侵蝕運算後之該前景二值化影像，藉以還原該前景二值化影像之影像大小，並且修復中空的物體；以及連通結構標示經擴張運算後之該前景二值化影像，藉由將相連的區域標示為相同區塊，分離的區域標示為不同的區塊，藉以產生處於移動狀態的該物體區塊。
  7. 如申請專利範圍第1項所述之手勢辨識追蹤方法，其中該電子儀器可為手機、電視、電腦、遊戲機、提款機(ATM)、汽車、門禁設備或通行設備。
  8. 如申請專利範圍第1項所述之手勢辨識追蹤方法，其中該影像序列可以藉由一影像擷取裝置連續拍攝一使用者手勢以產生，所輸入之影像大小為一320x240之影像。
  9. 一手勢辨識追蹤系統，應用於一電子儀器，該電子儀器具有一影像擷取裝置，該影像擷取裝置用於連續拍攝一使用者手勢以產生一影像序列，該手勢辨識追蹤系統包含：一影像輸入模組，輸入該影像序列；一影像前處理模組，前處理該影像序列以產生處於移動狀態的一物體區塊；一手部定位模組，利用快包(Quick Hull)演算法針對該物體區塊以 選出最少可包圍該手部之複數個凸點，藉以產生一第一手部特徵資料，根據該第一手部特徵資料針對該物體區塊進行邊緣向量計算，藉以產生一第二手部特徵資料，根據該第一手部特徵資料以及該第二手部特徵資料自該物體區塊中擷取產生一手部樣本區塊，並在該影像序列中掃描一第一候選區塊；以及一手部追蹤模組，分別計算該手部樣本區塊及該第一候選區塊之色彩分布密度函數，並比較該手部樣本區塊以及該第一候選區塊之色彩分布密度函數以得到一第一相似度，藉以追蹤該手勢；其中分別計算該手部樣本區塊及該第一候選區塊之色彩分布密度函數，並比較該手部樣本區塊以及該第一候選區塊之色彩分布密度函數以得到該第一相似度，藉以追蹤該手勢之步驟可以使用平均位移(Mean Shift)做追蹤，透過比對該手部樣本區塊與該第一候選區塊之該色彩分布密度函數的相似程度以追蹤該手勢。
TW104101632A 2015-01-19 2015-01-19 一種手勢辨識追蹤方法及其系統 TWI529608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW104101632A TWI529608B (zh) 2015-01-19 2015-01-19 一種手勢辨識追蹤方法及其系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104101632A TWI529608B (zh) 2015-01-19 2015-01-19 一種手勢辨識追蹤方法及其系統

Publications (2)

Publication Number Publication Date
TWI529608B true TWI529608B (zh) 2016-04-11
TW201627852A TW201627852A (zh) 2016-08-01

Family

ID=56361446

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104101632A TWI529608B (zh) 2015-01-19 2015-01-19 一種手勢辨識追蹤方法及其系統

Country Status (1)

Country Link
TW (1) TWI529608B (zh)

Also Published As

Publication number Publication date
TW201627852A (zh) 2016-08-01

Similar Documents

Publication Publication Date Title
US20220383535A1 (en) Object Tracking Method and Device, Electronic Device, and Computer-Readable Storage Medium
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
US8989448B2 (en) Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
US9696812B2 (en) Apparatus and method for processing user input using motion of object
KR102285915B1 (ko) 모바일 디바이스를 위한 실시간 3d 제스처 인식 및 트랙킹 시스템
CN111797709B (zh) 一种基于回归检测的实时动态手势轨迹识别方法
US9269018B2 (en) Stereo image processing using contours
JP2014164356A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20160140762A1 (en) Image processing device and image processing method
KR102052449B1 (ko) 가상 마우스 시스템 및 그 제어 방법
KR101350387B1 (ko) 깊이 정보를 이용한 손 검출 방법 및 그 장치
CN108255352B (zh) 一种投影交互系统中多点触摸实现方法及系统
JP2020126383A (ja) 動体検出装置、動体検出方法、動体検出プログラム
TWI529608B (zh) 一種手勢辨識追蹤方法及其系統
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP2017033556A (ja) 画像処理方法及び電子機器
CN115220636A (zh) 虚拟操作方法、装置、电子设备及可读存储介质
KR20190132885A (ko) 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램
Siam et al. Human computer interaction using marker based hand gesture recognition
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
US20220050528A1 (en) Electronic device for simulating a mouse
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법
JP5470529B2 (ja) 動き検出装置、動き検出方法及び動き検出プログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees