TWI431538B - 基於影像之動作手勢辨識方法及系統 - Google Patents

Description

基於影像之動作手勢辨識方法及系統

本發明是有關於一種手部偵測系統，特別是有關於一種不需在使用者手部配置感應器的基於影像之動作手勢辨識方法及其系統。

對於快速發展的娛樂系統而言，尤其是遊戲系統，如何讓使用者與電腦之間的互動介面更友善是一項日漸重要的課題。其中，透過電腦分析使用者之動作來執行指令已成為未來最具可能性的互動方法。然而，傳統的解決方案往往需要在使用者手指上配置一感應器，此舉雖然可以增加手部偵測的準確性，但是亦增加使用者的負擔。另一較佳的方式為直接將使用者的手部視為一指令下達器具，以影像處理的方式分析使用者的手部移動方式來輸入指令，控制電腦的作業系統或是週邊裝置。但是，此種傳統的影像分析方法過於複雜且不夠穩定。

例如，已知一美國專利，其專利號6,002,808，便揭露一種用以快速分析手勢以控制電腦的方法，其使用影像向量計算來決定使用者手部的位置，方位以及大小。接著，透過影像處理的方式來決定手勢，例如如果確認過的手部影像中有洞，表示使用者的拇指與食指相碰觸擺出一OK的手勢。此外，此專利亦揭露可利用手勢來控制電腦顯示的屏幕顯示介面(OSD)。此習知技術的運 算量過於龐大，且容易在使用者改變動作時產生誤判，穩定度不佳。

例如，另一已知美國專利，其專利號7,129,927，揭露一手勢辨識系統，其特徵在於使用者手上配置複數個標記物(marker)，藉著此系統透過一感應器偵測此些標記物的位置。其中，複數個標記物中分成第一標記物組及一第二標記物組，第一標記物組係作為參考之用，而感應器偵測第二標記物組相對於第一標記物組的移動以進一步辨識出使用者手勢。此習知技術要求使用者佩帶標記物，無法僅以徒手進行操作。

因此，如何讓使用者可以徒手手勢或是移動軌跡與操作介面進行互動，是一項及待解決的問題。

有鑑於上述習知技藝之問題，本發明之其中一目的就是在提供一種基於影像之動作手勢辨識方法，以達到提高使用便利性及降低計算複雜度之目的。

根據本發明之目的，提出一種基於影像之動作手勢辨識方法包含下列步驟。接收複數張影像畫面；根據此複數張影像畫面執行一手勢偵測，以得到一第一手勢；判斷此第一手勢是否符合一預設開始手勢；如果此第一手勢符合此預設開始手勢，則根據此複數張影像畫面中手部位置，執行一移動追蹤以取得一移動手勢；於執行此移動追蹤之過程中，根據此複數張影像畫面執行此手 勢偵測，以得到一第二手勢；判斷此第二手勢是否符合一預設結束手勢；如果此第二手勢符合此預設結束手勢，停止此移動追蹤。

其中，如果此第二手勢不符合此預設結束手勢，持續執行此移動追蹤。

其中，執行此手勢偵測之步驟更包含偵測此複數張影像畫面之任一影像畫面是否存在有一手部影像；如果此手部影像存在，則根據此手部影像取得一手部輪廓影像；根據此手部輪廓影像判斷一手部方向及一手指數目；根據此手部方向及此手指數目辨識出此第一手勢或此第二手勢。

其中，執行此移動追蹤之步驟更包含：取得在每一此複數張影像畫面中包含有此手部影像之至少一影像區塊；估算此複數影像區塊之間的複數個移動向量。

其中，本發明之基於影像之動作手勢辨識方法更包含：紀錄此複數個移動向量以取得一移動軌跡；辨識此移動軌跡以取得此移動手勢。

其中，判斷此手部方向之步驟更包含根據此手部輪廓影像所碰觸到的此影像畫面之一邊緣，來判斷此手部方向。

其中，判斷此手指數目之步驟更包含執行一手掌方位計算以取得此手部輪廓影像之一重心位置；根據此重心位置對此手部輪廓影像執行一手掌切割，以取得一已切割手部影像；根據此已切割手部影像判斷手指數目。

根據本發明之目的，再提出一種基於影像之動作手勢辨識系統，包含一儲存單元、一影像擷取單元、一第一處理單元、一比對單元及一第二處理單元。儲存單元係儲存一預設開始手勢及一預設結束手勢。影像擷取單元係擷取複數張影像畫面。第一處理單元係根據此複數張影像畫面執行一手勢偵測，以得到一第一手勢。比對單元係判斷此第一手勢是否符合此預設開始手勢。如果此比對單元判斷此第一手勢符合此預設開始手勢，則此第二處理單元根據此複數張影像畫面中手部位置，執行一移動追蹤以取得一移動手勢。於執行此移動追蹤之過程中，此第一處理單元係根據此複數張影像畫面執行此手勢偵測，以得到一第二手勢，若此比對單元判斷此第二手勢符合該預設結束手勢，則此第二處理單元停止此移動追蹤。

其中，當此比對單元判斷此第二手勢不符合此預設結束手勢時，此第二處理單元繼續此移動追蹤。

其中，此第一處理單元更包含一第一影像處理單元、一第二影像處理單元及一手勢辨識單元。第一影像處理單元係偵測此複數張影像畫面之任一影像畫面內之一手部影像。第二影像處理單元係根據此手部影像取得一手部輪廓影像。手勢辨識單元係根據此手部輪廓影像判斷一手部方向及一手指數目，並根據此手部方向及此手指數目辨識出此第一手勢或此第二手勢。

其中，此第二處理單元更包含一區塊偵測單元及一移動向量單元。區塊偵測單元係取得在每一此複數張影像畫面中包含有此手部影像之至少一影像區塊。移動向量單元，係估算此複數影像區塊之間的複數個移動向量。

其中，此第二處理器更包含一軌跡辨識單元，此軌跡辨識單元係紀錄此複數個移動向量以取得一移動軌跡，並辨識此移動軌跡以取得此移動手勢。

其中，此手勢辨識單元係根據此手部輪廓影像所碰觸到的此影像畫面之一邊緣，來判斷此手部方向。

其中，此手勢辨識單元係執行一手掌方位計算以取得此手部輪廓影像之一重心位置，根據此重心位置對此手部輪廓影像執行一手掌切割，以取得一已切割手部影像，再根據此已切割手部影像判斷手指數目。

請參閱第1圖，其係為本發明之基於影像之動作手勢辨識系統之方塊圖。圖中，動作手勢辨識系統包含一儲存單元11、一影像擷取單元12、一第一處理單元13、一比對單元14及一第二處理單元15。儲存單元11，例如記憶體或硬碟，係儲存一預設開始手勢111及一預設結束手勢112。影像擷取單元12係擷取複數張影像畫面121。影像擷取單元12較佳為一攝影機，其可輸出連續影像畫面。第一處理單元13係根據此複數張影像畫面121執行一手勢偵測131，以得到一第一手勢132。比對 單元14係判斷此第一手勢132是否符合預設開始手勢111。

如果比對單元14判斷此第一手勢132符合此預設開始手勢111，則此第二處理單元15根據此複數張影像畫面121中手部位置，執行一移動追蹤151以取得一移動手勢152。於執行此移動追蹤151之過程中，此第一處理單元13根據此複數張影像畫面121，仍繼續或週期性地執行手勢偵測131，以得到一第二手勢133，若比對單元14判斷此第二手勢133符合預設結束手勢112，則此第二處理單元15停止執行移動追蹤151。當比對單元14判斷第二手勢133不符合預設結束手勢112時，此第二處理單元15持續執行移動追蹤151。

藉此，系統可先對使用者提示預設開始手勢111及預設結束手勢112之樣態。當欲徒手輸入指令或資料，則使用者可先擺出預設開始手勢111表示要開始輸入指令，待系統辨識成功後，使用者改變手勢或移動手部來進行操作。在操作期間，系統仍持續進行手勢辨識，一方面確認欲輸入的指令，另一方面係確認使用者是否擺出預設結束手勢112以結束操作。其中，預設開始手勢111及預設結束手勢112可設計為特別且十分明確的手勢，以確保在使用者進行操作而改變手勢時系統不容易誤判；此外，由於開始與結束的明確區隔，系統亦可簡化指令手勢的辨識流程，進一步使徒手操作更為流暢，提高系統實現即時操作的可能性。

請參閱第2圖，其係為本發明之基於影像之動作手勢辨識系統之實施例方塊圖。圖中，此實施例包含一記憶體21、一攝影機22、一第一處理單元23、一比對單元14及一第二處理單元25。第一處理單元23更包含一第一影像處理單元231、一第二影像處理單元232及一手勢辨識單元233。第一影像處理單元231係偵測複數張影像畫面121之任一影像畫面121內之一手部影像236(如第3圖所示之手部影像31)，接著第二影像處理單元232根據手部影像236取得一手部輪廓影像237(如第3圖所示之影像區域33)。例如，第二影像處理單元232可先對手部影像236進行邊緣偵測處理，以取得手部輪廓線32，接著以手部輪廓線32與手部影像236邊緣所圍之影像區域33作為手部輪廓影像237。

手勢辨識單元233根據手部輪廓影像237判斷一手部方向238及一手指數目239。進行手部方向238之判斷時，例如，可根據手部輪廓影像237所碰觸到的影像畫面121之一邊緣，來判斷手部方向238，例如第三圖所示之影像區域33係接觸影像畫面121之右邊緣，所以其手部方向定義為東方；若接觸係為影像畫面121之下邊緣，則手部方向定義為南方；若接觸係為影像畫面121之上邊緣，則手部方向定義為北方；若接觸係為影像畫面121之左邊緣，則手部方向定義為西方。

進行手指數目239之判斷時，此實施例之手勢辨識單元233可執行一手掌方位計算以取得手部輪廓影像237之一重心位置。例如，可根據手掌的常見的二維形 狀選擇一力矩函式 I (x,y)，接著根據此 I (x,y)計算一階力矩以及二階力矩 M ₀₀、 M ₁₀、 M ₀₁、 M ₁₁、 M ₂₀及 M ₀₂，如以下列方程式所示：

接著，可根據 M ₀₀、 M ₁₀及 M ₀₁計算出重心位置(x _c,y _c)，如下列公式所示：

重心位置(x _c,y _c)如第4圖所示之位置41。再根據x _c、y _c、 M ₀₀、 M ₁₁、 M ₂₀及 M ₀₂計算出手部矩型的長 L ₁及寬 L ₂，如下列公式所示：

接著，根據重心位置對手部輪廓影像執行一手掌切割。如第4圖所示，接著以重心位置41為圓心，手部矩型的寬度L2的一半作為半徑，於手部輪廓影像43上切割出一圓形區域，以剩餘的區域作為一已切割手部影像44。已切割手部影像44可用以來判斷手指數目239以及一手掌方位。若切割手部影像44的區域小於一預設值，表示使用者的手掌方位為握拳；若切割手部影像44的區域分佈寬度大於高度，則表示使用者的手掌方位為水平方向；若切割手部影像44的區域分佈高度大於寬度，則表示使用者的手掌方位為垂直方向。

請參閱第5圖，其繪示本發明之判斷手指數目之範例示意圖。圖中，先從已切割手部影像44上辨識出一離邊緣最遠之尖端45，計算尖端45與重心位置41之間的距離d，再根據d決定一l值(例如l=d/3)，接著取得一與尖端45距離l的線段PP’，接著再計算已切割手部影像44與線段PP’重疊的次數來決定手指數目239。

接著，手勢辨識單元233再根據手部方向238及手指數目239辨識出第一手勢131或第二手勢132。實施上，手勢辨識單元233可與一資料庫進行比對。請續參閱第6圖，其繪示本發明之用以辨識手勢之資料庫範例示意圖。圖中，此資料庫係紀錄手指數目為0的握拳手勢、手指數目為1的單指手勢以及手指數目為5的張掌手勢等三種預設手勢的比對資料；此外，此資料庫亦將此些比對資料分類成從東(E)、從西(W)、從南(S)及從北(N)延伸的四種手部方向；此外，此資料庫亦將此些比對 資料分類成水平(H)、垂直(V)以及握拳(S)等三種手掌方位。手勢辨識單元233便可根據手部方向238及手指數目239於此資料庫查詢以取得相對應的手勢；例如，手勢辨識單元233根據手部方向為從南方延伸、手指數目為5且手掌方向為垂直的三個資料可從此資料庫中查詢出手勢61，其可表示一停止手勢；手部方向238為從東方延伸、手指數目為1且手掌方向為水平的三個資料可從此資料庫中查詢出手勢62，其可表示一向左指手勢；手部方向238為從西方延伸、手指數目為5且手掌方向為水平的三個資料可從此資料庫中查詢出手勢63。

第二處理單元25視需要可包含一區塊偵測單元251、一移動向量單元252及一軌跡辨識單元253。區塊偵測單元251取得在每一張影像畫面121中包含有手部影像236之至少一影像區塊257。接著移動向量單元252估算複數影像區塊257之間的複數個移動向量258。在此，移動向量258之估算為此技術領域之通常知識者所熟知，固在此不再贅述。軌跡辨識單元253紀錄複數個移動向量258以取得一移動軌跡259，並辨識移動軌跡259以取得移動手勢152。

請參閱第7圖，其繪示本發明之基於影像之動作手勢辨識方法之流程圖。圖中，動作手勢辨識方法包含下列步驟。於步驟71接收複數張影像畫面。於步驟72根據此複數張影像畫面執行一手勢偵測，以得到一第一手勢。於步驟73判斷此第一手勢是否符合一預設開始手勢；如果此第一手勢符合此預設開始手勢，則於步驟74 根據此複數張影像畫面中手部位置，執行一移動追蹤以取得一移動手勢；若否，則繼續執行步驟72。在步驟75中，於執行此移動追蹤之過程中，根據此複數張影像畫面執行此手勢偵測，以得到一第二手勢。在步驟76中，判斷此第二手勢是否符合一預設結束手勢。如果此第二手勢符合此預設結束手勢，於步驟77停止此移動追蹤；若否，則繼續執行步驟75。藉此，可降低追蹤及辨識移動手勢的複雜度，以及提高辨識準確度。

請參閱第8圖，其繪示本發明之執行手勢偵測之實施流程圖。圖中，在步驟81偵測複數張影像畫面之任一影像畫面是否存在有一手部影像。如果手部影像存在，則在步驟82根據手部影像取得一手部輪廓影像，如第3圖所示之影像區域33。在步驟83根據手部輪廓影像所碰觸到的影像畫面之一邊緣，來判斷手部方向。例如影像區域33之手部方向係判斷為東方。在步驟84執行一手掌方位計算以取得手部輪廓影像之一重心位置，如第4圖所示之重心位置41。接著，在步驟85根據重心位置對手部輪廓影像執行一手掌切割，以取得一已切割手部影像。在步驟86根據已切割手部影像判斷手指數目。在步驟87根據手部方向及手指數目辨識出手勢。此外，視需要亦可再根據手掌方位來判斷出手勢。

請參閱第9圖，其繪示本發明之執行移動追蹤之實施流程圖。圖中，在步驟91取得在每一複數張影像畫面中包含有手部影像之至少一影像區塊。在步驟92估算複數影像區塊之間的複數個移動向量。在步驟93紀錄複數 個移動向量以取得一移動軌跡。在步驟94辨識移動軌跡以取得移動手勢。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

11‧‧‧儲存單元

111‧‧‧預設開始手勢

112‧‧‧預設結束手勢

12‧‧‧影像擷取單元

121‧‧‧影像畫面

13‧‧‧第一處理單元

131‧‧‧手勢偵測

132‧‧‧第一手勢

133‧‧‧第二手勢

14‧‧‧比對單元

15‧‧‧第二處理單元

151‧‧‧移動追蹤

152‧‧‧移動手勢

21‧‧‧記憶體

22‧‧‧攝影機

23‧‧‧第一處理單元

231‧‧‧第一影像處理單元

232‧‧‧第二影像處理單元

233‧‧‧手勢辨識單元

236、31‧‧‧手部影像

237、43‧‧‧手部輪廓影像

238‧‧‧手部方向

239‧‧‧手指數目

25‧‧‧第二處理單元

251‧‧‧區塊偵測單元

252‧‧‧移動向量單元

253‧‧‧軌跡辨識單元

257‧‧‧影像區塊

258‧‧‧移動向量

259‧‧‧移動軌跡

32‧‧‧手部輪廓線

33‧‧‧影像區域

41‧‧‧重心位置

44‧‧‧已切割手部影像

45‧‧‧尖端

61~63‧‧‧手勢

71~77‧‧‧步驟流程

81~87‧‧‧步驟流程

91~94‧‧‧步驟流程

第1圖 係為本發明之基於影像之動作手勢辨識系統之方塊圖；第2圖 係為本發明之基於影像之動作手勢辨識系統之實施例方塊圖；第3圖 係為本發明之手部輪廓影像之範例示意圖；第4圖 係為本發明之手掌切割之範例示意圖；第5圖 係為本發明之判斷手指數目之範例示意圖；第6圖 係為本發明之用以辨識手勢之資料庫範例示意圖；第7圖 係為本發明之基於影像之動作手勢辨識方法之流程圖；第8圖 係為本發明之執行手勢偵測之實施流程圖；以及第9圖 係為本發明之執行移動追蹤之實施流程圖。

11‧‧‧儲存單元

111‧‧‧預設開始手勢

112‧‧‧預設結束手勢

12‧‧‧影像擷取單元

121‧‧‧影像畫面

13‧‧‧第一處理單元

131‧‧‧手勢偵測

132‧‧‧第一手勢

133‧‧‧第二手勢

14‧‧‧比對單元

15‧‧‧第二處理單元

152‧‧‧移動手勢

Claims (10)

1. 一種基於影像之動作手勢辨識方法，包含：接收複數張影像畫面；根據該複數張影像畫面執行一手勢偵測，以得到一第一手勢；判斷該第一手勢是否符合一預設開始手勢；如果該第一手勢符合該預設開始手勢，則根據該複數張影像畫面中手部位置，執行一移動追蹤以取得一移動手勢；於執行該移動追蹤之過程中，根據該複數張影像畫面執行該手勢偵測，以得到一第二手勢；判斷該第二手勢是否符合一預設結束手勢；以及如果該第二手勢符合該預設結束手勢，停止該移動追蹤；其中執行該手勢偵測之步驟更包含：偵測該複數張影像畫面之任一影像畫面是否存在有一手部影像；如果該手部影像存在，則根據該手部影像取得一手部輪廓影像；根據該手部輪廓影像判斷一手部方向及一手指數目；以及根據該手部方向及該手指數目辨識出該第一手勢或該第二手勢：其中判斷該手指數目之步驟更包含：執行一手掌方位計算以取得該手部輪廓影像之一重心位置；根據該重心位置對該手部輪廓影像執行一手掌切割，以取得一已切割手部影像；以及根據該已切割手部影像判斷該手指數目。
2. 如申請專利範圍第1項所述之基於影像之動作手勢辨識方法，更包含：如果該第二手勢不符合該預設結束手勢，持續執行該移動追蹤。
3. 如申請專利範圍第1項所述之基於影像之動作手勢辨識方法，其中執行該移動追蹤之步驟更包含：取得在每一該複數張影像畫面中包含有該手部影像之至少一影像區塊；以及估算該複數影像區塊之間的複數個移動向量。
4. 如申請專利範圍第3項所述之基於影像之動作手勢辨識方法，其中執行該移動追蹤之步驟更包含：紀錄該複數個移動向量以取得一移動軌跡；以及辨識該移動軌跡以取得該移動手勢。
5. 如申請專利範圍第1項所述之基於影像之動作手勢辨識方法，其中判斷該手部方向之步驟更包含：根據該手部輪廓影像所碰觸到的該影像畫面之一邊緣，來判斷該手部方向。
6. 一種基於影像之動作手勢辨識系統，包含：一儲存單元，係儲存一預設開始手勢及一預設結束手勢；一影像擷取單元，係擷取複數張影像畫面；一第一處理單元，係根據該複數張影像畫面執行一手勢偵測，以得到一第一手勢；一比對單元，係判斷該第一手勢是否符合該預設開始手勢； 以及一第二處理單元，如果該比對單元判斷該第一手勢符合該預設開始手勢，則該第二處理單元根據該複數張影像畫面中手部位置，執行一移動追蹤以取得一移動手勢；其中，於執行該移動追蹤之過程中，該第一處理單元係根據該複數張影像畫面執行該手勢偵測，以得到一第二手勢，若該比對單元判斷該第二手勢符合該預設結束手勢，則該第二處理單元停止該移動追蹤；其中該第一處理單元更包含：一第一影像處理單元，係偵測該複數張影像畫面之任一影像畫面內之一手部影像；一第二影像處理單元，係根據該手部影像取得一手部輪廓影像；以及一手勢辨識單元，係根據該手部輪廓影像判斷一手部方向及一手指數目，並根據該手部方向及該手指數目辨識出該第一手勢或該第二手勢；其中該手勢辨識單元係執行一手掌方位計算以取得該手部輪廓影像之一重心位置，根據該重心位置對該手部輪廓影像執行一手掌切割，以取得一已切割手部影像，再根據該已切割手部影像判斷該手指數目。
7. 如申請專利範圍6項所述之基於影像之動作手勢辨識系統，其中當該比對單元判斷該第二手勢不符合該預設結束手勢時，該第二處理單元繼續該移動追蹤。
8. 如申請專利範圍第6項所述之基於影像之動作手勢辨識系統， 其中該第二處理單元更包含：一區塊偵測單元，係取得在每一該複數張影像畫面中包含有該手部影像之至少一影像區塊；以及一移動向量單元，係估算該複數影像區塊之間的複數個移動向量。
9. 如申請專利範圍第8項所述之基於影像之動作手勢辨識系統，其中該第二處理器更包含一軌跡辨識單元，該軌跡辨識單元係紀錄該複數個移動向量以取得一移動軌跡，並辨識該移動軌跡以取得該移動手勢。
10. 如申請專利範圍第6項所述之基於影像之動作手勢辨識系統，其中該手勢辨識單元係根據該手部輪廓影像所碰觸到的該影像畫面之一邊緣，來判斷該手部方向。