TWI536259B

TWI536259B - 手勢辨識模組及手勢辨識方法

Info

Publication number: TWI536259B
Application number: TW101151015A
Authority: TW
Inventors: 李芷萱; 周家德
Original assignee: 緯創資通股份有限公司
Priority date: 2012-12-28
Filing date: 2012-12-28
Publication date: 2016-06-01
Also published as: CN103914134B; CN103914134A; US9251408B2; TW201426536A; US20140185868A1

Description

手勢辨識模組及手勢辨識方法

本發明係指一種手勢辨識模組及手勢辨識方法，尤指一種可準確辨識手掌之前後移動手勢的手勢辨識模組及手勢辨識方法。

隨著寬頻網路的進步及普及，使用者可透過電腦或機上盒(Set-top Box)來觀看數位內容及多媒體資訊。一般而言，使用者必須透過鍵盤、滑鼠或遙控器等輸入裝置，來輸入指令至電腦或機上盒，才可對電腦或機上盒進行控制，例如選擇或撥放數位內容及多媒體資訊等。也就是說，當使用者不使用(或不便於使用)上述的輸入裝置時，便難以對電腦或機上盒進行控制，使電腦或機上盒的便利性受到限制。

另一方面，由於影像辨識技術已經逐漸成熟，不僅有電玩廠商推出具有影像辨識的遊樂器材，有電腦廠商推出具有影像辨識的週邊裝置，亦有家電廠商推出具有影像辨識的液晶電視或智慧型電視，以提供使用者透過影像辨識，對遊樂器材、電腦、液晶電視或智慧型電視進行控制。以影像辨識中較廣為使用的手勢辨識來說，在透過手勢辨識對上述裝置進行控制時，使用者需要在偵測器(如攝影機或鏡頭)前做出預先定義的手勢，以供裝置判斷使用者所欲輸入的指令，以及執行對應於該指令之運作。

然而，手勢辨識的準確度容易受到使用者所在位置的影響。舉例來說，當使用者欲透過影像辨識對液晶電視進行控制時，液晶電視上的偵測器會偵測使用者之手勢，判斷使用者所欲輸入的指令，以執行對應的運作。當使用者站在偵測器的正前方且正對該液晶電視時，透過偵測手掌移動前的位置及移動後的位置，例如位置在上下(Y軸)、左右(X軸)及/或前後(Z軸)方向的改變，液晶電視可準確的判斷使用者所做的手勢，特別是立體手勢，例如前推手勢或後縮手勢。然而，當使用者站在偵測器的斜前方或斜對該液晶電視時，即使使用者所做的手勢係一橫向移動手勢(即僅手掌僅在X軸及/或Y軸的方向上移動)而非前後移動手勢，對偵測器而言，仍會偵測到手掌位置在前後(Z軸)方向的改變，使偵測器判斷該手勢為一前後移動手勢，進而執行錯誤的運作或甚至不執行任何運作。雖然可透過使用更複雜的影像辨識演算法或更昂貴的偵測器來改善手勢辨識的準確度，但製造成本也會隨之提高，進而影響相關產品的銷售量。因此，如何以較低的成本改善手勢辨識的準確度係一亟待解決之問題。

因此，本發明之主要目的即在於提供一種手勢辨識模組及手勢辨識方法，以解決上述問題。

本發明揭露一種手勢辨識模組，用來辨識一使用者之一手勢，該手勢辨識模組包含有一偵測單元，包括至少一影像擷取裝置，用來擷取該使用者之一手掌之至少一移動影像，以依序取得該手掌之一第一位置及之一第二位置；一運算單元，電性耦接於該偵測單元，用來決定連接於該第一位置及一固定參考點間之一第一虛擬直線與通過該固定參考點之一參考平面間之一第一角度，以及決定連接於該第二位置及該固定參考點間之一第二虛擬直線與該參考平面間之一第二角度；以及一判斷單元，電性耦接於該運算單元，用來判斷該第一角度及該第二角度間之一關係，以認定該手勢是否為一前後移動手勢。

本發明另揭露一種辨識一使用者之一手勢的方法，用於一手勢辨識模組，該方法包含有擷取該使用者之一手掌之至少一移動影像，以依序取得該手掌之一第一位置及之一第二位置；決定連接於該第一位置及一固定參考點間之一第一虛擬直線與通過該第固定參考點之一參考平面間之一第一角度，以及決定連接於該第二位置及該固定參考點間之一第二虛擬直線與該參考平面間之一第二角度；以及判斷該第一角度及該第二角度間之一關係，以認定該手勢是否為一前後移動手勢。

請參考第1圖，第1圖為本發明實施例一手勢辨識模組10之示意圖，其係由一偵測單元100、一運算單元102及一判斷單元104所組成。詳細來說，偵測單元100包括至少一影像擷取裝置101，係用來擷取一使用者之一手掌之至少一影像，以依序取得該手掌及之一第一位置及之一第二位置。舉例來說，該至少一影像擷取裝置101可以是相間隔一定距離之二台攝影機，或是一台深度攝影機與一台一般攝影機搭配使用，但不限於此。運算單元102電性耦接於偵測單元100，用來決定連接於該第一位置及一固定參考點間之一第一虛擬直線與通過該第固定參考點之一參考平面間之一第一角度，以及決定連接於該第二位置及該固定參考點間之一第二虛擬直線與該參考平面間之一第二角度。判斷單元104耦接於運算單元102，用來根據該第一角度及該第二角度間之一關係，判斷該手勢是否為一前後移動手勢。簡單來說，於偵測單元100偵測手掌移動前之位置及移動後之位置後，運算單元102會根據手掌移動前之位置及移動後之位置及固定參考點間之兩條虛擬直線，分別計算出兩條虛擬直線與該參考平面間之兩個角度，使判斷單元104可根據角度變化(即差異)判斷使用者之手勢。

需注意的是，第1圖中之手勢辨識模組10係用來舉例說明本發明。實際上，亦可將偵測單元100、運算單元102及判斷單元104整合為單一手勢辨識單元(如手勢辨識晶片)，不限於此。此外，手勢辨識模組10可耦接於各種裝置，如滑鼠、鍵盤、機上盒(Set-top box)、體感遊戲機、手持行動裝置或顯示器(例如液晶電視或智慧型電視等平面電視)等，以根據手勢辨識模組10所得之辨識結果，觸發預先設定之指令，進而對裝置進行控制。

請參考第2圖，第2圖為本發明實施例使用者之手勢示意圖，其係以使用者之前推(pushing forward)手勢為範例說明本發明之概念，並配合圖中X-Y-Z座標及圖示方向來輔助說明。於第2圖中，使用者20在偵測單元100前方(不限於正前方)做了一個前推手勢，使手掌從原本的位置200移動到位置202(亦即手掌的位置在Z軸方向上有了變化)，偵測單元100的影像擷取裝置101在擷取手掌影像後，會依序取得手掌移動前後的位置200及位置202。接著，運算單元102於位置200及頭部210(固定參考點)間產生一虛擬直線230，以決定虛擬直線230與透過(即經過)頭部210所形成之一參考平面220(即X-Y平面)間之一角度ang1，以及於位置202及該固定參考點間之產生一虛擬直線232，以決定虛擬直線232與參考平面220間之一角度ang2。因此，判斷單元104可根據角度ang1及角度ang2之關係判斷使用者之手勢。舉例來說，判斷單元104可於角度ang1及角度ang2間之一差值係大於一預設值Th1時，例如當| ang1-ang2 |>Th1成立時，認定手勢係前後移動手勢；相反地，當| ang1-ang2 |<Th1成立時，認定手勢並非前後移動手勢，而為橫向移動手勢。也就是說，使用者做出手勢時，手掌之位置會改變，當位置變化所對應的角度變化大於預設值Th1時，亦即角度變化足夠大(即誤判的機率小)時，判斷單元104會判斷及認定使用者所做之手勢係前後移動手勢，而非橫向移動手勢。如此一來，即使使用者不是站在偵測單元100的正前方或者或是使用者係斜對偵測單元100時，均可透過上述概念，降低將橫向移動手勢誤判為前後移動手勢的機率。

需注意的是，本例是以使用者之頭部210為固定參考點，更精確地來說是以頭頂為固定參考點。實際上，只要是使用者做手勢時，其身上可固定不動的點皆可做為固定參考點，例如使用者頭部之中心、鼻子、嘴巴等。另一方面，手掌的位置(即移動前的位置及移動後的位置)則可為手掌之特徵點之位置，例如手指(如食指或中指)指尖之位置、掌心之位置或是手掌中心之位置等。而本實施例中之參考平面220係以X-Y平面為例作說明，但亦可以其它空間中的平面作為參考平面，不限於此。此外，根據參考平面220來計算角度ang1及角度ang2的方法有很多種。舉例來說，可先將虛擬直線230及/或虛擬直線232投影在參考平面220上，以獲得虛擬直線234，進而計算出虛擬直線230及虛擬直線234間之角度ang1，以及計算虛擬直線232及虛擬直線234間之角度ang2。

此外，根據角度ang1及角度ang2間之大小關係，判斷單元104可進一步判斷前後移動手勢之形式。以第2圖為例，於判斷使用者所做之手勢係前後移動手勢後，根據角度ang1係大於角度ang2，判斷單元104可進一步認定該前後移動手勢係一前推(pushing forward)手勢。相反地，若角度ang1係小於角度ang2，即使用者之手掌從位置232移動至230，且角度變化係大於Th1，判斷單元104可認定該前後移動手勢係一後縮(pulling back)手勢。因此，根據上述概念，手勢辨識模組10不僅可降低誤判前後移動手勢的機率，亦可進一步判斷前後移動手勢之形式。

根據以上所述，第1圖所繪示手勢辨識模組10之運作方式可歸納為第3圖中之一流程30，其包含以下步驟：步驟300：開始。

步驟302：擷取該使用者之一手掌之至少一影像，以依序取得該手掌之一第一位置及之一第二位置。

步驟304：決定連接於該第一位置及一固定參考點間之一第一虛擬直線與通過該第固定參考點之一參考平面間之一第一角度，以及決定連接於該第二位置及該固定參考點間之一第二虛擬直線與該參考平面間之一第二角度。

步驟306：判斷該第一角度及該第二角度間之一關係，以認定該手勢是否為一前後移動手勢。

步驟308：該第一角度及該第二角度間之一差值是否大於一預設值。若是，執行步驟310；若否，執行步驟312。

步驟310：認定該手勢係該前後移動手勢。

步驟312：認定該手勢係一橫向移動手勢。

流程30之詳細說明及相關變化可參考前述，於此不贅述。

除此之外，判斷單元104亦可進一步根據手掌所移動之橫向距離及角度變化，來判斷該手勢是否為一前後移動手勢，以減少判斷錯誤的機率。詳細來說，請參考第4圖，第4圖為本發明實施例使用者之手勢示意圖，其係以使用者之右移(moving right)手勢為範例說明本發明之概念。於第4圖中，使用者40在偵測單元100之前方(不限於正前方)做了一個右移手勢，使手掌從原本的位置400(使用者之左方)移動到位置402(使用者之右方)，偵測單元100的影像擷取裝置101持續擷取手掌影像後，會依序取得位置400及位置402。當位置400及位置402間之橫向距離(或側向距離)係大於一預設值Th2時，例如當d1>Th2成立時，判斷單元104認定該手勢係一橫向移動手勢。反之，當位置400及位置402間之橫向距離係小於預設值Th2時，判斷單元104認定該手勢非橫向移動手勢。

接著，判斷單元104可進一步根據流程30及先前所述近一步確認該手勢是否為一前後移動手勢。也就是說，判斷單元104會先判斷位置400及位置402間之橫向距離是否小於一第一預設值，當位置400及位置402之該橫向距離係小於第一預設值以及角度ang1 及角度ang2間之一差值係大於一第二預設值時，判斷單元104認定該手勢係該前後移動手勢。相反地，當位置400及位置402之該橫向距離係小於第一預設值以及角度ang1及角度ang2間之一差值係小於該第二預設值時，使用者有可能未做出任何手勢(如使用者僅輕微地晃動了手掌)，或者僅做出橫向移動手勢。此時判斷單元104可根據及角度ang1及角度ang2間之差值是否小於一第三預設值來進一步判斷使用者之手勢，當角度ang1及角度ang2間之差值係大於第三預設值時，判斷單元104認定該手勢係橫向移動手勢。反之，當角度ang1及角度ang2間之差值係小於第三預設值時，判斷單元104認定使用者未做出任何手勢。因此，透過二至三次檢查(即使用二至三個預設值)來確認使用者之手勢是否為前後移動手勢，可進一步降低將橫向移動手勢或未做任何手勢誤判為前後移動手勢的機率。

需注意的是，以上所述橫向距離之定義方式係未有所限，只要可用來區別橫向移動手勢即可。舉例來說，運算單元102可先於偵測單元100及使用者間建立一虛擬直線420，再於虛擬直線420上建立一虛擬垂直平面430，以決定位置400及位置402在虛擬垂直平面430上之橫向距離d1，例如將位置400及位置402投影在虛擬垂直平面430，再計算其距離(即水平距離)。此外，第4圖是以使用者水平地左右(沿著X軸方向)移動手掌為例，可得手掌移動前後之水平距離。實際上，當使用者垂直地上下(沿著Y軸方向)移動手掌時，亦可根據以上所述，獲得手掌移動前後之垂直距離等任意橫向距離。換言之，在本發明中所使用的“橫向”並非只是指左右方向之橫向，其係指移動方向的向量位於X-Y平面上(包含有斜向)。

請參考第5圖，第5圖為本發明實施例手掌移動前後之位置示意圖。如第5圖所示，當手掌從位置500移動至位置502(從上方移動至下方)時，運算單元102可於將位置500及位置502投影在虛擬垂直平面430後，計算出垂直距離d2。或者，當手掌從位置504移動至位置506(從左下方移動至右上方)時，運算單元102可於將位置504及位置506投影在虛擬垂直平面430後，計算出垂直距離d3。因此，根據以上所述，運算單元102可獲得手掌移動前後之橫向距離，以提供判斷單元104確認使用者之手勢是否為前後移動手勢。

根據以上所述，第1圖所繪示手勢辨識模組10之運作方式可歸納為第6圖中之一流程60，其包含以下步驟：步驟600：開始。

步驟602：擷取該使用者之一手掌之至少一影像，以依序取得該手掌之一第一位置及之一第二位置。

步驟604：判斷該第一位置及該第一位置間之一橫向距離是否小於一第一預設值。若是，執行步驟606；若否，執行步驟614。

步驟606：根據連接於該第一位置及一固定參考點間之一第一虛擬直線，決定該第一虛擬直線與通過該第固定參考點所形成之一參考平面間之一第一角度，以及根據連接於該第二位置及該固定參考點間之一第二虛擬直線，決定該第二虛擬直線與該參考平面間之一第二角度。

步驟608：判斷該第一角度及該第二角度間之一關係，以認定該手勢是否為一前後移動手勢。

步驟610：該第一角度及該第二角度間之一差值是否大於一第二預設值。若是，執行步驟616；若否，執行步驟612。

步驟612：該第一角度及該第二角度間之該差值是否小於一第三預設值。若是，執行步驟602；若否，執行步驟614。

步驟614：認定該手勢係一橫向移動手勢。

步驟616：認定該手勢係該前後移動手勢。

流程60之詳細說明及相關變化可參考前述，於此不贅述。

綜上所述，本發明提供一種手勢辨識模組及手勢辨識方法，可準確辨識手掌之前後移動手勢，解決習知技術於使用者不是站在偵測器正前方時所遇到誤判手勢問題。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10‧‧‧手勢辨識模組

100‧‧‧偵測單元

101‧‧‧影像擷取裝置

102‧‧‧運算單元

104‧‧‧判斷單元

20、40‧‧‧使用者

200、202、400、402、500、502、504、506‧‧‧位置

210‧‧‧頭部

220‧‧‧參考平面

230、232、234、420‧‧‧虛擬直線

30、60‧‧‧流程

300、302、304、306、308、310、312、600、602、604、606、608、610、612、614、616‧‧‧步驟

430‧‧‧虛擬垂直平面

ang1、ang2‧‧‧角度

d1、d2、d3‧‧‧距離

X、Y、Z‧‧‧座標軸

第1圖為本發明實施例一手勢辨識模組之示意圖。

第2圖為本發明實施例使用者之手勢示意圖。

第3圖為本發明實施例一流程之示意圖。

第4圖為本發明實施例使用者之手勢示意圖。

第5圖本發明實施例手掌移動前後之位置示意圖。

第6圖為本發明實施例一流程之示意圖。

10‧‧‧手勢辨識模組

100‧‧‧偵測單元

101‧‧‧影像擷取裝置

102‧‧‧運算單元

104‧‧‧判斷單元

Claims

一種手勢辨識模組，用來辨識一使用者之一手勢，該手勢辨識模組包含有：一偵測單元，包括至少一影像擷取裝置，用來擷取該使用者之一手掌之至少一影像，以依序取得該手掌之一第一位置及之一第二位置；一運算單元，電性耦接於該偵測單元，用來決定連接於該第一位置及一固定參考點間之一第一虛擬直線與通過該固定參考點之一參考平面間之一第一角度，以及決定連接於該第二位置及該固定參考點間之一第二虛擬直線與該參考平面間之一第二角度；以及一判斷單元，電性耦接於該運算單元，用來判斷該第一角度及該第二角度間之一關係，以認定該手勢是否為一前後移動手勢；其中該參考平面係一水平參考平面，其中當該第一角度及該第二角度間之一差值係大於一預設值時，該判斷單元認定該前後移動手勢係一橫向移動手勢。
如請求項1所述之手勢辨識模組，其中當該第一角度及該第二角度間之一差值係大於一預設值時，該判斷單元認定該手勢係該前後移動手勢。
如請求項2所述之手勢辨識模組，其中當該第一角度係大於該第二角度時，該判斷單元認定該前後移動手勢係一前推(pushing forward)手勢，以及當該第一角度係小於該第二角度時，該判斷單元認定該前後移動手勢係一後縮(pulling back)手勢。
如請求項1所述之手勢辨識模組，其中該固定參考點係位於該使用者之一頭部。
如請求項4所述之手勢辨識模組，其中該固定參考點係位於之該頭部之一中心。
如請求項4所述之手勢辨識模組，其中該固定參考點係位於之該頭部之一鼻子。
如請求項1所述之手勢辨識模組，其中於判斷該第一角度及該第二角度間之該關係之前，該判斷單元先判斷該第一位置及該第二位置間之一橫向距離是否小於一第一預設值。
如請求項7所述之手勢辨識模組，其中當判斷該第一位置及該第二位置間之該橫向距離係小於該第一預設值以及該第一角度及該第二角度間之一差值係大於一第二預設值時，該判斷單元認定該手勢係該前後移動手勢。
如請求項7所述之手勢辨識模組，其中當判斷該第一位置及該第二位置間之該橫向距離係大於該第一預設值時，該判斷單元認定該手勢係一橫向移動手勢。
如請求項7所述之手勢辨識模組，其中該運算單元於連接該偵測單元及該使用者間之一第三虛擬直線上建立一虛擬垂直平面，以決定該第一位置及該第二位置在該虛擬垂直平面上之該橫向距離。
如請求項7所述之手勢辨識模組，其中該橫向距離係一水平距離或一垂直距離。
如請求項1所述之手勢辨識模組，其中該第一位置及該第二位置係該手掌之一手指指尖之位置。
如請求項1所述之手勢辨識模組，其中該第一位置及該第二位置係該手掌之一掌心之位置。
如請求項1所述之手勢辨識模組，其中該第一位置及該第二位置係該手掌之一中心之位置。
一種辨識一使用者之一手勢的方法，用於一手勢辨識模組，該方法包含有：擷取該使用者之一手掌之至少一影像，以依序取得該手掌之一第一位置及之一第二位置；決定連接於該第一位置及一固定參考點間之一第一虛擬直線與通過該第固定參考點之一參考平面間之一第一角度，以及決定連接於該第二位置及該固定參考點間之一第二虛擬直線與該參考平面間之一第二角度；判斷該第一角度及該第二角度間之一關係，以認定該手勢是否為一前後移動手勢；以及當該第一角度及該第二角度間之一差值係小於一預設值時，認定該前後移動手勢係一橫向移動手勢；其中該參考平面係一水平參考平面。
如請求項15所述之手勢辨識方法，其中判斷該第一角度及該第二角度間之該關係，以認定該手勢是否為該前後移動手勢，步驟包含有：當該第一角度及該第二角度間之一差值係大於一預設值時，認定該手勢係該前後移動手勢。
如請求項15所述之方法，另包含有：當該第一角度係大於該第二角度時，認定該前後移動手勢係一前推(pushing forward)手勢，以及當該第一角度係小於該第二角度時，認定該前後移動手勢係一後縮(pulling back)手勢。
如請求項15所述之方法，其中該固定參考點係位於該使用者之一頭部。
如請求項18所述之方法，其中該固定參考點係位於之該頭部之一中心。
如請求項18所述之方法，其中該固定參考點係位於之該頭部之一鼻子。
如請求項15所述之方法，其中判斷該第一角度及該第二角度間之該關係，以認定該手勢是否為該前後移動手勢之步驟包含有：於判斷該第一角度及該第二角度間之該關係之前，先判斷該第一位置及該第二位置間之一橫向距離是否小於一第一預設值。
如請求項21所述之方法，另包含有：當判斷該第一位置及該第二位置間之該橫向距離係小於該第一預設值以及該第一角度及該第二角度間之一差值係大於一第二預設值時，認定該手勢係該前後移動手勢。
如請求項21所述之方法，另包含有：當判斷該第一位置及該第二位置間之該橫向距離係大於該第一預設值時，該判斷單元認定該手勢係一橫向移動手勢。
如請求項21所述之方法，另包含有：於連接該手勢辨識模組之一偵測單元及該使用者間之一第三虛擬直線上建立一虛擬垂直平面，以決定該第一位置及該第二位置在該虛擬垂直平面上之該橫向距離。
如請求項21所述之方法，其中該橫向距離係一水平距離或一垂直距離。
如請求項15所述之方法，其中該第一位置及該第二位置係該手掌之一手指指尖之位置。
如請求項15所述之方法，其中該第一位置及該第二位置係該手掌之一掌心之位置。
如請求項15所述之方法，其中該第一位置及該第二位置係該手掌之一中心之位置。