TWI496094B - 手勢辨識模組及手勢辨識方法 - Google Patents
手勢辨識模組及手勢辨識方法 Download PDFInfo
- Publication number
- TWI496094B TWI496094B TW102102472A TW102102472A TWI496094B TW I496094 B TWI496094 B TW I496094B TW 102102472 A TW102102472 A TW 102102472A TW 102102472 A TW102102472 A TW 102102472A TW I496094 B TWI496094 B TW I496094B
- Authority
- TW
- Taiwan
- Prior art keywords
- coordinate
- palm
- depth
- vertical
- image
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Description
本發明係指一種手勢辨識模組及手勢辨識方法,尤指一種可準確辨識手掌進行抓取手勢的手勢辨識模組及手勢辨識方法。
通常而言,電子裝置可使用立體影像或是平面影像來判斷使用者的手勢。相較於平面影像,立體影像另包含深度資訊。當電子裝置利用立體影像進行判斷使用者手勢時,電子裝置可透過深度資訊排除非必要的影像資訊,從而增加手勢判斷的準確度。然而,由於立體影像的影像細節較平面影像模糊,因此電子裝置較難以使用立體影像作為判斷手勢的依據。舉例來說,當電子裝置擷取使用者之拳頭影像時,平面影像可顯示出拳頭中指縫的影像細節,而立體影像僅能顯示拳頭的形狀。因此,若電子裝置辨識立體影像中影像細節的能力可被提升,電子裝置即可利用立體影像具有深度資訊的優勢,進一步提高辨識使用者手勢的準確度。
因此,本發明之主要目的在於提供一種能夠透過計算立體影像中使用者手掌面積的變化,辨識使用者手勢的手勢辨識模組及手勢辨識方法。
本發明揭露一種手勢辨識模組,用來辨識一使用者的一手勢。該手勢辨識模組包含有一偵測單元,用來擷取該使用者之一手掌之至少一手掌影像,以依序取得一第一座標以及一第二座標;一運算單元,耦接於該偵測單元,用來根據該第一座標及該第二座標,分別定義一第
一範圍及一第二範圍;以及根據該第一範圍以及該第二範圍,計算一第一面積及一第二面積;以及一判斷單元,耦接於該偵測單元以及該運算單元,用來根據該第一座標、該第二座標、該第一面積以及該第二面積,辨識該手勢。
本發明另揭露一種手勢辨識方法,用於一手勢辨識模組。該手勢辨識方法包含有:擷取一使用者之一手掌之至少一手掌影像,以依序取得一第一座標以及一第二座標;根據該第一座標及該第二座標,分別定義一第一範圍及一第二範圍;根據該第一範圍以及該第二範圍,計算一第一面積及一第二面積;以及根據該第一座標、該第二座標、該第一面積以及該第二面積,辨識該使用者之一手勢。
10‧‧‧手勢辨識模組
100‧‧‧偵測單元
102‧‧‧運算單元
104‧‧‧判斷單元
106‧‧‧影像擷取裝置
70‧‧‧手勢辨識方法
700~710‧‧‧步驟
BP‧‧‧臉部座標
HA_1、HA_2、HA_3‧‧‧面積
HC_1、HC_2、HC_3‧‧‧座標
HI_1、HI_2、HI_3、HI_CRO‧‧‧手掌影像
HL_Y1~HL_Ym、HL_Ya~HL_Ye‧‧‧水平線
HZ_1、HZ_2‧‧‧範圍
L_Y1~L_Yn、L_Ya~L_Ye‧‧‧水平線長度
TH_G‧‧‧抓取閥值
TH_L1、TH_L2‧‧‧長度閥值
TH_M‧‧‧移動閥值
TH_T‧‧‧拖曳閥值
TR1、TR2‧‧‧拖曳比值
X_HC_1、X_HC_2‧‧‧X軸座標
Y1~Yn、Ya~Ye、Y_HC_1、Y_HC_2‧‧‧Y軸座標
Z_BP、Z_HC_1、Z_HC_2‧‧‧Z軸座標
Z_D1、Z_D2、Z_D3‧‧‧深度
Z_HIS‧‧‧手掌影像起始深度座標
Z_HIE‧‧‧手掌影像終點深度
Z_HS1‧‧‧手掌起始座標
Z_HE1‧‧‧手掌終點座標
第1圖為本發明實施例一手勢辨識模組的示意圖。
第2圖為本發明實施例一使用者手勢的示意圖。
第3圖為本發明實施例一手掌影像的示意圖。
第4A圖及第4B圖為本發明實施例使用者手勢的示意圖。
第5圖為本發明實施例另一手掌影像的示意圖。
第6圖為本發明實施例另一手掌影像的示意圖。
第7圖為本發明實施例一手勢辨識方法的流程圖。
請參考第1圖,第1圖為本發明實施例的一手勢辨識模組10的示意圖。手勢辨識模組10利用立體影像,來判斷使用者的手勢。如第1圖所示,手勢辨識模組10包含有一偵測單元100、一運算單元102以及一判斷單元104。偵測單元100包含有至少一影像擷取裝置106,用來擷取使用者手掌的至少一手掌影像,以依序取得座標HC_1、HC_2。座標HC_1、HC_2可為手掌的絕對座標或手掌影像的相對座標。運算單元102耦接於偵測單元100,用來根據座標HC_1、HC_2,分別定義範圍
HZ_1、HZ_2,並根據範圍HZ_1、HZ_2,分別計算面積HA_1、HA_2。判斷單元104耦接於偵測單元100及運算單元102,用來根據座標HC_1、HC_2、面積HA_1、HA_2,判斷使用者的手勢。簡言之,於偵測單元100偵測出使用者手掌或手掌影像的座標HC_1、HC_2後,運算單元102會計算對應於座標HC_1、HC_2的面積HA_1、HA_2。然後,判斷單元104即可根據座標HC_1、HC_2間以及面積HA_1、HA_2間的變化程度,判斷使用者的手勢。
需注意的是,第1圖中之手勢辨識模組10係用來舉例說明本發明。實際上,亦可將偵測單元100、運算單元102及判斷單元104整合為單一手勢辨識單元(如手勢辨識晶片),不限於此。此外,手勢辨識模組10可耦接於各種裝置,如滑鼠、鍵盤、機上盒(Set-top box)、體感遊戲機、手持行動裝置或顯示器(例如液晶電視或智慧型電視等平面電視)及/或液晶電視等,以根據手勢辨識模組10所得之辨識結果,觸發預先設定之指令,進而對裝置進行控制。
詳細來說,請參考第2圖,第2圖為本發明實施例使用者手勢的示意圖。在第2圖中,使用者在手勢辨識模組10前方(不限於正前方)舉起手臂並將手掌打開。首先,偵測單元100另擷取使用者臉部的平面影像以及立體影像,以根據使用者臉部的平面影像,取得一臉部座標BP。其中,臉部座標BP可為使用者臉部之中心點或是重心,但不限於此。接下來,偵測單元100透過比對使用者臉部的平面影像與立體影像,取得臉部座標BP的Z軸(深度)座標Z_BP。由於使用者手掌位置通常位於使用者臉部前方一特定範圍內(如臉部前方5cm~50cm),因此偵測單元100係將Z軸座標Z_BP分別減去深度ZD1、ZD2,以分別取得一手掌影像起始深度座標Z_HIS及一手掌影像終點深度Z_HIE。然後,偵測單元100即可在對應於手掌影像起始深度座標Z_HIS與手掌影像終點深度Z_HIE中間的複數個Z軸座標的複數個像素區域中,尋找適
當之像素區域,作為至少一手掌影像中一手掌影像HI_1。舉例來說,偵測單元100可先排除此複數個像素區域中面積小於一面積閥值的像素區域,以避免雜訊的干擾。隨後,偵測單元100可選取複數個像素區域中具有最大像素面積的像素區域(即第2圖中位於Z軸座標Z_HI_1的像素區域)作為手掌影像HI_1。
根據上述流程,偵測單元100於依序取得手掌影像HI_1、HI_2後,偵測單元100可根據手掌影像HI_1、HI_2在分別取得座標HC_1、HC_2。根據不同應用,偵測單元100根據手掌影像HI_1、HI_2取得座標HC_1、HC_2的方法可據以改變。舉例來說,請參考第3圖,第3圖為本發明實施例一手掌影像的示意圖如第3圖所示,手掌影像HI_1位於Y軸(垂直)座標Y1 Yn之間。偵測單元100係於手掌影像HI_1中取得分別對應於Y軸座標Y1~Yn的水平線HL_Y1~HL_Yn,並計算水平線HL_Y1~HL_Yn的水平線長度L_Y1~L_Yn。其中,若是同一Y軸座標對應到複數個水平線,偵測單元100係選擇複數個水平線中具有最長長度的水平線作為對應於此Y軸座標的水平線。然後,偵測單元100可透過由上而下地比較Y軸座標Y1~Yn中連續2個Y軸座標的水平線長度,得知手掌影像HI_1中手指與手掌交界之處。當水平線長度L_Ya(對應於Y軸座標Ya)小於水平線長度L_Yb(對應於Y軸座標Ya的下一Y軸座標Yb)一長度閥值TH_L1時(即L_Ya
+TH_L
1<L_Yb
),代表手掌影像HI_1於Y軸座標Ya到Y軸座標Yb間增加的幅度大於長度閥值TH_L1。在此狀況下,偵測單元100判斷Y軸座標Yb為手掌影像HI_1中手掌與手指的交界。因此,偵測單元100係以Y軸座標Yb作為座標HC的Y軸座標。偵測單元100另取水平線HL_Yb中點的X軸(水平)座標,作為座標HC的X軸座標。而座標HC的Z軸座標則為手掌影像HI_1的Z軸座標。根據上述運作流程,偵測單元100可根據手掌影像HI_1、HI_2,依序取得座標HC_1、HC_2。座標HC_1、HC_2的X
軸座標、Y軸座標、Z軸座標分別為(X_HC_1,Y_HC_1、Z_HC_1)及(X_HC_2,Y_HC_2、Z_HC_2)。
接下來,由於使用者手掌可能會稍微彎曲,運算單元102必須根據座標HC_1、HC_2規劃一稍大於使用者手掌的範圍HZ_1、HZ_2,以累加範圍HZ_1、HZ_2內所有像素區域的面積,從而取得正確的手掌面積。請參考第4A圖及第4B圖,第4A圖及第4B圖為本發明實施例使用者手勢的示意圖。其中,在第4A圖中使用者係舉起手臂並張開手掌,而在第4B圖中使用者係舉起手臂並握緊手掌。如第4A圖所示,運算單元102規劃座標HC_1周圍的空間為範圍HZ_1。範圍HZ_1的X軸範圍可為X_HC_1-α~X_HC_1+β,範圍HZ_1的Y軸範圍可為Y_HC_1-γ~Y_HC_1+δ,且範圍HZ_1的Z軸範圍可為Z_HC_1-ε~Z_HC_1+ζ,其中α、β、γ、δ、ε、ζ皆為系統預設數值。值得注意的是,手勢辨識模組10擷取到使用者手掌的大小會隨著座標HC_1的Z軸座標而改變。當座標HC_1的Z軸座標越小,手勢辨識模組10擷取到的使用者手掌的面積越大。因此,範圍HZ_1的大小亦需根據座標HC_1的Z軸座標Z_HC_1而改變。舉例來說,當Z軸座標Z_HC_1減少一長度L(即Z軸座標Z_HC_1變小)時,範圍HZ_1的X軸範圍可修改為X_HC_1-(α+m)~X_HC_1+(β+m),範圍HZ_1的Y軸範圍也可修改為Y_HC_1-(γ+m)~Y_HC_1+(δ+m),其中數值m與長度L成正比。換言之,範圍HZ_1的X軸範圍與Y軸範圍(即範圍HZ_1位於X-Y平面的面積)及範圍HZ_1的大小)係與Z軸座標Z_HC_1成反比。另一方面,由於立體影像中Z軸的影像不受座標HC_1的Z軸座標影響,因此即使Z軸座標Z_HC_1減少一長度L,範圍HZ_1的Z軸範圍維持為Z_HC_1-ε~Z_HC_1+ζ。
根據範圍HZ_1,運算單元102可取得範圍HZ_1的複數個像素面積中最小的Z軸座標Z_HS1,作為一手掌起始座標Z_HS1。運算單
元102將手掌起始座標Z_HS1加上一深度Z_D3後,可取得一手掌終點座標Z_HE1,其中深度Z_D3係一預設值。手掌起始座標Z_HS1與手掌終點座標Z_HE1間每一Z軸座標將對應於一像素區域。舉例來說,對應於手掌起始座標Z_HS1的像素區域可能為位於手掌中央的一矩形,而對應於手掌終點座標Z_HE1的像素區域可能為位於手掌上下兩邊的兩個矩形。透過累加對應於手掌起始座標Z_HS1與手掌終點座標Z_HE1間每一Z軸座標的像素區域的面積,運算單元102可取得面積HA_1。相似地,透過上述運作流程,運算單元102可根據第4B圖所示座標HC_2,取得面積HA_2。
於取得座標HC_1、HC_2以及面積HA_1、HA_2後,判斷單元104即可根據座標HC_1、HC_2以及面積HA_1、HA_2間之變化關係,判斷使用者的手勢。為避免使用者手掌的微小晃動造成判斷單元104誤判,因此當座標HC_1與座標HC_2間的距離小於一移動閥值TH_M(即|HC
1-HC
2|<TH_M
)時,判斷單元104可比較面積HA_1、HA_2間之大小關係,以判斷使用者是否作出一抓取手勢。由於在第4A圖中使用者係張開手掌,而在第4B圖中使用者係緊握手掌,因此面積HA_1將會大於面積HA_2(例如面積HA_1×60%=面積HA_2)。換言之,當面積HA_1與面積HA_2之差距大於一抓取閥值TH_G時(即HA
1-HA
2>TH_G
),判斷單元104可判斷使用者的手掌由張開變為緊握,即使用者的手勢為抓取手勢。簡言之,當座標HC_1與座標HC_2間的距離小於移動閥值TH_M且掌面積HA_1與面積HA_2之差距大於抓取閥值TH_G時,判斷單元104可得知使用者手掌於目前手掌的位置由張開手掌變為緊握手掌,進而判斷使用者在目前手掌的位置做出抓取手勢。據此,手勢辨識模組10可利用立體影像中手掌影像的面積變化關係,準確判斷使用者的手勢是否為抓取手勢。
值得注意的是,本發明之主要精神在於根據依序取得的手掌
座標及手掌面積,判斷使用者是否做出抓取手勢,以進一步控制與手勢辨識模組耦接的電子裝置。根據不同應用,本領域具通常知識應可據以實施適當之更動及改變。舉例來說,由於使用者的手掌可能歪斜於水平面,因此在偵測單元100擷取手掌影像時,可根據手掌影像的特徵向量,旋轉手掌影像,以轉正手掌影像。舉例來說,請參考第5圖,第5圖為本發明實施例一手掌影像HI_CRO的示意圖。如第5圖所示,偵測單元100可計算手掌影像HI_CRO中相互正交的特徵向量CV1、CV2。特徵向量CV1的長度係大於特徵向量CV2的長度。偵測單元100可根據特徵向量CV1旋轉手掌影像HI_CRO,直至特徵向量CV1垂直於水平面。如此一來,偵測單元100可將手掌影像HI_CRO轉正。
此外,當手勢辨識模組10根據座標HC_1、HC_2以及面積HA_1、HA_2判斷使用者做出抓取手勢時,運算單元102可根據面積HA_2與座標HC_2的Z軸座標Z_HC_2之間的比值,計算一拖曳比值TR1。接下來,偵測單元100另取得一座標HC_3。運算單元102會根據座標HC_3,取得面積HA_3。根據面積HA_2與座標HC_2的Z軸座標Z_HC_2之間的比值,運算單元可取得一拖曳比值TR2。於取得拖曳比值TR1、TR2後,判斷單元104可根據拖曳比值TR1、TR2間之大小關係,判斷使用者是否保持抓取手勢。當拖曳比值TR1、TR2間之差距小於一拖曳閥值TH_T時,代表使用者保持抓取手勢。在此狀況下,判斷單元104可判斷使用者保持抓取手勢。換言之,當拖曳比值TR1、TR2間之差距小於一拖曳閥值TH_T時,使用者係執行一拖曳動作。使用者的抓取手勢與拖曳動作可對應於耦接於手勢辨識模組10的電子裝置中特定的功能。舉例來說,手勢辨識模組10可耦接於一具有顯示裝置的電子系統,此電子系統係根據手勢辨識模組10產生的座標,控制顯示於顯示裝置上的一游標。當手勢辨識模組10根據座標HC_1、HC_2以及面積HA_1、HA_2判斷使用者做出抓取手勢時,手勢辨識模組10控制電
子系統於游標所指的位置做出選取的動作。接下來,當手勢辨識模組10根據拖曳比值TR1、TR2間之大小關係判斷使用者執行一拖曳動作時,手勢辨識模組10控制電子系統維持選取動作,並使電子系統根據座標HC_2與座標HC_3間的相對應關係,移動游標。
另一方面,根據不同應用,偵測單元100產生手掌的座標的方法可適當調整。請參考第6圖,第6圖為本發明實施例手掌影像HI_1的示意圖。第6圖為第1圖所示之偵測單元100偵測手掌的座標的另一範例示意圖。如第6圖所示,手掌影像HI_1位於Y軸(垂直)座標Y1~Y軸座標Yn之間。偵測單元100係於手掌影像HI_1中取得分別對應於Y軸座標Y1~Yn的水平線HL_Y1~HL_Yn,並計算水平線HL_Y1~HL_Yn的水平線長度L_Y1~L_Yn。其中,若是同一Y軸座標對應到複數個水平線,偵測單元100係選擇此複數個水平線中具有最長長度的水平線作為對應於此Y軸座標的水平線。然後,偵測單元100可透過由上而下地比較Y軸座標Y1~Yn中連續3個Y軸座標的水平線長度,得知手掌影像HII_1中手腕的位置。當水平線長度L_Yc(對應於Y軸座標Yc)大於水平線長度L_Yd(對應於Y軸座標Ya的下一Y軸座標Yb)一長度閥值TH_L2且水平線長度L_Yd小於或等於水平線長度L_Ye(對應於Y軸座標Ye)時(即L_Yc
>L_Yd
+TH_L
2且L_Yd L_Ye
),代表手掌影像HI_1的寬度在Y軸座標Yc到Y軸座標Yd間減少的幅度大於長度閥值TH_L2且手掌影像HI_1的寬度在Y軸座標Yd到Y軸座標Ye間稍微變大或保持不變。在此狀況下,偵測單元100判斷Y軸座標Yb為手掌影像HI_1中手腕的位置。偵測單元100係以Y軸座標Yd作為一轉折垂直座標TY。接下來,偵測單元100係定義手掌影像HI_1中對應於最大的Y軸座標Y1的像素為起始像素SP。偵測單元100可於起始像素SP至水平線HL_Yd間規劃一虛擬垂線,並以此虛擬垂線之中點M作為座標HC_1。此外,偵測單元100也可以計算手掌影像HI_1中位於Y
軸座標Y1與Y軸座標Yd間的像素面積的重心H(如第6圖中的斜線區域),作為座標HC_1。
關於手勢辨識模組10判斷使用者手勢的方式,可進一步歸納出一手勢辨識方法70。請參考第7圖,需注意的是,若是有實質上相同的結果,則手勢辨識方法70並不以第7圖所示流程圖的順序為限。手勢辨識方法70可應用於一手勢辨識模組,且包含有:
步驟700:開始。
步驟702:擷取至少一手掌影像,以依序取得座標HC_1、HC_2。
步驟704:根據座標HC_1、HC_2,取得範圍HZ_1、HZ_2。
步驟706:根據範圍HZ_1、HZ_2,計算面積HA_1、HA_2。
步驟708:判斷座標HC_1、HC_2間之距離是否小於移動閥值TH_M。當座標HC_1、HC_2間之距離小於移動閥值TH_M時,執行步驟710;反之,執行步驟714。
步驟710:判斷面積HA_1與面積HA_2間之差距是否大於抓取閥值TH_G。當面積HA_1與面積HA_2間之差距大於抓取閥值TH_G時,執行步驟712;反之,執行步驟714。
步驟712:辨識使用者的手勢為抓取手勢。
步驟714:結束。
根據手勢辨識方法70,擷取的立體影像中面積的變化可作為辨識使用者手勢的依據,從而判斷使用者是否做出抓取手勢。關於手勢辨識方法70之詳細操作過程可參考上述,為求簡潔,在此不贅述。
綜上所述,上述實施例所揭露之手勢辨識模組及手勢辨識方法可根據所擷取的立體影像中面積的變化,判斷使用者是否做出抓取手勢。換言之,上述實施例所揭露之手勢辨識模組及手勢辨識方法可利用立體影像具有深度資訊的優勢,進一步提高辨識使用者手勢的準確度。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
10‧‧‧手勢辨識模組
100‧‧‧偵測單元
102‧‧‧運算單元
104‧‧‧判斷單元
106‧‧‧影像擷取裝置
Claims (22)
- 一種手勢辨識模組,用來辨識一使用者的一手勢,該手勢辨識模組包含有:一偵測單元,用來擷取該使用者之一手掌之至少一手掌影像,以取得一第一座標以及一第二座標;一運算單元,耦接於該偵測單元,用來根據該第一座標及該第二座標,分別定義一第一範圍及一第二範圍,以及根據該第一範圍以及該第二範圍,計算一第一面積及一第二面積;以及一判斷單元,耦接於該偵測單元以及該運算單元,用來根據該第一座標、該第二座標、該第一面積以及該第二面積,辨識該手勢;其中當該第一座標與該第二座標間之距離小於一移動閥值且該第一面積與該第二面積之差大於一抓取閥值時,該判斷單元辨識該手勢為一抓取手勢。
- 如請求項1所述之手勢辨識模組,其中該偵測單元更用以擷取該使用者的一臉部的至少一立體影像以及至少一平面影像,以偵測一臉部座標;該偵測單元將該臉部座標的一臉部深度座標分別減去一第一深度以及一第二深度,分別作為一手掌影像起始深度座標以及一手掌影像終點深度座標;以及該偵測單元偵測對應於該手掌影像起始深度座標與該手掌影像終點深度座標中複數個深度座標的複數個像素區域,以產生該至少一手掌影像。
- 如請求項2所述之手勢辨識模組,其中該偵測單元係選取該複數個像素區域中面積大於一面積閥值且具有最大面積的像素區域作為該至少一手掌影像。
- 如請求項1所述之手勢辨識模組,其中該偵測單元係根據該至少一手掌影像中一第一手掌影像,取得該第一手掌影像的一第一特徵向量以及一 第二特徵向量,其中該第一特徵向量與該第二特徵向量正交且該第一特徵向量的長度大於該第二特徵向量的長度;並且該偵測單元根據該第一特徵向量,旋轉該第一手掌影像,以使該第一特徵向量垂直於該第一手掌影像一水平面。
- 如請求項1所述之手勢辨識模組,其中該偵測單元係根據該至少一手掌影像中一第一手掌影像,計算該第一手掌影像中分別對應於複數個垂直座標的複數個水平線的長度;且當該複數個垂直座標中一第一垂直座標的水平線長度與一第二垂直座標的水平線長度間之差超過一長度閥值時,該偵測單元取得該第一垂直座標作為該第一座標的一手掌垂直座標、取得該第一垂直座標的水平線之中點的一水平座標作為該第一座標的一手掌水平座標以及取得該第一手掌影像的一深度座標作為該第一座標的一手掌深度座標;其中該第一垂直座標與該第二垂直座標是連續的垂直座標。
- 如請求項1所述之手勢辨識模組,其中該偵測單元根據該至少一手掌影像中一第一手掌影像,計算該第一手掌影像中分別對應於複數個垂直座標的複數個水平線的長度;當該複數個垂直座標中一第一垂直座標的水平線長度與一第二垂直座標的水平線長度間之差超過一第一長度閥值且該第二垂直座標的水平線長度與一第三垂直座標的水平線長度之差大於或等於一第二長度閥值時,該偵測單元定義該第二垂直座標為一轉折垂直座標,且定義該第一手掌影像中具有最高的垂直座標的像素為一起始像素;且該偵測單元根據該起始像素以及該轉折垂直座標,產生該第一座標;其中該第一垂直座標、該第二垂直座標以及該第三垂直座標是連續的垂直座標。
- 如請求項6所述之手勢辨識模組,其中該偵測單元係偵測該起始像素與該轉折垂直座標的水平線間一虛擬垂線之一中點,以取得該中點的一垂直座標及一水平座標分別作為該第一座標的一手掌垂直座標及一手掌水 平座標,並取得該第一手掌影像的一深度座標作為該第一座標的一手掌深度座標。
- 如請求項6所述之手勢辨識模組,其中該偵測單元計算該第一手掌影像中位於該起始像素的垂直座標與該轉折垂直座標之間的一像素區域的一重心,以取得該重心的一垂直座標及一水平座標分別作為該第一座標的一手掌垂直座標及一手掌水平座標,並取得該第一手掌影像的深度座標作為該第一座標的一手掌深度座標。
- 如請求項1所述之手勢辨識模組,其中該第一範圍的大小係與相對應的該第一座標的一手掌深度座標成反比。
- 如請求項1所述之手勢辨識模組,其中該運算單元取得位於該第一範圍的複數個像素區域中一最小深度座標,作為一手掌起始深度座標後,該運算單元將該起始深度增加一深度範圍,以取得一手掌終點深度;且該運算單元累加該第一範圍中位於該手掌起始深度與該手掌終點深度間的複數個像素區域,以產生該第一面積。
- 如請求項1所述之手勢辨識模組,其中當該判斷單元判斷該手勢為該抓取手勢時,該運算單元另根據該第二面積與該第二座標的手掌深度座標,取得一第一拖曳比值;該偵測單元取得一第三座標;該運算單元根據該第三座標,取得一第三面積;該運算單元根據該第三面積與該第三座標,取得一第二拖曳比值;以及當該第一拖曳比值與該第二拖曳比值間之差距小於一拖曳閥值時,該判斷單元辨識該使用者執行一拖曳動作。
- 一種手勢辨識方法,用於一手勢辨識模組,該手勢辨識方法包含有:擷取一使用者之一手掌之至少一手掌影像,以依序取得一第一座標以及一第二座標;根據該第一座標及該第二座標,分別定義一第一範圍及一第二範圍;根據該第一範圍以及該第二範圍,計算一第一面積及一第二面積;以及根據該第一座標、該第二座標、該第一面積以及該第二面積,辨識該使 用者之一手勢,其中當該第一座標與該第二座標間之距離小於一移動閥值且該第一面積與該第二面積之差大於一抓取閥值時,辨識該手勢為一抓取手勢。
- 如請求項12所述之手勢辨識方法,其中根據該複數個立體影像,取得對應於該使用者之該手掌的該至少一手掌影像的步驟包含有:擷取該使用者的一臉部的至少一立體影像以及至少一平面影像,以偵測一臉部座標;將該臉部座標的一臉部深度座標分別減去一第一深度以及一第二深度,分別作為一手掌影像起始深度座標以及一手掌影像終點深度座標;以及偵測對應於該手掌影像起始深度座標與該手掌影像終點深度座標中複數個深度座標的複數個像素區域,以產生該至少一手掌影像。
- 如請求項13所述之手勢辨識方法,其中偵測對應於該手掌起始深度座標與該手掌終點深度座標中複數個深度座標的複數個像素區域,以產生該至少一手掌影像的步驟包含有:選取該複數個像素區域中面積大於一面積閥值且具有最大面積的像素區域作為該至少一手掌影像。
- 如請求項12所述之手勢辨識方法,根據該複數個立體影像,取得對應於該使用者的該手掌的該至少一手掌影像的步驟另包含有:根據該至少一手掌影像中一第一手掌影像,取得該第一手掌影像的一第一特徵向量以及一第二特徵向量,其中該第一特徵向量與該第二特徵向量正交且該第一特徵向量的長度大於該第二特徵向量的長度;以及根據該第一特徵向量,旋轉該第一手掌影像,以使該第一特徵向量垂直於該第一手掌影像一水平面。
- 如請求項12所述之手勢辨識方法,其中根據該至少一手掌影像,取得該 第一座標的步驟包含:根據該至少一手掌影像中一第一手掌影像,計算該第一手掌影像中分別對應於複數個垂直座標的複數個水平線的長度;以及當該複數個垂直座標中一第一垂直座標的水平線長度與一第二垂直座標的水平線長度間之差超過一長度閥值時,取得該第一垂直座標作為該第一座標的一手掌垂直座標、取得該第一垂直座標的水平線之中點的一水平座標作為該第一座標的一手掌水平座標,以及取得該第一手掌影像的一深度座標作為該第一座標的一手掌深度座標;其中該第一垂直座標與該第二垂直座標是連續的垂直座標。
- 如請求項12所述之手勢辨識方法,其中根據該至少一手掌影像,取得該第一座標的步驟包含:根據該至少一手掌影像中一第一手掌影像,計算該第一手掌影像中分別對應於複數個垂直座標的複數個水平線的長度;當該複數個垂直座標中一第一垂直座標的水平線長度與一第二垂直座標的水平線長度間之差超過一第一長度閥值且該第二垂直座標的水平線長度與一第三垂直座標的水平線長度之差大於或等於一第二長度閥值時,定義該第二垂直座標為一轉折垂直座標,且定義該第一手掌影像中具有最高的垂直座標的像素為一起始像素;以及根據該起始像素以及該轉折垂直座標,產生該第一座標;其中該第一垂直座標、該第二垂直座標以及該第三垂直座標是連續的垂直座標。
- 如請求項17所述之手勢辨識方法,其中根據該起始像素以及該轉折垂直座標,產生該第一座標的步驟包含有:偵測該起始像素與該轉折垂直座標的水平線間一虛擬垂線之一中點;取得該中點的一垂直座標及一水平座標分別作為該第一座標的一手掌垂直座標及一手掌水平座標;以及 取得該手掌影像的深度座標作為該第一座標的一手掌深度座標。
- 如請求項17所述之手勢辨識方法,其中根據該起始像素以及該轉折垂直座標,產生該第一座標的步驟包含有:計算該第一手掌影像中位於該起始像素的垂直座標與該轉折垂直座標之間的一像素區域的一重心;取得該重心的一垂直座標及一水平座標,分別作為該第一座標的一手掌垂直座標及一手掌水平座標;以及取得該第一手掌影像的深度座標作為該第一座標的一手掌深度座標。
- 如請求項12所述之手勢辨識方法,其中該第一範圍的大小係與相對應的該第一座標的一手掌深度座標成正比。
- 如請求項12所述之手勢辨識方法,其中根據該第一座標,計算該第一面積的步驟包含有:取得位於該第一範圍的複數個像素區域具有的一最小深度座標,作為一手掌起始深度座標;將該起始深度增加一深度範圍,以取得一手掌終點深度;以及累加該第一範圍中位於該手掌起始深度與該手掌終點深度間的複數個像素區域,以產生該第一面積。
- 如請求項12所述之手勢辨識方法,其中當該第一座標與該第二座標間之距離小於一距離閥值且該第一面積與該第二面積之差大於一抓取閥值時,判斷該手勢為一抓取手勢的步驟另包含有:根據該第二面積與該第二座標的手掌深度座標,取得一第一拖曳比值;取得一第三座標;根據該第三座標,取得一第三面積;根據該第三面積與該第三座標,取得一第二拖曳比值;以及當該第一拖曳比值與該第二拖曳比值間之差距小於一拖曳閥值時,辨識該使用者執行一拖曳動作。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102102472A TWI496094B (zh) | 2013-01-23 | 2013-01-23 | 手勢辨識模組及手勢辨識方法 |
CN201310041568.3A CN103942524B (zh) | 2013-01-23 | 2013-02-01 | 手势辨识模块及手势辨识方法 |
US13/892,320 US9285885B2 (en) | 2013-01-23 | 2013-05-13 | Gesture recognition module and gesture recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102102472A TWI496094B (zh) | 2013-01-23 | 2013-01-23 | 手勢辨識模組及手勢辨識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201430720A TW201430720A (zh) | 2014-08-01 |
TWI496094B true TWI496094B (zh) | 2015-08-11 |
Family
ID=51190190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102102472A TWI496094B (zh) | 2013-01-23 | 2013-01-23 | 手勢辨識模組及手勢辨識方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9285885B2 (zh) |
CN (1) | CN103942524B (zh) |
TW (1) | TWI496094B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9619036B2 (en) * | 2012-05-11 | 2017-04-11 | Comcast Cable Communications, Llc | System and methods for controlling a user experience |
US9734391B2 (en) * | 2014-07-11 | 2017-08-15 | Ryan Fink | Systems and methods of gesture recognition |
TW201715472A (zh) | 2015-10-26 | 2017-05-01 | 原相科技股份有限公司 | 影像分區門檻值決定方法、手勢判斷方法、影像感測系統以及手勢判斷系統 |
JP6798285B2 (ja) * | 2016-11-30 | 2020-12-09 | 富士通株式会社 | 生体認証装置、生体認証方法及びプログラム |
TWI629646B (zh) * | 2017-11-29 | 2018-07-11 | 伍碩科技股份有限公司 | Gesture recognition device |
KR20210120229A (ko) * | 2020-03-26 | 2021-10-07 | 현대자동차주식회사 | 영상기반 지그 검사 시스템 및 그 방법 |
CN111626136B (zh) * | 2020-04-29 | 2023-08-18 | 惠州华阳通用电子有限公司 | 一种手势识别方法、系统及设备 |
CN112509668A (zh) * | 2020-12-16 | 2021-03-16 | 成都翡铭科技有限公司 | 一种识别手部是否在进行抓握的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200945174A (en) * | 2008-04-14 | 2009-11-01 | Pointgrab Ltd | Vision based pointing device emulation |
US20100166258A1 (en) * | 2008-12-30 | 2010-07-01 | Xiujuan Chai | Method, apparatus and computer program product for providing hand segmentation for gesture analysis |
TW201120681A (en) * | 2009-12-10 | 2011-06-16 | Tatung Co | Method and system for operating electric apparatus |
US20120069168A1 (en) * | 2010-09-17 | 2012-03-22 | Sony Corporation | Gesture recognition system for tv control |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000222098A (ja) * | 1999-01-29 | 2000-08-11 | Takenaka Komuten Co Ltd | ハンドポインティング装置、指示位置表示方法及び記録媒体 |
US20020126090A1 (en) * | 2001-01-18 | 2002-09-12 | International Business Machines Corporation | Navigating and selecting a portion of a screen by utilizing a state of an object as viewed by a camera |
JP4267648B2 (ja) * | 2006-08-25 | 2009-05-27 | 株式会社東芝 | インターフェース装置及びその方法 |
CN102117117A (zh) * | 2010-01-06 | 2011-07-06 | 致伸科技股份有限公司 | 利用图像提取装置辨识使用者姿势进行控制的系统及方法 |
TW201322058A (zh) * | 2011-11-16 | 2013-06-01 | Chunghwa Picture Tubes Ltd | 手勢辨識系統及方法 |
US9310895B2 (en) * | 2012-10-12 | 2016-04-12 | Microsoft Technology Licensing, Llc | Touchless input |
-
2013
- 2013-01-23 TW TW102102472A patent/TWI496094B/zh active
- 2013-02-01 CN CN201310041568.3A patent/CN103942524B/zh active Active
- 2013-05-13 US US13/892,320 patent/US9285885B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200945174A (en) * | 2008-04-14 | 2009-11-01 | Pointgrab Ltd | Vision based pointing device emulation |
US20100166258A1 (en) * | 2008-12-30 | 2010-07-01 | Xiujuan Chai | Method, apparatus and computer program product for providing hand segmentation for gesture analysis |
TW201120681A (en) * | 2009-12-10 | 2011-06-16 | Tatung Co | Method and system for operating electric apparatus |
US20120069168A1 (en) * | 2010-09-17 | 2012-03-22 | Sony Corporation | Gesture recognition system for tv control |
Also Published As
Publication number | Publication date |
---|---|
US20140204015A1 (en) | 2014-07-24 |
CN103942524B (zh) | 2017-05-17 |
CN103942524A (zh) | 2014-07-23 |
US9285885B2 (en) | 2016-03-15 |
TW201430720A (zh) | 2014-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI496094B (zh) | 手勢辨識模組及手勢辨識方法 | |
US10761610B2 (en) | Vehicle systems and methods for interaction detection | |
JP6480434B2 (ja) | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 | |
TWI489317B (zh) | 電子裝置的操作方法及系統 | |
JP5921835B2 (ja) | 入力装置 | |
US20130257736A1 (en) | Gesture sensing apparatus, electronic system having gesture input function, and gesture determining method | |
JP2016194799A (ja) | 画像解析装置及び画像解析方法 | |
US8416189B2 (en) | Manual human machine interface operation system and method thereof | |
KR101631015B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
JP2012238293A (ja) | 入力装置 | |
KR101465894B1 (ko) | 손가락에 부착한 마커를 이용하여 제어 명령을 생성하는 이동 단말 및 손가락에 부착한 마커를 이용하여 단말에서 제어 명령을 생성하는 방법 | |
JP2018185783A (ja) | リップ・グロス案内装置及びその方法 | |
US20150058811A1 (en) | Control system for display screen, input apparatus and control method | |
TWI437467B (zh) | 顯示控制裝置及顯示控制方法 | |
TWI499938B (zh) | 觸控系統 | |
JP6447521B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2011096571A1 (ja) | 入力装置 | |
TWI553509B (zh) | 手勢控制系統及方法 | |
KR101542671B1 (ko) | 공간 터치 방법 및 공간 터치 장치 | |
KR101535738B1 (ko) | 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법 | |
TWI536259B (zh) | 手勢辨識模組及手勢辨識方法 | |
JP2013109538A (ja) | 入力方法及び入力装置 | |
TWI444875B (zh) | 多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法 | |
TWI446214B (zh) | Remote control system based on user action and its method | |
TW201137671A (en) | Vision based hand posture recognition method and system thereof |