TW201322058A - 手勢辨識系統及方法 - Google Patents
手勢辨識系統及方法 Download PDFInfo
- Publication number
- TW201322058A TW201322058A TW100141863A TW100141863A TW201322058A TW 201322058 A TW201322058 A TW 201322058A TW 100141863 A TW100141863 A TW 100141863A TW 100141863 A TW100141863 A TW 100141863A TW 201322058 A TW201322058 A TW 201322058A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- user
- palm
- hand
- gesture recognition
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000009471 action Effects 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
Abstract
本發明提供一種手勢辨識系統及方法,其利用使用者手掌張開及內縮的手勢來模擬滑鼠的按壓操作及鬆開操作,在進行模擬滑鼠按鍵點擊時,尤其是雙擊,手部座標較不會發生偏移。本發明可解決習知在模擬滑鼠按鍵點擊的動作時導致的手部座標偏移的問題。
Description
本發明係關於一種手勢辨識系統及方法,特別有關一種利用使用者手掌的動作來模擬點擊操作的手勢辨識系統及方法。
第1圖顯示習知的手勢辨識系統的硬體配置示意圖。如第1圖所示,動作感應器(如微軟公司推出的人機互動介面遊戲機“Kinect”)可透過驅動程式連結至安裝在主機14的作業系統(如Windows),主機14與顯示器16耦接,使用者可在動作感應器12前作出手勢,經過辨識後模擬成滑鼠的操作,進而透過顯示器16操作該作業系統。
針對Kinect機台,微軟公司制定了一套開放式自然操作(open natural interaction,OpenNI)架構,其定義撰寫自然操作程式所需的應用程式介面(application programming interface,API),提供多語言、跨平台的標準介面,讓程式開發者要使用視覺、聲音相關的感應器及透過中介軟體(middleware)進行資料分析時,能夠更為方便。
透過Kinect機台作手勢辨識時,可利用“NITE”這個中介軟體做手部追蹤,而得到手部座標,將作業系統中滑鼠游標的位置與該手部座標連結,即可將使用者手部移動模擬成滑鼠使用。利用OpenNI架構提供的動作指令集,亦可將使用者手勢模擬成滑鼠的點擊(click)動作。
然而,習知的作法是利用使用者手部向前推及往後縮的手勢來模擬滑鼠的按壓操作及鬆開操作,如此在模擬滑鼠按鍵雙擊(double click)時,容易導致手部座標偏移的問題,因為使用者手掌必須快速前移並收回兩次,而手肘的移動必定會改變手部座標,故此方式對使用者來說相當不便,而且點擊的精確度也不佳。
有鑑於此,有必要開發一種手勢辨識系統及方法,來改善習知技術中模擬滑鼠點擊操作時,點擊精確度不佳的問題。
本發明之目的在於提供一種手勢辨識系統及方法,以在模擬滑鼠按鍵點擊的動作時導致的手部座標偏移的問題。
為達前述目的,本發明提供一種手勢辨識方法,用以辨識使用者在電子裝置前做出的手勢,以模擬滑鼠的操作,該方法包含步驟:擷取含有該使用者的影像;決定該使用者的手部座標;對該影像進行處理以取得該使用者之手掌影像;計算該手掌影像中與該手部座標距離最遠之點的點座標,該點屬於手的一部份;以及根據該點座標與該手部座標兩者的距離,模擬該滑鼠的點擊動作。
本發明之另一方面提供一種手勢辨識方法,用以辨識使用者在電子裝置前做出的手勢,以模擬滑鼠的操作,該方法包含步驟:擷取含有該使用者的影像;決定該使用者的手部座標;對該影像進行處理以取得該使用者之手掌影像;找出該手掌影像中包含手掌物體的最小圓,並取得描述該最小圓的一參數;以及根據描述該最小圓的參數,模擬該滑鼠的點擊動作。
本發明之再一方面提供一種手勢辨識系統,其與一電子裝置耦接,用以辨識使用者在該電子裝置前做出的手勢以模擬滑鼠的操作,該系統包含:一影像擷取模組,擷取含有該使用者的影像;一手部座標追蹤模組,根據該使用者揮動或推伸手部時的影像變化計算手部座標;一手掌影像處理模組,接收該影像擷取模組所擷取的影像,對該影像進行處理以取得該使用者之手掌影像;一手掌特徵擷取模組,接收來自該手掌影像處理模組的手掌影像,從該手掌影像中取得用以描述與手掌物體之輪廓有關的參數值,以及一手勢辨識模組,根據該參數值的變化,模擬該滑鼠的點擊動作。
習知技術中,利用使用者手部向前推及往後縮的手勢來模擬滑鼠的按壓操作及鬆開操作,容易導致手部座標偏移的問題。本發明係利用使用者手掌張開及內縮的手勢來模擬滑鼠的按壓操作及鬆開操作,在進行模擬滑鼠按鍵點擊時,尤其是雙擊,手部座標較不會發生偏移,故本發明可解決習知技術在模擬滑鼠按鍵點擊的動作時導致的手部座標偏移的問題。
本發明是關於一種手勢辨識系統及方法,其在獲取使用者的手掌影像後,藉由判斷手掌的動作來模擬滑鼠的操作。舉例來說,使用者手掌內縮的動作可模擬為按壓滑鼠按鍵的操作,而使用者手掌張開可模擬為滑鼠按鍵鬆開的操作,當使用者手掌依序張開及內縮即可代表完成滑鼠的一個點擊動作。
第2圖顯示根據本發明實施之手勢辨識系統的方塊示意圖。本發明之手勢辨識系統200包含一影像擷取模組210、一手部座標追蹤模組220、一手掌影像處理模組230、一手掌特徵擷取模組240及一手勢辨識模組250。手勢辨識系統200可耦接至一電子裝置,如顯示器,手勢辨識系統200本身可利用軟體、韌體、硬體或其組合來實現。舉例來說,手勢辨識系統200安裝於一電腦系統,該電腦系統與顯示器耦接,使用者在該顯示器前做出的手勢能夠透過手勢辨識系統200來作辨識,以模擬一點擊操作,進而操作該電腦系統。
第3圖顯示根據本發明第一實施例實現的手勢辨識方法的流程示意圖。請同時參閱第2圖及第3圖,下文將對本發明之手勢辨識系統及方法作進一步的說明。
步驟S10:擷取含有使用者的影像。當啟動手勢辨識系統200並致動影像擷取模組210,影像擷取模組210會開始進行3D攝像的動作,同時對使用者及其所在背景進行取像,拍攝含有深度圖的影像。
步驟S12:決定該使用者的手部座標。手部座標追蹤模組220會持續追蹤移動中的物體,並定出該移動物體的座標。當使用者揮動或推伸手部時,手部座標追蹤模組220可根據步驟S10中影像擷取模組210所擷取之影像的影像變化或前一張影像與後一張影像的差異,計算得到使用者的手部座標。舉例來說,手部座標與電腦系統中滑鼠游標的位置相對應,因此游標的移動可利用使用者手部的位置變化來進行模擬。
步驟S14:手掌影像處理模組230接收步驟S10中影像擷取模組210所擷取的影像,並對影像擷取模組210所擷取的影像進行處理以取得使用者的手掌影像。由於影像擷取模組210所擷取的影像中含有除手掌外使用者身體的其他部份以及背景的部份,這些部份會對後續的辨識造成干擾,因此在此步驟中會予以濾除,只留下使用者的手掌影像。首先,使用者被要求站在距離影像擷取模組210約1.5公尺的地方並將手部往前伸出,影像擷取模組210進行3D攝像,而手掌影像處理模組230會將影像擷取模組210所擷取之影像的深度圖中大於一預定距離(如1.2公尺)的部份予以濾除,如此可將背景、使用者身體及一部份手肘的影像去除。由於經上述處理後,仍可能尚存一部份的手肘影像,此可再進行後續的影像處理而予以去除。以步驟S12中手部座標追蹤模組220取得的手部座標為中心,手掌影像處理模組230再從上述經過濾的影像中擴展至一預定區域(如140×140大小的像素區域),而該預定區域以外的像素點填入固定的顏色值(如黑色),藉此可取得清晰的手掌影像。需注意的是,上述過濾影像及擴展至預定區域的操作可在不改變影像擷取模組210所擷取之影像的大小或該影像之位置的情況下進行。
步驟S16:手掌特徵擷取模組240接收步驟S14中手掌影像處理模組230處理得到的手掌影像,並從該手掌影像中取得用以描述與手掌物體之輪廓有關的參數值。如前所述,本發明係透過使用者手掌內縮及張開的動作來模擬滑鼠的操作,在此可藉由解析手掌影像中手掌物體的輪廓變化得知使用者手掌是內縮或張開。若使用者手掌內縮,手掌影像中的手掌物體的範圍相對較小;而若使用者手掌張開,手掌影像中的手掌物體的範圍相對較大。手掌影像中的手掌物體的範圍可透過與描述手掌物體之輪廓相關的參數來定量估算。在本實施例中,手掌特徵擷取模組240計算手掌影像中與手部座標距離最遠之點的點座標,作為代表手掌物體之輪廓的點。需注意的是,該點係屬於手的一部份。該點座標與手部座標兩者的距離可代表手掌物體之輪廓的大小(容後詳述)。於一實施方式中,手掌特徵擷取模組240可先將該手掌影像中所有之像素的顏色值與一閥值進行比較,藉此確定屬於手掌物體的像素,接著計算這些像素的座標與手部座標的距離,透過迭代的方式,僅保留與手部座標距離相對較遠的像素。於另一實施方式中,手掌特徵擷取模組240也可先取出位在手掌物體之輪廓的像素,僅針對這些位在手掌物體輪廓的像素進行與手部座標距離的計算。
步驟S18:手勢辨識模組250計算步驟S16中手掌特徵擷取模組240取得的該點座標與手部座標兩者的距離,又或者手勢辨識模組250也可以直接接收由手掌特徵擷取模組240計算得到的該點座標與手部座標的距離。並且,手勢辨識模組250將該點座標與手部座標的距離與一閥值進行比較,當該點座標與手部座標的距離大於該閥值時,表示使用者的手掌張開,此可代表滑鼠的鬆開操作,而當該點座標與手部座標的距離小於該閥值時,表示使用者的手掌內縮,此可代表滑鼠的按壓操作。於另一實施方式中,手勢辨識模組250亦可藉由偵測該點座標與手部座標之距離的變化量來模擬滑鼠的操作,例如,當該點座標與手部座標之距離的變化量大於一正閥值時,表示使用者的手掌由內縮狀態轉為張開狀態,此可代表滑鼠的鬆開操作,而當該點座標與手部座標之距離的變化量小於一負閥值時,表示使用者的手掌由張開狀態轉為內縮狀態,此可代表滑鼠的鬆開操作。當使用者的手掌從張開狀態轉為內縮、再張開即可代表完成滑鼠的一個點擊動作。如第4A圖及第4B圖所示,在使用者手掌張開及內縮時,與手部座標H0距離最遠的一點的點座標分別以P1、P2表示,手掌張開時點座標P1與手部座標H0的距離會大於手掌內縮時點座標P2與手部座標H0的距離,此即可用來代表使用者手掌的輪廓變化。
第5圖顯示與本發明第一實施例相應的具體操作的流程示意圖。本發明之手勢辨識系統200中的諸多模組可以軟體實現,安裝於電腦系統中,該電腦系統的主機與顯示器及動作感應器(如微軟公司推出的人機互動介面遊戲機“Kinect”)耦接,使用者在該動作感應器前作出手勢,手勢辨識系統200可辨識手勢並將其模擬成滑鼠的操作,進而透過該顯示器操作電腦系統。首先,將微軟公司提供的Kinect驅動程式安裝在主機中,在施作上主要分成四個部份:微軟公司公開定義的開放式自然操作(open natural interaction,OpenNI)架構、中介軟體(middleware)、函式庫及自行開發的應用程式。利用OpenNI中提供的程式可取得Kinect攝影鏡頭拍攝的影像及其深度圖(步驟S102),NITE這套OpenNI的中介軟體可以追蹤使用者的手部,使得OpenNI可以產生手部座標(步驟S104),OpenNI並提供對NITE運行的任務管理以追蹤手部的動作(步驟S106)。當使用者揮動或推伸手部時,NITE會控制攝影鏡頭對移動的手部進行對焦(步驟S111),並開始追蹤的任務。一旦開始追蹤使用者手部時(步驟S112),隨即產生手部座標(包含Z方向),並將該手部座標對應到滑鼠游標的座標。如果使用者手部超出偵測範圍(步驟S114),追蹤的任務隨即結束或暫停。當使用再次舉起手部且在偵測範圍內時,NITE會控制攝影鏡頭快速對焦(步驟S113),並繼續追蹤任務。
主機上自行開發的應用程式可利用函式庫提供的函式對攝影鏡頭拍攝的影像進行影像處理,來取得手掌影像(步驟S122),例如,將所拍攝之影像的深度圖中大於一預定距離的部份予以濾除,並接著以手部座標為中心擴展至一預定區域,以取得清楚的手掌影像。步驟S124中,可利用函式庫提供的函式或自行開發的函式計算得到手掌物體中距離手部座標最遠的一點的點座標,作為代表手掌物體之輪廓的點。接著,可利用函式庫提供的函式或直接計算該點座標與手部座標兩者的距離(步驟S126),以代表手掌物體之輪廓的大小。主機上自行開發的應用程式即可根據該點座標與手部座標的距離或距離變化量(步驟S132),來判斷使用者手掌內縮或張開,藉此可以模擬滑鼠的點擊操作。
第6圖顯示根據本發明第二實施例實現的手勢辨識方法的流程示意圖。請同時參閱第2圖及第6圖,本發明之手勢辨識方法的第二實施例中步驟S20、步驟S22及步驟S24分別類似於第一實施例中的步驟S10、步驟S12及步驟S14,為簡潔起見,在此不再贅述。本發明之手勢辨識方法的第二實施例中步驟S26及步驟S28說明如下。
步驟S26:手掌特徵擷取模組240接收步驟S24中手掌影像處理模組230處理得到的手掌影像,並從該手掌影像中取得用以描述與手掌物體之輪廓有關的參數值。如前所述,本發明係透過使用者手掌內縮及張開的動作來模擬滑鼠的操作,在此可藉由解析手掌影像中手掌物體的輪廓變化得知使用者手掌是內縮或張開。若使用者手掌內縮,手掌影像中的手掌物體的範圍相對較小;而若使用者手掌張開,手掌影像中的手掌物體的範圍相對較大。手掌影像中的手掌物體的範圍可透過與描述手掌物體之輪廓相關的參數來定量估算。在本實施例中,手掌特徵擷取模組240先經運算取出手掌影像中屬於手掌物體之輪廓的點,再運算得到包含這些輪廓點的最小圓及此最小圓的半徑,該最小圓的半徑即可代表手掌物體之輪廓的大小。於一實施方式中,手掌特徵擷取模組240也可僅取出手掌影像中屬於手掌物體之輪廓的幾個點,而不須得到全部的輪廓點,如此可降低運算量。
步驟S28:手勢辨識模組250接收手掌特徵擷取模組240傳來的該最小圓的半徑,並計算該最小圓之半徑的變化量,又或者手勢辨識模組250也可以直接接收由步驟S26中手掌特徵擷取模組240計算得到的該最小圓之半徑的變化量。並且,手勢辨識模組250將該最小圓之半徑的變化量與一正閥值或一負閥值進行比較,該正閥值及該負閥值的絕對值可為相同。當該最小圓的半徑變化量大於該正閥值時,表示使用者的手掌由內縮狀態轉為張開狀態,此可代表滑鼠的鬆開操作,而當該最小圓的半徑變化量小於該負閥值時,表示使用者的手掌由張開狀態轉為內縮狀態,此可代表滑鼠的按壓操作。於另一實施方式中,手勢辨識模組250亦可藉由將該最小圓的半徑與一閥值進行比較來模擬滑鼠的操作,例如,當該最小圓的半徑大於該閥值時,表示使用者的手掌張開,此可代表滑鼠的鬆開操作,而當該最小圓的半徑小於該閥值時,表示使用者的手掌內縮,此可代表滑鼠的按壓操作。當使用者的手掌從張開狀態轉為內縮、再張開即可代表完成滑鼠的一個點擊動作。如第7A圖及第7B圖所示,在使用者手掌張開及內縮時,手掌影像中包含手掌物體之最小圓的半徑分別以R1、R2表示,手掌張開時該最小圓的半徑R1會大於手掌內縮時該最小圓的半徑R2,此即可用來代表使用者手掌的輪廓變化。
第8圖顯示與本發明第二實施例相應的具體操作的流程示意圖。第8圖中硬體架構及部份的操作流程與第7圖相同,惟不同的是,在步驟S224及步驟S226中利用不同的方式來描述手掌影像中手掌物體的輪廓,在步驟S232中辨識手勢所用的參數不同。由於第8圖中步驟S202、步驟S204、步驟S206、步驟S211、步驟S212、步驟S213、步驟S214及步驟S222與第7圖中的步驟S102、步驟S104、步驟S106、步驟S111、步驟S112、步驟S113、步驟S114及步驟S122類似,為簡潔起見,在此不再贅述。以下對第8圖中的步驟S224、步驟S226及步驟S232進行說明。
在步驟S224中,可利用計算機視覺函式庫(Open Source Computer Vision Library,OpenCV)提供的cvFindContours()函式找出手掌影像中屬於手掌物體之輪廓的點。接著,在步驟S226中,將步驟S224找出的輪廓點作為OpenCV提供的minEnclsingcircle()函式的輸入參數,利用minEnclsingcircle()函式來計算得到包含手掌物體之輪廓點的最小圓及此最小圓的半徑,以代表手掌物體之輪廓的大小。主機上自行開發的應用程式即可根據該最小圓的半徑或半徑變化量(步驟S232),來判斷使用者手掌內縮或張開,藉此可以模擬滑鼠的點擊操作。
習知技術中,利用使用者手部向前推及往後縮的手勢來模擬滑鼠的按壓操作及鬆開操作,如此在模擬滑鼠按鍵雙擊時,容易導致手部座標偏移的問題,因為使用者手掌必須快速前移並收回兩次,而手肘的移動必定會改變手部座標,故此方式對使用者來說相當不便,而且點擊的精確度也不佳。本發明係利用使用者手掌張開及內縮的手勢來模擬滑鼠的按壓操作及鬆開操作,因為手掌快速張合的動作比手部快速前推後移的動作簡單許多,故本發明相對較為方便,在進行模擬滑鼠按鍵點擊時,尤其是雙擊,手部座標也較不會發生偏移,故本發明可解決習知技術在模擬滑鼠按鍵點擊的動作時導致的手部座標偏移的問題。
另一方面,利用動作感應器(如Kinect機台)及其應用程式介面,可以實現3D觸碰系統。由於Kinect機台產生的深度圖可以得出手部的距離資訊,故可在3D觸碰系統上開發可以顯示在3D顯示器的3D應用程式。再者,在作業系統上也可以實現多點觸碰,因為中介軟體“NITE”提供複數個手部的追蹤。因此,本發明的手勢辨識系統及方法可與3D顯示器配合應用在上述的3D觸碰系統上。
綜上所述,雖然本發明已用較佳實施例揭露如上,然其並非用以限定本發明,本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
12...動作感應器
14...主機
16...顯示器
200...手勢辨識系統
210...影像擷取模組
220...手部座標追蹤模組
230...手掌影像處理模組
240...手掌特徵擷取模組
250...手勢辨識模組
H0...手部座標
P1...點座標
P2...點座標
R1...半徑
R2...半徑
S10~S18...步驟
S20~S28...步驟
S102~S132...步驟
S202~S232...步驟
第1圖顯示習知的手勢辨識系統的硬體配置示意圖。
第2圖顯示根據本發明實施之手勢辨識系統的方塊示意圖。
第3圖顯示根據本發明第一實施例實現的手勢辨識方法的流程示意圖。
第4A圖顯示使用者手掌張開的示意圖。
第4B圖顯示使用者手掌內縮的示意圖。
第5圖顯示與本發明第一實施例相應的具體操作的流程示意圖。
第6圖顯示根據本發明第二實施例實現的手勢辨識方法的流程示意圖。
第7A圖顯示使用者手掌張開的示意圖。
第7B圖顯示使用者手掌內縮的示意圖。
第8圖顯示與本發明第二實施例相應的具體操作的流程示意圖。
200...手勢辨識系統
210...影像擷取模組
220...手部座標追蹤模組
230...手掌影像處理模組
240...手掌特徵擷取模組
250...手勢辨識模組
Claims (14)
- 一種手勢辨識方法,用以辨識一使用者在一電子裝置前做出的手勢,以模擬一滑鼠的操作,該方法包含步驟:擷取含有該使用者的影像;決定該使用者的一手部座標;對該使用者的影像進行處理以取得該使用者之一手掌影像;計算該手掌影像中與該手部座標距離最遠之一點的一點座標,該點屬於一手掌的一部份;以及根據該點座標與該手部座標兩者的一距離,模擬該滑鼠的點擊動作。
- 如申請專利範圍第1項所述之手勢辨識方法,其中在決定該使用者的該手部座標的步驟中,該手部座標係根據該使用者揮動或推伸手部時的影像變化計算而得。
- 如申請專利範圍第1項所述之手勢辨識方法,其中在擷取含有該使用者的影像的步驟中,包含取得對應該使用者的影像的一深度圖的步驟。
- 如申請專利範圍第3項所述之手勢辨識方法,其中在對該使用者的影像進行處理以取得該使用者之該手掌影像的步驟中,包含:濾除該使用者的影像之該深度圖中大於一預定距離的部份;以及以該手部座標為準,從一經過濾的影像中擴展至一預定區域的影像以作為該手掌影像。
- 如申請專利範圍第1項所述之手勢辨識方法,其中當該點座標與該手部座標兩者的距離大於一閥值時,代表該滑鼠的鬆開操作,而當該點座標與該手部座標兩者的距離小於該閥值時,代表該滑鼠的按壓操作。
- 一種手勢辨識方法,用以辨識一使用者在一電子裝置前做出的手勢,以模擬一滑鼠的操作,該方法包含步驟:擷取含有該使用者的影像;決定該使用者的手部座標;對該使用者的影像進行處理以取得該使用者之一手掌影像;找出該手掌影像中包含一手掌物體的一最小圓,並取得描述該最小圓的一參數;以及根據描述該最小圓的該參數,模擬該滑鼠的點擊動作。
- 如申請專利範圍第6項所述之手勢辨識方法,其中在決定該使用者的該手部座標的步驟中,該手部座標係根據該使用者揮動或推伸手部時的影像變化計算而得。
- 如申請專利範圍第6項所述之手勢辨識方法,其中在擷取含有該使用者的影像的步驟中,包含取得對應該使用者的影像的一深度圖的步驟。
- 如申請專利範圍第8項所述之手勢辨識方法,其中在對該使用者的影像進行處理以取得該使用者之該手掌影像的步驟中,包含:濾除該使用者的影像之該深度圖中大於一預定距離的部份;以及以該手部座標為準,從一經過濾的影像中擴展至一預定區域的影像以作為該手掌影像。
- 如申請專利範圍第6項所述之手勢辨識方法,其中描述該最小圓的該參數係為一半徑,當該最小圓的一半徑變化量大於一正閥值時,代表該滑鼠的鬆開操作,而當該最小圓的該半徑變化量小於一負閥值時,代表該滑鼠的按壓操作。
- 一種手勢辨識系統,其與一電子裝置耦接,用以辨識一使用者在該電子裝置前做出的手勢以模擬一滑鼠的操作,該系統包含:一影像擷取模組,擷取含有該使用者的影像;一手部座標追蹤模組,根據該使用者揮動或推伸手部時的影像變化計算一手部座標;一手掌影像處理模組,接收該影像擷取模組所擷取的該使用者的影像,對該使用者的影像進行處理以取得該使用者之一手掌影像;一手掌特徵擷取模組,接收來自該手掌影像處理模組的該手掌影像,從該手掌影像中取得用以描述與一手掌物體之輪廓有關的一參數值,以及一手勢辨識模組,根據該參數值的變化,模擬該滑鼠的點擊動作。
- 如申請專利範圍第11項所述之手勢辨識系統,其中該影像擷取模組更包括取得對應該使用者的影像的一深度圖,而該手掌影像處理模組係透過濾除該使用者的影像之該深度圖中大於一預定距離的部份,以及以該手部座標為準,從一經過濾的影像中擴展至一預定區域的影像以取得該手掌影像。
- 如申請專利範圍第11項所述之手勢辨識系統,其中用以描述與該手掌物體之輪廓有關的該參數值係為該手掌影像中與該手部座標距離最遠之一點的一點座標,該點屬於一手掌的一部份,且該手勢辨識模組係藉由判斷該點座標與該手部座標兩者的一距離變化,來模擬該滑鼠的點擊動作。
- 如申請專利範圍第11項所述之手勢辨識系統,其中用以描述與該手掌物體之輪廓有關的該參數值係為該手掌影像中包含該手掌物體的一最小圓的一半徑,且該手勢辨識模組係藉由判斷該最小圓的一半徑變化量,來模擬該滑鼠的點擊動作。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW100141863A TW201322058A (zh) | 2011-11-16 | 2011-11-16 | 手勢辨識系統及方法 |
US13/366,323 US20130120250A1 (en) | 2011-11-16 | 2012-02-05 | Gesture recognition system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW100141863A TW201322058A (zh) | 2011-11-16 | 2011-11-16 | 手勢辨識系統及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201322058A true TW201322058A (zh) | 2013-06-01 |
Family
ID=48280092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW100141863A TW201322058A (zh) | 2011-11-16 | 2011-11-16 | 手勢辨識系統及方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130120250A1 (zh) |
TW (1) | TW201322058A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104423046A (zh) * | 2013-08-29 | 2015-03-18 | 精工爱普生株式会社 | 图像处理装置及具有其的头部安装型显示装置 |
US10126879B2 (en) | 2013-10-09 | 2018-11-13 | Wistron Corporation | Testing method of touch device and system thereof |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9310895B2 (en) | 2012-10-12 | 2016-04-12 | Microsoft Technology Licensing, Llc | Touchless input |
TWI502519B (zh) * | 2012-11-21 | 2015-10-01 | Wistron Corp | 手勢辨識模組及手勢辨識方法 |
TWI496094B (zh) * | 2013-01-23 | 2015-08-11 | Wistron Corp | 手勢辨識模組及手勢辨識方法 |
WO2014129683A1 (ko) * | 2013-02-21 | 2014-08-28 | 엘지전자 주식회사 | 원격 포인팅 방법 |
EP2891950B1 (en) * | 2014-01-07 | 2018-08-15 | Sony Depthsensing Solutions | Human-to-computer natural three-dimensional hand gesture based navigation method |
US10222866B2 (en) * | 2014-03-24 | 2019-03-05 | Beijing Lenovo Software Ltd. | Information processing method and electronic device |
CN107025780B (zh) | 2015-06-25 | 2020-09-01 | 北京智谷睿拓技术服务有限公司 | 交互方法及通信设备 |
CN106297230B (zh) | 2015-06-25 | 2019-07-26 | 北京智谷睿拓技术服务有限公司 | 交互方法及通信设备 |
CN106297229B (zh) * | 2015-06-25 | 2019-08-02 | 北京智谷睿拓技术服务有限公司 | 交互方法及通信设备 |
EP3392740A4 (en) * | 2015-12-18 | 2018-12-19 | Sony Corporation | Information processing device, information processing method, and program |
CN110163048B (zh) * | 2018-07-10 | 2023-06-02 | 腾讯科技(深圳)有限公司 | 手部关键点的识别模型训练方法、识别方法及设备 |
CN111589098A (zh) * | 2020-04-21 | 2020-08-28 | 哈尔滨拓博科技有限公司 | 一种用于带有步进天车娃娃机的随动方式手势控制方法及系统 |
US11797086B2 (en) * | 2020-04-30 | 2023-10-24 | Tap Systems Inc. | Wearable finger tap detection system with low power mode |
CN112947755A (zh) * | 2021-02-24 | 2021-06-11 | Oppo广东移动通信有限公司 | 手势控制方法与装置、电子设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7755608B2 (en) * | 2004-01-23 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Systems and methods of interfacing with a machine |
US8514251B2 (en) * | 2008-06-23 | 2013-08-20 | Qualcomm Incorporated | Enhanced character input using recognized gestures |
TWI489317B (zh) * | 2009-12-10 | 2015-06-21 | Tatung Co | 電子裝置的操作方法及系統 |
US8818027B2 (en) * | 2010-04-01 | 2014-08-26 | Qualcomm Incorporated | Computing device interface |
US8863040B2 (en) * | 2011-01-04 | 2014-10-14 | Google Inc. | Gesture-based selection |
US20120257035A1 (en) * | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
-
2011
- 2011-11-16 TW TW100141863A patent/TW201322058A/zh unknown
-
2012
- 2012-02-05 US US13/366,323 patent/US20130120250A1/en not_active Abandoned
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104423046A (zh) * | 2013-08-29 | 2015-03-18 | 精工爱普生株式会社 | 图像处理装置及具有其的头部安装型显示装置 |
US10126879B2 (en) | 2013-10-09 | 2018-11-13 | Wistron Corporation | Testing method of touch device and system thereof |
Also Published As
Publication number | Publication date |
---|---|
US20130120250A1 (en) | 2013-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW201322058A (zh) | 手勢辨識系統及方法 | |
TWI489317B (zh) | 電子裝置的操作方法及系統 | |
US10895868B2 (en) | Augmented interface authoring | |
JP6079832B2 (ja) | ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法 | |
CN102096471B (zh) | 一种基于机器视觉的人机交互方法 | |
TW201510771A (zh) | 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體 | |
TWI431538B (zh) | 基於影像之動作手勢辨識方法及系統 | |
KR101559502B1 (ko) | 실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스 방법 및 기록 매체 | |
JP2014235634A (ja) | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム | |
JP2014029656A (ja) | 画像処理装置および画像処理方法 | |
CN102520794B (zh) | 手势辨识系统及方法 | |
KR101281461B1 (ko) | 영상분석을 이용한 멀티 터치 입력 방법 및 시스템 | |
CA2806149C (en) | Method and system for gesture-based human-machine interaction and computer-readable medium thereof | |
US10599225B2 (en) | Projection-based user interface | |
CN113807191A (zh) | 一种非侵入式可视化测试脚本自动录制方法 | |
TW201312380A (zh) | 光學觸控系統 | |
KR101386655B1 (ko) | 3d 공간 터치 시스템 및 방법 | |
TW201419087A (zh) | 微體感偵測模組及其微體感偵測方法 | |
CN111061367B (zh) | 一种自助设备手势鼠标的实现方法 | |
CN116974400B (zh) | 屏幕触显识别方法、装置、设备及存储介质 | |
TWI697827B (zh) | 控制系統及其控制方法 | |
Dung et al. | A shadow touching technique for interactive projector devices | |
Lee et al. | Implementation of stereo camera module for hand gesture recognition | |
Joshi et al. | Towards controlling mouse through Hand Gestures: A novel and efficient approach | |
Miloeski | Navidezni slikar za Android |