TWI629646B - Gesture recognition device - Google Patents
Gesture recognition device Download PDFInfo
- Publication number
- TWI629646B TWI629646B TW106141599A TW106141599A TWI629646B TW I629646 B TWI629646 B TW I629646B TW 106141599 A TW106141599 A TW 106141599A TW 106141599 A TW106141599 A TW 106141599A TW I629646 B TWI629646 B TW I629646B
- Authority
- TW
- Taiwan
- Prior art keywords
- hand
- palm
- gesture
- gesture recognition
- space coordinate
- Prior art date
Links
- 239000003550 marker Substances 0.000 claims abstract description 10
- 210000003811 finger Anatomy 0.000 claims description 5
- 210000003813 thumb Anatomy 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 2
- 210000002478 hand joint Anatomy 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 7
- 101100434480 Arabidopsis thaliana AFB2 gene Proteins 0.000 description 6
- 101100449517 Arabidopsis thaliana GRH1 gene Proteins 0.000 description 4
- 101001005160 Homo sapiens Lipase maturation factor 2 Proteins 0.000 description 4
- 102100026037 Lipase maturation factor 2 Human genes 0.000 description 4
- 101100380517 Rattus norvegicus Atf3 gene Proteins 0.000 description 4
- 239000011435 rock Substances 0.000 description 4
- 101001043185 Homo sapiens Lipase maturation factor 1 Proteins 0.000 description 3
- 102100021978 Lipase maturation factor 1 Human genes 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 101100436435 Mus musculus Atp5me gene Proteins 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
一種手勢辨識裝置，係包含有一手部結合物件及一結合於該手部結合物件上的手勢辨識物件，其中該手勢辨識物件係相對於使用者的手部之手掌處，該手勢辨識物件係包含至少一個深度攝影器、一手部輪廓擷取器、一空間座標標注器、一節點空間座標追蹤器及一手勢辨識器，其中該手勢辨識物件能夠擷取手部輪廓資料並辨識及標注該手掌上的節點空間座標，之後進行判斷手掌上不同節點空間座標之變化，來進行判斷使用者的手部的手勢動作。
Description
本發明是有關一種手勢辨識裝置，特別是一種能夠結合深度攝影器、並判斷使用者的手部的手勢動作之裝置。
目前隨著科技的顯著進步，逐漸有新的輸入裝置可以取代傳統的滑鼠、鍵盤及遊戲的控制器，更為遊戲中的虛擬人物操控帶來創新的操作方法及樂趣，例如：美國微軟（Microsoft）公司所開發之Kinect，其係可應用於Xbox 360和Xbox One主機的周邊設備，好讓使用者不需要手持控制器或踩踏其它遊戲裝置，而是利用語音指令或是手勢操作Xbox 360和Xbox One的遊戲介面，並可透過深度攝影機偵測使用者全身上下的動作，藉由使用者的身體動作變化以控制遊戲中的虛擬人物。
但由於目前手勢辨識的裝置大多是置放於同一空間內使用（客廳中的電視，空調系統或影音播放設備等），並以遠距離進行手勢辨識，然而若是要將這一類具有手勢辨識的裝置用於室外或是移動使用時，若是無法遠距離固定裝置，將無法達到手勢辨識之效果，因此若是要近距離準確辨識手勢，將能夠讓手勢辨識技術應用於更多領域。
因此，若能夠透過一手部結合物件將一手勢辨識物件設置於使用者的手部之手掌處，之後更能夠透過手勢辨識物件擷取手部輪廓資料並辨識及標注該手掌上的節點空間座標，再進行判斷手掌上不同節點空間座標之變化，來進行判斷使用者的手部的手勢動作，如此應為一最佳解決方案。
可達成上述手勢辨識裝置，係包含一手部結合物件，係能夠結合於一使用者的手部上；一手勢辨識物件，係結合於該手部結合物件上，而該手勢辨識物件係相對於使用者的手部之手掌處，且該手勢辨識物件係包含至少一個深度攝影器，係用以擷取該使用者的手部之手掌的深度影像資料；一手部輪廓擷取器，係與該深度攝影器電性連接，用以依據該手掌的深度影像資料進行擷取出一手部輪廓資料；一空間座標標注器，係與該手部輪廓擷取器電性連接，用以依據該手部輪廓資料進行辨識並標注該手掌上的節點空間座標；一節點空間座標追蹤器，係與該空間座標標注器電性連接，用以追蹤所標注該手掌上的節點空間座標之變化、並儲存為一節點空間座標變化資料；一手勢辨識器，係與該手部輪廓擷取器、空間座標標注器及該節點空間座標追蹤器電性連接，該手勢辨識器能夠依據該節點空間座標變化資料進行判斷使用者的手部的手勢動作。
更具體的說，所述手勢辨識器能夠依據該手部輪廓資料之拇指位置判斷該手部為左手或右手。
更具體的說，所述手勢辨識物件於使用者的手部之手掌處定義之節點空間座標的X軸、Y軸及Z軸皆為原點。
更具體的說，所述空間座標標注器能夠以手掌上的關節處、指間處或/及掌心處做為節點進行辨識並標注節點空間座標。
更具體的說，所述手勢辨識器能夠依據該手掌上的關節處、指間處或/及掌心處之間的節點空間座標之距離差進行判斷手勢動作。
更具體的說，所述手勢辨識器能夠依據該手掌上的關節處或/及指間處的節點空間座標之存在或/及消失進行判斷手勢動作。
更具體的說，所述手勢辨識器能夠依據該手掌上的關節處、指間處或/及掌心處之間的節點空間座標之排列線條形狀進行判斷手勢動作。
有關於本發明其他技術內容、特點與功效，在以下配合參考圖式之較佳實施例的詳細說明中，將可清楚的呈現。
請參閱第1A及1B圖，為本發明手勢辨識裝置之整體架構示意圖及手勢辨識物件之架構示意圖，由圖中可知，本發明之手勢辨識裝置1係包括一手部結合物件11及一手勢辨識物件12，其中該手部結合物件11係能夠結合於一使用者的手部上，該手部結合物件11係能夠為手環、手套一類能夠使該手勢辨識物件12定位於該使用者的手部之手掌處之物件。
而該手勢辨識物件12係包含至少一個深度攝影器121、一手部輪廓擷取器122、一空間座標標注器123、一節點空間座標追蹤器124、一手勢辨識器125及一手勢辨識資料傳輸器126；
其中該深度攝影器121係用以擷取該使用者的手部之手掌的深度影像資料，而該手部輪廓擷取器122則是依據該手掌的深度影像資料進行擷取出一手部輪廓資料，之後該空間座標標注器123能夠再依據該手部輪廓資料進行辨識並標注該手掌上的節點空間座標；
而該節點空間座標追蹤器124則是用以追蹤所標注該手掌上的節點空間座標之變化、並儲存為一節點空間座標變化資料，之後該手勢辨識器125更能夠依據該節點空間座標變化資料進行判斷使用者的手部的手勢動作。
而手勢辨識步驟如第2圖所示，必須先啟動深度攝影機201，再取得深度影像202、並截取手部輪廓203，之後再進行辨識手部節點的空間座標並標注204，最後進行即時追蹤所有的節點空間座標205、並依據追蹤的節點座標相對位置進行判斷手勢206。
而當該空間座標標注器123要依據該手部輪廓資料進行辨識並標注該手掌上的節點空間座標時，如第3A及3B圖所示，該空間座標標注器123能夠以手掌上的關節處、指間處或/及掌心處做為節點進行辨識並標注節點空間座標，另外該手勢辨識物件於使用者的手部2,3之手掌處定義之節點空間座標的X軸、Y軸及Z軸皆為原點（0,0,0），而該手勢辨識器125能夠進一步依據該手部輪廓資料之拇指位置判斷該手部2,3為左手或右手、並儲存為一手勢辨識資料；
另外，該手勢辨識資料傳輸器126更能夠將該手勢辨識資料以無線或有線方式傳輸至外部，以由任何能夠接收該手勢辨識資料的裝置應用該手勢辨識結果。
而當使用者的手部2比出Ya的手勢後，如第4圖所示，判斷如下： (1) 判斷原點到LT2的距離是大於原點到LT1的距離（或是LT2這一個節點空間座標已消失）； (2) 判斷原點到LRF2的距離是大於原點到LRF1的距離（或是LRF2這一個節點空間座標已消失）； (3) 判斷原點到LLF2的距離是大於原點到LLF1的距離（或是LLF2這一個節點空間座標已消失）； (4) LFF1、LFF2及LFF3的節點空間座標之排列線條形狀為直線； (5) LFM1、LFM2及LFF3的節點空間座標之排列線條形狀為直線； (6) 透過以上5點追蹤及判斷，該手勢辨識器125則能夠判斷該手勢左手為比Ya的姿勢。
而當使用者的手部2比出握拳的手勢後，如第5圖所示，判斷如下： (1) 判斷LFF1~ LFF4、LMF1~ LMF4、LRF1~LRF4及LLF1~LLF4的節點空間座標是同時消失； (2) 判斷原點到LLF2的距離是大於原點到LLF1的距離（或是LLF2這一個節點空間座標已消失）； (3) 透過以上3點追蹤及判斷，該手勢辨識器125則能夠判斷該手勢左手為握拳的姿勢。
而當使用者的手部2比出Rock的手勢後，如第6圖所示，判斷如下： (1) 判斷原點到LMF2的距離是大於原點到LMF1的距離（或是LMF2這一個節點空間座標已消失）； (2) 判斷原點到LRF2的距離是大於原點到LRF1的距離（或是LRF2這一個節點空間座標已消失）； (3) LFF1、LFF2、LFF3及LFF4的節點空間座標之排列線條形狀為直線； (4) LLF1、LLF2、LLF3及LLF4的節點空間座標之排列線條形狀為直線； (5) 透過以上4點追蹤及判斷，該手勢辨識器125則能夠判斷該手勢左手為比Rock的姿勢。
而當使用者的手部2比出Rock的手勢後，如第7圖所示，判斷如下： (1) 判斷原點到LMF2的距離是大於原點到LMF1的距離（或是LMF2這一個節點空間座標已消失）； (2) 判斷原點到LRF2的距離是大於原點到LRF1的距離（或是LRF2這一個節點空間座標已消失）； (3) LFF1、LFF2、LFF3及LFF4的節點空間座標之排列線條形狀為直線； (4) LLF1、LLF2、LLF3及LLF4的節點空間座標之排列線條形狀為直線； (5) 透過以上4點追蹤及判斷，該手勢辨識器125則能夠判斷該手勢左手為比Rock的姿勢。
本發明所提供之手勢辨識裝置，與其他習用技術相互比較時，其優點如下： (1) 本發明能夠透過一手部結合物件將一手勢辨識物件設置於使用者的手部之手掌處，之後更能夠透過手勢辨識物件擷取手部輪廓資料並辨識及標注該手掌上的節點空間座標，再進行判斷手掌上不同節點空間座標之變化，來進行判斷使用者的手部的手勢動作。 (2) 本發明能夠固定於使用者的手部之手掌處上，因此能夠於移動狀態下亦能夠進行判斷使用者的手部的手勢動作，並隨時能夠將手勢辨識資料傳輸出去，以方便能更用於更多的應用領域。
本發明已透過上述之實施例揭露如上，然其並非用以限定本發明，任何熟悉此一技術領域具有通常知識者，在瞭解本發明前述的技術特徵及實施例，並在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之請求項所界定者為準。
1‧‧‧手勢辨識裝置
11‧‧‧手部結合物件
12‧‧‧手勢辨識物件
121‧‧‧深度攝影器
122‧‧‧手部輪廓擷取器
123‧‧‧空間座標標注器
124‧‧‧節點空間座標追蹤器
125‧‧‧手勢辨識器
126‧‧‧手勢辨識資料傳輸器
2‧‧‧手部
3‧‧‧手部
[第1A圖]係本發明手勢辨識裝置之整體架構示意圖。 [第1B圖]係本發明手勢辨識裝置之手勢辨識物件之架構示意圖。 [第2圖]係本發明手勢辨識裝置之手勢辨識流程示意圖。 [第3A圖]係本發明手勢辨識裝置之手部初步辨識實施示意圖。 [第3B圖]係本發明手勢辨識裝置之手部初步辨識實施示意圖。 [第4圖]係本發明手勢辨識裝置之手勢辨識第一實施示意圖。 [第5圖]係本發明手勢辨識裝置之手勢辨識第二實施示意圖。 [第6圖]係本發明手勢辨識裝置之手勢辨識第三實施示意圖。
Claims (6)
- 一種手勢辨識裝置，係包含：一手部結合物件，係能夠結合於一使用者的手部上；一手勢辨識物件，係結合於該手部結合物件上，而該手勢辨識物件係相對於使用者的手部之手掌處，且該手勢辨識物件係包含：至少一個深度攝影器，係用以擷取該使用者的手部之手掌的深度影像資料；一手部輪廓擷取器，係與該深度攝影器電性連接，用以依據該手掌的深度影像資料進行擷取出一手部輪廓資料；一空間座標標注器，係與該手部輪廓擷取器電性連接，用以依據該手部輪廓資料進行辨識並標注該手掌上的節點空間座標，其中該空間座標標注器能夠以手掌上的關節處、指間處或/及掌心處做為節點進行辨識並標注節點空間座標，而該節點空間座標係為X軸、Y軸及Z軸之座標；一節點空間座標追蹤器，係與該空間座標標注器電性連接，用以追蹤所標注該手掌上的節點空間座標之變化、並儲存為一節點空間座標變化資料；一手勢辨識器，係與該手部輪廓擷取器、空間座標標注器及該節點空間座標追蹤器電性連接，該手勢辨識器能夠依據該節點空間座標變化資料進行判斷使用者的手部的手勢動作。
- 如請求項1所述之手勢辨識裝置，其中該手勢辨識器能夠依據該手部輪廓資料之拇指位置判斷該手部為左手或右手。
- 如請求項1所述之手勢辨識裝置，其中該手勢辨識物件於使用者的手部之手掌處定義之節點空間座標的X軸、Y軸及Z軸皆為原點。
- 如請求項1所述之手勢辨識裝置，其中該手勢辨識器能夠依據該手 掌上的關節處、指間處或/及掌心處之間的節點空間座標之距離差進行判斷手勢動作。
- 如請求項4所述之手勢辨識裝置，其中該手勢辨識器能夠依據該手掌上的關節處或/及指間處的節點空間座標之存在或/及消失進行判斷手勢動作。
- 如請求項4所述之手勢辨識裝置，其中該手勢辨識器能夠依據該手掌上的關節處、指間處或/及掌心處之間的節點空間座標之排列線條形狀進行判斷手勢動作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106141599A TWI629646B (zh) | 2017-11-29 | 2017-11-29 | Gesture recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106141599A TWI629646B (zh) | 2017-11-29 | 2017-11-29 | Gesture recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI629646B true TWI629646B (zh) | 2018-07-11 |
| TW201926142A TW201926142A (zh) | 2019-07-01 |
Family
ID=63640680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106141599A TWI629646B (zh) | 2017-11-29 | 2017-11-29 | Gesture recognition device |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI629646B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI798038B (zh) * | 2022-03-30 | 2023-04-01 | 國立勤益科技大學 | 具有手部姿勢操控之人機介面裝置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942524A (zh) * | 2013-01-23 | 2014-07-23 | 纬创资通股份有限公司 | 手势辨识模块及手势辨识方法 |
| TW201604721A (zh) * | 2013-01-29 | 2016-02-01 | 緯創資通股份有限公司 | 手勢辨識與控制方法及其裝置 |
| TW201727439A (zh) * | 2015-10-30 | 2017-08-01 | 傲思丹度科技公司 | 用於身體手勢介面及投影顯示器之系統及方法 |
| TW201730813A (zh) * | 2016-02-26 | 2017-09-01 | 國立交通大學 | 具有深度資訊之影像處理方法及其電腦程式產品 |
-
2017
- 2017-11-29 TW TW106141599A patent/TWI629646B/zh not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942524A (zh) * | 2013-01-23 | 2014-07-23 | 纬创资通股份有限公司 | 手势辨识模块及手势辨识方法 |
| TW201604721A (zh) * | 2013-01-29 | 2016-02-01 | 緯創資通股份有限公司 | 手勢辨識與控制方法及其裝置 |
| TW201727439A (zh) * | 2015-10-30 | 2017-08-01 | 傲思丹度科技公司 | 用於身體手勢介面及投影顯示器之系統及方法 |
| TW201730813A (zh) * | 2016-02-26 | 2017-09-01 | 國立交通大學 | 具有深度資訊之影像處理方法及其電腦程式產品 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201926142A (zh) | 2019-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sanna et al. | A Kinect-based natural interface for quadrotor control | |
| US9430698B2 (en) | Information input apparatus, information input method, and computer program | |
| Sato et al. | Fast tracking of hands and fingertips in infrared images for augmented desk interface | |
| US8525876B2 (en) | Real-time embedded vision-based human hand detection | |
| KR101789064B1 (ko) | 원격조종 최소 침습 종속 수술 기구의 손 제어를 위한 방법 및 시스템 | |
| KR101762638B1 (ko) | 최소 침습 수술 시스템에서 손 제스처 제어를 위한 방법 및 장치 | |
| KR101762631B1 (ko) | 주 손가락 추적 장치 및 최소 침습 수술 시스템에서의 사용 방법 | |
| KR101785360B1 (ko) | 최소 침습 수술 시스템에서 손 존재 검출을 위한 방법 및 시스템 | |
| US20110115892A1 (en) | Real-time embedded visible spectrum light vision-based human finger detection and tracking method | |
| JP4323180B2 (ja) | 自己画像表示を用いたインタフェース方法、装置、およびプログラム | |
| US20140139429A1 (en) | System and method for computer vision based hand gesture identification | |
| US20130301926A1 (en) | Computer vision based tracking of a hand | |
| Premaratne et al. | Historical development of hand gesture recognition | |
| JP2015172887A (ja) | ジェスチャ認識装置およびジェスチャ認識装置の制御方法 | |
| US20220415094A1 (en) | Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium | |
| Fernández et al. | A Kinect-based system to enable interaction by pointing in smart spaces | |
| TWI521387B (zh) | 三維空間中之可重置式虛擬觸控板 | |
| TWI629646B (zh) | Gesture recognition device | |
| KR20220047637A (ko) | 객체와 사용자의 연관을 위한 상호작용형 어트랙션 시스템 및 방법 | |
| TWM557866U (zh) | 手勢辨識裝置 | |
| JP2010086367A (ja) | 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置 | |
| TWI730535B (zh) | 虛擬物件操作系統及虛擬物件操作方法 | |
| KR101956900B1 (ko) | 최소 침습 수술 시스템에서 손 존재 검출을 위한 방법 및 시스템 | |
| US20200320729A1 (en) | Information processing apparatus, method of information processing, and information processing system | |
| Kahlouche et al. | Human pose recognition and tracking using RGB-D camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |