TWI920552B - 手勢檢測裝置及方法 - Google Patents
手勢檢測裝置及方法Info
- Publication number
- TWI920552B TWI920552B TW113113441A TW113113441A TWI920552B TW I920552 B TWI920552 B TW I920552B TW 113113441 A TW113113441 A TW 113113441A TW 113113441 A TW113113441 A TW 113113441A TW I920552 B TWI920552 B TW I920552B
- Authority
- TW
- Taiwan
- Prior art keywords
- finger
- palm
- gesture detection
- area
- electronic signal
- Prior art date
Links
Abstract
本發明提出一種手勢檢測裝置及方法。手勢檢測裝置包括殼體、用於穿戴於使用者的手掌上的穿戴部,及感測模組。感測模組包括光源發射元件、機電元件以及光感測器。光源發射元件用以發射光束。機電元件用以控制光束朝向檢測區域發射。光感測器用以接收光束對應的反射光,並根據反射光產生電子訊號。上述檢測區域包括手掌上的手指區域。上述電子訊號被用以產生手指區域的影像。
Description
本發明是有關於手勢檢測的裝置,且特別是有關於一種用於穿戴於手掌上的手勢檢測裝置及其控制方法。
在虛擬實境或是擴增實境之體驗中,使用者之肢體動作可由若干個感測器來偵測,然後同步地表現於虛擬實境或是擴增實境之立體影像中,為使用者帶來沉浸體驗。而現有的虛擬實境或是擴增實境之設備中,所使用的感測器大多是偵測使用者的主要動作,例如手部的移動及擺動等。
對於使用者的細部動作,例如手指的姿勢或是手掌的姿態,若能進一步偵測並同步地表現於虛擬影像中,應可帶給使用者更佳的沉浸體驗。目前雖然可使用含有相機系統的手勢檢測裝置(例如頭戴式裝置)來檢測使用者的手勢。然而,當使用者的手部移動到相機鏡頭無法拍攝的位置,則會造成頭戴式裝置難以正確判斷使用者的手勢。因此,如何設計手勢偵測裝置及有效的手勢偵測方式為目前需要解決的問題。
有鑑於此,本發明提供一種用於穿戴於手掌的手勢檢測裝置及方法,通過手勢檢測裝置來獲得手指區域的影像以及手掌的姿態,來獲得更準確的手勢資訊。
本發明的第一方面提出了一種手勢檢測裝置。手勢檢測裝置包括:殼體,具有底部與至少一個側表面,其中側表面具有至少一個開孔;穿戴部,固定於殼體的該底部,用於穿戴於使用者的手掌上;及感測模組,設置在殼體內,且感測模組包括:光源發射元件,用以從至少一開孔發射光束;機電元件,用以控制光束朝向檢測區域發射,檢測區域包括該手掌上的手指區域;以及光感測器,電性連接該處理器,用以從至少一開孔接收光束對應的反射光,並根據該反射光產生電子訊號,其中該電子訊號被用以產生手指區域的影像。
在第一方面的一些實施例中,該感測模組更包括處理器及無線通訊模組,其中處理器用以根據該電子訊號產生該手指區域的影像,且無線通訊模組電性連接該處理器,用以將該手指區域的影像傳送至一電腦裝置。
在第一方面的一些實施例中,該感測模組更包括處理器及無線通訊模組,其中處理器用以接收該電子訊號,且無線通訊模組電性連接該處理器,用以將該電子訊號傳送至一電腦裝置,以透過該電腦裝置根據該電子訊號產生該手指區域的影像。
在第一方面的一些實施例中,處理器用以基於影像判斷手指姿勢。
在第一方面的一些實施例中,更包括運動感測器,耦接於處理器,用以取得手掌的姿態數據,其中姿態數據包括手掌的朝向數據、速度數據以及加速度數據的至少其中之一。
在第一方面的一些實施例中,其中機電元件包括微機電系統(Micro-Electro-Mechanical System,MEMS)鏡,用以反射該光束以調整該光束的方向。
在第一方面的一些實施例中,處理器更用以基於手指區域的影像以及手掌的姿態數據,判斷手勢資訊。
本發明的第二方面提出了一種適用於穿戴於使用者的手掌的手勢檢測裝置,手勢檢測裝置包括光源發射元件、機電元件以及光感測器。手勢檢測方法包括:利用光源發射元件發射光束;利用機電元件控制該光束朝向檢測區域發射,其中檢測區域包括手掌上的手指區域;利用光感測器接收光束對應的反射光,並根據反射光產生電子訊號;以及根據電子訊號產生該手指區域的影像。
在第二方面的一些實施例中,更包括基於影像判斷手指姿勢。
在第二方面的一些實施例中,其中其中機電元件包括微機電系統(Micro-Electro-Mechanical System,MEMS)鏡,並且控制光束朝向檢測區域發射包括:控制MEMS鏡以調整該光束的反射方向。
在第二方面的一些實施例中,其中手勢檢測裝置更包括運動感測器,手勢檢測方法更包括:利用運動感測器提供手掌的姿態數據,姿態的數據包括手掌的朝向數據、速度數據以及加速度數據的至少其中之一。
在第二方面的一些實施例中,更包括基於手指區域的該影像以及手掌的該姿態數據,判斷手勢資訊。
以下敘述含有與本發明中的示例性實施例相關的特定資訊。本發明中的附圖和其隨附的詳細敘述僅為示例性實施例。然而,本發明並不局限於此些示例性實施例。本領域技術人員將會想到本發明的其他變化與實施例。除非另有說明,否則附圖中的相同或對應的元件可由相同或對應的附圖標號指示。此外,本發明中的附圖與例示通常不是按比例繪製的,且非旨在與實際的相對尺寸相對應。
出於一致性和易於理解的目的,在示例性附圖中藉由標號以標示相同特徵(雖在一些示例中並未如此標示)。然而,不同實施方式中的特徵在其他方面可能不同,因此不應狹義地局限於附圖所示的特徵。
針對「至少一個實施方式」、「一實施方式」、「多個實施方式」、「不同的實施方式」、「一些實施方式」、「本實施方式」等用語,可指示如此描述的本發明實施方式可包括特定的特徵、結構或特性,但並不是本發明的每個可能的實施方式都必須包括特定的特徵、結構或特性。此外,重複地使用短語「在一實施例中」、「在本實施方式」並不一定是指相同的實施方式,儘管它們可能相同。此外,諸如「實施方式」之類的短語與「本發明」關聯使用,並不意味本發明的所有實施方式必須包括特定特徵、結構或特性,並且應該理解為「本發明的至少一些實施方式」包括所述的特定特徵、結構或特性。術語「耦接」被定義為連接,無論是直接還是間接地透過中間元件作連接,且不一定限於實體連接。當使用術語「包括」時,意思是「包括但不限於」,其明確地指出所述的組合、群組、系列和均等物的開放式包含或關係。
另外,基於解釋和非限制的目的,闡述了諸如功能實體、技術、協定、標準等的具體細節以提供對所描述的技術的理解。在其他示例中,省略了眾所周知的方法、技術、系統、架構等的詳細描述,以避免說明敘述被不必要的細節混淆。
本發明的說明書及上述附圖中的術語「第一」、「第二」和「第三」等是用於區別不同物件,而非用於描述特定順序。此外,術語「包括」以及它們任何變形,意圖在於覆蓋不排他的包含。例如包含了一系列步驟或模組的過程、方法、系統、產品或設備沒有限定於已列出的步驟或模組,而是可選地還包括沒有列出的步驟或模組,或可選地還包括對於這些過程、方法、產品或設備固有的其它步驟或模組。
一般虛擬實境或是擴增實境中的手勢偵測裝置,可以使用包含有相機系統的頭戴式裝置來追蹤和判斷使用者的手勢。但是,當使用者的手部移動到相機鏡頭無法拍攝的位置,則會造成頭戴式裝置難以正確判斷使用者的手勢。此外,當使用者手部執行某些特定動作時,會造成相機無法偵測到手勢。原因在於,翻轉手部的時候,可能會因為拍攝角度的關係,造成手指被手掌遮蔽,使相機無法偵測到手勢;手部翻轉速度太快時,其中該速度超過相機的偵測極限,使相機無法及時偵測和回饋影像資訊給頭戴式裝置,而無法反應手勢的狀況。
此外,有效的判斷使用者的手勢需要包含手掌姿態以及手指影像,以利精確的判讀出手勢。然而,上述的手腕式裝置並無法偵測到手掌的姿態,以及當相機與手指的景深相對較短時,容易造成手指影像模糊或著失焦的問題。為了因應上述狀況,在相機的鏡片設計上存在比較大的挑戰。
雖然目前有些虛擬實境或是擴增實境中的手勢偵測裝置會選擇使用包含有多個相機系統的頭戴式裝置來追蹤使用者的手勢。也就是藉由增加相機的數量來減少相機偵測手勢時可能遇到的視線死角問題。然而,以上做法會造成手勢偵測裝置的成本增加,以及需要更多的運算單元去分析影像而增加耗電量。因此,如何設計手勢偵測裝置及有效的手勢偵測方式為目前需要解決的問題。
在手勢檢測裝置使用包含有微機電系統(Micro-Electro-Mechanical System,MEMS)鏡的影像感測器來提供手勢資訊的情況下,除了可以提供準確的手勢判讀,也可以在不使用相機拍攝手勢的情況下,減少處理器的運作負載,因此耗電量更少,延長了裝置的使用時間。總結來說,相較於一般手勢檢測裝置,本發明提供了讓使用者能更長時間地使用手勢檢測裝置而無需擔心電量和準確度的手勢檢測裝置與方法。
以下結合附圖對本發明實施例作描述。
圖1繪示本發明一實施例的手勢檢測裝置的示意圖。圖2繪示本發明一實施例的手勢檢測裝置的示意圖。圖3繪示本發明一實施例的穿戴於使用者手掌上的手勢檢測裝置的示意圖。
請同時參閱圖1、圖2和圖3,提供了一個手勢檢測裝置1。在一實施例中,手勢檢測裝置1包括殼體2。殼體2包括底部3以及與底部3相鄰的四個側表面4,其中至少一個側表面4包括一開孔5。請參閱圖2。在一實施例中,手勢檢測裝置1更包括感測模組10。感測模組10設置在殼體2內。請參閱圖3。在一實施例中,手勢檢測裝置1更包括穿戴部6,其中穿戴部6固定於殼體2的底部3,用於穿戴於使用者的手掌上。在一實施例中,手勢檢測裝置1的殼體2更包括一個上表面7。然而,本發明並不限於手勢檢測裝置1的穿戴方式。
圖4繪示本發明一實施例的手勢檢測裝置的概要方塊圖。
在一些實施例中,感測模組10包括光源發射元件110、機電元件120、光感測器130、處理器140和無線通訊模組150。無線通訊模組150電性連接處理器140。此外,光感測器130電性連接處理器140。光源發射元件110電性連接處理器140。機電元件120電性連接處理器140。
在一些實施例中,感測模組10包括用以取得手指區域的電子訊號。其中,處理器140可以根據電子訊號產生該手指區域的影像,並將該手指區域的影像傳送至無線通訊模組150。手指區域的影像可以包括手指的形狀與姿勢。無線通訊模組150可以從處理器140接收該手指區域的影像,並將該手指區域的影像傳送至一電腦裝置。
在一些實施例中,處理器140可以接收該電子訊號,並將該電子訊號傳送至無線通訊模組150。無線通訊模組150可以從處理器140接收該電子訊號,並將該電子訊號傳送至一電腦裝置,以透過該電腦裝置根據該電子訊號產生該手指區域的該影像。
在一些實施例中,處理器140也可以被稱為控制器140。在一些實施例中,處理器140可以是例如中央處理單元(CPU)或另一可程式化通用或特殊用途微處理器、數字訊號處理器(DSP)、可程式化控制器、特殊應用積體電路(ASIC)、可程式化邏輯器件(PLD)或其他類似組件或組件的組合。
圖5繪示本發明一實施例的手勢檢測裝置的概要方塊圖。
在一些實施例中,感測模組10包括光源發射元件110、機電元件120、光感測器130、運動感測器20、處理器140和無線通訊模組150。無線通訊模組150電性連接處理器140,光感測器130電性連接處理器140,光源發射元件110電性連接處理器140,機電元件120電性連接處理器140,運動感測器20電性連接處理器140。
在一些實施例中,由於手勢檢測裝置1固定於使用者的手掌上,因此使用者的手掌上的手指區域與手勢檢測裝置1的相對位置是固定的。進一步來說,可以在檢測區域中定義出使用者的拇指區域、食指區域、中指區域、無名指區域及小指區域,以利後續的辨識與手勢檢測。
在一些實施例中,光源發射元件110用以發射光束。請同時參考圖1,光源發射元件110用以從至少一開孔5發射光束。在一些實施例中,光源發射元件110可以例如包括紅外線雷射發射器。紅外線雷射發射器用以發射紅外線雷射光束。然而,本發明並不限於光源發射元件110的種類。
在一些實施例中,機電元件120用以控制光束朝向檢測區域發射,檢測區域包括手指區域。其中,手指區域包括使用者的拇指區域、食指區域、中指區域、無名指區域及小指區域的至少其中一個。進一步來說,機電元件120用以控制光束掃描檢測區域,其中檢測區域包括手指區域。
在一些實施例中,機電元件120用以控制光束掃描檢測區域,其中可以進一步將檢測區域劃分為多個座標點。機電元件120會控制光束掃描檢測區域中的各座標點。
在一些實施例中,機電元件120更包括微機電系統(Micro-Electro-Mechanical System,MEMS)鏡122,用以反射光源發射元件110發射的光束並調整光束的方向。其中,被壓電效應(Piezoelectric effect)所驅動的微機電系統(MEMS)鏡122可以用來調整調整光束的方向。
請同時參考圖3。在一些實施例中,光束的反射方向可以包括在檢測區域中由左至右和由上往下掃描。在一些實施例中,光束的反射方向可以包括在檢測區域中由右至左和由上往下掃描。在一些實施例中,光束的反射方向可以包括在檢測區域中從中心向外擴散掃描的圓圈路徑。在一些實施例中,光束的反射方向可以包括在檢測區域中由外向中心擴散掃描的圓圈路徑。
在一些實施例中,光感測器130用以接收光源發射元件110發射的光束對應的反射光。進一步來說,光感測器130接收光束對應的反射光包括光束照射於手指後對應的反射光、或是光束照射於檢測區域中不包含手指的對應的反射光。其中,光感測器130電性連接處理器140。
在一些實施例中,光感測器130用以接收光源發射元件110發射的光束對應的反射光,並根據反射光產生電子訊號。接著,處理器140根據電子訊號產生手指區域的影像,並且基於影像判斷手指的姿勢。。
在一些實施例中,光感測器130用以接收光源發射元件110發射的光束對應的座標點的反射光,並根據座標點的反射光產生座標點的電子訊號。接著,處理器140根據檢測區域中多個座標點的電子訊號產生手指區域的影像。
在一些實施例中,當手指距離感測模組10較近,例如手指向手掌彎曲或是手指呈現握緊拳頭時,則光感測器130接收到的光束對應的反射光的能量較強。進一步來說,光感測器130根據能量較強的反射光產生較強的電子訊號,其中,較強的電子訊號在手指區域的影像較為接近白色。然而,當手指距離感測模組10較遠,例如手指與手掌的角度呈現180°時,則光感測器130接收到的光束對應的反射光的能量較弱。進一步來說,光感測器130根據能量較弱的反射光產生較弱的電子訊號,其中,較弱的電子訊號在手指區域的影像較為接近黑色。因此,處理器140可以根據電子訊號產生手指區域的影像,其中,手指區域的影像也就呈現出手指的姿勢。
圖6A、6B、6B、6D繪示本發明一實施例的手指區域的影像的示意圖。
請參考圖6A。在一些實施例中,當處理器140接收到光感測器130產生的電子訊號時可以根據電子訊號產生手指區域的影像。當電子訊號為食指區域沒有反射光能量,其餘四指皆有反射光能量,處理器140可以判斷手指區域的影像或是手指的姿勢為食指指點(Point)。請參考圖6B。在一些實施例中,當處理器140接收到光感測器130產生的電子訊號時時可以根據電子訊號產生手指區域的影像。當電子訊號為五根手指頭皆沒有反射光能量,則處理器140可以判斷手指區域的影像或是手指的姿勢為手指和手掌的角度為180°,且手指張開(Open)。請參考圖6C。在一些實施例中,當處理器140接收到光感測器130產生的電子訊號時時可以根據該電子訊號產生手指區域的影像。當電子訊號為拇指區域和中指區域的反射光能量大於其餘三指的反射光能量,則處理器140可以判斷手指區域的影像或是手指的姿勢為按壓中指(Click Middle Finger)。請參考圖6D。在一些實施例中,當處理器140接收到光感測器130產生的電子訊號時時可以根據電子訊號產生手指區域的影像。當電子訊號只有在感測區域的某一區域內觀察到集中的高能量的反射光能量,則處理器140可以判斷手指區域的影像或是手指的姿勢為拳頭(Fist)。
圖7繪示本發明一實施例的運動感測器的概要方塊圖。
在一些實施例中,運動感測器20用以取得該手掌的姿態的數據。姿態的數據包括手掌的朝向數據、速度數據以及加速度數據的至少其中之一。
在一些實施例中,運動感測器20包括加速度計210、陀螺儀220。運動感測器20可以獲得手掌的六自由度的資訊(Six Degrees Of Freedom,6DoF)。加速度計210包括用以測量手掌移動時的加速度。例如手掌的移動方向或速度的變化。陀螺儀220包括用以測量手掌的移動方向或旋轉速度變化等。
在一些實施例中,運動感測器20包括加速度計210、陀螺儀220和磁感應器230。磁感應器230包括用以感應手掌移動時周圍磁場環境的變化,進一步來說,包括加速度計210、陀螺儀220和磁感應器230的運動感測器20可以用來獲得手掌的九自由度的資訊(Nine Degrees Of Freedom,9DoF)。
在一些實施例中,運動感測器20用以取得手掌的姿態數據。其中,手掌的姿態數據可以包括手掌相對於某個參考坐標系的位置的數據、方向的數據和旋轉角度的數據。進一步來說,手掌的姿態數據包括手掌在3D空間中的位置和方向的數據,以及手掌的移動方向可以包括向上、向下、向左、向右的數據等。
請同時參考圖5。在一些實施例中,感測模組10用以取得手指區域的影像,其中,感測模組10中的運動感測器20用以取得手掌的姿態的數據。在一些實施例中,感測模組10中的機電元件120用以控制光束掃描檢測區域,進一步來說,檢測區域包括手指區域。而光感測器130用以接收光源發射元件110發射的光束對應的反射光,並根據反射光產生電子訊號。處理器140基於手指區域的電子訊號以及手掌的姿態數據,判斷手勢資訊。進一步來說,手勢資訊包括靜態手勢資訊和動態手勢資訊,例如手掌的姿態特徵、手指的彎曲特徵、手指的接觸條件特徵、手指的相對位置條件特徵、手指的運動範圍大小、手掌或手指的運動速度、手掌的運動位置、手掌的運動方向、手掌的運動開始點或手掌的運動結束點。
在一些實施例中,靜態手勢資訊是手處於固定位置時所做的手勢,通常用來傳達特定的訊息或命令。例如,「豎起大拇指」手勢表示批准或同意,而手掌朝外的「停止」手勢表示需要停止或暫停。動態手勢資訊涉及用手進行的移動或動作來傳達訊息或命令。例如,揮手(用於表示你好或再見)或指向手勢(用於引導注意力或指示特定物體或位置)。
在一些實施例中,感測模組10中的機電元件120用以控制光束掃描檢測區域,,進一步來說,檢測區域包括手指區域。而光感測器130用以接收光源發射元件110發射的光束對應的反射光,並根據反射光產生電子訊號。運動感測器20用以取得該手掌的姿態的數據。感測模組10更可以包括儲存模組(未呈現於圖式中),儲存模組儲存一手勢檢測演算法。其中,手勢檢測演算法包括資料比對演算法或是影像分析演算法。處理器140用以基於手勢檢測演算法、手指區域的影像以及手掌的姿態數據,判斷手勢資訊。
在一實施例中,處理器140用以基於手勢檢測演算法判斷和比對手指區域中的影像是否位於使用者的拇指區域、食指區域、中指區域、無名指區域及小指區域的至少其中之一,並根據手指區域中可能落入使用者的拇指區域、食指區域、中指區域、無名指區域及小指區域的影像來判斷使用者的拇指、食指、中指、無名指及小指的手指姿勢。在一實施例中,儲存模組更可以包括機器學習模型。處理器140可以基於機器學習模型和手指區域中的影像來判斷手指姿勢。
圖8繪示本發明一實施例的手勢檢測方法的流程圖。在一些實施例中,圖8的手勢檢測方法適用於手勢檢測裝置1,因此以下將搭配手勢檢測裝置1的各元件來對本發明實施例的手勢檢測方法進行說明。然而必須說明的是,本發明並不限制手勢檢測方法所應用的裝置。
請同時參閱圖5。在一些實施例中,手勢檢測裝置1包括影像感測裝置10和運動感測器20。其中,影像感測裝置10更包括光源110、機電系統120和光感測器130。
請參閱圖8,在步驟300中,利用光源發射元件110發射光束。
在一些實施例中,感測模組10中的光源發射元件110可用以發射光束。在一些實施例中,光源發射元件110可以例如包括紅外線雷射發射器。
請繼續參閱圖8,在步驟302中,利用機電元件控制光束朝向檢測區域發射。
在一些實施例中,由於手勢檢測裝置1固定於使用者的手掌上,因此使用者的手掌上的手指區域與手勢檢測裝置1的相對位置是固定的。進一步來說,可以在手指區域中定義出使用者的拇指區域、食指區域、中指區域、無名指區域及小指區域。
在一些實施例中,機電元件120用以控制光束朝向檢測區域發射,其中檢測區域可以劃分為多個座標點。機電元件120會控制光束掃描檢測區域中的各座標點。
在一些實施例中,其中機電元件120包括微機電系統(Micro-Electro-Mechanical System,MEMS)鏡122,並且機電元件120控制光束朝向檢測區域發射。也就是說,機電元件120會控制光束掃描檢測區域。檢測區域包括手指區域,其中,手指區域包括含使用者的拇指區域、食指區域、中指區域、無名指區域及小指區域的至少其中一個。
在一些實施例中,機電元件120控制MEMS鏡122以調整光束的反射方向。其中,被壓電效應(Piezoelectric effect)所驅動的微機電系統(MEMS)鏡122可以用來調整調整光束的方向。
在一些實施例中,光束的反射方向可以包括在檢測區域中由左至右和由上往下掃描。在一些實施例中,光束的反射方向可以包括在檢測區域中由右至左和由上往下掃描。在一些實施例中,光束的反射方向可以包括在檢測區域中從中心向外擴散掃描的圓圈路徑。在一些實施例中,光束的反射方向可以包括在檢測區域中由外向中心擴散掃描的圓圈路徑。
請繼續參閱圖8,在步驟304中,利用光感測器接收光束對應的反射光,並根據反射光產生電子訊號。
在一些實施例中,光感測器130用以接收光源發射元件110發射的光束對應的反射光。進一步來說,光感測器130接收光束對應的反射光包括光束照射於手指後對應的反射光、或是光束照射於檢測區域中不包含手指的對應的反射光。
請繼續參閱圖8,在步驟306中,根據電子訊號產生手指區域的影像。
在一些實施例中,處理器140會根據光感測器130所偵測到的反射光產生手指區域的影像。
在一些實施例中,光感測器130用以接收光源發射元件110發射的光束對應的反射光,並根據反射光產生電子訊號。接著,處理器140可以根據電子訊號產生手指區域的影像,並且基於影像判斷手指的姿勢。
在一些實施例中,光感測器130用以接收光源發射元件110發射的光束對應的座標點的反射光,並根據座標點的反射光產生座標點的電子訊號。接著,處理器140根據檢測區域中多個座標點的電子訊號產生手指區域的影像。
在一些實施例中,當手指距離感測模組10較近,例如手指向手掌彎曲或是手指呈現握緊拳頭時,則光感測器130接收到的光束對應的反射光的能量較強。進一步來說,光感測器130根據能量較強的反射光產生較強的電子訊號,其中,較強的電子訊號在手指區域的影像較為接近白色。然而,當手指距離感測模組10較遠,例如手指與手掌的角度呈現180°時,則光感測器130接收到的光束對應的反射光的能量較弱。進一步來說,光感測器130根據能量較弱的反射光產生較弱的電子訊號,其中,較弱的電子訊號在手指區域的影像較為接近黑色。因此,處理器140可以根據電子訊號產生手指區域的影像,其中,手指區域的影像也就是手指的姿勢。
在一些實施例中,當處理器140接收到光感測器130產生的電子訊號時,電子訊號為食指區域沒有反射光能量,其餘四指皆有反射光能量,則處理器140可以判斷手指區域的影像或是手指的姿勢為食指指點(Point)。在一些實施例中,當處理器140接收到光感測器130產生的電子訊號時,電子訊號為五根手指頭皆沒有反射光能量,則處理器140可以判斷手指區域的影像或是手指的姿勢為手指和手掌的角度為180°,且手指張開(Open)。在一些實施例中,當處理器140接收到光感測器130產生的電子訊號時,電子訊號為拇指區域和中指區域的反射光能量大於其餘三指的反射光能量,則處理器140可以判斷手指區域的影像或是手指的姿勢為按壓中指(Click Middle Finger)。在一些實施例中,當處理器140接收到光感測器130產生的電子訊號時,電子訊號只有在感測區域的某一區域內觀察到集中的高能量的反射光能量,則處理器140可以判斷手指區域的影像或是手指的姿勢為拳頭(Fist)。
在一些實施例中,手勢檢測裝置1更包括運動感測器20。手勢檢測裝置的手勢檢測方法更包括利用運動感測器20取得手掌的姿態數據。姿態的數據包括手掌的朝向數據、速度數據以及加速度數據的至少其中之一。
在一些實施例中。運動感測器20包括加速度計210、陀螺儀220。運動感測器20可以獲得手掌的六自由度的資訊(Six Degrees Of Freedom,6DoF)。加速度計210包括用以測量手掌移動時的加速度。例如手掌的移動方向或速度的變化。陀螺儀220包括用以測量手掌的移動方向或旋轉速度變化等。
在一些實施例中,運動感測器20包括加速度計210、陀螺儀220和磁感應器230。磁感應器230包括用以感應手掌移動時周圍磁場環境的變化,進一步來說,包括加速度計210、陀螺儀220和磁感應器230的運動感測器20可以用來獲得手掌的九自由度的資訊(Nine Degrees Of Freedom,9DoF)。
在一些實施例中,手勢檢測裝置的手勢檢測方法更包括基於手指區域的影像以及手掌的姿態,判斷手勢資訊。
請同時參考圖5。在一些實施例中,感測模組10用以取得手指區域的影像,其中,感測模組10中的運動感測器20用以取得手掌的姿態的數據。在一些實施例中,感測模組10中的機電元件120用以控制光束掃描檢測區域,進一步來說,檢測區域包括手指區域。而光感測器130用以接收光源發射元件110發射的光束對應的反射光,並根據反射光產生電子訊號。處理器140基於手指區域的電子訊號以及手掌的姿態的數據,判斷手勢資訊。進一步來說,手勢資訊包括靜態手勢資訊和動態手勢資訊,例如手掌姿態特徵、手指彎曲特徵、手指接觸條件特徵、手指相對位置條件特徵、手指或手掌運動範圍大小、手掌或手指運動速度、手掌運動位置、手掌運動方向、手掌運動開始點或手掌運動結束點。
在一些實施例中,靜態手勢資訊是手處於固定位置時所做的手勢,通常用來傳達特定的訊息或命令。例如,「豎起大拇指」的手勢表示批准或同意,而手掌朝外的「停止」的手勢表示需要停止或暫停。動態手勢資訊涉及用手進行的移動或動作來傳達訊息或命令。例如,揮手(用於表示你好或再見)或指向手勢(用於引導注意力或指示特定物體或位置)。
在一些實施例中,感測模組10中的機電元件120用以控制光束掃描檢測區域,而光感測器130用以接收光源發射元件110發射的光束對應的反射光,並根據反射光產生電子訊號。運動感測器20用以取得手掌的姿態的數據。感測模組10更可以包括儲存模組(未呈現於圖式中),儲存模組儲存一手勢檢測演算法。其中,手勢檢測演算法包括資料比對演算法或是影像分析演算法。處理器140用以基於手勢檢測演算法、手指區域的影像以及手掌的姿態數據,判斷手勢資訊。
在一實施例中,處理器140用以基於手勢檢測演算法判斷和比對手指區域中的影像是否位於使用者的拇指區域、食指區域、中指區域、無名指區域及小指區域的至少其中之一,並根據手指區域中可能落入使用者的拇指區域、食指區域、中指區域、無名指區域及小指區域的影像來判斷使用者的拇指、食指、中指、無名指及小指的手指姿勢。在一實施例中,儲存模組更可以包括機器學習模型。處理器140可以基於機器學習模型和手指區域中的影像來判斷手指姿勢。
綜上所述,本發明實施例所提出的用於穿戴於手掌的手勢檢測裝置及方法,通過手勢檢測裝置來獲得手指區域的影像以及手掌的姿態。據此,獲得更準確的手勢資訊。
根據以上描述,明顯地在不脫離這些概念的範圍的情況下,可使用各種技術來實現本申請中所描述的概念。此外,雖然已經具體參考某些實施方式而描述了概念,但本領域具有通常知識者將認識到,可在形式和細節上作改變而不偏離這些概念的範圍。如此,所描述的實施方式在所有方面都會被認為是說明性的而非限制性的。而且,應該理解本申請並不限於上述的特定實施方式,而是在不脫離本發明範圍的情況下可進行許多重新安排、修改和替換。
1:手勢檢測裝置
2:殼體
3:底部
4:側表面
5:開孔
6:穿戴部
7:上表面
10:感測模組
110:光源發射元件
120:機電元件
130:光感測器
140:處理器
150:無線通訊模組
20:運動感測器
210:加速度計
220:陀螺儀
S300、S302、S304、S306:手勢檢測方法的步驟
圖1繪示本發明一實施例的手勢檢測裝置的示意圖。
圖2繪示本發明一實施例的手勢檢測裝置的示意圖。
圖3繪示本發明一實施例的穿戴於使用者手掌上的手勢檢測裝置的示意圖。
圖4繪示本發明一實施例的手勢檢測裝置的概要方塊圖。
圖5繪示本發明一實施例的手勢檢測裝置的概要方塊圖。
圖6A、6B、6C、6D繪示本發明一實施例的手指區域的影像的示意圖。
圖7繪示本發明一實施例的運動感測器的概要方塊圖。
圖8繪示本發明一實施例的手勢檢測方法的流程圖。
10:感測模組
110:光源發射元件
120:機電元件
130:光感測器
140:處理器
150:無線通訊模組
Claims (8)
- 一種手勢檢測裝置,包括: 殼體,具有一底部與至少一側表面,其中該側表面具有至少一開孔; 穿戴部,固定於該殼體的該底部,用於穿戴於使用者的手掌上;及 感測模組,設置在該殼體內,且該感測模組包括: 光源發射元件,用以從該至少一開孔發射光束; 機電元件,包括被壓電效應(Piezoelectric effect)所驅動的微機電系統(Micro-Electro-Mechanical System,MEMS)鏡,用以反射該光束,以調整該光束的方向,使得該光束朝向檢測區域發射,該檢測區域包括該手掌上的手指區域;以及 光感測器,用以從該至少一開孔接收來自該手指區域且對應該光束的反射光,並根據該反射光產生電子訊號, 其中該電子訊號被用以產生該手指區域的影像。
- 如請求項1所述的手勢檢測裝置,其中該感測模組更包括: 處理器,用以根據該電子訊號產生該手指區域的該影像;以及 無線通訊模組,電性連接該處理器,用以將該手指區域的該影像傳送至一電腦裝置。
- 如請求項1所述的手勢檢測裝置,其中該感測模組更包括: 處理器,用以接收該電子訊號;以及 無線通訊模組,電性連接該處理器,用以將該電子訊號傳送至一電腦裝置,以透過該電腦裝置根據該電子訊號產生該手指區域的該影像。
- 如請求項1所述的手勢檢測裝置,更包括: 運動感測器,用以提供該手掌的姿態數據,其中該姿態數據包括該手掌的朝向數據、速度數據以及加速度數據的至少其中之一;以及 處理器,耦接該運動感測器,其中該處理器更用以基於該手指區域的該影像以及該手掌的該姿態數據,判斷手勢資訊。
- 一種手勢檢測方法,適用於穿戴於使用者的手掌的手勢檢測裝置,該手勢檢測裝置包括光源發射元件、機電元件以及光感測器,其中該機電元件包括被壓電效應(Piezoelectric effect)所驅動的微機電系統(Micro-Electro-Mechanical System,MEMS)鏡,且該手勢檢測方法包括: 利用該光源發射元件發射光束; 利用該機電元件的該微機電系統鏡反射該光束,以調整該光束的方向,使得該光束朝向檢測區域發射,其中該檢測區域包括該手掌上的手指區域; 利用該光感測器接收來自該手指區域且對應該光束的反射光,並根據該反射光產生電子訊號;以及 根據該電子訊號產生該手指區域的影像。
- 如請求項5所述的手勢檢測方法,更包括: 基於該影像判斷手指姿勢。
- 如請求項5所述的手勢檢測方法,其中該手勢檢測裝置更包括運動感測器,該手勢檢測方法更包括: 利用該運動感測器取得該手掌的姿態數據,該姿態數據包括該手掌的朝向數據、速度數據以及加速度數據的至少其中之一。
- 如請求項7所述的手勢檢測方法,更包括: 基於該手指區域的該影像以及該手掌的該姿態數據,判斷手勢資訊。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202363458329P | 2023-04-10 | 2023-04-10 | |
| US63/458329 | 2023-04-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202445523A TW202445523A (zh) | 2024-11-16 |
| TWI920552B true TWI920552B (zh) | 2026-04-01 |
Family
ID=
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201727439A (zh) | 2015-10-30 | 2017-08-01 | 傲思丹度科技公司 | 用於身體手勢介面及投影顯示器之系統及方法 |
| TWM557866U (zh) | 2017-11-29 | 2018-04-01 | 5Voxel Co Ltd | 手勢辨識裝置 |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201727439A (zh) | 2015-10-30 | 2017-08-01 | 傲思丹度科技公司 | 用於身體手勢介面及投影顯示器之系統及方法 |
| TWM557866U (zh) | 2017-11-29 | 2018-04-01 | 5Voxel Co Ltd | 手勢辨識裝置 |
Non-Patent Citations (1)
| Title |
|---|
| 網路文獻 shop.playrobot網站於2023年3月23日發布之標題為「技術-淺談TOF 3D攝影機的原理」,其網址為:https://shop.playrobot.com/blog/posts/depthcamera-2?srsltid=AfmBOopxgeT1n_orUf6AfAabQA4Fsm5dOoKHsObsMi1kSKER9oi49YiG。 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8971565B2 (en) | Human interface electronic device | |
| US10048779B2 (en) | Virtual hand based on combined data | |
| CN112105426B (zh) | 光学位置跟踪装置的电源管理 | |
| EP2834723B1 (en) | Touch sensitive user interface | |
| CN103970265B (zh) | 具有触觉反馈的增强现实用户接口 | |
| US11169601B2 (en) | Methods and systems for determining teleoperating user intent via eye tracking | |
| KR102335132B1 (ko) | 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법 | |
| US20180373332A1 (en) | Fiducial rings in virtual reality | |
| US20170345218A1 (en) | Systems and method of interacting with a virtual object | |
| CN117590582A (zh) | 头戴式显示设备及其操作方法 | |
| WO2013035554A1 (ja) | 入力体の動き検出方法およびそれを用いた入力デバイス | |
| US9911235B2 (en) | Spatial interaction in augmented reality | |
| TWI559174B (zh) | 以手勢爲基礎之三維影像操控技術 | |
| KR20150103278A (ko) | 다수의 지각 감지 입력의 상호작용 | |
| CN103150009A (zh) | 信息处理装置、信息处理方法和程序 | |
| TWI582676B (zh) | 物件指示符顯示技術 | |
| TW201415291A (zh) | 基於物件追蹤的手勢辨識方法及系統 | |
| US20240281070A1 (en) | Simultaneous Controller and Touch Interactions | |
| JP2004094653A (ja) | 情報入力システム | |
| US20180032142A1 (en) | Information processing apparatus, control method thereof, and storage medium | |
| JP7667961B2 (ja) | 検出装置及び検出方法 | |
| JP7499945B2 (ja) | ウェアラブル端末装置、プログラムおよび表示方法 | |
| TW202013151A (zh) | 虛實影像的互動方法及裝置 | |
| US20240345251A1 (en) | Device and method for hand gesture detection | |
| TWI788607B (zh) | 人機交互系統和人機交互方法 |