TWI724478B - 手指姿態偵測裝置、控制總成與校正方法 - Google Patents

手指姿態偵測裝置、控制總成與校正方法 Download PDF

Info

Publication number
TWI724478B
TWI724478B TW108126906A TW108126906A TWI724478B TW I724478 B TWI724478 B TW I724478B TW 108126906 A TW108126906 A TW 108126906A TW 108126906 A TW108126906 A TW 108126906A TW I724478 B TWI724478 B TW I724478B
Authority
TW
Taiwan
Prior art keywords
finger
detection device
wearing
gesture detection
sensors
Prior art date
Application number
TW108126906A
Other languages
English (en)
Other versions
TW202008145A (zh
Inventor
吳健民
黎煥欣
張立勳
謝天嘉
林子皓
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202008145A publication Critical patent/TW202008145A/zh
Application granted granted Critical
Publication of TWI724478B publication Critical patent/TWI724478B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0331Finger worn pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Abstract

一種手指姿態偵測裝置,適用於一控制手把。控制手把包括一握持部,適合被一手部所握持並且在三度空間中移動。手指姿態偵測裝置包括一第一穿戴部、多個第二穿戴部以及多個第一感測器。第一穿戴部適於可拆卸地包圍控制手把的握持部。握持部連接第一穿戴部時,握持部被定位在第一穿戴部的一側。第二穿戴部各自獨立地連接至第一穿戴部。當一力量施加在其中一個第二穿戴部時,相對應的第二穿戴部朝握持部移動。第一感測器分別配置於第二穿戴部,用於偵測第二穿戴部相對於握持部的位置或移動。一種控制總成與一種校正方法亦被提出。

Description

手指姿態偵測裝置、控制總成與校正方法
本揭露是有關於一種手指姿態偵測裝置與方法,且特別是有關於一種適用於虛擬實境中的手指姿態偵測裝置、控制總成與校正方法。
虛擬實境(Virtual Reality, VR)技術越來越普及,其輸入裝置較為常見的是控制手把。然而,傳統的控制手把僅能提供點擊物件或選擇物件等簡單的輸入功能,而無法偵測到手指的彎曲程度,所以無法應用於彈奏鋼琴或敲擊鍵盤等需要應用到手指姿態的虛擬環境。
本揭露提供一種手指姿態偵測裝置,能夠偵測使用者的手指狀態。
本揭露的手指姿態偵測裝置,適用於一控制手把。控制手把包括一握持部,適合被一手部所握持並且在三度空間中移動。手指姿態偵測裝置包括一第一穿戴部、多個第二穿戴部以及多個第一感測器。第一穿戴部適於可拆卸地包圍控制手把的握持部。握持部連接第一穿戴部時,握持部被定位在第一穿戴部的一側。第二穿戴部各自獨立地連接至第一穿戴部。當一力量施加在其中一個第二穿戴部時,相對應的第二穿戴部朝握持部移動。第一感測器分別配置於第二穿戴部,用於偵測第二穿戴部相對於握持部的位置或移動。
在本揭露的一實施例中,上述的多個第二穿戴部分別被穿戴在手部的多個手指。各手指包括依序遠離一指尖的一第一指節、一第二指節以及一第三指節。且第二穿戴部被穿戴於第三指節。
在本揭露的一實施例中,上述的控制手把包括多個感應元件。感應元件配置於握持部,且感應元件與第一感測器與彼此感應以產生信號。
在本揭露的一實施例中,上述的感應元件包括磁鐵,且感應元件交替地以S磁極或N磁極分別朝向第一感測器。
在本揭露的一實施例中,上述的手指姿態偵測裝置更包括一第二感應元件。第二感應元件朝第一感測器延伸且配置於第一穿戴部,以與第一感測器彼此感應以產生信號。第二穿戴部設置在第二感應元件與握持部之間。
在本揭露的一實施例中,上述的手指姿態偵測裝置更包括控制模組以及第二感測器。控制模組配置於第一穿戴部。第一感測器感測到的信號搭配第二感測器感測到的信號計算出各個第一感測器相對於握持部的位置。
在本揭露的一實施例中,當第一感測器偵測到第二感應元件,第一感測器偵測到的信號被校正。
在本揭露的一實施例中,上述的第一感測器包括一慣性測量單元與一元件感測單元。當元件感測單元偵測到第二感應元件,慣性測量單元偵測到的對應到第二穿戴部與握持部的相對應位置的信號被校正。
本揭露的手指姿態偵測裝置,適用於一控制手把。控制手把包括一握持部,適合被一手部所握持並且在三度空間中移動。握持部設置有多個感測器。手指姿態偵測裝置包括一第一穿戴部、多個第二穿戴部以及多個感應元件。第一穿戴部適於可拆卸地包圍控制手把的握持部。握持部連接第一穿戴部時,握持部被定位在第一穿戴部的一側。第二穿戴部各自獨立地連接至第一穿戴部。當一力量施加在其中一個第二穿戴部時,相對應的第二穿戴部朝握持部移動。感應元件分別配置於第二穿戴部,提供對應感應元件的感測器偵測第二穿戴部相對於握持部的位置或移動。
在本揭露的一實施例中,第二穿戴部分別被穿戴在手部的多個手指。各手指包括依序遠離一指尖的一第一指節、一第二指節以及一第三指節。第二穿戴部被穿戴於第三指節。
在本揭露的一實施例中,感應元件包括磁鐵。感應元件交替地以S磁極或N磁極分別朝向握持部。
本揭露的控制總成應用於虛擬實境且包括控制手把以及上述的手指姿態偵測裝置。
在本揭露的一實施例中,上述的控制手把包括一感應元件,且感應元件配置於握持部。
本揭露的校正方法適用於一虛擬實境系統。虛擬實境系統將一使用者的一真實手部姿態映射至一虛擬手部姿態。虛擬手部姿態包括多個虛擬手指姿態及一虛擬手掌姿態。虛擬實境系統包括用於被使用者的一手部握持的一控制手把、可拆卸地連接控制手把且被穿戴於手部的一手指姿態偵測裝置以及一電腦。手指姿態偵測裝置包括多個第一感測器以及一第二感測器。第一感測器分別位於手部的多個手指。第二感測器位於手部的一手掌。第一感測器包括一慣性測量單元(Inertial Measurement Unit,IMU)及一元件感測單元。第二感測器包括一慣性測量單元及一元件感測單元。校正方法包括以下步驟。通過電腦將各第一感測器的即時偵測結果乘以一第一旋轉矩陣及一第二旋轉矩陣,以計算出各虛擬手指姿態。第一旋轉矩陣為各第一感測器的座標系與第二感測器的座標系之間的轉換矩陣。第二旋轉矩陣為第二感測器的座標系與控制手把的座標系之間的轉換矩陣。通過電腦將控制手把的即時偵測結果直接作為虛擬手掌姿態。
在本揭露的一實施例中,上述的校正方法更包括當各第一感測器的加速度計的即時讀值與第二感測器的加速度計的即時讀值之間的差值均小於一預設值,且相鄰的第一感測器的元件感測單元的即時讀值的差值均小於另一預設值時,通過電腦將虛擬手部姿態的虛擬手指姿態校正為手指相對於手掌伸直且併攏。
本揭露的校正方法適用於一虛擬實境系統。虛擬實境系統包括用於被一使用者的一手部握持的一控制手把、可拆卸地連接控制手把且被穿戴於手部的一手指姿態偵測裝置以及一電腦。此校正方法包括以下步驟。通過電腦依照手指姿態偵測裝置的初始偵測結果計算出使用者的手部的一手指相對於手部的一手掌的一實際彎曲範圍。實際彎曲範圍具有一上界及一下界。通過電腦依照實際彎曲範圍映射對應手指的一虛擬手指的一虛擬彎曲範圍。當依照手指姿態偵測裝置的即時偵測結果所計算出的手指的彎曲程度超過實際彎曲範圍的上界時,以超過的彎曲程度更新實際彎曲範圍的上界。當依照手指姿態偵測裝置的即時偵測結果所計算出的手指的彎曲程度超過實際彎曲範圍的下界時,以超過的彎曲程度更新實際彎曲範圍的下界。
基於上述,本揭露的手指姿態偵測裝置可藉由配置在第二穿戴部的第一感測器來偵測對應的手指的姿態,進而在虛擬實境中進行更複雜的輸入功能。本揭露的校正方法藉由第一感測器、第二感測器以及控制手把之間轉換,能夠通過電腦根據使用者的真實手部姿態即時校正虛擬手部姿態。此外,電腦能夠根據手指姿態偵測裝置的即時偵測結果更新手指的實際彎曲範圍的上界與下界,進而根據新的彎曲範圍推估並校正虛擬手部姿態。
為讓本揭露的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1A是本揭露的一實施例的一種手指姿態偵測裝置穿戴於使用者的手部的示意圖。圖1B是圖1A省略使用者的手部的示意圖。圖1C是圖1A的手指姿態偵測裝置穿戴於使用者的手部的平面示意圖。請參考圖1A、圖1B與圖1C,本實施例的手指姿態偵測裝置應用於虛擬實境系統。虛擬實境系統包括控制手把50以及一電腦。控制手把50,適於被穿戴在一使用者的一手部,且可通過有線或無線的方式與電腦連接,以與電腦互相傳遞信號。此外,虛擬實境系統還包括一頭戴式顯示器,其適於被穿戴在使用者的一頭部,且亦可通過有線或無線的方式與電腦連接,以與電腦互相傳遞信號。
在本實施例中,控制手把50包括一握持部52,適於被使用者的手部所握持並且在三度空間中移動。本實施例的手指姿態偵測裝置100包括一第一穿戴部110、多個第二穿戴部120以及多個第一感測器130。第一穿戴部110適於可拆卸地連接並包圍控制手把50的握持部52。當握持部52連接第一穿戴部110時,握持部52被定位在第一穿戴部110的一側。第二穿戴部120各自獨立地連接至第一穿戴部110。當一力量施加在其中一個第二穿戴部120時,相對應的第二穿戴部120朝握持部52移動。這些第一感測器130分別配置於這些第二穿戴部120,用於偵測這些第二穿戴部120相對於握持部52的位置或移動。當使用者穿戴本實施例的手指姿態偵測裝置100時,第一穿戴部110被定位在使用者的手掌,而這些第二穿戴部120分別被穿戴在使用者的多個手指。
圖2是手指的指節的示意圖。請參考圖1A與圖2,在本實施例中,每個手指包括依序遠離一指尖的一第一指節K1、一第二指節K2以及一第三指節K3。在本實施例中,這些第二穿戴部120分別被穿戴於多個手指,且對應每個手指的第三指節K3。
為更清楚說明本實施例的手指姿態偵測裝置100,圖1B省略繪示使用者的手部。請參考圖1A與圖1B,在本實施例中,第一感測器130包括一慣性測量單元(Inertial Measurement Unit,IMU)及一元件感測單元(例如電子羅盤)。在其他實施例中,第一感測器也可以包括彎曲感測器、拉伸感測器或磁性元件,本揭露對此不加以限制。
在本實施例中,第一感測器130配置在這些第二穿戴部120遠離握持部52的一側。也就是說,當使用者穿戴手指姿態偵測裝置100時,第一感測器130的位置分別對應個別手指的第三指節K3的外側。在使用者穿戴手指姿態偵測裝置100的過程中,第一感測器130可偵測各手指的第三指節K3的彎曲程度(姿態),透過手指關節運動的估算,可以推導出各手指的姿態(即推算第一指節K1以及第二指節K2的彎曲程度)。需說明的是,手指關節運動主要實施的原理在於,當手指從張開狀態向掌心方向彎曲時,各指節間的關節會分別向內旋轉,且各關節之間會以相同旋轉方向進行。個別指節的旋轉角度與總旋轉角度之間的關係,可透過統計方式獲得。藉由此統計結果,可以經由評估第三指節K3關節的旋轉量大小,來推算出第一指節K1以及第二指節K2的旋轉量。當然,在其他實施例中,第一感測器130也可以配置在第一指節K1或第二指節K2,並透過手指關節運動的估算,同樣可以推導出各手指的姿態。
在本實施例中,如圖1C所示,手指姿態偵測裝置100更包括一控制模組150及一第二感測器140。控制模組150配置於第一穿戴部110。第二感測器140包括一慣性測量單元(IMU)及一元件感測單元(例如電子羅盤),且第二感測器140配置於第一穿戴部110並電連接至控制模組150。第一感測器130感測到的信號搭配第二感測器140感測到的信號計算出各第一感測器130相對於握持部52的位置。
如圖1B所示,在本實施例中,控制手把50更可包括一第一感應元件54。第一感應元件54例如是電容感測器或壓力感測器,且配置於握持部52。在其他實施例中,第一感應元件也可以是霍爾感測器、磁性元件、近接感測器或微型超音波感測器,本揭露對此不加以限制。在本實施例中,第一感測器130與第一感應元件54彼此感應以產生信號。當第一感測器130包括慣性測量單元時,由於第一感測器130的慣性測量單元本身在操作過程中,會因為時間的累積而產生誤差,導致慣性測量單元的資料(即偵測結果)逐漸失真。在本實施例中,透過配置在控制手把50上的第一感應元件54,當使用者任一手指碰觸到控制手把50對應的位置(即第一感應元件54)上時,則自動校正手指上的第一感測器130的慣性測量單元,使第一感測器130的慣性測量單元可以被快速地重新定位校準,以避免因操作時間過長導致第一感測器130的慣性測量單元因累積誤差所產生的失真情況。此外,第一感應元件54除了可以用來即時校正慣性測量單元之外,亦可提供使用者更豐富的操作體驗,如按壓對應的第一感應元件54(例如壓力感測器)時,可以做為觸發另一事件的機制。
圖1D是圖1A的手指姿態偵測裝置與控制手把的組配示意圖。請參考圖1A與圖1D,控制手把50是另一種形式。手指姿態偵測裝置100包括符合控制手把50的握持部52的外型的一套體112,其可以與握持部52相套合。第一穿戴部110的兩端分別可撓性地連接至套體112,使得第一穿戴部110可通過套體112與握持部52之間的套合而可拆卸地連接至控制手把50。在此情況下,第一感應元件54(例如磁鐵、霍爾感測器、電容感測器或壓力感測器等)可改配置在套體112的內側。第一穿戴部110的一端以可調整長度的方式連接至套體112,以讓使用者的手掌能被綁定在手指姿態偵測裝置100的第一穿戴部與控制手把50的握持部52之間,達到使用者放手時控制手把50不會脫離手掌的狀態。將本實施例的手指姿態偵測裝置100應用於控制手把50,能夠擴充此控制手把50的手指偵測功能。
在本實施例中,如圖1D所示,第一穿戴部110的下端通過一彈性繩170及被彈性繩170所穿過的一可收緊機構171,讓使用者可依照其手掌大小來調節鬆緊度。可收緊機構171可包括一圓盤及具有容納此圓盤的一梯形通道的一元件。除此之外,第一穿戴部110的上端可依序通過一雙轉軸機構172及一可撓性元件173來連接至套體112。雙轉軸機構172提供了額外的旋轉機制(例如雙旋轉自由度),可以適應因使用者不同的抓握情況所形成的不同手掌角度,使得第一穿戴部110可以更加服貼在手掌背側的位置。除此之外,上述的組件配置也大幅提升了穿戴的舒適性以及穩固性,不會因為使用者動作過大導致大幅度的位置錯動。
在本實施例中,第一穿戴部110可用彈性材料製成。當使用者將對應的四指(除了大拇指以外的四指)穿戴進第二穿戴部120時,透過具彈性的第一穿戴部110可將控制手把50依附在手上,因而提供不易掉落的功效。在使用手指姿態偵測裝置100的過程中,使用者無需長時間緊握控制手把50,且手指可以自由地進行其他的工作,例如。當手機響起時,使用者不需放下控制手把50,亦能拿起手機來接聽電話,或是可以拿起其他物件,因而大幅增加使用者手部的自由度。此外,具彈性的這些第二穿戴部120可分別被固定在使用者的這些第三指節K3上,故可將致動器(未繪示)置入各第二穿戴部120內,以提供使用者不同手指的個別觸覺回饋感受(即只有與虛擬物件互動的手指,才會感受到對應的觸覺回饋)。再者,在其他實施例中,第二穿戴部120內也可嵌入其他感測器,例如PPG(心率感測器)等感測器。由於這些第二穿戴部120可長時間貼附在第三指節K3上,在第二穿戴部120內的感測器可以有效地偵測以及記錄使用者的生理資訊。
圖1E是用於包括圖1A的手指姿態偵測裝置的一虛擬實境系統的一種校正方法流程圖。此虛擬實境系統用於將使用者的一真實手部姿態(即使用者的即時手部姿態)映射至一虛擬手部姿態(即虛擬人物的即時手部姿態)。虛擬手部姿態包括多個虛擬手指姿態及一虛擬手掌姿態。虛擬手掌姿態是根據控制手把50的姿態來做依據,虛擬手指姿態是以個別手指上的第一感測器130(慣性測量單元)的姿態來做依據。請參考圖1A、1B與圖1E,圖1E所示的校正方法包括下列步驟。首先,電腦記錄起始同步位置的姿態與虛擬手部姿態(這些姿態是根據四元數(quaternion)所映射出來的姿態),並計算兩者之間的旋轉關係(即轉換矩陣)。由於控制手把50的姿態與第一感測器130的姿態間存在著一個旋轉關係,必須事先計算出此旋轉關係,以校正虛擬手部姿態。之後,掃描每個手指上所裝設的第一感測器130,並進行第一感測器130的座標對齊。對齊第一感測器130的目的是為了讓第一感測器130旋轉時的參考點相同,以統一每個第一感測器130的姿態相對關係。進入遊戲後,電腦會判斷是虛擬手掌姿態(對應控制手把的四元數)的更新或是虛擬手指姿態(對應IMU的四元數)的更新,並相應地計算出第一旋轉矩陣與第二旋轉矩陣。詳細來說,第一旋轉矩陣為個別第一感測器130的座標系與第二感測器140的座標系之間的轉換矩陣。第二旋轉矩陣為第二感測器140的座標系與控制手把50的座標系之間的轉換矩陣。當欲更新的姿態為非虛擬手掌時,即使用慣性測量單元的姿態來更新虛擬手指姿態,此時,電腦將各第一感測器130的即時偵測結果(即姿態矩陣)乘以第一旋轉矩陣及第二旋轉矩陣,以計算出各虛擬手指姿態。或是,當欲更新的姿態為虛擬手掌時,即使用控制手把的姿態直接作為虛擬手掌的姿態。接著,電腦會根據新的虛擬手指姿態以及虛擬手掌姿態(即使用者的真實手部姿態)更新整個虛擬手部姿態。
在更新虛擬手部姿態後,如圖1E所示,依照此校正方法,可通過電腦計算每個第一感測器130的加速度計的即時讀值與第二感測器140的加速度計值的差值,以及相鄰的兩個第一感測器130的電子羅盤即時讀值的差值。當各第一感測器130的加速度計的即時讀值與第二感測器140的加速度計的即時讀值之間的差值均小於一預設值,且相鄰的第一感測器130的電子羅盤的即時讀值的差值均小於另一預設值時,電腦會將虛擬手部姿態的虛擬手指姿態校正為手指相對於手掌伸直且併攏(如圖1C所示)。
藉由上述校正方法,可以避免因操作時間過長導致慣性測量單元因累積誤差所產生的虛擬手指失真的情況。另外,透過圖1E所示的校正方法,使用者在任何角度下只要將四指伸直,電腦就會根據真實手指姿態對虛擬手指姿態進行更新,以達到立即性的校正效果。
圖3是本揭露另一實施例的一種手指姿態偵測裝置適用於控制手把的示意圖。圖3所示的手指姿態偵測裝置100a中與圖1A、1B所示的手指姿態偵測裝置100類似,兩者的不同處在於,手指姿態偵測裝置100a的第一感測器130a例如是彎曲感測器或拉伸感測器。在本實施例中,利用可偵測彎曲或是拉伸的第一感測器130a,以感測各手指的第三指節K3的彎曲程度。利用第一感測器130a的特性,可以獲得第三指節K3的彎曲程度,隨後透過手指關節運動的估算,亦可以推得各手指的姿態。
圖4是本揭露另一實施例的一種手指姿態偵測裝置適用於控制手把的示意圖。圖4所示的手指姿態偵測裝置100b中與圖1A、1B所示的手指姿態偵測裝置100類似,兩者的不同處在於,本實施例的握持部52設置有多個感測器54b,手指姿態偵測裝置100b包括多個感應元件130b。這些感應元件130b分別配置在第二穿戴部120,且分別對應感應元件130b,用以偵測第二穿戴部120相對於握持部52的位置或移動。。當手指姿態偵測裝置100b穿戴於使用者的手部時,感應元件130b的位置對應各手指的第三指節K3的內側。在本實施例中,感測器54b例如是霍爾感測器(Hall Sensor)且內嵌於握持部52。感測器54b與感應元件130b彼此感應以產生信號。利用霍爾感測器可感測磁力強弱的特性,可得到各手指的彎曲程度與磁力感測強度之間的轉換關係。藉由所獲得的第三指節K3的彎曲程度,並透過手指關節運動的估算,進而推導出各手指的姿態。
進一步而言,第二穿戴部120內的多個感應元件130b交替排列。感應元件130b包括磁鐵,且這些感應元件130b交替地以S磁極或N磁極分別朝向握持部52,使相鄰的感應元件130b的磁鐵極性交錯。由於相鄰手指上的感應元件130b的磁力線方向相反,對應的感測器54b(霍爾感測器)感測到的信號產生正反向的差異,能夠避免手指位置錯位導致感測錯誤。如此一來,當手指因錯位而使非對應的霍爾感測器產生信號輸出時,系統可以快速判斷出不正確的手指靠近所產生的信號,進而達到除錯的功能。
圖5A是本揭露另一實施例的一種手指姿態偵測裝置穿戴於使用者的手部的示意圖。圖5A所示的手指姿態偵測裝置100c中與圖1A、1B所示的手指姿態偵測裝置100類似,兩者的不同處在於,本實施例的手指姿態偵測裝置100c更包括一片狀延伸部160及一第二感應元件140a。第二感應元件140a朝第一感測器130c延伸且配置於第一穿戴部110,以與第一感測器130c彼此感應以產生信號。第二穿戴部120設置在第二感應元件140a與握持部(未繪示於圖5A)之間。
在本實施例中,當使用者穿戴著手指姿態偵測裝置100c時,片狀延伸部160的位置靠近使用者的手背,且適於作為第一感測器130c的感測參考位置。第一感測器130c例如是霍爾感測器,第二感應元件140a例如是磁性元件且配置在片狀延伸部160。當第一感測器130c偵測到第二感應元件140a時,第一感測器130c偵測到的信號被校正。也就是說,當手指彎曲或伸直時,根據第三指節K3與片狀延伸部160之間的距離,第一感測器130c得到不同的數值。同時,搭配各手指的第三指節K3的彎曲程度,進而推估出第一指節K1與第二指節K2的彎曲程度,最後得到各手指的姿態。在其他實施例中,第一感測器也可以是近接感測器(Proximity Sensor)或微型超音波感測器,利用光反射或超音波等方式偵測第一感測器與第二感測器之間的距離,來獲得各手指與參考位置之間的距離關係,進而偵測各手指的彎曲姿態。
在其他實施例中,第一感測器可包括一慣性測量單元與一元件感測單元,當元件感測單元偵測到第二感應元件時,慣性測量單元偵測到的對應到第二穿戴部與握持部的相對應位置的信號被校正。
圖5B是用於包括圖5A的手指姿態偵測裝置的一虛擬實境系統的一種校正方法流程圖。請參考圖5A及圖5B,此校正方法包括下列步驟。首先,通過虛擬實境系統的電腦,依照第一感測器130c的初始偵測結果(例如磁力值、電阻值、電容值或其他數據等)計算出使用者的手指相對於手掌的一實際彎曲範圍(例如角度範圍),其中實際彎曲範圍具有一上界(例如最大角度值)及一下界(例如最小角度值)。此處,上界是第一感測器130c最靠近片狀延伸部160的情況下所感測到的最大值(或最小值),下界是指第一感測器130c最遠離片狀延伸部160的情況下所感測到的最小值(或最大值)。接著,電腦依照實際彎曲範圍映射對應虛擬手指的虛擬彎曲範圍。進入遊戲後,根據使用者與虛擬物件之間的互動,電腦會不斷地記錄每根手指所偵測到的即時偵測結果(例如磁力值、電阻值、電容值或其他數據等)。當依照即時偵測結果所計算出的手指的彎曲程度超過實際彎曲範圍的上界時,以超過的彎曲程度更新實際彎曲範圍的上界。當依照即時偵測結果所計算出的手指的彎曲程度超過實際彎曲範圍的下界時,以超過的彎曲程度更新實際彎曲範圍的下界。接著,電腦將根據更新後的實際彎曲範圍的上界與下界作為手指彎曲姿態的推估範圍,進而同步校正虛擬手指姿態。
藉由圖5B所示的校正方法,可以針對不同人、不同手型以及不同的抓握方式,建立出不同的偵測範圍,進而更精確地推估並校正虛擬實境內的虛擬手指姿態。
圖6是本揭露另一實施例的一種手指姿態偵測裝置適用於控制手把的示意圖。圖6所示的手指姿態偵測裝置100d中與圖5A所示的手指姿態偵測裝置100c類似,兩者的不同處在於,本實施例的手指姿態偵測裝置100d省略了片狀延伸部160。第一感測器130d例如是霍爾感測器,配置在第二穿戴部120靠近握持部52的一側,也就是說,當使用者穿戴本實施例的手指姿態偵測裝置100d時,第一感測器130d對應各手指的內側。
在本實施例中,以第一感應元件54作為第一感測器130d的感測參考位置,當手指彎曲或伸直時,第一感測器130d根據與包括磁性元件的第一感應元件54之間的距離獲得對應的感測數值。同時,根據各手指關節的彎曲運動關係,進而由第三指節K3的彎曲程度推導出第一指節K1與第二指節K2的彎曲程度,最後得到各手指的姿態。
綜上所述,當本揭露的手指姿態偵測裝置穿戴於使用者的手部時,第一感測器的位置對應使用者的手指的第三指節。因此,第一感測器可偵測各手指的第三指節的姿態,並透過手指關節運動的估算,推導出各手指的姿態。藉由本揭露的手指姿態偵測裝置與控制手把的整合,能夠偵測出各手指的彎曲程度及姿態。據此,使用者能夠在虛擬實境中進行更複雜的輸入功能,進而帶出更多元的虛擬實境互動,並讓使用者以更自然的方式進行遊戲。
本揭露的校正方法能夠改善慣性測量單元因長時間使用下的所產生的累積誤差,使用者僅需將四根手指同時伸直並維持一小段時間,電腦即可以真實手指姿態更新虛擬手指姿態,達到立即校正的效果。
此外,本揭露的校正方法藉由電腦根據即時偵測結果不斷更新手指相對手掌的的實際彎曲範圍的上界與下界,以對虛擬手指姿態進行校正。此校正方法能夠針對不同使用者的不同手型或是不同的抓握方式,建立不同的偵測範圍,進而更精確地映射出虛擬實境內的手指姿態。
雖然本揭露已以實施例揭露如上,然其並非用以限定本揭露,任何所屬技術領域中具有通常知識者,在不脫離本揭露的精神和範圍內,當可作些許的更動與潤飾,故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。
50‧‧‧控制手把 52‧‧‧握持部 54‧‧‧第一感應元件 54b‧‧‧感測器 100、100a、100b、100c、100d‧‧‧手指姿態偵測裝置 110‧‧‧第一穿戴部 112‧‧‧套體 120‧‧‧第二穿戴部 130、130a、130c、130d‧‧‧第一感測器 130b‧‧‧感應元件 140‧‧‧第二感測器 140a‧‧‧第二感應元件 150‧‧‧控制模組 160‧‧‧片狀延伸部 170‧‧‧彈性繩 171‧‧‧可收緊機構 172‧‧‧雙轉軸機構 173‧‧‧可撓性元件 K1‧‧‧第一指節 K2‧‧‧第二指節 K3‧‧‧第三指節
圖1A是本揭露的一實施例的一種手指姿態偵測裝置穿戴於使用者的手部的示意圖。 圖1B是圖1A省略使用者的手部的示意圖。 圖1C是圖1A的手指姿態偵測裝置穿戴於使用者的手部的平面示意圖。 圖1D是圖1A的手指姿態偵測裝置與控制手把的組配示意圖。 圖1E是用於包括圖1A的手指姿態偵測裝置的一虛擬實境系統的一種校正方法流程圖。 圖2是手指的指節的示意圖。 圖3是本揭露另一實施例的一種手指姿態偵測裝置適用於控制手把的示意圖。 圖4是本揭露另一實施例的一種手指姿態偵測裝置適用於控制手把的示意圖。 圖5A是本揭露另一實施例的一種手指姿態偵測裝置穿戴於使用者的手部的示意圖。 圖5B是用於包括圖5A的手指姿態偵測裝置的一虛擬實境系統的一種校正方法流程圖。 圖6是本揭露另一實施例的一種手指姿態偵測裝置適用於控制手把的示意圖。
50‧‧‧控制手把
52‧‧‧握持部
100‧‧‧手指姿態偵測裝置
110‧‧‧第一穿戴部
120‧‧‧第二穿戴部
130‧‧‧第一感測器
K3‧‧‧第三指節

Claims (16)

  1. 一種手指姿態偵測裝置,適用於一控制手把,該控制手把包括一握持部,適合被一手部所握持並且在三度空間中移動,該手指姿態偵測裝置包括:一第一穿戴部,適於可拆卸地包圍該控制手把的該握持部,當該握持部連接該第一穿戴部時,該握持部被定位在該第一穿戴部的一側;多個第二穿戴部,各自獨立地連接至該第一穿戴部,且當一力量施加在該些第二穿戴部的其中一個時,該相對應的第二穿戴部朝該握持部移動;以及多個第一感測器,分別配置於該些第二穿戴部,用於偵測多個第二穿戴部相對於該握持部的位置或移動。
  2. 如申請專利範圍第1項所述的手指姿態偵測裝置,其中該些第二穿戴部分別被穿戴在該手部的多個手指,各該手指包括依序遠離一指尖的一第一指節、一第二指節以及一第三指節,且該些第二穿戴部被穿戴於該些第三指節。
  3. 如申請專利範圍第1項所述的手指姿態偵測裝置,其中該控制手把包括多個第一感應元件,該些第一感應元件配置於該握持部,且該些第一感應元件與該些第一感測器彼此感應以產生信號。
  4. 如申請專利範圍第3項所述的手指姿態偵測裝置,其中該些第一感應元件包括磁鐵,且該些第一感應元件交替地以S磁極或N磁極分別朝向該些第一感測器。
  5. 如申請專利範圍第4項所述的手指姿態偵測裝置,更包括:一第二感應元件,朝該些第一感測器延伸且配置於該第一穿戴部,以與該些第一感測器彼此感應以產生信號,該些第二穿戴部設置在該第二感應元件與該握持部之間。
  6. 如申請專利範圍第5項所述的手指姿態偵測裝置,當該些第一感測器偵測到該第二感應元件時,該些第一感測器偵測到的信號被校正。
  7. 如申請專利範圍第5項所述的手指姿態偵測裝置,其中該些第一感測器包括一慣性測量單元與一元件感測單元,當該元件感測單元偵測到該第二感應元件,該慣性測量單元偵測到的對應到該些第二穿戴部與該握持部的相對應位置的信號被校正。
  8. 如申請專利範圍第1項所述的手指姿態偵測裝置,更包括:一控制模組,配置於該第一穿戴部;以及一第二感測器,配置於該第一穿戴部並電連接至該控制模組,該些第一感測器感測到的信號搭配該第二感測器感測到的信號計算出每一該些第一感測器相對於該握持部的位置。
  9. 一種手指姿態偵測裝置,適用於一控制手把,該控制手把包括一握持部,適合被一手部所握持並且在三度空間中移動,該握持部設置有多個感測器,該手指姿態偵測裝置包括:一第一穿戴部,適於可拆卸地包圍該控制手把的該握持部,該握持部連接該第一穿戴部時,該握持部被定位在該第一穿戴部的一側;多個第二穿戴部,各自獨立地連接至該第一穿戴部,且當一力量施加在其中一該多個第二穿戴部時,該相對應的第二穿戴部朝該握持部移動;以及多個感應元件,分別配置於該些第二穿戴部,對應該多個感應元件的多個感測器偵測多個第二穿戴部相對於握持部的位置或移動。
  10. 如申請專利範圍第9項所述的手指姿態偵測裝置,其中該多個第二穿戴部分別被穿戴在該手部的多個手指,各該手指包括依序遠離一指尖的一第一指節、一第二指節以及一第三指節,且該些第二穿戴部被穿戴於該些第三指節。
  11. 如申請專利範圍第9項所述的手指姿態偵測裝置,其中該些感應元件包括磁鐵,且該些多個感應元件交替地以S磁極或N磁極分別朝向該握持部。
  12. 一種控制總成,應用於虛擬實境,該控制總成包括:一控制手把,包括一握持部,適合被一手部所握持並且在三度空間中移動;以及 一手指姿態偵測裝置,包括:一第一穿戴部,適於可拆卸地包圍該控制手把的該握持部,該握持部連接該第一穿戴部時,該握持部被定位在該第一穿戴部的一側;多個第二穿戴部,各自獨立地連接至該第一穿戴部,且當一力量施加在該些第二穿戴部的其中一個時,該相對應的第二穿戴部朝該握持部移動;以及多個第一感測器,分別配置於該些第二穿戴部,用於偵測該些第二穿戴部相對於握持部的位置或移動。
  13. 如申請專利範圍第12項所述的控制總成,其中該控制手把包括一感應元件,且該感應元件配置於該握持部。
  14. 一種校正方法,適用於一虛擬實境系統,該虛擬實境系統將一使用者的一真實手部姿態映射至一虛擬手部姿態,該虛擬手部姿態包括多個虛擬手指姿態及一虛擬手掌姿態,該虛擬實境系統包括用於被該使用者的一手部握持的一控制手把、可拆卸地包圍該控制手把且被穿戴於該手部的一手指姿態偵測裝置以及一電腦,該手指姿態偵測裝置包括多個第一感測器以及一第二感測器,該些第一感測器分別位於該手部的多個手指,該第二感測器位於該手部的一手掌,該些第一感測器包括一慣性測量單元(Inertial Measurement Unit,IMU)及一元件感測單元,該第二感測器包括一慣性測量單元及一元件感測單元,該校正方法包括: 通過該電腦將每一該些第一感測器的即時偵測結果乘以一第一旋轉矩陣及一第二旋轉矩陣,以計算出各該虛擬手指姿態,其中該第一旋轉矩陣為每一該些第一感測器的座標系與該第二感測器的座標系之間的轉換矩陣,且該第二旋轉矩陣為該第二感測器的座標系與該控制手把的座標系之間的轉換矩陣;以及通過該電腦將該控制手把的即時偵測結果直接作為該虛擬手掌姿態。
  15. 如申請專利範圍第14項所述的校正方法,更包括:當每一該些第一感測器的加速度計的即時讀值與該第二感測器的加速度計的即時讀值之間的差值均小於一預設值,且相鄰的該些第一感測器的該元件感測單元的即時讀值的差值均小於另一預設值時,通過該電腦將該虛擬手部姿態的虛擬手指姿態校正為該些手指相對於該手掌伸直且併攏。
  16. 一種校正方法,適用於一虛擬實境系統,該虛擬實境系統包括用於被一使用者的一手部握持的一控制手把、可拆卸地連接該控制手把且被穿戴於該手部的一手指姿態偵測裝置以及一電腦,該校正方法包括:通過該電腦依照該手指姿態偵測裝置的初始偵測結果計算出該使用者的該手部的一手指相對於該手部的一手掌的一實際彎曲範圍,其中該實際彎曲範圍具有一上界及一下界; 當依照該手指姿態偵測裝置的即時偵測結果所計算出的該手指的彎曲程度超過該實際彎曲範圍的該上界時,以超過的彎曲程度更新該實際彎曲範圍的該上界;以及當依照該手指姿態偵測裝置的即時偵測結果所計算出的該手指的彎曲程度超過該實際彎曲範圍的該下界時,以超過的彎曲程度更新該實際彎曲範圍的該下界。
TW108126906A 2018-07-30 2019-07-30 手指姿態偵測裝置、控制總成與校正方法 TWI724478B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862712183P 2018-07-30 2018-07-30
US62/712,183 2018-07-30
US201862774883P 2018-12-04 2018-12-04
US62/774,883 2018-12-04

Publications (2)

Publication Number Publication Date
TW202008145A TW202008145A (zh) 2020-02-16
TWI724478B true TWI724478B (zh) 2021-04-11

Family

ID=69383962

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108126906A TWI724478B (zh) 2018-07-30 2019-07-30 手指姿態偵測裝置、控制總成與校正方法

Country Status (3)

Country Link
US (2) US10901506B2 (zh)
CN (3) CN110780731B (zh)
TW (1) TWI724478B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10422637B1 (en) * 2016-06-10 2019-09-24 Facebook Technologies, Llc Wave reflection deformation sensing apparatus
CN110780731B (zh) * 2018-07-30 2023-06-09 宏达国际电子股份有限公司 手指姿态检测装置与控制总成
TWI760654B (zh) * 2018-11-12 2022-04-11 宏達國際電子股份有限公司 虛擬實境控制器
CN111709268B (zh) * 2020-04-24 2022-10-14 中国科学院软件研究所 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置
CN113571087B (zh) * 2020-04-29 2023-07-28 宏达国际电子股份有限公司 依据音频信号产生动作的方法及电子装置
CN112764540A (zh) * 2021-01-15 2021-05-07 Oppo广东移动通信有限公司 设备的识别方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160162022A1 (en) * 2014-12-08 2016-06-09 Rohit Seth Wearable wireless hmi device
CN106843482A (zh) * 2017-01-22 2017-06-13 无锡吾成互联科技有限公司 一种基于无线自组网模式的手势姿态检测装置
US20170308165A1 (en) * 2016-04-21 2017-10-26 ivSystems Ltd. Devices for controlling computers based on motions and positions of hands
TW201814447A (zh) * 2016-10-06 2018-04-16 宏達國際電子股份有限公司 手勢偵測系統及方法
TW201826168A (zh) * 2017-01-04 2018-07-16 宏達國際電子股份有限公司 用於手勢辨識之控制器及手勢辨識之方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5750717B1 (zh) 1971-02-19 1982-10-28
KR100812624B1 (ko) 2006-03-02 2008-03-13 강원대학교산학협력단 입체영상 기반 가상현실장치
JPWO2009035100A1 (ja) 2007-09-14 2010-12-24 独立行政法人産業技術総合研究所 バーチャルリアリティ環境生成装置及びコントローラ装置
US20120157263A1 (en) 2009-01-20 2012-06-21 Mark Sivak Multi-user smartglove for virtual environment-based rehabilitation
CN104881118B (zh) * 2015-05-25 2018-04-10 清华大学 一种用于捕获人体上肢运动信息的穿戴系统
US9678566B2 (en) 2015-06-03 2017-06-13 Oculus Vr, Llc Hand-held controllers for virtual reality system
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
US9999833B2 (en) 2015-06-11 2018-06-19 Oculus Vr, Llc Hand-held controllers with capacitive touch sensors for virtual-reality systems
US9870052B2 (en) 2015-06-11 2018-01-16 Oculus Vr, Llc Hand-held controller with pressure-sensing switch for virtual-reality systems
CN106264806B (zh) * 2016-08-16 2018-08-07 文浩 一种仿真机械手和控制方法
US10183217B2 (en) 2017-04-13 2019-01-22 Facebook Technologies, Llc Hand-held controller using segmented capacitive touch trigger
CN107943288B (zh) * 2017-11-16 2020-10-16 陈昭胜 智能穿戴装置、智能穿戴设备及控制方法
CN110780731B (zh) * 2018-07-30 2023-06-09 宏达国际电子股份有限公司 手指姿态检测装置与控制总成

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160162022A1 (en) * 2014-12-08 2016-06-09 Rohit Seth Wearable wireless hmi device
US20170308165A1 (en) * 2016-04-21 2017-10-26 ivSystems Ltd. Devices for controlling computers based on motions and positions of hands
TW201814447A (zh) * 2016-10-06 2018-04-16 宏達國際電子股份有限公司 手勢偵測系統及方法
TW201826168A (zh) * 2017-01-04 2018-07-16 宏達國際電子股份有限公司 用於手勢辨識之控制器及手勢辨識之方法
CN106843482A (zh) * 2017-01-22 2017-06-13 无锡吾成互联科技有限公司 一种基于无线自组网模式的手势姿态检测装置

Also Published As

Publication number Publication date
TW202008145A (zh) 2020-02-16
US20200050268A1 (en) 2020-02-13
US11226684B2 (en) 2022-01-18
CN110780731B (zh) 2023-06-09
CN116301384A (zh) 2023-06-23
CN110780731A (zh) 2020-02-11
CN116301385A (zh) 2023-06-23
US10901506B2 (en) 2021-01-26
US20210089127A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
TWI724478B (zh) 手指姿態偵測裝置、控制總成與校正方法
US10534431B2 (en) Tracking finger movements to generate inputs for computer systems
Chinello et al. Design and evaluation of a wearable skin stretch device for haptic guidance
US11016116B2 (en) Correction of accumulated errors in inertial measurement units attached to a user
CN206162394U (zh) 一种基于触感反馈的用于虚拟现实环境的动作捕捉系统
CN111638801A (zh) 用于手势辨识的控制器及其手势辨识的方法
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
US20210026447A1 (en) Hand exoskeleton force feedback system
RU187548U1 (ru) Перчатка виртуальной реальности
RU179301U1 (ru) Перчатка виртуальной реальности
US20220155866A1 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
CN207087856U (zh) 一种基于触觉反馈的外骨骼
CN108687744A (zh) 一种基于触觉反馈的外骨骼
KR101995317B1 (ko) 저가형 플랫폼 기반의 원격 행위 모방 로봇 제어 시스템
US20230142242A1 (en) Device for Intuitive Dexterous Touch and Feel Interaction in Virtual Worlds
Shigapov et al. Design of digital gloves with feedback for VR
RU2670649C9 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
EP3690608B9 (en) Smart wearable apparatus, smart wearable device, and control method
US9454236B2 (en) Three-dimensional mouse device and marionette control system using the same
JP2008276664A (ja) 検出装置
US10409375B1 (en) Apparatus, system, and method for providing localized tactile feedback
US20210318759A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
RU2673406C1 (ru) Способ изготовления перчатки виртуальной реальности
JP6932267B2 (ja) コントローラ装置
RU176660U1 (ru) Перчатка виртуальной реальности