JP7265567B2 - センサ及び触覚を用いた指装着デバイス - Google Patents

センサ及び触覚を用いた指装着デバイス Download PDF

Info

Publication number
JP7265567B2
JP7265567B2 JP2021017706A JP2021017706A JP7265567B2 JP 7265567 B2 JP7265567 B2 JP 7265567B2 JP 2021017706 A JP2021017706 A JP 2021017706A JP 2021017706 A JP2021017706 A JP 2021017706A JP 7265567 B2 JP7265567 B2 JP 7265567B2
Authority
JP
Japan
Prior art keywords
finger
user
sensor
haptic output
force
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021017706A
Other languages
English (en)
Other versions
JP2021093174A (ja
Inventor
ポール, エックス. ワング,
アレックス, ジェイ. レーマン,
ミカエル ジェイ. ロックウェル,
ミカエル ワイ. チュン,
レイ エル. チャン,
ホンチェン サン,
イアン エム. バロック,
カイル ジェイ. ネキムケン,
マドレーヌ エス. コルディア,
スン ウク キム,
デイビッド エイチ. ブルーム,
スコット ジー. ジョンストン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2021093174A publication Critical patent/JP2021093174A/ja
Priority to JP2023001243A priority Critical patent/JP7464762B2/ja
Application granted granted Critical
Publication of JP7265567B2 publication Critical patent/JP7265567B2/ja
Priority to JP2024054481A priority patent/JP2024105230A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/14Measuring force or stress, in general by measuring variations in capacitance or inductance of electrical elements, e.g. by measuring variations of frequency of electrical oscillators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/16Measuring force or stress, in general using properties of piezoelectric devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/003Kinematic accelerometers, i.e. measuring acceleration in relation to an external reference frame, e.g. Ferratis accelerometers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0331Finger worn pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本出願は一般に、電子デバイスに関し、より詳細には、装着型電子デバイスに関する。
本出願は、2018年6月21日付出願の米国特許出願第16/015,043号、及び2017年6月29日付出願の米国仮特許出願第62/526,792号に対する優先権を主張するものであり、それらの全体が参照により本明細書に組み込まれる。
コンピュータ及びヘッドマウントディスプレイシステムなどの電子機器は、手袋などの入出力装置を用いて制御されることがある。手袋は、ユーザの手の動作を検出するセンサを備え得る。ユーザの手の動作は、電子機器を制御することに使用され得る。
電子機器を制御するための入力を収集するために、装着型デバイスを使用することが、課題となることがある。留意されない場合、手袋などのデバイスは、ユーザの周囲の物体を感じる能力に影響を与え、使用は不快であり得て、又はユーザから適切な入力を収集しない可能性がある。
指装着デバイスは、制御回路に結合された指装着ユニットを含み得る。制御回路は、外部デバイスを制御するために、指装着ユニットで収集された情報を、外部デバイスに無線送信し得る。制御回路は、ユーザの指に触覚フィードバックなどのフィードバックをもたらすために、指装着ユニットを使用し得る。例えば、制御回路は、外部デバイスから無線で受信した情報に基づいて、ユーザの指に触覚出力を提供し得る。触覚出力は、仮想現実又は拡張現実の触覚出力に対応し得る。
指装着ユニットは、本体をそれぞれ有し得る。本体は、力センサ、加速度計、及び他のセンサなどの構成要素、並びに触覚出力装置のための支持構造体として機能する。動作中、ユーザは、外部の対象と相互作用する間、ユーザの指の先端上に指装着ユニットを着用し得る。
各指装着ユニットの本体は、ユーザの指の爪に隣接して静止する部分に結合された側壁部を有し得る。ユーザの指先は、側壁部分の間で受けられ得る。本体は、金属などの変形可能な材料から形成され得て、又は磁気引力、ばね、若しくは他の構造体を用いて互いに結合された、摺動本体部などの調節可能な構造から形成され得る。これにより、指装着ユニット本体が、異なる指サイズを収容するように調整することが可能になる。
各指装着ユニットの本体は、本体がユーザの指の指先に結合されたとき、各指の指の腹が露出されたままされる、U字型断面外形を有し得る。制御回路は、センサを用いて、指押圧入力、横方向の指動作入力、及び指タップ入力を収集し、触覚出力デバイスを用いて、触覚出力を提供し得る。
一実施形態による、指装着デバイスなどの例示的なデバイスの模式図である。
一実施形態による、ユーザの手、及びユーザの手の指先上の、例示的な指装着デバイスの構成要素の平面図である。
一実施形態による、ユーザ指上の、例示的な指装着デバイスの断面図である。
一実施形態よる、例示的な指装着デバイスの斜視図である。
一実施形態よる、指装着デバイスの使用中のユーザの指の先端の例示図である。 一実施形態よる、指装着デバイスの使用中のユーザの指の先端の例示図である。 一実施形態よる、指装着デバイスの使用中のユーザの指の先端の例示図である。
一実施形態による、例示的な指装着デバイスの断面図である。
一実施形態による、例示的な指装着デバイスの側面図である。
一実施形態による、例示的な指装着デバイスの平面図である。
一実施形態による、例示的な圧電ビームデバイスの側断面図である。
一実施形態による、例示的な圧電ディスクデバイスの側断面図である。
一実施形態による、例示的な容量性力センサの側断面図である。
一実施形態よる、指装着デバイスのための例示的な取り付け配置を示す図である。 一実施形態よる、指装着デバイスのための例示的な取り付け配置を示す図である。 一実施形態よる、指装着デバイスのための例示的な取り付け配置を示す図である。
一実施形態による、指装着装置における触覚出力デバイスに供給され得る、例示的な触覚出力駆動信号のグラフである。
一実施形態による、ユニットの幅に沿った細長いフレーム構造を形成するワイヤを有する、例示的な指装着ユニットの斜視図である。
一実施形態による、空気圧で作動される指グリッパを有する例示的な指装着ユニットの図である。
一実施形態による、発泡体又はエラストマーポリマーなどの圧縮可能な材料でライニングされた本体部材を有する、例示的な指装着デバイスの図である。
一実施形態による、指装着デバイスの本体の幅を制御する調節スクリューを有する例示的な指装着デバイスの図である。
一実施形態による、磁気吸引力によって互いに結合された摺動体部材を有する例示的な指装着デバイスの図である。
一実施形態による、デバイス本体の幅を調節するばねを有する例示的な指装着デバイスの図である。
一実施形態による、変形可能な本体を有する例示的な指装着デバイスの図である。
一実施形態による、指装着デバイス用の例示的なポリマーコートされた変形可能な金属本体部材の側断面図である。
一実施形態による、指の先端以外の位置において指に装着された例示的な指装着デバイスの側面図である。
一実施形態による、ユーザの指の上面からタッチ入力を収集するための光学センサを有する例示的な指装着デバイスの側面図である。
一実施形態による、指装着デバイスが使用されるシステムの較正に、どのようにマーカ使用され得るかを示す線図である。
一実施形態による、指装着デバイスを装着したユーザによって、ビジュアル要素がどのように操作され得るかを示す線図である。
一実施形態による、ユーザが、指装着デバイスを使用してリスト内の項目を選択中である線図である。
一実施形態による、ビジュアルマーカを有する例示的な電子デバイスの斜視図である。
一実施形態による、薄くされた中央領域を有する例示的な指装着デバイスの断面図である。
一実施形態による、指装着デバイスをユーザの指に固定して使用するための電気的に調節可能な可撓性を有する例示的なレイヤである。
装着型電子デバイスは、ユーザからの入力を収集するために用いられ、ユーザに触覚出力又は他の出力を提供するために使用され得る。例えば、指装着デバイスなどの装着型デバイスは、ユーザがユーザの周囲にある表面と相互作用するとき、ユーザの指からの入力を収集するために使用され得て、これらの相互作用中に、クリック及び他の触覚出力を提供するために使用され得る。このようにして収集された入力は、ユーザがどれだけしっかりと対象物に対して押圧しているのか(指押圧入力)、表面に対するユーザの指の軽いタップに関連付けられた指タップ入力、ユーザがどれだけしっかりその指を横方向に表面を押圧しているのかを示す、せん断力情報などの横方向の指の動作情報、及び他のユーザ入力に関する情報を含み得る。触覚出力は、ユーザに、軽いタップ入力が認識されたことを確認するために、又はそうでなければユーザにフィードバックを提供するために提供され得る。触覚フィードバックは、ユーザがテーブル面などの堅くて平坦面上をタッピングしているときでも、ユーザに、可動ボタン部材を用いて、物理キーボード又は他の入力デバイス上をタッピングする感覚を提供し得る。装着型電子デバイスを用いて、ユーザに提供された触覚出力は、ユーザがヘッドマウントディスプレイ、又はユーザのための仮想現実又は拡張現実の環境を作成する他のデバイスを装着している間に提供される、仮想現実の触覚出力又は拡張現実の触覚出力であり得る。
ユーザが現実世界の対象物を正確に感じることができるように、指装着デバイスは、U字型断面外形又はユーザの指先の下側の部分が環境に露出可能な他の形状を有し得る。指装着デバイス用のセンサ構成要素は、力センサ、光学センサ、及び他のセンサから構成される。触覚出力デバイスは、圧電アクチュエータ及び触覚出力を提供する他の構成要素を含み得る。いくつかの構成では、圧電デバイス又は他の構成要素は、触覚出力を提供すること(出力信号を用いて駆動されるとき)、及び力センサ入力を収集することの両方のために使用され得る。
指装着デバイスは、仮想現実又は拡張現実システムを制御するために使用され得て、ユーザがテーブル面(例えば、ヘッドマウントディスプレイを用いてテーブル面と一直線に表示されている仮想キーボード面)上に指タップを作っているとき、ユーザに物理キーボード上の相互作用する感覚を提供し得て、ユーザがユーザの指先の横方向の動作のみを用いてジョイスティック型の入力を供給することを可能にし得て、他の機器を制御することに用いられる力センサの測定値(ユーザの指押圧力測定値)を収集し得て、並びに/又は入力を収集すること及び他のシステム環境での触覚出力をユーザに提供することに使用され得る。
図1は、指装着デバイスなどの装着型デバイスを含む例示的なシステムの図である。図1に示すように、システム12は、電子デバイス20などの電子機器と相互作用する電子装置10などの指装着デバイスを含み得る。指装着デバイス10は、力センサ16、触覚出力装置18、及び制御回路14などのセンサを含み得る。これらのような構成要素は、ユーザの体の一部の上に(例えば、ユーザの指先上に)、筐体構造体(本体構造体又は本体部材と呼ばれる場合がある)を用いて、取り付けられ得る。筐体構造体は、1つ以上の指上に存在するデバイス10の部分用に形成され得る。例えば、デバイス10は、個別の本体部材及びユーザの複数の異なる指毎に結合した構成要素を含み得る。筐体構造体は、金属、ポリマー、ファブリック、ガラス、セラミック、他の材料、又はこれらの材料の組合せから形成され得る。いくつかの構成では、無線又は有線リンクが、指先構成要素へ、及び指先構成要素からデバイス10の他の部分(例えば、ユーザの手の裏側に配置されたデバイス10の一部)へ、信号を送信するために使用され得る。
所望であれば、デバイス10は、力センサ14の他の入出力デバイスを含み得る。例えば、デバイス10は、光学センサ(例えば、光を検出するセンサ又は光を発光し反射光を検出するセンサ)、画像センサ、状態表示光及びディスプレイ(例えば、1つ以上の領域光を発光する発光ダイオード、画像、文字及びグラフィックス表示用の画素アレイなどのような光に基づく構成要素)を含み得て、ボタン(例えば、電源ボタン及び他の制御ボタン)、オーディオ構成要素(例えば、マイクロフォン、スピーカ、階調発生装置、など)、タッチセンサ、位置、向き、及び/又は動作の検出用のセンサ(例えば、加速度計、コンパスセンサなどの磁気センサ、ジャイロスコープ、これらのセンサの一部又は全部を含む慣性測定ユニット)、指動作を検出する筋肉活動センサ(EMG)、並びに/あるいは入力を収集する他の回路を含み得る。
触覚出力デバイス18は、電磁アクチュエータ(例えば、振動器、リニアソレノイド、など)であり得て、圧電デバイス(例えば、デバイス10の力検知圧電デバイスとは別個の圧電デバイス、及び/又は触覚出力デバイスと力センサとの両方として機能する圧電デバイス)であり得て、熱誘起物理的変化を用いて触覚出力を生成する構成要素(例えば、形状記憶合金を加熱することによって)であり得て、電気活性ポリマー構成要素であり得て、触覚出力を生成する他の好適な構成要素であり得る。
制御回路14は、デバイス10の動作を支援する記憶及び処理回路構成を含み得る。記憶及び処理回路は、非揮発性メモリ(例えば、フラッシュメモリ又はソリッドステートドライブを形成するように構成された他の電気的にプログラム可能な読み出し専用メモリ)、揮発性メモリ(例えば、スタティック又はダイナミックランダムアクセスメモリ)などのような記憶装置を含み得る。制御回路14の処理回路は、センサ及び他の入力デバイスからの入力を収集するために使用され得て、触覚出力デバイス18などの出力デバイスを制御するためにも使用され得る。処理回路は、1つ以上のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、ベースバンドプロセッサ及び他の無線通信回路、電力管理ユニット、オーディオチップ、特定用途向け集積回路、などに基づき得る。
制御回路14は、アンテナ、高周波送受信機回路、並びに電子装置20などの外部機器との通信を支援する、他の無線通信回路及び/又は有線通信回路を含み得る。制御回路14は、例えば、無線ローカルエリアネットワークリンク、セルラー電話機リンク、又は他の好適な有線若しくは無線通信リンク(例えば、Bluetooth(登録商標)リンク、WiFi(登録商標)リンク、60GHzリンク、など)を介したデバイス20との双方向通信を支援し得る。装置20は、例えば、タブレットコンピュータ、デスクトップコンピュータ、セルラー電話機、ヘッドマウントディスプレイなどのヘッドマウントデバイス、装着型機器、腕時計デバイス、セットトップボックス、ゲーミングユニット、テレビ、デスクトップコンピュータ又は他の電子機器に結合されるディスプレイ、音声制御スピーカ、ホームオートメーション機器、アクセサリ(例えば、イヤホン、携帯デバイス用の着脱可能なケース、など)、又は他の電子機器であり得る。デバイス20は、センサ、ボタン、カメラ、ディスプレイ、及び他の入出力デバイスなどの入出力回路を含み得て、デバイス20の動作を制御する制御回路(例えば、制御回路14などの制御回路)を含み得る。制御回路14は、無線電力回路(例えば、対応するコイルを用いた無線電力送出回路を有する、無線電力送出デバイスから無線で送出された電力を受けとるコイル及び整流器)を含み得る。無線送電動作中(例えば、誘導送電)、無線電力は、デバイス20に供給され、デバイス20の負荷回路(例えば、回路14、装置18、センサ16、など)に分配され得る。回路14は、有線パワーデバイス及び/又はワイヤレス送電デバイスからの電力を貯蔵するエネルギー貯蔵回路(例えば、バッテリ及び/又はコンデンサ)を含み得る。
デバイス20は、システム12の1つ以上の付加的なデバイスに結合され得る。例えば、ディスプレイを備えたヘッドマウントデバイスは、視覚コンテンツ(仮想現実コンテンツ及び/又は拡張現実コンテンツ)をユーザに表示するために使用され得る。このヘッドマウントデバイスは、セルラー電話機、タブレットコンピュータ、ラップトップコンピュータ、又は他の機器などの電子装置に、有線及び/又は無線通信リンクを使用して結合され得る。デバイス20は、デバイス10と、入力(例えば、ユーザの指位置情報)を収集するため、及び出力(例えば、デバイス内の触覚出力構成要素を用いて)を提供するために、通信し得る。
動作中、デバイス10の制御回路14は、力センサ情報及びデバイス20の制御に用いる他のセンサからデバイス20への情報などの、ユーザ入力を送信するために通信回路を使用し得る。デバイス10のセンサ及び他の入力デバイスからの情報並びに/又はデバイス20からの情報は、制御回路14によって、触覚出力デバイス18を有するユーザへ提供される、触覚出力の強度及び持続時間を決定することに、使用され得る。
図2は、ユーザの手及び例示的な指装着デバイスの平面図である。図2に示すように、デバイス10は、ユーザの指32に装着された1つ以上の指装着ユニット22から形成され得る。ユニット22は、例えば、指32の先端に装着され得る(例えば、指の爪34に重ねて)。制御回路14の一部又は全部は、ユニット22に含まれ得る、又は別個の筐体構造体内に搭載され得る(例えば、リストバンドの一部、手袋、指無し手袋又はユーザの指先の腹の部分が除去されている手袋などの部分的手袋、など)。信号経路24などの信号経路は、ユニット22の回路及び/又はユニット22の外に配置される制御回路14などの追加の回路を、相互接続することに使用され得る。
信号経路24は、有線又は無線リンクを含み得る。有線経路は、例えば、フレキシブルプリント配線などのプリント配線の金属配線を用いて、配線を用いて、織られた、編まれた、又は編組されたファブリック状の導電性の撚線(例えば、配線若しくは金属被覆ポリマー撚線)を用いて、かつ/あるいは他の導電性の信号ラインを用いて、形成され得る。制御回路14の一部又は全部がユニット22の外に配置される構成では、信号経路24などの信号経路は、ユニット22の回路をこの制御回路に結合するために、ユーザの手30の一部又は全部にわたって流れ得る。制御回路10が1つ以上のユニット22内に配置され、これらのユニット22が有線又は無線経路24によって相互接続される構成が、所望であれば、使用され得る。
ユニット22がユーザの指先上に配置されているとき、ユニット22の構成要素は、ユーザの指先と外部面との間の接触を検知し得る。いくつかの構成では、ユーザの指先(例えば、ユーザの指先の腹)は、表面と接触し得て、指先が表面と接触している間、ユーザは、図2の横方向28及び26などの横方向へ、指先を横に移動させ得る。指先の腹が表面と接触している間の指先の横方向の動作(例えば、接触されている表面の平面に平行な次元での指先の動作)は、1つ以上のユニット22の構成要素によって検出され得るせん断力を発生させ得る。このことにより、ユーザの指先自体が、図1のデバイス20などのデバイスにおけるスクリーン上のカーソル又は他の調節可能なシステムの機能を制御し得る、ポインティングデバイスとして使用されること(例えば、ジョイスティックとして使用されること)が可能になる。いくつかの構成では、ユニット22は、指32の指先の他の手30の部分に装着され得る。例えば、ユニット22は、図2の例示的なユニット22’によって示されるように、指32の長さ方向に沿った他の部位に装着され得る。所望であれば、ユニット22及び22’は、デバイス10内で(例えば、複数の指の位置から情報を収集するために)同時に使用され得る。ユニット22が指32の先端に装着される例示的な構成が、一例として本明細書で説明されることがあり得る。
ユニット22は、指32の指先を部分的に又は全体的に囲み得る。図3は、ユニット22の本体が指32を囲む(例えば、ユニット22が指32の上側、側面の部分、及び下側の指の腹部分を有する)配置でのユーザの指32上の例示的な指装着デバイス(ユニット22)の断面図である。図3のユニット22は、一例として、ユーザがユニット22を介して表面を感じることを可能にする、柔軟なエラストマ材料、ファブリック、又は他の弾性材料から形成され得る。所望であれば、センサ、触覚デバイス、及び/又は他の構成要素は、位置36のような位置の指32の腹の下に装着され得る。
所望であれば、ユニット22は、ユニット22がユーザの指の上部及び/又は側面だけを覆い、ユーザの指先の腹は露出され、デバイス10の何れの部分によっても覆われないようにする、U字型断面外形を有し得る。この種の構成のユニット22により、ユーザがユーザ自身の皮膚で表面に触れることが可能になり得て、それにより、デバイス10が使用される環境へのユーザの感度を向上させる。例えば、ユーザの指先の上面及び側面のみを覆うユニット22により、ユーザの指の腹が触れた、表面上の小さな表面欠陥、表面のテクスチャーのわずかな不規則性、及びユーザの指の腹が覆われる構成では不明瞭になり得る他の詳細を検出することが可能になり得る。
図4は、ユニット22の本体38がユーザの指先を部分的にのみ囲むように構成された指装着デバイス10の例示的なユニット22の斜視図である。図4に示すように、本体38は、側壁部40(例えば、ユーザの指の側面に接触する部分)などの側面部と、結合部42(例えば、ユーザの指先の上部を覆う、又は、いくつかの構成では、ユーザの指先の底部でユーザの指先の腹を覆う、わずかに曲がった部分)などの部分とを含み得る。部分42は、ユーザの指の対向する左右の側面に隣接する側壁部分40を支持し得る。任意選択の開口部44などの開口部が、金属部材又は他の本体38を形成する構造体を曲げることを容易にするために、本体38内に形成され得る。本体38は、本体38をユーザの指先上に装着することを容易にするために、先細りにされ得る(例えば、本体38は、幅W1のより広い部分と、W1より狭い幅W2を有するユーザの指の最も外側の先端の、より狭い部分とを有し得る)。
図5は、ユーザの指(例えば、指32の先端の底部にある指の腹48)が、表面46などの外部面上に軽く静止している構成での、図5のユニット22などの例示的なユニットの端面図である。図5に示すように、ユニット22の本体38は、本体38を指32に摩擦嵌合により保持する、U字型断面外形を有し得る。この構成を伴い、U字型本体38の開口側は、指の腹48を露出させるために、下方へ向き得る。
ユーザが指32を図6に示すように方向50で横方向へ移動させるとき、せん断力が生成される。力センサ(例えば、側壁40内の)は、このせん断力を検出し、ユーザの横方向の指の動作を測定するために検出されたせん断力を使用し得る。
図7は、表面46に対する指押圧入力の力がどのように測定され得るかを示す。ユーザが表面46に対して指32を方向52で下方へ押圧するとき、指32の部分は、方向54で(例えば、対称的に)外側へ力を受けることになる。ユニット22の本体38の側壁部40内の力センサは、これらの外側への力を検出することができ、この情報を用いて、方向52に印加される下方への力の量を定量化できる。
図8は、電気的構成要素の例示的な搭載位置を示す例示的な指装着ユニットの断面図である。図8に示すように、構成要素56は、本体38の内側及び/又は外側表面に搭載され得る(例えば、本体38の側壁部40及び/又は上部42)。一例として、力センサは、図6及び7に関連して説明したように、指の力を検出するために側壁部40に搭載され得る。別の例として、触覚出力デバイス18は、側壁部40に搭載され得る(例えば本体38の、外側面に、対向する内側壁面の対向する力センサに対面する内側面に、部分42の上部又は下部表面に、)。構成要素56は、加速度計、又は動作、向き、及び/若しくは指32の位置を検出する他のセンサを含み得る。例えば、加速度計は、部分42の上表面に又はユニット22内の他の部位に配置され得る。ユーザが、デバイス10に指タップ入力を供給するために、表面46(図7)上を軽くタップするとき、加速度計は、タップに対応するユニット22の速度の突然の変化(例えば、測定される加速度におけるピーク)を、検出し得る。力センサと加速度計との両方がデバイス10内に存在するとき、デバイス10は、指押圧入力(下方への力)、横方向の指動作入力(せん断力)、及び指タップ入力(加速度計出力信号のピーク)を測定できる。
本体38によって支持され得る他の構成要素56は、ユニット22の位置及び/又は向きのカメラに基づく監視(例えば、デバイス20又は他の外部機器内の画像センサを用いた位置監視)を容易にするために、部分42の上面に又は本体38内の他の部位に、有線及び/又は無線通信回路及び/又は他の回路14用の構成要素(例えば、本体の部分42によって支持される回路)、電池、光学センサ(例えば、部分42上の発光及び光検出構成要素)、歪みゲージ(例えば、部分42の幅の一部又は全部にわたって延在し、側壁部40の部分42に対する移動からもたらされ、部分42の曲がった形状の平坦化に対応する、ひずみを測定するために、任意選択で部分42の上面に搭載され得る歪みゲージ)、及び/又は発光ダイオード若しくはパッシブマーカ構造体などの発光デバイスを含む。
図9は、図8の例示的な指装着ユニットの側面図である。図9に示すように、センサ又は他の構成要素56は、ユニット22の本体側壁部40の側面に沿ってセグメント化され得る。所望であれば、本体38によって支持されるセンサ又は他の構成要素56は、構成要素56’などの複数の副構成要素を有し得る。例えば、図9の側壁40上の力センサ及び/又は触覚装置は、各々が別個のそれぞれの力センサ測定値を生成する、かつ/又は各々が別個のそれぞれの触覚出力を生成する、複数の構成要素56’を有し得る。これにより、動作中に生み出される力に関するより詳細な測定値が作成されることが可能になり(例えば、ユーザの指の異なる部分が、図7の方向52の外側へ、どこを押圧するかを比較することによって、ユーザの指の先端内での指の押圧の位置に関する情報を正確に収集することを支援することが可能になる)、より詳細な触覚フィードバックがユーザに提供されることが可能になる。所望であれば、力センサなどの複数のセンサ及び/又は複数の触覚出力デバイス若しくは他の構成要素56’は、図10に示すように、本体38の上部42に配置され得る。
圧電構成要素は、力センサを形成すること(印加された力を制御回路14で処理する電気的信号に変換することによって)及び触覚出力デバイスを形成すること(制御回路14からの電気的信号をユーザの手に印加される力に変換することによって)に使用され得る。例示的な圧電デバイスを図11に示す。図11の圧電デバイス60は、部分66などのビーム形状の部分を有する支持構造体68などの支持構造体を有する。圧電レイヤ62及び64は、ビーム部分66の反対の表面に形成され得る。力センサでは、印加される力によるビーム66の曲がりが、読み取る力を生成するために回路14を用いて測定及び評価することが可能な、レイヤ62での圧縮応力、レイヤ64での引張応力を誘起することになる。触覚出力デバイスでは、レイヤ62を収縮させ、レイヤ64を拡張させ、それにより図12に示すように、ビーム部分66を反らせる、電圧が、制御回路14によってレイヤ62及び64に印加され得る。所望であれば、構成要素60などの圧電構成要素は、図12の例示的なディスク形状などの他の形状を有し得る。この種の配列の力センサでは、軸70に沿った構成要素60へ印加される力は、制御回路14によって測定可能である、レイヤ62及び64での圧縮及び引張応力を生成し得る。この種の配列の触覚出力デバイスでは、レイヤ62及び64に印加される電気的信号は、構成要素60を、軸70に沿って上下に反らせるために使用され得る。
容量性の検知技術は、力を測定するために使用され得る。一例として、図13の容量性力センサを考える。容量性力センサ73は、基板75(例えば、可撓性又は剛性プリント回路、など)のような基板を有する。1つ以上の容量性力センサ83が、基板75上に形成され得る。例えば、基板75上の金属配線から形成された信号ラインを用いて制御回路14内の容量測定回路に結合された、力センサ構成要素83の一次元又は二次元のアレイが、基板75上に形成され得る。各容量性力センサ素子83は、圧縮可能な材料79(例えば、ポリマー発泡体、シリコーンなどのエラストマ材料、など)、によって分離される電極77及び80などの容量性の力検知電極を有し得る。制御回路14は、各素子83の電極対間のキャパシタンスを測定し得る。所与の素子83上に印加される力に応答して、その素子内の圧縮可能な材料79は、より薄くなることになり、電極間隔は、低減され、制御回路14が印加された力の大きさを決定するために測定可能であるキャパシタンスの増大をもたらす。
圧電構成要素を力の検知に使用すること及び/又は触覚出力を提供することに加えてあるいは代わりに、かつ容量性力センサの配置を力の検知に使用することに加えてあるいは代わりに、デバイス10は、他の力検知及び/又は触覚出力デバイスを使用し得る。例えば、力は、柔軟な圧電性ポリマー、微小電気機械システム(MEMs)、力センサ、歪みゲージ(例えば、部分42の表面に搭載される平坦な歪みゲージ)、抵抗性力センサ、圧力変動により皮膚の色変化を測定する光学センサ、及び/又は他の力検知構成要素を用いて検知され得る。触覚出力デバイスは、リニアソレノイド、非対称な質量を回転させるモーター、電気活性ポリマー、形状記憶合金に基づくアクチュエータ、空気圧アクチュエータなどの電磁アクチュエータ、及び/又は他の触覚出力構成要素に基づき得る。
図14に示すように、ユニット22は、部分42が指の爪34に隣接し、指の腹48が露出される配置で装着され得る。ユニット22は、ユーザの周囲での対象物を感知するユーザの能力を最大化することが所望されるとき、このように装着され得る。図15は、ユニット22が図14の向きと比較して上下反対で、部分42が指の腹48に隣接する、ひっくり返された配置で、どのようにユニット22が装着され得るかを示す。ユニット22は、本体38の触覚出力構成要素と指の腹48との間を結合して触覚を向上するために、このように装着され得る(例えば、デバイス10が仮想現実システムで使用されているとき、及び触覚出力がユーザに外部の表面とのユーザの実接触がない状態で提供されているとき)。図16は、ユニット22の側壁部が、どのようにフラップ40P又は40P’などの回転可能なフラップを有し得るかを示す。フラップは、位置40F(例えば、触覚出力デバイス又は他の構成要素56が指の腹48に隣接する位置)内に回転し得る。
触覚出力は、ユニット22の触覚出力デバイスの変位での、1つ以上のパルスの形態で提供され得る。図17は、ユニット22の触覚出力デバイスを制御に使用され得る型の例示的な駆動信号DRのグラフである。図17の例では、駆動信号は、接近した間隔のパルス85の対(例えば、約100~300Hz、少なくとも150Hz、250Hz以下、又は他の好適な周波数の速さで発生する2つのパルス85)を含む。図17のパルス群(群86)内に2つのパルスが存在するが、所望であれば、より少ない又はより多いパルスが、駆動信号DR内に含まれ得る。人間の指は、通常、1~1000Hzの信号に感度を示し、特に1~300Hzの範囲の信号に敏感である。他の周波数の駆動信号DRも、しかしながら、所望であれば、使用され得る。各パルス85は、面取りされた正弦波の形状、ガウス形、又は他の好適な形状を有し得る。
図18は、ユニット22が、本体38の他の部分の支持を支援するフレーム部材88を有する、例示的な指装着デバイスの構成の斜視図である。フレーム部材88は、プラスチック又は金属薄板のレイヤなどの変形可能な構造体と重なる、変形可能な金属ワイヤなどの細長い構造体であり得る。フレーム部材88の存在により、ユーザの指32の先端上への本体38の満足できる摩擦嵌合を生成するために、ユーザが、本体38を制御可能に変形させることが可能になる。
図19の例では、空気圧構成要素90が、本体38の側壁部40の内側面に形成されている。膨張時に、空気圧構成要素90(例えば、気球)は、位置90’へと拡張し、これによりユニット22をユーザの指上に保持することを支援する。
図20は、発泡体又は他の圧縮可能な材料(例えば、シリコーン又は他のエラストマ材料)のレイヤ(レイヤ92)が、本体38の側壁部40及び部分42の内側面に配置されている、ユニット22の例示的な構成の図である。ユニット22がユーザの指上に配置されているとき、圧縮性層92は、ユーザの指の形状に従い、ユニット22をユーザの指上に保持することを支援し得る。
図21は、どのように、ナット93などのねじが切られた締め具が、本体38をユーザの指上に固定することを支援するために、本体38の幅を調整することに使用され得るかを示す。ナット93は、本体部分42の部分98のねじ山で受けられ得る。ナット93が、軸94の回りで方向96に回転されるとき、本体部分42の部分98は、ナット93の回転方向により、引き寄せられる又は押し離されることになる。部分98が互いの方向へ引かれるとき、本体側壁部40は、方向100で内向きに偏倚されることになり、それによりユーザの指での本体側壁部40と固定ユニット22との間の分離距離を削減する。
図22の例では、ユニット22は、互いに対して摺動する部分を有する。具体的には、本体部分42は、部分42-2などの第2の部分に対して摺動する、部分42-1などの第1の部分を有することで、ユニット22の幅を調整し、したがって側壁部40の分離距離を快適なサイズに調整し得る。部分42-1及び42-2のエリア102は、部分42-1及び42-2を同時に保持し、所望の配置でユニット22をユーザの指上に固定することを支援する、磁気引力を示し得る。
図23は、どのように、ばね104などの偏倚構造体が、方向100で部分42-1及び42-2を互いの方向へ引き寄せ、ユニット22をユーザの指上に固定するかを示す。
図24は、本体38が変形可能な金属層などの変形可能な構造体から形成される、例示的な構成にあるユニット22の側断面図である。この種の構成により、壁部40は、ユニット22をユーザの指上に固定されることが所望されるとき、方向100で内向きに位置40’などの位置へ曲げられ得る。この種の構成にある本体38は、エラストマ材料で被覆された金属層を含み得る。図25に示すように、例えば、本体38は、中央の金属層38M及びポリマーコーティング層38Pを含む。
図26は、指32上にあるが、指32の先端で指の爪34と重ならない位置にある、例示的な指装着ユニット(ユニット22’)の側面図である。デバイス10は、1つ以上の指装着ユニットを有し得て、これらのユニットは、通常、ユーザの指先、ユーザの指32上の他の位置、などに配置され得る。
図27は、どのように、構成要素56が、ユーザの指32の裏上のエリア32Tなどのエリアからタッチ入力を収集し得る、光学センサを含み得るかを示す。光学センサは、発光ダイオード、レーザー、又は他の発光構成要素(例えば、赤外発光ダイオード)を含み得て、固体光検出器(例えば、フォトダイオード、ホトトランジスタ、など)などの光検出構成要素を含み得る。発光構成要素は、経路110に沿って発光し得て、光検出構成要素は、ユーザの指先又はこれらの経路110のうちの1つと交差する他の外部対象物の存在により反射される、経路110に沿った反射光を検出し得る。経路110は、互いに平行であり得て、かつ/又は斜めの経路(例えば、三角測量を容易にするために)を含み得る。この種の構成では、光学センサからの光学センサ信号を処理することによって、制御回路14は、エリア32Tでの対象物の位置を測定し得る(例えば、1又は2次元で)。これにより、エリア32Tが小型ポータブルトラックパッドとして用いられることが可能になる。
図28に示すように、システム12内の電子装置20などの外部機器が、1つ以上の71(例えば、可視光カメラ、赤外線カメラ、など)のようなセンサを含み得る。電子装置20は、一例として、拡張現実(複合現実)又は仮想現実のゴーグル(又はメガネ、ヘルメット、若しくは他のヘッドマウント支持構造体)などのヘッドマウントデバイスであり得る。ビジュアルマーカ72は、ユーザの作業環境内に配置され得る。マーカ72は、例えば、バーコード、十字記号、又は他の視覚的に識別可能なパターンなどのパッシブビジュアルマーカであり得て、卓上又は他の作業面に適用され得る。所望であれば、マーカ72は、パッド74などの作業面パッドの一部として形成され得る。マーカは、指装着デバイス10上に更に配置され得る(例えば、図28のユニット22を参照のこと)。
マーカ72は、所望であれば、カメラを用いて検出される発光構成要素(例えば、識別可能な変調コードを用いて変調された可視発光ダイオード及び/又は赤外発光ダイオード)を含み得る。マーカ72は、ユーザがシステム12内のコンピュータ又は他の機器と対話しているとき、システム10にユーザの仮想作業面及びユーザの指の1つ以上の位置を通知することを支援し得る。
ユニット22上のビジュアルマーカ72及び/又はユニット22内の慣性測定ユニット(例えば、加速度計、コンパス、及び/又はジャイロスコープ)は、ユーザの作業エリア上のマーカ72に対するユーザの指位置(例えば、指装着ユニット22の位置)を追跡することに使用され得る。同時に、システム10は、ユーザのために関連する視覚的コンテンツを表示し得る。ユーザは、力入力、動作入力(例えば、エアージェスチャ)、タップ、せん断力入力、並びにユニット22内の慣性測定ユニット及び/又はデバイス10内の力センサと他のセンサとによって、ユニット22から収集された他の入力を供給することによって、表示された視覚的コンテンツと対話し得る。
例えば、指装着ユニット22のマーカ72に対する位置に関する情報は、システム10の動作中、デバイス20内の制御回路又はシステム10内の他の電子機器(例えば、コンピュータ、セルラー電話機、又はデバイス20に結合された他の電子デバイス)によって収集され得て、一方、ユーザが、表示されたビジュアル要素を、選択した(例えば、強調表示した)、移動させた、又はそうでなければ操作したこと、及び/あるいはシステム12にコマンドを供給したことを示す、力入力、ジェスチャ入力(例えば、タップ、三次元エアージェスチャ、など)について、ユニット22を監視し得る。一例として、ユーザは、視覚的コンテンツを左に移動させるために、左手を振るなどのエアージェスチャを行い得る。システム10は、ユニット22の慣性測定ユニットを、左手を振るジェスチャを検出するために使用し得て、左手を振るジェスチャに応答して、デバイス20のディスプレイでユーザに提示されつつあるビジュアル要素を、移動させることができる。別の例として、ユーザは、ユーザの視野内のビジュアル要素を、その要素をタッピングすることによって、選択し得る。
このようにしてデバイス20の制御回路、及び/又はシステム10の他の制御回路により、ユーザが、ユーザによって見られつつあるビジュアル要素(例えば、仮想現実コンテンツ、又は拡張現実のゴーグル若しくはディスプレイを用いた他のデバイス20などのヘッドマウントデバイスにより提示されつつある他の視覚的コンテンツ)を操作することが可能になり得る。所望であれば、カメラ71などのカメラは、ユーザの目に向かい得る(例えば、カメラ71又は他の視覚的追跡機器は、視線追跡システムの一部を形成し得る)。カメラ及び/又は視線追跡システムの他の回路は、ユーザが現実世界の対象物及び視覚的コンテンツを見つつある、方向を監視し得る。一例として、カメラは、ユーザがデバイス20によって提示される仮想コンテンツと対話するとき、及びユーザが現実生活のコンテンツと対話するとき、ユーザの目の注視点(視線方向)を監視するために使用され得る。デバイス20の制御回路、ユニット22、又は他の電子機器は、ユーザの視線が特定の位置に留まる時間を測定し得て、この注視点情報を、仮想オブジェクトの選択の時の決定に、使用し得る。仮想オブジェクトはまた、ユーザが特定の対象物を見ていることが判定されたとき(例えば、注視点情報を分析することによって)、及び見ている特定の対象物を選択するために、ユーザが、音声コマンド、指入力、ボタン押下入力、又は他のユーザ入力を行ったと判定されたとき、選択され得る。注視点情報はまた、ドラッグアンドドロップ動作中に使用され得る(例えば、注視点の移動により、仮想オブジェクトをあるシーンのある位置から別の位置に移動させるために)。
図29は、どのように、ビジュアル要素が、指32上に指装着デバイス22を装着しているユーザによって、操作され得るかを示す図である。例示的な要素76などのビジュアル要素(例えば、デスクトップアプリケーションを提示するアイコン、ファイルフォルダ、メディアファイル若しくは他のファイル、又は他の情報)が、デバイス20内のディスプレイを用いて表示され得る。作業空間74が、所望であれば、マーカ72を有し得る。ユーザは、タップ、力入力、持続的タッチ入力、エアージェスチャ、並びに/あるいはユニット22及び/又はデバイス20のカメラのようなシステム12の他の機器を使用して検出される、他のユーザ入力を用いて、視覚的項目を選択し得る。
例示的な要素76などの視覚的項目は、選択され(例えば、アプリケーションを起動するために、項目を強調表示するために、など)、移動され、削除され、マーキングされ得て、かつ/又はそうでなければ、ジェスチャ(例えば、ドラッグアンドドロップのジェスチャ、など)及び他のユーザ入力を用いて、ユーザによって操作され得る。例えば、ユーザは、入力デバイスとして指32の先端を用いて、ビジュアル要素76を、作業空間74の位置78へ、ドラッグアンドドロップし得る(一方、指32の先端の位置は、ユニット22を用いて監視される)。指32上のユニット22は、触覚出力を提供し得る(例えば、ユーザが所定の境界を通り越して要素76をドラッグするとき仮想戻り止めをもたらすフィードバック)。このフィードバックは、視覚的フィードバックを伴い得る(例えば、触覚フィードバックと同期された、素子76の外観の色及び他の様相の変化)。所望であれば、デバイス20は、ビジュアル要素を、仮想作業空間74’によって示されるように、ユーザの前方に上方(並びに、所望であれば、左右側、及び/又は背後)へ延在する、仮想作業空間に表示し得る。ユーザは、ビジュアル要素76を、仮想作業空間74’内の位置へドラッグアンドドロップし得る(例えば、素子76を位置80に配置するために)。作業空間74’内の項目は、エアージェスチャ又は他の入力(例えば、音声入力、など)を用いて、操作され得る。例えば、ユーザは、作業空間74’内の項目を右に移動させるために、右へのスワイプを使用し得る。
ユーザが仮想コンテンツとユニット22を用いて対話するとき、ユーザは、テーブル面又は他の表面に、指32の表面で接触し得る。例えば、指32の先端の底部の指の腹48の指腹部は、テーブル面と接触し得て、指32によって付与される力によって圧縮され得る。指押圧入力を供給するとき、疲労を軽減し、ユーザの経験を向上させるために、ユーザが電子デバイスに入力を供給するときにユーザの指にかかる力は、ユーザの指に結合された構成要素及び/又は電子デバイス内の構成要素を用いて修正され得る。一例として、ユニット22などの指装着デバイス内の構成要素は、ユーザの指と入力面(作業空間74に関連付けられた面)との間の衝撃を和らげることを、支援するために使用され得る。
修正されない指の衝撃事象は、急激な力対変位の形(例えば、比較的短い距離を入力面に向かって移動するときに、ユーザの指上に急速に立ち上がる力)によって特徴づけられ得る。これらの力を修正することによって、ユーザは、物理ボタン上のクリックのアクションを模倣する指感覚、及び/又は他の指感覚を用いて、より柔軟な指と入力面との相互作用が与えられ得る。ある例示的な構成を用いて、ユニット22内のアクチュエータ(例えば、圧電アクチュエータ、電気機械アクチュエータ)は、指先が表面にタッチする直前に、ユーザの指先を圧縮し得て(又は圧縮しない)、それにより指先が表面に接触したときのユーザの経験を選択的に修正する。例えば、ユニット22の左右のアクチュエータが、指の腹48が表面46にタッチする直前に、指32上で内向きに圧縮する場合、それにより指32の指腹部が、接触の前に表面46に向かって突き出され、ユーザは、アクチュエータが指上で内向きに圧縮しなかった場合に比べて、より軽減された表面46との衝撃を経験し得る。これらのような修正は、ユーザが仮想コンテンツと対話するとき、動的に行われ得る。
図30は、ビジュアル要素76が、複数の項目を含むリストであり得る様子を示す。リスト中の所望の項目は、指32を、所望の項目の上方に所定の時間以上留まらせる(遅らせる)ことによって、選択され得る(例示的な選択された項目76Hによって示されるように)。システム10によって収集された指の位置情報(例えば、ユニット22の慣性測定値、ユニット22のマーカのカメラ測定、など)は、どのリストの項目が選択され、強調表示されることになるかを判定することなどに使用され得る。ジェスチャは項目をスクロールするために用いられ得る。
所望であれば、システム10(例えば、デバイス20のカメラ、など)は、ユニット22の位置を、光学的検知を用いて、検出し得る。図31に示すように、ユニット22は、ビジュアルマーカ72(例えば、パッシブマーカ、可視又は赤外発光ダイオード、など)を含み得る。マーカ72は、部分42及び40などのデバイス10内のユニット22の部分に配置され得る。マーカ72は、不明瞭な位置データの作成を避けることを支援するために、認識可能な非対称パターンで構成され得る。
図32は、上部部分42が、構成要素56が収容されている、厚い部分42Nと、薄い部分42Tなどの曲げることを容易にする薄い部分とを有する、例示的な構成にあるユニット22の側断面図である。薄い部分42Tは、金属、ポリマー、などの弾性材料及び/又は他の材料から形成され得て、部分42N間に挿入され得る。
所望であれば薄い部分42T及び/又はユニット22の他の部分は、調節可能な可撓性を有する構成要素から形成され得る。調節可能な可撓性を有する例示的な構成要素が、図33に示されている。図33に示すように、構成要素80(例えば、電気的に調節可能な可撓性を有するレイヤ)は、電極84が介挿された電気活性ポリマーの複数のレイヤ82を有し得る。電極84に小信号が印加されるとき又は信号が印加されないとき、レイヤ82は、互いに対して滑り得て、構成要素80は、可撓性を有する。より大きな信号が電極84に印加されるとき、レイヤ82は位置が固定され、構成要素80は可撓性を有さないことになる。構成要素80は、図32のユニット22の部分42Tに配置され得る。電圧が印加されないとき、部分42Tは、曲がることが可能であり、ユニット22がユーザの指上に配置されることを可能にする。ユニット22が、ユーザの指上に配置されたあと、ユニット22は、制御信号を電極84に印加することにより、指上の位置に固定され得る。
一実施形態によれば、ユーザの指に装着されるように構成され、その指は、一面に指の爪を、反対の面に指の腹を伴う指先を有する、指装着デバイスであって、指先に結合するように構成され、その指先の指の爪を覆い、その指先の指の腹を露出されたままにする本体と、本体と結合された触覚出力デバイスと、触覚出力をユーザの指に触覚出力デバイスを用いて提供するように構成された制御回路とを含む、指装着デバイスが提供される。
別の実施形態によれば、制御回路は、加速度計を用いて指タップ入力を収集するように構成される。
別の実施形態によれば、指装着デバイスは、力センサを含み、制御回路は、指で表面に印加された指圧に関連付けられた、力センサからの指タップ情報及び力情報を無線送信するように構成された、無線通信回路を含む。
別の実施形態によれば、指装着デバイスは、本体に結合された光学センサを含む。
別の実施形態によれば、指装着デバイスは、本体に結合された発光ダイオードを含む。
別の実施形態によれば、本体は、互いに対し移動するように構成された第1及び第2の本体部分を含み、指装着デバイスは、第1及び第2の本体部分を引き寄せるように構成された、第1及び第2の本体部分間を連結する、偏倚構造体を含む。
別の実施形態によれば、本体は、ポリマーで被覆された変形可能な金属層を含む。
別の実施形態によれば、本体は、互いに対して移動するように構成された、第1及び第2の本体部分を含み、第1及び第2の本体部分を互いに結合する磁石部分を含む。
別の実施形態によれば、指装着デバイスは、本体の内側面に圧縮性層を含む。
別の実施形態によれば、指装着デバイスは、本体に結合された力センサを含み、制御回路は、指によって印加された圧力に関連付けられた力測定値を、力センサを用いて収集するように構成される。
別の実施形態によれば、制御回路は、力測定値に基づいた触覚出力を提供するように構成される。
別の実施形態によれば、本体は、側壁部と、側壁部を互いに結合する部分とを有し、力センサは、側壁部のうちの1つに搭載され、触覚出力デバイスは、側壁部のうちの1つに搭載される。
別の実施形態によれば、力センサは、圧電力センサを含む。
別の実施形態によれば、力センサは、容量性力センサを含む。
別の実施形態によれば、触覚出力デバイスは、圧電触覚出力デバイスを含む。
別の実施形態によれば、触覚出力デバイスは、制御回路への力センサ入力を収集するように構成される。
別の実施形態によれば、指装着電子デバイスは、力センサと加速度計とを含み、制御回路は、力センサ及び加速度計のうちの選択された1つからの出力の検出に応答して、1~300Hzの周波数のパルスで触覚出力デバイスを駆動するように構成される。
別の実施形態によれば、触覚出力デバイスは、力センサ測定値を制御回路に供給するように構成される。
別の実施形態によれば、触覚出力は、仮想現実触覚出力及び拡張現実触覚出力から成る群から選択される触覚出力を含む。
一実施形態によれば、力センサと、触覚出力デバイスと、加速度計と、支持構造体を有する指先ユニットであって、支持構造体が、力センサと、触覚出力デバイスと、加速度計とに結合された、指先ユニットと、力センサ及び加速度計から情報を収集するように構成されると共に、駆動信号を触覚出力デバイスへ供給するように構成された制御回路とを含む、指装着デバイスが提供される。
別の実施形態によれば、制御回路は、それを用いて制御回路が、力センサ及び加速度計からの情報を無線送信する、無線回路を有する。
別の実施形態によれば、支持構造体は、ユーザの指先に結合するが、指先の指の腹の部分は露出されたままとなるように構成されたU字型断面外形を有する。
一実施形態によれば、第1及び第2の部分を伴うU字型断面外形を有し、第1及び第2の部分が、第3の部分によって結合される側壁を形成する、指装着支持構造体と、第1の部分上に配置された力センサと、第3の部分上に配置された加速度計と、指装着支持構造体に結合された触覚出力デバイスとを含む、装置が提供される。
別の実施形態によれば、指装着支持構造体は、第1及び第2の部分間の分離距離を調節するために変形するように構成された、変形可能な金属層を有する。
別の実施形態によれば、第3の部分は、第1及び第2の部分間の分離距離を調整するために、互いに対して摺動する部分を有する。
別の実施形態によれば、第3の部分は、電気的に調節可能な可撓性を有する構成要素を含む。
別の実施形態によれば、この装置は、指装着支持構造体の動作を追跡するカメラを有し、ビジュアル要素を表示するように構成された、電子デバイスを含む。
別の実施形態によれば、この電子デバイスは、ビジュアル要素を表示するディスプレイを有するヘッドマウントデバイスを含み、ヘッドマウントデバイスは、加速度計からの情報に基づいて、表示されたビジュアル要素をディスプレイ上で移動させるように構成される。
別の実施形態によれば、この電子デバイスは、ビジュアル要素を表示するディスプレイを有するヘッドマウントデバイスを含み、ヘッドマウントデバイスは、力センサからの情報に基づいて、表示されたビジュアル要素をディスプレイ上で移動させつつ、フィードバックとして触覚出力デバイスを用いて触覚出力を供給するように構成される。
別の実施形態によれば、この装置は、カメラを用いて追跡されるビジュアルマーカを含む。
別の実施形態によれば、このビジュアルマーカは、指装着支持構造体上の赤外発光ダイオードを含む。
前述は、単に例示であり、多様な変更が、説明された実施形態になされ得る。前述の実施形態は、個別に又は任意の組合せで実施され得る。

Claims (20)

  1. ユーザの指に装着されるように構成される指デバイスであって、前記指は、指の腹を有し、前記指デバイスは、
    前記指に結合するように構成される本体であって、前記本体は、互いに対して移動可能であって且つ前記指の腹を露出させたままにしてそれぞれ前記指の反対である第1と第2の側を下に伸びる、第1の本体側部と第2の本体側部とを有する、本体と
    前記第1の本体側部にあるセンサであって、前記センサは、前記指の前記第1の側に沿った異なる指圧力の大きさに基づいてそれぞれが別々の個別のセンサ測定値を生成する複数の構成要素を含む、センサと、
    前記センサからのセンサデータと、仮想現実表示コンテンツとの対話とに基づいて、前記指に触覚出力を提供するように構成される触覚出力デバイスと、を含む指デバイス。
  2. 前記センサは、力センサを含む、請求項1に記載の指デバイス。
  3. 前記力センサは、前記指の腹が外部表面を移動するときのせん断力を測定するように構成される、請求項2に記載の指デバイス。
  4. 前記力センサは、外部表面上の指押圧を検出するように構成される、請求項2に記載の指デバイス。
  5. 前記複数の構成要素、前記第1の本体側部における複数の力センサを含み、前記別々の個別のセンサ測定値は、前記指の前記第1の側に沿った別々の力測定値を含む、請求項2に記載の指デバイス。
  6. 前記触覚出力は、前記指でのボタンクリック感覚を模倣するように構成される、請求項1に記載の指デバイス。
  7. 前記センサは、加速度計を含む、請求項1に記載の指デバイス。
  8. 指のジェスチャ入力を収集する動作センサを更に含む、請求項1に記載の指デバイス。
  9. 前記指のジェスチャ入力は、3次元エアージェスチャを含む、請求項8に記載の指デバイス。
  10. 前記第1の本体側部及び前記第2の本体側部は、互いに向かって偏倚される、請求項1に記載の指デバイス。
  11. システムであって、
    ディスプレイを有し、且つユーザの頭部に結合されるように構成されるヘッドマウントデバイスと、
    前記ユーザの指に結合されるように構成される指デバイスであって、前記指デバイスは、
    互いに対して移動可能であって且つ前記指の腹を露出させたままにしてそれぞれ反対である前記指の第1と第2の側を下に伸びる、第1の部分及び第2の部分と、
    前記指の前記第1の側に沿った異なる指圧力の大きさに基づいてそれぞれが別々の個別の力センサ測定値を生成する複数の構成要素を含む力センサと、
    前記力センサを用いて収集された力測定値と、前記ディスプレイ上の表示コンテンツとに基づいて、前記指に触覚出力を提供する触覚出力デバイスと、を含むシステム。
  12. 前記ヘッドマウントデバイスは、前記指デバイスの移動を追跡するカメラを含む、請求項11に記載のシステム。
  13. 前記ヘッドマウントデバイスは、前記カメラによって追跡された前記指デバイスの前記移動に少なくとも部分的に基づいて、前記表示コンテンツを調節するように構成される、請求項12に記載のシステム。
  14. 前記指デバイスは、前記指デバイスの移動を追跡する加速度計を含む、請求項11に記載のシステム。
  15. 前記ヘッドマウントデバイスは、前記加速度計によって追跡された前記指デバイスの前記移動に少なくとも部分的に基づいて、前記表示コンテンツを調節するように構成される、請求項14に記載のシステム。
  16. ユーザの指に装着されるように構成される指デバイスであって、前記指デバイスは、
    互いに対して移動可能であって且つ前記指の腹を露出させたままにしてそれぞれ前記指の反対である第1と第2の側を下に伸びる、第1のハウジング側部と第2のハウジング側部とを有するU字型ハウジングと、
    外部表面上の指ジェスチャを検出する、前記第1のハウジング側部にあるセンサであって、前記センサは、前記指の前記第1の側に沿った異なる指圧力の大きさに基づいてそれぞれが別々の個別のセンサ測定値を生成する複数の構成要素を含む、センサと、
    前記指ジェスチャに応じて、前記指に触覚出力を提供する触覚出力デバイスであって、前記触覚出力は外部ディスプレイ上の視覚的フィードバックと同期する、触覚出力デバイスと、を含む指デバイス。
  17. 前記指ジェスチャは指タップを含む、請求項16に記載の指デバイス。
  18. 前記指ジェスチャはドラッグアンドドロップのジェスチャを含む、請求項16に記載の指デバイス。
  19. 前記触覚出力はボタンクリック感覚を含む、請求項16に記載の指デバイス。
  20. 前記複数の構成要素は、前記指の前記第1の側に沿った力センサのアレイを含む、請求項16に記載の指デバイス。
JP2021017706A 2017-06-29 2021-02-05 センサ及び触覚を用いた指装着デバイス Active JP7265567B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023001243A JP7464762B2 (ja) 2017-06-29 2023-01-06 センサ及び触覚を用いた指装着デバイス
JP2024054481A JP2024105230A (ja) 2017-06-29 2024-03-28 センサ及び触覚を用いた指装着デバイス

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762526792P 2017-06-29 2017-06-29
US62/526,792 2017-06-29
US16/015,043 2018-06-21
US16/015,043 US10838499B2 (en) 2017-06-29 2018-06-21 Finger-mounted device with sensors and haptics

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019511729A Division JP7086940B2 (ja) 2017-06-29 2018-06-21 センサ及び触覚を用いた指装着デバイス

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023001243A Division JP7464762B2 (ja) 2017-06-29 2023-01-06 センサ及び触覚を用いた指装着デバイス

Publications (2)

Publication Number Publication Date
JP2021093174A JP2021093174A (ja) 2021-06-17
JP7265567B2 true JP7265567B2 (ja) 2023-04-26

Family

ID=64738080

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019511729A Active JP7086940B2 (ja) 2017-06-29 2018-06-21 センサ及び触覚を用いた指装着デバイス
JP2021017706A Active JP7265567B2 (ja) 2017-06-29 2021-02-05 センサ及び触覚を用いた指装着デバイス
JP2023001243A Active JP7464762B2 (ja) 2017-06-29 2023-01-06 センサ及び触覚を用いた指装着デバイス
JP2024054481A Pending JP2024105230A (ja) 2017-06-29 2024-03-28 センサ及び触覚を用いた指装着デバイス

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019511729A Active JP7086940B2 (ja) 2017-06-29 2018-06-21 センサ及び触覚を用いた指装着デバイス

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023001243A Active JP7464762B2 (ja) 2017-06-29 2023-01-06 センサ及び触覚を用いた指装着デバイス
JP2024054481A Pending JP2024105230A (ja) 2017-06-29 2024-03-28 センサ及び触覚を用いた指装着デバイス

Country Status (7)

Country Link
US (4) US10838499B2 (ja)
EP (1) EP3485355A1 (ja)
JP (4) JP7086940B2 (ja)
KR (4) KR102670410B1 (ja)
CN (3) CN109690455B (ja)
TW (1) TWI706313B (ja)
WO (1) WO2019005586A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019005586A1 (en) 2017-06-29 2019-01-03 Apple Inc. FINGER-FITTED DEVICE WITH SENSORS AND HAPTIC TECHNOLOGY
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11010436B1 (en) 2018-04-20 2021-05-18 Facebook, Inc. Engaging users by personalized composing-content recommendation
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US11360558B2 (en) 2018-07-17 2022-06-14 Apple Inc. Computer systems with finger devices
JP7124616B2 (ja) * 2018-10-03 2022-08-24 コニカミノルタ株式会社 誘導装置、制御システム、および制御プログラム
CN113016038B (zh) * 2018-10-12 2024-06-18 索尼集团公司 避免与机器人手术设备碰撞的触觉障碍
JP7271245B2 (ja) * 2019-03-18 2023-05-11 株式会社ソニー・インタラクティブエンタテインメント 入力デバイス
US20220121283A1 (en) * 2019-06-12 2022-04-21 Hewlett-Packard Development Company, L.P. Finger clip biometric virtual reality controllers
US11422638B2 (en) 2019-07-08 2022-08-23 Apple Inc. Input devices that use self-mixing interferometry to determine movement within an enclosure
US11163340B2 (en) * 2019-07-09 2021-11-02 Apple Inc. Electronic devices with fiber composite friction hinges
GB201912546D0 (en) * 2019-08-31 2019-10-16 Tada Ryo Method and apparatus for wearable remote commuincation device
US11409365B2 (en) 2019-09-06 2022-08-09 Apple Inc. Self-mixing interferometry-based gesture input system including a wearable or handheld device
US20210089131A1 (en) * 2019-09-23 2021-03-25 Apple Inc. Finger-Mounted Input Devices
US11740742B2 (en) * 2019-09-23 2023-08-29 Apple Inc. Electronic devices with finger sensors
US11419546B2 (en) 2019-09-24 2022-08-23 Apple Inc. Wearable self-mixing interferometry device used to sense physiological conditions
JP2021060290A (ja) * 2019-10-07 2021-04-15 株式会社 資生堂 動作計測装置、動作計測システム、及び動作計測方法
WO2021076889A1 (en) * 2019-10-18 2021-04-22 Trustees Of Dartmouth College System, apparatus, and method for eyes-free text entry
CN111309145B (zh) * 2020-02-05 2021-03-23 吉林大学 一种基于生理物理建模的静电力触觉渲染方法
US11977681B2 (en) 2020-03-13 2024-05-07 Sony Group Corporation Information processing device and information processing method
US11360587B1 (en) 2020-04-07 2022-06-14 Apple Inc. Deployment systems for computer system finger devices
US11502713B2 (en) 2020-09-16 2022-11-15 Genki Instruments ehf. Smart ring
WO2022061263A1 (en) * 2020-09-21 2022-03-24 Daedalus Labs Llc Systems having peripherals with magnetic field tracking
US11301041B1 (en) 2020-09-30 2022-04-12 International Business Machines Corporation Hand tremor accessible using augmented reality user interface
JP7514531B2 (ja) 2020-11-02 2024-07-11 国立大学法人秋田大学 圧迫圧推定システム
US20230381511A1 (en) * 2020-11-06 2023-11-30 Nippon Telegraph And Telephone Corporation Kinetic control support apparatus, kinetic control support method, and program
CN116157854A (zh) * 2020-11-30 2023-05-23 华为技术有限公司 传感装置、电子设备和电子设备的控制方法
JP2022119612A (ja) * 2021-02-04 2022-08-17 豊田合成株式会社 触感提示装置及び触感提示方法
CN114779930B (zh) * 2021-04-14 2024-05-14 三峡大学 基于一对多支持向量机的vr用户触觉体验的情绪识别方法
CN113268385B (zh) * 2021-05-21 2023-05-12 中国船舶工业综合技术经济研究院 基于视触觉的多指按压力相位协同能力测量系统及方法
IT202100016157A1 (it) * 2021-06-21 2022-12-21 Univ Del Salento Sistema aptico indossabile
US20240184360A1 (en) * 2021-07-07 2024-06-06 Sam Drucker Wearable hand interface device and methods
CN117616366A (zh) * 2021-07-14 2024-02-27 索尼集团公司 输入装置、系统和控制方法
US11452354B1 (en) * 2021-08-28 2022-09-27 Marta Magnusson Electronic fingernail display
US12111965B2 (en) 2022-06-14 2024-10-08 Htc Corporation Handheld controller
TWI802441B (zh) * 2022-06-14 2023-05-11 宏達國際電子股份有限公司 手持控制器
WO2024042502A1 (en) 2022-08-26 2024-02-29 Genki Instrument Ehf. Improved smart ring
KR20240043264A (ko) * 2022-09-27 2024-04-03 고려대학교 산학협력단 인장력 감지 장치를 포함하는 vr 연동 장갑
JP2024072158A (ja) * 2022-11-15 2024-05-27 ソニーグループ株式会社 触覚提示装置及び触覚提示システム
TWI821062B (zh) * 2022-12-05 2023-11-01 和碩聯合科技股份有限公司 控制裝置及電子裝置
WO2024130378A1 (en) * 2022-12-22 2024-06-27 Innovobot Labs Inc. Method and device for testing haptic devices
WO2024152039A1 (en) * 2023-01-15 2024-07-18 Spurling George A Iii Functional artificial fingernail apparatus and method
GB2626362A (en) * 2023-01-19 2024-07-24 L Univ Ta Malta A Device for tracking hand movements of a user
KR102708315B1 (ko) * 2024-01-31 2024-09-24 주식회사 에이치디엠 콘텐츠와 사용자 간의 인터랙션을 위한 인터랙션 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090096746A1 (en) 2007-10-12 2009-04-16 Immersion Corp., A Delaware Corporation Method and Apparatus for Wearable Remote Interface Device
JP2009104428A (ja) 2007-10-24 2009-05-14 Nikon Corp ヘッドマウントディスプレイ装置及び携帯装置
JP2013003782A (ja) 2011-06-15 2013-01-07 Shiseido Co Ltd 動作検出センサ
JP2014142206A (ja) 2013-01-22 2014-08-07 Shiseido Co Ltd 動作検出センサ及び動作検出装置

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5631861A (en) 1990-02-02 1997-05-20 Virtual Technologies, Inc. Force feedback and texture simulating interface device
US5581484A (en) 1994-06-27 1996-12-03 Prince; Kevin R. Finger mounted computer input device
WO1997020305A1 (en) * 1995-11-30 1997-06-05 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US6388247B2 (en) 1998-02-20 2002-05-14 Massachusetts Institute Of Technology Fingernail sensors for measuring finger forces and finger posture
JP2001104256A (ja) * 1999-10-04 2001-04-17 Toriumu Kk 指先接触圧センサー
US20030214481A1 (en) 2002-05-14 2003-11-20 Yongming Xiong Finger worn and operated input device and method of use
JP4085691B2 (ja) * 2002-05-17 2008-05-14 セイコーエプソン株式会社 画像処理装置
US7042438B2 (en) * 2003-09-06 2006-05-09 Mcrae Michael William Hand manipulated data apparatus for computers and video games
KR100682901B1 (ko) 2004-11-17 2007-02-15 삼성전자주식회사 화상표시장치에서 전기활성폴리머를 사용하여 영상정보의핑거팁 햅틱을 제공하는 장치 및 방법
ITPI20040084A1 (it) 2004-11-18 2005-02-18 Massimo Bergamasco Interfaccia aptica portabile
CN1996214A (zh) * 2006-01-05 2007-07-11 邓仕林 指戴式光鼠标装置
JP4029410B2 (ja) * 2006-05-05 2008-01-09 治幸 岩田 指先装着センサによる入力装置
CN100507817C (zh) * 2006-07-11 2009-07-01 何进 鼠标
US20090278798A1 (en) 2006-07-26 2009-11-12 The Research Foundation Of The State University Of New York Active Fingertip-Mounted Object Digitizer
GB2442973A (en) * 2006-10-20 2008-04-23 Kevin Moonie Finger worn computer mouse with an optical sensor on a pivoting arm
JP5108485B2 (ja) * 2006-12-12 2012-12-26 トヨタ自動車株式会社 触覚に作用する方法およびそれを実現する触覚デバイス、屈曲可変機構
CA2591808A1 (en) * 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
US20110210931A1 (en) 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
WO2009024971A2 (en) * 2007-08-19 2009-02-26 Saar Shai Finger-worn devices and related methods of use
US20090153477A1 (en) * 2007-12-12 2009-06-18 Saenz Valentin L Computer mouse glove
US20150205417A1 (en) * 2008-01-04 2015-07-23 Tactus Technology, Inc. Dynamic tactile interface
US8032730B2 (en) 2008-05-15 2011-10-04 Hitachi, Ltd. Method and apparatus for I/O priority control in storage systems
JP2012503244A (ja) 2008-09-20 2012-02-02 リングボー,エルティーディー. 指に装着される装置および相互作用方法および通信方法
US8610548B1 (en) 2009-02-03 2013-12-17 University Of Utah Research Foundation Compact shear tactile feedback device and related methods
CN101625607A (zh) * 2009-08-17 2010-01-13 何进 一种指戴式鼠标
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9110505B2 (en) 2010-04-16 2015-08-18 Innovative Devices Inc. Wearable motion sensing computing interface
FR2962566B1 (fr) 2010-07-06 2013-05-17 Commissariat Energie Atomique Systeme de simulation d'un contact avec une surface par stimulation tactile
US8724861B1 (en) 2010-12-06 2014-05-13 University Of South Florida Fingertip force, location, and orientation sensor
US20120249419A1 (en) * 2011-03-30 2012-10-04 Bronner Sr Dennis M Thumb mountable cursor control and input device
US9104271B1 (en) 2011-06-03 2015-08-11 Richard Adams Gloved human-machine interface
JP5472539B2 (ja) * 2011-06-22 2014-04-16 株式会社村田製作所 指刺激呈示装置
JP5624530B2 (ja) 2011-09-29 2014-11-12 株式会社東芝 コマンド発行装置、方法及びプログラム
KR101320176B1 (ko) * 2011-12-26 2013-10-23 삼성전기주식회사 햅틱 피드백 디바이스
CN105283122B (zh) * 2012-03-30 2020-02-18 伊利诺伊大学评议会 可共形于表面的可安装于附肢的电子器件
US9317123B2 (en) 2012-06-13 2016-04-19 University Of Utah Research Foundation Skin stretch feedback devices, systems, and methods
US9891718B2 (en) * 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9968297B2 (en) * 2012-06-14 2018-05-15 Medibotics Llc EEG glasses (electroencephalographic eyewear)
KR20140016122A (ko) 2012-06-22 2014-02-07 한국전자통신연구원 손가락 착용형 데이터 송수신 장치
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
US10234941B2 (en) * 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US20140180582A1 (en) * 2012-12-21 2014-06-26 Mark C. Pontarelli Apparatus, method and techniques for wearable navigation device
JP6251957B2 (ja) 2013-01-23 2017-12-27 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
WO2014145942A2 (en) 2013-03-15 2014-09-18 Smart Patents L.L.C. Wearable devices and associated systems
US9092954B2 (en) 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US10342458B2 (en) 2013-11-13 2019-07-09 The University Of Western Ontario Finger segment tracker and digitizer
US9671826B2 (en) * 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
CA2931973A1 (en) 2013-11-29 2015-06-04 Motiv Inc. Wearable computing device
US20160295989A1 (en) * 2014-01-09 2016-10-13 Q-Tee Product Design, Llc Artificial nails with displays
CN104850216A (zh) * 2014-02-18 2015-08-19 太瀚科技股份有限公司 具有压力触觉感测器的手套
CN103853332B (zh) * 2014-03-20 2016-08-31 东南大学 一种用于移动终端的指套式力触觉交互装置及交互方法
CN106164808A (zh) * 2014-04-01 2016-11-23 苹果公司 用于戒指计算设备的设备和方法
JP2015219887A (ja) 2014-05-21 2015-12-07 日本メクトロン株式会社 電気触覚提示装置
US9711060B1 (en) * 2014-07-14 2017-07-18 Senstream, Inc. Biometric sensor ring for continuous wear mobile data applications
KR20160015050A (ko) 2014-07-30 2016-02-12 엘지전자 주식회사 반지형 이동 단말기
US20160058133A1 (en) 2014-08-28 2016-03-03 Joseph Fournier Analog watch with digital wearable system
JP6524661B2 (ja) 2014-12-19 2019-06-05 富士通株式会社 入力支援方法、入力支援プログラムおよび入力支援装置
US9851805B2 (en) 2014-12-24 2017-12-26 Immersion Corporation Systems and methods for haptically-enabled holders
US10082872B2 (en) * 2014-12-30 2018-09-25 Immersion Corporation Deformable haptic wearables with variable physical properties
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
WO2016160982A1 (en) * 2015-03-31 2016-10-06 Marcio Marc Abreu Wearable devices configured to support measurement and transmission apparatus
US10317940B2 (en) * 2015-04-29 2019-06-11 Lg Electronics Inc. Wearable smart device and control method therefor
US9645647B2 (en) 2015-05-13 2017-05-09 Immersion Corporation Systems and methods for haptic feedback for modular devices
US9763505B2 (en) * 2015-06-11 2017-09-19 Kelly W. Cunningham Holder and method for holding a personal computing device
US10042438B2 (en) 2015-06-30 2018-08-07 Sharp Laboratories Of America, Inc. Systems and methods for text entry
US10289239B2 (en) * 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
CN106445089A (zh) * 2015-08-10 2017-02-22 广州西麦信息科技有限公司 一种虚拟现实触感反馈装置及其方法
US20170045948A1 (en) 2015-08-12 2017-02-16 Fin Robotics, Inc. Controlling target devices
CN105159459B (zh) * 2015-09-06 2018-09-14 东南大学 一种可用于移动终端的虚拟物体三维形状触觉再现方法
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area
US10579216B2 (en) * 2016-03-28 2020-03-03 Microsoft Technology Licensing, Llc Applications for multi-touch input detection
US10852835B2 (en) * 2016-04-15 2020-12-01 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
US10347144B2 (en) * 2016-05-16 2019-07-09 Edward Subiakto Fix-smart wearable learning device with adjustable finger ring
DK201670737A1 (en) * 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DE102016111634B4 (de) * 2016-06-24 2019-04-25 Deutsches Zentrum für Luft- und Raumfahrt e.V. Vorrichtung und Verfahren zum Erzeugen eines taktilen Reizes
US10335045B2 (en) * 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
CN106774839A (zh) * 2016-11-23 2017-05-31 童迎伟 一种智能穿戴键盘装置及其输入方法
US20180286189A1 (en) * 2017-03-31 2018-10-04 Immersion Corporation Multi-stable haptic feedback systems
WO2019005586A1 (en) * 2017-06-29 2019-01-03 Apple Inc. FINGER-FITTED DEVICE WITH SENSORS AND HAPTIC TECHNOLOGY
US10115274B1 (en) * 2017-12-07 2018-10-30 Immersion Corporation Systems, devices and methods for wirelessly delivering haptic effects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090096746A1 (en) 2007-10-12 2009-04-16 Immersion Corp., A Delaware Corporation Method and Apparatus for Wearable Remote Interface Device
JP2009104428A (ja) 2007-10-24 2009-05-14 Nikon Corp ヘッドマウントディスプレイ装置及び携帯装置
JP2013003782A (ja) 2011-06-15 2013-01-07 Shiseido Co Ltd 動作検出センサ
JP2014142206A (ja) 2013-01-22 2014-08-07 Shiseido Co Ltd 動作検出センサ及び動作検出装置

Also Published As

Publication number Publication date
KR102670410B1 (ko) 2024-05-30
KR102536546B1 (ko) 2023-05-30
CN208861246U (zh) 2019-05-14
US20210055799A1 (en) 2021-02-25
JP2023052259A (ja) 2023-04-11
WO2019005586A1 (en) 2019-01-03
CN114578964A (zh) 2022-06-03
US20240168558A1 (en) 2024-05-23
EP3485355A1 (en) 2019-05-22
KR20220018094A (ko) 2022-02-14
KR102357972B1 (ko) 2022-02-04
KR20240090971A (ko) 2024-06-21
US10838499B2 (en) 2020-11-17
US20220382376A1 (en) 2022-12-01
JP7464762B2 (ja) 2024-04-09
US11914780B2 (en) 2024-02-27
US20190004604A1 (en) 2019-01-03
CN109690455B (zh) 2022-03-11
KR20230074849A (ko) 2023-05-31
TWI706313B (zh) 2020-10-01
JP2024105230A (ja) 2024-08-06
KR20190033587A (ko) 2019-03-29
CN109690455A (zh) 2019-04-26
JP2019526864A (ja) 2019-09-19
JP2021093174A (ja) 2021-06-17
TW201905672A (zh) 2019-02-01
JP7086940B2 (ja) 2022-06-20
US11416076B2 (en) 2022-08-16

Similar Documents

Publication Publication Date Title
JP7265567B2 (ja) センサ及び触覚を用いた指装着デバイス
CN210573659U (zh) 计算机系统、头戴式设备、手指设备和电子设备
US10564730B2 (en) Non-collocated haptic cues in immersive environments
US10417880B2 (en) Haptic device incorporating stretch characteristics
CN105144035B (zh) 利用触觉单元阵列模拟有形用户界面交互和手势
EP3418863A1 (en) Haptic dimensions in a variable gaze orientation virtual environment
JP2020109622A (ja) 可変曲率インタラクティブ装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230106

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230106

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230118

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230414

R150 Certificate of patent or registration of utility model

Ref document number: 7265567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150