JP6545258B2 - スマートリング - Google Patents

スマートリング Download PDF

Info

Publication number
JP6545258B2
JP6545258B2 JP2017514799A JP2017514799A JP6545258B2 JP 6545258 B2 JP6545258 B2 JP 6545258B2 JP 2017514799 A JP2017514799 A JP 2017514799A JP 2017514799 A JP2017514799 A JP 2017514799A JP 6545258 B2 JP6545258 B2 JP 6545258B2
Authority
JP
Japan
Prior art keywords
finger
smart ring
signal
user
smart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017514799A
Other languages
English (en)
Other versions
JP2017527922A (ja
JP2017527922A5 (ja
Inventor
キンツレ,ウオルフ
ピー. ヒンクリー,ケネス
ピー. ヒンクリー,ケネス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp, Microsoft Technology Licensing LLC filed Critical Microsoft Corp
Publication of JP2017527922A publication Critical patent/JP2017527922A/ja
Publication of JP2017527922A5 publication Critical patent/JP2017527922A5/ja
Application granted granted Critical
Publication of JP6545258B2 publication Critical patent/JP6545258B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0331Finger worn pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

コンピューティングデバイスは、ますます多くのフォームファクタで製造されている。これらのフォームファクタの多くは、キーボードやマウスといった従来的なユーザ入力技術には適していない。例えば眼鏡、リストバンド及び時計のようなウェアラブルデバイスは、限定的な入力オプションを有する傾向がある。例えば小さなウェアラブルスマートデバイスは、物的財産の接触(touch real estate)を欠く小さなインタフェースを有することがあり、あるいはデバイス自体のポジショニングが対話を困難にすることがある。本概念は、多くの難しいタイプのコンピューティングデバイスのためのユーザ制御オプションを提示することができる。
本説明はスマートリングに関する。一例において、スマートリングは、ユーザの指の第一体節に装着されるように構成されることが可能である。例示のスマートリングは、少なくとも1つの屈曲センサと指の第二体節との間の距離を検出することができるような方法でスマートリング上に固定される、少なくとも1つの屈曲センサを含むことができる。例示のスマートリングは、少なくとも1つの屈曲センサからの信号を分析して指のポーズを検出するように構成される入力コンポーネントも含むことができる。
上記で列挙される例は、読み手を助けるための迅速な参照を提供するように意図されており、本明細書で説明される概念の範囲を定義するようには意図されていない。
添付の図面は、本開示で伝えられる概念の実装を図示している。図示される実装の特徴は、添付の図面とともに解釈される以下の説明を参照することによって、より容易に理解されることが可能である。同様の要素を示すことが実現可能である場合はいつでも、様々な図面内の同様の参照番号が使用される。さらに、各参照番号の最も左側の数字は、その参照番号が最初に紹介される図面及び関連する説明を伝えるものである。
本概念の一部の実装に係る第1のスマートリング使用ケースシナリオの例を示す図である。
本概念の一部の実装に係る指のポーズの例を示す図である。 本概念の一部の実装に係る指のポーズの例を示す図である。 本概念の一部の実装に係る指のポーズの例を示す図である。
本概念の一部の実装に係る追加のスマートリング使用ケースシナリオの例を示す図である。 本概念の一部の実装に係る追加のスマートリング使用ケースシナリオの例を示す図である。 本概念の一部の実装に係る追加のスマートリング使用ケースシナリオの例を示す図である。 本概念の一部の実装に係る追加のスマートリング使用ケースシナリオの例を示す図である。
本概念の一部の実装に係るスマートリングシステムの例を示す図である。
本概念の一部の実装に係る例示のフローチャートを示す図である。
概要
本概念は、ユーザが、自身の指を使用してコンパニオンデバイス(companion device)を制御することを可能にすることができるスマートリングに関する。実装は、ユーザに指に装着されるスマートリング(例えばスマートリングデバイス、ウェアラブルリングデバイス、指装着デバイス)に関する。スマートリングは、指のポーズ(例えば指ポーズ、位置)を検出することができる。一部の場合には、スマートリングは、指との相対で座標系を定義し、座標系の1つ以上の軸との相対で指のポーズを検出することができる。スマートリングは、座標系との相対で指及び/又は指先の動き(例えば指ポーズにおける変化)を検出及び/又は解釈することができる。スマートリングは、指のポーズ及び/又は動きに関連する情報を無線で伝送してコンパニオンデバイスを制御することができる。
第1のスマートリング使用ケースシナリオの例
図1は、本概念の一部の実装に係る例示の使用ケースシナリオ100を図示している。シナリオ100では、例示のスマートリング102がユーザ104によって装着されている。ユーザ104は、例示のコンパニオンデバイス106と対話をするためにスマートリングを使用している。この例では、単一のスマートリング102のみが用いられている。しかしながら、ユーザ104が複数のスマートリング102を(例えば親指を含む複数の指に)装着することも可能である。
図1の例1に図示されるように、ユーザ104は、自身の人差し指108にスマートリング102を装着している。スマートリング102を、指先110とは反対の、人差し指の根本(例えば指の付け根)の近くに装着することができる。(本明細書で使用されるとき、「指」は「親指」を含む可能性がある)。
図1は、スマートリング102を使用するユーザによるコンパニオンデバイス106との対話の例1、例2及び例3を図示している。この場合、コンパニオンデバイス106は、ディスプレイ112を有するタブレット型のデバイスである。図1の例1に図示されるように、ユーザ104の人差し指108は、指先110がx−y基準軸の左上のハンドエリア(hand area)に向かうように伸びている。一部の実装では、スマートリング102は、指のポーズを検出することができ、この場合、指は相対的に伸びている。
図1の例2に図示されるように、人差し指108は相対的に屈曲されている(例えば曲げられている)。したがって、例2において、指先110は、例1と比べるとy基準軸に対して相対的に低い。この場合、スマートリング102は、指の相対的な屈曲を検出することができる。図1の例3に図示されるように、ユーザは、指先がx基準軸に沿って概して右に移動するように、人差し指を回転させている。この場合、スマートリングは、人差し指の相対的な伸張(例1と同様)及び/又は例1及び例2と比べて指が回転していること(例えば向きが変化していること)を検出することができる。
一部の場合には、スマートリング102によるコンパニオンデバイス106の制御は、カーソルの置を制御することのように、コンパニオンデバイス106のディスプレイ112上の位置に対応する指のポーズを含むことができる。例えば例1では、コンパニオンデバイス106のディスプレイ112上のポイント114は、x−y基準面内の指先110の相対的な位置に対応することができる。ポイント114の位置は、概して、人差し指108のポーズに対応する、ディスプレイの左上のハンドエリアに向いていることに留意されたい。
他の場合において、スマートリング102によるコンパニオンデバイス106の制御は、作業を実施する手のポーズ(work-engaging hand pose)に対応する指のポーズを含むことができる。例えば指の相対的な屈曲(例2)の検出は、指がコンピュータマウスを保持する手と同様の位置にあることを指示するように解釈することができる。一部の実装では、1つ以上のスマートリングを使用して仮想コンピュータマウスを近似する(例えばコンピュータマウスのアクションを模倣する)ことができる。例えば例2に図示される指のポーズをスマートリングによって検出して、仮想コンピュータマウスの制御入力を受け取るようコンパニオンデバイスに警告するために使用することができる。次いで、スマートリングを使用して、例えばカーソルを動かすことや、マウスボタンを右又は左クリックすることのように、コンピュータマウスの使用を模倣する後続の制御入力を検出することができる。
一部の実装では、スマートリング102は、屈曲を表す、例1から例2への人差し指108のポーズの変化を検出することができる。スマートリング102は、伸張と回転を表す、例2から例3への人差し指108のポーズの変化も検出することができる。屈曲/伸張型の指の動きは、図2に関連して詳細に議論される。回転型の指の動きは、図3〜図4に関連して詳細に議論される。
さらに、一部の実装では、スマートリング102は、指のポーズにおける変化を指先の動きとして解釈することができる。例えば指のポーズの変化を、図1のx−y基準面内の指先の動きとして解釈することができる。
一部の場合において、コンパニオンデバイスのコンピューティング環境(例えばコンテキスト)に応じて、人差し指108の動きをスマートリング102によって検出し、コンパニオンデバイス106の制御について解釈することができる。例えばユーザ104がスマートリングをコンパニオンデバイス上の描画プログラムとの対話に使用している場合では、例1から例2への人差し指の動きを、ディスプレイ112上の(例えば描画プログラムのGUI上の)ストローク116として解釈することができる。また、この場合、例2から例3への人差し指の動きを、ディスプレイ112上のストローク116として解釈することもできる。別の例では、ユーザは、ウェブブラウザと対話するためにスマートリングを使用している可能性がある。この場合、例1から例2への人差し指の動きを、ディスプレイ上の検索結果のスクロールとして解釈することが可能である。更に他の例では、指の動きを、ディスプレイ上のアイテムをドラッグする制御入力として解釈することが可能である。これらの例は、限定するように意図されておらず、むしろ、検出される指の動き及び/又はポーズを、様々な制御入力(例えばユーザ入力)のいずれかにマップすることができる。
要約すると、スマートリングは、指のポーズ及び/又は細かい粒度の微細な指先の動きを指の付け根から感知することができ、通常のリングのような見た目と感覚のデバイスを用いて容易に利用可能な制御入力を可能にする。スマートリングは、指先の機器の使用を必要とすることなく(例えばユーザが指先に何も装着する必要なく)、指のポーズを感知し、かつ/又は指の付け根から微細な指先の動きを追跡することができる。これは、ユーザの通常の手の機能を完全に保ち、かつ社会的に受容可能な外観を可能にする。
指のポーズの例
図2〜図4は、本概念の一部の実装に係る例示の指のポーズを図示している。
図2〜図3は例示のシナリオ200を示す。シナリオ200では、例示のスマートリング102がユーザ204によって人差し指206に装着されている。図2は、x−y−z基準軸のx軸に沿ったビューを示しており、図3は、z軸に沿ったビューを示す。図2〜図3を使用して異なる指ポーズを説明する。図2〜図3は、x−y面内の指先208の動きを説明するために使用することができる座標軸も図示している。
図2から認識することができるように、ユーザ204の人差し指206の指先208、親指210及び/又は手のひら212は、机やテーブルトップのような面(surface)214上に置かれている可能性がある。一部の場合において、指先208とは、ユーザ204が自身の手のひら212を面214上に置いているとき、面214に自然に又は楽に接触している人差し指206の末端部を指すことができる。
図2に図示されるように、人差し指206は、第一体節216(例えば基節骨)と、第二体節218(例えば中節骨)と、第三体節220(例えば末節骨)を有することができる。この例では、スマートリング102を、人差し指206の第一体節216上に装着することができる。人差し指は第一関節222(例えば中手指関節)と、第二関節224(例えば近位指節間関節)と、第三関節226(例えば遠位指節間関節)も有することができる。
図2は、人差し指206が相対的に伸びていて、指先208がy軸に沿って親指210及び/又は手のひら212から遠くにある例1を含む。図2は、人差し指206が相対的に屈曲していて、指先208がy軸に沿って親指210及び/又は手のひら212に対して相対的に近くにある例2も含む。
一部の場合には、指の動きは、屈曲(例えば曲がっていること)及び/又は伸張(例えば真っ直ぐになっていること)を含むことができる。例1における人差し指の相対的な伸張からの例2における相対的な屈曲へ進むことを、人差し指の屈曲と考えることができる。一部の場合には、屈曲又は伸張は、第一関節222、第二関節224及び/又は第三関節226を通して達成される可能性がある。
一部の場合には、第二関節224の屈曲(例えば曲げること)は、人差し指の第一体節216から第二体節218の距離における変化を生じる可能性がある。図2の例1では、スマートリング102は、第二体節218までの距離dとすることができる。図2の例2では、スマートリング102は、第二体節218までの距離dとすることができる。この場合、距離dは距離dよりも小さく、これは、例2において第二体節218が、よりスマートリングに近いことに対応する。一部の実装において、スマートリングは、距離d、距離d及び/又は距離dから距離dまでの変化を決定することができる。距離d及び距離dのような距離を決定するための例示のコンポーネントの議論は、図9に関連して提供される。
あるいはまた、スマートリング102は、指のポーズを検出するために他の指、指の体節、スマートリング等の間の距離を決定することができる。例えば一部の実装では、スマートリングは、第三体節220から親指210までの距離、あるいは第三体節から手のひら212までの距離を検出するか近似してもよい。
さらに、一部の場合には、手のひら212は、面214上の比較的固定された位置に置かれている可能性がある。この場合、手のひらが面上の比較的固定された位置に置かれている状態では、人差し指の屈曲又は伸張が、面に対してy方向の指先の動きを生じる可能性がある。一部の実装において、スマートリング102は、指ポーズにおける屈曲/伸張型の変化を、y方向の指の動きとして解釈することができる。
図1の例2及び例3に関連して説明したように、スマートリング102は、指の回転並びに屈曲/伸張によって異なる、人差し指108のポーズを検出することができる。ここで、図3を参照すると、指の回転運動を、x−y−z座標系と相関させることができる。
図3は、スマートリング102がユーザ204によって人差し指206に装着されているz軸に沿ったビューを図示している。図1の例3の実施例と同様に、図3の人差し指は相対的に伸びている。一部の場合において、ユーザ204は、x−y−z基準軸のうちのz軸に対して自身の手300を回転させることにより、自身の人差し指206及び/又は指先208を動かすことができる。例えば図3に図示されるように、ユーザは、手首302(例えば手根)で手を回転(例えば旋回)させることができ、手首をアンカーポイント304と考えることができる。この例では、指先208は弧306に従うことができる。図3において、弧306はアンカーポイント304から半径rである。指の屈曲/伸張が変化する場合、半径rも変化することに留意されたい。
図3に図示される例では、角度Φを指先の回転運動の量と考えることができる。言い換えると、人差し指の回転は、回転レートdΦ(例えばデルタΦ)とすることができる。一部の実装において、ユーザの楽な動きの範囲は、単位正方形308を定義することができる物理サイズ(例えばエリア)を有することができる。一部の場合において、単位正方形の中心を、座標系の原点310と考えることができる。原点は、アンカーポイント304に対して固定の距離wとすることができる。
手首に対する座標系の要素(例えばw、r、Φ)は、手首座標系の部分と考えることができる。図3に図示される座標系は限定するように意図されておらず、例えば単位正方形、原点、アンカーポイント等について他のサイズ及び/又は位置が考えられる。半径r及び角度Φを、座標系のx軸及びy軸に対する位置及び/又は動きにマッピングする技術が図9に関連して詳細に説明される。
一部の実装において、図3に図示される座標系を、図2図示される面214のような面に対して固定することができる。例えばユーザ204が手のひら212を面214上の比較的固定された位置に置いている場合、図3のアンカーポイント304は、図2の面214上の手のひら212の比較的固定された位置に対応する可能性がある。この場合、スマートリング102によって検出される人差し指206の回転運動(例えば角度Φ)を、面上のx方向の指先208の動きと相関させることが可能である。また、スマートリング102によって検出される人差し指の屈曲/伸張型の動き(例えば半径r)を、面上のy方向の指先の動きと相関させることが可能である。
一部の実装において、回転は依然としてz軸の周囲であるが、回転の軸の位置は、図3に図示されるものと異なってよい。一例が図4に図示される。図4は、例示のスマートリング102がユーザ404によって人差し指406に装着される例示のシナリオ400を示している。シナリオ400では、ユーザ404は、x−y−z基準軸のうちのz軸に対して人差し指406を回転させることにより、自身の人差し指406及び/又は指先408を動かすことができる。この例では、ユーザは、410(例えば内転、外転)で人差し指を回転(例えば旋回)させることができ、第一関節をアンカーポイント412と考えることができる。この例では、指先408は、アンカーポイント412から半径r'の弧414に沿って移動することができる。この場合、角度Φ’を指先の回転運動の量と考えることができる。一部の実装において、第一関節に対する座標(例えばr'、Φ’)を、第一関節座標系の部分と考えることができる。他の例では、回転の軸が、x−y面内のまた別のアンカーポイント(例えばユーザの肘に対するポイント)を通過してもよい。
要約すると、一部の実装において、スマートリングを使用して、該スマートリングが装着されている指のポーズを検出することができる。一部の場合には、スマートリングは、指のポーズにおける変化を検出することができる。さらに、ユーザの指先の動きについての座標系を定義することができる。次いで、スマートリングを使用して、座標系との相対で指先の動きを追跡することができる。例えばスマートリングは、任意の表面のx−y面内の指の微細な指先の動きを追跡することができる。
追加のスマートリングの使用ケースシナリオの例
図5〜図8は、追加の例示の使用ケースシナリオを図示する。
図5は、例示の使用ケースシナリオ500を示している。シナリオ500では、例示のスマートリング502がユーザ504によって人差し指506に装着されている。このシナリオは、例示のコンパニオンデバイス508も含む。コンパニオンデバイス508は、ユーザ504の右の後ろポケット510内に位置している。図5は、ユーザ504が自身の人差し指506でパンツの足部分512の横に触っている様子を示している。
この例では、人差し指506のポーズをスマートリング502によって検出することができる。この場合、ポーズ及び/又はポーズにおける変化を、コンパニオンデバイス608を制御する入力のような制御入力(例えばユーザ入力)として解釈することができる。さらに、コンパニオンデバイス508に関与するアクションを用いるなどして、解釈を適用することができる。例えばコンパニオンデバイス508はスマートフォン型のデバイスとすることができる。ユーザ504は、スマートフォンで通話を受けることがあり、コンパニオンデバイス508を後ろのポケットから取り出すことなくその通話を拒否したい可能性がある。この場合、ユーザ504は、人差し指でジェスチャを実行することができる。そのジェスチャをスマートリングデバイスによって検出することができる。スマートリングは、そのジェスチャをコンパニオンデバイス508に伝達することができる。コンパニオンデバイス508は、ジェスチャを、コンパニオンデバイス508のコンピューティング環境のコンテキスト内で解釈することができる。この例では、コンパニオンデバイス508は、通話を拒否するようジェスチャを解釈することができる。この機能を達成するための機能は、図9に関連して以下で説明される。
一部の実装では、スマートリング502によって検出されるジェスチャを、視線(line-of-sight)を用いずに(例えば光伝送)コンパニオンデバイス508に伝達することができる。例えば図5では、コンパニオンデバイス508はユーザ504の後ろのポケット510内にある。コンパニオンデバイス508がポケット内にあることに代えて、あるいはこれに加えて、ユーザ504は、自身の手がポケット(例えばパンツの前ポケット)内にある間に、スマートリングを使用している可能性がある。
一部の実装では、指506及び/又は手が接触している可能性がある表面の素材に関わらずに、指のポーズ及び/又は動きをスマートリング502によって検出することできる。一部の場合において、表面又は素材は硬いものである必要はない。例えば図5に図示されるパンツの足部分512は、硬い面又は素材ではない。
図5に図示される例では、人差し指506の指先は、y方向に垂直にパンツの足部分512の上方及び下方へ移動することができ、あるいはパンツの足部分をx方向に水平に前後するよう(描画ページ(drawing page)の内外に)移動することができる。このx−y座標系を使用して、コンパニオンデバイス508に対する、スマートリング502による制御入力を説明することができる。一部の実装において、コンパニオンデバイス508の向き(orientation)は、スマートリングに関連付けられる座標系に依存する可能性がある。例えばコンパニオンデバイス508は、ユーザ504の右の後ろのポケット510内に、左の後ろのポケット514内に、前のポケット(図示せず)内に置かれることや、ユーザ504によって手の中で保持される(例えばユーザの左手に保持される)ことがあり、あるいは椅子516の上や遠くの場所に置かれることのように、どこか他の場所に置かれる可能性がある。したがって、コンパニオンデバイス508は、様々な場所、位置又は向きのいずれかとすることとができ、スマートリングからの制御入力を受け取ることができる。この場合、コンパニオンデバイス508は、スマートリングの座標系との相対で収集される指のポーズ及び/又は動きをコンパニオンデバイス508の適切な向きにマッピングすることができる。
図6は、ユーザ604によって人差し指606に装着されている例示のスマートリング602を含む使用ケースシナリオ600を示す。この場合、ユーザ604は、デジタルディスプレイデバイス608(例えばコンパニオンデバイス)に関与している。この例では、デジタルディスプレイデバイスは深度センサ610を含む。一部の実装において、深度センサは、赤、緑、青プラス深度(RGBD)カメラとして発現することができる。他の中でも特に、様々なタイプの可視光、非可視光及び音響深度センサを用いることができる。
深度センサ610は、デジタルディスプレイデバイス608の正面のユーザ604の存在を検出し、デジタルディスプレイデバイスの正面でユーザによって実行される大きなスケールのジェスチャ(例えば腕の動き)を検出する際に有益である可能性がある。しかしながら、深度センサは、デジタルディスプレイデバイスの近くのユーザの制御入力を正確には検出できない可能性がある。例えば深度センサは、細かい粒度の微細な指先の動き(例えばストローク入力)を区別できない可能性がある。スマートリング602は、矢印612によって示される下向き方向のストローク入力のような微細な指先の動きを感知することができる。深度センサ610及びスマートリング602からのデータは、デジタルディスプレイデバイスの正面の大きなスケールのユーザジェスチャだけでなく、デジタルディスプレイデバイスにおけるより小さなスケールの微細な指先の動きを検出することができる。したがって、スマートリング602及び深度センサ610は集合的に、実際には「タッチ感知式」ではないが、デジタルディスプレイデバイスがタッチ感知式ディスプレイデバイスと同様に機能することを可能にすることができる情報を提供することができる。
図7は、図6の使用ケースシナリオと類似する、もう1つの使用ケースシナリオ700を示している。この場合、スマートリング602は、ユーザ604に関する情報を提供するスマート眼鏡702と協調的に動作することができる。例えばスマート眼鏡は、ユーザの正面にあるものに関する情報をキャプチャすることができる。この例では、スマート眼鏡は、デジタルディスプレイデバイス608上のコンテンツを「見る」ことができる。スマート眼鏡は、細かい粒度の微細な指先の動きをデジタルディスプレイデバイス608への制御入力として区別することにはあまり効果的ではない可能性がある。しかしながら、図6に関連して上述したように、スマートリング602は、ストローク入力704のような小さなスケールの制御入力を正確に決定することができる。スマートリング602及びスマート眼鏡702は、デジタルディスプレイデバイス608と通信して、接触型及び/又は非接触型ユーザジェスチャを検出して、強化された対話経験をユーザに提供することができる。
図8は、ユーザ804によって装着される例示のスマートリング802(1)及び802(2)に関与するユーザケースシナリオ800を示す。スマートリング802(1)はユーザの人差し指806に位置し、スマートリング802(2)はユーザの中指808に位置している。この場合、ユーザ804は、例1、例2及び例3においてスマート時計810(例えばコンパニオンデバイス)に関与している。一部の実装において、スマートリングは、指のポーズを検出して、指及び/又は手が表面に接触しているかどうかを検出することができる。図8に図示される例では、ユーザ804は、人差し指、中指及び/又は右手で表面に接触していない。
例1は、ユーザ804が人差し指806を相対的に伸ばしている様子を示している。人差し指の相対的な伸張をスマートリング802(1)によって検出することができる。相対的な伸張を、スマート時計810上で実行するアプリケーションを選択するような、第1のユーザ制御入力として解釈することができる。
例2は、ユーザ804が人差し指806を曲げることによって制御入力を実行している様子を示している。この制御入力をスマートリング802(1)によって検出して、スマートリングによって、人差し指の相対的な屈曲に対する指のポーズの変化により例1の制御入力から区別することができる。この制御入力を、例えばスマート時計810によるスクロールダウン制御入力として解釈することが可能である。
例3は、ユーザ804による制御入力を示している。この制御入力は、人差し指806と中指808の双方によって実行され(例えばマルチフィンガージェスチャ)、スマートリング802(1)及びスマートリング802(2)によって検出されることを除いて、例2と同様である。この制御入力を、例えばスマート時計810による「選択」制御入力として解釈することが可能である。この機能を達成するための機能は、図9に関連して下述される。
例示のスマートリングシステム
図9は例示のスマートリングシステム900を示す。説明の目的で、システム900は、他の中でも特に、スマートリング902(スマートリング102、502、602及び/又は802と同様)と、複数の例示のコンパニオンデバイス106(例えばタブレット型のデバイス)、508(例えばスマートフォン型のデバイス)、608(例えばデジタルディスプレイデバイス)、610(例えば深度センサ)、702(例えばスマート眼鏡)及び810(例えばスマート時計)を含む。これらのデバイスのいずれかは、1つ以上のネットワーク904上で通信することができる。
スマートリング902のための2つの構成906(1)及び906(2)が図示されている。簡潔に言うと、構成906(1)はオペレーティングシステム中心の構成を表し、構成906(2)はシステムオンチップ構成を表す。構成906(1)は、1つ以上のアプリケーション908、オペレーティングシステム910及びハードウェア912へ編成される。構成906(2)は、共有リソース914、専用のリソース916及びこれらのリソース間のインタフェース918へ編成される。
いずれの構成においても、スマートリング902は、ストレージ920、プロセッサ922、バッテリ924(又は他の電源)、充電器926、センサ928、通信コンポーネント930、入力コンポーネント932及び/又はジェスチャコンポーネント934を含むことができる。これらの要素を、物理的なフィンガーバンド936内/上に配置することができ、あるいは他の方法で関連付けることができる。例えばスマートリング902が従来的な「ジュエリー」リングの一般的な外観を有するように、これらの要素をフィンガーバンド936内に配置することができる。フィンガーバンド936は、他の材料の中でも特に、プラスチック、ポリマー及び/又はヒスイや他の鉱物等の自然の材料のような様々な材料で形成されることができる。スマートリング902は、従来的なジュエリーリングを模倣するよう、宝石のような装飾物的態様も含むことができる。
一部の実装において、入力コンポーネント932(3)及び/又はジェスチャコンポーネント934(3)のインスタンスを、図9に図示されるスマート時計810のようなコンパニオンデバイス上に配置することができる。あるいはまた、入力コンポーネント932(3)及び/又はジェスチャコンポーネント934(3)を、複数のデバイスを含む任意のコンパニオンデバイス(例えばデバイス106、508、608、610及び/又は702)上に、かつ/又はリモートのクラウドベースのリソース(図示せず)上に配置することができる。
一視点から、スマートリング902及びコンパニオンデバイス106、508、608、610、702及び/又は810のうちのいずれかをコンピュータと考えることができる。
「デバイス」、「コンピュータ」又は「コンピューティングデバイス」という用語は、本明細書で使用されるとき、幾らかの量の処理能力及び/又はストレージ能力を有する任意のタイプのデバイスを意味することができる。処理能力は、コンピュータ読取可能命令の形でデータを実行して機能を提供することができる1つ以上のプロセッサによって提供することができる。コンピュータ読取可能命令及び/又はユーザ関連データのようなデータを、コンピュータの内部又は外部とすることができるストレージのような、ストレージ上に格納することができる。ストレージは、他の中でも特に、揮発性又は不揮発性メモリ、ハードドライブ、フラッシュストレージデバイス及び/又は光ストレージデバイス(例えばCD、DVD等)、リモートストレージ(例えばクラウドベースのストレージ)のうちのいずれか1つ以上を含むことができる。本明細書で使用されるとき、「コンピュータ読取可能媒体」という用語は信号を含む可能性がある。対照的に、「コンピュータ読取可能記憶媒体」という用語は信号を除外する。コンピュータ読取可能記憶媒体は、「コンピュータ読取可能記憶デバイス」を含む。コンピュータ読取可能記憶デバイスの例には、他の中でも特に、RAMのような揮発性記憶媒体と、ハードドライブ、光ディスク及び/又はフラッシュメモリのような不揮発性記憶媒体が含まれる。
上記のように、構成906(2)は、システムオンチップ(SOC)タイプの設計と考えることができる。そのような場合、デバイスによって提供される機能を、単一のSOC又は複数の結合SOCに統合することができる。1つ以上のプロセッサは、メモリやストレージ等の共有リソース、かつ/又はある特定の機能を実行するように構成されるハードウェアブロックのような1つ以上の専用のリソースと協働するように構成されることが可能である。したがって、「プロセッサ」という用語は、本明細書で使用されるとき、中央処理ユニット(CPU)、グラフィカル処理ユニット(GPU)、コントローラ、マイクロコントローラ、プロセッサコア又は他のタイプの処理デバイスを指すこともできる。
一般に、本明細書で説明される機能のいずれかを、ソフトウェア、ファームウェア、ハードウェア(例えば固定の論理回路)又はこれらの実装の組合せを使用して実装することができる。「コンポーネント」という用語は、本明細書で使用されるとき、一般に、ソフトウェア、ファームウェア、ハードウェア、全体のデバイス又はネットワーク、あるいはこれらの組合せを表す。ソフトウェア実装の場合、例えばこれらは、プロセッサ上(例えば1つ以上のCPU)で実行されるとき、指定のタスクを実行するプログラムコードを表すことがある。プログラムコードを、コンピュータ読取可能記憶媒体のような、1つ以上のコンピュータ読取可能メモリデバイスに格納することができる。コンポーネントの特徴及び技術はプラットフォーム独立であり、これは、そのような特徴及び技術を、様々な処理構成を有する様々な市販のコンピューティングプラットフォーム上で実装してもよいことを意味する。
複数のタイプのセンサ928をスマートリング902に含めることができる。例えばスマートリング902は、屈曲センサ938及び回転センサ940を含むことができる。一部の実装において、屈曲センサは、距離d(例えば図2の例1のd及び例2のd)を測定することによって、人差し指206の中間部分218のスマートリング902に対する近接性を感知することができる。屈曲センサは、距離dに関連する近接性信号を生成することができる。屈曲センサは、連続して検出される信号のように、変化する近接性信号も生成することができる。
一例において、屈曲センサ938は、指の屈曲及び/又は伸張を測定するための赤外近接性センサとすることができる。この例では、屈曲センサは、LED及び検出器を有する赤外エミッタから成ることができる。赤外エミッタ及び検出器は一緒に、赤外近接性センサとして機能することができる。例えば検出器によって検出されるIR光の量は、スマートリング902とユーザの人差し指の中間部分との間の距離に関連する可能性がある。一部の場合には、皮膚のランバート反射を想定することができ、光の強さは、距離とともに二次的に減少する可能性がある(例えば逆二乗の法則)。距離dは、人差し指が屈曲又は伸張するときに変化する可能性がある。一部の実装では、赤外エミッタ及び検出器は、狭いビューアングル(例えばそれぞれ6°及び12°)を有し、他の指又は入力面(例えば図2の表面214)からのスプリアス反射を防ぐことができる。環境光の変化を抑制するために、最初に、LEDをターン「オフ」して検出器からの出力をレジストレーションし、次にLEDをターン「オン」して検出器からの出力をレジストレーションすることによって、距離dを測定することができる。LEDが「オフ」のときの値を、LEDが「音」のときの値から減算して、距離dを決定することができる。
一部の実装において、回転センサ940は、指の回転の指示を与えることができる回転信号を生成することができる。回転センサは、変化する回転信号を生成することもできる。例えば回転センサは、図3に図示される角度Φのように、指の回転を測定するための1軸(1-axis)ジャイロスコープとすることができる。
図9において、屈曲センサ938及び回転センサ940は、フィンガーバンド936から突出しているように示されているが、フィンガーバンドに対してより一体的に取り付けることもできる。あるいはまた、屈曲センサ及び回転センサは、必ずしも相互に近接して取り付けられる必要がない。例えば回転センサを、屈曲センサとは反対側に取り付けることができる(図示せず)。例えば回転センサを、フィンガーバンド上の「宝石」又は他の装飾として装わせることができる。あるいはまた、装飾により、バッテリ924及び/又は他のコンポーネントを含むか、かつ/又は見えないようにすることができる。
入力コンポーネント932は、センサ928から制御入力(例えば信号)を受け取ることができる。一部の実装において、入力コンポーネント932は、指のポーズ及び/又は動きをセンサ信号から特定することができる。例えば入力コンポーネントは、センサからの信号を使用して、図2の例1の人差し指206の相対的な伸張を特定することができる。この例では、入力コンポーネントは、屈曲センサ938からの信号で指の相対的な伸張を特定してもよい。例えば屈曲センサ938からの信号は、相対的な伸張を示す距離dと相関することができる。
一部の実装において、入力コンポーネント932は、センサ928からの信号を使用して、指のポーズにおける変化を特定することができる。例えば図1を参照すると、入力コンポーネントは、センサからの信号を使用して、例2と例3との間の人差し指108のポーズにおける変化を検出することができる。この場合、入力コンポーネントは、屈曲センサ938からの信号を使用して指の伸張を特定することができ、回転センサ940からの信号を使用して指の回転を特定することができる。
さらに、一部の実装において、入力コンポーネント932は、図3に関連して説明したような、指先208の動きについて座標系を定義することができる。入力コンポーネントは、指のポーズ、ポーズの変化及び/又は座標系情報をジェスチャコンポーネント934に伝達することができる。ジェスチャコンポーネント934は、定義された座標系との相対で、指のポーズ及び/又は動きをユーザの指先の動きとして解釈することができる。例えばジェスチャコンポーネントは、指のポーズの変化を、図3に図示されるx−y面内の指先の動きとして解釈することができる。
一部の実装において、ジェスチャコンポーネント934は、指のポーズ及び/又は動きに関連付けられる制御入力ジェスチャを特定することができる。これらの場合の一部では、ジェスチャコンポーネントは、ユーザによって意図された制御入力ジェスチャをより正確に特定する、コンパニオンデバイス(例えばコンパニオンデバイス106)のコンピューティング環境と考えることができる。例えばジェスチャコンポーネントは、ユーザが対話しているコンパニオンデバイスのコンピューティング環境が、描画プログラム、インターネットブラウザ、ワードプロセッシングアプリケーション等に対応すると決定することができる。したがって、ジェスチャコンポーネントは、ユーザが関与している対話のタイプに応じて、指のポーズ又は動きについての異なる解釈を提供することができる。異なる解釈の例は、図1に関連して与えられている。
要約すると、入力コンポーネント932は、屈曲センサ938又は回転センサ940のようなセンサ928から信号を受け取ることができる。入力コンポーネントは、信号から指のポーズ及び/又は動きを決定することができる。指のポーズをジェスチャコンポーネント934に伝達することができ、ジェスチャコンポーネント934は指のポーズ/動きを、コンパニオンデバイスに対する様々な複雑で細かい粒度の微細なユーザ制御入力のいずれかとして解釈することができる。例えばユーザは、スマートリングを使用してコンパニオンデバイスにテキストを入力することができる。一部の場合には、制御入力は、ジェスチャコンポーネントによって2次元(2D)の入力として解釈される可能性がある。他の場合には、制御入力は、3次元(3D)の入力、あるいはタッチ感知又はタッチ接近のような他のタイプの入力として解釈される可能性がある。スマートリングの更なる説明は以下で提供される。
図9を再び参照すると、通信コンポーネント930は、スマートリング902が、図示されるコンパニオンデバイスのような様々なデバイスと通信することを可能にすることができる。通信コンポーネントは、レシーバとトランスミッタ、及び/又は、セルラ、Wi-FI(IEEE802.xx)Bluetooth(登録商標)(例えばBluetoothトランスミッタ)等のような様々な技術で通信するための他の無線周波数回路を含むことができる。
一部の場合において、スマートリング902上の入力コンポーネント932は、比較的ロバストであり、センサ928から受け取った信号に対して分析を実行して指のポーズ及び/又は指の動きを決定することができることに留意されたい。入力コンポーネントは、決定された指のポーズ及び/又は動きの指示を、スマートリング上のジェスチャコンポーネント934へ、かつ/又はスマートリングが協調的に動作しているコンパニオンデバイス(例えばデバイス106、508、608、610、702及び/又は810のいずれか)へ送信することができる。他のシナリオでは、スマートリング上の入力コンポーネントは、信号及び/又は他の情報を、処理のためにクラウドベースのリソースのようなリモートリソースへ送信することができる。
同様に、一部の場合には、スマートリング902上のジェスチャコンポーネント934は、比較的ロバストであり、入力コンポーネント932から受け取った情報に対して分析を実行してユーザ制御入力を特定することができる。例えばスマートリング上のジェスチャコンポーネントは、特定された制御入力に基づいてコンパニオンデバイス(例えばデバイス106、508、608、610、702及び/又は810のいずれか)に対するアクションを指示することができる。他の場合には、ジェスチャコンポーネント934(3)のようなジェスチャコンポーネントを、スマートリングが協調的に動作しているコンパニオンデバイス上に配置することができる。これらの場合において、入力コンポーネントは、信号、指のポーズ及び/又は指の動き情報を、分析のためにコンパニオンデバイス上のジェスチャコンポーネント934(3)に送信することができる。コンパニオンデバイス上のジェスチャコンポーネントは、次いでセンサ信号、指のポーズ及び/又は指の動き情報を分析して、ユーザ制御入力を解釈及び/又は特定することができる。加えて、一部の場合において、ジェスチャコンポーネントは、1つ以上の追加のスマートリング上のセンサ、コンパニオンデバイス及び/又は別のデバイスからの追加の信号を分析して、集合的にユーザ制御入力を解釈することもできる。他のシナリオでは、ジェスチャコンポーネントは、情報を処理のためにクラウドベースのリソースのようなリモートリソースに送信することも可能である。
一部の実装は、較正手順(calibration procedure)を用いて個々のユーザとの精度を強化することができる。(図3に関連して説明されるような)手首座標系のための例示の較正手順は、ユーザが、自身の手首及び装置付きの指(例えばスマートリングを装着している指)の指先を面(例えば図2の面214等)に置いている状態で開始することができる。手首を面上に置いていることは、ユーザが手首で楽に旋回(例えば回転)させることができるような方法で手のひら、手、手首又は腕を面上に置いている状態を含むことがあることに留意されたい。一部の場合には、手首及び指先を面上に置いていることは、対話中にユーザの腕及び/又は手の疲労を防ぐことができる。加えて、一部の場合には、手首及び指先を面上に置いていることは、様々な手の動きを限定し、スマートリング上のセンサで測定することができるこれらの動きを促進することをができる。
図3に関連して上記したように、手首のアンカーポイント304は、空間内の固定点と考えることができる。手首302が比較的固定の場所にあるとき、装置付きの人差し指206の指先208は、2つの基本的な動きを使用して動かすことができる。第1の動きは、手首302における手300の回転である(左/右の動き又は図3に図示されるx方向の動きに相関される)。手300の回転は、半径rで弧306に沿って指先208を動かすことができる。回転は角度Φを変えることができる。第2の動きは、装置付きの人差し指206の屈曲/伸張である(上/下の動き又は図3に図示されるy方向の動きに相関される)。人差し指を屈曲/伸張させることは、指先208を、手首のアンカーポイント304から遠くへ、かつ/又は近くへ動かすことができ、これは半径rを変えることができる。指先208がy方向に沿って手首のアンカーポイント304と一直線上にあるとき、x値及び角度Φは双方ともゼロであると考えることができる。
一部の実装において、入力コンポーネント932は、回転センサ940の出力dΦ(例えば回転速度、デルタΦ)を経時的に統合(integrate)することにより、角度Φを決定することができる。例えばdΦを、角度Φ=0の対話の開始から統合することができる。回転センサ940がセンサ928の1つとしてジャイロスコープを含む場合、ジャイロスコープのドリフトは修正されないことがあり、あるいはより長い対話等のために磁気計を用いて修正されることがある。
一部の実装において、入力コンポーネント932は、測定された距離d(図2を参照されたい)と半径rとの間のマッピングにより半径rを決定することができる。スマートリング902上の屈曲センサ938が赤外近接性センサを含む場合、マッピングは、幾つかの非線形効果を説明することを含む可能性がある。例えば非線形効果は、指の屈曲/伸張の動きの運動学、赤外近接性センサのIRの明るさの低下及び赤外近接性センサのIR検出器内の非線形性を含むことができる。一部の場合において、較正手順は、既知の半径rのセットに沿ってユーザに指を移動させて、対応する距離dの値を記録することを含むことができる。
一部の実装において、入力コンポーネント932は、線形モデルを使用して距離dと半径rとの間のマッピングを近似することができる。あるいはまた、入力コンポーネントが角度Φを使用してx方向の線形運動を直接近似することができるように、角度Φは、実際には相対的に小さいことがある。したがって、この場合、センサ読取値を手首座標系にマッピングするためのモデルは、線形とすることができる:x=a*Φ、y=b*d−wである。変数「a」及び「b」の例示の較正を以下で説明する。
一部の実装において、ユーザによって実行される初期化シーケンス(initialization sequence)を、入力コンポーネント932によって使用して、距離d及び角度Φに対応するセンサ値を見つけることができる。例示の初期化シーケンスは、(図2の面214のような)表面上のx−y面内の円を指先208で3回トレースすること(又は何らかの他の特有のアクション)を含むことができる。一部の場合には、円をトレースすることは、手首が固定の場所に維持されると仮定して、ユーザにとって動きの快適な範囲内で指先を移動させることができる。これらの場合において、初期化シーケンスは、図3に示される手首座標系の単位正方形308内の動きを含むことができる。入力コンポーネントは、円のサイズを使用して単位正方形308の物理的なサイズを定義することができ、また原点310(例えば円の中心)を提供することもできる。
一部の実装において、ユーザが初期化シーケンスを実行している間、入力コンポーネント932は、以下の較正パラメータを計算するのに使用することができるセンサデータを記録することができる:構成パラメータは、a=0.35/SD(Φ)、b=0.35/SD(d)、w=平均(d)であり、SDは標準偏差である。ここで、0.35は、ピーク間振幅(peak-to-peak amplitude)が1で正弦波信号の逆SD(inverse SD)であるスケール係数(≒1/2√2)である。この例では、ユーザが円をトレースするので、角度Φ及び「b」は正弦波となり、したがって、スケール係数は、ユーザのトレースした円を、手首座標系の単位正方形308(物理サイズ)にマップすることができる。
要約すると、入力コンポーネント932は、センサ読取値を手首座標系にマッピングするために線形モデルを使用して、座標x及びyにおける指先位置を決定することができる。入力コンポーネントは、センサ信号を使用して角度Φ及び半径rを決定することができる。入力コンポーネントは、次いで角度Φ及び半径rを使用して、指先位置のx及びy座標を回復することができる。このようにして、入力コンポーネントは、x−y面における様々な細かい粒度の微細なユーザ制御入力の解釈のために、ジェスチャコンポーネント934に情報を送信することができる。例えばジェスチャコンポーネントは、ユーザによってユーザの指でトレースされるテキスト入力、コンパニオンデバイスの画面上のカーソルによるポインティング、あるいはスワイプ、スクロール等といったユーザによって実行される様々なジェスチャを解釈することができる。言い換えると、スマートリング902は、任意の利用可能な面を使用してタッチ対応式の面上の制御入力の近似を可能にすることができる。面は、任意の向きを有してよく、フラットである必要はない。
ユーザは、図4に図示されるように、異なる回転軸に対して自身の指を動かしてよいことに留意されたい。しかしながら、回転軸の場所のシフトは原点から座標系までの距離d(図3を参照されたい)を変化させるが、場所のシフトは、座標系を較正するため、あるいは座標x及びyにおける指先の位置を回復するために、入力コンポーネント932によって使用される他のモデル仮定(modelling assumption)を変えない可能性がある。例えば線形マッピングモデルを使用することができる。
再び図9を参照すると、一部の実装において、入力コンポーネント932は、スマートリングを非アクティブのスリープ状態におき、制御入力及び/又はジェスチャのよう日常的なユーザの活動についての偶発的な解釈を防ぐことができる。あるいはまた、スマートリングを非アクティブ状態においてエネルギーを節約することができる。例えば回転センサ940は、使用中でないときは、低電力の自律運動検出状態とすることができる。
ユーザが制御入力を利用可能面に入力する準備ができると、入力コンポーネント932によってスマートリング902をアクティブ状態にすることができる。言い換えると、スマートリングとの対話を開始(例えばトリガ)して、入力コンポーネントによってスマートリングを「ロック解除」することができる。一部の実装では、ユーザがスマートリングを用いて特有の動きを実行するとき、特定のスマートリングをアクティブ状態にしてもよい。一部の場合において、特有の動きは、スマートリングを構成するためにも使用され得る初期化シーケンスとすることができる。例えばx−y面内の円を3回トレース(又は何らかの他の特有のアクション)する初期化シーケンスは、入力コンポーネントによって、スマートリングを「ロック解除」することと、スマートリングによる制御入力のために座標系を較正することの双方として解釈されることが可能である。このようにして、座標系の単位正方形のサイズ範囲を、(快適な動きの範囲に関して異なる可能性がある)異なる用途又は身体のポーズに適合させることができる。言い換えると、単位正方形のサイズ範囲は、ユーザの位置に応じた使用の間で変えることができ、スマートリングの座標系をより適切な単位正方形のサイズに再構成することができるので有利である。
一部のスマートリングシステムは、画面を有するコンパニオンデバイス上の視覚的フィードバック(例えばカーソル)、あるいは視覚的フィードバックの使用ケースのためのオプションを含むことができる。これらのシステム又は使用ケースでは、スマートリング902との対話は、視覚的フィードバックとともに、使用中に「常にオン」にすることができる。これらの場合において、ユーザは、スマートリングを備えた指を対応する方向に動かすことにより、カーソルを画面の端に向けて動かすことができる。一部の場合において、ユーザは、カーソルがコンパニオンデバイスの画面の端に到達した後等にも、自身の指を対応する方向に動かし続けてもよい。一部の実装では、カーソル位置を、画面の端で保持(例えばピン止め)することができ、これにより、ユーザがスマートリングを用いてカーソルを画面の端に向けて動かすときに、その方向における任意の更なる移動が、空間内に沿って手首座標をドラッグすることになる。一観点から見ると、(図3に図示される単位正方形308のような)単位正方形を画面のエリアにマップすることができる。カーソルが画面の端に到達すると、スマートリングシステムは、単位正方形が画面と位置合わせ及び/又はマッピングされたままになるよう、単位正方形及び/又は画面のアライメントを調整することができる。このようにして、カーソルが、画面から離れること、あるいは「なくなる」ことを防ぐことができる。カーソルを画面ビュー内に維持する他の方法、あるいは視覚的フィードバックとともにスマートリングの「常にオン」の使用を適応させる他の方法も考えられる。
さらに、センサに電気を供給すること及びセンサデータを分析することは電気を消費する。入力コンポーネント932は、リソースを節約するように、センサ928、バッテリ924、プロセッサ922及び/又は他のコンポーネントを管理することができる。他の構成では、電力管理コントローラ(図示せず)が、これらのコンポーネントを管理してもよい。
要約すると、本実装の少なくとも一部は、ユーザが制御入力を入力することを可能にするウェアラブルスマートリングを提供することができる。スマートリングは、指ポーズ検出を使用してユーザの対話インスタンスをキャプチャすることができる。
例示の方法
図10は、本概念の少なくとも一部の実装に合致する技術又は方法1000のフローチャートを図示している。
ブロック1002において、方法1000は、手の指に装着されたスマートリングから回転信号を取得することができる。回転信号は、手に対する指の回転を反映している。
ブロック1004において、方法1000は、指の屈曲を反映する屈曲信号を取得することができる。
ブロック1006において、方法1000は、回転信号及び屈曲信号を分析して、指によって行われる制御信号を特定することができる。一部の場合において、この分析は、指のポーズを特定することを含むことができる。
一部の場合において、方法1000を、プロセッサ又はマイクロコントローラによってスマートリングに対して実行することができる。他の場合において、信号をスマートリングから、コンパニオンデバイスのようにスマートリングに近接してスマートリングと協調的に動作する別のデバイスに送信することができる。コンパニオンデバイスは、次いで解釈を実行することができる。一部の実装は、単一のユーザが複数のスマートリングを装着することに関与することができる。そのような場合において、各スマートリングは、その信号を(例えば信号とともに異なるリング識別子を用いて)コンパニオンデバイスに伝達することができる。コンパニオンデバイスは、次いで、制御入力を単一の指又は複数の指に関連して(例えばマルチフィンガー制御入力)解釈することができる。
一部の場合において、スマートリングは、他のパラメータを感知する他のセンサを含んでもよい。他のセンサからの信号を、屈曲センサ及び/又は回転センサからの信号と組み合わせて解釈して、ユーザ制御入力を特定することができる。更に他の場合において、他のデバイス上のセンサは、感知された信号と組み合わせて用いることができる信号を提供して、ユーザ制御入力を特定することができる。そのようなシナリオの例は、図6〜図7に関連して図示されており、ここでは、デジタルディスプレイデバイス608、深度センサ610及び/又はスマート眼鏡702がユーザを感知して、屈曲及び/又は回転データとの組合せで有益なデータを提供することができる。また、デジタルホワイトボードシナリオのような一部の場合には、複数のユーザが制御入力を実行していてよく、各ユーザが、1つ以上のスマートリングを装着していてよい。
結論
要約すると、本実装は、ユーザの指に装着されるスマートリング上の屈曲センサ及び/又は回転センサから指のポーズに関する有益な情報を導出することができる。
説明される方法又は処理を、上記で説明されるシステム及び/又はデバイスにより、かつ/あるいは他のデバイス及び/又はシステムによって実行することができる。方法が説明される順序は、限定として解釈されるように意図されておらず、また、説明される任意の数の動作を任意の順番で組み合わせて、当該方法又は代替的な方法を実装することができる。さらに、デバイスが方法を実装することができるように、当該方法を、任意の適切なハードウェア、ソフトウェア、ファームウェア又はその組合せで実装することができる。ある場合には、方法は命令のセットとしてコンピュータ読取可能記憶媒体上に格納され、その結果、コンピューティングデバイスのプロセッサによる実行が、コンピューティングデバイスに方法を実行させる。
ユーザ制御入力を検出することに関する技術、方法、デバイス、システム等を、構造的特徴及び/又は方法的動作に特有の言葉で説明したが。添付の特許請求の範囲において定義される主題は、必ずしも説明される具体的な特徴又は動作に限定されない。むしろ、具体的な特徴及び動作は、特許請求に係る方法、デバイス、システム等を実装する例示の形式として開示される。

Claims (15)

  1. ユーザの指の第一体節に装着されるように構成されるスマートリングと;
    少なくとも1つの屈曲センサと前記指の第二体節との間の距離を検出することができるような方法で前記スマートリング上に固定される少なくとも1つの屈曲センサと;
    入力コンポーネントであって、
    前記少なくとも1つの屈曲センサからの信号を分析して初期化シーケンスを検出し、
    前記検出された初期化シーケンスに応答して、前記スマートリングの座標系を較正し、
    前記較正された座標系を使用して前記少なくとも1つの屈曲センサからの更なる信号を解釈する
    うに構成される入力コンポーネントと;
    を具備するシステム。
  2. 前記入力コンポーネントは更に、前記検出された初期化シーケンスに応答して前記スマートリングを非アクティブ状態からアクティブ状態へ変化させるように更に構成される、
    請求項1に記載のシステム。
  3. 前記入力コンポーネントが前記スマートリングに対してコンパニオンデバイス上に配置されるか、前記入力コンポーネントが前記スマートリング上に配置される、
    請求項に記載のシステム。
  4. ェスチャコンポーネントを更に備え、該ジェスチャコンポーネントは、前記指のポーズ及び少なくとも1つの他のセンサからの追加の信号を分析して、前記ポーズ及び前記追加の信号に関連付けられるジェスチャを特定するように構成される、
    請求項1に記載のシステム。
  5. 前記入力コンポーネントは更に、前記検出された初期化シーケンスを使用して前記座標系を較正するように更に構成される、
    請求項1に記載のシステム。
  6. 記座標系は、前記指の回転運動に関連する第1の軸と、前記指の屈曲及び/又は伸張に関連する第2の軸と含前記第1の軸及び前記第2の軸は前記ユーザの手首を通過する、
    請求項5に記載のシステム。
  7. 前記スマートリングに対して固定される回転センサを更に備え、該回転センサは、前記指の回転を検出するように構成され、前記入力コンポーネントは更に、前記回転センサからの信号を分析して前記指のポーズを検出するように構成される、
    請求項1に記載のシステム。
  8. コンピュータで実施される方法であって:
    手の指に装着されるスマートリングから回転信号を取得するステップであって、前記手に対する指の回転を反映している前記回転信号を取得するステップと;
    前記指の屈曲を反映している屈曲信号を取得するステップと;
    前記指の指先の位置に対して前記回転信号及び前記屈曲信号を相関させるステップと;
    前記スマートリングのコンパニオンデバイスのコンピューティング環境を決定するステップと;
    前記指先の位置及び前記コンピューティング環境を分析して、前記指によって行われる制御入力を特定するステップであって、前記制御入力は前記コンパニオンデバイスの前記コンピューティング環境に関連して特定される、ステップと;
    を具備する、コンピュータで実施される方法。
  9. 前記の分析は、前記回転信号及び前記屈曲信号を、表面に対する前記指のポーズにおける変化と解釈して前記制御入力を特定することを含む、
    請求項8に記載のコンピュータで実施される方法。
  10. 前記制御入力をコンパニオンデバイスに対して実施するステップを更に備える、
    請求項8に記載のコンピュータで実施される方法。
  11. 前記指先の前記位置は、前記コンピューティング環境がウェブブラウザであるときにスクロール入力として解釈され、前記指先の前記位置は異なるコンピューティング環境についてドラッグ入力として解釈される
    請求項に記載のコンピュータで実施される方法。
  12. 前記屈曲信号を取得するステップは、前記スマートリング上の屈曲センサで前記屈曲信号を感知すること、又は前記スマートリングから前記屈曲信号を取得することを含む、
    請求項8に記載のコンピュータで実施される方法。
  13. 前記屈曲信号は、前記指の第一体節で装着される前記スマートリングから又は前記指の第二体節までの距離を含む、
    請求項12に記載のコンピュータで実施される方法。
  14. 前記回転信号を取得するステップ及び前記屈曲信号を取得するステップは、前記回転信号及び前記屈曲信号を前記コンパニオンデバイスで受け取ることを含み、前記コンパニオンデバイスが、前記の分析を実行する、
    請求項8に記載のコンピュータで実施される方法。
  15. 前記コンパニオンデバイスは、スマートフォン、スマート時計、スマート眼鏡、タブレット型コンピュータ又はディスプレイデバイスを備える、
    請求項14に記載のコンピュータで実施される方法。
JP2017514799A 2014-09-17 2015-09-10 スマートリング Active JP6545258B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/489,385 2014-09-17
US14/489,385 US9582076B2 (en) 2014-09-17 2014-09-17 Smart ring
PCT/US2015/049272 WO2016044035A1 (en) 2014-09-17 2015-09-10 Smart ring

Publications (3)

Publication Number Publication Date
JP2017527922A JP2017527922A (ja) 2017-09-21
JP2017527922A5 JP2017527922A5 (ja) 2018-10-04
JP6545258B2 true JP6545258B2 (ja) 2019-07-17

Family

ID=54150718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017514799A Active JP6545258B2 (ja) 2014-09-17 2015-09-10 スマートリング

Country Status (6)

Country Link
US (2) US9582076B2 (ja)
EP (1) EP3195093A1 (ja)
JP (1) JP6545258B2 (ja)
KR (1) KR20170055523A (ja)
CN (1) CN107077227B (ja)
WO (1) WO2016044035A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023537755A (ja) * 2020-04-30 2023-09-05 コックス スペース カンパニー リミテッド モーション信号とマウス信号を使用してホスト装置を制御するための電子装置

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US12405211B2 (en) 2012-06-14 2025-09-02 Medibotics Llc Nerd of the rings (smart ring with spectroscopic sensors)
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US12105281B2 (en) 2014-01-21 2024-10-01 Mentor Acquisition One, Llc See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9594427B2 (en) 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
KR101524575B1 (ko) * 2014-08-20 2015-06-03 박준호 웨어러블 디바이스
US9582076B2 (en) * 2014-09-17 2017-02-28 Microsoft Technology Licensing, Llc Smart ring
WO2016060461A1 (en) 2014-10-15 2016-04-21 Jun Ho Park Wearable device
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
JP6524661B2 (ja) * 2014-12-19 2019-06-05 富士通株式会社 入力支援方法、入力支援プログラムおよび入力支援装置
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10166123B2 (en) * 2015-06-29 2019-01-01 International Business Machines Corporation Controlling prosthetic devices with smart wearable technology
US10042438B2 (en) * 2015-06-30 2018-08-07 Sharp Laboratories Of America, Inc. Systems and methods for text entry
WO2017010305A1 (ja) * 2015-07-15 2017-01-19 日本電気株式会社 認証装置、認証システム、認証方法、プログラム
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
KR20170028130A (ko) 2015-09-03 2017-03-13 박준호 웨어러블 디바이스
US20170115737A1 (en) * 2015-10-26 2017-04-27 Lenovo (Singapore) Pte. Ltd. Gesture control using depth data
US10182325B2 (en) * 2015-11-23 2019-01-15 Anthony Peter Dobaj Movement control system
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
CN106200953A (zh) * 2016-07-05 2016-12-07 乐视控股(北京)有限公司 无线戒指、戒指组合及其虚拟现实设备操控方法
US10635173B2 (en) * 2016-08-08 2020-04-28 Motorola Solutions, Inc. Smart ring providing multi-mode control in a personal area network
CN107995965A (zh) * 2016-09-29 2018-05-04 深圳市柔宇科技有限公司 控制方法、控制装置及智能穿戴设备
KR102638309B1 (ko) 2016-10-26 2024-02-19 삼성전자주식회사 웨어러블 장치 및 헬스 모니터링 방법
KR102654621B1 (ko) 2016-12-08 2024-04-04 삼성전자주식회사 객체를 디스플레이하기 위한 방법 및 그 전자 장치
US10528780B2 (en) 2016-12-12 2020-01-07 Symbol Technologies, Llc Wearable mobile electronic devices
US10684693B2 (en) 2017-03-02 2020-06-16 Samsung Electronics Co., Ltd. Method for recognizing a gesture and an electronic device thereof
CN108693958B (zh) * 2017-04-12 2020-05-22 南方科技大学 一种手势识别方法、装置及系统
EP3635511B1 (en) 2017-06-09 2023-03-01 Microsoft Technology Licensing, LLC Wearable device enabling multi-finger gestures
IT201700037702A1 (it) 2017-06-12 2018-12-12 Nicholas Caporusso Dispositivo e metodo utile per l’interazione mediante gesti e movimenti degli arti e delle dita.
DE112017007739T5 (de) * 2017-08-08 2020-04-16 Ford Global Technologies, Llc Verbesserter betrieb von tragbaren vorrichtungen
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
IL254764A0 (en) * 2017-09-28 2017-12-31 Ohayon Amit A mouse for a smartphone worn on a finger
WO2019094313A1 (en) 2017-11-07 2019-05-16 Dotbliss Llc Electronic garment with haptic feedback
US11614793B2 (en) * 2018-02-28 2023-03-28 Logitech Europe S.A. Precision tracking of user interaction with a virtual input device
EP3543829A1 (en) * 2018-03-19 2019-09-25 Padrone AG Method and finger-worn device for controlling an external computer
US11073898B2 (en) 2018-09-28 2021-07-27 Apple Inc. IMU for touch detection
JP2020174787A (ja) * 2019-04-16 2020-10-29 国立大学法人東京農工大学 手指運動推定システム
CN110187782A (zh) * 2019-05-30 2019-08-30 河南大学 一种体感指环鼠标
US11594128B2 (en) 2019-07-23 2023-02-28 BlueOwl, LLC Non-visual outputs for a smart ring
US12077193B1 (en) 2019-07-23 2024-09-03 Quanata, Llc Smart ring system for monitoring sleep patterns and using machine learning techniques to predict high risk driving behavior
US12067093B2 (en) 2019-07-23 2024-08-20 Quanata, Llc Biometric authentication using a smart ring
US11462107B1 (en) 2019-07-23 2022-10-04 BlueOwl, LLC Light emitting diodes and diode arrays for smart ring visual output
US11637511B2 (en) 2019-07-23 2023-04-25 BlueOwl, LLC Harvesting energy for a smart ring via piezoelectric charging
US11537917B1 (en) 2019-07-23 2022-12-27 BlueOwl, LLC Smart ring system for measuring driver impairment levels and using machine learning techniques to predict high risk driving behavior
US11984742B2 (en) 2019-07-23 2024-05-14 BlueOwl, LLC Smart ring power and charging
US11909238B1 (en) 2019-07-23 2024-02-20 BlueOwl, LLC Environment-integrated smart ring charger
US11853030B2 (en) 2019-07-23 2023-12-26 BlueOwl, LLC Soft smart ring and method of manufacture
US11551644B1 (en) 2019-07-23 2023-01-10 BlueOwl, LLC Electronic ink display for smart ring
US11949673B1 (en) 2019-07-23 2024-04-02 BlueOwl, LLC Gesture authentication using a smart ring
US12504784B1 (en) * 2019-07-23 2025-12-23 Quanata, Llc Smart ring clip and method of manufacture
US12126181B2 (en) 2019-07-23 2024-10-22 Quanata, Llc Energy harvesting circuits for a smart ring
US11537203B2 (en) 2019-07-23 2022-12-27 BlueOwl, LLC Projection system for smart ring visual output
US12455622B2 (en) 2019-09-24 2025-10-28 Arkh, Inc. Smart ring
JP7580453B2 (ja) 2019-09-24 2024-11-11 アーク, インコーポレイテッド スマートリング
US11580300B1 (en) 2019-09-29 2023-02-14 Snap Inc. Ring motion capture and message composition system
US11262808B2 (en) * 2019-12-06 2022-03-01 Snap Inc. Wearable electronic device accessory interface
US12416967B2 (en) 2020-03-16 2025-09-16 Arkh, Inc. Spatially aware computing hub and environment
US11755111B2 (en) 2020-03-16 2023-09-12 Arkh, Inc. Spatially aware computing hub and environment
US11397468B2 (en) 2020-03-31 2022-07-26 Apple Inc. Skin-to-skin contact detection
US11397466B2 (en) 2020-03-31 2022-07-26 Apple Inc. Skin-to-skin contact detection
CN111696187B (zh) * 2020-04-26 2023-10-03 杭州群核信息技术有限公司 一种基于效果图的光照设计系统
DE102020205404A1 (de) 2020-04-29 2021-11-04 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Identifikation eines Nutzers einer tragbaren Vorrichtung
DE102020205707A1 (de) 2020-05-06 2021-11-11 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Erkennung von Nutzereingaben einer an einem ersten Finger eines Nutzers tragbaren Vorrichtung
US11502713B2 (en) 2020-09-16 2022-11-15 Genki Instruments ehf. Smart ring
US20220407550A1 (en) * 2020-09-16 2022-12-22 Genki Instruments ehf. Smart ring
KR102484134B1 (ko) * 2020-10-23 2023-01-04 (주) 로완 스마트링을 이용한 라이프 패턴 모니터링 및 관리 방법 및 장치
CN112540686B (zh) * 2020-12-08 2025-01-21 维沃移动通信有限公司 智能指环及指环工作模式的确定方法和电子设备
CN116744846A (zh) 2021-01-06 2023-09-12 三星电子株式会社 具有多个光学传感器的电子设备及其控制方法
KR102575979B1 (ko) * 2021-05-17 2023-09-08 (주) 로완 스마트링을 이용한 음주 상태 모니터링 방법 및 장치
EP4372521A4 (en) * 2021-08-11 2024-10-23 Samsung Electronics Co., Ltd. PORTABLE ELECTRONIC DEVICE AND METHOD BY WHICH A PORTABLE ELECTRONIC DEVICE PROVIDES BRUSHING TOOTH INFORMATION
WO2023160007A1 (zh) * 2022-02-28 2023-08-31 午赢科技(广东)有限责任公司 一种智能戒指及其控制方法
US12073024B1 (en) * 2022-03-01 2024-08-27 Meta Platforms Technologies, Llc Systems and methods of controlling activation of physical or virtual keyboard keys using an adjustable electrostatically-controlled actuator, and methods of manufacturing electrostatically-controlled actuators for use therewith
EP4577894A1 (en) 2022-08-26 2025-07-02 Genki Instrument ehf. Improved smart ring
JP2024171489A (ja) * 2023-05-30 2024-12-12 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、表示装置、表示装置の制御方法、システム、プログラム
WO2024251498A1 (fr) 2023-06-06 2024-12-12 Wormsensing Capteur tactile en forme d'anneau et interface homme-machine associee
FR3149703A1 (fr) 2023-06-06 2024-12-13 Wormsensing Capteur tactile en forme d’anneau et interface homme-machine associee
WO2025018372A1 (ja) 2023-07-18 2025-01-23 Tdk株式会社 リング型コントローラーおよび無線通信システム
CN119493473A (zh) * 2023-08-18 2025-02-21 宏达国际电子股份有限公司 控制器
US12535854B2 (en) 2023-09-12 2026-01-27 Samsung Electronics Co., Ltd. Wearable device and method for identifying wearing state of other wearable device
WO2025058167A1 (ko) * 2023-09-12 2025-03-20 삼성전자주식회사 다른 웨어러블 장치의 착용 상태를 식별하기 위한 웨어러블 전자 장치 및 방법
US12487694B2 (en) * 2023-11-29 2025-12-02 Samsung Electronics Co., Ltd. Electronic device and method for identifying position relationship between display and portion of body of user
WO2026043127A1 (ko) * 2024-08-21 2026-02-26 삼성전자 주식회사 액세서리 전자 장치를 이용한 제스처 인식 방법 및 장치
CN120491833B (zh) * 2025-07-15 2025-10-10 歌尔股份有限公司 智能指环及手势检测方法

Family Cites Families (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832296A (en) 1995-04-26 1998-11-03 Interval Research Corp. Wearable context sensitive user interface for interacting with plurality of electronic devices of interest to the user
US6882128B1 (en) 2000-09-27 2005-04-19 Science Applications International Corporation Method and system for energy reclamation and reuse
US20030142065A1 (en) * 2002-01-28 2003-07-31 Kourosh Pahlavan Ring pointer device with inertial sensors
US20030214481A1 (en) 2002-05-14 2003-11-20 Yongming Xiong Finger worn and operated input device and method of use
JP4119187B2 (ja) 2002-07-17 2008-07-16 国立大学法人金沢大学 入力装置
KR100634494B1 (ko) 2002-08-19 2006-10-16 삼성전기주식회사 착용가능한 정보 입력 장치, 정보 처리 장치 및 정보 입력방법
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
US7042438B2 (en) 2003-09-06 2006-05-09 Mcrae Michael William Hand manipulated data apparatus for computers and video games
US20060001646A1 (en) 2004-07-02 2006-01-05 Wei Hai Finger worn and operated input device
EP1785808B1 (en) 2005-11-10 2014-10-01 BlackBerry Limited System and method for activating an electronic device
US8559987B1 (en) 2005-12-31 2013-10-15 Blaze Mobile, Inc. Wireless bidirectional communications between a mobile device and associated secure element
US8879986B2 (en) 2005-12-31 2014-11-04 Michelle Fisher Wireless bidirectional communications between a mobile device and associated secure element using inaudible sound waves
US8615374B1 (en) 2006-06-09 2013-12-24 Rockwell Automation Technologies, Inc. Modular, configurable, intelligent sensor system
US7702282B2 (en) 2006-07-13 2010-04-20 Sony Ericsoon Mobile Communications Ab Conveying commands to a mobile terminal through body actions
US20090278798A1 (en) 2006-07-26 2009-11-12 The Research Foundation Of The State University Of New York Active Fingertip-Mounted Object Digitizer
KR101299682B1 (ko) 2006-10-16 2013-08-22 삼성전자주식회사 범용 입력장치
US8665225B2 (en) 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
US8033916B2 (en) 2007-05-04 2011-10-11 Theodore Caldwell Grip pressure sensor
EP2191458A4 (en) * 2007-08-19 2012-02-15 Ringbow Ltd FINGER-FITTED DEVICES AND METHODS OF USE THEREOF
US8031172B2 (en) 2007-10-12 2011-10-04 Immersion Corporation Method and apparatus for wearable remote interface device
US9135620B2 (en) 2008-02-08 2015-09-15 Microsoft Technology Licensing, Llc Mobile device security using wearable security tokens
TWI374391B (en) 2008-05-27 2012-10-11 Ind Tech Res Inst Method for recognizing writing motion and trajectory and apparatus for writing and recognizing system
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US8106749B2 (en) 2008-07-14 2012-01-31 Sony Ericsson Mobile Communications Ab Touchless control of a control device
KR100920252B1 (ko) 2008-11-07 2009-10-05 서창수 공중에서의 손가락 움직임을 통해 제어되는 마우스
JP2010170327A (ja) * 2009-01-22 2010-08-05 Olympus Corp 操作入力装置
US8581856B2 (en) 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
US8112066B2 (en) 2009-06-22 2012-02-07 Mourad Ben Ayed System for NFC authentication based on BLUETOOTH proximity
JP4988016B2 (ja) 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
EP2302882A1 (en) 2009-09-24 2011-03-30 Research In Motion Limited Communication device and method for initiating NFC communication
WO2011055326A1 (en) 2009-11-04 2011-05-12 Igal Firsov Universal input/output human user interface
US20130135223A1 (en) 2009-12-13 2013-05-30 Ringbow Ltd. Finger-worn input devices and methods of use
JP5433448B2 (ja) * 2010-02-01 2014-03-05 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲーム用プログラム
US8526880B2 (en) 2010-02-26 2013-09-03 Blackberry Limited Communications device responsive to near field communications (NFC) to enter locked or unlocked operating modes
US20120206485A1 (en) 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
CN103109462A (zh) 2010-04-16 2013-05-15 尼古拉斯·J.·马斯坦德雷亚 可佩戴式动作感测计算接口
US8797146B2 (en) 2010-04-27 2014-08-05 Apple Inc. Autonomous battery-free microwave frequency communication system
US8500031B2 (en) 2010-07-29 2013-08-06 Bank Of America Corporation Wearable article having point of sale payment functionality
US20120038652A1 (en) 2010-08-12 2012-02-16 Palm, Inc. Accepting motion-based character input on mobile computing devices
US20120075173A1 (en) * 2010-09-23 2012-03-29 Nokia Corporation Apparatus and method for user input
US20120075196A1 (en) * 2010-09-23 2012-03-29 Nokia Corporation Apparatus and method for user input
US20120083205A1 (en) 2010-10-04 2012-04-05 Qualcomm Incorporated Nfc device having a differential input envelope detector
CN102478959A (zh) * 2010-11-28 2012-05-30 蒋霞 一种电子设备的控制系统和方法
US20120139708A1 (en) 2010-12-06 2012-06-07 Massachusetts Institute Of Technology Wireless Hand Gesture Capture
JP5187380B2 (ja) * 2010-12-08 2013-04-24 株式会社デンソー 情報入力装置および情報入力方法
US8572764B2 (en) 2010-12-09 2013-11-05 Dieter Thellmann Exercising glove
US8811896B2 (en) 2011-01-07 2014-08-19 Texas Instruments Incorporated Non-volatile memory for contactless systems
US10061387B2 (en) 2011-03-31 2018-08-28 Nokia Technologies Oy Method and apparatus for providing user interfaces
US20120256860A1 (en) 2011-04-05 2012-10-11 James Robert Justice Directional Finger Recognition Authoring
US20120309354A1 (en) 2011-06-06 2012-12-06 Syracuse University Situation aware security system and method for mobile devices
US8548380B2 (en) 2011-06-10 2013-10-01 Broadcom Corporation Communications device for intelligently routing information among multiple user interfaces
US8879985B2 (en) 2011-06-28 2014-11-04 Broadcom Corporation Memory arbitrator for electronics communications devices
US8179604B1 (en) 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US9042571B2 (en) 2011-07-19 2015-05-26 Dolby Laboratories Licensing Corporation Method and system for touch gesture detection in response to microphone output
CN102955580B (zh) 2011-08-31 2017-05-10 赛恩倍吉科技顾问(深圳)有限公司 鼠标及其模拟触控操作的方法
EP2761406A4 (en) 2011-09-30 2015-05-13 Intel Corp DETECTION OF SEGMENTATION OF GESTURE DATA IN MOBILE DEVICES
US20130100044A1 (en) 2011-10-24 2013-04-25 Motorola Mobility, Inc. Method for Detecting Wake Conditions of a Portable Electronic Device
US9385786B2 (en) 2011-12-14 2016-07-05 Marvell World Trade Ltd. Method and apparatus for charging a battery in a mobile device through a near field communication (NFC) antenna
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8478195B1 (en) 2012-02-17 2013-07-02 Google Inc. Two-factor user authentication using near field communication
USD705228S1 (en) 2012-02-23 2014-05-20 Marni Peters Actuating ring
US9389690B2 (en) 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US20130260689A1 (en) 2012-03-30 2013-10-03 Qualcomm Incorporated Wirelessly Powered Input Device
US20130290522A1 (en) 2012-04-11 2013-10-31 Edward F. Behm, Jr. Engine, System and Method of Locating a Mobile Device and Reporting on Other Devices Proximately Located Thereto
US20140028547A1 (en) 2012-07-26 2014-01-30 Stmicroelectronics, Inc. Simple user interface device and chipset implementation combination for consumer interaction with any screen based interface
CN102866789B (zh) * 2012-09-18 2015-12-09 中国科学院计算技术研究所 一种人机交互戒指
US20140085177A1 (en) 2012-09-21 2014-03-27 Nokia Corporation Method and apparatus for responding to input based upon relative finger position
US20140101755A1 (en) 2012-10-10 2014-04-10 Research In Motion Limited Mobile wireless communications device providing security features based upon wearable near field communication (nfc) device and related methods
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US9030446B2 (en) 2012-11-20 2015-05-12 Samsung Electronics Co., Ltd. Placement of optical sensor on wearable electronic device
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US8820649B2 (en) 2012-11-20 2014-09-02 Omne Mobile Payments, Inc. Electronic card with a programmable magnetic stripe
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US8743052B1 (en) 2012-11-24 2014-06-03 Eric Jeffrey Keller Computing interface system
US9411718B2 (en) * 2012-12-21 2016-08-09 Seagate Technology Llc Method to apply fine grain wear leveling and garbage collection
TW201426402A (zh) * 2012-12-25 2014-07-01 Askey Computer Corp 指環型遙控裝置及其放大縮小的控制方法、點選控制方法
US9112543B2 (en) 2012-12-27 2015-08-18 Cambridge Silicon Radio Limited Near field communication devices and methods
WO2014145942A2 (en) 2013-03-15 2014-09-18 Smart Patents L.L.C. Wearable devices and associated systems
US20140267024A1 (en) 2013-03-15 2014-09-18 Eric Jeffrey Keller Computing interface system
US9696802B2 (en) 2013-03-20 2017-07-04 Microsoft Technology Licensing, Llc Short range wireless powered ring for user interaction and sensing
US20140308930A1 (en) 2013-04-12 2014-10-16 Bao Tran Timely, glanceable information on a wearable device
US8742623B1 (en) 2013-09-16 2014-06-03 Google Inc. Device with dual power sources
US20150078586A1 (en) 2013-09-16 2015-03-19 Amazon Technologies, Inc. User input with fingerprint sensor
US20150220158A1 (en) * 2014-01-07 2015-08-06 Nod Inc. Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion
US9965761B2 (en) 2014-01-07 2018-05-08 Nod, Inc. Methods and apparatus for providing secure identification, payment processing and/or signing using a gesture-based input device
US9232331B2 (en) 2014-05-08 2016-01-05 Microsoft Technology Licensing, Llc Hand-worn device for surface gesture input
US9594427B2 (en) 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
KR20160015050A (ko) 2014-07-30 2016-02-12 엘지전자 주식회사 반지형 이동 단말기
US9582076B2 (en) * 2014-09-17 2017-02-28 Microsoft Technology Licensing, Llc Smart ring

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023537755A (ja) * 2020-04-30 2023-09-05 コックス スペース カンパニー リミテッド モーション信号とマウス信号を使用してホスト装置を制御するための電子装置
JP7455277B2 (ja) 2020-04-30 2024-03-25 コックス スペース カンパニー リミテッド モーション信号とマウス信号を使用してホスト装置を制御するための電子装置

Also Published As

Publication number Publication date
KR20170055523A (ko) 2017-05-19
JP2017527922A (ja) 2017-09-21
EP3195093A1 (en) 2017-07-26
CN107077227A (zh) 2017-08-18
US20160077587A1 (en) 2016-03-17
US9582076B2 (en) 2017-02-28
US9880620B2 (en) 2018-01-30
WO2016044035A1 (en) 2016-03-24
US20170024008A1 (en) 2017-01-26
CN107077227B (zh) 2020-07-21

Similar Documents

Publication Publication Date Title
JP6545258B2 (ja) スマートリング
CN109074217B (zh) 用于多点触摸输入检测的应用
AU2013347935B2 (en) Computing interface system
EP2904472B1 (en) Wearable sensor for tracking articulated body-parts
CN104272218B (zh) 基于联合数据的虚拟手
US10289239B2 (en) Application programming interface for multi-touch input detection
CN103105945B (zh) 一种支持多点触摸手势的人机交互戒指
US20180239429A1 (en) Electronic device and methods for determining orientation of the device
JP2017527922A5 (ja)
CN205050078U (zh) 一种可穿戴设备
KR20160008890A (ko) 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
CN106796462B (zh) 确定输入对象的位置
KR101588021B1 (ko) 헤드 마우스
CN104484073A (zh) 手部触摸交互系统
CN203299754U (zh) 一种虚拟输入装置
Takahashi et al. Integration of hand gesture and multi touch gesture with glove type device
Xu et al. SurfaceXR: Fusing Smartwatch IMUs and Egocentric Hand Pose for Seamless Surface Interactions

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180821

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180821

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190618

R150 Certificate of patent or registration of utility model

Ref document number: 6545258

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250