JP6387404B2 - 位置信号を介したユーザインターフェイスエレメントの選択 - Google Patents
位置信号を介したユーザインターフェイスエレメントの選択 Download PDFInfo
- Publication number
- JP6387404B2 JP6387404B2 JP2016521830A JP2016521830A JP6387404B2 JP 6387404 B2 JP6387404 B2 JP 6387404B2 JP 2016521830 A JP2016521830 A JP 2016521830A JP 2016521830 A JP2016521830 A JP 2016521830A JP 6387404 B2 JP6387404 B2 JP 6387404B2
- Authority
- JP
- Japan
- Prior art keywords
- user interface
- interface element
- selectable user
- interactive target
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 claims description 107
- 230000003993 interaction Effects 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 32
- 230000004434 saccadic eye movement Effects 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000287181 Sturnus vulgaris Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Digital Computer Display Output (AREA)
Description
[0001] さまざまな種類のユーザ入力デバイスが、位置信号をコンピューティングデバイスに提供することができる。例えば、視線追跡システムを使用して、表示されたユーザインターフェイスとユーザの視線が交差する位置を追跡することができる。さまざまな機構を使用して目の動きを追跡することができる。例えば、一部の視線追跡システムは、光（赤外線など）をユーザの目に向けるように構成された１つまたは複数の光源、およびユーザの目の画像を取り込むように構成された１つまたは複数の画像センサを含む場合がある。光源が光を放射する間に取得された目の画像は、ユーザの瞳孔の位置、および光源から生じる角膜（またはその他の）反射の位置の検出に使用することができる。その後、この情報は、ユーザの目の位置の決定に使用することができる。ユーザの目の位置に関する情報は、その後、ユーザインターフェイスに対するユーザの目の相対的位置に関する情報と組み合わせて使用して、ユーザの視線がユーザインターフェイスと交差する位置を決定することができ、そのため位置信号を決定することができる。
[0002] 本明細書では、定期的に更新される位置信号を介したユーザインターフェイスエレメントの選択に関連する実施形態が開示される。例えば、開示された一実施形態は、ユーザインターフェイスエレメントの表現およびインタラクティブターゲットの表現をグラフィカルユーザインターフェイス上に表示する工程を備える方法を提供する。この方法は、定期的に更新される位置信号の座標の入力を受信する工程と、定期的に更新される位置信号とインタラクティブターゲットとの間のモーションインタラクションが既定の動作条件を満たす場合にユーザインターフェイスエレメントの選択を決定する工程とをさらに備える。
[0003] この概要は、概念の一部を簡略された形態で説明するために提供されており、下の発明を実施するための形態で詳細に説明される。この概要は、特許請求される主題の重要な特徴または不可欠な特徴を識別することは意図されておらず、特許請求される主題の範囲の制限に使用されることも意図されていない。さらに、特許請求される主題は、本開示のいずれかの部分に記載されたいくつか、またはすべての欠点を解決する実装に限定されない。
[0011] 前述したように、視線追跡は、コンピューティングデバイスに入力を提供するために使用することができる。しかし、視線追跡システムを介して、グラフィカルユーザインターフェイスエレメントを選択しようとするユーザの意図を決定することは、困難である場合がある。例えば、コンピュータマウス、タッチパッド、またはトラックボールなどのユーザ入力デバイスの場合、ユーザは、ユーザインターフェイスエレメント上でカーソルを動かし、ユーザ入力デバイスでボタンなどを押してエレメントを選択することによって、ユーザインターフェイスオブジェクトを選択しようとする意図を明白に示すことができる。同様に、タッチセンサー式ディスプレイの場合、ユーザは、ユーザインターフェイスアイテムを表す領域で選択的にディスプレイに触ることによって、ユーザインターフェイスアイテムを選択できる。
[0012] これらの各例において、ユーザの意図は、ある程度の確実性で意図を推測可能にする機構（例えば、マウスボタンまたはタッチスクリーン）の起動を通じて行われたユーザ入力（例えば、マウスボタンの押下またはスクリーンタッチ）によって、明確に推測することができる。しかし、位置信号をコンピューティングデバイスに提供するように構成された視線追跡システムの場合、ユーザが現在凝視しているユーザインターフェイスオブジェクトの選択を引き起こすための別の種類の入力（例えば、音声コマンド、体／頭のジェスチャなど）がなければ、ユーザインターフェイスエレメントを選択しようとするユーザの意図を、ある程度の確実性で推測することは困難な場合がある。
[0013] ユーザインターフェイスエレメントを選択しようとするユーザの意図を推測できる可能性のある１つの方法は、ユーザの視線があるしきい値期間の間、ユーザインターフェイスエレメント上に留まっていると判定された場合に、そのような意図を推測することである。しかし、このような凝視に基づく選択機構は、ユーザには遅く感じられるか、ぎこちなく感じられる可能性がある。
[0014] したがって、本明細書では、定期的に更新される位置信号と、ユーザインターフェイスエレメントに関連付けられたインタラクティブターゲットとの間のインタラクションを通じてユーザインターフェイスエレメントを選択することに関連する実施形態が開示される。「定期的に更新される位置信号」という用語は、ユーザ入力機構を指し、この機構において、表示されたユーザインターフェイスとの相対的な位置信号が提供され、定期的な更新を引き起こすためのどのようなユーザ入力も使用されずに、定期的に更新される。定期的に更新される位置信号を介したユーザインターフェイスアイテムの選択は、コンピュータマウスやトラックパッドを介したアイテムの通常の選択とは区別される。コンピュータマウスやトラックパッドは、定期的な頻度で位置信号を提供できるが、ボタンの押下またはその他の信号を使用してユーザインターフェイスアイテムを選択する。本明細書では、ニアアイディスプレイシステムの視線追跡システムに関連して記載されているが、開示された実施形態は、画像データおよび／またはモーションセンサデータから生成された体のジェスチャの信号を含むがこれに限定されない、その他の任意の適切な定期的に更新される位置信号とともに使用することができるということが理解されるであろう。
[0015] 図１Ａ〜１Ｃは、定期的に更新される位置信号を介したユーザとグラフィカルユーザインターフェイスとの間のインタラクションの一実施形態例を示している。さらに具体的には、図１Ａ〜１Ｃは、高度な現実感のある画像を表示するように構成されたヘッドマウントディスプレイ１０２の形態のニアアイディスプレイデバイスのユーザ１００を表す。これらの図は、ニアアイディスプレイデバイスに内蔵された視線追跡システムを介して仮想テレビオブジェクト１０４の形態のグラフィカルユーザインターフェイスエレメントとインタラクションするユーザ１００も示す。ニアアイディスプレイデバイスにおいて、視線追跡システムは定期的に更新される位置信号を提供する。この実施形態は、例として提示されており、限定することは意図されておらず、定期的に更新される位置信号を提供するように構成された任意の適切な入力デバイスからの入力を、任意の適切なコンピューティングデバイスが受信できるということが理解されるであろう。
[0016] ユーザ１００が仮想テレビオブジェクト１０４を凝視したときに、ユーザが仮想テレビオブジェクト１０４を通じてビデオコンテンツを再生することを選択しようとしているのか、それとも単に仮想テレビオブジェクト１０４を詳細に調べているのかを決定することは困難である場合がある。そのため、図１Ａは、仮想テレビオブジェクト１０４に関連付けられたインタラクティブターゲット１０６の形態でのユーザインターフェイスエレメントも表す。図１Ｂに示されるように、ユーザ１００は、視線１０８の位置を対話型テレビオブジェクト１０４からインタラクティブターゲット１０６に移動することによって、仮想テレビオブジェクト１０４を起動しようとする意図を示すことができる。定期的に更新される位置信号とインタラクティブターゲットとの間のモーションインタラクションが既定の動作条件を満たしている（例えば、いずれかの位置を一定期間凝視して、または凝視しないで、仮想テレビオブジェクトからインタラクティブターゲットに視線を移動する）ことが検出されたときに、仮想テレビオブジェクト１０４でのビデオコンテンツ１１０の再生を、ユーザ１００に対して開始できる（図１Ｃを参照）。
[0017] 対応する選択可能なユーザインターフェイスエレメントとは別に表示されるインタラクティブターゲットを使用することで、ユーザインターフェイスエレメントとインタラクションしようとするユーザの意図を、凝視に基づく位置信号入力を使用してユーザインターフェイスエレメントを選択するよりも素早く決定することができ、より自然なユーザ操作を提供することもできる。例えば、グラフィカルユーザインターフェイスエレメントを選択しようとするユーザの意図を示すのに適した凝視の期間は、ユーザにとって不自然に長く、かつ遅いと感じられる可能性がある。一方、本明細書で開示されたインタラクティブターゲットは、この意図を示すために、より自然な目の動きを使用することができるようにする。以下では、インタラクティブターゲットのさまざまな例について詳細に説明する。
[0018] 図２は、定期的に更新される位置信号を介してユーザインターフェイスエレメントを選択できるように構成されたコンピューティングシステム２００の実施形態のブロック図を示している。コンピューティングシステム２００は、図１のヘッドマウントディスプレイ１０２および／または定期的に更新される位置信号を入力として使用するように構成されたその他の任意の適切なコンピューティングシステムを表すことができる。コンピューティングシステム２００は、グラフィカルユーザインターフェイスを表示できるディスプレイ２０２を含む。ディスプレイ２０２は任意の適切な形態を取ることができる。例えば、一部の実施形態では、コンピューティングシステムは、ニアアイディスプレイ２０４を含むことができる。ニアアイディスプレイシステムの例は、ヘッドマウントディスプレイおよび携帯用デバイス（例えば、ニアアイディスプレイモードを備えるスマートフォン）を含むことができるが、これらに限定されない。そのようなデバイスでは、ニアアイディスプレイは、透視ディスプレイ２０６または不透明なディスプレイを備えることができる。その他の実施形態では、ディスプレイは、従来型のモニタ、テレビなどの場合のように、コンピューティングデバイスの外部２０８に存在できる。
[0019] コンピューティングシステム２００は、定期的に更新される位置信号の入力を適切な入力デバイスから受信するように構成された入力サブシステム２１０をさらに備える。例えば、一部の実施形態では、入力サブシステム２１０は、グラフィカルユーザインターフェイス上で決定されたユーザの視線の位置に基づいて、定期的に更新される位置信号を生成するように構成された、視線追跡システム２１２を備えることができる。一部の実施形態では、視線追跡システム２１２は、ヘッドマウント２１４にする（例えば、ヘッドマウントニアアイディスプレイシステムに組み込む）か、コンピューティングデバイスに組み込むことができる。その他の実施形態では、視線追跡システムは、コンピューティングデバイスの外部２１６に存在できる。例えば、グラフィカルユーザインターフェイスの表示に使用される従来型のモニタまたはテレビの外部で１つまたは複数のカメラを使用する視線追跡システムの場合である。視線追跡システムは、任意の適切なコンポーネントを使用することができる。例えば、一部の実施形態では、視線追跡システムは、眼の角膜からの光の反射を生成するように構成された１つまたは複数の光源、および目の画像を取得するように構成された１つまたは複数の画像センサを使用することができる。
[0020] さらに、入力サブシステム２１０は、定期的に更新される位置信号のその他のソースを含むことができる。例えば、入力サブシステム２１０は、（例えば、ヘッドマウントディスプレイまたはその他の携帯機器に組み込まれた）１つまたは複数のモーションセンサ２１８および／または１つまたは複数の画像センサ２２０（例えば、ユーザが行ったジェスチャのビデオ画像を取り込むように構成された１つまたは複数の外向き画像センサ、および視線を追跡するための内向き画像センサ）を含むことができる。定期的に更新される位置信号を提供するユーザ入力デバイスのこれらの実施形態は、例として提示されており、決して限定することは意図されていないことが理解されるであろう。
[0021] コンピューティングシステム２００は、ロジックサブシステム２２２およびストレージサブシステム２２４も含む。ストレージサブシステム２２４は、ロジックサブシステム２２２によって実行可能な格納済み命令を含むことができる。ロジックサブシステム２２２は、この格納済み命令によって、グラフィカルユーザインターフェイスの表示、および定期的に更新される位置信号の受信と処理に関連したさまざまなタスクを実行できる。以下では、コンピューティングデバイスの例について詳細に説明する。
[0022] 図３は、定期的に更新される位置信号を介してグラフィカルユーザインターフェイスエレメントを選択するための方法３００の一実施形態例を表すフロー図を示している。方法３００は、３０２でユーザインターフェイスエレメントをグラフィカルユーザインターフェイスに表示する工程を備える。ユーザインターフェイスエレメントは、任意の適切な形態を取ることができ、任意の適切な選択可能アイテムを表すことができる。
[0023] 方法３００は、３０４でユーザインターフェイスエレメントに関連付けられたインタラクティブターゲットをグラフィカルユーザインターフェイスに表示する工程をさらに備える。前述したように、インタラクティブターゲットは、インタラクティブターゲットと相対的な既定の動作条件を満たす視線の位置の移動（または、定期的に更新される位置信号の制御を含むその他のユーザ入力）を介して、ユーザインターフェイスエレメントを選択しようとするユーザの意図を決定するために使用することができる。例えば、一部の実施形態では、インタラクティブターゲットは、ユーザがユーザインターフェイスエレメントを最初に凝視した後のユーザの視線の移動先になる位置を表すことができる。さらに、一部の実施形態では、インタラクティブターゲットはユーザインターフェイスエレメントの移動先の位置を表し、ユーザは視線ジェスチャまたはその他の適切な種類のジェスチャを通じて、ユーザインターフェイスエレメントをその移動先に移動できる。さらに、一部の実施形態では、１つのユーザインターフェイスエレメントに対して複数のインタラクティブターゲットを表示することができ、その場合ユーザは、複数のインタラクティブターゲットとインタラクションしてそのユーザインターフェイスエレメントを選択する。
[0024] インタラクティブターゲットは、関連するユーザインターフェイスエレメントとともに持続的に表示するか、ユーザがユーザインターフェイスエレメントとインタラクションするまで非表示にすることができる。さらに、１つのユーザインターフェイスエレメントに対して複数のインタラクティブターゲットが使用される場合、一部の例では、ユーザが順序内の直前のインタラクティブターゲットとインタラクションするまで、各インタラクティブターゲットを非表示のままにすることができる。インタラクティブターゲットのこれらの実施形態は、例として説明されており、決して限定することは意図されていないことが理解されるであろう。以下では、インタラクティブターゲットの限定されないその他の例について詳細に説明する。
[0025] さらに、方法３００は、３０６で定期的に更新される位置信号の座標の入力を受信する工程を備える。これらの座標は、例えば、視線追跡システムによって決定されたグラフィカルユーザインターフェイス上のユーザが凝視している位置、ジェスチャ追跡システムから決定されたユーザが指している位置、ユーザがジェスチャを介してカーソルまたはその他の位置信号の表現を移動した移動先の位置、および／またはその他の任意の適切な情報を表すことができる。
[0026] さらに、時間の関数として座標で表された位置の変化は、入力されたジェスチャを表すことができる。前述したように、ユーザインターフェイスエレメントおよび関連するインタラクティブターゲットとインタラクションする、定期的に更新される位置信号の移動は、ユーザインターフェイスエレメントを選択しようとするユーザの意図の決定に使用することができる。そのため、方法３００は、３０８でインタラクティブターゲットに対する定期的に更新される位置信号の動作が既定の動作条件を満たすかどうかを決定する工程を備える。既定の動作条件は、定期的に更新される位置信号の動作とインタラクティブターゲットとの間の任意の適切な条件を表すことができる。例えば、一部の実施形態では、既定の動作条件は、ユーザインターフェイスエレメントおよび／または１つまたは複数のインタラクティブターゲット間で移動する、１つまたは複数の連続する視線ジェスチャ（３１０に示される）に対応することができる。前述の図１Ａ〜１Ｃは、連続する視線ジェスチャの一例を示している。本明細書で使用される「連続する視線ジェスチャ」という用語は、視線の位置が、１つまたは複数の連続する移動区分内で、ユーザインターフェイス上の開始位置から終了位置まで移動することを意味している。そのようなジェスチャでは、サッケードなどの自然な視線の移動を使用してジェスチャを実行できる。
[0027] 連続する視線ジェスチャは、任意の適切な既定の動作条件と比較することができる。例えば、一部の実施形態では、動作条件は期待される順序に対応することができ、その順序で、定期的に更新される位置信号は、ユーザインターフェイスエレメントおよび各インタラクティブターゲットと交差する。その他の実施形態では、動作条件は、動作信号が辿る経路と、既定の経路がどの程度一致するかに対応することができる。これらの既定の動作条件の例は、説明の目的で提示されており、決して制限することは意図されていないことが理解されるであろう。
[0028] 図１Ａ〜１Ｃの例では、連続する視線ジェスチャは、ユーザインターフェイスエレメントと、１つの描画されたインタラクティブターゲットとの間で実行される。しかし、前述したように、一部の実施形態では、複数のインタラクティブターゲットを使用することができる。図４Ａ〜４Ｃは、複数のインタラクティブエレメント間の連続する視線ジェスチャが使用されて、関連するユーザインターフェイスエレメントを選択しようとするユーザの意図を決定する、一実施形態例を示す。
[0029] まず、図４Ａは、仮想テレビ上の視線１０８の位置を示しており、仮想テレビオブジェクト１０４の右に表示された第１インタラクティブターゲット４００も示している。次に、図４Ｂは、第１の連続する視線ジェスチャ４０２の実行後の視線の位置を示し、その視線ジェスチャにおいて、視線は仮想テレビから第１インタラクティブターゲット４００に移動する。図に示されているように、ユーザの視線によって制御される定期的に更新される位置信号と、第１インタラクティブターゲットとの間のインタラクションが、第２インタラクティブターゲット４０４の表示を引き起こす。次に図４Ｃを参照すると、視線の位置が第２インタラクティブターゲットに移動したときに、ユーザの視線の移動が既定の動作条件（例えば、既定の順序でインタラクティブターゲットを凝視する）を満たしているため、仮想テレビオブジェクト１０４を通じたビデオコンテンツ４０６の再生が選択される。
[0030] 図に示されている実施形態は２つのインタラクティブターゲットを使用しているが、適切な任意の数のターゲットを使用することができることが理解されるであろう。さらに多くの数のターゲットを使用すると、ユーザとインタラクティブターゲットとの間で肯定的なインタラクションが誤って発生する可能性を減らすことができる。さらに、図に示されている実施形態では、第１インタラクティブターゲットが選択されることで、第２インタラクティブターゲットの表示が引き起こされるが、その他の実施形態では、ユーザインターフェイスアイテムの複数のインタラクティブターゲットを持続的に表示することができる。さらに、一部の実施形態では、複数のインタラクティブターゲットを、関連するユーザインターフェイスエレメントをまたぐように表示することができ、ユーザの視線の位置は、関連するユーザインターフェイスエレメントの中心上で近似的に平均化される。そのような配置によって、ユーザが隣接するユーザインターフェイスエレメントを誤って起動してしまうのを防ぐことができる。そのような構成の例を図６に示す。この図では、第１インタラクティブターゲット６００をすでに凝視した後に、仮想テレビ６０４の反対側にある第２インタラクティブターゲット６０２を凝視しているユーザが示されている。第１インタラクティブターゲット６００と第２インタラクティブターゲット６０２の間で視線が移動する方向は、点線６０５で示される。さらに、追加ユーザインターフェイスエレメントが、三目並べゲームを表すアイコン６０６として示されている。仮想テレビ６０４の各インタラクティブターゲットを仮想テレビ６０４の両側に配置することで、点線６０５で示された視線ジェスチャを形成する視線の各位置を平均して、仮想テレビ６０４上の位置を求めることができ、したがって、目的のユーザインターフェイスエレメントに関する情報を提供できる。さらに、図に示された、仮想テレビ６０４のインタラクティブターゲット６００、６０２の配置によって、ユーザがアイコン６０６に関連付けられたインタラクティブターゲット６０８を誤って凝視するのを防ぐことができる。
[0031] 一部の実施形態では、既定の動作条件は、１つまたは複数のインタラクティブターゲットに対する短時間の凝視を含むことができる。したがって、特定の一連のモーションインタラクションは、視線が移動する間に、１回または複数回の凝視を含むことができる。そのような凝視は、ユーザには感知できない（すなわち、ユーザは、不自然な時間の間、特定のオブジェクトを凝視しているとは感じない）が、ユーザがインタラクティブターゲットと確実にインタラクションしたことを示すだけの十分な長さにすることが可能である。限定されない１つの例として、凝視の継続時間は、１００〜１５０ｍｓの範囲内とすることができる。ただし、任意の適切な長さの凝視を、既定の動作条件に使用することができる。
[0032] 複数のターゲットが持続的に表示される実施形態では、ターゲットは、コンテンツアイテムの起動をもたらす正しい順序を示すために、任意の適切なシステムを使用することができる。例えば、インタラクティブターゲットは、順序を示す数値（１、２、３など）、単語、またはアニメーション（矢印、適切な順序での各ターゲットの連続するハイライト表示、各ターゲットの連続する出現など）を含むことができ、ユーザは、コンテンツアイテムを起動するために、その順序で各インタラクティブターゲットとインタラクションする必要がある。上記の例は、説明を目的としており、決して制限することは意図されていない。
[0033] さらに、複数のインタラクティブターゲットがユーザインターフェイスエレメントの選択に使用された場合、図４Ｃに示すように、複数のインタラクティブターゲットのインタラクションの順序内の、後のインタラクティブターゲットとのユーザのインタラクションは、順序内の先のインタラクティブターゲットの消失または外観の変化を引き起こすことができる。そのような外観の変化は、色、形状、サイズ、透明度、および／または位置の変化を含むことができるが、これらに限定されない。ユーザはインタラクティブターゲットに関連付けられたコンテンツアイテムを起動したくない場合、サッケードジェスチャが完了する前に（すなわち、既定の動作条件が満たされる前に）、そのサッケードジェスチャを取り消すことができるということが理解されるであろう。
[0034] 再び図３を参照すると、その他の実施形態では、既定の動作条件は、あるユーザインターフェイスエレメントが、定期的に更新される位置信号を介して別のユーザインターフェイスエレメントとの交差（または、その他の空間的配置）へ移動する動作に対応することができる。この動作条件は、ユーザインターフェイスエレメントが他のユーザインターフェイスエレメントとの交差に移動するに従って、ユーザの視線がそのユーザインターフェイスエレメントを追跡する、または追いかけるため、３１２に示されるように「追跡」ジェスチャと呼ぶことができる。本明細書で使用される「追跡ジェスチャ」という用語は、目的のユーザインターフェイスエレメントに向かって移動可能なインタラクティブターゲットの動作を、ユーザの視線が追跡する、または追いかけるジェスチャを指していると理解されるであろう。
[0035] 図５Ａ〜５Ｄは、ユーザインターフェイスエレメントを、関連付けられたインタラクティブターゲットと相対的な目的位置に移動するために視線ジェスチャが使用される、追跡モーションインタラクションの実施形態を示している。まず、図５Ａは、視線１０８を仮想テレビオブジェクト１０４に向けたユーザ１００を示しており、インタラクティブターゲット５００およびインタラクティブターゲット５００のレセプタクル５０４の形態での目的位置５０４も示しており、ここでレセプタクル５０４は、インタラクティブターゲットが移動する間、固定された位置に留まることができる。図５Ａでは、インタラクティブターゲット５００は、初期位置５０２に示されている。ユーザは、ユーザインターフェイスエレメントを選択しようとした場合、図５Ｂに示すように、最初に視線の位置をインタラクティブターゲット５００に向けることができる。視線の位置とインタラクティブターゲットが（おそらくは、あるしきい値時間の間）交差することによって、その視線の位置から目的位置５０４に向かうインタラクティブターゲットの動作をスムーズに開始できる。ユーザは、図５Ｃおよび５Ｄに示すように、初期位置から目的位置へのインタラクティブターゲットの動作を目で追って、ユーザインターフェイスエレメントを選択することができる。目的位置インジケータは、持続的に表示されるか、視線が対応するユーザインターフェイスエレメントとインタラクションしたときに現れることが可能であると理解されるであろう。
[0036] 前述したように、ユーザは、ジェスチャを取り消すことによって、コンテンツアイテムを起動しないことを選択できる。追跡に基づくジェスチャの場合、ユーザは、インタラクティブターゲットが目的位置に達する前にインタラクティブターゲットから目をそらすことで、コンテンツアイテムが起動しないようにするか、その他の任意の適切な方法（例えば、音声コマンド、体のジェスチャコマンドなど）で取り消すことができる。視線とユーザインターフェイスエレメントの相互作用は、追跡ジェスチャ、連続ジェスチャ、またはその他のいずれジェスチャにおいても、視線の位置のある程度の誤差を許容できるということに注意する必要がある。例えば、一部の実施形態では、インタラクティブターゲットの表示領域の外側からしきい値距離の範囲内にある視線の位置も、視線とターゲットの相互作用と見なすことができ、それによって、ユーザの視線はジェスチャの実行を中断することなく、ある程度外れることができる。この許容誤差はヒステリシスの特徴を持つことができ、その場合、許容誤差はジェスチャの実行中に適用されるが、インタラクティブターゲットとのインタラクションの開始時には適用されないようにすることができる。
[0037] ここで、再び簡単に図３に戻ると、インタラクティブターゲットに対する、定期的に更新される位置信号の動作が、既定の条件（または、一連の条件のうちの１つまたは複数の既定の条件）を満たす場合、方法３００は、３１４でユーザがユーザインターフェイスエレメントを選択したことを決定する工程を備える。「選択」および、これに類似する用語は、ユーザインターフェイスエレメントおよび／またはユーザインターフェイスエレメントによって表現されたプログラムとの任意のインタラクションを指すことができる。選択の例には、エレメントによって表現されたプログラムの起動、オペレーティングシステムのフォーカスをエレメントによって表現されたプログラムまたはデータに向けること、エレメントによって表現されたプログラムまたはデータに関する情報の表示、エレメントによって表現されたプログラムまたはデータの状態の変更（例えば、ビデオ再生の制御、音声のボリュームレベルの調整、ユーザインターフェイスメニューからのアイテムの選択など）、（エレメントによって表現されたプログラムまたはデータに関する情報とは対照的に）ユーザインターフェイスエレメント自体に関する情報の表示、ならびに／あるいはユーザインターフェイスエレメントおよび／またはユーザインターフェイスエレメントによって表現されたプログラムまたはデータとのその他の任意の適切なインタラクションが含まれるが、これらに限定されない。一方、インタラクティブターゲットに対する、定期的に更新される位置信号の動作が、既定の条件を満たさない場合、方法３００は、３１６でユーザがユーザインターフェイスエレメントを選択したことを決定しない工程を備える。
[0038] 一部の実施形態では、複数の種類のモーションインタラクションを、同じインタラクティブターゲットで使用して、関連付けられたユーザインターフェイスエレメントを選択できる。例えば、初心者のユーザは、ゆっくりとした追跡ジェスチャを好む場合があるが、より高度なユーザは、例えばサッケードジェスチャを使用した、速い連続するインタラクションを望む場合がある。したがって、一部の実施形態では、２つ以上の異なる既定の動作条件を介したインタラクティブターゲットとのインタラクションを使用して、対応するユーザインターフェイスエレメントを選択できる。それによって、グラフィカルユーザインターフェイスとさまざまな方法でインタラクションする場合のスキルおよび／または好みが異なっているユーザを許容することができる。例えば、形状が四角形のインタラクティブターゲットを、追跡ジェスチャおよびサッケードジェスチャに関連付けることができる。追跡ジェスチャは、ユーザの視線がターゲットの一方の側から他方に移動したときに（インタラクティブエレメントの動作を追うか追わないかに関わらず）、関連付けられたコンテンツアイテムを起動でき、一方、サッケードジェスチャは、ターゲット上の事前に選択された位置間の視線の経路を追うことができる。
[0039] したがって、本明細書で開示された実施形態では、ユーザインターフェイスエレメントは、エレメントを選択しようとする意図を明白に示すための追加入力機構（例えば、ボタン、音声など）を使用することなく、かつ凝視ジェスチャを使用することなく、定期的に更新される位置信号を介して選択できるが、一部の例では、開示された視線ジェスチャと組み合わせて凝視を使用することができる。
[0040] 一部の実施形態では、本明細書に記載された方法および処理は、１つまたは複数のコンピューティングデバイスのコンピューティングシステムに関連付けることができる。具体的には、そのような方法および処理は、コンピュータアプリケーションプログラムまたはコンピュータアプリケーションサービス、アプリケーションプログラミングインターフェイス（application-programming interface：API）、ライブラリ、および／または他のコンピュータプログラム製品として実装できる。
[0041] 図７は、前述の１つまたは複数の方法および処理を実現できるコンピューティングシステム７００の限定されない実施形態の概略図を示す。コンピューティングシステム７００は、簡略化された形態で示されている。コンピューティングシステム７００は、１つまたは複数のパーソナルコンピュータ、サーバコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、ゲーミングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス（例えば、スマートフォン）、ウェアラブルデバイス（例えば、前述したようなヘッドマウントディスプレイ）、および／またはその他のコンピューティングデバイスの形態を取ることができる。
[0042] コンピューティングシステム７００は、ロジックサブシステム７０２およびストレージサブシステム７０４を含む。コンピューティングシステム７００は、ディスプレイサブシステム７０６、入力サブシステム７０８、通信サブシステム７１０、および／または図７に示されていないその他のコンポーネントをさらに含む。
[0043] ロジックサブシステム７０２は、命令を実行するように構成された１つまたは複数の物理デバイスを含む。例えば、ロジックサブシステムは、１つまたは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、またはその他の論理構造の一部である命令を実行するように構成することができる。そのような命令は、タスクを実行する、データタイプを実装する、１つまたは複数のコンポーネントの状態を変換する、技術的効果を実現する、または所望の結果に達するように実装できる。
[0044] ロジックサブシステムは、ソフトウェア命令を実行するように構成された１つまたは複数のプロセッサを含むことができる。追加または代替として、ロジックサブシステムは、ハードウェア命令またはファームウェア命令を実行するように構成された１つまたは複数のハードウェアロジックサブシステムまたはファームウェアロジックサブシステムを含むことができる。ロジックサブシステムのプロセッサは、シングルコアまたはマルチコアとすることができ、それらのプロセッサ上で実行される命令は、逐次処理、並列処理、および／または分散処理を行うように構成できる。ロジックサブシステムの個々のコンポーネントは、任意選択により２つ以上の別々のデバイス間で分散することができ、これらのデバイスは、離れた場所に配置すること、および／または連携して処理するように構成することができる。ロジックサブシステムの各態様は、クラウドコンピューティング構成内で構成された、遠隔からアクセスできるネットワークコンピューティングデバイスによって仮想化および実行することができる。
[0045] ストレージサブシステム７０４は、本明細書に記載された方法および処理を実装するためのロジックサブシステムによって実行可能な命令を保持するように構成された１つまたは複数の物理デバイスを含む。そのような方法および処理が実装された場合、ストレージサブシステム７０４の状態を、例えば異なるデータを保持するように変えることができる。
[0046] ストレージサブシステム７０４は、取り外し可能かつ／または組み込みのコンピュータ可読ストレージ媒体を含むことができる。ストレージサブシステム７０４は、特に、光メモリ（例えば、CD、DVD、HD-DVD、ブルーレイディスクなど）、半導体メモリ（例えば、RAM、EPROM、EEPROMなど）、および／または磁気メモリ（例えば、ハードディスクドライブ、フロッピーディスクドライブ、テーブドライブ、MRAMなど）を含むことができる。ストレージサブシステム７０４は、揮発性デバイス、不揮発性デバイス、動的デバイス、静的デバイス、読み取り／書き込みデバイス、読み取り専用デバイス、ランダムアクセスデバイス、シーケンシャルアクセスデバイス、位置アドレス可能デバイス、ファイルアドレス可能デバイス、および／またはコンテンツアドレス可能デバイスを含むことができる。
[0047] ストレージサブシステム７０４が１つまたは複数の物理デバイスを含み、信号自体を含まないということが理解されるであろう。ただし、本明細書に記載された命令の各態様は、物理ストレージデバイスに保存されるのとは対照的に、代替として、通信媒体（例えば、電磁信号、光信号など）によって伝搬することができる。
[0048] ロジックサブシステム７０２およびストレージサブシステム７０４の各態様は、１つまたは複数のハードウェアロジックコンポーネントに一緒に統合できる。そのようなハードウェアロジックコンポーネントは、例えば、フィールドプログラマブルゲートアレイ（FPGA）、特定プログラム向け集積回路および特定用途向け集積回路（PASIC/ASIC）、特定プログラム向け標準品および特定用途向け標準品（PSSP/ASSP）、システムオンチップ（SOC）、および複合プログラム可能論理デバイス（CPLD）を含むことができる。
[0049] 「モジュール」、「プログラム」、および「エンジン」という用語は、特定の機能を実行するように実装されたコンピューティングシステム７００の態様を表すために使用することができる。場合によっては、モジュール、プログラム、またはエンジンは、ストレージサブシステム７０４によって保持された命令を実行するロジックサブシステム７０２を介してインスタンス化できる。同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数などから、さまざまなモジュール、プログラム、および／またはエンジンをインスタンス化できるということが理解されるであろう。同様に、さまざまなアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数などによって、同じモジュール、プログラム、および／またはエンジンをインスタンス化できる。「モジュール」、「プログラム」、および「エンジン」という用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコードなどのそれぞれ、またはグループを表すことができる。さらに、各実施形態は、１つまたは複数のプログラムおよび／またはデータがエンドユーザから遠隔で格納され、ネットワークを介してエンドユーザによってアクセスされる、サービス型ソフトウェア（SaaS）として実装できるということが理解されるであろう。
[0050] ディスプレイサブシステム７０６が含まれる場合、ディスプレイサブシステム７０６は、ストレージサブシステム７０４に保持されたデータの視覚的表現を表示するために使用することができる。この視覚的表現は、グラフィカルユーザインターフェイス（GUI）の形態を取ることができる。本明細書に記載された方法および処理が、ストレージサブシステムに保持されたデータを変更し、それによってストレージサブシステムの状態が変わると、同様にディスプレイサブシステムの状態も、内在するデータの変化を視覚的に表現するように変わることができる。ディスプレイサブシステム７０６は、任意の種類の技術を仮想的に使用する１つまたは複数のディスプレイデバイスを含むことができる。そのようなディスプレイデバイスは、共有された筐体内でロジックサブシステム７０２および／またはストレージサブシステム７０４と組み合わせるか、周辺ディスプレイデバイスとすることができる。
[0051] 入力サブシステム７０８が含まれる場合、入力サブシステム７０８は、キーボード、マウス、タッチスクリーン、またはゲームコントローラなどの１つまたは複数のユーザ入力デバイスを備えるか、これらのユーザ入力デバイスとインターフェイスを取ることができる。一部の実施形態では、入力サブシステムは、選択された自然なユーザ入力（natural user input：NUI）コンポーネントを備えるか、自然なユーザ入力（NUI）コンポーネントとインターフェイスを取ることができる。そのようなコンポーネントは、統合されるか、または周辺デバイスとすることができ、入力操作の変換および／または処理は、オンボードまたはオフボードで実行することができる。ＮＵＩコンポーネントの例は、会話および／または音声認識用のマイクロホン、マシンビジョンおよび／またはジェスチャ認識用の赤外線カメラ、カラーカメラ、立体カメラ、および／または深度カメラ、動作検出および／または意図認識用の頭部追跡装置、視線追跡装置、加速度計、および／またはジャイロスコープ、ならびに脳活動の評価用の電場検出コンポーネントを含むことができる。
[0052] 通信サブシステム７１０が含まれる場合、通信サブシステム７１０は、コンピューティングシステム７００を１つまたは複数の他のコンピューティングデバイスに通信によって結合するように構成できる。通信サブシステム７１０は、１つまたは複数の異なる通信プロトコルと互換性のある有線通信デバイスおよび／または無線通信デバイスを含むことができる。限定されない例として、通信サブシステムは、無線電話ネットワーク、あるいは有線または無線のローカルエリアネットワークまたは広域ネットワークを介して通信するように構成できる。一部の実施形態では、通信サブシステムは、コンピューティングシステム７００が、インターネットなどのネットワークを介して、メッセージを他のデバイスに対して送信および／または受信できるようにすることが可能である。
[0053] 本明細書に記載された構成および／または方法が、実際は例であり、多くの変形が可能であるため、これらの特定の実施形態または例が限定を意味しているとは見なされないということが理解されるであろう。本明細書に記載された特定のルーチンまたは方法は、１つまたは複数の任意の数の処理方式を表すことができる。そのため、図に示された、かつ／または説明されたさまざまな動作は、図に示された順序および／または説明された順序、その他の順序、または並列で実行されるか、あるいは省略できる。同様に、前述の処理の順序は、変更可能である。
[0054] 本明細書に記載された構成および／または方法が、実際は例であり、多くの変形が可能であるため、これらの特定の実施形態または例が限定を意味しているとは見なされないということが理解されるであろう。本明細書に記載された特定のルーチンまたは方法は、１つまたは複数の任意の数の処理方式を表すことができる。そのため、図に示された、かつ／または説明されたさまざまな動作は、図に示された順序および／または説明された順序、その他の順序、または並列で実行されるか、あるいは省略できる。同様に、前述の処理の順序は、変更可能である。
[0055] 本開示の対象には、本明細書で開示されたさまざまな処理、システム、および構成、ならびにその他の特徴、機能、動作、および／または特性の新しい自明でないすべての組み合わせおよび部分的組み合わせに加えて、これらと同等のあらゆるものが含まれる。
Claims (9)
- コンピューティングデバイス上で、定期的に更新される位置信号を提供するユーザ入力機構を介して、グラフィカルユーザインターフェイスに表示された第１の選択可能なユーザインターフェイスエレメントの選択を受信する方法であって、
前記第１の選択可能なユーザインターフェイスエレメントを前記グラフィカルユーザインターフェイス上の第１の位置に表示し、また、前記第１の選択可能なユーザインターフェイスエレメントの少なくとも部分的に外側で、かつ、前記第１の選択可能なユーザインターフェイスエレメントに隣接して、前記第１の選択可能なユーザインターフェイスエレメントに関連付けられた第１の移動可能なインタラクティブターゲットを表示することであって、前記第１の選択可能なユーザインターフェイスエレメントは、視線と前記第１の移動可能なインタラクティブターゲットとの相互作用を介して選択可能であることと、
第２の選択可能なユーザインターフェイスエレメントを前記グラフィカルユーザインターフェイス上の第２の位置に表示し、また、前記第２の選択可能なユーザインターフェイスエレメントの少なくとも部分的に外側で、かつ、前記第２の選択可能なユーザインターフェイスエレメントに隣接して、前記第２の選択可能なユーザインターフェイスエレメントに関連付けられた第２の移動可能なインタラクティブターゲットを表示することであって、前記第２の選択可能なユーザインターフェイスエレメントは、視線と前記第２の移動可能なインタラクティブターゲットとの相互作用を介して選択可能であることと、
視線追跡システムから、前記定期的に更新される位置信号の座標の入力を受信することと、
前記定期的に更新される位置信号が、まず、前記第１の選択可能なユーザインターフェイスエレメントと相互作用し、次に、前記第１の選択可能なユーザインターフェイスエレメントを選択するための既定の動作条件を満たすために、表示された目的位置に向かう前記第１の移動可能なインタラクティブターゲットの動作を含む追跡視線ジェスチャを介して、前記第１の移動可能なインタラクティブターゲットと相互作用する、モーションインタラクションに応答して、前記第１の選択可能なユーザインターフェイスエレメントの選択を決定することとを備える方法。 - 前記追跡視線ジェスチャが、前記第１の移動可能なインタラクティブターゲットを初期位置から目的位置に動かす視線移動ジェスチャを含む、請求項１に記載の方法。
- 前記既定の動作条件が、前記第１の選択可能なユーザインターフェイスエレメントの選択に使用することができる２つ以上の異なる動作条件のうちの１つである、請求項１に記載の方法。
- 前記第１の移動可能なインタラクティブターゲットが前記グラフィカルユーザインターフェイス上に持続的に表示される、請求項１に記載の方法。
- １つまたは複数の移動可能なインタラクティブターゲットが、ユーザと１つまたは複数の選択可能なユーザインターフェイスエレメントとの間のインタラクションに応答して表示される、請求項１に記載の方法。
- コンピューティングデバイス上で、グラフィカルユーザインターフェイスに表示されたコンテンツの視線ジェスチャを介して、第１の選択可能なユーザインターフェイスエレメントの選択を受信する方法であって、
前記第１の選択可能なユーザインターフェイスエレメントの表現を前記グラフィカルユーザインターフェイス上の第１の位置に表示し、また、前記第１の選択可能なユーザインターフェイスエレメントの少なくとも部分的に外側で、かつ、前記第１の選択可能なユーザインターフェイスエレメントに隣接して、前記第１の選択可能なユーザインターフェイスエレメントに関連付けられた第１のインタラクティブターゲットを表示することであって、前記第１の選択可能なユーザインターフェイスエレメントは、視線と前記第１のインタラクティブターゲットとの相互作用を介して選択可能であることと、
第２の選択可能なユーザインターフェイスエレメントの表現を前記グラフィカルユーザインターフェイス上の第２の位置に表示し、また、前記第２の選択可能なユーザインターフェイスエレメントの少なくとも部分的に外側で、かつ、前記第２の選択可能なユーザインターフェイスエレメントに隣接して、前記第２の選択可能なユーザインターフェイスエレメントに関連付けられた第２のインタラクティブターゲットを表示することであって、前記第２の選択可能なユーザインターフェイスエレメントは、視線と前記第２のインタラクティブターゲットとの相互作用を介して選択可能であることと、
前記第１の選択可能なユーザインターフェイスに関連付けられた異なるインタラクティブターゲットの表現を前記グラフィカルユーザインターフェイスに表示することと、
視線追跡システムから、視線ジェスチャに対応する座標の入力を受信することと、
前記視線ジェスチャが、まず、前記第１の選択可能なユーザインターフェイスエレメントと相互作用し、次に、前記第１の選択可能なユーザインターフェイスエレメントから前記第１のインタラクティブターゲットに移動し、次に、前記第１の選択可能なユーザインターフェイスを選択する意図を確認するために前記第１のインタラクティブターゲットから前記異なるインタラクティブターゲットに移動する、モーションインタラクションを含む場合に、前記第１の選択可能なユーザインターフェイスエレメントの選択を決定することとを備える方法。 - 前記第１の選択可能なユーザインターフェイスエレメントの選択を決定することが、前記モーションインタラクションが既定の動作条件を満たすことを決定することを含み、前記既定の動作条件が、連続するサッケードジェスチャを含む、請求項６に記載の方法。
- 前記連続するサッケードジェスチャが、特定の一連のモーションインタラクションを含み、前記特定の一覧のモーションインタラクションが、前記第１の選択可能なユーザインターフェイスエレメントと、その後前記第１のインタラクティブターゲットとのモーションインタラクションと、これに続く前記異なるインタラクティブターゲットとのモーションインタラクションとを含む、請求項７に記載の方法。
- 視線ジェスチャを介して、表示されたコンテンツの選択を受信するように構成されたヘッドマウントディスプレイシステムであって、
ニアアイディスプレイデバイスと、
視線追跡入力システムと、
ロジックサブシステムと、
命令を保持するストレージサブシステムと、
を備え、前記命令は、前記ロジックサブシステムに、
前記ニアアイディスプレイデバイスを介して、第１の位置に第１の選択可能なユーザインターフェイスエレメントの表現を表示することであって、前記第１の選択可能なユーザインターフェイスエレメントが、第１のインタラクティブターゲットとの相互作用により選択可能であることと、
前記ニアアイディスプレイデバイスを介して、第２の位置に第２の選択可能なユーザインターフェイスエレメントの表現を表示することであって、前記第２の選択可能なユーザインターフェイスエレメントが、第２のインタラクティブターゲットとの相互作用により選択可能であることと、
視線追跡システムから、座標の入力を受信することと、
前記座標の入力から、視線ジェスチャの前記第１の選択可能なユーザインターフェイスエレメントとの相互作用を検出することと、
前記視線ジェスチャの前記第１の選択可能なユーザインターフェイスエレメントとの相互作用の検出に応答して、前記第１の選択可能なユーザインターフェイスエレメントの少なくとも部分的に外側で、かつ、前記第１の選択可能なユーザインターフェイスエレメントに隣接して、前記第１のインタラクティブターゲットの表現を前記ニアアイディスプレイデバイスを介して表示することであって、前記第１のインタラクティブターゲットが、前記第１の選択可能なユーザインターフェイスエレメントと関連付けられていることと、
前記視線追跡システムからの前記座標の入力から、前記第１の選択可能なユーザインターフェイスエレメントから前記第１のインタラクティブターゲットへの前記視線の動きを検出することと、
前記視線ジェスチャの前記第１のインタラクティブターゲットとの相互作用の検出に応答して、前記第１の選択可能なユーザインターフェイスに関連付けられた異なるインタラクティブターゲットの表現を前記ニアアイディスプレイデバイスを介して表示することと、
前記座標の入力から前記異なるインタラクティブターゲットとの相互作用が検出されるとき、前記第１の選択可能なユーザインターフェイスエレメントを選択する意図を確認することと、
前記座標の入力から前記異なるインタラクティブターゲットとの前記相互作用が検出されないとき、前記第１の選択可能なユーザインターフェイスエレメントを選択しないことと、
を実行させることが可能である、ヘッドマウントディスプレイシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/926,204 US10025378B2 (en) | 2013-06-25 | 2013-06-25 | Selecting user interface elements via position signal |
| US13/926,204 | 2013-06-25 | ||
| PCT/US2014/043306 WO2014209772A1 (en) | 2013-06-25 | 2014-06-20 | Selecting user interface elements via position signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016526721A JP2016526721A (ja) | 2016-09-05 |
| JP6387404B2 true JP6387404B2 (ja) | 2018-09-05 |
Family
ID=51210775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016521830A Active JP6387404B2 (ja) | 2013-06-25 | 2014-06-20 | 位置信号を介したユーザインターフェイスエレメントの選択 |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US10025378B2 (ja) |
| EP (1) | EP3014390B1 (ja) |
| JP (1) | JP6387404B2 (ja) |
| KR (1) | KR102223696B1 (ja) |
| CN (1) | CN105393190B (ja) |
| AU (1) | AU2014302874B2 (ja) |
| BR (1) | BR112015031695B1 (ja) |
| CA (1) | CA2913783C (ja) |
| MX (1) | MX362465B (ja) |
| RU (1) | RU2676244C2 (ja) |
| TW (1) | TW201506688A (ja) |
| WO (1) | WO2014209772A1 (ja) |
Families Citing this family (71)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US20130339859A1 (en) | 2012-06-15 | 2013-12-19 | Muzik LLC | Interactive networked headphones |
| US10884577B2 (en) * | 2013-01-15 | 2021-01-05 | Poow Innovation Ltd. | Identification of dynamic icons based on eye movement |
| KR20150104615A (ko) | 2013-02-07 | 2015-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
| US9285872B1 (en) * | 2013-12-12 | 2016-03-15 | Google Inc. | Using head gesture and eye position to wake a head mounted device |
| KR102153435B1 (ko) * | 2013-12-20 | 2020-09-08 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
| US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US9836122B2 (en) * | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
| KR102173699B1 (ko) * | 2014-05-09 | 2020-11-03 | 아이플루언스, 인크. | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
| US10564714B2 (en) * | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10248192B2 (en) * | 2014-12-03 | 2019-04-02 | Microsoft Technology Licensing, Llc | Gaze target application launcher |
| US9916835B2 (en) * | 2015-01-22 | 2018-03-13 | Sennheiser Electronic Gmbh & Co. Kg | Digital wireless audio transmission system |
| JP6295995B2 (ja) * | 2015-04-28 | 2018-03-20 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置、画像処理装置へのジョブ指示方法 |
| US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
| EP3332311B1 (en) * | 2015-08-04 | 2019-12-04 | Google LLC | Hover behavior for gaze interactions in virtual reality |
| JP6865175B2 (ja) * | 2015-08-15 | 2021-04-28 | グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ | 実在オブジェクトおよび仮想オブジェクトと対話するための生体力学に基づく視覚信号用のシステムおよび方法 |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| WO2017075100A1 (en) * | 2015-10-26 | 2017-05-04 | Pillantas Inc. | Systems and methods for eye vergence control |
| US10466780B1 (en) * | 2015-10-26 | 2019-11-05 | Pillantas | Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10657036B2 (en) * | 2016-01-12 | 2020-05-19 | Micro Focus Llc | Determining visual testing coverages |
| US20170199748A1 (en) * | 2016-01-13 | 2017-07-13 | International Business Machines Corporation | Preventing accidental interaction when rendering user interface components |
| US10163198B2 (en) | 2016-02-26 | 2018-12-25 | Samsung Electronics Co., Ltd. | Portable image device for simulating interaction with electronic device |
| JP6630607B2 (ja) * | 2016-03-28 | 2020-01-15 | 株式会社バンダイナムコエンターテインメント | シミュレーション制御装置及びシミュレーション制御プログラム |
| US10089000B2 (en) | 2016-06-03 | 2018-10-02 | Microsoft Technology Licensing, Llc | Auto targeting assistance for input devices |
| US20180095635A1 (en) * | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
| US10536691B2 (en) | 2016-10-04 | 2020-01-14 | Facebook, Inc. | Controls and interfaces for user interactions in virtual spaces |
| CN111610858B (zh) | 2016-10-26 | 2023-09-19 | 创新先进技术有限公司 | 基于虚拟现实的交互方法及装置 |
| CN107015637B (zh) * | 2016-10-27 | 2020-05-05 | 阿里巴巴集团控股有限公司 | 虚拟现实场景下的输入方法和装置 |
| US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
| US11099716B2 (en) | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
| US10437070B2 (en) | 2016-12-23 | 2019-10-08 | Realwear, Inc. | Interchangeable optics for a head-mounted display |
| US10393312B2 (en) | 2016-12-23 | 2019-08-27 | Realwear, Inc. | Articulating components for a head-mounted display |
| US10936872B2 (en) | 2016-12-23 | 2021-03-02 | Realwear, Inc. | Hands-free contextually aware object interaction for wearable display |
| US10620910B2 (en) | 2016-12-23 | 2020-04-14 | Realwear, Inc. | Hands-free navigation of touch-based operating systems |
| US10244204B2 (en) * | 2017-03-22 | 2019-03-26 | International Business Machines Corporation | Dynamic projection of communication data |
| DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK201770427A1 (en) | 2017-05-12 | 2018-12-20 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| US10155166B1 (en) * | 2017-09-08 | 2018-12-18 | Sony Interactive Entertainment Inc. | Spatially and user aware second screen projection from a companion robot or device |
| WO2019095360A1 (zh) * | 2017-11-20 | 2019-05-23 | 腾讯科技（深圳）有限公司 | 虚拟场景中菜单处理方法、装置及存储介质 |
| CN110362191A (zh) * | 2018-04-09 | 2019-10-22 | 北京松果电子有限公司 | 目标选择方法、装置、电子设备及存储介质 |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| US10549186B2 (en) * | 2018-06-26 | 2020-02-04 | Sony Interactive Entertainment Inc. | Multipoint SLAM capture |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| US11513768B2 (en) * | 2018-12-03 | 2022-11-29 | Sony Group Corporation | Information processing device and information processing method |
| CN109847343B (zh) * | 2018-12-29 | 2022-02-15 | 网易（杭州）网络有限公司 | 虚拟现实交互方法及装置、存储介质、电子设备 |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
| US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| CN112445323B (zh) * | 2019-08-29 | 2023-12-29 | 斑马智行网络(香港)有限公司 | 一种数据处理方法、装置、设备和机器可读介质 |
| TWI722674B (zh) * | 2019-11-21 | 2021-03-21 | 國立雲林科技大學 | 姿態影像訊號與運動訊號之訊號匹配系統以及訊號匹配方法 |
| US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
| KR20210150862A (ko) * | 2020-06-04 | 2021-12-13 | 주식회사 브이터치 | 제스처를 인식하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
| US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
| US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
| US11630509B2 (en) * | 2020-12-11 | 2023-04-18 | Microsoft Technology Licensing, Llc | Determining user intent based on attention values |
| JP2024509722A (ja) | 2021-02-08 | 2024-03-05 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるユーザ相互作用 |
| JP2024506630A (ja) | 2021-02-08 | 2024-02-14 | サイトフル コンピューターズ リミテッド | 生産性のためのエクステンデッド・リアリティ |
| JP2024507749A (ja) | 2021-02-08 | 2024-02-21 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるコンテンツ共有 |
| US11762458B2 (en) * | 2021-02-15 | 2023-09-19 | Sony Group Corporation | Media display device control based on eye gaze |
| TW202301083A (zh) * | 2021-06-28 | 2023-01-01 | 見臻科技股份有限公司 | 提供精準眼動追蹤之光學系統和相關方法 |
| WO2023009580A2 (en) | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
| US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
| US20230334795A1 (en) | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
| US12008160B2 (en) | 2022-03-30 | 2024-06-11 | Apple Inc. | Eye tracking based selection of a user interface (UI) element based on targeting criteria |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5583795A (en) | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
| US6535230B1 (en) * | 1995-08-07 | 2003-03-18 | Apple Computer, Inc. | Graphical user interface providing consistent behavior for the dragging and dropping of content objects |
| WO1999018842A1 (en) | 1997-10-16 | 1999-04-22 | The Board Of Trustees Of The Leland Stanford Junior University | Method for inferring mental states from eye movements |
| TWI356388B (en) | 2002-05-10 | 2012-01-11 | Jasper Display Corp | Display, system having a plurality of displays and |
| US20040095390A1 (en) * | 2002-11-19 | 2004-05-20 | International Business Machines Corporaton | Method of performing a drag-drop operation |
| US7561143B1 (en) * | 2004-03-19 | 2009-07-14 | The University of the Arts | Using gaze actions to interact with a display |
| CN1960670B (zh) * | 2004-04-01 | 2011-02-23 | 威廉·C·托奇 | 用于监控眼睛运动的生物传感器、通信器、和控制器及其使用方法 |
| DK1607840T3 (da) | 2004-06-18 | 2015-02-16 | Tobii Technology Ab | Øjenstyring af et computerapparat |
| US7657849B2 (en) * | 2005-12-23 | 2010-02-02 | Apple Inc. | Unlocking a device by performing gestures on an unlock image |
| DE602007001600D1 (de) | 2006-03-23 | 2009-08-27 | Koninkl Philips Electronics Nv | Hotspots zur blickfokussierten steuerung von bildmanipulationen |
| US20100079508A1 (en) * | 2008-09-30 | 2010-04-01 | Andrew Hodge | Electronic devices with gaze detection capabilities |
| TW201020901A (en) * | 2008-11-20 | 2010-06-01 | Ibm | Visual feedback for drag-and-drop operation with gravitational force model |
| US8678589B2 (en) | 2009-06-08 | 2014-03-25 | Panasonic Corporation | Gaze target determination device and gaze target determination method |
| EP2489195A1 (en) | 2009-10-14 | 2012-08-22 | Nokia Corp. | Autostereoscopic rendering and display apparatus |
| JP5613025B2 (ja) | 2009-11-18 | 2014-10-22 | パナソニック株式会社 | 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置 |
| KR101694159B1 (ko) * | 2010-04-21 | 2017-01-09 | 엘지전자 주식회사 | 증강 원격제어장치 및 그 동작 방법 |
| JP5617246B2 (ja) * | 2010-01-12 | 2014-11-05 | ソニー株式会社 | 画像処理装置、物体選択方法及びプログラム |
| JP5743416B2 (ja) | 2010-03-29 | 2015-07-01 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US8593375B2 (en) | 2010-07-23 | 2013-11-26 | Gregory A Maltz | Eye gaze user interface and method |
| US8402533B2 (en) * | 2010-08-06 | 2013-03-19 | Google Inc. | Input to locked computing device |
| US8854318B2 (en) | 2010-09-01 | 2014-10-07 | Nokia Corporation | Mode switching |
| JP5558983B2 (ja) | 2010-09-15 | 2014-07-23 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 画面表示装置、画面表示制御方法及び画面表示制御プログラム並びに情報端末装置 |
| KR101729023B1 (ko) | 2010-10-05 | 2017-04-21 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
| US9690099B2 (en) * | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
| US20120257035A1 (en) | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
| CN102253714B (zh) | 2011-07-05 | 2013-08-21 | 北京工业大学 | 基于视觉决策的选择触发方法 |
| US8235529B1 (en) | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
| US8847903B2 (en) * | 2012-04-26 | 2014-09-30 | Motorola Mobility Llc | Unlocking an electronic device |
| EP2956844B1 (en) * | 2013-02-14 | 2017-05-24 | Facebook, Inc. | Systems and methods of eye tracking calibration |
| US9791921B2 (en) * | 2013-02-19 | 2017-10-17 | Microsoft Technology Licensing, Llc | Context-aware augmented reality object commands |
| US10216266B2 (en) * | 2013-03-14 | 2019-02-26 | Qualcomm Incorporated | Systems and methods for device interaction based on a detected gaze |
-
2013
- 2013-06-25 US US13/926,204 patent/US10025378B2/en active Active
-
2014
- 2014-05-23 TW TW103118107A patent/TW201506688A/zh unknown
- 2014-06-20 WO PCT/US2014/043306 patent/WO2014209772A1/en active Application Filing
- 2014-06-20 RU RU2015155603A patent/RU2676244C2/ru active
- 2014-06-20 CA CA2913783A patent/CA2913783C/en active Active
- 2014-06-20 KR KR1020167002163A patent/KR102223696B1/ko active IP Right Grant
- 2014-06-20 JP JP2016521830A patent/JP6387404B2/ja active Active
- 2014-06-20 BR BR112015031695-6A patent/BR112015031695B1/pt active IP Right Grant
- 2014-06-20 CN CN201480036632.1A patent/CN105393190B/zh active Active
- 2014-06-20 AU AU2014302874A patent/AU2014302874B2/en active Active
- 2014-06-20 MX MX2015017633A patent/MX362465B/es active IP Right Grant
- 2014-06-20 EP EP14740038.6A patent/EP3014390B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CA2913783C (en) | 2021-07-27 |
| AU2014302874A1 (en) | 2015-12-17 |
| AU2014302874B2 (en) | 2019-04-18 |
| EP3014390B1 (en) | 2019-07-24 |
| CA2913783A1 (en) | 2014-12-31 |
| BR112015031695A2 (pt) | 2017-07-25 |
| WO2014209772A1 (en) | 2014-12-31 |
| RU2676244C2 (ru) | 2018-12-26 |
| BR112015031695A8 (pt) | 2021-05-25 |
| US10025378B2 (en) | 2018-07-17 |
| TW201506688A (zh) | 2015-02-16 |
| US20140380230A1 (en) | 2014-12-25 |
| RU2015155603A3 (ja) | 2018-05-24 |
| EP3014390A1 (en) | 2016-05-04 |
| JP2016526721A (ja) | 2016-09-05 |
| MX362465B (es) | 2019-01-18 |
| BR112015031695B1 (pt) | 2022-01-11 |
| CN105393190B (zh) | 2018-12-07 |
| KR20160023889A (ko) | 2016-03-03 |
| MX2015017633A (es) | 2016-04-15 |
| KR102223696B1 (ko) | 2021-03-04 |
| RU2015155603A (ru) | 2017-06-30 |
| CN105393190A (zh) | 2016-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6387404B2 (ja) | 位置信号を介したユーザインターフェイスエレメントの選択 | |
| US10705602B2 (en) | Context-aware augmented reality object commands | |
| US10222981B2 (en) | Holographic keyboard display | |
| EP3137974B1 (en) | Display device viewer gaze attraction | |
| EP3129863B1 (en) | Non-visual feedback of visual change in a gaze tracking method and device | |
| US9977492B2 (en) | Mixed reality presentation | |
| US11226678B2 (en) | Gaze timer based augmentation of functionality of a user input device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180720 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180813 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6387404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |