WO2015064165A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2015064165A1 WO2015064165A1 PCT/JP2014/070439 JP2014070439W WO2015064165A1 WO 2015064165 A1 WO2015064165 A1 WO 2015064165A1 JP 2014070439 W JP2014070439 W JP 2014070439W WO 2015064165 A1 WO2015064165 A1 WO 2015064165A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information processing
- line
- application
- present
- sight
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
Abstract
Description
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係るプログラム
本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
例えば下記のような場合に、ユーザが、視線のみを用いた操作を所望することがある。
・ユーザが、透過型または遮蔽型のヘッドマウントディスプレイ(Head Mounted Display。以下、「HMD」と示す。)を装着している場合
・ユーザが、タブレット型の装置や、携帯電話やスマートフォンなどの通信装置などの、携帯型の装置を操作を行いたいときに、片手または両手がふさがっている場合(例えば、ユーザが料理をしている場合など)
・ユーザが、PC(Personal Computer)などのコンピュータや、テレビ受像機などの、上記携帯型の装置と比較して大きな表示画面を有する装置を操作を行いたい、かつ、ユーザと当該装置との距離、またはユーザと当該装置を操作可能なリモート・コントローラとの距離が離れている場合
本実施形態に係る情報処理装置は、例えば、ユーザの視線位置を取得する。本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報を取得し、取得されたユーザの視線の位置に関する情報に基づいて、ユーザの視線位置を特定することによって、ユーザの視線位置を取得する。
本実施形態に係る情報処理装置は、例えば、上記(1)の処理(視線位置取得処理)により取得された視線位置が、アプリケーションに関する位置に対応するかを判定する(判定処理)。そして、本実施形態に係る情報処理装置は、本実施形態に係る判定処理において、視線位置がアプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御する(状態制御処理)。本実施形態に係る情報処理装置は、本実施形態に係る状態制御処理において、例えば、アプリケーションの状態の制御に係る各種命令(例えば、後述する起動命令や、終了命令など)を生成し、本実施形態に係る情報処理装置が当該命令を実行すること、または、外部装置に当該命令を実行させることによって、アプリケーションの状態を制御する。
本実施形態に係る情報処理装置は、例えば、視線位置が第1位置に対応するかを判定する(判定処理)。また、第1位置が、アプリケーションごとに設定されている場合には、本実施形態に係る情報処理装置は、例えば、設定されている第1位置ごとに、視線位置が第1位置に対応するかを判定する。
例えば上記(i)に示す第1の例に係る状態制御処理などによって、アプリケーションが起動されている場合において、本実施形態に係る情報処理装置は、例えば、視線位置が、起動されているアプリケーションに対応する第2位置に対応するかを判定する(判定処理)。また、第2位置が、アプリケーションごとに設定されている場合には、本実施形態に係る情報処理装置は、例えば、設定されている第2位置ごとに、視線位置が第2位置に対応するかを判定する。
本実施形態に係る情報処理装置は、例えば、“上記第1の例に係る判定処理および状態制御処理”と、“上記第2の例に係る判定処理および状態制御処理”とを組み合わせ処理を行うことも可能である。
・表示オブジェクトを表示させるための位置(以下、「第3位置」と示す場合がある。)
・表示されている表示オブジェクトに対応付けられたアプリケーションを起動させるための位置(以下、「第4位置」と示す場合がある。)
・表示されている表示オブジェクトを移動させるための位置(以下、「第5位置」と示す場合がある。)
・表示されている表示オブジェクトを非表示とさせるための位置(以下、「第6位置」と示す場合がある。)
例えば、本実施形態に係る情報処理装置は、表示オブジェクトが表示されていると判定されない場合には、視線位置が、第3位置(オブジェクトを表示させるための位置)に対応するかを判定する(判定処理)。
本実施形態に係る判定処理において、表示オブジェクトが表示されているかがさらに判定される場合、本実施形態に係る情報処理装置は、例えば、表示されている表示オブジェクトを変更することも可能である。
本実施形態に係る判定処理において、表示オブジェクトが表示されているかがさらに判定される場合、本実施形態に係る情報処理装置は、例えば、表示されている表示オブジェクトを、視線位置に基づき移動させることも可能である。
本実施形態に係る判定処理において、表示オブジェクトが表示されているかがさらに判定される場合、本実施形態に係る情報処理装置は、例えば、表示されている表示オブジェクトを、非表示とさせることも可能である。
本実施形態に係る情報処理装置は、例えば、“上記第4の例に係る判定処理および状態制御処理”と、“上記第5の例に係る判定処理および状態制御処理”~“上記第7の例に係る判定処理および状態制御処理”のうちの1または2以上の処理とを、組み合わせ処理を行うことも可能である。
・ユーザが設定されている位置をみると、アプリケーションに対応付けられているアイコン(表示オブジェクトの一例。以下、同様とする。)が表示される。
・ユーザがアイコンを見続けていると、アイコンが他のアプリケーションに対応付けられている他のアイコンに切り替わる。
・ユーザが、アイコンを表示させる際に見た方向と異なる方向を見ると、現在表示されているアイコンが見た方向に移動する。
・ユーザが設定されている位置をみると、アイコンに対応付けられているアプリケーションが起動する。
・例えば、ユーザの手がふさがっている場合や、ユーザの手が汚れている場合、ユーザが手を出すのが億劫な場合、ユーザが透過型HMDや遮蔽型HMDを使用している場合などにおいて、ユーザは、ジェスチャやボタン操作などを用いずに視線のみによって、アプリケーションの起動や終了などを行わせることや、メニューの中から所望のものを選択させることなどを実現することができる。よって、煩わしさが軽減され、ユーザの操作性や利便性の向上を図ることができる。
・音声認識などが行えない場合(例えば、ユーザが声を出すことができない状況である場合など)において、ユーザは、他者に迷惑をかけることなる、操作を行うことができる。
次に、上述した本実施形態に係る情報処理方法に係る処理の具体例を説明する。
図1は、本実施形態に係る情報処理方法に係る処理の第1の例を説明するための流れ図である。ここで、図1に示す本実施形態に係る情報処理方法に係る処理の第1の例は、例えば、本実施形態に係る情報処理装置が、上記(1)の処理(視線位置取得処理)と、“上記第3の例に係る判定処理および状態制御処理”とを行う場合の処理の一例に該当する。図1では、例えば、ステップS100~S106、およびS110、S112の処理が、上記(2)の処理(判定処理)の一例に該当し、ステップS108、S114の処理が、上記(3)の処理(状態制御処理)の一例に該当する。なお、図1では、上記(1)の処理(視線位置取得処理)については省略しており、上記(1)の処理(視線位置取得処理)は、例えば、常時、定期的に、または、不定期的に行われる。
・表示画面における、表示画面をみるユーザから向かって左端から5[cm]以内の領域内
・表示画面の水平方向を3分割した際における、表示画面をみるユーザから向かって表示画面の一番右の領域内
・撮像に係るアプリケーションは、表示画面をみるユーザから向かって表示画面の左下の領域内、音声認識に係るアプリケーションは、表示画面をみるユーザから向かって表示画面の右下の領域内など、アプリケーションごとに設定された領域内
・ユーザが見つめている点を3次元座標で求める方法
・ユーザが意図して見つめているのかどうかを判定する方法
・視線に係る方法に加えて、ユーザの意識的動作(例えば、うなずき動作などの所定のジェスチャー)をさらに組み合わせる方法
・撮像アプリケーション
・音声認識アプリケーション
・ノーティフィケーションに係るアプリケーション(例えば、ノーティフィケーションの一覧を表示させるアプリケーションや、ノーティフィケーションに対応付けられているアプリケーションなど)
・表示画面における、表示画面をみるユーザから向かって右端から5[cm]以内の領域内
・表示画面の水平方向を3分割した際における、表示画面をみるユーザから向かって表示画面の一番左の領域内
・撮像に係るアプリケーションは、表示画面をみるユーザから向かって表示画面の左下の領域内、音声認識に係るアプリケーションは、表示画面をみるユーザから向かって表示画面の右下の領域内など、アプリケーションごとに設定された領域内
図3は、本実施形態に係る情報処理方法に係る処理の第2の例を説明するための流れ図である。ここで、図3に示す本実施形態に係る情報処理方法に係る処理の第2の例は、例えば、本実施形態に係る情報処理装置が、上記(1)の処理(視線位置取得処理)と、“上記第1の例に係る判定処理および状態制御処理”とを行う場合の処理の一例に該当する。図3は、本実施形態に係る情報処理方法に係る処理が、ユーザが視線で起動しなくとも自動で表示されるノーティフィケーション(例えば、メールの着信や、通話の着信、予定のアラームなど)の詳細表示をする場合に適用された例を示している。
図5は、本実施形態に係る情報処理方法に係る処理の第3の例を説明するための流れ図である。ここで、図5に示す本実施形態に係る情報処理方法に係る処理の第3の例は、例えば、本実施形態に係る情報処理装置が、上記(1)の処理(視線位置取得処理)と、“上記第8の例に係る判定処理および状態制御処理”とを行う場合の処理の一例に該当する。図5では、例えば、ステップS200~S206、S210、S212、S218、S222、S224、S228の処理が、上記(2)の処理(判定処理)の一例に該当する。また、図5では、ステップS208、S214、S216、S220、S226、S230の処理が、上記(3)の処理(状態制御処理)の一例に該当する。なお、図5では、上記(1)の処理(視線位置取得処理)については省略しており、上記(1)の処理(視線位置取得処理)は、例えば、常時、定期的に、または、不定期的に行われる。
・表示画面における、表示画面をみるユーザから向かって左端から5[cm]以内の領域内
・表示画面の水平方向を3分割した際における、表示画面をみるユーザから向かって表示画面の一番右の領域内
アプリケーションアイコンなどが挙げられる。
・ユーザが図7のCに示す領域を見続けることによって、ユーザは、アイコンをすこし引っ張りながら所望のアイコンに更新されるまで待つことができる。
・視線位置が図7のDに示す領域に位置した後、表示されたアイコンが所望のアプリケーションに対応していないアイコンであったことを、ユーザが気づいた場合には、ユーザは、視線を図7のCに示す領域に移すことによって、アイコンを変更させることができる。
・表示画面における、表示画面をみるユーザから向かって右端から5[cm]以内の領域内
・表示画面の水平方向を3分割した際における、表示画面をみるユーザから向かって表示画面の一番左の領域内
・ユーザが設定されている位置をみると、アプリケーションに対応付けられているアイコンが表示される。
・ユーザがアイコンを見続けていると、アイコンが他のアプリケーションに対応付けられている他のアイコンに切り替わる。
・ユーザが、アイコンを表示させる際に見た方向と異なる方向を見ると、現在表示されているアイコンが見た方向に移動する。
・ユーザが設定されている位置をみると、アイコンに対応付けられているアプリケーションが起動する。
上述した図5に示す本実施形態に係る情報処理方法に係る処理の第3の例について補足する。
図11、図12は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、図5に示す本実施形態に係る情報処理方法に係る処理の第3の例における、アイコンのレイアウトの一例をそれぞれ示している。図11に示すA、図12に示すAは、アイコンが表示される場合における表示状態の一例を示している。また、図11に示すB、図12に示すBは、アイコンが引っ張られている場合における表示状態の一例を示している。また、図11に示すC、図12に示すCは、アイコンが決定される場合における表示状態の一例を示している。
本実施形態に係る情報処理装置は、例えば、アイコンを表示するトリガとする位置、または、アイコンを表示するトリガとする位置に対応する方向から、アイコンを表示させる。例えば、図11、図12を例に挙げると、ユーザが、“表示画面の水平方向を3分割した際における、表示画面をみるユーザから向かって表示画面の一番左の領域内”を見ると、本実施形態に係る情報処理装置は、表示画面をみるユーザから向かって表示画面の左側から、アイコンを表示させる。
図11、図12に示すレイアウトを例に挙げて、起動させるアプリケーションに関連付けられているアイコンの決定方法の一例について説明する。
本実施形態に係る情報処理装置は、例えば下記に示す方法によって、アイコンを更新させる。なお、本実施形態に係るアイコンの更新方法が、下記に示す例に限られないことは、言うまでもない。
・一定の時間間隔でアイコンを自動で切り替える方法
・ユーザが、表示画面をみるユーザから向かって表示画面の上下に視線を動かすことによってアイコンを切り替える方法
・ユーザが、視線を、アイコンを決定するトリガとする位置とは、反対の位置(または方向)に動かすことによって、アイコンを切り替える方法
本実施形態に係る情報処理装置は、例えば、アイコンが表示されてから設定されている一定の時間間隔でアイコンを更新させる。ここで、本実施形態に係る一定の時間間隔は、例えば、予め設定されている固定の時間間隔であってもよいし、ユーザ操作などに基づいて変更可能な時間間隔であってもよい。
例えば、図11に示すレイアウトと図12に示すレイアウトとのどちらのレイアウトがとられる場合においても、本実施形態に係る情報処理装置は、例えば、ユーザが垂直方向に目を動かすことをトリガとして、アイコンを切り替える。
例えば、図11に示すレイアウトがとられるときには、本実施形態に係る情報処理装置は、例えば、視線位置が、アイコンを決定するトリガとする位置とは、反対の位置や反対の方向の領域に位置する場合に、アイコンを切り替える。
本実施形態に係る情報処理装置は、例えば、図4のステップS322~S326に示すように、ユーザが、アイコンを非表示にするトリガとなる位置を一定時間みている場合に、アイコンを非表示とする。本実施形態に係る情報処理装置は、例えば、非表示とするアイコンを、ユーザが見ている方向へとアニメーションさせながらスライドアウトさせることなどによって、当該アイコンを非表示とさせる。また、本実施形態に係る情報処理装置は、例えば、非表示とするアイコンを、瞬時に非表示とすることも可能である。
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置の構成の一例について、説明する。
図16は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、撮像デバイス164と、通信インタフェース166とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス168で各構成要素間を接続する。
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、上記(1)の処理(視線位置取得処理)、上記(2)の処理(判定処理)、および上記(3)の処理(状態制御処理)など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、視線によるアプリケーションに関する操作をユーザに行わせることができる。
(1)
ユーザの視線位置を取得する視線位置取得部と、
取得された視線位置が、アプリケーションに関する位置に対応するかを判定する判定部と、
前記視線位置が前記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御する処理部と、
を備える、情報処理装置。
(2)
前記アプリケーションに関する位置には、アプリケーションを起動させるための第1位置が含まれ、
前記判定部は、前記視線位置が前記第1位置に対応するかを判定し、
前記処理部は、前記視線位置が前記第1位置に対応すると判定された場合に、判定された前記第1位置に対応するアプリケーションを起動させる、(1)に記載の情報処理装置。
(3)
前記第1位置は、アプリケーションごとに設定され、
前記判定部は、設定されている第1位置ごとに、前記視線位置が前記第1位置に対応するかを判定する、(2)に記載の情報処理装置。
(4)
前記アプリケーションに関する位置には、起動されているアプリケーションを終了させるための第2位置が含まれ、
前記判定部は、アプリケーションが起動されている場合に、前記視線位置が、起動されている前記アプリケーションに対応する前記第2位置に対応するかを判定し、
前記処理部は、前記視線位置が前記第2位置に対応すると判定された場合に、判定された前記第2位置に対応するアプリケーションを終了させる、(1)~(3)のいずれか1つに記載の情報処理装置。
(5)
前記第2位置は、アプリケーションごとに設定され、
前記判定部は、設定されている第2位置ごとに、前記視線位置が前記第2位置に対応するかを判定する、(4)に記載の情報処理装置。
(6)
前記アプリケーションに関する位置には、オブジェクトを表示させるための第3位置と、表示されているオブジェクトに対応付けられたアプリケーションを起動させるための第4位置とが含まれ、
前記判定部は、
アプリケーションに対応付けられたオブジェクトが表示されているかをさらに判定し、
前記オブジェクトが表示されていると判定されない場合には、前記視線位置が、前記第3位置に対応するかを判定し、
前記処理部は、前記視線位置が前記第3位置に対応すると判定された場合に、前記第3位置に対応する前記オブジェクトを表示させ、
前記判定部は、前記オブジェクトが表示されていると判定された場合には、前記視線位置が前記第4位置に対応するかを判定し、
前記処理部は、前記視線位置が前記第4位置に対応すると判定された場合に、表示されている前記オブジェクトに対応付けられたアプリケーションを起動させる、(1)に記載の情報処理装置。
(7)
前記処理部は、前記視線位置が、表示させた前記オブジェクトの表示位置に対応する場合には、表示されている前記オブジェクトに替えて、他のアプリケーションに対応付けられている他のオブジェクトを表示させる、(6)に記載の情報処理装置。
(8)
前記処理部は、前記判定部において前記視線位置が前記第4位置に対応するかが判定されたときにおいて、前記視線位置が前記第4位置に対応すると判定されない場合には、設定されている所定の時間ごとに、表示されている前記オブジェクトに替えて、他のアプリケーションに対応付けられている他のオブジェクトを表示させる、(6)、または(7)に記載の情報処理装置。
(9)
前記アプリケーションに関する位置には、表示されている前記オブジェクトを移動させるための第5位置が含まれ、
前記判定部は、前記オブジェクトが表示されていると判定された場合には、前記視線位置が前記第5位置に対応するかを判定し、
前記処理部は、前記視線位置が前記第5位置に対応すると判定された場合に、表示されている前記オブジェクトを、前記第5位置に対応付けられた移動方法で移動させる、(6)~(8)のいずれか1つに記載の情報処理装置。
(10)
前記アプリケーションに関する位置には、表示されている前記オブジェクトを非表示とさせるための第6位置が含まれ、
前記判定部は、前記オブジェクトが表示されていると判定された場合には、前記視線位置が前記第6位置に対応するかを判定し、
前記処理部は、前記視線位置が前記第6位置に対応すると判定された場合に、表示されている前記オブジェクトを、非表示とさせる、(6)~(9)のいずれか1つに記載の情報処理装置。
(11)
ユーザの視線位置を取得するステップと、
取得された視線位置が、アプリケーションに関する位置に対応するかを判定するステップと、
前記視線位置が前記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御するステップと、
を有する、情報処理装置により実行される情報処理方法。
(12)
ユーザの視線位置を取得するステップ、
取得された視線位置が、アプリケーションに関する位置に対応するかを判定するステップ、
前記視線位置が前記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御するステップ、
をコンピュータに実行させるためのプログラム。
102 通信部
104 制御部
110 視線位置取得部
112 判定部
114 処理部
Claims (12)
- ユーザの視線位置を取得する視線位置取得部と、
取得された視線位置が、アプリケーションに関する位置に対応するかを判定する判定部と、
前記視線位置が前記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御する処理部と、
を備える、情報処理装置。 - 前記アプリケーションに関する位置には、アプリケーションを起動させるための第1位置が含まれ、
前記判定部は、前記視線位置が前記第1位置に対応するかを判定し、
前記処理部は、前記視線位置が前記第1位置に対応すると判定された場合に、判定された前記第1位置に対応するアプリケーションを起動させる、請求項1に記載の情報処理装置。 - 前記第1位置は、アプリケーションごとに設定され、
前記判定部は、設定されている第1位置ごとに、前記視線位置が前記第1位置に対応するかを判定する、請求項2に記載の情報処理装置。 - 前記アプリケーションに関する位置には、起動されているアプリケーションを終了させるための第2位置が含まれ、
前記判定部は、アプリケーションが起動されている場合に、前記視線位置が、起動されている前記アプリケーションに対応する前記第2位置に対応するかを判定し、
前記処理部は、前記視線位置が前記第2位置に対応すると判定された場合に、判定された前記第2位置に対応するアプリケーションを終了させる、請求項1に記載の情報処理装置。 - 前記第2位置は、アプリケーションごとに設定され、
前記判定部は、設定されている第2位置ごとに、前記視線位置が前記第2位置に対応するかを判定する、請求項4に記載の情報処理装置。 - 前記アプリケーションに関する位置には、オブジェクトを表示させるための第3位置と、表示されているオブジェクトに対応付けられたアプリケーションを起動させるための第4位置とが含まれ、
前記判定部は、
アプリケーションに対応付けられたオブジェクトが表示されているかをさらに判定し、
前記オブジェクトが表示されていると判定されない場合には、前記視線位置が、前記第3位置に対応するかを判定し、
前記処理部は、前記視線位置が前記第3位置に対応すると判定された場合に、前記第3位置に対応する前記オブジェクトを表示させ、
前記判定部は、前記オブジェクトが表示されていると判定された場合には、前記視線位置が前記第4位置に対応するかを判定し、
前記処理部は、前記視線位置が前記第4位置に対応すると判定された場合に、表示されている前記オブジェクトに対応付けられたアプリケーションを起動させる、請求項1に記載の情報処理装置。 - 前記処理部は、前記視線位置が、表示させた前記オブジェクトの表示位置に対応する場合には、表示されている前記オブジェクトに替えて、他のアプリケーションに対応付けられている他のオブジェクトを表示させる、請求項6に記載の情報処理装置。
- 前記処理部は、前記判定部において前記視線位置が前記第4位置に対応するかが判定されたときにおいて、前記視線位置が前記第4位置に対応すると判定されない場合には、設定されている所定の時間ごとに、表示されている前記オブジェクトに替えて、他のアプリケーションに対応付けられている他のオブジェクトを表示させる、請求項6に記載の情報処理装置。
- 前記アプリケーションに関する位置には、表示されている前記オブジェクトを移動させるための第5位置が含まれ、
前記判定部は、前記オブジェクトが表示されていると判定された場合には、前記視線位置が前記第5位置に対応するかを判定し、
前記処理部は、前記視線位置が前記第5位置に対応すると判定された場合に、表示されている前記オブジェクトを、前記第5位置に対応付けられた移動方法で移動させる、請求項6に記載の情報処理装置。 - 前記アプリケーションに関する位置には、表示されている前記オブジェクトを非表示とさせるための第6位置が含まれ、
前記判定部は、前記オブジェクトが表示されていると判定された場合には、前記視線位置が前記第6位置に対応するかを判定し、
前記処理部は、前記視線位置が前記第6位置に対応すると判定された場合に、表示されている前記オブジェクトを、非表示とさせる、請求項6に記載の情報処理装置。 - ユーザの視線位置を取得するステップと、
取得された視線位置が、アプリケーションに関する位置に対応するかを判定するステップと、
前記視線位置が前記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御するステップと、
を有する、情報処理装置により実行される情報処理方法。 - ユーザの視線位置を取得するステップ、
取得された視線位置が、アプリケーションに関する位置に対応するかを判定するステップ、
前記視線位置が前記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御するステップ、
をコンピュータに実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/024,135 US9891707B2 (en) | 2013-11-01 | 2014-08-04 | Information processing device, information processing method, and program for controlling a state of an application by gaze position |
CN201480058395.9A CN105765513B (zh) | 2013-11-01 | 2014-08-04 | 信息处理装置、信息处理方法和程序 |
JP2015544837A JP6398987B2 (ja) | 2013-11-01 | 2014-08-04 | 情報処理装置、情報処理方法、およびプログラム |
EP14857078.1A EP3065040A4 (en) | 2013-11-01 | 2014-08-04 | Information processing device, information processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013227938 | 2013-11-01 | ||
JP2013-227938 | 2013-11-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015064165A1 true WO2015064165A1 (ja) | 2015-05-07 |
Family
ID=53003784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/070439 WO2015064165A1 (ja) | 2013-11-01 | 2014-08-04 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9891707B2 (ja) |
EP (1) | EP3065040A4 (ja) |
JP (1) | JP6398987B2 (ja) |
CN (1) | CN105765513B (ja) |
WO (1) | WO2015064165A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016136837A1 (ja) * | 2015-02-25 | 2016-09-01 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
WO2017115618A1 (en) * | 2015-12-28 | 2017-07-06 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2017228291A (ja) * | 2016-06-16 | 2017-12-28 | ハンド ヘルド プロダクツ インコーポレーティッド | 視線検出により制御される標示スキャンシステム及び方法 |
JP6330072B1 (ja) * | 2017-03-08 | 2018-05-23 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
US10365784B2 (en) | 2017-03-08 | 2019-07-30 | Colopl, Inc. | Information processing method and apparatus for executing the information processing method |
JP2020149336A (ja) * | 2019-03-13 | 2020-09-17 | 株式会社リコー | 情報処理装置、表示制御方法、及びプログラム |
JPWO2021166238A1 (ja) * | 2020-02-21 | 2021-08-26 | ||
US11341680B2 (en) | 2018-03-30 | 2022-05-24 | Preferred Networks, Inc. | Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10466780B1 (en) | 2015-10-26 | 2019-11-05 | Pillantas | Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor |
US10401953B2 (en) | 2015-10-26 | 2019-09-03 | Pillantas Inc. | Systems and methods for eye vergence control in real and augmented reality environments |
CN108369477B (zh) * | 2015-12-22 | 2021-10-29 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
US10332074B1 (en) * | 2016-01-06 | 2019-06-25 | United Services Automobile Association (Usaa) | Collaboration system for customer service representatives |
CN108008809A (zh) * | 2016-10-31 | 2018-05-08 | 芜湖美的厨卫电器制造有限公司 | 家居镜及其显示控制方法和装置 |
CN107608514A (zh) * | 2017-09-20 | 2018-01-19 | 维沃移动通信有限公司 | 信息处理方法及移动终端 |
CN109271027B (zh) * | 2018-09-17 | 2022-10-14 | 北京旷视科技有限公司 | 页面控制方法、装置及电子设备 |
CN111064852B (zh) * | 2018-10-17 | 2024-04-05 | 富士胶片商业创新有限公司 | 图像处理装置 |
US11009698B2 (en) * | 2019-03-13 | 2021-05-18 | Nick Cherukuri | Gaze-based user interface for augmented and mixed reality device |
US11695758B2 (en) * | 2020-02-24 | 2023-07-04 | International Business Machines Corporation | Second factor authentication of electronic devices |
JP7387493B2 (ja) * | 2020-03-06 | 2023-11-28 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、記憶媒体 |
JP7455651B2 (ja) * | 2020-04-27 | 2024-03-26 | キヤノン株式会社 | 電子機器及びその制御方法 |
CN114003123A (zh) * | 2020-07-28 | 2022-02-01 | 华为技术有限公司 | 控件移动方法和电子设备 |
JP2023006771A (ja) * | 2021-06-30 | 2023-01-18 | キヤノン株式会社 | 制御装置およびその制御方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10260773A (ja) * | 1997-03-19 | 1998-09-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法及びその装置 |
JP2000330681A (ja) * | 1999-05-14 | 2000-11-30 | Sony Corp | 情報処理装置、情報処理方法及び提供媒体 |
JP2005100366A (ja) * | 2003-08-18 | 2005-04-14 | Yamaguchi Univ | 眼球運動を用いた視線入力コミュニケーション方法 |
JP2009251658A (ja) | 2008-04-01 | 2009-10-29 | Fujifilm Corp | 携帯型電子装置及びその制御方法 |
WO2013006518A2 (en) * | 2011-07-01 | 2013-01-10 | James Chia-Ming Liu | Multi-visor: managing applications in head mounted displays |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4973149A (en) * | 1987-08-19 | 1990-11-27 | Center For Innovative Technology | Eye movement detector |
US6152563A (en) * | 1998-02-20 | 2000-11-28 | Hutchinson; Thomas E. | Eye gaze direction tracker |
US7428569B1 (en) * | 1999-05-14 | 2008-09-23 | Sony Corporation | Information processing apparatus, information processing method, and provision medium |
CN101311882A (zh) * | 2007-05-23 | 2008-11-26 | 华为技术有限公司 | 视线跟踪人机交互方法及装置 |
JP5169403B2 (ja) * | 2008-04-07 | 2013-03-27 | ソニー株式会社 | 画像信号生成装置、画像信号生成方法、プログラム及び記憶媒体 |
CN102339124A (zh) * | 2010-07-22 | 2012-02-01 | 宏碁股份有限公司 | 控制光标的方法 |
US9285874B2 (en) * | 2011-02-09 | 2016-03-15 | Apple Inc. | Gaze detection in a 3D mapping environment |
JP2014077814A (ja) * | 2011-02-14 | 2014-05-01 | Panasonic Corp | 表示制御装置および表示制御方法 |
US20120257035A1 (en) * | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
JP5821464B2 (ja) * | 2011-09-22 | 2015-11-24 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
JP6043586B2 (ja) * | 2012-10-29 | 2016-12-14 | 京セラ株式会社 | 電子機器、視線入力プログラムおよび視線入力方法 |
US9965062B2 (en) * | 2013-06-06 | 2018-05-08 | Microsoft Technology Licensing, Llc | Visual enhancements based on eye tracking |
-
2014
- 2014-08-04 US US15/024,135 patent/US9891707B2/en active Active
- 2014-08-04 WO PCT/JP2014/070439 patent/WO2015064165A1/ja active Application Filing
- 2014-08-04 EP EP14857078.1A patent/EP3065040A4/en not_active Ceased
- 2014-08-04 CN CN201480058395.9A patent/CN105765513B/zh active Active
- 2014-08-04 JP JP2015544837A patent/JP6398987B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10260773A (ja) * | 1997-03-19 | 1998-09-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法及びその装置 |
JP2000330681A (ja) * | 1999-05-14 | 2000-11-30 | Sony Corp | 情報処理装置、情報処理方法及び提供媒体 |
JP2005100366A (ja) * | 2003-08-18 | 2005-04-14 | Yamaguchi Univ | 眼球運動を用いた視線入力コミュニケーション方法 |
JP2009251658A (ja) | 2008-04-01 | 2009-10-29 | Fujifilm Corp | 携帯型電子装置及びその制御方法 |
WO2013006518A2 (en) * | 2011-07-01 | 2013-01-10 | James Chia-Ming Liu | Multi-visor: managing applications in head mounted displays |
Non-Patent Citations (1)
Title |
---|
See also references of EP3065040A4 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10540009B2 (en) | 2015-02-25 | 2020-01-21 | Kyocera Corporation | Wearable device, control method, and control program |
JPWO2016136837A1 (ja) * | 2015-02-25 | 2017-08-24 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
WO2016136837A1 (ja) * | 2015-02-25 | 2016-09-01 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
WO2017115618A1 (en) * | 2015-12-28 | 2017-07-06 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2017120550A (ja) * | 2015-12-28 | 2017-07-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10809530B2 (en) | 2015-12-28 | 2020-10-20 | Sony Corporation | Information processing apparatus and information processing method |
CN108431667A (zh) * | 2015-12-28 | 2018-08-21 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
JP2017228291A (ja) * | 2016-06-16 | 2017-12-28 | ハンド ヘルド プロダクツ インコーポレーティッド | 視線検出により制御される標示スキャンシステム及び方法 |
US10599286B2 (en) | 2017-03-08 | 2020-03-24 | Colopl, Inc. | Information processing method and apparatus for executing the information processing method |
US10365784B2 (en) | 2017-03-08 | 2019-07-30 | Colopl, Inc. | Information processing method and apparatus for executing the information processing method |
JP2018147378A (ja) * | 2017-03-08 | 2018-09-20 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
JP6330072B1 (ja) * | 2017-03-08 | 2018-05-23 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
US10936149B2 (en) | 2017-03-08 | 2021-03-02 | Colopl, Inc. | Information processing method and apparatus for executing the information processing method |
US11341680B2 (en) | 2018-03-30 | 2022-05-24 | Preferred Networks, Inc. | Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method |
US11748904B2 (en) | 2018-03-30 | 2023-09-05 | Preferred Networks, Inc. | Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method |
JP2020149336A (ja) * | 2019-03-13 | 2020-09-17 | 株式会社リコー | 情報処理装置、表示制御方法、及びプログラム |
JP7215254B2 (ja) | 2019-03-13 | 2023-01-31 | 株式会社リコー | 情報処理装置、表示制御方法、及びプログラム |
JPWO2021166238A1 (ja) * | 2020-02-21 | 2021-08-26 | ||
WO2021166238A1 (ja) * | 2020-02-21 | 2021-08-26 | マクセル株式会社 | 情報表示装置 |
JP7333460B2 (ja) | 2020-02-21 | 2023-08-24 | マクセル株式会社 | 情報表示装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3065040A4 (en) | 2017-06-21 |
EP3065040A1 (en) | 2016-09-07 |
CN105765513A (zh) | 2016-07-13 |
JPWO2015064165A1 (ja) | 2017-03-09 |
US9891707B2 (en) | 2018-02-13 |
US20160239081A1 (en) | 2016-08-18 |
JP6398987B2 (ja) | 2018-10-03 |
CN105765513B (zh) | 2020-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6398987B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11706521B2 (en) | User interfaces for capturing and managing visual media | |
US10410422B2 (en) | System and method for augmented reality control | |
US11770601B2 (en) | User interfaces for capturing and managing visual media | |
US11163417B2 (en) | Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments | |
US10416789B2 (en) | Automatic selection of a wireless connectivity protocol for an input device | |
US20190369754A1 (en) | Devices, methods, and graphical user interfaces for an electronic device interacting with a stylus | |
JP6127839B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
EP3333675A1 (en) | Wearable device user interface control | |
CN104932809B (zh) | 用于控制显示面板的装置和方法 | |
WO2014054211A1 (en) | Information processing device, display control method, and program for modifying scrolling of automatically scrolled content | |
US11546457B2 (en) | Electronic device and method of operating electronic device in virtual reality | |
CN111052063B (zh) | 电子装置及其控制方法 | |
US10388121B2 (en) | Method for providing notifications | |
US10474324B2 (en) | Uninterruptable overlay on a display | |
US20230017694A1 (en) | Method and apparatus for controlling interface display, device, and storage medium | |
CN113546419B (zh) | 游戏地图显示方法、装置、终端及存储介质 | |
KR20160078160A (ko) | 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치 | |
EP3109734A1 (en) | Three-dimensional user interface for head-mountable display | |
KR102005406B1 (ko) | 디스플레이 장치 및 그 제어 방법 | |
EP3521987A1 (en) | Method and device for displaying page, graphical user interface, and mobile terminal | |
KR20150118036A (ko) | 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법 | |
US20240103681A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments | |
US20240152245A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14857078 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2015544837 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15024135 Country of ref document: US |
|
REEP | Request for entry into the european phase |
Ref document number: 2014857078 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2014857078 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |