WO2015064165A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2015064165A1
WO2015064165A1 PCT/JP2014/070439 JP2014070439W WO2015064165A1 WO 2015064165 A1 WO2015064165 A1 WO 2015064165A1 JP 2014070439 W JP2014070439 W JP 2014070439W WO 2015064165 A1 WO2015064165 A1 WO 2015064165A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
line
application
present
sight
Prior art date
Application number
PCT/JP2014/070439
Other languages
English (en)
French (fr)
Inventor
麻紀 井元
木村 淳
翼 塚原
亜由美 加藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/024,135 priority Critical patent/US9891707B2/en
Priority to CN201480058395.9A priority patent/CN105765513B/zh
Priority to JP2015544837A priority patent/JP6398987B2/ja
Priority to EP14857078.1A priority patent/EP3065040A4/en
Publication of WO2015064165A1 publication Critical patent/WO2015064165A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Abstract

ユーザの視線位置を取得する視線位置取得部と、取得された視線位置が、アプリケーションに関する位置に対応するかを判定する判定部と、視線位置がアプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御する処理部とを備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
 本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
 近年、アイトラッキング技術などの視線検出技術を利用し、ユーザが目の動きによって操作を行うことを可能とする技術が開発されている。ユーザが目の動きによって操作を行うことを可能とする技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開2009-251658号公報
 例えば特許文献1に記載の技術が用いられる場合、ユーザは、例えば、ある項目に対して視線を向けている状態で瞬きを行うことによって表示されたメニュー項目の中から1つの項目を選ぶことが可能である。しかしながら、例えば特許文献1に記載の技術が用いられる場合には、目の動きによる操作だけでなく、ボタン操作などの他の操作系による操作を必要とする。
 本開示では、視線によるアプリケーションに関する操作をユーザに行わせることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
 本開示によれば、ユーザの視線位置を取得する視線位置取得部と、取得された視線位置が、アプリケーションに関する位置に対応するかを判定する判定部と、上記視線位置が上記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御する処理部と、を備える、情報処理装置が提供される。
 また、本開示によれば、ユーザの視線位置を取得するステップと、取得された視線位置が、アプリケーションに関する位置に対応するかを判定するステップと、上記視線位置が上記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御するステップと、を有する、情報処理装置により実行される情報処理方法が提供される。
 また、本開示によれば、ユーザの視線位置を取得するステップ、取得された視線位置が、アプリケーションに関する位置に対応するかを判定するステップ、上記視線位置が上記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御するステップ、をコンピュータに実行させるためのプログラムが提供される。
 本開示によれば、視線によるアプリケーションに関する操作をユーザに行わせることができる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法に係る処理の第1の例を説明するための流れ図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の第2の例を説明するための流れ図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の第3の例を説明するための流れ図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、以下では、下記に示す順序で説明を行う。
  1.本実施形態に係る情報処理方法
  2.本実施形態に係る情報処理装置
  3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
 本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
[1]本実施形態に係る情報処理方法に係る処理の概要
 例えば下記のような場合に、ユーザが、視線のみを用いた操作を所望することがある。
  ・ユーザが、透過型または遮蔽型のヘッドマウントディスプレイ(Head Mounted Display。以下、「HMD」と示す。)を装着している場合
  ・ユーザが、タブレット型の装置や、携帯電話やスマートフォンなどの通信装置などの、携帯型の装置を操作を行いたいときに、片手または両手がふさがっている場合(例えば、ユーザが料理をしている場合など)
  ・ユーザが、PC(Personal Computer)などのコンピュータや、テレビ受像機などの、上記携帯型の装置と比較して大きな表示画面を有する装置を操作を行いたい、かつ、ユーザと当該装置との距離、またはユーザと当該装置を操作可能なリモート・コントローラとの距離が離れている場合
 そこで、本実施形態に係る情報処理装置は、ボタン操作などの他の操作系による操作を必要とせずに、視線によるアプリケーションに関する操作をユーザに行わせるために、本実施形態に係る情報処理方法に係る処理として、例えば、下記に示す(1)視線位置取得処理、(2)判定処理、および(3)状態制御処理、を行う。以下では、説明の便宜上、(2)の処理(判定処理)と(3)の処理(状態制御処理)とを併せて説明する。
 なお、本実施形態に係る情報処理方法に係る処理が行われる場合、例えば、ジェスチャによる操作やボタンによる操作をユーザがさらに行うことが、可能であってもよい。つまり、本実施形態に係る情報処理方法に係る処理が行われることによって、ボタン操作などの他の操作系による操作を必要とせずに、視線によるアプリケーションに関する操作をユーザに行わせることが可能となるが、本実施形態に係る情報処理方法係る操作は、例えば、当該他の操作系による操作と排他的な操作でなくてもよい。
(1)視線位置取得処理
 本実施形態に係る情報処理装置は、例えば、ユーザの視線位置を取得する。本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置に関する情報を取得し、取得されたユーザの視線の位置に関する情報に基づいて、ユーザの視線位置を特定することによって、ユーザの視線位置を取得する。
 また、複数のユーザが存在する場合、本実施形態に係る情報処理装置は、例えば、ユーザごとの本実施形態に係るユーザの視線の位置に関する情報に基づいて、ユーザごとに視線位置を取得する。また、本実施形態に係る情報処理装置または外部装置において、顔認識などによってユーザを特定がされる場合には、本実施形態に係る情報処理装置は、例えば、特定のユーザの視線位置を取得することも可能である。
 ここで、本実施形態に係るユーザの視線の位置に関する情報とは、例えば、ユーザの視線の位置を示すデータ、または、ユーザの視線の位置の特定に用いることが可能なデータ(または、ユーザの視線の位置の推定に用いることが可能なデータ。以下、同様とする。)である。
 本実施形態に係るユーザの視線の位置を示すデータとしては、例えば、“表示画面におけるユーザの視線の位置を示す座標データ”が挙げられる。表示画面におけるユーザの視線の位置は、例えば、表示画面における基準位置を原点とする座標系における座標で表される。本実施形態に係る表示画面における基準位置は、例えば、予め設定された固定の位置であってもよいし、ユーザ操作などに基づいて設定可能な位置であってもよい。
 本実施形態に係るユーザの視線の位置に関する情報として、表示画面におけるユーザの視線の位置を示す座標データが用いられる場合、本実施形態に係る情報処理装置は、例えば、視線検出技術を用いてユーザの視線の位置を特定(または推定)した外部装置から取得された、表示画面におけるユーザの視線の位置を示す座標データを用いて、表示画面におけるユーザの視線の位置を特定することによって、ユーザの視線位置を取得する。
 ここで、例えば、視線検出技術を用いて検出された視線と、表示画面において画像(動画像または静止画像)が表示される方向が撮像された撮像画像から検出される表示画面に対するユーザの位置や顔の向きなどとを用いることによって、表示画面におけるユーザの視線の位置を特定することが可能である。本実施形態に係る表示画面において画像が表示される方向とは、例えば、表示画面における、ユーザによって表示画面に表示される画像が見られる側の方向である。なお、本実施形態に係る表示画面におけるユーザの視線の位置の特定方法は、上記に限られない。例えば、本実施形態に係る情報処理装置や、外部装置は、表示画面におけるユーザの視線の位置を特定することが可能な任意の技術を用いることが可能である。
 また、本実施形態に係る視線検出技術としては、例えば、目の基準点(例えば、目頭や角膜反射などの目における動かない部分に対応する点)に対する、目の動点(例えば、虹彩や瞳孔などの目における動く部分に対応する点)の位置に基づいて、視線を検出する方法が挙げられる。なお、本実施形態に係る視線検出技術は、上記に限られない。例えば、本実施形態に係る情報処理装置や、外部装置は、“角膜反射法”や、“瞳孔角膜反射法”、“強膜反射法”、“顔を検出した後に、目・鼻・口などから得られる特徴点を追っていくAAM(Active Appearance Model)”などを利用した、任意の視線検出技術を用いて、ユーザの視線を検出することも可能である。
 なお、本実施形態に係るユーザの視線の位置を示すデータは、上記“表示画面におけるユーザの視線の位置を示す座標データ”に限られない。
 例えば、ユーザが透過型のHMDを装着している場合などにおいては、本実施形態に係るユーザの視線の位置を示すデータは、“ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データ”であってもよい。
 ユーザが見ている実空間の実オブジェクトにおける位置は、例えば、実オブジェクトの三次元画像と、視線検出技術を用いて特定(または推定)される視線ベクトルとに基づいて、特定(または推定)される。なお、ユーザが見ている実空間の実オブジェクトにおける位置の特定方法は、上記に限られず、ユーザが見ている実空間の実オブジェクトにおける位置を特定することが可能な任意の技術を用いることが可能である。
 本実施形態に係るユーザの視線の位置に関する情報として、ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データが用いられる場合、本実施形態に係る情報処理装置は、例えば、外部装置から取得された、ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データを用いて、実オブジェクトにおけるユーザの視線の位置を特定することによって、ユーザの視線位置を取得する。
 また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータとしては、例えば、表示画面において画像が表示される方向が撮像された撮像画像データが挙げられる。また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータには、さらに、表示画面において画像が表示される方向の赤外線を検出する赤外線センサの検出データなど、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る、任意のセンサの検出データが含まれていてもよい。
 また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータは、例えば、実オブジェクトの三次元画像と、ユーザの視線ベクトルの特定に係るデータであってもよい。
 本実施形態に係るユーザの視線の位置に関する情報として、ユーザの視線の位置の特定に用いることが可能なデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、自装置(本実施形態に係る情報処理装置。以下、同様とする。)が備える撮像部(後述する)や外部の撮像デバイスから取得された撮像画像データを用いる。また、上記の場合、本実施形態に係る情報処理装置は、例えば、自装置が備えるユーザの視線の位置の推定精度の向上に用いることが可能なセンサや、外部のセンサから取得された検出データ(ユーザの視線の位置の特定に用いることが可能なデータの一例)を用いてもよい。
 また、本実施形態に係るユーザの視線の位置に関する情報として、ユーザの視線の位置の特定に用いることが可能なデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、自装置が備える記憶部(後述する)や外部記録媒体に記憶されている三次元画像と、撮像部(後述する)などにより撮像された撮像画像データなどのユーザの視線ベクトルの特定に係るデータとを用いることも可能である。
 例えば、ユーザの視線の位置の特定に用いることが可能なデータを用いる場合、本実施形態に係る情報処理装置は、例えば、上記のように本実施形態に係るユーザの視線の位置の特定方法に係る処理を行い、ユーザの視線の位置を特定することによって、ユーザの視線位置を取得する。
(2)判定処理、および(3)状態制御処理
 本実施形態に係る情報処理装置は、例えば、上記(1)の処理(視線位置取得処理)により取得された視線位置が、アプリケーションに関する位置に対応するかを判定する(判定処理)。そして、本実施形態に係る情報処理装置は、本実施形態に係る判定処理において、視線位置がアプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御する(状態制御処理)。本実施形態に係る情報処理装置は、本実施形態に係る状態制御処理において、例えば、アプリケーションの状態の制御に係る各種命令(例えば、後述する起動命令や、終了命令など)を生成し、本実施形態に係る情報処理装置が当該命令を実行すること、または、外部装置に当該命令を実行させることによって、アプリケーションの状態を制御する。
 ここで、本実施形態に係るアプリケーションに関する位置としては、例えば、“アプリケーションを起動させるための位置(以下、「第1位置」と示す場合がある。)”と、“起動されているアプリケーションを終了させるための位置(以下、「第2位置」と示す場合がある。)”とが挙げられる。
 なお、本実施形態に係るアプリケーションに関する位置は、上記第1位置と上記第2位置とに限られない。本実施形態に係るアプリケーションに関する位置の他の例については、後述する。
 また、本実施形態に係るアプリケーションに関する位置としては、例えば、設定されている領域内に含まれる位置が挙げられる。また、本実施形態に係るアプリケーションに関する位置は、例えば、予め設定されている固定の位置であってもよいし、ユーザ操作などに基づいて変更可能であってもよい。
 本実施形態に係る情報処理装置は、本実施形態に係る判定処理において、例えば、視線位置が示す座標が設定されている領域内に含まれる1または2以上の座標と一致する場合に、視線位置がアプリケーションに関する位置に対応すると判定する。つまり、本実施形態に係る設定されている領域は、表示画面などにおける1点であってもよいし、表示画面などにおける複数の点を含んでいてもよい。
 また、本実施形態に係る状態制御処理において制御可能なアプリケーションが複数存在する場合、本実施形態に係るアプリケーションに関する位置は、例えば、アプリケーションごとに設定される。ここで、本実施形態に係る状態制御処理において制御可能なアプリケーションが複数存在する場合において、本実施形態に係るアプリケーションに関する位置は、アプリケーションごとに異なっていてもよいし、一部または全部のアプリケーションで共通であってもよい。
(i)判定処理、および状態制御処理の第1の例:第1位置(アプリケーションを起動させるための位置)に係る処理
 本実施形態に係る情報処理装置は、例えば、視線位置が第1位置に対応するかを判定する(判定処理)。また、第1位置が、アプリケーションごとに設定されている場合には、本実施形態に係る情報処理装置は、例えば、設定されている第1位置ごとに、視線位置が第1位置に対応するかを判定する。
 ここで、本実施形態に係る情報処理装置は、例えば、視線位置が示す座標と、第1位置に対応する座標とが一致する場合に、視線位置が第1位置に対応すると判定する。
 そして、本実施形態に係る情報処理装置は、例えば、本実施形態に係る判定処理において、視線位置が第1位置に対応すると判定された場合に、判定された第1位置に対応するアプリケーションを起動させる(状態制御処理)。
 よって、上記(1)の処理(視線位置取得処理)により取得された視線位置に基づいて、第1の例に係る判定処理および状態制御処理が行われることによって、本実施形態に係る情報処理装置は、例えば、ユーザに、視線によるアプリケーションの起動(視線によるアプリケーションに関する操作の一例)を行わせることができる。
(ii)判定処理、および状態制御処理の第2の例:第2位置(起動されているアプリケーションを終了させるための位置)に係る処理
 例えば上記(i)に示す第1の例に係る状態制御処理などによって、アプリケーションが起動されている場合において、本実施形態に係る情報処理装置は、例えば、視線位置が、起動されているアプリケーションに対応する第2位置に対応するかを判定する(判定処理)。また、第2位置が、アプリケーションごとに設定されている場合には、本実施形態に係る情報処理装置は、例えば、設定されている第2位置ごとに、視線位置が第2位置に対応するかを判定する。
 そして、本実施形態に係る情報処理装置は、例えば、本実施形態に係る判定処理において、視線位置が第2位置に対応すると判定された場合に、判定された第2位置に対応するアプリケーションを終了させる(状態制御処理)。
 よって、上記(1)の処理(視線位置取得処理)により取得された視線位置に基づいて、第2の例に係る判定処理および状態制御処理が行われることによって、本実施形態に係る情報処理装置は、例えば、ユーザに、視線によるアプリケーションの終了(視線によるアプリケーションに関する操作の一例)を行わせることができる。
(iii)判定処理、および状態制御処理の第3の例
 本実施形態に係る情報処理装置は、例えば、“上記第1の例に係る判定処理および状態制御処理”と、“上記第2の例に係る判定処理および状態制御処理”とを組み合わせ処理を行うことも可能である。
 本実施形態に係る情報処理装置は、例えば、上記(1)の処理(視線位置取得処理)により取得された視線位置に基づいて、“上記第1の例に係る判定処理および状態制御処理”~“上記第3の例に係る判定処理および状態制御処理”を行うことによって、例えば、“ユーザが設定されている位置をみると、アプリケーションが起動または終了すること”を実現させることができる。
 なお、本実施形態に係る判定処理と、本実施形態に係る状態制御処理とは、上記に示す例に限られない。
 例えば、本実施形態に係る情報処理装置は、本実施形態に係る判定処理において、アプリケーションに対応付けられたオブジェクト(以下、「表示オブジェクト」と示す。)が表示されているかを、さらに判定してもよい。アプリケーションに対応付けられたオブジェクトが表示されているかを判定する場合、本実施形態に係る情報処理装置は、アプリケーションに対応付けられたオブジェクトが表示されているかの判定結果に応じた処理(後述する本実施形態に係る判定処理、および本実施形態に係る状態制御処理の他の例)を行う。
 ここで、本実施形態に係る表示オブジェクトとしては、例えば、アプリケーションに対応付けられたアイコンや、ボタン、リンクなど、表示が可能であり、かつアプリケーションに対応付けることが可能な任意のオブジェクトが挙げられる。以下では、本実施形態に係る表示オブジェクトが、アイコンである場合を例に挙げる。
 本実施形態に係る情報処理装置は、例えば、自装置が備える表示部(後述する)の表示画面や、外部の表示デバイスの表示画面に、表示オブジェクトを表示させる。
 本実施形態に係る判定処理において、表示オブジェクトが表示されているかがさらに判定される場合における、本実施形態に係るアプリケーションに関する位置としては、例えば下記に示す位置が挙げられる。
  ・表示オブジェクトを表示させるための位置(以下、「第3位置」と示す場合がある。)
  ・表示されている表示オブジェクトに対応付けられたアプリケーションを起動させるための位置(以下、「第4位置」と示す場合がある。)
  ・表示されている表示オブジェクトを移動させるための位置(以下、「第5位置」と示す場合がある。)
  ・表示されている表示オブジェクトを非表示とさせるための位置(以下、「第6位置」と示す場合がある。)
 以下、本実施形態に係る判定処理において、表示オブジェクトが表示されているかがさらに判定される場合における、本実施形態に係る判定処理と、本実施形態に係る状態制御処理との他の例について説明する。
(iv)判定処理、および状態制御処理の第4の例
 例えば、本実施形態に係る情報処理装置は、表示オブジェクトが表示されていると判定されない場合には、視線位置が、第3位置(オブジェクトを表示させるための位置)に対応するかを判定する(判定処理)。
 ここで、本実施形態に係る第3位置としては、例えば上記本実施形態に係るアプリケーションに関する位置と同様に、設定されている領域内に含まれる位置が挙げられる。また、本実施形態に係るオブジェクトを表示させるための位置は、例えば、予め設定されている固定の位置であってもよいし、ユーザ操作などに基づいて変更可能であってもよい。
 本実施形態に係る情報処理装置は、本実施形態に係る判定処理において、例えば、視線位置が示す座標が設定されている領域内に含まれる1または2以上の座標と一致する場合に、視線位置がオブジェクトを表示させるための位置に対応すると判定する。
 また、本実施形態に係る状態制御処理において制御可能なアプリケーションが複数存在する場合、本実施形態に係る第3位置は、複数のアプリケーションそれぞれに対応する表示オブジェクトごとに設定される。ここで、本実施形態に係る状態制御処理において制御可能なアプリケーションが複数存在する場合において、本実施形態に係るオブジェクトを表示させるための位置は、表示オブジェクトごとに異なっていてもよいし、一部または全部の表示オブジェクトで共通であってもよい。
 本実施形態に係る判定処理において、視線位置が第3位置に対応すると判定された場合には、本実施形態に係る情報処理装置は、第3位置に対応する表示オブジェクトを表示させる(状態制御処理)。
 第4の例に係る判定処理および状態制御処理によって、本実施形態に係る情報処理装置は、例えば上記のように、表示オブジェクトを表示させる。
 また、例えば、表示オブジェクトが表示されていると判定された場合には、本実施形態に係る情報処理装置は、視線位置が第4位置(表示されている表示オブジェクトに対応付けられたアプリケーションを起動させるための位置)に対応するかを判定する(判定処理)。ここで、本実施形態に係る情報処理装置は、例えば、視線位置が示す座標と、第4位置に対応する座標とが一致する場合に、視線位置が第4位置に対応すると判定する。
 そして、本実施形態に係る情報処理装置は、例えば、本実施形態に係る判定処理において、視線位置が第4位置に対応すると判定された場合に、判定された第4位置に対応するアプリケーションを起動させる(状態制御処理)。
 よって、上記(1)の処理(視線位置取得処理)により取得された視線位置に基づいて、第4の例に係る判定処理および状態制御処理が行われることによって、本実施形態に係る情報処理装置は、例えば、ユーザに、視線によるアプリケーションの起動(視線によるアプリケーションに関する操作の一例)を行わせることができる。
(v)判定処理、および状態制御処理の第5の例:表示オブジェクトの変更に係る処理
 本実施形態に係る判定処理において、表示オブジェクトが表示されているかがさらに判定される場合、本実施形態に係る情報処理装置は、例えば、表示されている表示オブジェクトを変更することも可能である。
 より具体的には、本実施形態に係る情報処理装置は、例えば、視線位置が、表示させた表示オブジェクトの表示位置に対応する場合には、表示されている表示オブジェクトに替えて、他のアプリケーションに対応付けられている他の表示オブジェクトを表示させる(状態制御処理)。
 また、本実施形態に係る情報処理装置は、例えば、本実施形態に係る判定処理において、視線位置が第4位置に対応するかが判定され、視線位置が第4位置に対応すると判定されない場合には、設定されている所定の時間ごとに、表示されている表示オブジェクトに替えて、他のアプリケーションに対応付けられている他の表示オブジェクトを表示させてもよい(状態制御処理)。
 ここで、表示されている表示オブジェクトに替えて表示される、他の表示オブジェクトとしては、例えば、設定されている規則や順番に則って選択されたアプリケーションに対応する表示オブジェクトが挙げられる。また、本実施形態に係る情報処理装置は、例えば、ランダムにアプリケーションを選択し、表示されている表示オブジェクトに替えて、選択されたアプリケーションに対応する表示オブジェクトを表示させてもよい。
 また、本実施形態に係る所定の時間としては、例えば、予め設定されている固定の時間や、ユーザ操作などに基づき変更可能な時間が挙げられる。また、本実施形態に係る所定の時間は、例えば、一定の時間であってもよいし、設定されている規則に則る不定の時間であってもよい。
 よって、上記(1)の処理(視線位置取得処理)により取得された視線位置に基づいて、第5の例に係る判定処理および状態制御処理が行われることによって、本実施形態に係る情報処理装置は、例えば、ユーザに、視線による表示オブジェクトの変更(視線によるアプリケーションに関する操作の一例)を行わせることができる。なお、本実施形態に係る表示されている表示オブジェクトの変更の具体例については、後述する。
(vi)判定処理、および状態制御処理の第6の例:表示オブジェクトの移動に係る処理
 本実施形態に係る判定処理において、表示オブジェクトが表示されているかがさらに判定される場合、本実施形態に係る情報処理装置は、例えば、表示されている表示オブジェクトを、視線位置に基づき移動させることも可能である。
 より具体的には、本実施形態に係る情報処理装置は、例えば、表示オブジェクトが表示されていると判定された場合には、視線位置が第5位置(表示されている表示オブジェクトを移動させるための位置)に対応するかを判定する。ここで、本実施形態に係る情報処理装置は、例えば、視線位置が示す座標と、第5位置に対応する座標とが一致する場合に、視線位置が第5位置に対応すると判定する。
 そして、本実施形態に係る情報処理装置は、例えば、本実施形態に係る判定処理において、視線位置が第5位置に対応すると判定された場合に、表示されている表示オブジェクトを、第5位置に対応付けられた移動方法で移動させる(状態制御処理)。ここで、本実施形態に係る第5位置に対応付けられた移動方法は、移動方向や移動速度などが予め設定された方法であってもよいし、移動方向や移動速度などがユーザ操作などに基づき設定された方法であってもよい。
 よって、上記(1)の処理(視線位置取得処理)により取得された視線位置に基づいて、第6の例に係る判定処理および状態制御処理が行われることによって、本実施形態に係る情報処理装置は、例えば、ユーザに、視線による表示オブジェクトの移動(視線によるアプリケーションに関する操作の一例)を行わせることができる。なお、本実施形態に係る表示されている表示オブジェクトの視線位置に基づく移動の具体例については、後述する。
(vii)判定処理、および状態制御処理の第7の例:表示されている表示オブジェクトの非表示に係る処理
 本実施形態に係る判定処理において、表示オブジェクトが表示されているかがさらに判定される場合、本実施形態に係る情報処理装置は、例えば、表示されている表示オブジェクトを、非表示とさせることも可能である。
 より具体的には、本実施形態に係る情報処理装置は、例えば、本実施形態に係る判定処理において、表示オブジェクトが表示されていると判定された場合には、視線位置が第6位置(表示されている表示オブジェクトを非表示とさせるための位置)に対応するかを判定する。ここで、本実施形態に係る情報処理装置は、例えば、視線位置が示す座標と、第6位置に対応する座標とが一致する場合に、視線位置が第6位置に対応すると判定する。
 そして、本実施形態に係る情報処理装置は、例えば、本実施形態に係る判定処理において、視線位置が第6位置に対応すると判定された場合に、表示されている表示オブジェクトを、非表示とさせる。
 よって、上記(1)の処理(視線位置取得処理)により取得された視線位置に基づいて、第7の例に係る判定処理および状態制御処理が行われることによって、本実施形態に係る情報処理装置は、例えば、ユーザに、視線による表示されている表示オブジェクトの非表示(視線によるアプリケーションに関する操作の一例)を行わせることができる。
(viii)判定処理、および状態制御処理の第8の例
 本実施形態に係る情報処理装置は、例えば、“上記第4の例に係る判定処理および状態制御処理”と、“上記第5の例に係る判定処理および状態制御処理”~“上記第7の例に係る判定処理および状態制御処理”のうちの1または2以上の処理とを、組み合わせ処理を行うことも可能である。
 本実施形態に係る情報処理装置は、例えば、上記(1)の処理(視線位置取得処理)により取得された視線位置に基づいて、“上記第4の例に係る判定処理および状態制御処理”~“上記第8の例に係る判定処理および状態制御処理”を行うことによって、例えば、下記に示すことを実現することができる。
  ・ユーザが設定されている位置をみると、アプリケーションに対応付けられているアイコン(表示オブジェクトの一例。以下、同様とする。)が表示される。
  ・ユーザがアイコンを見続けていると、アイコンが他のアプリケーションに対応付けられている他のアイコンに切り替わる。
  ・ユーザが、アイコンを表示させる際に見た方向と異なる方向を見ると、現在表示されているアイコンが見た方向に移動する。
  ・ユーザが設定されている位置をみると、アイコンに対応付けられているアプリケーションが起動する。
 本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記(1)の処理(視線位置取得処理)、上記(2)の処理(判定処理)、および上記(3)の処理(状態制御処理)を行う。ここで、本実施形態に係る情報処理装置は、上記(1)の処理(視線位置取得処理)により取得された視線位置に基づいて、上記(2)の処理(判定処理)および上記(3)の処理(状態制御処理)を行うことによって、アプリケーションの状態を制御する。
 よって、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記(1)の処理(視線位置取得処理)、上記(2)の処理(判定処理)、および上記(3)の処理(状態制御処理)を行うことによって、視線によるアプリケーションに関する操作をユーザに行わせることができる。
 また、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理を行うことによって、例えば下記のような効果を奏することができる。
  ・例えば、ユーザの手がふさがっている場合や、ユーザの手が汚れている場合、ユーザが手を出すのが億劫な場合、ユーザが透過型HMDや遮蔽型HMDを使用している場合などにおいて、ユーザは、ジェスチャやボタン操作などを用いずに視線のみによって、アプリケーションの起動や終了などを行わせることや、メニューの中から所望のものを選択させることなどを実現することができる。よって、煩わしさが軽減され、ユーザの操作性や利便性の向上を図ることができる。
  ・音声認識などが行えない場合(例えば、ユーザが声を出すことができない状況である場合など)において、ユーザは、他者に迷惑をかけることなる、操作を行うことができる。
[2]本実施形態に係る情報処理方法に係る処理の具体例
 次に、上述した本実施形態に係る情報処理方法に係る処理の具体例を説明する。
(I)本実施形態に係る情報処理方法に係る処理の第1の例
 図1は、本実施形態に係る情報処理方法に係る処理の第1の例を説明するための流れ図である。ここで、図1に示す本実施形態に係る情報処理方法に係る処理の第1の例は、例えば、本実施形態に係る情報処理装置が、上記(1)の処理(視線位置取得処理)と、“上記第3の例に係る判定処理および状態制御処理”とを行う場合の処理の一例に該当する。図1では、例えば、ステップS100~S106、およびS110、S112の処理が、上記(2)の処理(判定処理)の一例に該当し、ステップS108、S114の処理が、上記(3)の処理(状態制御処理)の一例に該当する。なお、図1では、上記(1)の処理(視線位置取得処理)については省略しており、上記(1)の処理(視線位置取得処理)は、例えば、常時、定期的に、または、不定期的に行われる。
 本実施形態に係る情報処理装置は、ユーザの視線位置が取得されたか否かを判定する(S100)。ユーザの視線位置は、例えば、上記(1)の処理(視線位置取得処理)により取得される。
 ステップS100において視線位置が取得されたと判定されない場合には、本実施形態に係る情報処理装置は、視線位置が取得されたと判定されるまで処理を進めない。
 また、ステップS100において視線位置が取得されたと判定された場合には、本実施形態に係る情報処理装置は、アプリケーションが起動されているか否かを判定する(S102)。
 ステップS102においてアプリケーションが起動されていると判定されない場合には、本実施形態に係る情報処理装置は、アプリケーションを起動するトリガとなる位置が見られたか否かを判定する(S104)。
 本実施形態に係るアプリケーションを起動するトリガとなる位置としては、例えば下記に示す例が挙げられる。ここで、本実施形態に係るアプリケーションを起動するトリガとなる位置は、本実施形態に係る第1位置に該当する。なお、本実施形態に係るアプリケーションを起動するトリガとなる位置が、下記に示す例に限られないことは、言うまでもない。
  ・表示画面における、表示画面をみるユーザから向かって左端から5[cm]以内の領域内
  ・表示画面の水平方向を3分割した際における、表示画面をみるユーザから向かって表示画面の一番右の領域内
  ・撮像に係るアプリケーションは、表示画面をみるユーザから向かって表示画面の左下の領域内、音声認識に係るアプリケーションは、表示画面をみるユーザから向かって表示画面の右下の領域内など、アプリケーションごとに設定された領域内
 ステップS104においてアプリケーションを起動するトリガとなる位置が見られたと判定されない場合には、本実施形態に係る情報処理装置は、例えば、ステップS100からの処理を繰り返す。
 また、ステップS104においてアプリケーションを起動するトリガとなる位置が見られたと判定された場合には、本実施形態に係る情報処理装置は、例えば、設定されている一定時間が経過したか否かを判定する(S106)。ここで、本実施形態に係る一定時間は、予め設定された固定時間であってもよいし、ユーザ操作などに基づき変更可能な時間であってもよい(以下、同様とする。)。
 ステップS106の処理は、例えば、カウンタの値に基づき行われる。カウンタの値は、例えば、ステップS104の処理においてアプリケーションを起動するトリガとなる位置が見られたと判定されたときに更新が行われる。また、カウンタの値は、例えば、ステップS104の処理においてアプリケーションを起動するトリガとなる位置が見られたと判定されない場合や、後述するステップS108の処理が行われる際にリセットされる。なお、ステップS106の判定に係る処理は、カウンタを用いる例に限られず、本実施形態に係る情報処理装置は、例えば、ステップS106の判定を行うことが可能な任意の方法を用いることが可能である。
 視線の動きは早いため、視線によるアプリケーションに関する操作をユーザに行わせる場合には、誤操作が起こる可能性はゼロではない。そこで、本実施形態に係る情報処理装置は、例えば、ステップS106において設定されている一定時間(例えば、300[msec]~1000[msec]など)、アプリケーションを起動するトリガとなる位置に視線が滞留しているか否かを判定することによって、誤操作の防止を図る。
 なお、本実施形態に係る誤操作防止に係る方法は、ステップS106の処理に係る方法に限られない。
 例えば、本実施形態に係る誤操作防止に係る方法としては、例えば、下記に示す方法が挙げられる。
  ・ユーザが見つめている点を3次元座標で求める方法
  ・ユーザが意図して見つめているのかどうかを判定する方法
  ・視線に係る方法に加えて、ユーザの意識的動作(例えば、うなずき動作などの所定のジェスチャー)をさらに組み合わせる方法
 “ユーザが見つめている点を3次元座標で求める方法”が用いられる場合には、本実施形態に係る情報処理装置は、例えば、ユーザの両眼と注視点からなる輻輳角を計算し、ユーザの見ている点を3次元座標で求めることにより、ユーザが、アプリケーションを起動するトリガとなる位置を見ているかを判定する。また、“ユーザが意図して見つめているのかどうかを判定する方法”が用いられる場合には、本実施形態に係る情報処理装置は、例えば、生体情報を使用することや、ユーザが意図せず一点を見つめている場合(例えば、ユーザがぼーっとしている場合に相当する。)の目を機械学習で学習することなどによって、ユーザの視線が意図しているものであるかを判定する。
 なお、以下において、一定時間が経過したか否かを判定する処理が行われる場合、本実施形態に係る情報処理装置は、例えば、ステップS106の処理と同様の処理を行うことによって、一定時間が経過したか否かを判定することが可能である。よって、以下では、一定時間が経過したか否かを判定する処理については、説明を省略する。
 また、例えば、誤操作の防止に係る方法が用いられる場合や、他の誤操作の防止に係る方法が用いられる場合には、本実施形態に係る情報処理装置は、ステップS106の処理や、以下に示す一定時間が経過したか否かを判定する処理を、行わないことも可能である。
 ステップS106において一定時間が経過したと判定されない場合には、本実施形態に係る情報処理装置は、例えば、ステップS104からの処理を繰り返す。
 また、ステップS106において一定時間が経過したと判定された場合には、本実施形態に係る情報処理装置は、アプリケーションを起動させる(S108)。そして、本実施形態に係る情報処理装置は、ステップS100からの処理を繰り返す。
 ここで、本実施形態に係る情報処理装置は、ステップS108において、例えば、アプリケーションを起動するトリガとなる位置に対応付けられているアプリケーションを起動させる。本実施形態に係る情報処理装置は、例えば、アプリケーションの起動命令を生成し、当該起動命令を実行すること、または、外部装置に起動命令を実行させることによって、アプリケーションを起動させる。
 また、ステップS108において起動されるアプリケーションとしては、例えば、下記に示すアプリケーションが挙げられる。なお、ステップS108において起動されるアプリケーションの例が下記に示す例に限られないことは、言うまでもない。
  ・撮像アプリケーション
  ・音声認識アプリケーション
  ・ノーティフィケーションに係るアプリケーション(例えば、ノーティフィケーションの一覧を表示させるアプリケーションや、ノーティフィケーションに対応付けられているアプリケーションなど)
 図2は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、アプリケーションが起動された状態の一例を示している。図2では、ユーザが透過型のHMDを使用している場合に、アプリケーションが起動された状態の一例を示している。図2に示すAは、アプリケーションが起動される前に、ユーザから見えている像の一例を示している。また、図2に示すBは、音声認識アプリケーションが起動された状態の一例を示している。また、図2に示すCは、ノーティフィケーションの一覧を表示させるアプリケーションが起動された状態の一例を示している。
 音声認識アプリケーションが起動される場合には、例えば図2のBに示すように、音声認識アイコンが表示される。音声認識アイコンが表示される位置は、例えば、アプリケーションを起動するトリガとなる位置と一致していてもよいし、異なっていてもよい。
 また、ノーティフィケーションの一覧を表示させるアプリケーションが起動される場合には、例えば図2のCに示すように、ノーティフィケーションの一覧が表示される。ノーティフィケーションの一覧が表示される位置は、例えば、アプリケーションを起動するトリガとなる位置と一致していてもよいし、異なっていてもよい。
 なお、本実施形態に係るアプリケーションが起動された状態の例が、図2のB、Cに示す例に限られないことは、言うまでもない。
 また、本実施形態に係る情報処理装置は、アプリケーションを起動させる場合において、例えば、アニメーション表示を行わせてもよい。
 アプリケーションを起動させる場合におけるアニメーション表示の一例としては、例えば、アプリケーションを起動するトリガとなる位置や、アプリケーションを起動するトリガとなる位置に対応する方向から、スライドインさせることが挙げられる。上記のように、アプリケーションを起動するトリガとなる位置などからスライドインさせることによって、仮に、ユーザが一瞬他の箇所へ視線を動かしていたとしてもユーザに気づかせることが可能である。よって、上記のように、アプリケーションを起動するトリガとなる位置などからスライドインさせることによって、ユーザがシステムの挙動を理解することを補助することが、できる。なお、アプリケーションを起動させる場合におけるアニメーション表示の例が、上記に示す例に限られないことは、言うまでもない。
 再度、図1を参照して、本実施形態に係る情報処理方法に係る処理の第1の例について説明する。ステップS102においてアプリケーションが起動されていると判定された場合には、本実施形態に係る情報処理装置は、アプリケーションを終了するトリガとなる位置が見られたか否かを判定する(S110)。
 本実施形態に係るアプリケーションを終了するトリガとなる位置としては、例えば下記に示す例が挙げられる。また、ステップS104に係る本実施形態に係るアプリケーションを起動するトリガとなる位置と、ステップS110に係る本実施形態に係るアプリケーションを終了するトリガとなる位置とは、同じであってもよいし、異なっていてもよい。ここで、本実施形態に係るアプリケーションを終了するトリガとなる位置は、本実施形態に係る第2位置に該当する。なお、本実施形態に係るアプリケーションを終了するトリガとなる位置が、下記に示す例に限られないことは、言うまでもない。
  ・表示画面における、表示画面をみるユーザから向かって右端から5[cm]以内の領域内
  ・表示画面の水平方向を3分割した際における、表示画面をみるユーザから向かって表示画面の一番左の領域内
  ・撮像に係るアプリケーションは、表示画面をみるユーザから向かって表示画面の左下の領域内、音声認識に係るアプリケーションは、表示画面をみるユーザから向かって表示画面の右下の領域内など、アプリケーションごとに設定された領域内
 ステップS110においてアプリケーションを終了するトリガとなる位置が見られたと判定されない場合には、本実施形態に係る情報処理装置は、例えば、ステップS100からの処理を繰り返す。
 また、ステップS110においてアプリケーションを終了するトリガとなる位置が見られたと判定された場合には、本実施形態に係る情報処理装置は、例えば、ステップS106と同様に、設定されている一定時間が経過したか否かを判定する(S112)。なお、ステップS106に係る一定時間と、ステップS112に係る一定時間とは、同一であってもよいし、異なっていてもよい。
 ステップS112において一定時間が経過したと判定されない場合には、本実施形態に係る情報処理装置は、例えば、ステップS110からの処理を繰り返す。
 また、ステップS112において一定時間が経過したと判定された場合には、本実施形態に係る情報処理装置は、アプリケーションを終了させる(S114)。本実施形態に係る情報処理装置は、例えば、アプリケーションの終了命令を生成し、当該終了命令を実行すること、または、外部装置に終了命令を実行させることによって、アプリケーションを終了させる。そして、本実施形態に係る情報処理装置は、ステップS100からの処理を繰り返す。
 なお、ステップS102において起動されていると判定されたアプリケーションが、例えば、起動中(例えば、起動アニメーション中)である場合には、本実施形態に係る情報処理装置は、起動中のアプリケーションの起動をキャンセルする。つまり、本実施形態に係るアプリケーションの終了には、例えば、起動が完了しているアプリケーションの終了と、起動中のアプリケーションの起動のキャンセルとが含まれる。
 また、起動されているアプリケーションによっては、終了のタイミングが異なる場合がありうる。
 例えば、図2のCに示すようなノーティフィケーションの一覧を表示させるアプリケーションにおいて、現在の状態(例えば、時間や、次の予定、現在再生している楽曲など)が表示される場合には、ノーティフィケーションの一覧を消す(ノーティフィケーションの一覧を表示させるアプリケーション終了する)タイミングを要することがありうる。
 終了させるアプリケーションが、終了するタイミングを要するアプリケーションである場合、本実施形態に係る情報処理装置は、例えば、図1に示すS110~S114の処理によって、アプリケーションを終了させる。
 一方、例えば図2のBに示すような、音声認識アプリケーションでは、例えば、アプリケーションが起動しすぐに音声認識が開始され、音声の切れ目を音声認識終了タイミングとすることによって、音声認識終了時と同時に、アイコンを非表示とすることが可能である。よって、例えば上記に示す音声認識アプリケーションのように、終了させるアプリケーションが、終了するタイミングを要するアプリケーションではない場合、本実施形態に係る情報処理装置は、例えば、図1に示すS110~S114の処理によって、アプリケーションを終了させなくてもよい。
 また、本実施形態に係る情報処理装置は、アプリケーションを終了させる場合において、例えば、アニメーション表示を行わせてもよい。
 アプリケーションを終了させる場合におけるアニメーション表示の一例としては、例えば、アプリケーションを終了するトリガとなる位置や、アプリケーションを終了するトリガとなる位置に対応する方向へ、スライドアウトさせることが挙げられる。上記のように、アプリケーションを終了するトリガとなる位置などへスライドアウトさせることによって、仮に、ユーザが一瞬他の箇所へ視線を動かしていたとしてもユーザに気づかせることが可能である。よって、上記のように、アプリケーションを終了するトリガとなる位置などへスライドアウトさせることによって、ユーザがシステムの挙動を理解することを補助することが、できる。なお、アプリケーションを終了させる場合におけるアニメーション表示の例が、上記に示す例に限られないことは、言うまでもない。
 本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば図1に示す処理を行う。例えば図1に示す処理によって、本実施形態に係る情報処理装置は、例えば、“ユーザが設定されている位置をみると、アプリケーションが起動すること”と、“ユーザが設定されている位置をみると、アプリケーションが終了すること”とを実現させることができる。
(II)本実施形態に係る情報処理方法に係る処理の第2の例
 図3は、本実施形態に係る情報処理方法に係る処理の第2の例を説明するための流れ図である。ここで、図3に示す本実施形態に係る情報処理方法に係る処理の第2の例は、例えば、本実施形態に係る情報処理装置が、上記(1)の処理(視線位置取得処理)と、“上記第1の例に係る判定処理および状態制御処理”とを行う場合の処理の一例に該当する。図3は、本実施形態に係る情報処理方法に係る処理が、ユーザが視線で起動しなくとも自動で表示されるノーティフィケーション(例えば、メールの着信や、通話の着信、予定のアラームなど)の詳細表示をする場合に適用された例を示している。
 図3では、例えば、ステップS302の処理が上記(1)の処理(視線位置取得処理)に該当する。また、図3では、ステップS304の処理が上記(2)の処理(判定処理)の一例に該当し、ステップS306~S310の処理が、上記(3)の処理(状態制御処理)の一例に該当する。
 本実施形態に係る情報処理装置は、例えば、着信(メール、アラーム、電話など)が検出された場合に、ノーティフィケーションに係るアイコン(以下、「ノーティフィケーションアイコン」と示す。)を表示させる(S300)。
 図4は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係るノーティフィケーションアイコンの一例を示している。図4に示すAが、ノーティフィケーションアイコンの一例を示している。なお、図4のAに示すようなノーティフィケーションアイコンを表示させる場合、本実施形態に係る情報処理装置は、例えば、フェードインなどのアニメーション表現を用いてもよい。
 再度、図3を参照して、本実施形態に係る情報処理方法に係る処理の第2の例について説明する。ステップS200の処理が行われると、本実施形態に係る情報処理装置は、視線位置取得処理を行う(S202)。なお、本実施形態に係る情報処理装置は、例えば、ステップS200の処理によらずに、ステップS202の処理を行うことも可能である。
 本実施形態に係る情報処理装置は、視線座標(視線位置の一例)が、ノーティフィケーションアイコン座標(上記第1位置の一例)に一定時間保持されているか否かを判定する(S204)。ここで、ステップS204の処理は、例えば図1に示すステップS104、S106の処理に相当し、本実施形態に係る情報処理装置は、ステップS204において、例えば図1に示すステップS104、S106の処理と、同様の処理を行う。
 ステップS204において、視線座標がノーティフィケーションアイコン座標に一定時間保持されていると判定されない場合には、本実施形態に係る情報処理装置は、例えば、図1のステップS106と同様に、一定時間が経過したか否かを判定する(S206)。
 ステップS206において一定時間が経過したと判定されない場合には、本実施形態に係る情報処理装置は、例えば、ステップS202からの処理を繰り返す。
 また、ステップS206において一定時間が経過したと判定された場合には、本実施形態に係る情報処理装置は、例えば、ノーティフィケーションアイコンを表示画面から消去する(S208)。ここで、ノーティフィケーションアイコンを表示画面から消去する場合、本実施形態に係る情報処理装置は、例えば、フェードアウトなどのアニメーション表現を用いてもよい。
 ステップS204において、視線座標がノーティフィケーションアイコン座標に一定時間保持されていると判定された場合には、本実施形態に係る情報処理装置は、例えば、ノーティフィケーションアイコンに対応付けられているアプリケーションを起動させる(S210)。
 本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば図3に示す処理を行う。例えば図3に示す処理によって、本実施形態に係る情報処理装置は、例えば、“ユーザが設定されている位置をみると、アプリケーションが起動すること”を実現させることができる。
(III)本実施形態に係る情報処理方法に係る処理の第3の例
 図5は、本実施形態に係る情報処理方法に係る処理の第3の例を説明するための流れ図である。ここで、図5に示す本実施形態に係る情報処理方法に係る処理の第3の例は、例えば、本実施形態に係る情報処理装置が、上記(1)の処理(視線位置取得処理)と、“上記第8の例に係る判定処理および状態制御処理”とを行う場合の処理の一例に該当する。図5では、例えば、ステップS200~S206、S210、S212、S218、S222、S224、S228の処理が、上記(2)の処理(判定処理)の一例に該当する。また、図5では、ステップS208、S214、S216、S220、S226、S230の処理が、上記(3)の処理(状態制御処理)の一例に該当する。なお、図5では、上記(1)の処理(視線位置取得処理)については省略しており、上記(1)の処理(視線位置取得処理)は、例えば、常時、定期的に、または、不定期的に行われる。
 本実施形態に係る情報処理装置は、ユーザの視線位置が取得されたか否かを判定する(S300)。ユーザの視線位置は、例えば、上記(1)の処理(視線位置取得処理)により取得される。
 ステップS300において視線位置が取得されたと判定されない場合には、本実施形態に係る情報処理装置は、視線位置が取得されたと判定されるまで処理を進めない。
 また、ステップS300において視線位置が取得されたと判定された場合には、本実施形態に係る情報処理装置は、アイコン(表示オブジェクトの一例。以下、同様とする。)が表示されているか否かを判定する(S302)。
 ステップS302においてアイコンが表示されていると判定されない場合には、本実施形態に係る情報処理装置は、アイコンを表示するトリガとなる位置が見られたか否かを判定する(S304)。
 本実施形態に係るアイコンを表示するトリガとなる位置としては、例えば下記に示す例が挙げられる。ここで、本実施形態に係るアイコンを表示するトリガとなる位置は、本実施形態に係る第3位置に該当する。なお、本実施形態に係るアイコンを表示するトリガとなる位置が、下記に示す例に限られないことは、言うまでもない。
  ・表示画面における、表示画面をみるユーザから向かって左端から5[cm]以内の領域内
  ・表示画面の水平方向を3分割した際における、表示画面をみるユーザから向かって表示画面の一番右の領域内
 ステップS304においてアイコンを表示するトリガとなる位置が見られたと判定されない場合には、本実施形態に係る情報処理装置は、例えば、ステップS300からの処理を繰り返す。
 また、ステップS304においてアイコンを表示するトリガとなる位置が見られたと判定された場合には、本実施形態に係る情報処理装置は、例えば、図1のステップS106と同様に、設定されている一定時間が経過したか否かを判定する(S306)。
 ステップS306において一定時間が経過したと判定されない場合には、本実施形態に係る情報処理装置は、例えば、ステップS304からの処理を繰り返す。
 また、ステップS306において一定時間が経過したと判定された場合には、本実施形態に係る情報処理装置は、アイコンを表示するトリガとなる位置に対応するアイコンを表示させる(S308)。本実施形態に係る情報処理装置は、例えば、アイコンの表示命令を生成し、当該表示命令を実行すること、または、外部装置に表示命令を実行させることによって、アイコンを表示させる。そして、本実施形態に係る情報処理装置は、ステップS300からの処理を繰り返す。
 ここで、本実施形態に係る情報処理装置が表示させるアイコンとしては、例えば、メニューアイコンや、
アプリケーションアイコンなどが挙げられる。
 また、本実施形態に係る情報処理装置は、ステップS308において、例えば、アイコンを表示するトリガとなる位置の方向からアイコンをスライドインさせるなどの表示方法によって、アイコンを表示させる。なお、アイコンを表示するトリガとなる位置に対応するアイコンを表示させる方法が、上記に示す例に限られないことは、言うまでもない。
 図6は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る情報処理装置が、表示させるアイコンの一例を示している。図6では、ユーザが透過型のHMDを使用している場合に、本実施形態に係る情報処理装置が、表示させるアイコンの一例を示している。図6に示すAは、アイコンが表示される前に、ユーザから見えている像の一例を示している。また、図6に示すBは、アイコンが表示された後の表示状態の一例を示している。なお、ステップS308の処理において本実施形態に係る情報処理装置が、表示させるアイコンの例が、図6に示す例に限られないことは、言うまでもない。
 再度、図5を参照して、本実施形態に係る情報処理方法に係る処理の第3の例について説明する。ステップS302においてアイコンが表示されていると判定された場合には、本実施形態に係る情報処理装置は、アイコンを引っ張るトリガとする位置が見られたか否かを判定する(S310)。
 ここで、本実施形態に係るアイコンを引っ張るトリガとする位置は、本実施形態に係る第5位置に該当する。
 図7は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る各種位置の一例を示している。図7に示すA、B、C、Dそれぞれが、本実施形態に係る各種位置の一例となりうる。以下、本実施形態に係る各種位置の一例については、図7に示す例を適宜参照して説明する。
 本実施形態に係るアイコンを引っ張るトリガとする位置としては、例えば、図7のAに示す領域が挙げられる。なお、本実施形態に係るアイコンを引っ張るトリガとする位置が、図7のAに示す領域に限られないことは、言うまでもない。以下では、説明を簡略化するため、本実施形態に係るアイコンを引っ張るトリガとする位置が、図7のAに示す領域である場合を例に挙げる。また、本実施形態に係るアイコンを引っ張るトリガとする位置には、例えば、アイコンの更新を行う区間、アイコンの更新を行わない区間、アイコンの動きを停止する区間が含まれていてもよい。
 ステップS310においてアイコンを引っ張るトリガとする位置が見られたと判定された場合には、本実施形態に係る情報処理装置は、アイコンを更新させるか否かを判定する(S312)。
 例えば、本実施形態に係るアイコンを引っ張るトリガとする位置が、図7のAに示す領域である場合、本実施形態に係る情報処理装置は、視線位置が、図7のAに示す領域が2つに分割された図7のCに示す領域に位置するか、または、図7のAに示す領域が2つに分割された図7のDに示す領域に位置するかによって、ステップS312に係る判定を行う。具体例を挙げると、本実施形態に係る情報処理装置は、例えば、視線位置が図7のCに示す領域に位置する場合は、本実施形態に係る情報処理装置は、アイコンを更新させると判定する。また、本実施形態に係る情報処理装置は、例えば、視線位置が図7のDに示す領域に位置する場合は、アイコンを更新させると判定しない。
 本実施形態に係る情報処理装置が、例えば、視線位置が図7のCに示す領域と図7のDに示す領域とのいずれかの領域に位置するかに基づいて、アイコンを更新させるか否かを判定することによって、例えば、下記のことが実現される。
  ・ユーザが図7のCに示す領域を見続けることによって、ユーザは、アイコンをすこし引っ張りながら所望のアイコンに更新されるまで待つことができる。
  ・視線位置が図7のDに示す領域に位置した後、表示されたアイコンが所望のアプリケーションに対応していないアイコンであったことを、ユーザが気づいた場合には、ユーザは、視線を図7のCに示す領域に移すことによって、アイコンを変更させることができる。
 ステップS312においてアイコンを更新させると判定されない場合には、本実施形態に係る情報処理装置は、後述するステップS316の処理を行う。
 また、ステップS312においてアイコンを更新させると判定された場合には、本実施形態に係る情報処理装置は、アイコンを更新させる(S314)。本実施形態に係る情報処理装置は、例えば、視線位置が図7のCに示す領域に存在する場合に、アイコンを一定時間ごとに更新し続ける。
 本実施形態に係る情報処理装置は、アイコンを移動させる(S316)。本実施形態に係る情報処理装置は、例えば、アイコンの移動命令を生成し、当該移動命令を実行すること、または、外部装置に移動命令を実行させることによって、アイコンを移動させる。そして、本実施形態に係る情報処理装置は、ステップS300からの処理を繰り返す。
 ここで、本実施形態に係る情報処理装置は、ステップS316において、例えば、視線位置に応じてアイコンを引っ張るように、アイコンを移動させる。
 具体例を挙げると、本実施形態に係る情報処理装置は、例えば、表示画面の中央位置から視線位置までの距離に応じて、アイコンを視点位置に引っ張るように、表示画面における、表示画面をみるユーザから向かって右にアイコンを移動させる。以下では、上記に示すアイコンの移動の一例を、単に「アイコンを引っ張る」と示す。
 また、本実施形態に係る情報処理装置は、例えば、視線位置が、図7のAの領域以外の位置に位置する場合には、アイコンを移動前の位置(例えば、図6のBに示すような表示画面の中央位置)に移動させる。このとき、本実施形態に係る情報処理装置は、例えば、アイコンをアニメーション表示させてもよい。
 なお、本実施形態に係るアイコンの移動方法が、上記に示す例に限られないことは、言うまでもない。
 ステップS310においてアイコンを引っ張るトリガとする位置が見られたと判定されない場合には、本実施形態に係る情報処理装置は、アイコンを決定するトリガとなる位置が見られたか否かを判定する(S318)。
 ここで、本実施形態に係るアイコンを決定するトリガとなる位置は、本実施形態に係る第4位置に該当する。
 本実施形態に係るアイコンを決定するトリガとなる位置としては、例えば、図7のBに示す領域が挙げられる。なお、本実施形態に係るアイコンを決定するトリガとなる位置が、図7のBに示す領域に限られないことは、言うまでもない。以下では、本実施形態に係るアイコンを決定するトリガとなる位置が、図7のBに示す領域である場合を例に挙げる。
 図8は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、ステップS318において、アイコンを決定するトリガとなる位置が見られたと判定された場合におけるアイコンの表示位置の一例を示している。
 例えば、ユーザの視線位置が、図7のBに示す領域に入った場合、本実施形態に係る情報処理装置は、アイコンを、図8に示すような位置(例えば、図7の領域Aと領域Bとの境界に、アイコンの中心位置が位置する位置)に、アイコンを移動させる。なお、アイコンを決定するトリガとなる位置が見られたと判定された場合におけるアイコンの表示位置が、図8に示す例に限られないことは、言うまでもない。
 再度、図5を参照して、本実施形態に係る情報処理方法に係る処理の第3の例について説明する。ステップS318において、アイコンを決定するトリガとなる位置が見られたと判定されない場合には、本実施形態に係る情報処理装置は、アイコンを更新させる(S320)。
 図9、図10それぞれは、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図9は、複数のアイコンが並んで表示画面に表示されている場合の一例を示しており、図10は、複数のアイコンが更新されて1つずつ表示される場合の一例を示している。図10は、図10のA、B、Cの順番に表示画面の表示状態が更新される例を示している。
 ユーザが、視線だけを利用した操作を所望するときにおいて、例えば図9に示すように、複数のアイコンが並んで表示画面に表示されている場合には、ユーザが所望のアイコンを選択しようとすると、視線を所望のアイコンに合わせなくてはならず、ユーザにとって負担となりうる。また、ユーザに負担がかかる場合には、ユーザの利便性、操作性を損ねる恐れがある。
 そこで、本実施形態に係る情報処理装置は、例えば図10に示すように、複数のアイコンを、更新させながら1つずつ表示させる。本実施形態に係る情報処理装置は、例えば、設定されている一定時間ごとに、表示されるアイコンを更新する。なお、複数のアイコンを、更新させながら1つずつ表示させる場合における、アイコンの表示順序が、図10に示す例に限られないことは、言うまでもない。
 再度、図5を参照して、本実施形態に係る情報処理方法に係る処理の第3の例について説明する。本実施形態に係る情報処理装置は、アイコンを非表示にするトリガとする位置が見られたか否かを判定する(S322)。
 本実施形態に係るアイコンを非表示にするトリガとする位置としては、例えば下記に示す例が挙げられる。ここで、本実施形態に係るアイコンを非表示にするトリガとする位置は、本実施形態に係る第6位置に該当する。
  ・表示画面における、表示画面をみるユーザから向かって右端から5[cm]以内の領域内
  ・表示画面の水平方向を3分割した際における、表示画面をみるユーザから向かって表示画面の一番左の領域内
 なお、本実施形態に係るアイコンを非表示にするトリガとする位置は、上記に示す例に限られない。例えば、本実施形態に係るアイコンを非表示にするトリガとする位置としては、アイコンを決定するトリガとなる位置やアイコンを引っ張るトリガとなる位置と異なる任意の位置が挙げられる。また、本実施形態に係るアイコンを非表示にするトリガとする位置は、例えば、アイコン表示するトリガとする位置と同一の位置であってもよい。
 ステップS322においてアイコンを非表示にするトリガとする位置が見られたと判定されない場合には、本実施形態に係る情報処理装置は、例えば、ステップS300からの処理を繰り返す。
 また、ステップS322においてアイコンを非表示にするトリガとする位置が見られたと判定された場合には、本実施形態に係る情報処理装置は、例えば、ステップS306と同様に、設定されている一定時間が経過したか否かを判定する(S324)。ここで、ステップS306に係る一定時間と、ステップS324に係る一定時間とは、同一であってもよいし、異なっていてもよい。
 ステップS324において一定時間が経過したと判定されない場合には、本実施形態に係る情報処理装置は、例えば、ステップS322からの処理を繰り返す。
 また、ステップS324において一定時間が経過したと判定された場合には、本実施形態に係る情報処理装置は、アイコンを非表示とさせる(S326)。本実施形態に係る情報処理装置は、例えば、アイコンの非表示命令を生成し、当該非表示命令を実行すること、または、外部装置に非表示命令を実行させることによって、アイコンを非表示とさせる。そして、本実施形態に係る情報処理装置は、ステップS300からの処理を繰り返す。ここで、本実施形態に係るアイコンを非表示とさせる方法としては、例えば、アイコンを非表示にするトリガとする位置の方向へ、非表示にするアイコンをスライドアウトさせることなどが挙げられる。
 ステップS318において、アイコンを決定するトリガとなる位置が見られたと判定された場合には、本実施形態に係る情報処理装置は、例えば、ステップS306と同様に、設定されている一定時間が経過したか否かを判定する(S328)。ここで、ステップS328に係る一定時間は、例えば、ステップS306に係る一定時間、および/または、ステップS324に係る一定時間と、同一であってもよいし、異なっていてもよい。
 ステップS328において一定時間が経過したと判定されない場合には、本実施形態に係る情報処理装置は、例えば、ステップS318からの処理を繰り返す。
 また、ステップS328において一定時間が経過したと判定された場合には、本実施形態に係る情報処理装置は、アプリケーションを起動させる(S330)。そして、本実施形態に係る情報処理装置は、ステップS300からの処理を繰り返す。
 ここで、本実施形態に係る情報処理装置は、ステップS308において、例えば、表示されているアイコンに対応付けられているアプリケーションを起動させる。また、本実施形態に係る情報処理装置は、例えば、アプリケーションの起動命令を生成し、当該起動命令を実行すること、または、外部装置に起動命令を実行させることによって、アプリケーションを起動させる。
 本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば図5に示す処理を行う。例えば図5に示す処理によって、本実施形態に係る情報処理装置は、例えば、下記に示すことなどを実現することができる。
  ・ユーザが設定されている位置をみると、アプリケーションに対応付けられているアイコンが表示される。
  ・ユーザがアイコンを見続けていると、アイコンが他のアプリケーションに対応付けられている他のアイコンに切り替わる。
  ・ユーザが、アイコンを表示させる際に見た方向と異なる方向を見ると、現在表示されているアイコンが見た方向に移動する。
  ・ユーザが設定されている位置をみると、アイコンに対応付けられているアプリケーションが起動する。
[情報処理方法に係る処理の第3の例の補足]
 上述した図5に示す本実施形態に係る情報処理方法に係る処理の第3の例について補足する。
(A)アイコンのレイアウトについて
 図11、図12は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、図5に示す本実施形態に係る情報処理方法に係る処理の第3の例における、アイコンのレイアウトの一例をそれぞれ示している。図11に示すA、図12に示すAは、アイコンが表示される場合における表示状態の一例を示している。また、図11に示すB、図12に示すBは、アイコンが引っ張られている場合における表示状態の一例を示している。また、図11に示すC、図12に示すCは、アイコンが決定される場合における表示状態の一例を示している。
 例えば図11に示すレイアウトがとられる場合には、表示画面に一つのアイコンが表示され、表示されるアイコンは、例えば図5のステップS314の処理などによって更新される。
 また、例えば図12に示すレイアウトがとられる場合には、表示画面に複数のアイコンが表示される。図12では、表示画面の垂直方向に3つのアイコンが表示される例を示している。
 例えば図12では、3つのアイコンのうち、中央に表示されているアイコンが、他のアイコンよりも大きく表示されており、当該中央に表示されているアイコンは、例えば、ユーザの視線位置に応じて引っ張られるように移動する。このとき、本実施形態に係る情報処理装置は、例えば図12のBに示すように、アイコンが配置されている領域Rが、アイコンの移動に合わせて一緒についていくようなアニメーションを行わせてもよい。そして、上記中央に表示されているアイコンに対応するアプリケーションが、視線位置に応じて機動される。
 なお、例えば図12に示すレイアウトがとられる場合において表示されるアイコンは、図12に示す例に限られない。図13は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、図12に示すレイアウトがとられる場合における表示状態の他の例を示している。
 例えば、図13のA、図13のB、および図13のCに示すように、本実施形態に係る情報処理装置は、表示画面をみるユーザから向かって表示画面の上から下へとアイコンをスクロールさせることによって、ユーザが選択可能なアプリケーション(起動させるアプリケーション)を更新することも可能である。また、本実施形態に係る情報処理装置は、例えば、図13のC、図13のB、および図13のAに示すように、表示画面をみるユーザから向かって表示画面の下から上へとアイコンをスクロールさせることによって、ユーザが選択可能なアプリケーション(起動させるアプリケーション)を更新してもよい。
 ここで、本実施形態に係る情報処理装置は、例えば、定期的、または不定期に、スクロールさせることによって、図13に示すようなアイコンのスクロール表示を行う。また、本実施形態に係る情報処理装置は、例えば、ユーザの視線位置に基づいて、図13に示すようなアイコンのスクロール表示を行ってもよい。
(B)アイコンの表示方法について
 本実施形態に係る情報処理装置は、例えば、アイコンを表示するトリガとする位置、または、アイコンを表示するトリガとする位置に対応する方向から、アイコンを表示させる。例えば、図11、図12を例に挙げると、ユーザが、“表示画面の水平方向を3分割した際における、表示画面をみるユーザから向かって表示画面の一番左の領域内”を見ると、本実施形態に係る情報処理装置は、表示画面をみるユーザから向かって表示画面の左側から、アイコンを表示させる。
 なお、本実施形態に係るアイコンの表示方法は、上記に示す例に限られず、本実施形態に係る情報処理装置は、例えば、アイコンを表示するトリガとする位置と対応付けられている任意の位置、方向から、アイコンを表示させることも可能である。
(C)アイコンの決定方法について
 図11、図12に示すレイアウトを例に挙げて、起動させるアプリケーションに関連付けられているアイコンの決定方法の一例について説明する。
 例えば、アイコンが表示された状態が、図11に示すAである場合には、表示されているアイコンが制御対象のアプリケーションに対応するアイコンである。また、例えば、アイコンが表示された状態が、図12に示すAである場合には、3つのアイコンのうち、中央に表示されているアイコンが、制御対象のアプリケーションに対応するアイコンである。
 図11、図12に示す例では、本実施形態に係る情報処理装置は、ユーザの視線位置が、アイコンが表示されている位置から、表示画面をみるユーザから向かって表示画面の右へと、一定以上の距離移動すると、図11のA、図12のAに示す状態から、図11のB、図12のBに示す状態へと状態を変える。つまり、図11、図12に示す例では、表示されているアイコンが、ユーザの視線につられて動き出す。
 また、アイコンが一定の箇所まで移動されると、本実施形態に係る情報処理装置は、例えば、アイコンの移動を停止させ、図4のステップS328の処理を行う。本実施形態に係る情報処理装置は、図4のステップS328の処理に係る一定時間、ユーザが、表示画面をみるユーザから向かって表示画面の右を見ていると判定された場合に、アイコンを再度表示画面をみるユーザから向かって表示画面の右へと動かし、当該アイコンが決定されたとみなす。そして、本実施形態に係る情報処理装置は、上記アイコンに対応付られているアプリケーションを起動させる。
 また、本実施形態に係る情報処理装置は、例えば、アイコンが視線につられて動き出してから止まるまでの区間を、アイコンの更新をし続ける領域と、アイコンの更新をやめる領域とに分ける。上記のように、アイコンが視線につられて動き出してから止まるまでの区間を分けることによって、ユーザが誤って所望のアイコンとは異なるアイコンを決定してしまうことを防止することが、可能となる。
(D)アイコンの更新方法について
 本実施形態に係る情報処理装置は、例えば下記に示す方法によって、アイコンを更新させる。なお、本実施形態に係るアイコンの更新方法が、下記に示す例に限られないことは、言うまでもない。
  ・一定の時間間隔でアイコンを自動で切り替える方法
  ・ユーザが、表示画面をみるユーザから向かって表示画面の上下に視線を動かすことによってアイコンを切り替える方法
  ・ユーザが、視線を、アイコンを決定するトリガとする位置とは、反対の位置(または方向)に動かすことによって、アイコンを切り替える方法
(a)一定の時間間隔でアイコンを自動で切り替える方法について
 本実施形態に係る情報処理装置は、例えば、アイコンが表示されてから設定されている一定の時間間隔でアイコンを更新させる。ここで、本実施形態に係る一定の時間間隔は、例えば、予め設定されている固定の時間間隔であってもよいし、ユーザ操作などに基づいて変更可能な時間間隔であってもよい。
 具体例を挙げると、例えば図11に示すレイアウトがとられる場合、本実施形態に係る情報処理装置は、表示されているアイコンを、他のアイコンに瞬時に切り替える。
 なお、図11に示すレイアウトがとられる場合における、アイコンの切り替えに係る表示方法は、上記に限られない。図14は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、図11に示すレイアウトがとられる場合における、アイコンの切り替えに係る表示方法の他の例を示している。
 例えば、本実施形態に係る情報処理装置は、図14のAに示すように、複数のアイコンが各面に配置された立方体が、表示画面の中心位置などにおいて一の軸(例えばY軸)を軸として回転するように、アイコンを切り替えてもよい。
 例えば図14に示す例では、本実施形態に係る情報処理装置は、立方体が90[°]回転するごとに、一定時間(例えば1[秒]など)立方体の回転を停止させる。例えば、立方体の回転が停止されているときに、ユーザが、視線をアイコン上からアイコンを決定する位置(またはアイコンを決定する位置に対応する方向)に動かすことによって、アイコンは引っ張られるように動く。
 また、例えば図12に示すレイアウトがとられる場合、本実施形態に係る情報処理装置は、例えば、設定されている一定の時間間隔で、アイコンを、表示画面をみるユーザから向かって表示画面の上から下へと(または、下から上へと)スクロールさせる。このとき、スクロール表示の一例としては、例えば、“0.5[秒]で図13のAに示す状態から図13のBに示す状態へとスクロールさせ、図13のBに示す状態で1[秒]停止させ、0.5[秒]で図13のBに示す状態から図13のCに示す状態へとスクロールさせること”などのアニメーション表現を用いた表示が挙げれる。
 例えば上記のような停止期間が設けられる場合、ユーザが、アイコンが停止されている間に、視線をアイコン上からアイコンを決定する位置(またはアイコンを決定する位置に対応する方向)に動かすことによって、アイコンは引っ張られるように動く。
 なお、本実施形態に係るスクロール表示は、上記に限られない。例えば、本実施形態に係る情報処理装置は、上記のような停止期間を設けずに、アイコンを滑らかにスクロールさせることも可能である。
(b)ユーザが、表示画面をみるユーザから向かって表示画面の上下に視線を動かすことによってアイコンを切り替える方法について
 例えば、図11に示すレイアウトと図12に示すレイアウトとのどちらのレイアウトがとられる場合においても、本実施形態に係る情報処理装置は、例えば、ユーザが垂直方向に目を動かすことをトリガとして、アイコンを切り替える。
(c)ユーザが、視線を、アイコンを決定するトリガとする位置とは、反対の位置(または方向)に動かすことによって、アイコンを切り替える方法について
 例えば、図11に示すレイアウトがとられるときには、本実施形態に係る情報処理装置は、例えば、視線位置が、アイコンを決定するトリガとする位置とは、反対の位置や反対の方向の領域に位置する場合に、アイコンを切り替える。
(E)アイコンの非表示のタイミングについて
 本実施形態に係る情報処理装置は、例えば、図4のステップS322~S326に示すように、ユーザが、アイコンを非表示にするトリガとなる位置を一定時間みている場合に、アイコンを非表示とする。本実施形態に係る情報処理装置は、例えば、非表示とするアイコンを、ユーザが見ている方向へとアニメーションさせながらスライドアウトさせることなどによって、当該アイコンを非表示とさせる。また、本実施形態に係る情報処理装置は、例えば、非表示とするアイコンを、瞬時に非表示とすることも可能である。
 また、上記のようにアニメーション表現を利用してアイコンを非表示とする場合、本実施形態に係る情報処理装置は、例えば、図11や図12に示すアイコンが乗っている帯状のオブジェクトや、図12に示す視線位置に応じて選択されなかった他のアイコンを、非表示とする。
(本実施形態に係る情報処理装置)
 次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置の構成の一例について、説明する。
 図15は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、通信部102と、制御部104とを備える。
 また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
 ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
 記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、ユーザの視線の位置に関する情報などの本実施形態に係る情報処理方法に係るデータや、表示オブジェクトなどの表示係るデータ、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
 操作部(図示せず)としては、例えば、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、例えば、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
 図16は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、撮像デバイス164と、通信インタフェース166とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス168で各構成要素間を接続する。
 MPU150は、例えば、MPU(Micro Processing Unit)などの演算回路などで構成されるプロセッサや各種処理回路などで構成され、情報処理装置100全体を制御する制御部104として機能する。また、MPU150は、情報処理装置100において、例えば、後述する視線位置取得部110、判定部112、および処理部114の役目を果たす。
 ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
 記録媒体156は、記憶部(図示せず)として機能し、例えば、ユーザの視線の位置に関する情報などの本実施形態に係る情報処理方法に係るデータや、表示オブジェクトなどの表示係るデータ、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
 入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162、撮像デバイス164を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。また、撮像デバイス164は、撮像部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
 操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
 表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
 撮像デバイス164は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。撮像デバイスを備える場合には、情報処理装置100では、例えば、撮像デバイスにおいて撮像により生成された撮像画像に基づいてユーザの視線に関する情報を得ることなどが可能となる。
 ここで、本実施形態に係る撮像デバイスは、例えば、レンズ/撮像素子と信号処理回路とを含んで構成される。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換する。また、信号処理回路は、例えば、White Balance補正処理や、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理など各種信号処理を行ってもよい。
 なお、入出力インタフェース158が、情報処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
 通信インタフェース166は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の撮像デバイスや、外部の表示デバイス、外部のセンサなどの、外部デバイスや外部装置と、無線または有線で通信を行うための通信部102として機能する。ここで、通信インタフェース166としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)や基地局を介した無線WAN(WWAN:Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
 情報処理装置100は、例えば図16に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図16に示す構成に限られない。
 例えば、情報処理装置100は、本実施形態に係る情報処理方法に係る処理において用いることが可能なデータを得る検出部(図示せず)の役目を果たす、1または2以上のセンサをさらに備えていてもよい。本実施形態に係る情報処理方法に係る処理において用いることが可能なデータとしては、例えば、ユーザの視線の位置の推定精度の向上に用いることが可能なデータなどが挙げられる。
 本実施形態に係るセンサとしては、例えば、赤外線センサなど、本実施形態に係る情報処理方法に係る処理において用いることが可能なデータを得ることが可能な任意のセンサが挙げられる。
 また、情報処理装置100は、例えば、スタンドアロンで処理を行う構成である場合には、通信デバイス164を備えていなくてもよい。また、情報処理装置100は、記憶媒体156や、操作デバイス160、表示デバイス162、撮像デバイス164を備えない構成をとることも可能である。
 再度図15を参照して、情報処理装置100の構成の一例について説明する。通信部102は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の撮像デバイスや、外部の表示デバイス、外部のセンサなどの、外部デバイスや外部装置と、無線または有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。
 ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
 制御部104は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部104は、例えば、視線位置取得部110と、判定部112と、処理部114とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
 撮像取得部110は、上記(1)の処理(視線位置取得処理)を主導的に行う役目を果たし、ユーザの視線位置を取得する。
 判定部112は、上記(2)の処理(判定処理)を主導的に行う役目を果たし、撮像取得部110により取得された視線位置が、アプリケーションに関する位置に対応するかを判定する。より具体的には、判定部112は、例えば、“上記第1の例に係る判定処理および状態制御処理”~“上記第8の例に係る判定処理および状態制御処理”における判定処理に該当する処理を行う。
 処理部114は、上記(3)の処理(状態制御処理)を主導的に行う役目を果たし、判定部112において視線位置がアプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御する。より具体的には、処理部114は、例えば、“上記第1の例に係る判定処理および状態制御処理”~“上記第8の例に係る判定処理および状態制御処理”における状態制御処理に該当する処理を行う。
 情報処理装置100は、例えば図15に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、上記(1)の処理(視線位置取得処理)、上記(2)の処理(判定処理)、および上記(3)の処理(状態制御処))を行う。また、情報処理装置100は、例えば図15に示す構成によって、例えば、図1に示す本実施形態に係る情報処理方法に係る処理の第1の例、図3に示す本実施形態に係る情報処理方法に係る処理の第2の例、図5に示す本実施形態に係る情報処理方法に係る処理の第3の例を行うことができる。
 したがって、情報処理装置100は、例えば図15に示す構成によって、視線によるアプリケーションに関する操作をユーザに行わせることができる。
 また、例えば図15に示す構成によって、情報処理装置100は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
 なお、本実施形態に係る情報処理装置の構成は、図15に示す構成に限られない。
 例えば、本実施形態に係る情報処理装置は、図15に示す視線位置取得部110、判定部112、および処理部114のうちの1または2以上を、制御部104とは個別に備える(例えば、個別の処理回路で実現する)ことができる。
 また、例えば、通信部102と同様の機能、構成を有する外部の通信デバイスを介して、外部のデバイスや外部装置と通信を行う場合や、スタンドアロンで処理を行う構成である場合には、本実施形態に係る情報処理装置は、通信部102を備えていなくてもよい。
 また、本実施形態に係る情報処理装置は、例えば、撮像デバイスで構成される撮像部(図示せず)を、さらに備えていてもよい。撮像部(図示せず)を備える場合には、本実施形態に係る情報処理装置では、例えば、撮像部(図示せず)において撮像により生成された撮像画像に基づいてユーザの視線に関する情報を得ることなどが可能となる。
 また、本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理方法に係る処理において用いることが可能なデータを得ることが可能な任意のセンサで構成される検出部(図示せず)を、さらに備えていてもよい。検出部(図示せず)を備える場合、本実施形態に係る情報処理装置は、例えば、検出部(図示せず)における検出値を本実施形態に係る情報処理方法に係る処理において用いる。
 以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、透過型や遮蔽型のHMDや、テレビ受像機、表示装置、タブレット型の装置、携帯電話やスマートフォンなどの通信装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機、PC(デスクトップ型PCや、ノート型PCなど)などのコンピュータなど、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理IC(Integrated Circuit)に適用することもできる。
 また、本実施形態は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムにより実現されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。
(本実施形態に係るプログラム)
 コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、上記(1)の処理(視線位置取得処理)、上記(2)の処理(判定処理)、および上記(3)の処理(状態制御処理)など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、視線によるアプリケーションに関する操作をユーザに行わせることができる。
 また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
 上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 ユーザの視線位置を取得する視線位置取得部と、
 取得された視線位置が、アプリケーションに関する位置に対応するかを判定する判定部と、
 前記視線位置が前記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御する処理部と、
 を備える、情報処理装置。
(2)
 前記アプリケーションに関する位置には、アプリケーションを起動させるための第1位置が含まれ、
 前記判定部は、前記視線位置が前記第1位置に対応するかを判定し、
 前記処理部は、前記視線位置が前記第1位置に対応すると判定された場合に、判定された前記第1位置に対応するアプリケーションを起動させる、(1)に記載の情報処理装置。
(3)
 前記第1位置は、アプリケーションごとに設定され、
 前記判定部は、設定されている第1位置ごとに、前記視線位置が前記第1位置に対応するかを判定する、(2)に記載の情報処理装置。
(4)
 前記アプリケーションに関する位置には、起動されているアプリケーションを終了させるための第2位置が含まれ、
 前記判定部は、アプリケーションが起動されている場合に、前記視線位置が、起動されている前記アプリケーションに対応する前記第2位置に対応するかを判定し、
 前記処理部は、前記視線位置が前記第2位置に対応すると判定された場合に、判定された前記第2位置に対応するアプリケーションを終了させる、(1)~(3)のいずれか1つに記載の情報処理装置。
(5)
 前記第2位置は、アプリケーションごとに設定され、
 前記判定部は、設定されている第2位置ごとに、前記視線位置が前記第2位置に対応するかを判定する、(4)に記載の情報処理装置。
(6)
 前記アプリケーションに関する位置には、オブジェクトを表示させるための第3位置と、表示されているオブジェクトに対応付けられたアプリケーションを起動させるための第4位置とが含まれ、
 前記判定部は、
 アプリケーションに対応付けられたオブジェクトが表示されているかをさらに判定し、
 前記オブジェクトが表示されていると判定されない場合には、前記視線位置が、前記第3位置に対応するかを判定し、
 前記処理部は、前記視線位置が前記第3位置に対応すると判定された場合に、前記第3位置に対応する前記オブジェクトを表示させ、
 前記判定部は、前記オブジェクトが表示されていると判定された場合には、前記視線位置が前記第4位置に対応するかを判定し、
 前記処理部は、前記視線位置が前記第4位置に対応すると判定された場合に、表示されている前記オブジェクトに対応付けられたアプリケーションを起動させる、(1)に記載の情報処理装置。
(7)
 前記処理部は、前記視線位置が、表示させた前記オブジェクトの表示位置に対応する場合には、表示されている前記オブジェクトに替えて、他のアプリケーションに対応付けられている他のオブジェクトを表示させる、(6)に記載の情報処理装置。
(8)
 前記処理部は、前記判定部において前記視線位置が前記第4位置に対応するかが判定されたときにおいて、前記視線位置が前記第4位置に対応すると判定されない場合には、設定されている所定の時間ごとに、表示されている前記オブジェクトに替えて、他のアプリケーションに対応付けられている他のオブジェクトを表示させる、(6)、または(7)に記載の情報処理装置。
(9)
 前記アプリケーションに関する位置には、表示されている前記オブジェクトを移動させるための第5位置が含まれ、
 前記判定部は、前記オブジェクトが表示されていると判定された場合には、前記視線位置が前記第5位置に対応するかを判定し、
 前記処理部は、前記視線位置が前記第5位置に対応すると判定された場合に、表示されている前記オブジェクトを、前記第5位置に対応付けられた移動方法で移動させる、(6)~(8)のいずれか1つに記載の情報処理装置。
(10)
 前記アプリケーションに関する位置には、表示されている前記オブジェクトを非表示とさせるための第6位置が含まれ、
 前記判定部は、前記オブジェクトが表示されていると判定された場合には、前記視線位置が前記第6位置に対応するかを判定し、
 前記処理部は、前記視線位置が前記第6位置に対応すると判定された場合に、表示されている前記オブジェクトを、非表示とさせる、(6)~(9)のいずれか1つに記載の情報処理装置。
(11)
 ユーザの視線位置を取得するステップと、
 取得された視線位置が、アプリケーションに関する位置に対応するかを判定するステップと、
 前記視線位置が前記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御するステップと、
 を有する、情報処理装置により実行される情報処理方法。
(12)
 ユーザの視線位置を取得するステップ、
 取得された視線位置が、アプリケーションに関する位置に対応するかを判定するステップ、
 前記視線位置が前記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御するステップ、
 をコンピュータに実行させるためのプログラム。
 100 情報処理装置
 102  通信部
 104  制御部
 110  視線位置取得部
 112  判定部
 114  処理部
 

Claims (12)

  1.  ユーザの視線位置を取得する視線位置取得部と、
     取得された視線位置が、アプリケーションに関する位置に対応するかを判定する判定部と、
     前記視線位置が前記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御する処理部と、
     を備える、情報処理装置。
  2.  前記アプリケーションに関する位置には、アプリケーションを起動させるための第1位置が含まれ、
     前記判定部は、前記視線位置が前記第1位置に対応するかを判定し、
     前記処理部は、前記視線位置が前記第1位置に対応すると判定された場合に、判定された前記第1位置に対応するアプリケーションを起動させる、請求項1に記載の情報処理装置。
  3.  前記第1位置は、アプリケーションごとに設定され、
     前記判定部は、設定されている第1位置ごとに、前記視線位置が前記第1位置に対応するかを判定する、請求項2に記載の情報処理装置。
  4.  前記アプリケーションに関する位置には、起動されているアプリケーションを終了させるための第2位置が含まれ、
     前記判定部は、アプリケーションが起動されている場合に、前記視線位置が、起動されている前記アプリケーションに対応する前記第2位置に対応するかを判定し、
     前記処理部は、前記視線位置が前記第2位置に対応すると判定された場合に、判定された前記第2位置に対応するアプリケーションを終了させる、請求項1に記載の情報処理装置。
  5.  前記第2位置は、アプリケーションごとに設定され、
     前記判定部は、設定されている第2位置ごとに、前記視線位置が前記第2位置に対応するかを判定する、請求項4に記載の情報処理装置。
  6.  前記アプリケーションに関する位置には、オブジェクトを表示させるための第3位置と、表示されているオブジェクトに対応付けられたアプリケーションを起動させるための第4位置とが含まれ、
     前記判定部は、
     アプリケーションに対応付けられたオブジェクトが表示されているかをさらに判定し、
     前記オブジェクトが表示されていると判定されない場合には、前記視線位置が、前記第3位置に対応するかを判定し、
     前記処理部は、前記視線位置が前記第3位置に対応すると判定された場合に、前記第3位置に対応する前記オブジェクトを表示させ、
     前記判定部は、前記オブジェクトが表示されていると判定された場合には、前記視線位置が前記第4位置に対応するかを判定し、
     前記処理部は、前記視線位置が前記第4位置に対応すると判定された場合に、表示されている前記オブジェクトに対応付けられたアプリケーションを起動させる、請求項1に記載の情報処理装置。
  7.  前記処理部は、前記視線位置が、表示させた前記オブジェクトの表示位置に対応する場合には、表示されている前記オブジェクトに替えて、他のアプリケーションに対応付けられている他のオブジェクトを表示させる、請求項6に記載の情報処理装置。
  8.  前記処理部は、前記判定部において前記視線位置が前記第4位置に対応するかが判定されたときにおいて、前記視線位置が前記第4位置に対応すると判定されない場合には、設定されている所定の時間ごとに、表示されている前記オブジェクトに替えて、他のアプリケーションに対応付けられている他のオブジェクトを表示させる、請求項6に記載の情報処理装置。
  9.  前記アプリケーションに関する位置には、表示されている前記オブジェクトを移動させるための第5位置が含まれ、
     前記判定部は、前記オブジェクトが表示されていると判定された場合には、前記視線位置が前記第5位置に対応するかを判定し、
     前記処理部は、前記視線位置が前記第5位置に対応すると判定された場合に、表示されている前記オブジェクトを、前記第5位置に対応付けられた移動方法で移動させる、請求項6に記載の情報処理装置。
  10.  前記アプリケーションに関する位置には、表示されている前記オブジェクトを非表示とさせるための第6位置が含まれ、
     前記判定部は、前記オブジェクトが表示されていると判定された場合には、前記視線位置が前記第6位置に対応するかを判定し、
     前記処理部は、前記視線位置が前記第6位置に対応すると判定された場合に、表示されている前記オブジェクトを、非表示とさせる、請求項6に記載の情報処理装置。
  11.  ユーザの視線位置を取得するステップと、
     取得された視線位置が、アプリケーションに関する位置に対応するかを判定するステップと、
     前記視線位置が前記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御するステップと、
     を有する、情報処理装置により実行される情報処理方法。
  12.  ユーザの視線位置を取得するステップ、
     取得された視線位置が、アプリケーションに関する位置に対応するかを判定するステップ、
     前記視線位置が前記アプリケーションに関する位置に対応すると判定された場合に、アプリケーションの状態を制御するステップ、
     をコンピュータに実行させるためのプログラム。
PCT/JP2014/070439 2013-11-01 2014-08-04 情報処理装置、情報処理方法、およびプログラム WO2015064165A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/024,135 US9891707B2 (en) 2013-11-01 2014-08-04 Information processing device, information processing method, and program for controlling a state of an application by gaze position
CN201480058395.9A CN105765513B (zh) 2013-11-01 2014-08-04 信息处理装置、信息处理方法和程序
JP2015544837A JP6398987B2 (ja) 2013-11-01 2014-08-04 情報処理装置、情報処理方法、およびプログラム
EP14857078.1A EP3065040A4 (en) 2013-11-01 2014-08-04 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013227938 2013-11-01
JP2013-227938 2013-11-01

Publications (1)

Publication Number Publication Date
WO2015064165A1 true WO2015064165A1 (ja) 2015-05-07

Family

ID=53003784

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/070439 WO2015064165A1 (ja) 2013-11-01 2014-08-04 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US9891707B2 (ja)
EP (1) EP3065040A4 (ja)
JP (1) JP6398987B2 (ja)
CN (1) CN105765513B (ja)
WO (1) WO2015064165A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136837A1 (ja) * 2015-02-25 2016-09-01 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
WO2017115618A1 (en) * 2015-12-28 2017-07-06 Sony Corporation Information processing apparatus, information processing method, and program
JP2017228291A (ja) * 2016-06-16 2017-12-28 ハンド ヘルド プロダクツ インコーポレーティッド 視線検出により制御される標示スキャンシステム及び方法
JP6330072B1 (ja) * 2017-03-08 2018-05-23 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US10365784B2 (en) 2017-03-08 2019-07-30 Colopl, Inc. Information processing method and apparatus for executing the information processing method
JP2020149336A (ja) * 2019-03-13 2020-09-17 株式会社リコー 情報処理装置、表示制御方法、及びプログラム
JPWO2021166238A1 (ja) * 2020-02-21 2021-08-26
US11341680B2 (en) 2018-03-30 2022-05-24 Preferred Networks, Inc. Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10466780B1 (en) 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
US10401953B2 (en) 2015-10-26 2019-09-03 Pillantas Inc. Systems and methods for eye vergence control in real and augmented reality environments
CN108369477B (zh) * 2015-12-22 2021-10-29 索尼公司 信息处理装置、信息处理方法和程序
US10332074B1 (en) * 2016-01-06 2019-06-25 United Services Automobile Association (Usaa) Collaboration system for customer service representatives
CN108008809A (zh) * 2016-10-31 2018-05-08 芜湖美的厨卫电器制造有限公司 家居镜及其显示控制方法和装置
CN107608514A (zh) * 2017-09-20 2018-01-19 维沃移动通信有限公司 信息处理方法及移动终端
CN109271027B (zh) * 2018-09-17 2022-10-14 北京旷视科技有限公司 页面控制方法、装置及电子设备
CN111064852B (zh) * 2018-10-17 2024-04-05 富士胶片商业创新有限公司 图像处理装置
US11009698B2 (en) * 2019-03-13 2021-05-18 Nick Cherukuri Gaze-based user interface for augmented and mixed reality device
US11695758B2 (en) * 2020-02-24 2023-07-04 International Business Machines Corporation Second factor authentication of electronic devices
JP7387493B2 (ja) * 2020-03-06 2023-11-28 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7455651B2 (ja) * 2020-04-27 2024-03-26 キヤノン株式会社 電子機器及びその制御方法
CN114003123A (zh) * 2020-07-28 2022-02-01 华为技术有限公司 控件移动方法和电子设备
JP2023006771A (ja) * 2021-06-30 2023-01-18 キヤノン株式会社 制御装置およびその制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
JP2000330681A (ja) * 1999-05-14 2000-11-30 Sony Corp 情報処理装置、情報処理方法及び提供媒体
JP2005100366A (ja) * 2003-08-18 2005-04-14 Yamaguchi Univ 眼球運動を用いた視線入力コミュニケーション方法
JP2009251658A (ja) 2008-04-01 2009-10-29 Fujifilm Corp 携帯型電子装置及びその制御方法
WO2013006518A2 (en) * 2011-07-01 2013-01-10 James Chia-Ming Liu Multi-visor: managing applications in head mounted displays

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US7428569B1 (en) * 1999-05-14 2008-09-23 Sony Corporation Information processing apparatus, information processing method, and provision medium
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
JP5169403B2 (ja) * 2008-04-07 2013-03-27 ソニー株式会社 画像信号生成装置、画像信号生成方法、プログラム及び記憶媒体
CN102339124A (zh) * 2010-07-22 2012-02-01 宏碁股份有限公司 控制光标的方法
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
JP2014077814A (ja) * 2011-02-14 2014-05-01 Panasonic Corp 表示制御装置および表示制御方法
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
JP5821464B2 (ja) * 2011-09-22 2015-11-24 セイコーエプソン株式会社 頭部装着型表示装置
JP6043586B2 (ja) * 2012-10-29 2016-12-14 京セラ株式会社 電子機器、視線入力プログラムおよび視線入力方法
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
JP2000330681A (ja) * 1999-05-14 2000-11-30 Sony Corp 情報処理装置、情報処理方法及び提供媒体
JP2005100366A (ja) * 2003-08-18 2005-04-14 Yamaguchi Univ 眼球運動を用いた視線入力コミュニケーション方法
JP2009251658A (ja) 2008-04-01 2009-10-29 Fujifilm Corp 携帯型電子装置及びその制御方法
WO2013006518A2 (en) * 2011-07-01 2013-01-10 James Chia-Ming Liu Multi-visor: managing applications in head mounted displays

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3065040A4 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540009B2 (en) 2015-02-25 2020-01-21 Kyocera Corporation Wearable device, control method, and control program
JPWO2016136837A1 (ja) * 2015-02-25 2017-08-24 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
WO2016136837A1 (ja) * 2015-02-25 2016-09-01 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
WO2017115618A1 (en) * 2015-12-28 2017-07-06 Sony Corporation Information processing apparatus, information processing method, and program
JP2017120550A (ja) * 2015-12-28 2017-07-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10809530B2 (en) 2015-12-28 2020-10-20 Sony Corporation Information processing apparatus and information processing method
CN108431667A (zh) * 2015-12-28 2018-08-21 索尼公司 信息处理装置、信息处理方法和程序
JP2017228291A (ja) * 2016-06-16 2017-12-28 ハンド ヘルド プロダクツ インコーポレーティッド 視線検出により制御される標示スキャンシステム及び方法
US10599286B2 (en) 2017-03-08 2020-03-24 Colopl, Inc. Information processing method and apparatus for executing the information processing method
US10365784B2 (en) 2017-03-08 2019-07-30 Colopl, Inc. Information processing method and apparatus for executing the information processing method
JP2018147378A (ja) * 2017-03-08 2018-09-20 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6330072B1 (ja) * 2017-03-08 2018-05-23 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US10936149B2 (en) 2017-03-08 2021-03-02 Colopl, Inc. Information processing method and apparatus for executing the information processing method
US11341680B2 (en) 2018-03-30 2022-05-24 Preferred Networks, Inc. Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method
US11748904B2 (en) 2018-03-30 2023-09-05 Preferred Networks, Inc. Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method
JP2020149336A (ja) * 2019-03-13 2020-09-17 株式会社リコー 情報処理装置、表示制御方法、及びプログラム
JP7215254B2 (ja) 2019-03-13 2023-01-31 株式会社リコー 情報処理装置、表示制御方法、及びプログラム
JPWO2021166238A1 (ja) * 2020-02-21 2021-08-26
WO2021166238A1 (ja) * 2020-02-21 2021-08-26 マクセル株式会社 情報表示装置
JP7333460B2 (ja) 2020-02-21 2023-08-24 マクセル株式会社 情報表示装置

Also Published As

Publication number Publication date
EP3065040A4 (en) 2017-06-21
EP3065040A1 (en) 2016-09-07
CN105765513A (zh) 2016-07-13
JPWO2015064165A1 (ja) 2017-03-09
US9891707B2 (en) 2018-02-13
US20160239081A1 (en) 2016-08-18
JP6398987B2 (ja) 2018-10-03
CN105765513B (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
JP6398987B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11706521B2 (en) User interfaces for capturing and managing visual media
US10410422B2 (en) System and method for augmented reality control
US11770601B2 (en) User interfaces for capturing and managing visual media
US11163417B2 (en) Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments
US10416789B2 (en) Automatic selection of a wireless connectivity protocol for an input device
US20190369754A1 (en) Devices, methods, and graphical user interfaces for an electronic device interacting with a stylus
JP6127839B2 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3333675A1 (en) Wearable device user interface control
CN104932809B (zh) 用于控制显示面板的装置和方法
WO2014054211A1 (en) Information processing device, display control method, and program for modifying scrolling of automatically scrolled content
US11546457B2 (en) Electronic device and method of operating electronic device in virtual reality
CN111052063B (zh) 电子装置及其控制方法
US10388121B2 (en) Method for providing notifications
US10474324B2 (en) Uninterruptable overlay on a display
US20230017694A1 (en) Method and apparatus for controlling interface display, device, and storage medium
CN113546419B (zh) 游戏地图显示方法、装置、终端及存储介质
KR20160078160A (ko) 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
EP3109734A1 (en) Three-dimensional user interface for head-mountable display
KR102005406B1 (ko) 디스플레이 장치 및 그 제어 방법
EP3521987A1 (en) Method and device for displaying page, graphical user interface, and mobile terminal
KR20150118036A (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
US20240103681A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240152245A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14857078

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015544837

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15024135

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014857078

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014857078

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE