JP6127839B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6127839B2
JP6127839B2 JP2013181228A JP2013181228A JP6127839B2 JP 6127839 B2 JP6127839 B2 JP 6127839B2 JP 2013181228 A JP2013181228 A JP 2013181228A JP 2013181228 A JP2013181228 A JP 2013181228A JP 6127839 B2 JP6127839 B2 JP 6127839B2
Authority
JP
Japan
Prior art keywords
user
information
eyes
line
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013181228A
Other languages
English (en)
Other versions
JP2015049721A5 (ja
JP2015049721A (ja
Inventor
麻紀 井元
麻紀 井元
野田 卓郎
卓郎 野田
安田 亮平
亮平 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013181228A priority Critical patent/JP6127839B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US14/915,637 priority patent/US9939894B2/en
Priority to PCT/JP2014/003921 priority patent/WO2015029328A1/en
Priority to CN201480046755.3A priority patent/CN105474136B/zh
Priority to EP14755721.9A priority patent/EP3042265B1/en
Publication of JP2015049721A publication Critical patent/JP2015049721A/ja
Publication of JP2015049721A5 publication Critical patent/JP2015049721A5/ja
Application granted granted Critical
Publication of JP6127839B2 publication Critical patent/JP6127839B2/ja
Priority to US15/914,572 priority patent/US10180718B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、アイトラッキング技術などの視線検出技術を利用し、ユーザが視線により操作を行うことが可能なユーザインタフェースが登場している。ユーザが視線により操作を行うことが可能なユーザインタフェースに関する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開2009−64395号公報
例えば、ユーザが視線により操作を行うときにおいて、カーソルなどのオブジェクトを視線により動かす場合、ユーザが当該オブジェクトを表示画面上の所望の位置に配置しようとしても、目の動きにつられて当該オブジェクトが動いてしまうことが起こりうる。上記のように、目の動きにつられて当該オブジェクトが動いてしまう場合には、所望の位置に上記オブジェクトを配置することが困難であることから、ユーザの利便性を低下させる恐れがある。
本開示では、ユーザが視線の動きにより表示画面に表示されるオブジェクトを操作する場合における、ユーザの利便性の向上を図ることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、表示画面におけるユーザの視線の位置に関する情報を含むユーザの目に関する情報に基づいて、オブジェクトの選択に関する所定の条件を満たすかを判定する判定部と、上記選択に関する所定の条件を満たすと判定された場合に、上記表示画面において上記ユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とする表示制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、表示画面におけるユーザの視線の位置に関する情報を含むユーザの目に関する情報に基づいて、オブジェクトの選択に関する所定の条件を満たすかを判定するステップと、上記選択に関する所定の条件を満たすと判定された場合に、上記表示画面において上記ユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とするステップと、を有する、情報処理装置により実行される情報処理方法が提供される。
また、本開示によれば、表示画面におけるユーザの視線の位置に関する情報を含むユーザの目に関する情報に基づいて、オブジェクトの選択に関する所定の条件を満たすかを判定するステップ、上記選択に関する所定の条件を満たすと判定された場合に、上記表示画面において上記ユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とするステップ、をコンピュータに実行させるためのプログラムが提供される。
本開示によれば、ユーザが視線の動きにより表示画面に表示されるオブジェクトを操作する場合における、ユーザの利便性の向上を図ることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の適用例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
[1]本実施形態に係る情報処理方法に係る処理の概要
上述したように、ユーザが視線により操作を行うときにおいて、カーソルなどのオブジェクトを視線により動かす場合、ユーザが当該オブジェクトを表示画面上の所望の位置に配置しようとしても、目の動きにつられて当該オブジェクトが動いてしまうことが起こりうる。また、上記のように、目の動きにつられて当該オブジェクトが動いてしまう場合には、所望の位置に上記オブジェクトを配置することが困難であることから、ユーザの利便性を低下させる恐れがある。
そこで、本実施形態に係る情報処理装置は、ユーザの視線の動き(表示画面におけるユーザの視線の位置の変化に基づく動き)に基づいて、表示画面においてユーザの視線の位置に表示されているオブジェクトを、選択された状態とする。
本実施形態に係るオブジェクトとしては、例えば、アイコンや、カーソル、サムネイル画像(動画像または静止画像)、メッセージボックス、ユーザに対するノーティフィケーションを行うための文字列や画像(以下、「ノーティフィケーションオブジェクト」と示す。)など、表示画面に表示される様々なオブジェクトが挙げられる。
また、本実施形態に係るオブジェクトには、例えば、ユーザの視線による操作の対象とはならないオブジェクトと、ユーザの視線による操作の対象となるオブジェクトとが含まれる。
本実施形態に係るユーザの視線による操作の対象となるオブジェクトとしては、例えば、例えば下記の(a)、(b)に示すオブジェクトが挙げられる。
(a)ユーザの視線の動きに基づき直接的に操作されるオブジェクト
(b)上記直接的に操作されるオブジェクトによって間接的に操作されるオブジェクト
ここで、本実施形態に係る直接的に操作されるオブジェクトとは、例えば、ユーザの目に関する情報(後述する)が示すユーザの視線の位置に応じて、表示画面に表示される位置が移動するオブジェクト(以下、「移動オブジェクト」と示す。)である。本実施形態に係る移動オブジェクトとしては、例えば、アイコンや、カーソル、メッセージボックス、ノーティフィケーションオブジェクトなど、ユーザの視線の位置に応じて表示される位置を変える対象となりうる様々なオブジェクトが挙げられる。
また、本実施形態に係る間接的に操作されるオブジェクトとは、例えば、上記直接的に操作されるオブジェクトによって選択された状態とされるオブジェクトである。本実施形態に係る間接的に操作されるオブジェクトとしては、例えば、ユーザの目に関する情報(後述する)が示すユーザの視線の位置に応じて、表示画面に表示される位置が移動しないオブジェクト(以下、「静的なオブジェクト」と示す。)が挙げられる。具体例を挙げると、本実施形態に係る間接的に操作されるオブジェクトとしては、例えば、表示画面の所定の位置に表示されている、サムネイル画像や、メッセージボックス、ノーティフィケーションオブジェクトなど、上記直接的に操作されるオブジェクトによって選択された状態とされる対象となりうる様々なオブジェクトが挙げられる。
本実施形態に係る情報処理装置により選択された状態とされるという視点から示すと、本実施形態に係る直接的に操作されるオブジェクトと、本実施形態に係る間接的に操作されるオブジェクトとは、ユーザの視線の動きに基づき選択された状態とされうる対象のオブジェクト(以下、「選択候補オブジェクト」と示す。)となりうる。
ここで、本実施形態に係る選択された状態とは、例えば、ユーザの視線の動きに応じて動かない状態など、ユーザの視線の動きに依存しない状態をいう。つまり、本実施形態に係る情報処理装置により選択された状態とされたオブジェクトは、仮に、選択された状態とされた後に、ユーザの視線が動いたとしても、当該ユーザの視線の動きに影響されない。
よって、本実施形態に係る情報処理装置が、本実施形態に係る情報処理方法に係る処理として、表示画面に表示されているオブジェクトを、ユーザの視線の動きに基づいて選択された状態とすることによって、例えば、“所望の位置に配置しようとしたオブジェクトが、目の動きにつられて動いてしまう”ことなど、ユーザの利便性の低下の原因となる事態の発生を防止することが可能となる。
したがって、本実施形態に係る情報処理装置は、表示画面に表示されているオブジェクトを、ユーザの視線の動きに基づいて選択された状態とすることによって、ユーザが視線の動きにより表示画面に表示されるオブジェクトを操作する場合における、ユーザの利便性の向上を図ることができる。
[2]本実施形態に係る情報処理方法に係る処理
より具体的には、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、下記に示す(1)判定処理、および(2)表示制御処理を行うことによって、ユーザの利便性の向上を図る。
(1)判定処理
本実施形態に係る情報処理装置は、ユーザの目に関する情報に基づいて、オブジェクトの選択に関する所定の条件を満たすかを判定する。
ここで、本実施形態に係るユーザの目に関する情報とは、表示画面におけるユーザの視線の位置に関する情報を含むデータ(または、データ群)である。
また、本実施形態に係る表示画面とは、例えば、ユーザが視線を向けて、目の動きにより様々な操作を行う対象の表示画面である。本実施形態に係る表示画面としては、例えば、本実施形態に係る情報処理装置が備える表示部(図示せず)の表示画面や、本実施形態に係る情報処理装置と無線または有線で接続されている外部の表示装置(または、外部の表示デバイス)の表示画面などが挙げられる。
また、本実施形態に係るユーザの視線の位置に関する情報とは、例えば、ユーザの視線の位置を示すデータ、または、ユーザの視線の位置の特定に用いることが可能なデータ(または、ユーザの視線の位置の推定に用いることが可能なデータ。以下、同様とする。)である。
本実施形態に係るユーザの視線の位置を示すデータとしては、例えば、表示画面におけるユーザの視線の位置を示す座標データが挙げられる。表示画面におけるユーザの視線の位置は、例えば、表示画面における基準位置を原点とする座標系における座標で表される。
また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータとしては、例えば、表示画面において画像(動画像または静止画像)が表示される方向が撮像された撮像画像データが挙げられる。また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータには、さらに、表示画面において画像が表示される方向の赤外線を検出する赤外線センサの検出データなど、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る、任意のセンサの検出データが含まれていてもよい。
本実施形態に係るユーザの視線の位置に関する情報として、表示画面におけるユーザの視線の位置を示す座標データが用いられる場合、本実施形態に係る情報処理装置は、例えば、視線検出技術を用いてユーザの視線の位置を特定(または推定)した外部装置から取得された、表示画面におけるユーザの視線の位置を示す座標データを用いて、表示画面におけるユーザの視線の位置を特定する。
ここで、例えば、視線検出技術を用いて検出された視線と、表示画面において画像が表示される方向が撮像された撮像画像から検出される表示画面に対するユーザの位置や顔の向きなどとを用いることによって、表示画面におけるユーザの視線の位置を特定することが可能である。なお、本実施形態に係る表示画面におけるユーザの視線の位置の特定方法は、上記に限られない。例えば、本実施形態に係る情報処理装置や、外部装置は、表示画面におけるユーザの視線の位置を特定することが可能な任意の技術を用いることが可能である。
また、本実施形態に係る視線検出技術としては、例えば、目の基準点(例えば、目頭や角膜反射などの目における動かない部分に対応する点)に対する、目の動点(例えば、虹彩や瞳孔などの目における動く部分に対応する点)の位置に基づいて、視線を検出する方法が挙げられる。なお、本実施形態に係る視線検出技術は、上記に限られず、例えば、視線を検出することが可能な任意の視線検出技術であってもよい。
本実施形態に係るユーザの視線の位置に関する情報として、ユーザの視線の位置の特定に用いることが可能なデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、自装置(本実施形態に係る情報処理装置。以下、同様とする。)が備える撮像部(後述する)や外部の撮像デバイスから取得された撮像画像データ(ユーザの視線の位置の特定に用いることが可能なデータの一例)を用いる。また、上記の場合、本実施形態に係る情報処理装置は、例えば、自装置が備えるユーザの視線の位置の推定精度の向上に用いることが可能なセンサや、外部のセンサから取得された検出データ(ユーザの視線の位置の特定に用いることが可能なデータの一例)を用いてもよい。本実施形態に係る情報処理装置は、例えば上記のように取得されたユーザの視線の位置の特定に用いることが可能なデータを用いて、本実施形態に係る表示画面におけるユーザの視線の位置の特定方法に係る処理を行い、表示画面におけるユーザの視線の位置を特定する。
なお、本実施形態に係るユーザの目に関する情報に含まれるデータは、表示画面におけるユーザの視線の位置に関する情報に限られない。
例えば、本実施形態に係るユーザの目に関する情報には、ユーザの目の動作に関する情報が含まれていてもよい。
本実施形態に係るユーザの目の動作に関する情報とは、例えば、ユーザの目の動作を示すデータ、または、ユーザの目の動作の特定に用いることが可能なデータ(または、ユーザの目の動作の推定に用いることが可能なデータ。以下、同様とする。)である。
本実施形態に係るユーザの目の動作を示すデータとしては、例えば、1回のまばたき動作や、複数回の連続したまばたき動作、ウィンク動作など、所定の目の動作を示すデータ(例えば、所定の動作に対応する番号などを示すデータ)が挙げられる。また、本実施形態に係るユーザの目の動作の特定に用いることが可能なデータとしては、例えば、表示画面において画像(動画像または静止画像)が表示される方向が撮像された撮像画像データが挙げられる。本実施形態に係るユーザの目に関する情報が、上記撮像画像データである場合、本実施形態に係るユーザの目に関する情報は、本実施形態に係るユーザの視線の位置に関する情報の役目を果たすことが可能である。
本実施形態に係るユーザの目の動作に関する情報として、ユーザの目の動作を示すデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、ユーザの目の動作を特定(または推定)した外部装置から取得された、ユーザの目の動作を示すデータを用いて、所定の目の動作が行われたことを判定する。
ここで、例えば、表示画面において画像が表示される方向が撮像された動画像(または、複数の静止画像)から検出される目の形状の変化が、所定の目の動作に対応する目の形状の変化に該当する場合に、所定の目の動作が行われたと判定することが可能である。なお、本実施形態に係る所定の目の動作の判定方法は、上記に限られない。例えば、本実施形態に係る情報処理装置や、外部装置は、所定の目の動作が行われたことを判定することが可能な任意の技術を用いることが可能である。
本実施形態に係るユーザの視線の位置に関する情報として、ユーザの目の動作の特定に用いることが可能なデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、自装置が備える撮像部(後述する)や外部の撮像デバイスから取得された撮像画像データ(ユーザの目の動作の特定に用いることが可能なデータの一例)を用いる。本実施形態に係る情報処理装置は、例えば上記のように取得されたユーザの目の動作の特定に用いることが可能なデータを用いて、本実施形態に係る所定の目の動作の判定方法に係る処理を行い、所定の目の動作が行われたことを判定する。
以下、本実施形態に係る判定処理について、より具体的に説明する。
(1−1)判定処理の第1の例:オブジェクトの選択に関する所定の条件が、時間に関する条件である場合
選択に関する所定の条件が、時間に関する条件である場合には、本実施形態に係る情報処理装置は、ユーザの目に関する情報に基づき得られる時間に基づいて、オブジェクトの選択に関する所定の条件を満たすか否かを判定する。
より具体的には、本実施形態に係る情報処理装置は、例えば、ユーザの目に関する情報が示す視線の位置が、選択候補オブジェクトが表示される表示画面の領域(以下、「第1領域」と示す。)内である時間が、設定されている第1設定時間よりも長い場合に、選択に関する所定の条件を満たすと判定する。また、本実施形態に係る情報処理装置は、例えば、ユーザの目に関する情報が示す視線の位置が第1領域内である時間が、第1設定時間以上である場合に、選択に関する所定の条件を満たすと判定してもよい。
ここで、本実施形態に係る選択候補オブジェクトが、本実施形態に係る静的なオブジェクト(ユーザの視線の位置に応じて表示画面に表示される位置が移動しないオブジェクト)である場合、本実施形態に係る情報処理装置は、例えば、静的なオブジェクトに対応する第1領域を用いて、選択に関する所定の条件を満たすか否かを判定する。
また、本実施形態に係る選択候補オブジェクトが、本実施形態に係る移動オブジェクト(ユーザの視線の位置に応じて表示画面に表示される位置が移動するオブジェクト)である場合、本実施形態に係る情報処理装置は、例えば、移動オブジェクトの移動状態に応じて第1領域を設定する(または、第1領域を再設定する。以下、同様とする。)。そして、本実施形態に係る情報処理装置は、例えば、移動オブジェクトに対して設定された第1領域を用いて、選択に関する所定の条件を満たすか否かを判定する。
本実施形態に係る情報処理装置は、例えば、設定されている所定の時間(ただし、当該所定の時間<第1設定時間)における移動オブジェクトの移動距離が、設定されている閾値以下の場合(または、当該閾値未満の場合)に、第1領域を設定する。なお、本実施形態に係る選択候補オブジェクトが移動オブジェクトである場合における、第1領域の設定方法が、上記に限られないことは、言うまでもない。
また、本実施形態に係る第1設定時間としては、例えば、本実施形態に係る情報処理装置の製造者やユーザ操作などに基づいて予め設定されている時間が挙げられる。本実施形態に係る第1設定時間が、予め設定されている時間である場合、本実施形態に係る情報処理装置は、ユーザの目に関する情報が示す視線の位置が第1領域内である時間と、予め設定されている第1設定時間とに基づいて、選択に関する所定の条件を満たすかを判定する。
なお、本実施形態に係る第1設定時間は、予め設定されている時間に限られない。
例えば、本実施形態に係る情報処理装置は、ユーザの目に関する情報が示す視線の位置の変化に基づくユーザの目の動きの大きさに基づいて第1設定時間を動的に設定し、動的に設定された第1設定時間に基づいて、選択に関する所定の条件を満たすかを判定することも可能である。
例えば、ユーザが、ある選択候補オブジェクトについて選択された状態とすることを所望する場合、ユーザが当該選択候補オブジェクトを注視することなどによって、ユーザの目の動きがより小さくなることが往々にしてある。そこで、本実施形態に係る情報処理装置は、例えば、設定されている所定時間において変化したユーザの目に関する情報が示す視線の位置を含む領域を、ユーザの目の動きの大きさと捉え、ユーザの目の動きの大きさに対応する第1設定時間を設定する。
具体的には、本実施形態に係る情報処理装置は、例えば、設定されている所定時間において変化したユーザの目に関する情報が示す視線の位置を含む領域を特定し、特定された領域の面積を算出する。そして、本実施形態に係る情報処理装置は、例えば、領域の面積と第1設定時間とが対応付られているテーブル(または、データベース)と、特定された領域の面積とに基づいて、特定された領域の面積に対応する第1設定時間、すなわち、ユーザの目の動きの大きさに対応する第1設定時間を設定する。
なお、本実施形態に係るユーザの目に関する情報に基づく第1設定時間の動的な設定方法は、上記に限られない。例えば、本実施形態に係る情報処理装置は、ユーザの目に関する情報が示す視線の位置の変化を示すベクトルの絶対値を算出し、設定されている所定時間における当該絶対値の最大値に対応する第1設定時間を設定してもよい。また、本実施形態に係る情報処理装置は、ユーザの目に関する情報に基づいて第1設定時間を動的に設定することが可能な、任意の方法を用いることが可能である。
(1−2)判定処理の第2の例:オブジェクトの選択に関する所定の条件が、ユーザの目の形状に関する条件である場合
上述したように、本実施形態に係るユーザの目に関する情報には、ユーザの目の動作に関する情報が含まれうる。また、上述したように、本実施形態に係る情報処理装置は、ユーザの目の動作に関する情報(例えば、ユーザの目の動作を示すデータや、ユーザの目の動作の特定に用いることが可能なデータ)を用いることによって、所定の目の動作が行われたことを判定することが可能である。
選択に関する所定の条件が、ユーザの目の形状に関する条件である場合には、本実施形態に係る情報処理装置は、ユーザの目に関する情報に含まれるユーザの目の動作に関する情報に基づき判定される目の動作に基づいて、オブジェクトの選択に関する所定の条件を満たすか否かを判定する。
具体的には、本実施形態に係る情報処理装置は、例えば、ユーザの目の動作に関する情報に基づいて、所定の目の動作が検出された場合に、選択に関する所定の条件を満たすと判定する。判定処理の第2の例に係る所定の目の動作としては、例えば、1回のまばたき動作や、複数回の連続したまばたき動作、ウィンク動作など、様々な目の動作が挙げられる。
本実施形態に係る情報処理装置は、例えば、上記(1−1)に示す第1の例に係る判定処理や、上記(1−2)に示す第2の例に係る判定処理を行うことによって、オブジェクトの選択に関する所定の条件を満たすかを判定する。
なお、本実施形態に係る判定処理は、オブジェクトの選択に関する所定の条件を満たすかを判定する処理に限られない。
例えば、オブジェクトが選択された状態とされているときにおいて、ユーザが、当該オブジェクトの選択された状態の解除を所望する場合がありうる。そこで、本実施形態に係る情報処理装置は、本実施形態に係る判定処理として、さらに、オブジェクトが選択された状態とされている場合において、ユーザの目に関する情報に基づいて、オブジェクトの選択の解除に関する所定の条件を満たすかを判定してもよい。
より具体的には、本実施形態に係る情報処理装置は、例えば、下記に示す第3の例に係る判定処理や、第4の例に係る判定処理を行う。
(1−3)判定処理の第3の例:オブジェクトの選択の解除に関する所定の条件が、時間に関する条件である場合
選択の解除に関する所定の条件が、時間に関する条件である場合には、本実施形態に係る情報処理装置は、ユーザの目に関する情報に基づき得られる時間に基づいて、オブジェクトの選択の解除に関する所定の条件を満たすか否かを判定する。
より具体的には、本実施形態に係る情報処理装置は、例えば、ユーザの目に関する情報が示す視線の位置が、表示画面の第2領域内である時間が、設定されている第2設定時間よりも長い場合に、選択の解除に関する所定の条件を満たすと判定する。また、本実施形態に係る情報処理装置は、例えば、ユーザの目に関する情報が示す視線の位置が第2領域内である時間が、第2設定時間以上である場合に、選択の解除に関する所定の条件を満たすと判定してもよい。
ここで、本実施形態に係る第2領域とは、例えば、本実施形態に係る選択候補オブジェクトであって、かつ選択された状態であるオブジェクトとは異なるオブジェクトが表示される、表示画面の領域である。
また、本実施形態に係る第2設定時間としては、例えば、本実施形態に係る情報処理装置の製造者やユーザ操作などに基づいて予め設定されている時間が挙げられる。本実施形態に係る第2設定時間が、予め設定されている時間である場合、本実施形態に係る情報処理装置は、ユーザの目に関する情報が示す視線の位置が第2領域内である時間と、予め設定されている第2設定時間とに基づいて、選択の解除に関する所定の条件を満たすかを判定する。
なお、本実施形態に係る第2設定時間は、予め設定されている時間に限られない。
例えば、本実施形態に係る情報処理装置は、上記第1の例に係る判定処理における第1設定時間の動的な設定と同様に、ユーザの目に関する情報が示す視線の位置の変化に基づくユーザの目の動きの大きさに基づいて第2設定時間を動的に設定し、動的に設定された第2設定時間に基づいて、選択の解除に関する所定の条件を満たすかを判定することも可能である。
例えば、あるオブジェクトが選択された状態とされているときに、ユーザが、他の選択候補オブジェクトを注視している場合には、ユーザが、選択された状態とされているオブジェクトの選択を解除して、当該他の選択候補オブジェクトについて選択された状態とすることを所望していることがある。また、上述したように、選択候補オブジェクトが注視される場合には、ユーザの目の動きはより小さくなることが往々にしてある。
そこで、ユーザの目に関する情報が示す視線の位置が第2領域内にある場合において、本実施形態に係る情報処理装置は、例えば上記第1の例に係る判定処理と同様に、設定されている所定時間において変化したユーザの目に関する情報が示す視線の位置を含む領域を、ユーザの目の動きの大きさと捉える。そして、本実施形態に係る情報処理装置は、ユーザの目の動きの大きさに対応する第2設定時間を設定する。
具体的には、本実施形態に係る情報処理装置は、例えば、ユーザの目に関する情報が示す視線の位置が第2領域内にある場合において、設定されている所定時間において変化したユーザの目に関する情報が示す視線の位置を含む領域を特定し、特定された領域の面積を算出する。そして、本実施形態に係る情報処理装置は、例えば、領域の面積と第2設定時間とが対応付られているテーブル(または、データベース)と、特定された領域の面積とに基づいて、特定された領域の面積に対応する第2設定時間、すなわち、ユーザの目の動きの大きさに対応する第2設定時間を設定する。
なお、本実施形態に係るユーザの目に関する情報に基づく第2設定時間の動的な設定方法は、上記に限られない。例えば、本実施形態に係る情報処理装置は、ユーザの目に関する情報が示す視線の位置の変化を示すベクトルの絶対値を算出し、設定されている所定時間における当該絶対値の最大値に対応する第2設定時間を設定してもよい。また、本実施形態に係る情報処理装置は、ユーザの目に関する情報に基づいて第2設定時間を動的に設定することが可能な、任意の方法を用いることが可能である。
(1−4)判定処理の第4の例:オブジェクトの選択の解除に関する所定の条件が、ユーザの目の形状に関する条件である場合
上述したように、本実施形態に係るユーザの目に関する情報には、ユーザの目の動作に関する情報が含まれうる。また、上述したように、本実施形態に係る情報処理装置は、ユーザの目の動作に関する情報(例えば、ユーザの目の動作を示すデータや、ユーザの目の動作の特定に用いることが可能なデータ)を用いることによって、所定の目の動作が行われたことを判定することが可能である。
選択の解除に関する所定の条件が、ユーザの目の形状に関する条件である場合には、本実施形態に係る情報処理装置は、ユーザの目に関する情報に含まれるユーザの目の動作に関する情報に基づき判定される目の動作に基づいて、オブジェクトの選択の解除に関する所定の条件を満たすか否かを判定する。
具体的には、本実施形態に係る情報処理装置は、例えば、ユーザの目の動作に関する情報に基づいて、所定の目の動作が検出された場合に、選択の解除に関する所定の条件を満たすと判定する。判定処理の第4の例に係る所定の目の動作としては、例えば、1回のまばたき動作や、複数回の連続したまばたき動作、ウィンク動作など、様々な目の動作が挙げられる。
本実施形態に係る情報処理装置は、オブジェクトが選択された状態とされている場合には、例えば、上記(1−3)に示す第3の例に係る判定処理や、上記(1−4)に示す第4の例に係る判定処理を行うことによって、オブジェクトの選択の解除に関する所定の条件を満たすかを判定する。
本実施形態に係る情報処理装置は、本実施形態に係る判定処理として、例えば、“オブジェクトの選択に関する所定の条件を満たすかを判定する処理(例えば、上記第1の例に係る判定処理や、上記第2の例に係る判定処理)”、または、“オブジェクトの選択に関する所定の条件を満たすかを判定する処理、およびオブジェクトの選択の解除に関する所定の条件を満たすかを判定する処理(例えば、上記第3の例に係る判定処理や、上記第4の例に係る判定処理)”を行う。
(2)表示制御処理
本実施形態に係る情報処理装置は、例えば、上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定された場合に、表示画面においてユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とする。
(2−1)表示制御処理の第1の例:移動オブジェクトによって、選択候補オブジェクトである静的なオブジェクトを選択された状態とする場合
まず、本実施形態に係る表示制御処理の第1の例として、移動オブジェクトによって、選択候補オブジェクトである静的なオブジェクトを選択された状態とする場合における表示制御処理の一例について説明する。
オブジェクトが選択された状態ではない場合、すなわち、上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定されていない場合には、本実施形態に係る情報処理装置は、例えば、ユーザの目に関する情報に基づいて、移動オブジェクトを、表示画面におけるユーザの目に関する情報が示すユーザの視線の位置に対応する位置に表示させる。
本実施形態に係る情報処理装置は、例えば、ユーザの目に関する情報が示すユーザの視線の位置が示す表示画面の座標と、移動オブジェクトにおける基準位置の座標とが合致するように、移動オブジェクトを表示させる。移動オブジェクトにおける基準位置としては、例えば、移動オブジェクトの中心点など、予め設定されている移動オブジェクト内の任意の位置が挙げられる。
なお、本実施形態に係る移動オブジェクトの表示方法は、上記に限られない。
例えば、本実施形態に係る情報処理装置は、移動オブジェクトを選択的に表示させることも可能である。例えば、本実施形態に係る情報処理装置は、表示画面におけるユーザの目に関する情報が示すユーザの視線の位置が、本実施形態に係る選択候補オブジェクトが表示される表示画面の領域(第1領域)内に存在する場合に、移動オブジェクトを選択的に表示させる。
例えば上記のように、表示画面におけるユーザの目に関する情報が示すユーザの視線の位置が、第1領域内に存在する場合に選択的に移動オブジェクトが表示されることによって、ユーザは、オブジェクトを選択された状態とすることが可能であるか否かを、移動オブジェクトの表示状態によって視覚的に把握することができる。よって、例えば上記のように、表示画面におけるユーザの目に関する情報が示すユーザの視線の位置が、第1領域内に存在する場合に選択的に移動オブジェクトが表示されることによって、本実施形態に係る情報処理装置は、ユーザの利便性をより向上させることができる。
オブジェクトが選択された状態ではない場合、本実施形態に係る情報処理装置は、例えば上記のように、ユーザの目に関する情報に基づいて、移動オブジェクトを、表示画面におけるユーザの目に関する情報が示すユーザの視線の位置に対応する位置に表示させる。
上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定され、オブジェクトが選択された状態である場合、本実施形態に係る情報処理装置は、ユーザの目に関する情報が示すユーザの視線の位置が変化したとしても、移動オブジェクトが表示画面に表示される位置を変えない。つまり、オブジェクトが選択された状態である場合、本実施形態に係る移動オブジェクトが表示画面に表示される位置は、ユーザの目に関する情報が示すユーザの視線の位置によって変わらない。
また、上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定されてオブジェクトを選択された状態とする場合には、本実施形態に係る情報処理装置は、例えば、移動オブジェクトの表示態様を変化させてもよい。本実施形態に係る情報処理装置による移動オブジェクトの表示態様の変化の一例については、後述する。
本実施形態に係る情報処理装置が、上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定されていない場合と、上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定された場合とで、移動オブジェクトの表示態様を変化させることによって、ユーザは、オブジェクトが選択された状態となったことを、視覚的に把握することが可能となる。よって、上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定されてオブジェクトを選択された状態とする場合に、移動オブジェクトの表示態様を変化させることによって、本実施形態に係る情報処理装置は、ユーザの利便性をより向上させることができる。
図1は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る表示制御処理によりオブジェクトが選択された状態の一例を示している。図1は、本実施形態に係る情報処理装置が、オブジェクトを選択された状態としない場合とオブジェクトを選択された状態とする場合とで、移動オブジェクトの表示態様を変化させる場合における表示画面に表示される画像の一例を示している。図1に示すAは、オブジェクトが選択されていない状態の一例を示しており、図1に示すBは、オブジェクトが選択されている状態の一例を示している。
図1では、移動オブジェクトを符号Oで示しており(以下、「移動オブジェクトO」と示す場合がある。)、移動オブジェクトOがカーソルである例を示している。また、図1のA、Bに示す表示画面において、符号Rで示される領域に表示されている各サムネイル画像が、本実施形態に係る選択候補オブジェクトの一例に該当する。
以下、図1に示す、移動オブジェクトOによって、選択候補オブジェクトである静的なオブジェクトが選択された状態とされる場合を例に挙げて、本実施形態に係る表示制御処理の一例を説明する。なお、本実施形態に係る表示制御処理により実現される、オブジェクトの選択された状態が、図1に示す例に限られないことは、言うまでもない。本実施形態に係る表示制御処理により実現される、オブジェクトの選択された状態の他の例としては、例えば、後述する本実施形態に係る情報処理方法に係る処理の適用例が挙げられる。
上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定されていない場合には、本実施形態に係る情報処理装置は、移動オブジェクトOを、ユーザの目に関する情報が示すユーザの視線の位置に対応する位置に表示させる。
また、上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定された場合には、本実施形態に係る情報処理装置は、上述したように、仮に、ユーザの目に関する情報が示すユーザの視線の位置が変化したとしても、移動オブジェクトが表示画面に表示される位置を変えない。
また、例えば、図1のAに示す移動オブジェクトOと、図1のBに示す移動オブジェクトOとに示すように、本実施形態に係る情報処理装置は、上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定されていない場合と、選択に関する所定の条件を満たすと判定された場合とで、移動オブジェクトOの表示態様を変える。
ここで、本実施形態に係る情報処理装置が、移動オブジェクトOに対して行う表示態様に係る処理としては、例えば、下記の(i)、(ii)に示す例が挙げられる。なお、本実施形態に係る移動オブジェクトOに対して行う表示態様に係る処理の例が、下記の(i)、(ii)に示す例に限られないことは、言うまでもない。
(i)上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定されていない場合における表示態様に係る処理の例
・移動オブジェクトOの基準位置を中心として、表示画面におけるx軸、y軸、z軸方向に、移動オブジェクトOを動かす(例えば、ランダム、または、所定のパターンで移動オブジェクトOを動かす)
・移動オブジェクトOを点滅させる
・移動オブジェクトOに影をつけるなどの加工を施す
・上記の組み合わせ
(ii)上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定された場合における表示態様に係る処理の例
・ユーザの目に関する情報が示す視線の位置の変化によらず、移動オブジェクトOを動かさない
・移動オブジェクトOの基準位置を中心として、表示画面におけるx軸、y軸、z軸方向に、移動オブジェクトOを動かさない(選択に関する所定の条件を満たすと判定されていない場合に、移動オブジェクトOが動いている場合)
・移動オブジェクトOを点滅させない(選択に関する所定の条件を満たすと判定されていない場合に、移動オブジェクトOが点滅されている場合)
・移動オブジェクトOに施されている影をつけるなどの加工を削除する(選択に関する所定の条件を満たすと判定されていない場合に、加工が施されている場合)
・移動オブジェクトOと背景とをアルファ・ブレンディングなどにより合成する
(2−2)表示制御処理の第2の例:選択候補オブジェクトである移動オブジェクトを選択された状態とする場合
次に、本実施形態に係る表示制御処理の第2の例として、選択候補オブジェクトである移動オブジェクトを選択された状態とする場合における表示制御処理の一例について説明する。
本実施形態に係る情報処理装置は、例えば上記第1の例に係る表示制御処理と同様に、ユーザの目に関する情報に基づいて、移動オブジェクトを、表示画面におけるユーザの目に関する情報が示すユーザの視線の位置に対応する位置に表示させる。
また、上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定されてオブジェクトを選択された状態とする場合には、本実施形態に係る情報処理装置は、例えば、移動オブジェクトの表示態様を変化させる。
ここで、本実施形態に係る情報処理装置が、第2の例に係る表示制御処理において移動オブジェクトに対して行う表示態様に係る処理としては、例えば上記第1の例に係る表示制御処理と同様に、上記(i)、(ii)に示す例が挙げられる。
なお、第2の例に係る表示制御処理において、移動オブジェクトに対して行う表示態様に係る処理は、上記第1の例に係る表示制御処理と同様の処理に限られない。
例えば、本実施形態に係る情報処理装置は、上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定された場合、選択された状態とする選択候補オブジェクトである移動オブジェクトを、表示画面から削除してもよい。選択された状態とする選択候補オブジェクトである移動オブジェクトを削除する場合、本実施形態に係る情報処理装置は、例えば、瞬時に表示画面から削除してもよいし、フェードアウト表現などの様々な表現を用いて表示画面から削除してもよい。
本実施形態に係る情報処理装置は、上記(2−1)に示す第1の例に係る表示制御処理や、上記(2−2)に示す第2の例に係る表示制御処理を行うことによって、上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定された場合に、表示画面においてユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とする。
なお、本実施形態に係る表示制御処理は、上記(1)の処理(判定処理)において選択に関する所定の条件を満たすと判定された場合における処理に限られない。
(2−3)表示制御処理の第3の例
例えば、上述したように、本実施形態に係る情報処理装置は、上記(1)の処理(判定処理)において、オブジェクトの選択の解除に関する所定の条件を満たすかを判定することが可能である。上記(1)の処理(判定処理)において、オブジェクトの選択の解除に関する所定の条件を満たすと判定された場合には、本実施形態に係る情報処理装置は、本実施形態に係る表示制御処理として、選択された状態であるオブジェクトを、選択されていない状態としてもよい。
選択された状態であるオブジェクトが、選択されていない状態とされた場合には、本実施形態に係る情報処理装置は、上述したように、例えば、ユーザの目に関する情報が示すユーザの視線の位置に応じて、移動オブジェクトが表示画面に表示される位置を変える。
また、上記(1)の処理(判定処理)において、上記(1−3)に示す第3の例に係る判定処理が行われるときにおいて、本実施形態に係る情報処理装置は、例えば、ユーザの目に関する情報が示す視線の位置が第2領域内である場合には、視線の位置が第2領域内にある時間に応じて、選択された状態であるオブジェクトに関する表示態様を段階的に変えてもよい。ここで、本実施形態に係る第2領域とは、上述したように、選択された状態であるオブジェクト以外の選択候補オブジェクトであって、ユーザの目に関する情報が示す視線の位置に対応する選択候補オブジェクトである。
具体的には、本実施形態に係る情報処理装置は、例えば、選択された状態であるオブジェクトに対応する位置に表示されている移動オブジェクトに対して行う表示態様に係る処理を、上記(ii)に示す処理から、上記(i)に示す処理へと切り替える。また、本実施形態に係る情報処理装置は、ユーザの目に関する情報が示す視線の位置が第2領域内にある時間が長くなればなる程、上記(i)に示す処理の大きさ(例えば、動きの大きさや、点滅のスピード、施される加工の強さなど)を大きくする。ここで、本実施形態に係る情報処理装置は、例えば、上記(1−3)に示す第3の例に係る判定処理においてオブジェクトの選択の解除に関する所定の条件を満たすと判定されたときに、上記(i)に示す処理の大きさが設定されている大きさの中の最大の大きさとなるように、段階的に上記(i)に示す処理の大きさを大きくする。
なお、上記(1)の処理(判定処理)において、上記(1−3)に示す第3の例に係る判定処理が行われる場合における表示制御処理は、上記に限られない。
例えば、本実施形態に係る情報処理装置は、第2領域に対応する選択候補オブジェクト(選択された状態であるオブジェクト以外の選択候補オブジェクトであって、ユーザの目に関する情報が示す視線の位置に対応する選択候補オブジェクト)の表示態様を変えてもよい。本実施形態に係る情報処理装置は、例えば、上記第2領域に対応する選択候補オブジェクトに対して、上記(i)に示す処理を行うことによって、上記第2領域に対応する選択候補オブジェクトの表示態様を変える。なお、上記第2領域に対応する選択候補オブジェクトの表示態様を変える処理が、上記(i)に示す処理に限られないことは、言うまでもない。
本実施形態に係る情報処理装置は、本実施形態に係る表示制御処理として、例えば、“上記(2−1)に示す第1の例に係る表示制御処理、または、上記(2−2)に示す第2の例に係る表示制御処理”、“上記第1の例に係る表示制御処理、および上記(2−3)に示す第3の例に係る表示制御処理”、“上記第2の例に係る表示制御処理、および上記(2−3)に示す第3の例に係る表示制御処理”を行う。
本実施形態に係る表示制御処理として、“上記(2−1)に示す第1の例に係る表示制御処理、または、上記(2−2)に示す第2の例に係る表示制御処理”が行われる場合、表示画面に表示される画像は、上記(1)の処理(判定処理)の結果に基づいて、例えば、図1のAに示すような状態から図1のBに示すような状態へと変化する。また、本実施形態に係る表示制御処理として、“上記第1の例に係る表示制御処理、および上記(2−3)に示す第3の例に係る表示制御処理”や、“上記第2の例に係る表示制御処理、および上記(2−3)に示す第3の例に係る表示制御処理”が行われる場合、表示画面に表示される画像は、上記(1)の処理(判定処理)の結果に基づいて、例えば、図1のAに示すような状態から図1のBに示すような状態へと変化し、または、図1のBに示すような状態から図1のAに示すような状態へと変化する。なお、本実施形態に係る表示制御処理による表示画面の変化が、図1に示す例に限られないことは、言うまでもない。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記(1)の処理(判定処理)、および上記(2)の処理(表示制御処理)を行う。
本実施形態に係る情報処理装置は、上記(1)の処理(判定処理)において、ユーザの目に関する情報に基づいて、オブジェクトの選択に関する所定の条件を満たすかを判定する。また、本実施形態に係る情報処理装置は、上記(2)の処理(表示制御処理)において、上記(1)の処理(判定処理)においてオブジェクトの選択に関する所定の条件を満たすと判定された場合に、表示画面においてユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とする。
ここで、本実施形態に係る情報処理装置により選択された状態とされたオブジェクトは、仮に、選択された状態とされた後に、ユーザの視線が動いたとしても、当該ユーザの視線の動きに影響されない。よって、本実施形態に係る情報処理装置が、上記(2)の処理(表示制御処理)により、表示画面に表示されているオブジェクトをユーザの視線の動きに基づいて選択された状態とすることによって、例えば、“所望の位置に配置しようとしたオブジェクトが、目の動きにつられて動いてしまう”ことなど、ユーザの利便性の低下の原因となる事態の発生を防止することが可能となる。
したがって、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、上記(1)の処理(判定処理)、および上記(2)の処理(表示制御処理)を行うことによって、ユーザが視線の動きにより表示画面に表示されるオブジェクトを操作する場合における、ユーザの利便性の向上を図ることができる。
また、本実施形態に係る情報処理装置は、オブジェクトが選択された状態とされている場合には、上記(1)の処理(判定処理)において、ユーザの目に関する情報に基づいて、オブジェクトの選択の解除に関する所定の条件を満たすかを判定することが可能である。また、本実施形態に係る情報処理装置は、上記(2)の処理(表示制御処理)において、上記(1)の処理(判定処理)において選択の解除に関する所定の条件を満たすと判定された場合に、選択された状態であるオブジェクトを、選択されていない状態とする。
ここで、本実施形態に係る情報処理装置により選択された状態とされていないオブジェクトは、ユーザの目に関する情報が示すユーザの視線の位置に応じて表示画面に表示される位置が移動する。
したがって、本実施形態に係る情報処理装置が、上記(2)の処理(表示制御処理)により、選択された状態であるオブジェクトを、ユーザの視線の動きに基づいて選択されていない状態とすることによって、例えば、“ユーザによる、オブジェクトの再選択が可能となる”など、ユーザの利便性の向上を図ることができる。
[3]本実施形態に係る情報処理方法に係る処理の適用例
次に、上述した本実施形態に係る情報処理方法に係る処理の適用例(ユースケース)を挙げる。図2は、本実施形態に係る情報処理方法に係る処理の適用例を説明するための説明図である。
(I)本実施形態に係る情報処理方法に係る処理の第1の適用例:図2に示すA
図2に示すAは、本実施形態に係る情報処理方法に係る処理が、カーソル(移動オブジェクトの一例)の移動に適用される場合の一例を示している。図2のAでは、符号O1で示されるオブジェクトが、移動オブジェクトであるカーソルを示している。また、図2のAでは、符号Rで示される領域に表示されている各アイコンが、本実施形態に係る選択候補オブジェクトの一例に該当する。
ユーザがメニュー項目のリスト部分(図2のAに示す領域R)を見ると、視線に追従してカーソルが動く。上記は、本実施形態に係る情報処理装置が、上記(2)の処理(表示制御処理)を行うことによって、実現される。
また、例えば、ユーザがメニュー項目のうちの一項目(本実施形態に係る選択候補オブジェクトの1つ)を一定時間見ていると、カーソルが張り付く(カーソルが動かなくなる)。つまり、張り付いたカーソルは、ユーザの視線に追従して動かなくなる。ここで、図2のAに示す例では、カーソルが張り付くことによって、カーソルが張り付いた位置に存在する選択候補オブジェクトが選択されることとなる。上記は、本実施形態に係る情報処理装置が、例えば、上記(1−1)に示す第1の例に係る判定処理、および上記(2−1)に示す第1の例に係る表示制御処理を行うことによって、実現される。
また、例えば、ユーザが、カーソルにより選択された選択候補オブジェクト以外の他の箇所(例えば、他の選択候補オブジェクト)を見ていると、張り付いていたカーソルは、浮いてくる。そして、最大限に浮いた状態となると、カーソルは、再度ユーザの視線に追従して動く。上記は、本実施形態に係る情報処理装置が、例えば、上記(1−3)に示す第3の例に係る判定処理、および上記(2−3)に示す第3の例に係る表示制御処理を行うことによって、実現される。
(II)本実施形態に係る情報処理方法に係る処理の第2の適用例:図2に示すB
図2に示すBは、本実施形態に係る情報処理方法に係る処理が、ゲームにおける回答選択に適用される場合の一例を示している。図2のBでは、符号O2〜Oで示されるオブジェクトそれぞれが、ユーザそれぞれに対応するユーザの目に関する情報が示すユーザの視線の位置に表示される移動オブジェクトを示している。図2のBでは、撮像されたユーザの顔部分を示す撮像画像が移動オブジェクトとして用いられる例を示しているが、図2のBの例に係る移動オブジェクトは、例えば、ユーザそれぞれに対応するキャラクターを示す画像や、文字が表示される画像など、任意の画像であってもよい。また、図2のBでは、符号SEL1、SEL2で示されるオブジェクトが、本実施形態に係る選択候補オブジェクトの一例に該当する。
ユーザは、回答を決めると、回答に対応するオブジェクト(本実施形態に係る選択候補オブジェクト)を一定時間見る。ユーザが回答に対応するオブジェクトを一定時間見ると、自身に対応する移動オブジェクトが回答に対応するオブジェクト上で固定される(移動オブジェクトが動かなくなる)。つまり、固定された移動オブジェクトは、ユーザの視線に追従して動かなくなる。ここで、図2のBに示す例では、移動オブジェクトが固定されるによって、移動オブジェクトが固定された位置に存在する回答に対応するオブジェクトが選択されることとなる。上記は、本実施形態に係る情報処理装置が、例えば、上記(1−1)に示す第1の例に係る判定処理、および上記(2−1)に示す第1の例に係る表示制御処理を行うことによって、実現される。
自身に対応する移動オブジェクトが回答に対応するオブジェクト上で固定されるので、当該移動オブジェクトは、ユーザの視線に追従して動かない。よって、ユーザは、他のユーザが選択した回答を、自身の回答が決められた状態で確認することができる。
また、回答を変えることを所望する場合において、ユーザが、例えば、移動オブジェクトにより選択された選択候補オブジェクト以外の他の箇所(例えば、他の選択候補オブジェクト)を見ていると、固定されていた移動オブジェクトは、浮いてくる。そして、最大限に浮いた状態となると、移動オブジェクトは、再度ユーザの視線に追従して動く。よって、ユーザは、回答を変えることができる。上記は、本実施形態に係る情報処理装置が、例えば、上記(1−3)に示す第3の例に係る判定処理、および上記(2−3)に示す第3の例に係る表示制御処理を行うことによって、実現される。
(III)本実施形態に係る情報処理方法に係る処理の第3の適用例:図2に示すC
図2に示すCは、本実施形態に係る情報処理方法に係る処理が、ノーティフィケーションオブジェクトの選択に適用される場合の一例を示している。図2のCでは、符号O5で示されるオブジェクトが、ノーティフィケーションオブジェクトを示している。また、図2のCにおいて符号O5で示されるノーティフィケーションオブジェクトは、本実施形態に係る移動オブジェクトの一例に該当し、かつ、本実施形態に係る選択候補オブジェクトの一例に該当する。
本実施形態に係る情報処理装置は、ユーザの目に関する情報が示すユーザの視線の位置に基づいて、表示画面におけるユーザの周辺視野部分に対応する位置に、ノーティフィケーションオブジェクトを表示させる。また、ユーザが、ノーティフィケーションオブジェクトを一定時間(例えば、ノーティフィケーションオブジェクトが示す内容を一読できる程度の時間など)見ていない場合は、本実施形態に係る情報処理装置は、例えば、ユーザの視線の邪魔をしないように、周辺視野部分内で視線に追従して動かす。上記は、本実施形態に係る情報処理装置が、上記(2)の処理(表示制御処理)を行うことによって、実現される。
ユーザが、一定時間(例えば、ノーティフィケーションオブジェクトが示す内容を一読できる程度の時間など)ノーティフィケーションオブジェクトを見た場合には、ノーティフィケーションオブジェクトは張り付く。つまり、張り付いたノーティフィケーションオブジェクトは、ユーザの視線に追従して動かなくなる。そして、ノーティフィケーションオブジェクトは、その後(例えば数秒後など)、表示画面から消える。ここで、図2のCに示す例では、ノーティフィケーションオブジェクトが張り付き、表示画面から消えることによって、ノーティフィケーションオブジェクトが選択されたこととなる。上記は、本実施形態に係る情報処理装置が、例えば、上記(1−1)に示す第1の例に係る判定処理、および上記(2−2)に示す第2の例に係る表示制御処理を行うことによって、実現される。
本実施形態に係る情報処理装置が、上述した本実施形態に係る情報処理方法に係る処理を行うことによって、例えば、上記(I)に示す第1の適用例〜上記(III)に示す第3の適用例が実現される。なお、本実施形態に係る情報処理方法に係る処理の適用例が、上記第1の適用例〜上記第3の適用例に限られないことは、言うまでもない。
(本実施形態に係る情報処理装置)
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置の構成の一例について、説明する。
図3は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、通信部102と、制御部104とを備える。
また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
ここで、ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、表示画面に表示される各種オブジェクトを示すデータなどの本実施形態に係る情報処理方法に係るデータや、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
図4は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
MPU150は、例えば、MPU(Micro Processing Unit)などのプロセッサや各種処理回路などで構成され、情報処理装置100全体を制御する制御部104として機能する。また、MPU150は、情報処理装置100において、例えば、後述する判定部110、および表示制御部112の役目を果たす。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、表示画面に表示される各種オブジェクトを示すデータなどの本実施形態に係る情報処理方法に係るデータや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース158が、情報処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の撮像デバイスや、外部の表示デバイス、外部のセンサ、本実施形態に係るユーザの目に関する情報を生成する外部装置などの、外部デバイスや外部装置と、無線または有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)や基地局を介した無線WAN(WWAN:Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
情報処理装置100は、例えば図4に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図4に示す構成に限られない。
例えば、情報処理装置100は、動画像または静止画像を撮像する撮像部(図示せず)の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、情報処理装置100は、例えば、撮像デバイスにおいて撮像により生成された撮像画像を処理して、ユーザの目に関する情報を得ることが可能となる。また、撮像デバイスを備える場合には、情報処理装置100は、例えば、撮像デバイスにおいて撮像により生成された撮像画像(または、撮像画像の一部)を、オブジェクトとして用いることも可能である。
ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ/撮像素子と信号処理回路とが挙げられる。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換する。また、信号処理回路は、例えば、White Balance補正処理や、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理など各種信号処理を行ってもよい。
また、情報処理装置100は、例えば、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータを得る検出部(図示せず)の役目を果たすセンサをさらに備えていてもよい。センサを備える場合には、情報処理装置100は、例えば、センサから得られるデータを用いて、ユーザの視線の位置の推定精度の向上を図ることが可能となる。
本実施形態に係るセンサとしては、例えば、赤外線センサなど、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る任意のセンサが挙げられる。
また、情報処理装置100は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース164を備えていなくてもよい。また、情報処理装置100は、記媒体156や、操作デバイス160、表示デバイス162を備えない構成をとることも可能である。

再度図3を参照して、情報処理装置100の構成の一例について説明する。通信部102は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の撮像デバイスや、外部の表示デバイス、外部のセンサ、本実施形態に係るユーザの目に関する情報を生成する外部装置などの、外部デバイスや外部装置と、無線または有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。
ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
制御部104は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部104は、例えば、判定部110と、表示制御部112とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
判定部110は、上記(1)の処理(判定処理)を主導的に行う役目を果たす。
判定部110は、例えば、ユーザの目に関する情報に基づいて、オブジェクトの選択に関する所定の条件を満たすかを判定する。より具体的には、判定部110は、例えば、上記(1−1)に示す第1の例に係る判定処理や、上記(1−2)に示す第2の例に係る判定処理を行う。
ここで、判定部110は、例えば、通信部102が外部装置から受信したユーザの目に関する情報を用いる。なお、情報処理装置100が、例えば、撮像部(図示せず)や検出部(図示せず)を備える場合には、判定部110は、ユーザの目に関する情報を生成し、生成したユーザの目に関する情報を用いることも可能である。
また、オブジェクトが選択された状態とされている場合、判定部110は、例えば、ユーザの目に関する情報に基づいて、オブジェクトの選択の解除に関する所定の条件を満たすかを判定してもよい。より具体的には、判定部110は、例えば、上記(1−3)に示す第3の例に係る判定処理や、上記(1−4)に示す第4の例に係る判定処理を行う。
表示制御部112は、上記(2)の処理(表示制御処理)を主導的に行う役目を果たす。
表示制御部112は、例えば、判定部110において選択に関する所定の条件を満たすと判定された場合に、表示画面においてユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とする。より具体的には、表示制御部112は、例えば、上記(2−1)に示す第2の例に係る表示制御処理や、上記(2−2)に示す第2の例に係る表示制御処理を行う。
また、表示制御部112は、例えば、判定部110において選択の解除に関する所定の条件を満たすと判定された場合に、選択された状態であるオブジェクトを、選択されていない状態とする。より具体的には、表示制御部112は、例えば、上記(2−3)に示す第3の例に係る表示制御処理を行う。
制御部104は、例えば、判定部110、および表示制御部112を備えることによって、本実施形態に係る情報処理方法に係る処理を主導的に行う。
情報処理装置100は、例えば図3に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、上記(1)の処理(判定処理)、および上記(2)の処理(表示制御処理))を行う。
したがって、情報処理装置100は、例えば図3に示す構成によって、ユーザが視線の動きにより表示画面に表示されるオブジェクトを操作する場合における、ユーザの利便性の向上を図ることができる。
また、例えば図3に示す構成によって、情報処理装置100は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を奏することができる。
なお、本実施形態に係る情報処理装置の構成は、図3に示す構成に限られない。
例えば、本実施形態に係る情報処理装置は、図3に示す判定部110と表示制御部112とのうちの、一方または双方を、制御部104とは個別に備える(例えば、個別の処理回路で実現する)ことができる。
また、例えば、通信部102と同様の機能、構成を有する外部の通信デバイスを介して、外部のデバイスや外部装置と通信を行う場合や、スタンドアロンで処理を行う構成である場合には、本実施形態に係る情報処理装置は、通信部102を備えていなくてもよい。
また、本実施形態に係る情報処理装置は、例えば、撮像デバイスで構成される撮像部(図示せず)を、さらに備えていてもよい。撮像部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、例えば、撮像部(図示せず)において撮像により生成された撮像画像を処理して、ユーザの目に関する情報を得ることが可能となる。また、撮像部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、例えば、撮像部(図示せず)において撮像により生成された撮像画像(または、撮像画像の一部)を、オブジェクトとして用いることも可能である。
また、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る任意のセンサで構成される検出部(図示せず)を、さらに備えていてもよい。検出部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、例えば、検出部(図示せず)から得られるデータを用いて、ユーザの視線の位置の推定精度の向上を図ることが可能となる。
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、テレビ受像機や、表示装置、タブレット型の装置、携帯電話やスマートフォンなどの通信装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機、PC(Personal Computer)などのコンピュータなど、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理IC(Integrated Circuit)に適用することもできる。
また、本実施形態は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムにより実現されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、上記(1)の処理(判定処理)、および上記(2)の処理(表示制御処理)など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、ユーザが視線の動きにより表示画面に表示されるオブジェクトを操作する場合における、ユーザの利便性の向上を図ることができる。
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
表示画面におけるユーザの視線の位置に関する情報を含むユーザの目に関する情報に基づいて、オブジェクトの選択に関する所定の条件を満たすかを判定する判定部と、
前記選択に関する所定の条件を満たすと判定された場合に、前記表示画面において前記ユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とする表示制御部と、
を備える、情報処理装置。
(2)
前記判定部は、
前記ユーザの目に関する情報が示す視線の位置が、選択された状態とされうる対象のオブジェクトである選択候補オブジェクトが表示される前記表示画面の第1領域内である時間が、設定されている第1設定時間よりも長い場合、または、
前記ユーザの目に関する情報が示す視線の位置が前記第1領域内である時間が、前記第1設定時間以上である場合に、
前記選択に関する所定の条件を満たすと判定する、(1)に記載の情報処理装置。
(3)
前記判定部は、
前記第1設定時間を、前記ユーザの目に関する情報が示す視線の位置の変化に基づくユーザの目の動きの大きさに基づいて、動的に設定し、
動的に設定された前記第1設定時間に基づいて、前記選択に関する所定の条件を満たすかを判定する、(2)に記載の情報処理装置。
(4)
前記判定部は、予め設定されている前記第1設定時間に基づいて、前記選択に関する所定の条件を満たすかを判定する、(2)に記載の情報処理装置。
(5)
前記ユーザの目に関する情報には、ユーザの目の動作に関する情報が含まれ、
前記判定部は、前記目の動作に関する情報に基づいて、所定の目の動作が検出された場合に、前記選択に関する所定の条件を満たすと判定する、(1)に記載の情報処理装置。
(6)
前記表示制御部は、
オブジェクトが選択された状態ではない場合には、前記ユーザの目に関する情報に基づいて、前記ユーザの目に関する情報が示すユーザの視線の位置に応じて前記表示画面に表示される位置が移動する移動オブジェクトを、前記表示画面における前記ユーザの目に関する情報が示すユーザの視線の位置に対応する位置に表示させ、
オブジェクトが選択された状態である場合には、前記表示制御部は、前記ユーザの目に関する情報が示すユーザの視線の位置が変化したとしても、前記移動オブジェクトが表示画面に表示される位置を変えない、(1)〜(5)のいずれか1つに記載の情報処理装置。
(7)
前記表示制御部は、前記表示画面における前記ユーザの目に関する情報が示すユーザの視線の位置が、選択された状態とされうる対象のオブジェクトである選択候補オブジェクトが表示される前記表示画面の領域内に存在する場合に、前記移動オブジェクトを選択的に表示させる、(6)に記載の情報処理装置。
(8)
前記選択に関する所定の条件を満たすと判定されてオブジェクトを選択された状態とする場合には、前記移動オブジェクトの表示態様を変化させる、(6)、または(7)に記載の情報処理装置。
(9)
前記表示制御部により選択された状態とされる前記オブジェクトは、前記ユーザの目に関する情報が示すユーザの視線の位置に応じて表示画面に表示される位置が移動しない静的なオブジェクトである、(1)〜(5)のいずれか1つに記載の情報処理装置。
(10)
前記表示制御部により前記オブジェクトが選択された状態とされている場合、
前記判定部は、前記ユーザの目に関する情報に基づいて、オブジェクトの選択の解除に関する所定の条件を満たすかを判定し、
前記表示制御部は、前記選択の解除に関する所定の条件を満たすと判定された場合に、選択された状態である前記オブジェクトを、選択されていない状態とする、(1)〜(9)のいずれか1つに記載の情報処理装置。
(11)
前記判定部は、
前記ユーザの目に関する情報が示す視線の位置が前記表示画面の第2領域内である時間が、設定されている第2設定時間よりも長い場合、または、
前記ユーザの目に関する情報が示す視線の位置が前記第2領域内である時間が、前記第2設定時間以上である場合に、
前記選択の解除に関する所定の条件を満たすと判定し、
前記第2領域は、選択された状態とされうる対象のオブジェクトである選択候補オブジェクトであって、かつ選択された状態である前記オブジェクトとは異なるオブジェクトが表示される、前記表示画面の領域である、(10)に記載の情報処理装置。
(12)
前記判定部は、
前記第2設定時間を、前記ユーザの目に関する情報が示す視線の位置の変化に基づくユーザの目の動きの大きさに基づいて、動的に設定し、
動的に設定された前記第2設定時間に基づいて、前記選択の解除に関する所定の条件を満たすかを判定する、(11)に記載の情報処理装置。
(13)
前記判定部は、予め設定されている前記第2設定時間に基づいて、前記選択の解除に関する所定の条件を満たすかを判定する、(11)に記載の情報処理装置。
(14)
前記表示制御部は、ユーザの目に関する情報が示す視線の位置が前記第2領域内である場合には、前記視線の位置が前記第2領域内にある時間に応じて、選択された状態である前記オブジェクトに関する表示態様を段階的に変える、(11)〜(13)のいずれか1つに記載の情報処理装置。
(15)
前記表示制御部は、ユーザの目に関する情報が示す視線の位置が前記第2領域内である場合には、前記第2領域に対応する前記選択候補オブジェクトの表示態様を変える、(11)〜(14)のいずれか1つに記載の情報処理装置。
(16)
前記ユーザの目に関する情報には、ユーザの目の動作に関する情報が含まれ、
前記判定部は、前記目の動作に関する情報に基づいて、所定の目の動作が検出された場合に、前記選択の解除に関する所定の条件を満たすと判定する、(10)に記載の情報処理装置。
(17)
表示画面におけるユーザの視線の位置に関する情報を含むユーザの目に関する情報に基づいて、オブジェクトの選択に関する所定の条件を満たすかを判定するステップと、
前記選択に関する所定の条件を満たすと判定された場合に、前記表示画面において前記ユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とするステップと、
を有する、情報処理装置により実行される情報処理方法。
(18)
表示画面におけるユーザの視線の位置に関する情報を含むユーザの目に関する情報に基づいて、オブジェクトの選択に関する所定の条件を満たすかを判定するステップ、
前記選択に関する所定の条件を満たすと判定された場合に、前記表示画面において前記ユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とするステップ、
をコンピュータに実行させるためのプログラム。
100 情報処理装置
102 通信部
104 制御部
110 判定部
112 表示制御部

Claims (15)

  1. 表示画面におけるユーザの視線の位置に関する情報を含むユーザの目に関する情報に基づいて、オブジェクトの選択に関する所定の条件を満たすかを判定する判定部と、
    前記選択に関する所定の条件を満たすと判定された場合に、前記表示画面において前記ユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とする表示制御部と、
    を備え、
    前記表示制御部により前記オブジェクトが選択された状態とされている場合、
    前記判定部は、前記ユーザの目に関する情報に基づいて、オブジェクトの選択の解除に関する所定の条件を満たすかを判定し、
    前記表示制御部は、前記選択の解除に関する所定の条件を満たすと判定された場合に、選択された状態である前記オブジェクトを、選択されていない状態とし、
    前記判定部は、
    前記ユーザの目に関する情報が示す視線の位置が前記表示画面の第2領域内である時間が、設定されている第2設定時間よりも長い場合、または、
    前記ユーザの目に関する情報が示す視線の位置が前記第2領域内である時間が、前記第2設定時間以上である場合に、
    前記選択の解除に関する所定の条件を満たすと判定し、
    前記第2領域は、選択された状態とされうる対象のオブジェクトである選択候補オブジェクトであって、かつ選択された状態である前記オブジェクトとは異なるオブジェクトが表示される、前記表示画面の領域であり、
    前記表示制御部は、ユーザの目に関する情報が示す視線の位置が前記第2領域内である場合には、前記視線の位置が前記第2領域内にある時間に応じて、選択された状態である前記オブジェクトに関する表示態様を段階的に変える、情報処理装置。
  2. 前記判定部は、
    前記ユーザの目に関する情報が示す視線の位置が、選択された状態とされうる対象のオブジェクトである選択候補オブジェクトが表示される前記表示画面の第1領域内である時間が、設定されている第1設定時間よりも長い場合、または、
    前記ユーザの目に関する情報が示す視線の位置が前記第1領域内である時間が、前記第1設定時間以上である場合に、
    前記選択に関する所定の条件を満たすと判定する、請求項1に記載の情報処理装置。
  3. 前記判定部は、
    前記第1設定時間を、前記ユーザの目に関する情報が示す視線の位置の変化に基づくユーザの目の動きの大きさに基づいて、動的に設定し、
    動的に設定された前記第1設定時間に基づいて、前記選択に関する所定の条件を満たすかを判定する、請求項2に記載の情報処理装置。
  4. 前記判定部は、予め設定されている前記第1設定時間に基づいて、前記選択に関する所定の条件を満たすかを判定する、請求項2に記載の情報処理装置。
  5. 前記ユーザの目に関する情報には、ユーザの目の動作に関する情報が含まれ、
    前記判定部は、前記目の動作に関する情報に基づいて、所定の目の動作が検出された場合に、前記選択に関する所定の条件を満たすと判定する、請求項1に記載の情報処理装置。
  6. 前記表示制御部は、
    オブジェクトが選択された状態ではない場合には、前記ユーザの目に関する情報に基づいて、前記ユーザの目に関する情報が示すユーザの視線の位置に応じて前記表示画面に表示される位置が移動する移動オブジェクトを、前記表示画面における前記ユーザの目に関する情報が示すユーザの視線の位置に対応する位置に表示させ、
    オブジェクトが選択された状態である場合には、前記表示制御部は、前記ユーザの目に関する情報が示すユーザの視線の位置が変化したとしても、前記移動オブジェクトが表示画面に表示される位置を変えない、請求項1〜5のいずれか1項に記載の情報処理装置。
  7. 前記表示制御部は、前記表示画面における前記ユーザの目に関する情報が示すユーザの視線の位置が、選択された状態とされうる対象のオブジェクトである選択候補オブジェクトが表示される前記表示画面の領域内に存在する場合に、前記移動オブジェクトを選択的に表示させる、請求項6に記載の情報処理装置。
  8. 前記選択に関する所定の条件を満たすと判定されてオブジェクトを選択された状態とする場合には、前記移動オブジェクトの表示態様を変化させる、請求項6、または7に記載の情報処理装置。
  9. 前記表示制御部により選択された状態とされる前記オブジェクトは、前記ユーザの目に関する情報が示すユーザの視線の位置に応じて表示画面に表示される位置が移動しない静的なオブジェクトである、請求項1〜5のいずれか1項に記載の情報処理装置。
  10. 前記判定部は、
    前記第2設定時間を、前記ユーザの目に関する情報が示す視線の位置の変化に基づくユーザの目の動きの大きさに基づいて、動的に設定し、
    動的に設定された前記第2設定時間に基づいて、前記選択の解除に関する所定の条件を満たすかを判定する、請求項1〜9のいずれか1項に記載の情報処理装置。
  11. 前記判定部は、予め設定されている前記第2設定時間に基づいて、前記選択の解除に関する所定の条件を満たすかを判定する、請求項1〜9のいずれか1項に記載の情報処理装置。
  12. 前記表示制御部は、ユーザの目に関する情報が示す視線の位置が前記第2領域内である場合には、前記第2領域に対応する前記選択候補オブジェクトの表示態様を変える、請求項1〜11のいずれか1項に記載の情報処理装置。
  13. 前記ユーザの目に関する情報には、ユーザの目の動作に関する情報が含まれ、
    前記判定部は、前記目の動作に関する情報に基づいて、所定の目の動作が検出された場合に、前記選択の解除に関する所定の条件を満たすと判定する、請求項1〜9のいずれか1項に記載の情報処理装置。
  14. 表示画面におけるユーザの視線の位置に関する情報を含むユーザの目に関する情報に基づいて、オブジェクトの選択に関する所定の条件を満たすかを判定する判定ステップと、
    前記選択に関する所定の条件を満たすと判定された場合に、前記表示画面において前記ユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とする表示制御ステップと、
    を有し、
    前記表示制御ステップにおいて前記オブジェクトが選択された状態とされている場合、
    前記判定ステップでは、前記ユーザの目に関する情報に基づいて、オブジェクトの選択の解除に関する所定の条件を満たすかが判定され、
    前記表示制御ステップでは、前記選択の解除に関する所定の条件を満たすと判定された場合に、選択された状態である前記オブジェクトを、選択されていない状態とさせ、
    前記判定ステップでは、
    前記ユーザの目に関する情報が示す視線の位置が前記表示画面の第2領域内である時間が、設定されている第2設定時間よりも長い場合、または、
    前記ユーザの目に関する情報が示す視線の位置が前記第2領域内である時間が、前記第2設定時間以上である場合に、
    前記選択の解除に関する所定の条件を満たすと判定され、
    前記第2領域は、選択された状態とされうる対象のオブジェクトである選択候補オブジェクトであって、かつ選択された状態である前記オブジェクトとは異なるオブジェクトが表示される、前記表示画面の領域であり、
    前記表示制御ステップでは、ユーザの目に関する情報が示す視線の位置が前記第2領域内である場合には、前記視線の位置が前記第2領域内にある時間に応じて、選択された状態である前記オブジェクトに関する表示態様が段階的に変えられる、情報処理装置により実行される情報処理方法。
  15. 表示画面におけるユーザの視線の位置に関する情報を含むユーザの目に関する情報に基づいて、オブジェクトの選択に関する所定の条件を満たすかを判定する判定ステップ、
    前記選択に関する所定の条件を満たすと判定された場合に、前記表示画面において前記ユーザの目に関する情報が示す視線の位置に表示されているオブジェクトを、選択された状態とする表示制御ステップ、
    をコンピュータに実行させ、
    前記表示制御ステップにおいて前記オブジェクトが選択された状態とされている場合、
    前記判定ステップでは、前記ユーザの目に関する情報に基づいて、オブジェクトの選択の解除に関する所定の条件を満たすかが判定され、
    前記表示制御ステップでは、前記選択の解除に関する所定の条件を満たすと判定された場合に、選択された状態である前記オブジェクトを、選択されていない状態とさせ、
    前記判定ステップでは、
    前記ユーザの目に関する情報が示す視線の位置が前記表示画面の第2領域内である時間が、設定されている第2設定時間よりも長い場合、または、
    前記ユーザの目に関する情報が示す視線の位置が前記第2領域内である時間が、前記第2設定時間以上である場合に、
    前記選択の解除に関する所定の条件を満たすと判定され、
    前記第2領域は、選択された状態とされうる対象のオブジェクトである選択候補オブジェクトであって、かつ選択された状態である前記オブジェクトとは異なるオブジェクトが表示される、前記表示画面の領域であり、
    前記表示制御ステップでは、ユーザの目に関する情報が示す視線の位置が前記第2領域内である場合には、前記視線の位置が前記第2領域内にある時間に応じて、選択された状態である前記オブジェクトに関する表示態様が段階的に変えられる、プログラム。
JP2013181228A 2013-09-02 2013-09-02 情報処理装置、情報処理方法、およびプログラム Active JP6127839B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2013181228A JP6127839B2 (ja) 2013-09-02 2013-09-02 情報処理装置、情報処理方法、およびプログラム
PCT/JP2014/003921 WO2015029328A1 (en) 2013-09-02 2014-07-24 Information processing apparatus, information processing method, and program
CN201480046755.3A CN105474136B (zh) 2013-09-02 2014-07-24 信息处理设备、信息处理方法和程序
EP14755721.9A EP3042265B1 (en) 2013-09-02 2014-07-24 Information processing apparatus, information processing method, and program
US14/915,637 US9939894B2 (en) 2013-09-02 2014-07-24 Information processing to operate a display object based on gaze information
US15/914,572 US10180718B2 (en) 2013-09-02 2018-03-07 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013181228A JP6127839B2 (ja) 2013-09-02 2013-09-02 情報処理装置、情報処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2015049721A JP2015049721A (ja) 2015-03-16
JP2015049721A5 JP2015049721A5 (ja) 2016-02-18
JP6127839B2 true JP6127839B2 (ja) 2017-05-17

Family

ID=51399750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013181228A Active JP6127839B2 (ja) 2013-09-02 2013-09-02 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (2) US9939894B2 (ja)
EP (1) EP3042265B1 (ja)
JP (1) JP6127839B2 (ja)
CN (1) CN105474136B (ja)
WO (1) WO2015029328A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534879B (zh) * 2016-11-08 2020-02-07 天脉聚源(北京)传媒科技有限公司 一种基于关注度的直播切换方法及系统
WO2018107566A1 (zh) * 2016-12-16 2018-06-21 华为技术有限公司 一种处理方法及移动设备
JP6852612B2 (ja) 2017-07-26 2021-03-31 富士通株式会社 表示プログラム、情報処理装置、及び表示方法
KR102518404B1 (ko) * 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
JP6935921B2 (ja) * 2017-10-06 2021-09-15 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
CN109828655A (zh) * 2017-11-23 2019-05-31 英属开曼群岛商麦迪创科技股份有限公司 车辆多荧幕控制系统及车辆多荧幕控制方法
US11240685B2 (en) * 2018-01-29 2022-02-01 Samsung Electronics Co., Ltd. Devices and methods of selecting signal processing algorithm based on parameters
WO2019176910A1 (ja) * 2018-03-14 2019-09-19 本田技研工業株式会社 情報表示装置、情報表示方法および情報表示プログラム
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
WO2021230048A1 (ja) 2020-05-15 2021-11-18 株式会社Nttドコモ 情報処理システム
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11178376B1 (en) * 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367315A (en) * 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
JPH04372012A (ja) * 1991-06-20 1992-12-25 Fuji Xerox Co Ltd 入力装置
JPH0651901A (ja) * 1992-06-29 1994-02-25 Nri & Ncc Co Ltd 視線認識によるコミュニケーション装置
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
US5565888A (en) * 1995-02-17 1996-10-15 International Business Machines Corporation Method and apparatus for improving visibility and selectability of icons
JPH0954239A (ja) * 1995-08-18 1997-02-25 Canon Inc 視線検出機能付光学装置及びカメラ
US5850211A (en) * 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
JPH10187334A (ja) * 1996-12-26 1998-07-14 Canon Inc 情報入力方法および情報入力装置と情報入力用記憶媒体
JP2002301030A (ja) * 2001-04-09 2002-10-15 Canon Inc 視線検出機能付き機器
JP2002345756A (ja) * 2001-05-25 2002-12-03 Canon Inc 視線検出装置及び光学機器
JP2003280805A (ja) * 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
JP4526307B2 (ja) * 2004-06-09 2010-08-18 富士通テン株式会社 機能選択装置
JP2009064395A (ja) 2007-09-10 2009-03-26 Hiroshima Univ ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN101681201B (zh) * 2008-01-25 2012-10-17 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法
KR101773845B1 (ko) * 2011-05-16 2017-09-01 삼성전자주식회사 휴대용 단말기에서 입력 처리 방법 및 장치
JP5945417B2 (ja) 2012-01-06 2016-07-05 京セラ株式会社 電子機器
CN103150021B (zh) * 2013-03-21 2017-02-22 上海斐讯数据通信技术有限公司 电子书阅读控制系统及电子书阅读控制方法

Also Published As

Publication number Publication date
US10180718B2 (en) 2019-01-15
US20180196513A1 (en) 2018-07-12
CN105474136B (zh) 2019-02-15
EP3042265B1 (en) 2022-09-14
WO2015029328A1 (en) 2015-03-05
US20160231810A1 (en) 2016-08-11
JP2015049721A (ja) 2015-03-16
EP3042265A1 (en) 2016-07-13
US9939894B2 (en) 2018-04-10
CN105474136A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
JP6127839B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6398987B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11816330B2 (en) Display device, display controlling method, and computer program
JP6221535B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10397649B2 (en) Method of zooming video images and mobile display terminal
US10928896B2 (en) Information processing apparatus and information processing method
US9704028B2 (en) Image processing apparatus and program
US9823815B2 (en) Information processing apparatus and information processing method
JP2015524951A (ja) 画像内で丸い物体を検出することによるコンピューティングデバイスの操作
EP3255627A1 (en) Image display method and device
JP2016192136A (ja) 表示制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170327

R151 Written notification of patent or utility model registration

Ref document number: 6127839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250