JP6504058B2 - 情報処理システム、情報処理方法およびプログラム - Google Patents

情報処理システム、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6504058B2
JP6504058B2 JP2015556712A JP2015556712A JP6504058B2 JP 6504058 B2 JP6504058 B2 JP 6504058B2 JP 2015556712 A JP2015556712 A JP 2015556712A JP 2015556712 A JP2015556712 A JP 2015556712A JP 6504058 B2 JP6504058 B2 JP 6504058B2
Authority
JP
Japan
Prior art keywords
predetermined
information processing
control unit
processing system
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015556712A
Other languages
English (en)
Other versions
JPWO2015104884A1 (ja
Inventor
安田　亮平
亮平 安田
野田　卓郎
卓郎 野田
山本　一幸
一幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015104884A1 publication Critical patent/JPWO2015104884A1/ja
Application granted granted Critical
Publication of JP6504058B2 publication Critical patent/JP6504058B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本開示は、情報処理システム、情報処理方法およびプログラムに関する。
近年、ユーザによるポインティング位置を制御する手法として様々な手法が開示されている。例えば、センサによって検出された動きに基づいてポインティング位置を決定させる手法が開示されている。一例として、ジャイロセンサによって検出された角速度に基づいてポインティング位置を決定する手法が開示されている（例えば、特許文献１参照）。
国際公開第２００９／００８３７２号
しかしながら、ポインティング位置を制御するに際して、ポインティング位置をユーザの所望する位置に容易に移動させることが可能な技術が提供されることが望ましい。
本開示によれば、ユーザの視線を検出する視線検出部と、前記ユーザによる空間上の操作を検出する操作検出部と、前記操作に基づいてポインティング位置を決定する位置制御部と、を備え、前記位置制御部は、所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させる、情報処理システムが提供される。
本開示によれば、ユーザの視線を検出することと、前記ユーザによる空間上の操作を検出することと、前記操作に基づいてポインティング位置を決定することと、を含み、プロセッサにより所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させること、を含む、情報処理方法が提供される。
本開示によれば、コンピュータを、ユーザの視線を検出する視線検出部と、前記ユーザによる空間上の操作を検出する操作検出部と、前記操作に基づいてポインティング位置を決定する位置制御部と、を備え、前記位置制御部は、所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させる、情報処理システムとして機能させるためのプログラムが提供される。
以上説明したように本開示によれば、ポインティング位置を制御するに際して、ポインティング位置をユーザの所望する位置に容易に移動させることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの概要を説明するための図である。 同実施形態に係る情報処理システムの機能構成例を示す図である。 ユーザによる操作を所定の操作として検出するための条件の例を説明するための図である。 ユーザによる操作を所定の操作として検出するための条件の例を説明するための図である。 ユーザによる操作を所定の操作として検出しないための条件の例を説明するための図である。 所定の操作が検出された場合における位置移動前のカーソル表示例を示す図である。 所定の操作が検出された場合におけるオブジェクト表示例を示す図である。 所定の操作が検出された場合における位置移動後のカーソル表示例を示す図である。 本開示の実施形態に係る情報処理システムの動作の流れを示すフローチャートである。 ポインティング位置が表示領域の端部に達した場合におけるカーソル表示の第一の例を示す図である。 ポインティング位置が表示領域の内部に収まらない場合におけるカーソル表示の第一の例を示す図である。 ポインティング位置が表示領域の端部に達した場合におけるカーソル表示の第二の例を示す図である。 ポインティング位置が表示領域の内部に収まらない場合におけるカーソル表示の第二の例を示す図である。 本開示の実施形態に係る情報処理システムの機能構成の変形例を示す図である。 同実施形態に係る情報処理システムのハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
１．情報処理システムの概要
２．情報処理システムの機能構成例
３．情報処理システムの機能詳細
４．情報処理システムの機能構成の変形例
５．情報処理システムのハードウェア構成例
６．むすび
＜１．情報処理システムの概要＞
まず、本開示の実施形態に係る情報処理システム１０の概要について説明する。図１は、本開示の実施形態に係る情報処理システム１０の概要を説明するための図である。図１を参照すると、情報処理システム１０は、検出部１２０、撮像部１３０および表示部１５０を備えている。表示部１５０は表示領域１５１を有し、表示領域１５１に画面を表示する。表示領域１５１に表示される画面は特に限定されない。図１に示したように、ユーザＵは、表示領域１５１に表示された画面を閲覧可能な位置に存在してよい。
検出部１２０は、所定の検出データを検出する。検出部１２０によって検出された検出データは、ユーザＵによるポインティング位置Ｐの決定に用いられる。本明細書においては、検出部１２０がジャイロセンサを含み、検出部１２０の初期姿勢とジャイロセンサによって検出された角速度とに応じた表示領域１５１におけるＸＹ座標をポインティング位置Ｐとして算出する例を主に説明する。かかるポインティング位置Ｐの算出の詳細は、特許文献１（国際公開第２００９／００８３７２号）に開示されている。しかし、ユーザＵによるポインティング位置Ｐの決定は、後に説明するようにどのようになされてもよい。
また、図１に示すように、表示部１５０は、ポインティング位置ＰにカーソルＣｕを表示してよい。図１に示した例では、カーソルＣｕは、鮮明度の高い白抜きの矢印によって示されているが、カーソルＣｕの色、形状、鮮明度などは限定されない。例えば、カーソルＣｕの形状は、後に説明するように楕円や円などであってもよい。また、カーソルＣｕは、表示領域１５１に表示される他のオブジェクトよりも鮮明度が低くてもよい。また、表示部１５０は、ポインティング位置ＰにカーソルＣｕを表示しなくてもよい。
例えば、表示領域１５１にオブジェクトが表示されている場合、そのオブジェクトにポインティング位置Ｐが合わせられた状態においてユーザＵによって所定の決定操作がなされると、このオブジェクトに対応する動作が実行されてよい。表示領域１５１に表示されるオブジェクトは特に限定されず、静止画であってもよいし、動画であってもよいし、ボタンであってもよいし、文字列であってもよい。
また、所定の決定操作も特に限定されず、検出部１２０に設けられたボタンを押下する操作であってもよいし、検出部１２０が所定の動きを示すように検出部１２０を動かす操作であってもよい。オブジェクトに対応する動作も特に限定されず、オブジェクトに対応する画面への遷移であってよい。撮像部１３０は、ユーザＵの身体の一部または全部を含む画像を撮像する機能を有する。ユーザＵの身体の一部が撮像される場合、ユーザＵの身体の一部は、ユーザＵの顔領域であってもよいし、ユーザＵの目領域であってもよい。
ここで、検出部１２０によって検出された検出データに基づいてポインティング位置Ｐが決定される場合、ポインティング位置Ｐをユーザの所望する位置に容易に移動させることが可能な技術が提供されることが望ましい。そこで、本明細書においては、検出部１２０によって検出された検出データに基づいてポインティング位置Ｐが決定される場合、ポインティング位置Ｐをユーザの所望する位置に容易に移動させることが可能な技術を提案する。
具体的な事例としては、ポインティング位置Ｐがユーザの所望する位置から外れてしまう可能性もある。このようにポインティング位置Ｐがユーザの所望する位置から外れてしまう原因としては、ユーザＵの意図とは無関係にポインティング位置Ｐが動いてしまうドリフト現象や、ポインティング位置Ｐの初期位置がユーザの所望する位置から外れてしまっていることなどが想定される。ポインティング位置Ｐをユーザの所望する位置に容易に移動させる技術は、このような状況に対して特に有効に適用され得る。
以上、本開示の実施形態に係る情報処理システム１０の概要について説明した。
＜２．情報処理システムの機能構成例＞
続いて、本開示の実施形態に係る情報処理システム１０の機能構成例について説明する。図２は、本開示の実施形態に係る情報処理システム１０の機能構成例を示す図である。図２に示すように、情報処理システム１０は、制御部１１０、検出部１２０、撮像部１３０、記憶部１４０および表示部１５０を備える。
制御部１１０は、記憶部１４０または他の記憶媒体に記憶されるプログラムを実行することにより制御部１１０が有する様々な機能を発揮する。図２に示すように、制御部１１０は、視線検出部１１１、操作検出部１１２、位置制御部１１３および表示制御部１１４などの各機能ブロックを有する。これら各機能ブロックが有する機能の詳細については後に説明する。
なお、制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）などのプロセッサにより構成されてよい。また、制御部１１０は、各種の演算処理を実行するための電子回路により構成されてよい。
検出部１２０は、所定の検出データを検出して制御部１１０に出力する。本明細書においては、検出部１２０がジャイロセンサを含む場合を主に説明するが、検出部１２０は他のセンサを含んでもよい。例えば、検出部１２０は３軸加速度センサを含んでもよい。また、後に説明するように、撮像部１３０によってユーザによる空間上の動きが検出される場合には、情報処理システム１０は、検出部１２０を備えなくてもよい。なお、図２に示した例では、検出部１２０は情報処理システム１０と一体化されているが、検出部１２０は、情報処理システム１０と別体に構成されていてもよい。
撮像部１３０は、画像を撮像するカメラモジュールである。撮像部１３０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像し、画像を生成する。撮像部１３０により生成される画像は、制御部１１０に出力される。なお、図２に示した例では、撮像部１３０は情報処理システム１０と一体化されているが、撮像部１３０は、情報処理システム１０と別体に構成されていてもよい。例えば、情報処理システム１０と有線または無線で接続される撮像装置が撮像部１３０として扱われてもよい。
記憶部１４０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０を動作させるためのプログラムを記憶する。また、例えば、記憶部１４０は、プログラムによって使用される各種のデータを記憶することもできる。なお、図２に示した例では、記憶部１４０は情報処理システム１０と一体化されているが、記憶部１４０は情報処理システム１０と別体に構成されていてもよい。
表示部１５０は、制御部１１０による制御に従って、各種情報の表示を行う。表示部１５０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）により実現されてもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ−ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイにより実現されてもよいし、プロジェクタにより実現されてもよいし、ホログラムディスプレイにより実現されてもよい。なお、図２に示した例では、表示部１５０は情報処理システム１０と一体化されているが、表示部１５０は情報処理システム１０と別体に構成されていてもよい。例えば、情報処理システム１０と有線または無線で接続される表示装置が表示部１５０として扱われてもよい。
以上、本開示の実施形態に係る情報処理システム１０の機能構成例について説明した。
＜３．情報処理システムの機能詳細＞
続いて、本開示の実施形態に係る情報処理システム１０の機能詳細について説明する。情報処理システム１０において、視線検出部１１１は、ユーザの視線を検出する。視線検出部１１１によるユーザの視線の検出手法は特に限定されない。例えば、視線検出部１１１は、撮像部１３０によって撮像された画像に目領域が映っている場合には、目領域に基づいてユーザの視線を検出すればよい。より詳細には、視線検出部１１１は、目領域に対するパターンマッチングによりユーザの視線を検出してよい。
操作検出部１１２は、検出データに基づいてユーザによる空間上の操作を検出する。そして、位置制御部１１３は、操作検出部１１２によって検出された操作に基づいてポインティング位置Ｐを決定する。本明細書においては、位置制御部１１３が、検出部１２０の初期姿勢とジャイロセンサによって検出された角速度とに応じた表示領域１５１におけるＸＹ座標をポインティング位置Ｐとして算出する例を主に説明する。しかし、ポインティング位置Ｐの決定は、後に説明するようにどのようになされてもよい。
また、位置制御部１１３は、操作検出部１１２によって所定の操作が検出された場合にユーザの視線に基づいてポインティング位置Ｐを移動させる。そうすれば、ポインティング位置Ｐをユーザの所望する位置に容易に移動させることが可能となる。操作検出部１１２によって検出される所定の操作は特に限定されない。例えば、操作検出部１１２は、検出データに基づいて所定の操作を検出してよい。例えば、操作検出部１１２は、検出データから認識される所定の動きを所定の操作として検出してよい。
なお、本明細書においては、検出部１２０の初期姿勢とジャイロセンサによって検出された角速度とに応じた表示領域１５１におけるＸＹ座標の所定の変化を所定の動きとして扱う場合を主に説明するが、所定の動きは特に限定されない。例えば、加速度センサによって検出される加速度の所定の変化が所定の動きとして扱われてもよいし、ジャイロセンサによって検出される角速度の所定の変化が所定の動きとして扱われてもよい。また、後に説明するように、操作検出部１１２は、検出データから認識される所定の状態を所定の操作として検出してもよい。
ここで、所定の操作の例について、図３および図４を参照しながら、さらに詳細に説明する。図３および図４は、ユーザによる操作を所定の操作として検出するための条件の例を説明するための図である。図３には、ポインティング位置Ｐの軌跡が示されており、開始位置Ｐｓおよび終了位置Ｐｅが示されている。例えば、操作検出部１１２は、所定方向の動きの変化が所定の条件を満たした場合に、所定の操作を検出してもよい。図３には、所定時間内に水平方向の反転が上限回数を超えた場合に、操作検出部１１２によって所定の操作が検出される例が示されている。
なお、図３には、上限回数が３回である場合が例として示されているが、上限回数は特に限定されない。また、所定方向も水平方向に限定されず、垂直方向であってもよく、他の方向であってもよい。また、所定時間も特に限定されない。例えば、図４に示したように、操作検出部１１２は、反転１回目から所定時間ｔの間に反転３回目を検出した場合には、所定の操作を検出してもよい。所定時間ｔは特に限定されないが、例えば、４００ｍｓであってもよい。また、操作検出部１１２は、反転１回目から所定時間ｔの間に反転３回目が検出されなかった場合には、反転１回目からの経過時間をリセットしてよい。
図３には、所定時間内に水平方向の反転が上限回数を超えた場合に、操作検出部１１２によって所定の操作が検出される例を示したが、所定の操作が検出される例はかかる例に限定されない。例えば、検出データから認識される動きによって所定の軌跡が描かれた場合に、操作検出部１１２によって所定の操作が検出されてもよい。所定の軌跡は特に限定されないが、円であってもよいし、所定の文字や所定の記号などの筆跡であってもよい。
以上に説明したようにして、操作検出部１１２によって所定の操作が検出され得るが、所定の操作は誤って検出されてしまう可能性もある。例えば、ユーザが垂直方向に検出部１２０を持ち上げた場合、検出部１２０が水平方向にも振動してしまい、所定時間内に水平方向の反転が上限回数を超えてしまう場合もあり得る。そこで、所定の動きが検出されたとしても、所定の操作が検出されない場合があってもよい。具体的な例について図５を参照しながら、さらに詳細に説明する。
図５は、ユーザによる操作を所定の操作として検出しないための条件の例を説明するための図である。例えば、操作検出部１１２は、所定時間内に水平方向の反転が上限回数を超えたとしても、所定時間におけるポインティング位置Ｐの垂直方向への移動量Ｍ（図５参照）が上限量を超える場合には、所定の操作を検出しなくてよい。また、例えば、所定時間内に水平方向の反転が上限回数を超えたとしても、所定時間におけるポインティング位置Ｐの水平方向への振れ幅Ｗ（図５参照）が下限量を超える場合には、所定の操作を検出しなくてよい。
図６〜図８を参照しながら、情報処理システム１０の機能についてさらに詳細に説明する。図１に示した例において、ユーザＵがポインティング位置Ｐを移動させたいと考えた場合を想定する。かかる場合、ユーザＵは所定の操作が検出されるようにジェスチャを行う。そうすれば、操作検出部１１２によって所定の操作が検出され、位置制御部１１３によってポインティング位置Ｐが視線に基づいて移動される。図６は、所定の操作が検出された場合における位置移動前のカーソル表示例を示す図である。
図６を参照すると、表示制御部１１４がポインティング位置ＰにカーソルＣｕを表示させている。ここで、ユーザＵがポインティング位置Ｐを移動させたいと考えた場合を想定する。かかる場合、ユーザＵは、検出部１２０を水平方向に振り、ポインティング位置Ｐを移動させたいと考える位置に視線を移動させる。すると、例えば、所定時間内に水平方向の反転が上限回数を超えた場合に、操作検出部１１２によって所定の操作が検出され、視線に基づいてポインティング位置Ｐが移動される。例えば、ポインティング位置Ｐの移動先は、ユーザＵの視線と表示領域１５１との交点であってよい。図６を参照すると、かかる交点は視点Ｖとして示されている。
所定の操作が検出された旨はユーザに把握されるのがよい。そこで、表示制御部１１４は、所定の操作が検出された場合に所定のオブジェクトを表示させるようにするとよい。図７は、所定の操作が検出された場合におけるオブジェクト表示例を示す図である。図７に示すように、表示制御部１１４は、所定の操作が検出された場合に、オブジェクトＯｂｊを表示させてよい。オブジェクトＯｂｊは、どのようなオブジェクトであってもよいが、ポインティング位置Ｐを基準としたオブジェクトであるとよい。図７には、オブジェクトＯｂｊがポインティング位置Ｐを中心とした円である場合が例として示されている。
所定の操作が検出された場合、ポインティング位置Ｐの制御は継続されてもよいが、所定の操作が検出されるようにユーザＵがジェスチャを行っている間もポインティング位置Ｐが移動してしまうと、ポインティング位置ＰがユーザＵの意志に反して移動してしまう可能性もある。そこで、位置制御部１１３は、少なくともオブジェクトＯｂｊが表示されてから所定時間が経過するまでポインティング位置Ｐを固定するとよい。
図７には、徐々にオブジェクトＯｂｊが小さくなっていき、オブジェクトＯｂｊの表示が開始されてから所定時間が経過したときには、オブジェクトＯｂｊが視点Ｖに収束してオブジェクトＯｂｊの表示が終了される動画である場合が例として示されている。この例のように、表示制御部１１４は、ポインティング位置Ｐが固定されている期間がユーザＵに把握されるようなオブジェクトを表示させるとよい。そうすれば、ユーザＵは、ポインティング位置Ｐの移動が再開されるタイミングを把握することが可能となる。
図８は、所定の操作が検出された場合における位置移動後のカーソル表示例を示す図である。図８に示すように、表示制御部１１４は、このようにしてユーザＵの視線に基づいて移動されたポインティング位置ＰにカーソルＣｕを表示させてよい。また、ポインティング位置Ｐが固定されていない場合には、位置制御部１１３は、検出データに基づいてポインティング位置Ｐを制御することが可能となる。かかる場合、表示制御部１１４は、ポインティング位置Ｐの移動に合わせてカーソルＣｕを移動させてよい。
なお、ユーザＵの視線が検出されていないときには、所定の操作が検出されても視線に応じたポインティング位置Ｐの移動がなされないため、ユーザＵにフィードバックがなされるとよい。例えば、表示制御部１１４は、視線の非検出時に所定のインジケータを表示させてもよい。インジケータは特に限定されないが、視線が検出されていない旨を示すオブジェクト（例えば、メッセージなど）の表示であってもよい。また、表示制御部１１４は、視線の非検出時にカーソルＣｕを変化させてもよい。カーソルＣｕをどのように変化させるかは限定されないが、カーソルＣｕの色、形状および鮮明度の少なくとも何れか１つを変化させてもよい。
また、ユーザＵの視線が検出されていないときに所定の操作が検出された場合には、視線に応じたポインティング位置Ｐの移動がなされないため、ユーザＵにフィードバックがなされるとよい。すなわち、表示制御部１１４は、視線の非検出時に所定の操作が検出された場合には、所定のフィードバックを行うとよい。フィードバックの手法は特に限定されないが、視線が検出されていない旨を示すオブジェクト（例えば、メッセージなど）の表示であってもよい。
カーソルＣｕは常に表示され続けてもよいが、所定のカーソル非表示条件が満たされた場合には非表示にされてもよい。すなわち、表示制御部１１４は、所定のカーソル非表示条件が満たされた場合にカーソルＣｕを非表示にしてもよい。カーソル非表示条件は特に限定されないが、表示制御部１１４は、検出データから検出される動き量が閾値を下回る時間が所定時間継続された場合には、カーソルＣｕを非表示にしてもよい。かかる場合には、ユーザＵがポインティング位置Ｐを変更する意図を有していないと考えられるからである。
また、カーソルＣｕが表示されているか否かによって異なる制御がなされてもよい。例えば、表示制御部１１４は、カーソルＣｕが表示されている状態において視線の非検出時に所定の操作が検出された場合に、所定のフィードバックを行ってもよい。フィードバックの手法は特に限定されないが、視線が検出されていない旨を示すオブジェクト（例えば、メッセージなど）の表示であってもよい。
一方、位置制御部１１３は、カーソルＣｕが非表示にされた状態において所定の操作が検出された場合に、視線に基づいてポインティング位置Ｐを移動させてよい。そうすれば、ポインティング位置Ｐをユーザが見失う可能性を低減することが可能になるという効果を奏し得る。表示領域１５１が大きくなるほど、かかる効果が顕著になり得る。ポインティング位置Ｐの移動先は、ユーザＵの視線と表示領域１５１との交点であってよい。
また、位置制御部１１３は、カーソルＣｕが非表示にされた状態において視線の非検出時に所定の再表示操作が検出された場合には、視線に応じたポインティング位置Ｐの移動がなされない。そのため、かかる場合には、位置制御部１１３は、カーソルＣｕを非表示にしたときのカーソルＣｕの位置にポインティング位置Ｐを決定してもよい。所定の再表示操作は特に限定されないが、検出データに基づいて検出される動きのない状態から動きのある状態への遷移であってもよい。
続いて、図９を参照しながら、本開示の実施形態に係る情報処理システム１０の動作の流れを説明する。図９は、本開示の実施形態に係る情報処理システム１０の動作の流れを示すフローチャートである。なお、図９に示した動作の流れは、情報処理システム１０の動作の流れの一例を示したに過ぎない。したがって、情報処理システム１０の動作の流れは、図９に示した例に限定されない。
操作検出部１１２は、検出データに基づいてユーザによる空間上の操作を検出する（Ｓ１１）。続いて、位置制御部１１３は、操作検出部１１２によって検出された操作に基づいてポインティング位置を決定する（Ｓ１２）。続いて、表示制御部１１４は、ポインティング位置にカーソルを表示させる（Ｓ１３）。なお、カーソルは表示されなくてもよい。続いて、視線検出部１１１は、ユーザの視線を検出する（Ｓ１４）。ここでは、Ｓ１３の後に、視線検出部１１１による視線検出がなされる例が示されているが、視線検出部１１１による視線検出のタイミングは、Ｓ１３の後に限定されない。
続いて、位置制御部１１３は、操作検出部１１２によって所定の操作が検出されたか否かを判断する（Ｓ１５）。位置制御部１１３は、操作検出部１１２によって所定の操作が検出されなかった場合には（Ｓ１５において「Ｎｏ」）、制御部１１０は、動作をＳ１１に移行させる。一方、位置制御部１１３は、操作検出部１１２によって所定の操作が検出された場合には（Ｓ１５において「Ｙｅｓ」）、視線に基づいてポインティング位置を移動させる（Ｓ１６）。このようにしてポインティング位置が移動されれば、ポインティング位置をユーザの所望する位置に容易に移動させることが可能となる。
所定の操作が検出された旨はユーザに把握されるのがよい。そこで、表示制御部１１４は、所定のオブジェクトを表示させる（Ｓ１７）。また、所定の操作が検出されるようにユーザがジェスチャを行っている間もポインティング位置が移動してしまうと、ポインティング位置がユーザの意志に反して移動してしまう可能性もある。そのため、位置制御部１１３は、少なくともオブジェクトが表示されてから所定時間が経過するまでポインティング位置を固定する（Ｓ１８）。また、表示制御部１１４は、ポインティング位置にカーソルを移動させる（Ｓ１９）。
制御部１１０は、動作を継続させるか否かを判断し（Ｓ２０）、動作を継続させると判断した場合には（Ｓ２０において「Ｙｅｓ」）、動作をＳ１１に移行させる。一方、制御部１１０は、動作を終了させると判断した場合には（Ｓ２０において「Ｎｏ」）、動作を終了させる。以上、図９を参照しながら、本開示の実施形態に係る情報処理システム１０の動作の流れを説明した。
ユーザによる空間上の操作に基づいてポインティング位置が移動された場合、ポインティング位置が表示領域１５１に収まらなくなるような状況も想定される。かかる状況においては、カーソルの位置は表示領域１５１の外部に表示され得ないため、ポインティング位置が表示領域１５１の内部に収まらない場合、表示制御部１１４は、カーソルの位置を表示領域１５１の端部に固定すればよい。
一方、ポインティング位置は、表示領域１５１の内部であってもよいし、表示領域１５１の外部であってもよい。すなわち、位置制御部１１３は、ユーザによる空間上の操作に基づいてポインティング位置を表示領域１５１の内部または外部に決定してよい。第一の例として、位置制御部１１３は、ポインティング位置が表示領域１５１の内部に収まらない場合、ポインティング位置を表示領域１５１の端部に固定してよい。かかる第一の例によれば、ポインティング位置がユーザの所望する位置からずれてしまった場合に、ポインティング位置を表示領域１５１の端部に固定して補正することができる。かかる第一の例について、図１０および図１１を参照しながら、詳細に説明する。
図１０は、ポインティング位置Ｐが表示領域１５１の端部に達した場合におけるカーソル表示の第一の例を示す図である。図１０を参照すると、位置制御部１１３がユーザによる空間上の操作に基づいてポインティング位置Ｐを決定した結果、ポインティング位置Ｐが表示領域１５１の端部に達している。また、表示制御部１１４は、ポインティング位置ＰにカーソルＣｕの位置を表示させている。この状況において、ポインティング位置Ｐが表示領域１５１の外部に移動されるような操作がなされることを想定する。
図１１は、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合におけるカーソル表示の第一の例を示す図である。図１１を参照すると、カーソルＣｕの位置は表示領域１５１の外部に表示され得ないため、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合、表示制御部１１４は、カーソルＣｕの位置を表示領域１５１の端部に固定している。また、位置制御部１１３は、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合、ポインティング位置Ｐを表示領域１５１の端部に固定している。
以上、第一の例においては、ポインティング位置が表示領域１５１の内部に収まらない場合、ポインティング位置が表示領域１５１の端部に固定されることとしたが、ポインティング位置は他の手法により制御されてもよい。第二の例として、位置制御部１１３は、ポインティング位置が表示領域１５１の内部に収まらない場合、ポインティング位置を表示領域１５１の外部に移動させるようにしてもよい。かかる第二の例によれば、ポインティング位置が表示領域１５１に収まらない状況が生じても、ポインティング位置がユーザの所望する位置からずれてしまう可能性が低減され得る。かかる第二の例について、図１２および図１３を参照しながら、詳細に説明する。
図１２は、ポインティング位置Ｐが表示領域１５１の端部に達した場合におけるカーソル表示の第二の例を示す図である。図１２を参照すると、位置制御部１１３がユーザによる空間上の操作に基づいてポインティング位置Ｐを決定した結果、ポインティング位置Ｐが表示領域１５１の端部に達している。また、表示制御部１１４は、ポインティング位置ＰにカーソルＣｕの位置を表示させている。この状況において、ポインティング位置Ｐが表示領域１５１の外部に移動されるような操作がなされることを想定する。
図１３は、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合におけるカーソル表示の第二の例を示す図である。図１３を参照すると、カーソルＣｕの位置は表示領域１５１の外部に表示され得ないため、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合、表示制御部１１４は、カーソルＣｕの位置を表示領域１５１の端部に固定している。また、図１３を参照すると、位置制御部１１３は、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合、表示領域１５１を拡張した仮想平面におけるＸＹ座標にポインティング位置Ｐを決定している。
ここで、ポインティング位置Ｐが表示領域１５１の外部に存在する場合、カーソルＣｕの位置は表示領域１５１の内部にしか表示されないため、ユーザは、ポインティング位置Ｐがどこにあるのかを把握できない状況が起こり得る。そこで、図１３に示したように、表示制御部１１４は、ポインティング位置Ｐが表示領域１５１の内部に収まらない場合、ポインティング位置Ｐと表示領域１５１の端部との距離Ｄに応じてカーソルＣｕを変化させるとよい。
図１３には、表示制御部１１４が、距離Ｄが大きくなるほどカーソルＣｕの変形度合いを強める例が示されている。しかし、カーソルＣｕの変化は、カーソルＣｕの色の変化であってもよい。例えば、表示制御部１１４は、距離Ｄが大きくなるほどカーソルＣｕの色の変化を大きくしてもよい。また、カーソルＣｕの変化は、カーソルＣｕの鮮明度であってもよい。例えば、表示制御部１１４は、距離Ｄが大きくなるほどカーソルＣｕの鮮明度の変化を大きくしてもよい。
以上、本開示の実施形態に係る情報処理システム１０の機能詳細について説明した。
＜４．情報処理システムの機能構成の変形例＞
以上に説明したように、操作検出部１１２は、検出データに基づいてユーザによる空間上の操作を検出する。上記では、検出データが検出部１２０によって検出される例を示したが、検出部１２０によって検出される検出データの代わりに、撮像部１３０によって撮像された画像が用いられてもよい。
図１４は、本開示の実施形態に係る情報処理システム１０の機能構成の変形例を示す図である。図１４に示したように、検出部１２０によって検出される検出データの代わりに、撮像部１３０によって撮像された画像が用いられる場合、情報処理システム１０は検出部１２０を有していなくてもよい。例えば、操作検出部１１２は、撮像部１３０によって撮像された画像から所定の認識対象を認識し、認識対象の動きまたは状態に基づいて操作を検出してよい。認識対象は、ユーザによって動かされる物体であってもよいし、ユーザ自身の身体であってもよい。ユーザ自身の身体は、ユーザ自身の身体の一部であってもよいし、ユーザ自身の身体の全部であってもよい。
例えば、ユーザによって動かされる物体の方向が操作検出部１１２によって検出された場合、位置制御部１１３は、物体の方向に基づいてポインティング位置を決定してもよい。また、物体の動きが操作検出部１１２によって検出された場合、位置制御部１１３は、物体の動きに基づいてポインティング位置を決定してもよい。さらに、操作検出部１１２は、物体が所定の動きを示した場合に、所定の操作を検出してもよいし、物体が所定の状態となった場合に、所定の操作を検出してもよい。
例えば、ユーザ自身の身体の方向が操作検出部１１２によって検出された場合、位置制御部１１３は、ユーザ自身の身体の方向に基づいてポインティング位置を決定してもよい。ユーザ自身の身体の方向は、ユーザの指が示す方向であってもよいし、肘から指先までの方向であってもよい。また、ユーザ自身の身体の動きが操作検出部１１２によって検出された場合、位置制御部１１３は、ユーザ自身の身体の動きに基づいてポインティング位置を決定してもよい。
さらに、操作検出部１１２は、ユーザ自身の身体が所定の動きを示した場合に、所定の操作を検出してもよいし、ユーザ自身の身体が所定の状態となった場合に、所定の操作を検出してもよい。所定の動きは、ユーザが手を振る動きであってもよいし、他の動きであってもよい。また、所定の状態は、ユーザが手を広げた状態であってもよいし、ユーザが手を握った状態であってもよいし、他の状態であってもよい。
＜５．情報処理システムのハードウェア構成例＞
続いて、本開示の実施形態に係る情報処理システム１０のハードウェア構成例について説明する。図１５は、本開示の実施形態に係る情報処理システム１０のハードウェア構成例を示す図である。ただし、図１５に示したハードウェア構成例は、情報処理システム１０のハードウェア構成の一例を示したに過ぎない。したがって、情報処理システム１０のハードウェア構成は、図１５に示した例に限定されない。
図１５に示したように、情報処理システム１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３と、センサ８０４と、入力装置８０８と、出力装置８１０と、ストレージ装置８１１と、ドライブ８１２と、撮像装置８１３と、通信装置８１５とを備える。
ＣＰＵ８０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム１０内の動作全般を制御する。また、ＣＰＵ８０１は、マイクロプロセッサであってもよい。ＲＯＭ８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
センサ８０４は、情報処理システム１０の状態を検知するための状態検知センサなどの各種検知用センサとその周辺回路とを含む。センサ８０４としては、例として、測位センサ、傾きセンサ、加速度センサ、ジャイロセンサ、方位センサ、温度センサ、湿度センサ、照度センサなどを挙げることができる。センサ８０４による検知信号は、ＣＰＵ８０１に送られる。これにより、ＣＰＵ８０１は、情報処理システム１０の状態（位置、傾き、加速度、角速度、方位、温度、湿度、照度など）を知ることができる。
入力装置８０８は、マウス、キーボード、タッチパネル、ボタン（電源ボタンなど）、マイクロフォン、スイッチ、ダイヤルおよびレバーなどユーザが情報を入力するための操作部と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ８０１に出力する入力制御回路などから構成されている。情報処理システム１０のユーザは、該入力装置８０８を操作することにより、情報処理システム１０に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、これらの操作部が設けられる位置は特に限定されない。例えば、情報処理システム１０の筐体側面に当該操作部が設けられてもよいし、ディスプレイが設けられる面と同一面上に設けられてもよい。
出力装置８１０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）およびランプなどの表示装置を含んでよい。さらに、出力装置８１０は、スピーカおよびヘッドホンなどの音声出力装置を含んでもよい。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。
ストレージ装置８１１は、情報処理システム１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置８１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置８１１は、ＣＰＵ８０１が実行するプログラムや各種データを格納する。
ドライブ８１２は、記憶媒体用リーダライタであり、情報処理システム１０に内蔵、あるいは外付けされる。ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ８０３に出力する。また、ドライブ８１２は、リムーバブル記憶媒体に情報を書き込むこともできる。
撮像装置８１３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置８１３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
通信装置８１５は、ネットワークを介して（あるいは、直接的に）外部装置と通信する。通信装置８１５は、無線通信用のインタフェースであってもよく、例えば、通信アンテナ、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路、ベースバンドプロセッサなどを含んでもよい。無線通信用のインタフェースの具体的な例としては、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ
Ａｃｃｅｓｓ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗｉ−ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）のような通信方式に対応したモデムなどの通信ユニットが挙げられる。
また、通信装置８１５は、有線通信用のインタフェースであってもよく、例えば、接続端子、伝送回路およびその他の通信処理用の回路を含んでもよい。また、ＣＰＵ８０１と通信装置８１５とは１つのチップにより構成されてもよいし、別々のデバイスとして実現されてもよい。また、図１５には図示していないが、情報処理システム１０は、例えば、充電式電池のような電力源から供給される電力により駆動してもよく、当該電力源は、情報処理システム１０に対して着脱可能に構成されていてもよい。
以上、本開示の実施形態に係る情報処理システム１０のハードウェア構成例について説明した。例えば、表示部１５０および記憶部１４０は、出力装置８１０およびストレージ装置８１１によりそれぞれ実現され得る。また、制御部１１０は、ＣＰＵ８０１により実現され得る。したがって、コンピュータを制御部１１０を有する情報処理システム１０として機能させるためのプログラムがストレージ装置８１１、ＲＯＭ８０２またはＲＡＭ８０３に保持され、ＣＰＵ８０１が当該プログラムを実行し得る。
また、表示制御情報を表示部１５０に出力するための構成が、「出力部」の一例に相当する。具体的な一例として、出力部は、図１５に示したＣＰＵ８０１とバスとの間に位置する信号線などのデバイスにより実現され得る。また、表示制御情報は、例えば、ＣＰＵ８０１が出力装置８１０（例えば、ディスプレイなど）を制御するための、ＲＧＢ信号やＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）信号などの映像信号により実現され得る。
なお、上述した情報処理システム１０の動作が実現されれば、図５に示した各構成の位置は特に限定されない。具体的な一例として、検出部１２０および表示部１５０と制御部１１０および記憶部１４０とのそれぞれが、ネットワークを介して接続された互いに異なる情報処理装置に設けられてもよい。この場合には、制御部１１０および記憶部１４０が設けられた情報処理装置が、例えば、ウェブサーバやクラウドサーバのようなサーバに相当し、検出部１２０および表示部１５０が当該サーバにネットワークを介して接続されたクライアントに相当し得る。
上記に示すように、情報処理システム１０が有する機能をクライアントおよびサーバにより実現した場合、制御部１１０を有するサーバが、ネットワークを介してクライアントに表示制御情報を送信するための構成（例えば、モデムなどの通信インタフェース）が、「出力部」の一例に相当する。
また、情報処理システム１０が有する機能をクライアントおよびサーバにより実現した場合には、表示制御情報の内容がシステム構成にあわせて適宜変更されてよい。具体的な一例として、クライアント側においてブラウザ上に前述した画面を表示させる場合には、表示制御情報は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＳＧＭＬ（Ｓｔａｎｄａｒｄ Ｇｅｎｅｒａｌｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのマークアップ言語により実現されてもよい。
また、上記に示す表示制御情報は、あくまで一例であり、表示制御部１１４と表示部１５０との間で情報を送受信するための方式、伝送路の種別、または、情報の送受信に用いる媒体（例えば、無線信号や光）に応じて適宜変更されてもよい。
＜６．むすび＞
以上説明したように、本開示の実施形態によれば、ユーザの視線を検出する視線検出部と、前記ユーザによる空間上の操作を検出する操作検出部と、前記操作に基づいてポインティング位置を決定する位置制御部と、を備え、前記位置制御部は、所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させる、情報処理システムが提供される。かかる構成によれば、ポインティング位置をユーザの所望する位置に容易に移動させることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記した例では、空間上の操作を行うユーザが１人である場合を主に説明したが、空間上の操作を行うユーザは複数人であってもよい。かかる場合には、位置制御部１１３によって複数のユーザそれぞれのポインティング位置が決定されてよい。また、位置制御部１１３は、所定の操作が検出された場合、その操作を行ったユーザの視線に応じてそのユーザのポインティング位置を移動させてよい。
また、表示制御部１１４は、複数のユーザそれぞれのポインティング位置にカーソルを表示させてよい。このとき、複数のユーザそれぞれのカーソルはユーザごとに異なっていてもよい。例えば、表示制御部１１４は、ユーザごとに異なった色でカーソルを表示させてもよい。かかる場合、表示制御部１１４は、ユーザによって操作される検出部１２０の色にカーソルの色を合わせてもよい。検出部１２０の色は、表示制御部１１４によって画像から認識されてもよいし、情報処理システム１０に登録されている検出部１２０のＩＤに応じて決められてもよい。
また、例えば、情報処理システム１０の動作は、必ずしもフローチャートに記載された順序に沿って時系列になされる必要はない。例えば、情報処理システム１０の動作は、フローチャートに記載した順序と異なる順序でなされてもよいし、フローチャートに記載された動作の少なくとも一部が並列的になされてもよい。
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理システム１０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの視線を検出する視線検出部と、
前記ユーザによる空間上の操作を検出する操作検出部と、
前記操作に基づいてポインティング位置を決定する位置制御部と、を備え、
前記位置制御部は、所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させる、
情報処理システム。
（２）
前記情報処理システムは、前記所定の操作が検出された場合に所定のオブジェクトを表示させる表示制御部を備える、
前記（１）に記載の情報処理システム。
（３）
前記位置制御部は、少なくとも前記所定のオブジェクトが表示されてから所定時間が経過するまで前記ポインティング位置を固定する、
前記（２）に記載の情報処理システム。
（４）
前記表示制御部は、前記視線の非検出時に前記所定の操作が検出された場合に、所定のフィードバックを行う、
前記（２）または（３）に記載の情報処理システム。
（５）
前記表示制御部は、前記視線の非検出時に所定のインジケータを表示させる、
前記（２）〜（４）のいずれか一項に記載の情報処理システム。
（６）
前記表示制御部は、前記視線の非検出時にカーソルを変化させる、
前記（２）〜（４）のいずれか一項に記載の情報処理システム。
（７）
前記操作検出部は、検出データに基づいて前記所定の操作を検出する、
前記（１）〜（６）のいずれか一項に記載の情報処理システム。
（８）
前記操作検出部は、前記検出データから認識される所定の状態を前記所定の操作として検出する、
前記（７）に記載の情報処理システム。
（９）
前記操作検出部は、前記検出データから認識される所定の動きを前記所定の操作として検出する、
前記（７）に記載の情報処理システム。
（１０）
前記表示制御部は、前記ポインティング位置にカーソルを表示させる、
前記（２）〜（９）のいずれか一項に記載の情報処理システム。
（１１）
前記表示制御部は、前記カーソルが表示されている状態において前記視線の非検出時に前記所定の操作が検出された場合に、所定のフィードバックを行う、
前記（１０）に記載の情報処理システム。
（１２）
前記表示制御部は、所定のカーソル非表示条件が満たされた場合に前記カーソルを非表示にする、
前記（２）〜（１１）のいずれか一項に記載の情報処理システム。
（１３）
前記位置制御部は、前記カーソルが非表示にされた状態において前記所定の操作が検出された場合に、前記視線に基づいて前記ポインティング位置を移動させる、
前記（１２）に記載の情報処理システム。
（１４）
前記位置制御部は、前記カーソルが非表示にされた状態において前記視線の非検出時に所定の再表示操作が検出された場合に、前記カーソルを非表示にしたときの前記カーソルの位置に前記ポインティング位置を決定する、
前記（１２）に記載の情報処理システム。
（１５）
前記位置制御部は、前記操作に基づいて前記ポインティング位置を表示領域の内部または外部に決定する、
前記（２）〜（１４）のいずれか一項に記載の情報処理システム。
（１６）
前記表示制御部は、前記ポインティング位置が前記表示領域の内部に収まらない場合、前記カーソルの位置を前記表示領域の端部に固定する、
前記（１５）に記載の情報処理システム。
（１７）
前記表示制御部は、前記ポインティング位置が表示領域の内部に収まらない場合、前記ポインティング位置と前記表示領域の端部との距離に応じて前記カーソルを変化させる、
前記（１６）に記載の情報処理システム。
（１８）
前記位置制御部は、前記ポインティング位置が表示領域の内部に収まらない場合、前記ポインティング位置を前記表示領域の端部に固定する、
前記（１）〜（１４）のいずれか一項に記載の情報処理システム。
（１９）
ユーザの視線を検出することと、
前記ユーザによる空間上の操作を検出することと、
前記操作に基づいてポインティング位置を決定することと、を含み、
プロセッサにより所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させること、
を含む、情報処理方法。
（２０）
コンピュータを、
ユーザの視線を検出する視線検出部と、
前記ユーザによる空間上の操作を検出する操作検出部と、
前記操作に基づいてポインティング位置を決定する位置制御部と、を備え、
前記位置制御部は、所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させる、
情報処理システムとして機能させるためのプログラム。
１０ 情報処理システム
１１０ 制御部
１１１ 視線検出部
１１２ 操作検出部
１１３ 位置制御部
１１４ 表示制御部
１２０ 検出部
１３０ 撮像部
１４０ 記憶部
１５０ 表示部
１５１ 表示領域
Ｃｕ カーソル
Ｄ 距離
Ｏｂｊ オブジェクト
Ｐ ポインティング位置
Ｕ ユーザ

Claims (18)

  1. ユーザの視線を検出する視線検出部と、
    前記ユーザによる空間上の操作を検出する操作検出部と、
    前記操作に基づいてポインティング位置を決定する位置制御部と、
    所定の操作が検出された場合に所定のオブジェクトを表示させる表示制御部と、
    を備え、
    前記オブジェクトは、前記所定の操作が検出されてから所定の時間が経過するまで動きを有する動画であり、
    前記位置制御部は、前記所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させ、少なくとも前記所定のオブジェクトが表示されてから前記所定の時間が経過するまで前記ポインティング位置を固定する、
    情報処理システム。
  2. 前記表示制御部は、前記視線の非検出時に前記所定の操作が検出された場合に、所定のフィードバックを行う、
    請求項１に記載の情報処理システム。
  3. 前記表示制御部は、前記視線の非検出時に所定のインジケータを表示させる、
    請求項１に記載の情報処理システム。
  4. 前記表示制御部は、前記視線の非検出時にカーソルを変化させる、
    請求項１に記載の情報処理システム。
  5. 前記操作検出部は、検出データに基づいて前記所定の操作を検出する、
    請求項１に記載の情報処理システム。
  6. 前記操作検出部は、前記検出データから認識される所定の状態を前記所定の操作として検出する、
    請求項５に記載の情報処理システム。
  7. 前記操作検出部は、前記検出データから認識される所定の動きを前記所定の操作として検出する、
    請求項５に記載の情報処理システム。
  8. 前記表示制御部は、前記ポインティング位置にカーソルを表示させる、
    請求項１に記載の情報処理システム。
  9. 前記表示制御部は、前記カーソルが表示されている状態において前記視線の非検出時に前記所定の操作が検出された場合に、所定のフィードバックを行う、
    請求項８に記載の情報処理システム。
  10. 前記表示制御部は、所定のカーソルの非表示条件が満たされた場合に前記カーソルを非表示にする、
    請求項１に記載の情報処理システム。
  11. 前記位置制御部は、前記カーソルが非表示にされた状態において前記所定の操作が検出された場合に、前記視線に基づいて前記ポインティング位置を移動させる、
    請求項１０に記載の情報処理システム。
  12. 前記位置制御部は、前記カーソルが非表示にされた状態において前記視線の非検出時に所定の再表示操作が検出された場合に、前記カーソルを非表示にしたときの前記カーソルの位置に前記ポインティング位置を決定する、
    請求項１０に記載の情報処理システム。
  13. 前記位置制御部は、前記操作に基づいて前記ポインティング位置を表示領域の内部または外部に決定する、
    請求項１に記載の情報処理システム。
  14. 前記表示制御部は、前記ポインティング位置が前記表示領域の内部に収まらない場合、カーソルの位置を前記表示領域の端部に固定する、
    請求項１３に記載の情報処理システム。
  15. 前記表示制御部は、前記ポインティング位置が表示領域の内部に収まらない場合、前記ポインティング位置と前記表示領域の端部との距離に応じて前記カーソルを変化させる、
    請求項１４に記載の情報処理システム。
  16. 前記位置制御部は、前記ポインティング位置が表示領域の内部に収まらない場合、前記ポインティング位置を前記表示領域の端部に固定する、
    請求項１に記載の情報処理システム。
  17. ユーザの視線を検出することと、
    前記ユーザによる空間上の操作を検出することと、
    前記操作に基づいてポインティング位置を決定することと、
    所定の操作が検出された場合に所定のオブジェクトを表示させることと、
    を含み、
    前記オブジェクトは、前記所定の操作が検出されてから所定の時間が経過するまで動きを有する動画であり、
    プロセッサにより前記所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させ、少なくとも前記所定のオブジェクトが表示されてから前記所定の時間が経過するまで前記ポインティング位置を固定すること、
    を含む、情報処理方法。
  18. コンピュータを、
    ユーザの視線を検出する視線検出部と、
    前記ユーザによる空間上の操作を検出する操作検出部と、
    前記操作に基づいてポインティング位置を決定する位置制御部と、
    所定の操作が検出された場合に所定のオブジェクトを表示させる表示制御部と、
    を備え、
    前記オブジェクトは、前記所定の操作が検出されてから所定の時間が経過するまで動きを有する動画であり、
    前記位置制御部は、前記所定の操作が検出された場合に前記視線に基づいて前記ポインティング位置を移動させ、少なくとも前記所定のオブジェクトが表示されてから前記所定の時間が経過するまで前記ポインティング位置を固定する、
    情報処理システムとして機能させるためのプログラム。
JP2015556712A 2014-01-08 2014-10-22 情報処理システム、情報処理方法およびプログラム Active JP6504058B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014001763 2014-01-08
JP2014001763 2014-01-08
PCT/JP2014/078117 WO2015104884A1 (ja) 2014-01-08 2014-10-22 情報処理システム、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2015104884A1 JPWO2015104884A1 (ja) 2017-03-23
JP6504058B2 true JP6504058B2 (ja) 2019-04-24

Family

ID=53523726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015556712A Active JP6504058B2 (ja) 2014-01-08 2014-10-22 情報処理システム、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US20160291692A1 (ja)
EP (1) EP3093738A4 (ja)
JP (1) JP6504058B2 (ja)
CN (1) CN105874409A (ja)
WO (1) WO2015104884A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11520400B2 (en) 2019-12-20 2022-12-06 Canon Kabushiki Kaisha Electronic apparatus and method for controlling the same

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091327A (ja) * 2015-11-12 2017-05-25 富士通株式会社 ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム
CN107402691A (zh) * 2017-07-13 2017-11-28 深圳Tcl新技术有限公司 终端光标的显示方法、显示装置及计算机可读存储介质
US10579163B2 (en) * 2018-06-02 2020-03-03 Mersive Technologies, Inc. System and method of annotation of a shared display using a mobile device
JP7178763B2 (ja) 2019-03-25 2022-11-28 富士フイルム株式会社 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
JP7467071B2 (ja) 2019-10-24 2024-04-15 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
WO2009008372A1 (ja) 2007-07-06 2009-01-15 Sony Corporation 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置
JP5531616B2 (ja) * 2007-12-07 2014-06-25 ソニー株式会社 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置
US8896527B2 (en) * 2009-04-07 2014-11-25 Samsung Electronics Co., Ltd. Multi-resolution pointing system
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
EP2579329A1 (en) * 2010-05-26 2013-04-10 Hitachi Chemical Company, Ltd. Wavelength conversion-type solar cell sealing material, and solar cell module
JP5656514B2 (ja) * 2010-08-27 2015-01-21 キヤノン株式会社 情報処理装置及び方法
US8395362B2 (en) * 2010-10-29 2013-03-12 R2 Semiconductor, Inc. Controlling a dead time of a switching voltage regulator
JP2012105034A (ja) * 2010-11-10 2012-05-31 Panasonic Corp リモートコントロールシステム
JP5387557B2 (ja) * 2010-12-27 2014-01-15 カシオ計算機株式会社 情報処理装置及び方法、並びにプログラム
JP5810874B2 (ja) * 2011-12-06 2015-11-11 株式会社日本自動車部品総合研究所 表示制御システム
JP2013125985A (ja) * 2011-12-13 2013-06-24 Sharp Corp 表示システム
JP2013134717A (ja) * 2011-12-27 2013-07-08 Aisin Aw Co Ltd 操作入力システム
GB2504492A (en) * 2012-07-30 2014-02-05 John Haddon Gaze detection and physical input for cursor symbol
GB2533520B (en) * 2013-08-27 2021-02-10 Auckland Uniservices Ltd Gaze-controlled interface method and system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11520400B2 (en) 2019-12-20 2022-12-06 Canon Kabushiki Kaisha Electronic apparatus and method for controlling the same

Also Published As

Publication number Publication date
US20160291692A1 (en) 2016-10-06
EP3093738A4 (en) 2017-06-21
EP3093738A1 (en) 2016-11-16
WO2015104884A1 (ja) 2015-07-16
CN105874409A (zh) 2016-08-17
JPWO2015104884A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
US11494000B2 (en) Touch free interface for augmented reality systems
JP6504058B2 (ja) 情報処理システム、情報処理方法およびプログラム
US9983687B1 (en) Gesture-controlled augmented reality experience using a mobile communications device
US8549418B2 (en) Projected display to enhance computer device use
JP6121647B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018077206A1 (zh) 增强现实场景生成方法、装置、系统及设备
US11768578B2 (en) User interfaces for tracking and finding items
JP6524661B2 (ja) 入力支援方法、入力支援プログラムおよび入力支援装置
EP2832107B1 (en) Information processing apparatus, information processing method, and program
JP6658518B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11572653B2 (en) Interactive augmented reality
US20150128036A1 (en) Method, apparatus and electronic device for moving target element
JP5295839B2 (ja) 情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラム
KR20210023680A (ko) 증강 현실 환경에서의 콘텐트 생성
JP2009288951A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2021531589A (ja) 目標対象の動作認識方法、装置及び電子機器
CN106201284B (zh) 用户界面同步系统、方法
JP2014513357A (ja) レーザー・ダイオード・モード
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
US20180059811A1 (en) Display control device, display control method, and recording medium
JP6065084B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6481360B2 (ja) 入力方法、入力プログラムおよび入力装置
JP6523509B1 (ja) ゲームプログラム、方法、および情報処理装置
US10855639B2 (en) Information processing apparatus and information processing method for selection of a target user
TWI621034B (zh) 虛擬實境環境中實境資訊之顯示方法及系統，及其相關電腦程式產品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180814

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180928

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

TRDD Decision of grant or rejection written
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190311

R151 Written notification of patent or utility model registration

Ref document number: 6504058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515