JPWO2017187708A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】視覚的に視認可能に提示された複数の対象に対して選択的に操作を行うような状況下においても、より好適な態様でユーザとの間のインタラクションを実現する。
【解決手段】所定の出力部に１以上の表示情報を表示させる制御部と、視覚的に視認可能なオブジェクトに対する操作を検出する検出部と、前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定する特定部と、を備え、前記制御部は、特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御する、情報処理装置。
【選択図】図４

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

ＰＣ（Personal Computer）、スマートフォン、及びタブレット端末等のような所謂情報処理装置（もしくは、当該情報処理装置を含む情報処理システム）を操作するためのＵＩ（User Interface）として、多様な方式のものが提案されている。特に、近年では、マウスやタッチパネル等のデバイスを利用した入力インタフェースに限らず、各種解析技術や各種認識技術を利用することで多様な入力インタフェースが提案されている。

例えば、特許文献１には、ユーザの視線を検出する技術の一例が開示されている。このような技術を応用することで、例えば、視覚的に視認可能に提示された各種情報に対する、ユーザからの視線により指定を受けて、当該ユーザと情報処理装置との間のインタラクションを実現するインタフェースも検討されている。

特開２０１２−７００８１号公報

一方で、視覚的に視認可能に提示された対象に対して操作を行う方式の入力インタフェースにより、複数の対象に対して選択的に操作を行う状況下において、情報処理装置が、ユーザにより指定された操作対象を択一的に特定することが困難となる場合がある。このような場合には、情報処理装置は、ユーザの意図をより的確にくみ取ることが困難となり、ひいては、当該ユーザの所望するサービスを提供することが困難となる場合がある。

このような問題に対して、情報処理装置が、再度ユーザに対して同様の入力を改めて求めることで、ユーザにより指定された対象の特定を再度試みる場合がある。しなしながら、従前の入力時と同じような状況下で同様の入力が再度行われたとしても、情報処理装置は、当該入力に基づき指定された操作対象を択一的に特定できるとは限らず、操作が煩雑になり、ユーザとの間のインタラクションが非連続的となる場合もある。

そこで、本開示では、視覚的に視認可能に提示された複数の対象に対して選択的に操作を行うような状況下においても、より好適な態様でユーザとの間のインタラクションを実現することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、所定の出力部に１以上の表示情報を表示させる制御部と、視覚的に視認可能なオブジェクトに対する操作を検出する検出部と、前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定する特定部と、を備え、前記制御部は、特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御する、情報処理装置が提供される。

また、本開示によれば、コンピュータシステムが、所定の出力部に１以上の表示情報を表示させることと、視覚的に視認可能なオブジェクトに対する操作を検出することと、
前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定することと、特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御することと、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータシステムに、所定の出力部に１以上の表示情報を表示させることと、視覚的に視認可能なオブジェクトに対する操作を検出することと、前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定することと、特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御することと、を実行させる、プログラムが提供される。

以上説明したように本開示によれば、視覚的に視認可能に提示された複数の対象に対して選択的に操作を行うような状況下においても、より好適な態様でユーザとの間のインタラクションを実現することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。 同実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。 情報処理システムとユーザとの間のインタラクションの一例について説明するための説明図である。 同実施形態に係る情報処理システムの動作の基本原理について説明するための説明図である。 視線分解能について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 変形例３に係る情報処理システムの概要について説明するための説明図である。 変形例３に係る情報処理システムの概要について説明するための説明図である。 変形例４に係る情報処理システムの概要について説明するための説明図である。 変形例４に係る情報処理システムの他の一態様について説明するための説明図である。 変形例５に係る情報処理システムの概要について説明するための説明図である。 変形例５に係る情報処理システムの他の一態様について説明するための説明図である。 変形例５に係る情報処理システムの他の一態様について説明するための説明図である。 変形例５に係る情報処理システムの他の一態様について説明するための説明図である。 変形例６に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの第１の適用例について説明するための説明図である。 同実施形態に係る情報処理システムの第２の適用例について説明するための説明図である。 同実施形態に係る情報処理システムの第２の適用例について説明するための説明図である。 同実施形態に係る情報処理システムの第３の適用例について説明するための説明図である。 同実施形態に係る情報処理システムの第３の適用例の他の一態様について説明するための説明図である。 同実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例を示す機能ブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概要
１．１．概略構成
１．２．入出力装置の構成
１．３．自己位置推定の原理
２．インタラクションに関する検討
３．技術的特徴
３．１．基本原理
３．２．機能構成
３．３．処理
４．変形例
４．１．変形例１：表示対象の特性に応じた表示制御の一例
４．２．変形例２：システムの特性に応じた表示制御の一例
４．３．変形例３：視線を誘導する位置の制御例
４．４．変形例４：候補以外の表示情報の表示制御の一例
４．５．変形例５：視線を誘導するための制御の一例
４．６．変形例６：優先度に応じた制御の一例
４．７．変形例７：状態や状況に応じた制御の一例
５．適用例
５．１．適用例１：スマートフォンやタブレット端末への適用例
５．２．適用例２：テーブルトップシステムへの適用例
５．３．適用例３：タッチ操作を採用する場合の制御の一例
６．ハードウェア構成
７．むすび

＜＜１．概要＞＞
＜１．１．概略構成＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図１は、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。図１において、参照符号Ｍ１１は、実空間上に位置する物体（即ち、実オブジェクト）を模式的に示している。また、参照符号Ｖ１３１及びＶ１３５は、実空間上に重畳するように提示される仮想的なコンテンツ（即ち、仮想オブジェクト）を模式的に示している。即ち、本実施形態に係る情報処理システム１は、所謂ＡＲ技術に基づき、例えば、実オブジェクトＭ１１１等の実空間上の物体に対して、仮想オブジェクトを重畳してユーザに提示する。なお、図１では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。

図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。情報処理装置１０と入出力装置２０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、Ｗｉ−Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local Area Network）、または、ＷＡＮ（Wide Area Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、一部が有線のネットワークとして構成されていてもよい。

入出力装置２０は、各種入力情報の取得や、当該入出力装置２０を保持するユーザに対して各種出力情報を提示を行うための構成である。また、入出力装置２０による出力情報の提示は、情報処理装置１０により、当該入出力装置２０により取得された入力情報に基づき制御される。例えば、入出力装置２０は、実オブジェクトＭ１１１を認識するための情報（例えば、撮像された実空間の画像）を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、実空間上における実オブジェクトＭ１１１の位置を認識し、当該認識結果に基づき、入出力装置２０に仮想オブジェクトＶ１３１及びＶ１３５を提示させる。このような制御により、入出力装置２０は、所謂ＡＲ技術に基づき、実オブジェクトＭ１１１に対して仮想オブジェクトＶ１３１及びＶ１３５が重畳するように、当該仮想オブジェクトＶ１３１及びＶ１３５をユーザに提示することが可能となる。

また、入出力装置２０は、例えば、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成されており、当該ユーザの視線を検出可能に構成されている。このような構成に基づき、情報処理装置１０は、例えば、入出力装置２０によるユーザの視線の検出結果に基づき、当該ユーザが所望の対象（例えば、実オブジェクトＭ１１１や、仮想オブジェクトＶ１３１及びＶ１３５等）を注視していることを認識した場合に、当該対象を操作対象として特定してもよい。また、情報処理装置１０は、入出力装置２０に対する所定の操作をトリガとして、ユーザの視線が向けられている対象を操作対象として特定してもよい。以上のようにして、情報処理装置１０は、操作対象を特定し、当該操作対象に関連付けられた処理を実行することで、入出力装置２０を介して各種サービスをユーザに提供してもよい。

なお、図１では、入出力装置２０と情報処理装置１０とが互いに異なる装置として示されているが、入出力装置２０及び情報処理装置１０は一体的に構成されていてもよい。また、入出力装置２０及び情報処理装置１０の構成及び処理の詳細については別途後述する。

以上、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明した。

＜１．２．入出力装置の構成＞
続いて、図２を参照して、図１に示した本実施形態に係る入出力装置２０の概略的な構成の一例について説明する。図２は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。

前述したように、本実施形態に係る入出力装置２０は、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成されている。例えば、図２に示す例では、入出力装置２０は、所謂アイウェア型（メガネ型）のデバイスとして構成されており、レンズ２９３ａ及び２９３ｂのうち少なくともいずれかが透過型のディスプレイ（出力部２１１）として構成されている。また、入出力装置２０は、第１撮像部２０１ａ及び２０１ｂと、第２撮像部２０３ａ及び２０３ｂと、操作部２０７と、メガネのフレームに相当する保持部２９１とを備える。保持部２９１は、入出力装置２０がユーザの頭部に装着されたときに、出力部２１１と、第１撮像部２０１ａ及び２０１ｂと、第２撮像部２０３ａ及び２０３ｂと、操作部２０７とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。また、図２には図示していないが、入出力装置２０は、ユーザの音声を集音するための集音部を備えていてもよい。

ここで、入出力装置２０のより具体的な構成について説明する。例えば、図２に示す例では、レンズ２９３ａが、右眼側のレンズに相当し、レンズ２９３ｂが、左眼側のレンズに相当する。即ち、保持部２９１は、入出力装置２０が装着された場合に、出力部２１１（換言すると、レンズ２９３ａ及び２９３ｂ）がユーザの眼前に位置するように、当該出力部２１１を保持する。

第１撮像部２０１ａ及び２０１ｂは、所謂ステレオカメラとして構成されており、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１によりそれぞれ保持される。このとき、第１撮像部２０１ａが、ユーザの右眼の近傍に保持され、第１撮像部２０１ｂが、当該ユーザの左眼の近傍に保持される。このような構成に基づき、第１撮像部２０１ａ及び２０１ｂは、入出力装置２０の前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置から撮像する。これにより、入出力装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、第１撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像間の視差に基づき、当該入出力装置２０から、当該被写体までの距離を算出することが可能となる。

なお、入出力装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time Of Flight）、Structured Light等の方式に基づき、入出力装置２０と被写体との間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体に対して赤外線等の光を投光し、投稿した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（所謂距離画像）を得る方式である。また、Structured Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。

また、第２撮像部２０３ａ及び２０３ｂは、入出力装置２０がユーザの頭部に装着されたときに、それぞれの撮像範囲内に当該ユーザの眼球が位置するように、保持部２９１によりそれぞれ保持される。具体的な一例として、第２撮像部２０３ａは、撮像範囲内にユーザの右眼が位置するように保持される。このような構成に基づき、第２撮像部２０３ａにより撮像された右眼の眼球の画像と、当該第２撮像部２０３ａと当該右眼との間の位置関係と、に基づき、当該右眼の視線が向いている方向を認識することが可能となる。同様に、第２撮像部２０３ｂは、撮像範囲内に当該ユーザの左眼が位置するように保持される。即ち、第２撮像部２０３ｂにより撮像された左眼の眼球の画像と、当該第２撮像部２０３ｂと当該左眼との間の位置関係と、に基づき、当該左眼の視線が向いている方向を認識することが可能となる。なお、図２に示す例では、入出力装置２０が第２撮像部２０３ａ及び２０３ｂの双方を含む構成について示しているが、第２撮像部２０３ａ及び２０３ｂのうちいずれかのみが設けられていてもよい。

操作部２０７は、入出力装置２０に対するユーザからの操作を受け付けるための構成である。操作部２０７は、例えば、タッチパネルやボタン等のような入力デバイスにより構成されていてもよい。操作部２０７は、保持部２９１により、入出力装置２０の所定の位置に保持されている。例えば、図２に示す例では、操作部２０７は、メガネのテンプルに相当する位置に保持されている。

また、本実施形態に係る入出力装置２０は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）が設けられ、当該入出力装置２０を装着したユーザの頭部の動き（換言すると、入出力装置２０自体の動き）を検出可能に構成されていてもよい。具体的な一例として、入出力装置２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、当該ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を認識してもよい。

以上のような構成に基づき、本実施形態に係る入出力装置２０は、ユーザの頭部の動きに応じた、実空間上における自身の位置や姿勢の変化を認識することが可能となる。また、このとき入出力装置２０は、所謂ＡＲ技術に基づき、実空間に位置する実オブジェクトに対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳するように、出力部２１１に当該コンテンツを提示することも可能となる。なお、入出力装置２０が、実空間上における自身の位置及び姿勢を推定するための方法（即ち、自己位置推定）の一例については、詳細を別途後述する。

なお、入出力装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ：Head Mounted Display）の一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。

シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。例えば、図２に示した入出力装置２０は、シースルー型ＨＭＤの一例に相当する。

ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。また、このときビデオシースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該ビデオシースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。

網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。

なお、参考として、上記に説明した例以外にも、没入型ＨＭＤと呼ばれるＨＭＤが挙げられる。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。

以上、図２を参照して、本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明した。

＜１．３．自己位置推定の原理＞
次いで、入出力装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間上における自身の位置及び姿勢を推定するための手法（即ち、自己位置推定）の原理の一例について説明する。

自己位置推定の具体的な一例として、入出力装置２０は、実空間上の実オブジェクト上に提示されたサイズが既知のマーカ等を、自身に設けられたカメラ等の撮像部により撮像する。そして、入出力装置２０は、撮像された画像を解析することで、マーカ（ひいては、当該マーカが提示された実オブジェクト）に対する自身の相対的な位置及び姿勢のうち少なくともいずれかを推定する。なお、以降の説明では、入出力装置２０が自身の位置及び姿勢を推定する場合に着目して説明するが、当該入出力装置２０は、自身の位置及び姿勢のうちいずれかのみを推定してもよい。

具体的には、画像中に撮像されたマーカの向き（例えば、マーカの模様等の向き）に応じて、当該マーカに対する撮像部（ひいては、当該撮像部を備える入出力装置２０）の相対的な方向を推定することが可能である。また、マーカのサイズが既知の場合には、画像中におけるマーカのサイズに応じて、当該マーカと撮像部（即ち、当該撮像部を備える入出力装置２０）との間の距離を推定することが可能である。より具体的には、マーカをより遠くから撮像すると、当該マーカは、より小さく撮像されることとなる。また、このとき画像中に撮像される実空間上の範囲は、撮像部の画角に基づき推定することが可能である。以上の特性を利用することで、画像中に撮像されたマーカの大きさ（換言すると、画角内においてマーカが占める割合）に応じて、当該マーカと撮像部との間の距離を逆算することが可能である。以上のような構成により、入出力装置２０は、マーカに対する自身の相対的な位置及び姿勢を推定することが可能となる。

また、所謂ＳＬＡＭ（simultaneous localization and mapping）と称される技術が、入出力装置２０の自己位置推定に利用されてもよい。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部（ひいては、入出力装置２０）の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、入出力装置２０に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。

以上のような構成のもとで、例えば、撮像部による既知のマーカの撮像結果に基づく、当該マーカに対する入出力装置２０の相対的な位置及び姿勢の推定結果が、上述したＳＬＡＭにおける初期化処理や位置補正に利用されてもよい。このような構成により、入出力装置２０は、マーカが撮像部の画角内に含まれない状況下においても、従前に実行された初期化や位置補正の結果を受けたＳＬＡＭに基づく自己位置推定により、当該マーカ（ひいては、当該マーカが提示された実オブジェクト）に対する自身の位置及び姿勢を推定することが可能となる。

以上、入出力装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間上における自身の位置及び姿勢を推定するための手法（即ち、自己位置推定）の原理の一例について説明した。なお、以降においては、例えば、上述した原理に基づき、実空間上の物体（実オブジェクト）に対する入出力装置２０の位置及び姿勢を推定することが可能であるものして説明する。

＜＜２．インタラクションに関する検討＞＞
続いて、情報処理システムとユーザとの間のインタラクションの一例について、特に、視覚的に視認可能に提示された対象（例えば、実オブジェクトや仮想オブジェクト等）に対して操作を行う場合に着目して説明したうえで、本実施形態に係る情報処理システムの課題について整理する。

例えば、図３は、情報処理システムとユーザとの間のインタラクションの一例について説明するための説明図であり、ＡＲ技術に基づき実空間上に重畳された仮想オブジェクトを、ユーザが視線により操作対象として指定する場合の一例を示している。図３に示す例では、複数の仮想オブジェクトＶ１３５及びＶ１３７が実空間上に重畳するように提示されている。なお、図３では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、各仮想オブジェクトが実際に実空間上に位置するように提示されている。なお、図３において、参照符号Ｕａは、ユーザの頭部の位置（換言すると、視点の位置）を模式的に示しており、参照符号Ｒ１１１は、当該ユーザの視線を模式的に示している。また、参照符号Ｒ１１３は、視線Ｒ１１１が向けられている実空間上の領域を模式的に示している。

図３に示す例では、情報処理システムは、例えば、視線Ｒ１１１の検出結果に基づき、当該視線Ｒ１１１が向けられている実空間上の領域Ｒ１１３中に位置する各種オブジェクト（例えば、仮想オブジェクト）を操作の対象として認識する。

一方で、図３に示す例では、仮想オブジェクトＶ１３５及びＶ１３７が互いに近傍に位置するように提示されており、ユーザは、当該仮想オブジェクトＶ１３５及びＶ１３７が重畳された位置に視線Ｒ１１１を向けている。即ち、当該視線Ｒ１１１が向けられている領域Ｒ１１３中には、仮想オブジェクトＶ１３５及びＶ１３７それぞれの少なくともいずれかの部分が含まれている。そのため、図３に示すような状況下では、情報処理システムは、視線Ｒ１１１が向けられた仮想オブジェクトＶ１３５及びＶ１３７のうち、ユーザが指定している対象を択一的に特定することが困難な場合がある。このような場合には、情報処理システムは、ユーザの意図をより的確にくみ取ることが困難となる。そのため、例えば、情報処理システムは、ユーザの意図をくみ取れずに、サービスを提供することが困難となる場合もある。また、他の一例として、情報処理システムは、ユーザの意図を誤ってくみ取ることで、ユーザの意図とは異なるサービスを提供する場合も想定され得る。

このような問題に対して、情報処理システムが、ユーザの意図をより的確にくみ取ることが困難な場合において、当該ユーザに対して同様の入力を求めることで、ユーザにより指定された対象の特定を再度試みる場合がある。しかしながら、従前の入力時と同じような状況下で同様の入力が再度行われたとしても、情報処理システムは、当該入力に基づき指定された操作対象を択一的に特定できるとは限らない。このような状況下では、情報処理システムにより、ユーザに対する再入力の要求が複数回行われる場合も想定され、結果として操作が煩雑になる可能性がある。また、ユーザに対して同様の入力を複数回連続して要求することにより、情報処理システムとユーザとの間のインタラクションが非連続的となる場合も想定され得る。

このような状況を鑑み、本開示では、視覚的に視認可能に提示された複数の対象に対して選択的に操作が行われるような状況下において、ユーザの操作を誘導することで、当該ユーザとの間のインタラクションをより好適な態様で実現するための仕組みを提案する。

＜＜３．技術的特徴＞＞
以下に、本実施形態に係る情報処理システムの技術的特徴について説明する。

＜３．１．基本原理＞
まず、図４を参照して、本実施形態に係る情報処理システム１が、視覚的に視認可能に提示された複数の対象に対して選択的に操作が行われるような状況下において、ユーザにより指定された対象をより精度良く特定するための動作の代表的な一例について基本原理を説明する。図４は、本実施形態に係る情報処理システムの動作の基本原理について説明するための説明図である。なお、図４に示す例では、図３に示す例と同様に、ＡＲ技術に基づき実空間上に重畳された仮想オブジェクトを、ユーザが視線により操作対象として指定する場合の一例を示している。

図４における参照符号Ｕａ、Ｒ１１１、及びＲ１１３は、図３において同様の符号が付された対象をそれぞれ示している。即ち、図４は、図３に示す例と同様に、互いに近傍に位置するように提示された仮想オブジェクトＶ１３５及びＶ１３７が重畳された位置に対して、ユーザが視線Ｒ１１１を向けている状況を示している。なお、参照符号Ｖ１３５ａ及びＶ１３７ａは、ユーザが視線を向けたタイミングにおいて、仮想オブジェクトＶ１３５及びＶ１３７が重畳された実空間上の位置それぞれを模式的に示している。即ち、このタイミングにおいて、情報処理システム１は、操作の対象となる仮想オブジェクトの候補として、仮想オブジェクトＶ１３５及びＶ１３７を特定することとなる。

本実施形態に係る情報処理システム１は、上述したように、操作の対象となる仮想オブジェクトの候補を複数特定した場合には、特定した複数の候補が互いに離間するように、当該候補のうち少なくともいずれかの表示位置を制御する。例えば、図４に示す例では、情報処理システム１は、仮想オブジェクトＶ１３５が位置Ｖ１３５ａからＶ１３５ｂに移動し、仮想オブジェクトＶ１３７が位置Ｖ１３７ａからＶ１３７ｂに移動するように、当該仮想オブジェクトＶ１３５及びＶ１３７の表示位置を制御している。

上述した制御により、ユーザが仮想オブジェクトＶ１３５及びＶ１３７のいずれかを注視していた場合には、当該ユーザの視線Ｒ１１１が、注視していた対象の移動にあわせて誘導されることが期待される。具体的な一例として、ユーザが仮想オブジェクトＶ１３７を注視していた場合には、当該ユーザの視線Ｒ１１１は、位置Ｖ１３７ａから位置Ｖ１３７ｂに向けて誘導されることが期待される。即ち、情報処理システム１は、視線誘導の結果として、仮想オブジェクトＶ１３５及びＶ１３７のうち、本来ユーザが操作対象として指定していた仮想オブジェクトを特定することが可能となる。

また、対象となる複数の仮想オブジェクトを互いに離間させる距離は、情報処理システム１が、視線の検出結果に基づき対象を特定するための分解能（以降では、「視線分解能」とも称する）に応じて決定されてもよい。そこで、視線分解能について、以下により詳しく説明する。

視線分解能は、情報処理システム１による視線の検出精度に応じて変化し得る。具体的には、視線Ｒ１１１の検出精度がより低いほど、当該視線Ｒ１１１の検出（特に、視線Ｒ１１１が向けられた方向の検出）に係る誤差は大きくなり、当該視線Ｒ１１１が向けられている可能性がある実空間上の領域Ｒ１１３（換言すると、実空間が撮像された画像中の対応する領域）はより広くなる。そのため、視線Ｒ１１１の検出精度が低い場合には、当該視線Ｒ１１１が示している実空間上の位置の分解能（即ち、視線分解能）はより低くなる傾向にある。一方で、視線Ｒ１１１の検出精度が高いほど、当該視線のＲ１１１の検出に係る誤差は小さくなるため、当該視線Ｒ１１１が向けられている可能性がある実空間上の領域Ｒ１１３はより狭くなる。そのため、視線Ｒ１１１の検出精度が高い場合には、視線分解能はより高くなる傾向にある。

また、視線分解能は、視点と、視線が向けられている対象との間の距離によっても異なる。例えば、図５は、視線分解能について説明するための説明図である。図５において、参照符号Ｖ１４１〜Ｖ１４７のそれぞれは、実空間上に重畳するように提示された仮想オブジェクトを示している。即ち、図５に示す例では、仮想オブジェクトＶ１４５及びＶ１４７は、仮想オブジェクトＶ１４１及びＶ１４３に比べて、視点Ｕａのより近傍に位置するように提示されている。なお、仮想オブジェクトＶ１４１及びＶ１４３それぞれが重畳される実空間上の位置の間の距離と、仮想オブジェクトＶ１４５及びＶ１４７それぞれが重畳される実空間上の位置の間の距離とは略等しいものとする。また、参照符号Ｒ１１７ａ及びＲ１１７ｂは、視点Ｕａから仮想オブジェクトＶ１４１及びＶ１４３の双方を参照する場合の視野角を模式的に示している。同様に、参照符号Ｒ１１９ａ及びＲ１１９ｂは、視点Ｕａから仮想オブジェクトＶ１４５及びＶ１４７の双方を参照する場合の視野角を模式的に示している。

図５に示すように、仮想オブジェクトＶ１４５及びＶ１４７の双方を参照する場合の視野角は、視点Ｕａからより離間して提示される仮想オブジェクトＶ１４１及びＶ１４３の双方を参照する場合の視野角よりも広くなる。即ち、視点Ｕａから、仮想オブジェクトＶ１４５及びＶ１４７を参照した場合には、当該仮想オブジェクトＶ１４５及びＶ１４７は、仮想オブジェクトＶ１４１及びＶ１４３に比べて相対的により離間しているようにユーザに視認される。そのため、視点に対してより近傍に位置する対象を参照する場合には、視点に対してより遠方に位置する対象を参照する場合に比べて、視線分解能が相対的により高くなる傾向にある。

以上のような特性に基づき、情報処理システム１は、例えば、図４に示すように、仮想オブジェクトＶ１３５及びＶ１３７が互いに離間し、かつ、視点Ｕａのより近傍に位置するように、当該仮想オブジェクトＶ１３５及びＶ１３７の表示位置を制御してもよい。

以上、図４及び図５を参照して、本実施形態に係る情報処理システム１の動作の代表的な一例について基本原理を説明した。

＜３．２．機能構成＞
続いて、図６を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明する。図６は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。

図６に示すように、本実施形態に係る情報処理システム１は、入出力装置２０と、情報処理装置１０と、記憶部１５１とを含む。なお、図６に示す入出力装置２０及び情報処理装置１０は、図１を参照して説明した入出力装置２０及び情報処理装置１０に相当する。

まず、入出力装置２０の構成に着目する。図６に示すように、入出力装置２０は、撮像部２０１と、検知部２５１と、入力部２５３と、出力部２１１とを含む。なお、出力部２１１は、図２における出力部２１１に対応している。

撮像部２０１は、図２においてステレオカメラとして構成された第１撮像部２０１ａ及び２０１ｂに相当する。即ち、撮像部２０１は、実空間上の物体（被写体）の画像を撮像し、撮像した当該画像を情報処理装置１０に出力する。

検知部２５１は、入出力装置２０を装着したユーザの頭部の動きや、当該ユーザの視線が向けられている方向（以降では、「視線方向」とも称する）を検出するための情報の取得に係る構成を模式的に示している。具体的には、検知部２５１は、加速度センサや角速度センサ等のような各種センサを含み、当該センサによる検知結果を、入出力装置２０の位置や姿勢の変化（ひいては、当該入出力装置２０を装着したユーザの頭部の動き）を検出するための情報として取得してもよい。また、検知部２５１は、図２を参照して説明した第２撮像部２０３ａ及び２０３ｂを含み、当該撮像部により撮像されたユーザの眼球の画像を、当該ユーザの視線を検出するための情報として取得してもよい。そして、検知部２５１は、取得した情報を情報処理装置１０に出力する。

入力部２５３は、入出力装置２０に対してユーザから入力された情報を取得するための構成である。具体的には、入力部２５３は、図２を参照して説明した操作部２０７を含んでもよい。また、入力部２５３は、ユーザの音声を集音するための集音部を含み、当該集音部に対して入力されたユーザの音声を、当該ユーザから入力された情報として取得してもよい。なお、上記に説明した例はあくまで一例であり、入出力装置２０に対してユーザが情報を入力することが可能であれば、入力部２５３に含まれる構成（例えば、入力デバイス）の種別は特に限定されない。そして、入力部２５３は、取得した情報を情報処理装置１０に出力する。

次いで、情報処理装置１０の構成に着目する。図６に示すように、情報処理装置１０は、認識部１０１と、視線検出部１０３と、トリガ検出部１０５と、対象特定部１０７と、処理実行部１０９と、表示制御部１１１とを含む。

認識部１０１は、撮像部２０１から撮像された画像を取得し、取得した画像に対して解析処理を施すことで、当該画像に撮像された実空間上の物体（被写体）を認識する。具体的な一例として、認識部１０１は、ステレオカメラとして構成された撮像部２０１から、互いに異なる複数の視点から撮像された画像（以降では、「ステレオ画像」とも称する）を取得し、取得した画像間の視差に基づき、画像中に撮像された物体までの距離を、当該画像の画素ごとに測定する。これにより、認識部１０１は、当該画像が撮像されたタイミングにおける、撮像部２０１（ひいては、入出力装置２０）と、当該画像に撮像された各物体との間の、実空間上における相対的な位置関係（特に、奥行き方向の位置関係）を推定または認識することが可能となる。

また、認識部１０１は、ＳＬＡＭに基づき自己位置推定と環境地図の作成とを行うことで、入出力装置２０と、画像中に撮像された物体との間の、実空間上における位置関係を認識してもよい。この場合には、例えば、認識部１０１は、検知部２５１から入出力装置２０の位置及び姿勢の変化を示す情報を取得し、当該情報をＳＬＡＭに基づく自己位置推定に利用してもよい。

以上のようにして、認識部１０１は、画像中に撮像された各物体の実空間上における位置を認識し、認識結果を示す情報を対象特定部１０７に出力する。

視線検出部１０３は、入出力装置２０を装着したユーザの視線を検出するための構成である。具体的には、視線検出部１０３は、検知部２５１から、入出力装置２０の位置や姿勢の変化の検知結果を示す情報を取得し、取得した情報に基づき当該入出力装置２０を装着したユーザの頭部の動き（即ち、頭部の位置や向き）を推定する。

また、視線検出部１０３は、検知部２５１から、入出力装置２０を装着したユーザの眼球が撮像された画像を取得し、取得した画像に対して画像解析を施すことで、画像中に撮像された眼球が向いている方向を認識してもよい。この場合には、例えば、視線検出部１０３は、画像中に撮像された眼球が向いている方向の認識結果と、当該画像を撮像した撮像部と当該眼球との間の位置関係と、に基づき、実空間上において当該眼球が向いている方向、即ち、視線が向けられている方向（以降では「視線方向」とも称する）を検出する。なお、眼球の画像を撮像する撮像部と当該眼球との間の位置関係については、想定される入出力装置２０の装着状態に基づきあらかじめ認識または推定することが可能であることは言うまでもない。また、このとき検出される視線方向は、入出力装置２０の位置及び姿勢（ひいては、当該入出力装置２０を装着したユーザの頭部の位置及び姿勢）を基準とした相対的な方向に相当する。

なお、上記では、入出力装置２０の検知部２５１により取得された情報に基づきユーザの視線を推定または検出する例について説明したが、ユーザの視線を推定または検出できれば、構成や手法は必ずしも上記に説明した例には限定されない。具体的な一例として、視線検出部１０３は、入出力装置２０とは異なる外部装置として設けられた撮像部により撮像されたユーザの頭部や眼の画像に基づき、当該ユーザの頭部の位置及び姿勢や、当該ユーザの視線を推定または検出してもよい。

そして、視線検出部１０３は、ユーザの頭部の動きの推定結果と、視線方向の検出結果とに基づき、実空間に向けられたユーザの視線の位置及び向きを推定（または検出）し、当該推定結果を示す情報を対象特定部１０７に出力する。

トリガ検出部１０５は、入力部２５３を介してユーザから入力された情報（以降では、「ユーザ入力」とも称する）を、当該入力部２５３から取得する。そして、トリガ検出部１０５は、取得したユーザ入力が所定の操作内容を示す場合に、当該ユーザ入力をトリガとして、対象特定部１０７に対して当該操作内容に関連付けられた指示を行う。具体的な一例として、トリガ検出部１０５は、取得したユーザ入力が、図４を参照して説明した操作の対象となる候補の特定を示す場合には、当該ユーザ入力をトリガとして、対象特定部１０７に対して操作の対象となる候補の特定を指示する。

具体的な一例として、図２に示すような操作部２０７に対して操作が行われた場合には、トリガ検出部１０５は、入力部２５３（即ち、操作部２０７）から、操作内容を示す制御情報を取得する。この場合には、トリガ検出部１０５は、取得した制御情報が、操作の対象となる候補を特定するための操作を示す場合に、当該操作をトリガとして、対象特定部１０７に対して操作の対象となる候補の特定を指示する。より具体的な一例として、トリガ検出部１０５は、取得した制御情報が所定のタッチパネルに対するタッチ操作を示す場合に、当該タッチ操作をトリガとして、対象特定部１０７に対して操作の対象となる候補の特定を指示してもよい。

また、他の一例として、音声入力により操作が行われた場合には、トリガ検出部１０５は、入力部２５３（即ち、集音部）から、集音結果に基づく音響信号を取得する。この場合には、トリガ検出部１０５は、取得した音響信号に対して所謂音声認識処理や自然言語処理に基づく各種解析処理を施すことで、ユーザが発話した内容を認識する。そして、トリガ検出部１０５は、ユーザが発話した内容が、操作の対象となる候補を特定するための操作を示す場合に、当該発話内容の認識結果をトリガとして、対象特定部１０７に対して操作の対象となる候補の特定を指示する。

もちろん、トリガとなる操作の種別は上述した例には限定されない。具体的な一例として、トリガ検出部１０５は、ユーザが所定のジェスチャを実行した場合に、当該ジェスチャの検出を上記トリガとしてもよい。この場合には、トリガ検出部１０５は、例えば、ウェアラブル端末等に設けられた加速度センサ等による所定の部位の位置や姿勢の変化の検出結果に基づき、当該ジェスチャを検出してもよい。また、トリガ検出部１０５は、外部に設けられた撮像部により撮像されたユーザの動画像に基づき、当該ユーザにより実行された当該ジェスチャを検出してもよい。

また、他の一例として、トリガ検出部１０５は、ＧＰＳ（Global Positioning System）等により取得されたユーザの位置情報を、上記トリガの検出に利用してもよい。具体的な一例として、トリガ検出部１０５は、取得されたユーザの位置情報に基づき、当該ユーザが所定の位置に近接したことを認識した場合や、所定の位置を通過したことを認識した場合に、当該認識結果を上記トリガとして利用してもよい。

また、他の一例として、トリガ検出部１０５は、所定の撮像部（例えば、撮像部２０１）により撮像された実空間の画像に基づき、ユーザの移動を認識し、当該認識結果を上記トリガの検出に利用してもよい。具体的な一例として、トリガ検出部１０５は、当該撮像部により撮像された画像に基づき、ユーザが実空間上の所定の物体（実オブジェクト）に近接したことを認識した場合に、当該認識結果を上記トリガとして利用してもよい。また、他の一例として、トリガ検出部１０５は、当該撮像部により撮像された画像に基づき、ユーザが実空間上の所定の位置（ポイント）を通過したことを認識した場合に、当該認識結果を上記トリガとして利用してもよい。

対象特定部１０７は、認識部１０１から、撮像部２０１により画像中に撮像された各物体（実オブジェクト）の実空間上における位置の認識結果を示す情報を取得する。また、対象特定部１０７は、視線検出部１０３から、実空間に向けられたユーザの視線の位置及び向きの推定結果を示す情報を取得する。また、対象特定部１０７は、後述する表示制御部１１１から、出力部２１１を介してユーザに提示された表示情報（例えば、実空間に重畳するように提示された仮想オブジェクト等）の表示位置を示す情報を取得する。

そして、対象特定部１０７は、認識部１０１、視線検出部１０３、及び表示制御部１１１それぞれから取得した上記各種情報に基づき、ユーザの視点及び視線と、実空間上の物体（実オブジェクト）と、表示情報が重畳された実空間上の位置との間の位置関係を認識する。

次いで、対象特定部１０７は、トリガ検出部１０５から、操作の対象となる候補の特定に係る指示を受けると、ユーザの視点及び視線と、実空間上の物体（実オブジェクト）と、表示情報が重畳された実空間上の位置との間の位置関係に基づき、当該視線が向けられている対象（例えば、実オブジェクトや仮想オブジェクト）の候補を特定する。なお、このとき対象特定部１０７は、視線の検出に係る精度に応じた視線分解能に基づき、当該視線が向けられている実空間上の領域を推定し、当該領域中に位置する対象を、当該視線が向けられている対象の候補として特定してもよい。

また、対象特定部１０７は、視線が向けられている対象の候補に応じて、操作対象となる表示情報の候補を特定する。具体的な一例として、対象特定部１０７は、ユーザの視線が仮想オブジェクト等の表示情報に向けられている場合には、当該表示情報を操作対象の候補として特定する。また、他の一例として、対象特定部１０７は、ユーザの視線が実オブジェクトに向けられている場合には、当該実オブジェクトに関連付けられた表示情報（例えば、当該実オブジェクトを操作するための表示情報等）を操作対象の候補として特定してもよい。なお、対象特定部１０７は、ユーザの視線が向けられている実オブジェクトに対して表示情報が関連付けられていない場合には、当該実オブジェクトを、視線が向けられている対象の候補から除外してもよい。

そして、対象特定部１０７は、操作対象の候補を択一的に特定した場合には、当該候補となる表示情報に関連付けられた処理の実行を、後述する処理実行部１０９に指示する。一方で、対象特定部１０７は、操作対象の候補を１つに限定することが困難な場合（即ち、当該候補が複数存在する場合）には、当該候補となる表示情報の表示位置の制御を、表示制御部１１１に指示する。

処理実行部１０９は、情報処理装置１０（ひいては、情報処理システム１）が提供する各種機能（例えば、アプリケーション）を実行するための構成である。処理実行部１０９は、例えば、対象特定部１０７からの指示を受けて、対応するアプリケーションを所定の記憶部（例えば、後述する記憶部１５１）から抽出し、抽出したアプリケーションを実行してもよい。また、処理実行部１０９は、各種アプリケーションの実行結果を示す情報を表示制御部１１１に出力してもよい。

表示制御部１１１は、出力対象となる各種表示情報を出力部２１１に出力させることで、当該表示情報をユーザに提示する。

具体的には、表示制御部１１１は、ＡＲ技術に基づき実空間上に仮想オブジェクトが重畳するように、当該仮想オブジェクトを出力部２１１に出力させてもよい。なお、この場合には、表示制御部１１１は、認識部１０１または対象特定部１０７から、撮像部２０１により画像中に撮像された各物体（実オブジェクト）の実空間上における位置の認識結果を示す情報を取得してもよい。これにより、表示制御部１１１は、実空間上における実オブジェクトの位置を認識し、当該認識結果に基づき、実空間上の所望の位置に仮想オブジェクトが重畳するように、当該仮想オブジェクトの表示位置を制御することが可能となる。

また、表示制御部１１１は、出力部２１１を介してユーザに提示された表示情報の表示位置を示す情報を対象特定部１０７に出力する。これにより、対象特定部１０７は、当該情報に基づき、当該表示情報が重畳された実空間上の位置を推定することが可能となる。

また、表示制御部１１１は、対象特定部１０７から、操作対象の候補となる複数の表示情報それぞれの表示位置の制御に関する指示を受ける場合がある。この場合には、表示制御部１１１は、対象特定部１０７から操作対象の候補として指定された複数の表示情報が互いに離間して提示されるように、当該複数の表示情報のうち少なくともいずれかの表示位置を制御する。このような制御により、操作対象の候補となる複数の表示情報のうち、本来ユーザが操作対象として視線を向けていた候補に、当該ユーザの視線を誘導することが可能となるため、上記対象特定部１０７は、当該候補を択一的に特定することが可能となる。

また、表示制御部１１１は、各種アプリケーションの実行結果を示す情報を処理実行部１０９から取得する場合がある。この場合には、表示制御部１１１は、当該アプリケーションの実行結果を示す情報を出力部２１１に出力させることで、当該情報をユーザに提示してもよい。

記憶部１５１は、各種データを、一時的または恒常的に記憶するための記憶領域である。例えば、記憶部１５１には、情報処理装置１０が各種機能を実行するためのデータが記憶されていてもよい。より具体的な一例として、記憶部１５１には、各種アプリケーションを実行するためのデータ（例えば、ライブラリ）や各種設定等を管理するための管理データ等が記憶されていてもよい。

なお、図６に示した情報処理システム１の機能構成はあくまで一例であり、上述した各構成の処理を実現することが可能であれば、情報処理システム１の機能構成は必ずしも図６に示す例のみには限定されない。具体的な一例として、入出力装置２０と情報処理装置１０とが一体的に構成されていてもよい。また、他の一例として、記憶部１５１が、情報処理装置１０に含まれていてもよい。また、他の一例として、情報処理装置１０の各構成のうち、一部の構成が情報処理装置１０の外部（例えば、サーバ等）に設けられていてもよい。

以上、図６を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明した。

＜３．３．処理＞
続いて、図７を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に情報処理装置１０の処理に着目して説明する。図７は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。

図７に示すように、情報処理装置１０は、まずユーザが注目している対象を特定する（Ｓ１０１）。具体的には、情報処理装置１０（認識部１０１）は、入出力装置２０の撮像部２０１により撮像された実空間の画像に基づき、当該画像に撮像された実空間上の物体（実オブジェクト）を認識する。また、情報処理装置１０（視線検出部１０３）は、入出力装置２０の検知部２５１により取得された各種情報に基づき、当該入出力装置２０を装着したユーザの視線を検出する。なお、実空間上の物体を認識する方法や、ユーザの視線を検出する方法については既に前述しているため、詳細な説明は省略する。そして、情報処理装置１０は、実空間上の物体の認識結果と、ユーザの視線の検出結果とに基づき、当該ユーザの視点及び視線と、実空間上の物体（実オブジェクト）と、表示情報（例えば、仮想オブジェクト）が重畳された実空間上の位置との間の位置関係を認識する。これにより、情報処理装置１０は、ユーザの視線が向けられている対象（即ち、実オブジェクトや仮想オブジェクト）を特定することが可能となる。

次いで、情報処理装置１０（対象特定部１０７）は、トリガとなる所定の操作が検出されると（Ｓ１０３）、そのタイミングにおいてユーザの視線が向けられている対象の候補を特定する。また、情報処理装置１０は、視線が向けられている対象の候補に応じて、操作対象となる表示情報の候補を特定する（Ｓ１０５）。

ここで、情報処理装置１０は、操作対象の候補を１つに限定することが困難な場合には（Ｓ１０５、ＮＯ）、当該候補として特定された複数の表示情報うち少なくともいずれかの表示を制御することで、ユーザとの間のインタラクションを誘発する（Ｓ１０７）。具体的には、情報処理装置１０（表示制御部１１１）は、操作対象の候補として特定された複数の表示情報が互いに離間して提示されるように、当該複数の表示情報のうち少なくともいずれかの表示位置を制御する。このような制御により、情報処理装置１０は、実際にユーザが操作対象として視線を向けていた候補（即ち、ユーザが操作対象として指定していた候補）に、当該ユーザの視線を誘導し、視線が誘導された候補を操作対象として特定する（Ｓ１０５）。

そして、情報処理装置１０は、操作対象の候補を１つに限定可能な場合には（Ｓ１０５、ＹＥＳ）、当該操作対象に対するインタラクションを発生させる（Ｓ１０９）。具体的な一例として、情報処理装置１０（処理実行部１０９）は、操作対象として特定された表示情報に関連付けられている処理（例えば、アプリケーション）を実行してもよい。

以上、図７を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に情報処理装置１０の処理に着目して説明した。

＜＜４．変形例＞＞
続いて、本実施形態に係る情報処理システムの変形例について説明する。

＜４．１．変形例１：表示対象の特性に応じた表示制御の一例＞
まず、変形例１として、情報処理システム１が、操作対象の候補として特定した表示情報の表示制御の一例について、特に、操作対象の候補として特定した表示情報の特性に応じた制御に着目して説明する。本実施形態に係る情報処理システム１は、操作対象の候補として特定された複数の表示情報を互いに離間させることで、ユーザが実際に操作対象として指定していた表示情報に、当該ユーザの視線を誘導することで、当該表示情報を特定する。そのため、情報処理システム１は、操作対象の候補として特定した表示情報の特性や、当該表示情報の表示位置を制御してもよい。

例えば、情報処理システム１は、操作対象の候補として特定した複数の表示情報それぞれの大きさに応じて、互いに離間させる当該複数の表示情報間の距離を制御してもよい。具体的な一例として、情報処理システム１は、操作対象の候補として特定した複数の表示情報それぞれがより大きいほど、当該複数の表示情報がより離間するように、当該表示情報の表示位置を制御してもよい。

また、他の一例として、情報処理システム１は、操作対象の候補として特定した複数の表示情報それぞれの間の位置関係に応じて、当該複数の表示情報それぞれを移動させる方向を制御してもよい。例えば、情報処理システム１は、特定した複数の表示情報それぞれの前後関係や重なりを考慮して、当該複数の表示情報それぞれを移動させる方向を制御してもよい。

また、情報処理システム１は、操作対象の候補として特定した複数の表示情報それぞれと視点（即ち、ユーザ）との間の位置関係に応じて、当該複数の表示情報それぞれを移動させる方向や移動させる距離を制御してもよい。例えば、情報処理システム１は、特定した複数の表示情報それぞれと視点との間の距離に応じて、互いに離間させる当該複数の表示情報間の距離を制御してもよい。

以上、変形例１として、情報処理システム１が、操作対象の候補として特定した表示情報の表示制御の一例について、特に、操作対象の候補として特定した表示情報の特性に応じた制御に着目して説明した。

＜４．２．変形例２：システムの特性に応じた表示制御の一例＞
続いて、変形例２として、情報処理システム１が、操作対象の候補として特定した表示情報の表示制御の一例について、特に、当該情報処理システム１を構成する各デバイスの特性に応じた制御に着目して説明する。

例えば、情報処理システム１は、視線分解能に応じて、互いに離間させる複数の表示情報間の距離を制御してもよい。具体的には、情報処理システム１は、視線検出の精度がより低いほど、視線分解能がより低くなる傾向にある。そのため、情報処理システム１は、例えば、視線検出の精度がより低いほど、操作対象の候補として特定した複数の表示情報がより離間するように、当該表示情報の表示位置を制御してもよい。

また、前述したように、視点に対してより近傍に位置する対象を参照する場合には、視点に対してより遠方に位置する対象を参照する場合に比べて、視線分解能が相対的により高くなる傾向にある。そのため、情報処理システム１は、視線検出の精度がより低いほど、操作対象の候補として特定した複数の表示情報が、互いに離間し、かつ、より視点（即ち、ユーザ）の近傍に位置するように、当該表示情報の表示位置を制御してもよい。

以上、変形例２として、情報処理システム１が、操作対象の候補として特定した表示情報の表示制御の一例について、特に、当該情報処理システム１を構成する各デバイスの特性に応じた制御に着目して説明した。

＜４．３．変形例３：視線を誘導する位置の制御例＞
続いて、変形例３として、周囲の環境や状況に応じて視線を誘導する位置を制御する場合の一例について説明する。

例えば、情報処理システム１は、周囲の環境の検出結果に応じて、視線を誘導する位置を制限してもよい。具体的な一例として、情報処理システム１は、実空間を撮像する撮像部により撮像された画像に基づき、逆光になる位置を検出し、検出した当該位置を表示情報の移動先から除外してもよい。

また、他の一例として、情報処理システム１は、操作対象の候補として特定した表示情報が、ユーザがより選択しやすい位置に移動するように、当該表示情報の表示位置を制御してもよい。例えば、図８及び図９は、変形例３に係る情報処理システムの概要について説明するための説明図である。

例えば、図８は、ユーザが、自身の正面に相当する方向（即ち、頭部が向いている方向であり、以降では「正面方向」とも称する）とは異なる方向に位置する仮想オブジェクトＶ１７１及びＶ１７３を、正面方向から横方向に視線をずらすことで注視している状況を模式的に示している。このような状況下において、図８に示す例では、情報処理システム１は、視線が向けられた仮想オブジェクトＶ１７１及びＶ１７３を単に左右に移動させることで、当該仮想オブジェクトＶ１７１及びＶ１７３を互いに離間させている。なお、参照符号Ｖ１７１ａ及びＶ１７３ａは、仮想オブジェクトＶ１７１及びＶ１７３に対してユーザが視線を向けたタイミングにおいて、当該仮想オブジェクトＶ１７１及びＶ１７３が重畳された実空間上の位置それぞれを模式的に示している。また、参照符号Ｖ１７１ｂ及びＶ１７３ｂは、表示位置の制御後における、仮想オブジェクトＶ１７１及びＶ１７３が重畳された実空間上の位置それぞれを模式的に示している。

図８を参照するとわかるように、単に、仮想オブジェクトＶ１７１及びＶ１７３を左右に移動させることで互いに離間させた場合には、正面方向からより離れた方向に位置する仮想オブジェクトＶ１７３は、更に正面方向から離れた位置に移動することとなる。そのため、図８に示す例では、仮想オブジェクトＶ１７１及びＶ１７３の表示位置の制御に伴い、ユーザは、仮想オブジェクトＶ１７３を選択するために、首を振る等のような視線を更に外側に移動させるための動作が必要となり、視線移動に伴うユーザへの負荷が大きくなる傾向にある。

これに対して、図９に示す例では、情報処理システム１は、図８に示す例と同様の状況下で視線が向けられた仮想オブジェクトＶ１７１及びＶ１７３を、ユーザの正面方向に位置し、かつ、互いに左右に離間するように移動させている。なお、図９において、参照符号Ｖ１７１ａ及びＶ１７３ａは、図８における参照符号Ｖ１７１ａ及びＶ１７３ａと同様である。また、参照符号Ｖ１７１ｃ及びＶ１７３ｃは、表示位置の制御後における、仮想オブジェクトＶ１７１及びＶ１７３が重畳された実空間上の位置それぞれを模式的に示している。

図９に示すように、仮想オブジェクトＶ１７１及びＶ１７３の表示位置を制御することで、例えば、ユーザは、仮想オブジェクトＶ１７３を選択する場合においても、ずらした視線を正面方向側に戻すことで、当該仮想オブジェクトＶ１７３を選択することが可能となる。以上、図８及び図９を比較するとわかるように、操作対象の候補として特定された複数の表示情報が、ユーザの正面に位置するように、当該表示情報の表示位置を制御することで、当該表示情報の選択に係るユーザへの負荷（即ち、視線移動に伴うユーザへの負荷）を軽減することが可能となる。

また、他の一例として、一般的には人間の視野は横に広い傾向にあるため、横方向よりも縦方向の方が視線分解能が高い場合がある。このような状況を鑑み、情報処理システム１は、操作対象の候補として特定された複数の表示情報が、上下方向に離間するように、当該表示情報の表示位置を制御してもよい。

以上、変形例３として、周囲の環境や状況に応じて視線を誘導する位置を制御する場合の一例について説明する。

＜４．４．変形例４：候補以外の表示情報の表示制御の一例＞
続いて、変形例４として、操作対象の候補として特定された表示情報とは異なる他の表示情報の表示を制御する場合の一例について説明する。

例えば、図１０は、変形例４に係る情報処理システムの概要について説明するための説明図である。図１０は、ユーザが、正面方向とは異なる方向に位置する仮想オブジェクトＶ１８１及びＶ１８３を、正面方向から横方向に視線をずらすことで注視している状況を模式的に示している。図１０において、参照符号Ｒ１３１は、ユーザが正面方向を向いている場合の当該ユーザの視野を示す領域を模式的に示している。即ち、図１０に示す例では、情報処理システム１は、視線が向けられた仮想オブジェクトＶ１８１及びＶ１８３を、ユーザが正面方向を向いた場合の視野を示す領域Ｒ１３１内に位置し、かつ、互いに左右に離間するように移動させている。なお、参照符号Ｖ１８１ａ及びＶ１８３ａは、仮想オブジェクトＶ１８１及びＶ１８３に対してユーザが視線を向けたタイミングにおいて、当該仮想オブジェクトＶ１８１及びＶ１８３が重畳された実空間上の位置それぞれを模式的に示している。また、参照符号Ｖ１８１ｂ及びＶ１８３ｂは、表示位置の制御後における、仮想オブジェクトＶ１８１及びＶ１８３が重畳された実空間上の位置それぞれを模式的に示している。

一方で、図１０に示す例では、ユーザが仮想オブジェクトＶ１８１及びＶ１８３に対して視線を向けたタイミングにおいて、領域Ｒ１３１内には仮想オブジェクトＶ１８５及びＶ１８７が位置している。なお、参照符号Ｖ１８５ａ及びＶ１８７ａは、仮想オブジェクトＶ１８１及びＶ１８３に対してユーザが視線を向けたタイミングにおいて、仮想オブジェクトＶ１８５及びＶ１８７が重畳された実空間上の位置それぞれを模式的に示している。このような状況下では、操作対象の候補として特定された仮想オブジェクトＶ１８１及びＶ１８３を領域Ｒ１３１内に移動させたとしても、当該仮想オブジェクトＶ１８１及びＶ１８３が、仮想オブジェクトＶ１８５及びＶ１８７により遮蔽される場合がある。

このような状況を鑑み、情報処理システム１は、操作対象の候補として特定した表示情報の移動先に、当該候補とは異なる他の表示情報が位置する場合に、当該他の表示情報を、当該候補とは異なる位置に移動させてもよい。例えば、図１０に示す例では、情報処理システム１は、領域Ｒ１３１内に位置する仮想オブジェクトＶ１８５を、当該領域Ｒ１３１外の位置Ｖ１８５ｂに移動させ、仮想オブジェクトＶ１８７を、当該領域Ｒ１３１外の位置Ｖ１８７ｂに移動させている。このような制御により、本来ユーザが操作対象として視線を向けていた候補に、当該ユーザの視線を誘導する際に、当該候補が他の表示情報により遮蔽される等により当該候補の選択が阻害される事態の発生を防止することが可能となる。

また、他の一例として、情報処理システム１は、操作対象の候補として特定した表示情報の移動先に、当該候補とは異なる他の表示情報が位置する場合に、当該他の表示情報が一時的に非表示となるように制御してもよい。例えば、図１１は、変形例４に係る情報処理システムの他の一態様について説明するための説明図である。なお、図１１では、図１０と同様の対象に対して同様の符号を付している。

即ち、図１１に示す例では、情報処理システム１は、図１０に示す例と同様に、視線が向けられた仮想オブジェクトＶ１８１及びＶ１８３を、ユーザが正面方向を向いた場合の視野を示す領域Ｒ１３１内に位置し、かつ、互いに左右に離間するように移動させている。一方で、図１１に示す例では、情報処理システム１は、領域Ｒ１３１内に位置する仮想オブジェクトＶ１８５及びＶ１８７が、一時的に非表示となるように、当該仮想オブジェクトＶ１８５及びＶ１８７の表示を制御している。このような制御により、図１０に示した例と同様に、本来ユーザが操作対象として視線を向けていた候補に、当該ユーザの視線を誘導する際に、当該候補が他の表示情報により遮蔽される等により当該候補の選択が阻害される事態の発生を防止することが可能となる。

以上、変形例４として、操作対象の候補として特定された表示情報とは異なる他の表示情報の表示を制御する場合の一例について説明した。

＜４．５．変形例５：視線を誘導するための制御の一例＞
続いて、変形例５として、ユーザの視線をより好適な態様で誘導するための制御の一例について説明する。

例えば、ユーザは、動く対象に向けて視線を向けている状況下では、当該対象の動きを予測して視線を動かしている場合がある。そのため、例えば、表示情報の表示位置を制御する場合に、ユーザが期待する動きにあわせて、当該表示情報を動かすことで、より自然な態様でユーザの視線を誘導できる場合がある。

具体的な一例として、情報処理システム１は、表示情報の属性に応じて、当該表示情報の動きを制御してもよい。より具体的には、情報処理システム１は、対象となる仮想オブジェクトが鳥のように空を飛ぶキャラクターを模している場合には、例えば、当該仮想オブジェクトが飛ぶように動作させてもよい。また、他の一例として、情報処理システム１は、対象となる仮想オブジェクトが犬等の空を飛ばないキャラクターを模している場合には、例えば、当該仮想オブジェクトが平面状を移動するように動作させてもよい。

また、他の一例として、情報処理システム１は、物理的な制約にあわせて、表示情報の動きを制御してもよい。

例えば、図１２は、変形例５に係る情報処理システムの概要について説明するための説明図であり、物理的な制約にあわせて表示情報の動きを制御する場合の一例を示している。なお、図１２において、参照符号Ｕａ、Ｒ１１１、及びＲ１１３は、図３及び図４において同様の符号が付された対象をそれぞれ示している。即ち、図１２に示す例では、情報処理システム１は、ユーザの視線Ｒ１１１が向けられた仮想オブジェクトＶ１９１及びＶ１９３が、互いに離間するように当該仮想オブジェクトＶ１９１及びＶ１９３の表示位置を制御している。具体的には、情報処理システム１は、仮想オブジェクトＶ１９１を位置Ｖ１９１ａから位置Ｖ１９１ｂに移動させ、仮想オブジェクトＶ１９３を位置Ｖ１９３ａから位置Ｖ１９３ｂに移動させている。

一方で、図１２に示す例では、位置Ｖ１９３ａと位置Ｖ１９３ｂとの間には、実オブジェクトＭ１９５が介在している。そのため、図１２に示す例では、情報処理システム１は、位置Ｖ１９３ａに位置する仮想オブジェクトＶ１９３が、実オブジェクトＭ１９５を避けてＶ１９３ｂに移動するように、当該仮想オブジェクトＶ１９３の動きを制御している。

以上のような制御により、表示情報の動きが、ユーザの期待する動きと略一致する可能性が高くなり、ひいては、より自然な態様でユーザの視線を誘導することが可能となる。

また、情報処理システム１は、視線が向けられた対象の候補として動くものと動かないものと特定された場合には、動くものを動かすことでユーザの視線を誘導してもよい。

例えば、図１３は、変形例５に係る情報処理システムの他の一態様について説明するための説明図である。図１３において、参照符号Ｕａ、Ｒ１１１、及びＲ１１３は、図１２において同様の符号が付された対象をそれぞれ示している。具体的には、図１３は、実オブジェクトＭ１９７と、当該実オブジェクトＭ１９７の近傍に重畳された仮想オブジェクＶ１９９とに、ユーザの視線Ｒ１１１が向けられている状況を示している。なお、図１３においては、実オブジェクトＭ１９７が「動かないもの」に相当し、仮想オブジェクトＶ１９９が「動くもの」に相当する。そのため、図１３に示す例では、情報処理システム１は、実オブジェクトＭ１９７と仮想オブジェクトＶ１９９とが離間するように、動き得る仮想オブジェクトＶ１９９側を、位置Ｖ１９９ａから位置Ｖ１９９ｂに移動させている。

その一方で、視線が向けられた対象の候補がいずれも「動かないもの」である場合も想定される。例えば、図１４は、変形例５に係る情報処理システムの他の一態様について説明するための説明図であり、互いに近傍に位置するように設置された実オブジェクトＭ２１３及びＭ２１５に対して視線が向けられている場合の一例を示している。図１４において、参照符号Ｒ２１１は、ユーザの視線が向けられた実空間上の領域を模式的に示している。即ち、図１４に示す例では、情報処理システム１は、視線が向けられた対象の候補として、実オブジェクトＭ２１３及びＭ２１５を特定することとなる。

図１４に示すように、視線が向けられた対象の候補として実オブジェクトのみが特定されたような状況下では、当該実オブジェクトの位置を制御できるとは限らない。このような場合には、例えば、情報処理システム１は、各実オブジェクトの代替となる表示情報を提示し、当該表示情報の表示位置を制御してもよい。例えば、図１４に示す例では、情報処理システム１は、実オブジェクトＭ２１３の代替となる表示情報として、当該実オブジェクトＭ２１３を指定するためのアイコンとして構成された仮想オブジェクトＶ２１７を当該実オブジェクトＭ２１３に関連付けて提示している。同様に、情報処理システム１は、実オブジェクトＭ２１５の代替となる表示情報として、当該実オブジェクトＭ２１５を指定するためのアイコンとして構成された仮想オブジェクトＶ２１９を当該実オブジェクトＭ２１５に関連付けて提示している。また、このとき、情報処理システム１は、仮想オブジェクトＶ２１７及びＶ２１９が互いに離間して提示されるように、当該仮想オブジェクトＶ２１７及びＶ２１９それぞれの表示位置を制御している。

なお、実オブジェクトの代替として提示される表示情報の種別は特に限定されない。例えば、図１５は、変形例５に係る情報処理システムの他の一態様について説明するための説明図であり、実オブジェクトの代替として提示される表示情報の一例を示している。具体的には、図１５に示す例では、情報処理システム１は、実オブジェクトＭ２１３の代替となる表示情報として、実オブジェクトＭ２１３を操作するための操作メニューとして構成された仮想オブジェクトＶ２２１を、当該実オブジェクトＭ２１３に関連付けて提示している。

以上、変形例５として、ユーザの視線をより好適な態様で誘導するための制御の一例について説明した。

＜４．６．変形例６：優先度に応じた制御の一例＞
続いて、変形例６として、各種状態や状況に応じて選択対象に対して優先度を設定し（即ち、重み付けを行い）、当該優先度を利用することで、ユーザとの間のインタラクションをより好適な態様で実現するための制御の一例について説明する。

例えば、情報処理システム１は、操作対象の候補として特定した複数の表示情報を互いに離間させる際に、当該複数の表示情報間に設定された優先度に応じて、当該複数の表示情報のうち少なくともいずれかの表示を制御してもよい。なお、優先度の設定方法の一例については別途後述する。

具体的な一例として、情報処理システム１は、特定された複数の表示情報のうち、より優先度の高い表示情報を移動させることで、当該複数の表示情報を互いに離間させてもよい。このように、ユーザが選択する可能性の高い対象（即ち、より優先度の高い表示情報）を動かし、ユーザの視線を能動的に誘導することで、本来ユーザが操作対象として視線を向けていた対象を速やかに特定することが可能となる。また、他の一例として、特定された複数の表示情報のうち、より優先度の低い表示情報を移動させることで、当該複数の表示情報を互いに離間させてもよい。このように、ユーザが選択する可能性の低い対象（即ち、より優先度の低い表示情報）を動かすことで、対象を選択するための視線の移動を最小限に抑えることが可能となる。なお、優先度の高い表示情報と、優先度の低い表示情報とのいずれを動かすかについては、例えば、ユースケースや利用シーンに応じて適宜変更してもよい。

なお、優先度の設定方法は特に限定されない。例えば、利用頻度のより高い対象ほど、より優先度が高くなるように設定されてもよい。また、操作対象の候補として選択される表示情報が、他のユーザとコミュニケーションをとるための仮想オブジェクト（例えば、アバター等）の場合には、コミュニケーションの頻度がより高いユーザに対応する表示情報の優先度がより高くなるように設定されてもよい。また、ユーザ間の関係に応じて優先度が設定されてもよい。例えば、友人や家族として設定されているユーザに対応する表示情報は、それ以外のユーザに対応する表示情報よりも優先度が高く設定されていてもよい。

また、優先度の設定は状況や過去の履歴に応じて動的に設定または変更されてもよい。例えば、情報処理システム１は、所謂機械学習に基づき、時間帯、場所、状況等に応じたユーザの行動をデータとして蓄積し、蓄積した当該データに基づき、操作対象の候補として特定した複数の表示情報間に優先度を設定してもよい。このような構成により、情報処理システム１は、ユーザのクセや、ユーザが選択する対象の傾向に応じて複数の表示情報間に優先度を設定し、より優先度の高い表示情報をユーザがより選択しやすくなるように提示することも可能となる。

また、操作対象の候補が特定された状況に応じて、当該操作対象の候補として特定された複数の表示情報間に優先度が設定されてもよい。例えば、図１６は、変形例６に係る情報処理システムの概要について説明するための説明図である。図１６において、参照符号Ｒ４１９は、ユーザの視線が向けられた実空間上の位置を模式的に示している。即ち、図１６は、仮想オブジェクトＶ４１１及びＶ４１３に向けてユーザが視線を向けている状況を示しており、この場合には、情報処理システム１は、操作対象の候補として当該仮想オブジェクトＶ４１１及びＶ４１３を特定する。

このとき、情報処理システム１は、視線が向けられた位置Ｒ４１６と、候補として特定された仮想オブジェクトＶ４１１及びＶ４１３それぞれとの間の距離に応じて、当該仮想オブジェクトＶ４１１及びＶ４１３間に優先度を設定してもよい。例えば、参照符号Ｒ４１５は、視線が向けられた位置Ｒ４１６と仮想オブジェクトＶ４１１との間の距離を測定する場合における、当該仮想オブジェクトＶ４１１の基準となる位置（以降では、「インタラクションポイント」とも称する）を模式的に示している。同様に、参照符号Ｒ４１７は、仮想オブジェクトＶ４１３のインタラクションポイントを示している。

図１６に示す例では、仮想オブジェクトＶ４１１のインタラクションポイントＲ４１５が、仮想オブジェクトＶ４１３のインタラクションポイントＲ４１７よりも、視線が向けられた位置Ｒ４１６のより近傍に位置する。そのため、情報処理システム１は、仮想オブジェクトＶ４１１の優先度を、仮想オブジェクトＶ４１３の優先度よりも高く設定している。

なお、インタラクションポイントは、各仮想オブジェクトの中心や重心に基づき設定されてもよい。また、他の一例として、インタラクションポイントは、仮想オブジェクトの各部分のうち、ユーザの視線をより集めやすい位置に設定されてもよい。例えば、図１６に示す例では、仮想オブジェクトＶ４１１及びＶ４１３は、キャラクターを模したアバターとして提示されるため、当該キャラクターの顔に相当する部分にインタラクションポイントが設定されている。また、インタラクションポイントの設定方法は、各種状態や状況に応じて動的に設定または変更されてもよい。

また、他の一例として、情報処理システム１は、操作対象の候補として特定した複数の表示情報のうち、優先度のより低い表示情報を、当該操作対象の候補から除外してもよい。この場合には、例えば、情報処理システム１は、機械学習に基づき、時間帯、場所、状況等に応じてユーザが選択しなかった選択肢のデータを蓄積し、蓄積した当該データに基づき、操作対象の候補として特定した複数の表示情報間に優先度を設定すればよい。このような構成により、例えば、情報処理システム１は、操作対象の候補として特定した複数の表示情報のうち、優先度が閾値よりも低い表示情報（即ち、ユーザが選択する可能性がより低い表示情報）を、当該操作対象の候補から除外することも可能となる。

例えば、情報処理システム１は、時間帯に応じて、当該時間帯で選択される可能性が低い選択肢を除外してもよい。具体的には、情報処理システム１は、業務時間中においては、ゲーム等のアプリケーションが関連付けられた表示情報を、操作対象の候補から除外してもよい。また、他の一例として、情報処理システム１は、直前に選択された選択肢と同様の種別の選択肢を除外してもよい。具体的には、情報処理システム１は、「レストラン」が関連付けられた表示情報が選択された直後には、同様に「レストラン」が関連付けられた他の表示情報が選択される可能性は低いものと認識し、当該他の表示情報を操作対象の候補から除外してもよい。

以上、変形例６として、各種状態や状況に応じて選択対象に対して優先度を設定し、当該優先度を利用することで、ユーザとの間のインタラクションをより好適な態様で実現するための制御の一例について説明した。

＜４．７．変形例７：状態や状況に応じた制御の一例＞
上記において一部の例としても説明したように、本実施形態に係る情報処理システム１は、各種状態や状況に応じて制御を切り替えてもよい。そこで、変形例７として、各種状態や状況に応じた制御の他の一例について以下に説明する。

例えば、情報処理システム１は、操作対象の候補として特定した複数の表示情報を互いに離間させる際に、各種センサ等の検知結果に基づきユーザの状態や行動を認識し、認識結果に応じて当該表示情報の表示を制御してもよい。

具体的な一例として、情報処理システム１は、候補として特定した表示情報が重畳された実空間上の位置に向けてユーザが移動していることを認識した場合には、当該表示情報の移動速度がより遅くなるように制御してもよい。

また、他の一例として、情報処理システム１は、ユーザの状態や行動の認識結果に応じて、当該ユーザとの間のインタラクションのタイミングを制御してもよい。この場合には、情報処理システム１は、より好適なタイミングでインタラクションが行われるように、操作対象の候補として特定した複数の表示情報を移動させるタイミングや、当該表示情報の動作（例えば、移動速度等）を制御してもよい。

また、他の一例として、情報処理システム１は、ユーザが次に行うアクションを予測し、予測結果に応じて、操作対象の候補として特定した表示情報の動きを制御してもよい。

具体的な一例として、情報処理システム１は、ユーザがアバターとして構成された仮想オブジェクトを介して他のユーザとコミュニケーションをとることを予測した場合には、当該仮想オブジェクトを、ユーザのより近傍に移動させてもよい。このような制御により、情報処理システム１は、コミュニケーションの対象（仮想オブジェクト）の選択に係る操作から、選択した対象を介した他のユーザとのコミュニケーションに、ユーザをより自然な態様で誘導することが可能となる。

また、他の一例として、特定された複数の候補の中からいずれかを単に選択するような状況も想定され得る。このような場合には、情報処理システム１は、操作対象の候補として特定した複数の表示情報が単に左右に離間するように、当該表示情報の表示位置を制御してもよい。このような制御により、情報処理システム１は、本来ユーザが操作対象として視線を向けていた候補をより速やかに認識することが可能となるため、ユーザとの間のインタラクションのスピードを向上させることが可能となる。

なお、ユーザが次に行うアクションを予測することが可能であれば、その方法は特に限定されない。例えば、情報処理システム１は、実行中の機能（例えば、アプリケーション）に応じて、ユーザが次に行うアクションを予測してもよい。具体的には、他のユーザとコミュニケーションを行うためのアプリケーションを実行中の状況下では、ユーザが、アバター等の仮想オブジェクトに対して話しかけるというアクションを行うことを予測することが可能である。

また、他の一例として、情報処理システム１は、選択された操作対象の候補の属性や、当該候補に関連付けられた処理に応じて、ユーザが次に行うアクションを予測してもよい。具体的には、各種設定を変更するためのメニューやアイコン等の表示情報が操作対象の候補として選択されている状況下では、当該表示情報に対してコミュニケーションのためのアクションが行われる可能性は低く、当該表示情報を選択するためのアクションが行われる可能性が高い。そのため、例えば、各種設定を変更するためのメニューやアイコン等であることを示す属性に応じて、ユーザが、タッチ操作等のように、対象となる表示情報を明示的に選択するためのアクションを行うことを予測することが可能である。また、他の一例として、アバター等の仮想オブジェクトが操作対象の候補として選択されている状況下では、当該仮想オブジェクトに対してコミュニケーションのためのアクションが行われる可能性が高い。そのため、例えば、アバター等の仮想オブジェクトであることを示す属性に応じて、ユーザが、話しかける等のコミュニケーションのためのアクションを行うことを予測することが可能である。

もちろん、上記に示す例はあくまで一例であり、必ずしも上記に示す例には限定されない。また、情報処理システム１は、複数の条件を組み合わせることで、ユーザが次に行うアクションを予測してもよいことは言うまでもない。

以上、変形例７として、各種状態や状況に応じた制御の他の一例について以下に説明した。

＜＜５．適用例＞＞
続いて、本実施形態に係る情報処理システム１の適用例について説明する。

＜５．１．適用例１：スマートフォンやタブレット端末への適用例＞
まず、適用例１として、図１７を参照して、本実施形態に係る情報処理システムを、所謂スマートフォンやタブレット端末等のように、画面に表示された表示情報に対するタッチ操作によりユーザ入力を行う装置に適用した場合の一例について説明する。図１７は、本実施形態に係る情報処理システムの第１の適用例について説明するための説明図であり、上述した本実施形態に係る情報処理システムによるユーザとの間のインタラクションをスマートフォンに適用した場合の一例を示している。

例えば、図１７は、スマートフォンとして構成された情報処理装置３０の表示部３０１（例えば、ディスプレイ）に表示された表示情報に対して、指等の操作体Ｕｂによりタッチ操作を行うことで、当該情報処理装置３０を操作する場合の一例を示している。また、図１７は、互いに近傍に位置するように表示部３０１に表示された表示情報Ｖ５５１及びＶ５５３のいずれかに対して、ユーザが、操作体Ｕｂによりタッチ操作を行っている状況を模式的に示している。

図１７に示す例では、情報処理装置３０は、操作対象の候補として表示情報Ｖ５５１及びＶ５５３を特定し、特定した表示情報Ｖ５５１及びＶ５５３が互いに離間するように、当該表示情報Ｖ５５１及びＶ５５３の表示位置を制御している。

具体的には、情報処理装置３０は、表示部３０３の画面上に設けられたタッチパネルの検出結果に基づき、表示情報Ｖ５５１及びＶ５５３が提示された位置への操作体Ｕｂの近接を検知することで、当該表示情報Ｖ５５１及びＶ５５３を操作対象の候補として特定してもよい。

また、他の一例として、情報処理装置３０は、ユーザの視線を検出することで、当該視線が示す表示部３０３の画面上の位置に応じて、操作対象の候補を特定してもよい。例えば、図１７に示す例では、ユーザの視線Ｒ５１５は、表示部３０３の画面上のうち、参照符号Ｒ５１７で示した位置に向けられている。この場合には、情報処理装置３０は、視線Ｒ５１５を検出することで、当該視線Ｒ５１５が画面上の位置Ｒ５１７に向けられていることを認識し、当該位置Ｒ５１７の近傍に位置する表示情報Ｖ５５１及びＶ５５３を操作対象の候補として特定すればよい。

なお、ユーザの視線を検出する方法については特に限定されない。具体的な一例として、情報処理装置３０のうち、表示部３０１が設けられた面に対して、当該表示部３０１の画面に対向するユーザの画像を撮像する撮像部を設けてもよい。このような構成とすることで、情報処理装置３０は、当該撮像部により撮像されたユーザの顔の画像（ひいては、ユーザの眼の画像）を解析することにより、当該ユーザの視線Ｒ５１５を検出することが可能となる。

以上、適用例１として、図１７を参照して、本実施形態に係る情報処理システムを、所謂スマートフォンやタブレット端末等のように、画面に表示された表示情報に対するタッチ操作によりユーザ入力を行う装置に適用した場合の一例について説明した。

＜５．２．適用例２：テーブルトップシステムへの適用例＞
続いて、適用例２として、図１８及び図１９を参照して本実施形態に係る情報処理システムを、所謂テーブルトップシステムに適用した場合の一例について説明する。図１８及び図１９は、本実施形態に係る情報処理システムの第２の適用例について説明するための説明図である。なお、以降の説明では、適用例２に係る情報処理システムを、前述した実施形態に係る情報処理システム１と区別するために、「情報処理システム３」と称する場合がある。

まず、図１８を参照して、テーブルトップシステムとして構成された情報処理システム３の概略的な構成の一例について説明する。図１８に示すように、適用例２に係る情報処理システム３は、センサボックス４２０と、表示情報を提示するための出力部４３０と、情報処理システム３の各種動作を制御する制御部が設けられた本体４１０とを含む。

図１８に示す例では、情報処理システム３は、例えば、テーブル４４０等の上方に、当該テーブル４４０の天面側を向くように設置される。情報処理システム３は、テーブル４４０の天面を投影面として、出力部４３０に表示情報を投影させることで、ユーザに対して当該表示情報を提示し、投影された表示情報に対する、情報処理システム３を使用するユーザからの操作を受け付ける。なお、参照符号Ｒ５２１は、出力部４３０により情報（即ち、表示情報）が投影される領域（即ち、投影面）を示している。

センサボックス４２０は、情報処理システム３を使用するユーザの操作内容や、テーブル４４０に置かれている物体の形状や模様などを認識するための検知部４２１を備える。例えば、図１８に示す例では、検知部４２１は、テーブル４４０の上方から当該テーブル４４０の天面上に向けて検知範囲が形成されるように設置される。すなわち、検知部４２１は、情報が表示される対象となるテーブル４４０とは離隔して設けられる。

また、センサボックス４２０は、所謂マイクロフォンのような、ユーザが発する音声や、情報処理システム３が置かれている環境の環境音等の音響情報を集音するための集音部４２３を備えてもよい。なお、当該集音部４２３は、例えば、所謂マイクロフォンのような集音デバイスにより構成され得る。

検知部４２１は、例えば、測距センサ等により構成され得る。また、他の一例として、検知部４２１は、例えば１つの撮像光学系（例えば、一連のレンズ群）でテーブル４４０を撮像するカメラや、複数の撮像光学系でテーブル４４０を撮像して奥行き方向の情報を記録することが可能なステレオカメラにより構成されてもよい。なお、本説明では、検知部４２１は、所謂ステレオカメラとして構成されているものとして説明する。

検知部４２１としてステレオカメラが用いられる場合には、そのステレオカメラには、例えば可視光カメラや赤外線カメラ等が適用され得る。検知部４２１してステレオカメラが用いられることで、検知部４２１は、当該検知部４２１からの距離を示す情報（以降では、「深度情報」とも称する）を取得することが可能となる。検知部４２１が、深度情報を取得することで、情報処理システム３は、例えばテーブル４４０の上に置かれた手や物体等の実オブジェクトを検出することが可能となる。また検知部４２１が、深度情報を取得することで、情報処理システム３は、テーブル４４０へのユーザの手のような操作体の接触及び近接や、テーブル４４０からの操作体の離脱を検出することが可能となる。

このような構成により、情報処理システム３は、テーブル４４０の天面上の領域Ｒ５２１に投影された表示情報に対して、ユーザが手等の操作体による操作を認識し、当該操作の内容に応じて各種機能を実行することが可能となる。

また、情報処理システム３は、上記に説明した検知部４２１による検知結果に基づき、領域Ｒ５２１に投影された表示情報を操作するために、検知部４２１の検知領域Ｒ１２３内を動作する手や腕等のような部位の位置や向きを認識することが可能である。

また、情報処理システム３は、テーブル４４０の天面上の領域Ｒ５２１に投影された表示情報に対して操作を行うユーザの視線を検出可能に構成されていてもよい。この場合には、例えば、情報処理システム３に対して、テーブル４４０の周辺を撮像する撮像部を設けるとよい。このような構成により、情報処理システム３は、当該撮像部により撮像された画像を解析することで、テーブル４４０の周辺に位置するユーザの頭部の位置や姿勢を認識し、当該認識結果に基づき、当該ユーザの視線を検出することが可能となる。

また、他の一例として、情報処理システム３は、前述した実施形態に係る入出力装置２０と連携可能に構成されていてもよい。この場合には、情報処理システム３は、入出力装置２０の位置や姿勢することで、当該入出力装置２０を装着するユーザの頭部の位置や姿勢を認識してもよい。また、情報処理システム３は、入出力装置２０により撮像された当該ユーザの眼球の画像を解析することで、当該ユーザの視線を検出してもよい。

続いて、図１９を参照して、適用例２に係る情報処理システム３の動作の一例について説明する。図１９は、適用例２に係る情報処理システム３の概要について説明するための説明図であり、テーブル４４０の天面を鉛直方向の上部から見下ろした場合における、領域Ｒ５２１とユーザとの間の位置関係の一例を示している。また、図１９は、互いに近傍に位置するように領域Ｒ５２１に投影された表示情報Ｖ５５５及びＶ５５７のいずれかに対して、ユーザＵｃが、自身の手や指等の操作体によりタッチ操作を行っている状況を模式的に示している。

図１９に示す例では、情報処理システム３は、操作対象の候補として表示情報Ｖ５５５及びＶ５５７を特定し、特定した表示情報Ｖ５５５及びＶ５５７が互いに離間するように、当該表示情報Ｖ５５５及びＶ５５７を投影する位置を制御している。

具体的には、情報処理システム３は、テーブル４４０の天面上の領域Ｒ５２１中の表示情報Ｖ５５５及びＶ５５７が投影された位置への、ユーザＵｃの手や指等の近接を検知することで、当該表示情報Ｖ５５５及びＶ５５７を操作対象の候補として特定してもよい。

また、他の一例として、情報処理システム３は、ユーザの視線を検出することで、テーブル４４０の天面上の領域Ｒ５２１中の当該視線が示す位置に応じて、操作対象の候補を特定してもよい。例えば、図１９に示す例では、ユーザの視線Ｒ５２５は、テーブル４４０の天面上の領域Ｒ５２１のうち、参照符号Ｒ５２７で示した位置に向けられている。この場合には、情報処理システム３は、視線Ｒ５２５を検出することで、当該視線Ｒ５２５が領域Ｒ５２１中の位置Ｒ５２７に向けられていることを認識し、当該位置Ｒ５２７の近傍に位置する表示情報Ｖ５５５及びＶ５５７を操作対象の候補として特定すればよい。

以上、適用例２として、図１８及び図１９を参照して本実施形態に係る情報処理システムを、テーブルトップシステムに適用した場合の一例について説明した。

＜５．３．適用例３：タッチ操作を採用する場合の制御の一例＞
続いて、適用例３として、図２０及び図２１を参照して、前述した適用例１及び２のように、ユーザが情報を入力するための手段としてタッチ操作を採用する場合における制御の一例について説明する。

例えば、図２０は、本実施形態に係る情報処理システムの第３の適用例について説明するための説明図であり、視線による対象の指定と、対象に対するタッチ操作とを併用したインタラクションの一例を示している。まず、図２０の左側の図は、互いに近傍に位置するように提示されたオブジェクトＶ６１１及びＶ６１３のいずれかに対して、ユーザが、操作体Ｕｄによりタッチ操作を行っている状況を模式的に示している。なお、参照符号Ｒ６１５は、ユーザの視線を示しており、参照符号Ｒ６１７は、視線Ｒ６１５が向けられた位置を示している。即ち、図２０の左側の図に示す状況下では、情報処理システムは、オブジェクトＶ６１１及びＶ６１３を、視線Ｒ６１５が向けられた対象の候補として特定する。

次いで、情報処理システムは、図２０の中央の図に示すように、操作対象の候補として特定したオブジェクトＶ６１１及びＶ６１３それぞれに対して、当該オブジェクトの代替となる表示情報Ｖ６２１及びＶ６２３を関連付けて提示する。また、このとき情報処理システムは、表示情報Ｖ６２１及びＶ６２３が互いに離間するように、当該表示情報Ｖ６２１及びＶ６２３が提示される位置を制御することで、ユーザの視線Ｒ６１５を誘導する。例えば、図２０の中央の図では、本来ユーザが操作対象として視線Ｒ６１５を向けていたオブジェクトＶ６１３に関連付けられた表示情報Ｖ６２３に、当該視線Ｒ６１５が誘導されている。

図２０の中央の図に示すように視線Ｒ６１５が誘導されることで、情報処理システムは、図２０の右側の図に示すように、当該視線Ｒ６１５が誘導された表示情報Ｖ６２３を操作対象として決定する。なお、このとき情報処理システムは、図２０の右側の図に示すように、表示情報Ｖ６２３を提示するとともに、操作対象として選択されなかった表示情報Ｖ６２１の表示を制限してもよい。

また、図２１は、本実施形態に係る情報処理システムの第３の適用例の他の一態様について説明するための説明図であり、視線による対象の指定と、対象に対するタッチ操作とを併用したインタラクションの一例を示している。具体的には、図２１は、スマートフォンとして構成された情報処理装置５０の表示部５０１（例えば、ディスプレイ）に表示された表示情報に対して、指等の操作体Ｕｅによりタッチ操作を行うことで、当該情報処理装置５０を操作する場合の一例を示している。

図２１に示すような状況下では、例えば、ユーザが指で画面をタッチする際に、当該ユーザの手の他の部分が画面に接触し、当該他の部分の画面への接触がタッチ操作として誤認識される場合がある。このような状況を鑑み、図２１に示す例では、情報処理システムは、ユーザの視線により操作対象を特定することで、タッチ操作を受け付ける領域を制限し、上述したような誤認識を防止している。

具体的には、図２１において、参照符号Ｒ６３１は、表示部５０１の画面上のうち、ユーザの視線が向けられた位置を模式的に示している。また、参照符号Ｒ６３３は、ユーザが右手Ｕｅの親指により表示部５０１の画面上の位置Ｒ６３１の近傍に対してタッチ操作を行った際に、当該右手Ｕｅの他の部分が接触した、当該画面上の他の位置を模式的に示している。

このような状況下においても、図２１に示す例では、情報処理システムは、表示部５０１の画面上のうち視線が向けられた位置Ｒ６３１の近傍の領域に対するタッチ操作を受け付け、その他の領域に対するタッチ操作を制限する。そのため、図２１に示す例のように、表示部５０１の画面上の位置Ｒ６３３に対して、ユーザの右手Ｕｅの一部が接触したとしても、情報処理システムは、当該接触をタッチ操作として認識しないこととなる。即ち、以上のような制御により、情報処理システムは、ユーザの意図しないタッチ操作による誤操作の発生を防止することが可能となる。

以上、適用例３として、図２０及び図２１を参照して、前述した適用例１及び２のように、ユーザが情報を入力するための手段としてタッチ操作を採用する場合における制御の一例について説明した。

＜＜６．ハードウェア構成＞＞
次に、図２２を参照しながら、前述した情報処理装置１０及び入出力装置２０のように、本実施形態に係る情報処理システム１を構成する情報処理装置９００のハードウェア構成について、詳細に説明する。図２２は、本開示の一実施形態に係る情報処理システム１を構成する情報処理装置９００のハードウェア構成の一例を示す機能ブロック図である。

本実施形態に係る情報処理システム１を構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図６を参照して前述した、認識部１０１、視線検出部１０３、トリガ検出部１０５、対象特定部１０７、処理実行部１０９、及び表示制御部１１１は、例えば、ＣＰＵ９０１により実現され得る。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、図６を参照して前述した入力部２５３は、例えば、出力装置９１７により実現され得る。

出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図６を参照して前述した出力部２１１は、例えば、出力装置９１７により実現され得る。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。なお、図６を参照して前述した記憶部１５１は、例えば、ＲＡＭ９０５及びストレージ装置９１９の少なくともいずれかにより実現され得る。

接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の実施形態に係る情報処理システム１を構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図２２では図示しないが、本実施形態に係る情報処理システム１を構成する情報処理装置９００に対応する各種の構成を当然備える。

なお、上述のような本実施形態に係る情報処理システム１を構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。

＜＜７．むすび＞＞
以上説明したように、本実施形態に情報処理システム１において、情報処理装置１０は、所定の出力部２１１に１以上の表示情報（例えば、仮想オブジェクト）を表示させ、視覚的に視認可能なオブジェクト（例えば、実オブジェクトや仮想オブジェクト）に対する操作を検出する。また、情報処理装置１０は、操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定し、特定された候補が複数存在する場合には、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御する。このような構成に基づき、本実施形態に係る情報処理システム１は、操作対象の候補として特定した複数の表示情報のうち、本来ユーザが操作対象として指定していた表示情報に、当該ユーザの操作を誘導する。これにより、情報処理システム１は、視覚的に視認可能に提示された複数の対象に対して選択的に操作を行うような状況下においても、より自然な態様で、ユーザとの間のインタラクションを実現することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
所定の出力部に１以上の表示情報を表示させる制御部と、
視覚的に視認可能なオブジェクトに対する操作を検出する検出部と、
前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定する特定部と、
を備え、
前記制御部は、特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御する、
情報処理装置。
（２）
前記制御部は、前記候補の特定に関する所定の条件に基づき、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、前記（１）に記載の情報処理装置。
（３）
前記検出部は、ユーザの視線に基づく操作を検出し、
前記特定部は、検出された前記視線が示す位置に応じて、前記操作の対象となる前記表示情報の候補を特定する、
前記（１）または（２）に記載の情報処理装置。
（４）
前記制御部は、特定された前記複数の候補が、前記ユーザに対して所定の方向に位置するように、当該複数の候補のうちすくなくともいずれかの候補の表示位置を制御する、前記（３）に記載の情報処理装置。
（５）
前記検出部は、前記視線に基づく第１の操作と、当該第１の操作とは異なる第２の操作とを検出し、
前記特定部は、前記第２の操作の検出をトリガとして、前記第１の操作の検出結果に応じて、前記操作の対象となる前記表示情報の候補を特定する、
前記（３）または（４）に記載の情報処理装置。
（６）
以降に入力される操作を予測する予測部を備え、
前記制御部は、前記操作の予測結果に応じて、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、
前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記予測部は、特定された前記複数の候補のうち、少なくともいずれかの候補に関連付けられた処理に応じて、以降に入力される操作を予測する、前記（６）に記載の情報処理装置。
（８）
前記制御部は、特定された前記複数の候補間に設定された優先度に応じて、当該複数の候補のうちすくなくともいずれかの候補の表示位置を制御する、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記制御部は、特定された前記複数の候補から、前記優先度のより低い少なくとも一部の候補を除外する、前記（８）に記載の情報処理装置。
（１０）
前記優先度は、前記操作により指定された位置と、前記オブジェクトまたは当該オブジェクトに関連付けられた前記表示情報との間の位置関係に応じて設定される、前記（８）または（９）に記載の情報処理装置。
（１１）
前記優先度は、前記オブジェクトまたは当該オブジェクトに関連付けられた前記表示情報に対する操作の頻度に応じて設定される、前記（８）または（９）に記載の情報処理装置。
（１２）
前記オブジェクトは、実空間上に位置する実オブジェクトであり、
前記制御部は、前記表示情報が前記実オブジェクトに対して重畳するように、当該表示情報を前記出力部に表示させる、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記実オブジェクトを認識する認識部を備え、
前記制御部は、前記実オブジェクトの認識結果に応じて、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、
前記（１２）に記載の情報処理装置。
（１４）
前記制御部は、前記操作の対象として特定された前記候補の表示位置に応じて、当該操作の対象以外の他の候補の表示を制御する、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記制御部は、前記操作の対象として特定された前記候補の表示位置に応じて、前記他の候補の表示位置を制御する、前記（１４）に記載の情報処理装置。
（１６）
前記制御部は、前記他の候補の表示を制限する、前記（１４）に記載の情報処理装置。
（１７）
前記制御部は、特定された前記複数の候補のうち、少なくともいずれかの候補に設定された属性に応じて、当該候補の表示位置を制御する、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記制御部は、ユーザの状態に応じて、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
コンピュータシステムが、
所定の出力部に１以上の表示情報を表示させることと、
視覚的に視認可能なオブジェクトに対する操作を検出することと、
前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定することと、
特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御することと、
を含む、情報処理方法。
（２０）
コンピュータシステムに、
所定の出力部に１以上の表示情報を表示させることと、
視覚的に視認可能なオブジェクトに対する操作を検出することと、
前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定することと、
特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御することと、
を実行させる、プログラム。

１ 情報処理システム
１０ 情報処理装置
２０ 入出力装置
１０１ 認識部
１０３ 視線検出部
１０５ トリガ検出部
１０７ 対象特定部
１０９ 処理実行部
１１１ 表示制御部
１５１ 記憶部
２０１ 撮像部
２１１ 出力部
２５１ 検知部
２５３ 入力部

Claims (20)

1. 所定の出力部に１以上の表示情報を表示させる制御部と、
   視覚的に視認可能なオブジェクトに対する操作を検出する検出部と、
   前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定する特定部と、
   を備え、
   前記制御部は、特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御する、
   情報処理装置。
2. 前記制御部は、前記候補の特定に関する所定の条件に基づき、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、請求項１に記載の情報処理装置。
3. 前記検出部は、ユーザの視線に基づく操作を検出し、
   前記特定部は、検出された前記視線が示す位置に応じて、前記操作の対象となる前記表示情報の候補を特定する、
   請求項１に記載の情報処理装置。
4. 前記制御部は、特定された前記複数の候補が、前記ユーザに対して所定の方向に位置するように、当該複数の候補のうちすくなくともいずれかの候補の表示位置を制御する、請求項３に記載の情報処理装置。
5. 前記検出部は、前記視線に基づく第１の操作と、当該第１の操作とは異なる第２の操作とを検出し、
   前記特定部は、前記第２の操作の検出をトリガとして、前記第１の操作の検出結果に応じて、前記操作の対象となる前記表示情報の候補を特定する、
   請求項３に記載の情報処理装置。
6. 以降に入力される操作を予測する予測部を備え、
   前記制御部は、前記操作の予測結果に応じて、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、
   請求項１に記載の情報処理装置。
7. 前記予測部は、特定された前記複数の候補のうち、少なくともいずれかの候補に関連付けられた処理に応じて、以降に入力される操作を予測する、請求項６に記載の情報処理装置。
8. 前記制御部は、特定された前記複数の候補間に設定された優先度に応じて、当該複数の候補のうちすくなくともいずれかの候補の表示位置を制御する、請求項１に記載の情報処理装置。
9. 前記制御部は、特定された前記複数の候補から、前記優先度のより低い少なくとも一部の候補を除外する、請求項８に記載の情報処理装置。
10. 前記優先度は、前記操作により指定された位置と、前記オブジェクトまたは当該オブジェクトに関連付けられた前記表示情報との間の位置関係に応じて設定される、請求項８に記載の情報処理装置。
11. 前記優先度は、前記オブジェクトまたは当該オブジェクトに関連付けられた前記表示情報に対する操作の頻度に応じて設定される、請求項８に記載の情報処理装置。
12. 前記オブジェクトは、実空間上に位置する実オブジェクトであり、
    前記制御部は、前記表示情報が前記実オブジェクトに対して重畳するように、当該表示情報を前記出力部に表示させる、請求項１に記載の情報処理装置。
13. 前記実オブジェクトを認識する認識部を備え、
    前記制御部は、前記実オブジェクトの認識結果に応じて、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、
    請求項１２に記載の情報処理装置。
14. 前記制御部は、前記操作の対象として特定された前記候補の表示位置に応じて、当該操作の対象以外の他の候補の表示を制御する、請求項１に記載の情報処理装置。
15. 前記制御部は、前記操作の対象として特定された前記候補の表示位置に応じて、前記他の候補の表示位置を制御する、請求項１４に記載の情報処理装置。
16. 前記制御部は、前記他の候補の表示を制限する、請求項１４に記載の情報処理装置。
17. 前記制御部は、特定された前記複数の候補のうち、少なくともいずれかの候補に設定された属性に応じて、当該候補の表示位置を制御する、請求項１に記載の情報処理装置。
18. 前記制御部は、ユーザの状態に応じて、特定された前記複数の候補のうち、少なくともいずれかの候補の表示位置を制御する、請求項１に記載の情報処理装置。
19. コンピュータシステムが、
    所定の出力部に１以上の表示情報を表示させることと、
    視覚的に視認可能なオブジェクトに対する操作を検出することと、
    前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定することと、
    特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御することと、
    を含む、情報処理方法。
20. コンピュータシステムに、
    所定の出力部に１以上の表示情報を表示させることと、
    視覚的に視認可能なオブジェクトに対する操作を検出することと、
    前記操作の検出結果に応じて、当該操作の対象となる表示情報の候補を特定することと、
    特定された前記候補が複数存在する場合に、当該複数の候補が互いに離間するように、少なくともいずれかの候補の表示位置を制御することと、
    を実行させる、プログラム。

Images