JP7563383B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

３Ｄ(dimension)マウスやコントローラなどのデバイスやユーザの指先や目（視線）などのユーザの身体により位置や仮想オブジェクト等の対象を指し示す技術が提供されている。例えば、ＡＲ（Augmented Reality）やＶＲ（Virtual Reality）の分野では、３次元空間内の仮想オブジェクトや仮想オブジェクトを配置したい位置をデバイスやユーザの身体により指示する。

国際公開２０１７／２１３０７０号公報

上記のような従来技術によれば、ユーザの視野内に所定の方向に沿って配置され、所定の方向に関する距離を示す立体視オブジェクトを表示することにより、ユーザの視線によるポインティングやオブジェクト操作を行う。従来技術は、指し示したい位置を示すために、所定の方向をあらかじめ決めて、さらにその所定の方向上で位置を決定する。このように、従来技術は、所定の直線状で位置を調整する場合であり、丸いテーブルの円周上で位置を調整したい場合には対応が困難である。

上述のように、立体視オブジェクトを表示する場合、ユーザによる位置や仮想オブジェクト等の対象の指示に制約が多く、ユーザによる指示や指示に応じた表示を行うことが難しい。そのため、ユーザの指示に応じた柔軟な表示を可能にすることが望まれている。

そこで、本開示では、ユーザの指示に応じた柔軟な表示を可能にすることができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。

上記の課題を解決するために、本開示に係る一形態の情報処理装置は、ユーザが示した複数の方向に基づき定まる位置である指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御する表示制御部、を備える。

本開示の実施形態に係る情報処理の一例を示す図である。 本開示の実施形態に係る情報処理の一例を説明するための図である。 本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係る情報処理装置の構成例を示す図である。 本開示の実施形態に係る交点関連閾値情報記憶部の一例を示す図である。 本開示の実施形態に係るオブジェクト関連閾値情報記憶部の一例を示す図である。 本開示の実施形態に係る方向指示情報記憶部の一例を示す図である。 本開示の実施形態に係る交点表示用情報記憶部の一例を示す図である。 本開示の実施形態に係るオブジェクト情報記憶部の一例を示す図である。 本開示の実施形態に係る情報処理の手順を示すフローチャートである。 本開示の交点表示に関する手順を示すフローチャートである。 本開示の交点表示モードの一例を示す図である。 本開示の交点表示モードの一例を示す図である。 本開示の交点表示モードの一例を示す図である。 本開示の交点表示の態様の一例を示す図である。 本開示の交点表示の態様の一例を示す図である。 本開示の交点表示の態様の一例を示す図である。 本開示の視線を用いた交点表示の一例を示す図である。 本開示の主従関係が有る場合の交点表示の一例を示す図である。 本開示の仮想オブジェクトの配置の一例を示す図である。 本開示の仮想オブジェクトの配置範囲の一例を示す図である。 本開示の仮想オブジェクトの配置位置と交点との関係を示す図である。 本開示の仮想オブジェクトの移動の一例を示す図である。 本開示の仮想オブジェクト移動の手順を示すフローチャートである。 本開示の仮想オブジェクト移動の手順を示すフローチャートである。 本開示の仮想オブジェクト移動の手順を示すフローチャートである。 本開示の交点モード処理の手順を示すフローチャートである。 本開示の線の表示の一例を示す図である。 本開示の線の表示の一例を示す図である。 本開示の線の表示の一例を示す図である。 本開示の線の表示の一例を示す図である。 本開示の線の表示の一例を示す図である。 本開示の交点表示の一例を示す図である。 本開示の他の表示の一例を示す図である。 本開示の他の表示の一例を示す図である。 本開示の他の表示の一例を示す図である。 本開示の他の交点表示の一例を示す図である。 情報処理装置や情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかる情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

以下に示す項目順序に従って本開示を説明する。
１．実施形態
１－１．本開示の実施形態に係る情報処理の概要
１－２．実施形態に係る情報処理システムの構成
１－３．実施形態に係る情報処理装置の構成
１－４．実施形態に係る情報処理の手順
１－５．交点表示
１－５－１．交点表示に関する手順
１－５－２．交点表示モード
１－５－３．交点表示態様
１－６．主従関係
１－６－１．コントローラと視線
１－６－２．指さしと視線
１－６－３．交点表示例
１－７．仮想オブジェクト
１－７－１．仮想オブジェクトの配置
１－７－２．仮想オブジェクトの配置範囲
１－７－３．交点との配置位置
１－７－４．仮想オブジェクトの移動
１－７－５．仮想オブジェクトの移動の手順
１－７－６．コントローラと視線
１－８．線の表現
１－９．その他
１－１０．他の幾何学的対象（面）
２．その他の構成例
３．本開示に係る効果
４．ハードウェア構成

［１．実施形態］
［１－１．本開示の実施形態に係る情報処理の概要］
図１は、本開示の実施形態に係る情報処理の一例を示す図である。本開示の実施形態に係る情報処理は、図１に示す情報処理装置１００によって実現される。情報処理システム１の情報処理装置１００は、実施形態に係る情報処理を実行する情報処理装置である。

情報処理システム１（図３参照）は、表示装置１０や、表示装置１０の表示を制御する情報処理装置１００（図３参照）や、第１コントローラ２０Ａや、第２コントローラ２０Ｂが含まれる。図１は、表示装置１０がヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である場合を示す。図１では、実空間ＲＳに示すように、ヘッドマウントディスプレイである表示装置１０がユーザ５０の頭部に装着され、情報処理装置１００により表示制御に応じた像が、ユーザ５０の眼前に位置する表示装置１０のディスプレイ（例えば表示部１５（図３参照））に表示される。

なお、表示装置１０は、後述する処理が実現可能であれば、非透過型のＨＭＤや透過型のＨＭＤ等どのようなヘッドマウントディスプレイであってもよい。また、表示装置１０は、ヘッドマウントディスプレイに限らず、後述する情報処理が実現可能であればどのような装置であってもよく、例えば空中投影ディスプレイ等の種々の装置であってもよい。表示装置１０の構成の詳細については後述する。

また、図１では、ユーザ５０が右手に第１コントローラ２０Ａを所持し、左手に第２コントローラ２０Ｂを所持する場合を示す。以下では、第１コントローラ２０Ａや第２コントローラ２０Ｂを区別しない場合、コントローラ２０と記載する場合がある。コントローラ２０は、ユーザが方向を示すために用いるデバイスである。ユーザは、コントローラ２０を所持する手を所望の位置や向きに配置することにより、所望の方向を指し示す。例えば、コントローラ２０は、表示装置１０により表示されるＡＲ（Augmented Reality）やＶＲ（Virtual Reality）やＭＲ（Mixed Reality）等の空間の位置を指示したり、空間内のオブジェクト（「仮想オブジェクト」ともいう）を指示したりするために用いられる。

図１では、ユーザが示した方向をユーザに視覚的に認識させるための要素（対象）として線を用いる場合を示す。例えば、ユーザが示した方向に沿う線により、ユーザが示した方向をユーザに視覚的に認識させる。図１では、ユーザがコントローラ２０により指示した方向に延びる線を表示装置１０に表示させることにより、ユーザがコントローラ２０により指示した方向をユーザに視覚的に認識させる。図１では、コントローラ２０から放射される線は、表示装置１０により表示される仮想的なビームである場合を示す。例えば、表示装置１０は、コントローラ２０からコントローラ２０の所定の位置（例えば図２８中の原点２１Ａや原点２１Ｂ等）を通る軸に沿って放射される線を表示する。

なお、コントローラ２０から放射される線は、表示装置１０により表示される仮想的なビームに限らず、コントローラ２０が実際に放射するビーム（レーザー光）であってもよい。コントローラ２０が実際にレーザー光（線）を放射する場合、コントローラ２０は所定の光軸に沿ってレーザー光を放射する。また、ユーザが示した方向をユーザに視覚的に認識させるための要素は、線に限らず、面などであってもよい。以下では、ユーザが示した方向をユーザに視覚的に認識させるために用いられる線や面等を総称して幾何学的対象と記載する場合がある。また、ユーザによる方向の指示は、コントローラ２０等のデバイスに限らず、ユーザの身体等であってもよいがこの点についての詳細は上述する。以下では、ユーザが方向を示すために用いるデバイスやユーザの身体等を総称して指示構成要素と記載する場合がある。指示構成要素は、ユーザが方向を示すために用いるものであればどのようなものであってもよい。

図１中の像ＩＭは、ユーザ５０が装着した表示装置１０のディスプレイによりユーザ５０の眼前に表示される像である。図１中の像ＩＭには、第１コントローラ２０Ａが指し示す方向に対応する線ＬＮ１や第２コントローラ２０Ｂが指し示す方向に対応する線ＬＮ２が表示される。

ユーザ５０は、線ＬＮ１の位置及び向きや線ＬＮ２の位置及び向きを確認しながら、コントローラ２０を所持する手を所望の位置や向きを変えることにより、線ＬＮ１と線ＬＮ２とに基づき定まる位置（以下「指示位置」ともいう）を指定する。図１の例では、ユーザ５０は、像ＩＭ１の中央部付近（自身の眼前の中央部付近）が指示位置となるように、コントローラ２０の向きや位置を調整する。以下、コントローラ２０の向きや位置を調整することを、単に「コントローラ２０の調整」と記載する場合がある。

図１の例では、情報処理装置１００は、ユーザ５０がコントローラ２０により示した２つの方向に基づき定まる指示位置に、仮想オブジェクト用のマークをＭＫ１表示するように表示装置１０を制御する。ここで、情報処理装置１００は、２つの線ＬＮ１、ＬＮ２の位置関係に基づいて、マークＭＫ１を表示するかどうかを判定する。この点について、図２を用いて説明する。図２は、本開示の実施形態に係る情報処理の一例を説明するための図である。図２に示す状態ＳＴ１～ＳＴ４の各々は、ユーザ５０によるコントローラ２０の調整に基づく、方向の変化に対応する線ＬＮ１や線ＬＮ２の変化を示す。例えば、図２に示す状態ＳＴ３は、マークＭＫ１が表示された像ＩＭ１に対応する状態を示す。

情報処理装置１００は、ユーザ５０の動作に応じたコントローラ２０の位置や向きを示す情報（以下「コントローラ情報」ともいう）取得し、取得したコントローラ情報に基づいて、線ＬＮ１、ＬＮ２を表示するように、表示装置１０を制御する。また、情報処理装置１００は、２つの線ＬＮ１、ＬＮ２の位置関係に基づいて、仮想オブジェクト用のマークを表示するかどうかを判定する。情報処理装置１００は、２つの線ＬＮ１、ＬＮ２との間の距離を算出する。また、情報処理装置１００は、２つの線ＬＮ１、ＬＮ２に基づき定まる指示位置を演算により算出する。

図２に示す状態ＳＴ１は、例えば、ユーザ５０が第１コントローラ２０Ａ及び第２コントローラ２０Ｂを所持し、操作を開始した時点に対応する。情報処理装置１００は、状態ＳＴ１に対応するコントローラ２０の位置や向きを示すコントローラ情報をコントローラ２０から取得し、取得したコントローラ情報に基づいて、線ＬＮ１、ＬＮ２を表示するように、表示装置１０を制御する。

また、情報処理装置１００は、２本の線ＬＮ１、ＬＮ２の距離Ｄが閾値Ｄ０未満かどうかを判定する。例えば、閾値Ｄ０は、２本の線ＬＮ１、ＬＮ２の交点を表示するかどうかの判定に用いられる閾値である。閾値Ｄ０は、０以上の値である。例えば、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０未満かどうかを判定する。情報処理装置１００は、距離Ｄが閾値Ｄ０未満である場合、交点を表示すると判定する。図２に示す状態ＳＴ１では、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０以上であるため、交点を表示しないと判定する。

ユーザ５０は、所望の位置を指定するために、第１コントローラ２０Ａ及び第２コントローラ２０Ｂの調整を行う（ステップＳ１）。ユーザ５０は、２本の線ＬＮ１、ＬＮ２が近づくように、第１コントローラ２０Ａ及び第２コントローラ２０Ｂの調整を行う。図２に示す状態ＳＴ２は、ユーザ５０による第１コントローラ２０Ａ及び第２コントローラ２０Ｂの調整後の状態に対応する。情報処理装置１００は、状態ＳＴ２に対応するコントローラ２０の位置や向きを示すコントローラ情報をコントローラ２０から取得し、取得したコントローラ情報に基づいて、線ＬＮ１、ＬＮ２を表示するように、表示装置１０を制御する。

そして、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０未満かどうかを判定する。図２に示す状態ＳＴ２では、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０未満であるため、交点を表示すると判定する（ステップＳ２）。情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１の最近点である点ＰＴ１と、第２コントローラ２０Ｂの線ＬＮ２の最近点である点ＰＴ２との間の距離Ｄが閾値Ｄ０未満であるため、交点を表示すると判定する。

そして、情報処理装置１００は、交点を表示させる（ステップＳ３）。情報処理装置１００は、交点を表示するように表示装置１０を制御する。まず、情報処理装置１００は、交点の位置を演算により算出する。図２に示す状態ＳＴ３では、情報処理装置１００は、線ＬＮ１の点ＰＴ１と、線ＬＮ２の点ＰＴ２との中点を交点ＩＳ１として算出する。なお、情報処理装置１００は、最近点の中点に限らず、種々の位置を交点として算出してもよい。例えば、情報処理装置１００は、線ＬＮ１の点ＰＴ１と、線ＬＮ２の点ＰＴ２とが重なる場合、その点ＰＴ１、ＰＴ２の位置を交点ＩＳ１として算出する。例えば、情報処理装置１００は、線ＬＮ１の点ＰＴ１の位置と、線ＬＮ２の点ＰＴ２の位置とが一致する場合、その点ＰＴ１、ＰＴ２の位置を交点ＩＳ１として算出する。情報処理装置１００は、交点ＩＳ１の位置に図１に示すようなマークＭＫ１を表示するように表示装置１０を制御する。すなわち、情報処理装置１００は、マークＭＫ１を交点ＩＳ１として表示するように表示装置１０を制御する。

そして、交点ＩＳ１を表示させ所望の操作が完了したユーザ５０は、交点ＩＳ１の表示を終了するために、第１コントローラ２０Ａ及び第２コントローラ２０Ｂの調整を行う（ステップＳ４）。ユーザ５０は、２本の線ＬＮ１、ＬＮ２が離れるように、第１コントローラ２０Ａ及び第２コントローラ２０Ｂの調整を行う。

また、情報処理装置１００は、２本の線ＬＮ１、ＬＮ２の距離Ｄが閾値Ｄ１よりも大きいかどうかを判定する。例えば、閾値Ｄ１は、２本の線ＬＮ１、ＬＮ２の交点の表示をやめるかどうかの判定に用いられる閾値である。閾値Ｄ１は、閾値Ｄ０よりも大きい値である。このように、交点の表示を開始する閾値Ｄ０よりも大きい値を交点の表示を終了する閾値Ｄ１とすることにより、誤差やユーザの手振れなどにより交点の表示と非表示が連続することを抑制することができる。

図２に示す状態ＳＴ４では、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ１よりも大きいため、交点を非表示にすると判定する（ステップＳ５）。具体的には、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１の最近点である点ＰＴ１と、第２コントローラ２０Ｂの線ＬＮ２の最近点である点ＰＴ２との間の距離Ｄが閾値Ｄ１よりも大きいため、交点を非表示にすると判定する。このように、閾値Ｄ０と閾値Ｄ１と間は交点表示モードがＯＮの時（交点表示モード時）は遊びの領域になる。閾値Ｄ０と閾値Ｄ１と間は交点表示モードがＯＦＦの時（交点非表示モード時）は不感帯になる。２本の線が近づいて交点表示モードになり、その後に交点位置を調整可能な遊びの領域を設けることで、ユーザ５０は、交点位置の調整に集中することができる。

上述したように、情報処理装置１００は、２本の線により位置を指示することにより、容易に所望の位置を指示することができる。情報処理装置１００は、ユーザ５０が示した２方向の各々に対応する線ＬＮ１、ＬＮ２に基づき定まる交点ＩＳ１にマークＭＫ１を表示するように表示装置１０を制御することにより、ユーザ５０の指示に応じた柔軟な表示を可能にすることができる。また、情報処理装置１００は、２本の線の間の距離に応じて交点の表示を切る変えることにより、ユーザの指示に応じた柔軟な表示を可能にすることができる。情報処理システム１により、ユーザ５０は、３次元空間上で、制約なく自由に３次元位置を指定することが可能となる。

動的に軸を変化させながら位置を決めることができるので、ユーザは、３次元空間のどこでも素早く位置を指定できる。また、ユーザは、位置を指定したい場合には２本の線を近づけて交点を作り、やめたい場合には線を離すか線の向きを変えることで交点表示を終了できるので、ユーザの意図が直感的に反映される。

［１－２．実施形態に係る情報処理システムの構成］
図３に示す情報処理システム１について説明する。図３に示すように、情報処理システム１は、情報処理装置１００と、表示装置１０と、第１コントローラ２０Ａと、第２コントローラ２０Ｂとが含まれる。なお、図３では、第１コントローラ２０Ａ及び第２コントローラ２０Ｂの２個のコントローラ２０を方向指示構成要素の一例として図示するが、情報処理システム１には、３個より多い数の方向指示構成要素が含まれてもよい。

情報処理システム１は、ＡＲ（拡張現実）やＶＲ（仮想現実）やＭＲ（複合現実）に関する情報処理が実行されるシステムである。例えば、情報処理システム１は、ＡＲやＶＲのコンテンツを表示したり、編集したりするためのシステムである。

情報処理装置１００と、表示装置１０と、コントローラ２０とは所定のネットワーク（図示省略）を介して、有線または無線により通信可能に接続される。図３は、本開示の実施形態に係る情報処理システムの構成例を示す図である。なお、図３に示した情報処理システム１には、複数の表示装置１０や、複数の情報処理装置１００が含まれてもよい。

情報処理装置１００は、ユーザが示した複数の方向に基づき定まる位置である指示位置に、仮想オブジェクト用のマークを表示するように表示装置１０を制御する情報処理装置である。情報処理装置１００は、コントローラ２０から取得したコントローラ情報を用いて表示装置１０の表示を制御する。情報処理装置１００は、表示装置１０から取得した表示装置１０の位置や姿勢に関する情報（表示装置情報）を用いて表示装置１０の表示を制御する。

表示装置１０は、情報を表示するためのコンピュータ（情報処理装置）である。例えば、表示装置１０は、ヘッドマウントディスプレイであり、ユーザに対する情報の表示に用いられる。

表示装置１０は、位置・姿勢検出部１１と、赤外線受光部１２と、加速度センサー１３と、ジャイロセンサー１４と、表示部１５とを有する。位置・姿勢検出部１１は、外線受光部１２や加速度センサー１３やジャイロセンサー１４などの表示装置１０が備えるセンサーから取得した各種センサー情報に基づいて、表示装置１０の位置や姿勢を検出する。位置・姿勢検出部１１は、外線受光部１２や加速度センサー１３やジャイロセンサー１４などの表示装置１０が備えるセンサーを制御することにより、表示装置１０の位置や向き、傾き等、表示装置１０の位置や姿勢に関する各種情報を検知する。姿勢検出部１１は、表示装置１０の位置や姿勢に関する情報（表示装置情報）を、表示制御部１３４に出力する。例えば、表示装置１０は、表示装置１０の位置や姿勢に関する各種情報を情報処理装置１００に送信する。例えば、位置・姿勢検出部１１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等、種々のプロセッサにより実現されてもよい。

表示部１５は、表示制御部１３４による制御により各種情報を表示するディスプレイである。例えば、表示装置１０は、情報処理装置１００から各種情報を取得し、取得した情報を表示部１５により表示する。表示部１５は、表示制御部１３４による制御に応じて、ユーザが示した複数の方向に基づき定まる指示位置に、仮想オブジェクト用のマークを表示する。表示部１５は、表示制御部１３４により生成されたコンテンツを表示する。

なお、ユーザの視線が方向の指定に用いられる場合、表示装置１０は、ユーザの視線位置を検出する視線検出部を有してもよい。視線検出部は、視線検出に関する種々の技術を適宜用いて、ユーザの視線を検出する。視線検出の技術としては、例えば、目の基準点（例えば、目頭や角膜反射などの目における動かない部分に対応する点）に対する、目の動点（例えば、虹彩や瞳孔などの目における動く部分に対応する点）の位置に基づいて、視線を検出する方法が用いられてもよい。なお、視線の検出は、上記に限らず任意の視線検出技術を用いて、ユーザの視線を検出してもよい。

第１コントローラ２０Ａや第２コントローラ２０Ｂであるコントローラ２０は、ユーザが方向を示すために用いられるデバイスである。コントローラ２０は、ＡＲやＶＲの分野で用いられるコントローラである。コントローラ２０は、ＡＲやＶＲの空間に対するユーザの操作を実行するために用いられる。コントローラ２０は、表示装置１０により表示されるＡＲやＶＲ等の空間の位置を指示したり、空間内の仮想オブジェクトを指示したりするために用いられる。

コントローラ２０は、位置・姿勢検出部２１と、赤外線受光部２２と、加速度センサー２３と、ジャイロセンサー２４とを有する。位置・姿勢検出部２１は、外線受光部２２や加速度センサー２３やジャイロセンサー２４などのコントローラ２０が備えるセンサーから取得した各種センサー情報に基づいて、コントローラ２０の位置や姿勢を検出する。位置・姿勢検出部２１は、外線受光部２２や加速度センサー２３やジャイロセンサー２４などのコントローラ２０が備えるセンサーを制御することにより、コントローラ２０の位置や向き、傾き等、コントローラ２０の位置や姿勢に関する各種情報を検知する。姿勢検出部１１は、コントローラ２０の位置や姿勢に関する情報（コントローラ情報）を、交点演算部１３２に出力する。例えば、コントローラ２０は、コントローラ２０の位置や姿勢に関する各種情報を情報処理装置１００に送信する。例えば、位置・姿勢検出部２１は、ＣＰＵやＧＰＵやＦＰＧＡ等、種々のプロセッサにより実現されてもよい。

なお、コントローラ２０が実際のビームを放射する場合、コントローラ２０は、レーザー光を放射する構成（光出力部等）を有する。

［１－３．実施形態に係る情報処理装置の構成］
次に、実施形態に係る情報処理を実行する情報処理装置の一例である情報処理装置１００の構成について説明する。図４は、本開示の実施形態に係る情報処理装置１００の構成例を示す図である。

図４に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

通信部１１０は、例えば、ＮＩＣや通信回路等によって実現される。そして、通信部１１０は、所定のネットワーク（図示省略）と有線または無線で接続され、コントローラ２０や表示装置１０等の他の情報処理装置との間で情報の送受信を行う。

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図４に示すように、交点関連閾値情報記憶部１２１と、オブジェクト関連閾値情報記憶部１２２と、方向指示情報記憶部１２３と、交点表示用情報記憶部１２４と、オブジェクト情報記憶部１２５とを有する。

実施形態に係る交点関連閾値情報記憶部１２１は、交点に関連する閾値に関する各種情報を記憶する。例えば、交点関連閾値情報記憶部１２１は、交点を表示するか否かの判定に用いる閾値に関する各種情報を記憶する。図５は、本開示の実施形態に係る交点関連閾値情報記憶部の一例を示す図である。図５に示す交点関連閾値情報記憶部１２１には、「閾値ＩＤ」、「用途」、「閾値」といった項目が含まれる。

「閾値ＩＤ」は、閾値を識別するための識別情報を示す。「用途」は、閾値の用途を示す。「閾値」は、対応する閾値ＩＤにより識別される閾値の具体的な値を示す。なお、図５に示す例では、「閾値」は、「Ｄ０」、「Ｌｍａｘ」といった抽象的な符号を図示するが、「閾値」には、「０．８」や「５」といった具体的な値（数）を示す情報が記憶される。

図５の例では、閾値ＩＤ「ＴＨ１１」により識別される閾値（第１閾値）の用途は、用途「交点表示モードＯＮ」であり、交点表示モードをＯＮにするかどうかの判定に用いられる閾値であることを示す。例えば、閾値ＩＤ「ＴＨ１１」により識別される閾値（第１閾値）は、交点を示すマークを表示するかどうかの判定に用いられる閾値である。閾値ＩＤ「ＴＨ１１」により識別される閾値（第１閾値）の値は、閾値Ｄ０であることを示す。

また、閾値ＩＤ「ＴＨ１２」により識別される閾値（第２閾値）の用途は、用途「交点表示モードＯＦＦ」であり、交点表示モードをＯＦＦにするかどうかの判定に用いられる閾値であることを示す。例えば、閾値ＩＤ「ＴＨ１２」により識別される閾値（第２閾値）は、交点を示すマークを非表示にするかどうかの判定に用いられる閾値である。閾値ＩＤ「ＴＨ１２」により識別される閾値（第２閾値）の値は、閾値Ｄ１であることを示す。

また、閾値ＩＤ「ＴＨ１３」により識別される閾値（第３閾値）の用途は、用途「交点最大距離」であり、交点を表示するかどうかの判定に用いられる閾値であることを示す。例えば、閾値ＩＤ「ＴＨ１３」により識別される閾値（第３閾値）は、交点を示すマークを表示する範囲内の距離かどうかの判定に用いられる閾値である。閾値ＩＤ「ＴＨ１３」により識別される閾値（第３閾値）の値は、閾値Ｌｍａｘであることを示す。

なお、交点関連閾値情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

ここで、閾値Ｄ０や閾値Ｄ１は適宜設定されてもよい。閾値Ｄ０や閾値Ｄ１は、閾値Ｄ０と閾値Ｄ１との間の大小関係を満たせば、種々の情報を適宜用いて設定されてもよい。例えば、情報処理装置１００は、操作者（例えばユーザ５０）のコントローラ２０や手などから交点までの距離に応じて閾値Ｄ０や閾値Ｄ１の値を設定してもよい。例えば、操作者から近ければ閾値Ｄ０や閾値Ｄ１の値は小さく、遠くなると閾値Ｄ０や閾値Ｄ１の値が大きくなるように、情報処理装置１００は、閾値Ｄ０や閾値Ｄ１の値を設定してもよい。例えば、閾値Ｄ１は、「交点までの距離×tan（5deg.）」により算出される値を目安として用いてもよい。例えば、下記の文献に開示されるように、手ぶれの最大角度が５度程度のため、上記のように算出される値を用いてもよい。

・安定化レーザポインタに関する基礎検討 <https://www.cst.nihon-u.ac.jp/research/gakujutu/54/pdf/E-7.pdf>

また、例えば、閾値Ｄ０は、２ｍと想定した場合、閾値Ｄ１は１７ｃｍ程度なので、閾値ＤＯはその１０分の１程度（２ｃｍ程度）に設定されてもよい。なお、閾値Ｄ０は２本の線が瞬間的にでも交差すればよいため、小さい値でよい。

実施形態に係るオブジェクト関連閾値情報記憶部１２２は、オブジェクトに関連する閾値に関する各種情報を記憶する。例えば、オブジェクト関連閾値情報記憶部１２２は、オブジェクトの表示の判定に用いる閾値に関する各種情報を記憶する。図６は、本開示の実施形態に係るオブジェクト関連閾値情報記憶部の一例を示す図である。図６に示すオブジェクト関連閾値情報記憶部１２２には、「閾値ＩＤ」、「用途」、「閾値」といった項目が含まれる。

「閾値ＩＤ」は、閾値を識別するための識別情報を示す。「用途」は、閾値の用途を示す。「閾値」は、対応する閾値ＩＤにより識別される閾値の具体的な値を示す。なお、図６に示す例では、「閾値」は、「Ｒｍａｘ」、「Ｄｔｈｒｅｓｈｏｌｄ」といった抽象的な符号を図示するが、「閾値」には、「０．８」や「５」といった具体的な値（数）を示す情報が記憶される。

図６の例では、閾値ＩＤ「ＴＨ２１」により識別される閾値（第４閾値）の用途は、用途「オブジェクト配置最小距離」であり、オブジェクトを配置する最小距離の判定に用いられる閾値であることを示す。例えば、閾値ＩＤ「ＴＨ２１」により識別される閾値（第４閾値）は、仮想オブジェクトの配置位置が最小距離の範囲内かどうかの判定に用いられる閾値である。閾値ＩＤ「ＴＨ２１」により識別される閾値（第４閾値）の値は、閾値Ｒｍｉｎであることを示す。

また、閾値ＩＤ「ＴＨ２２」により識別される閾値（第５閾値）の用途は、「オブジェクト配置最大距離」であり、オブジェクトを配置する最大距離の判定に用いられる閾値であることを示す。例えば、閾値ＩＤ「ＴＨ２２」により識別される閾値（第５閾値）は、仮想オブジェクトの配置位置が最大距離の範囲内かどうかの判定に用いられる閾値である。閾値ＩＤ「ＴＨ２２」により識別される閾値（第５閾値）の値は、閾値Ｒｍａｘであることを示す。

また、閾値ＩＤ「ＴＨ２３」により識別される閾値（第６閾値）の用途は、用途「オブジェクト移動」であり、オブジェクトを移動させるかどうかの判定に用いられる閾値であることを示す。例えば、閾値ＩＤ「ＴＨ２３」により識別される閾値（第６閾値）は、交点の位置の変更に応じて、オブジェクトを移動させるかどうかの判定に用いられる閾値である。閾値ＩＤ「ＴＨ２３」により識別される閾値（第６閾値）の値は、閾値Ｌｍａｘであることを示す。

なお、オブジェクト関連閾値情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

実施形態に係る方向指示情報記憶部１２３は、方向の指示に関する各種情報を記憶する。図７は、本開示の実施形態に係る方向指示情報記憶部の一例を示す図である。例えば、方向指示情報記憶部１２３は、各方向に対応する各種情報を記憶する。図７に示す方向指示情報記憶部１２３には、「方向指示ＩＤ」、「指示構成要素」、「種別」といった項目が含まれる。

「方向指示ＩＤ」は、各方向を識別するための識別情報を示す。例えば、「方向指示ＩＤ」は、ユーザにより示された各方向を識別するための識別情報を示す。「指示構成要素」は、ユーザが方向を示す（指示する）ために用いた構成要素を識別する情報を示す。「指示構成要素」は、ユーザが方向を指示するために用いたコントローラ等のデバイス（装置）やユーザの身体に関する要素を識別する情報が記憶される。例えば、ユーザの視線により方向が指示される場合、「指示構成要素」には、「視線」が格納されてもよい。また、例えば、ユーザの指により方向が指示される場合、「指示構成要素」には、「指」が格納されてもよい。

「種別」は、指示構成要素のタイプ（種別）を示す。例えば、「種別」は、ユーザが方向を示す（指示する）ために用いた構成要素が、コントローラ等のデバイス（装置）やユーザの身体に関する要素などのタイプを示す。例えば、コントローラにより方向が指示される場合、「種別」には、「コントローラ」や「デバイス」等が格納される。例えば、ユーザの視線により方向が指示される場合、「種別」には、「視線」や「身体」等が格納される。また、例えば、ユーザの指により方向が指示される場合、「種別」には、「指」や「身体」等が格納される。

図７の例では、方向指示ＩＤ「ＤＧ１」により識別される方向（方向ＤＧ１）は、「２０Ａ」により識別される指示構成要素である第１コントローラ２０Ａであることを示す。方向ＤＧ１を示す第１コントローラ２０Ａの種別はコントローラであることを示す。

また、方向指示ＩＤ「ＤＧ２」により識別される方向（方向ＤＧ２）は、「２０Ｂ」により識別される指示構成要素である第２コントローラ２０Ｂであることを示す。方向ＤＧ２を示す第２コントローラ２０Ｂの種別はコントローラであることを示す。

なお、方向指示情報記憶部１２３は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

実施形態に係る交点表示用情報記憶部１２４は、交点表示に関する各種情報を記憶する。交点表示用情報記憶部１２４は、交点表示に用いる各種情報を記憶する。図８は、本開示の実施形態に係る交点表示用情報記憶部の一例を示す図である。図８に示す交点表示用情報記憶部１２４には、「交点表示モード」、「交点（指示位置）」、「マーク」、「対象情報」、「主従情報」といった項目が含まれる。

「交点表示モード」は、交点表示モードがＯＮかＯＦＦかを示す。「交点（指示位置）」は、交点の位置を示す。「マーク」は、指示位置に対応する位置に表示されるマークを示す。

「対象情報」は、方向に対応する幾何学的対象を示す情報が記憶される。「対象情報」には、「距離」、「対象＃１」、「対象＃２」といった項目が含まれる。「距離」は、各対象間の距離（対象距離）を示す。「対象＃１」や「対象＃２」は、方向に対応する幾何学的対象を示す。なお、「対象情報」には、「対象＃１」、「対象＃２」に限らず、「対象＃３」等、対象の数に応じた項目が含まれてもよい。

「主従情報」には、「主従関係」、「主指示構成要素」、「従指示構成要素」といった項目が含まれる。「主従関係」は、各方向を指示する構成要素間の主従関係の有無を示す。

「主指示構成要素」は、主となる指示構成要素を示す。例えば、「主指示構成要素」は、その指示構成要素が示す方向（幾何学的対象）が主となることを示す。図１の例で第１コントローラ２０Ａが主たる指示構成要素である場合、「主指示構成要素」には、「２０Ａ」が記憶される。

「従指示構成要素」は、従となる指示構成要素を示す。例えば、「従指示構成要素」は、その指示構成要素が示す方向（幾何学的対象）が従となることを示す。図１の例で第２コントローラ２０Ｂが主たる指示構成要素である場合、「従指示構成要素」には、「２０Ｂ」が記憶される。

図８の例では、交点表示モードが「ＯＮ」であり、交点を示すマークを表示するモードであることを示す。また、交点（指示位置）が、「ＩＳ１」であり、交点が交点ＩＳ１であることを示す。また、マークが、「ＭＫ１」であり、交点ＩＳ１に対応する位置に表示されるマークがマークＭＫ１であることを示す。

また、１つ目の対象が線ＬＮ１の点ＰＴ１であり、２つ目の対象が線ＬＮ２の点ＰＴ２であり、それらの対象間の距離が距離Ｄであることを示す。主従関係が無いことを示し、主指示構成要素及び従指示構成要素が設定されていないことを示す。

なお、交点表示用情報記憶部１２４は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

実施形態に係るオブジェクト情報記憶部１２５は、オブジェクトに関する各種情報を記憶する。例えば、オブジェクト情報記憶部１２５は、仮想オブジェクトに関する各種情報を記憶する。図９は、本開示の実施形態に係るオブジェクト情報記憶部の一例を示す図である。図９に示すオブジェクト情報記憶部１２５には、「オブジェクトＩＤ」、「オブジェクト情報」、「フラグ」といった項目が含まれる。「フラグ」には、「重力フラグ」といった項目が含まれる。なお、「フラグ」には、「重力フラグ」に限らず、オブジェクトに割り当てられるフラグであれば、例えば「透明フラグ」などどのようなフラグが含まれてもよい。

「オブジェクトＩＤ」は、オブジェクトを識別するための識別情報を示す。「オブジェクトＩＤ」は、仮想オブジェクトを識別するための識別情報を示す。また、「オブジェクト情報」は、オブジェクトＩＤにより識別されるオブジェクトに対応するオブジェクト情報を示す。なお、図９に示す例では、「オブジェクト情報」は、「ＯＩＮＦ１」といった抽象的な符号を図示するが、「オブジェクト情報」には、オブジェクトのサイズや形状等に関連する各種情報が記憶される。「フラグ」には、オブジェクトＩＤにより識別されるオブジェクトに対応するフラグを示す。「重力フラグ」は、オブジェクトＩＤにより識別されるオブジェクトに重力フラグが付与されているか否かを示す。

図９の例では、オブジェクトＩＤ「ＶＯ１」により識別されるオブジェクト（仮想オブジェクトＶＯ１）は、オブジェクト情報が「ＯＩＮＦ１」であることを示す。仮想オブジェクトＶＯ１は、重力フラグが「１」であることを示す。すなわち、仮想オブジェクトＶＯ１は、配置位置の決定に重力の影響を受けることを示す。この場合、例えば、仮想オブジェクトＶＯ１は、中空に配置された場合、その位置から重力方向に落下した位置に配置されることを示す。

また、オブジェクトＩＤ「ＶＯ４１」により識別されるオブジェクト（仮想オブジェクトＶＯ４１）は、オブジェクト情報が「ＯＩＮＦ４１」であることを示す。仮想オブジェクトＶＯ４１は、重力フラグが「０」であることを示す。すなわち、仮想オブジェクトＶＯ４１は、配置位置の決定に重力の影響を受けないことを示す。この場合、例えば、仮想オブジェクトＶＯ４１は、中空に配置された場合、その位置に留まることを示す。

なお、オブジェクト情報記憶部１２５は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

図４に戻り、説明を続ける。制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部に記憶されたプログラム（例えば、本開示に係る決定プログラム等の情報処理プログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ等の集積回路により実現される。

図４に示すように、制御部１３０は、取得部１３１と、交点演算部１３２と、判定部１３３と、表示制御部１３４と、送信部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図４に示した接続関係に限られず、他の接続関係であってもよい。

取得部１３１は、各種情報を取得する。取得部１３１は、外部の情報処理装置から各種情報を取得する。取得部１３１は、コントローラ２０から各種情報を取得する。取得部１３１は、表示装置１０等の他の情報処理装置から各種情報を取得する。

取得部１３１は、記憶部１２０から各種情報を取得する。取得部１３１は、交点関連閾値情報記憶部１２１やオブジェクト関連閾値情報記憶部１２２や方向指示情報記憶部１２３や交点表示用情報記憶部１２４やオブジェクト情報記憶部１２５から各種情報を取得する。

取得部１３１は、交点演算部１３２が算出した各種情報を取得する。取得部１３１は、判定部１３３が決定した各種情報を取得する。取得部１３１は、表示制御部１３４が受信した各種情報を取得する。

図２の例では、取得部１３１は、ユーザ５０の動作に応じたコントローラ２０の位置や向き等の姿勢を示すコントローラ情報取得する。取得部１３１は、状態ＳＴ１に対応するコントローラ２０の位置や向き等の姿勢を示すコントローラ情報をコントローラ２０から取得する。取得部１３１は、状態ＳＴ２に対応するコントローラ２０の位置や向き等の姿勢を示すコントローラ情報をコントローラ２０から取得する。

交点演算部１３２は、各種演算処理を行う。交点演算部１３２は、交点に関する演算処理を行う。交点演算部１３２は、各種情報を算出する。交点演算部１３２は、外部の情報処理装置からの情報や記憶部１２０に記憶された情報に基づいて、各種情報を算出する。交点演算部１３２は、記憶部１２０から、各種情報を算出する。交点演算部１３２は、交点関連閾値情報記憶部１２１やオブジェクト関連閾値情報記憶部１２２や方向指示情報記憶部１２３や交点表示用情報記憶部１２４やオブジェクト情報記憶部１２５から、各種情報を算出する。交点演算部１３２は、各種情報を特定する。交点演算部１３２は、シミュレーション結果をオブジェクト関連閾値情報記憶部１２２に格納する。交点演算部１３２は、各種情報を生成する。交点演算部１３２は、算出した情報に基づいて、各種情報を生成する。

図２の例では、交点演算部１３２は、２つの線ＬＮ１、ＬＮ２との間の距離を算出する。交点演算部１３２は、２つの線ＬＮ１、ＬＮ２に基づき定まる指示位置を演算により算出する。交点演算部１３２は、交点の位置を演算により算出する。交点演算部１３２は、線ＬＮ１の点ＰＴ１と、線ＬＮ２の点ＰＴ２との中点を交点ＩＳ１として算出する。

判定部１３３は、各種情報を判定する。判定部１３３は、各種情報を決定する。判定部１３３は、各種情報を特定する。例えば、判定部１３３は、外部の情報処理装置からの情報や記憶部１２０に記憶された情報に基づいて、各種情報を判定する。判定部１３３は、コントローラ２０や表示装置１０等の他の情報処理装置からの情報に基づいて、各種情報を判定する。判定部１３３は、交点関連閾値情報記憶部１２１やオブジェクト関連閾値情報記憶部１２２や方向指示情報記憶部１２３や交点表示用情報記憶部１２４やオブジェクト情報記憶部１２５に記憶された情報に基づいて、各種情報を判定する。

判定部１３３は、取得部１３１により取得された各種情報に基づいて、各種情報を判定する。判定部１３３は、交点演算部１３２により算出された各種情報に基づいて、各種情報を判定する。判定部１３３は、表示制御部１３４により受信された各種情報に基づいて、各種情報を判定する。判定部１３３は、取得部１３１により取得された各種情報に基づいて、各種情報を決定する。判定部１３３は、交点演算部１３２により算出された各種情報に基づいて、各種情報を判定する。判定部１３３は、表示制御部１３４により受信された各種情報に基づいて、各種情報を決定する。

判定部１３３は、各種情報を抽出する。判定部１３３は、各種情報を選択する。判定部１３３は、外部の情報処理装置からの情報や記憶部１２０に記憶された情報に基づいて、各種情報を抽出する。判定部１３３は、記憶部１２０から、各種情報を抽出する。判定部１３３は、交点関連閾値情報記憶部１２１やオブジェクト関連閾値情報記憶部１２２や方向指示情報記憶部１２３や交点表示用情報記憶部１２４やオブジェクト情報記憶部１２５から、各種情報を抽出する。

判定部１３３は、取得部１３１により取得された各種情報に基づいて、各種情報を抽出する。また、判定部１３３は、判定部１３３により決定された各種情報に基づいて、各種情報を抽出する。判定部１３３は、表示制御部１３４により受信された各種情報に基づいて、各種情報を抽出する。判定部１３３は、決定に基づいて、各種情報を変更する。取得部１３１により取得された情報に基づいて、各種情報を更新する。

判定部１３３は、２つの幾何学的対象の位置関係に基づいて、マークを表示するかどうかを判定する。判定部１３３は、２つの幾何学的対象間の距離である対象距離が第１閾値未満である場合、マークを表示すると判定する。判定部１３３は、マークの表示時に、対象距離が第１閾値よりも大きい第２閾値以下である場合、マークの表示を継続すると判定し、対象距離が第２閾値を超える場合、マークを表示しないと判定する。判定部１３３は、２方向のいずれかを指示する指示構成要素と、指示位置との間の距離である表示距離に基づいて、マークを表示するかどうかを判定する。判定部１３３は、表示距離が第３閾値を超える場合、マークを表示しないと判定する。

図２の例では、判定部１３３は、２つの線ＬＮ１、ＬＮ２の位置関係に基づいて、マークＭＫ１を表示するかどうかを判定する。判定部１３３は、２本の線ＬＮ１、ＬＮ２の距離Ｄが閾値Ｄ０未満かどうかを判定する。判定部１３３は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０未満かどうかを判定する。判定部１３３は、距離Ｄが閾値Ｄ０未満である場合、交点を表示すると判定する。図２に示す状態ＳＴ１では、判定部１３３は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０以上であるため、交点を表示しないと判定する。

判定部１３３は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０未満かどうかを判定する。図２に示す状態ＳＴ２では、判定部１３３は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０未満であるため、交点を表示すると判定する。判定部１３３は、第１コントローラ２０Ａの線ＬＮ１の最近点である点ＰＴ１と、第２コントローラ２０Ｂの線ＬＮ２の最近点である点ＰＴ２との間の距離Ｄが閾値Ｄ０未満であるため、交点を表示すると判定する。

判定部１３３は、２本の線ＬＮ１、ＬＮ２の距離Ｄが閾値Ｄ１よりも大きいかどうかを判定する。図２に示す状態ＳＴ４では、判定部１３３は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ１よりも大きいため、交点を表示すると判定する。判定部１３３は、第１コントローラ２０Ａの線ＬＮ１の最近点である点ＰＴ１と、第２コントローラ２０Ｂの線ＬＮ２の最近点である点ＰＴ２との間の距離Ｄが閾値Ｄ１よりも大きいため、交点を非表示にすると判定する。

表示制御部１３４は、各種情報の表示を制御する。表示制御部１３４は、表示装置１０における各種情報の表示を制御する。表示制御部１３４は、情報を表示するデバイスの表示に関する種々の技術を用いて、表示装置１０における各種情報の表示を制御する。表示制御部１３４は、ヘッドマウントディスプレイの表示に関する種々の技術を用いて、表示装置１０における各種情報の表示を制御する。表示制御部１３４は、ＶＲ（Virtual Reality：仮想現実）やＡＲ（Augmented Reality：拡張現実）に関する種々の技術を用いて、表示装置１０における各種情報の表示を制御する。表示制御部１３４は、表示態様を制御する制御情報を含む画像等を生成する。表示制御部１３４は、図１中の像ＩＭ１を生成する。

表示制御部１３４は、指示構成要素の位置や向き等の姿勢を示す情報（指示構成要素情報）や表示装置１０の位置や向き等の姿勢に関する情報（表示装置情報）を用いて、表示装置１０における各種情報の表示を制御する。表示制御部１３４は、コントローラ２０の位置や向き等の姿勢を示す情報（コントローラ情報）や表示装置１０の位置や向き等の姿勢に関する情報（表示装置情報）を用いて、表示装置１０における各種情報の表示を制御する。表示制御部１３４は、コントローラ情報や表示装置情報を用いて、コントローラ２０の線の表示を制御する。表示制御部１３４は、コントローラ情報や表示装置情報を用いて、表示装置１０の表示部１５での仮想オブジェクトの表示を制御する。

表示制御部１３４は、コントローラ情報や表示装置情報を用いて、コントローラ２０の線や仮想オブジェクトの描画を制御する。表示制御部１３４は、描画として表示装置１０の表示部１５に表示させる、左眼用画像と右眼用画像とからなる立体視オブジェクト（立体視画像）を生成する処理を行ってもよい。そして、表示制御部１３４は、生成された立体視オブジェクトを、表示装置１０の表示部１５に表示させる。表示制御部１３４は、指示構成要素が指し示す方向により定まる位置に対応する部分へのマークの描画を制御する。表示制御部１３４は、ユーザ５０の視線の情報に基づいて、表示装置１０の表示部１５でのコントローラ２０の線の表示を制御する。

表示制御部１３４は、外部の情報処理装置から取得した各種情報に基づいて表示を制御する。表示制御部１３４は、コントローラ２０から取得した各種情報に基づいて表示を制御する。表示制御部１３４は、記憶部１２０に記憶される各種情報に基づいて表示を制御する。表示制御部１３４は、交点関連閾値情報記憶部１２１やオブジェクト関連閾値情報記憶部１２２や方向指示情報記憶部１２３や交点表示用情報記憶部１２４やオブジェクト情報記憶部１２５に記憶される各種情報に基づいて表示を制御する。

表示制御部１３４は、取得部１３１により取得された各種情報に基づいて、各種情報を受信する。表示制御部１３４は、交点演算部１３２により算出された各種情報に基づいて、各種情報を受信する。表示制御部１３４は、判定部１３３により決定された各種情報に基づいて、各種情報を受信する。

表示制御部１３４は、ユーザが示した複数の方向に基づき定まる位置である指示位置に、仮想オブジェクト用のマークを表示するように表示装置１０を制御する。表示制御部１３４は、複数の方向の各々に対応する複数の幾何学的対象に基づき定まる指示位置に、マークを表示するように表示装置１０を制御する。表示制御部１３４は、複数の幾何学的対象の位置関係に基づき定まる指示位置に、マークを表示するように表示装置１０を制御する。

表示制御部１３４は、２方向である複数の方向の各々に対応する２つの幾何学的対象に基づき定まる指示位置に、マークを表示するように表示装置１０を制御する。表示制御部１３４は、２方向である複数の方向のうち、第１の方向に沿う第１の幾何学的対象と、第２の方向に沿う第２の幾何学的対象とに基づき定まる指示位置に、マークを表示するように表示装置１０を制御する。表示制御部１３４は、判定部１３３によりマークを表示すると判定された場合に、マークを表示するように表示装置１０を制御する。

表示制御部１３４は、２つの幾何学的対象の関係に基づく指示位置に、仮想オブジェクトを表示するように表示装置１０を制御する。表示制御部１３４は、２つの幾何学的対象の各々から決定される２つの点に基づき定まる指示位置に、マークを表示するように表示装置１０を制御する。表示制御部１３４は、２つの幾何学的対象の距離が最も近い２つの点に基づき定まる指示位置に、マークを表示するように表示装置１０を制御する。表示制御部１３４は、２つの点の位置が一致する場合、２つの点の位置を指示位置として、マークを表示するように表示装置１０を制御する。表示制御部１３４は、２つの点の位置が異なる場合、２つの点を結ぶ線分上の位置を指示位置として、マークを表示するように表示装置１０を制御する。

表示制御部１３４は、指示位置に基づく位置である配置位置に、仮想オブジェクトを表示するように表示装置１０を制御する。表示制御部１３４は、指示位置が、複数の方向のいずれかを指示する指示構成要素から第１位置までの距離である第１距離と、指示構成要素から第１位置よりも遠い第２位置までの距離である第２距離との間に位置する場合、指示位置を配置位置として、仮想オブジェクトを表示するように表示装置１０を制御する。表示制御部１３４は、指示位置が、第１距離以下である場合、第１位置を配置位置として、仮想オブジェクトを表示するように表示装置１０を制御する。表示制御部１３４は、指示位置が、第２距離以上である場合、第２位置を配置位置として、仮想オブジェクトを表示するように表示装置１０を制御する。

表示制御部１３４は、複数の方向の各々に対応する複数の線に基づき定まる指示位置に、マークを表示するように表示装置１０を制御する。表示制御部１３４は、複数の方向のうち、少なくとも１方向に対応する面を含む複数の幾何学的対象に基づき定まる指示位置に、マークを表示するように表示装置１０を制御する。表示制御部１３４は、ユーザが所持するコントローラにより指示される少なくとも１方向を含む複数の方向に基づき定まる指示位置に、マークを表示するように表示装置１０を制御する。表示制御部１３４は、ユーザの身体により指示される少なくとも１方向を含む複数の方向に基づき定まる指示位置に、マークを表示するように表示装置１０を制御する。表示制御部１３４は、ユーザの視線により指示される少なくとも１方向を含む複数の方向に基づき定まる指示位置に、マークを表示するように表示装置１０を制御する。表示制御部１３４は、ユーザの指により指示される少なくとも１方向を含む複数の方向に基づき定まる指示位置に、マークを表示するように表示装置１０を制御する。

図１の例では、表示制御部１３４は、ユーザ５０がコントローラ２０により示した２つの方向に基づき定まる指示位置に、仮想オブジェクト用のマークをＭＫ１表示するように表示装置１０を制御する。表示制御部１３４は、取得部１３１により取得されたコントローラ情報に基づいて、線ＬＮ１、ＬＮ２を表示するように、表示装置１０を制御する。

図２の例では、表示制御部１３４は、取得部１３１により取得された状態ＳＴ１に対応するコントローラ情報に基づいて、線ＬＮ１、ＬＮ２を表示するように、表示装置１０を制御する。表示制御部１３４は、取得部１３１により取得された状態ＳＴ２に対応するコントローラ情報に基づいて、線ＬＮ１、ＬＮ２を表示するように、表示装置１０を制御する。表示制御部１３４は、交点を表示するように表示装置１０を制御する。表示制御部１３４は、交点ＩＳ１に図１に示すようなマークＭＫ１を交点ＩＳ１として表示するように表示装置１０を制御する。

送信部１３５は、外部の情報処理装置へ各種情報を提供する。送信部１３５は、外部の情報処理装置へ各種情報を送信する。例えば、送信部１３５は、コントローラ２０や表示装置１０等の他の情報処理装置へ各種情報を送信する。送信部１３５は、記憶部１２０に記憶された情報を提供する。送信部１３５は、記憶部１２０に記憶された情報を送信する。

送信部１３５は、コントローラ２０や表示装置１０等の他の情報処理装置からの情報に基づいて、各種情報を提供する。送信部１３５は、記憶部１２０に記憶された情報に基づいて、各種情報を提供する。送信部１３５は、交点関連閾値情報記憶部１２１やオブジェクト関連閾値情報記憶部１２２や方向指示情報記憶部１２３や交点表示用情報記憶部１２４やオブジェクト情報記憶部１２５に記憶された情報に基づいて、各種情報を提供する。

送信部１３５は、取得部１３１により取得された各種情報に基づいて、各種情報を送信する。送信部１３５は、交点演算部１３２により算出された各種情報に基づいて、各種情報を送信する。送信部１３５は、判定部１３３により決定された各種情報に基づいて、各種情報を送信する。

送信部１３５は、表示制御部１３４により表示装置１０を制御するための情報を表示装置１０に送信する。送信部１３５は、表示制御部１３４により表示装置１０を制御するために生成された制御情報を表示装置１０に送信する。

［１－４．実施形態に係る情報処理の手順］
次に、図１０を用いて、実施形態に係る情報処理の手順について説明する。図１０は、本開示の実施形態に係る情報処理の手順を示すフローチャートである。具体的には、図１０は、情報処理装置１００による決定処理の手順を示すフローチャートである。

図１０に示すように、情報処理装置１００は、ユーザが示した複数の方向が所定の条件を満たすかどうかを判定する（ステップＳ１０１）。例えば、ユーザが示した２方向が所定の条件を満たすかどうかを判定する。

情報処理装置１００は、ユーザが示した複数の方向が所定の条件を満たす場合（ステップＳ１０１：Ｙｅｓ）、複数の方向に基づき定まる位置に仮想オブジェクト用のマークを表示するように表示装置を制御する（ステップＳ１０２）。例えば、情報処理装置１００は、ユーザが示した２方向が所定の条件を満たす場合、２方向に基づき定まる位置に仮想オブジェクト用のマークを表示するように表示装置１０を制御する。

情報処理装置１００は、ユーザが示した複数の方向が所定の条件を満たさない場合（ステップＳ１０１：Ｎｏ）、マークを表示するように表示装置を制御することなく、処理を終了する。

［１－５．交点表示］
次に、図１１～図１３Ｃを用いて交点表示についての詳細を説明する。

［１－５－１．交点表示に関する手順］
まず、図１１を用いて、交点表示に関する手順について説明する。図１１は、本開示の交点表示に関する手順を示すフローチャートである。なお、以下の説明では、情報処理システム１を処理の主体として説明するが、図１１に示す各処理は、情報処理システム１の装置構成に応じて、情報処理装置１００や表示装置１０等、情報処理システム１に含まれるいずれの装置が行ってもよい。図１１では、指示構成要素が２つのコントローラである場合を一例として説明する。

情報処理システム１は、２つのコントローラの位置・向きを取得する（ステップＳ２０１）。例えば、情報処理装置１００は、第１コントローラ２０Ａ及び第２コントローラ２０Ｂの位置及び向きを示す情報を取得する。

情報処理システム１は、各コントローラから線を表示する（ステップＳ２０２）。例えば、情報処理装置１００は、第１コントローラ２０Ａ及び第２コントローラ２０Ｂから線が表示されるように表示装置１０の表示を制御する。

情報処理システム１は、２本の線の距離Ｄが閾値Ｄ０未満かどうかを判定する（ステップＳ２０３）。例えば、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０未満かどうかを判定する。

２本の線の距離Ｄが閾値Ｄ０未満ではない場合（ステップＳ２０３：Ｎｏ）、情報処理システム１は、２本の線の距離Ｄが閾値Ｄ１よりも大きいかどうかを判定する（ステップＳ２０４）。例えば、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０以上である場合、情報処理装置１００は、距離Ｄが閾値Ｄ１よりも大きいかどうかを判定する。

２本の線の距離Ｄが閾値Ｄ１よりも大きくない場合（ステップＳ２０４：Ｎｏ）、情報処理システム１は、ステップＳ２０９の処理を実行する。すなわち、２本の線の距離Ｄが閾値Ｄ１以下である場合、情報処理システム１は、交点表示モードがＯＮであればＯＮを維持し、交点表示モードがＯＦＦであればＯＦＦを維持し、ステップＳ２０９の処理を実行する。例えば、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ１以下である場合、情報処理装置１００は、ステップＳ２０９の処理を実行する。

２本の線の距離Ｄが閾値Ｄ１よりも大きい場合（ステップＳ２０４：Ｙｅｓ）、情報処理システム１は、交点表示モードをＯＦＦにした後（ステップＳ２０５）、ステップＳ２０９の処理を実行する。例えば、２本の線の距離Ｄが閾値Ｄ１よりも大きい場合、情報処理装置１００は、交点表示モードがＯＮであればＯＦＦに変更し、交点表示モードがＯＦＦであればＯＦＦを維持し、ステップＳ２０９の処理を実行する。

２本の線の距離Ｄが閾値Ｄ０未満である場合（ステップＳ２０３：Ｙｅｓ）、情報処理システム１は、交点は前方にあるかどうかを判定する（ステップＳ２０６）。例えば、２本の線の距離Ｄが閾値Ｄ０未満である場合、情報処理装置１００は、交点ＩＳ１が第１コントローラ２０Ａの前方にあるかどうかを判定する。例えば、２本の線の距離Ｄが閾値Ｄ０未満である場合、情報処理装置１００は、交点ＩＳ１が第２コントローラ２０Ｂの前方にあるかどうかを判定してもよい。

交点が前方にない場合（ステップＳ２０６：Ｎｏ）、情報処理システム１は、交点表示モードをＯＦＦにした後（ステップＳ２０５）、ステップＳ２０９の処理を実行する。例えば、交点ＩＳ１が第１コントローラ２０Ａの前方にない場合、情報処理装置１００は、交点表示モードがＯＮであればＯＦＦに変更し、交点表示モードがＯＦＦであればＯＦＦを維持し、ステップＳ２０９の処理を実行する。

交点が前方にある場合（ステップＳ２０６：Ｙｅｓ）、情報処理システム１は、交点はＬｍａｘ以内かどうかを判定する（ステップＳ２０７）。例えば、交点ＩＳ１が第１コントローラ２０Ａの前方にある場合、情報処理装置１００は、第１コントローラ２０Ａから交点ＩＳ１までの距離が閾値Ｌｍａｘ以内かどうかを判定する。

交点がＬｍａｘ以内にない場合（ステップＳ２０７：Ｎｏ）、情報処理システム１は、交点表示モードをＯＦＦにした後（ステップＳ２０５）、ステップＳ２０９の処理を実行する。例えば、第１コントローラ２０Ａから交点ＩＳ１までの距離が閾値Ｌｍａｘよりも大きい場合、情報処理装置１００は、交点表示モードがＯＮであればＯＦＦに変更し、交点表示モードがＯＦＦであればＯＦＦを維持し、ステップＳ２０９の処理を実行する。

交点がＬｍａｘ以内にある場合（ステップＳ２０７：Ｙｅｓ）、情報処理システム１は、交点表示モードをＯＮにする（ステップＳ２０８）。例えば、第１コントローラ２０Ａから交点ＩＳ１までの距離が閾値Ｌｍａｘ以内である場合、情報処理装置１００は、交点表示モードをＯＮにする。

また、情報処理システム１は、交点表示モードはＯＮかどうかを判定する（ステップＳ２０９）。例えば、情報処理装置１００は、交点表示用情報記憶部１２４（図８参照）中の交点表示モードがＯＮかどうかを判定する。

交点表示モードがＯＮである場合（ステップＳ２０９：Ｙｅｓ）、情報処理システム１は、交点の表示位置をアップデートする（ステップＳ２１０）。例えば、交点表示モードがＯＮである場合、情報処理装置１００は、交点が非表示である場合、交点を表示し、交点が表示中である場合、交点の表示位置をアップデートする。

交点表示モードがＯＮではない場合（ステップＳ２０９：Ｎｏ）、情報処理システム１は、交点の表示を消す（ステップＳ２１１）。例えば、交点表示モードがＯＦＦである場合、情報処理装置１００は、交点が非表示である場合、交点の非表示を維持し、交点が表示中である場合、交点の表示を消す。

また、情報処理システム１は、コントローラを置いたかどうかを判定する（ステップＳ２１２）。例えば、情報処理装置１００は、ユーザが第１コントローラ２０Ａまたは第２コントローラ２０Ｂを置いたかどうかを判定する。

コントローラを置いたと判定した場合（ステップＳ２１２：Ｙｅｓ）、情報処理システム１は、処理を終了する。例えば、ユーザが第１コントローラ２０Ａまたは第２コントローラ２０Ｂを置いたと判定した場合、情報処理装置１００は、処理を終了する。

コントローラを置いたと判定していない場合（ステップＳ２１２：Ｎｏ）、情報処理システム１は、ステップＳ２０１に戻って処理を繰り返す。例えば、ユーザが第１コントローラ２０Ａまたは第２コントローラ２０Ｂを置いていないと判定した場合、情報処理装置１００は、ステップＳ２０１に戻って処理を繰り返す。

［１－５－２．交点表示モード］
次に、図１２Ａ～図１２Ｃを用いて、交点表示モードについて説明する。図１２Ａ～図１２Ｃは、本開示の交点表示モードの一例を示す図である。図１２Ａ～図１２Ｃの各々は、交点表示モードがＯＮやＯＦＦである場合の例を示す。具体的には、図１２Ａは、交点表示モードがＯＮである場合の例を示す。また、図１２Ｂ及び図１２Ｃの各々は、交点表示モードがＯＦＦである場合の例を示す。

まず、図１２Ａを用いて、交点表示モードがＯＮである場合について説明する。図１２Ａでは、情報処理装置１００は、２つの線ＬＮ１、ＬＮ２の距離Ｄが閾値Ｄ０未満であるため、２つの線ＬＮ１、ＬＮ２の交点ＩＳ１１を算出する。情報処理装置１００は、第１コントローラ２０Ａから交点ＩＳ１１までの距離が閾値Ｌｍａｘ以内かどうかを判定する。閾値Ｌｍａｘは、交点を表示する範囲内の距離かどうかの判定に用いられる。

ここで、情報処理装置１００は、２本の線の距離Ｄが閾値Ｄ０未満である第１条件、コントローラ２０の前方に交点がある第２条件、及びコントローラ２０から交点までの距離が閾値Ｌｍａｘ以内である第３条件を満たす場合、交点表示モードをＯＮにする。図１２Ａでは、情報処理装置１００は、２本の線ＬＮ１、ＬＮ２の距離Ｄが閾値Ｄ０未満であり、第１コントローラ２０Ａの前方に交点ＩＳ１１があり、第１コントローラ２０Ａから交点ＩＳ１１までの距離が閾値Ｌｍａｘ以内であるため、交点表示モードをＯＮにする。なお、上記では第１コントローラ２０Ａが条件を満たす場合を示したが、情報処理装置１００は、第１コントローラ２０Ａ及び第２コントローラ２０Ｂの両方が条件を満たす場合に、交点表示モードをＯＮにしてもよい。また、ここでいうコントローラ２０の前方とは、コントローラ２０の所定の位置（例えば図２８中の原点２１Ａや原点２１Ｂ等）を通る軸（方向）の向きのうち、一方側に臨む向きに対応する。

例えば、コントローラ２０がレーザー光を放射する場合、そのレーザー光が放射される側が前方に対応する。また、コントローラ２０のいずれの側を前方とするかは、コントローラ２０の形状やユーザに利用態様等により適宜設定されてもよい。例えば、ユーザが所持した際にユーザが対象を指し示す際に対象の方に臨む側をコントローラ２０の前方としてもよい。例えば、第１コントローラ２０Ａの前方は、図１２Ｃ中の前面ＦＦ１が臨む側に対応する。また、第１コントローラ２０Ａの場合、前面ＦＦ１とは反対側の裏面ＢＦ１が臨む側が後方に対応する。例えば、第２コントローラ２０Ｂの前方は、図１２Ｃ中の前面ＦＦ２が臨む側に対応する。また、第２コントローラ２０Ｂの場合、前面ＦＦ１とは反対側の裏面ＢＦ２が臨む側が後方に対応する。

例えば、情報処理装置１００は、コントローラ２０の位置や向きを示すコントローラ情報により、どの向きがコントローラ２０の前方であるかを特定してもよい。また、情報処理装置１００は、コントローラ２０の前方のみに線が延びるように設定されてもよい。線の表現等については、下記の文献等に記載される種々の技術が用いられてもよい。
・OutlinAR: an assisted interactive model building system with reduced computational effort <http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.212.9258&rep=rep1&type=pdf>

次に、図１２Ｂを用いて、２本の線の距離Ｄにより、交点表示モードがＯＦＦである場合について説明する。図１２Ｂは、交点表示モードがＯＮであった図１２Ａの後の状態を示し、２本の線ＬＮ１、ＬＮ２が離れるように、第１コントローラ２０Ａ及び第２コントローラ２０Ｂの調整された状態を示す。情報処理装置１００は、本の線ＬＮ１、ＬＮ２の距離Ｄが閾値Ｄ１よりも大きいかどうかを判定する。図１２Ｂでは、情報処理装置１００は、２本の線ＬＮ１、ＬＮ２の距離Ｄが閾値Ｄ１よりも大きいと判定し、交点表示モードをＯＦＦにする。すなわち、情報処理装置１００は、交点表示モードをＯＮからＯＦＦに変更する。

次に、図１２Ｃを用いて、２本の線の距離Ｄにより、交点表示モードがＯＦＦである場合について説明する。図１２Ｃでは、情報処理装置１００は、２つの線ＬＮ１、ＬＮ２の距離Ｄが閾値Ｄ０未満であるため、２つの線ＬＮ１、ＬＮ２の交点ＩＳ１２を算出する。ここで、図１２Ｃでは、第１コントローラ２０Ａの前面ＦＦ１と第２コントローラ２０Ｂの前面ＦＦ２とが互いに離れる向きに臨む。すなわち、第１コントローラ２０Ａの裏面ＢＦ１と第２コントローラ２０Ｂの裏面ＢＦ２とが互いに近づく向きに臨む。このため、図１２Ｃでは、コントローラ２０の後方側に交点ＩＳ１２が位置する。

そのため、情報処理装置１００は、コントローラ２０の前方に交点ＩＳ２があるという第２条件を満たさないと判定する。図１２Ｃでは、情報処理装置１００は、第１コントローラ２０Ａの前方に交点ＩＳ１２がないため、交点表示モードをＯＦＦにする。なお、上記では第１コントローラ２０Ａが条件を満たす場合を示したが、情報処理装置１００は、第１コントローラ２０Ａ及び第２コントローラ２０Ｂの少なくとも一方が条件を満たさない場合に、交点表示モードをＯＦＦにしてもよい。例えば、交点表示モードがＯＮで図１２Ｂや図１２Ｃの状態になった場合、情報処理装置１００は、交点表示モードを抜け、交点表示モードをＯＮからＯＦＦに変更する。

上記のように、情報処理装置１００は、ユーザが持つ２本のコントローラ２０の位置から、コントローラ２０の方向を示す線を表示させる。また、情報処理装置１００は、指定したい位置を、2本のコントローラで指し示し交点を作る。情報処理装置１００は、２本の線がコントローラ２０の前方で一定距離（閾値Ｄ０）よりも近づいたら交点表示モードになる。また、情報処理装置１００は、お互いの線の最近点の中点に交点を表示させる。また、情報処理装置１００は、コントローラが平行になると、交点が無限遠になるのでコントローラから交点位置までの最大距離(閾値Ｌｍａｘ)を事前に設定する。情報処理装置１００は、２本の線の距離が閾値Ｄ１を超えるか、コントローラ２０の後方で閾値Ｄ０よりも近づき交点を作った場合には、交点表示モードから抜ける。

［１－５－３．交点表示態様］
次に、図１３Ａ～図１３Ｃを用いて、交点表示の態様について説明する。図１３Ａ～図１３Ｃは、本開示の交点表示の態様の一例を示す図である。図１３Ａ～図１３Ｃの各々は、各種のマークによる交点の表示態様の例を示す。なお、図１３Ａ～図１３Ｃは、交点表示モードがＯＮである状態を示す。

まず、図１３Ａを用いて、点マークによる交点の表示態様について説明する。図１３Ａでは、点状のマークＭＫ１１を交点ＩＳ１１に重なる位置に表示することにより、交点ＩＳ１１が表示される。情報処理装置１００は、マークＭＫ１１を交点ＩＳ１１として表示するように表示装置１０を制御する。このように、情報処理システム１は、球や明かりで点（交点）を示してもよい。

次に、図１３Ｂを用いて、リングマークによる交点の表示態様について説明する。図１３Ｂでは、円環状のマークＭＫ１２の中心が交点ＩＳ１１に重なるように表示することにより、交点ＩＳ１１の位置が見やすいように、マークＭＫ１２が表示される。情報処理装置１００は、中央が空いたリング（円環）のマークＭＫ１２を交点ＩＳ１１の位置を中心として表示するように表示装置１０を制御する。

次に、図１３Ｃを用いて、線のうち、交点から所定の範囲内の部分（以下「近傍部分」ともいう）を他の部分とは異なる表示態様にすることによる交点の表示態様について説明する。図１３Ｃでは、線ＬＮ１、ＬＮ２のうち、交点ＩＳ１１の近傍の部分にマークＭＫ１３、ＭＫ１４を表示することにより、交点ＩＳ１１の部分が認識されやすいように、マークＭＫ１３、ＭＫ１４が表示される。情報処理装置１００は、線ＬＮ１の近傍部分にマークＭＫ１３を重ねて表示し、線ＬＮ２の近傍部分にマークＭＫ１４を重ねて表示するように表示装置１０を制御する。マークＭＫ１３、ＭＫ１４は、図形に限らず、他の部分との表示態様が異なることを示すものである。例えば、マークＭＫ１３、ＭＫ１４は、光らせるような表示態様であってもよいし、線ＬＮ１やＬＮ２の他の部分と異なる色に変えるような表示態様であってもよい。また、マークＭＫ１３、ＭＫ１４は、近づいたら濃い色になり、遠くなったら薄い色になるような表示態様であってもよい。

［１－６．主従関係］
なお、指示構成要素間には主従関係があってもよい。このように、複数の指示構成要素には、主となるもの（主指示構成要素）と従（従指示構成要素）となるものがあってもよい。この点について、図１４及び図１５を用いて説明する。

［１－６－１．コントローラと視線］
まず、図１４を用いて、コントローラと視線である指示構成要素間に主従関係がある場合の交点表示に関する手順について説明する。このように、方向を示す指示構成要素は、コントローラと他の種別の指示構成要素との組合せであってもよい。

図１４は、本開示の視線を用いた交点表示の一例を示す図である。具体的には、図１４は、ユーザ５０が所持するコントローラ２０が主たる指示構成要素であり、ユーザ５０の目５１の視線が従たる指示構成要素である場合を示す。なお、以下の説明では、情報処理システム１を処理の主体として説明するが、図１４に示す各処理は、情報処理システム１の装置構成に応じて、情報処理装置１００や表示装置１０等、情報処理システム１に含まれるいずれの装置が行ってもよい。

図１４に示す状態ＳＴ２１～ＳＴ２４の各々は、ユーザ５０によるコントローラ２０や目５１（視線）の調整に基づく、方向の変化に対応する線ＬＮ２１や視線ＬＮ２２（以下単に「線ＬＮ２２」とする）の変化を示す。図１４では、ユーザ５０が指し示したい位置を対象ＴＧで示すが、対象ＴＧは説明のための図示であり、表示装置１０に表示される情報ではないものとする。図１４は、空中での座標位置（対象ＴＧ）を指定する場合を示す。

図１４に示す状態ＳＴ２１は、例えば、ユーザ５０が１つのコントローラ２０を持ち、コントローラ２０から線ＬＮ２１が表示された状態を示す。情報処理装置１００は、ユーザ５０が所持したコントローラ２０から線ＬＮ２１を表示するように、表示装置１０を制御する。

ユーザ５０は、所望の位置を指定するために、コントローラ２０の調整を行う（ステップＳ２１）。これにより、ユーザ５０は、コントローラ２０の線ＬＮ２１により指定したい位置を指そうとする。図１４に示す状態ＳＴ２２は、ユーザ５０によるコントローラ２０の調整により、線ＬＮ２１が対象ＴＧの位置を通る状態に対応する。情報処理装置１００は、状態ＳＴ２２に対応するコントローラ２０の位置や向きを示すコントローラ情報をコントローラ２０から取得し、取得したコントローラ情報に基づいて、線ＬＮ２１を表示するように、表示装置１０を制御する。

また、ユーザ５０は、目５１（視線）を対象ＴＧの方に向ける（ステップＳ２２）。これにより、ユーザ５０は、目５１（視線）が対象ＴＧの方を向くようにする。図１４に示す状態ＳＴ２３は、ユーザ５０による目５１（視線）の調整により、目５１（視線）に対応する線ＬＮ２２が対象ＴＧの位置を通る状態に対応する。なお、図１４中に点線で示す線ＬＮ２２は非表示でもよい。すなわち、情報処理装置１００は、線ＬＮ２２を表示装置１０に表示させてもよいし、表示させなくてもよい。

そして、情報処理装置１００は、コントローラ２０の線ＬＮ２１と、目５１（視線）の線ＬＮ２２との間の距離Ｄが閾値Ｄ０未満かどうかを判定する。図１４に示す状態ＳＴ２では、情報処理装置１００は、コントローラ２０の線ＬＮ２１と、目５１（視線）の線ＬＮ２２との間の距離Ｄが閾値Ｄ０未満であるため、交点を表示すると判定する（ステップＳ２３）。

このように、情報処理装置１００は、コントローラ２０の線ＬＮ２１と目５１（視線）の線ＬＮ２２との距離Ｄが一定距離（閾値Ｄ０）以内の場合に、交点表示モードにする。また、コントローラ２０（の線等）が平行になると、交点が無限遠になるので交点位置の最大距離（閾値Ｌｍａｘ）を事前に設定する。また、視線は常に微小な動きをしているため、情報処理装置１００は、コントローラ２０の線ＬＮ２１上の最近点に交点を表示するように、表示装置１０を制御する。また、人間の視覚調整の仕組み上、何も無いところで焦点を合わせることは出来ないため、情報処理システム１は、先にコントローラ２０の線を表示して、ユーザ５０が視線で位置を指定できるようにする。上記により、ユーザ５０は、交点を作るためにコントローラ２０の向きが平行になっても、交点が遠距離に行かないので交点を見失うことなく操作することができる。

そして、ユーザ５０は、コントローラ２０や目５１（視線）の調整を行う（ステップＳ２４）。ユーザ５０は、対象ＴＧから２本の線ＬＮ２１、ＬＮ２２が離れるように、コントローラ２０や目５１（視線）の調整を行う。

また、情報処理装置１００は、２本の線ＬＮ２１、ＬＮ２２の距離Ｄが閾値Ｄ１よりも大きいかどうかを判定する。図１４に示す状態ＳＴ２４では、情報処理装置１００は、コントローラ２０の線ＬＮ２１と、目５１（視線）の線ＬＮ２２との間の距離Ｄが閾値Ｄ１よりも大きいため、交点を非表示にすると判定する（ステップＳ２５）。そして、情報処理装置１００は、交点表示モードをＯＦＦにする。このように、情報処理装置１００は、コントローラ２０と目５１（視線）の２本の線ＬＮ２１、ＬＮ２２の距離Ｄが閾値Ｄ１を超えた場合、交点表示モードから抜ける。また、情報処理装置１００は、図１２Ｃと同様に、コントローラ２０の後方に交点が位置する場合には、交点表示モードから抜ける。また、コントローラ２０の後方で距離Ｄが閾値Ｄ０よりも近づき交点を作った場合には、交点表示モードから抜ける。コントローラ２０の後方に交点が位置する場合には、情報処理装置１００は、交点表示モードをＯＦＦにする。また、情報処理システム１は、ユーザ５０がコントローラ２０を置いたら処理を終了する。

なお、閾値Ｄ０や閾値Ｄ１の値は、方向を示す指示構成要素の種別（コントローラ、視線など）の組み合わせに応じて変更してもよい。

［１－６－２．指さしと視線］
上記のように、指示構成要素は種々の種別であってもよい。例えば、指示構成要素にコントローラ２０が含まれてなくてもよい。例えば、指示構成要素として、指５２（図２６参照）による指さしや目５１（視線）が用いられてもよい。この点について説明する。なお、図１４とは、指示構成要素がコントローラ２０からユーザ５０の指５２に変更された点以外は同様であるため、適宜説明を省略する。

このように、方向の指示に手（指）を用いる場合、情報処理システム１は、ユーザの手の形状などを検知する所定のセンサーにより、ユーザの指さしの態様（位置や向きなど）を検知してもよい。例えば、情報処理システム１は、画像センサーにより、ユーザの指さしの態様（位置や向きなど）を検知してもよい。

まず、ユーザ５０は、手を方向を指し示す形状にする。これにより、ユーザ５０の手（指５２）から線が表示される。そして、ユーザ５０は、手で指定したい位置を指し示す。情報処理システム１は、手の線と視線の直線との距離が一定距離（閾値Ｄ０）以内の場合に、交点表示モードにする。情報処理システム１は、手と視線の２本の線の距離が閾値Ｄ１を超えるか、手の後方で距離が閾値Ｄ０よりも近づき交点を作った場合には、交点表示モードから抜ける。また、情報処理システム１は、手の方向を指し示す形状をやめたら、処理を終了する。

［１－６－３．交点表示例］
次に、図１５を用いて、指示構成要素間に主従関係がある場合の交点表示について説明する。図１５は、本開示の主従関係が有る場合の交点表示の一例を示す図である。具体的には、図１５は、情報処理装置１００がコントローラ２０の線ＬＮ２１上の最近点に交点を表示するように、表示装置１０を制御する場合の一例を示す。

図１５では、情報処理装置１００は、線ＬＮ２１の最近点を交点ＩＳ３１として算出する。例えば、情報処理装置１００は、線ＬＮ２１と線ＬＮ２２との間の距離Ｄの算出対象となる線ＬＮ２１側の端点（最近点）を交点ＩＳ３１として算出する。そして、情報処理装置１００は、線ＬＮ２１上の交点ＩＳ３１の位置にマークＭＫ３１を表示するように表示装置１０を制御する。このように、情報処理装置１００は、指示構成要素間に主従関係が有る場合、主たる指示構成要素の線に対応する位置を交点としてもよい。

［１－７．仮想オブジェクト］
ここで、仮想オブジェクトの配置について、図１６～図１９を用いて説明する。

［１－７－１．仮想オブジェクトの配置］
まず、図１６を用いて、仮想オブジェクトの配置に関する手順について説明する。図１６は、本開示の仮想オブジェクトの配置の一例を示す図である。具体的には、図１６は、仮想オブジェクトＶＯ１を所望の位置に配置するための処理を示す図である。また、図１７では、ユーザ５０が仮想オブジェクトＶＯ１を配置したい位置を対象ＴＧで示すが、対象ＴＧは説明のための図示であり、表示装置１０に表示される情報ではないものとする。

図１６に示す状態ＳＴ３１～ＳＴ３４の各々は、ユーザ５０によるコントローラ２０の調整に基づく、方向の変化に対応する線ＬＮ１や線ＬＮ２や仮想オブジェクトＶＯ１の変化を示す。図１６の例では、第１コントローラ２０Ａがボタン２５を有する場合を示す。なお、図２と同様の点については適宜説明を省略する。

図１６の状態ＳＴ３１に示すように、ユーザ５０は、第１コントローラ２０Ａの線ＬＮ１により、仮想オブジェクトＶＯ１を指し示す（ステップＳ３１）。図１６に示す状態ＳＴ３１では、１つ目のコントローラ２０（第１コントローラ２０Ａ）で選択したい仮想オブジェクトＶＯ１を指し示す。情報処理装置１００は、状態ＳＴ３１に対応するコントローラ２０の位置や向きを示すコントローラ情報をコントローラ２０から取得し、取得したコントローラ情報に基づいて、線ＬＮ１、ＬＮ２を表示するように、表示装置１０を制御する。

図１６に示す状態ＳＴ３２では、ユーザ５０は、第１コントローラ２０Ａのボタン２５を押して、仮想オブジェクトＶＯ１を選択する。これにより、情報処理装置１００は、第１コントローラ２０Ａが仮想オブジェクトＶＯ１を掴んだと判定する。例えば、情報処理装置１００は、第１コントローラ２０Ａに仮想オブジェクトＶＯ１を対応付けたり、第１コントローラ２０Ａの把持フラグを変更したりする。これにより、情報処理装置１００は、仮想オブジェクトＶＯ１が第１コントローラ２０Ａの線ＬＮ１上に配置（固定）され、線ＬＮ１の移動に連動して応じて移動するように、表示装置１０を制御する。

ユーザ５０は、所望の位置を指定するために、第１コントローラ２０Ａの調整を行う（ステップＳ３２）。ユーザ５０は、第１コントローラ２０Ａで指定したい位置の方向を指し示す。図１６の状態ＳＴ３３に示すように、ユーザ５０は、対象ＴＧを線ＬＮ１が通るように、第１コントローラ２０Ａの調整を行う。図１６の状態ＳＴ３３では、仮想オブジェクトＶＯ１が第１コントローラ２０Ａの線ＬＮ１上に固定されているため、線ＬＮ１の位置の変更に応じて、仮想オブジェクトＶＯ１の位置も変更される。図１６の状態ＳＴ３３では、仮想オブジェクトＶＯ１の位置は、線ＬＮ１の位置の変更に応じて、第２コントローラ２０Ｂに近づく方向（右方向）に移動する。

なお、情報処理装置１００は、仮想オブジェクトの位置が移動中は、仮想オブジェクトの表示態様を変更して表示するように、表示装置１０を制御する。例えば、情報処理装置１００は、仮想オブジェクトを移動し配置する際、移動中の仮想オブジェクトの表示を弱めてもよい。例えば、情報処理装置１００は、移動中の仮想オブジェクトの透過度を上げることにより、移動中の仮想オブジェクトの表示を弱める。このように、仮想オブジェクトを移動し配置する際、移動中の仮想オブジェクトの表示を弱めることで、ユーザは、実世界のモノや周りに配置されている仮想オブジェクトとの配置や位置関係を確認しながら仮想オブジェクトを移動させることができる。

また、例えば、情報処理装置１００は、仮想オブジェクトを移動し配置する際、移動中の仮想オブジェクトの表示を強めてもよい。このように、移動中の仮想オブジェクトの表示を強めることで、ユーザは、同じような仮想オブジェクトの中で目立たせたり（視認性を高めたり）、奥の方への配置をしやすくすることができる。

そして、ユーザ５０は、所望の位置を指定するために、第２コントローラ２０Ｂの調整を行う（ステップＳ３３）。ユーザ５０は、２つ目のコントローラ２０（第２コントローラ２０Ｂ）で１つ目のコントローラ２０（第１コントローラ２０Ａ）上の移動させたい位置（対象ＴＧ）に近づけて交点表示モードを作る。図１６の状態ＳＴ３４に示すように、ユーザ５０は、第１コントローラ２０Ａの線ＬＮ１上の所望の位置（対象ＴＧに対応）を線ＬＮ２が通るように、第２コントローラ２０Ｂの調整を行う。

そして、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０未満かどうかを判定する。図１６に示す状態ＳＴ３２では、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０未満であるため、交点表示モードをＯＮにすると判定する。例えば、情報処理装置１００は、図１２と同様に、第１コントローラ２０Ａの前方で距離Ｌｍａｘの範囲内に交点が位置するため、交点表示モードをＯＮにすると判定する。情報処理装置１００は、線ＬＮ１の近傍部分にマークＭＫ４１を重ねて表示し、線ＬＮ２の近傍部分にマークＭＫ４２を重ねて表示するように表示装置１０を制御する。このように、ユーザ５０は、２つのコントローラ２０で交点の位置を調整する。また、情報処理装置１００は、交点が１つ目のコントローラ（第１コントローラ２０Ａ）の線ＬＮ１上を移動するように、交点を算出する。また、コントローラが平行になると、無限遠になるので最大距離が事前に設定されるが、この点については後述する。

そして、情報処理装置１００は、線ＬＮ１と線ＬＮ２との交点の位置に仮想オブジェクトＶＯ１を表示するように表示装置１０を制御する。これにより、線ＬＮ１と線ＬＮ２との交点の位置に仮想オブジェクトＶＯ１が移動する。

配置したい位置に仮想オブジェクトＶＯ１を配置したユーザ５０は、第１コントローラ２０Ａのボタン２５から指を離して、仮想オブジェクトＶＯ１を指定した位置に配置する（ステップＳ３４）。これにより、情報処理装置１００は、第１コントローラ２０Ａによる仮想オブジェクトＶＯ１の把持が解除されたと判定する。なお、情報処理装置１００は、仮想オブジェクトＶＯ１が植物や椅子など重力に従う仮想オブジェクトである場合、机や床の上に配置する。また、情報処理装置１００は、仮想オブジェクトＶＯ１がゴーストや鳥など重力に従わない仮想オブジェクトである場合、空間上に配置する。例えば、情報処理装置１００は、仮想オブジェクトＶＯ１の重力フラグに応じて、上記のいずれかの処理を実行する。

また、遠くで交点を作られると、仮想オブジェクトの位置が急激に変化するため、情報処理装置１００は、コントローラ２０から一定範囲内で交点を作成してもよいが、この点の詳細については後述する。また、一定範囲については、仮想オブジェクトの手前と奥で距離を変えてもよい。また、情報処理装置１００は、仮想オブジェクトを掴んでいるコントローラ２０の線（以下「把持線」ともいう）と掴んでいないコントローラ２０の線（以下「非把持線」ともいう）とを異なる表示態様で表示するように表示装置１０を制御してもよい。例えば、情報処理装置１００は、把持線と非把持線との色や太さなど見た目を変えて、どちらで掴んでいるのか分かりやすくしてもよい。例えば、情報処理装置１００は、把持線の色を赤にし、非把持線の色を黒にしてもよい。例えば、情報処理装置１００は、把持線を非把持線よりも太くしてもよい。

また、上述のように仮想オブジェクトの移動中は、種々の表示態様であってもよい。例えば、情報処理装置１００は、移動中も仮想オブジェクトをそのまま表示させてもよい。情報処理装置１００は、実世界のモノや周りに配置されている仮想オブジェクトとの配置や位置関係を確認しながら配置したい場合には、仮想オブジェクトをそのまま表示する。

また、例えば、情報処理装置１００は、移動中の仮想オブジェクトの表示を弱めてもよい。例えば、情報処理装置１００は、仮想オブジェクトの輪郭だけの表示や半透明にする。情報処理装置１００は、実世界のモノや周りに配置されている仮想オブジェクトとの配置や位置関係を確認しつつ、移動中の軌跡や位置調整も行いたい場合に、仮想オブジェクトの輪郭表示や半透明にする。例えば、情報処理装置１００は、仮想オブジェクトの表示を消してもよい。この場合、情報処理装置１００は、交点のみを表示させてもよい。情報処理装置１００は、移動中の軌跡や位置調整を重視し、見やすくしたい場合には、仮想オブジェクトの表示を消す。

また、例えば、情報処理装置１００は、移動中の仮想オブジェクトの表示を強めてもよい。情報処理装置１００は、色味を強めたり、輝度値を上げたりしてもよい。情報処理装置１００は、アイコンなどの追加の表示と組み合わせてもよい。情報処理装置１００は、同じようなオブジェクトが並んでいる場合に、選択している仮想オブジェクトが分かりやすくするために強調表示する。また、情報処理装置１００は、仮想オブジェクトが並んでいる場所の奥に配置したい場合に、他の仮想オブジェクトの色味を抑えたり透過度を上げることで、仮想オブジェクトの奥でも配置しやすくする。

［１－７－２．仮想オブジェクトの配置範囲］
次に、図１７を用いて、仮想オブジェクトの配置範囲について説明する。図１７は、本開示の仮想オブジェクトの配置範囲の一例を示す図である。なお、図１６と同様の点については適宜説明を省略する。

上述したように、コントローラ２０から遠方に交点が位置した場合、仮想オブジェクトの位置が急激に変化するため、情報処理装置１００は、コントローラ２０から一定距離内である場合、交点を生成する。また、仮想オブジェクトの位置が手前過ぎ、すなわちコントローラ２０に近すぎてもても見づらいため、情報処理装置１００は、交点の位置がコントローラ２０の近傍ではない場合、交点を生成する。

図１７の例では、情報処理装置１００は、算出した交点の位置が、第１コントローラ２０Ａからの距離が所定範囲（範囲Ｒ４１）内である場合、交点を生成する。情報処理装置１００は、第１コントローラ２０Ａの近傍ＮＲ４１や第１コントローラ２０Ａの遠方を除く範囲Ｒ４１に交点の位置がある場合、交点を生成する。すなわち、情報処理装置１００は、交点の位置が、第１コントローラ２０Ａの近傍ＮＲ４１や第１コントローラ２０Ａの遠方である場合、交点表示モードをＯＮにしない。

このように、仮想オブジェクトを移動する際、コントローラの向きが平行になって仮想オブジェクトが遠くに飛んでいくのを防ぐことができ、コントローラが手元で交点を作って仮想オブジェクトを把握しづらいという状況がおこらない。情報処理装置１００は、交点を表示する範囲を範囲Ｒ４１に限ることにより、コントローラ２０等の指示構成要素の線が平行になった場合であっても、仮想オブジェクトが遠くに飛んでいくのを抑制し、ユーザ５０の手元に交点があり仮想オブジェクトを把握しづらくなることを抑制することができる。

例えば、２本の線が平行、もしくは、平行に近くなると、指し示す位置（交点）が無限遠もしくは無限遠近くになるので、意図しない位置になったり指し示す位置に気づけなくなったりしてしまうという課題が発生する。また、遠方で位置を指定する場合、少しの動きで位置がずれてしまうので、位置の指定が困難になるという課題がある。上記のように、情報処理装置１００は、交点を表示する範囲を範囲Ｒ４１に限ることにより、上記のような課題を解決することができる。

［１－７－３．交点との配置位置］
次に、図１８を用いて、仮想オブジェクトの配置位置と交点との関係について説明する。図１８は、本開示の仮想オブジェクトの配置位置と交点との関係を示す図である。なお、図１６及び図１７と同様の点については適宜説明を省略する。

情報処理装置１００は、コントローラ２０から交点までの距離（「距離Ｒ」ともいう）に応じて、仮想オブジェクトの表示位置を決定する。情報処理装置１００は、距離Ｒが閾値Ｒｍｉｎよりも大きく、閾値Ｒｍａｘよりも小さい場合、交点（距離Ｒ）の位置を仮想オブジェクトの表示位置を決定する。このように、情報処理装置１００は、交点（例えば指示位置）が、コントローラ２０から第１位置までの距離である第１距離（閾値Ｒｍｉｎ）と、コントローラ２０から第１位置よりも遠い第２位置までの距離である第２距離（閾値Ｒｍａｘ）との間に位置する場合、交点（距離Ｒ）の位置に仮想オブジェクトを配置する。

図１８の例では、情報処理装置１００は、交点が第１コントローラ２０Ａの線Ｌ４１と第２コントローラ２０Ｂの線Ｌ４２１との交点ＩＳ４１１である場合、交点ＩＳ４１１の位置に仮想オブジェクトＶＯ４１を配置する。例えば、情報処理装置１００は、第１コントローラ２０Ａと交点ＩＳ４１１との間の距離Ｒ（図１８中の符号ＤＳ１に対応）が閾値Ｒｍｉｎよりも大きく、閾値Ｒｍａｘよりも小さいため、交点ＩＳ４１１の位置に仮想オブジェクトＶＯ４１を表示するように表示装置１０を制御する。

また、図１８の例では、情報処理装置１００は、交点が第１コントローラ２０Ａの線Ｌ４１と第２コントローラ２０Ｂの線Ｌ４２２との交点ＩＳ４１２である場合、閾値Ｒｍｉｎの位置に仮想オブジェクトＶＯ４２を配置する。例えば、情報処理装置１００は、第１コントローラ２０Ａと交点ＩＳ４１２との間の距離Ｒが閾値Ｒｍｉｎ以下であるため、線ＬＮ４１上で第１コントローラ２０Ａからの距離が閾値Ｒｍｉｎの位置に仮想オブジェクトＶＯ４２を表示するように表示装置１０を制御する。情報処理装置１００は、交点（例えば指示位置）が、第１距離（閾値Ｒｍｉｎ）以下である場合、第１位置を配置位置として、仮想オブジェクトを表示するように表示装置１０を制御する。

このように、情報処理装置１００は、コントローラ２０から交点までの距離が閾値Ｒｍｉｎ以下の場合、仮想オブジェクトの表示位置を閾値Ｒｍｉｎの位置とすることにより、ユーザ５０の手元に交点があり仮想オブジェクトを把握しづらくなることを抑制することができる。

また、図１８の例では、情報処理装置１００は、交点が第１コントローラ２０Ａの線Ｌ４１と第２コントローラ２０Ｂの線Ｌ４２との交点ＩＳ４１である場合、閾値Ｒｍａｘの位置に仮想オブジェクトＶＯ４３を配置する。例えば、情報処理装置１００は、第１コントローラ２０Ａと交点ＩＳ４１との間の距離Ｒが閾値Ｒｍａｘ以上であるため、線ＬＮ４１上で第１コントローラ２０Ａからの距離が閾値Ｒｍａｘの位置に仮想オブジェクトＶＯ４３を表示するように表示装置１０を制御する。情報処理装置１００は、交点（例えば指示位置）が、第２距離（閾値Ｒｍａｘ）以上である場合、第２位置を配置位置として、仮想オブジェクトを表示するように表示装置１０を制御する。

このように、情報処理装置１００は、コントローラ２０から交点までの距離が閾値Ｒｍａｘ以上の場合、仮想オブジェクトの表示位置を閾値Ｒｍａｘの位置とすることにより、仮想オブジェクトが遠くに飛んでいくのを抑制することができる。

［１－７－４．仮想オブジェクトの移動］
次に、図１９を用いて、仮想オブジェクトの移動について説明する。図１９は、本開示の仮想オブジェクトの移動の一例を示す図である。具体的には、図１９は、仮想オブジェクトを最終的に配置する一例を示す図である。なお、図１６～図１８と同様の点については適宜説明を省略する。

図１９中の仮想オブジェクトＶＯ５０は、移動前の位置（変更前位置）に位置する仮想オブジェクトを示す。また、図１９中の仮想オブジェクトＶＯ５１は、移動後の位置（変更後位置）に位置する仮想オブジェクトを示す。なお、仮想オブジェクトＶＯ５０及び仮想オブジェクトＶＯ５１は、仮想オブジェクトの位置の違いを示すためのものであり、同じ仮想オブジェクトである。以下、仮想オブジェクトＶＯ５０及び仮想オブジェクトＶＯ５１を区別しない場合、「仮想オブジェクトＶＯ５」と記載する。

図１９では、ユーザ５０が第１コントローラ２０Ａのボタン２５を押して、仮想オブジェクトＶＯ５０を選択し、情報処理装置１００が第１コントローラ２０Ａにより仮想オブジェクトＶＯ５０が把持された判定した状態を示す。これにより、情報処理装置１００は、仮想オブジェクトＶＯ５０が第１コントローラ２０Ａの線ＬＮ５０上に配置（固定）され、線ＬＮ５０の移動に連動して応じて移動するように、表示装置１０を制御する。なお、図１９では、変更前位置に対応する仮想オブジェクトＶＯ５０や線ＬＮ５０を点線で示す。

ここで、情報処理装置１００は、閾値Ｄｔｈｒｅｓｈｏｌｄを用いて、第１コントローラ２０Ａの線ＬＮ５０の移動に応じて、仮想オブジェクトＶＯ５の位置を移動させるかを判定する。閾値Ｄｔｈｒｅｓｈｏｌｄは、オブジェクトの移動の判定に用いられる式地位である。情報処理装置１００は、仮想オブジェクトの移動距離（以下「移動距離ＭＤ」とする）が閾値Ｄｔｈｒｅｓｈｏｌｄ以上である場合、仮想オブジェクトの位置を移動させる。図１９の例では、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ５０の位置変更に応じて、仮想オブジェクトＶＯ５０の位置から閾値Ｄｔｈｒｅｓｈｏｌｄ以上移動した場合、仮想オブジェクトＶＯ５の位置を移動させる。

例えば、情報処理装置１００は、仮想オブジェクトＶＯ５の移動距離ＭＤが閾値Ｄｔｈｒｅｓｈｏｌｄ未満である場合、移動前の位置（図１９の仮想オブジェクトＶＯ５０の位置）に戻るように、表示装置１０を制御する。これにより、情報処理装置１００は、微小な手ぶれやズレを吸収できるようにする。

例えば、情報処理装置１００は、仮想オブジェクトＶＯ５０の移動距離ＭＤ（図１９中の符号ＭＤ５１に対応）が閾値Ｄｔｈｒｅｓｈｏｌｄ以上である場合、移動後の位置（変更後位置）に仮想オブジェクトＶＯ５（図１９の仮想オブジェクトＶＯ５１）を配置する。図１９の例では、情報処理装置１００は、第１コントローラ２０Ａの線の位置が、線ＬＮ５０から線ＬＮ５１に変更したことに応じて、仮想オブジェクトＶＯ５１の位置に仮想オブジェクトＶＯ５を配置する。

このように、情報処理装置１００は、閾値Ｄｔｈｒｅｓｈｏｌｄのような閾値を用いて、仮想オブジェクトの移動を実行することにより、微小な手ブレやズレが吸収することができる。

なお、情報処理装置１００は、仮想オブジェクトに「重力」フラグがある場合、移動後の仮想オブジェクトの位置（変更後位置）から重力方向に落ちるように、表示装置１０を制御する。例えば、仮想オブジェクトが植物や椅子など重力によって床や机などの上に配置されるものである場合、情報処理装置１００は、仮想オブジェクトの位置から重力方向に落ちるように、表示装置１０を制御する。

また、情報処理装置１００は、仮想オブジェクトに「重力」フラグが無い場合、移動後の仮想オブジェクトの位置（変更後位置）に配置されるように、表示装置１０を制御する。例えば、ゴーストや鳥、蝶々など空中を自由に動くことが可能なものである場合、情報処理装置１００は、仮想オブジェクトの位置に配置されるように、表示装置１０を制御する。

［１－７－５．仮想オブジェクトの移動の手順］
次に、図２０～図２３を用いて、仮想オブジェクトの移動の手順について説明する。図２０～図２２は、本開示の仮想オブジェクト移動の手順を示すフローチャートである。また、図２３は、本開示の交点モード処理の手順を示すフローチャートである。具体的には、図２３は、図２１に示す交点モード処理の詳細を示すフローチャートである。なお、以下の説明では、情報処理システム１を処理の主体として説明するが、図２０～図２３に示す各処理は、情報処理システム１の装置構成に応じて、情報処理装置１００や表示装置１０等、情報処理システム１に含まれるいずれの装置が行ってもよい。

情報処理システム１は、制御部１３０は、コントローラの数だけステップＳ３０２～Ｓ３０４の処理を繰り返す（ステップＳ３０１）。まず、情報処理システム１は、コントローラの向き・位置を取得する（ステップＳ３０２）。例えば、情報処理装置１００は、第１コントローラ２０Ａの向き及び位置を示す情報を取得する。

情報処理システム１は、Ｏｂｊｅｃｔを持っているかどうかを判定する（ステップＳ３０３）。例えば、情報処理装置１００は、第１コントローラ２０Ａが仮想オブジェクトを持っているかどうかを判定する。

Ｏｂｊｅｃｔを持っていない場合（ステップＳ３０３：Ｎｏ）、情報処理システム１は、次のコントローラについてステップＳ３０２～Ｓ３０４の処理を行う。

Ｏｂｊｅｃｔを持っている場合（ステップＳ３０３：Ｙｅｓ）、情報処理システム１は、把持フラグをＯＮにする（ステップＳ３０４）。そして、情報処理システム１は、次のコントローラについてステップＳ３０２～Ｓ３０４の処理を行う。例えば、第１コントローラ２０Ａが仮想オブジェクトを持っている場合、情報処理装置１００は、第１コントローラ２０Ａの把持フラグをＯＮにする。例えば、情報処理装置１００は、方向指示情報記憶部１２３（図７参照）中の第１コントローラ２０Ａに把持フラグ「ＯＮ」を対応付けて記憶する。

コントローラの数だけステップＳ３０２～Ｓ３０４の処理を繰り返した後、情報処理システム１は、コントローラの数だけステップＳ３０６～Ｓ３１１の処理を繰り返す（ステップＳ３０５）。

情報処理システム１は、把持フラグはＯＮかどうかを判定する（ステップＳ３０６）。例えば、情報処理装置１００は、第１コントローラ２０Ａの把持フラグはＯＮかどうかを判定する。

把持フラグはＯＮである場合（ステップＳ３０６：Ｙｅｓ）、情報処理システム１は、次のコントローラについてステップＳ３０６～Ｓ３１１の処理を行う。例えば、第１コントローラ２０Ａの把持フラグがＯＮである場合、情報処理装置１００は、第２コントローラ２０ＢについてステップＳ３０６～Ｓ３１１の処理を行う。

把持フラグはＯＮでない場合（ステップＳ３０６：Ｎｏ）、情報処理システム１は、線がＯｂｊｅｃｔを指しているかどうかを判定する（ステップＳ３０７）。例えば、第１コントローラ２０Ａの把持フラグがＯＮでない場合、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１が仮想オブジェクトを指しているかどうかを判定する。

線がＯｂｊｅｃｔを指していない場合（ステップＳ３０７：Ｎｏ）、情報処理システム１は、次のコントローラについてステップＳ３０６～Ｓ３１１の処理を行う。

線がＯｂｊｅｃｔを指している場合（ステップＳ３０７：Ｙｅｓ）、情報処理システム１は、ボタンを押しているかどうかを判定する（ステップＳ３０８）。例えば、第１コントローラ２０Ａの線ＬＮ１が仮想オブジェクトを指している場合、情報処理装置１００は、第１コントローラ２０Ａのボタン２５が押されているかどうかを判定する。

ボタンを押していない場合（ステップＳ３０８：Ｎｏ）、情報処理システム１は、次のコントローラについてステップＳ３０６～Ｓ３１１の処理を行う。

ボタンを押している場合（ステップＳ３０８：Ｙｅｓ）、情報処理システム１は、コントローラがＯｂｊｅｃｔを持つとする（ステップＳ３０９）。例えば、第１コントローラ２０Ａのボタン２５が押されている場合、情報処理装置１００は、第１コントローラ２０Ａが線ＬＮ１により指されている仮想オブジェクトを持つと判定する。

そして、情報処理システム１は、把持フラグをＯＮにする（ステップＳ３１０）。例えば、第１コントローラ２０Ａが仮想オブジェクトを持っている場合、情報処理装置１００は、第１コントローラ２０Ａの把持フラグをＯＮにする。例えば、情報処理装置１００は、方向指示情報記憶部１２３（図７参照）中の第１コントローラ２０Ａに把持フラグ「ＯＮ」を対応付けて記憶する。

そして、情報処理システム１は、コントローラからＯｂｊｅｃｔまでの距離をＲとする（ステップＳ３１１）。例えば、情報処理装置１００は、第１コントローラ２０Ａから仮想オブジェクトまでの距離を距離Ｒとする。そして、情報処理システム１は、次のコントローラについてステップＳ３０６～Ｓ３１１の処理を行う。コントローラの数だけステップＳ３０６～Ｓ３１１の処理を繰り返した後、情報処理システム１は、図２１に示すステップＳ４０１の処理を行う。

図２１に示すように、情報処理システム１は、コントローラは２本かどうかを判定する（ステップＳ４０１）。例えば、情報処理装置１００は、指示構成要素となるコントローラが２本であるかどうかを判定する。

コントローラが２本でない場合（ステップＳ４０１：Ｎｏ）、情報処理システム１は、コントローラは１本かどうかを判定する（ステップＳ４０２）。コントローラが１本でない場合（ステップＳ４０２：Ｎｏ）、情報処理システム１は、処理を終了する。コントローラが１本である場合（ステップＳ４０２：Ｙｅｓ）、情報処理システム１は、図２２に示すステップＳ５０１の処理を行う。

コントローラが２本である場合（ステップＳ４０１：Ｙｅｓ）、情報処理システム１は、把持フラグが０かどうかを判定する（ステップＳ４０３）。例えば、コントローラが２本である場合、情報処理装置１００は、２本のコントローラで把持フラグがＯＮになっているコントローラの数が「０（ゼロ）」であるかどうかを判定する。

把持フラグが０である場合（ステップＳ４０３：Ｙｅｓ）、情報処理システム１は、交点モード処理を行う（ステップＳ４０４）。なお、交点モード処理は、図２３に示すステップＳ６０１～Ｓ６０６の処理に対応するが、交点モード処理についての詳細は後述する。

そして、情報処理システム１は、交点表示モードはＯＮかどうかを判定する（ステップＳ４０５）。例えば、情報処理装置１００は、交点表示用情報記憶部１２４（図８参照）中の交点表示モードがＯＮかどうかを判定する。

交点表示モードがＯＮである場合（ステップＳ４０５：Ｙｅｓ）、情報処理システム１は、２本の線の最近点の中点を交点とする（ステップＳ４０６）。例えば、交点表示モードがＯＮである場合、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１の最近点である点ＰＴ１と、第２コントローラ２０Ｂの線ＬＮ２の最近点である点ＰＴ２との中点を交点ＩＳ１にする。そして、情報処理システム１は、図２２に示すステップＳ５０１の処理を行う。

交点表示モードがＯＮでない場合（ステップＳ４０５：Ｎｏ）、情報処理システム１は、交点の表示を消す（ステップＳ４０７）。例えば、交点表示モードがＯＦＦである場合、情報処理装置１００は、交点が非表示である場合、交点の非表示を維持し、交点が表示中である場合、交点の表示を消す。そして、情報処理システム１は、図２２に示すステップＳ５０１の処理を行う。

把持フラグが０でない場合（ステップＳ４０３：Ｎｏ）、情報処理システム１は、把持フラグが１かどうかを判定する（ステップＳ４０８）。例えば、コントローラが２本である場合、情報処理装置１００は、２本のコントローラで把持フラグがＯＮになっているコントローラの数が「１」であるかどうかを判定する。

把持フラグが１でない場合（ステップＳ４０８：Ｎｏ）、情報処理システム１は、図２２に示すステップＳ５０１の処理を行う。

把持フラグが１である場合（ステップＳ４０８：Ｙｅｓ）、情報処理システム１は、把持フラグが立っている方をメインコントローラにする（ステップＳ４０９）。すなわち、情報処理システム１は、把持フラグがＯＮであるコントローラをメインコントローラにする。例えば、情報処理装置１００は、第１コントローラ２０Ａと第２コントローラ２０Ｂとのうち、把持フラグがＯＮである第１コントローラ２０Ａをメインコントローラに決定する。この場合、情報処理装置１００は、交点表示用情報記憶部１２４（図８参照）中の主従関係を「有」に変更し、主指示構成要素に「２０Ａ」を記憶し、従指示構成要素に「２０Ｂ」を記憶する。

そして、情報処理システム１は、交点モード処理を行う（ステップＳ４１０）。情報処理システム１は、交点表示モードはＯＮかどうかを判定する（ステップＳ４１１）。例えば、情報処理装置１００は、交点表示用情報記憶部１２４（図８参照）中の交点表示モードがＯＮかどうかを判定する。

交点表示モードがＯＮでない場合（ステップＳ４１１：Ｎｏ）、情報処理システム１は、交点の表示を消す（ステップＳ４１２）。例えば、交点表示モードがＯＦＦである場合、情報処理装置１００は、交点が非表示である場合、交点の非表示を維持し、交点が表示中である場合、交点の表示を消す。そして、情報処理システム１は、図２２に示すステップＳ５０１の処理を行う。

交点表示モードがＯＮである場合（ステップＳ４１１：Ｙｅｓ）、情報処理システム１は、メインコントローラ上の最近点を交点とする（ステップＳ４１３）。例えば、メインコントローラが第１コントローラ２０Ａである場合、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１の最近点を交点にする。

情報処理システム１は、メインコントローラと交点の距離をＲｔｅｍｐとする（ステップＳ４１４）。例えば、メインコントローラが第１コントローラ２０Ａである場合、情報処理装置１００は、第１コントローラ２０Ａから仮想オブジェクトまでの距離を距離Ｒｔｅｍｐとする。

情報処理システム１は、距離Ｒｔｅｍｐが、閾値Ｒｍｉｎより大きくかつ閾値Ｒｍａｘ未満かどうかを判定する（ステップＳ４１５）。例えば、情報処理装置１００は、距離Ｒｔｅｍｐが、閾値Ｒｍｉｎと閾値Ｒｍａｘとの範囲内かどうかを判定する。

距離Ｒｔｅｍｐが、閾値Ｒｍｉｎより大きくかつ閾値Ｒｍａｘ未満である場合（ステップＳ４１５：Ｙｅｓ）、情報処理システム１は、メインコントローラからＯｂｊｅｃｔまでの距離ＲをＲｔｅｍｐとする（ステップＳ４１６）。例えば、メインコントローラが第１コントローラ２０Ａである場合、情報処理装置１００は、第１コントローラ２０Ａから仮想オブジェクトまでの距離Ｒを距離Ｒｔｅｍｐに設定する。そして、情報処理システム１は、図２２に示すステップＳ５０１の処理を行う。

距離Ｒｔｅｍｐが、閾値Ｒｍｉｎより大きくかつ閾値Ｒｍａｘ未満でない場合（ステップＳ４１５：Ｎｏ）、情報処理システム１は、距離Ｒｔｅｍｐが閾値Ｒｍａｘ以上かどうかを判定する（ステップＳ４１７）。例えば、距離Ｒｔｅｍｐが、閾値Ｒｍｉｎ以下であるかまたは閾値Ｒｍａｘ以上である場合、情報処理装置１００は、距離Ｒｔｅｍｐが閾値Ｒｍａｘ以上かどうかを判定する。

距離Ｒｔｅｍｐが閾値Ｒｍａｘ以上でない場合（ステップＳ４１７：Ｎｏ）、情報処理システム１は、距離Ｒを閾値Ｒｍｉｎとする（ステップＳ４１８）。例えば、距離Ｒｔｅｍｐが閾値Ｒｍｉｎ以下である場合、情報処理装置１００は、第１コントローラ２０Ａから仮想オブジェクトまでの距離Ｒを閾値Ｒｍｉｎに設定する。そして、情報処理システム１は、図２２に示すステップＳ５０１の処理を行う。

距離Ｒｔｅｍｐが閾値Ｒｍａｘ以上である場合（ステップＳ４１７：Ｙｅｓ）、情報処理システム１は、距離Ｒを閾値Ｒｍａｘとする（ステップＳ４１９）。例えば、距離Ｒｔｅｍｐが閾値Ｒｍａｘ以上である場合、情報処理装置１００は、第１コントローラ２０Ａから仮想オブジェクトまでの距離Ｒを閾値Ｒｍａｘに設定する。そして、情報処理システム１は、図２２に示すステップＳ５０１の処理を行う。

図２２に示すように、制御部１３０は、コントローラの数だけステップＳ５０２～Ｓ３０５の処理を繰り返す（ステップＳ５０１）。まず、情報処理システム１は、コントローラから線を表示する（ステップＳ５０２）。例えば、情報処理装置１００は、第１コントローラ２０Ａから線ＬＮ１を表示する。

情報処理システム１は、把持フラグはあるかを判定する（ステップＳ５０３）。例えば、情報処理装置１００は、第１コントローラ２０Ａの把持フラグはＯＮかどうかを判定する。

把持フラグがない場合（ステップＳ５０３：Ｎｏ）、情報処理システム１は、次のコントローラについてステップＳ５０２～Ｓ５０５の処理を行う。

把持フラグがある場合（ステップＳ５０３：Ｙｅｓ）、情報処理システム１は、ボタンは押されているかどうかを判定する（ステップＳ５０４）。例えば、第１コントローラ２０Ａの線ＬＮ１が仮想オブジェクトを指している場合、情報処理装置１００は、第１コントローラ２０Ａのボタン２５が押されているかどうかを判定する。

ボタンを押している場合（ステップＳ５０４：Ｙｅｓ）、情報処理システム１は、ＯｂｊｅｃｔをＲの位置に表示する（ステップＳ５０５）。例えば、第１コントローラ２０Ａのボタン２５が押されている場合、情報処理装置１００は、仮想オブジェクトを距離Ｒの位置に表示する。そして、情報処理システム１は、次のコントローラについてステップＳ５０２～Ｓ５０５の処理を行う。

ボタンを押していない場合（ステップＳ５０４：Ｎｏ）、情報処理システム１は、Ｏｂｊｅｃｔの移動距離Ｄが閾値Ｄｔｈｒｅｓｈｏｌｄより小さいかどうかを判定する（ステップＳ５０６）。

Ｏｂｊｅｃｔの移動距離Ｄが閾値Ｄｔｈｒｅｓｈｏｌｄより小さい場合（ステップＳ５０６：Ｙｅｓ）、情報処理システム１は、Ｏｂｊｅｃｔを元の位置に戻す（ステップＳ５０７）。例えば、仮想オブジェクトの移動距離Ｄが閾値Ｄｔｈｒｅｓｈｏｌｄより小さい場合、情報処理装置１００は、仮想オブジェクトを元の位置に表示する。そして、情報処理システム１は、開始に戻る。例えば、情報処理システム１は、ステップＳ３０１に戻って処理を繰り返す。

Ｏｂｊｅｃｔの移動距離Ｄが閾値Ｄｔｈｒｅｓｈｏｌｄより小さくない場合（ステップＳ５０６：Ｎｏ）、情報処理システム１は、Ｏｂｊｅｃｔに重力フラグがあるかどうかを判定する（ステップＳ５０８）。情報処理システム１は、仮想オブジェクトの重力フラグが付与されているかどうかを判定する。例えば、情報処理装置１００は、オブジェクト情報記憶部１２５（図９参照）中の仮想オブジェクトに対応する重力フラグが「１」であるかどうかを判定する。

Ｏｂｊｅｃｔに重力フラグがある場合（ステップＳ５０８：Ｙｅｓ）、情報処理システム１は、Ｏｂｊｅｃｔをその場に落とす（ステップＳ５０９）。例えば、情報処理装置１００は、オブジェクト情報記憶部１２５（図９参照）中の仮想オブジェクトに対応する重力フラグが「１」である場合、その仮想オブジェクトをその場に置き、重力の影響を受けた位置に配置する。そして、情報処理システム１は、開始に戻る。例えば、情報処理システム１は、ステップＳ３０１に戻って処理を繰り返す。

Ｏｂｊｅｃｔに重力フラグがない場合（ステップＳ５０８：Ｎｏ）、情報処理システム１は、Ｏｂｊｅｃｔをその場に配置する（ステップＳ５１０）。例えば、情報処理装置１００は、オブジェクト情報記憶部１２５（図９参照）中の仮想オブジェクトに対応する重力フラグが「０」である場合、その仮想オブジェクトをその場に配置する。そして、情報処理システム１は、開始に戻る。例えば、情報処理システム１は、ステップＳ３０１に戻って処理を繰り返す。

コントローラの数だけステップＳ５０２～Ｓ５０５の処理を繰り返しが完了した後、情報処理システム１は、交点があるかどうかを判定する（ステップＳ５１１）。

交点がない場合（ステップＳ５１１：Ｎｏ）、情報処理システム１は、開始に戻る。例えば、情報処理システム１は、ステップＳ３０１に戻って処理を繰り返す。

交点がある場合（ステップＳ５１１：Ｙｅｓ）、情報処理システム１は、交点を表示する（ステップＳ５１２）。そして、情報処理システム１は、開始に戻る。例えば、情報処理システム１は、ステップＳ３０１に戻って処理を繰り返す。

ここで、図２３を用いて、交点モード処理に関する手順について説明する。図２３に示す交点モード処理は、ステップＳ４０４やステップＳ４１０の交点モード処理の詳細を示す。情報処理システム１は、ステップＳ４０４やステップＳ４１０の交点モード処理でステップＳ６０１～Ｓ６０６の処理を実行する。

情報処理システム１は、２本の線の距離Ｄが閾値Ｄ０未満かどうかを判定する（ステップＳ６０１）。例えば、情報処理装置１００は、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０未満かどうかを判定する。

２本の線の距離Ｄが閾値Ｄ０未満ではない場合（ステップＳ６０１：Ｎｏ）、情報処理システム１は、２本の線の距離Ｄが閾値Ｄ１よりも大きいかどうかを判定する（ステップＳ６０２）。例えば、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ０以上である場合、情報処理装置１００は、距離Ｄが閾値Ｄ１よりも大きいかどうかを判定する。

２本の線の距離Ｄが閾値Ｄ１よりも大きくない場合（ステップＳ６０２：Ｎｏ）、情報処理システム１は、交点モード処理を終了する。すなわち、２本の線の距離Ｄが閾値Ｄ１以下である場合、情報処理システム１は、交点表示モードがＯＮであればＯＮを維持し、交点表示モードがＯＦＦであればＯＦＦを維持し、交点モード処理を終了する。例えば、第１コントローラ２０Ａの線ＬＮ１と、第２コントローラ２０Ｂの線ＬＮ２との間の距離Ｄが閾値Ｄ１以下である場合、情報処理装置１００は、交点モード処理を終了する。

２本の線の距離Ｄが閾値Ｄ１よりも大きい場合（ステップＳ６０２：Ｙｅｓ）、情報処理システム１は、交点表示モードをＯＦＦにした後（ステップＳ６０３）、交点モード処理を終了する。例えば、２本の線の距離Ｄが閾値Ｄ１よりも大きい場合、情報処理装置１００は、交点表示モードがＯＮであればＯＦＦに変更し、交点表示モードがＯＦＦであればＯＦＦを維持し、交点モード処理を終了する。

２本の線の距離Ｄが閾値Ｄ０未満である場合（ステップＳ６０１：Ｙｅｓ）、情報処理システム１は、交点は前方にあるかどうかを判定する（ステップＳ６０４）。例えば、２本の線の距離Ｄが閾値Ｄ０未満である場合、情報処理装置１００は、交点ＩＳ１が第１コントローラ２０Ａの前方にあるかどうかを判定する。例えば、２本の線の距離Ｄが閾値Ｄ０未満である場合、情報処理装置１００は、交点ＩＳ１が第２コントローラ２０Ｂの前方にあるかどうかを判定してもよい。

交点が前方にない場合（ステップＳ６０４：Ｎｏ）、情報処理システム１は、交点表示モードをＯＦＦにした後（ステップＳ６０３）、交点モード処理を終了する。例えば、交点ＩＳ１が第１コントローラ２０Ａの前方にない場合、情報処理装置１００は、交点表示モードがＯＮであればＯＦＦに変更し、交点表示モードがＯＦＦであればＯＦＦを維持し、交点モード処理を終了する。

交点が前方にある場合（ステップＳ６０４：Ｙｅｓ）、情報処理システム１は、交点はＬｍａｘ以内かどうかを判定する（ステップＳ６０５）。例えば、交点ＩＳ１が第１コントローラ２０Ａの前方にある場合、情報処理装置１００は、第１コントローラ２０Ａから交点ＩＳ１までの距離が閾値Ｌｍａｘ以内かどうかを判定する。

交点がＬｍａｘ以内にない場合（ステップＳ６０５：Ｎｏ）、情報処理システム１は、交点表示モードをＯＦＦにした後（ステップＳ６０３）、交点モード処理を終了する。例えば、第１コントローラ２０Ａから交点ＩＳ１までの距離が閾値Ｌｍａｘよりも大きい場合、情報処理装置１００は、交点表示モードがＯＮであればＯＦＦに変更し、交点表示モードがＯＦＦであればＯＦＦを維持し、交点モード処理を終了する。

交点がＬｍａｘ以内にある場合（ステップＳ６０５：Ｙｅｓ）、情報処理システム１は、交点表示モードをＯＮにする（ステップＳ６０６）。例えば、第１コントローラ２０Ａから交点ＩＳ１までの距離が閾値Ｌｍａｘ以内である場合、情報処理装置１００は、交点表示モードをＯＮにする。

［１－７－６．コントローラと視線］
なお、上述した仮想オブジェクトを対象とする処理については、指示構成要素はコントローラに限らず、他のデバイスやユーザの身体（手や目）等が用いられてもよい。例えば、コントローラ２０とユーザ５０の目５１の視線が指示構成要素であってもよい。以下、この点の処理について説明する。１本の線で仮想オブジェクトを選択し、視線との交点に仮想オブジェクトを配置する場合を説明する。

なお、上述した仮想オブジェクトを対象とする処理とは、指示構成要素がコントローラ２０とからユーザ５０の目５１（視線）に変更された点以外は同様であるため、適宜説明を省略する。また、以下の説明では、情報処理システム１を処理の主体として説明するが、各処理は、情報処理システム１の装置構成に応じて、情報処理装置１００や表示装置１０等、情報処理システム１に含まれるいずれの装置が行ってもよい。

ユーザ５０は、コントローラ２０で選択したい仮想オブジェクトを指し示す。そして、ユーザ５０は、コントローラ２０のボタン２５を押して、仮想オブジェクトを選択する。これにより、情報処理装置１００は、コントローラ２０が仮想オブジェクトを掴んだと判定する。

そして、ユーザ５０は、コントローラ２０で指定したい位置の方向を指し示す。なお、仮想オブジェクトはコントローラ２０（の線）の先に配置されている。

そして、ユーザ５０は、コントローラ２０（の線）上の移動させたい位置に視線を向けて、交点表示モードを作る。２本の線がコントローラ２０の前方で一定距離（閾値Ｄ０）よりも近づいたら、その交点に仮想オブジェクトが移動する。例えば、情報処理装置１００は、２本の線がコントローラ２０の前方で一定距離（閾値Ｄ０）よりも近づいたと判定したら、その交点に仮想オブジェクトを表示するように、表示装置１０を制御する。

遠くで交点を作られると、仮想オブジェクトの位置が急激に変化するため、情報処理装置１００は、コントローラ２０から一定範囲内で交点を作成する。一定範囲については、仮想オブジェクトの手前と奥で距離を変えてもよい。視線は常に微小な動きをしているので、情報処理装置１００は、コントローラの線上の最近点に交点を表示する。また、人間の視覚調整の仕組み上、何も無いところで焦点を合わせることは出来ないので、情報処理装置１００は、先にコントローラ２０の線を表示して、ユーザが視線で位置を指定できるようにする。

そして、ユーザ５０は、２本の線で交点の位置を調整する。この場合、交点はコントローラ２０の線上を移動する。また、コントローラが平行になると、情報処理装置１００は、無限遠になるので最大距離（閾値Ｌｍａｘ）を事前に設定する。

ユーザ５０による交点の位置の調整に応じて、情報処理装置１００は、交点の位置に仮想オブジェクトを表示するように表示装置１０を制御する。配置したい位置に仮想オブジェクトを配置したユーザ５０は、コントローラ２０のボタン２５から指を離して、仮想オブジェクトを指定した位置に配置する。これにより、情報処理装置１００は、コントローラ２０による仮想オブジェクトの把持が解除されたと判定する。

［１－８．線の表現］
なお、指示構成要素は、上記に限らず、掌、腕、顔や頭の正面など、種々の要素であってもよい。すなわち、線を出すものとしては、コントローラ、指、手、掌、腕、視線、顔や頭の正面など方向を示すことができる種々のものが含まれる。

また、２本の線に機能的な差異が無い場合でも、２本の線の主従関係を持ってもよい。情報処理装置１００は、種々の情報を適宜用いて指示構成要素間の主従関係を判定してもよい。また、情報処理装置１００は、主従関係を示すために、各線の色の濃さや形状などを変えてもよい。

情報処理装置１００は、優先しても用いていると推定される指示構成要素を主たる指示構成要素（主指示構成要素）と判定してもよい。例えば、情報処理装置１００は、ユーザの右手に対応する指示構成要素を主指示構成要素とする。また、例えば、情報処理装置１００は、モノ（デバイス）を持っている方を主指示構成要素としてもよい。例えば、情報処理装置１００は、片方の手のみにモノ（デバイス）を所持している場合、そのデバイスを主指示構成要素としてもよい。

情報処理装置１００は、所定の順番に応じて主指示構成要素を判定してもよい。情報処理装置１００は、ビーム状態にした順番に応じて、主指示構成要素を判定してもよい。例えば、情報処理装置１００は、最初にビーム状態にした指示構成要素を、主指示構成要素と判定してもよい。

情報処理装置１００は、動かし方に応じて主指示構成要素を判定してもよい。例えば、情報処理装置１００は、大きく動かしたり、先に動かしたりした指示構成要素を、主指示構成要素と判定してもよい。

また、線の表現は、種々の対象であってもよい。例えば、操作に慣れてくると線の表示は必要なくなるので、交点だけの表示があってもよい。また、例えば、情報処理装置１００は、２本の線が離れている時に交点を作りやすいように線を表現してもよい。例えば、情報処理装置１００は、線の太さを太くしてもよい。

また、情報処理装置１００は、交点近くが膨らんだり、最近点に向かって膨らんだりするように線を表現してもよい。この点について、図２４Ａ～図２４Ｃを用いて説明する。図２４Ａ～図２４Ｃは、本開示の線の表示の一例を示す図である。具体的には、図２４Ａ～図２４Ｃは、幾何学的対象の一例である線の表現の例を示す図である。

図２４Ａ～図２４Ｃの各々は、主従関係に応じた線の表現の例を示す。具体的には、図２４Ａは、主従関係がない場合の線の表現の例を示す。また、図２４Ｂ及び図２４Ｃの各々は、主従関係がある場合の線の表現の例を示す。

まず、図２４Ａを用いて、主従関係がない場合の線の表現について説明する。図２４Ａに示すように、主従関係がない場合、情報処理装置１００は、線ＬＮ６１及び線ＬＮ６２の両方が、交点ＩＳ６１の方に膨らむように表示させる。情報処理装置１００は、膨張部ＥＰ６１を含む線ＬＮ６１と膨張部ＥＰ６２を含む線ＬＮ６２を表示するように表示装置１０を制御する。

次に、図２４Ｂを用いて、主従関係がある場合の線の表現について説明する。図２４Ｂに示すように、主従関係がある場合、情報処理装置１００は、主指示構成要素の線である主線ＭＬ１上の交点ＩＳ６１に向かって、従指示構成要素の線である従線ＳＬ１が膨らむように表示させる。情報処理装置１００は、主線ＭＬ１と膨張部ＥＰ６３を含む従線ＳＬ１を表示するように表示装置１０を制御する。

次に、図２４Ｃを用いて、主従関係がある場合の線の表現について説明する。図２４Ｃに示すように、主従関係がある場合、情報処理装置１００は、従指示構成要素の線である従線ＳＬ１の最近点に向かって、主指示構成要素の線である主線ＭＬ１が膨らむように表示させる。情報処理装置１００は、膨張部ＥＰ６４を含む主線ＭＬ１と従線ＳＬ１を表示するように表示装置１０を制御する。

また、方向は線だけではなく面や面内で表現されてもよい。面は主従のどちらか一方であってもよい。また、面の向きは、水平方向や垂直方向であってもよい。また、面の向きは、コントローラなどを動かしている方向であってもよい。

また、面の幅は、操作者のコントローラや手などから交点や仮想オブジェクトまでの距離に応じて面の幅を設定されてもよい。例えば、閾値Ｄ１程度の幅を持たせる。また、交点が近傍になった場合に備えて、数センチ程度の最小幅を決めてもよい。

また、面や面内の表現は、操作者から対象物の間の面内で、線がストローのような首折れやしなりを持ってもよい。また、対象物を選択しやすいように、対象物から操作者の方に向かって線が伸びてもよい。また、操作者のコントローラや指から線を出す際、少しだけ隙間を開けて線を表示してもよい。

上述した点について、図２５及び図２６を用いて具体的に説明する。図２５及び図２６は、本開示の線の表示の一例を示す図である。なお、上述した内容と同様の点については適宜説明を省略する。

まず、図２５を用いて、線の首折れやしなりについて説明する。図２５は、ユーザ５０が、左でのコントローラ２０と、右手の指５２とを用いて、仮想オブジェクトＶＯ７１を指示している状態を示す。情報処理装置１００は、コントローラ２０の線ＬＮ７１と右手の指５２の線ＬＮ７２とを表示するように表示装置１０を制御する。情報処理装置１００は、右手の指５２の線ＬＮ７２を含む面ＦＣ７２を表示するように表示装置１０を制御してもよい。また、図２５の例では、指５２の線ＬＮ７２は、仮想オブジェクトＶＯ７１の付近で首折れした屈曲部ＴＰ７２を含む。情報処理装置１００は、面ＦＣ７２内に位置し屈曲部ＴＰ７２を含む線ＬＮ７２を表示するように表示装置１０を制御してもよい。

このように、情報処理装置１００は、線ＬＮ７２が仮想オブジェクトＶＯ７１に吸着するように、線ＬＮ７２を表現することにより、ユーザ５０により直感的に線ＬＮ７２が仮想オブジェクトＶＯ７１を指示していると認識させることができる。

次に、図２６を用いて、コントローラ２０や指５２等の指示構成要素と、線等の幾何学的対象との間に隙間をあけた表現について説明する。図２６は、ユーザ５０の右手の指５２と、線ＬＮ７２との間に隙間をあけた場合を示す。図２６中の拡大部分ＡＲ７２に示すように、情報処理装置１００は、ユーザ５０の右手の指５２との間に隙間をあけて線ＬＮ７２を表示するように表示装置１０を制御する。これにより、操作者と対象物との方向に多少のズレが生じても許容できるようになる。

［１－９．その他］
なお、上記に限らず種々の表示態様であってもよい。上述した例では、ユーザが１人の場合の操作について説明したが、複数のユーザ（複数人）がＡＲ機器やＶＲ機器やＭＲ機器等表示装置１０を装着して同じ映像を見ながら複数人で操作してもよい。この場合、１人が仮想オブジェクトを操作しているときに、もう１人も位置を調整することができる。

また、交点については、情報処理装置１００は、交点モードに入った時や交点モードで微調整をしている時などに振動や圧力、音などを加えて状態を伝えてもよい。例えば、情報処理装置１００は、交点が出来そうなとき、交点が出来たとき、交点があるとき、線が離れそうなとき、線が離れたときなどの状態を伝えてもよい。情報処理装置１００は、交点の位置が分かりやすいように、床や机の上、もしくは腰の高さなどに仮想平面を設けて交点を投影させた影や影と交点をつなぐ線を表示してもよい。この点について、図２７を用いて説明する。図２７は、本開示の交点表示の一例を示す図である。なお、上述した内容と同様の点については適宜説明を省略する。

図２７は、仮想平面ＶＰに線ＬＮ７１や線ＬＮ７２等の情報を投影した場合を示す。図２７の仮想平面ＶＰ中の投影線ＰＬ７１は、線ＬＮ７１を仮想平面ＶＰに投影した線を示す。また、図２７の仮想平面ＶＰ中の投影線ＰＬ７２は、線ＬＮ７２を仮想平面ＶＰに投影した線を示す。また、図２７の仮想平面ＶＰ中の投影点ＰＩは、線ＬＮ７１の最近点ＰＴ７１と線ＬＮ７２の最近点ＰＴ７２との交点を投影した点を示す。情報処理装置１００は、図２７に示すような投影線ＰＬ７１、ＰＬ７２や投影点ＰＩを表示するように表示装置１０を制御する。これにより、情報処理装置１００は、交点の位置をユーザ５０に認識させることができる。

また、情報処理装置１００は、仮想オブジェクトについて種々の処理を行ってもよい。情報処理装置１００は、仮想オブジェクトの移動可能なエリアやラインなどを設けて、その範囲内でのみ移動できるようにしてもよい。情報処理装置１００は、仮想オブジェクトや交点を現実空間の物体で隠れる場所に配置しようとした場合、物体より奥にいかないようにしてもよいし、物体を突き抜けてもよい。情報処理装置１００は、仮想オブジェクトの移動距離や角度、実物体からの距離や角度などの補足情報を表示してもよい。

また、情報処理装置１００は、空間座標の表示について種々の処理を行ってもよい。情報処理装置１００は、交点、仮想オブジェクトの座標位置が分かりやすいように、空間座標やグリッドを表示してもよい。情報処理装置１００は、空間座標を表示する際は、操作者の位置からの座標系、特定の人やモノや位置からの座標系、操作者以外の人、実物体や仮想物体などの特定のモノ、特定の位置などの空間の絶対座標系等を表示させてもよい。

［１－１０．他の幾何学的対象（面）］
なお、上述のように幾何学的対象は線に限らず、面であってもよい。例えば、情報処理装置１００は、幾何学的対象である面の位置関係に基づいて、交点を表示させてもよい。この点について、図２８～図３１を用いて説明する。図２８～図３０は、本開示の他の表示の一例を示す図である。また、図３１は、本開示の他の交点表示の一例を示す図である。なお、上述した内容と同様の点については適宜説明を省略する。

図２８～図３１では、ユーザ５０が利き手である右手に主指示構成要素である第１コントローラ２０Ａを所持し、左手に従指示構成要素である第２コントローラ２０Ｂを所持する場合を示す。なお、ユーザ５０が左手に所持する第２コントローラ２０Ｂが主指示構成要素であり、右手に所持する第１コントローラ２０Ａが従指示構成要素であってもよい。このように、ユーザ５０の左手側が主指示構成要素であり、右手側が従指示構成要素であってもよい。すなわち、ユーザ５０の右手側と左手側とのいずれが主指示構成要素であってもよい。また、指示構成要素は、コントローラ２０に限らず、指５２（図２５参照）等、ユーザが方向を示すために用いるものであればどのようなものであってもよい。また、以下で説明する線ＬＮ８１～ＬＮ８３や面ＦＣ８１、８２等の幾何学的対象は、交点表示のためのものであり、その全てがユーザに視認可能に表示されなくてもよいが、この点については後述する。

図２８に示すように、各コントローラ２０からコントローラ２０の所定の位置（原点）を通る軸に沿って線が伸びる。具体的には、第１コントローラ２０Ａから第１コントローラ２０Ａの原点２１Ａを通る軸に沿って線ＬＮ８１が伸びる。また、第２コントローラ２０Ｂから第２コントローラ２０Ｂの原点２１Ｂを通る軸に沿って線ＬＮ８２が伸びる。例えば、情報処理装置１００は、第１コントローラ２０Ａの位置や向きに基づいて線ＬＮ８１を算出し、第２コントローラ２０Ｂの位置や向きに基づいて線ＬＮ８２を算出する。情報処理装置１００は、第１コントローラ２０Ａの軸や原点２１Ａに基づいて線ＬＮ８１を算出し、第２コントローラ２０Ｂの軸や原点２１Ｂに基づいて線ＬＮ８２を算出する。以下では、主指示構成要素である第１コントローラ２０Ａの原点２１Ａから伸びる線ＬＮ８１を主線ともいい、従指示構成要素である第２コントローラ２０Ｂの原点２１Ｂから伸びる線ＬＮ８２を副線ともいう。

図２９に示すように、主線である線ＬＮ８１と、副線である線ＬＮ８２の原点２１Ｂから構成される平面を面ＦＣ８１とする。以下では、面ＦＣ８１を基準面ともいう。基準面である面ＦＣ８１は、主線である線ＬＮ８１と、副線である線ＬＮ８２の原点２１Ｂとを含む面である。言い換えると、線ＬＮ８１は、面ＦＣ８１内を通り、原点２１Ｂは、面ＦＣ８１内に位置する。このように、基準面である面ＦＣ８１は、主線である線ＬＮ８１と、副線である線ＬＮ８２の原点２１Ｂとにより定まる。例えば、情報処理装置１００は、線ＬＮ８１の位置や原点２１Ｂの位置に基づいて面ＦＣ８１を算出する。情報処理装置１００は、主線である線ＬＮ８１と、副線である線ＬＮ８２の原点２１Ｂとを含む面を面ＦＣ８１として算出する。

図３０に示すように、基準面である面ＦＣ８１が副線である線ＬＮ８２の原点２１Ｂを中心に垂直となる平面を面ＦＣ８２とする。以下では、面ＦＣ８２を操作面ともいう。このように、操作面である面ＦＣ８２は、原点２１Ｂを通り、面ＦＣ８１に直交する面である。また、副線である線ＬＮ８２は面ＦＣ８２上を移動する。面ＦＣ８２は、線ＬＮ８２が乗る。言い換えると、線ＬＮ８２は、面ＦＣ８２を通る。すなわち、面ＦＣ８２は、線ＬＮ８２の原点２１Ｂを含み、面ＦＣ８１に直交する面である。このように、操作面である面ＦＣ８２は、基準面である面ＦＣ８１と、副線である線ＬＮ８２と原点２１Ｂとにより定まる。例えば、情報処理装置１００は、面ＦＣ８１の位置や線ＬＮ８２の位置や原点２１Ｂの位置に基づいて面ＦＣ８２を算出する。情報処理装置１００は、基準面である面ＦＣ８１に直交し、副線である線ＬＮ８２や原点２１Ｂを含む面を面ＦＣ８２として算出する。

図３１に示すように、主線である線ＬＮ８１と、操作面である面ＦＣ８２とが交わる点を交点ＩＳ８１とする。情報処理装置１００は、線ＬＮ８１の位置や面ＦＣ８２の位置に基づいて交点ＩＳ８１を算出する。例えば、情報処理装置１００は、線ＬＮ８１と面ＦＣ８２とが交わる点を交点ＩＳ８１として算出する。

また、副線である線ＬＮ８２の原点２１Ｂと交点ＩＳ８１とを結んだ線を線ＬＮ８３とする。以下では、線ＬＮ８３を操作線ともいう。操作線である線ＬＮ８３は、離れるほど副線である線ＬＮ８２の色に近くなってもよい。例えば、報処理装置１００は、線ＬＮ８３が線ＬＮ８１から離れるほど、線ＬＮ８３の色が副線である線ＬＮ８２の色に近づいて表示されるように、表示装置１０を制御してもよい。

なお、上述した線ＬＮ８１～ＬＮ８３や面ＦＣ８１、８２等の幾何学的対象のうち、ユーザから見える幾何学的対象は、主線である線ＬＮ８１と操作線である線ＬＮ８３だけであってもよい。すなわち、情報処理装置１００は、主線である線ＬＮ８１と操作線である線ＬＮ８３とを表示するように、表示装置１０を制御してもよい。この場合、表示装置１０は、線ＬＮ８１～ＬＮ８３や面ＦＣ８１、８２等の幾何学的対象のうち、主線である線ＬＮ８１及び操作線である線ＬＮ８３のみを表示する。

また、情報処理装置１００は、交点の出現条件を用いて、出現条件を満たす場合に、交点を出現（表示）させてもよい。例えば、情報処理装置１００は、副線である線ＬＮ８２と、操作線である線ＬＮ８３との開き角である角度ＡＧ８１が、所定の閾値以下である場合、交点を出現させてもよい。情報処理装置１００は、線ＬＮ８２と線ＬＮ８３とがなす角の角度ＡＧ８１が、所定の閾値（例えば１０度や１５度等）以下である場合、交点ＩＳ８１を出現させてもよい。また、情報処理装置１００は、交点の出現条件を満たす場合に、線が吸着するように表示を制御してもよい。情報処理装置１００は、交点の出現条件を満たす場合に、操作線である線ＬＮ８３が吸着するように表示を制御してもよい。例えば、情報処理装置１００は、交点の出現条件を満たす場合に、操作線である線ＬＮ８３が仮想オブジェクトの付近で首折れし、仮想オブジェクトに吸着するように、線ＬＮ８３の表示を制御してもよい。また、情報処理装置１００は、グラブ中は強制的に吸着させてもよい。情報処理装置１００は、仮想オブジェクトを持っている場合、線ＬＮ８３が仮想オブジェクトの付近で首折れし、仮想オブジェクトに吸着するように、線ＬＮ８３の表示を制御してもよい。

［２．その他の構成例］
なお、上記のシステム構成は一例であり、上述した処理が実現可能であれば、情報処理システムはどのようなシステム構成であってもよい。例えば、情報処理装置１００と表示装置１０とが別体である場合を示したが、情報処理装置１００と表示装置１０とは一体であってもよい。

また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

［３．本開示に係る効果］
上述のように、本開示に係る情報処理装置（実施形態では情報処理装置１００）は、表示制御部（実施形態では表示制御部１３４）を備える。表示制御部は、ユーザが示した複数の方向に基づき定まる位置である指示位置に、仮想オブジェクト用のマークを表示するように表示装置（実施形態では表示装置１０）を制御する。

これにより、本開示に係る情報処理装置は、ユーザが示した複数の方向に基づき定まる位置である指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御することができるため、ユーザの指示に応じた柔軟な表示を可能にすることができる。また、情報処理装置によれば、ユーザが示した複数の方向で位置を決定するため、ユーザの指示に応じた適切な位置を決定することができる。

また、表示制御部は、複数の方向の各々に対応する複数の幾何学的対象に基づき定まる指示位置に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、各方向に対応する線や面等の複数の幾何学的対象に基づき定まる指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御することができるため、線や面等の複数の幾何学的対象によるユーザの指示に応じた柔軟な表示を可能にすることができる。

また、表示制御部は、複数の幾何学的対象の位置関係に基づき定まる指示位置に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、複数の幾何学的対象の位置関係に基づき定まる指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御することができるため、幾何学的対象の位置関係によるユーザの指示に応じた柔軟な表示を可能にすることができる。

また、表示制御部は、２方向である複数の方向の各々に対応する２つの幾何学的対象に基づき定まる指示位置に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、２方向である複数の方向の各々に対応する２つの幾何学的対象に基づき定まる指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御することができるため、２方向によるユーザの指示に応じた柔軟な表示を可能にすることができる。

また、表示制御部は、２方向である複数の方向のうち、第１の方向に沿う第１の幾何学的対象と、第２の方向に沿う第２の幾何学的対象とに基づき定まる指示位置に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、第１の方向と第２の方向とに基づき定まる指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御することができるため、２方向によるユーザの指示に応じた柔軟な表示を可能にすることができる。

また、本開示に係る情報処理装置は、判定部（実施形態では判定部１３３）を備える。判定部は、２つの幾何学的対象の位置関係に基づいて、マークを表示するかどうかを判定する。表示制御部は、判定部によりマークを表示すると判定された場合に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、２つの幾何学的対象の位置関係に基づく判定結果に応じてマークの表示を決定できるため、２つの幾何学的対象の位置関係に応じた適切な表示を可能にすることができる。

また、判定部は、２つの幾何学的対象間の距離である対象距離が第１閾値（実施形態では閾値Ｄ０）以上である場合、マークを表示しないと判定する。これにより、情報処理装置は、２つの幾何学的対象間の距離が離れている場合にマークを表示しないことにより、ユーザの指示に応じた柔軟な表示を可能にすることができる。

また、判定部は、マークの表示時に、対象距離が第１閾値よりも大きい第２閾値（実施形態では閾値Ｄ１）以下である場合、マークの表示を継続すると判定し、対象距離が第２閾値を超える場合、マークを表示しないと判定する。これにより、情報処理装置は、一度マークを表示した場合、マークを継続して表示することができ、ユーザの手振れや誤差などによりマークが非表示になったり、マークが点滅したりすることを抑制でき、ユーザの指示に応じた柔軟な表示を可能にすることができる。

また、判定部は、２方向のいずれかを指示する指示構成要素と、指示位置との間の距離である表示距離に基づいて、マークを表示するかどうかを判定する。これにより、情報処理装置は、ユーザと指示位置との間の距離に応じて、適切にマークを表示したり、非表示にしたりすることができ、ユーザの指示に応じた柔軟な表示を可能にすることができる。

また、判定部は、表示距離が第３閾値（実施形態では閾値Ｌｍａｘ）を超える場合、マークを表示しないと判定する。これにより、情報処理装置は、ユーザから指示位置が離れている場合にマークを表示しないことにより、ユーザの指示に応じた柔軟な表示を可能にすることができる。例えば、情報処理装置は、線などの幾何学的対象が平行や平行に近い状態になり、指示位置（交点）が例えば無限遠等の遠方になった場合に、マークを表示しないことで、ユーザが意図しない位置にマーkが表示されることを抑制することができる。

また、表示制御部は、２つの幾何学的対象の関係に基づく指示位置に、仮想オブジェクトを表示するように表示装置を制御する。これにより、情報処理装置は、２つの幾何学的対象の関係に基づく指示位置に、仮想オブジェクトを表示するように表示装置を制御することができるため、ユーザの指示に応じた仮想オブジェクトの適切な表示を可能にすることができる。

また、表示制御部は、２つの幾何学的対象の各々から決定される２つの点に基づき定まる指示位置に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、２つの幾何学的対象の２つの点に基づく指示位置に、マークを表示するように表示装置を制御することができるため、ユーザの指示に応じて適切な位置にマークを表示可能にすることができる。

また、表示制御部は、２つの幾何学的対象の距離が最も近い２つの点に基づき定まる指示位置に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、２つの幾何学的対象の距離が最も近い２つの点（最近点）に基づく指示位置に、マークを表示するように表示装置を制御することができるため、ユーザの指示に応じて適切な位置にマークを表示可能にすることができる。

また、表示制御部は、２つの点の位置が一致する場合、２つの点の位置を指示位置として、マークを表示するように表示装置を制御する。これにより、情報処理装置は、２つの幾何学的対象が重なる場合、その位置に、マークを表示するように表示装置を制御することができるため、ユーザの指示に応じて適切な位置にマークを表示可能にすることができる。

また、表示制御部は、２つの点の位置が異なる場合、２つの点を結ぶ線分上の位置を指示位置として、マークを表示するように表示装置を制御する。これにより、情報処理装置は、２つの幾何学的対象が重ならない場合であっても、２つの点を結ぶ線分上の位置に、マークを表示するように表示装置を制御することができるため、ユーザの指示に応じて適切な位置にマークを表示可能にすることができる。

また、表示制御部は、指示位置に基づく位置である配置位置に、仮想オブジェクトを表示するように表示装置を制御する。これにより、情報処理装置は、指示位置に基づく配置位置に、仮想オブジェクトを表示するように表示装置を制御することができるため、ユーザの指示に応じた仮想オブジェクトの適切な表示を可能にすることができる。

また、表示制御部は、指示位置が、複数の方向のいずれかを指示する指示構成要素から第１位置までの距離である第１距離（実施形態では閾値Ｒｍｉｎ）と、指示構成要素から第１位置よりも遠い第２位置までの距離である第２距離（実施形態では閾値Ｒｍａｘ）との間に位置する場合、指示位置を配置位置として、仮想オブジェクトを表示するように表示装置を制御する。これにより、情報処理装置は、指示位置が所定の範囲内に位置する場合、その位置に仮想オブジェクトを表示するように表示装置を制御することができるため、ユーザの指示に応じた仮想オブジェクトの適切な表示を可能にすることができる。

また、表示制御部は、指示位置が、第１距離以下である場合、第１位置を配置位置として、仮想オブジェクトを表示するように表示装置を制御する。これにより、情報処理装置は、指示位置が近すぎる場合、ある程度離れた位置に仮想オブジェクトを表示するように表示装置を制御することができるため、ユーザの指示に応じた仮想オブジェクトの適切な表示を可能にすることができる。

また、表示制御部は、指示位置が、第２距離以上である場合、第２位置を配置位置として、仮想オブジェクトを表示するように表示装置を制御する。これにより、情報処理装置は、指示位置が遠すぎる場合、離れすぎていない位置に仮想オブジェクトを表示するように表示装置を制御することができるため、ユーザの指示に応じた仮想オブジェクトの適切な表示を可能にすることができる。

また、表示制御部は、複数の方向の各々に対応する複数の線に基づき定まる指示位置に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、各方向に対応する複数の線に基づき定まる指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御することができるため、線によるユーザの指示に応じた柔軟な表示を可能にすることができる。

また、表示制御部は、複数の方向のうち、少なくとも１方向に対応する面を含む複数の幾何学的対象に基づき定まる指示位置に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、面を含む幾何学的対象に基づき定まる指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御することができるため、面を含む幾何学的対象によるユーザの指示に応じた柔軟な表示を可能にすることができる。

また、表示制御部は、ユーザが所持するコントローラにより指示される少なくとも１方向を含む複数の方向に基づき定まる指示位置に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、ユーザが所持するコントローラによる指示に応じて、仮想オブジェクト用のマークを表示するように表示装置を制御することができるため、ユーザの指示に応じた柔軟な表示を可能にすることができる。

また、表示制御部は、ユーザの身体により指示される少なくとも１方向を含む複数の方向に基づき定まる指示位置に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、ユーザの身体による指示に応じて、仮想オブジェクト用のマークを表示するように表示装置を制御することができるため、ユーザの指示に応じた柔軟な表示を可能にすることができる。

また、表示制御部は、ユーザの視線により指示される少なくとも１方向を含む複数の方向に基づき定まる指示位置に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、ユーザの視線による指示に応じて、仮想オブジェクト用のマークを表示するように表示装置を制御することができるため、ユーザの指示に応じた柔軟な表示を可能にすることができる。

また、表示制御部は、ユーザの指により指示される少なくとも１方向を含む複数の方向に基づき定まる指示位置に、マークを表示するように表示装置を制御する。これにより、情報処理装置は、ユーザの指による指示に応じて、仮想オブジェクト用のマークを表示するように表示装置を制御することができるため、ユーザの指示に応じた柔軟な表示を可能にすることができる。

［４．ハードウェア構成］
上述してきた各実施形態や変形例に係る情報処理装置１００等の情報機器は、例えば図３２に示すような構成のコンピュータ１０００によって実現される。図３２は、情報処理装置１００等の情報処理装置の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下、実施形態に係る情報処理装置１００を例に説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
ユーザが示した複数の方向に基づき定まる位置である指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御する表示制御部、
を備える情報処理装置。
（２）
前記表示制御部は、
前記複数の方向の各々に対応する複数の幾何学的対象 に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
（１）に記載の情報処理装置。
（３）
前記表示制御部は、
前記複数の幾何学的対象の位置関係に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
（２）に記載の情報処理装置。
（４）
前記表示制御部は、
２方向である前記複数の方向の各々に対応する２つの幾何学的対象に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
（２）または（３）に記載の情報処理装置。
（５）
前記表示制御部は、
２方向である前記複数の方向のうち、第１の方向に沿う第１の幾何学的対象と、第２の方向に沿う第２の幾何学的対象とに基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
（４）に記載の情報処理装置。
（６）
前記２つの幾何学的対象の位置関係に基づいて、前記マークを表示するかどうかを判定する判定部、
をさらに備え、
前記表示制御部は、
前記判定部により前記マークを表示すると判定された場合に、前記マークを表示するように前記表示装置を制御する、
（４）または（５）に記載の情報処理装置。
（７）
前記判定部は、
前記２つの幾何学的対象間の距離である対象距離が第１閾値未満である場合、前記マークを表示すると判定する、
（６）に記載の情報処理装置。
（８）
前記判定部は、
前記マークの表示時に、前記対象距離が前記第１閾値よりも大きい第２閾値以下である場合、前記マークの表示を継続すると判定し、前記対象距離が前記第２閾値を超える場合、前記マークを表示しないと判定する、
（７）に記載の情報処理装置。
（９）
前記判定部は、
前記２方向のいずれかを指示する指示構成要素と、前記指示位置との間の距離である表示距離に基づいて、前記マークを表示するかどうかを判定する、
（６）～（８）のいずれか１項に記載の情報処理装置。
（１０）
前記判定部は、
前記表示距離が第３閾値を超える場合、前記マークを表示しないと判定する、
（９）に記載の情報処理装置。
（１１）
前記表示制御部は、
前記２つの幾何学的対象の関係に基づく前記指示位置に、前記仮想オブジェクトを表示するように前記表示装置を制御する、
（４）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記表示制御部は、
前記２つの幾何学的対象の各々から決定される２つの点に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
（４）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記表示制御部は、
前記２つの幾何学的対象の距離が最も近い前記２つの点に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
（１２）に記載の情報処理装置。
（１４）
前記表示制御部は、
前記２つの点の位置が一致する場合、前記２つの点の位置を前記指示位置として、前記マークを表示するように前記表示装置を制御する、
（１２）または（１３）に記載の情報処理装置。
（１５）
前記表示制御部は、
前記２つの点の位置が異なる場合、前記２つの点を結ぶ線分上の位置を前記指示位置として、前記マークを表示するように前記表示装置を制御する、
（１２）または（１３）に記載の情報処理装置。
（１６）
前記表示制御部は、
前記指示位置に基づく位置である配置位置に、前記仮想オブジェクトを表示するように前記表示装置を制御する、
（１）～（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記表示制御部は、
前記指示位置が、前記複数の方向のいずれかを指示する指示構成要素から第１位置までの距離である第１距離と、前記指示構成要素から前記第１位置よりも遠い第２位置までの距離である第２距離との間に位置する場合、前記指示位置を前記配置位置として、前記仮想オブジェクトを表示するように前記表示装置を制御する、
（１６）に記載の情報処理装置。
（１８）
前記表示制御部は、
前記指示位置が、前記第１距離以下である場合、前記第１位置を前記配置位置として、前記仮想オブジェクトを表示するように前記表示装置を制御する、
（１７）に記載の情報処理装置。
（１９）
前記表示制御部は、
前記指示位置が、前記第２距離以上である場合、前記第２位置を前記配置位置として、前記仮想オブジェクトを表示するように前記表示装置を制御する、
（１７）または（１８）に記載の情報処理装置。
（２０）
前記表示制御部は、
前記複数の方向の各々に対応する複数の線に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
（１）～（１９）のいずれか１項に記載の情報処理装置。
（２１）
前記表示制御部は、
前記複数の方向のうち、少なくとも１方向に対応する面を含む複数の幾何学的対象に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
（１）～（１９）のいずれか１項に記載の情報処理装置。
（２２）
前記表示制御部は、
２方向のうち、第１の方向に沿う線と、第２の方向に沿う面とに基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
（２０）に記載の情報処理装置。
（２３）
前記表示制御部は、
前記ユーザが所持するコントローラにより指示される少なくとも１方向を含む前記複数の方向に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する
（１）～（２２）のいずれか１項に記載の情報処理装置。
（２４）
前記表示制御部は、
前記ユーザの身体により指示される少なくとも１方向を含む前記複数の方向に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する
（１）～（２３）のいずれか１項に記載の情報処理装置。
（２５）
前記表示制御部は、
前記ユーザの視線により指示される少なくとも１方向を含む前記複数の方向に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する
（２４）に記載の情報処理装置。
（２６）
前記表示制御部は、
前記ユーザの指により指示される少なくとも１方向を含む前記複数の方向に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する
（２４）に記載の情報処理装置。
（２７）
コンピュータが、
ユーザが示した複数の方向に基づき定まる位置である指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御する、
処理を実行する情報処理方法。
（２８）
コンピュータに、
ユーザが示した複数の方向に基づき定まる位置である指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御する、
処理を実行させる情報処理プログラム。

１ 情報処理システム
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 交点関連閾値情報記憶部
１２２ オブジェクト関連閾値情報記憶部
１２３ 方向指示情報記憶部
１２４ 交点表示用情報記憶部
１２５ オブジェクト情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 交点演算部
１３３ 判定部
１３４ 表示制御部
１３５ 送信部
１０ 表示装置（ヘッドマウントディスプレイ）
２０Ａ 第１コントローラ（指示構成要素）
２０Ｂ 第２コントローラ（指示構成要素）
ＬＮ１ 線（幾何学的対象）
ＬＮ２ 線（幾何学的対象）

Claims (15)

1. ユーザが示した複数の方向に基づき定まる位置である指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御し、２方向である前記複数の方向の各々に対応する複数の幾何学的対象である２つの幾何学的対象に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する表示制御部、
   前記２つの幾何学的対象の位置関係に基づいて、前記マークを表示するかどうかを判定する判定部と、
   を備え、
   前記表示制御部は、
   前記判定部により前記マークを表示すると判定された場合に、前記マークを表示するように前記表示装置を制御する、
   情報処理装置。
2. 前記表示制御部は、
   前記複数の幾何学的対象の位置関係に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
   請求項１に記載の情報処理装置。
3. 前記表示制御部は、
   ２方向である前記複数の方向のうち、第１の方向に沿う第１の幾何学的対象と、第２の方向に沿う第２の幾何学的対象とに基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
   請求項１に記載の情報処理装置。
4. 前記判定部は、
   前記２つの幾何学的対象間の距離である対象距離が第１閾値未満である場合、前記マークを表示すると判定する、
   請求項１に記載の情報処理装置。
5. 前記判定部は、
   前記マークの表示時に、前記対象距離が前記第１閾値よりも大きい第２閾値以下である場合、前記マークの表示を継続すると判定し、前記対象距離が前記第２閾値を超える場合、前記マークを表示しないと判定する、
   請求項４に記載の情報処理装置。
6. 前記判定部は、
   前記２方向のいずれかを指示する指示構成要素と、前記指示位置との間の距離である表示距離に基づいて、前記マークを表示するかどうかを判定する、
   請求項１に記載の情報処理装置。
7. 前記判定部は、
   前記表示距離が第３閾値を超える場合、前記マークを表示しないと判定する、
   請求項６に記載の情報処理装置。
8. 前記表示制御部は、
   前記２つの幾何学的対象の各々から決定される２つの点に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
   請求項１に記載の情報処理装置。
9. 前記表示制御部は、
   前記２つの幾何学的対象の距離が最も近い前記２つの点に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
   請求項８に記載の情報処理装置。
10. 前記表示制御部は、
    前記２つの点の位置が一致する場合、前記２つの点の位置を前記指示位置として、前記マークを表示するように前記表示装置を制御する、
    請求項８に記載の情報処理装置。
11. 前記表示制御部は、
    前記ユーザが前記複数の方向を示すために用いる装置と前記指示位置との間の距離が下限の閾値以下である場合、前記下限の閾値に基づく位置に決定され、前記装置と前記指示位置との間の距離が上限の閾値以上である場合、前記上限の閾値に基づく位置に決定される配置位置に、仮想オブジェクトを表示するように前記表示装置を制御する、
    請求項１に記載の情報処理装置。
12. 前記表示制御部は、
    前記複数の方向の各々に対応する複数の線に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
    請求項１に記載の情報処理装置。
13. 前記表示制御部は、
    前記複数の方向のうち、少なくとも１方向に対応する面を含む複数の幾何学的対象に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御する、
    請求項１に記載の情報処理装置。
14. ユーザが示した複数の方向に基づき定まる位置である指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御し、
    ２方向である前記複数の方向の各々に対応する複数の幾何学的対象である２つの幾何学的対象に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御し、
    前記２つの幾何学的対象の位置関係に基づいて、前記マークを表示するかどうかを判定し、
    前記マークを表示すると判定された場合に、前記マークを表示するように前記表示装置を制御する、
    処理を実行する情報処理方法。
15. ユーザが示した複数の方向に基づき定まる位置である指示位置に、仮想オブジェクト用のマークを表示するように表示装置を制御し、
    ２方向である前記複数の方向の各々に対応する複数の幾何学的対象である２つの幾何学的対象に基づき定まる前記指示位置に、前記マークを表示するように前記表示装置を制御し、
    前記２つの幾何学的対象の位置関係に基づいて、前記マークを表示するかどうかを判定し、
    前記マークを表示すると判定された場合に、前記マークを表示するように前記表示装置を制御する、
    処理をコンピュータに実行させる情報処理プログラム。

Images