JP7078273B2 - 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム - Google Patents
情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム Download PDFInfo
- Publication number
- JP7078273B2 JP7078273B2 JP2019202162A JP2019202162A JP7078273B2 JP 7078273 B2 JP7078273 B2 JP 7078273B2 JP 2019202162 A JP2019202162 A JP 2019202162A JP 2019202162 A JP2019202162 A JP 2019202162A JP 7078273 B2 JP7078273 B2 JP 7078273B2
- Authority
- JP
- Japan
- Prior art keywords
- selection
- unit
- posture
- objects
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
以下、本発明の実施形態を説明する。
以下、図1乃至図12を参照しつつ、本実施形態に係るヘッドマウントディスプレイ1(以下、「HMD1」と称する)の概要の一例について説明する。
まず、図1及び図2を参照しつつ、HMD1の構成と、HMD1の利用イメージと、について説明する。
端末装置10(「情報処理装置」の一例)は、画像を表示するための表示部12を備える。本実施形態では、端末装置10としてスマートフォンを採用する場合を、一例として想定する。但し、端末装置10は、HMD1に設けられるための専用の表示デバイスであってもよい。
図1に示すように、装着具90は、HMD1をユーザUの頭部に装着するための一対のテンプル91L及び91Rと、端末装置10をHMD1に取り付けるための取付孔92と、ユーザUがHMD1を頭部に装着した場合に、ユーザUの両眼が存在する位置に対応するように設けられた一対の貫通孔92L及び92Rと、を備える。なお、貫通孔92L及び92Rの各々には、レンズが設けられていてもよい。そして、ユーザUが、HMD1を頭部に装着した場合、ユーザUの左眼は、貫通孔92Lを介して、または、取付孔92に設けられたレンズを介して、取付孔92に挿入された端末装置10が具備する表示部12を視認することができ、ユーザUの右眼は、貫通孔92Rを介して、または、貫通孔92Rに設けられたレンズを介して、取付孔92に挿入された端末装置10が具備する表示部12を視認することができる。
装置座標系ΣSとは、例えば、HMD1の所定箇所に原点を有し、互いに直交するXS軸、YS軸、及び、ZS軸を有する3軸の直交座標系である。本実施形態では、図2に示すように、ユーザUがHMD1を装着した場合に、+XS方向がユーザUから見て前方方向となり、+YS方向がユーザUから見て左手方向となり、+ZS方向がユーザUから見て上方向となるように、装置座標系ΣSが設定されている場合を、一例として想定する。
以下では、基準時刻t0においてHMD1に固定された装置座標系ΣSを、基準装置座標系ΣS0と称する。また、本実施形態では、基準時刻t0以降の時刻tにおけるHMD1の姿勢を、基準時刻t0におけるHMD1を回転軸WS周りの回転方向QWに角度θWだけ回転させた姿勢として表現する。換言すれば、本実施形態において、基準時刻t0以降の時刻tにおける装置座標系ΣSは、基準装置座標系ΣS0の各座標軸を、回転軸WSの周りに角度θWだけ回転させた座標軸を有する座標系として表現される。
以下、図3乃至図6を参照しつつ、仮想空間SP-V及び仮想カメラCMについて説明する。
なお、本実施形態では、一例として、仮想空間SP-Vにおいて、K個の選択肢を表すための、K個の選択オブジェクトCB[1]~CB[K]が存在する場合を想定する(Kは、K≧2を満たす自然数)。そして、以下では、K個の選択オブジェクトCB[1]~CB[K]のうち、k番目の選択オブジェクトCBを、選択オブジェクトCB[k]と称する(kは、1≦k≦Kを満たす自然数)。
また、以下では、説明の便宜上、図3に示すように、仮想空間SP-Vに固定された座標系である仮想空間座標系ΣVを導入する。ここで、仮想空間座標系ΣVとは、例えば、仮想空間SP-Vの所定箇所に原点を有し、互いに直交するXV軸、YV軸、及び、ZV軸を有する3軸の直交座標系である。
また、以下では、図4に示すように、位置PC-Lと交差し、仮想カメラCM-Lの光軸方向に延在する仮想的な直線を、仮想直線LC-Lと称し、位置PC-Rと交差し、仮想カメラCM-Rの光軸方向に延在する仮想的な直線を、仮想直線LC-Rと称する。また、以下では、位置PCと交差する直線であって、仮想カメラCM-Lの光軸方向を表す単位ベクトルと、仮想カメラCM-Rの光軸方向を表す単位ベクトルとの和により示される方向に延在する仮想的な直線を、仮想直線LC(「仮想線」の一例)と称する。そして、本実施形態では、一例として、仮想カメラCMが位置PCに存在するものと看做し、また、仮想カメラCMの光軸が仮想直線LCであることと看做す。
なお、本実施形態では、一例として、仮想直線LC-Lの延在する方向と、仮想直線LC-Rの延在する方向とが、同一の方向である場合を想定する。このため、本実施形態では、仮想直線LCの延在する方向は、仮想直線LC-L及び仮想直線LC-Rの延在する方向と同一の方向となる。
すなわち、ユーザUは、左眼によりキャラクタ画像GV-Lを視認し、右眼によりキャラクタ画像GV-Rを視認することができる。このため、ユーザUは、後述する図7等に例示するように、表示部12において、キャラクタV等の仮想空間SP-V内に存在する仮想的な物体を、例えば、立体的な物体として表された視認画像GSを視認することが可能となる。
ここで、「立体的な物体」とは、仮想的な3次元の空間に配置された物体であればよい。例えば、「立体的な物体」とは、仮想的な3次元の空間に配置された3次元の物体であってもよいし、仮想的な3次元の空間に配置された2次元の物体であってもよし、仮想的な3次元の空間に配置された1次元の物体であってもよい。
また、「仮想的な物体」とは、仮想空間SP-Vにおいて、色彩または模様等の表示態様が周囲と異なる物体または領域であってもよい。
本実施形態では、ユーザUがHMD1を装着した場合、+XC方向がユーザUから見て前方方向となり、+YC方向がユーザUから見て左手方向となり、+ZC方向がユーザUから見て上方向となるように、カメラ座標系ΣCが設定されている場合を、一例として想定する。すなわち、本実施形態では、HMD1を装着したユーザUから見て、XC軸がXS軸と同一の方向であり、YC軸がYS軸と同一の方向であり、ZC軸がZS軸と同一の方向である場合を、一例として想定する。また、本実施形態では、XC軸と仮想直線LCとが一致する場合を、一例として想定する。すなわち、本実施形態では、一例として、仮想直線LCが、HMD1を装着したユーザUから見た前方方向に延在する場合を想定する。
ここで、回転軸WCは、一例として、位置PCと交差する直線であって、装置座標系ΣSにおいて回転軸WSの方向を表す単位ベクトルの成分と、カメラ座標系ΣCにおいて回転軸WCの方向を表す単位ベクトルの成分とが、同一となる直線であることとする。また、角度θCは、一例として、角度θWと等しい角度であることとする。
以下では、基準時刻t0におけるカメラ座標系ΣCを、基準カメラ座標系ΣC0と称する。すなわち、時刻tにおけるカメラ座標系ΣCは、基準カメラ座標系ΣC0の各座標軸を、回転軸WCの周りに角度θCだけ回転させた座標軸を有する座標系として表現される。
以下、図7乃至図12を参照しつつ、表示部12に表示される視認画像GSについて説明する。
また、図11は、時刻tb1から時刻tb5までの期間において表示部12に表示される視認画像GSの一例である。なお、本実施形態では、一例として、時刻tb1が、時刻t5と同一の時刻である場合を想定する。また、以下では、時刻tb1から時刻tb5までの期間のうち、任意の時刻を、時刻tbと称する。
また、以下では、説明の便宜上、図7乃至図11に示す、時刻t1から時刻tb5にかけての視認画像GSの変化例を、「画面変化例」と称する場合がある。なお、画面変化例では、仮想空間SP-Vに6個の選択オブジェクトCB[1]~CB[6]が存在する場合(つまり、「K=6」の場合)を想定する。また、以下では、時刻tにおける仮想直線LCを、仮想直線LC[t]と表現する場合がある。
なお、本実施形態では、説明の便宜上、仮想空間SP-Vにおいて、選択オブジェクトCB[1]~CB[K]、掲示板Bd、及び、確定ボタンBtの位置が変化しない場合を想定する。但し、本発明はこのような態様に限定されるものではなく、仮想空間SP-Vにおいて、選択オブジェクトCB[1]~CB[K]、掲示板Bd、及び、確定ボタンBtの位置は変化してもよい。例えば、選択オブジェクトCB[1]~CB[K]、掲示板Bd、及び、確定ボタンBtは、カメラ座標系ΣCから見て、常に一定の位置に配置されるものであってもよい。すなわち、選択オブジェクトCB[1]~CB[K]、掲示板Bd、及び、確定ボタンBtは、仮想カメラCMの姿勢変化に応じて、仮想空間座標系ΣVにおける位置を変化させてもよい。
なお、本実施形態では、視認画像GSにおいて、選択対象オブジェクトとして特定されている選択オブジェクトCBと、選択対象オブジェクトとして特定されていない選択オブジェクトCBとが、異なる表示態様で表示される場合を想定する。具体的には、本実施形態では、一例として、視認画像GSにおいて、選択対象オブジェクトとして特定されている選択オブジェクトCBと、選択対象オブジェクトとして特定されていない選択オブジェクトCBとが、異なる色彩で表示される場合を想定する。但し、本発明はこのような態様に限定されるものではなく、選択対象オブジェクトとして特定されている選択オブジェクトCBと、選択対象オブジェクトとして特定されていない選択オブジェクトCBとが、異なる形状で表示されてもよいし、異なる大きさで表示されてもよいし、異なる明度で表示されてもよいし、異なる透明度で表示されてもよいし、異なる模様を有する態様で表示されてもよい。
なお、図7乃至図11に示す画面変化例では、上述のとおり、仮想直線LCが、選択オブジェクトCB[2]、選択オブジェクトCB[3]、及び、選択オブジェクトCB[6]と交差する。このため、画面変化例では、これらの選択オブジェクトCB[2]、選択オブジェクトCB[3]、及び、選択オブジェクトCB[6]が、選択対象オブジェクトとして特定されることになる。
なお、以下では、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択する場合に、確定ボタンBtと仮想直線LCとが交差している時間長ΔT1の期間を、選択確定期間(「第1期間」の一例)と称する。図7乃至図11に示す画面変化例では、時刻tb1から時刻tb5までの期間が、選択確定期間に該当する場合を、例示している。
また、本実施形態では、図11に示すように、選択確定期間において、ゲージ画像GBが、仮想空間SP-V内に配置された仮想的な物体として視認画像GSに表示される。
例えば、図12に示す例では、選択確定期間が開始される時刻tb1において、ゲージ画像GBの全てが画像GB1で満たされる。そして、時刻tb2→時刻tb3→時刻tb4と時間が進行するのに従い、ゲージ画像GBにおける画像GB2の占める割合が増加する。その後、選択確定期間が終了する時刻tb5において、ゲージ画像GBの全てが画像GB2で満たされる。このため、図12に示す例において、HMD1を装着したユーザUは、ゲージ画像GBにより、選択確定期間の残り時間を視覚的に把握することができる。
なお、本実施形態では、選択確定期間の開始と同時にゲージ画像GBが表示されるが、本発明はこのような態様に限定されるものではない。例えば、ゲージ画像GBは、選択確定期間の開始時刻から一定の時間が経過した後に、表示されてもよい。
また、本実施形態では、図11に示すように、ゲージ画像GBは、仮想カメラCMから見て、ゲージ画像GBの少なくとも一部と、確定ボタンBtの少なくとも一部とが重なるような位置に表示されるが、本発明はこのような態様に限定されるものではない。例えば、ゲージ画像GBは、視認画像GSの任意の場所に表示されてもよい。
以下、図13及び図14を参照しながら、端末装置10の構成の一例について説明する。
表示制御部111は、姿勢情報取得部112の取得した姿勢情報Bに基づいて、仮想空間SP-Vにおける仮想カメラCMの姿勢を制御する。そして、表示制御部111は、仮想カメラCMによる撮像結果を表す画像情報DSを生成し、当該画像情報DSを表示部12に供給することで、表示部12に対して表示画像GHを表示させる。
特定部113は、仮想直線LCと交差した選択オブジェクトCBを選択対象オブジェクトとして特定する。
選択部114は、特定部113が選択対象オブジェクトとして特定した選択オブジェクトCBを選択する。
なお、本実施形態では、端末装置10を「情報処理装置」として把握するが、本発明はこのような態様に限定されるものではなく、端末装置10に設けられたプロセッサ1000を「情報処理装置」として把握してもよい。
プロセッサ1000は、例えば、CPU(Central Processing Unit)であり、メモリ1001に記憶された制御プログラムPRGを実行し、当該制御プログラムPRGに従って動作することで、制御部11として機能する。
角速度センサ1002は、上述のとおり、X軸角速度センサ、Y軸角速度センサ、及び、Z軸角速度センサを備え、姿勢情報生成部14として機能する。
表示装置1003及び入力装置1004は、例えば、タッチパネルであり、表示部12及び操作部13として機能する。なお、表示装置1003及び入力装置1004は、別体として構成されていてもよい。また、入力装置1004は、タッチパネル、操作ボタン、キーボード、ジョイスティック、及び、マウス等のポインティングデバイスの一部または全部を含む、1または複数の機器から構成されるものであってもよい。
以下、図15及び図16を参照しながら、端末装置10の動作の一例について説明する。
具体的には、表示制御部111は、ステップS100の初期化処理において、仮想空間SP-Vにおける、選択オブジェクトCB、確定ボタンBt、掲示板Bd、キャラクタV、及び、環境構成物Ev等を、仮想空間SP-V内の所定の位置、または、仮想空間SP-V内のランダムな位置に配置する。また、表示制御部111は、ステップS100の初期化処理において、仮想空間SP-Vにおける仮想カメラCMの姿勢を、所定の初期姿勢に設定する。
なお、表示制御部111は、ステップS102において、基準時刻t0における装置座標系ΣSを、基準装置座標系ΣS0として定める。また、表示制御部111は、ステップS102において、HMD1を装着したユーザUから見て、カメラ座標系ΣCの各座標軸の方向が、装置座標系ΣSの各座標軸の方向と等しくなるように、カメラ座標系ΣCを設定する。そして、表示制御部111は、ステップS102において、基準時刻t0におけるカメラ座標系ΣCを、基準カメラ座標系ΣC0として定める。なお、以下では、基準時刻t0における仮想直線LCを、基準直線LC0と称する。
なお、本実施形態において、表示制御部111は、一例として、姿勢変化dBを、基準装置座標系ΣS0から見た回転軸WSと、当該回転軸WS周りの角度θWと、により表現することとする。すなわち、本実施形態において、基準装置座標系ΣS0から見てHMD1が回転軸WS周りに角度θWだけ回転した場合、姿勢変化dBが、基準装置座標系ΣS0における回転軸WSを示す方向ベクトルと、角度θWを示す値と、を含むこととする。
但し、姿勢変化dBは、他の任意の表現方法により表現されるものであってもよい。例えば、姿勢変化dBは、基準装置座標系ΣS0から装置座標系ΣSへの姿勢変化を示す、姿勢変換行列により表現されるものであってもよいし、基準装置座標系ΣS0から装置座標系ΣSへの姿勢変化を示す、クォータニオンにより表現されるものであってもよい。
具体的には、ステップS108において、表示制御部111は、まず、ステップS106で算出した姿勢変化dBの示す回転軸WSに基づいて、回転軸WCを設定し、また、当該姿勢変化dBの示す角度θWに基づいて、角度θCを設定する。次に、表示制御部111は、カメラ座標系ΣCを、基準カメラ座標系ΣC0を回転軸WC周りに角度θCだけ回転させた座標系として設定することで、仮想カメラCMの姿勢を決定する。すなわち、表示制御部111は、ステップS108において、仮想直線LCを、基準直線LC0を回転軸WC周りに角度θCだけ回転させた直線として設定する。
例えば、HMD1が、基準姿勢から、ZS軸周りのヨー方向QZに対して角度θWだけ回転した場合、表示制御部111は、カメラ座標系ΣCを、基準カメラ座標系ΣC0をZC軸周りに角度θWだけ回転させた姿勢を有する座標系として決定することで、仮想カメラCMの姿勢を決定する。
また、例えば、HMD1が、基準姿勢から、YS軸周りのピッチ方向QYに対して角度θWだけ回転した場合、表示制御部111は、カメラ座標系ΣCを、基準カメラ座標系ΣC0をYC軸周りに角度θWだけ回転させた姿勢を有する座標系として決定することで、仮想カメラCMの姿勢を決定する。
また、例えば、HMD1が、基準姿勢から、XS軸周りのロール方向QXに対して角度θWだけ回転した場合、表示制御部111は、カメラ座標系ΣCを、基準カメラ座標系ΣC0をXC軸周りに角度θWだけ回転させた姿勢を有する座標系として決定することで、仮想カメラCMの姿勢を決定する。
そして、表示制御部111は、特定部113がステップS114において選択対象オブジェクトとして特定した選択オブジェクトCB[k]の色彩を、選択対象オブジェクトであることを表す色彩に設定する(S116)。
そして、表示制御部111は、特定部113がステップS118において、選択対象オブジェクトとしての特定を解除した選択オブジェクトCB[k]の色彩を、選択対象オブジェクトでは無いことを表す色彩に設定する(S120)。
ステップS130における判定の結果が否定の場合、選択部114は、処理をステップS122に進める。
ステップS132における判定の結果が肯定の場合、選択部114は、選択オブジェクトCB[1]~CB[K]のうち、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択し(S134)、その後、処理をステップS122に進める。
ステップS132における判定の結果が否定の場合、表示制御部111は、仮想空間SP-Vに対してゲージ画像GBを配置し(S136)、その後、処理をステップS122に進める。
そして、表示制御部111は、ステップS124における判定の結果が否定の場合、処理をステップS104に進め、ステップS124における判定の結果が肯定の場合、表示処理を終了させる。
以上において説明したように、本実施形態において、表示制御部111は、仮想直線LCの延在方向を、HMD1の姿勢変化を示す姿勢情報Bに基づいて定める。そして、本実施形態において、特定部113は、仮想直線LCと選択オブジェクトCBとの位置関係に基づいて、選択オブジェクトCBを選択対象オブジェクトとして特定する。また、本実施形態において、選択部114は、仮想直線LCと確定ボタンBtとの位置関係に基づいて、選択対象オブジェクトとして特定されている選択オブジェクトCBを選択する。
このため、本実施形態によれば、HMD1を装着したユーザUは、HMD1の姿勢を変化させることで、仮想空間SP-Vにおける仮想カメラCMの姿勢を変化させることの他に、選択オブジェクトCBを選択対象オブジェクトとして特定すること、及び、選択対象オブジェクトとして特定されている選択オブジェクトCBを選択することが可能となる。すなわち、本実施形態によれば、HMD1を装着したユーザUは、HMD1の姿勢を変化させることで、多様な指示を入力することが可能となる。
このため、本実施形態によれば、例えば、選択オブジェクトCBが選択対象オブジェクトとして特定されているか否かに関わらず、当該選択オブジェクトCBと仮想直線LCとが交差した場合に、当該選択オブジェクトCBが選択される態様(参考例1)と比較して、HMD1を装着したユーザUの意思に反して誤って選択オブジェクトCBが選択される可能性を低減することができる。
このため、本実施形態によれば、HMD1を装着したユーザUが、複数の選択オブジェクトCBを選択しようとする場合において、例えば、当該複数の選択オブジェクトCBのそれぞれに対して、仮想直線LCを時間長ΔT1だけ交差させることで、当該複数の選択オブジェクトCBを選択する態様(参考例2)と比較して、複数の選択オブジェクトCBを短時間で選択することが可能となる。これにより、本実施形態によれば、選択しようとする選択オブジェクトCBの個数が多くなる場合であっても、参考例2と比較して、HMD1を装着したユーザUにかかる負荷が増大する程度を抑制することが可能となる。
このため、本実施形態によれば、HMD1を装着したユーザUは、各選択オブジェクトCBが選択対象オブジェクトとして特定されているか否かを、容易に把握することが可能となる。
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下に例示する変形例において作用や機能が実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
上述した実施形態において、特定部113は、仮想直線LCと選択オブジェクトCBとが交差した場合、仮想直線LCと選択オブジェクトCBとの交差の継続時間に関わらずに、当該選択オブジェクトCBを特定するが、本発明はこのような態様に限定されるものではない。例えば、特定部113は、仮想直線LCと選択オブジェクトCBとが、予め定められた時間長に亘り交差を継続する場合に、当該選択オブジェクトCBを特定してもよい。
また、本変形例において、表示制御部111は、図17に例示するように、仮想直線LCと選択オブジェクトCBとが交差を開始してから時間長ΔT2が経過するまでの交差期間において、当該選択オブジェクトCBに応じた位置にゲージ画像GCを配置する。
なお、本変形例において、ゲージ画像GCは、ゲージ画像GBと同様に、交差期間の残り時間を視覚的に把握可能な表示態様を有する画像であってもよい。例えば、ゲージ画像GCは、現在時刻から交差期間の終了時刻までの時間長を示す画像GC1と、交差期間の開始時刻から現在時刻までの時間長を示す画像GC2と、の少なくとも一方を含む画像であってもよい。
また、本変形例では、ゲージ画像GCが、交差期間の開始と同時に、視認画像GSにおいて表示が開始される場合を想定する。但し、ゲージ画像GCは、交差期間の開始から一定の時間が経過後に、表示されてもよい。
上述した実施形態及び変形例1において、表示制御部111は、選択確定期間における選択オブジェクトCB[k]を、選択確定期間が開始される前の選択オブジェクトCB[k]と同一の表示態様により表示するが、本発明はこのような態様に限定されるものではない。表示制御部111は、選択確定期間における選択オブジェクトCB[k]を、選択確定期間が開始される前の選択オブジェクトCB[k]とは異なる表示態様により、表示してもよい。
図18に示すように、表示制御部111は、時刻tb1から時刻tb5までの選択確定期間における選択オブジェクトCB[k]を、時刻t1から時刻t4までの期間における当該選択オブジェクトCB[k]とは異なる表示態様により表示する。具体的には、表示制御部111は、選択オブジェクトCB[k]が選択対象オブジェクトとして特定されている場合、選択確定期間における選択オブジェクトCB[k]を、選択確定期間が開始される前の選択オブジェクトCB[k]よりも視認されやすい態様で表示する。ここで、「視認されやすい態様で表示する」とは、例えば、選択オブジェクトCB[k]の色彩を濃い色にすること、選択オブジェクトCB[k]の大きさを大きくすること、選択オブジェクトCB[k]の透明度を低くする(不透明にする)こと、及び、選択オブジェクトCB[k]の明度を高くする(明るい色で表示する)こと、の一部または全部を含む概念であってもよい。また、表示制御部111は、選択オブジェクトCB[k]が選択対象オブジェクトとして特定されていない場合、選択確定期間における選択オブジェクトCB[k]を、選択確定期間が開始される前の選択オブジェクトCB[k]よりも視認されにくい態様で表示する。ここで、「視認されにくい態様で表示する」とは、例えば、選択オブジェクトCB[k]の色彩を薄い色にすること、選択オブジェクトCB[k]の大きさを小さくすること、選択オブジェクトCB[k]の透明度を高くする(透明にする)こと、及び、選択オブジェクトCB[k]の明度を低くする(暗い色で表示する)こと、の一部または全部を含む概念であってもよい。
なお、本変形例において、表示制御部111は、選択確定期間が開始される際に、選択対象オブジェクトとして特定されている選択オブジェクトCBと、選択対象オブジェクトとして特定されていない選択オブジェクトCBとのうち、何れか一方の表示態様を変更してもよい。
上述した実施形態並びに変形例1及び2において、表示制御部111は、選択確定期間が開始される前の期間において、選択対象オブジェクトとして特定されない選択オブジェクトCB[k]の表示態様を変更しないが、本発明はこのような態様に限定されるものではない。表示制御部111は、選択確定期間が開始される前の期間において、選択対象オブジェクトとして特定されない選択オブジェクトCB[k]の表示態様を変更してもよい。
例えば、表示制御部111は、選択オブジェクトCB[1]~CB[K]の中から選択対象オブジェクトが最初に特定されたタイミングにおいて、選択対象オブジェクトとして特定されていない選択オブジェクトCB[k]の表示態様を変更してもよい。換言すれば、表示制御部111は、選択オブジェクトCB[1]~CB[K]の中から選択対象オブジェクトが最初に特定されたタイミングから、選択確定期間が終了するまでの選択前期間(「第2期間」の一例)における、選択対象オブジェクトとして特定されない選択オブジェクトCBの表示態様を、選択前期間の開始前における表示態様とは異なる表示態様としてもよい。
図19に示すように、表示制御部111は、選択オブジェクトCB[1]~CB[6]の中から、選択オブジェクトCB[2]が、最初の選択対象オブジェクトとして特定された時刻t2において、選択対象オブジェクトとして特定されていない選択オブジェクトCB[2]以外の選択オブジェクトCB[k]の表示態様を、時刻t1における表示態様よりも視認されにくい表示態様に変更する。これにより、本変形例によれば、HMD1を装着したユーザUが、選択対象オブジェクトとして特定されている選択オブジェクトCBを容易に把握することが可能となる。
上述した実施形態及び変形例1乃至3において、選択部114は、仮想直線LC及び確定ボタンBtが時間長ΔT1に亘り交差を継続するという選択条件が充足される場合に、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択するが、本発明はこのような態様に限定されるものではない。例えば、選択部114は、仮想直線LC及び選択オブジェクトCBが時間長ΔT1に亘り交差を継続する場合に、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択してもよい。すなわち、選択条件は、仮想直線LC及び選択オブジェクトCBが時間長ΔT1に亘り交差を継続するという条件であってもよい。
また、本変形例において、表示制御部111は、図20に示すように、仮想直線LC及び選択オブジェクトCBが時間長ΔT2よりも長く交差を継続させる場合、当該選択オブジェクトCBに応じた位置にゲージ画像GBを表示させる。なお、時間長ΔT2は、時間長ΔT1よりも短い時間長である。そして、本変形例において、選択部114は、仮想直線LC及び選択オブジェクトCBが時間長ΔT1に亘り交差を継続させる場合、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択する。
また、本変形例によれば、視認画像GSにおいて、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択するための確定ボタンBtを表示させる必要が無い。このため、本変形例によれば、視認画像GSにおいて確定ボタンBtが表示される態様と比較して、視認画像GSの表示を簡潔にすることができる。
上述した実施形態及び変形例1乃至4において、選択部114は、仮想直線LCと、確定ボタンBtまたは選択オブジェクトCBとが、交差するという選択条件が充足される場合に、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択するが、本発明はこのような態様に限定されるものではない。例えば、選択部114は、姿勢情報Bに関連する所定の姿勢条件(「所定条件」の他の例)が充足される場合に、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択してもよい。
本変形例では、選択確定期間において、HMD1が基準姿勢からロール方向QXに角度θth以上回転するため、カメラ座標系ΣCも基準カメラ座標系ΣC0からロール方向QCXに角度θth以上回転する。このため、本変形例では、選択確定期間において、図21に示すように、表示制御部111は、表示部12に対して、仮想空間SP-Vを、XC軸周りに角度θth以上傾いた態様で表示することになる。すなわち、本変形例において、HMD1を装着したユーザUは、仮想空間SP-Vが表示部12においてXC軸周りに角度θth以上傾いて表示される状態を、時間長ΔT1以上継続させることで、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択することができる。
なお、本変形例では、仮想空間SP-Vにおいて、確定ボタンBtが存在しなくてもよい。また、本変形例では、選択確定期間において、仮想空間SP-Vにゲージ画像GBを表示してもよい。
また、本変形例によれば、視認画像GSにおいて、選択対象オブジェクトとして特定されている1または複数の選択オブジェクトCBを選択するための確定ボタンBtを表示させる必要が無い。このため、本変形例によれば、視認画像GSにおいて確定ボタンBtが表示される態様と比較して、視認画像GSの表示を簡潔にすることができる。
上述した実施形態及び変形例1乃至4において、特定部113は、仮想直線LCと、選択オブジェクトCBとが交差した場合に、当該選択オブジェクトCBを選択対象オブジェクトとして特定するが、本発明はこのような態様に限定されるものではない。例えば、特定部113は、仮想直線LCと、選択オブジェクトCBとが交差した場合であっても、姿勢情報Bに関する所定の特定回避条件が充足される場合においては、当該選択オブジェクトCBを選択対象オブジェクトとして特定しないこととしてもよい。
図22に示すように、HMD1を装着したユーザUは、時刻t3において、HMD1がロール回転状態となるように、HMD1をロール方向QXに角度θth以上傾ける。このため、特定部113は、時刻t3において、仮想直線LC[t3]と選択オブジェクトCB[3]とが交差している場合であっても、当該選択オブジェクトCB[3]が選択対象オブジェクトとして特定されることを回避する。
その後、図23に示すように、HMD1を装着したユーザUは、時刻t4において、HMD1をロール方向QXに角度θth未満の角度だけ傾けた状態(以下、「非ロール回転状態」と称する)とする。このため、特定部113は、時刻t4において、仮想直線LC[t4]と交差する選択オブジェクトCB[6]を選択対象オブジェクトとして特定する。
このため、本変形例によれば、例えば、仮想空間SP-Vにおいて、複数の選択オブジェクトCB[1]~CB[K]が密集して配置されている場合であっても、HMD1を装着したユーザUは、選択対象オブジェクトとして選択するつもりのない選択オブジェクトCBが、誤って選択対象オブジェクトとして特定されることを、容易に回避することが可能となる。
上述した実施形態及び変形例1乃至5において、特定部113は、仮想直線LCと選択オブジェクトCBとが交差した場合に、当該選択オブジェクトCBを特定するが、本発明はこのような態様に限定されるものではない。特定部113は、仮想直線LCと選択オブジェクトCBとの交点の軌跡PLが、所定の軌跡条件を充足する場合に限り、当該選択オブジェクトCBを選択対象オブジェクトとして特定してもよい。
ここで、軌跡条件とは、軌跡PLに関する幾何的な条件であれば、どのような条件であってもよい。
なお、図24及び図25では、時刻tk1において、仮想直線LCと選択オブジェクトCB[k]との交差が開始され、時刻tk2において、仮想直線LCと選択オブジェクトCB[k]との交差が終了する場合を例示している。また、図24及び図25では、時刻tk1と時刻tk2との間の時間を、時刻tkと表現している。また、図24及び図25では、軌跡PLのうち、時刻tk1を含む所定時間における軌跡PLを、軌跡PL[tk1]と表現し、時刻tk2を含む所定時間における軌跡PLを、軌跡PL[tk2]と表現し、時刻tk1から時刻tkまでの軌跡PLを、軌跡PL[tk1][tk]と表現し、時刻tkから時刻tk2までの軌跡PLを、軌跡PL[tk][tk2]と表現している。
以下、図24及び図25を参照しつつ、軌跡条件を幾つか例示して説明する。
また、本変形例において、軌跡条件は、例えば、図24に示すように、時刻tk1における仮想直線LC[tk1]と、時刻tk2における仮想直線LC[tk2]との間隔DCが、所定の基準距離以下であるという条件であってもよい。
また、本変形例において、軌跡条件は、例えば、図24に示すように、時刻tk1における仮想直線LC[tk1]及び選択オブジェクトCB[k]の交点と、時刻tk2における仮想直線LC[tk2]及び選択オブジェクトCB[k]の交点とが、選択オブジェクトCBが有する複数の辺のうち、同一の辺、例えば、+ZV側の辺に位置するという条件であってもよい。
また、本変形例において、軌跡条件は、例えば、図25に示すように、軌跡PL[tk1][tk]と軌跡PL[tk][tk2]とが交差するという条件であってもよい。
上述した実施形態及び変形例1乃至7において、姿勢情報Bは、端末装置10の姿勢変化の検出結果を示すが、本発明はこのような態様に限定されるものではない。姿勢情報Bは、例えば、地上に固定された座標系から見た端末装置10の姿勢を示す情報であってもよい。
この場合、姿勢情報生成部14は、例えば、加速度センサ、及び、地磁気センサの一方または双方を含んで構成されていてもよい。また、この場合、姿勢情報Bは、例えば、HMD1の外部に設けられ、HMD1を撮像する撮像装置から出力される画像を示す情報であってもよい。
上述した実施形態及び変形例1乃至8において、情報処理装置は、HMD1に設けられるが、情報処理装置は、HMD1とは別個に設けられてもよい。
図26に示すように、情報処理システムSYSは、情報処理装置20と、情報処理装置20と通信可能なヘッドマウントディスプレイ1Aと、を備える。このうち、情報処理装置20は、例えば、制御部11と、操作部13と、記憶部15とを備えてもよい。また、ヘッドマウントディスプレイ1Aは、表示部12と、姿勢情報生成部14とに加え、ヘッドマウントディスプレイ1Aを装着したユーザUによる操作を受け付ける操作部31と、各種情報を記憶する記憶部32と、を備えてもよい。
上述した実施形態及び変形例1乃至9において、仮想直線LCは、仮想カメラCMの光軸を表すが、本発明はこのような態様に限定されるものではない。
例えば、HMD1が、HMD1を装着したユーザUの視線の方向を計測するアイトラッキング機能を有する場合、当該アイトラッキング機能により計測されたユーザUの視線を仮想直線LCとしてもよい。
以上の記載から、本発明は例えば以下のように把握される。なお、各態様の理解を容易にするために、以下では、図面の参照符号を便宜的に括弧書きで付記するが、本発明を図示の態様に限定する趣旨ではない。
本発明の一態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、前記複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係を有する場合に、前記一の選択オブジェクトを特定する特定部と、前記特定部が、前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、前記姿勢情報に関連する所定条件が満たされるときに、前記1または複数の選択オブジェクトを選択する選択部と、して機能させる、ことを特徴とする。
このため、本態様によれば、ヘッドマウントディスプレイを装着したユーザは、ヘッドマウントディスプレイの姿勢に基づいて、1または複数の選択オブジェクトを選択することができる。これにより、本態様によれば、ヘッドマウントディスプレイの姿勢に基づいて、仮想カメラの姿勢を変化させる操作と、仮想カメラの姿勢を変化させる操作以外の操作との両方を、実行することが可能となる。すなわち、本態様によれば、ヘッドマウントディスプレイの姿勢の変化により多様な指示を入力することが可能となる。
これに対して、本態様によれば、所望の選択オブジェクトが特定されている場合に、当該選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、所望の選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減させることが可能となる。
これに対して、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイを装着したユーザは、仮想線と当該2以上の選択オブジェクトの各々とが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させ、その後、所定条件が満たされるように、ヘッドマウントディスプレイの姿勢を変化させることで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。これにより、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合であっても、ヘッドマウントディスプレイを装着したユーザにかかる負荷が増大する程度を抑制することが可能となる。
ここで、「姿勢情報に応じた方向を有する仮想線に係る条件」とは、例えば、姿勢情報に応じた方向を有する仮想線と、仮想空間に配置された仮想的なオブジェクトである所定オブジェクトとが、所定の位置関係を有するという条件であってもよい。また、「姿勢情報に応じた方向を有する仮想線に係る条件」とは、例えば、姿勢情報に応じた方向を有する仮想線と、仮想空間に配置された仮想的なオブジェクトである所定オブジェクトとが、所定の時間長を有する第1期間において、所定の位置関係を維持するという条件であってもよい。また、「姿勢情報に応じた方向を有する仮想線に係る条件」とは、例えば、姿勢情報に応じた方向を有する仮想線と、特定部により特定される一の選択オブジェクトとが、所定の時間長を有する第1期間において、所定の位置関係を維持するという条件であってもよい。
また、「姿勢情報の示すヘッドマウントディスプレイの姿勢に係る条件」とは、例えば、姿勢情報の示すヘッドマウントディスプレイの姿勢が、所定の基準軸を中心に、基準姿勢から所定角度以上回転した姿勢であるという条件であってもよい。
また、「姿勢情報の示すヘッドマウントディスプレイの姿勢の変化に係る条件」とは、例えば、姿勢情報の示すヘッドマウントディスプレイの姿勢が、所定の基準軸を中心に、所定角度以上回転するという条件であってもよい。
本発明の他の態様に係る情報処理装置のプログラムは、付記1に記載の情報処理装置のプログラムであって、前記選択部は、前記仮想線と、前記仮想空間に配置された所定オブジェクトとが、前記所定の位置関係を有する場合に、前記1または複数の選択オブジェクトを選択する、ことを特徴とする。
また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイを装着したユーザは、仮想線と当該2以上の選択オブジェクトの各々とが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させ、その後、仮想線と所定オブジェクトとが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させることで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
本発明の他の態様に係る情報処理装置のプログラムは、付記1に記載の情報処理装置のプログラムであって、前記選択部は、前記姿勢情報の示す前記ヘッドマウントディスプレイの姿勢が、所定の基準軸を中心に、基準姿勢から所定角度以上回転した姿勢である場合に、前記1または複数の選択オブジェクトを選択する、ことを特徴とする。
また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイを装着したユーザは、仮想線と当該2以上の選択オブジェクトの各々とが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させ、その後、所定の基準軸を中心に所定角度以上回転するように、ヘッドマウントディスプレイの姿勢を変化させることで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
本発明の他の態様に係る情報処理装置のプログラムは、付記1に記載の情報処理装置のプログラムであって、前記選択部は、前記仮想線と、前記仮想空間に配置された所定オブジェクトとが、第1期間において、前記所定の位置関係を維持する場合に、前記1または複数の選択オブジェクトを選択する、ことを特徴とする。
また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイを装着したユーザは、仮想線と当該2以上の選択オブジェクトの各々とが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させ、その後、仮想線と所定オブジェクトとが第1期間において所定の位置関係を維持するように、ヘッドマウントディスプレイの姿勢を制御することで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
本発明の他の態様に係る情報処理装置のプログラムは、付記1に記載の情報処理装置のプログラムであって、前記選択部は、前記仮想線と、前記一の選択オブジェクトとが、第1期間において、前記所定の位置関係を維持する場合に、前記1または複数の選択オブジェクトを選択する、ことを特徴とする。
また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイを装着したユーザは、仮想線と当該2以上の選択オブジェクトの各々とが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させ、その後、仮想線と2以上の選択オブジェクトのうち一の選択オブジェクトとが第1期間において所定の位置関係を維持するように、ヘッドマウントディスプレイの姿勢を制御することで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至5に記載の情報処理装置のプログラムであって、前記選択部は、前記複数の選択オブジェクトの中から、M個(Mは、1以上の自然数)の選択オブジェクトが選択されるべき場合において、前記複数の選択オブジェクトのうち、前記特定部がM番目に特定した選択オブジェクトと、前記仮想線とが、第1期間において、前記所定の位置関係を維持するときに、前記特定部により特定された前記M個の選択オブジェクトを選択する、ことを特徴とする。
また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイを装着したユーザは、仮想線と当該2以上の選択オブジェクトの各々とが所定の位置関係を有するように、ヘッドマウントディスプレイの姿勢を変化させ、その後、仮想線と2以上の選択オブジェクトのうち最後(M番目)に特定された選択オブジェクトとが、第1期間において所定の位置関係を維持するように、ヘッドマウントディスプレイの姿勢を制御することで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
本発明の他の態様に係る情報処理装置のプログラムは、付記4乃至6に記載の情報処理装置のプログラムであって、前記特定部は、前記仮想線と、前記一の選択オブジェクトとが、前記所定の位置関係を有する場合、または、前記仮想線と、前記一の選択オブジェクトとが、前記第1期間の時間長よりも短い基準時間に亘り、前記所定の位置関係を維持する場合に、前記一の選択オブジェクトを特定する、ことを特徴とする。
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至7に記載の情報処理装置のプログラムであって、前記特定部は、前記仮想線と、前記一の選択オブジェクトとが、前記所定の位置関係を有する場合であって、前記姿勢情報の示す前記ヘッドマウントディスプレイの姿勢が、所定の姿勢を有する場合に、前記一の選択オブジェクトを特定し、前記仮想線と、前記一の選択オブジェクトとが、前記所定の位置関係を有する場合であって、前記姿勢情報の示す前記ヘッドマウントディスプレイの姿勢が、前記所定の姿勢を有さない場合に、前記一の選択オブジェクトを特定しない、ことを特徴とする。
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至8に記載の情報処理装置のプログラムであって、前記表示制御部は、前記特定部が、前記複数の選択オブジェクトの中から、最初に選択オブジェクトを特定した後であって、前記選択部が、前記1または複数の選択オブジェクトを選択するまでの、第2期間における、前記複数の選択オブジェクトのうち、前記特定部により特定されていない他の選択オブジェクトの、前記表示部における表示態様と、前記第2期間が開始される前における、前記他の選択オブジェクトの、前記表示部における表示態様とを、互いに異ならせる、ことを特徴とする。
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至9に記載の情報処理装置のプログラムであって、前記表示制御部は、前記特定部が、前記一の選択オブジェクトを特定した後における、前記一の選択オブジェクトの、前記表示部における表示態様と、前記特定部が、前記一の選択オブジェクトを特定する前における、前記一の選択オブジェクトの、前記表示部における表示態様とを、互いに異ならせる、ことを特徴とする。
本発明の他の態様に係る情報処理装置のプログラムは、付記4乃至7に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第1期間が開始される前の期間における、前記複数の選択オブジェクトのうち少なくとも一部の選択オブジェクトの、前記表示部における表示態様と、前記第1期間の一部または全部の期間における、前記少なくとも一部の選択オブジェクトの、前記表示部における表示態様とを、互いに異ならせる、ことを特徴とする。
本発明の一態様に係る情報処理装置は、複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、前記複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係を有する場合に、前記一の選択オブジェクトを特定する特定部と、前記特定部が、前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、前記姿勢情報に関連する所定条件が満たされるときに、前記1または複数の選択オブジェクトを選択する選択部と、を備える、ことを特徴とする。
また、本態様によれば、所望の選択オブジェクトが特定されている場合に、当該選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、所望の選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減させることが可能となる。
また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイの姿勢を変化させることで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
本発明の一態様に係るヘッドマウントディスプレイは、表示部と、情報処理装置と、を具備するヘッドマウントディスプレイであって、前記情報処理装置は、複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、前記表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、前記複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係を有する場合に、前記一の選択オブジェクトを特定する特定部と、前記特定部が、前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、前記姿勢情報に関連する所定条件が満たされるときに、前記1または複数の選択オブジェクトを選択する選択部と、を備える、ことを特徴とする。
また、本態様によれば、所望の選択オブジェクトが特定されている場合に、当該選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、所望の選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減させることが可能となる。
また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイの姿勢を変化させることで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
本発明の一態様に係る情報処理システムは、表示部を有するヘッドマウントディスプレイと、情報処理装置と、を具備する情報処理システムであって、前記情報処理装置は、複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、前記表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、前記複数の選択オブジェクトのうち一の選択オブジェクトが、所定の位置関係を有する場合に、前記一の選択オブジェクトを特定する特定部と、前記特定部が、前記複数の選択オブジェクトのうち1または複数の選択オブジェクトを特定した場合、前記姿勢情報に関連する所定条件が満たされるときに、前記1または複数の選択オブジェクトを選択する選択部と、を備える、ことを特徴とする。
また、本態様によれば、所望の選択オブジェクトが特定されている場合に、当該選択オブジェクトが選択される。このため、本態様によれば、参考例1と比較して、所望の選択オブジェクトとは異なる選択オブジェクトが誤って選択される可能性を低減させることが可能となる。
また、本態様によれば、複数の選択オブジェクトの中から2以上の選択オブジェクトを選択する場合であっても、ヘッドマウントディスプレイの姿勢を変化させることで、当該2以上の選択オブジェクトを選択することができる。このため、本態様によれば、参考例2と比較して、選択すべき選択オブジェクトの個数が多くなる場合における、選択に要する時間の長期化の程度を抑制することができる。
Claims (13)
- プロセッサを具備する情報処理装置のプログラムであって、
前記プロセッサを、
複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、
両眼視差を利用した立体視画像を、
ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、
前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、
前記複数の選択オブジェクトのうち一の選択オブジェクトが、
所定の位置関係を有する場合に、
前記一の選択オブジェクトの状態を特定状態とする特定部と、
前記特定部が、
前記複数の選択オブジェクトのうち2以上の選択オブジェクトを前記特定状態とした場合、
前記姿勢情報に関連する所定条件が満たされるときに、
前記特定部が特定した選択オブジェクトを選択する選択部と、
して機能させ、
前記特定部は、
前記一の選択オブジェクトの状態を特定状態とした後に、
前記一の選択オブジェクトと前記仮想線が前記所定の位置関係を有しなくなった場合も、
前記一の選択オブジェクトの状態を前記特定状態に維持し、時間の経過により前記特定状態を解除させない、
ことを特徴とする
情報処理装置のプログラム。 - 前記選択部は、
前記仮想線と、前記仮想空間に配置された、前記特定部により特定された選択オブジェクトを選択するための所定オブジェクトとが、
前記所定の位置関係を有する場合に、
前記特定部により特定された選択オブジェクトを選択する、ことを特徴とする、請求項1に記載の情報処理装置のプログラム。 - 前記選択部は、
前記姿勢情報の示す前記ヘッドマウントディスプレイの姿勢が、
所定の基準軸を中心に、基準姿勢から所定角度以上回転した姿勢である場合に、
前記特定部により特定された選択オブジェクトを選択する、
ことを特徴とする、請求項1に記載の情報処理装置のプログラム。 - 前記選択部は、
前記仮想線と、前記仮想空間に配置された、前記特定部が特定した選択オブジェクトを選択するための所定オブジェクトとが、
第1期間において、前記所定の位置関係を維持する場合に、
前記特定部により特定された選択オブジェクトを選択する、
ことを特徴とする、請求項1に記載の情報処理装置のプログラム。 - 前記選択部は、
前記仮想線と、前記一の選択オブジェクトとが、
第1期間において、前記所定の位置関係を維持する場合に、
前記特定部により特定された選択オブジェクトを選択する、
ことを特徴とする、請求項1に記載の情報処理装置のプログラム。 - 前記選択部は、
前記複数の選択オブジェクトの中から、
M個(Mは、2以上の自然数)の選択オブジェクトが選択されるべき場合において、
前記複数の選択オブジェクトのうち、前記特定部がM番目に特定した選択オブジェクトと、
前記仮想線とが、
第1期間において、前記所定の位置関係を維持するときに、
前記特定部により特定された前記M個の選択オブジェクトを選択する、
ことを特徴とする、請求項1または5に記載の情報処理装置のプログラム。 - 前記特定部は、
前記仮想線と、前記一の選択オブジェクトとが、
前記所定の位置関係を有する場合であって、
前記姿勢情報の示す前記ヘッドマウントディスプレイの姿勢が、
所定の姿勢を有する場合に、
前記一の選択オブジェクトを特定し、
前記仮想線と、前記一の選択オブジェクトとが、
前記所定の位置関係を有する場合であって、
前記姿勢情報の示す前記ヘッドマウントディスプレイの姿勢が、
前記所定の姿勢を有さない場合に、
前記一の選択オブジェクトを特定しない、
ことを特徴とする、請求項1乃至6のうち何れか1項に記載の情報処理装置のプログラム。 - 前記表示制御部は、
前記特定部が、前記複数の選択オブジェクトの中から、最初に選択オブジェクトを特定した後であって、
前記選択部が、前記特定部により特定された選択オブジェクトを選択するまでの、第2期間における、前記複数の選択オブジェクトのうち、 前記特定部により特定されていない他の選択オブジェクトの、
前記表示部における表示態様と、
前記第2期間が開始される前における、
前記他の選択オブジェクトの、
前記表示部における表示態様とを、
互いに異ならせる、
ことを特徴とする、請求項1乃至7のうち何れか1項に記載の情報処理装置のプログラム。 - 前記表示制御部は、
前記特定部が、前記一の選択オブジェクトを特定した後における、
前記一の選択オブジェクトの、
前記表示部における表示態様と、
前記特定部が、前記一の選択オブジェクトを特定する前における、
前記一の選択オブジェクトの、
前記表示部における表示態様とを、
互いに異ならせる、
ことを特徴とする、請求項1乃至8のうち何れか1項に記載の情報処理装置のプログラム。 - 前記表示制御部は、
前記第1期間が開始される前の期間における、
前記複数の選択オブジェクトのうち少なくとも一部の選択オブジェクトの、
前記表示部における表示態様と、
前記第1期間の一部または全部の期間における、
前記少なくとも一部の選択オブジェクトの、
前記表示部における表示態様とを、
互いに異ならせる、
ことを特徴とする、請求項4乃至6のうち何れか1項に記載の情報処理装置のプログラム。 - 複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、
両眼視差を利用した立体視画像を、
ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、
前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、
前記複数の選択オブジェクトのうち一の選択オブジェクトが、
所定の位置関係を有する場合に、
前記一の選択オブジェクトの状態を特定状態とする特定部と、
前記特定部が、
前記複数の選択オブジェクトのうち2以上の選択オブジェクトを前記特定状態とした場合、
前記姿勢情報に関連する所定条件が満たされるときに、
前記特定部により特定された選択オブジェクトを選択する選択部と、
を備え、
前記特定部は、
前記一の選択オブジェクトの状態を特定状態とした後に、
前記一の選択オブジェクトと前記仮想線が前記所定の位置関係を有しなくなった場合も、
前記一の選択オブジェクトの状態を前記特定状態に維持し、時間の経過により前記特定状態を解除させない、
ことを特徴とする、情報処理装置。 - 表示部と、情報処理装置と、を具備するヘッドマウントディスプレイであって、
前記情報処理装置は、
複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、
両眼視差を利用した立体視画像を、
前記表示部に表示させる表示制御部と、
前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、
前記複数の選択オブジェクトのうち一の選択オブジェクトが、
所定の位置関係を有する場合に、
前記一の選択オブジェクトの状態を特定状態とする特定部と、
前記特定部が、
前記複数の選択オブジェクトのうち2以上の選択オブジェクトを前記特定状態とした場合、
前記姿勢情報に関連する所定条件が満たされるときに、
前記特定部により特定された選択オブジェクトを選択する選択部と、
を備え、
前記特定部は、
前記一の選択オブジェクトの状態を特定状態とした後に、
前記一の選択オブジェクトと前記仮想線が前記所定の位置関係を有しなくなった場合も、
前記一の選択オブジェクトの状態を前記特定状態に維持し、時間の経過により前記特定状態を解除させない、
ことを特徴とする、ヘッドマウントディスプレイ。 - 表示部を有するヘッドマウントディスプレイと、情報処理装置と、を具備する情報処理システムであって、
前記情報処理装置は、
複数の選択オブジェクトが配置された仮想空間を仮想カメラで撮像した画像であって、
両眼視差を利用した立体視画像を、
前記表示部に表示させる表示制御部と、
前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
前記姿勢情報に応じた方向を有し前記仮想カメラと交差する仮想線、及び、
前記複数の選択オブジェクトのうち一の選択オブジェクトが、
所定の位置関係を有する場合に、
前記一の選択オブジェクトの状態を特定状態とする特定部と、
前記特定部が、
前記複数の選択オブジェクトのうち2以上の選択オブジェクトを前記特定状態とした場合、
前記姿勢情報に関連する所定条件が満たされるときに、
前記特定部により特定された選択オブジェクトを選択する選択部と、
を備え、
前記特定部は、
前記一の選択オブジェクトの状態を特定状態とした後に、
前記一の選択オブジェクトと前記仮想線が前記所定の位置関係を有しなくなった場合も、
前記一の選択オブジェクトの状態を前記特定状態に維持し、時間の経過により前記特定状態を解除させない、
ことを特徴とする、情報処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019202162A JP7078273B2 (ja) | 2019-11-07 | 2019-11-07 | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019202162A JP7078273B2 (ja) | 2019-11-07 | 2019-11-07 | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018055561A Division JP6623481B2 (ja) | 2018-03-23 | 2018-03-23 | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020030853A JP2020030853A (ja) | 2020-02-27 |
JP7078273B2 true JP7078273B2 (ja) | 2022-05-31 |
Family
ID=69624347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019202162A Active JP7078273B2 (ja) | 2019-11-07 | 2019-11-07 | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7078273B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182217A (ja) | 2016-03-28 | 2017-10-05 | 株式会社バンダイナムコエンターテインメント | シミュレーション制御装置及びシミュレーション制御プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH096473A (ja) * | 1995-06-21 | 1997-01-10 | Sharp Corp | 電子機器 |
JP2009205557A (ja) * | 2008-02-28 | 2009-09-10 | Sharp Corp | 携帯情報端末 |
JP2013149010A (ja) * | 2012-01-18 | 2013-08-01 | Alpine Electronics Inc | 車載機およびhtmlページ操作方法 |
JP5876607B1 (ja) * | 2015-06-12 | 2016-03-02 | 株式会社コロプラ | フローティング・グラフィカルユーザインターフェース |
JP6684559B2 (ja) * | 2015-09-16 | 2020-04-22 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
JP6518582B2 (ja) * | 2015-12-21 | 2019-05-22 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および操作受付方法 |
JP2017123006A (ja) * | 2016-01-06 | 2017-07-13 | 株式会社ジョリーグッド | 携帯情報端末及びプログラム |
JP6236691B1 (ja) * | 2016-06-30 | 2017-11-29 | 株式会社コナミデジタルエンタテインメント | 端末装置、及びプログラム |
JP6277567B1 (ja) * | 2016-11-21 | 2018-02-14 | 株式会社コナミデジタルエンタテインメント | 端末装置、及びプログラム |
-
2019
- 2019-11-07 JP JP2019202162A patent/JP7078273B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182217A (ja) | 2016-03-28 | 2017-10-05 | 株式会社バンダイナムコエンターテインメント | シミュレーション制御装置及びシミュレーション制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020030853A (ja) | 2020-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170076497A1 (en) | Computer program for directing line of sight | |
JP6236691B1 (ja) | 端末装置、及びプログラム | |
US7123214B2 (en) | Information processing method and apparatus | |
JP5757790B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び、情報処理方法 | |
JP6332652B1 (ja) | 表示制御装置、及びプログラム | |
JP6238381B1 (ja) | 端末装置、及びプログラム | |
CN111801146B (zh) | 信息处理装置、记录介质、头戴式显示器及信息处理系统 | |
KR102488903B1 (ko) | 정보 처리 장치, 기록 매체, 헤드 마운트 디스플레이 및 정보 처리 시스템 | |
US20240233299A9 (en) | Information processing apparatus and information processing method | |
JP7078273B2 (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム | |
US11178384B2 (en) | Information processing system, storage medium, information processing apparatus and information processing method | |
JP6707224B2 (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム | |
JP6388270B1 (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム | |
JP6623431B2 (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム | |
JP6159455B1 (ja) | 仮想空間を提供する方法、プログラム、および記録媒体 | |
JP7043711B2 (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム | |
US11285387B2 (en) | Storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method | |
JP2019175470A (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム | |
JP2020129383A (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム | |
JP6122194B1 (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP5200158B1 (ja) | ゲーム装置、制御装置、ゲーム制御方法、及びプログラム | |
JP2018092672A (ja) | 端末装置、及びプログラム | |
JP2018005946A (ja) | 端末装置、及びプログラム | |
WO2021255864A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN114202575A (zh) | 信息处理装置与方法、浏览装置以及计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191112 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191126 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191129 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200702 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201112 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201201 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210226 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210803 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211005 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20211029 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20211109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220106 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220329 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220412 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220510 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7078273 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |