JP7384576B2 - 表示制御装置、表示制御方法、及び表示制御プログラム - Google Patents

Description

本発明は、表示制御技術に関し、とくに、ヘッドマウントディスプレイへの表示を制御する表示制御装置、表示制御方法、及び表示制御プログラムに関する。

ユーザの頭部に装着されるヘッドマウントディスプレイに、仮想空間の画像を表示する技術が提供されている。通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、映像への没入感に欠けたりすることがある。その点、ヘッドマウントディスプレイを装着すると、ユーザはヘッドマウントディスプレイに表示される映像のみを見ることになるため、映像世界への没入感が一層高められる。

本発明者は、より多くのユーザ層がヘッドマウントディスプレイを用いた仮想現実を楽しむことができるようにするためには、より利便性の高い表示制御技術が必要であると認識した。

上記課題を解決するために、本発明のある態様の表示制御装置は、ヘッドマウントディスプレイに表示される仮想空間の画像を生成する画像生成部と、仮想空間の画像をヘッドマウントディスプレイに表示させる表示制御部と、ヘッドマウントディスプレイに表示された仮想空間における位置の選択指示を、ユーザにより使用される入力装置を介して受け付ける位置選択部と、を備える。位置選択部は、位置の選択指示をユーザから受け付ける際に、入力装置の画像をヘッドマウントディスプレイに表示させ、入力装置に備えられたタッチパッドに対する入力位置に応じて、選択可能な複数の位置の中から位置の選択指示を受け付ける。

本発明の別の態様は、表示制御方法である。この方法は、表示制御装置が、ヘッドマウントディスプレイに表示される仮想空間の画像を生成するステップと、仮想空間の画像をヘッドマウントディスプレイに表示させるステップと、ヘッドマウントディスプレイに表示された仮想空間における位置の選択指示を、ユーザにより使用される入力装置を介して受け付けるステップと、を備える。位置の選択指示をユーザから受け付ける際に、入力装置の画像をヘッドマウントディスプレイに表示させ、入力装置に備えられたタッチパッドに対する入力位置に応じて、選択可能な複数の位置の中から位置の選択指示を受け付ける。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイのユーザの利便性を向上させることができる。

実施の形態に係る表示制御システムの使用環境を示す図である。 実施の形態に係るヘッドマウントディスプレイの外観図である。 ヘッドマウントディスプレイの機能構成図である。 入力装置の外観図である。 表示制御装置の構成を示す図である。 表示制御装置の機能構成図である。 ヘッドマウントディスプレイに表示された表示画面の例を示す図である。 ヘッドマウントディスプレイに表示された表示画面の例を示す図である。 図８に示した位置選択指示受付画面の拡大図である。 位置選択指示受付画面の別の例を示す図である。 位置選択指示受付画面の別の例を示す図である。 実施の形態に係る表示制御方法の手順を示すフローチャートである。

本実施の形態では、ヘッドマウントディスプレイに表示された仮想空間における位置の選択指示をユーザから受け付けるためのユーザインタフェースについて説明する。選択可能な複数の位置の中から位置の選択指示をユーザから受け付けるために、ユーザにより使用される入力装置に備えられた十字キーやアナログスティックなどを利用することが考えられる。この場合、例えば、十字キーやアナログスティックによる入力ごとに、予め定められた順序にしたがって１つずつ位置の選択が切り替えられるので、現在選択されている位置から離れた位置を選択するためには何度も繰り返し入力を行う必要がある。また、十字キーを利用する場合は、現在選択されている位置から斜め方向にある別の位置を選択したいときに、いずれのキーを入力すべきかが分かりにくい場合がありうる。したがって、本実施の形態では、ユーザインタフェースの利便性を更に高めるために、入力装置に備えられたタッチパッドを利用し、タッチパッドに対する入力位置に応じて位置の選択指示を受け付ける。

しかし、ユーザは、ヘッドマウントディスプレイを装着している状態では、入力装置のタッチパッドを直接視認することができないので、タッチパッドに対する入力に慣れていない場合は、所望の位置に対応するタッチパッドの位置を精確にタッチするのが困難であり、結局何度も入力し直す必要があるという新たな課題が生じる。このような新たな課題を解決するために、本実施の形態では、ヘッドマウントディスプレイに入力装置の画像を表示することにより、ユーザが把持している入力装置を実際に見ながら入力しているような操作感を実現する。これにより、位置の選択が容易なユーザインタフェースを提供することができるので、ユーザの利便性を向上させることができる。

図１は、実施の形態に係る表示制御システム１の使用環境を示す。表示制御システム１は、表示制御プログラムを実行する表示制御装置１０と、ユーザの指示を表示制御装置１０に入力するための入力装置１６と、ユーザの周囲の実空間を撮像する撮像装置１４と、表示制御装置１０により生成される仮想空間の画像を表示するヘッドマウントディスプレイ１００を備える。

表示制御装置１０は、入力装置１６又はヘッドマウントディスプレイ１００により入力される指示入力や、入力装置１６又はヘッドマウントディスプレイ１００の位置又は姿勢などに基づいて表示制御プログラムを実行し、仮想空間の画像を生成してヘッドマウントディスプレイ１００に伝送する。

ヘッドマウントディスプレイ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ヘッドマウントディスプレイ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、表示制御装置１０は、レンズによる光学歪みを補正した視差画像データをヘッドマウントディスプレイ１００に供給する。

ヘッドマウントディスプレイ１００は、表示制御装置１０において生成された仮想空間の画像を表示する。また、ヘッドマウントディスプレイ１００に設けられた入力装置に対するユーザの入力に関する情報を表示制御装置１０へ伝送する。ヘッドマウントディスプレイ１００は、表示制御装置１０に有線ケーブルで接続されてもよく、また無線ＬＡＮなどにより無線接続されてもよい。

入力装置１６は、ユーザによる指示入力を表示制御装置１０に伝送する機能を有する。本実施の形態では、入力装置１６は表示制御装置１０との間で無線通信可能な無線コントローラとして構成される。入力装置１６と表示制御装置１０は、Bluetooth（登録商標）プロトコルを用いて無線接続を確立してもよい。なお入力装置１６は、無線コントローラに限らず、表示制御装置１０とケーブルを介して接続される有線コントローラであってもよい。入力装置１６はバッテリにより駆動され、表示制御装置１０への指示入力を行うための複数のボタン、十字キー、アナログスティック、タッチパッドなどを有して構成される。ユーザが入力装置１６のボタンなどを操作すると、その操作による指示入力が無線通信により表示制御装置１０に送信される。

撮像装置１４は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像装置１４は、ＵＳＢ（Universal Serial Bus）あるいはその他のインタフェースを介して表示制御装置１０と接続する。撮像装置１４により撮像された画像は、表示制御装置１０において、入力装置１６及びヘッドマウントディスプレイ１００の位置及び姿勢を導出するために用いられる。撮像装置１４は、距離を取得可能な測距カメラ又はステレオカメラであってもよい。この場合、撮像装置１４により、撮像装置１４と入力装置１６又はヘッドマウントディスプレイ１００などとの間の距離を取得することができる。

本実施の形態の表示制御システム１において、入力装置１６及びヘッドマウントディスプレイ１００は、複数色で発光可能に構成された発光部を有する。仮想空間の画像の表示中、発光部は表示制御装置１０から指示された色で発光し、撮像装置１４により撮像される。撮像装置１４は入力装置１６を撮像し、フレーム画像を生成して表示制御装置１０に供給する。表示制御装置１０はフレーム画像を取得して、フレーム画像における発光部の画像の位置及び大きさから、実空間における発光部の位置情報を導出する。表示制御装置１０が、ゲームプログラムを実行し、ゲーム画像をヘッドマウントディスプレイ１００に表示させるゲーム装置である場合、表示制御装置１０は、位置情報をゲームの操作指示として取り扱い、プレイヤーズキャラクタの動作を制御するなど、ゲームの処理に反映させてもよい。

また、入力装置１６及びヘッドマウントディスプレイ１００は、加速度センサ及びジャイロセンサを有する。センサの検出値は、所定周期で表示制御装置１０に送信され、表示制御装置１０は、センサの検出値を取得して、実空間における入力装置１６及びヘッドマウントディスプレイ１００の姿勢情報を取得する。表示制御装置１０がゲーム装置である場合、表示制御装置１０は、姿勢情報をゲームの操作指示として取り扱い、ゲームの処理に反映させてもよい。

表示制御装置１０は、処理装置１１、出力制御装置１２、及び記憶装置１３を備える。処理装置１１は、ユーザにより入力装置１６に入力された操作情報を受け付けて、ヘッドマウントディスプレイ１００に表示させる画像を生成する。出力制御装置１２は、処理装置１１で生成された画像データをヘッドマウントディスプレイ１００に出力する。記憶装置１３は、処理装置１１において使用される表示制御プログラム、仮想空間の画像や形状などのデータ、制御パラメータ、その他の各種のデータなどを記憶する。

なお出力制御装置１２による機能は、処理装置１１に組み込まれてもよい。つまり表示制御装置１０は、１台の処理装置１１から構成されてもよいし、また処理装置１１及び出力制御装置１２から構成されてもよい。以下においては、仮想空間の画像をヘッドマウントディスプレイ１００に提供する機能を、まとめて表示制御装置１０の機能として説明する。

出力装置１５は、表示制御装置１０により生成された画像を表示する。出力装置１５は、ディスプレイ及びスピーカを有するテレビジョン受像機であってもよいし、コンピュータディスプレイなどであってもよい。ユーザはヘッドマウントディスプレイ１００で画像を見るため、ヘッドマウントディスプレイ１００を装着したユーザにとって出力装置１５は必要ではないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。出力制御装置１２又は処理装置１１は、ヘッドマウントディスプレイ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいし、別の画像を表示させてもよい。例えば、ヘッドマウントディスプレイ１００を装着したユーザと別のユーザとが一緒にゲームをプレイするような場合、出力装置１５には、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。

図２は、実施の形態に係るヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、頭部接触部１１２、及び発光部１１４を備える。

本体部１１０には、ディスプレイ、位置情報を取得するためのＧＰＳユニット、姿勢センサ、通信装置などが備えられる。頭部接触部１１２には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが備えられてもよい。発光部１１４は、上述したように、表示制御装置１０から指示された色で発光し、撮像装置１４により撮像される画像においてヘッドマウントディスプレイ１００の位置を算出するための基準として機能する。

ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。

本実施の形態においては、ヘッドマウントディスプレイ１００について説明するが、本実施の形態の表示制御技術は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

図３は、ヘッドマウントディスプレイ１００の機能構成図である。ヘッドマウントディスプレイ１００は、入力インタフェース１２２、出力インタフェース１３０、バックライト１３２、通信制御部１４０、ネットワークアダプタ１４２、アンテナ１４４、記憶部１５０、ＧＰＳユニット１６１、無線ユニット１６２、姿勢センサ１６４、外部入出力端子インタフェース１７０、外部メモリ１７２、時計部１８０、表示装置１９０、及び制御部１６０を備える。

図３において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

制御部１６０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース１２２は、入力ボタンなどから操作信号や設定信号を受け付け、制御部１６０に供給する。出力インタフェース１３０は、制御部１６０から画像信号を受け取り、表示装置１９０に表示させる。バックライト１３２は、表示装置１９０を構成する液晶ディスプレイにバックライトを供給する。

通信制御部１４０は、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、制御部１６０から入力されるデータを外部に送信する。通信制御部１４０は、また、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、外部からデータを受信し、制御部１６０に出力する。

記憶部１５０は、制御部１６０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

ＧＰＳユニット１６１は、制御部１６０からの操作信号にしたがって、ＧＰＳ衛星から位置情報を受信して制御部１６０に供給する。無線ユニット１６２は、制御部１６０からの操作信号にしたがって、無線基地局から位置情報を受信して制御部１６０に供給する。

姿勢センサ１６４は、ヘッドマウントディスプレイ１００の本体部１１０の向きや傾きなどの姿勢情報を検出する。姿勢センサ１６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。

外部入出力端子インタフェース１７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ１７２は、フラッシュメモリなどの外部メモリである。

時計部１８０は、制御部１６０からの設定信号によって時間情報を設定し、時間データを制御部１６０に供給する。

図４は、入力装置の外観図である。図４（ａ）は、入力装置上面の外観構成を示す。ユーザは左手で左側把持部７８ｂを把持し、右手で右側把持部７８ａを把持して、入力装置１６を操作する。入力装置１６の筐体上面には、入力部である方向キー７１、アナログスティック７７ａ、７７ｂと、４種の操作ボタン７６が設けられている。４種のボタン７２～７５には、それぞれを区別するために、異なる色で異なる図形が記されている。すなわち、○ボタン７２には赤色の丸、×ボタン７３には青色のバツ、□ボタン７４には紫色の四角形、△ボタン７５には緑色の三角形が記されている。筐体上面上において、方向キー７１と操作ボタン７６の間の平坦な領域には、タッチパッド７９が設けられる。タッチパッド７９は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。

２つのアナログスティック７７ａ、７７ｂの間に機能ボタン８０が設けられる。機能ボタン８０は、入力装置１６の電源をオンし、同時に入力装置１６と表示制御装置１０とを接続する通信機能をアクティブにするために使用される。入力装置１６が表示制御装置１０と接続した後は、機能ボタン８０は、表示制御装置１０にメニュー画面を表示させるためにも使用される。

ＳＨＡＲＥボタン８１は、タッチパッド７９と方向キー７１の間に設けられる。ＳＨＡＲＥボタン８１は、表示制御装置１０におけるＯＳないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。またＯＰＴＩＯＮＳボタン８２は、タッチパッド７９と操作ボタン７６の間に設けられる。ＯＰＴＩＯＮＳボタン８２は、表示制御装置１０において実行されるアプリケーション（ゲーム）に対するユーザからの指示を入力するために利用される。ＳＨＡＲＥボタン８１およびＯＰＴＩＯＮＳボタン８２は、いずれもプッシュ式ボタンとして形成されてよい。

図４（ｂ）は、入力装置奥側側面の外観構成を示す。入力装置１６の筐体奥側側面の上側には、タッチパッド７９が筐体上面から延設されており、筐体奥側側面の下側には、横長の発光部８５が設けられる。発光部８５は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＬＥＤを有し、表示制御装置１０から送信される発光色情報にしたがって点灯する。

筐体奥側側面において、上側ボタン８３ａ、下側ボタン８４ａと、上側ボタン８３ｂ、下側ボタン８４ｂとが長手方向の左右対称な位置に設けられる。上側ボタン８３ａ、下側ボタン８４ａは、それぞれユーザ右手の人差し指、中指により操作され、上側ボタン８３ｂ、下側ボタン８４ｂは、それぞれユーザ左手の人差し指、中指により操作される。図示されるように発光部８５が、右側の上側ボタン８３ａ、下側ボタン８４ａの並びと、左側の上側ボタン８３ｂ、下側ボタン８４ｂの並びの間に設けられることで、各ボタンを操作する人差し指または中指によって隠れることはなく、撮像装置１４は、点灯した発光部８５を好適に撮像することができる。上側ボタン８３はプッシュ式ボタンとして構成され、下側ボタン８４は回動支持されたトリガー式のボタンとして構成されてよい。

図５は、表示制御装置１０の構成を示す。表示制御装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０、及びメインシステム６０を有して構成される。これらの構成は、処理装置１１、出力制御装置１２、及び記憶装置１３として機能する。

メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリ及びメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵは表示制御プログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、１つのチップ上に形成されてよい。メインＣＰＵは補助記憶装置２に記録された表示制御プログラムを実行する機能をもつ。

サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリ及びメモリコントローラなどを備え、ＧＰＵを備えず、表示制御プログラムを実行する機能をもたない。サブＣＰＵの回路ゲート数は、メインＣＰＵの回路ゲート数よりも少なく、サブＣＰＵの動作消費電力は、メインＣＰＵの動作消費電力よりも少ない。サブＣＰＵは、メインＣＰＵがスタンバイ状態にある間においても動作し、消費電力を低く抑えるべく、その処理機能を制限されている。

メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、表示制御装置１０の筐体の前面に設けられ、表示制御装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。

システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オフ指示」として取得する。

クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０及びメインシステム６０に供給する。

デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０、及びメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、及びライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。

ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置及び撮像装置１４とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置１６と無線通信する。なお無線通信モジュール３８は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ－２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール４０は、外部機器と有線通信し、たとえばＡＰ８を介して外部ネットワークに接続する。

図６は、表示制御装置１０の機能構成図である。表示制御装置１０の処理装置１１は、表示制御部３１１、指示入力取得部３１２、撮像画像取得部３１３、ＨＭＤ情報取得部３１４、入力装置情報取得部３１５、画像生成部３１６、及び位置選択部３１７を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現できる。

指示入力取得部３１２は、入力装置１６又はヘッドマウントディスプレイ１００が受け付けたユーザによる指示入力に関する情報を入力装置１６又はヘッドマウントディスプレイ１００から取得する。

撮像画像取得部３１３は、撮像装置１４が撮像した画像を取得し、取得した画像を解析して、入力装置１６及びヘッドマウントディスプレイ１００の位置及び姿勢を算出する。撮像画像取得部３１３は、撮像装置１４から所定の撮像速度（例えば３０フレーム／秒）でフレーム画像を取得し、フレーム画像から入力装置１６及びヘッドマウントディスプレイ１００の発光部の画像を抽出して、フレーム画像中の発光部の画像の位置及び大きさを特定する。例えば、撮像画像取得部３１３は、フレーム画像における発光体の画像の重心座標と半径を特定する。ユーザが表示制御システム１を使用する環境内で使われそうにない色にて発光部を点灯させることにより、フレーム画像から高精度で発光部の画像を抽出することができる。

撮像画像取得部３１３は、特定された発光体の画像の位置及び大きさから、撮像装置１４から見た入力装置１６及びヘッドマウントディスプレイ１００の位置情報を導出する。撮像画像取得部３１３は、発光体の画像の重心座標から、カメラ座標における位置座標を導出し、また発光体の画像の半径から、撮像装置１４からの距離情報を導出する。この位置座標及び距離情報は、入力装置１６及びヘッドマウントディスプレイ１００の位置情報を構成する。

ＨＭＤ情報取得部３１４は、ヘッドマウントディスプレイ１００から、ヘッドマウントディスプレイの姿勢に関する情報を取得する。また、ＨＭＤ情報取得部３１４は、撮像画像取得部３１３から、ヘッドマウントディスプレイ１００の位置に関する情報を取得する。これらの情報は、画像生成部３１６へ伝達される。ヘッドマウントディスプレイ１００の姿勢に関する情報は、撮像画像取得部３１３がヘッドマウントディスプレイ１００の撮像画像を解析することにより取得されてもよい。

入力装置情報取得部３１５は、入力装置１６から、入力装置１６の姿勢に関する情報を取得する。また、入力装置情報取得部３１５は、撮像画像取得部３１３から、入力装置１６の位置に関する情報を取得する。これらの情報は、画像生成部３１６又は位置選択部３１７へ伝達される。入力装置１６の姿勢に関する情報は、撮像画像取得部３１３が入力装置１６の撮像画像を解析することにより取得されてもよい。

入力装置１６が撮像装置１４の撮像範囲から外れたり、ユーザの体や障害物などに隠されたりして、撮像装置１４により撮像されなかった場合、入力装置情報取得部３１５は、前回取得された入力装置１６の位置と、その時点以降に取得された入力装置１６の姿勢に関する情報に基づいて、入力装置１６の位置を算出する。例えば、入力装置１６の加速度センサから取得される並進加速度のデータに基づいて、前回取得された入力装置１６の位置からのずれを算出することにより、現在の入力装置１６の位置を算出してもよい。入力装置１６が撮像装置１４により撮像されない間は、同様にして入力装置１６の位置を逐次算出する。入力装置１６が撮像装置１４により再度撮像された場合、加速度データにより逐次算出された入力装置１６の位置は、ドリフト誤差の累積により正確な位置を示していない可能性があるので、撮像画像取得部３１３により新たに算出された入力装置１６の位置を現在の入力装置１６の位置としてもよい。ヘッドマウントディスプレイ１００についても同様である。

画像生成部３１６は、ヘッドマウントディスプレイ１００に表示される仮想空間の画像を生成する。画像生成部３１６は、後述する位置選択部３１７により受け付けられたユーザによる位置の選択指示に基づいて視点位置を設定し、ヘッドマウントディスプレイ１００の姿勢に基づいて視線方向を設定して、仮想空間の画像を生成する。画像生成部３１６は、所定のタイミングでヘッドマウントディスプレイ１００の姿勢と仮想空間における視線方向とを対応づけ、以降、ヘッドマウントディスプレイ１００の姿勢の変化に伴って、視線方向を変化させる。これにより、ユーザは、実際に頭を動かすことにより、仮想空間内を見渡すことができるので、仮想空間内に現実に存在しているかのような体験をすることができる。画像生成部３１６は、現実空間の複数の位置に設置された撮像装置により撮像された映像から仮想空間の画像を生成してもよいし、仮想三次元空間の形状データをレンダリングすることにより仮想空間の画像を生成してもよい。画像生成部３１６は、生成した仮想空間の画像に、仮想空間に関する情報やヘッドマウントディスプレイ１００に表示すべき画像などを追加して、表示画面を生成する。

表示制御部３１１は、画像生成部３１６により生成された表示画面を、無線通信モジュール３８又は有線通信モジュール４０を介してヘッドマウントディスプレイ１００に送信し、ヘッドマウントディスプレイ１００に表示させる。

位置選択部３１７は、ヘッドマウントディスプレイ１００に表示された仮想空間における視点位置の選択指示を、ユーザにより使用される入力装置１６のタッチパッド７９を介して受け付ける。位置選択部３１７は、位置の選択指示をユーザから受け付ける際に、入力装置１６の画像をヘッドマウントディスプレイ１００に表示させ、入力装置１６に備えられたタッチパッド７９に対する入力位置に応じて、選択可能な複数の視点位置の中から視点位置の選択指示を受け付ける。

図７は、ヘッドマウントディスプレイ１００に表示された表示画面の例を示す。本図の例では、講演会場において複数の位置に設置された撮像画像により撮像された映像がヘッドマウントディスプレイ１００に表示されている。この映像は、現実世界において撮像されたものであるが、視聴しているユーザの眼前に現在する現実世界の映像ではないという点で、仮想空間の画像の一例である。

図８は、ヘッドマウントディスプレイ１００に表示された表示画面の例を示す。ユーザが入力装置１６の△ボタン７５又はタッチパッド７９を押下すると、位置選択部３１７は、入力装置１６の画像２１０と、選択可能な複数の視点位置を含む仮想空間の画像（以下、「バーチャルマップ画像２２０」ともいう）とを含む位置選択指示受付画面２００をヘッドマウントディスプレイ１００に表示し、入力装置１６のタッチパッド７９を介して視点位置の選択指示を受け付ける。

図９は、図８に示した位置選択指示受付画面２００の拡大図である。位置選択部３１７は、入力装置１６とヘッドマウントディスプレイ１００の相対位置に基づいて、入力装置１６の画像２１０をヘッドマウントディスプレイ１００に表示する。また、位置選択部３１７は、入力装置１６の姿勢に合わせて、ヘッドマウントディスプレイ１００に表示される入力装置の画像２１０の姿勢を変更する。ヘッドマウントディスプレイ１００を装着しているユーザは、現実世界における入力装置１６を視認することはできないが、ユーザがヘッドマウントディスプレイ１００を装着していなければ入力装置１６が見えるであろう位置に入力装置１６の画像２１０を表示することにより、ユーザが入力装置１６のタッチパッド７９に対する入力をより容易に行えるようにすることができる。

位置選択部３１７は、ヘッドマウントディスプレイ１００に表示された入力装置１６の画像２１０のタッチパッド２１１に重畳して、又はタッチパッド２１１の近傍に、選択可能な複数の視点位置を含むバーチャルマップ画像２２０を表示する。このバーチャルマップ画像２２０は、仮想空間を所定の方向から見た平面視画像であってもよいし、所定の視点位置及び視線方向を設定して仮想空間をレンダリングした画像であってもよい。本図の例では、仮想空間を上方から見た上面視画像がバーチャルマップ画像２２０として表示されている。

位置選択部３１７は、バーチャルマップ画像２２０に重畳して、選択可能な複数の視点位置を示すマーカー２２１と、現在設定されている視点位置を示すマーカー２２２と、現在選択されている視点位置を示すマーカー２２３を表示する。

位置選択部３１７は、タッチパッド７９に対する入力位置を示すポインター２１２を、ヘッドマウントディスプレイ１００に表示された入力装置１６の画像２１０におけるタッチパッド２１１の対応する位置に表示する。

位置選択部３１７は、ユーザが○ボタン７２又はタッチパッド７９を押下すると、現在選択されている視点位置を確定し、画像生成部３１６に通知する。画像生成部３１６は、位置選択部３１７から通知された視点位置を新たに設定し、新しい視点位置から見た仮想空間の画像を生成する。位置選択部３１７は、視点位置を確定する前に、現在選択されている視点位置から見た仮想空間のプレビュー画像を入力装置１６の画像２１０の近傍に表示してもよい。位置選択部３１７は、視点位置を確定する際に、入力装置１６を振動させてもよい。

以上のようなユーザインタフェースを提供することにより、ユーザはタッチパッド７９に対する入力位置を視認しながら視点位置を選択することができるので、ユーザの利便性を向上させることができる。所望の視点位置に対応するタッチパッド７９の位置とは異なる位置にタッチしてしまった場合であっても、入力位置を示すポインター２１２と、選択された視点位置を示すマーカー２２３を参照して、所望の視点位置に対応する位置に向けて指をスライドさせ、タッチパッド７９をなぞることにより、所望の視点位置を容易に選択することができる。入力装置１６の画像２１０及びバーチャルマップ画像２２０は、ユーザの手元の位置に表示されるので、現在視聴中の仮想空間の画像を遮ることなく、視聴を継続しながら視点を変更することができる。

本実施の形態の例では、選択可能な複数の視点位置は離散的に設けられたが、視点位置が連続的に変更可能である場合にも、本実施の形態の技術を適用可能である。本実施の形態の技術によれば、離散的な視点位置が多数用意されている場合であっても、視点位置を連続的に変更可能である場合であっても、視点位置の選択指示を受け付けるためのユーザインタフェースを複雑化させることなく、容易に選択指示を受け付けることができる。

位置選択部３１７は、選択可能な複数の視点位置を複数のグループに分類し、タッチパッド７９に対する入力の態様に応じたグループに属する視点位置の中から視点位置の選択指示を受け付けてもよい。例えば、図９に示した複数の視点位置を、観客席側の視点位置のグループと、ステージ上の視点位置のグループに分類し、タッチパッド７９に入力した指の種類や数などに応じてグループを選択し、選択されたグループに属する視点位置の中から、入力位置に応じて視点位置の選択指示を受け付けてもよい。位置選択部３１７は、撮像画像取得部３１３により取得された撮像画像を参照してタッチパッド７９に対する入力の態様を判定してもよい。例えば、撮像画像を参照してタッチパッド７９に入力した指の種類及び数を判定し、右手の指で入力した場合は観客席側、左手の指で入力した場合はステージ上の視点位置を選択可能としてもよいし、人差し指で入力した場合は観客席側、中指で入力した場合はステージ上の視点位置を選択可能としてもよいし、１本の指で入力した場合は観客席側、２本の指で入力した場合はステージ上の視点位置を選択可能としてもよい。タッチパッド７９が静電容量の変化を検出可能な静電容量方式のタッチパッドである場合、位置選択部３１７は、タッチパッド７９により検出された静電容量の変化に基づいてタッチパッド７９に対する入力の態様を判定してもよい。この場合も、タッチパッド７９に入力した指や爪などの種類や数などの態様を判定することができるので、判定結果に応じて視点位置のグループを選択することができる。

位置選択部３１７は、仮想空間を複数の領域に分割し、タッチパッド７９に対する入力の態様に応じて領域を切り替えてもよい。例えば、２本指でのスワイプ操作や、タッチパッド７９の両サイドを押し込みながらのスワイプ操作などにより領域をスクロールしてもよい。または、ユーザの視線の変更や、入力装置１６の方向キー７１又はアナログスティック７７による操作などにより領域をスクロールしてもよい。また、複数の会場における講演や公演などを視聴可能である場合に、上下方向のスワイプ操作により同一会場内で領域をスクロールし、左右方向のスワイプ操作により別の会場に切り替えてもよい。

位置選択部３１７は、入力装置１６に備えられた方向キー７１又はアナログスティック７７による位置の選択指示を受け付けてもよい。タッチパッド７９だけでなく、方向キー７１やアナログスティック７７などによっても視点位置を選択可能とすることにより、ユーザの利便性を更に向上させることができる。

位置選択部３１７は、ユーザが使用する端末装置などから位置の選択指示を受け付けてもよい。この場合、位置選択部３１７は、表示制御装置１０と通信可能な端末装置がタッチパッドを介して受け付けたユーザによる操作入力を端末装置から受信する。位置選択部３１７は、例えば、渦を巻くようにタッチパッドを指でなぞる操作を受け付けたときに位置選択指示受付画面２００をヘッドマウントディスプレイ１００に表示し、タッチパッドに対する入力位置に応じて視点位置の選択指示を受け付けてもよい。

上記の例では、仮想空間の画像を生成する際に使用される視点位置の選択指示をユーザから受け付けるためのユーザインタフェースについて説明したが、本実施の形態の技術は、仮想空間においてキャラクタやオブジェクトなどを配置又は移動させる位置など、任意の位置の選択指示をユーザから受け付ける場合にも適用可能である。

図８及び図９に示した例では、位置選択指示受付画面２００において、仮想空間の全体の上面視画像をバーチャルマップ画像２２０として表示したが、位置選択部３１７は、仮想空間のうちの一部の領域の画像を表示し、表示している仮想空間の領域に含まれる位置の選択指示を受け付けてもよい。例えば、ゲームフィールドの一部の領域の画像をバーチャルマップ画像２２０として表示し、バーチャルマップ画像２２０として表示している領域内で、ユーザが操作するキャラクタなどの移動先の位置の選択指示を受け付けてもよい。この場合、位置選択部３１７は、ユーザからの指示やゲームの進行状況などに応じて、表示するゲームフィールドの領域を変更可能としてもよい。表示するゲームフィールドを変更する指示は、入力装置１６の方向キー７１、アナログスティック７７、タッチパッド７９などにより受け付けてもよい。

図１０は、位置選択指示受付画面２００の別の例を示す。図１０（ａ）に示した例では、ゲームフィールドのうち、ユーザにより操作されるキャラクタ２１３の現在位置の近傍の領域がバーチャルマップ画像２２０として表示されている。位置選択部３１７は、ゲームフィールドの少なくとも一部の画像と入力装置の画像２１０とを重畳して表示し、入力装置の画像２１０のタッチパッド２１１と重畳して表示されているゲームフィールドの領域に含まれる位置の選択指示を受け付ける。すなわち、位置選択部３１７は、タッチパッド７９に対する入力位置に対応するタッチパッド２１１の位置に表示されているゲームフィールドの位置の選択指示を受け付ける。ゲームプログラムを実行するゲーム制御部は、位置選択部３１７が受け付けたゲームフィールドの位置にキャラクタ２１３を移動させる。ユーザは、図１０（ｂ）に示すように、バーチャルマップ画像２２０として表示されるゲームフィールドの領域をスクロールすることにより、タッチパッド２１１と重畳して表示されるゲームフィールドの領域を変更しながら、キャラクタ２１３の移動先の位置を任意に選択することができる。

図１１は、位置選択指示受付画面２００の別の例を示す。図１０に示した例では、ゲームフィールドの画像をスクロールすることにより入力装置の画像２１０のタッチパッド２１１と重畳する領域を変更したが、図１１に示した例では、ユーザが入力装置１６の位置を変更することにより入力装置の画像２１０の表示位置を変更し、タッチパッド２１１と重畳するゲームフィールドの領域を変更可能とする。このとき、バーチャルマップ画像２２０の表示位置を固定しておいてもよい。

図１０に示した例と図１１に示した例を組み合わせてもよい。すなわち、ゲームフィールドをスクロールすることによっても、入力装置１６を移動させることによっても、位置を選択可能なゲームフィールドの領域を変更することができるようにしてもよい。

図１２は、実施の形態に係る表示制御方法の手順を示すフローチャートである。ユーザが入力装置１６の△ボタン７５又はタッチパッド７９を押下すると、位置選択部３１７は、入力装置１６の画像２１０と、選択可能な複数の視点位置を含むバーチャルマップ画像２２０をヘッドマウントディスプレイ１００に表示し（Ｓ１００）、入力装置１６のタッチパッド７９を介して視点位置の選択指示を受け付ける（Ｓ１０２）。ユーザが○ボタン７２又はタッチパッド７９を押下すると、位置選択部３１７は、現在選択されている視点位置に決定し（Ｓ１０４）、画像生成部３１６に通知する。画像生成部３１６は、位置選択部３１７から通知された視点位置を反映させ、新しい視点位置から見た仮想空間の画像を生成する（Ｓ１０６）。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の例では、ヘッドマウントディスプレイ１００の表示装置１９０に単眼視用の画像が表示されたが、別の例では、両眼立体視用の画像が表示されてもよい。

１ 表示制御システム、１０ 表示制御装置、１６ 入力装置、７１ 方向キー、７７ アナログスティック、７９ タッチパッド、１００ ヘッドマウントディスプレイ、３１１ 表示制御部、３１２ 指示入力取得部、３１３ 撮像画像取得部、３１４ ＨＭＤ情報取得部、３１５ 入力装置情報取得部、３１６ 画像生成部、３１７ 位置選択部。

Claims (16)

1. ヘッドマウントディスプレイに表示される仮想空間の画像を生成する画像生成部と、
   前記仮想空間の画像を前記ヘッドマウントディスプレイに表示させる表示制御部と、
   前記ヘッドマウントディスプレイに表示された仮想空間における位置の選択指示を、ユーザにより使用される入力装置を介して受け付ける位置選択部と、
   を備え、
   前記位置選択部は、前記画像生成部が前記仮想空間の画像を生成する際に使用する視点位置の選択指示を受け付け、
   前記画像生成部は、前記位置選択部により受け付けられた位置に視点位置を設定して前記仮想空間の画像を生成し、
   前記位置選択部は、前記位置の選択指示をユーザから受け付ける際に、前記入力装置の画像を前記ヘッドマウントディスプレイに表示させ、前記入力装置に備えられたタッチパッドに対する入力位置に応じて、選択可能な複数の位置の中から前記位置の選択指示を受け付け、
   前記ヘッドマウントディスプレイに表示された入力装置の画像におけるタッチパッドに重畳して、又はタッチパッドの近傍に、選択可能な複数の位置を含む仮想空間の画像を表示する
   表示制御装置。
2. 前記位置選択部は、前記タッチパッドに対する入力位置を示すポインターを、前記ヘッドマウントディスプレイに表示された入力装置の画像におけるタッチパッドの対応する位置に表示する請求項１に記載の表示制御装置。
3. 前記ユーザにより使用される入力装置の位置を示す情報を取得する入力装置情報取得部を更に備え、
   前記位置選択部は、前記ヘッドマウントディスプレイの表示画面において、前記入力装置の前記ヘッドマウントディスプレイに対する相対位置に基づいて決定された位置に前記入力装置の画像を表示する請求項１又は２に記載の表示制御装置。
4. 前記仮想空間の画像は、前記仮想空間を所定の方向から見た平面視画像、又は、所定の視点位置及び視線方向を設定して前記仮想空間をレンダリングした画像である請求項１から３のいずれかに記載の表示制御装置。
5. 前記位置選択部は、前記仮想空間の画像に重畳して、選択可能な複数の位置を示すマーカーを表示する請求項１から４のいずれかに記載の表示制御装置。
6. 前記位置選択部は、前記仮想空間のうちの一部の領域の画像が表示しているとき、表示している前記仮想空間の領域に含まれる位置の選択指示を受け付け、表示する前記仮想空間の領域を変更可能である請求項１から５のいずれかに記載の表示制御装置。
7. 前記位置選択部は、前記仮想空間の少なくとも一部の画像と前記入力装置の画像とを重畳して表示し、前記入力装置の画像のタッチパッドと重畳して表示されている前記仮想空間の領域に含まれる位置の選択指示を受け付ける請求項１から６のいずれかに記載の表示制御装置。
8. 前記位置選択部は、前記入力装置の位置の変化に応じて前記入力装置の画像の表示位置を変更することにより前記入力装置の画像のタッチパッドと重畳して表示される前記仮想空間の領域を変更可能とする請求項７に記載の表示制御装置。
9. ヘッドマウントディスプレイに表示される仮想空間の画像を生成する画像生成部と、
   前記仮想空間の画像を前記ヘッドマウントディスプレイに表示させる表示制御部と、
   前記ヘッドマウントディスプレイに表示された仮想空間における位置の選択指示を、ユーザにより使用される入力装置を介して受け付ける位置選択部と、
   を備え、
   前記位置選択部は、前記画像生成部が前記仮想空間の画像を生成する際に使用する視点位置の選択指示を受け付け、
   前記画像生成部は、前記位置選択部により受け付けられた位置に視点位置を設定して前記仮想空間の画像を生成し、
   前記位置選択部は、前記位置の選択指示をユーザから受け付ける際に、前記入力装置の画像を前記ヘッドマウントディスプレイに表示させ、前記入力装置に備えられたタッチパッドに対する入力位置に応じて、選択可能な複数の位置の中から前記位置の選択指示を受け付け、
   前記位置選択部は、選択可能な複数の位置を複数のグループに分類し、前記タッチパッドに対する入力の態様に応じたグループに属する位置の中から位置の選択指示を受け付ける表示制御装置。
10. 撮像装置により撮像された前記入力装置を含む画像を取得する撮像画像取得部を更に備え、
    前記位置選択部は、前記撮像画像取得部により取得された撮像画像を参照して前記タッチパッドに対する入力の態様を判定する請求項９に記載の表示制御装置。
11. 前記タッチパッドは、静電容量の変化を検出可能であり、
    前記位置選択部は、前記タッチパッドにより検出された静電容量の変化に基づいて前記タッチパッドに対する入力の態様を判定する請求項９に記載の表示制御装置。
12. 前記位置選択部は、前記入力装置に備えられた方向キー又はアナログスティックによる前記位置の選択指示を受け付ける請求項１から１１のいずれかに記載の表示制御装置。
13. 表示制御装置が、
    ヘッドマウントディスプレイに表示される仮想空間の画像を生成するステップと、
    前記仮想空間の画像を前記ヘッドマウントディスプレイに表示させるステップと、
    前記ヘッドマウントディスプレイに表示された仮想空間における位置の選択指示を、ユーザにより使用される入力装置を介して受け付けるステップと、
    を備え、
    前記位置は、前記仮想空間の画像を生成する際に使用される視点位置であり、
    前記位置の選択指示をユーザから受け付ける際に、前記入力装置の画像を前記ヘッドマウントディスプレイに表示させ、前記入力装置に備えられたタッチパッドに対する入力位置に応じて、選択可能な複数の位置の中から前記位置の選択指示を受け付け、
    前記ヘッドマウントディスプレイに表示された入力装置の画像におけるタッチパッドに重畳して、又はタッチパッドの近傍に、選択可能な複数の位置を含む仮想空間の画像を表示する
    表示制御方法。
14. 表示制御装置が、
    ヘッドマウントディスプレイに表示される仮想空間の画像を生成するステップと、
    前記仮想空間の画像を前記ヘッドマウントディスプレイに表示させるステップと、
    前記ヘッドマウントディスプレイに表示された仮想空間における位置の選択指示を、ユーザにより使用される入力装置を介して受け付けるステップと、
    を備え、
    前記位置は、前記仮想空間の画像を生成する際に使用される視点位置であり、
    前記位置の選択指示をユーザから受け付ける際に、前記入力装置の画像を前記ヘッドマウントディスプレイに表示させ、前記入力装置に備えられたタッチパッドに対する入力位置に応じて、選択可能な複数の位置の中から前記位置の選択指示を受け付け、
    前記位置の選択指示を受け付けるステップは、選択可能な複数の位置を複数のグループに分類し、前記タッチパッドに対する入力の態様に応じたグループに属する位置の中から位置の選択指示を受け付けるステップを含む
    表示制御方法。
15. コンピュータを、
    ヘッドマウントディスプレイに表示される仮想空間の画像を生成する画像生成部、
    前記仮想空間の画像を前記ヘッドマウントディスプレイに表示させる表示制御部、
    前記ヘッドマウントディスプレイに表示された仮想空間における位置の選択指示を、ユーザにより使用される入力装置を介して受け付ける位置選択部、
    として機能させ、
    前記位置選択部は、前記画像生成部が前記仮想空間の画像を生成する際に使用する視点位置の選択指示を受け付け、
    前記画像生成部は、前記位置選択部により受け付けられた位置に視点位置を設定して前記仮想空間の画像を生成し、
    前記位置選択部は、前記位置の選択指示をユーザから受け付ける際に、前記入力装置の画像を前記ヘッドマウントディスプレイに表示させ、前記入力装置に備えられたタッチパッドに対する入力位置に応じて、選択可能な複数の位置の中から前記位置の選択指示を受け付け、
    前記ヘッドマウントディスプレイに表示された入力装置の画像におけるタッチパッドに重畳して、又はタッチパッドの近傍に、選択可能な複数の位置を含む仮想空間の画像を表示する
    表示制御プログラム。
16. コンピュータを、
    ヘッドマウントディスプレイに表示される仮想空間の画像を生成する画像生成部、
    前記仮想空間の画像を前記ヘッドマウントディスプレイに表示させる表示制御部、
    前記ヘッドマウントディスプレイに表示された仮想空間における位置の選択指示を、ユーザにより使用される入力装置を介して受け付ける位置選択部、
    として機能させ、
    前記位置選択部は、前記画像生成部が前記仮想空間の画像を生成する際に使用する視点位置の選択指示を受け付け、
    前記画像生成部は、前記位置選択部により受け付けられた位置に視点位置を設定して前記仮想空間の画像を生成し、
    前記位置選択部は、前記位置の選択指示をユーザから受け付ける際に、前記入力装置の画像を前記ヘッドマウントディスプレイに表示させ、前記入力装置に備えられたタッチパッドに対する入力位置に応じて、選択可能な複数の位置の中から前記位置の選択指示を受け付け、
    前記位置選択部は、選択可能な複数の位置を複数のグループに分類し、前記タッチパッドに対する入力の態様に応じたグループに属する位置の中から位置の選択指示を受け付ける
    表示制御プログラム。

Images