JP6121496B2 - ヘッドマウントディスプレイシステムを制御するプログラム - Google Patents

Description

本発明は、ユーザがヘッドマウントディスプレイ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）を用いて没入する仮想空間を、コンピュータに提供させるプログラムに関するものである。

特許文献１には、ＨＭＤを用いてユーザに提供される仮想空間に、仮想オブジェクトとしての出版物を表示し、ユーザ操作に応じて当該出版物を操作することができる表示装置が開示されている。特許文献２には、ＨＭＤを用いてユーザの眼前に表示される表示オブジェクトの表示位置を、ＨＭＤの動きに応じて移動させる表示制御装置が開示されている。

特開２０１４−０７１４９８号公報 特開２０１４−１９７０６６号公報

特許文献１に開示されたHMDシステムでは、HMDに搭載されたカメラで取得した現実空間の画像に、現実の書籍を模した仮想出版物を表示させるものであるため、ユーザが没入する仮想空間ならではの体験を提供する上で限界がある。特許文献２に開示されたHMDシステムにおいても同様である。

本発明によれば、ヘッドマウントディスプレイにユーザが没入する仮想空間を提供するプログラムであって、コンピュータに、前記ユーザが没入する仮想空間を、背景となる仮想空間画像と、前記仮想空間画像に重畳される表示オブジェクトとを含むように生成するステップと、前記表示オブジェクトの位置または表示を更新するステップと、前記表示オブジェクトの位置または表示を更新する際に、前記表示オブジェクトの視覚的効果を低減させる処理を施すステップと、を実行させるプログラム、が提供される。

本発明によれば、ユーザに新たな仮想空間における体験を提供し得る。

本発明の実施形態によるＨＭＤシステムを示す図である。 制御回路部のハードウェア的な構成を示す図である。 ＨＭＤを装着しているユーザの頭部を中心に規定される３次元空間上の直交座標系を示す。 仮想空間の一例を示すＸＹＺ空間図である。 視線方向を決定する方法の一例を示す図である。 ＨＭＤシステムの機能を実現するための、制御回路部の機能を示すブロック図である。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 視界領域をＸ方向から見たＹＺ面図である。 視界領域をＹ方向から見たＸＺ面図である。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 仮想空間を示す図である。 表示オブジェクトのページめくり動作を示す図である。 表示オブジェクトのページめくり動作を示す図である。 表示オブジェクトのページめくり動作を示す図である。 表示オブジェクトのページめくり動作を示す図である。 表示オブジェクトのページめくり動作を示す図である。 メイン画像とサブ画像の関係を示す図である。 メイン画像とサブ画像の関係を示す図である。 表示オブジェクト管理テーブルの一例を示す。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 メイン画像の配置角度を示す図である。 メイン画像の配置角度を示す図である。 メイン画像の配置角度を示す図である。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 基準視線の移動とメイン画像の配置関係を示す図である。 基準視線の移動とメイン画像の配置関係を示す図である。 基準視線の移動とメイン画像の配置関係を示す図である。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 表示オブジェクトのページジャンプ動作を示す図である。 表示オブジェクトのページジャンプ動作を示す図である。

［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態によるＨＭＤを制御するプログラムは、以下のような構成を備える。
（項目１）
ヘッドマウントディスプレイにユーザが没入する仮想空間を提供するプログラムであって、コンピュータに、
前記ユーザが没入する仮想空間を、背景となる仮想空間画像と、前記仮想空間画像に重畳される表示オブジェクトとを含むように生成するステップと、
前記表示オブジェクトの位置または表示を更新するステップと、
前記表示オブジェクトの位置または表示を更新する際に、前記表示オブジェクトの視覚的効果を低減させる処理を施すステップと、を実行させるプログラム。
（項目２）
前記仮想空間画像は色調によって構成される、項目１のプログラム。
（項目３）
前記仮想空間画像は、単一の色調によって構成される、項目２のプログラム。
（項目４）
前記仮想空間画像は、複数の色調を含むグラデーションによって構成される、項目２のプログラム。
（項目５）
前記表示オブジェクトの視覚的効果を低減させる処理を施す際に、前記仮想空間画像には視覚的効果を低減させる処理を施さない、項目１〜４のいずれかのプログラム。
（項目６）
前記仮想空間画像は、天球面に沿って構成されたパノラマ画像として生成され、
複数の前記表示オブジェクトは、所定のコンテンツを構成するために連続性を有するものであるとともに、前記天球面に沿って螺旋状に配置され、
前記螺旋の円周方向に隣接して配置された前記表示オブジェクトは、互いに連続する前記表示オブジェクトである、項目１〜５のいずれかのプログラム。

［本発明の実施形態の詳細］
本発明の実施形態に係るヘッドマウントディスプレイシステムを制御するプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は、本実施形態にかかるＨＭＤ１１０を備えるＨＭＤシステム１００を示す。ＨＭＤシステム１００は、ユーザの頭部に装着されるＨＭＤ１１０と、制御回路部１２０と、動きセンサ１３０と、注視センサ１４０と、外部コントローラ１５０とを備える。

ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２と、センサ部１１４と、注視センサ１４０を含む。制御回路部１２０は、ディスプレイ１１２に右目用画像と左目用画像を表示することにより、両目の視差を利用した３次元画像を仮想空間として提供する。ディスプレイ１１２がユーザの眼前に配置されることによって、ユーザは仮想空間に没入できる。仮想空間は、背景やユーザが操作可能な各種オブジェクト、メニュー画像等を含む。

ディスプレイ１１２は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。また、右目用画像と左目用画像を提供できれば、１つの表示装置で構成されていても良い。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。

制御回路部１２０は、ＨＭＤ１１０に接続されるコンピュータである。図２に示すように、制御回路部１２０は、データ伝送路としてのバスで互いに接続された処理回路と、メモリと、記憶媒体と、入出力インターフェースと、通信インターフェースを含む。処理回路は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ−ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）といった各種処理回路等を含んで構成され、制御回路部１２０およびＨＭＤシステム１００全体を制御する機能を有する。メモリはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含んで構成され、処理回路が使用するプログラムや演算パラメータなどの制御用データを一時的に記憶する。記憶媒体は、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性記憶装置を含んで構成され、各種画像やオブジェクトに関するデータ、シミュレーションプログラムやユーザの認証プログラムが格納され、さらに、各種データを管理するためのテーブルを含むデータベースが構築されていてもよい。入出力インターフェースは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子やＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子やＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等の各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、ＨＭＤ１１０や動きセンサ１３０を含む各種センサ、外部コントローラ等を接続する。通信インターフェースは、ネットワークＮＷを介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットを介して通信するための各種通信規格・プロトコルに適合するように構成されている。

制御回路部１２０は、メモリや記憶媒体に格納された所定のアプリケーションを実行することにより、ディスプレイ１１２に仮想空間を提示する。また、メモリや記憶媒体には、当該仮想空間内に表示される各種オブジェクトを操作したり、各種メニュー画像等を表示・制御するためのプログラムが格納される。制御回路部１２０はＨＭＤ１１０に搭載されていなくてもよく、別のハードウェア（例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ）として構成してもよい。また、制御回路部１２０は、一部の機能のみをＨＭＤ１１０に実装し、残りの機能を別のハードウェアに実装してもよい。

動きセンサ１３０は、ＨＭＤ１１０の位置や傾きに関する情報を検出する。動きセンサ１３０は、センサ部１１４と、検知部１３２を含む。センサ部１１４は、複数の光源を含んでもよい。光源は、例えば赤外線を発するＬＥＤである。検知部１３２は例えば赤外線センサであり、光源からの赤外線をＨＭＤ１１０の検知点として検知することで、ユーザの動きに応じたＨＭＤ１１０の現実空間内における位置や角度に関する情報を経時的に検出する。そして、検知部１３２により検出された情報の経時的変化に基づいて、ＨＭＤ１１０の位置や角度の時間変化を決定し、ＨＭＤ１１０の動きに関する情報を検知することができる。

動きセンサ１３０によって取得される位置や傾きに関する情報を、図３を参照して説明する。ＨＭＤ１１０を装着したユーザの頭部を中心として、３次元座標系を規定する。ユーザが直立する垂直方向をヨー方向とし、ヨー方向と直交しディスプレイ１１２の中心とユーザを結ぶ前後方向をロール方向とし、ヨー方向およびロール方向と直交する横方向をピッチ方向とする。これにより、ユーザの３次元空間内における位置の経時変化が取得される。また、ピッチ方向周りのＨＭＤ１１０の傾き角度としてのピッチ角、ヨー方向周りのＨＭＤ１１０の傾き角度としてのヨー角、ロール方向周りのＨＭＤ１１０の傾き角度としてのロール角が取得される。

動きセンサ１３０は、ディスプレイ１１２の近くに固定されたセンサ部１１４と、検知部１３２の、一方のみから構成されてもよい。センサ部１１４が、地磁気センサ、加速度センサ、ジャイロセンサであってもよく、これらの少なくとも１つを用いて、ユーザの頭部に装着されたＨＭＤ１１０（特に、ディスプレイ１１２）の位置および傾きを検出する。これにより、ＨＭＤ１１０の動きに関する情報を検出することができる。例えば、角速度センサは、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検出し、各軸回りの角度の時間変化を決定することができる。この場合には、検知部１３２は不要である。また、検知部１３２は光学カメラを含んで構成されても良い。この場合には、画像情報に基づいてＨＭＤ１１０の動きに関する情報を検出することができ、センサ部１１４は不要である。

動きセンサ１３０を用いてＨＭＤ１１０の位置や傾きに関する情報を検出する機能をポジション・トラッキングと称する。動きセンサ１３０によるポジション・トラッキングと、仮想空間２内に配置される仮想カメラ１との関係を、図４を参照して説明する。仮想カメラ１と動きセンサ１３０の位置関係を説明するために、以下では動きセンサ１３０の位置は、検知部１３２を有する場合には検知部１３２の位置とし、検知部１３２を有しない場合にはセンサ部１１４の位置とする。仮想空間２の内部に仮想カメラ１が配置され、および仮想空間２の外部（現実空間）に動きセンサ１３０が仮想的に配置される。

仮想空間２は、略正方形または略長方形の複数のメッシュを有する天球状に形成される。各メッシュは仮想空間２の空間情報が関連付けられており、この空間情報に基づいて視界領域２３が定義される。本実施形態では、ＸＺ面において、天球の中心２１が仮想カメラ１とセンサ１３０を結ぶ線上に常に配置されるように調整することが好ましい。例えば、仮想カメラ１が常に中心２１に配置されてもよい。また、ＨＭＤ１１０を装着したユーザが移動して仮想カメラ１の位置がＸ方向に移動した場合に、中心２１が仮想カメラ１と動きセンサ１３０の線分上に位置するように、仮想空間２の領域が変更されてもよい。これらの場合には、仮想空間２における仮想カメラ１の位置は固定され、傾きのみが変化する。一方、動きセンサ１３０のＸＹＺ方向への移動に連動して仮想カメラ１の位置を移動させるようにすれば、仮想空間２における仮想カメラ１の位置は可変に設定される。

注視センサ１４０は、ユーザの右目および左目の視線が向けられる方向を検出するアイトラッキング機能を有する。注視センサ１４０は、右目用センサと左目用センサを備えていることが好ましく、それぞれが右目と左目の視線が向けられる方向を検出することにより、ユーザが注視する視線方向を検知する。注視センサ１４０はアイトラッキング機能を有する公知のセンサを採用することができ、例えば、右目及び左目に赤外光を照射し、角膜や虹彩からの反射光を取得することにより、眼球の回転角を求めることとしても良い。

図５に示すように、注視センサ１４０はユーザＵの右目および左目の視線方向を検知する。ユーザＵが近くを見ている場合には視線Ｒ１およびＬ１が検知され、両者の交点である注視点Ｎ１が特定される。また、ユーザが遠くを見ている場合には、視線Ｒ１およびＬ１よりロール方向とのなす角が小さい視線Ｒ２およびＬ２が特定される。注視点Ｎ１が特定されると、ユーザＵの視線方向Ｎ０が特定される。視線方向Ｎ０はユーザＵが両目により実際に視線が向けられている方向である。視線方向Ｎ０は、例えばユーザＵの右目Ｒおよび左目Ｌの中心と中心点Ｎ１が通る直線の伸びる方向として定義される。

外部コントローラ１５０は、制御回路部１２０に対して各種指令を送ることができるように通信可能なデバイスであり、無線通信が可能な携帯端末で構成されてもよい。外部コントローラ１５０は、互いにバス接続された処理回路、メモリ、記憶媒体、通信部、表示部、および入力部を備える任意の携帯型デバイスとすることができる。例えば、スマートフォン、ＰＤＡ、タブレット型コンピュータ、ゲーム用コンソール、ノートＰＣを適用可能であり、タッチパネルを備える携帯端末であることが好ましい。ユーザは、外部コントローラ１５０のタッチパネルに対し、タップ、スワイプおよびホールドを含む各種タッチ動作を実施することにより、仮想空間に表示されるオブジェクトに対して影響を及ぼすことができる。

ＨＭＤシステム１００はいずれかの要素にマイクを含むヘッドホンを備えていても良い。これにより、ユーザは仮想空間内の所定のオブジェクトに、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、ＨＭＤシステム１００はいずれかの要素にテレビジョン受像機を含んでいても良い。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいても良い。

図６は、ＨＭＤシステム１００における仮想空間２の表示処理や、当該仮想空間２内に表示される各種メニュー表示やオブジェクトの操作を実現するための、制御回路部１２０の機能を示すブロック図である。制御回路部１２０は、主に動きセンサ１３０、注視センサ１４０、外部コントローラ１５０からの入力に基づいて、ディスプレイ１１２への出力画像を制御する。

制御回路部１２０は、表示制御部２００と、オブジェクト制御部３００と、通信制御部４００と、記憶部５００を備える。表示制御部２００は、仮想空間画像生成部２１０と、ＨＭＤ動作検知部２２０と、視線検知部２３０と、視界方向特定部２４０と、視界領域決定部２５０と、視界画像生成部２６０とを含む。オブジェクト制御部３００は、オブジェクト特定部３１０と、表示態様決定部３２０と、表示調整部３３０と、モード設定部３４０と、判定部３５０と、描画部３６０とを含む。通信制御部４００は、外部機器１６０にネットワークＮＷを介して各種データを要求する要求部４１０と、要求部４１０および外部機器との通信を処理する通信処理部４２０とを含む。記憶部５００は、空間情報格納部５１０と、オブジェクト情報格納部５２０と、ユーザ情報格納部５３０とを含み、動きセンサ１３０や注視センサ１４０、外部コントローラ１５０からの入力に対応した出力情報をディスプレイ１１２へ提供するための演算に必要な各種データを含む。

図６，図７を参照して、仮想空間２を提供するためのＨＭＤシステム１００の処理フローを説明する。仮想空間２は、ＨＭＤ１１０（注視センサ１４０、動きセンサ１３０）および制御回路部１２０の相互作用によって提供され得る。

まず、制御回路部１２０（仮想空間画像生成部２１０）は、空間情報格納部５１０を参照して、ユーザが没入する仮想空間２を構成する天球状の仮想空間画像２２を生成する（Ｓ１２０−１）。ユーザからＨＭＤ１１０に移動や傾きといった動作が入力されると（Ｓ１１０−１）、動きセンサ１３０によってＨＭＤ１１０の位置や傾きが検知される（Ｓ１３０−１）。動きセンサ１３０の検知情報は制御回路部１２０に送信され、ＨＭＤ動作検出部２２０により、ＨＭＤ１１０の位置情報や傾き情報が受け付けられる。これにより、ＨＭＤ１１０の位置情報や傾き情報に基づく視界方向が決定される（Ｓ１２０−２）。

注視センサ１４０がユーザの左右の目の眼球の動きを検出すると（Ｓ１４０−１）、当該情報が制御回路部１２０に送信される。視線検知部２３０は、右目および左目の視線が向けられる方向を特定し、視線方向Ｎ０が特定される（Ｓ１２０−３）。基準視線特定部２４０は、ＨＭＤ１１０の傾きにより特定された視界方向、または、ユーザの視線方向Ｎ０を基準視線５として特定する（Ｓ１２０−４）。

視界領域決定部２５０は、仮想空間２における仮想カメラ１の視界領域２３を決定する（Ｓ１２０−５）。図４に示すように、視界領域２３は仮想空間画像２２のうちユーザの視界を構成する部分である。視界領域２３は基準視線５に基づいて定められ、基準視線５は仮想カメラ１の位置および傾きに基づいて定められる。図８Ａは視界領域２３をＸ方向から見たＹＺ面図であり、図８Ｂは視界領域２３をＹ方向から見たＸＺ面図である。

視界領域２３は、基準視線５と仮想空間画像２２のＹＺ断面によって定義される範囲である第１領域２４（図８Ａ参照）と、基準視線５と仮想空間画像２２のＸＺ断面によって定義される範囲である第２領域２５（図８Ｂ参照）とを有する。第１領域２４は、基準視線５を中心として極角αを含む範囲として設定される。第２領域２５は、基準視線５を中心として方位角βを含む範囲として設定される。

視界画像生成部２６０は、視界領域２３に基づいて視界画像２６を生成する（Ｓ１２０−６）。視界画像は左目用と右目用の２つの２次元画像を含み、これらがディスプレイ１１２に重畳されることにより、３次元画像としての仮想空間２がユーザに提供されるものである。ＨＭＤ１１０は、視界画像２６に関する情報を制御回路部１２０から受信して、ディスプレイ１１２に視界画像２６を表示させる（Ｓ１１０−２）。

図６、および、図９以降を参照して、ユーザに提供される仮想空間の具体例、および、当該仮想空間をユーザに提供するためのＨＭＤシステム１００の処理フローを説明する。まず、表示制御部３００は、空間情報格納部５１０およびオブジェクト情報格納部５２０を参照して図１０に示すような仮想空間２と、表示オブジェクトＤＯを生成する（Ｓ１２０−７）。本実施形態では、表示オブジェクトＤＯは漫画といった文字やイラストを含むコンテンツを構成するものであり、複数の表示オブジェクトＤＯが当該コンテンツを構成するための各ページを含む。即ち、複数の表示オブジェクトＤＯは、当該コンテンツのストーリーに従った連続性を有する。なお、表示オブジェクトＤＯは、当該コンテンツとは連続性を有していないキャラクタオブジェクトＣを含んでいてもよい。オブジェクト特定部３１０がこのような仮想空間２に配置される複数の表示オブジェクトＤＯを特定すると、表示態様決定部３２０は、複数の表示オブジェクトＤＯを、仮想空間２の天球面に沿って、螺旋状に配置する（Ｓ１２０−８）。複数の表示オブジェクトＤＯは、図１０および図１１Ａ〜Ｄに示すように、天球面の底面側から頂部に向けてＹ方向に螺旋を描くように、円周方向に沿って当該コンテンツの連続性に基づいて配置される。即ち、当該螺旋の円周方向に隣接して配置された表示オブジェクトＤＯは、ストーリーにおいて互いに連続するページに関する表示オブジェクトＤＯである。また、初期状態では、螺旋状に配置される各表示オブジェクトＤＯは、強調表示等が施されていないサブ表示されたサブ画像Ｓとして配置される。

仮想空間画像２２に表示オブジェクトＤＯが重畳して表示される。本実施形態では、仮想空間画像２２は、ユーザが仮想空間２においてコンテンツに集中できるように、色調で構成されている。例えば、仮想空間画像２２は単一の色調で構成されていてもよいし、複数の色調を含むグラデーションで構成されていてもよい。

モード設定部３４０は、制御回路部１２０における制御を第１モードに設定する（Ｓ１２０−９）。本実施形態では、初期状態において、第１モードに設定されている。第１モードは、後述するように、いずれかの表示オブジェクトＤＯを強調し、メイン表示とされたメイン画像Ｍを、基準視線５と関連付けて仮想空間２に表示する制御態様である。

ＨＭＤ１１０から位置や角度の変動といった所定の動きが入力されると（Ｓ１１０−３）、基準視線特定部２４０は基準視線５を特定する。そして、オブジェクト特定部３１０は、表示オブジェクトＤＯの中から、初期状態に基準視線５と関連付けて仮想空間に表示されるメイン画像Ｍを特定する（Ｓ１２０−１０）。ユーザが初めて当該コンテンツを視聴する場合には、最初のページに相当する表示オブジェクトＤＯがメイン画像Ｍとして特定される。また、前回最後に視聴したページに栞が設定されている場合には、当該ページに相当する表示オブジェクトＤＯがメイン画像Ｍとして特定される。表示態様決定部３２０は、当該表示オブジェクトＤＯをメイン画像Ｍとして仮想空間２に表示するように決定する。表示調整部３３０は、メイン画像Ｍの仮想空間２における配置位置や配置角度を設定する（詳しくは後述する）。

オブジェクト制御部３００は表示オブジェクトＤＯの表示態様に関する情報を表示制御部２００に出力し、視界画像生成部２６０は仮想空間画像２２に表示オブジェクトＤＯを表示させた仮想空間２に関する情報を、ＨＭＤ１１０に出力する。ＨＭＤ１１０はこれを受信し、ディスプレイ１１２に仮想空間２を表示させる（Ｓ１１０−４）ことで、ユーザが没入する仮想空間２が提供される。図１０に示すように、ユーザが没入する仮想空間２は、仮想カメラ１が天球の中心２１に配置され、基準視線に基づいて設定される視界領域２３内にメイン画像Ｍ及びサブ画像Ｓが含まれることが好ましい。これにより、ユーザは漫画の各ページに囲まれた中で読み進めるという新たな体験を得ることができる。

ユーザは、仮想空間２において第１アクションを入力することができる（Ｓ１１０−５）。第１アクションは、第１モードにおいてメイン画像Ｍとして表示されている表示オブジェクトＤＯを更新するための指示である。第１アクションは、ＨＭＤ１１０の所定の動き（首を左右に振る動作）であってもよいし、注視センサ１４０によって取得される所定の視線移動（視線を左右に動かす動作）であってもよいし、外部コントローラ１５０からの入力（左右へのスワイプ操作）であってもよい。

制御回路部１２０が第１モードである場合には、第１アクションによってメイン画像Ｍに表示されるページをめくることができる（Ｓ１２０−１１，Ｓ１２０−１２）。例えば、ユーザが右方向への移動操作（首、視線、スワイプ）を入力した場合、図１１Ａに示すように、メイン画像として表示されていた画像が図１１Ｂに示すように一つ右へ移動されるとともに、サブ画像に変化される（Ｓ１２０−１３）。また、図１１Ａにおいてメイン画像の一つ左側に配置されていたサブ画像１０が、一つ右へ移動されるとともに、メイン画像に変化される（Ｓ１２０−１４）。また、その他の全てのサブ画像は、サブ画像のまま一つずつ右側へずれるように移動される。これにより、メイン画像Ｍに表示されるページが次のページに更新される。

また、ユーザが左方向への移動操作（首、視線、スワイプ）を入力した場合、図１１Ｃに示すように、メイン画像として表示されていた画像が図１１Ｄに示すように一つ左へ移動されるとともに、サブ画像に変化される（Ｓ１２０−１３）。また、図１１Ｃにおいてメイン画像の一つ右側に配置されていたサブ画像９が、一つ左へ移動されるとともに、メイン画像に変化される（Ｓ１２０−１４）。また、その他の全てのサブ画像は、サブ画像のまま一つずつ左側へずれるように移動される。これにより、メイン画像Ｍに表示されるページが前のページに更新される。

メイン画像Ｍに表示されるページを更新する場合には、各表示オブジェクトＤＯの位置を動かすこととしてもよいし、位置は動かすことなく表示される画像のみを更新することとしてもよい。これらの場合、表示調整部３３０は、図１２に示すように、各表示オブジェクトＤＯに表示されたコンテンツに関する視覚的効果を低減させる処理を施した上で、各表示オブジェクトに表示させるコンテンツを更新してもよい。視覚的効果を低減させる処理としては、図１２に示すように画像にブラーをかけたり、解像度を落としたり、スモークをかける等して、コンテンツの内容を認識できなくすることとしてもよい。これにより、ユーザはＨＭＤ１１０の動きに連動しない視覚的効果を受けることによる映像酔い（所謂ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）酔い）を低減することができる。

本実施形態では、仮想空間画像２２は色調から構成されている。この場合には、仮想空間画像２２には上記の視覚的効果を低減させる処理を施さないことが好ましい。色調から構成される仮想空間画像２２は、もともと視覚的効果としての情報量が少ないため、ユーザはＨＭＤ１１０の動きに連動しない視覚的効果を受けることによる影響が小さく、ＶＲ酔いを起こすおそれが小さい。従って、表示オブジェクトＤＯのみに上記の視覚的効果を低減させる処理を施すことで、制御回路部１２０における処理負荷を低減することができる。

図１３Ａ，図１３Ｂ，図１４に、オブジェクト特定部３１０によって特定されるメイン画像Ｍの一例、および、表示調整部３３０によって決定されるメイン画像Ｍとサブ画像Ｓの関係を示す。図１３Ａ，図１３Ｂに示すように、仮想カメラ１がサブ画像の中心に配置され、メイン画像はサブ画像が仮想カメラ１側に前進し、ユーザから拡大されるようにして強調表示されているものとして認識される。この時、メイン画像Ｍは前進すると共に、やや拡大される（例えば、１．２〜１．５倍）ことにより、さら強調して表示させることができる。本実施形態では、ユーザは仮想空間２の中心２１に常に位置していることが好ましく、ＨＭＤ１１０の動きにより、基準視線５の向きのみが変動することとされている。そして、基準視線５の向きが変動した場合、水平面（ＸＺ面）内において全てのサブ画像Ｓおよびメイン画像Ｍが基準視線５と直交するように配置されることが好ましい。

図１４に、オブジェクト情報格納部５２０に格納される表示オブジェクト管理テーブルＴ１の一例を示す。表示オブジェクト管理テーブルＴ１は、コンテンツを構成する各ページ番号と画像ファイル、画像サイズ、表示方法が関連付けて記憶されている。表示態様特定部３２０は表示オブジェクト管理テーブルＴ１を参照し、表示方法が通常に設定されている場合には、図１３Ａに示すように、単一の表示オブジェクトＤＯのみをメイン画像Ｍに表示させる。一方、表示方法が見開きに設定されている場合には、図１３Ｂに示すように、互いに連続する複数の表示オブジェクトＤＯを含むようにメイン画像Ｍに表示させる。この時、メイン画像Ｍのサイズは複数の表示オブジェクトＤＯのサイズの和とされているので、ユーザは迫力ある見開きのページを楽しむことができる。

図１５、図１６Ａ〜Ｃを参照して、表示調整部３３０が設定するメイン画像Ｍの表示角度について説明する。モード設定部３４０により第１モードに設定されている場合に（Ｓ１２０−９）、ＨＭＤ１１０から動き（基準視線５に関する情報）が入力されると（Ｓ１１０−３）、オブジェクト特定部３１０はメイン画像Ｍとして表示する表示オブジェクトＤＯを特定する（Ｓ１２０−１０）。表示調整部３３０は、特定されたメイン画像Ｍの基準位置ＢＰを特定する（Ｓ１２０−１５）。図１６Ａに示すように、基準位置ＢＰはメイン画像Ｍに含まれる所定位置であり、サブ画像がメイン表示される場合の初期位置を設定するための基準となる位置である。本実施形態では、基準位置ＢＰはメイン画像Ｍのピッチ方向における中心であり、ヨー方向における中心からヨー方向にシフトした位置（基準視線範囲ＢＲ内のいずれかの位置）に設定されている。初期状態では、基準視線５が基準位置ＢＰと交差するように、メイン画像Ｍの位置が設定される。また、メイン画像Ｍの法線が基準視線５と仮想カメラ１の交点である基点Ｐと交差するように、メイン画像Ｍの角度が設定される（Ｓ１２０−１６）。

このとき、まず、基準位置ＢＰを基準視線５に適合させるように（基準視線５が基準位置ＢＰと交差する）ように、メイン画像Ｍの位置を設定する（Ｓ１２０−１７）。そして、図１６Ｂに示すように、水平面（ピッチ方向とロール方向を含む面）内における基準視線５とメイン画像Ｍのなす角度を特定する。本実施形態では、基準視線５がメイン画像Ｍと直交するように、メイン画像Ｍの位置および角度が設定される。次に、図１６Ｃに示すように、垂直面（ヨー方向とロール方向を含む面）内における基準視線５とメイン画像Ｍのなす角度を特定する。本実施形態では、メイン画像Ｍの下端が仮想カメラ１側に近くなるようにメイン画像Ｍをピッチ方向軸周りに角度θだけ回転させ、垂直面内における基準視線５とメイン画像Ｍのなす角度を設定する。当該角度θは、６０°より大きく、８５°より小さいことが好ましい。また、垂直面内において、メイン画像Ｍの法線が基準視線５の基点Ｐと交差することが好ましい。

描画部３６０は以上のように位置及び角度が設定されたメイン画像Ｍを描画して表示制御部２００に出力し、表示制御部２００はメイン画像ＭをＨＭＤ１１０に出力する（Ｓ１１０−４）。これにより、ユーザは基準視線５の方向に対して、水平面内において直交するようにメイン画像Ｍを視認できるとともに、垂直面内においてはやや上方に傾斜するようにメイン画像Ｍを視認できる。本実施形態では、基準視線５としてＨＭＤ１１０の傾きによって検出される視界方向として定義されることが好ましい。ユーザの視線は頭の正面であるロール方向よりやや下方に下がっていく傾向にあるため、前記のように配置されたメイン画像Ｍに自然な視線方向（注視方向ＧＤ）を送った場合、メイン画像Ｍをほぼ垂直な角度で視認することができる。また、メイン画像Ｍの法線が基準視線５の基点Ｐと交差するように基準位置ＢＰを設定すれば、メイン画像Ｍを垂直面内においても自然に垂直な角度で視認することができる。なお、ユーザの好みに応じて基準位置ＢＰを変更するなどして、基準視線５とメイン画像Ｍがなす角度θを変更できるようにしてもよい。この場合、メイン画像Ｍを、メイン画像Ｍの中心を軸として、ピッチ方向周りに回転させることにより、角度θを調整してもよい。これにより、ユーザの注視方向の下がる角度の個人差や、メイン画像Ｍを注視する角度の好みに応じて、仮想空間２を構成することができる。

次に、図１７，図１８Ａ〜Ｃを参照して、メイン画像Ｍが表示された後にユーザの基準視線５の変動が入力された場合の処理を説明する。ＨＭＤ１１０の動きの変化により基準視線５の変化が入力された場合（Ｓ１１０−５）、判定部３５０は基準領域ＢＲＥを特定する（Ｓ１２０−１９）。本実施形態では、基準領域ＢＲＥはメイン画像Ｍを囲む領域として設定されている。判定部３５０は基準視線５が基準領域ＢＲＥと交差しているか否かを判定する（Ｓ１２０−２０）。

図１８Ａに示すように基準視線５が基準領域ＢＲＥと交差している場合には、表示調整部３３０はメイン画像Ｍの配置位置や角度を調整しない。これにより、ユーザはメイン画像Ｍの隅に視線を送るために若干ＨＭＤ１１０の傾きが変動した場合にも、それに追随してメイン画像Ｍの位置や角度が変動しないので、コンテンツ全体を容易に視認することができる。

一方、図１８Ｂに示すように基準視線５が基準領域ＢＲＥと交差していない場合には、表示調整部３３０はメイン画像Ｍの配置位置や角度を調整する。まず、図１８Ｃに示すように、基準視線５が基準領域ＢＲＥと交差するように、メイン画像Ｍの位置を移動させる（Ｓ１２０−２１）。このとき、基準視線５が基準位置ＢＰと交差する位置までメイン画像Ｍを移動させることが好ましい。さらに、メイン画像Ｍの移動に伴って基準視線５とメイン画像Ｍの角度の関係を調整する（Ｓ１２０−２２）。具体的には、図１６Ａ〜Ｃに示した角度の関係とされるように、基準位置と基準視線の適合ステップ（Ｓ１２０−２３）、水平面内における基準視線５とメイン画像Ｍの角度調整ステップ（Ｓ１２０−２４）、垂直面内における基準視線５とメイン画像Ｍの角度調整ステップ（Ｓ１２０−２５）を実行させる。

描画部３６０は以上のように位置及び角度が設定されたメイン画像Ｍを描画して表示制御部２００に出力し、表示制御部２００はメイン画像ＭをＨＭＤ１１０に出力する（Ｓ１１０−６）。これにより、ユーザが姿勢を変えるような比較的大きな動きを行った場合には、基準視線の変動に追随してメイン画像Ｍを表示させることができる。これにより、ユーザは所望の姿勢で容易にコンテンツを楽しむことができる。

図１９，図２０Ａ，図２０Ｂを参照して、モード設定部３４０により設定される第２モードについて説明する。所定のユーザ入力を受け付けることにより、モード設定部３４０が制御回路部１２０の制御を第２モードに設定する（Ｓ１２０−２６）。これにより、表示態様決定部３２０は、図２０Ａに示すように、メイン画像の表示態様を、強調されたメイン表示からサブ表示へと変更するとともに、上述のような基準視線５とメイン画像Ｍとの関連づけを解除する（Ｓ１２０−２７）。これにより、ユーザは多くのサブ画像Ｓを一括して視認することができる。

次に、ユーザは所望のサブ画像Ｓに対して、所定の第２アクションを入力する（Ｓ１１０−７）。第２アクションは、例えば基準視線５（ＨＭＤ１１０の傾きに連動する視界方向、または、注視センサ１４０により特定される視線方向）を所望のサブ画像に一定時間以上向けるアクションである。また、外部コントローラ１５０により所望のサブ画像Ｓ（図２０Ａにおける、見たい画像Ａ）を選択するアクションであってもよい。制御回路部１２０が第２モードに設定されている場合には（Ｓ１２０−２８）、オブジェクト制御部３００はこれを受け付け、オブジェクト特定部３１０が第２アクションによって選択された表示オブジェクトＤＯ（見たい画像Ａ）を特定する（Ｓ１２０−２９）。

表示態様決定部３２０は、図２０Ｂに示すように、選択された表示オブジェクトＤＯをメイン画像として設定し、表示調整部３３０が当該表示オブジェクトＤＯの位置および角度を上述のように設定する（Ｓ１２０−３０）。また、モード設定部３４０は制御回路部の処理を第１モードに設定し、ユーザの基準視線移動に従ったメイン画像の操作を可能にする（Ｓ１２０−３０）。描画部３６０は以上のように位置及び角度が設定されたメイン画像Ｍを描画して表示制御部２００に出力し、表示制御部２００はメイン画像ＭをＨＭＤ１１０に出力する（Ｓ１１０−８）。これにより、ユーザは所望のサブ画像へとページをジャンプさせる操作が可能になるとともに、ページをジャンプした後は当該ページを読みやすい角度に表示させることができる。

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。

例えば、上述の実施形態においては、初期状態では制御回路部１２０の処理が第１モードに設定されている場合を説明したが、初期状態で第２モードに設定されていてもよい。また、第１モードと第２モードが、所定のユーザ入力によって任意に設定可能であってもよい。

また、第１モードにおける図１３Ａ、図１３Ｂに示した状態において、基準視線５が移動された際、メイン画像Ｍが配置されていた仮想空間２における部分には、表示オブジェクトＤＯが配置されないままとしてもよい。これにより、ユーザはメイン画像Ｍの当該コンテンツにおけるページ位置を、基準視線５を動かした場合にも容易に知ることができる。なお、基準視線５が移動された際、メイン画像Ｍが配置されていた仮想空間２における部分を詰めるように、サブ画像Ｓを移動させるようにしてもよい。

１００…ヘッドマウントディスプレイ（ＨＭＤ）システム、１１０…ＨＭＤ、１１２…ディスプレイ、１１４…センサ部、１２０…制御回路部、１３０…動きセンサ、１３２…検知部、１４０…注視センサ、１５０…外部コントローラ、２００…表示制御部、３００…オブジェクト制御部、４００・・・通信制御部、５００…記憶部、１…仮想カメラ、２…仮想空間、５…基準視線、２２…仮想空間画像、２３…視界領域、２６…視界画像、ＢＰ…基準位置、ＢＲ…基準視線方向、ＢＲＥ…基準領域、ＤＯ…表示オブジェクト、Ｍ…メイン画像、Ｓ…サブ画像。

Claims (5)

1. ヘッドマウントディスプレイにユーザが没入する仮想空間を提供するプログラムであって、コンピュータに、
   前記ユーザが没入する仮想空間を、背景となる仮想空間画像と、前記仮想空間画像に重畳される表示オブジェクトとを含むように生成するステップと、
   前記表示オブジェクトの位置または表示を更新するステップと、
   前記表示オブジェクトの位置または表示を更新する際に、前記表示オブジェクトの視覚的効果を低減させる処理を施すステップと、
   を実行させ、
   前記表示オブジェクトは、所定のコンテンツを構成するために連続性を有する複数の前記表示オブジェクトからなり、複数の前記表示オブジェクトを前記連続性に基づいて前記仮想空間に配置される、プログラム。
2. ヘッドマウントディスプレイに対してユーザに仮想空間における体験を提供させるプログラムプログラムであって、コンピュータに、
   前記仮想空間を、背景となる仮想空間画像と、前記仮想空間画像に重畳される表示オブジェクトとを含むように生成するステップと、
   前記表示オブジェクトの位置または表示を更新するステップと、
   前記表示オブジェクトの位置または表示を更新する際に、前記表示オブジェクトの視覚的効果を低減させる処理を施すステップと、
   を実行させ、
   前記表示オブジェクトは、所定のコンテンツを構成するために連続性を有する複数の前記表示オブジェクトからなり、複数の前記表示オブジェクトを前記連続性に基づいて前記仮想空間に配置される、プログラム。
3. 前記表示オブジェクトの視覚的効果を低減させる処理を施す際に、前記仮想空間画像には視覚的効果を低減させる処理を施さない、
   請求項１または２のプログラム。
4. 前記仮想空間画像は、天球面に沿って構成されたパノラマ画像として生成され、
   複数の前記表示オブジェクトは、前記天球面に沿って螺旋状に配置され、
   前記螺旋の円周方向に隣接して配置された前記表示オブジェクトは、互いに連続する前記表示オブジェクトである、
   請求項１〜３のいずれかのプログラム。
5. 前記コンピュータであって、少なくともプロセッサとメモリを備え、請求項１〜４のいずれかのプログラムを実行させる、コンピュータ。