JP5869177B1 - 仮想現実空間映像表示方法、及び、プログラム - Google Patents

Abstract

【課題】ユーザが没入する仮想空間の視野画像をヘッドマウント・ディスプレイに提供する。【解決手段】ユーザが没入する仮想空間の視野画像をヘッドマウント・ディスプレイに提供するときに、ＨＭＤの装着者が視認する情報量を抑える画像生成を行う。【選択図】図５

Description

本発明は、ユーザが没入する仮想空間をヘッドマウント・ディスプレイ（Head Mounted Display:以下、ＨＭＤ）に提供する方法、および、そのためのプログラムに関するものである。

特許文献１には、撮像装置の動きの角速度を検出し、その角速度に応じて中心部に対する外周部ないし周縁部のぼかし量を設定したフィルタ処理を行うことによって、映像酔いを防ぐ手法が開示されている。

特開２００７−１１６３０９号公報

しかしながら、特許文献１の撮像装置は現実空間に置かれたものであり、ＨＭＤを装着して仮想空間に没入しているときのような特殊な視聴環境を想定したものではない。本発明は、ＨＭＤにより仮想現実（Virtual Reality:以下ＶＲ）を提供するに当たっての映像酔い（いわゆるＶＲ酔い）を低減することを課題とする。

本発明は、ＨＭＤの装着者が視認する情報量を抑えることによって、ユーザが没入する仮想空間をＨＭＤに適切に提供する方法、および、そのためのプログラム、を得ることができる。

本発明によれば、ＶＲ酔いを低減可能なＨＭＤシステムを提供できる。
このほかの、この発明の特徴及び利点は、この発明の実施例の説明、添付の図面、及び請求の範囲から明らかなものとなる。

本発明を適用するＨＭＤを用いたシステムの構成の概要を示す図である。 ＨＭＤを装着している装着者の頭部の動きを示す図である。 本発明の説明の前提となる仮想カメラの動きの一例を示す図である。 本発明の説明の前提となる仮想カメラの動きの別の一例を示す図である。 本発明を実現するための処理についてのフローチャートである。 本発明で提供される過渡期画像の一例を示す図である。 本発明で提供される過渡期画像の他の一例を示す図である。 本発明を実現するための装置のブロック図である。

［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。

(項目１) ユーザが没入する仮想空間をヘッドマウント・ディスプレイに提供する方法であって、前記ユーザが没入する仮想空間を構成する仮想空間画像のうち、前記ユーザが視認する視野画像を生成する視野画像計算ステップと、前記視野画像が更新される過渡期に前記ユーザが視認する画像を生成する過渡期画像生成ステップと、前記視野画像および前記過渡期画像を前記ヘッドマウント・ディスプレイに表示させる表示ステップと、を含み、前記過渡期画像生成ステップは、前記ヘッドマウント・ディスプレイの動きと同期して前記視野画像を更新する第一視野画像更新ステップと、前記ヘッドマウント・ディスプレイの動きと同期せずに、前記視野画像を更新する第二視野画像更新ステップと、を含み、前記第二視野画像更新ステップは、前記視野画像が更新される過渡期に前記ユーザが視認する画像として、前記ユーザが視認する情報量を低減させる過渡期画像を生成することを含む、方法。

(項目２) 前記第二視野画像更新ステップにおいて、前記視野画像を定義する仮想カメラを移動させることにより前記視野画像を更新し、前記仮想カメラの移動量が所定量を超える場合に、前記過渡期画像を生成する、ことを特徴とする項目１に記載の方法。

(項目３) 前記第二視野画像更新ステップにおいて、前記視野画像を定義する仮想カメラを前記仮想カメラの視軸の方向へ移動させることにより前記視野画像を更新し、前記過渡期画像は、前記視軸を含む所定範囲を除く領域について、前記ユーザが視認する情報量を低減させた画像である、ことを特徴とする項目１又は２に記載の方法。

(項目４) 前記第二視野画像更新ステップにおいて、前記視野画像を定義する仮想カメラを所定の速度以上で移動させることにより前記視野画像を更新する、ことを特徴とする項目１〜３のいずれか一項に記載の方法。

(項目５) 前記仮想カメラが、前記仮想空間の所定の地点を中心に旋回するように移動する場合、前記所定の速度は２００°／秒以上である、項目４に記載の方法。

(項目６) 前記所定の速度は３００°／秒以上である、項目５に記載の方法。

(項目７) 項目１〜６のいずれか一項に記載の方法をコンピュータに実行させるためのプログラム。

［本発明の実施形態の詳細］
以下、図面を参照して、本発明の実施の形態を説明する。なお、仮想空間は３次元仮想空間としているが、必ずしもそれに限られる必要はない。
また、図中、同一の構成要素には同一の符号を付してある。
図１は、本発明を適用するＨＭＤを用いたシステムの構成の概要を示す図である。
図１に示すように、ＨＭＤシステム１００は、ＨＭＤ１１０、制御回路部１２０、動きセンサとしてのポジション・トラッキング・カメラ（位置センサ）１３０および／またはセンサ１１４、並びに外部コントローラ１４０を備える。

ＨＭＤ１１０は、ディスプレイ１１２、センサ１１４およびヘッドフォン１１６を具備する。なお、ＨＭＤ１１０にヘッドフォン１１６を設けずに、ＨＭＤ１１０とは独立したスピーカやヘッドフォンを用いてよい。

ディスプレイ１１２は、ＨＭＤの装着者の視野を完全に覆うよう構成された非透過型の表示装置を備え、ＨＭＤの装着者はディスプレイ１１２に表示される画面のみを観察することができる。そして、ＨＭＤ１１０を装着した装着者は、外界の視野を全て失うため、制御回路部１２０において実行されるアプリケーションにより表示される仮想空間に完全に没入する。

ＨＭＤ１１０が具備するセンサ１１４は、ディスプレイ１１２近辺に固定される。センサ１１４は、地磁気センサ、加速度センサ、および／または傾き（角速度、ジャイロ）センサを含み、これらの１つ以上を通じて、ＨＭＤの装着者の頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の各種動きを検出することができる。

制御回路部１２０は、ＨＭＤ１１０の装着者を３次元仮想空間としてのＶＲ空間に没入させるための動作を、ＨＭＤ１１０に実施させるための制御回路部１２０として機能する。図１のように、制御回路部１２０は、ＨＭＤ１１０とは別のハードウェアとして構成してもよい。当該ハードウェアは、パーソナルコンピュータやネットワークを通じたサーバ・コンピュータのようなコンピュータとすることができる。即ち、互いにバス接続されたＣＰＵ、主記憶、補助記憶、送受信部、表示部、および入力部を備える任意のコンピュータとすることができる。代替として、制御回路部１２０は、ＨＭＤ１１０内部に搭載されてもよい。また、制御回路部１２０は、ネットワークを通じたサーバ・コンピュータ（図示せず）側に実装してもよい。

ポジション・トラッキング・カメラ１３０は、制御回路部１２０に通信可能に接続され、ＨＭＤ１１０の位置追跡機能を有する。ポジション・トラッキング・カメラ１３０は、赤外線センサや複数の光学カメラを用いて実現される。 ＨＭＤシステム１００は、ＨＭＤ１１０の位置を受け付けることによって、仮想空間における仮想カメラの位置と、現実空間における装着者の位置を正確に対応付けることができる。

ＨＭＤシステム１００は外部コントローラ１４０を備える。外部コントローラ１４０は、一般的なユーザ端末であり、例えば、ゲーム用コンソールの他、スマートフォン、ＰＤＡ(Personal Digital Assistant)、タブレット型コンピュータ、ノートＰＣ(Personal Computer)のようなタッチ・ディスプレイを備える携帯型デバイスであることが好ましい。外部コントローラ１４０は、互いにバス接続されたＣＰＵ(Central Processing Unit)、主記憶、補助記憶、送受信部、表示部、および入力部を備えることが好ましい。ＨＭＤ１１０の装着者は、外部コントローラ１４０に対してタッチ操作等の入力を行うことにより、ＶＲ空間に様々な操作指示を与えることができる。

次に、図２を参照して、ＨＭＤの装着者の頭部の動きを説明する。この頭部の動きは、ＨＭＤシステム１００が具備するポジション・トラッキング・カメラ１３０および／またはセンサ１１４で検知可能である。図示のように、ＨＭＤの装着者の頭部を中心として、ＸＹＺ座標が規定される。装着者が直立する垂直方向をＹ軸、Ｙ軸と直交しディスプレイ１１２の中心と装着者を結ぶ方向をＺ軸、Ｙ軸およびＺ軸と直交する方向の軸をＸ軸とする。センサ１１４では、各軸回りの角度（即ち、Ｙ軸を軸とした回転を示すヨー角、Ｘ軸を軸とした回転を示すピッチ角、Ｚ軸を軸とした回転を示すロール角で決定される傾き）を検知し、その経時的な変化により、制御回路部１２０が視野情報を定義する仮想カメラを制御するための角度（傾き）情報データを決定する。ＨＭＤの装着者の頭部の動きは、６つの自由度を有する検知情報に基づいて検知される。

仮想カメラ３００は、ＨＭＤ１１０の動きに基づいて制御される。具体的には、ユーザが視認する視野は仮想カメラの視軸によって定義され、当該視軸がＨＭＤ１１０のＺ軸方向に対応するように、現実空間におけるＨＭＤ１１０の動きとＶＲ空間における仮想カメラの動きが対応付けられる。また、ユーザが視認する視野はＨＭＤ１１０の動きに基づかずに制御されてもよく、例えば、外部コントローラ１４０への入力によって制御される。なお、ＶＲ空間を用いているコンテンツによっては、ＨＭＤ１１０の動き、外部コントローラ１４０への入力が無い状態で、自動的に仮想カメラ３００が仮想空間内で動く場合もある。

図３、図４に、ユーザが視認する視野がＨＭＤ１１０の動きに基づかずに制御される場合における、仮想カメラ３００の動きの一例を説明する。
図３に示すように、ＶＲ空間３０２内に物体３０１が配置されている。ユーザが外部コントローラ１４０へ仮想カメラを制御するための入力を行うと、仮想カメラ３００は物体３０１を中心として旋回するように時計回りに移動される。これにより、仮想カメラ３００は物体３０１を中心として時計回りに９０°旋回し、始点であるＡ地点から終点であるＢ地点へと移動されるとともに、仮想カメラ３００の向きが物体３０１を向くように制御される。

仮想カメラ３００の動作は旋回動作に限定されず、図４に示すようにＡ地点からＢ地点へと平行移動されることとしても良い。この場合には、仮想カメラ３００の移動する位置は図３に示した場合と同様であるが、仮想カメラ３００の向きは物体４０１を向くように制御されない。

本実施形態においては、ＶＲ空間における仮想カメラが動くことに対応して視野画像を更新する。このとき、ＨＭＤ１１０の動きと仮想カメラ３００の動きを同期させる場合と、ＨＭＤ１１０の動きと仮想カメラの動きを同期させないときで、視野画像を更新する手法を異ならせる。後者の場合には、仮想カメラ３００をＡ地点からＢ地点へと移動させる過渡期に、ＨＭＤ１１０の装着者が視認する情報量を抑える過渡期画像を生成しつつ、視野画像を更新する。

図５は、本実施形態を実現するための処理についてのフローチャートである。図８は、本実施形態を実現するための制御回路部１２０の機能を示すブロック図である。図６，図７は、過渡期画像の一例を示す図である。

まず、仮想空間内での仮想カメラ３００を移動させるための入力を検知する（ステップＳ５０２：入力ステップ）。この入力は、例えばＨＭＤ１１０の動きや、外部コントローラ１４０からの入力である。

次に、この入力に基づいて、仮想空間における仮想カメラ３００を動かす。具体的には、仮想カメラ３００を移動させる終点（Ｂ地点）における仮想カメラ３００の新たな位置、方向を特定する。そして、移動先における仮想カメラ３００の位置、視軸の方向に基づいて、移動先における視野画像を特定する。（ステップＳ５０３：視野画像計算ステップ）。

なお、ＶＲ空間を用いているコンテンツによっては、仮想カメラ３００の移動を規定する入力によらず、自動的に仮想カメラ３００が仮想空間内で動く場合もある。この場合、当該入力によらず移動後の仮想カメラの新たな位置、方向を計算し、上記視野画像計算ステップが実行される。

次に、視野画像を更新する過渡期にユーザが視認する過渡期画像を生成する。（ステップＳ５０４：過渡期画像生成ステップ）。過渡期画像生成ステップＳ５０４において、制御回路部１２０は仮想カメラ３００を移動が、ＨＭＤ１１０の動きと仮想カメラ３００の動きを同期させる場合におけるものか、ＨＭＤ１１０の動きと仮想カメラの動きを同期させない場合におけるものかを判定する（入力判定ステップＳ５０５）。

ＨＭＤ１１０の動きと同期して視野画像を更新すると判定された場合には、制御回路部１２０は過渡期画像を表示させることなく、視野画像を更新する。すなわち、第一視野画像更新ステップＳ５０６においては、過渡期画像が生成されない。ＶＲ空間におけるユーザの視野がＨＭＤ１１０の動きと同期する場合には、ユーザが映像酔いを起こしにくいからである。

これに対し、ＨＭＤ１１０の動きと同期せずに視野画像を更新する場合には、制御回路部１２０は過渡期画像を表示させつつ、視野画像を更新する。すなわち、第二視野画像更新ステップＳ５０７においては、過渡期画像が生成される。

なお、この場合であっても、仮想カメラ３００の移動量が所定の閾値を超えない場合は、第一視野画像更新ステップＳ５０６を実行してもよい。即ち、仮想カメラ３００の移動量が所定の閾値を超える場合に、第二視野画像更新ステップＳ５０７を実行してもよい。視野の移動量が小さい場合には、ユーザに頭部の動作と同期しない視野の移動が提示されたとしても、映像酔いを起こしにくいからである。

第二視野画像更新ステップＳ５０７が実行された場合には、過渡期画像が生成される。図６(a)は比較として示す視野画像であり、図６(b)は過渡期画像の一例を示す。図６(b)に示す過渡期画像は、図６(a)に示す視野画像に比較して、画像全体にユーザが視認する情報量を低減させる処理が施されている。具体的には、図６(b)に示す過渡期画像は、全体として解像度が低下されている。また、全体としてコントラストが低下されている。

このような過渡期画像は、仮想カメラ３００が仮想空間内で、以下の動きをした場合に生成されることが好ましい。
・Ｘ軸方向、Ｙ軸方向に移動した場合
・Ｙ軸を軸としたヨー角について回転する動きをした場合
・Ｘ軸を軸としたピッチ角について回転する動きをした場合
図７に過渡期画像の他の一例を示す。図７(a)は比較として示す視野画像であり、図７(b)は過渡期画像の一例を示す。図７(b)に示す過渡期画像は、図７(a)に示す視野画像に比較して、画像全体にユーザが視認する情報量を低減させる処理が施されている。一方、図７(b)に示す過渡期画像は、図６(b)に示す過渡期画像と異なり、全体として解像度が低下されていない。即ち、視野画像の中心に位置する視軸を含む所定範囲を除く領域（一定範囲の外側）について、上記のようにユーザが視認する情報量を低減させる処理が施されている。

このような過渡期画像は仮想カメラ３００が仮想空間内で、以下の動きをした場合に生成されることが好ましい。
・Ｚ軸方向に移動した場合
・Ｚ軸を軸としたロール角について回転する動きをした場合
生成された仮想カメラ３００の移動先の視野画像および過渡期画像は、ＨＭＤ１１０に送られてディスプレイ１１２で表示される（ステップＳ５０８：画像表示ステップ）。これにより、第一視野画像更新ステップＳ５０６が実行された場合には、過渡期画像を表示すること無く視野画像が更新され、第二視野画像更新ステップＳ５０７が実行された場合には、過渡期画像を表示しつつ視野画像を更新する。これにより、ＨＭＤ１１０の動きに同期せずに視野画像を更新する場合に、ユーザが頭部の動きに同期しない過渡期画像を視認したとしても、当該過渡期画像からユーザが認識する情報量が低下されるため、映像酔いを起こしにくくすることができる。

なお、過渡期画像は上記のように視野画像の少なくとも一部にユーザが視認する情報量を低減させる処理を施すことに限定されない。例えば、ＨＭＤ１１０の動きと同期せずに視野画像を更新する場合には、仮想カメラ３００を高速で移動させるようにして視野画像を更新してもよい。

この場合、過渡期画像としては、仮想カメラ３００がＡ地点からＢ地点に向けて移動される過渡期における、仮想カメラ３００の視野画像が連続的に表示されることとなる。しかし、表示される視野画像の変化が非常に激しいため、ユーザの視覚の反応速度の限界により、視野画像から視野情報を認識しきれないこととなる。これにより、視野情報を更新する過渡期においてユーザが視認する情報量を抑えることができ、映像酔いを防止することができる。

仮想カメラ３００の移動速度は、例えば２００°／秒以上の角速度であることが好ましく、２５０°／秒以上の角速度であることがさらに好ましく、３００°／秒以上の角速度であることがさらに好ましい。例えば、７５フレーム／秒で表示するＨＭＤを用いた場合に、仮想カメラ３００の移動速度は４５°／１１フレーム（３０７°／秒）の角速度で移動することにより、好適に映像酔いを防止することができた。

なお、本実施形態においては、上記のような過渡期画像を組み合わせて表示させることがさらに好ましい。即ち、視野画像を更新する過渡期においては、視界画像をユーザが視認する情報量を低減させる処理を施した画像としつつ、仮想カメラ３００を高速で移動させるようにして視野画像を更新することが好ましい。

図８は、上記の処理を実行するための制御回路部１２０の機能を説明するブロック図である。図８は、制御回路部１２０を中心に、主要機能を実現させつための構成を示す。
制御回路部１２０は、入力部８１０と、視野画像計算部８２０と、過渡期画像生成部８３０と、第一視野画像更新部８３１と、第二視野画像更新部８３２を含む。入力部８１０は、センサ１１４／ポジション・トラッキング・カメラ１３０および外部コントローラ１４０からの入力を受けつけ、入力ステップＳ５０２を実行する。視野画像計算部８２０は、視野画像計算ステップＳ５０３に対応する処理を実行する。過渡期画像生成部８３０は過渡期画像生成ステップＳ５０４に応じた処理を実行し、第一視野画像更新部８３１が第一視野画像更新ステップＳ５０６に対応する処理を実行し、第二視野画像更新部８３２が第二視野画像更新ステップＳ５０７に対応する処理を実行する。制御回路部１２０は、上記の処理を実行した結果として、移動先の仮想カメラ３００の視野画像および過渡期画像をディスプレイ１１２へ出力する。

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の項目に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。

１００ システム
１１０ ＨＭＤ
１１２ ディスプレイ
１１４ センサ
１１６ ヘッドフォン
１２０ 制御回路部
１３０ ポジション・トラッキング・カメラ
１４０ 外部コントローラ
３００ 仮想カメラ
３０１ 物体
３０２ 仮想空間
４０１ 物体
Ｓ５０２ 入力ステップ
Ｓ５０３ 視野画像計算ステップ
Ｓ５０４ 過渡期画像生成ステップ
Ｓ５０５ 入力判定ステップ
Ｓ５０６ 第一視野画像更新ステップ
Ｓ５０７ 第二視野画像更新ステップ
Ｓ５０８ 画像表示ステップ
８１０ 入力部
８２０ 視野画像計算部
８３０ 過渡期画像生成部
８３１ 第一視野画像更新部
８３２ 第二視野画像更新部
８５０ 空間情報格納部

Claims (7)

1. ユーザが没入する仮想空間をヘッドマウント・ディスプレイに提供する方法であって、
   前記ユーザが没入する仮想空間を構成する仮想空間画像のうち、前記ユーザが視認する視野画像を生成する視野画像計算ステップと、
   前記視野画像が更新される過渡期に前記ユーザが視認する画像を生成する過渡期画像生成ステップと、
   前記視野画像および前記過渡期画像を前記ヘッドマウント・ディスプレイに表示させる表示ステップと、
   を含み、前記過渡期画像生成ステップは、
   前記ヘッドマウント・ディスプレイの動きと同期して前記視野画像を更新する第一視野画像更新ステップと、
   前記ヘッドマウント・ディスプレイの動きと同期せずに、前記視野画像を更新する第二視野画像更新ステップと、を含み、
   前記第二視野画像更新ステップは、前記視野画像が更新される過渡期に前記ユーザが視認する画像として、前記ユーザが視認する情報量を低減させる過渡期画像を生成することを含む、方法。
2. 前記第二視野画像更新ステップにおいて、
   前記視野画像を定義する仮想カメラを移動させることにより前記視野画像を更新し、
   前記仮想カメラの移動量が所定量を超える場合に、前記過渡期画像を生成する、
   ことを特徴とする請求項１に記載の方法。
3. 前記第二視野画像更新ステップにおいて、
   前記視野画像を定義する仮想カメラを前記仮想カメラの視軸の方向へ移動させることにより前記視野画像を更新し、
   前記過渡期画像は、前記視軸を含む所定範囲を除く領域について、前記ユーザが視認する情報量を低減させた画像である、
   ことを特徴とする請求項１又は２に記載の方法。
4. 前記第二視野画像更新ステップにおいて、
   前記視野画像を定義する仮想カメラを所定の速度以上で移動させることにより前記視野画像を更新する、
   ことを特徴とする請求項１〜３のいずれか一項に記載の方法。
5. 前記仮想カメラが、前記仮想空間の所定の地点を中心に旋回するように移動する場合、前記所定の速度は２００°／秒以上である、請求項４に記載の方法。
6. 前記所定の速度は３００°／秒以上である、請求項５に記載の方法。
7. 請求項１〜６のいずれか一項に記載の方法をコンピュータに実行させるためのプログラム。