WO2017130621A1

WO2017130621A1 - 仮想現実空間提供方法および仮想現実空間提供プログラム

Info

Publication number: WO2017130621A1
Application number: PCT/JP2016/088730
Authority: WO
Inventors: 健登中島
Original assignee: 株式会社コロプラ
Priority date: 2016-01-29
Filing date: 2016-12-26
Publication date: 2017-08-03
Also published as: US20170221180A1; JP2017134716A; JP6134019B1

Abstract

多様な視覚効果を有する３次元仮想現実空間画像をユーザに提示することを目的とする。ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供する方法であって、仮想現実空間を定義するステップと、ヘッドマウントディスプレイを装着したユーザの動きにしたがって、仮想現実空間において視点からの基準視線を特定するステップと、基準視線に基づいて、視点からの視界領域を特定するステップと、仮想現実空間内の仮想ディスプレイを視界領域内の位置に移動させるステップと、視界領域に対応した視界画像を生成し、ヘッドマウントディスプレイに表示するステップと、を含む、方法が得られる。

Description

仮想現実空間提供方法および仮想現実空間提供プログラム

　本発明は、仮想現実空間提供方法および仮想現実空間提供プログラムに関するものである。

　特許文献１には、ヘッドマウントディスプレイ（Ｈｅａｄ－ＭｏｕｎｔｅｄＤｉｓｐ
ｌａｙ。以下、「ＨＭＤ」と称することもある。）を装着したユーザに表示される仮想空間のコンテンツ画像に、現実空間におけるユーザの外界画像を重ねて表示する技術が開示される。

国際公開第２０１４／１５６３８９号

　特許文献１の技術は、ＨＭＤを装着した状態で外部環境が視認できないユーザに対し、その状況を知らせるために、単にコンテンツ画像中に外部画像を重ねてＨＭＤに表示するに過ぎない。ユーザへの視覚的な効果は限定的である。

　本発明は、上記の点に鑑みてなされたものである。即ち、３次元仮想現実空間（以下、単に、「３次元仮想空間」、「仮想空間」、「仮想現実空間」と称することもある。）に所定のコンテンツを出力可能なワイプ表示用の仮想ディスプレイを配置し、該仮想ディスプレイの動作をダイナミックに制御可能とする。つまり、本発明は、多様な視覚効果を有する３次元仮想現実空間画像をユーザに提示することを目的とする。

　上述した課題を解決するために、本発明の一態様によれば、ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供する方法であって、仮想現実空間を定義するステップと、ヘッドマウントディスプレイを装着したユーザの動きにしたがって、仮想現実空間において視点からの基準視線を特定するステップと、基準視線に基づいて、視点からの視界領域を特定するステップと、仮想現実空間内の仮想ディスプレイを視界領域内の位置に移動させるステップと、視界領域に対応した視界画像を生成し、ヘッドマウントディスプレイに表示するステップと、を含む、方法が得られる。

　また、本発明の他の態様によれば、ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供するプログラムであって、ヘッドマウントディスプレイに結合されるコンピュータに、仮想現実空間を定義する手段と、ヘッドマウントディスプレイを装着したユーザの動きにしたがって、仮想現実空間において視点からの基準視線を特定する手段と、基準視線に基づいて、視点からの視界領域を特定する手段と、仮想現実空間内の仮想ディスプレイを視界領域内の位置に移動させる手段と、視界領域に対応した視界画像を生成し、ヘッドマウントディスプレイに表示する手段と、として機能させる、プログラムが得られる。

　本発明によれば、３次元仮想現実空間内の視覚領域に対し、仮想ディスプレイの配置をダイナミックに制御して、仮想ディスプレイ上のコンテンツ画像を多様な視覚効果と共に
ワイプ表示可能とする。

一実施形態のＨＭＤシステムを示す例示の模式図である。一実施形態の制御回路部の例示の機能ブロック図である。一実施形態の３次元仮想空間例を示すＸＹＺ空間図である。図３に示したＸＹＺ空間図に対応する側面図および平面図である。一実施形態の制御回路部の動作例を示すフローチャートである。第１実施形態に係る制御回路部の動作例を示す概略図である。第２実施形態に係る制御回路部の動作例を示す概略図である。

　［本発明の実施形態の説明］
　最初に、本発明の実施形態の内容を列記して説明する。本発明の実施形態による仮想現実空間提供方法および仮想現実空間提供プログラムは、以下のような構成を備える。

　（項目１）　ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供する方法であって、
　前記仮想現実空間を定義するステップと、
　前記ヘッドマウントディスプレイを装着した前記ユーザの動きにしたがって、前記仮想現実空間において視点からの基準視線を特定するステップと、
　前記基準視線に基づいて、前記視点からの視界領域を特定するステップと、
　前記仮想現実空間内の仮想ディスプレイを前記視界領域内の位置に移動させるステップと、
　前記視界領域に対応した視界画像を生成し、前記ヘッドマウントディスプレイに表示するステップと
を含む、方法。

　（項目２）　項目１記載の方法において、前記ヘッドマウントディスプレイを装着した前記ユーザの動きに伴う前記基準視線の変位に連動して、前記仮想ディスプレイを移動させる前記ステップが繰り返し実行される、方法。

　（項目３）　項目１記載の方法において、更に、
　前記仮想ディスプレイの前記視界領域との重複割合が所定の値以下であるかを判定するステップを含み、
　前記重複割合が前記所定の値以下であると判断された場合に、前記仮想ディスプレイを移動させる前記ステップが実行される、方法。

　（項目４）　項目１から３のいずれか一項記載の方法であって、
　前記仮想ディスプレイを移動させる前記ステップにおいて、第１半径を有する球面に沿って前記仮想ディスプレイを移動させる、方法。

　（項目５）　項目４記載の方法であって、
　前記仮想現実空間を定義する前記ステップにおいて、前記仮想現実空間が、前記第１半径を有する前記球面上に３６０度コンテンツを表示するよう定義される、方法。

　（項目６）　項目４記載の方法であって、
　前記仮想現実空間を定義する前記ステップにおいて、前記仮想現実空間が、前記第１半径とは異なる第２半径を有する前記球面上に３６０度コンテンツを表示するよう定義される、方法。

　（項目７）　項目１から６のいずれか一項記載の方法であって、
　前記仮想ディスプレイを移動させる前記ステップにおいて、前記視界領域内の位置が、基準視線からの所定の極角および／または方位角を有する位置である、方法。

　（項目８）　項目１から７のいずれか一項記載の方法において、
　前記仮想現実空間を定義する前記ステップにおいて、前記仮想現実空間が、ターゲット・オブジェクトを配置するように定義され、
　前記仮想ディスプレイを移動させる前記ステップが、更に、前記仮想現実空間に前記ターゲット・オブジェクトを特定するステップを含み、前記仮想ディスプレイが更に、前記視点における前記基準視線から前記ターゲット・オブジェクトへの方向の前記視界領域内の位置に移動される、方法。

　（項目９）　項目１から８のいずれか一項記載の方法において、
　所定のユーザ作用に応答して、前記仮想ディスプレイを移動させる前記ステップが実行される、方法。

　（項目１０）　ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供するプログラムであって、前記ヘッドマウントディスプレイに結合されるコンピュータに、
　仮想ディスプレイが配置される前記仮想現実空間を定義する手段と、
　前記ヘッドマウントディスプレイを装着した前記ユーザの動きにしたがって、前記仮想現実空間において視点からの基準視線を特定する手段と、
　前記基準視線に基づいて、前記視点からの視界領域を特定する手段と、
　前記仮想現実空間内の仮想ディスプレイを前記視界領域内の位置に移動させる手段と、
　前記視界領域に対応した視界画像を生成し、前記ヘッドマウントディスプレイに表示する手段と
として機能させる、プログラム。

　（項目１１）　項目１０記載のプログラムにおいて、前記ヘッドマウントディスプレイを装着した前記ユーザの動きに伴う前記基準視線の変位に連動して、前記仮想ディスプレイを移動させる、プログラム。

　（項目１２）　項目１０記載のプログラムにおいて、更に、前記コンピュータに、
　前記仮想ディスプレイの前記視界領域との重複割合が所定の値以下であるかを判定する手段として機能させ、
　前記重複割合が前記所定の値以下であると判断された場合に、前記仮想ディスプレイを移動させる、プログラム。

　〔本発明の実施形態の詳細〕
　本発明の実施形態に係る仮想現実空間提供方法および仮想現実空間提供プログラムの具体例を、以下に図面を参照しながら説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

　図１は、実施形態によるＨＭＤシステム１００の例示のハードウェア構成図である。ＨＭＤシステム１００は、ＨＭＤ１１０および制御回路部２００を備える。ＨＭＤ１１０および制御回路部２００は、一例として有線ケーブル１４０によって電気的に接続され、相互に通信可能である。有線ケーブル１４０に代えて、無線接続としてもよい。ＨＭＤ１１
０は、ユーザ１５０の頭部に装着されて利用される表示デバイスである。ＨＭＤ１１０は、ディスプレイ１１２、センサ１１４、アイトラッキングデバイス（ＥｙｅＴｒａｃｋ
ｉｎｇＤｅｖｉｃｅ。以下、「ＥＴＤ」と称する。）１１６、スピーカ（ヘッドホン）
１１８を備える。ＥＴＤ１１６とセンサ１１４は、どちらか一方だけが択一的に設けられてもよい。

　ディスプレイ１１２は、ＨＭＤ１１０を装着したユーザ１５０の視界に画像を提示するように構成される。例えば、ディスプレイ１１２は、非透過型ディスプレイとして構成することができる。ＨＭＤ１１０の外界の光景はユーザ１５０の視界から遮断され、ユーザ１５０の目にはディスプレイ１１２に映し出された画像だけが届けられる。ディスプレイ１１２には、例えば、コンピュータグラフィックスを用いて生成した視界画像が表示される。コンピュータグラフィックスによる画像の一例は、仮想現実空間（例えばコンピュータゲームで作り出される世界）を画像化した仮想空間画像である。このようにして、ＨＭＤを装着したユーザは３次元仮想現実空間に没入することになる。

　ディスプレイ１１２は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。左目用と右目用の２つの２次元画像がディスプレイ１１２に重畳されることにより、立体感を有する３次元の仮想空間画像がユーザ１５０に提供される。また、右目用画像と左目用画像を提供できるのであれば、１つの表示装置で構成されていてもよい。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。

　ＥＴＤ１１６は、ユーザ１５０の眼球の動きを追跡して、ユーザ１５０の視線がどちらの方向に向けられているかを検出するように構成される。例えば、ＥＴＤ１１６は、赤外線光源および赤外線カメラを備える。赤外線光源は、ＨＭＤ１１０を装着したユーザ１５０の目に向けて赤外線を照射する。赤外線カメラは、赤外線で照射されたユーザ１５０の目の画像を撮像する。赤外線はユーザ１５０の目の表面で反射されるが、瞳と瞳以外の部分とで赤外線の反射率が異なる。赤外線カメラで撮像されたユーザ１５０の目の画像には、赤外線の反射率の違いが画像の明暗となって現れる。この明暗に基づいて、ユーザ１５０の目の画像において瞳が識別され、更に、識別された瞳の位置に基づいて、ユーザ１５０の視線の方向が検出される。

　センサ１１４は、ユーザ１５０の頭部に装着されたＨＭＤ１１０の傾き、および／または位置を検知する。例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、またはこれらの組み合わせを用いるのがよい。センサ１１４が磁気センサ、角速度センサ、または加速度センサである場合、センサ１１４はＨＭＤ１１０に内蔵されて、ＨＭＤ１１０の傾きや位置に応じた値（磁気、角速度、又は加速度の値）を出力する。センサ１１４からの出力値を適宜の方法で加工することで、ユーザ１５０の頭部に装着されたＨＭＤ１１０の傾きや位置が算出される。ＨＭＤ１１０の傾きや位置は、ユーザ１５０が頭を動かした際にその動きに追従するようにディスプレイ１１２の表示画像を変化させるのに利用されてよい。例えば、ユーザ１５０が頭を右（又は左、上、下）に向けると、ディスプレイ１１２には、仮想現実空間においてユーザの右（又は左、上、下）方向にある仮想的光景が映し出されるのであってよい。このようにして、ユーザ１５０が体感する仮想現実空間への没入感を更に高めることができる。なお、センサ１１４として、ＨＭＤ１１０の外部に設けられたセンサを適用することとしてもよい。例えば、センサ１１４は、ＨＭＤ１１０とは別体の、室内の固定位置に設置された赤外線センサであってよい。赤外線センサを用いて、ＨＭＤ１１０の表面に設けられた赤外線発光体又は赤外線反射マーカーを検知する。このようなタイプのセンサ１１４は、ポジショントラッキングセンサと呼ばれることもある。

　スピーカ（ヘッドホン）１１８はＨＭＤ１１０を装着したユーザ１５０の左右の耳の周辺にそれぞれ設けられる。スピーカ１１８は、制御回路部２００によって生成された電気的な音信号を物理的な振動に変換し、ユーザの左右の耳に音を提供する。左右のスピーカから出力される音に時間差、音量差を設けることにより、ユーザ１５０は仮想空間内に配置された音源の方向、距離を知覚することができる。

　制御回路部２００は、ＨＭＤ１１０に接続されるコンピュータである。制御回路部２００はＨＭＤ１１０に搭載されていても、別のハードウェア（例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ）として構成してもよい。また、制御回路部２００は、一部の機能をＨＭＤ１１０に実装し、残りの機能を別のハードウェアに実装してもよい。図１に示すように、制御回路部２００は、プロセッサ２０２、メモリ２０４、および入出力インターフェイス２０６を備える。制御回路部２００は更に通信インターフェイス２０８（図示せず）を含んでもよい。

　プロセッサ２０２は、メモリ２０４に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ２０２がメモリ２０４に格納された情報処理プログラムを実行することによって、制御回路部２００（後記）の各機能がソフトウェアとして実現される。プロセッサ２０２は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅ
ｓｓｉｎｇＵｎｉｔ）およびＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉ
ｔ）を備える。メモリ２０４には、少なくともオペレーティングシステムおよび情報処理プログラムが格納されている。オペレーティングシステムは、制御回路部２００の全体的な動作を制御するためのコンピュータプログラムである。情報処理プログラムは、制御回路部２００の各機能を実装するためのコンピュータプログラムである。メモリ２０４はまた、制御回路部２００の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ２０４の具体例は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ハードディスク、フラッシュメモリ、光ディスク等である。

　入出力インターフェイス２０６は、ＨＭＤシステム１００のユーザ１５０から制御回路部２００を機能させるための入力を受け取るように構成される。ユーザ入力インターフェイス２０６の具体例は、ゲームコントローラ、タッチパッド、マウス、キーボード等である。通信インターフェイス２０８（図示せず）は、ネットワークを介して外部装置と通信するための各種有線接続端子、無線接続のための各種処理回路を含んで構成され、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やインターネットを介して、外部カメラ・コンテンツやＷｅｂコンテンツやデジタル放送コンテンツを受信するための各種通信規格・プロトコルに適合するように構成されている。

　図２は、制御回路部２００に実装される機能的な構成を示す例示のブロック図である。制御回路部２００は記憶部２１０および処理部２２０を有する。記憶部２１０は更に、オブジェクト情報２１１および仮想空間構成情報２１２を含む。記憶部２１０は、図１に示したメモリ２０４に対応する。また、処理部２２０は、空間定義部２２１、ＨＭＤ動作検知部２２２、視線検知部２２３、基準視線特定部２２４、視界領域決定部２２５、判定部２２６、仮想ディスプレイ移動部２２７、および視界画像生成部２２８を含む。処理部２２０に含まれる各部２２１から２２８はソフトウェアとして実装するのがよい。即ち、図１に示したプロセッサ２０２がメモリ２０４内の各プログラムモジュールを読み出して実行することによって、各部２２１から２２８の機能性が実現される。

　図３は、一実施形態による３次元仮想現実空間の一例を示すＸＹＺ空間図である。ＸＺ平面は地表面を表し、Ｙ軸は高さ方向に延びる。仮想空間６は、中心３を中心として、例
えば天球状に形成される。仮想空間６内には、ユーザの視点としての仮想カメラ１、およびコンピュータ制御の複数のオブジェクト（例えば、仮想ディスプレイ・オブジェクト１０やターゲット・オブジェクト（図示せず））が配置されてもよい。仮想カメラ１は、仮想空間６の内部に配置される。仮想カメラ１は、常に中心３に配置されてもよいし、ユーザ１５０の動き（即ち、頭の動きや視線の動き）に追随するように移動してもよい。

　図４に、図３のＸＹＺ空間図に対応した、地表面を横から見た側面図（ａ）および上から見た平面図（ｂ）を示す。仮想空間６における仮想カメラ１（視点）からの視界領域５は、基準視線４に基づいて決定される。図示のように、視界領域５は３次元の空間領域であり、基準視線４を中心とした所定の極角αを含む範囲、および所定の方位角βを含む範囲を含むように定義される。視界領域５は更に、天球面の一部を有するように定義される。仮想カメラ１からの視界画像が視界領域５に対応した画像として生成され、ＨＭＤに表示されることになる。一実施形態では、視界画像は、３６０度コンテンツを天球面に沿った球面映像とするように形成するのがよい。具体的には、天球面を格子状に形成し、各格子に３６０度コンテンツの一部を関連づけて貼り付けることにより、全体として球面映像を形成するのがよい。後記する図６および図７の視界画像例では、天球面に沿って世界地図の画像を球面画像として貼り付けていることが理解される。３６０度コンテンツは、静止画コンテンツ、動画コンテンツ、オーディオ・コンテンツ等を含む任意のデジタルコンテンツとすることができる。

　一実施形態によれば、更に、オブジェクト（図３および図４では仮想ディスプレイ１０）を仮想空間６の視界領域５内に収容するように配置し、仮想カメラ１から見たオブジェクトの画像も含めるように視界画像が生成される。即ち、天球面の内の視界領域５に関連付けられた部分に表示される３６０度コンテンツの画像を背景画像とし、視界領域５内に配置されたオブジェクトの画像を重畳して視界画像が生成される。仮想空間６に配置される仮想ディスプレイ１０は、仮想現実空間内でテレビ・コンテンツやｗｅｂコンテンツを表示可能な仮想テレビや仮想ｗｅｂブラウザとするのがよく、制御装置の通信インターフェイス２０８を介して外部から受信したコンテンツを出力可能とする。仮想ディスプレイ１０上のコンテンツは、３６０度コンテンツと同様に、静止画コンテンツ、動画コンテンツ、オーディオ・コンテンツ等を含む任意のデジタルコンテンツとすることができる。仮想ディスプレイ１０は任意の形状とすることができ、また、任意の空間位置に配置することができる。一例として、仮想ディスプレイは、曲面形状を有してもよい。

　図５に、一実施形態により、ＨＭＤを用いてユーザが没入する仮想現実空間を提供する方法を提供する制御回路部２００の動作例を示す。図５は、制御回路部２００の情報処理を示すフローチャートである。図２に示した各機能ブロックを機能させることで各処理が実行される。

　最初に、空間定義部２２１は、仮想現実空間を定義して、仮想現実空間を展開する（Ｓ４０１）。より詳細には、記憶部２１０に格納されたオブジェクト情報２１１や仮想空間構成情報２１２を用いて仮想現実空間を定義・展開する。オブジェクト情報２１１は、仮想ディスプレイ１０やターゲット・オブジェクト（後記）の配置情報を、各々に関連付けられる属性タグ情報のような付随情報と共に含む。仮想空間構成情報２１２は、天球に沿って貼り付けられた３６０度コンテンツ映像情報、および仮想ディスプレイ上に表示されるコンテンツ情報を含む。

　ＨＭＤ動作検出部２２２は、ＨＭＤ１１０を装着したユーザ１５０の動きにしたがって、ユーザの視界方向を決定し（Ｓ４０２）、視線検知部２２３は、ユーザの視線方向を決定する（Ｓ４０３）。これにより、基準視線特定部２２４は、仮想現実空間において視点からの基準視線を特定する（Ｓ４０４）。そして、視界領域決定部２２５は、基準視線４
に基づいて、図３および図４に示した、視点からの視界領域５を決定する（Ｓ４０５）。

　より詳細には、ＨＭＤ動作検出部２２２は、センサ１１４により検出されたＨＭＤ１１０の傾き、および／または位置に応じたデータを経時的に取得して、ユーザ１５０の視界方向を決定する。次いで、視線検知部２２３は、ＥＴＤ１１６によって検出されたユーザの右目および／または左目の視線方向に基づいて、ユーザの視線方向を決定する。視線方向は、一例として、ユーザの右目および左目の中心と、ユーザの右目および左目の視線方向の交点である注視点とが通る直線の伸びる方向として定義するのがよい。引き続き、基準視線特定部２２４は、例えば、ユーザ１５０の右目および左目の中心と、視界方向に位置するディスプレイ１１２の中心とを結ぶ直線を基準視線として特定し、仮想現実空間における基準視線４に対応させる。視点、基準視線４を中心とした所定の極角αを含む範囲および所定の方位角βを含む範囲、並びに、これら範囲にしたがって特定される天球面の一部を含むように構成される３次元領域として視界領域５が決定される（図３および図４を参照）。決定した３次元の視界領域５は、ＨＭＤを装着したユーザの動きに従い、基準視線４が変位するのに連動して変化することが理解される。

　Ｓ４０６以降の処理では、決定された視界領域５に関連づけて、仮想ディスプレイ１０の動作をダイナミックに制御する。即ち、判定部２２６は、視界領域５に対し、仮想ディスプレイ１０を移動させるべきかについて判定し（Ｓ４０６）、肯定的な判断（「はい」）の場合に、仮想ディスプレイ移動部２２７は、仮想ディスプレイを視界領域内の所定の位置に移動させる（Ｓ４０７）。

　より詳細には、判定部２２６では、任意のタイミングに応答して肯定的な判断を行うことができる。タイミングは、一例として、仮想ディスプレイのオブジェクトが視界領域５から外れてユーザがディスプレイ上で視認できなくなったタイミングとするのがよい。代替として、ＨＭＤを装着したユーザの動きに伴い基準視線に変位があった毎のタイミングとしてもよい。仮想ディスプレイ移動部２２７は、仮想空間６内で任意の態様で、仮想ディスプレイ１０を移動させることができる。一例として、仮想ディスプレイ移動部２２７は、３６０度コンテンツが表示される天球面と同一の中心を有する、所定の半径を有する球面に沿って仮想ディスプレイ１０を移動させてもよい。所定の半径は、仮想空間６の天球面の半径と同一でもよいし、異なるものとしてもよい。また、仮想ディスプレイの移動先の位置は、視界領域５内の任意の位置とすることができる。

　なお、「仮想ディスプレイ」は、必ずしも、３次元オブジェクトには限定されず、３次元仮想空間６内でコンテンツ画像を表示するものであれば任意のものでよい。例えば、３６０度コンテンツ映像中に直接埋め込まれたサブコンテンツ映像についても、埋め込み領域のことを「仮想ディスプレイ」とみなすことができる。この場合、サブコンテンツ映像は、所定のサイズを有する球面映像として構成され、仮想空間６の天球面に直接貼り付けられる。３６０度コンテンツ映像が天球面に固定的に配置されるのとは異なり、サブコンテンツ映像は天球面上で位置を更新することができる。即ち、サブコンテンツ映像は、視界領域５に入り込むように天球面上で移動可能とするように構成されることができる。

　最後に、視界画像生成部２２８は、視界領域５に対応した視界画像を生成し、ＨＭＤのディスプレイ１１２に表示する（Ｓ４０８）。ユーザがＨＭＤを装着し、ＨＭＤを操作している間は、上記ステップＳ４０２からＳ４０８を繰り返し実行するのがよい。

　図５のフローチャートの情報処理を実行することにより、図６に示す第１実施形態の動作例、および図７に示す第２実施形態の動作例が実現される。図６および図７は、それぞれ、（ａ）から（ｃ）までの状態に視界領域が変化する際にユーザに表示される視界画像と仮想空間の（ＸＺ）平面図とのセットを示す。図６および図７の実施形態では、それぞ
れ、世界地図の画像が天球に沿って貼り付けられ、ＨＭＤを装着したユーザの動きに応じて、異なる地図部分が表示されるように構成される。また、図６および図７の実施形態では、それぞれ、仮想カメラ１の位置を天球の中心に配置し、（ａ）から（ｃ）まで視界領域が遷移するのに従って天球の内側の同心球面に沿って仮想ディスプレイ１０を追従させる。なお、（ａ）から（ｃ）まで視界領域を左方向に遷移させているが、ユーザの動きに応じて任意の方向に遷移可能であることは言うまでもない。

　図６に示す第１実施形態において、（ａ）では、仮想ディスプレイ画像が右下に重畳されるように視界画像ａ_１が表示される。ＨＭＤを装着したユーザの動きに応じて視界領域が左方向に変位すると、図６の（ｂ）のように、視界画像ｂ_１が表示される。仮想ディスプレイ１０の配置位置が変わっていないために、視界画像ｂ_１では仮想ディスプレイ画像の一部のみが重畳される。仮想ディスプレイの視界領域との重複割合が所定の値以下（例えば、５０％以下）となったタイミングや、ユーザが入出力インターフェイス２０６を介してユーザ作用を与えたイベントが生じたタイミングが検知される。即ち、判定部２２６が仮想ディスプレイ１０を移動させるべきと判定する（図５のＳ４０６）。その結果、図６の（ｃ）のように、仮想ディスプレイが視界領域に追従して（実線矢印）、再度、仮想ディスプレイ画像が右下に重畳されるように視界画像ｃ_１が表示される。仮想ディスプレイ画像が重畳される「右下」の位置は、視界領域５に対する所定の相対位置として定義することができる。具体的には、視界領域５において、基準視線からの所定の方位角および／または方位角を有する位置として定義するのがよい。

　このように、第１実施形態では、視界領域の変化に連動させるように仮想ディスプレイ１０をダイナミックに移動可能である。単に、視界画像の固定位置に仮想ディスプレイ画像が重畳されるのではなく、仮想ディスプレイ１０を様々な移動態様で視界領域に表示させることができ、多様なワイプ表示態様を実現可能とする。具体的には、図６に示した「後追い」型や、視界に何もない状態から仮想ディスプレイが出現する「出現」型の移動態様とするのがよい。この結果、多様な視覚効果を有する視界画像をユーザに提示することができる。

　図７に示す第２実施形態は、仮想空間にターゲット・オブジェクト１５が配置され、該配置に関連づけられる位置に仮想ディスプレイ１０の配置が決定される点において、図６に示した第１実施形態とは相違する。図７の（ａ）および（ｂ）の視界画像ａ_２，ｂ_２は、図６の視界画像ａ_１，ｂ_１とそれぞれ同様であり、（ｃ）の視界画像ｃ_２が図６の視界画像ｃ_１と相違する。図７の（ｂ）において、仮想ディスプレイ移動部２２７が仮想ディスプレイ１０を移動させる際（Ｓ４０７）、仮想空間内のターゲット・オブジェクト１５の配置を特定する。その上で、仮想ディスプレイ移動部２２７は、視点における基準視線からターゲット・オブジェクトへの方向の所定位置に仮想ディスプレイ１０を移動する。この結果、図７の（ｃ）の視界画像ｃ_２は、図６の（ｃ）の視界画像ｃ_１とは異なり、仮想ディスプレイ画像が左下に重畳されるように表示される。

　上記第１実施形態の効果に加えて、第２実施形態は、ターゲット・オブジェクト１５に向けてユーザ視線を誘導するように仮想ディスプレイ１０を適用可能であるという効果を有する。仮想ディスプレイに表示するコンテンツとして、ターゲット・オブジェクトの属性タグ情報に関連するコンテンツを表示するように構成して視線誘導の効果を高めてもよい。例えば、仮想ディスプレイを仮想Ｗｅｂブラウザとした場合に、属性タグ情報によって特定されるＷｅｂページを表示してもよい。図７の例では、仮想ディスプレイを天球と同心球上を移動させるようにしたが、これに限定されず、ターゲット・オブジェクトに向けて視線誘導する態様であれば任意のものとすることができる。代替例として、仮想ディスプレイを、ターゲット・オブジェクトに向けて最短距離で移動させてもよい。ターゲット・オブジェクトに向けて任意の速度で移動し続けるように仮想ディスプレイを構成して
もよい。また、仮想ディスプレイがターゲット・オブジェクトに接近するにつれ、仮想ディスプレイ上で再生されているオーディオ・コンテンツの音量を増加させるように構成して、視線誘導の効果を更に高めてもよい。

　上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

　１００…ヘッドマウントディスプレイ（ＨＭＤ）システム、１１０…ＨＭＤ、１１２…ディスプレイ、１１４…センサ部、１１６…ＥＴＤ、１１８…スピーカ、２００…制御回路部、２１０…記憶部、２２０…処理部、１…仮想カメラ、４…基準視線、５…視界領域、６…仮想現実空間、１０…仮想ディスプレイ、１５…ターゲット・オブジェクト

Claims

　ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供する方法であって、
　前記仮想現実空間を定義するステップと、
　前記ヘッドマウントディスプレイを装着した前記ユーザの動きにしたがって、前記仮想現実空間において視点からの基準視線を特定するステップと、
　前記基準視線に基づいて、前記視点からの視界領域を特定するステップと、
　前記仮想現実空間内の仮想ディスプレイを前記視界領域内の位置に移動させるステップと、
　前記視界領域に対応した視界画像を生成し、前記ヘッドマウントディスプレイに表示するステップと
を含む、方法。
　請求項１記載の方法において、前記ヘッドマウントディスプレイを装着した前記ユーザの動きに伴う前記基準視線の変位に連動して、前記仮想ディスプレイを移動させる前記ステップが繰り返し実行される、方法。
　請求項１記載の方法において、更に、
　前記仮想ディスプレイの前記視界領域との重複割合が所定の値以下であるかを判定するステップを含み、
　前記重複割合が前記所定の値以下であると判断された場合に、前記仮想ディスプレイを移動させる前記ステップが実行される、方法。
　請求項１から３のいずれか一項記載の方法であって、
　前記仮想ディスプレイを移動させる前記ステップにおいて、第１半径を有する球面に沿って前記仮想ディスプレイを移動させる、方法。
　請求項４記載の方法であって、
　前記仮想現実空間を定義する前記ステップにおいて、前記仮想現実空間が、前記第１半径を有する前記球面上に３６０度コンテンツを表示するよう定義される、方法。
　請求項４記載の方法であって、
　前記仮想現実空間を定義する前記ステップにおいて、前記仮想現実空間が、前記第１半径とは異なる第２半径を有する前記球面上に３６０度コンテンツを表示するよう定義される、方法。
　請求項１から６のいずれか一項記載の方法であって、
　前記仮想ディスプレイを移動させる前記ステップにおいて、前記視界領域内の位置が、基準視線からの所定の極角および／または方位角を有する位置である、方法。
　請求項１から７のいずれか一項記載の方法において、
　前記仮想現実空間を定義する前記ステップにおいて、前記仮想現実空間が、ターゲット・オブジェクトを配置するように定義され、
　前記仮想ディスプレイを移動させる前記ステップが、更に、前記仮想現実空間に前記ターゲット・オブジェクトを特定するステップを含み、
　前記仮想ディスプレイが、更に、前記視点における前記基準視線から前記ターゲット・オブジェクトへの方向の前記視界領域内の位置に移動される、方法。
　請求項１から８のいずれか一項記載の方法において、
　所定のユーザ作用に応答して、前記仮想ディスプレイを移動させる前記ステップが実行される、方法。
　ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供するプログラムであって、前記ヘッドマウントディスプレイに結合されるコンピュータに、
　前記仮想現実空間を定義する手段と、
　前記ヘッドマウントディスプレイを装着した前記ユーザの動きにしたがって、前記仮想現実空間において視点からの基準視線を特定する手段と、
　前記基準視線に基づいて、前記視点からの視界領域を特定する手段と、
　前記仮想現実空間内の仮想ディスプレイを前記視界領域内の位置に移動させる手段と、
　前記視界領域に対応した視界画像を生成し、前記ヘッドマウントディスプレイに表示する手段と
として機能させる、プログラム。
　請求項１０記載のプログラムにおいて、前記ヘッドマウントディスプレイを装着した前記ユーザの動きに伴う前記基準視線の変位に連動して、前記仮想ディスプレイを移動させる、プログラム。
　請求項１０記載のプログラムにおいて、更に、前記コンピュータに、
　前記仮想ディスプレイの前記視界領域との重複割合が所定の値以下であるかを判定する手段として機能させ、
　前記重複割合が前記所定の値以下であると判断された場合に、前記仮想ディスプレイを移動させる、プログラム。