JP7242448B2 - 仮想現実制御装置、仮想現実制御方法およびプログラム - Google Patents

Description

この発明の一態様は、例えば仮想現実（Virtual Reality：ＶＲ）情報を生成し出力するシステムで使用される、仮想現実制御装置、仮想現実制御方法およびプログラムに関する。

近年、仮想現実を生成し出力するシステムの開発が盛んに行われている。一般に、ユーザがＶＲコンテンツを体験する場合、ユーザはヘッドマウントディスプレイ（Head Mount Display：ＨＭＤ）（以後、ＶＲヘッドセットとも称する）を頭部に装着する。ＨＭＤには、例えば左右それぞれの眼に対応した２つのディスプレイが備えられ、それぞれのディスプレイには映像を見たユーザが奥行き感（または飛び出し感）を得るための視差のあるＶＲ映像が表示される。ＶＲ映像は、例えばサーバ等のＶＲ制御装置で生成されてＨＭＤに供給され表示される（例えば、非特許文献１を参照）。

"NTTドコモ、8k60fpsのＶＲ映像配信・視聴システムを開発"、moguraVR News、インターネット＜URL:https://www.moguravr.com/ntt-8k-60fps/＞

ところで、ＨＭＤによりＶＲ映像を視聴中に、ユーザがコメントやメッセージを入力して同一のＶＲ映像を視聴中の他のユーザに通知したり、制御コマンドを入力してＶＲ映像を制御できるようにすることが望まれている。この場合、ユーザは使い慣れた汎用のパーソナルコンピュータやタブレット型端末、スマートフォン等の情報入力装置を使用して情報を入力しようとすると、例えばＨＭＤを一旦頭部から取り外して上記情報入力装置を直接見ながら操作する必要がある。

この発明は上記事情に着目してなされたもので、その目的とするところは、ヘッドマウントディスプレイを取り外すことなく汎用の情報入力装置を用いて情報の入力操作を可能にした技術を提供することにある。

上記目的を達成するために、この発明の一態様は、ユーザの頭部に装着され、仮想現実映像を表示可能な表示部、前記ユーザの頭部または視線の動きを検出するセンサ、および前記ユーザの視界に対応する範囲を撮像するカメラを備える仮想現実ヘッドセットに接続可能であり、かつハードウェアプロセッサおよびメモリを備える仮想現実制御装置において、前記ハードウェアプロセッサが、前記ユーザの頭部または視線の動きに関連する情報に基づいて、前記ユーザが情報入力装置により情報入力操作を行おうとしている状態を予測する。そして、前記ユーザが前記情報入力操作を行おうとしている状態にあると予測された場合に、前記カメラにより撮像された前記ユーザの周辺の映像データから前記情報入力装置を表す映像を抽出し、当該抽出された前記情報入力装置を表す映像を前記仮想現実映像と合成した映像を生成し、当該合成映像を前記仮想現実映像に代えて前記表示部に表示させるようにしたものである。

この発明の第１の態様によれば、仮想現実ヘッドセットにより仮想現実映像を視聴中に、ユーザが例えば情報入力装置にて情報入力操作を行うために情報入力装置が存在すると想定される方向を向くと、この動作が情報入力操作を行おうとしている状態として予測される。そして、この予測結果に応じて、カメラにより撮像された情報入力装置の映像を上記視聴中の仮想現実映像に合成した合成映像が生成され，当該合成映像が仮想現実ヘッドセットに表示される。この結果、ユーザは情報入力操作を行おうとする場合に、仮想現実ヘッドセットを頭部から取り外すことなく情報入力装置にて入力操作を行うことが可能となる。

図１は、この発明の一実施形態に係る仮想現実制御装置を備える仮想現実システムの全体構成を示す図である。 図２は、図１に示した仮想現実システムで使用されるＶＲヘッドセットの外観を示す図である。 図３は、図１に示した仮想現実システムで使用されるＶＲヘッドセットのハードウェア構成を示すブロック図である。 図４は、図１に示した仮想現実システムで使用される情報入力装置のハードウェア構成を示すブロック図である。 図５は、図１に示した仮想現実システムで使用される仮想現実制御装置のハードウェアおよびソフトウェアの構成を示すブロック図である。 図６は、図５に示した仮想現実制御装置による制御手順および制御内容を示すフローチャートである。 図７は、図１に示した仮想現実システムの動作説明に使用する図である。 図８は、図２および図３に示したＶＲヘッドセットに表示される複合現実映像の一例を示す図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
（１）システム
図１は、この発明の一実施形態に係る仮想現実制御装置を備える仮想現実システムの全体構成を示す図である。

仮想現実システム（以後ＶＲシステムと称する）は、ヘッドマウントディスプレイ（ＨＭＤ）（以後ＶＲヘッドセットと称する）１と、ＶＲ制御装置２と、情報入力装置３とを備えている。なお、なお、情報入力装置３はＶＲシステムに含まれなくてもよい。

ＶＲヘッドセット１は、例えば図２に示すようにゴーグル型をなし、ユーザの頭部に着脱自在に装着される。ＶＲヘッドセット１の前面には、ユーザの左右の眼に対応する位置に２基のカメラ１６Ｒ，１６Ｌが配置されている。なお、ＶＲヘッドセット１は、ゴーグル型以外にメガネ型でもよく、またカメラは１基でもよい。

（２）ＶＲヘッドセット１
ＶＲヘッドセット１は、例えば図３に示すように、Central Processing Unit（ＣＰＵ）等のハードウェアプロセッサを有する制御部１１を備え、この制御部１１に対し、記憶部１２と、表示インタフェース（表示Ｉ／Ｆ）１３と、カメラインタフェース（カメラＩ／Ｆ）１５と、センサインタフェース（センサＩ／Ｆ）１７と、通信インタフェース（通信Ｉ／Ｆ）１９を、バス１０を介して接続したものとなっている。なお、上記制御部１１には、各種スイッチやマイクロフォン、スピーカ等の他のユーザインタフェース用のデバイスが接続されてもよい。

記憶部１２は、記憶媒体として例えばSolid State Drive（ＳＳＤ）等の随時書込みおよび読出しが可能な不揮発性メモリを用いたもので、プログラム記憶領域とデータ記憶領域とを有する。プログラム記憶領域には、ＶＲヘッドセット１の動作を実現するための各種アプリケーション・プログラムが格納される。データ記憶領域には、ＶＲヘッドセット１の動作過程で取得或いは生成される各種データが保存される。なお、記憶媒体としては、他にRead Only Memory（ＲＯＭ）やRandom Access Memory（ＲＡＭ）等を併用することも可能である。

表示Ｉ／Ｆ１３には表示部１４が接続される。表示部１４は、例えば、有機ＥＬからなる表示パネルをユーザの左右の眼に対応して２枚備える。なお、表示パネルは１枚であってもよい。この場合、表示パネルの構造としては、１つのディスプレイを遠目で見られるようにレンズが取り付けられたものや、１つのディスプレイの表示領域を左右に二分割して、右目および左目でそれぞれ見ることができるようにするものがある。表示Ｉ／Ｆ１３は、後述するＶＲ制御装置２により生成された仮想現実映像（ＶＲ映像）または複合現実映像（ＭＲ映像）を表示部１４に表示させる。

カメラＩ／Ｆ１５には、上記カメラ１６Ｒ，１６Ｌが接続される。カメラ１６Ｒ，１６Ｌは例えばＣＭＯＳ素子等の光電変換素子を使用したもので、ＶＲヘッドセット１の前方の所定の視野範囲、つまりユーザの視界を含む所定範囲を撮像する。カメラＩ／Ｆ１５は、上記カメラ１６Ｒ，１６Ｌから出力される各映像信号をもとにカメラ映像データを生成する。

センサＩ／Ｆ１７にはセンサ１８が接続される。センサ１８は、例えば角速度センサ（ジャイロセンサ）からなり、ＶＲヘッドセット１の動き、つまりユーザの頭部の動きを検出するために使用される。具体的には、頭部の六軸方向の動きを検出する。センサＩ／Ｆ１７は、上記センサ１８の出力信号をもとにユーザの頭部の動きを表す動きデータを生成する。なお、センサ１８としては、磁気センサ、加速度センサ、位置センサ、赤外センサ、輝度センサ、近接センサ等が含まれていてもよい。また、ユーザの頭部の動きのほか、ユーザの視線の動きを検出するようにしてもよい。ユーザの視線の動きは、例えばユーザの眼球を撮像するカメラを用いることで検出可能である。

通信Ｉ／Ｆ１９は、制御部１１の制御の下、例えば近距離無線データ通信規格（例えばBluetooth（登録商標））を使用して、ＶＲ制御装置２から送信されるＶＲ映像データまたはＭＲ映像データを受信すると共に、上記カメラ映像データおよび動きデータをＶＲ制御装置２へ送信する。なお、通信Ｉ／Ｆ１９は、ＵＳＢケーブルや同軸ケーブル等の信号ケーブルを使用した有線インタフェースにより構成されてもよい。

（３）情報入力装置３
情報入力装置３は、例えば、パーソナルコンピュータやタブレット型端末、スマートフォン等の、ユーザが使用する汎用の情報処理端末からなる。図４は情報入力装置のハードウェア構成の一例を示したもので、ＣＰＵ等のハードウェアプロセッサを備える制御部３１に、バス３０を介してキー入力部３２および通信Ｉ／Ｆ３３を接続したものとなっている。なお、図示していないが記憶部やその他の各種インタフェースも接続される。

情報入力装置３は、例えば、ユーザがＶＲ映像に表示しようとするコメントやメッセージを入力したり、ＶＲ映像視聴中に他のユーザとの間でメールの送受信を行ったり、Ｗｅｂサイトにアクセスする場合等に使用される。

（４）ＶＲ制御装置２
図５は、ＶＲ制御装置２のハードウェアおよびソフトウェアの構成を示すブロック図である。ＶＲ制御装置２は、例えばパーソナルコンピュータまたはサーバコンピュータにより構成され、ＣＰＵ等のハードウェアプロセッサを有する制御部２１に、バスを介して記憶部２２および通信インタフェース（通信Ｉ／Ｆ）２３を接続したものとなっている。

通信Ｉ／Ｆ２３には、例えばBluetooth（登録商標）等の小電力無線データ通信規格を採用した無線インタフェースが用いられる。通信Ｉ／Ｆ２３は、上記ＶＲヘッドセット１および情報入力装置３との間でデータの送受信を行う。なお、通信Ｉ／Ｆ２３としては、無線ＬＡＮ（Local Area Network）等のその他の無線インタフェースや、ＵＳＢケーブルや同軸ケーブル等の信号ケーブルを使用した有線インタフェースを使用することも可能である。

記憶部２２は、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとを組み合わせて構成される。その記憶領域には、プログラム記憶領域と、データ記憶領域とが設けられる。プログラム記憶領域には、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なアプリケーション・プログラムが格納される。

データ記憶領域には、カメラ映像記憶部２２１と、ＶＲ映像記憶部２２２が設けられている。カメラ映像記憶部２２１は、上記ＶＲヘッドセット１のカメラ１６Ｒ，１６Ｌにより撮像されたカメラ映像データを一時保存するために使用される。ＶＲ映像記憶部２２２は、ＶＲ映像データを保存するために使用される。

制御部２１は、この発明の一実施形態を実現するための制御機能として、動きデータ取得部２１１と、顔方向判定部２１２と、カメラ映像取得部２１３と、入力装置映像抽出部２１４と、ＭＲ映像生成部２１５と、ＶＲ映像生成部２１６と、表示制御部２１７とを備えている。これらの制御機能は、いずれも上記記憶部２２内のプログラム記憶領域に格納されたアプリケーション・プログラムを制御部２１のハードウェアプロセッサに実行させることにより実現される。

動きデータ取得部２１１は、上記ＶＲヘッドセット１からセンサ１８により検出されたユーザの頭部の動きを表す動きデータを、通信Ｉ／Ｆ２３を介して取得する処理を行う。

顔方向判定部２１２は、ユーザの特定の行動の一つとして情報入力装置３による入力操作を予測するもので、例えば上記取得された動きデータをもとにユーザの顔の向きを判定する処理を行う。例えば、上記動きデータをもとにユーザの顔のチルト方向の向き（角度）を算出し、当該顔のチルト方向の角度が予め設定された角度の範囲に所定時間以上連続して含まれるか否かを判定する。判定対象の角度範囲は、例えばＶＲ映像を視聴するときのユーザの姿勢と情報入力装置３の設置位置との相対的な位置関係に基づいて設定される。より具体的には、ユーザが情報入力装置３の方向を見るときの視線の方向（一般的には斜め下方向）となるように事前に設定される。

カメラ映像取得部２１３は、上記顔方向判定部２１２によりユーザの顔のチルト方向の角度が予め設定された角度の範囲に所定時間以上連続して含まれると判定された場合に、上記ＶＲヘッドセット１のカメラ１６Ｒ，１６Ｌを起動する。そして、当該カメラ１６Ｒ，１６Ｌにより撮像されたカメラ映像データを上記通信Ｉ／Ｆ２３を介して取得し、当該カメラ映像データをカメラ映像記憶部２２１に保存する処理を行う。

入力装置映像抽出部２１４は、上記カメラ映像記憶部２２１に保存されたカメラ映像データから情報入力装置３の映像を抽出する。抽出処理方法としては、例えば情報入力装置３の基準画像パターンを予め記憶部２２に記憶しておき、当該基準画像パターンと類似度が高い映像を上記カメラ映像データから検出するパターンマッチングが用いられる。

ＶＲ映像生成部２１６は、例えば、ＶＲコンテンツ提供サイトからＶＲコンテンツをインターネット等のネットワークを介してダウンロードして、ＶＲ映像記憶部２２２に記憶させる。そして、上記ＶＲコンテンツの映像データをＶＲ映像記憶部２２２から読み出して出力する処理を行う。

ＭＲ映像生成部２１５は、上記入力装置映像抽出部２１４により、カメラ映像データから情報入力装置３の映像が抽出された場合に、上記カメラ映像データのフレーム中における上記情報入力装置３の位置とサイズを算出する。そして、この算出された位置およびサイズに基づいて、上記ＶＲ映像生成部２１６から出力されるＶＲ映像データのフレーム中に、上記情報入力装置３の映像の挿入領域を設定する。そして、上記設定された挿入領域に、上記入力装置映像抽出部２１４により抽出された情報入力装置３の映像を合成することにより、複合現実（Mixed Reality：ＭＲ）映像データを生成する処理を行う。

表示制御部２１７は、上記入力装置映像抽出部２１４により情報入力装置３の映像が抽出されていない期間には、ＶＲ映像生成部２１６から出力されるＶＲ映像データを選択して通信Ｉ／Ｆ２３からＶＲヘッドセット１へ送信する。また表示制御部２１７は、上記入力装置映像抽出部２１４により情報入力装置３の映像が抽出されている期間には、ＭＲ映像生成部２１５から出力されるＭＲ映像データを選択して通信Ｉ／Ｆ２３からＶＲヘッドセット１へ送信する処理を行う。

（動作）
次に、以上のように構成されたＶＲシステムの動作について説明する。
なお、ＶＲ映像記憶部２２２には、ユーザが体験を希望するＶＲ映像データが既に記憶されているものとして説明を行う。
図６は、ＶＲ制御装置２による制御手順と制御内容を示すフローチャートである。

（１）ＶＲ映像データの表示
ユーザがＶＲヘッドセット１を装着し、例えばＶＲヘッドセット１においてＶＲコンテンツの再生操作を行うと、再生開始要求がＶＲヘッドセット１からＶＲ制御装置２へ送られる。ＶＲ制御装置２の制御部２１は、ステップＳ１０において上記再生開始要求を受信すると、ＶＲ映像生成部２１６の制御の下、ステップＳ１１においてＶＲ映像記憶部２２２から該当するＶＲ映像データを読み出す。このとき、表示制御部２１７はＶＲ映像を選択しているため、上記ＶＲ映像データは通信Ｉ／Ｆ２３からＶＲヘッドセット１に向け送信される。

これに対しＶＲヘッドセット１は、上記ＶＲ映像データを通信Ｉ／Ｆ１９により受信し、制御部１１の制御の下、上記ＶＲ映像データを表示Ｉ／Ｆ１３により表示部１４に供給し、表示させる。このとき、ユーザが顔の向きを例えば左右に移動させると、この動きがセンサ１８により検出される。制御部１１は、上記顔の向きの変化に追従して、上記ＶＲ映像データの表示映像を変化させる。かくしてＶＲ映像のパノラマ表示が行われる。

なお、ＶＲヘッドセット１がユーザの地理的な位置の変化を検出する機能を備えている場合には、この位置の変化に追従して上記ＶＲ映像データの表示映像を変化させることも可能である。さらに、ＶＲヘッドセット１がユーザの視線の変化を検出する機能を備えている場合には、この視線の変化に追従して上記ＶＲ映像データの表示映像を変化させることも可能である。

なお、以上述べたユーザの顔の向きや視線の向き、ユーザの位置の変化に追従してＶＲ映像の表示映像を変化させるトラッキング制御は、ＶＲヘッドセット１において行われてもよいが、ＶＲ制御装置２で行われてもよい。

（２）ＶＲ映像データからＭＲ映像データへの表示の切り替え
上記ＶＲ映像データの視聴中に、ユーザが例えばＶＲ映像にコメントを挿入しようとするか、または他のユーザに対しメッセージを送信するために、情報入力装置３が置いてある方向、例えば下方向を向いたとする。このときのユーザの頭部の動きはＶＲヘッドセット１に設けられているセンサ１８により検出される。ＶＲヘッドセット１は、制御部１１の制御の下で、上記検出されたユーザの頭部の動きを表す検出データを通信Ｉ／Ｆ１９からＶＲ制御装置２へ送信する。

これに対しＶＲ制御装置２の制御部２１は、上記動きの検出データを動きデータ取得部２１１の制御の下、ステップＳ１２で取得する。上記動きの検出データを取得するとＶＲ制御装置２の制御部２１は、続いて顔方向判定部２１２の制御の下、ステップＳ１３において、上記動きの検出データをもとにユーザの顔の向きを算出する。そして、ステップＳ１４において、算出されたユーザの顔の向きが予め設定された検出範囲の方向に含まれ、かつこの状態が所定時間以上連続したか否かを判定する。例えば、顔方向判定部２１２は、ユーザの顔の向きが、情報入力装置３が設置位置の方向に相当する斜め下方向を所定時間連続して向いたか否かを判定する。

上記判定の結果、ユーザの顔の向きが上記斜め下方向を所定時間連続して向いた場合、制御部２１はカメラ映像取得部２１３の制御の下、ステップＳ１５によりカメラ起動信号を通信Ｉ／Ｆ２３からＶＲヘッドセット１へ送信する。上記カメラ起動信号を受信するとＶＲヘッドセット１の制御部１１は、カメラＩ／Ｆ１５を介してカメラ１６Ｒ，１６Ｌを起動させる。そして、カメラ１６Ｒ，１６Ｌにより撮像された映像データを、通信Ｉ／Ｆ１９からＶＲ制御装置２へ送信する。なお、必ずしもカメラ起動信号を送信する必要はなく、カメラ１６Ｒ，１６Ｌを常時動作状態に設定しておいてもよい。

ＶＲ制御装置２の制御部２１は、カメラ映像取得部２１３の制御の下、上記ＶＲヘッドセット１から送信されたカメラ映像データを通信Ｉ／Ｆ２３により受信すると、当該カメラ映像データをステップＳ１６によりカメラ映像記憶部２２１に一旦保存する。次にＶＲ制御装置２の制御部２１は、入力装置映像抽出部２１４の制御の下、ステップＳ１７において、上記保存されたカメラ映像データに対し、予め記憶されている情報入力装置３の基準画像パターンを用いてパターンマッチングを行い、これにより情報入力装置３に対応する映像の認識を試みる。そして、カメラ映像データから情報入力装置３に対応する映像が認識できたか否かをステップＳ１８で判定する。この判定の結果、もし情報入力装置３を表す映像を認識できなければ、このときのユーザの顔向きの変化は情報入力操作を意図した動きではなかったと判断し、ステップＳ１１に戻ってＶＲ映像データの表示制御を引き続き実行する。

これに対し、上記ステップＳ１８の判定の結果、カメラ映像データから情報入力装置３に対応する映像が認識されたとする。この場合ＶＲ制御装置２の制御部２１は、入力装置映像抽出部２１４の制御の下、ステップＳ１９で上記カメラ映像データから上記認識された情報入力装置３の映像を抽出する。

続いてＶＲ制御装置２の制御部２１は、ＭＲ映像生成部２１５の制御の下、ステップＳ２０において、上記抽出された情報入力装置３の映像のサイズと、カメラ映像フレーム中における位置を算出する。そして、ＭＲ映像生成部２１５は、ステップＳ２１において、ＶＲ映像生成部２１６から出力されるＶＲ映像データのフレーム中に、上記算出されたサイズおよび位置に基づいて現実世界の挿入領域を設定する。さらにＭＲ映像生成部２１５は、ステップＳ２２において、上記ＶＲ映像データに設定した現実世界の挿入領域に、上記ステップＳ１９により抽出された情報入力装置３の映像を合成する。かくして、ＶＲ映像データの一部領域に現実世界の情報入力装置３の映像が合成されたＭＲ映像データが生成される。

ＶＲ制御装置２の制御部２１は、表示制御部２１７の制御の下、ステップＳ２３により送信対象の映像データをＶＲ映像データからＭＲ映像データに切り替える。この結果、これ以降上記ＭＲ映像データが通信Ｉ／Ｆ２３からＶＲヘッドセット１へ送信され、ＶＲヘッドセット１では上記ＭＲ映像データが表示部１４に表示される。図８は、このときのＭＲ映像１４０の表示結果の一例を示したもので、図中１４１はＶＲ映像、１４３は現実世界の挿入領域、１４２は挿入された現実世界の情報入力装置３の映像をそれぞれ示している。

従って、ユーザは、ＶＲヘッドセット１を頭部に装着したままの状態で、ＭＲ映像に表示される現実世界の情報入力装置３の映像を見ながら、情報入力装置３を操作して所望のコメントまたはメッセージを入力することが可能となる。図７にこのときのユーザの情報入力操作の様子の一例を示す。

また、上記ＭＲ映像データの表示中にユーザの頭部が左右または上下方向に動いた場合には、上記動きがＶＲヘッドセット１のセンサ１８により検出され、その検出データがＶＲヘッドセット１からＶＲ制御装置２へ送られる。ＶＲ制御装置２は、上記動きの検出データをもとに、上記ユーザの頭の動きに応じてＭＲ映像データ中の現実世界挿入領域を移動させる。このため、情報入力操作中にユーザが頭部を動かした場合には、その動きに追従してＭＲ映像データ中の情報入力装置３の現実世界の映像の表示位置は移動する。従って、ＭＲ映像データにおいて、情報入力装置３の現実世界の映像は常にユーザの視線の正面に表示されることになり、これにより情報入力装置３の操作性は高く維持される。

なお、以上の説明ではカメラ映像データから情報入力装置３に対応する映像が認識できたか否かを判定し、認識できた場合にＶＲ映像からＭＲ映像への切り替を行うようにした。しかし、情報入力装置３に対応する映像の認識処理は必ずしも行わなくてもよく、ユーザの顔の向きが所定の方向を向いていることが認識されたときに、表示映像を即時ＶＲ映像からＭＲ映像への切り替えを行うようにしてもよい。

（３）ＭＲ映像データからＶＲ映像データへの表示の切り替え
ユーザが上記情報入力操作を終了して、顔の向きを前方向に戻したとする。このときのユーザの頭部の動きはＶＲヘッドセット１に設けられているセンサ１８により検出される。ＶＲヘッドセット１は、制御部１１の制御の下で、上記検出されたユーザの頭部の動きを表す検出データを通信Ｉ／Ｆ１９からＶＲ制御装置２へ送信する。

これに対しＶＲ制御装置２の制御部２１は、上記動きの検出データを動きデータ取得部２１１の制御の下、ステップＳ１２で取得する。上記動きの検出データを取得するとＶＲ制御装置２の制御部２１は、続いて顔方向判定部２１２の制御の下、ステップＳ１３において、上記動きの検出データをもとにユーザの顔の向きを算出する。そして、ステップＳ１４において、算出されたユーザの顔の向きが予め設定された検出範囲の方向に含まれているか否かを判定する。この判定処理では、いまユーザの顔の向きは上記したように前方向を向いているため、ステップＳ１４では“Ｎｏ”と判定される。

ＶＲ制御装置２の制御部２１は、表示制御部２１７の制御の下、ステップＳ２４において、ＭＲ映像を選択中か否かを判定する。そして、いまはＭＲ映像が選択されているため、ステップＳ２５に移行して送信する映像データをＭＲ映像データからＶＲ映像データに切り替える。この結果、以後ＶＲ映像データが通信Ｉ／Ｆ２３からＶＲヘッドセット１へ送信され、ＶＲヘッドセット１では上記ＶＲ映像データが表示部１４に表示される。従って、ユーザはＶＲヘッドセット１を再装着することなく、引き続きＶＲ映像の視聴を行うことが可能となる。
（効果）
以上詳述したように一実施形態では、ＶＲ映像を視聴中に、ＶＲヘッドセット１に設けられたセンサ１８によりユーザの頭の動きを検出し、この動きの検出データをもとにＶＲ制御装置２により、ユーザの顔が情報入力装置３が設置されている斜め下方向を所定時間以上連続して向いたか否かを判定する。そして、この条件を満たした場合に、ＶＲヘッドセット１に設けられたカメラ１６Ｒ，１６Ｌによりユーザの顔の前方を撮像し、ＶＲ制御装置２において、そのカメラ映像データから情報入力装置３に相当する映像を認識してそのサイズと表示位置を算出する。そして、ＶＲ映像データのフレーム中の上記算出された表示位置と対応する位置に上記算出されたサイズの現実世界の挿入領域を設定し、当該現実世界の挿入領域に、上記カメラ映像データから抽出した情報入力装置３の映像を合成してＭＲ映像データを生成し、当該ＭＲ映像データをＶＲ映像データに代えてＶＲヘッドセット１へ送信し表示するようにしている。

従って、ユーザが、ＶＲ映像の視聴中に情報入力装置３により情報を入力しようとする場合に、ユーザがＶＲヘッドセット１を装着した状態で、情報入力装置３が設置されている方向、例えば斜め下方向を向くと、ＶＲ映像データに上記情報入力装置３の現実世界の映像が合成されたＭＲ映像データが生成されてＶＲヘッドセット１に表示される。このため、ユーザはＶＲヘッドセット１を装着したまま、情報入力装置３の現実世界の映像を見ながら情報入力操作を行うことが可能となる。

また、一実施形態では、主要な構成要素である、顔方向判定部２１２、入力装置映像抽出部２１４、ＭＲ映像生成部２１５、ＶＲ映像生成部２１６および表示制御部２１７を、ＶＲ制御装置２に設けているので、ＶＲヘッドセット１の処理負荷の増加を抑制してＶＲヘッドセット１のコストアップを防止することができる。

［その他の実施形態］
（１）一実施形態では、上記したように主要な構成要素である、顔方向判定部２１２、入力装置映像抽出部２１４、ＭＲ映像生成部２１５、ＶＲ映像生成部２１６および表示制御部２１７を、ＶＲ制御装置２に設けた場合を例にとって説明した。しかし、それに限らず、上記主要な構成要素のすべてまたは一部はＶＲヘッドセット１に設けられるように構成してもよい。このように構成すると、ＶＲ制御装置２を不要にすることができるか或いはその処理負荷の増加を少なく抑制することが可能となる。

（２）一実施形態では、ＶＲヘッドセットとして、トラッキング制御等のために制御部およびメモリを備えたものとして説明した。しかし、それに限らずＶＲヘッドセットは表示部と映像データの入力端子のみ、或いはそれに加えカメラおよびセンサのみを備える簡易なものとし、ＶＲ制御装置が本発明に係るすべての処理機能を備えるように構成してもよい。この場合、ＶＲヘッドセットとＶＲ制御装置との間は、例えばHDMI（High Definition Multimedia Interface）（登録商標）、またはUSB（Universal Serial Bus）を使用して接続される。

（３）一実施形態では、ＶＲ映像データにカメラ１６Ｒ，１６Ｌにより撮像された情報入力装置３の映像を合成することでＭＲ映像データを生成し表示するようにした。しかし、それに限らず、ＶＲヘッドセット１の表示部１４の一部領域を透過型に構成し、ユーザの顔の向きが情報入力装置３が設置されている方向を向いた場合に、上記表示部１４の上記一部領域を透過状態に設定し、当該透過領域を通してユーザが情報入力装置３を直接視認できるように構成してもよい。

（４）一実施形態では、センサ１８により検出されたユーザの頭部の動きを表すデータをもとにユーザの顔の向きが情報入力装置３が設置されている方向（例えば斜め下方向）を向いたか否かを判定した。しかしそれに限らず、カメラ１６Ｒ，１６Ｌを常時動作させ、その撮像映像データをもとに、ユーザの顔の向きが情報入力装置３が設置されている方向を向いたか否かを判定するようにしてもよい。

また、ユーザが情報入力操作を行おうとする状態を予測する他の手法として、カメラにより撮像された映像をもとにユーザの手の動きを監視し、ユーザの手の位置が情報入力装置に対し所定の距離以内に近づいたことが検出されたとき、これをユーザが情報入力操作を行おうとする状態であると予測するようにしてもよい。

以上のようにカメラの映像をもとにユーザが情報入力操作を行おうとする状態を予測する場合には、ユーザの頭部または視線の動きを検出するための専用のセンサは不要にすることができる。これによって、ユーザの頭部の動きをトラッキングする機能を持たない簡易なＶＲヘッドセットにおいてもこの発明を実施することが可能となる。

（５）一実施形態では、ＭＲ映像を構成するＶＲ映像および情報入力装置３の映像を何れも動画像とする場合を例にとって説明した。しかし、これに限らず、ＶＲコンテンツとして例えばゲーム等のコンテンツを体験しているときには、ＭＲ映像生成部がＶＲコンテンツの映像と情報入力装置の映像とを合成したＭＲ映像データを生成する際に、情報入力装置の映像を現実世界の動画像とし、ＶＲ映像を静止画像とするようにしてもよい。このようにすると、ユーザが情報を入力している期間にはＶＲコンテンツの進行を停止させることができ、これによりユーザは情報の入力が終了した後に入力開始直前のシーンからＶＲコンテンツの映像を視聴することが可能となる。

（６）一実施形態では、ＶＲ映像と情報入力装置の現実世界の映像とを合成したＭＲ映像を生成し表示させる場合を例にとって説明した。しかし、これに限らず、ＶＲ映像を情報入力装置の現実世界の映像に切り替えることで、情報入力装置の現実世界の映像のみを表示させるようにしてもよい。この場合ユーザは、情報入力期間中にＶＲ映像をまったく見ることができなくなるが、ＶＲ映像自体がリアルタイム映像を含まなければ、特に支障は生じない。

（７）一実施形態では、情報入力装置の現実世界の映像として、図８に例示したようにキーボード（入力部）とディスプレイ（表示部）を表示する場合を例にとって説明した。しかしそれに限らず、キーボードのみを表示させるように構成してもよい。この場合、入力情報は、情報入力装置３からＶＲ制御装置２に入力され、ＶＲ制御装置２においてＶＲ映像上に重畳処理される。

（８）一実施形態では、予測対象となるユーザの行動が情報入力装置３を使用して情報を入力しようとする場合を例にとって説明した。しかし、それに限らず、例えばユーザが手元の資料を視認しようとする場合や、非常時に出入り口等を確認しようとする場合等にも、この発明を適用できる。

例えば、ユーザが手元の資料を視認しようとする場合は、資料が置かれている方向を向いたことが動きセンサの検出信号またはカメラの映像データから検出されるか、或いは特定のＱＲコード（登録商標）がカメラの映像データから検出されたときに、表示画像をカメラにより撮像される現実世界の映像に切り替える。また、非常時に出入り口等を確認しようとする場合は、カメラの映像データから非常口のマークまたは非常用ランプの点灯或いは明滅が検出されたとき、ＶＲヘッドセットまたはＶＲ制御装置に備えられているマイクロフォンにより非常放送やアラーム音が検出されたときに、表示画像をカメラにより撮像される現実世界の映像に切り替える。

（９）その他、ＶＲヘッドセット１およびＶＲ制御装置２のそれぞれの構成、ＶＲ映像データの生成および表示方法、ユーザの顔の向きが情報入力装置３が設置されている方向を向いたか否かを判定するための方法、合成映像データを生成する方法、情報入力装置３の種類や構成等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…ヘッドマウントディスプレイ（ＨＭＤ）、２…情報入力装置、３…ＶＲ制御装置、１１…ＨＭＤの制御部、１２…ＨＭＤの記憶部、１３…表示Ｉ／Ｆ、１４…表示部、１５…カメラＩ／Ｆ、１６Ｒ，１６Ｌ…カメラ、１７…センサＩ／Ｆ、１８…センサ、２１…ＶＲ制御装置の制御部、２２…ＶＲ制御装置の記憶部、２３…ＶＲ制御装置の通信Ｉ／Ｆ、２１１…動きデータ取得部、２１２…顔方向判定部、２１３…カメラ映像取得部、２１４…入力装置映像取得部、２１５…ＭＲ映像生成部、２１６…ＶＲ映像生成部、２２１…カメラ映像記憶部、２２２…ＶＲ映像記憶部、３１…情報入力装置の制御部、３２…情報入力装置のキー入力部、３３…情報入力装置の通信Ｉ／Ｆ。

Claims (9)

1. ユーザの頭部に装着され、少なくとも仮想現実映像を表示可能な表示部を備える仮想現実ヘッドセットと、前記ユーザの視界を含む所定範囲を撮像するカメラと、前記ユーザの頭部または視線の動きを検出するセンサとにそれぞれ接続可能な仮想現実制御装置であって、
   前記仮想現実制御装置は、ハードウェアプロセッサおよびメモリを備え、前記ハードウェアプロセッサは、前記センサにより検出された前記ユーザの頭部または視線の動きを表す情報をもとに、前記ユーザの特定の行動を予測する行動予測処理と、前記ユーザの特定の行動が予測された場合に、前記カメラにより撮像された前記ユーザの周辺の現実世界の映像データ、および前記現実世界の映像データと前記仮想現実映像とを合成した合成映像データのいずれか一方を前記表示部に表示させる表示制御処理とを実行するように構成され、
   前記行動予測処理は、前記センサにより検出された前記ユーザの頭部または視線の動きを表す情報に基づいて、前記ユーザの頭部または視線が情報入力装置の方向を向いたことが検出された場合に、前記ユーザの特定の行動として、前記ユーザが情報入力操作を行おうとする状態であると予測し、
   前記表示制御処理は、
   前記ユーザが前記情報入力操作を行おうとする状態が予測された場合に、前記カメラにより撮像された前記ユーザの周辺の前記現実世界の映像データから前記情報入力装置を表す映像を抽出する抽出処理と、
   抽出された前記情報入力装置を表す映像と前記仮想現実映像とを合成した映像データを前記合成映像データとして生成する合成映像生成処理と、
   前記生成された前記合成映像データを前記仮想現実映像に代えて前記表示部に表示させる表示処理と
   を実行する仮想現実制御装置。
2. 前記行動予測処理は、前記センサにより検出された前記ユーザの頭部または視線の動きを表す情報に基づいて、前記ユーザの頭部または視線が前記情報入力装置の方向を所定時間以上連続して向いたことが検出された場合に、前記ユーザが前記情報入力操作を行おうとする状態であると予測する、請求項１に記載の仮想現実制御装置。
3. 前記行動予測処理は、前記カメラにより撮像された前記現実世界の映像データに基づいて、前記現実世界の映像データに前記情報入力装置を表す映像が含まれていることが検出された場合に、前記ユーザが前記情報入力操作を行おうとする状態であると予測する、請求項１に記載の仮想現実制御装置。
4. 前記合成映像生成処理は、前記情報入力装置を表す映像のサイズを算出し、前記仮想現実映像のフレーム中に、前記算出されたサイズに対応する現実世界表示領域を設定し、前記現実世界表示領域に、抽出された前記情報入力装置の映像を合成する、請求項１に記載の仮想現実制御装置。
5. 前記合成映像生成処理は、前記センサにより検出された前記ユーザの頭部または視線の動きを表す情報に基づいて、前記仮想現実映像のフレーム中に設定された前記現実世界表示領域の位置を、前記ユーザの頭部または視線の動きに応じて変化させる、請求項４に記載の仮想現実制御装置。
6. 前記行動予測処理は、前記センサにより検出された前記ユーザの頭部または視線の動きを表す情報に基づいて、前記ユーザが前記情報入力操作を終了する状態をさらに予測し、
   前記表示処理は、前記情報入力操作を終了する状態が予測された場合に、前記合成映像データに代えて前記仮想現実映像を前記表示部に表示させる、請求項１に記載の仮想現実制御装置。
7. 前記合成映像生成処理は、前記合成映像データにおいて、前記情報入力装置を表す映像を動画像とすると共に前記仮想現実映像を静止させる、請求項１に記載の仮想現実制御装置。
8. ユーザの頭部に装着され、少なくとも仮想現実映像を表示可能な表示部を備える仮想現実ヘッドセットと、前記ユーザの視界を含む所定範囲を撮像するカメラと、前記ユーザの頭部または視線の動きを検出するセンサとにそれぞれ接続可能であり、ハードウェアプロセッサおよびメモリを備え、前記ハードウェアプロセッサが、前記センサにより検出された前記ユーザの頭部または視線の動きを表す情報をもとに、前記ユーザの特定の行動を予測する行動予測処理と、前記ユーザの特定の行動が予測された場合に、前記カメラにより撮像された前記ユーザの周辺の現実世界の映像データ、および前記現実世界の映像データと前記仮想現実映像とを合成した合成映像データのいずれか一方を前記表示部に表示させる表示制御処理とを実行するように構成される仮想現実制御装置が実行する仮想現実制御方法であって、
   前記行動予測処理により、前記ユーザの頭部または視線の動きを表す情報に基づいて、前記ユーザの頭部または視線が情報入力装置の方向を向いたことが検出された場合に、前記ユーザの特定の行動として、前記ユーザが前記情報入力装置により情報入力操作を行おうとする状態を予測し、
   前記表示制御処理により、前記ユーザが前記情報入力操作を行おうとする状態が予測された場合に、前記カメラにより撮像された前記ユーザの周辺の前記現実世界の映像データから前記情報入力装置を表す映像を抽出し、前記抽出された前記情報入力装置を表す映像と前記仮想現実映像とを合成した前記合成映像データを生成し、前記生成された前記合成映像データを前記仮想現実映像に代えて前記表示部に表示させる、仮想現実制御方法。
9. 請求項１乃至７の何れかに記載の仮想現実制御装置のハードウェアプロセッサが実行する各処理を、当該ハードウェアプロセッサに実行させるプログラム。

Images