JP7322692B2 - 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 - Google Patents

Description

本発明は、画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法に関する。

全方位カメラ（３６０度カメラ）で撮影した上下左右全方位の画像をヘッドマウントディスプレイで表示するバーチャル・リアリティ画像表示システムが急速に普及している。以下、バーチャル・リアリティをＶＲと略記することがある。

特開２００５－５６２９５号公報

特許文献１には、全方位カメラで撮影した画像の水平面を検出して、画像の傾きを補正することが記載されている。全方位カメラは、撮影した画像の水平面を検出して水平面を示す補助情報を画像信号に付加して出力することがある。

ところが、撮影した画像によっては画像の水平面を正しく検出することができず、画像信号に誤った補助情報を付加することがある。画像の水平面を３軸のセンサによって検出する場合においても、誤検出された水平面を示す補助情報が生成されることがある。ＶＲ画像表示システムが全方位カメラで撮影された全方位画像を表示するとき、画像信号に誤った補助情報が付加されていると、ヘッドマウントディスプレイのユーザが感じる重力方向と全方位画像の天頂が位置する方向とがずれるため、ユーザは違和感を覚える。

また、全方位カメラが移動しながら全方位画像を生成するとき、全方位カメラが撮影する被写体の前方とユーザが前方を向いているときにヘッドマウントディスプレイに表示される画像とを対応付ける必要がある。

本発明は、全方位カメラで撮影されてヘッドマウントディスプレイで表示される全方位画像の水平面の傾きを簡単に補正することができ、全方位カメラが撮影する被写体の前方とユーザが前方を向いているときにヘッドマウントディスプレイに表示される領域画像とを自動的に対応付けることができる画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法を提供することを目的とする。

本発明は、球状画像を生成する画像生成部と、前記球状画像を、全方位カメラが被写体を撮影した全方位画像に重畳した重畳画像のうち、ヘッドマウントディスプレイを装着したユーザが向く方向に対応して抽出された領域画像を前記ヘッドマウントディスプレイに表示した状態で、前記球状画像を回転させる操作によって前記全方位画像を回転させて、前記全方位画像の水平面の傾きを補正する画像回転部と、前記全方位カメラが移動して前記全方位画像が変化している状態で、前記全方位画像の消失点を検出する消失点検出部と、前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を前記画像回転部によって補正された水平面を維持しながら回転させる前方設定部とを備える画像調整装置を提供する。

本発明は、全方位カメラが被写体を撮影した全方位画像の画像データを画像送信サーバから受信する通信部と、ユーザの頭部に装着されて、前記全方位画像を前記ユーザに見せるヘッドマウントディスプレイと、前記ユーザによって操作されるコントローラと、前記ユーザが座る椅子と、球状画像を生成する画像生成部と、前記球状画像を前記全方位画像に重畳して重畳画像を生成する画像重畳部と、前記重畳画像または前記全方位画像のうち、前記ユーザが向く方向に対応して抽出した領域画像を前記ヘッドマウントディスプレイに供給する領域画像抽出部と、前記ユーザが前記椅子に座った状態で、前記ユーザが前記コントローラを操作して前記球状画像を回転させることによって前記重畳画像を回転させて、前記全方位画像の水平面の傾きを補正する画像回転部と、前記全方位カメラが移動して前記全方位画像が変化しているとき、前記全方位画像の消失点を検出する消失点検出部と、前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を前記画像回転部によって補正された水平面を維持しながら回転させる前方設定部とを備えるバーチャル・リアリティ画像表示システムを提供する。

本発明は、球状画像を生成し、前記球状画像を、全方位カメラが被写体を撮影した全方位画像に重畳した重畳画像のうち、ヘッドマウントディスプレイを装着したユーザが向く方向に対応して抽出された領域画像を前記ヘッドマウントディスプレイに表示した状態で、前記球状画像を回転させる操作によって前記全方位画像を回転させて、前記全方位画像の水平面の傾きを補正し、前記全方位カメラが移動して前記全方位画像が変化している状態で、前記全方位画像の消失点を検出し、前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を補正された水平面を維持しながら回転させる画像調整方法を提供する。

本発明の画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法によれば、全方位カメラで撮影されてヘッドマウントディスプレイで表示される画像の水平面の傾きを簡単に補正することができ、全方位カメラが撮影する被写体の前方とユーザが前方を向いているときにヘッドマウントディスプレイに表示される画像とを自動的に対応付けることができる。

各実施形態の画像調整装置及びバーチャル・リアリティ画像表示システムを含む全方位画像送受信システムを示すブロック図である。 車内に全方位カメラを配置している車両を示す部分斜視図である。 全方位カメラの外観的な構成例を示す斜視図である。 第１実施形態の画像調整装置及びバーチャル・リアリティ画像表示システムが備える画像処理部の具体的な構成例を示すブロック図である。 全方位カメラが撮影した全方位画像をＶＲ用椅子に座って見るユーザを示す斜視図である。 各実施形態の画像調整装置及びバーチャル・リアリティ画像表示システムが備える画像生成部が、全方位画像の水平面の調整のために生成した、ユーザが仮想的に内部に位置する球状画像を示す概念図である。 各実施形態の画像調整装置及びバーチャル・リアリティ画像表示システムが備える前方設定部が、全方位画像の消失点に基づいて全方位画像の前方を設定する動作を説明するための図である。 第１実施形態の画像調整装置で実行される処理を示すフローチャートである。 第２及び第３実施形態の画像調整装置及びバーチャル・リアリティ画像表示システムが備える制御部の具体的な構成例を示すブロック図である。 車両が直進している状態で撮影された全方位画像の部分的な領域画像がヘッドマウントディスプレイに表示されている状態を概念的に示す図である。 車両が左折している状態で撮影された全方位画像の部分的な領域画像がヘッドマウントディスプレイに表示されている状態で、ＶＲ用椅子及び領域画像を右方向に傾けた状態を概念的に示す図である。 第２実施形態の画像調整装置及びバーチャル・リアリティ画像表示システムで実行される処理を示すフローチャートである。 前方に走行している車両が加速している状態でＶＲ用椅子及び領域画像を後方に傾けた状態を概念的に示す図である。 前方に走行している車両が減速している状態でＶＲ用椅子及び領域画像を前方に傾けた状態を概念的に示す図である。 第３実施形態の画像調整装置及びバーチャル・リアリティ画像表示システムで実行される処理を示すフローチャートである。 第４及び第５実施形態の画像調整装置及びバーチャル・リアリティ画像表示システムが備える制御部の具体的な構成例を示すブロック図である。 第４実施形態において、車両が弾道軌道を描いて進行しているときにＶＲ用椅子をどのように制御するかを示す図である。 第４実施形態のバーチャル・リアリティ画像表示システムで実行される処理を示すフローチャートである。 第５実施形態において、車両が弾道軌道を描いて進行しているときにＶＲ用椅子をどのように制御するかを示す図である。 第５実施形態のバーチャル・リアリティ画像表示システムで実行される処理を示すフローチャートである。 第６実施形態の画像調整装置及びバーチャル・リアリティ画像表示システムで実行される処理を示すフローチャートである。 第６実施形態の画像調整装置及びバーチャル・リアリティ画像表示システムで実行される好ましい処理を示すフローチャートである。

以下、各実施形態の画像調整装置、バーチャル・リアリティ画像表示システム、画像調整方法、及びバーチャル・リアリティ画像表示システムの制御方法について、添付図面を参照して説明する。

＜第１実施形態＞
図１において、通信部１１には、全方位カメラ１２と３軸の加速度センサ１３が接続されている。図２に示すように、全方位カメラ１２は、一例として、車両１０のダッシュボード上に配置されている。図３に示すように、全方位カメラ１２は、図２に示す配置状態において、車両１０の前方を撮影する左目用魚眼レンズ１２ＦＬ及び右目用魚眼レンズ１２ＦＲと、車両１０の後方を撮影する左目用魚眼レンズ１２ＲＬ及び右目用魚眼レンズ１２ＲＲとを備える。

全方位カメラ１２は運転者の正面に配置されていてもよい。全方位カメラ１２は車両１０の内部に限定されず、車両１０の外部、例えばルーフ上に配置されていてもよい。全方位カメラ１２は車両１０等の任意の移動体の任意の位置に配置されており、相対的に移動する被写体を撮影すればよい。

図３に示すように、全方位カメラ１２の筐体には加速度センサ１３が取り付けられている。加速度センサ１３は筐体の内部に配置されていてもよい。加速度センサ１３は、全方位カメラ１２が取り付けられている移動体に取り付けられていてもよい。全方位カメラ１２は、筐体の内部に、撮像素子及び映像信号処理回路等の構成を備える。全方位カメラ１２は、左目用画像信号及び右目用画像信号を生成する。これにより、全方位カメラ１２は３次元（３Ｄ）表示用の全方位画像データを生成する。

全方位カメラ１２は、撮影した画像に基づいて画像の水平面を検出して水平面を示す補助情報を全方位画像データに付加して出力する。全方位カメラ１２は、３軸のセンサを用いて画像の水平面を検出してもよい。全方位カメラ１２は、水平面を示す補助情報を生成しなくてもよい。

図１に戻り、通信部１１は、全方位カメラ１２が生成した全方位画像データと、加速度センサ１３が加速度を検出した加速度検出信号とを、ネットワーク２０を介して画像送信サーバ３１に供給する。全方位画像データには補助情報が付加されているが、単に全方位画像データと称することとする。典型的には、ネットワーク２０はインターネットである。

メモリ３２は、画像送信サーバ３１に供給された全方位画像データ及び加速度検出信号を一時的に記憶する。画像送信サーバ３１は、全方位カメラ１２が生成した全方位画像データの配信を受けるクライアント側に配置されているＶＲ画像表示システム４０に、ネットワーク２０を介して全方位画像データ及び加速度検出信号を送信する。

ＶＲ画像表示システム４０は、通信部４１、制御部４２、画像生成部４３、ヘッドマウントディスプレイ４４、グローブ型コントローラ４５、ＶＲ用椅子４６、操作部４７を備える。制御部４２は画像処理部４２０を備える。少なくとも画像生成部４３及び画像処理部４２０は画像調整装置を構成する。図４に示すように、第１実施形態における画像処理部４２０は、画像重畳部４２１、画像回転部４２２、消失点検出部４２３、前方設定部４２４、領域画像抽出部４２５を備える。

制御部４２はマイクロコンピュータまたはマイクロプロセッサで構成されていてもよいし、マイクロコンピュータが備える中央処理装置（ＣＰＵ）であってもよい。図４に示すように構成された画像処理部４２０は、ＣＰＵがコンピュータプログラムを実行することによって実現されてもよい。画像処理部４２０の少なくとも一部がハードウェアの回路によって構成されていてもよい。ハードウェアとソフトウェアとの使い分けは任意である。

図５に示すように、画像送信サーバ３１より送信された全方位画像データが示す全方位画像を見るユーザＵｓは、ＶＲ用椅子４６に座った状態で頭部にヘッドマウントディスプレイ４４を装着し、両手にグローブ型コントローラ４５を装着している。

ＶＲ用椅子４６は、基準の状態において、座面が所定の高さで水平に調整されている。この状態をＶＲ用椅子４６の基準の高さ及び基準の角度とする。ＶＲ用椅子４６はシートベルト４６１を備え、ユーザＵｓはシートベルト４６１を締めている。ユーザＵｓがシートベルト４６１を締めているとき、制御部４２には締めていることを示す信号が供給される。シートベルト４６１は安全装置の一例である。

通信部４１はネットワーク２０を介して画像送信サーバ３１と通信して、画像送信サーバ３１より送信された全方位画像データ及び加速度検出信号を受信する。通信部４１は、全方位画像データ及び加速度検出信号を制御部４２に供給する。画像生成部４３は、操作部４７によって球状画像データの出力が指示されたとき、コンピュータグラフィックスよりなる球状画像データを生成して制御部４２に供給する。

図４において、画像重畳部４２１には、画像送信サーバ３１より送信された全方位画像データと、画像生成部４３によって生成された球状画像データとが入力される。画像重畳部４２１は、全方位画像データに球状画像データに重畳して重畳画像データを生成する。

重畳画像データは、画像回転部４２２及び前方設定部４２４を介して領域画像抽出部４２５に供給される。領域画像抽出部４２５には、ヘッドマウントディスプレイ４４からヘッドマウントディスプレイ４４（ユーザＵｓの顔）が向いている方向を示す方向情報が入力される。領域画像抽出部４２５は、入力された方向情報に基づき、重畳画像データまたは全方位画像データのうち、ユーザＵｓの顔が向いている方向に対応する領域画像データを抽出して、抽出した領域画像データをヘッドマウントディスプレイ４４に供給する。

画像重畳部４２１は、全方位画像データに付加されている補助情報に基づいて全方位画像データの水平面を設定して、全方位画像データに球状画像データを重畳する。全方位画像データに補助情報が付加されていない場合には、画像処理部４２０は画像の水平面を検出して全方位画像データの水平面を設定すればよい。

図６は、球状画像データが示す球状画像ＶＳＳを概念的に示している。一例として、球状画像ＶＳＳは、複数の緯度を示す線画像及び複数の経度を示す線画像によって形成されている。ユーザＵｓのほぼ上半身は仮想的に球状画像ＶＳＳの内部に位置している。球状画像ＶＳＳはユーザＵｓの手が届く距離に位置するように表示されている。ユーザＵｓが図６では図示が省略されている全方位画像を見たとき、補助情報が誤っていたり、画像処理部４２０が水平面を誤って検出したりすると、全方位画像の天頂と球状画像ＶＳＳの天頂ＺＥとが一致せず、ユーザＵｓは違和感を覚える。

そこで、画像処理部４２０は、全方位画像の水平面の傾きを補正して、全方位画像の天頂と球状画像ＶＳＳの天頂ＺＥとを一致させるよう構成されている。図６において、球状画像ＶＳＳはユーザＵｓの手が届く距離に位置するように表示されている。グローブ型コントローラ４５を手に装着したユーザＵｓは、手を伸ばすことによって球状画像ＶＳＳに触れている感覚を得ることができる。

グローブ型コントローラ４５は、手が接触する内面にアクチュエータを備えるのがよい。制御部４２が、グローブ型コントローラ４５が球状画像ＶＳＳに触れる位置となるとアクチュエータを作動させるよう制御すれば、ユーザＵｓに球状画像ＶＳＳに触れている実感を与えることができる。

ユーザＵｓがグローブ型コントローラ４５によって球状画像ＶＳＳに触れながら球状画像ＶＳＳを任意の方向に回転させると、画像回転部４２２には、グローブ型コントローラ４５より出力された回転操作情報が入力される。画像回転部４２２は、回転操作情報に応答して全方位画像を回転させる。これによって、ユーザＵｓは全方位画像の水平面の傾きを簡単に補正することができる。結果として、全方位画像の天頂と球状画像ＶＳＳの天頂ＺＥとが一致し、ユーザＵｓが覚える違和感を解消することができる。画像回転部４２２は水平面の傾きの補正値を保持する。

水平面の補正後、ユーザＵｓは操作部４７を操作して球状画像ＶＳＳを非表示とするのがよい。水平面の補正後、ユーザＵｓはグローブ型コントローラ４５を外してもよい。

以上の全方位画像の水平面の補正は、車両１０が停止している状態で可能である。水平面を補正しただけでは、ユーザＵｓは、全方位画像のどの方向が全方位カメラ１２が撮影している被写体の前方であるかを認識することができない。

車両１０が動き出すと、仮にユーザＵｓが前方を向いていて全方位画像の前方の領域画像データがヘッドマウントディスプレイ４４に供給されるとすると、ユーザＵｓは、図７に示すように、消失点Ｖｐを中心として景色が放射状に広がっていく領域画像４４ｉを見る。全方位画像の前方が特定されていない状態では、消失点Ｖｐが領域画像４４ｉ内に位置するとは限らない。

消失点検出部４２３は、少なくとも２フレームの画像に基づいてフレーム間の動きベクトルＭＶを検出する。消失点検出部４２３は、複数の動きベクトルＭＶを動きのマイナス方向に延長した交差する点を消失点Ｖｐと検出する。消失点検出部４２３は、消失点Ｖｐを検出する際に、左目用画像信号と右目用画像信号とのいずれを用いてもよい。

前方設定部４２４は、消失点検出部４２３が検出した消失点Ｖｐに基づいて、全方位カメラ１２が撮影している被写体の前方に対応する全方位画像の前方を特定する。前方設定部４２４は、全方位画像の前方とユーザＵｓが前方を向いているときに抽出された領域画像４４ｉとを対応付けるように、全方位画像を補正された水平面を維持しながら回転させる。前方設定部４２４は、ユーザＵｓの顔が向いている正面に消失点Ｖｐが位置するように全方位画像を回転させるのがよい。

このようにして、全方位画像の前方とユーザＵｓが前方を向いているときにヘッドマウントディスプレイ４４に表示される領域画像４４ｉとを自動的に対応付けることができる。なお、球状画像ＶＳＳをグローブ型コントローラ４５によって回転させて、手動で前方を設定することも可能である。

ＶＲ用椅子４６は、水平面内で回転自在で、左右方向及び前後方向に傾けることができ、高さを変化させることができるように構成されている。制御部４２には、ＶＲ用椅子４６の水平面内の回転角度、左右方向の傾き角度、前後方向の傾き角度、上下方向の位置情報が供給される。

前方設定部４２４は、消失点ＶｐをＶＲ用椅子４６の水平面内の回転角度の方向に位置するように全方位画像を回転させてもよい。ＶＲ用椅子４６の回転角度の方向はユーザＵｓが向いている前方と等価である。よって、消失点ＶｐをＶＲ用椅子４６の回転角度の方向に位置するように全方位画像を回転させても、全方位画像の前方とユーザＵｓが前方を向いているときの領域画像４４ｉとを対応付けることができる。

図８に示すフローチャートを用いて、第１実施形態で実行される処理を説明する。図７において、処理が開始されると、画像回転部４２２は、ステップＳ１１にて、ユーザＵｓがＶＲ用椅子４６の水平の座面に座っている状態で、グローブ型コントローラ４５によって球状画像ＶＳＳを回転させて全方位画像の水平面の傾きを補正する。画像処理部４２０（消失点検出部４２３）は、ステップＳ１２にて、画像が変化しているか否かを判定する。画像が変化していなければ（NO）、画像処理部４２０はステップＳ１２の処理を繰り返す。

ステップＳ１２にて画像が変化していれば（YES）、車両１０が移動しているということであり、消失点検出部４２３は、ステップＳ１３にて、消失点Ｖｐを検出する。前方設定部４２４は、ステップＳ１４にて、消失点Ｖｐが、ユーザＵｓが前方を向いているときに抽出された領域画像４４ｉ内に位置するように、全方位画像を水平面を維持しながら回転させて、処理を終了させる。

以上説明した第１実施形態によれば、全方位カメラ１２で撮影されてヘッドマウントディスプレイ４４で表示される全方位画像の水平面の傾きを簡単に補正することができる。また、第１実施形態によれば、全方位画像の前方とユーザＵｓが前方を向いているときにヘッドマウントディスプレイ４４に表示される領域画像４４ｉとを自動的に対応付けることができる。

＜第２実施形態＞
第２実施形態は、第１実施形態と同様に全方位画像の水平面の傾きを補正し、全方位画像の前方を設定した上で、ユーザＵｓに車両１０の動きに対応する臨場感を与えるように構成した画像調整装置及びＶＲ画像表示システム４０である。

図９に示すように、制御部４２は、椅子制御部第６実施形態においては、及びモード設定部4202を備える。制御部４２が備える画像処理部４２０は、領域画像抽出部４２５より出力された領域画像データが供給される画像傾け部４２６を備える。領域画像抽出部４２５、画像傾け部４２６、及び椅子制御部4201には、加速度検出信号が入力される。なお、第２実施形態においては、領域画像抽出部４２５に加速度検出信号を入力しなくてもよい。

図１０Ａは、車両１０が直進している状態で加速度センサ１３が重力加速度の方向である角度θ０を検出しているときに、ユーザＵｓが領域画像４４ｉを見ている状態を概念的に示している。ここでは、ＶＲ用椅子４６の背もたれを省略して水平に調整された座面のみを示している。

図１０Ｂに示すように、車両１０が左折して加速度センサ１３が左方向の所定の角度θ１を検出すると、椅子制御部4201は、ＶＲ用椅子４６を右方向に所定の角度θ２だけ傾けるようＶＲ用椅子４６を制御する。これに合わせて、画像傾け部４２６は領域画像抽出部４２５より出力された領域画像４４ｉを右方向に所定の角度θ３だけ傾ける。

車両１０が右折した場合には、加速度センサ１３は右方向の所定の角度θ１を検出するので、椅子制御部4201は、ＶＲ用椅子４６を左方向に角度θ２だけ傾けるようＶＲ用椅子４６を制御し、画像傾け部４２６は領域画像４４ｉを左方向に所定の角度θ３だけ傾ければよい。

角度θ２は角度θ１と同じ角度であってもよいし、異なる角度であってもよい。角度θ３は角度θ１と同じ角度であってもよいし、異なる角度であってもよい。角度θ２と角度θ３は同じ角度であってもよいし、異なる角度であってもよい。

ユーザＵｓにユーザＵｓが車両１０に乗っているような臨場感を与えたいだけであれば、角度θ２及び角度θ３は角度θ１以下でよい。ユーザＵｓが車両１０に乗っているような臨場感を与えるモードを通常モードとする。ユーザＵｓに車両１０の動きを強調した臨場感を与えたい場合には、角度θ２及び角度θ３を角度θ１より大きくするのがよい。ユーザＵｓに車両１０の動きを強調した臨場感を与えるモードを増強モードとする。

モード設定部4202には、操作部４７によってユーザＵｓが設定した通常モードまたは増強モードが予め設定されている。

図１１に示すフローチャートを用いて、第２実施形態で実行される処理を説明する。図１１において、制御部４２は、処理が開始されると、ステップＳ２１にて、加速度センサ１３が角度θ１を検出したか否かを判定する。加速度センサ１３が角度θ１を検出しなければ（NO）、制御部４２はステップＳ２１の処理を繰り返す。加速度センサ１３が角度θ１を検出すれば（YES）、制御部４２（モード設定部4202）は、ステップＳ２２にて、通常モードに設定されているか否かを判定する。

ステップＳ２２にて通常モードに設定されていれば（YES）、ステップＳ２３にて、椅子制御部4201はＶＲ用椅子４６を右方向または左方向にθ１≧θ２なる角度θ２だけ傾け、画像傾け部４２６は領域画像４４ｉを右方向または左方向にθ１≧θ３なる角度θ３だけ傾ける。

ステップＳ２２にて通常モードに設定されていなければ（NO）、増強モードに設定されているということである。ステップＳ２４にて、椅子制御部4201はＶＲ用椅子４６を右方向または左方向にθ１＜θ２なる角度θ２だけ傾け、画像傾け部４２６は領域画像４４ｉを右方向または左方向にθ１＜θ３なる角度θ３だけ傾ける。

制御部４２は、ステップＳ２３またはＳ２４に続けてステップＳ２５にて、加速度センサ１３が角度θ０を検出したか否かを判定する。加速度センサ１３が角度θ０を検出しなければ（NO）、制御部４２または画像処理部４２０はステップＳ２２～Ｓ２５の処理を繰り返す。加速度センサ１３が角度θ０を検出すれば（YES）、ステップＳ２６にて、椅子制御部4201はＶＲ用椅子４６の角度を０に戻し、画像傾け部４２６は領域画像４４ｉの角度を０に戻す。

制御部４２は、ステップＳ２７にて、画像送信サーバ３１からの画像データの受信を終了するか否かを判定する。画像データの受信を終了しなければ（NO）、制御部４２または画像処理部４２０はステップＳ２１～Ｓ２７の処理を繰り返す。画像データの受信を終了すれば（YES）、制御部４２は処理を終了させる。

以上説明した第２実施形態によれば、第１実施形態が奏する効果に加えて、ユーザＵｓに、車両１０が右折または左折したときに車両１０の乗員が覚える感覚に相当する臨場感を与えることができる。通常モードと増強モードの２つのモードを選択可能とすることにより、ユーザＵｓが単に車両１０に乗っているような臨場感を得たいか、車両１０の動きを強調したより強い臨場感を得たいかをユーザＵｓの好みに応じて設定することができる。

なお、第２実施形態において、領域画像４４ｉを傾けず、ＶＲ用椅子４６のみを傾けてもよい。勿論、ＶＲ用椅子４６を傾けるのに対応して、領域画像４４ｉを傾けることが好ましい。

＜第３実施形態＞
第３実施形態は、第１実施形態と同様に全方位画像の水平面の傾きを補正し、全方位画像の前方を設定した上で、第２実施形態とは異なる方法で、ユーザＵｓに車両１０の動きに対応する臨場感を与えるように構成した画像調整装置及びＶＲ画像表示システム４０である。第３実施形態における制御部４２の構成は図９と同じであってもよいが、モード設定部4202と画像傾け部４２６は省略可能である。

図１２Ａに示すように、前方に走行している車両１０が加速し、加速度センサ１３が前方の角度θ４を検出すると、椅子制御部4201は、ＶＲ用椅子４６を後方に所定の角度θ５だけ傾けるようＶＲ用椅子４６を制御する。これに合わせて、領域画像抽出部４２５は、角度θ５だけ傾ける前に抽出していた二点鎖線で示す領域画像４４ｉから上方に所定の角度θ７だけ回転させた領域画像４４ｉを抽出してヘッドマウントディスプレイ４４に供給する。

図１２Ｂに示すように、前方に走行している車両１０が減速し、加速度センサ１３が後方の角度θ４を検出すると、椅子制御部4201は、ＶＲ用椅子４６を前方に所定の角度θ６だけ傾けるようＶＲ用椅子４６を制御する。これに合わせて、領域画像抽出部４２５は、角度θ６だけ傾ける前に抽出していた二点鎖線で示す領域画像４４ｉから下方に所定の角度θ８だけ回転させた領域画像４４ｉを抽出してヘッドマウントディスプレイ４４に供給する。

角度θ５は角度θ４と同じ角度であってもよいし、角度θ４と異なる角度であってもよい。角度θ７は角度θ５と同じ角度であってもよいし、角度θ５と異なる角度であってもよい。角度θ６は角度θ４と同じ角度であってもよいし、角度θ４と異なる角度であってもよい。角度θ８は角度θ６と同じ角度であってもよいし、角度θ６と異なる角度であってもよい。

前方と後方の角度θ４が同じであったとしても、角度θ６を角度θ５より小さくすることが好ましい。ＶＲ用椅子４６を後方に傾けるよりも前方に傾ける方がユーザＵｓは恐怖心を抱きやすい。そこで、角度θ６は角度θ５に１未満の値を乗算した角度とするのがよい。例えば、角度θ６を０．８×角度θ５とする。

図１３に示すフローチャートを用いて、第３実施形態で実行される処理を説明する。図１３において、制御部４２は、処理が開始されると、ステップＳ３１にて、加速度センサ１３が前方の角度θ４を検出したか否かを判定する。加速度センサ１３が前方の角度θ４を検出しなければ（NO）、制御部４２は、ステップＳ３２にて、加速度センサ１３が後方の角度θ４を検出したか否かを判定する。なお、前方の角度θ４と後方の角度θ４とは必ずしも同じ角度ではなく、それぞれ任意の角度である。

加速度センサ１３が後方の角度θ４を検出しなければ（NO）、制御部４２はステップＳ３１及びＳ３２の処理を繰り返す。

ステップＳ３１にて加速度センサ１３が前方の角度θ４を検出すれば（YES）、ステップＳ３３にて、椅子制御部4201はＶＲ用椅子４６を後方に角度θ５だけ傾け、領域画像抽出部４２５は上方に角度θ７だけ回転させた領域画像４４ｉを抽出する。ステップＳ３２にて加速度センサ１３が後方の角度θ４を検出すれば（YES）、ステップＳ３４にて、椅子制御部4201はＶＲ用椅子４６を前方に角度θ６だけ傾け、領域画像抽出部４２５は下方に角度θ８だけ回転させた領域画像４４ｉを抽出する。

制御部４２は、ステップＳ３３またはＳ３４に続けてステップＳ３５にて、加速度センサ１３が前方または後方の角度が０となったか否かを判定する。加速度センサ１３が角度０を検出しなければ（NO）、制御部４２または画像処理部４２０はステップＳ３１～Ｓ３５の処理を繰り返す。加速度センサ１３が角度０を検出すれば（YES）、ステップＳ３６にて、椅子制御部4201はＶＲ用椅子４６の前方または後方の角度を０に戻し、領域画像抽出部４２５は元の角度の領域画像４４ｉを抽出する。

制御部４２は、ステップＳ３７にて、画像送信サーバ３１からの画像データの受信を終了するか否かを判定する。画像データの受信を終了しなければ（NO）、制御部４２または画像処理部４２０はステップＳ３１～Ｓ３７の処理を繰り返す。画像データの受信を終了すれば（YES）、制御部４２は処理を終了させる。

以上説明した第３実施形態によれば、第１実施形態が奏する効果に加えて、ユーザＵｓに、車両１０が加速または減速したときに車両１０の乗員が覚える感覚に相当する臨場感を与えることができる。なお、第３実施形態において、領域画像４４ｉを回転させず、ＶＲ用椅子４６のみを傾けてもよい。勿論、ＶＲ用椅子４６を傾けるのに対応して、領域画像４４ｉを回転させることが好ましい。

＜第４実施形態＞
第４実施形態は、第１実施形態と同様に全方位画像の水平面の傾きを補正し、被写体の前方を設定した上で、第２及び第３実施形態とは異なる方法で、ユーザＵｓに車両１０の動きに対応する臨場感を与えるように構成した画像調整装置及びＶＲ画像表示システム４０である。図１４に示すように、制御部４２は椅子制御部4201を備える。制御部４２が備える画像処理部４２０は、図３と同じ構成である。

図１５に示すように、第４実施形態においては、道路Ｒ０を走行している車両１０が上り坂Ｒ１を走行し、上り坂Ｒ１と道路Ｒ２との境界の段差Ｒ１２から飛び出した場合を想定している。このとき、段差Ｒ１２から飛び出した車両１０は弾道軌道Ｂｔを描いて道路Ｒ２に着地してさらに走行する。道路Ｒ０を走行している車両１０が加速度１０ａで加速しているとすると、加速度センサ１３が検出する加速度は、加速度１０ａの２乗と重力加速度Ｇの２乗との和の平方根となるから、重力加速度Ｇ以上となる。

車両１０が段差Ｒ１２から飛び出して弾道軌道Ｂｔを描いている最中は、加速度センサ１３が検出する加速度は０または極めて小さな値となる。よって、加速度センサ１３が検出する加速度が重力加速度Ｇ以上の所定の値から急激に低下したタイミングは、車両１０が弾道軌道Ｂｔでの進行を開始したタイミングであると判定できる。また、車両１０が道路Ｒ２に着地すると、加速度センサ１３は重力加速度Ｇ以上の加速度を検出する。よって、加速度センサ１３が検出する加速度が０または極めて小さな値から急激に上昇したタイミングは、車両１０が弾道軌道Ｂｔでの進行を終了したタイミングであると判定できる。

車両１０が道路Ｒ０及び上り坂Ｒ１を走行しているとき、ＶＲ用椅子４６の高さは基準の高さにある。椅子制御部4201は、入力される加速度検出信号が所定の値から急激に低下すると、ＶＲ用椅子４６を短時間に所定の高さだけ下げ、その後、徐々に基準の高さに戻すようＶＲ用椅子４６を制御する。また、椅子制御部4201は、入力される加速度検出信号が０または極めて小さな値から急激に上昇すると、ＶＲ用椅子４６を短時間に所定の高さだけ上げ、その後、徐々に基準の高さに戻すようＶＲ用椅子４６を制御する。

図１６示すフローチャートを用いて、第４施形態で実行される処理を説明する。図１６おいて、制御部４２は、処理が開始されると、ステップＳ４１にて、弾道軌道Ｂｔの開始を検出したか否かを判定する。弾道軌道Ｂｔの開始を検出しなければ（NO）、制御部４２はステップＳ４１の処理を繰り返す。弾道軌道Ｂｔの開始を検出すれば（YES）、椅子制御部4201は、ステップＳ４２にてＶＲ用椅子４６を第１の時間で下げ、ステップＳ４３にてＶＲ用椅子４６を第１の時間より長い第２の時間で上げる。

続けて、制御部４２は、ステップＳ４４にて、弾道軌道Ｂｔの終了を検出したか否かを判定する。弾道軌道Ｂｔの終了を検出しなければ（NO）、制御部４２はステップＳ４４の処理を繰り返す。弾道軌道Ｂｔの終了を検出すれば（YES）、椅子制御部4201は、ステップＳ４５にてＶＲ用椅子４６を第１の時間で上げ、ステップＳ４６にてＶＲ用椅子４６を第２の時間で下げる。

ステップＳ４５における第１の時間はステップＳ４２における第１の時間と同じ時間でなくてもよい。ステップＳ４６における第２の時間はステップＳ４３における第２の時間と同じ時間でなくてもよい。

制御部４２は、ステップＳ４７にて、画像送信サーバ３１からの画像データの受信を終了するか否かを判定する。画像データの受信を終了しなければ（NO）、制御部４２（椅子制御部4201）はステップＳ４１～Ｓ４７の処理を繰り返す。画像データの受信を終了すれば（YES）、制御部４２は処理を終了させる。

以上説明した第４実施形態によれば、第１実施形態が奏する効果に加えて、ユーザＵｓに、車両１０が弾道軌道Ｂｔを描くように進行したときに車両１０の乗員が覚える感覚に相当する臨場感を与えることができる。

＜第５実施形態＞
第５実施形態は、第１実施形態と同様に全方位画像の水平面の傾きを補正し、被写体の前方を設定した上で、第４実施形態とは異なる方法で、ユーザＵｓに、車両１０が弾道軌道Ｂｔを描くように進行したときに車両１０の動きに対応する臨場感を与えるように構成した画像調整装置及びＶＲ画像表示システム４０である。第５実施形態における制御部４２の構成は図１４と同じである。

図１７において、車両１０が道路Ｒ０及び上り坂Ｒ１を走行しているとき、ＶＲ用椅子４６の基準の角度となっている。椅子制御部4201は、入力される加速度検出信号が所定の値から急激に低下すると、ＶＲ用椅子４６を後方に角度θ９だけ傾けるようＶＲ用椅子４６を制御する。

加速度センサ１３が検出する加速度は弾道軌道ＢｔのピークＢｔｐにおいて最小となる。椅子制御部4201は、加速度センサ１３が検出する加速度は最小となると、ＶＲ用椅子４６を前方に角度θ１０だけ傾けるようＶＲ用椅子４６を制御する。弾道軌道ＢｔのピークＢｔｐを過ぎないとピークＢｔｐであることは検出できないため、後方に傾けられているＶＲ用椅子４６が前方への回転を開始するタイミングは車両１０がピークＢｔｐを過ぎた後となる。

椅子制御部4201は、車両１０が道路Ｒ２に着地して加速度検出信号が急激に上昇すると、ＶＲ用椅子４６の前後方向の角度を基準の角度に戻すようＶＲ用椅子４６を制御する。

図１８示すフローチャートを用いて、第５施形態で実行される処理を説明する。図１８おいて、制御部４２は、処理が開始されると、ステップＳ５１にて、弾道軌道Ｂｔの開始を検出したか否かを判定する。弾道軌道Ｂｔの開始を検出しなければ（NO）、制御部４２はステップＳ５１の処理を繰り返す。弾道軌道Ｂｔの開始を検出すれば（YES）、椅子制御部4201は、ステップＳ５２にてＶＲ用椅子４６を後方に角度θ９だけ傾ける。

制御部４２は、ステップＳ５３にて、車両１０が弾道軌道ＢｔのピークＢｔｐに到達したか否かを判定する。車両１０がピークＢｔｐに到達していなければ（NO）、椅子制御部4201はステップＳ５２の処理を繰り返す。車両１０がピークＢｔｐに到達していれば（YES）、椅子制御部4201は、ステップＳ５４にてＶＲ用椅子４６を前方に角度θ１０だけ傾ける。

続けて、制御部４２は、ステップＳ５５にて、弾道軌道Ｂｔの終了を検出したか否かを判定する。弾道軌道Ｂｔの終了を検出しなければ（NO）、制御部４２（椅子制御部4201）はステップＳ５４及びＳ５５の処理を繰り返す。弾道軌道Ｂｔの終了を検出すれば（YES）、椅子制御部4201は、ステップＳ５６にて、ＶＲ用椅子４６の前後方向の角度を基準の角度に戻す。

制御部４２は、ステップＳ５７にて、画像送信サーバ３１からの画像データの受信を終了するか否かを判定する。画像データの受信を終了しなければ（NO）、制御部４２（椅子制御部4201）はステップＳ５１～Ｓ５７の処理を繰り返す。画像データの受信を終了すれば（YES）、制御部４２は処理を終了させる。

以上説明した第５実施形態によれば、第１実施形態が奏する効果に加えて、ユーザＵｓに、第４実施形態とは異なる方法で、車両１０が弾道軌道Ｂｔを描くように進行したときに乗員が覚える感覚に相当する臨場感を与えることができる。

＜第６実施形態＞
第２、第３、及び第５実施形態において、加速度センサ１３が検出した加速度に応じて角度θ２、θ３、θ５～θ１０が設定される。車両１０が異常な走行をしたり、事故が発生したりした場合には、加速度センサ１３が異常な加速度を検出することがある。この場合には、加速度センサ１３が検出した加速度に応じた角度θ２、θ３、θ５～θ１０を設定することは好ましくない。

そこで、第６実施形態においては、第２、第３、及び第５実施形態の構成において、図１９のフローチャートで示す処理を実行する。図１９において、制御部４２は、ステップＳ６１にて、角度θ２、θ３、θ５～θ１０のうちのいずれかを計算したか否かを判定する。制御部４２には、予め角度θ２、θ３、θ５～θ１０の上限値が設定されている。制御部４２は、ステップＳ６２にて、ステップＳ６１で計算した角度が上限値以内であるか否かを判定する。

ステップＳ６１で計算した角度が上限値以内であれば（YES）、制御部４２は、ステップＳ６３にて、計算値を採用して処理を終了させる。ステップＳ６１で計算した角度が上限値以内でなければ（NO）、制御部４２は、ステップＳ６４にて、角度を上限値に制限して処理を終了させる。

ここでは角度θ２、θ３、θ５～θ１０の上限値を設定しているが、角度の上限値に加えて角速度の上限値を設定して、角速度の上限値以内に制限してもよい。特に、ＶＲ用椅子４６を左右方向または前後方向に傾ける際の角速度は上限値以内とするのがよい。

図１９のステップＳ６２で使用される上限値は、ユーザＵｓがシートベルト４６１等の安全装置を装着しているか否かによって値を異ならせてもよい。図２０のフローチャートで示すように、制御部４２は、ステップＳ６５にて、ユーザＵｓが安全装置を装着しているか否かを判定する。ユーザＵｓが安全装置を装着していれば（YES）、制御部４２は、ステップＳ６６にて、第１の上限値を設定して処理を終了させる。

ステップＳ６５にてユーザＵｓが安全装置を装着していなければ（NO）、制御部４２は、ステップＳ６７にて、第１の上限値より小さい第２の上限値を設定して処理を終了させる。

以上のように、第６実施形態においては、椅子制御部4201は、加速度検出信号に応じてＶＲ用椅子４６を左右方向または前後方向に傾けるよう制御する。椅子制御部4201は、加速度検出信号に応じて計算したＶＲ用椅子４６を傾ける角度の計算値が所定の上限値以内であれば前記椅子をその計算値で傾け、計算値が上限値を超えればＶＲ用椅子４６を上限値で傾けるよう制御する。

具体的には、椅子制御部4201は、加速度検出信号が、移動体が左折していることを示すとき、ＶＲ用椅子４６を右方向に所定の角度だけ傾け、加速度検出信号が、移動体が右折していることを示すとき、ＶＲ用椅子４６を左方向に所定の角度だけ傾けるよう制御する。

これに合わせて、画像傾け部４２６は、加速度検出信号が、移動体が左折していることを示すとき、ヘッドマウントディスプレイ４４に供給する領域画像４４ｉを右方向に所定の角度だけ傾けるのがよい。画像傾け部４２６は、加速度検出信号が、移動体が右折していることを示すとき、ヘッドマウントディスプレイ４４に供給する領域画像４４ｉを左方向に所定の角度だけ傾けるのがよい。

このとき、加速度検出信号に応じて計算した領域画像４４ｉを傾ける角度の計算値が所定の上限値以内であれば領域画像４４ｉをその計算値で傾け、計算値が上限値を超えれば領域画像４４ｉを上限値で傾けるよう制御するのがよい。

椅子制御部4201は、加速度検出信号が、前方に移動している移動体が加速していることを示すとき、ＶＲ用椅子４６を後方に所定の角度だけ傾けるのがよい。椅子制御部4201は、加速度検出信号が、前方に移動している移動体が減速していることを示すとき、ＶＲ用椅子４６を所定の前方に角度だけ傾けるのがよい。

これに合わせて、領域画像抽出部４２５は、加速度検出信号が、前方に移動している移動体が加速したことを示すとき、上方に所定の角度だけ回転させた領域画像４４ｉを抽出してヘッドマウントディスプレイ４４に供給するのがよい。領域画像抽出部４２５は、前方に移動している移動体が減速したことを示すとき、下方に所定の角度だけ回転させた領域画像４４ｉを抽出してヘッドマウントディスプレイ４４に供給するのがよい。

このとき、加速度検出信号に応じて計算した領域画像４４ｉを上方または下方に回転させる角度の計算値が所定の上限値以内であれば領域画像４４ｉをその計算値で回転させ、計算値が上限値を超えれば領域画像４４ｉを上限値で回転させるよう制御するのがよい。

椅子制御部4201は、加速度検出信号が、移動体の弾道軌道Ｂｔでの進行の開始を示すとき、基準の角度となっているＶＲ用椅子４６を後方に傾けるようＶＲ用椅子４６を制御するのがよい。椅子制御部4201は、加速度検出信号が、弾道軌道ＢｔのピークＢｔｐを過ぎるとＶＲ用椅子４６を前方に傾けるようＶＲ用椅子４６を制御するのがよい。椅子制御部4201は、加速度検出信号が、移動体の弾道軌道Ｂｔでの進行の終了を示すとき、ＶＲ用椅子４６を基準の角度に戻すようＶＲ用椅子４６を制御するのがよい。

第６実施形態によれば、第２実施形態、第３実施形態、第５実施形態が奏する効果に加えて、ＶＲ画像表示システム４０の安全性を向上させることができる。

本発明は以上説明した第１～第６実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１０ 車両（移動体）
１１，４１ 通信部
１２ 全方位カメラ
１３ 加速度センサ
２０ ネットワーク
３１ 画像送信サーバ
３２ メモリ
４０ バーチャル・リアリティ画像表示システム
４２ 制御部
４３ 画像生成部
４４ ヘッドマウントディスプレイ
４５ グローブ型コントローラ
４６ ＶＲ用椅子
４７ 操作部
４２０ 画像処理部
４２１ 画像重畳部
４２２ 画像回転部
４２３ 消失点検出部
４２４ 前方設定部
４２５ 領域画像抽出部
４２６ 画像傾け部
4201 椅子制御部
4202 モード設定部

Claims (4)

1. 球状画像を生成する画像生成部と、
   前記球状画像を、全方位カメラが被写体を撮影した全方位画像に重畳した重畳画像のうち、ヘッドマウントディスプレイを装着したユーザが向く方向に対応して抽出された領域画像を前記ヘッドマウントディスプレイに表示した状態で、前記球状画像を回転させる操作によって前記全方位画像を回転させて、前記全方位画像の水平面の傾きを補正する画像回転部と、
   前記全方位カメラが移動して前記全方位画像が変化している状態で、前記全方位画像の消失点を検出する消失点検出部と、
   前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を前記画像回転部によって補正された水平面を維持しながら回転させる前方設定部と、
   を備える画像調整装置。
2. 全方位カメラが被写体を撮影した全方位画像の画像データを画像送信サーバから受信する通信部と、
   ユーザの頭部に装着されて、前記全方位画像を前記ユーザに見せるヘッドマウントディスプレイと、
   前記ユーザによって操作されるコントローラと、
   前記ユーザが座る椅子と、
   球状画像を生成する画像生成部と、
   前記球状画像を前記全方位画像に重畳して重畳画像を生成する画像重畳部と、
   前記重畳画像または前記全方位画像のうち、前記ユーザが向く方向に対応して抽出した領域画像を前記ヘッドマウントディスプレイに供給する領域画像抽出部と、
   前記ユーザが前記椅子に座った状態で、前記ユーザが前記コントローラを操作して前記球状画像を回転させることによって前記重畳画像を回転させて、前記全方位画像の水平面の傾きを補正する画像回転部と、
   前記全方位カメラが移動して前記全方位画像が変化しているとき、前記全方位画像の消失点を検出する消失点検出部と、
   前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を前記画像回転部によって補正された水平面を維持しながら回転させる前方設定部と、
   を備えるバーチャル・リアリティ画像表示システム。
3. 前記コントローラは、前記ユーザの手に装着されるグローブ型コントローラであり、
   前記画像回転部は、仮想的に前記球状画像の内部に位置する前記ユーザが前記グローブ型コントローラによって前記球状画像を回転させる操作に応答して前記重畳画像を回転させる
   請求項２に記載のバーチャル・リアリティ画像表示システム。
4. 球状画像を生成し、
   前記球状画像を、全方位カメラが被写体を撮影した全方位画像に重畳した重畳画像のうち、ヘッドマウントディスプレイを装着したユーザが向く方向に対応して抽出された領域画像を前記ヘッドマウントディスプレイに表示した状態で、前記球状画像を回転させる操作によって前記全方位画像を回転させて、前記全方位画像の水平面の傾きを補正し、
   前記全方位カメラが移動して前記全方位画像が変化している状態で、前記全方位画像の消失点を検出し、
   前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を補正された水平面を維持しながら回転させる
   画像調整方法。

Images