JP7088064B2 - 画像調整システム、画像調整装置、及び画像調整方法 - Google Patents

Description

本発明は、画像調整システム、画像調整装置、及び画像調整方法に関する。

近年、画像表示装置としてヘッドマウントディスプレイが注目されている。ヘッドマウントディスプレイは、使用者の頭部に装着された状態で画像を表示することにより、使用者は仮想空間に入り込んだような感覚（没入感）を得ることができる。特許文献１に記載されているように、ヘッドマウントディスプレイは、外部のカメラで撮影した画像をネックワークを介して表示することができる。

特開２００５－５６２９５号公報

しかし、従来のヘッドマウントディスプレイでは、表示される画像によっては画像の水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。画像の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、表示される画像が使用者の重力感覚と一致しないため、使用者は違和感を覚える。

本発明は、画像の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、画像の水平または天頂を簡便に補正することができる画像調整システム、画像調整装置、及び画像調整方法を提供することを目的とする。

本発明は、カメラと、前記カメラが撮影した撮影画像を調整する画像調整装置と、前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、前記画像調整装置へ指示情報を出力するコントローラとを備え、前記画像調整装置は、球面状画像を生成する画像生成部と、前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する画像処理部とを有する画像調整システムを提供する。

本発明は、球面状画像を生成する画像生成部と、コントローラから取得した指示情報に基づいて前記画像生成部から前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、カメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整する画像処理部とを備える画像調整装置を提供する。

本発明は、画像処理部がコントローラから指示情報を取得し、前記画像処理部が前記指示情報に基づいて、画像生成部から球面状画像を取得し、画像表示装置が前記球面状画像を表示し、前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、前記画像処理部がカメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整する画像調整方法を提供する。

本発明の画像調整システム、画像調整装置、及び画像調整方法によれば、画像の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、画像の水平または天頂を簡便に補正することができる。

第１実施形態の画像調整システムを示す構成図である。 球面状画像と使用者との関係を示す図である。 第１実施形態の画像調整方法の一例を示すフローチャートである。 第２実施形態の画像調整システムを示す構成図である。 使用者ごとの補正値の分布の一例を示す図である。 第２実施形態の画像調整方法の一例を示すフローチャートである。 第２実施形態の画像調整方法の一例を示すフローチャートである。 カメラが移動している状態における使用者と水平面との関係を模式的に示す図である。 壁面の一例を示す図である。 第３実施形態の画像調整方法の一例を示すフローチャートである。 第３実施形態の画像調整方法の一例を示すフローチャートである。 第４実施形態の画像調整方法の一例を示すフローチャートである。 画像表示装置に表示されている画像の一例を示す図である。 図１２Ａに示す画像が水平調整された状態を示す図である。

［第１実施形態］
図１を用いて、第１実施形態の画像調整システムの構成例を説明する。画像調整システム１０１は、カメラ１０２と、通信部１０３と、画像表示装置１０４と、コントローラ１０５と、画像調整装置１１０とを備える。画像調整装置１１０は、画像処理部１１１と、画像生成部１１２と、通信部１１３とを有する。

カメラ１０２は、３６０度の範囲を撮影できる全方位カメラ（３６０度カメラ）である。通信部１０３と通信部１１３とはネットワークを介して接続されている。画像調整装置１１０は、カメラ１０２が撮影した撮影画像ＩＭ１を、通信部１０３及び１１３とネットワークとを介して取得することができる。

画像調整装置１１０としてコンピュータ機器を用いてもよい。画像処理部１１１及び画像生成部１１２としてＣＰＵを用いてもよい。画像生成部１１２及び通信部１１３は、画像調整装置１１０の外部に設けられていてもよい。

画像調整装置１１０が取得した撮影画像ＩＭ１は、画像処理部１１１へ入力される。画像処理部１１１は、撮影画像ＩＭ１を解析することにより、撮影画像ＩＭ１における水平方向を認識する。画像処理部１１１は、撮影画像ＩＭ１を解析することにより、撮影画像ＩＭ１における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。画像調整装置１１０は、撮影画像ＩＭ１の歪みを補正し、撮影画像ＩＭ１の例えば水平方向を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像表示装置１０４へ出力する。

画像表示装置１０４は、画像調整装置１１０によって画像処理された撮影画像ＩＭ１を表示する。画像表示装置１０４は、例えばヘッドマウントディスプレイである。コントローラ１０５は、例えばＶＲ(Virtual Reality)等に用いられるグローブ型コントローラである。

図２は、画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている状態を模式的に示している。図２に示す符号ＺＥは天頂を示している。カメラ１０２の天頂と使用者ＵＳの天頂とは一致していることが望ましい。使用者ＵＳは、その頭部に画像表示装置１０４を装着することにより、画像調整装置１１０によって画像処理された撮影画像ＩＭ１を見ることができる。

画像表示装置１０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ１を生成する。画像処理部１１１は、画像表示装置１０４から姿勢情報ＰＮ１を取得する。即ち、画像処理部１１１は、画像表示装置１０４の姿勢に基づいて姿勢情報ＰＮ１を取得することになる。画像処理部１１１は、姿勢情報ＰＮ１に基づいて、カメラ１０２が撮影した撮影画像ＩＭ１から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置１０４に表示する。

コントローラ１０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢、または、使用者ＵＳの指の動きまたは姿勢等の状態に基づいて指示情報ＮＮ１を生成する。以下、手または指を、単に手と略記する。画像処理部１１１は、コントローラ１０５から指示情報ＮＮ１を取得する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている撮影画像ＩＭ１を変化させたり調整したりすることができる。

画像生成部１１２は、ＣＧ(Computer Graphics)である球面により構成された仮想画像である球面状画像ＶＳＳ１を生成する。画像生成部１１２は、球面状画像ＶＳＳ１を内蔵メモリまたは外部のメモリに保存する。

画像処理部１１１は、指示情報ＮＮ１に基づいて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。図２は、画像表示装置１０４が使用者ＵＳの頭部に装着された状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときの使用者ＵＳのイメージを模式的に示している。

画像表示装置１０４が使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときに、球面状画像ＶＳＳ１は、使用者ＵＳ及び画像表示装置１０４の周囲に配置され、かつ、使用者ＵＳの手が球面状画像ＶＳＳ１に届く範囲に表示されるように設定されている。使用者ＵＳは、コントローラ１０５が装着されている手を、画像表示装置１０４に表示されている球面状画像ＶＳＳ１に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ１に接触しているように感じる。

コントローラ１０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部１１１は、指示情報ＮＮ１に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ１に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ１に接触する感覚を実感として得ることができる。

球面状画像ＶＳＳ１が画像表示装置１０４に表示されている状態において、使用者ＵＳが、コントローラ１０５が装着されている手を任意の方向へ移動させた場合、画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている球面状画像ＶＳＳ１と撮影画像ＩＭ１とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ１を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ１を回転させることができる。画像処理部１１１は、球面状画像ＶＳＳ１の回転に対応させて撮影画像ＩＭ１を移動させる。

画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ１を回転させることによって球面状画像ＶＳＳ１の座標上のどの位置へ移動したかを判定することができる。画像処理部１１１は、球面状画像ＶＳＳ１の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前と回転させた後との球面状画像ＶＳＳ１の変化量を算出する。

球面状画像ＶＳＳ１の変化量とは、球面状画像ＶＳＳ１において、Ｘ軸を回転軸とした回転量（回転角度）と、Ｙ軸を回転軸とした回転量（回転角度）と、Ｚ軸を回転軸とした回転量（回転角度）とが合成された球面状画像ＶＳＳ１の回転量（回転角度）に相当する。画像処理部１１１は、球面状画像ＶＳＳ１の変化量を補正値ＣＶ１として保存する。即ち、補正値ＣＶ１は、球面状画像ＶＳＳ１の回転方向と、天頂ＺＥの移動量または移動角度（球面状画像ＶＳＳ１の回転角度）に基づいて算出されることになる。

画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させた後の天頂ＺＥの球面状画像ＶＳＳ１上の座標を補正値ＣＶ１として保存してもよい。画像処理部１１１は、補正値ＣＶ１を内蔵メモリまたは外部のメモリに保存する。

画像処理部１１１は、撮影画像ＩＭ１の水平方向を検出する。しかし、画像処理部１１１は、撮影画像ＩＭ１によってはその水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。撮影画像ＩＭ１の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、画像表示装置１０４に表示される撮影画像ＩＭ１が使用者ＵＳの重力感覚と一致しないため、使用者ＵＳは違和感を覚える。

図３に示すフローチャートを用いて、第１実施形態の画像調整方法の一例を説明する。具体的には、撮影画像ＩＭ１の水平を調整する方法の一例について説明する。画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている。画像表示装置１０４には撮影画像ＩＭ１が表示されている。

使用者ＵＳが画像表示装置１０４に表示されている撮影画像ＩＭ１が水平でないと判断した場合、図３において、使用者ＵＳがコントローラ１０５を操作することにより、画像処理部１１１は、ステップＳ１０１にて、画像表示装置１０４に設定画面を表示させる。使用者ＵＳがコントローラ１０５を操作して、設定画面に表示されている所定の項目（例えば水平調整の項目）を選択することにより、画像処理部１１１は、ステップＳ１０２にて、選択された項目に対応する所定の処理モードへ処理を移行する。水平調整の項目が選択された場合、画像処理部１１１は、撮影画像ＩＭ１の水平を調整するための処理モード（水平調整モード）へ処理を移行する。

画像処理部１１１は、ステップＳ１０３にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１と球面状画像ＶＳＳ１とが混合して表示される。使用者ＵＳが撮影画像ＩＭ１が水平となるように球面状画像ＶＳＳ１を回転させることにより、画像処理部１１１は、ステップＳ１０４にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている撮影画像ＩＭ１を移動させる。使用者ＵＳは撮影画像ＩＭ１が水平になるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。

使用者ＵＳは撮影画像ＩＭ１が水平になったと判断した場合にコントローラ１０５を操作することにより、画像処理部１１１は、ステップＳ１０５にて、画像表示装置１０４に設定画面を表示させる。画像表示装置１０４に表示されている撮影画像ＩＭ１を水平にすることにより、カメラ１０２の天頂と使用者ＵＳの天頂とを一致させることができる。

使用者ＵＳがコントローラ１０５を操作して、設定画面に表示されている所定の項目（例えば終了の項目）を選択することにより、画像処理部１１１は、ステップＳ１０６にて、選択された項目に対応する所定の処理モードへ処理を移行する。終了の項目が選択された場合、画像処理部１１１は、水平調整を終了するための処理モード（終了モード）へ処理を移行する。

画像処理部１１１は、ステップＳ１０７にて、球面状画像ＶＳＳ１が回転する前と後との回転量（回転角度）を、球面状画像ＶＳＳ１の変化量として取得する。画像処理部１１１は、ステップＳ１０８にて、球面状画像ＶＳＳ１の変化量を補正値ＣＶ１として保存し、処理を終了する。

第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法では、画像表示装置１０４に球面状画像ＶＳＳ１を表示させる。第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、撮影画像ＩＭ１の水平方向が間違って検出されたり、水平または天頂ＺＥの指定がずれたりした場合に、使用者ＵＳは、コントローラ１０５を操作して球面状画像ＶＳＳ１を回転させることにより、画像表示装置１０４に表示されている撮影画像ＩＭ１を水平になるように調整することができる。

従って、第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、撮影画像ＩＭ１の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者ＵＳが撮影画像ＩＭ１の水平または天頂を簡便に補正することができる。

第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、補正値ＣＶ１が保存されている場合、画像処理部１１１は、補正値ＣＶ１を読み出し、カメラ１０２が撮影した撮影画像ＩＭ１を補正値ＣＶ１に基づいて画像調整し、画像表示装置１０４に表示することができる。

［第２実施形態］
図４を用いて、第２実施形態の画像調整システムの構成例を説明する。画像調整システム２０１は、カメラ２０２と、通信部２０３と、画像表示装置２０４と、コントローラ２０５と、画像調整装置２１０と、サーバ２０６とを備える。画像調整装置２１０は、画像処理部２１１と、画像生成部２１２と、通信部２１３とを有する。

カメラ２０２、通信部２０３、画像表示装置２０４、コントローラ２０５、及び画像調整装置２１０は、それぞれ、第１実施形態のカメラ１０２、通信部１０３、画像表示装置１０４、コントローラ１０５、及び画像調整装置１１０に相当する。画像処理部２１１、画像生成部２１２、及び通信部２１３は、それぞれ、第１実施形態の画像処理部１１１、画像生成部１１２、及び通信部１１３に相当する。

画像調整装置２１０は、カメラ２０２が撮影した撮影画像ＩＭ２を、通信部２０３及び２１３とネットワークとを介して取得することができる。サーバ２０６は、ネットワークと通信部２０３とを介してカメラ２０２と接続し、ネットワークと通信部２１３とを介して画像調整装置２１０と接続する。

サーバ２０６は、カメラ２０２が撮影した撮影画像ＩＭ２を通信部２０３及びネットワークを介して取得し、画像調整装置２１０がサーバ２０６から撮影画像ＩＭ２をネットワーク及び通信部２１３を介して取得してもよい。

画像調整装置２１０が取得した撮影画像ＩＭ２は、画像処理部２１１へ入力される。画像処理部２１１は、撮影画像ＩＭ２を解析することにより、撮影画像ＩＭ２における水平方向を認識する。画像処理部２１１は、撮影画像ＩＭ２を解析することにより、撮影画像ＩＭ２における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。画像調整装置２１０は、撮影画像ＩＭ２の歪みを補正し、撮影画像ＩＭ２の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像表示装置２０４へ出力する。画像表示装置２０４は、画像調整装置２１０によって画像処理された撮影画像ＩＭ２を表示する。

サーバ２０６は、カメラ２０２が撮影した撮影画像ＩＭ２の歪みを補正し、撮影画像ＩＭ２の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像調整装置２１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置２０４を装着することにより、画像調整装置２１０またはサーバ２０６によって画像処理された撮影画像ＩＭ２を見ることができる。

画像表示装置２０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ２を生成する。画像処理部２１１は、画像表示装置２０４から姿勢情報ＰＮ２を取得する。即ち、画像処理部２１１は、画像表示装置２０４の姿勢に基づいて姿勢情報ＰＮ２を取得することになる。画像処理部２１１は、姿勢情報ＰＮ２に基づいて、カメラ２０２が撮影した撮影画像ＩＭ２から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置２０４に表示する。

コントローラ２０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ２を生成する。画像処理部２１１は、コントローラ２０５から指示情報ＮＮ２を取得する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている画像を変化させたり調整したりすることができる。

画像生成部２１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ２を生成する。画像生成部２１２は、球面状画像ＶＳＳ２を内蔵メモリまたは外部のメモリに保存する。

画像処理部２１１は、指示情報ＮＮ２に基づいて、画像生成部２１２から球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。球面状画像ＶＳＳ２は、第１実施形態の球面状画像ＶＳＳ１に相当する。使用者ＵＳは、コントローラ２０５が装着されている手を、画像表示装置２０４に表示されている球面状画像ＶＳＳ２に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ２に接触しているように感じる。

コントローラ２０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部２１１は、指示情報ＮＮ２に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ２に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ２に接触する感覚を実感として得ることができる。

球面状画像ＶＳＳ２が画像表示装置２０４に表示されている状態において、使用者ＵＳが、コントローラ２０５が装着されている手を任意の方向へ移動させた場合、画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている球面状画像ＶＳＳ２と撮影画像ＩＭ２とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ２を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ２を回転させることができる。画像処理部２１１は、球面状画像ＶＳＳ２の回転に対応させて撮影画像ＩＭ２を移動させる。

画像処理部２１１は、使用者ＵＳが球面状画像ＶＳＳ２を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ２を回転させることによって球面状画像ＶＳＳ２の座標上のどの位置へ移動したかを判定することができる。画像処理部２１１は、球面状画像ＶＳＳ２の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ２を回転させる前と回転させた後との球面状画像ＶＳＳ２の変化量を算出する。球面状画像ＶＳＳ２の変化量は、第１実施形態の球面状画像ＶＳＳ１の変化量に相当する。

画像処理部２１１は、球面状画像ＶＳＳ２の変化量を補正値ＣＶ２として、通信部２１３及びネットワークを介してサーバ２０６へ出力する。即ち、補正値ＣＶ２は、球面状画像ＶＳＳ２の回転方向と、天頂ＺＥの移動量または移動角度（球面状画像ＶＳＳ２の回転角度）に基づいて算出されることになる。画像処理部２１１は、使用者ＵＳが球面状画像ＶＳＳ２を回転させた後の天頂ＺＥの球面状画像ＶＳＳ２上の座標を補正値ＣＶ２としてサーバ２０６へ出力してもよい。

サーバ２０６がネットワーク及び通信部２１３を介して画像調整装置２１０から補正値ＣＶ２を取得してもよい。サーバ２０６は、補正値ＣＶ２を使用者ＵＳまたは画像表示装置２０４と関連付けて内蔵メモリまたは外部のメモリに保存する。

画像処理部２１１は、撮影画像ＩＭ２の水平方向を検出する。しかし、画像処理部２１１は、撮影画像ＩＭ２によってはその水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。撮影画像ＩＭ２の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、画像表示装置２０４に表示される撮影画像ＩＭ２が使用者ＵＳの重力感覚と一致しないため、使用者ＵＳは違和感を覚える。

使用者ＵＳが画像表示装置２０４を頭部に装着する場合、頭部の形状、及び、画像表示装置２０４の装着状態は使用者ＵＳによって異なる。そのため、画像表示装置２０４に表示される撮影画像ＩＭ２の水平方向は、使用者ＵＳによって異なる場合がある。画像表示装置２０４に表示される撮影画像ＩＭ２の水平方向は、使用者ＵＳの利き目によっても異なる場合がある。そのため、補正値ＣＶ２は、使用者ＵＳによって異なる場合がある。

図５は、使用者ＵＳごとの補正値ＣＶ２の分布を模式的に示している。図５は、球面状画像ＶＳＳ２を使用者ＵＳの上方から見た状態を模式的に示している。図５に示す前とは使用者ＵＳの前方を示し、後とは使用者ＵＳの後方を示している。図５に示す右とは使用者ＵＳの右側を示し、左とは使用者ＵＳの左側を示している。

図５に示す丸形状の記号は、第１の使用者ＵＳまたは第１の画像表示装置２０４における補正値ＣＶ２を示し、四角形状の記号は、第２の使用者ＵＳまたは第２の画像表示装置２０４における補正値ＣＶ２を示し、三角形状の記号は、第３の使用者ＵＳまたは第３の画像表示装置２０４における補正値ＣＶ２を示している。図５では、補正値ＣＶ２は、第１の使用者ＵＳでは前方の右側に分布し、第２の使用者ＵＳでは前方の左側に分布し、第３の使用者ＵＳでは後方に分布した状態を示している。

サーバ２０６は、使用者ＵＳがログイン操作を実行する、または、画像表示装置２０４が通信部２１３を介してネットワークに接続されることにより、使用者ＵＳまたは画像表示装置２０４を特定することができる。サーバ２０６は、特定された使用者ＵＳまたは画像表示装置２０４に対応付けて、補正値ＣＶ２を保存する。

図６及び図７に示すフローチャートを用いて、第２実施形態の画像調整方法の一例を説明する。具体的には、使用者ＵＳまたは画像表示装置２０４ごとに、撮影画像ＩＭ２の水平を調整する方法の一例について説明する。画像表示装置２０４が使用者ＵＳの頭部に装着され、コントローラ２０５が使用者ＵＳの手に装着されている。画像表示装置２０４には撮影画像ＩＭ２が表示されている。

図６において、サーバ２０６は、ステップＳ２０１にて、使用者ＵＳがログイン操作を実行する、または、画像表示装置２０４が通信部２１３を介してネットワークに接続されることにより、使用者ＵＳまたは画像表示装置２０４を特定する。

使用者ＵＳが画像表示装置２０４に表示されている撮影画像ＩＭ２が水平でないと判断した場合、使用者ＵＳがコントローラ２０５を操作することにより、画像処理部２１１は、ステップＳ２０２にて、画像表示装置２０４に設定画面を表示させる。使用者ＵＳがコントローラ２０５を操作して、設定画面に表示されている所定の項目（例えば水平調整の項目）を選択することにより、画像処理部２１１は、ステップＳ２０３にて、選択された項目に対応する所定の処理モードへ処理を移行する。水平調整の項目が選択された場合、画像処理部２１１は、撮影画像ＩＭ２の水平を調整するための処理モード（水平調整モード）へ処理を移行する。

画像処理部２１１は、ステップＳ２０４にて、画像生成部２１２から球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。画像表示装置２０４には、撮影画像ＩＭ２と球面状画像ＶＳＳ２とが混合して表示される。使用者ＵＳが撮影画像ＩＭ２が水平となるように球面状画像ＶＳＳ２を回転させることにより、画像処理部２１１は、ステップＳ２０５にて、球面状画像ＶＳＳ２の回転に対応させて、画像表示装置２０４に表示されている撮影画像ＩＭ２を移動させる。使用者ＵＳは撮影画像ＩＭ２が水平になるまで球面状画像ＶＳＳ２を回転させる動作を複数回行ってもよい。

使用者ＵＳは撮影画像ＩＭ２が水平になったと判断した場合にコントローラ２０５を操作することにより、画像処理部２１１は、ステップＳ２０６にて、画像表示装置２０４に設定画面を表示させる。画像表示装置２０４に表示されている撮影画像ＩＭ２を水平にすることにより、カメラ２０２の天頂と使用者ＵＳの天頂とを一致させることができる。

使用者ＵＳがコントローラ２０５を操作して、設定画面に表示されている所定の項目（例えば終了の項目）を選択することにより、画像処理部１１１は、ステップＳ２０７にて、選択された項目に対応する所定の処理モードへ処理を移行する。終了の項目が選択された場合、画像処理部２１１は、水平調整を終了するための処理モード（終了モード）へ処理を移行する。

画像処理部２１１は、ステップＳ２０８にて、球面状画像ＶＳＳ２が回転する前と後との回転量（回転角度）を、球面状画像ＶＳＳ２の変化量として取得する。さらに、画像処理部２１１は、球面状画像ＶＳＳ２の変化量を補正値ＣＶ２として、通信部２１３及びネットワークを介してサーバ２０６へ出力する。サーバ２０６は、ステップＳ２０９にて、補正値ＣＶ２を、使用者ＵＳまたは画像表示装置２０４と関連付けて保存する。なお、サーバ２０６がネットワーク及び通信部２１３を介して画像調整装置２１０から補正値ＣＶ２を取得してもよい。

図７に示すフローチャートを用いて、サーバ２０６に補正値ＣＶ２が使用者ＵＳまたは画像表示装置２０４と関連付けて保存されている場合の撮影画像ＩＭ２の水平を調整する方法の一例を説明する。画像表示装置２０４が使用者ＵＳの頭部に装着され、コントローラ２０５が使用者ＵＳの手に装着されている。画像表示装置２０４には撮影画像ＩＭ２が表示されている。

図７において、サーバ２０６は、ステップＳ２１１にて、使用者ＵＳがログイン操作を実行する、または、画像表示装置２０４が通信部２１３を介してネットワークに接続されることにより、使用者ＵＳまたは画像表示装置２０４を特定する。

サーバ２０６は、ステップＳ２１２にて、ステップＳ２１１で特定された使用者ＵＳまたは画像表示装置２０４に対応する補正値ＣＶ２を読み出し、ネットワーク及び通信部２１３を介して画像調整装置２１０へ出力する。

サーバ２０６に使用者ＵＳまたは画像表示装置２０４に対応する複数の補正値ＣＶ２が保存されている場合、サーバ２０６は、複数の補正値ＣＶ２から平均値を算出し、この平均値を補正値ＣＶ２として画像調整装置２１０へ出力してもよいし、複数の補正値ＣＶ２のうちの直近の補正値ＣＶ２を画像調整装置２１０へ出力してもよい。画像調整装置２１０が、通信部２１３及びネットワークを介して、使用者ＵＳまたは画像表示装置２０４に対応する補正値ＣＶ２をサーバ２０６から読み出してもよい。

サーバ２０６から画像調整装置２１０へ出力された補正値ＣＶ２は、画像処理部２１１へ入力される。画像処理部２１１は、ステップＳ２１３にて、カメラ２０２が撮影した撮影画像ＩＭ２を、補正値ＣＶ２に基づいて水平調整し、画像表示装置２０４へ出力する。画像表示装置２０４は、ステップＳ２１４にて、補正値ＣＶ２に基づいて水平調整された撮影画像ＩＭ２を表示する。従って、画像表示装置２０４は、使用者ＵＳに対応して水平調整された撮影画像ＩＭ２を表示することができる。

使用者ＵＳは、画像表示装置２０４に表示されている撮影画像ＩＭ２が水平ではないと判断した場合、コントローラ２０５を操作することにより、画像調整システム２０１にステップＳ２０２～Ｓ２０９、及びＳ２１１～Ｓ２１４の処理を実行させてもよい。

第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、画像表示装置２０４に球面状画像ＶＳＳ２を表示させる。第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、撮影画像ＩＭ２の水平方向が間違って検出されたり、水平または天頂ＺＥの指定がずれたりした場合に、使用者ＵＳは、コントローラ２０５を操作して球面状画像ＶＳＳ２を回転させることにより、画像表示装置２０４に表示されている撮影画像ＩＭ２を水平になるように調整することができる。

従って、第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、撮影画像ＩＭ２の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者ＵＳが撮影画像ＩＭ２の水平または天頂を簡便に補正することができる。

第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、補正値ＣＶ２が使用者ＵＳまたは画像表示装置２０４に対応づけられてサーバ２０６に保存される。画像調整装置２１０は、補正値ＣＶ２に基づいて、カメラ２０２が撮影した撮影画像ＩＭ２を使用者ＵＳまたは画像表示装置２０４ごとに水平調整し、画像表示装置２０４に表示することができる。第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、補正値ＣＶ２が使用者ＵＳまたは画像表示装置２０４と対応づけられているため、撮影画像ＩＭ２の水平を複数の使用者ＵＳごとに調整することができる。

［第３実施形態］
図４を用いて、第３実施形態の画像調整システムの構成例を説明する。画像調整システム３０１は、カメラ３０２と、通信部３０３と、画像表示装置３０４と、コントローラ３０５と、画像調整装置３１０と、サーバ３０６とを備える。画像調整装置３１０は、画像処理部３１１と、画像生成部３１２と、通信部３１３とを有する。

カメラ３０２、通信部３０３、画像表示装置３０４、コントローラ３０５、画像調整装置３１０、及びサーバ３０６は、それぞれ、第２実施形態のカメラ２０２、通信部２０３、画像表示装置２０４、コントローラ２０５、画像調整装置２１０、及びサーバ２０６に相当する。画像処理部３１１、画像生成部３１２、及び通信部３１３は、それぞれ、第２実施形態の画像処理部２１１、画像生成部２１２、及び通信部２１３に相当する。

画像調整装置３１０は、カメラ３０２が撮影した撮影画像ＩＭ３を、通信部３０３及び３１３とネットワークとを介して取得することができる。サーバ３０６は、ネットワークと通信部３０３とを介してカメラ３０２と接続し、ネットワークと通信部３１３とを介して画像調整装置３１０と接続する。

サーバ３０６は、カメラ３０２が撮影した撮影画像ＩＭ３を通信部３０３及びネットワークを介して取得し、画像調整装置３１０がサーバ３０６から撮影画像ＩＭ３をネットワーク及び通信部３１３を介して取得してもよい。

画像調整装置３１０が取得した撮影画像ＩＭ３は、画像処理部３１１へ入力される。画像処理部３１１は、撮影画像ＩＭ３を解析することにより、撮影画像ＩＭ３における水平方向を認識する。画像処理部３１１は、撮影画像ＩＭ３を解析することにより、撮影画像ＩＭ３における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。画像調整装置３１０は、撮影画像ＩＭ３の歪みを補正し、撮影画像ＩＭ３の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ３を画像表示装置３０４へ出力する。画像表示装置３０４は、画像調整装置３１０によって画像処理された撮影画像ＩＭ３を表示する。

サーバ３０６は、カメラ３０２が撮影した撮影画像ＩＭ３の歪みを補正し、撮影画像ＩＭ３の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像調整装置２１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置２０４を装着することにより、画像調整装置２１０またはサーバ２０６によって画像処理された撮影画像ＩＭ２を見ることができる。

画像表示装置３０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ３を生成する。画像処理部３１１は、画像表示装置３０４から姿勢情報ＰＮ３を取得する。即ち、画像処理部３１１は、画像表示装置３０４の姿勢に基づいて姿勢情報ＰＮ３を取得することになる。画像処理部３１１は、姿勢情報ＰＮ３に基づいて、カメラ３０２が撮影した撮影画像ＩＭ３から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置３０４に表示する。

コントローラ３０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ３を生成する。画像処理部３１１は、コントローラ３０５から指示情報ＮＮ３を取得する。画像処理部３１１は、指示情報ＮＮ３に基づいて、画像表示装置３０４に表示されている画像を変化させたり調整したりすることができる。

画像生成部３１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ３を生成する。画像生成部３１２は、球面状画像ＶＳＳ３を内蔵メモリまたは外部のメモリに保存する。

画像処理部３１１は、指示情報ＮＮ３に基づいて、画像生成部３１２から球面状画像ＶＳＳ３を取得し、画像表示装置３０４に表示する。球面状画像ＶＳＳ３は、第１及び第２実施形態の球面状画像ＶＳＳ１及びＶＳＳ２に相当する。使用者ＵＳは、コントローラ３０５が装着されている手を、画像表示装置３０４に表示されている球面状画像ＶＳＳ３に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ３に接触するように感じる。

コントローラ３０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部３１１は、指示情報ＮＮ３に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ３に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ３に接触する感覚を実感として得ることができる。

球面状画像ＶＳＳ３が画像表示装置３０４に表示されている状態において、使用者ＵＳが、コントローラ３０５が装着されている手を任意の方向へ移動させた場合、画像処理部３１１は、指示情報ＮＮ３に基づいて、画像表示装置３０４に表示されている球面状画像ＶＳＳ３と撮影画像ＩＭ３とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ３を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ３を回転させることができる。画像処理部３１１は、球面状画像ＶＳＳ３の回転に対応させて撮影画像ＩＭ３を移動させる。

画像処理部３１１は、使用者ＵＳが球面状画像ＶＳＳ３を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ３を回転させることによって球面状画像ＶＳＳ３の座標上のどの位置へ移動したかを判定することができる。画像処理部３１１は、球面状画像ＶＳＳ３の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ３を回転させる前と回転させた後との球面状画像ＶＳＳ３の変化量を算出する。球面状画像ＶＳＳ３の変化量は、第１及び第２実施形態の球面状画像ＶＳＳ１及びＶＳＳ２の変化量に相当する。

画像処理部３１１は、球面状画像ＶＳＳ３の変化量を補正値ＣＶ３として、通信部３１３及びネットワークを介してサーバ３０６へ出力する。即ち、補正値ＣＶ３は、球面状画像ＶＳＳ３の回転方向と、天頂ＺＥの移動量または移動角度（球面状画像ＶＳＳ３の回転角度）に基づいて算出されることになる。画像処理部３１１は、使用者ＵＳが球面状画像ＶＳＳ３を回転させた後の天頂ＺＥの球面状画像ＶＳＳ３上の座標を補正値ＣＶ３としてサーバ３０６へ出力してもよい。

サーバ３０６がネットワーク及び通信部３１３を介して画像調整装置３１０から補正値ＣＶ３を取得してもよい。サーバ３０６は、補正値ＣＶ３を使用者ＵＳまたは画像表示装置３０４と関連付けて内蔵メモリまたは外部のメモリに保存する。

画像処理部３１１は、撮影画像ＩＭ３の水平方向を検出する。しかし、画像処理部３１１は、撮影画像ＩＭ３によってはその水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。撮影画像ＩＭ３の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、画像表示装置３０４に表示される撮影画像ＩＭ３が使用者ＵＳの重力感覚と一致しないため、使用者ＵＳは違和感を覚える。

使用者ＵＳがコントローラ３０５を操作することにより、画像調整システム３０１は、図３に示すフローチャートのステップＳ１０１～Ｓ１０８と同様の処理、または、図６に示すフローチャートのステップＳ２０１～Ｓ２０９と同様の処理を実行する。従って、使用者ＵＳは、コントローラ３０５を操作して球面状画像ＶＳＳ３を回転させることにより、画像表示装置３０４に表示されている撮影画像ＩＭ３を水平になるように調整することができる。

図８は、カメラ３０２が地点Ａ、地点Ｂ、及び地点Ｃの順に移動し、かつ、カメラ３０２の左側に地面と直交する壁が配置されている状態を示している。地面を第１の面ＰＬ１、壁面を第２の面ＰＬ２とする。初期状態では、第１の面ＰＬ１は水平面であり、第２の面ＰＬ２は垂直面である。カメラ３０２が地点Ａ、地点Ｂ、及び地点Ｃの順に移動することにより、使用者ＵＳは、地点Ａ、地点Ｂ、及び地点Ｃの順に移動しているような感覚を得ることができる。

地点Ａにおいて、撮影画像ＩＭ３は水平に調整されている。撮影画像ＩＭ３が水平に調整されていない場合、使用者ＵＳがコントローラ３０５を操作して球面状画像ＶＳＳ３を回転させることにより、画像表示装置３０４に表示されている撮影画像ＩＭ３は水平になるように調整される。画像処理部３１１は、第１の面ＰＬ１における法線ベクトルＮＶ１を取得する。画像処理部３１１は、地点ＢまたはＣにおいても、法線ベクトルＮＶ１を取得してもよい。

画像処理部３１１は、撮影画像ＩＭ３から第１の面ＰＬ１以外の面を検出する。画像処理部３１１は、例えば第２の面ＰＬ２を検出する。画像処理部３１１は、検出された面が所定の範囲内に位置しているか否かを判定する。画像処理部３１１は、例えば第２の面ＰＬ２が所定の範囲内に位置しているか否かを判定する。所定の範囲については後述する。

第２の面ＰＬ２が所定の範囲内に位置していると判定された場合、画像処理部３１１は、第２の面ＰＬ２における法線ベクトルＮＶ２を推定する。図９に示すように、第２の面ＰＬ２が水平方向及び垂直方向に延びる複数の線状のパターンを有する場合、画像処理部３１１は、水平方向に延びる複数の線状のパターンと垂直方向に延びる複数の線状のパターンとによって形成される四角形の歪みに基づいて、法線ベクトルＮＶ２を推定してもよい。

第２の面ＰＬ２が凹凸形状を有し、凹凸に対応して影が形成されている場合、画像処理部３１１は、影の形状に基づいて法線ベクトルＮＶ２を推定してもよい。第２の面ＰＬ２に特徴がなく、法線ベクトルＮＶ２を推定することが難しい場合、第１の面ＰＬ１と平行で、かつ、第２の面ＰＬ２からカメラ３０２へ向かう方向のベクトルを法線ベクトルＮＶ２として設定してもよい。画像処理部３１１は、地点Ａにおいて、第２の面ＰＬ２における法線ベクトルＮＶ２を取得する、または取得している。画像処理部３１１は、地点ＢまたはＣにおいても、法線ベクトルＮＶ２を取得してもよい。

画像処理部３１１は、撮影画像ＩＭ３から第１の面ＰＬ１以外に複数の面を検出した場合、各面を特定するための番号を面ごとに付与する。画像処理部３１１は、画像表示装置３０４に表示されている撮影画像ＩＭ３に、各面に対応する位置に各面に対応するＣＧ（Computer Graphics）及び番号の少なくともいずれかを重畳して表示することができる。

図１０Ａ及び図１０Ｂに示すフローチャートを用いて、第３実施形態の画像調整方法の一例を説明する。具体的には、画像表示装置３０４に表示されている撮影画像ＩＭ３の水平面を変更する方法の一例を説明する。地点Ａでは第１の面ＰＬ１が水平面であり、地点Ｂでは第２の面ＰＬ２が水平面に変更され、地点Ｃでは第１の面ＰＬ１が水平面に戻る場合について説明する。

画像表示装置３０４が使用者ＵＳの頭部に装着され、コントローラ３０５が使用者ＵＳの手に装着されている。画像表示装置３０４には撮影画像ＩＭ３が表示されている。カメラ３０２は地点Ａ、地点Ｂ、及び地点Ｃの順に移動する。地点Ａにおいて、撮影画像ＩＭ３は水平に調整されているものとする。

図１０Ａにおいて、カメラ３０２が地点Ａから地点Ｂへ移動したとき、または移動するときに、使用者ＵＳがコントローラ３０５を操作することにより、画像処理部３１１は、ステップＳ３０１にて、画像表示装置３０４に設定画面を表示させる。使用者ＵＳがコントローラ３０５を操作して、設定画面に表示されている所定の項目（例えば水平面変更の項目）を選択することにより、画像処理部３１１は、ステップＳ３０２にて、選択された項目に対応する所定の処理モードへ処理を移行する。水平面変更の項目が選択された場合、画像処理部１１１は、水平面を変更するための処理モード（水平面変更モード）へ処理を移行する。

画像処理部３１１は、ステップＳ３０３にて、地点Ｂにおける撮影画像ＩＭ３から第１の面ＰＬ１以外の面を検出する。画像処理部３１１は、例えば第２の面ＰＬ２を検出する。画像処理部３１１は、ステップＳ３０４にて、検出された面が所定の範囲内に位置しているか否かを判定する。画像処理部３１１は、例えば第２の面ＰＬ２が所定の範囲内に位置しているか否かを判定する。

検出された面が所定の範囲内に位置している（ＹＥＳ）と判定された場合、画像処理部３１１は、ステップＳ３０５にて、検出された面に対応するＣＧを、撮影画像ＩＭ３において検出された面に対応する位置に合成し、画像表示装置３０４に表示する。複数の面が所定の範囲内に位置していると判定された場合には、複数の面に対応する複数のＣＧを、撮影画像ＩＭ３において複数の面に対応する位置に合成し、さらに、各面を特定するための番号を面ごとに付与し、画像表示装置３０４に表示する。検出された面が所定の範囲内に位置していない（ＮＯ）と判定された場合、画像処理部３１１は、ステップＳ３０６にて、撮影画像ＩＭ３にＣＧ及び番号を合成しない、即ちＣＧ及び番号を非表示にし、処理をステップＳ３０３へ戻す。

使用者ＵＳがコントローラ３０５を操作して、例えば第２の面ＰＬ２に対応するＣＧ画像または番号が選択された場合、画像処理部３１１は、ステップＳ３０７にて、第２の面ＰＬ２における法線ベクトルＮＶ２を推定する。画像処理部３１１は、ステップＳ３０８にて、法線ベクトルＮＶ２に基づいて、第２の面ＰＬ２が水平面となるように、撮影画像ＩＭ３を処理する。図８に示す状態では、画像処理部３１１は、撮影画像ＩＭ３を反時計回りに９０度回転させる。この画像処理により、使用者ＵＳは、第２の面ＰＬ２である壁面に立ち、移動しているような感覚を得ることができる。

図８に示すように、使用者ＵＳが壁面（第２の面ＰＬ２）に立ち、移動しているような感覚を得るためには、カメラ３０２と壁面との距離Ｌ２が重要である。距離Ｌ２が長すぎると使用者ＵＳは壁面から浮いているように感じ、距離Ｌ２が短すぎると使用者ＵＳは壁面に埋まっているように感じる。距離Ｌ２は、地面（第１の面ＰＬ１）からカメラ３０２までの距離Ｌ１に対して、０．７×Ｌ１＜Ｌ２＜１．５×Ｌ１の範囲内であることが好ましい。従って、ステップＳ３０４における所定の範囲内とは、例えば０．７×Ｌ１＜Ｌ２＜１．５×Ｌ１の範囲内である。これにより、使用者ＵＳは、壁面に立ち、移動しているような感覚を得ることができる。

図１０Ｂにおいて、カメラ３０２が地点Ｂから地点Ｃへ移動したとき、または移動するときに、使用者ＵＳがコントローラ３０５を操作することにより、画像処理部３１１は、ステップＳ３０９にて、画像表示装置３０４に設定画面を表示させる。使用者ＵＳがコントローラ３０５を操作して、設定画面に表示されている所定の項目（例えば水平面変更の項目）を選択することにより、画像処理部３１１は、ステップＳ３１０にて、選択された項目に対応する所定の処理モードへ処理を移行する。水平面変更の項目が選択された場合、画像処理部１１１は、水平面を変更するための処理モード（水平面変更モード）へ処理を移行する。

画像処理部３１１は、ステップＳ３１１にて、地点Ｃにおける撮影画像ＩＭ３から、例えば第１の面ＰＬ１及び第２の面ＰＬ２を検出する。使用者ＵＳがコントローラ３０５を操作して、例えば第１の面ＰＬ１に対応するＣＧまたは番号が選択された場合、画像処理部３１１は、ステップＳ３１２にて、法線ベクトルＮＶ１に基づいて、第１の面ＰＬ１が水平面となるように、撮影画像ＩＭ３を処理する。図８に示す状態では、画像処理部３１１は、撮影画像ＩＭ３を時計回りに９０度回転させる。この画像処理により、使用者ＵＳは、第１の面ＰＬ１である地面に立ち、移動しているような感覚を得ることができる。

ステップＳ３０１及びＳ３０２、並びに、ステップＳ３０９及びＳ３１０では、使用者ＵＳがコントローラ３０５を操作することにより、所定の面ＰＬを選択したが、サーバ３０６または画像調整装置３１０が任意の時点で任意の面ＰＬを選択し、選択された面ＰＬに対応させて撮影画像ＩＭ３を処理してもよい。複数の使用者ＵＳがネットワークを介して撮影画像ＩＭ３を見ている場合、いずれかの使用者ＵＳが他の使用者ＵＳに対して任意の時点で任意の面ＰＬを選択してもよい。使用者ＵＳがアトラクション等で画像表示装置３０４を使用する場合、アトラクションのオペレータが任意の時点で任意の面ＰＬを選択してもよい。

第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法では、画像表示装置３０４に球面状画像ＶＳＳ３を表示させる。第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、撮影画像ＩＭ３の水平方向が間違って検出されたり、水平または天頂ＺＥの指定がずれたりした場合に、使用者ＵＳは、コントローラ３０５を操作して球面状画像ＶＳＳ３を回転させることにより、画像表示装置３０４に表示されている撮影画像ＩＭ３を水平になるように調整することができる。

第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法では、補正値ＣＶ３が使用者ＵＳまたは画像表示装置３０４に対応づけられてサーバ３０６に保存される。画像調整装置３１０は、補正値ＣＶ３に基づいて、カメラ３０２が撮影した撮影画像ＩＭ３を水平調整し、画像表示装置３０４に表示することができる。

従って、第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、撮影画像ＩＭ３の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者ＵＳが撮影画像ＩＭ３の水平または天頂を簡便に補正することができる。

第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法では、地面以外の面を検出し、検出された面が所定の範囲内に位置しているか否かを判定し、所定の範囲内に位置している面における法線ベクトルＮＶを推定する。第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、法線ベクトルＮＶに基づいて、指定された面ＰＬが水平面となるように、撮影画像ＩＭを回転させることができる。指定された面ＰＬが壁面である場合、使用者ＵＳは、壁面に立ち、移動しているような感覚を得ることができる。

［第４実施形態］
図４を用いて、第４実施形態の画像調整システムの構成例を説明する。画像調整システム４０１は、カメラ４０２と、通信部４０３と、画像表示装置４０４と、コントローラ４０５と、画像調整装置４１０と、サーバ４０６とを備える。画像調整装置４１０は、画像処理部４１１と、画像生成部４１２と、通信部４１３とを有する。

カメラ４０２、通信部４０３、画像表示装置４０４、コントローラ４０５、画像調整装置４１０、及びサーバ４０６は、それぞれ、第２実施形態のカメラ２０２、通信部２０３、画像表示装置２０４、コントローラ２０５、画像調整装置２１０、及び、サーバ２０６に相当する。画像処理部４１１、画像生成部４１２、及び通信部４１３は、それぞれ、第２実施形態の画像処理部２１１、画像生成部２１２、及び、通信部２１３に相当する。

画像調整装置４１０は、カメラ４０２が撮影した撮影画像ＩＭ４を、通信部４０３及び４１３とネットワークとを介して取得することができる。サーバ４０６は、ネットワークと通信部４０３とを介してカメラ４０２と接続し、ネットワークと通信部４１３とを介して画像調整装置４１０と接続する。

サーバ４０６が撮影画像ＩＭ４を通信部４０３及びネットワークを介して取得し、画像調整装置４１０がサーバ４０６から撮影画像ＩＭ４をネットワーク及び通信部４１３を介して取得してもよい。

画像調整装置４１０が取得した撮影画像ＩＭ４は、画像処理部４１１へ入力される。画像処理部４１１は、撮影画像ＩＭ４を解析することにより、撮影画像ＩＭ４における水平方向を認識する。画像調整装置４１０は、撮影画像ＩＭ４を解析することにより、撮影画像ＩＭ４における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。画像調整装置４１０は、撮影画像ＩＭ４の歪みを補正し、撮影画像ＩＭ４の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ４を画像表示装置３０４へ出力する。画像表示装置４０４は撮影画像ＩＭ４を表示する。

サーバ４０６がネットワーク及び通信部４０３を介してカメラ４０２から撮影画像ＩＭ４を取得し、撮影画像ＩＭ４の歪みを補正し、撮影画像ＩＭ４の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ４を画像調整装置４１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置４０４を装着することにより、画像調整装置４１０またはサーバ４０６によって画像処理された撮影画像ＩＭ４を見ることができる。

画像表示装置４０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ４を生成する。画像処理部４１１は、画像表示装置４０４から姿勢情報ＰＮ４を取得する。即ち、画像処理部４１１は、画像表示装置４０４の姿勢に基づいて姿勢情報ＰＮ４を取得することになる。画像処理部４１１は、姿勢情報ＰＮ４に基づいて、カメラ４０２が撮影した撮影画像ＩＭ４から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置４０４に表示する。

コントローラ４０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ４を生成する。画像処理部４１１は、コントローラ４０５から指示情報ＮＮ４を取得する。画像処理部４１１は、指示情報ＮＮ４に基づいて、画像表示装置４０４に表示されている画像を変化させたり調整したりすることができる。

画像生成部４１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ４を生成する。画像生成部４１２は、球面状画像ＶＳＳ４を内蔵メモリまたは外部のメモリに保存する。

画像処理部４１１は、指示情報ＮＮ４に基づいて、画像生成部４１２から球面状画像ＶＳＳ４を取得し、画像表示装置４０４に表示する。球面状画像ＶＳＳ４は、第２実施形態の球面状画像ＶＳＳ２に相当する。使用者ＵＳは、コントローラ４０５が装着されている手を、画像表示装置４０４に表示されている球面状画像ＶＳＳ４に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ４に接触するように感じる。

コントローラ４０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部４１１は、指示情報ＮＮ４に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ４に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ４に接触する感覚を実感として得ることができる。

球面状画像ＶＳＳ４が画像表示装置４０４に表示されている状態において、使用者ＵＳが、コントローラ４０５が装着されている手を任意の方向へ移動させた場合、画像処理部４１１は、指示情報ＮＮ４に基づいて、画像表示装置４０４に表示されている球面状画像ＶＳＳ４と撮影画像ＩＭ４とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ４を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ４を回転させることができる。画像処理部４１１は、球面状画像ＶＳＳ４の回転に対応させて撮影画像ＩＭ４を移動させる。

カメラ４０２が撮影した撮影画像ＩＭ４に、地平線または建築物が映っている場合、画像調整装置４１０及びサーバ４０６は、撮影画像ＩＭ４の水平方向を精度良く認識することができる。しかし、カメラ４０２が撮影した撮影画像ＩＭ４が例えば自然の風景等の曲線のみにより構成されている画像である場合、画像調整装置４１０及びサーバ４０６は、撮影画像ＩＭ４の水平方向を精度良く認識できないことがある。

撮影画像ＩＭ４の水平方向が精度良く認識できない場合、画像表示装置４０４には、撮影画像ＩＭ４が傾いた状態で表示される。使用者ＵＳは、球面状画像ＶＳＳ４を回転させることにより、撮影画像ＩＭ４を水平になるように調整することができる。

図１１に示すフローチャートを用いて、第４実施形態の画像調整方法の一例を説明する。具体的には、カメラ４０２が撮影した撮影画像ＩＭ４の水平を調整する方法の一例を説明する。

サーバ４０６は、図６に示すステップＳ２０１と同様の処理を実行する。図１２Ａに示すように、画像表示装置４０４に表示されている撮影画像ＩＭ４が水平ではないと使用者ＵＳが判断し、使用者ＵＳがコントローラ２０５を操作することにより、画像調整システム４０１は、図６に示すステップＳ２０２～Ｓ２０７と同様の処理を実行する。これにより、図１２Ｂに示すように、画像表示装置４０４に表示されている撮影画像ＩＭ４を水平に調整することができる。

画像処理部４１１は、使用者ＵＳが球面状画像ＶＳＳ４を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ４を回転させることによって球面状画像ＶＳＳ４の座標上のどの位置へ移動したかを判定することができる。画像処理部４１１は、球面状画像ＶＳＳ４の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ４を回転させる前と回転させた後との球面状画像ＶＳＳ４の変化量を算出する。球面状画像ＶＳＳ４の変化量は、第２実施形態の球面状画像ＶＳＳ２の変化量に相当する。

画像処理部４１１は、回転角度ＲＡを球面状画像ＶＳＳ４の変化量として算出する。回転角度ＲＡとは、使用者ＵＳが球面状画像ＶＳＳ４を回転させる前の状態に対する、球面状画像ＶＳＳ４を回転させた後の状態における球面状画像ＶＳＳ４の回転角度である。回転角度ＲＡは、Ｘ軸、Ｙ軸、またはＺ軸を回転軸とした回転角度であってもよく、Ｘ軸、Ｙ軸、及びＺ軸を回転軸として合成された回転角度であってもよい。

画像調整システム４０１は、図６に示すステップＳ２０８及びＳ２０９と同様の処理を実行する。画像処理部４１１は、球面状画像ＶＳＳ４の変化量を補正値ＣＶ４として、通信部４１３及びネットワークを介してサーバ４０６へ出力する。補正値ＣＶ４は回転角度ＲＡの情報を含む。サーバ４０６がネットワーク及び通信部４１３を介して画像調整装置４１０から補正値ＣＶ４を取得してもよい。

図１１において、サーバ４０６は、ステップＳ４０１にて、回転角度ＲＡを取得する。サーバ４０６は、ステップＳ４０２にて、回転角度ＲＡが所定の角度以上か否かを判定する。即ち、サーバ４０６は、使用者ＵＳが球面状画像ＶＳＳ４を回転させることにより、画像表示装置４０４に表示されている撮影画像ＩＭ４を所定の角度以上（例えば１０度以上）に水平調整したか否かを判定することになる。

回転角度ＲＡが所定の角度以上である（ＹＥＳ）と判定された場合、サーバ４０６は、ステップＳ４０３にて、カメラ４０２が撮影した撮影画像ＩＭ４に対する画像調整装置４１０またはサーバ４０６による水平調整が失敗であったと判断し、使用者ＵＳが水平調整する前の撮影画像ＩＭ４ｂと水平調整した後の撮影画像ＩＭ４ａとを関連付けて保存する。回転角度ＲＡが所定の角度以上でない（ＮＯ）と判定された場合、画像調整システム４０１は、ステップＳ４０１へ処理を戻す。

サーバ４０６は、ステップＳ４０４にて、保存されている撮影画像ＩＭ４ｂ及びＩＭ４ａの数が所定の値以上か否かを判定する。保存されている撮影画像ＩＭ４ｂ及びＩＭ４ａの数が所定の値以上である（ＹＥＳ）と判定された場合、サーバ４０６は、ステップＳ４０５にて、保存されている複数の撮影画像ＩＭ４ｂ及びＩＭ４ａに対してディープラーニング等の学習処理を実行する。サーバ４０６は、例えば撮影画像ＩＭ４ｂを入力データ、撮影画像ＩＭ４ａを正解データとして学習処理を実行する。保存されている撮影画像ＩＭ４ｂ及びＩＭ４ａの数が所定の値以上でない（ＮＯ）と判定された場合、画像調整システム４０１は、ステップＳ４０１へ処理を戻す。

サーバ４０６は、ステップＳ４０６にて、ステップＳ４０５における学習結果に基づいて、カメラ４０２が撮影した撮影画像ＩＭ４を水平調整する。なお、ステップＳ４０６にて、サーバ４０６が学習結果を画像調整装置４１０へ出力し、画像処理部４１１が学習結果に基づいて、カメラ４０２が撮影した撮影画像ＩＭ４を水平調整してもよい。画像処理部４１１がステップＳ４０１～Ｓ４０６の処理を実行してもよい。

サーバ４０６または画像処理部４１１がステップＳ４０１～Ｓ４０６の処理を繰り返し実行することにより、画像表示装置４０４に表示される撮影画像ＩＭ４の水平の調整精度を向上させることができる。

第４実施形態の画像調整システム４０１、画像調整装置４１０、及び画像調整方法では、画像表示装置４０４に球面状画像ＶＳＳ４を表示させる。第４実施形態の画像調整システム４０１、画像調整装置４１０、及び画像調整方法によれば、撮影画像ＩＭ４の水平方向が間違って検出されたり、水平または天頂ＺＥの指定がずれたりした場合に、使用者ＵＳは、コントローラ４０５を操作して球面状画像ＶＳＳ４を回転させることにより、画像表示装置４０４に表示されている撮影画像ＩＭ４を水平になるように調整することができる。

第４実施形態の画像調整システム４０１、画像調整装置４１０、及び画像調整方法では、補正値ＣＶ４が使用者ＵＳまたは画像表示装置４０４に対応づけてサーバ４０６またはその外部メモリに保存される。画像調整装置４１０は、補正値ＣＶ４に基づいて、カメラ４０２が撮影した撮影画像ＩＭ４を画像調整し、画像表示装置４０４に表示することができる。

従って、第４実施形態の画像調整システム４０１、画像調整装置４１０、及び画像調整方法によれば、撮影画像ＩＭ４の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者ＵＳが撮影画像ＩＭ４の水平または天頂を簡便に補正することができる。

第４実施形態の画像調整システム４０１、画像調整装置４１０、及び画像調整方法では、球面状画像ＶＳＳ４の回転角度ＲＡが所定の角度以上である場合、水平調整が失敗であったと判断し、判断結果に基づいて水平調整に失敗した撮影画像ＩＭ４ｂ及びＩＭ４ａに対して学習処理を実行する。第４実施形態の画像調整システム４０１、画像調整装置４１０、及び画像調整方法によれば、学習処理を実行することにより、画像表示装置４０４に表示される撮影画像ＩＭ４の水平の調整精度を向上させることができる。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

例えば、ＣＧにより生成される仮想画像ＶＳＳは、楕円体の表面（楕円面）であってもよく、さらには使用者ＵＳの手の届く範囲であれば、任意の閉じた面（閉曲面）であればよい。即ち、使用者ＵＳが内側からその閉曲面に接触するような感覚を得て、撮影画像ＩＭの水平調整ができればよい。使用者ＵＳが仮想画像ＶＳＳを回転動作させることから、仮想画像ＶＳＳは球面または楕円面等の球面に近い球面状の形状であることが望ましい。

１０１，２０１，３０１，４０１ 画像調整システム
１０２，２０２，３０２，４０２ カメラ
１０４，２０４，３０４，４０４ 画像表示装置
１０５，２０５，３０５，４０５ コントローラ
１１０，２１０，３１０，４１０ 画像調整装置
１１１，２１１，３１１，４１１ 画像処理部
１１２，２１２，３１２，４１２ 画像生成部
２０６，３０６，４０６ サーバ
ＩＭ１，ＩＭ２，ＩＭ３，ＩＭ４ 撮影画像
ＮＮ１，ＮＮ２，ＮＮ３，ＮＮ４ 指示情報
ＰＬ１ 地面（第１の面）
ＰＬ２ 壁面（第２の面）
ＲＡ 回転角度
ＵＳ 使用者
ＶＳＳ１，ＶＳＳ２，ＶＳＳ３，ＶＳＳ４ 球面状画像（仮想画像）

Claims (6)

1. カメラと、
   前記カメラが撮影した撮影画像を調整する画像調整装置と、
   前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、
   前記画像調整装置へ指示情報を出力するコントローラと、
   を備え、
   前記画像調整装置は、
   球面状画像を生成する画像生成部と、
   前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する画像処理部と、
   を有する画像調整システムであり、
   前記カメラは３６０度の範囲を撮影する全方位カメラであり、
   前記画像表示装置は使用者の頭部に装着されるヘッドマウントディスプレイであり、
   前記コントローラは前記使用者の手に装着されるグローブ型コントローラであり、
   前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である画像調整システム。
2. 前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する、
   請求項１に記載の画像調整システム。
3. 前記画像処理部は、前記球面状画像が回転する前と後との変化量を取得し、前記変化量に基づいて前記撮影画像を調整する、
   請求項２に記載の画像調整システム。
4. 前記画像処理部は、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像の水平を調整する、
   請求項１～３のうちのいずれか１項に記載の画像調整システム。
5. 球面状画像を生成する画像生成部と、
   コントローラから取得した指示情報に基づいて前記画像生成部から前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、カメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整する画像処理部と、
   を備える画像調整装置であり、
   前記カメラは３６０度の範囲を撮影する全方位カメラであり、
   前記画像表示装置は使用者の頭部に装着されるヘッドマウントディスプレイであり、
   前記コントローラは前記使用者の手に装着されるグローブ型コントローラであり、
   前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である画像調整装置。
6. 画像処理部がコントローラから指示情報を取得し、
   前記画像処理部が前記指示情報に基づいて、画像生成部から球面状画像を取得し、
   画像表示装置が前記球面状画像を表示し、
   前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、
   前記画像処理部がカメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整する、
   画像調整方法であり、
   前記カメラは３６０度の範囲を撮影する全方位カメラであり、
   前記画像表示装置は使用者の頭部に装着されるヘッドマウントディスプレイであり、
   前記コントローラは前記使用者の手に装着されるグローブ型コントローラであり、
   前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である画像調整方法。
   
   

Images