WO2020166582A1

WO2020166582A1 - 画像調整システム、画像調整装置、及び画像調整方法

Info

Publication number: WO2020166582A1
Application number: PCT/JP2020/005239
Authority: WO
Inventors: 崇日昔
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2019-02-15
Filing date: 2020-02-12
Publication date: 2020-08-20
Anticipated expiration: 2021-08-15
Also published as: US11703948B2; US20210325965A1

Abstract

画像調整システム（１０１）において、画像表示装置（１０４）は画像調整装置（１１０）により調整された撮影画像（ＩＭ１）を表示する。画像調整装置（１１０）は画像処理部（１１１）と画像生成部（１１２）とを有する。画像生成部（１１２）は球面状画像（ＶＳＳ１）を生成する。画像処理部（１１１）はコントローラ（１０５）から出力された指示情報（ＮＮ１）に基づいて画像生成部（１１２）から球面状画像（ＶＳＳ１）を取得して画像表示装置（１０４）に表示する。画像生成部（１１２）は球面状画像（ＶＳＳ１）の回転に対応させて撮影画像（ＩＭ１）を調整し、調整された撮影画像（ＩＭ１）を手振れ補正し、手振れ補正された撮影画像（ＩＭ１）が所定の角度（α）以上に変更された場合、カメラ（１０２）の進行方向が変更されたと判定する。

Description

画像調整システム、画像調整装置、及び画像調整方法

　本発明は、画像調整システム、画像調整装置、及び画像調整方法に関する。

　近年、画像表示装置としてヘッドマウントディスプレイが注目されている。ヘッドマウントディスプレイは、使用者の頭部に装着された状態で画像を表示することにより、使用者は仮想空間に入り込んだような感覚（没入感）を得ることができる。特許文献１に記載されているように、ヘッドマウントディスプレイは、外部のカメラで撮影した画像をネックワークを介して表示することができる。

　３６０度の範囲を撮影できる全方位カメラを用いて撮影された画像をヘッドマウントディスプレイに表示することにより、使用者は使用者の周囲である３６０度の範囲を見ているような感覚を得ることができる。全方位カメラとして、右目用画像と左目用画像とを撮影できるステレオカメラを用いて撮影された画像をヘッドマウントディスプレイに表示することにより、使用者はヘッドマウントディスプレイに表示された画像を立体的に見ることができる。

特開２００５－５６２９５号公報

　手振れ補正機能により、カメラが撮影する画像の振れを低減させることができ、かつ、カメラの向きが変更されても画像は一定の状態を維持することができる。しかし、全方位カメラにより撮影され、手振れ補正された画像を使用者が見ている状態において、全方位カメラの進行方向が変更された場合、使用者は、ヘッドマウントディスプレイに表示されている画像が変化する方向を認識してから使用者が向いている方向を変更する。そのため、使用者は、カメラが進行方向を変更してから、かなり遅れて向いている方向を変更することになる。

　本発明は、カメラの進行方向の変更に応じて使用者が向いている方向を速やかに変更させることができる画像調整システム、画像調整装置、及び画像調整方法を提供することを目的とする。

　本実施形態は、カメラと、前記カメラが撮影した撮影画像を調整する画像調整装置と、前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、前記画像調整装置へ指示情報を出力するコントローラとを備え、前記画像調整装置は、球面状画像を生成する画像生成部と、前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像を手振れ補正し、手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、前記撮影画像が所定の角度以上に変更されたと判定された場合、前記カメラの進行方向が変更されたと判定する画像処理部とを有する画像調整システムを提供する。

　本実施形態は、カメラと、前記カメラが撮影した撮影画像を調整する画像調整装置と、前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、前記画像調整装置へ指示情報を出力するコントローラと、を備え、前記画像調整装置は、球面状画像を生成する画像生成部と、前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像を手振れ補正し、前記撮影画像に対して手振れ補正が追従できているか否かを判定し、前記撮影画像に対して手振れ補正が追従できていないと判定された場合、前記指示情報に基づいて前記撮影画像を調整する画像処理部とを有する画像調整システムを提供する。

　本実施形態は、球面状画像を生成する画像生成部と、コントローラから取得した指示情報に基づいて前記画像生成部から前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、カメラにより撮影されて前記画像表示装置に表示されている撮影画像を前記球面状画像の回転に対応させて調整し、調整された前記撮影画像を手振れ補正し、手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、前記撮影画像が所定の角度以上に変更されたと判定された場合、前記カメラの進行方向が変更されたと判定する画像処理部とを備える画像調整装置を提供する。

　本実施形態は、球面状画像を生成する画像生成部と、コントローラから取得した指示情報に基づいて前記画像生成部から前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、カメラにより撮影されて前記画像表示装置に表示されている撮影画像を前記球面状画像の回転に対応させて調整し、調整された前記撮影画像を手振れ補正し、前記撮影画像に対して手振れ補正が追従できているか否かを判定し、前記撮影画像に対して手振れ補正が追従できていないと判定された場合、前記指示情報に基づいて前記撮影画像を調整する画像処理部と、を備える画像調整装置を提供する。

　本実施形態は、画像処理部がコントローラから指示情報を取得し、前記画像処理部が前記指示情報に基づいて、画像生成部から球面状画像を取得し、画像表示装置が前記球面状画像を表示し、前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、前記画像処理部がカメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、前記画像処理部が調整された前記撮影画像を手振れ補正し、前記画像処理部が手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、前記撮影画像が所定の角度以上に変更されたと判定された場合、前記画像処理部が前記カメラの進行方向が変更されたと判定する、画像調整方法を提供する。

　本実施形態は、画像処理部がコントローラから指示情報を取得し、前記画像処理部が前記指示情報に基づいて、画像生成部から球面状画像を取得し、画像表示装置が前記球面状画像を表示し、前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、前記画像処理部がカメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、前記画像処理部が調整された前記撮影画像を手振れ補正し、前記画像処理部が前記撮影画像に対して手振れ補正が追従できているか否かを判定し、前記撮影画像に対して手振れ補正が追従できていないと判定された場合、前記画像処理部が前記指示情報に基づいて前記撮影画像を調整する、画像調整方法を提供する。

　本実施形態の画像調整システム、画像調整装置、及び画像調整方法によれば、カメラの進行方向の変更に応じて使用者が向いている方向を速やかに変更させることができる。

図１は、第１実施形態の画像調整システムを示す構成図である。図２は、球面状画像と使用者との関係を示す図である。図３は、第１実施形態の画像調整方法の一例を示すフローチャートである。図４Ａは、第２実施形態の画像調整方法の一例を示すフローチャートである。図４Ｂは、第２実施形態の画像調整方法の一例を示すフローチャートである。図４Ｃは、第２実施形態の画像調整方法の一例を示すフローチャートである。

　（第１実施形態）
　図１を用いて、第１実施形態の画像調整システムの構成例を説明する。画像調整システム１０１は、カメラ１０２と、姿勢制御装置１２０と、通信部１０３と、画像表示装置１０４と、コントローラ１０５と、画像調整装置１１０と、サーバ１０６とを備える。画像調整装置１１０は、画像処理部１１１と、画像生成部１１２と、通信部１１３とを有する。

　カメラ１０２は、３６０度の範囲を撮影できる全方位カメラ（３６０度カメラ）である。カメラ１０２は、右目用画像と左目用画像とを撮影できるステレオカメラにより構成された全方位カメラであってもよい。通信部１０３と通信部１１３とはネットワークを介して接続されている。

　画像調整装置１１０は、カメラ１０２が３６０度の範囲を撮影した撮影画像ＩＭ１を、通信部１０３及び１１３とネットワークとを介して取得することができる。カメラ１０２がステレオカメラにより構成された全方位カメラである場合、画像調整装置１１０は、カメラ１０２が３６０度の範囲を撮影した右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１を撮影画像ＩＭ１として、通信部１０３及び１１３とネットワークとを介して取得することができる。

　画像調整装置１１０としてコンピュータ機器を用いてもよい。画像処理部１１１及び画像生成部１１２としてＣＰＵを用いてもよい。画像生成部１１２及び通信部１１３は、画像調整装置１１０の外部に設けられていてもよい。

　サーバ１０６は、ネットワークと通信部１０３とを介してカメラ１０２と接続し、ネットワークと通信部１１３とを介して画像調整装置１１０と接続する。サーバ１０６がカメラ１０２から撮影画像ＩＭ１を通信部１０３及びネットワークを介して取得し、画像調整装置１１０がサーバ１０６から撮影画像ＩＭ１をネットワーク及び通信部１１３を介して取得してもよい。

　画像調整装置１１０が取得した撮影画像ＩＭ１は、画像処理部１１１へ入力される。画像調整装置１１０（具体的には画像処理部１１１）は、手振れ補正機能を有する。画像調整装置１１０は、撮影画像ＩＭ１の歪み及び手振れを補正する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像表示装置１０４へ出力する。画像表示装置１０４は、例えばヘッドマウントディスプレイである。コントローラ１０５は、例えばＶＲ等に用いられるグローブ型コントローラである。

　姿勢制御装置１２０は、カメラ１０２の姿勢を制御する。姿勢制御装置１２０は、カメラ１０２が向いている方向、及びカメラ１０２が向きを変更したときの方向とその角度を示すカメラ姿勢情報ＣＰ１を生成してもよい。画像処理部１１１は、通信部１１３及び１０３とネットワークとを介して、姿勢制御装置１２０からカメラ姿勢情報ＣＰ１を取得することができる。サーバ１０６が姿勢制御装置１２０からカメラ姿勢情報ＣＰ１を取得し、画像処理部１１１がサーバ１０６からカメラ姿勢情報ＣＰ１を取得してもよい。

　図２は、画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている状態を模式的に示している。図２に示す符号ＺＥは天頂を示している。カメラ１０２の天頂と使用者ＵＳの天頂とは一致していることが望ましい。使用者ＵＳは、その頭部に画像表示装置１０４を装着することにより、画像調整装置１１０によって画像処理された撮影画像ＩＭ１を見ることができる。

　カメラ１０２がステレオカメラにより構成された全方位カメラである場合、画像表示装置１０４が使用者ＵＳの頭部に装着されている状態で、画像調整装置１１０が使用者ＵＳの右目に対応する領域に右目用画像ＩＭＲ１を表示し、使用者ＵＳの左目に対応する領域に左目用画像ＩＭＬ１を表示することにより、使用者ＵＳは、撮影画像ＩＭ１を立体画像として見ることができる。

　サーバ１０６がカメラ１０２から取得した撮影画像ＩＭ１の歪みを補正し、撮影画像ＩＭ１の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像調整装置１１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置１０４を装着することにより、画像調整装置１１０またはサーバ１０６によって画像処理された撮影画像ＩＭ１を見ることができる。

　画像表示装置１０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて使用者姿勢情報ＰＮ１を生成する。画像処理部１１１は、画像表示装置１０４から使用者姿勢情報ＰＮ１を取得する。即ち、画像処理部１１１は、画像表示装置１０４の姿勢に基づいて使用者姿勢情報ＰＮ１を取得することになる。画像処理部１１１は、使用者姿勢情報ＰＮ１に基づいて、撮影画像ＩＭ１から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置１０４に表示する。

　コントローラ１０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢、または、使用者ＵＳの指の動きまたは姿勢等の状態に基づいて指示情報ＮＮ１を生成する。以下、手または指を、単に手と略記する。画像処理部１１１は、コントローラ１０５から指示情報ＮＮ１を取得する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている撮影画像ＩＭ１を変化させたり調整したりすることができる。

　画像生成部１１２は、ＣＧ(Computer Graphics)である球面により構成された仮想画像である球面状画像ＶＳＳ１を生成し、内蔵メモリまたは外部のメモリに保存する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。

　図２は、画像表示装置１０４が使用者ＵＳの頭部に装着された状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときの使用者ＵＳのイメージを模式的に示している。

　画像表示装置１０４が使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときに、球面状画像ＶＳＳ１は、使用者ＵＳ及び画像表示装置１０４の周囲に配置され、かつ、使用者ＵＳの手が球面状画像ＶＳＳ１に届く範囲に表示されるように設定されている。使用者ＵＳは、コントローラ１０５が装着されている手を、画像表示装置１０４に表示されている球面状画像ＶＳＳ１に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ１に接触しているように感じる。

　コントローラ１０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部１１１は、指示情報ＮＮ１に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ１に対応する位置に移動したと判定した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ１に接触する感覚を実感として得ることができる。

　球面状画像ＶＳＳ１が画像表示装置１０４に表示されている状態において、使用者ＵＳが、コントローラ１０５が装着されている手を任意の方向へ移動させた場合、画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている球面状画像ＶＳＳ１と撮影画像ＩＭ１とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

　使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ１を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ１を回転させることができる。画像処理部１１１は、球面状画像ＶＳＳ１の回転に対応させて撮影画像ＩＭ１を移動させる。使用者ＵＳは、球面状画像ＶＳＳ１を回転させることにより、画像表示装置１０４に表示されている撮影画像ＩＭ１を水平にすることができる。

　画像表示装置１０４に右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１が表示されている場合、使用者ＵＳは、球面状画像ＶＳＳ１を例えば上方向または下方向へ回転させることにより、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向（垂直方向）のずれを補正することができる。使用者ＵＳは、球面状画像ＶＳＳ１を例えば右方向または左方向へ回転させることにより、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差を補正することができる。使用者ＵＳは、球面状画像ＶＳＳ１を任意の方向へ回転させることにより、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれを補正することができる。

　画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ１を回転させることによって球面状画像ＶＳＳ１の座標上のどの位置へ移動したかを判定することができる。画像処理部１１１は、球面状画像ＶＳＳ１の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前と回転させた後との球面状画像ＶＳＳ１の変化量を算出する。

　球面状画像ＶＳＳ１の変化量とは、球面状画像ＶＳＳ１において、Ｘ軸を回転軸とした回転量（回転角度）と、Ｙ軸を回転軸とした回転量（回転角度）と、Ｚ軸を回転軸とした回転量（回転角度）とが合成された球面状画像ＶＳＳ１の回転量（回転角度）に相当する。画像処理部１１１は、球面状画像ＶＳＳ１の変化量を補正値ＣＶ１として保存する。即ち、補正値ＣＶ１は、球面状画像ＶＳＳ１の回転方向と、天頂ＺＥの移動量または移動角度（球面状画像ＶＳＳ１の回転角度）に基づいて算出されることになる。

　画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させた後の天頂ＺＥの球面状画像ＶＳＳ１上の座標を補正値ＣＶ１として保存してもよい。画像処理部１１１は、補正値ＣＶ１を内蔵メモリまたは外部のメモリに保存する。画像処理部１１１が補正値ＣＶ１を通信部１１３及びネットワークを介してサーバ１０６へ出力し、サーバ１０６が補正値ＣＶ１を内蔵メモリまたは外部のメモリに保存してもよい。画像処理部１１１は、サーバ１０６に保存されている補正値ＣＶ１をネットワーク及び通信部１１３を介して取得することができる。

　図３に示すフローチャートを用いて、第１実施形態の画像調整方法の一例を説明する。具体的には、カメラ１０２の進行方向の変更に応じて使用者ＵＳが向いている方向を速やかに変更させるため方法の一例について説明する。画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている。画像表示装置１０４には撮影画像ＩＭ１と球面状画像ＶＳＳ１とが表示されている。

　使用者ＵＳが球面状画像ＶＳＳ１を回転させることにより、コントローラ１０５は、ステップＳ１０１にて、操作内容に対応する指示情報ＮＮ１を生成し、画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１０２にて、指示情報ＮＮ１に基づいて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている撮影画像ＩＭ１を移動させる。画像処理部１１１またはサーバ１０６に補正値ＣＶ１が保存されている場合、画像処理部１１１は、ステップＳ１０２にて、補正値ＣＶ１に基づいて、画像表示装置１０４に表示されている撮影画像ＩＭ１を移動させてもよい。

　これにより、画像調整装置１１０は、撮影画像ＩＭ１が水平になるように撮影画像ＩＭ１を調整することができる。撮影画像ＩＭ１が水平になるように、姿勢制御装置１２０がカメラ１０２の姿勢を制御してもよい。

　画像表示装置１０４に右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１が表示されている場合、使用者ＵＳが球面状画像ＶＳＳ１を回転させることにより、画像調整装置１１０は、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれ、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差、及び、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれの少なくともいずれかを補正する。姿勢制御装置１２０がカメラ１０２の姿勢を制御することにより、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれを補正してもよい。

　画像処理部１１１またはサーバ１０６に補正値ＣＶ１が保存されている場合、画像処理部１１１は、補正値ＣＶ１に基づいて、画像表示装置１０４に表示されている撮影画像ＩＭ１における右目用画像ＩＭＲ１または左目用画像ＩＭＬ１を移動させてもよい。これにより、画像調整装置１１０は、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とのずれ、または視差が補正されるように撮影画像ＩＭ１を調整することができる。

　撮影画像ＩＭ１が水平になるように調整されている状態、または、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とのずれ、または視差が補正されている状態において、画像処理部１１１は、ステップＳ１０３にて、撮影画像ＩＭ１を手振れ補正する。

　画像調整装置１１０（具体的には画像処理部１１１）は、撮影画像ＩＭ１が変更される方向とその角度を常に監視している。画像調整装置１１０は、カメラ１０２が撮影した撮影画像ＩＭ１から撮影画像ＩＭ１の方向とその角度を検出してもよいし、姿勢制御装置１２０から取得したカメラ姿勢情報ＣＰ１に基づいて、撮影画像ＩＭ１の方向とその角度を検出してもよい。

　画像処理部１１１は、ステップＳ１０４にて、撮影画像ＩＭ１が変更される角度θａが所定の角度α以上か否かを判定する。言い換えれば、撮影画像ＩＭ１が所定の角度α以上に変更されたか否かを判定する。所定の角度αは例えば６０度である。

　角度θａが所定の角度α以上である（θａ≧α）と判定された場合（ＹＥＳ）、即ち、撮影画像ＩＭ１が所定の角度α以上に変更されたと判定された場合、画像処理部１１１は、ステップＳ１０５にて、カメラ１０２の進行方向が変更されたと判定し、変更された方向を検出する。

　角度θａが所定の角度α以上ではない（θａ＜α）と判定された場合（ＮＯ）、即ち、撮影画像ＩＭ１が所定の角度α以上に変更されていないと判定された場合、画像処理部１１１は、カメラ１０２の進行方向が変更されていないと判定し、処理をステップＳ１０４へ戻す。

　画像処理部１１１は、ステップＳ１０６にて、使用者姿勢情報ＰＮ１に基づいて、使用者ＵＳが向いている方向を検出する。画像生成部１１２は矢印画像ＡＲを生成する。矢印画像ＡＲは、カメラ１０２の進行方向が変更された方向を示す画像（ＣＧ）である。画像生成部１１２は例えば右方向を示す右矢印画像ＡＲＲと、左方向を示す左矢印画像ＡＲＬとを生成する。画像処理部１１１は、ステップＳ１０７にて、画像生成部１１２から矢印画像ＡＲを取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１と矢印画像ＡＲとが混合して表示される。

　画像処理部１１１は、使用者ＵＳが向いている方向に対してカメラ１０２の進行方向が右方向へ変更されたと判定した場合、画像生成部１１２から右矢印画像ＡＲＲを取得し、画像表示装置１０４に表示する。画像処理部１１１は、使用者ＵＳが向いている方向に対してカメラ１０２の進行方向が左方向へ変更されたと判定した場合、画像生成部１１２から左矢印画像ＡＲＬを取得し、画像表示装置１０４に表示する。

　画像処理部１１１は、ステップＳ１０８にて、使用者ＵＳが向いている方向に対して、画像表示装置１０４に表示されている撮影画像ＩＭ１を、カメラ１０２の進行方向が変更された方向とは逆方向へ変更された角度だけ移動させてもよい。

　第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法では、撮影画像ＩＭ１が手振れ補正されている状態において、カメラ１０２の進行方向が変更されたか否かを判定し、進行方向が変更されたと判定された場合に、カメラ１０２の進行方向が変更された方向を示す画像（例えば矢印画像ＡＲ）を表示する。これにより、カメラ１０２の進行方向の変更に応じて使用者ＵＳが向いている方向を速やかに変更させることができる。

　第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法では、撮影画像ＩＭ１が手振れ補正されている状態において、カメラ１０２の進行方向が変更されたと判定された場合に、画像表示装置１０４に表示されている撮影画像ＩＭ１を、カメラ１０２の進行方向が変更された方向とは逆方向へ変更された角度だけ移動させる。これにより、画像表示装置１０４に表示されている画像を、カメラ１０２の進行方向が変更された方向に対応させて速やかに変更させることができる。

　（第２実施形態）
　図１を用いて、第２実施形態の画像調整システムの構成例を説明する。画像調整システム２０１は、カメラ２０２と、姿勢制御装置２２０と、通信部２０３と、画像表示装置２０４と、コントローラ２０５と、画像調整装置２１０と、サーバ２０６とを備える。画像調整装置２１０は、画像処理部２１１と、画像生成部２１２と、通信部２１３とを有する。

　カメラ２０２、姿勢制御装置２２０、通信部２０３、画像表示装置２０４、コントローラ２０５、画像調整装置２１０、及びサーバ２０６は、それぞれ、第１実施形態の姿勢制御装置１２０、通信部１０３、画像表示装置１０４、コントローラ１０５、画像調整装置１１０、及びサーバ１０６に対応する。画像処理部２１１、画像生成部２１２、及び通信部２１３は、それぞれ、第１実施形態の画像処理部１１１、画像生成部１１２、及び通信部１１３に対応する。

　画像調整装置２１０は、カメラ２０２が３６０度の範囲を撮影した撮影画像ＩＭ２を、通信部２０３及び２１３とネットワークとを介して取得することができる。カメラ２０２がステレオカメラにより構成された全方位カメラである場合、画像調整装置２１０は、カメラ２０２が３６０度の範囲を撮影した右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２を撮影画像ＩＭ２として、通信部２０３及び２１３とネットワークとを介して取得することができる。

　画像調整装置２１０が取得した撮影画像ＩＭ２は、画像処理部２１１へ入力される。画像調整装置２１０（具体的には画像処理部２１１）は、手振れ補正機能を有する。画像調整装置２１０は、撮影画像ＩＭ２の歪み及び手振れを補正する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像表示装置２０４へ出力する。

　姿勢制御装置２２０は、カメラ２０２の姿勢を制御する。姿勢制御装置２２０は、カメラ２０２が向いている方向、及びカメラ２０２が向きを変更したときの方向とその角度を示すカメラ姿勢情報ＣＰ２を生成してもよい。画像処理部２１１は、通信部２１３及び２０３とネットワークとを介して、姿勢制御装置２２０からカメラ姿勢情報ＣＰ２を取得することができる。サーバ２０６が姿勢制御装置２２０からカメラ姿勢情報ＣＰ２を取得し、画像処理部２１１がサーバ２０６からカメラ姿勢情報ＣＰ２を取得してもよい。

　サーバ２０６がカメラ２０２から取得した撮影画像ＩＭ２の歪みを補正し、撮影画像ＩＭ２の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像調整装置２１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置２０４を装着することにより、画像調整装置２１０またはサーバ２０６によって画像処理された撮影画像ＩＭ１を見ることができる。

　画像表示装置２０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて使用者姿勢情報ＰＮ２を生成する。画像処理部２１１は、画像表示装置２０４から使用者姿勢情報ＰＮ２を取得する。即ち、画像処理部２１１は、画像表示装置２０４の姿勢に基づいて使用者姿勢情報ＰＮ２を取得することになる。画像処理部２１１は、使用者姿勢情報ＰＮ２に基づいて、撮影画像ＩＭ２から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置２０４に表示する。

　コントローラ２０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ２を生成する。画像処理部２１１は、コントローラ２０５から指示情報ＮＮ２を取得する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている撮影画像ＩＭ２を変化させたり調整したりすることができる。

　画像生成部２１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ２を生成し、内蔵メモリまたは外部のメモリに保存する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像生成部２１２から球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。

　図２は、画像表示装置２０４が使用者ＵＳの頭部に装着された状態において、使用者ＵＳが画像表示装置２０４に表示されている球面状画像ＶＳＳ２を見たときの使用者ＵＳのイメージを模式的に示している。

　画像表示装置２０４が使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが画像表示装置２０４に表示されている球面状画像ＶＳＳ２を見たときに、球面状画像ＶＳＳ２は、使用者ＵＳ及び画像表示装置２０４の周囲に配置され、かつ、使用者ＵＳの手が球面状画像ＶＳＳ２に届く範囲に表示されるように設定されている。使用者ＵＳは、コントローラ２０５が装着されている手を、画像表示装置２０４に表示されている球面状画像ＶＳＳ２に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ２に接触しているように感じる。

　コントローラ２０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部２１１は、指示情報ＮＮ２に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ２に対応する位置に移動したと判定した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ２に接触する感覚を実感として得ることができる。

　球面状画像ＶＳＳ２が画像表示装置２０４に表示されている状態において、使用者ＵＳが、コントローラ２０５が装着されている手を任意の方向へ移動させた場合、画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている球面状画像ＶＳＳ２と撮影画像ＩＭ２とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

　使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ２を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ２を回転させることができる。画像処理部２１１は、球面状画像ＶＳＳ２の回転に対応させて撮影画像ＩＭ２を移動させる。使用者ＵＳは、球面状画像ＶＳＳ２を回転させることにより、画像表示装置２０４に表示されている撮影画像ＩＭ２を水平にすることができる。

　画像表示装置２０４に右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２が表示されている場合、使用者ＵＳは、球面状画像ＶＳＳ２を例えば上方向または下方向へ回転させることにより、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との上下方向のずれを補正することができる。使用者ＵＳは、球面状画像ＶＳＳ２を例えば右方向または左方向へ回転させることにより、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との視差を補正することができる。使用者ＵＳは、球面状画像ＶＳＳ２を任意の方向へ回転させることにより、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との傾きのずれを補正することができる。

　画像処理部２１１は、使用者ＵＳが球面状画像ＶＳＳ２を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ２を回転させることによって球面状画像ＶＳＳ２の座標上のどの位置へ移動したかを判定することができる。画像処理部２１１は、球面状画像ＶＳＳ２の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ２を回転させる前と回転させた後との球面状画像ＶＳＳ２の変化量を算出する。

　球面状画像ＶＳＳ２の変化量は、第１実施形態の球面状画像ＶＳＳ１の変化量に相当する。画像処理部２１１は、球面状画像ＶＳＳ２の変化量を補正値ＣＶ２として保存する。補正値ＣＶ２は第１実施形態の補正値ＣＶ１に相当する。

　画像処理部２１１は、使用者ＵＳが球面状画像ＶＳＳ２を回転させた後の天頂ＺＥの球面状画像ＶＳＳ２上の座標を補正値ＣＶ２として保存してもよい。画像処理部２１１は、補正値ＣＶ２を内蔵メモリまたは外部のメモリに保存する。画像処理部２１１が補正値ＣＶ２を通信部２１３及びネットワークを介してサーバ２０６へ出力し、サーバ２０６が補正値ＣＶ２を内蔵メモリまたは外部のメモリに保存してもよい。画像処理部２１１は、サーバ２０６に保存されている補正値ＣＶ２をネットワーク及び通信部２１３を介して取得することができる。

　図４Ａ～図４Ｃに示すフローチャートを用いて、第２実施形態の画像調整方法の一例を説明する。具体的には、撮影画像ＩＭ２が手振れ補正されている状態が維持できなくなったときの対処方法の一例について説明する。画像表示装置２０４が使用者ＵＳの頭部に装着され、コントローラ２０５が使用者ＵＳの手に装着されている。画像表示装置２０４には撮影画像ＩＭ２と球面状画像ＶＳＳ２とが表示されている。

　図４Ａにおいて、使用者ＵＳが球面状画像ＶＳＳ２を回転させることにより、コントローラ２０５は、ステップＳ２０１にて、操作内容に対応する指示情報ＮＮ２を生成し、画像処理部２１１へ出力する。画像処理部２１１は、ステップＳ２０２にて、指示情報ＮＮ２に基づいて、球面状画像ＶＳＳ２の回転に対応させて、画像表示装置２０４に表示されている撮影画像ＩＭ２を移動させる。画像処理部２１１またはサーバ２０６に補正値ＣＶ２が保存されている場合、画像処理部２１１は、ステップＳ２０２にて、補正値ＣＶ２に基づいて、画像表示装置２０４に表示されている撮影画像ＩＭ２を移動させてもよい。

　これにより、画像調整装置２１０は、撮影画像ＩＭ２が水平になるように撮影画像ＩＭ２を調整することができる。撮影画像ＩＭ２が水平になるように、姿勢制御装置２２０がカメラ２０２の姿勢を制御してもよい。

　画像表示装置２０４に右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２が表示されている場合、使用者ＵＳが球面状画像ＶＳＳ２を回転させることにより、画像調整装置２１０は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との上下方向のずれ、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との視差、及び、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との傾きのずれの少なくともいずれかを補正する。姿勢制御装置２２０がカメラ２０２の姿勢を制御することにより、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との上下方向のずれを補正してもよい。

　画像処理部２１１またはサーバ２０６に補正値ＣＶ２が保存されている場合、画像処理部２１１は、補正値ＣＶ２に基づいて、画像表示装置２０４に表示されている撮影画像ＩＭ２における右目用画像ＩＭＲ２または左目用画像ＩＭＬ２を移動させてもよい。これにより、画像調整装置２１０は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれ、または視差が補正されるように撮影画像ＩＭ２を調整することができる。

　撮影画像ＩＭ２が水平になるように調整されている状態、または、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれ、または視差が補正されている状態において、画像処理部２１１は、ステップＳ２０３にて、撮影画像ＩＭ２を手振れ補正する。画像調整装置２１０（具体的には画像処理部２１１）は、撮影画像ＩＭ２が変更される方向とその角度を常に監視している。画像処理部２１１は、ステップＳ１０４～Ｓ１０８と同様の処理を実行する。

　カメラ２０２が倒れたり、激しく動いたりすると、手振れ補正が追従できなくなる場合がある。画像調整装置２１０（具体的には画像処理部２１１）は、撮影画像ＩＭ２に対して手振れ補正が追従できているか否かを常に監視している。画像処理部２１１は、ステップＳ２０４にて、手振れ補正が追従できているか否か、即ち手振れ補正の設定時の条件が維持されているか否かを判定する。手振れ補正が追従できている（ＹＥＳ）と判定された場合、画像調整装置２１０は処理をステップＳ２０４へ戻す。

　手振れ補正が追従できていない（ＮＯ）と判定された場合、画像調整装置２１０は、撮影画像ＩＭ２（右目用画像ＩＭＲ２または左目用画像ＩＭＬ２）を調整するか否か、またはどのように調整するかを使用者ＵＳに確認する。

　具体的には、画像処理部２１１は、ステップＳ２０５にて、画像表示装置２０４に、撮影画像ＩＭ２を手動で調整するか自動で調整するかを設定するための設定画面を表示させる。画像処理部２１１は、手振れ補正の設定時の条件が維持されていないことを画像表示装置２０４に表示させてもよい。

　画像処理部２１１は、画像表示装置２０４に、撮影画像ＩＭ２を手動で調整するか自動で調整するか、または調整しないかを設定するための設定画面を表示させてもよい。使用者ＵＳが調整しない項目を選択すると、コントローラ２０５は、操作内容に対応する指示情報ＮＮ２を生成して画像処理部２１１へ出力し、画像処理部２１１は、処理をステップＳ２０３へ戻す。

　ステップＳ２０５で使用者ＵＳが撮影画像ＩＭ２を手動で調整する項目を選択すると、図４Ｂにおいて、コントローラ２０５は、ステップＳ２１１にて、操作内容に対応する指示情報ＮＮ２を生成し、画像処理部２１１へ出力する。画像処理部２１１は、ステップＳ２１２にて、指示情報ＮＮ２に基づいて、処理を手動調整モードへ移行させ、画像表示装置２０４に、調整項目を選択するための設定画面を表示させる。

　使用者ＵＳがコントローラ２０５を操作して、設定画面に表示されている所定の調整項目（例えば水平調整の項目）を選択すると、コントローラ２０５は、ステップＳ２１３にて、操作内容に対応する指示情報ＮＮ２を生成し、画像処理部２１１へ出力する。画像処理部２１１は、指示情報ＮＮ２に基づいて、選択された項目に対応する処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部２１１は、撮影画像ＩＭ２の水平を調整するための処理モード（水平調整モード）へ処理を移行させる。

　画像処理部２１１は、ステップＳ２１４にて、指示情報ＮＮ２に基づいて、画像生成部２１２から球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。画像表示装置２０４には、撮影画像ＩＭ２と球面状画像ＶＳＳ２とが混合して表示される。使用者ＵＳは、撮影画像ＩＭ２が水平となるように球面状画像ＶＳＳ２を回転させる。画像処理部２１１は、ステップＳ２１５にて、球面状画像ＶＳＳ２の回転に対応させて、画像表示装置２０４に表示されている撮影画像ＩＭ２を移動させる。使用者ＵＳは撮影画像ＩＭ２が水平になるまで球面状画像ＶＳＳ２を回転させる動作を複数回行ってもよい。

　ステップＳ２０５で使用者ＵＳが撮影画像ＩＭ２を自動で調整する項目を選択すると、図４Ｃにおいて、コントローラ２０５は、ステップＳ２２１にて、操作内容に対応する指示情報ＮＮ２を生成し、画像処理部２１１へ出力する。画像処理部２１１は、ステップＳ２２２にて、指示情報ＮＮ２に基づいて、処理を自動調整モードへ移行させ、画像処理部２１１またはサーバ２０６に保存されている補正値ＣＶ２を取得する。

　画像処理部２１１は、ステップＳ２２３にて、補正値ＣＶ２に基づいて、画像表示装置２０４に表示されている撮影画像ＩＭ２を移動させる。例えば、画像処理部２１１は、補正値ＣＶ２に基づいて、撮影画像ＩＭ２が水平になるように撮影画像ＩＭ２を移動させる。これにより、画像調整装置２１０は、撮影画像ＩＭ２が水平になるように撮影画像ＩＭ２を調整することができる。

　ステップＳ２０５で使用者ＵＳが撮影画像ＩＭ２を手動で調整する項目を選択し、かつ、画像表示装置２０４に右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２が表示されている場合、画像処理部２１１は、ステップＳ２１２にて、調整項目を選択するための設定画面を表示させる。設定画面には、例えば、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との上下方向（垂直方向）のずれを補正するための上下補正の項目、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との視差を補正するための視差補正の項目、及び、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との傾きのずれを補正するための傾き補正の項目が調整項目として表示される。

　使用者ＵＳが設定画面に表示されている上下補正、視差補正、及び傾き補正の項目のうちのいずれかの項目を選択した場合、コントローラ２０５は、ステップＳ２１３にて、選択された項目を含む指示情報ＮＮ２を画像処理部２１１へ出力する。画像処理部２１１は、指示情報ＮＮ２に基づいて、選択された項目に対応する処理モードへ処理を移行させる。

　ステップＳ２１２において上下補正の項目が選択された場合、画像処理部２１１は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との上下方向のずれを補正するための処理モード（上下補正モード）へ処理を移行させる。ステップＳ２１２において視差補正の項目が選択された場合、画像処理部２１１は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との視差を補正するための処理モード（視差補正モード）へ処理を移行させる。ステップＳ２１２において傾き補正の項目が選択された場合、画像処理部２１１は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との傾きのずれを補正するための処理モード（傾き補正モード）へ処理を移行させる。

　画像処理部２１１は、補正する画像が右目用画像ＩＭＲ２か左目用画像ＩＭＬ２かを選択するための項目を画像表示装置２０４に表示させる。使用者ＵＳが右目用画像ＩＭＲ２を選択した場合、コントローラ２０５は、右目用画像ＩＭＲ２が選択されたことを示す指示情報ＮＮ２を画像処理部２１１へ出力する。画像処理部２１１は、指示情報ＮＮ２に基づいて、右目用画像ＩＭＲ２を補正するための処理モード（右目用補正モード）へ処理を移行させる。

　使用者ＵＳが左目用画像ＩＭＬ２を選択した場合、コントローラ２０５は、左目用画像ＩＭＬ２が選択されたことを示す指示情報ＮＮ２を画像処理部２１１へ出力する。画像処理部２１１は、指示情報ＮＮ２に基づいて、左目用画像ＩＭＬ２を補正するための処理モード（左目用補正モード）へ処理を移行させる。

　画像処理部２１１は、ステップＳ２１４にて、指示情報ＮＮ２に基づいて、画像生成部２１２から球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。画像表示装置２０４には、撮影画像ＩＭ２と球面状画像ＶＳＳ２とが混合して表示される。

　使用者ＵＳは、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との上下方向または傾きのずれがなくなるように、または、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との視差が目的の視差となるように、球面状画像ＶＳＳ２を回転させる。画像処理部２１１は、ステップＳ２１５にて、球面状画像ＶＳＳ２の回転に対応させて、画像表示装置２０４に表示されている選択された右目用画像ＩＭＲ２または左目用画像ＩＭＬ２を移動させる。使用者ＵＳは球面状画像ＶＳＳ２を回転させる動作を複数回行ってもよい。

　ステップＳ２０５で使用者ＵＳが撮影画像ＩＭ２を自動で調整する項目を選択し、かつ、画像表示装置２０４に右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２が表示されている場合、画像処理部２１１は、ステップＳ２２２にて、画像処理部２１１またはサーバ２０６に保存されている補正値ＣＶ２を読み出す。

　画像処理部２１１は、ステップＳ２２３にて、補正値ＣＶ２に基づいて、画像表示装置２０４に表示されている右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２のうち、補正値ＣＶ２に対応する画像ＩＭＲ２またはＩＭＬ２を移動させる。これにより、画像調整装置２１０は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれがなくなるように、または、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２との視差が目的の視差となるように、撮影画像ＩＭ２を調整することができる。

　撮影画像ＩＭ２が水平になるように調整されると、または、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれ、または視差が補正されると、画像調整装置２１０は、処理をステップＳ２０３へ戻す。

　ステップＳ２０５で使用者ＵＳが撮影画像ＩＭ２を手動で調整するか自動で調整するかを選択しなかった場合、即ちステップＳ２１１及びＳ２２１で指示情報ＮＮ２が出力されなかった場合、画像処理部２１１は、処理を自動調整モードのステップＳ２２２へ移行させてもよい。画像処理部２１１またはサーバ２０６に補正値ＣＶ２が保存されていない場合、画像処理部２１１は、処理をステップＳ２０４からステップＳ２１２へ移行させてもよい。

　第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、撮影画像ＩＭ２が手振れ補正されている状態において、カメラ２０２の進行方向が変更されたか否かを判定し、進行方向が変更されたと判定された場合、カメラ２０２の進行方向が変更された方向を示す画像（例えば矢印画像ＡＲ）を表示する。これにより、カメラ２０２の進行方向の変更に応じて使用者ＵＳが向いている方向を速やかに変更させることができる。

　第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、撮影画像ＩＭ２が手振れ補正されている状態において、カメラ２０２の進行方向が変更されたと判定された場合に、撮影画像ＩＭ２を、カメラ２０２の進行方向が変更された方向とは逆方向へ変更された角度だけ移動させる。これにより、画像表示装置２０４に表示されている画像を、カメラ２０２の進行方向が変更された方向に対応させて速やかに変更させることができる。

　第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、カメラ２０２が倒れたり、激しく動いたりして手振れ補正が追従できなくなった場合、即ち、手振れ補正の設定時の条件が維持できなくなった場合、画像調整装置２１０は、撮影画像ＩＭ２（右目用画像ＩＭＲ２または左目用画像ＩＭＬ２）を調整するか否か、またはどのように調整するかを使用者ＵＳに確認する。画像調整装置２１０は、使用者ＵＳの指示に対応させて撮影画像ＩＭ２を調整する。

　これにより、画像調整システム２０１は、撮影画像ＩＭ２が水平になるように調整され、かつ、手振れ補正されている状態の撮影画像ＩＭ２を画像表示装置２０４に表示することができる。また、画像調整システム２０１は、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれ、または視差が補正され、かつ、手振れ補正されている状態の撮影画像ＩＭ２を画像表示装置２０４に表示することができる。

　本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

　第１及び第２実施形態では、画像調整装置１１０及び２１０が手振れ補正機能を有する構成について説明したが、カメラ１０２及び２０２、姿勢制御装置１２０及び２２０、またはサーバ１０６及び２０６が、手振れ補正機能を有していてもよい。

　サーバ１０６及び２０６が手振れ補正機能を有する場合、サーバ１０６及び２０６は、ステップＳ１０３及びＳ２０３にて、カメラ１０２及び２０２から取得した撮影画像ＩＭ１及びＩＭ２を手振れ補正する。この場合、サーバ１０６がステップＳ１０４及びＳ１０５の処理を実行してもよいし、サーバ２０６がステップＳ２０４の処理を実行し、ステップＳ２０４における判定結果を画像調整装置２１０へ出力してもよい。

　例えば、ＣＧにより生成される仮想画像ＶＳＳは、楕円体の表面（楕円面）であってもよく、さらには使用者ＵＳの手の届く範囲であれば、任意の閉じた面（閉曲面）であればよい。即ち、使用者ＵＳが内側からその閉曲面に接触するような感覚を得て、撮影画像ＩＭの水平調整ができればよい。使用者ＵＳが仮想画像ＶＳＳを回転動作させることから、仮想画像ＶＳＳは球面または楕円面等の球面に近い球面状の形状であることが望ましい。

Claims

　カメラと、
　前記カメラが撮影した撮影画像を調整する画像調整装置と、
　前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、
　前記画像調整装置へ指示情報を出力するコントローラと、
　を備え、
　前記画像調整装置は、
　球面状画像を生成する画像生成部と、
　前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像を手振れ補正し、手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、前記撮影画像が所定の角度以上に変更されたと判定された場合、前記カメラの進行方向が変更されたと判定する画像処理部と、
　を有する画像調整システム。
　前記カメラは３６０度の範囲を撮影する全方位カメラであり、
　前記画像表示装置は使用者の頭部に装着されるヘッドマウントディスプレイであり、
　前記コントローラは前記使用者の手に装着されるグローブ型コントローラであり、
　前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である、
　請求項１に記載の画像調整システム。
　前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する、
　請求項２に記載の画像調整システム。
　前記画像処理部は、前記球面状画像が回転する前と後との変化量を取得し、前記変化量に基づいて前記撮影画像を調整する、
　請求項３に記載の画像調整システム。
　前記画像処理部は、前記カメラの進行方向が変更された方向を示す画像を前記画像表示装置に表示する、
　請求項１～４のうちのいずれか１項に記載の画像調整システム。
　前記画像処理部は、前記画像表示装置に表示されている前記撮影画像を、前記カメラの進行方向が変更された方向とは逆方向へ移動させる、
　請求項１～４のうちのいずれか１項に記載の画像調整システム。
　カメラと、
　前記カメラが撮影した撮影画像を調整する画像調整装置と、
　前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、
　前記画像調整装置へ指示情報を出力するコントローラと、
　を備え、
　前記画像調整装置は、
　球面状画像を生成する画像生成部と、
　前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像を手振れ補正し、前記撮影画像に対して手振れ補正が追従できているか否かを判定し、前記撮影画像に対して手振れ補正が追従できていないと判定された場合、前記指示情報に基づいて前記撮影画像を調整する画像処理部と、
　を有する画像調整システム。
　前記カメラは３６０度の範囲を撮影する全方位カメラであり、
　前記画像表示装置は使用者の頭部に装着されるヘッドマウントディスプレイであり、
　前記コントローラは前記使用者の手に装着されるグローブ型コントローラであり、
　前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である、
　請求項７に記載の画像調整システム。
　前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する、
　請求項８に記載の画像調整システム。
　前記画像処理部は、前記球面状画像が回転する前と後との変化量を取得し、前記変化量に基づいて前記撮影画像を調整する、
　請求項９に記載の画像調整システム。
　前記撮影画像に対して手振れ補正が追従できていないと判定された場合、前記画像処理部は、前記指示情報に基づいて、前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像を手振れ補正する、
　請求項７～１０のうちのいずれか１項に記載の画像調整システム。
　球面状画像を生成する画像生成部と、
　コントローラから取得した指示情報に基づいて前記画像生成部から前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、カメラにより撮影されて前記画像表示装置に表示されている撮影画像を前記球面状画像の回転に対応させて調整し、調整された前記撮影画像を手振れ補正し、手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、前記撮影画像が所定の角度以上に変更されたと判定された場合、前記カメラの進行方向が変更されたと判定する画像処理部と、
　を備える画像調整装置。
　球面状画像を生成する画像生成部と、
　コントローラから取得した指示情報に基づいて前記画像生成部から前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、カメラにより撮影されて前記画像表示装置に表示されている撮影画像を前記球面状画像の回転に対応させて調整し、調整された前記撮影画像を手振れ補正し、前記撮影画像に対して手振れ補正が追従できているか否かを判定し、前記撮影画像に対して手振れ補正が追従できていないと判定された場合、前記指示情報に基づいて前記撮影画像を調整する画像処理部と、
　を備える画像調整装置。
　画像処理部がコントローラから指示情報を取得し、
　前記画像処理部が前記指示情報に基づいて、画像生成部から球面状画像を取得し、
　画像表示装置が前記球面状画像を表示し、
　前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、
　前記画像処理部がカメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、
　前記画像処理部が調整された前記撮影画像を手振れ補正し、
　前記画像処理部が手振れ補正された前記撮影画像が所定の角度以上に変更されたか否かを判定し、
　前記撮影画像が所定の角度以上に変更されたと判定された場合、前記画像処理部が前記カメラの進行方向が変更されたと判定する、
　画像調整方法。
　画像処理部がコントローラから指示情報を取得し、
　前記画像処理部が前記指示情報に基づいて、画像生成部から球面状画像を取得し、
　画像表示装置が前記球面状画像を表示し、
　前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、
　前記画像処理部がカメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、
　前記画像処理部が調整された前記撮影画像を手振れ補正し、
　前記画像処理部が前記撮影画像に対して手振れ補正が追従できているか否かを判定し、
　前記撮影画像に対して手振れ補正が追従できていないと判定された場合、前記画像処理部が前記指示情報に基づいて前記撮影画像を調整する、
　画像調整方法。