WO2020166492A1

WO2020166492A1 - 画像調整システム、画像調整装置、及び画像調整方法

Info

Publication number: WO2020166492A1
Application number: PCT/JP2020/004700
Authority: WO
Inventors: 崇日昔
Original assignee: 株式会社Ｊｖｃケンウッド
Priority date: 2019-02-15
Filing date: 2020-02-07
Publication date: 2020-08-20
Also published as: US20210329223A1; US11985298B2

Abstract

画像調整システム（１０１）は、カメラ（１０２）と、画像調整装置（１１０）と、画像表示装置（１０４）と、コントローラ（１０５）とを備える。画像調整装置（１１０）は、画像生成部（１１２）と画像処理部（１１１）とを備える。画像生成部（１１２）は、球面状画像（ＶＳＳ１）、及び、カメラ（１０２）が撮影した撮影画像（ＩＭ１）と合成される合成画像（ＣＭ１）を生成する。画像処理部（１１１）は、画像生成部（１１２）で生成された球面状画像（ＶＳＳ１）を取得して、画像表示装置（１０４）に表示する。画像処理部（１１１）は、コントローラ（１０５）から出力された指示情報（ＮＮ１）に基づいて球面状画像（ＶＳＳ１）を回転させ、球面状画像（ＶＳＳ１）の回転に対応させて画像表示装置（１０４）に表示されている撮影画像（ＩＭ１）を調整し、調整された撮影画像（ＩＭ１）に対応させて合成画像（ＣＭ１）を調整して撮影画像（ＩＭ１）と合成する。

Description

画像調整システム、画像調整装置、及び画像調整方法

　本発明は、画像調整システム、画像調整装置、及び画像調整方法に関する。

　近年、画像表示装置としてヘッドマウントディスプレイが注目されている。ヘッドマウントディスプレイは、使用者の頭部に装着された状態で画像を表示することにより、使用者は仮想空間に入り込んだような感覚（没入感）を得ることができる。特許文献１に記載されている従来例のヘッドマウントディスプレイは、外部のカメラで撮影した画像をネックワークを介して表示することができる。

特開２００５－５６２９５号公報(JP 2005-056295 A)

　しかし、従来例のヘッドマウントディスプレイでは、表示される画像によっては画像の水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。画像の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、表示される画像が使用者の重力感覚と一致しないため、使用者は違和感を覚える。

　本発明は、画像の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、画像の水平または天頂を簡便に補正することができる画像調整システム、画像調整装置、及び画像調整方法を提供することを目的とする。

　本発明の第１の態様に係る画像調整システムは、カメラと、前記カメラが撮影した撮影画像を調整するための画像調整装置と、前記画像調整装置により調整された前記撮影画像を表示するための画像表示装置と、前記画像調整装置へ指示情報を出力するためのコントローラとを備え、前記画像調整装置は、球面状画像、及び、前記撮影画像と合成される合成画像を生成するための画像生成部と、前記指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成するための画像処理部とを備える。

　本発明の第２の態様に係る画像調整装置は、球面状画像、及び、カメラにより撮影されて画像表示装置に表示されている撮影画像と合成される合成画像を生成するための画像生成部と、コントローラから取得した指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成するための画像処理部とを備える。

　本発明の第３の態様に係る画像調整方法は、画像処理部がコントローラから指示情報を取得し、前記画像処理部が前記指示情報に基づいて画像生成部で生成された球面状画像を取得し、画像表示装置が前記球面状画像を表示し、前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、前記画像処理部がカメラにより撮影されて前記画像表示装置に表示されている撮影画像を前記球面状画像の回転に対応させて調整し、前記画像処理部が前記画像生成部で生成され、前記画像表示装置に表示されている前記撮影画像と合成される合成画像を取得し、前記画像処理部が調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成することを含む。

　本発明の第１の態様に係る画像調整システム、第２の態様に係る画像調整装置、及び第３の態様に係る画像調整方法によれば、画像の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、画像の水平または天頂を簡便に補正することができる。

図１は、第１実施形態及び第２実施形態に係る画像調整システムを示す構成図である。図２は、球面状画像と使用者との関係を示す図である。図３は、第１実施形態に係る画像調整方法の一例を示すフローチャートである。図４は、第１実施形態に係る画像調整方法の一例を示すフローチャートである。図５は、撮影画像の水平面と合成画像の水平面との関係を示す図である。図６Ａは、第２実施形態に係る画像調整方法の一例を示すフローチャートである。図６Ｂは、第２実施形態に係る画像調整方法の一例を示すフローチャートである。図７は、第２実施形態に係る画像調整方法の一例を示すフローチャートである。図８は、撮影画像の水平面と合成画像の水平面との関係を示す図である。図９は、第３実施形態に係る画像調整システムを示す構成図である。図１０は、使用者が画像表示装置を見ているときの使用者と他の使用者に対応する合成画像との位置関係の一例を示す図である。図１１は、使用者が画像表示装置を見ているときの使用者と他の使用者に対応する合成画像との位置関係の一例を示す図である。図１２は、第３実施形態に係る画像調整方法の一例を示すフローチャートである。図１３は、第３実施形態に係る画像調整方法の一例を示すフローチャートである。図１４は、第４実施形態に係る画像調整システムを示す構成図である。図１５は、第３実施形態に係る画像調整方法の一例を示すフローチャートである。図１６は、第３実施形態に係る画像調整方法の一例を示すフローチャートである。図１７は、複数のカメラと他の使用者に対応する合成画像との位置関係の一例を示す図である。

　［第１実施形態］
　図１を用いて、第１実施形態に係る画像調整システム１０１の構成例を説明する。第１実施形態に係る画像調整システム１０１は、カメラ１０２と、第１通信部１０３と、画像表示装置１０４と、コントローラ１０５と、画像調整装置１１０と、サーバ１０６とを備える。画像調整装置１１０は、画像処理部１１１と、画像生成部１１２と、第２通信部１１３とを備える。

　カメラ１０２は、３６０度の範囲を撮影できる全方位カメラ（３６０度カメラ）である。第１通信部１０３と第２通信部１１３とはネットワークを介して接続されている。画像調整装置１１０は、カメラ１０２が撮影した撮影画像ＩＭ１を、第１通信部１０３と第２通信部１１３とネットワークとを介して取得することができる。

　画像調整装置１１０としてコンピュータ機器を用いてもよい。画像処理部１１１及び画像生成部１１２としてＣＰＵを用いてもよい。画像生成部１１２及び第２通信部１１３は、画像調整装置１１０の外部に設けられていてもよい。

　サーバ１０６は、ネットワークと第１通信部１０３とを介してカメラ１０２と接続し、ネットワークと第２通信部１１３とを介して画像調整装置１１０と接続する。サーバ１０６がカメラ１０２が撮影した撮影画像ＩＭ１を第１通信部１０３及びネットワークを介して取得し、画像調整装置１１０がサーバ１０６から撮影画像ＩＭ１をネットワーク及び第２通信部１１３を介して取得してもよい。

　画像調整装置１１０が取得した撮影画像ＩＭ１は、画像処理部１１１へ入力される。画像処理部１１１は、撮影画像ＩＭ１を解析することにより、撮影画像ＩＭ１における水平方向を認識する。画像処理部１１１は、撮影画像ＩＭ１を解析することにより、撮影画像ＩＭ１における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。画像調整装置１１０は、撮影画像ＩＭ１の歪みを補正し、撮影画像ＩＭ１の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像表示装置１０４へ出力する。

　サーバ１０６は、カメラ１０２が撮影した撮影画像ＩＭ１の歪みを補正し、撮影画像ＩＭ１の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像調整装置１１０へ出力してもよい。画像表示装置１０４は、画像調整装置１１０またはサーバ１０６によって画像処理された撮影画像ＩＭ１を表示する。

　画像表示装置１０４は、例えばヘッドマウントディスプレイである。コントローラ１０５は、例えばＶＲ(Virtual Reality)等に用いられるグローブ型コントローラである。

　図２は、画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている状態を模式的に示している。図２に示す符号ＺＥは天頂を示している。カメラ１０２の天頂と使用者ＵＳの天頂とは一致していることが望ましい。使用者ＵＳは、その頭部に画像表示装置１０４を装着することにより、画像調整装置１１０またはサーバ１０６によって画像処理された撮影画像ＩＭ１を見ることができる。

　画像表示装置１０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ１を生成する。画像処理部１１１は、画像表示装置１０４から姿勢情報ＰＮ１を取得する。即ち、画像処理部１１１は、画像表示装置１０４の姿勢に基づいて姿勢情報ＰＮ１を取得することになる。画像処理部１１１は、姿勢情報ＰＮ１に基づいて、カメラ１０２が撮影した撮影画像ＩＭ１から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置１０４に表示する。

　コントローラ１０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢、または、使用者ＵＳの指の動きまたは姿勢等の状態に基づいて指示情報ＮＮ１を生成する。以下、手または指を、単に手と略記する。画像処理部１１１は、コントローラ１０５から指示情報ＮＮ１を取得する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている撮影画像ＩＭ１を変化させたり調整したりすることができる。

　画像生成部１１２は、撮影画像ＩＭ１と合成されるＣＧ(Computer Graphics)である合成画像ＣＭ１を生成する。合成画像ＣＭ１は、例えばアバター等のキャラクタの画像である。画像生成部１１２は、合成画像ＣＭ１を内蔵メモリまたは外部のメモリに保存する。画像処理部１１１は、画像生成部１１２で生成された合成画像ＣＭ１を取得し、第２通信部１１３とネットワークとを介してサーバ１０６へ出力してもよい。

　サーバ１０６は、合成画像ＣＭ１を画像表示装置１０４または使用者ＵＳと対応付けて内蔵メモリまたは外部のメモリに保存する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像生成部１１２またはサーバ１０６から合成画像ＣＭ１を取得し、画像表示装置１０４に表示されている撮影画像ＩＭ１に合成画像ＣＭ１を合成する。従って、画像表示装置１０４は、カメラ１０２が撮影した撮影画像ＩＭ１と、画像生成部１１２またはサーバ１０６から取得されて撮影画像ＩＭ１と合成された合成画像ＣＭ１とを表示することができる。

　画像生成部１１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ１を生成する。画像生成部１１２は、球面状画像ＶＳＳ１を内蔵メモリまたは外部のメモリに保存する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像生成部１１２で生成された球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。

　図２は、画像表示装置１０４が使用者ＵＳの頭部に装着された状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときの使用者ＵＳのイメージを模式的に示している。

　画像表示装置１０４が使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときに、球面状画像ＶＳＳ１は、使用者ＵＳ及び画像表示装置１０４の周囲に配置され、かつ、使用者ＵＳの手が球面状画像ＶＳＳ１に届く範囲に表示されるように設定されている。使用者ＵＳは、コントローラ１０５が装着されている手を、画像表示装置１０４に表示されている球面状画像ＶＳＳ１に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ１に接触しているように感じる。

　コントローラ１０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部１１１は、指示情報ＮＮ１に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ１に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ１に接触する感覚を実感として得ることができる。

　球面状画像ＶＳＳ１が画像表示装置１０４に表示されている状態において、使用者ＵＳが、コントローラ１０５が装着されている手を任意の方向へ移動させた場合、画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている球面状画像ＶＳＳ１と撮影画像ＩＭ１とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

　使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ１を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ１を回転させることができる。画像処理部１１１は、球面状画像ＶＳＳ１の回転に対応させて撮影画像ＩＭ１を移動させる。

　画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ１を回転させることによって球面状画像ＶＳＳ１の座標上のどの位置へ移動したかを判定することができる。画像処理部１１１は、球面状画像ＶＳＳ１の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前と回転させた後との球面状画像ＶＳＳ１の変化量を算出する。

　球面状画像ＶＳＳ１の変化量とは、球面状画像ＶＳＳ１において、Ｘ軸を回転軸とした回転量（回転角度）と、Ｙ軸を回転軸とした回転量（回転角度）と、Ｚ軸を回転軸とした回転量（回転角度）とが合成された球面状画像ＶＳＳ１の回転量（回転角度）に相当する。画像処理部１１１は、球面状画像ＶＳＳ１の変化量を補正値ＣＶ１として保存する。即ち、補正値ＣＶ１は、球面状画像ＶＳＳ１の回転方向と、天頂ＺＥの移動量または移動角度（球面状画像ＶＳＳ１の回転角度）に基づいて算出されることになる。

　画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させた後の天頂ＺＥの球面状画像ＶＳＳ１上の座標を補正値ＣＶ１として保存してもよい。画像処理部１１１は、補正値ＣＶ１を内蔵メモリまたは外部のメモリに保存してもよいし、補正値ＣＶ１を第２通信部１１３及びネットワークを介してサーバ１０６へ出力してもよい。サーバ１０６は、補正値ＣＶ１を画像表示装置１０４または使用者ＵＳと関連付けて内蔵メモリまたは外部のメモリに保存する。

　画像処理部１１１は、撮影画像ＩＭ１の水平方向を検出する。しかし、画像処理部１１１は、撮影画像ＩＭ１によってはその水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。撮影画像ＩＭ１の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、画像表示装置１０４に表示される撮影画像ＩＭ１が使用者ＵＳの重力感覚と一致しないため、使用者ＵＳは違和感を覚える。

　図３、４に示すフローチャートを用いて、第１実施形態に係る画像調整方法の一例を説明する。具体的には、撮影画像ＩＭ１及び合成画像ＣＭ１の水平を調整する方法の一例について説明する。画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている。画像表示装置１０４には撮影画像ＩＭ１及び合成画像ＣＭ１が表示されている。この時点で、合成画像ＣＭ１は表示されていなくてもよい。

　使用者ＵＳが画像表示装置１０４に表示されている撮影画像ＩＭ１が水平でないと判断した場合、図３において、使用者ＵＳがコントローラ１０５を操作することにより、画像処理部１１１は、ステップＳ１０１にて、画像表示装置１０４に設定画面を表示させる。

　使用者ＵＳがコントローラ１０５を操作して、設定画面に表示されている所定の項目（例えば水平調整の項目）を選択することにより、画像処理部１１１は、ステップＳ１０２にて、選択された項目に対応する所定の処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部１１１は、撮影画像ＩＭ１の水平を調整するための処理モード（水平調整モード）へ処理を移行させる。

　画像処理部１１１は、ステップＳ１０３にて、画像生成部１１２で生成された球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１と球面状画像ＶＳＳ１と合成画像ＣＭ１とが混合して表示される。使用者ＵＳが撮影画像ＩＭ１が水平となるように球面状画像ＶＳＳ１を回転させることにより、画像処理部１１１は、ステップＳ１０４にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている撮影画像ＩＭ１を移動させる。使用者ＵＳは撮影画像ＩＭ１が水平になるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。

　使用者ＵＳは撮影画像ＩＭ１が水平になったと判断した場合にコントローラ１０５を操作することにより、画像処理部１１１は、ステップＳ１０５にて、球面状画像ＶＳＳ１の表示を終了させ、画像表示装置１０４に設定画面を表示させる。画像表示装置１０４に表示されている撮影画像ＩＭ１を水平にすることにより、カメラ１０２の天頂と使用者ＵＳの天頂とを一致させることができる。

　使用者ＵＳがコントローラ１０５を操作して、設定画面に表示されている所定の項目（例えば終了の項目）を選択することにより、画像処理部１１１は、ステップＳ１０６にて、選択された項目に対応する所定の処理モードへ処理を移行する。終了の項目が選択された場合、画像処理部１１１は、水平調整を終了するための処理モード（終了モード）へ処理を移行させる。

　画像処理部１１１は、ステップＳ１０７にて、球面状画像ＶＳＳ１が回転する前と後との回転量（回転角度）を、球面状画像ＶＳＳ１の変化量として取得する。画像処理部１１１は、ステップＳ１０８にて、球面状画像ＶＳＳ１の変化量を補正値ＣＶ１として保存し、処理を終了する。

　図３のステップＳ１０１～Ｓ１０８において合成画像ＣＭ１が表示されていない場合、使用者ＵＳがコントローラ１０５を操作することにより、画像調整装置１１０（具体的には画像処理部１１１）は、画像生成部１１２で生成された合成画像ＣＭ１を取得し、画像表示装置１０４に表示されている撮影画像ＩＭ１に合成して表示させることができる。

　図５は、使用者ＵＳによって水平調整された撮影画像ＩＭ１の水平面ＰＨＰ１と、画像処理部１１１が画像生成部１１２から取得した合成画像ＣＭ１の水平面ＳＨＰ１との関係を模式的に示している。撮影画像ＩＭ１の水平面ＰＨＰ１と合成画像ＣＭ１の水平面ＳＨＰ１とがずれていると、使用者ＵＳは違和感を覚える。

　図４において、画像処理部１１１は、ステップＳ１１１にて、撮影画像ＩＭ１が水平調整されたか否かを判定する。画像処理部１１１は、球面状画像ＶＳＳ１が回転された履歴または補正値ＣＶ１等に基づいて、撮影画像ＩＭ１が水平調整されたか否かを判定することができる。

　ステップＳ１１１において撮影画像ＩＭ１が水平調整された（ＹＥＳ）と判定された場合、画像処理部１１１は、ステップＳ１１２にて、保存されている補正値ＣＶ１を取得する。画像処理部１１１は、ステップＳ１１３にて、補正値ＣＶ１に基づいて合成画像ＣＭ１の座標軸を回転させ、合成画像ＣＭ１の水平面ＳＨＰ１を撮影画像ＩＭ１の水平面ＰＨＰ１と一致させる。画像処理部１１１は、ステップＳ１１４にて、合成画像ＣＭ１を、補正された水平面ＳＨＰ１に基づいて演算処理し、画像調整する。

　画像処理部１１１は、ステップＳ１１５にて、画像調整された合成画像ＣＭ１を撮影画像ＩＭ１と合成して画像表示装置１０４に表示させる。ステップＳ１１１において撮影画像ＩＭ１が水平調整されていない（ＮＯ）と判定された場合、画像処理部１１１は、処理をステップＳ１１５へ移行させる。

　第１実施形態に係る画像調整システム１０１、画像調整装置１１０、及び画像調整方法では、画像表示装置１０４に球面状画像ＶＳＳ１を表示させる。第１実施形態に係る画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、撮影画像ＩＭ１の水平方向が間違って検出されたり、水平または天頂ＺＥの指定がずれたりした場合に、使用者ＵＳは、コントローラ１０５を操作して球面状画像ＶＳＳ１を回転させることにより、画像表示装置１０４に表示されている撮影画像ＩＭ１を水平になるように調整することができる。

　従って、第１実施形態に係る画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、撮影画像ＩＭ１の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者ＵＳが撮影画像ＩＭ１の水平または天頂を簡便に補正することができる。

　第１実施形態に係る画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、補正値ＣＶ１が保存されている場合、画像処理部１１１は、補正値ＣＶ１を読み出し、カメラ１０２が撮影した撮影画像ＩＭ１を補正値ＣＶ１に基づいて画像調整し、画像表示装置１０４に表示することができる。

　第１実施形態に係る画像調整システム１０１、画像調整装置１１０、及び画像調整方法では、撮影画像ＩＭ１が水平調整された場合、補正値ＣＶ１に基づいて合成画像ＣＭ１の座標軸を回転させ、合成画像ＣＭ１の水平面ＳＨＰ１を撮影画像ＩＭ１の水平面ＰＨＰ１と一致させる。第１実施形態に係る画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、撮影画像ＩＭ１と合成画像ＣＭ１とを、使用者ＵＳが違和感を覚えることなく、画像表示装置１０４に表示することができる。

　［第２実施形態］
　図１を用いて、第２実施形態に係る画像調整システム２０１の構成例を説明する。第２実施形態に係る画像調整システム２０１は、カメラ２０２と、第１通信部２０３と、画像表示装置２０４と、コントローラ２０５と、画像調整装置２１０と、サーバ２０６とを備える。画像調整装置２１０は、画像処理部２１１と、画像生成部２１２と、第２通信部２１３とを備える。

　第２実施形態のカメラ２０２、第１通信部２０３、画像表示装置２０４、コントローラ２０５、画像調整装置２１０、及びサーバ２０６は、第１実施形態のカメラ１０２、第１通信部１０３、画像表示装置１０４、コントローラ１０５、画像調整装置１１０、及びサーバ１０６に相当する。第２実施形態の画像処理部２１１、画像生成部２１２、及び第２通信部２１３は、第１実施形態の画像処理部１１１、画像生成部１１２、及び第２通信部１１３に相当する。

　画像調整装置２１０は、カメラ２０２が撮影した撮影画像ＩＭ２を、第１通信部２０３と第２通信部２１３とネットワークとを介して取得することができる。サーバ２０６がカメラ２０２が撮影した撮影画像ＩＭ２を第１通信部２０３及びネットワークを介して取得し、画像調整装置２１０がサーバ２０６から撮影画像ＩＭ２をネットワーク及び第２通信部２１３を介して取得してもよい。

　画像調整装置２１０が取得した撮影画像ＩＭ２は、画像処理部２１１へ入力される。画像処理部２１１は、撮影画像ＩＭ２を解析することにより、撮影画像ＩＭ２における水平方向を認識する。画像処理部２１１は、撮影画像ＩＭ２を解析することにより、撮影画像ＩＭ２における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。画像調整装置２１０は、撮影画像ＩＭ２の歪みを補正し、撮影画像ＩＭ２の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像表示装置２０４へ出力する。

　サーバ２０６は、カメラ２０２が撮影した撮影画像ＩＭ２の歪みを補正し、撮影画像ＩＭ２の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像調整装置２１０へ出力してもよい。画像表示装置２０４は、画像調整装置２１０またはサーバ２０６によって画像処理された撮影画像ＩＭ２を表示する。使用者ＵＳは、その頭部に画像表示装置２０４を装着することにより、画像調整装置２１０またはサーバ２０６によって画像処理された撮影画像ＩＭ２を見ることができる。

　画像表示装置２０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ２を生成する。画像処理部２１１は、画像表示装置２０４から姿勢情報ＰＮ２を取得する。即ち、画像処理部２１１は、画像表示装置２０４の姿勢に基づいて姿勢情報ＰＮ２を取得することになる。画像処理部２１１は、姿勢情報ＰＮ２に基づいて、カメラ２０２が撮影した撮影画像ＩＭ２から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置２０４に表示する。

　コントローラ２０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ２を生成する。画像処理部２１１は、コントローラ２０５から指示情報ＮＮ２を取得する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている撮影画像ＩＭ２を変化させたり調整したりすることができる。

　画像生成部２１２は、撮影画像ＩＭ２と合成されるＣＧである合成画像ＣＭ２を生成する。合成画像ＣＭ２は、例えばアバター等のキャラクタの画像である。画像生成部２１２は、合成画像ＣＭ２を内蔵メモリまたは外部のメモリに保存する。画像処理部２１１は、画像生成部２１２で生成された合成画像ＣＭ２を取得し、第２通信部２１３とネットワークとを介してサーバ２０６へ出力してもよい。サーバ２０６は、合成画像ＣＭ２を画像表示装置２０４または使用者ＵＳと対応付けて内蔵メモリまたは外部のメモリに保存する。

　画像処理部２１１は、指示情報ＮＮ２に基づいて、画像生成部２１２またはサーバ２０６から合成画像ＣＭ２を取得し、画像表示装置２０４に表示されている撮影画像ＩＭ２に合成画像ＣＭ２を合成する。従って、画像表示装置２０４は、カメラ２０２が撮影した撮影画像ＩＭ２と、画像生成部２１２またはサーバ２０６から取得されて撮影画像ＩＭ２と合成された合成画像ＣＭ２とを表示することができる。

　画像生成部２１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ２を生成する。画像生成部２１２は、球面状画像ＶＳＳ２を内蔵メモリまたは外部のメモリに保存する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像生成部２１２で生成された球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。

　第２実施形態の球面状画像ＶＳＳ２は、第１実施形態の球面状画像ＶＳＳ１に相当する。使用者ＵＳは、コントローラ２０５が装着されている手を、画像表示装置２０４に表示されている球面状画像ＶＳＳ２に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ２に接触しているように感じる。

　コントローラ２０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部２１１は、指示情報ＮＮ２に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ２に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ２に接触する感覚を実感として得ることができる。

　球面状画像ＶＳＳ２が画像表示装置２０４に表示されている状態において、使用者ＵＳが、コントローラ２０５が装着されている手を任意の方向へ移動させた場合、画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている球面状画像ＶＳＳ２と撮影画像ＩＭ２とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

　使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ２を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ２を回転させることができる。画像処理部２１１は、球面状画像ＶＳＳ２の回転に対応させて撮影画像ＩＭ２を移動させる。

　画像処理部２１１は、使用者ＵＳが球面状画像ＶＳＳ２を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ２を回転させることによって球面状画像ＶＳＳ２の座標上のどの位置へ移動したかを判定することができる。画像処理部２１１は、球面状画像ＶＳＳ２の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ２を回転させる前と回転させた後との球面状画像ＶＳＳ２の変化量を算出する。第２実施形態の球面状画像ＶＳＳ２の変化量は、第１実施形態の球面状画像ＶＳＳ１の変化量に相当する。

　画像処理部２１１は、球面状画像ＶＳＳ２の変化量を補正値ＣＶ２として保存する。第２実施形態の補正値ＣＶ２は、第１実施形態の補正値ＣＶ１に相当する。画像処理部２１１は、使用者ＵＳが球面状画像ＶＳＳ２を回転させた後の天頂ＺＥの球面状画像ＶＳＳ２上の座標を補正値ＣＶ２として保存してもよい。画像処理部２１１は、補正値ＣＶ２を内蔵メモリまたは外部のメモリに保存してもよいし、補正値ＣＶ２を第２通信部２１３及びネットワークを介してサーバ２０６へ出力してもよい。サーバ２０６は、補正値ＣＶ２を画像表示装置２０４または使用者ＵＳと関連付けて内蔵メモリまたは外部のメモリに保存する。

　画像処理部２１１は、撮影画像ＩＭ２の水平方向を検出する。しかし、画像処理部２１１は、撮影画像ＩＭ２によってはその水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。撮影画像ＩＭ２の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、画像表示装置２０４に表示される撮影画像ＩＭ２が使用者ＵＳの重力感覚と一致しないため、使用者ＵＳは違和感を覚える。

　図６Ａ、６Ｂ、７に示すフローチャートを用いて、第２実施形態に係る画像調整方法の一例を説明する。具体的には、撮影画像ＩＭ２及び合成画像ＣＭ２の水平を調整する方法の一例について説明する。画像表示装置２０４が使用者ＵＳの頭部に装着され、コントローラ２０５が使用者ＵＳの手に装着されている。画像表示装置２０４には撮影画像ＩＭ２及び合成画像ＣＭ２が表示されている。なお、合成画像ＣＭ２は表示されていなくてもよい。

　使用者ＵＳが画像表示装置２０４に表示されている撮影画像ＩＭ２が水平でないと判断した場合、図６Ａにおいて、使用者ＵＳがコントローラ２０５を操作することにより、画像処理部２１１は、ステップＳ２０１にて、画像表示装置２０４に設定画面を表示させる。

　使用者ＵＳがコントローラ２０５を操作して、設定画面に表示されている所定の項目（例えば水平調整の項目）を選択することにより、画像処理部２１１は、ステップＳ２０２にて、選択された項目に対応する所定の処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部２１１は、撮影画像ＩＭ２の水平を調整するための処理モード（水平調整モード）へ処理を移行させる。

　画像処理部２１１は、ステップＳ２０３にて、画像生成部２１２で生成された球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。画像表示装置２０４には、撮影画像ＩＭ２と球面状画像ＶＳＳ２とが混合して表示される。画像処理部２１１は、ステップＳ２０４にて、合成画像ＣＭ２が撮影画像ＩＭ２と合成されて画像表示装置２０４に表示されているか否かを判定する。

　ステップＳ２０４において合成画像ＣＭ２が撮影画像ＩＭ２と合成されて画像表示装置２０４に表示されている（ＹＥＳ）と判定された場合、画像処理部２１１は、ステップＳ２０５にて、合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ２の水平面ＰＨＰ２とを分離させる処理を実行する。図８は、合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ２の水平面ＰＨＰ２とが分離された状態を模式的に示している。

　ステップＳ２０４において合成画像ＣＭ２が撮影画像ＩＭ２と合成されて画像表示装置２０４に表示されていない（ＮＯ）と判定された場合、画像処理部２１１は、処理をステップＳ２０６へ進める。

　使用者ＵＳは、撮影画像ＩＭ２が水平となるように球面状画像ＶＳＳ２を回転させる。合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ２の水平面ＰＨＰ２とは分離しているため、球面状画像ＶＳＳ２を回転させても、合成画像ＣＭ２は回転しない。そのため、使用者ＵＳは、合成画像ＣＭ２の回転に惑わされることなく、撮影画像ＩＭ２の水平を容易に補正することができる。

　ステップＳ２０５において、画像処理部２１１は合成画像ＣＭ２を非表示にしてもよい。合成画像ＣＭ２を非表示にすることにより、合成画像ＣＭ２が邪魔にならないので、使用者ＵＳは、撮影画像ＩＭ２の水平を容易に補正することができる。

　画像処理部２１１は、ステップＳ２０６にて、球面状画像ＶＳＳ２の回転に対応させて、画像表示装置２０４に表示されている撮影画像ＩＭ２を移動させる。使用者ＵＳは撮影画像ＩＭ２が水平になるまで球面状画像ＶＳＳ２を回転させる動作を複数回行ってもよい。

　図６Ｂにおいて、使用者ＵＳは撮影画像ＩＭ２が水平になったと判断した場合にコントローラ２０５を操作することにより、画像処理部２１１は、ステップＳ２０７にて、球面状画像ＶＳＳ２の表示を終了させ、画像表示装置２０４に設定画面を表示させる。画像表示装置２０４に表示されている撮影画像ＩＭ２を水平にすることにより、カメラ２０２の天頂と使用者ＵＳの天頂とを一致させることができる。

　使用者ＵＳがコントローラ２０５を操作して、設定画面に表示されている所定の項目（例えば終了の項目）を選択することにより、画像処理部２１１は、ステップＳ２０８にて、選択された項目に対応する所定の処理モードへ処理を移行させる。終了の項目が選択された場合、画像処理部２１１は、水平調整を終了するための処理モード（水平調整終了モード）へ処理を移行させる。

　画像処理部２１１は、ステップＳ２０９にて、球面状画像ＶＳＳ２が回転する前と後との回転量（回転角度）を、球面状画像ＶＳＳ２の変化量として取得する。画像処理部２１１は、ステップＳ２１０にて、球面状画像ＶＳＳ２の変化量を補正値ＣＶ２として保存する。

　図６Ａ、６ＢのステップＳ２０１～Ｓ２１０において合成画像ＣＭ２が表示されていない場合、使用者ＵＳがコントローラ２０５を操作することにより、画像調整装置２１０（具体的には画像処理部２１１）は、画像生成部２１２で生成された合成画像ＣＭ２を取得し、画像表示装置２０４に表示させることができる。

　画像調整装置２１０（具体的には画像処理部２１１）は、カメラ２０２が撮影する撮影画像ＩＭ２を解析することにより、撮影画像ＩＭ２における水平方向を認識する。使用者ＵＳが球面状画像ＶＳＳ２を回転させて撮影画像ＩＭ２の水平を調整した後に、画像調整装置２１０が画像生成部２１２で生成された合成画像ＣＭ２を取得し、画像表示装置２０４に表示させると、合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ２の水平面ＰＨＰ２とは一致しなくなる。撮影画像ＩＭ２の水平面ＰＨＰ２と合成画像ＣＭ２の水平面ＳＨＰ２とがずれていると、使用者ＵＳは違和感を覚える。

　図７において、画像処理部２１１は、ステップＳ２１１にて、合成画像ＣＭ２が撮影画像ＩＭ２と合成されて画像表示装置２０４に表示されているか否かを判定する。合成画像ＣＭ２が撮影画像ＩＭ２と合成されて画像表示装置２０４に表示されている（ＹＥＳ）と判定された場合、画像処理部２１１は、ステップＳ２１２にて、保存されている補正値ＣＶ２を取得する。

　画像処理部２１１は、ステップＳ２１３にて、補正値ＣＶ２に基づいて合成画像ＣＭ２の座標軸を回転させ、合成画像ＣＭ２の水平面ＳＨＰ２を、使用者ＵＳによって水平調整された撮影画像ＩＭ２の水平面ＰＨＰ２と一致させる。画像処理部２１１は、ステップＳ２１４にて、合成画像ＣＭ２を、補正された水平面ＳＨＰ２に基づいて演算処理し、画像調整する。図８は、合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ２の水平面ＰＨＰ２とが一致している状態を模式的に示している。

　ステップＳ２１１において撮影画像ＩＭ２が使用者ＵＳによって水平調整されていない（ＮＯ）と判定された場合、画像処理部２１１は、処理をステップＳ２１５へ移行させる。画像処理部２１１は、ステップＳ２１５にて、画像調整された合成画像ＣＭ２を撮影画像ＩＭ２と合成して画像表示装置２０４に表示させる。使用者ＵＳは、画像表示装置２０４に表示され、互いの水平が一致している撮影画像ＩＭ２及び合成画像ＣＭ２を見ることができる。

　第２実施形態に係る画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、画像表示装置２０４に球面状画像ＶＳＳ２を表示させる。第２実施形態に係る画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、撮影画像ＩＭ２の水平方向が間違って検出されたり、水平または天頂ＺＥの指定がずれたりした場合に、使用者ＵＳは、コントローラ２０５を操作して球面状画像ＶＳＳ２を回転させることにより、画像表示装置２０４に表示されている撮影画像ＩＭ２を水平になるように調整することができる。

　従って、第２実施形態に係る画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、撮影画像ＩＭ２の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者ＵＳが撮影画像ＩＭ２の水平または天頂を簡便に補正することができる。

　第２実施形態に係る画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、補正値ＣＶ２が保存されている場合、画像処理部２１１は、補正値ＣＶ２を読み出し、カメラ２０２が撮影した撮影画像ＩＭ２を補正値ＣＶ２に基づいて画像調整し、画像表示装置２０４に表示することができる。

　第２実施形態に係る画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ２の水平面ＰＨＰ２とを分離させて、撮影画像ＩＭ２の水平を調整し、調整結果（補正値ＣＶ２）に基づいて合成画像ＣＭ２の水平を調整する。合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ２の水平面ＰＨＰ２とが分離しているため、使用者ＵＳが球面状画像ＶＳＳ２を回転させても、合成画像ＣＭ２は回転しない。そのため、使用者ＵＳは、撮影画像ＩＭ２の水平を容易に補正することができる。

　第２実施形態に係る画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、撮影画像ＩＭ２が水平調整された場合、補正値ＣＶ２に基づいて合成画像ＣＭ２の座標軸を回転させ、合成画像ＣＭ２の水平面ＳＨＰ２を撮影画像ＩＭ２の水平面ＰＨＰ２と一致させる。そのため、使用者ＵＳは、画像表示装置２０４に表示されている撮影画像ＩＭ２と合成画像ＣＭ２とを、違和感を覚えることなく見ることができる。

　［第３実施形態］
　図９を用いて、第３実施形態に係る画像調整システム３０１の構成例を説明する。第３実施形態に係る画像調整システム３０１は、カメラ３０２と、第１通信部３０３と、複数の画像表示装置３０４と、複数のコントローラ３０５と、複数の画像調整装置３１０と、サーバ３０６とを備える。画像調整装置３１０は、画像処理部３１１と、画像生成部３１２と、第２通信部３１３とを備える。

　第３実施形態のカメラ３０２、第１通信部３０３、画像表示装置３０４、コントローラ３０５、画像調整装置３１０、及びサーバ３０６は、それぞれ、第１実施形態のカメラ１０２、第１通信部１０３、画像表示装置１０４、コントローラ１０５、画像調整装置１１０、及び、サーバ１０６に相当する。第３実施形態の画像処理部３１１、画像生成部３１２、及び第２通信部３１３は、それぞれ、第１実施形態の画像処理部１１１、画像生成部１１２、及び、第２通信部１１３に相当する。

　図９では、説明をわかりやすくするために、それぞれ２つの画像表示装置３０４、コントローラ３０５、及び画像調整装置３１０を示している。画像表示装置３０４、コントローラ３０５、及び画像調整装置３１０は３つ以上であってもよい。第１の使用者ＵＳａが使用する画像表示装置３０４を第１画像表示装置３０４ａ、コントローラ３０５を第１コントローラ３０５ａ、画像調整装置３１０を第１画像調整装置３１０ａとする。第２の使用者ＵＳｂが使用する画像表示装置３０４を第２画像表示装置３０４ｂ、コントローラ３０５を第２コントローラ３０５ｂ、画像調整装置３１０を第２画像調整装置３１０ｂとする。

　第１画像調整装置３１０ａにおける画像処理部３１１を画像処理部３１１ａ、画像生成部３１２を画像生成部３１２ａ、第２通信部３１３を第２通信部３１３ａとする。第２画像調整装置３１０ｂにおける画像処理部３１１を画像処理部３１１ｂ、画像生成部３１２を画像生成部３１２ｂ、第２通信部３１３を第２通信部３１３ｂとする。

　第１画像調整装置３１０ａは、カメラ３０２が撮影した撮影画像ＩＭ３を、第１通信部３０３と第１画像調整装置３１０ａの第２通信部３１３ａとネットワークとを介して取得することができる。第２画像調整装置３１０ｂは、カメラ３０２が撮影した撮影画像ＩＭ３を、第１通信部３０３と第２画像調整装置３１０ｂの第２通信部３１３ｂとネットワークとを介して取得することができる。

　サーバ３０６は、カメラ３０２が撮影した撮影画像ＩＭ３を第１通信部３０３及びネットワークを介して取得し、第１画像調整装置３１０ａがサーバ３０６から撮影画像ＩＭ３をネットワーク及び第１画像調整装置３１０ａの第２通信部３１３ａを介して取得し、第２画像調整装置３１０ｂがサーバ３０６から撮影画像ＩＭ３をネットワーク及び第２画像調整装置３１０ｂの第２通信部３１３ｂを介して取得してもよい。

　サーバ３０６は、第１使用者ＵＳａがログイン操作を実行する、または、第１画像表示装置３０４ａが第１画像調整装置３１０ａの第２通信部３１３ａを介してネットワークに接続されることにより、第１使用者ＵＳａまたは第１画像表示装置３０４ａを特定することができる。サーバ３０６は、第２使用者ＵＳｂがログイン操作を実行する、または、第２画像表示装置３０４ｂが第２画像調整装置３１０ｂの第２通信部３１３ｂを介してネットワークに接続されることにより、第２使用者ＵＳｂまたは第２画像表示装置３０４ｂを特定することができる。

　以下、第１画像調整装置３１０ａ、第１画像表示装置３０４ａ、及び第１コントローラ３０５ａにおける処理について説明する。括弧内の符号は、第２画像調整装置３１０ｂ、第２画像表示装置３０４ｂ、及び第２コントローラ３０５ｂにおける処理を示している。

　画像調整装置３１０ａ（３１０ｂ）が取得した撮影画像ＩＭ３は、画像処理部３１１ａ（３１１ｂ）へ入力される。画像処理部３１１ａ（３１１ｂ）は、撮影画像ＩＭ３を解析することにより、撮影画像ＩＭ３における水平方向を認識する。画像処理部３１１ａ（３１１ｂ）は、撮影画像ＩＭ３を解析することにより、撮影画像ＩＭ３における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。

　画像調整装置３１０ａ（３１０ｂ）は、撮影画像ＩＭ３の歪みを補正し、撮影画像ＩＭ３の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ３を画像表示装置３０４ａ（３０４ｂ）へ出力する。

　サーバ３０６は、カメラ３０２が撮影した撮影画像ＩＭ３の歪みを補正し、撮影画像ＩＭ３の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ３を画像調整装置３１０ａ（３１０ｂ）へ出力してもよい。画像表示装置３０４ａ（３０４ｂ）は、画像調整装置３１０ａ（３１０ｂ）、またはサーバ３０６によって画像処理された撮影画像ＩＭ３を表示する。

　使用者ＵＳａ（ＵＳｂ）は、その頭部に画像表示装置３０４ａ（３０４ｂ）を装着することにより、画像調整装置３１０ａ（３１０ｂ）またはサーバ３０６によって画像処理された撮影画像ＩＭ３を見ることができる。

　画像表示装置３０４ａ（３０４ｂ）は、使用者ＵＳａ（ＵＳｂ）の頭部に装着されている状態において、使用者ＵＳａ（ＵＳｂ）が向いている方向、及び使用者ＵＳａ（ＵＳｂ）の姿勢等の状態に基づいて姿勢情報ＰＮ３ａ（ＰＮ３ｂ）を生成する。画像処理部３１１ａ（３１１ｂ）は、画像表示装置３０４ａ（３０４ｂ）から姿勢情報ＰＮ３ａ（ＰＮ３ｂ）を取得する。即ち、画像処理部３１１ａ（３１１ｂ）は、画像表示装置３０４ａ（３０４ｂ）の姿勢に基づいて姿勢情報ＰＮ３ａ（ＰＮ３ｂ）を取得することになる。

　画像処理部３１１ａ（３１１ｂ）は、姿勢情報ＰＮ３ａ（ＰＮ３ｂ）に基づいて、カメラ３０２が撮影した撮影画像ＩＭ３から、使用者ＵＳａ（ＵＳｂ）が向いている方向、及び使用者ＵＳａ（ＵＳｂ）の姿勢等の状態に対応する領域の画像を画像表示装置３０４ａ（３０４ｂ）に表示する。

　コントローラ３０５ａ（３０５ｂ）は、使用者ＵＳａ（ＵＳｂ）の手に装着されている状態において、使用者ＵＳａ（ＵＳｂ）の手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ３ａ（ＮＮ３ｂ）を生成する。画像処理部３１１ａ（３１１ｂ）は、コントローラ３０５ａ（３０５ｂ）から指示情報ＮＮ３ａ（ＮＮ３ｂ）を取得する。画像処理部３１１ａ（３１１ｂ）は、指示情報ＮＮ３ａ（ＮＮ３ｂ）に基づいて、画像表示装置３０４ａ（３０４ｂ）に表示されている撮影画像ＩＭ３を変化させたり調整したりすることができる。

　画像生成部３１２ａ（３１２ｂ）は、撮影画像ＩＭ３と合成されるＣＧである合成画像ＣＭ３ｂ（ＣＭ３ａ）を生成する。合成画像ＣＭ３ａ（ＣＭ３ｂ）は、例えばアバター等のキャラクタの画像である。第２画像生成部３１２ｂで生成される合成画像ＣＭ３ａは第１使用者ＵＳａのアバターであり、第１画像生成部３１２ａで生成される合成画像ＣＭ３ｂは第２使用者ＵＳｂのアバターである。使用者ＵＳａ（ＵＳｂ）がコントローラ３０５ａ（３０５ｂ）を操作することにより、画像生成部３１２ａ（３１２ｂ）は、使用者ＵＳｂ（ＵＳａ）のアバターである合成画像ＣＭ３ｂ（ＣＭ３ａ）を生成し、内蔵メモリまたは外部のメモリに保存する。

　画像処理部３１１ａ（３１１ｂ）は、画像生成部３１２ａ（３１２ｂ）で生成された合成画像ＣＭ３ｂ（ＣＭ３ａ）を取得し、第２通信部３１３ａ（３１３ｂ）とネットワークとを介してサーバ３０６へ出力してもよい。

　使用者ＵＳａ（ＵＳｂ）がコントローラ３０５ａ（３０５ｂ）を操作することにより、画像生成部３１２ａ（３１２ｂ）は、使用者ＵＳａ（ＵＳｂ）のアバターである合成画像ＣＭ３ａ（ＣＭ３ｂ）を生成してもよい。画像処理部３１１ａ（３１１ｂ）は、画像生成部３１２ａ（３１２ｂ）で生成された合成画像ＣＭ３ａ（ＣＭ３ｂ）を取得し、第２通信部３１３ａ（３１３ｂ）とネットワークとを介してサーバ３０６へ出力してもよい。即ち、第１使用者ＵＳａは、第２使用者ＵＳｂのアバターを設定してもよいし、自身のアバターを設定してもよい。また、第２使用者ＵＳｂは、第１使用者ＵＳａのアバターを設定してもよいし、自身のアバターを設定してもよい。

　サーバ３０６は、合成画像ＣＭ３ａ（ＣＭ３ｂ）を使用者ＵＳａ（ＵＳｂ）と対応付けて内蔵メモリまたは外部のメモリに保存する。サーバ３０６が、合成画像ＣＭ３ａ（ＣＭ３ｂ）を使用者ＵＳａ（ＵＳｂ）と対応付けて自動設定し、内蔵メモリまたは外部のメモリに保存してもよい。

　画像処理部３１１ａ（３１１ｂ）は、指示情報ＮＮ３ａ（ＮＮ３ｂ）に基づいて、画像生成部３１２ａ（３１２ｂ）またはサーバ３０６から合成画像ＣＭ３ｂ（ＣＭ３ａ）を取得し、画像表示装置３０４ａ（３０４ｂ）に表示されている撮影画像ＩＭ３に合成画像ＣＭ３ｂ（ＣＭ３ａ）を合成する。従って、画像表示装置３０４ａ（３０４ｂ）は、カメラ３０２が撮影した撮影画像ＩＭ３と、画像生成部３１２ａ（３１２ｂ）またはサーバ３０６から取得されて撮影画像ＩＭ３と合成された合成画像ＣＭ３ｂ（ＣＭ３ａ）とを表示することができる。

　画像生成部３１２ａ（３１２ｂ）は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を生成する。画像生成部３１２ａ（３１２ｂ）は、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を内蔵メモリまたは外部のメモリに保存する。画像処理部３１１ａ（３１１ｂ）は、指示情報ＮＮ３ａ（ＮＮ３ｂ）に基づいて、画像生成部３１２ａ（３１２ｂ）で生成された球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を取得し、画像表示装置３０４ａ（３０４ｂ）に表示する。

　第３実施形態の球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）は、第１実施形態の球面状画像ＶＳＳ１に相当する。使用者ＵＳａ（ＵＳｂ）は、コントローラ３０５ａ（３０５ｂ）が装着されている手を、画像表示装置３０４ａ（３０４ｂ）に表示されている球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）に対応する位置に移動させることにより、使用者ＵＳａ（ＵＳｂ）の手が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）に接触しているように感じる。

　コントローラ３０５ａ（３０５ｂ）は、使用者ＵＳａ（ＵＳｂ）の手と接触する部分にアクチュエータが配置されていてもよい。画像処理部３１１ａ（３１１ｂ）は、指示情報ＮＮ３ａ（ＮＮ３ｂ）に基づいて、使用者ＵＳａ（ＵＳｂ）の手が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳａ（ＵＳｂ）の手に圧力を加えることにより、使用者ＵＳａ（ＵＳｂ）は、その手が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）に接触する感覚を実感として得ることができる。

　球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）が画像表示装置３０４ａ（３０４ｂ）に表示されている状態において、使用者ＵＳａ（ＵＳｂ）が、コントローラ３０５ａ（３０５ｂ）が装着されている手を任意の方向へ移動させた場合、画像処理部３１１ａ（３１１ｂ）は、指示情報ＮＮ３ａ（ＮＮ３ｂ）に基づいて、画像表示装置３０４ａ（３０４ｂ）に表示されている球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）と撮影画像ＩＭ３とが、使用者ＵＳａ（ＵＳｂ）の手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

　使用者ＵＳａ（ＵＳｂ）は、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳａ（ＵＳｂ）は、その手の動きによって球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させることができる。画像処理部３１１ａ（３１１ｂ）は、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の回転に対応させて撮影画像ＩＭ３を移動させる。

　画像処理部３１１ａ（３１１ｂ）は、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させる前の天頂ＺＥが、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させることによって球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の座標上のどの位置へ移動したかを判定することができる。

　画像処理部３１１ａ（３１１ｂ）は、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させる前と回転させた後との球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の変化量を算出する。第３実施形態の球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の変化量は、第１実施形態の球面状画像ＶＳＳ１の変化量に相当する。

　画像処理部３１１ａ（３１１ｂ）は、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の変化量を補正値ＣＶ３ａ（ＣＶ３ｂ）として保存する。第３実施形態の補正値ＣＶ３ａ（ＣＶ３ｂ）は、第１実施形態の補正値ＣＶ１に相当する。画像処理部３１１ａ（３１１ｂ）は、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させた後の天頂ＺＥの球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）上の座標を補正値ＣＶ３ａ（ＣＶ３ｂ）として保存してもよい。

　画像処理部３１１ａ（３１１ｂ）は、補正値ＣＶ３ａ（ＣＶ３ｂ）を内蔵メモリまたは外部のメモリに保存してもよいし、補正値ＣＶ３ａ（ＣＶ３ｂ）を第２通信部３１３ａ（３１３ｂ）とネットワークとを介してサーバ３０６へ出力してもよい。サーバ３０６は、補正値ＣＶ３ａ（ＣＶ３ｂ）を画像表示装置３０４ａ（３０４ｂ）または使用者ＵＳａ（ＵＳｂ）と関連付けて内蔵メモリまたは外部のメモリに保存する。

　画像調整システム３０１は、使用者ＵＳａ（ＵＳｂ）が装着している画像表示装置３０４ａ（３０４ｂ）に他の使用者ＵＳｂ（ＵＳａ）のアバターである合成画像ＣＭ３ｂ（ＣＭ３ａ）を撮影画像ＩＭ３と合成して表示することができる。

　使用者ＵＳａ（ＵＳｂ）がカメラ３０２が撮影している撮影画像ＩＭ３を見たとき、使用者ＵＳａ（ＵＳｂ）は、カメラ３０２の位置からその周囲を見ているように感じる。このような場合、使用者ＵＳａ（ＵＳｂ）が見ている画像表示装置３０４ａ（３０４ｂ）には、使用者ＵＳａ（ＵＳｂ）の位置に他の使用者ＵＳｂ（ＵＳａ）のアバターである合成画像ＣＭ３ｂ（ＣＭ３ａ）が表示されているため、使用者ＵＳａ（ＵＳｂ）は違和感を覚える。複数の他の使用者ＵＳがいる場合、使用者ＵＳａの位置に複数の他の使用者ＵＳｂ，ＵＳｃ，・・・のアバターが重なって表示される。

　サーバ３０６には、複数の使用者ＵＳａ，ＵＳｂ，・・・の位置関係が予め設定されている。言い換えれば、サーバ３０６には、複数の使用者ＵＳａ，ＵＳｂ，・・・の位置関係を示す位置設定情報が保存されている。複数の使用者ＵＳａ，ＵＳｂ，・・・の位置関係は、サーバ３０６が自動設定してもよいし、複数の使用者ＵＳａ，ＵＳｂ，・・・が各自で設定してもよい。

　図１０は、第１使用者ＵＳａが第１画像表示装置３０４ａを見ているときの第１使用者ＵＳａと第２使用者ＵＳｂのアバターである合成画像ＣＭ３ｂとの位置関係の一例を示している。図１１は、第２使用者ＵＳｂが第２画像表示装置３０４ｂを見ているときの第２使用者ＵＳｂと第１使用者ＵＳａのアバターである合成画像ＣＭ３ａとの位置関係の一例を示している。

　図１０、１１の各々に示す黒点はカメラ３０２の位置を示している。図１０、１１の各々に示す矢印はカメラ３０２の移動方向を示している。即ち、図１０は、第１使用者ＵＳａがカメラ３０２の移動方向を向いている状態を示しており、図１１は、第２使用者ＵＳｂがカメラ３０２の移動方向を向いている状態を示している。従って、図１０、１１の各々では、第１使用者ＵＳａと第２使用者ＵＳｂとは同じ撮影画像ＩＭ３を見ていることになる。

　このような場合、第１使用者ＵＳａから離れた位置に合成画像ＣＭ３ｂを表示させたり、第２使用者ＵＳｂから離れた位置に合成画像ＣＭ３ａを表示させたりすると、第１使用者ＵＳａと第２使用者ＵＳｂはともに違和感を覚える。従って、合成画像ＣＭ３ｂ（ＣＭ３ａ）は使用者ＵＳａ（ＵＳｂ）（カメラ３０２）の位置から所定の範囲ＲＧ内の位置に表示させることが望ましい。

　図１０に示すように、サーバ３０６には、例えば、第１使用者ＵＳａまたは第１画像表示装置３０４ａにおいては、合成画像ＣＭ３ｂが第１使用者ＵＳａの右側に並んで配置されるように、第１使用者ＵＳａと第２使用者ＵＳｂとの位置関係が設定されている。また、図１１に示すように、サーバ３０６には、例えば、第２使用者ＵＳｂまたは第２画像表示装置３０４ｂにおいては、合成画像ＣＭ３ａが第２使用者ＵＳｂの左側に並んで配置されるように、第１使用者ＵＳａと第２使用者ＵＳｂとの位置関係が設定されている。

　即ち、図１０、１１の各々は、カメラ３０２の移動方向を第１使用者ＵＳａと第２使用者ＵＳｂの前方向としたときに、第２使用者ＵＳｂが第１使用者ＵＳａの右側に並んで配置されるように、第１使用者ＵＳａと第２使用者ＵＳｂとの位置関係が設定されている。そのため、第１使用者ＵＳａはその右側には常に第２使用者ＵＳｂが見え、第２使用者ＵＳｂはその左側には常に第１使用者ＵＳａが見えることになる。３６０度カメラであるカメラ３０２が静止している状態では、前後左右の基準がないため、第１使用者ＵＳａと第２使用者ＵＳｂとの位置関係は初期設定時に決定しておくことが望ましい。

　図１２、１３に示すフローチャートを用いて、第３実施形態に係る画像調整方法の一例を説明する。具体的には、撮影画像ＩＭ３に合成画像ＣＭ３を合成する方法の一例について説明する。以下、第１画像調整装置３１０ａ、第１画像表示装置３０４ａ、及び第１コントローラ３０５ａにおける処理について説明する。括弧内の符号は、第２画像調整装置３１０ｂ、第２画像表示装置３０４ｂ、及び第２コントローラ３０５ｂにおける処理を示している。

　画像表示装置３０４ａ（３０４ｂ）が使用者ＵＳａ（ＵＳｂ）の頭部に装着され、コントローラ３０５ａ（３０５ｂ）が使用者ＵＳａ（ＵＳｂ）の手に装着されている。画像表示装置３０４ａ（３０４ｂ）には撮影画像ＩＭ３が表示されている。

　使用者ＵＳａ（ＵＳｂ）が画像表示装置３０４ａ（３０４ｂ）に表示されている撮影画像ＩＭ３が水平でないと判断した場合、図１２において、使用者ＵＳａ（ＵＳｂ）がコントローラ３０５ａ（３０５ｂ）を操作することにより、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０１にて、画像表示装置３０４ａ（３０４ｂ）に設定画面を表示させる。

　使用者ＵＳａ（ＵＳｂ）がコントローラ３０５ａ（３０５ｂ）を操作して、設定画面に表示されている所定の項目（例えば水平調整の項目）を選択することにより、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０２にて、選択された項目に対応する所定の処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部３１１ａ（３１１ｂ）は、撮影画像ＩＭ３の水平を調整するための処理モード（水平調整モード）へ処理を移行させる。

　画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０３にて、画像生成部３１２ａ（３１２ｂ）で生成された球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を取得し、画像表示装置３０４ａ（３０４ｂ）に表示する。画像表示装置３０４ａ（３０４ｂ）には、撮影画像ＩＭ３と球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）とが混合して表示される。

　使用者ＵＳａ（ＵＳｂ）は撮影画像ＩＭ３が水平となるように球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させることにより、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０４にて、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の回転に対応させて、画像表示装置３０４ａ（３０４ｂ）に表示されている撮影画像ＩＭ３を移動させる。使用者ＵＳａ（ＵＳｂ）は撮影画像ＩＭ３が水平になるまで球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させる動作を複数回行ってもよい。

　使用者ＵＳａ（ＵＳｂ）は撮影画像ＩＭ３が水平になったと判断した場合にコントローラ３０５ａ（３０５ｂ）を操作することにより、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０５にて、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の表示を終了させ、画像表示装置３０４ａ（３０４ｂ）に設定画面を表示させる。画像表示装置３０４ａ（３０４ｂ）に表示されている撮影画像ＩＭ３を水平にすることにより、カメラ３０２の天頂と使用者ＵＳａ（ＵＳｂ）の天頂とを一致させることができる。

　使用者ＵＳａ（ＵＳｂ）がコントローラ３０５ａ（３０５ｂ）を操作して、設定画面に表示されている所定の項目（例えば終了の項目）を選択することにより、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０６にて、選択された項目に対応する所定の処理モードへ処理を移行する。終了の項目が選択された場合、画像処理部３１１ａ（３１１ｂ）は、水平調整を終了するための処理モード（終了モード）へ処理を移行させる。

　画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０７にて、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）が回転する前と後との回転量（回転角度）を、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の変化量として取得する。画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０８にて、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の変化量を補正値ＣＶ３ａ（ＣＶ３ｂ）として保存し、処理を終了する。

　図１３に示すフローチャートを用いて、第１使用者ＵＳａが見ている第１画像表示装置３０４ａに、第２使用者ＵＳｂのアバターである合成画像ＣＭ３ｂを撮影画像ＩＭ３と合成して表示する場合について説明する。なお、括弧内の符号は、第２使用者ＵＳｂが見ている第２画像表示装置３０４ｂに、第１使用者ＵＳａのアバターである合成画像ＣＭ３ａを撮影画像ＩＭ３と合成して表示する場合を示している。

　図１３において、使用者ＵＳａ（ＵＳｂ）がコントローラ３０５ａ（３０５ｂ）を操作することにより、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３１１にて、画像表示装置３０４ａ（３０４ｂ）に設定画面を表示させる。設定画面には、例えば他の使用者ＵＳのアバターを選択するためのアバター選択項目が表示される。

　使用者ＵＳａ（ＵＳｂ）は例えば他の使用者ＵＳとして使用者ＵＳｂ（ＵＳａ）を選択する。コントローラ３０５ａ（３０５ｂ）は、ステップＳ３１２にて、他の使用者ＵＳｂ（ＵＳａ）の選択内容に応じて指示情報ＮＮ３ａ（ＮＮ３ｂ）を生成し、画像処理部３１１ａ（３１１ｂ）へ出力する。

　画像処理部３１１ａ（３１１ｂ）は、ステップＳ３１３にて、指示情報ＮＮ３ａ（ＮＮ３ｂ）に基づいて、合成画像ＣＭ３ｂ（ＣＭ３ａ）を取得する。合成画像ＣＭ３ｂ（ＣＭ３ａ）がサーバ３０６に保存されている場合、画像処理部３１１ａ（３１１ｂ）は、第２通信部３１３ａ（３１３ｂ）とネットワークとを介してサーバ３０６から合成画像ＣＭ３ｂ（ＣＭ３ａ）を取得する。

　画像処理部３１１ａ（３１１ｂ）は、ステップＳ３１４にて、カメラ３０２が移動中であるか否かを判定する。ステップＳ３１４においてカメラ３０２が移動中である（ＹＥＳ）と判定された場合、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３１５にて、カメラ３０２の移動方向を認識する。画像処理部３１１ａ（３１１ｂ）は、撮影画像ＩＭ３に基づいて、カメラ３０２が移動中であるか否かを判定し、カメラ３０２の移動方向を認識することができる。

　画像処理部３１１ａ（３１１ｂ）は、ステップＳ３１６にて、カメラ３０２の移動方向に対して、合成画像ＣＭ３ｂ（ＣＭ３ａ）が例えば使用者ＵＳａ（ＵＳｂ）の右側（左側）に配置されるように、合成画像ＣＭ３ｂ（ＣＭ３ａ）を撮影画像ＩＭ３と合成して、画像表示装置３０４ａ（３０４ｂ）に表示させる。

　ステップＳ３１４においてカメラ３０２が移動中ではない（ＮＯ）と判定された場合、画像処理部３１１ａ（３１１ｂ）は、カメラ３０２が静止している状態であると判断し、ステップＳ３１６にて、初期設定時に決定された第１使用者ＵＳａと第２使用者ＵＳｂとの位置関係に基づいて、合成画像ＣＭ３ｂ（ＣＭ３ａ）を撮影画像ＩＭ３と合成して、画像表示装置３０４ａ（３０４ｂ）に表示させる。

　第３実施形態に係る画像調整システム３０１、画像調整装置３１０、及び画像調整方法では、画像表示装置３０４に球面状画像ＶＳＳ３を表示させる。第３実施形態に係る画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、撮影画像ＩＭ３の水平方向が間違って検出されたり、水平または天頂ＺＥの指定がずれたりした場合に、使用者ＵＳは、コントローラ３０５を操作して球面状画像ＶＳＳ３を回転させることにより、画像表示装置３０４に表示されている撮影画像ＩＭ３を水平になるように調整することができる。

　従って、第３実施形態に係る画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、撮影画像ＩＭ３の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者ＵＳが撮影画像ＩＭ３の水平または天頂を簡便に補正することができる。

　第３実施形態に係る画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、補正値ＣＶ３が保存されている場合、画像処理部３１１は、補正値ＣＶ３を読み出し、カメラ３０２が撮影した撮影画像ＩＭ３を補正値ＣＶ３に基づいて画像調整し、画像表示装置３０４に表示することができる。

　第３実施形態に係る画像調整システム３０１、画像調整装置３１０、及び画像調整方法では、複数の使用者ＵＳの位置関係が予め設定されている。これにより、画像表示装置３０４ａ（３０４ｂ）に表示されている撮影画像ＩＭ３に、他の使用者ＵＳｂ（ＵＳａ）のアバターである合成画像ＣＭ３ｂ（ＣＭ３ａ）を、予め設定されている位置関係に基づく位置に合成して表示することができる。

　第３実施形態に係る画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、使用者ＵＳａ（ＵＳｂ）がカメラ３０２が撮影している撮影画像ＩＭ３を見たとき、使用者ＵＳａ（ＵＳｂ）の近傍に他の使用者ＵＳｂ（ＵＳａ）のアバターである合成画像ＣＭ３ｂ（ＣＭ３ａ）が表示されるため、使用者ＵＳａ（ＵＳｂ）は、違和感を覚えることなく、他の使用者ＵＳｂ（ＵＳａ）と同じ撮影画像ＩＭ３を見ているように感じることができる。

　［第４実施形態］
　図１４を用いて、第４実施形態に係る画像調整システム４０１の構成例を説明する。第４実施形態に係る画像調整システム４０１は、複数のカメラ４０２と、複数の第１通信部４０３と、複数の画像表示装置４０４と、複数のコントローラ４０５と、複数の画像調整装置４１０と、サーバ４０６とを備える。画像調整装置４１０は、画像処理部４１１と、画像生成部４１２と、第２通信部４１３とを備える。

　第４実施形態のカメラ４０２、通信部４０３、及び画像表示装置４０４は、それぞれ、第１実施形態のカメラ１０２、第１通信部１０３、及び、画像表示装置１０４に相当する。第４実施形態のコントローラ４０５、画像調整装置４１０、及びサーバ４０６は、それぞれ、第１実施形態のコントローラ１０５、画像調整装置１１０、及び、サーバ１０６に相当する。第４実施形態の画像処理部４１１、画像生成部４１２、及び第２通信部４１３は、それぞれ、第１実施形態の画像処理部１１１、画像生成部１１２、及び、第２通信部１１３に相当する。

　図１４では、説明をわかりやすくするために、それぞれ２つのカメラ４０２、第１通信部４０３、画像表示装置４０４、コントローラ４０５、及び画像調整装置４１０を示している。カメラ４０２、第１通信部４０３、画像表示装置４０４、コントローラ４０５、及び画像調整装置４１０は３つ以上であってもよい。第１使用者ＵＳａが使用する画像表示装置４０４、コントローラ４０５、及び画像調整装置４１０を、第１画像表示装置４０４ａ、第１コントローラ４０５ａ、及び第１画像調整装置４１０ａとする。第２使用者ＵＳｂが使用する画像表示装置４０４、コントローラ４０５、及び画像調整装置４１０を、第２画像表示装置４０４ｂ、第２コントローラ４０５ｂ、及び第２画像調整装置４１０ｂとする。

　第２画像調整装置４１０ａにおける画像処理部４１１、画像生成部４１２、及び第２通信部４１３を、画像処理部４１１ａ、画像生成部４１２ａ、及び第２通信部４１３ａとする。また、画像調整装置４１０ｂにおける画像処理部４１１、画像生成部４１２、及び第２通信部４１３を、画像処理部４１１ｂ、画像生成部４１２ｂ、及び第２通信部４１３ｂとする。第１画像調整装置４１０ａは、第１画像調整装置４１０ａの第２通信部４１３ａを介してネットワークに接続されている。第２画像調整装置４１０ｂは、第２画像調整装置４１０ｂの第２通信部４１３ｂを介してネットワークに接続されている。

　２つのカメラ４０２の一方を第１カメラ４０２１とし、他方を第２カメラ４０２２とする。２つの第１通信部４０３の一方を第１通信部４０３１とし、他方を第１通信部４０３２とする。第１カメラ４０２１は、第１通信部４０３１を介してネットワークに接続され、第２カメラ４０２２は、第１通信部４０３２を介してネットワークに接続されている。第１カメラ４０２１と第２カメラ４０２２は、共通の第１通信部４０３１または第１通信部４０３２を介してネットワークに接続されていてもよい。サーバ４０６はネットワークに接続されている。

　第１カメラ４０２１と第２カメラ４０２２は、それぞれ独立して移動することができる。第１カメラ４０２１と第２カメラ４０２２はＧＰＳ機能を有している。サーバ４０６は、ネットワークと一方の第１通信部４０３１と他方の第１通信部４０３２とを介して、第１カメラ４０２１と第２カメラ４０２２の位置（現在位置）を継続して取得することができる。

　第１画像調整装置４１０ａは、サーバ４０６から第１カメラ４０２１と第２カメラ４０２２の位置を、第１画像調整装置４１０ａの第２通信部４１３ａとネットワークとを介して取得することができる。第２画像調整装置４１０ｂは、サーバ４０６から第１カメラ４０２１と第２カメラ４０２２の位置を、第２画像調整装置４１０ｂの第２通信部４１３ｂとネットワークとを介して取得することができる。

　第１画像調整装置４１０ａは、第１カメラ４０２１が撮影した撮影画像ＩＭ４１を、一方の第１通信部４０３１と第１画像調整装置４１０ａの第２通信部４１３ａとネットワークとを介して取得することができる。第２画像調整装置４１０ｂは、第１カメラ４０２１が撮影した撮影画像ＩＭ４１を、一方の第１通信部４０３１と第２画像調整装置４１０ｂの第２通信部４１３ｂとネットワークとを介して取得することができる。

　第１画像調整装置４１０ａは、第２カメラ４０２２が撮影した撮影画像ＩＭ４２を、他方の第１通信部４０３２と第１画像調整装置４１０ａの第２通信部４１３ａとネットワークとを介して取得することができる。第２画像調整装置４１０ｂは、第２カメラ４０２２が撮影した撮影画像ＩＭ４２を、他方の第１通信部４０３２と第２画像調整装置４１０ｂの第２通信部４１３ｂとネットワークとを介して取得することができる。図１４は、第１画像調整装置４１０ａが第１カメラ４０２１が撮影した撮影画像ＩＭ４１を取得し、第２画像調整装置４１０ｂが第２カメラ４０２２が撮影した撮影画像ＩＭ４２を取得する場合を示している。

　サーバ４０６は、第１カメラ４０２１が撮影した撮影画像ＩＭ４１と第２カメラ４０２２が撮影した撮影画像ＩＭ４２を一方の第１通信部４０３１と他方の第１通信部４０３２とネットワークとを介して取得してもよい。この場合、第１画像調整装置４１０ａは、サーバ４０６から第１カメラ４０２１が撮影した撮影画像ＩＭ４１と第２カメラ４０２２が撮影した撮影画像ＩＭ４２をネットワークと第１画像調整装置４１０ａの第２通信部４１３ａを介して取得する。第２画像調整装置４１０ｂは、サーバ４０６から第１カメラ４０２１が撮影した撮影画像ＩＭ４１と第２カメラ４０２２が撮影した撮影画像ＩＭ４２をネットワークと第２画像調整装置４１０ｂの第２通信部４１３ｂを介して取得する。

　サーバ４０６は、第１使用者ＵＳａがログイン操作を実行する、または、第１画像表示装置４０４ａが第２通信部４１３ａを介してネットワークに接続されることにより、第１使用者ＵＳａまたは第１画像表示装置４０４ａを特定することができる。サーバ４０６は、第２使用者ＵＳｂがログイン操作を実行する、または、第２画像表示装置４０４ｂが第２通信部４１３ｂを介してネットワークに接続されることにより、第２使用者ＵＳｂまたは第２画像表示装置４０４ｂを特定することができる。

　サーバ４０６は、どの画像表示装置にどの撮影画像が表示されているかを認識することができる。例えば、図１４に示すように、第１カメラ４０２１が撮影した撮影画像ＩＭ４１が第１画像表示装置４０４ａに表示され、第２カメラ４０２２が撮影した撮影画像ＩＭ４２が第２画像表示装置４０４ｂに表示されている場合、サーバ４０６は、第１画像表示装置４０４ａに第１カメラ４０２１が撮影した撮影画像ＩＭ４１が表示され、第２画像表示装置４０４ｂに第２カメラ４０２２が撮影した撮影画像ＩＭ４２が表示されていることを認識する。言い換えれば、サーバ４０６は、第１使用者ＵＳａが第１カメラ４０２１が撮影した撮影画像ＩＭ４１を見ていることを認識し、第２使用者ＵＳｂが第２カメラ４０２２が撮影した撮影画像ＩＭ４２を見ていることを認識することができる。

　第１画像調整装置４１０ａは、サーバ４０６から、撮影画像ＩＭ４１を撮影している第１カメラ４０２１と撮影画像ＩＭ４２を撮影している第２カメラ４０２２の現在位置、及び、第２画像調整装置４１０ｂが第２カメラ４０２２が撮影した撮影画像ＩＭ４２を取得していることを認識することができる。第２画像調整装置４１０ｂは、サーバ４０６から、撮影画像ＩＭ４１を撮影している第１カメラ４０２１と撮影画像ＩＭ４２を撮影している第２カメラ４０２２の現在位置、及び、第１画像調整装置４１０ａが第１カメラ４０２１が撮影した撮影画像ＩＭ４１を取得していることを認識することができる。

　第１画像調整装置４１０ａが取得した撮影画像ＩＭ４１（ＩＭ４２）は、画像処理部４１１ａへ入力される。画像処理部４１１ａは、撮影画像ＩＭ４１（ＩＭ４２）を解析することにより、撮影画像ＩＭ４１（ＩＭ４２）における水平方向を認識する。画像処理部４１１ａは、撮影画像ＩＭ４１（ＩＭ４２）を解析することにより、撮影画像ＩＭ４１（ＩＭ４２）における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。

　第１画像調整装置４１０ａは、撮影画像ＩＭ４１（ＩＭ４２）の歪みを補正し、撮影画像ＩＭ４１（ＩＭ４２）の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ４１（ＩＭ４２）を第１画像表示装置４０４ａへ出力する。

　第２画像調整装置４１０ｂが取得した撮影画像ＩＭ４２（ＩＭ４１）は、画像処理部４１１ｂへ入力される。画像処理部４１１ｂは、撮影画像ＩＭ４２（ＩＭ４１）を解析することにより、撮影画像ＩＭ４２（ＩＭ４１）における水平方向を認識する。画像処理部４１１ｂは、撮影画像ＩＭ４２（ＩＭ４１）を解析することにより、撮影画像ＩＭ４２（ＩＭ４１）における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。

　第２画像調整装置４１０ｂは、撮影画像ＩＭ４２（ＩＭ４１）の歪みを補正し、撮影画像ＩＭ４２（ＩＭ４１）の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ４２（ＩＭ４１）を第２画像表示装置４０４ｂへ出力する。

　サーバ４０６が第１カメラ４０２１が撮影した撮影画像ＩＭ４１と第２カメラ４０２２が撮影した撮影画像ＩＭ４２の歪みを補正し、第１カメラ４０２１が撮影した撮影画像ＩＭ４１と第２カメラ４０２２が撮影した撮影画像ＩＭ４２の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ４１と撮影画像ＩＭ４２を、第１画像調整装置４１０ａへ出力してもよいし、第２画像調整装置４１０ｂへ出力してもよい。

　第１画像表示装置４０４ａは、第１画像調整装置４１０ａまたはサーバ４０６によって画像処理された撮影画像ＩＭ４１（ＩＭ４２）を表示する。第１使用者ＵＳａは、その頭部に第１画像表示装置４０４ａを装着することにより、第１画像調整装置４１０ａまたはサーバ４０６によって画像処理された撮影画像ＩＭ４１（ＩＭ４２）を見ることができる。

　第２画像表示装置４０４ｂは、第２画像調整装置４１０ｂまたはサーバ４０６によって画像処理された撮影画像ＩＭ４２（ＩＭ４１）を表示する。第２使用者ＵＳｂは、その頭部に第２画像表示装置４０４ｂを装着することにより、第２画像調整装置４１０ｂまたはサーバ４０６によって画像処理された撮影画像ＩＭ４２（ＩＭ４１）を見ることができる。

　画像表示装置４０４ａ（４０４ｂ）は、使用者ＵＳａ（ＵＳｂ）の頭部に装着されている状態において、使用者ＵＳａ（ＵＳｂ）が向いている方向、及び使用者ＵＳａ（ＵＳｂ）の姿勢等の状態に基づいて姿勢情報ＰＮ４ａ（ＰＮ４ｂ）を生成する。画像処理部４１１ａ（４１１ｂ）は、画像表示装置４０４ａ（４０４ｂ）から姿勢情報ＰＮ４ａ（ＰＮ４ｂ）を取得する。即ち、画像処理部４１１ａ（４１１ｂ）は、画像表示装置４０４ａ（４０４ｂ）の姿勢に基づいて姿勢情報ＰＮ４ａ（ＰＮ４ｂ）を取得することになる。

　第１画像調整装置４１０ａの画像処理部４１１ａは、姿勢情報ＰＮ４ａに基づいて、第１カメラ４０２１が撮影した撮影画像ＩＭ４１または第２カメラ４０２２が撮影した撮影画像ＩＭ４２から、第１使用者ＵＳａが向いている方向、及び第１使用者ＵＳａの姿勢等の状態に対応する領域の画像を第１画像表示装置４０４ａに表示する。第２画像調整装置４１０ｂの画像処理部４１１ｂは、姿勢情報ＰＮ４ｂに基づいて、第１カメラ４０２１が撮影した撮影画像ＩＭ４１または第２カメラ４０２２が撮影した撮影画像ＩＭ４２から、第２使用者ＵＳｂが向いている方向、及び第２使用者ＵＳｂの姿勢等の状態に対応する領域の画像を第２画像表示装置４０４ｂに表示する。

　コントローラ４０５ａ（４０５ｂ）は、使用者ＵＳａ（ＵＳｂ）の手に装着されている状態において、使用者ＵＳａ（ＵＳｂ）の手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ４ａ（ＮＮ４ｂ）を生成する。画像処理部４１１ａ（４１１ｂ）は、コントローラ４０５ａ（４０５ｂ）から指示情報ＮＮ４ａ（ＮＮ４ｂ）を取得する。

　第１画像調整装置４１０ａの画像処理部４１１ａは、指示情報ＮＮ４ａに基づいて、第１画像表示装置４０４ａに表示されている撮影画像ＩＭ４１または撮影画像ＩＭ４２を変化させたり調整したりすることができる。第２画像調整装置４１０ｂの画像処理部４１１ｂは、指示情報ＮＮ４ｂに基づいて、第２画像表示装置４０４ｂに表示されている撮影画像ＩＭ４１または撮影画像ＩＭ４２を変化させたり調整したりすることができる。

　第１画像調整装置４１０ａの画像生成部４１２ａは、撮影画像ＩＭ４１（ＩＭ４２）と合成されるＣＧである合成画像ＣＭ４ｂを生成する。第２画像調整装置４１０ｂの画像生成部４１２ｂは、撮影画像ＩＭ４２（ＩＭ４１）と合成されるＣＧである合成画像ＣＭ４ａを生成する。合成画像ＣＭ４ａ（ＣＭ４ｂ）は、例えばアバター等のキャラクタの画像である。合成画像ＣＭ４ａは第１使用者ＵＳａのアバターであり、合成画像ＣＭ４ｂは第２使用者ＵＳｂのアバターである。

　第１使用者ＵＳａが第１コントローラ４０５ａを操作することにより、第１画像調整装置４１０ａの画像生成部４１２ａは、第２使用者ＵＳｂのアバターである合成画像ＣＭ４ｂを生成し、内蔵メモリまたは外部のメモリに保存する。第２使用者ＵＳｂが第２コントローラ４０５ｂを操作することにより、第２画像調整装置４１０ｂの画像生成部４１２ｂは、第１使用者ＵＳａのアバターである合成画像ＣＭ４ａを生成し、内蔵メモリまたは外部のメモリに保存する。

　画像処理部４１１ａ（４１１ｂ）は、画像生成部４１２ａ（４１２ｂ）で生成された合成画像ＣＭ４ｂ（ＣＭ４ａ）を取得し、第２通信部４１３ａ（４１３ｂ）とネットワークとを介してサーバ４０６へ出力してもよい。

　使用者ＵＳａ（ＵＳｂ）がコントローラ４０５ａ（４０５ｂ）を操作することにより、画像生成部４１２ａ（４１２ｂ）は、使用者ＵＳａ（ＵＳｂ）のアバターである合成画像ＣＭ４ａ（ＣＭ４ｂ）を生成してもよい。画像処理部４１１ａ（４１１ｂ）は、画像生成部４１２ａ（４１２ｂ）で生成された合成画像ＣＭ４ａ（ＣＭ４ｂ）を取得し、第２通信部４１３ａ（４１３ｂ）とネットワークとを介してサーバ４０６へ出力してもよい。即ち、第１使用者ＵＳａは、第２使用者ＵＳｂのアバターを設定してもよいし、自身のアバターを設定してもよい。また、第２使用者ＵＳｂは、第１使用者ＵＳａのアバターを設定してもよいし、自身のアバターを設定してもよい。

　サーバ４０６は、合成画像ＣＭ４ａ（ＣＭ４ｂ）を使用者ＵＳａ（ＵＳｂ）と対応付けて内蔵メモリまたは外部のメモリに保存する。サーバ４０６が、合成画像ＣＭ４ａ（ＣＭ４ｂ）を使用者ＵＳａ（ＵＳｂ）と対応付けて自動設定し、内蔵メモリまたは外部のメモリに保存してもよい。画像処理部４１１ａ（４１１ｂ）は、指示情報ＮＮ４ａ（ＮＮ４ｂ）に基づいて、画像生成部４１２ａ（４１２ｂ）またはサーバ３０６から合成画像ＣＭ４ｂ（ＣＭ４ａ）を取得し、画像表示装置４０４ａ（４０４ｂ）に表示することができる。

　画像生成部４１２ａ（４１２ｂ）は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を生成する。画像生成部４１２ａ（４１２ｂ）は、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を内蔵メモリまたは外部のメモリに保存する。画像処理部４１１ａ（４１１ｂ）は、指示情報ＮＮ４ａ（ＮＮ４ｂ）に基づいて、画像生成部４１２ａ（４１２ｂ）で生成された球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を取得し、画像表示装置４０４ａ（４０４ｂ）に表示する。

　第４実施形態の球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）は、第１実施形態の球面状画像ＶＳＳ１に相当する。使用者ＵＳａ（ＵＳｂ）は、コントローラ４０５ａ（４０５ｂ）が装着されている手を、画像表示装置４０４ａ（４０４ｂ）に表示されている球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）に対応する位置に移動させることにより、使用者ＵＳａ（ＵＳｂ）の手が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）に接触しているように感じる。

　コントローラ４０５ａ（４０５ｂ）は、使用者ＵＳａ（ＵＳｂ）の手と接触する部分にアクチュエータが配置されていてもよい。画像処理部４１１ａ（４１１ｂ）は、指示情報ＮＮ４ａ（ＮＮ４ｂ）に基づいて、使用者ＵＳａ（ＵＳｂ）の手が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳａ（ＵＳｂ）の手に圧力を加えることにより、使用者ＵＳａ（ＵＳｂ）は、その手が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）に接触する感覚を実感として得ることができる。

　球面状画像ＶＳＳ４ａが第１画像表示装置４０４ａに表示されている状態において、第１使用者ＵＳａが、第１コントローラ４０５ａが装着されている手を任意の方向へ移動させた場合、第１画像調整装置４１０ａの画像処理部４１１ａは、指示情報ＮＮ４ａに基づいて、第１画像表示装置４０４ａに表示されている球面状画像ＶＳＳ４ａと撮影画像ＩＭ４１または撮影画像ＩＭ４２とが、第１使用者ＵＳａの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

　球面状画像ＶＳＳ４ｂが第２画像表示装置４０４ｂに表示されている状態において、第２使用者ＵＳｂが、第２コントローラ４０５ｂが装着されている手を任意の方向へ移動させた場合、第２画像調整装置４１０ｂの画像処理部４１１ｂは、指示情報ＮＮ４ｂに基づいて、第２画像表示装置４０４ｂに表示されている球面状画像ＶＳＳ４ｂと撮影画像ＩＭ４１または撮影画像ＩＭ４２とが、第２使用者ＵＳｂの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

　使用者ＵＳａ（ＵＳｂ）は、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳａ（ＵＳｂ）は、その手の動きによって球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させることができる。画像処理部４１１ａ（４１１ｂ）は、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の回転に対応させて撮影画像ＩＭ４１（ＩＭ４２）を移動させる。

　画像処理部４１１ａ（４１１ｂ）は、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させる前の天頂ＺＥが、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させることによって球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の座標上のどの位置へ移動したかを判定することができる。

　画像処理部４１１ａ（４１１ｂ）は、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させる前と回転させた後との球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の変化量を算出する。第４実施形態の球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の変化量は、第１実施形態の球面状画像ＶＳＳ１の変化量に相当する。

　画像処理部４１１ａ（４１１ｂ）は、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の変化量を補正値ＣＶ４ａ（ＣＶ４ｂ）として保存する。第４実施形態の補正値ＣＶ４ａ（ＣＶ４ｂ）は、第１実施形態の補正値ＣＶ１に相当する。画像処理部４１１ａ（４１１ｂ）は、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させた後の天頂ＺＥの球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）上の座標を補正値ＣＶ４ａ（ＣＶ４ｂ）として保存してもよい。

　画像処理部４１１ａ（４１１ｂ）は、補正値ＣＶ４ａ（ＣＶ４ｂ）を内蔵メモリまたは外部のメモリに保存してもよいし、補正値ＣＶ４ａ（ＣＶ４ｂ）を第２通信部４１３ａ（４１３ｂ）とネットワークとを介してサーバ４０６へ出力してもよい。サーバ４０６は、補正値ＣＶ４ａ（ＣＶ４ｂ）を画像表示装置４０４ａ（４０４ｂ）または使用者ＵＳａ（ＵＳｂ）と関連付けて内蔵メモリまたは外部のメモリに保存する。

　画像調整システム４０１は、第１使用者ＵＳａが装着している第１画像表示装置４０４ａに第２使用者ＵＳｂのアバターである合成画像ＣＭ４ｂを撮影画像ＩＭ４１（ＩＭ４２）と合成して表示することができる。画像調整システム４０１は、第２使用者ＵＳｂが装着している第２画像表示装置４０４ｂに第１使用者ＵＳａのアバターである合成画像ＣＭ４ａを撮影画像ＩＭ４２（ＩＭ４１）と合成して表示することができる。

　図１５、１６に示すフローチャートを用いて、第４実施形態に係る画像調整方法の一例を説明する。具体的には、撮影画像ＩＭ４１に合成画像ＣＭ４ｂを合成する方法の一例について説明する。第１画像表示装置４０４ａが第１使用者ＵＳａの頭部に装着され、第１コントローラ４０５ａが第１使用者ＵＳａの手に装着されている。第２画像表示装置４０４ｂが第２使用者ＵＳｂの頭部に装着され、第２コントローラ４０５ｂが第２使用者ＵＳｂの手に装着されている。第１画像表示装置４０４ａには第１カメラ４０２１が撮影した撮影画像ＩＭ４１が表示され、第２画像表示装置４０４ｂには第２カメラ４０２２が撮影した撮影画像ＩＭ４２が表示されている。

　使用者ＵＳａ（ＵＳｂ）は画像表示装置４０４ａ（４０４ｂ）に表示されている撮影画像ＩＭ４１（ＩＭ４２）が水平でないと判断した場合、図１５において、使用者ＵＳａ（ＵＳｂ）がコントローラ４０５ａ（４０５ｂ）を操作することにより、画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０１にて、画像表示装置４０４ａ（４０４ｂ）に設定画面を表示させる。

　使用者ＵＳａ（ＵＳｂ）がコントローラ４０５ａ（４０５ｂ）を操作して、設定画面に表示されている所定の項目（例えば水平調整の項目）を選択することにより、画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０２にて、選択された項目に対応する所定の処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部４１１ａ（４１１ｂ）は、撮影画像ＩＭ４１（ＩＭ４２）の水平を調整するための処理モード（水平調整モード）へ処理を移行させる。

　画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０３にて、画像生成部４１２ａ（４１２ｂ）で生成された球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を取得し、画像表示装置４０４ａ（４０４ｂ）に表示する。画像表示装置４０４ａ（４０４ｂ）には、撮影画像ＩＭ４１（ＩＭ４２）と球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）とが混合して表示される。

　使用者ＵＳａ（ＵＳｂ）は撮影画像ＩＭ４１（ＩＭ４２）が水平となるように球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させることにより、画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０４にて、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の回転に対応させて、画像表示装置４０４ａ（４０４ｂ）に表示されている撮影画像ＩＭ４１（ＩＭ４２）を移動させる。使用者ＵＳａ（ＵＳｂ）は撮影画像ＩＭ４１（ＩＭ４２）が水平になるまで球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させる動作を複数回行ってもよい。

　使用者ＵＳａ（ＵＳｂ）は撮影画像ＩＭ４１（ＩＭ４２）が水平になったと判断した場合にコントローラ４０５ａ（４０５ｂ）を操作することにより、画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０５にて、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の表示を終了させ、画像表示装置４０４ａ（４０４ｂ）に設定画面を表示させる。画像表示装置４０４ａ（４０４ｂ）に表示されている撮影画像ＩＭ４１（ＩＭ４２）を水平にすることにより、カメラ４０２１（４０２２）の天頂と使用者ＵＳａ（ＵＳｂ）の天頂とを一致させることができる。

　使用者ＵＳａ（ＵＳｂ）がコントローラ４０５ａ（４０５ｂ）を操作して、設定画面に表示されている所定の項目（例えば終了の項目）を選択することにより、画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０６にて、選択された項目に対応する所定の処理モードへ処理を移行する。終了の項目が選択された場合、画像処理部４１１ａ（４１１ｂ）は、水平調整を終了するための処理モード（終了モード）へ処理を移行させる。

　画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０７にて、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）が回転する前と後との回転量（回転角度）を、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の変化量として取得する。画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０８にて、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の変化量を補正値ＣＶ４ａ（ＣＶ４ｂ）として保存し、処理を終了する。

　図１６に示すフローチャートを用いて、第１使用者ＵＳａが見ている第１画像表示装置４０４ａに、第２使用者ＵＳｂのアバターである合成画像ＣＭ４ｂを撮影画像ＩＭ４１と合成して表示する場合について説明する。図１６において、画像処理部４１１ａは、ステップＳ４１１にて、取得している撮影画像ＩＭ４１を撮影している第１カメラ４０２１を特定する。

　画像処理部４１１ａは、ステップＳ４１２にて、第１カメラ４０２１またはサーバ４０６から、第１カメラ４０２１の位置情報を取得する。第１カメラ４０２１の位置情報には、第１カメラ４０２１の現在位置、及び、第１カメラ４０２１が向いている方向または移動している方向の情報が含まれている。

　画像処理部４１１ａは、ステップＳ４１３にて、サーバ４０６から、他のカメラ（第１カメラ４０２１以外のカメラ）の情報を取得する。例えば、画像処理部４１１ａは、ステップＳ４１３にて、サーバ４０６から、第２カメラ４０２２の情報を取得する。第２カメラ４０２２の情報には、第２カメラ４０２２が撮影している撮影画像ＩＭ４２を見ている第２使用者ＵＳｂ、第２カメラ４０２２の現在位置、及び、第２カメラ４０２２が向いている方向または移動している方向の情報が含まれている。第２カメラ４０２２が向いている方向または移動している方向は、第２使用者ＵＳｂが向いている方向に相当し、第２画像表示装置４０４ｂに表示されている撮影画像ＩＭ４２に基づいて特定することができる。

　画像処理部４１１ａは、ステップＳ４１４にて、撮影画像ＩＭ４１に他のカメラ（第１カメラ４０２１以外のカメラ）が映っているか否か、言い換えれば他のカメラを撮影しているか否かを、例えば画像認識により判定する。ステップＳ４１４において撮影画像ＩＭ４１に他のカメラが映っていない（ＮＯ）と判定された場合、画像処理部４１１ａは、処理をステップＳ４１４へ戻す。

　ステップＳ４１４において撮影画像ＩＭ４１に他のカメラが映っている（ＹＥＳ）と判定された場合、画像処理部４１１ａは、ステップＳ４１５にて、ステップＳ４１３において取得した他のカメラの情報に基づいて、撮影画像ＩＭ４１に映っている他のカメラを特定する。

　図１７は、第１カメラ４０２１が地点Ａに位置し、第２カメラ４０２２が、第１カメラ４０２１の前方の地点Ｂに位置している状態を示している。図１７に示す状態では、第１カメラ４０２１の撮影画像ＩＭ４１には他のカメラである第２カメラ４０２２が映っている。画像処理部４１１ａは、ステップＳ４１３において取得した第２カメラ４０２２の情報に基づいて、第１カメラ４０２１の撮影画像ＩＭ４１に映っているカメラが第２カメラ４０２２であることを特定する。

　画像処理部４１１ａは、ステップＳ４１６にて、ステップＳ４１２において取得した第１カメラ４０２１の位置情報と、ステップＳ４１３において取得した第２カメラ４０２２の情報とに基づいて、第１カメラ４０２１に対する第２カメラ４０２２の位置、及び、第２カメラ４０２２が向いている方向または移動している方向を特定する。

　画像処理部４１１ａは、ステップＳ４１７にて、ステップＳ４１５において特定されたカメラが撮影している撮影画像ＩＭを見ている使用者ＵＳを特定する。例えば、画像処理部４１１ａは、第２カメラ４０２２が撮影している撮影画像ＩＭ４２を見ている第２使用者ＵＳｂを特定する。画像処理部４１１ａは、ステップＳ４１８にて、第２使用者ＵＳｂのアバターである合成画像ＣＭ４ｂを取得する。合成画像ＣＭ４ｂがサーバ４０６に保存されている場合、画像処理部４１１ａは、サーバ４０６から合成画像ＣＭ４ｂを取得する。

　画像処理部４１１ａは、ステップＳ４１９にて、撮影画像ＩＭ４１に映っている第２カメラ４０２２に対応する位置に合成画像ＣＭ４ｂを合成し、第１画像表示装置４０４ａに表示する。ステップＳ４０１～Ｓ４０８にて撮影画像ＩＭ４１が水平調整されている場合、画像処理部４１１ａは、合成画像ＣＭ４ｂを、撮影画像ＩＭ４１と同様に水平調整し、第１画像表示装置４０４ａに表示する。補正値ＣＶ４ａが保存されている場合、画像処理部４１１ａは、合成画像ＣＭ４ｂを、補正値ＣＶ４ａに基づいて水平調整し、第１画像表示装置４０４ａに表示する。

　画像処理部４１１ａは、第１カメラ４０２１に対する第２カメラ４０２２の位置に対応させて合成画像ＣＭ４ｂの大きさを変えてもよい。例えば、画像処理部４１１ａは、カメラ４０２２がカメラ４０２１から遠く離れたところに位置している場合には、合成画像ＣＭ４ｂの大きさが、第１カメラ４０２１と第２カメラ４０２２との距離に応じて小さくなるように合成画像ＣＭ４ｂを画像処理し、撮影画像ＩＭ４１に合成する。

　画像処理部４１１ａは、第２カメラ４０２２が向いている方向または移動している方向に対応させて合成画像ＣＭ４ｂの向きを変えてもよい。画像処理部４１１ａは、第２カメラ４０２２が向いている方向または移動している方向に対応する向きの合成画像ＣＭ４ｂを取得してもよい。

　第４実施形態に係る画像調整システム４０１、画像調整装置４１０ａ（４１０ｂ）、及び画像調整方法では、画像表示装置４０４ａ（４０４ｂ）に球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を表示させる。第４実施形態に係る画像調整システム４０１、画像調整装置４１０ａ（４１０ｂ）、及び画像調整方法によれば、撮影画像ＩＭ４１（ＩＭ４２）の水平方向が間違って検出されたり、水平または天頂ＺＥの指定がずれたりした場合に、使用者ＵＳａ（ＵＳｂ）は、コントローラ４０５ａ（４０５ｂ）を操作して球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させることにより、画像表示装置４０４ａ（４０４ｂ）に表示されている撮影画像ＩＭ４１（ＩＭ４２）を水平になるように調整することができる。

　従って、第４実施形態に係る画像調整システム４０１、画像調整装置４１０ａ（４１０ｂ）、及び画像調整方法によれば、撮影画像ＩＭ４１（ＩＭ４２）の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者ＵＳが撮影画像ＩＭ４１（ＩＭ４２）の水平または天頂を簡便に補正することができる。

　第４実施形態に係る画像調整システム４０１、画像調整装置４１０ａ（４１０ｂ）、及び画像調整方法によれば、補正値ＣＶ４ａ（ＣＶ４ｂ）が保存されている場合、画像処理部４１１ａ（４１１ｂ）は、補正値ＣＶ４ａ（ＣＶ４ｂ）を読み出し、カメラ４０２１（４０２２）が撮影した撮影画像ＩＭ４１（ＩＭ４２）を補正値ＣＶ４ａ（ＣＶ４ｂ）に基づいて画像調整し、画像表示装置４０４ａ（４０４ｂ）に表示することができる。

　第４実施形態に係る画像調整システム４０１、画像調整装置４１０ａ（４１０ｂ）、及び画像調整方法では、第１カメラ４０２１に対する第２カメラ４０２２の位置を特定し、撮影画像ＩＭにおける第２カメラ４０２２の位置に、第２カメラ４０２２が撮影している撮影画像ＩＭ４２を見ている第２使用者ＵＳｂのアバターである合成画像ＣＭ４ｂを合成する。これにより、第１使用者ＵＳａは第２使用者ＵＳｂと同じ空間を共有しているような感覚を得ることができる。

　本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

　例えば、ＣＧにより生成される仮想画像ＶＳＳは、楕円体の表面（楕円面）であってもよく、さらには使用者ＵＳの手の届く範囲であれば、任意の閉じた面（閉曲面）であればよい。即ち、使用者ＵＳが内側からその閉曲面に接触するような感覚を得て、撮影画像ＩＭの水平調整ができればよい。使用者ＵＳが仮想画像ＶＳＳを回転動作させることから、仮想画像ＶＳＳは球面または楕円面等の球面に近い球面状の形状であることが望ましい。

Claims

　カメラと、
　前記カメラが撮影した撮影画像を調整するための画像調整装置と、
　前記画像調整装置により調整された前記撮影画像を表示するための画像表示装置と、
　前記画像調整装置へ指示情報を出力するためのコントローラと
を備え、
　前記画像調整装置は、
　　球面状画像、及び、前記撮影画像と合成される合成画像を生成するための画像生成部と、
　　前記指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成するための画像処理部と
を備える
画像調整システム。
　前記カメラは、３６０度の範囲を撮影する全方位カメラであり、
　前記画像表示装置は、使用者の頭部に装着可能なヘッドマウントディスプレイであり、
　前記コントローラは、前記使用者の手に装着可能なグローブ型コントローラであり、
　前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である
請求項１に記載の画像調整システム。
　前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する
請求項２に記載の画像調整システム。
　前記画像処理部は、前記球面状画像が回転する前と後との変化量を取得し、前記変化量に基づいて前記撮影画像及び前記合成画像を調整する
請求項３に記載の画像調整システム。
　前記画像処理部は、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像及び前記合成画像の水平を調整する
請求項１～４のいずれか１項に記載の画像調整システム。
　球面状画像、及び、カメラにより撮影されて画像表示装置に表示されている撮影画像と合成される合成画像を生成するための画像生成部と、
　コントローラから取得した指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記画像表示装置に表示されている前記撮影画像を、前記球面状画像の回転に対応させて調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成するための画像処理部と
を備える画像調整装置。
　画像処理部が、コントローラから指示情報を取得し、
　前記画像処理部が、前記指示情報に基づいて、画像生成部で生成された球面状画像を取得し、
　画像表示装置が、前記球面状画像を表示し、
　前記画像処理部が、前記指示情報に基づいて前記球面状画像を回転させ、
　前記画像処理部が、カメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、
　前記画像処理部が、前記画像生成部で生成され前記画像表示装置に表示されている前記撮影画像と合成される合成画像を取得し、
　前記画像処理部が、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成する
ことを含む画像調整方法。
　カメラと、
　前記カメラが撮影した撮影画像を調整するための画像調整装置と、
　前記画像調整装置により調整された前記撮影画像を表示するための画像表示装置と、
　前記画像調整装置へ指示情報を出力するためのコントローラと
を備え、
　前記画像調整装置は、
　　球面状画像、及び、前記撮影画像と合成される合成画像を生成するための画像生成部と、
　　前記指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記撮影画像の水平面と前記合成画像の水平面とを分離させ、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成するための画像処理部と
を備える
画像調整システム。
　前記カメラは、３６０度の範囲を撮影する全方位カメラであり、
　前記画像表示装置は、使用者の頭部に装着可能なヘッドマウントディスプレイであり、
　前記コントローラは、前記使用者の手に装着可能なグローブ型コントローラであり、
　前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である
請求項８に記載の画像調整システム。
　前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する
請求項９に記載の画像調整システム。
　前記画像処理部は、前記球面状画像が回転する前と後との変化量を取得し、前記変化量に基づいて前記撮影画像を調整する
請求項１０に記載の画像調整システム。
　前記画像処理部は、前記変化量に基づいて前記合成画像の水平面と前記撮影画像の水平面とを一致させることにより、前記合成画像を調整する
請求項１１に記載の画像調整システム。
　球面状画像、及び、カメラにより撮影されて画像表示装置に表示されている撮影画像と合成される合成画像を生成するための画像生成部と、
　コントローラから取得した指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記画像表示装置に表示されている前記前記撮影画像の水平面と前記合成画像の水平面とを分離させ、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記撮影画像を調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成するための画像処理部と
を備える画像調整装置。
　画像処理部が、カメラにより撮影された撮影画像を画像表示装置に表示し、
　前記画像処理部が、画像生成部で生成された合成画像を取得して前記画像表示装置に表示し、
　前記画像処理部が、コントローラから指示情報を取得し、
　前記画像処理部が、前記指示情報に基づいて、前記画像生成部で生成された球面状画像を取得して前記画像表示装置に表示し、
　前記画像処理部が、前記撮影画像の水平面と前記合成画像の水平面とを分離させ、
　前記画像処理部が、前記指示情報に基づいて前記球面状画像を回転させ、
　前記画像処理部が、前記撮影画像を、前記球面状画像の回転に対応させて調整し、
　前記画像処理部が、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成する
ことを含む画像調整方法。
　カメラと、
　前記カメラが撮影した撮影画像を調整するための画像調整装置と、
　複数の使用者に対応し、前記画像調整装置により調整された前記撮影画像を表示するための複数の画像表示装置と、
　前記複数の使用者に対応し、前記複数の画像調整装置へ指示情報を出力するための複数のコントローラと、
　前記複数の使用者のうちの第１の使用者、または、前記複数の画像表示装置のうちの第１の画像表示装置を特定するためのサーバと
を備え、
　各々の前記複数の画像調整装置は、
　　球面状画像、及び、前記撮影画像と合成される合成画像を生成するための画像生成部と、
　　前記指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像に対応させて、かつ、前記複数の使用者の互いの位置関係を示す位置設定情報に基づいて前記合成画像を調整し、調整された前記合成画像を前記撮影画像と合成するための画像処理部と
を備える
画像調整システム。
　前記カメラは、３６０度の範囲を撮影する全方位カメラであり、
　前記画像表示装置は、使用者の頭部に装着可能なヘッドマウントディスプレイであり、
　前記コントローラは、前記使用者の手に装着可能なグローブ型コントローラであり、
　前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である
請求項１５に記載の画像調整システム。
　前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する
請求項１６に記載の画像調整システム。
　前記画像処理部は、前記複数の使用者のうちの前記第１の使用者以外の第２の使用者に対応する前記合成画像を前記位置設定情報に基づいて調整し、調整された前記合成画像を前記撮影画像と合成して前記第１の画像表示装置に表示する
請求項１５～１７のいずれか１項に記載の画像調整システム。
　球面状画像、及び、カメラにより撮影されて画像表示装置に表示されている撮影画像と合成される合成画像を生成するための画像生成部と、
　コントローラから取得した指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記画像表示装置に表示されている前記撮影画像を、前記球面状画像の回転に対応させて調整し、調整された前記撮影画像に対応させて、かつ、複数の使用者の互いの位置関係を示す位置設定情報に基づいて前記合成画像を調整し、調整された前記合成画像を前記撮影画像と合成するための画像処理部と
を備える画像調整装置。
　サーバが、複数の使用者のうちの第１の使用者、または、前記第１の使用者が使用する画像表示装置を特定し、
　画像処理部が、コントローラから指示情報を取得し、
　前記画像処理部が、前記指示情報に基づいて、画像生成部で生成された球面状画像を取得し、
　画像表示装置が、前記球面状画像を表示し、
　前記画像処理部が、前記指示情報に基づいて前記球面状画像を回転させ、
　前記画像処理部が、カメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、
　前記画像処理部が、前記画像生成部で生成され前記画像表示装置に表示されている前記撮影画像と合成される合成画像を取得し、
　前記画像処理部が、調整された前記撮影画像に対応させて、かつ、前記複数の使用者の互いの位置関係を示す位置設定情報に基づいて前記合成画像を調整し、調整された前記合成画像を前記撮影画像と合成する
ことを含む画像調整方法。
　複数のカメラと、
　前記複数のカメラのうちの第１のカメラが撮影した撮影画像を調整するための画像調整装置と、
　前記画像調整装置により調整された前記撮影画像を表示するための画像表示装置と、
　前記画像調整装置へ指示情報を出力するためのコントローラと
を備え、
　前記画像調整装置は、
　　球面状画像、及び、前記撮影画像と合成される合成画像を生成するための画像生成部と、
　　前記指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像に対応させて前記合成画像を調整し、前記撮影画像に前記複数のカメラのうちの第２のカメラが映っている場合には、前記第１のカメラの位置情報と前記第２のカメラの位置情報とに基づいて、調整された前記合成画像を前記撮影画像の前記第２のカメラが映っている位置に対応させて合成するための画像処理部と
を備える
画像調整システム。
　前記カメラは、３６０度の範囲を撮影する全方位カメラであり、
　前記画像表示装置は、使用者の頭部に装着可能なヘッドマウントディスプレイであり、
　前記コントローラは、前記使用者の手に装着可能なグローブ型コントローラであり、
　前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である
請求項２１に記載の画像調整システム。
　前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する
請求項２２に記載の画像調整システム。
　球面状画像、及び、カメラにより撮影されて画像表示装置に表示されている撮影画像と合成される合成画像を生成するための画像生成部と、
　コントローラから取得した指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、複数のカメラのうちの第１のカメラにより撮影されて前記画像表示装置に表示されている前記撮影画像を、前記球面状画像の回転に対応させて調整し、調整された前記撮影画像に対応させて前記合成画像を調整し、前記撮影画像に前記複数のカメラのうちの第２のカメラが映っている場合には、前記第１のカメラの位置情報と前記第２のカメラの位置情報とに基づいて、調整された前記合成画像を前記撮影画像の前記第１のカメラが映っている位置に対応させて合成するための画像処理部と
を備える画像調整装置。
　画像処理部が、コントローラから指示情報を取得し、
　前記画像処理部が、前記指示情報に基づいて、画像生成部で生成された球面状画像を取得し、
　画像表示装置が、前記球面状画像を表示し、
　前記画像処理部が、前記指示情報に基づいて前記球面状画像を回転させ、
　前記画像処理部が、複数のカメラのうちの第１のカメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、
　前記画像処理部が、前記画像生成部で生成され前記画像表示装置に表示されている前記撮影画像と合成される合成画像を取得し、
　前記画像処理部が、調整された前記撮影画像に対応させて前記合成画像を調整し、
　前記撮影画像に前記複数のカメラのうちの第２のカメラが映っている場合には、前記画像処理部が、前記第１のカメラの位置情報と前記第２のカメラの位置情報とに基づいて、調整された前記合成画像を前記撮影画像の前記第２のカメラが映っている位置に対応させて合成する
ことを含む画像調整方法。