[第1実施形態]
図1を用いて、第1実施形態の画像調整システムの構成例を説明する。画像調整システム101は、カメラ102と、姿勢制御装置120と、通信部103と、画像表示装置104と、コントローラ105と、画像調整装置110と、サーバ106とを備える。画像調整装置110は、画像処理部111と、画像生成部112と、通信部113とを有する。
カメラ102は、360度の範囲を撮影できる全方位カメラ(360度カメラ)である。カメラ102は、右目用画像と左目用画像とを撮影できるステレオカメラにより構成された全方位カメラであってもよい。通信部103と通信部113とはネットワークを介して接続されている。
画像調整装置110は、カメラ102が360度の範囲を撮影した撮影画像IM1を、通信部103及び113とネットワークとを介して取得することができる。カメラ102がステレオカメラにより構成された全方位カメラである場合、画像調整装置110は、カメラ102が360度の範囲を撮影した右目用画像IMR1及び左目用画像IML1を撮影画像IM1として、通信部103及び113とネットワークとを介して取得することができる。
画像調整装置110としてコンピュータ機器を用いてもよい。画像処理部111及び画像生成部112としてCPUを用いてもよい。画像生成部112及び通信部113は、画像調整装置110の外部に設けられていてもよい。
サーバ106は、ネットワークと通信部103とを介してカメラ102と接続し、ネットワークと通信部113とを介して画像調整装置110と接続する。サーバ106がカメラ102から撮影画像IM1を通信部103及びネットワークを介して取得し、画像調整装置110がサーバ106から撮影画像IM1をネットワーク及び通信部113を介して取得してもよい。
画像調整装置110が取得した撮影画像IM1は、画像処理部111へ入力される。画像調整装置110(具体的には画像処理部111)は、手振れ補正機能を有する。画像調整装置110は、撮影画像IM1の歪み及び手振れを補正する等の画像処理を実行し、画像処理された撮影画像IM1を画像表示装置104へ出力する。画像表示装置104は、例えばヘッドマウントディスプレイである。コントローラ105は、例えばVR等に用いられるグローブ型コントローラである。
姿勢制御装置120は、カメラ102の姿勢を制御する。姿勢制御装置120は、カメラ102が向いている方向、及びカメラ102が向きを変更したときの方向とその角度を示すカメラ姿勢情報CP1を生成してもよい。画像処理部111は、通信部113及び103とネットワークとを介して、姿勢制御装置120からカメラ姿勢情報CP1を取得することができる。サーバ106が姿勢制御装置120からカメラ姿勢情報CP1を取得し、画像処理部111がサーバ106からカメラ姿勢情報CP1を取得してもよい。
図2は、画像表示装置104が使用者USの頭部に装着され、コントローラ105が使用者USの手に装着されている状態を模式的に示している。図2に示す符号ZEは天頂を示している。カメラ102の天頂と使用者USの天頂とは一致していることが望ましい。使用者USは、その頭部に画像表示装置104を装着することにより、画像調整装置110によって画像処理された撮影画像IM1を見ることができる。
カメラ102がステレオカメラにより構成された全方位カメラである場合、画像表示装置104が使用者USの頭部に装着されている状態で、画像調整装置110が使用者USの右目に対応する領域に右目用画像IMR1を表示し、使用者USの左目に対応する領域に左目用画像IML1を表示することにより、使用者USは、撮影画像IM1を立体画像として見ることができる。
サーバ106がカメラ102から取得した撮影画像IM1の歪みを補正し、撮影画像IM1の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM1を画像調整装置110へ出力してもよい。使用者USは、その頭部に画像表示装置104を装着することにより、画像調整装置110またはサーバ106によって画像処理された撮影画像IM1を見ることができる。
画像表示装置104は、使用者USの頭部に装着されている状態において、使用者USが向いている方向、及び使用者USの姿勢等の状態に基づいて使用者姿勢情報PN1を生成する。画像処理部111は、画像表示装置104から使用者姿勢情報PN1を取得する。即ち、画像処理部111は、画像表示装置104の姿勢に基づいて使用者姿勢情報PN1を取得することになる。画像処理部111は、使用者姿勢情報PN1に基づいて、撮影画像IM1から、使用者USが向いている方向、及び使用者USの姿勢等の状態に対応する領域の画像を画像表示装置104に表示する。
コントローラ105は、使用者USの手に装着されている状態において、使用者USの手の動きまたは姿勢、または、使用者USの指の動きまたは姿勢等の状態に基づいて指示情報NN1を生成する。以下、手または指を、単に手と略記する。画像処理部111は、コントローラ105から指示情報NN1を取得する。画像処理部111は、指示情報NN1に基づいて、画像表示装置104に表示されている撮影画像IM1を変化させたり調整したりすることができる。
画像生成部112は、CG(Computer Graphics)である球面により構成された仮想画像である球面状画像VSS1を生成し、内蔵メモリまたは外部のメモリに保存する。画像処理部111は、指示情報NN1に基づいて、画像生成部112から球面状画像VSS1を取得し、画像表示装置104に表示する。
図2は、画像表示装置104が使用者USの頭部に装着された状態において、使用者USが画像表示装置104に表示されている球面状画像VSS1を見たときの使用者USのイメージを模式的に示している。
画像表示装置104が使用者USの頭部に装着されている状態において、使用者USが画像表示装置104に表示されている球面状画像VSS1を見たときに、球面状画像VSS1は、使用者US及び画像表示装置104の周囲に配置され、かつ、使用者USの手が球面状画像VSS1に届く範囲に表示されるように設定されている。使用者USは、コントローラ105が装着されている手を、画像表示装置104に表示されている球面状画像VSS1に対応する位置に移動させることにより、使用者USの手が球面状画像VSS1に接触しているように感じる。
コントローラ105は、使用者USの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部111は、指示情報NN1に基づいて、使用者USの手が球面状画像VSS1に対応する位置に移動したと判定した場合、アクチュエータを作動させる。アクチュエータが使用者USの手に圧力を加えることにより、使用者USは、その手が球面状画像VSS1に接触する感覚を実感として得ることができる。
球面状画像VSS1が画像表示装置104に表示されている状態において、使用者USが、コントローラ105が装着されている手を任意の方向へ移動させた場合、画像処理部111は、指示情報NN1に基づいて、画像表示装置104に表示されている球面状画像VSS1と撮影画像IM1とが、使用者USの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
使用者USは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像VSS1を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者USは、その手の動きによって球面状画像VSS1を回転させることができる。画像処理部111は、球面状画像VSS1の回転に対応させて撮影画像IM1を移動させる。使用者USは、球面状画像VSS1を回転させることにより、画像表示装置104に表示されている撮影画像IM1を水平にすることができる。
画像表示装置104に右目用画像IMR1及び左目用画像IML1が表示されている場合、使用者USは、球面状画像VSS1を例えば上方向または下方向へ回転させることにより、右目用画像IMR1と左目用画像IML1との上下方向(垂直方向)のずれを補正することができる。使用者USは、球面状画像VSS1を例えば右方向または左方向へ回転させることにより、右目用画像IMR1と左目用画像IML1との視差を補正することができる。使用者USは、球面状画像VSS1を任意の方向へ回転させることにより、右目用画像IMR1と左目用画像IML1との傾きのずれを補正することができる。
画像処理部111は、使用者USが球面状画像VSS1を回転させる前の天頂ZEが、使用者USが球面状画像VSS1を回転させることによって球面状画像VSS1の座標上のどの位置へ移動したかを判定することができる。画像処理部111は、球面状画像VSS1の座標上における天頂ZEの移動方向及び移動先の位置に基づいて、使用者USが球面状画像VSS1を回転させる前と回転させた後との球面状画像VSS1の変化量を算出する。
球面状画像VSS1の変化量とは、球面状画像VSS1において、X軸を回転軸とした回転量(回転角度)と、Y軸を回転軸とした回転量(回転角度)と、Z軸を回転軸とした回転量(回転角度)とが合成された球面状画像VSS1の回転量(回転角度)に相当する。画像処理部111は、球面状画像VSS1の変化量を補正値CV1として保存する。即ち、補正値CV1は、球面状画像VSS1の回転方向と、天頂ZEの移動量または移動角度(球面状画像VSS1の回転角度)に基づいて算出されることになる。
画像処理部111は、使用者USが球面状画像VSS1を回転させた後の天頂ZEの球面状画像VSS1上の座標を補正値CV1として保存してもよい。画像処理部111は、補正値CV1を内蔵メモリまたは外部のメモリに保存する。画像処理部111が補正値CV1を通信部113及びネットワークを介してサーバ106へ出力し、サーバ106が補正値CV1を内蔵メモリまたは外部のメモリに保存してもよい。画像処理部111は、サーバ106に保存されている補正値CV1をネットワーク及び通信部113を介して取得することができる。
図3に示すフローチャートを用いて、第1実施形態の画像調整方法の一例を説明する。具体的には、カメラ102の進行方向の変更に応じて使用者USが向いている方向を速やかに変更させるため方法の一例について説明する。画像表示装置104が使用者USの頭部に装着され、コントローラ105が使用者USの手に装着されている。画像表示装置104には撮影画像IM1と球面状画像VSS1とが表示されている。
使用者USが球面状画像VSS1を回転させることにより、コントローラ105は、ステップS101にて、操作内容に対応する指示情報NN1を生成し、画像処理部111へ出力する。画像処理部111は、ステップS102にて、指示情報NN1に基づいて、球面状画像VSS1の回転に対応させて、画像表示装置104に表示されている撮影画像IM1を移動させる。画像処理部111またはサーバ106に補正値CV1が保存されている場合、画像処理部111は、ステップS102にて、補正値CV1に基づいて、画像表示装置104に表示されている撮影画像IM1を移動させてもよい。
これにより、画像調整装置110は、撮影画像IM1が水平になるように撮影画像IM1を調整することができる。撮影画像IM1が水平になるように、姿勢制御装置120がカメラ102の姿勢を制御してもよい。
画像表示装置104に右目用画像IMR1及び左目用画像IML1が表示されている場合、使用者USが球面状画像VSS1を回転させることにより、画像調整装置110は、右目用画像IMR1と左目用画像IML1との上下方向のずれ、右目用画像IMR1と左目用画像IML1との視差、及び、右目用画像IMR1と左目用画像IML1との傾きのずれの少なくともいずれかを補正する。姿勢制御装置120がカメラ102の姿勢を制御することにより、右目用画像IMR1と左目用画像IML1との上下方向のずれを補正してもよい。
画像処理部111またはサーバ106に補正値CV1が保存されている場合、画像処理部111は、補正値CV1に基づいて、画像表示装置104に表示されている撮影画像IM1における右目用画像IMR1または左目用画像IML1を移動させてもよい。これにより、画像調整装置110は、右目用画像IMR1と左目用画像IML1とのずれ、または視差が補正されるように撮影画像IM1を調整することができる。
撮影画像IM1が水平になるように調整されている状態、または、右目用画像IMR1と左目用画像IML1とのずれ、または視差が補正されている状態において、画像処理部111は、ステップS103にて、撮影画像IM1を手振れ補正する。
画像調整装置110(具体的には画像処理部111)は、撮影画像IM1が変更される方向とその角度を常に監視している。画像調整装置110は、カメラ102が撮影した撮影画像IM1から撮影画像IM1の方向とその角度を検出してもよいし、姿勢制御装置120から取得したカメラ姿勢情報CP1に基づいて、撮影画像IM1の方向とその角度を検出してもよい。
画像処理部111は、ステップS104にて、撮影画像IM1が変更される角度θaが所定の角度α以上か否かを判定する。言い換えれば、撮影画像IM1が所定の角度α以上に変更されたか否かを判定する。所定の角度αは例えば60度である。
角度θaが所定の角度α以上である(θa≧α)と判定された場合(YES)、即ち、撮影画像IM1が所定の角度α以上に変更されたと判定された場合、画像処理部111は、ステップS105にて、カメラ102の進行方向が変更されたと判定し、変更された方向を検出する。
角度θaが所定の角度α以上ではない(θa<α)と判定された場合(NO)、即ち、撮影画像IM1が所定の角度α以上に変更されていないと判定された場合、画像処理部111は、カメラ102の進行方向が変更されていないと判定し、処理をステップS104へ戻す。
画像処理部111は、ステップS106にて、使用者姿勢情報PN1に基づいて、使用者USが向いている方向を検出する。画像生成部112は矢印画像ARを生成する。矢印画像ARは、カメラ102の進行方向が変更された方向を示す画像(CG)である。画像生成部112は例えば右方向を示す右矢印画像ARRと、左方向を示す左矢印画像ARLとを生成する。画像処理部111は、ステップS107にて、画像生成部112から矢印画像ARを取得し、画像表示装置104に表示する。画像表示装置104には、撮影画像IM1と矢印画像ARとが混合して表示される。
画像処理部111は、使用者USが向いている方向に対してカメラ102の進行方向が右方向へ変更されたと判定した場合、画像生成部112から右矢印画像ARRを取得し、画像表示装置104に表示する。画像処理部111は、使用者USが向いている方向に対してカメラ102の進行方向が左方向へ変更されたと判定した場合、画像生成部112から左矢印画像ARLを取得し、画像表示装置104に表示する。
画像処理部111は、ステップS108にて、使用者USが向いている方向に対して、画像表示装置104に表示されている撮影画像IM1を、カメラ102の進行方向が変更された方向とは逆方向へ変更された角度だけ移動させてもよい。
第1実施形態の画像調整システム101、画像調整装置110、及び画像調整方法では、撮影画像IM1が手振れ補正されている状態において、カメラ102の進行方向が変更されたか否かを判定し、進行方向が変更されたと判定された場合に、カメラ102の進行方向が変更された方向を示す画像(例えば矢印画像AR)を表示する。これにより、カメラ102の進行方向の変更に応じて使用者USが向いている方向を速やかに変更させることができる。
第1実施形態の画像調整システム101、画像調整装置110、及び画像調整方法では、撮影画像IM1が手振れ補正されている状態において、カメラ102の進行方向が変更されたと判定された場合に、画像表示装置104に表示されている撮影画像IM1を、カメラ102の進行方向が変更された方向とは逆方向へ変更された角度だけ移動させる。これにより、画像表示装置104に表示されている画像を、カメラ102の進行方向が変更された方向に対応させて速やかに変更させることができる。
[第2実施形態]
図1を用いて、第2実施形態の画像調整システムの構成例を説明する。画像調整システム201は、カメラ202と、姿勢制御装置220と、通信部203と、画像表示装置204と、コントローラ205と、画像調整装置210と、サーバ206とを備える。画像調整装置210は、画像処理部211と、画像生成部212と、通信部213とを有する。
カメラ202、姿勢制御装置220、通信部203、画像表示装置204、コントローラ205、画像調整装置210、及びサーバ206は、それぞれ、第1実施形態の姿勢制御装置120、通信部103、画像表示装置104、コントローラ105、画像調整装置110、及びサーバ106に対応する。画像処理部211、画像生成部212、及び通信部213は、それぞれ、第1実施形態の画像処理部111、画像生成部112、及び通信部113に対応する。
画像調整装置210は、カメラ202が360度の範囲を撮影した撮影画像IM2を、通信部203及び213とネットワークとを介して取得することができる。カメラ202がステレオカメラにより構成された全方位カメラである場合、画像調整装置210は、カメラ202が360度の範囲を撮影した右目用画像IMR2及び左目用画像IML2を撮影画像IM2として、通信部203及び213とネットワークとを介して取得することができる。
画像調整装置210が取得した撮影画像IM2は、画像処理部211へ入力される。画像調整装置210(具体的には画像処理部211)は、手振れ補正機能を有する。画像調整装置210は、撮影画像IM2の歪み及び手振れを補正する等の画像処理を実行し、画像処理された撮影画像IM2を画像表示装置204へ出力する。
姿勢制御装置220は、カメラ202の姿勢を制御する。姿勢制御装置220は、カメラ202が向いている方向、及びカメラ202が向きを変更したときの方向とその角度を示すカメラ姿勢情報CP2を生成してもよい。画像処理部211は、通信部213及び203とネットワークとを介して、姿勢制御装置220からカメラ姿勢情報CP2を取得することができる。サーバ206が姿勢制御装置220からカメラ姿勢情報CP2を取得し、画像処理部211がサーバ206からカメラ姿勢情報CP2を取得してもよい。
サーバ206がカメラ202から取得した撮影画像IM2の歪みを補正し、撮影画像IM2の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像IM2を画像調整装置210へ出力してもよい。使用者USは、その頭部に画像表示装置204を装着することにより、画像調整装置210またはサーバ206によって画像処理された撮影画像IM1を見ることができる。
画像表示装置204は、使用者USの頭部に装着されている状態において、使用者USが向いている方向、及び使用者USの姿勢等の状態に基づいて使用者姿勢情報PN2を生成する。画像処理部211は、画像表示装置204から使用者姿勢情報PN2を取得する。即ち、画像処理部211は、画像表示装置204の姿勢に基づいて使用者姿勢情報PN2を取得することになる。画像処理部211は、使用者姿勢情報PN2に基づいて、撮影画像IM2から、使用者USが向いている方向、及び使用者USの姿勢等の状態に対応する領域の画像を画像表示装置204に表示する。
コントローラ205は、使用者USの手に装着されている状態において、使用者USの手の動きまたは姿勢等の状態に基づいて指示情報NN2を生成する。画像処理部211は、コントローラ205から指示情報NN2を取得する。画像処理部211は、指示情報NN2に基づいて、画像表示装置204に表示されている撮影画像IM2を変化させたり調整したりすることができる。
画像生成部212は、CGである球面により構成された仮想画像である球面状画像VSS2を生成し、内蔵メモリまたは外部のメモリに保存する。画像処理部211は、指示情報NN2に基づいて、画像生成部212から球面状画像VSS2を取得し、画像表示装置204に表示する。
図2は、画像表示装置204が使用者USの頭部に装着された状態において、使用者USが画像表示装置204に表示されている球面状画像VSS2を見たときの使用者USのイメージを模式的に示している。
画像表示装置204が使用者USの頭部に装着されている状態において、使用者USが画像表示装置204に表示されている球面状画像VSS2を見たときに、球面状画像VSS2は、使用者US及び画像表示装置204の周囲に配置され、かつ、使用者USの手が球面状画像VSS2に届く範囲に表示されるように設定されている。使用者USは、コントローラ205が装着されている手を、画像表示装置204に表示されている球面状画像VSS2に対応する位置に移動させることにより、使用者USの手が球面状画像VSS2に接触しているように感じる。
コントローラ205は、使用者USの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部211は、指示情報NN2に基づいて、使用者USの手が球面状画像VSS2に対応する位置に移動したと判定した場合、アクチュエータを作動させる。アクチュエータが使用者USの手に圧力を加えることにより、使用者USは、その手が球面状画像VSS2に接触する感覚を実感として得ることができる。
球面状画像VSS2が画像表示装置204に表示されている状態において、使用者USが、コントローラ205が装着されている手を任意の方向へ移動させた場合、画像処理部211は、指示情報NN2に基づいて、画像表示装置204に表示されている球面状画像VSS2と撮影画像IM2とが、使用者USの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
使用者USは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像VSS2を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者USは、その手の動きによって球面状画像VSS2を回転させることができる。画像処理部211は、球面状画像VSS2の回転に対応させて撮影画像IM2を移動させる。使用者USは、球面状画像VSS2を回転させることにより、画像表示装置204に表示されている撮影画像IM2を水平にすることができる。
画像表示装置204に右目用画像IMR2及び左目用画像IML2が表示されている場合、使用者USは、球面状画像VSS2を例えば上方向または下方向へ回転させることにより、右目用画像IMR2と左目用画像IML2との上下方向のずれを補正することができる。使用者USは、球面状画像VSS2を例えば右方向または左方向へ回転させることにより、右目用画像IMR2と左目用画像IML2との視差を補正することができる。使用者USは、球面状画像VSS2を任意の方向へ回転させることにより、右目用画像IMR2と左目用画像IML2との傾きのずれを補正することができる。
画像処理部211は、使用者USが球面状画像VSS2を回転させる前の天頂ZEが、使用者USが球面状画像VSS2を回転させることによって球面状画像VSS2の座標上のどの位置へ移動したかを判定することができる。画像処理部211は、球面状画像VSS2の座標上における天頂ZEの移動方向及び移動先の位置に基づいて、使用者USが球面状画像VSS2を回転させる前と回転させた後との球面状画像VSS2の変化量を算出する。
球面状画像VSS2の変化量は、第1実施形態の球面状画像VSS1の変化量に相当する。画像処理部211は、球面状画像VSS2の変化量を補正値CV2として保存する。補正値CV2は第1実施形態の補正値CV1に相当する。
画像処理部211は、使用者USが球面状画像VSS2を回転させた後の天頂ZEの球面状画像VSS2上の座標を補正値CV2として保存してもよい。画像処理部211は、補正値CV2を内蔵メモリまたは外部のメモリに保存する。画像処理部211が補正値CV2を通信部213及びネットワークを介してサーバ206へ出力し、サーバ206が補正値CV2を内蔵メモリまたは外部のメモリに保存してもよい。画像処理部211は、サーバ206に保存されている補正値CV2をネットワーク及び通信部213を介して取得することができる。
図4A~図4Cに示すフローチャートを用いて、第2実施形態の画像調整方法の一例を説明する。具体的には、撮影画像IM2が手振れ補正されている状態が維持できなくなったときの対処方法の一例について説明する。画像表示装置204が使用者USの頭部に装着され、コントローラ205が使用者USの手に装着されている。画像表示装置204には撮影画像IM2と球面状画像VSS2とが表示されている。
図4Aにおいて、使用者USが球面状画像VSS2を回転させることにより、コントローラ205は、ステップS201にて、操作内容に対応する指示情報NN2を生成し、画像処理部211へ出力する。画像処理部211は、ステップS202にて、指示情報NN2に基づいて、球面状画像VSS2の回転に対応させて、画像表示装置204に表示されている撮影画像IM2を移動させる。画像処理部211またはサーバ206に補正値CV2が保存されている場合、画像処理部211は、ステップS202にて、補正値CV2に基づいて、画像表示装置204に表示されている撮影画像IM2を移動させてもよい。
これにより、画像調整装置210は、撮影画像IM2が水平になるように撮影画像IM2を調整することができる。撮影画像IM2が水平になるように、姿勢制御装置220がカメラ202の姿勢を制御してもよい。
画像表示装置204に右目用画像IMR2及び左目用画像IML2が表示されている場合、使用者USが球面状画像VSS2を回転させることにより、画像調整装置210は、右目用画像IMR2と左目用画像IML2との上下方向のずれ、右目用画像IMR2と左目用画像IML2との視差、及び、右目用画像IMR2と左目用画像IML2との傾きのずれの少なくともいずれかを補正する。姿勢制御装置220がカメラ202の姿勢を制御することにより、右目用画像IMR2と左目用画像IML2との上下方向のずれを補正してもよい。
画像処理部211またはサーバ206に補正値CV2が保存されている場合、画像処理部211は、補正値CV2に基づいて、画像表示装置204に表示されている撮影画像IM2における右目用画像IMR2または左目用画像IML2を移動させてもよい。これにより、画像調整装置210は、右目用画像IMR2と左目用画像IML2とのずれ、または視差が補正されるように撮影画像IM2を調整することができる。
撮影画像IM2が水平になるように調整されている状態、または、右目用画像IMR2と左目用画像IML2とのずれ、または視差が補正されている状態において、画像処理部211は、ステップS203にて、撮影画像IM2を手振れ補正する。画像調整装置210(具体的には画像処理部211)は、撮影画像IM2が変更される方向とその角度を常に監視している。画像処理部211は、ステップS104~S108と同様の処理を実行する。
カメラ202が倒れたり、激しく動いたりすると、手振れ補正が追従できなくなる場合がある。画像調整装置210(具体的には画像処理部211)は、撮影画像IM2に対して手振れ補正が追従できているか否かを常に監視している。画像処理部211は、ステップS204にて、手振れ補正が追従できているか否か、即ち手振れ補正の設定時の条件が維持されているか否かを判定する。手振れ補正が追従できている(YES)と判定された場合、画像調整装置210は処理をステップS204へ戻す。
手振れ補正が追従できていない(NO)と判定された場合、画像調整装置210は、撮影画像IM2(右目用画像IMR2または左目用画像IML2)を調整するか否か、またはどのように調整するかを使用者USに確認する。
具体的には、画像処理部211は、ステップS205にて、画像表示装置204に、撮影画像IM2を手動で調整するか自動で調整するかを設定するための設定画面を表示させる。画像処理部211は、手振れ補正の設定時の条件が維持されていないことを画像表示装置204に表示させてもよい。
画像処理部211は、画像表示装置204に、撮影画像IM2を手動で調整するか自動で調整するか、または調整しないかを設定するための設定画面を表示させてもよい。使用者USが調整しない項目を選択すると、コントローラ205は、操作内容に対応する指示情報NN2を生成して画像処理部211へ出力し、画像処理部211は、処理をステップS203へ戻す。
ステップS205で使用者USが撮影画像IM2を手動で調整する項目を選択すると、図4Bにおいて、コントローラ205は、ステップS211にて、操作内容に対応する指示情報NN2を生成し、画像処理部211へ出力する。画像処理部211は、ステップS212にて、指示情報NN2に基づいて、処理を手動調整モードへ移行させ、画像表示装置204に、調整項目を選択するための設定画面を表示させる。
使用者USがコントローラ205を操作して、設定画面に表示されている所定の調整項目(例えば水平調整の項目)を選択すると、コントローラ205は、ステップS213にて、操作内容に対応する指示情報NN2を生成し、画像処理部211へ出力する。画像処理部211は、指示情報NN2に基づいて、選択された項目に対応する処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部211は、撮影画像IM2の水平を調整するための処理モード(水平調整モード)へ処理を移行させる。
画像処理部211は、ステップS214にて、指示情報NN2に基づいて、画像生成部212から球面状画像VSS2を取得し、画像表示装置204に表示する。画像表示装置204には、撮影画像IM2と球面状画像VSS2とが混合して表示される。使用者USは、撮影画像IM2が水平となるように球面状画像VSS2を回転させる。画像処理部211は、ステップS215にて、球面状画像VSS2の回転に対応させて、画像表示装置204に表示されている撮影画像IM2を移動させる。使用者USは撮影画像IM2が水平になるまで球面状画像VSS2を回転させる動作を複数回行ってもよい。
ステップS205で使用者USが撮影画像IM2を自動で調整する項目を選択すると、図4Cにおいて、コントローラ205は、ステップS221にて、操作内容に対応する指示情報NN2を生成し、画像処理部211へ出力する。画像処理部211は、ステップS222にて、指示情報NN2に基づいて、処理を自動調整モードへ移行させ、画像処理部211またはサーバ206に保存されている補正値CV2を取得する。
画像処理部211は、ステップS223にて、補正値CV2に基づいて、画像表示装置204に表示されている撮影画像IM2を移動させる。例えば、画像処理部211は、補正値CV2に基づいて、撮影画像IM2が水平になるように撮影画像IM2を移動させる。これにより、画像調整装置210は、撮影画像IM2が水平になるように撮影画像IM2を調整することができる。
ステップS205で使用者USが撮影画像IM2を手動で調整する項目を選択し、かつ、画像表示装置204に右目用画像IMR2及び左目用画像IML2が表示されている場合、画像処理部211は、ステップS212にて、調整項目を選択するための設定画面を表示させる。設定画面には、例えば、右目用画像IMR2と左目用画像IML2との上下方向(垂直方向)のずれを補正するための上下補正の項目、右目用画像IMR2と左目用画像IML2との視差を補正するための視差補正の項目、及び、右目用画像IMR2と左目用画像IML2との傾きのずれを補正するための傾き補正の項目が調整項目として表示される。
使用者USが設定画面に表示されている上下補正、視差補正、及び傾き補正の項目のうちのいずれかの項目を選択した場合、コントローラ205は、ステップS213にて、選択された項目を含む指示情報NN2を画像処理部211へ出力する。画像処理部211は、指示情報NN2に基づいて、選択された項目に対応する処理モードへ処理を移行させる。
ステップS212において上下補正の項目が選択された場合、画像処理部211は、右目用画像IMR2と左目用画像IML2との上下方向のずれを補正するための処理モード(上下補正モード)へ処理を移行させる。ステップS212において視差補正の項目が選択された場合、画像処理部211は、右目用画像IMR2と左目用画像IML2との視差を補正するための処理モード(視差補正モード)へ処理を移行させる。ステップS212において傾き補正の項目が選択された場合、画像処理部211は、右目用画像IMR2と左目用画像IML2との傾きのずれを補正するための処理モード(傾き補正モード)へ処理を移行させる。
画像処理部211は、補正する画像が右目用画像IMR2か左目用画像IML2かを選択するための項目を画像表示装置204に表示させる。使用者USが右目用画像IMR2を選択した場合、コントローラ205は、右目用画像IMR2が選択されたことを示す指示情報NN2を画像処理部211へ出力する。画像処理部211は、指示情報NN2に基づいて、右目用画像IMR2を補正するための処理モード(右目用補正モード)へ処理を移行させる。
使用者USが左目用画像IML2を選択した場合、コントローラ205は、左目用画像IML2が選択されたことを示す指示情報NN2を画像処理部211へ出力する。画像処理部211は、指示情報NN2に基づいて、左目用画像IML2を補正するための処理モード(左目用補正モード)へ処理を移行させる。
画像処理部211は、ステップS214にて、指示情報NN2に基づいて、画像生成部212から球面状画像VSS2を取得し、画像表示装置204に表示する。画像表示装置204には、撮影画像IM2と球面状画像VSS2とが混合して表示される。
使用者USは、右目用画像IMR2と左目用画像IML2との上下方向または傾きのずれがなくなるように、または、右目用画像IMR2と左目用画像IML2との視差が目的の視差となるように、球面状画像VSS2を回転させる。画像処理部211は、ステップS215にて、球面状画像VSS2の回転に対応させて、画像表示装置204に表示されている選択された右目用画像IMR2または左目用画像IML2を移動させる。使用者USは球面状画像VSS2を回転させる動作を複数回行ってもよい。
ステップS205で使用者USが撮影画像IM2を自動で調整する項目を選択し、かつ、画像表示装置204に右目用画像IMR2及び左目用画像IML2が表示されている場合、画像処理部211は、ステップS222にて、画像処理部211またはサーバ206に保存されている補正値CV2を読み出す。
画像処理部211は、ステップS223にて、補正値CV2に基づいて、画像表示装置204に表示されている右目用画像IMR2及び左目用画像IML2のうち、補正値CV2に対応する画像IMR2またはIML2を移動させる。これにより、画像調整装置210は、右目用画像IMR2と左目用画像IML2とのずれがなくなるように、または、右目用画像IMR2と左目用画像IML2との視差が目的の視差となるように、撮影画像IM2を調整することができる。
撮影画像IM2が水平になるように調整されると、または、右目用画像IMR2と左目用画像IML2とのずれ、または視差が補正されると、画像調整装置210は、処理をステップS203へ戻す。
ステップS205で使用者USが撮影画像IM2を手動で調整するか自動で調整するかを選択しなかった場合、即ちステップS211及びS221で指示情報NN2が出力されなかった場合、画像処理部211は、処理を自動調整モードのステップS222へ移行させてもよい。画像処理部211またはサーバ206に補正値CV2が保存されていない場合、画像処理部211は、処理をステップS204からステップS212へ移行させてもよい。
第2実施形態の画像調整システム201、画像調整装置210、及び画像調整方法では、撮影画像IM2が手振れ補正されている状態において、カメラ202の進行方向が変更されたか否かを判定し、進行方向が変更されたと判定された場合、カメラ202の進行方向が変更された方向を示す画像(例えば矢印画像AR)を表示する。これにより、カメラ202の進行方向の変更に応じて使用者USが向いている方向を速やかに変更させることができる。
第2実施形態の画像調整システム201、画像調整装置210、及び画像調整方法では、撮影画像IM2が手振れ補正されている状態において、カメラ202の進行方向が変更されたと判定された場合に、撮影画像IM2を、カメラ202の進行方向が変更された方向とは逆方向へ変更された角度だけ移動させる。これにより、画像表示装置204に表示されている画像を、カメラ202の進行方向が変更された方向に対応させて速やかに変更させることができる。
第2実施形態の画像調整システム201、画像調整装置210、及び画像調整方法では、カメラ202が倒れたり、激しく動いたりして手振れ補正が追従できなくなった場合、即ち、手振れ補正の設定時の条件が維持できなくなった場合、画像調整装置210は、撮影画像IM2(右目用画像IMR2または左目用画像IML2)を調整するか否か、またはどのように調整するかを使用者USに確認する。画像調整装置210は、使用者USの指示に対応させて撮影画像IM2を調整する。
これにより、画像調整システム201は、撮影画像IM2が水平になるように調整され、かつ、手振れ補正されている状態の撮影画像IM2を画像表示装置204に表示することができる。また、画像調整システム201は、右目用画像IMR2と左目用画像IML2とのずれ、または視差が補正され、かつ、手振れ補正されている状態の撮影画像IM2を画像表示装置204に表示することができる。
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
第1及び第2実施形態では、画像調整装置110及び210が手振れ補正機能を有する構成について説明したが、カメラ102及び202、姿勢制御装置120及び220、またはサーバ106及び206が、手振れ補正機能を有していてもよい。
サーバ106及び206が手振れ補正機能を有する場合、サーバ106及び206は、ステップS103及びS203にて、カメラ102及び202から取得した撮影画像IM1及びIM2を手振れ補正する。この場合、サーバ106がステップS104及びS105の処理を実行してもよいし、サーバ206がステップS204の処理を実行し、ステップS204における判定結果を画像調整装置210へ出力してもよい。
例えば、CGにより生成される仮想画像VSSは、楕円体の表面(楕円面)であってもよく、さらには使用者USの手の届く範囲であれば、任意の閉じた面(閉曲面)であればよい。即ち、使用者USが内側からその閉曲面に接触するような感覚を得て、撮影画像IMの水平調整ができればよい。使用者USが仮想画像VSSを回転動作させることから、仮想画像VSSは球面または楕円面等の球面に近い球面状の形状であることが望ましい。