JP6835080B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

例えば特許文献１に開示されるように、複数の撮像装置を用いて被写体を撮像する技術が知られている。

特開２０１４−２４１４９６号公報

ところで、このような技術では、各撮像装置がユーザの意図通りに撮像を行うことが非常に重要となる。このため、ユーザは、各撮像装置の画角領域内の被写体を確認しながら各撮像装置の画角領域を調整することが多い。具体的には、ユーザは、撮像装置のファインダーを覗くことで画角領域内の被写体を確認する。あるいは、撮像装置が表示パネルを備える場合、表示パネルに画角領域内の被写体が表示される。ユーザは、表示パネルに表示される画像を確認することで、画角領域内の被写体を確認する。

しかし１つ１つの撮像装置の表示パネルを見て画角領域を確認しながら調整することは非常に煩わしく、より容易かつ直感的に画角領域を調整することができる技術が望まれていた。

そこで、本開示では、より容易かつ直感的に画角領域を調整することができる情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、複数の撮像装置のうち、いずれか一の撮像装置の画角領域に、一の撮像装置の画角領域を調整するための調整用画角領域を重畳する制御部を備える、情報処理装置が提供される。

本開示によれば、プロセッサが、複数の撮像装置のうち、いずれか一の撮像装置の画角領域に、一の撮像装置の画角領域を調整するための調整用画角領域を重畳する、情報処理方法が提供される。

本開示によれば、コンピュータに、複数の撮像装置のうち、いずれか一の撮像装置の画角領域に、一の撮像装置の画角領域を調整するための調整用画角領域を重畳する制御機能を実現させる、プログラムが提供される。

以上説明したように本開示によれば、いずれか一の撮像装置の画角領域に、調整用画角領域を重畳するので、より容易かつ直感的に画角領域を調整することができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

複数の撮像装置を用いて被写体を撮像する一例を示す平面図である。 複数の撮像装置を用いて被写体を撮像する一例を示す平面図である。 複数の撮像装置を用いて被写体を撮像する一例を示す平面図である。 複数の撮像装置を用いて被写体を撮像する一例を示す平面図である。 複数の撮像装置を用いて被写体を撮像する一例を示す平面図である。 複数の撮像装置を用いて被写体を撮像する一例を示す平面図である。 撮像画像を修正する一例を示す説明図である。 撮像画像を修正する一例を示す説明図である。 複数の撮像装置を用いて被写体を撮像する一例を示す平面図である。 撮像画像を修正する一例を示す説明図である。 撮像画像を修正する一例を示す説明図である。 本実施形態に係る複数の撮像装置を用いて被写体を撮像する一例を示す斜視図である。 本実施形態に係る複数の撮像装置を用いて被写体を撮像する一例を示す平面図である。 本実施形態に係る各撮像装置の表示部に表示される画像の一例を示す説明図である。 本実施形態に係る各撮像装置の表示部に表示される画像の一例を示す説明図である。 本実施形態に係る撮像装置の機能ブロック図である。 本実施形態に係る演算装置の機能ブロック図である。 本実施形態に係る撮像システムによる処理の手順を示すフローチャートである。 本実施形態に係る撮像システムの処理例を説明するための説明図である。 本実施形態に係る撮像システムの処理例を説明するための説明図である。 本実施形態に係る撮像システムの処理例を説明するための説明図である。 本実施形態に係る撮像システムの処理例を説明するための説明図である。 本実施形態に係る撮像システムの処理例を説明するための説明図である。 本実施形態に係る撮像システムの処理例を説明するための説明図である。 本実施形態に係る撮像システムの処理例を説明するための説明図である。 本実施形態に係る撮像システムの処理例を説明するための説明図である。 本実施形態に係る撮像システムの処理例を説明するための説明図である。 本実施形態に係る撮像システムの処理例を説明するための説明図である。 本実施形態に係る撮像システムの処理例を説明するための説明図である。 本実施形態に係る撮像システムの処理例を説明するための説明図である。 本実施形態に係る各撮像装置の表示部に表示される画像の一例を示す説明図である。 本実施形態に係る各撮像装置の表示部に表示される画像の一例を示す説明図である。 本実施形態に係る各撮像装置の表示部に表示される画像の一例を示す説明図である。 本実施形態に係る各撮像装置の表示部に表示される画像の一例を示す説明図である。 本実施形態に係る各撮像装置の表示部に表示される画像の一例を示す説明図である。 本実施形態に係る各撮像装置の表示部に表示される画像の一例を示す説明図である。 本実施形態に係る各撮像装置の表示部に表示される画像の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．複数の撮像装置を用いて被写体を撮像する例
１−１．ユーザの意図に沿った撮像例１
１−２．ユーザの意図に沿った撮像例２
１−３．ユーザの意図に沿った撮像例３
１−５．ユーザの意図に沿わない撮像例１
１−６．ユーザの意図に沿わない撮像例２
１−７．ユーザの意図に沿わない撮像例３
２．本実施形態の概要
３．本実施形態に係る撮像システムの構成例
４．撮像システムによる処理例
５．撮像装置に表示される画像例
５−１．撮像装置に表示される画像例１
５−２．撮像装置に表示される画像例２
５−３．撮像装置に表示される画像例３
５−４．撮像装置に表示される画像例４
５−５．撮像装置に表示される画像例５
５−６．撮像装置に表示される画像例６
５−７．撮像装置に表示される画像例７

＜１．複数の撮像装置を用いて被写体を撮像する例＞
まず、複数の撮像装置を用いて被写体を撮像する例について説明する。複数の撮像装置を用いて被写体を撮像する技術としては、いわゆるバレット撮像、カット切り替え撮像等が挙げられる。本実施形態は複数の撮像装置を用いて被写体を撮像するあらゆる技術に適用可能である。上述したように、このような撮像を行う場合、各撮像装置がユーザの意図通りに撮像を行うことが非常に重要となる。ここで、ユーザの意図は様々である。例えば、ユーザの意図としては、各撮像装置の光軸にズレがないこと（例えば、空間上の１点で交わっていること）、各撮像画像に描かれる被写体のサイズが揃っていること、各撮像装置の水平画角方向が揃っていること等が挙げられる。いずれかの撮像装置がユーザの意図に沿わない撮像を行っている場合、各種の画像処理（いわゆる、ポストプロダクション処理）が必要となり、結果として、画質の低下等が生じうる。

（１−１．ユーザの意図に沿った撮像例１）
まず、図１に基づいて、ユーザの意図に沿った撮像例１について説明する。図１では、３台の撮像装置１００〜３００を用いて被写体Ａ〜Ｃを撮像している。撮像装置１００は、撮像画像１２０Ａを撮像し、撮像装置２００は撮像画像２２０Ａを撮像し、撮像装置３００は撮像画像３２０Ａを撮像する。撮像画像１２０Ａ〜３２０Ａには、被写体Ａ〜Ｃが描かれている。光軸１１０は撮像装置１００の光軸であり、光軸２１０は撮像装置２００の光軸であり、光軸３１０は撮像装置３００の光軸である。また、撮像装置１００〜３００の前方には画角領域１２０〜３２０が描かれている。画角領域１２０〜３２０は矩形となっている。画角領域１２０〜３２０の大きさ、位置は、撮像素子の大きさ、焦点距離によって決定される。また、画角領域１２０〜３２０には、水平画角方向の中心線１２０ａ〜３２０ａ、垂直画角方向の中心線１２０ｂ〜３２０ｂが描かれている。撮像装置１００〜３００は、概略的には、画角領域１２０〜３２０内に映る像を撮像することができる。なお、画角領域１２０〜３２０は、撮像装置１００〜３００の画角領域１２０〜３２０の状態（大きさ、光軸１２０〜３２０を中心とした回転角度、焦点距離等）を示すために描かれたものである。以上の前提条件は以下の各撮像例でも同様である。撮像例１でのユーザの意図は以下の通りである。
・撮像装置１００〜３００の光軸１１０〜３１０が１点で交わっている。
・撮像画像１２０Ａ〜３２０Ａに描かれる被写体Ｂ（中心の被写体）の大きさが揃っている。
・撮像装置１００〜３００の水平画角方向が揃っている。

図１に示す撮像例１では、撮像装置１００〜３００は、ユーザの意図に沿った撮像を行っている。このため、撮像画像１２０Ａ〜３２０Ａをそのまま出力画像として使用することができる。したがって、出力画像の画質が良い。また、これらの撮像画像１２０Ａ〜３２０Ａを順次表示した場合、被写体Ａ〜Ｃに対する視点が滑らかに移動するように見える。

（１−２．ユーザの意図に沿った撮像例２）
つぎに、図２に基づいて、ユーザの意図に沿った撮像例２について説明する。図２におけるユーザの意図は以下の通りである。
・撮像装置１００〜３００の光軸１１０〜３１０が１点で交わっている。
・撮像画像１２０Ａ〜３２０Ａに描かれる被写体Ｂ（中心の被写体）の大きさが撮像画像１２０Ａから順次小さくなる。すなわち、撮像画像１２０Ａに描かれる被写体Ｂが最も大きく、撮像画像３２０Ａに描かれる被写体Ｂが最も小さい。
・撮像装置１００〜３００の水平画角方向が揃っている。

図２に示す撮像例２では、撮像装置１００〜３００は、ユーザの意図に沿った撮像を行っている。このため、撮像画像１２０Ａ〜３２０Ａをそのまま出力画像として使用することができる。また、これらの撮像画像１２０Ａ〜３２０Ａを順次表示した場合、被写体Ａ〜Ｃに対する視点が滑らかに移動し、かつ、被写体Ｂの大きさが滑らかに変動するように見える。

（１−２．ユーザの意図に沿った撮像例３）
つぎに、図３に基づいて、ユーザの意図に沿った撮像例３について説明する。図３におけるユーザの意図は以下の通りである。
・撮像装置１００〜３００の光軸１１０〜３１０が１点で交わっている。
・撮像画像１２０Ａ〜３２０Ａに描かれる被写体Ｂ（中心の被写体）の大きさが揃っている。
・撮像装置１００〜３００の水平画角方向が撮像装置１００から順次左回転する。

図３に示す撮像例３では、撮像装置１００〜３００は、ユーザの意図に沿った撮像を行っている。このため、撮像画像１２０Ａ〜３２０Ａをそのまま出力画像として使用することができる。また、これらの撮像画像１２０Ａ〜３２０Ａを順次表示した場合、被写体Ａ〜Ｃに対する視点が滑らかに回転するように見える。

撮像例１〜３から明らかな通り、撮像装置１００〜３００がユーザの意図に沿った撮像を行う場合、出力画像の品質は高く、かつ、ユーザの意図に沿った出力画像を表示することができる。なお、ユーザの意図は上述したものに限られない。ユーザの意図としては、例えば、撮像画像のうちなるべく多くの領域を使用する（後述する「ユーザの意図に沿わない撮像例１」では、撮像画像が小さくなってしまう）ことが挙げられる。また、ユーザの意図としては、撮像したい被写体だけ画角領域内に入れる、画角領域の中心に人物の頭部を配置させる、人物は画角領域内で垂直に立っている等が挙げられる。いずれにしても、撮像装置１００〜３００がユーザの意図に沿って撮像を行えば、高品質の出力画像が得られる。

（１−４．ユーザの意図に沿わない撮像例１）
つぎに、図４〜図５に基づいて、ユーザの意図に沿わない撮像例１について説明する。図４におけるユーザの意図は以下の通りである。
・撮像装置１００〜３００の光軸１１０〜３１０が１点で交わっている。
・撮像画像１２０Ａ〜３２０Ａに描かれる被写体Ｂ（中心の被写体）の大きさが揃っている。
・撮像装置１００〜３００の水平画角方向が揃っている。

図４に示す撮像例１では、撮像装置１００の光軸１１０がずれている。このため、撮像装置１００は、ユーザの意図に沿った撮像を行っていない。このため、撮像画像１２０Ａ〜３２０Ａをそのまま出力画像として使用した場合、被写体Ａ〜Ｃに対する視点が乱雑に変動してしまう。このため、撮像画像１２０Ａに対する画像処理が必要になる。この画像処理は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク、各種入力装置等のハードウェア構成を有する情報処理装置によって行われる。以下の他の撮像例でも同様である。

この画像処理では、まず、図５に示すように、撮像装置１００〜３００を３次元の仮想空間内にマッピングする。ついで、撮像装置１００の光軸１１０が他の光軸２１０、３１０と１点で交わるように、撮像装置１００の姿勢を補正する。具体的には、撮像装置１００の姿勢を示す回転行列を補正する。補正後の光軸１１０は他の光軸２１０、３１０と１点で交わる。ついで、補正後の撮像装置１００及び光軸１１０に対応する画角領域１２１を新たに設定する。

撮像装置１００は、画角領域１２１での撮像を行っていない。そこで、当初の撮像画像１２０Ａを画角領域１２１内で撮像される撮像画像１２０Ｂに補正する。具体的には、補正後の回転行列等を用いて撮像画像１２０Ａを新たな画角領域１２１上に投影変換する。しかし、撮像画像１２０Ｂは画角領域１２１に完全には一致しない。具体的には、画角領域１２１には、撮像画像１２０Ｂが存在しない領域１２３（黒塗りの領域）が存在する。したがって、仮に画角領域１２１内の画像を全て出力画像として表示した場合、領域１２３も表示してしまうことになる。この領域１２３は、例えば黒色の画像として表示される。これでは、視認者に大きな違和感を与えてしまう。そこで、出力画像の上下左右にこのような黒色の画像が存在しないように、撮像画像１２０Ｂから矩形画像１２０Ｃを切り出す。また、矩形画像１２０Ｃに描かれている範囲と他の撮像画像２２０Ａ、３２０Ａに描かれている範囲とが異なるので、これらが揃うように他の撮像画像２２０Ａ、３２０Ａからも同サイズの矩形画像２２０Ｃ、３２０Ｃを切り出す。そして、これらの矩形画像１２０Ｃ〜３２０Ｃを出力画像として表示する。

これにより、見かけ上ユーザの意図に沿った出力画像を表示することができる。しかし、矩形画像１２０Ｃ〜３２０Ｃの切り出しによって画像サイズが小さくなる。さらに、矩形画像１２０Ｃ〜３２０Ｃに描かれている範囲は、当初の撮像画像１２０Ａ〜３２０Ａよりも小さくなる。したがって、出力画像の品質が低下する。

（１−５．ユーザの意図に沿わない撮像例２）
つぎに、図６〜図８に基づいて、ユーザの意図に沿わない撮像例２について説明する。図６におけるユーザの意図は以下の通りである。
・撮像装置１００〜３００の光軸１１０〜３１０が１点で交わっている。
・撮像画像１２０Ａ〜３２０Ａに描かれる被写体Ｂ（中心の被写体）の大きさが揃っている。
・撮像装置１００〜３００の水平画角方向が揃っている。

図６に示す撮像例２では、撮像画像２２０Ａに描かれる被写体Ｂの大きさが異なっている。例えば、撮像装置２００の焦点距離が他の撮像装置１００、３００の焦点距離と異なっているために、被写体Ｂの大きさが異なっている。このため、撮像画像１２０Ａ〜３２０Ａをそのまま出力画像として使用した場合、被写体Ｂの大きさが変動してしまう。したがって、視認者に大きな違和感を与えてしまう。このため、撮像画像２２０Ａに対する画像処理が必要になる。

この画像処理では、まず、図７に示すように、撮像画像２２０Ａから矩形画像２２０Ｄを切り出す。ついで、図８に示すように、矩形画像２２０Ｄを画角領域２２０と同サイズまで拡大する。拡大後の矩形画像２２０Ｄの解像度は他の撮像画像１２０Ａ、３２０Ａよりも低い。したがって、解像度の統一性がなくなってしまう。そこで、これらの画像の全てにローパスフィルタを掛ける。これにより、解像度を統一させる。そして、撮像画像１２０Ａ、矩形画像２２０Ｄ、及び撮像画像３２０Ａを出力画像として表示する。

これにより、見かけ上ユーザの意図に沿った出力画像を表示することができる。しかし、出力画像の解像度が当初の撮像画像１２０Ａ〜３２０Ａよりも小さくなる。したがって、出力画像の品質が低下する。

（１−６．ユーザの意図に沿わない撮像例３）
つぎに、図９〜図１１に基づいて、ユーザの意図に沿わない撮像例３について説明する。図９におけるユーザの意図は以下の通りである。
・撮像装置１００〜３００の光軸１１０〜３１０が１点で交わっている。
・撮像画像１２０Ａ〜３２０Ａに描かれる被写体Ｂ（中心の被写体）の大きさが揃っている。
・撮像装置１００〜３００の水平画角方向が揃っている。

図９に示す撮像例３では、撮像装置１００〜３００の水平画角方向が全て異なっている。このため、撮像画像１２０Ａ〜３２０Ａをそのまま出力画像として使用した場合、被写体Ａ〜Ｃの向きが大きく変動してしまう。したがって、視認者に大きな違和感を与えてしまう。このため、撮像画像１２０Ａ〜３２０Ａに対する画像処理が必要になる。

この画像処理では、まず、図１０に示すように、撮像画像１２０Ａ〜３２０Ａから被写体Ａ〜Ｃが描かれている矩形画像１２０Ｅ〜３２０Ｅを切り出す。ついで、図１１に示すように、矩形画像１２０Ｅ〜３２０Ｅを画角領域１２０〜３２０と同サイズまで拡大し、かつ、水平画角方向を揃える。拡大後の矩形画像１２０Ｅ〜３２０Ｅの解像度は当初の撮像画像１２０Ａ〜３２０Ａよりも低い。そして、矩形画像１２０Ｅ〜３２０Ｅを出力画像として表示する。

これにより、見かけ上ユーザの意図に沿った出力画像を表示することができる。しかし、出力画像の解像度が当初の撮像画像１２０Ａ〜３２０Ａよりも小さくなる。したがって、出力画像の品質が低下する。

このように、撮像装置１００〜３００がユーザの意図に沿った撮像を行っていない場合、各種の画像処理（いわゆる、ポストプロダクション処理）が必要となり、結果として、画質の低下等が生じうる。

したがって、撮像装置１００〜３００がユーザの意図に沿った撮像を行うことが非常に重要となる。ユーザは、各撮像装置１００〜３００の画角領域１２０〜３２０内の被写体Ａ〜Ｃを確認しながら各撮像装置１００〜３００の画角領域を調整することが多い。具体的には、ユーザは、撮像装置１００〜３００のファインダーを覗くことで画角領域１２０〜３２０内の被写体Ａ〜Ｃを確認する。あるいは、撮像装置１００〜３００が表示パネルを備える場合、表示パネルに画角領域１２０〜３２０内の被写体Ａ〜Ｃが表示される。ユーザは、表示パネルに表示される画像を確認することで、画角領域１２０〜３２０内の被写体Ａ〜Ｃを確認する。

しかし、画角領域内に調整の目安となる画角領域が表示されないため、ユーザは、どのように画角領域を調整すれば良いのかを把握することが難しかった。このため、ユーザは、撮像装置１００〜３００間を何度も往復し、微調整を繰り返す必要があった。さらに、このような調整を行っても、撮像画像１２０Ａ〜３２０Ａがユーザの意図に沿わない場合もあった。

このため、より容易かつ直感的に画角領域を調整することができる技術が望まれていた。そこで、本実施形態では、画角領域内に調整の目安となる画角領域、すなわち調整用画角領域を重畳する。以下、本実施形態について詳細に説明する。

＜２．本実施形態の概要＞
次に、図１２〜図１５に基づいて、本実施形態の概要を説明する。図１２及び図１３に示すように、撮像装置１０、２０は、被写体Ａ、Ｂを撮像している。撮像装置１０、２０の光軸１１、２１は被写体Ａに向いている。この時、撮像装置１０の表示パネルには、図１４に示す画像が表示される。すなわち、撮像装置１０の表示パネルには、被写体Ａ、Ｂ、撮像装置１０の画角領域１２、水平画角方向の中心線１２ａ、垂直画角方向の中心線１２ｂが表示される。さらに、表示パネルには、調整用画角領域として、撮像装置２０の画角領域２２、画角領域２２の水平画角方向の中心線２２ａ、垂直画角方向の中心線２２ｂが表示される。これにより、ユーザは、撮像装置１０の画角領域１２と撮像装置２０の画角領域２２との位置関係を直感的かつ容易に把握することができる。これにより、例えば、ユーザは、画角領域１２の大きさを画角領域２２に揃える等の調整を容易に行うことができる。すなわち、ユーザは、画角領域１２が自己の意図した状態からずれている場合には、そのようなずれに容易に気づくことができる。さらに、ユーザは、画角領域１２の調整をより直感的かつ容易に行うことができる。例えば、図１４の例では、画角領域１２の水平画角方向が画角領域２２の水平画角方向とずれている。このため、ユーザは、このようなずれを容易に修正することができる。

一方、撮像装置２０の表示パネルには、図１５に示す画像が表示される。すなわち、撮像装置２０の表示パネルには、被写体Ａ、Ｂ、撮像装置２０の画角領域２２、水平画角方向の中心線２２ａ、垂直画角方向の中心線２２ｂが表示される。さらに、表示パネルには、調整用画角領域として、撮像装置１０の画角領域１２、画角領域１２の水平画角方向の中心線１２ａ、垂直画角方向の中心線１２ｂが表示される。これにより、ユーザは、撮像装置２０の画角領域２２と撮像装置１０の画角領域１２との位置関係を直感的かつ容易に把握することができる。したがって、ユーザは、画角領域２２の調整もより直感的かつ容易に行うことができる。

もちろん、調整用画角領域は上記の例に限られない。例えば、ユーザの意図に沿わない撮像例１では、撮像装置１００の光軸１１０がずれていたために生じる。このため、撮像装置１０、２０の光軸１１、２１がずれているかどうかを確かめるための調整用画角領域を表示してもよい。このような調整用画角領域の決定方法については後述する。また、撮像装置の数はこの例に限定されない。また、撮像画像は静止画であっても、動画であってもよい。

＜３．本実施形態に係る撮像システムの構成例＞
次に、図１６及び図１７に基づいて、本実施形態に係る撮像システムの構成について説明する。撮像システムは、複数の撮像装置１０〜５０と、演算装置６００と、これらを連結するネットワーク５００とを備える。もちろん、撮像装置１０〜５０の数はこれに限定されず、２台以上であればよい。

撮像装置１０〜５０の構成はいずれも同様であるので、ここでは、撮像装置１０の構成について説明する。撮像装置１０は、図１６に示すように、レンズ１０Ａ、絞り１０Ｂ、撮像素子１０Ｃ、前処理部１０Ｄ、検波部１０Ｅ、画質調整部１０Ｆ、後処理部１０Ｇ、制御部１０Ｈ、記憶部１０Ｉ、表示部１０Ｊ、レンズ駆動部１０Ｋ、入力操作部１０Ｌ、通信部１０Ｍ、及び一時記憶部１０Ｎを備える。

レンズ１０Ａは、外部から入射された光を撮像素子１０Ｃに集光する。絞り１０Ｂは、レンズ１０Ａを通った光の光量を調整する。撮像素子１０Ｃは、レンズ１０Ａからの光によって撮像画像を生成し、前処理部１０Ｄ及び検波部１０Ｅに出力する。前処理部１０Ｄは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の回路により構成され、撮像画像に対して各種の前処理を行う。ここで、前処理は、撮像装置毎の固体バラ付きを調整するための処理であり、例えば欠陥補正、シェーディング補正等が挙げられる。前処理部１０Ｄは、前処理後の撮像画像を検波部１０Ｅ及び画質調整部１０Ｆに出力する。

検波部１０Ｅは、ＣＰＵ等の回路により構成され、前処理前後の撮像画像を検波することで、撮像画像の検波情報（例えば、輝度分布等）を取得する。そして、検波部１０Ｅは、検波情報を画質調整部１０Ｆに出力する。画質調整部１０Ｆは、ＣＰＵ等の回路により構成され、検波情報に基づいて、撮像画像の画質を調整する。例えば、画質調整部１０Ｆは、撮像画像の色、明るさ、解像度、ノイズ感、質感、ホワイトバランス等を調整する。画質調整部１０Ｆは、調整後の撮像画像を後処理部１０Ｇに出力する。後処理部１０Ｇは、ＣＰＵ等の回路により構成され、撮像画像に対して各種の後処理を行う。後処理部１０Ｇは、後処理後の撮像画像を一時記憶部１０Ｎに出力する。

一時記憶部１０Ｎは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の回路により構成され、撮像装置１０の処理に使用される各種の情報を一時的に記憶する。例えば、一時記憶部１０Ｎは、後処理部１０Ｇから与えられた撮像画像を記憶する。一時記憶部１０Ｎに記憶された情報は、撮像装置１０の各構成要素によって使用される。詳細は後述する。制御部１０Ｈは、ＣＰＵ等の回路により構成され、撮像装置１０の各構成要素を制御する他、例えば以下の処理を行う。すなわち、制御部１０Ｈは、入力操作部１０Ｌから入力された操作情報に基づいて、撮像素子１０Ｃに撮像を行わせる。また、制御部１０Ｈは、一時記憶部１０Ｎに記憶された撮像画像を表示部１０Ｊに表示させ、記憶部１０Ｉに記憶する。また、制御部１０Ｈは、撮像装置情報に基づいて、各種の調整用画角領域を生成し、撮像画像に重畳する。制御部１０Ｈは、調整用画角領域が重畳された撮像画像を一時記憶部１０Ｎに出力する。ここで、撮像装置情報は、撮像装置に関する情報である。撮像装置情報は、具体的には、例えば撮像装置の画角に関する情報である。撮像装置情報は、より具体的には、例えば、撮像装置１０〜５０の設置位置、姿勢、焦点距離、及び撮像素子のサイズに関する情報が含まれる。撮像装置１０〜５０の設置位置及び姿勢は、演算装置６００によって算出される。撮像装置１０〜５０の焦点距離は、いわゆるカメラ行列として表され、撮像装置１０〜５０の制御部により生成される。撮像素子のサイズは、撮像装置１０〜５０の記憶部に記憶される。これらの撮像装置情報は、一時記憶部１０Ｎに一旦記憶される。そして、制御部１０Ｈは、一時記憶部１０Ｎに記憶される撮像装置情報に基づいて、調整用画角領域を生成する。詳細な処理の手順については後述する。

また、制御部１０Ｈは、入力操作部１０Ｌから与えられた操作情報に基づいて、レンズ駆動部１０Ｋを制御する。レンズ駆動部１０Ｋは、制御部１０Ｈからの指示に基づいて、レンズ１０Ａの位置を調整する。すなわち、レンズ駆動部１０Ｋは、焦点距離を調整する。制御部１０Ｈは、調整後の焦点距離を一時記憶部１０Ｎに記憶させる。また、制御部１０Ｈは、記憶部１０Ｉに記憶された撮像装置情報、具体的には撮像素子１０Ｃのサイズに関する情報を一時記憶部１０Ｎに記憶させる。

記憶部１０Ｉは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の回路により構成され、撮像装置１０の動作に必要な情報（例えばプログラム、焦点距離、撮像素子１０Ｃのサイズ等）を記憶する。また、記憶部１０Ｉは、一時記憶部１０Ｎに記憶された撮像画像（調整用画角領域が重畳されたものを含む）を記憶してもよい。表示部１０Ｊは、撮像装置１０の画角領域１２、一時記憶部１０Ｎに記憶された撮像画像及び調整用画角領域を重畳して表示する。表示部１０Ｊは、例えば、撮像装置１０の背面に配置される表示パネル（例えば、液晶表示パネル、有機エレクトロルミネッセンス表示パネル等）、及び電子ビューファインダ（ＥＶＦ）などであるが、これらに限定されない。

レンズ駆動部１０Ｋは、レンズ駆動装置等により構成され、制御部１０Ｈからの指示によりレンズ１０Ａの位置を調整する。入力操作部１０Ｌは、各種のボタン、タッチパネル等により構成され、ユーザによる入力操作を受け付ける。そして、入力操作部１０Ｌは、操作情報を制御部１０Ｈに出力する。入力操作部１０Ｌは、例えば各種のボタン（シャッターボタン、操作ボタン等）、タッチパネル等であるが、これらに限定されない。

通信部１０Ｍは、通信回路等により構成され、ネットワーク５００を介して他の撮像装置２０〜５０及び演算装置６００と通信を行う。例えば、通信部１０Ｍは、一時記憶部１０Ｎに記憶された撮像画像を演算装置６００に出力する。また、通信部１０Ｍは、一時記憶部１０Ｎに記憶された撮像装置情報（ここでは、撮像装置１０の焦点距離及び撮像素子のサイズ）を他の撮像装置２０〜５０に出力する。また、通信部１０Ｍは、他の撮像装置２０〜５０から撮像装置情報として焦点距離及び撮像素子のサイズに関する情報を受信する。また、通信部１０Ｍは、演算装置６００から撮像装置情報として撮像装置１０〜５０の設置位置及び姿勢に関する情報を受信する。通信部１０Ｍは、受信した撮像装置情報を一時記憶部１０Ｎに出力する。なお、撮像装置１０は、撮像装置１０に着脱可能な外部記憶媒体をさらに備えていてもよい。外部記憶媒体には、撮像画像及び調整用画角領域等を記憶させても良い。

なお、撮像装置１０〜５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、レンズ、絞り、撮像素子、レンズ駆動装置、表示パネル（例えば、液晶表示パネル、有機エレクトロルミネッセンス表示パネル等）、各種のボタン、タッチパネル、通信回路等のハードウェア構成を備える。そして、そして、プロセッサが所定のプログラムに従った信号処理を実行することにより、上述した撮像装置１０〜５０の機能が実現される。なお、撮像装置１０〜５０の構成は上述した例に限られない。すなわち、撮像装置１０〜５０は、本実施形態の機能が実現できるものであればどのような構成であっても良い。

演算装置６００は、図１７に示すように、通信部６１０、表示部６２０、入力操作部６３０、制御部６４０、一時記憶部６５０、及び記憶部６６０を備える。通信部６１０は、通信回路等により構成され、ネットワーク５００を介して撮像装置１０〜５０と通信を行う。具体的には、通信部６１０は、撮像装置１０〜５０から撮像画像を受信し、一時記憶部６５０に出力する。また、通信部６１０は、一時記憶部６５０に記憶された撮像装置情報（具体的には、撮像装置１０〜５０の設置位置及び姿勢）を撮像装置１０〜５０に出力する。表示部６２０は、表示パネル（例えば、液晶表示パネル、有機エレクトロルミネッセンス表示パネル等）により構成され、一時記憶部６５０に記憶された各種情報を表示する。入力操作部６３０は、例えばマウス、キーボード、タッチパネル等であり、ユーザによる入力操作を受け付ける。入力操作部６３０は、操作情報を制御部６４０に出力する。制御部６４０は、ＣＰＵ等の回路により構成され、演算装置６００の各構成要素を制御する他、以下の処理を行う。制御部６４０は、一時記憶部６５０に記憶された撮像画像に基づいて、撮像装置１０〜５０の設置位置及び姿勢を算出（推定）する。概略的には、制御部６４０は、撮像画像から被写体を抽出し、被写体のサイズ、回転角度等に基づいて、撮像装置１０〜５０の設置位置及び姿勢を算出する。ここで、制御部６４０は、撮像装置１０〜５０の設置位置を位置ベクトルの形式で算出し、撮像装置１０〜５０の姿勢を回転行列の形式で算出する。制御部６４０は、撮像装置１０〜５０の設置位置及び姿勢に関する撮像装置情報を一時記憶部６５０に出力する。一時記憶部６５０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の回路により構成され、演算装置６００の処理に使用される各種の情報を一時的に記憶する。例えば、一時記憶部６５０は、上述したように、通信部６１０から与えられた撮像画像を記憶する。一時記憶部６５０に記憶された情報は、演算装置６００の各構成要素によって使用される。記憶部６６０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の回路により構成され、演算装置６００の動作に必要な情報（例えばプログラム等）を記憶する。

なお、演算装置６００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスク、表示パネル（例えば、液晶表示パネル、有機エレクトロルミネッセンス表示パネル等）、キーボード、マウス、タッチパネル、通信回路等のハードウェア構成を備える。そして、そして、プロセッサが所定のプログラムに従った信号処理を実行することにより、上述した演算装置６００の機能が実現される。なお、演算装置６００の構成は上述した例に限られない。すなわち、演算装置６００は、本実施形態の機能が実現できるものであればどのような構成であっても良い。例えば、演算装置６００は、上述した表示部６２０及び入力操作部６３０のうち、少なくとも１種を有していなくても良い。また、制御部６４０の動作は撮像装置１０〜５０が有する制御部のいずれかに行わせるようにしてもよい。この場合、演算装置６００を別途用意する必要がなくなる。

＜４．撮像システムによる処理例＞
つぎに、撮像システムによる処理例を図１８に示すフローチャートに沿って説明する。なお、以下の処理例では、図１９に示すように、撮像装置１０〜５０によって撮像を行う場合の処理について説明する。また、以下の処理例では、撮像装置１０が調整用画角領域を生成する例を説明するが、他の撮像装置２０〜５０も同様の処理により調整用画角領域を生成することができる。なお、図中の添字ｉは、１〜５の整数であり、撮像装置１０〜５０に対応する。また、以下の処理例は、随時行われる。

ステップＳ１０において、撮像装置１０〜５０は、撮像画像を演算装置６００に送信する。具体的には、撮像装置１０〜５０の通信部は、一時記憶部に記憶された撮像画像を演算装置６００に送信する。これに応じて、演算装置６００の通信部６１０は、これらの撮像画像を一時記憶部６５０に出力する。制御部６４０は、一時記憶部６５０に記憶された撮像画像に基づいて、撮像装置１０〜５０の設置位置及び姿勢に関する撮像装置情報を生成する。そして、制御部６４０は、これらの撮像装置情報を一時記憶部６５０に出力する。そして、通信部６１０は、一時記憶部６５０に記憶された撮像装置情報を撮像装置１０〜５０に送信する。また、撮像装置１０〜５０は、互いに焦点距離及び撮像素子のサイズに関する撮像装置情報を交換する。例えば、制御部１０Ｈは、記憶部１０Ｉから撮像装置１０の焦点距離及び撮像素子のサイズに関する撮像装置情報を取得し、一時記憶部１０Ｎに出力する。通信部１０Ｍは、一時記憶部１０Ｎに記憶された撮像装置情報を他の撮像装置２０〜５０に送信する。また、通信部１０Ｍは、は、他の撮像装置２０〜５０から焦点距離及び撮像素子のサイズに関する撮像装置情報を取得する。通信部１０Ｍは、これらの撮像装置情報を一時記憶部１０Ｎに出力する。

以上の処理により、撮像装置１０の一時記憶部１０Ｎには、撮像装置１０〜５０の設置位置、姿勢、焦点距離、及び撮像素子のサイズに関する撮像装置情報が記憶される。設置位置は、位置ベクトルの形式で与えられ、姿勢は回転行列の形式で与えられ、焦点距離はカメラ行列の形式で与えられる。

ステップＳ２０において、制御部１０Ｈは、３次元の仮想空間を設定する。ついで、制御部１０Ｈは、図２０に示すように、撮像装置１０〜５０の位置ベクトルに基づいて、仮想空間内の点Ｐ１〜Ｐ５に撮像装置１０〜５０を設置する。点Ｐ１〜Ｐ５の座標は、位置ベクトルにより定まる。さらに、制御部１０Ｈは、回転行列に基づいて、撮像装置１０〜５０の姿勢を決定する。そして、制御部１０Ｈは、撮像装置１０〜５０の光軸１１〜５１を設定する。さらに、制御部１０Ｈは、カメラ行列及び撮像素子のサイズに基づいて、光軸１１〜５１上に画角領域１２〜５２を設定する。さらに、制御部１０Ｈは、画角領域１２〜５２上に水平画角方向の中心線１２ａ〜５２ａ、垂直画角方向の中心線１２ｂ〜５２ｂを設定する。また、制御部１０Ｈは、画角領域１２〜５２上にｘｙ平面を設定する。

ステップＳ３０以降の処理において、制御部１０Ｈは、画角領域１２〜５２のうち、少なくとも一つを変換し、変換後の画角領域を調整用画角領域とする。具体的には、ステップＳ３０において、制御部１０Ｈは、図２１に示すように、光軸１１〜５１に基づいて、光軸１１〜５１の目標交点Ｐを設定する。例えば、制御部１０Ｈは、光軸１１〜５１の最近接点を目標交点Ｐとする。

ステップＳ４０において、制御部１０Ｈは、目標交点Ｐに基づいて、画角領域１２〜５２のうち、少なくとも一つを変換する。具体的には、制御部１０Ｈは、図２２示すように、全ての光軸１１〜５１が目標交点Ｐに向くように、撮像装置１０〜５０の姿勢を補正する。具体的には、制御部１０Ｈは、撮像装置１０〜５０の回転行列を変換する（Ｒ_ｉ→Ｒ’_ｉ）。すなわち、制御部１０Ｈは、撮像装置情報を調整する。そして、制御部１０Ｈは、補正後の姿勢に対応する画角領域１２ｃ〜５２ｃを新たに設定する。

ついで、ステップＳ５０において、制御部１０Ｈは、画角領域１２を射影変換する。具体的には、制御部１０Ｈは、図２３に示すように、画角領域１２の四隅の頂点Ｐ１２をホモグラフィ行列Ｈ_１によって射影変換する。ここで、ホモグラフィ行列Ｈ_１は、Ｋ_１Ｒ’_１Ｋ_１ ^−１で示される行列である。ここで、Ｋ_１は撮像装置１０のカメラ行列であり、Ｒ’_１は撮像装置１０の変換後の回転行列であり、Ｋ_１ ^−１は撮像装置１０のカメラ行列の逆行列である。

ついで、制御部１０Ｈは、図２４に示すように、射影変換後の画角領域１２−１を新たな画角領域１２ｃに重畳する。画角領域１２−１には、水平画角方向の中心線１２ａ−１、垂直画角方向の中心線１２ｂ−１が描かれている。図２４から明らかな通り、画角領域１２−１は、画角領域１２ｃに一致しない。例えば、画角領域１２−１の一部は画角領域１２ｃからはみ出している。画角領域１２−１のうち、画角領域１２ｃからはみ出した領域は撮像されない。そこで、制御部１０Ｈは、図２５に示すように、画角領域１２−１のうち、画角領域１２ｃ内に存在する領域を有効画角領域１２−２として設定する。そして、制御部１０Ｈは、有効画角領域１２−２の頂点Ｐ１２−２を抽出する。

ステップＳ６０において、制御部１０Ｈは、図２６に示すように、有効画角領域１２−２から有効矩形画角領域１２−３を抽出する。画角領域１２ｃには、有効画角領域１２−２が存在しない領域１２ｃ−１が存在する。したがって、仮に画角領域１２ｃ内の画像を全て出力画像として表示した場合、領域１２ｃ−１も表示してしまうことになる。この領域１２ｃ−１は、例えば黒色の画像として表示される。これでは、視認者に大きな違和感を与えてしまう。そこで、出力画像の上下左右にこのような黒色の画像が存在しないように、有効画角領域１２−２から有効矩形画角領域１２−３を抽出する。具体的には、制御部１０Ｈは、有効矩形画角領域１２−３の四隅の頂点Ｐ１２−３を抽出する。有効矩形画角領域１２−３のアスペクト比は画角領域１２ｃのアスペクト比に一致することが好ましい。また、有効矩形画角領域１２−３の中心点（重心点）Ｐ１２−３ａは画角領域１２ｃの中心点（重心点）に一致することが好ましい。

ステップＳ７０において、制御部１０Ｈは、有効矩形画角領域１２−３の水平画角方向の中心線１２ａ−３、垂直画角方向の中心線１２ｂ−３を設定し、これらの長さＬ、Ｈを算出する。

ステップＳ８０において、制御部１０Ｈは、他の撮像装置２０〜５０の有効画角領域及び有効矩形画角領域を算出する。具体的な算出方法は上述したステップＳ５０と同様である。

ステップＳ９０において、制御部１０Ｈは、他の撮像装置２０〜５０の有効画角領域から有効矩形画角領域を抽出する。さらに、制御部１０Ｈは、有効矩形画角領域の水平画角方向の中心線、垂直画角方向の中心線を設定し、これらの長さＬ、Ｈを算出する。

ステップＳ１００において、制御部１０Ｈは、撮像装置１０の有効画角領域及び有効矩形画角領域を元の画角領域１２に射影する。具体的には、制御部１０Ｈは、撮像装置１０の有効画角領域１２−２の頂点Ｐ１２−２及び有効矩形画角領域１２−３の頂点Ｐ１２−３をホモグラフィ行列の逆行列Ｈ_１ ^−１によって変換する。ついで、制御部１０Ｈは、他の撮像装置２０〜５０の画角領域２２ｃ〜５２ｃ、有効画角領域、及び有効矩形画角領域を撮像装置１０の画角領域１２に射影する。

以下、撮像装置２０の画角領域２２ｃ、有効画角領域、及び有効矩形画角領域を画角領域１２に射影する方法について説明する。他の撮像装置３０〜５０の画角領域３２ｃ〜５２ｃ、有効画角領域、及び有効矩形画角領域についても同様の方法で画角領域１２に射影することができる。

この方法では、撮像装置２０の画角領域２２ｃ等が画角領域１２ｃ上でどのように結像されるのかという観点で、撮像装置２０の画角領域２２ｃ等を画角領域１２ｃに射影する。具体的には、図２７に示すように、制御部１０Ｈは、点Ｐ１から十分離れた位置に画角領域１２ｃに平行な平面１０００を設定する。ついで、制御部１０Ｈは、画角領域２２ｃの８つの点（具体的には、四隅の頂点、各中心線と枠線との４つの交点）に相当する点Ｐ２２−１を平面１０００上に設定する。これらの点Ｐ２２−１は、点Ｐ２と画角領域２２ｃの８つの点とを連結する直線と平面１０００との交点となる。これらの点Ｐ２２−１により、平面１０００上に遠方画角領域２２−１が形成される。遠方画角領域２２−１は、水平画角方向の中心線２２ａ−１と、垂直画角方向の中心線２２ｂ−１とを有する。

ついで、制御部１０Ｈは、以下の数式（１）に基づいて、遠方画角領域２２−１の各点Ｐ２２−１を画角領域１２上に射影する。

数式（１）において、ｕ、ｖは画角領域１２ｃ上に定義されるｘｙ平面上の２次元座標であり、ｘ_ｗ、ｙ_ｗ、ｚ_ｗは仮想空間上の点Ｐ２２−１の３次元座標である。図２８に示す画角領域２２−２は、画角領域１２に射影された画角領域２２を示す。点Ｐ２２−２は点Ｐ２２−１に対応する。また、水平画角方向の中心線２２ａ−２は中心線２２ａ−１に対応し、垂直画角方向の中心線２２ｂ−２は中心線２２ｂ−１に対応する。なお、図２８では画角領域２２−２の全体を示したが、実際に表示されるのは、画角領域１２の範囲内の部分である。

制御部１０Ｈは、撮像装置２０の有効画角領域及び有効矩形画角領域も同様の方法により画角領域１２に射影する。図２９に示す画角領域２２−３は、画角領域１２に射影された撮像装置２０の有効画角領域である。点Ｐ２２−３は有効画角領域の頂点である。なお、図２９では画角領域２２−３の全体を示したが、実際に表示されるのは、画角領域１２の範囲内の部分である。

以上の結果、制御部１０Ｈは、例えば図３０に示す重畳画角領域を得る。この重畳画角領域には、画角領域１２に画角領域１２−４、１２−５、２２−４が重畳されている。画角領域１２−４は、画角領域１２に射影された撮像装置１０の有効画角領域１２−２である。点Ｐ１２−４は有効画角領域１２−２の頂点Ｐ１２−２に対応する。画角領域１２−５は、画角領域１２に射影された撮像装置１０の有効矩形画角領域１２−３である。画角領域２２−４は、画角領域１２に射影された撮像装置２０の有効矩形画角領域である。中心点Ｐ１２−５、Ｐ２２−４は、画角領域１２−５、２２−４の中心点である。なお、図３０では、画角領域２２−２、２２−３を省略した。また、画角領域１２以外の画角領域の水平画角方向の中心線及び垂直画角方向の中心線を省略した。

さらに、制御部１０Ｈは、目標交点Ｐも上記と同様の方法により画角領域１２に射影する。

ステップＳ１１０において、制御部１０Ｈは、生成された重畳画角領域を一時記憶部１０Ｎに出力する。さらに、制御部１０Ｈは、一時記憶部１０Ｎに記憶された重畳画角領域のうち、必要な画角領域を表示部１０Ｊに表示する。制御部１０Ｈは、全ての画角領域を表示してもよいし、ユーザにより選択された画角領域を表示してもよい。また、ユーザに選択されなかった画角領域については、上述した変換処理を行わなくても良い。また、上述の処理例では、光軸１１〜５１が目標交点Ｐを向くように撮像装置１０〜５０の姿勢を補正したが、このような補正を行わずに撮像装置１０の画角領域１２に他の撮像装置２０〜５０の画角領域２２〜５２を重畳してもよい。具体的な表示例については後述する。

＜５．撮像装置に表示される画像例＞
（５−１．撮像装置に表示される画像例１）
つぎに、撮像装置１０等に表示される画像の例を説明する。図３１は、画像例１を示す。この画像例１では、撮像装置１０〜５０により被写体Ｘ１、Ｘ２を撮像している。そして、撮像装置１０の表示部１０Ｊに画像例１の画像が表示される。具体的には、撮像装置１０の表示部１０Ｊには、被写体Ｘ１、Ｘ２、撮像装置１０の画角領域１２が表示される。また、画角領域１２には、画角領域１２の特徴情報の一例として、水平画角方向の中心線１２ａ、垂直画角方向の中心線１２ｂが表示される。さらに、表示部１０Ｊには、画角領域１２−４、１２−５、２２−２、２２−３、２２−４が画角領域１２に重畳して表示される。これらの画角領域１２−４、１２−５、２２−２、２２−３、２２−４の定義は上述した通りである。さらに、表示部１０Ｊには、画角領域２２−２の特徴情報として、画角領域２２−２の水平画角方向の中心線２２ａ−２、垂直画角方向の中心線２２ｂ−２も表示される。なお、図３１では、画角領域１２の枠外の部分も示されているが、画角領域１２の枠外の部分は表示部１０Ｊには表示されない。また、制御部１０Ｈは、画角領域毎に線種（例えば、色、太さ、点滅の有無等）を変えて表示する。以下の他の画像例においても同様である。

さらに、表示部１０Ｊには目標交点Ｐａも表示される。この目標交点Ｐａは、画角領域１２に射影された目標交点Ｐである。なお、この例では、他の撮像装置３０〜５０も考慮して目標交点Ｐが設定されているため、目標交点Ｐの位置が撮像装置１０、２０の光軸の交点からずれている。

また、画角領域１２、２２−２の特徴情報は他の情報、例えば画角領域１２、２２−２の中心点であってもよい。また、画角領域を表す形態として、例えば画角領域の頂点のみを表示するようにしてもよい。つまり、画角領域を表示する態様はどのようなものであってもよい。また、他の撮像装置３０〜５０の画角領域も表示されても良い。また、例えばユーザの目的が光軸１１を目標交点Ｐに合わせることであれば、撮像装置２０に関する画角領域２２−２、２２−３、２２−４は省略されても良い。逆に、ユーザの目的が画角領域１２を他の撮像装置２０〜５０の画角領域に基づいて調整することを目的とする場合、画角領域１２−４、１２−５は省略されても良い。このような場合としては、例えば、画角領域１２の大きさを他の撮像装置２０〜５０の画角領域の大きさと揃えることが挙げられる。

この画像例１によれば、ユーザは、撮像装置１０の画角領域１２の中心点、すなわち撮像装置１０の光軸１１が目標交点Ｐａからずれていることを直感的かつ容易に把握することができる。さらに、ユーザは、画角領域１２−４、１２−５が画角領域１２からずれていることも直感的かつ容易に把握することができる。このため、ユーザは、このままでは「ユーザの意図に沿わない撮像例１」と同様の画像処理が必要になってしまうことを把握することができる。具体的には、ユーザは、画角領域１２のうち、画角領域１２−５に含まれない部分は使用できない領域となることを容易に把握することができる。より具体的には、ユーザは、撮像画像を新たな画角領域１２ｃ内で撮像される撮像画像に補正した場合に、撮像画像が存在しない領域が発生してしまうことを認識することができる。そして、ユーザは、そのような領域が発生しないように、撮像画像から画角領域１２−５を抽出する必要があることを把握することができる。したがって、ユーザは、画角領域１２の中心点が目標交点Ｐａに一致するように、撮像装置１０の姿勢を調整する。上述した処理例の処理は随時行われるので、ユーザが撮像装置１０を動かすと、それに応じて表示部１０Ｊに表示される画像も随時変更される。画角領域１２の中心点が目標交点Ｐａに一致した場合、画角領域１２−４、１２−５も画角領域１２にほぼ一致する。

ちなみに、画像例１のように有効画角領域及び有効矩形画角領域が画角領域よりも減少している原因は撮像装置１０〜５０の光軸１１〜５１の少なくともいずれかが目標交点Ｐからずれていることが原因である。画像例１のように、撮像装置１０の表示部１０Ｊに撮像装置１０の有効画角領域及び有効矩形画角領域だけでなく、他の撮像装置２０の有効画角領域及び有効矩形画角領域も表示することで、どの撮像装置に問題があるのかを容易に把握することができる。

さらに、ユーザは、画角領域１２の大きさが画角領域２２−２の大きさと異なっていることを把握することができる。この場合、撮像装置１０の焦点距離が撮像装置２０の焦点距離と合っていないと考えられる。そこで、ユーザは、画角領域１２の大きさが画角領域２２−２の大きさにほぼ一致するように、焦点距離を調整することができる。さらに、ユーザは、画角領域１２の水平画角方向が画角領域２２の水平画角方向からずれていることも把握することができる。このため、ユーザは、撮像装置１０の姿勢を調整する（光軸１１を中心に回転させる）ことで、画角領域１２の水平画角方向を画角領域２２の水平画角方向に一致させることができる。したがって、ユーザは、画角領域１２の調整をより直感的かつ容易に行うことができる。

また、画像例１では、ユーザは、画角領域２２−２が画角領域２２−３、２２−４からずれていることも容易に把握することができる。したがって、ユーザは、撮像装置２０の光軸２１も目標交点Ｐからずれていることも直感的かつ容易に把握することができる。

（５−２．撮像装置に表示される画像例２）
図３２は画像例２を示す。この画像例２では、撮像装置１０〜５０により被写体Ｘ１、Ｘ２を撮像している。そして、撮像装置２０の表示部に画像例２の画像が表示される。具体的には、撮像装置２０の表示部には、被写体Ｘ１、Ｘ２、撮像装置２０の画角領域２２、水平画角方向の中心線２２ａ、垂直画角方向の中心線２２ｂが表示される。さらに、表示部１０Ｊには、画角領域１２−１０、１２−１１、１２−１２、２２−１０、２２−１１が画角領域１２に重畳して表示される。画角領域１２−１０は、画角領域１２に射影された画角領域１２である。画角領域１２−１１は、画角領域１２に射影された有効画角領域１２−２である。画角領域１２−１２は、画角領域１２に射影された有効矩形画角領域１２−３である。画角領域２２−１０は、画角領域２２に射影された撮像装置２０の有効画角領域である。画角領域２２−１１は、画角領域２２に射影された撮像装置２０の有効矩形画角領域である。さらに、表示部には、画角領域１２−１０の水平画角方向の中心線１２ａ−１０、垂直画角方向の中心線１２ｂ−１０も表示される。

さらに、表示部には目標交点Ｐａも表示される。この目標交点Ｐａの定義は上述した通りである。なお、他の画角領域の水平画角方向の中心線及び垂直画角方向の中心線も表示されてもよい。また、画角領域の中心線の代わりに画角領域の中心点が表示されてもよい。また、他の撮像装置３０〜５０の画角領域も表示されても良い。また、例えばユーザの目的が光軸２１を目標交点Ｐに合わせることであれば、撮像装置１０に関する画角領域１２−１０、１２−１１、１２−１２は省略されても良い。

この画像例２においても、ユーザは、画角領域２２の調整をより直感的かつ容易に行うことができる。さらに、ユーザは、他の撮像装置１０の光軸１１も目標交点Ｐからずれていることも直感的かつ容易に把握することができる。すなわち、ユーザは、画像例１と同様の対応を行うことができる。

＜５−３．撮像装置に表示される画像例３＞
図３３は画像例３を示す。この画像例３では、撮像装置１０、２０により被写体Ａ、Ｂを撮像している。そして、撮像装置１０の表示部１０Ｊに画像例３の画像が表示される。具体的には、撮像装置１０の表示部１０Ｊには、被写体Ａ、Ｂ、撮像装置２０の画角領域２２−２、水平画角方向の中心線２２ａ−２、垂直画角方向の中心線２２ｂ−２が表示される。画角領域２２−２の定義は上述した通りである。なお、画像例３では、画角領域２２−２をほぼ矩形として示したが、目標交点に対する光軸のずれ量に応じて矩形から歪むことになる。以下の各画像例においても同様である。また、他の種類の画角領域、例えば画角領域１２−４、１２−５、２２−３、２２−４等（すなわち、有効画角領域、有効矩形画角領域等）を表示してもよい。以下の各画像例においても同様である。

この例では、画角領域２２−２の大きさは画角領域１２とほぼ同じであるが、水平画角方向、光軸がずれている。このため、ユーザは、水平画角方向及び光軸を調整することができる。なお、ユーザの意図が、例えば撮像装置毎に焦点距離を変えるものである場合には、ユーザは、画角領域２２−２の大きさと画角領域１２の大きさとが異なるように焦点距離を調整する。

＜５−４．撮像装置に表示される画像例４＞
図３４は画像例４を示す。この画像例４では、撮像装置１０、２０により被写体Ａ、Ｂを撮像している。そして、撮像装置１０の表示部１０Ｊに画像例４の画像が表示される。具体的には、撮像装置１０の表示部１０Ｊには、被写体Ａ、Ｂ、撮像装置２０の画角領域２２−２、水平画角方向の中心線２２ａ−２、垂直画角方向の中心線２２ｂ−２が表示される。画角領域２２−２の定義は上述した通りである。

この例では、画角領域２２−２の大きさは画角領域１２よりも小さく、水平画角方向、光軸がずれている。このため、ユーザは、水平画角方向及び光軸を調整することができる。なお、ユーザの意図が、撮像装置１０の焦点距離を撮像装置２０の焦点距離よりも短くするものである場合には、焦点距離を調整しなくても良い。ただし、焦点距離を揃えたい場合には、ユーザは、画角領域２２−２の大きさと画角領域１２の大きさとが揃うように焦点距離を調整する。

＜５−５．撮像装置に表示される画像例５＞
図３５は画像例５を示す。この画像例５では、撮像装置１０、２０により被写体Ａ、Ｂを撮像している。そして、撮像装置１０の表示部１０Ｊに画像例５の画像が表示される。具体的には、撮像装置１０の表示部１０Ｊには、被写体Ａ、Ｂ、撮像装置２０の画角領域２２−２、水平画角方向の中心線２２ａ−２、垂直画角方向の中心線２２ｂ−２が表示される。画角領域２２−２の定義は上述した通りである。

この例では、画角領域２２−２の大きさは画角領域１２よりも大きく、水平画角方向、光軸がずれている。このため、ユーザは、水平画角方向及び光軸を調整することができる。なお、ユーザの意図が、撮像装置１０の焦点距離を撮像装置２０の焦点距離よりも長くするものである場合には、焦点距離を調整しなくても良い。ただし、焦点距離を揃えたい場合には、ユーザは、画角領域２２−２の大きさと画角領域１２の大きさとが揃うように焦点距離を調整する。

＜５−６．撮像装置に表示される画像例６＞
図３６は画像例６を示す。この画像例６では、撮像装置１０〜５０により被写体Ａ、Ｂを撮像している。そして、撮像装置１０の表示部１０Ｊに画像例６の画像が表示される。具体的には、撮像装置１０の表示部１０Ｊには、被写体Ａ、Ｂが表示される。ただし、この例では、撮像装置２０の画角領域２２−２が画角領域１２に対して大きくずれており、画角領域１２の外に存在する。このため、画角領域２２−２は画角領域１２内に表示されない。この原因としては、撮像装置２０の光軸がユーザの意図した方向から大きくずれていることが考えられる。この場合、制御部１０Ｈは、画角領域２２−２の位置を示す位置指示情報を画角領域１２内に表示してもよい。この例では、位置指示情報はインジケータＣとなっている。また、この例ではインジケータＣは矢印画像となっているが、他の種類のインジケータであってもよいことはもちろんである。音声などにより画角領域２２−２の位置を教示してもよい。すなわち、位置指示情報は音声情報であってもよい。画像表示と音声とを併用してもよい。画角領域２２−２の定義は上述した通りである。

この例では、画角領域２２−２の光軸が大きくずれている。このため、ユーザは、まず、撮像装置２０の光軸を調整することで画角領域１２内に画角領域２２−２を表示させ、その後、画像例３、４５と同様の処理を行っても良い。

＜５−７．撮像装置に表示される画像例７＞
図３７は画像例７を示す。この画像例７では、撮像装置１０〜３０により被写体Ａ、Ｂを撮像している。そして、撮像装置１０の表示部１０Ｊに画像例７の画像が表示される。具体的には、撮像装置１０の表示部１０Ｊには、被写体Ａ、Ｂ、撮像装置２０の画角領域２２−２、水平画角方向の中心線２２ａ−２、垂直画角方向の中心線２２ｂ−２が表示される。画角領域２２−２の定義は上述した通りである。さらに、表示部１０Ｊには、撮像装置３０の画角領域３２−２、水平画角方向の中心線３２ａ−２、垂直画角方向の中心線３２ｂ−２が表示される。画角領域３２−２は、画角領域１２に射影された撮像装置３０の画角領域３２である。

この例では、画角領域２２−２の大きさは画角領域１２とほぼ同じであり、水平画角方向、光軸がずれている。また、画角領域３２−２の大きさは画角領域１２よりも小さく、水平画角方向、光軸がずれている。このため、ユーザは、撮像装置１０〜３０の光軸が揃うように撮像装置１０〜３０を調整することができる。なお、本画像例７では、目標交点Ｐａを表示してもよい。また、ユーザは、撮像装置２０、３０に対して水平画角方向及び光軸を調整することができる。また、ユーザの意図が、撮像装置１０の焦点距離を撮像装置３０の焦点距離よりも短くするものである場合には、焦点距離を調整しなくても良い。ただし、焦点距離を揃えたい場合には、ユーザは、画角領域３２−２の大きさと画角領域１２の大きさとが揃うように焦点距離を調整する。また、ユーザの意図が撮像装置毎に焦点距離を変えるものである場合には、ユーザは、画角領域２２−２の大きさと画角領域１２の大きさとが異なるように焦点距離を調整する。

以上により、本実施形態によれば、制御部１０Ｈは、複数の撮像装置のうち、いずれか一の撮像装置の画角領域に、一の撮像装置の画角領域を調整するための調整用画角領域を重畳する。これにより、ユーザは、画角領域の調整をより直感的かつ容易に行うことができる。

さらに、制御部１０Ｈは、複数の撮像装置に関する撮像装置情報に基づいて、調整用画角領域を生成する。これにより、制御部１０Ｈは、調整用画角領域をより正確に生成することができる。

さらに、制御部１０Ｈは、撮像装置情報に基づいて、一の撮像装置の画角領域及び他の撮像装置の画角領域のうち、少なくとも一方を変換し、変換後の画角領域を調整用画角領域とする。これにより、制御部１０Ｈは、調整用画角領域をより正確に生成することができる。

さらに、制御部１０Ｈは、撮像装置情報に基づいて、複数の撮像装置の光軸の目標交点を算出し、当該目標交点に基づいて、一の撮像装置の画角領域及び他の撮像装置の画角領域のうち、少なくとも一方を変換する。これにより、制御部１０Ｈは、調整用画角領域をより正確に生成することができる。

さらに、制御部１０Ｈは、一の撮像装置の光軸が目標交点を向くように撮像装置情報を調整し、調整後の撮像装置情報に基づいて、一の撮像装置の画角領域を変換する。これにより、制御部１０Ｈは、調整用画角領域をより正確に生成することができる。

さらに、制御部１０Ｈは、変換後の一の撮像装置の画角領域から矩形画角領域を抽出し、矩形画角領域を調整用画角領域とする。これにより、制御部１０Ｈは、調整用画角領域をより正確に生成することができる。

さらに、制御部１０Ｈは、他の撮像装置の光軸が目標交点を向くように撮像装置情報を調整し、調整後の撮像装置情報に基づいて、他の撮像装置の画角領域を変換する。これにより、制御部１０Ｈは、調整用画角領域をより正確に生成することができる。

さらに、制御部１０Ｈは、変換後の他の撮像装置の画角領域から矩形画角領域を抽出し、矩形画角領域を調整用画角領域とする。これにより、制御部１０Ｈは、調整用画角領域をより正確に生成することができる。

さらに、制御部１０Ｈは、目標交点を一の撮像装置の画角領域に重畳する。これにより、ユーザは、画角領域の調整をより直感的かつ容易に行うことができる。

さらに、撮像装置情報には、複数の撮像装置の設置位置、焦点距離、及び撮像素子のサイズが含まれる。これにより、制御部１０Ｈは、調整用画角領域をより正確に生成することができる。

さらに、制御部１０Ｈは、調整用画角領域に調整用画角領域の特徴部分を示す特徴情報
を重畳する。これにより、ユーザは、画角領域の調整をより直感的かつ容易に行うことができる。

ここで、制御部１０Ｈは、調整用画角領域の水平画角方向の中心線、垂直画角方向の中心線、及び中心点のうち、少なくとも１種を特徴情報とする。これにより、ユーザは、画角領域の調整をより直感的かつ容易に行うことができる。

さらに、上記の処理は撮像装置によって行われる。したがって、撮像装置は、より迅速に上記の調整用画角領域を表示することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、撮像装置がいわゆるカメラの形態となっているが、撮像を行う装置、例えばスマートフォン、携帯電話等に対しても本技術を好適に適用することができる。また、図１８の処理は、撮像装置１０〜５０以外の装置、例えば演算装置６００に行わせるようにしてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の撮像装置のうち、いずれか一の撮像装置の画角領域に、前記一の撮像装置の画角領域を調整するための調整用画角領域を重畳する制御部を備える、情報処理装置。
（２）
前記制御部は、前記複数の撮像装置に関する撮像装置情報に基づいて、前記調整用画角領域を生成する、前記（１）記載の情報処理装置。
（３）
前記制御部は、前記撮像装置情報に基づいて、前記一の撮像装置の画角領域及び他の撮像装置の画角領域のうち、少なくとも一方を変換し、変換後の画角領域を前記調整用画角領域とする、前記（２）記載の情報処理装置。
（４）
前記制御部は、前記撮像装置情報に基づいて、前記複数の撮像装置の光軸の目標交点を算出し、当該目標交点に基づいて、前記一の撮像装置の画角領域及び他の撮像装置の画角領域のうち、少なくとも一方を変換する、前記（３）記載の情報処理装置。
（５）
前記制御部は、前記一の撮像装置の光軸が前記目標交点を向くように前記撮像装置情報を調整し、調整後の前記撮像装置情報に基づいて、前記一の撮像装置の画角領域を変換する、前記（４）記載の情報処理装置。
（６）
前記制御部は、変換後の前記一の撮像装置の画角領域から矩形画角領域を抽出し、前記矩形画角領域を前記調整用画角領域とする、前記（５）記載の情報処理装置。
（７）
前記制御部は、前記他の撮像装置の光軸が前記目標交点を向くように前記撮像装置情報を調整し、調整後の前記撮像装置情報に基づいて、前記他の撮像装置の画角領域を変換する、前記（４）〜（６）の何れか１項に記載の情報処理装置。
（８）
前記制御部は、変換後の前記他の撮像装置の画角領域から矩形画角領域を抽出し、前記矩形画角領域を前記調整用画角領域とする、前記（７）記載の情報処理装置。
（９）
前記制御部は、前記目標交点を前記一の撮像装置の画角領域に重畳する、前記（４）〜（８）の何れか１項に記載の情報処理装置。
（１０）
前記撮像装置情報は、前記複数の撮像装置の画角に関する情報である、前記（２）〜（９）の何れか１項に記載の情報処理装置。
（１１）
前記撮像装置情報には、前記複数の撮像装置の設置位置、姿勢、焦点距離、及び撮像素子のサイズのうち、少なくとも１種が含まれる、前記（１０）に記載の情報処理装置。
（１２）
前記制御部は、前記調整用画角領域に前記調整用画角領域の特徴部分を示す特徴情報を重畳する、前記（１）〜（１１）の何れか１項に記載の情報処理装置。
（１３）
前記制御部は、前記調整用画角領域の水平画角方向の中心線、垂直画角方向の中心線、及び中心点のうち、少なくとも１種を前記特徴情報とする、前記（１２）記載の情報処理装置。
（１４）
前記制御部は、前記調整用画角領域が前記一の撮像装置の画角領域の外に存在する場合には、前記調整用画角領域の位置を示す位置指示情報を提示する、前記（１）〜（１３）の何れか１項に記載の情報処理装置。
（１５）
前記情報処理装置は、前記一の撮像装置である、前記（１）〜（１４）の何れか１項に記載の情報処理装置。
（１６）
プロセッサが、複数の撮像装置のうち、いずれか一の撮像装置の画角領域に、前記一の撮像装置の画角領域を調整するための調整用画角領域を重畳する、情報処理方法。
（１７）
コンピュータに、
複数の撮像装置のうち、いずれか一の撮像装置の画角領域に、前記一の撮像装置の画角領域を調整するための調整用画角領域を重畳する制御機能を実現させる、プログラム。

１０〜５０ 撮像装置
１０Ａ レンズ
１０Ｂ 絞り
１０Ｃ 撮像素子
１０Ｄ 前処理部
１０Ｅ 検波部
１０Ｆ 画質調整部
１０Ｇ 後処理部
１０Ｈ 制御部
１０Ｉ 記憶部
１０Ｊ 表示部
１０Ｋ レンズ駆動部
１０Ｌ 入力操作部
１０Ｍ 通信部
６００ 演算装置
６１０ 通信部
６２０ 表示部
６３０ 入力操作部
６４０ 制御部

Claims (14)

1. 複数の撮像装置のうち、いずれか一の撮像装置の画角領域に、前記一の撮像装置の画角領域を調整するための調整用画角領域を重畳する制御部を備え、
   前記制御部は、前記複数の撮像装置に関する撮像装置情報に基づいて、前記複数の撮像装置の光軸の目標交点を算出し、当該目標交点に基づいて、前記一の撮像装置の画角領域及び他の撮像装置の画角領域のうち、少なくとも一方を変換し、変換後の画角領域を前記調整用画角領域とする、情報処理装置。
2. 前記制御部は、前記一の撮像装置の光軸が前記目標交点を向くように前記撮像装置情報を調整し、調整後の前記撮像装置情報に基づいて、前記一の撮像装置の画角領域を変換する、請求項１記載の情報処理装置。
3. 前記制御部は、変換後の前記一の撮像装置の画角領域から矩形画角領域を抽出し、前記矩形画角領域を前記調整用画角領域とする、請求項２に記載の情報処理装置。
4. 前記制御部は、前記他の撮像装置の光軸が前記目標交点を向くように前記撮像装置情報を調整し、調整後の前記撮像装置情報に基づいて、前記他の撮像装置の画角領域を変換する、請求項１〜３の何れか１項に記載の情報処理装置。
5. 前記制御部は、変換後の前記他の撮像装置の画角領域から矩形画角領域を抽出し、前記矩形画角領域を前記調整用画角領域とする、請求項４に記載の情報処理装置。
6. 前記制御部は、前記目標交点を前記一の撮像装置の画角領域に重畳する、請求項１〜５の何れか１項に記載の情報処理装置。
7. 前記撮像装置情報は、前記複数の撮像装置の画角に関する情報である、請求項１〜６の何れか１項に記載の情報処理装置。
8. 前記撮像装置情報には、前記複数の撮像装置の設置位置、姿勢、焦点距離、及び撮像素子のサイズのうち、少なくとも１種が含まれる、請求項７に記載の情報処理装置。
9. 前記制御部は、前記調整用画角領域に前記調整用画角領域の特徴部分を示す特徴情報を重畳する、請求項１〜８の何れか１項に記載の情報処理装置。
10. 前記制御部は、前記調整用画角領域の水平画角方向の中心線、垂直画角方向の中心線、及び中心点のうち、少なくとも１種を前記特徴情報とする、請求項９に記載の情報処理装置。
11. 前記制御部は、前記調整用画角領域が前記一の撮像装置の画角領域の外に存在する場合には、前記調整用画角領域の位置を示す位置指示情報を提示する、請求項１〜１０の何れか１項に記載の情報処理装置。
12. 前記情報処理装置は、前記一の撮像装置である、請求項１〜１１の何れか１項に記載の情報処理装置。
13. プロセッサが、複数の撮像装置のうち、いずれか一の撮像装置の画角領域に、前記一の撮像装置の画角領域を調整するための調整用画角領域を重畳する情報処理方法であって、
    前記プロセッサは、前記複数の撮像装置に関する撮像装置情報に基づいて、前記複数の撮像装置の光軸の目標交点を算出し、当該目標交点に基づいて、前記一の撮像装置の画角領域及び他の撮像装置の画角領域のうち、少なくとも一方を変換し、変換後の画角領域を前記調整用画角領域とする、情報処理方法。
14. コンピュータに、
    複数の撮像装置のうち、いずれか一の撮像装置の画角領域に、前記一の撮像装置の画角領域を調整するための調整用画角領域を重畳する制御機能を実現させ、
    前記制御機能は、前記複数の撮像装置に関する撮像装置情報に基づいて、前記複数の撮像装置の光軸の目標交点を算出し、当該目標交点に基づいて、前記一の撮像装置の画角領域及び他の撮像装置の画角領域のうち、少なくとも一方を変換し、変換後の画角領域を前記調整用画角領域とする、プログラム。

Images