JP6834976B2 - マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ - Google Patents

Description

本技術は、マルチカメラシステム、マルチカメラシステムの制御方法およびカメラに関し、詳しくは、ラスタースキャン方式で信号を出力するイメージセンサを有するカメラを用いて構成されるマルチカメラシステム等に関する。

従来、ＣＭＯＳイメージセンサ（ＣＭＯＳイメージャ）を使用したカメラ（ビデオカメラ）が知られている。ラスタースキャン方式で信号を出力するＣＭＯＳイメージセンサは、露光を順次ラスタースキャンで行うため、フォーカルプレーンひずみが発生することが知られている。この種のカメラを複数水平方向に並べて撮像を行って各カメラで撮像された画像にスティッチ処理を施してパノラマ画像を生成する際、垂直方向のカメラ間の設置ずれやカメラ本体の個体ばらつきによるイメージャ設置位置のずれ等あった場合には、各カメラで撮像された画像どうしのつなぎ目（境界）付近でフォーカルプレーン歪が目立つものとなる。

特許文献１には、複数のカメラに相互的にタイミングの異なった水平パルスおよび垂直パルスに同期した動作をさせ、各カメラの撮像画像データを合成することで、１台の画像再生用モニタで複数のカメラの画像を同時に監視可能にしたビデオカメラシステムが記載されている。また、特許文献２には、複数のカメラを用いてパノラマ画像を撮像する際に、隣接するカメラの画像に重なりを設けて連続的な画像の視聴を可能にした技術が記載されている。

特開昭６０−２５９０６９号公報 特開平１１−２６１８８４号公報

本技術の目的は、複数の撮像画像にスティッチ処理を施して合成する際につなぎ目付近でフォーカルプレーン歪が目立つことを防止することにある。

本技術の概念は、
複数の、ラスタースキャン方式で信号を出力するイメージセンサを有するカメラと、
上記複数のカメラが有する上記イメージセンサに供給する垂直同期信号の位相のそれぞれを各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす複数の位相制御部を備える
マルチカメラシステムにある。

本技術において、複数のカメラを備えている。各カメラは、ラスタースキャン方式で信号を出力するイメージセンサ、例えばＣＭＯＳイメージセンサのような露光を順次ラスタースキャンで行うイメージセンサを有している。複数の位相制御部により、複数のカメラが有するイメージセンサに供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じて、ずらされる。

例えば、複数の位相制御部のそれぞれは、複数のカメラの内部に設けられる、ようにされてもよい。また、例えば、複数の位相制御部のそれぞれは、複数のカメラの外部に設けられる、ようにされてもよい。また、例えば、複数の位相制御部に複数のカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を供給する中央制御部をさらに備える、ようにされてもよい。この場合、例えば、中央制御部は、複数のカメラの撮像画像を処理して、複数のカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を得る、ようにされてもよい。また、この場合、例えば、中央制御部を、複数の位相制御部のいずれかが兼用する、ようにされてもよい。

また、例えば、複数のカメラは４個のカメラであり、この４個のカメラは水平方向に２個および垂直方向に２個の田の字状に配置される、ようにされてもよい。また、例えば、複数のカメラから出力される撮像画像データにスティッチ処理を施してパノラマ画像データを得る画像処理部をさらに備える、ようにされてもよい。

このように本技術においては、複数のカメラが有するイメージセンサに供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされる。そのため、複数の撮像画像にスティッチ処理を施して合成する際につなぎ目付近にキャプチャ時刻が大きく異なるラインが存在することがなく、このつなぎ目付近でフォーカルプレーン歪が目立つことが防止される。

また、本技術の他の概念は、
複数の、ラスタースキャン方式で信号を出力するイメージセンサと、
上記複数のイメージセンサに供給する垂直同期信号の位相のそれぞれを各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす位相制御部を備える
カメラにある。

本技術において、複数のイメージセンサを備えている。各イメージセンサは、ラスタースキャン方式で信号を出力するもの、例えばＣＭＯＳイメージセンサのような露光を順次ラスタースキャンで行うものである。位相制御部により、複数のイメージセンサに供給する垂直同期信号の位相のそれぞれがこの各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量の情報に応じて、ずらされる。

このように本技術においては、複数のイメージセンサに供給する垂直同期信号の位相のそれぞれが各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされる。そのため、複数の撮像画像にスティッチ処理を施して合成する際につなぎ目付近にキャプチャ時刻が大きく異なるラインが存在することがなく、このつなぎ目付近でフォーカルプレーン歪が目立つことが防止される。

また、本技術の他の概念は、
ラスタースキャン方式で信号を出力するイメージセンサと、
リファレンス垂直同期信号を入力する第１の入力部と、
上記垂直同期信号の位相ずらし量情報を入力する第２の入力部と、
上記位相ずらし量情報に基づいて上記リファレンス垂直同期信号の位相をずらし、該位相がずらされた上記リファレンス垂直同期信号を上記イメージセンサに供給する位相制御部を備える
カメラにある。

本技術において、ラスタースキャン方式で信号を出力するイメージセンサ、例えばＣＭＯＳイメージセンサのような露光を順次ラスタースキャンで行うイメージセンサと、リファレンス垂直同期信号を入力する第１の入力部と、垂直同期信号の位相ずらし量情報を入力する第２の入力部を備えている。位相制御部により、位相ずらし量情報に基づいてリファレンス垂直同期信号の位相がずらされてイメージセンサに供給される。このように本技術においては、イメージセンサに、位相ずらし量情報に基づいてリファレンス垂直同期信号の位相をずらして供給することが可能となる。

本技術によれば、複数の撮像画像にスティッチ処理を施して合成する際につなぎ目付近でフォーカルプレーン歪が目立つことを防止できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

第１の実施の形態としてのマルチカメラシステムの構成例を示すブロック図である。 マルチカメラシステムを構成する各カメラの配置を説明するための図である。 カメラの構成例を示すブロック図である。 マルチカメラシステムにおいて各カメラを設置してから撮像を開始するまでのフローを示す図である。 各カメラのイメージセンサに供給する垂直同期信号の位相のそれぞれを撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらすことで、合成画像のつなぎ目付近でフォーカルプレーン歪が目立つことを防止し得ることを説明するための図である。 各カメラのイメージセンサに供給する垂直同期信号の位相のそれぞれを撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらすことで、合成画像のつなぎ目付近でフォーカルプレーン歪が目立つことを防止し得ることを説明するための図である。 第２の実施の形態としてのマルチカメラシステムの構成例を示すブロック図である。 マルチカメラシステムを構成する各カメラの配置を説明するための図である。 各カメラのイメージセンサに供給する垂直同期信号の位相のそれぞれを撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらすことで、合成画像のつなぎ目付近でフォーカルプレーン歪が目立つことを防止し得ることを説明するための図である。 各カメラのイメージセンサに供給する垂直同期信号の位相のそれぞれを撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらすことで、合成画像のつなぎ目付近でフォーカルプレーン歪が目立つことを防止し得ることを説明するための図である。 マルチカメラシステムの他の構成例を示すブロック図である。 マルチカメラシステムの他の構成例を示すブロック図である。 マルチカメラシステムの他の構成例を示すブロック図である。 多眼カメラの構成例を示すブロック図である。 多眼カメラを正面および側面から見た図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例

＜１．第１の実施の形態＞
［マルチカメラシステムの構成例］
図１は、第１の実施の形態としてのマルチカメラシステム１０Ａの構成例を示している。このマルチカメラシステム１０Ａは、複数個、ここでは３個のカメラ（ビデオカメラ）、つまりカメラ（カメラ１）１０１-1、カメラ（カメラ２）１０１-2、カメラ（カメラ３）１０１-3を有している。また、マルチカメラシステム１０Ａは、中央制御装置１０２と、表示装置１０３を有している。

カメラ１０１-1，１０１-2，１０１-3は、水平方向に並べて配置される。図２は、カメラ１０１-1，１０１-2，１０１-3の配置状態を示している。図２（ａ）は上から見たカメラ配置図であり、図２（ｂ）は正面から見たカメラ配置図である。図２（ａ）に示すように、隣接するカメラの撮像画像に重なりが発生するように、各カメラにおける撮像が行われる。

カメラ１０１-1，１０１-2，１０１-3は、それぞれ、ラスタースキャン方式で信号を出力するイメージセンサ（イメージャ）、例えばＣＭＯＳイメージセンサを有している。また、カメラ１０１-1，１０１-2，１０１-3は、それぞれ、位相制御部１０４-1，１０４-2，１０４-3を有している。

位相制御部１０４-1，１０４-2，１０４-3は、それぞれ、イメージセンサに供給する垂直同期信号の位相を、対応するカメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす。例えば、カメラ１０１-1，１０１-2，１０１-3の撮像画像のいずれかの位置が基準位置とされる。この場合、位相制御部１０４-1，１０４-2，１０４-3は、それぞれ、ゲンロック（Genlock）信号などのリファレンス垂直同期信号に対して位相ずらし処理を行った後にイメージセンサに供給する。ここで、各カメラの撮像画像の位置は例えば最初のライン（第1ライン）の位置とされ、ずれ量の情報はライン数で与えられる。

中央制御装置１０２は、位相制御部１０４-1，１０４-2，１０４-3のそれぞれに、対応するカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を与える。例えば、中央制御装置１０２は、各カメラでキャリブレーション用のチェッカーパターン等の同一被写体を撮像して得られた画像（撮像画像）を処理して、各カメラの撮像画像の垂直方向の基準位置からのずれ量を求める。

なお、中央制御装置１０２は、スティッチ処理後のパノラマ画像を見てのユーザのずれ量の調整操作に基づいて、各カメラで撮像される画像の垂直方向の基準位置からのずれ量の情報を得ることも考えられる。この場合、ユーザは、つなぎ目付近でフォーカルプレーン歪が目立たなくなるようにずれ量の調整を行う。

また、中央制御装置１０２は、カメラ１０１-1，１０１-2，１０１-3から出力される撮像画像データにスティッチ処理を施してパノラマ画像データを得る。表示装置１０３は、中央制御装置１０２で得られるパノラマ画像データに基づいてパノラマ画像を表示する。表示装置１０３は、例えば、ヘッドマウントディスプレイ、パーソナルコンピュータ等である。

図３は、カメラ１０１（カメラ１０１-1，１０１-2，１０１-3）の構成例を示している。カメラ１０１は、入力端子２０１と、入力端子２０２と、システムクロック生成部２０３と、位相ずらし部２０４と、制御Ｉ/Ｆ部２０５と、イメージセンサ２０６と、カメラ信号処理部２０７と、出力インタフェース部２０８と、撮像画像データ出力端子２０９を有している。イメージセンサ２０６は、ラスタースキャン方式で信号を出力するイメージセンサ、例えばＣＭＯＳイメージセンサである。

入力端子２０１は、ゲンロック信号等のリファレンス垂直同期信号を入力する端子である。システムクロック生成部２０３は、リファレンス垂直同期信号を参照して、このリファレンス垂直同期信号に同期したシステムクロックを生成する。このシステムクロックは、カメラ１０１内の各ブロックに供給される。

入力端子２０２は、撮像画像の垂直方向の基準位置からのずれ量情報（ずらし量情報）を入力する端子である。上述したように、このずれ量情報は例えばライン数で与えられる。制御Ｉ/Ｆ部２０５は、このずれ量情報を、ライン数から、例えば、所定周波数、例えば１００ＭＨｚのクロックの個数で示される位相ずらし量に変換して、位相ずらし部２０４に供給する。

位相ずらし部２０４は、リファレンス垂直同期信号の位相を、制御Ｉ/Ｆ部２０５から供給される位相ずらし量分だけずらす。そして、位相ずらし部２０４は、このように位相がずらされたリファレンス垂直同期信号を、フレーム露光開始用垂直同期信号としてイメージセンサ２０６に供給する。ここで、位相ずらし部２０４および制御Ｉ/Ｆ部２０５は、位相制御部１０４（位相制御部１０４-1，１０４-2，１０４-3）を構成している。

カメラ信号処理部２０７は、イメージセンサ２０６の出力信号に従来周知のカメラ信号処理を施して撮像画像データを得る。この撮像画像データは、出力Ｉ/Ｆ部２０８を介して、撮像画像データ出力端子２０９に出力される。例えば、出力Ｉ/Ｆ部２０８は、ＨＤＭＩインタフェース部あるいはＵＳＢインタフェース部などである。

図４は、図１に示すマルチカメラシステム１０Ａにおいて、カメラ１０１-1，１０１-2，１０１-3を設置してから撮像を開始するまでのフローを示している。ステップＳＴ１で、ユーザは、カメラ１０１-1，１０１-2，１０１-3を設置する。

次に、ステップＳＴ２で、カメラ１０１-1，１０１-2，１０１-3のそれぞれはキャリブレーション用のチェッカーパターン等の同一被写体を撮像する。各カメラの撮像画像は中央制御装置１０２に供給される。中央制御装置１０２は、各カメラの撮像画像を処理して、各カメラの撮像画像の垂直方向の基準位置からのずれ量を求める。中央制御装置１０２で求められた各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報は、それぞれ、対応するカメラに供給される。

次に、ステップＳＴ３で、ずれ量の情報に応じた垂直同期信号の位相ずらし量をカメラ毎に設定する。この場合、各カメラにおいては、制御Ｉ/Ｆ部２０５でずれ量の情報が位相ずらし量に変換され、この位相ずらし量が位相ずらし部２０４に供給され、イメージセンサ２０６に供給される垂直同期信号は、リファレンス垂直同期信号の位相を位相ずらし量分だけずらしたものとされる。

次に、ステップＳＴ４で、中央制御装置１０２は、例えばユーザ撮像開始操作に応じて、各カメラに撮像開始などの命令を図示しない制御Ｉ/Ｆを介して送る。各カメラは、この命令を受け取り、撮像を開始する。中央制御装置１０２は、カメラ１０１-1，１０１-2，１０１-3から出力される撮像画像データにスティッチ処理を施してパノラマ画像データを得て、表示装置１０３に供給する。これにより、表示装置１０３ではパノラマ画像データに基づいた画像の表示が可能となる。

上述したように、図１に示すマルチカメラシステム１０Ａにおいては、カメラ１０１-1，１０１-2，１０１-3が有するイメージセンサ２０６に供給する垂直同期信号の位相のそれぞれが、各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされる。

そのため、垂直方向のカメラ間の設置ずれやカメラ本体の個体ばらつきによるイメージセンサの設置位置のずれ等があったとしても、各撮像画像にスティッチ処理を施して合成する際に、つなぎ目付近にキャプチャ時刻が大きく異なるラインが存在することがなく、このつなぎ目付近でフォーカルプレーン歪が目立つことが防止され、良好なパノラマ画像が得られる。また、カメラ設置の精度が高くなくても良好にスティッチできることから、リグや設置にかかるコストを減らすことができる。

図５（ａ）の左側は、カメラ１０１-1，１０１-2，１０１-3の撮像画像の一例を示している。“動画１”がカメラ１０１-1の撮像画像であり、“動画２”がカメラ１０１-2の撮像画像であり、“動画３”がカメラ１０１-3の撮像画像である。垂直方向のカメラ間の設置ずれやカメラ本体の個体ばらつきによるイメージセンサの設置位置のずれ等により、各カメラの撮像画像の垂直方向にずれが発生している。

“Ｖ１”がカメラ１０１-1の撮像画像の垂直方向の位置を示し、“Ｖ２”がカメラ１０１-2の撮像画像の垂直方向の位置を示し、“Ｖ３”がカメラ１０１-3の撮像画像の垂直方向の位置を示している。また、“Ｌ12”はカメラ１０１-1の撮像画像の位置を基準位置としたカメラ１０１-2の撮像画像の位置のずれ量を示し、“−Ｌ13”はカメラ１０１-1の撮像画像の位置を基準位置としたカメラ１０１-3の撮像画像の位置のずれ量を示している。

カメラ１０１-1，１０１-2，１０１-3のイメージセンサ２０６に供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされることで、各撮像画像において、同一時刻でキャプチャされるラインは、一点鎖線で図示するように、垂直方向に同一位置、あるいは極めて近い位置のラインとなる。そのため、各撮像画像にスティッチ処理を施して合成する際に、つなぎ目付近でフォーカルプレーン歪が目立つことが防止される。図５（ａ）の右側は、各撮像画像にスティッチ処理を施して合成した後のパノラマ画像の一例を示している。

図６（ａ）は、カメラ１０１-1，１０１-2，１０１-3の撮像画像の垂直方向にずれが発生している場合において、各カメラのイメージセンサ２０６に供給する垂直同期信号Ｖsyncの位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされた場合の各カメラのフレーム露光タイミングチャートを示している。この場合、各撮像画像において、垂直方向に同一位置、あるいは極めて近い位置のラインは、一点鎖線で図示するように、同一時刻でキャプチャされる。このことは、上述したように、各撮像画像において、同一時刻でキャプチャされるラインは、垂直方向に同一位置、あるいは極めて近い位置のラインとなることを意味する。

なお、図５（ｂ）の左側も、図５（ａ）の左側と同様に、カメラ１０１-1，１０１-2，１０１-3の撮像画像の一例を示している。カメラ１０１-1，１０１-2，１０１-3のイメージセンサ２０６に供給する垂直同期信号の位相が一致している場合には、各撮像画像において、同一時刻でキャプチャされるラインは、一点鎖線で図示するように、離れた位置のラインとなる。そのため、各撮像画像にスティッチ処理を施して合成する際に、つなぎ目付近でフォーカルプレーン歪が目立つものとなる。図５（ｂ）の右側は、各撮像画像にスティッチ処理を施して合成した後のパノラマ画像の一例を示している。

図６（ｂ）は、カメラ１０１-1，１０１-2，１０１-3の撮像画像の垂直方向にずれが発生している場合において、各カメラのイメージセンサ２０６に供給する垂直同期信号Ｖsyncの位相が合っている場合の各カメラのフレーム露光タイミングチャートを示している。この場合、各撮像画像において、垂直方向に同一位置、あるいは極めて近い位置のラインは、一点鎖線で図示するように、離れた時刻でキャプチャされる。このことは、上述したように、各撮像画像において、同一時刻でキャプチャされるラインは、離れた位置のラインとなることを意味する。

＜２．第２の実施の形態＞
［マルチカメラシステムの構成例］
図７は、第２の実施の形態としてのマルチカメラシステム１０Ｂの構成例を示している。このマルチカメラシステム１０Ｂは、４個のカメラ（ビデオカメラ）、つまりカメラ（カメラ１）３０１-1、カメラ（カメラ２）３０１-2、カメラ（カメラ３）３０１-3、カメラ（カメラ４）３０１-4を有している。また、マルチカメラシステム１０Ｂは、中央制御装置３０２と、表示装置３０３を有している。ここで、各カメラは４Ｋ画像データを得るための４Ｋカメラである。

カメラ３０１-1，３０１-2，３０１-3，３０１-4は、水平方向に２個および垂直方向に２個の田の字状に配置される。図８は、カメラ３０１-1，３０１-2，３０１-3，３０１-4の配置状態を示している。図８（ａ）は上から見たカメラ配置図であり、図８（ｂ）は正面から見たカメラ配置図であり、図８（ｃ）は横から見たカメラ配置図である。図８（ａ），（ｃ）に示すように、隣接するカメラの撮像画像に重なりが発生するように、各カメラにおける撮像が行われる。

カメラ３０１-1，３０１-2，３０１-3，３０１-4は、それぞれ、ラスタースキャン方式で信号を出力するイメージセンサ、例えばＣＭＯＳイメージセンサを有している。また、カメラ３０１-1，３０１-2，３０１-3，３０１-4は、それぞれ、位相制御部３０４-1，３０４-2，３０４-3，３０４-4を有している。

位相制御部３０４-1，３０４-2，３０４-3，３０４-4は、それぞれ、イメージセンサに供給する垂直同期信号の位相を、対応するカメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす。例えば、カメラ３０１-1，３０１-2，３０１-3，３０１-4の撮像画像のいずれかの位置が基準位置とされる。

この場合、位相制御部３０４-1，３０４-2，３０４-3，３０４-4は、それぞれ、ゲンロック（Genlock）信号などのリファレンス垂直同期信号に対して位相ずらし処理を行った後にイメージセンサに供給する。ここで、各カメラの撮像画像の位置は例えば最初のライン（第1ライン）の位置とされ、ずれ量の情報はライン数で与えられる。詳細説明は省略するが、カメラ３０１-1，３０１-2，３０１-3，３０１-4は、上述したマルチカメラシステム１０Ａにおける各カメラと同様の構成とされる（図３参照）。

中央制御装置３０２は、位相制御部３０４-1，３０４-2，３０４-3，３０４-4のそれぞれに、対応するカメラで撮像される画像の垂直方向の基準位置からのずれ量の情報を与える。例えば、中央制御装置３０２は、各カメラでキャリブレーション用のチェッカーパターン等の同一被写体を撮像して得られた画像（撮像画像）を処理して、各カメラの画像の垂直方向の基準位置からのずれ量の情報を求める。

なお、中央制御装置３０２は、スティッチ処理後の８Ｋ画像を見てのユーザのずれ量の調整操作に基づいて、各カメラで撮像される画像の垂直方向の基準位置からのずれ量の情報を得ることも考えられる。この場合、ユーザは、つなぎ目付近でフォーカルプレーン歪が目立たなくなるようにずれ量の調整を行う。

また、中央制御装置３０２は、カメラ３０１-1，３０１-2，３０１-3，３０１-4から出力される４Ｋの撮像画像データにスティッチ処理を施して８Ｋ画像データを得る。表示装置３０３は、中央制御装置３０２で得られる８Ｋ画像データに基づいて８Ｋ画像、あるいは選択された一部の画像を表示する。表示装置３０３は、例えば、ヘッドマウントディスプレイ、パーソナルコンピュータ等である。

図７に示すマルチカメラシステム１０Ｂにおいて、カメラ３０1-1，３０1-2，３０1-3，３０1-4を設置してから撮像を開始するまでのフローは、詳細説明は省略するが、図１に示すマルチカメラシステム１０Ａにおけるフローと同様となる（図４参照）。

上述したように、図７に示すマルチカメラシステム１０Ｂにおいては、カメラ３０１-1，３０１-2，３０１-3，３０１-4が有するイメージセンサ２０６に供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされる。

そのため、垂直方向のカメラ間の設置ずれやカメラ本体の個体ばらつきによるイメージセンサの設置位置のずれ等があったとしても、各撮像画像にスティッチ処理を施して合成する際に、つなぎ目付近にキャプチャ時刻が大きく異なるラインが存在することがなく、このつなぎ目付近でフォーカルプレーン歪が目立つことが防止され、良好な８Ｋ画像が得られる。また、カメラ設置の精度が高くなくても良好にスティッチできることから、リグや設置にかかるコストを減らすことができる。

図９の左側は、カメラ３０１-1，３０１-2，３０１-3，３０１-4の撮像画像の一例を示している。“動画１”がカメラ３０１-1の撮像画像であり、“動画２”がカメラ３０１-2の撮像画像であり、“動画３”がカメラ３０１-3の撮像画像であり、“動画４”がカメラ３０１-4の撮像画像である。

垂直方向のカメラ間の設置ずれやカメラ本体の個体ばらつきによるイメージセンサの設置位置のずれ等により、各カメラの撮像画像の垂直方向にずれが発生している。“Ｖ１”がカメラ３０１-1の撮像画像の垂直方向の位置を示し、“Ｖ２”がカメラ３０１-2の撮像画像の垂直方向の位置を示し、“Ｖ３”がカメラ３０１-3の撮像画像の垂直方向の位置を示し、“Ｖ４”がカメラ３０１-4の撮像画像の垂直方向の位置を示している。

また、“Ｌ12”はカメラ３０１-1の撮像画像の位置を基準位置としたカメラ３０１-2の撮像画像の位置のずれ量を示し、“Ｌ13”はカメラ３０１-1の撮像画像の位置を基準位置としたカメラ３０１-3の撮像画像の位置のずれ量を示し、“Ｌ14”はカメラ３０１-1の撮像画像の位置を基準位置としたカメラ３０１-4の撮像画像の位置のずれ量を示している。

カメラ３０１-1，３０１-2，３０１-3，３０１-4のイメージセンサ２０６に供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされることで、各撮像画像において、同一時刻でキャプチャされるラインは、一点鎖線で図示するように、垂直方向に同一位置、あるいは極めて近い位置のラインとなる。そのため、各撮像画像にスティッチ処理を施して合成する際に、つなぎ目付近でフォーカルプレーン歪が目立つことが防止される。図９の右側は、各撮像画像にスティッチ処理を施して合成した後の画像の一例を示している。

図１０は、カメラ３０１-1，３０１-2，３０１-3，３０１-4の撮像画像の垂直方向にずれが発生している場合において、各カメラのイメージセンサ２０６に供給する垂直同期信号Ｖsyncの位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされた場合の各カメラのフレーム露光タイミングチャートを示している。この場合、各撮像画像において、垂直方向に同一位置、あるいは極めて近い位置のラインは、一点鎖線で図示するように、同一時刻でキャプチャされる。このことは、上述したように、各撮像画像において、同一時刻でキャプチャされるラインは、垂直方向に同一位置、あるいは極めて近い位置のラインとなることを意味する。

上述したように図７に示すマルチカメラシステム１０Ｂは４個の４Ｋカメラで撮像して８Ｋの画像（画像データ）を得る例を示した。詳細説明は省略するが、４個のＨＤカメラで撮像して４Ｋの画像を得る例も同様に構成できる。また、４個だけでなくさらに多数のカメラをマトリクス状に配置して高解像度の画像を得る例にも本技術を同様に適用できる。

＜３．変形例＞
なお、上述実施の形態においては、各カメラの内部にイメージセンサに供給する垂直同期信号の位相をカメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす位相制御部を備える例を示した。しかし、カメラは位相制御部を備えておらず、カメラの外部にこの位相制御部を設けることも考えられる。

図１１は、その場合におけるマルチカメラシステム１０Ｃの構成例を示している。この図１１において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。カメラ１０１-1，１０１-2，１０１-3は、それぞれ、図１に示すマルチカメラシステム１０Ａとは異なって、位相制御部１０４-1，１０４-2，１０４-3を備えてはいない。

カメラ１０１-1，１０１-2，１０１-3の外部に、それぞれ、位相制御部１０４-1，１０４-2，１０４-3と同様の機能を持つ位相制御用機器１０５-1，１０５-2，１０５-3が設けられる。この位相制御用機器１０５（位相制御用機器１０５-1，１０５-2，１０５-3）は、例えば、図３に示すカメラ１０１の構成に含まれるシステムクロック生成部２０３、位相ずらし部２０４、制御Ｉ/Ｆ部２０５に対応する機能部を備えている。

図１１に示すマルチカメラシステム１０Ｃにおいても、図１に示すマルチカメラシステム１０Ａと同様に動作し、カメラ１０１-1，１０１-2，１０１-3が有するイメージセンサ２０６に供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされるものとなる。なお、図１１に示すマルチカメラシステム１０Ｃは、図１に示すマルチカメラシステム１０Ａに対応したものであるが、図７に示すマルチカメラシステム１０Ｂに対応したものも同様に構成できることは勿論である。

また、上述実施の形態においては、複数のカメラの位相制御部にそれぞれの撮像画像の垂直方向の基準位置からのずれ量の情報を供給する中央制御装置を備える例を示した。しかし、中央制御装置を備えておらず、複数の位相制御部（カメラ）のいずれかが兼用する構成も考えられる。

図１２は、その場合におけるマルチカメラシステム１０Ｄの構成例を示している。この図１２において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。カメラ１０１-1の位相制御部１０４-1は、図１に示すマルチカメラシステム１０Ａにおける中央制御装置１０２を兼用する、つまりこの中央制御装置１０２の機能を併せ持っている。

図１２に示すマルチカメラシステム１０Ｄにおいては、カメラ１０１-１の位相制御部１０４-1から、カメラ１０１-2，１０１-3の位相制御部１０４-2，１０４−３にそれぞれの撮像画像の垂直方向の基準位置からのずれ量の情報が与えられる。これにより、図１２に示すマルチカメラシステム１０Ｄにおいては、図１に示すマルチカメラシステム１０Ａと同様に動作し、カメラ１０１-1，１０１-2，１０１-3が有するイメージセンサ２０６に供給する垂直同期信号の位相のそれぞれが各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされるものとなる。

なお、図１２に示すマルチカメラシステム１０Ｄは、図１に示すマルチカメラシステム１０Ａに対応したものであるが、図７に示すマルチカメラシステム１０Ｂに対応したものも同様に構成できることは勿論である。また、図１１に示すマルチカメラシステム１０Ｃに対応したものも同様に構成できる。詳細説明は省略するが、図１３は、その場合におけるマルチカメラシステム１０Ｅの構成例を示している。

また、上述実施の形態においては、カメラ間の接続や中央制御装置との接続が有線接続であるように示しているが、無線接続であってもよい。また、このことはカメラと外付けの位相制御用機器の接続においもて同様である。

また、上述実施の形態においては、複数のカメラを備えるマルチカメラシステムの例を示したが、本技術を複数のイメージセンサを備える多眼カメラに適用することも可能である。

図１４は、多眼カメラ１０Ｆの構成例を示している。この多眼カメラ１０Ｆは、筐体４０１内に、複数個、ここでは６個のイメージセンサ（イメージャ）４０２-1〜４０２-6を有している。イメージセンサ４０２-1〜４０２-6は、水平方向に３個および垂直方向に２個のマトリクス状に配置されている。イメージセンサ４０２-1〜４０２-6は、それぞれ、ラスタースキャン方式で信号を出力するイメージセンサ、例えばＣＭＯＳイメージセンサである。

筐体４０１には、イメージセンサ４０２-1〜４０２-6のそれぞれに対応して、レンズ４０３-1〜４０３-6が配設されている。図１５（ａ）は、多眼カメラ１０Ｆの正面から見た図であり、図１５（ｂ）は、多眼カメラ１０Ｆを側面から見た図である。図７に示すマルチカメラシステム１０Ｂと同様に、隣接するイメージセンサの撮像画像に重なりが発生するように、各イメージセンサにおける撮像が行われる。

図１４に戻って、多眼カメラ１０Ｆは、筐体４０１内に、イメージセンサ４０２-1〜４０２-6のそれぞれに対応してカメラ信号処理部４０４-1〜４０４-6と、統合処理部４０５と、出力Ｉ/Ｆ部４０６を有している。カメラ信号処理部４０４-1〜４０４-6は、それぞれ、イメージセンサ４０２-1〜４０２-6の出力信号に従来周知のカメラ信号処理を施して撮像画像データを得る。

統合処理部４０５は、イメージセンサ４０２-1〜４０２-6のそれぞれに対応して、マルチカメラシステム１０Ａ，１０Ｂ（図１、図７参照）の各カメラに備えられている位相制御部と同様に機能する第１の機能部を備えている。また、この統合処理部４０５は、マルチカメラシステム１０Ａ，１０Ｂ（図１、図７参照）における中央制御装置と同様に機能する第２の機能部を備えている。

統合処理部４０５は、イメージセンサ４０２-1〜４０２-6でキャリブレーション用のチェッカーパターン等の同一被写体を撮像して得られた画像（撮像画像）を処理して、各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量を求める。また、統合処理部４０５は、このずれ量の情報に基づいて、各イメージセンサに、各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量に応じて位相がずらされた垂直同期信号Ｖs1〜Ｖs6を供給する。また、統合処理部４０５は、イメージセンサ４０２-1〜４０２-6から出力される撮像画像データにスティッチ処理を施して合成画像データを得る。

出力Ｉ/Ｆ部４０６は、統合処理部４０５で得られた合成画像データを、外部に出力するためのインタフェース部である。例えば、出力Ｉ/Ｆ部４０６は、ＨＤＭＩインタフェース部あるいはＵＳＢインタフェース部などである。

図１４に示す多眼カメラ１０Ｆにおいては、イメージセンサ４０２-1〜４０２-6に供給する垂直同期信号Ｖs1〜Ｖs6の位相のそれぞれが各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらされる。そのため、イメージセンサ４０２-1〜４０２-6の筐体４０１内における配設位置にばらつきがあったとしても、各撮像画像にスティッチ処理を施して合成する際に、つなぎ目付近にキャプチャ時刻が大きく異なるラインが存在することがなく、このつなぎ目付近でフォーカルプレーン歪が目立つことが防止され、良好な合成画像が得られる。

図１４に示す多眼カメラ１０Ｆにおいては、６個のイメージセンサ４０２-1〜４０２-6を備える例を示した。詳細説明は省略するが、６個だけでなくその他の個数のイメージセンサを備える多眼カメラにも本技術を同様に適用できる。また、図１４に示す多眼カメラ１０Ｆにおいては、筐体４０１内にイメージセンサ４０２-1〜４０２-6が固定配置され、全てのイメージセンサ４０２-1〜４０２-6が使用される例を示した。しかし、イメージセンサ４０２-1〜４０２-6の配置を任意に変更し得る構成、またイメージセンサ４０２-1〜４０２-6の一部を選択的に使用可能とする構成も考えられる。そのような構成にあっても、本技術が適用されることで良好な合成画像（パノラマ画像）を得ることが可能となる。

また、本技術は、以下のような構成を取ることもできる。
（１）複数の、ラスタースキャン方式で信号を出力するイメージセンサを有するカメラと、
上記複数のカメラが有する上記イメージセンサに供給する垂直同期信号の位相のそれぞれを各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす複数の位相制御部を備える
マルチカメラシステム。
（２）上記複数の位相制御部のそれぞれは、上記複数のカメラの内部に設けられる
前記（１）に記載のマルチカメラシステム。
（３）上記複数の位相制御部のそれぞれは、上記複数のカメラの外部に設けられる
前記（１）に記載のマルチカメラシステム。
（４）上記複数の位相制御部に上記複数のカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を供給する中央制御部をさらに備える
前記（１）から（３）のいずれかに記載のマルチカメラシステム。
（５）上記中央制御部は、上記複数のカメラの撮像画像を処理して、上記複数のカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を得る
前記（４）に記載のマルチカメラシステム。
（６）上記中央制御部を、上記複数の位相制御部のいずれかが兼用する
前記（４）または（５）に記載のマルチカメラシステム。
（７）上記複数のカメラは４個のカメラであり、
上記４個のカメラは水平方向に２個および垂直方向に２個の田の字状に配置される
前記（１）から（６）のいずれかに記載のマルチカメラシステム。
（８）上記複数のカメラから出力される撮像画像データにスティッチ処理を施してパノラマ画像データを得る画像処理部をさらに備える
前記（１）から（７）のいずれかに記載のマルチカメラシステム。
（９）複数の、ラスタースキャン方式で信号を出力するイメージセンサを有するカメラを備えるマルチカメラシステムの制御方法であって、
上記複数のカメラが有する上記イメージセンサに供給する垂直同期信号の位相のそれぞれを各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす
マルチカメラシステムの制御方法。
（１０）複数の、ラスタースキャン方式で信号を出力するイメージセンサと、
上記複数のイメージセンサに供給する垂直同期信号の位相のそれぞれを各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす位相制御部を備える
カメラ。
（１１）ラスタースキャン方式で信号を出力するイメージセンサと、
リファレンス垂直同期信号を入力する第１の入力部と、
上記垂直同期信号の位相ずらし量情報を入力する第２の入力部と、
上記位相ずらし量情報に基づいて上記リファレンス垂直同期信号の位相をずらし、該位相がずらされた上記リファレンス垂直同期信号を上記イメージセンサに供給する位相制御部を備える
カメラ。
（１２）上記イメージセンサは、ＣＭＯＳイメージセンサである
前記（１１）に記載のカメラ。

１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ，１０Ｅ・・・マルチカメラシステム
１０１-1，１０１-2，１０１-3，３０１-1，３０１-2，３０１-3，３０１-4・・・カメラ
１０２，３０２・・・中央制御装置
１０３，３０３・・・表示装置
１０４-1，１０４-2，１０４-3，３０４-1，３０４-2，３０４-3，３０４-4・・・位相制御部
１０５-1，１０５-2，１０５-3・・・位相制御用機器
２０１・・・入力端子（ゲンロック信号等のリファレンス垂直同期信号を入力する端子）
２０２・・・入力端子（ずれ量情報（ずらし量情報）を入力する端子）
２０３・・・システムクロック生成部
２０４・・・位相ずらし部
２０５・・・制御Ｉ/Ｆ部
２０６・・・イメージセンサ
２０７・・・カメラ信号処理部
２０８・・・出力Ｉ/Ｆ部
２０９・・・撮像画像データ出力端子
４０１・・・筐体
４０２-1〜４０２-6・・・イメージセンサ
４０３-1〜４０３-6・・・レンズ
４０４-1〜４０４-6・・・カメラ信号処理部
４０５・・・統合処理部
４０６・・・出力Ｉ/Ｆ部

Claims (12)

1. 複数の、ラスタースキャン方式で信号を出力するイメージセンサを有するカメラと、
   上記複数のカメラが有する上記イメージセンサに供給する垂直同期信号の位相のそれぞれを各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす複数の位相制御部を備える
   マルチカメラシステム。
2. 上記複数の位相制御部のそれぞれは、上記複数のカメラの内部に設けられる
   請求項１に記載のマルチカメラシステム。
3. 上記複数の位相制御部のそれぞれは、上記複数のカメラの外部に設けられる
   請求項１に記載のマルチカメラシステム。
4. 上記複数の位相制御部に上記複数のカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を供給する中央制御部をさらに備える
   請求項１から３のいずれかに記載のマルチカメラシステム。
5. 上記中央制御部は、上記複数のカメラの撮像画像を処理して、上記複数のカメラの撮像画像の垂直方向の基準位置からのずれ量の情報を得る
   請求項４に記載のマルチカメラシステム。
6. 上記中央制御部を、上記複数の位相制御部のいずれかが兼用する
   請求項４または５に記載のマルチカメラシステム。
7. 上記複数のカメラは４個のカメラであり、
   上記４個のカメラは水平方向に２個および垂直方向に２個の田の字状に配置される
   請求項１から６のいずれかに記載のマルチカメラシステム。
8. 上記複数のカメラから出力される撮像画像データにスティッチ処理を施してパノラマ画像データを得る画像処理部をさらに備える
   請求項１から７のいずれかに記載のマルチカメラシステム。
9. 複数の、ラスタースキャン方式で信号を出力するイメージセンサを有するカメラを備えるマルチカメラシステムの制御方法であって、
   上記複数のカメラが有する上記イメージセンサに供給する垂直同期信号の位相のそれぞれを各カメラの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす
   マルチカメラシステムの制御方法。
10. 複数の、ラスタースキャン方式で信号を出力するイメージセンサと、
    上記複数のイメージセンサに供給する垂直同期信号の位相のそれぞれを各イメージセンサの撮像画像の垂直方向の基準位置からのずれ量の情報に応じてずらす位相制御部を備える
    カメラ。
11. ラスタースキャン方式で信号を出力するイメージセンサと、
    リファレンス垂直同期信号を入力する第１の入力部と、
    上記リファレンス垂直同期信号の位相ずらし量情報を入力する第２の入力部と、
    上記位相ずらし量情報に基づいて上記リファレンス垂直同期信号の位相をずらし、該位相がずらされた上記リファレンス垂直同期信号を上記イメージセンサに供給する位相制御部を備える
    カメラ。
12. 上記イメージセンサは、ＣＭＯＳイメージセンサである
    請求項１１に記載のカメラ。
    

Images