JP7008431B2

JP7008431B2 - 撮像装置、制御方法、プログラム及び撮像システム

Info

Publication number: JP7008431B2
Application number: JP2017109315A
Authority: JP
Inventors: 省豪上野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-06-01
Filing date: 2017-06-01
Publication date: 2022-01-25
Anticipated expiration: 2037-06-01
Also published as: JP2018207254A

Description

本発明は、撮像装置、制御方法、プログラム及び撮像システムに関し、特に複数の位置に配置した撮像装置から得られた画像に基づき、任意の視点の画像を生成する技術に関する。

対象の環境に配置された複数の撮像装置による撮像画像を解析し、環境中に撮像が行われない範囲（死角）が存在する場合に、対応する撮像装置に撮像範囲を変更するよう移動制御することで、死角の発生を回避する監視システムが存在する（特許文献１）。

特開２０１５－２０４５１２号公報

ところで、近年、特許文献１のように複数の撮像装置を用いて所定の被写体を捉えるシステムは、監視用途に限らず存在している。例えば、被写体の周囲に配置された複数の撮像装置により撮像された画像を用いることで、所望の視点位置や方向から該被写体を捉えた、所謂任意視点の画像を補間生成して提示する観賞用途にも用いられる。

このような任意視点の画像を提供する用途においては、視点変化に応じて滑らかに遷移する画像提示が好適であるが、所望の視点の画像を生成するために、例えば被写体を中心とした所定の撮像範囲を撮像していることが必要となる。より詳しくは、複数の撮像装置から得られた画像を重み付け加算し、被写体の３次元モデルにマッピングして所望の視点の画像の補間生成する際に、演算に用いる撮像範囲の像が補間使用される視点の画像に含まれている必要がある。

しかしながら、適切な姿勢で撮像装置が設置されていない、振動や衝撃によって設置した撮像装置の姿勢が変化した等、所望の視点の画像の生成に用いられる画像に必要な撮像範囲の情報が含まれない場合、好適な状態の画像を生成できない可能性があった。このとき、特許文献１のように映像情報処理装置が各撮像装置により撮像された画像に基づき画像解析する構成では、各撮像装置の撮像範囲を好適とするまでに遅延が生じ得、特に任意視点の画像を提供する態様において意図しない画像が提供され得る。具体的には、映像情報処理装置が各撮像装置から画像を受信し、設定されている撮像範囲が好適であるか否かを画像解析により判定し、他の撮像装置によって所望の撮像範囲がカバーされるよう制御命令を送信し、撮像範囲の変更がなされるまでに時間を要し得る。従って、要求された視点について補間生成された画像が好適でない、あるいは要求された視点の画像を提供することができない可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、撮像範囲の変更が発生した場合に、範囲外となる領域の撮像を他の撮像装置に迅速に伝達する撮像装置、制御方法、プログラム及び撮像システムを提供することを目的とする。

前述の目的を達成するために、本発明の撮像装置は、他の撮像装置と連動して被写体を撮像する撮像装置であって、被写体を撮像した画像を取得する撮像手段と、撮像手段の撮像範囲の変更を検出する検出手段と、検出手段により撮像範囲の変更が検出された場合に、他の撮像装置の撮像範囲の調整に用いられる調整情報を生成して出力する出力手段と、を有し、調整情報は、他の撮像装置の撮像範囲を、変更後の撮像範囲に含まれない被写体の範囲を含めるように調整する情報であることを特徴とする。

このような構成により本発明によれば、撮像範囲の変更が発生した場合に、範囲外となる領域の撮像を他の撮像装置に迅速に伝達することが可能となる。

本発明の実施形態及び変形例に係る撮像システムの各装置の機能構成を示した図本発明の実施形態及び変形例に係る撮像範囲の調整概要を説明するための図本発明の実施形態に係る撮像システムで行われる、ブレ発生時処理を例示したフローチャート本発明の変形例１に係る撮像範囲の調整及び画像補完の概要を説明するための図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像システムの一例としての、複数の撮像装置に対応する複数のデジタルビデオカメラを連動させ、任意視点の画像（映像）提供を可能ならしめるよう構成された制御サーバを含むシステムに、本発明を適用した例を説明する。しかし、本発明は、複数の撮像装置間における情報通信を可能ならしめ、これらが連動して、撮像装置間で少なくとも一部が共通の被写体を撮像することが可能な任意の機器に適用可能である。

《システムの構成》
図１は、本発明の実施形態に係る撮像システムに含まれる装置、及び各装置の機能構成を示したブロック図である。図１の例では、連動するデジタルビデオカメラ１００群として４台のデジタルビデオカメラ１００ａ乃至ｄが制御サーバ２００に接続されているが、本発明の実施において連動するデジタルビデオカメラ１００の数はこれに限られるものではない。また本実施形態では簡単のため、図１には１つのデジタルビデオカメラ１００（デジタルビデオカメラ１００ａ）の構成のみを示し、各デジタルビデオカメラ１００の有する構成は同一であるものとして説明する。しかしながら、各デジタルビデオカメラ１００の構成は必ずしも同一である必要はなく、他の構成を含む、仕様や性能が異なる等により差異を有するものであってもよい。以下の説明では、デジタルビデオカメラ１００を識別する必要がある場合には、ａ～ｄの記号を付して識別するものとし、各機能構成もこれに倣って記号を付すことで、構成がいずれのデジタルビデオカメラ１００に属するかが特定されるものとする。

本実施形態ではデジタルビデオカメラ１００の各々は、所定の主被写体を撮像するべく、該被写体の周囲の予め定められた異なる位置に配置され、主被写体とその周辺領域が撮像範囲に含まれるよう、姿勢が設定されているものとする。即ち、各デジタルビデオカメラ１００は主被写体を提示する異なる視点に対応しており、本実施形態では制御サーバ２００においてこれら視点について撮像された画像に基づき、所望の視点から主被写体を提示する画像が生成されて提供される。換言すれば、デジタルビデオカメラ１００群は主被写体を定点から捉えるものであり、これら定点と異なる視点について主被写体の観賞要求がなされた場合に、制御サーバ２００は複数の定点画像を合成し、要求された視点の画像を生成可能に構成される。

〈デジタルビデオカメラ１００の構成〉
以下、本実施形態のデジタルビデオカメラ１００の構成について、詳細を説明する。

システムコントローラ１０１は、デジタルビデオカメラ１００が有する各ブロックの動作を制御する。システムコントローラ１０１は、内部にメモリを有しており、恒久的なデータ記憶を行う記憶領域と、一時的なデータ展開や中間データ保持等を行う作業領域とを有する。システムコントローラ１０１は、記憶領域に記憶された各ブロックの動作プログラムを読み出し、作業領域に展開して実行することで、各ブロックの動作を制御することができる。

撮像部１０３は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、撮像光学系１０２を介して素子の撮像面に結像された光学像を光電変換し、映像の１フレームに係るアナログ画像信号を出力する。撮像光学系１０２は、撮像面内における光学中心の結像位置を変更するシフトレンズを含んで構成されるレンズ群であり、設定された撮像設定に応じてレンズ制御部１０９により各レンズが駆動制御される。撮像部１０３は、撮像により得られたアナログ画像信号を、撮像素子のラインごとに順次信号処理部１０４に出力する。

信号処理部１０４は、撮像部１０３により撮像されて出力されたアナログ画像信号に対し、Ａ／Ｄ変換処理や現像処理を含む、画像最適化に係る各種の信号処理を適用し、得られたデジタル画像信号を画像メモリ１０５に出力して格納させる。

検出部１０６は、デジタルビデオカメラ１００に生じたブレを検出する各種センサを含む。各種センサは、ジャイロセンサや地磁気センサ等であってよく、デジタルビデオカメラ１００に生じた位置及び姿勢の変更（ブレ量）を検出する。なお、本実施形態ではデジタルビデオカメラ１００の「ブレ」に起因して発生する撮像範囲の変更を補正すべく、デジタルビデオカメラ１００の位置及び姿勢の変更を検出するものとして説明するが、撮像範囲の変更の要因はこれに限られるものではない。撮像範囲の変更は、例えば画角の変更を伴う撮像設定が行われたことによっても生じ得るものであり、検出部１０６はデジタルビデオカメラ１００の位置、姿勢及び撮像設定の少なくともいずれかの変更を検出するものとしてもよい。

補正部１０７は、デジタルビデオカメラ１００に生じたブレの影響を低減するブレ補正処理を行う。本実施形態のデジタルビデオカメラ１００では、光学的な補正と電子的な補正の２種類によりブレ補正は行われるが、補正部１０７はこのうち電子的なブレ補正を行う。電子的なブレ補正は、光学的なブレ補正が適用された後の補正残りをさらに補正するために行われるものとする。具体的には、光学的なブレ補正は、検出部１０６により検出された位置及び姿勢の変更量に応じて、レンズ制御部１０９が可動域の範囲でシフトレンズを移動させることで実現される。一方、電子的なブレ補正は、シフトレンズを移動させたとしても補正しきれなかったブレの影響を、撮像により得られた画像中から特定の画角に対応する領域を抽出することで補正する。

本実施形態では、撮像画像の合成によって任意視点の画像の提供を可能ならしめるため、また合成処理を煩雑化させぬため、制御サーバ２００には各デジタルビデオカメラ１００から固定的な被写体の範囲を撮像した画像が毎フレーム送出される。故に、視点毎に予め定められた被写体の範囲を示す画像が、各デジタルビデオカメラ１００から制御サーバ２００に送出されるよう、補正部１０７は電子的なブレ補正を行う。例えば任意方向からの主被写体の観賞を可能ならしめる場合には、画像内で主被写体の像が中央に配置され、予め定められた周辺領域の像を含む画像が、電子的なブレ補正の結果として出力される。このとき、フレームごとに制御サーバ２００に送出される画像において、主被写体の像が画像内の一定の位置に示されるため、デジタルビデオカメラ１００において生じたブレの影響が解消されることになる。

従って、デジタルビデオカメラ１００について予め定められた範囲（固定範囲）の画像を安定的に出力するため、撮像部１０３により撮像される画像は電子的なブレ補正を考慮して、該固定範囲よりも広い撮像範囲（画角）が定められているものとする。なお、固定範囲の抽出に係り、補正部１０７は画像の拡縮処理を行い、固定範囲が所定の画素数の画像として出力されるようにするものであってもよい。または、画像メモリ１０５に書き込まれている前フレームの画像との差分と、検出部１０６により検出されたブレ量とに基づいてパンニング／チルティング検出を行い、所定方向の成分のブレは補正しないよう補正部１０７は処理を行うものであってもよい。

画像合成部１０８は、補正部１０７により抽出された画像に対し、必要に応じて他のデジタルビデオカメラ１００により撮像された画像を合成する処理を行う。詳細は後述するが、画像合成部１０８により行われる画像処理は、補正部１０７において固定範囲の画像の抽出ができなかった場合に、不足した領域の情報を補うために行われるものであって、該領域を撮像した他の画像が用いられる。画像合成部１０８による合成処理を行うか否かは、システムコントローラ１０１の判定部１１１が、検出部１０６により検出されたブレ量に基づいて行われる。また合成処理を行う場合、他のデジタルビデオカメラ１００に不足した領域の撮像を行わせる必要があるため、システムコントローラ１０１の情報生成部１１２は他のデジタルビデオカメラ１００における撮像範囲の調整に用いられる調整情報を生成して出力する。調整情報は制御サーバ２００に送信され、制御サーバ２００は該調整情報に基づき、該当のデジタルビデオカメラ１００に撮像範囲を調整させるよう制御命令を送出する。なお、調整情報に基づく制御命令を受信した場合、システムコントローラ１０１の画角調整部１１３は制御命令とともに受信した情報に基づき、シフトレンズを駆動させて撮像範囲を変更するよう、レンズ制御部１０９に命令を伝送すればよい。また好適には、調整情報の送出有無の判定、調整情報の送出、調整情報に基づく撮像範囲の変更、変更後の撮像範囲に係る撮像は、同時期とみなすことができるものとして定められた期間中に行われるよう制御されるものとする。

通信部１１０は、デジタルビデオカメラ１００が有する通信インタフェースであり、本実施形態では制御サーバ２００との間で情報の送受信を行う。なお、制御サーバ２００への情報送信にあたり、符号化や所定のデータ形式への変換等の処理が行われるものであってもよい。

本実施形態ではハードウェアとしてデジタルビデオカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

〈制御サーバ２００の構成〉
続いて、制御サーバ２００の機能構成について説明する。なお、本実施形態では制御サーバ２００が、外部装置等からの要求に基づき任意視点に係る映像を提供できるよう、各デジタルビデオカメラ１００から受信したフレームの画像を用いた合成処理を可能に構成されるものとして説明する。しかしながら、本発明の実施において制御サーバ２００がこのような機能構成を有している必要はなく、制御サーバ２００は例えば任意視点に係る映像用のデータ記録のために、複数のデジタルビデオカメラ１００の動作制御を行う装置であってもよい。

制御部２０１は、制御サーバ２００が有する各ブロックの動作を制御する。具体的には制御部２０１は、例えば記録媒体２０２に記録された各ブロックの動作プログラムを読み出し、メモリ２０３に展開して実行することにより各ブロックの動作を制御する。

記録媒体２０２は、不揮発性の記録装置であり、恒久的なデータ記録を行う。記録媒体２０２は、制御サーバ２００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等の情報を記録する。またメモリ２０３は、揮発性の記録装置であり、各ブロックの動作プログラムの展開領域だけでなく、各ブロックの動作により出力された中間データを一時的に格納する格納領域としても用いられる。

画像処理部２０４は、接続された複数のデジタルビデオカメラ１００から受信した画像を用いて、要求された視点に係る画像を生成する合成処理を行う。合成処理は、複数視点に基づく３次元モデルの生成や、任意視点の画像を生成するための該３次元モデルを用いた描画処理等を含むものであってもよい。簡単のため、複数のデジタルビデオカメラ１００は同期して各フレームの撮像動作を行うよう制御され、１フレームに係る任意視点の画像の生成には、同一時刻のフレームについて取得された画像が用いられるものとする。

サーバ通信部２０５は、制御サーバ２００が有する通信インタフェースであり、本実施形態では接続された複数のデジタルビデオカメラ１００それぞれとの間で情報の送受信を行う。なお、デジタルビデオカメラ１００への情報送信にあたり、符号化や所定のデータ形式への変換等の処理が行われるものであってもよい。

《撮像範囲の調整概要》
次に、画像合成部１０８について上述したように、補正部１０７において固定範囲の画像の抽出ができなかった場合に行われる、各種処理について図２を用いて説明する。以下の説明では簡単のため、複数のデジタルビデオカメラ１００は、主被写体２１１の周囲に、同一の高さを有し、該主被写体２１１を撮像範囲の中央に捉えるよう設置されるものとする。またデジタルビデオカメラ１００において発生し得る撮像範囲の変更（ブレ）は、デジタルビデオカメラ１００の基準位置を変更せず、ヨー方向の姿勢のみが変更されるものとする。

図２（ａ）の例において、デジタルビデオカメラ１００ａとデジタルビデオカメラ１００ｂとが、初期設定として主被写体２１１を各々の撮像範囲の中央に捉えるよう配置されている。図示されるように、デジタルビデオカメラ１００ａは主被写体２１１からＸ₁ｍ、デジタルビデオカメラ１００ｂは主被写体２１１からＸ₂ｍ離間して設置されている。また、デジタルビデオカメラ１００のそれぞれについて予め定められる固定範囲は、主被写体２１１を中心に設定され、例えば初期設定として選択される最大の撮像画角（撮像範囲）より狭い画角内に収まるよう設定される。即ち、初期設定で各デジタルビデオカメラ１００の撮像部１０３が撮像した撮像画像２１２ａ及びｂにおいては、図２（ｂ）に示されるように主被写体２１１を含む固定範囲に対応する固定領域２１３ａ及びｂの周囲に、余剰領域２１４がａ及びｂが存在している。該余剰領域２１４を含む大きさに撮像画角が設定されることで、光学的なブレ補正後も主被写体２１１の像が撮像画像２１２の中央に配置されない場合であっても、所定の範囲であればデジタルビデオカメラ１００単体の電子的なブレ補正で対応することができる。

一方で、デジタルビデオカメラ１００ａに装置単体で対応できないブレが生じた場合、図２（ｃ）に示されるように得られる撮像画像２１５ａには、主被写体２１１を中心とした、固定領域２１３ａと同じ大きさの領域を抽出することができない。即ち、撮像画像２１５ａには固定範囲の一部の像が含まれておらず、主被写体２１１の像を中心とする同様の画像を出力用に抽出したとしても、図２（ｄ）に示されるように出力用画像２１６ａには被写体が示されない欠損領域２１７が含まれる。

従って、このように１つのデジタルビデオカメラ１００において欠損領域２１７が生じるブレが発生した場合、本実施形態の撮像システムでは、該領域の被写体を撮像範囲に捉え得る他のデジタルビデオカメラ１００の撮像設定を調整させ、該領域の情報を補う。より詳しくは、判定部１１１ａにより欠損領域２１７が生じると判定された場合に、情報生成部１１２ａは、他のデジタルビデオカメラにおける撮像範囲の調整に用いられる調整情報を生成する。図２に示す例では、デジタルビデオカメラ１００ａに矢印２１８の向きにヨー成分のブレが生じ、撮像画角の左端に欠損領域２１７が生じるため、左側に隣接して設けられたデジタルビデオカメラ１００ｂの撮像範囲が調整される。

撮像範囲の調整は、例えばデジタルビデオカメラ１００ａとｂとの距離が主被写体２１１までの距離に比べて十分小さい程度に近接して設置される場合、欠損領域２１７部分の像について視点位置の違いによる回転を考慮せず、以下のように表すことができる。デジタルビデオカメラ１００ａにおいて補正限界までシフトレンズを駆動させたとしても、欠損領域２１７部分の像を撮像するためには、Ｙ₁°分のシフトレンズの移動量が不足する場合、情報生成部１１２は該情報を調整情報として出力する。制御部２０１は調整情報を受信すると、撮像範囲の調整を行わせるデジタルビデオカメラ１００ｂを特定し、調整情報とデジタルビデオカメラ１００ａ及びｂの設置情報とから、デジタルビデオカメラ１００ｂに送出する調整用の情報を生成する。具体的には、調整情報に含まれる不足角度Ｙ₁°、カメラ間の高さ差分情報（本例では０）、各カメラの主被写体２１１との距離（Ｘ₁ｍ、Ｘ₂ｍ）に基づき、下記式をＹ₂°について解く。
Ｘ₁・ｓｉｎ（Ｙ₁）＝Ｘ₂・ｓｉｎ（Ｙ₂）
デジタルビデオカメラ１００ａとｂとが同一の仕様の装置である場合、ここで得られるＹ₂°が、デジタルビデオカメラ１００ｂにおけるシフトレンズの移動量に対応しており、制御部２０１はＹ₂°を調整用の情報として送出する。デジタルビデオカメラ１００ｂにおいて該情報が受信されると、画角調整部１１３ｂはこれに基づいてシフトレンズの駆動命令をレンズ制御部１０９に送出し、図２（ｃ）のように欠損領域２１７に対応する被写体２２０を含むよう調整させる。なお、主被写体２１１との距離は、ズーム設定等がなされている場合は実際の距離に限らず、設定されているズーム倍率を考慮したものであってもよい。即ち、デジタルビデオカメラ１００ａとｂとでズーム倍率が異なる場合、調整用の情報はこれを考慮して導出されるものであってよい。

デジタルビデオカメラ１００ｂにおいて撮像範囲の調整がなされた後、システムコントローラ１０１ｂは撮像により得られた画像のうち、欠損領域２１７に対応する図２（ｄ）の画像２１９を制御サーバ２００を介してデジタルビデオカメラ１００ａに伝送する。欠損領域の画像２１９の受信後、画像合成部１０８はブレ補正後の画像から抽出した、欠損領域２１７を除く固定領域２１３ａの画像と受信した画像２１９とを合成し、固定範囲の全てを示す画像を生成する。このようにすることで、電子的なブレ補正で許容できないブレが発生して固定範囲の撮像が困難となった状況であっても、他のカメラの撮像範囲を調整させて欠損領域の画像を撮像し、これを補完した出力用画像の生成を可能ならしめる。

また本実施形態では、撮像範囲の変更が発生したデジタルビデオカメラからシフトレンズの移動量を調整情報として伝送し、制御サーバ２００において該情報に基づき調整用の情報を生成して該当のカメラに送出するものとして説明した。しかしながら、本発明の実施はこれに限られるものでなく、調整情報に含める情報は、例えば不足している画角の情報等、欠損領域を特定可能な情報であればいずれであってもよい。また本実施形態では複数のデジタルビデオカメラ１００の設置情報を制御サーバ２００が有しており、調整情報に基づき、制御部２０１が該当のデジタルビデオカメラ１００の撮像範囲を調整するための情報を生成し、撮像範囲を調整させるものとして説明した。しかしながら、本発明の実施はこれに限られるものでなく、デジタルビデオカメラ１００の各々に設置情報が記憶され、これに基づいて他のデジタルビデオカメラに行わせる調整値を導出し、調整情報として制御サーバ２００を介さず直接伝送するものでもよい。同様に、撮像範囲の調整後に撮像された欠損領域の画像も、制御サーバ２００を介さず、該当のデジタルビデオカメラ間で送受信されるものであってもよい。また上述した例では、デジタルビデオカメラ１００ａとデジタルビデオカメラ１００ｂとが被写体距離に比べて十分に近接しており、欠損領域の画像２１９を欠損領域２１７の画像にそのまま使用できるものとして説明したが、当該態様に限られるものではない。即ち、デジタルビデオカメラ１００ａとｂとが遠離し、基準視線方向のなす角度が近似できない角度となるのであれば、合成処理において、あるいはデジタルビデオカメラ１００ｂからの出力時に、画像２１９に回転行列を用いた座標変換が適用すればよい。

《ブレ発生時処理》
このような構成をもつ本実施形態の撮像システムにおいて、いずれかのデジタルビデオカメラ１００にブレが発生した際に行われるブレ発生時処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、各デジタルビデオカメラ１００のシステムコントローラ１０１が、例えば撮像光学系１０２に記憶されている対応する処理プログラムを読み出し、撮像部１０３に展開して実行することにより実現することができる。本ブレ発生時処理は、例えばいずれかのデジタルビデオカメラ１００の検出部１０６が、撮像範囲を変更し得るブレを検出した際に開始されるものとして説明する。

図３の説明では、ブレが発生したデジタルビデオカメラ１００ａを「カメラ１」、欠損領域の情報を補うべく撮像範囲の調整が行われるデジタルビデオカメラ１００ｂを「カメラ２」とし、これら装置で並行して実行される処理及び情報のやり取りを示している。また簡単のため、以下ではカメラ１のみにブレが発生し、カメラ２にはブレが発生していないものとして説明する。

Ｓ３０１で、判定部１１１ａは、発生したブレがカメラ１内の補正で許容できるか否かを判定する。換言すれば、判定部１１１ａは、発生したブレが、レンズ制御部１０９ａによるシフトレンズの駆動（光学的なブレ補正）及び補正部１０７ａにおける抽出（電子的なブレ補正）で補正可能なブレ量であるか否かを判定する。判定部１１１ａは、発生したブレがカメラ１内の補正で許容できると判定した場合は処理をＳ３０８に移し、許容できないと判定した場合は処理をＳ３０２に移す。

Ｓ３０２で、情報生成部１１２ａは、検出されたブレ量に基づいて欠損領域に対応する調整情報を生成し、通信部１１０に伝送して制御サーバ２００に送信させる。このとき、調整情報は、撮像範囲の調整を行うべき他のデジタルビデオカメラ（カメラ２）を、制御サーバ２００において特定可能に構成されるものであってもよいし、情報生成部１１２ａがこれを特定し、カメラ２の識別情報を含むものであってもよい。なお、送信された調整情報は、上述したように制御サーバ２００において処理され、該当するデジタルビデオカメラ（カメラ２）へ制御部２０１により送信される。

Ｓ３０３で、システムコントローラ１０１は、レンズ制御部１０９に補正限界量でシフトレンズを駆動させ、被写体の撮像を撮像部１０３に行わせて撮像画像を取得する。

Ｓ３０４で、補正部１０７ａは、検出されたブレ量に基づいて主被写体を中心とする固定範囲に対応する出力用画像を、撮像画像から抽出する。本ステップで抽出される出力用画像は、カメラ１内の補正で許容できないブレが発生したため、欠損領域を含む画像となる。

一方、カメラ２のシステムコントローラ１０１ｂはＳ３０５で、制御サーバ２００から撮像範囲を調整するための情報を受信したか否かを判断する。本ステップの判断は、前のフレームに係る撮像が行われてから、次のフレーム（現在のフレーム）に係る撮像が行われるまでに行われる。換言すれば、現在のフレームに係る処理の開始から、あるいは前のフレームに係る撮像後から、現在のフレームに係る撮像が行われるまでに、Ｓ３０１及びＳ３０２の処理、及び（行われる場合は）カメラ２における調整用の情報の受信は完了する。システムコントローラ１０１ｂは、制御サーバ２００から撮像範囲を調整するための情報を受信したと判断した場合は処理をＳ３０６に移し、受信しなかったと判断した場合は処理をＳ３１１に移す。

Ｓ３０６で、画角調整部１１３ｂは、受信した情報に基づいて撮像範囲を調整するシフトレンズの移動量を導出し、レンズ制御部１０９に該移動量でシフトレンズを駆動させ、被写体の撮像を撮像部１０３に行わせる。

Ｓ３０７で、補正部１０７ｂは、取得された撮像画像から、Ｓ３０６におけるシフトレンズの移動量に基づいた固定範囲に対応する出力用画像の抽出、及びカメラ１ｂの欠損領域に対応する画像（補完用画像）の抽出を行う。またシステムコントローラ１０１ｂは、抽出された出力用画像及び補完用画像を通信部１１０に伝送し、制御サーバ２００に送信させる。なお、送信された補完用画像は、上述したように調整情報の送信元であるデジタルビデオカメラ（カメラ１）へ制御部２０１により送信される。

このように補完用画像がカメラ１に送信されると、画像合成部１０８ａはＳ３０８で、欠損領域を含む出力用画像と受信した補完用画像とを合成し、本来の固定範囲に対応する出力用画像を生成する。またシステムコントローラ１０１ａは、生成された出力用画像を通信部１１０に伝送し、制御サーバ２００に送信させる。

またＳ３０１において、発生したブレがカメラ１内の補正で許容できると判定された場合、カメラ１及び２では、各々以下のように処理が行われる。なお、カメラ１内の補正で許容できるとの情報は、カメラ１からカメラ２に伝送される必要はなく、カメラ２ではフレーム時間中について定められたタイミングまで待機した後、Ｓ３０５における判断が行われればよい。

カメラ１では、システムコントローラ１０１ａはＳ３０９で、レンズ制御部１０９に検出されたブレ量に基づいてシフトレンズを駆動させ、被写体の撮像を撮像部１０３に行わせて撮像画像を取得する。そして補正部１０７ａはＳ３１０で、検出されたブレ量に基づいて主被写体を中心とする固定範囲に対応する出力用画像を、撮像画像から抽出する。本ステップで抽出される出力用画像は欠損領域を含まないため、システムコントローラ１０１は該出力用画像を通信部１１０に伝送し、制御サーバ２００に送信させる。

またカメラ２では、Ｓ３０５において撮像範囲を調整するための情報を受信しなかったと判断した場合、システムコントローラ１０１ｂはＳ３１１で、被写体の撮像を撮像部１０３に行わせて撮像画像を取得する。そして補正部１０７ａはＳ３１２で、主被写体を中心とする固定範囲に対応する出力用画像を撮像画像から抽出し、該出力用画像を通信部１１０に伝送して制御サーバ２００に送信させる。

以上説明したように、本実施形態の撮像システムによれば、複数の撮像装置を連動させて被写体を撮像する態様において、いずれかの撮像装置に生じた撮像範囲の変更の影響を低減し、各撮像装置から固定範囲の画像が出力されるよう制御することができる。

［変形例１］
上述した実施形態では、１つのデジタルビデオカメラ１００において発生した撮像範囲の変更による欠損領域の補完は、隣接するデジタルビデオカメラ１００の撮像範囲を調整することで得られた画像により解消するものとして説明した。しかしながら、複数のデジタルビデオカメラの設置態様や発生するブレ量によっては、隣接するデジタルビデオカメラ１００の撮像範囲を調整した場合に、該カメラが本来撮像すべき固定範囲が撮像範囲に含まれなくなる可能性がある。即ち、撮像範囲を調整した側のデジタルビデオカメラ１００においても、固定範囲について抽出した画像に欠損領域が発生し得る。

従って、このような態様においては、撮像範囲を調整した側のデジタルビデオカメラ１００は、自身の撮像画像から固定範囲の画像を抽出した場合に生じる欠損領域を補うべく調整情報を生成し、他のデジタルビデオカメラ１００に伝送されるよう出力する。

より詳しくは、例えば図４に示されるようにデジタルビデオカメラ１００ａにおいて矢印４０１方向にブレが生じた場合、まず調整情報４０２に基づいて、欠損領域ａを補うようデジタルビデオカメラ１００ｂの撮像範囲ｂが調整される。このとき、判定部１１１ｂは、調整後の撮像範囲ｂ’にデジタルビデオカメラ１００ｂについて定められた固定領域ｂが含まれなくなるか否かを判定する。固定領域ｂが含まれない、即ち調整に基づく撮像範囲の変更により、固定範囲ｂについて抽出した画像に欠損領域ｂが生じる場合には、情報生成部１１２は該欠損領域ｂを補うべく調整情報４０３を生成して出力する。

ここで、調整情報４０３に基づいて撮像範囲の変更が行われる対象は、デジタルビデオカメラ１００ｂの撮像範囲の調整が行われるよう調整情報４０２を出力したデジタルビデオカメラ１００ａとは異なるデジタルビデオカメラ１００ｃとなる。従って、調整情報４０３に基づいて欠損領域ｂを補うようデジタルビデオカメラ１００ｃの撮像範囲ｃが調整される。このとき、判定部１１１ｃも同様に、調整後の撮像範囲ｃ’にデジタルビデオカメラ１００ｃについて定められた固定領域ｃが含まれなくなるかを判定し、含まれないのであれば、さらに別のデジタルビデオカメラの撮像範囲を変更させる調整情報が生成される。

なお、図４の例において制御サーバ２００に出力される画像に注目すると、例えばデジタルビデオカメラ１００ｂは、欠損領域ａ用の補完用画像４０４ｂは撮像画像から抽出して出力可能である。一方で、出力用画像４０５ｂは欠損領域ｂが補完されなければ出力できないため、デジタルビデオカメラ１００ｃにより撮像された補完用画像４０４ｃが受信されたことに応じて、画像合成部１０８ｂが補完する処理を行う。その後、欠損領域ｂが補完された出力用画像４０５ｂが出力される。

このように、１つの撮像装置において生じた撮像範囲の変更に基づいて他の撮像装置の撮像範囲を調整した結果、該他の撮像装置において、予め定められた範囲の撮像ができなくなる場合、更に他の撮像装置の撮像範囲を調整することでこれを補うことができる。［変形例２］
上述した実施形態及び変形例１では、各デジタルビデオカメラ１００が画像合成部１０８を有し、該カメラ内の補正で許容できない撮像範囲の変更が生じた場合に、他のカメラにより撮像された画像を受信し、これと撮像画像とを合成するものとして説明した。しかしながら、当該合成の処理は、撮像範囲の変更が生じたデジタルビデオカメラにおいて行われるものである必要はない。即ち、上述した実施形態では各デジタルビデオカメラ１００からは、各々に設定された固定範囲の画像が制御サーバ２００に送出されるものとして説明したが、本発明の実施はこれに限られるものではない。例えば、デジタルビデオカメラ１００の各々は画像合成部１０８を有さず、欠損領域を有する画像を補完する処理については、制御サーバ２００の画像処理部２０４が行うものであってもよい。つまり、撮像範囲の調整が行われたデジタルビデオカメラ１００からの画像出力は同様で、画像処理部２０４が、補完用画像の転送を行わずに、撮像範囲の変更が生じたデジタルビデオカメラ１００からの出力用画像との合成を行うものであってもよい。

なお、デジタルビデオカメラ１００から受信した画像が欠損領域を有していることを、該デジタルビデオカメラ１００からの調整情報を受信したことにより判別し、画像処理部２０４が補完する処理を行う態様に限られるものではない。調整情報が制御サーバ２００を介さずデジタルビデオカメラ１００間で直接的に行われる場合、デジタルビデオカメラ１００は受信した画像が欠損領域を有しているか否かを解析し、補完する処理の実行有無を制御するものであってもよい。

［変形例３］
上述した実施形態及び変形例では、任意の撮像装置において発生した撮像範囲の変更が、該撮像装置内の補正処理により対応可能であるか否かを判定するものとして説明したが、本発明の実施はこれに限られるものではない。即ち、所定量のブレを許容すべく余剰領域を設け、撮像画像から抽出する領域を制御することで電子的なブレ補正機能を有する構成は必須ではない。撮像範囲の変更が生じた場合には、他の撮像装置において該変更量に応じた撮像範囲の調整が行われるよう、判定処理を行うことなく調整情報の生成及び出力が行われるものであってもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルビデオカメラ、１０１：システムコントローラ、１０２：撮像光学系、１０３：撮像部、１０６：検出部、１０７：補正部、１０８：画像合成部、１０９：レンズ制御部、１１０：通信部、１１１：判定部、１１２：情報生成部、１１３：画角調整部

Claims

他の撮像装置と連動して被写体を撮像する撮像装置であって、
前記被写体を撮像した画像を取得する撮像手段と、
前記撮像手段の撮像範囲の変更を検出する検出手段と、
前記検出手段により撮像範囲の変更が検出された場合に、前記他の撮像装置の撮像範囲の調整に用いられる調整情報を生成して出力する出力手段と、
を有し、
前記調整情報は、前記他の撮像装置の撮像範囲を、前記変更後の撮像範囲に含まれない前記被写体の範囲を含めるように調整する情報である
ことを特徴とする撮像装置。
前記被写体の予め定められた範囲が、前記変更後の撮像範囲に含まれるか否かを判定する判定手段をさらに有し、
前記出力手段は、前記判定手段による判定結果に応じて前記調整情報を出力する
ことを特徴とする請求項１に記載の撮像装置。
前記検出手段は、前記撮像装置の位置、姿勢及び撮像設定の少なくともいずれかの変更を撮像範囲の変更として検出する
ことを特徴とする請求項１または２に記載の撮像装置。
前記調整情報に基づいて調整された撮像範囲を撮像した画像を、前記他の撮像装置から受信する受信手段と、
前記撮像手段により取得された画像と前記受信手段により受信された画像とに基づいて、前記被写体の予め定められた範囲を含む画像を生成する生成手段と、
をさらに有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
他の撮像装置と連動して被写体を撮像する撮像装置であって、
前記被写体を撮像した画像を取得する撮像手段と、
前記撮像手段の撮像範囲の変更を検出する検出手段と、
前記検出手段により撮像範囲の変更が検出された場合に、前記他の撮像装置の撮像範囲の調整に用いられる調整情報を生成して出力する出力手段と、
前記他の撮像装置において生成された前記調整情報を受信する受信手段と、
を有し、
前記撮像手段は、前記受信手段により受信された前記調整情報に基づいて撮像範囲を調整し、該調整後の撮像範囲を撮像した画像を取得する
ことを特徴とする撮像装置。
前記他の撮像装置は複数であり、
前記出力手段は、受信された前記調整情報に基づく撮像範囲の調整により、前記被写体の予め定められた範囲が調整後の撮像範囲に含まれなくなる場合に、前記受信された調整情報を生成した他の撮像装置とは異なる他の撮像装置における撮像範囲の調整に用いられる新たな調整情報であって、前記調整後の撮像範囲に含まれなくなった前記被写体の範囲を、該異なる他の撮像装置の撮像範囲に含めるよう調整させる新たな調整情報を生成して出力する
ことを特徴とする請求項５に記載の撮像装置。
前記撮像手段は、撮像範囲を調整するシフトレンズを含み、
前記調整情報は、前記他の撮像装置におけるシフトレンズの設定を変更させる情報である
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
他の撮像装置と連動して被写体を撮像する撮像装置であって、
前記被写体を撮像した画像を取得する撮像手段と、
前記撮像手段の撮像範囲の変更を検出する検出手段と、
前記検出手段により撮像範囲の変更が検出された場合に、前記他の撮像装置の撮像範囲の調整に用いられる調整情報を生成して出力する出力手段と、
を有し、
前記撮像手段は、撮像範囲を調整するシフトレンズを含み、
前記調整情報は、前記他の撮像装置におけるシフトレンズの設定を変更させる情報である
ことを特徴とする撮像装置。
他の撮像装置と連動して被写体を撮像する撮像装置の制御方法であって、
前記撮像装置は、前記被写体を撮像した画像を取得する撮像手段を有し、
前記制御方法は、
前記撮像手段の撮像範囲の変更を検出する検出工程と、
前記検出工程において撮像範囲の変更が検出された場合に、前記他の撮像装置の撮像範囲の調整に用いられる調整情報を生成して出力する出力工程と、
を有し、
前記調整情報は、前記他の撮像装置の撮像範囲を、前記変更後の撮像範囲に含まれない前記被写体の範囲を含めるように調整する情報である
ことを特徴とする撮像装置の制御方法。
他の撮像装置と連動して被写体を撮像する撮像装置の制御方法であって、
前記撮像装置は、前記被写体を撮像した画像を取得する撮像手段を有し、
前記制御方法は、
前記撮像手段の撮像範囲の変更を検出する検出工程と、
前記検出工程において撮像範囲の変更が検出された場合に、前記他の撮像装置の撮像範囲の調整に用いられる調整情報を生成して出力する出力工程と、
前記他の撮像装置において生成された前記調整情報を受信する受信工程と、
を有し、
前記撮像手段は、前記受信工程において受信された前記調整情報に基づいて撮像範囲を調整し、該調整後の撮像範囲を撮像した画像を取得する
ことを特徴とする撮像装置の制御方法。
他の撮像装置と連動して被写体を撮像する撮像装置の制御方法であって、
前記撮像装置は、前記被写体を撮像した画像を取得する撮像手段を有し、
前記制御方法は、
前記撮像手段の撮像範囲の変更を検出する検出工程と、
前記検出工程において撮像範囲の変更が検出された場合に、前記他の撮像装置の撮像範囲の調整に用いられる調整情報を生成して出力する出力工程と、
を有し、
前記撮像手段は、撮像範囲を調整するシフトレンズを含み、
前記調整情報は、前記他の撮像装置におけるシフトレンズの設定を変更させる情報である
ことを特徴とする撮像装置の制御方法。
コンピュータを、請求項１乃至８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
複数の撮像装置を連動させて被写体を撮像する撮像システムであって、
前記複数の撮像装置の各々が、
前記被写体を撮像した画像を取得する撮像手段と、
前記撮像手段の撮像範囲の変更を検出する検出手段と、
前記検出手段により撮像範囲の変更が検出された場合に、他の撮像装置の撮像範囲の調整に用いられる調整情報を生成して出力する出力手段と、
を有し、
前記複数の撮像装置の連動を制御する制御装置が、
前記出力手段により出力された前記調整情報を受信する受信手段と、
前記受信手段により受信された前記調整情報に基づき、前記他の撮像装置に撮像範囲の調整を行わせる制御手段と、
を有し、
前記調整情報は、前記他の撮像装置の撮像範囲を、前記変更後の撮像範囲に含まれない前記被写体の範囲を含めるように調整する情報である
ことを特徴とする撮像システム。
複数の撮像装置を連動させて被写体を撮像する撮像システムであって、
前記複数の撮像装置の各々が、
前記被写体を撮像した画像を取得する撮像手段と、
前記撮像手段の撮像範囲の変更を検出する検出手段と、
前記検出手段により撮像範囲の変更が検出された場合に、他の撮像装置の撮像範囲の調整に用いられる調整情報を生成して出力する出力手段と、
を有し、
前記複数の撮像装置の連動を制御する制御装置が、
前記出力手段により出力された前記調整情報を受信する受信手段と、
前記受信手段により受信された前記調整情報に基づき、前記他の撮像装置に撮像範囲の調整を行わせる制御手段と、
を有し、
前記撮像手段は、前記制御手段による撮像範囲の調整がなされた場合に、該調整後の撮像範囲を撮像した画像を取得する
ことを特徴とする撮像システム。
複数の撮像装置を連動させて被写体を撮像する撮像システムであって、
前記複数の撮像装置の各々が、
前記被写体を撮像した画像を取得する撮像手段と、
前記撮像手段の撮像範囲の変更を検出する検出手段と、
前記検出手段により撮像範囲の変更が検出された場合に、他の撮像装置の撮像範囲の調整に用いられる調整情報を生成して出力する出力手段と、
を有し、
前記複数の撮像装置の連動を制御する制御装置が、
前記出力手段により出力された前記調整情報を受信する受信手段と、
前記受信手段により受信された前記調整情報に基づき、前記他の撮像装置に撮像範囲の調整を行わせる制御手段と、
を有し、
前記撮像手段は、撮像範囲を調整するシフトレンズを含み、
前記調整情報は、前記他の撮像装置におけるシフトレンズの設定を変更させる情報である
ことを特徴とする撮像システム。