JP4464360B2 - 監視装置、監視方法、及びプログラム - Google Patents

Description

本発明は、監視システム、監視方法、及びプログラムに関する。特に本発明は、監視領域の動画を撮像する監視システム及び監視方法、並びに、監視システム用のプログラムに関する。

撮影対象の平常時の状態を基準画像として記憶しておき、撮影画像と基準画像を対応する画素毎に比較し、比較処理の結果、撮影画像に変化が生じていることが確認されたら、画像圧縮処理における圧縮比率を相対的に低く設定して記録媒体に記録し、撮影画像に変化が生じていないことが確認されたら、画像圧縮処理における圧縮比率を相対的に高く設定して記録媒体に記録する防犯システムが知られている（例えば、特許文献１参照。）。
特開２００２−３３５４９２号公報

特許文献１に記載された防犯システムのように、撮影画像に基づく防犯システムにおいては、撮影対象の範囲を拡大するにつれて撮影画像の解像度が低下し、撮影画像の解像度が低下するにつれて、例えば撮影画像に写った人物が不審人物であるか否かを特定しにくくなってしまう。一方で、高解像度の撮影装置を使用すると、防犯システムのコスト高をまねいてしまう。

そこで本発明は、上記の課題を解決することができる監視システム、監視方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の形態における監視システムは、第１監視領域の動画を撮像する第１撮像部と、第１撮像部による第１監視領域の撮像動作に同期して、第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像部と、第１撮像部の撮像条件と第２撮像部の撮像条件とを一致させる撮像制御部と、第１撮像部が撮像する第１監視領域と、第２撮像部が撮像する第２監視領域との相対的な位置関係に基づいて、撮像制御部によって制御された同一の撮像条件で第１撮像部及び第２撮像部がそれぞれ撮像した動画を構成する第１フレーム画像及び第２フレーム画像の合成位置を調整して合成画像を生成する合成画像生成部と、合成画像生成部が生成した合成画像を、第１監視領域及び第２監視領域の少なくとも一部を含む部分監視領域の動画を構成するフレーム画像として格納する動画格納部とを備える。

第１撮像部及び第２撮像部がそれぞれ撮像した動画に基づいて、第１監視領域及び第２監視領域を含む全体監視領域の中の特徴領域を特定する特徴領域特定部と、特徴領域特定部が特定した特徴領域の画像に基づいて、第１撮像部及び第２撮像部の撮像条件を決定する撮像条件決定部とをさらに備え、撮像制御部は、撮像条件決定部が決定した撮像条件で第１撮像部及び第２撮像部に動画を撮像させてよい。

特徴領域特定部は、第１撮像部及び第２撮像部がそれぞれ撮像した動画に基づいて、動きがある領域である動き領域を特徴領域として特定し、撮像条件決定部は、特徴領域特定部が特定した動き領域が含まれる第１撮像部が第１監視領域が撮像した第１フレーム画像に基づいて、第１撮像部及び第２撮像部の露出条件を決定し、撮像制御部は、撮像条件決定部が決定した露出条件で第１撮像部及び第２撮像部に動画を撮像させてよい。

特徴領域特定部は、全体監視領域に複数の動き領域が存在する場合には、動きが最も大きい動き領域を特定し、撮像条件決定部は、特徴領域特定部が特定した動き領域が含まれる第１撮像部が第１監視領域が撮像した第１フレーム画像に基づいて、第１撮像部及び第２撮像部の露出条件を決定し、撮像制御部は、撮像条件決定部が決定した露出条件で第１撮像部及び第２撮像部に動画を撮像させてよい。

特徴領域特定部は、第１撮像部及び第２撮像部がそれぞれ撮像した動画に基づいて、人物が存在する領域である人物領域を特徴領域として特定し、撮像条件決定部は、特徴領域特定部が特定した人物領域が含まれる第１撮像部が第１監視領域が撮像した第１フレーム画像に基づいて、第１撮像部及び第２撮像部の露出条件を決定し、撮像制御部は、撮像条件決定部が決定した露出条件で第１撮像部及び第２撮像部に動画を撮像させてよい。

特徴領域特定部は、全体監視領域に複数の人物領域が存在する場合には、全体監視領域に対する人物の面積が最も大きい人物領域を特定し、撮像条件決定部は、特徴領域特定部が特定した人物領域が含まれる第１撮像部が第１監視領域が撮像した第１フレーム画像に基づいて、第１撮像部及び第２撮像部の露出条件を決定し、撮像制御部は、撮像条件決定部が決定した露出条件で第１撮像部及び第２撮像部に動画を撮像させてよい。

第１撮像部及び第２撮像部がそれぞれ撮像した動画に基づいて、全体監視領域の中の人物の顔の領域である顔領域を抽出する顔領域抽出部と、顔領域抽出部が抽出した顔領域の明るさを判断する顔領域明るさ判断部とをさらに備え、特徴領域特定部は、全体監視領域に複数の人物領域が存在する場合には、顔領域明るさ判断部が判断した明るさが予め定められた範囲内の明るさである人物の人物領域を特定し、撮像条件決定部は、特徴領域特定部が特定した人物領域が含まれる第１撮像部が撮像した第１フレーム画像に基づいて、第１撮像部及び第２撮像部の露出条件を決定し、撮像制御部は、撮像条件決定部が決定した露出条件で第１撮像部及び第２撮像部に動画を撮像させてよい。

合成画像生成部が生成した合成画像を、第１撮像部又は第２撮像部が撮像する第１フレーム画像又は第２フレーム画像と同一のアスペクト比にトリミングして部分監視領域画像を抽出するトリミング部をさらに備え、動画格納部は、トリミング部が抽出した部分監視領域画像を部分監視領域の動画を構成するフレーム画像として格納してよい。

合成画像生成部が生成した合成画像を、外部の画像再生装置が再生する動画を構成するフレーム画像と同一のアスペクト比にトリミングして部分監視領域画像を抽出するトリミング部をさらに備え、動画格納部は、トリミング部が抽出した部分監視領域画像を部分監視領域の動画を構成するフレーム画像として格納してよい。

トリミング部が抽出した複数の部分監視領域画像を、動画を構成するフレーム画像として動画圧縮する動画圧縮部をさらに備え、動画格納部は、動画圧縮部が圧縮した複数の部分監視領域画像を部分監視領域の動画を構成するフレーム画像として格納してよい。

第１撮像部が有する複数の受光素子から読み出された第１フレーム画像と、第２撮像部が有する複数の受光素子から読み出された第２フレーム画像とに交互に画像処理を施してメモリに格納する画像処理部をさらに備えてよい。

画像処理部は、第１撮像部が有する複数の受光素子から読み出された第１フレーム画像と、第２撮像部が有する複数の受光素子から読み出された第２フレーム画像とを交互にデジタルデータに変換するＡＤ変換部を有し、合成画像生成部は、ＡＤ変換部によってデジタルデータに変換された第１フレーム画像と、ＡＤ変換部によってデジタルデータに変換された第２フレーム画像との合成位置を調整して合成画像を生成してよい。

画像処理部は、第１撮像部が有する複数の受光素子から読み出された第１フレーム画像の画像データと、第２撮像部が有する複数の受光素子から読み出された第２フレーム画像の画像データとを交互に表示用画像データに変換する画像データ変換部を有し、合成画像生成部は、画像データ変換部によって表示用画像データに変換された第１フレーム画像と、画像データ変換部によって表示用画像データに変換された第２フレーム画像との合成位置を調整して合成画像を生成してよい。

本発明の第２の形態における監視方法は、第１監視領域の動画を撮像する第１撮像段階と、第１撮像段階による第１監視領域の撮像動作に同期して、第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像段階と、第１撮像段階における撮像条件と第２撮像段階における撮像条件とを一致させる撮像制御段階と、第１撮像段階において撮像される第１監視領域と、第２撮像段階において撮像される第２監視領域との相対的な位置関係に基づいて、撮像制御段階において制御された同一の撮像条件で第１撮像段階及び第２撮像段階においてそれぞれ撮像された動画を構成する第１フレーム画像及び第２フレーム画像の合成位置を調整して合成画像を生成する合成画像生成段階と、合成画像生成段階において生成された合成画像を、第１監視領域及び第２監視領域の少なくとも一部を含む部分監視領域の動画を構成するフレーム画像として格納する動画格納段階とを備える。

本発明の第３の形態によると、動画を撮像する監視システム用のプログラムであって、監視システムを、第１監視領域の動画を撮像する第１撮像部、第１撮像部による第１監視領域の撮像動作に同期して、第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像部、第１撮像部の撮像条件と第２撮像部の撮像条件とを一致させる撮像制御部、第１撮像部が撮像する第１監視領域と、第２撮像部が撮像する第２監視領域との相対的な位置関係に基づいて、撮像制御部によって制御された同一の撮像条件で第１撮像部及び第２撮像部がそれぞれ撮像した動画を構成する第１フレーム画像及び第２フレーム画像の合成位置を調整して合成画像を生成する合成画像生成部、合成画像生成部が生成した合成画像を、第１監視領域及び第２監視領域の少なくとも一部を含む部分監視領域の動画を構成するフレーム画像として格納する動画格納部として機能させる。

本発明の第４の形態における監視システムは、第１監視領域の動画を撮像する第１撮像部と、第１撮像部による第１監視領域の撮像動作に同期して、第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像部と、第１撮像部が撮像する第１監視領域と、第２撮像部が撮像する第２監視領域との相対的な位置関係に基づいて、第１撮像部及び第２撮像部がそれぞれ撮像した動画を構成する第１フレーム画像及び第２フレーム画像の合成位置を調整して合成画像を生成する合成画像生成部と、合成画像生成部が生成した合成画像を解析することによって、合成画像の中の特徴領域を特定する特徴領域特定部と、合成画像生成部が生成した合成画像から、特徴領域特定部が特定した特徴領域の画像である特徴領域画像をトリミングして抽出するトリミング部と、トリミング部が抽出した特徴領域画像を、第１監視領域及び第２監視領域の少なくとも一部を含む部分監視領域の動画を構成するフレーム画像として格納する動画格納部とを備える。

特徴領域特定部は、合成画像生成部が生成した連続する複数の合成画像を解析することによって、合成画像の中の動きがある領域である動き領域を特定し、トリミング部は、合成画像生成部が生成した合成画像から、特徴領域特定部が特定した動き領域の画像である動き領域画像をトリミングして抽出し、動画格納部は、トリミング部が抽出した動き領域画像を、部分監視領域の動画を構成するフレーム画像として格納してよい。

特徴領域特定部は、合成画像生成部が生成した合成画像を解析することによって、合成画像の中の人物が存在する領域である人物領域を特定し、トリミング部は、合成画像生成部が生成した合成画像から、特徴領域特定部が特定した人物領域の画像である人物領域画像をトリミングして抽出し、動画格納部は、トリミング部が抽出した人物領域画像を、部分監視領域の動画を構成するフレーム画像として格納してよい。

トリミング部は、合成画像生成部が生成した合成画像から、第１撮像部又は第２撮像部が撮像する第１フレーム画像又は第２フレーム画像と同一のアスペクト比の特徴領域画像をトリミングして抽出し、動画格納部は、トリミング部が抽出した特徴領域画像を特徴領域の動画を構成するフレーム画像として格納してよい。

トリミング部は、合成画像生成部が生成した合成画像から、外部の画像再生装置が再生する動画を構成するフレーム画像と同一のアスペクト比の特徴領域画像をトリミングして抽出し、動画格納部は、トリミング部が抽出した特徴領域画像を特徴領域の動画を構成するフレーム画像として格納してよい。

トリミング部が抽出した複数の特徴領域画像を、動画を構成するフレーム画像として動画圧縮する動画圧縮部をさらに備え、動画格納部は、動画圧縮部が圧縮した複数の特徴領域画像を特徴領域の動画を構成するフレーム画像として格納してよい。

第１撮像部が有する複数の受光素子から読み出された第１フレーム画像と、第２撮像部が有する複数の受光素子から読み出された第２フレーム画像とに交互に画像処理を施してメモリに格納する画像処理部をさらに備えてよい。

画像処理部は、第１撮像部が有する複数の受光素子から読み出された第１フレーム画像と、第２撮像部が有する複数の受光素子から読み出された第２フレーム画像とを交互にデジタルデータに変換するＡＤ変換部を有し、合成画像生成部は、ＡＤ変換部によってデジタルデータに変換された第１フレーム画像と、ＡＤ変換部によってデジタルデータに変換された第２フレーム画像との合成位置を調整して合成画像を生成してよい。

画像処理部は、第１撮像部が有する複数の受光素子から読み出された第１フレーム画像の画像データと、第２撮像部が有する複数の受光素子から読み出された第２フレーム画像の画像データとを交互に表示用画像データに変換する画像データ変換部を有し、合成画像生成部は、画像データ変換部によって表示用画像データに変換された第１フレーム画像と、画像データ変換部によって表示用画像データに変換された第２フレーム画像との合成位置を調整して合成画像を生成してよい。

本発明の第５の形態における監視方法は、第１監視領域の動画を撮像する第１撮像段階と、第１撮像段階における第１監視領域の撮像動作に同期して、第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像段階と、第１撮像段階において撮像される第１監視領域と、第２撮像段階において撮像される第２監視領域との相対的な位置関係に基づいて、第１撮像段階及び第２撮像段階においてそれぞれ撮像された動画を構成する第１フレーム画像及び第２フレーム画像の合成位置を調整して合成画像を生成する合成画像生成段階と、合成画像生成段階において生成された合成画像を解析することによって、合成画像の中の特徴領域を特定する特徴領域特定段階と、合成画像生成段階において生成された合成画像から、特徴領域特定段階において特定された特徴領域の画像である特徴領域画像をトリミングして抽出するトリミング段階と、トリミング段階において抽出された特徴領域画像を、第１監視領域及び第２監視領域の少なくとも一部を含む部分監視領域の動画を構成するフレーム画像として格納する動画格納段階とを備える。

本発明の第６の形態よると、動画を撮像する監視システム用のプログラムであって、監視システムを、第１監視領域の動画を撮像する第１撮像部、第１撮像部による第１監視領域の撮像動作に同期して、第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像部、第１撮像部が撮像する第１監視領域と、第２撮像部が撮像する第２監視領域との相対的な位置関係に基づいて、第１撮像部及び第２撮像部がそれぞれ撮像した動画を構成する第１フレーム画像及び第２フレーム画像の合成位置を調整して合成画像を生成する合成画像生成部、合成画像生成部が生成した合成画像を解析することによって、合成画像の中の特徴領域を特定する特徴領域特定部、合成画像生成部が生成した合成画像から、特徴領域特定部が特定した特徴領域の画像である特徴領域画像をトリミングして抽出するトリミング部、トリミング部が抽出した特徴領域画像を、第１監視領域及び第２監視領域の少なくとも一部を含む部分監視領域の動画を構成するフレーム画像として格納する動画格納部として機能させる。

本発明の第７の形態における監視システムは、第１監視領域の動画を撮像する第１撮像部と、第１撮像部による第１監視領域の撮像動作に同期して、第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像部と、第１撮像部及び第２撮像部がそれぞれ撮像した動画に基づいて、第１監視領域及び第２監視領域を含む全体監視領域の中の特徴領域を特定する特徴領域特定部と、特徴領域特定部が特定した複数の特徴領域をそれぞれ含む複数の特徴領域画像を、第１撮像部又は第２撮像部がそれぞれ撮像した動画を構成する第１フレーム画像又は第２フレーム画像からトリミングして抽出するトリミング部と、トリミング部が抽出した複数の特徴領域画像を合成した合成画像を生成する合成画像生成部と、合成画像生成部が生成した合成画像を、第１監視領域及び第２監視領域の少なくとも一部を含む部分監視領域の動画を構成するフレーム画像として格納する動画格納部とを備える。

特徴領域特定部は、第１撮像部及び第２撮像部がそれぞれ撮像した動画に基づいて、動きがある領域である動き領域を特徴領域として特定し、トリミング部は、特徴領域特定部が特定した複数の動き領域を含む画像である動き領域画像を、第１撮像部又は第２撮像部がそれぞれ撮像した動画を構成する第１フレーム画像又は第２フレーム画像からトリミングして抽出してよい。

特徴領域特定部は、第１撮像部及び第２撮像部がそれぞれ撮像した動画に基づいて、人物が存在する領域である人物領域を特徴領域として特定し、トリミング部は、特徴領域特定部が特定した複数の人物領域を含む画像である人物領域画像を、第１撮像部又は第２撮像部がそれぞれ撮像した動画を構成する第１フレーム画像又は第２フレーム画像からトリミングして抽出してよい。

トリミング部は、合成画像生成部によって生成される合成画像が第１撮像部又は第２撮像部が撮像する第１フレーム画像又は第２フレーム画像と同一のアスペクト比になるように、特徴領域特定部が特定した特徴領域を含む特徴領域画像をトリミングして抽出し、動画格納部は、トリミング部が抽出した部分監視領域画像を部分監視領域の動画を構成するフレーム画像として格納してよい。

トリミング部は、合成画像生成部によって生成される合成画像が外部の画像再生装置が再生する動画を構成するフレーム画像と同一のアスペクト比になるように、特徴領域特定部が特定した特徴領域を含む特徴領域画像をトリミングして抽出し、動画格納部は、トリミング部が抽出した部分監視領域画像を部分監視領域の動画を構成するフレーム画像として格納してよい。

トリミング部が抽出した複数の特徴領域画像を、動画を構成するフレーム画像として動画圧縮する動画圧縮部をさらに備え、動画格納部は、動画圧縮部が圧縮した複数の合成画像を部分監視領域の動画を構成するフレーム画像として格納してよい。

第１撮像部が有する複数の受光素子から読み出された第１フレーム画像と、第２撮像部が有する複数の受光素子から読み出された第２フレーム画像とに交互に画像処理を施してメモリに格納する画像処理部をさらに備えてよい。

画像処理部は、第１撮像部が有する複数の受光素子から読み出された第１フレーム画像と、第２撮像部が有する複数の受光素子から読み出された第２フレーム画像とを交互にデジタルデータに変換するＡＤ変換部を有し、特徴領域特定部は、ＡＤ変換部によってデジタルデータに変換された第１フレーム画像及び第２フレーム画像に基づいて特徴領域を特定してよい。

画像処理部は、第１撮像部が有する複数の受光素子から読み出された第１フレーム画像の画像データと、第２撮像部が有する複数の受光素子から読み出された第２フレーム画像の画像データとを交互に表示用画像データに変換する画像データ変換部を有し、特徴領域特定部は、画像データ変換部によって表示用画像データに変換された第１フレーム画像及び第２フレーム画像に基づいて特徴領域を特定してよい。

本発明の第８の形態における監視方法は、第１監視領域の動画を撮像する第１撮像段階と、第１撮像段階による第１監視領域の撮像動作に同期して、第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像段階と、第１撮像段階及び第２撮像段階においてそれぞれ撮像された動画に基づいて、第１監視領域及び第２監視領域を含む全体監視領域の中の特徴領域を特定する特徴領域特定段階と、特徴領域特定段階において特定された複数の特徴領域をそれぞれ含む複数の特徴領域画像を、第１撮像段階又は第２撮像段階がそれぞれ撮像した動画を構成する第１フレーム画像又は第２フレーム画像からトリミングして抽出するトリミング段階と、トリミング段階において抽出された複数の特徴領域画像を合成した合成画像を生成する合成画像生成段階と、合成画像生成段階において生成された合成画像を、第１監視領域及び第２監視領域の少なくとも一部を含む部分監視領域の動画を構成するフレーム画像として格納する動画格納段階とを備える。

本発明の第９の形態によると、動画を撮像する監視システム用のプログラムであって、監視システムを、第１監視領域の動画を撮像する第１撮像部、第１撮像部による第１監視領域の撮像動作に同期して、第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像部、第１撮像部及び第２撮像部がそれぞれ撮像した動画に基づいて、第１監視領域及び第２監視領域を含む全体監視領域の中の特徴領域を特定する特徴領域特定部、特徴領域特定部が特定した複数の特徴領域をそれぞれ含む複数の特徴領域画像を、第１撮像部又は第２撮像部がそれぞれ撮像した動画を構成する第１フレーム画像又は第２フレーム画像からトリミングして抽出するトリミング部、トリミング部が抽出した複数の特徴領域画像を合成した合成画像を生成する合成画像生成部、合成画像生成部が生成した合成画像を、第１監視領域及び第２監視領域の少なくとも一部を含む部分監視領域の動画を構成するフレーム画像として格納する動画格納部として機能させる。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。

本発明によれば、重要な監視領域を低コストで監視することができる監視システムを提供することができる。

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る監視システム１００の利用環境の一例を示す。監視システム１００は、監視装置１１０、画像再生装置１２０、及び携帯端末１３０を備える。監視装置１１０は、監視領域１７０を撮像して動画のフレーム画像を生成して、監視センター等に設けられた画像再生装置１２０、監視領域１７０の管理人が所持する携帯端末１３０等に送信する。監視装置１１０は、監視領域１７０の動画を撮像する複数のカメラ１１２a及び１１２ｂ（以後、１１２と総称する）、並びに、カメラ１１２a及び１１２ｂからの撮像データを順次受け取って画像データに変換する画像生成装置１１１を有している。

カメラ１１２ａ及び１１２ｂは、撮像監視領域１７０の異なる撮像範囲を撮像する。カメラ１１２ａ及び１１２ｂの、少なくとも一部の撮像領域は重複していてよい。そして、画像生成装置１１１は、カメラ１１２ａとカメラ１１２ｂが重複して撮像する重複撮像領域を特定して、カメラ１１２ｂにおける重複撮像領域以外の画像領域と、カメラ１１２ａで撮像された画像とを合成して合成画像を生成する。そして、画像生成装置１１１は、合成された合成画像から、人物を含む画像領域、動きのある被写体が写った画像領域等をトリミングすることによって一のフレーム画像を生成して、画像再生装置１２０に送信する。このとき、監視装置１１０は、カメラ１１２ａ又は１１２ｂによって撮像されるアスペクト比、若しくは、画像再生装置１２０がモニタ等の表示装置１２１に表示させるべき画像のアスペクト比でトリミングする。

なお、カメラ１１２a及び１１２ｂによって撮像されたフレーム画像から、人物が含まれる部分領域、動く物体が含まれる部分領域等の、監視対象として重要な部分領域を撮像するカメラ１１２ａの撮像条件に、他方のカメラ１１２ｂの撮像条件を一致させてフレーム画像を撮像してよい。

なお、監視装置１１０は、以上説明したような、複数のカメラ１１２からの画像を合成して得られた合成画像から、重要な部分領域を切り出してフレーム画像を生成する動作モードであるトリミングモードの他に、監視装置１１０は、複数のカメラ１１２によって撮像されたそれぞれのフレーム画像から、監視対象として重要な複数の部分領域をトリミングして、トリミングした部分領域を一のフレーム画像として連結して一のフレーム画像を生成する動作モードである連結モードを有してもよい。なお、連結モードにおいても、トリミングモードでフレーム画像と同一のアスペクト比のフレーム画像を生成してよい。

以上説明した監視システム１００によると、高解像度カメラを使用せずに、より低解像度で安価なカメラ１１２を複数使用することによって、広い範囲の監視領域を効率的に監視することができる。例えば、横長の監視領域を監視する必要がある場合は、カメラ１１２を横方向に複数並べることによって、個々の監視領域毎に適切な解像度の監視画像を得ることができる。また、複数のカメラによる撮像データを共用の画像生成装置１１１が処理するので、カメラ１１２のそれぞれが画像を処理する場合に比べて、より低いコストで動画を生成することができる。

なお、監視装置１１０は、インターネット等の通信回線１８０を介して、画像再生装置１２０又は携帯端末１３０に撮像画像を送信してよい。また、画像再生装置１２０は、コンピュータ等の、動画を受信して再生することができる装置であってよい。また、携帯端末１３０は、携帯電話、ＰＤＡ等の携帯情報端末であってよい。画像再生装置１２０は、監視領域１７０の遠方の監視センター等に位置してよく、監視領域１７０の近傍に位置してもよい。

図２は、監視装置１１０がトリミングモードで動作する場合の動作ブロックの一例を示す。監視システム１００は、第１撮像部２１０ａ、第２撮像部２１０ｂ、画像処理部２２０、重複監視領域特定部２３０、監視領域位置算出部２３２、監視領域位置格納部２３４、合成画像生成部２４０、顔領域抽出部２５０、顔領域明るさ判断部２５２、動画圧縮部２６０、特徴領域特定部２７０、撮像条件決定部２７２、撮像制御部２７４、トリミング部２８０、及び動画格納部２９０を備える。画像処理部２２０は、利得制御部２２２、ＡＤ変換部２２４、画像データ変換部２２６、及びメモリ２２８を有する。なお、図１で説明したカメラ１１２a及び１１２ｂは、それぞれ第１撮像部２１０ａ及び第２撮像部２１０ｂとして機能してよく、図１で説明した画像生成装置１１１は、画像処理部２２０、重複監視領域特定部２３０、監視領域位置算出部２３２、監視領域位置格納部２３４、合成画像生成部２４０、顔領域抽出部２５０、顔領域明るさ判断部２５２、動画圧縮部２６０、特徴領域特定部２７０、撮像条件決定部２７２、撮像制御部２７４、トリミング部２８０、及び動画格納部２９０として機能してよい。

第１撮像部２１０ａは、第１監視領域の動画を撮像する。また、第２撮像部２１０ｂは、第１撮像部２１０ａによる第１監視領域の撮像動作に同期して、第１監視領域に隣接する第２監視領域の動画を撮像する。例えば、第２撮像部２１０ｂは、第１撮像部２１０ａの撮像動作と同じタイミングで第２監視領域を撮像する。なお、第１撮像部２１０ａ及び第２撮像部２１０ｂは、具体的には、被写体からの光をＣＣＤ等の複数の受光素子で受光して、それぞれ動画の第１フレーム画像及び第２フレーム画像を生成してよい。

具体的には、監視領域位置格納部２３４は、第１撮像部２１０ａが撮像する第１監視領域と、第２撮像部２１０ｂが撮像する第２監視領域との相対的な位置関係を格納している。そして、合成画像生成部２４０は、監視領域位置格納部２３４が格納した第１監視領域と第２監視領域との相対的な位置関係に基づいて、第１フレーム画像及び第２フレーム画像の合成位置を調整して合成画像を生成する。

合成画像生成部２４０は、第１撮像部２１０ａが撮像する第１監視領域と、第２撮像部２１０ｂが撮像する第２監視領域との相対的な位置関係に基づいて、第１撮像部２１０ａ及び第２撮像部２１０ｂがそれぞれ撮像した動画を構成する第１フレーム画像及び第２フレーム画像の合成位置を調整して合成画像を生成する。そして、動画格納部２９０は、合成画像生成部２４０が生成した合成画像を、第１監視領域及び第２監視領域の少なくとも一部を含む部分監視領域の動画を構成するフレーム画像として格納する。これにより、複数の撮像装置によって広範囲の監視領域１７０を監視することができる。

重複監視領域特定部２３０は、第１撮像部２１０ａが撮像した第１フレーム画像と、第１撮像部２１０ａが第１フレーム画像を撮像すると同時に第２撮像部２１０ｂが撮像した第２フレーム画像とをマッチングすることによって、第１撮像部２１０ａの第１監視領域と第２撮像部２１０ｂの第２監視領域とが重複する領域である重複監視領域を特定する。監視領域位置算出部２３２は、重複監視領域特定部２３０が特定した重複監視領域に基づいて、第１撮像部２１０ａが撮像する第１監視領域と、第２撮像部２１０ｂが撮像する第２監視領域との相対的な位置関係を算出する。そして、監視領域位置格納部２３４は、監視領域位置算出部２３２が算出した第１撮像部２１０ａが撮像する第１監視領域と、第２撮像部２１０ｂが撮像する第２監視領域との相対的な位置関係を格納する。

そして、合成画像生成部２４０は、監視領域位置算出部２３２が算出した第１監視領域と第２監視領域との相対的な位置関係に基づいて、第１フレーム画像及び第２フレーム画像の合成位置を調整して合成画像を生成する。具体的には、合成画像生成部２４０は、監視領域位置格納部２３４が格納する、監視領域位置算出部２３２が算出した第１監視領域と第２監視領域との相対的な位置関係に基づいて、合成画像を生成する。

なお、監視領域位置格納部２３４は、第１撮像部２１０ａが撮像する第１監視領域と、第２撮像部２１０ｂが撮像する第２監視領域との相対的な位置関係を予め格納してもよい。また、重複監視領域特定部２３０は、第１撮像部２１０ａが撮像した第１フレーム画像と、第２撮像部２１０ｂが撮像した第２フレーム画像とに基づいて、重複監視領域を定期的に特定してよい。そして、監視領域位置算出部２３２は、重複監視領域特定部２３０によって定期的に算出された重複監視領域に基づいて、第１撮像部２１０ａが撮像する第１監視領域と、第２撮像部２１０ｂが撮像する第２監視領域との相対的な位置関係を定期的に算出して、監視領域位置格納部２３４に格納してよい。

トリミング部２８０は、合成画像生成部２４０が生成した合成画像を、第１撮像部２１０ａ又は第２撮像部２１０ｂが撮像する第１フレーム画像又は第２フレーム画像と同一のアスペクト比にトリミングして部分監視領域画像を抽出する。なお、トリミング部２８０は、合成画像生成部２４０が生成した合成画像を、外部の画像再生装置１２０が再生する動画を構成するフレーム画像と同一のアスペクト比にトリミングして部分監視領域画像を抽出してもよい。

そして、動画格納部２９０は、トリミング部２８０が抽出した部分監視領域画像を部分監視領域の動画を構成するフレーム画像として格納する。動画圧縮部２６０は、トリミング部２８０が抽出した複数の部分監視領域画像を、動画を構成するフレーム画像として動画圧縮する。例えば、動画圧縮部２６０は、ＭＰＥＧ規格に基づいて、複数の部分監視領域画像を動画圧縮する。そして、動画格納部２９０は、動画圧縮部２６０が圧縮した複数の部分監視領域画像を、部分監視領域の動画を構成するフレーム画像として格納する。以上説明したように、監視装置１１０は、複数の撮像装置で撮像された広い監視画像の中から、監視対象として重要な被写体を含む部分領域の動画を生成することができる。

なお、合成画像生成部２４０は、実際に合成画像を生成するのではなく、仮想的な合成画像を生成してよい。具体的には、合成画像生成部２４０は、監視領域位置算出部２３２が算出した第１監視領域と第２監視領域との相対的な位置関係に基づいて、第１フレーム画像及び第２フレーム画像の合成位置を調整して、調整された合成位置の情報と第１フレーム画像及び第２フレーム画像とが対応づけられた仮想合成画像情報を生成してよい。そして、トリミング部２８０は、合成画像生成部２４０が生成した仮想合成画像情報に基づいて、第１フレーム画像及び第２フレーム画像の少なくとも一方からトリミングして部分監視領域画像を抽出してもよい。

画像処理部２２０は、第１撮像部２１０ａが有する複数の受光素子から読み出された第１フレーム画像と、第２撮像部２１０ｂが有する複数の受光素子から読み出された第２フレーム画像とに交互に画像処理を施してメモリ２２８に格納する。利得制御部２２２は、例えばＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）であってよく、第１撮像部２１０ａ及び第２撮像部２１０ｂから入力された信号を、後段の信号処理のために、適切な信号レベルになるように変換する。そして、ＡＤ変換部２２４は、第１撮像部２１０ａが有する複数の受光素子から読み出された第１フレーム画像と、第２撮像部２１０ｂが有する複数の受光素子から読み出された第２フレーム画像とを交互にデジタルデータに変換する。具体的には、利得制御部２２２によって適切な信号レベルに変換された信号を、デジタルデータに変換する。そして、合成画像生成部２４０は、ＡＤ変換部２２４によってデジタルデータに変換された第１フレーム画像と、ＡＤ変換部２２４によってデジタルデータに変換された第２フレーム画像との合成位置を調整して合成画像を生成する。

また、画像データ変換部２２６は、第１撮像部２１０ａが有する複数の受光素子から読み出された第１フレーム画像の画像データと、第２撮像部２１０ｂが有する複数の受光素子から読み出された第２フレーム画像の画像データとを交互に表示用画像データに変換する。例えば、画像データ変換部２２６は、ＡＤ変換部２２４によってデジタルデータに変換されたＣＣＤ等の受光量に対して、ガンマ補正等の変換処理を施すことによって、表示用画像データに変換する。そして、合成画像生成部２４０は、画像データ変換部２２６によって表示用画像データに変換された第１フレーム画像と、画像データ変換部２２６によって表示用画像データに変換された第２フレーム画像との合成位置を調整して合成画像を生成する。

以上説明したように、第１撮像部２１０ａ及び第２撮像部２１０ｂが撮像した撮像データを共用の画像処理部２２０で処理することによって、撮像装置のそれぞれが画像処理を行う場合に比べて監視装置１１０のコストを削減することができる。

特徴領域特定部２７０は、合成画像生成部２４０が生成した合成画像を解析することによって、合成画像の中の特徴領域を特定する。そして、トリミング部２８０は、合成画像生成部２４０が生成した合成画像から、特徴領域特定部２７０が特定した特徴領域の画像である特徴領域画像をトリミングして抽出する。そして、動画格納部２９０は、トリミング部２８０が抽出した特徴領域画像を、第１監視領域及び第２監視領域の少なくとも一部を含む部分監視領域の動画を構成するフレーム画像として格納する。

具体的には、特徴領域特定部２７０は、合成画像生成部２４０が生成した連続する複数の合成画像を解析することによって、合成画像の中の動きがある領域である動き領域を特定する。例えば、前に撮像されたフレーム画像から動き領域を特定してよい。そして、トリミング部２８０は、合成画像生成部２４０が生成した合成画像から、特徴領域特定部２７０が特定した動き領域の画像である動き領域画像をトリミングして抽出する。そして、動画格納部２９０は、トリミング部２８０が抽出した動き領域画像を、部分監視領域の動画を構成するフレーム画像として格納する。このため、監視装置１１０は、動きのある被写体を含む画像領域を、重要な監視対象領域として適切に監視することができる。

他にも、特徴領域特定部２７０は、合成画像生成部２４０が生成した合成画像を解析することによって、合成画像の中の人物が存在する領域である人物領域を特定する。そして、トリミング部２８０は、合成画像生成部２４０が生成した合成画像から、特徴領域特定部２７０が特定した人物領域の画像である人物領域画像をトリミングして抽出する。そして、動画格納部２９０は、トリミング部２８０が抽出した人物領域画像を、部分監視領域の動画を構成するフレーム画像として格納する。このため、監視装置１１０は、人物を含む画像領域を、重要な監視対象領域として適切に監視することができる。

なお、トリミング部２８０は、第１撮像部２１０ａ又は第２撮像部２１０ｂが撮像する第１フレーム画像又は第２フレーム画像と同一のアスペクト比、若しくは、外部の画像再生装置１２０が再生する動画を構成するフレーム画像と同一のアスペクト比の特徴領域画像をトリミングを抽出してよい。そして、動画格納部２９０は、トリミング部２８０が抽出した特徴領域画像を特徴領域の動画を構成するフレーム画像として格納する。このため、監視装置１１０は、重要な監視対象領域を撮像した、監視に適した適切なアスペクト比のフレーム画像を記録することができる。

また、動画圧縮部２６０は、トリミング部２８０が抽出した複数の特徴領域画像を、動画を構成するフレーム画像として動画圧縮してよい。動画格納部２９０は、動画圧縮部２６０が圧縮した複数の特徴領域画像を特徴領域の動画を構成するフレーム画像として格納してよい。

撮像制御部２７４は、第１撮像部２１０ａの撮像条件と第２撮像部２１０ｂの撮像条件とを一致させる。そして、合成画像生成部２４０は、第１撮像部２１０ａが撮像する第１監視領域と、第２撮像部２１０ｂが撮像する第２監視領域との相対的な位置関係に基づいて、撮像制御部２７４によって制御された同一の撮像条件で第１撮像部２１０ａ及び第２撮像部２１０ｂがそれぞれ撮像した動画を構成する第１フレーム画像及び第２フレーム画像の合成位置を調整して合成画像を生成する。なお、合成画像生成部２４０は、上述のとおり、第１監視領域と第２監視領域位置関係に基づいて、第１フレーム画像及び第２フレーム画像の合成位置を調整して合成画像を生成する。

特徴領域特定部２７０は、第１撮像部２１０ａ及び第２撮像部２１０ｂがそれぞれ撮像した動画に基づいて、第１監視領域及び第２監視領域を含む全体監視領域１７０の中の特徴領域を特定する。そして、撮像条件決定部２７２は、特徴領域特定部２７０が特定した特徴領域の画像に基づいて、第１撮像部２１０ａ及び第２撮像部２１０ｂの撮像条件を決定する。そして、撮像制御部２７４は、撮像条件決定部２７２が決定した撮像条件で第１撮像部２１０ａ及び第２撮像部２１０ｂに動画を撮像させる。

より具体的には、特徴領域特定部２７０は、第１撮像部２１０ａ及び第２撮像部２１０ｂがそれぞれ撮像した動画に基づいて、動きがある領域である動き領域を特徴領域として特定する。なお、特徴領域特定部２７０は、全体監視領域１７０に複数の動き領域が存在する場合には、動きが最も大きい動き領域を特定してよい。

そして、撮像条件決定部２７２は、特徴領域特定部２７０が特定した動き領域が含まれる第１撮像部２１０ａが第１監視領域が撮像した第１フレーム画像に基づいて、第１撮像部２１０ａ及び第２撮像部２１０ｂの露出条件を決定する。そして、撮像制御部２７４は、撮像条件決定部２７２が決定した露出条件で第１撮像部２１０ａ及び第２撮像部２１０ｂに動画を撮像させる。

特徴領域特定部２７０は、第１撮像部２１０ａ及び第２撮像部２１０ｂがそれぞれ撮像した動画に基づいて、人物が存在する領域である人物領域を特徴領域として特定してよい。そして、撮像条件決定部２７２は、特徴領域特定部２７０が特定した人物領域が含まれる第１撮像部２１０ａが第１監視領域が撮像した第１フレーム画像に基づいて、第１撮像部２１０ａ及び第２撮像部２１０ｂの露出条件を決定する。そして、撮像制御部２７４は、撮像条件決定部２７２が決定した露出条件で第１撮像部２１０ａ及び第２撮像部２１０ｂに動画を撮像させる。

特徴領域特定部２７０は、全体監視領域１７０に複数の人物領域が存在する場合には、全体監視領域１７０に対する人物の面積が最も大きい人物領域を特定する。そして、撮像条件決定部２７２は、特徴領域特定部２７０が特定した人物領域が含まれる第１撮像部２１０ａが第１監視領域が撮像した第１フレーム画像に基づいて、第１撮像部２１０ａ及び第２撮像部２１０ｂの露出条件を決定する。そして、撮像制御部２７４は、撮像条件決定部２７２が決定した露出条件で第１撮像部２１０ａ及び第２撮像部２１０ｂに動画を撮像させる。このため、監視装置１１０は、監視領域１７０への侵入者等の人物を適切に監視することができる。

顔領域抽出部２５０は、第１撮像部２１０ａ及び第２撮像部２１０ｂがそれぞれ撮像した動画に基づいて、全体監視領域１７０の中の人物の顔の領域である顔領域を抽出する。そして、顔領域明るさ判断部２５２は、顔領域抽出部２５０が抽出した顔領域の明るさを判断する。なお、特徴領域特定部２７０は、全体監視領域１７０に複数の人物領域が存在する場合には、顔領域明るさ判断部２５２が判断した明るさが予め定められた範囲内の明るさである人物の人物領域を特定する。また、特徴領域特定部２７０は、全体監視領域１７０に複数の人物領域が存在する場合には、顔領域明るさ判断部２５２が判断した明るさが最も大きい明るさである人物の人物領域を特定してもよい。

そして、撮像条件決定部２７２は、特徴領域特定部２７０が特定した人物領域が含まれる第１撮像部２１０ａが第１監視領域が撮像した第１フレーム画像に基づいて、第１撮像部２１０ａ及び第２撮像部２１０ｂの露出条件を決定する。そして、撮像制御部２７４は、撮像条件決定部２７２が決定した露出条件で第１撮像部２１０ａ及び第２撮像部２１０ｂに動画を撮像させる。なお、露出条件とは、第１撮像部２１０ａ及び第２撮像部２１０ｂの絞り又は露光時間の少なくとも一方を含んでよい。

以上説明したように、監視装置１１０は、監視対象として重要性の高い被写体を適切に撮像することができるカメラの撮像条件に他のカメラ１１２の撮像条件を合わせるので、見た目に統一感のあるフレーム画像を生成することができる。

図３は、監視装置１１０による監視領域の撮像過程の一例を示す。監視装置１１０は、所定のフレーム周期Ｔｆでフレーム画像を取得する。このとき、撮像部２１０ａ及び第２撮像部２１０ｂは、所定の露光時間Ｔeで露光されて、例えば光量に応じた電荷が蓄積される。そして、撮像部２１０ａ及び第２撮像部２１０ｂは、露光期間終了後に、蓄積された電荷を画像処理部２２０の利得制御部２２２に順次転送する。そして、画像処理部２２０は、第１撮像部２１０ａから転送された電荷に基づいて第１監視領域の第１フレーム画像３１２を生成してメモリ２２８に記憶した後に、第２撮像部２１０ｂから転送された電荷に基づいて第２監視領域の第２フレーム画像３１３を生成してメモリ２２８に記憶する。なお、画像処理部２２０は、第１撮像部２１０ａから利得制御部２２２に転送されたデータをＡＤ変換部２２４においてデジタルデータに変換され時点で一旦記憶させ、その後、第１撮像部２１０ａからのデータに対して画像データ変換部２２６等において画像変換処理が施される前に、第２撮像部２１０ｂから利得制御部２２２へのデータ転送を開始させてよい。

そして、重複監視領域特定部２３０は、第１フレーム画像３１２及び第２フレーム画像３１３について、第２フレーム画像３１３を第１フレーム画像３１２に対してずらした位置において、各フレーム画像が重なり合う画像領域における画像の一致度を算出する。そして、重複監視領域特定部２３０は、所定のずらし量毎における画像の一致度を算出する。

例えば、重複監視領域特定部２３０は、第１フレーム画像３１２の長手方向において、第２フレーム画像３１２を、フレーム画像３１３の端部から長手方向にずらしていく。そして、重複監視領域特定部２３０は、重なり合う画像領域において画像をマッチングさせ、画像のマッチング度を、フレーム画像の一致度として算出する。なお、画像のマッチング度とは、各フレーム画像が重なり合う画像領域に含まれるオブジェクトがマッチングしている部分の面積の、当該画像領域の面積に対する割合を指標とした値であってもよい。他にも、画像のマッチング度とは、フレーム画像が重なり合う画像領域の差分画像における、各画素の輝度の平均値を指標とした値であってもよい。

そして、重複監視領域特定部２３０は、一致度が最大となるずらし量Ｌを算出する。そして、重複監視領域特定部２３０は、画像をずらした方向とずらし量Ｌとに基づいて、重複監視領域を特定する。なお、以上の説明においては、説明を簡略化するために、第１フレーム画像の長手方向にずらせていくことによって重複監視領域を特定する動作の一例について説明したが、第２フレーム画像をずらせていく方向は長手方向に限られないのは言うまでもない。例えば、重複監視領域特定部２３０は、第１フレーム画像の縦方向又は横方向等、任意の方向に沿って、所定のずらし量毎に第２フレーム画像をずらしていって、重複監視領域を算出してもよい。また、被写体位置変化算出部２０４は、第１フレーム画像の縦方向及び横方向等、互いに異なる二方向において、所定のずらし量を同時に各々変化させていくことによって、重複画像領域を特定してもよい。

そして、監視領域位置算出部２３２は、重複監視領域特定部２３０が算出した重複監視領域に基づいて、第１フレーム画像３１２における撮像領域の中心座標と第２フレーム画像３１３における撮像領域の中心座標との相対座標値を、第１監視領域と第２監視領域との相対的な位置関係として算出する。その他、監視領域位置算出部２３２は、第１フレーム画像３１２において撮像される撮像領域の矩形の対角の座標と第２フレーム画像３１３において撮像される撮像領域の矩形の対角の座標とのそれぞれの相対座標値を、第１監視領域と第２監視領域との相対的な位置関係として算出してもよい。

そして、監視領域位置格納部２３４は、監視領域位置算出部２３２が算出した第１監視領域と、第２監視領域との相対的な位置関係を格納する。なお、以上説明した相対位置算出過程は、各フレーム画像が撮像される度に行ってもよいし、予め定められた周期で定期的になされてもよい。他にも、当該相対位置算出過程は、監視装置１１０が設置されたときになされてもよい。また、監視装置１１０は、撮像される各フレーム画像に基づいて、予め定められた周期で定期的に第１監視領域と第２監視領域の相対的な位置関係を算出して、算出した位置関係と、監視領域位置格納部２３４が格納する第１監視領域と第２監視領域の相対的な位置関係とを比較してもよい。そして、監視装置１１０は、算出した位置関係と監視領域位置格納部２３４が格納する位置関係との間に、予め定められた一致度より低い一致度が存在する場合に、監視領域位置格納部２３４が格納する位置関係に実際の位置関係と差がある旨のメッセージを発してもよい。

そして、合成画像生成部２４０は、監視領域位置格納部２３４が格納する位置関係に基づいて、重複監視領域が写された画像領域が重ならないように、第１フレーム画像３１２及び第２フレーム画像３１３の合成位置を調整して、合成画像３２０を生成する。以上説明したようにして、監視システム１００では、複数のカメラ１１２からの画像を適切に合成することができる。

図４は、合成画像からトリミング部２８０が特徴領域画像をトリミングする処理の一例を示す。特徴領域特定部２７０は、合成画像４０１、４０２、４０３、及び４０４から、例えば、動きのある人物を含む画像領域４１１、４１２、４１３、及び４１４を特徴領域として特定する。そして、トリミング部２８０は、特徴領域４１１、４１２、４１３、及び４１４を含む動画の一フレーム画像の大きさの範囲の特徴領域画像４２１、４２２、４２３、及び４２４を、それぞれ部分監視領域画像としてトリミングする。そして、動画格納部２９０は、トリミングしたそれぞれの部分監視領域画像を、画像再生装置１２０に送信すべき動画のフレーム画像４３１、４３２、４３３、及び４３４として格納する。

なお、特徴領域特定部２７０は、フレーム画像に対してエッジ抽出等の画像処理によって被写体の輪郭を抽出して、抽出した被写体の輪郭と、予め定められた人物のパターンとのパターンマッチング等の手法によって、人物を含む画像領域を特定してよい。また、特徴領域特定部２７０は、連続して撮像された複数のフレーム画像に含まれる被写体の画像上の位置に基づいて、被写体の動きを算出してよい。

なお、トリミング部２８０は、監視領域１７０のうちの予め定められた重点監視領域が含まれるよう合成画像から部分監視領域画像をトリミングしてよい。また、トリミング部２８０は、特徴領域特定部２７０が動く被写体を特徴領域として特定した場合に、当該被写体が動く方向の画像領域が部分監視領域画像に含まれるよう、トリミングの範囲を決定してよい。他にも、トリミング部２８０は、部分監視領域画像の大きさがフレーム画像の大きさを超える場合に、トリミングした部分監視領域画像に対してアフィン変換等の画像処理を施すことによって、部分監視領域画像の大きさをフレーム画像の大きさの範囲内に収めてもよい。

図５は、第１撮像部２１０ａ及び第２撮像部２１０ｂの撮像条件を一致させる処理の一例を示す。第１撮像部２１０ａは第１フレーム画像５０１、５０２、５０３を撮像しており、それぞれの第１フレーム画像が撮像されたタイミングと同じタイミングで、第２撮像部２１０ｂが第２フレーム画像５５１、５５２、５５３をそれぞれ撮像している。このとき、特徴領域特定部２７０は、第１撮像部２１０ａが連続的に撮像した第１フレーム画像５０１及び５０２から、例えば、動きのある人物を含む画像領域５１１及び５１２を、特徴領域として特定する。また、特徴領域特定部２７０は、第２撮像部２１０ｂが連続的に撮像した第２フレーム画像５５１及び５５２から、例えば、動きのある人物を含む画像領域５６１及び５６２を、特徴領域として特定する。

そして撮像条件決定部２７２は、第１フレーム画像５０３及び第２フレーム画像５５３を撮像させる場合に、各フレーム画像を撮像する前のタイミングで撮像された第１フレーム画像５０２及び第２フレーム画像５５２のうちの、最も面積の大きい特徴領域５１２を含むフレーム画像５０２を撮像した第１撮像部２１０ａがフレーム画像５０３を撮像する撮像条件に第２撮像部２１０ｂの撮像条件を合致させて、第２フレーム画像５５３を取得する。

なお、特徴領域特定部２７０は、人物を含む特徴領域５１２及び５６２を特定した場合に、顔領域抽出部２５０は、特徴領域の中において、例えば肌色の領域を抽出することによって、顔領域５２２及び５７２を特定する。そして、顔領域明るさ判断部２５２は、顔領域５２２及び５７２における画像の各画素の輝度の平均値等に基づいて、顔領域５２２及び５７２の画像の明るさを算出する。そして、特徴領域特定部２７０は、最も大きい明るさが算出された顔領域（例えば、顔領域５２２）を含むフレーム画像（例えば、第１フレーム画像５０２）を撮像した第１撮像部２１０ａの撮像条件に、第２撮像部２１０ｂの撮像条件を合致させる。このとき、撮像条件決定部２７２は、顔領域５２２の被写体を第１撮像部２１０ａが適切に撮像することができる露出条件を含む当該撮像条件を設定してよい。

また、撮像条件決定部２７２は、フレーム画像５０３及び５５３を撮像させる場合に、当該フレーム画像を撮像する前に撮像された複数のフレーム画像（例えば、第１フレーム画像５０１及び５５１、並びに、第２フレーム画像５０２及び５５２）のうちの、より動きが大きい特徴領域５１１及び５１２を特定されたフレーム画像５０２を撮像した第１撮像部２１０ａがフレーム画像５０３を撮像する撮像条件に、第２撮像部２１０ｂの撮像条件を合致さして、第２撮像部２１０ｂにフレーム画像５５３を撮像させる。

なお、撮像条件決定部２７２は、最も早いタイミングで特徴領域として特定された領域に含まれる被写体の形状等の被写体特徴情報を、当該被写体が撮像されたタイミングである特徴領域撮像タイミングに対応づけて記憶しておき、最も早い特徴領域撮像タイミングに対応づけて記憶された被写体特徴情報と一致する被写体を撮像した第１撮像部２１０ａの撮像条件に、第２撮像部２１０ｂの撮像条件を合致させてもよい。これにより、監視システム１００では、例えば監視領域１７０に最初に侵入してきた人物を適切に撮像することができる撮像条件で監視装置１１０が撮像することによって、当該人物を適切に監視することができる。

図６は、監視装置１１０が連結モードにおいて動作する場合の動作ブロックの一例を示す。本例における連結モードにおいては、監視装置１１０は、第１撮像部２１０ａ、第２撮像部２１０ｂ、画像処理部２２０、合成画像生成部２４０、動画圧縮部２６０、特徴領域特定部２７０、トリミング部２８０、及び動画格納部２９０を備える。画像処理部２２０は、利得制御部２２２、ＡＤ変換部２２４、画像データ変換部２２６及びメモリ２２８を有する。なお、第１撮像部２１０ａ及び第２撮像部２１０ｂ、並びに画像処理部２２０が有する各構成要素は、図２において同一の符号を付した構成要素と同一の動作及び機能を有するので、説明を省略する。なお、本連結モードでフレーム画像を生成する場合には、第１撮像部２１０ａ及び第２撮像部２１０ｂが撮像する撮像条件は、各撮像部毎に設定されてよい。

特徴領域特定部２７０は、第１撮像部２１０ａ及び第２撮像部２１０ｂがそれぞれ撮像した動画に基づいて、第１監視領域及び第２監視領域を含む全体監視領域１７０の中の特徴領域を特定する。具体的には、特徴領域特定部２７０は、ＡＤ変換部２２４によってデジタルデータに変換された第１フレーム画像及び第２フレーム画像に基づいて特徴領域を特定する。より具体的には、特徴領域特定部２７０は、画像データ変換部２２６によって表示用画像データに変換された第１フレーム画像及び第２フレーム画像に基づいて特徴領域を特定する。

そして、トリミング部２８０は、特徴領域特定部２７０が特定した複数の特徴領域をそれぞれ含む複数の特徴領域画像を、第１撮像部２１０ａ又は第２撮像部２１０ｂがそれぞれ撮像した動画を構成する第１フレーム画像又は第２フレーム画像からトリミングして抽出する。そして、合成画像生成部２４０は、トリミング部２８０が抽出した複数の特徴領域画像を合成した合成画像を生成する。

そして、動画格納部２９０は、合成画像生成部２４０が生成した合成画像を、第１監視領域及び第２監視領域の少なくとも一部を含む部分監視領域の動画を構成するフレーム画像として格納する。このため、例えば、第１撮像部２１０ａによる第１監視領域以外の領域にも重要な監視対象が存在している場合でも、複数の監視対象を一のフレーム画像に収めて画像再生装置１２０に送信することができる。

特徴領域特定部２７０は、第１撮像部２１０ａ及び第２撮像部２１０ｂがそれぞれ撮像した動画に基づいて、動きがある領域である動き領域を特徴領域として特定する。そして、トリミング部２８０は、特徴領域特定部２７０が特定した複数の動き領域を含む画像である動き領域画像を、第１撮像部２１０ａ又は第２撮像部２１０ｂがそれぞれ撮像した動画を構成する第１フレーム画像又は第２フレーム画像からトリミングして抽出する。

特徴領域特定部２７０は、第１撮像部２１０ａ及び第２撮像部２１０ｂがそれぞれ撮像した動画に基づいて、人物が存在する領域である人物領域を特徴領域として特定する。そして、トリミング部２８０は、特徴領域特定部２７０が特定した複数の人物領域を含む画像である人物領域画像を、第１撮像部２１０ａ又は第２撮像部２１０ｂがそれぞれ撮像した動画を構成する第１フレーム画像又は第２フレーム画像からトリミングして抽出する。

トリミング部２８０は、合成画像生成部２４０によって生成される合成画像が第１撮像部２１０ａ又は第２撮像部２１０ｂが撮像する第１フレーム画像又は第２フレーム画像と同一のアスペクト比になるように、特徴領域特定部２７０が特定した特徴領域を含む特徴領域画像をトリミングして抽出する。トリミング部２８０は、合成画像生成部２４０によって生成される合成画像が外部の画像再生装置１２０が再生する動画を構成するフレーム画像と同一のアスペクト比になるように、特徴領域特定部２７０が特定した特徴領域を含む特徴領域画像をトリミングして抽出してもよい。そして、動画格納部２９０は、トリミング部２８０が抽出した部分監視領域画像を部分監視領域の動画を構成するフレーム画像として格納する。

動画圧縮部２６０は、トリミング部２８０が抽出した複数の特徴領域画像を、動画を構成するフレーム画像として動画圧縮する。例えば、動画圧縮部２６０は、ＭＰＥＧ規格に基づいて、複数の部分監視領域画像を動画圧縮する。そして、動画格納部２９０は、動画圧縮部２６０が圧縮した複数の特長領域画像を部分監視領域の動画を構成するフレーム画像として格納する。

なお、トリミング部２８０は、監視装置１１０が連結モードでフレーム画像を生成する場合においても、トリミングモードにおいて合成画像からフレーム画像がトリミングされる場合のアスペクト比と同じアスペクト比でトリミングしてよい。これにより、トリミングモードと連結モードとの間でフレーム画像を生成する動作モードが時間的に遷移された場合でも、アスペクト比が変わって監視者にとって監視画像が見にくくなってしまうことを防ぐことができる。

図７は、監視装置１１０が連結モードにおいて生成されるフレーム画像の一例を示す。特徴領域特定部２７０は、第１撮像部２１０ａが撮像した第１フレーム画像７１１、７１２、及び７１３から、それぞれの特徴領域７２１、７２２、及び７２３を特定する。また、特徴領域特定部２７０は、第２撮像部２１０ｂが撮像した第２フレーム画像７５１、７５２、及び７５３から、それぞれの特徴領域７６１、７６２、及び７６３を特定する。なお、特徴領域特定部２７０が特徴領域を特定する手法としては、例えば図４に関連して説明した方法と同じ手法を用いることができるので、説明を省略する。

そして、トリミング部２８０は、第１フレーム画像７１１に含まれる特徴領域７２１と、第２フレーム画像７５１に含まれる特徴領域７６１を含む特徴領域画像７３１及び７７１をトリミングする。このとき、トリミング部２８０は、画像再生装置１２０が表示する動画のアスペクト比と同一のアスペクト比となるように、特徴領域画像７３１及び７７１をトリミングしてよい。なお、トリミング部２８０は、特徴領域の面積がより大きい場合に、特徴領域を含むより大きい画像領域をトリミングしてもよい。また、トリミング部２８０は、特徴領域特定部２７０が動く被写体を特徴領域として特定した場合には、当該被写体が動く方向の監視領域を含む画像領域をトリミングしてよい。また、トリミング部２８０は、特徴領域特定部２７０が動く被写体を特徴領域として特定した場合には、動く速さがより大きい場合に、特徴領域を含むより大きい画像領域をトリミングしてもよい。また、トリミング部２８０は、特徴領域特定部２７０が動く被写体を特徴領域として特定した場合には、被写体が、被写体の大きさに対してより大きい速さで動いている場合に、特徴領域を含むより大きい画像領域をトリミングしてもよい。

なお、トリミング部２８０は、複数の特徴領域画像を連結して得られる画像の大きさが、画像再生装置１２０が再生する動画の大きさを超えてしまう場合には、当該範囲に収まるよう、トリミングされたそれぞれの特徴領域画像にアフィン変換等の画像処理を施してよい。

以上説明したように、監視装置１１０が連結モードによってフレーム画像を生成することによって、例えば金庫等、予め定められた監視対象領域と、監視領域１７０への侵入者とを同一フレーム画像に収めることができる。したがって、監視システム１００においては、監視装置１１０から送信されてくる動画のデータ量を削減することができる。

図８は、監視装置１１０がフレーム画像を生成する動作モードを選択する処理フローの一例を示す。特徴領域特定部２７０は、第１撮像部２１０ａ及び第２撮像部２１０ｂが同じタイミングで撮像したそれぞれの画像から、特徴領域を特定する（Ｓ８１０）。そして、監視装置１１０は、特徴領域特定部２７０が特徴領域を複数特定したか否かを判断する（Ｓ８２０）。Ｓ８２０において、特徴領域特定部２７０が特徴領域を複数特定した場合には、監視装置１１０は、特徴領域特定部２７０が特定した複数の特徴領域がトリミング部２８０によってトリミングされるアスペクト比の部分監視画像の範囲内に収めることができるか否かを判断する（Ｓ８３０）。

Ｓ８３０において、特徴領域特定部２７０が特定した複数の特徴領域がトリミング部２８０によってトリミングされるアスペクト比の部分監視画像の範囲内に収めることができる場合には、連結モードで合成画像を生成する（Ｓ８４０）。Ｓ８２０において、特徴領域特定部２７０が特徴領域を複数特定していない場合、又は、特徴領域特定部２７０が特定した複数の特徴領域がトリミング部２８０によってトリミングされるアスペクト比の部分監視画像の範囲内に収めることができない場合には、トリミングモードで合成画像を生成する（Ｓ８５０）。以上説明したように、監視装置１１０は、監視領域１７０における重要な監視対象の存在位置、存在範囲等に応じて、トリミングモードと連結モードとを適切に選択することができる。

図９は、本実施形態に係る監視装置１１０のハードウェア構成の一例を示す。監視装置１１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、監視装置１１０が起動時に実行するブート・プログラムや、監視装置１１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。

ＣＰＵ１５０５により実行されるプログラムは、監視装置１１０を、図１から図８に関連して説明した第１撮像部２１０ａ、第２撮像部２１０ｂ、並びに、画像処理部２２０、重複監視領域特定部２３０、監視領域位置算出部２３２、監視領域位置格納部２３４、合成画像生成部２４０、顔領域抽出部２５０、顔領域明るさ判断部２５２、動画圧縮部２６０、特徴領域特定部２７０、撮像条件決定部２７２、撮像制御部２７４、トリミング部２８０、及び動画格納部２９０として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理部２２０を、図１から図８に関連して説明した利得制御部２２２、ＡＤ変換部２２４、画像データ変換部２２６、及びメモリ２２８として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムを監視装置１１０に提供してもよい。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

監視システム１００の利用環境の一例を示す図である。 トリミングモードにおける動作ブロックの一例を示す図である。 監視領域の撮像過程の一例を示す図である。 合成画像から特徴領域画像をトリミングする処理の一例を示す図である。 撮像条件を一致させる処理の一例を示す図である。 連結モードにおける動作ブロックの一例を示す図である。 連結モードにおいて生成されるフレーム画像の一例を示す図である。 フレーム画像を生成する動作モードを選択する処理フローの一例を示す図である。 監視装置１１０のハードウェア構成の一例を示す図である。

符号の説明

１００ 監視システム
１１０ 監視装置
１１１ 画像生成装置
１１２ カメラ
１２０ 画像再生装置
１３０ 携帯端末
１７０ 監視領域
１８０ 通信回線
２１０ 撮像部
２２０ 画像処理部
２２２ 利得制御部
２２４ ＡＤ変換部
２２６ 画像データ変換部
２３０ 重複監視領域特定部
２３２ 監視領域位置算出部
２３４ 監視領域位置格納部
２４０ 合成画像生成部
２５０ 顔領域抽出部
２５２ 顔領域明るさ判断部
２６０ 動画圧縮部
２７０ 特徴領域特定部
２７２ 撮像条件決定部
２７４ 撮像制御部
２８０ トリミング部
２９０ 動画格納部

Claims (32)

1. 第１監視領域の動画を撮像する第１撮像部から読み出された第１画像と、前記第１撮像部による前記第１監視領域の撮像動作に同期して、前記第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像部から読み出された第２画像とに画像処理を施す画像処理部と、
   前記第１撮像部及び前記第２撮像部がそれぞれ撮像した動画に基づいて、前記第１監視領域及び前記第２監視領域を含む全体監視領域の中の動きがある領域である動き領域を特徴領域として特定する特徴領域特定部と、
   前記第１撮像部もしくは前記第２撮像部が撮像した前記特徴領域特定部が特定した動き領域が含まれる画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件を一致させるよう前記第１撮像部及び前記第２撮像部の撮像条件を決定する撮像条件決定部と、
   前記第１監視領域と前記第２監視領域との相対的な位置関係に基づいて、前記画像処理部が画像処理を施した前記第１画像及び前記第２画像の合成位置を調整して合成画像を生成する合成画像生成部と、
   前記合成画像生成部が生成した前記合成画像を、前記第１監視領域及び前記第２監視領域の少なくとも一部を含む監視領域の動画を構成する画像として格納する動画格納部とを備える監視装置。
2. 前記特徴領域特定部は、前記全体監視領域に複数の動き領域が存在する場合には、動きが最も大きい動き領域を特定し、
   前記撮像条件決定部は、前記特徴領域特定部が特定した動き領域が含まれる前記第１撮像部もしくは前記第２撮像部が撮像した画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件を決定する請求項１に記載の監視装置。
3. 前記特徴領域特定部は、前記第１撮像部及び前記第２撮像部がそれぞれ撮像した動画に基づいて、人物が存在する領域である人物領域を特徴領域として特定し、
   前記撮像条件決定部は、前記特徴領域特定部が特定した人物領域が含まれる前記第１撮像部もしくは前記第２撮像部が撮像した画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件を決定する、
   請求項１に記載の監視装置。
4. 前記特徴領域特定部は、前記全体監視領域に複数の人物領域が存在する場合には、前記全体監視領域に対する人物の面積が最も大きい人物領域を特定し、
   前記撮像条件決定部は、前記特徴領域特定部が特定した人物領域が含まれる前記第１撮像部もしくは前記第２撮像部が撮像した画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件を決定する、
   請求項３に記載の監視装置。
5. 前記第１撮像部及び前記第２撮像部がそれぞれ撮像した動画に基づいて、前記全体監視領域の中の人物の顔の領域である顔領域を抽出する顔領域抽出部と、
   前記顔領域抽出部が抽出した顔領域の明るさを判断する顔領域明るさ判断部と
   をさらに備え、
   前記特徴領域特定部は、前記全体監視領域に複数の人物領域が存在する場合には、前記顔領域明るさ判断部が判断した明るさが予め定められた範囲内の明るさである人物の人物領域を特定し、
   前記撮像条件決定部は、前記特徴領域特定部が特定した人物領域が含まれる前記第１撮像部もしくは前記第２撮像部が撮像した画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件を決定する、
   請求項３に記載の監視装置。
6. 前記合成画像生成部が生成した前記合成画像を、前記第１撮像部又は前記第２撮像部が撮像する前記第１画像又は前記第２画像と同一のアスペクト比にトリミングして監視領域画像を抽出するトリミング部
   をさらに備え、
   前記動画格納部は、前記トリミング部が抽出した前記監視領域画像を前記監視領域の動画を構成する画像として格納する
   請求項１から請求項５のいずれか１つに記載の監視装置。
7. 前記合成画像生成部が生成した前記合成画像を、外部の画像再生装置が再生する動画を構成する画像と同一のアスペクト比にトリミングして監視領域画像を抽出するトリミング部
   をさらに備え、
   前記動画格納部は、前記トリミング部が抽出した前記監視領域画像を前記監視領域の動画を構成する画像として格納する
   請求項１から請求項５のいずれか１つに記載の監視装置。
8. 前記トリミング部が抽出した複数の前記監視領域画像を、動画を構成する画像として動画圧縮する動画圧縮部
   をさらに備え、
   前記動画格納部は、前記動画圧縮部が圧縮した前記複数の監視領域画像を前記監視領域の動画を構成する画像として格納する
   請求項６又は７に記載の監視装置。
9. 前記画像処理部は、
   前記第１撮像部が有する複数の受光素子から読み出された前記第１画像と、前記第２撮像部が有する複数の受光素子から読み出された前記第２画像とを交互にデジタルデータに変換するＡＤ変換部
   を有し、
   前記合成画像生成部は、前記ＡＤ変換部によってデジタルデータに変換された前記第１画像と前記第２画像との合成位置を調整して前記合成画像を生成する
   請求項１から請求項８のいずれか１つに記載の監視装置。
10. 前記画像処理部は、
    前記第１撮像部が有する複数の受光素子から読み出された前記第１画像の画像データと、前記第２撮像部が有する複数の受光素子から読み出された前記第２画像の画像データとを交互に表示用画像データに変換する画像データ変換部
    を有し、
    前記合成画像生成部は、前記画像データ変換部によって前記表示用画像データに変換された前記第１画像と前記第２画像との合成位置を調整して前記合成画像を生成する
    請求項９に記載の監視装置。
11. 前記撮像条件決定部が決定した撮像条件に基づいて前記第１撮像部及び前記第２撮像部に動画を撮像させる撮像制御部をさらに備える請求項１から請求項１０のいずれか１つに記載の監視装置。
12. 第１監視領域の動画を撮像する第１撮像部から読み出された第１画像と、前記第１撮像部による前記第１監視領域の撮像動作に同期して、前記第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像部から読み出された第２画像とに画像処理を施す画像処理段階と、
    前記第１撮像部及び前記第２撮像部がそれぞれ撮像した動画に基づいて、前記第１監視領域及び前記第２監視領域を含む全体監視領域の中の動きがある領域である動き領域を特徴領域として特定する特徴領域特定段階と、
    前記第１撮像部もしくは第２撮像部が撮像した前記特徴領域特定段階で特定された動き領域が含まれる画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件を一致させるよう前記第１撮像部及び前記第２撮像部の撮像条件を決定する撮像条件決定段階と、
    前記第１監視領域と前記第２監視領域との相対的な位置関係に基づいて、前記画像処理が施された前記第１画像及び前記第２画像の合成位置を調整して合成画像を生成する合成画像生成段階と、
    前記合成画像生成段階において生成された前記合成画像を、前記第１監視領域及び前記第２監視領域の少なくとも一部を含む監視領域の動画を構成する画像としてメモリに格納する動画格納段階と
    を備える監視方法。
13. 前記特徴領域特定段階において、前記全体監視領域に複数の動き領域が存在する場合には、動きが最も大きい動き領域を特定し、
    前記撮像条件決定段階において、前記特徴領域特定段階において特定された動き領域が含まれる前記第１撮像部もしくは前記第２撮像部が撮像した画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件を決定する請求項１２に記載の監視方法。
14. 前記特徴領域特定段階において、前記第１撮像部及び前記第２撮像部がそれぞれ撮像した動画に基づいて、人物が存在する領域である人物領域を特徴領域として特定し、
    前記撮像条件決定段階において、前記特徴領域特定段階において特定された人物領域が含まれる前記第１撮像部もしくは前記第２撮像部が撮像した画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件を決定する請求項１２に記載の監視方法。
15. 前記第１撮像部及び前記第２撮像部がそれぞれ撮像した動画に基づいて、前記全体監視領域の中の人物の顔の領域である顔領域を抽出する顔領域抽出段階と、
    前記顔領域抽出段階において抽出された顔領域の明るさを判断する顔領域明るさ判断段階と
    をさらに備え、
    前記特徴領域特定段階において、前記全体監視領域に複数の人物領域が存在する場合には、前記顔領域明るさ判断段階において判断された明るさが予め定められた範囲内の明るさである人物の人物領域を特定し、
    前記撮像条件決定段階において、前記特徴領域特定段階において特定された人物領域が含まれる前記第１撮像部もしくは前記第２撮像部が撮像した画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件を決定する
    請求項１４に記載の監視方法。
16. 前記撮像条件決定段階において決定された撮像条件に基づいて前記第１撮像部及び前記第２撮像部に動画を撮像させる撮像制御段階をさらに備える請求項１２から請求項１５のいずれか１つに記載の監視方法。
17. 第１監視領域の動画を撮像する第１撮像部から読み出された第１画像と、前記第１撮像部による前記第１監視領域の撮像動作に同期して、前記第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像部から読み出された第２画像とに画像処理を施す画像処理部と、
    前記第１撮像部及び前記第２撮像部がそれぞれ撮像した動画に基づいて、前記第１監視領域及び前記第２監視領域を含む全体監視領域の中の動きがある領域である動き領域を特徴領域として特定する特徴領域特定部と、
    前記第１撮像部もしくは第２撮像部が撮像した前記特徴領域特定部が特定した動き領域が含まれる画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件とを一致させるよう前記第１撮像部及び前記第２撮像部の撮像条件を決定する撮像条件決定部と、
    前記第１監視領域と前記第２監視領域との相対的な位置関係に基づいて、前記画像処理部が画像処理を施した前記第１画像及び前記第２画像の合成位置を調整して合成画像を生成する合成画像生成部と、
    前記合成画像生成部が生成した前記合成画像を、前記第１監視領域及び前記第２監視領域の少なくとも一部を含む監視領域の動画を構成する画像として格納する動画格納部、としてコンピュータを機能させるプログラム。
18. 前記特徴領域特定部は、前記全体監視領域に複数の動き領域が存在する場合には、動きが最も大きい動き領域を特定し、
    前記撮像条件決定部は、前記特徴領域特定部が特定した動き領域が含まれる前記第１撮像部もしくは前記第２撮像部が撮像した画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件を決定する請求項１７に記載のプログラム。
19. 前記特徴領域特定部は、前記第１撮像部及び前記第２撮像部がそれぞれ撮像した動画に基づいて、人物が存在する領域である人物領域を特徴領域として特定し、
    前記撮像条件決定部は、前記特徴領域特定部が特定した人物領域が含まれる前記第１撮像部もしくは前記第２撮像部が撮像した画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件を決定する請求項１７に記載のプログラム。
20. 前記第１撮像部及び前記第２撮像部がそれぞれ撮像した動画に基づいて、前記全体監視領域の中の人物の顔の領域である顔領域を抽出する顔領域抽出部と、
    前記顔領域抽出部が抽出した顔領域の明るさを判断する顔領域明るさ判断部と
    してさらにコンピュータを機能させ、
    前記特徴領域特定部は、前記全体監視領域に複数の人物領域が存在する場合には、前記顔領域明るさ判断部が判断した明るさが予め定められた範囲内の明るさである人物の人物領域を特定し、
    前記撮像条件決定部は、前記特徴領域特定部が特定した人物領域が含まれる前記第１撮像部もしくは前記第２撮像部が撮像した画像に基づいて、前記第１撮像部及び前記第２撮像部の撮像条件を決定する請求項１９に記載のプログラム。
21. 前記撮像条件決定部が決定した撮像条件に基づいて前記第１撮像部及び前記第２撮像部に動画を撮像させる撮像制御部としてさらにコンピュータを機能させる請求項１７から請求項２０のいずれか１つに記載のプログラム。
22. 第１監視領域の動画を撮像する第１撮像部から読み出された第１画像の第１監視領域と前記第１撮像部による前記第１監視領域の撮像動作に同期して、前記第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像部から読み出された第２画像の第２監視領域との相対的な位置関係に基づいて、前記第１撮像部及び前記第２撮像部がそれぞれ撮像した動画を構成する第１画像及び第２画像の合成位置を調整して合成画像を生成する合成画像生成部と、
    前記合成画像生成部が生成した前記合成画像を解析することによって、前記合成画像の中の特徴領域を特定する特徴領域特定部と、
    前記合成画像生成部が生成した前記合成画像から、前記特徴領域特定部が特定した特徴領域の画像である特徴領域画像をトリミングして抽出するトリミング部と、
    前記トリミング部が抽出した前記特徴領域画像を、前記第１監視領域及び前記第２監視領域の少なくとも一部を含む監視領域の動画を構成する画像として格納する動画格納部と
    を備え
    前記特徴領域特定部は、前記合成画像生成部が生成した連続する複数の前記合成画像を解析することによって、前記合成画像の中の動きがある領域である動き領域または前記合成画像の中の人物が存在する領域である人物領域を特定し、
    前記トリミング部は、前記合成画像生成部が生成した前記合成画像から、前記特徴領域特定部が特定した前記動き領域の画像である動き領域画像または前記人物領域の画像である人物領域画像をトリミングして抽出し、
    前記動画格納部は、前記トリミング部が抽出した前記動き領域画像または前記人物領域画像を、前記監視領域の動画を構成する画像として格納する監視装置。
23. 前記トリミング部は、前記合成画像生成部が生成した前記合成画像から、前記第１撮像部又は前記第２撮像部が撮像する前記第１画像又は前記第２画像と同一のアスペクト比の前記特徴領域画像をトリミングして抽出し、
    前記動画格納部は、前記トリミング部が抽出した前記特徴領域画像を、前記監視領域の動画を構成する画像として格納する
    請求項２２に記載の監視装置。
24. 前記トリミング部は、前記合成画像生成部が生成した前記合成画像から、外部の画像再生装置が再生する動画を構成する画像と同一のアスペクト比の前記特徴領域画像をトリミングして抽出し、
    前記動画格納部は、前記トリミング部が抽出した前記特徴領域画像を、前記監視領域の動画を構成する画像として格納する
    請求項２２に記載の監視装置。
25. 前記トリミング部が抽出した複数の前記特徴領域画像を、動画を構成する画像として動画圧縮する動画圧縮部
    をさらに備え、
    前記動画格納部は、前記動画圧縮部が圧縮した前記複数の特徴領域画像を、前記監視領域の動画を構成する画像として格納する
    請求項２３又は２４に記載の監視装置。
26. 前記第１撮像部が有する複数の受光素子から読み出された第１画像と、前記第２撮像部が有する複数の受光素子から読み出された第２画像とに交互に画像処理を施す画像処理部
    をさらに備える請求項２２から２５のいずれか１つに記載の監視装置。
27. 前記画像処理部は、
    前記第１撮像部が有する複数の受光素子から読み出された前記第１画像と、前記第２撮像部が有する複数の受光素子から読み出された前記第２画像とを交互にデジタルデータに変換するＡＤ変換部
    を有し、
    前記合成画像生成部は、前記ＡＤ変換部によってデジタルデータに変換された前記第１画像と前記第２画像との合成位置を調整して前記合成画像を生成する
    請求項２６に記載の監視装置。
28. 前記画像処理部は、
    前記第１撮像部が有する複数の受光素子から読み出された前記第１画像の画像データと、前記第２撮像部が有する複数の受光素子から読み出された前記第２画像の画像データとを交互に表示用画像データに変換する画像データ変換部
    を有し、
    前記合成画像生成部は、前記画像データ変換部によって表示用画像データに変換された前記第１画像と前記第２画像との合成位置を調整して前記合成画像を生成する
    請求項２６に記載の監視装置。
29. 第１監視領域の動画を撮像する第１撮像部から読み出された第１画像の第１監視領域と前記第１撮像部による前記第１監視領域の撮像動作に同期して、前記第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像部から読み出された第２画像の第２監視領域との相対的な位置関係に基づいて、前記第１撮像部及び前記第２撮像部がそれぞれ撮像した動画を構成する第１画像及び第２画像の合成位置を調整して合成画像を生成する合成画像生成段階と、
    前記合成画像生成段階において生成された前記合成画像を解析することによって、前記合成画像の中の特徴領域を特定する特徴領域特定段階と、
    前記合成画像生成段階において生成された前記合成画像から、前記特徴領域特定段階において特定された特徴領域の画像である特徴領域画像をトリミングして抽出するトリミング段階と、
    前記トリミング段階において抽出された前記特徴領域画像を、前記第１監視領域及び前記第２監視領域の少なくとも一部を含む監視領域の動画を構成する画像として格納する動画格納段階と
    を備え、
    前記特徴領域特定段階において、前記合成画像生成段階において生成された連続する複数の前記合成画像を解析することによって、前記合成画像の中の動きがある領域である動き領域または前記合成画像の中の人物が存在する領域である人物領域を特定し、
    前記トリミング段階において、前記合成画像生成段階において生成された前記合成画像から、前記特徴領域特定段階において特定された前記動き領域の画像である動き領域画像または前記人物領域の画像である人物領域画像をトリミングして抽出し、
    前記動画格納段階において、前記トリミング段階において抽出された前記動き領域画像または前記人物領域画像を、前記監視領域の動画を構成する画像として格納する監視方法。
30. 前記第１撮像部が有する複数の受光素子から読み出された第１画像と、前記第２撮像部が有する複数の受光素子から読み出された第２画像とに交互に画像処理を施す画像処理段階
    をさらに備える請求項２９に記載の監視方法。
31. 第１監視領域の動画を撮像する第１撮像部から読み出された第１画像の第１監視領域と前記第１撮像部による前記第１監視領域の撮像動作に同期して、前記第１監視領域に隣接する第２監視領域の動画を撮像する第２撮像部から読み出された第２画像の第２監視領域との相対的な位置関係に基づいて、前記第１撮像部及び前記第２撮像部がそれぞれ撮像した動画を構成する第１画像及び第２画像の合成位置を調整して合成画像を生成する合成画像生成部と、
    前記合成画像生成部が生成した前記合成画像を解析することによって、前記合成画像の中の特徴領域を特定する特徴領域特定部と、
    前記合成画像生成部が生成した前記合成画像から、前記特徴領域特定部が特定した特徴領域の画像である特徴領域画像をトリミングして抽出するトリミング部と、
    前記トリミング部が抽出した前記特徴領域画像を、前記第１監視領域及び前記第２監視領域の少なくとも一部を含む監視領域の動画を構成する画像として格納する動画格納部、
    としてコンピュータを機能させ、
    前記特徴領域特定部は、前記合成画像生成部が生成した連続する複数の前記合成画像を解析することによって、前記合成画像の中の動きがある領域である動き領域または前記合成画像の中の人物が存在する領域である人物領域を特定し、
    前記トリミング部は、前記合成画像生成部が生成した前記合成画像から、前記特徴領域特定部が特定した前記動き領域の画像である動き領域画像または前記人物領域の画像である人物領域画像をトリミングして抽出し、
    前記動画格納部は、前記トリミング部が抽出した前記動き領域画像または前記人物領域画像を、前記監視領域の動画を構成する画像として格納する、
    プログラム。
32. 前記第１撮像部が有する複数の受光素子から読み出された第１画像と、前記第２撮像部が有する複数の受光素子から読み出された第２画像とに交互に画像処理を施す画像処理部
    としてさらにコンピュータを機能させる請求項３１に記載のプログラム。

Images