JP5181294B2 - 撮像システム、撮像方法、およびプログラム - Google Patents

Description

本発明は、撮像システム、撮像方法、およびプログラムに関する。本発明は、特に、画像を撮像する撮像システムおよび撮像方法、ならびに撮像システム用のプログラムに関する。

カメラ側では、長時間露光映像及び短時間露光映像を別々に圧縮して伝送して、受信端末側では、伝送されたデータを別々に伸張して、任意の比率で合成して広ダイナミックレンジ映像を表示する映像信号送受信システムが知られている（例えば、特許文献１参照。）。また、画面内の異なる位置に存在する輝度の異なる複数の被写体を、それぞれ異なる露光時間で分離して撮像して、複数の被写体像を、それぞれ個別に、適正な露光の映像信号として出力する監視用撮像装置が知られている（例えば、特許文献２参照。）。また、少なくとも第１および第２の異なる露出時間を使用して一連の連続ビデオ画像をキャプチャし表示する再生システムが知られている（例えば、特許文献３参照。）。
特開２００６−５４９２１号公報 特開２００５−５８９３号公報 特表２００５−５１９５３４号公報

しかしながら、各領域に適した露光時間が分からない場合には、異なる露光時間の画像を領域毎に組み合わせても、被写体像が鮮明に見える映像を提供することができない場合がある。

上記課題を解決するために、本発明の第１の形態によると、撮像システムであって、異なる複数の撮像条件で複数の撮像画像を連続的に撮像する撮像部と、異なる撮像条件で撮像された複数の撮像画像が連続的に表示される動画を出力する出力部とを備える。

本発明の第２の形態によると、撮像方法であって、異なる複数の撮像条件で複数の撮像画像を連続的に撮像する撮像段階と、異なる撮像条件で撮像された複数の撮像画像が連続的に表示される動画を出力する出力段階とを備える。

本発明の第３の形態によると、画像処理装置用のプログラムであって、コンピュータを、異なる複数の撮像条件で複数の撮像画像を連続的に撮像する撮像部、異なる撮像条件で撮像された複数の撮像画像が連続的に表示される動画を出力する出力部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係わる撮像システム１０の一例を示す。撮像システム１０は、以下に説明するように、監視システムとして機能することができる。

撮像システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｄ（以下、撮像装置１００と総称する。）、通信ネットワーク１１０、画像処理装置１７０、画像ＤＢ１７５、および複数の表示装置１８０ａ−ｄ（以下、表示装置１８０と総称する。）を備える。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。

撮像装置１００ａは、監視対象空間１５０を撮像して、複数の撮像画像を含む動画を生成する。このとき、撮像装置１００ａは、異なる撮像条件で連続して撮像する。撮像装置１００ａは、異なる撮像条件で撮像された撮像画像を重ね合わせることによって、より少数の出力画像を生成する。そして、撮像装置１００は、生成した出力画像を複数含むモニタリング動画を通信ネットワーク１１０を通じて画像処理装置１７０に送信する。

撮像装置１００ａが撮像条件を変えて撮像することで、鮮明な被写体像が得られる確率高めることができる。このため、撮像装置１００ａによると、データ量を削減しつつ、鮮明な被写体像の画像情報を含むモニタリング画像を提供することができる。

なお、撮像装置１００ａは、撮像された動画から、人物１３０が撮像された領域、車輌等の移動体１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、撮像装置１００ａは、当該動画を圧縮して、複数の特徴領域のそれぞれが特徴領域以外の領域より高画質な圧縮動画データを生成する。なお、撮像装置１００ａは、特徴領域の画像が特徴領域のそれぞれの重要度に応じた画質の画像に変換されている圧縮動画データを生成する。そして、撮像装置１００ａは、圧縮動画データを、特徴領域を示す情報である特徴領域情報に対応づけて、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。

なお、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、それぞれ撮像装置１００ａと同様の機能および動作を有する。したがって、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄの機能および動作については説明を省略する。

画像処理装置１７０は、特徴領域情報が対応づけられた圧縮動画データを撮像装置１００から受信する。そして、画像処理装置１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張して表示用動画を生成して、生成した表示用動画を表示装置１８０に供給する。表示装置１８０は、画像処理装置１７０から供給された表示用動画を表示する。

また、画像処理装置１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像ＤＢ１７５に記録してもよい。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを特徴領域情報を利用して伸張して表示用動画を生成して、表示装置１８０に供給してもよい。

なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置１７０は、特定した撮像画像を復号して、表示装置１８０に提供してよい。

このように、撮像システム１０によると、特徴領域が動画に対応づけて記録されているので、動画における所定の条件に適合する撮像画像を高速に検索、頭出しをすることができる。また、撮像システム１０によると、所定の条件に適合する撮像画像だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。

図２は、撮像装置１００のブロック構成の一例を示す。撮像装置１００は、撮像部２００、特徴領域検出部２０３、特徴領域位置予測部２０５、対応付け処理部２０６、出力部２０７、撮像制御部２１０、画像生成部２２０、および圧縮部２３０を備える。画像生成部２２０は、画像合成部２２４、画像選択部２２６、および輝度調整部２２８を有する。

撮像部２００は、異なる複数の撮像条件で複数の撮像画像を連続的に撮像する。具体的には、撮像部２００は、撮像部２００の撮像条件を変化させる撮像制御部２１０の制御により、異なる複数の撮像条件で複数の撮像画像を連続的に撮像する。

なお、撮像部２００は、予め定められた基準フレームレートより高いフレームレートで連続的に撮像してよい。例えば、撮像部２００は、表示装置１８０が表示することができる表示レートより高いフレームレートで撮影してよい。他にも、撮像部２００は、監視対象である監視対象物の動き速度に応じて予め定められた基準フレームレートより高いフレームレートで連続的に撮像してよい。なお、撮像画像はフレーム画像またはフィールド画像であってよい。

具体的には、撮像部２００は、時間長さが異なる露光時間で露光することにより複数の撮像画像を連続的に撮像する。より具体的には、撮像部２００は、撮像部２００が有する受光部を時間長さが異なる露光時間で露光する。また、撮像部２００は、異なる絞り開度で露光することにより複数の撮像画像を連続的に撮像してよい。また、撮像部２００は、露光量が一定となるよう設定された露光時間および絞り開度で露光することにより複数の撮像画像を連続的に撮像してもよい。

他にも、撮像部２００は、異なる解像度の複数の撮像画像を連続的に撮像してもよい。また、撮像部２００は、異なる色数の複数の撮像画像を連続的に撮像してもよい。他にも、撮像部２００は、異なる位置にフォーカスされた複数の撮像画像を連続的に撮像してもよい。

特徴領域検出部２０３は、複数の撮像画像のそれぞれから、特徴領域を検出する。具体的には、特徴領域検出部２０３は、複数の撮像画像を含む動画から、特徴領域を検出する。例えば、特徴領域検出部２０３は、動画において移動するオブジェクトを含む領域を特徴領域として検出してよい。なお、後に具体的に説明するように、特徴領域検出部２０３は、動画において特徴的なオブジェクトを含む領域を特徴領域として検出してよい。

なお、特徴領域検出部２０３は、動画から特徴の種類が異なる複数の特徴領域を検出してよい。特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。

例えば、特徴領域検出部２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。

このように、特徴領域検出部２０３は、異なる撮像条件で連続的に撮像された撮像画像から特徴領域を検出することができる。したがって、特徴領域の検出をし損じる確率を低減することができる。例えば、高速に移動する移動体を示すオブジェクトは、短い露光時間で露光して得られた撮像画像より、短い露光時間で露光して撮像された撮像画像から検出し易い場合が多い。撮像システム１０によると、上述したように撮像部２００が露光期間の時間長さを変化させて連続的に撮像することによって、高速に移動する移動体を検出し損じる確率を低減することができる。

特徴領域位置予測部２０５は、複数の撮像画像のそれぞれから検出された特徴領域の位置に基づいて、当該複数の撮像画像が撮像されたタイミングより後のタイミングにおける特徴領域の位置を予測する。そして、撮像部２００は、特徴領域位置予測部２０５によって予測された特徴領域の位置にフォーカスして複数の撮像画像を連続的に撮像してよい。具体的には、撮像制御部２１０は、撮像部２００による撮像のフォーカス位置を、特徴領域位置予測部２０５によって予測された特徴領域の位置に合わせる。

画像生成部２２０は、異なる複数の撮像条件で撮像された複数の撮像画像を重ね合わせて出力画像を生成する。具体的には、画像合成部２２４は、異なる複数の撮像条件で撮像された複数の撮像画像を重ね合わせて１の出力画像を生成する。より具体的には、画像生成部２２０は、複数の撮像画像の画素値を平均化することにより、１の出力画像を生成する。なお、画像合成部２２４は、第１の期間において異なる複数の撮像条件で撮像された複数の撮像画像から第１の出力画像を生成する。また、画像合成部２２４は、当該複数の撮像条件と同じ複数の撮像条件で第２の期間に撮像された複数の撮像画像から第１の出力画像を生成する。

このように、画像生成部２２０は、異なる撮像条件で撮像された画像を合成した出力画像を生成する。撮像部２００が異なる撮像条件で撮像することによって、被写体はいずれかの撮像画像において鮮明に撮像される可能性を高めることができる。したがって、撮像システム１０によると、鮮明に撮像された撮像画像を他の撮像画像と合成することで、人の目には鮮明な像として認識され易くなる場合がある。

なお、画像選択部２２６は、複数の画像領域毎に、予め定められた条件に適合する領域を複数の撮像画像の中から選択する。例えば、画像選択部２２６は、複数の画像領域毎に、予め定められた明るさより明るい撮像画像を選択する。他にも、画像選択部２２６は、複数の画像領域毎に、予め定められたコントラスト値より大きいコントラストを有する撮像画像を選択する。このように、画像選択部２２６は、複数の撮像画像の中から、ベストな状態で被写体が撮像された撮像画像を、複数の画像領域毎に選択する。そして、画像合成部２２４は、複数の画像領域毎に選択した撮像画像における複数の画像領域の画像を合成することにより、出力画像を生成してよい。

このように、画像生成部２２０は、撮像部２００により異なる期間にそれぞれ撮像された複数の撮像画像から、それぞれ複数の出力画像を生成する。圧縮部２３０は、画像合成部２２４によって合成された出力画像を圧縮する。なお、圧縮部２３０は、複数の出力画像を動画として圧縮してもよい。例えば、圧縮部２３０は、複数の出力画像をＭＰＥＧ圧縮してよい。

圧縮部２３０により圧縮された出力画像は、対応付け処理部２０６に供給される。なお、複数の出力動画を含む動画は、表示装置１８０が表示することができる表示レートと略等しいフレームレートの動画であってよい。なお、撮像部２００は、変化させる撮像条件の数を当該表示レートに乗じた値より大きい撮像レートで撮像してよい。

対応付け処理部２０６は、圧縮部２３０から供給された出力画像に、特徴領域検出部２０３によって検出された特徴領域を示す特徴領域情報を対応づける。一例として、対応付け処理部２０６は、出力画像を識別する情報、特徴領域の位置を識別する情報、および特徴領域の特徴の種類を識別する情報を対応づけた特徴領域情報を、圧縮動画に付帯する。そして、出力部２０７は、特徴領域情報が付帯された出力画像を画像処理装置１７０に出力する。具体的には、出力部２０７は、当該特徴領域情報が付帯された出力画像を、画像処理装置１７０に向けて通信ネットワーク１１０に送出する。

このように、出力部２０７は、特徴領域検出部２０３が検出した特徴領域を示す特徴領域情報を出力画像に対応づけて出力する。なお、出力部２０７は、複数の出力画像をそれぞれ動画構成画像として含む出力動画を出力することもできる。

なお、出力部２０７から出力された、画像生成部２２０によって生成された出力画像は、モニタリング画像として表示装置１８０に表示されてよい。撮像システム１０では、複数の撮像画像を合成した出力画像が通信ネットワーク１１０を通じて画像処理装置１７０に伝達されるので、複数の撮像画像を合成せずに伝達する場合に比べてデータ量を削減することができる。上述したように、出力画像に含まれるオブジェクトは人の目に鮮明な像として認識され易いので、撮像システム１０は、データ量の点においても視認特性の点においても、有用なモニタリング画像を提供することができる。

上述したように、画像合成部２２４によって人の目に認識し易い出力画像を生成することができる。一方で監視者にとっては、特に人物等の特徴的なオブジェクトが撮像された特徴領域については、撮像画像と同等の画質の画像で監視対象空間１５０を監視することができることが望ましい。

そこで、圧縮部２３０は、複数の撮像画像における特徴領域以外の領域である背景領域の画像の画質を、複数の撮像画像における特徴領域の画像の画質より低減することにより、複数の撮像画像を圧縮する。このように、圧縮部２３０は、複数の撮像画像のそれぞれを、複数の撮像画像における特徴領域と、複数の撮像画像における特徴領域以外の領域である背景領域とで、異なる強度で圧縮する。そして、出力部２０７はさらに、圧縮部２３０により圧縮された画像を出力してよい。このように、出力部２０７は、複数の出力画像により形成されるモニタリング動画と、圧縮された複数の撮像画像を含む撮像動画とを出力する。

なお、圧縮部２３０は、特徴領域以外の領域をトリミングすることによって撮像画像を圧縮してよい。この場合、出力部２０７は、合成された複数の出力画像とともに、トリミングされた撮像画像を通信ネットワーク１１０に送出する。

また、圧縮部２３０は、異なる撮像条件で撮像された複数の撮像画像を含む動画を圧縮してよい。そして、出力部２０７は、合成された複数の出力画像とともに、圧縮部２３０により圧縮された複数の撮像画像を含む動画を出力する。このように、出力部２０７は、異なる撮像条件で撮像された複数の撮像画像が連続的に表示される動画を出力する。

撮像部２００が撮像条件を変えて撮像すると、いずれかの撮像画像において被写体が鮮明に撮像される可能性が高くなる一方、同じ被写体が鮮明に撮像されていない撮像画像も多く生成される可能性がある。しかしながら、そのような複数の撮像画像を連続的に動画のフレームとして表示した場合には、それら中のいずれかのフレームで鮮明な被写体像があれば、人の目には被写体像が鮮明に見える場合がある。したがって、撮像システム１０によると、モニタリング画像に適した動画を提供することができる。

なお、圧縮部２３０は、異なる複数の撮像条件のそれぞれについて、同一の撮像条件で撮像された複数の撮像画像を動画構成画像として含む動画を圧縮してよい。そして、出力部２０７は、異なる複数の撮像条件のそれぞれについて圧縮部２３０によりそれぞれ圧縮された複数の動画を出力してよい。

より具体的には、圧縮部２３０は、動画の動画構成画像として含む複数の撮像画像のそれぞれを、当該動画の動画構成画像として含む他の撮像画像と画像内容を比較した比較結果に基づいて圧縮する。より具体的には、圧縮部２３０は、動画の動画構成画像として含む複数の撮像画像のそれぞれを、当該動画の動画構成画像として含む他の撮像画像と差分をとることにより圧縮する。例えば、圧縮部２３０は、動画の動画構成画像として含む複数の撮像画像のそれぞれを、他の撮像画像から生成される予測画像との差分をとることにより圧縮する。

同じ撮像条件で撮像された撮像画像は、異なる撮像条件で撮像された撮像画像より画像内容の差が小さくなる場合が多い。このため、圧縮部２３０が撮像条件毎に撮像画像をまとめることによって、異なる撮像条件の撮像画像を異なるストリームの動画として扱うことによって、異なる撮像条件で撮像された複数の撮像画像を動画として圧縮する場合に比べて、圧縮率を高めることができる。

なお、出力部２０７は、複数の撮像画像のそれぞれが撮像された撮像条件に対応づけて、複数の撮像画像を出力してよい。これにより、画像処理装置１７０は、撮像条件に応じた検出パラメータで特徴領域を高精度で検出し直すことができる。

なお、画像選択部２２６は、複数の撮像画像の中から、予め定められた条件に適合する複数の撮像画像を選択する。そして、圧縮部２３０は、画像選択部２２６が選択した複数の撮像画像を圧縮する。このように、出力部２０７は、予め定められた条件に適合する複数の撮像画像が連続的に表示される動画を出力することができる。なお、画像選択部２２６は、複数の撮像画像のうち、明るさが予め定められた値より明るい複数の撮像画像を選択してよい。他にも、画像選択部２２６は、複数の撮像画像のうち、特徴領域の数が予め定められた値より多い複数の撮像画像を選択してもよい。

なお、出力部２０７は、圧縮部２３０により圧縮された複数の動画に動画構成画像として含まれる複数の撮像画像のそれぞれが表示されるべきタイミングを示すタイミング情報に対応づけて、圧縮部２３０により圧縮された複数の動画を出力してよい。出力部２０７は、圧縮部２３０により圧縮された複数の動画に動画構成画像として含まれる複数の撮像画像のそれぞれが撮像されたタイミングを示すタイミング情報に対応づけて、圧縮部２３０により圧縮された複数の動画を出力してよい。そして、出力部２０７は、動画構成画像としての撮像画像を識別する識別情報（例えば、フレーム番号）とタイミング情報とを対応づけた情報を出力してよい。他にも、出力部２０７は、複数の撮像画像のそれぞれから検出された特徴領域を示す特徴領域情報を、複数の撮像画像のそれぞれに対応づけて出力してよい。

輝度調整部２２８は、複数の撮像画像にわたって画像の明るさを略同一にすべく、撮像画像の輝度を調整する。例えば、輝度調整部２２８は、特徴領域の画像の明るさを複数の撮像画像にわたって略同一にすべく、複数の撮像画像の輝度を調整する。そして、圧縮部２３０は、輝度調整部２２８によって輝度が調整された撮像画像を圧縮してよい。

そして、出力部２０７は、複数の撮像画像のそれぞれから検出された特徴領域を示す特徴領域情報を、輝度調整部２２８によって輝度が調整された複数の撮像画像のそれぞれに対応づけて出力する。撮像部２００が撮像条件を時間的に変えて撮像することによって、撮像画像の輝度が時間的に変わってしまう場合がある。しかしながら、撮像システム１０によると、輝度調整部２２８による輝度調整により、複数の撮像画像を動画として見た場合のちらつきを低減することができる。

図３は、圧縮部２３０のブロック構成の一例を示す。圧縮部２３０は、画像分割部２３２、複数の固定値化部２３４ａ−ｃ（以下、固定値化部２３４と総称する場合がある。）、および複数の圧縮処理部２３６ａ−ｄ（以下、圧縮処理部２３６と総称する場合がある。）を有する。

画像分割部２３２は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。より具体的には、画像分割部２３２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。画像分割部２３２は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。そして、圧縮処理部２３６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２３６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。

具体的には、画像分割部２３２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２３４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部２３４は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧ圧縮する。

固定値化部２３４ａ、固定値化部２３４ｂ、および固定値化部２３４ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、および圧縮処理部２３６ｃは、第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を圧縮する。

なお、圧縮処理部２３６ａ−ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２３６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。

なお、圧縮処理部２３６ｄは、背景領域動画を圧縮する。なお、圧縮処理部２３６ｄは、圧縮処理部２３６ａ−ｃのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部２３６によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部２０６に供給される。

なお、特徴領域以外の領域が固定値化部２３４によって固定値化されているので、圧縮処理部２３６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。

図４は、画像処理装置１７０のブロック構成の一例を示す。なお、本図では、領域毎に圧縮された複数の撮像画像を含む撮像動画を伸張する画像処理装置１７０のブロック構成を示す。

画像処理装置１７０は、圧縮画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、合成部３３０、および出力部３４０を備える。圧縮画像取得部３０１は、圧縮部２３０により圧縮された撮像画像を含む圧縮動画を取得する。具体的には、圧縮画像取得部３０１は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、圧縮画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。

そして、対応付け解析部３０２は、複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部３１０に供給する。伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。

以下に、伸張部３２０が有する各構成要素の動作を説明する。伸張部３２０は、復号器３２２ａ−ｄ（以下、復号器３２２と総称する。）を有する。復号器３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、および復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を復号する。

合成部３３０は、伸張部３２０によって伸張された複数の特徴領域動画および背景領域動画を合成して、１つの表示動画を生成する。具体的には、合成部３３０は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、１つの表示動画を生成する。出力部３４０は、対応付け解析部３０２から取得した特徴領域情報および表示動画を表示装置１８０または画像ＤＢ１７５に出力する。なお、画像ＤＢ１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。

図５は、圧縮部２３０の他のブロック構成の一例を示す。本構成における圧縮部２３０は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。

本構成における圧縮部２３０は、画質変換部５１０、差分処理部５２０、および符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ−ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ−ｄ（以下、符号器５３２と総称する。）を含む。

画質変換部５１０は、画像生成部２２０から複数の撮像画像を取得する。また、画質変換部５１０は、特徴領域検出部２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。

例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（第２解像度画像と呼ぶ。）、および第３の特徴の種類に応じた第３解像度に変換された撮像画像（第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。

そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、および第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、および階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。

なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。

階層間差分処理部５２２ｄおよび符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。

また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂおよび階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画および複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａおよび符号器５３２ａの具体的な動作について説明する。

階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａおよび符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎にされてよい。

なお、階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。

なお、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。

なお、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は、第２解像度画像を符号化するという点、および第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃおよび符号器５３２ｃの動作は、第３解像度画像を符号化するという点、および第３解像度画像を符号化を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。

以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像および低画質画像をそれぞれ符号化する。

また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。

以上説明したように、圧縮部２３０は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２３０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。

図６は、撮像画像６００から生成される出力画像の一例を示す。画像生成部２２０は、撮像部２００により撮像条件を変えて撮像された撮像画像６００−１〜１８を含む動画を取得する。なお、撮像部２００は、第１期間において、後に説明する撮像条件Ａ〜Ｉで変化させて撮像することによって、撮像時の撮像条件が異なる第１の組の撮像画像６００−１〜９を撮像する。そして、撮像部２００は、その後の第２期間において再び撮像条件をＡ〜Ｉに変化させて撮像することによって、撮像時の撮像条件が異なる第２の組の撮像画像６００−１０〜１８を撮像する。撮像部２００は、このような撮像動作を繰り返すことにより、撮像時の撮像条件が各組の中で異なる複数組の撮像画像を撮像する。

そして、画像合成部２２４は、第１の組の撮像画像６００−１〜９を重ね合わせることによって、出力画像６２０−１を生成する。また、画像合成部２２４は、第２の組の撮像画像６００−１０〜１８を重ね合わせることによって、出力画像６２０−２を生成する。画像合成部２２４は、このような動作を繰り返すことによって、各組の撮像画像６００を重ね合わせることによって、各組の撮像画像６００のそれぞれから１の出力画像６２０を生成する。

なお、画像合成部２２４は、撮像画像を所定の重み付け係数で重み付けして重ね合わせてもよい。なお、重み付け係数は、撮像条件に応じて予め定められてよい。例えば、画像合成部２２４は、より短い露光時間で撮像された撮像画像を、より大きく重み付けして重ね合わせることによって出力画像６２０を生成してよい。

なお、特徴領域検出部２０３は、撮像画像６００−１〜１８のそれぞれから、特徴領域６１０−１〜１８（以後、特徴領域６１０と総称する。）を検出する。そして、対応付け処理部２０６は、出力画像６２０−１を生成する場合に用いた撮像画像６００−１〜９から検出された特徴領域６１０−１〜９の位置を示す情報を、出力画像６２０−１に対応づける。また、対応付け処理部２０６は、出力画像６２０−２を生成する場合に用いた撮像画像６００−１０〜１８から検出された特徴領域６１０−１０〜１８の位置を示す情報を、出力画像６２０−２に対応づける。

これにより、画像処理装置１７０の側でも、出力画像６２０−１に代表される第１期間における特徴領域６１０の位置が分かる。したがって、画像処理装置１７０は、出力画像６２０−１における当該特徴領域を強調する処理を施す等したりすることによって、監視者に注意を喚起することができるモニタリング用の動画を生成することができる。

図７は、撮像条件Ａ〜Ｉの一例を示す。撮像制御部２１０は、予め定められた露光時間および絞り値の組を記憶している。

例えば、撮像制御部２１０は、露光時間Ｔおよび絞り値Ｆで撮像する撮像条件Ｅを記憶している。なお、Ｔが大きいほど露光時間の時間長さは長くなり、Ｆが大きいほど絞りの開度が小さくなるとする。なお、ここでは、一定の時間長さの露光時間で受光部を露光した場合、絞り値が２倍になると、受光部が受光する光量は１／４倍になるとする。つまり、ここでは、受光部が受光する光量は、絞り値の二乗に比例するとする。

そして、撮像条件Ｄ、Ｃ、Ｂ、Ａでは、露光時間はＴを２で除していった値に設定される一方、絞り値はＦを２の平方根で除していった値に設定される。そして、撮像条件Ｆ、Ｇ、Ｈ、Ｉでは、露光時間は２をＴに乗じていった値に設定される一方、絞り値は２の平方根をＦに乗じていった値に設定される。このように、撮像制御部２１０は、撮像条件Ａ〜Ｉでは、受光部の露光量は略同一になるよう異なる露光時間および絞り値が設定された撮像条件を記憶している。

撮像制御部２１０は、図６に関連して説明したように、撮像制御部２１０が記憶している撮像条件Ａ〜Ｉで撮像部２００の撮像条件を連続して変化させて、撮像条件を周期的変化させる。このような撮像条件で撮像した場合、被写体の明るさに変化がなければ、同じ画像領域では撮像画像６００の明るさは撮像条件によらず略同一となる。したがって、撮像装置１００によると、複数の撮像画像を連続して表示させた場合でもちらつきが少ない動画を提供することができる。

また、例えば撮像部２００が撮像条件Ａのようにより短い露光時間で撮像した場合には、高速に移動する移動体に対しても被写体像のブレを低減することができる場合がある。また、撮像部２００が撮像条件Ｉのようにより大きい絞り値で撮像すると被写界深度が深くなるので、鮮明な被写体像が得られる領域を広げることができる場合がある。このため、特徴領域検出部２０３において特徴領域を検出し損じる確率を低減することができる。また、撮像装置１００によると、ブレ、ボケの少ない鮮明な被写体像の画像情報を出力画像６２０の中に組み込むことができる場合がある。なお、上述したように、撮像制御部２１０は、露光時間および絞り値で規定される撮像条件の他に、フォーカス位置、解像度等、種々の撮像条件の組み合わせを変えて撮像部２００に撮像させてよい。

図８は、圧縮部２３０が圧縮する撮像画像６００の組の一例を示す。圧縮部２３０は、撮像条件Ａで撮像された複数の撮像画像６００−１、撮像画像６００−１０、・・・を動画として圧縮する。また、圧縮部２３０は、撮像条件Ｂで撮像された複数の撮像画像６００−２、撮像画像６００−１１、・・・を動画として圧縮する。また、圧縮部２３０は、撮像条件Ｃで撮像された複数の撮像画像６００−３、撮像画像６００−１２、・・・を動画として圧縮する。このように、圧縮部２３０は、異なる撮像条件で撮像された撮像画像６００を異なる動画として圧縮する。

このようにして、圧縮部２３０は、同じ撮像条件で撮像された複数の撮像画像をそれぞれ含む複数の撮像動画を、個々に圧縮する。同じ撮像条件で撮像された撮像画像６００においては、撮像条件が変わることによる被写体像の変化（例えば、被写体像のブレ量の変化、被写体像の明るさの変化など）は著しく小さい。したがって、圧縮部２３０は、ＭＰＥＧ符号化等の予測符号化によって各組の撮像動画のデータ量を著しく低減することができる。

なお、このように分割された撮像動画が画像処理装置１７０に送られても、各撮像動画に含まれる撮像画像が、撮像された順で表示装置１８０において適切に表示されるためには、それぞれの撮像画像が表示されるべきタイミングを示すタイミング情報を各撮像動画に付与することが望ましい。また、図７に説明した撮像条件と異なり、画像の明るさが異なってしまうような撮像条件で撮像画像が撮像されている場合には、輝度調整部２２８は、撮像画像の輝度を撮像条件に応じて調整して圧縮部２３０に供給してよい。また、圧縮部２３０は、画像選択部２２６によって選択された所定の条件に適合する撮像画像を複数含む動画を圧縮してもよい。

図９は、撮像条件の他の一例を示す。撮像制御部２１０は、撮像部２００の撮像条件を規定するパラメータとしての露光時間および絞り値について、予め定められた異なる複数の露光時間、および予め定められた異なる複数の絞り値についての異なる組を記憶している。

具体的には、撮像部２００は、少なくとも、予め定められたＴ／２、Ｔ、２Ｔの異なる３種類の露光時間、予め定められたＦ／２、Ｆ、２Ｆの異なる３種類の絞り値で撮像することができるとする。この場合、撮像制御部２１０は、露光時間と絞り値の組み合わせが異なる９種類の組み合わせの組を予め記憶している。そして、撮像制御部２１０は、図示した撮像パラメータの異なる組み合わせで規定される複数の撮像条件を、図６に関連して説明したように連続して変化させる。

図１０は、撮像条件のさらなる他の一例を示す。撮像制御部２１０は、撮像部２００の撮像条件を規定するパラメータとしての露光時間、絞り値、およびゲイン特性について、予め定められた異なる複数の露光時間、予め定められた異なる複数の絞り値、および予め定められた異なる複数のゲイン特性についての異なる組を記憶している。

具体的には、撮像部２００は、少なくとも、予め定められたＴ／２、Ｔ、２Ｔの異なる３種類の露光時間、予め定められたＦ／２、Ｆ、２Ｆの異なる３種類の絞り値、予め定められた３種類のゲイン特性で撮像することができるとする。図中の"アンダー"、"オーバー"、"ノーマル"は、それぞれ露出アンダーとなるゲイン特性、露出オーバーとなるゲイン特性、露出アンダーまたは露出オーバーのいずれにもならないゲイン特性を示している。この場合、撮像制御部２１０は、露光時間と絞り値の組み合わせが異なる２７種類の組み合わせの組を予め記憶している。

なお、ゲイン特性の指標としては、ゲイン値そのものを例示することができる。ゲイン特性の他の指標としては、入力される撮像信号に対して非線形な輝度調整をするゲインカーブを例示することもできる。また、輝度調整は、アナログの撮像信号をデジタルの撮像信号に変換するＡＤ変換処理の前段で行われてよい。他にも、輝度調整は、ＡＤ変換処理に組み込まれてもよい。

このように、撮像部２００は、さらに、撮像信号を異なるゲイン特性でゲイン調整することにより複数の撮像画像を連続的に撮像する。そして、撮像部２００は、露光時間、絞り開度、およびゲイン特性の異なる組み合わせにより複数の撮像画像を連続的に撮像する。撮像制御部２１０は、図示した撮像パラメータの異なる組み合わせで規定される複数の撮像条件を、図６に関連して説明したように連続して変化させる。

図９および図１０に関連して説明したように、撮像部２００は多様な撮像条件で撮像された被写体像を得ることができる。このため、明るさ、動き速度が異なる被写体が画角内に存在している場合でも、得られた複数のフレームのうちのいずれかにおいて、各被写体の鮮明な像が得られている可能性を高めることができる。このため、特徴領域検出部２０３において特徴領域を検出し損じる確率を低減することができる。また、ブレ、ボケの少ない鮮明な被写体像の画像情報を出力画像６２０の中に組み込むことができる場合がある。

なお、図９および図１０に関連して、撮像制御部２１０が各撮像パラメータについて３段階の組み合わせを記憶した例を示したが、撮像制御部２１０は、複数の撮像パラメータのうちの少なくともいずれかについて２段階、または４段階以上を有する撮像パラメータを記憶してよい。また、撮像制御部２１０は、フォーカス位置、解像度等、種々の撮像条件の異なる組み合わせを変えて撮像部２００に撮像させてよい。

また、撮像部２００は、ゲイン特性の他にも、撮像信号に対する種々の処理パラメータで規定される異なる撮像条件で、複数の撮像画像を連続的に撮像することができる。処理パラメータとしては、例えば、異なるシャープネス特性によるシャープネス処理、異なるホワイトバランス特性によるホワイトバランス処理、異なる色同時化特性を指標とする色同時化処理、異なる出力解像度による解像度変換処理、異なる圧縮強度による圧縮処理などを例示することができる。また、圧縮処理としては、階調を指標とする階調数低減処理など、特定の画質を指標とする画質低減処理を例示することができ、その他、符号量などのデータ容量を指標とする容量低減処理を例示することができる。

以上説明した撮像システム１０によると、特徴領域の検出をし損じる確率を低減することができる。また、撮像システム１０によると、データ量を削減しつつ視認性に優れたモニタリング動画を提供することができる。

図１１は、他の実施形態に係わる撮像システム２０の一例を示す。本実施形態における撮像システム２０の構成は、画像処理装置９００ａおよび画像処理装置９００ｂ（以下、画像処理装置９００と総称する。）をさらに有する点を除いて、図１で説明した撮像システム１０の構成と同じとなっている。

本構成における撮像装置１００は、図２で説明した撮像装置１００の各構成要素のうち、撮像部２００の機能を有している。また、画像処理装置９００は、図２で説明した撮像装置１００の各構成要素のうち、撮像部２００を除く構成要素を有している。そして、撮像装置１００が含む撮像部２００の機能および動作、ならびに画像処理装置９００に含まれる各構成要素の機能および動作は、図１から図１０にかけて撮像システム１０に関連して説明した各構成要素の機能および動作と略同一であるので、説明を省略する。このような撮像システム２０においても、図１から図１０にかけて撮像システム１０に関連して説明した効果と略同一の効果が得ることができる。

図１２は、撮像装置１００および画像処理装置１７０のハードウェア構成の一例を示す。撮像装置１００および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、撮像装置１００および画像処理装置１７０が起動するときに実行するブート・プログラム、あるいは撮像装置１００および画像処理装置１７０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、撮像装置１００を、図１から図１１に関連して説明した撮像装置１００が有する各構成要素として機能させ、画像処理装置１７０を、図１から図１１に関連して説明した、画像処理装置１７０が有する各構成要素として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして撮像装置１００および画像処理装置１７０に提供してもよい。このように、プログラムにより制御されるコンピュータが、撮像装置１００および画像処理装置１７０として機能する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

一実施形態に係わる撮像システム１０の一例を示す図である。 撮像装置１００のブロック構成の一例を示す図である。 圧縮部２３０のブロック構成の一例を示す図である。 画像処理装置１７０のブロック構成の一例を示す図である。 圧縮部２３０の他の構成の一例を示す図である。 撮像画像６００から生成される出力画像の一例を示す図である。 撮像条件Ａ〜Ｉの一例を示す図である。 圧縮部２３０が圧縮する撮像画像６００の組の一例を示す図である。 撮像条件の他の一例を示す図である。 撮像条件のさらなる他の一例を示す図である。 他の実施形態に係わる撮像システム２０の一例を示す図である。 撮像装置１００および画像処理装置１７０のハードウェア構成の一例を示す図である。

１０ 撮像システム
２０ 撮像システム
１００ 撮像装置
１１０ 通信ネットワーク
１３０ 人物
１４０ 移動体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１７５ 画像ＤＢ
１８０ 表示装置
２００ 撮像部
２０３ 特徴領域検出部
２０６ 対応付け処理部
２０７ 出力部
２０５ 特徴領域位置予測部
２１０ 撮像制御部
２２０ 画像生成部
２２４ 画像合成部
２２６ 画像選択部
２２８ 輝度調整部
２３０ 圧縮部
２３２ 画像分割部
２３４ 固定値化部
２３６ 圧縮処理部
３０１ 圧縮画像取得部
３０２ 対応付け解析部
３１０ 伸張制御部
３２０ 伸張部
３２２ 復号器
３３０ 合成部
３４０ 出力部
５１０ 画質変換部
５２０ 差分処理部
５２２ 階層間差分処理部
５３０ 符号化部
５３２ 符号器
６００ 撮像画像
６１０ 特徴領域
６２０ 出力画像
９００ 画像処理装置
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置

Claims (35)

1. 異なる解像度で複数の撮像画像を連続的に撮像する撮像部と、
   前記異なる解像度で撮像された前記複数の撮像画像が連続的に表示される動画を出力する出力部と
   を備える撮像システム。
2. 異なる色数の複数の撮像画像を連続的に撮像する撮像部と、
   前記異なる色数の前記複数の撮像画像が連続的に表示される動画を出力する出力部と
   を備える撮像システム。
3. 異なる位置にフォーカスされた複数の撮像画像を連続的に撮像する撮像部と、
   前記異なる位置にフォーカスされた前記複数の撮像画像が連続的に表示される動画を出力する出力部と
   を備える撮像システム。
4. 前記複数の撮像画像のそれぞれから、特徴領域を検出する特徴領域検出部と、
   前記複数の撮像画像のそれぞれから検出された前記特徴領域の位置に基づいて、当該複数の撮像画像が撮像されたタイミングより後のタイミングにおける特徴領域の位置を予測する特徴領域位置予測部と
   をさらに備え、
   前記撮像部は、前記特徴領域位置予測部によって予測された前記特徴領域の位置にフォーカスして前記複数の撮像画像を連続的に撮像する
   請求項３に記載の撮像システム。
5. 異なる複数の撮像条件で複数の撮像画像を連続的に撮像する撮像部と、
   前記複数の撮像画像のそれぞれから、特徴領域を検出する特徴領域検出部と、
   前記複数の撮像画像のうち、前記特徴領域の数が予め定められた値より多い複数の撮像画像を選択する画像選択部と、
   前記画像選択部が選択した複数の撮像画像が連続的に表示される動画を出力する出力部と
   を備える撮像システム。
6. 異なる複数の撮像条件で複数の撮像画像を連続的に撮像する撮像部と、
   前記複数の撮像画像のそれぞれから、特徴領域を検出する特徴領域検出部と、
   前記異なる撮像条件で撮像された前記複数の撮像画像が連続的に表示される動画を出力する出力部と
   を備え、
   前記出力部は、前記複数の撮像画像のそれぞれから検出された前記特徴領域を示す特徴領域情報を、前記複数の撮像画像のそれぞれに対応づけて出力する
   撮像システム。
7. 前記撮像部は、時間長さが異なる露光時間で露光することにより前記複数の撮像画像を連続的に撮像する
   請求項５または６に記載の撮像システム。
8. 前記撮像部は、異なる絞り開度で露光することにより前記複数の撮像画像を連続的に撮像する
   請求項７に記載の撮像システム。
9. 前記撮像部は、露光量が一定となるよう設定された前記露光時間および前記絞り開度で露光することにより前記複数の撮像画像を連続的に撮像する
   請求項８に記載の撮像システム。
10. 前記撮像部は、前記露光時間および前記絞り開度の異なる組み合わせにより前記複数の撮像画像を連続的に撮像する
    請求項８に記載の撮像システム。
11. 前記撮像部は、撮像信号を異なるゲイン特性でゲイン調整することにより前記複数の撮像画像を連続的に撮像する
    請求項８に記載の撮像システム。
12. 前記撮像部は、前記露光時間、前記絞り開度、および前記ゲイン特性の異なる組み合わせにより前記複数の撮像画像を連続的に撮像する
    請求項１１に記載の撮像システム。
13. 前記出力部は、前記複数の撮像画像のそれぞれが撮像された撮像条件に対応づけて、前記複数の撮像画像を出力する
    請求項１から１２のいずれか一項に記載の撮像システム。
14. 前記複数の撮像画像のうち予め定められた条件に適合する複数の撮像画像を選択する画像選択部
    をさらに備え、
    前記出力部は、前記画像選択部が選択した複数の撮像画像が連続的に表示される動画を出力する
    請求項１から４のいずれか一項に記載の撮像システム。
15. 前記複数の撮像画像のそれぞれから、特徴領域を検出する特徴領域検出部
    をさらに備え、
    前記画像選択部は、前記複数の撮像画像のうち、前記特徴領域の数が予め定められた値より多い複数の撮像画像を選択する
    請求項１４に記載の撮像システム。
16. 前記複数の撮像画像を含む動画を圧縮する圧縮部
    をさらに備え、
    前記出力部は、前記圧縮部により圧縮された動画を出力する
    請求項１から１５のいずれか一項に記載の撮像システム。
17. 前記圧縮部は、前記異なる複数の撮像条件のそれぞれについて、同一の撮像条件で撮像された前記複数の撮像画像を動画構成画像として含む動画を圧縮し、
    前記出力部は、前記異なる複数の撮像条件のそれぞれについて前記圧縮部によりそれぞれ圧縮された複数の動画を出力する
    請求項１６に記載の撮像システム。
18. 前記圧縮部は、前記動画の動画構成画像として含む複数の撮像画像のそれぞれを、当該動画の動画構成画像として含む他の撮像画像と画像内容を比較した比較結果に基づいて圧縮する
    請求項１７に記載の撮像システム。
19. 前記圧縮部は、前記動画の動画構成画像として含む複数の撮像画像のそれぞれを、当該動画の動画構成画像として含む他の撮像画像と差分をとることにより圧縮する
    請求項１８に記載の撮像システム。
20. 前記出力部は、前記圧縮部により圧縮された前記複数の動画に動画構成画像として含まれる複数の撮像画像のそれぞれが表示されるべきタイミングを示すタイミング情報に対応づけて、前記圧縮部により圧縮された複数の動画を出力する
    請求項１９に記載の撮像システム。
21. 前記出力部は、前記圧縮部により圧縮された前記複数の動画に動画構成画像として含まれる複数の撮像画像のそれぞれが撮像されたタイミングを示す前記タイミング情報に対応づけて、前記圧縮部により圧縮された複数の動画を出力する
    請求項２０に記載の撮像システム。
22. 前記複数の撮像画像のそれぞれから、特徴領域を検出する特徴領域検出部
    をさらに備え、
    前記出力部は、前記複数の撮像画像のそれぞれから検出された前記特徴領域を示す特徴領域情報を、前記複数の撮像画像のそれぞれに対応づけて出力する
    請求項１から４のいずれか一項に記載の撮像システム。
23. 前記特徴領域の画像の明るさを前記複数の撮像画像にわたって略同一にすべく、前記複数の撮像画像の輝度を調整する輝度調整部
    をさらに備え、
    前記出力部は、前記複数の撮像画像のそれぞれから検出された前記特徴領域を示す特徴領域情報を、前記輝度調整部によって輝度が調整された前記複数の撮像画像のそれぞれに対応づけて出力する
    請求項６または２２に記載の撮像システム。
24. 前記複数の撮像画像における前記特徴領域の画像と、前記複数の撮像画像における前記特徴領域以外の領域である背景領域の画像とを、異なる強度で圧縮する圧縮部
    をさらに備え、
    前記出力部は、前記圧縮部により圧縮された動画を出力する
    請求項２３に記載の撮像システム。
25. 前記圧縮部は、
    前記複数の撮像画像を、前記特徴領域と、前記特徴領域以外の背景領域とに分割する画像分割部と、
    前記特徴領域の画像である特徴領域画像と前記背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する圧縮処理部と
    を有する請求項２４に記載の撮像システム。
26. 前記画像分割部は、前記複数の撮像画像のそれぞれを、前記特徴領域と前記背景領域とに分割し、
    前記圧縮処理部は、前記特徴領域画像を複数含む特徴領域動画と前記背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する
    請求項２５に記載の撮像システム。
27. 前記圧縮部は、
    前記複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも前記特徴領域において前記低画質画像より高画質な特徴領域画像を生成する画質変換部と、
    前記特徴領域画像における前記特徴領域の画像と、前記低画質画像における前記特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する差分処理部と、
    前記特徴領域差分画像および前記低画質画像をそれぞれ符号化する符号化部と
    を有する請求項２４に記載の撮像システム。
28. 前記画質変換部は、前記複数の撮像画像から解像度が低減された前記低画質画像を生成し、
    前記差分処理部は、前記特徴領域画像における前記特徴領域の画像と、前記低画質画像における前記特徴領域の画像を拡大した画像との間の前記特徴領域差分画像を生成する
    請求項２７に記載の撮像システム。
29. 前記差分処理部は、前記特徴領域において前記特徴領域画像と前記拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、前記特徴領域以外の領域において前記空間周波数成分のデータ量が低減された前記特徴領域差分画像を生成する
    請求項２８に記載の撮像システム。
30. 異なる解像度で複数の撮像画像を連続的に撮像する撮像段階と、
    前記異なる解像度で撮像された前記複数の撮像画像が連続的に表示される動画を出力する出力段階と
    を備える撮像方法。
31. 異なる色数の複数の撮像画像を連続的に撮像する撮像段階と、
    前記異なる色数の前記複数の撮像画像が連続的に表示される動画を出力する出力段階と
    を備える撮像方法。
32. 異なる位置にフォーカスされた複数の撮像画像を連続的に撮像する撮像段階と、
    前記異なる位置にフォーカスされた前記複数の撮像画像が連続的に表示される動画を出力する出力段階と
    を備える撮像方法。
33. 異なる複数の撮像条件で複数の撮像画像を連続的に撮像する撮像段階と、
    前記複数の撮像画像のそれぞれから、特徴領域を検出する特徴領域検出段階と、
    前記複数の撮像画像のうち、前記特徴領域の数が予め定められた値より多い複数の撮像画像を選択する画像選択段階と、
    前記画像選択段階で選択された複数の撮像画像が連続的に表示される動画を出力する出力段階と
    を備える撮像方法。
34. 異なる複数の撮像条件で複数の撮像画像を連続的に撮像する撮像段階と、
    前記複数の撮像画像のそれぞれから、特徴領域を検出する特徴領域検出段階と、
    前記異なる撮像条件で撮像された前記複数の撮像画像が連続的に表示される動画を出力する出力段階と
    を備え、
    前記出力段階は、前記複数の撮像画像のそれぞれから検出された前記特徴領域を示す特徴領域情報を、前記複数の撮像画像のそれぞれに対応づけて出力する
    撮像方法。
35. コンピュータに、請求項３０から３４のいずれか一項に記載の撮像方法を実行させるためのプログラム。

Images