JP4800073B2 - 監視システム、監視方法、及び監視プログラム - Google Patents

Description

本発明は、監視システム、監視方法、及び監視プログラムに関する。特に、本発明は、撮像画像のデータ量を効率的に低減する監視システム、監視方法、及び監視プログラムに関する。

近年、撮像装置を用いた監視装置が様々な場所に配置され、侵入者の検知等に用いられている。そして、予め撮像領域の基準画像を撮像して、当該基準画像と撮像画像とを比較することにより被写体の変化を検知する。基準画像と撮像画像との比較により、被写体の変化が検知された場合には、撮像装置の撮像領域内において被写体の動きに変化があったとして、撮像する画像の圧縮率を低くする装置が提案されている（例えば、特許文献１参照。）。また、撮像装置の撮像領域内の音声を集音して、撮像領域内における異常を音圧の変化に基づいて検知する。続いて、音圧の変化が検出された場合に、撮像領域から動体の抽出、撮像領域のズーム処理、及び抽出された動体が含まれる画像の圧縮率を変化させる監視装置が提案されている（例えば、特許文献２参照。）。更に、撮像範囲内のシーンが変化すると、変化があった旨を予め定められた連絡先に連絡する自動監視システムが提案されている（例えば、特許文献３参照。）。
特開２００２−３３５４９２号公報 特開２００４−１２０５９５号公報 特開平１１−９６４８１号公報

監視装置は、撮像領域内で検知された人物の行動を監視することを目的として、広い領域の画像を取得することが要求される。更に、監視装置は、撮像領域内で検知された人物の特定をするために十分な画質の画像を取得することも併せて要求される。ここで、撮像領域内で検知された人物を特定する場合に、人物を特定するのに十分な高画質の画像で動画を撮像し続けると、動画を記憶するための記憶装置の容量が不足する場合がある。一方、撮像された動画をインターネット等により撮像装置の外部と通信する場合の通信トラフィックの軽減、及び動画を記憶するための記憶装置の容量を節約することを目的として、低画質の動画を撮像すると、撮像領域内で検知された人物を特定できない場合がある。

特許文献１に記載の発明においては、撮像領域内において被写体の動きに変化があった場合には、被写体がどのような人物であっても撮像する画像の圧縮率が低く設定される。そして、被写体に動きがある間は、撮像する画像の圧縮率が低く設定されたまま撮像が続行される。しかしながら、特許文献１に記載の発明においては、被写体が誰であるかにかかわらず、また、被写体の人物を認証した後においても、被写体の動きがある間は撮像画像の圧縮率が低く設定されたままなので、撮像画像を通信により外部の装置に送信する場合における通信トラフィックが軽減されないという課題がある。更には、画像の圧縮率が低く設定されたままなので、撮像画像のデータ量を効率的に低減させることが困難な場合がある。

また、特許文献２に記載の発明においては、音圧の変化に基づいて撮像領域内における異常を検知している。係る場合において、侵入者等が忍び込んできた場合における音圧の変化が、予め定められた基準値よりも小さい場合には、撮像画像の圧縮率を変化させて画像を撮像することができない場合がある。したがって、侵入者等の高画質画像を適確に撮像できない場合がある。すなわち、侵入者等の認証をするために求められる、侵入者等が含まれた高画質画像が撮像できない場合がある。更に、特許文献３に記載の発明においては、監視カメラの撮像範囲内で変化があった場合に、ユーザに変化があった旨を通知することができるものの、当該撮像範囲内に進入した物体が人物である場合には、当該人物を識別することができない。

そこで本発明は、上記課題を解決することができる監視システム、監視方法、及び監視プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、監視システムであって、複数の受光素子によって監視領域を撮像する撮像部と、撮像部の複数の受光素子から画素データを読み出して、監視領域の低解像度画像を取得する低解像度画像取得部と、低解像度画像取得部が取得した低解像度画像を解析することによって、低解像度画像取得部の監視領域の中の特徴領域を特定する特徴領域特定部と、撮像部の複数の受光素子のうち、特徴領域特定部が特定した特徴領域からの光を受光する複数の受光素子から画素データを読み出して、特徴領域特定部が特定した特徴領域の高解像度画像を取得する高解像度画像取得部とを備える。

また、低解像度画像取得部は、撮像部の複数の受光素子から画素データを連続して読み出して、複数のフレーム画像を含む低解像度動画像を取得し、特徴領域特定部は、低解像度画像取得部が取得した低解像度動画像を解析することによって、低解像度画像取得部の監視領域の中の特徴領域として、予め定められた所定量以上の動きがある領域である動作領域を特定し、高解像度画像取得部は、撮像部の複数の受光素子のうち、特徴領域特定部が特定した動作領域からの光を受光する複数の受光素子から画素データを読み出して、特徴領域特定部が特定した動作領域の高解像度静止画像を取得してもよい。

更に、特徴領域特定部は、低解像度画像取得部が取得した低解像度画像を解析することによって、低解像度画像取得部の監視領域の中の特徴領域として、人物が含まれる領域である人物領域を特定し、高解像度画像取得部は、撮像部の複数の受光素子のうち、特徴領域特定部が特定した人物領域からの光を受光する複数の受光素子から画素データを読み出して、特徴領域特定部が特定した人物領域の高解像度静止画像を取得してもよい。そして、撮像部は、複数のＣＭＯＳセンサによって監視領域を撮像し、低解像度画像取得部は、撮像部の複数の受光素子から画素データを間引いて読み出して、監視領域の低解像度画像を取得し、高解像度画像取得部は、撮像部の複数のＣＭＯＳセンサのうち、特徴領域特定部が特定した特徴領域からの光を受光する複数のＣＭＯＳセンサから画素データを読み出して、特徴領域特定部が特定した特徴領域の高解像度画像を取得してもよい。

また、本発明の第２の形態においては、撮像方法であって、複数の受光素子によって監視領域を撮像する撮像部の複数の受光素子から画素データを読み出して、監視領域の低解像度画像を取得する低解像度画像取得段階と、低解像度画像取得段階が取得した低解像度画像を解析することによって、低解像度画像取得段階の監視領域の中の特徴領域を特定する特徴領域特定段階と、撮像部の複数の受光素子のうち、特徴領域特定段階が特定した特徴領域からの光を受光する複数の受光素子から画素データを読み出して、特徴領域特定段階が特定した特徴領域の高解像度画像を取得する高解像度画像取得段階とを備える。

また、本発明の第３の形態においては、監視システム用の監視プログラムであって、監視システムを、複数の受光素子によって監視領域を撮像する撮像部と、撮像部の複数の受光素子から画素データを読み出して、監視領域の低解像度画像を取得する低解像度画像取得部と、低解像度画像取得部が取得した低解像度画像を解析することによって、低解像度画像取得部の監視領域の中の特徴領域を特定する特徴領域特定部と、撮像部の複数の受光素子のうち、特徴領域特定部が特定した特徴領域からの光を受光する複数の受光素子から画素データを読み出して、特徴領域特定部が特定した特徴領域の高解像度画像を取得する高解像度画像取得部として機能させる。

また、本発明の第４の形態においては、監視システムであって、複数の受光素子によって監視領域を撮像する低解像度撮像部と、低解像度撮像部より多い複数の受光素子によって監視領域を撮像する高解像度撮像部と、低解像度撮像部の複数の受光素子から画素データを読み出して、監視領域の低解像度画像を取得する低解像度画像取得部と、低解像度画像取得部が取得した低解像度画像を解析することによって、低解像度画像取得部の監視領域の中の特徴領域を特定する特徴領域特定部と、高解像度撮像部の複数の受光素子のうち、特徴領域特定部が特定した特徴領域からの光を受光する複数の受光素子から画素データを読み出して、特徴領域特定部が特定した特徴領域の高解像度画像を取得する高解像度画像取得部とを備える。

また、低解像度画像取得部は、低解像度撮像部の複数の受光素子から画素データを連続して読み出して、複数のフレーム画像を含む低解像度動画像を取得し、特徴領域特定部は、低解像度画像取得部が取得した低解像度動画像を解析することによって、低解像度画像取得部の監視領域の中の特徴領域として、予め定められた所定量以上の動きがある領域である動作領域を特定し、高解像度画像取得部は、高解像度撮像部の複数の受光素子のうち、特徴領域特定部が特定した動作領域からの光を受光する複数の受光素子から画素データを読み出して、特徴領域特定部が特定した動作領域の高解像度静止画像を取得してもよい。

更に、特徴領域特定部は、低解像度画像取得部が取得した低解像度画像を解析することによって、低解像度画像取得部の監視領域の中の特徴領域として、人物が含まれる領域である人物領域を特定し、高解像度画像取得部は、高解像度撮像部の複数の受光素子のうち、特徴領域特定部が特定した人物領域からの光を受光する複数の受光素子から画素データを読み出して、特徴領域特定部が特定した人物領域の高解像度静止画像を取得してもよい。そして、高解像度撮像部は、複数のＣＭＯＳセンサによって監視領域を撮像し、低解像度画像取得部は、低解像度撮像部の複数の受光素子から画素データを間引いて読み出して、監視領域の低解像度画像を取得し、高解像度画像取得部は、高解像度撮像部の複数のＣＭＯＳセンサのうち、特徴領域特定部が特定した特徴領域からの光を受光する複数のＣＭＯＳセンサから画素データを読み出して、特徴領域特定部が特定した特徴領域の高解像度画像を取得してもよい。

また、本発明の第５の形態においては、監視方法であって、複数の受光素子によって監視領域を撮像する低解像度撮像部の複数の受光素子から画素データを読み出して、監視領域の低解像度画像を取得する低解像度画像取得段階と、低解像度画像取得段階が取得した低解像度画像を解析することによって、低解像度画像取得段階の監視領域の中の特徴領域を特定する特徴領域特定段階と、低解像度撮像部より多い複数の受光素子によって監視領域を撮像する高解像度撮像部の複数の受光素子のうち、特徴領域特定段階が特定した特徴領域からの光を受光する複数の受光素子から画素データを読み出して、特徴領域特定段階が特定した特徴領域の高解像度画像を取得する高解像度画像取得段階とを備える。

また、本発明の第６の形態においては、監視システム用の監視プログラムであって、監視システムを、複数の受光素子によって監視領域を撮像する低解像度撮像部と、低解像度撮像部より多い複数の受光素子によって監視領域を撮像する高解像度撮像部と、低解像度撮像部の複数の受光素子から画素データを読み出して、監視領域の低解像度画像を取得する低解像度画像取得部と、低解像度画像取得部が取得した低解像度画像を解析することによって、低解像度画像取得部の監視領域の中の特徴領域を特定する特徴領域特定部と、高解像度撮像部の複数の受光素子のうち、特徴領域特定部が特定した特徴領域からの光を受光する複数の受光素子から画素データを読み出して、特徴領域特定部が特定した特徴領域の高解像度画像を取得する高解像度画像取得部として機能させる。

更に、本発明の第７の形態においては、監視システムであって、動画撮像領域の動画を撮像する動画撮像部と、動画撮像部が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する静止画撮像部と、動画撮像部及び静止画撮像部の合焦位置を格納する合焦位置格納部と、動画撮像部が撮像した動画に含まれる人物を抽出する人物抽出部と、動画撮像部が撮像した動画に基づいて、動画撮像部の合焦位置から予め定められた範囲内に、人物抽出部が抽出した人物が存在するか否かを判断する人物位置判断部と、人物位置判断部が、動画撮像部の合焦位置から予め定められた範囲内に、人物抽出部が抽出した人物が存在すると判断した場合に、人物抽出部が抽出した人物を含む静止画撮像領域の静止画を静止画撮像部に撮像させる撮像制御部とを備える。

また、静止画撮像部は、動画撮像部が撮像する動画に含まれるフレーム画像より、高解像度の静止画を撮像してもよい。更に、動画撮像部が撮像した動画に含まれる複数のフレーム画像における空間周波数分布の変化を算出する空間周波数分布変化算出部をさらに備え、人物位置判断部は、空間周波数分布変化算出部が算出した複数のフレーム画像に渡る空間周波数分布の変化に基づいて、動画撮像部の合焦位置から予め定められた範囲内に、人物抽出部が抽出した人物が存在するか否かを判断してもよい。そして、人物位置判断部は、動画撮像部が撮像した連続する複数のフレーム画像に渡って、空間周波数の高周波数成分のレベルが徐々に大きくなった後、空間周波数の高周波数成分のレベルの変化がなくなったときに、動画撮像部の合焦位置から予め定められた範囲内に、人物抽出部が抽出した人物が存在すると判断してもよい。

また、本発明の第８の形態においては、監視方法であって、動画撮像領域の動画を撮像する動画撮像部、及び動画撮像部が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する静止画撮像部の合焦位置を格納する合焦位置格納段階と、動画撮像部が撮像した動画に含まれる人物を抽出する人物抽出段階と、動画撮像部が撮像した動画に基づいて、動画撮像部の合焦位置から予め定められた範囲内に、人物抽出段階が抽出した人物が存在するか否かを判断する人物位置判断段階と、人物位置判断段階が、動画撮像部の合焦位置から予め定められた範囲内に、人物抽出段階が抽出した人物が存在すると判断した場合に、人物抽出段階が抽出した人物を含む静止画撮像領域の静止画を静止画撮像部に撮像させる撮像制御段階とを備える。

また、本発明の第９の形態においては、監視システム用の監視プログラムであって、監視システムを、動画撮像領域の動画を撮像する動画撮像部と、動画撮像部が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する静止画撮像部と、動画撮像部、及び静止画撮像部の合焦位置を格納する合焦位置格納部と、動画撮像部が撮像した動画に含まれる人物を抽出する人物抽出部と、動画撮像部が撮像した動画に基づいて、動画撮像部の合焦位置から予め定められた範囲内に、人物抽出部が抽出した人物が存在するか否かを判断する人物位置判断部と、人物位置判断部が、動画撮像部の合焦位置から予め定められた範囲内に、人物抽出部が抽出した人物が存在すると判断した場合に、人物抽出部が抽出した人物を含む静止画撮像領域の静止画を静止画撮像部に撮像させる撮像制御部として機能させる。

また、本発明の第１０の形態においては、監視システムであって、動画撮像領域の動画を撮像する動画撮像部と、動画撮像部が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する静止画撮像部と、動画撮像部が撮像した動画に含まれる人物を抽出する人物抽出部と、動画撮像部が撮像した動画に基づいて、人物抽出部が抽出した人物の速度を算出する人物速度算出部と、人物速度算出部が算出した人物の速度が予め定められた基準速度より速い場合に、静止画撮像部の合焦距離を調整せずに、静止画撮像部に静止画撮像領域の静止画を撮像させ、人物速度算出部が算出した人物の速度が予め定められた基準速度より遅い場合には、静止画撮像部の合焦距離を人物に調整して、静止画撮像部に静止画撮像領域の静止画を撮像させる撮像制御部とを備える。

また、本発明の第１１の形態においては、監視方法であって、動画撮像領域の動画を撮像する動画撮像部が撮像した動画に含まれる人物を抽出する人物抽出段階と、動画撮像部が撮像した動画に基づいて、人物抽出段階が抽出した人物の速度を算出する人物速度算出段階と、人物速度算出段階が算出した人物の速度が予め定められた基準速度より速い場合に、動画撮像部が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する静止画撮像部の合焦距離を調整せずに、静止画撮像部に静止画撮像領域の静止画を撮像させ、人物速度算出段階が算出した人物の速度が予め定められた基準速度より遅い場合には、静止画撮像部の合焦距離を人物に調整して、静止画撮像部に静止画撮像領域の静止画を撮像させる撮像制御段階とを備える。

また、本発明の第１２の形態においては、監視システム用の監視プログラムであって、監視システムを、動画撮像領域の動画を撮像する動画撮像部と、動画撮像部が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する静止画撮像部と、動画撮像部が撮像した動画に含まれる人物を抽出する人物抽出部と、動画撮像部が撮像した動画に基づいて、人物抽出部が抽出した人物の速度を算出する人物速度算出部と、人物速度算出部が算出した人物の速度が予め定められた基準速度より速い場合に、静止画撮像部の合焦距離を調整せずに、静止画撮像部に静止画撮像領域の静止画を撮像させ、人物速度算出部が算出した人物の速度が予め定められた基準速度より遅い場合には、静止画撮像部の合焦距離を人物に調整して、静止画撮像部に静止画撮像領域の静止画を撮像させる撮像制御部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、監視領域における低解像度動画像を解析することによって、所定の領域の高解像度静止画像を取得することができる。更に、撮像装置の合焦距離から予め定められた範囲内に人物が存在する場合に、当該人物の高解像度の静止画を撮像することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る監視システム２００の概要を示す。本実施形態に係る監視システム２００は、監視領域における低解像度動画像を解析することによって、所定の領域の高解像度静止画像を取得することを目的とする。

監視システム２００は、撮像部１０において、室内等の監視領域６００における低解像度動画像を撮像する。なお、監視領域６００は、撮像部１０の撮像領域の一例である。監視システム２００は、撮像部１０において撮像された低解像度動画像を、動画構成画像として格納する。例えば、監視システム２００は、撮像部１０において撮像された低解像度動画像を、フレーム画像５０２、フレーム画像５０４、フレーム画像５０６、及びフレーム画像５０８等として格納してよい。なお、動画構成画像とは、フレーム画像、フィールド画像、及びその他の動画を構成する様々な形式の画像のいずれを含んでもよい。ここで、監視領域６００に、例えば、人物９００が含まれている場合には、監視システム２００は、人物９００が含まれている特徴領域７００を特定する。監視システム２００において特徴領域７００は、人物９００の認証をするのに十分な広さの領域となるように、少なくとも人物９００の顔領域を含むように特定されてよい。そして、監視システム２００は、特定された特徴領域７００の高解像度画像８００を撮像する。監視システム２００は、撮像された高解像度画像８００を、人物認証装置等にインターネット等のネットワークを介して送信してよい。

本実施形態に係る監視システム２００によれば、低解像度動画像により監視領域６００を監視すると共に、監視領域６００に人物９００が含まれる等の変化が生じた場合に、変化が生じた領域を特定できる。そして、監視システム２００は、特定された領域の高解像度画像８００を撮像できる。これにより、監視システム２００は、監視領域６００における人物の行動を監視できると共に、監視領域６００に含まれる人物９００を認証するのに十分な高解像度静止画像を撮像できる。また、監視システム２００は、人物認証装置等に送信する場合の通信トラフィックを適切に軽減できる。更に、監視システム２００は、動画構成画像を格納する容量を効率的に低減できる。

図２は、本実施形態に係る監視システム２００の機能構成の一例を示す。監視システム２００は、撮像部１０、低解像度画像取得部２０、高解像度画像取得部３０、特徴領域特定部４０、画像格納部５０、及び画像出力部６０を備える。また、撮像部１０は、レンズ１１０、及び受光デバイス１２０を有する。更に、受光デバイス１２０は、複数の受光素子１２５を含む。撮像部１０は、入射する光を、レンズ１１０を通して受光デバイス１２０に入射させる。そして、受光デバイス１２０は、複数の受光素子１２５において光を受光して、監視領域の撮像画像を取得する。また、撮像部１０が有する受光デバイス１２０は、複数のＣＭＯＳセンサを含んでいてよく、撮像部１０は、複数のＣＭＯＳセンサによって監視領域の撮像画像を取得してもよい。受光デバイス１２０は、取得された撮像画像の画素データを、低解像度画像取得部２０、及び高解像度画像取得部３０に供給する。

低解像度画像取得部２０は、受光デバイス１２０から画素データを受け取って、監視領域の低解像度画像を取得する。ここで、低解像度動画像、及び低解像度動画像に含まれる複数のフレーム画像は、低解像度画像の一例である。なお、監視領域は、撮像部１０の撮像領域であってよい。また、低解像度画像取得部２０は、受光デバイス１２０から画素データを連続して受け取って、複数のフレーム画像を含む低解像度動画像を取得してもよい。ここで、低解像度画像取得部２０は、取得される画像、及びフレーム画像のデータ量を低減させることを目的として、受光デバイス１２０に含まれる複数の受光素子１２５から、画素データを間引いて読み出してよい。低解像度画像取得部２０は、取得された低解像度画像を、特徴領域特定部４０、及び画像格納部５０に供給する。

特徴領域特定部４０は、低解像度画像取得部２０から受け取った低解像度画像を解析する。そして、特徴領域特定部４０は、低解像度画像取得部２０の監視領域中の特徴領域を特定する。なお、特徴領域特定部４０において特定される特徴領域は、監視領域内の一部分であってよい。また、特徴領域特定部４０により特定される特徴領域は、予め定められた所定量以上の動きが検知される領域である、動作領域であってよい。特徴領域特定部４０は、低解像度画像取得部２０から受け取った複数のフレーム画像を解析することにより、動作領域を特定する。例えば、特徴領域特定部４０は、低解像度画像取得部２０から受け取ったフレーム画像と、当該フレーム画像に連続して撮像されたフレーム画像とをマッチングする。そして、特徴領域特定部４０は、フレーム画像に含まれる被写体のフレーム画像に含まれる背景に対する動き量を算出する。特徴領域特定部４０は、算出された動き量に基づいて、動作領域を特定してよい。

例えば、特徴領域特定部４０は、動き量が算出された被写体が、予め定められた所定量以上動いた場合に、当該被写体が含まれる領域を動作領域として算出してよい。特徴領域特定部４０が予め定められた所定量以上の動き量を算出した場合に、動作領域を特定することにより、監視システム２００が監視している領域内に、予め定められた所定量に満たない動き量を示す被写体が含まれる場合には、特徴領域特定部４０は、当該被写体が含まれる領域については、特徴領域と判断しなくてもよい。なお、特徴領域特定部４０において特定される動作領域の範囲は、算出された動き量に対応する被写体について、当該被写体を認証するのに十分な広さの範囲であってよい。

また、特徴領域特定部４０により特定される特徴領域は、人物が含まれる領域である、人物領域であってもよい。特徴領域特定部４０は、輪郭抽出処理、及び色分布分析処理等の画像処理により、フレーム画像に含まれる被写体を検出する。そして、特徴領域特定部４０は、予め人物の顔に固有の特徴量を格納してよい。人物の顔に固有の特徴量は、例えば、顔の輪郭、目、鼻、口、眉、及びこれらの顔に含まれる部位間の距離等であってよい。特徴領域特定部４０は、フレーム画像に含まれる被写体から、人物の顔に固有の特徴量をマッチング等により検出して、被写体が人物であるか否かを判断してよい。そして、特徴領域特定部４０は、被写体が人物である場合には、当該人物が含まれる領域である人物領域を特定する。特徴領域特定部４０において特定される人物領域は、当該人物を認識するのに十分な広さを有する範囲であってよい。例えば、特徴領域特定部４０は、特定された人物の顔領域を含む部分を、人物領域として特定してもよい。特徴領域特定部４０は、特定された動作領域、及び人物領域等の特徴領域に関する情報、例えば、特徴領域が監視領域の中で占める位置情報を、高解像度画像取得部３０に供給する。

高解像度画像取得部３０は、特徴領域特定部４０から受け取った特徴領域に関する情報に基づいて、特徴領域特定部４０において特定された特徴領域からの光を受光する複数の受光素子１２５から画素データを受け取る。そして、高解像度画像取得部３０は、特徴領域特定部４０により特定された特徴領域の高解像度画像を取得する。また、撮像部１０が有する受光デバイス１２０が、複数のＣＭＯＳセンサを含む場合には、高解像度画像取得部３０は、複数のＣＭＯＳセンサのうち、特徴領域特定部４０において特定された特徴領域からの光を受光する部分に対応する複数のＣＭＯＳセンサから、画素データを受け取って、特徴領域の高解像度画像を取得してもよい。

なお、ＣＭＯＳセンサは、画素データの読み出し速度がＣＣＤセンサ等に比べて低速なので、ＣＭＯＳセンサにおいて高解像度画像を短い時間間隔で連続して撮像すると、動体ひずみが生じる場合がある。本実施形態に係る監視システム２００によれば、高解像度画像として取得する部分は、撮像領域の一部分である特徴領域内であるので、短い時間間隔で高解像度画像を取得した場合においても、動体ひずみを抑制できる。高解像度画像取得部３０は、取得された高解像度画像を画像格納部５０に供給する。

画像格納部５０は、低解像度画像取得部２０から受け取った低解像度画像を、低解像度画像を一意に識別できる識別子に対応づけて格納する。例えば、低解像度画像取得部２０から低解像度動画像に含まれる複数のフレーム画像を受け取った場合には、フレーム画像を一意に識別できるフレーム画像識別子に対応づけて、フレーム画像を格納する。また、画像格納部５０は、高解像度画像取得部３０から高解像度画像を受け取った場合には、高解像度画像を一意に識別できる識別子に対応づけて格納する。画像格納部５０は、格納された低解像度画像、及び高解像度画像を、画像出力部６０に供給する。画像出力部６０は、画像格納部５０から受け取った低解像度画像、及び高解像度画像をモニタ等に表示する。また、画像出力部６０は、画像格納部５０から受け取った高解像度画像を、人物認証装置等にインターネット等のネットワーク、及びメモリ等を介して供給してもよい。

本実施形態に係る監視システム２００によれば、低解像度動画像により監視領域６００を監視すると共に、動作領域、及び人物領域等の特徴領域を特定できる。そして、監視システム２００は、特徴領域の高解像度画像を撮像できる。つまり、監視システム２００は、監視領域６００内に特徴領域が存在しない場合には、監視領域６００を低解像度の動画像として撮像できる。そして、監視領域６００内に特徴領域が存在する場合には、特徴領域の高解像度画像を撮像できる。これにより、監視システム２００は、撮像された画像を格納する容量の節約ができると共に、人物認証装置等に送信する場合の通信トラフィックを軽減できる。更に、監視システム２００は、人物９００の行動の監視ができると共に、人物９００の認証をするのに十分な高解像度静止画像を撮像できる。

図３は、監視システム２００における処理の流れの一例を示す。まず、監視システム２００は、撮像部１０において低解像度の動画像を撮像する。そして、撮像された低解像度動画像は、低解像度画像取得部２０を介して、特徴領域特定部４０に供給される。特徴領域特定部４０は、低解像度画像取得部２０から受け取った低解像度動画像を解析する（Ｓ１０１０）。続いて、特徴領域特定部４０は、低解像度画像取得部２０の監視領域中の特徴領域が存在するか否かを判断する（Ｓ１０２０）。例えば、特徴領域特定部４０は、特徴領域として、予め定められた所定量以上の動きがある領域が存在するか否か、また、人物が含まれる領域が存在するか否かについて判断する（Ｓ１０２０）。特徴領域特定部４０が、特徴領域が存在しないと判断した場合には（Ｓ１０２０：Ｎｏ）、監視システム２００は、高解像度画像を取得せずに処理を終了する。

一方、特徴領域特定部４０が、特徴領域が存在すると判断した場合には（Ｓ１０２０：Ｙｅｓ）、特徴領域特定部４０は、特徴領域を特定する（Ｓ１０３０）。そして、特徴領域特定部４０は、特定された特徴領域に関する情報を、高解像度画像取得部３０に供給する。高解像度画像取得部３０は、特徴領域特定部４０から、特徴領域特定部４０において特定された特徴領域に関する情報に基づいて、特徴領域の高解像度静止画像を取得する（Ｓ１０４０）。続いて、高解像度画像取得部３０は、取得された高解像度静止画像を、画像格納部５０に供給する。画像格納部５０は、高解像度画像取得部３０から受け取った高解像度静止画像を、当該高解像度静止画像を一意に識別できる識別子に対応付けて格納する（Ｓ１０５０）。画像格納部５０は、格納されている高解像度静止画像、及び低解像度画像を、画像出力部６０に供給する。画像出力部６０は、画像格納部５０から受け取った高解像度静止画像、及び低解像度画像をモニタ等に出力する（Ｓ１０６０）。なお、画像出力部６０は、画像格納部５０から受け取った高解像度静止画像を、人物認証装置にインターネット等のネットワークを介して送信してもよい。

図４は、第２の実施形態に係る監視システム２１０の機能構成の一例を示す。監視システム２１０は、低解像度撮像装置３００、及び高解像度撮像装置３１０を備える。低解像度撮像装置３００は、低解像度撮像部１２、低解像度画像取得部２２、特徴領域特定部４２、画像格納部５２、及び画像出力部６２を有する。また、低解像度撮像部１２は、レンズ１１２、及び受光デバイス１２２を含む。更に、受光デバイス１２２は、複数の受光素子１２７を含む。そして、高解像度撮像装置３１０は、高解像度撮像部１４、高解像度画像取得部３２、画像格納部５４、及び画像出力部６４を有する。また、高解像度撮像部１４は、レンズ１１４、及び受光デバイス１２４を含む。更に、受光デバイス１２４は、複数の受光素子１２９を含む。そして、低解像度撮像部１２が有する受光デバイス１２２は、例えば、ＣＣＤ、又はＣＭＯＳセンサであってよい。また、高解像度撮像部１４が有する受光デバイス１２４は、ＣＭＯＳセンサであってよい。

なお、低解像度撮像部１２、低解像度画像取得部２２、特徴領域特定部４２、画像格納部５２、画像出力部６２、レンズ１１２、受光デバイス１２２、複数の受光素子１２７、高解像度撮像部１４、高解像度画像取得部３２、画像格納部５４、画像出力部６４、レンズ１１４、受光デバイス１２４、及び複数の受光素子１２９については、図２においての同一部材名についての上記説明と略同一であるので、詳細な説明は省略する。

低解像度撮像装置３００が備える低解像度撮像部１２は、監視領域における低解像度動画像を撮像する。そして、低解像度画像取得部２２は、低解像度撮像部１２において撮像された低解像度動画像を取得して、特徴領域特定部４２に供給する。また、低解像度画像取得部２２は、取得された低解像度画像を、画像格納部５２に供給する。特徴領域特定部４２は、特徴領域として、例えば、動作領域、人物領域を特定する。特徴領域特定部４２は、特定された特徴領域に関する情報を高解像度画像取得部３２に供給する。高解像度画像取得部３２は、特徴領域特定部４２から受け取った、特徴領域特定部４２において特定された特徴領域の高解像度静止画像を高解像度撮像部１４から取得する。なお、高解像度撮像部１４の監視領域と、低解像度撮像部１２の監視領域とは同じ領域であってもよい。そして、高解像度画像取得部３２において取得された高解像度静止画像は、画像格納部５４に供給される。

画像格納部５２は、低解像度画像取得部２２から受け取った低解像度画像を、低解像度画像を一意に識別できる識別子に対応づけて格納する。そして、画像格納部５２は、低解像度画像を画像出力部６２に供給する。一方、画像格納部５４は、高解像度画像取得部３２から受け取った高解像度画像を、高解像度画像を一意に識別できる識別子に対応づけて格納する。そして、画像格納部５４は、高解像度画像を画像出力部６２に供給する。画像出力部６２、及び画像出力部６４はそれぞれ、低解像度画像、及び高解像度画像をモニタ等に出力する。また、画像出力部６４は、高解像度画像をインターネット等のネットワークを介して、人物認証装置等に供給してもよい。

本実施形態に係る監視システム２１０によれば、低解像度撮像装置３００において、画像のデータ量が少ない低解像度の画像により人物等の行動を監視できると共に、人物等が存在する特徴領域を特定できる。そして、監視システム２１０は、特定された特徴領域について、高解像度の画像を撮像できる。これにより、監視システム２１０は、撮像された画像を格納する容量の節約ができると共に、人物認証装置等に送信する場合の通信トラフィックを軽減できる。更に、監視システム２１０は、人物９００の行動の監視ができると共に、人物９００の認証をするのに十分な高解像度静止画像を撮像できる。

図５は、本発明の一実施形態に係る監視システム１００の概要を示す。監視システム１００は、静止画撮像装置１１、動画撮像装置１５、及び撮像制御装置６３を備える。本実施形態に係る監視システム１００は、撮像領域に含まれる人物９００の追従をすると共に、動画撮像装置１５の合焦位置から予め定められた範囲内に人物９００が存在する場合に、人物９００が含まれる高解像度の静止画を撮像することを目的とする。

監視システム１００は、動画撮像装置１５において、動画撮像領域の動画を撮像する。監視システム１００は、動画撮像装置１５において動画を撮像する場合には、ビットレートを人物９００の行動が把握できる程度に小さくして撮像して、撮像された画像を格納する。そして、監視システム１００は、人物９００が、動画撮像装置１５の合焦位置から予め定められた範囲内に存在するか否かを判断する。監視システム１００が、当該範囲内に人物９００が存在すると判断した場合には、撮像制御装置６３は、静止画撮像装置１１に、人物９００が含まれる静止画撮像領域の静止画を撮像させる。そして、監視システム１００は、静止画撮像装置１１において撮像された、人物９００が含まれる静止画像を格納する。

本実施形態に係る監視システム１００によれば、動画撮像装置１５の合焦位置から予め定められた範囲内に人物９００が存在しない場合には、人物９００の行動を、低解像度の画像として撮像して監視できる。また、監視システム１００によれば、動画撮像装置１５の合焦位置から予め定められた範囲内に人物９００が存在する場合に、人物９００の高解像度の静止画を撮像できる。これにより、監視システム１００は、人物９００の行動を低解像度の画像で監視できると共に、人物９００を認証するのに十分な高解像度の静止画の撮像ができる。すなわち、人物９００の顔を認証することを目的としてズームアップすると、被写体深度が浅くなるためにピント調整が困難であるところ、本実施形態に係る監視システム１００によれば、人物９００が動画撮像装置１５の合焦位置から予め定められた範囲内に存在する場合に撮像するので、人物９００の高解像度の静止画を的確に撮像できる。更には、監視システム１００は、撮像画像のデータ量の低減、及び撮像画像のデータ量低減による通信トラフィックの軽減を効率的にできる。

図６は、本実施形態に係る監視システム１００の機能構成の一例を示す。監視システム１００は、静止画撮像装置１１、動画撮像装置１５、画像格納部２３、人物抽出部３３、空間周波数分布変化算出部４１、人物位置判断部５５、撮像制御装置６３、合焦位置格納部７０、合焦位置制御部８０、及び画像出力部９０を備える。なお、動画撮像装置１５は、動画撮像部の一例である。また、静止画撮像装置１１は静止画撮像部の一例である。更に、撮像制御装置６３は、撮像制御部の一例である。なお、本実施形態に係る監視システム１００は、図１から図４の説明において説明した監視システム２００および監視システム２１０を構成する各部材の機能および構成の一部、または全部を更に備えてもよい。

動画撮像装置１５は、動画撮像領域の動画を撮像する。更に、動画撮像装置１５は、静止画撮像装置１１と比較して広範囲の領域を撮像してよい。動画撮像装置１５は、動画を撮像する場合のビットレートを、動画撮像領域に含まれる被写体の動きが把握できる程度まで小さくしてよい。また、動画撮像装置１５は、動画構成画像に含まれる被写体と動画撮像装置１５との距離を測定する測距部を有していてもよい。なお、動画構成画像はフレーム画像であってよい。動画撮像装置１５は、撮像した動画、及び動画撮像装置１５と被写体との距離を画像格納部２３に供給する。静止画撮像装置１１は、動画撮像装置１５が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する。静止画撮像装置１１は、動画撮像装置１５が撮像する動画に含まれるフレーム画像よりも、高解像度の静止画を撮像してよい。静止画撮像装置１１は、撮像された静止画を、画像格納部２３に供給する。

画像格納部２３は、動画撮像装置１５から受け取った動画に含まれるフレーム画像を、フレーム画像を一意に識別できるフレーム画像識別子に対応づけて格納する。更に、画像格納部２３は、フレーム画像に含まれる被写体と動画撮像装置１５との距離を格納してもよい。また、画像格納部２３は、静止画撮像装置１１から静止画を受け取った場合には、静止画を一意に識別できる識別子に対応づけて格納する。画像格納部２３は、フレーム画像識別子、フレーム画像に含まれる被写体と動画撮像装置１５との距離、及びフレーム画像を、人物抽出部３３、空間周波数分布変化算出部４１、及び画像出力部９０に供給する。また、画像格納部２３は、静止画を画像出力部９０に供給する。

人物抽出部３３は、動画撮像装置１５において撮像された動画に含まれる人物を抽出する。人物抽出部３３は、撮像された動画に人物等の被写体が含まれていないフレーム画像と、動画撮像装置１５において撮像されたフレーム画像との差分をとることにより被写体を抽出する。また、人物抽出部３３は、輪郭抽出処理、色分布分析処理等の画像処理により、フレーム画像に含まれる被写体を抽出してもよい。そして、人物抽出部３３は、抽出された被写体に、人物に固有の特徴量が含まれている場合に、当該被写体が人物であると判断してよい。

例えば、人物抽出部３３は、人物の顔に固有の特徴量、すなわち、眼、鼻、口、耳、眉、及び顔の輪郭等の基準画像を格納していてよい。そして、人物抽出部３３は、抽出された被写体から肌色抽出等により被写体の顔の部分を抽出して、人物の顔に固有の特徴量が含まれているか否かを、マッチング等により判断してよい。そして、人物抽出部３３は、抽出された被写体の部分に、人物の顔に固有の特徴量が含まれている場合に、当該被写体を人物であると判断してよい。人物抽出部３３は、抽出された被写体が人物であると判断した場合に、動画撮像領域内に人物が含まれている旨の情報、フレーム画像識別子、フレーム画像に含まれる被写体と動画撮像装置１５との距離、及びフレーム画像を人物位置判断部５５に供給する。

合焦位置格納部７０は、動画撮像装置１５、及び静止画撮像装置１１の合焦位置を格納する。また、合焦位置格納部７０は、動画撮像装置１５、及び静止画撮像装置１１の撮像条件、すなわち、ホワイトバランス、明度等、及び被写界深度等の情報を格納してもよい。合焦位置格納部７０は、動画撮像装置１５、及び静止画撮像装置１１の合焦位置を合焦位置制御部８０、及び人物位置判断部５５に供給する。合焦位置制御部８０は、合焦位置格納部７０から受け取った動画撮像装置１５、及び静止画撮像装置１１の合焦位置の情報に基づいて、動画撮像装置１５、及び静止画撮像装置１１の合焦位置を制御する。なお、監視システム１００においては、合焦位置格納部７０に格納した合焦位置に基づいて、動画撮像装置１５の合焦位置と、静止画撮像装置１１の合焦位置とを略同一に設定してよい。これにより、監視システム１００は、予め高解像度の静止画を撮像すべき地点を設定できる。

人物位置判断部５５は、動画撮像装置１５において撮像された動画に基づいて、動画撮像装置１５の合焦位置から予め定められた範囲内に、人物抽出部３３において抽出された人物が存在するか否かを判断する。なお、人物位置判断部５５において予め定められた範囲は、動画撮像装置１５、及び静止画撮像装置１１の被写界深度の範囲内であってよい。例えば、人物位置判断部５５が、動画撮像装置１５において検知された、フレーム画像に含まれる被写体と動画撮像装置１５との距離を人物抽出部３３から受け取った場合には、人物位置判断部５５は、フレーム画像に含まれる人物と動画撮像装置１５との距離が動画撮像装置１５の被写界深度の範囲内にあるか否かを判断する。また、人物位置判断部５５は、動画撮像装置１５の被写界深度内の予め定められた複数の位置に対応づけて、顔の大きさを示す複数のテンプレート画像を格納していてよい。そして、人物位置判断部５５は、フレーム画像に含まれる人物の顔領域と、顔の大きさを示すテンプレート画像とをマッチングして、フレーム画像に含まれる人物の、被写界深度の範囲内における位置を算出してもよい。人物位置判断部５５は、動画撮像装置１５の被写界深度の範囲内に、人物抽出部３３において抽出された人物が存在すると判断した場合には、撮像制御装置６３に動画撮像装置１５の被写界深度の範囲内に人物が存在する旨を示す情報を供給する。

また、空間周波数分布変化算出部４１は、動画撮像装置１５において撮像された動画に含まれる複数のフレーム画像における空間周波数分布の変化を算出する。空間周波数分布変化算出部４１は、動画撮像装置１５の動画撮像領域における空間周波数の高周波数成分のレベルを、フレーム周期等の時間変化に対応づけて算出してよい。そして、空間周波数分布変化算出部４１は、人物位置判断部５５に、動画撮像装置１５において撮像された動画に含まれる複数のフレーム画像における空間周波数分布の変化を供給する。

そして、人物位置判断部５５は、人物抽出部３３から動画撮像領域内に人物が含まれている旨の情報を受け取った場合には、空間周波数分布変化算出部４１から受け取った、複数のフレーム画像にわたる空間周波数分布の変化に基づいて、動画撮像装置１５の合焦位置から予め定められた範囲内に、人物抽出部３３において抽出された人物が存在するか否かを判断してもよい。より具体的には、人物位置判断部５５は、動画撮像装置１５において撮像された連続する複数のフレーム画像にわたって、空間周波数の高周波成分のレベルが徐々に大きくなった後、空間周波数の高周波成分のレベル変化がなくなったときに、動画撮像装置１５の合焦位置から予め定められた範囲内に、人物抽出部３３において抽出された人物が存在すると判断してよい。人物位置判断部５５は、動画撮像装置１５の合焦位置から予め定められた範囲内に、人物抽出部３３において抽出された人物が存在すると判断した場合には、撮像制御装置６３にその旨を示す情報を供給する。

撮像制御装置６３は、人物位置判断部５５において、動画撮像装置１５の合焦位置から予め定められた範囲内に、人物抽出部３３において抽出された人物が存在すると判断した旨の情報を受け取った場合には、人物抽出部３３において抽出された人物を含む静止画撮像領域の静止画を撮像させる旨を示す情報を、静止画撮像装置１１に供給させる。そして、静止画撮像装置１１は、動画撮像装置１５が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する。画像出力部９０は、画像格納部２３から動画、及び静止画を受け取り、モニタ等に出力する。また、画像出力部９０は、人物が含まれる高解像度の静止画を、人物を認証する人物認証装置等にインターネット等のネットワーク、及びメモリ等を介して供給してもよい。

本実施形態に係る監視システム１００によれば、動画撮像装置１５の合焦位置から予め定められた範囲内に人物が存在する場合において、当該人物の高解像度の静止画を静止画撮像装置１１により撮像できる。これにより、撮像装置の焦点距離を変化させて人物の高解像度の静止画を撮像する場合に比べて、短時間で高解像度の静止画を撮像できる。また、監視システム１００は、レンズ部分における駆動部分がないので、動画撮像装置１５、及び静止画撮像装置１１の信頼性を向上させることができる。

更に、本実施形態に係る監視システム１００によれば、動画撮像領域に人物が存在しない場合には、ビットレートの低い動画を撮像でき、動画撮像領域に人物が含まれている場合において、高解像度の静止画を撮像できる。これにより、撮像する画像のデータ量を効果的に低減できるので、監視システム１００と人物認証装置等との通信トラフィックの低減、及び画像格納部２３における撮像画像が占める記憶容量を効率的に低減できる。

図７は、人物位置判断部５５における処理の一例を示す。人物位置判断部５５は、空間周波数分布変化算出部４１において算出された複数のフレーム画像にわたる空間周波数分布の変化に基づいて、人物抽出部３３において抽出された人物が、動画撮像装置１５の合焦位置から予め定められた範囲内に存在するか否かを判断する。まず、空間周波数分布変化算出部４１は、動画撮像装置１５において撮像された動画に含まれる複数のフレーム画像における空間周波数分布の変化を算出する。空間周波数分布変化算出部４１は、例えば、複数のフレーム画像のそれぞれについて、空間周波数の高周波数成分のレベルを算出する。そして、空間周波数分布変化算出部４１は、隣接するフレーム画像における、空間周波数の高周波数成分のレベルの変化を算出する。続いて、空間周波数分布変化算出部４１は、算出された高周波数成分のレベルの変化に関する情報を、人物位置判断部５５に供給する。

ここで、空間周波数分布変化算出部４１は、グラフ５００に示すように、時間の進行に伴って変化する、空間周波数の高周波数成分のレベルを算出して、モニターする。人物が動画撮像装置１５の合焦位置から予め定められた範囲内、例えば、被写界深度の範囲内に入った場合であって、当該人物が合焦位置に近づく方向に進む場合には、空間周波数分布変化算出部４１においてモニターされる空間周波数の高周波数成分のレベルは、徐々に大きくなる。また、人物が動画撮像装置１５の合焦位置に存在する場合には、空間周波数分布変化算出部４１において算出される、空間周波数の高周波数成分のレベルの変化はなくなる。したがって、人物位置判断部５５は、空間周波数の高周波数成分のレベルが徐々に大きくなった後、空間周波数の高周波数成分のレベルの変化がなくなったポイント５１０において、動画撮像装置１５の合焦距離から予め定められた範囲内に、人物抽出部３３において抽出された人物が存在すると判断してよい。これにより、監視システム１００は、動画撮像装置１５の合焦位置に存在する人物の静止画を撮像できる。

本実施形態に係る監視システム１００によれば、フレーム画像における空間周波数の高周波数成分の変化に基づいて、動画撮像装置１５の合焦位置から予め定められた範囲内に人物が存在するか否かを判断できる。そして、空間周波数の高周波数成分のレベルの変化がなくなったときに、人物の高解像度の静止画を撮像できる。これにより、撮像装置の焦点距離をレンズの焦点距離を変化させて撮像することがないので、動画撮像装置１５、及び静止画撮像装置１１の信頼性を向上させることができる。

図８は、監視システム１００における処理の流れの一例を示す。まず、動画撮像装置１５において、動画撮像領域の動画が撮像される（Ｓ１００２）。また、動画撮像装置１５は、フレーム画像に含まれる被写体と、動画撮像装置１５との距離に関する情報を取得してもよい。動画撮像装置１５において撮像された動画に含まれる複数のフレーム画像は画像格納部２３に供給されて、画像格納部２３に格納される（Ｓ１０１２）。また、画像格納部２３は、フレーム画像に含まれる被写体と、動画撮像装置１５との距離に関する情報を格納してもよい。画像格納部２３は、格納されたフレーム画像、及びフレーム画像に含まれる被写体と、動画撮像装置１５との距離に関する情報を人物抽出部３３に供給する。人物抽出部３３は、フレーム画像に含まれる人物を抽出する（Ｓ１０２２）。人物抽出部３３は、フレーム画像に人物が含まれていた場合には、フレーム画像に人物が含まれている旨を示す情報、フレーム画像、フレーム画像識別子、及び、フレーム画像に含まれる人物と動画撮像装置１５との距離に関する情報を、人物位置判断部５５に供給する。

人物位置判断部５５は、人物抽出部３３から受け取った、フレーム画像に人物が含まれている旨を示す情報、フレーム画像、フレーム画像識別子、及び、フレーム画像に含まれる人物と動画撮像装置１５との距離に関する情報に基づいて、動画撮像装置１５の合焦位置から予め定められた範囲内に人物が存在するか否かを判断する（Ｓ１０３２）。当該範囲内に人物が含まれていない場合、すなわち、人物抽出部３３からフレーム画像に人物が含まれていた旨を示す情報を受け取っていない場合には、当該範囲内に人物が存在しないと判断する（Ｓ１０３２：Ｎｏ）。そして、監視システム１００は、動画を撮像し続ける（Ｓ１００２）。一方、人物位置判断部５５が、動画撮像装置１５の合焦位置から予め定められた範囲内に人物が存在すると判断した場合には（Ｓ１０３２：Ｙｅｓ）、当該範囲に人物が含まれている旨を示す情報を、撮像制御装置６３に供給する。撮像制御装置６３は、人物位置判断部５５から、動画撮像装置１５の合焦位置から予め定められた範囲内に人物が含まれている旨の情報を受け取った場合には、静止画撮像装置１１に、動画撮像装置１５が撮像する動画撮像領域の少なくとも一部を含む、静止画撮像領域の静止画を撮像すべき旨の情報を供給する。

そして、静止画撮像装置１１は、撮像制御装置６３からの静止画を撮像すべき旨の情報を受け取った場合に、静止画を撮像する（Ｓ１０４２）。静止画撮像装置１１は、静止画を撮像した場合には、撮像された静止画を画像格納部２３に供給する。そして、画像格納部２３は、静止画撮像装置１１から受け取った静止画を一意に識別できる識別子に対応づけて格納する（Ｓ１０５２）。画像格納部２３は、格納されている動画、及び静止画を画像出力部９０に供給する（Ｓ１０６２）。画像出力部９０は、画像格納部２３から受け取った動画、及び静止画を、モニタ等に出力する。また、画像出力部９０は、人物認証装置等にインターネット等のネットワーク、及びメモリ等を介して、動画、及び静止画を供給してもよい。

図９は、本発明の他の実施形態に係る監視システム１００の機能構成の一例を示す。監視システム１００は、静止画撮像装置１１、動画撮像装置１５、画像格納部２３、人物抽出部３３、人物速度算出部４６、撮像制御装置６３、合焦位置制御部８０、及び画像出力部９０を備える。なお、動画撮像装置１５は、動画撮像部の一例である。また、静止画撮像装置１１は静止画撮像部の一例である。更に、撮像制御装置６３は、撮像制御部の一例である。ここで、静止画撮像装置１１、動画撮像装置１５、画像格納部２３、人物抽出部３３、人物速度算出部４６、撮像制御装置６３、合焦位置制御部８０、及び画像出力部９０については、図６での上記説明において、同一の部材名で説明した各構成部分と略同一の機能を有するので、詳細な説明は省略する。なお、本実施形態に係る監視システム１００は、図１から図４の説明において説明した監視システム２００および監視システム２１０を構成する各部材の機能および構成の一部、または全部を更に備えてもよい。

人物抽出部３３は、動画撮像装置１５において撮像された動画の複数のフレーム画像に含まれる人物を抽出する。人物抽出部３３は、人物が含まれるフレーム画像のフレーム画像識別子、及びフレーム画像を人物速度算出部４６に供給する。人物速度算出部４６は、動画撮像装置１５において撮像された動画に基づいて、人物抽出部３３において抽出された人物の速度を算出する。人物速度算出部４６は、フレーム周期、及び人物抽出部３３において抽出された人物の背景に対する移動量に基づいて、人物の速度を算出してよい。

人物速度算出部４６は、人物抽出部３３において抽出された人物の連続する複数のフレーム画像を、ずらし量を変化させながら重ね合わせてマッチングする。そして、人物速度算出部４６は、所定のずらし量毎に、フレーム画像同士の一致度を算出する。ここで、ずらし量とは、フレーム画像同士が重なり合っている量を示す。そして、ずらし量はユーザ等が自由に設定してよい。また、一致度とは、フレーム画像が重なり合っている面積において、フレーム画像に対して背景及び人物がマッチングしている部分の面積比を示す。

例えば、人物速度算出部４６は、人物抽出部３３から受け取ったフレーム画像の端部から、当該フレーム画像に続くフレーム画像について、長手方向にずらしながら重ね合わせてマッチングする。そして、人物速度算出部４６は、マッチングにより一致度が最大となった位置を、フレーム画像と当該フレーム画像に続くフレーム画像における背景が一致している位置と判断してよい。これは、フレーム画像に対して背景が占める面積の比は、通常最大であり、背景が一致した場合には、フレーム画像同士の一致度も最大としてよいからである。また、人物速度算出部４６は、一致度が最大となる位置を除く他の位置を、フレーム画像と当該フレーム画像に続くフレーム画像に含まれる人物が一致している位置と判断する。フレーム画像に含まれる人物のフレーム画像に対する面積比は、背景のフレーム画像に対する面積比より、通常は小さい値を示すので、一致度が最大となる位置を除いた、その他の位置を、人物が一致している位置を示すと判断してよい。そして、人物速度算出部４６が判断した、背景が一致している位置と、人物が一致している位置の差を、人物の背景に対する移動量とする。これにより、人物速度算出部４６は、算出された人物の背景に対する移動量と、フレーム周期とに基づいて、人物抽出部３３において抽出された人物の速度を算出できる。人物速度算出部４６は、算出された人物の速度を、撮像制御装置６３に供給する。

撮像制御装置６３は、人物速度算出部４６において算出された人物の速度が予め定められた基準速度より速い場合に、合焦位置制御部８０に、人物の速度が予め定められた基準速度よりも速い旨を示す情報を供給する。当該情報を受け取った合焦位置制御部８０は、静止画撮像装置１１の合焦距離を調整せずに、静止画撮像装置１１に静止画撮像領域の静止画を撮像させる。一方、撮像制御装置６３は、人物速度算出部４６において算出された人物の速度が予め定められた基準速度より遅い場合には、合焦位置制御部８０に、人物の速度が予め定められた基準速度処理も遅い旨を示す情報を供給する。当該情報を受け取った合焦位置制御部８０は、静止画撮像装置１１の合焦距離を人物に調整して、静止画撮像装置１１に静止画撮像領域の静止画を撮像させる。

本実施形態に係る監視システム１００によれば、撮像されたフレーム画像に含まれる人物の速度に基づいて、静止画を撮像するか否かを決定できる。そして、人物の速度が予め定められた基準値よりも遅い場合に、人物の静止画を撮像できる。これにより、人物９００の高解像度画像を撮像する際の合焦距離を、より適切に人物９００に合わせることができる。

図１０は、本実施形態に係る監視システム１００における処理の流れの一例を示す。まず、動画撮像装置１５において、動画撮像領域の動画が撮像される（Ｓ１１００）。動画撮像装置１５において撮像された動画に含まれる複数のフレーム画像は画像格納部２３に供給されて、画像格納部２３に格納される（Ｓ１１１０）。画像格納部２３は、格納されたフレーム画像を人物抽出部３３に供給する。人物抽出部３３は、フレーム画像に含まれる人物を抽出する（Ｓ１１２０）。人物抽出部３３は、フレーム画像に人物が含まれていた場合には、フレーム画像、及びフレーム画像識別子を人物速度算出部４６に供給する。

人物速度算出部４６は、フレーム画像に含まれている人物の速度を算出する（Ｓ１１３０）。そして、人物速度算出部４６は、算出された人物の速度を撮像制御装置６３に供給する。撮像制御装置６３は、人物の速度が予め定められた基準速度よりも速いか否かを判断する（Ｓ１１４０）。そして、人物の速度が予め定められた基準速度よりも遅い場合には（Ｓ１１４０：Ｎｏ）、撮像制御装置６３は、人物の速度が予め定められた基準速度よりも遅い旨を示す情報を、合焦位置制御部８０に供給する。そして、人物の速度が予め定められた基準速度よりも遅い旨を示す情報を受け取った合焦位置制御部８０は、静止画撮像装置１１の合焦位置を当該人物に調整させる（Ｓ１１５０）。そして、静止画撮像装置１１は、人物の静止画を撮像する（Ｓ１１６０）。静止画撮像装置１１は、撮像した静止画を画像格納部２３に供給して、画像格納部２３は受け取った静止画を格納する（Ｓ１１７０）。続いて、画像格納部２３は、格納されている動画、及び静止画を画像出力部９０に供給して、画像出力部９０は、受け取った動画、及び静止画をモニタ等に出力する（Ｓ１１８０）。

一方、人物速度算出部４６において算出された人物の速度が予め定められた基準速度よりも速い場合には（Ｓ１１４０：Ｙｅｓ）、撮像制御装置６３は、人物の速度が予め定められた基準速度よりも速い旨を示す情報を合焦位置制御部８０に供給する。人物の速度が予め定められた基準速度よりも速い旨を示す情報を受け取った合焦位置制御部８０は、静止画撮像装置１１の合焦位置を制御せずに、人物の静止画を静止画撮像装置１１に撮像させる（Ｓ１１６０）。

図１１は、本実施形態に係る監視システム１００、監視システム２００、および監視システム２１０のハードウェア構成の一例を示す。本実施形態に係る監視システム２００、監視システム２１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワーク等を介して他の装置と通信する。ハードディスクドライブ１５４０は、監視システム２００、監視システム２１０内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、監視システム２００、監視システム２１０が起動時に実行するブート・プログラム、及び監視システム２００、監視システム２１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される監視プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。監視プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して監視システム２００、監視システム２１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。監視システム２００、監視システム２１０にインストールされて実行される監視プログラムは、ＣＰＵ１５０５等に働きかけて、図１から図１０にかけて説明した監視システム１００、監視システム２００、および監視システム２１０を、撮像部１０、静止画撮像装置１１、低解像度撮像部１２、高解像度撮像部１４、動画撮像装置１５、低解像度画像取得部２０、低解像度画像取得部２２、画像格納部２３、高解像度画像取得部３０、高解像度画像取得部３２、人物抽出部３３、特徴領域特定部４０、空間周波数分布変化算出部４１、特徴領域特定部４２、人物速度算出部４６、画像格納部５０、画像格納部５２、画像格納部５４、人物位置判断部５５、画像出力部６０、画像出力部６２、撮像制御装置６３、画像出力部６４、合焦位置格納部７０、合焦位置制御部８０、画像出力部９０、受光デバイス１２０、受光デバイス１２２、受光デバイス１２４、複数の受光素子１２５、複数の受光素子１２７、複数の受光素子１２９、低解像度撮像装置３００、および高解像度撮像装置３１０として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

監視システム２００の概念図である。 監視システム２００の機能構成を示すブロック図である。 監視システム２００の処理の流れを示すフローチャートである。 監視システム２１０の機能構成を示すブロック図である。 監視システム１００の概念図である。 監視システム１００の機能構成を示すブロック図である。 人物位置判断部５５における処理を示す。 監視システム１００における処理を示すフローチャートである。 監視システム１００の機能構成を示すブロック図である。 監視システム１００における処理を示すフローチャートである。 監視システム１００、監視システム２００、および監視システム２１０のハードウェア構成を示すブロック図である。

符号の説明

１０ 撮像部
１１ 静止画撮像装置
１２ 低解像度撮像部
１４ 高解像度撮像部
１５ 動画撮像装置
２０、２２ 低解像度画像取得部
２３ 画像格納部
３０、３２ 高解像度画像取得部
３３ 人物抽出部
４０、４２ 特徴領域特定部
４１ 空間周波数分布変化算出部
４６ 人物速度算出部
５０、５２、５４ 画像格納部
５５ 人物位置判断部
６０、６２、６４ 画像出力部
６３ 撮像制御装置
７０ 合焦位置格納部
８０ 合焦位置制御部
９０ 画像出力部
１００ 監視システム
１１０、１１２、１１４ レンズ
１２０、１２２、１２４ 受光デバイス
１２５、１２７、１２９ 受光素子
２００、２１０ 監視システム
３００ 低解像度撮像装置
３１０ 高解像度撮像装置
５００ グラフ
５０２、５０４、５０６、５０８ フレーム画像
５１０ ポイント
６００ 監視領域
７００ 特徴領域
８００ 高解像度画像
９００ 人物
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (9)

1. 動画撮像領域の動画を撮像する動画撮像部と、
   前記動画撮像部が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する静止画撮像部と、
   前記動画撮像部、及び前記静止画撮像部の合焦位置を格納する合焦位置格納部と、
   前記動画撮像部が撮像した動画に含まれる人物を抽出する人物抽出部と、
   前記動画撮像部が撮像した動画に基づいて、前記動画撮像部の合焦位置から予め定められた範囲内に、前記人物抽出部が抽出した人物が存在するか否かを判断する人物位置判断部と、
   前記人物位置判断部が、前記動画撮像部の合焦位置から予め定められた範囲内に、前記人物抽出部が抽出した人物が存在すると判断した場合に、前記人物抽出部が抽出した人物を含む静止画撮像領域の静止画を前記静止画撮像部に撮像させる撮像制御部と
   を備える監視システム。
2. 前記静止画撮像部は、前記動画撮像部が撮像する動画に含まれるフレーム画像より、高解像度の静止画を撮像する
   請求項１に記載の監視システム。
3. 前記動画撮像部が撮像した動画に含まれる複数のフレーム画像における空間周波数分布の変化を算出する空間周波数分布変化算出部
   をさらに備え、
   前記人物位置判断部は、前記空間周波数分布変化算出部が算出した複数のフレーム画像に渡る空間周波数分布の変化に基づいて、前記動画撮像部の合焦位置から予め定められた範囲内に、前記人物抽出部が抽出した人物が存在するか否かを判断する
   請求項１または２に記載の監視システム。
4. 前記人物位置判断部は、前記動画撮像部が撮像した連続する複数のフレーム画像に渡って、空間周波数の高周波数成分のレベルが徐々に大きくなった後、空間周波数の高周波数成分のレベルの変化がなくなったときに、前記動画撮像部の合焦位置から予め定められた範囲内に、前記人物抽出部が抽出した人物が存在すると判断する
   請求項３に記載の監視システム。
5. 動画撮像領域の動画を撮像する動画撮像部、及び前記動画撮像部が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する静止画撮像部の合焦位置を格納する合焦位置格納段階と、
   前記動画撮像部が撮像した動画に含まれる人物を抽出する人物抽出段階と、
   前記動画撮像部が撮像した動画に基づいて、前記動画撮像部の合焦位置から予め定められた範囲内に、前記人物抽出段階が抽出した人物が存在するか否かを判断する人物位置判断段階と、
   前記人物位置判断段階が、前記動画撮像部の合焦位置から予め定められた範囲内に、前記人物抽出段階が抽出した人物が存在すると判断した場合に、前記人物抽出段階が抽出した人物を含む静止画撮像領域の静止画を前記静止画撮像部に撮像させる撮像制御段階と
   を備える監視方法。
6. 監視システム用の監視プログラムであって、前記監視システムを、
   動画撮像領域の動画を撮像する動画撮像部と、
   前記動画撮像部が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する静止画撮像部と、
   前記動画撮像部、及び前記静止画撮像部の合焦位置を格納する合焦位置格納部と、
   前記動画撮像部が撮像した動画に含まれる人物を抽出する人物抽出部と、
   前記動画撮像部が撮像した動画に基づいて、前記動画撮像部の合焦位置から予め定められた範囲内に、前記人物抽出部が抽出した人物が存在するか否かを判断する人物位置判断部と、
   前記人物位置判断部が、前記動画撮像部の合焦位置から予め定められた範囲内に、前記人物抽出部が抽出した人物が存在すると判断した場合に、前記人物抽出部が抽出した人物を含む静止画撮像領域の静止画を前記静止画撮像部に撮像させる撮像制御部
   として機能させる監視プログラム。
7. 動画撮像領域の動画を撮像する動画撮像部と、
   前記動画撮像部が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する静止画撮像部と、
   前記動画撮像部が撮像した動画に含まれる人物を抽出する人物抽出部と、
   前記動画撮像部が撮像した動画に基づいて、前記人物抽出部が抽出した人物の速度を算出する人物速度算出部と、
   前記人物速度算出部が算出した人物の速度が予め定められた基準速度より速い場合に、前記静止画撮像部の合焦距離を調整せずに、前記静止画撮像部に静止画撮像領域の静止画を撮像させ、前記人物速度算出部が算出した人物の速度が予め定められた基準速度より遅い場合には、前記静止画撮像部の合焦距離を人物に調整して、前記静止画撮像部に静止画撮像領域の静止画を撮像させる撮像制御部と
   を備える監視システム。
8. 動画撮像領域の動画を撮像する動画撮像部が撮像した動画に含まれる人物を抽出する人物抽出段階と、
   前記動画撮像部が撮像した動画に基づいて、前記人物抽出段階が抽出した人物の速度を算出する人物速度算出段階と、
   前記人物速度算出段階が算出した人物の速度が予め定められた基準速度より速い場合に、前記動画撮像部が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する静止画撮像部の合焦距離を調整せずに、前記静止画撮像部に静止画撮像領域の静止画を撮像させ、前記人物速度算出段階が算出した人物の速度が予め定められた基準速度より遅い場合には、前記静止画撮像部の合焦距離を人物に調整して、前記静止画撮像部に静止画撮像領域の静止画を撮像させる撮像制御段階と
   を備える監視方法。
9. 監視システム用の監視プログラムであって、前記監視システムを、
   動画撮像領域の動画を撮像する動画撮像部と、
   前記動画撮像部が撮像する動画撮像領域の少なくとも一部を含む静止画撮像領域の静止画を撮像する静止画撮像部と、
   前記動画撮像部が撮像した動画に含まれる人物を抽出する人物抽出部と、
   前記動画撮像部が撮像した動画に基づいて、前記人物抽出部が抽出した人物の速度を算出する人物速度算出部と、
   前記人物速度算出部が算出した人物の速度が予め定められた基準速度より速い場合に、前記静止画撮像部の合焦距離を調整せずに、前記静止画撮像部に静止画撮像領域の静止画を撮像させ、前記人物速度算出部が算出した人物の速度が予め定められた基準速度より遅い場合には、前記静止画撮像部の合焦距離を人物に調整して、前記静止画撮像部に静止画撮像領域の静止画を撮像させる撮像制御部
   として機能させる監視プログラム。

Images