監視装置による監視対象は、たとえば不法侵入や不法投棄などのように撮影画像における動きとして捉えることができるものが多い。このような動きを検出するためには、CCDカメラによる撮影画像データに対して画像処理を行うことが考えられる。すなわち、CCDカメラによる撮影画像データをコンピュータ処理することにより、画像の中の動き部分を検出するといった処理が考えられる。この場合、画素の配列に沿って走査しつつ各画素につきその近傍画素との間のデータ処理を行うことによって動き画素を検出する、といった直列的な画像処理を行うことになる。
しかし、このような直列的な画像処理はデータ処理量が大きくなるため、リアルタイムで行うためには比較的高性能なコンピュータを監視装置に搭載する必要がある。そのため、監視装置の価格が高くなってしまうという問題を生じる。
一方、監視装置は、異常発生時に即時応答できるためにリアルタイムでの処理が重要である。また、監視装置は、低価格であることも重要である。なぜなら、監視装置は設置数が多いほど安全性が向上する場合が多いが、高価なものでは設置可能な数が限られてしまうため安全性を十分に確保できないからである。また、監視装置は破壊される危険を伴う場合が多いためである。
さらに、監視装置は、商用電源への接続が困難な場所へも設置できるように、電池などによっても動作させることができる程度に消費電力が小さいものが望まれる。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、リアルタイム性を確保しつつ安価、かつ、消費電力の小さな監視装置を実現することにある。
本発明に係る監視装置は、上記の課題を解決するために、撮像のための複数の画素を有し、各画素の撮像信号に対してアナログ並列処理を施すことにより、前記撮像信号を、撮像画像から動き部分を抽出して示す動き抽出信号に変換する動き検出素子と、前記動き抽出信号に基づいて監視対象事象を検知する事象検知手段とを備えることを特徴としている。
上記の監視装置は、監視対象事象を検知するものである。ここで、監視対象事象としては、撮像によって検出される動きに基づいて監視できるものであればよく、不法侵入、不法投棄、老人の徘徊、1人暮らしの老人の生活動作など、監視目的に応じた様々な事象が考えられる。
上記のような動きの検出のためには、CCDカメラによる撮影画像データに対する直列的な画像処理を行うことが考えられる。すなわち、CCDカメラによる撮影画像データを用い、画素の配列に沿って走査しつつ各画素につきその近傍画素との間のデータ処理を行うことによって動き画素を検出する、といった直列的な画像処理を行うことが考えられる。
しかし、このような直列的な画像処理はデータ処理量が大きくなるため、リアルタイムで行うためには比較的高性能なコンピュータを監視装置に搭載する必要がある。そのため、監視装置の価格が高くなってしまうという問題を生じる。
一方、監視装置は、異常発生時に即時応答できるためにリアルタイムでの処理が重要である。また、監視装置は、低価格であることも重要である。なぜなら、監視装置は設置数が多いほど安全性が向上する場合が多いが、高価なものでは設置可能な数が限られてしまうため安全性を十分に確保できないからである。また、監視装置は破壊される危険を伴う場合が多いためである。
さらに、監視装置は、商用電源への接続が困難な場所へも設置できるように、電池などによっても動作させることができる程度に消費電力が小さいものが望まれる。
そこで、上記の構成では、動き検出素子と事象検知手段とを備えて監視装置を構成している。
動き検出素子は、撮像のための複数の画素を有し、各画素の撮像信号に対してアナログ並列処理を施すことにより、撮像信号を、撮像画像から動き部分を抽出して示す動き抽出信号に変換するものであり、アナログ並列処理を実現する部分は、各画素間を接続する抵抗回路網などの比較的簡単な電気回路要素によって構成することができるものである。
また、事象検知手段は、監視対象事象を検知するものであり、その検知のために動き検出素子からの動き抽出信号を利用するものであるため、比較的簡単な構成によって実現することができる。なぜなら、動き抽出信号は撮像画像から動き部分を抽出して示す信号であるため、この信号に基づくことにより動き部分の認識が容易であり、動き部分の認識ができればあとは監視目的に応じて予め設定しておいた基準に照らして監視対象事象を検知すればよいからである。
このように、上記の構成では、直列的な画像処理を行う場合に必要となる比較的高性能なコンピュータの代わりに、比較的簡単な構成によって実現できる動き検出素子と事象検知手段とを用いている。したがって、上記の構成では、リアルタイム性を確保しつつ安価、かつ、消費電力の小さな監視装置を実現することができる。
本発明に係る監視装置は、上記の監視装置において、前記事象検知手段は、前記動き抽出信号に基づいて、前記撮像画像における動き部分の大きさと、前記撮像画像における動き部分の位置と、前記撮像画像における動き部分の動きの速さとのうちの少なくとも1つを認識し、この認識結果に基づいて前記監視対象事象を検知するものである。
上記の構成のように、監視対象事象の検知は、監視対象事象に応じて、画像における動き部分の大きさと、画像における動き部分の位置と、画像における動き部分の動きの速さとのうちから適宜選択した少なくとも1つのパラメータを認識し、この認識したパラメータに基づいて行うようにすればよい。
本発明に係る監視装置は、上記の監視装置において、前記動き抽出信号に基づいて、前記撮像画像における動き部分の位置を検知する位置検知手段をさらに備えることが望ましい。
上記の構成では、動き検知手段によって動き部分の動きの位置を検知することができる。これにより、検知した位置に応じて、動き検出素子の撮像領域や、外部の撮影装置の撮影領域などを制御することができるようになる。
本発明に係る監視装置は、上記の監視装置において、撮影を行う撮影部と、前記事象検知手段の検知結果に基づいて、前記撮影部の撮影開始を制御する撮影制御手段とを備えることが望ましい。
上記の構成では、撮影部によって監視対象事象を撮影することができるとともに、普段は撮影部の撮影を停止状態にしておき、事象検知手段によって監視対象事象が検知された場合に撮影部による撮影を開始させることができる。あるいは、たとえば所定の時刻になっても監視対象事象が検知されない場合に撮影部による撮影を開始させるようにしてもよい。これは、たとえば一人暮らしの老人の起床を監視対象事象とし、所定の時刻になっても監視対象事象が検知されない場合に、撮影部による撮影を開始して老人の様子を見る、といった例が想定される。
これにより、撮影部を不必要に動作させることを抑制することができる。したがって、撮影部も含めた監視装置全体としての消費電力を低減することができる。
あるいは、本発明に係る監視装置は、上記の監視装置において、撮影を行う撮影部と、前記事象検知手段の検知結果に基づいて、前記撮影部の撮影開始を制御するとともに、前記位置検知手段の検知結果に基づいて、前記動き部分の動きに追従した撮影を前記撮影部に行わせる撮影制御手段とを備えることが望ましい。
上記の構成では、上述のように、撮影部を不必要に動作させることを抑制することができることに加えて、動き部分の動きに追従した撮影を行うことができる。これにより、監視対象事象をより的確に撮影することができる。
本発明に係る監視装置は、上記の監視装置において、前記撮影部は撮影することにより撮影画像データを生成するものであり、前記撮影画像データを外部の装置に送信する送信部をさらに含むことが望ましい。
上記の構成では、撮影画像データを監視ユニット外部の装置に送信し、外部の装置によって遠隔監視を行うことができる。
本発明に係る監視システムは、上記送信部を有する監視装置と、前記送信部から送信された前記撮影画像データを受信する受信部と、前記撮影画像データに基づく撮影画像を表示する表示部とを有する中央監視装置とを備えることを特徴としている。
上記の構成では、リアルタイム性を確保しつつ安価、かつ、消費電力の小さな監視装置を用いた監視システムを実現することができる。
本発明に係る監視システムは、上記の監視システムにおいて、前記中央監視装置は、前記監視ユニットの設置位置を示す位置データを当該監視ユニットと対応付けて記憶する記憶部をさらに備えることが望ましい。
上記の構成では、監視対象事象が検知された場合に、監視ユニットの位置を素早く認識することができるため、その後の対処を迅速に行うことができるようになる。
本発明に係る監視システムは、上記の監視システムにおいて、前記中央監視装置は、前記監視ユニットに対して予め対応付けられた初期画像データを記憶する記憶部をさらに備えることが望ましい。
上記の構成では、正常時の状態などを撮影した画像データを初期画像データとして記憶部に記憶させておくことにより、異常(監視対象事象)が検知された場合に、撮影画像データと初期画像データとを比較することによって異常の内容を素早く認識することができるため、その後の対処を迅速に行うことができるようになる。
本発明に係る動き検知装置は、撮像のための複数の画素を有し、各画素の撮像信号に対してアナログ並列処理を施すことにより、前記撮像信号を、撮像画像から動き部分を抽出して示す動き抽出信号に変換する動き検出素子と、前記動き抽出信号に基づいて、前記撮像画像における動き部分の位置を検知する位置検知手段とを備えることを特徴としている。
上記の動き検知装置は、画像における動き部分の位置を検知するものである。この動き検知装置は、動く物体に自動的に追従して撮影を行う撮影ユニットに好適に用いることができる。
上記のような動き検知装置を実現するためには、直列的な画像処理を行うことが考えられる。すなわち、CCDカメラによる撮影画像データを用い、画素の配列に沿って走査しつつ各画素につきその近傍画素との間のデータ処理を行うことによって動き画素を検出する、といった直列的な画像処理を行うことが考えられる。
しかし、このような直列的な画像処理はデータ処理量が大きくなるため、比較的高性能なコンピュータを動き検知装置に搭載する必要がある。そのため、動き検知装置の価格が高くなってしまうという問題を生じる。
これに対し、上記の構成では、動き検出素子と位置検知手段とを備えて動き検知装置を構成している。
動き検出素子は、撮像のための複数の画素を有し、各画素の撮像信号に対してアナログ並列処理を施すことにより、撮像信号を、撮像画像から動き部分を抽出して示す動き抽出信号に変換するものであり、アナログ並列処理を実現する部分は、各画素間を接続する抵抗回路網などの比較的簡単な電気回路要素によって構成することができるものである。
また、位置検知手段は、撮像画像における動き部分の位置を検知するものであり、その検知のために動き検出素子からの動き抽出信号を利用するものであるため、比較的簡単な構成によって実現することができる。なぜなら、動き抽出信号は撮像画像から動き部分を抽出して示す信号であるため、この信号に基づくことにより動き部分の位置を容易に検知することができるからである。
このように、上記の構成では、直列的な画像処理を行う場合に必要となる比較的高性能なコンピュータの代わりに、比較的簡単な構成によって実現できる動き検出素子と位置検知手段とを用いている。したがって、上記の構成では、動き検知装置を安価に製造することができる。また、上記の構成では、消費電力の小さい動き検知装置を実現することができる。
本発明に係る撮影装置は、上記の動き検知装置と、撮影を行う撮影部と、前記位置検知手段の検知結果に基づいて、前記動き部分の動きに追従した撮影を前記撮影部に行わせる撮影制御手段とを備えることを特徴としている。
上記の構成では、動く物体に自動的に追従して撮影を行う撮影装置を安価に製造することができる。また、消費電力の小さい撮影装置を実現することができる。
本発明に係る監視装置は、以上のように、撮像のための複数の画素を有し、各画素の撮像信号に対してアナログ並列処理を施すことにより、前記撮像信号を、撮像画像から動き部分を抽出して示す動き抽出信号に変換する動き検出素子と、前記動き抽出信号に基づいて監視対象事象を検知する事象検知手段とを備える構成である。
上記の構成では、直列的な画像処理を行う場合に必要となる比較的高性能なコンピュータの代わりに、比較的簡単な構成によって実現できる動き検出素子と事象検知手段とを用いている。したがって、上記の構成では、リアルタイム性を確保しつつ安価、かつ、消費電力の小さな監視装置を実現することができるという効果を奏する。
本発明に係る動き検知装置は、撮像のための複数の画素を有し、各画素の撮像信号に対してアナログ並列処理を施すことにより、前記撮像信号を、撮像画像から動き部分を抽出して示す動き抽出信号に変換する動き検出素子と、前記動き抽出信号に基づいて、前記撮像画像における動き部分の位置を検知する位置検知手段とを備える構成である。
上記の構成では、直列的な画像処理を行う場合に必要となる比較的高性能なコンピュータの代わりに、比較的簡単な構成によって実現できる動き検出素子と位置検知手段とを用いている。したがって、上記の構成では、動き検知装置を安価に製造することができるという効果を奏する。また、上記の構成では、消費電力の小さい動き検知装置を実現することができるという効果を奏する。
本発明の実施一形態について図1から図11に基づいて説明する。
1.概要
本実施形態では、ビジョンチップ又はシリコン網膜と呼ばれる動き検出素子を利用して構成する監視システムについて説明する。このビジョンチップは、撮像素子に隣接させて画像処理回路を配置したCMOSイメージセンサである。
本監視システムでは、ビジョンチップを備えた監視装置を監視場所に設置しておく。ビジョンチップは、高域監視装置用カメラとして利用され、実時間で常時監視対象範囲の画像処理を行い、監視範囲内における移動体を検出する。移動体を検出したときには、詳細な画像を取得するため、撮像デバイスなどを搭載したカメラを起動する。移動体が検出されないときにはこのカメラの電源を切断状態に設定しておくことにより、消費電力を大幅に低減することができる。
ビジョンチップが監視範囲内において移動体を検出した場合、マイクロコンピュータによってその中心位置を算出し、詳細な画像を取得するための上記カメラの方向を制御する信号を生成して上記カメラの方向を制御し、移動体の中心位置をズームアップすることによって、移動体の高解像度画像を得ることが可能となる。
移動体の高解像度画像をデジタルメモリに記録し、有線・無線入出力装置を介して警報等を発令することができる。有線・無線入出力装置によって遠隔地から本監視装置の機能を選択的に制御することが可能になる。
本監視装置では、監視の際には主にビジョンチップ及びマイクロコンピュータを起動しておけばよいため、消費電力を低減することができる。そのため、本監視装置の電源装置は、乾電池や小型バッテリー、太陽電池などによって構成することができる。その結果、本監視装置の設置場所に関する自由度が大幅に増大する。
2.監視システム
本実施形態の監視システム1について説明する。ここでは、監視システム1として、不法侵入を監視するためのシステムを想定している。
図2に監視システム1の概要を示す。監視システム1では、1つの中央監視装置2が複数の監視領域Aを監視している。監視領域は、住宅やオフィスなど、不法侵入を監視する必要のある場所である。各監視領域Aには、1つの中継装置4と、複数の監視ユニット10とが設置されている。監視ユニット10と中継装置4とは無線LANによって通信可能であり、中継装置4と中央監視装置2とはインターネットNを介して通信可能となっている。
なお、上記の場合に限らず、中央監視装置2が複数あってもよく、監視領域Aが単数であってもよく、各監視領域Aに複数の中継装置4があってもよく、各監視領域Aに1つの監視ユニット10が設置されていてもよい。また、監視ユニット10と中継装置4との通信は、無線LANに限らず、有線/無線を問わずに様々な通信手段を利用することができる。また、中継装置4と中央監視装置2との通信は、インターネットNに限らず、公衆電話回線や携帯電話回線など、有線/無線を問わずに様々なネットワークを利用することができる。さらに、監視ユニット10が中継装置4を介さずに直接ネットワークに接続されてもよく、監視ユニット10と中央監視装置2とが中継装置4やネットワークを介さずに直接接続されてもよい。
以下では、監視システム1の各構成要素について説明する。ただし、中央監視装置2と監視ユニット10との間に介在する中継装置4及びインターネットNについては、周知の構成を利用することができるため、これらの説明を省略する。
3.監視ユニット
監視ユニット10について説明する。この監視ユニット10は、不法侵入を監視するために、監視領域Aに設置されるものである。
3−1.ビジョンチップ
まず、監視ユニット10が備えているビジョンチップについて説明する。なお、ビジョンチップは、たとえば〔背景技術〕の項に記載した特許文献1,2、非特許文献1〜10(特に特許文献1)に詳細に説明されているため、ここでは簡単に説明する。
監視ユニット10では、ビジョンチップを動き検出素子として用いる。このビジョンチップは、撮像のための複数の画素を有し、各画素の撮像信号をアナログ並列処理することにより、撮像した画像の中の動き部分を検出する。
図3に、ビジョンチップの機能を説明するための具体例を示す。ここでは、暗い背景(図3の(1)における斜線部)の中で円形の白い物体が画面右上(図3の(1)における矢印)に動いている場合を想定している。図3の(2)から(5)は、画像の縦方向y1の座標に位置する画素における各種信号の横方向の分布を示している。なお、画素は有限個であることから横軸方向は本来ならば離散的な値となるが、図示の簡略化のため横軸方向の値を連続的に示している。
このビジョンチップは、たとえば次に説明する3つの機能チップによって構成されている。なお、各機能チップは、行列状に配列される画素に区分されている。画素数は、所望とする解像度によって適宜設定すればよいが、本実施形態では説明の便宜上20画素×20画素とする。
図4に、第1の機能チップにおける画素回路の構成を示す。この画素回路は、光センサ111と、処理部112と、アナログ演算器113とを備えている。
光センサ111は、光電荷を蓄積することにより光信号を電圧信号(画像信号)に変換する。
処理部112は、抵抗回路網によって構成されている。抵抗回路網は、近傍の画素との間に抵抗による接続n1〜n4を形成するものである。この抵抗回路網に光センサ111からの信号を入力することにより、入力画像の平滑化を超並列的に行うことができる。
アナログ演算器113は、ノイズ補償バッファ回路Nbufによって構成されている。ノイズ補償バッファ回路Nbufは、制御信号による制御の下で、入力側、つまり処理部112側の回路のばらつきと、ノイズ補償バッファ回路Nbuf内部の増幅器のオフセットを補償する。
アナログ演算器113による処理後の画像信号は図3の(2)における実線のようになる。
図5に、第2の機能チップにおける画素回路の構成を示す。この画素回路は、アナログメモリ211と、処理部212と、アナログ演算器213とを備えている。
アナログメモリ211は、第1の機能チップにおける対応する画素回路からの画像信号を内蔵しているコンデンサに記憶する。
処理部212は、抵抗回路網によって構成されている。抵抗回路網は、近傍の画素との間に抵抗による接続n1〜n4を形成するものである。この抵抗回路網にアナログメモリ211からの信号を入力することにより、入力画像に2回目の平滑化を超並列的に行うことができる。
アナログ演算器213は、ノイズ補償バッファ回路Nbufによって構成されている。ノイズ補償バッファ回路Nbufは、制御信号による制御の下で、入力側、つまり処理部212側の回路のばらつきと、ノイズ補償バッファ回路Nbuf内部の増幅器のオフセットを補償する。
処理部212により2回の平滑化が施され、アナログ演算器213による処理後の画像信号は図3の(2)における破線のようになる。
このアナログ演算器213は、制御信号による制御の下で、処理部212への入力信号と、処理部212からの出力信号とが順次入力されるようになっているとともに、これらの差分を出力する。つまり、アナログ演算器213は、処理部212による平滑化前の画像と、平滑後の画像との差分画像を出力することになり、この出力画像は輪郭強調された画像になる。
この輪郭強調された画像信号(輪郭信号)は図3の(3)に示すようになる。この信号は、画像信号に対して∇2G(ラプラシアン・ガウシアン)演算を施したものにほぼ相当する。
図6に、第3の機能チップにおける画素回路の構成を示す。この画素回路は、アナログメモリ311と、アナログ演算器313とを備えている。
アナログメモリ311は、第2の機能チップにおける対応する画素回路からの信号を内蔵しているコンデンサに記憶する。
アナログ演算器313は、ノイズ補償バッファ回路Nbufによって構成されている。ノイズ補償バッファ回路Nbufは、制御信号による制御の下で、入力側、つまりアナログメモリ311側の回路のばらつきと、ノイズ補償バッファ回路Nbuf内部の増幅器のオフセットを補償する。
このアナログ演算器313は、制御信号による制御の下で、第2の機能チップにおける対応する画素回路からの信号、つまり輪郭信号に対してフレーム間差分を行い、その結果を出力する。これにより、アナログ演算器313からの出力画像は、画像における動きのあった輪郭部分(動き輪郭部分)が検出された画像になる。
この動き輪郭部分が検出された画像信号(動き抽出信号)は図3の(4)に示すようになる。
第2及び第3の機能チップは、上記の構成に加えて、図示しない水平シフトレジスタ及び垂直シフトレジスタをそなえており、これらによって、輪郭信号及び動き抽出信号を画素の配列にしたがって順次読み出し、ビジョンチップからの出力信号とする。
なお、図3の(5)に示すように、輪郭信号と動き抽出信号とに基づくことにより、動きの向きを検出することもできる。
3−2.監視ユニットのブロック構成
図1に監視ユニット10のブロック構成を示す。監視ユニット10は、ビジョンチップ11と、A/Dコンバータ12と、撮影装置13と、警報装置14と、通信装置15と、マイクロコンピュータ16と、電源装置17とを備えている。
A/Dコンバータ12は、ビジョンチップ11からのアナログ信号、すなわち、画素ごとの輪郭信号及び動き抽出信号を、マイクロコンピュータ16に入力できるデジタル信号に変換する。
なお、ビジョンチップ11又はマイクロコンピュータ16にA/Dコンバータが組み込まれている場合には、A/Dコンバータ12を省くことができる。
撮影装置13は、監視ユニット10によって不法侵入を検知した場合に、侵入者や周辺状況の動画撮影を行うものである。撮影装置13は、CCDカメラによる通常の動画撮影を行うものであり、撮影を行って撮影画像データを生成するCCDカメラ部と、CCDカメラ部の向きを変更する駆動機構とを備えている。
なお、上記撮影装置13の代わりに、静止画撮影を行うデジタルカメラを用いてもよい。また、上記撮影装置13から駆動機構を省いてもよい。さらに、撮影画像をデータ通信により中央監視装置2などに送る必要がなければ、上記撮影装置13の代わりにフィルム式のアナログカメラを用いてもよい。
警報装置14は、監視ユニット10によって不法侵入を検知した場合に、侵入者に対して音声や光によって警報を発するものである。警報装置14は、スピーカや、サイレン、警報ランプなどを備えて構成される。警報装置14としては、人間の声による警報を発するものが特に効果的である。
通信装置15は、監視ユニット10によって不法侵入を検知した場合に、不法侵入の発生と、撮影装置13によって撮影された撮影画像データとを、中央監視装置2へ送信するものである。
マイクロコンピュータ16は、ビジョンチップ11からの信号に基づく処理を行うとともに、監視ユニット10における上記各部の動作を制御する。マイクロコンピュータ16は、CPU(central processing unit)や各種プログラムを記憶するROM(read only memory)、ワークエリアとなるRAM(random access memory)などによって構成される。マイクロコンピュータ16の機能の詳細については後述する。
電源装置17は、監視ユニット10における上記各部への電力を供給する。電源装置17は、2次乾電池又は小型バッテリーとソーラーパネルとを備えて構成されている。そのため、自己発電と蓄電とが可能となっており、商用電源への接続は必要ない。
なお、上記電源装置17の代わりに、商用電源から必要な電力を得る電源装置を用いてもかまわない。また、上記電源装置17は、ソーラーパネルの代わりに、他の発電手段、たとえば風力発電手段などを備えていてもよい。
3−3.マイクロコンピュータの機能ブロック
マイクロコンピュータ16は、所定のプログラムを実行することにより、記憶部16aと、事象検知部16cと、位置検知部16dと、撮影制御部16eと、画像圧縮部16fと、通信制御部16gと、警報制御部16hとして機能する。
記憶部16aは、ビジョンチップ11から出力され、A/Dコンバータ12でデジタル信号に変換された上記輪郭信号及び動き抽出信号を記憶するとともに、これらの信号に対して事象検知部16c及び位置検知部16dによって施された信号処理結果を記憶する。
事象検知部(事象検知手段)16cは、動き抽出信号に基づいて、監視対象事象、つまりここでは不法侵入の発生を検知し、そのことを示す事象検知信号を生成する。
位置検知部(位置検知手段)16dは、動き抽出信号に基づいて、ビジョンチップ11の撮像画像における動き部分の位置を検知し、その位置を示す位置信号を生成する。
撮影制御部(撮影制御手段)16eは、事象検知部16cからの事象検知信号に基づいて、撮影装置13の撮影開始を制御するとともに、位置検知部16dからの位置信号に基づいて、動き部分の動きに追従した撮影を撮影装置13に行わせるための制御信号を撮影装置13に出力する。
画像圧縮部16fは、撮影装置13によって撮影された撮影画像データを圧縮することにより、通信装置15によって中央監視装置2に対して送信できる程度にデータ量を小さくする。
通信制御部16gは、通信装置15を制御することにより、事象検知部16cの生成した事象検知信号と、画像圧縮部16fによって圧縮された撮影画像データとを中央監視装置2に対して送信する。なお、これらを送信する際に、通信制御部16gは、各監視ユニット10に固有に割り当てられた識別信号を付加する。
警報制御部16hは、事象検知部16cの生成した事象検知信号を受けて、警報装置14を制御することにより不法侵入に対する警報を発する。
なお、上記各機能ブロックは、マイクロコンピュータ16において監視プログラムを実行することによって、マイクロコンピュータ16上で実現される。
監視プログラムは、そのプログラムを記録した記録媒体からマイクロコンピュータ16に供給されてもよく、通信ネットワークを介してコンピュータに供給されてもよい。
監視プログラムを記録する記録媒体は、マイクロコンピュータ16と分離可能に構成してもよく、マイクロコンピュータ16に組み込むようになっていてもよい。この記録媒体は、記録したプログラムコードをコンピュータが直接読み取ることができるようにコンピュータに装着されるものであっても、外部記憶装置としてコンピュータに接続されたプログラム読み取り装置を介して読み取ることができるように装着されるものであってもよい。
上記記録媒体としては、たとえば、フレキシブルディスクやハードディスクなどの磁気ディスク、CD−ROMやMO、MD、DVD、CD−Rなどの光ディスク・光磁気ディスク、ICカード、マスクROM、EPROM、EEPROM、フラッシュROMなどの半導体メモリを用いることができる。
監視プログラムを通信ネットワークを介して供給する場合、監視プログラムは、そのプログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態をとる。
なお、上記各機能ブロックの一部又は全部を集積回路などのハードウェアによって実現してもよい。
3−4.監視ユニットにおける処理内容
上述した構成の監視ユニット10における処理内容について説明する。なお、以下において説明する処理は、輪郭信号を用いずに動き抽出信号のみを用いて行う処理であるが、輪郭信号をも用いてより高度な処理を行ってもよい。
(事象検知処理1)
まず、不法侵入の発生を検知するための第1の処理(第1事象検知処理)の内容を説明する。
図7のフローチャートに第1事象検知処理の流れを示す。また、第1事象検知処理における信号処理の概念を図8に示す。なお、図7に示したフローチャートは、ビジョンチップ11によって撮像された1フレーム分の画像に対して行われる処理を示したものである。
まず、アナログ信号の動き抽出信号がビジョンチップ11において生成され(ステップS1)、A/Dコンバータ12によって多値(たとえば8ビット)のデジタル信号に変換され(ステップS2)、マイクロコンピュータ16の記憶部16aに格納される(ステップS3)。
次に、事象検知部16cが、記憶部16aに格納された多値の動き抽出信号に対して閾値処理を行い、2値化する(ステップS4)。これにより、図8の(1)に示すような処理結果が得られる。この処理結果では、動き部分の輪郭に「1」の値を、それ以外の部分に「0」の値を与える。
なお、動き抽出信号は、図3の(4)に示したように、動きの前側及び後側で、ある基準レベルに対してそれぞれ負側及び正側に振れる信号となっている。この閾値処理では、動き抽出信号から上記基準レベルを差し引いて絶対値をとることにより、動きの前側と後側とを区別しないようにする。
次に、事象検知部16cがメジアン処理を行い、動き部分の中心座標を検出する。メジアン処理では、画像の横方向の各座標位置において、縦方向に「1」で挟まれた座標の数をカウントし、その結果をヒストグラム化(図8の(2))して、そのヒストグラムにおけるメジアンを中心座標とする(ステップS5)。
次に、事象検知部16cが塗りつぶし処理を行い、図8の(3)に示すように、輪郭によって囲まれた範囲を「1」の値で塗りつぶす(ステップS6)。そのためには、中心座標から輪郭に至るまでの「0」を「1」に置き換える処理を、画像の縦方向において順次行えばよい。
次に、事象検知部16cが動き部分の面積を算出する(ステップS7)。そのためには、「1」の数をカウントすればよい。
そして、事象検知部16cは、算出した面積と、予め定められた基準値とを比較し、面積が基準値以上である場合には不法侵入の発生とみなして事象検知信号をH(ハイ)に設定し、面積が基準値未満である場合には不法侵入の不発生とみなして事象検知信号をL(ロウ)に設定する。
この処理では、ある程度の大きさを有する移動体をビジョンチップ11が捉えた場合に不法侵入の発生とみなし、たとえ移動体をビジョンチップ11が捉えたとしても、その大きさが基準値に満たない場合には不法侵入の不発生とみなしている。これにより、人よりも明らかに小さい小動物などが侵入した場合などを、誤って不法侵入の発生として検知することを抑制することができる。
(事象検知処理2)
次に、不法侵入の発生を検知するための第2の処理(第2事象検知処理)の内容を説明する。
図9のフローチャートに第2事象検知処理の流れを示す。なお、図9に示したフローチャートは、ビジョンチップ11によって撮像された1フレーム分の画像に対して行われる処理を示したものである。
まず、アナログ信号の動き抽出信号がビジョンチップ11において生成され(ステップS11)、A/Dコンバータ12によって多値(たとえば8ビット)のデジタル信号に変換され(ステップS12)、マイクロコンピュータ16の記憶部16aに格納される(ステップS13)。これらの処理は、第1事象検知処理におけるステップS1からS3と共通である。
次に、事象検知部16cが、記憶部16aに格納された多値の動き抽出信号に対して閾値処理を行う(ステップS14)。このとき、事象検知部16cは、動き抽出信号の取り得る値の範囲内で閾値を変化させつつ閾値処理を行うことにより、動き抽出信号の振幅を求める。図3(4)に示したように、動き抽出信号は動きの輪郭において基準レベルに対して所定の振幅を示すが、この振幅は動きの速さによって変化する。したがって、動き抽出信号の振幅は、動きの速さを反映した値となる。
そこで、事象検知部16cは、上記のようにして求めた動き抽出信号の振幅に基づいて、動きの速さを算出する(ステップS15)。
なお、ここでは動き抽出信号の振幅に基づいて動きの速さを算出するようにしているが、後述する位置検知処理によって検知される動き部分の位置の時間変化に基づいて動きの速さを算出してもよい。
そして、事象検知部16cは、算出した速さと、予め定められた基準値とを比較し、速さが基準値以下である場合には不法侵入の発生とみなして事象検知信号をH(ハイ)に設定し、速さが基準値未満である場合には不法侵入の不発生とみなして事象検知信号をL(ロウ)に設定する。
この処理では、基準値以下の速さで移動する移動体をビジョンチップ11が捉えた場合に不法侵入の発生とみなし、たとえ移動体をビジョンチップ11が捉えたとしても、その速さが基準値を超える場合には不法侵入の不発生とみなしている。これにより、たとえば監視領域の入口付近を単に通過する人物などをビジョンチップ11が捉えた場合などに、誤って不法侵入の発生として検知することを抑制することができる。
なお、ここでは2つの事象検知処理を示したが、実際にはこれらの一方を選択し、あるいはこれらを組み合わせて不法侵入の発生を検知するようにすればよい。これらを組み合わせた場合において、各処理が互いに異なる判定を下したときには、予め定めた一方を優先させるようにすればよい。
また、事象検知部16cにより動き部分の位置を検知し、その位置に基づいて不法侵入の発生を検知するようにしてもよい。動き部分の位置を検知するためには、次に説明する位置検知処理と同様の処理を行えばよい。
動き部分の位置に基づくことが望ましい例としては、立ち入り許可区域と立ち入り禁止区域とが複雑に入り組んでいるような場所での不法侵入の監視が考えられる。この例では、立ち入り許可区域と立ち入り禁止区域とを画像上において予め区分しておき、動き部分が立ち入り禁止区域に位置している場合に不法侵入の発生を検知することができる。これにより、立ち入り許可区域と立ち入り禁止区域とが複雑に入り組んでいるような状況でも、不法侵入の発生を的確に検知することができる。
さらに、動き部分の位置に基づく事象検知処理と、上記第1及び第2事象検知処理による検知とを組み合わせて検知するようにしてもよい。
(位置検知処理)
次に、ビジョンチップ11の撮像画像における動き部分の位置を検知するための処理(位置検知処理)の内容を説明する。
図10のフローチャートに位置検知処理の流れを示す。なお、図10に示したフローチャートは、ビジョンチップ11によって撮像された1フレーム分の画像に対して行われる処理を示したものである。
まず、アナログ信号の動き抽出信号がビジョンチップ11において生成され(ステップS21)、A/Dコンバータ12によって多値(たとえば8ビット)のデジタル信号に変換され(ステップS22)、マイクロコンピュータ16の記憶部16aに格納される(ステップS23)。これらの処理は、第1事象検知処理におけるステップS1からS3と共通である。
次に、位置検知部16dが、記憶部16aに格納された多値の動き抽出信号に対して閾値処理を行い、2値化する(ステップS24)。この処理も第1事象検知処理におけるステップS4と共通である。
次に、位置検知部16dがメジアン処理を行い、動き部分の中心座標を検出する(ステップS25)。ここでは、第1事象検知処理におけるステップS5のメジアン処理とほぼ同様の処理を行うが、このステップS25のメジアン処理では、横方向のメジアン処理に加えて縦方向のメジアン処理を行うことにより、縦横の中心座標を検出する。
次に、中心座標の高周波ノイズ成分を除去するために、位置検知部16dが中心座標の重み付け時間平均を算出し、重み付け平均された中心座標を示す位置信号を撮影制御部16eへ出力する(ステップS26)。
撮影制御部16eでは、位置検知部16dからの位置信号に基づいて撮影装置13におけるCCDカメラ部の向きを、動き部分の中心に向けるための制御信号を生成し、撮影装置13に出力する(ステップS27)。これにより、撮影装置13では、駆動機構が動作してCCDカメラ部の向きが制御される。
なお、撮影装置13の駆動機構はパルス信号のパルス幅によって制御されるサーボモータを備えて構成することができ、この場合には、上記制御信号として、動き部分の中心座標に応じたパルス幅を有するパルス信号を生成すればよい。
また、撮影装置13の向きに加えて、撮影装置13のズームを制御するようになっていてもよい。そのためには、上述した事象検知処理1と同様にして動き部分の大きさを認識し、その大きさに基づいて撮影装置13のズームを制御し、動き部分が画面上で大きく撮影されるようにすればよい。これにより、不法侵入の侵入者などの鮮明な画像を得ることができる。
4.中央監視装置
中央監視装置2について説明する。この中央監視装置2は、図2に示した複数の監視領域Aに設置された複数の監視ユニット10を集中的に管理することにより、各監視領域Aを監視するためのものである。
中央監視装置2は、この中央監視装置2の各部を制御する制御装置2aと、監視ユニット10からの信号を受信する通信装置2bと、各種情報を記憶する記憶装置2cと、各種情報を表示する表示装置2dとを備えている。
中央監視装置2では、監視ユニット10から事象検知信号、撮影画像データ、識別信号が送られてくると、これらを通信装置2bによって受信し、制御装置2aが撮影画像データに基づく撮影画像を表示装置2dに表示させる。
また、記憶装置2cには、監視ユニット10に割り当てられた固有のIDと、位置データと、初期画像データとが対応付けられて記憶されている。位置データは、対応する監視ユニット10の設置位置を住所や地図などによって示すデータである。初期画像データは、対応する監視ユニット10に関連する画像を予め記録しておいた画像データであり、たとえば正常時の状況を撮影しておいた画像データである。
制御装置2aは、監視ユニット10からの識別信号に基づいて、監視ユニット10のIDに対応付けられた位置データ及び初期画像データを記憶装置2cから読み出し、表示装置2dに上記撮影画像データとともに表示させる。
表示装置2dは、監視者によって監視されており、監視者は、表示装置2dに表示された上記の各データに基づいて、不法侵入に対する対策を講じる。なお、監視者は、位置データに基づくことにより、不法侵入の発生した位置を素早く認識することができるため、その後の対処を迅速に行うことができるようになる。また、監視者は、初期画像データと撮影画像データとを比較することによって、不法侵入による破損などの状況を素早く認識することができるため、その後の対処を迅速に行うことができるようになる。
なお、中央監視装置2は、監視ユニット10に対して制御信号を発することにより、監視ユニット10を制御できるようになっていてもよい。たとえば、不法侵入を検知することにより撮影装置13や警報装置14が動作を開始した監視ユニット10に対し、これらの停止させて通常の監視状態に戻すように制御することができる。
5.まとめ
以上のように、本実施形態の監視ユニット(監視装置)10は、撮像のための複数の画素を有し、各画素の撮像信号に対してアナログ並列処理を施すことにより、撮像信号を、撮像画像から動き部分を抽出して示す動き抽出信号に変換するビジョンチップ(動き検出素子)11と、動き抽出信号に基づいて監視対象事象を検知する事象検知部(事象検知手段)16cとを備えている。
ビジョンチップ11のアナログ並列処理を実現する部分は、アナログメモリ211・311、処理部112・212、アナログ演算器113・213・313などの比較的簡単な電気回路要素によって構成することができる。
また、事象検知部16cは、監視対象事象を検知するものであり、その検知のためにビジョンチップ11からの動き抽出信号を利用するものであるため、比較的簡単な構成によって実現することができる。なぜなら、動き抽出信号は撮像画像から動き部分を抽出して示す信号であるため、この信号に基づくことにより動き部分の認識が容易であり、動き部分の認識ができればあとは監視目的に応じて予め設定しておいた基準に照らして監視対象事象を検知すればよいからである。
このように、上記の構成では、直列的な画像処理を行う場合に必要となる比較的高性能なコンピュータの代わりに、比較的簡単な構成によって実現できるビジョンチップ11と事象検知部16cとを用いている。したがって、上記の構成では、リアルタイム性を確保しつつ安価、かつ、消費電力の小さな監視ユニット10を実現することができる。
また、監視ユニット10は、動き抽出信号に基づいて、撮像画像における動き部分の位置を検知する位置検知部(位置検知手段)16dをさらに備えることが望ましい。
上記の構成では、位置検知部16dによって動き部分の動きの位置を検知することができる。これにより、検知した位置に応じて、撮影装置13の撮影領域などを制御することができるようになる。なお、位置検知部16dによって検知した位置に応じて、ビジョンチップ11の撮像領域を制御するようになっていてもよい。
また、監視ユニット10は、撮影を行う撮影装置(撮影部)13と、事象検知部16cの検知結果に基づいて、撮影装置13の撮影開始を制御する撮影制御部(撮影制御手段)16eとを備えることが望ましい。
上記の構成では、撮影装置13によって監視対象事象を撮影することができるとともに、普段は撮影装置13の撮影を停止状態にしておき、事象検知部16cによって監視対象事象が検知された場合に撮影装置13による撮影を開始させることができる。あるいは、たとえば所定の時刻になっても監視対象事象が検知されない場合に撮影装置13による撮影を開始させるようにしてもよい。これは、たとえば一人暮らしの老人の起床を監視対象事象とし、所定の時刻になっても監視対象事象が検知されない場合に、撮影装置13による撮影を開始して老人の様子を見る、といった例が想定される。
これにより、撮影装置13を不必要に動作させることを抑制することができる。したがって、撮影装置13も含めた監視ユニット10全体としての消費電力を低減することができる。
また、監視ユニット10の撮影制御部16eは、位置検知部16dの検知結果に基づいて、動き部分の動きに追従した撮影を撮影装置13に行わせるようになっていてもよい。
上記の構成では、動き部分の動きに追従した撮影を行うことができる。これにより、監視対象事象をより的確に撮影することができる。
6.変形例
上記では、監視システムを構成することを前提として説明したが、監視ユニット10単独で利用することもできる。
たとえば、不法侵入を検知して警報を発令する装置として監視ユニット10を応用することができる。この場合、撮影装置13、通信装置15、位置検知部16d、撮影制御部16e、画像圧縮部16f、通信制御部16gの各構成要素の全部又は一部を省いてもよい。
また、不法侵入を検知して撮影を行うが、その撮影画像データの転送までは行わないような装置として監視ユニット10を応用することもできる。この場合、通信装置15、画像圧縮部16f、通信制御部16gの各構成要素の全部又は一部を省いてもよい。
また、監視システム1や監視ユニット10による監視対象は、不法侵入に限らず、不法投棄などの他の不法行為であってもよい。また、不法行為に限らずし、福祉目的や学術目的の監視にも応用できる。福祉目的の監視の例としては、病院における老人の徘徊や、一人暮らしの老人の生活動作を監視することが考えられる。学術目的の監視の例としては、野生動物の監視などが考えられる。
また、上述した監視ユニット10の構成要素のうちの一部のものを用いることにより、監視目的に限らず他の用途にも利用可能な撮影装置を構成することができる。
図12にその撮影装置20の構成を示す。撮影装置20は、監視ユニット10の構成要素のうち、ビジョンチップ11と、A/Dコンバータ12と、記憶部16aと、位置検知部16dとを備えて構成される動き検知装置21と、撮影制御部16eと、撮影装置13と、電源装置17とを備えて構成されている。
この撮影装置20では、動き検知装置21によって検知される動き部分の中心座標に基づいて、動きに追従した撮影を撮影装置13により行うことができる。このように撮影装置20は動きに自動的に追従する撮影装置を実現することができる。
また、この撮影装置20においても、監視ユニット10と同様に、直列的な画像処理を行う場合に必要となる比較的高性能なコンピュータの代わりに、比較的簡単な構成によって実現できる動き検出素子と位置検知手段とを用いているため、安価に製造でき、消費電力の小さい自動追従型の撮影装置を実現することができる。