JP4228391B2 - 監視システム - Google Patents

Description

本発明は、広角の撮像画像から動体を検出し、その動体を拡大した撮像画像で捕らえながら追尾する方式の監視システムに関する。

近年、工業プラント等の施設だけでなく、小規模な商業施設や一般家庭においてもセキュリティ対策として監視システムの需要が高まっている。
その場合、極めて厳重な監視体制が要求されるような施設ではモニタ画像を常時監視するための設備と人員を配置させるが、前記の商業施設や一般家庭ではそのような態勢を採用することは困難である。

従って、監視カメラから得られる画像信号から侵入者等の動体を検出し、その動き検出状態中にのみＶＴＲやＤＶＤ等の記録装置によって自動録画を実行させたり、自動的にアラームを発生させたりすることが行われている。
また、広角の撮像画像だけでは侵入者等の容姿や動作の詳細が確認できないことが多いため、高い解像度で侵入者等を拡大した画像で撮像しながら追尾できるようなシステムも実現されている。

そして、そのような監視システムに適用される撮像装置として、例えば、下記の特許文献１に開示された技術がある。
その撮像装置は、２つのビデオカメラを備えており、第１ビデオカメラは動体を含む画像を広角で撮像し、第２ビデオカメラで動体を追尾するようになっている。
第２ビデオカメラは、動体を追尾するために駆動制御部によってＰＡＮ−ＴＩＬＴ・ズーム制御がなされるが、その制御は、第１ビデオカメラによる広角の撮像画像から動体を検出してその動きベクトルを求め、その動きベクトルについての各種データに基づいて動体の予測座標値を演算すると共にサイズ補正演算によりズーム率が求められ、それら予測座標値とズーム率を用いて実行される。

特開平７−１６２７３０号公報

ところで、前記特許文献１の技術によると、独立した２つのビデオカメラが必要であり、大きな設置スペースを要すると共に、第２ビデオカメラ全体を駆動させるために強力で大きな機構が必要となる。
また、監視システムの中でビデオカメラの光学系が占めるコスト比率が大きく、独立した２つのビデオカメラを用いることはコストダウンを図る上で不利となる。
更に、各ビデオカメラの光軸が独立しているため、第１ビデオカメラの広角画像から動体の予測座標値等を求めてそのまま第２ビデオカメラの制御データとして用いると正確な追尾制御は行えず、前記特許文献１では触れていないが、実際には制御データについて複雑な補正処理が必要になる筈である。
そこで、本発明は、前記の各問題点に鑑みて、動体を高い解像度の拡大画像で正確に追尾できると共に、設置スペースが小さく、小型で安価な監視システムを提供することを目的として創作された。

本発明は、入射レンズ系とその入射レンズ系で定まる像面との間に光束分割手段を配置し、前記光束分割手段で分割された後の一方の光束に係る像面に広角画像を得るための第１撮像素子を配置させ、前記第１撮像素子による広角画像の一部を前記第１撮像素子よりも高い解像度で撮像する第２撮像素子を前記光束分割手段で分割された後の他方の光束に係る像面に沿って移動可能な機構で支持すると共に、前記機構を介して前記第２撮像素子を移動させる駆動手段を設けた撮像部と、前記第１撮像素子から得られる広角画像の画像データに基づいて画像中に動体が存在するか否かを確認し、動体が存在した場合に、前記広角画像中における現フレームでの動体の中心座標とその動きベクトルとから次フレームでの動体の予測位置座標を求め、前記広角画像中における前記第２撮像素子の撮像位置を決定する撮像位置決定手段と、前記撮像位置決定手段が決定した撮像位置に基づいて前記撮像部の前記駆動手段を制御することにより、前記第２撮像素子を対応する位置へ移動させる駆動制御手段とを備え、前記第２撮像素子の撮像画像、若しくは前記第１撮像素子及び前記第２撮像素子の撮像画像を表示及び／又は記録することを特徴とする監視システムに係る。

本発明によれば、第１撮像素子と第２撮像素子は入射レンズ系と光束分割手段を共用しており、第１撮像素子は光束分割手段で分割された一方の光束から広角画像を、第２撮像素子は他方の光束から前記広角画像の一部を得るようになっている。
ここに、第２撮像素子は第１撮像素子よりも画素密度が高くなっており、第２撮像素子の撮像画像を拡大した場合にも高い解像度で精細な画像を得ることができる。
そして、第１撮像素子が得ている広角画像の画像データに基づいて動体の位置を予測することにより、第２撮像素子を前記他方の光束に係る像面に沿って移動させて動体を追尾するようになっている。
従って、従来技術の監視システムのように独立した２つのビデオカメラを必要とせず、単体として構成された監視システムが実現できる。また、１つの光束を分割して各撮像素子の画像を得るため、第２撮像素子の動体に対する追尾制御を簡単な演算で正確に行うことができる。
尚、光束分割手段としてはハーフミラー又はビームスプリッタが適用できる。
また、撮像部における第２撮像素子の移動機構としては、第２撮像素子を入射レンズ系の光軸上の１点を中心とした球面に沿って移動させる機構や、像面の位置で光軸に垂直な面に沿って移動させる機構等が採用できる。

本発明において、前記撮像位置決定手段は、次フレームでの動体の予測位置座標が前記広角画像中における前記第２撮像素子の撮像領域内にある場合には、前記第２撮像素子の撮像位置を現フレームのまま維持させることが望ましい。
これは、動体の小さな動きに対して第２撮像素子の移動が過敏に行われるとその撮像画像が見づらいものになるからであり、次フレームにおいて動体が第２撮像素子の撮像領域に含まれている場合には、安定した撮像状態を維持させて動体の確認を容易にする。

また、撮像位置決定手段においては、現フレームと次フレームでの前記第２撮像素子の各撮像位置間の予測距離を求めた後、それを前記第２撮像素子の実空間上での移動距離に換算し、その実空間上での移動距離が前記駆動手段による前記第２撮像素子の１フレーム時間での移動距離よりも大きい場合には、現フレームでは前記第２撮像素子の撮像位置をそのまま維持させ、次フレームを基準にした制御に委ねるようにすることが望ましい。
動体の速度が大きすぎると、たとえ第１撮像素子のフレーム内に捕捉できていても、第２撮像素子をそれに追従して移動させることができない場合もあり、そのような場合には、その状態を確認した上で、次フレームで第２撮像素子を追従させ得るかどうかを判断させるようにする。

更に、複数の動体を対象とする場合には、前記撮像位置決定手段に次のような機能を持たせておけば、第２撮像素子による動体の合理的な追尾が可能になる。
即ち、前記撮像位置決定手段が、前記第１撮像素子から得られる広角画像中に複数の動き検出対象領域を設け、少なくとも２つの前記動き検出対象領域から動体が検出された場合に、各動体を包含する判別用方形領域を求めてその判別用方形領域と前記第２撮像素子の撮像領域の大きさを比較し、前記第２撮像素子の撮像領域の方が大きい場合には、前記第２撮像素子の撮像位置を前記判別用方形領域の中心位置に決定し、逆に、前記判別用方形領域の方が大きい場合には、前記広角画像中における各動体の中心座標とその動きベクトルを求め、前記動き検出対象領域から最先に離脱すると予測される動体を前記第２撮像素子の優先撮像対象とする。
この処理によると、広角画像中で求められた判別用方形領域は全ての動体を含んでおり、第２撮像素子の撮像領域がその判別用方形領域より大きければ第２撮像素子で全ての動体を捕捉し得ることになるため、判別用方形領域の中心位置に第２撮像素子の撮像位置を決定しておけば足りる。
一方、判別用方形領域が第２撮像素子の撮像領域より大きい場合には、全ての動体を捕捉できないため、この場合には動き検出対象領域から最先に離脱すると予測される動体を優先的な追尾対象とする。
これは、そのように予測される動体が一般的に最も注目すべき対象であることが多いからである。

本発明は、監視領域全体を撮像した広角画像と動体を高解像度で撮像した拡大画像とを記録及び／又は表示させる監視システムにおいて、それぞれの画像を得るための各撮像素子に対する入射光学系を単一化し、小型・軽量で設置スペースが小さいシステムを実現すると共に、その製造コストの低減化も実現する。
また、入射光学系が単一であることにより、動体に対する第２撮像素子の追尾制御を比較的簡単な演算で正確に行えるという利点もある。
更に、撮像位置決定手段での処理を工夫して第２撮像素子の移動制御を実行させるようにしたことにより、動体を安定した見易い画像で追尾でき、複数の動体が検出された場合にも優先順序を合理的に自動設定して追尾することを可能にする。

以下、本発明の監視システムの実施形態を図面に基づいて詳細に説明する。
［実施形態１］
先ず、図１はこの実施形態に係る監視システム全体の構成図を示し、大別すると撮像部１とデータ処理・制御部２と表示装置３とからなる。
撮像部１については、図１にその側面図だけを示してあるが、平面図及び正面図はそれぞれ図２及び図３に示されている。
この撮像部１における光学系は、入射レンズ系５と、ハーフミラー６と、第１撮像素子７と、第２撮像素子８とからなり、第２撮像素子８以外の要素は固定されている。
そして、入射レンズ系５を介して入射した光束はハーフミラー６で分割され、９０°方向変換された光束は第１撮像素子７に像面を構成し、他方の透過した光束は第２撮像素子の移動位置に像面を構成するようになっている。

また、第１撮像素子７は１／２インチサイズ、第２撮像素子８は１／６インチサイズとされており、撮像領域は前者が後者の３倍になっているが、各撮像素子７，８の画素数は同一であり（画素密度について第２撮像素子８が第１撮像素子７の３倍）、第２撮像素子８から得られる画像の解像度は第１撮像素子７のそれより３倍高くなっている。
従って、第１撮像素子７からは入射レンズ系５による監視エリアの広角画像が得られ、第２撮像素子８からはその一部の画像が得られるが、第２撮像素子８による画像はそれを３倍に拡大しても第１撮像素子７による拡大画像と同等の解像度で表示できる。

次に、第２撮像素子８を移動させるための機構について説明する。
先ず、その移動機構は第２撮像素子８を垂直面内で旋回させる第１旋回機構と水平面内で旋回させる第２旋機構とからなり、それらの組み合わせによって第２撮像素子８を入射レンズ系５の光軸上の１点を中心とした球面に沿って移動させることができるようになっており、且つ、その球面は前記入射レンズ系５で定まる像面位置に設定されている。

第１旋回機構についてみると、第２撮像素子８を取り付けたマウント部材８aを積載固定したアーム９を有している。
そのアーム９の両端部にはそれぞれ支持軸１０a,１０bが設けられており、各支持軸１０a,１０bを水平回動台１１に立設せしめた各軸受部１２a,１２bによって軸支されている。
そして、一方の支持軸１０a側にはウォームホィール１３が固定されており、そのウォームホィール１３に対しては水平回動台１１に固設したステッピングモータ１４の軸に取り付けたウォーム１５が歯合せしめられている。
従って、ステッピングモータ１４を正転／逆転駆動させることで支持軸１０aを介してアーム９を回動させ、それによって第２撮像素子８を垂直面内で旋回させることが可能になっている。

一方、第２旋回機構は前記第１旋回機構の水平回動台１１を水平に保った状態で旋回させる機構であり、固定基台１６に対して回動自在に立設せしめられた回動基軸１７に対してウォームホィール１８が固定されており、そのウォームホィール１８に対して固定基台１６に固設したステッピングモータ１９の軸に取り付けたウォーム２０が歯合せしめられている。
従って、ステッピングモータ１９を正転／逆転駆動させることで回動基軸１７を回動させ、それによって回動基軸１７で支承されている第１旋回機構全体を旋回させることが可能になっている。

即ち、撮像部１における第２撮像素子８の移動機構は、各ステッピングモータ１４,１９の正転／逆転を制御することにより、第２撮像素子８球面に沿って移動させることができる。尚、この実施形態では各ウォーム１５,２０が各ステッピングモータ１４,１９の回転軸に直接取り付けられているが、各ステッピングモータ１４,１９が減速機構を介してウォーム１５,２０を回動させるようにしてもよい。
ところで、入射レンズ系５のように収束系の光学系においては、像面が光軸から離れるにつれてレンズ側に傾く傾向があり、その面は焦点を中心とした放物面で構成されて「ペッツバール面」と称されている。
一般に、レンズには前記ペッツバール面のような像面湾曲や各種の収差が発生し、非点収差だけを補正することは比較的容易であるが、像面湾曲も含めて補正することは困難であり、アナスティグマティック・レンズや特殊な構成による組合せレンズ等の高価な光学系を構成しなければならないためにコストアップを招く。
この実施形態のように、第２撮像素子８を光軸上の一点を中心とする球面上で移動させると、第２撮像素子８がペッツバール面に近似した位置を移動することになるため、前記のような像面湾曲の補正を行わずとも、入射レンズ系５が有している焦点深度に基づいて画像の歪みを補正できる。

次に、データ処理・制御部２の構成とその動作について説明する。
このデータ処理・制御部２は、撮像部１の第１撮像素子７から得られる広角画像データを解析して動体の動きを予測し、その予測データに基づいて第２撮像素子８の移動制御を行うことにより動体の拡大画像を得る機能と、前記の広角画像と動体の拡大画像を記録・表示させる機能を備えている。

そして、データ処理・制御部２は、第１撮像素子７の撮像信号を取り込んでディジタルデータに変換する画像入力インターフェイス（以下、「インターフェイス」は「Ｉ/Ｆ」と略す）２１aと、画像入力Ｉ/Ｆ２１aが変換した画像データが書き込まれる画像メモリ２２aと、第２撮像素子８の撮像信号を取り込んでディジタルデータに変換する画像入力Ｉ/Ｆ２１bと、画像入力Ｉ/Ｆ２１bが変換した画像データが書き込まれる画像メモリ２２bと、画像メモリ２２a,２２bの画像データを表示信号に変換して表示装置３へ出力させる出力Ｉ/Ｆ２３と、動作のＯＮ/ＯＦＦ設定や動き判定閾値等の動作条件のパラメータ設定を行うための操作部２４と、操作部２４からの入力を受け付ける設定入力Ｉ/Ｆ２５と、設定入力Ｉ/Ｆが受け付けた設定値を記憶するパラメータ記憶部２６と、パラメータ記憶部２６の設定値に基づいて前記画像から動体を検出し、次フレームでの動体の予測位置を求めて第２撮像素子８による撮像位置を決定する撮像位置決定部２７と、撮像位置決定部２７が動体を検出した場合に各画像メモリ２２a,２２bの画像データを記録するデータ記録装置２８と、撮像位置決定部２７による撮像位置決定データに基づいて撮像部１側のステッピングモータ１４,１９の回動状態を制御するモータ駆動制御部２９と、それらモジュールを統括的に制御するシステム制御部３０とからなる。

この監視システムでは、前記の構成に基づいて、各画像メモリ２２a,２２bの画像データを表示装置３に表示させておくが、撮像位置決定部２７で動体が検出されている状態においてのみ、データ記録装置２８によって各撮像画像を記録媒体に録画させる。
尚、画像メモリ２２aの画像データは第１撮像素子７による広角画像に係るものであり、画像メモリ２２bの画像データは第２撮像素子８による画像であって、前記広角画像の一部を３倍の解像度で表示できるものであることから、出力Ｉ/Ｆ２３による表示出力に際しては、通常は前記広角画像だけを表示させておき、撮像位置決定部２７が動体を検出した場合にのみ第２撮像素子８の画像データを拡大表示させてもよい。
また、図１ではアラーム装置を設けていないが、アラーム装置を設けた場合には、撮像位置決定部２７が動体を検出した場合にシステム制御部３０がアラーム装置を起動させる。

以下、データ処理・制御部２の撮像位置決定部２７による第１撮像素子７の広角画像に対する解析処理とそれに基づく撮像部１の制御について具体的に説明する。
撮像位置決定部２７は図４に示すようなマイクロコンピュータ回路で構成されており、ＣＰＵ３１とＲＯＭ３２とＲＡＭ３３とＩ/Ｏポート３４がアドレスバス・データバスで接続された一般的なものである。
ここで、ＲＯＭ３２には予め撮像位置決定プログラムが格納せしめられており、ＲＡＭ３３には、ワークエリアと共に、少なくとも１フレーム分の画像データを記憶する領域と、動き判定のための閾値等のパラメータを取り込んで記憶する領域と、動き検出過程で得られる各種データを記憶する領域と、動き検出情報を記憶する領域が確保されている。また、Ｉ/Ｏポート３４は、システム制御部３０からの制御信号を受けると共に、画像メモリ２２aの画像データと設定パラメータの入力を受け付け、第２撮像素子８の撮像位置データをモータ駆動制御部２９へ出力する。

図５のフローチャートは撮像位置決定部２７のＣＰＵ３１がＲＯＭ３２の撮像位置決定プログラムに基づいて実行する基本的動作手順を示す。
先ず、監視システムの稼動状態では、第１撮像素子７で撮像した画像データが画像入力Ｉ/Ｆ２１aによって画像メモリ２２aに書き込まれ、出力Ｉ/Ｆ２１が画像メモリ２２aから画像データを読み出して表示装置３に監視映像を表示させている。
また、操作部２４から入力された動き判定閾値等のパラメータが予めパラメータ記憶部２６に格納されているものとする。

ここで、操作部２４から動き検出動作のＯＮ指示がなされるとシステム制御部３０が撮像位置決定部２７を起動させ、撮像位置決定部２７ではＩ/Ｏポート３４を介してパラメータ記憶部２６の設定パラメータをＲＡＭ３３に読み込むと共に、以降のデータ処理のための初期設定を行う（S11,S12）。
そして、初期設定が完了すると直ちに画像メモリ２２から画像データを１フレームずつＲＡＭ３３に取り込み（S13,S14）、ＲＡＭ３３に展開した画像データに基づいて画像分割・輝度情報処理（S15）を実行する。

この画像分割・輝度情報処理（S15）は図６のフローチャートに示す手順で実行される。
先ず、ＲＡＭ３３に取り込まれた画像フレーム:F(X)を、図７に示すように水平方向と垂直方向に均等区分し、ｍ＊ｎ個の方形状のブロック:B(X)ij［但し、i=1〜m，j=1〜n］に分割する（S31）。
その場合、当然に各分割ブロック:B(X)ijには水平・垂直方向の区分数に応じて多数の画素が含まれている。

分割ブロック:B(X)ijの設定が完了すると、各分割ブロック:B(X)ij毎に全画素の輝度値を加算し、その加算値をブロック内に含まれている画素数で除算することにより各分割ブロック:B(X)ijについての輝度平均値:BLav(X)ijを求め、そのデータをＲＡＭ３３にセーブする（S33,S34）。
また、この実施形態では、前記の輝度平均値:BLav(X)ijを求めてゆく順序が、水平方向に整列した各分割ブロック:B(X)ijについて左側から右側へ順次移行し、最上段の水平方向の分割ブロック群:B(X)ij［i=1，j=1〜n］から開始して、一段の処理が完了する度にその下段へ移行する方式に設定されており、最終的に右下の分割ブロック:B(X)mnの輝度平均値:BLav(X)mnを求めた段階で１フレーム分が終了することになっている（S32〜S38）。

そして、前記の一連の手順が完了すると、１フレーム分の分割ブロック:B(X)ijの輝度平均値:BLav(X)ijを全て加算し、その加算値:ΣB(X)ijを分割ブロックの数:ｍ＊ｎで除算することによりフレーム全体の輝度平均値:FLav(X)を求める（S39）。
また、求めたフレーム全体の輝度平均値:FLav(X)はＲＡＭ３３にセーブされ(S40)、それによって画像分割・輝度情報処理（S15）手順を完了する

ここで、図５に戻って、前フレームの輝度情報処理に係るデータがＲＡＭ３３にセーブされているか否かを確認する（S16）。
前記の画像フレーム:F(X)の取り込み(S14)と画像分割・輝度情報処理（S15）が最初の画像フレーム:F(1)に係るものである場合には、前フレームに係る処理データがＲＡＭ３３にセーブされていないため、輝度情報処理データは前フレームの情報としてＲＡＭ３３にセーブされる(S16→S20)。
一方、第２番目以降に入力された画像フレーム:F(X)［X≧2］である場合には、既に直前の画像フレームに係る処理データがＲＡＭ３３にセーブされている。
ここでは、前記のステップS14,S15の処理が第２番目以降の画像フレームについてなされたものとして、次の動きブロック検出処理（S17）を説明する。

この実施形態での動きブロック検出処理（S17）は図８のフローチャートに示される手順で実行される。
先ず、この段階では前フレーム:F(X-1)と現フレーム:F(X)について画像分割・輝度情報処理（S15）が実行されているため、ＲＡＭ３３には、前フレーム:F(X-1)の各分割ブロック:B(X-1)ij［i=1〜m，j=1〜n］に係る輝度平均値:BLav(X-1)ij［i=1〜m，j=1〜n］とそのフレーム:F(X-1)全体の輝度平均値:FLav(X-1)、及び現フレーム:F(X)の各分割ブロック:B(X)ij［i=1〜m，j=1〜n］に係る輝度平均値:BLav(X)ij［i=1〜m，j=1〜n］とそのフレーム:F(X)全体の輝度平均値:FLav(X)がセーブされている。
動きブロック検出処理では、最初に現フレーム:F(X)全体と前フレーム:F(X-1)全体の各輝度平均値の差:ΔFLav(X)＝FLav(X)−FLav(X-1)を演算し、これをＲＡＭに一旦セーブする（S41）。

次に、現フレーム:F(X)の分割ブロック:B(X)ijに係る輝度平均値とその分割ブロック:B(X)ijと対応する位置にある前フレーム:F(X-1)の分割ブロック:B(X-1)ijに係る輝度平均値との差:ΔBLav(X)ij＝BLav(X)ij−BLav(X-1)ijを演算する（S43）。
また、その分割ブロックに係る輝度平均値の差から前記のフレーム全体に係る輝度平均値の差を差し引いた値:ΔBLav(X)ij−ΔFLav(X)を演算し、その演算値を絶対値:｜ΔBLav(X)ij−ΔFLav(X)｜に変換する（S44,S45）。

そして、この動きブロック検出処理では前記で求めた絶対値:｜ΔBLav(X)ij−ΔFLav(X)｜を分割ブロック:B(X)ijが動きを含むものであるか否かの判定対象とする。
具体的には、ＲＡＭ３３には設定パラメータとして前記の絶対値:｜ΔBLav(X)ij−ΔFLav(X)｜と比較するための閾値:Ｔh0が格納されており、｜ΔBLav(X)ij−ΔFLav(X)｜＞Ｔh0の場合には「分割ブロック:B(X)ijは動きを含むものである」と判定し、逆に｜ΔBLav(X)ij−ΔFLav(X)｜≦Ｔh0の場合には「分割ブロック:B(X)ijは動きを含まないものである」と判定する（S46,S47,S48）。
また、その分割ブロック:B(X)ijについての動き判定情報はＲＡＭ３３にセーブされる（S49）。

ところで、前記の一連の動きブロック検出手順は画像フレーム:F(X)の各分割ブロック:B(X)ijについて順次実行されるが、その順序は上記の輝度情報処理手順（S32〜S38）で行った順序と同様であり、分割ブロック:B(X)11から開始して分割ブロック:B(X)mnで終了する（S42〜S52）。

そして、図５に戻って、撮像位置決定部２７は上記処理で得られている各種情報を利用して動き方向を検出する（S18）。この動き方向検出処理の手順は図９のフローチャートに示される。
先ず、現フレーム:F(X)と前フレーム:F(X-1)に動きを含む分割ブロックが有るか否かを判断し、それが存在した場合には、それらフレーム:F(X)，F(X-1)中における全ての動きを含む分割ブロックの水平方向及び垂直方向の中心座標をそれぞれ加算する（S61,S62）。
そして、前記の各加算値を画像フレームに設定した全分割ブロック数:ｍ＊ｎで除算し、現フレーム:F(X)と前フレーム:F(X-1)の関係における動きの中心座標を求め、その座標値をＲＡＭ３３にセーブする（S63）。

ところで、もし前フレーム:F(X-1)とその前のフレーム:F(X-2)に動きを含む分割ブロックが有れば、前記と同様の手順（S61〜S63）によってＲＡＭ３３にはそれらのフレームに係る動きの中心座標がセーブされていることになる。
そこで、ＲＡＭ３３に各フレーム:F(X-1)，F(X-2)に係る動きの中心座標がセーブされているか否かを確認し（S64）、セーブされていれば、その中心座標と前記の中心座標とから動き方向を求めてＲＡＭ３３にセーブする（S65）。
尚、ステップS61で動きを含む分割ブロックが無い場合、及びステップS64でＲＡＭ３３に中心座標がセーブされていない場合には本来的に動きが無かったことになり、次のフレーム:F(X+1)の処理がなされる段階でステップS61〜S65の手順が実行される。

前記の一連の手順を具体的な画像フレーム:F(X-1)，F(X)，F(X+1)の動きを含む分割ブロックを対応させて表現すると図１０のようになる。
同図の（Ａ）では、右側に各フレームの画像が示されており、左側にはF(X-1)とF(X)の関係及びF(X)とF(X+1)の関係でみた動きを含む分割ブロック群と動きの中心位置を示すものである。
ここに、４１，４２，４３はそれぞれフレーム:F(X-1)，F(X)，F(X+1)における動きを含む分割ブロック群であり、４４は分割ブロック群４１，４２の動きの中心を、４５は分割ブロック群４２，４３の動きの中心を示している。
従って、フレーム:F(X-1)，F(X)，F(X+1)における動き方向は、図１０の（Ｂ）に示されるように、各動きの中心４４，４５を結ぶベクトルとして得られることになる。

再び図５に戻って、撮像位置決定部２７はこの段階で第２撮像素子８の撮像位置制御処理を実行する（S19）。この処理手順は図１１のフローチャートに示される。
先ず、撮像位置決定部２７は上記の一連の手順により第１撮像素子７の広角画像中に動体が存在することを確認すると、現フレーム:F(X)と直前のフレーム:F(X-1)とから求まる動きの中心座標:P(X)に、現フレーム:F(X)と直前の２フレーム:F(X-1),F(X-2)とから求まる動き方向ベクトルを加算し、動体の次フレームF(X+1)での予測位置:Pe(X+1)を求めてＲＡＭ３３にセーブする（S81,S82）。

そして、前記の予測位置:Pe(X+1)が第１撮像素子７の広角画面中に想定される第２撮像素子８の現在の撮像領域内に存在するか否かを確認する（S83）。
ここで、図１２の（Ａ）に示すように、予測位置:Pe(X+1)が第２撮像素子８の現在の撮像領域５２内になった場合には、第２撮像素子８を移動させなくても次フレームで動体を捕捉できるため、そのままの状態を保たせて移動制御は行わない（S83でＹの場合）。
一方、予測位置:Pe(X+1)が第２撮像素子８の現在の撮像領域５２の外側になった場合には、その予測位置:Pe(X+1)が第１撮像素子７のフレーム５１の内側に収まっているか否かを確認する（S83でＮ→S84）。

そして、図１２の（Ｂ）,（Ｃ）のように、予測位置:Pe(X+1)が第１撮像素子７のフレーム５１内になっている場合には、撮像部１側における第２撮像素子８の移動制御速度との関係でフレーム周期内に第２撮像素子８を現在位置から予測位置:Pe(X+1)へ移動できるか否かを演算し、予め動体に対する追尾が可能であるかどうかを確認する（S85）。
具体的には、図１２の（Ｂ）に示すように、現フレームにおける第２撮像素子８の撮像領域５２の中心:P(X)と前記予測位置:Pe(X+1)との距離:ｄを演算し、更にその距離:ｄを図１〜図３に示した撮像部１の移動機構における第２撮像素子８の空間的移動距離：ｄ'に換算し、撮像部１における第２撮像素子８の移動速度をｖ、フレーム周期をＴfとした場合に、ｖ＊Ｔf＞ｄ'の関係が成立しているか否かを判断する。
尚、第１撮像素子７から画像データを画像メモリ２２aへ取り込む時間や前記判断のための演算時間等が無視できないような場合には、それらの合計時間:Δtを考慮してｖ＊（Ｔf−Δｔ）＞ｄ'が成立しているか否かを判断する。

そして、その確認の結果、ｖ＊Ｔf＞ｄ'（又はｖ＊（Ｔf−Δｔ）＞ｄ'）が成立して動体の追尾が可能な場合には、第２撮像素子８による撮像中心位置を前記予測位置:Pe(X+1)に決定する（S85→S86）。
一方、ｖ＊Ｔf≦ｄ'（又はｖ＊（Ｔf−Δｔ）≦ｄ'）の場合には、現フレームで撮像部１の移動機構による第２撮像素子８の追尾移動が不可能であるため、第２撮像素子８の移動制御を次フレーム以降に委ねる（S85でＮの場合）。
例えば、動体の移動速度が極めて速く、図１２の（Ｄ）に示すように前記距離:ｄが第１撮像素子７のフレーム５１の対角線に近い距離であるような場合には、空間的移動距離:ｄ'は相当に大きくなって追尾制御の限界を超えてしまうことがあり、そのような場合には次フレームで捕捉できるかどうかに委ねるようにする。

ところで、前記ステップS84では予測位置:Pe(X+1)が第１撮像素子７のフレーム５１の内側に収まっている場合について説明したが、図１２の（Ｅ）に示すようにフレーム５１の外側に外れてしまう場合もある（S84でＮの場合）。
そのような場合には、同図の点:Po(X+1)のように、現フレームでの動きの中心座標:P(X)と次フレームでの予測位置:Pe(X+1)とを結ぶ線がフレーム５１から離脱する位置を求め、その位置:Po(X+1)を第２撮像素子８による撮像中心位置に決定してＲＡＭ３３にセーブする（S84→S87,S88）。

このようにして、第２撮像素子８による撮像中心位置［前記のPe(X+1)又はPo(X+1)］が決定されると、撮像位置決定部２７はモータ駆動制御部２９へそのデータを転送し、モータ駆動制御部２９では転送された位置データに基づいて撮像部１側の各ステッピングモータ１４,１９を制御する（S89）。
即ち、図１２の（Ｂ）,（Ｃ）,（Ｅ）に示すように、第２撮像素子８の撮像領域の中心が第１撮像素子７のフレーム５１内で前記位置をとるように各ステッピングモータ１４,１９の回動量が制御され、動き予測に基づいた第２撮像素子８の新たな撮像領域５２'が設定される。

撮像部１に対する第２撮像素子８の移動制御が完了すると、図５に戻って、撮像位置決定部２７はＲＡＭ３３において現フレームで得られた各種情報を前フレームの情報としてセーブし、動作停止指示がなければ、データ処理・制御部２では画像入力Ｉ/Ｆ２１aが撮像部１の第１撮像素子７から次の画像フレームのデータの取り込みを行い、その画像データが画像メモリ２２aに書き込まれる（S20,S21→S22→S14）。
また同時に、画像入力Ｉ/Ｆ２１bが移動制御された第２撮像素子８から画像データを取り込んで画像メモリ２２bに書き込むが、その画像データは追尾した撮像領域５２を３倍の解像度で表示させることができるものである。
そして、上記のステップS14からステップS22は動作停止指示がなされるまでフレーム周期で繰り返し実行され、各画像メモリ２２a,２２bの画像データが書き換えられてゆく。

従って、表示装置３では第１撮像素子７による広角画像と共に、動体を追尾する第２撮像素子８の拡大画像を高い解像度で表示させることができ、撮像位置決定部２７による動体の検出期間中だけデータ記録装置２８によって前記の各撮像画像を記録媒体に録画させることができる。
また、画像メモリ２２aの容量を複数の画像フレームが記憶可能にしておき、順次更新する構成とすることで、動きを検出した時点から遡って記録させるようにもできる。
尚、アラーム装置が設けられている場合には、撮像位置決定部２７が動きを含む分割ブロックがあると判定した際にアラーム音等を出力させて監視領域に異常が発生したことを通報する。

ところで、この実施形態の動きブロック検出処理においては、現フレーム:F(X)と前フレーム:F(X-1)の対応した各分割ブロックに係る輝度平均値の差から各フレームに係る全体の輝度平均値の差を差し引いた値の絶対値:｜ΔBLav(X)ij−ΔFLav(X)｜を設定閾値:Ｔh0と比較することにより、現フレーム:F(X)に動きを含む分割ブロックがあるか否かを判定している。
即ち、分割ブロック同士の輝度平均値の差と各フレームに係る全体の輝度平均値の差との相対的差分を判定対象としている。

ここで、監視領域の照明状態が変化した場合を想定してみると、その変化が影響した分割ブロック同士の輝度平均値の差:ΔBLav(X)ijが絶対値として大きくなるが、同時に前後の各画像フレーム全体の輝度平均値の差:ΔFLav(X)も絶対値として大きくなり、且つその＋／−方向へ増大する傾向は同一である。
従って、この実施形態において判定対象となる｜ΔBLav(X)ij−ΔFLav(X)｜は照明状態の変化がキャンセルされたものとなり、照明状態の変化に影響を受けないで（照明状態の変化を分割ブロック内の動きとして検出することなく）、一定の閾値:Ｔh0を適用することによって正確且つ安定的に動きブロック検出を行うことが可能になる。

また、判定対象となる｜ΔBLav(X)ij−ΔFLav(X)｜は分割ブロック:B(X)ij，B(X-1)ijの輝度平均値:BLav(X)ij，BLav(X-)ijや画像フレーム:F(X)，F(X-1)の全体的輝度平均値:FLav(X)，FLav(X-1)に基づいて算出されているため、画像フレーム:F(X)，F(X-1)中にフリッカー等のノイズが混在していてもその画素に係る大きな輝度値は平準化されて殆ど影響を及ぼさない。
更に、この実施形態では、画像分割・輝度情報処理（図５のS15）において画素の輝度を予め分割ブロック:BL(X)ij単位で平均化しておくため、その後の動きブロック検出処理（S17）のための演算量を低減できる。

尚、閾値:Ｔh0の値は動きの検出感度を左右するが、例えば、８ビットで量子化された画像データの輝度値を０〜２５５として表現した場合に、Ｔh0は約５０に設定することが可能である。
この検出方式では、照明状態の変化が動き判定に与える影響が小さいため、前記の閾値:Ｔh0≒５０は通常の同様の判定方式の適用閾値よりも相当に小さいレベルになっており、高い検出感度を実現できることになる。

［実施形態２］
前記実施形態１では検出した動体が１つである場合について説明したが、この実施形態は複数の動体を検出した場合における撮像位置決定部２７での撮像位置制御処理に特徴がある。
但し、この実施形態では、図１３に示すように、予め動きの検出対象領域が方形領域［ａｂｃｄ］,［ｅｆｇｈ］として設定されており、それら各領域データがパラメータ記憶部２６に格納されている。
また、この実施形態では、実施形態１の場合と同様の処理についての説明は省略し、主に図５のステップS19に相当する第２撮像素子の撮像位置制御処理に相当する部分を説明する。

この実施形態における撮像位置決定部２７での撮像位置制御処理の手順は図１４のフローチャートに示される。
先ず、実施形態１の場合と同様に、動きブロック検出処理（図５のステップS17）でＲＡＭ３３にセーブされた分割ブロック:Ｂ(X)ijの内、動き有りと判定されたものに対して、動き方向検出処理（同ステップS18）でＲＡＭ３３にセーブした動き方向ベクトルを加算し、次フレームでの各分割ブロックの予測位置を求める（S101）。
そして、この実施形態では、図１３に示すように動きの検出対象領域を２つ設定しているため、各領域［ａｂｃｄ］,［ｅｆｇｈ］に動体がある場合には、動きのある分割ブロック群が複数求められることになる。

そこで、次フレームでの分割ブロック群を包含する各動き方形領域を求め、更にそれらの動き方形領域を包含する判別用方形領域を求める（S102,S103）。
具体的には、図１５に示すように、前記の各検出対象領域:［ａｂｃｄ］,［ｅｆｇｈ］において、それぞれ動きのある分割ブロックの予測位置（斜線を施したブロック）が求められた場合において、領域:［ａｂｃｄ］内における分割ブロック群を包含する動き方形領域６１と領域:［ｅｆｇｈ］内における分割ブロック群を包含する動き方形領域６２とを求めると共に、それらの動き方形領域６１,６２を共に包含する判別用方形領域７０を求める。

次に、前記判別用方形領域７０と第２撮像素子８の撮像領域との大きさを比較する（S104）。
その比較結果において、判別用方形領域７０が第２撮像素子８の撮像領域より小さい場合には、判別用方形領域７０の中心座標を求め、第２撮像素子８による撮像中心位置をその中心座標として決定する（S104→S105）。
逆に、判別用方形領域７０が第２撮像素子８の撮像領域以上の大きさであった場合には、各動き方形領域６１,６２がそれぞれを含んでいる動きの検出対象領域［ａｂｃｄ］,［ｅｆｇｈ］から離脱するタイミングを予測し、更に各タイミングの時系列順序を求める（S106,S107）。
この離脱のタイミングは、現フレームにおける各分割ブロック群の中心位置に動き方向検出処理で求めた動き方向ベクトルを１回又は複数回加算し、離脱するまでの加算回数に基づいて決定される。
そして、離脱のタイミングが最先の動き方形領域（６１又は６２）の中心座標を求め、第２撮像素子８による撮像中心位置をその中心座標として決定する（S108）。

即ち、判別用方形領域７０が第２撮像素子８の撮像領域より小さい場合には、次フレームにおいても各分割ブロック群を包含する動き方形領域６１,６２を第２撮像素子８の撮像領域に納めることができるため、第２撮像素子８による撮像中心位置を判別用方形領域７０の中心座標をとしておけば、複数の動体を第２撮像素子８による拡大画像で捕捉でき、逆の場合には、動きの検出対象領域［ａｂｃｄ］,［ｅｆｇｈ］からより早く離脱する動体を優先的に追尾してゆくこととしている。

撮像位置決定部２７による前記手順（S105又はS108）で決定された第２撮像素子８の撮像中心位置に関するデータはモータ駆動制御部２９へ転送され、モータ駆動制御部２９が転送された位置データに基づいて撮像部１側の各ステッピングモータ１４,１９を制御することは実施形態１の場合と同様である（S109）。

尚、この実施形態では、第１撮像素子７の撮像画面中に２つの動きの検出対象領域［ａｂｃｄ］,［ｅｆｇｈ］を設定しているが、更に多くの検出対象領域を設定しておいてもよく、その場合においても図１４の手順に準じて第２撮像素子８の同様の移動制御が可能である。

本発明の実施形態１に係る監視システム全体の構成図である。 撮像部の平面図である。 撮像部の正面図である。 撮像位置決定部をマイクロコンピュータ回路で構成した場合のシステム回路図である。 撮像位置決定部が撮像位置決定プログラムに基づいて実行する基本的動作手順を示すフローチャートである。 画像分割・輝度情報処理の手順を示すフローチャートである。 画像フレームをブロックに分割した状態を示す図である。 動きブロック検出処理の手順を示すフローチャートである。 動き方向検出処理の手順を示すフローチャートである。 動き方向検出処理の具体的説明図である。 第２撮像素子の撮像位置制御処理の手順を示すフローチャートである。 動体の次フレームでの予測位置:Pe(X+1)と第２撮像素子の移動制御位置を説明するための図である。 第１撮像素子のフレーム内に２つの部分的な動き検出対象領域を設定した場合における動き方向の検出態様を示す具体的説明図である。 本発明の実施形態２に係る第２撮像素子の撮像位置制御処理の手順を示すフローチャートである。 実施形態２における動き検出対象領域と動きを含む分割ブロック群と動き方形領域と判別用方形領域の関係を示す具体的説明図である。

符号の説明

１…撮像部、２…データ処理・制御部、３…表示装置、５…入射レンズ系、６…ハーフミラー、７…第１撮像素子、８…第２撮像素子、９…アーム、１０a,１０b…支持軸、１１…水平回動台、１２a,１２b…軸受部、１３,１８…ウォームホィール、１４,１９…ステッピングモータ、１５,２０…ウォーム、１６…固定基台、１７…回動基軸、２１a,２１b…画像入力Ｉ／Ｆ、２２a,２２b…画像メモリ、２３…出力Ｉ／Ｆ、２４…操作部、２５…設定入力Ｉ／Ｆ、２６…パラメータ記憶部、２７…撮像位置決定部、２８…データ記録装置、２９…モータ駆動制御部、３０…システム制御部、３１…ＣＰＵ、３２…ＲＯＭ、３３…ＲＡＭ、３４…Ｉ／Ｏポート、４１,４２,４３…分割ブロック群、４４,４５…動きの中心位置、５１…第１撮像素子のフレーム、５２,５２'…第２撮像素子の撮像領域、６１,６２…分割ブロック群を包含する動き方形領域、７０…各動き方形領域を包含する判別用方形領域、［ａｂｃｄ］,［ｅｆｇｈ］…動きの検出対象領域。

Claims (4)

1. 入射レンズ系とその入射レンズ系で定まる像面との間に光束分割手段を配置し、前記光束分割手段で分割された後の一方の光束に係る像面に広角画像を得るための第１撮像素子を配置させ、前記第１撮像素子による広角画像の一部を前記第１撮像素子よりも高い解像度で撮像する第２撮像素子を前記光束分割手段で分割された後の他方の光束に係る像面に沿って移動可能な機構で支持すると共に、前記機構を介して前記第２撮像素子を移動させる駆動手段を設けた撮像部と、
   前記第１撮像素子から得られる広角画像の画像データに基づいて画像中に動体が存在するか否かを確認し、動体が存在した場合に、前記広角画像中における現フレームでの動体の中心座標とその動きベクトルとから次フレームでの動体の予測位置座標を求め、前記広角画像中における前記第２撮像素子の撮像位置を決定する撮像位置決定手段と、
   前記撮像位置決定手段が決定した撮像位置に基づいて前記撮像部の前記駆動手段を制御することにより、前記第２撮像素子を対応する位置へ移動させる駆動制御手段とを備え、
   前記第２撮像素子の撮像画像、若しくは前記第１撮像素子及び前記第２撮像素子の撮像画像を表示及び／又は記録することを特徴とする監視システム。
2. 前記撮像位置決定手段において、次フレームでの動体の予測位置座標が前記広角画像中における前記第２撮像素子の撮像領域内にある場合には、前記第２撮像素子の撮像位置を現フレームのまま維持させることとした請求項１に記載の監視システム。
3. 前記撮像位置決定手段において、現フレームと次フレームでの前記第２撮像素子の各撮像位置間の予測距離を求めた後、それを前記第２撮像素子の実空間上での移動距離に換算し、その実空間上での移動距離が前記駆動手段による前記第２撮像素子の１フレーム時間での移動距離よりも大きい場合には、現フレームでは前記第２撮像素子の撮像位置をそのまま維持させ、次フレームを基準にした制御に委ねることとした請求項１又は請求項２に記載の監視システム。
4. 前記撮像位置決定手段において、前記第１撮像素子から得られる広角画像中に複数の動き検出対象領域を設け、少なくとも２つの前記動き検出対象領域から動体が検出された場合に、各動体を包含する判別用方形領域を求めてその判別用方形領域と前記第２撮像素子の撮像領域の大きさを比較し、前記第２撮像素子の撮像領域の方が大きい場合には、前記第２撮像素子の撮像位置を前記判別用方形領域の中心位置に決定し、逆に、前記判別用方形領域の方が大きい場合には、前記広角画像中における各動体の中心座標とその動きベクトルを求め、前記動き検出対象領域から最先に離脱すると予測される動体を前記第２撮像素子の優先撮像対象とすることとした請求項１、請求項２又は請求項３に記載の監視システム。
   

Images