JP3689946B2

JP3689946B2 - データ処理装置及び方法

Info

Publication number: JP3689946B2
Application number: JP28453995A
Authority: JP
Inventors: 和人長沼
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-10-05
Filing date: 1995-10-05
Publication date: 2005-08-31
Anticipated expiration: 2015-10-05
Also published as: US5754225A; JPH09102948A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、テレビカメラを用いた監視システムのようなビデオカメラシステムに用いられるデータ処理装置及び方法であり、特に、ビデオカメラの視野内にある被写体の動きを検出し、自動追尾する技術に関するものである。
【０００２】
【従来の技術】
ビデオカメラにより監視エリアを撮影し、監視エリアに異常事態が発生した時に、警報装置を作動させるように構成したビデオカメラシステムが知られている。このようなビデオカメラシステムにおいては、ビデオカメラにより撮像された被写体の動きを検出することで異常事態の発生を検出するが、被写体の動きを検出する方法としては、現フィールドの画像と前フィールドの画像の同一アドレスにおける差分値を求め、絶対値化した後、それをフィールド全体にわたって積分し、動きの有無を判断する方法が一般的であった。
【０００３】
【発明が解決しようとする課題】
前記従来の動き検出方法は、検出精度が高いという長所はあるが、被写体の動きを検出するにあたり、現フィールドの画像と前フィールドの画像の同一アドレスにおける差分値を求め、絶対値化した後、それをフィールド全体にわたって積分し、動きの有無を判断するようにしているため、動きの有無を検出するための演算規模が大となり動き検出装置が高価になるばかりか、移動物体が変形、回転、遠近移動等をすると動き検出が困難となり、さらには、移動物体の瞬時移動量が大きい場合に動き検出が困難である。
【０００４】
さらに、移動物体が繰り返しパターンを有する場合に動き検出が困難となるばかりか、移動物体が周囲の固定物体と部分的に重なり合う場合には、動き検出が困難となる。
【０００５】
本発明は、このような問題点を解決したビデオカメラシステムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記課題を解決するために、本発明は、撮像装置の出力を用いてデータ処理を行なうデータ処理装置であって、画像の所定のエリア毎の映像信号を抽出する抽出手段と、前記抽出手段の出力を用いて前記画像の輝度上限値及び輝度下限値を前記エリア毎に算出する算出手段と、前記撮像装置の正常な状態における前記画像の輝度上限値及び輝度下限値を前記エリア毎に格納する格納手段と、前記格納手段に格納されている輝度上限値及び輝度下限値と前記算出された輝度最大値及び輝度最小値とを前記エリア毎に比較して前記画像の動きを検出する検出手段とを備え、前記検出手段が画像の動きを検出したときに、前記動きが検出されたエリアが前記撮像装置の視野の中央部に位置するように前記撮像装置の位置を制御する制御手段とを備える。
【０００９】
また、本発明は、撮像装置の出力を用いてデータ処理を行なうデータ処理方法において、画像の所定のエリア毎の映像信号を抽出し、前記抽出された出力を用いて前記画像の輝度上限値及び輝度下限値を前記エリア毎に算出し、前記撮像装置の正常な状態における前記画像の輝度上限値及び輝度下限値を前記エリア毎に格納し、前記格納されている輝度上限値及び輝度下限値と前記算出された輝度最大値及び輝度最小値とを前記エリア毎に比較して前記画像の動きを検出する検出し、前記画像の動きが検出されたとき、前記動きが検出されたエリアが前記撮像装置の視野の中央部に位置するように前記撮像装置の位置を制御する。
【００１０】
本発明においては、抽出手段が画像の所定のエリア毎の映像信号を抽出し、算出手段が抽出手段により抽出された出力を用いて前記画像の輝度上限値及び輝度下限値を前記エリア毎に算出する。さらに、格納手段は、前記撮像装置の正常な状態における前記画像の輝度上限値及び輝度下限値を前記エリア毎に格納し、検出手段は、前記格納手段に格納されている輝度上限値及び輝度下限値と前記算出手段より算出された輝度最大値及び輝度最小値とを前記エリア毎に比較して前記画像の動きを検出する。そして、画像の動きを検出されたエリアが撮像装置の視野の中央部に位置するように撮像装置の位置が制御される。
【００１１】
【発明の実施の形態】
以下この発明の実施の形態について図面を参照しながら、
〈１〉本発明を適用したビデオカメラシステム
〈２〉評価値算出ブロックの構成例（その１）
〈３〉評価値算出ブロックの構成例（その２）
〈４〉評価値算出ブロックの構成例（その３）
〈５〉マイコンにおける動き検出部の構成（その１）
〈６〉自動追尾処理の流れ（その１）
〈７〉マイコンにおける動き検出部の構成（その２）
〈８〉自動追尾処理の流れ（その２）
の順序で詳細に説明する。
【００１２】
〈１〉本発明を適用したビデオカメラシステム
図１は本発明を適用したビデオカメラシステムの全体のブロック構成を示す図である。このビデオカメラシステムは、監視エリアを撮像するビデオカメラ１と、ビデオカメラ１からの映像信号を基に監視エリアにおける被写体の動きを検出するデータ処理装置２と、ビデオカメラ１の出力を表示するモニター装置３と、ビデオカメラ１の出力を記録するビデオテープレコーダ（以下ＶＴＲという）４と、データ処理装置２の出力により警報動作を行なう警報装置５と、データ処理装置２が作成した白枠信号をビデオカメラ１の出力に合成する合成回路６と、データ処理装置２の出力によりビデオカメラ１をパンニングするパンニング駆動モータ７と、データ処理装置２の出力によりビデオカメラ１をチルティングするチルティング駆動モータ８とを備えている。
【００１３】
ビデオカメラ１は、レンズブロック１１と、レンズブロック１１を透過した被写体からの光学像を映像信号に変換するＣＣＤ１２と、ＣＣＤ１２の出力をサンプル／ホールド及びゲイン調整を行なうサンプル／ホールド及びＡＧＣ回路１３と、サンプル／ホールド及びＡＧＣ回路１３の出力を１０ビットのデジタル信号に変換するＡ／Ｄ変換回路１４と、Ａ／Ｄ変換回路１４の出力に対して所定のカメラ信号処理を施すカメラ信号処理回路１５とを備えている。
【００１４】
データ処理装置２は、ビデオカメラ１内のＡ／Ｄ変換回路１４から送られて来るデジタルデータを用いて被写体の評価値を算出する評価値算出ブロック１６と、評価値算出ブロック１６から送られてくる評価値を基に被写体の動きを検出するマイクロコンピュータ（以下マイコンという）１７とを備えている。
【００１５】
マイコン１７は、被写体の動きを検出すると、ＶＴＲ４に対して記録指令を与えると共に警報装置５に対して作動指令を与える。この結果、画面内における被写体に動きがあると、警報装置５が動作すると共に被写体の映像信号が記録される。
【００１６】
また、マイコン１７は、評価値算出ブロック１６に対して１画面を複数個に分割した分割エリア（以下枠という）を指定する信号を与える。評価値算出ブロック１６は、指定された枠内における評価値を算出してマイコン１７に送る。また、マイコン１７から被写体に動きがあることを示す信号を受けた時にその枠を指示するための白枠信号を作成して合成回路６へ出力する。
【００１７】
さらに、マイコン１７は、被写体の動きを検出すると、その被写体がビデオカメラ１の視野の中央部に位置するように、パンニング駆動モータ７及びチルティング駆動モータ８に対して駆動制御信号を与える。パンニング駆動モータ７及びチルティング駆動モータ８は、各々の駆動制御信号にしたがってビデオカメラ１のレンズブロック１１を駆動する。
以上説明したデータ処理装置２の詳細については後述する。
【００１８】
〈２〉評価値算出ブロックの構成（その１）
図２は評価値算出ブロック１６の構成の一形態を示すブロック図である。この図に示すように、評価値算出ブロックは、前述したＡ／Ｄ変換回路１４から出力される１０ビットのデジタルデータからＹ信号を分離するローパスフィルタ２１と、ローパスフィルタ２１で分離されたＹ信号をクランプするクランプ回路２２と、クランプ回路２２の出力からエッジ成分を検出するハイパスフィルタ２３とを備えている。ハイパスフィルタ２３のカットオフ周波数は、低輝度の被写体のエッジを抽出することを考慮して例えば１００ｋＨｚ程度に設定する。
【００１９】
評価値算出ブロックは、さらに、所定の枠内の信号を抽出するゲート回路２４と、ゲート回路２４の出力信号の水平方向のピーク値をホールドするＨ−ピークホールド回路２５と、Ｈ−ピークホールド回路２５の出力を垂直方向に積分するＶ積分回路２６とを備えている。
【００２０】
ここで図３を参照しながら、前述したゲート回路２４が信号を抽出する枠の一例について説明する。ここでは、水平方向のほぼ２００度の範囲を監視エリアに設定している。そして、監視エリアを水平方向に２０分割することにより枠＃０，＃１，＃２，・・・＃１９を設けている。ビデオカメラが静止状態で監視できるエリアは枠５個分である。このため、ビデオカメラをパンニングすることにより０°〜１９０°の範囲を監視可能にしている。
【００２１】
ゲート回路２４は、同時に監視する５個の枠内のビデオデータを１フィールド毎に左端から順に抽出する。ここで、枠の設定はマイコン１７から出力される枠番号により行なわれる。例えば、図３に示したように、枠＃５〜＃９のビデオデータを抽出する際には、最初のフィールドで左端の枠＃５のビデオデータを抽出し、次のフィールドで枠＃６のビデオデータを抽出する。したがって、５番目のフィールドで右端の枠＃９のビデオデータを抽出する。
【００２２】
再び図２の説明に戻る。図２の評価値算出ブロックは、さらに、Ｖ積分回路２６の出力を枠毎に切り換えて出力するスイッチング回路２７を備えている。
【００２３】
Ｈ−ピークホールド回路２５は、各枠内における各ライン毎にピーク値を検出してホールドし、Ｖ積分回路２６へ出力する。このとき、１個のピーク値ではなく２個あるいは３個のピーク値をホールドして出力するように構成してもよい。Ｖ積分回路２６は、枠毎に水平方向のピーク値を垂直方向に積分する。スイッチング回路２７は、Ｖ積分回路２６の出力を枠毎の評価値としてマイコン１７へ出力する。評価値は例えば２バイトのデータにより構成されている。ここで、スイッチング回路２７の出力に付されている＃０〜＃Ｎは枠の番号である（図３の場合はＮ＝１９）。
【００２４】
なお、以上説明した評価値算出ブロック中、ゲート回路以降はソフトウェアにより構成することもできる。
【００２５】
〈３〉評価値算出ブロックの構成（その２）
図４は評価値算出ブロック１６の構成の他の一形態を示すブロック図である。ここで、図２と同一の部分には同一の番号が付してある。この評価値算出ブロックでは、図２におけるＨ−ピークホールド回路２５及びＶ積分回路２６に代えてスライス回路２８及び積分回路２９を設けてある。また、ハイパスフィルタ２３を設けていない。
【００２６】
スライス回路２８は、ゲート回路２４の出力レベルが所定のスライスレベルＬ1 ，Ｌ２の間に存在するときのみ入力信号を出力する。このスライスレベルは、低輝度部分、例えばＹ信号の黒レベルを０、白レベルを１００とした場合、例えばＬ１＝０、Ｌ２＝２５程度に設定する。つまり、積分回路２９は、枠毎に低輝度部分のビデオデータを積分することになる。これにより、低輝度部分の被写体の動きを検出する能力を向上させている。
【００２７】
〈４〉評価値算出ブロックの構成（その３）
図５は評価値算出ブロック１６の構成のさらに他の一形態を示すブロック図である。ここで、図２と同一の部分には同一の番号が付してある。この評価値算出ブロックでは、図２におけるＨ−ピークホールド回路２５及びＶ積分回路２６に代えて比較回路３０及びカウンタ３１を設けてある。また、ハイパスフィルタ２３を設けていない。
【００２８】
比較回路３０は、ゲート回路２４の出力レベルが所定の基準レベルＬｒｅｆを越えているときのみ入力信号を出力する。この基準レベルは、高輝度部分、例えばＹ信号の黒レベルを０、白レベルを１００とした場合、例えば７５程度に設定する。つまり、カウンタ３１は、枠毎に高輝度部分の画素数をカウントすることになる。これにより、物体そのものの移動はなく、光量変化のみが部分的に発生する状態を検出する能力を向上させている。
【００２９】
以上評価値算出ブロックの構成例を３つ示したが、図２に示した評価値算出ブロックと少なくとも他の１つの動き検出ブロックとを組み合わせてもよい。例えば、図２に示した評価値算出ブロックと図４に示した評価値算出ブロックとを用意し、図４に示した評価値算出ブロックの評価値が所定のしきい値を越えている場合、すなわちその枠内の被写体が低輝度の場合には、図４に示した評価値算出ブロックの評価値を用いるようにし、そうでない場合には、図２に示した評価値算出ブロックの評価値を用いるように構成することができる。
【００３０】
〈５〉マイコンにおける動き検出部の構成（その１）
図６にマイコン１７における動き検出部の構成を示す。この図に示すように、マイコン１７は各枠毎に動き検出を行なうように構成されている。ここでは、枠１の動きを検出するブロックである４１−１のみ内部の構成を示してある。
【００３１】
各動き検出ブロック４１−１〜４１−Ｎは、第１の最大値レジスタ５１と、第１の最小値レジスタ５２と、第１の最大値レジスタ５１に格納されている値と現在入力されている評価値とを比較する第１の比較器５３と、第１の最小値レジスタ５２に格納されている値と現在入力されている評価値とを比較する第２の比較器５４とを備えている。
【００３２】
また、各動き検出ブロックは、第２の最大値レジスタ５５と、第２の最小値レジスタ５６と、第２の最大値レジスタ５５に格納されている値と現在入力されている評価値とを比較する第３の比較器５７と、第２の最小値レジスタ５６に格納されている値と現在入力されている評価値とを比較する第４の比較器５８とを備えている。
【００３３】
さらに、各動き検出ブロックは、スイッチング回路ＳＷ１〜ＳＷ４と、第３の比較器５７の出力の符号を格納する第１の符号レジスタ５９と、第４の比較器５８の出力の符号を格納する第２の符号レジスタ６０と、第１及び第２の符号レジスタ５９及び６０のアンド出力をとるアンドゲート６１とを備えている。
【００３４】
スイッチＳＷ１〜ＳＷ４は、スリーステートポジションのスイッチである。各最大値レジスタ及び最小値レジスタは、各々に対応するスイッチＳＷ１〜ＳＷ４がＬ（ロー）に接続されている時に評価値を格納する。また、第２の最大値レジスタ５５は所定のタイミング（詳細は後述する）において、第１の最大値レジスタ５１の値に所定値αを加算した値を格納する。この結果、所定のタイミングにおいて、第２の最大値レジスタ５５の値が更新される。同様に、第２の最小値レジスタ５６は所定のタイミングにおいて、第２の最小値レジスタ５２の値から所定値βを減算した値を格納する。第１及び第２の符号レジスタ５９及び６０は、第３及び第４の比較器５７及び５８の出力を格納する以外は、常にホールド状態にある。
【００３５】
アンドゲート６１は、第１又は第２の符号レジスタの出力のいずれか一方がＬのときに、その枠内の被写体に動きがあるものとする。各検出ブロック４１−１〜４１−Ｎの出力はアンドゲート６２へ送られる。アンドゲート６２の出力がＬのときには、画面内の被写体に動きがあるものとし、Ｈのときは動きがないものとする。つまり、少なくとも１個の枠内の被写体に動きがあるときに、画面内の被写体に動きがあるものとしている。
【００３６】
以上説明した動き検出部の構成において、最大値レジスタ５１及び５５、最小値レジスタ５２及び５６、符号レジスタ５９及び６０以外は、マイコンのソフトウェアにより構成されているが、ハードロジックにより構成することもできる。
【００３７】
〈６〉動き検出処理の流れ（その１）
次に、図７のフローチャートを参照しながら動き検出処理全体の流れを示す。ここで、ステップＳ１とＳ２は、監視エリアが正常な状態の時に行なう。つまり、ユーザーがモニター装置３の画面を監視し、異常がないことを確認しながら実行する。
【００３８】
まず、ステップＳ１で初期設定を行なう。ここでは、図２のＨＰＦのカットオフ周波数が切り換え可能な場合にその設定、図２のＨ−ピークホールド回路におけるピーク数（１点、３点等）の設定、図２の動き検出ブロックを単独で用いるか、図４又は図５の動き検出ブロックと組み合わせるか等の設定を行なう。また、パンオフセット角度を０°に設定する。
【００３９】
次に、ステップＳ２で、以下の（１）〜（１１）の操作を行なうことにより動き検出の規準値を算出する。
【００４０】
（１）規準値設定／更新カウンタ（図示せず）を０に設定する。
（２）ブロック４１−０のスイッチＳＷ１及びＳＷ２をＬポジションに設定し、枠＃０の評価値を第１の最大値レジスタ５１及び第１の最小値レジスタ５２ヘ格納する。このとき、第１の最大値レジスタ５１の値と第１の最小値レジスタ５２の値とは等しくなる。
【００４１】
（３）ブロック４１−１〜４１−４に対して、１フィールド毎に前記（２）の処理を行なう。そしてブロック４１−４まで終了したら、規準値算出／更新カウンタを１インクリメントする。ビデオカメラは静止したままである。
【００４２】
（４）ブロック４１−０のスイッチＳＷ１及びＳＷ２をＭポジションに設定し、枠＃０の評価値を第１及び第２の比較器５３及び５４へ入力させる。評価値が第１の最大値レジスタ５１の値よりも大きいときには第１の比較器５３の出力はＬとなる。このとき、第１の最大値レジスタ５１の値が評価値により更新される。また、評価値が第１の最小値レジスタ５２の値よりも小さいときには第２の比較器５４の出力はＬとなる。このとき、第１の最小値レジスタ５２の値が評価値により更新される。評価値が第１の最大値レジスタ５１の値と第１の最小値レジスタ５２の値との間にあるときには、これらのレジスタの値は更新されない。
【００４３】
（５）ブロック４１−１〜４１−４について、１フィールド毎に前記（４）の処理を行なう。そしてブロック４１−４まで終了したら、規準値算出／更新カウンタを１インクリメントする。
【００４４】
（６）（４），（５）の操作を繰り返し、規準値算出／更新カウンタの値が所定値ｍに達したら、第１の最大値レジスタ５１の値に所定値αを加算した値を第２の最大値レジスタ５５へ規準値として格納し、第１の最小値レジスタ５２の値から所定値βを減算した値を第２の最小値レジスタ５６へ規準値として格納する。そして、スイッチＳＷ１〜ＳＷ４をＨに設定して、各レジスタの値をホールドする。ブロック４１−１〜４１−４についても、１フィールド毎に順次同じ処理を行なう。なお、ブロック４１−０について連続してｍ回まで行ない、次にブロック４１−１について連続してｍ回まで行ない、以後ブロック４１−２，４１−３，４１−４についてｍ回まで行なうようにしてもよい。
【００４５】
（７）（６）の操作が終了したら、規準値算出／更新カウンタを０にリセットする。そして、パンニング駆動モータ７に駆動制御信号を与えて、ビデオカメラ１のパンオフセット角度が５０°になるようにビデオカメラ１を回転させた後、停止させる。
【００４６】
（８）ブロック４１−５〜４１−９について、（２）〜（６）の操作を行なう。
（９）終了したら、規準値算出／更新カウンタを０にリセットし、ビデオカメラ１のパンオフセット角度を１００°に設定した後、ブロック４１−１０〜４１−１４について、（２）〜（６）の操作を行なう。
【００４７】
（１０）終了したら、規準値算出／更新カウンタを０にリセットし、ビデオカメラ１のパンオフセット角度を１５０°に設定し、ブロック４１−１５〜４１−１９について、（２）〜（６）の操作を行なう。
【００４８】
（１１）全ブロック４１−０〜４１−１９についてレジスタの値のホールドが終了したら、全ブロック４１−１〜４１−１９における符号レジスタ５９及び６０の値をＨに設定する。そして、規準値算出／更新カウンタの値を０に設定する。
【００４９】
次のステップＳ３では、基本的には、枠毎の評価値が前記規準値から所定の範囲内に存在するかどうかを判別することにより、枠毎に被写体の動きを検出し、動きがあった時に被写体が監視エリアの中心部に位置するように自動追尾を行なうものである。しかし、例えば監視エリアが屋外の場合、日照変化により監視エリアの被写体の輝度が変化するので、規準値を固定していたのでは、この輝度変化を誤って被写体の動きとして検出してしまう。
【００５０】
そこで、図８に示すように、監視エリアの被写体に動きがない時に、その輝度に応じて規準値を変化させることにより、前述した誤検出を防止する。具体的には、例えば図９に示すように、所定の時間ｔ毎に規準値を更新していく。なお、図８及び図９においては、図示の便宜上、規準値を１個（最大値＝最小値）にした。
【００５１】
ステップＳ３で、以下の（１）〜（２１）の操作を行なうことにより、規準値の更新と自動追尾とを実行する。このステップでは、ビデオカメラ１を監視エリアの左端から右端へパンニングしながら被写体の動きを検出し、右端に到達したら、今度は右端から左端へパンニングしながら被写体の動きを検出する。以下の説明では、左端からパンニングし、図３のようにパンオフセット角度が５０°の状態で静止しているところから説明する。ここで、規準値算出／更新カウンタの値は０とする。
【００５２】
（１）枠＃５に対する評価値を入力し、動きを検出する。
（２）枠＃５の評価値と枠＃５の規準値とを比較する。比較の結果、枠＃５の評価値が第２の最大値レジスタ５５の規準値より大きいときには第２の比較器５７の出力がＬとなる。あるいは、評価値が第２の最小値レジスタ５６の規準値より小さいときには第２の比較器５８の出力がＬとなる。これらの場合には、アンドゲート６１の出力がＬ、したがってアンドゲート６２の出力もＬとなるから枠＃５内で動きがあるものと判断する。また、第２の最小値レジスタ５６の値≦現在の評価値≦第２の最大値レジスタ５５の値、の場合には、枠＃５では動きがないものと判断する。
【００５３】
（３）動きがあるものと判断したら、動きが検出された枠＃５をモニター装置３に白枠で点滅表示させる命令、警報装置５をオンにする命令及びＶＴＲ４を記録モードにする命令を出力する。一方、動きがないものと判断したら、枠＃５の評価値を第１の最大値レジスタ５１及び第１の最小値レジスタ５２に格納する。
【００５４】
（４）次のフィールドで枠＃６について（２），（３）の処理を行なう。以後１フィールド期間毎に、枠＃７、枠＃８、枠＃９について順次（２），（３）の処理を行なう。
【００５５】
以下動きが検出された場合とされなかった場合とに分けて説明する。
〔Ａ〕動きが検出された場合
（５）枠＃５から枠＃９まで動き検出処理を行ない、仮に枠＃５及び枠＃６で動きが検出され、枠＃７〜枠＃９では動きが検出されなかったものとする。移動物体をモニター装置３の視野の中央部に表示させるために、モニター装置３の視野の中央部と移動物体との角度差を求め、その差が０になるようにする。
【００５６】
マイコン１７は、モニター装置３の視野の中央部が枠＃７であることを知っているので、
｛（５−７）＋（６−７）｝／２＝−３／２→−１
の演算を行なうことにより、ビデオカメラのパンニング枠数（角度）を求める。なお、この式の分母は動きが検出された枠の数である。そして、小数点以下を切捨てている。
【００５７】
演算した値の符号がマイナスの場合には枠＃０の方向へパンニングし、プラスの場合には枠＃１９の方向へパンニングする。したがって、この場合、枠＃０の方向へ枠１個分の角度（ここでは１０°）パンニングする。ここで、パンニング駆動モータ７がステップモータで構成されている場合には、所定数のパルスをカウントする。直流モータで構成されている場合には、ビデオカメラ１に角速度センサーを設けておき、その出力を積分することによりパンニング角度を演算する。なお、このパンニング中は白枠表示を継続する。
【００５８】
（６）（５）の操作の結果、モニター装置３の視野が枠＃４〜枠＃８になった時点で、前述した枠＃５〜枠＃９と同様、１フィールドに１枠ずつ動き検出を行なう。
【００５９】
（７）この動き検出の結果、枠＃４、枠＃５、及び枠＃６で動きが検出され、枠＃７及び枠＃７で動きが検出されなかった場合には、
｛（４−６）＋（５−６）＋（６−６）｝／３＝−３／３＝−１
の演算を行なうことにより、パンニング角度を演算する。
【００６０】
（８）枠＃０の方向へ枠１個分の角度（１０°）パンニングさせる。
なお、動きが検出された枠が複数個に分離している場合には、枠の連続数が最大の方へ移動させるものとする。ただし、３個以上に分離している場合には、演算時間が長くなるので、移動させないことが望ましい。
【００６１】
〔Ｂ〕動きが検出されなかった場合
（９）枠＃５〜枠＃９の全てにおいて動きがないものと判断したら、ビデオカメラ１を枠＃１０の方向へ枠１個分（ここでは１０°）移動させるように、パンニング駆動モータ７に駆動制御信号を与える。
【００６２】
（１０）パンオフセット角度が６０°の位置でビデオカメラ１を停止させる。
（１１）動き検出を開始する枠の番号をカウントするカウンタの値を１インクリメントして＃６にする。枠＃６について（２）の処理を行ない、動きの有無を判断する。
【００６３】
（１２）枠＃６に動きがないものと判断したら、枠＃７、枠＃８、枠＃９、枠＃１０についても、１フィールド期間毎に順次動きがないかどうかを判断する。そして、枠＃６〜枠＃１０の全てにおいて動きがないものと判断したら、ビデオカメラ１を枠＃１１の方向へ枠１個分パンニングさせ、同様の処理を行なう。
【００６４】
（１３）モニター装置３の視野が監視エリアの右端である枠＃１５〜枠＃１９になるまでパンニングさせても動きが検出されなかった場合には、モニター装置３の視野が枠＃１４〜枠＃１８になるように、パンニング駆動モータ７に駆動制御信号を与える。
【００６５】
（１４）ビデオカメラ１が目的位置まで回転したら、停止させる。
（１５）動き検出を開始する枠の番号をカウントするカウンタの値を１デクリメントして＃１４にする。
（１６）以後前述した処理と同様の処理を続ける。
【００６６】
次に、日照変化に対応するために枠毎の規準値を更新する処理について説明する。
【００６７】
（１７）（３）の操作で説明したように、規準値算出／更新カウンタの値が０の時に、動きが検出されなかった場合にはその時の枠毎の評価値が第１の最大値レジスタ５１及び第１の最小値レジスタ５２へ格納される。ここで、枠＃０〜枠＃１９の全てについて動きが検出されなかった場合には、規準値算出／更新カウンタの値を１インクリメントする。
【００６８】
（１８）同様に、規準値算出／更新カウンタの値が１の状態で、各枠毎に動きを検出する。そして、枠に動きがあるものと判断したときには、その枠を白枠で点滅表示すると共に、警報装置をオンにする処理及びＶＴＲを記録モードにする処理が並行して行う。動きがないものと判断した場合には、スイッチＳＷ１及びＳＷ２をＭポジションに設定して、第１の最大値レジスタ５１及び第１の最小値レジスタ５２のそれぞれの規準値と現在の評価値とを比較する。
【００６９】
比較の結果、評価値が第１の最大値レジスタ５１の規準値よりも大きいときには、第１の最大値レジスタ５１の規準値が評価値により更新される。また、評価値が第１の最小値レジスタ５２の規準値よりも小さいときには、第１の最小値レジスタ５２の規準値が評価値により更新される。第１の最小値レジスタ５２の値≦現在の評価値≦第１の最大値レジスタ５１の値、の場合には、これらのレジスタの値は更新されない。
【００７０】
（１９）枠＃０〜枠１９の全てにおいて動きがないものと判断した場合には、規準値算出／更新カウンタを１インクリメントする。もし、枠１〜枠Ｎのどれか１つにおいて動きが検出された場合には、規準値更新／算出カウンタを０にリセットする。
【００７１】
（２０）（１８），（１９）の操作を行ない、規準値算出／更新カウンタが所定の整数Ｍに達したら、再び枠＃０〜枠＃１９に対して、順次（１８）と同じ操作を行なう。さらに、枠毎に第１の最大値レジスタ５１の値にαを加算した値を第２の最大値レジスタ５５へ格納し、第１の最小値レジスタ５２の値からβを減算した値を第２の最小値レジスタ５６へ格納する。つまり、ここで第２の最大値レジスタ５５の規準値及び第２の最小値レジスタ５６の規準値が更新される。動きが検出された場合には、規準値算出／更新カウンタを０にクリアし、規準値更新のやり直しを行なう。
【００７２】
（２１）規準値算出／更新カンウタの値がＭの状態で、枠＃０〜枠＃１９の全てについて、動きが検出されず、各ブロック４１−０〜４１−１９のレジスタ５５及び５６が更新された場合には、規準値算出／更新カウンタを０にリセットする。
【００７３】
つまり、全ての枠において動きのない状態がＭ回連続する毎（枠の数がＮ個であれば、動きのない状態がＮ×Ｍフィールド期間継続）に、第２の最大値レジスタ５５及び第２の最小値レジスタ５６の各々の規準値が自動的に更新されることになる。
【００７４】
〈７〉マイコンにおける動き検出部の構成（その２）
図１０にマイコン１６における動き検出部の構成の他の形態を示す。この形態は、例えば室内のように、正常な状態ではビデオカメラの視野内に明確な画像変化がない環境において用いることができる。
【００７５】
図１０に示すように、動き検出部は、各枠毎に、規準値を格納する規準値レジスタ７１−０〜７１−１９と、規準値レジスタ７１−０〜７１−１９に格納されている値と現在入力されている評価値とを比較する比較器７２−０〜７２−１９と、スイッチング回路ＳＷ−０〜ＳＷ−１９と、比較器７２−０〜７２−１９の出力の符号を格納する符号レジスタ７３−０〜７３−１９と、比較器７２−０〜７２−１９の出力の符号を格納する符号レジスタ７４−０〜７４−１９と、符号レジスタ７３−０〜７３−１９及び７４−０〜７４−１９のアンド出力をとるアンドゲート７５とから構成されている。
【００７６】
規準値レジスタ７１−０〜７１−１９は、各々スイッチＳＷ−０〜ＳＷ−１９がＬに接続されている時に評価値を格納する。ここで、図１１を参照しながら評価値を格納するレジスタが枠毎に１個である理由について説明する。
【００７７】
この図の（ａ）は、正常な状態ではビデオカメラの視野内に明確な画像変化がない環境において、評価値検出ブロック１５から入力される評価値の最大値の例であり、（ｂ）は最小値の例である。評価値は２バイトで構成されている。そして、下位４ビットはノイズ等による変動成分であるため、（ａ）、（ｂ）に共通である。また、第１２ビット〜第７ビットも（ａ）、（ｂ）に共通の固定値である。つまり、（ａ）と（ｂ）で異なる値となる可能性のあるのは第５ビット及び第６ビットのみである。このため、（ｃ）に示すように、規準値レジスタ７１−１〜７２−Ｎに格納する評価値を１つにし、かつ１バイトにまるめている。
【００７８】
再び図１０の説明に戻る。符号レジスタ７３−０〜７３−１９及び７４−０〜７４−１９は、各々比較器７２−０〜７２−１９の出力を格納する以外は、常にホールド状態にある。符号レジスタ７３−０〜７３−１９及び７４−０〜７４−１９がラッラするデータの内容については後述する。
【００７９】
符号レジスタ７３−０〜７３−１９及び７４−０〜７４−１９に格納されたデータはアンドゲート７５へ送られる。アンドゲート７５の出力がＬのときには、画面内の被写体に動きがあるものとし、Ｈのときは動きがないものとする。つまり、少なくとも１個の枠内の被写体に動きがあるときに、画面内の被写体に動きがあるものとする。
【００８０】
〈８〉動き検出処理の流れ（その２）
次に、動き検出部を図１０のように構成した場合の動き検出処理の流れについて説明する。動き処理全体の流れは図７と同一である。ただし、各ステップにおける操作が多少異なるので、主としてその相違点について説明するなお、ステップＳ１とＳ２は、監視エリアが正常な時に行なう。つまり、ユーザーがモニター装置３の画面を監視し、異常がないことを確認しながら実行する。
【００８１】
まず、ステップＳ１で初期設定を行なう。ここでは、図６のように構成した場合と同様、図２のＨ−ピークホールド回路におけるピーク数（１点、３点等）の設定等を行なう。
【００８２】
次に、ステップＳ２で、枠毎に動き検出の規準値を算出する。これは、スイッチＳＷ−０〜ＳＷ−１９を１フィールド期間毎に順次Ｌポジションに設定し、各枠の評価値を各々の規準値レジスタ７１−０〜７１−１９に格納することにより実行する。格納が終了したら、各スイッチＳＷ−０〜ＳＷ−１９をＨポジションに設定し、規準値レジスタ７１−０〜７１−１９の値をホールドする。
【００８３】
これで規準値の算出が終了する。つまり、規準値の算出は各枠毎に１回で終わるため、枠がＮ個の場合、Ｎフィールド期間で終わることになる。これに対して、図６のように構成した場合には、各枠毎に最大値及び最小値をｍ回算出しているため、Ｎ×ｍフィールド期間で終了することになる。規準値の算出が終了したら、符号レジスタ７３−１〜７３−Ｎ及び７４−１〜７４−Ｎの全ての値をＨに設定する。
【００８４】
次のステップＳ３では図６のように構成した場合と同様、規準値の更新と自動追尾とを実行するが、自動追尾の方法そのものは図６の場合と同一なので、ここでは重複説明を避けるため、動きの検出と規準値の更新とについて説明する。
【００８５】
ステップＳ３では、枠毎に以下の（１）〜（５）の操作を行なうことにより、動きの検出と規準値の更新とを実行する。
【００８６】
（１）任意の枠に対する評価値を入力する。
（２）規準値レジスタ７１−０〜７１−１９の各々の値Ｘ０〜Ｘ１９からβを減算した値であるＸ０−β〜Ｘ１９−βを各規準値レジスタの規準値Ｙ０〜Ｙ１９とし、それと各々の枠の現在の評価値Ｚ０〜Ｚ１９とを比較する。そして、例えば枠＃０の場合には、Ｙ０≦Ｚ０の関係が成立すればこの枠では動きがないものとし（出力Ｈ）、Ｙ０＞Ｚ０の関係が成立すればこの枠では動きがあるものとする（出力Ｌ）。この出力は符号レジスタ７３−０に格納される。なお、βは例えば０８ｈとする。
【００８７】
また、規準値レジスタ７１−０〜７１−１９の各々の値Ｘ０〜Ｘ１９にαを加算した値であるＸ０＋α〜Ｘ１９＋αを各規準値レジスタの規準値Ｙ０’〜Ｙ１９’とし、それと各々の枠の現在の評価値Ｚ０〜Ｚ１９とを比較する。そして、例えば枠＃０の場合には、Ｙ０’＜Ｚ０の関係が成立すればこの枠では動きがあるものとし（出力Ｌ）、Ｙ０’≧Ｚ０の関係が成立すればこの枠では動きがないものとする（出力Ｈ）。この出力は符号レジスタ７４−０に格納される。なお、αは例えば０８ｈとする。
【００８８】
（３）アンドゲート７５の検出出力がＬの場合には、動きが検出された枠を白枠で点滅表示すると共に、警報装置をオンにする処理及びＶＴＲを記録モードにする処理が並行して行なわれる。
【００８９】
（４）アンドゲート７５の検出出力がＨの場合には、現在の評価値を規準値レジスタ７１−０に格納する。これにより、動きがなかったときには、規準値レジスタ７１−０の規準値が更新される。ただし、例えば枠の数が２０個の場合、このように規準値を更新すると、２０フィールド期間毎に更新されてしまうため、画面中央部の遠方から人が近づいて来るようなときには、評価値変化が緩やかなため、規準値がその度に更新されてしまい、人の動きを検出できなくなってしまう。そこで、必要に応じて、動き検出処理の開始と同時にタイマーを動作させ、動きがなかったときに規準値レジスタの規準値を更新する操作を一定時間毎に実行するように構成することが望ましい。
【００９０】
（５）以上の操作を各枠に対して行ない、一巡したら最初に戻り、同一操作を繰り返す。
【００９１】
本発明は以下の〔１〕〜〔４〕のようなシステムに応用することが好適である。
【００９２】
〔１〕侵入者、火事、事故等の自動監視システム。
〔２〕製品の限界サンプル品から動き検出のリミッタの設定を行ない、製品の外観検査を行なうシステム。
【００９３】
〔３〕カメラ一体型ＶＴＲを所望のアングルに設定し、そのアングル内に移動物体が入り次第、記録を開始することにより、省電力と野外留守録を実現する記録装置。
〔４〕ドアホン。
【００９４】
なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、それらを本発明の範囲から排除するものではない。例えば、前記図２において垂直方向に積分せず、枠内のピークを評価値として出力するように構成してもよい。また、Ｙ信号ではなく、Ｒ，Ｇ，又はＢの原色信号やＲ−Ｙ又はＢ−Ｙの色差信号を用いてもよい。さらに、前記実施の形態では、ビデオカメラの動きをパンニングに限定しているが、予め定められたエリアを撮像する形態であれば、パンニングやチルティングのような直線的な移動に限らず、例えば曲線や円を描くような移動を行なってもよい。
【００９５】
【発明の効果】
上述したように、本発明は、撮像装置の視野における所定のエリア毎の映像信号を抽出してエリア毎の画像の輝度上限値及び輝度下限値を算出し、正常な状態におけるエリア毎の画像の輝度上限値及び輝度下限値を記憶し、正常な状態におけるエリア毎の画像の輝度上限値及び輝度下限値と、画像の所定のエリア毎に抽出された映像信号の輝度上限値及び輝度下限値とを比較して画像の動きを検出し、この動きが検出されたエリアが撮像装置の視野の中央部に位置するようにしているので、動きの有無を検出するための演算規模を小さくできる。
【００９７】
また、所定のエリア毎の映像信号を抽出して画像の動きを検出するようにしているので、移動物体が変形、回転、遠近移動等をしても動き検出が可能であり、移動物体の瞬時移動量が大きい場合でも動き検出が可能なり、また、移動物体が繰り返しパターンを有する場合でも動き検出が可能である。さらに、移動物体が周囲の固定物体と部分的に重なりあっても動き検出が可能となる。
【図面の簡単な説明】
【図１】本発明を適用したビデオカメラシステムの全体のブロック構成を示す図である。
【図２】評価値算出ブロックの構成の一形態を示すブロック図である。
【図３】枠の構成の一例を示す図である。
【図４】評価値算出ブロックの構成の他の一形態を示すブロック図である。
【図５】評価値算出ブロックの構成のさらに他の一形態を示すブロック図である。
【図６】マイコンにおける動き検出部の１チャンネル分の構成の一形態を示すブロック図である。
【図７】自動追尾処理全体の流れを示すフローチャートである。
【図８】日照変化による輝度変化に応じて規準値を変化させる様子を示す図である。
【図９】所定の時間毎に規準値を更新する様子を示す図である。
【図１０】マイコンにおける動き検出部の構成の他の形態を示すブロック図である。
【図１１】図１０の動き検出部に格納する規準値のデータ構造を示す図である。
【符号の説明】
１…ビデオカメラ、２…データ処理装置、３…モニター装置、４…ＶＴＲ、５…警報装置、６…パンニング駆動モータ、７…チルティング駆動モータ、２４…ゲート回路、２５…Ｈ−ピークホールド回路、２６…Ｖ積分回路、２８…スライス回路、２９…積分回路、３０…比較回路、３１…カウンタ、５１，５５…最大値レジスタ、５２，５４…最小値レジスタ、５３，５４，５７，５８，７２−１〜７２−Ｎ…比較器、７１−１〜７１−Ｎ…規準値レジスタ

Claims

撮像装置の出力を用いてデータ処理を行なうデータ処理装置であって、
画像の所定のエリア毎の映像信号を抽出する抽出手段と、
前記抽出手段の出力を用いて前記画像の輝度上限値及び輝度下限値を前記エリア毎に算出する算出手段と、
前記撮像装置の正常な状態における前記画像の輝度上限値及び輝度下限値を前記エリア毎に格納する格納手段と、
前記格納手段に格納されている輝度上限値及び輝度下限値と前記算出手段より算出された輝度最大値及び輝度最小値とを前記エリア毎に比較して前記画像の動きを検出する検出手段とを備え、
前記検出手段が画像の動きを検出したときに、前記動きが検出されたエリアが前記撮像装置の視野の中央部に位置するように前記撮像装置の位置を制御する制御手段と
を備えることを特徴とするデータ処理装置。
撮像装置の出力を用いてデータ処理を行なうデータ処理方法において、
画像の所定のエリア毎の映像信号を抽出し、
前記抽出された出力を用いて前記画像の輝度上限値及び輝度下限値を前記エリア毎に算出し、
前記撮像装置の正常な状態における前記画像の輝度上限値及び輝度下限値を前記エリア毎に格納し、
前記格納されている輝度上限値及び輝度下限値と前記算出された輝度最大値及び輝度最小値とを前記エリア毎に比較して前記画像の動きを検出する検出し、
前記画像の動きが検出されたとき、前記動きが検出されたエリアが前記撮像装置の視野の中央部に位置するように前記撮像装置の位置を制御することを特徴とするデータ処理方法。