JP3642094B2

JP3642094B2 - 撮像システム及びその制御方法

Info

Publication number: JP3642094B2
Application number: JP30196095A
Authority: JP
Inventors: 和人長沼
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-10-26
Filing date: 1995-10-26
Publication date: 2005-04-27
Anticipated expiration: 2015-10-26
Also published as: JPH09130650A

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラを用いた監視システムのような撮像システムに関するものであり、特にビデオカメラの視野内にある被写体の動き検出と自動露出補正とを両立させる技術に関するものである。
【０００２】
【従来の技術】
ビデオカメラにより監視エリアを撮影し、監視エリアに異常事態が発生した時に警報装置を作動させるように構成した撮像システムが知られている。このような撮像システムにおいては、ビデオカメラにより撮影した被写体の動きを検出することで異常事態の有無を判別する。そして、被写体の動きを検出する方法としては、
（１）現フィールドの画像と前フィールドの画像の同一アドレスにおける差分を求め、絶対値化した後、それをフィールド全体にわたって積分し、動きの有無を判断する、フィールドメモリ相関法、
（２）現フィールドと前フィールドとの同一ブロックあるいはフィールド全体のＤＣＴ（離散コサイン変換）のＡＣ成分の差分値を演算し、動きの有無を判断する、ＤＣＴ−ＡＣ相関法、
等があった。
【０００３】
【発明が解決しようとする課題】
前述したように、被写体の動きを検出する方法はビデオカメラの映像信号の輝度変化を用いるものであるため、監視エリア全体の輝度レベルが低下すると、動き検出感度が低下してしまうことが予想される。
【０００４】
そこで、ビデオカメラに対して自動露出（ＡＥ）制御を行うことで視野全体の輝度の変化を補正することが考えられる。ビデオカメラにおける自動露出制御の方法としては、画面全体を複数の輝度検出エリアに分割し、その各エリアに重み付けをした輝度の積分値が一定になるようにアイリス及びＡＧＣを制御することが一般的である。
【０００５】
しかしながら、このようにして自動露出制御を行い、かつ被写体の動きを検出しようとすると、ビデオカメラの視野に対して移動物体の占める比率が高く、かつ背景と移動物体との輝度レベル差が大きい場合、自動露出制御が機能し、背景の輝度変化が発生するため、画面全体に動きがあるものと誤検出してしまう。この結果、真に変化している部分が画面のどの部分なのか正しく把握できなくなってしまう。
【０００６】
本発明は、このような問題点に鑑みてなされたものであって、動きの検出と自動露出制御とを両立させることのできる撮像システム及びその制御方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
前記課題を解決するために、本発明に係る撮像システムは、被写体を撮像して得た映像信号を用いて動き検出を行う動き検出手段と、前記映像信号のレベルを基に自動露出制御を行う露出制御手段とを備え、動き検出手段及び露出制御手段は所定の時間毎にそれぞれ自動露出制御及び動き検出を繰り返し実行すると共に、露出制御手段は動き検出手段が動きを検出しなかったときは現在の映像信号のレベルを基に自動露出制御を行い、動きを検出したときは過去の最後に動きを検出しなかったときの映像信号のレベルを基に自動露出制御を行うことを特徴とするものである。
【０００８】
また、本発明に係る撮像システムの制御方法は、所定の時間毎に自動露出制御と動き検出とを繰り返し実行すると共に、動きを検出しなかったときは現在の映像信号のレベルを基に自動露出制御を行い、動きを検出したときは過去の最後に動きを検出しなかったときの映像信号のレベルを基に自動露出制御を行うことを特徴とするものである。
【０００９】
【発明の実施の形態】
以下本発明の実施の形態について図面を参照しながら、
〔１〕本発明を適用した撮像システム
〔２〕本発明を適用した撮像システムにおけるマイコンの処理
〔３〕動き検出処理の詳細
（１）評価値算出ブロック
（２）マイコンにおける動き検出部の構成
（３）規準値の設定処理
（４）動き検出処理
の順序で詳細に説明する。
【００１０】
〔１〕本発明を適用した撮像システム
図１は本発明を適用した撮像システムの全体のブロック構成を示す図である。この撮像システムは、監視エリアを撮像するビデオカメラ１と、ビデオカメラ１からの映像信号を基に監視エリアにおける被写体の動きを検出するデータ処理装置２と、ビデオカメラ１の出力を表示するモニター装置３と、ビデオカメラ１の出力を記録するビデオテープレコーダ（以下ＶＴＲという）４と、データ処理装置２の出力により警報動作を行う警報装置５と、データ処理装置２が作成した白枠信号をビデオカメラ１の出力に合成する合成回路６とを備えている。ここで、ビデオカメラ１とデータ処理装置２と合成回路６とは別々の筐体内に設けても共通の筐体内に設けてもよい。
【００１１】
ビデオカメラ１は、レンズブロック１１と、レンズブロック１１を透過した被写体からの光学像を映像信号に変換するＣＣＤ１２と、ＣＣＤ１２の出力をサンプル／ホールド及びゲイン調整を行うサンプル／ホールド及びＡＧＣ回路１３と、サンプル／ホールド及びＡＧＣ回路１３の出力を１０ビットのデジタル信号に変換するＡ／Ｄ変換回路１４と、Ａ／Ｄ変換回路１４の出力に対して所定のカメラ信号処理を施すカメラ信号処理回路１５とを備えている。
【００１２】
データ処理装置２は、ビデオカメラ１内のＡ／Ｄ変換回路１４から送られてくるデジタルデータを用いて自動露出制御のための評価値と動き検出のための評価値とを算出する評価値算出ブロック１６と、評価値算出ブロック１６から送られてくる評価値を基に自動露出制御及び動き検出を実行するマイクロコンピュータ（以下マイコンという）１７とを備えている。
【００１３】
自動露出制御は以下のようにして行う。マイコン１７は評価値算出ブロック１６に対して１画面を数個に分割した輝度検出エリア（以下輝度検出枠という）を指定する。評価値算出ブロック１６は輝度検出枠毎の輝度信号の積分値を算出し、評価値としてマイコン１７へ送る。マイコン１７は数個の輝度検出枠の評価値に所定の重み付けをした輝度の積分値を計算した後、それが一定になるようにレンズブロック１１のアイリス（図示せず）を制御すると共に、サンプルホールド及びＡＧＣ回路１３におけるゲインを制御する。
【００１４】
動き検出は以下のようにして行う。マイコン１７は、評価値算出ブロック１６に対して動き検出を行うために１画面を数十個に分割した動き検出エリア（以下動き検出枠という）を指定する信号を与える。評価値算出ブロック１６は、指定された動き検出枠内における評価値を算出してマイコン１７に送る。マイコン１７から被写体に動きがあることを示す信号を受けた時にその動き検出枠を指示するための白枠信号を作成して合成回路６へ出力する。また、被写体の動きを検出すると、ＶＴＲ４に対して記録指令を与えると共に警報装置５に対して作動指令を与える。この結果、画面内における被写体に動きがあると、警報装置５が動作すると共に被写体の映像信号が記録される。
【００１５】
〔２〕本発明を適用した撮像システムにおけるマイコンの処理
次に図２のフローチャートを参照しながら図１におけるマイコン１７の処理について説明する。なお、この処理は１フィールド期間毎に繰り返す。
【００１６】
図２の処理は大別すると、露出制御処理部と動き検出処理部とに分かれる。
露出制御処理部は、まずステップＳ１でＡＥモードに設定されているかどうかを判断する。そして、ＡＥモードに設定されていないと判断した場合には、ステップＳ２でマニュアル露出（ＭＥ）処理を行った後、動き検出処理部へ移る。マニュアル露出処理では、ユーザーがマニュアル設定したアイリス値とＡＧＣ値に固定される。ステップＳ１でＡＥモードに設定されていると判断した場合には、次にステップＳ３で被写体に動きがあるかどうかを判断する。ここで、動きがあるかどうかの判断は、後述するステップＳ７の動き検出処理の結果を用いる。
【００１７】
ステップＳ３において、動きがないと判断した場合には、ステップＳ４で第１の自動露出処理を行った後、動き検出処理部へ移る。そして、動きがあると判断した場合には、ステップＳ５で第２の自動露出処理を行なった後、動き検出処理部へ移る。
【００１８】
ここで、第１の自動露出処理とは、評価値算出ブロック１６から受け取った数個の輝度検出枠の評価値に所定の重み付けをした輝度の積分値を計算し、それが一定になるようにアイリス制御値とＡＧＣ値とを演算し、レンズブロック１１とサンプルホールド及びＡＧＣ回路１３へ出力する処理である。
【００１９】
そして、第２の自動露出処理とは、第１の自動露出処理において演算され記憶されているアイリス制御値とＡＧＣ値とを受けとり、それをレンズブロック１１とサンプルホールド及びＡＧＣ回路１３へ出力する処理である。つまり、過去の最後に動きがないと判断した時のアイリス制御値とＡＧＣ値とを出力することになる。したがって、動きが検出された場合には、アイリス値とＡＧＣのゲインは過去の最後に動きがなかった時の値にフリーズされる。
【００２０】
動き検出処理部では、まずステップＳ６で動き検出を行うべきかどうかを判断する。この判断はユーザーが動き検出を行うキー入力を与えているかどうかを検出することにより行う。動き検出を行うべきでないと判断した場合には、最初に戻る。
【００２１】
ステップＳ６で動き検出を行うべきであると判断した場合には、ステップＳ７で動き検出処理を行った後、最初に戻る。
【００２２】
ここで、動き検出処理とは、各動き検出枠毎に動きの有無を判断し、全ての動き検出枠において動きがないと判断した場合に監視エリアに動きがないものとする。逆に、どれか１個の動き検出枠において動きがあるときは監視エリアに動きがあるものとする。
【００２３】
各動き検出枠毎の動き検出は、予め各動き検出枠毎に正常状態における輝度信号の水平方向のピーク値を垂直方向に積分した値の最大値と最小値を基に算出した最大規準値と最小規準値を記憶しておき、各動き検出枠毎の現在の輝度信号の水平方向のピーク値を垂直方向に積分した値である評価値が前記最大規準値と最小規準値の範囲内に入っているかどうかを判断し、入っていればその動き検出枠には動きがないものとし、入っていなければその動き検出枠には動きがあるものとする。
【００２４】
〔３〕動き検出処理の詳細
以下この動き検出処理について詳細に説明する。
【００２５】
（１）評価値算出ブロック
図３は評価値算出ブロック１６において動き検出のための評価値を算出する構成を示すブロック図である。この図に示すように、評価値算出ブロックは、前述したＡ／Ｄ変換回路１４から出力される１０ビットのデジタルデータから輝度信号を分離するローパスフィルタ２１と、ローパスフィルタ２１で分離された輝度信号をクランプするクランプ回路２２と、クランプ回路２２の出力からエッジ成分を検出するハイパスフィルタ２３とを備えている。ハイパスフィルタ２３のカットオフ周波数は、低輝度の被写体のエッジを抽出することを考慮して例えば１００ｋＨｚ程度に設定する。
【００２６】
評価値算出ブロックは、さらに、画面上半分の所定の動き検出枠内の信号を抽出する第１のゲート回路２４と、画面下半分の所定の動き検出枠内の信号を抽出する第２のゲート回路２５と、第１のゲート回路２４の出力信号の水平方向のピーク値をホールドする第１のＨ−ピークホールド回路２６と、第２のゲート回路２５の出力信号の水平方向のピーク値をホールドする第２のＨ−ピークホールド回路２７と、第１のＨ−ピークホールド回路２６の出力を垂直方向に積分する第１のＶ積分回路２８と、第２のＨ−ピークホールド回路２７の出力を垂直方向に積分する第２のＶ積分回路２９とを備えている。
【００２７】
ここで図４を参照しながら、前述した第１のゲート回路２４及び第２のゲート回路２５が抽出するエリアについて説明する。この図において、太線で囲まれたエリアは１画面に対応する。ここでは１画面を垂直方向にＡチャンネルとＢチャンネルに２分割し、さらに各々を水平方向に１５分割、すなわち１画面を３０個の動き検出枠に分割している。
【００２８】
第１のゲート回路２４は、１フィールド毎にＡチャンネルの動き検出枠内のビデオデータを左端から順に抽出し、第２のゲート回路２５は、１フィールド毎にＢチャンネルの動き検出枠内のビデオデータを左端から順に抽出する。また、Ａチャンネルの動き検出枠内のビデオデータの抽出とＢチャンネルの動き検出枠内のビデオデータの抽出はパラレル又は時系列に行なわれる。ここで、動き検出枠の設定はマイコン１７から出力される動き検出枠番号により行なわれる。
【００２９】
フィールド＃０のＯｄｄからフィールド＃７のＯｄｄ、すなわち１５フィールドで１画面全体の動き検出枠内のビデオデータの抽出が終わる。次に、フィールド＃７のＥｖｅｎで画面の左端の動き検出枠内のビデオデータの抽出を行なった後、フィールド＃８のＯｄｄで再び画面の左端の動き検出枠内のビデオデータの抽出を行い、その後前述した動作を繰り返す。すなわち、画面の左端の動き検出枠内のビデオデータは１６フィールド期間内に２回抽出することになる。これにより、奇数フィールドと偶数フィールドとのラインの相違により後述する評価値が変化しないようにしている。なお、フィールド＃７のＥｖｅｎにおける抽出データはフィールド＃０のＯｄｄのデータとは別に処理され、動き検出に利用される。
【００３０】
再び図３の説明に戻る。図３の評価値算出ブロックは、さらに、第１のＶ積分回路２８の出力を動き検出枠毎に切り換えて出力する第１のスイッチング回路３０と、第２のＶ積分回路２９の出力を動き検出枠毎に切り換えて出力する第２のスイッチング回路３１とを備えている。
【００３１】
第１及び第２のＨ−ピークホールド回路２６及び２７は、各動き検出枠内における各ライン毎にピーク値を検出してホールドし、第１及び第２のＶ積分回路２８及び２９へ出力する。このとき、１個のピーク値ではなく２個あるいは３個のピーク値をホールドして出力するように構成してもよい。
【００３２】
第１及び第２のＶ積分回路２８及び２９は、動き検出枠毎に水平方向のピーク値を垂直方向に積分する。１フィールドの有効ライン数を２４０本程度とすれば、各々１２０個程度のピーク値を積分することになる。
【００３３】
第１及び第２のスイッチング回路３０及び３１は、第１及び第２のＶ積分回路２８及び２９の出力を動き検出枠毎の評価値としてマイコン１７へ出力する。評価値は例えば２バイトのデータにより構成されている。ここで、スイッチング回路３０及び３１の出力に付されている番号１〜Ｎは動き検出枠の番号である（図４の場合Ｎ＝１６）。
【００３４】
なお、以上説明した評価値算出ブロック中、ゲート回路以降はソフトウェアにより構成することもできる。
【００３５】
（２）マイコンにおける動き検出部の構成
図５にマイコン１７における動き検出部の１チャンネル分の構成を示す。この図に示すように、マイコン１７は各動き検出枠毎に動き検出を行うように構成されている。ここでは、動き検出枠１の動きを検出するブロックである４１−１のみ内部の構成を示してある。
【００３６】
各動き検出ブロック４１−１〜４１−Ｎは、最大値レジスタ５１と、最小値レジスタ５２と、最大値レジスタ５１に格納されている値と現在入力されている評価値とを比較する第１の比較器５３と、最小値レジスタ５２に格納されている値と現在入力されている評価値とを比較する第２の比較器５４と、スイッチング回路ＳＷ１と、スイッチング回路ＳＷ２と、第１の比較器５３の出力の符号を格納する第１の符号レジスタ５５と、第２の比較器５４の出力の符号を格納する第２の符号レジスタ５６と、第１及び第２の符号レジスタ５５及び５６のアンド出力をとるアンドゲート５７とから構成されている。
【００３７】
スイッチＳＷ１及びＳＷ２は、スリーステートポジションのスイッチである。最大値レジスタ５１及び最小値レジスタ５２は、スイッチＳＷ１及びＳＷ２がＬ（ロー）に接続されている時に評価値を格納する。第１及び第２の符号レジスタ５５及び５６は、第１及び第２の比較器５３及び５４の出力を格納する以外は、常にホールド状態にある。
【００３８】
アンドゲート５７は、第１又は第２の符号レジスタの出力のどちらか一方がＬのときに、その動き検出枠内の被写体に動きがあるものと判断する。各検出ブロック４１−１〜４１−Ｎの出力はアンドゲート６１へ送られる。アンドゲート６１の出力がＬのときには、画面内の被写体に動きがあるものと判断し、Ｈのときは動きがないものと判断する。つまり、少なくとも１個の動き検出枠内の被写体に動きがあるときに、画面内の被写体に動きがあるものとしている。
【００３９】
以上説明した動き検出部の構成において、最大値レジスタ５１、最小値レジスタ５２、第１及び第２の符号レジスタ５５及び５６以外は、マイコンのソフトウェアにより構成されているが、ハードロジックにより構成することもできる。
【００４０】
（３）規準値の設定処理
次に図２に示したフローに先立って行う規準値設定処理について説明する。
まず初期設定を行う。ここでは、図３のＨＰＦ２３のカットオフ周波数が切り換え可能な場合にその設定、図３のＨ−ピークホールド回路２６，２７におけるピーク数（１点、３点等）の設定等を行う。
【００４１】
次に動き検出枠毎に以下の▲１▼〜▲５▼の操作を行うことにより動き検出の規準値を算出する。
【００４２】
▲１▼：スイッチＳＷ１及びＳＷ２をＬポジションに設定し、動き検出枠の評価値を最大値レジスタ５１及び最小値レジスタ５２ヘ格納する。このとき、最大値レジスタ５１の値と最小値レジスタ５２の値とは等しくなる。
【００４３】
▲２▼：スイッチＳＷ１及びＳＷ２をＭポジションに設定すると共に、評価値を第１及び第２の比較器５３及び５４へ入力させる。
【００４４】
▲３▼：評価値が最大値レジスタ５１の値よりも大きいときには第１の比較器５３の出力はＬとなる。このとき、最大値レジスタ５１の値が評価値により更新される。また、評価値が最小値レジスタ５２の値よりも小さいときには第２の比較器５４の出力はＬとなる。このとき、最小値レジスタ５２の値が評価値により更新される。評価値が最大値レジスタ５１の値と最小値レジスタ５２の値との間にあるときには、これらのレジスタの値は更新されない。以上の操作を各動き検出枠について例えば数十回行う。この回数（時間）は、ビデオカメラの視野内で正常な動きの周期が入る最短時間に設定する。例えば、視野内に揺れる木々やネオンの点滅等が存在する場合には、それらの動きの周期以上に設定することが必要である。なお、この時、動き検出枠１について連続して数十回行い、次に動き検出枠２について連続して数十回行い、以後動き検出枠３、４、・・・Ｎに対して数１０回ずつ行うようにしてもよいし、動き検出枠１、２、３、・・・Ｎに対して１回ずつ行うことを数十回繰り返してもよい。
【００４５】
▲４▼：▲３▼の操作を動き検出枠毎に数十回行うことにより規準値の算出が終了したら、動き検出枠毎にスイッチＳＷ１及びＳＷ２をＬに設定し、最大値レジスタ５１の値に所定値αを加算した値を最大値レジスタ５１の規準値とし、最小値レジスタ５２の値から所定値βを減算した値を最小値レジスタ５２の規準値とする。この終了後、スイッチＳＷ１及びＳＷ２をＨに設定し、規準値をホールドする。
【００４６】
▲５▼：▲４▼において、全ての動き検出枠に対して規準値のホールドが終了したら、図５の全ブロック４１−１〜４１−Ｎにおける第１及び第２の符号レジスタ５５及び５６の値をＨに設定する。
【００４７】
（４）動き検出処理
次に図２のステップＳ７について詳細に説明する。ステップＳ７では、１フィールド毎に１個の動き検出枠について▲１▼〜▲４▼の操作を行う。
【００４８】
▲１▼：任意の動き検出枠に対する評価値を入力する。
▲２▼：評価値が最大値レジスタ５１の規準値より大きいときには第１の比較器５３の出力がＬとなる。あるいは、評価値が最小値レジスタ５２の規準値より小さいときには第２の比較器５４の出力がＬとなる。これらの場合には、アンドゲート５７の出力がＬとなるからその動き検出枠内で動きがあるものと判断する。
【００４９】
▲３▼：全ての動き検出枠に対して、最小値レジスタ５２の値≦現在の評価値≦最大値レジスタ５１の値、の場合には、アンドゲート６１の検出出力はＨとなり、画面内に動きがないものと判断する。
【００５０】
▲４▼：アンドゲート６１の検出出力がＬの場合には、動きが検出された動き検出枠を白枠で点滅表示すると共に、警報装置をオンにする処理及びＶＴＲを記録モードにする処理が並行して行なわれる。
【００５１】
なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、それらを本発明の範囲から排除するものではない。
【００５２】
例えば、前記実施の形態では１回の露出制御処理と動き検出処理とを１フィールド毎に実行しているが、システムのクロック周波数を高くして実行間隔を１／２フィールド等に短縮することもできる。また、実行間隔を２フィールド等に延長することもできる。さらに、露出制御処理と動き検出処理の順序を逆にしてもよい。
【００５３】
また、前記実施の形態では動き検出枠毎に輝度信号の水平方向のピーク値を垂直方向に積分した値を規準値又は評価値としているが、動き検出枠毎に画素の輝度レベルを水平方向及び垂直方向に積分した値、あるいは動き検出枠毎に所定のレベル以上の画素の数を積算した値を評価値としてもよい。さらに、従来技術として説明したフィールド相関法やＤＣＴ−ＡＣ法を用いて動き検出を行ってもよい。そして、Ｒ，Ｇ，又はＢの原色信号やＲ−Ｙ又はＢ−Ｙの色差信号を用いて動き検出を行ってもよい。
【００５４】
【発明の効果】
以上詳細に説明したように、本発明によれば、日照変化等が原因で監視エリアの輝度が低くなっても、自動露出制御が併用できるため、動き検出感度が低下しない。また、ビデオカメラの視野に対して移動物体の占める比率が高く、かつ背景と移動物体との輝度レベル差が大きい場合でも、真に変化している部分が画面のどの部分なのか正しく把握できる。
【図面の簡単な説明】
【図１】本発明を適用した撮像システムの全体のブロック構成を示す図である。
【図２】マイコンの処理を示すフローチャートである。
【図３】評価値算出ブロックにおいて動き検出のための評価値を算出する構成を示すブロック図である。
【図４】動き検出枠の構成の一例を示す図である。
【図５】マイコンにおける動き検出部の１チャンネル分の構成の一形態を示すブロック図である。
【符号の説明】
１…ビデオカメラ、２…データ処理装置、１１…レンズブロック、１３…サンプルホールド及びＡＧＣ回路、１６…評価値算出ブロック、１７…マイコン

Claims

被写体を撮像して得た映像信号を用いて動き検出を行う動き検出手段と、
前記映像信号のレベルを基に自動露出制御を行う露出制御手段と、
を備え、前記動き検出手段及び前記露出制御手段は所定の時間毎にそれぞれ自動露出制御及び動き検出を繰り返し実行すると共に、前記露出制御手段は前記動き検出手段が動きを検出しなかったときは現在の映像信号のレベルを基に自動露出制御を行い、動きを検出したときは過去の最後に動きを検出しなかったときの映像信号のレベルを基に自動露出制御を行うことを特徴とする撮像システム。
被写体を撮像して得た映像信号を用いて動き検出及び自動露出制御を行う撮像システムの制御方法において、所定の時間毎に前記自動露出制御及び前記動き検出を繰り返し実行すると共に、動きを検出しなかったときは現在の映像信号のレベルを基に自動露出制御を行い、動きを検出したときは過去の最後に動きを検出しなかったときの映像信号のレベルを基に自動露出制御を行うことを特徴とする撮像システムの制御方法。