JP4205020B2 - テレビカメラの制御方法及び画像記録装置の制御方法 - Google Patents

Description

本発明は、人物の進入などをテレビカメラにより監視する装置に関する。

進入者などの監視装置においては、ＶＴＲやハードディスクなどの記録装置に、監視用テレビカメラにより撮影した画像データを記録するのが一般的である。オペレータは、その後、該記録された画像データの中から、必要とする画像データを検索し表示させる。このような監視装置はあらゆるところに設置される。例えば、銀行、コンビニエンスストア等の店舗内、建築現場や、ダム、基地、飛行場等の立入り禁止地区等がある。このような場所において、進入物、あるいは侵入者は画面内においてさまざまな動きをする。また、撮影条件も様々に変化する。

ここで、監視用テレビカメラのシャッタースピード（電子シャッター）が一定の場合には、入力画像における進入物体の動きが早い場合、記録した画像がブレてしまう場合がある。また、監視用テレビの絞り値が一定の場合には、入力画像の明るさによっては、暗くなりすぎたり、真っ白になったりする。

本発明は、これらの問題を解決するために、画像認識により画面内での進入物体の移動の速さを検出する。
さらに、その情報を用いて監視用テレビカメラのシャッタースピードを制御することで、ブレのない画像の記録が行える機能を設ける。

さらに、画像認識を用いて検出された進入物体の近傍の明るさを検出し、その情報を用いて監視用テレビの絞りを制御することで、適正な輝度の画像の記録が行える機能を設けるようにしたものである。

さらに、このとき、進入物体のエッジを検出する。
本発明はこれらの組み合わせにより、テレビカメラを制御する方法及び装置を提供するものである。このテレビカメラは特に監視用記録装置に適したものである。

また、本例に係るテレビカメラの制御方法では、テレビカメラにより撮像された入力画像から物体を検出した時に、該物体の画面内での移動速度を認識し、該認識した物体の移動速度に応じて前記テレビカメラのシャッタースピードを変化させる。

また、本例に係るテレビカメラの制御方法では、テレビカメラにより撮像された入力画像から物体を検出し、該検出された物体の画面内での移動速度を認識し、該認識した物体の移動速度が所定の値より大きい時に、前記物体の移動速度に応じて前記テレビカメラのシャッタースピードを変化させる。

また、本例に係るテレビカメラの制御方法では、テレビカメラにより撮像された入力画像から物体を検出し、該検出された物体の近傍の明るさとエッジの内側の明るさを求め、該求めた前記物体の近傍の明るさとエッジの内側の明るさに基づき、前記テレビの絞り値を変化させる。

また、本例に係るテレビカメラの制御方法では、テレビカメラにより撮像された入力画像から物体を検出し、該検出された物体が複数存在する場合、前記テレビカメラの設置位置の状況に応じて前記検出された複数の物体に優先順位を付け、優先順位の高い物体の近傍の明るさを求め、該求めた明るさにより、前記テレビカメラの絞り値を変化させる。

また、本例に係るテレビカメラの制御方法では、テレビカメラにより撮像された入力画像から物体を検出し、該検出された物体の画面内での移動速度を認識し、該認識した物体の移動速度に応じて前記テレビカメラのシャッタースピードを変化させると共に、前記検出された物体の近傍の明るさを求め、該明るさにより、前記テレビカメラの絞り値を変化させることにより前記テレビカメラにより撮像される入力画像のコントラストを最適にする。

また、本例に係る画像記録装置の制御方法では、テレビカメラにより撮像された入力画像から物体を検出し、該検出された物体の画面内での移動速度を認識し、該認識した物体の移動速度に応じて前記入力画像の記録手段への記録フレームレートを変更する。

画像認識により、適正なシャッタースピードおよび絞り値をテレビ側に設定できるため、適正な状態での画像を記録することができる。また、画像認識により、画像の記録手段への記録フレームレートを変更することができる。

本発明の実施例として監視用テレビカメラ記録装置について説明する。この監視用テレビカメラ記録装置は図１に示すようなブロック図で示すことができる。このブロック図について説明する。

図１において、１は監視用テレビカメラで、本発明の監視用テレビ制御記録装置により制御され、店舗、立入り禁止地区等、さまざまな箇所に設置される。２はモニタでこの監視用テレビカメラ１からの映像、または記録画像を表示する。３は監視用テレビ制御・記録装置である。さらに、この監視用テレビ制御・記録装置３は、３０１から３０９０のブロックとこれらを接続するバスより構成される。３０１はＣＰＵを中心に構成される制御装置、３０２はメモリ、３０３は画像認識部、３０４は通信制御部、３０５はビデオインターフェース、３０６はハードディスク、ＤＶＤ、タイムラプスＶＴＲ等の記憶装置、３０７はフレームバッファメモリ、３０８はモニタ、３０９は入力装置、３１０はこれら各ブロックとＣＰＵ３０１を結ぶバスである。

次にこれら各ブロックについて説明する。ビデオインターフェース３０５には画像入力インターフェイス（図示せず）と画像信号出力インターフェイス（図示せず）を有する。これら各インターフェースは、出力端子３０５２を介してモニタ２と接続され、入力端子３０５１を介して監視用テレビカメラ２と接続される。ビデオインターフェース３０５は、監視用テレビカメラ１から送られてきた動画像をこの監視用テレビ制御・記録装置で扱うフォーマットに変換し、制御装置３０１、画像認識部３０３、および記憶装置３０６に送る。また、前記ビデオインターフェース３０５は、記憶装置３０６から出力される信号情報、あるいはテレビカメラ１からの画像情報をモニタ２に出力する。

前記画像認識部３０３は送られてきた動画像から進入物体があるか否かを検出し、さらに検出物体の明るさと移動速度を検出する。この速度と明るさに基づき、監視用テレビカメラ１の電子シャッタ−のスピードと絞りが制御される。これらの制御信号は通信制御部３０４を経由して監視用テレビカメラ１に出力される。この画像認識部３０３の動作については後に詳細に説明する。

入力装置３０９には操作パネル３０９１が有り、ここには、各種記録モード、再生制御のためのボタンスイッチを有する。記憶装置３０６には進入物体が検出された日時と該画像データが格納される。また、記憶装置３０６としてはハードディスクやＤＶＤ記憶装置を用いたりあるいはネットワークを介したリモートファイルを用いたり、これら１つではなく、複数を組合わせて用いてもよい。また、これら記憶装置に記憶される映像情報は通常、格納時には圧縮され、出力時には伸張されて処理される。これら各構成要素は制御装置３０１からの制御信号により制御される。

つぎにこの動作について詳細に説明する。図４に示す操作パネル３０９１上の録画ボタン２０３を押すと、監視用テレビカメラ１からの入力映像信号はビデオインターフェイス３０５を介して画像認識部３０３に送られ、進入物体の有無の検出が開始される。この時の進入物体の検出方法としては、例えば、背景の画像と、現在入力された画像との差を求めるなどの周知の方法で十分可能である。このようにして、検出処理を実行している過程で、進入物体を検出した場合には制御装置３０１は該検出した日時と該画像および検出開始点、検出中間点、検出終了点等の情報を記憶装置３０６に記録する。

このようにして、オペレータが記録作業を終了させるまで該作業を継続する。通常はこのように、進入物体を検出したときにのみ記録するが、記録容量が十分であれば、進入物体の検出の有無にかかわらず、連続的に記録するようにしてもよい。連続記録するときには進入物体を検出したときにその記録データに「しおり」等マークを自動的に重畳記録するようにすれば、後に進入物体を検索するときに便利である。また、記録中にしおりボタン２１１を押下することにより手動で「しおり」を入力することができる。

ここで、本発明では画像認識により、進入物体の移動速度を検出し、該速度に応じて監視用テレビカメラ１の電子シャッターのスピードを制御する機能を設けている。これは、シャッタースピードに対して、被写体（進入物体）の速度が速い場合には、記録された画像がブレてしまい見にくくなることを防ぐためである。これは、監視カメラとして非常に重要なことである。

この制御装置３０１、画像認識部３０３の動作を示したのが図５のフローチャートである。はじめにテレビかメカからの画像を入力するフローチャート４。画像認識部３０３により進入物体を検出した場合、ここで、画像のエッジを検出５し、更に連続するフレーム間での進入物体エッジの比較８により、その移動量を算出する。このとき、その移動量すなわち、エッジの位置の差が少ないときにはシャッタースピードの変更は行わない（フローチャート９）。

エッジの移動量の差が大きいときには、最適なシャッタースピードを求めて、通信制御部３０４より、監視用テレビカメラ１に対して、フローチャート１０以下に示すように、算出されたシャッタースピードに設定するよう命令を発する。また、画像認識部３０３により、検出された進入物体の近傍の明るさを検出１３し、その明るさに応じて監視用テレビカメラ１の絞り（図示せず）を制御する機能を設ける。これは、シャッタースピードを切り替えることにより、絞り値に対して、被写体（進入物体）が暗い場合には、極端に暗くなってしまい、場合によっては真っ黒になってしまい、逆に明るい場合には真っ白になってしまうことを防ぐためである（フローチャート１４）。

以下、具体的に図２、図３を用いてこの動作を説明する。入力画像を記録する際に、画面上での進入物体の移動速度（実際の速度が遅い場合でも、監視用テレビカメラに近けれは画面上の移動速度は速くなり、逆に実際の速度が速い場合でも、監視用テレビカメラから遠ければ画面上での移動速度は遅くなる。このため、画面上での移動速度を用いて判定する。）が速い場合には、画像はブレてしまう。そこで、画像認識の技術を用いて進入物体の画面上での移動速度を算出し、該移動速度に応じて監視用テレビカメラのシャッタースピードを最適な値に再設定する。

図２に示すよう、６４０×４８０ピクセルの入力画像は一例として、１０×１０の複数の領域に分割する。図では例として縦横共に１０分割している。時刻ｎでの画像２１に対して、時刻ｎ＋１（画像２２）で監視テレビカメラ１の視野に進入物体が進入したとする。この時、進入物体（例えば進入物体のエッジ）は、例えば画像２２の斜線で示された領域のブロック群のエッジ２４１のように検出される（図５フローチャート５）。ｎ＋１が検出開始時刻である。次に、ｎ＋２の時刻（画像２３）において、図のような進入物体のエッジ２４２が検出される。ここで、監視用テレビカメラ１の設置場所から進入物体が右から左に移動するものとすると、進入物体の画面上の速度は、例えばｎ＋２の時刻のエッジ２４２の検出された左側と、ｎ＋１の時刻のエッジ２４２との間の差を求める（図５フローチャート６）ことで計算できる。

このようにして求めた速度（図５フローチャート７）に対して、現在のシャッタースピードが不適切である場合、監視用テレビカメラ１に対して適切な電子シャッターのスピードの設定を指示する。この時のシャッタースピードについては、例えば、画面上の移動速度とシャッタースピードの関係をあらかじめ設定しておき、テーブルを作り、このテーブルを参照（フローチャート１１）することで行える。

なお、誤動作を防ぐために、検出されたエッジのブロック数が少ない場合（例えば２、３ブロック）の場合には、計算対象としないようにする処理を設ける。
次に、監視用テレビカメラの撮像範囲の中に移動速度の異なる２つの物体がある場合について説明する。例えば、図３のように、画像の右側が店の入り口、左側が店の奥（行き止まり）のような場合には、入り口に近い方の領域にある方の移動物体２５２の速度に合わせる。これは、物体２５１はすでに、右側の領域で検出されているためで、物体２５２の移動速度に応じたシャッタースピードを設定するほうが望ましい。このように、監視用テレビカメラ１の設置位置の状況に応じて検出された物体に優先順位をつけてそれにテレビカメラの撮像条件を合わせるようにする。

次に、テレビカメラ１の絞り制御について説明する。画像認識により進入物体を検出した場合に、その進入物体の周囲の画素の輝度を求め、これに応じて絞り値を調整する。これは、背景が明るい時には、絞りが絞られて、進入物体は暗くなってしまい、逆に背景が暗い場合には、絞りが開かれて進入物体が真っ白になって、共に判別がし難くなってしまうことを防ぐためである。この場合も同様に、適切な絞り値を求め、監視用テレビの制御を行う機能を設ける。また、先に説明したように、進入物体のエッジを求め、このエッジ内の明るさに合わせ、絞りを制御するようにしてもよい。ここで、一般に、監視用テレビのシャッタースピードと絞りの間には、相関関係がある。そこで、絞り優先のモードとシャッタースピード優先のモードを設けることで、最適な値が得られるようにする。シャッタースピードを変更すると画像のコントラストが極端になることがある。このような場合、画質の状況に応じて、シャッタースピードと絞りを最適に調整する（フローチャート１５）。

なお、以上の説明では単に監視用テレビカメラのシャッタースピードと絞りを変更するようにしたが、移動速度に応じて、画像記録部３０３の記録フレームレートを変更するようにしてもよい。つまり、進入物体の移動速度が所定値以上になった場合に記録レートを上げるようにする。通常、監視装置では長時間画像を記録するためにフレームレートを落して記録する。そこで、例えば、移動物体の速度が上がった場合によりフレームレートを上げるように制御するように、画像記録部３０３を制御してもよい。

以上説明した実施例では監視用テレビカメラを１台としたが、複数であってもよい。この場合には、各カメラの映像信号には各テレビカメラ固有の識別コード重畳する。
また、本発明は監視装置ばかりでなく、また、記録装置を持たないテレビカメラとしても用いることができることは言うまでもない。

本発明の一実施例の構成図。 本発明の一実施例の説明図。 本発明の一実施例の説明図。 本発明の一実施例の説明図。 本発明の一実施例のフローチャート。

符号の説明

１：テレビカメラ、２：モニタ、３：監視用テレビカメラ制御記録装置、３０１：ＣＰＵ、３０２：メモリ、３０３：画像認識部、３０４：通信制御部、３０５：ビデオインターフェース、３０６：記憶装置、３０７：フレームバッファ、３０８：モニタ。

Claims (8)

1. テレビカメラにより撮像された入力画像から物体を検出し、
   該検出された物体が複数存在する場合、前記テレビカメラの設置位置の状況に応じて前記検出された複数の物体に優先順位を付け、
   優先順位の高い物体の画面内での移動速度を認識し、
   該認識した物体の移動速度に応じて前記テレビカメラのシャッタースピードを変化させることを特徴とするテレビカメラの制御方法。
2. 請求項１に記載のテレビカメラの制御方法であって、
   前記認識した物体の移動速度が所定の値より大きい時に、前記物体の移動速度に応じて前記テレビカメラのシャッタースピードを変化させることを特徴とするテレビカメラの制御方法。
3. テレビカメラにより撮像された入力画像から物体を検出し、
   該検出された物体の画面内での移動速度を認識し、
   該認識した物体の移動速度に応じて前記テレビカメラのシャッタースピードを変化させると共に、
   前記検出された物体の近傍の明るさとエッジの内側の明るさを求め、
   該求めた物体の近傍の明るさとエッジの内側の明るさにより、前記テレビカメラの絞り値を変化させることにより前記テレビカメラにより撮像される入力画像のコントラストを最適にすることを特徴とするテレビカメラの制御方法。
4. 請求項３に記載のテレビカメラの制御方法において、
   絞り優先のモードまたはシャッタースピード優先のモードを選択することで、
   画質の状況に応じて前記絞りおよびシャッタースピードを最適にすることを特徴とするテレビカメラの制御方法。
5. 撮像された画像を取り込む画像取込手段と、
   該画像取込手段からの入力画像から物体を検出し、該検出された物体が複数存在する場合、前記画像取り込み手段の設置位置の状況に応じて前記検出された複数の物体に優先順位を付け、優先順位の高い物体の画面内での移動速度を認識する画像認識手段と、
   該画像認識手段により求めた物体の移動速度に応じて前記画像取込手段のシャッタースピードを変化させるための制御信号を出力するシャッタースピード制御手段と、
   を備えることを特徴とするテレビカメラ。
6. 請求項５に記載のテレビカメラであって、
   前記シャッタースピード制御手段は、前記認識した物体の移動速度が所定の値より大きい時に、前記画像認識手段により求めた物体の移動速度に応じて前記テレビカメラのシャッタースピードを変化させるための制御信号を出力することを特徴とするテレビカメラ。
7. 撮像された画像を取り込む画像取込手段と、該画像取込手段からの入力画像から物体を検出し、該物体の画面内での移動速度および該物体の近傍の明るさとエッジの内側の明るさを認識する画像認識手段と、
   該画像認識手段により求めた物体の移動速度に応じて前記テレビカメラのシャッタースピードを変化させるための制御信号を出力するシャッタースピード制御手段と、
   前記画像認識手段により求めた前記物体の近傍の明るさとエッジの内側の明るさに応じて前記テレビカメラの絞りを変化させるための制御信号を出力する絞り制御手段と、
   を備えることを特徴とするテレビカメラ。
8. 請求項７に記載のテレビカメラにおいて、
   絞り優先のモードと、シャッタースピード優先のモードと、を備え、
   前記絞り優先のモードとシャッタースピード優先のモードのいずれかを選択するモード選択手段と、
   画質の状況に応じて前記絞りおよびシャッタースピードを変化させるための制御信号を出力する絞りおよびシャッタースピード制御手段と、
   を備えることを特徴とするテレビカメラ。