JP5514506B2

JP5514506B2 - 侵入物監視システムおよび侵入物監視方法

Info

Publication number: JP5514506B2
Application number: JP2009242453A
Authority: JP
Inventors: 茂池和田; 幸藤井
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2009-10-21
Filing date: 2009-10-21
Publication date: 2014-06-04
Anticipated expiration: 2029-10-21
Also published as: JP2011091546A; US20110090341A1

Description

本発明は、撮像部をパン・チルト・ズームすることで、対象物を画面中央に捉えて追跡する侵入物検知システムに関する。

近年、光学技術の普及に伴い、カメラからの映像信号に基づいて、対象物を検知したり追跡する技術が知られている。例えば、追跡装置において、カメラからの映像信号に対して画像処理を施し、対象物を特定して追跡することが可能である。
特許文献１は、テンプレートマッチング機能を用いて対象物を追跡する働きをもった物体追跡方法および物体追跡装置を開示している。

特開２００１−６０２６９号公報

しかし、特許文献１の従来技術は、対象物のテンプレート画像を用いてマッチング処理を行なうことで対象物を追跡する機能はあっても、対象物が移動していき、画面中に占める対象物の画像が小さくなったり大きすぎたり左右に消えてしまったりした場合に、追跡が困難になるという問題がある。

本発明は、画面中の対象物を中央に捉えながら確実に追跡することができる侵入物検知システムを提供することを目的とする。

課題を解決する一実施形態は、
対物レンズを有する撮像部を搭載して当該撮像部をパン方向に移動させる第１駆動部（２５）と、
前記撮像部をチルト方向に移動させる第２駆動部（２６）と、
前記撮像部をズームインおよびズームアウトするべく動作させる第３駆動部（２７）と、
前記撮像部から与えられる映像信号から対象物を検出して、前記対象物の移動および変化に従って、前記対象物の画像が映像画面中の中央に位置するように前記撮像部をパン方向およびチルト方向に移動させるべく前記第１駆動部および前記第２駆動部を制御し、前記対象物の画像が所定の大きさを維持するように前記撮像部をズームインまたはズームアウトさせるべく前記第３駆動部を制御し、前記検出された対象物を追跡中には他の対象物へ追跡対象を切替えるための画面へ遷移する追跡対象切替ボタンを有効状態に前記映像画面に描画する制御部（３５）と、を具備することを特徴とする侵入物監視システムである。

単に対象物を追跡するだけでなく、対象物が画面の中央に位置するようにカメラの方向をパン方向、チルト方向に移動する。さらに、対象物の画像が画面に占める割合を維持するべく、カメラをズームインまたはズームアウトすることで、確実に対象物を追跡することができる。

本発明の一実施形態に係る侵入物検知システムの構成の一例を示すブロック図。同じく侵入物検知システムのカメラ・電動雲台及び画像処理装置の構成を示すブロック図。同じく侵入物検知システムのカメラ・電動雲台の構成を示す説明図。同じく侵入物検知システムの追跡処理の一例を示すフローチャート。同じく侵入物検知システムの侵入物検出処理を詳細に示すフローチャート。同じく侵入物検知システムの監視端末における追跡する対象を特定するための画面の一例を説明する説明図。同じく侵入物検知システムの監視端末における追跡する対象を他の対象に切り替えるための切り替え画面の一例を説明する説明図。同じく侵入物検知システムの監視端末における追跡する対象を他の対象に切り替えるための切り替え画面の一例を説明する説明図。

以下、この発明の実施の形態について図面を参照して詳細に説明する。
はじめに、この発明の実施の形態である侵入物検知システムを図１および図２を用いて詳細に説明する。本発明の一実施形態である侵入物検知システム１は、図１に示すように、カメラユニットを伴う電動雲台１０と、この電動雲台１０に接続ケーブルにより接続され後に詳述される制御部や記憶領域等から構成され各種の画像処理を行なう画像処理装置３１と、画像処理装置３１に接続ケーブルにより接続される映像配信部４１と、ＬＡＮ（Local Area Network）等を介して画像処理装置３１や映像配信部４１等に接続されるパーソナルコンピュータ等で構成される監視端末５１を有している。

さらに、電動雲台１０は、一例として、図３のような外観をもっており、撮像部である対物レンズ１２と、シャッタ１３と、シャッタ１３を通過した入射光を受け、入射光に応じた検出信号を出力するＣＣＤ（Charge Coupled Device）等による固体撮像素子１４とを有している。更に、電動雲台１０は、固体撮像素子１４からの出力を受けるＡＧＣ（Auto Gain Control）回路１５と、固体撮像素子１４にタイミング信号を供給するタイミング供給部１６と、電動雲台１０の全体の処理動作を制御するＣＰＵ２０と、ＣＰＵ２０にデータバスを介して接続される通信部２８と、図３に示すような撮像部であるカメラユニット３０を有している。これらの電装は一例として図３に示す電装部１０’に設けられる。
また、画像処理装置３１は、電動雲台１０等と通信を行なう通信部３２と、通信部３２を介して与えられた映像信号に一例としてＡ／Ｄ（Analogue/Digital）変換等を行なう画像入力部３３と、画像入力部３３でデジタル信号に変換された映像信号の一部を追跡すべき侵入物（対象物）の画像信号として記憶領域に格納する対象物特定部３４と、一例として対象物を追跡するべくカメラユニット３０のパン制御、チルト制御、ズーム制御を行なうカメラ制御部３５と、画像入力部３３で変換された映像信号を画像処理して後段の映像配信部４１等に供給する画像出力部３６により構成されている。

更に、電動雲台１０は、ＣＰＵ２０にデータバスを介して接続され制御される、カメラユニット３０をパン方向に移動するためのステッピングモータ等のパンモータ２５と、このパンモータ２５を駆動するパンドライバ２２と、カメラユニット３０をチルト方向に移動するためのステッピングモータ等のチルトモータ２６と、このチルトモータ２６を駆動するためのチルトドライバ２３と、カメラユニット３０の対物レンズ１２をズームインまたはズームアウトするべくカメラユニット３０の対物レンズ１２の位置を移動するズームモータ２７と、このズームモータ２７を駆動するためのズームドライバ２４を有している。

さらに、ケーブルを介して接続される画像処理装置３１の制御部は、入力された画像信号に対して、例えば、シャープネス処理、コントラスト処理、ガンマ補正、ホワイトバランス処理、画素加算処理等の画像処理を施すと共に、図４乃至図６に示す制御処理を電動雲台１０と共に行なうものである。
さらに、映像配信部４１は、同軸ケーブルを介して画像処理装置３１に接続されており、画像処理装置３１から取得した映像信号や画像信号等を記憶領域に格納したり、ネットワークを介して監視端末５１に供給したりする。

さらに、監視端末５１は、一例として、ネットワークを介して通信を行なう機能をもったＰＣ（Personal Computer）であり後述するように、ユーザは画面上の対象物を指定して、追跡を行なわせるための指示信号を例えばマウスのポインティング操作により与えることができる。

（動作）
このような構成をもった侵入物検知システム１、すなわち、電動雲台１０、画像処理装置３１、映像配信部４１、監視端末５１の動作を、図４乃至図６のフローチャートと図７および図８の操作画面を用いて以下に詳細に説明する。
すなわち、侵入物検知システム１において、図４のフローチャートに示すように、はじめに画像処理装置３１の対象物特定部３４は、カメラの電動雲台１０からの映像信号を処理して、侵入物（一例として侵入者）を検知する。画像処理装置３１の対象物特定部３４が侵入物を検知すると、カメラ制御部３５は、動作モードを追跡モードに移行し、監視端末５１に追跡モード移行を通知し、電動雲台１０と連動して動作する。そして、カメラ制御部３５は、後に詳述するように、検知した侵入物が画像中心となるよう電動雲台１０のパン動作、チルト動作を行なって画面中の中央に侵入物の画像が来るように、また、検知した侵入物の画面中の大きさが追跡に適した大きさとなるようズームを制御し、侵入物を一定時間見失うまで追跡を続ける。

一方、監視端末５１においては、画像処理装置３１からの追跡モード移行通知を受けると、画面上に追跡を行っている画像処理装置３１の処理結果映像を図７に示すような画面Ｄ１によって表示し、画面上の追跡対象切替ボタン６２を有効にする。
オペレータが、画面Ｄ１の状態で監視端末５１の画面上の追跡対象切替ボタン６２を押下すると（ステップＳ１０）、監視端末５１から画像処理装置３１へ追跡対象切替コマンドが送信される（ステップＳ１１）。画像処理装置３１の対象物特定部３４は、追跡対象切替コマンドを受けるとこれに応じて応答信号を監視端末５１に送る（ステップＳ１２）。また、監視端末５１においては、表示画面Ｄ２において、追跡対象切替ボタンは図８に示すように無効表示６４に変わる。

画像処理装置３１の対象物特定部３４とカメラ制御部３５は、追跡対象切替コマンドを受け取ると追跡を停止してアラームを監視端末５１に通知する（ステップＳ１３）。画像処理装置３１のカメラ制御部３５は、電動雲台１０から現在のズーム比を取得した後、一例として、現在のズーム比の１／２倍となるよう電動雲台１０のＣＰＵ２０およびズームドライバ２４を制御し（ステップＳ１４）、これによりズームをワイドにして、画像処理を開始する（ステップＳ１５）。すなわち、画像処理装置３１の対象物特定部３４は、追跡モードから侵入物検出モードに移行して、画像処理により侵入物を検知する（ステップＳ１６）。

この侵入物検出処理は、図５のフローチャートに詳細に説明されているように、画像処理装置３１の対象物特定部３４およびカメラ制御部３５は、追跡対象切替コマンドを受けた後は、電動雲台１０のズーム動作を行ない（ステップＳ３１）、短時間で物体を検知するために、電動雲台１０の固体撮像素子１４で取得した映像信号をＡＧＣ回路１５を介して受ける。そして、画像処理装置３１の対象物特定部３４は、数フレームの入力映像を平均化して新たな背景画像を作成する（ステップＳ３２）。次に、画像処理装置３１の対象物特定部３４は、背景画像作成後、背景画像と現在の入力画像の輝度を比較して差分をとる（ステップＳ３３）。画像処理装置３１の対象物特定部３４は、背景画像と現在入力の映像信号の輝度分布の差分が一定しきい値以上となった部分があるかどうかを判断し（ステップＳ３４）、背景画像と現在入力の映像信号の輝度分布の差分が一定しきい値以上となった部分があれば、この部分の画像を侵入物の画像であると判定して記憶領域に格納する（ステップＳ３５）。

このような手順で侵入物の画像を対象画像として記憶領域に格納した画像処理装置３１の対象物特定部３４は、侵入物である画像情報を含む画面中に、侵入物として検出された物体を囲む枠線画面（図７の表示画面Ｄ１）および番号を重畳した画面（図８の表示画面Ｄ２）を生成して、監視端末５１にアラームとして通知する（ステップＳ１８）。これと共に、画像処理装置３１の対象物特定部３４は、監視端末５１に対して現在検知している物体数および検知している物体を囲む枠線の映像上での座標範囲（枠線の左上および右下のＸ，Ｙ座標）を周期的に通知する（ステップＳ１９）。これらの処理を、対象物特定部３４は、監視端末５１から追跡対象選択コマンドを受け取るまで続ける。

一方、監視端末５１の制御部は、監視端末５１の画面上に表示画面Ｄ１を表示し、この画面中の追跡対象切替６２がマウスクリックされるのを待機する。監視端末５１の制御部は、オペレータにより追跡対象切替６２がマウスクリックされたことを検知すると、図８に示すような追跡対象選択画面６３を表示し、オペレータにより画面上をマウスクリックされるのを待機する。監視端末５１の制御部は、映像上の追跡対象選択画面６３のどれかの選択枝をマウスクリックされたことを検出すると（ステップＳ２０）、クリックされた位置が画像処理装置３１から通知された侵入物を囲む枠線の座標範囲内にあるかを判定し、座標範囲内にある場合は、追跡対象選択コマンドと共に選択された物体の番号を画像処理装置３１にＬＡＮ等の通信回線を介して通知する（ステップＳ２１）。

画像処理装置３１の対象物特定部３４およびカメラ制御部３５は、監視端末５１から追跡対象選択コマンドを受け取ると、受け取ったことを監視端末５１へ応答した後（ステップＳ２２）、図６のフローチャートが示す追跡モードに移行して、追跡を開始するというアラーム通知を監視端末５１に通知する（ステップＳ２４）。そして、画像処理装置３１のカメラ制御部３５は、対象物特定部３４において選択された物体が画像中心となるよう電動雲台１０のパン／チルトを制御するように制御信号を送り、また、選択された物体の映像上での大きさが追跡に適した大きさとなるようズームを制御するように電動雲台１０に制御信号を送る（ステップＳ２３）。これにより、画像処理装置３１のカメラ制御部３５は、侵入物の追跡を行い、周期的に電動雲台１０のパン／チルト／ズームの現在位置を取得して（ステップＳ２５）、侵入物の位置を監視端末５１に通知する（ステップＳ２６）。

すなわち、図６のフローチャートが示すように、画像処理装置３１のカメラ制御部３５は、追跡しようとする侵入物の画像を対象物特定部３４の記憶領域に記憶し（ステップＳ４１）、記憶領域に記憶されている侵入物の画像を、電動雲台１０等から供給されてくる現在の映像信号の中に探して、これを検出すると、侵入物の画像が画面の中央となるように、パン方向、チルト方向と移動量を決定する（ステップＳ４２）。そして、画像処理装置３１のカメラ制御部３５は、決定した方向および移動量に従ってパンドライバ２２およびチルトドライバ２３を用いて撮像部であるカメラユニット３０のパン移動、チルト移動を行なう（ステップＳ４３）。

次に、画像処理装置３１のカメラ制御部３５は、侵入物の画像が画面に対して大きすぎず小さすぎないように一定の予め定められた大きさとなるように、現在の侵入物の画像の大きさに応じてズーム比を決定し（ステップＳ４４）、このズーム比に従って、ズームドライバ２４を制御してカメラユニット３０のズーム制御を行なう（ステップＳ４５）。このような画像処理装置３１の対象物特定部３４とカメラ制御部３５の制御動作によって、侵入物の画像は、画面のほぼ中央に適切な大きさの画像として維持されることとなる。

以上、詳細に説明したように、本発明の一実施形態である侵入物検知システムは、追跡対象を切り替える際に、ズームを広角にした後、数フレームの入力映像を平均化して背景画像を作成することにより、背景画像と現在の入力画像の差分から短時間で物体を検知する。

さらに、画像処理装置３１の制御部は侵入物を検知すると、入力映像に検知した侵入物を囲む枠線および番号を重畳した映像を出力し、周期的に検知した侵入物の数および侵入物を囲む枠線の座標を監視端末５１に通知する。監視端末５１は、配信された映像を画面に表示し、マウスクリックされた映像上の位置がどの検知物体枠線内か判定すると、画像処理装置３１へ追跡物体の番号を通知することにより、監視端末５１の画面に表示された映像上でマウスクリックするという操作で追跡対象を切替えることを容易に可能とするものである。

以上記載した様々な実施形態は複数同時に実施することが可能であり、これらの記載により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。

１…侵入物検知システム、１０…カメラ・電動雲台、１２…対物レンズ、１３…シャッタ、１４…ＣＣＤ検知部、１５…ＡＧＣ（オートゲインコントロール）回路、１６…タイミング供給器、２０…ＣＰＵ、２１…メモリ、２２…パンモータドライバ、２３…チルトモータドライバ、２４…ズームモータドライバ、２５…パンモータ、２６…チルトモータ、２７…ズームモータ、２８…通信部、３０…カメラユニット。

Claims

対物レンズを有する撮像部を搭載して当該撮像部をパン方向に移動させる第１駆動部と、
前記撮像部をチルト方向に移動させる第２駆動部と、
前記撮像部をズームインおよびズームアウトするべく動作させる第３駆動部と、
前記撮像部から与えられる映像信号から対象物を検出して、前記対象物の移動および変化に従って、前記対象物の画像が映像画面中の中央に位置するように前記撮像部をパン方向およびチルト方向に移動させるべく前記第１駆動部および前記第２駆動部を制御し、前記対象物の画像が所定の大きさを維持するように前記撮像部をズームインまたはズームアウトさせるべく前記第３駆動部を制御し、前記検出された対象物を追跡中には他の対象物へ追跡対象を切替えるための画面へ遷移する追跡対象切替ボタンを有効状態に前記映像画面に描画する制御部と、を具備することを特徴とする侵入物監視システム。
前記制御部は、前記追跡対象を切替えるための画面においては、前記追跡対象切替ボタンを無効状態に表示することを特徴とする請求項１記載の侵入物監視システム。
前記制御部は、前記制御部が検出した前記対象物を囲む枠画像を前記映像信号の画面中に重畳した映像を生成して画面中に表示し、与えられる操作信号により前記枠画像が特定されたことを検出すると、前記第１駆動部、前記第２駆動部、前記第３駆動部により、特定された前記枠画像に対応する対象物を新たに追跡することを特徴とする請求項２記載の侵入物監視システム。
撮像部から与えられる映像信号から対象物を検出して、前記対象物の移動及び変化に従って、パン方向に駆動する第１の駆動及びチルト方向に駆動する第２の駆動により前記対象物が映像画面の中央に位置するように前記撮像部を制御し、ズームインまたはズームアウトする第３の駆動により前記対象物の画像が所定の大きさを維持するように前記撮像部を制御し、前記検出された対象物を追跡中には他の対象物へ追跡対象を切替えるための画面へ遷移する追跡対象切替ボタンを有効状態に前記映像画面に描画することを特徴とする侵入物監視方法。
前記追跡対象を切替えるための画面においては、前記追跡対象切替ボタンを無効状態に表示することを特徴とする請求項４記載の侵入物監視方法。
検出した前記対象物を囲む枠画像を前記映像信号の画面中に重畳した映像を生成して画面に表示し、与えられる操作信号により前記枠画像が特定されたことを検出すると、前記第１の駆動、前記第２の駆動、前記第３の駆動により、特定された前記枠画像に対応する対象物を新たに追跡することを特徴とする請求項５記載の侵入物監視方法。