JP3773236B2

JP3773236B2 - Surveillance method and apparatus using television camera

Info

Publication number: JP3773236B2
Application number: JP30238699A
Authority: JP
Inventors: 幸藤井; 俊道岡田
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 1999-10-25
Filing date: 1999-10-25
Publication date: 2006-05-10
Anticipated expiration: 2019-10-25
Also published as: JP2001126156A

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビカメラを用いた監視装置に関し、例えば、侵入者あるいは侵入物を監視する監視用ＣＣＴＶ装置において、監視領域内の侵入者あるいは侵入物を認識するための侵入物認識画像処理における、警報発生時の画像表示の改良に関するものである。
【０００２】
【従来の技術】
従来のテレビカメラを用いた監視装置のハードウェア構成について、図５のブロック図をを用いて説明する。公知例のハードウェアは、テレビジョンカメラ１０１、画像処理装置１０２、警報表示装置１１６、ＶＴＲ１１７、ビデオモニタ１１８で構成される。
画像処理装置１０２は、映像信号のＡ／Ｄ変換を行う画像入力Ｉ／Ｆ１０３、画像間の演算及び画像の格納を行う画像メモリ１０４、画像解析を行うＣＰＵ１０９、ワークメモリ１１１、プログラムメモリ１１２、画像の輝度信号のＤ／Ａ変換を行い、輝度信号を映像信号に変換する画像出力Ｉ／Ｆ１１４、データバス１１５、警報出力を行う出力Ｉ／Ｆ１１０で構成される。
画像メモリ１０４は、画像入力Ｉ／Ｆ１０３で得られた輝度信号の格納を行う入力メモリ１０５、画像間の演算に用いる処理用メモリ１０６、ビデオモニタに出力する画像を格納するモニタ出力メモリ１０８で構成される。
画像処理装置１０２では、画像入力Ｉ／Ｆ１０３を用いてテレビジョンカメラ１０１の映像信号のＡ／Ｄ変換を行い、映像信号を０〜２５５の２５６階調の輝度信号に変換する。画像入力Ｉ／Ｆ１０３で得られた輝度信号は、画像メモリ１０４の入力メモリ１０５に格納される。ＣＰＵ１０９は、プログラムメモリ１１２に格納されているプログラムに従って、ワークメモリ１１１、画像メモリ１０４を用いて画像解析を行う。画像出力Ｉ／Ｆ１１４は、画像メモリ１０４内のモニタ出力メモリ１０８に格納されている画像の輝度信号のＤ／Ａ変換を行い、輝度信号を映像信号に変換するものである。画像処理Ｉ／Ｆ１１４により得られた映像信号はＶＴＲ１１７に記録し、ビデオモニタ１１８に表示される。データバス１１５はデータの転送に使用するものである。画像解析で事象が検出された場合には、出力Ｉ／Ｆ１１０を用いて警報表示モニタ１１６に警報を出力する。
【０００３】
次に物体認識の流れについて、図３、図５、図６、図７、図９を用いて説明する。図３は物体認識の原理説明のための画像パターン説明図、図６は物体認識の動作フローチャート、図７はタイミングチャート、図９はモニタ画面に写された映像を示す。まず、図３、図６において、背景画像作成ステップ２０１で物体の存在しない背景画像の作成を行い、背景画像３０１（図３参照）を得る。入力画像取込みステップ２０２は、テレビジョンカメラ１０１（図５参照）から入力画像３０２を得る。差分処理ステップ２０３は、背景作成ステップ２０１又は背景更新処理ステップ２１２で作成した背景画像３０１と、入力画像取込みステップ２０２で得た入力画像３０２との画素毎の差分を算出し、差分画像３０３を得る。二値化処理ステップ２０４は、差分ステップ２０３で得られた差分画像３０３をしきい値処理し、差分値が所定のしきい値以下の画素を輝度値０、しきい値以上の画素を輝度値２５５（１画素の輝度値は０から２５５の２５６階調で表現）とした二値画像３０４を得る。ノイズ除去ステップ２０５では、二値化処理ステップ２０４で得られた二値画像３０４に含まれたノイズ領域３０５を除去し、ノイズ除去画像３０６を得る。ここでノイズ領域３０５とは、数画素で構成されるものを示す。ラベリングステップ２０６では、ノイズ除去ステップ２０５で得られたノイズ除去画像３０６を用いて物体の番号付けを行い、ラベリング画像３０８を得る。ラベリングステップ２０６により、ノイズ除去画像３０６で得られた物体領域３０７に対してＮ₁という番号が付けられる。物体認識処理ステップ２０７では、ラベリングステップ２０６で得られたラベリング画像３０８を用いて物体の幅Ｘ、高さＹを算出し、算出した物体の大きさと認識する物体の大きさを比較することにより、認識したい物体のみ抽出する。物体の有無判断ステップ２０８では、物体認識処理ステップ２０７の判断結果を用いて認識物体の有無を判断する。物体ありと判断された場合には、警報処理ステップ２１１で警報出力を行う。画像表示２ステップ６０１では、モニタ出力メモリ１０８（図５参照）に入力メモリ１０５の画像をコピーし、バス１１５を経由して画像出力Ｉ／Ｆ１１４、ＶＴＲ１１７を介しビデオモニタ１１８に画像の表示を行う。背景更新処理ステップ２１２では、背景画像３０１の更新を行う。
【０００４】
次にモニタ出力メモリの更新タイミングについて、図５、図７を用いて説明する。
図７は、処理タイミング４０１、入力画像取込みタイミング４０２、モニタ出力メモリタイミング４０４、画像表示タイミング４０５の関係を表したものである。尚、横軸は時間Ｔとし、物体認識処理は処理時間Ｔｐ周期で行っているものとする。図９はテレビジョンカメラ１０１からの取り込み画像４９１とビデオモニタ１１８への出力表示画像４９２を示す。
まず、取込みタイミング４０２Ａで入力画像Ａを入力メモリ１０５へ格納し、認識処理を行う。入力画像Ａの認識結果は、モニタ出力メモリ更新タイミング４０４Ａでモニタ出力画像Ａをモニタ出力メモリ１０８へ格納し、表示タイミング４０５ＡでＶＴＲ１１７及びビデオモニタ１１８に出力する。同様に、取込みタイミング４０２Ｂ、４０２Ｃ、４０２Ｄ、４０２Ｅ、４０２Ｆ、４０２Ｇ、４０２Ｈで入力メモリ１０５に格納した入力画像Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈの認識結果を、ＶＴＲ１１７及びビデオモニタ１１８に出力する。この時、ＶＴＲ１１７及びビデオモニタ１１８に出力される画像４９２は、順にモニタ出力画像Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈとなる。
このため、表示タイミング４０５Ａから４０５Ｄまではモニタ出力画像Ａからモニタ出力画像Ｄが表示されるため、警報時画像の確認が行える。しかしモニタ出力メモリ更新タイミング４０４Ｅでは、モニタ出力メモリ１０８にモニタ出力画像Ｅに示すような物体が行き過ぎた画像が格納されるため、表示タイミング４０５Ｅでは物体が行き過ぎた後の画像Ｅが表示され、警報時画像の確認が行えなくなる。
【０００５】
【発明が解決しようとする課題】
上記従来の技術では、ビデオモニタ上に表示される画像は、カメラでとらえた画像をほとんど時間遅れなく処理した画像として表示するため、カメラ視野から侵入者がはずれるとほぼ同時にビデオモニタには表示されなくなる。すなわち、監視者がビデオモニタから離れた場合、ビデオモニタでの警報時画像の確認ができない恐れがある。このとき警報発生時の画像を確認するためには、ＶＴＲを巻き戻し再生を行う必要があり、大変に効率の悪い作業であった。
【０００６】
【課題を解決するための手段】
本発明では、このような課題を解決するため、物体侵入後の一定期間は侵入画像を表示し続けるようにし、又警報発生時の画像を証拠画像としてハードディスク等に記録し、発生時刻を基準にランダム検索し容易にモニタ表示できるようにしたものである。
【０００７】
【発明の実施の形態】
本発明の実施例における侵入物認識装置のハードウェア構成の一例を図１に示す。これは、従来のハードウェア構成に、画像メモリ１０４１の結果メモリ１０７、ハードディスク１１３、タイマ１１９を付け加えたものである。１０２１は本実施例における処理装置である。
次に物体認識の流れについて、図１、図２、図３を用いて説明する。図２は本実施例の動作フローチャートである。図３は各処理ステップにおける画像の例を示す。
まず、背景画像作成ステップ２０１で物体の存在しない背景画像の作成を行い、背景画像３０１を得る。入力画像取込みステップ２０２は、テレビジョンカメラ１０１から入力画像３０２を得る。差分処理ステップ２０３は、背景画像作成ステップ２０１又は背景更新処理ステップ２１２で作成した背景画像３０１と、入力画像取込みステップ２０２で得た入力画像３０２との画素毎の差分を算出し、差分画像３０３を得る。二値化処理ステップ２０４は、差分ステップ２０３で得られた差分画像３０３をしきい値処理し、差分値が所定のしきい値以下の画素を輝度値０、しきい値以上の画素を輝度値２５５（１画素の輝度値は０から２５５の２５６階調で表現）とした二値画像３０４を得る。ノイズ除去ステップ２０５では、二値化処理ステップ２０４で得られた二値画像３０４に含まれたノイズ領域３０５を除去し、ノイズ除去画像３０６を得る。ここでノイズ領域３０５とは、数画素で構成されるものである。ラベリングス処理テップ２０６では、ノイズ除去ステップ２０５で得られたノイズ除去画像３０６を用いて物体の番号付けを行い、ラベリング画像３０８を得る。ラベリングステップ２０６により、ノイズ除去画像３０６で得られた物体領域３０７に対してＮ₁という番号が付けられる。物体認識処理ステップ２０７では、ラベリングステップ２０６で得られたラベリング画像３０８を用いて物体の幅Ｘ、高さＹを算出し、算出した物体の大きさと認識する物体の大きさを比較することにより、認識したい物体のみ抽出する。物体の有無判断ステップ２０８では、物体認識処理ステップ２０７の判断結果を用いて認識物体の有無を判断する。物体の有無判断ステップ２０８で物体ありと判断された場合、結果画面作成ステップ２０９、画像表示１ステップ２１０、警報処理ステップ２１１を行う。結果画面作成ステップ２０９では入力メモリ１０５の画像を結果メモリ１０７にコピーし、物体の上にマーカーＭを描画する（図８参照、詳細は追って説明する）。画像表示ステップ２１０では、結果メモリ１０７の画像をモニタ出力メモリ１０８にコピーする。警報処理ステップ２１１では警報出力を行う。警報は赤色灯などの警報表示モニタ１１６（図１参照）により表示される。物体の有無判断ステップ２０８で物体なしと判断された場合には、保持の要・不要判定ステップ２１３で画像保持の要・不要の判定を行う。保持の要・不要は、タイマ１１９を使用して算出し、下記式１が成立した場合には保持要と判定し、成立しない場合には不要と判断する。尚、保持時間は予め決定しておく必要がある。本実施例では、保持時間を６０秒としている。
式１：（現時刻）−（最後に発報があった時刻）＜保持時間
保持の要・不要判定ステップ２１３で保持要と判断された場合には、画像表示１ステップ２１０で結果メモリ１０７の画像をモニタ出力メモリ１０８にコピーし、画像表示を行う。保持要時には結果メモリ１０７の画像は更新されないため、結果メモリ１０７には最後の物体認識時の画像が格納されている。保持不要と判断された場合には、結果画面作成ステップ２０９、画像表示１ステップ２１０を行う。背景画像更新ステップ２１２では、背景画像３０１の更新を行う。
【０００８】
次にモニタ出力メモリの更新タイミングについて、図１、図４、図８を用いて説明する。
図４は、処理タイミング４０１、入力画像取込みタイミング４０２、結果メモリタイミング４０３、モニタ出力メモリタイミング４０４、画像表示タイミング４０５の関係を表したものである。尚、横軸は時間Ｔとし、物体認識処理は処理時間Ｔ_P周期で行っているものとする。図８は入力画像４９１、ハードディスクに記録される画像４９３およびモニタへの出力画像４９４を示す。
入力画像取込みタイミング４０２Ａにおいて入力画像Ａを入力メモリ１０５へ格納し、物体認識を行う。結果メモリ更新タイミング４０３Ａにおいて、認識結果である結果画像Ａを結果メモリ１０７へ格納する。モニタ出力メモリ更新タイミング４０４Ａにおいて、結果メモリ更新タイミング４０３Ａで格納された結果メモリ１０７の画像をモニタ出力メモリ１０８へ格納する。このとき、モニタ出力メモリ１０８に格納されている画像はモニタ出力４９４の画像Ａである。表示タイミング４０５Ａにおいて、モニタ出力メモリ更新タイミング４０４Ａで格納されたモニタ出力メモリ１０８の画像をＶＴＲ１１７及びビデオモニタ１１８に出力する。同様に、取込みタイミング４０２Ｂ、４０２Ｃ、４０２Ｄで入力メモリ１０５に格納した入力画像Ｂ、Ｃ、Ｄの認識結果を、ＶＴＲ１１７及びビデオモニタ１１８に出力する。この時、ＶＴＲ１１７及びビデオモニタに出力される画像は、モニタ出力画像Ｂ、Ｃ、Ｄとなる。
取込みタイミング４０２Ｅにおいて入力画像Ｅを入力メモリ１０５へ格納し、物体認識を行う。結果メモリ更新タイミング４０３Ｅでは、入力画像Ｅには認識物体がおらずかつ、認識物体が行き過ぎてからの経過時間が保持時間Ｔｈ以内であるため、結果メモリ１０７への格納は行わない。モニタ出力更新タイミング４０４Ｅにおいて、結果メモリ更新タイミング４０３Ｄで格納された結果メモリ１０７の画像すなわち結果画像Ｄをモニタ出力メモリ１０８へ格納する。このときモニタ出力メモリ１０８に格納されている画像はモニタ出力４９４の画像Ｅである。表示タイミング４０５Ｅにおいて、モニタ出力メモリ更新タイミング４０４Ｅで格納さたモニタ出力メモリ１０８の画像をＶＴＲ１１７及びビデオモニタ１１８に出力する。これにより物体が行き過ぎた後も警報時画像がＶＴＲ及びビデオモニタに出力されることとなる。同様に、取込みタイミング４０２Ｆ、４０２Ｇ、で入力メモリ１０４に格納した入力画像Ｆ、Ｇ、の認識結果を、ＶＴＲ１１７及びビデオモニタ１１８に出力する。この時、ＶＴＲ１１７及びビデオモニタに出力される画像はモニタ出力画像Ｇ、Ｆとなり、出力画像は警報時画像となる。
取込みタイミング４０２Ｈにおいて入力画像Ｈを入力メモリ１０５へ格納し、物体認識を行う。結果メモリ更新タイミング４０３Ｈでは、入力画像Ｈには認識物体がおらず、認識物体が行き過ぎてからの経過時間が保持時間Ｔｈ以上であるため、モニタ出力メモリ１０８の画像４９３をハードディスク１１３へ保管し、結果画像Ｈを結果メモリ１０７へ格納する。モニタ出力更新タイミング４０４Ｈにおいて、結果メモリ更新タイミング４０３Ｈで格納された結果メモリ１０７の画像をモニタ出力メモリ１０８へ格納する。このときモニタ出力メモリ１０８に格納されている画像はモニタ出力４９４の画像Ｈである。表示タイミング４０５Ｈにおいて、モニタ出力メモリ更新タイミング４０４Ｈで格納されたモニタ出力メモリ１０８の画像をＶＴＲ１１７及びビデオモニタ１１８に出力する。これにより、継続されていた侵入時の画像表示が打ち切られる。よって本実施例では表示タイミング４０５Ａから表示タイミング４０６Ｇまで警報時画像の表示が継続されると同時に、表示タイミングＨではモニタ出力画像Ｇをハードディスク１１２に証拠画像として記録され、記録時間で管理されるので何時でも警報発生時の画像を見ることができる。
【０００９】
本実施例では、認識物体の有無をチェックすることにより、物体が行き過ぎる直前の画像の表示、保存する方式で説明を行ったが、前回の認識物体の有無をチェックすることにより、認識物体が入ってきた直後の画像を表示、保存する方式や、物体の位置を算出、チェックすることにより、物体が中央付近に来た時点の画像を表示、保存する方式も容易に実現可能である。
【００１０】
【発明の効果】
以上説明したように、認識物体が侵入後すぐに行き過ぎた場合にもビデオモニタ上で画像が確認できるため、監視者がビデオモニタから離れいても保持時間のうちに戻ってくれば、ビデオモニタでの警報確認が行えると同時に、何時でも警報発生時の画像をハードディスク等のランダムアクセス可能な記憶装置から呼び出して見ることができる。
【００１１】
このため、監視員のモニタへ、画像処理装置が何を検出して、警報を発しているのかを表示することができ、警報の原因が侵入者なのか、たとえば猫、犬等の監視対象外の動物、あるいは日照変化等の自然現象による誤報なのかを確実に確認することができる。
【図面の簡単な説明】
【図１】本発明の一実施例のハードウェアを示すブロック構成図
【図２】本発明の一実施例の動作フローチャート
【図３】物体認識の原理説明図
【図４】本発明の一実施例の画像表示タイミングチャート
【図５】従来のハードウェアを示すブロック構成図
【図６】従来例の動作フローチャート
【図７】従来の画像表示タイミングチャート
【図８】本発明の実施例における画像説明図
【図９】従来例における画像説明図
【符号の説明】
１０１：テレビジョンカメラ、１０２１：画像処理装置、１０３：画像入力Ｉ／Ｆ、１０４１：画像メモリ、１０５：入力メモリ、１０６：処理用メモリ、１０７：結果メモリ、１０８：モニタ出力メモリ、１０９：ＣＰＵ、１１０：出力Ｉ／Ｆ、１１１：ワークメモリ、１１２：プログラムメモリ、１１３：ハードディスク、１１４：画像出力Ｉ／Ｆ、１１５：データバス、１１６：警報表示モニタ、１１７：ＶＴＲ、１１８：ビデオモニタ、１１９：タイマ、２０１：背景画像作成ステップ、２０２：入力画像取込みステップ、２０３：差分処理ステップ、２０４：二値化処理ステップ、２０５：ノイズ除去ステップ、２０６：ラベリング処理ステップ、２０７物体認識処理ステップ、２０８：物体の有無判断ステップ、２０９：結果画像作成ステップ、２１０：画像表示１ステップ、２１１：警報処理ステップ、２１２：背景更新処理ステップ、２１３：保持の要・不要判定ステップ、３０１：背景画像、３０２：入力画像、３０３：差分画像、３０４：二値化画像、３０５：ノイズ領域、３０６：ノイズ除去画像、３０７：検出対象物体、３０８：ラベリング画像、３０９：物体認識画像、Ｎ₁：検出物体番号、Ｘ：物体の横幅、Ｙ：物体の高さ、４０１：処理タイミング、４０２：入力画像取込みタイミング、４０２Ａ、４０２Ｂ、４０２Ｃ、４０２Ｄ、４０２Ｅ、４０２Ｆ、４０２Ｇ、４０２Ｈ：取込みタイミング、４０３：結果メモリタイミング、４０３Ａ、４０３Ｂ、４０３Ｃ、４０３Ｄ、４０３Ｅ、４０３Ｆ、４０３Ｇ、４０３Ｈ：結果メモリ更新タイミング、４０５：モニタ出力メモリタイミング、４０４Ａ、４０４Ｂ、４０４Ｃ、４０４Ｄ、４０４Ｅ、４０４Ｆ、４０４Ｇ、４０４Ｈ：モニタ出力メモリ更新タイミング、４０５：画像表示タイミング、４０５Ａ、４０５Ｂ、４０５Ｃ、４０５Ｄ、４０５Ｅ、４０５Ｆ、４０５Ｇ、４０５Ｈ：表示タイミング、Ｔｐ：処理時間、Ｔｈ：保持時間[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring device using a television camera, for example, in a CCTV device for monitoring an intruder or an intruder, in an intruder recognition image processing for recognizing an intruder or an intruder in a monitoring area. The present invention relates to an improvement in image display when an alarm occurs.
[0002]
[Prior art]
A hardware configuration of a monitoring apparatus using a conventional television camera will be described with reference to the block diagram of FIG. The known hardware includes a television camera 101, an image processing device 102, an alarm display device 116, a VTR 117, and a video monitor 118.
The image processing apparatus 102 includes an image input I / F 103 that performs A / D conversion of a video signal, an image memory 104 that performs calculation between images and stores images, a CPU 109 that performs image analysis, a work memory 111, a program memory 112, an image This is composed of an image output I / F 114 for converting the luminance signal into a video signal, a data bus 115, and an output I / F 110 for alarm output.
The image memory 104 includes an input memory 105 that stores the luminance signal obtained by the image input I / F 103, a processing memory 106 used for calculation between images, and a monitor output memory 108 that stores an image to be output to a video monitor. Is done.
The image processing apparatus 102 performs A / D conversion of the video signal of the television camera 101 using the image input I / F 103, and converts the video signal into a luminance signal of 256 gradations from 0 to 255. The luminance signal obtained by the image input I / F 103 is stored in the input memory 105 of the image memory 104. The CPU 109 performs image analysis using the work memory 111 and the image memory 104 in accordance with a program stored in the program memory 112. The image output I / F 114 performs D / A conversion of the luminance signal of the image stored in the monitor output memory 108 in the image memory 104 and converts the luminance signal into a video signal. The video signal obtained by the image processing I / F 114 is recorded on the VTR 117 and displayed on the video monitor 118. The data bus 115 is used for data transfer. When an event is detected by image analysis, an alarm is output to the alarm display monitor 116 using the output I / F 110.
[0003]
Next, the flow of object recognition will be described with reference to FIGS. 3, 5, 6, 7, and 9. FIG. 3 is an explanatory diagram of an image pattern for explaining the principle of object recognition, FIG. 6 is an operation flowchart of object recognition, FIG. 7 is a timing chart, and FIG. 9 shows an image captured on a monitor screen. First, in FIG. 3 and FIG. 6, a background image without an object is created in a background image creation step 201 to obtain a background image 301 (see FIG. 3). In the input image capturing step 202, an input image 302 is obtained from the television camera 101 (see FIG. 5). The difference processing step 203 calculates a difference for each pixel between the background image 301 created in the background creation step 201 or the background update processing step 212 and the input image 302 obtained in the input image capture step 202 to obtain a difference image 303. . In the binarization processing step 204, the difference image 303 obtained in the difference step 203 is subjected to threshold processing, pixels having a difference value equal to or smaller than a predetermined threshold value are set to a luminance value 0, and pixels having a difference value equal to or higher than the threshold value are set to a luminance value. A binary image 304 having 255 (the luminance value of one pixel is expressed by 256 gradations from 0 to 255) is obtained. In the noise removal step 205, the noise area 305 included in the binary image 304 obtained in the binarization processing step 204 is removed to obtain a noise removal image 306. Here, the noise region 305 indicates an area composed of several pixels. In the labeling step 206, an object is numbered using the noise-removed image 306 obtained in the noise removing step 205, and a labeling image 308 is obtained. The labeling step 206, are numbered as N ₁ with respect to the object region 307 obtained by the noise-free image 306. In the object recognition processing step 207, the width X and the height Y of the object are calculated using the labeling image 308 obtained in the labeling step 206, and the calculated size of the object is compared with the size of the recognized object. Extract only the objects you want to recognize. In the presence / absence determination step 208 of the object, the presence / absence of the recognition object is determined using the determination result of the object recognition processing step 207. If it is determined that there is an object, an alarm is output in an alarm processing step 211. In the image display 2 step 601, the image in the input memory 105 is copied to the monitor output memory 108 (see FIG. 5), and the image is displayed on the video monitor 118 via the bus 115 and the image output I / F 114 and VTR 117. . In the background update processing step 212, the background image 301 is updated.
[0004]
Next, the update timing of the monitor output memory will be described with reference to FIGS.
FIG. 7 shows the relationship between the processing timing 401, the input image capture timing 402, the monitor output memory timing 404, and the image display timing 405. It is assumed that the horizontal axis is time T, and the object recognition process is performed in the processing time Tp cycle. FIG. 9 shows a captured image 491 from the television camera 101 and an output display image 492 to the video monitor 118.
First, the input image A is stored in the input memory 105 at the capture timing 402A, and recognition processing is performed. The recognition result of the input image A is stored in the monitor output memory 108 at the monitor output memory update timing 404A, and is output to the VTR 117 and the video monitor 118 at the display timing 405A. Similarly, the recognition results of the input images B, C, D, E, F, G, and H stored in the input memory 105 at the capture timings 402B, 402C, 402D, 402E, 402F, 402G, and 402H are converted into the VTR 117 and the video monitor 118. Output to. At this time, the images 492 output to the VTR 117 and the video monitor 118 are the monitor output images B, C, D, E, F, G, and H in order.
For this reason, since the monitor output image D is displayed from the monitor output image A from the display timing 405A to 405D, the alarm-time image can be confirmed. However, at the monitor output memory update timing 404E, the monitor output memory 108 stores an image in which the object has gone too far as shown in the monitor output image E. Therefore, at the display timing 405E, the image E after the object has gone too far is displayed. The image cannot be confirmed.
[0005]
[Problems to be solved by the invention]
In the above conventional technology, the image displayed on the video monitor is displayed as an image obtained by processing the image captured by the camera with almost no time delay. Disappear. That is, when the supervisor leaves the video monitor, there is a possibility that the alarm-time image cannot be confirmed on the video monitor. At this time, in order to confirm the image at the time of the alarm occurrence, it is necessary to rewind and reproduce the VTR, which is a very inefficient operation.
[0006]
[Means for Solving the Problems]
In the present invention, in order to solve such a problem, the intrusion image is continuously displayed for a certain period after the intrusion of the object, and the image at the time of the alarm is recorded as an evidence image on a hard disk or the like, based on the occurrence time. Random search is made so that it can be easily displayed on the monitor.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
An example of the hardware configuration of the intruder recognition apparatus in the embodiment of the present invention is shown in FIG. This is obtained by adding a result memory 107, a hard disk 113, and a timer 119 of the image memory 1041 to the conventional hardware configuration. Reference numeral 1021 denotes a processing apparatus in this embodiment.
Next, the flow of object recognition will be described with reference to FIGS. FIG. 2 is an operation flowchart of this embodiment. FIG. 3 shows an example of an image in each processing step.
First, in the background image creation step 201, a background image without an object is created to obtain a background image 301. The input image capture step 202 obtains an input image 302 from the television camera 101. In the difference processing step 203, a difference for each pixel between the background image 301 created in the background image creation step 201 or the background update processing step 212 and the input image 302 obtained in the input image capture step 202 is calculated. obtain. In the binarization processing step 204, the difference image 303 obtained in the difference step 203 is subjected to threshold processing, pixels having a difference value equal to or smaller than a predetermined threshold value are set to a luminance value 0, and pixels having a difference value equal to or higher than the threshold value are processed A binary image 304 having 255 (the luminance value of one pixel is expressed by 256 gradations from 0 to 255) is obtained. In the noise removal step 205, the noise area 305 included in the binary image 304 obtained in the binarization processing step 204 is removed to obtain a noise removal image 306. Here, the noise region 305 is composed of several pixels. In the labeling processing step 206, an object is numbered using the noise-removed image 306 obtained in the noise removal step 205, and a labeling image 308 is obtained. The labeling step 206, are numbered as N ₁ with respect to the object region 307 obtained by the noise-free image 306. In the object recognition processing step 207, the width X and the height Y of the object are calculated using the labeling image 308 obtained in the labeling step 206, and the calculated size of the object is compared with the size of the recognized object. Extract only the objects you want to recognize. In the presence / absence determination step 208 of the object, the presence / absence of the recognition object is determined using the determination result of the object recognition processing step 207. When it is determined that there is an object in the presence / absence determination step 208 of the object, a result screen creation step 209, an image display step 210, and an alarm processing step 211 are performed. In the result screen creation step 209, the image in the input memory 105 is copied to the result memory 107, and the marker M is drawn on the object (see FIG. 8, details will be described later). In the image display step 210, the image in the result memory 107 is copied to the monitor output memory 108. In the alarm processing step 211, an alarm is output. The alarm is displayed by an alarm display monitor 116 (see FIG. 1) such as a red light. When it is determined that there is no object in the presence / absence determination step 208 of the object, a determination is made as to whether or not image holding is required in a holding necessity / unnecessity determination step 213. The necessity / unnecessity of holding is calculated using the timer 119, and it is determined that the holding is necessary when the following expression 1 is satisfied, and is unnecessary when the following equation 1 is not satisfied. The holding time needs to be determined in advance. In this embodiment, the holding time is 60 seconds.
Formula 1: (Current time)-(Time when the last report was issued) <Holding time holding required / unnecessary determination If it is determined that holding is required in step 213, the image display 1 step 210 stores the result memory 107 The image is copied to the monitor output memory 108 and the image is displayed. Since the image in the result memory 107 is not updated when holding is required, the result memory 107 stores the image at the time of the last object recognition. When it is determined that the holding is not necessary, a result screen creation step 209 and an image display 1 step 210 are performed. In the background image update step 212, the background image 301 is updated.
[0008]
Next, the update timing of the monitor output memory will be described with reference to FIG. 1, FIG. 4, and FIG.
FIG. 4 shows the relationship among the processing timing 401, input image capture timing 402, result memory timing 403, monitor output memory timing 404, and image display timing 405. It is assumed that the horizontal axis is time T, and the object recognition process is performed in the processing time _TP cycle. FIG. 8 shows an input image 491, an image 493 recorded on the hard disk, and an output image 494 to the monitor.
The input image A is stored in the input memory 105 at the input image capture timing 402A, and object recognition is performed. At the result memory update timing 403A, the result image A as the recognition result is stored in the result memory 107. At the monitor output memory update timing 404A, the image of the result memory 107 stored at the result memory update timing 403A is stored in the monitor output memory 108. At this time, the image stored in the monitor output memory 108 is the image A of the monitor output 494. At the display timing 405A, the image in the monitor output memory 108 stored at the monitor output memory update timing 404A is output to the VTR 117 and the video monitor 118. Similarly, the recognition results of the input images B, C, and D stored in the input memory 105 at the capture timings 402B, 402C, and 402D are output to the VTR 117 and the video monitor 118. At this time, the images output to the VTR 117 and the video monitor are the monitor output images B, C, and D.
At the capture timing 402E, the input image E is stored in the input memory 105, and object recognition is performed. At the result memory update timing 403E, since there is no recognized object in the input image E and the elapsed time after the recognized object has gone too far is within the holding time Th, the result memory 107 is not stored. At the monitor output update timing 404E, the image of the result memory 107 stored at the result memory update timing 403D, that is, the result image D is stored in the monitor output memory 108. At this time, the image stored in the monitor output memory 108 is the image E of the monitor output 494. At the display timing 405E, the image in the monitor output memory 108 stored at the monitor output memory update timing 404E is output to the VTR 117 and the video monitor 118. As a result, an alarm image is output to the VTR and video monitor even after the object has gone too far. Similarly, the recognition results of the input images F and G stored in the input memory 104 at the capture timings 402F and 402G are output to the VTR 117 and the video monitor 118. At this time, the images output to the VTR 117 and the video monitor are the monitor output images G and F, and the output image is an alarm image.
The input image H is stored in the input memory 105 at the capture timing 402H, and object recognition is performed. At the result memory update timing 403H, since there is no recognized object in the input image H, and the elapsed time since the recognized object has gone too far is the holding time Th, the image 493 of the monitor output memory 108 is stored in the hard disk 113, The result image H is stored in the result memory 107. At the monitor output update timing 404H, the image of the result memory 107 stored at the result memory update timing 403H is stored in the monitor output memory 108. At this time, the image stored in the monitor output memory 108 is the image H of the monitor output 494. At the display timing 405H, the image in the monitor output memory 108 stored at the monitor output memory update timing 404H is output to the VTR 117 and the video monitor 118. Thereby, the continued image display at the time of intrusion is discontinued. Therefore, in the present embodiment, the display of the alarm time image is continued from the display timing 405A to the display timing 406G, and at the same time, the monitor output image G is recorded as an evidence image on the hard disk 112 at the display timing H and is managed by the recording time. You can see the image when the alarm occurs at any time.
[0009]
In this embodiment, the method of displaying and saving the image immediately before the object goes too far by checking the presence / absence of the recognized object has been described. However, by checking the previous presence / absence of the recognized object, the recognized object is entered. It is also possible to easily realize a method for displaying and saving an image immediately after the arrival, and a method for displaying and saving an image when the object is near the center by calculating and checking the position of the object.
[0010]
【The invention's effect】
As described above, an image can be confirmed on the video monitor even if the recognized object goes too soon after the intrusion, so if the monitor returns from the holding time even if he / she leaves the video monitor, the video monitor At the same time, it is possible to check the image at the same time, and call the image at the time of the alarm from a randomly accessible storage device such as a hard disk for viewing.
[0011]
For this reason, it is possible to display on the monitor of the monitoring person what the image processing apparatus has detected and issuing an alarm, and whether the cause of the alarm is an intruder, for example, cats, dogs, etc. It is possible to surely confirm whether it is a false alarm due to a natural phenomenon such as a change in sunshine or changes in sunlight.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the hardware of an embodiment of the present invention. FIG. 2 is an operation flowchart of the embodiment of the present invention. FIG. 3 is a diagram for explaining the principle of object recognition. FIG. 5 is a block diagram showing the conventional hardware. FIG. 6 is an operation flowchart of the conventional example. FIG. 7 is a conventional image display timing chart. FIG. [Fig. 9] Image explanatory diagram in the conventional example [Explanation of symbols]
101: Television camera, 1021: Image processing device, 103: Image input I / F, 1041: Image memory, 105: Input memory, 106: Processing memory, 107: Result memory, 108: Monitor output memory, 109: CPU 110: output I / F, 111: work memory, 112: program memory, 113: hard disk, 114: image output I / F, 115: data bus, 116: alarm display monitor, 117: VTR, 118: video monitor, 119: timer, 201: background image creation step, 202: input image capture step, 203: difference processing step, 204: binarization processing step, 205: noise removal step, 206: labeling processing step, 207 object recognition processing step, 208: Object presence / absence determination step, 209: Result image Creation step, 210: image display 1 step, 211: alarm processing step, 212: background update processing step, 213: holding necessity / unnecessity determination step, 301: background image, 302: input image, 303: difference image, 304: Binary image, 305: Noise region, 306: Noise removal image, 307: Object to be detected, 308: Labeling image, 309: Object recognition image, N ₁ : Detection object number, X: Width of object, Y: Object width Height: 401: processing timing, 402: input image capture timing, 402A, 402B, 402C, 402D, 402E, 402F, 402G, 402H: capture timing, 403: result memory timing, 403A, 403B, 403C, 403D, 403E, 403F, 403G, 403H: result memory update timing, 05: Monitor output memory timing, 404A, 404B, 404C, 404D, 404E, 404F, 404G, 404H: Monitor output memory update timing, 405: Image display timing, 405A, 405B, 405C, 405D, 405E, 405F, 405G, 405H : Display timing, Tp: Processing time, Th: Holding time

Claims

In a monitoring apparatus using a television camera that performs image analysis on a video signal obtained from a television camera that captures an image in the monitoring area, and recognizes an object to be monitored in the monitoring area.
The image processing apparatus includes:
A first memory for storing an image obtained from the video signal; a second memory for copying the image in the first memory; and copying the image in the second memory and using the copied image on a monitor And a monitor output memory that outputs for display,
The image processing apparatus includes:
When it is determined that there is an object in the video signal from the television camera, the image copied to the first memory is copied to the second memory, and the image copied to the second memory is output to the monitor. By copying to memory, display the image obtained from the video signal determined to be an object on the monitor,
When it is determined that there is no object in the video signal from the television camera, the image of the first memory is not copied to the second memory, so that the detected object is constant after being deviated from the monitoring area. A monitoring apparatus using a television camera, wherein an image of the detected object is continuously displayed on the monitor for a period .

In the monitoring device of the television camera according to claim 1,
The image processing apparatus includes:
When it is determined that there is an object to be monitored in the video signal from the television camera, the image copied to the first memory is copied to the second memory, and a marker is drawn on the object, By copying the image to the monitor output memory, the image obtained from the video signal determined to be an object on the monitor is displayed,
When it is determined that there is no object in the video signal from the television camera, the image of the first memory is not copied to the second memory, so that the detected object is constant after being deviated from the monitoring area. A monitoring apparatus using a television camera, wherein an image of the detected object is continuously displayed on the monitor for a period .

In the monitoring apparatus, the television camera according to claim 1 or 2,
The image processing apparatus includes:
When it is determined that there is no object to be monitored in the video signal from the TV camera, it is determined whether the image in the monitor output memory needs to be retained or not,
If it is determined that the image in the monitor output memory needs to be retained, the image in the first memory is not copied to the second memory, so that a certain period after the detected object is removed from the monitoring area A monitoring apparatus using a television camera, which continuously displays an image of the detected object on the monitor.

In the monitoring apparatus, the television camera according to claim 1 or 2,
The image processing apparatus includes:
When it is determined that there is no object to be monitored in the video signal from the television camera, it is determined whether or not the image in the monitor output memory needs to be retained, and when it is determined that the image in the monitor output memory does not need to be retained The apparatus for monitoring using a television camera, wherein an image in the first memory is copied to the second memory, and the copied image is copied to a monitor output memory.

In monitoring using a television camera that analyzes a video signal obtained from a television camera that captures the inside of a surveillance area to recognize an object to be monitored and displays an image output from a monitor output memory on the monitor. And
An input image capturing step for storing an input image obtained from the television camera in a first memory, and a difference for obtaining a difference image by calculating a difference for each pixel between the input image obtained in the input image capturing step and a background image. Object to be recognized by calculating the size of the object detected as a difference from the processing step and the difference image obtained in the difference processing step, and comparing the size of the calculated image with the size of the object to be recognized as a monitoring target Extracting only, and the presence / absence determination step of determining the presence / absence of an object in the monitoring area;
When it is determined that there is an object in the presence / absence determination step of the object , a screen creation step for copying the image in the first memory to the second memory, and the image copied in the screen creation step in the monitor output memory A screen display step of copying and displaying the image copied in the screen creation step on the monitor; a step of generating an alarm;
An image holding necessity determination step for determining whether image holding is necessary when it is determined that there is no object in the object presence / absence determining step;
If it is determined in the image holding necessity unnecessary step that the image holding is necessary, the image stored in the first memory is not copied to the second memory, so that the detected object is fixed after being deviated from the monitoring area. An image holding step for continuously displaying an image of the detected object on the monitor for a period of time , and a monitoring method using a television camera.

In the monitoring method using the television camera of Claim 5,
When it is determined in the image holding necessity unnecessary step that image holding is not required, the image in the first memory is copied to the second memory, and the copied image is copied to a monitor output memory. Monitoring method using a camera.