JP4764487B2 - 映像監視システム - Google Patents

Description

本発明は、カメラなどの撮像機器から取得する映像から画像データを記録する機能を有し、いわゆる映像記録装置などの監視装置や画像認識機能による侵入者検知や、移動ロボットなどに搭載する接近者検知などの機能を実現する映像監視システムであって、特に、撮像機器が移動する場合における移動体検出機能に優れた映像監視システムに関する。

カメラなどの撮像機器から取得した映像に画像処理を施し、監視エリアに現れる人や車両などの移動物体を検出する機能を有する映像監視システムがある。この映像監視システムは、検出結果を利用することで移動物体の出現した映像のみ記録する機能、表示装置に警告アイコンを提示する機能、ブザー等を鳴らして監視員に注意を促す機能などを有する。このため、以前は常時確認作業が必要であった監視業務の負担低減に役立っている。また、この映像監視システムでは、窃盗などの犯罪行為や不正行為が発生した場合、記録した映像を事後の犯罪捜査などに役立てることも可能である。

近年、犯罪の多様化、犯罪件数の増加、検挙率の低下などにより量販店や金融機関、ビル・オフィス等での防犯意識が高まり、映像監視システムの導入が進んでいる。映像記録装置も大容量化し、ネットワークカメラなどの普及により様々な場所にカメラが設置されることで、カメラ台数も増加している。先に述べたように犯罪行為等を監視員の目視作業により記録映像から洗い出すことは非常に負担が大きいため、監視業務を支援する機能への要望が高まっている。

さらに、カメラを旋回・俯仰させる雲台を有し侵入者を追跡するパンチルトズームカメラや、ロボットなどの視覚認識として搭載されるカメラなど、映像監視システムの応用範囲も広がりを見せている。ここで問題となるのがカメラの移動である。カメラが移動すると、監視対象である物体のほか、背景画像もカメラ視野内で移動してしまう。通常、固定カメラでの画像認識処理は基準となる背景画像を取得し、それと入力画像との差分を算出することで移動物体を検出する方法が知られている。

従来、ズーム機能付きカメラから得られる映像信号による画像における変化を検出し、この検出結果に応じてこのカメラにおいてなされたフレームワークを推定し、そして、この推定に基づき過去の画像に対して変形を加え、変形を加えられた画像とカメラからの入力画像とに基づき移動物体の画像を抽出し、この抽出結果に対して画像認識処理を行う画像処理装置が知られている（特許文献１参照）。

また、屋外などの撮像条件が多様に変わる状況では、明るさの変化やノイズなどに対して安定した画像処理が必要となる。明るさの変化に対して頑健な手法として、非特許文献１に示す手法が知られている。この手法は画像明るさ勾配を方向符号というデータとして符号化するものであり、明るさの変化に対してロバストな手法である。

特開２００２−３４４９６０号公報

ULLAH Farhan ほか著 "Orientation Code Matching for Robust Object Search (Special Issue on Image Recognition and Understanding)", IEICE transactions on information and systems, Vol.E84-D, No.8(20010801), pp. 999-1006, ２００１年８月１日，社団法人電子情報通信学会

しかしながら、特許文献１に記載の画像処理装置では、カメラの映像信号と雲台カメラの旋回情報に基づいて、基準となる背景画像の再構成を試みるものである。この画像変形による再構成は処理負荷がかかり、また、雲台カメラの旋回情報が得られるという特定の条件下でないと実施できない問題点がある。さらに、映像カメラシステムのコスト増を招く問題点がある。

また、非特許文献１に記載の方法は、予め定めたテンプレートとの照合、もしくは検査などの固定された環境下で適用可能なものであり、カメラ移動など動的に変わる状況下では適用することが困難である問題点がある。

本発明は、背景や環境が時々刻々と変わる状況に対処し、撮像した映像に出現する移動体を効率よく検出できる映像監視システムを提供することを課題とする。

前記課題を解決するために、本発明における映像監視システムは、カメラなどの撮像機器から取得した映像信号から移動体を検出する移動体検出部と、移動体検出部の情報と映像取得部から取得した映像を記録媒体に記録する記録部とを有し、移動体検出部の結果を出力する出力部で構成される映像監視システムにおいて、移動体検出部の前段の移動体候補領域抽出部において入力画像の明度勾配方向を量子化した方向符号を算出する手段と、複数の画像と所定の空間内における前記方向符号の出現頻度を表す時空間ヒストグラムを算出する手段と、時空間ヒストグラムの統計的な時空間評価値を算出する手段とで構成され、時空間評価値の値から移動体か否かを判定することが可能となる。

本発明によれば、方向符号の時空間での変化を算出するために時空間豊富度を採用することで、背景や環境が時々刻々と変わる状況においても、撮像した映像に出現する移動体を効率よく検出できる映像監視システムを実現できる。

本発明による一実施形態の映像監視システムを示すブロック図である。 移動体候補領域抽出部を詳細に示すブロック図である。 時空間豊富度算出手段における処理を示すフローチャートである。 方向符号化を示す説明図であり、（ａ）は、原画像を示す図であり、（ｂ）は、エッジ強調フィルタを施した画像を示す図であり、（ｃ）は、（ｂ）に示す画像の明度勾配方向を示す図であり、（ｄ）は、（ｃ）に示す明度勾配方向に方向符号を割り当てた状態を示す図である。 （ａ）は、時空間の概念を示す図であり、（ｂ）は、（ａ）に示す時空間における時空間ヒストグラムの例を示す図である。 本実施形態における時空間ヒストグラムの一例であり、（ａ）は移動体出現領域のものであり、（ｂ）は背景領域のものである。 移動体検出部を詳細に示すブロック図である。 本実施形態の出力例を示す画面図である。

以下、本発明の一実施形態について、添付の図面を参照し、詳細に説明する。
図１は、本発明による一実施形態の映像監視システム１を示すブロック図である。
この映像監視システム１は、カメラ１０と、出力部２０と、記録媒体３０と、画像認識装置４０とを備えている。実際には、この映像監視システム１は、カメラ１０、記録媒体３０、出力部２０で構成されるシステムに電子計算機システムを適用した構成である。この電子計算機システムのハードウェアは、ＣＰＵ、メモリ、Ｉ／Ｏなどを含み、所定のソフトウェアが実行可能にインストールされることによって、各図にブロックで表現される各機能部が実現されている。

カメラ１０は、ズーム機能を有するカメラレンズ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子（いずれも図示せず）を含む撮像機器である。このカメラ１０は、取得した映像信号を画像認識装置４０の映像取得部１００（後記）へ出力する。また、このカメラ１０は、雲台に載置され俯仰および旋回が可能なパンチルトズームカメラである。

記録媒体３０は、ハードディスクドライブ、フラッシュメモリなどの電子記録媒体であり、磁気テープ記憶装置など、データ記憶可能なものであればよい。
記録媒体３０は、カメラ１０から取得した映像データに、パラメータ情報、画像認識装置４０で取得した画像認識情報を付加し、保存する。

出力部２０は、液晶表示装置やＣＲＴ（Cathode Ray Tube）表示装置などの表示装置である。出力部２０を備える代わりに、ＲＧＢ（Red-Green-Blue）モニタ出力、または、ネットワーク経由でのデータ出力などを行う構成としてもよい。パラメータ設定はユーザインターフェースより実行される。出力部２０のユーザインターフェースは、マウスやキーボードなどの入力装置（図示せず）を含み、ユーザによるパラメータなどの入力を受け付ける。

次に、画像認識装置４０について、詳細に説明する。
画像認識装置４０は、カメラ１０から転送された映像を取得する映像取得部１００と、移動体の候補領域を算出する移動体候補領域抽出部１０１と、この移動体候補領域抽出部１０１で取得した領域に対して、移動体かどうか判断する移動体検出部１０２と、映像取得部１００で取得した映像に時間情報などの付加情報を付加して記録媒体３０に保存する記録部１０３と、を備えている。

映像取得部１００は、カメラ１０から取得した映像信号を、画像認識処理や映像記録に適した画像データに変換して出力する。ここで、画像データは、１次元配列または２次元配列の画像データとして取得される。映像取得部１００は、さらに、この画像データに、ノイズやフリッカなどの影響を低減するため、前処理として平滑化フィルタや輪郭強調フィルタ、濃度変換などの処理を施してもよい。また、用途に応じてＲＧＢカラーやモノクロなどのデータ形式を選択してもよい。あるいは、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。

移動体候補領域抽出部１０１は、映像取得部１００から取得した画像データに対して所定の画像処理を実行する。この画像処理は、後記するように、映像内に出現する移動体の候補領域を抽出する処理である。

図２は、移動体候補領域抽出部１０１を詳細に示すブロック図である。
移動体候補領域抽出部１０１は、時空間豊富度算出手段２００と、フレーム差分手段２０１と、基準画像２０３を作成する基準画像作成手段２０２と、移動体候補領域抽出手段２０４と、を備えている。

移動体候補領域抽出部１０１が実行する前記画像処理は、次の（１）〜（３）の通りである。
（１）時空間豊富度算出手段２００によって、画像データから時空間豊富度を算出する。
（２）基準画像作成手段２０２によって画像データから算出した、または、所定条件であらかじめ算出してある基準画像２０３と、入力画像とのフレーム差分をフレーム差分手段２０１によって算出する。
（３）時空間豊富度とフレーム差分の結果から、移動体候補領域抽出手段２０４によって、移動体候補領域を算出する。

時空間豊富度算出手段２００は、時空間豊富度を算出する機能を有する。時空間豊富度は、特許請求の範囲の「時空間評価値」の具体例であり、方向符号化した情報の情報量（エントロピー）を算出することで得られる。

図４は、方向符号化を示す説明図であり、図４（ａ）は、原画像を示す図であり、図４（ｂ）は、エッジ強調フィルタを施した画像を示す図であり、図４（ｃ）は、図４（ｂ）に示す画像の明度勾配方向を示す図であり、図４（ｄ）は、図４（ｃ）に示す明度勾配方向に方向符号を割り当てた状態を示す図である。
図４に示すように、方向符号化とは、まず画像の明度勾配を算出し、その勾配方向を所定の方向に量子化し符号化する処理である。

図３は、時空間豊富度算出手段２００における処理を示すフローチャートである。
まず、画像内の各画素ｐ(ｘ，ｙ)の入力画像Ｉ_ｘｙについて、水平方向、垂直方向（鉛直方向）の各エッジ勾配ΔＩ_ｕ，ΔＩ_ｖを算出する（ステップＳ１）。
ここで、エッジ勾配ΔＩ_ｕ，ΔＩ_ｖの算出にはエッジ強調フィルタを用いることとする。エッジ強調フィルタとしてゾーベル（Sobel）フィルタを用いる場合、その水平方向の算出係数ＦＬＴ_ｈ、垂直方向の算出係数ＦＬＴ_ｖは、次の式（１）のとおりとなる。ゾーベルフィルタの代わりに、プレヴィット（Prewitt）フィルタなどの他のエッジ強調フィルタを用いてもよい。

次に、式（１）によるフィルタ演算によって算出されたエッジ勾配ΔＩ_ｕ，ΔＩ_ｖを用いて、エッジ強度ρ_ｘｙを、式（２）により算出する（ステップＳ２）。

次に、ρ_ｘｙ＞Γ_ρであるか否かを判断する（ステップＳ３）。ここで、Γ_ρは、あらかじめ設定されているしきい値である。
ρ_ｘｙ＞Γ_ρである場合（ステップＳ３のＹｅｓ）、すなわちエッジ強度ρ_ｘｙが所定のしきい値Γ_ρより大きい場合、エッジ方向θ_ｘｙを算出し（ステップＳ４）、次のステップ（ステップＳ５）へ進む。
ρ_ｘｙ＞Γ_ρでない場合（ステップＳ３のＮｏ）、すなわちエッジ強度ρ_ｘｙが所定のしきい値Γ_ρ以下である場合、エッジ方向θ_ｘｙを算出せず、次のステップ（ステップＳ５）へ進む。

つまり、ステップＳ４では、エッジ強度ρ_ｘｙの値が低い場合、ノイズ等の影響を大きく受けている場合があるため、あらかじめ設定したしきい値Γ_ρを用いて、該当する画素には方向符号を与えないようにする。しきい値を超えた画素ｐ（ｘ，ｙ）ではエッジ方向θ_ｘｙを、式（３）により算出する。

次に、算出したエッジ方向θ_ｘｙから方向符号Ｃ_ｘｙを式（４）により算出する（ステップＳ５）。ステップＳ４を経由して処理が行われた場合、すなわちρ_ｘｙ＞Γ_ρであった場合、θ_ｘｙ／Δ_θにより、方向符号Ｃ_ｘｙを求める。ステップＳ４を経由しないで処理が行われた場合、すなわちρ_ｘｙ＞Γ_ρでなかった場合、方向符号Ｃ_ｘｙはＮ＝２π／Δ_θとなる。

なお、ここでは、予め定めた量子化数Ｎで、全勾配方向２ΠをΔ_θごとに分割し、分割した勾配方向ごとに方向符号Ｃ_ｘｙを割り当てている。例えば、図４（ｄ）に示すように量子化数Ｎを１６とした場合では、方向符号Ｃ_ｘｙは、Ｃ_ｘｙ＝｛０，１，…，１５｝となる。また、ステップＳ３でしきい値Γ_ρ以下であった画素ｐ（ｘ，ｙ）については、方向符号Ｃ_ｘｙは、量子化数Ｎで与えられる最大値とする。例えば、前記したように量子化数を１６とした場合、Ｃ_ｘｙ＝１６となる。この方向符号を与えられた画素は、無効な方向符号を有する画素である。ここまでが、画像データの方向符号化処理である。

このように、時空間豊富度算出手段２００は、特許請求の範囲の「方向符号算出手段」として機能する。

図５（ａ）は、時空間の概念を示す図であり、図５（ｂ）は、図５（ａ）に示す時空間における時空間ヒストグラムＰ_ｘｙｔの例を示す図である。
図５（ａ）に示すように、この時空間では、ｘｙ平面からなる画像が時刻ｔ方向にわたって、時刻Ｔ−Ｍから時刻ＴまでＭ枚連なっている。各画像には、寸法がＬ×Ｌである平面領域が設定されている。こうして、ｘｙ領域での寸法がＬ×Ｌで、時間的長さがＭである、時空間での形状が直方体状の領域が設定される。この領域を空間Ｓ（図示せず）とする。

図５（ｂ）に示す時空間ヒストグラムＰ_ｘｙｔは、この空間Ｓについて、後記するように処理を行って得たものであり、縦軸方向に方向符号Ｃ_ｘｙの出現頻度、横軸方向に方向符号Ｃ_ｘｙの値を示したものである。なお、図５において、ｉはＣ_ｘｙの値である。

次に、算出した方向符号Ｃ_ｘｙと、ｘｙ領域Ｌ×Ｌ、時間方向にＭの空間Ｓにおいて既にこれまで算出していた方向符号群Ｃ_ｘｙｔ∈Ｓから、方向符号Ｃ_ｘｙの出現頻度の時空間ヒストグラムＰ_ｘｙｔを算出する（ステップＳ６）。時空間ヒストグラムＰ_ｘｙｔは、まず、方向符号Ｃ_ｘｙｔの出現頻度を表すｈ_ｘｙｔを式（５）で算出する。ここで、δはクロネッカーデルタである。

さらに、エッジ強度ρ_ｘｙがしきい値Γ_ρ以下であり無効な方向符号と考えられるｈ_ｘｙｔ（Ｎ）と、空間Ｓを考慮して相対度数により表現される時空間ヒストグラムＰ_ｘｙｔを式（６）で算出する。
このように、時空間豊富度算出手段２００は、特許請求の範囲の「時空間ヒストグラム算出手段」としても機能する。

次に、時空間豊富度Ｒ_ｘｙｔを算出する（ステップＳ７）。ここでは、時空間エントロピーＥ_ｘｙｔを時空間ヒストグラムの評価値として表現し、最大エントロピーＥ_ｍａｘを考慮した上で、時空間豊富度Ｒ_ｘｙｔを算出する。式（７）に最大エントロピーＥ_ｍａｘ、式（８）に時空間エントロピーＥ_ｘｙｔと時空間豊富度Ｒ_ｘｙｔの数式を示す。α_ｅはしきい値の重み係数であり、画像の特徴に応じて適宜設定する。
このように、時空間豊富度算出手段２００は、特許請求の範囲の「時空間評価値算出手段」としても機能する。

画素ｐ（ｘ，ｙ）の位置における時空間豊富度Ｒ_ｘｙｔは、背景に対して移動物体が出現した場合、カメラ１０に移動や揺れが発生した場合でも、図６（ｂ）に示すように、背景領域の空間Ｓでは特定の方向符号の出現確率が高い。つまり、エントロピーの値が小さくなる。
他方、図６（ａ）に示すように、人などの移動により様々な方向符号が検出された場合は、時空間豊富度が高くなる。つまり、エントロピーの値が大きくなる。
この性質を利用することで移動物体と背景領域を判定し分離する。つまり、Ｒ_ｘｙｔ＞Γ_Ｒであるか否か判断する（ステップＳ８）。ここで、Γ_Ｒは予め設定した時空間豊富度のしきい値である。

Ｒ_ｘｙｔ＞Γ_Ｒである場合（ステップＳ８のＹｅｓ）、つまり、移動物体が検出されたとき、移動物体候補位置の決定を行い（ステップＳ９）、次のステップＳ１０へ進む。具体的には、ステップＳ９では、しきい値を超えた画素ｐ（ｘ，ｙ）に対して、移動物体候補位置Ｏｂｊ_ｘｙ＝Ｒ_ｘｙｔと決定する。
Ｒ_ｘｙｔ＞Γ_Ｒでない場合（ステップＳ８のＮｏ）、次のステップＳ１０へ進む。

次に、全画面について処理したか否か判断する（ステップＳ１０）。
処理した場合（ステップＳ１０のＹｅｓ）、この処理を終了する。
処理していない場合（ステップＳ１０のＮｏ）、ステップＳ１に戻り、未処理の画素について処理を繰り返す。
このように、これらの処理を画像データのｘｙ空間全体に対して実行する。

次に、図２に戻り、フレーム差分手段２０１における処理について説明する。本実施形態では、一般的な方法として、移動体の候補領域を算出するためにフレーム差分を用いている。フレーム差分とは、例えば、あるフレームの画像データと、その前時間などにおけるフレームの画像データとの差分を取得して、短時間に発生する画像の変化を検出したものである。この処理を行った後に、移動物体の候補領域を算出することで移動体候補領域の算出精度を向上させることができる。移動体の候補となる領域を算出することが目的であり、ヒストグラムマッチングやオプティカルフローなどの画像処理を用いてもよい。

まず、フレーム差分手段２０１による処理に先立って、基準画像作成手段２０２において、前時間の画像データから基準画像２０３を生成する（または、あらかじめ基準画像２０３を生成しておく）。ここでは処理の軽減のため、単に、前フレームの画像を基準画像２０３とする。フレーム差分は移動体候補領域やノイズを検出するので、明らかに背景である領域を削除することにも役立つ。基準画像２０３をＢ_ｘｙと表現するとフレーム差分Ｓｕｂ_ｘｙは、
Ｓｕｂ_ｘｙ＝｜Ｂ_ｘｙ−Ｉ_ｘｙ｜（ｉｆ Ｓｕｂ_ｘｙ＞Γ_ｓｕｂ）
と表現される。Ｓｕｂ_ｘｙはしきい値Γ_ｓｕｂによる処理を実行して、２値化画像として表現する。

次に移動体候補領域抽出手段２０４の処理について説明する。時空間豊富度算出手段２００とフレーム差分手段２０１で算出したＯｂｊ_ｘｙを用いる。式（９）により、時空間豊富度の高い領域とフレーム差分値の高い領域とで論理積（ＡＮＤ）をとり、移動体候補領域Ｄ_ｘｙとする。この手続きにより、Ｄ_ｘｙは、移動体候補領域の時空間豊富度Ｒ_ｘｙｔと同様となる。

図７は、移動体検出部１０２を詳細に示すブロック図である。
移動体検出部１０２は、候補領域整形手段７００と、ラベリング手段７０１と、移動体領域算出手段７０２と、を備えている。

前記した通り、ここまでで移動体候補領域がＤ_ｘｙとして算出されている。まず、候補領域整形手段７００は、Ｄ_ｘｙの整形処理を実行する。移動体候補を人として考えた場合、例えばガウシアンフィルタＧを、Ｇ＝（１０×２０）の縦長の窓を用いて画像データ全体にフィルタリングする。このように、検出したい移動体の大きさ（面積、寸法）や形状、撮像環境の空間情報（カメラ１０の視野に関する情報）を考慮して整形処理を実行することが望ましい。この候補領域の２値化整形処理を式（１０）に示す。

次に、ラベリング手段７０１は、Ｂｉｎ_ｘｙを物体ごとにラベリング処理し、矩形領域や面積などを算出する。
移動体領域算出手段７０２は、物体の面積やアスペクト比などを予めカメラ設置状況や検出対象の物体情報からしきい値として設定してあり、検出すべき領域を残し、ノイズを除去する。

ここで算出した移動体領域は出力部２０および記録部１０３に出力する。出力部２０では、移動体の矩形領域などを出力することが可能である。また記録部１０３では、移動体が侵入した場合のみ映像を記録するなどの制御することが可能となる。

図８は、本実施形態の出力例を示す画面図である。
左上は結果であり、（Ａ）が人物領域の矩形である。右上は、方向符号を可視化したものである。左下は、時空間豊富度Ｒ_ｘｙｔに対してガウシアンフィルタＧを実行した結果であり、（Ｂ）が、Ｒ_ｘｙｔが所定の値を超えていると判定された画素としての移動体候補領域である。右下は、移動体候補領域をラベリング処理などで２値化したものであり、（Ｃ）が移動体のラベリング結果である。入力映像が微小に揺れているが、移動体である人物領域を検出することに成功している。

本発明によれば、方向符号の時空間での変化を算出するために時空間豊富度特徴を採用することで、背景や環境が時々刻々と変わる環境においても、カメラ映像に出現する移動体を効率の良く検出できる映像監視システムを実現できる。

１ 映像監視システム
１０ カメラ（撮像機器）
２０ 出力部
３０ 記録媒体
４０ 画像認識装置
１００ 映像取得部
１０１ 移動体候補領域抽出部
１０２ 移動体検出部
１０３ 記録部
２００ 時空間豊富度算出手段
２０１ フレーム差分手段
２０２ 基準画像作成手段
２０３ 基準画像
２０４ 移動体候補領域抽出手段
７００ 候補領域整形手段
７０１ ラベリング手段
７０２ 移動体領域算出手段

Claims (5)

1. 撮像機器から取得した映像信号を基に画像のデータを出力する映像取得部と、前記画像のデータから移動体の候補領域を抽出する移動体候補領域抽出部と、前記候補領域が前記移動体のものであるか判断する移動体検出部と、を備えた映像監視システムであって、
   前記移動体候補領域抽出部は、
   前記画像のデータの明度勾配方向を量子化した方向符号を算出する方向符号算出手段と、
   所定の時空間内の前記方向符号の出現頻度を表す時空間ヒストグラムを算出する時空間ヒストグラム算出手段と、
   前記時空間ヒストグラムの統計上の時空間評価値を算出する時空間評価値算出手段と、
   を有し、
   前記移動体検出部は、前記時空間評価値によって前記候補領域が前記移動体のものであるか判断する、
   ことを特徴とする映像監視システム。
2. 前記時空間評価値算出手段は、前記時空間評価値として、前記時空間ヒストグラムのエントロピーを算出することを特徴とする請求項１に記載の映像監視システム。
3. 前記移動体候補領域抽出部は、基準画像とのフレーム差分を算出するフレーム差分手段を有し、前記フレーム差分を加味して前記候補領域の結果を判定することで前記移動体を検出することを特徴とする請求項１または請求項２に記載の映像監視システム。
4. 前記移動体検出部は、検出したい前記移動体の大きさまたは撮像環境の空間情報を考慮して前記候補領域の整形を実行する候補領域整形手段を有することを特徴とする請求項１から請求項３のいずれかに記載の映像監視システム。
5. 前記移動体候補領域抽出部は、前記映像取得部からの前記画像のデータを基に、前記基準画像を作成する基準画像作成手段を有することを特徴とする請求項３に記載の映像監視システム。