JP4982472B2

JP4982472B2 - 映像監視システム、映像監視方法および映像監視プログラム

Info

Publication number: JP4982472B2
Application number: JP2008317778A
Authority: JP
Inventors: 敏雄渡辺
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2008-12-15
Filing date: 2008-12-15
Publication date: 2012-07-25
Anticipated expiration: 2028-12-15
Also published as: JP2010140371A

Description

本発明は、交通流や人込みの流れ、動物の集団の移動などの映像監視において、集団の大局的な動き・挙動を認識・計測するのに適した映像監視ステム、映像監視方法および映像監視プログラムに関する。

交通の映像監視などにおいては、個々の車両の挙動を解析して、事故や故障などの異常発見が目的の一つであるが、他方、マクロな交通状態（流れ）を知ることも重要な目的である。道路・交通状況などの遠隔監視のニーズは高く、光ファイバの普及などの通信環境の整備に合わせて監視カメラの設置は加速度的に増加する傾向にあるが、重要な地点以外では、個別の車両の挙動に関わる詳細な事象ではなく、後者の監視対象のマクロな交通状況の把握が、第一義的に求められている。

尚、従来、異常交通事象の検出システムについては例えば非特許文献１に記載のものが提案され、車両追跡法については例えば非特許文献２に記載のものが提案されている。また、本発明で利用するオプティカルフローの導出については例えば非特許文献３に記載されている。
上條俊介，原田将弘，坂内正夫，"統計モデルと意味階層の結合による交通映像異常事象検出システム"，電子情報通信学会論文誌ＡＶｏｌ．Ｊ８８−Ａ，Ｎｏ．２ｐｐ．１５２−１６３，２００５．安倍満，小沢慎治，"拘束付きグラフ分割を用いたオクルージョンに強い車両追跡"，電子情報通信学会論文誌ＡＶｏｌ．Ｊ９０−Ａ，Ｎｏ．１２ｐｐ．９４８−９５９，２００７．安居院猛，長尾智晴，"画像の処理と認識"，昭晃堂，１９９２年１１月，１１．３節ｐｐ．１６４−１７０．

通常、マクロな交通の状態は、ミクロな事象である個々の車両の挙動を求めたのち、その平均をとるなどの総合的な判定処理により求められる。しかしながら、大きなトラックによる他の車両の一部、または全部の遮蔽などのオクルージョンの問題、影、光の反射その他による画像認識における外乱要因の影響などにより、特に車両の存在密度が高い場合、個々の車両を的確に捉えることは、まだ課題も残されており、また、その対応に、多大な計算パワーを要してしまっていた。

また、個々の挙動には、車線変更や追い越しなど、一部イレギュラーなものも含まれ、個々の挙動から全体の状態に結びつけるまでの処理も必ずしも容易ではない。例えば、事故車等の回避などの車線変更は、例外とは言えず、定常／非定常の定義も困難であった。

本発明は、このような課題を鑑みて行われたものであり、例えば個々の車両などミクロな挙動を捉えずに、ダイレクトに交通流など集団のマクロな挙動を捉える映像監視システム、映像監視方法および映像監視プログラムを提供するものである。

本発明では、監視映像に対して、一定時間（例えば３０秒〜数分）のフレーム間平均処理を施した映像に対して、映像内の動きの場（オプティカルフロー）の算出を行うことを特徴とする。

フレーム間平均処理は、簡易なノイズ除去手段として知られているが、一定以上の密度のある交通流に対して、十分な時間のフレーム間平均処理を施した場合には、例えば個々の車両は全く識別できなくなるが、完全に見えなくなるわけではなく、平均処理時間の間に通過する他の車両の像と重ね合わせられることで道路の上に雲がかかったような映像となる。

映像内のオプティカルフローを求める手法については、古くより様々な検討が行われている（例えば非特許文献３参照）。これらの既存の手法を用いて、前記雲のように見えるものの動きを求めることで、ミクロな動き（この場合は個々の車両の挙動）を求めることなく、大局的な状態（この場合は交通流の平均的な状態）を求めることができる。

すなわち、請求項１に記載の映像監視システムは、撮影手段によって集団の大局的な動きを監視する映像監視システムであって、前記集団を監視対象として撮影手段によって撮影された、設定時間内の監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理手段と、前記フレーム間平均処理手段によって得られたフレーム間平均映像に対して、映像内の動きの場を算出して軌跡の動きを得るオプティカルフロー評価処理手段とを備え、前記オプティカルフロー評価処理手段によって得られた軌跡の動きに基づいて、監視対象集団の大局的な動きを求めることを特徴としている。

また、請求項２に記載の映像監視方法は、撮影手段によって集団の大局的な動きを監視する映像監視方法であって、フレーム間平均処理手段が、前記集団を監視対象として撮影手段によって撮影された、設定時間内の監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理ステップと、オプティカルフロー評価処理手段が、前記フレーム間平均処理手段によって得られたフレーム間平均映像に対して、映像内の動きの場を算出して軌跡の動きを得るオプティカルフロー評価処理ステップとを備え、前記オプティカルフロー評価処理ステップによって得られた軌跡の動きに基づいて、監視対象集団の大局的な動きを求めることを特徴としている。

また、請求項３に記載の映像監視プログラムは、コンピュータに請求項２に記載の各手順を実行させる映像監視プログラムである。

本発明によれば、フレーム間平均処理を施した監視映像に対してオプティカルフローを求める手順をとることで、例えば交通監視においては、個々の車両の挙動を求めずに、ダイレクトに大局的な交通状態を導出することができる。

フレーム間平均処理を施すことにより、例えば、一時的に画面を大きく遮るようなトラックが走行しても、フレーム間平均映像では、ほとんど識別できない程度に影響が減じられるため、一般の交通監視などで課題となる、車両間のオクルージョンの問題は生じない。

また、車線変更などの一時的なイレギュラーな挙動は、フレーム間平均映像ではほとんど残らず、また、一方で、車線変更でも、故障車回避のために多くの車両がとる挙動については、前述した雲のような残像として捉えられるため、定常／非定常な挙動の識別も自動的に行うことができるため、少ない計算負荷で、ロバスト・効率的に大局的な交通状態（集団の動き）を得ることができる。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は、本発明を交通監視に適用した映像監視システムの一実施形態例の構成を示すブロック図である。

図１において、１００は監視対象の例えば道路を撮影する、固定された監視カメラ（撮影手段）である。２００は、監視カメラ１００により取得された交通監視映像に対して、直近のあらかじめ設定された時間（フレーム）で逐次、フレーム画像の画素毎の画像信号を平均化するフレーム間平均処理を施してフレーム間平均映像を得るフレーム間平均処理手段である。

３００は、前記フレーム間平均処理手段２００により得られたフレーム間平均映像に対して、映像内の動きの場（オプティカルフロー）を算出して軌跡の動きを得るオプティカルフロー評価処理手段である。

４００は、オプティカルフロー評価処理手段３００によって得られた軌跡の動きに基づく大局的交通状態を出力する（例えば表示装置に表示する）出力手段である。

前記フレーム間平均処理手段２００およびオプティカルフロー評価処理手段３００の各機能は、例えばコンピュータによって達成される。

前記フレーム間平均処理手段２００の詳細は図２のように構成されている。図２において、ｎフレームの平均処理を行う場合には、監視カメラ１００から入力される映像の各画素の画像信号に対して、ｎフレーム分の時間遅れ映像を時間遅れ映像作成部２１０_-１〜２１０_-（ｎ−１）によって各々作成し、それを除算部２２０_-０〜２２０_-（ｎ−１）によって各々ｎで除し、加算部２３０_-１〜２３０_-（ｎ−１）によって足し合わせることで、元の監視映像からフレーム間平均映像が作成できる。

なお、図２では連続したｎフレーム全てに対して平均処理を行っているが、本発明におけるフレーム間平均処理は、必ずしも全フレームである必要はなく、例えば、２フレームに１枚のように間引いた状態で平均処理を行うことによっても効果が得られる。

図３は本発明の効果を説明するイメージ図であり、図３（ａ）が生監視映像であり、片側二車線の道をスムーズに車両が走行している状態である。図３（ｂ）は図３（ａ）のフレーム間平均映像であり、フレーム間平均処理を行う時間は、平均的に各車両が画面右端に現れ、左端で消滅するのに要する時間より長いものとする。図３（ｃ）は図３（ｂ）のフレーム間平均映像のオプティカルフローをオプティカルフロー評価処理手段３００によって求めた結果を表すものである。

ｎフレームのフレーム間平均映像においては、１枚毎の画像の影響が１／ｎになるということである。不変的な構造物は、ｎ枚分足し合わせることで元の状態に戻るが、移動物体は、ｎが大きくなるにつれて、各フレームの像が不明瞭になり、十分にｎを大きくすると、人間では識別できなくなる。しかしながら、実際にはたくさんの車両が走行しており、ｎフレームの間に何台もの車両が通過する。仮にｎフレームの間の通過車両数をｍ台とすると、ある画素における車両の出現比はｍ／ｎとなり、フレーム間平均映像（図３（ｂ））では、交通軌跡が、出現比に応じた濃さで雲のような感じに残ることになる。ここで重要なことは、車線変更などのイレギュラーな走行は、ｍ台分の車両画像の重ね合わせが起こらないため、交通軌跡の中で目立たなくなる、すなわちフレーム間平均映像における雲のような交通軌跡は大局的な交通流を表しており、このフレーム間平均映像のオプティカルフローを求め、交通軌跡の動きを捉えることで、すなわち個々の車両の動きにとらわれない大局的な交通状態が得られることになる。

オプティカルフロー評価処理手段３００におけるオプティカルフローの導出については、以前より多くの研究が行われており、基本的な部分は確立された技術である。オクルージョン、陰影の扱いなど、画像処理上の実用課題は残されており、現在でも引き続き盛んに研究が行われているが、本発明においては、元の交通監視映像にフレーム間平均処理を行うことにより、車両間のオクルージョンなどの問題が発生せず、雲のような交通軌跡（例えば前記図３（ｂ））の動きを求めれば良いだけであるため、初歩的なオプティカルフロー導出手法を用いることで、雲のような交通軌跡の動き（例えば前記図３（ｃ））、すなわち大域的な交通流を、平易に求めることができる。

次に本発明の映像監視方法の実施形態例を説明する。本実施形態例では、図１〜図３で述べた映像監視システムにおける各処理を実行するものである。

すなわち、
ステップＳ１；フレーム間平均処理手段２００が、集団を監視対象として監視カメラ１００によって撮影された、直近の設定時間内の交通監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得る。

ステップＳ２；オプティカルフロー評価処理手段３００が、前記フレーム間平均処理手段２００によって得られたフレーム間平均映像に対して、映像内の動きの場を算出して交通軌跡の動きを得る。

ステップＳ３；出力手段４００が、前記オプティカルフロー評価処理手段３００によって得られた交通軌跡の動きに基づく大局的交通状態を出力する（例えば表示装置に表示する）。

また、本実施形態の映像監視システムにおける各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の映像監視方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌｄｉｓｋ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、メモリカード、ＣＤ（ＣｏｍｐａｃｔＤｉｓｋ）−ＲＯＭ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

尚、ここまでの説明では、主に交通監視を例に説明してきたが、本発明は繁華街の人込みの流れ、自然界の動物の群れ・集団などの監視・観察にも無論適用可能である。

本発明の実施形態例の構成を示すブロック図。本発明の実施形態例におけるフレーム間平均処理手段の詳細を示す構成図。本発明の実施形態例におけるフレーム間平均処理およびオプティカルフロー評価処理の適用例を示す説明図。

符号の説明

１００…監視カメラ、２００…フレーム間平均処理手段、３００…オプティカルフロー評価処理手段、４００…出力手段。

Claims

撮影手段によって集団の大局的な動きを監視する映像監視システムであって、
前記集団を監視対象として撮影手段によって撮影された、設定時間内の監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理手段と、
前記フレーム間平均処理手段によって得られたフレーム間平均映像に対して、映像内の動きの場を算出して軌跡の動きを得るオプティカルフロー評価処理手段とを備え、
前記オプティカルフロー評価処理手段によって得られた軌跡の動きに基づいて、監視対象集団の大局的な動きを求めることを特徴とする映像監視システム。
撮影手段によって集団の大局的な動きを監視する映像監視方法であって、
フレーム間平均処理手段が、前記集団を監視対象として撮影手段によって撮影された、設定時間内の監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理ステップと、
オプティカルフロー評価処理手段が、前記フレーム間平均処理手段によって得られたフレーム間平均映像に対して、映像内の動きの場を算出して軌跡の動きを得るオプティカルフロー評価処理ステップとを備え、
前記オプティカルフロー評価処理ステップによって得られた軌跡の動きに基づいて、監視対象集団の大局的な動きを求めることを特徴とする映像監視方法。
コンピュータに請求項２に記載の各手順を実行させる映像監視プログラム。