JP4641492B2 - 特異映像検出装置、特異映像検出方法およびプログラム - Google Patents

Description

本発明は、多数のフレームから成る映像から、特異性の高い順に部分映像を検出する特異映像検出装置および方法に関する。

この種の特異映像検出手法に類似する技術としては、日常的な映像から異常箇所を検出するものがある（例えば、非特許文献１、２参照）。

非特許文献１では、日常動作をあらかじめいくつかのカテゴリ分けしてこれとのマッチングを行っている。日常動作のように、複雑な動作でもある程度分類が可能な場合には、このような手法が有効である。しかし、一般の監視映像ではこのような動作の分類が難しいし、何を日常的であるとみなせるかが日々変化するため、このような手法を利用できない場合もある。

非特許文献２では、異常動作をあらかじめ学習しておくことで、それ以外の動作も含む映像中から異常動作を検出する。この文献では、転倒を異常動作として学習している。定義が可能な異常動作がわかっている場合にはこれを学習すればよいため、このような手法が有効である。しかし、一般の監視映像では、想定できない異常動作も多いと思われるため、このような手法が利用できない場合もある。
森，下坂，原田，佐藤，"ＳＶＭを利用した日常動作認識におけるカーネルパラメータ最適化に基づく重要運動情報の発見，"電子情報通信学会技術研究報告、ＰＲＭＵ２００３−９８，２００３． 南里，大津，"複数人動画像からの異常動作検出，"電子情報通信学会技術研究報告、ＰＲＭＵ２００４−７７，２００４．

監視カメラの映像など、長時間にわたって撮影された映像があり、普段と異なる状態を検知しなくてはならない場合、これを検知するために、従来では長時間の変化に乏しい映像を見なくてはならなかった。また、セキュリティのために、常時監視映像が撮影されており、長時間撮影された結果、蓄積容量の制限から一部分を消去せざるをえない場合、従来では重要度にかかわらず一定時刻より前のものを消去するなどの措置がとられている。

このような状況に対し、大半の定常的なシーケンスに対し、特異性の高いシーケンスから順番に映像を並べて提示することができれば、特異性の高い順にチェックを行ったり、特異性の高い映像を優先的に残して不要な映像を消去したりすることができる。

従来の技術では、あらかじめいくつかの特異であると考えられる学習用映像、または、定常的であると考えられる学習用映像が存在し、これらとの照合を行うことにより特異性を判定しなくてはならなかった。しかし、特異であると考えられる映像は学習に十分な数を得るのは困難であるし、あらかじめ想定できないケースもある。また、定常的であると考えられる映像も、逐次変化していく場合がある。

また、特異動作が日常からどの程度かけはなれているかを順番に示すという技術はこれまでなかった。

本発明の目的は、学習用の映像を用意することなく、多数のフレームから成る映像から特異性の高い順に部分映像を検出および提示できる特異映像検出装置、特異映像検出方法およびプログラムを提供することにある。

本発明は、多数のフレームから成る映像を複数のシーケンスに分割し、分割されたシーケンスから特徴ベクトルを抽出し、抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成するとともに、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出し、抽出された複数のシーケンスを算出された評価値に基づいて順位付けするようにしたもので、以下の装置、方法およびプログラムを特徴とする。

（装置の発明）
（１）多数のフレームから成る映像から、特異性の高い順に部分映像を検出する特異映像検出装置であって、
複数のフレームからなる映像を入力する映像入力部と、
前記映像入力部において入力された映像から、動物体が出現するフレームから前記動物体が消えるフレームまでの連続した複数のフレームの組をシーケンスとして抽出するシーケンス抽出部と、
前記シーケンス抽出部において抽出されたシーケンスから特徴ベクトルを抽出する特徴ベクトル抽出部と、
前記特徴ベクトル抽出部において抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成するとともに、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するクラスタ構成部と、
前記シーケンス抽出部において抽出された複数のシーケンスを、前記クラスタ構成部で算出された評価値に基づいて順位付けするソート部と、
からなることを特徴とする。

（２）前記クラスタ構成部は、特徴ベクトルの分布に基づいてクラスタリングを行い、特徴ベクトルの分布を代表する代表ベクトルに基づき各特徴ベクトルに対する評価値を算出するクラスタリング部と、前記代表ベクトルを選択する代表ベクトル選択部と、選択された代表ベクトルを記憶する代表ベクトル記憶部とからなることを特徴とする。

（３）前記特徴ベクトル抽出部は、前記シーケンス抽出部によって抽出されたシーケンスから、シーケンス内の動物体の位置の軌跡を特徴ベクトルとして抽出することを特徴とする。

（方法の発明）
（４）多数のフレームから成る映像から、特異性の高い順に部分映像を検出する特異映像検出方法であって、
複数のフレームからなる映像を入力する映像入力ステップと、
前記映像入力ステップにおいて入力された映像から、動物体が出現するフレームから前記動物体が消えるフレームまでの連続した複数のフレームの組をシーケンスとして抽出するシーケンス抽出ステップと、
前記シーケンス抽出ステップにおいて抽出されたシーケンスから特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
前記特徴ベクトル抽出ステップにおいて抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成するとともに、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するクラスタ構成ステップと、
前記シーケンス抽出ステップにおいて抽出された複数のシーケンスを、前記クラスタ構成ステップで算出された評価値に基づいて順位付けするソートステップと、
からなることを特徴とする。

（５）前記クラスタ構成ステップは、特徴ベクトルの分布に基づいてクラスタリングを行い、特徴ベクトルの分布を代表する代表ベクトルに基づき各特徴ベクトルに対する評価値を算出するクラスタリングステップと、前記代表ベクトルを選択する代表ベクトル選択ステップと、選択された代表ベクトルを記憶する代表ベクトル記憶ステップとからなることを特徴とする。

（６）前記特徴ベクトル抽出ステップは、前記シーケンス抽出ステップによって抽出されたシーケンスから、シーケンス内の動物体の位置の軌跡を特徴ベクトルとして抽出することを特徴とする。

（プログラムの発明）
（７）上記（４）〜（６）の何れかに記載の特異映像検出方法をコンピュータに実行させることを特徴とする。

以上のとおり、本発明によれば、多数のフレームから成る映像を複数のシーケンスに分割し、分割されたシーケンスから特徴ベクトルを抽出し、抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成するとともに、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出し、抽出された複数のシーケンスを算出された評価値に基づいて順位付けするようにしたため、学習用の映像を用意することなく、多数のフレームから成る映像から特異性の高い順に部分映像を検出および提示できる。

図１は、本発明の実施形態を示す特異映像検出装置の構成図であり、請求項１等に対応する。なお、各部はコンピュータのハードウェア資源とこれらに搭載するソフトウェアで実現される。

映像入力部１は、カメラ等から映像（連続した画像のフレーム）を入力する。シーケンス抽出部２は、入力された映像から、一部分の連続したフレームをシーケンスとして抽出し、番号（ラベル）を付与してシーケンス蓄積部３に出力する。このとき、外部センサ入力部４を有する場合には、外部センサ入力部４が入力した、物体の有無等を検知する外部センサからの入力信号をトリガとしてもよい。

特徴ベクトル抽出部５は、各シーケンスから、特徴ベクトルを抽出する。各特徴ベクトルには対応するシーケンスと同じラベルが付与されて特徴ベクトル蓄積部６に蓄積される。

クラスタ構成部７は、特徴ベクトル抽出部５において抽出され、特徴ベクトル蓄積部６に蓄積されている各シーケンスに対応する特徴ベクトルの分布に基づいて、クラスタを構成するとともに、各特徴ベクトルのクラスタからの距離等を表す評価値を算出する。

ソート部８は、クラスタ構成部７で用いた特徴ベクトルまたは新たに入力された特徴ベクトルをその評価値に基づいて特異性の高い順序にソートし、その順番をソート結果蓄積部９に出力する。ソート結果蓄積部９は、ソート部８でソートされた特徴ベクトルの順番を記憶する。

出力部１０は、ソート結果蓄積部９に記憶された特徴ベクトルの順番に従い、シーケンス蓄積部３からシーケンスを入力し、表示装置等に出力する。

次に、シーケンス抽出部２と特徴ベクトル抽出部５の抽出処理を図２を参照して詳細に説明する。これら抽出処理は請求項３、４等に対応する。

シーケンス抽出処理は、図２の（ａ）に示すように、入力映像から連続した複数のフレームの組を抽出し、これをシーケンスＳ₁，Ｓ₂，…とする。シーケンスは、例えば、図２の（ｂ）に示すように、動物体が画像領域に出現してから消えるまでの判定結果から抽出する。動物体の有無判定は、外部センサを用いる場合にはその検出信号を利用することができる。また、外部センサを用いない場合、動物体の有無判定は、最も簡単には、隣接する（隣り合う、または、数フレームおきの）複数のフレーム間の差分によって変化領域を検出して行うことができる（参照：文献：「コンピュータ画像処理」田村秀行 編著，オーム社）。

特徴ベクトル抽出部５は、上記のシーケンス抽出部２により検出された変化領域の動物体として、例えば、その重心などの時間変化を基に特徴ベクトルを生成する。各シーケンスＳ_kに対して、特徴ベクトル抽出部５において特徴ベクトルＴ_kを求める。特徴ベクトルとして、画像の配置そのものを用いることもできる。しかしその場合には、画像のサイズが大きいと、クラスタ構成部におけるクラスタリングの計算量が膨大になることと、特徴ベクトルの分散が大きくなり、うまくクラスタリングできないなどの問題がある。そこで、時間的な変化の情報を残しつつ、空間的にある程度の量子化を行う必要がある。それには、上述の通り、シーケンス中の動物体の中心座標の時間変化、すなわち中心軌跡を特徴ベクトルとする方法が有効である。

シーケンス中の動物体の中心軌跡を特徴ベクトルとする場合について、その求め方を説明する。例えば、図２の（ｂ）に示すシーケンスＳ_kに含まれるフレーム（ｆ₁，ｆ₂，…，ｆ_n）中の動物体の移動軌跡を、図２の（ｃ）に示すように、各フレーム中の動物体領域の中心座標（ｘ₁，ｙ₁），（ｘ₂，ｙ₂），・・・，（ｘ_n，ｙ_n）として求める。この軌跡の座標値はシーケンス中のフレームの枚数分のｎ点しか得られないため、その間は補間して連続線になるように埋め、軌跡が通過する画素を１、それ以外の画素を０とする二値の画素の並び（画像の横×縦サイズ）を特徴ベクトルとする。このとき、始点の位置が画像の中心など決まった位置にくるように軌跡の位置を正規化してもよい。これは、クラスタ構成部７においてクラスタを構成するために、ある程度特徴ベクトルに重なりをもたせるための工夫である。このようにして求められた特徴ベクトルには、対応するシーケンスと同じ番号（ラベル）を付与する。

次に、請求項２等に対応するクラスタ構成部７によるクラスタリング処理を図３および図４を参照して説明する。クラスタ構成部７は、図３に示すように、入力された特徴ベクトルをクラスタリングするクラスタリング部７Ａと、クラスタの分布を代表するようなサンプルを選択する代表ベクトル選択部７Ｂと、選択された代表ベクトルを記憶する代表ベクトル記憶部７Ｃとからなる。

クラスタリング部７Ａには、特徴ベクトル抽出部において抽出された特徴ベクトルが入力される。この特徴ベクトルのうち、特徴空間で距離が近いもののまとまりをクラスタとみなし、クラスタから遠いものほど、入力映像の中で特異性の高いシーケンスであるとみなす。新たな特徴ベクトルが加わるごとに、特徴空間における分布の偏りは変化するため、クラスタの再構成が必要である。再構成は、特徴ベクトルの数があらかじめ定めた所定値を超える毎に行うか、または、クラスタ構成部７に対してユーザの指示による再構成のリクエストが入力された場合に行うようにすればよい。

クラスタの構成の仕方には、１クラスＳＶＭ（Support Vector Machine）を用いる方法、クラスタ分析の手法、自己組織化マップを用いる方法、ｋ−ｍｅａｎｓ法を用いる方法、などがある。ここでは、例として、１クラスＳＶＭを用いる場合とクラスタ分析の場合について説明する。

クラスタリングおよび代表ベクトルの選択の方法として、１クラスＳＶＭを用いる場合には、図４の（ａ）に示すように、クラスタリング部７Ａでは、ガウシアンカーネルを用いてすべての特徴ベクトルを特徴空間へ写像し、原点からの距離を計算し、これを評価値とする。このとき、代表ベクトル記憶部７Ｃに記憶されている代表ベクトルと、入力された特徴ベクトルを合わせて計算する。代表ベクトル選択部７Ｂは、サポートベクタを代表ベクトルとして選択し、代表ベクトル記憶部７Ｃはこれを記憶する。この操作は、クラスタの再構成の度に行う。

クラスタ分析の手法を用いる場合には、図４の（ｂ）に示すように、クラスタリング部７Ａは、特徴ベクトル間の距離を計算し、近いもの同士を統合しながらクラスタを形成するクラスタリング処理を行う。このとき、代表ベクトル記憶部７Ｃに記憶されている代表ベクトルと、入力された特徴ベクトルとを合わせて計算する。ベクトル間距離を計算する前に、主成分分析などによって次元圧縮を行ってもよい。ベクトル間距離の計算は、あらかじめ定められた方法により行う。例えば、ユークリッド距離、ユークリッド距離の二乗、べき乗距離などを用いる。クラスタ同士を統合する段階では、代表ベクトル選択部７Ｂは、統合する前のそれぞれのクラスタ中心のベクトルを求め、これを代表ベクトルとし、代表ベクトル記憶部７Ｃに記憶する。

クラスタリング部７Ａは、クラスタ以外に、代表ベクトルとの距離が所定のしきい値以上の特徴ベクトルしかなくなった段階で、クラスタリングを完了する。クラスタリングが完了した後は、代表ベクトル選択部７Ｂは、各クラスタ中心のベクトルを求め、これを代表ベクトルとして代表ベクトル記憶部７Ｃに記憶する。代表ベクトルは、クラスタの再構成の度に更新される。そして、クラスタリング部７Ａが、代表ベクトルから各特徴ベクトルへの距離を計算し、これを各特徴ベクトルの評価値とする。クラスタ分析の結果、クラスタが１つではなく、複数形成されている場合には、各特徴ベクトルから最も近い代表ベクトルからの距離を計算し、これを当該特徴ベクトルの評価値とする。

以上のようにして、クラスタリングと各特徴ベクトルに対応する評価値の算出と、代表ベクトルの選択を行ったのち、クラスタリング部７Ａは、特徴ベクトルに付与されたラベルと当該特徴ベクトルの評価値を対応付けて出力する。

代表ベクトル選択部７Ｂと代表ベクトル記憶部７Ｃにおいて、代表ベクトルを選択して記憶するかわりに、クラスタを形成するすべての特徴ベクトルを代表ベクトル記憶部７Ｃに記憶してもよい。しかしその場合は、特徴ベクトルの数が増えるにつれ、再構成の度に計算量が膨大になる。そこで、それまでに入力された特徴ベクトルの特徴空間における分布を代表するような代表ベクトルを選択する。クラスタリングの手法として１クラスＳＶＭを用いる方法は、代表ベクトルの効率のよい選択を行う効果がある。

次に、ソート部８は、クラスタ構成部７から出力される特徴ベクトルのラベルと評価値を入力とし、この評価値の順に特徴ベクトルのラベルをソートし、ソート結果蓄積部９へ送る。クラスタ構成部７から出力される評価値は、その特徴ベクトルがクラスタからどの程度外れているかの程度の指標となる。例えば、クラスタ構成部７において、前述のように１クラスＳＶＭを用いた場合には、評価値の小さい順に特徴ベクトルのラベルをソートし、対応するシーケンスをその順番で出力することで、また、クラスタ構成部７において、前述のようにクラスタ分析の手法を用いた場合には、評価値の大きい順に特徴ベクトルのラベルをソートし、対応するシーケンスをその順番で出力することで、いずれも通常と違う、特異性の高い順にシーケンスを提示することができる。

次に、シーケンス抽出処理を説明する。シーケンスの抽出は、映像のフレーム間の変化検出に基づいて行うほか、外部センサによるトリガを用いることができる。外部センサを用いた動物体の有無判定の方法としては、例えば、赤外線センサや超音波センサにより物体の有無を検知する方法、レーザ等の照射と検出によって物体の有無を検知する方法、マイクによって物体の通過音などを検知する方法、圧力センサなど接触型のセンサにより物体の有無を検知する方法などを利用できる。

図５は、以上まで説明した特異映像検出処理のフローチャートを示し、以下に説明する各処理は、図１における各部１〜１０の処理機能に相当するものである。シーケンス抽出処理は、入力された映像のみから、または外部センサにより動物体の検知がなされたことをトリガ入力とし（Ｓ１）、このトリガ入力で入力映像をあらかじめ定められた基準に基づいてシーケンスに分割するシーケンス抽出処理を行う（Ｓ２）。特徴ベクトル抽出処理は、シーケンス抽出において分割されたシーケンスから特徴ベクトルを抽出する（Ｓ３）。クラスタ構成処理は、特徴ベクトル抽出処理で抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成し（Ｓ４）、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出する（Ｓ５）。ソート処理は、シーケンス抽出処理で抽出された複数のシーケンスを、クラスタ構成処理で算出された評価値に基づいて順位付けして出力する（Ｓ６）。

なお、本発明は、図１に示した装置又は図５に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。また、このプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

本発明の実施形態を示す特異映像検出装置の構成図。 実施形態におけるシーケンス抽出処理と特徴ベクトル抽出処理の態様図。 実施形態におけるクラスタ構成部のブロック構成図。 実施形態におけるクラスタ構成処理の態様図。 本発明の実施形態を示す特異映像検出方法のフローチャート。

符号の説明

１ 映像入力部
２ シーケンス抽出部
３ シーケンス蓄積部
４ 外部センサ入力部
５ 特徴ベクトル抽出部
６ 特徴ベクトル蓄積部
７ クラスタ構成部
８ ソート部
９ ソート結果蓄積部
１０ 出力部

Claims (7)

1. 多数のフレームから成る映像から、特異性の高い順に部分映像を検出する特異映像検出装置であって、
   複数のフレームからなる映像を入力する映像入力部と、
   前記映像入力部において入力された映像から、動物体が出現するフレームから前記動物体が消えるフレームまでの連続した複数のフレームの組をシーケンスとして抽出するシーケンス抽出部と、
   前記シーケンス抽出部において抽出されたシーケンスから特徴ベクトルを抽出する特徴ベクトル抽出部と、
   前記特徴ベクトル抽出部において抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成するとともに、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するクラスタ構成部と、
   前記シーケンス抽出部において抽出された複数のシーケンスを、前記クラスタ構成部で算出された評価値に基づいて順位付けするソート部と、
   からなることを特徴とする特異映像検出装置。
2. 前記クラスタ構成部は、特徴ベクトルの分布に基づいてクラスタリングを行い、特徴ベクトルの分布を代表する代表ベクトルに基づき各特徴ベクトルに対する評価値を算出するクラスタリング部と、前記代表ベクトルを選択する代表ベクトル選択部と、選択された代表ベクトルを記憶する代表ベクトル記憶部とからなることを特徴とする請求項１に記載の特異映像検出装置。
3. 前記特徴ベクトル抽出部は、前記シーケンス抽出部によって抽出されたシーケンスから、シーケンス内の動物体の位置の軌跡を特徴ベクトルとして抽出することを特徴とする請求項１に記載の特異映像検出装置。
4. 多数のフレームから成る映像から、特異性の高い順に部分映像を検出する特異映像検出方法であって、
   複数のフレームからなる映像を入力する映像入力ステップと、
   前記映像入力ステップにおいて入力された映像から、動物体が出現するフレームから前記動物体が消えるフレームまでの連続した複数のフレームの組をシーケンスとして抽出するシーケンス抽出ステップと、
   前記シーケンス抽出ステップにおいて抽出されたシーケンスから特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
   前記特徴ベクトル抽出ステップにおいて抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成するとともに、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するクラスタ構成ステップと、
   前記シーケンス抽出ステップにおいて抽出された複数のシーケンスを、前記クラスタ構成ステップで算出された評価値に基づいて順位付けするソートステップと、
   からなることを特徴とする特異映像検出方法。
5. 前記クラスタ構成ステップは、特徴ベクトルの分布に基づいてクラスタリングを行い、特徴ベクトルの分布を代表する代表ベクトルに基づき各特徴ベクトルに対する評価値を算出するクラスタリングステップと、前記代表ベクトルを選択する代表ベクトル選択ステップと、選択された代表ベクトルを記憶する代表ベクトル記憶ステップとからなることを特徴とする請求項４に記載の特異映像検出方法。
6. 前記特徴ベクトル抽出ステップは、前記シーケンス抽出ステップによって抽出されたシーケンスから、シーケンス内の動物体の位置の軌跡を特徴ベクトルとして抽出することを特徴とする請求項４に記載の特異映像検出方法。
7. 前記請求項４〜６の何れかに記載の特異映像検出方法をコンピュータに実行させるためのプログラム。

Images