JP5002575B2 - 非定常度推定装置、非定常度推定方法、非定常度推定プログラム - Google Patents

Description

本発明は、映像中に含まれる動物体の動きに基づく特徴量からシーンの非定常度を識別する技術に関する。

近年、多数のカメラを備えた映像監視システムが普及し、監視業務の効率化が必要とされている。そのため、映像監視システムに映像蓄積機能だけでなく、動物体検出機能や人物追跡機能など、映像から情報を抽出する機能が組み込まれるようになった。そうした機能の一つとして、普段と異なるシーンを自動検出する非定常検出の技術が求められており、これを既存の映像監視システムに映像モジュールに組み込みたいとのニーズが高まっている。

映像から非定常なシーンを検出する手がかりとして、映像中の動物体の位置の変化と動き方向の変化を検出するには、各時刻における位置の座標と、その座標における動きベクトルの組として特徴量とすることで、その特徴量の違いから非定常なシーンを検出することができる。しかしながら、非定常なシーンの検出には次の問題が提起されている。

第一の問題点は、動きベクトル抽出の処理はノイズの影響を受けやすく、特徴量のばらつきが多いことが原因で、定常、非定常を安定して分離することが困難なことである。

第二の問題点は、動きベクトルの時間変化をどのようにして識別器へ入力するかということである。画像の画素ごとに動きベクトルを記憶する場合、数千から数十万のオーダーの画素のフレーム数倍の情報となる。このようにすると、計算上のメモリ使用量や統計処理に要する時間が膨大となり、リアルタイムの検出処理への入力には不向きである。動物体の存在する領域のみの情報を保持することでメモリ量を減らすことが可能であるが、その領域の数が時間とともに変化するような場合、特徴量の次元数が変化してしまうため、統計処理のうえで扱いにくい。そこで、映像中の動物体の位置の変化及び動き方向の変化について、これを安定した低次元の特徴量として抽出する方法が必要である。

第三の問題点は、定常・非定常を分ける情報として何を特徴量に用いるべきなのかは、カメラの設置場所とそこで観察される映像によって異なると考えられるが、あらかじめどんな特徴量が最適であるかを見極めるのは難しく、自動的に特徴量を選択する手法が示されていないことである。必ずしもすべてを用いればよいわけではなく、定常／非定常の分離に寄与しない特徴は、識別演算の上でノイズとなる可能性があり、計算コストが無駄になるおそれがある。

第一の問題点に対しては、非特許文献１に動物体領域内での空間的、時間的動き平均を求める方法が提案されている。この方法は、動領域が人間かそうでないかを識別するための動きに基づく特徴量として提案されており、領域ごとの比較を行う場合に有効である。しかし、領域ごとの比較ではなく、画像全体の特徴量とする方法は示されていない。画像全体についての特徴量を抽出するためには、その中に含まれる主要な動物体の動き特徴を反映できるような工夫が必要である。
羽下哲司，鷲見和彦，八木康史 「変化領域内の動きの時空間特徴に着目した屋外情景における歩行者の検出」電子情報通信学会論文誌Ｄ−ＩＩ、ｖｏｌ．Ｊ８７−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．１１０４−１１１１，２００４． 松山隆司，久野義徳，井宮淳編「コンピュータビジョン」新技術コミュニケーションズ ３．３．４節 ｐｐ．１７２ 申，渡辺，菅原 「テンポラルテンプレートを用いた動画像解析手法」電子情報通信学会技術研究報告、ＰＲＭＵ２００２ 馬場 「角度データの統計」統計数理研究所彙報 第２８巻第一号、ｐｐ．４１--４５，１９８１ Ｚｅｎｇ Ｗｅｎｈｕａ，Ｍａ Ｊｉａｎ，"Ａ Ｎｏｖｅｌ Ｉｎｃｒｅｍｅｎｔａｌ ＳＶＭ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍ，"Ｔｈｅ ８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｓｕｐｐｏｒｔｅｄ Ｃｏｏｐｅｒａｔｉｖｅ Ｗｏｒｋ ｉｎ Ｄｅｓｉｇｎ Ｐｒｏｃｅｅｄｉｎｇｓ，ｐｐ．６５８--６６２，２００３．

従来の技術では、動きベクトル抽出の処理はノイズの影響を受けやすく、動きベクトルを用いた特徴量はばらつきが多いため、安定した定常／非定常の分類が困難である。動物体領域内での空間的、時間的動き平均を求める既存の方法を用いるとしても、領域ごとの比較ではなく画像全体の特徴量とする方法は示されていない。

また、画像の画素ごとに動きベクトルを記憶する場合、数千から数十万のオーダーの特徴量となり、計算上のメモリ使用量や統計処理に要する時間が膨大となり、リアルタイム処理に不向きである。動物体の存在する領域のみの情報を保持することでメモリ量を減らすと、その領域の数が時間と共に変化するような場合、特徴量の次元数が変化してしまうため、統計処理に向き難い。

さらに、定常・非定常を分ける情報として、抽出可能な動き特徴は、動物体の位置、動きの方向、大きさ、時間などがあるが、これらの情報の中で、定常／非定常の違いに寄与しないものを用いることは、識別演算の上でノイズとなる可能性があり、計算コストも無駄になるおそれがある。そのため、動物体の動き特徴のうち、位置、動き方向、大きさ、動きの連続時間などのうち、いずれの要素を特徴量に反映するのか、その組み合わせを選択する手段が必要である。

本発明は、このような事情に鑑みてなされたものであり、動物体の動き特徴から安定的に定常／非定常を分類することを解決課題としている。

そこで、請求項１記載の発明は、前記課題を解決すべく、撮影装置で撮影された映像中に含まれる動物体の動きに基づく特徴量を抽出し、統計的な処理によってシーンの非定常性を識別する装置であって、前記撮影装置からの入力映像中において動物体の動きに基づく特徴量を抽出する動き特徴抽出手段と、前記動き特徴抽出手段の抽出した特徴量から前記入力映像の非定常性を識別する識別手段と、を備え、前記動き特徴抽出部は、前記入力映像から時系列の特徴量を生成する複数の特徴量抽出モジュールと、前記各特徴量抽出モジュールの生成した特徴量を、特徴量選択基準に基づいて選択し、該選択された各特徴量の組合せの時系列を前記識別部に出力する特徴量選択手段と、を備え、前記各特徴量抽出モジュールは、前記入力映像中の動物体領域を抽出し、該動物体領域と背景領域の二値画像を求める変化領域抽出手段と、前記入力映像中の時系列の各画像において、各画素の位置（ｘ．ｙ）と該画素の動き方向（ｕ．ｖ）を示す二次元ベクトルをペアにした動きベクトル配列（ｘ．ｙ．ｕ．ｖ）を求める動きベクトル算出手段と、前記動物体領域の情報と前記動きベクトル配列の情報とを統合し、該統合されたベクトルのペアを特徴量として求める統合ベクトル算出手段と、を備えることを特徴としている。

請求項２記載の発明は、請求項１記載の非定常度推定装置であって、前記統合ベクトル算出手段は、時系列の前記二値画像を時間的に重畳したモーション履歴画像を、前記動物体領域に数値をあてはめ前記背景領域をゼロとして生成するモーション履歴生成手段と、前記動きベクトル配列を、前記モーション履歴画像を用いてマスク処理を行うマスク処理手段と、を備えることを特徴としている。

請求項３記載の発明は、請求項１または２のいずれか１項に記載の非定常度推定装置であって、前記各特徴量抽出モジュールは、前記統合されたベクトルのペアが連続して出現する時間をカウントする連続時間カウント手段をさらに備え、前記カウント時間を前記統合されたベクトルのペアに付加した特徴量を前記特徴量選択部に出力することを特徴としている。

請求項４記載の発明は、請求項１〜３のいずれか１項に記載の非定常度推江地装置であって、前記識別手段は、各特徴量抽出モジュールの特徴量を組み合わせたＮ次元の識別特徴量を、ＳＶＭ（サポートベクタマシン）手法を用いて定常／非定常に分類するＳＶＭ識別手段と、前記ＳＶＭ識別手段で生成されたサポートベクトル群および定常／非定常の識別結果から、Ｎ次元の特徴量の要素に応じて該要素を最終的に識別に用いるか否かを示すＮ個の論理値を前記識別機器にフィードバックする特徴量評価手段とを備え、定常・非定常のプラグの時系列を識別結果として表示させることを特徴としている。

請求項５記載の発明は、撮影装置で撮影された映像中に含まれる動物体の動きに基づく特徴量を抽出し、統計的な処理によってシーンの非定常性を識別する方法であって、動き特徴量抽出手段が、前記撮影装置からの入力映像中において動物体の動きに基づく特徴量を抽出する動き特徴抽出ステップと、識別手段が、前記動き特量抽出ステップで抽出した特徴量から前記入力映像の非定常性を識別する識別ステップと、を有し、前記動き特徴抽出ステップは、複数の特徴量抽出モジュールのそれぞれが、前記入力映像から時系列の特徴量を生成する特徴量生成ステップと、特徴量選択手段が、前記特徴量生成ステップで生成した各特徴量を、特徴量選択基準に基づいて選択し、該選択された各特徴量の組合せの時系列を前記識別部に出力する特徴量選択ステップと、を有し、前記特徴量生成ステップは、前記入力映像中の動物体領域を抽出し、該動物体領域と背景領域の二値画像を求める変化領域抽出ステップと、前記入力映像中の時系列の各画像において、各画素の位置（ｘ．ｙ）と該画素の動き方向（ｕ．ｖ）を示す二次元ベクトルをペアにした動きベクトル配列（ｘ．ｙ．ｕ．ｖ）を求める動きベクトル算出ステップと、前記動物体領域の情報と前記動きベクトル配列の情報とを統合し、該統合されたベクトルのペアを特徴量として求める統合ベクトル算出ステップと、を有することを特徴としている。

請求項６記載の発明は、請求項５記載の非定常度推定方法であって、前記統合ベクトル算出ステップは、時系列の前記二値画像を時間的に重畳したモーション履歴画像を、前記動物体領域に数値をあてはめ前記背景領域をゼロとして生成するモーション履歴生成ステップと、前記動きベクトル配列を、前記モーション履歴画像を用いてマスク処理を行うマスク処理ステップと、を有することを特徴としている。

請求項７記載の発明は、請求項５または６のいずれか１項に記載の非定常度推定方法であって、前記特徴量生成ステップは、前記各特徴量抽出モジュールが前記統合されたベクトルのペアが連続して出現する時間をカウントする連続時間カウントステップをさらに有し、前記カウント時間を前記統合されたベクトルのペアに付加した特徴量を前記特徴量選択ステップで用いることを特徴としている。

請求項８記載の発明は、請求項５〜７のいずれか１項に記載の非定常度推定方法であって、前記識別ステップは、特徴量生成ステップで生成された各特徴量を組み合わせたＮ次元の識別特徴量を、ＳＶＭ（サポートベクタマシン）識別手器を用いて定常／非定常に分類するＳＶＭ識別ステップと、前記ＳＶＭ識別ステップで生成されたサポートベクトル群および定常／非定常の識別結果から、Ｎ次元の特徴量の要素に応じて該要素を最終的に識別に用いるか否かを示すＮ個の論理値を前記識別器にフィードバックする特徴量評価ステップと、を有し、定常・非定常のプラグの時系列を識別結果として表示させることを特徴としている。

請求項９記載の発明は、請求項１〜４のいずれか１項に記載の非定常度推定装置として、コンピュータを機能させることを特徴とする非定常度推定プログラムに関する。

請求項１〜９記載の発明によれば、動物体の動き特徴から安定的に定常／非定常が分類され、ノイズに影響されることなく、高速に高精度な非定常検出を行うことができる。

図１は、本発明の実施形態に係る非定常度推定装置の構成例を示し、該推定装置１には映像監視システムの撮影装置（例えばデジタルカメラ，デジタルビデオカメラなど）からネットワーク経由で映像データが入力されている。

前非定常度記推定装置１は、コンピュータにより構成され、前記映像データを入力する映像入力部２と、この映像入力部２の入力映像から動物体の動き特徴を時系列に抽出する動き特徴抽出部３と、この動き特徴抽出部３の抽出した時系列の動き特徴に基づいて動き特徴の非定常度を示す数値を求める識別部４と、この識別部４の求めた数値を表示する表示部５とを有している。

この各部２〜５の処理機能は、コンピュータのハードウェアとソフトウェアの協働によって実現されている。このとき前記識別部４は、非定常度の数値を閾値判定して非定常か否かを示す論理値を前記表示部５に出力することもできる。ここで出力される前記表示部５は例えばモニタなどでよい。

なお、前記非定常度推定装置１は、通常のコンピュータの構成要素、例えば前記各部２〜５の処理を制御する演算手段（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、前記各部２〜５の処理データを記憶可能なメモリ（ＲＡＭ）、前記各部２〜５の処理データを保存可能なハードディスクドライブ装置、ネットワーク接続用の通信デバイス、ポインティングデバイスやキーボードなどの入力手段を有している。以下、前記各部２〜５の具体的に処理内容を説明する。

（１）映像入力部２
前記映像入力部２に入力される映像データは、例えばＡＶＩファイルやＪＰＥＧ画像列などでよく、前記映像入力部２には映像データが１フレームずつ入力される。ここでは前記映像入力部２は通信デバイスをもって実現されている。

（２）動き特徴抽出部３
前記動き特徴抽出部３は、入力された映像データを複数フレームずつ用いて、物体の動き特徴を抽出する。ここで抽出される動き特徴は、映像に含まれる動物体の領域およびその動き方向およびその変化に関する情報をもつ数値とする。

具体的には、前記動き特徴抽出部３は、図２に示すように、特徴量抽出モジュール群６と特徴量選択部７とに大別されている。この特徴量抽出モジュール群６は、ｋ種類の特徴量抽出モジュールにより構成されている。図２中は、各特徴量抽出モジュールを、特徴量１抽出モジュールから特徴量ｋ抽出モジュールと示している。この各特徴量抽出モジュールは、映像入力部２から入力された時系列の画像フレームを用いて、それぞれ特徴量１から特徴量ｋを抽出し、その時系列をそれぞれ特徴量選択部７に出力している。

この特徴量１から特徴量ｋは、画像フレームの時系列から抽出可能な特徴、即ち画像フレーム中の動物体が動くことによって生じる画像の変化の特徴を意味する。ここでは動きベクトルとして説明する。ただし、時空間特徴（動領域を「１」、背景を「０」とする二値画像を１列に展開して複数フレーム分並べた、画素数×フレーム数次元の特徴量）や、フレーム間差分特徴（隣り合うフレーム同士の差分によって生成される二値画像の画素の並びである、画素数次元の特徴量）などを用いてもよい。

前記特徴量選択部７では、特徴量選択基準に基づき特徴量１から特徴量ｋのいずれかを組み合わせたＮ次元の識別特徴量を時系列に出力する。この特徴量選択基準は、各特徴量のいずれを用いるかを示す基準、即ち特徴量１から特徴量ｋに対応する数値の組からなり、外部からＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、またはコマンドプロンプトで入力することができる。この場合の入力は前記入力手段を用いればよい。なお、前記特徴量選択基準はプログラムなどに事前に定義された閾値としてもよい。

図３は、前記各特徴量抽出モジュールの構成例を示している。ここでは各特徴量抽出モジュールは、変化領域抽出部８，動きベクトル算出部９，統合ベクトル部１０，連続時間カウント部１３，配列格納部１４を有している。

具体的な処理を説明すれば、まず前記動きベクトル算出部９は、動きベクトル配列を求める。この動きベクトルは、画像中の各画素の位置（ｘ．ｙ）と、該位置（ｘ．ｙ）の検出時刻におけるその画素の動き方向（ｕ．ｖ）を示す二次元ベクトルとを対応させた組（ｘ．ｙ．ｕ．ｖ）の配列とする。ここで求めた動きベクトル（ｘ．ｙ．ｕ．ｖ）を、前記統合ベクトル算出部１０に出力する。

以下、本実施形態では、一般的にオプティカルフローと呼ばれるものと、これを空間的、時間的に平均するなど加工したベクトルとを合わせて動きベクトルとする。このオプティカルフローを求めるには輝度勾配に基づく方法や、非特許文献２に記載された領域のマッチングに基づく方法を用いてもよい。つぎに前記変化領域抽出部８では、動物体領域と背景領域を分離した二値画像を前記統合ベクトル算出部１０に出力する。

前記統合ベクトル算出部１０は、前記変化領域算出部８の出力した二値画像と、前記動きベクトル算出部９の出力した動きベクトルとから、画像全体の特徴量として統合されたベクトルを求め、前記連続時間カウント部１３に出力する。ここで動きベクトル算出部９の出力は、各画素に対応した動きベクトル（始点座標と終点座標で定まる４次元の情報）からなる数値の集合の時系列である。

例えば、（代表ベクトルの始点ｘ座標、代表ベクトルの始点ｙ座標、代表ベクトルの終点ｘ座標、代表ベクトル終点ｙ座標）の組の時系列として出力される。統合ベクトル算出部１０は、変化領域の情報（二値画像）と動きベクトルの情報を統合して、画像全体としての動き特徴を示す統合された動きベクトルの時系列が出力される。

図４は、前記統合ベクトル算出部１０の構成例を示している。ここでは前記統合ベクトル算出部１０は、モーション履歴画像生成部１１，マスク処理部１２を有している。このモーション履歴画像生成部１１は、変化領域の時間的変化を重畳した画像（モーション履歴画像）を生成する。このモーション履歴画像は、ある一定時間における動物体の動きの大きさや方向を知るために用いられ、非特許文献３にその方法が示されている。

具体的には、前記モーション履歴画像生成部１１には、前記変化領域抽出部８から時系列の二値画像が入力され、動き領域の画素にゼロ以外の数値をあてはめ、それ以外の領域をゼロとしたマスク画像を生成する。このマスク画像はマスク処理部１２に入力される。このマスク処理部１２には、併せて前記動きベクトル算出部９から動きベクトル配列（ｘ，ｙ，ｕ，ｖ）が入力される。そして、前記マスク処理部１２は、マスク画像のマスク内部についてベクトルを平均化することで統合されたベクトルを求めている。ここでは空間平均と時間平均から動きベクトルを統合する。

前記マスク処理部１２の統合処理の一例を図５に基づき説明する。図５（ａ）は、時刻ｔにおける変化領域と、その領域の動きの方向と大きさを示すベクトルを矢印で表示している。図５（ｂ）は、同様に時刻ｔ＋ｋにおける状態を表している。図５（ｃ）は、時刻ｔと時刻ｔ＋１の変化領域を重畳した状態を表している。この状態はモーション履歴画像に該当する。

すなわち、前記モーション履歴画像生成部１１の処理は、図５（ａ）〜図５（ｃ）間の処理に相当している。ここでは時刻ｔと時刻ｔ＋ｋの２つの時刻のみを重畳しているが、間隔ｋや何時刻分を重畳するかは可変パラメータなので、任意に変更できる。図５（ｃ）の重畳した変化領域について、領域ごとに内接する矩形の縦横の長さを求め、矩形の外周または矩形の面積が一定の閾値以上であるもの、または大きい方から一定の数だけの領域を選択する。この閾値および前記可変パラメータはプログラムなどに定義しておけばよい。

そして、前記モーション履歴画像生成部１１は、前記選択領域を「１」、それ以外の領域を「０」とするような、マスク画像を出力する。図５（ｄ）において、前記選択領域のみについて、ベクトルの統合を行う。このときマスクの内部のベクトルの平均を求め、これを統合されたベクトルとする。図５（ｄ）は、統合ベクトル算出部における処理を示している。図５（ｄ）中の矢印Ｐは代表ベクトルに相当している。また、図５（ｅ）（ｆ）は、図５（ｃ）（ｄ）の具体的な処理画像例を示している。以下、統合の処理方法の例を２つ示す。

第一の方法は、まず、図５（ａ）における時刻ｔの変化領域Ａ^(t) ₁と変化領域Ａ^(t) ₂内の画素すべてに、それぞれ領域の動きの方向と大きさを示すベクトルｖ^(t) ₁とベクトルｖ^(t) ₂に対応する数値を付与する。同様に、図５（ｂ）における時刻ｔ＋ｋの変化領域Ａ^(t+k) ₁と変化領域Ａ^(t+k) ₂内の画素すべてに、それぞれ領域の動きの方向と大きさを示すベクトルｖ^(t+k) ₁とベクトルｖ^(t+k) ₂に対応する数値をもたせる。

つぎに、図５（ｃ）において、矩形内の画素がそれぞれその数値をもっているとき、矩形が重なり合う部分には両方の矩形の数値を統合した数値を与える。ベクトルに対応する数値をベクトルの（始点ｘ，始点ｙ）と（終点ｘ，終点ｙ）の組とするとき、平均はこれら４つの数値それぞれの平均として求める。

また、ベクトルに対応する数値をベクトルの方向（３６０度）をＮ個の領域に分割して、１からＮまでの数値をあてはめてもよい。この場合は、矩形が重なり合う部分には、その数値の平均した数値を与える。方向の分割の仕方は、例えば０度〜４５度および３１５度〜３６０度、４５度〜１３５度、１３５度〜２２５度、２２５度〜３１５度の４分割（Ｎ＝４）などのようにして、各領域に数値１〜４を割り当てればよい。

この場合に３１５度の境界で数値に不連続性が生じるため、この方向のベクトルが頻繁に発生する場合には誤差が大きくなるため注意が必要である。したがって、４５度の方向の発生頻度が低ければ、前述のとおりの４分割とし、０度の方向の発生頻度が低ければ、０度〜９０度、９０度〜１８０度、１８０度〜２７０度、２７０度〜３６０度の４分割というように、発生頻度の低い方向を不連続の境界にもってくるようにする。より正確に対応する必要がある場合、もしくは発生頻度の低い方向が不明な場合には、非特許文献４に記載された角度統計の相関係数を適用することもできる。

第二の方法は、変化領域のうち面積最大の領域のベクトルに対応するベクトルの（始点ｘ，始点ｙ）と（終点ｘ，終点ｙ）の組を代表ベクトルとする方法である。

ここで前記連続時間カウント部１３の処理例を述べる。ここでは前記統合ベクトル算出部１０にて統合されたベクトル（画像の時系列に対応する数値の時系列）が入力されている。このとき前記連続時間カウント部１３は、統合されたベクトルがゼロでない連続時間をカウントする（動きベクトルの時間平均がゼロでないフレームをカウントする。）。カウントされた連続時間は、前記配列格納部（例えばメモリなど）１４にて統合されたベクトルとともにデータ配列に特徴量として格納され、前記特徴量選択部７に出力される。

ここでカウントされた連続時間は、動物体がどの程度の時間連続して出現するかを示していることから、これを特徴量に加えることで前記識別部４において、長時間動き続けている動物体がある場合に、これを非定常として検出することが可能となる。

以上の各特徴量抽出モジュールの処理フローを図６に示す。ここでは入力される映像フレームをＩ（ｘ，ｙ，ｔ−ｓ），Ｉ（ｘ，ｙ，ｔ−ｓ＋１），，，Ｉ（ｘ，ｙ，ｔ）とする。また、「ｘ，ｙ」は画像の座標値、ｔは現在の時刻、ｓは現在の特徴量を求めるために必要な過去のフレームの枚数を示し、処理の開始はｔ＝０とする。

Ｓ０１：まず、オプティカルフローを算出する。ここではオプティカルフローを求めた画像をＩ_o（ｘ，ｙ，ｔ）＝（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））とする。

Ｓ０２．Ｓ０３：Ｓ０１と平行して背景差分などによって動物体領域を求め（Ｓ０２）、該領域にラベリングと各領域の画素数の算出処理を施す（Ｓ０３）。

ここでは動物体領域を、ラベリングして属する画素数の多いほうからｎ個の領域についての面積（画素数）をＡ₀（ｘ，ｙ，ｔ），．．．，Ａ_n（ｘ，ｙ，ｔ）とする。

Ｓ０４：Ｓ０３の算出処理した画像について空間平均（中心座標、方向ベクトル）を算出する。ここでは時刻ｔにおいて座標（ｘ，ｙ）の画素がｋ番目の動領域に属していて、その画素数がＭのとき、Ａ_k（ｘ，ｙ，ｔ）＝Ｍとする。空間平均（中心座標、方向ベクトル）算出の出力を（Ｘ_s（ｔ），Ｙ_s（ｔ），ｕ_s（ｔ），ｖ_s（ｔ））として、以下のように計算する。
Ｘ_s（ｔ）＝（Ａ_k（ｘ，ｙ，ｔ）！＝０であるｘの平均）
Ｙ_s（ｔ）＝（Ａ_k（ｘ，ｙ，ｔ）！＝０であるｙの平均）
ｕ_s（ｔ）＝１／（Σ_k=1〜nＡ_k（ｘ，ｙ，ｔ））×Σ_k=1〜nｕ（ｘ，ｙ，ｔ）×Ａ_k（ｘ，ｙ，ｔ）
ｖ_s（ｔ）＝１／（Σ_k=1〜nＡ_k（ｘ，ｙ，ｔ））×Σ_k=1〜nｖ（ｘ，ｙ，ｔ）×Ａ_k（ｘ，ｙ，ｔ）
その後に「ｔ＝ｔ＋１」として、Ｓ１０１．Ｓ１０２に戻って次フレームの処理を続ける。

Ｓ０５：時間平均（中心座標、方向ベクトル）の算出を行う（Ｓ０５）。ここでは（Ｘ_s（ｔ−ｓ），Ｙ_s（ｔ−ｓ），ｕ_s（ｔ−ｓ），ｖ_s（ｔ−ｓ）），．．．（Ｘ_s（ｔ），Ｙ_s（ｔ），ｕ_s（ｔ），ｖ_s（ｔ））の時間平均（Ｘ_st（ｔ），Ｙ_st（ｔ），ｕ_st（ｔ），ｖ_st（ｔ））を成分ごとの平均として求める。

Ｓ０６〜Ｓ０８：Ｓ０５で時間平均を求めた結果の動きベクトル（ｕ_st（ｔ），ｖ_st（ｔ））が、連続したゼロベクトル（０，０）か否かを確認する（Ｓ０６）。

そして、連続したゼロベクトル（０，０）のフレーム数［Ｃ（ｔ）＝０］を除外し（Ｓ０７）、連続したゼロベクトル（０，０）でないフレーム数［Ｃ（ｔ）＝Ｃ（ｔ−１）＋１］をカウントする（Ｓ０８）。

Ｓ０９：Ｓ０５で求めた時間平均にＳ０８にてカウントしたフレーム数Ｃ（ｔ）を加えた（Ｘ_st（ｔ），Ｙ_st（ｔ），ｕ_st（ｔ），ｖ_st（ｔ），Ｃ（ｔ））を特徴量としてデータ配列に格納する。

（３）識別部４
図７は、前記識別部４の構成例を示している。ここでは前記識別部４には、特徴量１から特徴量ｋの組み合わせからなるＮ次元の識別特徴量の時系列データが入力される。図７中のＳＶＭ識別器１５は、入力された時系列データをＳＶＭ（サポートベクタマシン）手法を用いて統計的に識別特徴量を定常と非定常に識別した結果を特徴量評価部６に出力する。ここで時系列の入力に対するＳＶＭのアルゴリズムとしては、非特許文献５に記載のように、インクリメンタルな１クラスのＳＶＭを用いて、教師無しのオンライン識別を用いることができる。

特徴量評価部１６は、ＳＶＭ識別器１５を用いた識別の過程で生成されるサポートベクトル群を用いて、Ｎ次元の特徴量の要素に対応して、その要素を最終的に識別に用いるかどうかの判定を行う。ここではＯＮ／ＯＦＦを示すＮ個の論理値をＳＶＭ識別器１５にフィードバックしている。サポートベクトルは、入力された各特徴量のサブセットであって、定常と非定常の識別境界に位置する特徴量に当たるため、サポートベクトル群および定常、非定常の分布を調べることで、入力された各特徴量のどの次元が定常と非定常の分離に寄与しているかを推定することができる。

図８は実際の画像から得られた特徴量を用いて識別を行い、特徴量のうちの２次元分の特徴軸上で、定常と非定常とサポートベクトルの分布を示したものである。図８（ａ）は、サポートベクトルは定常の島（定常のクラスと考えられる）の周辺に偏って分布し、定常の分布の外側に非定常が分布しており、比較的よく定常と非定常が分離できているが、図８（ｂ）ではサポートベクトルと定常が重なっており非定常も定常と重なりが大きい。

そこで、前記特徴量評価部１６は、サポートベクトルの偏り具合を評価することで、その特徴次元が定常、非定常の識別に寄与しているかどうかの指標に用いることができる。ここでは特徴量の各次元について、定常の分散に対するサポートベクトルの分散の比、または定常の分散に対する非定常の分散の比を求め、比の値が大きいほうが、その特徴次元での分離度がよいと判定し、分離度の高い次元はＯＮ、低い次元はＯＦＦとするＮ個の論理値が前記ＳＶＭ識別器１５にフィードバックされ、定常・非定常のフラグ（ｆｌａｇ）の時系列が表示部５に出力され、表示部５で画面表示される。

このように前記非定常度推定装置１によれば、動き特徴抽出部３において映像中の動物体の動きベクトルに基づく情報を低次元の特徴量として安定的に抽出し、統計的な識別器４に入力できるため、高速に高精度な非定常検出を行うことができる。特に、動き特徴抽出部３が、動きの連続性を特徴量に加え、動きベクトルを動物体領域の動きの大きさや該領域自体の大きさを反映して、空間的・時間的に平均化することから、特徴量の安定化が図られ、特徴量の次元数による計算量が減少し、この点で高速で低コストの非定常検出が実現する。また、識別器４が、特徴量評価部１６を用いて、サポートベクトルおよび定常／非定常の部分分布状態から特徴量を評価し、識別に有効に寄与する特徴量の要素を選択することから、定常／非定常に寄与しないノイズの影響が抑制され、識別演算の計算コストも低減される。

なお、本発明は、上記実施形態に限定されるものではなく、装置構成などは各請求項に記載した範囲内で適宜に変更することができる。例えば、図９に示すように、前記各特徴量抽出モジュールの連続時間カウント部１３を廃止することもできる。この場合は、図６中のＳ０６〜Ｓ０９が省略され、前記各統合ベクトル算出部１０で統合されたベクトル（画像の時系列に対応する数値の時系列）、即ち図９の時間平均（Ｘ_st（ｔ），Ｙ_st（ｔ），ｕ_st（ｔ），ｖ_st（ｔ））が特徴量に用いられるものの、通常の動物体であれば好適に非定常度として検出することができる。

また、本発明は、前記非定常度推定装置１としてコンピュータを機能させるプログラムとしても構築することができる。このプログラムは、コンピュータに前記各部１〜５の処理のすべてを実行させるものでもよく、また前記動き特徴抽出部３・前記識別部４などの一部の処理を実行させるものでもよい。

このプログラムは、Ｗｅｂサイトなどからのダウンロードによってコンピュータに提供することができる。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）などの記録媒体に格納してコンピュータに提供してもよい。この記録媒体から読み出されたプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。

本発明の実施形態に係る非定常度推定装置の構成例図。 同 動き特徴抽出部の構成例図。 同 各特徴量抽出モジュールの構成例図。 同 統合ベクトル算出部の構成例図。 （ａ）は時刻ｔにおける変化領域と、その変化領域の動きの方向と大きさを示す模式図、（ｂ）は時刻ｔ＋１に移行した状態を示す模式図、（ｃ）は（ａ）〜（ｃ）の変化領域を重畳した模式図、（ｄ）は選択した領域のベクトル統合を示す模式図、（ｅ）（ｆ）は具体的処理例を示す図。 同 各特徴量抽出モジュールの処理フロー図。 同 識別部の構成例図。 （ａ）（ｂ）は、サポートベクトルの偏りの比較例図。 各特徴量抽出モジュールの他例を示す構成図。

符号の説明

１…非定常度推定装置
２…映像入力部
３…動き特徴抽出部（動き特徴週出手段）
４…識別部（識別手段）
５…表示部
６…特徴量抽出モジュール群
７…特徴量選択部（特徴量選択手段）
８…変化領域選択部（変化領域抽出手段）
９…動きベクトル算出部（動きベクトル算出手段）
１０…統合ベクトル算出部（統合ベクトル算出手段）
１１…モーション履歴画像生成部（モーション画像生成手段）
１２…マスク処理部（マスク処理手段）
１３…連続時間カウント部（連続カウント手段）
１４…配列格納部
１５…ＳＶＭ識別器（ＳＶＭ識別手段）
１６…特徴量評価部（特徴量評価手段）

Claims (9)

1. 撮影装置で撮影された映像中に含まれる動物体の動きに基づく特徴量を抽出し、統計的な処理によってシーンの非定常性を識別する装置であって、
   前記撮影装置からの入力映像中において動物体の動きに基づく特徴量を抽出する動き特徴抽出手段と、
   前記動き特徴抽出手段の抽出した特徴量から前記入力映像の非定常性を識別する識別手段と、を備え、
   前記動き特徴抽出部は、前記入力映像から時系列の特徴量を生成する複数の特徴量抽出モジュールと、
   前記各特徴量抽出モジュールの生成した特徴量を、特徴量選択基準に基づいて選択し、該選択された各特徴量の組合せの時系列を前記識別部に出力する特徴量選択手段と、を備え、
   前記各特徴量抽出モジュールは、前記入力映像中の動物体領域を抽出し、該動物体領域と背景領域の二値画像を求める変化領域抽出手段と、
   前記入力映像中の時系列の各画像において、各画素の位置（ｘ．ｙ）と該画素の動き方向（ｕ．ｖ）を示す二次元ベクトルをペアにした動きベクトル配列（ｘ．ｙ．ｕ．ｖ）を求める動きベクトル算出手段と、
   前記動物体領域の情報と前記動きベクトル配列の情報とを統合し、該統合されたベクトルのペアを特徴量として求める統合ベクトル算出手段と、
   を備えることを特徴とする非定常度推定装置。
2. 前記統合ベクトル算出手段は、時系列の前記二値画像を時間的に重畳したモーション履歴画像を、前記動物体領域に数値をあてはめ前記背景領域をゼロとして生成するモーション履歴生成手段と、
   前記動きベクトル配列を、前記モーション履歴画像を用いてマスク処理を行うマスク処理手段と、
   を備えることを特徴とする請求項１記載の非定常度推定装置。
3. 前記各特徴量抽出モジュールは、前記統合されたベクトルのペアが連続して出現する時間をカウントする連続時間カウント手段をさらに備え、
   前記カウント時間を前記統合されたベクトルのペアに付加した特徴量を前記特徴量選択部に出力する
   ことを特徴とする請求項１または２のいずれか１項に記載の非定常度推定装置。
4. 前記識別手段は、各特徴量抽出モジュールの特徴量を組み合わせたＮ次元の識別特徴量を、ＳＶＭ（サポートベクタマシン）手法を用いて定常／非定常に分類するＳＶＭ識別手段と、
   前記ＳＶＭ識別手段で生成されたサポートベクトル群および定常／非定常の識別結果から、Ｎ次元の特徴量の要素に応じて該要素を最終的に識別に用いるか否かを示すＮ個の論理値を前記識別機器にフィードバックする特徴量評価手段とを備え、
   定常・非定常のプラグの時系列を識別結果として表示させることを特徴とする請求項１〜３のいずれか１項に記載の非定常度推定装置。
5. 撮影装置で撮影された映像中に含まれる動物体の動きに基づく特徴量を抽出し、統計的な処理によってシーンの非定常性を識別する方法であって、
   動き特徴量抽出手段が、前記撮影装置からの入力映像中において動物体の動きに基づく特徴量を抽出する動き特徴抽出ステップと、
   識別手段が、前記動き特量抽出ステップで抽出した特徴量から前記入力映像の非定常性を識別する識別ステップと、を有し、
   前記動き特徴抽出ステップは、複数の特徴量抽出モジュールのそれぞれが、前記入力映像から時系列の特徴量を生成する特徴量生成ステップと、
   特徴量選択手段が、前記特徴量生成ステップで生成した各特徴量を、特徴量選択基準に基づいて選択し、該選択された各特徴量の組合せの時系列を前記識別部に出力する特徴量選択ステップと、を有し、
   前記特徴量生成ステップは、前記入力映像中の動物体領域を抽出し、該動物体領域と背景領域の二値画像を求める変化領域抽出ステップと、
   前記入力映像中の時系列の各画像において、各画素の位置（ｘ．ｙ）と該画素の動き方向（ｕ．ｖ）を示す二次元ベクトルをペアにした動きベクトル配列（ｘ．ｙ．ｕ．ｖ）を求める動きベクトル算出ステップと、
   前記動物体領域の情報と前記動きベクトル配列の情報とを統合し、該統合されたベクトルのペアを特徴量として求める統合ベクトル算出ステップと、
   を有することを特徴とする非定常度推定方法。
6. 前記統合ベクトル算出ステップは、時系列の前記二値画像を時間的に重畳したモーション履歴画像を、前記動物体領域に数値をあてはめ前記背景領域をゼロとして生成するモーション履歴生成ステップと、
   前記動きベクトル配列を、前記モーション履歴画像を用いてマスク処理を行うマスク処理ステップと、
   を有することを特徴とする請求項５記載の非定常度推定方法。
7. 前記特徴量生成ステップは、前記各特徴量抽出モジュールが前記統合されたベクトルのペアが連続して出現する時間をカウントする連続時間カウントステップをさらに有し、
   前記カウント時間を前記統合されたベクトルのペアに付加した特徴量を前記特徴量選択ステップで用いる
   ことを特徴とする請求項５または６のいずれか１項に記載の非定常度推定方法。
8. 前記識別ステップは、特徴量生成ステップで生成された各特徴量を組み合わせたＮ次元の識別特徴量を、ＳＶＭ（サポートベクタマシン）識別手器を用いて定常／非定常に分類するＳＶＭ識別ステップと、
   前記ＳＶＭ識別ステップで生成されたサポートベクトル群および定常／非定常の識別結果から、Ｎ次元の特徴量の要素に応じて該要素を最終的に識別に用いるか否かを示すＮ個の論理値を前記識別器にフィードバックする特徴量評価ステップと、を有し、
   定常・非定常のプラグの時系列を識別結果として表示させることを特徴とする請求項５〜７のいずれか１項に記載の非定常度推定方法。
9. 請求項１〜４のいずれか１項に記載の非定常度推定装置として、コンピュータを機能させることを特徴とする非定常度推定プログラム。

Images