JP6069095B2

JP6069095B2 - 画像識別装置、画像識別方法及び画像識別プログラム

Info

Publication number: JP6069095B2
Application number: JP2013104351A
Authority: JP
Inventors: 数藤　恭子; 恭子数藤; 行信谷口
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2013-05-16
Filing date: 2013-05-16
Publication date: 2017-01-25
Anticipated expiration: 2033-05-16
Also published as: JP2014225149A

Description

本発明は、画像の識別を行う画像識別装置、画像識別方法及び画像識別プログラムに関する。

異常がない普段の状態の映像を学習しておき、その学習されたパターンのどれにも属さないものを異常なシーンとすることが従来から行われている。このとき、画像中の動物体ごとの動きのパターンに基づいて学習・識別を行う場合（例えば、非特許文献１参照）や、動物体の軌跡を抽出し、その軌跡に基づいて学習・識別を行う場合（例えば、非特許文献２参照）などがある。これらの方法は、画像中に存在する動物体（人、車）の数が少ない（１つまたは数個）の場合や、道路を車が走るなど動物体の移動経路が限られている場合には、有効である。

なお、本明細書において、画像とは、静止画像、または動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。

人物動作に着目したシーン分割による作業動作の異常検出、清水早苗、平湯秀和、浅井博次、丹羽義典、電子情報通信学会技術研究報告、２００７−ＣＶＩＭ−１６０，２００７．状況依存モデルを用いた異常行動の検出、岡本宏美、西尾修一、馬場口登森井藤樹萩田紀博、電子情報通信学会技術研究報告、ＤＥ２００８−１９，ＰＲＭＵ２００８−３７，２００８

しかしながら、歩道や施設構内の敷地を人物が歩いている場合などのように、動物体が比較的多数存在し、また、それらの移動経路が限定されていない状況では、非特許文献１の方法で動物体ごとの動きに基づいてシーンの状態を識別できるだけの解像度で個々の動物体を観察することは難しい。また、非特許文献２の方法で、軌跡のパターンを学習することは難しい。

このように、従来技術では、比較的多くの動物体を含む映像から異常なシーンを含む時刻の画像を検出しようとしたとき、物体の動きに基づいた特徴量を抽出して判定することが難しいという問題がある。これは、動物体の個々の動き方だけではなく動物体どうしの動きの方向の関係性を反映した特徴量を用いる必要があるためである。

本発明は、このような事情に鑑みてなされたもので、入力画像を識別することにより、画像内の異常な状況の発生を検出することができる画像識別装置、画像識別方法及び画像識別プログラムを提供することを目的とする。

本発明は、入力画像系列から画像変化領域を抽出する変化領域抽出手段と、前記画像変化領域に基づいて動きベクトルを抽出するベクトル抽出手段と、予め決められた時空間領域において、前記動きベクトルの方向の関係を示すフローテクスチャ特徴量を生成するフローテクスチャ特徴量生成手段と、前記フローテクスチャ特徴量に基づき、画像の識別を行い、識別結果の情報を出力する識別手段とを備えることを特徴とする。

本発明は、前記フローテクスチャ特徴量生成手段は、量子化した動きベクトルの方向を示す値を行と列にした行列、または、動きベクトルの方向とベクトル相関値とを行と列にした行列によって前記フローテクスチャ特徴量を表現することを特徴とする。

本発明は、前記フローテクスチャ特徴量生成手段は、動物体の動きベクトル方向に対して、該動物体を中心として一定距離以内に存在する、前記動物体以外の動物体の動きベクトル方向の頻度を行列の形式に表現したもの、および複数の動物体毎にそれぞれ中心とする位置が異なる前記一定距離以内に存在する、前記動物体以外の動物体の動きベクトル方向の頻度を行列の形式に表現したものの組み合わせ、または、動物体の動きベクトル方向に対して、該動物体を中心として一定距離以内に存在する、前記動物体以外の動物体の動きベクトル方向とのベクトル相関値を行列の形式に表現したもの、および複数の動物体毎にそれぞれ中心とする位置が異なる前記一定距離以内に存在する、前記動物体以外の動物体の動きベクトルの方向とベクトル相関値とを行列の形式に表現したものの組み合わせ、または、前記動きベクトルをテクスチャとみなした時の前記動きベクトルの分布の一様性を求めた数値、のいずれか一つによって前記フローテクスチャ特徴量を表現することを特徴とする。

本発明は、入力画像から画像識別する画像識別装置が行う画像識別方法であって、入力画像系列から画像変化領域を抽出する変化領域抽出ステップと、前記画像変化領域に基づいて動きベクトルを抽出するベクトル抽出ステップと、予め決められた時空間領域において、前記動きベクトルの方向の関係を示すフローテクスチャ特徴量を生成するフローテクスチャ特徴量生成ステップと、前記フローテクスチャ特徴量に基づき、画像の識別を行い、識別結果の情報を出力する識別ステップとを有することを特徴とする。

本発明は、前記フローテクスチャ特徴量生成ステップでは、量子化した動きベクトルの方向を示す値を行と列にした行列、または、動きベクトルの方向とベクトル相関値とを行と列にした行列によって前記フローテクスチャ特徴量を表現することを特徴とする。

本発明は、前記フローテクスチャ特徴量生成ステップでは、動物体の動きベクトル方向に対して、該動物体を中心として一定距離以内に存在する、前記動物体以外の動物体の動きベクトル方向の頻度を行列の形式に表現したもの、および複数の動物体毎にそれぞれ中心とする位置が異なる前記一定距離以内に存在する、前記動物体以外の動物体の動きベクトル方向の頻度を行列の形式に表現したものの組み合わせ、または、動物体の動きベクトル方向に対して、該動物体を中心として一定距離以内に存在する、前記動物体以外の動物体の動きベクトル方向とのベクトル相関値を行列の形式に表現したもの、および複数の動物体毎にそれぞれ中心とする位置が異なる前記一定距離以内に存在する、前記動物体以外の動物体の動きベクトルの方向とベクトル相関値とを行列の形式に表現したものの組み合わせ、または、前記動きベクトルをテクスチャとみなした時の前記動きベクトルの分布の一様性を求めた数値、のいずれか一つによって前記フローテクスチャ特徴量を表現することを特徴とする。

本発明は、コンピュータを、前記画像識別装置として機能させるための画像識別プロクラムである。

本発明によれば、画像に含まれる動物体の動きによる動きベクトルを時空間のテクスチャとみなし、低次元の特徴量に表現することで、動物体の個別の動きだけでなく、複数動物体の作り出す流れも反映して、画像内の異常な状況の発生を検出することが可能になるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。図１に示す画像識別装置の処理動作を示すフローチャートである。図１に示す画像識別装置の処理動作を示す説明図である。

以下、図面を参照して、本発明の一実施形態による画像識別装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、入力映像を入力する映像入力部である。映像入力部１は、カメラ等の撮像装置の出力を入力するかまたは映像ファイルから映像データを読み込むことにより映像入力を行う。符号２は、映像入力部１において入力した映像から階層的なフロー、すなわちオプティカルフローや動物体ごとの動きベクトルを検出するフロー情報検出部である。符号２１は、入力映像からオプティカルフローを検出するオプティカルフロー検出部である。符号２２は、入力映像から動きベクトルを検出する動きベクトル検出部である。

符号３は、予め決められた方法によってフローのサンプリングを行い、予め決められた時空間領域において、それらの方向の関係を算出し、フローテクスチャ特徴を生成するフローテクスチャ特徴生成部である。符号４は、フローテクスチャ特徴を用いた学習及び識別を行う学習・識別部である。符号４１は、学習・識別部４における学習の結果に応じて生成・更新される辞書データを記憶する辞書記憶部である。符号５は、識別の結果を数値として出力する判定出力部である。

次に、図２を参照して、図１に示す画像識別装置の動作を説明する。図２は、図１に示す画像識別装置の動作を示すフローチャートである。まず、映像入力部１は、入力映像を入力する（ステップＳ１）。ここでは、入力映像として監視映像を入力し、この監視映像から異常なシーンを検出するための目的で使用することを想定する。映像入力部１によって入力される映像として、まず学習のための長時間の映像が必要である。異常なシーンを含まない映像で学習用のものが長時間あるほど精度よい辞書を作成することができる。必ずしも一続きの映像ファイルである必要はなく、画像の時系列や、短い映像ファイルが多数あるのでもよい。また、対象はどのようなものであってもよいが、例えば車が多数通る道路や、多数の人々が行きかう通りや駅構内など、ある程度の動物体群の動きがあり、それらに定常的な流れが生じているような場合には、従来手法での対応が難しく本発明の効果が発揮される。したがって、以下の説明では例として人通りの多い通りの監視映像であるものとして説明する。なお、画像の大きさや、含まれる動物体の大きさは特定しない。

次に、フロー情報検出部２は、映像入力部１において入力した映像から階層的なフロー、すなわちオプティカルフローや動物体ごとの動きベクトルを検出する（ステップＳ２）。オプティカルフロー検出部２１では、映像の各フレームにおけるオプティカルフローを検出する。検出アルゴリズムは多数存在するが、例えばＬｕｃａｓ−Ｋａｎａｄｅ法、Ｈｏｒｎ−Ｓｃｈｕｎｃｋ法、ブロックマッチングによる方法などを用いることができる。また、動きベクトル検出部は、背景推定による前景抽出を行い、前景領域の時間変化から、人や車などのオブジェクト単位の領域とその領域内での平均の動きベクトルを算出する。

次に、フローテクスチャ特徴生成部は、予め決められた方法によってフローのサンプリングを行い、予め決められた時空間領域において、それらの方向の関係を算出し、フローテクスチャ特徴を生成する（ステップＳ３）。フローテクスチャ特徴生成部３は、フロー情報検出部２で得られたオプティカルフローとグローバルな動きベクトルを映像の時空間のテクスチャとみなして、テクスチャ情報を生成し、学習・識別部の入力の特徴ベクトルとして出力する。ここでは、テクスチャ解析に用いられる手法であるＧＬＣＭ（Gray Level Co-occurrence Matrix）を用いる方法を説明する。

ＧＬＣＭは基準とする画素ｐと、画素ｐから一定の距離にある画素ｑとの関係を行列として記述するもので（１）式のように定義する。

これは互いに一定距離にあるｐとｑの２つの画素間の画素値の関係を示している。ｉとｊは画素値そのものとすることもできるし、ｉまたはｊを画素値間の差分の値とすることもできる。

そこで、画像から各画素の位置におけるオプティカルフローを求めたとすると、これを画素値の代わりに用いて、式（１）のｉとｊを量子化したオプティカルフローのクラスとすることで、同様の行列を得ることができる。これをフローテクスチャ特徴とする。フローの量子化の方法は、例えば、ｄ^ｋ（ｋ＝１，…，８）の４５度ずつの８方向として（２）式のように定義すると、８×８の行列で記述することができる。ここでｆ（ｐ）は画素ｐにおけるフローベクトルの方向を示し、ｄ^ｋ（ｋ＝１，…，８）の値をとりうるものとする。

例えば、図３において点ｐとそこから一定距離点（円で示す）の領域のみ考えたとき、ｐにおけるフローの向きのクラスがｄ^２、一定距離内の点ｑ１，ｑ２，ｑ３におけるフローの向きがｄ^３，ｄ^２，ｄ^１であるとき、

となる。

（３）式の右辺の行列でｄ^２ｄ^１，ｄ^２ｄ^２，ｄ^２ｄ^３の要素に１が与えられ、それ以外はゼロとなる。

また、画素と画素の関係を記述するだけでなく、オブジェクトとオブジェクトの関係を記述するように拡張することができる。あるオブジェクト領域の平均のフローと、一定の距離内にある別のオブジェクト領域の平均のフローについて、（２）式にあてはめることで、同様の記述ができる。これを用いて、グローバルな動きベクトルのテクスチャ特徴を記述することができる。オブジェクトの領域は、例えばある短い一定時間同じ方向に動きの勾配をもつ、一定以上の面積を占める領域として抽出することができる。

（２）式のように行列Ｇの行と列を両方とも量子化したフローの方向とすることで、どの方向のフローがどのように分布しているかを記述することができるが、フローの大きさを反映することはできない。そこで、（４）式のように、行と列の一方をベクトル相関値（ｃｏｒｒ（ｐ，ｑ））とすることで、基準とする画素ｐとその周辺の画素ｑにおけるフローのベクトルが異なる程度を反映した行列とすることができる。ベクトルの相関値をとる方法としては、内積（ｖ（ｐ）・ｖ（ｑ））を求める方法がある（（５）式）。ベクトル相関値の量子化の方法は、例えば内積であれば０から１の値をとるので、これをｃ^ｊ（ｊ＝１，…，１０）の０．１刻みとして（４）式のように定義すると、１０×１０の行列で記述することができる。ここでｆ（ｐ）は画素ｐにおけるベクトル相関値を示し、ｃ^ｊ（ｊ＝１，…，１０）の値をとりうるものとする。

更に、上記のようにして得られた行列Ｇを用いて、動きベクトルの分布の一様性などの数値を特徴量としてもよい。この場合、ＧＬＣＭを用いたテクスチャ解析に用いる特徴量をそのまま適用することができる。例としては（６）式〜（９）式のようなものがある。

平均：

標準偏差：

エントロピー：

２次モーメント：

次に、学習・識別部４は、フローテクスチャ特徴生成部３から出力されたテクスチャ情報を特徴ベクトルとして学習または識別を行う（ステップＳ４）。学習・識別部４は辞書記憶部４１を備えており、学習時は学習の結果の辞書データを辞書記憶部４１に保存する。識別時は辞書記憶部４１から辞書データを読みだして識別を行う。辞書との適合度に基づいて類似度または異常度を判定する。学習のモードと識別のモードの区別、また、学習のモードにおいて辞書データを更新するかしないかの区別は、実行時にユーザが外部から入力する。学習・識別の方法は、機械学習の一般的なアルゴリズムを用いることができる。

例えば、特徴ベクトルの分布を確率分布モデルとして表現する方法がある。学習時にこのモデルのパラメータを推定し、識別時はモデルへのあてはまりの良さから類似度または異常度を確率として出力する。また、特徴ベクトルの特徴空間での分布をクラスタリングし、いずれかのクラスに属するか、属するクラスが存在しないか、などに基づいて類似度または異常度を判定する方法がある。また、ＳＶＭ識別器を用いて、学習時に異常かそうでないかの２クラスを分離するモデルパラメータを学習し、識別時にはこれを用いて識別を行う方法がある。

次に、判定出力部５は、識別時の学習・識別部４で得られた識別の結果を出力する（ステップＳ５）。出力の種類は、前述した機械学習の方法として何を用いるかによって、異常かそうでないかを示す二値の出力や、類似度を示すスカラー値などを出力する。

以上説明したように、個々の動物体の動き方も反映しつつ、複数の動物体が作り出す動きの流れの変化も反映して、動きベクトルを特徴量化するとともに、学習、識別処理に適した低次元の特徴量を用いて動画像の類似度や異常度を判定する際に、人物や車などの動物体の動きの流れを特徴量化することで、画像中に多数の動物体が様々な動きを伴って存在している場合にも、個々の動物体の動き方だけでなく、動きの経路や、複数動物体がつくる動きの流れを学習して、類似度や異常度を判定するようにした。

これを実現するために、画像のオプティカルフローや動物体の動きベクトルを時空間内のテクスチャとみなして特徴量化するため、入力画像のオプティカルフローを求め、動物体ごとの平均の動きベクトルを求め、それらの方向を量子化してテクスチャ特徴とし、学習サンプルから求めたテクスチャ特徴を入力として学習し辞書を作成し、その辞書を用いてテストサンプルから求めたテクスチャ特徴に対する識別を行い、サンプリングした特徴点の特徴情報を特徴ベクトル化するように構成した。

これにより、画像に含まれる動物体の動きによる動きベクトルを時空間のテクスチャとみなし、低次元の特徴量に表現することで、動物体の個別の動きだけでなく、複数動物体の作り出す流れも反映して、映像の類似度や異常度を判定することが可能になる。

前述した実施形態における画像識別装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

入力画像を識別することにより、画像内の異常状況を検出することが不可欠な用途に適用できる。

１・・・映像入力部、２・・・フロー情報検出部、２１・・・オプティカルフロー検出部、２２・・・動きベクトル検出部、３・・・フローテクスチャ特徴生成部、４・・・学習・識別部、４１・・・辞書記憶部、５・・・判定出力部

Claims

入力画像系列から画像変化領域を抽出する変化領域抽出手段と、
前記画像変化領域に基づいて動きベクトルを抽出するベクトル抽出手段と、
予め決められた時空間領域において、前記動きベクトルの方向の関係を示すフローテクスチャ特徴量を生成するフローテクスチャ特徴量生成手段と、
前記フローテクスチャ特徴量に基づき、画像の識別を行い、識別結果の情報を出力する識別手段と
を備えることを特徴とする画像識別装置。
前記フローテクスチャ特徴量生成手段は、量子化した動きベクトルの方向を示す値を行と列にした行列、または、動きベクトルの方向とベクトル相関値とを行と列にした行列によって前記フローテクスチャ特徴量を表現することを特徴とする請求項１に記載の画像識別装置。
前記フローテクスチャ特徴量生成手段は、
動物体の動きベクトル方向に対して、該動物体を中心として一定距離以内に存在する、前記動物体以外の動物体の動きベクトル方向の頻度を行列の形式に表現したもの、および複数の動物体毎にそれぞれ中心とする位置が異なる前記一定距離以内に存在する、前記動物体以外の動物体の動きベクトル方向の頻度を行列の形式に表現したものの組み合わせ、
または、動物体の動きベクトル方向に対して、該動物体を中心として一定距離以内に存在する、前記動物体以外の動物体の動きベクトル方向とのベクトル相関値を行列の形式に表現したもの、および複数の動物体毎にそれぞれ中心とする位置が異なる前記一定距離以内に存在する、前記動物体以外の動物体の動きベクトルの方向とベクトル相関値とを行列の形式に表現したものの組み合わせ、
または、前記動きベクトルをテクスチャとみなした時の前記動きベクトルの分布の一様性を求めた数値、
のいずれか一つによって前記フローテクスチャ特徴量を表現することを特徴とする請求項１に記載の画像識別装置。
入力画像から画像識別する画像識別装置が行う画像識別方法であって、
入力画像系列から画像変化領域を抽出する変化領域抽出ステップと、
前記画像変化領域に基づいて動きベクトルを抽出するベクトル抽出ステップと、
予め決められた時空間領域において、前記動きベクトルの方向の関係を示すフローテクスチャ特徴量を生成するフローテクスチャ特徴量生成ステップと、
前記フローテクスチャ特徴量に基づき、画像の識別を行い、識別結果の情報を出力する識別ステップと
を有することを特徴とする画像識別方法。
前記フローテクスチャ特徴量生成ステップでは、量子化した動きベクトルの方向を示す値を行と列にした行列、または、動きベクトルの方向とベクトル相関値とを行と列にした行列によって前記フローテクスチャ特徴量を表現することを特徴とする請求項４に記載の画像識別方法。
前記フローテクスチャ特徴量生成ステップでは、
動物体の動きベクトル方向に対して、該動物体を中心として一定距離以内に存在する、前記動物体以外の動物体の動きベクトル方向の頻度を行列の形式に表現したもの、および複数の動物体毎にそれぞれ中心とする位置が異なる前記一定距離以内に存在する、前記動物体以外の動物体の動きベクトル方向の頻度を行列の形式に表現したものの組み合わせ、
または、動物体の動きベクトル方向に対して、該動物体を中心として一定距離以内に存在する、前記動物体以外の動物体の動きベクトル方向とのベクトル相関値を行列の形式に表現したもの、および複数の動物体毎にそれぞれ中心とする位置が異なる前記一定距離以内に存在する、前記動物体以外の動物体の動きベクトルの方向とベクトル相関値とを行列の形式に表現したものの組み合わせ、
または、前記動きベクトルをテクスチャとみなした時の前記動きベクトルの分布の一様性を求めた数値、
のいずれか一つによって前記フローテクスチャ特徴量を表現することを特徴とする請求項４に記載の画像識別方法。
コンピュータを、請求項１から３のいずれか１項に記載の画像識別装置として機能させるための画像識別プロクラム。