JP6161257B2 - イベント検出装置及びその方法、動作認識装置及びその方法、プログラム - Google Patents

Description

本発明は、イベント検出に関し、特に画像のシーケンスからイベントを検出する技術に関するものである。

動画像中の適切なイベント検出手法として、たとえば特許文献１および非特許文献１のような方法が提案されている。特許文献１および非特許文献１では、動画像中から立体高次局所自己相関特徴（ＣＨＬＡＣ）を抽出し、部分空間法によって異常値を算出することにより、動画像中のイベント検出を行う。

特開２００６−７９２７２号公報

南里卓也，大津展之「複数人動画像からの異常動作検出」情報処理学会論文誌．コンピュータビジョンとイメージメディア，Ｖｏｌ．４５， Ｎｏ．ＳＩＧ１５， ｐｐ．４３−５０， ２００５ Ｔ． Ｋｏｂａｙａｓｈｉ ａｎｄ Ｎ． Ｏｔｓｕ， "Ａｃｔｉｏｎ ａｎｄ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｍｕｌｔｉｐｌｅ−Ｐｅｒｓｏｎ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｕｓｉｎｇ Ｃｕｂｉｃ Ｈｉｇｈｅｒ−Ｏｒｄｅｒ Ｌｏｃａｌ Ａｕｔｏ−Ｃｏｒｒｅｌａｔｉｏｎ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００４． Ｎ． Ｄａｌａｌ， Ｂ． Ｔｒｉｇｇｓ， "Ｈｉｓｔｏｇｒａｍｓ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ ｆｏｒ ｈｕｍａｎ ｄｅｔｅｃｔｉｏｎ"， Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ｐｐ． ８８６−８９３， ２００５． Ｄａｖｉｄ Ｇ． Ｌｏｗｅ， "Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ" ， Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ６０， ２ ， ｐｐ． ９１−１１０， ２００４． Ｔ． Ｋａｎａｍｏｒｉ， Ｓ． Ｈｉｄｏ， ａｎｄ Ｍ Ｓｕｇｉｙａｍａ． "Ａ ｌｅａｓｔ−ｓｑｕａｒｅｓ ａｐｐｒｏａｃｈ ｔｏ ｄｉｒｅｃｔ ｉｍｐｏｒｔａｎｃｅ ｅｓｔｉｍａｔｉｏｎ"． Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ， １０：１３９１−１４４５， Ｊｕｌ． ２００９． Ｔ． Ｋａｎａｍｏｒｉ， Ｓ． Ｈｉｄｏ， ａｎｄ Ｍ Ｓｕｇｉｙａｍａ． "Ａ ｌｅａｓｔ−ｓｑｕａｒｅｓ ａｐｐｒｏａｃｈ ｔｏ ｄｉｒｅｃｔ ｉｍｐｏｒｔａｎｃｅ ｅｓｔｉｍａｔｉｏｎ"． Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ， １０：１３９１−１４４５， Ｊｕｌ． ２００９．

しかしながら、特許文献１および非特許文献１のような部分空間法に基づく手法の場合、あらかじめ正常動作を定義し、この正常動作に対する大量の動画シーケンスを用意しなければならないという課題があった。

上記課題を解決するために、本発明によれば、イベント検出装置に、時系列の複数の画像を入力する入力手段と、第１のスケールパラメータに基づいて、前記時系列の複数の画像の第１の時間範囲からサンプルのスケールがそれぞれ異なる第１の画像サンプル列のセットを抽出する第１の抽出手段と、第２のスケールパラメータに基づいて、前記時系列の複数の画像の第２の時間範囲からサンプルのスケールがそれぞれ異なる第２の画像サンプル列のセットを抽出する第２の抽出手段と、前記第１及び第２の画像サンプル列のセットに基づいて、当該第１及び第２の画像サンプル列の非類似度を算出する非類似度算出手段と、前記非類似度に基づいて前記時系列の複数の画像からイベントを検出する検出手段とを備え、前記第１及び第２のスケールパラメータは、前記第１の画像サンプル列及び前記第２の画像サンプル列のサンプリング間隔を含む。

本発明によれば、教師なしでイベントを検出できるという効果がある。

第１の実施形態に係るイベント検出装置の機能構成を示すブロック図である。 画像サンプルの例を示す図である。 画像サンプルのセットの例を示す図である。 第１の画像サンプル列のセットの例を示す図である。 第２の画像サンプル列のセットの例を示す図である。 非類似度の算出処理を説明する図である。 第１の実施形態に係るイベント検出装置のハードウェア構成例を示す図である。 第１の実施形態に係るイベント検出処理の手順を示すフローチャートである。 第２の実施形態に係るイベント検出装置の機能構成を示すブロック図である。 画像サンプルの例を示す図である。 画像サンプル列のセットの例を示す図である。 参照画像サンプル列のセットの例を示す図である。 非類似度の算出を説明する図である。 時系列パターン特徴の算出を説明する図である。 第４の実施形態に係る動作認識装置の機能構成を示すブロック図である。 動作認識に用いる動画像の例を示す図である。 特徴量の算出を説明する図である。

以下、添付図面を参照しながら本発明の実施形態を説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係るイベント検出装置１の機能構成を示すブロック図である。本実施形態に係わるイベント検出装置は、半導体集積回路（ＬＳＩ）を用いて実現される。図１に示すように、イベント検出装置１は、画像生成部１１、スケールパラメータ設定部１２、第１画像サンプルセット抽出部１３、第２画像サンプルセット抽出部１４、非類似度算出部１５、イベント検出部１６を有する。これらの構成要素はイベント検出装置１が果たす機能にそれぞれ対応している。

また、本実施形態において、「イベント」とは、被写体（人や物体）の運動パターン、状態パターン、あるいは、それらの変化を総称して指すものとする。例えば、イベントとして被写体の動作を認識することができる。

ここで、イベント検出装置１によって得られたイベント検出結果は、イベント検出装置１の上位階層（アプリケーション層）に伝達され、セキュリティーカメラに実装される異常行動検出、ＤＶＤレコーダーや家庭用ビデオカメラ等に実装されるビデオセグメンテーション機能など、様々な画像処理アプリケーションに適用される。

図２は、画像サンプルの例を示す図である。画像生成部１１は、図２に示すように、イベント検出対象の動画像の所定時刻Ｔ_０における画像サンプル（キーフレームとよぶ）を基点とし、このキーフレームより所定時間ΔＴ前までの画像サンプルを第１画像サンプルセット抽出部１３に出力する。同様に、画像生成部１１は、キーフレームより所定時間ΔＴ後までの画像サンプルを第２画像サンプルセット抽出部１４に出力する。

図３は、画像サンプルのセットの例を示す図である。スケールパラメータ設定部１２は、図３に示すように、第１の画像サンプル列のセットと第２の画像サンプル列のセットを設定するために必要な第１のスケールパラメータ及び第２のスケールパラメータ（Ｎ，Ｓｎ１，Ｓｎ２，Ｌｎ１，Ｌｎ２）を設定する。すなわち、第１の画像サンプル列と第２の画像サンプル列のセット数（階層数）Ｎ（図３の例ではＮ＝５となる）と、第１の画像サンプル列と第２の画像サンプル列のｎ番目のペア（図３の例ではｎ＝１〜５となる）における第１と第２の画像サンプル列の各々のサンプル数（Ｓｎ１，Ｓｎ２）と、第１の画像サンプル列と第２の画像サンプル列のｎ番目のペアにおける第１と第２各々の画像サンプル列のサンプリング間隔（Ｌｎ１，Ｌｎ２）を設定する。また、スケールパラメータとして、所定時刻Ｔ_０や所定時間ΔＴなどで定まる時間的な範囲を設定するようにしてもよい。

ここで、これらのパラメータは、イベント検出結果を利用する後続の処理に応じて設定すればよい。例えば、イベント検出結果を、ビデオセグメンテーションなどのようにオフライン処理で利用する場合は、階層数Ｎおよび画像サンプル数（Ｓｎ１，Ｓｎ２）は比較的大きめに設定し、サンプリング間隔（Ｌｎ１，Ｌｎ２）は比較的小さめに設定すればよい。一方、イベント検出結果をセキュリティーカメラなどによりオンライン処理で利用する場合には、階層数Ｎおよび画像サンプル数（Ｓｎ１，Ｓｎ２）は比較的小さめに設定し、サンプリング間隔（Ｌｎ１，Ｌｎ２）は比較的大きめに設定すればよい。

図４は、第１の画像サンプル列のセットの例を示す図である。第１の抽出部である第１画像サンプルセット抽出部１３は、図４に示すように、スケールパラメータ設定部１２で設定されたパラメータ（Ｎ，Ｓｎ１，Ｌｎ１）に応じて、時間スケールの異なる画像サンプル列のセットを生成する。

同様に、図５は、第２の画像サンプル列のセットの例を示す図である。第２の抽出部である第２画像サンプルセット抽出部１４は、図５に示すように、スケールパラメータ設定部１２で設定されたパラメータ（Ｎ，Ｓｎ２，Ｌｎ２）に応じて、時間スケールの異なる画像サンプルのセットを生成する。

図６は、非類似度の算出処理を説明する図である。非類似度算出部１５は、図６に示すように、第１画像サンプルセット抽出部１３で得られた第１の画像サンプル列と、第２画像サンプルセット抽出部１４で得られた第２の画像サンプル列との非類似度Ｄを階層毎に算出する。

具体的には、第１の画像サンプル列から算出した所定特徴量の確率密度ｐ１と、第２の画像サンプル列から算出した所定特徴量の確率密度ｐ２との比（Ｒ＝ｐ１／ｐ２）に基づいて非類似度Ｄを算出する。

ここで、第１と第２の各々の画像サンプル列から算出する所定特徴量は、例えば、非特許文献２の立体高次局所自己相関特徴（ＣＨＬＡＣ）を用いて算出できる。あるいは、第１と第２の各々の画像サンプル列から算出する所定特徴量は、非特許文献３のＨｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）や、非特許文献４のＳｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）を用いて算出してもよい。あるいは、第１と第２の各々の画像サンプル列から算出する所定特徴量は、画像の速度場（物体の速度＋カメラの速度）を求め、それをベクトル集合で表現したオプティカルフローを用いてもよい。また、以上に例示したような特徴量の組み合わせを用いてもよい。

また、非類似度Ｄとしては、密度比（Ｒ＝ｐ１／ｐ２）の基本統計量である分散を用いればよい。あるいは、非類似度Ｄは、密度比（Ｒ＝ｐ１／ｐ２）の基本統計量である尖度や歪度を用いてもよい。あるいは、非類似度Ｄは、第１の画像サンプルによる密度比の平均値と、第２の画像サンプルによる密度比の平均値との差分絶対値を用いてもよい。

ここで、第１の画像サンプルから算出した所定特徴量の確率密度ｐ１と、第２の画像サンプルから算出した所定特徴量の確率密度ｐ２の密度比（Ｒ＝ｐ１／ｐ２）は、たとえば、非特許文献５あるいは特許文献６の密度比推定法を用いて算出できる。

すなわち、まず、訓練データとしてあるサンプルから特徴量を算出する。同様に、検証データとして訓練データとは別のサンプルから特徴量を算出する。このとき、訓練データの特徴量と検証データの特徴量の確率密度の比を求めるには、訓練データの特徴量と検証データの特徴量の各々の確率密度を推定すればよい。しかしながら、有限個のサンプルから正確な確率密度を推定することは非常に困難であることが知られており、確率密度の直接的な推定を避ける必要がある。

そこで、訓練データにおける確率密度と検証データにおける確率密度の比を推定する際のモデルパラメータを交差確認法により決定することで、訓練データと検証データの各々の確率密度を推定することなく、訓練データと検証データの確率密度の比を直接的に推定する。

イベント検出部１６は、非類似度算出部１５で算出した第１の画像サンプル列と第２の画像サンプル列のｎ番目の階層に対する非類似度Ｄｎ（ｎ＝０〜Ｎ）に基づいてイベントを検出する。ここで、前記Ｎはスケールパラメータ設定部で設定した、第１の画像サンプルと第２の画像サンプルのペア数Ｎ（図３の例ではＮ＝５）を表す。

具体的には、非類似度Ｄｎ（ｎ＝０〜Ｎ）が得られたキーフレームにおける時刻Ｔにおいてイベントが発生したかどうかに関する尤度Ｌを、たとえば式（１）を用いて尤度算出し、尤度Ｌが所定の閾値であるＴｈより大きい場合、時刻Ｔにおいてイベントが発生したと判定する。ここで、所定閾値Ｔｈは、イベント検出装置１の上位階層（アプリケーション層）からイベント検出対象である動画像の特性に応じてあらかじめ設定する。

また、尤度Ｌは式（２）のように非類似度Ｄｎ（ｎ＝０〜Ｎ）の積で与えてもよい。

あるいは、尤度Ｌは式（３）のように非類似度Ｄｎ（ｎ＝０〜Ｎ）と、あらかじめ与えられた重みＷｎ（ｎ＝０〜Ｎ）の積和で与えてもよい。

あるいは、上記式（１）〜（３）により複数の時刻またはフレームで尤度Ｌを計算し、尤度Ｌが極大となる時刻またはフレームでイベントが発生したと判定してもよい。

このようにして得られたイベント検出結果は、イベント検出装置１の上位階層に伝達される。例えば、ＤＶＤレコーダーや家庭用ビデオカメラ内において、動画像中のイベントを検出し、あらかじめ用意されたデータベースと比較することにより、当該イベントにイベント名称を付けるような使用形態においては、イベント検出装置１を制御するＣＰＵ、プログラム等に伝達される。

なお、本実施形態のイベント検出装置は、ソフトウェアで実現してもよい。図７は、本実施形態に係るイベント検出装置をソフトウェアで実現する場合のハードウェア構成例を示す図である。イベント検出装置は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ（ハードディスクドライブ）１０４、ＫＢ（キーボード）１０５、マウス１０６、モニタ１０７、ネットワークのインターフェース（Ｉ／Ｆ）１０８を有する。これらは、バス１０９を介して互いに通信可能に接続されて構成されている。

ＣＰＵ１０１は、イベント検出装置全体の動作制御を司るものであり、ＲＯＭ１０２内のプログラムを実行するほか、ＨＤＤ１０４等から各種の処理プログラム（ソフトウェア）をＲＡＭ１０３に読み出して実行する。ＲＯＭ１０２は、プログラムやプログラム内で用いられる各種データ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１での各種処理のために、処理プログラムや処理対象の画像サンプル、スケールパラメータなどを一時的に格納するための作業用エリア等として使用される。

ＨＤＤ１０４は、大容量記憶装置の一例としての構成要素であり、入力画像、画像サンプル、スケールパラメータなどの各種データ、あるいは各種処理の実行時にＲＡＭ１２０３等へ転送される処理プログラム等を保存する。

キーボード１０５及びマウス１０６は、イベント検出装置に対する各種指示等をユーザが入力するために用いられる。モニタ１０７は、ユーザへの各種指示情報や解析結果等の各種情報の表示を行う。インターフェース１０８は、ネットワークや他の装置から情報を取り込んだり、ネットワークや他の装置へ情報を送信したりするために用いられる。

図８は、第１の実施形態に係るイベント検出処理の手順を示すフローチャートである。同図に示すように、イベント検出装置１において、まずステップＳ８０１で、画像生成部１１がイベント検出対象となる動画像を生成する。

次にステップＳ８０２で、スケールパラメータ設定部１２が、画像サンプル列のセットの個数である階層数Ｎや、第１の画像サンプル列と第２の画像サンプル列のｎ番目のペアにおける第１と第２の画像サンプル列の各々の列数（Ｓｎ１，Ｓｎ２）、サンプリング間隔（Ｌｎ１，Ｌｎ２）を設定する。

そして、ステップＳ８０３で、第１画像サンプルセット抽出部１３が第１画像サンプル列のセットを抽出し、ステップＳ８０４で、第２画像サンプルセット抽出部１４が、第２画像サンプル列のセットを抽出する。さらにステップＳ８０５で、非類似度算出部１５が、各階層ｎについて第１の画像サンプル列と第２の画像サンプル列との所定特徴量の確率密度の比に基づいて非類似度Ｄｎを算出する。

そして、ステップＳ８０６において、イベント検出部１６が、各階層ｎの非類似度Ｄｎに基づいてイベントが発生したかどうかに関する尤度Ｌを算出し、所定閾値Ｔｈと比較してキーフレームでイベントが発生したかを判定する。

＜第２の実施形態＞
本発明の第２の実施形態について、図９〜図１３を参照して説明する。図９は、本実施形態に係るイベント検出装置の機能構成を示す図である。本実施形態に係わるイベント検出装置２は、第１の実施形態におけるイベント検出装置１と多くの機能が重複するため、以下では第１の実施形態との相違点を中心に説明する。

本実施形態では、予め用意された参照用の動画像を用いてイベント検出対象の動画像からイベントを検出する。参照用の動画像として特定の行動パターンやイベントカテゴリの時系列画像を与えてもよい。また、そのような特定カテゴリのみを含む映像の集合を与えてもよい。

図１０の（Ａ）は、画像サンプルの例を示す図である。画像生成部２１は、図１０の（Ａ）に示すように、イベント検出対象の動画像の所定時刻Ｔ_０における画像サンプルを基点とし、この基点より所定時間ΔＴ後までの画像サンプルを第１画像サンプルセット抽出部１３に出力する。ここで、時刻Ｔ＝Ｔ_０＋ΔＴ／２における画像サンプルを第１の画像サンプルにおけるキーフレームとよぶ。

図１０の（Ｂ）は、参照画像サンプルの例を示す図である。画像生成部２１は、図１０の（Ｂ）に示すように、あらかじめ用意された参照用の動画像の所定時刻Ｔ’_０における画像サンプルを基点とし、この基点より所定時間ΔＴ’後までの画像サンプルを第１画像サンプルセット抽出部１３に出力する。ここで、時刻Ｔ’＝Ｔ’ _０＋ΔＴ’／２における画像サンプルを参照画像サンプルにおけるキーフレームとよぶ。

図１１は、画像サンプル列のセットの例を示す図である。スケールパラメータ設定部２２は、図１１に示すように、第１の画像サンプル列のセットを設定するために必要なパラメータ（Ｎ，Ｓｎ，Ｌｎ）を設定する。すなわち、第１の画像サンプル列の階層数Ｎ（図１１の例ではＮ＝４となる）と、所定階層ｎ（図１１の例ではｎ＝１〜４）における第１の画像サンプル列のサンプル数Ｓｎと、所定階層ｎにおける第１の画像サンプルのサンプリング間隔Ｌｎを設定する。

図１２は、参照画像サンプル列のセットの例を示す図である。スケールパラメータ設定部２２は、図１２に示すように、参照画像サンプルのセットを設定するために必要なパラメータ（Ｎ’，Ｓ’ｎ，Ｌ’ｎ）を設定する。すなわち、参照画像サンプルの階層数Ｎ’（図１２の例ではＮ’＝４）と、所定階層ｎ（図１２の例ではｎ＝１〜４）における参照画像サンプルのサンプル数Ｓ’ｎと、所定階層ｎにおける参照画像サンプルのサンプリング間隔Ｌ’ｎを設定する。

ここで、これらのパラメータは、ビデオセグメンテーションなどオフライン処理を想定する場合には、階層数（Ｎ，Ｎ’）および画像サンプル数（Ｓｎ，Ｓ’ｎ）は比較的大きめに設定し、サンプリング間隔（Ｌｎ，Ｌ’ｎ）は比較的小さめに設定すればよい。一方、セキュリティーカメラなどオンライン処理を想定する場合には、階層数（Ｎ，Ｎ’）および画像サンプル数（Ｓｎ，Ｓ’ｎ）は比較的小さめに設定し、サンプリング間隔（Ｌｎ，Ｌ’ｎ）は比較的大きめに設定すればよい。

第１画像サンプルセット抽出部２３は、図１１のように、スケールパラメータ設定部２２で設定されたパラメータ（Ｎ，Ｓｎ，Ｌｎ）に応じて、時間スケールの異なる画像サンプルのセットを生成する。

同様に、参照画像サンプルセット抽出部２４は、図１２のように、スケールパラメータ設定部２２で設定されたパラメータ（Ｎ’，Ｓ’ｎ，Ｌ’ｎ）に応じて、あらかじめ用意した参照用の動画像から時間スケールの異なる画像サンプルのセットを生成する。

図１３は、非類似度の算出を説明する図である。類似度算出部２５は、図１３に示すように、第１画像サンプルセット抽出部１３で得られた第１の画像サンプルと、参照画像サンプルセット抽出部２４で得られた参照画像サンプルの類似度Ｓを算出する。具体的には、第１の画像サンプルから算出した所定特徴量の確率密度ｐ１と、参照画像サンプルから算出した所定特徴量の確率密度ｐ２の比（Ｒ＝ｐ１／ｐ２）に基づいて類似度Ｓを算出する。

たとえば、類似度Ｓは、密度比（Ｒ＝ｐ１／ｐ２）の基本統計量である分散の逆数や、尖度の逆数、あるいは歪度の逆数を用いればよい。あるいは、類似度Ｓは、第１の画像サンプルによる密度比の平均値と、参照画像サンプルによる密度比の平均値の差分絶対値の逆数を用いてもよい。

ここで、第１の画像サンプルから算出した所定特徴量の確率密度ｐ１と、参照画像サンプルから算出した所定特徴量の確率密度ｐ２との確率密度の比（Ｒ＝ｐ１／ｐ２）は、実施形態１と同様に非特許文献２あるいは特許文献３の密度比推定法を用いて算出できる。

イベント検出部２６は、類似度算出部１５で算出した第１の画像サンプル列と参照画像サンプル列とのｎ番目の階層に対する類似度Ｓｎ（ｎ＝０〜Ｎ）に基づいてイベントを検出する。ここで、前記Ｎはスケールパラメータ設定部で設定した、第１の画像サンプル列と参照画像サンプル列の階層数Ｎ（図１３の例ではＮ＝４）を表す。

具体的には、類似度Ｓｎ（ｎ＝０〜Ｎ）が得られた第１の画像サンプルにおけるキーフレームの時刻Ｔにおいて、あらかじめ用意した参照用の画像サンプルにおけるキーフレームの時刻Ｔ’のイベントが発生したことの尤度Ｌを、たとえば式（４）を用いて算出し、尤度Ｌが所定閾値Ｔｈより大きい場合、第１の画像サンプルにおけるキーフレームの時刻Ｔにおいて、あらかじめ用意した参照用の画像サンプルにおけるキーフレームの時刻Ｔ’のイベントが発生したと判定する。

ここで、参照用の画像サンプルにおけるキーフレームの時刻Ｔ’のイベント名称は、あらかじめ与えることができるため、第１の画像サンプルにおけるキーフレームの時刻Ｔにおいて、具体的にどんなイベントが発生したのか検知することができる。また、所定閾値Ｔｈは、イベント検出装置２の上位階層からイベント検出対象である動画像の特性に応じてあらかじめ設定する。

また、尤度Ｌは式（５）のように類似度Ｓｎ（ｎ＝０〜Ｎ）の積で与えてもよい。

あるいは、尤度Ｌは式（６）のように類似度Ｓｎ（ｎ＝０〜Ｎ）と、あらかじめ与えられた重みＷｎ（ｎ＝０〜Ｎ）の積和で与えてもよい。

あるいは、上記式（１）〜式（３）におけるＬが極大となる時刻またはフレームでイベントが発生したと判定してもよい。

このようにして得られたイベント検出結果およびイベント名称は、イベント検出装置２の上位階層（アプリケーション層）、たとえば、ＤＶＤレコーダーや家庭用ビデオカメラ内におけるビデオセグメンテーションや映像要約を行うような想定下においては、イベント検出装置１を制御するＣＰＵ、プログラム等に伝達される。

＜第３の実施形態＞
本発明の第３の実施形態について、図１４を参照して説明する。本実施形態に係るイベント検出装置の機能構成は、第１の実施形態と同様、図１に示した構成である。ただし、第１の実施形態とは、一部の構成において機能の詳細が異なっている。本実施形態に係わるイベント検出装置は、第１の実施形態におけるイベント検出装置１と多くの機能が重複するため、以下ではこれらの相違点のみを説明する。

イベント検出部１６は、非類似度算出部１５で算出した第１の画像サンプル列と第２の画像サンプル列のｎ番目の階層に対する非類似度Ｄｎ（ｎ＝０〜Ｎ）に基づいてイベントを検出する。ここで、前記Ｎはスケールパラメータ設定部で設定した、第１の画像サンプルと第２の画像サンプルの階層数Ｎ（図１３の例ではＮ＝４）を表す。

図１４は、時系列パターン特徴の算出を説明する図である。イベント検出部１６は、図１４に示すように、所定時刻Ｔ_０で算出した非類似度Ｄｎ（Ｔ） （ｎ＝０〜Ｎ）を用いて時系列パターン特徴Ｆ（Ｔ）を算出する。時系列パターン特徴Ｆ（Ｔ）は、たとえば、Ｎ＝４の場合、Ｆ（Ｔ）＝（Ｄ１，Ｄ２，Ｄ３，Ｄ４）のように与えられる。さらに、あらかじめ与えられた参照画像サンプルから複数の時系列パターン特徴Ｆ（Ｔ）を算出することにより、識別器Ｄ（Ｆ（Ｔ））を生成する。

ここで、識別器Ｄ（Ｆ（Ｔ））は、たとえば、時系列パターン特徴Ｆ（Ｔ）を入力とする、既存技術であるサポート・ベクターマシン（ＳＶＭ）を用いて生成することができる。あるいは、識別器Ｄ（Ｆ（Ｔ））は、時系列パターン特徴Ｆ（Ｔ）を入力とする、既存技術であるｋ近傍法（ｋＮＮ）を用いて生成してもよい。あるいは、識別器Ｄ（Ｆ（Ｔ））は、時系列パターン特徴Ｆ（Ｔ）を入力とする、その他の機械学習手法を用いて生成してもよい。

さらに、イベント検出部１６は、所定時刻Ｔで算出した時系列パターン特徴Ｆ（Ｔ）を識別器Ｄ（Ｆ（Ｔ））に入力し、識別器Ｄ（Ｆ（Ｔ））からの出力が正の実数値の場合、所定時刻Ｔにおいて、あらかじめ与えられた参照画像サンプルにおける既知のイベントが発生したと判定する。

このようにして得られたイベント検出結果およびイベント名称は、イベント検出装置１の上位階層（アプリケーション層）、たとえば、ＤＶＤレコーダーや家庭用ビデオカメラ内において、動画像中のイベントを検出し、あらかじめ用意されたデータベースと比較することにより、当該イベントにイベント名称を付けるような想定下においては、イベント検出装置１を制御するＣＰＵ、プログラム等に伝達される。

＜第４の実施形態＞
本発明の第４の実施形態について、図１５〜図１７を参照して説明する。

図１５は、第４の実施形態に係る動作認識装置４の概略構成を示すブロック図である。本実施形態に係わる動作認識装置は、半導体集積回路（ＬＳＩ）を用いて実現されるが、ソフトウェアとして実装してもよい。図１５に示すように動作認識装置４は、第１画像サンプル抽出部４１、第２画像サンプル抽出部４２、第１特徴量算出部４３、第２特徴量算出部４４、第１連結特徴量算出部４５、第２連結特徴量算出部４６、類似度算出部４７、動作認識部４８を有する。これらの構成要素は動作認識装置４が果たす機能にそれぞれ対応している。

ここで、本実施形態では、参照画像として特定の行動パターンやイベントカテゴリの時系列画像を与えてもよい。また、そのような特定カテゴリのみを含む映像の集合を与えてもよい。

図１６は、動作認識に用いる動画像の例を示す図である。参照用の動画像に基づいて、動作認識の対象である動画像における動作を認識する。第１画像サンプル抽出部４１は、図１６に示すように、あらかじめ用意された参照用の動画像から、所定時刻Ｔ’０における画像サンプルを基点とし、この基点の前後ΔＴ’の区間の画像サンプルを抽出して第１特徴量算出部４３に出力する。

また、第２画像サンプル抽出部４２は、図１６に示すように、動作認識対象の動画像から、所定時刻Ｔ_０における画像サンプルを基点とし、この基点の前後ΔＴの区間の画像サンプルを抽出して第２特徴量算出部４４に出力する。

第１特徴量算出部４３は、第１画像サンプル抽出部４１により抽出された参照用の画像サンプル群から特徴量を抽出し、第１特徴量連結部４５に出力する。同様に、第２特徴量算出部４４は、第２画像サンプル抽出部４２により抽出された、動作認識の対象である画像サンプル群から特徴量を抽出し、第２連結特徴量算出部４６に出力する。ここで、上記特徴量（特徴量１、特徴量２、特徴量３…）は、それぞれどのように時間的に区切って抽出するか、あるいは、それぞれ何フレーム分のデータに対する特徴量か、さらに、特徴量の抽出単位（フレーム数）の大きさなど、これらを様々に変えて抽出を行ってもよい。

ここで、上記特徴量は、実施形態１と同様に、ＣＨＬＡＣ、ＨＯＧ、ＳＩＦＴ、ＭＢＨなどの特徴量やそれらの組み合わせを用いて算出してもよい。あるいは、画像の速度場をベクトル集合で表現したオプティカルフローを用いて算出してもよい。

図１７は、特徴量の算出を説明する図である。第１連結特徴量算出部４５は、図１７に示すように、第１特徴量算出部４３で算出した特徴量を入力とし、特徴ｉ， 特徴ｉ＋１，…，特徴ｉ＋ｋのようにｋ個の連続する特徴が時間的順序を保ちつつ部分的に重複するように連結して生成した複数の連結特徴量を類似度算出部４７に出力する。

同様に、第２連結特徴量算出部４６は、第２特徴量算出部４４で算出した特徴量を入力とし、それらの時間的順序を入れ替えることなく所定個数分連結し、冗長性を持たせながら生成した複数の連結特徴量を類似度算出部４７に出力する。ここで、上記連結回数は、あらかじめ識別性能および処理時間を鑑みて適切に決定される。

類似度算出部４７は、図１６のように、前記第１連結特徴量算出部４５で算出した第１の連結特徴量および第２連結特徴量算出部４６で算出した第２の連結特徴量を入力とし、前記第１画像サンプルセット抽出部４１で抽出した第１の画像サンプル群と、前記第２画像サンプルセット抽出部４２で抽出した第２の画像サンプル群との類似度Ｓを算出する。

具体的には、第１の連結特徴量の確率密度ｐ１と、第２の連結特徴量の確率密度ｐ２の比（Ｒ＝ｐ１／ｐ２）に基づいて類似度Ｓを算出する。具体的には、たとえば、類似度Ｓは、比Ｒの推定値を用いればよい。あるいは、類似度Ｓは、密度比（Ｒ＝ｐ１／ｐ２）の基本統計量である分散の逆数を用いればよい。あるいは、類似度Ｓは、密度比（Ｒ＝ｐ１／ｐ２）の基本統計量である尖度の逆数を用いてもよい。あるいは、類似度Ｓは、密度比（Ｒ＝ｐ１／ｐ２）の基本統計量である歪度の逆数を用いてもよい。

ここで、第１の連結特徴量の確率密度ｐ１、第２の連結特徴量の確率密度ｐ２の確率密度の比（Ｒ＝ｐ１／ｐ２）は、Ｙａｍａｄａ， Ｍ．， Ｓｕｚｕｋｉ， Ｔ．， Ｋａｎａｍｏｒｉ， Ｔ．， Ｈａｃｈｉｙａ， Ｈ．， ＆ Ｓｕｇｉｙａｍａ， Ｍ． Ｒｅｌａｔｉｖｅ ｄｅｎｓｉｔｙ−ｒａｔｉｏ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｒｏｂｕｓｔ ｄｉｓｔｒｉｂｕｔｉｏｎ ｃｏｍｐａｒｉｓｏｎ． Ｉｎ Ｊ． Ｓｈａｗｅ−Ｔａｙｌｏｒ， Ｒ． Ｓ． Ｚｅｍｅｌ， Ｐ． Ｂａｒｔｌｅｔｔ， Ｆ． Ｃ． Ｎ． Ｐｅｒｅｉｒａ， ａｎｄ Ｋ． Ｑ． Ｗｅｉｎｂｅｒｇｅｒ （Ｅｄｓ．）， Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２４， ｐｐ．５９４−６０２， ２０１１． （Ｐｒｅｓｅｎｔｅｄ ａｔ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ （ＮＩＰＳ２０１１）， Ｇｒａｎａｄａ， Ｓｐａｉｎ， Ｄｅｃ． １３−１５， ２０１１）に記載された密度比推定法を用いて算出できる。

動作認識部４８は、類似度算出部４７で算出した、第１の画像サンプル群と第２の画像サンプル群との類似度Ｓに基づいて、第１の画像サンプル群と第２の画像サンプル群が同じ動作カテゴリに属すかどうか判定する。具体的には、上記類似度Ｓが所定閾値Ｔｈより小さい場合、図１６の第２の画像サンプル群の時刻Ｔ_０において、図１６の第１の画像サンプル群の時刻Ｔ’_０と同一カテゴリの動作が発生したと判定する。

ここで、第１の画像サンプル群における時刻Ｔ’０のイベント名称は、あらかじめ付与することができるため、第２の画像サンプルにおける時刻Ｔ_０において、実際にどんな動作が行われたのか検知することができる。また、所定閾値Ｔｈは、動作認識装置４の上位階層から動作認識対象である動画像の特性に応じてあらかじめ設定する。

このようにして得られた動作認識結果は、動作認識装置４の上位階層（アプリケーション層）、例えば、ＤＶＤレコーダーや家庭用ビデオカメラ内におけるビデオセグメンテーションや映像要約を行うような想定下においては、動作認識装置４を制御するＣＰＵ、プログラム等に伝達される。

＜その他の実施形態＞
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、コンピュータ読み取り可能なプログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

更に、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

Claims (23)

1. 時系列の複数の画像を入力する入力手段と、
   第１のスケールパラメータに基づいて、前記時系列の複数の画像の第１の時間範囲からサンプルのスケールがそれぞれ異なる第１の画像サンプル列のセットを抽出する第１の抽出手段と、
   第２のスケールパラメータに基づいて、前記時系列の複数の画像の第２の時間範囲からサンプルのスケールがそれぞれ異なる第２の画像サンプル列のセットを抽出する第２の抽出手段と、
   前記第１及び第２の画像サンプル列のセットに基づいて、当該第１及び第２の画像サンプル列の非類似度を算出する非類似度算出手段と、
   前記非類似度に基づいて前記時系列の複数の画像からイベントを検出する検出手段と
   を有し、
   前記第１及び第２のスケールパラメータは、前記第１の画像サンプル列及び前記第２の画像サンプル列のサンプリング間隔を含むことを特徴とするイベント検出装置。
2. 前記第１の抽出手段は、前記時系列の複数の画像において、所定の画像より前の画像から前記第１の画像サンプル列のセットを抽出し、
   前記第２の抽出手段は、前記所定の画像より後の画像から前記第２の画像サンプル列のセットを抽出することを特徴とする請求項１に記載のイベント検出装置。
3. 前記第１及び第２のスケールパラメータは、前記第１及び第２の時間範囲を更に含むことを特徴とする請求項１または２に記載のイベント検出装置。
4. 前記第１及び第２のスケールパラメータは、前記第１の画像サンプル列及び前記第２の画像サンプル列における画像サンプルの個数を更に含むことを特徴とする請求項１から３のいずれか１項に記載のイベント検出装置。
5. 前記第１及び第２のスケールパラメータは、前記第１の画像サンプル列及び前記第２の画像サンプル列のセット数を更に含むことを特徴とする請求項１から４のいずれか１項に記載のイベント検出装置。
6. 前記第１及び第２のスケールパラメータを設定する設定手段を更に備えることを特徴とする請求項１から５のいずれか１項に記載のイベント検出装置。
7. 前記検出手段は、前記第１及び第２の画像サンプル列のセットにおいて、それぞれ対応する第１及び第２の画像サンプル列の非類似度のパターンから、所定の参照画像より求められた複数の非類似度のパターンに基づいてイベントを検出することを特徴とする請求項１から６のいずれか１項に記載のイベント検出装置。
8. 前記非類似度算出手段は、前記第１の画像サンプル列のセットと第２の画像サンプル列のセットとにおいて、それぞれ対応する前記第１の画像サンプル列から算出される所定特徴量と前記第２の画像サンプル列から算出される所定特徴量との確率密度の比に基づいて、前記非類似度を算出することを特徴とする請求項１から７のいずれか１項に記載のイベント検出装置。
9. 前記検出手段は、前記非類似度に基づいて前記時系列の複数の画像における特定の画像にイベントが発生した尤度を算出する尤度算出手段と、前記尤度に基づいて前記特定の画像にイベントが発生したか否かを判定する判定手段とを備えることを特徴とする請求項１から８のいずれか１項に記載のイベント検出装置。
10. 前記判定手段は、前記尤度が所定の閾値より大きい場合に、前記特定の画像にイベントが発生したと判定することを特徴とする請求項９に記載のイベント検出装置。
11. 前記尤度算出手段は、複数の特定の画像について前記尤度を算出し、前記判定手段は、前記尤度が極大となる特定の画像でイベントが発生したと判定することを特徴とする請求項９に記載のイベント検出装置。
12. 時系列の複数の画像を入力する入力手段と、
    第１のスケールパラメータに基づいて、前記時系列の複数の画像からサンプルのスケールがそれぞれ異なる第１の画像サンプル列のセットを抽出する第１の抽出手段と、
    第２のスケールパラメータに基づいて、あらかじめ与えられた複数の画像からサンプルのスケールがそれぞれ異なる第２の画像サンプル列のセットを抽出する第２の抽出手段と、
    前記第１及び第２の画像サンプル列のセットに基づいて、当該第１及び第２の画像サンプル列の非類似度を算出する非類似度算出手段と、
    前記非類似度に基づいて前記時系列の複数の画像からイベントを検出する検出手段と
    を有し、
    前記第１及び第２のスケールパラメータは、前記第１の画像サンプル列及び前記第２の画像サンプル列のサンプリング間隔を含むことを特徴とするイベント検出装置。
13. 前記第２の画像サンプル列のセットは、所定のイベントが発生した画像を含んでおり、前記検出手段は、前記時系列の複数の画像から前記所定のイベントを検出することを特徴とする請求項１２に記載のイベント検出装置。
14. 時系列の複数の画像を入力する入力工程と、
    第１のスケールパラメータに基づいて、前記時系列の複数の画像の第１の時間範囲からサンプルのスケールがそれぞれ異なる第１の画像サンプル列のセットを抽出する第１の抽出工程と、
    第２のスケールパラメータに基づいて、前記時系列の複数の画像の第２の時間範囲からサンプルのスケールがそれぞれ異なる第２の画像サンプル列のセットを抽出する第２の抽出工程と、
    前記第１及び第２の画像サンプル列のセットに基づいて、当該第１及び第２の画像サンプル列の非類似度を算出する非類似度算出工程と、
    前記非類似度に基づいて前記時系列の複数の画像からイベントを検出する検出工程とを有し、
    前記第１及び第２のスケールパラメータは、前記第１の画像サンプル列及び前記第２の画像サンプル列のサンプリング間隔を含むことを特徴とするイベント検出方法。
15. コンピュータに、請求項１４に記載のイベント検出方法を実行させることを特徴とするコンピュータ読み取り可能なプログラム。
16. 時系列の複数の画像を入力する入力工程と、
    第１のスケールパラメータに基づいて、前記時系列の複数の画像からサンプルのスケールがそれぞれ異なる第１の画像サンプル列のセットを抽出する第１の抽出工程と、
    第２のスケールパラメータに基づいて、あらかじめ与えられた複数の画像からサンプルのスケールがそれぞれ異なる第２の画像サンプル列のセットを抽出する第２の抽出工程と、
    前記第１及び第２の画像サンプル列のセットに基づいて、当該第１及び第２の画像サンプル列の非類似度を算出する非類似度算出工程と、
    前記非類似度に基づいて前記時系列の複数の画像からイベントを検出する検出工程とを有し、
    前記第１及び第２のスケールパラメータは、前記第１の画像サンプル列及び前記第２の画像サンプル列のサンプリング間隔を含むことを特徴とするイベント検出方法。
17. コンピュータに、請求項１６に記載のイベント検出方法を実行させることを特徴とするコンピュータ読み取り可能なプログラム。
18. 時系列の複数の画像を入力する入力手段と、
    第１のスケールパラメータに基づいて、前記時系列の複数の画像の第１の時間範囲からサンプルのスケールがそれぞれ異なる第１の画像サンプル列のセットを抽出する第１の抽出手段と、
    第２のスケールパラメータに基づいて、前記時系列の複数の画像の第２の時間範囲からサンプルのスケールがそれぞれ異なる第２の画像サンプル列のセットを抽出する第２の抽出手段と、
    前記第１及び第２の画像サンプル列のセットに基づいて、当該第１及び第２の画像サンプル列の非類似度を算出する非類似度算出手段と、
    前記非類似度に基づいて前記時系列の複数の画像からイベントを検出する検出手段と
    を有し、
    前記検出手段は、前記第１及び第２の画像サンプル列のセットにおいて、それぞれ対応する第１及び第２の画像サンプル列の非類似度のパターンから、所定の参照画像より求められた複数の非類似度のパターンに基づいてイベントを検出することを特徴とするイベント検出装置。
19. 時系列の複数の画像を入力する入力手段と、
    第１のスケールパラメータに基づいて、前記時系列の複数の画像からサンプルのスケールがそれぞれ異なる第１の画像サンプル列のセットを抽出する第１の抽出手段と、
    第２のスケールパラメータに基づいて、あらかじめ与えられた複数の画像からサンプルのスケールがそれぞれ異なる第２の画像サンプル列のセットを抽出する第２の抽出手段と、
    前記第１及び第２の画像サンプル列のセットに基づいて、当該第１及び第２の画像サンプル列の非類似度を算出する非類似度算出手段と、
    前記非類似度に基づいて前記時系列の複数の画像からイベントを検出する検出手段と
    を有し、
    前記検出手段は、前記第１及び第２の画像サンプル列のセットにおいて、それぞれ対応する第１及び第２の画像サンプル列の非類似度のパターンから、所定の参照画像より求められた複数の非類似度のパターンに基づいてイベントを検出することを特徴とするイベント検出装置。
20. 時系列の複数の画像を入力する入力工程と、
    第１のスケールパラメータに基づいて、前記時系列の複数の画像の第１の時間範囲からサンプルのスケールがそれぞれ異なる第１の画像サンプル列のセットを抽出する第１の抽出工程と、
    第２のスケールパラメータに基づいて、前記時系列の複数の画像の第２の時間範囲からサンプルのスケールがそれぞれ異なる第２の画像サンプル列のセットを抽出する第２の抽出工程と、
    前記第１及び第２の画像サンプル列のセットに基づいて、当該第１及び第２の画像サンプル列の非類似度を算出する非類似度算出工程と、
    前記非類似度に基づいて前記時系列の複数の画像からイベントを検出する検出工程とを有し、
    前記検出工程は、前記第１及び第２の画像サンプル列のセットにおいて、それぞれ対応する第１及び第２の画像サンプル列の非類似度のパターンから、所定の参照画像より求められた複数の非類似度のパターンに基づいてイベントを検出することを特徴とするイベント検出方法。
21. コンピュータに、請求項２０に記載のイベント検出方法を実行させることを特徴とするコンピュータ読み取り可能なプログラム。
22. 時系列の複数の画像を入力する入力工程と、
    第１のスケールパラメータに基づいて、前記時系列の複数の画像からサンプルのスケールがそれぞれ異なる第１の画像サンプル列のセットを抽出する第１の抽出工程と、
    第２のスケールパラメータに基づいて、あらかじめ与えられた複数の画像からサンプルのスケールがそれぞれ異なる第２の画像サンプル列のセットを抽出する第２の抽出工程と、
    前記第１及び第２の画像サンプル列のセットに基づいて、当該第１及び第２の画像サンプル列の非類似度を算出する非類似度算出工程と、
    前記非類似度に基づいて前記時系列の複数の画像からイベントを検出する検出工程とを有し、
    前記検出工程は、前記第１及び第２の画像サンプル列のセットにおいて、それぞれ対応する第１及び第２の画像サンプル列の非類似度のパターンから、所定の参照画像より求められた複数の非類似度のパターンに基づいてイベントを検出することを特徴とするイベント検出方法。
23. コンピュータに、請求項２２に記載のイベント検出方法を実行させることを特徴とするコンピュータ読み取り可能なプログラム。

Images