JP5046148B2 - 画像解析装置および対象物認識方法 - Google Patents

Description

本発明は、画像解析装置および対象物認識方法に関し、動画像データに含まれる対象物の状態を認識する技術に関する。

例えば、動画像データを解析して対象物の状態を判別する技術が特許文献１が開示されている。特許文献１に記載の技術では、高所局所自己相関を３次元に拡張した立体高所局所自己相関を提案しており、動画像データから立体高所局所自己相関を用いて特徴ベクトルを算出し、多変量解析によって変換した新しい特徴ベクトルと、学習用特徴ベクトルと比較して、行動や状態を認識している。

また、高次局所自己相関を用いた画像処理技術やその他の画像処理技術が特許文献２〜６に開示されている。

特開２００５−９２３４６号公報 特開平２−１０１５８６号公報 特開平２−１０１５９１号公報 特開平１０−２８９３９３号公報 特開平７−２２５８４１号公報 特開平６−１０５３１２号公報

一般的に、画像データを解析して、対象物の状態を認識する精度をさらに向上する技術が望まれている。

そこで、本発明は、対象物の状態を認識する精度を向上できる技術を提供することを目的とする。

本発明にかかる画像解析装置の第１の態様は、順次に入力される画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽出し、前記セグメント領域毎に当該セグメント領域の画像フレームであるセグメント画像フレームを生成するセグメント抽出部と、順次に入力される前記セグメント画像フレームから、同一の前記対象物を含む前記セグメント領域の前記セグメント画像フレームを連結して、前記セグメント領域の動画像データであるセグメント画像データを生成および更新する連結部と、前記セグメント画像データから前記対象物の特徴データを算出する特徴抽出部と、前記特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、前記セグメント領域毎に前記対象物の状態を認識する識別部とを備え、前記連結部は、異なる時間における前記セグメント画像フレーム間にそれぞれ含まれるセグメント領域同士の距離が所定の値以下であることを以て、前記セグメント領域が前記同一の前記対象物を含むと判断し、前記連結部は、さらに、所定の前記対象物を含むセグメント画像フレームが所定の期間を超えて入力されないときに、前記所定の前記対象物を含むセグメント画像データを削除する。好ましくは、前記特徴抽出部は、高次局所自己相関を用いて前記特徴データを算出する。

本発明にかかる画像解析装置の第２の態様は、順次に入力される画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽出し、前記セグメント領域毎に当該セグメント領域の画像フレームであるセグメント画像フレームを生成するセグメント抽出部と、順次に入力される前記セグメント画像フレームから、同一の前記対象物を含む前記セグメント領域の前記セグメント画像フレームを連結して、前記セグメント領域の動画像データであるセグメント画像データを生成および更新する連結部と、前記セグメント画像データから前記対象物の特徴データを算出する特徴抽出部と、前記特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、前記セグメント領域毎に前記対象物の状態を認識する識別部と、前記サンプル動画像データ内の対象物を含むセグメント領域のサイズに応じて、前記セグメント画像フレームの前記セグメント領域のサイズを変更するサイズ変更部とを備え、前記連結部は、異なる時間における前記セグメント画像フレーム間にそれぞれ含まれるセグメント領域同士の距離が所定の値以下であることを以て、前記セグメント領域が前記同一の前記対象物を含むと判断し、前記サイズ変更部は、第１所定期間毎に前記セグメント領域のサイズがしきい値を超えて変動しているかどうかを確認する第１ステップを実行し、前記第１ステップにて前記サイズが超えていると判断した場合には、前記セグメント画像データを削除し、次のセグメント画像フレームを用いて倍率を更新して、前記次のセグメント画像フレーム以降のセグメント画像フレームを前記倍率で正規化する第２ステップを実行し、前記次のセグメントフレーム以降の第２所定期間（前記第１所定期間よりも短い期間）において、前記セグメント領域の前記サイズを確認する第３ステップを実行し、前記第３ステップにて前記サイズが所定のしきい値を超えて変動すれば、前記第２ステップを実行する。

本発明にかかる画像解析装置の第３の態様は、順次に入力される画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽出し、前記セグメント領域毎に当該セグメント領域の画像フレームであるセグメント画像フレームを生成するセグメント抽出部と、順次に入力される前記セグメント画像フレームから、同一の前記対象物を含む前記セグメント領域の前記セグメント画像フレームを連結して、前記セグメント領域の動画像データであるセグメント画像データを生成および更新する連結部と、前記セグメント画像データから前記対象物の特徴データを算出する特徴抽出部と、前記特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、前記セグメント領域毎に前記対象物の状態を認識する識別部と、前記セグメント画像データが示す前記セグメント画像フレーム同士における、前記セグメント領域の位置変動を算出して、前記セグメント領域が当該セグメント画像フレーム間で移動状態にあるか静止状態かを分類する分類部とを備え、前記連結部は、異なる時間における前記セグメント画像フレーム間にそれぞれ含まれるセグメント領域同士の距離が所定の値以下であることを以て、前記セグメント領域が前記同一の前記対象物を含むと判断し、前記識別部は、前記セグメント領域が前記静止状態にあると分類されたか、前記移動状態にあると分類されたかに応じて、それぞれ静止状態についての前記学習用特徴データまたは移動状態についての前記学習用特徴データとを選んで用いる。

本発明にかかる画像解析装置の第４の態様は、第３の態様にかかる画像解析装置であって、前記分類部は、さらに前記位置変動から前記セグメント領域の移動速度および移動方向を算出し、前記識別部は、さらに前記移動速度および前記移動方向を用いて、前記対象物の前記状態の認識結果を補正する。

本発明にかかる画像解析装置の第５の態様は、第１乃至第４のいずれか一つの態様にかかる画像解析装置であって、前記識別部は、前記特徴データおよび前記学習用特徴データを用いて認識した前記対象物の前記状態の認識結果を保存し、前記対象物の現在の前記状態が認識できないときは、過去の前記認識結果を用いて、前記対象物の現在の前記状態を認識する。

本発明にかかる対象物認識方法の第１の態様は、（ａ）順次に入力される画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽出し、前記セグメント領域毎にセグメント画像フレームを生成するステップと、（ｂ）前記ステップ（ａ）の実行後、順次に入力される前記セグメント画像フレームから、同一の前記対象物を含む前記セグメント領域の前記セグメント画像フレームを連結して、前記セグメント領域の動画像データであるセグメント画像データを生成および更新するステップと、（ｃ）前記ステップ（ｂ）の実行後、前記セグメント画像データから前記対象物の特徴データを算出するステップと、（ｄ）前記ステップ（ｃ）の実行後、前記特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、前記セグメント領域毎に前記対象物の状態を認識するステップとを実行し、前記ステップ（ｂ）は、異なる時間における前記セグメント画像フレームにそれぞれ含まれる前記セグメント領域同士の距離が所定の値以下であることを以て、前記セグメント領域が前記同一の前記対象物を含むと判断し、前記ステップ（ｂ）は、さらに、所定の前記対象物を含むセグメント画像フレームが所定の期間を超えて入力されないときに、前記所定の前記対象物を含むセグメント画像データを削除する。好ましくは、前記ステップ（ｃ）は、高次局所自己相関を用いて前記特徴データを算出する。

本発明にかかる対象物認識方法の第２の態様は、（ａ）順次に入力される画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽出し、前記セグメント領域毎にセグメント画像フレームを生成するステップと、（ｂ）前記ステップ（ａ）の実行後、順次に入力される前記セグメント画像フレームから、同一の前記対象物を含む前記セグメント領域の前記セグメント画像フレームを連結して、前記セグメント領域の動画像データであるセグメント画像データを生成および更新するステップと、（ｃ）前記ステップ（ｂ）の実行後、前記セグメント画像データから前記対象物の特徴データを算出するステップと、（ｄ）前記ステップ（ｃ）の実行後、前記特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、前記セグメント領域毎に前記対象物の状態を認識するステップと、（ｅ）前記ステップ（ａ）および（ｃ）の間で実行され、前記サンプル動画像データ内の対象物を含むセグメント領域のサイズに応じて、前記セグメント画像フレームの前記セグメント領域のサイズを変更するステップとを実行し、前記ステップ（ｂ）は、異なる時間における前記セグメント画像フレームにそれぞれ含まれる前記セグメント領域同士の距離が所定の値以下であることを以て、前記セグメント領域が前記同一の前記対象物を含むと判断し、前記ステップ（ｅ）は、第１所定期間毎に前記セグメント領域のサイズがしきい値を超えて変動しているかどうかを確認する第１ステップを実行し、前記第１ステップにて前記サイズが超えていると判断した場合には、前記セグメント画像データを削除し、次のセグメント画像フレームを用いて倍率を更新して、前記次のセグメント画像フレーム以降のセグメント画像フレームを前記倍率で正規化する第２ステップを実行し、前記次のセグメントフレーム以降の所定期間（前記第１所定期間よりも短い期間）において、前記セグメント領域の前記サイズを確認する第３ステップを実行し、前記第３ステップにて前記サイズが所定のしきい値を超えて変動すれば、前記第２ステップを実行する。

本発明にかかる対象物認識方法の第３の態様は、（ａ）順次に入力される画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽出し、前記セグメント領域毎にセグメント画像フレームを生成するステップと、（ｂ）前記ステップ（ａ）の実行後、順次に入力される前記セグメント画像フレームから、同一の前記対象物を含む前記セグメント領域の前記セグメント画像フレームを連結して、前記セグメント領域の動画像データであるセグメント画像データを生成および更新するステップと、（ｃ）前記ステップ（ｂ）の実行後、前記セグメント画像データから前記対象物の特徴データを算出するステップと、（ｄ）前記ステップ（ｃ）の実行後、前記特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、前記セグメント領域毎に前記対象物の状態を認識するステップと、（ｆ）前記ステップ（ａ）および（ｃ）の間で実行され、前記セグメント画像データが示す前記セグメント画像フレームにおける、前記セグメント領域の位置変動を算出して、前記セグメント領域が当該セグメント画像フレーム間で移動状態にあるか静止状態かを分類するステップとを実行し、前記ステップ（ｂ）は、異なる時間における前記セグメント画像フレームにそれぞれ含まれる前記セグメント領域同士の距離が所定の値以下であることを以て、前記セグメント領域が前記同一の前記対象物を含むと判断し、前記ステップ（ｄ）は、前記セグメント領域が前記静止状態にあると分類されたか、前記移動状態にあると分類されたかに応じて、それぞれ静止状態についての前記学習用特徴データまたは移動状態についての前記学習用特徴データとを選んで用いる。

本発明にかかる対象物認識方法の第４の態様は、第３の態様にかかる対象物認識方法であって、前記ステップ（ｆ）は、さらに前記位置変動から前記セグメント領域の移動速度および移動方向を算出し、前記ステップ（ｄ）は、さらに前記移動速度および前記移動方向を用いて、前記対象物の前記状態の認識結果を補正する。

本発明にかかる対象物認識方法の第５の態様は、第１乃至第４のいずれか一つの態様にかかる対象物認識方法であって、前記ステップ（ｄ）は、前記特徴データおよび前記学習用特徴データを用いて認識した前記対象物の前記状態の認識結果を保存し、前記対象物の現在の前記状態が認識できないときは、過去の前記認識結果を用いて、前記対象物の現在の前記状態を認識する。

本発明にかかる画像解析装置および対象物認識方法の第１の態様によれば、対象物を含むセグメント領域毎の動画像データと、既知のサンプル動画像データとを用いて対象物の静的状態や動的状態を認識するので、対象物以外の情報を排除することができ、認識精度を向上することができる。しかも、セグメント画像フレーム間のセグメント領域の距離に基づいて、同一の対象物を含むセグメン画像フレームを連結して、セグメント画像データを生成および更新することができる。しかも、例えば外乱ノイズや光の反射等によって対象物を誤認したときでも、所定の期間を経過すると当該対象物を含むセグメント画像データは削除されるので、問題が生じない。

本発明にかかる画像解析装置および対象物認識方法の第２の態様によれば、サンプル動画像データに含まれる対象物のサイズと、セグメント領域のサイズを略等しくすることができる。すなわち、対象物の状態とは関係しない対象物の大きさをサンプル動画像と略等しくした上で、対象物の状態を認識しているので、認識精度を向上することができる。

本発明にかかる画像解析装置および対象物認識方法の第３の態様によれば、動画像データを移動状態か静止状態かに大別した上で、移動状態、静止状態の各々について、さらに詳細に状態を認識できるので、移動状態、静止状態が混在した動画像データから状態を認識する場合と比べて、認識精度を向上することができる。

本発明にかかる画像解析装置および対象物認識方法の第４の態様によれば、対象物の状態の認識結果を、セグメント領域の移動速度、移動方向に基づいて補正することができるので、さらに認識精度を向上することができる。

本発明にかかる画像解析装置および対象物認識方法の第５の態様によれば、認識結果の信頼性が乏しいときに、対象物の連続性を考慮して、行動履歴に基づいて対象物の状態を認識しているので、認識精度をさらに向上することができる。

（第１の実施の形態）
本発明にかかる第１の実施の形態の画像解析装置および対象物認識方法を説明する。図１は、第１の実施の形態にかかる画像解析装置の概略構成図である。本画像解析装置は、例えば遠隔監視システムに適用することができ、ビル等に設置される監視デジタルカメラから入力される動画像データを解析して、動画像データに含まれる監視対象物の静的状態や動的状態を認識することができる。

まず、構成の概要を説明すると、本画像解析装置は、第１処理部１００と、第２処理部２００と、第３処理部３００を備えている。第１処理部１００は、監視デジタルカメラ等から入力される入力動画像データを適宜に処理して、２値動画像データに変換する。第２処理部２００は、当該２値動画像データにおける画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を抽出し、セグメント領域毎のセグメント画像フレームを生成し、セグメント画像フレームから、同一の対象物を含むセグメント領域のセグメント画像フレームを連結して、セグメント領域の動画像データであるセグメント画像データを生成および更新する。第３処理部３００は、入力されたセグメント画像データから対象物の特徴ベクトルを算出し、当該特徴ベクトルと、既知のサンプル動画像データから算出された特徴ベクトルである学習用特徴ベクトルとに基づいて、セグメント領域毎に対象物の状態を認識する。以下、第１処理部１００と、第２処理部２００と、第３処理部３００について詳述する。

第１処理部１００は、輝度画像生成部１と、差分画像生成部２と、平滑化処理部３と、２値化しきい値算出部４と、２値化部５と、線形処理部６とを備えている。

輝度画像生成部１は、順次に入力される入力画像フレームを例えばＲＧＢデータからＹＵＶデータに変換して、Ｙ値（輝度値）のみの輝度画像フレームを生成し、差分画像生成部２へ順次に出力する。すなわち、以下の処理では画像フレームの輝度値のみを用い、動画像データを解析して、動画像データに含まれる対象物の状態を認識する。なお、輝度値のみではなく、Ｕ値、Ｙ値（色相値）を用いても良いし、ＲＧＢ値を用いても構わない。

差分画像生成部２は、入力された輝度画像フレームに含まれる背景画像を消去するために、順次に入力された輝度画像フレームをフレーム間で差分または背景と差分を取り、得られた差分画像フレームを平滑化処理部３に出力する。本発明は、フレーム間差分でも背景差分でも構わないが、フレーム間差分によると、例えば対象物の一部のみが動いている場合や対象物が静止している場合に、差分画像に表現される対象物が明瞭にならないため、背景差分を用いる方が好ましい。ここでは、背景差分を用いて差分画像フレームを生成するものとする。

平滑化処理部３は、入力された差分画像フレームを例えば３×３線形フィルタ等により平滑化してノイズの除去を行った上で、差分画像フレームを２値化しきい値算出部４に出力する。

２値化しきい値算出部４は、入力された差分画像フレームに含まれる画素値のヒストグラムから２群が最も分離される２値化しきい値を算出し、得られた２値化しきい値と差分差分画像フレームとを２値化部５に出力する。なお、２値化しきい値の算出方法はこれに限らず、例えば２値化しきい値を一定としてもよく、その他の一般的な算出方法でもよい。

２値化部５は、２値化しきい値を用いて、差分画像フレームを２値化し、得られた２値画像フレームを線形処理部６に出力する。この時点で、対象物を表す画素は例えば”１”を画素値として保持し、その他の画素は”０”を保持する。なお、２値化部５から出力された画像フレームは、輝度値のみで求められているため、光の反射等によって対象物のシルエットが乱れる場合がある。

そこで、線形処理部６は、入力された２値画像フレームを、例えば全ての画素について右隣の画素と排他的論理和を取ることで線形処理を行う。なお、全ての画素について一つ上の画素と排他的論理和を取っても良いし、右隣の画素と排他的論理和を取った２値画像フレームおよび一つ上の画素と排他的論理和を取った２値画像フレームをそれぞれ同一画素で論理和を取ってもよい。このような線形処理により、対象物のシルエットを明瞭にすることができる。そして、得られた２値画像フレーム（以下、単に画像フレームと呼称する）を第２処理部２００に順次に出力する。

第２処理部２００は、入力された画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽し、セグメント領域毎のセグメント画像フレームを生成するセグメント抽出部７と、順次に入力されるセグメント画像フレームから、同一の対象物を含むセグメント領域のセグメント画像フレームを連結して、セグメント領域の動画像データであるセグメント画像データを生成および更新する連結部８とを備える。第２処理部２００は、後に詳述する第３処理部３００での認識精度を向上するための前処理である。

セグメント抽出部７は、入力された画像フレームから所定の対象物を含むセグメント領域を抽出する。例えば、図２は、セグメント抽出部７に順次に入力される画像フレームの一例を示す模式図である。セグメント抽出部７には画像フレームＦ１、Ｆ２、Ｆ３・・・が順次この順番で入力される。画像フレームＦ１には対象物ＯＢ１およびＯＢ２が、画像フレームＦ２には対象物ＯＢ１およびＯＢ３が、画像フレームＦ３には対象物ＯＢ１、ＯＢ２およびＯＢ３が示されている。なお、画像フレームＦ２には対象物ＯＢ２が示されていないが、下記の場合を想定した例である。即ち、外乱ノイズ等によって、所定の瞬間に対象物ＯＢ２を表す画素値が”０”となる場合である。また、差分画像生成部２において、フレーム間差分を用いている場合には、対象物ＯＢ２が静止していると、対象物ＯＢ２を表す画素値が”０”となり、画像フレームＦ２には対象物ＯＢ２が表現されないことなる場合である。

セグメント抽出部７は、入力された画像フレームに対して、全ての画素にラベリング処理を実行し、同一ラベルの画素を含む長方形状の領域をセグメント領域として抽出する。なお、以下の説明でラベルが付与される画素は画素値として”１”を保持しているものとする。

まず、図３を参照してラベリング処理について説明する。図３は、画像フレームを構成する画素の一部を示している。図３に示すように、画像フレームを構成する画素を例えば行毎に左上から右方向に順次走査するように、画素（注目画素）を選択し、”１”を持つ画素にラベルを付与する。例えば、画素値として”１”を保持する注目画素Ｍ２３にラベルを付与する場合について説明する。

注目画素Ｍ２３の左上、上、右上、左隣の隣接４画素Ｍ１２〜Ｍ１４，Ｍ２２を参照して、注目画素Ｍ２３にラベルを付与する。隣接４画素Ｍ１２〜Ｍ１４，Ｍ２２のいずれにもラベルが付与されていない場合は、注目画素Ｍ２３に新たなラベルを付与すると共に、右、左下、下、右下の隣接４画素Ｍ２４，Ｍ３２〜Ｍ３４も注目画素Ｍ２３と同一のラベルを付与する。ここで、画素Ｍ２４，Ｍ３２には既にラベルが付与されている可能性がある。例えば、画素Ｍ１５にラベルが既に付与されているときは、画素Ｍ１５へのラベル付与時に、画素Ｍ２４，Ｍ２５も画素Ｍ１５と同一のラベルが付与されている。このときは、注目画素Ｍ２３，画素Ｍ１５，Ｍ２４，Ｍ２５に対して同じラベルを再付与する。

注目画素Ｍ２３の左上、上、右上、左隣の隣接４画素Ｍ１２〜Ｍ１４，Ｍ２２のいずれか一つにラベルが付与されている場合、例えば画素Ｍ１２にラベルが付与されている場合、注目画素Ｍ２３に画素Ｍ１２と同一のラベルを付与すると共に、右、左下、下、右下の隣接４画素Ｍ２４，Ｍ３２〜Ｍ３４にも注目画素Ｍ２３と同一のラベルを付与する。同様に、例えば、既に画素Ｍ２４にラベルが付与されているときは、関連する画素（注目画素Ｍ２３，画素Ｍ１２，Ｍ１５，Ｍ２４，Ｍ２５，Ｍ３２〜Ｍ３４）に対して同じラベルを再付与する。なお、画素Ｍ１２に関連する（隣接する）画素に画素Ｍ１２と同一ラベルが付与されていたときは、これらの画素をも含めて同じラベルを再付与する。

注目画素Ｍ２３の左上、上、右上、左隣の隣接４画素Ｍ１２〜Ｍ１４，Ｍ２２のいずれかに異なるラベルが付与されている場合、例えば画素Ｍ１２にラベルが付与されており、画素Ｍ１４に異なるラベルが付与されている場合は、画素Ｍ１２，Ｍ１４およびそれぞれの画素に関連する画素，および注目画素Ｍ２３に同じラベルを再付与すると共に、右、左下、下、右下の隣接４画素Ｍ２４，Ｍ３２〜Ｍ３４にも注目画素Ｍ２３と同一のラベルを付与する。同様に、例えば、既に画素Ｍ２４にラベルが付与されているときは、画素Ｍ２４，Ｍ１５をも含めて同じラベルを再付与する。

続いて、全ての画素にラベリング処理を実行した後、対象物を含むセグメント領域を抽出する方法について説明する。図４（ａ）は全ての画素にラベルを付与した結果の一例を模式的に示している。図４（ｂ）に示すように、セグメント抽出部７は、同一ラベルを長方形の領域で切り出してセグメント候補として抽出する。そして異なるセグメント候補同士の距離が所定の値以下の場合に、これらのセグメント候補を同一のセグメント候補として統合する。例えば、図４（ｂ）に示すように、下側のセグメント候補の重心を中心とする円の範囲内に上側のセグメント候補の一部が在るときは、図４（ｃ）に示すように、上側および下側のセグメント候補同士を統合する。さらに、統合したセグメント候補とその他のセグメント候補の距離が所定以下の場合は、これらのセグメント候補同士を統合する。

また、図５に示すように、セグメント抽出部７は、セグメント候補同士が重なる場合も同一のセグメント候補として統合しても構わない。統合したセグメント候補がさらに異なるセグメント候補と重なる場合は、これらのセグメント候補同士を順次統合し、セグメント領域を抽出する。

次に、セグメント抽出部７は、セグメント候補を統合してセグメント領域を抽出した後、セグメント領域を構成する画素が所定の画素数に満たなかった場合は、当該セグメント領域を廃棄する。

そして、得られたセグメント領域毎に新たな画像フレーム（以下、セグメント画像フレームと称す）を作成して連結部８に出力する。例えば図６に示すように、画像フレームＦ１が入力されたときは、セグメント抽出部７は、画像フレームＦ１から対象物ＯＢ１を含むセグメント領域および対象物ＯＢ２を含むセグメント領域を抽出し、それぞれセグメント領域毎に新たなセグメント画像フレームＦ１１，Ｆ１２を作成して連結部８に出力する。順次に入力される画像フレームＦ２，Ｆ３，・・・についても同様に処理し、例えば画像フレームＦ２からセグメント画像フレームＦ２１，Ｆ２３を、画像フレームＦ３からセグメント画像フレームＦ３１，Ｆ３２，Ｆ３３を順次に作成し、連結部８に順次に出力する。なお、図６において、同一の対象物含むセグメント領域のセグメント画像フレームを縦に並べて表現しているが、これは後述する連結部８によって実現されるものである。

図７は、セグメント抽出部７の動作処理を示すフローチャートである。ステップＳ７０１にて、セグメント抽出部７は、画像フレームのサイズを横２０画素×縦１６画素に縮小する。これにより、セグメント抽出部７以降の動作処理を軽くすることができる。なお、画像フレームのサイズはこれに限らず任意の大きさで構わない。

ステップＳ７０２にて、画像フレームを構成する画素を左上から右方向に走査するように、画素値として”１”を保持する注目画素を選択する。ステップＳ７０３にて、セグメント抽出部７は、注目画素に既にラベルが付与されているかどうかを判断する。ラベルが付与されている場合は、後述するステップＳ７０８を実行する。ラベルが付与されていない場合は、ステップＳ７０４にて、セグメント抽出部７は、上述したように、注目画素の隣接４画素（左上、上、右上、左）を参照して、注目画素にラベルを付与する。

ステップＳ７０５にて、セグメント抽出部７は、注目画素の隣接２画素（右、左下）に既にラベルが付与されているか否かを判断する。付与されている場合は、ステップＳ７０６にて、セグメント抽出部７は、関連する画素を含めて同一のラベルを再付与する。付与されていない場合は、ステップＳ７０７にて、セグメント抽出部７は、隣接４画素（右、左下、下、右下）のうち、画素値として”１”を保持する画素に注目画素と同一のラベルを付与する。

ステップＳ７０６またはＳ７０７の実行後、ステップＳ７０８にて、セグメント抽出部７は、全ての画素に対してラベリング処理を実行したかどうかを判断する。実行していない場合は再びステップＳ７０１を実行する。実行した場合は、ステップＳ７０９にて、セグメント抽出部７は、同一ラベルを有する画素群を長方形上の領域に切り出してセグメント候補を抽出する。

ステップＳ７１０にて、セグメント抽出部７は、上述したように、重なるセグメント候補同士または近距離にあるセグメント候補同士を統合し、画素数が少ないセグメント候補を廃棄して、対象物を含むセグメント領域を抽出する。

ステップＳ７１１にて、セグメント抽出部７は、セグメント領域毎のセグメント画像フレームを作成し、連結部８に出力する。

連結部８は、セグメント抽出部７から入力されたセグメント画像フレームを時間経過に従って連結してセグメント領域毎の動画像データ（以下、セグメント画像データとも称す）を生成および更新し、連結部８に設けられたバッファメモリに当該セグメント画像データを保持すると共に、セグメント画像データを第３処理部３００に出力する。例えば、図６に示すように、対象物ＯＢ１を含むセグメント画像フレームＦ１１，Ｆ２１，Ｆ３１，・・・を連結し、セグメント領域Ｒ１のセグメント画像データを生成する。同様に対象物ＯＢ２を含むセグメント画像フレームＦ２１，Ｆ３２，・・・を連結し、セグメント領域Ｒ２のセグメント画像データを生成し、対象物ＯＢ３を含むセグメント画像フレームＦ２３，Ｆ３３，・・・を連結し、セグメント領域Ｒ３のセグメント画像データを生成する。

具体的に説明すると、例えば、まずセグメント画像フレームＦ１１，Ｆ１２が入力される時、連結部８はセグメント画像フレームＦ１１，Ｆ１２をそれぞれセグメント領域Ｒ１，Ｒ２のセグメント画像データとして、バッファメモリに記録する。

そして、次のセグメント画像フレームＦ２１，Ｆ２３が入力される時、連結部８は、セグメント画像フレームＦ２１，Ｆ２３にそれぞれ含まれるセグメント領域の重心位置と、バッファメモリに記録されているセグメント画像フレームＦ１１，Ｆ１２にそれぞれ含まれるセグメント領域の重心位置とを比較する。例えば、異なる時間におけるセグメント画像フレームＦ１１，Ｆ２１にそれぞれ含まれるセグメント領域同士の重心間距離が所定の値以下であれば、連結部８はセグメント画像フレームＦ１１，Ｆ２１にそれぞれ含まれるセグメント領域は同一の対象物ＯＢ１を含んでいると判断して、セグメント画像フレームＦ１１とセグメント画像フレームＦ２１を連結し、セグメント領域Ｒ１のセグメント画像データを更新すると共に、バッファメモリに記録する。また、例えばセグメント画像フレームＦ２３に含まれるセグメント領域と、セグメント画像フレームＦ１１，Ｆ１２にそれぞれ含まれるセグメント領域との重心間距離がいずれも所定の値を超えていれば、セグメント画像フレームＦ２３を新規なセグメント領域Ｒ３のセグメント画像データとしてバッファメモリに記録する。また、セグメント画像フレームＦ１２に連結すべきセグメント画像フレームが入力されてない場合は、セグメント領域Ｒ２のセグメント画像データは更新しない。

そして、次のセグメント画像フレームＦ３１，Ｆ３２，Ｆ３３が入力される時、連結部８はセグメント画像フレームＦ３１，Ｆ３２，Ｆ３３にそれぞれ含まれるセグメント領域の重心位置と、バッファメモリに格納されたセグメント画像フレームＦ２１，Ｆ１２，Ｆ２３にそれぞれ含まれるセグメント領域の重心位置とを比較する。例えば、セグメント画像フレームＦ３１，Ｆ２１にそれぞれ含まれるセグメント領域同士の重心間距離が所定の値以下であれば、セグメント画像フレームＦ１１，Ｆ２１にセグメント画像フレームＦ３１をさらに連結して、セグメント領域Ｒ１のセグメント画像データを更新すると共に、バッファメモリに記録する。同様に、セグメント画像フレームＦ１２，Ｆ３２をそれぞれ連結してセグメント領域Ｒ２のセグメント画像データを更新し、セグメント画像フレームＦ２３，Ｆ３３をそれぞれ連結して、セグメント領域Ｒ３のセグメント画像データを更新する。

以後、連結部８は、順次に入力されるセグメント画像フレームをバッファメモリに格納されたセグメント画像フレームと連結して、セグメント画像データを更新する。また、後述するように、第３処理部３００には、セグメント画像データのうち、例えば３０フレーム分（時間窓）を用いて特徴ベクトルを算出するので、連結部８は、図８に示すように、セグメント画像データのフレーム数が３０フレームを超えるときは、最も古いセグメント画像フレームを削除する。なお、３０フレームに満たないセグメント画像データである場合は、第３処理部３００に出力しない。順次入力されるセグメント画像フレームを待って、３０フレームを満たすセグメント画像データが生成されたときに、第３処理部３００に当該セグメント画像データを出力する。

また、連結部８は、所定の対象物を含むセグメント画像フレームが所定の期間を超えて入力されないときに、当該対象物を含むセグメント画像データを削除する。例えば、バッファメモリに格納されたセグメント画像フレームＦ１２と連結すべきセグメント画像フレーム（セグメント画像フレームＦ３２に相当する画像フレーム）が、１０フレームを超えて連結部８に入力されないときは、セグメント領域Ｒ２のセグメント画像データ（セグメント画像フレームＦ１２）を消去する。したがって、例えば外乱ノイズや光の反射等によって対象物を誤認したときでも、所定の期間を経過すると当該対象物を含むセグメント画像データは消去されるので、問題が生じない。なお、このようにセグメント画像データに寿命を持たせる態様は、例えばカウンタ回路を用いて容易に実現することができる。

第３処理部３００は、入力されるセグメント画像データからセグメント領域毎に特徴ベクトルを算出し、多変量解析によってセグメント領域に含まれる対象物の状態を認識する。具体的に、第３処理部３００は、３次元特徴抽出部１１と、多変量解析部１２と、最小距離識別部１３と、行動認識部１５とを備えている。

３次元特徴抽出部１１は、入力されたセグメント画像データから対象物の特徴ベクトルを算出する。例えば、図７に示すセグメント領域Ｒ１〜Ｒ３のセグメント画像データからそれぞれセグメント領域Ｒ１〜Ｒ３の特徴ベクトルを算出する。ここでは、特徴ベクトルの算出方法の一例として、立体高次局所自己相関を用いる。立体高次局所自己相関とは、Ｎ次自己相関関数を３次元データ（動画像データ）に適用し、後述する変位方向を局所領域に限定したものである。Ｎ次自己相関関数は次式で表される。

Ｘ_N＝∫ｆ（ｒ）ｆ（ｒ＋ａ₁）・・・ｆ（ｒ＋ａ_N）ｄｒ ・・・（１）
ここで、ｆ（ｒ）（ｒ＝ｘ、ｙ、ｔ）は動画像データ、（ａ₁，・・・，ａ_N）は参照点ｒから見た変位方向を表している。本第１の実施の形態では、Ｎ＝２次を満たすために、局所領域を参照点ｒの周辺３×３×３の領域に限定する。図９に参照点ｒを囲む局所領域を図示する。図９に示す局所領域は、例えば、図８における所定の画像フレーム内の所定の参照点ｒとその前後の画像フレームを含む３×３×３の局所領域である。

０次、１次、２次の変位方向のパターン（マスクパターン）をそれぞれ図１０（ａ）、（ｂ）、（ｃ）に例示する。例えば、ａ₁＝（１，０，０）のときは、図１０（ｂ）における上側のマスクパターンとなる。そして、式（１）に示すように、当該マスクパターンに対して、参照画素における画素値（ｆ（ｒ）に相当）およびマスクされた画素値（ｆ（ｒ＋ａ₁）に相当）を乗算して算出した値を、図８に示す３０フレームのセグメント画像データの全ての画素について積分することで、当該マスクパターンに対する特徴量が算出される。なお、変位方向のパターンは対象性、並行移動を考慮し、重複するパターンを除くため、結局マスクパターンは２５１種類となり、２５１個の特徴量を要素として持つ特徴ベクトルが算出される。このように、３次元特徴抽出部１１は、セグメント画像データの各々について、セグメント領域毎の特徴ベクトルを算出する。

多変量解析部１２は、例えば判別分析に基づいて、特徴ベクトルの識別に適した新たな特徴ベクトルに変換するための変換係数を予め算出している。多変量解析部１２には、複数の学習用特徴ベクトルが入力される。学習用特徴ベクトルとは、既知のサンプル動画像データから算出された特徴ベクトルのことであり、既知のサンプル動画像データは一つのセグメント領域に対応して用いることができる。例えば、対象物において既知の複数の状態パターンを撮影して得られた複数のサンプル動画像データを、第１処理部１００、第２処理部２００、３次元特徴抽出部１１で処理して、得られた特徴ベクトルである。サンプル動画像データとしては、「歩く」「走る」「座る」「立っている」「座っている」「寝ころんでいる」等のクラスに分類された複数の動画像データを採用する。そして、各サンプル動画像データの学習用特徴ベクトルを変換係数により変換したときに、各クラスにおける変換後の学習用特徴ベクトルの平均値が互いに最も離れる様に、多変量解析部１２は判別分析に基づいて変換係数を算出する。

最小距離識別部１３は、３次元特徴抽出部１１から入力されたセグメント領域毎の特徴ベクトルを、多変量解析部１２にて算出した変換係数により変換する。最小距離識別部１３は、変換したセグメント領域毎の特徴ベクトルと、各クラスにおいて変換した学習用特徴ベクトルの平均値との距離を算出し、最小距離と該当クラスを求める。例えば、変換後のセグメント領域Ｒ１の特徴ベクトルと、各クラス「歩く」「走る」「座る」「立っている」「座っている」「寝ころんでいる」における変換後の特徴ベクトルの平均値との距離をそれぞれ算出し、例えば、クラス「歩く」との距離が最も小さい場合は、その最小距離とクラス「歩く」を行動認識部１５に出力する。同様に、セグメント領域Ｒ２、Ｒ３の特徴ベクトルに対しても、最小距離と該当クラスを算出して、行動認識部１５に出力する。

行動認識部１５は、最小距離識別部１３から入力された最小距離が所定の値以下であれば、セグメント領域に含まれる対象物の状態を、入力されたクラスであると認識すると共に、認識結果を行動履歴として、行動認識部１５に設けられたメモリにセグメント領域毎に記録する。入力された最小距離が所定の値を超えていれば（即ち、対象物の状態を認識できない、または認識結果の信頼性が乏しい場合）、行動認識部１５は、メモリに記録された当該対象物のセグメント領域の過去の行動履歴から最も多い状態を認識結果として最終判定を行う。これは、一般的に対象物がある瞬間で全く異なる状態になることはなく、状態は連続して変化するものであることを考慮した処理である。なお、多変量解析部１２、最小距離識別部１３、行動認識部１５で構成される部分を、特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、セグメント領域毎に対象物の状態を認識する識別部と見なすことができる。

以上のように、動画像データに含まれる対象物のセグメント領域を抽出し、セグメント領域毎の動画像データを解析して対象物の状態を認識しているので、異なる対象物の情報を排除したデータを用いることができ、認識精度を向上することができる。

また、セグメント領域毎の特徴ベクトルおよび学習用特徴ベクトルを用いて、対象物の状態を認識できない、または認識結果の信頼性が低いとき（すなわち、判別分析による各クラスとの最小距離が所定の値を超えているとき）は、対象物の連続性を考慮して、行動履歴から最も多い状態を認識結果としているため、認識精度をさらに向上することができる。

（第２の実施の形態）
本発明にかかる第２の実施の形態の画像解析装置の概略構成図を図１１に示す。なお、同一符号は同一または相当部分を示し、重畳する説明は省略する。第１の実施の形態と比較して、本第２の実施の形態にかかる画像解析装置は、第２処理部１００がさらに分類部９を備えている。

分類部９は、連結部８から入力されたセグメント画像データにおいて、セグメント画像フレーム間のセグメント領域の重心間距離（位置変動）を算出して、当該セグメント領域が当該セグメント画像フレーム内で移動状態であるのか静止状態であるのかを分類すると共に、移動状態である場合に当該セグメント領域の移動速度および移動方向を算出する。なお、重心間距離および移動速度、方向の算出は、セグメント画像データを構成する３０フレームのうち、例えば一番古いセグメント画像フレームと一番新しいセグメント画像フレームを用いて算出する。そして、分類部９は、セグメント画像データを３次元特徴抽出部１１に出力し、得られた分類情報を最小距離識別部１３に出力し、得られた移動速度および移動方向を行動認識部１５に出力する。

多変量解析部１２は、例えば判別分析に基づいて、特徴ベクトルの識別に適した新たな特徴ベクトルに変換するための変換係数を予め算出しているが、第１の実施の形態と異なる点として、サンプル動画像データを移動状態および静止状態に大別し、それぞれ移動用変換係数、静止用変換係数を算出している。例えば、サンプル動画像データを、「歩く」「走る」「座る」等の移動用クラスに分類できる複数の移動用サンプル動画像データと、「立っている」「座っている」「寝ころんでいる」等の静止用クラスに分類できる複数の静止用サンプル動画像データとに大別する。

そして、移動用サンプル動画像データから算出した、移動状態についての学習用特徴ベクトルを移動用変換係数で変換したときに、各移動用クラスにおける変換後の学習用特徴ベクトルの平均値が互いに最も離れるように、多変量解析部１２は移動用変換係数を算出する。同様に、静止用サンプル動画像データから算出した、静止状態についての学習用特徴ベクトルを静止用変換係数で変換したときに、各静止用クラスにおける変換後の学習用特徴ベクトルの平均値が互いに最も離れるように静止用変換係数を算出する。

最小距離識別部１３は、分類部９にてセグメント領域が静止状態にあると分類されたか、移動状態にあると分類されたかに応じて、それぞれ静止状態についての学習用特徴ベクトルまたは移動状態についての学習用特徴ベクトルを用いる。具体的に、最小距離識別部１３は、３次元特徴抽出部１１から入力されたセグメント領域毎の特徴ベクトルと、分類部９から入力された分類情報に基づいて、多変量解析部１２にて算出された移動用または静止用変換係数を選択し、当該特徴ベクトルを変換する。例えば、セグメント領域が移動状態であるセグメント画像データの特徴ベクトルを移動用変換係数により変換し、変換後の特徴ベクトルと、各移動用クラス「歩く」「走る」「座る」の変換後の学習用特徴ベクトルの平均値との距離を算出し、例えば、移動用クラス「歩く」との距離が最も小さい場合は、その最小距離と移動用クラス「歩く」を行動認識部１５に出力する。なお、セグメント領域が静止状態である場合も同様である。

行動認識部１５は、第１の実施の形態と同様に、最小距離識別部１３から入力された最小距離が所定の値以下であれば、セグメント領域に含まれる対象物の状態を、入力されたクラスであると認識するとともに、認識結果を行動履歴として、行動認識部１５に設けられたメモリにセグメント領域毎に記録する。入力された最小距離が所定の値を超えていれば、行動認識部１５は、メモリに記録された当該対象物の過去の行動履歴から最も多い状態を認識結果とする。

また、認識結果が「歩く」「走る」等の移動を伴うものである場合、行動認識部１５は、当該認識結果と、分類部９から入力された移動速度、移動方向とを比較検討し、認識結果と移動速度、移動方向とに矛盾があるときは、当該移動速度、移動方向を用いて、認識結果を補正する。例えば、人物の足が障害物によって撮影されていない場合、実際は対象物が歩いていても、クラス「走る」が認識結果となる可能性がある。この場合、行動認識部１５は、認識結果がクラス「走る」となっていても、分類部９から入力された移動速度から対象物が歩いていると判断し、クラス「歩く」を認識結果とする。このように、セグメント領域の移動速度、移動方向に基づいて、対象物の状態の認識結果を補正することができる。

以上のように、分類部９は、セグメント画像データを移動状態または静止状態に大別しているので、第３処理部３００は、移動状態または静止状態の各々について状態の詳細な判別をすればよく、移動状態、静止状態が混在した動画像データから詳細な状態の判別を行う場合に比べて認識精度をさらに向上することができる。また、セグメント領域の重心位置の移動から対象物の移動速度、移動方向を算出し、移動速度、移動方向を用いて判別結果を補正しているため、さらに認識精度を向上することができる。

（第３の実施の形態）
本発明にかかる第３の実施の形態の画像解析装置の概略構成図を図１２に示す。なお、同一符号は同一または相当部分を示し、重畳する説明は省略する。第２の実施の形態と比較して、本第３の実施の形態にかかる画像解析装置は、第２処理部１００がさらにサイズ変更部１０を備えている。

サイズ変更部１０は、サンプル動画像データに含まれるセグメント領域のサイズに応じて、セグメント画像データに含まれるセグメント領域のサイズを変更することができる。そして、セグメント領域毎にセグメントサイズを変更し、セグメント画像データを第３処理部３００に出力する。具体的には、図１３に示すように、サイズ変更部１０は、画像フレームの左上の画素（原点）を中心にセグメント領域のサイズを変更する。原点を中心とするのは、画像フレームに対するセグメント領域の位置情報を失わないためである。なお、必ずしも左上の画素を中心とする必要はなく、画像フレームに固定された座標軸上の画素を中心に変更すればよい。このようなサイズ変更により、サイズ変更部１０は、サンプル動画像データに含まれるセグメント領域のサイズと、セグメント画像データに含まれるセグメント領域のサイズとを略等しくする（以下、正規化と呼称する）ことができる。なお、サイズ変更部１０は、セグメント領域のサイズを縮小する方向で実施することが好ましい。セグメント領域のサイズを拡大すると、画素が欠けるため（公知の手法で画素を補間したとしても）認識精度の低下を招く恐れがあるからである。

さらに、サイズ変更部１０は、所定の期間（例えば３０フレーム）毎に、セグメント領域のサイズを確認することで、セグメント領域のサイズ変動に対応することができる。図１４は、セグメント領域のサイズ確認と正規化のタイミングの一例を示す図である。縦軸は時間軸であり、サイズ確認と正規化のタイミングを示し、時間軸に沿って示されるセグメント画像フレームは、３０フレームを有するセグメント画像データがシフトしていく様子を示している。なお、破線で示すセグメント画像フレームが削除される最も古いセグメント画像フレームを、太線で示すセグメント画像フレームが新たに入力されたセグメント画像フレームをそれぞれ示している。

図１４を用いて説明すると、サイズ変更部１０がセグメント領域のサイズを確認したとき、当該セグメント領域のサイズが所定のしきい値内であれば、当該セグメント領域のサイズを正規化し直さずにセグメント画像データを順次に第３処理部３００に出力する。そして、セグメント画像データが３０フレーム分シフトした時点で、セグメント領域のサイズを再度確認する。この時、セグメント領域のサイズが所定のしきい値を超えて変動している場合は、正規化し直す必要があると判断して、一旦、当該セグメント画像データを削除する。

次に、削除されたセグメント画像データと同一の対象物を含むセグメント画像フレームが連結部８に入力されると、新たにセグメント画像データが生成されて、分類部９を介して、サイズ変更部１０に入力される。サイズ変更部１０は、当該セグメント領域のサイズがサンプル動画像データのセグメント領域のサイズと略等しくなるように、所定のサイズ変更率で正規化する。そして、順次入力されるセグメント画像フレームのセグメント領域のサイズを同一のサイズ変更率で正規化すると共に、例えば、正規化から５フレームが経過するまでは、セグメント画像フレームが入力される度にセグメント領域のサイズを確認する。そして必要であれば、再度セグメント画像データを一旦消去して正規化し直す。図１４においては、正規化後の５フレーム間において正規化し直す必要がない場合を例示している。連結部８は、セグメント画像データが再び３０フレームを満たしたときに、第３処理部３００に当該セグメント画像データを出力する。

したがって、セグメント領域のサイズを、サンプル動画像データのセグメント領域と略等しくしているので、対象物の状態とは関係しない対象物の大きさをサンプル動画像と略等しくした上で、サンプル動画像との比較により状態を認識でき、認識精度をさらに向上することができる。また、セグメント領域のサイズを確認して正規化したときは、１フレーム毎にセグメント領域のサイズを確認しているので、例えば画面から人が現れた場合などに早期にセグメント領域のサイズを正規化し直すことができる。なお、立体高次局所自己相関はスケールの変化に敏感であるため、特徴ベクトルの算出に立体高次局所自己相関を用いた場合は、特に効果が高い。

なお、本発明は、セグメント領域毎に動画像データを生成しているため、監視デジタルカメラ等から入力された入力動画像データに多数の対象物が含まれているときは、セグメント領域の数が増えるので、結果として処理が重くなる場合がある。そこで、例えば、セグメント抽出部７にて抽出したセグメント領域の数が所定の値を超えているときは、セグメント画像データを用いずに、入力動画像データを用いて、行動認識を行い、所定の値以下のときに、セグメント画像データを用いる態様であっても良い。

なお、本発明において、状態を認識する対象物の複数が一つのセグメント領域に含まれていても良い。例えば、犬を連れた人物を一つのセグメント領域に含めることができる。この場合、サンプル動画像データとして「犬を連れた人物」を予め作成しておけば、認識精度は向上する。

なお、本発明にかかる画像解析装置を構成する各処理部は、ハードウェアで構成されていても良いし、各処理部の機能を実行するソフトウェアで実現されても良い。

第１の実施形態に係る画像解析装置の概略構成を示す図である。 画像フレームの一例を示す図である。 画像フレームの一部を示す図である。 セグメント領域を抽出する際の画像フレームの一部を示す模式図である。 セグメント領域を抽出する際の画像フレームの一部を示す模式図である。 セグメント抽出部の動作を示すフローチャートである。 セグメント画像データを示す模式図である。 高次局所自己相関の積分範囲を示す画像フレームである。 高次局所自己相関の局所領域を示す図である。 高次局所自己相関の変位方向のパターンの一例を示す図である。 第２の実施形態に係る画像解析装置の概略構成を示す図である。 第３の実施形態に係る画像解析装置の概略構成を示す図である。 セグメント領域のサイズを変更した画像フレームを示す模式図である。 セグメント領域のサイズ確認、変更のタイミングの一例を示す図である。

符号の説明

７ セグメント抽出部
８ 連結部
９ 分類部
１０ サイズ変更部
１１ ３次元特徴抽出
１２ 多変量解析部
１５ 行動認識部

Claims (12)

1. 順次に入力される画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽出し、前記セグメント領域毎に当該セグメント領域の画像フレームであるセグメント画像フレームを生成するセグメント抽出部と、
   順次に入力される前記セグメント画像フレームから、同一の前記対象物を含む前記セグメント領域の前記セグメント画像フレームを連結して、前記セグメント領域の動画像データであるセグメント画像データを生成および更新する連結部と、
   前記セグメント画像データから前記対象物の特徴データを算出する特徴抽出部と、
   前記特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、前記セグメント領域毎に前記対象物の状態を認識する識別部と
   を備え、
   前記連結部は、異なる時間における前記セグメント画像フレーム間にそれぞれ含まれるセグメント領域同士の距離が所定の値以下であることを以て、前記セグメント領域が前記同一の前記対象物を含むと判断し、
   前記連結部は、さらに、所定の前記対象物を含むセグメント画像フレームが所定の期間を超えて入力されないときに、前記所定の前記対象物を含むセグメント画像データを削除する、画像解析装置。
2. 順次に入力される画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽出し、前記セグメント領域毎に当該セグメント領域の画像フレームであるセグメント画像フレームを生成するセグメント抽出部と、
   順次に入力される前記セグメント画像フレームから、同一の前記対象物を含む前記セグメント領域の前記セグメント画像フレームを連結して、前記セグメント領域の動画像データであるセグメント画像データを生成および更新する連結部と、
   前記セグメント画像データから前記対象物の特徴データを算出する特徴抽出部と、
   前記特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、前記セグメント領域毎に前記対象物の状態を認識する識別部と、
   前記サンプル動画像データ内の対象物を含むセグメント領域のサイズに応じて、前記セグメント画像フレームの前記セグメント領域のサイズを変更するサイズ変更部と
   を備え、
   前記連結部は、異なる時間における前記セグメント画像フレーム間にそれぞれ含まれるセグメント領域同士の距離が所定の値以下であることを以て、前記セグメント領域が前記同一の前記対象物を含むと判断し、
   前記サイズ変更部は、第１所定期間毎に前記セグメント領域のサイズがしきい値を超えて変動しているかどうかを確認する第１ステップを実行し、前記第１ステップにて前記サイズが超えていると判断した場合には、前記セグメント画像データを削除し、次のセグメント画像フレームを用いて倍率を更新して、前記次のセグメント画像フレーム以降のセグメント画像フレームを前記倍率で正規化する第２ステップを実行し、前記次のセグメントフレーム以降の第２所定期間（前記第１所定期間よりも短い期間）において、前記セグメント領域の前記サイズを確認する第３ステップを実行し、前記第３ステップにて前記サイズが所定のしきい値を超えて変動すれば、前記第２ステップを実行する、画像解析装置。
3. 順次に入力される画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽出し、前記セグメント領域毎に当該セグメント領域の画像フレームであるセグメント画像フレームを生成するセグメント抽出部と、
   順次に入力される前記セグメント画像フレームから、同一の前記対象物を含む前記セグメント領域の前記セグメント画像フレームを連結して、前記セグメント領域の動画像データであるセグメント画像データを生成および更新する連結部と、
   前記セグメント画像データから前記対象物の特徴データを算出する特徴抽出部と、
   前記特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、前記セグメント領域毎に前記対象物の状態を認識する識別部と
   前記セグメント画像データが示す前記セグメント画像フレーム同士における、前記セグメント領域の位置変動を算出して、前記セグメント領域が当該セグメント画像フレーム間で移動状態にあるか静止状態かを分類する分類部と
   を備え、
   前記連結部は、異なる時間における前記セグメント画像フレーム間にそれぞれ含まれるセグメント領域同士の距離が所定の値以下であることを以て、前記セグメント領域が前記同一の前記対象物を含むと判断し、
   前記識別部は、前記セグメント領域が前記静止状態にあると分類されたか、前記移動状態にあると分類されたかに応じて、それぞれ静止状態についての前記学習用特徴データまたは移動状態についての前記学習用特徴データとを選んで用いる、画像解析装置。
4. 前記分類部は、さらに前記位置変動から前記セグメント領域の移動速度および移動方向を算出し、
   前記識別部は、さらに前記移動速度および前記移動方向を用いて、前記対象物の前記状態の認識結果を補正する、請求項３に記載の画像解析装置。
5. 前記識別部は、前記特徴データおよび前記学習用特徴データを用いて認識した前記対象物の前記状態の認識結果を保存し、前記対象物の現在の前記状態が認識できないときは、過去の前記認識結果を用いて、前記対象物の現在の前記状態を認識する、請求項１乃至４のいずれか一つに記載の画像解析装置。
6. 前記特徴抽出部は、高次局所自己相関を用いて前記特徴データを算出する、請求項１乃至５のいずれか一つに記載の画像解析装置。
7. （ａ）順次に入力される画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽出し、前記セグメント領域毎にセグメント画像フレームを生成するステップと、
   （ｂ）前記ステップ（ａ）の実行後、順次に入力される前記セグメント画像フレームから、同一の前記対象物を含む前記セグメント領域の前記セグメント画像フレームを連結して、前記セグメント領域の動画像データであるセグメント画像データを生成および更新するステップと、
   （ｃ）前記ステップ（ｂ）の実行後、前記セグメント画像データから前記対象物の特徴データを算出するステップと、
   （ｄ）前記ステップ（ｃ）の実行後、前記特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、前記セグメント領域毎に前記対象物の状態を認識するステップと
   を実行し、
   前記ステップ（ｂ）は、異なる時間における前記セグメント画像フレームにそれぞれ含まれる前記セグメント領域同士の距離が所定の値以下であることを以て、前記セグメント領域が前記同一の前記対象物を含むと判断し、
   前記ステップ（ｂ）は、さらに、所定の前記対象物を含むセグメント画像フレームが所定の期間を超えて入力されないときに、前記所定の前記対象物を含むセグメント画像データを削除する、対象物認識方法。
8. （ａ）順次に入力される画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽出し、前記セグメント領域毎にセグメント画像フレームを生成するステップと、
   （ｂ）前記ステップ（ａ）の実行後、順次に入力される前記セグメント画像フレームから、同一の前記対象物を含む前記セグメント領域の前記セグメント画像フレームを連結して、前記セグメント領域の動画像データであるセグメント画像データを生成および更新するステップと、
   （ｃ）前記ステップ（ｂ）の実行後、前記セグメント画像データから前記対象物の特徴データを算出するステップと、
   （ｄ）前記ステップ（ｃ）の実行後、前記特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、前記セグメント領域毎に前記対象物の状態を認識するステップと、
   （ｅ）前記ステップ（ａ）および（ｃ）の間で実行され、前記サンプル動画像データ内の対象物を含むセグメント領域のサイズに応じて、前記セグメント画像フレームの前記セグメント領域のサイズを変更するステップと
   を実行し、
   前記ステップ（ｂ）は、異なる時間における前記セグメント画像フレームにそれぞれ含まれる前記セグメント領域同士の距離が所定の値以下であることを以て、前記セグメント領域が前記同一の前記対象物を含むと判断し、
   前記ステップ（ｅ）は、第１所定期間毎に前記セグメント領域のサイズがしきい値を超えて変動しているかどうかを確認する第１ステップを実行し、前記第１ステップにて前記サイズが超えていると判断した場合には、前記セグメント画像データを削除し、次のセグメント画像フレームを用いて倍率を更新して、前記次のセグメント画像フレーム以降のセグメント画像フレームを前記倍率で正規化する第２ステップを実行し、前記次のセグメントフレーム以降の第２所定期間（前記第１所定期間よりも短い期間）において、前記セグメント領域の前記サイズを確認する第３ステップを実行し、前記第３ステップにて前記サイズが所定のしきい値を超えて変動すれば、前記第２ステップを実行する、対象物認識方法。
9. （ａ）順次に入力される画像フレームから、当該画像フレームが示す画像において認識の対象となる対象物を少なくとも一つ含むセグメント領域を複数抽出し、前記セグメント領域毎にセグメント画像フレームを生成するステップと、
   （ｂ）前記ステップ（ａ）の実行後、順次に入力される前記セグメント画像フレームから、同一の前記対象物を含む前記セグメント領域の前記セグメント画像フレームを連結して、前記セグメント領域の動画像データであるセグメント画像データを生成および更新するステップと、
   （ｃ）前記ステップ（ｂ）の実行後、前記セグメント画像データから前記対象物の特徴データを算出するステップと、
   （ｄ）前記ステップ（ｃ）の実行後、前記特徴データと、既知のサンプル動画像データから算出された特徴データである学習用特徴データとに基づいて、前記セグメント領域毎に前記対象物の状態を認識するステップと、
   （ｆ）前記ステップ（ａ）および（ｃ）の間で実行され、前記セグメント画像データが示す前記セグメント画像フレームにおける、前記セグメント領域の位置変動を算出して、前記セグメント領域が当該セグメント画像フレーム間で移動状態にあるか静止状態かを分類するステップと
   を実行し、
   前記ステップ（ｂ）は、異なる時間における前記セグメント画像フレームにそれぞれ含まれる前記セグメント領域同士の距離が所定の値以下であることを以て、前記セグメント領域が前記同一の前記対象物を含むと判断し、
   前記ステップ（ｄ）は、前記セグメント領域が前記静止状態にあると分類されたか、前記移動状態にあると分類されたかに応じて、それぞれ静止状態についての前記学習用特徴データまたは移動状態についての前記学習用特徴データとを選んで用いる、対象物認識方法。
10. 前記ステップ（ｆ）は、さらに前記位置変動から前記セグメント領域の移動速度および移動方向を算出し、
    前記ステップ（ｄ）は、さらに前記移動速度および前記移動方向を用いて、前記対象物の前記状態の認識結果を補正する、請求項９に記載の対象物認識方法。
11. 前記ステップ（ｄ）は、前記特徴データおよび前記学習用特徴データを用いて認識した前記対象物の前記状態の認識結果を保存し、前記対象物の現在の前記状態が認識できないときは、過去の前記認識結果を用いて、前記対象物の現在の前記状態を認識する、請求項７乃至１０のいずれか一つに記載の対象物認識方法。
12. 前記ステップ（ｃ）は、高次局所自己相関を用いて前記特徴データを算出する、請求項７乃至１１のいずれか一つに記載の対象物認識方法。

Images