JPWO2011013281A1 - 移動体検出方法及び移動体検出装置 - Google Patents

Abstract

動画像中における移動体の形状の変化などの影響を受けずに、高精度に移動体の領域を抽出することができる移動体検出方法を提供する。移動体検出方法は、複数の移動軌跡から、ＴＬ枚（ＴＬ＞＝３）のピクチャにわたる長時間移動軌跡をＮＬ個（ＮＬ＞＝２）と、ＴＬ枚のピクチャに含まれるＴＳ枚（ＴＬ＞ＴＳ＞＝２）のピクチャにわたる短時間移動軌跡をＮＳ個（ＮＳ＞ＮＬ）とを抽出し、ＮＬ個の長時間移動軌跡間の測地距離とＮＳ個の短時間移動軌跡間の測地距離とを算出する距離算出ステップ（Ｓ２０５）と、算出された長時間移動軌跡間の測地距離及び短時間移動軌跡間の測地距離に基づいて、ＴＬ枚のピクチャにわたるＮＳ個の移動軌跡間の測地距離を近似測地距離として算出する距離補間ステップ（Ｓ２０６）と、算出された近似測地距離に基づいて、領域分割をする領域分割ステップ（Ｓ２０７）とを含む。

Description

本発明は、動画像中の移動体の領域を分割することによって移動体を検出する画像処理技術に関し、特に、移動体が人物のように形状が変化しながら移動する対象である場合においても、動画像中の動き情報に基づいて移動体を検出する装置に関する。

従来より、移動体の像（以下、単に「移動体」という。）が含まれる画像から、画像中の移動体の領域を抽出することによって移動体を検出する領域抽出技術の研究開発が広く行われてきている。特に移動体が人である場合にその移動体の領域を抽出する技術は、デジタルビデオカメラもしくはデジタルスチルカメラにおける焦点制御、画質改善処理、自動車の安全運転支援システム、又はロボットにおける人との衝突回避制御もしくは衝突回避のための警報などに、共通して利用される基礎技術である。

画像中の移動体の領域を抽出する技術のうち、一般的な手法として、（１）あらかじめ用意した移動体のモデルと、画像中の候補領域との類似度を評価して移動体の領域を特定する方法と、（２）画像を複数の小領域に分割して特徴量を算出し、特徴量を基準として類似する領域を統合することで移動体の領域を特定する方法の２つの手法がある。

前者の代表的な手法として、画像から移動体領域の候補を抽出したのち、抽出した移動体領域の候補とあらかじめ用意した移動体モデルとの類似度を評価して、類似度が高い領域を移動体領域として抽出する手法がある。さらに、歩行する人物等のように、変形しながら移動する移動体の領域を抽出する場合、変形を考慮した移動体モデルを利用する手法がある。

例えば、特許文献１に記載の手法では、移動体領域候補として複数の画像から移動体のシルエット画像を抽出する。そして、あらかじめパラメータ化した移動体の変形に関するモデルと、抽出したシルエット画像との類似度を評価し、類似度が高い領域とモデルのパラメータとを推定する。これによって、形状が周期的に変化しながら移動する人物に対しても、パラメータ化したモデルを当てはめることができるため、移動体の領域抽出を可能にしている。

後者の代表的な手法としては、画像を複数の小領域に一旦分割し、各小領域の画素の輝度値に基づいた特徴量を抽出したのち、複数の小領域間の特徴量の類似度を評価して、類似度が高い領域を同一の移動体領域として統合する手法がある。

例えば、特許文献２に記載の手法では、画像を矩形の小領域に一旦分割し、小領域の輝度や動きに基づいて特徴量を算出し、特徴量の類似度の順番に基づいて小領域を統合することで、移動体の領域抽出を可能にしている。

特開平８−２１４２８９号公報 特開２００６−０３１１１４号公報

しかしながら、上記従来の領域抽出の技術は、例えば、街頭などで複数の人物等の移動体が行き交うシーンなどのように、移動体が他の移動体によって部分的に遮蔽される場合、あるいは移動体の大きさが著しく異なる場合などに、正しく移動体を抽出することができないという問題がある。

特許文献１に記載の手法に代表される、あらかじめ用意したモデルを用いる従来の領域抽出手法では、画像から移動体領域の候補を抽出する必要がある。この時、適切に移動体領域の候補を抽出できなければ、移動体をパラメータ化したモデルを正確に移動体領域候補に当てはめることが不可能になる。特に、上述のようなシーンにおいては、移動体の大きさあるいは形が大きく変化するため、移動体領域候補を適切に抽出することは困難である。

さらに、移動体領域の候補を適切に抽出できたとしても以下のような課題がある。特に人物等の多関節物体が移動体である場合、移動体のさまざまな姿勢あるいは大きさに起因する画像の変化の幅が非常に大きいため、移動体モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。このことは、モデルの当てはめ誤りを誘発する。そのため、例えば、複数の移動体を１つの移動体として誤って領域抽出したり、抽出対象となる移動体が存在しない領域を移動体として誤って領域抽出したりするなど、正しく移動体を検出することができないという課題があった。

特許文献２に記載の手法に代表される、小領域間の特徴量を用いる従来の領域抽出手法では、特徴量として用いる輝度値あるいは動きが類似していない小領域は、異なる領域として分離される。そのため、人物のように、場所によって輝度値が異なり、かつ、場所によって動きが異なる移動体は、同一移動体の上の２つの小領域を異なる移動体の領域として抽出されてしまい、正しく移動体を検出することができないという課題があった。

そこで本発明は、上記従来の課題を解決するためになされたものであり、動画像中における移動体の形状の変化、大きさの変化、又は遮蔽などの影響を受けずに、移動体の領域を高精度に抽出することができる移動体検出方法等を提供することを目的とする。

本発明の一実施形態は、動画像中の移動体の全部又は一部の領域を分割することによって動画像中の移動体を検出する移動体検出方法であって、動画像に含まれる２枚以上のピクチャにわたる対応点である複数の移動軌跡から、ＴＬ枚（ＴＬ＞＝３）のピクチャにわたる移動軌跡である長時間移動軌跡をＮＬ個（ＮＬ＞＝２）と、前記ＴＬ枚のピクチャに含まれるＴＳ枚（ＴＬ＞ＴＳ＞＝２）のピクチャにわたる移動軌跡である短時間移動軌跡をＮＳ個（ＮＳ＞ＮＬ）とを抽出し、ＮＬ個の長時間移動軌跡間の測地距離と、ＮＳ個の短時間移動軌跡間の測地距離とをそれぞれについて算出する距離算出ステップと、前記距離算出ステップで算出された、長時間移動軌跡間の測地距離及び短時間移動軌跡間の測地距離に基づいて、ＴＬ枚のピクチャにわたるＮＳ個の移動軌跡間の測地距離を近似測地距離として算出する距離補間ステップと、前記距離補間ステップで算出された近似測地距離に基づいて、移動軌跡の集まりを１つの領域として分割することによって、領域分割をする領域分割ステップとを含む移動体検出方法としたものである。

上記の構成によって、長時間の移動軌跡間の近似測地距離に含まれる移動軌跡の動きの違いの情報に基づいて領域分割することで、形状の変化の影響を受けることなく、高精度にその領域を抽出することができる。つまり、長時間移動軌跡間の測地距離と短時間移動距離間の測地距離とから算出される近似測地距離に基づいて領域分割をすることができるので、動画像中における移動体の形状の変化、大きさの変化、又は遮蔽などの影響を受けずに、移動体の領域を高精度に抽出することが可能となる。

ここで、近似測地距離の算出方法としては、前記距離補間ステップでは、前記短時間移動軌跡間の測地距離に基づいて、短時間移動軌跡の集まりである部分短時間移動軌跡を抽出し、抽出した部分短時間移動軌跡に基づいて、前記近似測地距離を算出するとしてもよい。

上記の構成によって、複数の短時間移動軌跡の中に動きの異なる複数の移動体上の短時間移動軌跡が含まれる場合であっても、類似する短時間移動軌跡のみに基づいて近似測地距離を算出することができるため、移動体の領域を高精度に抽出することが可能となる。

ここで、近似測地距離の算出方法としては、前記距離補間ステップでは、前記短時間移動軌跡間の測地距離に基づいて前記長時間移動軌跡間の測地距離の線形補間を行うことによって、前記近似測地距離を算出するとしてもよい。

上記の構成によって、短時間移動軌跡間の測地距離の関係を保った近似測地距離を算出することができ、この近似測地距離に基づいて領域分割することで、移動体をより正しく領域抽出することができる。

ここで、近似測地距離の算出方法としては、前記距離補間ステップでは、短時間移動軌跡間の測地距離が小さいほど重みが大きくなるように重み付きの前記線形補間を行うことによって、前記近似測地距離を算出するとしてもよい。

上記の構成によって、短時間移動軌跡間の局所的な測地距離の関係を保った近似測地距離を算出することができ、この近似測地距離に基づいて領域分割することで、移動体をより高精度に領域抽出することができる。

また、本発明のより好ましい形態は、さらに、前記画像入力ステップで受け付けた動画像に、前記領域分割ステップで分割された領域ごとに異なる表示態様となるように画像処理を施し、画像処理後の動画像を出力する出力ステップを含むとしたものである。

上記の構成によって、特定された領域ごとに異なる表示態様で画像処理が施されるので、検出された移動体を容易に確認することができる。

また、本発明のより好ましい形態は、前記出力ステップでは、前記距離補間ステップで算出された近似測地距離と、前記距離算出ステップで抽出されたＮＬ個の長時間移動軌跡及びＮＳ個の短時間移動軌跡とに基づいて、仮想的な長時間移動軌跡を補完したＮＳ個の近似長時間移動軌跡を算出し、算出した近似長時間移動軌跡を含む動画像を出力するとしたものである。

上記の構成によって、動画像からは算出できなかった長時間の移動軌跡を含む画像を表示することができるので、検出された移動体の移動軌跡を容易に確認することができる。

本発明の一実施形態は、さらに、前記領域分割ステップで分割された領域に含まれる移動軌跡から、当該領域を代表する移動軌跡を算出し、算出した代表の移動軌跡に従って当該領域が移動すると予測することで、前記移動体の動きを予測する動き予測ステップを含むとしたものである。

上記の構成によって、複数の移動軌跡を代表する軌跡を用いて移動体の動きを予測することにより、より精度良く動きを予測することができる。

また、長時間移動軌跡を抽出するときに、前記距離算出ステップでは、抽出される長時間移動軌跡の個数に応じて、前記ＴＬを変化させて長時間移動軌跡を抽出するとしてもよい。

上記の構成によって、複数のピクチャに含まれる移動体の特徴に応じて、長時間移動軌跡のピクチャ数を変更できるので、より多くピクチャ数にわたるより多くの個数の長時間移動軌跡を抽出することが可能となる。すなわち、より多くの情報を含む長時間移動軌跡を用いることができるので、より高精度に領域分割をすることが可能となる。

また、長時間移動軌跡を抽出するときに、前記距離算出ステップでは、抽出される長時間移動軌跡の個数があらかじめ定められた第１の上限値を越える場合に、前記ＴＬを増加させて長時間移動軌跡を抽出するとしてもよい。

上記の構成によって、より多くのピクチャ数にわたる長時間移動軌跡を、適切な個数抽出することができる。

また、長時間移動軌跡を抽出するときに、前記距離算出ステップでは、抽出される長時間移動軌跡の個数があらかじめ定められた第１の下限値を下回る場合に、前記ＴＬを減少させて長時間移動軌跡を抽出するとしてもよい。

上記の構成によって、できる限りの多くのピクチャ数を確保しながら、長時間移動軌跡があらかじめ定められた移動軌跡の数を下回らないようにすることができる。

また、短時間移動軌跡を抽出するときに、前記距離算出ステップでは、抽出される短時間移動軌跡の個数に応じて、前記ＴＳを変化させて短時間移動軌跡を抽出するとしてもよい。

上記の構成によって、複数のピクチャに含まれる移動体の特徴に応じて、短時間移動軌跡のピクチャ数を変更できるので、より多くピクチャ数にわたるより多くの個数の短時間移動軌跡を抽出することが可能となる。すなわち、より多くの情報を含む短時間移動軌跡を用いることができるので、より高精度に領域分割をすることが可能となる。

また、短時間移動軌跡を抽出するときに、前記距離算出ステップでは、抽出された短時間移動軌跡の個数があらかじめ定められた第２の上限値を超える場合に、前記ＴＳを増加させて短時間移動軌跡を抽出するとしてもよい。

上記の構成によって、より多くのピクチャ数にわたる短時間移動軌跡を、適切な個数抽出することができる。

また、短時間移動軌跡を抽出するときに、前記距離算出ステップでは、抽出される短時間移動軌跡の個数があらかじめ定められた第２の下限値を下回る場合に、前記ＴＳを減少させて短時間移動軌跡を抽出するとしてもよい。

上記の構成によって、できる限りの多くのピクチャ数を確保しながら、短時間移動軌跡があらかじめ定められた移動軌跡の数を下回らないようにすることができる。

なお、本発明の移動体検出方法は、コンピュータ上のプログラムによって実現されるだけでなく、上記各ステップをハードウェアによって構成した移動体検出装置、上記各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読み取り可能な記録媒体、動画像において動きをもつオブジェクトの領域を抽出、あるいは、分割する画像処理装置等として実現することもできる。

上記の方法及び装置等により、長時間移動軌跡間の測地距離と短時間移動距離間の測地距離とに基づいて算出される近似測地距離を用いて領域分割をすることができるので、動画像中における移動体の形状の変化、大きさの変化、又は遮蔽などの影響を受けずに、移動体の領域を高精度に抽出することが可能となる。

図１は、本発明の実施の形態における移動体検出装置の構成を示す図である。 図２は、コンピュータによって構成された移動体検出装置のハードウェア構成を示す図である。 図３は、移動体検出装置の動作の手順を示すフローチャートである。 図４は、撮影状況の一例を示す図である。 図５は、動画像に含まれる複数枚のピクチャの一例を示す図である。 図６は、移動軌跡の一例を示す図である。 図７は、移動軌跡とピクチャ数との関係の一例を示す図である。 図８Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。 図８Ｂは、複数の移動軌跡のデータの分布を示す図である。 図８Ｃは、複数の移動軌跡のデータの分布を示す図である。 図９Ａは、測地距離の特徴を説明するための概念図である。 図９Ｂは、測地距離の特徴を説明するための概念図である。 図１０Ａは、近似測地距離を用いたクラスタリングの一例を説明するための図である。 図１０Ｂは、近似測地距離を用いたクラスタリングの一例を説明するための図である。 図１０Ｃは、近似測地距離を用いたクラスタリングの一例を説明するための図である。 図１１Ａは、出力部が生成した画像の一例を示す図である。 図１１Ｂは、出力部が生成した画像の一例を示す図である。 図１２は、理想的な移動軌跡の分布を示す概念図である。 図１３は、本発明の実施の形態における移動体検出装置による効果を説明するための図である。 図１４Ａは、長時間移動軌跡を算出するためのピクチャと短時間移動軌跡を算出するためのピクチャとの関係の別の一例を示す図である。 図１４Ｂは、長時間移動軌跡を算出するためのピクチャと短時間移動軌跡を算出するためのピクチャとの関係の別の一例を示す図である。 図１５Ａは、本発明の実施の形態の変形例における移動体検出装置の構成を示す図である。 図１５Ｂは、本発明の実施の形態の変形例における移動検出装置の動作を表すフローチャートである。 図１６は、本発明の実施の形態の変形例における移動体検出装置による動き予測を説明するための図である。 図１７は、移動予測の結果の一例を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。

図１は、実施の形態における移動体検出装置１００の構成を示す図である。図１に示されるように、移動体検出装置１００は、画像入力部１０１、動き解析部１０２、移動体検出部１０３、及び出力部１０４を備える。さらに移動体検出部１０３は、距離算出部１０５、距離補間部１０６、領域分割部１０７を備える。移動体検出装置１００は、複数枚のピクチャを含む動画像中の移動体の全部又は一部の領域を特定する領域分割をすることによって動画像中の移動体を検出する装置である。本実施の形態では、移動体検出装置１００は、カメラ１１０で撮影した動画像を取得し、取得した動画像中の移動体を検出し、検出結果に基づいて画像を生成して出力する。ディスプレイ１２０は、移動体検出装置１００から出力される画像を表示する。

画像入力部１０１は、動画像を構成する複数枚のピクチャの入力を受け付ける処理部であり、例えば、カメラ、あるいは、カメラと接続された通信インターフェース等である。

動き解析部１０２は、画像入力部１０１によって受け付けられた複数枚のピクチャに含まれる２枚以上のピクチャにわたる対応点である移動軌跡を算出する処理部である。具体的には、動き解析部１０２は、画像入力部１０１で受け付けた複数のピクチャについて、連続する２枚のピクチャ間の対応点を検出することにより、複数枚のピクチャにわたる対応点である複数の移動軌跡を算出し出力する。ここで、動き解析部１０２は、ピクチャの１画素ごとに対応点を検出する、又は、ピクチャ内の隣接する複数の画素（ブロック）ごとに代表する１つの対応点を検出する。

なお、「対応点」とは、複数枚のピクチャにおいて、同一の画像要素を示すと考えられるピクチャ内の位置を示すものである。したがって、移動軌跡は、連続する２枚以上のピクチャにわたる画像要素の動きを示す。

本明細書では、１画素ごとに検出された対応点であるか、複数の画素に１つ検出された対応点であるかを区別して記載しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、及び、あるピクチャのブロックｉに対応する他のピクチャの対応点によって示される移動軌跡を、いずれも画素ｉの移動軌跡と呼ぶ。

移動体検出部１０３は、動き解析部１０２によって検出された複数の移動軌跡に基づいて、類似する移動軌跡の集まりを１つの領域として特定することで、移動軌跡のクラスタリングを行う処理部である。移動体検出部１０３は、距離算出部１０５、距離補間部１０６、及び領域分割部１０７を備える。

距離算出部１０５は、動画像を構成する複数枚のピクチャにわたる対応点である移動軌跡を複数取得し、取得した移動軌跡間の類似度を表す距離を算出する処理部である。

本実施の形態では、距離算出部１０５は、動き解析部１０２によって算出された複数の移動軌跡から、ＴＬ枚（ＴＬ＞＝３）のピクチャにわたるＮＬ個の長時間移動軌跡と、ＴＳ枚（ＴＬ＞ＴＳ＞＝２）のピクチャにわたるＮＳ個の短時間移動軌跡とを抽出する。このときＴＳ枚のピクチャは、ＴＬ枚のピクチャに含まれるものとする。また、ＮＬ個の長時間移動軌跡に含まれるＴＳ枚のピクチャにわたる対応点は、ＮＳ個の短時間移動軌跡にも含まれているものとする。

さらに、距離算出部１０５は、抽出したＮＬ個の長時間移動軌跡と、ＮＳ個の短時間移動軌跡に対して、それぞれ２つの移動軌跡間の類似度をあらわす距離を算出して出力する。

本明細書において「距離」は、２次元画像空間における２点間の距離だけでなく、後述するように、多次元のデータ間の算術的な距離を含む。なお、一般的に距離と類似度は相反する関係がある。すなわち、２つのデータ間の距離が小さい場合、類似度が高く、逆に２つのデータ間の距離が大きい場合、類似度が低い。

距離補間部１０６は、距離算出部１０５で算出された、ＮＬ個の長時間移動軌跡間の距離と、ＮＳ個の短時間移動軌跡間の距離とから、ＮＬ個の長時間移動軌跡間の距離に基づいたＮＳ個の移動軌跡間の距離である近似距離を算出して出力する処理部である。

領域分割部１０７は、距離補間部１０６で算出された近似距離に基づいて、類似する移動軌跡の集まりを１つの領域として特定することで、領域分割をする処理部である。

出力部１０４は、移動体検出部１０３で動画像中の移動体の検出結果もしくは、画像の領域分割結果を出力する。具体的には、出力部１０４は、画像入力部１０１で受け付けた動画像に対して、例えば、移動体検出部１０３で特定された領域ごとに異なる表示態様となるように、画像処理を施し、ディスプレイ装置等に出力する。

本明細書において、「領域分割」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物が何であるかの区別なく画像中の領域を分割する領域分割技術との、両者を含んでいる。検出技術と領域分割技術とは共通する部分が多いため、本明細書においては両者を区別しない。

また、本明細書において、「移動体検出」とは、基準となる座標系に対して移動している物体が存在する画像領域のみを特定する検出技術と、相対的に異なる移動をしている物体ごとに画像中の領域を分割する領域分割技術の両者を含んでいる。

なお、移動体検出装置１００を構成する各構成要素（画像入力部１０１、動き解析部１０２、移動体検出部１０３、出力部１０４）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路等のハードウェアで実現されてもよい。図２は、ソフトウェアによって実現された本実施の形態における移動体検出装置のハードウェア構成を示す図である。

カメラ１００１は、動画像を撮影して、撮影した動画像をコンピュータ１００２に出力する。コンピュータ１００２は、カメラ１００１から出力された動画像を取得して領域分割処理を行う。そして、コンピュータ１００２は、領域分割処理の結果を表示するための画像を生成する。ディスプレイ１００３は、コンピュータ１００２によって生成された画像を取得して表示する。

コンピュータ１００２は、Ｉ／Ｆ（インターフェース）１００４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００５、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００６、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００７、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１００８、及びビデオカード１００９を備える。コンピュータ１００２を動作させるプログラムは、ＲＯＭ１００６又はＨＤＤ１００８にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ１００５によって、ＲＯＭ１００６又はＨＤＤ１００８からＲＡＭ１００７に読み出されて展開される。ＣＰＵ１００５はＲＡＭ１００７に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ１００４は、プログラムの実行に応じて、カメラ１００１で撮影された画像を、ＲＡＭ１００７へ取り込む。ビデオカード１００９は、プログラムの実行に応じて生成された画像を出力し、ディスプレイ１００３で表示される。

なお、プログラムは、半導体であるＲＯＭ１００６又はＨＤＤ１００８に限られず、たとえば光ディスクに格納されていてもよい。また、プログラムは、有線ネットワーク、無線ネットワーク、又は放送などを介して伝送され、コンピュータのＲＡＭ１００７に取り込まれてもよい。

以下、本実施の形態の移動体検出装置１００の動作を、図３を用いて説明する。

図３は、本実施の形態の移動体検出装置１００の動作を表すフローチャートである。

図３において、７つのステップＳ２０１〜Ｓ２０７は、それぞれ図１の各処理部１０１〜１０７に対応している。すわなち、画像入力部１０１は画像入力ステップＳ２０１の処理を実行し、動き解析部１０２は動き解析ステップＳ２０２の処理を実行し、移動体検出部１０３は移動物検出ステップＳ２０３の処理を実行し、出力部１０４は画像出力ステップＳ２０４の処理を実行する。また、移動物検出ステップＳ２０３は、距離算出ステップＳ２０５、距離補間ステップＳ２０６、及び領域分割ステップＳ２０７の３つのサブステップからなる。距離算出部１０５は距離算出ステップＳ２０５の処理を実行し、距離補間部１０６は距離補間ステップＳ２０６の処理を実行し、領域分割部１０７は領域分割ステップＳ２０７の処理を実行する。

まず、画像入力部１０１は、カメラ１００１から、動画像を構成する複数枚のピクチャを取得する（ステップＳ２０１）。続いて、動き解析部１０２は、画像入力部１０１によって取得された複数枚のピクチャに含まれる連続する２枚以上のピクチャにわたる移動軌跡を算出する（ステップＳ２０２）。そして、距離算出部１０５は、動き解析部１０２によって算出された複数の移動軌跡に基づいて、ＴＬ枚のピクチャにわたる長時間移動軌跡をＮＬ個と、ＴＳ枚のピクチャにわたる短時間移動軌跡をＮＳ個とを抽出する。さらに、距離算出部１０５は、抽出した長時間移動軌跡間の測地距離及び短時間移動軌跡間の測地距離を算出する（ステップＳ２０５）。続いて、距離補間部１０６は、距離算出部１０５によって算出された長時間移動軌跡間の測地距離と、短時間移動軌跡間の測地距離とに基づいて、ＴＬ枚のピクチャにわたるＮＳ個の移動軌跡間の近似測地距離を算出する（ステップＳ２０６）。次に、領域分割部１０７は、距離補間部１０６によって算出された近似測地距離に基づいて、類似する移動軌跡の集まりを１つの領域として検出することで、領域分割を行う（ステップＳ２０７）。最後に、出力部１０４は、領域分割部１０７によって分割された領域に基づいて画像を生成して、ディスプレイ１００３に表示する（ステップＳ２０４）。

以下に、図３に示した各ステップの詳細について説明する。

まず、画像入力部１０１により実行される画像入力ステップＳ２０１の詳細について説明する。画像入力部１０１は、カメラ１００１から、動画像を構成する複数のピクチャを取得する。本実施の形態では、カメラ１００１から取得される動画像は３０フレーム／秒の動画像であるとする。

図４は、カメラ１１０によって撮影される対象物の状況である撮影状況の一例を示す図である。また、図５は、カメラ１１０によって、図４の撮影状況において撮影された動画像に含まれる複数枚のピクチャの一例を示す図である。画像入力部１０１は、第１フレームから第ＴＬフレームまでのＴＬ枚（ＴＬ＞＝３）のピクチャをカメラ１１０から受け付ける。本実施の形態では、ピクチャの数ＴＬは、あらかじめ定められており、３０フレーム（ＴＬ＝３０）とする。

次に、動き解析部１０２により実行される動き解析ステップＳ２０２の詳細について説明する。動き解析部１０２は、画像入力部１０１から複数枚のピクチャを取得し、取得した複数枚のピクチャについて、２枚のピクチャ間の対応点を検出することにより、連続する２枚以上のピクチャにわたる移動軌跡を算出して出力する。

具体的には、動き解析部１０２は、第１フレームのピクチャ上の全ての画素（Ｉ個）を基準として、第２フレームから第ＴＬフレームまでの（ＴＬ−１）枚のピクチャ上の対応する画素を検出する。また、動き解析部１０２は、連続する２枚のピクチャ間の対応点をＴＬ枚のピクチャについて検出し、検出した対応点を第１フレームから連続する２枚以上のピクチャにわたって連結することにより、第１フレームのピクチャ上の画素に対応する他のピクチャ上の画素を検出しても良い。なお、複数枚のピクチャにわたる対応点を検出するさらに具体的な手法は、非特許文献１もしくは非特許文献２などに詳しく記載されているため、ここでは詳細な説明を省略する。
Ｐ．Ａｎａｎｄａｎ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．２８３−３１０，１９８９ Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ ａｎｄ Ｒａｍｉｎ Ｚａｂｉｈ， "Ｃｏｍｐｕｔｉｎｇ Ｖｉｓｕａｌ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｗｉｔｈ Ｏｃｃｌｕｓｉｏｎｓ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１ そして、動き解析部１０２は、ＴＬ枚のピクチャにおいて対応点を検出した結果のうち、ＴＳ枚（ＴＬ＞ＴＳ＞＝２）以上のピクチャにわたって検出された対応点を抽出することにより、移動軌跡を算出する。本実施の形態において、ピクチャ数ＴＳはあらかじめ定められており、ここでは１０フレーム（ＴＳ＝１０）とする。

画素ｉの移動軌跡ｘ^ｉは、第１フレームのピクチャ上のある画素ｉの座標値（ｘ_１ ^ｉ，ｙ_１ ^ｉ）と、対応点の画素座標値（ｘ_ｔ ^ｉ，ｙ_ｔ ^ｉ）とを用いて、下記式１のように示される。

ここで式１の移動軌跡ｘ^ｉは、第１フレームから第ＴＬフレームまでのＴＬ枚のピクチャ全てにわたる対応点の画素座標を含む場合のほかに、第（ＴＳ＋１）フレームから第ＴＬフレームの対応点の画素座標が存在しない移動軌跡も含まれることとなる。

なお、動き解析部１０２は、ピクチャの全ての画素ごとに対応点を検出する代わりに、ピクチャ内の隣接する複数の画素（ブロック）ごとに対応点を検出してもよい。

次に、距離算出部１０５によって実行される距離算出ステップＳ２０５の詳細について説明する。距離算出部１０５は、動き解析部１０２で算出した複数の移動軌跡Ｘに基づいて、ＴＬ枚のピクチャにわたる長時間移動軌跡ＸＬと、ＴＳ枚のピクチャにわたる短時間移動軌跡ＸＳとをそれぞれ抽出して、移動軌跡間の距離を算出する（ステップＳ２０５）。

本実施の形態において、長時間移動軌跡ＸＬは、第１フレームから第ＴＬフレームまでの連続するＴＬ枚のピクチャにわたる対応点である。また、短時間移動軌跡ＸＳは、第１フレームから第ＴＳフレームまでの連続するＴＳ枚のピクチャにわたる対応点である。また、以降の説明では、動き解析部１０２で算出されたＮＳ個の移動軌跡から、長時間移動軌跡はＮＬ個、短時間移動軌跡はＮＳ個、それぞれ抽出された場合について説明する。

図６は、移動軌跡の一例を示す図である。動き解析部１０２に入力された動画像は、ＴＬ枚のピクチャ６０１で構成されている。このとき移動軌跡ｘ^ｉ６０３ａは、第１フレームの所定の画素ｉ６０２ａに対応する、第２フレームから第ＴＬフレームまでのピクチャ上の対応点の集まりであり、各ピクチャの画像座標値の集まりからなるベクトルで表される。また、移動軌跡には、図６の画素ｋ６０２ｂの移動軌跡ｘ^ｋ６０３ｂのように、第（ＴＳ＋１）フレーム以降に対応点がピクチャ上に存在しない移動軌跡も含まれる。

図７は、移動軌跡とピクチャ数との関係の一例を示す図である。図７の棒グラフにおいて、横軸はピクチャを示し、縦軸は移動軌跡を示す。各棒として示される移動軌跡は、当該棒の左端に対応するピクチャにおいて発生した対応点が当該棒の右端に対応するピクチャの次のピクチャにおいて消滅したことを示す。

図７に示されるように、複数のピクチャにわたって検出される移動軌跡の数は、ピクチャの枚数が増えるほど少なくなる。これは、ピクチャの枚数が増えるほど、被写体の出現、消失、又は一時的な遮蔽などによって、あるピクチャ上の対応点が別のピクチャには存在しない場合が増えるためである。具体的には、図４〜図６における人の脚もしくは腕、手前の人物に遮蔽される背景、又は他の人物上の対応点などが、別のピクチャにおいて存在しない場合が増える。また、ピクチャの枚数が増えるほど移動軌跡の数が少なくなる別の原因として、被写体の変形あるいは照明の変化などに起因して、動き解析部１０２において対応点を検出できない場合が増えるためである。上記のような理由により、長時間移動軌跡の数ＮＬは、短時間移動軌跡の数ＮＳ以下となる。

次に、距離算出部１０５は、抽出したＮＬ個の長時間移動軌跡及びＮＳ個の短時間移動軌跡のそれぞれについて、２つの移動軌跡間の類似度を表す距離を算出する。

以下、距離算出部１０５において、ＮＬ個の長時間移動軌跡、及び、ＮＳ個の短時間移動軌跡のそれぞれについて、移動軌跡間の類似度を表す距離を算出する方法を詳細に説明する。

距離算出部１０５は、下記式２により、画素ｉの長時間移動軌跡と画素ｊの長時間移動軌跡との線形距離ｆ_Ｌ（ｉ，ｊ）を算出する。また、距離算出部１０５は、下記式３により、画素ｉの短時間移動軌跡と画素ｊの短時間移動軌跡との線形距離ｆ_Ｓ（ｉ，ｊ）を算出する。

ここで式２によって算出される線形距離ｆ_Ｌ（ｉ，ｊ）は、表記の都合上、全ての移動軌跡間について定義されているが、線形距離として有限な値となるのは、ＮＬ個の長時間移動軌跡ＸＬの間でのみとなる。画素ｉの移動軌跡もしくは画素ｊの移動軌跡が長時間移動軌跡ＸＬに属さない場合、線形距離ｆ_Ｌ（ｉ，ｊ）は∞（無限大）となる。

なお、本実施の形態において、線形距離は、式２及び式３によって算出されるが、これらの式に限定されるものではない。線形距離は、式２及び式３と同様に、移動軌跡間の画像座標における位置、動き、加速度、回転速度などのような、幾何的な類似度を表す指標であればよく、例えば、下記の式４及び式５を用いて算出されてもよい。

式４及び式５において、ｗは重み係数であり、設計者が設定するパラメータである。上記式４及び式５の移動軌跡間の距離ｆ_Ｌ（ｉ，ｊ）及びｆ_Ｓ（ｉ，ｊ）は、移動軌跡間の画像座標の距離の時間平均に、画像座標の距離の時間変動成分を加えたものである。特に移動軌跡間距離の時間変動成分は、移動軌跡の動きの類似度を示すものであり、これによって、画素間のなす距離の関係が時間的に変化しない剛体だけでなく、関節物体等の形状変化を捉えることができる。

式２及び式３によって算出された移動軌跡間の線形距離ｆ_Ｌ（ｉ，ｊ）及びｆ_Ｓ（ｉ，ｊ）の集まりを、下記式６に示すように、それぞれ線形距離マトリクスＦ_Ｌ及びＦ_Ｓとして表す。

なお、本実施の形態において、後述する測地距離ｇおよび非線形化された距離ｆ’と区別するために、式２〜式５によって算出される距離を線形距離と呼ぶが、線形距離の定義式を線形演算に限定するものではなく、線形距離の定義式に非線形の演算が含まれていても良い。

続いて、距離算出部１０５は、移動軌跡間の線形距離ｆ_Ｌ（ｉ，ｊ）及びｆ_Ｓ（ｉ，ｊ）から移動軌跡間の測地距離ｇ_Ｌ（ｉ，ｊ）及びｇ_Ｓ（ｉ，ｊ）を算出する。

以降、距離算出部１０５が、線形距離ｆ_Ｌ（ｉ，ｊ）から測地距離ｇ_Ｌ（ｉ，ｊ）を算出する処理を詳しく説明する。

まず、距離算出部１０５は、算出した線形距離ｆ_Ｌ（ｉ，ｊ）に対してあらかじめ定められた閾値Ｒ_Ｌを用いて、下記式７に示すように非線形化された距離ｆ_Ｌ’（ｉ，ｊ）を算出する。

次に、距離算出部１０５は、非線形化された距離ｆ_Ｌ’（ｉ，ｊ）から、測地距離ｇ_Ｌ（ｉ，ｊ）を算出する。ここで測地距離とは、複数の点を結ぶノードの距離（長さ）が得られているときに、ある２点間を結び得る全ての経路の距離のうちの最短の距離である。すなわち、本実施の形態において測地距離とは、２個の移動軌跡間の類似度を表す距離であって、他の移動軌跡を中継点として一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離のうち最短の距離である。

よって、距離算出部１０５は、第ｉの移動軌跡から第ｊの移動軌跡までの測地距離の算出においては、他の複数の移動軌跡のいずれかを中継点として第ｉの移動軌跡から第ｊの移動軌跡にたどりつく全ての経路のうちの最短の経路の距離を、測地距離として算出する。

例えば、移動軌跡ｉと移動軌跡ｊの２点間を直接結ぶノードの距離ｆ_Ｌ’（ｉ，ｊ）が得られている場合、移動軌跡ｉと移動軌跡ｊとの２点間を結ぶ経路は、２点を直接結ぶ経路以外に、別の移動軌跡ｓを中継する経路もある。移動軌跡ｓを中継する経路の距離は、ｆ_Ｌ’（ｉ，ｓ）＋ｆ_Ｌ’（ｓ，ｊ）となる。このような移動軌跡ｉと移動軌跡ｊとの２点間を結ぶ経路は複数ある。距離算出部１０５は、下記式８に示すように、それらの複数の経路の距離のうち、最も短い距離を測地距離ｇ_Ｌ（ｉ，ｊ）として算出する。

式８において、ｍｉｎ（ｘ，ｙ，…）は、値ｘ、値ｙなどの値のうち最も小さい値を返す関数である。また、移動軌跡ｓは、移動軌跡ｉから移動軌跡ｊにたどりつくための中継点である。ここで、中継点としての移動軌跡ｓは１個に限るものではない。すなわち、移動軌跡ｉから移動軌跡ｊまでの経路には、２個以上の移動軌跡を中継点とする経路も含まれる。

上述した測地距離の算出における２点間の最短経路を探索する手法の詳細は、例えば非特許文献３のダイクストラ法が広く知られているため、ここでは処理手順の詳細説明を省略する。
Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，"Ａ ｎｏｔｅ ｏｎ ｔｗｏ ｐｒｏｂｌｅｍｓ ｉｎ ｃｏｎｎｅｘｉｏｎ ｗｉｔｈ ｇｒａｐｈｓ"，Ｎｕｍｅｒｉｓｃｈｅ Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９−２７１，１９５９

非特許文献３に記載の手順等により、距離算出部１０５は、長時間移動軌跡間の線形距離ｆ_Ｌ（ｉ，ｊ）から測地距離ｇ_Ｌ（ｉ，ｊ）を算出する。さらに距離算出部１０５は、上記と同様の手順によって、あらかじめ定められた閾値Ｒ_Ｓを用いて、短時間移動軌跡間の線形距離ｆ_Ｓ（ｉ，ｊ）から測地距離ｇ_Ｓ（ｉ，ｊ）を算出する。算出した移動軌跡間の測地距離ｇ_Ｌ（ｉ，ｊ）及びｇ_Ｓ（ｉ，ｊ）の集まりを、下記式９に示すように、測地距離マトリクスＧ_Ｌ及びＧ_Ｓと表す。

以上の手順によって、距離算出部１０５は、ＮＬ個の長時間移動軌跡間の類似度を表す測地距離ｇ_Ｌ（ｉ，ｊ）、及び、ＮＳ個の短時間移動軌跡間の類似度を表す測地距離ｇ_Ｓ（ｉ，ｊ）を算出する。そして、距離算出部１０５は、算出した測地距離ｇ_Ｌ（ｉ，ｊ）及びｇ_Ｓ（ｉ，ｊ）を、測地距離マトリクスＧ_Ｌ及びＧ_Ｓとして出力する。

なお、上記式などから明らかなように本実施の形態では、測地距離は、同一の次元の移動軌跡間において算出される。つまり、距離算出部１０５は、同じ枚数のピクチャにわたる移動軌跡間において測地距離を算出する。

上述した複数の移動軌跡間の線形距離から測地距離を算出する処理について、図８Ａ〜図８Ｃの概念図を用いて説明する。

図８Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。移動軌跡は、背景領域においても算出されるが、表記を容易にするため、以降において、背景領域の移動軌跡は図示しないものとする。図８Ｂ及び図８Ｃは、上記式１によって表される複数の移動軌跡のデータの分布を示す図である。

図８Ｂ中の「×」印によって示された各データ点は、式１で示した画素ｉの移動軌跡ｘ^ｉに相当する。なお、移動軌跡ｘ^ｉは、独立した（ＴＬ×２）個の変数からなるベクトルである。したがって、移動軌跡ｘ^ｉは、本来は最大で（ＴＬ×２）次元空間のデータであるが、図８Ｂでは表記の都合上、３次元空間の点として表す。

図８Ｂに示す矢印は、上記式２及び式３で得られる、移動軌跡ｉと移動軌跡ｊとの線形距離ｆ（ｉ，ｊ）を表す。データ点ｉとデータ点ｊとの線形距離は、データ間を直接結んだ距離になる。一方、図８Ｃに示す矢印は、式７及び式８で得られる移動軌跡ｉと移動軌跡ｊの測地距離ｇ（ｉ，ｊ）を表す。図８Ｃに示すように、データ点ｉとデータ点ｊとの測地距離は、図中の矢印のように中継のデータ点ｓをたどった距離となる。

次に、線形距離ｆ（ｉ，ｊ）と、式７及び式８により算出された測地距離ｇ（ｉ，ｊ）の特徴を、図９Ａ及び図９Ｂの概念図を用いて説明する。

図９Ａ及び図９Ｂは、測地距離の特徴を説明するための概念図である。例えば、頭部の移動軌跡ｉと手先部の移動軌跡ｊとの線形距離は、図９Ａに示すように、他の移動軌跡とは無関係な２つの移動軌跡間の距離となる。一方、頭部の移動軌跡ｉと手先部の移動軌跡ｊとの測地距離は、図９Ｂに示されるように、近傍の複数の移動軌跡を通って移動軌跡ｊにたどり着くまでの矢印で示したような距離の和となる。言い換えると、図９Ａに示される線形距離は、他の移動軌跡の分布をまったく反映していないため、人物のような関節で繋がった形状に沿った移動軌跡間の距離を表現できない。これに対して、図９Ｂに示される測地距離は、他の移動軌跡を反映した距離となっているため、関節が繋がった形状に沿った移動軌跡間の距離を表現することが可能となる。

前述したように、式１によって表される移動軌跡ｘ^ｉは、数学的には最大で（ＴＬ×２）次元空間のデータである。しかし、実際に画像から検出される移動軌跡は、図８Ｂ及び図８Ｃのように（ＴＬ×２）空間のごく一部の領域に局在化する性質をもつことが、発明者の実験によっても確認されている。このような性質をもつ移動軌跡に対して、データの分布とは無関係である２データ間の距離のみの線形距離（図８Ｂの矢印）よりも、近傍のデータの分布を反映した測地距離（図８Ｃの矢印）の方が、移動軌跡間の類似度を表す距離の尺度として適していると言える。

なお、距離算出部１０５が、線形距離から測地距離を求める手法として、式７及び式８を用いる手法を示したが、測地距離を求める手法を限定するものではない。例えば、距離算出部１０５は、線形距離から非線形化距離を求めるときに、閾値Ｒ以上の線形距離を無限大に置き換える代わりに、移動軌跡ｉとの距離が小さいほうからｋ番目より大きい移動軌跡との距離を無限大で置き換えることによって、非線形化距離を算出してもよい。

次に、距離補間部１０６により実行される距離補間ステップＳ２０６の詳細について説明する。距離補間部１０６は、距離算出部１０５によって算出されたＮＬ個の長時間移動軌跡間の測地距離と、ＮＳ個の短時間移動軌跡間の測地距離とに基づいて、移動軌跡間の近似測地距離を算出して出力する。

以降、距離補間部１０６において、長時間移動軌跡間の測地距離ｇ_Ｌ（ｉ，ｊ）と短時間移動軌跡間の測地距離ｇ_Ｓ（ｉ，ｊ）とを用いて、近似測地距離ｇ（ｉ，ｊ）を算出する手順を詳しく説明する。

距離補間部１０６は、ＮＬ個の長時間移動軌跡の測地距離ｇ_Ｌ（ｉ，ｊ）とＮＳ個の短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）とを用いて、下記式１０によって補間長時間測地距離ｇ_Ｌ’（ｉ，ｊ）を求める。

次に、距離補間部１０６は、前述した式８の最短経路算出と同様に下記式１１に示すように、補間長時間測地距離ｇ_Ｌ’（ｉ，ｊ）に対して、ある２点間を結び得る全ての経路の距離のうちの最短距離を計算し、計算結果を近似測地距離ｇ（ｉ，ｊ）として出力する。

ここで近似測地距離ｇ（ｉ，ｊ）は、短時間移動軌跡と同じ数のＮＳ個の移動軌跡間について算出できる。この近似測地距離ｇ（ｉ，ｊ）は、式１０及び式１１のもつ意味から、ＮＬ個の長時間移動軌跡に対して、より数の多いＮＳ個の短時間移動軌跡を用いて移動軌跡を補間して加えることにより補完した、ＮＳ個の仮想的な移動軌跡間の測地距離と解釈することができる。また、別の解釈としては、近似測地距離ｇ（ｉ，ｊ）は、ＴＳフレームにわたる短時間移動軌跡に対して、よりピクチャ数の多いＴＬフレームにわたる長時間移動軌跡を用いてピクチャ数を補外することによって生成した、ＴＳフレームにわたる仮想的な移動軌跡間の測地距離とも解釈することができる。すなわち、近似測地距離ｇ（ｉ，ｊ）は、長時間移動軌跡間の測地距離ｇ_Ｌ（ｉ，ｊ）より多くの移動軌跡の情報を含み、短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）より多くのピクチャの情報を含むこととなる。言い換えると、近似測地距離ｇ（ｉ，ｊ）は、ＴＬフレームにわたるＮＳ個の仮想的な移動軌跡についての、移動軌跡間の近似的な測地距離に相当すると言える。

つまり、距離補間部１０６は、連続するＴＬ枚のピクチャにわたるＮＬ個の長時間移動軌跡間の測地距離と、連続するＴＳ枚のピクチャにわたるＮＳ個の短時間移動軌跡間の測地距離とを用いて、連続するＴＬ枚のピクチャにわたるＮＳ個の移動軌跡間の測地距離を近似測地距離として算出する。言い換えると、距離補間部１０６は、長時間移動軌跡間の測地距離及び短時間移動軌跡間の測地距離の一方を用いて他方を補間又は補外することにより、近似測地距離を算出する。具体的には、式１０及び式１１に示すように、距離補間部１０６は、短時間移動軌跡間の測地距離を用いて長時間移動軌跡間の測地距離の線形補間を行うことによって、近似測地距離を算出する。

次に、領域分割部１０７により実行される領域分割ステップＳ２０７の詳細について説明する。領域分割部１０７は、距離補間部１０６で算出された近似測地距離ｇ（ｉ，ｊ）に基づいて、類似する移動軌跡の集まりを１つの領域として検出することで、領域分割を行う。

本実施の形態において領域分割部１０７は、近似測地距離ｇ（ｉ，ｊ）が張る高次元空間の次元圧縮を行ったのち、次元圧縮された空間においてクラスタリングを行うものとする。

次元圧縮は、Ｙｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行った後、Ｅｉｇｅｎ ｓｙｓｔｅｍを求めることで実現できる。次元圧縮は、多次元空間に分布するデータを低次元空間に効率良く射影するための方法である。

以降、領域分割部１０７が、近似測地距離ｇ（ｉ，ｊ）の次元圧縮を行う手順について示す。

下記式１２に示すように、近似測地距離ｇ（ｉ，ｊ）のＮＳ×ＮＳのマトリクスを近似測地距離マトリクスＧと表す。

領域分割部１０７は、近似測地距離マトリクスＧに対して、中心化行列Ｈを両側からかけるＹｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行う。これは、距離マトリクスが点間距離からなる距離行列であるのに対して、重心を原点とした距離マトリクスに変換するために行うものである。

ここで、Ｈは中心化行列であり、

である。Ｉは単位行列、ＮＳは移動軌跡の数である。

また、

である。

次に、領域分割部１０７は、次元圧縮を行うために、τ（Ｇ）に対するＰ個の固有ベクトル（ｅｉｇｅｎ ｖｅｃｔｏｒ）ｅ_ｐ及びそれに対応する固有値（ｅｉｇｅｎ ｖａｌｕｅ）λ_ｐを算出する。

これにより、（式１１）より、

と表した場合、次元圧縮された空間上にｇ^ｉを射影した結果は、データｚ_ｐ ^ｉとして以下のように表すことができる。

なお、ｅ_ｐ ^ｉは、ｐ番目の固有ベクトルｅ_ｐのｉ番目の要素である。領域分割部１０７は、固有ベクトルの数Ｐを、利用するシーンに応じて実験的に決定しても良いし、以下のように固有値λ_ｐから寄与率ａ_ｐを算出し、それに基づいて決定しても良い。

ここで、Ｐは利用する固有ベクトルの数、すなわち圧縮された空間の次元数である。Ｎは全固有ベクトルの数である。そこで、領域分割部１０７は、寄与率ａ_ｐが一定値以上となる時の数Ｐを固有ベクトルの数と決定すれば良い。

以上のように領域分割部１０７は、式１２から式１７に示される計算処理により、近似測地距離ｇ（ｉ，ｊ）の次元圧縮を行う。これにより領域分割部１０７は、距離補間部１０６によって算出された近似測地距離ｇ^ｉ及び対応する仮想的な移動軌跡を、固有ベクトルｅ_ｐで張られる次元圧縮された空間上のデータｚ_ｐ ^ｉと対応付けることができる。

図１０Ａ〜図１０Ｃは、近似測地距離を用いたクラスタリングの一例を説明するための図である。なお、図１０Ｂ及び図１０Ｃは、人物の歩行画像を入力とした場合の画素ｉの時間的移動軌跡が非線形に次元圧縮された空間に射影された結果を示す図でもある。図１０Ｂ及び図１０Ｃに示すグラフの縦軸、横軸はそれぞれ固有ベクトルｅ_１、ｅ_２である。２次元上に射影された点（ｚ_１ ^ｉ，ｚ_２ ^ｉ）は、近似測地距離ｇ^ｉを射影したものである。ここで、非線形空間上のデータｚ_ｐ ^ｉと画像上での画素ｉの移動軌跡ｘ^ｉとは一対一の対応関係にあるため、点（ｚ_１ ^ｉ，ｚ_２ ^ｉ）は、画素ｉの移動軌跡ｘ^ｉに対応していると捉えることができる。なお、ここでは結果を可視化するために非線形空間の次元数を２次元としたが、前述のように必ずしも２次元である必要は無いし、高い次元数の方がより高い精度でデータを射影することができる。

次に、領域分割部１０７は、図１０Ｂに示したような移動軌跡を次元圧縮したデータｚ_ｐ ^ｉに対してクラスタリングを行うことで、移動軌跡のセグメンテーションと移動体の検出を行う。本実施の形態では、クラス数を所与としてクラス内分散が最小となるように移動軌跡をクラスタリングする手法を用いるものとする。

まず、セグメント領域を次のように表現する。

ここで、Ｍは、セグメント領域数であり利用するシーンに応じて経験的に決定される。それぞれのセグメント領域θ_ｍは、パラメータ

及びパラメータＺ_ｍで表現される。ここで、パラメータ

は、次元圧縮された空間におけるセグメント領域θ_ｍに属するデータの座標値の平均値である。また、パラメータＺ_ｍは、セグメント領域θ_ｍに属するデータの座標値に関する共分散行列である。領域分割部１０７は、パラメータ

の初期値をランダムに決定しても良いし、圧縮された非線形空間中をグリッドで等間隔に分割する等して、そのグリッドの交点の座標値を初期値として決定しても良い。

なお、パラメータ

及びパラメータＺ_ｍは、以下の式２０及び式２１のように表すことができる。

ここで、Ｃ_ｍは圧縮された非線形空間上でセグメント領域θ_ｍに属するデータ数である。

以下、具体的なクラスタリングの方法について説明する。まず、領域分割部１０７は、次式２２の距離関数を用いて、データｚ_ｉが属するセグメント領域θ_ｍを求める。

ここで、ψ_ｍ（ｚ_ｉ）は、画素ｉの移動軌跡に対応するデータｚ_ｉとそれぞれのセグメント領域θ_ｍとの距離を示すものである。各データは、ψ_ｍ（ｚ_ｉ）が最小値をとるセグメント領域θ_ｍに属するものとする。なお、φ_ｍ（ｚ_ｉ）はマハラノビス距離であり、下記式２３によって表される。

ここで、領域分割部１０７は、φ_ｍ（ｚ_ｉ）をψ_ｍ（ｚ_ｉ）の代わりとして用いて計算しても構わない。

さらに、ｐ（ω_ｍ）は、一定値であっても良いし、人物など決まった被写体のセグメンテーションを行う場合は、人物部位の形状や面積比等をもとにあらかじめ設定された値であっても良い。ω_ｍは、セグメント領域θ_ｍに対する重み係数である。

次に、領域分割部１０７は、式２２の計算結果から、セグメント領域θ_ｍに属するデータｚ_ｉを用いて、以下式２４及び式２５のようにセグメント領域θ_ｍのパラメータ

及びパラメータＺ_ｍを更新する。

ここで、ｚ_ｃｍは、セグメント領域θ_ｍに属する圧縮された非線形空間上のデータである。また、ωは、一定値「１」であっても良いし、入力データの平均値からのずれ具合によって調整された値であっても良い。このように、領域分割部１０７は、式２２から式２５の距離計算及びパラメータ更新を規定回数繰り返すことによって、非線形空間上の各データが属するセグメント領域θ_ｍを算出することができる。なお、領域分割部１０７は、上記に加えて、ｋ−ｍｅａｎ、競合学習など、他のクラスタリング方法を用いてセグメント領域を算出しても構わない。

図１０Ｃは、Ｍ＝３として非線形空間上のデータをセグメンテーションした一例を示す図である。圧縮された非線形空間上でのセグメント領域θ_１からθ_２について画像上での対応を見ると、θ_１は手前の人物、θ_２は後方の人物に対応している。なお、実際には背景領域の移動軌跡も含んでおり、背景領域は領域θ_３としてセグメンテーションされるが、図の表記の都合上省略する。

ここで、圧縮された非線形空間上のセグメント領域に対応するのは、１枚の画像上の領域だけではなく時間的に連続した複数枚の画像に渡って画素を追跡した結果である。すなわち、領域分割部１０７は、圧縮された非線形空間上でセグメンテーションを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果として、画像中の移動する被写体ごとに画像領域を抽出することができる。また、移動体検出装置１００は、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因するセグメンテーションの失敗がない。以上のように、移動体検出装置１００は、膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって、形状が変化しながら移動する人物等を含む画像を安定的にセグメンテーションし、これによって画像中の移動体の検出を行うことが可能となる。

最後に、出力部１０４によって実行される出力ステップＳ２０４の詳細について説明する。出力部１０４は、移動軌跡のセグメント領域θ_ｍに基づいて画像を生成して、ディスプレイ１００３に表示する。

本実施の形態において出力部１０４は、画像入力部１０１で受け付けた動画像に対して、移動体検出部１０３で特定された移動軌跡の領域ごとに異なる表示態様となるように、画像処理を施して出力し、ディスプレイ１００３に表示する。ここでは、出力部１０４は、複数の移動軌跡のセグメント領域θ_ｍごとに異なる色を選択し、選択した色でそれぞれ移動軌跡の画像座標位置の画素を描画することで、画像を生成する。

図１１Ａ及び図１１Ｂは、出力部１０４が生成した画像の一例を示す図である。図１１Ａ及び図１１Ｂに示すように、ディスプレイ１００３にはクラスタリングした移動軌跡ごとに異なる色を持つ画像が表示されることとなる。

なお、出力部１０４は、移動軌跡の画像座標位置の画素をセグメント領域に応じた色で描画することにより画像を生成するとしたが、画像を生成する方法をこれに限定されるものではない。出力部１０４は、移動軌跡の数と画像全体の画素数とが同数であれば、上述した方法により画像中の全画素をクラスタに応じた色で描画することができる。一方、移動軌跡の数が画像全体の画素数より少ない場合、どの移動軌跡の画像座標位置とも一致しない画素が存在する。

このような移動軌跡の画像座標位置と一致しない画素については、出力部１０４は、上記の方法とは別の方法で描画しても良い。例えば、出力部１０４は、動き解析部１０２が、ある移動軌跡を生成するための動き検出に用いたブロックに属する画素を、その移動軌跡のセグメント領域と同じ色で描画するとしても良い。

また、移動軌跡の画像座標位置と一致しない画素を描画する別の方法として、出力部１０４は、最近傍の移動軌跡のセグメント領域と同じ色で描画するとしても良い。

また、移動軌跡の画像座標位置と一致しない画素を描画する別の方法として、出力部１０４は、複数の移動軌跡の画像座標位置（点）の間を、Ｄｅｌａｕｎａｙ三角メッシュ生成法にて結び、同一のセグメント領域に属する３点に囲まれる３角形に含まれる画素を、そのセグメント領域と同じ色で描画するとしても良い。

なお、連続して入力される動画像に対して処理を行う場合は、移動体検出装置１００は、上述した図３のステップＳ２０１〜Ｓ２０７の動作を、ＴＬ枚のピクチャが入力されるたびに繰り返し行うとしても良い。

以上のように、本実施の形態の移動体検出装置は、動画像中の移動軌跡間の類似度に基づいて移動軌跡をクラスタリングして、画像中の移動体の領域を抽出する。そして移動体検出装置は、移動軌跡の類似度の指標として、移動軌跡間の測地距離を用いることにより、被写体の形状の変化や関節物体の姿勢の変化によらずに、画像中の移動体の領域抽出をすることができる。

さらに、本実施の形態の移動体検出装置は、距離補間部１０６によって算出した複数の移動軌跡間の近似測地距離を類似度の指標として、移動軌跡のクラスタリングを行う。ここで、移動軌跡間の類似度の算出において、より多くのピクチャ数にわたる移動軌跡を用いた場合、より長い時間にわたる移動軌跡の類似度を算出することができる。そのため、より多くのピクチャ数にわたる移動軌跡を用いることは、正しいクラスタリング結果を得るために有効である。しかしながら、前述したように、多くのピクチャを用いるほど算出可能な移動軌跡の数は減ってしまう。その結果、移動軌跡の粗密の差がおおきくなり、移動体検出装置が領域分割を誤る原因となる。一方、より少ないピクチャを用いた場合、算出可能な移動軌跡の数は増えるが、移動軌跡間の類似度の差が小さくなる。そのため、特に、長い時間では異なる動きを示すはずが、短い時間では似ている動きを示す移動軌跡が発生し、移動体検出装置が領域分割を誤る原因になる。このようなジレンマに対して、本実施の形態の移動体検出装置は、長時間移動軌跡に対して短時間移動軌跡を用いて移動軌跡の数を増加させた近似測地距離を用いて移動軌跡のクラスタリングを行うため、より正しいクラスタリング結果を得ることが期待できる。

このような例を、図１２及び図１３を用いて説明する。図１２は、図４及び図５と同様なシーンにおいて、ＴＬフレームにわたって全ての移動軌跡が追跡可能であった理想的な場合の移動軌跡の分布を示す概念図である。しかしながら、実際の移動軌跡は、遮蔽などが原因で、ピクチャ数が多いほど数が減ってしまうので、図１３（ａ）に示すような分布となる。移動体検出装置１００が、図１３（ａ）のように疎な移動軌跡を用いて測地距離を算出し、算出した測地距離を用いてクラスタリングを行った場合、誤ったクラスタリングが行われてしまう可能性が高くなる。一方、より少ないピクチャ数にわたる移動軌跡であれば、その個数は理想的な状態に近づくが、図１３（ｂ）に示すように移動軌跡間の類似度の違いが少なくなる。このような場合に、長時間移動軌跡と短時間移動軌跡との両方に基づいて近似測地距離を算出することは、図１３（ｃ）に示すような、図１２の理想的な分布に近い移動軌跡に基づいて測地距離を算出することに相当する。

以上のようにして、本実施の形態における移動体検出装置及び方法によれば、画像の移動軌跡の類似度にもとづいてクラスタリングを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、画像中の移動体の領域抽出をすることができる。また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域抽出の失敗がない。以上のように、膨大なパラメータのフィッティングを必要とせずに、移動軌跡間の測地距離に基づいてクラスタリングを行うことによって、形状が変化しながら移動する人物等を含む画像を安定的に領域抽出し、これによって画像中の移動体の検出を高精度に行うことが可能となる。

なお、本実施の形態の移動体検出装置において、距離補間部１０６は、長時間移動軌跡間の測地距離と短時間移動軌跡間の測地距離とから、上記式１０及び式１１によって近似測地距離を算出したが、本発明はこれらの式に限定されるものではない。距離補間部１０６は、長時間移動軌跡間の測地距離ｇ_Ｌ（ｉ，ｊ）より多くの移動軌跡の情報を含み、短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）より多くのピクチャの情報を含むように近似測地距離を算出する式であれば、他の式を用いて近似測地距離ｇ（ｉ，ｊ）を算出してもよい。例えば、距離補間部１０６は、式１０の代わりに、下記式３０を用いて補間長時間測地距離ｇ_Ｌ’（ｉ，ｊ）を算出したのち、式１１を用いて近似測地距離ｇ（ｉ，ｊ）を算出しても良い。

式３０は、長時間移動軌跡間の測地距離を短時間移動軌跡間の測地距離を用いて補間する際に、短時間移動軌跡間の測地距離が小さいほど重みｗが大きくなるように重み付きの線形補間をすることに相当する。つまり、距離補間部１０６は、短時間移動軌跡間の測地距離を用いて長時間移動軌跡間の測地距離の線形補間を行うときに、短時間移動軌跡間の測地距離が小さいほど重みが大きくなるように重み付きの線形補間を行うことによって、近似測地距離を算出しても良い。このような重みを加えて線形補間を行うことにより、距離補間部１０６は、短時間移動軌跡間の測地距離のより局所的な分布を保持しながら、近似測地距離を算出することが可能になる。すなわち、移動体検出装置は、このように算出された近似測地距離を用いることにより、移動体の領域をさらに高精度に抽出することが可能となる。

なお、本実施の形態の移動体検出装置において、距離補間部１０６は、ある２つの移動軌跡間の近似測地距離を算出する際に、全ての短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）を用いて計算するとしたが、短時間移動軌跡を全て用いる方法に限定するものではない。例えば、一部の短時間移動軌跡を抽出し、抽出した短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）を用いて近似測地距離を計算するとしても良い。より具体的には、例えば、移動軌跡ｉと移動軌跡ｊの近似測地距離ｇ（ｉ，ｊ）を算出する場合に、全ての短時間移動軌跡のうち、移動軌跡ｉに類似する短時間移動軌跡と、移動軌跡ｊに類似する短時間移動軌跡とを抽出して、これらを部分短時間移動軌跡とする。そして、全ての短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）の代わりに、抽出した部分短時間移動軌跡の測地距離ｇ_Ｓ’（ｉ，ｊ）を用いて、式１０及び式３０によって、補間長時間測地距離ｇ_Ｌ’（ｉ，ｊ）を算出する。最後に、式１１を用いて補間長時間測地距離ｇ_Ｌ’（ｉ，ｊ）から近似測地距離ｇ（ｉ，ｊ）を算出する。

すなわち、距離補間部１０６は、短時間移動軌跡間の測地距離に基づいて、類似する短時間移動軌跡の集まりである部分短時間移動軌跡を抽出し、抽出した部分短時間移動軌跡に基づいて、近似測地距離を算出しても良い。つまり、距離補間部１０６は、短時間移動軌跡間の測地距離が類似する短時間移動軌跡の集まりを部分短時間移動軌跡として抽出し、抽出した部分短時間移動軌跡を用いて近似測地距離を算出しても良い。これにより、移動体検出装置１００は、例えば動きの異なる複数の移動体が含まれる場合であっても、移動軌跡ｉ及び移動軌跡ｊに対応する移動体と同一または類似する動きの移動体の短時間移動軌跡を用いて近似測地距離ｇ（ｉ，ｊ）を算出することができるため、より精度の高い近似測地距離ｇ（ｉ，ｊ）を算出することができ、その結果、移動体の領域を高精度に抽出することが可能となる。

なお、本実施の形態の移動体検出装置において、距離補間部１０６は、式１０及び式３０の計算を行う際に、長時間移動軌跡の測地距離ｇ_Ｌ（ｉ，ｊ）と短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）とが、いずれもその要素に無限大（∞）の値を含まないものと仮定して計算している。もしも測地距離の値として無限大が含まれる場合、すなわち、ある移動軌跡ｉと移動軌跡ｊとの距離が無限大の場合は、距離補間部１０６は、移動軌跡ｉとの測地距離が有限である複数の移動軌跡と、移動軌跡ｊとの測地距離が有限である複数の移動軌跡との２つの部分集合（部分移動軌跡）に分割することが好ましい。そして、分割された部分集合が、それぞれ別のクラスタであるものとして、各処理部は以降の各処理を行うと良い。

すなわち、距離補間部１０６は、短時間移動軌跡間の測地距離に基づいて、類似する短時間移動軌跡の集まりである部分短時間移動軌跡を複数抽出し、抽出した複数の部分短時間移動軌跡に基づいて、近似測地距離を算出しても良い。つまり、距離補間部１０６は、短時間移動軌跡間の測地距離が有限となる短時間移動軌跡の集まりを部分短時間移動軌跡として複数抽出し、抽出した複数の部分短時間移動軌跡ごとに近似測地距離を算出しても良い。この場合、領域分割部１０７は、同じ部分短時間移動軌跡から算出された近似測地距離ごとに類似する移動軌跡の集まりを１つの領域として特定する。これにより、移動体検出装置１００は、抽出された複数の短時間移動軌跡の中に適切な測地距離を算出できない短時間移動軌跡の組合せが含まれる場合であっても、移動体の領域を高精度に抽出することが可能となる。

なお、本実施の形態の移動体検出装置において、距離算出部１０５は、動き解析部１０２によって生成された移動軌跡から抽出する、長時間移動軌跡のピクチャ数ＴＬと短時間移動軌跡のピクチャ数ＴＳは、それぞれＴＬ＝３０、ＴＳ＝１０であるとしたが、この数値に限定するものではない。例えば、検出すべき移動体の種類や状態に応じて別の数値を用いても良い。

例えば、検出する対象が歩行者と仮定できる場合、平均的な歩行周期が約１秒（３０フレーム）であることから、ＴＬ＝３０フレームのピクチャにわたる長時間移動軌跡は、人の歩行１周期分で正規化された動きの情報を表す。歩行周期で正規化された移動軌跡は、歩行周期に満たない一部の移動軌跡に比べて、歩行者ごとの移動方向の違いを表現するのに適していると言える。したがって、３０枚を長時間移動軌跡のピクチャ数ＴＬとして長時間移動軌跡を抽出することは、複数の歩行者が含まれる動画像から、歩行者ごとに移動体を抽出することを目的とした場合に、適しているといえる。一方、例えば片方の足や手などのように、歩行１周期のうち一時的に遮蔽される領域は、歩行１周期分のピクチャにわたる移動軌跡が抽出できない。そこで、距離算出部１０５は、移動軌跡を抽出可能なピクチャ数である１０枚を短時間移動軌跡のピクチャ数ＴＳとして短時間移動軌跡を抽出すれば、このような１周期分の移動軌跡が算出できない領域に対しても短時間移動軌跡を抽出することができる。移動体検出装置１００は、このように抽出された短時間移動軌跡を用いることで、一時遮蔽された領域に対しても、移動体領域の判定や抽出が可能になる。

以上のように、検出すべき対象が周期的な変形を伴う移動体である場合、距離算出部１０５において抽出する長時間移動軌跡のピクチャ数（ＴＬ）を、移動体の変形周期に対応するピクチャ数とすることで、移動体の変形の影響を受けにくくなり、移動体をより正しく抽出することができるという効果がある。また、長時間移動軌跡が算出できないピクチャ中の移動体領域について、移動体か否かを検出するために、移動軌跡が算出可能な最大のピクチャ数をＴＳとすることで、移動体の領域に、より正確に対応した移動体領域の検出が可能になるという効果がある。

なお、本実施の形態の移動体検出装置において、距離算出部１０５が、動き解析部１０２によって生成された移動軌跡から抽出する、ＴＬフレームにわたる長時間移動軌跡と、ＴＳフレームにわたる短時間移動軌跡との時間的な位置関係は、図７の配置であるものとしたが、これに限定するものではない。ＴＳフレームのピクチャがＴＬフレームに含まれていれば、どのような位置関係であっても良い。例えば、長時間移動軌跡と短時間移動軌跡との時間的な位置関係が、図１４Ａ又は図１４Ｂに示すような位置関係などであっても、距離算出部１０５は、図７に示す位置関係の場合と同様に処理することができる。

図７、図１４Ａ、及び図１４Ｂのように、短時間移動軌跡を抽出するピクチャと長時間移動軌跡を抽出するピクチャとの相対的なピクチャの配置が異なる場合、距離補間部１０６によって、短時間移動軌跡間の距離と長時間移動軌跡間の距離とから算出される近似測地距離に反映される各ピクチャの重みが変化する。例えば、図７の場合、第１フレームから第ＴＬフレームまでのピクチャのうち、第１フレームから第ＴＳフレームにおいて抽出された短時間移動軌跡は移動体の検出に利用可能である。一方、第１フレームから第ＴＳフレームにおいて一時的に遮蔽され、後の第（ＴＳ＋１）フレームから第ＴＬフレームまでにピクチャ中に存在する領域は、移動軌跡を用いた移動体の検出処理ができない。したがって、第１フレームから第ＴＬフレームまでのピクチャのうち、移動体抽出の結果の重要度がピクチャによって異なる場合は、距離算出部１０５は、より重要度の高いピクチャが、短時間移動軌跡を抽出するピクチャに含まれるように、ピクチャの配置を決定すればよい。例えば、第１フレームから第ＴＬフレームまでのピクチャのうち、最初のピクチャが重要な場合は、距離算出部１０５は、短時間移動軌跡を抽出するピクチャの配置を、図７の配置に決定すれば良い。一方、ロボットや車両の制御のための移動体検出などのように、移動体が撮影されてから装置が移動体を検出するまでの時間遅延が少ないことが望ましい場合は、距離算出部１０５は、短時間移動軌跡を抽出するピクチャの配置を、図１４Ｂのような配置に決定すれば良い。

また、距離算出部１０５は、図７と図１４Ａと図１４Ｂとの関係のように、第１フレームから第ＴＬフレームまでのピクチャに対して配置が異なるＴＳフレームの短時間移動軌跡を用いて同様の処理を行った結果を、それぞれＴＳフレーム分のピクチャに対応する、移動体領域の抽出結果としても良い。

なお、本実施の形態の移動体検出装置において、距離算出部１０５が、移動軌跡から抽出する、長時間移動軌跡のピクチャ数ＴＬと短時間移動軌跡のピクチャ数ＴＳは、あらかじめ定められており、一定であるものとして説明したが、それぞれの移動軌跡の算出に利用するピクチャ数を動的に変化させても良い。具体的には、距離算出部１０５は、抽出される長時間移動軌跡の数に応じて、長時間移動軌跡のピクチャ数ＴＬを変化させて長時間移動軌跡を抽出しても良い。また、距離算出部１０５は、抽出される短時間移動軌跡の数に応じて、短時間移動軌跡のピクチャ数ＴＳを変化させて短時間移動軌跡を抽出しても良い。これにより、距離算出部１０５は、複数のピクチャに含まれる移動体の特徴に応じて、移動軌跡のピクチャ数を変更できるので、より多くピクチャ数にわたるより多くの個数の移動軌跡を抽出することが可能となる。すなわち、移動体検出装置１００は、より多くの情報を含む移動軌跡を用いることができるので、より高精度に領域分割をすることが可能となる。

具体的には、長時間移動軌跡のピクチャ数ＴＬと短時間移動軌跡のピクチャ数ＴＳを動的に変化させる手法として、距離算出部１０５は、例えば、長時間移動軌跡と短時間移動軌跡のどちらか一方、又は両方の、移動軌跡個数の上限値をあらかじめ定めておき、これらの上限値を大きく超えないようにピクチャ数ＴＬ又はＴＳを動的に変化させても良い。より具体的には、距離算出部１０５は、ピクチャ数ＴＬにわたる長時間移動軌跡の個数が、あらかじめ定められた長時間移動軌跡の個数の上限値ＮＬｍａｘ（第１の上限値）を超えた場合に、ピクチャ数ＴＬを増加させるとしても良い。また、短時間移動軌跡のピクチャ数についても同様に、距離算出部１０５は、ピクチャ数ＴＳにわたる短時間移動軌跡の個数が、あらかじめ定められた短時間移動軌跡の個数の上限値ＮＬｍａｘ（第２の上限値）を超えた場合に、ピクチャ数ＴＳを増加させるとしても良い。距離算出部１０５は、このように増加させたピクチャ数にわたる移動軌跡を再度抽出することにより、より多くのピクチャ数にわたる移動軌跡を適切な個数抽出することができる。ここで移動軌跡の数が多いということは、動画像中の変化が小さい、被写体の動きが小さい、動きによる遮蔽領域が少ない、などの理由により、複数のピクチャにわたる対応点が多く算出可能であることに相当する。このような場合、ピクチャ数ＴＬ、又はＴＳを増加させることによって、移動軌跡により多くのピクチャにわたる動きの情報を含ませることができるため、その結果、移動軌跡に基づいて移動体を正しく検出できるという効果が期待できる。

また、長時間移動軌跡のピクチャ数ＴＬと短時間移動軌跡のピクチャ数ＴＳを動的に変化させる別の手法として、距離算出部１０５は、例えば、長時間移動軌跡と短時間移動軌跡のどちらか一方、又は両方の、移動軌跡個数の下限値をあらかじめ定めておき、これらの下限値を下回らないようにピクチャ数ＴＬ又はＴＳを動的に変化させるとしても良い。具体的には、距離算出部１０５は、ピクチャ数ＴＬにわたる長時間移動軌跡の個数が、あらかじめ定められた長時間移動軌跡の個数の下限値ＮＬｍｉｎ（第１の下限値）を下回った場合に、長時間移動軌跡の個数がＮＬｍｉｎを超えるように、ピクチャ数ＴＬを減少させるとしても良い。また、短時間移動軌跡のピクチャ数についても同様に、距離算出部１０５は、ピクチャ数ＴＳにわたる短時間移動軌跡の個数が、あらかじめ定められた短時間移動軌跡の個数の下限値ＮＬｍｉｎ（第２の下限値）を下回った場合に、ピクチャ数ＴＳを減少させるとしても良い。距離算出部１０５は、このように減少させたピクチャ数にわたる移動軌跡を再度抽出することにより、できる限り多くのピクチャ数を確保しながら、移動軌跡があらかじめ定められた移動軌跡の数を下回らないようにすることができる。そのため、例えば動画像中の被写体の動きによる遮蔽によって長時間移動軌跡の個数が相対的に小さくなる動画像に対しても、移動軌跡の数が極端に少なくなるということが発生しにくくなる。その結果、領域分割ができないということが発生しにくくなるという効果がある。

なお、本発明に係る移動体検出装置及び方法は、上記実施の形態に限定されるものではなく、上記実施の形態に対して当業者が思いつく各種変形を施して得られる形態、あるいは後述する各種変形例を含む複数の形態における構成要素を任意に組み合わせて得られる形態も本発明に含まれる。

例えば、上記実施の形態の移動体検出装置の距離算出部１０５は、あらかじめ定められた一定の値である閾値Ｒを用いて測地距離を算出した。しかし、本発明の距離算出部１０５は、これに限定されるものではない。例えば、距離算出部１０５は、閾値Ｒを徐々に小さくしながら測地距離を算出しても良い。この場合、距離算出部１０５、距離補間部１０６及び領域分割部１０７は、徐々に小さくなる閾値Ｒごとに、距離算出、距離補間、及び領域分割を繰り返し行い、所定の条件に達した時点で処理を終了しても良い。

なお、本実施の形態の移動体検出装置において、領域分割部１０７は、式１２から式１７の処理によって近似測地距離ｇ（ｉ，ｊ）の次元圧縮を行ったのち、次元圧縮された測地距離を用いて、クラス数を所与としてクラス内分散が最小となるように移動軌跡をクラスタリングする手法を用いるものとしたが、領域分割の手法はこれに限定されるものではない。領域分割部１０７は、近似測地距離を用いて、移動軌跡をクラスタリングする手法であれば、他の手法を用いてもよい。

また、上記実施の形態では、領域分割の結果はディスプレイに表示されたが、例えば、移動体の動き予測に利用されてもよい。具体的には、本発明に係る移動体検出装置は、図１５Ａに示すように、上記実施の形態における構成要素に加え、動き予測部１５０を備えてもよい。

図１５Ａは、本発明の実施の形態の変形例における移動検出装置の構成を示す図である。図１５Ａに示すように、本変形例における移動体検出装置は、図１に示した移動体検出装置が有する構成要素に加えて、動き予測部１５０を備える。なお、図１５Ａにおいて、図１と同じ構成要素については、同一の符号を付し、説明を省略する。

また、図１５Ｂは、本発明の実施の形態の変形例における移動検出装置の動作を表すフローチャートである。図１５Ｂにおいて、図３と同様の処理については、同一の符号を付し、適宜説明を省略する。なお、図１５Ｂにおいて、ステップＳ２５０は、図１５Ａの動き予測部１５０に対応している。つまり、動き予測部１５０は、動き予測ステップＳ２５０の処理を実行する。

動き予測部１５０は、領域分割部１０７で得られた領域分割の結果に基づいて、各領域に含まれる画素の移動軌跡から代表軌跡を算出し、その代表軌跡をもとに移動体の動きを予測する（ステップＳ２５０）。

さらに具体的には、領域θ_ｍに属する画素の移動軌跡をｘ^ｃｍと表現した場合、動き予測部１５０は、まず、下記式２６のように、クラスタ領域θ_ｍごとに代表の移動軌跡

を求める。なお、動き予測部１５０は、式２６を用いて、代表の移動軌跡として、平均移動軌跡を算出しているが、その計算に対して画素の移動軌跡ｘ^ｃｍごとに重み付け等を行って算出してもよいし、画像上でのクラスタの重心に対応する画素の移動軌跡を代表の移動軌跡として算出してもよい。

ここで、Ｃ_ｍは、領域θ_ｍに属する画素数もしくは画素の移動軌跡の数である。

図１６は、本変形例における移動体検出装置による動き予測を説明するための図である。つまり、図１６は、式２６に基づいてクラスタ領域θ_ｍごとに代表の移動軌跡を求める一例を示す図である。図中の「×」は、それぞれ時刻ｔに対応する代表の移動軌跡

の画素位置を示している。このような算出方法によれば、上述したように非線形空間上でのクラスタリングによる領域分割が、画素動きの類似度を考慮して行われるため、動き予測部１５０は、単純に近接した画素の移動軌跡の時間平均を求めるような方法と比較して、動きが類似した画素の移動軌跡のみを用いて代表の移動軌跡を算出できるため、より高精度に代表の移動軌跡を求めることができる。このように、動き予測部１５０は、クラスタ領域ごとに代表の移動軌跡を求めることによって、領域ごとの動きを正確かつ簡便に表現することができる。

次に、動き予測部１５０は、算出した代表の移動軌跡から、時刻Ｔより先の時刻における移動体の位置を予測する。そのために、動き予測部１５０は、代表の移動軌跡から加速度を算出し、Ｔ＋１以降の移動体の位置を予測する。動き予測部１５０は、３枚以上の時系列画像が入力された場合は、次式２７のように代表の移動軌跡

ごとに加速度ベクトルｓ^ｍを算出する。

ここで、ｕ_ｔ ^ｍは動きベクトルであり、次式のように表すことができる。

動き予測部１５０は、式２７に示される加速度ベクトルｓ^ｍを用いて、図１６において「×」で示されるように、移動体ごとに、時刻Ｔ＋ｔ’における移動体の位置ｐｏｓ_ｍ（Ｔ＋ｔ’）を、以下の式２９のように、予測する。

最後に、出力部１０４は、このように動き予測部１５０が予測した移動体の位置を出力する。これにより、動き予測部１５０は、加速度を加味した動き予測が可能となる。移動体の動きが急激に早くなったり、急激に止まったりといった場合に、動き予測部１５０は、その加速度を反映して移動体の位置を予測することができる。なお、動き予測部１５０は、上記動きベクトルの代わりにアフィンパラメータを用いて動き予測をしてもかまわない。アフィンパラメータは、回転運動を含む動きの表現が可能であり、物体の位置をより正確に予測することができる。

図１７は、別の動画像に対する移動予測の結果の一例を示す図である。つまり、図１７は、人物が１人含まれる動画像において、クラスタ数が９である場合に、式２６に基づいてクラスタ領域θ_ｍごとに代表の移動軌跡を求める一例を示す図である。ただし、図１７において、見やすさを考慮して、頭部に対応するクラスタ領域θ_１と脚部に対応するクラスタ領域θ_８に関する代表の移動軌跡のみを示している。また、背景は図示していない。図中の「×」は、それぞれ時刻ｔに対応する代表の移動軌跡

の要素であり画素位置を示している。

以上のようにして、本実施の形態及びその変形例に係る移動体検出装置及び方法では、画素間の距離あるいは移動軌跡の類似度に基づいてクラスタリングを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域分割をすることができる。また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域分割の失敗がない。以上のように、膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって、形状が変化しながら移動する人物等を含む画像に対しても正しく領域分割し、これによって画像中の移動体の検出を行うことが可能となる。

また、上記実施の形態における移動体検出装置１００は、画像入力部１０１及び動き解析部１０２を備えたが、本発明は、これらの構成要素を必須とするものではない。つまり、動画像を構成する複数のブロックのそれぞれにおける画像の移動軌跡が予め算出されている場合には、移動体検出装置１００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、図３のステップＳ２０３〜Ｓ２０７の処理を実行してもよい。

また、本発明は、移動体検出装置として実現されたが、領域分割部１０７の機能を持つものであれば、動画像において動きをもつオブジェクトの領域を抽出、あるいは、分割する画像処理装置として実現することができるのは言うまでもない。

本発明は、複数枚のピクチャにおける動きに基づいて、形状が変化しながら移動する人物等の移動体を含む画像を領域抽出することによって画像中の移動体を検出する移動体検出装置として、例えば、運動解析装置、監視装置、ビデオカメラやＴＶ等のＡＶ機器に内蔵させる移動体検出装置等として利用することが可能である。

１００ 移動体検出装置
１０１ 画像入力部
１０２ 動き解析部
１０３ 移動体検出部
１０４ 出力部
１０５ 距離算出部
１０６ 距離補間部
１０７ 領域分割部
１１０ カメラ
１２０ ディスプレイ
１５０ 動き予測部
１００１ カメラ
１００２ コンピュータ
１００３ ディスプレイ
１００４ Ｉ／Ｆ
１００５ ＣＰＵ
１００６ ＲＯＭ
１００７ ＲＡＭ
１００８ ＨＤＤ
１００９ ビデオカード

本発明は、動画像中の移動体の領域を分割することによって移動体を検出する画像処理技術に関し、特に、移動体が人物のように形状が変化しながら移動する対象である場合においても、動画像中の動き情報に基づいて移動体を検出する装置に関する。

従来より、移動体の像（以下、単に「移動体」という。）が含まれる画像から、画像中の移動体の領域を抽出することによって移動体を検出する領域抽出技術の研究開発が広く行われてきている。特に移動体が人である場合にその移動体の領域を抽出する技術は、デジタルビデオカメラもしくはデジタルスチルカメラにおける焦点制御、画質改善処理、自動車の安全運転支援システム、又はロボットにおける人との衝突回避制御もしくは衝突回避のための警報などに、共通して利用される基礎技術である。

画像中の移動体の領域を抽出する技術のうち、一般的な手法として、（１）あらかじめ用意した移動体のモデルと、画像中の候補領域との類似度を評価して移動体の領域を特定する方法と、（２）画像を複数の小領域に分割して特徴量を算出し、特徴量を基準として類似する領域を統合することで移動体の領域を特定する方法の２つの手法がある。

前者の代表的な手法として、画像から移動体領域の候補を抽出したのち、抽出した移動体領域の候補とあらかじめ用意した移動体モデルとの類似度を評価して、類似度が高い領域を移動体領域として抽出する手法がある。さらに、歩行する人物等のように、変形しながら移動する移動体の領域を抽出する場合、変形を考慮した移動体モデルを利用する手法がある。

例えば、特許文献１に記載の手法では、移動体領域候補として複数の画像から移動体のシルエット画像を抽出する。そして、あらかじめパラメータ化した移動体の変形に関するモデルと、抽出したシルエット画像との類似度を評価し、類似度が高い領域とモデルのパラメータとを推定する。これによって、形状が周期的に変化しながら移動する人物に対しても、パラメータ化したモデルを当てはめることができるため、移動体の領域抽出を可能にしている。

後者の代表的な手法としては、画像を複数の小領域に一旦分割し、各小領域の画素の輝度値に基づいた特徴量を抽出したのち、複数の小領域間の特徴量の類似度を評価して、類似度が高い領域を同一の移動体領域として統合する手法がある。

例えば、特許文献２に記載の手法では、画像を矩形の小領域に一旦分割し、小領域の輝度や動きに基づいて特徴量を算出し、特徴量の類似度の順番に基づいて小領域を統合することで、移動体の領域抽出を可能にしている。

特開平８−２１４２８９号公報 特開２００６−０３１１１４号公報

しかしながら、上記従来の領域抽出の技術は、例えば、街頭などで複数の人物等の移動体が行き交うシーンなどのように、移動体が他の移動体によって部分的に遮蔽される場合、あるいは移動体の大きさが著しく異なる場合などに、正しく移動体を抽出することができないという問題がある。

特許文献１に記載の手法に代表される、あらかじめ用意したモデルを用いる従来の領域抽出手法では、画像から移動体領域の候補を抽出する必要がある。この時、適切に移動体領域の候補を抽出できなければ、移動体をパラメータ化したモデルを正確に移動体領域候補に当てはめることが不可能になる。特に、上述のようなシーンにおいては、移動体の大きさあるいは形が大きく変化するため、移動体領域候補を適切に抽出することは困難である。

さらに、移動体領域の候補を適切に抽出できたとしても以下のような課題がある。特に人物等の多関節物体が移動体である場合、移動体のさまざまな姿勢あるいは大きさに起因する画像の変化の幅が非常に大きいため、移動体モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。このことは、モデルの当てはめ誤りを誘発する。そのため、例えば、複数の移動体を１つの移動体として誤って領域抽出したり、抽出対象となる移動体が存在しない領域を移動体として誤って領域抽出したりするなど、正しく移動体を検出することができないという課題があった。

特許文献２に記載の手法に代表される、小領域間の特徴量を用いる従来の領域抽出手法では、特徴量として用いる輝度値あるいは動きが類似していない小領域は、異なる領域として分離される。そのため、人物のように、場所によって輝度値が異なり、かつ、場所によって動きが異なる移動体は、同一移動体の上の２つの小領域を異なる移動体の領域として抽出されてしまい、正しく移動体を検出することができないという課題があった。

そこで本発明は、上記従来の課題を解決するためになされたものであり、動画像中における移動体の形状の変化、大きさの変化、又は遮蔽などの影響を受けずに、移動体の領域を高精度に抽出することができる移動体検出方法等を提供することを目的とする。

本発明の一実施形態は、動画像中の移動体の全部又は一部の領域を分割することによって動画像中の移動体を検出する移動体検出方法であって、動画像に含まれる２枚以上のピクチャにわたる対応点である複数の移動軌跡から、ＴＬ枚（ＴＬ＞＝３）のピクチャにわたる移動軌跡である長時間移動軌跡をＮＬ個（ＮＬ＞＝２）と、前記ＴＬ枚のピクチャに含まれるＴＳ枚（ＴＬ＞ＴＳ＞＝２）のピクチャにわたる移動軌跡である短時間移動軌跡をＮＳ個（ＮＳ＞ＮＬ）とを抽出し、ＮＬ個の長時間移動軌跡間の測地距離と、ＮＳ個の短時間移動軌跡間の測地距離とをそれぞれについて算出する距離算出ステップと、前記距離算出ステップで算出された、長時間移動軌跡間の測地距離及び短時間移動軌跡間の測地距離に基づいて、ＴＬ枚のピクチャにわたるＮＳ個の移動軌跡間の測地距離を近似測地距離として算出する距離補間ステップと、前記距離補間ステップで算出された近似測地距離に基づいて、移動軌跡の集まりを１つの領域として分割することによって、領域分割をする領域分割ステップとを含む移動体検出方法としたものである。

上記の構成によって、長時間の移動軌跡間の近似測地距離に含まれる移動軌跡の動きの違いの情報に基づいて領域分割することで、形状の変化の影響を受けることなく、高精度にその領域を抽出することができる。つまり、長時間移動軌跡間の測地距離と短時間移動距離間の測地距離とから算出される近似測地距離に基づいて領域分割をすることができるので、動画像中における移動体の形状の変化、大きさの変化、又は遮蔽などの影響を受けずに、移動体の領域を高精度に抽出することが可能となる。

ここで、近似測地距離の算出方法としては、前記距離補間ステップでは、前記短時間移動軌跡間の測地距離に基づいて、短時間移動軌跡の集まりである部分短時間移動軌跡を抽出し、抽出した部分短時間移動軌跡に基づいて、前記近似測地距離を算出するとしてもよい。

上記の構成によって、複数の短時間移動軌跡の中に動きの異なる複数の移動体上の短時間移動軌跡が含まれる場合であっても、類似する短時間移動軌跡のみに基づいて近似測地距離を算出することができるため、移動体の領域を高精度に抽出することが可能となる。

ここで、近似測地距離の算出方法としては、前記距離補間ステップでは、前記短時間移動軌跡間の測地距離に基づいて前記長時間移動軌跡間の測地距離の線形補間を行うことによって、前記近似測地距離を算出するとしてもよい。

上記の構成によって、短時間移動軌跡間の測地距離の関係を保った近似測地距離を算出することができ、この近似測地距離に基づいて領域分割することで、移動体をより正しく領域抽出することができる。

ここで、近似測地距離の算出方法としては、前記距離補間ステップでは、短時間移動軌跡間の測地距離が小さいほど重みが大きくなるように重み付きの前記線形補間を行うことによって、前記近似測地距離を算出するとしてもよい。

上記の構成によって、短時間移動軌跡間の局所的な測地距離の関係を保った近似測地距離を算出することができ、この近似測地距離に基づいて領域分割することで、移動体をより高精度に領域抽出することができる。

また、本発明のより好ましい形態は、さらに、前記画像入力ステップで受け付けた動画像に、前記領域分割ステップで分割された領域ごとに異なる表示態様となるように画像処理を施し、画像処理後の動画像を出力する出力ステップを含むとしたものである。

上記の構成によって、特定された領域ごとに異なる表示態様で画像処理が施されるので、検出された移動体を容易に確認することができる。

また、本発明のより好ましい形態は、前記出力ステップでは、前記距離補間ステップで算出された近似測地距離と、前記距離算出ステップで抽出されたＮＬ個の長時間移動軌跡及びＮＳ個の短時間移動軌跡とに基づいて、仮想的な長時間移動軌跡を補完したＮＳ個の近似長時間移動軌跡を算出し、算出した近似長時間移動軌跡を含む動画像を出力するとしたものである。

上記の構成によって、動画像からは算出できなかった長時間の移動軌跡を含む画像を表示することができるので、検出された移動体の移動軌跡を容易に確認することができる。

本発明の一実施形態は、さらに、前記領域分割ステップで分割された領域に含まれる移動軌跡から、当該領域を代表する移動軌跡を算出し、算出した代表の移動軌跡に従って当該領域が移動すると予測することで、前記移動体の動きを予測する動き予測ステップを含むとしたものである。

上記の構成によって、複数の移動軌跡を代表する軌跡を用いて移動体の動きを予測することにより、より精度良く動きを予測することができる。

また、長時間移動軌跡を抽出するときに、前記距離算出ステップでは、抽出される長時間移動軌跡の個数に応じて、前記ＴＬを変化させて長時間移動軌跡を抽出するとしてもよい。

上記の構成によって、複数のピクチャに含まれる移動体の特徴に応じて、長時間移動軌跡のピクチャ数を変更できるので、より多くピクチャ数にわたるより多くの個数の長時間移動軌跡を抽出することが可能となる。すなわち、より多くの情報を含む長時間移動軌跡を用いることができるので、より高精度に領域分割をすることが可能となる。

また、長時間移動軌跡を抽出するときに、前記距離算出ステップでは、抽出される長時間移動軌跡の個数があらかじめ定められた第１の上限値を越える場合に、前記ＴＬを増加させて長時間移動軌跡を抽出するとしてもよい。

上記の構成によって、より多くのピクチャ数にわたる長時間移動軌跡を、適切な個数抽出することができる。

また、長時間移動軌跡を抽出するときに、前記距離算出ステップでは、抽出される長時間移動軌跡の個数があらかじめ定められた第１の下限値を下回る場合に、前記ＴＬを減少させて長時間移動軌跡を抽出するとしてもよい。

上記の構成によって、できる限りの多くのピクチャ数を確保しながら、長時間移動軌跡があらかじめ定められた移動軌跡の数を下回らないようにすることができる。

また、短時間移動軌跡を抽出するときに、前記距離算出ステップでは、抽出される短時間移動軌跡の個数に応じて、前記ＴＳを変化させて短時間移動軌跡を抽出するとしてもよい。

上記の構成によって、複数のピクチャに含まれる移動体の特徴に応じて、短時間移動軌跡のピクチャ数を変更できるので、より多くピクチャ数にわたるより多くの個数の短時間移動軌跡を抽出することが可能となる。すなわち、より多くの情報を含む短時間移動軌跡を用いることができるので、より高精度に領域分割をすることが可能となる。

また、短時間移動軌跡を抽出するときに、前記距離算出ステップでは、抽出された短時間移動軌跡の個数があらかじめ定められた第２の上限値を超える場合に、前記ＴＳを増加させて短時間移動軌跡を抽出するとしてもよい。

上記の構成によって、より多くのピクチャ数にわたる短時間移動軌跡を、適切な個数抽出することができる。

また、短時間移動軌跡を抽出するときに、前記距離算出ステップでは、抽出される短時間移動軌跡の個数があらかじめ定められた第２の下限値を下回る場合に、前記ＴＳを減少させて短時間移動軌跡を抽出するとしてもよい。

上記の構成によって、できる限りの多くのピクチャ数を確保しながら、短時間移動軌跡があらかじめ定められた移動軌跡の数を下回らないようにすることができる。

なお、本発明の移動体検出方法は、コンピュータ上のプログラムによって実現されるだけでなく、上記各ステップをハードウェアによって構成した移動体検出装置、上記各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読み取り可能な記録媒体、動画像において動きをもつオブジェクトの領域を抽出、あるいは、分割する画像処理装置等として実現することもできる。

上記の方法及び装置等により、長時間移動軌跡間の測地距離と短時間移動距離間の測地距離とに基づいて算出される近似測地距離を用いて領域分割をすることができるので、動画像中における移動体の形状の変化、大きさの変化、又は遮蔽などの影響を受けずに、移動体の領域を高精度に抽出することが可能となる。

図１は、本発明の実施の形態における移動体検出装置の構成を示す図である。 図２は、コンピュータによって構成された移動体検出装置のハードウェア構成を示す図である。 図３は、移動体検出装置の動作の手順を示すフローチャートである。 図４は、撮影状況の一例を示す図である。 図５は、動画像に含まれる複数枚のピクチャの一例を示す図である。 図６は、移動軌跡の一例を示す図である。 図７は、移動軌跡とピクチャ数との関係の一例を示す図である。 図８Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。 図８Ｂは、複数の移動軌跡のデータの分布を示す図である。 図８Ｃは、複数の移動軌跡のデータの分布を示す図である。 図９Ａは、測地距離の特徴を説明するための概念図である。 図９Ｂは、測地距離の特徴を説明するための概念図である。 図１０Ａは、近似測地距離を用いたクラスタリングの一例を説明するための図である。 図１０Ｂは、近似測地距離を用いたクラスタリングの一例を説明するための図である。 図１０Ｃは、近似測地距離を用いたクラスタリングの一例を説明するための図である。 図１１Ａは、出力部が生成した画像の一例を示す図である。 図１１Ｂは、出力部が生成した画像の一例を示す図である。 図１２は、理想的な移動軌跡の分布を示す概念図である。 図１３は、本発明の実施の形態における移動体検出装置による効果を説明するための図である。 図１４Ａは、長時間移動軌跡を算出するためのピクチャと短時間移動軌跡を算出するためのピクチャとの関係の別の一例を示す図である。 図１４Ｂは、長時間移動軌跡を算出するためのピクチャと短時間移動軌跡を算出するためのピクチャとの関係の別の一例を示す図である。 図１５Ａは、本発明の実施の形態の変形例における移動体検出装置の構成を示す図である。 図１５Ｂは、本発明の実施の形態の変形例における移動検出装置の動作を表すフローチャートである。 図１６は、本発明の実施の形態の変形例における移動体検出装置による動き予測を説明するための図である。 図１７は、移動予測の結果の一例を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。

図１は、実施の形態における移動体検出装置１００の構成を示す図である。図１に示されるように、移動体検出装置１００は、画像入力部１０１、動き解析部１０２、移動体検出部１０３、及び出力部１０４を備える。さらに移動体検出部１０３は、距離算出部１０５、距離補間部１０６、領域分割部１０７を備える。移動体検出装置１００は、複数枚のピクチャを含む動画像中の移動体の全部又は一部の領域を特定する領域分割をすることによって動画像中の移動体を検出する装置である。本実施の形態では、移動体検出装置１００は、カメラ１１０で撮影した動画像を取得し、取得した動画像中の移動体を検出し、検出結果に基づいて画像を生成して出力する。ディスプレイ１２０は、移動体検出装置１００から出力される画像を表示する。

画像入力部１０１は、動画像を構成する複数枚のピクチャの入力を受け付ける処理部であり、例えば、カメラ、あるいは、カメラと接続された通信インターフェース等である。

動き解析部１０２は、画像入力部１０１によって受け付けられた複数枚のピクチャに含まれる２枚以上のピクチャにわたる対応点である移動軌跡を算出する処理部である。具体的には、動き解析部１０２は、画像入力部１０１で受け付けた複数のピクチャについて、連続する２枚のピクチャ間の対応点を検出することにより、複数枚のピクチャにわたる対応点である複数の移動軌跡を算出し出力する。ここで、動き解析部１０２は、ピクチャの１画素ごとに対応点を検出する、又は、ピクチャ内の隣接する複数の画素（ブロック）ごとに代表する１つの対応点を検出する。

なお、「対応点」とは、複数枚のピクチャにおいて、同一の画像要素を示すと考えられるピクチャ内の位置を示すものである。したがって、移動軌跡は、連続する２枚以上のピクチャにわたる画像要素の動きを示す。

本明細書では、１画素ごとに検出された対応点であるか、複数の画素に１つ検出された対応点であるかを区別して記載しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、及び、あるピクチャのブロックｉに対応する他のピクチャの対応点によって示される移動軌跡を、いずれも画素ｉの移動軌跡と呼ぶ。

移動体検出部１０３は、動き解析部１０２によって検出された複数の移動軌跡に基づいて、類似する移動軌跡の集まりを１つの領域として特定することで、移動軌跡のクラスタリングを行う処理部である。移動体検出部１０３は、距離算出部１０５、距離補間部１０６、及び領域分割部１０７を備える。

距離算出部１０５は、動画像を構成する複数枚のピクチャにわたる対応点である移動軌跡を複数取得し、取得した移動軌跡間の類似度を表す距離を算出する処理部である。

本実施の形態では、距離算出部１０５は、動き解析部１０２によって算出された複数の移動軌跡から、ＴＬ枚（ＴＬ＞＝３）のピクチャにわたるＮＬ個の長時間移動軌跡と、ＴＳ枚（ＴＬ＞ＴＳ＞＝２）のピクチャにわたるＮＳ個の短時間移動軌跡とを抽出する。このときＴＳ枚のピクチャは、ＴＬ枚のピクチャに含まれるものとする。また、ＮＬ個の長時間移動軌跡に含まれるＴＳ枚のピクチャにわたる対応点は、ＮＳ個の短時間移動軌跡にも含まれているものとする。

さらに、距離算出部１０５は、抽出したＮＬ個の長時間移動軌跡と、ＮＳ個の短時間移動軌跡に対して、それぞれ２つの移動軌跡間の類似度をあらわす距離を算出して出力する。

本明細書において「距離」は、２次元画像空間における２点間の距離だけでなく、後述するように、多次元のデータ間の算術的な距離を含む。なお、一般的に距離と類似度は相反する関係がある。すなわち、２つのデータ間の距離が小さい場合、類似度が高く、逆に２つのデータ間の距離が大きい場合、類似度が低い。

距離補間部１０６は、距離算出部１０５で算出された、ＮＬ個の長時間移動軌跡間の距離と、ＮＳ個の短時間移動軌跡間の距離とから、ＮＬ個の長時間移動軌跡間の距離に基づいたＮＳ個の移動軌跡間の距離である近似距離を算出して出力する処理部である。

領域分割部１０７は、距離補間部１０６で算出された近似距離に基づいて、類似する移動軌跡の集まりを１つの領域として特定することで、領域分割をする処理部である。

出力部１０４は、移動体検出部１０３で動画像中の移動体の検出結果もしくは、画像の領域分割結果を出力する。具体的には、出力部１０４は、画像入力部１０１で受け付けた動画像に対して、例えば、移動体検出部１０３で特定された領域ごとに異なる表示態様となるように、画像処理を施し、ディスプレイ装置等に出力する。

本明細書において、「領域分割」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物が何であるかの区別なく画像中の領域を分割する領域分割技術との、両者を含んでいる。検出技術と領域分割技術とは共通する部分が多いため、本明細書においては両者を区別しない。

また、本明細書において、「移動体検出」とは、基準となる座標系に対して移動している物体が存在する画像領域のみを特定する検出技術と、相対的に異なる移動をしている物体ごとに画像中の領域を分割する領域分割技術の両者を含んでいる。

なお、移動体検出装置１００を構成する各構成要素（画像入力部１０１、動き解析部１０２、移動体検出部１０３、出力部１０４）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路等のハードウェアで実現されてもよい。図２は、ソフトウェアによって実現された本実施の形態における移動体検出装置のハードウェア構成を示す図である。

カメラ１００１は、動画像を撮影して、撮影した動画像をコンピュータ１００２に出力する。コンピュータ１００２は、カメラ１００１から出力された動画像を取得して領域分割処理を行う。そして、コンピュータ１００２は、領域分割処理の結果を表示するための画像を生成する。ディスプレイ１００３は、コンピュータ１００２によって生成された画像を取得して表示する。

コンピュータ１００２は、Ｉ／Ｆ（インターフェース）１００４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００５、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００６、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００７、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１００８、及びビデオカード１００９を備える。コンピュータ１００２を動作させるプログラムは、ＲＯＭ１００６又はＨＤＤ１００８にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ１００５によって、ＲＯＭ１００６又はＨＤＤ１００８からＲＡＭ１００７に読み出されて展開される。ＣＰＵ１００５はＲＡＭ１００７に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ１００４は、プログラムの実行に応じて、カメラ１００１で撮影された画像を、ＲＡＭ１００７へ取り込む。ビデオカード１００９は、プログラムの実行に応じて生成された画像を出力し、ディスプレイ１００３で表示される。

なお、プログラムは、半導体であるＲＯＭ１００６又はＨＤＤ１００８に限られず、たとえば光ディスクに格納されていてもよい。また、プログラムは、有線ネットワーク、無線ネットワーク、又は放送などを介して伝送され、コンピュータのＲＡＭ１００７に取り込まれてもよい。

以下、本実施の形態の移動体検出装置１００の動作を、図３を用いて説明する。

図３は、本実施の形態の移動体検出装置１００の動作を表すフローチャートである。

図３において、７つのステップＳ２０１〜Ｓ２０７は、それぞれ図１の各処理部１０１〜１０７に対応している。すわなち、画像入力部１０１は画像入力ステップＳ２０１の処理を実行し、動き解析部１０２は動き解析ステップＳ２０２の処理を実行し、移動体検出部１０３は移動物検出ステップＳ２０３の処理を実行し、出力部１０４は画像出力ステップＳ２０４の処理を実行する。また、移動物検出ステップＳ２０３は、距離算出ステップＳ２０５、距離補間ステップＳ２０６、及び領域分割ステップＳ２０７の３つのサブステップからなる。距離算出部１０５は距離算出ステップＳ２０５の処理を実行し、距離補間部１０６は距離補間ステップＳ２０６の処理を実行し、領域分割部１０７は領域分割ステップＳ２０７の処理を実行する。

まず、画像入力部１０１は、カメラ１００１から、動画像を構成する複数枚のピクチャを取得する（ステップＳ２０１）。続いて、動き解析部１０２は、画像入力部１０１によって取得された複数枚のピクチャに含まれる連続する２枚以上のピクチャにわたる移動軌跡を算出する（ステップＳ２０２）。そして、距離算出部１０５は、動き解析部１０２によって算出された複数の移動軌跡に基づいて、ＴＬ枚のピクチャにわたる長時間移動軌跡をＮＬ個と、ＴＳ枚のピクチャにわたる短時間移動軌跡をＮＳ個とを抽出する。さらに、距離算出部１０５は、抽出した長時間移動軌跡間の測地距離及び短時間移動軌跡間の測地距離を算出する（ステップＳ２０５）。続いて、距離補間部１０６は、距離算出部１０５によって算出された長時間移動軌跡間の測地距離と、短時間移動軌跡間の測地距離とに基づいて、ＴＬ枚のピクチャにわたるＮＳ個の移動軌跡間の近似測地距離を算出する（ステップＳ２０６）。次に、領域分割部１０７は、距離補間部１０６によって算出された近似測地距離に基づいて、類似する移動軌跡の集まりを１つの領域として検出することで、領域分割を行う（ステップＳ２０７）。最後に、出力部１０４は、領域分割部１０７によって分割された領域に基づいて画像を生成して、ディスプレイ１００３に表示する（ステップＳ２０４）。

以下に、図３に示した各ステップの詳細について説明する。

まず、画像入力部１０１により実行される画像入力ステップＳ２０１の詳細について説明する。画像入力部１０１は、カメラ１００１から、動画像を構成する複数のピクチャを取得する。本実施の形態では、カメラ１００１から取得される動画像は３０フレーム／秒の動画像であるとする。

図４は、カメラ１１０によって撮影される対象物の状況である撮影状況の一例を示す図である。また、図５は、カメラ１１０によって、図４の撮影状況において撮影された動画像に含まれる複数枚のピクチャの一例を示す図である。画像入力部１０１は、第１フレームから第ＴＬフレームまでのＴＬ枚（ＴＬ＞＝３）のピクチャをカメラ１１０から受け付ける。本実施の形態では、ピクチャの数ＴＬは、あらかじめ定められており、３０フレーム（ＴＬ＝３０）とする。

次に、動き解析部１０２により実行される動き解析ステップＳ２０２の詳細について説明する。動き解析部１０２は、画像入力部１０１から複数枚のピクチャを取得し、取得した複数枚のピクチャについて、２枚のピクチャ間の対応点を検出することにより、連続する２枚以上のピクチャにわたる移動軌跡を算出して出力する。

具体的には、動き解析部１０２は、第１フレームのピクチャ上の全ての画素（Ｉ個）を基準として、第２フレームから第ＴＬフレームまでの（ＴＬ−１）枚のピクチャ上の対応する画素を検出する。また、動き解析部１０２は、連続する２枚のピクチャ間の対応点をＴＬ枚のピクチャについて検出し、検出した対応点を第１フレームから連続する２枚以上のピクチャにわたって連結することにより、第１フレームのピクチャ上の画素に対応する他のピクチャ上の画素を検出しても良い。なお、複数枚のピクチャにわたる対応点を検出するさらに具体的な手法は、非特許文献１もしくは非特許文献２などに詳しく記載されているため、ここでは詳細な説明を省略する。
Ｐ．Ａｎａｎｄａｎ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．２８３−３１０，１９８９ Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ ａｎｄ Ｒａｍｉｎ Ｚａｂｉｈ， "Ｃｏｍｐｕｔｉｎｇ Ｖｉｓｕａｌ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｗｉｔｈ Ｏｃｃｌｕｓｉｏｎｓ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１

そして、動き解析部１０２は、ＴＬ枚のピクチャにおいて対応点を検出した結果のうち、ＴＳ枚（ＴＬ＞ＴＳ＞＝２）以上のピクチャにわたって検出された対応点を抽出することにより、移動軌跡を算出する。本実施の形態において、ピクチャ数ＴＳはあらかじめ定められており、ここでは１０フレーム（ＴＳ＝１０）とする。

画素ｉの移動軌跡ｘ^ｉは、第１フレームのピクチャ上のある画素ｉの座標値（ｘ_１ ^ｉ，ｙ_１ ^ｉ）と、対応点の画素座標値（ｘ_ｔ ^ｉ，ｙ_ｔ ^ｉ）とを用いて、下記式１のように示される。

ここで式１の移動軌跡ｘ^ｉは、第１フレームから第ＴＬフレームまでのＴＬ枚のピクチャ全てにわたる対応点の画素座標を含む場合のほかに、第（ＴＳ＋１）フレームから第ＴＬフレームの対応点の画素座標が存在しない移動軌跡も含まれることとなる。

なお、動き解析部１０２は、ピクチャの全ての画素ごとに対応点を検出する代わりに、ピクチャ内の隣接する複数の画素（ブロック）ごとに対応点を検出してもよい。

次に、距離算出部１０５によって実行される距離算出ステップＳ２０５の詳細について説明する。距離算出部１０５は、動き解析部１０２で算出した複数の移動軌跡Ｘに基づいて、ＴＬ枚のピクチャにわたる長時間移動軌跡ＸＬと、ＴＳ枚のピクチャにわたる短時間移動軌跡ＸＳとをそれぞれ抽出して、移動軌跡間の距離を算出する（ステップＳ２０５）。

本実施の形態において、長時間移動軌跡ＸＬは、第１フレームから第ＴＬフレームまでの連続するＴＬ枚のピクチャにわたる対応点である。また、短時間移動軌跡ＸＳは、第１フレームから第ＴＳフレームまでの連続するＴＳ枚のピクチャにわたる対応点である。また、以降の説明では、動き解析部１０２で算出されたＮＳ個の移動軌跡から、長時間移動軌跡はＮＬ個、短時間移動軌跡はＮＳ個、それぞれ抽出された場合について説明する。

図６は、移動軌跡の一例を示す図である。動き解析部１０２に入力された動画像は、ＴＬ枚のピクチャ６０１で構成されている。このとき移動軌跡ｘ^ｉ６０３ａは、第１フレームの所定の画素ｉ６０２ａに対応する、第２フレームから第ＴＬフレームまでのピクチャ上の対応点の集まりであり、各ピクチャの画像座標値の集まりからなるベクトルで表される。また、移動軌跡には、図６の画素ｋ６０２ｂの移動軌跡ｘ^ｋ６０３ｂのように、第（ＴＳ＋１）フレーム以降に対応点がピクチャ上に存在しない移動軌跡も含まれる。

図７は、移動軌跡とピクチャ数との関係の一例を示す図である。図７の棒グラフにおいて、横軸はピクチャを示し、縦軸は移動軌跡を示す。各棒として示される移動軌跡は、当該棒の左端に対応するピクチャにおいて発生した対応点が当該棒の右端に対応するピクチャの次のピクチャにおいて消滅したことを示す。

図７に示されるように、複数のピクチャにわたって検出される移動軌跡の数は、ピクチャの枚数が増えるほど少なくなる。これは、ピクチャの枚数が増えるほど、被写体の出現、消失、又は一時的な遮蔽などによって、あるピクチャ上の対応点が別のピクチャには存在しない場合が増えるためである。具体的には、図４〜図６における人の脚もしくは腕、手前の人物に遮蔽される背景、又は他の人物上の対応点などが、別のピクチャにおいて存在しない場合が増える。また、ピクチャの枚数が増えるほど移動軌跡の数が少なくなる別の原因として、被写体の変形あるいは照明の変化などに起因して、動き解析部１０２において対応点を検出できない場合が増えるためである。上記のような理由により、長時間移動軌跡の数ＮＬは、短時間移動軌跡の数ＮＳ以下となる。

次に、距離算出部１０５は、抽出したＮＬ個の長時間移動軌跡及びＮＳ個の短時間移動軌跡のそれぞれについて、２つの移動軌跡間の類似度を表す距離を算出する。

以下、距離算出部１０５において、ＮＬ個の長時間移動軌跡、及び、ＮＳ個の短時間移動軌跡のそれぞれについて、移動軌跡間の類似度を表す距離を算出する方法を詳細に説明する。

距離算出部１０５は、下記式２により、画素ｉの長時間移動軌跡と画素ｊの長時間移動軌跡との線形距離ｆ_Ｌ（ｉ，ｊ）を算出する。また、距離算出部１０５は、下記式３により、画素ｉの短時間移動軌跡と画素ｊの短時間移動軌跡との線形距離ｆ_Ｓ（ｉ，ｊ）を算出する。

ここで式２によって算出される線形距離ｆ_Ｌ（ｉ，ｊ）は、表記の都合上、全ての移動軌跡間について定義されているが、線形距離として有限な値となるのは、ＮＬ個の長時間移動軌跡ＸＬの間でのみとなる。画素ｉの移動軌跡もしくは画素ｊの移動軌跡が長時間移動軌跡ＸＬに属さない場合、線形距離ｆ_Ｌ（ｉ，ｊ）は∞（無限大）となる。

なお、本実施の形態において、線形距離は、式２及び式３によって算出されるが、これらの式に限定されるものではない。線形距離は、式２及び式３と同様に、移動軌跡間の画像座標における位置、動き、加速度、回転速度などのような、幾何的な類似度を表す指標であればよく、例えば、下記の式４及び式５を用いて算出されてもよい。

式４及び式５において、ｗは重み係数であり、設計者が設定するパラメータである。上記式４及び式５の移動軌跡間の距離ｆ_Ｌ（ｉ，ｊ）及びｆ_Ｓ（ｉ，ｊ）は、移動軌跡間の画像座標の距離の時間平均に、画像座標の距離の時間変動成分を加えたものである。特に移動軌跡間距離の時間変動成分は、移動軌跡の動きの類似度を示すものであり、これによって、画素間のなす距離の関係が時間的に変化しない剛体だけでなく、関節物体等の形状変化を捉えることができる。

式２及び式３によって算出された移動軌跡間の線形距離ｆ_Ｌ（ｉ，ｊ）及びｆ_Ｓ（ｉ，ｊ）の集まりを、下記式６に示すように、それぞれ線形距離マトリクスＦ_Ｌ及びＦ_Ｓとして表す。

なお、本実施の形態において、後述する測地距離ｇおよび非線形化された距離ｆ’と区別するために、式２〜式５によって算出される距離を線形距離と呼ぶが、線形距離の定義式を線形演算に限定するものではなく、線形距離の定義式に非線形の演算が含まれていても良い。

続いて、距離算出部１０５は、移動軌跡間の線形距離ｆ_Ｌ（ｉ，ｊ）及びｆ_Ｓ（ｉ，ｊ）から移動軌跡間の測地距離ｇ_Ｌ（ｉ，ｊ）及びｇ_Ｓ（ｉ，ｊ）を算出する。

以降、距離算出部１０５が、線形距離ｆ_Ｌ（ｉ，ｊ）から測地距離ｇ_Ｌ（ｉ，ｊ）を算出する処理を詳しく説明する。

まず、距離算出部１０５は、算出した線形距離ｆ_Ｌ（ｉ，ｊ）に対してあらかじめ定められた閾値Ｒ_Ｌを用いて、下記式７に示すように非線形化された距離ｆ_Ｌ’（ｉ，ｊ）を算出する。

次に、距離算出部１０５は、非線形化された距離ｆ_Ｌ’（ｉ，ｊ）から、測地距離ｇ_Ｌ（ｉ，ｊ）を算出する。ここで測地距離とは、複数の点を結ぶノードの距離（長さ）が得られているときに、ある２点間を結び得る全ての経路の距離のうちの最短の距離である。すなわち、本実施の形態において測地距離とは、２個の移動軌跡間の類似度を表す距離であって、他の移動軌跡を中継点として一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離のうち最短の距離である。

よって、距離算出部１０５は、第ｉの移動軌跡から第ｊの移動軌跡までの測地距離の算出においては、他の複数の移動軌跡のいずれかを中継点として第ｉの移動軌跡から第ｊの移動軌跡にたどりつく全ての経路のうちの最短の経路の距離を、測地距離として算出する。

例えば、移動軌跡ｉと移動軌跡ｊの２点間を直接結ぶノードの距離ｆ_Ｌ’（ｉ，ｊ）が得られている場合、移動軌跡ｉと移動軌跡ｊとの２点間を結ぶ経路は、２点を直接結ぶ経路以外に、別の移動軌跡ｓを中継する経路もある。移動軌跡ｓを中継する経路の距離は、ｆ_Ｌ’（ｉ，ｓ）＋ｆ_Ｌ’（ｓ，ｊ）となる。このような移動軌跡ｉと移動軌跡ｊとの２点間を結ぶ経路は複数ある。距離算出部１０５は、下記式８に示すように、それらの複数の経路の距離のうち、最も短い距離を測地距離ｇ_Ｌ（ｉ，ｊ）として算出する。

式８において、ｍｉｎ（ｘ，ｙ，…）は、値ｘ、値ｙなどの値のうち最も小さい値を返す関数である。また、移動軌跡ｓは、移動軌跡ｉから移動軌跡ｊにたどりつくための中継点である。ここで、中継点としての移動軌跡ｓは１個に限るものではない。すなわち、移動軌跡ｉから移動軌跡ｊまでの経路には、２個以上の移動軌跡を中継点とする経路も含まれる。

上述した測地距離の算出における２点間の最短経路を探索する手法の詳細は、例えば非特許文献３のダイクストラ法が広く知られているため、ここでは処理手順の詳細説明を省略する。
Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，"Ａ ｎｏｔｅ ｏｎ ｔｗｏ ｐｒｏｂｌｅｍｓ ｉｎ ｃｏｎｎｅｘｉｏｎ ｗｉｔｈ ｇｒａｐｈｓ"，Ｎｕｍｅｒｉｓｃｈｅ Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９−２７１，１９５９

非特許文献３に記載の手順等により、距離算出部１０５は、長時間移動軌跡間の線形距離ｆ_Ｌ（ｉ，ｊ）から測地距離ｇ_Ｌ（ｉ，ｊ）を算出する。さらに距離算出部１０５は、上記と同様の手順によって、あらかじめ定められた閾値Ｒ_Ｓを用いて、短時間移動軌跡間の線形距離ｆ_Ｓ（ｉ，ｊ）から測地距離ｇ_Ｓ（ｉ，ｊ）を算出する。算出した移動軌跡間の測地距離ｇ_Ｌ（ｉ，ｊ）及びｇ_Ｓ（ｉ，ｊ）の集まりを、下記式９に示すように、測地距離マトリクスＧ_Ｌ及びＧ_Ｓと表す。

以上の手順によって、距離算出部１０５は、ＮＬ個の長時間移動軌跡間の類似度を表す測地距離ｇ_Ｌ（ｉ，ｊ）、及び、ＮＳ個の短時間移動軌跡間の類似度を表す測地距離ｇ_Ｓ（ｉ，ｊ）を算出する。そして、距離算出部１０５は、算出した測地距離ｇ_Ｌ（ｉ，ｊ）及びｇ_Ｓ（ｉ，ｊ）を、測地距離マトリクスＧ_Ｌ及びＧ_Ｓとして出力する。

なお、上記式などから明らかなように本実施の形態では、測地距離は、同一の次元の移動軌跡間において算出される。つまり、距離算出部１０５は、同じ枚数のピクチャにわたる移動軌跡間において測地距離を算出する。

上述した複数の移動軌跡間の線形距離から測地距離を算出する処理について、図８Ａ〜図８Ｃの概念図を用いて説明する。

図８Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。移動軌跡は、背景領域においても算出されるが、表記を容易にするため、以降において、背景領域の移動軌跡は図示しないものとする。図８Ｂ及び図８Ｃは、上記式１によって表される複数の移動軌跡のデータの分布を示す図である。

図８Ｂ中の「×」印によって示された各データ点は、式１で示した画素ｉの移動軌跡ｘ^ｉに相当する。なお、移動軌跡ｘ^ｉは、独立した（ＴＬ×２）個の変数からなるベクトルである。したがって、移動軌跡ｘ^ｉは、本来は最大で（ＴＬ×２）次元空間のデータであるが、図８Ｂでは表記の都合上、３次元空間の点として表す。

図８Ｂに示す矢印は、上記式２及び式３で得られる、移動軌跡ｉと移動軌跡ｊとの線形距離ｆ（ｉ，ｊ）を表す。データ点ｉとデータ点ｊとの線形距離は、データ間を直接結んだ距離になる。一方、図８Ｃに示す矢印は、式７及び式８で得られる移動軌跡ｉと移動軌跡ｊの測地距離ｇ（ｉ，ｊ）を表す。図８Ｃに示すように、データ点ｉとデータ点ｊとの測地距離は、図中の矢印のように中継のデータ点ｓをたどった距離となる。

次に、線形距離ｆ（ｉ，ｊ）と、式７及び式８により算出された測地距離ｇ（ｉ，ｊ）の特徴を、図９Ａ及び図９Ｂの概念図を用いて説明する。

図９Ａ及び図９Ｂは、測地距離の特徴を説明するための概念図である。例えば、頭部の移動軌跡ｉと手先部の移動軌跡ｊとの線形距離は、図９Ａに示すように、他の移動軌跡とは無関係な２つの移動軌跡間の距離となる。一方、頭部の移動軌跡ｉと手先部の移動軌跡ｊとの測地距離は、図９Ｂに示されるように、近傍の複数の移動軌跡を通って移動軌跡ｊにたどり着くまでの矢印で示したような距離の和となる。言い換えると、図９Ａに示される線形距離は、他の移動軌跡の分布をまったく反映していないため、人物のような関節で繋がった形状に沿った移動軌跡間の距離を表現できない。これに対して、図９Ｂに示される測地距離は、他の移動軌跡を反映した距離となっているため、関節が繋がった形状に沿った移動軌跡間の距離を表現することが可能となる。

前述したように、式１によって表される移動軌跡ｘ^ｉは、数学的には最大で（ＴＬ×２）次元空間のデータである。しかし、実際に画像から検出される移動軌跡は、図８Ｂ及び図８Ｃのように（ＴＬ×２）空間のごく一部の領域に局在化する性質をもつことが、発明者の実験によっても確認されている。このような性質をもつ移動軌跡に対して、データの分布とは無関係である２データ間の距離のみの線形距離（図８Ｂの矢印）よりも、近傍のデータの分布を反映した測地距離（図８Ｃの矢印）の方が、移動軌跡間の類似度を表す距離の尺度として適していると言える。

なお、距離算出部１０５が、線形距離から測地距離を求める手法として、式７及び式８を用いる手法を示したが、測地距離を求める手法を限定するものではない。例えば、距離算出部１０５は、線形距離から非線形化距離を求めるときに、閾値Ｒ以上の線形距離を無限大に置き換える代わりに、移動軌跡ｉとの距離が小さいほうからｋ番目より大きい移動軌跡との距離を無限大で置き換えることによって、非線形化距離を算出してもよい。

次に、距離補間部１０６により実行される距離補間ステップＳ２０６の詳細について説明する。距離補間部１０６は、距離算出部１０５によって算出されたＮＬ個の長時間移動軌跡間の測地距離と、ＮＳ個の短時間移動軌跡間の測地距離とに基づいて、移動軌跡間の近似測地距離を算出して出力する。

以降、距離補間部１０６において、長時間移動軌跡間の測地距離ｇ_Ｌ（ｉ，ｊ）と短時間移動軌跡間の測地距離ｇ_Ｓ（ｉ，ｊ）とを用いて、近似測地距離ｇ（ｉ，ｊ）を算出する手順を詳しく説明する。

距離補間部１０６は、ＮＬ個の長時間移動軌跡の測地距離ｇ_Ｌ（ｉ，ｊ）とＮＳ個の短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）とを用いて、下記式１０によって補間長時間測地距離ｇ_Ｌ’（ｉ，ｊ）を求める。

次に、距離補間部１０６は、前述した式８の最短経路算出と同様に下記式１１に示すように、補間長時間測地距離ｇ_Ｌ’（ｉ，ｊ）に対して、ある２点間を結び得る全ての経路の距離のうちの最短距離を計算し、計算結果を近似測地距離ｇ（ｉ，ｊ）として出力する。

ここで近似測地距離ｇ（ｉ，ｊ）は、短時間移動軌跡と同じ数のＮＳ個の移動軌跡間について算出できる。この近似測地距離ｇ（ｉ，ｊ）は、式１０及び式１１のもつ意味から、ＮＬ個の長時間移動軌跡に対して、より数の多いＮＳ個の短時間移動軌跡を用いて移動軌跡を補間して加えることにより補完した、ＮＳ個の仮想的な移動軌跡間の測地距離と解釈することができる。また、別の解釈としては、近似測地距離ｇ（ｉ，ｊ）は、ＴＳフレームにわたる短時間移動軌跡に対して、よりピクチャ数の多いＴＬフレームにわたる長時間移動軌跡を用いてピクチャ数を補外することによって生成した、ＴＳフレームにわたる仮想的な移動軌跡間の測地距離とも解釈することができる。すなわち、近似測地距離ｇ（ｉ，ｊ）は、長時間移動軌跡間の測地距離ｇ_Ｌ（ｉ，ｊ）より多くの移動軌跡の情報を含み、短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）より多くのピクチャの情報を含むこととなる。言い換えると、近似測地距離ｇ（ｉ，ｊ）は、ＴＬフレームにわたるＮＳ個の仮想的な移動軌跡についての、移動軌跡間の近似的な測地距離に相当すると言える。

つまり、距離補間部１０６は、連続するＴＬ枚のピクチャにわたるＮＬ個の長時間移動軌跡間の測地距離と、連続するＴＳ枚のピクチャにわたるＮＳ個の短時間移動軌跡間の測地距離とを用いて、連続するＴＬ枚のピクチャにわたるＮＳ個の移動軌跡間の測地距離を近似測地距離として算出する。言い換えると、距離補間部１０６は、長時間移動軌跡間の測地距離及び短時間移動軌跡間の測地距離の一方を用いて他方を補間又は補外することにより、近似測地距離を算出する。具体的には、式１０及び式１１に示すように、距離補間部１０６は、短時間移動軌跡間の測地距離を用いて長時間移動軌跡間の測地距離の線形補間を行うことによって、近似測地距離を算出する。

次に、領域分割部１０７により実行される領域分割ステップＳ２０７の詳細について説明する。領域分割部１０７は、距離補間部１０６で算出された近似測地距離ｇ（ｉ，ｊ）に基づいて、類似する移動軌跡の集まりを１つの領域として検出することで、領域分割を行う。

本実施の形態において領域分割部１０７は、近似測地距離ｇ（ｉ，ｊ）が張る高次元空間の次元圧縮を行ったのち、次元圧縮された空間においてクラスタリングを行うものとする。

次元圧縮は、Ｙｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行った後、Ｅｉｇｅｎ ｓｙｓｔｅｍを求めることで実現できる。次元圧縮は、多次元空間に分布するデータを低次元空間に効率良く射影するための方法である。

以降、領域分割部１０７が、近似測地距離ｇ（ｉ，ｊ）の次元圧縮を行う手順について示す。

下記式１２に示すように、近似測地距離ｇ（ｉ，ｊ）のＮＳ×ＮＳのマトリクスを近似測地距離マトリクスＧと表す。

領域分割部１０７は、近似測地距離マトリクスＧに対して、中心化行列Ｈを両側からかけるＹｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行う。これは、距離マトリクスが点間距離からなる距離行列であるのに対して、重心を原点とした距離マトリクスに変換するために行うものである。

ここで、Ｈは中心化行列であり、

である。Ｉは単位行列、ＮＳは移動軌跡の数である。

また、

である。

次に、領域分割部１０７は、次元圧縮を行うために、τ（Ｇ）に対するＰ個の固有ベクトル（ｅｉｇｅｎ ｖｅｃｔｏｒ）ｅ_ｐ及びそれに対応する固有値（ｅｉｇｅｎ ｖａｌｕｅ）λ_ｐを算出する。

これにより、（式１１）より、

と表した場合、次元圧縮された空間上にｇ^ｉを射影した結果は、データｚ_ｐ ^ｉとして以下のように表すことができる。

なお、ｅ_ｐ ^ｉは、ｐ番目の固有ベクトルｅ_ｐのｉ番目の要素である。領域分割部１０７は、固有ベクトルの数Ｐを、利用するシーンに応じて実験的に決定しても良いし、以下のように固有値λ_ｐから寄与率ａ_ｐを算出し、それに基づいて決定しても良い。

ここで、Ｐは利用する固有ベクトルの数、すなわち圧縮された空間の次元数である。Ｎは全固有ベクトルの数である。そこで、領域分割部１０７は、寄与率ａ_ｐが一定値以上となる時の数Ｐを固有ベクトルの数と決定すれば良い。

以上のように領域分割部１０７は、式１２から式１７に示される計算処理により、近似測地距離ｇ（ｉ，ｊ）の次元圧縮を行う。これにより領域分割部１０７は、距離補間部１０６によって算出された近似測地距離ｇ^ｉ及び対応する仮想的な移動軌跡を、固有ベクトルｅ_ｐで張られる次元圧縮された空間上のデータｚ_ｐ ^ｉと対応付けることができる。

図１０Ａ〜図１０Ｃは、近似測地距離を用いたクラスタリングの一例を説明するための図である。なお、図１０Ｂ及び図１０Ｃは、人物の歩行画像を入力とした場合の画素ｉの時間的移動軌跡が非線形に次元圧縮された空間に射影された結果を示す図でもある。図１０Ｂ及び図１０Ｃに示すグラフの縦軸、横軸はそれぞれ固有ベクトルｅ_１、ｅ_２である。２次元上に射影された点（ｚ_１ ^ｉ，ｚ_２ ^ｉ）は、近似測地距離ｇ^ｉを射影したものである。ここで、非線形空間上のデータｚ_ｐ ^ｉと画像上での画素ｉの移動軌跡ｘ^ｉとは一対一の対応関係にあるため、点（ｚ_１ ^ｉ，ｚ_２ ^ｉ）は、画素ｉの移動軌跡ｘ^ｉに対応していると捉えることができる。なお、ここでは結果を可視化するために非線形空間の次元数を２次元としたが、前述のように必ずしも２次元である必要は無いし、高い次元数の方がより高い精度でデータを射影することができる。

次に、領域分割部１０７は、図１０Ｂに示したような移動軌跡を次元圧縮したデータｚ_ｐ ^ｉに対してクラスタリングを行うことで、移動軌跡のセグメンテーションと移動体の検出を行う。本実施の形態では、クラス数を所与としてクラス内分散が最小となるように移動軌跡をクラスタリングする手法を用いるものとする。

まず、セグメント領域を次のように表現する。

ここで、Ｍは、セグメント領域数であり利用するシーンに応じて経験的に決定される。それぞれのセグメント領域θ_ｍは、パラメータ

及びパラメータＺ_ｍで表現される。ここで、パラメータ

は、次元圧縮された空間におけるセグメント領域θ_ｍに属するデータの座標値の平均値である。また、パラメータＺ_ｍは、セグメント領域θ_ｍに属するデータの座標値に関する共分散行列である。領域分割部１０７は、パラメータ

の初期値をランダムに決定しても良いし、圧縮された非線形空間中をグリッドで等間隔に分割する等して、そのグリッドの交点の座標値を初期値として決定しても良い。

なお、パラメータ

及びパラメータＺ_ｍは、以下の式２０及び式２１のように表すことができる。

ここで、Ｃ_ｍは圧縮された非線形空間上でセグメント領域θ_ｍに属するデータ数である。

以下、具体的なクラスタリングの方法について説明する。まず、領域分割部１０７は、次式２２の距離関数を用いて、データｚ_ｉが属するセグメント領域θ_ｍを求める。

ここで、ψ_ｍ（ｚ_ｉ）は、画素ｉの移動軌跡に対応するデータｚ_ｉとそれぞれのセグメント領域θ_ｍとの距離を示すものである。各データは、ψ_ｍ（ｚ_ｉ）が最小値をとるセグメント領域θ_ｍに属するものとする。なお、φ_ｍ（ｚ_ｉ）はマハラノビス距離であり、下記式２３によって表される。

ここで、領域分割部１０７は、φ_ｍ（ｚ_ｉ）をψ_ｍ（ｚ_ｉ）の代わりとして用いて計算しても構わない。

さらに、ｐ（ω_ｍ）は、一定値であっても良いし、人物など決まった被写体のセグメンテーションを行う場合は、人物部位の形状や面積比等をもとにあらかじめ設定された値であっても良い。ω_ｍは、セグメント領域θ_ｍに対する重み係数である。

次に、領域分割部１０７は、式２２の計算結果から、セグメント領域θ_ｍに属するデータｚ_ｉを用いて、以下式２４及び式２５のようにセグメント領域θ_ｍのパラメータ

及びパラメータＺ_ｍを更新する。

ここで、ｚ_ｃｍは、セグメント領域θ_ｍに属する圧縮された非線形空間上のデータである。また、ωは、一定値「１」であっても良いし、入力データの平均値からのずれ具合によって調整された値であっても良い。このように、領域分割部１０７は、式２２から式２５の距離計算及びパラメータ更新を規定回数繰り返すことによって、非線形空間上の各データが属するセグメント領域θ_ｍを算出することができる。なお、領域分割部１０７は、上記に加えて、ｋ−ｍｅａｎ、競合学習など、他のクラスタリング方法を用いてセグメント領域を算出しても構わない。

図１０Ｃは、Ｍ＝３として非線形空間上のデータをセグメンテーションした一例を示す図である。圧縮された非線形空間上でのセグメント領域θ_１からθ_２について画像上での対応を見ると、θ_１は手前の人物、θ_２は後方の人物に対応している。なお、実際には背景領域の移動軌跡も含んでおり、背景領域は領域θ_３としてセグメンテーションされるが、図の表記の都合上省略する。

ここで、圧縮された非線形空間上のセグメント領域に対応するのは、１枚の画像上の領域だけではなく時間的に連続した複数枚の画像に渡って画素を追跡した結果である。すなわち、領域分割部１０７は、圧縮された非線形空間上でセグメンテーションを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果として、画像中の移動する被写体ごとに画像領域を抽出することができる。また、移動体検出装置１００は、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因するセグメンテーションの失敗がない。以上のように、移動体検出装置１００は、膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって、形状が変化しながら移動する人物等を含む画像を安定的にセグメンテーションし、これによって画像中の移動体の検出を行うことが可能となる。

最後に、出力部１０４によって実行される出力ステップＳ２０４の詳細について説明する。出力部１０４は、移動軌跡のセグメント領域θ_ｍに基づいて画像を生成して、ディスプレイ１００３に表示する。

本実施の形態において出力部１０４は、画像入力部１０１で受け付けた動画像に対して、移動体検出部１０３で特定された移動軌跡の領域ごとに異なる表示態様となるように、画像処理を施して出力し、ディスプレイ１００３に表示する。ここでは、出力部１０４は、複数の移動軌跡のセグメント領域θ_ｍごとに異なる色を選択し、選択した色でそれぞれ移動軌跡の画像座標位置の画素を描画することで、画像を生成する。

図１１Ａ及び図１１Ｂは、出力部１０４が生成した画像の一例を示す図である。図１１Ａ及び図１１Ｂに示すように、ディスプレイ１００３にはクラスタリングした移動軌跡ごとに異なる色を持つ画像が表示されることとなる。

なお、出力部１０４は、移動軌跡の画像座標位置の画素をセグメント領域に応じた色で描画することにより画像を生成するとしたが、画像を生成する方法をこれに限定されるものではない。出力部１０４は、移動軌跡の数と画像全体の画素数とが同数であれば、上述した方法により画像中の全画素をクラスタに応じた色で描画することができる。一方、移動軌跡の数が画像全体の画素数より少ない場合、どの移動軌跡の画像座標位置とも一致しない画素が存在する。

このような移動軌跡の画像座標位置と一致しない画素については、出力部１０４は、上記の方法とは別の方法で描画しても良い。例えば、出力部１０４は、動き解析部１０２が、ある移動軌跡を生成するための動き検出に用いたブロックに属する画素を、その移動軌跡のセグメント領域と同じ色で描画するとしても良い。

また、移動軌跡の画像座標位置と一致しない画素を描画する別の方法として、出力部１０４は、最近傍の移動軌跡のセグメント領域と同じ色で描画するとしても良い。

また、移動軌跡の画像座標位置と一致しない画素を描画する別の方法として、出力部１０４は、複数の移動軌跡の画像座標位置（点）の間を、Ｄｅｌａｕｎａｙ三角メッシュ生成法にて結び、同一のセグメント領域に属する３点に囲まれる３角形に含まれる画素を、そのセグメント領域と同じ色で描画するとしても良い。

なお、連続して入力される動画像に対して処理を行う場合は、移動体検出装置１００は、上述した図３のステップＳ２０１〜Ｓ２０７の動作を、ＴＬ枚のピクチャが入力されるたびに繰り返し行うとしても良い。

以上のように、本実施の形態の移動体検出装置は、動画像中の移動軌跡間の類似度に基づいて移動軌跡をクラスタリングして、画像中の移動体の領域を抽出する。そして移動体検出装置は、移動軌跡の類似度の指標として、移動軌跡間の測地距離を用いることにより、被写体の形状の変化や関節物体の姿勢の変化によらずに、画像中の移動体の領域抽出をすることができる。

さらに、本実施の形態の移動体検出装置は、距離補間部１０６によって算出した複数の移動軌跡間の近似測地距離を類似度の指標として、移動軌跡のクラスタリングを行う。ここで、移動軌跡間の類似度の算出において、より多くのピクチャ数にわたる移動軌跡を用いた場合、より長い時間にわたる移動軌跡の類似度を算出することができる。そのため、より多くのピクチャ数にわたる移動軌跡を用いることは、正しいクラスタリング結果を得るために有効である。しかしながら、前述したように、多くのピクチャを用いるほど算出可能な移動軌跡の数は減ってしまう。その結果、移動軌跡の粗密の差がおおきくなり、移動体検出装置が領域分割を誤る原因となる。一方、より少ないピクチャを用いた場合、算出可能な移動軌跡の数は増えるが、移動軌跡間の類似度の差が小さくなる。そのため、特に、長い時間では異なる動きを示すはずが、短い時間では似ている動きを示す移動軌跡が発生し、移動体検出装置が領域分割を誤る原因になる。このようなジレンマに対して、本実施の形態の移動体検出装置は、長時間移動軌跡に対して短時間移動軌跡を用いて移動軌跡の数を増加させた近似測地距離を用いて移動軌跡のクラスタリングを行うため、より正しいクラスタリング結果を得ることが期待できる。

このような例を、図１２及び図１３を用いて説明する。図１２は、図４及び図５と同様なシーンにおいて、ＴＬフレームにわたって全ての移動軌跡が追跡可能であった理想的な場合の移動軌跡の分布を示す概念図である。しかしながら、実際の移動軌跡は、遮蔽などが原因で、ピクチャ数が多いほど数が減ってしまうので、図１３（ａ）に示すような分布となる。移動体検出装置１００が、図１３（ａ）のように疎な移動軌跡を用いて測地距離を算出し、算出した測地距離を用いてクラスタリングを行った場合、誤ったクラスタリングが行われてしまう可能性が高くなる。一方、より少ないピクチャ数にわたる移動軌跡であれば、その個数は理想的な状態に近づくが、図１３（ｂ）に示すように移動軌跡間の類似度の違いが少なくなる。このような場合に、長時間移動軌跡と短時間移動軌跡との両方に基づいて近似測地距離を算出することは、図１３（ｃ）に示すような、図１２の理想的な分布に近い移動軌跡に基づいて測地距離を算出することに相当する。

以上のようにして、本実施の形態における移動体検出装置及び方法によれば、画像の移動軌跡の類似度にもとづいてクラスタリングを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、画像中の移動体の領域抽出をすることができる。また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域抽出の失敗がない。以上のように、膨大なパラメータのフィッティングを必要とせずに、移動軌跡間の測地距離に基づいてクラスタリングを行うことによって、形状が変化しながら移動する人物等を含む画像を安定的に領域抽出し、これによって画像中の移動体の検出を高精度に行うことが可能となる。

なお、本実施の形態の移動体検出装置において、距離補間部１０６は、長時間移動軌跡間の測地距離と短時間移動軌跡間の測地距離とから、上記式１０及び式１１によって近似測地距離を算出したが、本発明はこれらの式に限定されるものではない。距離補間部１０６は、長時間移動軌跡間の測地距離ｇ_Ｌ（ｉ，ｊ）より多くの移動軌跡の情報を含み、短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）より多くのピクチャの情報を含むように近似測地距離を算出する式であれば、他の式を用いて近似測地距離ｇ（ｉ，ｊ）を算出してもよい。例えば、距離補間部１０６は、式１０の代わりに、下記式３０を用いて補間長時間測地距離ｇ_Ｌ’（ｉ，ｊ）を算出したのち、式１１を用いて近似測地距離ｇ（ｉ，ｊ）を算出しても良い。

式３０は、長時間移動軌跡間の測地距離を短時間移動軌跡間の測地距離を用いて補間する際に、短時間移動軌跡間の測地距離が小さいほど重みｗが大きくなるように重み付きの線形補間をすることに相当する。つまり、距離補間部１０６は、短時間移動軌跡間の測地距離を用いて長時間移動軌跡間の測地距離の線形補間を行うときに、短時間移動軌跡間の測地距離が小さいほど重みが大きくなるように重み付きの線形補間を行うことによって、近似測地距離を算出しても良い。このような重みを加えて線形補間を行うことにより、距離補間部１０６は、短時間移動軌跡間の測地距離のより局所的な分布を保持しながら、近似測地距離を算出することが可能になる。すなわち、移動体検出装置は、このように算出された近似測地距離を用いることにより、移動体の領域をさらに高精度に抽出することが可能となる。

なお、本実施の形態の移動体検出装置において、距離補間部１０６は、ある２つの移動軌跡間の近似測地距離を算出する際に、全ての短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）を用いて計算するとしたが、短時間移動軌跡を全て用いる方法に限定するものではない。例えば、一部の短時間移動軌跡を抽出し、抽出した短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）を用いて近似測地距離を計算するとしても良い。より具体的には、例えば、移動軌跡ｉと移動軌跡ｊの近似測地距離ｇ（ｉ，ｊ）を算出する場合に、全ての短時間移動軌跡のうち、移動軌跡ｉに類似する短時間移動軌跡と、移動軌跡ｊに類似する短時間移動軌跡とを抽出して、これらを部分短時間移動軌跡とする。そして、全ての短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）の代わりに、抽出した部分短時間移動軌跡の測地距離ｇ_Ｓ’（ｉ，ｊ）を用いて、式１０及び式３０によって、補間長時間測地距離ｇ_Ｌ’（ｉ，ｊ）を算出する。最後に、式１１を用いて補間長時間測地距離ｇ_Ｌ’（ｉ，ｊ）から近似測地距離ｇ（ｉ，ｊ）を算出する。

すなわち、距離補間部１０６は、短時間移動軌跡間の測地距離に基づいて、類似する短時間移動軌跡の集まりである部分短時間移動軌跡を抽出し、抽出した部分短時間移動軌跡に基づいて、近似測地距離を算出しても良い。つまり、距離補間部１０６は、短時間移動軌跡間の測地距離が類似する短時間移動軌跡の集まりを部分短時間移動軌跡として抽出し、抽出した部分短時間移動軌跡を用いて近似測地距離を算出しても良い。これにより、移動体検出装置１００は、例えば動きの異なる複数の移動体が含まれる場合であっても、移動軌跡ｉ及び移動軌跡ｊに対応する移動体と同一または類似する動きの移動体の短時間移動軌跡を用いて近似測地距離ｇ（ｉ，ｊ）を算出することができるため、より精度の高い近似測地距離ｇ（ｉ，ｊ）を算出することができ、その結果、移動体の領域を高精度に抽出することが可能となる。

なお、本実施の形態の移動体検出装置において、距離補間部１０６は、式１０及び式３０の計算を行う際に、長時間移動軌跡の測地距離ｇ_Ｌ（ｉ，ｊ）と短時間移動軌跡の測地距離ｇ_Ｓ（ｉ，ｊ）とが、いずれもその要素に無限大（∞）の値を含まないものと仮定して計算している。もしも測地距離の値として無限大が含まれる場合、すなわち、ある移動軌跡ｉと移動軌跡ｊとの距離が無限大の場合は、距離補間部１０６は、移動軌跡ｉとの測地距離が有限である複数の移動軌跡と、移動軌跡ｊとの測地距離が有限である複数の移動軌跡との２つの部分集合（部分移動軌跡）に分割することが好ましい。そして、分割された部分集合が、それぞれ別のクラスタであるものとして、各処理部は以降の各処理を行うと良い。

すなわち、距離補間部１０６は、短時間移動軌跡間の測地距離に基づいて、類似する短時間移動軌跡の集まりである部分短時間移動軌跡を複数抽出し、抽出した複数の部分短時間移動軌跡に基づいて、近似測地距離を算出しても良い。つまり、距離補間部１０６は、短時間移動軌跡間の測地距離が有限となる短時間移動軌跡の集まりを部分短時間移動軌跡として複数抽出し、抽出した複数の部分短時間移動軌跡ごとに近似測地距離を算出しても良い。この場合、領域分割部１０７は、同じ部分短時間移動軌跡から算出された近似測地距離ごとに類似する移動軌跡の集まりを１つの領域として特定する。これにより、移動体検出装置１００は、抽出された複数の短時間移動軌跡の中に適切な測地距離を算出できない短時間移動軌跡の組合せが含まれる場合であっても、移動体の領域を高精度に抽出することが可能となる。

なお、本実施の形態の移動体検出装置において、距離算出部１０５は、動き解析部１０２によって生成された移動軌跡から抽出する、長時間移動軌跡のピクチャ数ＴＬと短時間移動軌跡のピクチャ数ＴＳは、それぞれＴＬ＝３０、ＴＳ＝１０であるとしたが、この数値に限定するものではない。例えば、検出すべき移動体の種類や状態に応じて別の数値を用いても良い。

例えば、検出する対象が歩行者と仮定できる場合、平均的な歩行周期が約１秒（３０フレーム）であることから、ＴＬ＝３０フレームのピクチャにわたる長時間移動軌跡は、人の歩行１周期分で正規化された動きの情報を表す。歩行周期で正規化された移動軌跡は、歩行周期に満たない一部の移動軌跡に比べて、歩行者ごとの移動方向の違いを表現するのに適していると言える。したがって、３０枚を長時間移動軌跡のピクチャ数ＴＬとして長時間移動軌跡を抽出することは、複数の歩行者が含まれる動画像から、歩行者ごとに移動体を抽出することを目的とした場合に、適しているといえる。一方、例えば片方の足や手などのように、歩行１周期のうち一時的に遮蔽される領域は、歩行１周期分のピクチャにわたる移動軌跡が抽出できない。そこで、距離算出部１０５は、移動軌跡を抽出可能なピクチャ数である１０枚を短時間移動軌跡のピクチャ数ＴＳとして短時間移動軌跡を抽出すれば、このような１周期分の移動軌跡が算出できない領域に対しても短時間移動軌跡を抽出することができる。移動体検出装置１００は、このように抽出された短時間移動軌跡を用いることで、一時遮蔽された領域に対しても、移動体領域の判定や抽出が可能になる。

以上のように、検出すべき対象が周期的な変形を伴う移動体である場合、距離算出部１０５において抽出する長時間移動軌跡のピクチャ数（ＴＬ）を、移動体の変形周期に対応するピクチャ数とすることで、移動体の変形の影響を受けにくくなり、移動体をより正しく抽出することができるという効果がある。また、長時間移動軌跡が算出できないピクチャ中の移動体領域について、移動体か否かを検出するために、移動軌跡が算出可能な最大のピクチャ数をＴＳとすることで、移動体の領域に、より正確に対応した移動体領域の検出が可能になるという効果がある。

なお、本実施の形態の移動体検出装置において、距離算出部１０５が、動き解析部１０２によって生成された移動軌跡から抽出する、ＴＬフレームにわたる長時間移動軌跡と、ＴＳフレームにわたる短時間移動軌跡との時間的な位置関係は、図７の配置であるものとしたが、これに限定するものではない。ＴＳフレームのピクチャがＴＬフレームに含まれていれば、どのような位置関係であっても良い。例えば、長時間移動軌跡と短時間移動軌跡との時間的な位置関係が、図１４Ａ又は図１４Ｂに示すような位置関係などであっても、距離算出部１０５は、図７に示す位置関係の場合と同様に処理することができる。

図７、図１４Ａ、及び図１４Ｂのように、短時間移動軌跡を抽出するピクチャと長時間移動軌跡を抽出するピクチャとの相対的なピクチャの配置が異なる場合、距離補間部１０６によって、短時間移動軌跡間の距離と長時間移動軌跡間の距離とから算出される近似測地距離に反映される各ピクチャの重みが変化する。例えば、図７の場合、第１フレームから第ＴＬフレームまでのピクチャのうち、第１フレームから第ＴＳフレームにおいて抽出された短時間移動軌跡は移動体の検出に利用可能である。一方、第１フレームから第ＴＳフレームにおいて一時的に遮蔽され、後の第（ＴＳ＋１）フレームから第ＴＬフレームまでにピクチャ中に存在する領域は、移動軌跡を用いた移動体の検出処理ができない。したがって、第１フレームから第ＴＬフレームまでのピクチャのうち、移動体抽出の結果の重要度がピクチャによって異なる場合は、距離算出部１０５は、より重要度の高いピクチャが、短時間移動軌跡を抽出するピクチャに含まれるように、ピクチャの配置を決定すればよい。例えば、第１フレームから第ＴＬフレームまでのピクチャのうち、最初のピクチャが重要な場合は、距離算出部１０５は、短時間移動軌跡を抽出するピクチャの配置を、図７の配置に決定すれば良い。一方、ロボットや車両の制御のための移動体検出などのように、移動体が撮影されてから装置が移動体を検出するまでの時間遅延が少ないことが望ましい場合は、距離算出部１０５は、短時間移動軌跡を抽出するピクチャの配置を、図１４Ｂのような配置に決定すれば良い。

また、距離算出部１０５は、図７と図１４Ａと図１４Ｂとの関係のように、第１フレームから第ＴＬフレームまでのピクチャに対して配置が異なるＴＳフレームの短時間移動軌跡を用いて同様の処理を行った結果を、それぞれＴＳフレーム分のピクチャに対応する、移動体領域の抽出結果としても良い。

なお、本実施の形態の移動体検出装置において、距離算出部１０５が、移動軌跡から抽出する、長時間移動軌跡のピクチャ数ＴＬと短時間移動軌跡のピクチャ数ＴＳは、あらかじめ定められており、一定であるものとして説明したが、それぞれの移動軌跡の算出に利用するピクチャ数を動的に変化させても良い。具体的には、距離算出部１０５は、抽出される長時間移動軌跡の数に応じて、長時間移動軌跡のピクチャ数ＴＬを変化させて長時間移動軌跡を抽出しても良い。また、距離算出部１０５は、抽出される短時間移動軌跡の数に応じて、短時間移動軌跡のピクチャ数ＴＳを変化させて短時間移動軌跡を抽出しても良い。これにより、距離算出部１０５は、複数のピクチャに含まれる移動体の特徴に応じて、移動軌跡のピクチャ数を変更できるので、より多くピクチャ数にわたるより多くの個数の移動軌跡を抽出することが可能となる。すなわち、移動体検出装置１００は、より多くの情報を含む移動軌跡を用いることができるので、より高精度に領域分割をすることが可能となる。

具体的には、長時間移動軌跡のピクチャ数ＴＬと短時間移動軌跡のピクチャ数ＴＳを動的に変化させる手法として、距離算出部１０５は、例えば、長時間移動軌跡と短時間移動軌跡のどちらか一方、又は両方の、移動軌跡個数の上限値をあらかじめ定めておき、これらの上限値を大きく超えないようにピクチャ数ＴＬ又はＴＳを動的に変化させても良い。より具体的には、距離算出部１０５は、ピクチャ数ＴＬにわたる長時間移動軌跡の個数が、あらかじめ定められた長時間移動軌跡の個数の上限値ＮＬｍａｘ（第１の上限値）を超えた場合に、ピクチャ数ＴＬを増加させるとしても良い。また、短時間移動軌跡のピクチャ数についても同様に、距離算出部１０５は、ピクチャ数ＴＳにわたる短時間移動軌跡の個数が、あらかじめ定められた短時間移動軌跡の個数の上限値ＮＬｍａｘ（第２の上限値）を超えた場合に、ピクチャ数ＴＳを増加させるとしても良い。距離算出部１０５は、このように増加させたピクチャ数にわたる移動軌跡を再度抽出することにより、より多くのピクチャ数にわたる移動軌跡を適切な個数抽出することができる。ここで移動軌跡の数が多いということは、動画像中の変化が小さい、被写体の動きが小さい、動きによる遮蔽領域が少ない、などの理由により、複数のピクチャにわたる対応点が多く算出可能であることに相当する。このような場合、ピクチャ数ＴＬ、又はＴＳを増加させることによって、移動軌跡により多くのピクチャにわたる動きの情報を含ませることができるため、その結果、移動軌跡に基づいて移動体を正しく検出できるという効果が期待できる。

また、長時間移動軌跡のピクチャ数ＴＬと短時間移動軌跡のピクチャ数ＴＳを動的に変化させる別の手法として、距離算出部１０５は、例えば、長時間移動軌跡と短時間移動軌跡のどちらか一方、又は両方の、移動軌跡個数の下限値をあらかじめ定めておき、これらの下限値を下回らないようにピクチャ数ＴＬ又はＴＳを動的に変化させるとしても良い。具体的には、距離算出部１０５は、ピクチャ数ＴＬにわたる長時間移動軌跡の個数が、あらかじめ定められた長時間移動軌跡の個数の下限値ＮＬｍｉｎ（第１の下限値）を下回った場合に、長時間移動軌跡の個数がＮＬｍｉｎを超えるように、ピクチャ数ＴＬを減少させるとしても良い。また、短時間移動軌跡のピクチャ数についても同様に、距離算出部１０５は、ピクチャ数ＴＳにわたる短時間移動軌跡の個数が、あらかじめ定められた短時間移動軌跡の個数の下限値ＮＬｍｉｎ（第２の下限値）を下回った場合に、ピクチャ数ＴＳを減少させるとしても良い。距離算出部１０５は、このように減少させたピクチャ数にわたる移動軌跡を再度抽出することにより、できる限り多くのピクチャ数を確保しながら、移動軌跡があらかじめ定められた移動軌跡の数を下回らないようにすることができる。そのため、例えば動画像中の被写体の動きによる遮蔽によって長時間移動軌跡の個数が相対的に小さくなる動画像に対しても、移動軌跡の数が極端に少なくなるということが発生しにくくなる。その結果、領域分割ができないということが発生しにくくなるという効果がある。

なお、本発明に係る移動体検出装置及び方法は、上記実施の形態に限定されるものではなく、上記実施の形態に対して当業者が思いつく各種変形を施して得られる形態、あるいは後述する各種変形例を含む複数の形態における構成要素を任意に組み合わせて得られる形態も本発明に含まれる。

例えば、上記実施の形態の移動体検出装置の距離算出部１０５は、あらかじめ定められた一定の値である閾値Ｒを用いて測地距離を算出した。しかし、本発明の距離算出部１０５は、これに限定されるものではない。例えば、距離算出部１０５は、閾値Ｒを徐々に小さくしながら測地距離を算出しても良い。この場合、距離算出部１０５、距離補間部１０６及び領域分割部１０７は、徐々に小さくなる閾値Ｒごとに、距離算出、距離補間、及び領域分割を繰り返し行い、所定の条件に達した時点で処理を終了しても良い。

なお、本実施の形態の移動体検出装置において、領域分割部１０７は、式１２から式１７の処理によって近似測地距離ｇ（ｉ，ｊ）の次元圧縮を行ったのち、次元圧縮された測地距離を用いて、クラス数を所与としてクラス内分散が最小となるように移動軌跡をクラスタリングする手法を用いるものとしたが、領域分割の手法はこれに限定されるものではない。領域分割部１０７は、近似測地距離を用いて、移動軌跡をクラスタリングする手法であれば、他の手法を用いてもよい。

また、上記実施の形態では、領域分割の結果はディスプレイに表示されたが、例えば、移動体の動き予測に利用されてもよい。具体的には、本発明に係る移動体検出装置は、図１５Ａに示すように、上記実施の形態における構成要素に加え、動き予測部１５０を備えてもよい。

図１５Ａは、本発明の実施の形態の変形例における移動検出装置の構成を示す図である。図１５Ａに示すように、本変形例における移動体検出装置は、図１に示した移動体検出装置が有する構成要素に加えて、動き予測部１５０を備える。なお、図１５Ａにおいて、図１と同じ構成要素については、同一の符号を付し、説明を省略する。

また、図１５Ｂは、本発明の実施の形態の変形例における移動検出装置の動作を表すフローチャートである。図１５Ｂにおいて、図３と同様の処理については、同一の符号を付し、適宜説明を省略する。なお、図１５Ｂにおいて、ステップＳ２５０は、図１５Ａの動き予測部１５０に対応している。つまり、動き予測部１５０は、動き予測ステップＳ２５０の処理を実行する。

動き予測部１５０は、領域分割部１０７で得られた領域分割の結果に基づいて、各領域に含まれる画素の移動軌跡から代表軌跡を算出し、その代表軌跡をもとに移動体の動きを予測する（ステップＳ２５０）。

さらに具体的には、領域θ_ｍに属する画素の移動軌跡をｘ^ｃｍと表現した場合、動き予測部１５０は、まず、下記式２６のように、クラスタ領域θ_ｍごとに代表の移動軌跡

を求める。なお、動き予測部１５０は、式２６を用いて、代表の移動軌跡として、平均移動軌跡を算出しているが、その計算に対して画素の移動軌跡ｘ^ｃｍごとに重み付け等を行って算出してもよいし、画像上でのクラスタの重心に対応する画素の移動軌跡を代表の移動軌跡として算出してもよい。

ここで、Ｃ_ｍは、領域θ_ｍに属する画素数もしくは画素の移動軌跡の数である。

図１６は、本変形例における移動体検出装置による動き予測を説明するための図である。つまり、図１６は、式２６に基づいてクラスタ領域θ_ｍごとに代表の移動軌跡を求める一例を示す図である。図中の「×」は、それぞれ時刻ｔに対応する代表の移動軌跡

の画素位置を示している。このような算出方法によれば、上述したように非線形空間上でのクラスタリングによる領域分割が、画素動きの類似度を考慮して行われるため、動き予測部１５０は、単純に近接した画素の移動軌跡の時間平均を求めるような方法と比較して、動きが類似した画素の移動軌跡のみを用いて代表の移動軌跡を算出できるため、より高精度に代表の移動軌跡を求めることができる。このように、動き予測部１５０は、クラスタ領域ごとに代表の移動軌跡を求めることによって、領域ごとの動きを正確かつ簡便に表現することができる。

次に、動き予測部１５０は、算出した代表の移動軌跡から、時刻Ｔより先の時刻における移動体の位置を予測する。そのために、動き予測部１５０は、代表の移動軌跡から加速度を算出し、Ｔ＋１以降の移動体の位置を予測する。動き予測部１５０は、３枚以上の時系列画像が入力された場合は、次式２７のように代表の移動軌跡

ごとに加速度ベクトルｓ^ｍを算出する。

ここで、ｕ_ｔ ^ｍは動きベクトルであり、次式のように表すことができる。

動き予測部１５０は、式２７に示される加速度ベクトルｓ^ｍを用いて、図１６において「×」で示されるように、移動体ごとに、時刻Ｔ＋ｔ’における移動体の位置ｐｏｓ_ｍ（Ｔ＋ｔ’）を、以下の式２９のように、予測する。

最後に、出力部１０４は、このように動き予測部１５０が予測した移動体の位置を出力する。これにより、動き予測部１５０は、加速度を加味した動き予測が可能となる。移動体の動きが急激に早くなったり、急激に止まったりといった場合に、動き予測部１５０は、その加速度を反映して移動体の位置を予測することができる。なお、動き予測部１５０は、上記動きベクトルの代わりにアフィンパラメータを用いて動き予測をしてもかまわない。アフィンパラメータは、回転運動を含む動きの表現が可能であり、物体の位置をより正確に予測することができる。

図１７は、別の動画像に対する移動予測の結果の一例を示す図である。つまり、図１７は、人物が１人含まれる動画像において、クラスタ数が９である場合に、式２６に基づいてクラスタ領域θ_ｍごとに代表の移動軌跡を求める一例を示す図である。ただし、図１７において、見やすさを考慮して、頭部に対応するクラスタ領域θ_１と脚部に対応するクラスタ領域θ_８に関する代表の移動軌跡のみを示している。また、背景は図示していない。図中の「×」は、それぞれ時刻ｔに対応する代表の移動軌跡

の要素であり画素位置を示している。

以上のようにして、本実施の形態及びその変形例に係る移動体検出装置及び方法では、画素間の距離あるいは移動軌跡の類似度に基づいてクラスタリングを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域分割をすることができる。また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域分割の失敗がない。以上のように、膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって、形状が変化しながら移動する人物等を含む画像に対しても正しく領域分割し、これによって画像中の移動体の検出を行うことが可能となる。

また、上記実施の形態における移動体検出装置１００は、画像入力部１０１及び動き解析部１０２を備えたが、本発明は、これらの構成要素を必須とするものではない。つまり、動画像を構成する複数のブロックのそれぞれにおける画像の移動軌跡が予め算出されている場合には、移動体検出装置１００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、図３のステップＳ２０３〜Ｓ２０７の処理を実行してもよい。

また、本発明は、移動体検出装置として実現されたが、領域分割部１０７の機能を持つものであれば、動画像において動きをもつオブジェクトの領域を抽出、あるいは、分割する画像処理装置として実現することができるのは言うまでもない。

本発明は、複数枚のピクチャにおける動きに基づいて、形状が変化しながら移動する人物等の移動体を含む画像を領域抽出することによって画像中の移動体を検出する移動体検出装置として、例えば、運動解析装置、監視装置、ビデオカメラやＴＶ等のＡＶ機器に内蔵させる移動体検出装置等として利用することが可能である。

１００ 移動体検出装置
１０１ 画像入力部
１０２ 動き解析部
１０３ 移動体検出部
１０４ 出力部
１０５ 距離算出部
１０６ 距離補間部
１０７ 領域分割部
１１０ カメラ
１２０ ディスプレイ
１５０ 動き予測部
１００１ カメラ
１００２ コンピュータ
１００３ ディスプレイ
１００４ Ｉ／Ｆ
１００５ ＣＰＵ
１００６ ＲＯＭ
１００７ ＲＡＭ
１００８ ＨＤＤ
１００９ ビデオカード

本発明の一実施形態は、動画像中の移動体の全部又は一部の領域を分割することによって動画像中の移動体を検出する移動体検出方法であって、動画像に含まれる２枚以上のピクチャにわたる対応点である複数の移動軌跡から、ＴＬ枚（ＴＬ＞＝３）のピクチャにわたる移動軌跡である長時間移動軌跡をＮＬ個（ＮＬ＞＝２）と、前記ＴＬ枚のピクチャに含まれるＴＳ枚（ＴＬ＞ＴＳ＞＝２）のピクチャにわたる移動軌跡である短時間移動軌跡をＮＳ個（ＮＳ＞ＮＬ）とを抽出し、他の移動軌跡を中継点として２個の移動軌跡の一方から他方にたどりつく経路の距離のうち最短の距離である測地距離を、ＮＬ個の長時間移動軌跡間とＮＳ個の短時間移動軌跡間とのそれぞれについて算出する距離算出ステップと、前記距離算出ステップで算出された、長時間移動軌跡間の測地距離及び短時間移動軌跡間の測地距離に基づいて、ＴＬ枚のピクチャにわたるＮＳ個の移動軌跡間の測地距離を近似測地距離として算出する距離補間ステップと、前記距離補間ステップで算出された近似測地距離に基づいて、移動軌跡の集まりを１つの領域として分割することによって、領域分割をする領域分割ステップとを含む移動体検出方法としたものである。

Claims (17)

1. 動画像中の移動体の全部又は一部の領域を分割することによって動画像中の移動体を検出する移動体検出方法であって、
   動画像に含まれる２枚以上のピクチャにわたる対応点である複数の移動軌跡から、ＴＬ枚（ＴＬ＞＝３）のピクチャにわたる移動軌跡である長時間移動軌跡をＮＬ個（ＮＬ＞＝２）と、前記ＴＬ枚のピクチャに含まれるＴＳ枚（ＴＬ＞ＴＳ＞＝２）のピクチャにわたる移動軌跡である短時間移動軌跡をＮＳ個（ＮＳ＞ＮＬ）とを抽出し、ＮＬ個の長時間移動軌跡間の測地距離と、ＮＳ個の短時間移動軌跡間の測地距離とをそれぞれについて算出する距離算出ステップと、
   前記距離算出ステップで算出された、長時間移動軌跡間の測地距離及び短時間移動軌跡間の測地距離に基づいて、ＴＬ枚のピクチャにわたるＮＳ個の移動軌跡間の測地距離を近似測地距離として算出する距離補間ステップと、
   前記距離補間ステップで算出された近似測地距離に基づいて、移動軌跡の集まりを１つの領域として分割することによって、領域分割をする領域分割ステップとを含む
   移動体検出方法。
2. 前記距離補間ステップでは、前記短時間移動軌跡間の測地距離に基づいて、短時間移動軌跡の集まりである部分短時間移動軌跡を抽出し、抽出した部分短時間移動軌跡に基づいて、前記近似測地距離を算出する
   請求項１記載の移動体検出方法。
3. 前記距離補間ステップでは、前記短時間移動軌跡間の測地距離に基づいて前記長時間移動軌跡間の測地距離の線形補間を行うことによって、前記近似測地距離を算出する
   請求項１記載の移動体検出方法。
4. 前記距離補間ステップでは、短時間移動軌跡間の測地距離が小さいほど重みが大きくなるように重み付きの前記線形補間を行うことによって、前記近似測地距離を算出する
   請求項３記載の移動体検出方法。
5. 前記距離算出ステップでは、
   （１）移動軌跡間の線形距離を算出し、（２）前記移動軌跡間の線形距離に対して、一部の線形距離を無限大化することで非線形化した距離を算出し、（３）前記非線形化後の距離に基づいて、他の移動軌跡を中継点として、２個の移動軌跡の一方から他方にたどりつく複数の経路の距離のうちの最短の距離を、前記測地距離として算出する
   請求項１記載の移動体検出方法。
6. さらに、
   動画像に含まれる複数枚のピクチャを受け付ける画像入力ステップと、
   ２枚のピクチャ間の対応点の検出を前記複数枚のピクチャについて行うことにより、２枚以上のピクチャにわたる対応点を示す複数の移動軌跡を算出する動き解析ステップとを含み、
   前記距離算出ステップでは、前記動き解析ステップで算出された複数の移動軌跡から、前記長時間移動軌跡と前記短時間移動軌跡とを抽出する
   請求項１記載の移動体検出方法。
7. さらに、前記画像入力ステップで受け付けた動画像に、前記領域分割ステップで分割された領域ごとに異なる表示態様となるように画像処理を施し、画像処理後の動画像を出力する出力ステップを含む
   請求項６記載の移動体検出方法。
8. 前記出力ステップでは、前記距離補間ステップで算出された近似測地距離と、前記距離算出ステップで抽出されたＮＬ個の長時間移動軌跡及びＮＳ個の短時間移動軌跡とに基づいて、仮想的な長時間移動軌跡を補間したＮＳ個の近似長時間移動軌跡を算出し、算出した近似長時間移動軌跡を含む動画像を出力する
   請求項７記載の移動体検出方法。
9. さらに、前記領域分割ステップで分割された領域に含まれる移動軌跡から、当該領域を代表する移動軌跡を算出し、算出した代表の移動軌跡に従って当該領域が移動すると予測することで、前記移動体の動きを予測する動き予測ステップを含む
   請求項１記載の移動体検出方法。
10. 前記距離算出ステップでは、抽出される長時間移動軌跡の個数に応じて、前記ＴＬを変化させて長時間移動軌跡を抽出する
    請求項１又は６記載の移動体検出方法。
11. 前記距離算出ステップでは、抽出される長時間移動軌跡の個数があらかじめ定められた第１の上限値を越える場合に、前記ＴＬを増加させて長時間移動軌跡を抽出する
    請求項１０記載の移動体検出方法。
12. 前記距離算出ステップでは、抽出される長時間移動軌跡の個数があらかじめ定められた第１の下限値を下回る場合に、前記ＴＬを減少させて長時間移動軌跡を抽出する
    請求項１０に記載の移動体検出方法。
13. 前記距離算出ステップでは、抽出される短時間移動軌跡の個数に応じて、前記ＴＳを変化させて短時間移動軌跡を抽出する
    請求項１又は６記載の移動体検出方法。
14. 前記距離算出ステップでは、抽出された短時間移動軌跡の個数があらかじめ定められた第２の上限値を超える場合に、前記ＴＳを増加させて短時間移動軌跡を抽出する
    請求項１３記載の移動体検出方法。
15. 前記距離算出ステップでは、抽出される短時間移動軌跡の個数があらかじめ定められた第２の下限値を下回る場合に、前記ＴＳを減少させて短時間移動軌跡を抽出する
    請求項１３記載の移動体検出方法。
16. 動画像中の移動体の全部又は一部の領域を分割することによって動画像中の移動体を検出する移動体検出装置であって、
    動画像に含まれる２枚以上のピクチャにわたる対応点である複数の移動軌跡から、ＴＬ枚（ＴＬ＞＝３）のピクチャにわたる移動軌跡である長時間移動軌跡をＮＬ個（ＮＬ＞＝２）と、前記ＴＬ枚のピクチャに含まれるＴＳ枚（ＴＬ＞ＴＳ＞＝２）のピクチャにわたる移動軌跡である短時間移動軌跡をＮＳ個（ＮＳ＞ＮＬ）とを抽出し、ＮＬ個の長時間移動軌跡間の測地距離と、ＮＳ個の短時間移動軌跡間の測地距離とをそれぞれについて算出する距離算出部と、
    前記距離算出部によって算出された、長時間移動軌跡間の測地距離及び短時間移動軌跡間の測地距離に基づいて、ＴＬ枚のピクチャにわたるＮＳ個の移動軌跡間の測地距離を近似測地距離として算出する距離補間部と、
    前記距離補間部によって算出された近似測地距離に基づいて、移動軌跡の集まりを１つの領域として分割することによって、領域分割をする領域分割部とを備える
    移動体検出装置。
17. 動画像中の移動体の全部又は一部の領域を分割することによって動画像中の移動体を検出するためのプログラムであって、
    請求項１記載の移動体検出方法に含まれる各ステップをコンピュータに実行させる
    プログラム。

Images