JPWO2011013299A1 - 移動体検出装置及び移動体検出方法 - Google Patents

Abstract

形状が変化しながら移動する人物等の被写体を含む画像に対しても、被写体の姿勢あるいは大きさの影響を受けずに、正しく領域抽出することができる移動体検出装置を提供する。その移動体検出装置（１００）は、動画像を受け付ける画像入力部（１０１）と、画像の動きから複数の移動軌跡を算出する動き解析部（１０２）と、移動軌跡を複数の部分集合に分割するとともに、分割された複数の部分集合において一部の移動軌跡を共有点として設定する領域分割部（１０３）と、分割された複数の部分集合のそれぞれについて移動軌跡間の類似性を表す距離を算出する距離計算部（１０４）と、算出された距離を測地距離に変換する測地距離変換部（１０５）と、共有点を共有する測地距離を統合することで、部分集合にまたがる測地距離を算出する近似測地距離算出部（１０６）と、算出された近似的な測地距離をクラスタリングする領域抽出部（１０７）とを備える。

Description

本発明は、画像中の移動体を検出する装置等に関し、特に複数枚の画像から構成される動画像から、画像の動き情報に基づいて、形状が変化しながら移動する人物等の移動体の全部又は一部の領域を特定する領域抽出をすることによって移動体を検出する装置に関する。

形状が変化しながら移動する人物等の移動体を検出したり、移動体を含む画像領域を抽出したりする技術の１つとして、画像から対象物の候補領域を抽出する手法と、抽出した対象物の候補領域に対しあらかじめ用意した対象物モデルを当てはめる手法とを組合せた方法がある。例えば、特許文献１では、対象物候補領域として複数の画像から人物等の対象物のシルエット画像を抽出し、前記対象物に関する知識から対象物の部位をあらかじめパラメータ化した人物等の対象物に関するモデルを用いて、抽出したシルエット画像に対してそのモデルを当てはめる方法が開示されている。これによって、形状が変化しながら移動する人物等の移動体に対してパラメータ化したモデルを当てはめることができるため、移動体の検出及び領域抽出が可能となる。

また、非特許文献１では、固定された１つの被写体を複数の視点から撮影した画像を入力として、各画像の輝度値に基づいて画像間の類似性を表すユークリッド距離を計算し、それに対し測地距離変換を行った後、次元圧縮を行うことによって、類似した視点から撮影した画像が２次元空間上で近距離となるように射影することを可能にする方法が開示されている。ここでは、従来のＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）等の線形次元圧縮方法と比較して、測地距離変換によって、より低次元に圧縮可能であり、さらに、非線形に分布するデータに対しても取扱いが可能なことが示されている。

ここで、非特許文献１は、取り扱う全データ数をＮとした場合に、Ｎ²の要素数を持つマトリクスを用いて、測地距離変換および次元圧縮を行う必要がある。そのため、データ数Ｎが大きい場合に、計算量が膨大になるという問題があることが知られている。

これに対し、非特許文献２および非特許文献３では、データ点の中からデータ点数よりも少ない数のランドマーク点を設定し、設定したランドマーク点を用いて前記マトリクスを生成し測地距離変換および次元圧縮を行うことによって、計算量を削減する方法が提示されている。

特開平８−２１４２８９号公報

Joshua Tenenbaum, Vin de Silva, John Langford,"A Global Geometric Framework for Nonlinear Dimensionality Reduction", Science, VOL290, pp.2319-2322, 22 December, 2000 Vin de Silva and Joshua B. Tenenbaum,"Global Versus Local Methods in Nonlinear Dimensionality Reduction"，Neural Information Processing Systems 15, 705-712, 2002 Vin de Silva and Joshua B. Tenenbaum,"Sparse Multidimensional Scaling using Landmark Points"，Technical Report, Stanford University, June 2004

しかしながら、上記特許文献１の技術では、特に街頭等、人物等の移動体が行き交うシーンにおいて、正しく移動体を抽出することができないという問題がある。上記特許文献１に代表される領域抽出手法は、前述のように画像から対象物候補領域を抽出する必要がある。この時、正しく対象物候補領域を抽出できなければ、対象物をパラメータ化したモデルを正確に対象物候補領域に当てはめることが不可能になる。特に、混雑したシーンにおいては、対象物候補領域を正しく抽出することは困難である。例えば、複数の移動体を１つの移動体として誤って対象物候補領域として抽出したり、抽出対象となる移動体が存在しない領域を対象物候補領域として誤って抽出したりするといった問題がある。さらに、対象物候補領域を正しく抽出できたとしても以下のような課題がある。つまり、特に人物等の多関節物体を対象物とした場合、対象物の様々な姿勢あるいは大きさに起因する画像上での見えのバリエーションが非常に大きいため、対象物モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。このことは、モデルの当てはめミスを誘発する。そのため、実際とは異なる姿勢に対応する対象物モデルが当てはめられることにより、領域抽出が正しく行われないといった問題がある。

そこで本発明の第１の目的は、特許文献１の領域抽出が正しく行われないという問題を解決することである。そのための手段として、以下の非特許文献１に記載される手法の非線形に分布するデータを効率良く表現可能な性質を利用する。

非特許文献１に代表される画像処理手法では、画像間の距離を入力として非線形処理を行うことにより、効率良く圧縮された低次元空間に画像データを射影することができる。さらには、測地距離変換と次元圧縮により連続的かつ非線形に分布するデータを効率良く表現することができる。しかしながら、非特許文献１の主な目的は、複数の静止画像を低次元空間に射影することで画像間の類似性を可視化することにあり、形状が変化する人物等の多関節物体における様々な姿勢変化に対応しながら、正しく移動体を抽出する方法は開示されていない。また、入力データ数が多くなると計算量が膨大になるといった問題もある。さらに、非特許文献２および非特許文献３に代表される、非特許文献１における計算量の削減方法では、ランドマーク点とランドマーク点の間に存在するデータ点、つまりランドマークとして選ばなかった点に関して、ランドマーク点を用いて線形補間を行うものである。特に、形状が変化する人物等の移動体は、頭と足の動きが異なるように、同一の移動体であっても部位によって動きが異なる。例えば、頭と足にランドマーク点がある場合、ランドマーク点間の線形補間を行うと、腕や膝の関節動き等の動きを適切に捉えることができない。そのため、形状が変化する人物等の多関節物体における様々な姿勢変化に対応しながら、正しく移動体を抽出することが難しい。さらに、あらかじめ被写体が抽出されていない段階において、人物等の多関節物体に対してランドマーク点を適切に設定することは難しい。

そこで本発明の第２の目的は、非特許文献１における計算量の問題を解決することである。つまり、本発明の目的は、これら２つの問題点を解決することにあり、本発明は、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出することができる移動体検出装置等を提供することを目的とする。

上記目的を達成するために、本発明に係る移動体検出装置の一実施形態は、動画像中の移動体の全部又は一部の領域を抽出することによって動画像中の移動体を検出する移動体検出装置であって、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、異なる２枚のピクチャ間での画像の動きを検出し、検出した動きを前記複数枚のピクチャについて連結した移動軌跡を複数算出する動き解析部と、算出された前記複数の移動軌跡を複数の部分集合に分割するとともに、分割された複数の部分集合において一部の移動軌跡を共有点として設定する領域分割部と、分割された前記複数の部分集合のそれぞれについて、複数の移動軌跡間の類似性を表す距離を算出する距離計算部と、算出された前記距離を、測地距離に変換する測地距離変換部と、変換された前記測地距離のうち、前記共有点を共有する測地距離を統合することで、前記部分集合にまたがる近似的な測地距離を算出する近似測地距離算出部と、算出された近似的な測地距離を用いて、類似する移動軌跡をもつブロックどうしを同一の領域として特定するクラスタリングを行うことによって、前記動画像に対して少なくとも一つの領域を抽出する領域抽出部とを備えることを特徴とする。

また、上記目的を達成するために、本発明に係るベクトルデータ分類装置の一実施形態は、複数のベクトルデータを、類似するベクトルデータの集まりであるクラスに分類するベクトルデータ分類装置であって、複数のベクトルデータを受け付けるベクトルデータ入力部と、受け付けられた前記複数のベクトルデータを、測地距離の計算に利用される複数の部分集合に分割するとともに、分割された複数の部分集合の少なくとも一つに含まれる一部のベクトルデータを共有点として設定する領域分割部と、分割された前記複数の部分集合のそれぞれについて、複数のベクトルデータ間の類似性を表す距離を算出する距離計算部と、算出された前記距離を、中継点としての移動軌跡をたどりながら一の移動軌跡から他の一の移動軌跡にたどりつく経路の距離である測地距離に変換する測地距離変換部と、変換された前記測地距離のうち、前記共有点を共有する測地距離を統合することで、前記部分集合にまたがる近似的な測地距離を算出する近似測地距離算出部と、算出された近似的な測地距離を用いて、類似するベクトルデータをもつブロックどうしを一つの領域として特定するクラスタリングを行うことによって、前記動画像に対して少なくとも一つのクラスを生成するデータ分類部とを備えることを特徴とする。

なお、本発明は、上記移動体検出装置及びベクトルデータ分類装置として実現できるだけでなく、上記各構成要素をステップとする移動体検出方法及びベクトルデータ分類方法、上記各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等として実現することもできる。

上記の方法及び装置等により、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく移動体を検出及び部位を領域抽出することができる。さらに、検出と領域抽出を行った結果を用いて、移動体の移動予測等を行うことも可能である。

図１は、本発明の実施の形態１における移動体検出装置の基本構成を示す図である。 図２は、本発明の実施の形態１における移動体検出装置をソフトウェアで実現する場合におけるハードウェア構成図である。 図３は、本発明の実施の形態１における移動体検出装置の基本動作を示すフローチャートである。 図４は、本発明の実施の形態１における動き解析部の処理例を示す図である。 図５（ａ）〜（ｄ）は、本発明の実施の形態１における領域分割部の処理例を示す図である。 図６（ａ）〜（ｃ）は、本発明の実施の形態１における測地距離変換部の測地距離の効果の一例を示す図である。 図７（ａ）及び（ｂ）は、本発明の実施の形態１における測地距離変換部の測地距離の効果の一例を示す図である。 図８は、本発明の実施の形態１における近似測地距離算出部の処理例を示す図である。 図９（ａ）〜（ｃ）は、本発明の実施の形態１における領域抽出部の処理例を示す図である。 図１０（ａ）〜（ｃ）は、本発明の実施の形態１の第１変形例における領域分割部の処理例を示す図である。 図１１は、本発明の実施の形態１の第２変形例における移動体検出装置の基本動作を示すフローチャートである。 図１２は、本発明の実施の形態１の第２変形例における領域抽出部の次元圧縮結果を示す図である。 図１３（ａ）及び（ｂ）は、本発明の実施の形態１の第２変形例における領域抽出部の移動体検出結果を示す図である。 図１４は、本発明の実施の形態１の第２変形例における領域抽出部の次元圧縮結果を示す図である。 図１５は、本発明の実施の形態１の第３変形例における基本構成を示す図である。 図１６は、本発明の実施の形態１の第３変形例における移動体検出装置の基本動作を示すフローチャートである。 図１７（ａ）〜（ｅ）は、本発明の実施の形態１の第３変形例における領域抽出部の処理例を示す図である。 図１８は、本発明の実施の形態１の第４変形例における基本構成を示す図である。 図１９（ａ）及び（ｂ）は、本発明の実施の形態１の第４変形例における画像表示部の表示例を示す図である。 図２０は、本発明の実施の形態１の第５変形例における移動体検出装置の構成例を示す図である。 図２１は、本発明の実施の形態１の第５変形例における記録・送信データの一例を示す図である。 図２２は、本発明の実施の形態２における移動体検出装置の構成例を示す図である。 図２３は、本発明の実施の形態２における移動体検出装置の基本動作を示すフローチャートである。 図２４は、本発明の実施の形態２における動き予測の一例を示す図である。 図２５は、本発明の実施の形態３における移動体検出装置の構成例を示す図である。 図２６（ａ）及び（ｂ）は、本発明の実施の形態３における移動体検出装置のカメラ配置の例を示す図である。 図２７は、本発明の実施の形態３における移動体検出装置の基本動作を示すフローチャートである。 図２８（ａ）及び（ｂ）は、本発明の実施の形態３における領域分割部の処理例を示す図である。 図２９は、本発明の実施の形態４における移動体検出装置の構成例を示す図である。 図３０は、本発明の実施の形態４における移動体検出装置の基本動作を示すフローチャートである。 図３１（ａ）〜（ｃ）は、本発明の実施の形態２の方法によって分離可能な図形の一例を示す図である。 図３２は、本発明の実施の形態の変形例における移動体検出装置の構成例を示す図である。

本発明に係る移動体検出装置の一実施形態は、動画像中の移動体の全部又は一部の領域を抽出することによって動画像中の移動体を検出する移動体検出装置であって、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、異なる２枚のピクチャ間での画像の動きを検出し、検出した動きを前記複数枚のピクチャについて連結した移動軌跡を複数算出する動き解析部と、算出された前記複数の移動軌跡を複数の部分集合に分割するとともに、分割された複数の部分集合において一部の移動軌跡を共有点として設定する領域分割部と、分割された前記複数の部分集合のそれぞれについて、複数の移動軌跡間の類似性を表す距離を算出する距離計算部と、算出された前記距離を、測地距離に変換する測地距離変換部と、変換された前記測地距離のうち、前記共有点を共有する測地距離を統合することで、前記部分集合にまたがる近似的な測地距離を算出する近似測地距離算出部と、算出された近似的な測地距離を用いて、類似する移動軌跡をもつブロックどうしを同一の領域として特定するクラスタリングを行うことによって、前記動画像に対して少なくとも一つの領域を抽出する領域抽出部とを備える。

これにより、類似する移動軌跡がまとめられて分類が行われるので、動きの異なる複数の部位からなる人物等の多関節物体を移動体として検出する場合であっても、一つの領域として認識されるので、正確な領域抽出が行われ、移動体が確実に検出される。つまり、形状が変化しながら移動する人物等の移動体に対しても正しく領域抽出し、これによって画像中の移動体を高速かつ確実に検出することが可能である。

また、部分集合ごとに測地距離を算出した後に、共有点を用いた測地距離の統合によって、部分集合にまたがる近似的な測地距離を算出しているので、移動軌跡を部分集合に分割しない場合に比べ、より少ない計算量で、全ての２つの移動軌跡間の組み合わせに対する測地距離が算出され、高速な移動体検出が可能となる。つまり、測地距離計算にかかる計算量を減らすことができるため、高速に移動体を検出することができる。さらに、あらかじめ抽出すべき移動体に関する形状情報等の事前情報を保持、または学習しておく必要がない。

ここで、前記画像入力部は、複数のカメラによる複数の動画像のそれぞれについて、前記複数枚のピクチャを受け付け、前記動き解析部は、前記複数の動画像のそれぞれについて、前記複数の移動軌跡を算出し、前記領域分割部は、前記複数の動画像のそれぞれについて算出された複数の移動軌跡を、分割された前記複数の部分集合として保持し、前記領域抽出部は、前記クラスタリングを行うことで、前記複数の動画像に対して少なくとも一つの領域を抽出してもよい。これにより、複数のカメラから得られた映像を統合的に処理することができる。さらに、類似する移動軌跡がまとめられて分類が行われるので、動きの異なる複数の部位からなる人物等の多関節物体を移動体として検出する場合であっても、一つの領域として認識されるので、正確な領域抽出が行われ、移動体が確実に検出される。さらに、複数のカメラ映像間をまたがるように移動する移動体や、形状が変化しながら移動する人物等の移動体に対しても正しく領域抽出し、これによって画像中の移動体を高速かつ確実に検出することが可能である。

なお、部分集合に分割する方法として、前記領域分割部は、移動軌跡に対応する前記ピクチャ上でのブロックの画像上での位置に関する空間上で、前記複数の移動軌跡を前記複数の部分集合に分割してもよい。これにより、画像上での位置において近傍に位置する移動軌跡を一つの部分集合として分割しやすくなる。特に画像特有の問題として、被写体は空間的に繋がったものである場合が多いため、測地距離計算をより高速に行うことができる。

このとき、前記領域分割部は、前記ピクチャに対してユーザが指定した空間分割に従って、前記複数の移動軌跡を前記複数の部分集合に分割してもよい。これにより、移動体が存在するおよその領域をユーザが知っている場合には、ユーザがその領域を指定することができるので、移動体が存在する領域が複数の部分集合に分割されてしまうことによって、測地距離計算の精度が下がる危険性を回避することができ、移動体の検出精度の劣化を防ぐことができる。

また、部分集合に分割する別の方法として、前記移動軌跡は、多次元ベクトルで表現され、前記領域分割部は、前記多次元ベクトルを表現する多次元ベクトル空間上で、前記複数の移動軌跡を前記複数の部分集合に分割してもよい。これにより、多次元ベクトル空間上で近傍に位置する移動軌跡もしくはベクトルデータを一つの部分集合として分割しやすくなるため、測地距離計算をより高速に行うことができる。

さらに、共有点の設定方法としては、前記領域分割部は、近傍の部分集合の一部が重複するように前記分割をするとともに、重複した領域に含まれる移動軌跡を前記共有点として設定したり、前記領域分割部は、前記複数の部分集合のそれぞれについて、当該部分集合に属する移動軌跡のうち、他の部分集合との境界に近接する移動軌跡を、前記共有点として設定したりしてもよい。画像上での近傍領域が重複もしくは接続するように共有点を持つことによって、画像上で離れた位置に存在する移動軌跡であっても、前記共有点を用いることによって、高速かつ正確に測地距離を計算することが可能になる。また、多次元ベクトル空間上での近傍領域が重複もしくは接続するように共有点を持つことによって、前記多次元ベクトル空間上で離れた多次元ベクトルであっても、前記共有点を用いることによって、高速かつ正確に測地距離を計算することが可能になる。

また、測地距離への変換に関しては、前記測地距離変換部は、前記距離計算部で算出された距離のうち、予め定められた条件を満たす小さい距離を連結することで、前記動き解析部で算出された一の移動軌跡から他の一の移動軌跡にたどりつく最短経路を求めることにより、前記距離計算部で算出された距離のそれぞれを測地距離に変換するのが好ましい。具体的には、前記測地距離変換部は、前記複数の部分集合に含まれる複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の距離のうち、小さい順に予め定められた個数の距離を選択し、選択しなかった距離を無限大に変更する非線形化をした後に、前記最短経路を求めることにより、前記距離計算部で算出された距離のそれぞれを測地距離に変換するのが好ましい。これにより、閾値により選択された距離と選択されなかった距離とが非線形な関係となるため、線形距離と比較して、移動軌跡間の類似／非類似が強調されることとなり、人物のように関節で繋がった物体の動きを正しく表現することが可能となる。

また、前記測地距離変換部は、前記複数の部分集合に含まれる複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の距離のうち、予め定められた閾値以下の距離を選択し、選択しなかった距離を無限大に変更する非線形化をした後に、前記最短経路を求めることにより、前記距離計算部で算出された距離のそれぞれを測地距離に変換してもよい。これにより、閾値により選択された距離と選択されなかった距離とが非線形な関係となるため、線形距離と比較して、移動軌跡間の類似／非類似が強調されることとなり、人物のように関節で繋がった物体の動きを正しく表現することが可能となる。

また、領域抽出の具体的な手法の一つとして、前記領域抽出部は、前記近似測地距離算出部で算出された測地距離の分布における少なくとも一つ以上の不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡どうしが一つのクラスタとなるように、前記クラスタリングを行うのが好ましい。これによって、不連続点よりも小さい距離だけ離れた移動軌跡どうしが一つのクラスタとなるので、不連続点の条件を変えることで、生成されるクラスタ数を制御することができる。

また、領域抽出の具体的な手法の他の一つとして、前記領域抽出部は、前記近似測地距離算出部で算出された測地距離に対して、固有値および固有ベクトルを求めることによって次元圧縮を行い、次元圧縮した空間上で前記クラスタリングを行ってもよい。これにより、測地距離に対して次元圧縮を行うことで、ノイズや動き検出誤りに対して頑健な被写体検出が可能となる。

さらに、領域抽出の具体的な手法の他の一つとして、前記測地距離変換部は、前記距離を前記測地距離に変換するための複数の判断基準を生成し、生成した複数の判断基準のそれぞれについて、当該判断基準を用いて前記距離を前記測地距離に変換することで、前記複数の判断基準のそれぞれに対応する測地距離を生成し、前記近似測地距離算出部は、前記複数の判断基準のそれぞれに対応する測地距離に対して前記統合を行い、前記領域抽出部は、前記複数の判断基準のそれぞれに対応する統合された近似的な測地距離に対して前記クラスタリングを行って領域を抽出することで、前記複数の判断基準のそれぞれに対応させて、前記領域抽出の結果を領域抽出候補として生成する領域抽出候補生成部と、クラス数についての指示を取得し、取得したクラス数に近い個数の領域が抽出された領域抽出候補を、前記領域抽出候補生成部で生成された複数の領域抽出候補から選択し、選択した領域抽出候補を、当該領域抽出部による領域抽出の結果として出力する領域抽出候補選択部とを有する構成とすることができる。これによって、予め生成した複数の判断基準のそれぞれについてクラスタリングが行われるので、それら複数のクラスタリングから、所望の個数のクラスタが生成される。

なお、複数の判断基準の具体例については、前記測地距離変換部は、前記複数の判断基準として、複数の閾値を生成し、生成した複数の閾値のそれぞれについて、前記距離計算部で算出された距離のうち、当該閾値よりも小さい距離を連結することで、前記複数の判断基準のそれぞれに対応する測地距離を生成するのが好ましい。これにより、小さい距離が連結された測地距離を用いて移動軌跡の類似性が判断されるので、直線的な距離であるユークリッド距離を用いたクラスタリングに比べ、移動軌跡間の類似性に関する連続性を考慮したクラスタリングが行われ、ピクチャにおける各ブロックが同一の物体（又は部位）に属するか別個の物体（又は部位）に属するかが確実に弁別される。

また、前記移動体検出装置はさらに、前記領域抽出部で得られた領域抽出の結果を、前記画像入力部で受け付けたピクチャに重ねて表示する画像表示部を備えるのが好ましい。これにより、領域抽出した部位を画像上に表示することによって、スポーツにおけるフォームの修正あるいはリハビリテーションにおける歩行の矯正等に応用が可能である。

また、前記移動体検出装置はさらに、前記領域抽出部での領域抽出の結果に対応させて、前記画像入力部で受け付けたピクチャにおける領域を特定し、特定した領域ごとに、対応する領域抽出の結果を、記録して保持する、又は、伝送路を介して外部に送信する記録・送信部を備える構成としてもよい。これにより、検出した移動体画像を抽出した領域に基づいてそれぞれ別々に保持することによって、各移動体画像の中から必要な部分の画像のみを選択して保存したり、外部に出力したりすることによって、図形要素として効率的な保存及び出力が可能になる。そのため、携帯電話等、処理能力の限られた機器に保存及び送信する場合に有効に作用する。

また、前記画像入力部は、２つ以上の移動体が含まれる動画像を受け付け、前記領域抽出部では、前記２以上の移動体について前記領域抽出をすることで、２以上の移動体を検出してもよい。これにより、形状が変化しながら移動する一つの移動体だけでなく、複数の移動体を含む画像に対しても、正しく複数の移動物体を検出することが可能である。

また、前記移動体検出装置はさらに、前記領域抽出部で抽出された領域に含まれるブロックの移動軌跡から、当該領域を代表する移動軌跡を算出し、算出した移動軌跡に従って当該領域が移動すると予測することで、前記移動体の動きを予測する動き予測部を備えるのが好ましい。これにより、複数のブロックの移動軌跡を代表する軌跡を用いて移動体の動きを予測することにより、ノイズ耐性の高い動き予測が可能となる。

また、本発明の他の一実施形態は、複数のベクトルデータを、類似するベクトルデータの集まりであるクラスに分類するベクトルデータ分類装置であって、複数のベクトルデータを受け付けるベクトルデータ入力部と、受け付けられた前記複数のベクトルデータを、測地距離の計算に利用される複数の部分集合に分割するとともに、分割された複数の部分集合の少なくとも一つに含まれる一部のベクトルデータを共有点として設定する領域分割部と、分割された前記複数の部分集合のそれぞれについて、複数のベクトルデータ間の類似性を表す距離を算出する距離計算部と、算出された前記距離を、中継点としての移動軌跡をたどりながら一の移動軌跡から他の一の移動軌跡にたどりつく経路の距離である測地距離に変換する測地距離変換部と、変換された前記測地距離のうち、前記共有点を共有する測地距離を統合することで、前記部分集合にまたがる近似的な測地距離を算出する近似測地距離算出部と、算出された近似的な測地距離を用いて、類似するベクトルデータをもつブロックどうしを一つの領域として特定するクラスタリングを行うことによって、前記動画像に対して少なくとも一つのクラスを生成するデータ分類部とを備える。

これにより、類似するベクトルデータがまとめられて分類が行われるので、例えば、３次元の動きに関するベクトルデータを入力とした場合には、動きの異なる複数の部位からなる人物等の多関節物体を移動体として検出する場合であっても、一つの領域として分類されるので、正確な領域抽出が行われ、移動体が確実に検出される。つまり、形状が変化しながら移動する人物等の移動体に対しても正しく分類、すなわち領域抽出することが可能である。

また、部分集合ごとに測地距離を算出した後に、共有点を用いた測地距離の統合によって、部分集合にまたがる近似的な測地距離を算出しているので、ベクトルデータを部分集合に分割しない場合に比べ、より少ない計算量で、全ての２つのベクトルデータ間の組み合わせに対する測地距離が算出され、高速なデータ分類が可能となる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
まず、本発明の実施の形態１に係る移動体検出装置及び移動体検出方法について説明する。

図１は、実施の形態１における移動体検出装置１００の構成を示す図である。図１に示されるように、この移動体検出装置１００は、画像入力部１０１、動き解析部１０２、領域分割部１０３、距離計算部１０４、測地距離変換部１０５、近似測地距離算出部１０６、領域抽出部１０７、出力部１０８を備える。そして、この移動体検出装置１００は、動画像中の移動体の全部又は一部の領域を特定する領域抽出をすることによって動画像中の移動体を検出する。

画像入力部１０１は、動画像を構成する時間的に異なる複数枚の画像（ピクチャ）の入力を受け付ける処理部であり、例えば、ビデオカメラ、あるいは、ビデオカメラと接続された通信インターフェース等である。

動き解析部１０２は、画像入力部１０１で受け付けたピクチャを構成する１個以上の画素からなるブロックごとに、異なる２枚（例えば、時間的に隣接する２枚）のピクチャ間での画像の動きを検出し、検出した動きを複数枚のピクチャについて連結することで、移動軌跡を算出する処理部である。

領域分割部１０３は、動き解析部１０２によって算出された移動軌跡を複数の部分集合に分割するとともに、分割された複数の部分集合において一部の移動軌跡を共有点として設定する処理部である。ここでは、この領域分割部１０３は、それらの部分集合間で少なくとも一部の移動軌跡が重複するか、もしくは、接続されるように共有点を設定する。つまり、本実施の形態では、領域分割部１０３は、画像上での位置に関する空間上で、複数の移動軌跡を複数の部分集合に分割する。例えば、移動軌跡に対応するピクチャ上でのブロックの位置が近いものどうしが同一の部分集合に属することになるように、画像上での位置に関する空間上で、複数の移動軌跡を複数の部分集合に分割する。

距離計算部１０４は、領域分割部１０３によって分割された複数の部分集合のそれぞれについて、当該部分集合に含まれる複数の移動軌跡における２つの移動軌跡の組み合わせに対して、当該移動軌跡間の類似性を表す距離を算出する処理部である。ここでは、この距離計算部１０４は、画像において移動する物体の形状変化を捉えるために、動き解析部１０２で算出した部分集合に含まれるブロックｉの移動軌跡と、ブロックｉ以外の当該部分集合に含まれるブロックの移動軌跡とを用いて、ブロックどうしの動きの類似性を表す距離を算出する。例えば、Ｎ個のブロックの移動軌跡を対象とした場合、算出される距離はＮ×Ｎ個の距離からなる距離マトリクスとなる。ここでは、ブロックの動きの類似性を評価する距離を計算することによって、ブロック間の距離が動きによって変化する移動体、特に、関節物体のように形状が変化しながら移動する人物等の物体の動きを距離マトリクスとして表現することが可能である。なお、以降の説明では、ブロックｉの移動軌跡を移動軌跡ｉと呼ぶこととする。このように、本明細書における「距離」は、２次元空間における２点間の距離だけでなく、多次元のデータ間の算術的な距離を含み、１つの値、あるいは、複数の値の集合（距離マトリクス）である。

測地距離変換部１０５は、距離計算部１０４で算出した各部分集合における距離マトリクスに対して、測地距離変換を行う処理部である。

近似測地距離算出部１０６は、測地距離変換部１０５で変換された測地距離のうち、共有点を用いて、前記部分集合にまたがる測地距離を統合することで、近似的な測地距離を算出するという処理を行うことにより、動き解析部１０２で算出された複数の移動軌跡における２つの移動軌跡の組み合わせについての近似的な測地距離を算出する処理部である。つまり、近似測地距離算出部１０６は、測地距離変換部１０５で算出された各部分集合における測地距離マトリクスを統合することによって、部分集合間をまたがる近似的な測地距離を算出する。ここで、「近似的」な測地距離が算出される理由は、部分集合にまたがる測地距離については、それらの部分集合に属する全ての移動軌跡を用いて測地距離を算出する場合と比較して、共有点として設定された移動軌跡を用いて概括的に測地距離が算出されるからである。

領域抽出部１０７は、近似測地距離算出部１０６で算出された距離に基づいて、類似する移動軌跡をもつブロックから構成される領域を特定することによって、領域抽出をする処理部であり、ここでは、近似測地距離算出部１０６で統合された測地距離のうち、一定の閾値より小さい測地距離だけ離れた移動軌跡をもつブロックどうしを一つの領域として特定するクラスタリングを行うことで、画像入力部１０１で受け付けられた動画像に対して少なくとも一つの領域を抽出する。より詳しくは、本実施の形態では、この領域抽出部１０７は、距離計算部１０４で算出した距離マトリクスを用いて、測地距離変換部１０５及び近似測地距離算出部１０６にて得られた部分集合間をまたがる測地距離から、移動軌跡間の距離の分布における不連続性を検出し、検出した不連続点よりも小さい距離だけ離れた移動軌跡どうしが一つのクラスタとなるように、不連続点をもとにそれぞれ連続的に分布する移動軌跡をクラスタリングすることによって、画像中の移動体の検出と画像の領域抽出を行い、その結果として、画像中の移動体の検出と画像の領域抽出を行う。

出力部１０８では、領域抽出部１０７で行った動画像中の移動体の検出結果もしくは、画像の領域抽出結果を出力する処理部、メモリやハードディスク等への書き込み部、ディスプレイ装置等である。

なお、この移動体検出装置１００を構成する各構成要素（画像入力部１０１、動き解析部１０２、領域分割部１０３、距離計算部１０４、測地距離変換部１０５、近似測地距離算出部１０６、領域抽出部１０７、出力部１０８）は、図２に示されるように、ＣＰＵ１００５、ＲＡＭ１００７、ＲＯＭ１００６、カメラ１００１と接続するための通信インターフェース１００４、Ｉ／Ｏポート（ビデオカード１００９等）、ハードディスク１００８、ディスプレイ１００３等を備えるコンピュータ１００２上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路等のハードウェアで実現されてもよい。つまり、本実施の形態における構成要素のうち、ディスプレイ装置等の入出力装置を除く構成要素については、コンピュータで実行されるプログラム及びデータ（つまり、ソフトウェア）で実現してもよいし、電子回路、メモリ及び記録媒体等のハードウェアで実現してもよいし、それらの混在で実現してもよい。

本発明がソフトウェアで実現される場合には、ＣＰＵ、メモリ及び入出力回路等のコンピュータのハードウェア資源を利用してプログラムが実行されることによって本発明の機能要素が実現されることは言うまでもない。つまり、ＣＰＵが処理対象のデータをメモリや入出力回路から読み出して（取り出して）演算したり、演算結果を一時的にメモリや入出力回路に格納（出力）したりすることによって、各種処理部の機能が実現される。

また、本発明がハードウェアで実現される場合には、１チップの半導体集積回路で実現されてもよいし、複数の半導体チップが一つの回路基板に実装されて実現されてもよいし、一つの匡体に全ての構成要素が収納された一つの装置として実現されてもよいし、伝送路で接続された複数の装置による連携によって実現されてもよい。たとえば、本実施の形態における記憶部をサーバ装置に設け、本実施の形態における処理部を、そのサーバ装置と無線通信するクライアント装置に設けることで、本発明をサーバ・クライアント方式で実現してもよい。

以下、他の実施の形態における移動体検出装置についても同様である。

以下に、本発明の移動体検出方法、つまり、移動体検出装置１００の動作として、図３のフローチャートを用いて移動する移動体を検出、領域抽出する例について詳細に説明する。

まず、ステップＳ２０１にて、画像入力部１０１は、複数枚のピクチャを受け付ける。

次に、ステップＳ２０２にて、動き解析部１０２は、少なくとも２枚のピクチャからブロックの動きを算出する。なお、ここでは、ブロックの動きを算出する一例として、画素の動きを算出する。以下、本実施の形態では、ブロック単位の処理の一例として、画素単位の処理を説明する。なお、複数の画素からなるブロック単位で処理をする場合には、（i）画素に対応するデータをブロック内で合計したり、（ii）ブロック内の平均値を求めたり、(iii)ブロック内の中心値を求めることで、ブロックに対応するデータ（代表値）を求め、得られた代表値を用いて画素単位の処理と同様に処理すればよい。なお、本明細書で、「ブロックの動き」及び「画素の動き」とは、それぞれ、「画像のブロック単位での動き」及び「画像の画素単位での動き」を意味する。

まず、画素の動きをオプティカルフロー計算により算出する例について説明する。オプティカルフロー計算による動きベクトルの算出は、非特許文献４もしくは非特許文献５で開示された手法を用いることができる。
Ｐ．Ａｎａｎｄａｎ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．２８３−３１０，１９８９ Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ ａｎｄ Ｒａｍｉｎ Ｚａｂｉｈ，"Ｃｏｍｐｕｔｉｎｇ Ｖｉｓｕａｌ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｗｉｔｈ Ｏｃｃｌｕｓｉｏｎｓ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１

例えば、ステップＳ２０１にてＴ枚のピクチャが入力されたと仮定すると、時刻ｔと時刻ｔ＋１に入力されたピクチャを用いて、画素ｉの動きベクトル（ｕⁱ _t，ｖⁱ _t）を推定する。ここでは、必ずしもフレームが連続している必要はなく、例えば、時刻ｔと時刻ｔ＋nに入力されたピクチャを用いて画素の動きを求めてもよい。ただし、ｎは１以上の整数である。さらに、画素の動きとして、前記２次元動きベクトルの代わりにアフィンパラメータを推定してもよい。この時、すべての画素について動き情報を求めてもよい。また、より高速に処理を行いたい場合には、画像をグリッドに区切って一定間隔のグリッド上の画素についてのみ動き情報を求めてもよいし、上述したように、画像をブロックに区切ってブロックごとに動き情報を求めてもよい。さらに、非特許文献４で開示された手法を用いて動きベクトルを算出する場合は、その信頼度を計算することができるため、信頼度の高い動き情報を持つ画素のみを用いてもよい。また、非特許文献５で開示された手法を用いて動きベクトルを算出する場合は、オクルージョンを推定することができる。そのため、遮蔽（しゃへい）されていない画素の動き情報のみを用いてもよい。

さらに、画素の動きを算出する手法として、前記したブロックの並進移動を仮定して動きベクトルを算出する方法の代わりに、ブロックのアフィン変形を仮定して動きベクトルを算出する方法を用いてもよい。アフィン変形を仮定して動きベクトルを算出する方法は、以下の非特許文献６で開示された手法を用いることができる。
Ｊｉａｎｂｏ Ｓｈｉ ａｎｄ Ｃａｒｌｏ Ｔｏｍａｓｉ，"Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ"，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ５９３−６００，１９９４

上記手法は、時刻ｔと時刻ｔ＋１に入力されたピクチャの画素ｉ近傍の動きに相当するアフィンパラメータＡⁱ _tを推定する。画素ｉについて、時刻ｔと時刻ｔ＋１におけるピクチャ上での画素位置ｘⁱ _tとｘⁱ _t+1は次の関係がある。

上記手法は、特に回転運動をする物体に対して、並進移動を仮定して動きベクトルを算出する手法を用いる場合よりも、高精度に画素ｉの動きを推定することができる。

次に、ステップＳ２０３にて、動き解析部１０２は、ステップＳ２０２で算出した動き情報を用いて、時間的に異なる複数枚のピクチャに対して前記画素の動きから移動軌跡ｉを算出する。以下、画素ｉの移動軌跡を移動軌跡ｉと呼ぶこととする。図４に示すように、時刻ｔにおける入力画像３０１の画素ｉ３０３からステップＳ２０２で算出した動き情報３０２を用いて、画素ｉの動きを追跡する。この時、画素ｉが通った時刻ｔにおけるピクチャ上での画素位置（ｘⁱ _t，ｙⁱ _t）を用いて、以下のように移動軌跡ｉ（ここでは、ｘⁱ）を算出する。

ここで、Ｔは移動軌跡の算出に用いたピクチャの枚数である。さらに、式２において、動きの無い移動軌跡、もしくは動きの小さい移動軌跡については、以下の処理を行わないようにすることも可能である。

次に、ステップＳ２０４にて領域分割部１０３は、図５に示すように画像４０１の位置に関する空間をＰ個の部分集合４０２として領域に分割する。ここで、部分集合４０２は、分割された画像領域（画像上の位置）に対応する移動軌跡の集合でもある。この時、部分集合どうしが共通点（両部分集合に論理的に属することとなる移動軌跡）をもつように、部分集合を設定する、または、共通点を設定する。具体的には、部分集合４０２の設定において、図５（ａ）や図５（ｂ）に示すように、画像４０１の位置に関する空間において、一部を重複するように設定し、重複領域に属する画像領域（画像上の位置）に対応する移動軌跡を共有点として設定してもよいし、図５（ｃ）のように、部分集合の境界において近接する画像上の位置に対応する移動軌跡を共有点４０３として設定してもよいし、図５（ｄ）のように、部分集合を空間的に高密度に設定し、共有点４０３を空間的に疎に設定してもよい。さらに、ここでは、部分集合に分割する際において、図５に示したような長方形で行う必要は必ずしもなく、正方形や横長の長方形でもよいし、円や楕円、多角形であっても構わない。また、複数の部分集合によって、画像全体を包含するように設定するのが望ましい。例えば、抽出したい被写体の形状や動きが事前に予測できないような場合やカメラの天地方向が変化するような回転が生じるような場合においては、図５（ａ）、図５（ｃ）、図５（ｄ）に示したように正方形とすることで、被写体やカメラの回転による影響を受けにくくする効果がある。また、特に人物等、縦方向に長い被写体を抽出したい場合には、図５（ｂ）に示すような縦長の長方形にすることで、人物の形状をより正確に抽出できる。さらには、同様に、犬などの動物の場合は、その形状を反映して、横長の長方形とすることが望ましい。そして、より計算量を減らしたい場合には、図５（ｃ）に示すように重複領域の代わりに境界に隣接する移動軌跡を共有点と設定することによって、重複を減らすことで計算量をより削減できる効果がある。さらには、パースの効果を反映するために、画像上部の部分集合の大きさを画像下部の部分集合よりも小さくすることによって、画像下部の被写体が大きく、画像上部の被写体が小さいような場合においても、より高精度な抽出を実現できる効果がある。もちろん、正方形ではなく、画像上部の部分集合を小さくする効果は、部分集合の分割を台形によって行うことによっても実現できる。また、各部分集合の数やサイズについては、後述する。

ここで、画像領域（画像上の位置）に対応する移動軌跡とは、分割された画像領域における画像上の位置に基づいて移動軌跡ｉを部分集合に分割することによって得られるものであり、例えば、画像上の位置（ｘⁱ ₁，ｙⁱ ₁）が部分集合ｐに属する場合は、時刻１において、画像上の位置（ｘⁱ ₁，ｙⁱ ₁）を通った上記式２に示した移動軌跡ｉを部分集合ｐに割り当てる。さらに、一定の時刻ｔにおける画像上の位置（ｘⁱ _t，ｙⁱ _t）が部分集合ｐに属する場合は、（ｘⁱ _t，ｙⁱ _t）を通った移動軌跡ｉを部分集合ｐに割り当てるようにしてもよい。さらには、上記式２の移動軌跡ｉに対して時間平均を計算することで、移動軌跡の画像上での時間平均位置

を算出し、その時間平均位置が属する部分集合ｐに移動軌跡ｉを割り当ててもよい。 共有点についても同様に画像領域（画像上の位置）に対応する移動軌跡である。このように、それぞれ画像領域（画像上で位置）に基づいてＰ個に分割し、その結果から、それぞれの移動軌跡を部分集合ｐに割り当てることによって、それぞれの移動軌跡は、複数の部分集合に分割されることになる。

次に、ステップＳ２０５にて、距離計算部１０４は、ステップＳ２０４にて分割した部分集合ｐごとに、部分集合ｐに属する移動軌跡ｉを用いて画素の動きの類似性を含む距離マトリクスを算出する。移動軌跡ｉと移動軌跡ｊとの類似性を表す線形距離ｆ_p（ｉ，ｊ）は以下の式３〜式１３により算出できる。なお、式３〜式１３に代表されるような距離は、非線形な関数を含んでいても良いが、後述する非線形な変換と経路を探索する方法により算出される測地距離と区別するために、線形距離とよぶこととする。ここで、移動軌跡ｉと移動軌跡ｊは、共に同じ部分集合ｐに属するものとし、それぞれの部分集合ｐに対して、以下の計算を行う。

ここで、ｗは重み係数であり、設計者が設定するパラメータである。さらに、式３に代えて、線形距離ｆ_p（ｉ，ｊ）の定義を次式のようにしてもよい。

また、ｐｔｎ_ij，ｍｔｎ_ijは、それぞれ、移動軌跡間距離の時間平均値、移動軌跡間距離の時間変動成分であり、その定義については以下に示す。

ここで、

上記のように、式３に示されるように、式５に示した移動軌跡間距離の時間平均値に加えて、式６に示した移動軌跡間距離の時間変動成分を前記線形距離ｆ_p（ｉ，ｊ）の要素とする。特に式６に示した移動軌跡間距離の変動成分は、画素の動きの類似性を示すものであり、これによって、画素間のなす距離の関係が時間的に変化しない剛体だけでなく、関節物体等の形状変化を捉えることができる。また、式６の代わりに式８から式１３のような時間変動成分を用いることで、同様の効果が期待できる。

ここで、

であり、ｕ^t _iは、時刻ｔからｔ＋１への動きベクトル（ｕⁱ _t，ｖⁱ _t）であり、＜ｕ^t _i・ｕ^t _i＞は内積である。

また、時間変動成分として、以下のような計算を用いてもよい。

ここで、

ここで、

である。
次に、ステップＳ２０６で、測地距離変換部１０５は、上記式３もしくは上記式４で算出した部分集合ｐにおける線形距離ｆ_p（ｉ，ｊ）に対して閾値Ｒを用いて、以下のように非線形化処理を行いｆ'_p（ｉ，ｊ）を算出する。

移動軌跡ｉに着目した時に移動軌跡ｉとの線形距離ｆ_p（ｉ，ｊ）が小さい順にＲ個の移動軌跡ｊを選択し、選択された移動軌跡ｊとの距離は変更せず、選択されなかった移動軌跡ｊとの距離を無限大に変更する。なお、ここでは、線形距離が小さい順に選択したが、次式のように閾値Ｒを設定してもよい。

つまり、測地距離変換部１０５は、動き解析部１０２で算出された部分集合ｐに属する複数の移動軌跡のそれぞれについて、距離が小さい順に予め定められた個数（Ｒ個）の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよいし、動き解析部１０２で算出された部分集合ｐに属する複数の移動軌跡のそれぞれについて、距離が予め定められた閾値以下の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよい。

なお、距離の非線形化に関しては、上記の関数に限定されるものではなく、移動軌跡ｉと移動軌跡ｊに関する距離に対して非線形変換を行うものであれば何でもよい。

さらには、線形距離ｆ_p（ｉ，ｊ）に対して、以下のように式１６及び式１７を用いて計算した重みを掛け算して重み付けを行った後に式１４もしくは式１５の処理を行ってもよい。

ここで、ＮＮは移動軌跡の近傍点かつ同一の部分集合ｐに属する点について処理することを示し、移動軌跡ａ及びｂに対して、移動軌跡ｊ及びｉからそれぞれ一定距離以内にある移動軌跡もしくは、距離が小さい順にＮ個の移動軌跡を用いて計算することを示す。すなわち、Ｎ_a、Ｎ_bは、それぞれ同一の部分集合ｐに属しており、かつ一定距離以内にある移動軌跡の数もしくは、前記Ｎである。なお、ｚは設計者が設定する。

また、式１６の代わりに次式のように分散を用いてもよい。

ここで、

であり、ＮＮについては、式１６の場合と同じである。

式１６や式１７の重みを用いてｆ_p（ｉ，ｊ）を変換することによって、移動軌跡ｉ及びｊと類似した移動軌跡が空間的に密集している場合（距離が近い移動軌跡の場合）には、ｆ_p（ｉ，ｊ）を相対的に小さく、また、空間的に疎な場合（距離が遠い移動軌跡の場合）には、密集している場合と比較してｆ_p（ｉ，ｊ）が相対的に大きくなる。つまり、距離計算部１０４で算出された距離を測地距離に変換するときに、領域分割部１０３で分割された部分集合ｐ内の複数の移動軌跡の分布における密集度が大きいほど小さい測地距離となるような重み付けをしたうえで、測地距離への変換をする。これによって、画素の移動軌跡の分布の密集度を考慮した距離変換が可能になる。

次に、非線形化された距離ｆ'_p（ｉ，ｊ）を用いて、次式のように測地距離ｇ_p（ｉ，ｊ）を算出する。

なお、ｍｉｎ（ｘ，ｙ）は、値ｘと値ｙのうち小さい方を返す関数である。また、ｓは、移動軌跡ｓであり、移動軌跡ｉから移動軌跡ｊに辿（たど）りつくための中継点である。ここで、ｆ'_p（ｉ，ｓ）＋ｆ'_p（ｓ，ｊ）における中継点ｓは１点に限るものではない。なお、ｐはそれぞれの部分集合に対応する。この方法は、ダイクストラ法と呼ばれる最短経路探索手法であり、以下の非特許文献７に記載されている。このように、測地距離変換部１０５は、距離計算部１０４で算出された距離のうち、予め定められた条件を満たす小さい距離を連結することで、動き解析部１０２で算出された一の移動軌跡から他の一の移動軌跡にたどりつく最短経路を求めることにより、距離計算部１０４で算出された距離のそれぞれを測地距離に変換する。
E.W.Dijkstra, "A note on two problems in connexion with graphs", Numerische Mathematik, pp.269-271, 1959

ここで、上記式１４及び式１５に示した非線形化処理について、図６（ａ）〜図６（ｃ）の概念図を用いて説明する。ここでは、式１５について説明するが、他の非線形化処理を行っても同様の効果が期待できる。まず、図６（ａ）は２次元のデータ分布を示す。ここで、それぞれのデータ点は、上記式３もしくは上記式４に示した移動軌跡ｉに相当する。上記式１４から式１７の非線形化処理を行わない場合には、図６（ｂ）に示したように、データ点ｉとデータ点ｊとの距離は、データ点ｉとデータ点ｋとの距離よりも小さくなる。しかしながら、図６（ｃ）に示すように、例えば上記式１５の処理及び上記式１７の処理を行うことによって、データ点ｉとデータ点ｊとの距離は、ユークリッド距離ではなく、測地距離と呼ばれるデータ点を矢印のように辿（たど）った距離となる。結果として、ユークリッド距離を用いる場合と異なり、データ点ｉとデータ点ｊとの距離は、データ点ｉとデータ点ｋとの距離よりも大きくなる。

ここで、このような上記式１４から式１７に示した測地距離変換の意義を図７（ａ）及び図７（ｂ）の概念図を用いて説明する。

ここでは、線形距離ｆ_p（ｉ，ｊ）と測地距離ｇ_p（ｉ，ｊ）の違いを分かりやすく説明するため、上記式５に示すような時刻ｔにおける移動軌跡間距離を例とする。実際には、移動軌跡間距離に加えて、上記式３に示したように画素の動きの類似性として移動軌跡間距離の変動成分を用いることにより、関節物体等の形状だけではなく形状変化をも捉えることができる。図７（ａ）は、上記式１４から式１７の非線形化処理を行わない場合の例である。例えば、頭部の画素ｉ６０２と手先部の画素ｊ６０３との距離は、線形距離６０１に示す距離となる。一方、上記式１４から式１７のような非線形処理を行うことによって、閾値Ｒが適切に設定されていれば、図７（ｂ）に示されるように、頭部の画素ｉ６０２と手先部の画素ｊ６０３との距離は、画素ｋ６０４を通って画素ｊにたどり着くまでの矢印で示したような線形和としての距離（つまり、測地距離）となる。そのため、線形距離６０１では人物のような関節物体の関節が繋がった形状をデータとして連続的に表現できないのに対して、測地距離によれば、関節が繋がった形状を距離として連続性を表現することが可能となる。なお、測地距離の計算方法は、上記式１４から式１７の非線形処理を必要とする方法に限定されるものではない。また、線形距離および測地距離における距離は、類似度と相反する関係にあり、類似度が高いときは、距離は小さく、類似度が小さいときは、距離が大きくなる。そのため、前述した距離の代わりに類似度を用いる場合は、類似度の逆数を距離として用いたり、類似度の最大値以上の値から類似度を引いた値を距離として用いたりすることで、上記の相反する関係を満たすように距離に変換して用いても良い。

次に、ステップＳ２０７にて、近似測地距離算出部１０６は、各部分集合における測地距離マトリクスｇ_p（ｉ，ｊ）を統合することによって、部分集合にまたがる近似的な測地距離を算出する。具体的には、ステップＳ２０４にて設定された共有点を用いて、以下のように統合処理を行う。

ここで、ｃは共有点であり、部分集合ｐおよび部分集合ｑの両方に属する移動軌跡である。つまり、複数の部分集合間で重複している移動軌跡である。なお、共有点は、必ずしも２つの部分集合に属するものではなく、３つ以上の部分集合に属しても構わない。また、ｉとｈは、それぞれ、異なる部分集合ｐおよびｑに属する移動軌跡に対応するインデックスである。なお、共有点ｃは、図５に示した例のように１点に限るものではない。

は、少なくとも１つ以上の共有点ｃについて、上記式２１を計算し、その中で最小値を選択する関数である。ここでは、部分集合ｐとｑの２つの組に限定されるものではなく、上記式２１に対して、共有点を複数用いて、それぞれの部分集合をまたぐように測地距離を加算していけば、２つ以上の部分集合間にまたがる測地距離を算出することができる。

さらに、図５（ｃ）のように、部分集合の境界において近接する画像上の位置に対応する移動軌跡を共有点４０３とした場合や、図５（ｄ）のように空間的に疎に分布する共有点を持つ場合には、共有点ｃ_iに対応する移動軌跡と共有点ｃ_jに対応する移動軌跡との線形距離ｆ_c（ｃ_i，ｃ_j）を計算して、下記式２２のように統合処理を行えばよい。

ここで、線形距離ｆ_c（ｃ_i，ｃ_j）は、共有点間を接続する効果がある。なお、ｆ_c（ｃ_i，ｃ_j）は、すべての共有点に対して計算してもよいし、空間的に近傍の少なくとも１つ以上の共有点間の距離を求めてもよい。

は、少なくとも２つ以上の共有点ｃ_i、ｃ_jについて、上記式２２を計算し、その中で最小値を選択する関数である。ここでは、部分集合ｐとｑの２つの組に限定されるものではなく、上記式２２に対して複数の共有点間を接続する線形距離を用いて、それぞれの部分集合をまたぐように測地距離を加算していけば、２つ以上の部分集合間をまたがる近似的な測地距離を算出することができる。

このように、共有点ｃを用いて部分集合に分割し測地距離計算を行ったｇ_p（ｉ，ｊ）を、共有点ｃを用いて統合し、部分集合をまたがる近似的な測地距離ｇ（ｉ，ｈ）を算出することによって、ステップＳ２０３で算出したすべての移動軌跡に対する測地距離ｇ（ｉ，ｊ）を高速に得ることができる。このような手法による効果について、図８を用いて説明する。図８では、２つの部分集合を例として説明するが、本発明においては、部分集合の数はいくつでも構わない。ステップＳ２０４にて、異なる部分集合ａとｂに分割され、ステップＳ２０５にて、それぞれの部分集合における測地距離（例えば、部分集合ａ内の測地距離７０４、部分集合ｂ内の測地距離７０５）を計算する。そして、ステップＳ２０７にて、共有点７０３を用いて統合処理を行うことで、例えば、図８の頭部の点に対応する移動軌跡ｉと足先の点に対応する移動軌跡ｊのように、部分集合間をまたがる近似的な測地距離ｇ（ｉ，ｊ）を得ることができる。

ここで、たとえステップＳ２０４にて、一つの被写体が二つ以上の異なる部分集合に分割されたとしても、統合処理を行うことで、部分集合に分割する処理を行わない場合と同等の精度で測地距離を計算することができる。

さらに、部分集合に分割せずに測地距離計算を行った場合と比べて、少ない計算量で測地距離計算を行うことができる。具体的には、移動軌跡の数をＮとすると、測地距離計算に掛かる計算量はＯ（Ｎ²ｌｏｇＮ）となることが上記非特許文献３に示されているが、本実施の形態による測地距離計算および統合に掛かる計算量の概算は、次式のようになる。

ここで、Ｍは部分集合の数、Ｃは全共有点の数、すなわち図５に示した各部分領域間の共有点の数の合計である。Ｃ²ｌｏｇＣは、上記式２１で測地距離の統合処理に掛かる計算量である。例えば、移動軌跡の数ＮをＶＧＡ画像サイズと同じ６４０×４８０として、さらに、Ｍを１０、ＣをＮの１０％とした時には、計算量は、部分集合に分割しない場合と比べて、およそ０．１１倍となる。画像サイズもしくは、移動軌跡の数が分かっている場合においては、部分集合の数Ｍと共有点Ｃとの２つの変数によって、計算量の削減量を見積もることができる。精度を重視する場合には、重複領域を多くとることが望ましい。そのため、全共有点の数Ｃを大きくすると良い。さらに、計算量を重視する場合には、部分集合の数Ｍを大きくすると良いが、精度を考慮すると全共有点の数Ｃも、それに合わせて大きくする必要があるため、処理する対象の形状や動き、また、精度とのバランスで決定する必要がある。以上のように、共有点を用いて測地距離を統合することで、高速に測地距離計算の処理が可能となる。

次に、ステップＳ２０８で、領域抽出部１０７は、近似測地距離算出部１０６で統合した測地距離ｇ（ｉ，ｊ）を用いて、不連続点を検出することによって類似する移動軌跡をもつブロックから構成される領域を特定することによって領域抽出を行う。ここでは、ｇ（ｉ，ｊ）が無限大となる移動軌跡ｉと移動軌跡ｊの間が不連続点である。閾値Ｒに対して得た測地距離の例を図９（ａ）〜図９（ｃ）を用いて説明する。ここで、図９（ａ）は、移動軌跡ａ〜ｈを示し、図９（ｂ）は、図９（ａ）に示した移動軌跡ａ〜ｈを表現する多次元空間の概念図である。なお、図９（ａ）に示される移動軌跡ａ〜ｈの数を８本としたが、実際には、各画素に対応する移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、図９（ｂ）に示される多次元空間における１点（点ａ〜点ｈ）が、それぞれ、上記式２に示した一つの移動軌跡に対応する。すなわち、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果である。さらに、図９（ｂ）に示される多次元空間上で、点と点との距離は、ベクトル間のユークリッド距離ではなく、上記式２０および式２１から算出された測地距離に対応する（ただし、無限大は除く）。

図９（ｃ）に示されるクラスタリングの例について説明する。ここで、図９（ｂ）の多次元空間において、上記式３もしくは上記式４に示した移動軌跡ａと移動軌跡ｂとの距離をｆ（ａ，ｂ）とした時に、ｆ（ｅ，ｆ）＞ｆ（ｃ，ｄ）＞ｆ（ｆ，ｇ）＞ｆ（ｂ，ｃ）である。ここでは、閾値をＲとして設定した場合に、距離ｆ（ｅ，ｆ）だけが閾値Ｒよりも大きな値を持つとする。この場合、上記式２０によって測地距離を求めてもｇ_p（ｅ，ｆ）は無限大となる。そのため、上記式２１もしくは式２２によって、測地距離を統合した結果ｇ（ｅ，ｆ）も無限大となる。そこで、領域抽出部１０７は、移動軌跡ｅと移動軌跡ｆとの間を不連続点と判定する。この結果、移動軌跡ａからｄと移動軌跡ｅとの測地距離は不連続点を通らないため無限大の値を取らず、逆に移動軌跡ｆからｈの各移動軌跡と移動軌跡ａからｅの各移動軌跡との測地距離は、不連続点ｇ（ｅ，ｆ）を通るためそれぞれ無限大となる。このように、測地距離が無限大とならない移動軌跡ｉと移動軌跡ｊの組は同じクラスタとし、無限大となる場合は別のクラスタとする。これによって、図９（ｃ）に示されるようにθ₁、θ₂の２つのクラスタに分離することができる。図９（ｃ）の移動軌跡ａ〜ｈにおいて、上半身に関する移動軌跡ａ〜ｅはクラスタθ₁に属し、下半身に関する移動軌跡ｆ〜ｈはクラスタθ₂に属している。すなわち、クラスタに分離した結果は、直接的に領域抽出を行った結果となる。

さらに、後述するように、パラメータを変更して、上記ステップＳ２０１からＳ２０８の処理を行うことによって、複数の移動体を別々に抽出することも可能である。なお、本明細書において、例えば、動きの無い移動軌跡を用いずに領域抽出を行った結果の各領域は、それぞれの移動体に対応するため、各移動体の検出と、画像中の複数の移動体領域をそれぞれ抽出する領域抽出とは、特に区別する必要は無い。さらに、動きの無い移動軌跡も用いて領域抽出を行った場合、例えば最大の大きさを持つ領域を背景とし、それ以外を移動体の検出結果とすることも可能であるが、領域抽出を行った結果から移動体を検出する方法はこの限りではない。

以上のようにして、本実施の形態における移動体検出装置１００によれば、画素間の距離あるいは移動軌跡の類似性に基づいてクラスタリングを行うことによって、類似する移動軌跡がまとめられて領域抽出が行われるので、距離が近く、かつ類似する動きをする部位が一つの領域として認識され、動画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、動画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域抽出をすることができる。また、前処理として人物候補領域を設定する必要がなく、さらに、あらかじめ抽出すべき移動体に関する形状情報等の事前情報を保持、または学習しておく必要がない。また、移動軌跡の類似性に基づいて閾値を用いてクラスタリングを行うため、画像中でさまざまな大きさの移動体が存在する場合や、移動体の一部が隠れている場合に特に問題となる人物候補領域の検出ミス、それに起因する領域抽出の失敗がない。

また、部分集合ごとに測地距離を算出した後に、共有点を用いた測地距離の統合によって、部分集合にまたがる測地距離を算出しているので、移動軌跡を部分集合に分割しない場合に比べ、より少ない計算量で、全ての２つの移動軌跡間の組み合わせに対する測地距離が算出され、高速な移動体検出が可能となる。

以上のようにして、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出、つまり移動体検出を行うことができる。

（実施の形態１の第１変形例）
次に、本発明の実施の形態１の第１変形例における移動体検出装置について説明する。

ここでは、部分集合への分割を実施の形態１とは異なる方法で行う例について説明する。

このような第１変形例に係る移動体検出装置は、実施の形態１と比べて、領域分割部１０３の処理を除いて、同じ構成であるため、同一構成要素の説明は省略する。

実施の形態１と異なる点は、領域分割部１０３での処理である。実施の形態１では、図５に示したように画像４０１の位置に関する空間をＰ個の部分集合４０２として領域に分割したが、ここでは、上記式２に示したような移動軌跡、すなわち多次元ベクトルの空間上でＰ個の部分集合に分割する。つまり、本変形例では、領域分割部１０３は、移動軌跡が類似するものどうしが同一の部分集合に属することになるように、移動軌跡（多次元ベクトル）を表現する多次元ベクトル空間上で、複数の移動軌跡を複数の部分集合に分割する。

ここでは、図３に示した処理のフローチャートに沿って説明する。まず、ステップＳ２０１からＳ２０３までは実施の形態１と同じであるため、説明を省略する。

次に、ステップＳ２０４にて、領域分割部１０３は、図１０（ａ）〜図１０（ｃ）に示すように上記式２で算出した移動軌跡、つまり多次元ベクトルの空間上で部分集合に分割する。ここで、図１０（ａ）は、移動軌跡９０１を示し、図１０（ｂ）は、図１０（ａ）に示した移動軌跡９０１を表現する多次元ベクトル空間の概念図である。ここで、移動軌跡を表す多次元ベクトル（多次元ベクトル空間における一点）が、それぞれ上記式２に示した１つの移動軌跡に対応する。すなわち、図１０（ｂ）は、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果である。そして、図１０（ｃ）の部分集合９０３に示すように、領域分割部１０３は、多次元ベクトル空間を複数の部分領域に分割する。ここで、部分集合９０３は、分割された多次元ベクトル空間に存在する点、すなわち移動軌跡の集合である。この時、黒丸は、共有点９０４である。部分集合９０３の設定においては、多次元ベクトル空間において一部を重複するように設定し、重複領域に属する移動軌跡を共有点としてもよいし、図５（ｃ）で説明したのと同様に、多次元ベクトル空間における部分集合の境界において近接する移動軌跡を共有点９０４としてもよいし、部分集合を空間的に高密度に設定し、共有点９０４を空間的に疎に設定してもよい。さらにここでは、部分集合に分割する際において、図１０（ｃ）に示したような直方体（実際は、多次元であるのでｎ次元直方体）で行う必要は必ずしもなく、超球や超楕円、ｎ次元多面体などであっても構わない。また、複数の部分集合によって、すべての移動軌跡を包含するように設定するのが望ましい。

さらに、ステップＳ２０４における別の方法について説明する。まず、すべての移動軌跡に対して、以下のように計算を行う。

ここで、ｉおよびｊは、式２で算出したすべての移動軌跡である。ｐｔｎ_ijとｍｔｎ_ijについては、上記式５から式７に示してある。次に、上記式２４にて算出した移動軌跡間距離マトリクスｆ（ｉ，ｊ）を移動軌跡数個の行ベクトルと捉える。すなわち、ｉ行目の行ベクトルは、移動軌跡ｉと対応する。そして、それぞれの行ベクトルは、多次元ベクトルと考えることができる。そのため、移動軌跡間距離マトリクスの行ベクトルは、概念的には、図１０（ｂ）に示した多次元空間上の点として表すことができる。そのため、上記実施の形態で説明したのと同様に、図１０（ｃ）に示すような部分集合を用いて、多次元ベクトル空間上で移動軌跡を部分集合に分割することができる。

さらに、多次元ベクトルを表現する多次元空間において、移動軌跡、つまり前述した多次元ベクトルを用いて、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行ってもよい。ＰＣＡを行うことによって、多次元ベクトル空間をより、低次元に圧縮することができる。例えば、２次元に圧縮した場合には、図５に示したように、画像空間上で部分集合に分割することと同様の処理によって、２次元空間上で移動軌跡を部分集合に分割することが可能である。

ステップＳ２０６以降については、実施の形態１と同様の処理を行えばよいため、説明を省略する。

以上のようにして、本第１変形例における移動体検出装置によれば、画素間の距離あるいは移動軌跡の類似性に基づいてクラスタリングを行うことによって、類似する移動軌跡がまとめられて領域抽出が行われるので、距離が近く、かつ類似する動きをする部位が一つの領域として認識され、動画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、動画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域抽出をすることができる。また、前処理として人物候補領域を設定する必要がなく、さらに、あらかじめ抽出すべき移動体に関する形状情報等の事前情報を保持、または学習しておく必要がない。また移動軌跡の類似性に基づいて閾値を用いてクラスタリングを行うため、画像中でさまざまな大きさの移動体が存在する場合や、移動体の一部が隠れている場合に特に問題となる人物候補領域の検出ミス、それに起因する領域抽出の失敗がない。

以上のようにして、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出、つまり移動体検出を行うことができる。

（実施の形態１の第２変形例）
次に、本発明の実施の形態１の第２変形例における移動体検出装置について説明する。

ここでは、領域抽出部１０７における領域抽出を異なる方法で行う例について説明する。

このような第２変形例に係る移動体検出装置は、実施の形態１と比べて、領域抽出部１０７の処理を除いて、同じ構成であるため、同一構成要素の説明は省略する。

実施の形態１と異なる点は、領域抽出部１０７であり、この領域抽出部１０７が測地距離マトリクスを次元圧縮し、その次元圧縮された空間上で移動軌跡をクラスタリングすることによって、領域抽出、つまり移動体の検出を行う点である。

ここでは、図１１に示した処理のフローチャートに沿って説明する。まず、ステップＳ２０１からＳ２０７までは実施の形態１と同じであるため、説明を省略する。

ステップＳ１００１では、領域抽出部１０７にて、ステップＳ２０７で算出した測地距離マトリクスの次元圧縮を行う。次元圧縮は、Ｙｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行った後、Ｅｉｇｅｎ ｓｙｓｔｅｍを求めることで実現できる。これは、多次元空間に分布するデータを低次元空間に効率良く射影するための方法であり、入力データのノイズ（ここでは、上記式２の移動軌跡を算出する際に動き情報に誤差が含まれる場合に相当する）に対して頑健なデータの表現が可能となる。

つまり、領域抽出部１０７は、非線形化された距離マトリクスを

として、次のように上記式２５に対して中心化行列Ｈを両側からかけるＹｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行う。これは、距離マトリクスが点間距離からなる距離行列であるのに対して、重心を原点とした距離マトリクスに変換するために行うものである。

ただし、Ｈは中心化行列であり、

である。Ｉは単位行列、Ｎは、上記式２に示した移動軌跡の数である。

また、

である。

次に、領域抽出部１０７は、次元圧縮を行うために、τ（Ｇ）に対するＱ個のｅｉｇｅｎ ｖｅｃｔｏｒ（固有ベクトル）ｅ_qおよびそれに対応するｅｉｇｅｎ ｖａｌｕｅ（固有値）λ_qを算出する。

これにより、

とすると、ｇⁱを次元圧縮された空間上に射影した結果は、データｚⁱ _qとして以下のように表すことができる。

なお、ｅⁱ _qは、ｑ番目のｅｉｇｅｎ ｖｅｃｔｏｒ ｅ_qのｉ番目の要素である。ｅｉｇｅｎ ｖｅｃｔｏｒの数Ｑは、利用するシーンに応じて実験的に決定しても良いし、以下のようにｅｉｇｅｎ ｖａｌｕｅ λ_qから寄与率ａ_qを算出し、それに基づいて決定しても良い。

Ｑは利用するｅｉｇｅｎ ｖｅｃｔｏｒの数、すなわち圧縮された空間の次元数である。Ｎは全ｅｉｇｅｎ ｖｅｃｔｏｒの数である。そこで、寄与率ａ_Qが一定値以上となる時のＱをｅｉｇｅｎ ｖｅｃｔｏｒの数とすれば良い。

以上のように、上記式２に示した移動軌跡ｉを、ｅｉｇｅｎ ｖｅｃｔｏｒ ｅ_qで張られる非線形に次元圧縮された空間上のデータｚⁱ _qと対応付けることができる。

図１２に人物の歩行画像を入力とした場合の移動軌跡ｉが非線形に次元圧縮された空間に射影された結果を示す。横軸、縦軸は、それぞれ、ｅｉｇｅｎ ｖｅｃｔｏｒ ｅ₁，ｅ₂である。２次元上に射影された点（ｚⁱ ₁，ｚⁱ ₂）は、ｇⁱを射影したものである。ここで、圧縮空間上のデータｚⁱ _qと画像上での画素ｉの時間的移動軌跡ｘⁱとは一対一の対応関係にあるため、点（ｚⁱ ₁，ｚⁱ ₂）は、移動軌跡ｉに対応していると捉えることができる。なお、ここでは結果を可視化するために圧縮空間の次元数を２次元としたが、必ずしも２次元である必要は無いし、高い次元数の方がより高い精度でデータを射影することができる。

次に、ステップＳ１００２では、領域抽出部１０７は、ステップＳ１００１にて図１２に示したような圧縮された空間に射影されたデータに対して、クラスタリングを行うことで移動体の検出と領域抽出を行う。

まず、セグメント領域を次のように表現する。ここで、セグメント領域とは、抽出される領域であり、つまり移動体の検出結果と一致する。

ここで、Ｍは、セグメント領域数であり利用するシーンに応じて経験的に決定する。ただし、上記式２３におけるＭとは異なる。

それぞれのセグメント領域θ_mは、パラメータ

で表現する。ここで、

は、圧縮空間におけるセグメント領域θ_mに属するデータの座標値の平均値、Ｚ_mは、セグメント領域θ_mに属するデータの座標値に関する共分散行列である。

の初期値はランダムに決定しても良いし、圧縮された空間中をグリッドで等間隔に分割する等して、その交点の座標値を初期値としても良い。

なお、

は、以下のように表すことができる。

ここで、Ｃ_mは圧縮された空間上でセグメント領域θ_mに属するデータ数である。

以下、具体的な計算方法について説明する。まず、領域抽出部１０７は、次式の距離関数を用いて、圧縮された空間上のデータｚ_iが属するセグメント領域θ_mを求める。

ここで、ψ_m（ｚ_i）は、移動軌跡ｉに対応する圧縮空間上のデータｚ_iとそれぞれのセグメント領域θ_mとの距離を示すものである。各データは、ψ_m（ｚ_i）が最小値をとるセグメント領域θ_mに属することになる。なお、φ_m（ｚ_i）はマハラノビス距離であり、

である。また、φ_m（ｚ_i）をψ_m（ｚ_i）の代わりとして用いても構わない。

さらに、ｐ（ω_m）は、一定値としても構わないし、人物など決まった移動体のセグメンテーションを行う場合はあらかじめ、人物部位の形状や面積比等をもとに設定しておいても良い。ω_mは、セグメント領域θ_mに対する重み係数である。

次に、領域抽出部１０７は、上記式３５の計算結果から、セグメント領域θ_mに属するデータｚ_iを用いて、以下のように領域θ_mのパラメータ

を更新する。

ここで、

は、セグメント領域θ_mに属する圧縮された空間上のデータである。また、ω＝１としても良いし、入力データの平均値からのずれ具合によって調整しても良い。このように、領域抽出部１０７は、上記式３５から式３８の距離計算およびパラメータ更新を規定回数繰り返すことによって、圧縮空間上の各データが属するセグメント領域θ_mを得ることができる。なお、上記に加えて、ｋ−ｍｅａｎ、競合学習など、他のクラスタリング方法を用いても構わない。

図１３（ａ）及び図１３（ｂ）に人物の歩行画像を入力とした場合にＭ＝９として圧縮空間上のデータをセグメンテーションした例を示す。圧縮空間上でのセグメント領域θ₁からθ₉について画像上での対応を見ると、セグメント領域θ₁は人物の頭部、セグメント領域θ₂は胴体上部、セグメント領域θ₃は腕、セグメント領域θ₄は胴体下部、セグメント領域θ₅及びθ₇は大腿部、セグメント領域θ₆及びθ₈は、下腿部に対応している。なお、セグメント領域θ₉は主に背景の一部に対応する。

ここで、図１３（ｂ）の矢印で示すように、圧縮空間上のセグメント領域に対応するのは、１枚の画像上の領域だけではなく時間的に連続した複数枚の画像に渡って画素を追跡した結果である。すなわち、圧縮された空間上でセグメンテーションを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果として、画像中の移動体（移動体の部位）の検出、被写体を含む画像の抽出をすることができる。

さらには、上記の説明と同じ方法でパラメータを変更することで、複数の移動体を検出することもできる。具体的には上記式１４もしくは上記式１５を用い、閾値Ｒを、部位のセグメンテーションを目的とする時よりも大きな値に設定する。

図１４に、人物一人が歩行し自転車１台が走行している画像を入力とした場合に、圧縮された圧縮空間に射影しＭ＝２としてセグメンテーションを行った結果の一例を示す。圧縮された空間上でのセグメント領域θ₁とθ₂の画像上での対応について説明する。セグメント領域θ₁は画像上では自転車の動きに対応し、セグメント領域θ₂は画像上では人物の歩行に対応している。以上のように、低次元に圧縮された空間上でセグメンテーションを行うことで、簡単かつ安定に自転車の動きと人物の動きとを分けて検出（つまり、領域抽出）することができる。

なお、ここでは上記式２に示されるような、動きのない画素についての移動軌跡は入力として用いていないため、移動している物体である歩行者と自転車の２つのみが圧縮空間上に射影されている。もちろん、動きのない移動軌跡を入力として用いても構わない。ここで、実施の形態１と同様に圧縮された空間上のセグメント領域に対応するのは、１枚の画像上の領域だけではなく時間的に連続した複数枚の画像に渡って画素を追跡した結果である。すなわち、圧縮空間上でセグメンテーションを行うことによって、移動体の領域を時間的に追跡した結果としてそれぞれの移動体を検出することができる。

以上のようにして、本第２変形例における移動体検出装置によれば、画素間の距離あるいは移動軌跡の類似性に基づいて、次元圧縮を行った後にクラスタリングを行うことによって、動き検出ミス等のノイズに対して頑健で、かつ類似する移動軌跡がまとめられて領域抽出が行われるので、距離が近く、かつ類似する動きをする部位が一つの領域として認識され、動画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、動画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域抽出をすることができる。また、前処理として人物候補領域を設定する必要がなく、さらに、あらかじめ抽出すべき移動体に関する形状情報等の事前情報を保持、または学習しておく必要がない。また移動体の一部が隠れている場合に特に問題となる人物候補領域の検出ミス、それに起因する領域抽出の失敗がない。

以上のようにして、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出、つまり移動体検出を行うことができる。

（実施の形態１の第３変形例）
次に、本発明の実施の形態１の第３変形例における移動体検出装置について説明する。

ここでは、実施の形態１で説明した領域抽出に対して、複数の判断基準を設けることによって、領域抽出の候補を生成し、その候補の中からあらかじめ定めた移動体の数に最も近い候補を選択することによって領域抽出を行う例について説明する。

図１５は、実施の形態１の第３変形例における移動体検出装置１００ａの構成を示す図である。図１５に示されるように、この移動体検出装置１００ａは、画像入力部１０１、動き解析部１０２、領域分割部１０３、距離計算部１０４、測地距離変換部１０５ａ、近似測地距離算出部１０６ａ、領域抽出部１０７ａ、及び、出力部１０８を備える。領域抽出部１０７ａは、領域抽出候補生成部１４０１と領域抽出候補選択部１４０２を有する。そして、この移動体検出装置１００ａは、動画像中の移動体の全部又は一部の領域を特定する領域抽出をすることによって動画像中の移動体を検出する。

まず、画像入力部１０１、動き解析部１０２、領域分割部１０３、距離計算部１０４については、実施の形態１と同じであるため、説明を省略する。

測地距離変換部１０５ａは、距離計算部１０４で算出した各部分集合における距離マトリクスに対して、判断基準を複数個生成し、生成した複数の判断基準のそれぞれについて、当該判断基準を用いて測地距離変換を行うことで、複数の判断基準のそれぞれに対応する測地距離を生成する処理部である。

近似測地距離算出部１０６ａは、前記複数の判断基準ごとに、測地距離変換部で算出された各部分集合における測地距離マトリクスを統合することによって、部分集合間をまたがる近似的な測地距離を算出する処理部である。

領域抽出候補生成部１４０１は、近似測地距離算出部１０６ａで、複数個の判断基準のそれぞれについて統合された測地距離マトリクスから、動き解析部１０２で算出された複数の移動軌跡をクラスタリングすることによって領域抽出をし、その領域抽出の結果を領域抽出候補として生成する処理部である。具体的には、この領域抽出候補生成部１４０１は、移動軌跡間の距離の分布における不連続点を閾値によって検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡どうしが一つのクラスタとなるように、連続に分布する移動軌跡をクラスタリングすることによって、前記複数の閾値のそれぞれに対する領域抽出の候補を生成する。

領域抽出候補選択部１４０２は、予め定められた数値を参照したり、ユーザ等の外部からの指示を受け付けたりすることで、クラス数についての指示を取得し、取得したクラス数に近い個数の領域に分割された領域抽出候補を、領域抽出候補生成部１４０１で生成された複数の領域抽出候補から選択し、選択した領域抽出候補を、動き解析部１０２で算出された移動軌跡から領域抽出を行った結果として出力する処理部である。具体的には、この領域抽出候補選択部１４０２は、領域抽出候補生成部１４０１で生成した、複数の閾値のそれぞれに対する領域抽出の候補から、指示されたクラス数に最も近い領域抽出結果を選択する。すなわち、指示されたクラス数に応じた閾値による領域抽出結果を選択することになる。

出力部１０８は、実施の形態１と同様である。これにより、最終的な移動体の検出と領域抽出結果を得ることができる。

以下に、本第３変形例における発明の移動体検出方法、つまり、移動体検出装置１００ａの動作として、図１６のフローチャートを用いて移動する移動体を検出、領域抽出する例について詳細に説明する。ステップＳ２０１からＳ２０５までは、実施の形態１と同様であるため説明を省略する。

ステップＳ２０６ａにて、測地距離変換部１０５ａは、上記式３もしくは上記式４で算出した部分集合ｐにおける線形距離ｆ_p（ｉ，ｊ）に対して、複数の判断基準としてK個の閾値Ｒ_kを生成し、それらK個の閾値Ｒ_kを用いて、それぞれの閾値に対して以下のように非線形化処理を行いｆ'^k _p（ｉ，ｊ）を算出する。

移動軌跡ｉに着目した時に移動軌跡ｉとの線形距離が小さい順にＲ_k個の移動軌跡ｊを選択し、選択された移動軌跡ｊとの距離は変更せず、選択されなかった移動軌跡ｊとの距離を無限大に変更する。なお、ここでは、線形距離が小さい順に選択したが、次式のように閾値Ｒ_kを設定してもよい。

つまり、測地距離変換部１０５ａは、距離計算部１０４で算出された部分集合ｐに属する複数の移動軌跡のそれぞれについての線形距離マトリクスに対して、それぞれK個の閾値Ｒ_kを用いて、距離が小さい順に予め定められた個数の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよいし、距離が予め定められた閾値以下の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよい。

なお、距離の非線形化に関しては、上記の関数に限定されるものではなく、移動軌跡ｉと移動軌跡ｊに関する距離に対して非線形変換を行うものであれば何でもよい。

さらには、線形距離ｆ_p（ｉ，ｊ）に対して、実施の形態１で説明したように、上記式１７及び上記式１８を用いて計算した重みを掛け算して重み付けを行った後に上記式３９もしくは上記式４０の処理を行ってもよい。

次に、非線形化された距離ｆ'_k（ｉ，ｊ）を用いて、次式のように測地距離を算出する。

なお、ｍｉｎ（ｘ，ｙ）は、値ｘと値ｙのうち小さい方を返す関数である。また、ｓは、移動軌跡ｓであり、移動軌跡ｉから移動軌跡ｊに辿（たど）りつくための中継点である。ここで、ｆ'^k _p（ｉ，ｓ）＋ｆ'^k _p（ｓ，ｊ）における中継点ｓは１点に限るものではない。なお、ｐは部分集合、ｋは複数の閾値Ｒ_kに対応する。

次に、ステップＳ２０７ａにて、近似測地距離算出部１０６ａは、閾値Ｒ_kごとに、各部分集合ｐにおける測地距離マトリクスｇ^k _p（ｉ，ｊ）を統合することで部分集合をまたがる近似的な測地距離を算出する。具体的には、ステップＳ２０４にて設定された共有点を用いて、以下のように統合処理を行う。

ここで、ｃは共有点であり部分集合ｐおよび部分集合ｑの両方に属する移動軌跡である。つまり、複数の部分集合間で重複している移動軌跡である。なお、共有点は、必ずしも２つの部分集合に属するものではなく、３つ以上の部分集合に属しても構わない。また、ｉとｈは、それぞれ異なる部分集合ｐおよびｑに属する移動軌跡である。なお、共有点ｃは、図５に示した例のように１点に限るものではない。

は、少なくとも１つ以上の共有点ｃについて、上記式４２を計算し、その中で最小値を選択する関数である。ここでは、部分集合ｐとｑの２つの組に限定されるものではなく、２つ以上の部分集合間をまたがる測地距離を算出することができる。もちろん、上記式２２に示したように、各閾値に対してそれぞれ共有点間を接続する計算を行っても構わない。

次に、ステップＳ２０８ａでは、領域抽出候補生成部１４０１にて、それぞれの閾値Ｒ_kに対応する統合した測地距離マトリクスｇ^k（ｉ，ｊ）を用いて、不連続点を検出することによってクラスタリングを行う。ここでは、ｇ^k（ｉ，ｊ）が無限大となる移動軌跡ｉと移動軌跡ｊの間が不連続点である。複数の閾値Ｒ_kに対して得た測地距離変換の結果の例を図１７（ａ）〜図１７（ｅ）を用いて説明する。ここで、図１７（ａ）は、移動軌跡ａ〜ｈを示し、図１７（ｂ）は、図１７（ａ）に示した移動軌跡ａ〜ｈを表現する多次元空間の概念図である。なお、移動軌跡の数を８本（移動軌跡ａ〜ｈ）としたが、実際には、各画素に対応する移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、図１７（ｂ）に示される移動軌跡を表現する多次元空間における１点が、それぞれ式２に示した一つの移動軌跡に対応する。すなわち、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果である。さらに、多次元空間上で、点と点との距離は、ベクトル間のユークリッド距離ではなく、測地距離に対応する。

閾値Ｒ_kが十分に大きな値である場合、例えば、ｆ_p（ｉ，ｊ）の最大値よりも閾値Ｒ_kが大きい場合には、図１７（ｃ）に示すように測地距離ｇ^k（ｉ，ｊ）は、すべてのｉ，ｊの組合せにおいて無限大にならない。すなわち、不連続点が１点もないためクラスタは１個と判断できる。一方、閾値Ｒ_kが十分に小さい場合、具体的には、ｆ_p（ｉ，ｊ）の最小値よりも閾値Ｒ_kが小さい場合には、すべてのｉ，ｊの組合せにおいてｇ^k _p（ｉ，ｊ）が無限大となる。すなわち、クラスタ数は移動軌跡の数と同数となる。ここでは、閾値Ｒ_kをｆ_p（ｉ，ｊ）の最大値と最小値の間の値に設定して、それぞれクラスタリングを行うことが効率的である。図１７（ｄ）に示されるクラスタリングの例について説明する。ここでは、閾値をＲ₁として設定した場合に、近似測地距離算出ステップ（Ｓ２０７ａ）で求めた測地距離ｇ¹（ｅ，ｆ）は無限大となる。そこで、移動軌跡ｅと移動軌跡ｆとの間を不連続点と判定する。この結果、移動軌跡ａからｄと移動軌跡ｅとの測地距離は不連続点を通らないため無限大の値を取らず、逆に移動軌跡ｆからｈの各移動軌跡と移動軌跡ａからｅの各移動軌跡との測地距離は、不連続点ｇ¹（ｅ，ｆ）を通るためそれぞれ無限大となる。このように、測地距離が無限大とならない移動軌跡ｉと移動軌跡ｊの組は同じクラスタとし、無限大となる場合は別のクラスタとする。これによって、図１７（ｄ）のようにθ₁、θ₂の２つのクラスタに分離することができる。さらに、図１７（ｅ）に示すように、閾値をＲ₂（ただし、Ｒ₁＞Ｒ₂）とした場合に、近似測地距離算出ステップ（Ｓ２０７ａ）で算出した無限大となる測地距離は、ｇ²（ｃ，ｄ），ｇ²（ｅ，ｆ），ｇ²（ｆ，ｇ）であったとする。この場合には、それぞれ、移動軌跡ｃと移動軌跡ｄとの間、移動軌跡ｅと移動軌跡ｆとの間、移動軌跡ｆと移動軌跡ｇとの間が不連続点であると判定し、図１７（ｄ）に示されるクラスタリングの場合と同様に測地距離が無限大となる組と無限大にならない組とを整理して、θ₁、θ₂、θ₃、θ₄の合計４つのクラスタに分離する。以上の処理によって、測地距離が無限大とならない移動軌跡の組は連続とすることで同じクラスタと判定することができ、測地距離が無限大となる移動軌跡の組は不連続とすることによって、不連続点をもとにクラスタを分離することができる。

つまり、領域抽出候補生成部１４０１は、動き解析部１０２で算出された複数の移動軌跡のそれぞれについて、当該移動軌跡との距離がＮ番目に小さい距離を特定し、特定した複数の距離について大きい順から選択した複数の値を、複数の領域抽出候補を生成するための複数の閾値として生成してもよい。

次に、ステップＳ１５０１にて、領域抽出候補選択部１４０２は、ステップＳ２０８ａで行った複数のクラスタリング結果から、あらかじめ設定したクラス数（あるいは、外部から指示されたクラス数）に最も近いクラスタ数となったクラスタリング結果を選択する。図１７（ａ）〜図１７（ｅ）に示される例で説明すると、クラス数Ｍ＝４と設定した場合には、閾値Ｒ₂の時のクラスタリング結果（図１７（ｅ））が選択される。また、クラス数Ｍ＝２と設定した場合には、閾値Ｒ₁の時のクラスタリング結果（図１７（ｄ））が選択され、出力部１０８にて、各移動軌跡にラベル付けした結果を出力する。

なお、本第３変形例では、移動軌跡に対して上記式３もしくは上記式４のような距離を計算することによって、画素の位置と動きの類似性とを考慮した領域抽出が可能になる。そのため、図１７に示されるクラスタリングの例では、クラス数Ｍ＝２と設定した場合には、下半身の動きが上半身の動きと大きく異なることが反映されて、上半身と下半身とが別々のクラスタとして領域抽出でき、クラス数Ｍ＝４と設定した場合には、Ｍ＝２の場合に加えて、頭部の動きと腕の動きの違い、上腿と下腿との動きの違いが反映され、頭部、腕、上腿（じょうたい）、下腿（かたい）を別々のクラスタとして領域抽出することができる。なお、ここでは、閾値の数は２個に限るものではなく、何種類用意してもかまわない。また、設定したクラス数と同数のクラスタリング結果がない場合には、最も近いクラスタ数となったものを選択してもよいし、設定したクラス数よりも小さいクラス数の中から一番近いクラスタ数となったクラスタリング結果を選択してもよいし、同様に、設定したクラス数よりも大きいクラス数の中から一番近いクラスタ数となったクラスタリング結果を選択してもよい。さらには、複数のクラス数を設定して処理を行うことによって、図１７（ｄ）及び図１７（ｅ）に示されるクラスタリング例のように、図１７（ｄ）で上半身として抽出された領域は、図１７（ｅ）では、頭部、腕として抽出することができる。すなわち、階層的な領域抽出を行うことも可能になる。これにより、被写体の構造を反映した領域抽出も可能になるという効果があるため、例えば、スポーツにおける動作や歩行を解析する場合に、クラス数によって、詳細なパーツの分析から、例えば領域重心の移動や、上半身のみの動き分析などの粗い被写体の動き分析をも同時に行うことが可能になる。

さらに、本方法は、同様の方法によって、一つの移動体のボディパーツの検出、領域抽出だけでなく、複数人が存在するシーンにおいて、それぞれの移動体を検出、領域抽出することも可能である。

このように、複数の閾値に対して、測地距離を用いて算出した不連続点をもとにクラスタリングを行い、規定したクラス数に最も近いクラスタリング結果を選択することによって、結果として検出及び領域抽出を行うことができる。

以上のようにして、本第３変形例における移動体検出装置１００ａによれば、画素間の距離あるいは移動軌跡の類似性に基づいてクラスタリングを行うことによって、類似する移動軌跡がまとめられて領域抽出が行われるので、距離が近く、かつ類似する動きをする部位が一つの領域として認識され、動画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、動画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域抽出をすることができる。また、前処理として人物候補領域を設定する必要がなく、さらに、あらかじめ抽出すべき移動体に関する形状情報等の事前情報を保持、または学習しておく必要がない。また移動軌跡の類似性に基づいて複数の閾値を用いてクラスタリングを行うため、画像中でさまざまな大きさの移動体が存在する場合や、移動体の一部が隠れている場合に特に問題となる人物候補領域の検出ミス、それに起因する領域抽出の失敗がない。

以上のようにして、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出、つまり移動体検出を行うことができる。

（実施の形態１の第４変形例）
次に、本発明の実施の形態１の第４変形例における移動体検出装置について説明する。ここでは、実施の形態１において移動体を検出及び部位を領域抽出した結果を画像として表示する機能を付加した例について説明する。このような第４変形例に係る移動体検出装置１００ｂは、図１８に示す構成図のように、基本的には実施の形態１と同じ構成を備えるが、実施の形態１における出力部１０８に代えて、画像表示部１７０１を有する出力部１０８ａを備え、この特徴により、領域抽出部１０７によって抽出した領域を画像としてモニタ等に表示することが可能である。

出力部１０８ａは、実施の形態１における出力部１０８の機能に加えて、画像表示部１７０１を有する。この画像表示部１７０１は、領域抽出部１０７で得られた領域抽出の結果を、画像入力部１０１で受け付けた動画像（ピクチャ）に重ねて表示する処理部であり、例えば、ＬＣＤ等のディスプレイ及びその表示制御部からなる。図１９（ａ）及び図１９（ｂ）は、画像表示部１７０１による表示例を示す図である。ここでは、図１９（ａ）に第３変形例で抽出した結果である、Ｍ＝３として移動体をそれぞれ領域抽出した例を、図１９（ｂ）にＭ＝８として、１つの移動体の領域抽出を行った例を示す。このように、領域θ_mに対応する画像上での領域を色分け等して、抽出された領域をそれぞれ区別できるようにしてモニタ等に表示する。図１９（ａ）のように移動体ごとに色分けして表示してもよいし、図１９（ｂ）のように、部位ごとに別個に表示してもよい。つまり、図１９から分かるように、本変形例に係る移動体検出装置１００ｂは、上述した領域抽出によって、複数の移動体を検出することもできるし（図１９（ａ））、一つの移動体を構成する複数の部分を検出する、つまり、一つの移動体に対して領域を抽出することもできる（図１９（ｂ））。

ここで、上記式２に示した移動軌跡ｉは、アウトライアを除いて領域θ_mのいずれかに対応する。そのため、領域θ_mに属する移動軌跡ｉに基づいてピクチャ上の画素を選択し、領域ラベルｍに基づいて色分け等を行えば容易に抽出した領域を画像上に表示することができる。これによって、本第４変形例における移動体検出装置１００ｂによれば、実施の形態１で説明した、形状が変化しながら移動する人物等を含む動画像に対しても正しく領域抽出できるという効果に加えて、抽出した領域を動画像上に表示することで、ユーザがそれぞれの移動体もしくは移動体の部位、さらにはその動きを区別しやすくなるという効果がある。また、他の方法として、画像表示部の代わりに、領域が規定の数以上抽出された場合に、画像表示の代わりに、音によって抽出したことを知らせる警報部を設けても良いし、さらには、警報部と画像表示部とを組合せることも可能である。

（実施の形態１の第５変形例）
次に、本発明の実施の形態１の第５変形例における移動体検出装置について説明する。ここでは、実施の形態１において移動体を検出及び部位を領域抽出した結果をそれぞれ抽出した領域ごとに記録・送信する機能を付加した例について説明する。このような第５変形例に係る移動体検出装置１００ｃは、図２０に示す構成図のように、基本的には実施の形態１と同じ構成を備えるが、実施の形態１における出力部１０８に代えて、記録・送信部１９０１を有する出力部１０８ｂを備える。

出力部１０８ｂは、実施の形態１における出力部１０８の機能に加えて、記録・送信部１９０１を有する。この記録・送信部１９０１は、領域抽出部１０７での領域抽出の結果に基づいて、画像入力部１０１で受け付けたピクチャにおける領域を特定し、特定した領域ごとに、対応する領域抽出の結果を、内蔵又は外付けのメモリやハードディスク等の記録媒体に記録（あるいは、自ら保持）する、又は、通信インターフェース及び伝送路等を介して外部に送信する処理部である。つまり、この記録・送信部１９０１は、画像表示の場合と同様に、領域抽出した結果画像を領域ラベルθ_mに応じてそれぞれ別々に記録・送信する。また、各領域に属する動き情報を以下のように平均化することで、動き情報を圧縮することも可能である。通常であれば画素ごとに動き情報を保持する必要があるが、以下の処理を行えば１つの領域に対して１つの動きを保持するだけでよい。例えば、動き情報として画素ｉの動きベクトル（ｕⁱ _t，ｖⁱ _t）を用いた場合には、以下のように抽出された領域ごとに平均化した動き情報を計算することができる。

ここで、Ｃ_mは、領域θ_mに属する画素数もしくは移動軌跡の数である。

は、それぞれ、領域θ_mに属する画素の動きベクトルである。図２１に、図１９（ａ）の処理結果について時刻Ｔからｔ枚の画像を入力として領域抽出を行い、その結果を用いて、セグメント領域を記録、送信する場合のデータ構造例を示す。識別子として各領域ラベルθ_mと、各領域ラベルθ₁からθ₃に属する時刻Ｔにおけるピクチャの画素位置と画素値、そして、各領域ラベルに対応する時刻Ｔから時刻Ｔ＋ｔまでの動きベクトルｕ^m _T，ｖ^m _T，ｕ^m _T+1，ｖ^m _T+1，．．．，ｕ^m _T+t，ｖ^m _T+tを記録、送信する。もちろん、画像の画素位置と画素値を用いる代わりに、時刻Ｔにおける１枚のピクチャに対して、画素ごとに各領域ラベルを付けて送信してもかまわない。これにより、動き情報を領域数分送信するだけで済むために、ピクチャをｔ枚送信する場合と比べて、効率よく記録、送信することができるといった効果がある。特には、領域数が画素数に比べて少なければ少ないほど効率がよい。

なお、アフィン動きを用いて動き情報を圧縮する場合は、上記式４３及び上記式４４の代わりに、アフィン動きに基づいて移動した画素位置の平均値を計算するとよい。

以上のようにして、本第５変形例における移動体検出装置１００ｃによれば、画素の動き情報を圧縮しながら領域の記録、送信が可能である。これによって、実施の形態１で説明した、形状が変化しながら移動する人物等を含む動画像に対しても正しく領域抽出できるという効果に加えて、それぞれの領域に対して１つの動き情報を用いることで高い符号化効率を実現できるという効果がある。

さらには、別途、セグメント領域復元部を設けることによって、送信、記録した情報を復元することも可能である。具体的には、図１９（ａ）及び図１９（ｂ）に示した各領域ラベルに対応する画素位置と画素値から、時刻Ｔのピクチャを復元する。さらに、画素の移動軌跡情報を用いて、時刻Ｔの各画素を移動させることによって、時刻Ｔ＋１からＴ＋ｔのピクチャを復元することが可能である。ここで、固定カメラを用いる場合には、画素の移動軌跡情報が０でない情報のみを用い、さらにセグメント領域復元部にて背景画像をあらかじめ取得、保持しておくことで、復元した画像を背景画像に上書きしてもよい。これにより、効率よく送信、記録された情報を用いて、低計算量でピクチャとして復元できるといった効果がある。

（実施の形態２）
次に、本発明の実施の形態２に係る移動体検出装置及び移動体検出方法について説明する。

本実施の形態では、実施の形態１で説明した移動体検出方法を用いて、移動体を検出及び領域抽出を行った結果から、移動体の動きを予測する機能を付加した移動体検出装置について説明する。

図２２は、実施の形態２における移動体検出装置１００ｄの構成を示す図である。図２２に示すように、本実施の形態における移動体検出装置１００ｄは、画像入力部１０１、動き解析部１０２、領域分割部１０３、距離計算部１０４、測地距離変換部１０５、近似測地距離算出部１０６、領域抽出部１０７、出力部１０８ｃに、動き予測部２１０１を付加することによって、移動体の動きを予測する機能を有する。

動き予測部２１０１は、領域抽出した結果を入力とし、各領域に含まれる画素の移動軌跡から代表軌跡を算出し、前記代表軌跡をもとに移動体の動きを予測する。

出力部１０８ｃは、実施の形態１における出力部１０８の機能に加えて、動き予測部２１０１で予測した移動体の位置や移動体部位の位置に関する情報を出力する。

図２３に実施の形態２による処理のフローチャートを示す。ステップＳ２０１からＳ２０８までは、実施の形態１と同様であるため説明を省略する。

ステップＳ２２０１では、動き予測部２１０１は、ステップＳ２０８で行った領域抽出結果を用いて、以下のようにクラスタの代表点及びその代表軌跡を求める。

ここで、領域θ_mに属する画素の移動軌跡を

と表現することとする。次式のように、動き予測部２１０１は、クラスタ領域θ_mごとに代表の移動軌跡を求める。ここでは、代表の移動軌跡として、平均移動軌跡を算出する例について説明するが、下記の計算に対して画素の移動軌跡

ごとに重み付け等を行ってもよいし、画像上でのクラスタの重心に対応する画素の移動軌跡を代表の移動軌跡としてもよい。

ここで、Ｃ_mは、領域θ_mに属する画素数もしくは画素の移動軌跡の数である。

図２４に上記式４５に基づいてクラスタ領域θ_mごとに代表の移動軌跡を求める例を示す。ただし、見やすさを考慮して、本図では、頭部に対応するクラスタ領域θ₁と脚部に対応するクラスタ領域θ₈に関する代表の移動軌跡のみを示している。図中の×は、それぞれ時刻ｔに対応する

の要素であり画素位置を示している。さらに、上記式３や上記式４に示したように、非線形空間上でのクラスタリングによる領域抽出は、画素動きの類似性を考慮して行われるため、単純に近接した画素の移動軌跡の時間平均を求めるような方法と比較して、動きが類似した画素の移動軌跡のみを用いて算出できるため、より高精度に代表の移動軌跡を求めることができる。このように、クラスタ領域ごとに代表の移動軌跡を求めることによって、部位ごとの動きを正確かつ簡便に表現することができる。

次に、ステップＳ２２０２では、動き予測部２１０１は、ステップＳ２２０１にて算出した代表の移動軌跡から、時刻Ｔより先の時刻における移動体の位置を予測する。その具体例として、初めに、代表の移動軌跡から加速度を算出し、Ｔ＋１以降の移動体の位置を予測する例について説明する。３枚以上の時系列画像が入力された場合は、次式のように代表の移動軌跡

ごとに加速度ベクトルｓ^mを得ることができる。

ここで、ｕ^m _tは動きベクトルであり、次式のように表すことができる。

上記式４６の加速度ベクトルを用いて、動き予測部２１０１は、図２４にて破線の矢印及び○で示したように、移動体の部位ごとに、時刻Ｔ＋t'における移動体の部位位置ｐｏｓ_m（Ｔ＋ｔ'）を以下のように予測することができる。ここでは、移動体の部位を例として挙げたが、図１９に示した検出例から、次式のように移動体ごとの位置を予測することも可能である。

そして、出力部１０８ｃにて、ステップＳ２２０２で予測した移動体の位置や移動体部位の位置を出力する。これにより、加速度を加味した予測が可能である。動きが急激に早くなったり、急激に止まったりといった場合に、その加速度を反映して移動体の位置を予測することができるといった効果がある。また、動きベクトルの代わりにアフィンパラメータを用いてもかまわない。アフィンパラメータは、回転運動を含む動きの表現が可能であり、腕あるいは足の回旋運動の表現に適しているため、特に関節物体の位置をより正確に予測することができる。

さらに、前述した動きベクトルと加速度の代わりに、代表の移動軌跡ｘ^mに対して直接Ｎ次関数をフィッティングすることも可能である。Ｔ枚の時系列に並んだ画像を入力とした場合、

に含まれるＴ個の画像上での位置情報に対してＮ次の関数でフィティングすることができる。これにより、フィッティングした関数の値に沿うように、時刻（Ｔ＋ｔ'）における画像上での位置ｐｏｓ_m（Ｔ＋ｔ'）を推定することが可能である。具体的には、関数でフィッティングすることによって、より滑らかな動きを表現することが可能となるため、より高精度な予測が可能となる。特には、フィッティングした関数に沿った予測が可能であるため、フィッティングした関数が本来の動きが近い場合に動き予測の精度が高い。もちろん、これらの画像上での位置予測は、時間的内挿にも利用可能である。

以上のように、本実施の形態における移動体検出装置１００ｄによれば、動きが類似した画素の移動軌跡を同一のクラスタとして算出できるため、高精度に代表の移動軌跡を求めることができる。特に関節物体等に対して部位ごとの動きを表現することが可能であり、前処理として人物候補領域を設定することなく、高精度に移動体の部位位置を予測することが可能であるという効果がある。

（実施の形態３）
次に、本発明の実施の形態３に係る移動体検出装置及び移動体検出方法について説明する。

本実施の形態では、実施の形態１で説明した移動体検出方法を、複数のカメラ映像に対して移動体を検出及び領域抽出を行う場合に拡張した移動体検出装置について説明する。

図２５は、実施の形態３における移動体検出装置１００ｅの構成を示す図である。図２５に示すように、本実施の形態における移動体検出装置１００ｅは、複数カメラ画像入力部２４０１を有する画像入力部１０１ａ、動き解析部１０２ａ、領域分割部１０３ａ、距離計算部１０４ａ、測地距離変換部１０５ｂ、近似測地距離算出部１０６ｂ、領域抽出部１０７ｂ、出力部１０８ｄからなる。なお、本実施の形態における移動体検出装置１００ｅは、基本的には、実施の形態１と同じ機能を有する。以下、実施の形態１と異なる点を中心に説明する。

画像入力部１０１ａは、実施の形態１における画像入力部１０１の機能に加えて、複数カメラ画像入力部２４０１を有する。この複数カメラ画像入力部２４０１は、図２６（ａ）及び図２６（ｂ）に示すように、複数のカメラからの映像であって、かつ、撮影領域が一部重複した映像の入力を受け付ける処理部であり、例えば、ビデオカメラ、あるいは、ビデオカメラと接続された通信インターフェース等である。なお、複数カメラ画像入力部２４０１に入力される映像の撮影条件としては、図２６（ａ）及び図２６（ｂ）に示されるようなカメラ配置や個数を限定するものではなく、カメラ映像間で重複撮影領域が設定されるように配置されていればよい。

動き解析部１０２ａは、複数カメラ画像入力部２４０１で受け付けたそれぞれのカメラから得られたピクチャを構成する１個以上の画素からなるブロックごとに実施の形態１と同様に移動軌跡を算出する処理部である。また、複数のカメラ画像を重複撮影領域をもとに統合して、１つの画像としても構わない。その場合は、統合した画像を１つの画像として実施の形態１と同じ方法により処理を行うことができるので、以下の説明は省略する。

領域分割部１０３ａは、重複撮影領域における移動軌跡の少なくとも１つを共有点として設定する処理部である。ここでは、領域分割部１０３ａは、カメラｐから得られた画像から得られる移動軌跡が部分集合ｐに対応するように、複数のカメラの動画像のそれぞれについて算出された複数の移動軌跡を、分割された複数の部分集合として記憶する。なお、各カメラ画像を実施の形態１と同様に部分集合に分割しても構わない。この場合の処理については、実施の形態１と同じであるので、以下の説明を省略する。

距離計算部１０４ａは、各カメラから得られた画像から算出された移動軌跡について、それぞれ複数の移動軌跡間の類似性を表す距離を算出する処理部である。移動する物体の形状変化を捉えるために、動き解析部１０２ａで算出した前記部分集合に含まれるブロックｉの移動軌跡と、ｉ以外の前記部分集合に含まれるブロックの移動軌跡とを用いて、ブロックの動きの類似性を表す距離を算出する処理部である。例えば、Ｎ個のブロックの移動軌跡を用いた場合、算出される距離はＮ×Ｎの距離マトリクスとなる。ここでは、ブロックの動きの類似性を評価する距離を計算することによって、ブロック間の距離が動きによって変化する移動体、特に、関節物体のように形状が変化しながら移動する人物等の物体の動きを距離マトリクスとして表現することが可能である。

測地距離変換部１０５ｂは、距離計算部１０４ａで算出した各カメラ画像に対応する部分集合における距離マトリクスに対して、それぞれ測地距離変換を行う処理部である。

近似測地距離算出部１０６ｂは、測地距離変換部１０５ｂで算出された各部分集合、つまり各カメラ映像に対応する部分集合における測地距離マトリクスを共有点を用いて統合することによって、部分集合間、つまりカメラ映像間をまたがる近似的な測地距離を算出する処理部である。

領域抽出部１０７ｂは、近似測地距離算出部１０６ｂで算出された近似的な測地距離に基づいて、類似する移動軌跡をもつブロックから構成される領域を特定することによって、領域抽出をする処理部である。

出力部１０８ｄは、実施の形態１における出力部１０８の機能に加えて、領域抽出部１０７で行った複数のカメラ画像を統合して領域抽出、つまり被写体の検出を行った結果を出力する。

以下に、本発明の移動体検出方法、つまり移動体検出装置１００ｅの動作として、図２７のフローチャートを用いて移動する移動体を検出、領域抽出する例について説明する。

まず、ステップＳ２０１ｂにて、複数カメラ画像入力部２４０１は、図２６（ａ）及び図２６（ｂ）に示すように複数のカメラからそれぞれ複数枚のピクチャを受け付ける。

次に、ステップＳ２０２ｂにて、動き解析部１０２ａは、それぞれのカメラから得られた少なくとも２枚のピクチャからブロックの動きを算出する。ここでの処理は、各カメラから得られたピクチャに対してそれぞれ実施の形態１のステップＳ２０２の処理を行えばよいため、説明を省略する。

次に、ステップＳ２０３ｂにて、動き解析部１０２ａは、ステップＳ２０２ｂで算出した動き情報を用いて実施の形態１で説明したステップＳ２０３と同じ処理を行うことで、カメラ画像ごとに上記式２に示した移動軌跡を算出する。実施の形態１と異なるのは、複数のカメラ映像に対して、それぞれステップＳ２０３の処理を行う点であるため、以下の説明を省略する。なお、便宜上、各カメラ画像から得られた移動軌跡を区別するため、上記式２を以下の式４９のように書き換える。

ここで、ｐ＿ｉは、各カメラｐから得られた画像の移動軌跡ｉである。

次に、ステップＳ２０４ｂにて、領域分割部１０３ａは、図２８（ａ）及び図２８（ｂ）に示すように、カメラ画像に応じてＰ個の部分集合とする。ここで、部分集合とは、各カメラ画像にから得られた移動軌跡の集合である。なお、図２８（ａ）は図２６（ａ）に、図２８（ｂ）は図２６（ｂ）にそれぞれ対応する。この時、例えば、図２８（ａ）に示すように、領域分割部１０３ａは、カメラ画像２７０１とカメラ画像２７０２において、重複撮影領域２７０３上に共有点２７０４を設定する。もちろん、本発明は、図２８（ｂ）に示すように、カメラの数は２個に限定されるものではなく、カメラ画像２７１０〜２７１３において、それぞれの重複撮影領域２７０３上に共有点２７０４を設定してもよい。ここで、重複撮影領域とは、複数の異なる位置に置かれたカメラから少なくとも一部、同一の場所が撮影されている場合における、画像上での領域である。さらに、共有点は、前記重複撮影領域上に少なくとも１点以上設定すればよい。以下の処理は、複数のカメラｐから得られた画像およびそれに対応する移動軌跡を分割した部分集合ｐと考えて処理を行えばよい。以下、実施の形態１のステップＳ２０４と同じ処理を行えばよいため、説明を省略する。

次に、ステップＳ２０５ｂにて、距離計算部１０４ａは、ステップＳ２０４ｂにてカメラｐで得られた画像ごとに計算された移動軌跡を部分集合ｐに属する移動軌跡と考えて、距離マトリクスを算出する。本ステップにおける以降の処理は、複数のカメラｐから得られた画像およびその移動軌跡を実施の形態１で分割した部分集合ｐと考えて処理を行えばよい。以下、実施の形態１のステップＳ２０５と同じ処理を行えばよいため、説明を省略する。

次に、ステップＳ２０６ｂにて、測地距離変換部１０５ｂは、ステップＳ２０５ｂにてカメラｐで得られた画像ごとに計算された移動軌跡を部分集合ｐと考えて、測地距離を計算する。本ステップにおける以降の処理は、実施の形態１のステップＳ２０６と同じであるため、説明を省略する。

次に、ステップＳ２０７ｂにて、近似測地距離算出部１０６ｂは、ステップＳ２０６ｂにてカメラｐで得られた画像ごとに計算された測地距離マトリクスを統合する。ここでは、図２８に示したように重複撮影領域上の共有点を用いて、実施の形態１のステップＳ２０７と同じ処理を行えばよい。そのため、説明は省略する。

次に、ステップＳ２０８ｂにて、領域抽出部１０７ｂは、近似測地距離算出部１０６ｂで統合した測地距離を用いて、不連続点を検出することによって類似する移動軌跡をもつブロックから構成される領域を特定することによって領域抽出を行う。ここでの処理についても、実施の形態１のステップＳ２０８と同じ処理を行えばよいため、説明を省略する。

以上のようにして、実施の形態３における移動体検出装置１００ｅによれば、複数のカメラ画像を入力として、形状が変化しながら移動する人物等の移動体を含む画像や、異なるカメラ画像間をまたがるように移動する移動体に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出、つまり移動体検出を行うことができる。

（実施の形態４）
次に、本発明の実施の形態４に係る移動体検出装置及びその方法の応用例であるデータ分類装置及びその方法について説明する。

図２９は、実施の形態４におけるデータ分類装置２８００の構成を示す図である。図２９に示されるように、このデータ分類装置２８００は、ベクトルデータ入力部２８０１、領域分割部１０３、距離計算部１０４、測地距離変換部１０５、近似測地距離算出部１０６、データ分類部２８０２、出力部２８０３を備える。ここでは、上述した移動軌跡等の多次元のベクトルデータを入力として、そのデータを分類する。

ベクトルデータ入力部２８０１は、ベクトルデータを受け付ける処理部である。ベクトルデータは、例えば、ステレオカメラやＣＧ等から得られた３次元位置を示すデータであってもよいし、その時間変化を表すデータであってもよい。

領域分割部１０３は、ベクトルデータ入力部２８０１で得られた多次元ベクトルについて、実施の形態１の第１変形例と同じように、多次元ベクトルの空間上でＰ個の部分集合に分割するとともに、分割された複数の部分集合の一つ（例えば、隣接する部分集合に対して、当該部分集合の少なくとも一方）に含まれる一部のベクトルデータを共有点として設定する。

以下、距離計算部１０４、測地距離変換部１０５、近似測地距離算出部１０６の構成は、実施の形態１および実施の形態１の第１変形例と同じであるため、説明を省略する。つまり、これらの実施の形態及び変形例においては、処理対象のデータが「移動軌跡」であったが、本実施の形態では、処理対象のデータが「ベクトルデータ」である点だけが異なり、各処理部での処理内容は同一である。

データ分類部２８０２は、実施の形態１における領域抽出部１０７と同様に、類似する多次元ベクトルデータをクラスタリングすることによって、データを分類する。ここでは、距離計算部１０４で算出した距離マトリクスを用いて、測地距離変換部１０５、近似測地距離算出部１０６にて得られた近似的な測地距離から、多次元ベクトル間の距離の分布における不連続性を検出し、検出した不連続点よりも小さい距離だけ離れた多次元ベクトルどうしが一つのクラスタとなるように、不連続点をもとにそれぞれ連続的に分布する多次元ベクトルをクラスタリングすることによって、多次元ベクトルデータを分類する。データ分類部２８０２での結果は、出力部２８０３によって、メモリやハードディスク等へ書き込まれたり、ディスプレイパネル等に表示されたりする。

なお、本実施の形態におけるデータ分類装置についても、移動体検出装置と同様に、各構成要素のうち、ディスプレイ装置等の入出力装置を除く構成要素については、図２に示されるコンピュータ１００２で実行されるプログラム及びデータ（つまり、ソフトウェア）で実現してもよいし、電子回路、メモリ及び記録媒体等のハードウェアで実現してもよいし、それらの混在で実現してもよい。

以下に、本発明のベクトルデータの分類方法、つまり、データ分類装置２８００の動作として、図３０のフローチャートを用いて多次元ベクトルデータを分類する例について説明する。

まず、ステップＳ２９０１にて、ベクトルデータ入力部２８０１は、複数のベクトルデータを受け付ける。ここで、ベクトルデータとは、上記式２に示すような複数の要素からなる多次元ベクトルであれば何でもよい。

ステップＳ２０４からステップＳ２０８までは、実施の形態１の第１変形例において、移動軌跡を多次元ベクトルデータとして処理を行えばよい。

このように、本実施の形態４におけるデータ分類装置２８００によれば、移動軌跡だけでなく、例えばレンジファインダやステレオカメラから得られた３次元位置を表すデータを多次元ベクトルとして入力すれば、３次元位置に基づいて３次元の被写体を分類することもできる。さらに、入力としての多次元ベクトルデータは、多次元尺度構成法で分析可能なベクトルデータであれば何でもよく、測地距離変換を行うことで、非線形性の高いデータに対しても分類がより高精度になり、かつ高速に処理ができるという効果がある。

（実施の形態１の補足）
ここでは、実施の形態１で説明した方法を用いた場合に、領域抽出可能な移動体の性質について補足する。図３１（ａ）〜図３１（ｃ）に実施の形態１の方法を用いた場合に分離可能な図形の一例を示す。実施の形態１の方法を用いることで、それぞれ図形θ₁と図形θ₂とに領域抽出することが可能である。ここでは、図３１（ａ）から図３１（ｃ）に示したそれぞれの図形θ₁と図形θ₂の移動方向は、同一であっても、異なっていてもかまわない。ただし、図形θ₁に属する画素はすべて同じ動きであり、かつ図形θ₂に属する画素はすべて同じ動きであることが条件である。

実施の形態１におけるステップＳ２０５およびＳ２０７では、図６に示したような特徴を持つ測地距離変換を行う。これによって、通常のユークリッド距離とは異なり、移動軌跡から移動軌跡を辿（たど）った距離を算出することができるという特徴がある。そのため、図３１（ａ）から図３１（ｃ）に共通するように湾曲した形状に対して、その形状に沿った距離を算出することができる。

さらに、ステップＳ２０８では、測地距離が無限大となる移動軌跡と移動軌跡の間を不連続点としてクラスタリングを行う。このため、移動軌跡と移動軌跡の間に閾値以上の距離がある場合には、その不連続点をもとに、それぞれ図形θ₁と図形θ₂とを領域抽出することが可能である。

以上のように、本実施の形態を用いれば、湾曲した形状を含む移動体でかつ一定の不連続点がある場合に、不連続点をもとに領域を抽出することが可能である。

一方で、ステップＳ２０５およびＳ２０７の処理を行わない場合には、図形θ₁に属する移動軌跡と図形θ₂に属する移動軌跡との距離がユークリッド距離で算出されるため、図６で説明した場合と同様に、点ｉと点ｊの距離は、点ｉと点ｋの距離より大きくなる。すなわち、同一クラスに属している点間の距離が別クラスに属している点間の距離よりも大きくなる。さらに、ステップＳ２０５の処理にて、測地距離変換を行わないとデータを辿（たど）る処理を行わないために、隣接する移動軌跡と移動軌跡の間が不連続か連続かを判断することができない。そのため、図３１に示すような例では、湾曲した形状を含む移動体でかつ一定の不連続点がある場合に、不連続点をもとに領域を抽出することは難しい。

よって、実施の形態１では、このような測地距離を用いたクラスタリングにより、直線的な距離であるユークリッド距離を用いたクラスタリングに比べ、移動軌跡間の類似性に関する連続性を考慮したクラスタリングが行われ、入り組んだ複雑な関係の領域どうしであっても、同一の物体（又は部位）に属するか別個の物体（又は部位）に属するかが確実に弁別される。

以上、本発明に係る移動体検出装置及びその方法、データ分類装置及びその方法について、実施の形態及びその変形例に基づいて説明したが、本発明は、これらの実施の形態及び変形例に限定されるものではない。本発明の趣旨を逸脱しない範囲で、各実施の形態に対して当業者が思いつく各種変形を施して実現される形態や、各実施の形態及び変形例における構成要素を任意に組合せて実現される形態も本発明に含まれる。

たとえば、実施の形態１の第４変形例に対して、同第５変形例における記録・送信部１９０１及び実施の形態２における動き予測部２１０１を追加して構成される移動体検出装置も本発明に含まれる。

また、本発明に係る移動体検出装置は、上記実施の形態における領域分割部に代えて、図３２に示される移動体検出装置１０３ｆが備える領域分割部１０３ｂを備えてもよい。この領域分割部１０３ｂは、実施の形態１における領域分割部１０３の機能に加えて、動き解析部１０２によって算出された移動軌跡を複数の部分集合に分割する処理を支援する２つの処理部（手動設定部１０３１、自動設定部１０３２）を有する。

手動設定部１０３１は、画像入力部１０１が受け付けたピクチャに対してユーザが指定した空間分割に従って、動き解析部１０２によって算出された移動軌跡を複数の部分集合に分割する。たとえば、手動設定部１０３１は、ユーザがマウス等を用いて、ピクチャ上で、移動体が存在する（あるいは、移動する）と予想される領域を指定すると、その領域を、一つの部分集合（つまり、その領域に含まれるブロックに対応する移動軌跡を一つの部分集合）に分割する。例えば、移動体の動線が通路に沿っている場合等には、その通路が一つの領域になるようにするとよい。

一方、自動設定部１０３２は、動き解析部１０２によって算出された移動軌跡を、ユーザの入力を介さずに、自動で、複数の部分集合に分割する。たとえば、自動設定部１０３２は、動き解析部１０２で検出された動きを参照し、予め設定された閾値を超える大きさの動きをもつ領域が一つの領域となるようにし、その他の領域を複数の部分集合に分割することで、上記移動軌跡を複数の部分集合に自動分割する。また、動き解析部１０２で検出された動きを時間的に累積して、累積値の大きい領域を一つの領域となるようにしてもよい。

例えば、監視システム等における固定されたカメラ（パン、チルト、ズームを含む）においては、撮影領域が予め分かっている。そのため、画像上において移動体が通る領域も予め特定することができる場合が多い。このような時に、特に検出精度の低下を防ぐことができるという効果がある。

このような領域分割部１０３ｂにより、移動体が存在する領域が複数の部分集合に分割されてしまうことによって、測地距離計算の精度が下がる危険性を回避することができるため、移動体の検出精度の低下を防ぐことができる。

本発明は、動画像中の移動体の全部又は一部を検出する装置、つまり、複数枚の画像における１個以上の画素からなるブロックの動きに基づいて、形状が変化しながら移動する人物等の移動体を含む画像を領域抽出することによって画像中の移動体を検出する移動体検出装置として、例えば、運動解析装置、監視装置、ビデオカメラあるいはＴＶ等のＡＶ機器に内蔵させる移動体検出装置等として利用することが可能である。

１００、１００ａ〜１００ｆ 移動体検出装置
１０１、１０１ａ 画像入力部
１０２、１０２ａ 動き解析部
１０３、１０３ａ、１０３ｂ 領域分割部
１０４、１０４ａ 距離計算部
１０５、１０５ａ、１０５ｂ 測地距離変換部
１０６、１０６ａ、１０６ｂ 近似測地距離算出部
１０７、１０７ａ、１０７ｂ 領域抽出部
１０８、１０８ａ〜１０８ｄ、２８０３ 出力部
１０３１ 手動設定部
１０３２ 自動設定部
１４０１ 領域抽出候補生成部
１４０２ 領域抽出候補選択部
１７０１ 画像表示部
１９０１ 記録・送信部
２１０１ 動き予測部
２４０１ 複数カメラ画像入力部
２８００ データ分類装置
２８０１ ベクトルデータ入力部
２８０２ データ分類部

本発明は、画像中の移動体を検出する装置等に関し、特に複数枚の画像から構成される動画像から、画像の動き情報に基づいて、形状が変化しながら移動する人物等の移動体の全部又は一部の領域を特定する領域抽出をすることによって移動体を検出する装置に関する。

形状が変化しながら移動する人物等の移動体を検出したり、移動体を含む画像領域を抽出したりする技術の１つとして、画像から対象物の候補領域を抽出する手法と、抽出した対象物の候補領域に対しあらかじめ用意した対象物モデルを当てはめる手法とを組合せた方法がある。例えば、特許文献１では、対象物候補領域として複数の画像から人物等の対象物のシルエット画像を抽出し、前記対象物に関する知識から対象物の部位をあらかじめパラメータ化した人物等の対象物に関するモデルを用いて、抽出したシルエット画像に対してそのモデルを当てはめる方法が開示されている。これによって、形状が変化しながら移動する人物等の移動体に対してパラメータ化したモデルを当てはめることができるため、移動体の検出及び領域抽出が可能となる。

また、非特許文献１では、固定された１つの被写体を複数の視点から撮影した画像を入力として、各画像の輝度値に基づいて画像間の類似性を表すユークリッド距離を計算し、それに対し測地距離変換を行った後、次元圧縮を行うことによって、類似した視点から撮影した画像が２次元空間上で近距離となるように射影することを可能にする方法が開示されている。ここでは、従来のＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）等の線形次元圧縮方法と比較して、測地距離変換によって、より低次元に圧縮可能であり、さらに、非線形に分布するデータに対しても取扱いが可能なことが示されている。

ここで、非特許文献１は、取り扱う全データ数をＮとした場合に、Ｎ²の要素数を持つマトリクスを用いて、測地距離変換および次元圧縮を行う必要がある。そのため、データ数Ｎが大きい場合に、計算量が膨大になるという問題があることが知られている。

これに対し、非特許文献２および非特許文献３では、データ点の中からデータ点数よりも少ない数のランドマーク点を設定し、設定したランドマーク点を用いて前記マトリクスを生成し測地距離変換および次元圧縮を行うことによって、計算量を削減する方法が提示されている。

特開平８−２１４２８９号公報

Joshua Tenenbaum, Vin de Silva, John Langford,"A Global Geometric Framework for Nonlinear Dimensionality Reduction", Science, VOL290, pp.2319-2322, 22 December, 2000 Vin de Silva and Joshua B. Tenenbaum,"Global Versus Local Methods in Nonlinear Dimensionality Reduction"，Neural Information Processing Systems 15, 705-712, 2002 Vin de Silva and Joshua B. Tenenbaum,"Sparse Multidimensional Scaling using Landmark Points"，Technical Report, Stanford University, June 2004

しかしながら、上記特許文献１の技術では、特に街頭等、人物等の移動体が行き交うシーンにおいて、正しく移動体を抽出することができないという問題がある。上記特許文献１に代表される領域抽出手法は、前述のように画像から対象物候補領域を抽出する必要がある。この時、正しく対象物候補領域を抽出できなければ、対象物をパラメータ化したモデルを正確に対象物候補領域に当てはめることが不可能になる。特に、混雑したシーンにおいては、対象物候補領域を正しく抽出することは困難である。例えば、複数の移動体を１つの移動体として誤って対象物候補領域として抽出したり、抽出対象となる移動体が存在しない領域を対象物候補領域として誤って抽出したりするといった問題がある。さらに、対象物候補領域を正しく抽出できたとしても以下のような課題がある。つまり、特に人物等の多関節物体を対象物とした場合、対象物の様々な姿勢あるいは大きさに起因する画像上での見えのバリエーションが非常に大きいため、対象物モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。このことは、モデルの当てはめミスを誘発する。そのため、実際とは異なる姿勢に対応する対象物モデルが当てはめられることにより、領域抽出が正しく行われないといった問題がある。

そこで本発明の第１の目的は、特許文献１の領域抽出が正しく行われないという問題を解決することである。そのための手段として、以下の非特許文献１に記載される手法の非線形に分布するデータを効率良く表現可能な性質を利用する。

非特許文献１に代表される画像処理手法では、画像間の距離を入力として非線形処理を行うことにより、効率良く圧縮された低次元空間に画像データを射影することができる。さらには、測地距離変換と次元圧縮により連続的かつ非線形に分布するデータを効率良く表現することができる。しかしながら、非特許文献１の主な目的は、複数の静止画像を低次元空間に射影することで画像間の類似性を可視化することにあり、形状が変化する人物等の多関節物体における様々な姿勢変化に対応しながら、正しく移動体を抽出する方法は開示されていない。また、入力データ数が多くなると計算量が膨大になるといった問題もある。さらに、非特許文献２および非特許文献３に代表される、非特許文献１における計算量の削減方法では、ランドマーク点とランドマーク点の間に存在するデータ点、つまりランドマークとして選ばなかった点に関して、ランドマーク点を用いて線形補間を行うものである。特に、形状が変化する人物等の移動体は、頭と足の動きが異なるように、同一の移動体であっても部位によって動きが異なる。例えば、頭と足にランドマーク点がある場合、ランドマーク点間の線形補間を行うと、腕や膝の関節動き等の動きを適切に捉えることができない。そのため、形状が変化する人物等の多関節物体における様々な姿勢変化に対応しながら、正しく移動体を抽出することが難しい。さらに、あらかじめ被写体が抽出されていない段階において、人物等の多関節物体に対してランドマーク点を適切に設定することは難しい。

そこで本発明の第２の目的は、非特許文献１における計算量の問題を解決することである。つまり、本発明の目的は、これら２つの問題点を解決することにあり、本発明は、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出することができる移動体検出装置等を提供することを目的とする。

上記目的を達成するために、本発明に係る移動体検出装置の一実施形態は、動画像中の移動体の全部又は一部の領域を抽出することによって動画像中の移動体を検出する移動体検出装置であって、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、異なる２枚のピクチャ間での画像の動きを検出し、検出した動きを前記複数枚のピクチャについて連結した移動軌跡を複数算出する動き解析部と、算出された前記複数の移動軌跡を複数の部分集合に分割するとともに、分割された複数の部分集合において一部の移動軌跡を共有点として設定する領域分割部と、分割された前記複数の部分集合のそれぞれについて、複数の移動軌跡間の類似性を表す距離を算出する距離計算部と、算出された前記距離を、測地距離に変換する測地距離変換部と、変換された前記測地距離のうち、前記共有点を共有する測地距離を統合することで、前記部分集合にまたがる近似的な測地距離を算出する近似測地距離算出部と、算出された近似的な測地距離を用いて、類似する移動軌跡をもつブロックどうしを同一の領域として特定するクラスタリングを行うことによって、前記動画像に対して少なくとも一つの領域を抽出する領域抽出部とを備えることを特徴とする。

また、上記目的を達成するために、本発明に係るベクトルデータ分類装置の一実施形態は、複数のベクトルデータを、類似するベクトルデータの集まりであるクラスに分類するベクトルデータ分類装置であって、複数のベクトルデータを受け付けるベクトルデータ入力部と、受け付けられた前記複数のベクトルデータを、測地距離の計算に利用される複数の部分集合に分割するとともに、分割された複数の部分集合の少なくとも一つに含まれる一部のベクトルデータを共有点として設定する領域分割部と、分割された前記複数の部分集合のそれぞれについて、複数のベクトルデータ間の類似性を表す距離を算出する距離計算部と、算出された前記距離を、中継点としての移動軌跡をたどりながら一の移動軌跡から他の一の移動軌跡にたどりつく経路の距離である測地距離に変換する測地距離変換部と、変換された前記測地距離のうち、前記共有点を共有する測地距離を統合することで、前記部分集合にまたがる近似的な測地距離を算出する近似測地距離算出部と、算出された近似的な測地距離を用いて、類似するベクトルデータをもつブロックどうしを一つの領域として特定するクラスタリングを行うことによって、前記動画像に対して少なくとも一つのクラスを生成するデータ分類部とを備えることを特徴とする。

なお、本発明は、上記移動体検出装置及びベクトルデータ分類装置として実現できるだけでなく、上記各構成要素をステップとする移動体検出方法及びベクトルデータ分類方法、上記各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等として実現することもできる。

上記の方法及び装置等により、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく移動体を検出及び部位を領域抽出することができる。さらに、検出と領域抽出を行った結果を用いて、移動体の移動予測等を行うことも可能である。

図１は、本発明の実施の形態１における移動体検出装置の基本構成を示す図である。 図２は、本発明の実施の形態１における移動体検出装置をソフトウェアで実現する場合におけるハードウェア構成図である。 図３は、本発明の実施の形態１における移動体検出装置の基本動作を示すフローチャートである。 図４は、本発明の実施の形態１における動き解析部の処理例を示す図である。 図５（ａ）〜（ｄ）は、本発明の実施の形態１における領域分割部の処理例を示す図である。 図６（ａ）〜（ｃ）は、本発明の実施の形態１における測地距離変換部の測地距離の効果の一例を示す図である。 図７（ａ）及び（ｂ）は、本発明の実施の形態１における測地距離変換部の測地距離の効果の一例を示す図である。 図８は、本発明の実施の形態１における近似測地距離算出部の処理例を示す図である。 図９（ａ）〜（ｃ）は、本発明の実施の形態１における領域抽出部の処理例を示す図である。 図１０（ａ）〜（ｃ）は、本発明の実施の形態１の第１変形例における領域分割部の処理例を示す図である。 図１１は、本発明の実施の形態１の第２変形例における移動体検出装置の基本動作を示すフローチャートである。 図１２は、本発明の実施の形態１の第２変形例における領域抽出部の次元圧縮結果を示す図である。 図１３（ａ）及び（ｂ）は、本発明の実施の形態１の第２変形例における領域抽出部の移動体検出結果を示す図である。 図１４は、本発明の実施の形態１の第２変形例における領域抽出部の次元圧縮結果を示す図である。 図１５は、本発明の実施の形態１の第３変形例における基本構成を示す図である。 図１６は、本発明の実施の形態１の第３変形例における移動体検出装置の基本動作を示すフローチャートである。 図１７（ａ）〜（ｅ）は、本発明の実施の形態１の第３変形例における領域抽出部の処理例を示す図である。 図１８は、本発明の実施の形態１の第４変形例における基本構成を示す図である。 図１９（ａ）及び（ｂ）は、本発明の実施の形態１の第４変形例における画像表示部の表示例を示す図である。 図２０は、本発明の実施の形態１の第５変形例における移動体検出装置の構成例を示す図である。 図２１は、本発明の実施の形態１の第５変形例における記録・送信データの一例を示す図である。 図２２は、本発明の実施の形態２における移動体検出装置の構成例を示す図である。 図２３は、本発明の実施の形態２における移動体検出装置の基本動作を示すフローチャートである。 図２４は、本発明の実施の形態２における動き予測の一例を示す図である。 図２５は、本発明の実施の形態３における移動体検出装置の構成例を示す図である。 図２６（ａ）及び（ｂ）は、本発明の実施の形態３における移動体検出装置のカメラ配置の例を示す図である。 図２７は、本発明の実施の形態３における移動体検出装置の基本動作を示すフローチャートである。 図２８（ａ）及び（ｂ）は、本発明の実施の形態３における領域分割部の処理例を示す図である。 図２９は、本発明の実施の形態４における移動体検出装置の構成例を示す図である。 図３０は、本発明の実施の形態４における移動体検出装置の基本動作を示すフローチャートである。 図３１（ａ）〜（ｃ）は、本発明の実施の形態２の方法によって分離可能な図形の一例を示す図である。 図３２は、本発明の実施の形態の変形例における移動体検出装置の構成例を示す図である。

本発明に係る移動体検出装置の一実施形態は、動画像中の移動体の全部又は一部の領域を抽出することによって動画像中の移動体を検出する移動体検出装置であって、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、異なる２枚のピクチャ間での画像の動きを検出し、検出した動きを前記複数枚のピクチャについて連結した移動軌跡を複数算出する動き解析部と、算出された前記複数の移動軌跡を複数の部分集合に分割するとともに、分割された複数の部分集合において一部の移動軌跡を共有点として設定する領域分割部と、分割された前記複数の部分集合のそれぞれについて、複数の移動軌跡間の類似性を表す距離を算出する距離計算部と、算出された前記距離を、測地距離に変換する測地距離変換部と、変換された前記測地距離のうち、前記共有点を共有する測地距離を統合することで、前記部分集合にまたがる近似的な測地距離を算出する近似測地距離算出部と、算出された近似的な測地距離を用いて、類似する移動軌跡をもつブロックどうしを同一の領域として特定するクラスタリングを行うことによって、前記動画像に対して少なくとも一つの領域を抽出する領域抽出部とを備える。

これにより、類似する移動軌跡がまとめられて分類が行われるので、動きの異なる複数の部位からなる人物等の多関節物体を移動体として検出する場合であっても、一つの領域として認識されるので、正確な領域抽出が行われ、移動体が確実に検出される。つまり、形状が変化しながら移動する人物等の移動体に対しても正しく領域抽出し、これによって画像中の移動体を高速かつ確実に検出することが可能である。

また、部分集合ごとに測地距離を算出した後に、共有点を用いた測地距離の統合によって、部分集合にまたがる近似的な測地距離を算出しているので、移動軌跡を部分集合に分割しない場合に比べ、より少ない計算量で、全ての２つの移動軌跡間の組み合わせに対する測地距離が算出され、高速な移動体検出が可能となる。つまり、測地距離計算にかかる計算量を減らすことができるため、高速に移動体を検出することができる。さらに、あらかじめ抽出すべき移動体に関する形状情報等の事前情報を保持、または学習しておく必要がない。

ここで、前記画像入力部は、複数のカメラによる複数の動画像のそれぞれについて、前記複数枚のピクチャを受け付け、前記動き解析部は、前記複数の動画像のそれぞれについて、前記複数の移動軌跡を算出し、前記領域分割部は、前記複数の動画像のそれぞれについて算出された複数の移動軌跡を、分割された前記複数の部分集合として保持し、前記領域抽出部は、前記クラスタリングを行うことで、前記複数の動画像に対して少なくとも一つの領域を抽出してもよい。これにより、複数のカメラから得られた映像を統合的に処理することができる。さらに、類似する移動軌跡がまとめられて分類が行われるので、動きの異なる複数の部位からなる人物等の多関節物体を移動体として検出する場合であっても、一つの領域として認識されるので、正確な領域抽出が行われ、移動体が確実に検出される。さらに、複数のカメラ映像間をまたがるように移動する移動体や、形状が変化しながら移動する人物等の移動体に対しても正しく領域抽出し、これによって画像中の移動体を高速かつ確実に検出することが可能である。

なお、部分集合に分割する方法として、前記領域分割部は、移動軌跡に対応する前記ピクチャ上でのブロックの画像上での位置に関する空間上で、前記複数の移動軌跡を前記複数の部分集合に分割してもよい。これにより、画像上での位置において近傍に位置する移動軌跡を一つの部分集合として分割しやすくなる。特に画像特有の問題として、被写体は空間的に繋がったものである場合が多いため、測地距離計算をより高速に行うことができる。

このとき、前記領域分割部は、前記ピクチャに対してユーザが指定した空間分割に従って、前記複数の移動軌跡を前記複数の部分集合に分割してもよい。これにより、移動体が存在するおよその領域をユーザが知っている場合には、ユーザがその領域を指定することができるので、移動体が存在する領域が複数の部分集合に分割されてしまうことによって、測地距離計算の精度が下がる危険性を回避することができ、移動体の検出精度の劣化を防ぐことができる。

また、部分集合に分割する別の方法として、前記移動軌跡は、多次元ベクトルで表現され、前記領域分割部は、前記多次元ベクトルを表現する多次元ベクトル空間上で、前記複数の移動軌跡を前記複数の部分集合に分割してもよい。これにより、多次元ベクトル空間上で近傍に位置する移動軌跡もしくはベクトルデータを一つの部分集合として分割しやすくなるため、測地距離計算をより高速に行うことができる。

さらに、共有点の設定方法としては、前記領域分割部は、近傍の部分集合の一部が重複するように前記分割をするとともに、重複した領域に含まれる移動軌跡を前記共有点として設定したり、前記領域分割部は、前記複数の部分集合のそれぞれについて、当該部分集合に属する移動軌跡のうち、他の部分集合との境界に近接する移動軌跡を、前記共有点として設定したりしてもよい。画像上での近傍領域が重複もしくは接続するように共有点を持つことによって、画像上で離れた位置に存在する移動軌跡であっても、前記共有点を用いることによって、高速かつ正確に測地距離を計算することが可能になる。また、多次元ベクトル空間上での近傍領域が重複もしくは接続するように共有点を持つことによって、前記多次元ベクトル空間上で離れた多次元ベクトルであっても、前記共有点を用いることによって、高速かつ正確に測地距離を計算することが可能になる。

また、測地距離への変換に関しては、前記測地距離変換部は、前記距離計算部で算出された距離のうち、予め定められた条件を満たす小さい距離を連結することで、前記動き解析部で算出された一の移動軌跡から他の一の移動軌跡にたどりつく最短経路を求めることにより、前記距離計算部で算出された距離のそれぞれを測地距離に変換するのが好ましい。具体的には、前記測地距離変換部は、前記複数の部分集合に含まれる複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の距離のうち、小さい順に予め定められた個数の距離を選択し、選択しなかった距離を無限大に変更する非線形化をした後に、前記最短経路を求めることにより、前記距離計算部で算出された距離のそれぞれを測地距離に変換するのが好ましい。これにより、閾値により選択された距離と選択されなかった距離とが非線形な関係となるため、線形距離と比較して、移動軌跡間の類似／非類似が強調されることとなり、人物のように関節で繋がった物体の動きを正しく表現することが可能となる。

また、前記測地距離変換部は、前記複数の部分集合に含まれる複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の距離のうち、予め定められた閾値以下の距離を選択し、選択しなかった距離を無限大に変更する非線形化をした後に、前記最短経路を求めることにより、前記距離計算部で算出された距離のそれぞれを測地距離に変換してもよい。これにより、閾値により選択された距離と選択されなかった距離とが非線形な関係となるため、線形距離と比較して、移動軌跡間の類似／非類似が強調されることとなり、人物のように関節で繋がった物体の動きを正しく表現することが可能となる。

また、領域抽出の具体的な手法の一つとして、前記領域抽出部は、前記近似測地距離算出部で算出された測地距離の分布における少なくとも一つ以上の不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡どうしが一つのクラスタとなるように、前記クラスタリングを行うのが好ましい。これによって、不連続点よりも小さい距離だけ離れた移動軌跡どうしが一つのクラスタとなるので、不連続点の条件を変えることで、生成されるクラスタ数を制御することができる。

また、領域抽出の具体的な手法の他の一つとして、前記領域抽出部は、前記近似測地距離算出部で算出された測地距離に対して、固有値および固有ベクトルを求めることによって次元圧縮を行い、次元圧縮した空間上で前記クラスタリングを行ってもよい。これにより、測地距離に対して次元圧縮を行うことで、ノイズや動き検出誤りに対して頑健な被写体検出が可能となる。

さらに、領域抽出の具体的な手法の他の一つとして、前記測地距離変換部は、前記距離を前記測地距離に変換するための複数の判断基準を生成し、生成した複数の判断基準のそれぞれについて、当該判断基準を用いて前記距離を前記測地距離に変換することで、前記複数の判断基準のそれぞれに対応する測地距離を生成し、前記近似測地距離算出部は、前記複数の判断基準のそれぞれに対応する測地距離に対して前記統合を行い、前記領域抽出部は、前記複数の判断基準のそれぞれに対応する統合された近似的な測地距離に対して前記クラスタリングを行って領域を抽出することで、前記複数の判断基準のそれぞれに対応させて、前記領域抽出の結果を領域抽出候補として生成する領域抽出候補生成部と、クラス数についての指示を取得し、取得したクラス数に近い個数の領域が抽出された領域抽出候補を、前記領域抽出候補生成部で生成された複数の領域抽出候補から選択し、選択した領域抽出候補を、当該領域抽出部による領域抽出の結果として出力する領域抽出候補選択部とを有する構成とすることができる。これによって、予め生成した複数の判断基準のそれぞれについてクラスタリングが行われるので、それら複数のクラスタリングから、所望の個数のクラスタが生成される。

なお、複数の判断基準の具体例については、前記測地距離変換部は、前記複数の判断基準として、複数の閾値を生成し、生成した複数の閾値のそれぞれについて、前記距離計算部で算出された距離のうち、当該閾値よりも小さい距離を連結することで、前記複数の判断基準のそれぞれに対応する測地距離を生成するのが好ましい。これにより、小さい距離が連結された測地距離を用いて移動軌跡の類似性が判断されるので、直線的な距離であるユークリッド距離を用いたクラスタリングに比べ、移動軌跡間の類似性に関する連続性を考慮したクラスタリングが行われ、ピクチャにおける各ブロックが同一の物体（又は部位）に属するか別個の物体（又は部位）に属するかが確実に弁別される。

また、前記移動体検出装置はさらに、前記領域抽出部で得られた領域抽出の結果を、前記画像入力部で受け付けたピクチャに重ねて表示する画像表示部を備えるのが好ましい。これにより、領域抽出した部位を画像上に表示することによって、スポーツにおけるフォームの修正あるいはリハビリテーションにおける歩行の矯正等に応用が可能である。

また、前記移動体検出装置はさらに、前記領域抽出部での領域抽出の結果に対応させて、前記画像入力部で受け付けたピクチャにおける領域を特定し、特定した領域ごとに、対応する領域抽出の結果を、記録して保持する、又は、伝送路を介して外部に送信する記録・送信部を備える構成としてもよい。これにより、検出した移動体画像を抽出した領域に基づいてそれぞれ別々に保持することによって、各移動体画像の中から必要な部分の画像のみを選択して保存したり、外部に出力したりすることによって、図形要素として効率的な保存及び出力が可能になる。そのため、携帯電話等、処理能力の限られた機器に保存及び送信する場合に有効に作用する。

また、前記画像入力部は、２つ以上の移動体が含まれる動画像を受け付け、前記領域抽出部では、前記２以上の移動体について前記領域抽出をすることで、２以上の移動体を検出してもよい。これにより、形状が変化しながら移動する一つの移動体だけでなく、複数の移動体を含む画像に対しても、正しく複数の移動物体を検出することが可能である。

また、前記移動体検出装置はさらに、前記領域抽出部で抽出された領域に含まれるブロックの移動軌跡から、当該領域を代表する移動軌跡を算出し、算出した移動軌跡に従って当該領域が移動すると予測することで、前記移動体の動きを予測する動き予測部を備えるのが好ましい。これにより、複数のブロックの移動軌跡を代表する軌跡を用いて移動体の動きを予測することにより、ノイズ耐性の高い動き予測が可能となる。

また、本発明の他の一実施形態は、複数のベクトルデータを、類似するベクトルデータの集まりであるクラスに分類するベクトルデータ分類装置であって、複数のベクトルデータを受け付けるベクトルデータ入力部と、受け付けられた前記複数のベクトルデータを、測地距離の計算に利用される複数の部分集合に分割するとともに、分割された複数の部分集合の少なくとも一つに含まれる一部のベクトルデータを共有点として設定する領域分割部と、分割された前記複数の部分集合のそれぞれについて、複数のベクトルデータ間の類似性を表す距離を算出する距離計算部と、算出された前記距離を、中継点としての移動軌跡をたどりながら一の移動軌跡から他の一の移動軌跡にたどりつく経路の距離である測地距離に変換する測地距離変換部と、変換された前記測地距離のうち、前記共有点を共有する測地距離を統合することで、前記部分集合にまたがる近似的な測地距離を算出する近似測地距離算出部と、算出された近似的な測地距離を用いて、類似するベクトルデータをもつブロックどうしを一つの領域として特定するクラスタリングを行うことによって、前記動画像に対して少なくとも一つのクラスを生成するデータ分類部とを備える。

これにより、類似するベクトルデータがまとめられて分類が行われるので、例えば、３次元の動きに関するベクトルデータを入力とした場合には、動きの異なる複数の部位からなる人物等の多関節物体を移動体として検出する場合であっても、一つの領域として分類されるので、正確な領域抽出が行われ、移動体が確実に検出される。つまり、形状が変化しながら移動する人物等の移動体に対しても正しく分類、すなわち領域抽出することが可能である。

また、部分集合ごとに測地距離を算出した後に、共有点を用いた測地距離の統合によって、部分集合にまたがる近似的な測地距離を算出しているので、ベクトルデータを部分集合に分割しない場合に比べ、より少ない計算量で、全ての２つのベクトルデータ間の組み合わせに対する測地距離が算出され、高速なデータ分類が可能となる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
まず、本発明の実施の形態１に係る移動体検出装置及び移動体検出方法について説明する。

図１は、実施の形態１における移動体検出装置１００の構成を示す図である。図１に示されるように、この移動体検出装置１００は、画像入力部１０１、動き解析部１０２、領域分割部１０３、距離計算部１０４、測地距離変換部１０５、近似測地距離算出部１０６、領域抽出部１０７、出力部１０８を備える。そして、この移動体検出装置１００は、動画像中の移動体の全部又は一部の領域を特定する領域抽出をすることによって動画像中の移動体を検出する。

画像入力部１０１は、動画像を構成する時間的に異なる複数枚の画像（ピクチャ）の入力を受け付ける処理部であり、例えば、ビデオカメラ、あるいは、ビデオカメラと接続された通信インターフェース等である。

動き解析部１０２は、画像入力部１０１で受け付けたピクチャを構成する１個以上の画素からなるブロックごとに、異なる２枚（例えば、時間的に隣接する２枚）のピクチャ間での画像の動きを検出し、検出した動きを複数枚のピクチャについて連結することで、移動軌跡を算出する処理部である。

領域分割部１０３は、動き解析部１０２によって算出された移動軌跡を複数の部分集合に分割するとともに、分割された複数の部分集合において一部の移動軌跡を共有点として設定する処理部である。ここでは、この領域分割部１０３は、それらの部分集合間で少なくとも一部の移動軌跡が重複するか、もしくは、接続されるように共有点を設定する。つまり、本実施の形態では、領域分割部１０３は、画像上での位置に関する空間上で、複数の移動軌跡を複数の部分集合に分割する。例えば、移動軌跡に対応するピクチャ上でのブロックの位置が近いものどうしが同一の部分集合に属することになるように、画像上での位置に関する空間上で、複数の移動軌跡を複数の部分集合に分割する。

距離計算部１０４は、領域分割部１０３によって分割された複数の部分集合のそれぞれについて、当該部分集合に含まれる複数の移動軌跡における２つの移動軌跡の組み合わせに対して、当該移動軌跡間の類似性を表す距離を算出する処理部である。ここでは、この距離計算部１０４は、画像において移動する物体の形状変化を捉えるために、動き解析部１０２で算出した部分集合に含まれるブロックｉの移動軌跡と、ブロックｉ以外の当該部分集合に含まれるブロックの移動軌跡とを用いて、ブロックどうしの動きの類似性を表す距離を算出する。例えば、Ｎ個のブロックの移動軌跡を対象とした場合、算出される距離はＮ×Ｎ個の距離からなる距離マトリクスとなる。ここでは、ブロックの動きの類似性を評価する距離を計算することによって、ブロック間の距離が動きによって変化する移動体、特に、関節物体のように形状が変化しながら移動する人物等の物体の動きを距離マトリクスとして表現することが可能である。なお、以降の説明では、ブロックｉの移動軌跡を移動軌跡ｉと呼ぶこととする。このように、本明細書における「距離」は、２次元空間における２点間の距離だけでなく、多次元のデータ間の算術的な距離を含み、１つの値、あるいは、複数の値の集合（距離マトリクス）である。

測地距離変換部１０５は、距離計算部１０４で算出した各部分集合における距離マトリクスに対して、測地距離変換を行う処理部である。

近似測地距離算出部１０６は、測地距離変換部１０５で変換された測地距離のうち、共有点を用いて、前記部分集合にまたがる測地距離を統合することで、近似的な測地距離を算出するという処理を行うことにより、動き解析部１０２で算出された複数の移動軌跡における２つの移動軌跡の組み合わせについての近似的な測地距離を算出する処理部である。つまり、近似測地距離算出部１０６は、測地距離変換部１０５で算出された各部分集合における測地距離マトリクスを統合することによって、部分集合間をまたがる近似的な測地距離を算出する。ここで、「近似的」な測地距離が算出される理由は、部分集合にまたがる測地距離については、それらの部分集合に属する全ての移動軌跡を用いて測地距離を算出する場合と比較して、共有点として設定された移動軌跡を用いて概括的に測地距離が算出されるからである。

領域抽出部１０７は、近似測地距離算出部１０６で算出された距離に基づいて、類似する移動軌跡をもつブロックから構成される領域を特定することによって、領域抽出をする処理部であり、ここでは、近似測地距離算出部１０６で統合された測地距離のうち、一定の閾値より小さい測地距離だけ離れた移動軌跡をもつブロックどうしを一つの領域として特定するクラスタリングを行うことで、画像入力部１０１で受け付けられた動画像に対して少なくとも一つの領域を抽出する。より詳しくは、本実施の形態では、この領域抽出部１０７は、距離計算部１０４で算出した距離マトリクスを用いて、測地距離変換部１０５及び近似測地距離算出部１０６にて得られた部分集合間をまたがる測地距離から、移動軌跡間の距離の分布における不連続性を検出し、検出した不連続点よりも小さい距離だけ離れた移動軌跡どうしが一つのクラスタとなるように、不連続点をもとにそれぞれ連続的に分布する移動軌跡をクラスタリングすることによって、画像中の移動体の検出と画像の領域抽出を行い、その結果として、画像中の移動体の検出と画像の領域抽出を行う。

出力部１０８では、領域抽出部１０７で行った動画像中の移動体の検出結果もしくは、画像の領域抽出結果を出力する処理部、メモリやハードディスク等への書き込み部、ディスプレイ装置等である。

なお、この移動体検出装置１００を構成する各構成要素（画像入力部１０１、動き解析部１０２、領域分割部１０３、距離計算部１０４、測地距離変換部１０５、近似測地距離算出部１０６、領域抽出部１０７、出力部１０８）は、図２に示されるように、ＣＰＵ１００５、ＲＡＭ１００７、ＲＯＭ１００６、カメラ１００１と接続するための通信インターフェース１００４、Ｉ／Ｏポート（ビデオカード１００９等）、ハードディスク１００８、ディスプレイ１００３等を備えるコンピュータ１００２上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路等のハードウェアで実現されてもよい。つまり、本実施の形態における構成要素のうち、ディスプレイ装置等の入出力装置を除く構成要素については、コンピュータで実行されるプログラム及びデータ（つまり、ソフトウェア）で実現してもよいし、電子回路、メモリ及び記録媒体等のハードウェアで実現してもよいし、それらの混在で実現してもよい。

本発明がソフトウェアで実現される場合には、ＣＰＵ、メモリ及び入出力回路等のコンピュータのハードウェア資源を利用してプログラムが実行されることによって本発明の機能要素が実現されることは言うまでもない。つまり、ＣＰＵが処理対象のデータをメモリや入出力回路から読み出して（取り出して）演算したり、演算結果を一時的にメモリや入出力回路に格納（出力）したりすることによって、各種処理部の機能が実現される。

また、本発明がハードウェアで実現される場合には、１チップの半導体集積回路で実現されてもよいし、複数の半導体チップが一つの回路基板に実装されて実現されてもよいし、一つの匡体に全ての構成要素が収納された一つの装置として実現されてもよいし、伝送路で接続された複数の装置による連携によって実現されてもよい。たとえば、本実施の形態における記憶部をサーバ装置に設け、本実施の形態における処理部を、そのサーバ装置と無線通信するクライアント装置に設けることで、本発明をサーバ・クライアント方式で実現してもよい。

以下、他の実施の形態における移動体検出装置についても同様である。

以下に、本発明の移動体検出方法、つまり、移動体検出装置１００の動作として、図３のフローチャートを用いて移動する移動体を検出、領域抽出する例について詳細に説明する。

まず、ステップＳ２０１にて、画像入力部１０１は、複数枚のピクチャを受け付ける。

次に、ステップＳ２０２にて、動き解析部１０２は、少なくとも２枚のピクチャからブロックの動きを算出する。なお、ここでは、ブロックの動きを算出する一例として、画素の動きを算出する。以下、本実施の形態では、ブロック単位の処理の一例として、画素単位の処理を説明する。なお、複数の画素からなるブロック単位で処理をする場合には、（i）画素に対応するデータをブロック内で合計したり、（ii）ブロック内の平均値を求めたり、(iii)ブロック内の中心値を求めることで、ブロックに対応するデータ（代表値）を求め、得られた代表値を用いて画素単位の処理と同様に処理すればよい。なお、本明細書で、「ブロックの動き」及び「画素の動き」とは、それぞれ、「画像のブロック単位での動き」及び「画像の画素単位での動き」を意味する。

まず、画素の動きをオプティカルフロー計算により算出する例について説明する。オプティカルフロー計算による動きベクトルの算出は、非特許文献４もしくは非特許文献５で開示された手法を用いることができる。
Ｐ．Ａｎａｎｄａｎ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．２８３−３１０，１９８９ Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ ａｎｄ Ｒａｍｉｎ Ｚａｂｉｈ，"Ｃｏｍｐｕｔｉｎｇ Ｖｉｓｕａｌ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｗｉｔｈ Ｏｃｃｌｕｓｉｏｎｓ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１

例えば、ステップＳ２０１にてＴ枚のピクチャが入力されたと仮定すると、時刻ｔと時刻ｔ＋１に入力されたピクチャを用いて、画素ｉの動きベクトル（ｕⁱ _t，ｖⁱ _t）を推定する。ここでは、必ずしもフレームが連続している必要はなく、例えば、時刻ｔと時刻ｔ＋nに入力されたピクチャを用いて画素の動きを求めてもよい。ただし、ｎは１以上の整数である。さらに、画素の動きとして、前記２次元動きベクトルの代わりにアフィンパラメータを推定してもよい。この時、すべての画素について動き情報を求めてもよい。また、より高速に処理を行いたい場合には、画像をグリッドに区切って一定間隔のグリッド上の画素についてのみ動き情報を求めてもよいし、上述したように、画像をブロックに区切ってブロックごとに動き情報を求めてもよい。さらに、非特許文献４で開示された手法を用いて動きベクトルを算出する場合は、その信頼度を計算することができるため、信頼度の高い動き情報を持つ画素のみを用いてもよい。また、非特許文献５で開示された手法を用いて動きベクトルを算出する場合は、オクルージョンを推定することができる。そのため、遮蔽（しゃへい）されていない画素の動き情報のみを用いてもよい。

さらに、画素の動きを算出する手法として、前記したブロックの並進移動を仮定して動きベクトルを算出する方法の代わりに、ブロックのアフィン変形を仮定して動きベクトルを算出する方法を用いてもよい。アフィン変形を仮定して動きベクトルを算出する方法は、以下の非特許文献６で開示された手法を用いることができる。
Ｊｉａｎｂｏ Ｓｈｉ ａｎｄ Ｃａｒｌｏ Ｔｏｍａｓｉ，"Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ"，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ５９３−６００，１９９４

上記手法は、時刻ｔと時刻ｔ＋１に入力されたピクチャの画素ｉ近傍の動きに相当するアフィンパラメータＡⁱ _tを推定する。画素ｉについて、時刻ｔと時刻ｔ＋１におけるピクチャ上での画素位置ｘⁱ _tとｘⁱ _t+1は次の関係がある。

上記手法は、特に回転運動をする物体に対して、並進移動を仮定して動きベクトルを算出する手法を用いる場合よりも、高精度に画素ｉの動きを推定することができる。

次に、ステップＳ２０３にて、動き解析部１０２は、ステップＳ２０２で算出した動き情報を用いて、時間的に異なる複数枚のピクチャに対して前記画素の動きから移動軌跡ｉを算出する。以下、画素ｉの移動軌跡を移動軌跡ｉと呼ぶこととする。図４に示すように、時刻ｔにおける入力画像３０１の画素ｉ３０３からステップＳ２０２で算出した動き情報３０２を用いて、画素ｉの動きを追跡する。この時、画素ｉが通った時刻ｔにおけるピクチャ上での画素位置（ｘⁱ _t，ｙⁱ _t）を用いて、以下のように移動軌跡ｉ（ここでは、ｘⁱ）を算出する。

ここで、Ｔは移動軌跡の算出に用いたピクチャの枚数である。さらに、式２において、動きの無い移動軌跡、もしくは動きの小さい移動軌跡については、以下の処理を行わないようにすることも可能である。

次に、ステップＳ２０４にて領域分割部１０３は、図５に示すように画像４０１の位置に関する空間をＰ個の部分集合４０２として領域に分割する。ここで、部分集合４０２は、分割された画像領域（画像上の位置）に対応する移動軌跡の集合でもある。この時、部分集合どうしが共通点（両部分集合に論理的に属することとなる移動軌跡）をもつように、部分集合を設定する、または、共通点を設定する。具体的には、部分集合４０２の設定において、図５（ａ）や図５（ｂ）に示すように、画像４０１の位置に関する空間において、一部を重複するように設定し、重複領域に属する画像領域（画像上の位置）に対応する移動軌跡を共有点として設定してもよいし、図５（ｃ）のように、部分集合の境界において近接する画像上の位置に対応する移動軌跡を共有点４０３として設定してもよいし、図５（ｄ）のように、部分集合を空間的に高密度に設定し、共有点４０３を空間的に疎に設定してもよい。さらに、ここでは、部分集合に分割する際において、図５に示したような長方形で行う必要は必ずしもなく、正方形や横長の長方形でもよいし、円や楕円、多角形であっても構わない。また、複数の部分集合によって、画像全体を包含するように設定するのが望ましい。例えば、抽出したい被写体の形状や動きが事前に予測できないような場合やカメラの天地方向が変化するような回転が生じるような場合においては、図５（ａ）、図５（ｃ）、図５（ｄ）に示したように正方形とすることで、被写体やカメラの回転による影響を受けにくくする効果がある。また、特に人物等、縦方向に長い被写体を抽出したい場合には、図５（ｂ）に示すような縦長の長方形にすることで、人物の形状をより正確に抽出できる。さらには、同様に、犬などの動物の場合は、その形状を反映して、横長の長方形とすることが望ましい。そして、より計算量を減らしたい場合には、図５（ｃ）に示すように重複領域の代わりに境界に隣接する移動軌跡を共有点と設定することによって、重複を減らすことで計算量をより削減できる効果がある。さらには、パースの効果を反映するために、画像上部の部分集合の大きさを画像下部の部分集合よりも小さくすることによって、画像下部の被写体が大きく、画像上部の被写体が小さいような場合においても、より高精度な抽出を実現できる効果がある。もちろん、正方形ではなく、画像上部の部分集合を小さくする効果は、部分集合の分割を台形によって行うことによっても実現できる。また、各部分集合の数やサイズについては、後述する。

ここで、画像領域（画像上の位置）に対応する移動軌跡とは、分割された画像領域における画像上の位置に基づいて移動軌跡ｉを部分集合に分割することによって得られるものであり、例えば、画像上の位置（ｘⁱ ₁，ｙⁱ ₁）が部分集合ｐに属する場合は、時刻１において、画像上の位置（ｘⁱ ₁，ｙⁱ ₁）を通った上記式２に示した移動軌跡ｉを部分集合ｐに割り当てる。さらに、一定の時刻ｔにおける画像上の位置（ｘⁱ _t，ｙⁱ _t）が部分集合ｐに属する場合は、（ｘⁱ _t，ｙⁱ _t）を通った移動軌跡ｉを部分集合ｐに割り当てるようにしてもよい。さらには、上記式２の移動軌跡ｉに対して時間平均を計算することで、移動軌跡の画像上での時間平均位置

を算出し、その時間平均位置が属する部分集合ｐに移動軌跡ｉを割り当ててもよい。 共有点についても同様に画像領域（画像上の位置）に対応する移動軌跡である。このように、それぞれ画像領域（画像上で位置）に基づいてＰ個に分割し、その結果から、それぞれの移動軌跡を部分集合ｐに割り当てることによって、それぞれの移動軌跡は、複数の部分集合に分割されることになる。

次に、ステップＳ２０５にて、距離計算部１０４は、ステップＳ２０４にて分割した部分集合ｐごとに、部分集合ｐに属する移動軌跡ｉを用いて画素の動きの類似性を含む距離マトリクスを算出する。移動軌跡ｉと移動軌跡ｊとの類似性を表す線形距離ｆ_p（ｉ，ｊ）は以下の式３〜式１３により算出できる。なお、式３〜式１３に代表されるような距離は、非線形な関数を含んでいても良いが、後述する非線形な変換と経路を探索する方法により算出される測地距離と区別するために、線形距離とよぶこととする。ここで、移動軌跡ｉと移動軌跡ｊは、共に同じ部分集合ｐに属するものとし、それぞれの部分集合ｐに対して、以下の計算を行う。

ここで、ｗは重み係数であり、設計者が設定するパラメータである。さらに、式３に代えて、線形距離ｆ_p（ｉ，ｊ）の定義を次式のようにしてもよい。

また、ｐｔｎ_ij，ｍｔｎ_ijは、それぞれ、移動軌跡間距離の時間平均値、移動軌跡間距離の時間変動成分であり、その定義については以下に示す。

ここで、

上記のように、式３に示されるように、式５に示した移動軌跡間距離の時間平均値に加えて、式６に示した移動軌跡間距離の時間変動成分を前記線形距離ｆ_p（ｉ，ｊ）の要素とする。特に式６に示した移動軌跡間距離の変動成分は、画素の動きの類似性を示すものであり、これによって、画素間のなす距離の関係が時間的に変化しない剛体だけでなく、関節物体等の形状変化を捉えることができる。また、式６の代わりに式８から式１３のような時間変動成分を用いることで、同様の効果が期待できる。

ここで、

であり、ｕ^t _iは、時刻ｔからｔ＋１への動きベクトル（ｕⁱ _t，ｖⁱ _t）であり、＜ｕ^t _i・ｕ^t _i＞は内積である。

また、時間変動成分として、以下のような計算を用いてもよい。

ここで、

ここで、

である。
次に、ステップＳ２０６で、測地距離変換部１０５は、上記式３もしくは上記式４で算出した部分集合ｐにおける線形距離ｆ_p（ｉ，ｊ）に対して閾値Ｒを用いて、以下のように非線形化処理を行いｆ'_p（ｉ，ｊ）を算出する。

移動軌跡ｉに着目した時に移動軌跡ｉとの線形距離ｆ_p（ｉ，ｊ）が小さい順にＲ個の移動軌跡ｊを選択し、選択された移動軌跡ｊとの距離は変更せず、選択されなかった移動軌跡ｊとの距離を無限大に変更する。なお、ここでは、線形距離が小さい順に選択したが、次式のように閾値Ｒを設定してもよい。

つまり、測地距離変換部１０５は、動き解析部１０２で算出された部分集合ｐに属する複数の移動軌跡のそれぞれについて、距離が小さい順に予め定められた個数（Ｒ個）の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよいし、動き解析部１０２で算出された部分集合ｐに属する複数の移動軌跡のそれぞれについて、距離が予め定められた閾値以下の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよい。

なお、距離の非線形化に関しては、上記の関数に限定されるものではなく、移動軌跡ｉと移動軌跡ｊに関する距離に対して非線形変換を行うものであれば何でもよい。

さらには、線形距離ｆ_p（ｉ，ｊ）に対して、以下のように式１６及び式１７を用いて計算した重みを掛け算して重み付けを行った後に式１４もしくは式１５の処理を行ってもよい。

ここで、ＮＮは移動軌跡の近傍点かつ同一の部分集合ｐに属する点について処理することを示し、移動軌跡ａ及びｂに対して、移動軌跡ｊ及びｉからそれぞれ一定距離以内にある移動軌跡もしくは、距離が小さい順にＮ個の移動軌跡を用いて計算することを示す。すなわち、Ｎ_a、Ｎ_bは、それぞれ同一の部分集合ｐに属しており、かつ一定距離以内にある移動軌跡の数もしくは、前記Ｎである。なお、ｚは設計者が設定する。

また、式１６の代わりに次式のように分散を用いてもよい。

ここで、

であり、ＮＮについては、式１６の場合と同じである。

式１６や式１７の重みを用いてｆ_p（ｉ，ｊ）を変換することによって、移動軌跡ｉ及びｊと類似した移動軌跡が空間的に密集している場合（距離が近い移動軌跡の場合）には、ｆ_p（ｉ，ｊ）を相対的に小さく、また、空間的に疎な場合（距離が遠い移動軌跡の場合）には、密集している場合と比較してｆ_p（ｉ，ｊ）が相対的に大きくなる。つまり、距離計算部１０４で算出された距離を測地距離に変換するときに、領域分割部１０３で分割された部分集合ｐ内の複数の移動軌跡の分布における密集度が大きいほど小さい測地距離となるような重み付けをしたうえで、測地距離への変換をする。これによって、画素の移動軌跡の分布の密集度を考慮した距離変換が可能になる。

次に、非線形化された距離ｆ'_p（ｉ，ｊ）を用いて、次式のように測地距離ｇ_p（ｉ，ｊ）を算出する。

なお、ｍｉｎ（ｘ，ｙ）は、値ｘと値ｙのうち小さい方を返す関数である。また、ｓは、移動軌跡ｓであり、移動軌跡ｉから移動軌跡ｊに辿（たど）りつくための中継点である。ここで、ｆ'_p（ｉ，ｓ）＋ｆ'_p（ｓ，ｊ）における中継点ｓは１点に限るものではない。なお、ｐはそれぞれの部分集合に対応する。この方法は、ダイクストラ法と呼ばれる最短経路探索手法であり、以下の非特許文献７に記載されている。このように、測地距離変換部１０５は、距離計算部１０４で算出された距離のうち、予め定められた条件を満たす小さい距離を連結することで、動き解析部１０２で算出された一の移動軌跡から他の一の移動軌跡にたどりつく最短経路を求めることにより、距離計算部１０４で算出された距離のそれぞれを測地距離に変換する。
E.W.Dijkstra, "A note on two problems in connexion with graphs", Numerische Mathematik, pp.269-271, 1959

ここで、上記式１４及び式１５に示した非線形化処理について、図６（ａ）〜図６（ｃ）の概念図を用いて説明する。ここでは、式１５について説明するが、他の非線形化処理を行っても同様の効果が期待できる。まず、図６（ａ）は２次元のデータ分布を示す。ここで、それぞれのデータ点は、上記式３もしくは上記式４に示した移動軌跡ｉに相当する。上記式１４から式１７の非線形化処理を行わない場合には、図６（ｂ）に示したように、データ点ｉとデータ点ｊとの距離は、データ点ｉとデータ点ｋとの距離よりも小さくなる。しかしながら、図６（ｃ）に示すように、例えば上記式１５の処理及び上記式１７の処理を行うことによって、データ点ｉとデータ点ｊとの距離は、ユークリッド距離ではなく、測地距離と呼ばれるデータ点を矢印のように辿（たど）った距離となる。結果として、ユークリッド距離を用いる場合と異なり、データ点ｉとデータ点ｊとの距離は、データ点ｉとデータ点ｋとの距離よりも大きくなる。

ここで、このような上記式１４から式１７に示した測地距離変換の意義を図７（ａ）及び図７（ｂ）の概念図を用いて説明する。

ここでは、線形距離ｆ_p（ｉ，ｊ）と測地距離ｇ_p（ｉ，ｊ）の違いを分かりやすく説明するため、上記式５に示すような時刻ｔにおける移動軌跡間距離を例とする。実際には、移動軌跡間距離に加えて、上記式３に示したように画素の動きの類似性として移動軌跡間距離の変動成分を用いることにより、関節物体等の形状だけではなく形状変化をも捉えることができる。図７（ａ）は、上記式１４から式１７の非線形化処理を行わない場合の例である。例えば、頭部の画素ｉ６０２と手先部の画素ｊ６０３との距離は、線形距離６０１に示す距離となる。一方、上記式１４から式１７のような非線形処理を行うことによって、閾値Ｒが適切に設定されていれば、図７（ｂ）に示されるように、頭部の画素ｉ６０２と手先部の画素ｊ６０３との距離は、画素ｋ６０４を通って画素ｊにたどり着くまでの矢印で示したような線形和としての距離（つまり、測地距離）となる。そのため、線形距離６０１では人物のような関節物体の関節が繋がった形状をデータとして連続的に表現できないのに対して、測地距離によれば、関節が繋がった形状を距離として連続性を表現することが可能となる。なお、測地距離の計算方法は、上記式１４から式１７の非線形処理を必要とする方法に限定されるものではない。また、線形距離および測地距離における距離は、類似度と相反する関係にあり、類似度が高いときは、距離は小さく、類似度が小さいときは、距離が大きくなる。そのため、前述した距離の代わりに類似度を用いる場合は、類似度の逆数を距離として用いたり、類似度の最大値以上の値から類似度を引いた値を距離として用いたりすることで、上記の相反する関係を満たすように距離に変換して用いても良い。

次に、ステップＳ２０７にて、近似測地距離算出部１０６は、各部分集合における測地距離マトリクスｇ_p（ｉ，ｊ）を統合することによって、部分集合にまたがる近似的な測地距離を算出する。具体的には、ステップＳ２０４にて設定された共有点を用いて、以下のように統合処理を行う。

ここで、ｃは共有点であり、部分集合ｐおよび部分集合ｑの両方に属する移動軌跡である。つまり、複数の部分集合間で重複している移動軌跡である。なお、共有点は、必ずしも２つの部分集合に属するものではなく、３つ以上の部分集合に属しても構わない。また、ｉとｈは、それぞれ、異なる部分集合ｐおよびｑに属する移動軌跡に対応するインデックスである。なお、共有点ｃは、図５に示した例のように１点に限るものではない。

は、少なくとも１つ以上の共有点ｃについて、上記式２１を計算し、その中で最小値を選択する関数である。ここでは、部分集合ｐとｑの２つの組に限定されるものではなく、上記式２１に対して、共有点を複数用いて、それぞれの部分集合をまたぐように測地距離を加算していけば、２つ以上の部分集合間にまたがる測地距離を算出することができる。

さらに、図５（ｃ）のように、部分集合の境界において近接する画像上の位置に対応する移動軌跡を共有点４０３とした場合や、図５（ｄ）のように空間的に疎に分布する共有点を持つ場合には、共有点ｃ_iに対応する移動軌跡と共有点ｃ_jに対応する移動軌跡との線形距離ｆ_c（ｃ_i，ｃ_j）を計算して、下記式２２のように統合処理を行えばよい。

ここで、線形距離ｆ_c（ｃ_i，ｃ_j）は、共有点間を接続する効果がある。なお、ｆ_c（ｃ_i，ｃ_j）は、すべての共有点に対して計算してもよいし、空間的に近傍の少なくとも１つ以上の共有点間の距離を求めてもよい。

は、少なくとも２つ以上の共有点ｃ_i、ｃ_jについて、上記式２２を計算し、その中で最小値を選択する関数である。ここでは、部分集合ｐとｑの２つの組に限定されるものではなく、上記式２２に対して複数の共有点間を接続する線形距離を用いて、それぞれの部分集合をまたぐように測地距離を加算していけば、２つ以上の部分集合間をまたがる近似的な測地距離を算出することができる。

このように、共有点ｃを用いて部分集合に分割し測地距離計算を行ったｇ_p（ｉ，ｊ）を、共有点ｃを用いて統合し、部分集合をまたがる近似的な測地距離ｇ（ｉ，ｈ）を算出することによって、ステップＳ２０３で算出したすべての移動軌跡に対する測地距離ｇ（ｉ，ｊ）を高速に得ることができる。このような手法による効果について、図８を用いて説明する。図８では、２つの部分集合を例として説明するが、本発明においては、部分集合の数はいくつでも構わない。ステップＳ２０４にて、異なる部分集合ａとｂに分割され、ステップＳ２０５にて、それぞれの部分集合における測地距離（例えば、部分集合ａ内の測地距離７０４、部分集合ｂ内の測地距離７０５）を計算する。そして、ステップＳ２０７にて、共有点７０３を用いて統合処理を行うことで、例えば、図８の頭部の点に対応する移動軌跡ｉと足先の点に対応する移動軌跡ｊのように、部分集合間をまたがる近似的な測地距離ｇ（ｉ，ｊ）を得ることができる。

ここで、たとえステップＳ２０４にて、一つの被写体が二つ以上の異なる部分集合に分割されたとしても、統合処理を行うことで、部分集合に分割する処理を行わない場合と同等の精度で測地距離を計算することができる。

さらに、部分集合に分割せずに測地距離計算を行った場合と比べて、少ない計算量で測地距離計算を行うことができる。具体的には、移動軌跡の数をＮとすると、測地距離計算に掛かる計算量はＯ（Ｎ²ｌｏｇＮ）となることが上記非特許文献３に示されているが、本実施の形態による測地距離計算および統合に掛かる計算量の概算は、次式のようになる。

ここで、Ｍは部分集合の数、Ｃは全共有点の数、すなわち図５に示した各部分領域間の共有点の数の合計である。Ｃ²ｌｏｇＣは、上記式２１で測地距離の統合処理に掛かる計算量である。例えば、移動軌跡の数ＮをＶＧＡ画像サイズと同じ６４０×４８０として、さらに、Ｍを１０、ＣをＮの１０％とした時には、計算量は、部分集合に分割しない場合と比べて、およそ０．１１倍となる。画像サイズもしくは、移動軌跡の数が分かっている場合においては、部分集合の数Ｍと共有点Ｃとの２つの変数によって、計算量の削減量を見積もることができる。精度を重視する場合には、重複領域を多くとることが望ましい。そのため、全共有点の数Ｃを大きくすると良い。さらに、計算量を重視する場合には、部分集合の数Ｍを大きくすると良いが、精度を考慮すると全共有点の数Ｃも、それに合わせて大きくする必要があるため、処理する対象の形状や動き、また、精度とのバランスで決定する必要がある。以上のように、共有点を用いて測地距離を統合することで、高速に測地距離計算の処理が可能となる。

次に、ステップＳ２０８で、領域抽出部１０７は、近似測地距離算出部１０６で統合した測地距離ｇ（ｉ，ｊ）を用いて、不連続点を検出することによって類似する移動軌跡をもつブロックから構成される領域を特定することによって領域抽出を行う。ここでは、ｇ（ｉ，ｊ）が無限大となる移動軌跡ｉと移動軌跡ｊの間が不連続点である。閾値Ｒに対して得た測地距離の例を図９（ａ）〜図９（ｃ）を用いて説明する。ここで、図９（ａ）は、移動軌跡ａ〜ｈを示し、図９（ｂ）は、図９（ａ）に示した移動軌跡ａ〜ｈを表現する多次元空間の概念図である。なお、図９（ａ）に示される移動軌跡ａ〜ｈの数を８本としたが、実際には、各画素に対応する移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、図９（ｂ）に示される多次元空間における１点（点ａ〜点ｈ）が、それぞれ、上記式２に示した一つの移動軌跡に対応する。すなわち、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果である。さらに、図９（ｂ）に示される多次元空間上で、点と点との距離は、ベクトル間のユークリッド距離ではなく、上記式２０および式２１から算出された測地距離に対応する（ただし、無限大は除く）。

図９（ｃ）に示されるクラスタリングの例について説明する。ここで、図９（ｂ）の多次元空間において、上記式３もしくは上記式４に示した移動軌跡ａと移動軌跡ｂとの距離をｆ（ａ，ｂ）とした時に、ｆ（ｅ，ｆ）＞ｆ（ｃ，ｄ）＞ｆ（ｆ，ｇ）＞ｆ（ｂ，ｃ）である。ここでは、閾値をＲとして設定した場合に、距離ｆ（ｅ，ｆ）だけが閾値Ｒよりも大きな値を持つとする。この場合、上記式２０によって測地距離を求めてもｇ_p（ｅ，ｆ）は無限大となる。そのため、上記式２１もしくは式２２によって、測地距離を統合した結果ｇ（ｅ，ｆ）も無限大となる。そこで、領域抽出部１０７は、移動軌跡ｅと移動軌跡ｆとの間を不連続点と判定する。この結果、移動軌跡ａからｄと移動軌跡ｅとの測地距離は不連続点を通らないため無限大の値を取らず、逆に移動軌跡ｆからｈの各移動軌跡と移動軌跡ａからｅの各移動軌跡との測地距離は、不連続点ｇ（ｅ，ｆ）を通るためそれぞれ無限大となる。このように、測地距離が無限大とならない移動軌跡ｉと移動軌跡ｊの組は同じクラスタとし、無限大となる場合は別のクラスタとする。これによって、図９（ｃ）に示されるようにθ₁、θ₂の２つのクラスタに分離することができる。図９（ｃ）の移動軌跡ａ〜ｈにおいて、上半身に関する移動軌跡ａ〜ｅはクラスタθ₁に属し、下半身に関する移動軌跡ｆ〜ｈはクラスタθ₂に属している。すなわち、クラスタに分離した結果は、直接的に領域抽出を行った結果となる。

さらに、後述するように、パラメータを変更して、上記ステップＳ２０１からＳ２０８の処理を行うことによって、複数の移動体を別々に抽出することも可能である。なお、本明細書において、例えば、動きの無い移動軌跡を用いずに領域抽出を行った結果の各領域は、それぞれの移動体に対応するため、各移動体の検出と、画像中の複数の移動体領域をそれぞれ抽出する領域抽出とは、特に区別する必要は無い。さらに、動きの無い移動軌跡も用いて領域抽出を行った場合、例えば最大の大きさを持つ領域を背景とし、それ以外を移動体の検出結果とすることも可能であるが、領域抽出を行った結果から移動体を検出する方法はこの限りではない。

以上のようにして、本実施の形態における移動体検出装置１００によれば、画素間の距離あるいは移動軌跡の類似性に基づいてクラスタリングを行うことによって、類似する移動軌跡がまとめられて領域抽出が行われるので、距離が近く、かつ類似する動きをする部位が一つの領域として認識され、動画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、動画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域抽出をすることができる。また、前処理として人物候補領域を設定する必要がなく、さらに、あらかじめ抽出すべき移動体に関する形状情報等の事前情報を保持、または学習しておく必要がない。また、移動軌跡の類似性に基づいて閾値を用いてクラスタリングを行うため、画像中でさまざまな大きさの移動体が存在する場合や、移動体の一部が隠れている場合に特に問題となる人物候補領域の検出ミス、それに起因する領域抽出の失敗がない。

また、部分集合ごとに測地距離を算出した後に、共有点を用いた測地距離の統合によって、部分集合にまたがる測地距離を算出しているので、移動軌跡を部分集合に分割しない場合に比べ、より少ない計算量で、全ての２つの移動軌跡間の組み合わせに対する測地距離が算出され、高速な移動体検出が可能となる。

以上のようにして、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出、つまり移動体検出を行うことができる。

（実施の形態１の第１変形例）
次に、本発明の実施の形態１の第１変形例における移動体検出装置について説明する。

ここでは、部分集合への分割を実施の形態１とは異なる方法で行う例について説明する。

このような第１変形例に係る移動体検出装置は、実施の形態１と比べて、領域分割部１０３の処理を除いて、同じ構成であるため、同一構成要素の説明は省略する。

実施の形態１と異なる点は、領域分割部１０３での処理である。実施の形態１では、図５に示したように画像４０１の位置に関する空間をＰ個の部分集合４０２として領域に分割したが、ここでは、上記式２に示したような移動軌跡、すなわち多次元ベクトルの空間上でＰ個の部分集合に分割する。つまり、本変形例では、領域分割部１０３は、移動軌跡が類似するものどうしが同一の部分集合に属することになるように、移動軌跡（多次元ベクトル）を表現する多次元ベクトル空間上で、複数の移動軌跡を複数の部分集合に分割する。

ここでは、図３に示した処理のフローチャートに沿って説明する。まず、ステップＳ２０１からＳ２０３までは実施の形態１と同じであるため、説明を省略する。

次に、ステップＳ２０４にて、領域分割部１０３は、図１０（ａ）〜図１０（ｃ）に示すように上記式２で算出した移動軌跡、つまり多次元ベクトルの空間上で部分集合に分割する。ここで、図１０（ａ）は、移動軌跡９０１を示し、図１０（ｂ）は、図１０（ａ）に示した移動軌跡９０１を表現する多次元ベクトル空間の概念図である。ここで、移動軌跡を表す多次元ベクトル（多次元ベクトル空間における一点）が、それぞれ上記式２に示した１つの移動軌跡に対応する。すなわち、図１０（ｂ）は、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果である。そして、図１０（ｃ）の部分集合９０３に示すように、領域分割部１０３は、多次元ベクトル空間を複数の部分領域に分割する。ここで、部分集合９０３は、分割された多次元ベクトル空間に存在する点、すなわち移動軌跡の集合である。この時、黒丸は、共有点９０４である。部分集合９０３の設定においては、多次元ベクトル空間において一部を重複するように設定し、重複領域に属する移動軌跡を共有点としてもよいし、図５（ｃ）で説明したのと同様に、多次元ベクトル空間における部分集合の境界において近接する移動軌跡を共有点９０４としてもよいし、部分集合を空間的に高密度に設定し、共有点９０４を空間的に疎に設定してもよい。さらにここでは、部分集合に分割する際において、図１０（ｃ）に示したような直方体（実際は、多次元であるのでｎ次元直方体）で行う必要は必ずしもなく、超球や超楕円、ｎ次元多面体などであっても構わない。また、複数の部分集合によって、すべての移動軌跡を包含するように設定するのが望ましい。

さらに、ステップＳ２０４における別の方法について説明する。まず、すべての移動軌跡に対して、以下のように計算を行う。

ここで、ｉおよびｊは、式２で算出したすべての移動軌跡である。ｐｔｎ_ijとｍｔｎ_ijについては、上記式５から式７に示してある。次に、上記式２４にて算出した移動軌跡間距離マトリクスｆ（ｉ，ｊ）を移動軌跡数個の行ベクトルと捉える。すなわち、ｉ行目の行ベクトルは、移動軌跡ｉと対応する。そして、それぞれの行ベクトルは、多次元ベクトルと考えることができる。そのため、移動軌跡間距離マトリクスの行ベクトルは、概念的には、図１０（ｂ）に示した多次元空間上の点として表すことができる。そのため、上記実施の形態で説明したのと同様に、図１０（ｃ）に示すような部分集合を用いて、多次元ベクトル空間上で移動軌跡を部分集合に分割することができる。

さらに、多次元ベクトルを表現する多次元空間において、移動軌跡、つまり前述した多次元ベクトルを用いて、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行ってもよい。ＰＣＡを行うことによって、多次元ベクトル空間をより、低次元に圧縮することができる。例えば、２次元に圧縮した場合には、図５に示したように、画像空間上で部分集合に分割することと同様の処理によって、２次元空間上で移動軌跡を部分集合に分割することが可能である。

ステップＳ２０６以降については、実施の形態１と同様の処理を行えばよいため、説明を省略する。

以上のようにして、本第１変形例における移動体検出装置によれば、画素間の距離あるいは移動軌跡の類似性に基づいてクラスタリングを行うことによって、類似する移動軌跡がまとめられて領域抽出が行われるので、距離が近く、かつ類似する動きをする部位が一つの領域として認識され、動画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、動画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域抽出をすることができる。また、前処理として人物候補領域を設定する必要がなく、さらに、あらかじめ抽出すべき移動体に関する形状情報等の事前情報を保持、または学習しておく必要がない。また移動軌跡の類似性に基づいて閾値を用いてクラスタリングを行うため、画像中でさまざまな大きさの移動体が存在する場合や、移動体の一部が隠れている場合に特に問題となる人物候補領域の検出ミス、それに起因する領域抽出の失敗がない。

以上のようにして、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出、つまり移動体検出を行うことができる。

（実施の形態１の第２変形例）
次に、本発明の実施の形態１の第２変形例における移動体検出装置について説明する。

ここでは、領域抽出部１０７における領域抽出を異なる方法で行う例について説明する。

このような第２変形例に係る移動体検出装置は、実施の形態１と比べて、領域抽出部１０７の処理を除いて、同じ構成であるため、同一構成要素の説明は省略する。

実施の形態１と異なる点は、領域抽出部１０７であり、この領域抽出部１０７が測地距離マトリクスを次元圧縮し、その次元圧縮された空間上で移動軌跡をクラスタリングすることによって、領域抽出、つまり移動体の検出を行う点である。

ここでは、図１１に示した処理のフローチャートに沿って説明する。まず、ステップＳ２０１からＳ２０７までは実施の形態１と同じであるため、説明を省略する。

ステップＳ１００１では、領域抽出部１０７にて、ステップＳ２０７で算出した測地距離マトリクスの次元圧縮を行う。次元圧縮は、Ｙｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行った後、Ｅｉｇｅｎ ｓｙｓｔｅｍを求めることで実現できる。これは、多次元空間に分布するデータを低次元空間に効率良く射影するための方法であり、入力データのノイズ（ここでは、上記式２の移動軌跡を算出する際に動き情報に誤差が含まれる場合に相当する）に対して頑健なデータの表現が可能となる。

つまり、領域抽出部１０７は、非線形化された距離マトリクスを

として、次のように上記式２５に対して中心化行列Ｈを両側からかけるＹｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行う。これは、距離マトリクスが点間距離からなる距離行列であるのに対して、重心を原点とした距離マトリクスに変換するために行うものである。

ただし、Ｈは中心化行列であり、

である。Ｉは単位行列、Ｎは、上記式２に示した移動軌跡の数である。

また、

である。

次に、領域抽出部１０７は、次元圧縮を行うために、τ（Ｇ）に対するＱ個のｅｉｇｅｎ ｖｅｃｔｏｒ（固有ベクトル）ｅ_qおよびそれに対応するｅｉｇｅｎ ｖａｌｕｅ（固有値）λ_qを算出する。

これにより、

とすると、ｇⁱを次元圧縮された空間上に射影した結果は、データｚⁱ _qとして以下のように表すことができる。

なお、ｅⁱ _qは、ｑ番目のｅｉｇｅｎ ｖｅｃｔｏｒ ｅ_qのｉ番目の要素である。ｅｉｇｅｎ ｖｅｃｔｏｒの数Ｑは、利用するシーンに応じて実験的に決定しても良いし、以下のようにｅｉｇｅｎ ｖａｌｕｅ λ_qから寄与率ａ_qを算出し、それに基づいて決定しても良い。

Ｑは利用するｅｉｇｅｎ ｖｅｃｔｏｒの数、すなわち圧縮された空間の次元数である。Ｎは全ｅｉｇｅｎ ｖｅｃｔｏｒの数である。そこで、寄与率ａ_Qが一定値以上となる時のＱをｅｉｇｅｎ ｖｅｃｔｏｒの数とすれば良い。

以上のように、上記式２に示した移動軌跡ｉを、ｅｉｇｅｎ ｖｅｃｔｏｒ ｅ_qで張られる非線形に次元圧縮された空間上のデータｚⁱ _qと対応付けることができる。

図１２に人物の歩行画像を入力とした場合の移動軌跡ｉが非線形に次元圧縮された空間に射影された結果を示す。横軸、縦軸は、それぞれ、ｅｉｇｅｎ ｖｅｃｔｏｒ ｅ₁，ｅ₂である。２次元上に射影された点（ｚⁱ ₁，ｚⁱ ₂）は、ｇⁱを射影したものである。ここで、圧縮空間上のデータｚⁱ _qと画像上での画素ｉの時間的移動軌跡ｘⁱとは一対一の対応関係にあるため、点（ｚⁱ ₁，ｚⁱ ₂）は、移動軌跡ｉに対応していると捉えることができる。なお、ここでは結果を可視化するために圧縮空間の次元数を２次元としたが、必ずしも２次元である必要は無いし、高い次元数の方がより高い精度でデータを射影することができる。

次に、ステップＳ１００２では、領域抽出部１０７は、ステップＳ１００１にて図１２に示したような圧縮された空間に射影されたデータに対して、クラスタリングを行うことで移動体の検出と領域抽出を行う。

まず、セグメント領域を次のように表現する。ここで、セグメント領域とは、抽出される領域であり、つまり移動体の検出結果と一致する。

ここで、Ｍは、セグメント領域数であり利用するシーンに応じて経験的に決定する。ただし、上記式２３におけるＭとは異なる。

それぞれのセグメント領域θ_mは、パラメータ

で表現する。ここで、

は、圧縮空間におけるセグメント領域θ_mに属するデータの座標値の平均値、Ｚ_mは、セグメント領域θ_mに属するデータの座標値に関する共分散行列である。

の初期値はランダムに決定しても良いし、圧縮された空間中をグリッドで等間隔に分割する等して、その交点の座標値を初期値としても良い。

なお、

は、以下のように表すことができる。

ここで、Ｃ_mは圧縮された空間上でセグメント領域θ_mに属するデータ数である。

以下、具体的な計算方法について説明する。まず、領域抽出部１０７は、次式の距離関数を用いて、圧縮された空間上のデータｚ_iが属するセグメント領域θ_mを求める。

ここで、ψ_m（ｚ_i）は、移動軌跡ｉに対応する圧縮空間上のデータｚ_iとそれぞれのセグメント領域θ_mとの距離を示すものである。各データは、ψ_m（ｚ_i）が最小値をとるセグメント領域θ_mに属することになる。なお、φ_m（ｚ_i）はマハラノビス距離であり、

である。また、φ_m（ｚ_i）をψ_m（ｚ_i）の代わりとして用いても構わない。

さらに、ｐ（ω_m）は、一定値としても構わないし、人物など決まった移動体のセグメンテーションを行う場合はあらかじめ、人物部位の形状や面積比等をもとに設定しておいても良い。ω_mは、セグメント領域θ_mに対する重み係数である。

次に、領域抽出部１０７は、上記式３５の計算結果から、セグメント領域θ_mに属するデータｚ_iを用いて、以下のように領域θ_mのパラメータ

を更新する。

ここで、

は、セグメント領域θ_mに属する圧縮された空間上のデータである。また、ω＝１としても良いし、入力データの平均値からのずれ具合によって調整しても良い。このように、領域抽出部１０７は、上記式３５から式３８の距離計算およびパラメータ更新を規定回数繰り返すことによって、圧縮空間上の各データが属するセグメント領域θ_mを得ることができる。なお、上記に加えて、ｋ−ｍｅａｎ、競合学習など、他のクラスタリング方法を用いても構わない。

図１３（ａ）及び図１３（ｂ）に人物の歩行画像を入力とした場合にＭ＝９として圧縮空間上のデータをセグメンテーションした例を示す。圧縮空間上でのセグメント領域θ₁からθ₉について画像上での対応を見ると、セグメント領域θ₁は人物の頭部、セグメント領域θ₂は胴体上部、セグメント領域θ₃は腕、セグメント領域θ₄は胴体下部、セグメント領域θ₅及びθ₇は大腿部、セグメント領域θ₆及びθ₈は、下腿部に対応している。なお、セグメント領域θ₉は主に背景の一部に対応する。

ここで、図１３（ｂ）の矢印で示すように、圧縮空間上のセグメント領域に対応するのは、１枚の画像上の領域だけではなく時間的に連続した複数枚の画像に渡って画素を追跡した結果である。すなわち、圧縮された空間上でセグメンテーションを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果として、画像中の移動体（移動体の部位）の検出、被写体を含む画像の抽出をすることができる。

さらには、上記の説明と同じ方法でパラメータを変更することで、複数の移動体を検出することもできる。具体的には上記式１４もしくは上記式１５を用い、閾値Ｒを、部位のセグメンテーションを目的とする時よりも大きな値に設定する。

図１４に、人物一人が歩行し自転車１台が走行している画像を入力とした場合に、圧縮された圧縮空間に射影しＭ＝２としてセグメンテーションを行った結果の一例を示す。圧縮された空間上でのセグメント領域θ₁とθ₂の画像上での対応について説明する。セグメント領域θ₁は画像上では自転車の動きに対応し、セグメント領域θ₂は画像上では人物の歩行に対応している。以上のように、低次元に圧縮された空間上でセグメンテーションを行うことで、簡単かつ安定に自転車の動きと人物の動きとを分けて検出（つまり、領域抽出）することができる。

なお、ここでは上記式２に示されるような、動きのない画素についての移動軌跡は入力として用いていないため、移動している物体である歩行者と自転車の２つのみが圧縮空間上に射影されている。もちろん、動きのない移動軌跡を入力として用いても構わない。ここで、実施の形態１と同様に圧縮された空間上のセグメント領域に対応するのは、１枚の画像上の領域だけではなく時間的に連続した複数枚の画像に渡って画素を追跡した結果である。すなわち、圧縮空間上でセグメンテーションを行うことによって、移動体の領域を時間的に追跡した結果としてそれぞれの移動体を検出することができる。

以上のようにして、本第２変形例における移動体検出装置によれば、画素間の距離あるいは移動軌跡の類似性に基づいて、次元圧縮を行った後にクラスタリングを行うことによって、動き検出ミス等のノイズに対して頑健で、かつ類似する移動軌跡がまとめられて領域抽出が行われるので、距離が近く、かつ類似する動きをする部位が一つの領域として認識され、動画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、動画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域抽出をすることができる。また、前処理として人物候補領域を設定する必要がなく、さらに、あらかじめ抽出すべき移動体に関する形状情報等の事前情報を保持、または学習しておく必要がない。また移動体の一部が隠れている場合に特に問題となる人物候補領域の検出ミス、それに起因する領域抽出の失敗がない。

以上のようにして、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出、つまり移動体検出を行うことができる。

（実施の形態１の第３変形例）
次に、本発明の実施の形態１の第３変形例における移動体検出装置について説明する。

ここでは、実施の形態１で説明した領域抽出に対して、複数の判断基準を設けることによって、領域抽出の候補を生成し、その候補の中からあらかじめ定めた移動体の数に最も近い候補を選択することによって領域抽出を行う例について説明する。

図１５は、実施の形態１の第３変形例における移動体検出装置１００ａの構成を示す図である。図１５に示されるように、この移動体検出装置１００ａは、画像入力部１０１、動き解析部１０２、領域分割部１０３、距離計算部１０４、測地距離変換部１０５ａ、近似測地距離算出部１０６ａ、領域抽出部１０７ａ、及び、出力部１０８を備える。領域抽出部１０７ａは、領域抽出候補生成部１４０１と領域抽出候補選択部１４０２を有する。そして、この移動体検出装置１００ａは、動画像中の移動体の全部又は一部の領域を特定する領域抽出をすることによって動画像中の移動体を検出する。

まず、画像入力部１０１、動き解析部１０２、領域分割部１０３、距離計算部１０４については、実施の形態１と同じであるため、説明を省略する。

測地距離変換部１０５ａは、距離計算部１０４で算出した各部分集合における距離マトリクスに対して、判断基準を複数個生成し、生成した複数の判断基準のそれぞれについて、当該判断基準を用いて測地距離変換を行うことで、複数の判断基準のそれぞれに対応する測地距離を生成する処理部である。

近似測地距離算出部１０６ａは、前記複数の判断基準ごとに、測地距離変換部で算出された各部分集合における測地距離マトリクスを統合することによって、部分集合間をまたがる近似的な測地距離を算出する処理部である。

領域抽出候補生成部１４０１は、近似測地距離算出部１０６ａで、複数個の判断基準のそれぞれについて統合された測地距離マトリクスから、動き解析部１０２で算出された複数の移動軌跡をクラスタリングすることによって領域抽出をし、その領域抽出の結果を領域抽出候補として生成する処理部である。具体的には、この領域抽出候補生成部１４０１は、移動軌跡間の距離の分布における不連続点を閾値によって検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡どうしが一つのクラスタとなるように、連続に分布する移動軌跡をクラスタリングすることによって、前記複数の閾値のそれぞれに対する領域抽出の候補を生成する。

領域抽出候補選択部１４０２は、予め定められた数値を参照したり、ユーザ等の外部からの指示を受け付けたりすることで、クラス数についての指示を取得し、取得したクラス数に近い個数の領域に分割された領域抽出候補を、領域抽出候補生成部１４０１で生成された複数の領域抽出候補から選択し、選択した領域抽出候補を、動き解析部１０２で算出された移動軌跡から領域抽出を行った結果として出力する処理部である。具体的には、この領域抽出候補選択部１４０２は、領域抽出候補生成部１４０１で生成した、複数の閾値のそれぞれに対する領域抽出の候補から、指示されたクラス数に最も近い領域抽出結果を選択する。すなわち、指示されたクラス数に応じた閾値による領域抽出結果を選択することになる。

出力部１０８は、実施の形態１と同様である。これにより、最終的な移動体の検出と領域抽出結果を得ることができる。

以下に、本第３変形例における発明の移動体検出方法、つまり、移動体検出装置１００ａの動作として、図１６のフローチャートを用いて移動する移動体を検出、領域抽出する例について詳細に説明する。ステップＳ２０１からＳ２０５までは、実施の形態１と同様であるため説明を省略する。

ステップＳ２０６ａにて、測地距離変換部１０５ａは、上記式３もしくは上記式４で算出した部分集合ｐにおける線形距離ｆ_p（ｉ，ｊ）に対して、複数の判断基準としてK個の閾値Ｒ_kを生成し、それらK個の閾値Ｒ_kを用いて、それぞれの閾値に対して以下のように非線形化処理を行いｆ'^k _p（ｉ，ｊ）を算出する。

移動軌跡ｉに着目した時に移動軌跡ｉとの線形距離が小さい順にＲ_k個の移動軌跡ｊを選択し、選択された移動軌跡ｊとの距離は変更せず、選択されなかった移動軌跡ｊとの距離を無限大に変更する。なお、ここでは、線形距離が小さい順に選択したが、次式のように閾値Ｒ_kを設定してもよい。

つまり、測地距離変換部１０５ａは、距離計算部１０４で算出された部分集合ｐに属する複数の移動軌跡のそれぞれについての線形距離マトリクスに対して、それぞれK個の閾値Ｒ_kを用いて、距離が小さい順に予め定められた個数の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよいし、距離が予め定められた閾値以下の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよい。

なお、距離の非線形化に関しては、上記の関数に限定されるものではなく、移動軌跡ｉと移動軌跡ｊに関する距離に対して非線形変換を行うものであれば何でもよい。

さらには、線形距離ｆ_p（ｉ，ｊ）に対して、実施の形態１で説明したように、上記式１７及び上記式１８を用いて計算した重みを掛け算して重み付けを行った後に上記式３９もしくは上記式４０の処理を行ってもよい。

次に、非線形化された距離ｆ'_k（ｉ，ｊ）を用いて、次式のように測地距離を算出する。

なお、ｍｉｎ（ｘ，ｙ）は、値ｘと値ｙのうち小さい方を返す関数である。また、ｓは、移動軌跡ｓであり、移動軌跡ｉから移動軌跡ｊに辿（たど）りつくための中継点である。ここで、ｆ'^k _p（ｉ，ｓ）＋ｆ'^k _p（ｓ，ｊ）における中継点ｓは１点に限るものではない。なお、ｐは部分集合、ｋは複数の閾値Ｒ_kに対応する。

次に、ステップＳ２０７ａにて、近似測地距離算出部１０６ａは、閾値Ｒ_kごとに、各部分集合ｐにおける測地距離マトリクスｇ^k _p（ｉ，ｊ）を統合することで部分集合をまたがる近似的な測地距離を算出する。具体的には、ステップＳ２０４にて設定された共有点を用いて、以下のように統合処理を行う。

ここで、ｃは共有点であり部分集合ｐおよび部分集合ｑの両方に属する移動軌跡である。つまり、複数の部分集合間で重複している移動軌跡である。なお、共有点は、必ずしも２つの部分集合に属するものではなく、３つ以上の部分集合に属しても構わない。また、ｉとｈは、それぞれ異なる部分集合ｐおよびｑに属する移動軌跡である。なお、共有点ｃは、図５に示した例のように１点に限るものではない。

は、少なくとも１つ以上の共有点ｃについて、上記式４２を計算し、その中で最小値を選択する関数である。ここでは、部分集合ｐとｑの２つの組に限定されるものではなく、２つ以上の部分集合間をまたがる測地距離を算出することができる。もちろん、上記式２２に示したように、各閾値に対してそれぞれ共有点間を接続する計算を行っても構わない。

次に、ステップＳ２０８ａでは、領域抽出候補生成部１４０１にて、それぞれの閾値Ｒ_kに対応する統合した測地距離マトリクスｇ^k（ｉ，ｊ）を用いて、不連続点を検出することによってクラスタリングを行う。ここでは、ｇ^k（ｉ，ｊ）が無限大となる移動軌跡ｉと移動軌跡ｊの間が不連続点である。複数の閾値Ｒ_kに対して得た測地距離変換の結果の例を図１７（ａ）〜図１７（ｅ）を用いて説明する。ここで、図１７（ａ）は、移動軌跡ａ〜ｈを示し、図１７（ｂ）は、図１７（ａ）に示した移動軌跡ａ〜ｈを表現する多次元空間の概念図である。なお、移動軌跡の数を８本（移動軌跡ａ〜ｈ）としたが、実際には、各画素に対応する移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、図１７（ｂ）に示される移動軌跡を表現する多次元空間における１点が、それぞれ式２に示した一つの移動軌跡に対応する。すなわち、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果である。さらに、多次元空間上で、点と点との距離は、ベクトル間のユークリッド距離ではなく、測地距離に対応する。

閾値Ｒ_kが十分に大きな値である場合、例えば、ｆ_p（ｉ，ｊ）の最大値よりも閾値Ｒ_kが大きい場合には、図１７（ｃ）に示すように測地距離ｇ^k（ｉ，ｊ）は、すべてのｉ，ｊの組合せにおいて無限大にならない。すなわち、不連続点が１点もないためクラスタは１個と判断できる。一方、閾値Ｒ_kが十分に小さい場合、具体的には、ｆ_p（ｉ，ｊ）の最小値よりも閾値Ｒ_kが小さい場合には、すべてのｉ，ｊの組合せにおいてｇ^k _p（ｉ，ｊ）が無限大となる。すなわち、クラスタ数は移動軌跡の数と同数となる。ここでは、閾値Ｒ_kをｆ_p（ｉ，ｊ）の最大値と最小値の間の値に設定して、それぞれクラスタリングを行うことが効率的である。図１７（ｄ）に示されるクラスタリングの例について説明する。ここでは、閾値をＲ₁として設定した場合に、近似測地距離算出ステップ（Ｓ２０７ａ）で求めた測地距離ｇ¹（ｅ，ｆ）は無限大となる。そこで、移動軌跡ｅと移動軌跡ｆとの間を不連続点と判定する。この結果、移動軌跡ａからｄと移動軌跡ｅとの測地距離は不連続点を通らないため無限大の値を取らず、逆に移動軌跡ｆからｈの各移動軌跡と移動軌跡ａからｅの各移動軌跡との測地距離は、不連続点ｇ¹（ｅ，ｆ）を通るためそれぞれ無限大となる。このように、測地距離が無限大とならない移動軌跡ｉと移動軌跡ｊの組は同じクラスタとし、無限大となる場合は別のクラスタとする。これによって、図１７（ｄ）のようにθ₁、θ₂の２つのクラスタに分離することができる。さらに、図１７（ｅ）に示すように、閾値をＲ₂（ただし、Ｒ₁＞Ｒ₂）とした場合に、近似測地距離算出ステップ（Ｓ２０７ａ）で算出した無限大となる測地距離は、ｇ²（ｃ，ｄ），ｇ²（ｅ，ｆ），ｇ²（ｆ，ｇ）であったとする。この場合には、それぞれ、移動軌跡ｃと移動軌跡ｄとの間、移動軌跡ｅと移動軌跡ｆとの間、移動軌跡ｆと移動軌跡ｇとの間が不連続点であると判定し、図１７（ｄ）に示されるクラスタリングの場合と同様に測地距離が無限大となる組と無限大にならない組とを整理して、θ₁、θ₂、θ₃、θ₄の合計４つのクラスタに分離する。以上の処理によって、測地距離が無限大とならない移動軌跡の組は連続とすることで同じクラスタと判定することができ、測地距離が無限大となる移動軌跡の組は不連続とすることによって、不連続点をもとにクラスタを分離することができる。

つまり、領域抽出候補生成部１４０１は、動き解析部１０２で算出された複数の移動軌跡のそれぞれについて、当該移動軌跡との距離がＮ番目に小さい距離を特定し、特定した複数の距離について大きい順から選択した複数の値を、複数の領域抽出候補を生成するための複数の閾値として生成してもよい。

次に、ステップＳ１５０１にて、領域抽出候補選択部１４０２は、ステップＳ２０８ａで行った複数のクラスタリング結果から、あらかじめ設定したクラス数（あるいは、外部から指示されたクラス数）に最も近いクラスタ数となったクラスタリング結果を選択する。図１７（ａ）〜図１７（ｅ）に示される例で説明すると、クラス数Ｍ＝４と設定した場合には、閾値Ｒ₂の時のクラスタリング結果（図１７（ｅ））が選択される。また、クラス数Ｍ＝２と設定した場合には、閾値Ｒ₁の時のクラスタリング結果（図１７（ｄ））が選択され、出力部１０８にて、各移動軌跡にラベル付けした結果を出力する。

なお、本第３変形例では、移動軌跡に対して上記式３もしくは上記式４のような距離を計算することによって、画素の位置と動きの類似性とを考慮した領域抽出が可能になる。そのため、図１７に示されるクラスタリングの例では、クラス数Ｍ＝２と設定した場合には、下半身の動きが上半身の動きと大きく異なることが反映されて、上半身と下半身とが別々のクラスタとして領域抽出でき、クラス数Ｍ＝４と設定した場合には、Ｍ＝２の場合に加えて、頭部の動きと腕の動きの違い、上腿と下腿との動きの違いが反映され、頭部、腕、上腿（じょうたい）、下腿（かたい）を別々のクラスタとして領域抽出することができる。なお、ここでは、閾値の数は２個に限るものではなく、何種類用意してもかまわない。また、設定したクラス数と同数のクラスタリング結果がない場合には、最も近いクラスタ数となったものを選択してもよいし、設定したクラス数よりも小さいクラス数の中から一番近いクラスタ数となったクラスタリング結果を選択してもよいし、同様に、設定したクラス数よりも大きいクラス数の中から一番近いクラスタ数となったクラスタリング結果を選択してもよい。さらには、複数のクラス数を設定して処理を行うことによって、図１７（ｄ）及び図１７（ｅ）に示されるクラスタリング例のように、図１７（ｄ）で上半身として抽出された領域は、図１７（ｅ）では、頭部、腕として抽出することができる。すなわち、階層的な領域抽出を行うことも可能になる。これにより、被写体の構造を反映した領域抽出も可能になるという効果があるため、例えば、スポーツにおける動作や歩行を解析する場合に、クラス数によって、詳細なパーツの分析から、例えば領域重心の移動や、上半身のみの動き分析などの粗い被写体の動き分析をも同時に行うことが可能になる。

さらに、本方法は、同様の方法によって、一つの移動体のボディパーツの検出、領域抽出だけでなく、複数人が存在するシーンにおいて、それぞれの移動体を検出、領域抽出することも可能である。

このように、複数の閾値に対して、測地距離を用いて算出した不連続点をもとにクラスタリングを行い、規定したクラス数に最も近いクラスタリング結果を選択することによって、結果として検出及び領域抽出を行うことができる。

以上のようにして、本第３変形例における移動体検出装置１００ａによれば、画素間の距離あるいは移動軌跡の類似性に基づいてクラスタリングを行うことによって、類似する移動軌跡がまとめられて領域抽出が行われるので、距離が近く、かつ類似する動きをする部位が一つの領域として認識され、動画像中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、動画像中の移動体もしくは、移動体の部位の検出、移動体を含む画像の領域抽出をすることができる。また、前処理として人物候補領域を設定する必要がなく、さらに、あらかじめ抽出すべき移動体に関する形状情報等の事前情報を保持、または学習しておく必要がない。また移動軌跡の類似性に基づいて複数の閾値を用いてクラスタリングを行うため、画像中でさまざまな大きさの移動体が存在する場合や、移動体の一部が隠れている場合に特に問題となる人物候補領域の検出ミス、それに起因する領域抽出の失敗がない。

以上のようにして、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出、つまり移動体検出を行うことができる。

（実施の形態１の第４変形例）
次に、本発明の実施の形態１の第４変形例における移動体検出装置について説明する。ここでは、実施の形態１において移動体を検出及び部位を領域抽出した結果を画像として表示する機能を付加した例について説明する。このような第４変形例に係る移動体検出装置１００ｂは、図１８に示す構成図のように、基本的には実施の形態１と同じ構成を備えるが、実施の形態１における出力部１０８に代えて、画像表示部１７０１を有する出力部１０８ａを備え、この特徴により、領域抽出部１０７によって抽出した領域を画像としてモニタ等に表示することが可能である。

出力部１０８ａは、実施の形態１における出力部１０８の機能に加えて、画像表示部１７０１を有する。この画像表示部１７０１は、領域抽出部１０７で得られた領域抽出の結果を、画像入力部１０１で受け付けた動画像（ピクチャ）に重ねて表示する処理部であり、例えば、ＬＣＤ等のディスプレイ及びその表示制御部からなる。図１９（ａ）及び図１９（ｂ）は、画像表示部１７０１による表示例を示す図である。ここでは、図１９（ａ）に第３変形例で抽出した結果である、Ｍ＝３として移動体をそれぞれ領域抽出した例を、図１９（ｂ）にＭ＝８として、１つの移動体の領域抽出を行った例を示す。このように、領域θ_mに対応する画像上での領域を色分け等して、抽出された領域をそれぞれ区別できるようにしてモニタ等に表示する。図１９（ａ）のように移動体ごとに色分けして表示してもよいし、図１９（ｂ）のように、部位ごとに別個に表示してもよい。つまり、図１９から分かるように、本変形例に係る移動体検出装置１００ｂは、上述した領域抽出によって、複数の移動体を検出することもできるし（図１９（ａ））、一つの移動体を構成する複数の部分を検出する、つまり、一つの移動体に対して領域を抽出することもできる（図１９（ｂ））。

ここで、上記式２に示した移動軌跡ｉは、アウトライアを除いて領域θ_mのいずれかに対応する。そのため、領域θ_mに属する移動軌跡ｉに基づいてピクチャ上の画素を選択し、領域ラベルｍに基づいて色分け等を行えば容易に抽出した領域を画像上に表示することができる。これによって、本第４変形例における移動体検出装置１００ｂによれば、実施の形態１で説明した、形状が変化しながら移動する人物等を含む動画像に対しても正しく領域抽出できるという効果に加えて、抽出した領域を動画像上に表示することで、ユーザがそれぞれの移動体もしくは移動体の部位、さらにはその動きを区別しやすくなるという効果がある。また、他の方法として、画像表示部の代わりに、領域が規定の数以上抽出された場合に、画像表示の代わりに、音によって抽出したことを知らせる警報部を設けても良いし、さらには、警報部と画像表示部とを組合せることも可能である。

（実施の形態１の第５変形例）
次に、本発明の実施の形態１の第５変形例における移動体検出装置について説明する。ここでは、実施の形態１において移動体を検出及び部位を領域抽出した結果をそれぞれ抽出した領域ごとに記録・送信する機能を付加した例について説明する。このような第５変形例に係る移動体検出装置１００ｃは、図２０に示す構成図のように、基本的には実施の形態１と同じ構成を備えるが、実施の形態１における出力部１０８に代えて、記録・送信部１９０１を有する出力部１０８ｂを備える。

出力部１０８ｂは、実施の形態１における出力部１０８の機能に加えて、記録・送信部１９０１を有する。この記録・送信部１９０１は、領域抽出部１０７での領域抽出の結果に基づいて、画像入力部１０１で受け付けたピクチャにおける領域を特定し、特定した領域ごとに、対応する領域抽出の結果を、内蔵又は外付けのメモリやハードディスク等の記録媒体に記録（あるいは、自ら保持）する、又は、通信インターフェース及び伝送路等を介して外部に送信する処理部である。つまり、この記録・送信部１９０１は、画像表示の場合と同様に、領域抽出した結果画像を領域ラベルθ_mに応じてそれぞれ別々に記録・送信する。また、各領域に属する動き情報を以下のように平均化することで、動き情報を圧縮することも可能である。通常であれば画素ごとに動き情報を保持する必要があるが、以下の処理を行えば１つの領域に対して１つの動きを保持するだけでよい。例えば、動き情報として画素ｉの動きベクトル（ｕⁱ _t，ｖⁱ _t）を用いた場合には、以下のように抽出された領域ごとに平均化した動き情報を計算することができる。

ここで、Ｃ_mは、領域θ_mに属する画素数もしくは移動軌跡の数である。

は、それぞれ、領域θ_mに属する画素の動きベクトルである。図２１に、図１９（ａ）の処理結果について時刻Ｔからｔ枚の画像を入力として領域抽出を行い、その結果を用いて、セグメント領域を記録、送信する場合のデータ構造例を示す。識別子として各領域ラベルθ_mと、各領域ラベルθ₁からθ₃に属する時刻Ｔにおけるピクチャの画素位置と画素値、そして、各領域ラベルに対応する時刻Ｔから時刻Ｔ＋ｔまでの動きベクトルｕ^m _T，ｖ^m _T，ｕ^m _T+1，ｖ^m _T+1，．．．，ｕ^m _T+t，ｖ^m _T+tを記録、送信する。もちろん、画像の画素位置と画素値を用いる代わりに、時刻Ｔにおける１枚のピクチャに対して、画素ごとに各領域ラベルを付けて送信してもかまわない。これにより、動き情報を領域数分送信するだけで済むために、ピクチャをｔ枚送信する場合と比べて、効率よく記録、送信することができるといった効果がある。特には、領域数が画素数に比べて少なければ少ないほど効率がよい。

なお、アフィン動きを用いて動き情報を圧縮する場合は、上記式４３及び上記式４４の代わりに、アフィン動きに基づいて移動した画素位置の平均値を計算するとよい。

以上のようにして、本第５変形例における移動体検出装置１００ｃによれば、画素の動き情報を圧縮しながら領域の記録、送信が可能である。これによって、実施の形態１で説明した、形状が変化しながら移動する人物等を含む動画像に対しても正しく領域抽出できるという効果に加えて、それぞれの領域に対して１つの動き情報を用いることで高い符号化効率を実現できるという効果がある。

さらには、別途、セグメント領域復元部を設けることによって、送信、記録した情報を復元することも可能である。具体的には、図１９（ａ）及び図１９（ｂ）に示した各領域ラベルに対応する画素位置と画素値から、時刻Ｔのピクチャを復元する。さらに、画素の移動軌跡情報を用いて、時刻Ｔの各画素を移動させることによって、時刻Ｔ＋１からＴ＋ｔのピクチャを復元することが可能である。ここで、固定カメラを用いる場合には、画素の移動軌跡情報が０でない情報のみを用い、さらにセグメント領域復元部にて背景画像をあらかじめ取得、保持しておくことで、復元した画像を背景画像に上書きしてもよい。これにより、効率よく送信、記録された情報を用いて、低計算量でピクチャとして復元できるといった効果がある。

（実施の形態２）
次に、本発明の実施の形態２に係る移動体検出装置及び移動体検出方法について説明する。

本実施の形態では、実施の形態１で説明した移動体検出方法を用いて、移動体を検出及び領域抽出を行った結果から、移動体の動きを予測する機能を付加した移動体検出装置について説明する。

図２２は、実施の形態２における移動体検出装置１００ｄの構成を示す図である。図２２に示すように、本実施の形態における移動体検出装置１００ｄは、画像入力部１０１、動き解析部１０２、領域分割部１０３、距離計算部１０４、測地距離変換部１０５、近似測地距離算出部１０６、領域抽出部１０７、出力部１０８ｃに、動き予測部２１０１を付加することによって、移動体の動きを予測する機能を有する。

動き予測部２１０１は、領域抽出した結果を入力とし、各領域に含まれる画素の移動軌跡から代表軌跡を算出し、前記代表軌跡をもとに移動体の動きを予測する。

出力部１０８ｃは、実施の形態１における出力部１０８の機能に加えて、動き予測部２１０１で予測した移動体の位置や移動体部位の位置に関する情報を出力する。

図２３に実施の形態２による処理のフローチャートを示す。ステップＳ２０１からＳ２０８までは、実施の形態１と同様であるため説明を省略する。

ステップＳ２２０１では、動き予測部２１０１は、ステップＳ２０８で行った領域抽出結果を用いて、以下のようにクラスタの代表点及びその代表軌跡を求める。

ここで、領域θ_mに属する画素の移動軌跡を

と表現することとする。次式のように、動き予測部２１０１は、クラスタ領域θ_mごとに代表の移動軌跡を求める。ここでは、代表の移動軌跡として、平均移動軌跡を算出する例について説明するが、下記の計算に対して画素の移動軌跡

ごとに重み付け等を行ってもよいし、画像上でのクラスタの重心に対応する画素の移動軌跡を代表の移動軌跡としてもよい。

ここで、Ｃ_mは、領域θ_mに属する画素数もしくは画素の移動軌跡の数である。

図２４に上記式４５に基づいてクラスタ領域θ_mごとに代表の移動軌跡を求める例を示す。ただし、見やすさを考慮して、本図では、頭部に対応するクラスタ領域θ₁と脚部に対応するクラスタ領域θ₈に関する代表の移動軌跡のみを示している。図中の×は、それぞれ時刻ｔに対応する

の要素であり画素位置を示している。さらに、上記式３や上記式４に示したように、非線形空間上でのクラスタリングによる領域抽出は、画素動きの類似性を考慮して行われるため、単純に近接した画素の移動軌跡の時間平均を求めるような方法と比較して、動きが類似した画素の移動軌跡のみを用いて算出できるため、より高精度に代表の移動軌跡を求めることができる。このように、クラスタ領域ごとに代表の移動軌跡を求めることによって、部位ごとの動きを正確かつ簡便に表現することができる。

次に、ステップＳ２２０２では、動き予測部２１０１は、ステップＳ２２０１にて算出した代表の移動軌跡から、時刻Ｔより先の時刻における移動体の位置を予測する。その具体例として、初めに、代表の移動軌跡から加速度を算出し、Ｔ＋１以降の移動体の位置を予測する例について説明する。３枚以上の時系列画像が入力された場合は、次式のように代表の移動軌跡

ごとに加速度ベクトルｓ^mを得ることができる。

ここで、ｕ^m _tは動きベクトルであり、次式のように表すことができる。

上記式４６の加速度ベクトルを用いて、動き予測部２１０１は、図２４にて破線の矢印及び○で示したように、移動体の部位ごとに、時刻Ｔ＋t'における移動体の部位位置ｐｏｓ_m（Ｔ＋ｔ'）を以下のように予測することができる。ここでは、移動体の部位を例として挙げたが、図１９に示した検出例から、次式のように移動体ごとの位置を予測することも可能である。

そして、出力部１０８ｃにて、ステップＳ２２０２で予測した移動体の位置や移動体部位の位置を出力する。これにより、加速度を加味した予測が可能である。動きが急激に早くなったり、急激に止まったりといった場合に、その加速度を反映して移動体の位置を予測することができるといった効果がある。また、動きベクトルの代わりにアフィンパラメータを用いてもかまわない。アフィンパラメータは、回転運動を含む動きの表現が可能であり、腕あるいは足の回旋運動の表現に適しているため、特に関節物体の位置をより正確に予測することができる。

さらに、前述した動きベクトルと加速度の代わりに、代表の移動軌跡ｘ^mに対して直接Ｎ次関数をフィッティングすることも可能である。Ｔ枚の時系列に並んだ画像を入力とした場合、

に含まれるＴ個の画像上での位置情報に対してＮ次の関数でフィティングすることができる。これにより、フィッティングした関数の値に沿うように、時刻（Ｔ＋ｔ'）における画像上での位置ｐｏｓ_m（Ｔ＋ｔ'）を推定することが可能である。具体的には、関数でフィッティングすることによって、より滑らかな動きを表現することが可能となるため、より高精度な予測が可能となる。特には、フィッティングした関数に沿った予測が可能であるため、フィッティングした関数が本来の動きが近い場合に動き予測の精度が高い。もちろん、これらの画像上での位置予測は、時間的内挿にも利用可能である。

以上のように、本実施の形態における移動体検出装置１００ｄによれば、動きが類似した画素の移動軌跡を同一のクラスタとして算出できるため、高精度に代表の移動軌跡を求めることができる。特に関節物体等に対して部位ごとの動きを表現することが可能であり、前処理として人物候補領域を設定することなく、高精度に移動体の部位位置を予測することが可能であるという効果がある。

（実施の形態３）
次に、本発明の実施の形態３に係る移動体検出装置及び移動体検出方法について説明する。

本実施の形態では、実施の形態１で説明した移動体検出方法を、複数のカメラ映像に対して移動体を検出及び領域抽出を行う場合に拡張した移動体検出装置について説明する。

図２５は、実施の形態３における移動体検出装置１００ｅの構成を示す図である。図２５に示すように、本実施の形態における移動体検出装置１００ｅは、複数カメラ画像入力部２４０１を有する画像入力部１０１ａ、動き解析部１０２ａ、領域分割部１０３ａ、距離計算部１０４ａ、測地距離変換部１０５ｂ、近似測地距離算出部１０６ｂ、領域抽出部１０７ｂ、出力部１０８ｄからなる。なお、本実施の形態における移動体検出装置１００ｅは、基本的には、実施の形態１と同じ機能を有する。以下、実施の形態１と異なる点を中心に説明する。

画像入力部１０１ａは、実施の形態１における画像入力部１０１の機能に加えて、複数カメラ画像入力部２４０１を有する。この複数カメラ画像入力部２４０１は、図２６（ａ）及び図２６（ｂ）に示すように、複数のカメラからの映像であって、かつ、撮影領域が一部重複した映像の入力を受け付ける処理部であり、例えば、ビデオカメラ、あるいは、ビデオカメラと接続された通信インターフェース等である。なお、複数カメラ画像入力部２４０１に入力される映像の撮影条件としては、図２６（ａ）及び図２６（ｂ）に示されるようなカメラ配置や個数を限定するものではなく、カメラ映像間で重複撮影領域が設定されるように配置されていればよい。

動き解析部１０２ａは、複数カメラ画像入力部２４０１で受け付けたそれぞれのカメラから得られたピクチャを構成する１個以上の画素からなるブロックごとに実施の形態１と同様に移動軌跡を算出する処理部である。また、複数のカメラ画像を重複撮影領域をもとに統合して、１つの画像としても構わない。その場合は、統合した画像を１つの画像として実施の形態１と同じ方法により処理を行うことができるので、以下の説明は省略する。

領域分割部１０３ａは、重複撮影領域における移動軌跡の少なくとも１つを共有点として設定する処理部である。ここでは、領域分割部１０３ａは、カメラｐから得られた画像から得られる移動軌跡が部分集合ｐに対応するように、複数のカメラの動画像のそれぞれについて算出された複数の移動軌跡を、分割された複数の部分集合として記憶する。なお、各カメラ画像を実施の形態１と同様に部分集合に分割しても構わない。この場合の処理については、実施の形態１と同じであるので、以下の説明を省略する。

距離計算部１０４ａは、各カメラから得られた画像から算出された移動軌跡について、それぞれ複数の移動軌跡間の類似性を表す距離を算出する処理部である。移動する物体の形状変化を捉えるために、動き解析部１０２ａで算出した前記部分集合に含まれるブロックｉの移動軌跡と、ｉ以外の前記部分集合に含まれるブロックの移動軌跡とを用いて、ブロックの動きの類似性を表す距離を算出する処理部である。例えば、Ｎ個のブロックの移動軌跡を用いた場合、算出される距離はＮ×Ｎの距離マトリクスとなる。ここでは、ブロックの動きの類似性を評価する距離を計算することによって、ブロック間の距離が動きによって変化する移動体、特に、関節物体のように形状が変化しながら移動する人物等の物体の動きを距離マトリクスとして表現することが可能である。

測地距離変換部１０５ｂは、距離計算部１０４ａで算出した各カメラ画像に対応する部分集合における距離マトリクスに対して、それぞれ測地距離変換を行う処理部である。

近似測地距離算出部１０６ｂは、測地距離変換部１０５ｂで算出された各部分集合、つまり各カメラ映像に対応する部分集合における測地距離マトリクスを共有点を用いて統合することによって、部分集合間、つまりカメラ映像間をまたがる近似的な測地距離を算出する処理部である。

領域抽出部１０７ｂは、近似測地距離算出部１０６ｂで算出された近似的な測地距離に基づいて、類似する移動軌跡をもつブロックから構成される領域を特定することによって、領域抽出をする処理部である。

出力部１０８ｄは、実施の形態１における出力部１０８の機能に加えて、領域抽出部１０７で行った複数のカメラ画像を統合して領域抽出、つまり被写体の検出を行った結果を出力する。

以下に、本発明の移動体検出方法、つまり移動体検出装置１００ｅの動作として、図２７のフローチャートを用いて移動する移動体を検出、領域抽出する例について説明する。

まず、ステップＳ２０１ｂにて、複数カメラ画像入力部２４０１は、図２６（ａ）及び図２６（ｂ）に示すように複数のカメラからそれぞれ複数枚のピクチャを受け付ける。

次に、ステップＳ２０２ｂにて、動き解析部１０２ａは、それぞれのカメラから得られた少なくとも２枚のピクチャからブロックの動きを算出する。ここでの処理は、各カメラから得られたピクチャに対してそれぞれ実施の形態１のステップＳ２０２の処理を行えばよいため、説明を省略する。

次に、ステップＳ２０３ｂにて、動き解析部１０２ａは、ステップＳ２０２ｂで算出した動き情報を用いて実施の形態１で説明したステップＳ２０３と同じ処理を行うことで、カメラ画像ごとに上記式２に示した移動軌跡を算出する。実施の形態１と異なるのは、複数のカメラ映像に対して、それぞれステップＳ２０３の処理を行う点であるため、以下の説明を省略する。なお、便宜上、各カメラ画像から得られた移動軌跡を区別するため、上記式２を以下の式４９のように書き換える。

ここで、ｐ＿ｉは、各カメラｐから得られた画像の移動軌跡ｉである。

次に、ステップＳ２０４ｂにて、領域分割部１０３ａは、図２８（ａ）及び図２８（ｂ）に示すように、カメラ画像に応じてＰ個の部分集合とする。ここで、部分集合とは、各カメラ画像にから得られた移動軌跡の集合である。なお、図２８（ａ）は図２６（ａ）に、図２８（ｂ）は図２６（ｂ）にそれぞれ対応する。この時、例えば、図２８（ａ）に示すように、領域分割部１０３ａは、カメラ画像２７０１とカメラ画像２７０２において、重複撮影領域２７０３上に共有点２７０４を設定する。もちろん、本発明は、図２８（ｂ）に示すように、カメラの数は２個に限定されるものではなく、カメラ画像２７１０〜２７１３において、それぞれの重複撮影領域２７０３上に共有点２７０４を設定してもよい。ここで、重複撮影領域とは、複数の異なる位置に置かれたカメラから少なくとも一部、同一の場所が撮影されている場合における、画像上での領域である。さらに、共有点は、前記重複撮影領域上に少なくとも１点以上設定すればよい。以下の処理は、複数のカメラｐから得られた画像およびそれに対応する移動軌跡を分割した部分集合ｐと考えて処理を行えばよい。以下、実施の形態１のステップＳ２０４と同じ処理を行えばよいため、説明を省略する。

次に、ステップＳ２０５ｂにて、距離計算部１０４ａは、ステップＳ２０４ｂにてカメラｐで得られた画像ごとに計算された移動軌跡を部分集合ｐに属する移動軌跡と考えて、距離マトリクスを算出する。本ステップにおける以降の処理は、複数のカメラｐから得られた画像およびその移動軌跡を実施の形態１で分割した部分集合ｐと考えて処理を行えばよい。以下、実施の形態１のステップＳ２０５と同じ処理を行えばよいため、説明を省略する。

次に、ステップＳ２０６ｂにて、測地距離変換部１０５ｂは、ステップＳ２０５ｂにてカメラｐで得られた画像ごとに計算された移動軌跡を部分集合ｐと考えて、測地距離を計算する。本ステップにおける以降の処理は、実施の形態１のステップＳ２０６と同じであるため、説明を省略する。

次に、ステップＳ２０７ｂにて、近似測地距離算出部１０６ｂは、ステップＳ２０６ｂにてカメラｐで得られた画像ごとに計算された測地距離マトリクスを統合する。ここでは、図２８に示したように重複撮影領域上の共有点を用いて、実施の形態１のステップＳ２０７と同じ処理を行えばよい。そのため、説明は省略する。

次に、ステップＳ２０８ｂにて、領域抽出部１０７ｂは、近似測地距離算出部１０６ｂで統合した測地距離を用いて、不連続点を検出することによって類似する移動軌跡をもつブロックから構成される領域を特定することによって領域抽出を行う。ここでの処理についても、実施の形態１のステップＳ２０８と同じ処理を行えばよいため、説明を省略する。

以上のようにして、実施の形態３における移動体検出装置１００ｅによれば、複数のカメラ画像を入力として、形状が変化しながら移動する人物等の移動体を含む画像や、異なるカメラ画像間をまたがるように移動する移動体に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出、つまり移動体検出を行うことができる。

（実施の形態４）
次に、本発明の実施の形態４に係る移動体検出装置及びその方法の応用例であるデータ分類装置及びその方法について説明する。

図２９は、実施の形態４におけるデータ分類装置２８００の構成を示す図である。図２９に示されるように、このデータ分類装置２８００は、ベクトルデータ入力部２８０１、領域分割部１０３、距離計算部１０４、測地距離変換部１０５、近似測地距離算出部１０６、データ分類部２８０２、出力部２８０３を備える。ここでは、上述した移動軌跡等の多次元のベクトルデータを入力として、そのデータを分類する。

ベクトルデータ入力部２８０１は、ベクトルデータを受け付ける処理部である。ベクトルデータは、例えば、ステレオカメラやＣＧ等から得られた３次元位置を示すデータであってもよいし、その時間変化を表すデータであってもよい。

領域分割部１０３は、ベクトルデータ入力部２８０１で得られた多次元ベクトルについて、実施の形態１の第１変形例と同じように、多次元ベクトルの空間上でＰ個の部分集合に分割するとともに、分割された複数の部分集合の一つ（例えば、隣接する部分集合に対して、当該部分集合の少なくとも一方）に含まれる一部のベクトルデータを共有点として設定する。

以下、距離計算部１０４、測地距離変換部１０５、近似測地距離算出部１０６の構成は、実施の形態１および実施の形態１の第１変形例と同じであるため、説明を省略する。つまり、これらの実施の形態及び変形例においては、処理対象のデータが「移動軌跡」であったが、本実施の形態では、処理対象のデータが「ベクトルデータ」である点だけが異なり、各処理部での処理内容は同一である。

データ分類部２８０２は、実施の形態１における領域抽出部１０７と同様に、類似する多次元ベクトルデータをクラスタリングすることによって、データを分類する。ここでは、距離計算部１０４で算出した距離マトリクスを用いて、測地距離変換部１０５、近似測地距離算出部１０６にて得られた近似的な測地距離から、多次元ベクトル間の距離の分布における不連続性を検出し、検出した不連続点よりも小さい距離だけ離れた多次元ベクトルどうしが一つのクラスタとなるように、不連続点をもとにそれぞれ連続的に分布する多次元ベクトルをクラスタリングすることによって、多次元ベクトルデータを分類する。データ分類部２８０２での結果は、出力部２８０３によって、メモリやハードディスク等へ書き込まれたり、ディスプレイパネル等に表示されたりする。

なお、本実施の形態におけるデータ分類装置についても、移動体検出装置と同様に、各構成要素のうち、ディスプレイ装置等の入出力装置を除く構成要素については、図２に示されるコンピュータ１００２で実行されるプログラム及びデータ（つまり、ソフトウェア）で実現してもよいし、電子回路、メモリ及び記録媒体等のハードウェアで実現してもよいし、それらの混在で実現してもよい。

以下に、本発明のベクトルデータの分類方法、つまり、データ分類装置２８００の動作として、図３０のフローチャートを用いて多次元ベクトルデータを分類する例について説明する。

まず、ステップＳ２９０１にて、ベクトルデータ入力部２８０１は、複数のベクトルデータを受け付ける。ここで、ベクトルデータとは、上記式２に示すような複数の要素からなる多次元ベクトルであれば何でもよい。

ステップＳ２０４からステップＳ２０８までは、実施の形態１の第１変形例において、移動軌跡を多次元ベクトルデータとして処理を行えばよい。

このように、本実施の形態４におけるデータ分類装置２８００によれば、移動軌跡だけでなく、例えばレンジファインダやステレオカメラから得られた３次元位置を表すデータを多次元ベクトルとして入力すれば、３次元位置に基づいて３次元の被写体を分類することもできる。さらに、入力としての多次元ベクトルデータは、多次元尺度構成法で分析可能なベクトルデータであれば何でもよく、測地距離変換を行うことで、非線形性の高いデータに対しても分類がより高精度になり、かつ高速に処理ができるという効果がある。

（実施の形態１の補足）
ここでは、実施の形態１で説明した方法を用いた場合に、領域抽出可能な移動体の性質について補足する。図３１（ａ）〜図３１（ｃ）に実施の形態１の方法を用いた場合に分離可能な図形の一例を示す。実施の形態１の方法を用いることで、それぞれ図形θ₁と図形θ₂とに領域抽出することが可能である。ここでは、図３１（ａ）から図３１（ｃ）に示したそれぞれの図形θ₁と図形θ₂の移動方向は、同一であっても、異なっていてもかまわない。ただし、図形θ₁に属する画素はすべて同じ動きであり、かつ図形θ₂に属する画素はすべて同じ動きであることが条件である。

実施の形態１におけるステップＳ２０５およびＳ２０７では、図６に示したような特徴を持つ測地距離変換を行う。これによって、通常のユークリッド距離とは異なり、移動軌跡から移動軌跡を辿（たど）った距離を算出することができるという特徴がある。そのため、図３１（ａ）から図３１（ｃ）に共通するように湾曲した形状に対して、その形状に沿った距離を算出することができる。

さらに、ステップＳ２０８では、測地距離が無限大となる移動軌跡と移動軌跡の間を不連続点としてクラスタリングを行う。このため、移動軌跡と移動軌跡の間に閾値以上の距離がある場合には、その不連続点をもとに、それぞれ図形θ₁と図形θ₂とを領域抽出することが可能である。

以上のように、本実施の形態を用いれば、湾曲した形状を含む移動体でかつ一定の不連続点がある場合に、不連続点をもとに領域を抽出することが可能である。

一方で、ステップＳ２０５およびＳ２０７の処理を行わない場合には、図形θ₁に属する移動軌跡と図形θ₂に属する移動軌跡との距離がユークリッド距離で算出されるため、図６で説明した場合と同様に、点ｉと点ｊの距離は、点ｉと点ｋの距離より大きくなる。すなわち、同一クラスに属している点間の距離が別クラスに属している点間の距離よりも大きくなる。さらに、ステップＳ２０５の処理にて、測地距離変換を行わないとデータを辿（たど）る処理を行わないために、隣接する移動軌跡と移動軌跡の間が不連続か連続かを判断することができない。そのため、図３１に示すような例では、湾曲した形状を含む移動体でかつ一定の不連続点がある場合に、不連続点をもとに領域を抽出することは難しい。

よって、実施の形態１では、このような測地距離を用いたクラスタリングにより、直線的な距離であるユークリッド距離を用いたクラスタリングに比べ、移動軌跡間の類似性に関する連続性を考慮したクラスタリングが行われ、入り組んだ複雑な関係の領域どうしであっても、同一の物体（又は部位）に属するか別個の物体（又は部位）に属するかが確実に弁別される。

以上、本発明に係る移動体検出装置及びその方法、データ分類装置及びその方法について、実施の形態及びその変形例に基づいて説明したが、本発明は、これらの実施の形態及び変形例に限定されるものではない。本発明の趣旨を逸脱しない範囲で、各実施の形態に対して当業者が思いつく各種変形を施して実現される形態や、各実施の形態及び変形例における構成要素を任意に組合せて実現される形態も本発明に含まれる。

たとえば、実施の形態１の第４変形例に対して、同第５変形例における記録・送信部１９０１及び実施の形態２における動き予測部２１０１を追加して構成される移動体検出装置も本発明に含まれる。

また、本発明に係る移動体検出装置は、上記実施の形態における領域分割部に代えて、図３２に示される移動体検出装置１０３ｆが備える領域分割部１０３ｂを備えてもよい。この領域分割部１０３ｂは、実施の形態１における領域分割部１０３の機能に加えて、動き解析部１０２によって算出された移動軌跡を複数の部分集合に分割する処理を支援する２つの処理部（手動設定部１０３１、自動設定部１０３２）を有する。

手動設定部１０３１は、画像入力部１０１が受け付けたピクチャに対してユーザが指定した空間分割に従って、動き解析部１０２によって算出された移動軌跡を複数の部分集合に分割する。たとえば、手動設定部１０３１は、ユーザがマウス等を用いて、ピクチャ上で、移動体が存在する（あるいは、移動する）と予想される領域を指定すると、その領域を、一つの部分集合（つまり、その領域に含まれるブロックに対応する移動軌跡を一つの部分集合）に分割する。例えば、移動体の動線が通路に沿っている場合等には、その通路が一つの領域になるようにするとよい。

一方、自動設定部１０３２は、動き解析部１０２によって算出された移動軌跡を、ユーザの入力を介さずに、自動で、複数の部分集合に分割する。たとえば、自動設定部１０３２は、動き解析部１０２で検出された動きを参照し、予め設定された閾値を超える大きさの動きをもつ領域が一つの領域となるようにし、その他の領域を複数の部分集合に分割することで、上記移動軌跡を複数の部分集合に自動分割する。また、動き解析部１０２で検出された動きを時間的に累積して、累積値の大きい領域を一つの領域となるようにしてもよい。

例えば、監視システム等における固定されたカメラ（パン、チルト、ズームを含む）においては、撮影領域が予め分かっている。そのため、画像上において移動体が通る領域も予め特定することができる場合が多い。このような時に、特に検出精度の低下を防ぐことができるという効果がある。

このような領域分割部１０３ｂにより、移動体が存在する領域が複数の部分集合に分割されてしまうことによって、測地距離計算の精度が下がる危険性を回避することができるため、移動体の検出精度の低下を防ぐことができる。

本発明は、動画像中の移動体の全部又は一部を検出する装置、つまり、複数枚の画像における１個以上の画素からなるブロックの動きに基づいて、形状が変化しながら移動する人物等の移動体を含む画像を領域抽出することによって画像中の移動体を検出する移動体検出装置として、例えば、運動解析装置、監視装置、ビデオカメラあるいはＴＶ等のＡＶ機器に内蔵させる移動体検出装置等として利用することが可能である。

１００、１００ａ〜１００ｆ 移動体検出装置
１０１、１０１ａ 画像入力部
１０２、１０２ａ 動き解析部
１０３、１０３ａ、１０３ｂ 領域分割部
１０４、１０４ａ 距離計算部
１０５、１０５ａ、１０５ｂ 測地距離変換部
１０６、１０６ａ、１０６ｂ 近似測地距離算出部
１０７、１０７ａ、１０７ｂ 領域抽出部
１０８、１０８ａ〜１０８ｄ、２８０３ 出力部
１０３１ 手動設定部
１０３２ 自動設定部
１４０１ 領域抽出候補生成部
１４０２ 領域抽出候補選択部
１７０１ 画像表示部
１９０１ 記録・送信部
２１０１ 動き予測部
２４０１ 複数カメラ画像入力部
２８００ データ分類装置
２８０１ ベクトルデータ入力部
２８０２ データ分類部

Claims (21)

1. 動画像中の移動体の全部又は一部の領域を抽出することによって動画像中の移動体を検出する移動体検出装置であって、
   動画像を構成する複数枚のピクチャを受け付ける画像入力部と、
   受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、異なる２枚のピクチャ間での画像の動きを検出し、検出した動きを前記複数枚のピクチャについて連結した移動軌跡を複数算出する動き解析部と、
   算出された前記複数の移動軌跡を複数の部分集合に分割するとともに、分割された複数の部分集合において一部の移動軌跡を共有点として設定する領域分割部と、
   分割された前記複数の部分集合のそれぞれについて、複数の移動軌跡間の類似性を表す距離を算出する距離計算部と、
   算出された前記距離を、測地距離に変換する測地距離変換部と、
   変換された前記測地距離のうち、前記共有点を共有する測地距離を統合することで、前記部分集合にまたがる近似的な測地距離を算出する近似測地距離算出部と、
   算出された近似的な測地距離を用いて、類似する移動軌跡をもつブロックどうしを同一の領域として特定するクラスタリングを行うことによって、前記動画像に対して少なくとも一つの領域を抽出する領域抽出部と
   を備える移動体検出装置。
2. 前記画像入力部は、複数のカメラによる複数の動画像のそれぞれについて、前記複数枚のピクチャを受け付け、
   前記動き解析部は、前記複数の動画像のそれぞれについて、前記複数の移動軌跡を算出し、
   前記領域分割部は、前記複数の動画像のそれぞれについて算出された複数の移動軌跡を、分割された前記複数の部分集合として保持し、
   前記領域抽出部は、前記クラスタリングを行うことで、前記複数の動画像に対して少なくとも一つの領域を抽出する
   請求項１記載の移動体検出装置。
3. 前記領域分割部は、移動軌跡に対応する前記ピクチャ上でのブロックの画像上での位置に関する空間上で、前記複数の移動軌跡を前記複数の部分集合に分割する
   請求項１記載の移動体検出装置。
4. 前記領域分割部は、前記ピクチャに対してユーザが指定した空間分割に従って、前記複数の移動軌跡を前記複数の部分集合に分割する
   請求項３記載の移動体検出装置。
5. 前記移動軌跡は、多次元ベクトルで表現され、
   前記領域分割部は、前記多次元ベクトルを表現する多次元ベクトル空間上で、前記複数の移動軌跡を前記複数の部分集合に分割する
   請求項１記載の移動体検出装置。
6. 前記領域分割部は、近傍の部分集合の一部が重複するように前記分割をするとともに、重複した領域に含まれる移動軌跡を前記共有点として設定する
   請求項３〜５のいずれか１項に記載の移動体検出装置。
7. 前記領域分割部は、前記複数の部分集合のそれぞれについて、当該部分集合に属する移動軌跡のうち、他の部分集合との境界に近接する移動軌跡を、前記共有点として設定する
   請求項３〜５のいずれか１項に記載の移動体検出装置。
8. 前記測地距離変換部は、前記距離計算部で算出された距離のうち、予め定められた条件を満たす小さい距離を連結することで、前記動き解析部で算出された一の移動軌跡から他の一の移動軌跡にたどりつく最短経路を求めることにより、前記距離計算部で算出された距離のそれぞれを測地距離に変換する
   請求項１記載の移動体検出装置。
9. 前記測地距離変換部は、前記複数の部分集合に含まれる複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の距離のうち、小さい順に予め定められた個数の距離を選択し、選択しなかった距離を無限大に変更する非線形化をした後に、前記最短経路を求めることにより、前記距離計算部で算出された距離のそれぞれを測地距離に変換する
   請求項８記載の移動体検出装置。
10. 前記測地距離変換部は、前記複数の部分集合に含まれる複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の距離のうち、予め定められた閾値以下の距離を選択し、選択しなかった距離を無限大に変更する非線形化をした後に、前記最短経路を求めることにより、前記距離計算部で算出された距離のそれぞれを測地距離に変換する
    請求項８記載の移動体検出装置。
11. 前記領域抽出部は、前記近似測地距離算出部で算出された測地距離の分布における少なくとも一つ以上の不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡どうしが一つのクラスタとなるように、前記クラスタリングを行う
    請求項１記載の移動体検出装置。
12. 前記領域抽出部は、前記近似測地距離算出部で算出された測地距離に対して、固有値および固有ベクトルを求めることによって次元圧縮を行い、次元圧縮した空間上で前記クラスタリングを行う
    請求項１記載の移動体検出装置
13. 前記測地距離変換部は、前記距離を前記測地距離に変換するための複数の判断基準を生成し、生成した複数の判断基準のそれぞれについて、当該判断基準を用いて前記距離を前記測地距離に変換することで、前記複数の判断基準のそれぞれに対応する測地距離を生成し、
    前記近似測地距離算出部は、前記複数の判断基準のそれぞれに対応する測地距離に対して前記統合を行い、
    前記領域抽出部は、
    前記複数の判断基準のそれぞれに対応する統合された近似的な測地距離に対して前記クラスタリングを行って領域を抽出することで、前記複数の判断基準のそれぞれに対応させて、前記領域抽出の結果を領域抽出候補として生成する領域抽出候補生成部と、
    クラス数についての指示を取得し、取得したクラス数に近い個数の領域が抽出された領域抽出候補を、前記領域抽出候補生成部で生成された複数の領域抽出候補から選択し、選択した領域抽出候補を、当該領域抽出部による領域抽出の結果として出力する領域抽出候補選択部とを有する
    請求項１に記載の移動体検出装置。
14. 前記測地距離変換部は、前記複数の判断基準として、複数の閾値を生成し、生成した複数の閾値のそれぞれについて、前記距離計算部で算出された距離のうち、当該閾値よりも小さい距離を連結することで、前記複数の判断基準のそれぞれに対応する測地距離を生成する
    請求項１３記載の移動体検出装置。
15. 前記移動体検出装置はさらに、前記領域抽出部で得られた領域抽出の結果を、前記画像入力部で受け付けたピクチャに重ねて表示する画像表示部を備える
    請求項１〜１４のいずれか１項に記載の移動体検出装置。
16. 前記移動体検出装置はさらに、前記領域抽出部での領域抽出の結果に対応させて、前記画像入力部で受け付けたピクチャにおける領域を特定し、特定した領域ごとに、対応する領域抽出の結果を、記録して保持する、又は、伝送路を介して外部に送信する記録・送信部を備える
    請求項１〜１５のいずれか１項に記載の移動体検出装置。
17. 前記画像入力部は、２つ以上の移動体が含まれる動画像を受け付け、
    前記領域抽出部では、前記２以上の移動体について前記領域抽出をすることで、２以上の移動体を検出する
    請求項１〜１６のいずれか１項に記載の移動体検出装置。
18. 前記移動体検出装置はさらに、前記領域抽出部で抽出された領域に含まれるブロックの移動軌跡から、当該領域を代表する移動軌跡を算出し、算出した移動軌跡に従って当該領域が移動すると予測することで、前記移動体の動きを予測する動き予測部を備える
    請求項１〜１７のいずれか１項に記載の移動体検出装置。
19. 複数のベクトルデータを、類似するベクトルデータの集まりであるクラスに分類するベクトルデータ分類装置であって、
    複数のベクトルデータを受け付けるベクトルデータ入力部と、
    受け付けられた前記複数のベクトルデータを、測地距離の計算に利用される複数の部分集合に分割するとともに、分割された複数の部分集合の少なくとも一つに含まれる一部のベクトルデータを共有点として設定する領域分割部と、
    分割された前記複数の部分集合のそれぞれについて、複数のベクトルデータ間の類似性を表す距離を算出する距離計算部と
    算出された前記距離を、中継点としての移動軌跡をたどりながら一の移動軌跡から他の一の移動軌跡にたどりつく経路の距離である測地距離に変換する測地距離変換部と
    変換された前記測地距離のうち、前記共有点を共有する測地距離を統合することで、前記部分集合にまたがる近似的な測地距離を算出する近似測地距離算出部と、
    算出された近似的な測地距離を用いて、類似するベクトルデータをもつブロックどうしを一つの領域として特定するクラスタリングを行うことによって、前記動画像に対して少なくとも一つのクラスを生成するデータ分類部と
    を備えるベクトルデータ分類装置。
20. 動画像中の移動体の全部又は一部の領域を抽出することによって動画像中の移動体を検出する移動体検出方法であって、
    動画像を構成する複数枚のピクチャを受け付ける画像入力ステップと、
    受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、異なる２枚のピクチャ間での画像の動きを検出し、検出した動きを前記複数枚のピクチャについて連結した移動軌跡を複数算出する動き解析ステップと、
    算出された前記複数の移動軌跡を複数の部分集合に分割するとともに、分割された複数の部分集合において一部の移動軌跡を共有点として設定する領域分割ステップと、
    分割された前記複数の部分集合のそれぞれについて、複数の移動軌跡間の類似性を表す距離を算出する距離計算ステップと、
    算出された前記距離を、中継点としての移動軌跡をたどりながら一の移動軌跡から他の一の移動軌跡にたどりつく経路の距離である測地距離に変換する測地距離変換ステップと、
    変換された前記測地距離のうち、前記共有点を共有する測地距離を統合することで、前記部分集合にまたがる近似的な測地距離を算出する近似測地距離算出ステップと、
    算出された近似的な測地距離を用いて、類似する移動軌跡をもつブロックどうしを同一の領域として特定するクラスタリングを行うことによって、前記動画像に対して少なくとも一つの領域を抽出する領域抽出ステップと
    を含む移動体検出方法。
21. 動画像中の移動体の全部又は一部の領域を抽出することによって動画像中の移動体を検出するためのプログラムであって、
    請求項２０記載の移動体検出方法に含まれるステップをコンピュータに実行させる
    プログラム。

Images