JP5054206B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に、複数枚の画像における１個以上の画素からなるブロックの動きに基づいて、形状が変化しながら移動する人物等の被写体を含む画像をセグメンテーションすることによって被写体を検出する装置に関する。

形状が変化しながら移動する人物等の被写体を検出したり、被写体を含む画像のセグメンテーションを行う技術の１つとして、画像から対象物の候補領域を抽出する手法と、抽出した対象物の候補領域に対しあらかじめ用意した対象物モデルを当てはめる手法とを組み合わせた方法がある。例えば、特許文献１では、対象物候補領域として複数の画像から人物等の対象物のシルエット画像を抽出し、前記対象物に関する知識から対象物の部位をあらかじめパラメータ化した人物等の対象物に関するモデルを用いて、抽出したシルエット画像に対してそのモデルを当てはめる方法が開示されている。これによって、形状が変化しながら移動する人物等の被写体に対してパラメータ化したモデルを当てはめることができるため、被写体の検出および部位のセグメンテーションが可能となる。

また、非特許文献１では、固定された１つの被写体を複数の視点から撮影した画像を入力として、各画像における画素値データとその他の画像の画素値データとの距離を計算し、その距離を入力として非線形次元圧縮を行うことによって、類似した視点から撮影した画像が２次元空間上で近距離となるように射影することを可能にする方法が開示されている。ここでは、従来のＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）等の線形次元圧縮方法と比較して、より低次元に圧縮可能であり、さらに、非線形に分布するデータに対しても取り扱いが可能なことが示されている。

特開平８−２１４２８９号公報

Joshua Tenenbaum, Vin de Silva, John Langford, "A Global Geometric Framework for Nonlinear Dimensionality Reduction", Science, VOL290, pp.2319-2322,22 December, 2000

しかしながら、上記特許文献１の技術では、特に街頭等、人物等の被写体が行き交うシーンにおいて、安定に被写体を検出およびセグメンテーションすることができないという問題がある。上記特許文献１に代表される画像処理手法は、前述のように画像から対象物候補領域を抽出する必要がある。この時、適切に対象物候補領域を抽出できなければ、対象物をパラメータ化したモデルを正確に対象物候補領域に当てはめることが不可能になる。特に、混雑したシーンにおいては、対象物候補領域を適切に抽出することは困難である。さらに、対象物候補領域を適切に抽出できたとしても以下のような課題がある。特に人物等の多関節物体を対象物とした場合、対象物のさまざまな姿勢に起因する画像上での見えのバリエーションが非常に大きいため、対象物モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。このことは、計算量の増加だけでなく、モデルの当てはめミスを誘発する。そのため、安定に被写体を検出およびセグメンテーションすることが困難となる。

一方で、非特許文献１に代表される画像処理手法では、画素間の距離を入力として非線形処理を行うことにより、効率良く圧縮された低次元空間に画像データを射影することができる。これにより、ノイズに対する耐性が期待できる。しかしながら、非特許文献１の主な目的は、複数の画像を低次元空間に射影することで画像間の類似性を可視化することにあり、形状が変化する人物等の多関節物体におけるさまざまな姿勢変化に対応しながら、安定して被写体を検出およびセグメンテーションする方法は開示されていない。

そこで、本発明は、形状が変化しながら移動する人物等の被写体を含む画像を安定してセグメンテーションすることができる画像処理方法及び画像処理装置を提供することを目的とする。

この課題を解決するために本発明は、複数枚の画像における１個以上の画素からなるブロックの動きに基づいて、形状が変化する被写体を含む画像のセグメンテーションを行う画像処理方法であって、時間的に連続した複数枚の画像を受け付ける画像入力ステップと、時間的に異なる少なくとも2枚の画像を用いてブロックの動きを算出し、時間的に連続
した複数枚の画像に対して前記ブロックの動きからブロックの時間的移動軌跡を算出する動き解析ステップと、前記動き解析ステップで算出したブロックiの時間的移動軌跡と、i以外のブロックの時間的移動軌跡とを用いて、ブロック間の画像上での距離およびブロック間が成す角度の少なくともいずれか１つに基づいて、ブロックの動きの類似性を表す距離を算出する距離算出ステップと、前記距離算出ステップで算出した距離を、ユークリッド距離から測地間距離への変換を行うことによって、非線形空間へ射影し、射影した結果に対して、前記非線形空間内でセグメンテーションを行う非線形空間処理ステップとを含むことを特徴とする。

なお、本発明は、上記画像処理方法として実現できるだけでなく、上記各ステップを構成要素とする画像処理装置、上記各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等として実現することもできる。

上記の方法及び装置等により、形状が変化しながら移動する人物等の被写体を検出および部位をセグメンテーションすることができる。さらに、検出とセグメンテーションを行った結果を用いて、被写体の移動予測等を行うことも可能である。

本発明の実施の形態１における画像処理装置の基本構成を示す図 本発明の実施の形態１における画像処理装置の基本動作を示すフローチャート 本発明の実施の形態１における動き解析部の処理例を示す図 本発明の実施の形態１における非線形空間処理部の効果を示す概念図 本発明の実施の形態１における非線形空間処理部の効果の例を示す図 本発明の実施の形態１における非線形空間処理部の次元圧縮の一例を示す図 本発明の実施の形態１における非線形空間処理部の検出およびセグメンテーションの一例を示す図 本発明の実施の形態１の第１変形例における非線形空間処理部の検出およびセグメンテーションの一例を示す図 本発明の実施の形態１の第２変形例における画像処理装置の基本動作を示すフローチャート 本発明の実施の形態１の第２変形例における非線形空間処理部の検出およびセグメンテーションの一例を示す図 本発明の実施の形態１の第３変形例における画像処理装置の構成例を示す図 本発明の実施の形態１の第４変形例における画像処理装置の構成例を示す図 本発明の実施の形態２における画像処理装置の構成例を示す図 本発明の実施の形態２における画像処理装置の基本動作を示すフローチャート 本発明の実施の形態３における画像処理装置の構成を示す図 本発明の実施の形態３における画像処理装置の動作を示すフローチャート 本発明の実施の形態３における動き予測の一例を示す図

本発明の一実施形態は、複数枚の画像における１個以上の画素からなるブロックの動きに基づいて、形状が変化する被写体を含む画像のセグメンテーションを行う画像処理方法であって、時間的に連続した複数枚の画像を受け付ける画像入力ステップと、時間的に異なる少なくとも2枚の画像を用いてブロックの動きを算出し、時間的に連続した複数枚の画像に対して前記ブロックの動きからブロックの時間的移動軌跡を算出する動き解析ステップと、前記動き解析ステップで算出したブロックiの時間的移動軌跡と、i以外のブロックの時間的移動軌跡とを用いて、ブロックの動きの類似性を表す距離を算出する距離算出ステップと、前記距離算出ステップで算出した距離を非線形空間へ射影し、射影した結果に対して、前記非線形空間内でセグメンテーションを行う非線形空間処理ステップと、を含む構成としたものであり、複数枚の画像からブロックの動きに基づいて、形状が変化しながら移動する人物等の被写体を安定にセグメンテーションし、これによって画像中の被写体を確実に検出することが可能である。

本発明のより好ましい形態は、前記距離算出ステップで少なくとも２つ以上の距離尺度を用いて、それぞれの距離尺度に対して２以上の距離を算出し、それぞれの距離をそれぞれ異なる非線形空間へ射影し、射影した結果を統合してセグメンテーションをする構成としたものであり、複数の距離尺度および複数の非線形空間を用いることで、より精度の高い画像のセグメンテーションが可能となる。

本発明のより好ましい形態は、前記距離算出ステップでは、前記画像を構成する複数のブロックについて、２つのブロック間の動きの類似性を表す複数の距離を算出し、前記非線形空間処理ステップでは、前記複数の距離のそれぞれを非線形化し、非線形化した距離を次元圧縮することで前記非線形空間への射影を行い、前記空間に射影された複数の距離に対して類似性をもつ１個以上のセグメント領域を求めることで前記セグメンテーションを行う構成としたものであり、特に形状が変化しながら移動する人物等の被写体を安定に検出し、同時にセグメンテーションを行うことが可能である。

本発明のより好ましい形態は、前記非線形空間処理ステップでは、ユークリッド距離から測地間距離への変換を行うことによって、前記非線形化を行う構成としたものであり、特に形状が変化しながら移動する人物等の被写体を安定に検出し、同時にセグメンテーションを行うことが可能である。

本発明のより好ましい形態は、前記非線形空間処理ステップは、前記複数の非線形化した距離に対してｅｉｇｅｎ ｖｅｃｔｏｒを求めることによって、前記次元圧縮を行う構成としてものであり、画素の動きの推定誤差を許容することで、より安定に形状が変化しながら移動する人物等の被写体を安定に検出し、同時にセグメンテーションを行うことが可能である。

本発明のより好ましい形態は、前記非線形空間処理ステップにおいて、ブロックiとの距離が小さい順にＮ個を選択し、選択されなかった距離を無限大とすることで前記非線形化をした後に前記次元圧縮を行う構成としたものであり、選択された距離と選択されなかった距離とが非線形な関係となるため、人物のように関節で繋がった物体の動きを高効率、かつ、高精度に圧縮することが可能となる。

本発明のより好ましい形態は、前記非線形空間処理ステップにおいて、ブロックiとの距離に対して閾値を設定し、距離が閾値より大きい場合には、前記距離を無限大とすることで前記非線形化をした後に前記次元圧縮を行う構成としたものであり、選択された距離と選択されなかった距離とが非線形な関係となるため、人物のように関節で繋がった物体の動きを高効率、かつ、高精度に圧縮することが可能となる。

本発明のより好ましい形態は、前記非線形空間処理ステップにおいて、ブロックiとの距離に対して指数関数を含む非線形関数を掛けることで前記非線形化をした後に前記次元圧縮を行う構成としたものであり、選択された距離と選択されなかった距離とが非線形な関係となるため、人物のように関節で繋がった物体の動きを高効率、かつ、高精度に圧縮することが可能となる。

本発明のより好ましい形態は、前記動き解析ステップにおいて、ブロックの動きは、２次元動きベクトルかまたはアフィンパラメータである構成としたものであり、動きベクトルもしくはアフィンパラメータによりブロックの動きを解析することで、ブロックの時間的移動軌跡を算出することが可能になる。

本発明のより好ましい形態は、前記距離算出ステップにおいて、距離は、ブロックの動きの類似性に加えてブロック間の画像上での距離およびブロック間が成す角度の少なくともいずれか１つを含む構成としたものであり、人物のように関節を軸とした回転運動を伴いながら形状が変化する移動物体の動きを効率よく捉えることが可能になる。

本発明の一実施形態は、前記非線形空間処理ステップにおいて非線形空間内でセグメンテーションした結果を前記画像入力ステップで受け付けた画像上に表示する画像表示ステップをさらに含む構成としたものであり、セグメンテーションした部位を画像上に表示することによって、スポーツにおけるフォームの修正やリハビリテーションにおける歩行の矯正等に応用が可能である。

本発明の一実施形態は、前記非線形空間処理ステップにおいて非線形空間内でセグメンテーションした結果から、前記画像入力ステップで受け付けた画像に含まれる少なくとも２つ以上の異なる移動物体を検出する構成としたものであり、非線形空間内で検出することにより、安定して複数の移動物体を検出することが可能である。

本発明の一実施形態は、前記非線形空間処理ステップにおいて非線形空間内でセグメンテーションした結果から、前記セグメンテーションによって得られた各セグメントに含まれるブロックの時間的移動軌跡から代表軌跡を算出し、前記代表軌跡をもとに前記被写体の動きを予測する被写体動き予測ステップとをさらに含む構成としたものであり、複数のブロックの時間的移動軌跡を代表する軌跡を用いて被写体の動きを予測することにより、ノイズ耐性の高い動き予測が可能となる。

本発明の一実施形態は、前記非線形空間処理ステップにおいて非線形空間内でセグメンテーションした結果から、前記画像入力ステップで受け付けた画像上のセグメントを特定し、特定したセグメントごとに対応する前記結果を記録もしくは送信する記録・送信ステップとをさらに含む構成としたものであり、検出した被写体画像をセグメントに基づいてそれぞれ別々に保持することによって、各被写体画像の中から必要な部分の画像のみを選択して保存したり、外部に出力したりすることによって、図形要素として効率的な保存および出力が可能になる。そのため、携帯電話等、処理能力の限られた機器に保存および送信する場合に有効に作用する。

以下、本発明の実施の形態について、図面を用いて説明する。

（実施の形態１）
図１は、実施の形態１における画像処理装置の構成を示す図である。図１の画像処理装置は、複数枚の画像における１個以上の画素からなるブロックの動きに基づいて、形状が変化しながら移動する人物等の被写体を含む画像を安定してセグメンテーションし、これによって画像中の被写体を確実に検出する画像処理装置であり、画像入力部１０１、動き解析部１０２、距離算出部１０３、非線形空間処理部１０４を備える。

画像入力部１０１は、時間的に連続した複数枚の画像の入力を受け付ける処理部であり、例えば、ビデオカメラ、あるいは、ビデオカメラと接続された通信インターフェース等である。

動き解析部１０２は、画像入力部１０１で受け付けた画像から、時間的に異なる少なくとも2枚の画像を用いてブロックの動きを算出し、時間的に連続した複数枚の画像に対して、算出した前記ブロックの動きに基づいてブロックの移動を追跡することによって、画素の時間的移動軌跡を算出する処理部である。

距離算出部１０３は、移動する物体の形状変化を捉えるために、前記動き解析部１０２で算出したブロックiの時間的移動軌跡と、i以外のブロックの時間的移動軌跡とを用いて、ブロックの動きの類似性を含む距離を算出する処理部であり、例えば、Ｎ個のブロックの時間的移動軌跡を用いた場合は、算出される距離は、Ｎ×Ｎの距離マトリクスとなる。ここでは、ブロックの動きの類似性を評価する距離を計算することによって、ブロック間の距離が動きによって変化する被写体、特には、関節物体のように形状が変化しながら移動する人物等の物体の動きを距離マトリクスとして表現することが可能である。このように、本明細書における「距離」は、2次元空間における２点間の距離だけでなく、多次元のデータ間の算術的な距離を含み、１つの値、あるいは、複数の値の集合（距離マトリクス）である。

非線形空間処理部１０４は、前記距離算出部１０３で算出した距離マトリクスを非線形化した後に圧縮された空間（つまり、非線形空間）へ射影し、圧縮された非線形空間内で検出とセグメンテーションを行う処理部であり、特には、関節物体のように形状が変化しながら移動する物体の形状情報を非線形化と次元圧縮の効果により適切に低次元空間に圧縮することが出来るため、画像中の被写体の検出と画像のセグメンテーションを低計算量で安定に行うことが出来る。

なお、この画像処理装置を構成する各構成要素（画像入力部１０１、動き解析部１０２、距離算出部１０３、非線形空間処理部１０４）は、ＣＰＵ、ＲＡＭ、ＲＯＭ、通信インターフェース、Ｉ／Ｏポート、ハードディスク、ディスプレイ等を備えるコンピュータ上で実行されるプログラム等のソフトウェアで実現されても良いし、電子回路等のハードウェアで実現されても良い。以下、他の実施の形態における画像処理装置についても同様である。

以下に、本発明の画像処理方法について、図２のフローチャートを用いて移動する被写体を検出、セグメンテーションする例について詳細に説明する。

まず、ステップＳ２０１にて、画像入力部１０１は、複数枚の入力画像を受け付ける。

次に、ステップＳ２０２にて、動き解析部１０２は、少なくとも２枚の入力画像からブロックの動きを算出する。なお、ここでは、ブロックの動きを算出する一例として、画素の動きを算出する。以下、本実施の形態では、ブロック単位の処理の一例として、画素単位の処理を説明する。複数の画素からなるブロック単位で処理をする場合には、画素に対応するデータをブロック分だけ合計したり、ブロック分の平均値を求めることで、ブロックに対応するデータ（代表値）を求め、得られた代表値を用いて画素単位の処理と同様に処理すればよい。

まず、画素の動きをオプティカルフロー計算により算出する例について説明する。オプティカルフロー計算による動きベクトルの算出は、非特許文献２もしくは非特許文献３を用いることができる。
Ｐ．Ａｎａｎｄａｎ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．２８３−３１０，１９８９ Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ ａｎｄ Ｒａｍｉｎ Ｚａｂｉｈ， "Ｃｏｍｐｕｔｉｎｇ Ｖｉｓｕａｌ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｗｉｔｈ Ｏｃｃｌｕｓｉｏｎｓ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１

例えば、ステップＳ２０１にてＴ枚の画像が入力されたと仮定すると、時刻ｔと時刻ｔ＋１に入力された画像を用いて、画素iの動きベクトル（uⁱ _t,vⁱ _t）を推定する。ここでは、必ずしも時間的に連続している必要はなく、例えば、時刻ｔと時刻ｔ＋nに入力された画像を用いて画素の動きを求めても良い。ただし、ｎは１以上の整数である。さらに、画素の動きとして、前記動きベクトルの代わりにアフィンパラメータを推定しても良い。この時、すべての画素について動き情報を求めても良い。また、より高速に処理を行いたい場合には、画像をグリッドに区切って一定間隔のグリッド上の画素についてのみ動き情報を求めても良いし、上述したように、画像をブロックに区切ってブロックごとに動き情報を求めても良い。さらに、非特許文献２を用いて動きベクトルを算出する場合は、その信頼度を計算することができるため信頼度の高い動き情報を持つ画素のみを用いても良い。また、非特許文献３を用いて動きベクトルを算出する場合は、オクルージョンを推定することができる。そのため、オクルードされていない画素の動き情報のみを用いても良い。

さらに、画素の動きを算出する手法として、前記したブロックの並進移動を仮定して動きベクトルを算出する方法の代わりに、ブロックのアフィン変形を仮定して動きベクトルを算出する方法を用いても良い。アフィン変形を仮定して動きベクトルを算出する方法は、非特許文献４を用いることが出来る。
Ｊｉａｎｂｏ Ｓｈｉ ａｎｄ Ｃａｒｌｏ Ｔｏｍｏｓｉ "Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ"， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ５９３−６００，１９９４

上記手法は、時刻ｔと時刻ｔ＋１に入力された画像の画素i近傍の動きに相当するアフィンパラメータAⁱ _tを推定する。画素iについて、時刻ｔと時刻ｔ＋１における画像上での画素位置xⁱ _tとxⁱ _t+1は次の関係がある。

上記手法は、特に回転運動をする物体に対して、並進移動を仮定して動きベクトル算出する手法を用いる場合よりも、高精度に画素iの動きを推定することができる。

次に、ステップＳ２０３にて、動き解析部１０２は、ステップＳ２０２で算出した動き情報を用いて、時間的に連続した複数枚の画像に対して前記画素の動きから画素iの時間的移動軌跡を算出する。図３に示すように、時刻ｔにおける入力画像３０１の画素i３０３からステップＳ２０２で算出した動き情報３０２を用いて、画素iの動きを追跡する。この時、画素iが通った時刻ｔにおける画像上での画素位置(xⁱ _t,yⁱ _t)を用いて、以下のように画素iの時間的移動軌跡を算出する。

ここで、Ｔは時間的移動軌跡の算出に用いた画像の枚数である。

次に、ステップＳ２０４にて距離算出部１０３は、（式２）で算出した画素iの時間的移動軌跡を用いて画素の動きの類似性を含む距離マトリクスを算出する。画素iと画素ｊとの線形距離f(i,j)は以下のように算出できる。

ここで、wは重み係数であり、設計者が設定するパラメータである。また、mean_ij、var_ijについては以下に示す。

ここで、

上記のように、（式３）に示されるように、（式４）に示した画素間距離の時間平均値に加えて、（式５）に示した画素間距離の時間変動成分を前記線形距離f(i,j)の要素とする。特に（式５）に示した画素間距離の変動成分は、画素の動きの類似性を示すものであり、これによって、画素間距離の関係が変化しない剛体だけでなく、関節物体等の形状変化を捉えることができる。

次に、ステップＳ２０５では、非線形空間処理部１０４は、（式２）で算出した線形距離f(i,j)に対して以下のように非線形化処理を行う。

ここでは、画素iに着目した時に画素iとの線形距離が小さい順にＫ個の画素jを選択し、選択された画素ｊとの距離は変更せず、選択されなかった画素ｊとの距離を無限大に変更する。ここでは、線形距離を小さい順に選択したが、次式のように閾値THを設定しても良い。

さらに、次式のように指数関数を用いて線形距離の非線形化を行っても良い。

ここで、σは設計者が与える。

次に、非線形化された距離g(i,j)を用いて、次式のように距離を更新する。

距離の非線形化に関しては、上記の関数に限定されるものではなく、画素iと画素ｊに関する距離に対して非線形変換を行うものであれば何でも良い。

次に、以下のように測地間距離を算出する。

なお、min（ｘ，ｙ）は、値ｘと値ｙのうち小さい方を返す関数である。

ここで、（式７）から（式１０)に示した非線形化処理について、図４（ａ）〜（ｃ）の概念図を用いて説明する。ここでは、（式８）について説明するが、他の非線形化処理を行っても同様の効果が期待できる。まず、図４の左図（ａ）は２次元のデータ分布を示す。ここで、それぞれのデータ点は、（式３）に示した画素iの時間的移動軌跡に相当する。（式７)から（式１０)の非線形化処理を行わない場合には、図４中央（ｂ）に示したように、データ点iとデータ点ｊとの距離は、データ点iとデータ点ｋとの距離よりも小さくなる。しかしながら、図４右（ｃ）に示すように、例えば（式８）の処理および（式１０）の処理を行うことによって、データ点iとデータ点ｊとの距離は、ユークリッド距離ではなく、測地間距離と呼ばれるデータ点を矢印のように辿った距離となる。結果として、ユークリッド距離を用いる場合と異なり、データ点iとデータ点ｊとの距離は、データ点iとデータ点ｋとの距離よりも大きくなる。

次に、このような（式７）から(式１０)に示した非線形化処理を行うことの有効性を図５（ａ）及び（ｂ）の概念図を用いて説明する。ここでは、線形距離f(i,j)と非線形化した距離g_new(i,j)の違いを分かりやすく説明するため、（式６）に示すように時刻ｔにおける画素間距離を例とする。実際には、画素間距離に加えて、（式３）に示したように画素の動きの類似性として画素間距離の変動成分を用いることにより、関節物体等の形状だけではなく形状変化をも捉えることができる。図５（ａ）は、（式７）から（式１０）の処理を行わない場合の例である。例えば、頭部の画素i４０２と手先部の画素ｊ４０３との距離は、線形距離４０１に示す距離となる。一方、（式７）から（式１０）のような非線形処理を行うことによって、図５（ｂ）に示されるように、頭部の画素i４０２と手先部の画素ｊ４０３との距離は、画素ｋ４０４を通って画素ｊにたどり着くまでの矢印で示したような線形和としての距離となる。そのため、線形距離４０１では人物のような関節物体の関節が繋がった形状を表現できないのに対して、関節が繋がった形状を距離として表現することが可能となる。なお、測地間距離の計算方法は、（式１０）に限定されるものではない。

次に、ステップＳ２０６では、非線形空間処理部１０４にて、ステップＳ２０５で算出した非線形化された距離マトリクスの次元圧縮を行う。次元圧縮は、Ｙｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行った後、Ｅｉｇｅｎ ｓｙｓｔｅｍを求めることで実現できる。これは、多次元空間に分布するデータを低次元空間に効率良く射影するための方法であり、入力データのノイズ（ここでは、（式２）の画素iの時間的移動軌跡を算出する際に画素iの動き情報に誤差が含まれる場合に相当する）に対して頑健なデータの表現が可能となる。

つまり、非線形化された距離マトリクスを

として、次のように（式１１）に対して中心化行列Ｈを両側からかけるＹｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行う。これは、距離マトリクスが点間距離からなる距離行列であるのに対して、重心を原点とした距離マトリクスに変換するために行うものである。

ただし、Ｈは中心化行列であり、

である。Iは単位行列、Nは（式２）に示した画素iの時間的移動軌跡の数である。

また、

である。

次に、次元圧縮を行うために、τ(G)に対するＰ個のｅｉｇｅｎ ｖｅｃｔｏｒ（固有ベクトル）e_pおよびそれに対応するｅｉｇｅｎ ｖａｌｕｅ（固有値）λ_pを算出する。

これにより、（式１０）より、

とすると、gⁱ _newを次元圧縮された空間上に射影した結果は、データzⁱ _pとして以下のように表すことができる。

なお、eⁱ _pは、ｐ番目のｅｉｇｅｎ ｖｅｃｔｏｒe_pのi番目の要素である。ｅｉｇｅｎ ｖｅｃｔｏｒの数Ｐは、利用するシーンに応じて実験的に決定しても良いし、以下のようにｅｉｇｅｎ ｖａｌｕｅλ_pから寄与率a_pを算出し、それに基づいて決定しても良い。

Ｐは利用するｅｉｇｅｎ ｖｅｃｔｏｒの数、すなわち圧縮された空間の次元数である。Ｎは全ｅｉｇｅｎ ｖｅｃｔｏｒの数である。そこで、寄与率a_pが一定値以上となる時のＰをｅｉｇｅｎ ｖｅｃｔｏｒの数とすれば良い。

以上のように（式２）から（式１６）の処理により、（式２)に示した画素iの時間的移動軌跡を、ｅｉｇｅｎ ｖｅｃｔｏｒe_pで張られる非線形に次元圧縮された空間上のデータzⁱ _pと対応付けることができる。

図６に人物の歩行画像を入力とした場合の画素iの時間的移動軌跡が非線形に次元圧縮された空間に射影された結果を示す。縦軸、横軸はｅｉｇｅｎ ｖｅｃｔｏｒe₁, e₂である。２次元上に射影された点(zⁱ _1,zⁱ ₂)は、gⁱ _newを射影したものである。ここで、非線形空間上のデータzⁱ _pと画像上での画素iの時間的移動軌跡xⁱとは一対一の対応関係にあるため、(zⁱ _1,zⁱ ₂)は、画素iの時間的移動軌跡xⁱに対応していると捉えることができる。なお、ここでは結果を可視化するために非線形空間の次元数を２次元としたが、前述のように必ずしも２次元である必要は無いし、高い次元数の方がより高い精度でデータを射影することができる。

次に、ステップＳ２０７では、非線形空間処理部１０４は、ステップＳ２０６にて図６に示したような圧縮された非線形空間に射影されたデータに対して、クラスタリングを行うことで被写体の検出とセグメンテーションを行う。

まず、セグメント領域を次のように表現する。

ここで、Ｍは、セグメント領域数であり利用するシーンに応じて経験的に決定する。

それぞれのセグメント領域θ_mは、パラメータ

―z_m
,Z _mで表現する。ここで、

―z_mは、圧縮された非線形空間におけるセグメント領域θ_mに属するデータの座標値の平均値、Z _mは、セグメント領域θ_mに属するデータの座標値に関する共分散行列である。

―z_mの初期値はランダムに決定しても良いし、圧縮された非線形空間中をグリッドで等間隔に分割する等して、その交点の座標値を初期値としても良い。

なお、

―z_m,Z _mは、以下のように表すことができる。

ここで、C_mは圧縮された非線形空間上でセグメント領域θ_mに属するデータ数である。

以下、具体的な計算方法について説明する。まず、次式の距離関数を用いて、圧縮された非線形空間上のデータz_iが属するセグメント領域θ_mを求める。

ここで、Ψ_m(z_i)は、画素iの時間的移動軌跡に対応する非線形空間上のデータz_iとそれぞれのセグメント領域θ_mとの距離を示すものである。各データは、Ψ_m(z_i)が最小値をとるセグメント領域θ_mに属することになる。なお、ψ_m(z_i)はマハラノビス距離であり、

である。また、ψ_m(z_i)をΨ_m(z_i)の代わりとして用いても構わない。

さらに、p(ω_m)は、一定値としても構わないし、人物など決まった被写体のセグメンテーションを行う場合はあらかじめ、人物部位の形状や面積比等をもとに設定しておいても良い。ω_mは、セグメント領域θ_mに対する重み係数である。

次に、（式２１）の計算結果から、セグメント領域θ_mに属するデータz_iを用いて、以下のように領域θ_mのパラメータ

―z_m,Z _mを更新する。

ここで、z_cmは、セグメント領域θ_mに属する圧縮された非線形空間上のデータである。また、ω=1としても良いし、入力データの平均値からのずれ具合によって調整しても良い。このように、（式２１）から（式２４）の距離計算およびパラメータ更新を規定回数繰り返すことによって、非線形空間上の各データが属するセグメント領域θ_mを得ることができる。なお、上記に加えて、k-mean、競合学習など、他のクラスタリング方法を用いても構わない。図７（ａ）及び（ｂ）に人物の歩行画像を入力とした場合にＭ＝９として非線形空間上のデータをセグメンテーションした例を示す。圧縮された非線形空間上でのセグメント領域θ₁からθ₉について画像上での対応を見ると、θ₁は人物の頭部、θ₂は胴体上部、θ₃は腕、θ₄は胴体下部、θ₅,θ₇は大腿部、θ₆,θ₈は、下腿部に対応している。なお、θ₉は主に背景の一部に対応する。

ここで、図７（ｂ）の矢印で示すように、圧縮された非線形空間上のセグメント領域に対応するのは、１枚の画像上の領域だけではなく時間的に連続した複数枚の画像に渡って画素を追跡した結果である。すなわち、圧縮された非線形空間上でセグメンテーションを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果として、画像中の被写体（被写体の部位）の検出、被写体を含む画像のセグメンテーションをすることができる。また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因するセグメンテーションの失敗がない。以上のように、膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって安定に、形状が変化しながら移動する人物等を含む画像をセグメンテーションし、これによって画像中の被写体の検出を行うことが可能となる。

（実施の形態１の第１変形例）
次に、実施の形態１における非線形空間上でのセグメンテーションを、複数の被写体の検出に用いる例を実施の形態１の第１変形例として説明する。実施の形態１では、人物の歩行画像から人物の部位をセグメンテーションする方法について説明した。本画像処理装置は、図１に示したように、画像入力部１０１、動き解析部１０２、距離算出部１０３、非線形空間処理部１０４を備える。構成は実施の形態１と同様であるため説明を省略する。第１の変形例では、実施の形態１と同じ方法でパラメータを変更することで、複数の被写体の検出を行う方法を説明する。具体的には（式７）もしくは（式８）を用い、（式７）であればＫの値を、（式８）であればＴＨの値を、部位のセグメンテーションを目的とする時よりも大きな値に設定する。

図８に、人物一人が歩行し自転車１台が走行している画像を入力とした場合に、圧縮された非線形空間に射影しＭ＝２としてセグメンテーションを行った結果の一例を示す。圧縮された非線形空間上でのセグメント領域θ₁とθ₂の画像上での対応について説明する。セグメント領域θ₁は画像上では自転車の動きに対応し、セグメント領域θ₂は画像上では人物の歩行に対応している。以上のように、低次元に圧縮された空間上でセグメンテーションを行うことで、簡単かつ安定に自転車の動きと人物の動きとを分けて検出（つまり、セグメンテーション）することができる。

なお、ここでは（式２）に示されるような、動きのない画素についての画素の時間的移動軌跡は入力として用いていないため、移動している物体である歩行者と自転車の２つのみが非線形空間上に射影されている。もちろん、動きのない画素の時間的移動軌跡を入力として用いても構わない。ここで、実施の形態１と同様に圧縮された非線形空間上のセグメント領域に対応するのは、１枚の画像上の領域だけではなく時間的に連続した複数枚の画像に渡って画素を追跡した結果である。すなわち、非線形空間上でセグメンテーションを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果としてそれぞれの物体を検出することができる。また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因するセグメンテーションの失敗がない。以上のように、パラメータを一部変更するだけで、安定に、複数の移動する被写体を検出し、同時にセグメンテーションを行うことができる。

（実施の形態１の第２変形例）
次に、実施の形態１における非線形空間上でのセグメンテーションを実施の形態１とは異なる方法で実現する方法について、実施の形態１の第２変形例として説明する。本画像処理装置は図１に示したように、画像入力部１０１、動き解析部１０２、距離算出部１０３、非線形空間処理部１０４を備える。構成は実施の形態１と同様であるため説明を省略する。この第２変形例では、非線形空間処理部１０４は、実施の形態１とは異なる手法で、非線形空間上でのセグメンテーションを行う。ここでは、非線形空間処理部１０４が、非特許文献５に開示されている方法に基づいて非線形空間上での処理を行う方法について述べる。
Ａｒｉｋ Ａｚｒａｎ， Ｚｏｕｂｉｎ Ｇｈａｈｒａｍａｎｉ， "Ａ Ｎｅｗ Ａｐｐｒｏａｃｈ ｔｏ Ｄａｔａ Ｄｒｉｖｅｎ Ｃｌｕｓｔｅｒｉｎｇ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ， ２００６

図９に実施の形態１の第２変形例による処理のフローチャートを示す。ステップＳ２０１からＳ２０６までは、実施の形態１と同様であるため説明を省略する。

ステップＳ８０１では、非線形空間処理部１０４は、（式７）から（式１０）のいずれかの処理を行った非線形化された距離g(i,j)に対して以下のような正規化処理を行う。

ここで、Ｎは（式２）に示した画素iの時間的移動軌跡の数である。ここで、Ｇは、データ間の類似度を表すことになる。次に、正規化されたＧに対して以下のような計算を行う。

この計算を行うことによって、G_ijが小さい値の場合、すなわちデータ間の類似度が小さい場合には、より小さな値となり、G_ijが大きい値の場合は、より大きな値となる。すなわち、より類似度の高いデータ間距離が支配的になる。これにより、以下の処理がより安定に行えるようになる。

ｔは、例えば、Ω¹＝G^t1 _,…Ω^r＝G^tr _,…Ω^R＝G^tR（ただし、ｔ１＜ｔｒ＜ｔＲ）のように、複数のマトリクスΩ^rを用意し、ステップＳ８０２からＳ８０３まで、それぞれのΩ^rについて別々に計算を行うことが望ましい。また、（式２６）の計算を高速に行う方法が非特許文献４に記載されているので、それを用いても構わない。

次に、ステップＳ８０２では、非線形空間処理部１０４は、セグメンテーションを行うためのクラスタリングを実行するためにクラスタＱ_Mの初期値を設定する。ここで、クラスタ数はＭである。ここで、クラスタ数Ｍは、Ｒを大きく設定するに従い小さな値になるように設定する。

まず、１つ目のクラスタの初期値を以下のように決定する。

ここで、Ω_iは、マトリクスΩ中のi番目の行ベクトルである。ここで、Ω_iは（式１５）と同様に、（式２）に示した画素iの時間的移動軌跡に対応するものである。次に、（式２９）に示すように、２番目以降のクラスタＱ_mの初期値は、Ｎ個のΩ_iについてそれぞれＱ₁からＱ_m-1のクラスタの中から最小距離となるクラスタを選択し、その最小距離となったΩ_iの中で最大距離となるΩ_argmax__minを用いて、以下のようにして新しいクラスタの初期値とする。これをｍ＝２からＭまで繰り返す。

この処理は、あるクラスタに属したデータの中で最大距離となるデータを新たなクラスタの初期値する処理であり、クラスタの初期値をより広範囲に分布させることができるため、複数のクラスタが一点に集中してデータ分布を適切にクラスタリングできない等の問題を防ぐことができる。

なお、Ｑ₁からＱ_m-1のクラスタの中から最小距離を算出するためのクラスタＱ_mとΩ_iとの距離は以下のようにＫＬ情報量を用いて計算する。

上記のようにして、クラスタＱ₁からＱ_Mの初期値を決定することができる。

次に、ステップＳ８０３では、非線形空間処理部１０４は、Ｎ個のΩ_iに対してそれぞれクラスタリングを行う。Ｎ個のΩ_iがクラスタＱ₁からＱ_Mのいずれに属するかを（式２９）のようにＫＬ情報量を用いて決定する。ここで、それぞれのΩ_iは、ＫＬ情報量が最小となるクラスタＱ_mに属することになる。

次に、非線形空間処理部１０４は、Ｎ個のΩ_iに対してクラスタリングを行った結果を用いて、クラスタＱ_mを次式のように更新する。

ここで、Ω_cmは、クラスタＱ_mに属するΩ_iであり、C_mはクラスタＱ_mに属するΩ_iの数である。ステップＳ８０３のステップを規定回数繰り返すことで、Ω_iがどのクラスタＱ_mに属するかを判定することが可能になる。なお、Ω_iと画像上での画素iの時間的移動軌跡xⁱとは、一対一の対応関係にある。すなわち、Ω_iは（式２)の画素iの時間的移動軌跡に対応するため、Ω_iの属するクラスタＱ_mが決定されれば画素iの時間的移動軌跡xⁱがセグメンテーションされたことになる。

図１０（ａ）〜（ｃ）にて、ｒ＝ｔ１、ｔ２、ｔ３(ただし、ｔ１＜ｔ２＜ｔ３)に対して、Ω^rを作成し、クラスタ数Ｍ＝９、Ｍ＝５、Ｍ＝２として非線形空間上のデータΩ_iをそれぞれセグメンテーションした例について説明する。ｒ＝ｔ３、Ｍ＝２とした場合のセグメンテーション結果は、片側の腕領域を除く人物領域とそれ以外との領域にセグメントされる。また、ｒ＝ｔ２、Ｍ＝５とすると、頭部と胴体が１つの領域としてセグメントされ、脚部がそれぞれセグメントされる。さらに、ｒ＝ｔ３、Ｍ＝９とすると、図７（ａ）及び（ｂ）と同様の検出およびセグメンテーション結果となる。このように、Ω^rを複数用意することで粒度の異なるセグメンテーションが行えることが本変形例の利点である。

なお、片側の腕領域がセグメントされていないのは、画素の追跡中にオクルージョンが起こるため、前記腕領域に含まれる画素iの時間的移動軌跡（式２）を入力として利用していないためである。また、実施の形態１と同様に、それぞれのセグメント領域に対応するのは、１枚の画像上の領域だけではなく、時間的に連続した複数枚の画像に渡って画素を追跡した結果である。すなわち、非線形空間上でセグメンテーションを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果として検出、セグメンテーションすることができる。また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因するセグメンテーションの失敗がない。

さらに、本変形例では、実施の形態１と異なり次元圧縮に起因する高速化の効果は少ないものの、図１０（ａ）〜（ｃ）に示したように粗いセグメンテーションと細かいセグメンテーションとを同じ手法を用いて行うことができるため、例えば実施の形態１と実施の形態１の第１変形例に示したように、人物検出とそれぞれ検出した人物の部位のセグメンテーションとが同時に行える利点がある。以上のようにして、形状が変化しながら移動する人物等の被写体を安定に検出および部位をセグメンテーションすることができる。

（実施の形態１の第３変形例）
次に、本発明の実施の形態１の第３変形例における画像処理装置について説明する。ここでは、実施の形態１において被写体を検出および部位をセグメンテーションした結果を画像として表示する機能を付加した例について説明する。このような第３変形例に係る画像処理装置は、図１１に示すように、画像入力部１０１、動き解析部１０２、距離算出部１０３、非線形空間処理部１０４に画像表示部１００１を付加することによってセグメントした領域を画像としてモニタ等に表示することが可能である。

画像表示部１００１では、図７（ｂ）に示すように、セグメント領域θ_mに対応する画像上でのセグメント領域を色分け等して、セグメントされた領域をそれぞれ区別できるようにしてモニタ等に表示する。もちろん、部位ごとに別個に表示しても良い。ここで、（式２）に示した画素iの時間的移動軌跡は、セグメント領域θ_mのいずれかに対応する。そのため、セグメント領域θ_mに属する画素iの時間的移動軌跡に基づいて画像上の画素を選択し、セグント領域番号ｍに基づいて色分け等を行えば容易にセグメント領域を画像上に表示することができる。

（実施の形態１の第４変形例）
次に、本発明の実施の形態１の第４変形例における画像処理装置について説明する。ここでは、実施の形態１において被写体を検出および部位をセグメンテーションした結果をそれぞれセグメント領域ごとに記録・送信する機能を付加した例について説明する。このような第４変形例に係る画像処理装置は、図１２に示すように、画像入力部１０１、動き解析部１０２、距離算出部１０３、非線形空間処理部１０４にセグメント領域記録・送信部１１０１を付加することによって実現が可能である。

セグメント領域記録・送信部１１０１では、画像表示の場合と同様に、セグメンテーションした結果画像をセグメント領域番号ｍに応じてそれぞれ別々に記録・送信する。また、各セグメントに属する動き情報を以下のように平均化することで、動き情報を圧縮することも可能である。通常であれば画素ごとに動き情報を保持する必要があるが、以下の処理を行えば１つのセグメントに対して１つの動きを保持するだけで良い。例えば、動き情報として画素iの動きベクトル（uⁱ _t,vⁱ _t）を用いた場合には、以下のようにセグメントごとに平均化した動き情報を計算することができる。

ここで、C_mは、セグメント領域θ_mに属する画素数もしくは画素の時間的移動軌跡の数
である。u^cm _t,v^cm _tは、それぞれ、セグメント領域θ_mに属する画素の動きベクトルである。

なお、アフィン動きを用いて動き情報を圧縮する場合は、（式３１）（式３２）の代わりに、アフィン動きに基づいて移動した画素位置の平均値を計算すると良い。以上のようにして、画素の動き情報を圧縮しながらセグメント領域の記録、送信が可能である。

（実施の形態２）
次に、２つ以上の距離尺度を用いることで、検出とセグメンテーションをより高精度に実現する方法について、実施の形態２として説明する。この画像処理装置は、図１３に示すように、画像入力部１０１、動き解析部１０２、距離算出部１０３ａ、非線形空間処理部１０４ａから構成される。画像入力部１０１、動き解析部１０２についは実施の形態１と同じであるため説明は省略する。

距離算出部１０３ａ、非線形空間処理部１０４ａは、それぞれ、基本的には実施の形態１の距離算出部１０３、非線形空間処理部１０４と同様の機能を有するが、より高精度に処理するために、追加のパラメータを用いている点が実施の形態１と異なる。以下、実施の形態１と異なる点を中心に説明する。

距離算出部１０３ａは、画素間の画像上での距離およびその変動に関する距離尺度と、画素間が画像上で成す角度およびその変動に関する距離尺度とを用い、それぞれの距離尺度について距離マトリクスを算出する。

非線形空間処理部１０４ａは、距離算出部１０３ａで算出された２つの距離マトリクスをそれぞれ異なる非線形空間に射影した後、異なる２つの非線形空間を統合してクラスタリングを行う。

ここでは、図１４に示した処理のフローチャートに沿って説明する。まず、ステップＳ２０１からＳ２０３までは実施の形態１と同じであるため、説明を省略する。

次に、ステップＳ２０４ａにて、距離算出部１０３ａは、（式２）で算出した画素iの時間的移動軌跡を用いて画素動きの類似性を含む距離マトリクスを算出する。ここでは、（式３）に示した距離f(i,j)に加えて、２つ目の距離尺度として、画素iと画素ｊが成す角度に基づいた距離f₂(i,j)を用いる例について説明する。

ここで、w_aは重み係数であり、設計者が設定するパラメータである。また、a_mean_ij、a_var_ijについては以下に示す。

ここで、

上記のように、画素iと画素ｊが成す角度およびその変動成分を用いて画素の動きの類似性を表現することができる。これによって、剛体のみならず、関節物体等の特に回転運動を伴う形状変化を捉えることができる。

なお、f₂(i,j)は、画素動きの類似性を評価できる距離値であれば何を用いても良く、例えば (式３４)〜（式３９）の代わりに（式３７)を用いても良いし、（式２）のアフィンパラメタAⁱ _tを用いた（式３８）を用いても良い。（式３７)は、画素iと画素ｊの動きベクトルの角度差およびその変動成分を用いて画素の動きの類似性を表現することができる。これによって、回転を含む動きの変化を捉えることができる。（式38)は、画素iと画素ｊの近傍ブロックのアフィンパラメタの差およびその変動成分を用いて画素の動きの類似性を表現することができる。これによって、回転、並進移動、スケール変化を含む動きの変化を捉えることができる。

次に、ステップＳ２０５ａでは、非線形空間処理部１０４ａは、（式７）から（式１０）の処理を用いて（式３）の距離f(i,j)に対応するg_new(i,j)を算出する。そして、それとは別途に、画素iと画素ｊが成す角度に基づいた距離f₂(i,j)に対応するg₂__new(i,j)を計算する。すなわち、別々に２つの非線形化された距離を算出する。ここでは、画素間の距離と画素間が成す角度の２つについて説明するが、他の画素動きの類似性を表現した距離を用いて３つ以上の距離を求めても構わない。

次に、ステップＳ２０６ａでは、非線形空間処理部１０４ａは、（式１１）と同様に別途非線形化された距離g₂__new(i,j)からG₂を作成する。そして、G₂に対して同様に（式１２）から（式１６）の処理を行い、（式１６）と同様に、次元圧縮された空間上に射影しzⁱ ₂__p2を算出する。

次に、ステップＳ２０７ａでは、非線形空間処理部１０４ａは、（式１６）で算出したzⁱ _pとzⁱ ₂__p2とを統合して、クラスタリングを行うことで被写体を検出し、同時にセグメンテーションを行う。具体的には、（式１９）、（式２０）を以下のように書き換えることで実現できる。

以下、ステップＳ２０７ａにおける（式２１）から（式２４）までは同様であるため、説明を省略する。

以上のようにして、本実施の形態の画像処理装置によれば、画素間の画像上での距離およびその変動に関する距離尺度と、画素間が画像上で成す角度およびその変動に関する距離尺度とを用い、それぞれの距離尺度について距離マトリクスを算出し、それぞれの距離マトリクスをそれぞれ異なる非線形空間に射影した後、異なる２つの非線形空間を統合してクラスタリングを行うことで、より高精度に画像中を移動する物体の領域を時間的に追跡した結果として検出、セグメンテーションすることができる。さらに、画素間が画像上で成す角度とその変動を距離尺度として用いることによって、特に関節運動に起因する回転運動をより適切に捉えることができる。また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因するセグメンテーションの失敗がない。以上のようにして、より高精度に、形状が変化しながら移動する人物等の被写体を検出および部位をセグメンテーションすることができる。

（実施の形態３）
本実施の形態では、実施の形態１で説明した画像処理方法を用いて、被写体を検出およびセグメンテーションを行った結果から、被写体の動きを予測する機能を付加した画像処理装置について説明する。図１５に示すように、画像入力部１０１、動き解析部１０２、距離算出部１０３、非線形空間処理部１０４に被写体動き予測部１２０１を付加することによって、被写体の動きを予測する機能を有する。

被写体動き予測部１２０１は、セグメンテーションした結果から、各セグメントに含まれる画素の時間的移動軌跡から代表軌跡を算出し、前記代表軌跡をもとに被写体の動きを予測する。図１６に実施の形態３による処理のフローチャートを示す。ステップＳ２０１からＳ２０６までは、実施の形態１と同様であるため説明を省略する。

次に、ステップＳ１３０１では、被写体動き予測部１２０１は、ステップＳ２０７で行ったセグメンテーション結果を用いて、以下のようにクラスタの代表点およびその代表軌跡を求める。

ここで、図７（ａ）及び（ｂ）や図８に示したセグメント領域θ_mに属する非線形空間上のデータz_cmに対して、対応する画素の時間的移動軌跡をx^cmと表現することとする。前述のように、非線形空間上のデータzⁱ _pと画像上での画素iの時間的移動軌跡xⁱとは、一対一の対応関係にあるため、クラスタ領域θ_mに属するデータz_cmを選択すれば、対応する画素の時間的移動軌跡をx^cmは自動的に決定される。そして、次式のように、クラスタ領域θ_mごとに代表の時間的移動軌跡を求める。ここでは、代表の時間的移動軌跡として、平均時間的移動軌跡を算出する例について説明するが、下記の計算に対して画素の時間的移動軌跡x^cmごとに重み付け等を行っても良いし、画像上でのクラスタの重心に対応する画素の時間的移動軌跡を代表の時間的移動軌跡としても良い。

図１７に（式４１）に基づいてクラスタ領域θ_mごとに代表の時間的移動軌跡を求める例を示す。ただし、見やすさを考慮して、頭部に対応するクラスタ領域θ₁と脚部に対応するクラスタ領域θ₈に関する代表の時間的移動軌跡のみを示している。図中の×は、それぞれ時刻ｔに対応する

―x^mの要素であり画素位置を示している。さらに、（式３）や（式３３）に示したように、非線形空間上でのクラスタリングによるセグメンテーションは、画素動きの類似性を考慮して行われるため、単純に近接した画素の時間的軌跡の平均を求めるような方法と比較して、動きが類似した画素の時間的移動軌跡のみを用いて算出できるため、より高精度に代表の時間的移動軌跡を求めることができる。このように、クラスタ領域ごとに代表の時間的移動軌跡を求めることによって、部位ごとの動きを正確かつ簡便に表現することができる。

次に、ステップＳ１３０２では、被写体動き予測部１２０１にて、ステップＳ１３０１にて算出した代表の時間的移動軌跡から、時刻Ｔより先の時刻における被写体の位置を予測する。初めに、代表の時間的移動軌跡から加速度を算出し、Ｔ＋１以降の被写体の位置を予測する例について説明する。３枚以上の時系列画像が入力された場合は、次式のように代表の時間的移動軌跡

―x^mごとに加速度ベクトルs^mを得ることができる。

ここで、u^m _tは動きベクトルであり、次式のように表すことができる。

（式４２）の加速度ベクトルを用いて、図１７にて破線の矢印および○で示したように、被写体の部位ごとに、時刻Ｔ＋t'における被写体の部位位置pos_m(T+t')を以下のように予測することができる。ここでは、被写体の部位を例として挙げたが、図８で説明した自転車と歩行者のように被写体ごとの位置を予測することも可能である。

これにより、加速度を加味した予測が可能である。動きが急激に早くなったり、急激に止まったりといった場合に、その加速度を反映して被写体の位置を予測することができる。また、動きベクトルの代わりにアフィンパラメータを用いても構わない。アフィンパラメータは、回転運動を含む動きの表現が可能であり、腕や足の回旋運動の表現に適している。

さらに、前述した動きベクトルと加速度の代わりに、代表の時間的移動軌跡x^mに対して直接Ｎ次関数をフィッティングすることも可能である。Ｔ枚の時系列に並んだ画像を入力とした場合、

―x^mに含まれるＴ個の画像上での位置情報に対してＮ次の関数でフィティングすることができる。これにより、フィッティングした関数の値に沿うように、時刻（Ｔ＋ｔ'）における画像上での位置pos_m(T+t')を推定することが可能である。具体的には、関数でフィッティングすることによって、より滑らかな動きを表現することが可能となるため、より高精度な予測が可能となる。もちろん、これらの画像上での位置予測は、時間的内挿にも利用可能である。

以上のように、本実施の形態によれば、動きが類似した画素の時間的移動軌跡を同一のクラスタとして算出できるため、高精度に代表の時間的移動軌跡を求めることができる。特に関節物体等に対して部位ごとの動きを表現することが可能であり、前処理として人物候補領域を設定することなく、高精度に被写体の部位位置を予測することが可能である。

以上、本発明に係る画像処理方法及び画像処理装置について、実施の形態及びその変形例に基づいて説明したが、本発明は、これらの実施の形態及び変形例に限定されるものではない。当業者が思いつく各種変形を、本発明の趣旨を逸脱しない範囲で各実施の形態に施して実現される形態も本発明に含まれる。

また、各実施の形態における特徴的な構成要素を任意に組み合わせて実現される形態も本発明に含まれる。

本発明は、複数枚の画像における１個以上の画素からなるブロックの動きに基づいて、形状が変化しながら移動する人物等の被写体を含む画像をセグメンテーションすることによって画像中の被写体を検出する画像処理装置として、例えば、運動解析装置、監視装置、ビデオカメラやＴＶ等のＡＶ機器に内蔵させる画像処理装置等として利用することが可能である。

１０１ 画像入力部
１０２ 動き解析部
１０３、１０３ａ 距離算出部
１０４、１０４ａ 非線形空間処理部
１００１ 画像表示部
１１０１ セグメント領域記録・送信部
１２０１ 被写体動き予測部

Claims (14)

1. 複数枚の画像における１個以上の画素からなるブロックの動きに基づいて、形状が変化する被写体を含む画像のセグメンテーションを行う画像処理方法であって、
   時間的に連続した複数枚の画像を受け付ける画像入力ステップと、
   時間的に異なる少なくとも2枚の画像を用いてブロックの動きを算出し、時間的に連続した複数枚の画像に対して前記ブロックの動きからブロックの時間的移動軌跡を算出する動き解析ステップと、
   前記動き解析ステップで算出したブロックiの時間的移動軌跡と、i以外のブロックの時間的移動軌跡とを用いて、ブロック間の画像上での距離およびブロック間が成す角度の少なくともいずれか１つに基づいて、ブロックの動きの類似性を表す距離を算出する距離算出ステップと、
   前記距離算出ステップで算出した距離を、ユークリッド距離から測地間距離への変換を行うことによって、非線形空間へ射影し、射影した結果に対して、前記非線形空間内でセグメンテーションを行う非線形空間処理ステップと、
   を含む画像処理方法。
2. 請求項１に記載の方法において、
   前記距離算出ステップで、ブロック間の画像上での距離およびその変動に関する距離尺度と、ブロック間が画像上で成す角度およびその変動に関する距離尺度とを含む、少なくとも２つ以上の距離尺度を用いて、それぞれの距離尺度に対して２以上の距離を算出し、それぞれの距離をそれぞれ異なる非線形空間へ射影し、射影した結果を統合してセグメンテーションをすることを特徴とする画像処理方法。
3. 請求項１に記載の方法において、
   前記距離算出ステップでは、前記画像を構成する複数のブロックについて、２つのブロック間の動きの類似性を表す複数の距離を算出し、
   前記非線形空間処理ステップでは、前記複数の距離のそれぞれを非線形化し、非線形化した距離を次元圧縮することで前記非線形空間への射影を行い、前記空間に射影された複数の距離に対して類似性をもつ１個以上のセグメント領域を求めることで前記セグメンテーションを行うことを特徴とする画像処理方法。
4. 請求項３に記載の方法において、
   前記非線形空間処理ステップは、前記複数の非線形化した距離に対してｅｉｇｅｎ ｖｅｃｔｏｒを求めることによって、前記次元圧縮を行うことを特徴とする画像処理方法。
5. 請求項３に記載の方法において、
   前記非線形空間処理ステップにおいて、ブロックiとの距離が小さい順にＮ個を選択し
   、選択されなかった距離を無限大とすることで前記非線形化をした後に前記次元圧縮を行うことを特徴とする画像処理方法。
6. 請求項３に記載の方法において、
   前記非線形空間処理ステップにおいて、ブロックiとの距離に対して閾値を設定し、距離が閾値より大きい場合には、前記距離を無限大とすることで前記非線形化をした後に前記次元圧縮を行うことを特徴とする画像処理方法。
7. 請求項３に記載の方法において、
   前記非線形空間処理ステップにおいて、ブロックiとの距離に対して指数関数を含む非線形関数を掛けることで前記非線形化をした後に前記次元圧縮を行うことを特徴とする画像処理方法。
8. 請求項１に記載の方法において、
   前記動き解析ステップにおいて、ブロックの動きは、２次元動きベクトルかまたはアフィンパラメータであることを特徴とする画像処理方法。
9. 請求項１に記載の方法において、
   前記非線形空間処理ステップにおいて非線形空間内でセグメンテーションした結果を前記画像入力ステップで受け付けた画像上に表示する画像表示ステップをさらに含む画像処理方法。
10. 請求項１に記載の方法において、
    前記非線形空間処理ステップにおいて非線形空間内でセグメンテーションした結果から、前記画像入力ステップで受け付けた画像に含まれる少なくとも２つ以上の異なる移動物体を検出することを特徴とする画像処理方法。
11. 請求項１に記載の方法において、
    前記非線形空間処理ステップにおいて非線形空間内でセグメンテーションした結果から、前記セグメンテーションによって得られた各セグメントに含まれるブロックの時間的移動軌跡から代表軌跡を算出し、前記代表軌跡をもとに前記被写体の動きを予測する被写体動き予測ステップとをさらに含むことを特徴とする画像処理方法。
12. 請求項１に記載の方法において、
    前記非線形空間処理ステップにおいて非線形空間内でセグメンテーションした結果から、前記画像入力ステップで受け付けた画像上のセグメントを特定し、特定したセグメントごとに対応する前記結果を記録もしくは送信する記録・送信ステップとをさらに含むことを特徴とする画像処理方法。
13. 複数枚の画像における１個以上の画素からなるブロックの動きに基づいて、形状が変化する被写体を含む画像のセグメンテーションを行う画像処理装置であって、
    時間的に連続した複数枚の画像を受け付ける画像入力部と、
    時間的に異なる少なくとも2枚の画像を用いてブロックの動きを算出し、時間的に連続した複数枚の画像に対して前記ブロックの動きからブロックの時間的移動軌跡を算出する動き解析部と、
    前記動き解析部で算出したブロックiの時間的移動軌跡と、i以外のブロックの時間的移動軌跡とを用いて、ブロック間の画像上での距離およびブロック間が成す角度の少なくともいずれか１つに基づいて、ブロックの動きの類似性を表す距離を算出する距離算出部と、
    前記距離算出部で算出した距離を、ユークリッド距離から測地間距離への変換を行うことによって、非線形空間へ射影し、射影した結果に対して、前記非線形空間内でセグメンテーションを行う非線形空間処理部と、
    を備える画像処理装置。
14. 画像処理装置のためのプログラムであって、
    時間的に連続した複数枚の画像を受け付ける画像入力ステップと、
    時間的に異なる少なくとも2枚の画像を用いてブロックの動きを算出し、時間的に連続した複数枚の画像に対して前記ブロックの動きからブロックの時間的移動軌跡を算出する動き解析ステップと、
    前記動き解析ステップで算出したブロックiの時間的移動軌跡と、i以外のブロックの時間的移動軌跡とを用いて、ブロック間の画像上での距離およびブロック間が成す角度の少なくともいずれか１つに基づいて、ブロックの動きの類似性を表す距離を算出する距離算出ステップと、
    前記距離算出ステップで算出した距離を、ユークリッド距離から測地間距離への変換を行うことによって、非線形空間へ射影し、射影した結果に対して、前記非線形空間内でセグメンテーションを行う非線形空間処理ステップと
    をコンピュータに実行させるプログラム。

Images