JP4994525B1 - 関節領域表示装置、関節領域検出装置、関節領域帰属度算出装置、関節状領域帰属度算出装置および関節領域表示方法 - Google Patents

Abstract

関節領域表示装置（１００）は、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する関節特徴算出部（１０４）と、関節特徴算出部（１０４）が算出した任意の移動軌跡間の関節特徴量に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ第２移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一の節を介して接続されているときの第１移動軌跡に対応する領域を関節領域として検出する関節検出部（１０５）と、関節検出部（１０５）が検出した関節領域を、ユーザが視認できる形態に変換して出力する表示制御部（１０６）とを備える。
【選択図】図１

Description

本発明は、複数枚の画像から構成される動画像中の動き情報に基づき、画像中の移動体の領域を抽出し表示する技術に関する。特に人物のように輪郭の形状が変化しながら移動する対象に対し、そのような対象が特徴的に有する関節を検出し、表示する関節領域表示装置等に関する。

移動体の像（以下、単に「移動体」という。）が含まれる画像から、画像中の移動体の領域を抽出する技術の研究開発が広く行われてきている。特に移動体が人である場合に、人の領域を抽出する技術は、デジタルビデオカメラもしくはデジタルスチルカメラにおける焦点制御、画質改善処理、映像製作における画像合成処理、自動車の安全運転支援システム、または人物の行動予測もしくは動作解析など、広い範囲で共通して利用される基礎技術である。

画像中の移動体の領域を抽出する技術のうち、一般的な手法として、あらかじめ用意した移動体のモデルと画像中の移動体の候補領域との類似度を評価して、移動体の領域を検出する方法が挙げられる。

代表的な手法として、画像から移動体領域の候補を抽出したのち、抽出した移動体領域候補に対し、あらかじめ用意した移動体モデルとの類似度を評価して、類似度が高い領域を移動体領域として抽出する手法がある。さらに、歩行する人物等のように、変形しながら移動する移動体の領域を抽出する場合、変形を考慮した移動体モデルを利用する手法がある。

例えば、特許文献１では、移動体領域候補として複数の画像から移動体のシルエット画像を抽出する。そして、あらかじめパラメータ化した移動体の変形に関するモデルと、抽出したシルエット画像との類似度を評価し、類似度が高い領域とモデルのパラメータとを推定する手法が開示されている。これによって、形状が周期的に変化しながら移動する人物に対しても、パラメータ化したモデルを当てはめることができるため、人物のような移動体の領域抽出が可能になる。

また、人物のような関節物体の画像生成を目的として、より詳細な人物の動きデータまたは形状を画像から抽出する画像解析方法が提案されている。

例えば、特許文献２では、取得された画像中の関節物体に対して、予め保持された、関節を有するモデルを当てはめることによって得られる大まかな関節および部位の動き情報から、より詳細な関節および部位の位置および動き情報をさらに推定する。このことによって、画像中に存在する関節物体の部位の形状および動きなどの情報を反映した新たな画像を生成している。あらかじめ算出したパラメータのみを用いる場合に比べ、画像中の関節物体から情報を抽出しているため、より正確な画像中の人物の部位の形状および動きなどのパラメータ化を可能にしている。これによって、形状が変化しながら移動する人物に対しても、より正確にパラメータ化したモデルを当てはめることができるため、より精度良い移動体の領域抽出が可能になる。

特開平８−２１４２８９号公報 特開２００７−４７３２号公報

しかしながら、従来の領域抽出の技術によると、例えば、複数の人物が歩行するシーンなどにおいて、姿勢または大きさなどの変化が原因となり移動体の形状が著しい変化を伴うような場合などに、正しく移動体を抽出することができないという問題がある。

特許文献１に示す、あらかじめ用意したモデルを用いる領域抽出手法では、画像から移動体領域の候補を抽出する必要がある。この時、適切に移動体領域候補を抽出できなければ、移動体をパラメータ化したモデルを正確に移動体領域候補に当てはめることが不可能になる。特に、上述のようなシーンにおいては、移動体の姿勢または大きさなどの変化により移動体の形状が大きく変化するため、移動体領域候補を適切に抽出することは困難である。さらに、移動体領域候補を適切に抽出できたとしても以下のような課題がある。

つまり、人物等の関節的な動きを有する物体を移動体とした場合には、移動体のさまざまな姿勢、位置または大きさに起因する画像の変化の幅が非常に大きくなる。このため、移動体モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。このことは、モデルの当てはめ誤りを誘発する。ゆえに、例えば、１つの移動体を複数の移動体として誤って領域抽出したり、抽出対象となる移動体が存在しない領域を移動体として誤って領域抽出したりするなど、正しく移動体を検出することができないという課題がある。

特許文献２に示す手法では、特許文献１のようにあらかじめ作成したモデルに関節物体を当てはめるだけでなく、用意したモデルに当てはめた結果に基づいて、画像中の関節物体に関するより詳細なパラメータを推定するため、正しく移動体を抽出できる可能性は高くなる。

しかし、特許文献１同様に、移動体領域候補を適切に抽出できなかった場合や、用意したモデルへの当てはめに失敗した場合、その後のパラメータ推定に失敗し、正しく関節物体をパラメータ化することができず、結果として移動体領域の抽出が正しく行われない場合がある。

そこで本発明では、移動体のモデル当てはめを行わずに、関節の「動き情報」に基づいて、関節および関節を含む移動体の領域抽出を行う。特に、人物に代表されるような、関節状の動きを有し、姿勢などの変化により形状が時間的に著しい変化を伴うような移動体についても、動画像中から領域抽出可能な手法を提案する。

なお、本明細書において、「関節状動き」とは、例えば人の関節動きに代表されるような関節状の動きのことをさす。

関節状動きを行う物体としては、人以外では、例えば、蛇またはムカデのように、関節間の距離が微小な、多数の関節によって構成されるような物体であっても良いし、傘の骨のように、一つのジョイント（関節）から多数の骨（腕）が出ているようなものであってもよいし、モビールのようなものでもよい。

従来の領域抽出手法では、このような関節状の動きを呈する部分で、対象物が分離されて抽出されることが多い。本発明により「関節」の位置を検出することで、このようなケースにおいても、対象物が分離されずに対象物全体を抽出および表示することも可能である。

本発明は、関節状の動きを行う移動体において、同一移動体上の小領域が分離されて抽出されることなく、また移動体自身の形状変化の影響を受けずに、正しくその領域を検出するため、上記移動体上で関節状動きを有する関節位置を検出し、表示することができる関節領域表示装置等を提供することを目的とする。

また、関節状の動きを行う移動体において、同一移動体上の小領域が分離されて抽出されることなく、また移動体自身の形状変化の影響を受けずに、正しくその領域を検出するため、上記移動体上で関節状動きを有する関節位置を検出することができる関節領域検出装置を提供することを目的とする。

また、移動体の形状変化の影響を受けずに、移動体の移動軌跡の関節領域への帰属度を正しく算出することができる関節領域帰属度算出装置を提供することを目的とする。

また、移動体の形状変化の影響を受けずに、関節領域を介して接続された領域である関節状領域への移動軌跡の帰属度を正しく算出することができる関節状領域帰属度算出装置を提供することを目的とする。

本発明は上述の課題を解決するためになされたものであり、本発明のある局面に係る関節領域表示装置は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節領域を検出し、表示する関節領域表示装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出し、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する関節特徴算出部と、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する関節検出部と、前記関節検出部が検出した前記関節領域を、ユーザが視認できる形態に変換して出力する表示制御部とを備える。

この構成によると、移動軌跡間の測地距離の時間変化と２点間距離の時間変化とに基づいて、関節領域を抽出することで、移動体の形状の変化の影響を受けることなく、正しく関節位置を検出し、表示することができる。

本発明の他の局面に係る関節領域検出装置は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節領域を検出する関節領域検出装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出し、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する関節特徴算出部と、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する関節検出部とを備える。

上記した構成によって、移動軌跡間の測地距離の時間変化と、２点間距離の時間変化とに基づいて、関節領域を検出することで、形状の変化の影響を受けることなく、正しく関節領域を検出することができる。

本発明のさらに他の局面に係る関節領域検出装置は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動領域の各々について、関節領域への帰属度を算出する関節領域帰属度算出装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、第１移動軌跡、第２移動軌跡および第３移動軌跡のうちの任意の２つの移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、前記第１移動軌跡に対応する領域および前記第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一剛体上に存在し、かつ、同一の節を介して接続される別の剛体上に、前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が存在する、という３つの関係を同時に満たす度合いを示す節らしさ特徴量を、前記第１移動軌跡の関節領域への帰属度として算出する関節領域帰属度算出部とを備える。

上記した構成によって、移動軌跡間の測地距離の時間変化と、２点間距離の時間変化とに基づいて、移動軌跡の関節領域への帰属度を算出することで、移動体の形状の変化の影響を受けることなく、移動軌跡の関節領域への帰属度を正しく算出することができる。

本発明のさらに他の局面に係る関節状領域帰属度算出装置は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動領域の各々について、関節領域を介して接続された領域である関節状領域への帰属度を算出する関節状領域帰属度算出装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、着目する移動軌跡、第１移動軌跡、第２移動軌跡および第３移動軌跡のうちの任意の２つの移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、前記第１移動軌跡に対応する領域および前記第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一剛体上に存在し、かつ、同一の節を介して接続される別の剛体上に、前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が存在する、という３つの関係を同時に満たす度合いに基づいて求めた関節状領域らしさを、前記着目する移動軌跡の関節状領域への帰属度として算出する関節状領域帰属度算出部とを備える。

上記した構成によって、移動軌跡間の測地距離の時間変化と、２点間距離の時間変化とに基づいて、移動軌跡の関節状領域への帰属度を算出することで、移動体の形状の変化の影響を受けることなく、移動軌跡の関節状領域への帰属度を正しく算出することができる。

なお、本発明は、このような特徴的な処理部を備える関節領域表示装置として実現することができるだけでなく、関節領域表示装置に含まれる特徴的な処理部をステップとする関節領域表示方法として実現することができる。また、関節領域表示方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、関節領域検出装置、関節領域帰属度算出装置および関節状領域帰属度算出装置についても同様に方法またはプログラムにより実現可能である。

本発明によると、同一移動体上の小領域が分離されて抽出されることなく、また移動体自身の形状変化の影響を受けずに、正しくその領域を検出するため、上記移動体上で関節状動きを有する関節位置を検出し、表示することができる。

また、移動体の形状変化の影響を受けずに、移動体の移動軌跡の関節領域への帰属度を正しく算出することができる。

また、移動体の形状変化の影響を受けずに、関節領域を介して接続された領域である関節状領域への移動軌跡の帰属度を正しく算出することができる。

図１は、本発明の実施の形態１における関節領域表示装置の構成を示す図である。 図２は、コンピュータによって構成された関節領域表示装置のハードウェア構成を示す図である。 図３は、関節領域表示装置の動作の手順を示すフローチャートである。 図４は、撮影状況の例を示す図である。 図５は、複数のピクチャの例を示す図である。 図６Ａは、動きベクトルの例を示す図である。 図６Ｂは、移動軌跡の例を示す図である。 図７Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。 図７Ｂは、移動軌跡のデータ分布と線形距離について示す図である。 図７Ｃは、移動軌跡のデータ分布と測地距離について示す図である。 図８は、移動軌跡間の２点間距離と測地距離について示す図である。 図９は、様々な剛体の動きに伴う、移動軌跡間の測地距離および２点間距離の時間変化について示す図である。 図１０Ａは、測地距離の時間変化と、２点間距離の時間変化と、関節らしさとの関係を示す図である。 図１０Ｂは、測地距離の時間変化と、２点間距離の時間変化と、関節特徴量との関係を示す図である。 図１１は、移動軌跡のペアに対応する剛体領域および節領域について示す図である。 図１２Ａは、複数の移動軌跡と関節特徴量との関係を示す図である。 図１２Ｂは、移動軌跡ペア間の関節特徴量の値域を示す図である。 図１３Ａは、表示制御部が出力する画像の例を示す図である。 図１３Ｂは、表示制御部が出力する画像の例を示す図である。 図１４は、本発明の実施の形態２における関節領域表示装置の構成を示す図である。 図１５は、移動軌跡間の距離と関節らしさとの関係を示す図である。 図１６は、節の移動軌跡、剛体上の移動軌跡、およびアウトライアの移動軌跡を示す図である。 図１７は、表示制御部が出力する画像の例を示す図である。 図１８は、測地距離の時間変化の値および２点間距離の時間変化の値の分布している領域を示す図である。 図１９は、本発明の実施の形態３における関節領域表示装置の構成を示す図である。 図２０は、関節状領域検出部の動作について説明するための図である。 図２１は、表示制御部が出力する画像の例を示す図である。 図２２は、本発明の実施の形態４における関節領域帰属度算出装置の機能的な構成を示すブロック図である。 図２３は、関節領域帰属度算出装置の動作を表すフローチャートである。 図２４は、本発明の実施の形態５における関節領域帰属度算出装置の機能的な構成を示すブロック図である。 図２５は、関節状領域帰属度算出装置の動作を表すフローチャートである。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

本発明の一実施態様に係る関節領域表示装置は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節領域を検出し、表示する関節領域表示装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出し、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する関節特徴算出部と、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する関節検出部と、前記関節検出部が検出した前記関節領域を、ユーザが視認できる形態に変換して出力する表示制御部とを備える。

具体的には、前記関節検出部は、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記第１移動軌跡に対応する領域および前記第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているほど、前記第１移動軌跡に対応する領域が関節領域に含まれる可能性が高いと判断される節らしさ特徴量を算出し、算出した前記節らしさ特徴量から関節領域を検出してもよい。

好ましくは、前記関節検出部は、前記ピクチャ上における、算出した前記節らしさ特徴量の極大値に対応する移動軌跡が帰属する領域を関節領域として検出する。

上記した構成によって、移動軌跡間の測地距離の時間変化と、２点間距離の時間変化とに基づいて、関節領域（節領域）を検出し、表示することで、形状の変化の影響を受けることなく、正しく関節領域を表示することができる。以下では、関節領域のことを節領域とも言う。

具体的には、各移動軌跡に対して、測地距離の時間変化、２点間距離の時間変化がどちらもゼロである移動軌跡を、剛体領域に属する移動軌跡として検出する。

上記の処理により、検出した２つの剛体領域に含まれる移動軌跡のうち、２つの剛体領域の両方に含まれる移動軌跡を、関節領域が含む移動軌跡として検出し、表示することができる。

好ましくは、前記関節検出部は、着目する移動軌跡を除く前記複数の移動軌跡の中から移動軌跡のペアを複数選択し、選択したペアごとに、前記着目する移動軌跡を前記第１移動軌跡とし、当該移動軌跡のペアを前記第２移動軌跡および前記第３移動軌跡としたときの前記関節特徴量を加算することにより、前記着目する移動軌跡の節らしさ特徴量を算出し、算出した前記節らしさ特徴量から前記着目する移動軌跡に対応する領域が関節領域か否かを判定する。

この構成によると、全ての移動軌跡ペアについて処理を行って、関節領域を求めることもできる。

上記の処理により、多数の関節を同時に検出可能となるとともに、関節らしくない移動軌跡ペアから検出された関節領域の移動軌跡からは関節領域が検出されにくく、関節らしい移動軌跡ペアから検出された関節領域の移動軌跡からは関節領域が検出されやすくなるため、より安定して関節を検出することができる。関節らしい移動軌跡ペアとは、移動軌跡ペアを構成する各移動軌跡が含まれる剛体が同一の関節領域（節領域）を介して接続されているような移動軌跡のペアのことである。

この際、あらかじめ各移動軌跡について、各移動軌跡を含む剛体領域を算出しておくことで、後から全ての移動軌跡ペアについて計算する場合に比べ、計算量を削減できる。

また、前記関節検出部は、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記任意の移動軌跡のペアに対応する領域同士が同一剛体上に存在するか否かを判断することにより同一剛体に含まれる移動軌跡を検出した後、前記第１移動軌跡に対応する領域および前記第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出してもよい。

このようにすることで、効率よく関節の検出を行うことができる。

また、前記関節検出部は、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量が所定の閾値以下となる移動軌跡のみを用いて、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記任意の移動軌跡のペアに対応する領域同士が同一剛体上に存在するか否かを判断することにより同一剛体に含まれる移動軌跡を検出した後、前記第１移動軌跡に対応する領域および前記第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出してもよい。

このようにすることで、効率よく関節の検出を行うことができる。

好ましくは、前記任意の移動軌跡間の測地距離の時間変化は、あらかじめ定めた一連の処理フレームセットにわたる測地距離の時間変化の絶対値和であり、前記任意の移動軌跡間の２点間距離の時間変化は、あらかじめ定めた一連の処理フレームセットにわたる２点間距離の時間変化の絶対値和である。

複数フレームにわたる時間変化を用いるため、より確実に移動軌跡間距離の時間変化を捉えることができる。

さらに好ましくは、前記関節特徴算出部は、前記任意の移動軌跡間の測地距離の時間変化を、前記任意の移動軌跡間の２点間距離の時間変化で除した値に基づいて、前記任意の移動軌跡間の関節特徴量を算出する。

この構成によると、単純な式で関節らしさを表現することができる。なお、２点間距離の時間変化が０の場合、関節特徴量が無限大になることを防ぐためにエラー値を設定しておくとよい。

また、前記関節特徴算出部は、前記測地距離の時間変化と前記２点間距離の時間変化と前記関節特徴量との対応関係を示したデータテーブルを参照することにより、前記任意の移動軌跡間の関節特徴量を算出してもよい。

実験などにより、あらかじめデータテーブルを作成しておくことで、より精度よく関節領域を検出することができる。

また、前記関節特徴算出部は、前記任意の移動軌跡間について、前記測地距離の時間変化があらかじめ定めた測地距離閾値よりも小さく、かつ前記２点間距離の時間変化があらかじめ定めた２点間距離閾値よりも大きい場合に、前記関節特徴量を１として算出し、前記測地距離の時間変化があらかじめ定めた測地距離閾値以上の場合、または前記２点間距離の時間変化があらかじめ定めた２点間距離閾値以下の場合に、前記関節特徴量を０として算出してもよい。

適切に測地距離閾値および２点間距離閾値を設定することにより、簡易に関節特徴量を算出することができる。

好ましくは、前記表示制御部は、前記ピクチャ上の前記関節検出部が検出した関節領域に含まれる移動軌跡に対応する領域の位置を特定の色で塗りつぶし、出力する。

例えば、関節領域に含まれる移動軌跡に対応する領域の位置を赤色または黄色などで塗りつぶして表示することで、関節領域の位置を容易にユーザに提示できる。

また、前記表示制御部は、前記ピクチャ上の関節領域を介して接続された領域である関節状領域のうち、前記関節検出部が検出した関節領域を除く剛体領域に含まれる移動軌跡に対応する領域の位置を特定の色で塗りつぶし、出力してもよい。

間に関節領域（節領域）を挟む剛体の領域が表示されれば、ユーザは容易に移動体の剛体および関節領域の構造を理解可能である。

また、前記表示制御部は、前記ピクチャ上の関節領域を介して接続された領域である関節状領域のうち、前記関節検出部が検出した関節領域を除く剛体領域に含まれる移動軌跡に対応する領域の位置と、前記関節検出部が検出した関節領域に含まれる移動軌跡に対応する領域の位置とを、それぞれ異なる特定の色で塗りつぶし、出力してもよい。

この構成によると、ユーザに対して、関節領域および剛体の両方の情報を与えることができるため、よりユーザにとって見やすい画像が実現できる。

また、前記関節検出部が検出した関節領域に含まれる移動軌跡に対応する領域の位置を塗りつぶすための前記特定の色は、前記関節検出部が検出した関節領域の節らしさ特徴量の値に応じた色であってもよい。

この構成によると、関節領域の節らしさの信頼度をユーザに示すことができる。

また、前記表示制御部は、前記ピクチャ上に、共通の剛体領域に含まれる関節領域同士を結んだ直線を重畳して、出力してもよい。

この構成によると、コンピュータグラフィクスにおけるボーンのような表示を行うことができる。よって、関節領域表示装置を２次元のアニメーション表示等に利用することも可能である。

また、上述の関節領域表示装置は、さらに、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部とを備えていてもよい。

また、前記関節特徴算出部は、さらに、縦軸および横軸を移動軌跡のペアの２点間距離の時間変化および測地距離の時間変化とするグラフにおいて、２点間距離の時間変化および測地距離の時間変化が等しくなる直線からの、着目する移動軌跡のペアである着目ペアの２点間距離の時間変化および測地距離の時間変化までの距離に基づいて、当該着目ペアが同一の剛体に含まれる程度を示す同一剛体特徴量を算出してもよい。

また、前記関節領域表示装置は、さらに、着目する移動軌跡について、前記着目する移動軌跡をペアとして含む移動軌跡ペア間の同一剛体特徴量と、当該ペアのうち前記着目する移動軌跡以外の移動軌跡の節らしさ特徴量との積を、前記着目する移動軌跡が関節領域を介して接続された領域である関節状領域に含まれる程度を示す関節状領域らしさとして算出し、関節状領域を検出する関節状領域検出部を備えていてもよい。

同一剛体特徴量を用いることにより、関節状領域を正確に検出することができる。

本発明の他の実施態様に係る関節領域表示装置は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節領域を検出し、表示する関節領域表示装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出し、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化について、ユークリッド距離の時間変化が大きな値であるほど、また測地距離の時間変化がより小さいほど、大きくなるような正の値をとる関節特徴量を算出する関節特徴算出部と、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する関節検出部と、前記関節検出部が検出した前記関節領域を、ユーザが視認できる形態に変換して出力する表示制御部とを備える。

上記した構成によって、移動軌跡間の測地距離の時間変化と、２点間距離の時間変化とに基づいて、関節領域を検出し、表示することで、形状の変化の影響を受けることなく、正しく関節領域を表示することができる。

本発明のさらに他の実施態様に係る関節領域表示装置は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節領域を検出し、表示する関節領域表示装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出し、縦軸および横軸を、任意の移動軌跡ペアの２点間距離の時間変化および測地距離の時間変化とするグラフにおいて、２点間距離の時間変化および測地距離の時間変化が等しくなる直線からの、着目する移動軌跡ペアである着目ペアの２点間距離の時間変化および測地距離の時間変化までの距離が遠いほど、より大きい値をとる関節特徴量を算出する関節特徴算出部と、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する関節検出部と、前記関節検出部が検出した前記関節領域を、ユーザが視認できる形態に変換して出力する表示制御部とを備える。

上記した構成によって、移動軌跡間の測地距離の時間変化と、２点間距離の時間変化とに基づいて、関節領域を検出し、表示することで、形状の変化の影響を受けることなく、正しく関節領域を表示することができる。

本発明のさらに他の実施態様に係る関節領域検出装置は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節領域を検出する関節領域検出装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出し、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する関節特徴算出部と、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する関節検出部とを備える。

上記した構成によって、移動軌跡間の測地距離の時間変化と、２点間距離の時間変化とに基づいて、関節領域を検出することで、形状の変化の影響を受けることなく、正しく関節領域を検出することができる。

本発明のさらに他の局面に係る関節領域帰属度算出装置は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動領域の各々について、関節領域への帰属度を算出する関節領域帰属度算出装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、第１移動軌跡、第２移動軌跡および第３移動軌跡のうちの任意の２つの移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、前記第１移動軌跡に対応する領域および前記第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一剛体上に存在し、かつ、同一の節を介して接続される別の剛体上に、前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が存在する、という３つの関係を同時に満たす度合いを示す節らしさ特徴量を、前記第１移動軌跡の関節領域への帰属度として算出する関節領域帰属度算出部とを備える。

上記した構成によって、移動軌跡間の測地距離の時間変化と、２点間距離の時間変化とに基づいて、移動軌跡の関節領域への帰属度を算出することで、移動体の形状の変化の影響を受けることなく、移動軌跡の関節領域への帰属度を正しく算出することができる。

本発明のさらに他の局面に係る関節状領域帰属度算出装置は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動領域の各々について、関節領域を介して接続された領域である関節状領域への帰属度を算出する関節状領域帰属度算出装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、着目する移動軌跡、第１移動軌跡、第２移動軌跡および第３移動軌跡のうちの任意の２つの移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、前記第１移動軌跡に対応する領域および前記第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一剛体上に存在し、かつ、同一の節を介して接続される別の剛体上に、前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が存在する、という３つの関係を同時に満たす度合いに基づいて求めた関節状領域らしさを、前記着目する移動軌跡の関節状領域への帰属度として算出する関節状領域帰属度算出部とを備える。

上記した構成によって、移動軌跡間の測地距離の時間変化と、２点間距離の時間変化とに基づいて、移動軌跡の関節状領域への帰属度を算出することで、移動体の形状の変化の影響を受けることなく、移動軌跡の関節状領域への帰属度を正しく算出することができる。

なお、本発明の関節領域表示装置は、関節領域表示装置に含まれる各処理部をハードウェアにより構成することにより実現されるだけでなく、上記各処理部をステップとする関節領域表示方法として実現したり、関節領域表示方法を、コンピュータ上のプログラムによって実現したり、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、動画像において動きをもつオブジェクトの領域を抽出、または、分割する画像処理装置等として実現することもできる。また、関節領域検出装置、関節領域帰属度算出装置および関節状領域帰属度算出装置についても同様に方法またはプログラムにより実現可能である。

（実施の形態１）
以下、本発明の実施の形態１について、図面を用いて説明する。

図１は、実施の形態１における関節領域表示装置の構成を示す図である。図１に示されるように、関節領域表示装置１００は、画像入力部１０１、移動軌跡算出部１０２および関節領域表示部１０３を備える。関節領域表示装置１００は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出し、表示する装置である。

本実施の形態では、関節領域表示装置１００は、カメラ１１０で撮影した動画像を入力して、動画像中の関節領域を検出し、検出した結果に基づいてピクチャを生成して出力する。ディスプレイ１２０は、関節領域表示装置１００から出力されるピクチャを表示する。本明細書中では、ピクチャのことを画像ともいう。

画像入力部１０１は、動画像を構成する複数枚のピクチャの入力を受け付ける処理部であり、例えば、カメラ、または、カメラと接続された通信インタフェース等である。なお、画像入力部１０１は、記憶装置に記憶されている動画像を読み出すインタフェースであっても良い。

移動軌跡算出部１０２は、画像入力部１０１で受け付けられたピクチャを構成する１個以上の画素からなるブロックごとに、動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、複数の移動軌跡を算出する。ピクチャ間の対応点は、ピクチャの１画素ごとに対応点を求めてもよいし、ピクチャ内の隣接する複数の画素（ブロック）ごとに１つの対応点を求めるとしてもよい。本明細書では、ある対応点が、１画素ごとに求められたか、複数の画素に対して１つ求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。

関節領域表示部１０３は、移動軌跡算出部１０２で求めた移動軌跡をもとに、移動軌跡間距離の時間変化に基づいて、関節動きを行う領域を検出し、表示を行う処理部である。関節領域表示部１０３は、関節特徴算出部１０４、関節検出部１０５および表示制御部１０６を備える。

関節特徴算出部１０４は、距離算出部１０７、および特徴量算出部１０８を備える。

距離算出部１０７は、移動軌跡間の類似度を表す距離を算出する処理部である。つまり、距離算出部１０７は、第１の移動軌跡と他の第２の移動軌跡とを直接結んだ距離である２点間距離と、第１の移動軌跡および第２の移動軌跡以外の移動軌跡を中継点として第１の移動軌跡から第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する。

本実施の形態では、距離算出部１０７は、移動軌跡算出部１０２で求めた複数の移動軌跡から、Ｔ枚（Ｔ＞＝２）のピクチャ間にわたる対応点であるＮ個の移動軌跡を抽出し、抽出した移動軌跡より、移動軌跡間の類似度を表す２点間距離および測地距離を算出する。

なお、本明細書における２つの移動軌跡間の「距離」は、対応する２次元画像空間における２点の間の距離だけでなく、後述するように、多次元のデータ間の算術的な距離を含む。なお、一般的に距離と類似度は相反する関係がある。すなわち、２つのデータ間の距離が小さい場合、類似度が高く、逆に２つのデータの距離が大きい場合、類似度が低いものとする。

また、本明細書において「２点間距離」および「測地距離」の２種類の距離を定義しているが、「２点間距離」は２つのデータ間のみから求まる距離のことを指し、「測地距離」は、後述するように２つのデータ以外の点を経由することで求められる距離のことを指す。

なお、本明細書における「２点間距離」は、移動軌跡間のピクチャ座標における位置、速度、加速度等といった幾何的な類似度を表す指標となる距離であり、必ずしも線形距離である必要はない。「２点間距離」の代表的なものとして本明細書では「ユークリッド距離」を以降説明のため用いる。前記の距離の詳細な例については、距離算出部１０７の説明の部分にて後述する。

特徴量算出部１０８は、距離算出部１０７で算出された測地距離、ユークリッド距離のそれぞれについて、距離の時間変化を求め、求めた距離の時間変化に基づき、関節らしさを表す特徴量である関節特徴量の算出を行う処理部である。

つまり、特徴量算出部１０８は、任意の２つの移動軌跡間のユークリッド距離の時間変化および測地距離の時間変化に基づいて、２つの移動軌跡が同一の関節により接続された関節状動きを行う移動軌跡でありそうな度合い（後述する関節特徴量）を算出し後段に出力する。

次に、関節検出部１０５は、移動軌跡間の関節特徴量に基づいて、それぞれ異なる３つの移動軌跡の間で、それぞれ２つが同一剛体上か、同一の節を介して接続されているかを求め、求めた関係に基づいて、関節（節領域、関節領域）を検出する。

最後に、表示制御部１０６は、関節検出部１０５で処理された動画像中の関節の検出結果を出力する。具体的には、表示制御部１０６は、画像入力部１０１で受け付けた動画像に対して、例えば、関節検出部１０５で検出された関節ごとに異なる表示態様となるように、画像処理を施し、画像処理が施された動画像をディスプレイ１２０等に出力する。

本明細書において、「領域抽出」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物が何であるかの区別なくピクチャ中の領域を分割する領域分割技術との、両者を含んでいる。検出技術と領域分割技術とは共通する部分が多いため、本明細書においては両者を区別しない。

また、本明細書において、「移動体検出」とは、基準となる座標系に対して移動している物体が存在する画像領域のみを検出する検出技術と、相対的に異なる移動をしている物体ごとにピクチャ中の領域を分割する領域分割技術の両者を含んでいる。

なお、関節領域表示装置１００を構成する各構成要素（画像入力部１０１、移動軌跡算出部１０２、関節領域表示部１０３）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図２は、コンピュータによって構成された本実施の形態における関節領域表示装置のハードウェア構成を示す図である。図２において、カメラ１１０はピクチャを撮影して出力し、コンピュータ２００はピクチャを取得して関節領域抽出処理を行って、領域抽出結果を表示するピクチャを生成する。ディスプレイ１２０はコンピュータ２００で生成されたピクチャを取得して表示する。コンピュータ２００は、Ｉ／Ｆ２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ２０５およびビデオカード２０６を含む。コンピュータ２００を動作させるプログラムは、ＲＯＭ２０３またはＨＤＤ２０５にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０２によって、ＲＯＭ２０３またはＨＤＤ２０５からＲＡＭ２０４に読み出されて展開される。ＣＰＵ２０２はＲＡＭ２０４に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０１は、プログラムの実行に応じて、カメラ１１０で撮影されたピクチャを、ＲＡＭ２０４へ取り込む。ビデオカード２０６は、プログラムの実行に応じて生成されたピクチャを出力し、ディスプレイ１２０がそのピクチャを表示する。

なお、コンピュータプログラムは、半導体であるＲＯＭ２０３またはＨＤＤ２０５に限られず、例えばＣＤ−ＲＯＭに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ２０４に取り込まれてもよい。

以下、本実施の形態における関節領域表示装置１００の動作を、図３を用いて説明する。

図３は、本実施の形態における関節領域表示装置１００の動作を表すフローチャートである。

図３において、８つのステップＳ３０１〜Ｓ３０８は、それぞれ図１の各処理部１０１〜１０８に対応している。すなわち、画像入力部１０１では画像入力ステップＳ３０１、移動軌跡算出部１０２では移動軌跡算出ステップＳ３０２、関節領域表示部１０３では関節領域表示ステップＳ３０３の各動作を実行する。また、関節領域表示ステップＳ３０３は、関節特徴算出ステップＳ３０４、関節検出ステップＳ３０５、表示ステップＳ３０６の３つのステップを含む。関節特徴算出部１０４では関節特徴算出ステップＳ３０４、関節検出部１０５では関節検出ステップＳ３０５、表示制御部１０６では表示ステップＳ３０６の各動作を実行する。また、関節特徴算出ステップＳ３０４は、距離算出ステップＳ３０７、特徴量算出ステップＳ３０８の２つのステップを含む。距離算出部１０７では距離算出ステップＳ３０７、特徴量算出部１０８では特徴量算出ステップＳ３０８の各動作を実行する。

最初に、画像入力ステップＳ３０１が、画像入力部１０１により実行される。つまり、画像入力部１０１は、カメラ１１０から、動画像を構成する複数のピクチャを取得する。本実施の形態では、カメラ１１０から取得される動画像は３０フレーム／秒の動画像である。

図４は、撮影状況の一例を示す図である。また、図５（ａ）〜（ｆ）は、カメラ１１０によって、図４の撮影状況を撮影して取得した複数のピクチャの例を示す。画像入力部１０１により、１フレームからＴフレームまでのＴ枚（Ｔ＞＝２）のピクチャが入力されたものとする。本実施の形態では、ピクチャの数Ｔはあらかじめ定められており、３０フレーム（Ｔ＝３０）とする。

次に、移動軌跡算出ステップＳ３０２は、移動軌跡算出部１０２により実行される。つまり、移動軌跡算出部１０２は、画像入力部１０１から複数のピクチャを入力し、ピクチャ間の対応点を検出して、移動軌跡を生成して出力する。複数のピクチャ間の対応点を求める手法として、ここでは１フレームのピクチャ上における全ての画素（Ｉ個）を基準として、２フレームからＴフレームまでの（Ｔ−１）枚のピクチャ上の対応する画素を求める。

以下、本実施の形態では、画素単位の処理について説明するが、複数の画素からなるブロック単位で処理をする場合には、（ｉ）ブロック内で画素値を合計したり、（ｉｉ）ブロック内の画素値の平均値を求めたり、（ｉｉｉ）ブロック内の画素値の中央値を求めたりすることで、ブロックに対応するデータ（代表値）を求め、得られた代表値を用いて画素単位の処理と同様に処理すればよい。

例えば、ステップＳ３０１にてＴ枚のピクチャが入力されたと仮定すると、移動軌跡算出部１０２は、時刻ｔと時刻ｔ＋１に入力された２枚のピクチャを用いて、画素ｉの動きベクトル（ｕ_ｔ ^ｉ，ｖ_ｔ ^ｉ）を推定する。ここでは、必ずしもフレームが連続している必要はなく、例えば、時刻ｔと時刻ｔ＋ｎに入力された２枚のピクチャを用いて画素の動きを求めてもよい。ただし、ｎは１以上の整数である。

上記した複数のピクチャ間の対応点を算出する具体的な手法としては、非特許文献１または非特許文献２などに開示されている方法を用いてもよい。ともに、オプティカルフローを計算することにより動きベクトルを算出する手法であり、非特許文献１は階層的なブロックマッチングをベースに、オプティカルフローを算出する。画素間の滑らかさを拘束条件とするため、隣り合うオプティカルフロー間で動きベクトルが滑らかに変化するようなオプティカルフローを得る。特に急峻な動きや遮蔽がない場合に効率的かつ正確な対応点が求められる。また、推定の信頼度を計算できるため、後述するように、信頼度がある閾値より低い対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な関節領域の推定を行えるという効果がある。

これに対して、非特許文献２はグラフカットベースのオプティカルフロー算出手法であり、計算コストは高いが、正確な対応点がピクチャ上で密に求まる。また、この手法によると、オクルージョンの領域も推定できるため、後述するようにオクルージョン領域に位置する対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な関節領域の推定を行えるという効果がある。さらなる詳細は各文献に記載されているため、その詳細な説明は省略する。

Ｐ．Ａｎａｎｄａｎ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．２８３−３１０，１９８９ Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ ａｎｄ Ｒａｍｉｎ Ｚａｂｉｈ， "Ｃｏｍｐｕｔｉｎｇ Ｖｉｓｕａｌ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｗｉｔｈ Ｏｃｃｌｕｓｉｏｎｓ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１

さらに、移動軌跡算出部１０２は、画素の動きとして、前記動きベクトルの代わりにアフィンパラメータを推定してもよい。この時、すべての画素について動き情報を求めてもよい。また、より高速に処理を行いたい場合には、ピクチャをグリッドに区切って一定間隔のグリッド上の画素についてのみ動き情報を求めてもよいし、上述したように、ピクチャをブロックに区切ってブロックごとに動き情報を求めてもよい。

さらに、非特許文献１の開示技術を用いて動きベクトルを算出する場合は、前述したようにその信頼度を計算することができるため信頼度の高い動き情報を持つ画素のみを用いてもよい。また、非特許文献２の開示技術を用いて動きベクトルを算出する場合は、前述したようにオクルージョンを推定することができる。そのため、遮蔽（しゃへい）されていない画素の動き情報のみを用いてもよい。

さらに、画素の動きを算出する手法として、前記したブロックの並進移動を仮定して動きベクトルを算出する方法の代わりに、ブロックのアフィン変形を仮定して動きベクトルを算出する方法を用いてもよい。アフィン変形を仮定して動きベクトルを算出する方法は、非特許文献３の開示技術を用いて実現することができる。

Ｊｉａｎｂｏ Ｓｈｉ ａｎｄ Ｃａｒｌｏ Ｔｏｍａｓｉ "Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ"， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ５９３−６００，１９９４

上記手法では、時刻ｔと時刻ｔ＋１に入力されたピクチャの画素ｉ近傍の動きに相当するアフィンパラメータＡ_ｔ ^ｉを推定する。画素ｉについて、時刻ｔと時刻ｔ＋１におけるピクチャ上での画素位置ｘ_ｔ ^ｉとｘ_ｔ＋１ ^ｉは式１に示す関係がある。

上記手法では、特に回転運動をする物体に対して、並進移動を仮定して動きベクトルを算出する手法を用いる場合よりも、高精度に画素ｉの動きを推定することができる。

そして、移動軌跡算出部１０２は、時間的に異なるＴ枚のピクチャ間で算出された前記画素の対応点から移動軌跡ｉを算出する。以下、画素ｉの移動軌跡を、移動軌跡ｉと呼ぶこととする。図６Ａに示すように、移動軌跡算出部１０２は、時刻ｔにおける入力ピクチャ６０１の画素ｉ６０３ａ、画素ｋ６０３ｂに基づきステップＳ３０２において算出された動きベクトル情報６０２を用いて、画素ｉ６０３ａ、画素ｋ６０３ｂの動きを追跡し、画素ｉ６０３ａ、画素ｋ６０３ｂの対応点を求める。この時、移動軌跡算出部１０２は、１フレームのピクチャ上のある画素ｉの座標値（ｘ_１ ^ｉ，ｙ_１ ^ｉ）と、時刻ｔにおける画素ｉの対応点の画素座標値（ｘ_ｔ ^ｉ，ｙ_ｔ ^ｉ）とから、式２のように移動軌跡ｘ^ｉを算出する。

本実施の形態において、移動軌跡ｘ^ｉは、１フレームからＴフレームまでのＴ枚のピクチャ間にわたる対応点であるものとする。

図６Ｂは、移動軌跡の例を示す。移動軌跡算出部１０２に入力された動画像は、Ｔ枚のピクチャ６０４で構成されている。このとき移動軌跡ｘ^ｉ６０６ａ、ｘ^ｋ６０６ｂは、１フレームのある画素ｉ６０５ａ、画素ｋ６０５ｂにそれぞれ対応する、２フレームからＴフレームのピクチャ上の対応点の集まりである。移動軌跡ｘ^ｉ６０６ａ、ｘ^ｋ６０６ｂは、各ピクチャのピクチャ座標値を要素とするベクトルで表される。

なお、移動軌跡算出部１０２においてピクチャ間の対応点を求める際、ピクチャの全ての画素ごとに対応点を求める代わりに、ピクチャ内の隣接する複数の画素（ブロック）ごとに対応点を求めるものとしてもよい。本明細書において、ある対応点が１画素ごとに求められたものか、または複数の画素に対して１つの対応点が求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。

次に、関節特徴算出ステップＳ３０４は、関節特徴算出部１０４によって実行される。関節特徴算出部１０４は、図１の構成図に示すとおり、距離算出部１０７と特徴量算出部１０８とを含み、距離算出ステップＳ３０７は、距離算出部１０７によって、特徴量算出ステップＳ３０８は、特徴量算出部１０８によって実行される。つまり、関節特徴算出部１０４は、移動軌跡算出部１０２が算出した複数の移動軌跡ｘ^ｉを用いて、距離算出部１０７で移動軌跡間の類似性を表す距離を算出し、続いて特徴量算出部で、移動軌跡間の関節らしさを表す関節特徴量を算出する。

以下、関節特徴算出部１０４について、まず距離算出部１０７において移動軌跡間の類似度を表す距離を算出する方法について、続いて、特徴量算出部１０８において移動軌跡間の「関節らしさ」（各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合い）を表す関節特徴量を算出する方法について説明する。

距離算出部１０７は、画素ｉの移動軌跡と画素ｊの移動軌跡との間のユークリッド距離ｆ（ｉ，ｊ）および測地距離ｇ（ｉ，ｊ）を段階的に算出する。ここで、ユークリッド距離、測地距離はともに、移動軌跡の類似性を表す距離であるため、全く等しい移動軌跡間ではどちらも０となり、逆に移動軌跡間の類似性が低いほど、正のより大きな距離値（∞含む）をとるような距離である。

距離算出部１０７は、式３により、画素ｉの移動軌跡と画素ｊの移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）を算出する。

ここで式３によって算出されるユークリッド距離ｆ（ｉ，ｊ）は、表記の都合上、全ての移動軌跡間について定義したが、ユークリッド距離として有限な値となるのは、Ｎ個の移動軌跡ｘ^ｉの間でのみとなる。

なお、本実施の形態におけるユークリッド距離は、式３によって算出するとしたが、この式に限定するものではない。ユークリッド距離は、式３と同様に、移動軌跡間のピクチャ座標における位置、動き、加速度、回転速度などのような、幾何的な類似度を表す指標であればよく、例えば、下記の式４を用いてもよい。

式４において、ｗは重み係数であり、設計者が設定するパラメータである。上記式４の移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）は、移動軌跡間におけるピクチャ座標の距離の時間平均に、ピクチャ座標の距離の時間変動成分を加えたものである。特に移動軌跡間距離の時間変動成分は、移動軌跡の動きの類似度を示すものであり、これによって、形状変化を伴うような場合でも、より正確に移動軌跡間の類似度を捉えることができる。

以上の手順で算出した移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）の集まりを、ユークリッド距離マトリクスＦ_ｄｉｓｔとして表す。

続いて、距離算出部１０７は、移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。

以降、距離算出部１０７において、ユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する動作を詳しく説明する。

まず、距離算出部１０７は、算出したユークリッド距離ｆ（ｉ，ｊ）に対してあらかじめ定められた閾値Ｒを用いて、式６で示される非線形化された距離ｆ´（ｉ，ｊ）を算出する。

次に、距離算出部１０７は、非線形化された距離ｆ´（ｉ，ｊ）から、測地距離を算出する。「測地距離」とは、ある空間に定義された複数のデータ点について、それらのデータ点間の接続、および接続されたデータ点間の距離が得られているときに、ある２つのデータ点間を結び得る全ての経路の距離のうちの最短の距離である。

したがって、距離算出部１０７は、第ｉの移動軌跡ｘ^ｉから第ｊの移動軌跡ｘ^ｊまでの測地距離の算出においては、他の複数の移動軌跡のいずれかを中継点として第ｉの移動軌跡ｘ^ｉから第ｊの移動軌跡ｘ^ｊに辿りつく全ての経路のうちの最短の経路を、測地距離として算出する。

例えば、移動軌跡ｘ^ｉと移動軌跡ｘ^ｊの２点間を直接結ぶノードの距離ｆ´（ｉ，ｊ）が得られているとする。このとき移動軌跡ｘ^ｉと移動軌跡ｘ^ｊの２点間を結ぶ経路は、２点を直接結ぶノード以外に、別の移動軌跡ｘ^ｓを中継する経路もある。この経路の距離をｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）とする。このような移動軌跡ｘ^ｉと移動軌跡ｘ^ｊの２点間を結ぶ経路は複数あり、それらの距離のうちで最も短い距離を測地距離ｇ（ｉ，ｊ）として算出する（式７）。

式７において、ｍｉｎ（ｘ，ｙ，…）は、値ｘと値ｙなどのうち最も小さい値を返す関数である。また、ｓは、移動軌跡ｘ^ｓであり、移動軌跡ｘ^ｉから移動軌跡ｘ^ｊに辿（たど）りつくための中継点である。ここで、ｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）における中継点ｓは１点に限るものではない。

上述した測地距離の算出における２点間の最短経路を探索する手法の詳細は、例えば非特許文献４のダイクストラ法が広く知られているため、ここでは処理手順の詳細説明を省略する。

Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，"Ａ ｎｏｔｅ ｏｎ ｔｗｏ ｐｒｏｂｌｅｍｓ ｉｎ ｃｏｎｎｅｘｉｏｎ ｗｉｔｈ ｇｒａｐｈｓ"，Ｎｕｍｅｒｉｓｃｈｅ Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９−２７１，１９５９

上記した手順により、距離算出部１０７は、長時間継続する移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。なお、測地距離の計算方法は、前記式６および式７に限定されるものではない。

なお、ユークリッド距離と測地距離の最も異なる点は、距離を求める２データ点と、他のデータ点との間の関係である。他のデータ点の状態に左右されることなく、２つのデータ点のみから定義されるのがユークリッド距離であり、それに対して、２つのデータ点、および２つのデータ点間を結び得る経路上にある他のデータ点を含む距離として定義される、すなわち他のデータ点の状態から影響を受ける可能性があるのが測地距離である。

算出した移動軌跡間の測地距離ｇ（ｉ，ｊ）の集まりを、測地距離マトリクスＧ_ｄｉｓｔとして表す（式８）。

以上の手順によって、距離算出部１０７は、Ｎ個の移動軌跡間の類似度を表す測地距離ｇ（ｉ，ｊ）を算出し、測地距離マトリクスＧ_ｄｉｓｔとして出力する。

上記した複数の移動軌跡間のユークリッド距離から測地距離を算出する処理について、図７Ａ〜図７Ｃの概念図を用いて説明する。

図７Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。なお移動軌跡は、背景領域においても算出されるが、表記を容易にするため、ここでは背景領域の移動軌跡を図示しないものとする。

図７Ｂは、各々が式２で示される複数の移動軌跡のデータの分布を示した図である。図７Ｂ中の「×」印の各データ点は、式２で示した画素ｉの移動軌跡ｘ^ｉに相当する。移動軌跡ｘ^ｉは独立したＴ×２個の変数からなるベクトルである。したがって、移動軌跡は、本来は最大で（Ｔ×２）次元空間のデータであるが、図７Ｂでは表記の都合上、３次元空間の点として表している。

図７Ｂ中の矢印７０１は、式３で得られる移動軌跡ｘ^ｉと移動軌跡ｘ^ｊとの間のユークリッド距離ｆ（ｉ，ｊ）を表す。すなわちデータ点ｉとデータ点ｊとのユークリッド距離７０１は、データ間を直接結んだ距離になる。

一方、図７Ｃ中の矢印７０２は、式７で得られる移動軌跡ｘ^ｉと移動軌跡ｘ^ｊとの間の測地距離ｇ（ｉ，ｊ）を表す。図７Ｃに示すように、データ点ｉとデータ点ｊとの測地距離７０２は、中継のデータ点ｓを辿った距離となる。

次に、ユークリッド距離ｆ（ｉ，ｊ）と、式７により算出した測地距離ｇ（ｉ，ｊ）の特徴を、図８（ａ）および図８（ｂ）の概念図を用いてより詳しく説明する。

ピクチャ内の移動体について、頭部の移動軌跡ｘ^ｉと手先部の移動軌跡ｘ^ｊとのユークリッド距離を、図８（ａ）中の矢印８０１で示す。同図から明らかであるように、移動軌跡間のユークリッド距離８０１は、距離を求める対象である２つの移動軌跡ｘ^ｉ、ｘ^ｊにのみ依存し、他の移動軌跡とは無関係な距離となる。

一方、頭部の移動軌跡ｘ^ｉと手先部の移動軌跡ｘ^ｊとの測地距離８０２を、図８（ｂ）に示す。この場合、距離を求める対象である２つの移動軌跡ｘ^ｉ、ｘ^ｊだけでなく、太矢印８０２で示すように、ｘ^ｓをはじめとする近傍の複数の移動軌跡を経由して移動軌跡ｘ^ｊにたどり着く。したがって、測地距離８０２は、経由した複数の移動軌跡間の距離の和となるため、移動軌跡ｘ^ｉ、ｘ^ｊ以外の移動軌跡の影響を受ける。

言い換えると図８（ａ）のユークリッド距離８０１は、他の移動軌跡の分布をまったく反映していない。このため、人物のように関節で繋がった移動体において、移動軌跡間の距離は、その形状には依存しない値をとる。これに対して、図８（ｂ）に示される測地距離８０２では、他の移動軌跡を反映した距離となっている。したがって関節で繋がった移動体において、移動軌跡間の距離は、移動体の形状に依存する値をとる。すなわち関節における繋がりが情報として距離に含まれるため、人のような形状が変化する移動体検出にも利用できる。

前述したように、式２で示される移動軌跡ｘ^ｉは、数学的には最大で（Ｔ×２）次元空間のデータである。しかし、実際にピクチャから求められる移動軌跡は、図７Ｂおよび図７Ｃのように（Ｔ×２）次元空間のごく一部に局在化する性質をもつことが、発明者の実験によっても確認されている。このような性質をもつ移動軌跡に対して、複数の移動軌跡間の類似度を表す距離の尺度としては、データの分布とは無関係に２データ間の距離のみを求めたものであるユークリッド距離（図８（ａ）のユークリッド距離８０１）よりも、近傍のデータの粗密を反映した測地距離（図８（ｂ）の測地距離８０２）の方が、適していると言える。

なお、距離算出部１０７において、ユークリッド距離から測地距離を求める手法として、式６および式７を用いる手法を示したが、測地距離の算出方法をこれに限定するものではない。

なお、式６の閾値Ｒは経験的に決める。あるいは、閾値Ｒの代わりに、経験的にあらかじめ定めた閾値Ｎを用いてもよい。そして、ユークリッド距離ｆ（ｉ，ｊ）から非線形化した距離ｆ´（ｉ，ｊ）を求める処理として、以下の処理を行ってもよい。つまり、閾値Ｒ以上のユークリッド距離ｆ（ｉ，ｊ）を無限大に置き換える式６の処理の代わりに、ある移動軌跡ｘ^ｉと他の（Ｉ−１）個の移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）のうちで、小さいほうからＮ番目のユークリッド距離よりも大きいユークリッド距離を無限大で置き換えることによって、非線形化した距離ｆ´（ｉ，ｊ）を算出してもよい。

次に、特徴量算出ステップＳ３０８は、特徴量算出部１０８によって実行される。

特徴量算出部１０８は、まず距離算出部１０７で算出された測地距離、ユークリッド距離を元に、移動軌跡間でのユークリッド距離の時間変化、および測地距離の時間変化をそれぞれ算出する。続いて、算出したユークリッド距離の時間変化、および測地距離の時間変化に基づいて、関節らしさを表す関節特徴量を算出する。

はじめに、関節状動きを有する剛体領域上に存在する移動軌跡間距離が特徴的に有する性質について述べ、そのあと、特徴量算出部１０８で実行される処理について説明する。

ここで、第１の移動軌跡と、別の第２の移動軌跡との間で求められる距離を、移動軌跡間距離と定義する。ここで、「距離」とはユークリッド距離、測地距離をともに含む概念であるとする。

図９は、様々な剛体の動きに伴う、移動軌跡ｘ_ｉ、ｘ_ｊ間の測地距離ｇ（ｘ_ｉ，ｘ_ｊ）、およびユークリッド距離ｆ（ｘ_ｉ，ｘ_ｊ）の時間変化について示した図である。図９（ａ）（ｂ）は、関節状動きに伴う移動軌跡間距離の時間変化を、図９（ｃ）〜（ｆ）は、関節状動きではない動きに伴う移動軌跡間距離の時間変化を示している。

なお、図９では、説明のために、点群（移動軌跡の集まり）について、二つの区別された領域上に示しているが、実際はクラスタリングなどを一切行っておらず、これらの点群がどの領域に属するかといった前処理としての区別は、特徴量算出部１０８でも、特徴量算出部１０８より前の処理部でも行っていない。すなわち、実際は２点間の、ペアワイズな処理のみを行うものとする。これにより、関節で接続された移動体の領域抽出を行うことなく、関節の位置を検出することができる。

図９（ａ）および図９（ｂ）にはそれぞれ、２つの移動軌跡ｘ_ｉ、ｘ_ｊが、関節状動きを伴う剛体上にそれぞれ存在する場合の例を示す。それぞれ、移動軌跡間の測地距離およびユークリッド距離の時間変化を分かりやすく示すために、矢印で移動軌跡間距離（移動軌跡間の測地距離およびユークリッド距離）を示している。矢印は、以下の図９（ｃ）〜（ｆ）についても同様に移動軌跡間距離を示すものとする。

一方、図９（ｃ）および図９（ｄ）にはそれぞれ、２つの移動軌跡ｘ_ｉ、ｘ_ｊが、同一の剛体上にそれぞれ存在する場合の例を示す。見易さのために、２つの移動軌跡ｘ_ｉ、ｘ_ｊが存在する領域をそれぞれ異なるハッチングで示しているが、時刻ｔ＝Ｔと、時刻ｔ＝Ｔ＋δにおける領域全体の形状は変化していない。すなわち、同じハッチングで示された領域のみならず異なるハッチングで示された領域は同一の剛体に属するものであり、移動軌跡ｘ_ｉ、ｘ_ｊが、同一の剛体上で、剛体動きをしている例を示している。

さらに、図９（ｅ）および図９（ｆ）では、移動軌跡ｘ_ｉ、ｘ_ｊが同一の剛体上になく、また、関節状動きを伴う２剛体上の２点でもない、すなわち図９の（ａ）〜（ｄ）いずれの例にも属さない場合の、移動軌跡間距離の時間変化の一例を示す。すなわち移動軌跡ｘ_ｉ、ｘ_ｊが異なる移動体に属し、さらに、これらの移動軌跡ｘ_ｉ、ｘ_ｊを含む剛体領域が関節状動きを伴わない例を示している。

ここで、まず移動軌跡間の測地距離（図９（ａ）および図９（ｃ）および図９（ｅ））に着目する。

移動軌跡ｘ_ｉ、ｘ_ｊを含む剛体が図９（ａ）のように関節（節領域）を介して接続された関節状領域を構成する場合、移動軌跡ｘ_ｉ、ｘ_ｊ間の測地距離は、ほとんど変化しない。測地距離は、移動軌跡ｘ_ｉ、ｘ_ｊと異なる移動軌跡を経由して移動軌跡を「たどる」距離であるため、ある小領域を支点とする回転動きである関節状動きを有する２領域間では、支点の小領域を経由して移動軌跡を「たどる」距離である測地距離は不変となる。したがって、図９（ａ）の移動軌跡間測地距離ｇ（ｘ_ｉ、ｘ_ｊ）の時間変化はほぼ一定（ゼロに近い）となる。

移動軌跡ｘ_ｉ、ｘ_ｊが図９（ｃ）のように同一剛体上に存在する場合、移動軌跡ｘ_ｉ、ｘ_ｊ間の移動軌跡を「たどる」最短経路である測地距離は常に一定であり、明らかに移動軌跡間測地距離ｇ（ｘ_ｉ、ｘ_ｊ）の時間変化はゼロとなる。

以上の２ケースにあてはまらない場合、図９（ｅ）に示した例のように、移動軌跡間測地距離ｇ（ｘ_ｉ、ｘ_ｊ）の時間変化がゼロとならない場合がほとんどである。

以上より、移動軌跡ｘ_ｉ、ｘ_ｊを含む剛体が図９（ａ）のように関節状領域を構成する条件として、移動軌跡間測地距離ｇ（ｘ_ｉ、ｘ_ｊ）の時間変化がほぼ一定（ゼロに近い）となる必要がある。

次に、移動軌跡間のユークリッド距離（図９（ｂ）および図９（ｄ）および図９（ｆ））に着目する。

移動軌跡ｘ_ｉ、ｘ_ｊを含む剛体が図９（ｂ）のように関節（節領域）を介して接続された関節状領域を構成する場合、移動軌跡ｘ_ｉ、ｘ_ｊ間のユークリッド距離は、測地距離と異なり、時間に伴い変化する。特に、関節の動きが大きい場合や、関節状領域の節側よりは末端（節から離れる）の方で大きな変化を伴うことは、図からも容易に理解できる。

移動軌跡ｘ_ｉ、ｘ_ｊが図９（ｄ）のように同一剛体上に存在する場合、移動軌跡ｘ_ｉ、ｘ_ｊ間のユークリッド距離は、測地距離同様常に一定であり、明らかに移動軌跡間ユークリッド距離ｇ（ｘ_ｉ、ｘ_ｊ）の時間変化はゼロとなる。

以上の２ケースにあてはまらない図９（ｆ）の場合、図９（ｆ）に示した例のように、移動軌跡間ユークリッド距離ｆ（ｘ_ｉ、ｘ_ｊ）の時間変化は不定であるが、ゼロではない場合がほとんどである。

以上より、移動軌跡ｘ_ｉ、ｘ_ｊを含む剛体が図９（ｂ）のように関節を構成する条件として、移動軌跡間ユークリッド距離ｆ（ｘ_ｉ、ｘ_ｊ）の時間変化がゼロではないことが挙げられる。特に、関節の動きが大きいほど、また移動軌跡がそれぞれ関節の節から離れた位置に存在するほど、移動軌跡間ユークリッド距離ｆ（ｘ_ｉ、ｘ_ｊ）の時間変化がより大きな値をとるといえる。

したがって、２つの移動軌跡が関節を構成する剛体上にそれぞれ存在する条件として、測地距離の時間変化、およびユークリッド距離の時間変化に関する以下の２つの条件が挙げられる。すなわち、「移動軌跡間のユークリッド距離ｆの時間変化ｆ_ｔが、より大きく」、かつ「移動軌跡間の測地距離ｇの時間変化ｇ_ｔが、より小さい（ゼロに近い）」ような移動軌跡のペアは、より関節らしいペア（それぞれが関節を構成する剛体上にある移動軌跡らしいペア）と定義することができる。

本明細書において、「関節状動き」とは、それぞれが関節を構成する剛体上にある移動軌跡ペアがなす動きである。ここでは図９（ａ）のような例を典型的な関節状動きの例として説明したが、もちろん前述のような動きであれば、図９（ａ）の例に限らない。

本明細書ではある移動軌跡ペアの動きが、どれくらい「関節状動き」らしいかを「関節らしさ」と定義し、その「関節らしさ」を表す関節特徴量を関節特徴算出部１０４で算出して用いる。

ここまでに挙げた、３パターンの移動軌跡間の関係について、移動軌跡間の距離の時間変化と、移動軌跡を含む剛体がそれぞれどのような関係にあるかを、図１０Ａに示す。

すなわち、移動軌跡ｘ_ｉ、ｘ_ｊが、図９（ｃ）（ｄ）のように同一剛体上にある場合、移動軌跡間の測地距離の時間変化ｇ_ｔ、ユークリッド距離の時間変化ｆ_ｔはともに０である。このパターンを、図１０Ａ上では「同一剛体」と示す。

また、図９（ａ）（ｂ）のように、互いに関節状の動きをなす異なる剛体上に存在する場合、ユークリッド距離の時間変化ｆ_ｔが０より大きく、大きな値であるほど、また測地距離の時間変化ｇ_ｔがより０に近づくほど、より関節らしくなる。図１０Ａで「関節状動き」と示しているパターンである。

つまり、ユークリッド距離の時間変化ｆ_ｔが０より大きく、大きな値であるほど、また測地距離の時間変化ｇ_ｔがより０に近づくほど、より「関節らしさ」は高い（つまり、関節らしい）。

最後に、以上の２パターンにあてはまらない残りの場合については、「その他（非・関節状動き）」と図１０Ａに示している。

以上を踏まえ、以下で特徴量算出部１０８の処理を説明する。

まず、特徴量算出部１０８は、それぞれ、指定した処理対象のフレームセットｔ０〜Ｔにわたって対応のとれている移動軌跡について、移動軌跡間測地距離ｇの時間変化ｇ_ｔ、ユークリッド距離ｆの時間変化ｆ_ｔを算出する。具体的には、以下の式９および式１０にしたがって、測地距離ｇおよびユークリッド距離ｆを、それぞれ与えた分割単位ｄｔで微分した値の絶対値を、１連の処理を行うフレームセットｔ０〜Ｔにわたって移動軌跡ごとに加算した値として算出する。

絶対値として求める理由は、関節動きであるかどうかは距離の時間変化の大きさに依るものであり、距離が時間に伴い増加するか減少するか、すなわち微分値の向きは関与しないからである。

なお、特徴量算出部１０８における測地距離ｇの時間変化ｇ_ｔ、ユークリッド距離ｆの時間変化ｆ_ｔの求め方については、式９および式１０に限るものではない。微分に類する方法であるが、最も単純な方法としては、ある定めた時間間隔で測地距離ｇ、ユークリッド距離ｆの差分をそれぞれ求めて、その絶対値の和を用いてもよい。特に、２フレーム間での処理であれば、１フレーム目と２フレーム目にそれぞれ対応する移動軌跡間距離の差分の絶対値として求めることができる。また、絶対値の代わりに微分値を２乗した値を用いるなどしてもよい。

また、処理に利用するフレームセットが、関節動き（閉⇒開⇒閉）の半周期に満たず、ユークリッド距離ｆが単純増加しかしないことがあらかじめ分かっている場合には、式９および式１０の代わりに、以下の式１１および式１２を用いてもよい。すなわち、場合によっては絶対値を必ずここで用いる必要もない。また、逆にユークリッド距離ｆが単純減少しかしないことがあらかじめわかっている場合にも、式１１および式１２に従って絶対値を使わずにｇ_ｔ、ｆ_ｔを求めたうえで、最後に絶対値を計算してもよい。

続いて、特徴量算出部１０８は、関節らしさを表す関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）を算出する。

先に述べたように、移動軌跡のペアについて、「移動軌跡間のユークリッド距離ｆの時間変化ｆ_ｔが、より大きく」、かつ「移動軌跡間の測地距離ｇの時間変化ｇ_ｔが、より小さい（ゼロに近い）」ような移動軌跡のペアは、より関節らしいペアと定義できる。なお、関節らしいペアの典型的な例としては、それぞれが関節を構成する剛体上にある移動軌跡であって、その関節状動きが大きいようなペアが挙げられる。

そこで、以上の２条件を満たす度合いを、関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）として以降で定義する。

条件をよく近似する関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）の一つとして、以下の式１３を用いることができる。

すなわち、測地距離ｇの時間変化ｇ_ｔがより小さく、またユークリッド距離ｆの時間変化ｆ_ｔがより大きいほど、つまり２つの移動軌跡が関節らしいペアであるほど、関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）は１に近づき、逆に関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）が０に近づくほど、２つの移動軌跡の関節らしさが低い、ということを表す。なお、ここでは最大値で正規化し、関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）の値を０から１の範囲におさめているが、計算と説明を簡単にするためであり、正規化をしてある方が望ましいが、実際には必ずしも正規化しなくとも本発明の処理は行える。

本実施の形態では、より「関節らしさ」が高い（つまり、関節らしい）ほど、関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）は大きいものとする。

なお、ユークリッド距離ｆの時間変化ｆ_ｔ＝０の場合、０で除することにより関節特徴量が無限大になることを防ぐために、条件を切り分けている。

図１０Ａと比較しながら、図１０Ｂを用いて関節特徴量の式１３について説明する。

ここで、ユークリッド距離ｆの時間変化ｆ_ｔが０の場合、図９の説明でも述べたとおり、パターンとしては、図１０Ａの「同一剛体」あるいは「その他（非・関節状動き）」に相当する。すなわち、「関節状動き」にはあてはまらない。

したがって、これらのケースは外れ値として扱う。ただし、ｇ_ｔ＝０の場合、「同一剛体」であり、後段の処理で利用するので、ｊ_ｊｎｔ（ｉ，ｊ）＝−１等、ある定めた値を与えておく。ｇ_ｔ≠０の場合は、ｊ_ｊｎｔ（ｉ，ｊ）＝−１０など、「同一剛体」の場合とは異なるエラー値を与えておく。

なお、式１３よりｆ_ｔ≠０の場合、常にｊ_ｊｎｔ（ｉ，ｊ）＞０となるので、ｆ_ｔ＝０の場合にエラー値として決定するｊ_ｊｎｔ（ｉ，ｊ）の値は、−１と−１０に限らず、例えば負の値など、ｆ_ｔ＝０の場合にｊ_ｊｎｔ（ｉ，ｊ）が取りえない値であれば、何でもよい。式１３の結果得られる関節特徴量のパターンを図１０Ｂに示す。

特徴量算出部１０８は各移動軌跡について、前述のとおり算出した移動軌跡間測地距離ｇの時間変化ｇ_ｔ、ユークリッド距離ｆの時間変化ｆ_ｔに基づき、式１３にしたがって関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）を算出する。

算出した移動軌跡間の関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）の集まりを、関節特徴量マトリクスＪ_ｊｎｔとして表す（式１４）。

なお、ここで用いた関節特徴量の算出方法はあくまで一例であり、算出方法を式１３に限るものではない。図１０Ａに示したような関節らしさを表現する式やデータテーブルであればよく、そのような式やデータテーブルによっても同様の効果を得ることができる。

以上の手順によって、特徴量算出部１０８は、Ｎ個の移動軌跡間の関節らしさを表す関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）を算出し、関節特徴量マトリクスＪ_ｊｎｔとして出力する。

次に、関節検出ステップＳ３０５は、関節検出部１０５によって実行される。

関節検出部１０５は、関節特徴算出部１０４で算出された移動軌跡間の関節特徴量マトリクスＪ、に基づいて、関節を構成する剛体領域および節領域にあたる移動軌跡を検出する。

以下で関節検出部１０５の処理を詳しく説明する。

まず、図１１を参照しながら、２つの移動軌跡から関節領域の移動軌跡を検出する処理について述べる。

図１１は、ある一つの関節が画像に存在する場合の例について、関節の周辺領域をクローズアップして示した模式図である。図１１には、全ての移動軌跡の中から、説明のため代表的な移動軌跡ｘｉ、ｘｊ、ｘｋの３つのみを取り上げて表示している。実際は、もっと多くの移動軌跡が領域に存在する。

図１１の例でペアワイズな（ペアごとの）処理の対象となるのは、移動軌跡（ｘｉ、ｘｊ）、（ｘｉ、ｘｋ）、（ｘｊ、ｘｋ）の３組の移動軌跡のペアである。

ここで、図１０Ｂで説明した通り、同一剛体上の移動軌跡ペアに関しては、関節特徴量ｊ_ｊｎｔ＝−１である。したがって、この例では、
ｊ_ｊｎｔ（ｉ，ｋ）＝−１
ｊ_ｊｎｔ（ｊ，ｋ）＝−１
となる。このような移動軌跡のペアからは関節領域を求めることはできないため、ここでは処理の対象外とする。もちろん、図１０Ｂの例の場合、
ｊ_ｊｎｔ＝−１０
であって、同様に関節領域を求められない。そこで、
ｊ_ｊｎｔ≧０
の特徴量を有する移動軌跡のペアに対してのみ、関節検出部１０５では以降の処理を行う。つまり、この例では、移動軌跡（ｘｉ、ｘｊ）のペアに対してのみ処理を行う。もちろん、移動軌跡（ｘｉ、ｘｊ）は関節特徴量
ｊ_ｊｎｔ（ｉ、ｊ）≧０
を満たす。

関節は、２つの剛体がほぼ１点で接しながら、回転に似た運動を行う部位である。したがって、図１１に示すように、第１の移動軌跡ｘｉを含む剛体領域θｉ１００１に含まれる移動軌跡、および第２の移動軌跡ｘｊを含む剛体領域θｊ１００２に含まれる移動軌跡が検出できれば、それらの共通する点として、関節状領域の節領域に含まれる移動軌跡を求めることができる（移動軌跡ｘｋ）。

そこで、まず、関節検出部１０５は、移動軌跡ｘｉを含む全ての移動軌跡ペアに対して、
ｊ_ｊｎｔ（ｉ、ｉｐ）＝−１
となる移動軌跡ｘｉｐを求める。移動軌跡ｘｉｐは、移動軌跡ｘｉに対して関節特徴量が求まっている全ての移動軌跡の中から求められる。

その結果、ｘｉを含む剛体領域θｊ１００１が含む移動軌跡として、移動軌跡ｘｋが求められる。同様に関節検出部１０５は、移動軌跡ｘｊを含む全ての移動軌跡ペアに対しても、
ｊ_ｊｎｔ（ｊ、ｊｐ）＝−１
となる移動軌跡ｘｊｐを求める。移動軌跡ｘｊｐは、移動軌跡ｘｊに対して関節特徴量が求まっている全ての移動軌跡の中から求められる。その結果、ｘｊを含む剛体領域θｊ１００２に含まれる移動軌跡として、移動軌跡ｘｋが求められる。

節領域は剛体領域θｉ１００１と剛体領域θｊ１００２の積集合として式１５のように求められる。

θｉ，ｊ＝θｉ∩θｊ (式１５)

したがって、最後に、剛体領域θｉ１００１の含む移動軌跡と、剛体領域θｊ１００２に含まれる移動軌跡の共通部分、すなわち積集合を求めることで、節領域θｉ，ｊに含まれる移動軌跡を求めることができる。たとえば、図１１の例では、移動軌跡ｘｋが、移動軌跡（ｘｉ、ｘｊ）に対する節領域θｉ，ｊに含まれる移動軌跡ｘｋとして求められる。

なお、例えば、関節が一つしか画像中に存在しないことが、あらかじめ分かっている場合などには、全ての移動軌跡ペアから、最も関節特徴量ｊ_ｊｎｔ（ｉ、ｊ）が大きな値をとる移動軌跡ペアを１つ選択し、それらの移動軌跡ペアに対し前述の移動軌跡（ｘｉ、ｘｊ）に対する処理と同様の処理を行うことで、関節領域に含まれる移動軌跡を簡単に検出することができる。

ただし、一般的には関節の数は事前に分からないことが多い。したがって、前述のように２つの移動軌跡からなるペアからのみ関節を求めると、関節の検出ミスが起きる可能性がある。したがって、次に説明するとおり、関節特徴量がゼロ以上である全ての移動軌跡ペアを用いて、関節領域に含まれる移動軌跡を検出することが望ましい。

図１２Ａは、ある一つの関節が画像に存在する場合の例について、関節の周辺領域をクローズアップして示した模式図である。図１２Ａには、全ての移動軌跡の中から、説明のため代表的な移動軌跡ｘｉ、ｘｊ、ｘｋ、ｘｌ、ｘｍの５つのみを表示している。実際は、より多くの移動軌跡が画像中に存在する。

図１２Ｂの表は、各移動軌跡間の関節特徴量を示している。ここでは、簡単のため、関節特徴量の値が正か負かのみを表記してある。なお図１２Ｂに記載してある移動軌跡は、図１２Ａの移動軌跡に対応している。

まず、あらかじめ移動軌跡ｘｉ、ｘｊ、ｘｋ、ｘｌ、ｘｍに対し、それぞれを含む剛体領域を求めておく。ここで剛体領域を求めずに、後段の移動軌跡ペアごとの処理の際に求めてもよいが、何度も同じ移動軌跡に対して剛体領域を求めるよりも計算量が少なくなる場合は、あらかじめ求めておくのが望ましい。

前述の関節特徴量ｊ_ｊｎｔの説明に従うと、移動軌跡間の関係が「剛体領域」であるのは、移動軌跡ｘｉ、ｘｊ、ｘｋ、ｘｌ、ｘｍに対してそれぞれ、２移動軌跡間の関節特徴量が−１となるような移動軌跡である。そのような移動軌跡を含む領域を、図１２Ａ上で示すように、それぞれ剛体領域θｉ、θｊ、θｋ、θｌ、θｍと求めておく。なお、θｋは図１２Ａ上に図示していないが、この場合、θｉ、θｊ、θｌの和集合となる。

また、前述の関節特徴量ｊの説明にしたがうと、移動軌跡間の関係が「関節動き」であるのは、関節特徴量が正の値である移動軌跡（ｘｉ、ｘｊ）、（ｘｉ、ｘｍ）、（ｘｌ、ｘｊ）、（ｘｌ、ｘｍ）の４ペアのみである。残る６ペアはそれぞれ、関節特徴量が−１であるため、２点が「同一剛体」の関係であり、したがって図１１の説明と同様に関節抽出の処理は行わないものとする。

移動軌跡（ｘｉ、ｘｊ）、（ｘｉ、ｘｍ）、（ｘｌ、ｘｊ）、（ｘｌ、ｘｍ）の４ペアに対応する関節特徴量をそれぞれｊ_ｊｎｔ（ｉ、ｊ）、ｊ_ｊｎｔ（ｉ、ｍ）、ｊ_ｊｎｔ（ｌ、ｊ）、ｊ_ｊｎｔ（ｌ、ｍ）とすると、全て０ではない正の値である。これらはそれぞれ、移動軌跡ペアの関節らしさを表す。したがって、節領域を求める際の信頼度として、重み付けに用いることができる。

ここで、図１２Ａより、移動軌跡（ｘｉ、ｘｊ）から求めた節領域は、移動軌跡ｘｋを含むことがわかる。つまり、移動軌跡ｘｋおよびｘｉは同一剛体上の移動軌跡であり、移動軌跡ｘｋおよびｘｊは同一剛体上の移動軌跡である。

また、移動軌跡（ｘｌ、ｘｊ）から求めた節領域も、移動軌跡ｘｋを含むことがわかる。つまり、移動軌跡ｘｋおよびｘｌは同一剛体上の移動軌跡であり、移動軌跡ｘｋおよびｘｊは同一剛体上の移動軌跡である。

一方、移動軌跡（ｘｉ、ｘｍ）から求めた節領域、および移動軌跡（ｘｌ、ｘｍ）から求めた節領域は、移動軌跡ｘｋを含まない。

したがって、移動軌跡ｘｋの節らしさは、移動軌跡（ｘｉ、ｘｊ）のペアおよび移動軌跡（ｘｌ、ｘｊ）のペアによって定められ、移動軌跡（ｘｉ、ｘｍ）のペアおよび移動軌跡（ｘｌ、ｘｍ）のペアによっては定められない。

ここで、移動軌跡ｘｋが節領域に含まれる可能性を移動軌跡ｘｋの節らしさと呼ぶと、移動軌跡ｘｋの節らしさは、移動軌跡（ｘｉ、ｘｊ）のペア、および移動軌跡（ｘｌ、ｘｊ）のペアそれぞれの関節らしさに依存するといえる。

たとえば、剛体領域θｉおよびθｌのそれぞれと、剛体領域θｊとの間の関係が、オクルージョンなどによってもたらされた非関節的な動きである可能性もある。その場合、各剛体領域がオーバーラップした領域、あるいは接した領域に含まれる移動軌跡として移動軌跡ｘｋは求まるが、各剛体間の関節動きに起因するものではないため、この場合は移動軌跡ｘｋは節領域の移動軌跡ではない。つまり、移動軌跡ｘｋは節らしくない。

そこで、関節特徴量が正の値である移動軌跡ペアによって規定される各剛体間で、オーバーラップした領域を節候補領域とよび、移動軌跡ｘｋの節らしさを判定する基準として、移動軌跡ｘｋを節候補領域に含む移動軌跡ペア間の関節特徴量の平均を用いることとする。移動軌跡ｘｋの節らしさを示す節らしさ特徴量をＸ_{ｊｎｔ（ｋ）}とおき、移動軌跡ｘｋを節候補領域に含む移動軌跡ペアの数をＮ_{ｊｎｔ（ｋ）}とおくと、移動軌跡ｘｋの節らしさ特徴量Ｘ_{ｊｎｔ（ｋ）}は以下の式１６等を用いて算出できる。

Ｘ_{ｊｎｔ（ｋ）}＝（ｊ_ｊｎｔ（ｉ，ｊ）＋ｊ_ｊｎｔ（ｌ，ｊ））／Ｎ_{ｊｎｔ（ｋ）}
（式１６）

なお、図１２Ａのケースでは、Ｎ_{ｊｎｔ（ｋ）}＝２である。

なお、以上の処理は、必ずしも全ての移動軌跡ペアに対して行う必要はなく、例えば、あらかじめ定めた閾値ＴＨ＿Ｊより大きい関節特徴量ｊ_ｊｎｔを有する移動軌跡ペアのみに対して行っても同様の結果が得られる。

なお、関節特徴量は以下の式１７のように求め、同様の処理を行うことも可能である。

すなわち、測地距離ｇの時間変化ｇ_ｔがより小さく、またユークリッド距離ｆの時間変化ｆ_ｔがより大きいほど、つまり２つの移動軌跡が関節らしいペアであるほど、関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）は０に近づき、逆に関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）が０から遠ざかるほど、２つの移動軌跡の関節らしさは低い、ということを表す。なお、ここでは最大値で正規化し、関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）の値を０から１の範囲におさめているが、計算と説明を簡単にするためであり、正規化をしてある方が望ましいが、実際には必ずしも正規化しなくとも本発明の処理は行える。

また、式１７を用いる場合、式１６は以下の式１８のように変更するとよい。

Ｘ_{ｊｎｔ（ｋ）}＝（（１−ｊ_ｊｎｔ（ｉ，ｊ））＋（１−ｊ_ｊｎｔ（ｌ，ｊ）））／Ｎ_{ｊｎｔ（ｋ）} （式１８）

また、ここで関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）は連続値として算出したが、特に移動軌跡の分布が均一である等の場合には以下のようにしてもよい。測地距離の時間変化があらかじめ定めた測地距離閾値よりも小さく、かつ前記２点間距離の時間変化があらかじめ定めた２点間距離閾値よりも大きい場合に、関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）を１として算出し、前記測地距離の時間変化があらかじめ定めた測地距離閾値以上の場合、または前記２点間距離の時間変化があらかじめ定めた２点間距離閾値以下の場合に、関節特徴量ｊ_ｊｎｔ（ｉ，ｊ）を０として算出する。こうすることにより、計算がより簡易に行える。

以上より、関節検出部１０５は、式１６を用いて、各節候補領域についての移動軌跡ｘｋの節らしさ特徴量を求め、それらの値を出力する。

本実施の形態において表示制御部１０６は、画像入力部１０１で受け付けた動画像に対して、関節検出部１０５で検出された関節領域が視認できる表示態様となるように、入力ピクチャに画像処理を施して出力し、ディスプレイ１２０に表示する。

表示ステップＳ３０６は、表示制御部１０６によって実行される。つまり、表示制御部１０６は、関節検出部１０５から出力された各移動軌跡ｘｉの節らしさ特徴量Ｘ_ｊｎｔ（ｉ）に基づき、節らしさを視認可能なピクチャを生成して、ディスプレイ１２０に表示する。

移動軌跡ｘｉに対応する画像上の位置を（ｕｉ、ｖｉ）とする。移動軌跡は連続した複数のフレームにわたって取得されるので、例えば、移動軌跡の最初のフレームにおける画素位置などを用いて表示をすればよい。そして、各移動軌跡ｘｉの位置（ｕｉ、ｖｉ）の画素における色情報を（Ｒｉ、Ｇｉ、Ｂｉ）とする。色情報（Ｒｉ、Ｇｉ、Ｂｉ）の値を指定することで、画像上のどの位置にどの色を与えればよいかが決定できる。

たとえば、以下のようにすることで、節領域を画像上に表示できる。

複数の入力画像において、フレームセットの最初のフレームに対応する画像をＩｉｎ、出力画像をＩｏｕｔとする。あらかじめ、Ｉｉｎの内容をＩｏｕｔにコピーしておくとよい。

関節検出部１０５の出力である節らしさ特徴量Ｘ_ｊｎｔ（ｉ）について、まず全ての節らしさ特徴量のうちの最小値Ｘ_ｊｎｔ＿ｍｉｎと最大値Ｘ_ｊｎｔ＿ｍａｘを求める。最小値Ｘ_ｊｎｔ＿ｍｉｎが、０、最大値Ｘ_ｊｎｔ＿ｍａｘが２５５という値になるように、全てのＸ_ｊｎｔ（ｉ）を正規化する。正規化した節らしさ特徴量Ｘ_ｊｎｔ＿ｎ（ｉ）を、Ｉｏｕｔ上での色情報（Ｒｉ、Ｇｉ、Ｂｉ）へ上書きする。たとえば、（Ｒｉ、Ｇｉ、Ｂｉ）＝（Ｘ_ｊｎｔ＿ｎ（ｉ）、０、０）という値を上書きすれば、節らしい移動軌跡が対応する画素上に、赤のグラデーションで、節らしさを表すことができる。もちろん、ＲｉのかわりにＧｉやＢｉにＸ_ｊｎｔ＿ｎ（ｉ）を代入してもよいし、（Ｒｉ、Ｇｉ、Ｂｉ）＝（Ｘ_ｊｎｔ＿ｎ（ｉ）、Ｘ_ｊｎｔ＿ｎ（ｉ）、Ｘ_ｊｎｔ＿ｎ（ｉ））とすることで、グレースケールのグラデーション表示を実現することができる。また、Ｘ_ｊｎｔ（ｉ）を正規化してＸ_ｊｎｔ＿ｎ（ｉ）を算出したが、Ｘ_ｊｎｔ＿ｎ（ｉ）は、Ｘ_ｊｎｔ（ｉ）に対して単調増加あるいは単調減少するような関数を用いて算出すればよく、同様に節らしさを表すような表示を実現可能である。

また、ある定めた一定の閾値ＴＨ_ｊｎｔ以上のＸ_ｊｎｔ（ｉ）をもつ移動軌跡ｘｉに対応する画素（ｕｉ、ｖｉ）のみを、定めた色で塗りつぶすとしても良い。これにより、節らしいかどうかをよりはっきりと視認することができる。

また、節だけでなく剛体領域の移動軌跡にも色づけ表示を行うことで、より関節状領域をわかりやすく見せることもできる。

例えば、定めた一定の閾値ＴＨ_ｊｎｔ以上のＸ_ｊｎｔ（ｉ）をもつ移動軌跡ｘｉに対応する剛体領域に含まれる移動軌跡、すなわち関節特徴量ｊ（ｉ、ｊ）＝−１となる移動軌跡ｘｊに対応する画素（ｕｊ、ｖｊ）を、あらかじめ指定した色で塗りつぶすことで、節を含む剛体領域を表示することができる。

また、節領域は表示せずに剛体領域のみを表示しても良い。

また、節領域の画素（ｕｉ、ｖｉ）と、剛体領域の画素（ｕｊ、ｖｊ）を、異なる色で塗りつぶしてもよい。これにより、節と剛体を別々に視認することができ、より関節状領域の構造を視認しやすくなる。

図１３Ａおよび図１３Ｂに、表示制御部１０６で生成したピクチャの例を示す。

関節検出部１０５で算出された関節状領域（節、あるいは剛体）の移動軌跡に対し、前述の色付けを行うと、たとえば図１３Ａ、図１３Ｂのように表示することができる。図１３Ａでは節領域の移動軌跡に対応する画素を丸印で示している。図１３Ｂでは剛体領域の移動軌跡に対応する画素領域をハッチングで表示している。このような表示形態にすることで、ピクチャ中の関節領域または剛体領域を正しく抽出し、その結果をわかりやすく表示できる。

また、共通の剛体領域に含まれる節領域同士を直線でつないで表示してもよい。これにより、ＣＧにおけるボーンのような表示を行うことができる。あるいは、そのまま画素位置と直線の位置を出力すれば、２次元ではあるが、簡易ボーンとして、２Ｄアニメ等に利用することも可能である。

なお、表示制御部１０６において、ピクチャを生成する手順として、移動軌跡のピクチャ座標位置の画素を節らしさに応じた色で描画するとしたが、ピクチャを生成する方法をこれに限定するものではない。

具体的には、移動軌跡の数とピクチャ全体の画素数とが同数であれば、上述した方法によりピクチャ中の全画素を節らしさに応じた色、または、節領域、剛体領域、関節状領域以外の領域の判定結果に応じて、それぞれを区別可能な色で描画することができる。一方、移動軌跡の数がピクチャ全体の画素数より少ない場合、どの移動軌跡のピクチャ座標位置とも一致しない画素が存在する。なお、以下では、節領域、剛体領域、関節状領域以外の領域はそれぞれ別のクラスに分類されているものとして説明する。

このような移動軌跡のピクチャ座標位置と一致しない画素については、別の方法で描画しても良い。例えば、移動軌跡のピクチャ座標位置と一致しない画素を描画する別の方法として、複数の移動軌跡のピクチャ座標位置（点）の間を、Ｄｅｌａｕｎａｙ三角メッシュ生成法にて結び、同一のクラスに属する３点に囲まれる３角形に含まれる画素を、そのクラスと同じ色で描画するとしても良い。

なお、連続して入力される動画像に対して処理を行う場合は、上述したステップＳ３０１〜Ｓ３０７の動作を、Ｔ枚のピクチャが入力されるたびに繰り返し行うとしても良い。

以上のようにして、本実施の形態における関節領域表示装置および方法によれば、ピクチャ内の移動軌跡間ユークリッド距離と移動軌跡間測地距離の時間変化に基づいて求めた関節らしさから、節領域の移動軌跡を抽出する。これによって、ピクチャ中を移動する物体の関節状領域を時間的に追跡した結果として、関節物体の姿勢によらずに、ピクチャ中の移動体の関節状領域を抽出、表示することができる。

また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域抽出の失敗がない。

なお、本実施の形態の関節領域表示装置において、距離算出部１０７が、移動軌跡算出部１０２で生成した移動軌跡から抽出する、移動軌跡のピクチャ数Ｔは、Ｔ＝３０としたが、この数値に限定するものではない。例えば、検出すべき移動体の種類や状態に応じて別の数値を用いても良い。例えば、検出する対象が歩行者と仮定できる場合、平均的な歩行周期が約１秒（３０フレーム）であることから、Ｔ＝３０フレームのピクチャにわたる移動軌跡は、人の歩行１周期に対応する。このように、検出すべき対象が周期的な変形を伴う移動体である場合、距離算出部１０７において抽出する移動軌跡のピクチャ数Ｔを、移動体の変形周期に対応するピクチャ数とすることで、移動体の変形の影響を受けにくくなり、移動体をより正しく抽出することができるという効果がある。また遮蔽などの影響により、ピクチャ数Ｔにわたる移動軌跡が算出できないピクチャ中の移動体領域が存在する場合について、移動軌跡が算出可能な最大のピクチャ数をＳ（Ｓ＜Ｔ）とすることで、移動体の領域をより詳細に検出可能になるという効果がある。

以上のようにして、本実施の形態およびその変形例に係る関節領域表示装置および方法では、移動軌跡間の測地距離の時間変化と２点間距離の時間変化とに基づいて、移動軌跡間の関節らしさを求め、関節を抽出することで、移動体の形状の変化の影響を受けることなく、正しく関節や、関節を含む移動体領域を検出および表示することができる。

また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する抽出失敗がない。したがって、膨大なパラメータのフィッティングを必要とせずに、ユークリッド距離と測地距離の時間変化に基づく単純な特徴量を利用するだけで、形状が変化しながら移動する人物等を含むピクチャに対しても正しく関節領域の抽出を行い、これによってピクチャ中の移動体の抽出、表示も正しく行えることとなる。

また、上記実施の形態における関節領域表示装置１００は、画像入力部１０１および移動軌跡算出部１０２を備えたが、本発明は、これらの構成要素を必須とするものではない。つまり、動画像を構成する複数のブロックのそれぞれにおけるピクチャの移動軌跡が予め算出されている場合には、関節領域表示装置１００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、ステップＳ２０３〜Ｓ２０８の処理を実行してもよい。

また、本発明は、関節領域表示装置として実現されたが、関節領域表示部１０３の機能を持つものであれば、動画像において関節状領域や節領域を抽出、または、分割する画像処理装置として実現することができるのは言うまでもない。

なお、本実施の形態では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。

（実施の形態２）
上記した実施の形態１およびその変形例での関節領域表示装置は、節らしさ特徴量の算出手順において、式１６を用いて、複数の移動軌跡ペアから各移動軌跡の節らしさ特徴量を算出している。この際、図１２Ａおよび図１２Ｂの例では、移動軌跡ｘｋの節らしさ特徴量を求めるために利用する移動軌跡ペアを、事前に全ての移動軌跡ペアから選択したうえで利用している。

具体的には、すべての移動軌跡ペアに対して、まず、各移動軌跡ペアの関節らしさを求め、閾値以上の値の関節らしさをもつ移動軌跡ペアのみを残す。さらに、残った移動軌跡ペアのうち、各移動軌跡ペアを構成する２つの移動軌跡をそれぞれ含む２つの剛体領域を求める。この場合に、剛体領域間で共通する移動軌跡として移動軌跡ｘｋを含むような、移動軌跡ペアのみを残している。すなわち、移動軌跡ペア間の関節らしさ、および、移動軌跡ペアを構成する各移動軌跡と移動軌跡ｘｋ間の同一剛体らしさを、それぞれ順番に２値化することで、移動軌跡ｘｋの節らしさ特徴量を算出するために用いる移動軌跡ペアを、最終的に選択しているといえる。

しかし、移動軌跡の節らしさ特徴量の算出方法としては、このような２値化は必ずしも必要ではない。２値化によって計算を簡略化し高速に処理できるという利点がある。しかし、移動軌跡ペアの関節らしさと、移動軌跡ペアを構成する各移動軌跡と移動軌跡ｘｋ間における同一剛体らしさを、２値ではなく多値のまま用いることで、より移動軌跡ｘｋの節らしさを細かく表現することができる。つまり、より正確に移動軌跡ｘｋの節らしさを求めることができる。

本実施の形態における関節領域表示装置の構成を図１４に示す。関節領域表示装置１００Ｂは、実施の形態１の関節領域表示装置１００の関節検出部１０５の代わりに、別の計算を行う関節検出部１４０１を、特徴量算出部１０８の代わりに、別の計算を行う特徴量算出部１４０２を備えている。

本実施の形態における特徴量算出部１４０２は、移動軌跡ペア間の関節らしさを表す関節特徴量ｊ_ｒ、および、前記移動軌跡ペア間の関節特徴量ｊ_ｒから求めることのできる前記移動軌跡ペア間の同一剛体らしさを表す同一剛体特徴量ｒ_ｒを求め、関節検出部１４０１は、移動軌跡ペア間の関節特徴量ｊ_ｒおよび、前記移動軌跡ペア間の関節特徴量ｊ_ｒから求めることのできる同一剛体特徴量ｒ_ｒを利用して、各移動軌跡の節らしさ特徴量Ｘ_ｊｎｔを算出する。

すなわち、関節検出部１４０１は、特徴量算出部１４０２で算出された移動軌跡ペアの関節特徴量、および同一剛体特徴量を、全ての移動軌跡ペアより用いるため、一つ一つの特徴量に誤差がのっている場合でも、全体として正しく移動軌跡の節らしさ特徴量を算出できる。

以下、図１５を参照しながら関節検出部１４０１、および特徴量算出部１４０２の動作について説明する。

まずは、特徴量算出部１４０２で移動軌跡ペア間の関節特徴量を算出する手順について述べる。

図１５に、移動軌跡ペア間の関節関係（剛体／関節／その他）と、ｆ_ｔおよびｇ_ｔの関係を示す。ここで、ｇ_ｔ＞ｆ_ｔとなる移動軌跡ペアについては、同一剛体上の２点でも、関節動きをする２点でもない場合が経験上ほとんどであるため、予めアウトライアとしておいて問題ない。実際には、ある程度のマージンを定めた上で、アウトライアの条件を設定する。詳細は後述する。

なお、図１５では、「２移動軌跡が同一剛体上」という条件について、ｇ_ｔ＝ｆ_ｔ＝０のみならず、ｇ_ｔ＝ｆ_ｔという条件（ｇ_ｔおよびｆ_ｔが直線Ｌｆｇに存在するという条件）にまで値域を拡張している。実施の形態１では、ｇ_ｔ、ｆ_ｔどちらも０である場合のみ同一剛体上の２点としたが、ある剛体が拡大縮小した場合や、対応点に微小な誤差が乗った場合、ｆ_ｔは必ずしも０にはならない。ただし、この場合も同一剛体上の２点間の測地距離を算出する経路（移動軌跡を「たどる」距離を算出するために「たどる」経路）は、時間不変である。したがって、ユークリッド距離ｆの変動に合わせて測地距離ｇも変化するため、距離の時間変化についてもｆ_ｔ＝ｇ_ｔといえる。

以上により、実施の形態１より広義の剛体関係を表す条件としてここではｆ_ｔ＝ｇ_ｔ（ｇ_ｔおよびｆ_ｔが直線Ｌｆｇに存在するという条件）を適用する。

本実施の形態では、節らしさ特徴量の算出に、連続した関節特徴量の値を利用するため、２つの移動軌跡が同一剛体らしいほど大きな値をとる同一剛体特徴量ｒ_ｒを定義し、測地距離の時間変化ｇ_ｔ、ユークリッド距離の時間変化ｆ_ｔより算出する。２つの移動軌跡が同一剛体らしいとは、２つの移動軌跡に対応する領域が同一剛体に含まれる程度が高いことを言う。

同一剛体特徴量ｒ_ｒは、ｆ_ｔ−ｇ_ｔグラフ上に移動軌跡ペアのｆ_ｔ、ｇ_ｔをプロットした際の、ｆ_ｔ＝ｇ_ｔ（直線Ｌｆｇ）からの距離ｄｌ_ｉ，ｊに基づいて求められる。まず、ｆ_ｔ＝ｇ_ｔ（直線Ｌｆｇ）からの距離ｄｌ_ｉ，ｊについては以下の式１９で求めることができる。

なお、直線Ｌｆｇからの距離ｄｌ_ｉ，ｊの算出方法については式１９に限るものではない。発明者らの実験では、よりｆｔが大きいほど関節らしい、すなわち同一剛体らしくない、という結果が得られているため、式１９に対しｆｔの影響を付与した式を用いてもよい。例えば式２０を用いてもよい。もちろん、同様の効果が得られるのであれば、直線Ｌｆｇからの距離ｄｌ_ｉ，ｊの算出方法については式２０に限るものではない。

同一剛体上の移動軌跡ペアに関して、理想的にはｄｌ_ｉ，ｊ＝０となるはずであるが、実際には、計算誤差等の影響により、直線Ｌｆｇからずれ、ｄｌ_ｉ，ｊ＝０とならないことがある。そこでマージンとして閾値Ｔｈ１、Ｔｈ２を設定し、以下の式で同一剛体特徴量ｒ_ｒを算出する。ｒ_ｒは０から１までの値をとり、１に近くなるほど、移動軌跡ペアが同一剛体上の移動軌跡らしいことを表す。エラー値として、ｒ_ｒは−１をとる。なお、例えば、閾値Ｔｈ１には０．１を、閾値Ｔｈ２には０．０１を用いることができる。ただし、ｇ_ｔ、ｆ_ｔ算出時に、すべての距離を指定値６４を用いて正規化した場合の例である。

また、移動軌跡ペアの関節特徴量ｊ_ｒは、同一剛体特徴量ｒ_ｒから、以下の式２２で求める。関節特徴量ｊ_ｒは１に近いほど、移動軌跡ペアが“関節らしい”ことを表し、関節特徴量ｊ_ｒがゼロに近いほど、同一剛体上の２移動軌跡らしいことを表す。

同一剛体特徴量ｒ_ｒは０から１までの値のため、関節特徴量ｊ_ｒも０から１までの値をとる。ｊ_ｒは１に近くなるほど、移動軌跡ペアの関節動きが大きいことを表す。なお、エラー値として、ｊ_ｒは−１をとる。

なお、以下では、同一剛体特徴量ｒ_ｒ、関節特徴量ｊ_ｒの両方を説明のため用いているが、先に述べたとおりこれら２つの特徴量は、互いに依存関係にある変数であるため、実際の処理においては両方を別々のものとして明に定義して用いる必要はなく、どちらかのみに基づいて計算を行えば十分である。

なお、同一剛体特徴量ｒ_ｒ、及び関節特徴量ｊ_ｒの算出方法については式２１、式２２に限るものではなく、同一剛体特徴量ｒ_ｒについてはより直線Ｌｆｇに近いほど値が１に近く、離れるほど値が０に近くなるような関数を、また関節特徴量ｊ_ｒについてはより直線Ｌｆｇに近いほど値が０に近く、離れるほど値が１に近くなるような関数を用いればよい。

例えば同一剛体特徴量ｒ_ｒについて、以下の式２３、あるいは式２４によって算出してもよい。適切にパラメータσ、ｐａｒａｍを設定することで、Ｔｈ１，Ｔｈ２を用いずともアウトライアの影響を低減することができる。

また、例えば関節特徴量ｊ_ｒについては、以下の式２５、あるいは式２６によって算出してもよい。このさい、必ずしも式２２の形式を満たす必要はなく、式２３、式２４、式２５、式２６、を自由に選択可能である。

適切にパラメータσ、ｐａｒａｍを設定することで、Ｔｈ１，Ｔｈ２を用いずともアウトライアの影響を低減することができる。ただしｍａｘ＿ｄｌ_ｉ，ｊはｄｌ_ｉ，ｊ＞０を満たすｄｌ_ｉ，ｊの最大値である。

以上により、特徴量算出部１４０２において、関節特徴量が算出された。

続いて、関節検出部１４０１の処理について述べる。関節検出部１４０１は、特徴量算出部１４０２で算出された各移動軌跡ペアの関節特徴量に基づいて、移動軌跡の節らしさ特徴量を算出する。

ここで、図１６に、節の移動軌跡Ａ、剛体上の移動軌跡Ｂ、Ｃ、Ｄ、およびアウトライアの移動軌跡Ｅを示す。図１６（ａ）に、ある３移動軌跡間の３つの移動軌跡ペア（ＡＢ，ＢＣ，ＡＣ）を選択した場合の例を示す。図１６（ａ）に示すように、移動軌跡ペアＡＢは関節特徴量ｊ_ｒ（ＡＢ）が小さく、すなわち同一剛体特徴量ｒ_ｒ（ＡＢ）が大きい。移動軌跡ペアＡＣも同様に関節特徴量ｊ_ｒ（ＡＣ）が小さく、同一剛体特徴量ｒ_ｒ（ＡＣ）が大きい。このような場合、移動軌跡Ａは、移動軌跡Ｂとも、移動軌跡Ｃとも、それぞれ同一剛体らしい、といえる。ここで、移動軌跡Ａが節であるためには、移動軌跡Ｂ、Ｃは異なる剛体に属する必要がある。したがって、図１６（ａ）に示すように、移動軌跡ペアＢＣについては、関節特徴量ｊ_ｒ（ＢＣ）が大きく、同一剛体特徴量ｒ_ｒ（ＢＣ）は小さいということになる。

先に述べた例と同様に、ある３移動軌跡間の３つの移動軌跡ペア（ＡＢ，ＢＤ，ＡＤ）を選択した場合の例を図１６（ｂ）に示す。図１６（ｂ）に示すように、移動軌跡ペアＡＢは関節特徴量ｊ_ｒ（ＡＢ）が小さく、すなわち同一剛体特徴量ｒ_ｒ（ＡＢ）が大きい。移動軌跡ペアＡＤも同様に関節特徴量ｊ_ｒ（ＡＤ）が小さく、同一剛体特徴量ｒ_ｒ（ＡＤ）が大きい。さらに、移動軌跡ペアＢＤも同様に関節特徴量ｊ_ｒ（ＢＤ）が小さく、同一剛体特徴量ｒ_ｒ（ＢＤ）が大きい。このような場合には、３つの移動軌跡Ａ、Ｂ、Ｄが全て同一剛体らしい、という情報が得られる。しかし、どの移動軌跡が節らしいのか、そもそも節らしい移動軌跡があるかどうかの情報すら得られない。

さらに、ある３移動軌跡間の３つの移動軌跡ペア（ＡＢ、ＢＥ、ＡＥ）を選択した場合の例を図１６（ｃ）に示す。ここで、Ｅはアウトライアの移動軌跡である。

図１６（ｃ）のようにアウトライアとの移動軌跡ペアＡＥ、ＢＥに関しては、関節特徴量ｊ_ｒ、同一剛体特徴量ｒ_ｒ、のどちらも−１の値になっているはずである。この場合も、移動軌跡ＡとＢのどちらが節なのか、そもそも節らしい移動軌跡があるかどうかの情報は得られない。

したがって、図１６（ａ）の関係を満たす移動軌跡ペアから節らしさ特徴量を求められるようにすればよい。逆に、図１６（ｂ）、（ｃ）の場合は、どの移動軌跡が節らしいのかの情報が得られないため、計算に寄与しないようにしたい。そこで、以下の式で、移動軌跡Ａ以外の全ての移動軌跡ペアから、移動軌跡Ａの節らしさ特徴量Ｘ_ｊｎｔを算出する。

ここで、

より、式２７は、

となるといえる。すなわち、移動軌跡Ａの節らしさ特徴量を、図１６（ａ）のような関係を満たす３移動軌跡からの情報によって表すことができる。

逆に、節にない例えば移動軌跡Ｂについては、Ｂ以外の全ての移動軌跡ペアから以下の式２８で節らしさ特徴量Ｘ_ｊｎｔを算出できる。

ここで、

より、式２８は、

すなわち、節以外の移動軌跡に関しては、節らしさ特徴量Ｘ_ｊｎｔの値が小さく抑えられることがわかる。

以上の構成により、より移動軌跡ｘｋの節らしさを細かく表現する、すなわち、より正確に移動軌跡ｘｋの節らしさ特徴量を求めることができる。

節らしさ特徴量の値に基づき、関節の節をグラデーションで表示した例を図１７に示す。より節に近い位置の色が濃くなっていることがわかり、節の位置を容易に視認可能である。

なお、あらかじめ定めた閾値Ｔｈ１、Ｔｈ２については、例えば、被写体のサイズや動きの大きさがあらかじめ分かっている場合には、ｇ_ｔ−ｆ_ｔ値の分布が図１８のように変化することがわかっている。図１８において、ハッチングを施した箇所がｇ_ｔ値およびｆ_ｔ値の分布している領域を示している。したがって、被写体のサイズや動きの大きさに応じて、閾値Ｔｈ１、Ｔｈ２を変化させてもよい。たとえば、図１８（ｂ）のように大きな被写体、動きに対しては、図１８（ａ）の場合に用いた閾値Ｔｈ１、Ｔｈ２よりも大きな閾値Ｔｈ１、Ｔｈ２を設定してもよい。

あるいは、ユーザによる被写体選択モードを備えても良い。被写体と被写体のサイズに対して最適な閾値Ｔｈ１、Ｔｈ２を事前に定めておき、本装置使用時に、ユーザが被写体やサイズをあらかじめ指定できるようにすれば、より適切な閾値Ｔｈ１、Ｔｈ２を用いてより正しく移動軌跡の節らしさ特徴量を求めることができる。また、被写体、サイズだけでなく、関節領域のサイズをある程度規定できる撮影場所または装置の設置場所といった情報であってもよい。これにより、被写体の最大の大きさや、大まかな大きさがわかる。あるいは、タッチペンやタッチパッドなどにより、ある程度の被写体領域をユーザがあらかじめインタラクティブに指定するものとしてもよい。

なお、“同一剛体らしい”移動軌跡ペアは、“関節らしい”移動軌跡ペアよりｆ_ｔ＝ｇ_ｔという関係に近いということは先に述べたが、それだけではなく、ｆ_ｔ、ｇ_ｔの値にもある程度の差があるため、これらの情報を追加して関節検出を高精度化することも可能である。

例えば、図１８（ｃ）に示すように、閾値ＴｈＲｉｇよりもｆ_ｔ、ｇ_ｔがともに小さい移動軌跡ペアについては、同一剛体特徴量ｒ_ｒがより大きくなる重み付けを行い、閾値ＴｈＲｉｇよりもｆ_ｔ、ｇ_ｔのどちらか大きい移動軌跡ペアについては、同一剛体特徴量ｒ_ｒがより小さくなる重み付けを行うことで、より“同一剛体らしい”ものをより“同一剛体らしい”データとして扱うことができ、節らしさ特徴量の計算をより精度良く行うことができる。

なお、関節検出部１４０１は、節らしさ特徴量Ｘ_ｊｎｔをそのまま表示制御部１０６に出力するのではなく、出力前に節らしさ特徴量Ｘ_ｊｎｔの変換を行い、変換後の節らしさ特徴量を表示制御部１０６に出力するようにしてもよい。

すなわち、関節検出部１４０１は、節らしさ特徴量Ｘ_ｊｎｔの値のうち、画素座標系からなる２次元平面上で極大となる点を節として求める。たとえば、節らしさ特徴量Ｘ_ｊｎｔが局所的に極大であれば１をとり、それ以外ではゼロになるような新しい節らしさ特徴量ｎｅｗＸ_ｊｎｔを定義し、関節検出部１４０１は、新しい節らしさ特徴量ｎｅｗＸ_ｊｎｔを表示制御部１０６に出力してもよい。ここでは簡単のため２値化したが、多値でももちろんかまわない。この構成によると、局所的に最も節らしさ特徴量Ｘ_ｊｎｔが高い画素位置の情報を表示制御部１０６に渡すことができるため、関節の数が増えた際でも安定して関節領域の表示が行える。

（実施の形態３）
上記した実施の形態２の関節領域表示装置は、複数の移動軌跡ペアから各移動軌跡の節らしさ特徴量を算出し、節らしさ特徴量に基づいた表示を行っている。この際、たとえば、節領域のみを検出したいような場合には節らしさ特徴量に基づいた表示で十分であるが、関節状領域全体を検出したい場合に、節らしさ特徴量の値を画像上に表示するだけでは、関節状領域の端で節らしさ特徴量が低くなってしまうため、関節状領域全体の表示としては視認しづらいという課題がある。

したがって、本実施の形態においては、求まった各移動軌跡の節らしさ特徴量、および、移動軌跡の同一剛体特徴量を利用することで、各移動軌跡の“関節状領域らしさ”をあらわす“関節状領域らしさ”特徴量を算出し、それを用いて関節状領域全体を検出することを目的とした処理を説明する。

本実施の形態における関節領域表示装置の構成を図１９に示す。関節領域表示装置１００Ｃは、実施の形態２の関節領域表示装置１００Ｂの構成が含む関節検出部１４０１のあとに、関節状領域検出部１９０１を備えている。

本実施の形態における関節状領域検出部１９０１は、移動軌跡ペア間の同一剛体特徴量ｒ_ｒ、および移動軌跡の節らしさ特徴量Ｘ_ｊｎｔを利用して、移動軌跡の「関節状領域らしさ」Ｘｒｅｇを算出する。

すなわち、関節状領域検出部１９０１は、「より節らしい移動軌跡に対して同一剛体らしい」移動軌跡は、関節状領域であるという定義のもとで関節状領域らしさを算出するため、節らしさだけの情報から、各移動軌跡の「関節状領域らしさ」を求めることができる。

以下、図２０を参照しながら関節状領域検出部１９０１の動作について説明する。

図２０において、Ａ、Ｂ、Ｃ、Ｄは関節状領域上の点であり、Ｅは関節状領域上にないアウトライアである。関節状領域上の移動軌跡は全て、節らしい移動軌跡に対して同一剛体特徴量が大きくなるという共通点がある。

そこで、Ｂの関節状領域らしさＸｒｅｇ（Ｂ）を、以下の式で定義する。

ここで、

より、

また、アウトライアＥについてＸｒｅｇ（Ｅ）は以下のようになる。

ここで、

より、

すなわち、関節状領域上の移動軌跡Ｂについては、関節状領域らしさを反映した正の値が得られ、また関節状領域上にない移動軌跡Ｅについては、関節状領域らしさの値を小さく抑えることができた。

以上の手順に基づき、計算を行うことで、関節状領域上の移動軌跡Ａ〜Ｄと、関節状領域外の移動軌跡Ｅを分離し、表示制御部１０６は、関節状領域上の移動軌跡のみをディスプレイ１２０に表示させることができる。

図２１に、例えば腕全体が動いているシーンから算出した、関節状領域らしさ特徴量を表示した例を示す。所定の閾値以上の関節状領域らしさ特徴量を有する位置を色付けしている。

図１７では、節部分である肘のみがグラデーションで強調されていたが、図２１の例では、関節状領域らしい部分全体が抽出されており、関節状領域を容易に視認できることがわかる。

（実施の形態４）
以下に本発明の実施の形態４に係る関節領域帰属度算出装置について説明する。

図２２は、関節領域帰属度算出装置の機能的な構成を示すブロック図である。

関節領域帰属度算出装置２２００は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動領域の各々について、関節領域への帰属度を算出する。関節領域帰属度算出装置２２００は、距離算出部１０７と、関節領域帰属度算出部２２０１とを含む。

距離算出部１０７は、上記複数の移動軌跡を入力として受け、複数の移動軌跡に含まれる任意の移動軌跡ペアについて移動軌跡間の類似度を表す距離を算出する処理部である。距離算出部１０７の実行する処理は実施の形態１に示したとおりである。

関節領域帰属度算出部２２０１は、第１移動軌跡、第２移動軌跡および第３移動軌跡のうちの任意の２つの移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ、同一の節を介して接続される別の剛体上に、第２移動軌跡に対応する領域および第３移動軌跡に対応する領域が存在する、という３つの関係を同時に満たす度合いを示す節らしさ特徴量を、第１移動軌跡の関節領域への帰属度として算出する。つまり、関節領域帰属度算出部２２０１は、複数の移動軌跡の各々について、当該移動軌跡の関節領域への帰属度、すなわち当該移動軌跡が関節領域上に存在する可能性の度合いを算出する。関節領域帰属度算出部２２０１は、移動軌跡の節らしさ特徴量を、その移動軌跡の関節領域への帰属度として算出する。関節領域帰属度算出部２２０１は、実施の形態１または実施の形態２に示したのと同じ方法を用いて節らしさ特徴量を算出することができる。

図２３は、関節領域帰属度算出装置２２００の動作を表すフローチャートである。

図２３において、２つのステップＳ３０７およびＳ２３０１は、それぞれ図２２の距離算出部１０７および関節領域帰属度算出部２２０１に対応する。すなわち、距離算出部１０７はステップＳ３０７、関節領域帰属度算出部２２０１はステップＳ２３０１の各動作を実行する。

ステップＳ３０７において、距離算出部１０７は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動領域を入力として受け、複数の移動軌跡に含まれる任意の移動軌跡ペアについて、移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、移動軌跡ペア以外の移動軌跡を中継点として移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出する。なお、ステップＳ３０７の詳細は実施の形態１に示したとおりである。

ステップＳ２３０１において、関節領域帰属度算出部２２０１は、上記複数の移動軌跡に含まれる第１移動軌跡、第２移動軌跡および第３移動軌跡のうちの任意の２つの移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ、同一の節を介して接続される別の剛体上に、第２移動軌跡に対応する領域および第３移動軌跡に対応する領域が存在する、という３つの関係を同時に満たす度合いを示す節らしさ特徴量を、第１移動軌跡の関節領域への帰属度として算出する。つまり、関節領域帰属度算出部２２０１は、図３のステップＳ３０８およびＳ３０５に示したのと同様の方法を用いて第１の移動軌跡の節らしさ特徴量を算出する。

実施の形態４によると、移動軌跡間の測地距離の時間変化と、２点間距離の時間変化とに基づいて、移動軌跡の関節領域への帰属度を算出することで、移動体の形状の変化の影響を受けることなく、移動軌跡の関節領域への帰属度を正しく算出することができる。

（実施の形態５）
以下に本発明の実施の形態５に係る関節状領域帰属度算出装置について説明する。

図２４は、関節状領域帰属度算出装置の機能的な構成を示すブロック図である。

関節状領域帰属度算出装置２４００は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動領域の各々について、関節領域を介して接続された領域である関節状領域への帰属度を算出する。関節状領域帰属度算出装置２４００は、距離算出部１０７と、関節状領域帰属度算出部２４０１とを備える。

距離算出部１０７は、上記複数の移動軌跡を入力として受け、複数の移動軌跡に含まれる任意の移動軌跡ペアについて移動軌跡間の類似度を表す距離を算出する処理部である。距離算出部１０７の実行する処理は実施の形態１に示したとおりである。

関節状領域帰属度算出部２４０１は、着目する移動軌跡、第１移動軌跡、第２移動軌跡および第３移動軌跡のうちの任意の２つの移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ、同一の節を介して接続される別の剛体上に、第２移動軌跡に対応する領域および第３移動軌跡に対応する領域が存在する、という３つの関係を同時に満たす度合いに基づいて、関節状領域らしさを算出する。

たとえば、これらの関係を満たす度合いに基づいて算出された関節状領域らしさを、第２移動軌跡、および第３移動軌跡の関節状領域への帰属度として算出することができる。

さらに望ましくは、着目する移動軌跡、第１移動軌跡、第２移動軌跡のうち、第１移動軌跡の関節領域帰属度、および着目する２つの移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、第１移動軌跡が関節領域に存在し、かつ、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在する、という関係を満たす度合いを、第２移動軌跡の関節状領域への帰属度として算出することができる。実施の形態４で述べたとおり、前述の３点の関係に基づけば、第１移動軌跡の関節領域帰属度が算出できる。「節らしい移動軌跡に対して同一剛体らしい」移動軌跡は、関節状領域への帰属度が高い、といえるため、より正しく関節状領域帰属度を求めることができる。

つまり、関節状領域帰属度算出部２４０１は、複数の移動軌跡の各々について、当該移動軌跡の関節状領域への帰属度、すなわち当該移動軌跡が関節状領域上に存在する可能性の度合いを算出する。関節状領域帰属度算出部２４０１は、移動軌跡の関節状領域らしさを、その移動軌跡の関節状領域への帰属度として算出する。関節状領域帰属度算出部２４０１は、実施の形態３に示したのと同じ方法を用いて関節状領域らしさを算出することができる。

図２５は、関節状領域帰属度算出装置２４００の動作を表すフローチャートである。

図２５において、２つのステップＳ３０７およびＳ２５０１は、それぞれ図２４の距離算出部１０７および関節状領域帰属度算出部２４０１に対応する。すなわち、距離算出部１０７はステップＳ３０７、関節状領域帰属度算出部２４０１はステップＳ２５０１の各動作を実行する。

ステップＳ３０７において、距離算出部１０７は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動領域を入力として受け、複数の移動軌跡に含まれる任意の移動軌跡ペアについて、移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、移動軌跡ペア以外の移動軌跡を中継点として移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出する。なお、ステップＳ３０７の詳細は実施の形態１に示したとおりである。

ステップＳ２５０１において、関節状領域帰属度算出部２４０１は、上記複数の移動軌跡に含まれる着目する移動軌跡、第１移動軌跡、第２移動軌跡および第３移動軌跡のうちの任意の２つの移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ、同一の節を介して接続される別の剛体上に、第２移動軌跡に対応する領域および第３移動軌跡に対応する領域が存在する、という３つの関係を同時に満たす度合いに基づいて求めた関節状領域らしさを、着目する移動軌跡の関節状領域への帰属度として算出する。つまり、関節状領域帰属度算出部２４０１は、図１９の特徴量算出部１４０２、関節特定部１４０１および関節状領域検出部１９０１が実行したのと同様の方法を用いて着目する移動軌跡の関節状領域らしさを算出する。

実施の形態５によると、移動軌跡間の測地距離の時間変化と、２点間距離の時間変化とに基づいて、移動軌跡の関節状領域への帰属度を算出することで、移動体の形状の変化の影響を受けることなく、移動軌跡の関節状領域への帰属度を正しく算出することができる。

なお、上述の実施の形態１〜３における関節領域表示装置から表示制御部１０６を除いた関節領域検出装置として本発明を実現することも可能である。

なお、上述の実施の形態１〜３において関節特徴算出部は、任意の移動軌跡間について、測地距離の時間変化があらかじめ定めた測地距離閾値よりも小さく、かつ２点間距離の時間変化があらかじめ定めた２点間距離閾値よりも大きい場合に、関節特徴量を０として算出し、測地距離の時間変化があらかじめ定めた測地距離閾値以上の場合、または２点間距離の時間変化があらかじめ定めた２点間距離閾値以下の場合に、前記関節特徴量を１として算出してもよい。

なお、本発明に係る実施の形態では、節と剛体領域から構成される関節を有する物体を一般的な例として説明に用いたが、たとえば、紐のような非剛体の物体であってもよい。紐状の物体は、細かい剛体と無数の節によって構成される関節と捉えることが可能である。したがって、紐の動きも無数の細かい関節動きが連なったものとして扱うことができるため、同様に本手法によって節らしさの算出、及び関節状領域の表示を行える。

また、本発明で用いる「領域」という定義は、多数の軌跡から成る領域のみならず、１つの軌跡のみから成る場合も含む。というのも、少なくとも節の軌跡が１点と、もう２点の移動軌跡が存在すれば、それらの軌跡から各軌跡の節らしさ特徴量、及び関節状領域らしさ特徴量を算出することができるからである。

なお、本発明に係る関節領域表示装置の必須の構成要素は、実施の形態１〜３に係る関節領域表示装置における関節特徴算出部、関節検出部および表示制御部である。また、本発明に係る関節領域検出装置の必須の構成要素は、実施の形態１〜３に係る関節領域表示装置における関節特徴算出部および関節検出部である。

本発明は、複数枚のピクチャにおける動きに基づいて、形状が変化しながら移動するピクチャ中の人物等の移動体の関節を抽出することによって、関節および関節を含む移動体の領域を抽出する関節領域表示装置として、例えば、運動解析装置、監視装置、ビデオカメラやＴＶ等のＡＶ機器に内蔵させる関節領域表示装置等として利用することが可能である。

１００、１００Ｂ、１００Ｃ 関節領域表示装置
１０１ 画像入力部
１０２ 移動軌跡算出部
１０３ 関節表示部
１０４ 関節特徴算出部
１０５、１４０１ 関節検出部
１０６ 表示制御部
１０７ 距離算出部
１０８、１４０２ 特徴量算出部
１１０ カメラ
１２０ ディスプレイ
２００ コンピュータ
２０１ Ｉ／Ｆ
２０２ ＣＰＵ
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ ＨＤＤ
２０６ ビデオカード
１９０１ 関節状領域検出部
２２００ 関節領域帰属度算出装置
２２０１ 関節領域帰属度算出部
２４００ 関節状領域帰属度算出装置
２４０１ 関節状領域帰属度算出部

Claims (26)

1. 動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節領域を検出し、表示する関節領域表示装置であって、
   動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出し、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する関節特徴算出部と、
   前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する関節検出部と、
   前記関節検出部が検出した前記関節領域を、ユーザが視認できる形態に変換して出力する表示制御部と
   を備える関節領域表示装置。
2. 前記関節検出部は、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記第１移動軌跡に対応する領域および前記第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているほど、前記第１移動軌跡に対応する領域が関節領域に含まれる可能性が高いと判断される節らしさ特徴量を算出し、算出した前記節らしさ特徴量から関節領域を検出する
   請求項１記載の関節領域表示装置。
3. 前記関節検出部は、前記ピクチャ上における、算出した前記節らしさ特徴量の極大値に対応する移動軌跡が帰属する領域を関節領域として検出する
   請求項２記載の関節領域表示装置。
4. 前記関節検出部は、着目する移動軌跡を除く前記複数の移動軌跡の中から移動軌跡のペアを複数選択し、選択したペアごとに、前記着目する移動軌跡を前記第１移動軌跡とし、当該移動軌跡のペアを前記第２移動軌跡および前記第３移動軌跡としたときの前記関節特徴量を加算することにより、前記着目する移動軌跡の節らしさ特徴量を算出し、算出した前記節らしさ特徴量から前記着目する移動軌跡に対応する領域が関節領域か否かを判定する
   請求項２記載の関節領域表示装置。
5. 前記関節検出部は、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記任意の移動軌跡のペアに対応する領域同士が同一剛体上に存在するか否かを判断することにより同一剛体に含まれる移動軌跡を検出した後、前記第１移動軌跡に対応する領域および前記第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する
   請求項１〜４のいずれか１項に記載の関節領域表示装置。
6. 前記関節検出部は、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量が所定の閾値以下となる移動軌跡のみを用いて、前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記任意の移動軌跡のペアに対応する領域同士が同一剛体上に存在するか否かを判断することにより同一剛体に含まれる移動軌跡を検出した後、前記第１移動軌跡に対応する領域および前記第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する
   請求項１〜４のいずれか１項に記載の関節領域表示装置。
7. 前記任意の移動軌跡間の測地距離の時間変化は、あらかじめ定めた一連の処理フレームセットにわたる測地距離の時間変化の絶対値和である
   請求項１〜６のいずれか１項に記載の関節領域表示装置。
8. 前記任意の移動軌跡間の２点間距離の時間変化は、あらかじめ定めた一連の処理フレームセットにわたる２点間距離の時間変化の絶対値和である
   請求項１〜７のいずれか１項に記載の関節領域表示装置。
9. 前記関節特徴算出部は、前記任意の移動軌跡間の測地距離の時間変化を、前記任意の移動軌跡間の２点間距離の時間変化で除した値に基づいて、前記任意の移動軌跡間の関節特徴量を算出する
   請求項１〜８のいずれか１項に記載の関節領域表示装置。
10. 前記関節特徴算出部は、前記測地距離の時間変化と前記２点間距離の時間変化と前記関節特徴量との対応関係を示したデータテーブルを参照することにより、前記任意の移動軌跡間の関節特徴量を算出する
    請求項１〜８のいずれか１項に記載の関節領域表示装置。
11. 前記関節特徴算出部は、前記任意の移動軌跡間について、前記測地距離の時間変化があらかじめ定めた測地距離閾値よりも小さく、かつ前記２点間距離の時間変化があらかじめ定めた２点間距離閾値よりも大きい場合に、前記関節特徴量を１として算出し、前記測地距離の時間変化があらかじめ定めた測地距離閾値以上の場合、または前記２点間距離の時間変化があらかじめ定めた２点間距離閾値以下の場合に、前記関節特徴量を０として算出する
    請求項１〜８のいずれか１項に記載の関節領域表示装置。
12. 前記表示制御部は、前記ピクチャ上の前記関節検出部が検出した関節領域に含まれる移動軌跡に対応する領域の位置を特定の色で塗りつぶし、出力する
    請求項２記載の関節領域表示装置。
13. 前記表示制御部は、前記ピクチャ上の関節領域を介して接続された領域である関節状領域のうち、前記関節検出部が検出した関節領域を除く剛体領域に含まれる移動軌跡に対応する領域の位置を特定の色で塗りつぶし、出力する
    請求項２記載の関節領域表示装置。
14. 前記表示制御部は、前記ピクチャ上の関節領域を介して接続された領域である関節状領域のうち、前記関節検出部が検出した関節領域を除く剛体領域に含まれる移動軌跡に対応する領域の位置と、前記関節検出部が検出した関節領域に含まれる移動軌跡に対応する領域の位置とを、それぞれ異なる特定の色で塗りつぶし、出力する
    請求項２記載の関節領域表示装置。
15. 前記関節検出部が検出した関節領域に含まれる移動軌跡に対応する領域の位置を塗りつぶすための前記特定の色は、前記関節検出部が検出した関節領域の節らしさ特徴量の値に応じた色である
    請求項１２または１４記載の関節領域表示装置。
16. 前記表示制御部は、前記ピクチャ上に、共通の剛体領域に含まれる関節領域同士を結んだ直線を重畳して、出力する
    請求項１〜１５のいずれか１項に記載の関節領域表示装置。
17. さらに、
    動画像を構成する複数枚のピクチャを受け付ける画像入力部と、
    受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と
    を備える請求項１〜１５のいずれか１項に記載の関節領域表示装置。
18. 前記関節特徴算出部は、さらに、縦軸および横軸を移動軌跡のペアの２点間距離の時間変化および測地距離の時間変化とするグラフにおいて、２点間距離の時間変化および測地距離の時間変化が等しくなる直線からの、着目する移動軌跡のペアである着目ペアの２点間距離の時間変化および測地距離の時間変化までの距離に基づいて、当該着目ペアが同一の剛体に含まれる程度を示す同一剛体特徴量を算出する
    請求項２記載の関節領域表示装置。
19. 前記関節領域表示装置は、さらに、
    着目する移動軌跡について、前記着目する移動軌跡をペアとして含む移動軌跡ペア間の同一剛体特徴量と、当該ペアのうち前記着目する移動軌跡以外の移動軌跡の節らしさ特徴量との積を、前記着目する移動軌跡が関節領域を介して接続された領域である関節状領域に含まれる程度を示す関節状領域らしさとして算出し、関節状領域を検出する関節状領域検出部を備える
    請求項１８記載の関節領域表示装置。
20. 動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節領域を検出し、表示する関節領域表示装置であって、
    動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出し、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化について、ユークリッド距離の時間変化が大きな値であるほど、また測地距離の時間変化がより小さいほど、大きくなるような正の値をとる関節特徴量を算出する関節特徴算出部と、
    前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する関節検出部と、
    前記関節検出部が検出した前記関節領域を、ユーザが視認できる形態に変換して出力する表示制御部と
    を備える関節領域表示装置。
21. 動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節領域を検出し、表示する関節領域表示装置であって、
    動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出し、縦軸および横軸を、任意の移動軌跡ペアの２点間距離の時間変化および測地距離の時間変化とするグラフにおいて、２点間距離の時間変化および測地距離の時間変化が等しくなる直線からの、着目する移動軌跡ペアである着目ペアの２点間距離の時間変化および測地距離の時間変化までの距離が遠いほど、より大きい値をとる関節特徴量を算出する関節特徴算出部と、
    前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する関節検出部と、
    前記関節検出部が検出した前記関節領域を、ユーザが視認できる形態に変換して出力する表示制御部と
    を備える関節領域表示装置。
22. 動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節領域を検出する関節領域検出装置であって、
    動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出し、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する関節特徴算出部と、
    前記関節特徴算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する関節検出部と
    を備える関節領域検出装置。
23. 動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動領域の各々について、関節領域への帰属度を算出する関節領域帰属度算出装置であって、
    動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、
    第１移動軌跡、第２移動軌跡および第３移動軌跡のうちの任意の２つの移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、前記第１移動軌跡に対応する領域および前記第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一剛体上に存在し、かつ、同一の節を介して接続される別の剛体上に、前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が存在する、という３つの関係を同時に満たす度合いを示す節らしさ特徴量を、前記第１移動軌跡の関節領域への帰属度として算出する関節領域帰属度算出部と
    を備える関節領域帰属度算出装置。
24. 動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動領域の各々について、関節領域を介して接続された領域である関節状領域への帰属度を算出する関節状領域帰属度算出装置であって、
    動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、
    着目する移動軌跡、第１移動軌跡、第２移動軌跡および第３移動軌跡のうちの任意の２つの移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、前記第１移動軌跡に対応する領域および前記第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一剛体上に存在し、かつ、同一の節を介して接続される別の剛体上に、前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が存在する、という３つの関係を同時に満たす度合いに基づいて求めた関節状領域らしさを、前記着目する移動軌跡の関節状領域への帰属度として算出する関節状領域帰属度算出部と
    を備える関節状領域帰属度算出装置。
25. 動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節領域を検出し、表示する関節領域表示方法であって、
    動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡に含まれる任意の移動軌跡ペアについて、前記移動軌跡ペアを構成する移動軌跡間を直接結んだ距離である２点間距離と、前記移動軌跡ペア以外の移動軌跡を中継点として前記移動軌跡ペアを構成する一方の移動軌跡から他方の移動軌跡にたどりつく経路の距離である測地距離とを算出し、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する関節特徴算出ステップと、
    前記関節特徴算出ステップにおいて算出された前記任意の移動軌跡間の関節特徴量に基づいて、第１移動軌跡に対応する領域および第２移動軌跡に対応する領域が同一剛体上に存在し、前記第１移動軌跡に対応する領域および第３移動軌跡に対応する領域が同一剛体上に存在し、かつ前記第２移動軌跡に対応する領域および前記第３移動軌跡に対応する領域が同一の節を介して接続されているときの前記第１移動軌跡に対応する領域を関節領域として検出する関節検出ステップと、
    前記関節検出ステップにおいて検出された前記関節領域を、ユーザが視認できる形態に変換して出力する表示制御ステップと
    を含む関節領域表示方法。
26. 請求項２５に記載の関節領域表示方法に含まれる各ステップをコンピュータに実行させるためのプログラム。

Images