JP5801237B2 - 部位推定装置、部位推定方法、および部位推定プログラム - Google Patents

Description

本発明は、人、動物またはロボットなどの多関節物体の部位を推定する、部位推定装置、部位推定方法、および部位推定プログラムに関する。

近年、撮影された動画像に基づく人の姿勢推定に関する研究が、盛んに行われている。姿勢推定装置は、動画像から人の行動をコンピュータ解析により判定することができ、人手に頼らずに行動解析を行うことができる。行動解析としては、例えば、街頭での異常行動検知、店舗での購買行動分析、工場における作業効率化支援、およびスポーツにおけるフォーム指導がある。

そこで、単眼カメラにより人を撮影した画像に基づいて、当該人の姿勢を推定する技術が、例えば特許文献１に記載されている。

特許文献１に記載の技術（以下、「従来技術」という）は、まず、人を撮影した画像に含まれる楕円形状または平行線に基づいて、部位候補を抽出する。次に、従来技術は、複数のサンプル画像から統計的に求めた尤度関数を用いて、部位尤度および部位関係尤度を算出する。そして、従来技術は、算出した尤度に基づいて、最適な部位候補の組み合わせを算出する。よって、従来技術によれば、どの部位がどの領域に位置するかを特定することができ、人の位置や向きによらずに人の姿勢を推定することができる。

特開２００５−１６５９２３号公報

しかしながら、従来技術は、撮影条件によっては、部位を高精度に推定することができないという課題を有する。なぜなら、従来技術は、撮影した画像から部位の輪郭が平行線で抽出できることを前提にしているが、実際には、部位の服のしわや陰影および部位の背景にある物体の形状や陰影により、部位の輪郭のみを平行線として抽出することは困難だからである。

本発明の目的は、多関節物体の部位を高精度に推定することである。

本発明の一態様に係る部位推定装置は、画像中の画素ごとに、当該画素の近傍に存在するペアの画素が、推定対象である部位のエッジであることの尤もらしさを示すエッジペア尤度を算出し、当該エッジペア尤度を前記画素ごとに示すエッジペア尤度マップを生成するエッジペア尤度マップ生成部と、前記エッジペア尤度マップに対し、前記推定対象である部位を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価し、連続性のあるエッジペア尤度を、前記推定対象である部位を示す候補領域として示す連続性尤度マップを生成する連続性尤度マップ生成部と、前記連続性尤度マップが示す前記候補領域を、予め定められた条件を基に絞り込んで示す統合尤度マップを生成する統合尤度マップ生成部と、を有する。

本発明の一態様に係る部位推定方法は、画像中の画素ごとに、当該画素の近傍に存在するペアの画素が、推定対象である部位のエッジであることの尤もらしさを示すエッジペア尤度を算出し、当該エッジペア尤度を前記画素ごとに示すエッジペア尤度マップを生成するステップと、前記エッジペア尤度マップに対し、前記推定対象である部位を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価し、連続性のあるエッジペア尤度を、前記推定対象である部位を示す候補領域として示す連続性尤度マップを生成するステップと、前記連続性尤度マップが示す前記候補領域を、予め定められた条件を基に絞り込んで示す統合尤度マップを生成するステップと、を有する。

本発明の一態様に係る部位推定プログラムは、画像を入力あるいは生成する装置のコンピュータに、前記画像中の画素ごとに、当該画素の近傍に存在するペアの画素が、推定対象である部位のエッジであることの尤もらしさを示すエッジペア尤度を算出し、当該エッジペア尤度を前記画素ごとに示すエッジペア尤度マップを生成する処理と、前記エッジペア尤度マップに対し、前記推定対象である部位を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価し、連続性のあるエッジペア尤度を、前記推定対象である部位を示す候補領域として示す連続性尤度マップを生成する処理と、前記連続性尤度マップが示す前記候補領域を、予め定められた条件を基に絞り込んで示す統合尤度マップを生成する処理と、を実行させる。

本発明によれば、多関節物体の部位を高精度に推定することができる。

本発明の実施の形態１に係る部位推定装置の構成の一例を示すブロック図 本発明の実施の形態２に係る部位推定システムの構成の一例を示すシステム構成図 本発明の実施の形態２における身体モデルの一例を示す図 本発明の実施の形態２に係る部位推定装置の構成の一例を示すブロック図 本発明の実施の形態２に係る部位推定装置の動作の一例を示すフローチャート 本発明の実施の形態２に係るエッジペア尤度マップ生成処理の動作の一例を示すフローチャート 本発明の実施の形態２におけるエッジペア尤度マップ生成処理を説明するための図 本発明の実施の形態２におけるエッジペア尤度マップの一例を示す図 本発明の実施の形態２における連続性尤度マップの一例を示す図 本発明の実施の形態２における統合尤度マップ生成処理の動作の一例を示すフローチャート 本発明の実施の形態３における部位推定装置の構成の一例を示すブロック図 本発明の実施の形態３における部位推定装置の動作の一例を示すフローチャート 本発明の実施の形態３における連続性尤度マップの一例を示す図 本発明の実施の形態４における部位推定装置の構成の一例を示すブロック図 本発明の実施の形態４における部位推定装置の構成の一例を示すブロック図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。

図１は、本実施の形態に係る部位推定装置の構成の一例を示すブロック図である。

図１において、部位推定装置１００は、エッジペア尤度マップ生成部１２０、連続性尤度マップ生成部１３０、および統合尤度マップ生成部１４０を有する。

エッジペア尤度マップ生成部１２０は、画像中の画素ごとに、エッジペア尤度を算出する。画素ごとのエッジペア尤度とは、当該画素の近傍に存在する画素が、推定対象である部位（以下、「対象部位」という）のエッジであることの尤もらしさを数値化して示したものである。エッジペア尤度マップ生成部１２０は、画素の近傍に存在する、所定の勾配方向に平行なエッジペアに基づいて、エッジペア尤度を算出する。そして、エッジペア尤度マップ生成部１２０は、算出したエッジペア尤度を画素ごとに示すエッジペア尤度マップを生成する。

ここで、上記「部位」とは、人の多関節物体の一部分をいう。また、ここでいう「人」とは、人体あるいは動物やロボットなどの多関節物体を含む、あらゆる多関節物体を含む概念とする。

連続性尤度マップ生成部１３０は、エッジペア尤度マップに対して、対象部位の大きさや形状を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価する。そして、連続性尤度マップ生成部１３０は、連続性のあるエッジペア尤度を、部位領域の候補として示す連続性尤度マップを生成する。ここでいう「部位領域」とは、画像において「対象部位が占める領域」、換言すれば「対象部位を示す領域」を意味する。

統合尤度マップ生成部１４０は、連続性尤度マップが示す部位領域の候補を予め定められた条件を基に絞り込み、絞り込んだ部位領域の候補を示す統合尤度マップを生成する。

部位推定装置１００は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）などの記憶媒体、およびＲＡＭ（Random Access Memory）などの作業用メモリを有する。この場合、上記した各構成部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような部位推定装置１００は、以下の動作により、複雑な画像においても精度よく部位を推定することができる。なお、「複雑な画像」とは、例えば、胴に腕が重なっている画像や、服のしわや人工物による平行線のエッジが多数存在する画像、などである。

まず、エッジペア尤度マップ生成部１２０は、画像中の画素ごとに、当該画素の近傍に存在する、所定の勾配方向に平行なエッジペアに基づいて、エッジペア尤度を算出する。そして、エッジペア尤度マップ生成部１２０は、算出したエッジペア尤度を画素ごとに示すエッジペア尤度マップを生成する。ここで、平行線の幅は、対象部位の太さとする。これにより、エッジペア尤度マップ生成部１２０は、対象部位に対応したエッジペア尤度マップを生成できる。

次に、連続性尤度マップ生成部１３０は、エッジペア尤度マップを、対象部位として評価する。画素ごとのエッジペア尤度は、当該画素の近傍に存在する画素が、対象部位のエッジであることの尤もらしさを示す。したがって、画像中、対象部位が存在する領域においては、想定領域内に含まれる画素のエッジペア尤度の総和は大きくなる。「想定領域」とは、対象部位の大きさや形状を予め想定した領域である。

連続性尤度マップ生成部１３０は、エッジペア尤度マップに対して、想定領域内のエッジペア尤度の総和が、予め定められた閾値より大きければ、想定領域内のエッジペア尤度を残す。もしくは、想定領域内のエッジペア尤度の総和が、予め定められた閾値より小さければ、連続性尤度マップ生成部１３０は、想定領域内に、エッジペア尤度がないことを示す値（例えばゼロ）を設定するようにしてもよい。

このように、部位推定装置１００は、画素ごとのエッジペア尤度を閾値でフィルタリングするのではなく、部位領域である可能性が高い領域に含まれる画素のエッジペア尤度を残すようにする。これにより、部位推定装置１００は、エッジペア尤度が低くても部位領域である可能性が高い領域に含まれる画素を、残すことができる。また、部位推定装置１００は、エッジペア尤度が高くても部位領域である可能性が低い領域に含まれる画素のエッジペア尤度を、削除する。これにより、部位推定装置１００は、陰影やしわなど、部位領域ではない領域に含まれる画素を除去することができる。

したがって、部位推定装置１００は、従来技術に比べて、対象部位の輪郭のみを平行線として抽出することが困難な画像からも、対象部位を精度よく推定することができる。

（実施の形態２）
本発明の実施の形態２は、本発明を、画像に含まれる人の部位を推定する装置に適用した場合の、具体的態様の一例である。

まず、本実施の形態に係る部位推定装置を含む部位推定システムの概要について説明する。

図２は、本実施の形態における部位推定システムの構成の一例を示すシステム構成図である。図２において、部位推定システム２００は、監視エリア３１０を撮影する監視カメラ３２０と、監視カメラ３２０と通信可能に接続された部位推定装置１００と、を有する。

監視カメラ３２０は、例えばデジタルビデオカメラであり、監視エリア３１０を斜め上方から撮影する。すなわち、監視カメラ３２０が撮影する画像は、人３４０および水平な床面３３０を含む実空間を撮影して得られた画像である。そして、監視カメラ３２０は、撮影した画像を、部位推定装置１００へ送信する。ここでは、監視エリア３１０の床面３３０を、部位推定の対象となる人３４０が歩行しているものとする。

部位推定装置１００は、例えばパーソナルコンピュータであり、監視カメラ３２０から受信した画像に基づいて、人３４０の部位を推定する。

以上で、部位推定システム２００の概要についての説明を終える。

次に、本実施の形態において推定の対象となる人３４０の部位について説明する。

図３は、人３４０の身体の構成モデル（以下、「身体モデル」という）４１０の一例を示す図である。身体モデル４１０は、部位の推定に用いられる身体の各部位の位置関係を、模式的に示したものである。身体モデル４１０は、例えば、胴４１１、左大腿４１２、左下腿４１３、左足４１４、右大腿４１５、右下腿４１６、右足４１７、頭４１８、右上腕４１９、右前腕４２０、左上腕４２２、左前腕４２３を含む。

これらの各部位は、関節で接続されている。このため、各部位の可動域は、他の部位により制約を受ける。例えば、左足４１４は、左下腿４１３との接続点を中心とする所定の角度範囲でのみ動くことができる。本実施の形態では、部位推定装置１００は、各部位の接続関係を用いて、身体モデル４１０における各部位の領域（上記「部位領域」）を、画像から推定するものとする。なお、部位推定装置１００が用いる身体モデルは、図３に示す例に限定されるものではない。

以上で、推定の対象となる人３４０の部位についての説明を終える。

次に、部位推定装置１００の構成について説明する。

図４は、部位推定装置１００の構成の一例を示すブロック図である。図４において、部位推定装置１００は、画像入力部１１０、エッジペア尤度マップ生成部１２０、連続性尤度マップ生成部１３０、統合尤度マップ生成部１４０、結果出力部１５０を有する。

画像入力部１１０は、画像を入力する。

具体的には、画像入力部１１０は、監視カメラ３２０が撮影した画像を受信する。そして、画像入力部１１０は、受信した画像を、順次、エッジペア尤度マップ生成部１２０へ出力する。

エッジペア尤度マップ生成部１２０は、画像中の画素ごとに、各画素近傍において、所定の勾配方向に平行なエッジペアに基づいて、エッジペア尤度を算出する。そして、エッジペア尤度マップ生成部１２０は、算出したエッジペア尤度を画素ごとに示すエッジペア尤度マップを生成する。画素ごとのエッジペア尤度とは、当該画素の近傍に存在する画素が、対象部位のエッジであることの尤もらしさを数値化して示すものである。エッジペア尤度マップ生成部１２０は、予め定義された複数の勾配方向について、それぞれエッジペア尤度マップを生成する。

まず、エッジペアについて説明する。ここで、画像に含まれる所定の画素を「注目画素」と呼ぶ。画像には、注目画素を基準として２つの画素が存在しうる。これら２つの画素は、予め定義された勾配方向に垂直かつ注目画素を含む直線上にあり、注目画素から等距離に位置している。また、２つの画素の間の距離は、対象部位の太さである。このような２つの画素を「勾配方向ペア画素」と呼ぶ。また、勾配方向ペア画素のそれぞれを中心とした２つの小領域を「勾配方向ペア近傍領域」と呼ぶ。

そして、勾配方向ペア近傍領域のどちらにもエッジである画素（以下、単に「エッジ」という）が含まれる場合、注目画素に対して「エッジペアが存在する」と称する。そしてこのとき、勾配方向ペア近傍領域に含まれるエッジからなる画素の集合を、「注目画素のエッジペア」と呼ぶ。

また、注目画素のエッジペア尤度は、注目画素のエッジペアに基づいて算出される。例えば、片方の勾配方向ペア近傍領域にエッジが多く含まれている一方、もう片方の勾配方向ペア近傍領域に含まれるエッジが少ない場合には、エッジペア尤度は低くなる。なお、エッジペア尤度の具体的な算出方法については、後述する。

また、画像の全ての画素に対して、算出したエッジペア尤度をマッピングしたものを、「エッジペア尤度マップ」と呼ぶ。

また、エッジペア尤度マップに含まれる全てのエッジペア尤度は、注目画素の位置を示すｘ座標ｘ、ｙ座標ｙ、勾配方向ｋを特定して識別される。

なお、本実施の形態では、注目画素に対し、予め定義された全ての勾配方向の勾配方向ペア領域を含む領域を「局所領域」と呼ぶ。

そして、エッジペア尤度マップ生成部１２０は、予め定義された複数の勾配方向について、それぞれエッジペア尤度マップを生成する。その後、エッジペア尤度マップ生成部１２０は、生成したエッジペア尤度マップを連続性尤度マップ生成部１３０に出力する。

なお、エッジペア尤度マップの生成手法の詳細については、後述する。

連続性尤度マップ生成部１３０は、生成されたエッジペア尤度マップの、同一勾配方向のエッジペア尤度について、想定領域内に含まれる画素のエッジペア尤度の連続性を評価し、連続性尤度マップを生成する。

画素ごとのエッジペア尤度は、当該画素の近傍に存在する画素が、対象部位のエッジであることの尤もらしさである。したがって、画像中、対象部位が存在する領域においては、想定領域内に含まれる画素のエッジペア尤度の総和は大きくなる。

連続性尤度マップ生成部１３０は、勾配方向別のエッジペア尤度マップのそれぞれに対して、想定領域内のエッジペア尤度の総和が大きければ、想定領域内のエッジペア尤度を残す。もしくは、連続性尤度マップ生成部１３０は、想定領域内のエッジペア尤度の総和が小さければ、想定領域内に、エッジペア尤度がないことを示す値（例えばゼロ）を設定するようにしてもよい。

なお、連続性尤度マップの生成手法の詳細については、後述する。

統合尤度マップ生成部１４０は、連続性尤度マップから勾配方向別に抽出された部位領域の候補の中から、予め定められた対象部位の条件に当てはまる領域を抽出し、抽出した領域を示す統合尤度マップを生成する。

なお、対象部位の条件に当てはまる領域の抽出手法の詳細については、後述する。

結果出力部１５０は、結合尤度マップ生成部１４０による部位の推定の結果を出力する。

具体的には、結果出力部１５０は、例えば液晶ディスプレイなどの表示装置を含む。結果出力部１５０は、部位が推定された場合にはその部位を示す情報を、一方、部位が推定されなかった場合にはその旨を示す情報を、ユーザに通知する。この通知の方法は、文字および画像の少なくとも一方を用いた表示が挙げられる。

部位推定装置１００は、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭなどの記憶媒体、およびＲＡＭなどの作業用メモリを有する。この場合、上記した各構成部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

以上で、部位推定装置１００の構成についての説明を終える。

次に、部位推定装置１００の動作について説明する。

本実施の形態では、画像入力部１１０は、監視カメラ３２０等から入力された画像から、人３４０と推定される領域（以下、「人候補領域」という）が抽出された画像をエッジペア尤度マップ生成部１２０に出力するものとする。

上記「人候補領域が抽出された画像」とは、人候補領域以外の画素には、背景を示す値が格納されており、人候補領域の画素についてのみ画素値が格納されている画像のことである。

人候補領域の抽出には、監視カメラ３２０等から入力された画像と背景画像の背景差分画像が用いられてもよい。ここで、背景差分画像とは、例えば、人３４０がいない状態で撮影された背景画像と、入力された画像との差分を示す画像である。これにより、部位推定装置１００は、監視カメラ等から入力された画像において背景と異なる画素を人候補領域として扱うことができる。

なお、部位推定装置１００は、例えば、背景画像を予め保持し、背景画像と入力画像との差分を演算することにより背景差分画像を生成してもよい。あるいは、部位推定装置１００は、入力された画像から移動物体の領域を抽出することにより、背景差分画像を生成してもよい。移動物体の領域の抽出は、例えば、前回入力された画像と今回入力された画像との差分に基づいて、静止物体と移動物体との識別をすることにより行われる。これにより、部位推定装置１００は、移動体の一部であると識別された画素を人候補領域とすることができる。

なお、本実施の形態においては、画像入力部１１０は、グレースケールの画像をエッジペア尤度マップ生成部１２０に出力するものとする。

監視カメラ３２０等から入力された画像がＲＧＢ（Red Green Blue）値の場合、画像入力部１１０は、各画素のＲＧＢ値から輝度Ｙ（画素の明るさ）のみを抽出したグレースケール（白黒階調の）画像へ変換して出力する。輝度Ｙは、例えば、以下の式で算出される。
Ｙ（Ｒ，Ｇ，Ｂ）＝Ｒ×0.29891＋Ｇ×0.58661＋Ｂ×0.11448

また、本実施の形態では、対象部位を腕（右上腕４１９、右前腕４２０、左上腕４２２、左前腕４２３）とする。なお、部位推定装置１００は、前腕と上腕を区別して部位を推定してもよい。

また、本実施の形態では、人候補領域のうち、画像における上部の領域を、腕候補領域として抽出し、腕候補領域に含まれる全画素を処理対象とする。上部の領域は、例えば、人候補領域の所定の比率（例えば、上から１０％から５０％）の部分を含む領域として、予め定められている。

図５は、部位推定装置１００の動作の一例を示すフローチャートである。

ステップＳ１０００において、画像入力部１１０は、１フレーム分の画像データを入力する。

ステップＳ２０００において、エッジペア尤度マップ生成部１２０は、入力した画像を基に、エッジペア尤度マップ生成処理を行う。エッジペア尤度マップ生成処理は、上述のエッジペア尤度マップを生成する処理である。その詳細は、図６および図７を用いて後述する。

ステップＳ３０００において、連続性尤度マップ生成部１３０は、エッジペア尤度マップを基に、連続性尤度マップ生成処理を行う。連続性尤度マップ生成処理は、上述の連続性尤度マップを生成する処理である。その詳細は、図８および図９を用いて後述する。

ステップＳ４０００において、統合尤度マップ生成部１４０は、連続性尤度マップを基に、統合尤度マップ生成処理を行う。統合尤度マップ生成処理は、上述の統合尤度マップを生成する処理である。その詳細は、図１０を用いて後述する。

ステップＳ５０００において、結果出力部１５０は、統合尤度マップを基に、結果出力処理を行う。結果出力処理は、ステップＳ４０００で推定された対象部位の情報を出力する処理である。

例えば、結果出力部１５０は、画像ごとに、推定した部位の候補領域を重畳し、液晶ディスプレイに表示する。なお、結果出力部１５０は、重畳する際、部位の候補領域の勾配方向を示す情報を、色などで区別できるように表示するようにしてもよい。

ステップＳ６０００において、結果出力部１５０は、予め設定された所定の処理終了条件が満たされているか否かを判断する。ここでいう「所定の処理終了条件」とは、例えば、ユーザの操作により部位推定処理の終了を指示されることである。

結果出力部１５０は、所定の処理終了条件が満たされていない場合（Ｓ６０００：ＮＯ）、ステップＳ１０００へ戻って処理を繰り返す。一方で、結果出力部１５０は、所定の処理終了条件が満たされている場合（Ｓ６０００：ＹＥＳ）、一連の処理を終了する。

このような動作により、部位推定装置１００は、画素ごとのエッジペア尤度および想定領域ごとの連続性尤度を基に抽出した対象部位の候補領域の中から、最も適切な候補領域を抽出して示す統合尤度マップを生成することができる。これにより、部位推定装置１００は、部位の輪郭を直線で抽出することが難しい画像であっても、人３４０の対象部位を推定することができる。

以上で、部位推定装置１００の動作についての説明を終える。

次に、図６および図７を用いて、エッジペア尤度マップ生成処理（図５のステップＳ２０００）の一例について説明する。

図６は、エッジペア尤度マップ生成処理（図５のステップＳ２０００）の動作の一例を示すフローチャートである。図７は、勾配方向が水平方向であるエッジペア尤度マップの生成処理を説明するための図である。ここでは、水平方向を０度として、水平方向のエッジペア尤度マップを生成する例を説明する。

ステップＳ２００１において、エッジペア尤度マップ生成部１２０は、生成するエッジペア尤度マップの勾配方向の刻み幅を選択する。ここでは例として、刻み幅が、予め３０度に設定されているとする。このように勾配方向を３０度刻みとする場合、０度、３０度、６０度、９０度、１２０度、１５０度の６つのエッジペア尤度マップが生成されることになる。よって、その場合、エッジペア尤度マップ生成部１２０は、ステップＳ２００２からＳ２００６の処理を６回繰り返すことになる。

勾配方向の刻み幅は、対象部位の推定精度に影響する。高い推定精度が求められる場合、ユーザは、刻み幅を細かく設定すればよい。例えば、刻み幅を４５度に設定した場合と３０度に設定した場合とを比較すると、３０度に設定した場合の方が、対象部位の推定精度が高くなる。

ステップＳ２００２において、エッジペア尤度マップ生成部１２０は、腕候補領域７１０から、注目画素を選択する。腕候補領域７１０は、画像入力部１１０から入力した画像の一例である。例えば、図７において、エッジペア尤度マップ生成部１２０は、左上隅の画素（※で示す画素）を起点としてＸ座標とＹ座標をそれぞれ１ずつインクリメントすることで、図７に示す全ての画素を注目画素として選択する。ただし、選択の方法はこれに限定されない。図７では、腕候補領域７１０から注目画素７０２が選択された場合を例に説明する。

ステップＳ２００３において、エッジペア尤度マップ生成部１２０は、勾配方向ペア画素を選択する。図７では、勾配方向ペア画素として７０４と７０５が選択される。

上述した通り、ここでは、水平方向のエッジペア尤度マップを生成する例としている。よって、エッジペア尤度マップ生成部１２０は、２つの条件を満たす画素として、７０４および７０５の２つを勾配方向ペア画素として選択する。２つの条件とは、注目画素７０２を通り水平な直線と垂直となる直線上にあること、および、注目画素７０２からの距離が対象部位の太さ７０１の半分の長さ７０３であること、である。すなわち、角度θのエッジペア尤度マップを生成する場合には、エッジペア尤度マップ生成部１２０は、注目画素を通り、角度θと垂直（θ＋９０度）の直線上で、距離が対象部位の太さ７０１の半分の長さ７０３となる画素を、勾配方向ペア画素として２つ選択するものとする。なお、対象部位の太さ７０１は、対象部位の太さの平均を表す、予め定められた値である。

ステップＳ２００４において、エッジペア尤度マップ生成部１２０は、勾配方向ペア画素のそれぞれから予め設定された距離以内にある画素群を、勾配方向ペア近傍領域としてそれぞれ選択する。図７では、勾配方向ペア画素７０４および７０５のそれぞれから、近傍の長さ７０８の距離以内にある画素群が、勾配方向ペア近傍領域７０６および７０７としてそれぞれ選択されている。近傍の長さ７０８は、部位の見えの誤差の長さを表す、予め定められた値である。

ここで、上記「部位の見えの誤差の長さ」とは、画像上における、対象部位の太さの差のことである。対象部位は、その部位の端と中央とで太さが異なる場合がある。また、対象部位は、撮影される角度により、画像上での太さが異なって撮影されたり、部位の両端で太さが異なって撮影されたりすることがある。さらには、対象部位は、服のしわ等で太さが均一に撮影されないこともある。そのため、部位の平均の太さに対する、所定の画像上の部位の太さの差を、部位の見えの誤差の長さとして予め設定しておくことで、ロバストな推定が可能となる。

ステップＳ２００５において、エッジペア尤度マップ生成部１２０は、注目画素７０２のエッジペア尤度を計算する。具体的には、エッジペア尤度マップ生成部１２０は、勾配方向ペア近傍領域７０６内の画素の輝度の総和と、勾配方向ペア近傍領域７０７内の画素の輝度の総和との積を、エッジペア尤度として算出する。

なお、エッジペア尤度マップ生成部１２０は、勾配方向ペア近傍領域７０６内で所定値以上の輝度Ｙを持つ画素の数と、勾配方向ペア近傍領域７０７内で所定値以上の輝度Ｙを持つ画素の数の積を、エッジペア尤度として算出するようにしてもよい。これにより、エッジペア尤度マップ生成部１２０は、各勾配方向ペア近傍領域７０６、７０７の大きさでエッジペア尤度を正規化することができる。

ステップＳ２００６において、エッジペア尤度マップ生成部１２０は、腕候補領域７１０の全画素についてエッジペア尤度の算出が終了したか否かを判断する。全画素について計算が終了していれば（Ｓ２００６：ＹＥＳ）、エッジペア尤度マップ生成部１２０は、ステップＳ２００１で選択した刻み幅のエッジペア尤度マップの生成が終了したと判断し、ステップＳ２００７に進む。一方、全画素について計算が終了していなければ（Ｓ２００６：ＮＯ）、エッジペア尤度マップ生成部１２０は、ステップＳ２００１で選択した刻み幅のエッジペア尤度マップの生成が終了していないと判断し、ステップＳ２００２に進む。

ステップＳ２００７において、エッジペア尤度マップ生成部１２０は、全ての勾配方向についてエッジペア尤度の算出が終了したか否かを判断する。全ての勾配方向について計算が終了していれば（Ｓ２００７：ＹＥＳ）、エッジペア尤度マップ生成部１２０は、予め定められた全ての勾配方向のエッジペア尤度マップの生成が終了したと判断し、一連の処理を終了する。一方、全ての勾配方向について終了していなければ（Ｓ２００７：ＮＯ）、エッジペア尤度マップ生成部１２０は、予め定められた全ての勾配方向のエッジペア尤度マップの生成が終了していないと判断する。よって、エッジペア尤度マップ生成部１２０は、未生成である勾配方向のエッジペア尤度マップを生成するために、ステップＳ２００１に進む。

なお、上記図７の説明では、部位の太さ７０１と近傍の長さ７０８に関して、予め値を設定しておく例について説明したが、これに限定されない。すなわち、エッジペア尤度マップ生成部１２０は、人物候補領域または腕候補領域の大きさに比例して、値を動的に変化させ、適切な値に調節するようにしてもよい。これにより、エッジペア尤度マップ生成部１２０は、人３４０の画像上の大きさに応じて対象部位の太さ７０１と近傍の長さ７０８を、適切な値に変化させることができる。その結果、エッジペア尤度マップ生成部１２０は、より精度の高いエッジペア尤度マップを勾配方向別に生成できる。

次に、図８および図９を用いて、連続性尤度マップ生成処理（図５のステップＳ３０００）の一例について説明する。

エッジペア尤度マップでは、対象部位が存在する領域内の画素は、対象部位が存在しない領域内の画素よりも、各画素の各勾配方向ペア近傍領域にエッジが存在する確率が高いため、エッジペア尤度が高くなる。したがって、連続性尤度マップ生成部１３０は、対象部位の候補領域内の特定の画素のみのエッジペア尤度が高く、特定の画素の周囲の画素のエッジペア尤度が低い場合には、その候補領域は、部位領域ではないと判断できることを利用する。

図８は、連続性尤度マップの基となるエッジペア尤度マップの一例を示す図である。図８では、エッジペア尤度マップの一部の領域８１０において、各画素の水平方向のエッジペア尤度を示している。

連続性尤度マップ生成部１３０は、連続性尤度マップの生成にあたり、対象部位の大きさや形状を想定した領域である部位矩形８０１を用いる。部位矩形８０１は、想定領域の一例である。図８では、部位矩形８０１は、上腕または前腕を想定した長方形を例示している。ただし、連続性尤度マップ生成部１３０は、対象部位の大きさや形状に応じた部位矩形を設定できる。また、部位矩形８０１は、長方形を例示しているが、対象部位の大きさや形状に応じた楕円を用いてもよい。部位の接続元および先端は、接続部位の形状が影響して部位の中央よりもエッジペア尤度が低い傾向があるため、部位矩形を楕円とすることで、部位の接続元および先端の影響度を低減し、より精度よく候補領域を抽出することができる。

図８に示す部位矩形８０１は、短辺が対象部位の平均の太さ、長辺は対象部位の平均の長さを想定している。

連続性尤度マップ生成部１３０は、部位矩形８０１の長辺の方向をエッジペア尤度マップの勾配方向と一致させる。そして、連続性尤度マップ生成部１３０は、部位矩形８０１に含まれる画素のエッジペア尤度の総和を評価する。

図８では、勾配方向が水平方向のエッジペア尤度を示すため、連続性尤度マップ生成部１３０は、部位矩形８０１の長辺の方向を水平に設定する。また、連続性尤度マップ生成部１３０は、例えば、部位矩形８０１の初期位置を連続性尤度マップの左上隅に設定する。そして、連続性尤度マップ生成部１３０は、ｘ軸方向での１画素ずつの走査と、ｙ軸方向での１行移動とを繰り返す。これにより、連続性尤度マップ生成部１３０は、連続性尤度マップの全領域において、部位矩形８０１に含まれる画素のエッジペア尤度の総和を評価する。

例えば、図８において、エッジペア尤度マップのエッジペア尤度Ｐを、注目画素の位置を示すｘ座標ｘ、ｙ座標ｙ、勾配方向ｋを用いて、Ｐ（ｘ、ｙ、ｋ）とする。また、部位矩形８０１の左上隅の画素の位置を（ｉ,ｊ）とし、部位矩形の長辺の長さをｒ、短辺の長さをｓ、勾配方向ｋとする。このとき、連続性尤度マップ生成部１３０は、部位矩形８０１で囲まれた画素のエッジペア尤度の総和Ｔを、以下の式で求める。

図８の例では、（ｉ,ｊ）＝（４，３）、ｒ＝５、ｓ＝２である。よって、上記式での算出の結果、部位矩形８０１内の画素のエッジペア尤度の総和Ｔは、４１となる。

連続性尤度マップ生成部１３０は、エッジペア尤度の総和が所定の閾値以上の場合、部位矩形８０１に含まれる画素のエッジペア尤度マップ上の座標情報を、総和の評価結果のリスト情報に追加して保持しておく。連続性尤度マップ生成部１３０は、腕候補領域７１０の全領域について、部位矩形８０１に含まれる画素のエッジペア尤度の総和の評価が終了した後、以下の動作を行う。すなわち、連続性尤度マップ生成部１３０は、上記リスト情報において座標情報が保持されている画素のエッジペア尤度のみを保持する。もしくは、連続性尤度マップ生成部１３０は、残りの画素のエッジペア尤度を、エッジペア尤度がないことを示す値（例えばゼロ）に設定するようにしてもよい。このようにして、エッジペア尤度を評価した後の尤度を、「連続性尤度」と呼ぶことにする。

図９は、図８に示すエッジペア尤度マップを基に生成された連続性尤度マップの一例を示す図である。

図８において、所定の閾値が４０の場合、腕候補領域の一部８１０の全領域について部位矩形８０１に含まれる画素のエッジペア尤度の総和の評価が終了したとする。このとき、エッジペア尤度の総和の評価結果のリスト情報に保持されている画素は、図８の部位矩形８０１で囲まれた領域の画素のみとなる。連続性尤度マップ生成部１３０は、部位矩形８０１で囲まれた領域以外の画素のエッジペア尤度を、エッジペア尤度がないことを示す値（例えばゼロ）に設定して、連続性尤度マップを生成する。この結果、図９に示すように、連続性尤度マップ８２０が生成される。

ここで、所定の閾値は、対象部位の部位矩形８０１によって異なるものであってもよい。例えば、対象部位の部位矩形８０１の大きさに比例して閾値を変えてもよい。また、身体モデルにおける対象部位の位置によって、閾値を変えてもよい。例えば、対象部位が身体モデルの先端にある場合には、対象部位が他の部位と重ならず、検出される可能性が高いため閾値を高く設定し、対象部位が身体モデルの中央にある場合には、他の部位と重なる可能性が高く、検出される可能性が低いため閾値を低く設定することでよりロバストな連続性尤度マップを生成するようにしてもよい。また、事前に準備した画像のエッジペア尤度を用いて、対象部位の部位矩形８０１に含まれる画素のエッジペア尤度の総和を学習しておくようにしてもよい。

連続性尤度マップ生成部１３０は、上記処理を、勾配方向別のエッジペア尤度マップ全てに対して繰り返す。これにより、勾配方向別に連続性尤度マップが生成される。

このように、連続性尤度マップ生成部１３０は、各画素のエッジペア尤度を閾値でフィルタリングするのではなく、対象部位の大きさや形状を想定した領域（例えば、部位矩形８０１）単位で閾値を設定し、エッジペア尤度をフィルタリングする。これにより、連続性尤度マップ生成部１３０は、画素単体ではエッジペア尤度が低い画素であっても、部位領域に含まれる可能性が高い画素を残すことができる。また、連続性尤度マップ生成部１３０は、画素単体でエッジペア尤度が高くても、対象部位の大きさや形状を想定した領域のエッジペア尤度の総和が閾値より小さければ、対象部位の領域の条件を満たさない画素のエッジペア尤度をノイズとして除去することができる。

次に、図１０を用いて、統合尤度マップ生成処理（図５のステップＳ４０００）の一例について説明する。

図１０は、統合尤度マップ生成処理（図５のステップＳ４０００）の動作の一例を示すフローチャートである。

統合尤度マップは、勾配方向別に生成した連続性尤度マップの全てを用いて作成され、最も対象部位の可能性が高い領域を示すマップである。

ステップＳ９００１において、統合尤度マップ生成部１４０は、連続性尤度マップの同一勾配方向ごとに、対象部位の候補領域の数をカウントする。すなわち、勾配方向が６つある場合、統合尤度マップ生成部１４０は、６つの勾配方向ごとに候補領域の数をカウントする。ここでいう「対象部位の候補領域」とは、連続性尤度マップにおいて、同一勾配方向に連続した画素に、連続性尤度が付与された領域のことである。例えば、図９の例では、対象部位の候補領域の数は１である。本実施の形態では、６つの勾配方向ごとに候補領域の数をカウントしたところ、５つの候補領域が抽出されたとする。

ステップＳ９００２において、統合尤度マップ生成部１４０は、勾配方向別にカウントした対象部位の候補領域の数の総和と、対象部位の数とを比較する。ここでいう「対象部位の数」は、予め定められた値である。比較の結果、候補領域の数の総和が対象部位の数以下だった場合（Ｓ９００２：ＹＥＳ）、統合尤度マップ生成部１４０は、連続性尤度マップを統合尤度マップとし、一連の処理を終了する。一方、候補領域の数の総和が対象部位数より大きい場合（Ｓ９００２：ＮＯ）、統合尤度マップ生成部１４０は、ステップＳ９００３に進む。

本実施の形態では、対象部位の数を４（右前腕４２０、右上腕４１９、左上腕４２２、左前腕４２３）としている。そのため、統合尤度マップ生成部１４０は、候補領域の数の総和が４以下ならば、一連の処理を終了し、４より多ければステップＳ９００３に進む。

ステップＳ９００３において、統合尤度マップ生成部１４０は、勾配方向別にカウントした対象部位の候補領域ごとに、候補領域に含まれる画素の連続性尤度の総和を算出する。そして、統合尤度マップ生成部１４０は、算出した総和が高い領域から順に、対象部位の数の候補領域を抽出する。

本実施の形態では、対象部位の数を４としているため、統合尤度マップ生成部１４０は、５つ全ての候補領域について、候補領域に含まれる画素の連続性尤度の総和を算出する。そして、統合尤度マップ生成部１４０は、算出した総和の値が高い領域から順に、４つの候補領域を抽出する。

ステップＳ９００４において、統合尤度マップ生成部１４０は、抽出した候補領域が対象部位の身体制約を満たすか否かを判定する。

例えば、本実施の形態では、対象部位は上腕または前腕であり、上腕と前腕は少なくとも関節で接続している、という身体制約を用いるとする。具体的には、各候補領域の少なくとも一方の先端付近には、他の候補領域の先端が存在しているという判定基準を用いる。

ここで、候補領域の先端の位置を表す先端座標を特定する方法の一例を説明する。

例えば、図９に示す、勾配方向が水平方向である連続性尤度マップにおいて、候補領域を通り水平方向（Ｘ軸方向）の直線群を考える。この直線群のうち、直線と候補領域の重なる長さが最も長くなる直線を考える。この直線と候補領域の境界の画素を候補領域の先端の画素とする。例えば、図９では、候補領域の先端の画素をＸ軸とＹ軸の値（ｘ、ｙ）で表現すると、（４，３）と（８，３）、または（４，４）と（８，４）となる。ここでは、候補領域の先端の画素が複数あった場合には、各座標の値の平均値を先端座標とするため、（４，３.５）と（８，３.５）とする。

本実施の形態では、同様にして、統合尤度マップ生成部１４０は、他の３つの候補領域の先端座標を求める。そして、統合尤度マップ生成部１４０は、候補領域ごとに、部位領域のどちらか一方の先端から所定の距離内に他の候補領域の先端が存在するかを判定する。そして、統合尤度マップ生成部１４０は、全ての候補領域について、部位領域のどちらか一方の先端から所定の距離内に他の候補領域の先端が存在する場合には、身体制約を満たすと判断する。ここで、上記「所定の距離」とは、部位領域の大きさに依存し、部位領域の短辺より短い長さである。

統合尤度マップ生成部１４０は、身体制約を満たせば（Ｓ９００４：ＹＥＳ）、抽出した候補領域の連続性尤度を保持し、他の値を連続性尤度がないことを示す値（例えばゼロ）に設定して統合尤度マップを生成し、一連の処理を終了する。一方、統合尤度マップ生成部１４０は、身体制約を満たさなければ（Ｓ９００４：ＮＯ）、ステップＳ９００３に戻り、候補領域の抽出を継続する。

なお、統合尤度マップ生成部１４０は、全ての候補領域の組み合わせが身体制約を満たさなかった場合、最も身体制約に近い候補領域の組み合わせを、候補領域とみなして抽出する。そして、統合尤度マップ生成部１４０は、抽出した候補領域の連続性尤度を保持し、他の値を連続性尤度がないことを示す値（例えばゼロ）に設定して統合尤度マップを生成し、一連の処理を終了する。

統合尤度マップ生成部１４０が、所定の候補領域について、最も身体制約に近いか否かを判断する方法の一例について説明する。まず、統合尤度マップ生成部１４０は、部位領域のどちらか一方の先端から所定の距離内に他の候補領域の先端が存在しない部位候補について、部位領域のどちらか一方の先端から他の候補領域の先端までの最短距離を算出し、候補領域の組み合わせごとに、最短距離と所定の距離の差の和を計算する。統合尤度マップ生成部１４０は、この値が小さいものを身体制約に近いと判断する。

このように、部位推定装置１００は、勾配方向別に生成した連続性尤度マップを活用して、身体制約も考慮して、最も部位である可能性が高い領域のみを抽出する、これにより、さらに精度よく部位を推定することができる。

なお、ここでは、統合尤度マップ生成部１４０は、「前腕と上腕は関節で接続されている」という身体制約を用いたが、別途、頭や肩の位置を推定する処理を行い、「肩の近傍に上腕の候補領域の先端が存在する」という身体制約を用いてもよい。これにより、部位推定装置１００は、さらに精度よく部位を推定することができる。

また、図９に示すフローにおいて、身体制約を満たすか否かの判定（ステップＳ９００４）自体を省略してもよい。

以上説明したように本実施の形態によれば、以下の作用および効果を得ることができる。すなわち、部位推定装置１００はまず、入力した画像の画素ごとに、局所領域での対象部位らしさを数値化したエッジペア尤度マップを、勾配方向別に生成する。これにより、部位推定装置１００は、局所領域における対象部位らしさをもれなく抽出することができる。続いて、部位推定装置１００は、エッジペア尤度マップ上において対象部位に相当する領域を基に判別した対象部位らしさを示す連続性尤度マップを、勾配方向別に生成する。これにより、部位推定装置１００は、局所領域では部位らしさを満たしていても、領域としての部位らしさを満たさない領域を、部位でないと判断することができる。さらに、部位推定装置１００は、連続性尤度マップから勾配方向別に抽出した候補領域の中から、最も対象部位らしい身体制約を満たす領域を絞り込んで示す統合尤度マップを生成する。これにより、部位推定装置１００は、人３４０の対象部位を推定することができる。以上の一連の動作により、部位推定装置１００は、上述の通り、部位の輪郭を直線で抽出することが難しい画像であっても、人３４０の部位を高精度に推定することができる。

（実施の形態３）
本発明の実施の形態３は、本発明を、撮影された画像に含まれる人の部位を推定する装置に適用した場合の、具体的態様の一例である。

本実施の形態は、実施の形態２に機能を追加したものであり、実施の形態２と同一部分には同一符号を付し、それらについての説明を省略する。

本実施の形態において、部位推定装置は、画像中に、対象部位と類似する形状の人工物が存在する場合、対象部位と人工物を区別することによって、より精度よく部位を推定する。

まず、本実施の形態に係る部位推定装置を含む部位推定システムの概要は、実施の形態２と同様である。

次に、部位推定装置１００ｂの構成について説明する。

図１１は、部位推定装置１００ｂの構成の一例を示すブロック図である。図１１において、部位推定装置１００ｂは、画像入力部１１０、エッジペア尤度マップ生成部１２０、連続性尤度マップ生成部１３０、分散尤度マップ生成部１６０、統合尤度マップ生成部１４０ｂ、結果出力部１５０を有する。

図１１において、図４と異なる部分は、２つある。１つは、分散尤度マップ生成部１６０が追加されていること、である。もう１つは、統合尤度マップ生成部１４０ｂが、分散尤度マップ生成部１６０が生成した分散尤度マップを用いて、統合尤度マップを生成すること、である。

分散尤度マップ生成部１６０は、連続性尤度マップ生成部１３０が勾配方向別に生成した連続性尤度マップのそれぞれにおいて、予め定義された想定領域（例えば部位矩形）内に含まれる連続性尤度の分散を評価する。そして、分散尤度マップ生成部１６０は、連続性尤度の分散の評価を、連続性尤度マップ全体を網羅するまで繰り返すことで、分散尤度マップを生成する。上記「予め定義された想定領域」とは、例えば、対象部位の候補領域である。ここでいう「対象部位の候補領域」とは、連続性尤度マップにおいて、同一勾配方向に連続した画素に対して、連続性尤度が付与された領域のことである。

具体的には、分散尤度マップ生成部１６０は、連続性尤度マップの連続性尤度の分散が、対象部位の分散と異なる、と判断された連続性尤度を削除する。もしくは、分散尤度マップ生成部１６０は、対象部位の分散と類似していると判断された連続性尤度のみを保持するようにしてもよい。このようにして、分散尤度マップが生成される。

この分散尤度マップの生成処理は、人工物と人の部位では、連続性尤度の分散が異なることを利用したものである。工業製品などの人工物のエッジは、人の部位のエッジの勾配と比較すると、単一の勾配で抽出されやすく、分散の値が小さくなる傾向にある。したがって、分散を評価することで、人工物と人の部位を判別することが可能となる。

なお、分散尤度マップの生成手法の詳細については、後述する。

このような部位推定装置１００ｂは、まず、上記実施の形態１、２と同じく、エッジペア尤度マップ生成処理および連続性尤度マップ生成処理を行う。その後、部位推定装置１００は、連続性尤度の分散を評価して対象部位の分散を満たす分散尤度マップを勾配方向別に生成する分散尤度マップ生成処理を行う。そして、部位推定装置１００ｂは、勾配方向別の分散尤度マップを基に、対象部位の身体制約を満たす統合尤度マップを生成する。以上のようにして、部位推定装置１００ｂは、部位の輪郭を直線で抽出することが難しい画像であっても、人工物が混在する画像であっても、人３４０の部位を高精度に推定することができる。

以上で、部位推定装置１００ｂの構成についての説明を終える。

次に、部位推定装置１００ｂの動作について説明する。

図１２は、部位推定装置１００ｂの動作の一例を示すフローチャートである。

図１２が図５と異なるのは、連続性尤度マップ生成処理（Ｓ３０００）と統合尤度マップ生成処理（Ｓ４０００）の間に、分散尤度マップ生成処理（Ｓ７０００）が追加されていることである。

ステップＳ７０００において、分散尤度マップ生成部１６０は、分散尤度マップ生成処理を行う。分散尤度マップ生成処理は、上述の分散尤度マップを生成する処理である。

ここで、分散尤度マップ生成処理（Ｓ７０００）の一例について説明する。

分散尤度マップ生成部１６０は、下記式を用いて分散の値を求める。

画像においては、工業製品等の人工物のエッジは直線で構成されていることが多い。よって、人工物は人３４０の部位よりも連続性尤度マップの分散の値が小さくなることを利用することにより、人工物と人３４０の部位の区別が可能となる。具体的には、分散尤度マップ生成部１６０は、連続性尤度マップの部位の候補領域の分散を、同一勾配方向別に求める。求めた分散の値が所定の閾値よりも小さければ、分散尤度マップ生成部１６０は、候補領域は人工物であると判断する。そして、分散尤度マップ生成部１６０は、分散の値が所定の閾値よりも小さい画素の連続性尤度を、連続性尤度がないことを示す値（例えばゼロ）に設定する。一方で、求めた分散の値が所定の閾値よりも大きければ、候補領域は部位の可能性が高いと判断する。そして、分散尤度マップ生成部１６０は、分散の値が所定の閾値よりも大きい画素の連続性尤度を保持する。例えば、分散尤度マップ生成部１６０は、勾配方向ｋの候補領域の分散が所定の閾値よりも小さい場合、その候補領域に含まれる画素の勾配方向ｋの連続性尤度を、尤度がないことを示す値（例えばゼロ）に設定する。

ここで、分散尤度マップ生成部１６０は、上記「所定の閾値」として、予め学習しておいた値を用いてもよいし、前回部位推定した結果の部位領域の分散の平均の値を基に算出してもよい。または、分散尤度マップ生成部１６０は、今回抽出した候補領域の分散を、判別分析法を用いて人工物と部位に分類してもよい。判別分析法は、分離度が最大となる閾値を求め、自動的に二値化を行う公知の手法である。分離度は人工物と部位の２つのクラスに分類するときのクラス間分散とクラス内分散との比で求められる。

分散尤度マップ生成部１６０が連続性尤度マップの部位の候補領域の分散を算出する手法の一例を説明する。

まず、分散尤度マップ生成部１６０は、連続性尤度マップの部位の候補領域の重心Ｃを、以下の式を用いて算出する。

重心Ｃは、部位の候補領域に含まれるｋ番目の画素Ｇ_ｋのｘ座標とｙ座標の位置をＧ_ｋ＝（ｘ_ｋ，ｙ_ｋ）とすると、画素がｍ個ある場合、以下の式によって算出される。

重心Ｃを通り、部位の候補領域を含む連続性尤度マップの勾配方向と垂直の直線を考える。例えば、部位の候補領域を含む連続性尤度マップの勾配方向がθの場合、重心Ｃを通り、角度がθ＋９０度の直線を考える。そして、分散尤度マップ生成部１６０は、部位の候補領域で、かつ、この直線上の画素の値を、上述した分散σ^２を求める式の値ｘ_ｉとして分散を求める。

分散尤度マップ生成部１６０は、このように算出した部位の候補領域の分散と、予め設定した所定の閾値とを比較する。比較の結果、分散の値が所定の閾値より小さければ、分散尤度マップ生成部１６０は、その領域は部位の可能性が低いと判断して、その勾配方向の連続性尤度を連続性尤度の値がないことを示す値（例えばゼロ）に設定する。もしくは、比較の結果、分散の値が所定の閾値以上であれば、分散尤度マップ生成部１６０は、その領域は部位である可能性が高いと判断して、その勾配方向の連続性尤度のみを保持するようにしてもよい。

なお、ここでは、分散尤度マップ生成部１６０は、部位の候補領域の重心Ｃの一点のみの分散を評価したが、複数の分散を算出してその平均値を用いて判断してもよい。これにより、ロバスト性が向上する。例えば、分散尤度マップ生成部１６０は、重心Ｃを通り、部位の候補領域を含む連続性尤度マップの勾配方向の直線上の、重心Ｃ以外の画素についても、上記重心Ｃについて行った処理と同じ処理を行って、複数の分散を求めてもよい。

なお、連続性尤度マップ生成部１３０は、部位矩形８０１を用いて連続性尤度マップを生成する際、部位矩形８０１近傍の画素のエッジペア尤度を残すようにしてもよい。分散は、データのばらつきを示す値であり、期待値から離れている値の量によって大きさが変わる。したがって、期待値から離れているエッジペア尤度を残すと、人工物と部位の分散の違いが大きくなり、判別しやすくなる。これについて、図１３を用いて説明する。

図１３は、分散尤度マップの基となる連続性尤度マップの一例を示す。連続性尤度マップ８２０は、連続性尤度マップ生成部１３０が、部位矩形８０１に含まれる画素のエッジペア尤度だけでなく、部位矩形８０１の近傍領域８０２に含まれる画素のエッジペア尤度も保持して生成したものである。

図１３の連続性尤度マップ８２０においては、部位矩形８０１には含まれないが、部位矩形８０１の近傍領域８０２に含まれる画素にも比較的高いエッジペア尤度（連続性尤度）が存在している。そのため、図１３の連続性尤度マップ８２０を用いて算出された分散は、図９の連続性尤度マップ８２０から算出された分散よりも、大きくなる。これにより、分散尤度マップ生成部１６０は、人工物と部位を精度よく区別することができる。このように、分散尤度マップ生成部１６０が部位矩形だけでなく近傍領域８０２を含めて分散を求めることで、人工物と部位を判別する精度を向上させることができる。

なお、図１３では、部位矩形の各辺を１画素ずつ大きくした近傍領域８０２を例として示したが、これに限定されない。近傍領域８０２は、部位矩形８０１の大きさや対象部位の種類などに応じて、変動するようにしてもよい。

なお、ここでは、分散尤度マップ生成部１６０が候補領域内の分散を評価する例について説明したが、分散ではなく連続性尤度の平均値も用いて評価してもよい。これは、人工物の連続性尤度は、分散の値が小さいため、連続性尤度の平均値が高くなる傾向がある特性を利用する。この場合、分散尤度マップ生成部１６０は、候補領域内の連続性尤度を持つ画素の平均値を求める。

例えば、図９において、連続性尤度マップの連続性尤度Ｐを、画素の位置を示すｘ座標ｘ、ｙ座標ｙ、勾配方向ｋを用いて、Ｐ（ｘ，ｙ，ｋ）とする。また、部位矩形８０１の左上隅の画素の位置を（ｉ，ｊ）とし、部位矩形の長辺の長さをｒ、短辺の長さをｓ、勾配方向ｋ、部位矩形内で連続性尤度が０の画素の数をｕ、とする。このとき、部位矩形８０１に含まれる画素の連続性尤度の平均値Ａは、以下の式で求められる。

分散尤度マップ生成部１６０は、上記式により算出した部位の候補領域内の連続性尤度の平均値と、予め設定した所定の閾値とを比較する。比較の結果、平均の値が所定の閾値より大きければ、分散尤度マップ生成部１６０は、その領域は部位である可能性が低いと判断する。そして、分散尤度マップ生成部１６０は、その勾配方向の連続性尤度を、連続性尤度の値がないことを示す値（例えばゼロ）に設定する。一方、比較の結果、連続性尤度の平均の値が所定の閾値以下であれば、分散尤度マップ生成部１６０は、その領域は部位である可能性が高いと判断し、その勾配方向の連続性尤度を保持する。

なお、本実施の形態では、分散尤度マップ生成部１６０は、連続性尤度マップを用いて分散尤度マップを生成したが、エッジペア尤度マップを用いて同様に分散尤度マップを生成してもよい。その場合、エッジペア尤度マップには部位の候補領域がないため、分散尤度マップ生成部１６０は、全ての画素について、その画素の所定の距離内の領域について分散を計算して、人工物を判別する処理を行う。

このようにすることで、エッジペア尤度マップから人工物の可能性が高い領域のエッジペア尤度を取り除いて、部位を推定することができる。

このような部位推定装置１００ｂは、まず、上記実施の形態１、２と同じく、エッジペア尤度マップ生成処理および連続性尤度マップ生成処理を行う。その後、部位推定装置１００ｂは、連続性尤度マップを基に連続性尤度の分散を評価して、対象部位の分散の条件を満たす分散尤度マップを勾配方向別に生成する分散尤度マップ生成処理を行う。そして、部位推定装置１００ｂは、勾配方向別の分散尤度マップを基に、対象部位の身体制約を満たす統合尤度マップを生成する。以上のようにして、部位推定装置１００ｂは、部位の輪郭を直線で抽出することが難しい画像であっても、人工物が混在する画像であっても、人３４０の部位を高精度に推定することができる。

（実施の形態４）
本発明の実施の形態４は、対象部位を腕（右上腕４１９、右前腕４２０、左上腕４２２、左前腕４２３）としたときに、胴や頭など対象部位以外（以下、「非推定対象部位」という）の情報を用いる場合の例である。

本実施の形態に係る部位推定装置は、まず、画像から非推定対象部位の輪郭を抽出する。その後、部位推定装置は、連続性尤度マップまたは分散尤度マップにおいて、抽出した非推定対象部位の輪郭の近傍領域のエッジペア尤度または連続性尤度を下げて、その後の対象部位の推定処理を進める。これは、対象部位と非推定対象部位が画像上で重なることによって、非推定対象部位が存在する近傍の領域の画素のエッジペア尤度または連続性尤度が高くなっている可能性があることを鑑みたものである。このようにすることで、部位推定装置は、非推定対象部位の影響を取り除いて、より精度よく部位を推定することができる。

図１４は、本実施の形態に係る部位推定装置の構成の一例を示すブロック図であり、実施の形態２の図４に対応するものである。図１４において、図４と同一部分には同一符号を付し、それらについての説明は省略する。

図１４において、部位推定装置１００ｃは、図４の構成に加えて輪郭領域推定部１７０を有する。

本実施の形態では、対象部位を腕（右上腕４１９、右前腕４２０、左上腕４２２、左前腕４２３）として説明し、非推定対象部位を頭４１８と胴４１１として説明する。

輪郭領域推定部１７０は、画像から人３４０の非推定対象部位の輪郭を抽出し、その近傍の領域を輪郭領域として抽出する。

輪郭領域推定の一例を説明する。

まず、輪郭領域推定部１７０は、入力された画像から、背景差分画像を生成して、人３４０の人候補領域を抽出する。ここで、背景差分画像とは、例えば、人３４０がいない状態で撮影された背景画像と、入力された画像との差分を示す画像である。

これにより、輪郭領域推定部１７０は、背景と異なる画素を人候補領域として扱うことができる。

なお、輪郭領域推定部１７０は、例えば、背景画像を予め保持し、背景画像と入力画像との差分を演算することにより背景差分画像を生成する。あるいは、輪郭領域推定部１７０は、移動物体の領域を抽出することにより、背景差分画像を生成してもよい。また、輪郭領域推定部１７０は、例えば、前回入力された画像と今回入力された画像とで、輝度の異なる画素を抽出することにより移動物体の領域を抽出し、移動体物体の領域を人候補領域としてもよい。

本実施の形態では、まず、輪郭領域推定部１７０は、人候補領域のうち、上部の領域を、頭候補領域として抽出する。上部の領域は、例えば、人候補領域のうち上端から下方に向かって所定の比率（例えば、３０％）の部分を含む領域として、予め定められている。輪郭領域推定部１７０は、この頭候補領域において輪郭となる画素を、頭の輪郭の画素として抽出する。

さらに、輪郭領域推定部１７０は、抽出した頭候補領域から、ハフ変換などを用いて頭領域を抽出してもよい。ハフ変換は公知の技術であり、エッジ情報から円の中心（Ｘ座標、Ｙ座標）と半径を表す三つのパラメータを求めることができる。輪郭領域推定部１７０は、この円上の画素を頭の輪郭の画素として抽出してもよい。

輪郭領域推定部１７０は、頭候補領域から抽出した頭の輪郭の画素に、ハフ変換などによって求められた円上の画素を加えて頭の輪郭としてもよい。このようにすることで、輪郭領域推定部１７０は、人候補領域に欠損があった場合にも、よりロバストに頭の輪郭の画素を抽出できる。

また、輪郭領域推定部１７０は、頭候補領域から抽出した頭の輪郭の画素と頭候補領域から抽出した円状の画素の共通の画素を頭の輪郭として抽出してもよい。このようにすることで、輪郭領域推定部１７０は、より確実に頭の輪郭の画素を抽出できる。

次に、輪郭領域推定部１７０は、人候補領域のうち、中部の領域を、胴候補領域として抽出する。中部の領域は、例えば、人候補領域のうち、所定の比率（例えば上から２０％から６０％）の部分を含む領域として、予め定められている。輪郭領域推定部１７０は、この胴候補領域において輪郭となる画素を、胴の輪郭として抽出する。

さらに、輪郭領域推定部１７０は、頭の輪郭の画素の抽出と同様に、抽出した胴候補領域から、ハフ変換などを用いて楕円形状の胴候補領域を抽出してもよい。

輪郭領域推定部１７０は、胴候補領域から抽出した胴の輪郭の画素に、ハフ変換などを用いて求められた楕円上の画素を加えて胴の輪郭の画素として抽出してもよい。このようにすることで、輪郭領域推定部１７０は、胴候補領域に欠損があった場合にも、よりロバストに胴の輪郭の画素を抽出できる。

また、輪郭領域推定部１７０は、胴候補領域で抽出した画素と胴候補領域から抽出した楕円上の画素の共通の画素を、胴の輪郭の画素として抽出してもよい。このようにすることで、輪郭領域推定部１７０は、より確実に胴の輪郭の画素を抽出できる。

輪郭領域推定部１７０は、このように抽出した、頭４１８と胴４１１の輪郭の画素とその近傍の領域を、輪郭領域とする。具体的には、輪郭領域推定部１７０は、頭と胴の輪郭を中心として所定の距離内にある画素を輪郭領域とする。ここで、所定の距離とは、例えば、対象部位の画像上での見えの誤差の大きさに基づいて決めてもよい。

輪郭領域推定部１７０は、推定した輪郭領域を、統合尤度マップ生成部１４０ｃに出力する。

統合尤度マップ生成部１４０ｃは、輪郭領域推定部１７０が推定した輪郭領域と、連続性尤度マップ生成部が生成した連続性尤度マップを用いて、統合尤度マップを生成する。

統合尤度マップ生成部１４０ｃは、図１０のＳ９００３においてエッジペア尤度の総和が高い領域を抽出する際、輪郭領域推定部１７０が推定した輪郭領域と座標の位置が重なる候補領域の優先度を下げて、抽出する。「優先度」は、換言すれば、抽出（選択）される優先度である。具体的には、統合尤度マップ生成部１４０ｃは、例えば、座標の位置が重なる領域については、エッジペア尤度の総和から所定の値を減算した値に変更する。このようにすることで、統合尤度マップ生成部１４０ｃは、座標の位置が重ならない領域を、候補領域として優先的に選択することになる。よって、部位推定装置１００ｃは、非推定対象部位の輪郭が、連続性尤度マップ生成時の条件であるエッジペア尤度の連続性を満たしている場合でも、精度よく対象部位を推定することができる。

ここで、上記「所定の値」とは、例えば、該当する候補領域のうち、候補領域と輪郭領域が重なる画素の割合（候補領域のうち輪郭領域と重なる画素数を候補領域の画素数で除したもの）と、該当する候補領域の総和との積、としてもよい。

または、統合尤度マップ生成部１４０ｃは、輪郭領域と、座標の位置が重なる候補領域を、対象部位数より優先度が下になるようにしてもよい。例えば、対象部位数が４で、候補領域が６つ抽出されており、エッジペア尤度の総和の多い順に並べると３番の候補領域が座標の位置が重なる場合を考える。この場合、統合尤度マップ生成部１４０は、この候補領域の総和の順を３番から５番以降に優先度を下げ、図１０において一回目のＳ９００４の処理で用いる組み合わせには入らないようにしてもよい。

なお、輪郭領域推定部１７０が推定した輪郭領域と座標の位置が重なるだけでなく、輪郭領域の向きが候補領域の方向と一致した場合に、優先度を下げるようにしてもよい。輪郭領域の向きとは、例えば、対象部位が身体モデル４１０の胴４１１であった場合、胴の左右の長辺の輪郭を直線で近似した場合の角度である。直線の近似は、公知の技術である最小二乗法により回帰直線を求める方法を用いてもよい。こうすることで、候補領域が、輪郭とノイズによってエッジペア尤度が高くなっている場合にも、精度よく部位を推定することができる。

なお、候補領域と部位矩形の類似度に応じて、優先度を変えるようにしてもよい。候補領域と部位矩形の類似度は、例えば、候補領域と部位矩形を重心で重ねたときに、候補領域と部位矩形が一致しない画素の数をカウントし、一致しない画素の数が多いほど、類似度が低いと判断し、優先度を下げるようにしてもよい。こうすることで、部位矩形と類似度の低い候補領域の優先度が下がり、服の柄などのノイズによってエッジペア尤度が高くなっている場合にも、精度よく部位を推定することができる。

なお、図１５に示すように、統合尤度マップ生成部１４０ｃは、輪郭領域推定部１７０が推定した輪郭領域と、分散尤度マップ生成部１６０が生成した分散尤度マップを用いて、統合尤度マップを生成するようにしてもよい。このようにすることで、部位推定装置１００ｃは、画像に人工物が含まれる場合にも、精度よく部位推定が行える。

これにより、部位推定装置１００ｃは、非推定対象部位の存在によりエッジペア尤度が高くなっている可能性のある領域を部位領域の候補から除外することができるため、部位推定の精度を向上させることができる。

なお、以上説明した、本発明の実施の形態２、実施の形態３、実施の形態４では、背景差分画像から対象部位を推定する処理について説明したが、これに限定されない。例えば、部位推定装置は、公知技術であるメディアンフィルタを用いて背景差分画像からノイズを除去した画像を用いてもよい。また、部位推定装置１００は、背景差分画像とエッジ画像とを重畳して得られる画像を用いてもよい。

また、上記実施の形態１〜４では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連係においてソフトウェアでも実現することも可能である。

本発明は、人、動物またはロボットなどの多関節物体の部位を推定する、部位推定装置、部位推定方法、および部位推定プログラムとして有用である。

１００、１００ｂ、１００ｃ 部位推定装置
１１０ 画像入力部
１２０ エッジペア尤度マップ生成部
１３０ 連続性尤度マップ生成部
１４０、１４０ｂ、１４０ｃ 統合尤度マップ生成部
１５０ 結果出力部
１６０ 分散尤度マップ生成部
１７０ 輪郭領域抽出部
２００ 部位推定システム
３１０ 監視エリア
３２０ 監視カメラ
３３０ 床面
３４０ 人

Claims (7)

1. 画像中の画素ごとに、当該画素の近傍に存在するペアの画素が、推定対象である部位のエッジであることの尤もらしさを示すエッジペア尤度を算出し、当該エッジペア尤度を前記画素ごとに示すエッジペア尤度マップを生成するエッジペア尤度マップ生成部と、
   前記エッジペア尤度マップに対し、前記推定対象である部位を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価し、連続性のあるエッジペア尤度を、前記推定対象である部位を示す候補領域として示す連続性尤度マップを生成する連続性尤度マップ生成部と、
   前記連続性尤度マップが示す前記候補領域を、予め定められた条件を基に絞り込んで示す統合尤度マップを生成する統合尤度マップ生成部と、を有する、
   部位推定装置。
2. 前記連続性尤度マップに示される前記連続性のあるエッジペア尤度の分散を評価し、前記推定対象である部位の分散を満たす分散尤度マップを生成する分散尤度マップ生成部をさらに有し、
   前記統合尤度マップ生成部は、
   前記分散尤度マップに基づいて、前記統合尤度マップを生成する、
   請求項１記載の部位推定装置。
3. 前記連続性尤度マップ生成部は、
   前記連続性のあるエッジペア尤度に加えて、前記推定対象である部位を想定した領域の近傍領域に含まれる画素のエッジペア尤度も考慮して、前記連続性尤度マップを生成し、
   前記分散尤度マップ生成部は、
   前記連続性尤度マップに基づいて、前記分散尤度マップを生成する、
   請求項２記載の部位推定装置。
4. 前記推定対象である部位以外の部位である非推定対象部位の輪郭領域を推定する輪郭領域推定部をさらに有し、
   前記統合尤度マップ生成部は、
   前記候補領域を絞り込む際、前記輪郭領域推定部により推定された前記輪郭領域と座標が重ならない候補領域を、優先して選択する、
   請求項１から３のいずれか１項に記載の部位推定装置。
5. 前記エッジペア尤度マップ生成部は、
   前記画像の大きさに応じて、前記エッジペア尤度マップ生成に用いる値を動的に調節する、
   請求項１から４のいずれか１項に記載の部位推定装置。
6. 画像中の画素ごとに、当該画素の近傍に存在するペアの画素が、推定対象である部位のエッジであることの尤もらしさを示すエッジペア尤度を算出し、当該エッジペア尤度を前記画素ごとに示すエッジペア尤度マップを生成するステップと、
   前記エッジペア尤度マップに対し、前記推定対象である部位を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価し、連続性のあるエッジペア尤度を、前記推定対象である部位を示す候補領域として示す連続性尤度マップを生成するステップと、
   前記連続性尤度マップが示す前記候補領域を、予め定められた条件を基に絞り込んで示す統合尤度マップを生成するステップと、を有する、
   部位推定方法。
7. 画像を入力あるいは生成する装置のコンピュータに、
   前記画像中の画素ごとに、当該画素の近傍に存在するペアの画素が、推定対象である部位のエッジであることの尤もらしさを示すエッジペア尤度を算出し、当該エッジペア尤度を前記画素ごとに示すエッジペア尤度マップを生成する処理と、
   前記エッジペア尤度マップに対し、前記推定対象である部位を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価し、連続性のあるエッジペア尤度を、前記推定対象である部位を示す候補領域として示す連続性尤度マップを生成する処理と、
   前記連続性尤度マップが示す前記候補領域を、予め定められた条件を基に絞り込んで示す統合尤度マップを生成する処理と、を実行させる、
   部位推定プログラム。
   
   

Images