JP5898014B2

JP5898014B2 - 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム

Info

Publication number: JP5898014B2
Application number: JP2012165671A
Authority: JP
Inventors: 川口　京子; 京子川口; 岩井　和彦; 和彦岩井
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2012-07-26
Filing date: 2012-07-26
Publication date: 2016-04-06
Anticipated expiration: 2032-07-26
Also published as: JP2014026429A; US20150169947A1; CN104487999A; WO2014017006A1; US9576191B2; CN104487999B

Description

本発明は、対となる部位をもつ多関節物体の姿勢を推定する、姿勢推定装置、姿勢推定方法、および姿勢推定プログラムに関する。

近年、撮影された動画像の画像データに基づく人の姿勢推定に関する研究が、盛んに行われている。姿勢推定装置は、動画像から人の行動をコンピュータ解析により判定することができ、人手に頼らずに行動解析を行うことができる。行動解析の適用アプリケーションとしては、例えば、街頭での異常行動検知、店舗での購買行動分析、工場における作業効率化支援、およびスポーツにおけるフォーム指導がある。

人の姿勢を推定する場合は、例えば、部位の姿勢の推定が可能であることが望まれる。ここで、部位とは、多関節物体の構成要素（例えば、頭部、胴体、腕、足など）を示す。また、部位の姿勢とは、人の姿勢における部位の位置や角度を示す。人は動作によって部位の姿勢を変えるため、部位の位置が推定できれば、その人が何をしているのか、これから何をしようとしているかといった動作の推定などが可能となる。

このような人の姿勢推定は、人に方位センサなどの装置を取り付けることなく行えることが望ましい。人に装置を取り付ける推定手法は、不特定の人を推定対象とすることが困難であり、推定対象が多数の場合にはコストが掛かるからである。

そこで、人を撮影した映像に基づいて、当該人の姿勢を推定する技術が、例えば特許文献１に記載されている。

特許文献１に記載の技術（以下、「従来技術１」という）は、撮影映像から人物シルエットの重心を求め、重心から人物シルエットの輪郭線上の各点までの距離を算出し、重心から上方に伸びる垂直軸を検出して人物シルエットの輪郭線との交点を頭頂点とする。そして、従来技術１は、頭頂点を始点とし反時計回りに算出した距離が極大になる点を探索し、最初の極大になる点を右手の先と判定し、次の極大になる点を、右足、左足、左手の先と判定する。この従来技術１によれば、人に方位センサなどの装置を取り付けることなく、人の姿勢を推定することができる。

また、人を撮影した画像に基づいて、当該人の姿勢を推定する技術が、例えば特許文献２に記載されている。

特許文献２に記載の技術（以下、「従来技術２」という）は、ブルーの背景において、ブルー以外の色で、かつ部位毎に色の異なる衣服を着用した人を撮影する。これにより、従来技術２は、背景画像と人物画像との色情報の違いから人物シルエットを取得し、衣服の色情報から人の部位を検出する。この従来技術２を用いれば、人にセンサなどの装置を取り付けることなく、人の姿勢を推定することができる。

特許第３４００９６１号公報特開２００５−３３９１００号公報

しかしながら、従来技術１および従来技術２は、撮影条件によっては、人の姿勢を高精度に推定することができないという課題を有する。なぜなら、従来技術１は、両腕、両足同士が交差したり、腕または足と胴体が重なったりしている場合、人物シルエット内に腕または足が重なるため、腕または足の姿勢を推定できないからである。また、従来技術２は、特定の背景および特定の衣服で人を撮影しなければ、人の部位を検出できないからである。

本発明の目的は、対となる部位を有する多関節物体の姿勢を高精度に推定することである。

本発明の一態様に係る姿勢推定装置は、対となる部位を有する多関節物体の全部または一部を含む画像に基づいて、前記対となる部位を推定する姿勢推定装置であって、前記画像から、前記対となる部位について不特定多数の多関節物体に共通する形状の特徴を示す共通特徴量を用いて、前記対となる部位の候補領域を複数抽出する候補領域抽出部と、前記複数の候補領域から、前記対となる部位である尤度が最大である第１候補領域を抽出し、前記第１候補領域以外を第２候補領域とする部位領域抽出部と、前記第１候補領域および前記第２候補領域のそれぞれについて、前記対となる部位について推定対象の多関節物体に固有の特徴を示す固有特徴量を算出する特徴量算出部と、前記第１候補領域および前記第２候補領域のうち、一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度のうち少なくとも１つに基づいて修正する特徴量修正部と、前記修正した固有特徴量と、前記他方の候補領域の固有特徴量との類似度に基づいて、前記第１候補領域と前記第２候補領域とが前記対となる部位であるか否かを判定する判定部と、を備える。

本発明の一態様に係る姿勢推定方法は、対となる部位を有する多関節物体の全部または一部を含む画像に基づいて、前記対となる部位を推定する姿勢推定方法であって、前記画像から、前記対となる部位について不特定多数の多関節物体に共通する形状の特徴を示す共通特徴量を用いて、前記対となる部位の候補領域を複数抽出するステップと、前記複数の候補領域から、前記対となる部位である尤度が最大である第１候補領域を抽出し、前記第１候補領域以外を第２候補領域とするステップと、前記第１候補領域および前記第２候補領域のそれぞれについて、前記対となる部位について推定対象の多関節物体に固有の特徴を示す固有特徴量を算出するステップと、前記第１候補領域および前記第２候補領域のうち、一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度のうち少なくとも１つに基づいて修正するステップと、前記修正した固有特徴量と、前記他方の候補領域の固有特徴量との類似度に基づいて、前記第１候補領域と前記第２候補領域とが前記対となる部位であるか否かを判定するステップと、を有する。

本発明の一態様に係る姿勢推定プログラムは、対となる部位を有する多関節物体の全部または一部を含む画像に基づいて、前記対となる部位を推定する装置のコンピュータに実行させる姿勢推定プログラムであって、前記画像から、前記対となる部位について不特定多数の多関節物体に共通する形状の特徴を示す共通特徴量を用いて、前記対となる部位の候補領域を複数抽出する処理と、前記複数の候補領域から、前記対となる部位である尤度が最大である第１候補領域を抽出し、前記第１候補領域以外を第２候補領域とする処理と、前記第１候補領域および前記第２候補領域のそれぞれについて、前記対となる部位について推定対象の多関節物体に固有の特徴を示す固有特徴量を算出する処理と、前記第１候補領域および前記第２候補領域のうち、一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度のうち少なくとも１つに基づいて修正する処理と、前記修正した固有特徴量と、前記他方の候補領域の固有特徴量との類似度に基づいて、前記第１候補領域と前記第２候補領域とが前記対となる部位であるか否かを判定する処理と、を実行させる。

本発明によれば、対となる部位を有する多関節物体の姿勢を高精度に推定することができる。

本発明の実施の形態１に係る姿勢推定装置の構成の一例を示すブロック図本発明の実施の形態２に係る姿勢推定システムの構成の一例を示すシステム構成図本発明の実施の形態２における身体モデルの一例を示す図本発明の実施の形態２に係る姿勢推定装置の動作の一例を示すフローチャート本発明の実施の形態２における候補領域抽出処理の一例を示すフローチャート本発明の実施の形態２におけるエッジペア尤度マップ生成処理の一例を示すフローチャート本発明の実施の形態２におけるエッジペア尤度マップ生成処理を説明するための図本発明の実施の形態２における極大値を説明するための図本発明の実施の形態２における特徴量修正処理の一例を示すフローチャート本発明の実施の形態２における人の姿勢の一例を示す図本発明の実施の形態２における特徴量算出領域抽出処理の一例を示すフローチャート本発明の実施の形態２における人の姿勢の一例を示す図本発明の実施の形態２における固有特徴量を正しく算出できない場合の画像とそのヒストグラムの一例を示す図本発明の実施の形態２における固有特徴量を正しく算出できない場合のヒストグラムの一例を示す図本発明の実施の形態２における固有特徴量を正しく算出できない場合のヒストグラムの一例を示す図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。

図１は、本実施の形態に係る姿勢推定装置の構成の一例を示すブロック図である。

図１において、姿勢推定装置１００は、候補領域抽出部１１０、部位領域抽出部１２０、特徴量算出部１３０、特徴量修正部１４０、および判定部１５０を有する。

なお、本実施の形態の姿勢推定装置１００は、多関節物体を構成する「対となる部位」の姿勢を推定する。ここで、「部位」とは、多関節物体の構成要素である。また、「部位の姿勢」とは、部位の位置や角度を意味する。

候補領域抽出部１１０は、推定対象となる多関節物体の一部または全部を含む画像から、共通特徴量を用いて、推定対象部位の候補領域を複数抽出する。「共通特徴量」とは、対となる部位について不特定多数の多関節物体に共通する形状の特徴（例えば、エッジのみ、または、エッジおよびシルエット）を示す。また、ここで抽出される候補領域は、ノイズがある候補領域を含む場合がある。なお、「推定対象部位」とは、部位の姿勢の推定対象である、対となる部位である。また、対となる部位のうち、一方の部位を「第一部位」、もう一方の部位を「第二部位」と呼ぶ。例えば、対となる部位が前腕である場合、右前腕を第一部位、左前腕を第二部位と呼ぶ。

なお、上記「対となる部位について不特定多数の多関節物体に共通する形状」は、例えば、多関節物体における部位の存在可能範囲、または、部位の大きさ、長さ、太さ、あるいは断面の形状や、多関節物体を撮影する角度によって定まる。このような部位についての、存在可能範囲、大きさ、長さ、太さ、断面の形状、または多関節物体を撮影する角度は、多関節物体の制約情報として予め定められている。そして、候補領域抽出部１１０は、上記制約情報に基づいて候補領域を抽出するようにしてもよい。これにより、候補領域抽出部１１０は、推定対象部位である可能性（尤度）が最も高い領域を、候補領域として抽出することができる。

部位領域抽出部１２０は、候補領域抽出部１１０で抽出した複数の候補領域のうち、推定対象部位である尤度が最も高い領域を、第一部位の候補領域（第１候補領域の一例）として抽出する。ここで、第一部位の候補領域を「部位領域」と呼ぶ。一方、部位領域以外の候補領域は「第二部位の候補領域」（第２候補領域の一例）と呼ぶ。第二部位の候補領域は複数存在する場合もある。

特徴量算出部１３０は、部位領域抽出部１２０で抽出した、部位領域および第二部位の候補領域のそれぞれについて、固有特徴量を算出する。ここで算出される「固有特徴量」とは、対となる部位について推定対象の多関節物体の個体に固有の特徴（例えば、色およびテクスチャの少なくとも１つ）を示す。

特徴量修正部１４０は、特徴量算出部１３０で算出した、部位領域および第二部位の候補領域のうちのどちらか一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度の少なくとも１つに基づいて修正（再算出）する。すなわち、特徴量修正部１４０は、部位領域の固有特徴量を、第二部位の候補領域の長さ、幅、および角度の少なくとも１つに基づいて修正する。または、特徴量修正部１４０は、第二部位の候補領域の固有特徴量を、部位領域の長さ、幅、および角度の少なくとも１つに基づいて修正する。前者の修正方法は、尤度が高い候補領域を、尤度が低い候補領域に合わせるように修正するので、尤度が低い候補領域から尤度の高い候補領域の特徴量を推定する後者の修正方法よりも、推定の精度が上がる。

なお、第二部位の候補領域が複数ある場合、特徴量修正部１４０は、部位領域と第二部位の候補領域のペアごとに固有特徴量を修正する。

また、特徴量修正部１４０は、上述した固有特徴量の修正を行う前に、以下の処理を行うようにしてもよい。まず、特徴量修正部１４０は、特徴量算出部１３０で算出した、部位領域の固有特徴量と第二部位の候補領域の固有特徴量との類似度を算出する。次に、特徴量修正部１４０は、算出した類似度に基づいて、部位領域と対になると推定できる第二部位の候補領域が存在するか否かを判断する。この判断の結果、部位領域と対になると推定できる第二部位の候補領域が存在しない場合、特徴量修正部１４０は、上述した固有特徴量の修正を行う。

判定部１５０は、特徴量修正部１４０で修正した固有特徴量と、他方の候補領域の固有特徴量との類似度（例えば、コサイン類似度）に基づいて、部位領域と第二部位の候補領域とが対の部位であるか否かを判定する。この判定により、部位の姿勢が推定される。

姿勢推定装置１００は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）などの記憶媒体、およびＲＡＭ（Random Access Memory）などの作業用メモリを有する。この場合、上記した各構成部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような構成を備えた姿勢推定装置１００は、以下の効果を奏する。

不特定多数の多関節物体の姿勢を推定する場合では、各多関節物体がどのような服装または色をしているかを事前に把握することは難しいため、共通特徴量（例えば、エッジ、シルエット、輪郭など）を用いて部位の推定を行うのが一般的である。このような部位の推定において、ある部位の周囲に他の部位がない場合は、その部位のエッジ情報のみが抽出されるため、部位の推定は比較的容易である。しかし、部位の推定を行う際に、ある部位の周囲に他の部位がある場合が想定される。すなわち、例えば、ある部位の後ろに他の部位がある場合には、ある部位だけでなくその後ろにある他の部位のエッジ情報も併せて取得されるため、部位の推定が困難である。さらに、ある部位が他の部位に遮蔽されている場合には、画像上で見える面積が少なく、上記共通特徴量だけでは、部位の推定が困難となる。

一方で、一般的に、対となる部位を持つ多関節物体では、対となる部位の服装、色、質感は同じであることが多いと考えられる。例えば、人間の場合、右腿と左腿は単一の衣服を着ているので同じ色をしていると想定できるし、右腕と左腕も同じ柄の衣服が多いと考えられる。

そこで、姿勢推定装置１００は、まず、共通特徴量を用いて画像から複数の候補領域を抽出し、部位領域と第二部位の候補領域とに分ける。次に、姿勢推定装置１００は、部位領域および第二部位の候補領域のそれぞれについて固有特徴量を算出する。次に、姿勢推定装置１００は、部位領域および第二部位の候補領域のうち、いずれか一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度の少なくとも１つに基づいて修正する。次に、姿勢推定装置１００は、修正した固有特徴量と、他方の候補領域の固有特徴量との類似度に基づいて、部位領域と第二部位の候補領域とが対となる部位であるか否かを判定する。このような動作により、姿勢推定装置１００は、第二部位の候補領域の周囲に他の部位の候補領域がある場合でも、第二部位の候補領域を絞り込むことが可能となる。よって、姿勢推定装置１００は、対となる部位の一方の姿勢を推定するのが困難な場合でも、また、事前にその部位の色およびテクスチャの少なくとも一方が不明である場合でも、対となる部位を有する多関節物体の姿勢を高精度に推定することが可能となる。

（実施の形態２）
本発明の実施の形態２は、本発明を、撮影画像を入力し、その撮影画像に含まれる人の姿勢を推定する装置に適用した場合の、本発明の具体的態様の一例である。

まず、本実施の形態に係る姿勢推定装置を含む姿勢推定システムの概要について説明する。

図２は、本実施の形態における姿勢推定システムの構成の一例を示すシステム構成図である。図２において、姿勢推定システム２００は、撮影エリア３１０を撮影するカメラ３２０と、カメラ３２０と通信可能に接続された姿勢推定装置１００とを有する。カメラ３２０は、例えばデジタルビデオカメラであり、撮影エリア３１０を斜め上方から撮影する。すなわち、カメラ３２０が撮影する画像は、人３４０および水平な床面３３０を含む実空間を撮影して得られた画像である。そして、カメラ３２０は、撮影映像の映像データを、姿勢推定装置１００へ送信する。ここでは、撮影エリア３１０の床面３３０を、姿勢推定の対象となる人３４０が歩行しているものとする。

姿勢推定装置１００は、例えばパーソナルコンピュータであり、カメラ３２０から受信した映像データに基づいて、人３４０の姿勢を推定する。

以上で、姿勢推定システム２００の概要についての説明を終える。

次に、本実施の形態において推定の対象となる人３４０の姿勢について説明する。

図３は、人３４０の身体の構成モデル（以下「身体モデル」という）４１０の一例を示す図である。身体モデル４１０は、姿勢推定に用いられる身体の各部位の位置関係を、模式的に示したものである。身体モデル４１０は、胴４１１、左大腿４１２、左下腿４１３、左足４１４、右大腿４１５、右下腿４１６、右足４１７、および頭４１８、右上腕４１９、右前腕４２０、左上腕４２２、左前腕４２３を少なくとも含む。

これらの各部位は、関節で接続されている。このため、各部位の可動域は、他の部位により制約を受ける。例えば、左前腕４２３は、左上腕４２２との接続点を中心とする所定の角度範囲でのみ動くことができる。また、例えば頭４１８と胴４１１の接続点を基準点とすると、基準点を中心とした左前腕４２３の存在可能域（「存在可能範囲」ともいう）は、左前腕４２３の接続元の部位である左上腕４２２と胴４１１の部位の物理的な長さや可動域の制約を受ける。このような、多関節物体の構造上の接続関係、接続点の可動域、部位の長さ、太さ、形状による制約を制約情報と呼ぶ。

本実施の形態では、姿勢推定装置１００は、各部位の制約情報を用いて人に共通する特徴を示す情報に加えて、個人の部位の特徴を示す情報を用いて、身体モデル４１０における各部位の領域を画像情報から抽出するものとする。なお、姿勢推定装置１００が用いる身体モデルは、図３に示す例に限定されるものではない。

身体モデル４１０において、対となる部位とは、左大腿４１２と右大腿４１５、左下腿４１３と右下腿４１６、左足４１４と右足４１７、左上腕４２２と右上腕４１９、左前腕４２３と右前腕４２０、である。なお、本実施の形態では、対となる部位を、上記の組み合わせのうち、左前腕４２３と右前腕４２０の前腕として説明するが、これに限定されない。

以上で、推定の対象となる人３４０の姿勢についての説明を終える。

次に、姿勢推定装置１００の構成について説明する。

図１は、姿勢推定装置１００の構成の一例を示すブロック図である。本実施の形態に係る姿勢推定装置１００の構成は、実施の形態１と同じである。ただし、本実施の形態では、推定対象の多関節物体を人３４０、対となる部位を前腕（左前腕４２３と右前腕４２０）として説明する。

候補領域抽出部１１０は、推定対象となる人の一部または全部を含む画像から、共通特徴量を用いて、前腕であると推定される候補領域を複数抽出する。ここでいう共通特徴量とは、前腕について不特定多数の人に共通する形状の特徴（例えば、エッジのみ、または、エッジおよびシルエット）を示す。なお、ここで抽出される候補領域は、ノイズがある候補領域、すなわち、衣服の模様などが前腕であると誤って推定される候補領域を含む場合がある。

なお、上記「前腕について不特定多数の人に共通する形状」は、例えば、人３４０における前腕の存在可能範囲、または、前腕の大きさ、長さあるいは太さによって定まる。このような前腕についての、存在可能範囲、大きさ、長さおよび太さは、人の制約情報として予め定められている。なお、人３４０における前腕の存在可能範囲は、例えば、人３４０上のある基準点（例えば、頭４１８と胴４１１の接続点）からの距離で定めてもよい。そして、候補領域抽出部１１０は、上記制約情報に基づいて候補領域を抽出するようにしてもよい。これにより、候補領域抽出部１１０は、前腕である可能性（尤度）が最も高い領域を、候補領域として抽出することができる。

部位領域抽出部１２０は、候補領域抽出部１１０で抽出した複数の候補領域のうち、前腕である尤度が最も高い領域を、前腕のうちの第一部位の候補領域（第１の候補領域の一例）として抽出する。ここで、第一部位の候補領域を「部位領域」と呼ぶ。一方、部位領域以外の候補領域は「第二部位の候補領域」（第２の候補領域の一例）と呼ぶ。第二部位の候補領域は複数存在する場合もある。

特徴量算出部１３０は、部位領域抽出部１２０で抽出した、部位領域と第二部位の候補領域のそれぞれについて、固有特徴量を算出する。ここでいう固有特徴量とは、前腕について推定対象の人３４０に固有の特徴（例えば、色およびテクスチャの少なくとも１つ）を示す。

特徴量修正部１４０は、特徴量算出部１３０で算出した、部位領域および第二部位の候補領域のうちのどちらか一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度のうち少なくとも１つに基づいて修正（再算出）する。すなわち、特徴量修正部１４０は、部位領域の固有特徴量を、第二部位の候補領域の長さ、幅、および角度の少なくとも１つに基づいて修正する。なお、特徴量修正部１４０は、第二部位の候補領域の固有特徴量を、部位領域の長さ、幅、および角度の少なくとも１つに基づいて修正するようにしてもよい。前者の修正方法は、尤度が高い候補領域を、尤度が低い候補領域に合わせるように修正するので、後者の修正方法よりも推定の精度が上がるため、好ましい。

なお、第二部位の候補領域が複数ある場合、特徴量修正部１４０は、部位領域と第二部位の候補領域のペアごとに、部位領域または第二部位の候補領域の固有特徴量を修正する。

また、特徴量修正部１４０は、上述した固有特徴量の修正を行う前に、以下の処理を行うようにしてもよい。まず、特徴量修正部１４０は、特徴量算出部１３０で算出した、部位領域の固有特徴量と第二部位の候補領域の固有特徴量との類似度を算出する。次に、特徴量修正部１４０は、算出した類似度に基づいて、部位領域と対の前腕であると推定できる第二部位の候補領域が存在するか否かを判断する。この判断の結果、部位領域と対の前腕であると推定できる第二部位の候補領域が存在しない場合、特徴量修正部１４０は、上述した固有特徴量の修正を行う。

判定部１５０は、特徴量修正部１４０で修正した固有特徴量と、他方の候補領域の固有特徴量との類似度（例えば、コサイン類似度）に基づいて、部位領域と第二部位の候補領域とが対の前腕であるか否かを判定する。この判定により、前腕の姿勢が推定される。

不特定多数の人の姿勢を推定する場合では、各人がどのような服装または肌の色をしているかを事前に把握することは難しいため、共通特徴量（例えば、エッジ、シルエット、輪郭など）を用いて、部位の推定を行うのが一般的である。このような部位の推定において、ある部位の周囲に他の部位がない場合は、その部位のエッジ情報のみが抽出されるので、部位の推定は比較的容易である。しかし、部位の推定を行う際に、ある部位の周囲に他の部位がある場合が想定される。すなわち、例えば、左前腕４２３の後ろに胴４１１がある場合には、左前腕４２３だけでなく胴４１１のエッジ情報も併せて取得されるため、左前腕４２３の推定が困難となる。さらに、ある部位が他の部位に遮蔽されている場合も想定される。すなわち、例えば、左前腕４２３の一部が胴４１１に隠れている場合には、左前腕４２３が画像上で見える面積が少なく、前腕の形状の特徴を示す画像特徴量だけでは、左前腕４２３の推定が困難となる。

一方で、一般的に、人の服装は左右対称であり、対となる部位の画像上での色、テクスチャは同じことが多い。例えば、人間の場合、右腿と左腿は単一のズボンを着用しているので同じ長さ、同じ色をしていると想定できるし、右腕と左腕も同じ柄、同じ袖の長さの衣服が多いと考えられる。

そこで、姿勢推定装置１００は、まず、共通特徴量を用いて画像から複数の候補領域を抽出し、部位領域と第二部位の候補領域とに分ける。次に、姿勢推定装置１００は、部位領域および第二部位の候補領域のそれぞれについて固有特徴量を算出する。次に、姿勢推定装置１００は、部位領域および第二部位の候補領域のうち、いずれか一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度の少なくとも１つに基づいて修正する。次に、姿勢推定装置１００は、修正した固有特徴量と、他方の候補領域の固有特徴量との類似度に基づいて、部位領域と第二部位の候補領域とが対となる部位であるか否かを判定する。このような動作により、姿勢推定装置１００は、第二部位の候補領域の周囲に他の部位（例えば胴４１１）の候補領域がある場合でも、第二部位の候補領域を絞り込むことが可能となる。よって、姿勢推定装置１００は、前腕の一方の姿勢を推定するのが困難な場合でも、また、事前にその部位の色およびテクスチャの少なくとも一方が不明である場合でも、対となる部位を有する多関節物体の姿勢を高精度に推定することが可能となる。

次に、姿勢推定装置１００の動作について説明する。図４は、姿勢推定装置の動作の一例を示すフローチャートである。

まず、ステップＳ１１００において、候補領域抽出部１１０は、候補領域抽出処理を行う。候補領域抽出処理は、推定対象部位である前腕の候補領域を複数抽出する処理である。

ここで、ステップＳ１１００の候補領域抽出処理の詳細について、説明する。図５は、候補領域抽出処理の動作の一例を示すフローチャートである。

まず、ステップＳ１１０１の「画像入力」において、候補領域抽出部１１０は、カメラ３２０から画像を入力する。この画像は、人３４０の一部または全部が撮影された画像である。

次に、ステップＳ１１０２の「前景抽出」において、候補領域抽出部１１０は、入力された画像から、前景領域を抽出する。具体的には、候補領域抽出部１１０は、背景差分画像を生成し、前景を人３４０と推定される領域（以下「人の候補領域」という）として抽出する。ここで、背景差分画像とは、例えば、人３４０が存在しない状態で撮影された背景画像と、入力された画像との差分を示す画像である。

背景差分画像は、例えば、入力された画像と背景画像との画素値が異なる画素を白で表現し、入力画像と背景画像との画素値が同じ画素を黒で表現する。すなわち、背景差分画像は、人３４０が存在する領域を、白の領域で表現し、人３４０が存在しない領域を、黒の領域で表現する。

次に、ステップＳ１１０３の「頭抽出」において、候補領域抽出部１１０は、頭４１８と推定される領域（以下「頭の候補領域」という）を抽出し、人３４０の基準点を算出する。本実施の形態では、基準点は、頭４１８と胴４１１の接続点とするが、これに限定されない。

候補領域抽出部１１０は、白の領域を人の候補領域として抽出し、そのうち、上部の領域を、頭の候補領域として抽出する。上部の領域は、例えば、人の候補領域（白の領域）のうち上端から下方に向かって所定の比率（例えば、３０％）の部分を含む領域として、予め定められている。

そして、候補領域抽出部１１０は、抽出した頭の候補領域から、ハフ変換などを用いて頭領域を抽出する。ハフ変換は、公知の技術であり、エッジ情報から楕円の中心（Ｘ座標、Ｙ座標）、長軸、短軸、傾きを表す５つのパラメータを求めることができる。候補領域抽出部１１０は、この楕円の長軸と楕円の交点のうち、下に位置する点を、頭４１８と胴４１１の接続点である基準点として算出する。

次に、ステップＳ１１０４の「候補領域抽出」において、前腕の候補領域を抽出する。ここで、前腕の候補領域を抽出する例を２つ説明する。

まず、第一の例を説明する。第一の例は、頭の候補領域の抽出と同様に行う。

候補領域抽出部１１０は、白の領域を人の候補領域として抽出し、そのうち、基準点から所定の距離の領域を、前腕存在可能領域として抽出する。ここで、所定の距離は、人３４０の制約情報に基づいて、予め学習により、頭領域の大きさの所定の倍率（例えば、短軸の７．５倍など）として、予め定められている。

そして、候補領域抽出部１１０は、抽出した前腕存在可能領域から、ハフ変換などを用いて前腕の候補領域を抽出する。ハフ変換は、公知の技術であり、エッジ情報から楕円の中心（Ｘ座標、Ｙ座標）、長軸、短軸、傾きを表す５つのパラメータを求めることができる。候補領域抽出部１１０は、このようにして求めた楕円のうち、長軸、短軸の長さが所定の条件を満たすものを前腕の候補領域として抽出する。ここで、所定の条件は、人３４０の制約情報に基づいて、予め学習により、頭領域の大きさの所定の比率の範囲（例えば、長軸は頭領域の長軸の長さの１．２倍より小さい、短軸は頭領域の短軸の長さの１．２倍より小さいなど）として、予め定められている。

このようにして候補領域抽出部１１０が抽出する前腕の候補領域は、それぞれ、楕円の中心（Ｘ座標、Ｙ座標）、長軸、短軸、傾きにより定義されて出力される。

次に、第二の例を説明する。第二の例は、前腕存在可能領域を基に生成したエッジペア尤度マップから前腕の候補領域を抽出する。

エッジペア尤度マップは、各画素の近傍に存在する、所定の勾配方向に平行なエッジペアに基づいて算出したエッジペア尤度を各画素の値とするマップである。本実施の形態では、平行線の幅を前腕の太さの制約情報に基づいて決めるため、画素ごとのエッジペア尤度は、当該画素の近傍に存在する画素が、前腕のエッジであることの尤もらしさ（尤度）を示す。

図６は、エッジペア尤度マップ生成処理の動作の一例を示すフローチャートである。図７は、勾配方向が水平方向であるエッジペア尤度マップの生成処理を説明するための図である。ここでは、水平方向を０度として、水平方向のエッジペア尤度マップを生成する例を説明する。

ステップＳ２００１において、候補領域抽出部１１０は、生成するエッジペア尤度マップの勾配方向の刻み幅を選択する。ここでは例として、刻み幅が、予め３０度に設定されているとする。このように勾配方向を３０度刻みとする場合、０度、３０度、６０度、９０度、１２０度、１５０度の６つのエッジペア尤度マップが生成されることになる。よって、その場合、候補領域抽出部１１０は、ステップＳ２００２からＳ２００６の処理を６回繰り返すことになる。

ステップＳ２００２において、候補領域抽出部１１０は、前腕存在可能領域から、注目画素を選択する。例えば、図７において、候補領域抽出部１１０は、左上隅の画素（※で示す画素）から、Ｘ座標をＸ軸方向に１ずつインクリメントしてＸ軸方向の端まで移動したら、Ｘ座標を初期位置（※で示す画素のＸ座標の位置）に戻し、Ｙ座標をＹ座標方向に1インクリメントして、Ｘ座標をＸ軸方向に１ずつインクリメントする処理を繰り返して、腕第二部位の候補領域の全ての画素を注目画素として選択する。ただし、選択の方法はこれに限定されない。図７では、前腕存在可能領域７１０から注目画素７０２が選択された場合を例に説明する。

ステップＳ２００３において、候補領域抽出部１１０は、勾配方向ペア画素を選択する。図７では、勾配方向ペア画素として７０４と７０５が選択される。

上述した通り、ここでは、水平方向のエッジペア尤度マップを生成する例としている。よって、候補領域抽出部１１０は、２つの条件を満たす画素として、７０４および７０５の２つを勾配方向ペア画素として選択する。２つの条件とは、注目画素７０２を通り水平な直線と垂直となる直線上にあること、および、注目画素７０２からの距離が対象部位の太さ７０１の半分の長さ７０３であること、である。すなわち、角度θのエッジペア尤度マップを生成する場合には、候補領域抽出部１１０は、注目画素を通り、角度θと垂直（θ＋９０度）の直線上で、距離が対象部位の太さ７０１の半分の長さ７０３となる画素を、勾配方向ペア画素として２つ選択するものとする。なお、本実施の形態では、対象部位の太さ７０１は、予め学習により、頭領域の大きさの所定の比率（例えば、頭領域の短軸の長さの１．２倍など）として、予め定められている。

ステップＳ２００４において、候補領域抽出部１１０は、勾配方向ペア画素のそれぞれから予め設定された距離以内にある画素群を、勾配方向ペア近傍領域としてそれぞれ選択する。図７では、勾配方向ペア画素７０４および７０５のそれぞれから、近傍の長さ７０８の距離以内にある画素群が、勾配方向ペア近傍領域７０６および７０７としてそれぞれ選択されている。近傍の長さ７０８は、部位の太さの誤差の長さを表す、予め定められた値である。例えば、近傍の長さ７０８は、頭領域の大きさの所定の比率（例えば、頭領域の短軸の長さの２０％など）として、予め定められている。

ステップＳ２００５において、候補領域抽出部１１０は、注目画素７０２のエッジペア尤度を計算する。具体的には、候補領域抽出部１１０は、勾配方向ペア近傍領域７０６内の画素の輝度の総和と、勾配方向ペア近傍領域７０７内の画素の輝度の総和との積を、エッジペア尤度として算出する。

なお、候補領域抽出部１１０は、勾配方向ペア近傍領域７０６内で所定値以上の輝度Ｙを持つ画素の数と、勾配方向ペア近傍領域７０７内で所定値以上の輝度Ｙを持つ画素の数の積を、エッジペア尤度として算出するようにしてもよい。これにより、候補領域抽出部１１０は、各勾配方向ペア近傍領域７０６、７０７の大きさでエッジペア尤度を正規化することができる。

ステップＳ２００６において、候補領域抽出部１１０は、前腕存在可能領域の全画素についてエッジペア尤度の算出が終了したか否かを判断する。全画素について計算が終了していれば（Ｓ２００６：ＹＥＳ）、候補領域抽出部１１０は、ステップＳ２００１で選択した刻み幅のエッジペア尤度マップの生成が終了したと判断し、ステップＳ２００７に進む。一方、全画素について計算が終了していなければ（Ｓ２００６：ＮＯ）、候補領域抽出部１１０は、ステップＳ２００１で選択した刻み幅のエッジペア尤度マップの生成が終了していないと判断し、ステップＳ２００２に進む。

ステップＳ２００７において、候補領域抽出部１１０は、全ての勾配方向についてエッジペア尤度の算出が終了したか否かを判断する。全ての勾配方向について計算が終了していれば（Ｓ２００６：ＹＥＳ）、候補領域抽出部１１０は、予め定められた全ての勾配方向のエッジペア尤度マップの生成が終了したと判断し、一連の処理を終了する。一方、全ての勾配方向について終了していなければ（Ｓ２００６：ＮＯ）、候補領域抽出部１１０は、予め定められた全ての勾配方向のエッジペア尤度マップの生成が終了していないと判断する。よって、候補領域抽出部１１０は、未生成である勾配方向のエッジペア尤度マップを生成するために、ステップＳ２００１に進む。

候補領域抽出部１１０は、このように生成したエッジペア尤度マップの尤度が所定の閾値以上の画素を、エッジペア尤度マップから算出した前腕存在可能領域として抽出する。ここで、所定の閾値は、エッジペア尤度マップ内の最大エッジペア尤度に対する比率（たとえば、１０％など）として、予め定められている。

候補領域抽出部１１０は、前腕存在可能領域から前腕の候補領域を抽出したときと同じように、エッジペア尤度マップから算出した前腕存在可能領域から、ハフ変換を用いて前腕の候補領域を抽出する。

このように、本実施の形態では、対象部位である前腕の制約情報を用いて前腕存在可能領域を絞り込むことで、対象部位である前腕の候補領域をより精度よく抽出できる。

以上で、ステップＳ１１００の候補領域抽出処理の具体例の説明を終える。

次に、ステップＳ１２００において、部位領域抽出部１２０は、部位領域抽出処理を行う。部位領域抽出処理は、候補領域抽出部１１０で抽出された複数の候補領域のうち、前腕である尤度が高い領域を、前腕のうちの第一部位の候補領域である「部位領域」として抽出する。

ここで、前腕の部位領域を抽出する例を３つ説明する。

まず、第一の例を説明する。第一の例は、部位領域抽出部１２０が、人３４０の輪郭上の基準点からの極大値を用いて、部位領域を抽出する。

図８は、輪郭上の基準点からの極大値を用いて、部位領域を抽出する一例を示す図である。

図８Ａは、人３４０の背景差分画像の一部の例を示す。図８Ａにおいて、白い領域は、入力画像と背景画像との画素値が異なる画素（人３４０が存在する領域）を示している。また、図８Ａにおいて、８０１は、人３４０の基準点の例を示す。

部位領域抽出部１２０は、基準点から真上にある白い領域と黒い領域（ハッチングの領域）の境界の画素８０２を選択し、境界沿いに左周りに画素位置を記録していく。図８Ａの画素上の数字は、記録された順番を示す。画素８０２は一番に記録されたので、１と示されている。記録される順番は、例えば、左斜め上、横、左斜め下、下、右斜め下の画素の順とする。

図８Ｂは、記録された順番と、その順番で記録された画素と基準点の距離を示すグラフである。このグラフから、記録された順番が２０の画素が極大値をとることがわかる。

部位領域抽出部１２０は、候補領域抽出部１１０で抽出された候補領域のうち、極大値との間で最も距離が小さいものを、部位領域として抽出する。具体的には、部位領域抽出部１２０は、候補領域の長軸と楕円周との交点のうち、基準点からの距離が大きい方の交点と極大点の距離が小さい候補領域を部位領域としてもよいし、第二部位の候補領域の重心と基準点からの距離が小さい候補領域を部位領域としてもよい。

このように、部位領域抽出部１２０は、前腕が他の部位（例えば胴）から離れているために、他の部位の情報が含まれている可能性の最も低い候補領域を、部位領域として抽出することが可能となる。

次に、第二の例を説明する。

部位領域抽出部１２０は、エッジペア尤度を用いて、部位領域を抽出する。具体的には、部位領域抽出部１２０は、エッジペア尤度マップ上の各候補領域において、エッジペア尤度の総和を算出し、その総和が最も高い候補領域を部位領域として抽出する。

このように、部位領域抽出部１２０は、対象部位のエッジペア尤度を最も多く保持し、対象部位である可能性が最も高い候補領域を、部位領域として抽出することが可能となる。

次に、第三の例を説明する。

部位領域抽出部１２０は、第一の例と第二の例の手法を組み合わせて部位領域を抽出する。具体的には、部位領域抽出部１２０は、第二部位の候補領域の長軸と楕円周との交点のうち基準点からの距離が大きい方の交点と極大点の距離が小さく、かつ、候補領域のエッジペア尤度の総和が高い候補領域を、部位領域として抽出する。具体的には、部位領域抽出部１２０は、以下の数式（１）を用いて算出した値が最も高い候補領域を、部位領域として抽出してもよい。

なお、数式（１）において、各値は、以下の通りである。Siは、i番目の候補領域のスコアである。Max[L]は、候補領域と基準点との間の距離の最大値である。Liは、i番目の候補領域と極大点との間の距離の最大値である。Piは、i番目の候補領域のエッジペア尤度の総和である。Max[P]は、候補領域のエッジペア尤度の総和の最大値である。mとnは、予め定められる重み定数であり、n+m=1となるように設定される。重み定数は、候補領域と基準点との間の距離と、エッジペア尤度とが同じ程度信頼できる環境では、同じ比率に設定される。その一方、候補領域と基準点との間の距離よりもエッジペア尤度の方が信頼できる環境では、重み定数は、mよりnを大きくするというように、事前の学習により設定される。

このように２種類の値を用いることで、部位領域抽出部１２０は、複数の候補領域の中から、基準点からの距離と、部位らしいエッジペア尤度との両方の条件を最もよく満たす候補領域、つまり、最も推定対象部位らしい候補領域をより精度よく抽出することが可能となる。

以上で、ステップＳ１２００の部位領域抽出処理の具体例の説明を終える。

次に、ステップＳ１３００において、特徴量算出部１３０は、部位領域抽出部１２０で抽出した、部位領域および第二部位の候補領域毎に、固有特徴量を算出する。

ここで、固有特徴量の例を２つ説明する。

第一の例は、色情報の公知の技術である、輝度のヒストグラムである。具体的には、固有特徴量の一例である輝度ヒストグラムは、各第二部位の候補領域に含まれる画素の輝度の値を、０から２５５の値をとる２５６ビンの情報としたものである。

第二の例は、テクスチャ情報のエッジペア尤度のヒストグラムである。具体的には、固有特徴量の一例であるエッジペア尤度のヒストグラムは、各第二部位の候補領域に含まれるエッジペア尤度の値を正規化して、０から１までの値とした、平行線の方向の刻みの数に応じたビン数の情報（例えば、８方向のエッジペア尤度の場合は８ビン）としたものである。

以上で、ステップＳ１３００の特徴量算出処理の具体例の説明を終える。

次に、Ｓ１４００において、特徴量修正部１４０は、特徴量算出部１３０で算出した、部位領域および第二部位の候補領域のうちのどちらか一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度の少なくとも１つに基づいて修正する。例えば、特徴量修正部１４０は、部位領域の固有特徴量を、第二部位の候補領域の長さ、幅、および角度の少なくとも１つに基づいて修正する。なお、本実施の形態では、部位領域と第二部位の候補領域のうち、部位領域の固有特徴量を算出しなおす例について説明するが、それに限定されない。また、第二部位の候補領域が複数ある場合には、特徴量修正部１４０は、部位領域と第二部位の候補領域のペアごとに、上述した固有特徴量の修正を行う。

特徴量修正部１４０が特徴量修正処理を行う理由は、部位領域および第二部位の候補領域の位置または形状によっては、特徴量算出部１３０が固有特徴量を正しく取得（算出）できない場合があるためである。ここで、固有特徴量が正しく取得できない場合の例を３つ説明する。

まず、第一の例を説明する。図１０は、推定対象となる人３４０の姿勢の一例を示す。

図１０Ａは、人が右腕を前に伸ばし、左腕を軽く曲げた姿勢を右側から見た身体モデルで示した例である。図１０Ａに示す姿勢は、例えば、人が商品棚から商品を取得する購買行動において、左手にカゴやかばんをもち、右手で商品を取得するときに見られる。図１０Ａにおいて、右前腕４２０は全部見えている。その一方、図１０Ａにおいて、左前腕４２３は、その半分程度が他の部位である胴４１１に遮蔽されており、先端の部分しか見えていない。

図１０Ｂは、図１０Ａの人３４０を撮影した画像から抽出される、前腕の部位領域９０１および第二部位の候補領域９０２を示した例である。図１０Ｂにおいて、右前腕４２０は他の部位から離れている上、カメラ３２０の向きと垂直に伸びており、長軸の長さも長い。そのため、右前腕４２０で抽出される候補領域は、部位領域抽出部１２０により部位領域９０１として抽出される。

図１３は、第一の例における画像とそのヒストグラムの一例を示す。

図１３の例では、前腕の先端まで衣服で覆われていないため、前腕の部位領域９０１から抽出される特徴量には、衣服と腕の肌の色またはテクスチャの特徴が含まれる。しかし、第二部位の候補領域９０２から抽出される特徴量には腕の肌の特徴量しか含まれない。

図１３Ａは、図１０Ｂに示す右腕の画像の一例を示し、部位領域９０１を示す。図１３Ｂは、図１３ＡのＲＧＢヒストグラムの例を示す。図１３Ｃは、図１３Ａの輝度ヒストグラムの例を示す。また、図１３Ｄは、図１０Ｂに示す左腕の画像の一例を示し、第二部位の候補領域９０２を示す。図１３Ｅは、図１３ＤのＲＧＢヒストグラムの例を示す。図１３Ｆは、図１３Ｄの輝度ヒストグラムの例を示す。ヒストグラムは、ある領域における画素ごとの値の分布を示したものである。図１３の例では、図示を省略しているが、グラフの左側には画像の暗い値（最も暗い値はレベル０）が表示され、右側には明るい値（最も明るい値はレベル２５５）が表示される。グラフの縦軸は、各レベルの画素の総数を示す。

ＲＧＢヒストグラムは、赤、緑および青の各カラーチャンネルのヒストグラムを個別に出力した後、レベルごとに和をとり表示したものである。本実施の形態では、ＲＧＢヒストグラムは、レベルごとに和をとったが、重ね合わせずに、０から２５５のレベルが３つ（赤、緑および青）を並べて７６８レベルのヒストグラムとしてもよい。

輝度のヒストグラムは、画素の輝度の値をヒストグラムにしたものである。

図１３において、部位領域９０１は衣服と肌の情報を含むのに対し、第二部位の候補領域９０２は主に肌の情報しか含まないため、ＲＧＢヒストグラムと輝度ヒストグラムのどちらを見ても異なっている。

そのため、コサイン類似度の値は高くならず、第二部位の候補領域９０２は部位領域９０１の対となる部位として抽出されない。正しく抽出できる特徴量とするためには、特徴量修正部１４０は、部位領域９０１と第二部位の候補領域９０２の先端の半分の領域から特徴量を取得する必要がある。

次に、第二の例を説明する。図１０Ｃは、部位領域９０１と第二部位の候補領域９０２のテクスチャの一例を示す。具体的には、人３４０が縞のシャツを着ているとする。

図１０Ｄは、図１０Ｂにおける、基準点９００、部位領域９０１、および第二部位の候補領域９０２を示す。図１０Ｄにおいて、角度θ９０４は、部位領域９０１と第二部位の候補領域９０２の傾きの差を示す角度である。

図１４は、第二の例におけるヒストグラムの一例を示す。

図１４は、図１０Ｂに示す人が図１０Ｃに示す縞模様の衣服を着ている場合の、テクスチャのヒストグラムを示す。図１４Ａは、部位領域９０１のテクスチャのヒストグラムを示す。図１４Ｂは、候補領域９０２のテクスチャのヒストグラムを示す。

図１４のテクスチャのヒストグラムは、エッジペア角度の分布を正規化して８つのレベルで示している。グラフの一番左から水平方向（レベル１）のエッジペアの分布が示され、時計回りの方向に２２．５度刻みの順に、グラフの右側には１５７．５度方向（レベル８）のエッジペアの分布が示される。図１４Ａの部位領域９０１のテクスチャのヒストグラムは、図１０Ｃで示すように、垂直方向のエッジペアが多くなるため、垂直方向のエッジペアの分布を示すれレベル４の値が高くなる。図１４Ｂのテクスチャのヒストグラムは、レベル１（水平方向）から時計回りに１３５度の方向（レベル７）が最も多くなる。

そのため、部位領域９０１と第二部位の候補領域の特徴量のコサイン類似度の値は高くなく、第二部位の候補領域９０２は部位領域９０１の対となる部位として抽出されない。正しく抽出できる特徴量とするためには、特徴量修正部１４０は、部位領域９０１と第二部位の候補領域９０２のうちいずれか一方の領域を角度θ９０４だけ回転させてから特徴量を取得する必要がある。

次に、第三の例を示す。図１２は、人３４０の姿勢の一例を示す。

図１２Ａは、右上腕４１９は下に下ろし、肘を折り曲げて右前腕４２０の先端が肩の位置にした姿勢を正面から見た身体モデルを示す。図１２Ｂは、図１２Ａに示す姿勢を右側から見た身体モデルを示す。この場合、正面からの画像では、右上腕４１９は見えず、右前腕４２０のみが見えることになる。

図１５は、第三の例におけるヒストグラムの一例を示す。

図１５のテクスチャのヒストグラムは、エッジペア角度と間隔の分布を正規化なしで２４のレベルで示している。図１５の各ヒストグラムは、グラフの一番左から水平方向のエッジペアの分布が示され、時計回りの方向に２２．５度刻みの順に、グラフの右側には１５７．５度方向のエッジペアの分布が示される。これは、図１４のヒストグラムと同様である。それに加え、図１５の各ヒストグラムは、方向ごとに、エッジペアの間隔が３段階（腕の太さを示す長さ、腕の太さを示す長さの２分の一、腕の太さを示す長さの４分の一）の分布が示される。このように、合わせて８（方向）ｘ３（太さ）のレベルをもつヒストグラムとなる。例えば、図１５の各ヒストグラムにおいて、グラフの一番左のレベルは、エッジペアの方向が水平で、間隔は腕の太さをもつエッジペアの分布を示す。また、２番目のレベルは、エッジペアの方向が水平で、間隔は腕の太さの２分の一の太さをもつエッジペアの分布を示す。また、３番目のレベルは、エッジペアの方向が水平で、間隔は腕の太さの４分の一の太さをもつエッジペアの分布を示す。

図１２Ｃは、図１２Ａに示す人３４０が、前腕に縞のあるシャツを着ている場合の模式図を示す。

この場合、部位領域抽出部１２０は、左前腕４２３を部位領域として抽出し、右前腕４２０を第二部位の候補領域として抽出する。

そして、特徴量算出部１３０で算出される、部位領域（図１２Ｃに示す左前腕４２３）と第二部位の候補領域（図１２Ｃに示す右前腕４２０）の固有特徴量はともに、図１５Ａに示すヒストグラムで表され、類似度が高い。

図１２Ｄは、人が右腕をまっすぐ前下に伸ばし、左腕を下に下ろしている姿勢を正面から見た身体モデルを示す。図１２Ｅは、図１２Ｄに示す姿勢を右側から見た身体モデルを示す。この場合、図１２Ａと同様に、左前腕４２３が部位領域として抽出されるが、他に第二部位の候補領域が２つ抽出される。具体的には、候補領域抽出部１１０は、第二部位の候補領域として、右上腕４１９と右前腕４２０とをあわせた領域（以下「合併領域」という）と、右前腕４２０との２つを抽出することが予測される。ここで、抽出された合併領域を「第二部位の候補領域Ａ」と呼び、抽出された右前腕４２０を「第二部位の候補領域Ｂ」と呼ぶ。

図１２Ｆは、図１２Ｄに示す人３４０が、図１２Ｃと同じ縞のシャツを着ている場合の模式図を示す。

この場合、特徴量算出部１３０で算出される部位領域（図１２Ｆに示す左前腕４２３）の固有特徴量は、太い縞のエッジペアの分布が多い図１５Ａに示すヒストグラムとなる。また、第二部位の候補領域Ａ（図１２Ｆに示す右上腕４１９および右前腕４２０）および第二部位の候補領域Ｂ（図１２Ｆに示す右前腕４２０）の固有特徴量は、細い縞のエッジペアも抽出される。そのため、第二部位の候補領域Ａの固有特徴量は、図１５Ｂに示すヒストグラムとなり、第二部位の候補領域Ｂの固有特徴量は、図１５Ｃに示すヒストグラムとなる。よって、特徴量算出部１３０で算出される、部位領域のテクスチャの特徴量と、第二部位の候補領域Ａのテクスチャの特徴量とは、異なることになる。また、特徴量算出部１３０で算出される、部位領域のテクスチャの特徴量と、第二部位の候補領域Ｂのテクスチャの特徴量とは、異なることになる。

しかし、部位領域と第二部位の候補領域の長軸の比率に応じて、領域を変形させて再算出領域を抽出することにより、特徴量の類似度が高くなり、第二部位の候補領域を正しく推定できる場合がある。

例えば、部位領域が図１２Ｆに示す左前腕４２３であり、第二部位の候補領域が図１２Ｆに示す右前腕４２０（第二部位の候補領域Ｂ）である場合は、以下のようになる。すなわち、部位領域を第二部位の候補領域Ｂの長軸の長さに合わせて縮小すると、第二部位の候補領域Ｂと同じように、図１５Ｃに示す細い縞の特徴量が抽出される。一方、部位領域が図１２Ｆに示す左前腕４２３であり、第二部位の候補領域が図１２Ｆに示す右上腕４１９および右前腕４２０（第二部位の候補領域Ａ）である場合は、以下のようになる。すなわち、部位領域と第二部位の候補領域Ａの長軸の長さは等しいので、再算出領域は変化せず、特徴量も異なる。よって、部位領域に対となる第二部位の候補領域は、第二部位の候補領域Ａではなく、第二部位の候補領域Ｂであると正しく推定される。

上記３つの例による理由から、特徴量修正部１４０は、ステップＳ１４００の特徴量修正処理を行う。

図９は、ステップＳ１４００の特徴量修正処理のフローの一例を示す。

ステップＳ１４０１において、特徴量修正部１４０は、コサイン類似度が所定の条件を満たさない部位領域と第二部位の候補領域のペアについて、特徴量算出領域抽出処理を行う。ここで、所定の条件は、複数算出されたコサイン類似度の相対的な値で設定（例えば、最もコサイン類似度が高いなど）されたものでもよい。または、所定の条件は、コサイン類似度の閾値を絶対値で設定（例えば、コサイン類似度が０．８より大きい）されたものでもよい。あるいは、所定の条件は、上記相対的な値と絶対値との両方で設定されたものでもよい。そして、ステップＳ１４０１の特徴量算出領域抽出処理の結果、後述する再算出領域が抽出される。なお、このステップＳ１４０１の詳細は、後述する。

ステップＳ１４０２において、特徴量修正部１４０は、再算出領域から固有特徴量を再算出（修正）する処理を行う。ここでの固有特徴量の再算出は、特徴量算出部１３０の固有特徴量の算出と同様に行う。

なお、特徴量修正部１４０は、特徴量算出部１３０における固有特徴量の算出に用いたものと同一の固有特徴量を用いてもよいし、色とテクスチャの両方の固有特徴量を算出するようにしてもよい。複数の固有特徴量を算出することで、よりロバストな判定が可能となる。

次に、特徴量算出領域抽出処理の詳細を説明する。図１１は、ステップＳ１４０１の特徴量算出領域抽出処理フローの一例を示す。

ステップＳ１４０１１において、特徴量修正部１４０は、第二部位の候補領域９０２の長軸と楕円周との交点として、基準点９００からの距離が短い交点Ａ（第１交点の一例）と、基準点９００からの距離が長い交点Ｂ（第２交点の一例）とを抽出する。

ステップＳ１４０１２において、特徴量修正部１４０は、第二部位の候補領域９０２が他の部位（例えば胴４１１）によって遮蔽されている可能性（以下「遮蔽可能性」という）があるか否かを判断する。この判断は、基準点９００から交点Ａまでの距離および角度、並びに、基準点９００から交点Ｂまでの距離および角度に基づいて行われる。具体的には、特徴量修正部１４０は、他の部位が存在する可能性のある領域（以下「他部位領域」という）に、交点Ａと交点Ｂが含まれるかを判断する。他部位領域は、基準点９００および人３４０の制約情報に基づいて、算出、設定された領域である。例えば、他部位領域は、基準点９００を基準にして、幅は頭の短軸の４倍であり、長さは頭の短軸の８倍である矩形領域が挙げられる。

ステップＳ１４０１２における判断の結果、他部位領域に、交点Ａが含まれており、かつ、交点Ｂが含まれていない場合、特徴量修正部１４０は、遮蔽可能性ありと判断し（Ｓ１４０１３：ＹＥＳ）、ステップ１４０２４の処理に進む。

一方、ステップＳ１４０１２における判断の結果、他部位領域に、交点Ａが含まれていない、または、交点Ｂが含まれている場合、特徴量修正部１４０は、遮蔽可能性なしと判断し（Ｓ１４０１３：ＮＯ）、ステップＳ１４０１５の処理に進む。

ステップＳ１４０１４において、特徴量修正部１４０は、部位領域９０１から、固有特徴量を再算出する領域、すなわち再算出領域を抽出する。まず、特徴量修正部１４０は、制約情報である対象部位の長さ（例えば、頭領域の短軸の４倍）と第二部位の候補領域９０２の長軸の長さとの比に基づいて、遮蔽されていない面積の比Ｒ（例えば、２０％など）を求める。次に、特徴量修正部１４０は、部位領域９０１のうち、その先端から面積の比Ｒに相当する領域を、再算出領域として抽出する。

なお、特徴量の再算出に色情報のみを用いる場合には、このステップＳ１４０１４にて処理を終了してもよい。

図１０では、第二部位の候補領域９０２には腕の肌のみが含まれる例を説明したが、第二部位の候補領域９０２に衣服も含まれる場合もある。この場合、ステップＳ１４０１４の処理だけでは、精度よく類似度が判断できない。なぜなら、衣服のテクスチャは、腕の角度により異なる特徴量となるからである。

よって、精度よく類似度を判断するために、特徴量修正部１４０は、ステップＳ１４０１５以降の処理を行うことが好ましい。

ステップＳ１４０１５において、特徴量修正部１４０は、テクスチャの特徴量を算出する場合に、部位領域９０１と第二部位の候補領域９０２とのなす角度が所定の値より小さいか（図１０Ｄに示す角度θ９０４が所定の値より小さい角度か）否かを判断する。ここで所定の値とは、候補領域の角度の推定誤差を示し、予め学習して取得した値（例えば１５度）である。

ステップＳ１４０１５における判断の結果、角度が所定の値より小さい場合（Ｓ１４０１５：ＹＥＳ）、特徴量修正部１４０は、ステップＳ１４０１７の処理に進む。

一方、ステップＳ１４０１５における判断の結果、角度が所定の値より小さくない場合（Ｓ１４０１５：ＮＯ）、特徴量修正部１４０は、ステップＳ１４０１６の処理に進む。

ステップＳ１４０１６において、特徴量修正部１４０は、部位領域９０１と第二部位の候補領域９０２の角度の違いであるθ９０４を用いて、ステップＳ１４０１４で抽出した再算出領域を回転させる。なお、ステップＳ１４０１４を行わなかった場合（Ｓ１４０１３：ＮＯ）、特徴量修正部１４０は、θ９０４を用いて、部位領域９０１を回転させる。

ステップＳ１４０１７において、特徴量修正部１４０は、部位領域９０１の長軸の長さと第二部位の候補領域９０２の長軸の長さとを比較し、長軸の長さの差が所定の値より小さいか否かを判断する。ここで所定の値とは、長軸の推定誤差を示し、頭領域の長軸の比率（頭領域の１０％）で設定された値である。

ステップＳ１４０１７における判断の結果、長軸の長さの差が所定の値より小さい場合（Ｓ１４０１７：ＹＥＳ）、特徴量修正部１４０は、ステップＳ１４０１８の処理に進む。

一方、ステップＳ１４０１７における判断の結果、長軸の長さの差が所定の値より小さくない場合（Ｓ１４０１７：ＮＯ）、特徴量修正部１４０は、ステップＳ１４０１６で抽出した再算出領域を出力して、一連の処理を終了する。なお、長軸の長さの差が所定の値より小さくない場合において、事前にステップＳ１４０１６の処理を行っていない場合には、特徴量修正部１４０は、ステップＳ１４０１４で抽出した再算出領域を出力して、一連の処理を終了する。また、長軸の長さの差が所定の値より小さくない場合において、事前にステップＳ１４０１４の処理およびステップＳ１４０１６の処理を行っていない場合には、特徴量修正部１４０は、部位領域９０１を再算出領域として出力して、一連の処理を終了する。

ステップＳ１４０１８において、特徴量修正部１４０は、部位領域９０１を縮小して再算出領域とする。具体的には、特徴量修正部１４０は、部位領域９０１の長軸の長さに対する第二部位の候補領域９０２の長軸の長さの比率に合わせて、部位領域９０１を縮小し、それを再算出領域として、一連の処理を終了する。例えば、特徴量修正部１４０は、部位領域９０１の長軸の長さが６画素、第二部位の候補領域９０２の長軸の長さが３画素である場合、比率を５０％などにする。そして、特徴量修正部１４０は、比率５０％に合わせて、部位領域９０１の面積を５０％に縮小する。そして、特徴量修正部１４０は、縮小した部位領域９０１を再算出領域とする。

以上説明した図１１のフローによれば、部位領域９０１と第二部位の候補領域９０２の部位の角度が異なるために、見えの長さが異なる場合にも、部位領域９０１の対となる第二部位の候補領域９０２を正しく推定することができる。

なお、図１１のフローにおいて、ステップＳ１４０１７を先に行い、ステップＳ１４０１５をその後に行ってもよい。

また、ステップＳ１４０１８において、特徴量修正部１４０は、再算出領域を縮小する例について説明したが、再算出領域を拡大するようにしてもよい。

以上で、ステップＳ１４００の特徴量修正処理の具体例の説明を終える。

次に、ステップＳ１５００において、判定部１５０は、部位領域９０１と第二部位の候補領域９０２とが、対となる部位であるか否かを判断する。具体的には、判定部１５０は、特徴量修正部１４０の手法と同様に、特徴量修正部１４０で算出した特徴量の類似度を用いて判断する。

なお、特徴量修正部１４０において、複数の特徴量を算出する場合、以下の数式（２）を用いて類似度を算出してもよい。

なお、数式（２）において、各値は、以下の通りである。CSi’は、i番目の第二部位の候補領域９０２の類似度スコアを示す。Max[Ｃ]は、部位領域９０１と第二部位の候補領域９０２との色の特徴量による類似度の最大値を示す。Ｃiは、i番目の第二部位の候補領域９０２と部位領域９０１の色の特徴量による類似度を示す。Tiは、i番目の第二部位の候補領域９０２と部位領域９０１のテクスチャの特徴量による類似度を示す。Max[T]は、部位領域９０１と第二部位の候補領域９０２のテクスチャの特徴量による類似度の最大値を示す。mとnは、予め定めておく重み定数で、n+m=1となるように設定される。重み定数は、色の特徴量とテクスチャの特徴量とが同じ程度信頼できる環境では同じ比率にする。その一方で、重み定数は、色の特徴量がテクスチャの特徴量よりも信用できる環境では、mをnより大きくするというように、事前の学習により設定される。

判定部１５０は、CSi’の値が最も大きい第二部位の候補領域９０２を、部位領域９０１と対となる部位として抽出する。また、第二部位の候補領域９０２が１つの場合、判定部１５０は、CSi’が所定の値以上であれば、部位領域と対となる部位として抽出する。所定の値は、学習により予め設定される。

このように、判定部１５０は、２つの特徴量を環境に応じて重み付けをして用いることで、より精度よく部位領域と対となる部位を抽出することが可能となる。

以上で、ステップＳ１５００の判定処理の具体例の説明を終える。

（実施の形態１、２の変形例）
以上、本実施の形態１、２についてそれぞれ説明したが、上記説明は一例であり、種々の変形が可能である。以下、本実施の形態１、２の変形例について説明する。

例えば、実施の形態１および２で説明した姿勢推定装置１００の動作は、ハードウェアとの連係において、ソフトウェアでも実現することも可能である。

また、例えば、実施の形態２では、多関節物体を人として説明したが、本発明は、人に限定されない。

また、例えば、実施の形態２において、特徴量修正部１４０は、固有特徴量の修正を行う前に、以下の特徴量判定処理を行うようにしてもよい。

特徴量判定処理の概要は、次の通りである。まず、特徴量修正部１４０は、特徴量算出部１３０で算出した、部位領域の固有特徴量と第二部位の候補領域の固有特徴量との類似度を算出する。次に、特徴量修正部１４０は、算出した類似度に基づいて、部位領域と対の前腕であると推定できる第二部位の候補領域が存在するか否かを判断する。この判断の結果、部位領域と対の前腕であると推定できる第二部位の候補領域が存在しない場合、特徴量修正部１４０は、上述した固有特徴量の修正を行う。

以下、特徴量判定処理の具体例について説明する。

特徴量修正部１４０は、類似度の算出を行うにあたり、例えば、公知の技術であるコサイン類似度を用いるものとして説明するが、コサイン類似度に限定されない。コサイン類似度は、多次元の変数をベクトルと考え、ベクトルの向きが一致している時に最大値の１をとり、直交ならば０、向きが逆ならば最小値の−１をとる。特徴量修正部１４０が用いるコサイン類似度の数式（３）を以下に示す。

なお、数式（３）において、各値は、以下の通りである。kは、特徴量のビン数を示す。ｘ_iは、部位領域の特徴量のi番目のビンの値を示す。y_iは、第二部位の候補領域の特徴量のi番目のビンの値を示す。

特徴量修正部１４０は、部位領域９０１と第二部位の候補領域９０２のペアごとに、コサイン類似度を算出する。そして、特徴量修正部１４０は、ペアごとに、算出したコサイン類似度に基づいて、第二部位の候補領域９０２が部位領域９０１と似た特徴量を持っているか否かを判定する。ここで、特徴量修正部１４０は、コサイン類似度の値が最も大きい第二部位の候補領域９０２を、部位領域９０１の対となる候補領域として抽出してもよい。

このように、姿勢推定装置１００は、人３４０に共通の形状を示す情報に基づいて抽出した第二部位の候補領域９０２のうち、部位の可能性が高い第二部位の候補領域９０２を特定する。そして、姿勢推定装置１００は、個別の人の部位に特有な情報を示す特徴量を用いて、部位領域９０１と特定した第二部位の候補領域９０２との類似度と、部位領域９０１と他の第二部位の候補領域９０２との類似度と、を比較する。これにより、姿勢推定装置１００は、第二部位の候補領域９０２が複数ある場合にも、精度よく対となる部位を推定することができる。

以上、本開示の姿勢推定装置は、対となる部位を有する多関節物体の全部または一部を含む画像に基づいて、前記対となる部位を推定する姿勢推定装置であって、前記画像から、前記対となる部位について不特定多数の多関節物体に共通する形状の特徴を示す共通特徴量を用いて、前記対となる部位の候補領域を複数抽出する候補領域抽出部と、前記複数の候補領域から、前記対となる部位である尤度が最大である第１候補領域を抽出し、前記第１候補領域以外を第２候補領域とする部位領域抽出部と、前記第１候補領域および前記第２候補領域のそれぞれについて、前記対となる部位について推定対象の多関節物体に固有の特徴を示す固有特徴量を算出する特徴量算出部と、前記第１候補領域および前記第２候補領域のうち、一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度のうち少なくとも１つに基づいて修正する特徴量修正部と、前記修正した固有特徴量と、前記他方の候補領域の固有特徴量との類似度に基づいて、前記第１候補領域と前記第２候補領域とが前記対となる部位であるか否かを判定する判定部と、を備える。

また、本開示の姿勢推定装置において、前記特徴量修正部は、前記第１候補領域の固有特徴量と前記第２候補領域の固有特徴量との類似度を算出し、前記算出した類似度に基づいて、前記第１候補領域と対になると推定できる前記第２候補領域が存在するか否かを判断し、前記判断の結果、前記第１候補領域と対になると推定できる前記第２候補領域が存在しない場合、前記一方の候補領域の固有特徴量の修正を行う。

また、本開示の姿勢推定装置において、前記特徴量修正部は、前記第１候補領域の固有特徴量を、前記第２候補領域の長さ、幅、および角度の少なくとも１つに基づいて修正する。

また、本開示の姿勢推定装置において、前記特徴量修正部は、前記第２候補領域の長軸と楕円周との交点として、基準点からの距離が短い第１交点と、前記基準点からの距離が長い第２交点とを抽出し、他の部位が存在する可能性のある領域に前記第１交点および前記第２交点が含まれるか否かに基づいて、前記第２候補領域が前記他の部位に遮蔽されている可能性を判断し、遮蔽されている可能性がある場合、前記第１候補領域の一部を抽出し、抽出した前記第１候補領域の一部について、固有特徴量の算出を行う。

また、本開示の姿勢推定装置において、前記特徴量修正部は、前記第１候補領域と前記第２候補領域とが為す角度が０度であるか否かを判断し、前記角度が０度ではない場合、前記角度を用いて、前記第１候補領域の一部または全部を回転させる。

また、本開示の姿勢推定装置において、前記特徴量修正部は、前記第１候補領域の長軸の長さと前記第２候補領域の長軸の長さとを比較し、前記長軸の長さの差が所定の値より小さい場合、または、前記長軸の長さが等しい場合、前記第１候補領域の長軸の長さに対する前記第２候補領域の長軸の長さの比率に合わせて、前記第１候補領域を縮小し、縮小した前記第１候補領域について、固有特徴量の算出を行う。

また、本開示の姿勢推定装置において、前記候補領域抽出部は、前記対となる部位の特性について予め定められた制約情報に基づいて、前記複数の候補領域を抽出する。

また、本開示の姿勢推定装置において、前記共通特徴量は、エッジのみ、または、エッジおよびシルエットである。

また、本開示の姿勢推定装置において、前記固有特徴量は、色およびテクスチャのうち少なくとも１つである。

本開示の姿勢推定方法は、対となる部位を有する多関節物体の全部または一部を含む画像に基づいて、前記対となる部位を推定する姿勢推定方法であって、前記画像から、前記対となる部位について不特定多数の多関節物体に共通する形状の特徴を示す共通特徴量を用いて、前記対となる部位の候補領域を複数抽出するステップと、前記複数の候補領域から、前記対となる部位である尤度が最大である第１候補領域を抽出し、前記第１候補領域以外を第２候補領域とするステップと、前記第１候補領域および前記第２候補領域のそれぞれについて、前記対となる部位について推定対象の多関節物体に固有の特徴を示す固有特徴量を算出するステップと、前記第１候補領域および前記第２候補領域のうち、一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度のうち少なくとも１つに基づいて修正するステップと、前記修正した固有特徴量と、前記他方の候補領域の固有特徴量との類似度に基づいて、前記第１候補領域と前記第２候補領域とが前記対となる部位であるか否かを判定するステップと、を有する。

本開示の姿勢推定プログラムは、対となる部位を有する多関節物体の全部または一部を含む画像に基づいて、前記対となる部位を推定する装置のコンピュータに実行させる姿勢推定プログラムであって、前記画像から、前記対となる部位について不特定多数の多関節物体に共通する形状の特徴を示す共通特徴量を用いて、前記対となる部位の候補領域を複数抽出する処理と、前記複数の候補領域から、前記対となる部位である尤度が最大である第１候補領域を抽出し、前記第１候補領域以外を第２候補領域とする処理と、前記第１候補領域および前記第２候補領域のそれぞれについて、前記対となる部位について推定対象の多関節物体に固有の特徴を示す固有特徴量を算出する処理と、前記第１候補領域および前記第２候補領域のうち、一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度のうち少なくとも１つに基づいて修正する処理と、前記修正した固有特徴量と、前記他方の候補領域の固有特徴量との類似度に基づいて、前記第１候補領域と前記第２候補領域とが前記対となる部位であるか否かを判定する処理と、を実行させる。

本発明に係る姿勢推定装置、姿勢推定方法および姿勢推定プログラムは、対となる部位を有する多関節物体の姿勢を高精度に推定することができる装置、方法およびプログラムに有用である。

１００姿勢推定装置
１１０候補領域抽出部
１２０部位領域抽出部
１３０特徴量算出部
１４０特徴量修正部
１５０判定部
２００姿勢推定システム
３１０撮影エリア
３２０カメラ
３３０床面
３４０人

Claims

対となる部位を有する多関節物体の全部または一部を含む画像に基づいて、前記対となる部位を推定する姿勢推定装置であって、
前記画像から、前記対となる部位について不特定多数の多関節物体に共通する形状の特徴を示す共通特徴量を用いて、前記対となる部位の候補領域を複数抽出する候補領域抽出部と、
前記複数の候補領域から、前記対となる部位である尤度が最大である第１候補領域を抽出し、前記第１候補領域以外を第２候補領域とする部位領域抽出部と、
前記第１候補領域および前記第２候補領域のそれぞれについて、前記対となる部位について推定対象の多関節物体に固有の特徴を示す固有特徴量を算出する特徴量算出部と、
前記第１候補領域および前記第２候補領域のうち、一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度のうち少なくとも１つに基づいて修正する特徴量修正部と、
前記修正した固有特徴量と、前記他方の候補領域の固有特徴量との類似度に基づいて、前記第１候補領域と前記第２候補領域とが前記対となる部位であるか否かを判定する判定部と、
を備える姿勢推定装置。
前記特徴量修正部は、
前記第１候補領域の固有特徴量と前記第２候補領域の固有特徴量との類似度を算出し、
前記算出した類似度に基づいて、前記第１候補領域と対になると推定できる前記第２候補領域が存在するか否かを判断し、
前記判断の結果、前記第１候補領域と対になると推定できる前記第２候補領域が存在しない場合、前記一方の候補領域の固有特徴量の修正を行う、
請求項１記載の姿勢推定装置。
前記特徴量修正部は、
前記第１候補領域の固有特徴量を、前記第２候補領域の長さ、幅、および角度の少なくとも１つに基づいて修正する、
請求項１記載の姿勢推定装置。
前記特徴量修正部は、
前記第２候補領域の長軸と楕円周との交点として、基準点からの距離が短い第１交点と、前記基準点からの距離が長い第２交点とを抽出し、
他の部位が存在する可能性のある領域に前記第１交点および前記第２交点が含まれるか否かに基づいて、前記第２候補領域が前記他の部位に遮蔽されている可能性を判断し、
遮蔽されている可能性がある場合、前記第１候補領域の一部を抽出し、
抽出した前記第１候補領域の一部について、固有特徴量の算出を行う、
請求項１記載の姿勢推定装置。
前記特徴量修正部は、
前記第１候補領域と前記第２候補領域とが為す角度が０度であるか否かを判断し、
前記角度が０度ではない場合、前記角度を用いて、前記第１候補領域の一部または全部を回転させる、
請求項１記載の姿勢推定装置。
前記特徴量修正部は、
前記第１候補領域の長軸の長さと前記第２候補領域の長軸の長さとを比較し、
前記長軸の長さの差が所定の値より小さい場合、または、前記長軸の長さが等しい場合、前記第１候補領域の長軸の長さに対する前記第２候補領域の長軸の長さの比率に合わせて、前記第１候補領域を縮小し、
縮小した前記第１候補領域について、固有特徴量の算出を行う、
請求項１記載の姿勢推定装置。
前記候補領域抽出部は、
前記対となる部位の特性について予め定められた制約情報に基づいて、前記複数の候補領域を抽出する、
請求項１記載の姿勢推定装置。
前記共通特徴量は、エッジのみ、または、エッジおよびシルエットである、
請求項１記載の姿勢推定装置。
前記固有特徴量は、色およびテクスチャのうち少なくとも１つである、
請求項１記載の姿勢推定装置。
対となる部位を有する多関節物体の全部または一部を含む画像に基づいて、前記対となる部位を推定する姿勢推定方法であって、
前記画像から、前記対となる部位について不特定多数の多関節物体に共通する形状の特徴を示す共通特徴量を用いて、前記対となる部位の候補領域を複数抽出するステップと、
前記複数の候補領域から、前記対となる部位である尤度が最大である第１候補領域を抽出し、前記第１候補領域以外を第２候補領域とするステップと、
前記第１候補領域および前記第２候補領域のそれぞれについて、前記対となる部位について推定対象の多関節物体に固有の特徴を示す固有特徴量を算出するステップと、
前記第１候補領域および前記第２候補領域のうち、一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度のうち少なくとも１つに基づいて修正するステップと、
前記修正した固有特徴量と、前記他方の候補領域の固有特徴量との類似度に基づいて、前記第１候補領域と前記第２候補領域とが前記対となる部位であるか否かを判定するステップと、
を有する姿勢推定方法。
対となる部位を有する多関節物体の全部または一部を含む画像に基づいて、前記対となる部位を推定する装置のコンピュータに実行させる姿勢推定プログラムであって、
前記画像から、前記対となる部位について不特定多数の多関節物体に共通する形状の特徴を示す共通特徴量を用いて、前記対となる部位の候補領域を複数抽出する処理と、
前記複数の候補領域から、前記対となる部位である尤度が最大である第１候補領域を抽出し、前記第１候補領域以外を第２候補領域とする処理と、
前記第１候補領域および前記第２候補領域のそれぞれについて、前記対となる部位について推定対象の多関節物体に固有の特徴を示す固有特徴量を算出する処理と、
前記第１候補領域および前記第２候補領域のうち、一方の候補領域の固有特徴量を、他方の候補領域の長さ、幅、および角度のうち少なくとも１つに基づいて修正する処理と、
前記修正した固有特徴量と、前記他方の候補領域の固有特徴量との類似度に基づいて、前記第１候補領域と前記第２候補領域とが前記対となる部位であるか否かを判定する処理と、
を実行させる姿勢推定プログラム。