JP6892155B2 - 人体部位推定装置、人体部位推定方法、及びプログラム - Google Patents

Description

本発明は、人体部位を推定する人体部位推定装置、人体部位推定方法に関し、更には、これらを実現するためのプログラムに関する。

機器をジェスチャにより操作するジェスチャ操作において、深度センサにより撮像された深度画像から、特定したい人体部位の識別と形状とジェスチャ操作とを推定するには、特定したい人体部位のうち、特徴的な部位（以降、特徴部位と呼ぶ）を用いることが有効である。例えば、深度センサにより撮像された人体部位の深度画像（以降、人体部位画像）における、特徴部位に対応する画像（以降、特徴部位画像と呼ぶ）の輪郭形状を特徴量として、特定したい人体部位の識別と形状とジェスチャ操作とを推定することが有効である。

また、深度センサにより撮像された深度画像から、特定したい人体部位の識別と形状とジェスチャ操作を推定するには、特定したい人体部位の形状、又は人体部位の動きを用いることも有効である。例えば、手を特定したい人体部位とし、手の特徴部位を指とした場合、手と指の形状、又は手と指の動きを特徴量とし、これらの特徴量を用いて、手と指の形状を推定することが有効である。特許文献１には、手の動きと、手の形状と、指の動きとを特徴量として、これらの特徴量と、ジェスチャ操作ごとに設定された条件とを照合して、ジェスチャ操作の種類を判定するジェスチャ判定装置が開示されている。

特許第６１２１５３４号公報

しかしながら、上述した特徴量を用いて、特定したい人体部位の識別と形状とを推定する方法では、人体部位が回転又は変形などすると、人体部位画像の特徴量が大きく変化するため、特定したい人体部位の形状を推定する精度が低下する。その理由は、上述した方法では、特徴量として人体部位画像の輪郭形状を用いるため、人体部位の姿勢又は人体部位を撮像する方向により、人体部位画像の輪郭形状を正確に推定できないからである。

また、特定したい人体部位の識別と形状とを推定する精度が低下すると、推定した人体部位の識別と形状とを用いて推定するジェスチャ操作についても、ジェスチャ操作を推定する精度が低下する。

本発明の目的の一例は、上記問題を解消し、人体部位の識別と形状とを推定する精度を向上させる人体部位推定装置、人体部位推定方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における人体部位推定装置は、
深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、特徴分布生成部と、
前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像における基準方向を算出する、基準方向算出部と、
前記基準方向を基準とし、前記人体部位特徴画像を分割する分割領域を設定する、分割領域設定部と、
前記分割領域ごとに特徴量を算出する、特徴量算出部と、
前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、推定部と、
を有することを特徴とする。

また、上記目的を達成するため、本発明の一側面における人体部位推定方法は、
（ａ）深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、ステップと、
（ｂ）前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像における基準方向を算出する、ステップと、
（ｃ）前記基準方向を基準とし、前記人体部位特徴画像を分割する分割領域を設定する、ステップと、
（ｄ）前記分割領域ごとに特徴量を算出する、ステップと、
（ｅ）前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、ステップと、
を有することを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、ステップと、
（ｂ）前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像の基準方向を算出する、ステップと、
（ｃ）前記基準方向を基準とし、前記人体部位画像を分割する分割領域を設定する、ステップと、
（ｄ）前記分割領域ごとに特徴量を算出する、ステップと、
（ｅ）前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、ステップと、
を実行させることを特徴とする。

以上の本発明によれば、人体部位の識別と形状とを推定する精度を向上させることができる。

図１は、人体部位推定装置の一例を示す図である。 図２は、人体部位推定装置を有するシステムの一例を示す図である。 図３は、人体を撮像した深度画像の一例を示す図である。 図４は、特徴分布画像の例を示す図である。 図５は、基準方向の算出について説明するための図である。 図６は、基準方向と分割領域との関係を説明するための図である。 図７は、特徴分布画像に基準方向と分割領域とを適用した例を示す図である。 図８は、特徴量ベクトルの一例を示す図である。 図９は、人体部位推定装置において人体部位の識別と形状とを推定する動作の一例を示す図である。 図１０は、人体部位推定装置において人体部位を用いた操作を推定する動作の一例を示す図である。 図１１は、本発明の実施の形態における人体部位推定装置を実現するコンピュータの一例を示す図である。

（実施の形態）
以下、本発明の実施の形態における人体部位推定装置、人体部位推定方法、及び人体部位推定プログラムについて、図１から図１１を参照しながら説明する。

［装置構成］
最初に、本実施の形態における人体部位推定装置の構成について説明する。図１は、人体部位推定装置の一例を示す図である。図１に示すように、人体部位推定装置１は、特徴分布生成部２と、基準方向算出部３と、分割領域設定部４と、特徴量算出部５と、推定部６とを有する。

特徴分布生成部２は、深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、特徴部位画像の応答値が特徴部位画像以外の人体部位画像の応答値より大きくなるように特徴分布画像を生成する。基準方向算出部３は、特徴分布画像に基づいて、特徴分布画像の人体部位に対応する人体部位特徴画像における人体部位画像の基準方向を算出する。分割領域設定部４は、基準方向を基準とし、人体部位特徴画像を分割する分割領域を設定する。特徴量算出部５は、分割領域ごとに特徴量を算出する。推定部６は、分割領域ごとに算出した特徴量を、分割領域ごとに算出した特徴量に基づいて、予め学習により生成された識別器に適用して、人体部位の識別と形状とを推定する。

このように、本実施の形態では、人体部位特徴画像の形状に応じて変化する基準方向に分割領域を設定し、分割領域ごとに算出した特徴量を、予め生成した人体部位の識別と形状とを推定する識別器に適用して、人体部位の識別と形状とを推定する。そうすることで、人体部位の姿勢又は人体部位を撮像する方向により、人体部位が回転又は変形しても、人体部位画像の輪郭形状を特徴量として人体部位の識別と形状とを推定した場合より、人体部位の形状を推定する精度を向上させることができる。

また、人体部位の形状を推定する方法として、骨格推定モデルを利用した方法がある。ところが、骨格推定モデルを利用した方法は、人体部位の形状を推定する際、一般に推定処理負荷が高負荷となることが知られている。しかし、本実施の形態では、上述したように、基準方向に設定された分割領域ごとに算出した特徴量を、予め学習により生成した識別器に適用して、人体部位の識別と形状とを推定しているため、骨格推定モデルを利用した方法より、推定処理負荷を低減させることができる。

［システム構成］
続いて、図２を用いて、人体部位推定装置１及び人体部位推定装置１を有するシステムについて具体的に説明する。図２は、人体部位推定装置を有するシステムの一例を示す図である。人体部位推定システム２０は、人体部位推定装置１と、深度センサ２１と、識別器２２とを有する。人体部位推定装置１は、更に部位候補検出部２３を有している。また、推定部６は、部位推定部２４と、形状推定部２５と、操作推定部２６とを有する。

深度センサ２１（深度センサ２１を有する機器）は、深度センサ２１から対象物までの深度を計測し、深度情報又は深度画像を生成し、人体部位推定装置１に出力する。なお、深度センサ２１は、例えば、ＴＯＦ（Time of Flight）センサなどを用いてもよい。識別器２２は、本実施の形態では、学習により生成された学習モデルで、後述する部位候補識別器２７と、部位識別器２８と、形状識別器２９と、操作識別器３０とを有する。

識別器２７から３０において用いられる学習方式としては、例えば、ニューラルネットワーク、線形判別分析法（Linear Discriminant Analysis：ＬＤＡ）、サポートベクトルマシン（Support Vector Machine：ＳＶＭ）、ブースティング、ランダムフォレスト（Random Forests：ＲＦｓ）などがあげられる。なお、ブースティングとしては、例えば、AdaBoost（Adaptive Boosting）、又はReal AdaBoostなどがあげられる。

部位候補検出部２３は、深度センサ２１から深度画像を取得し、取得した深度画像の深度分布に基づいて、特定した人体部位画像の候補を検出する。また、部位候補検出部２３は、人体部位画像のうち特徴部位の候補となる特徴部位画像を検出する。ただし、部位候補検出部２３では、確実に特定したい人体部位画像及び特徴部位画像を検出する必要はなく、大まかに人体部位画像及び特徴部位画像を検出すればよい。その理由は、後述する特徴分布生成部２と、基準方向算出部３と、分割領域設定部４と、特徴量算出部５と、推定部６とを用いて、人体部位を精度よく検出するため、部位候補検出部２３では高い検出精度を必要としないためである。従って、高い検出精度を必要としないため、人体部位推定装置１における推定処理負荷を低減することができる。

具体的に説明する。図３は、人体を撮像した深度画像の一例を示す図である。図３に示す深度画像４１には、人体に対応する人体画像４２が撮像されている。また、人体画像４２には、腕に対応する腕画像４３と、掌に対応する掌画像４４と、指に対応する指画像４５とが撮像されている。

部位候補検出部２３は、本実施の形態では、深度画像４１を取得し、深度画像４１を部位候補識別器２７に適用して、候補となる人体部位に対応する掌画像４４と指画像４５とを検出する。部位候補識別器２７は、例えば、予め取得した複数の深度情報を有する掌画像と指画像と非掌画像と非指画像とをサンプルデータとし、それらサンプルデータにおける特徴量を評価し、上述した学習方式により生成された学習モデルである。

また、部位候補識別器２７では、深度画像の局所領域を捉える特徴量、又は局所領域間の関連性や共起性を捉える特徴量などを用いる。具体的には、局所領域を捉える特徴量は、深度画像の輝度に着目した特徴量、又は深度画像のエッジに着目した特徴量を用いる。深度画像の輝度に着目した特徴量は、例えば、Haar-like特徴量、又はピクセル差分特徴量（数１を参照）などがあげられる。

F(p)：ピクセル差分特徴量
off1, off2：深度画像の座標系の位置pからの距離
D(p)：深度画像の座標系の位置pの深度

深度画像のエッジに着目した特徴量は、例えば、ＥＯＨ（Edge Orientation Histogram）特徴量、又はＨＯＧ（Histograms of Oriented Gradients）特徴量、又はＥＨＯＧ（Extend HOG）特徴量、又はEdgelet特徴量などがあげられる。

また、局所領域間の関連性や共起性を捉える特徴量は、例えば、Joint Haar-like特徴量、又はスパース特徴量、又はShapelet特徴量、又はJoint ＨＯＧ特徴量などがあげられる。更に、上述した特徴量の他に、ＳＩＦＴ（Scale-Invariant Feature Transform）、又はＳＵＲＦ（Speeded Up Robust Features）、又はＦＡＳＴ（Features from Accelerated Segment Test）などがあげられる。

特徴分布生成部２は、部位候補検出部２３により検出された人体部位画像を取得し、取得した人体部位画像のうち、予め設定された特徴部位に対応する特徴部位画像に含まれる深度分布に基づいて、特定したい人体部位画像における特徴分布画像を生成する。すなわち、特徴分布画像は、特徴部位画像に関連する特徴量（応答値）が特徴部位画像以外の人体部位画像の特徴量（応答値）より大きくなるように、生成された応答値分布である。

具体的に説明する。図４は、特徴分布画像の例を示す図である。図４に示す画像５１は、すべての指をひらいたときの特徴分布画像である。図４に示す画像５２は、親指以外の指をつけたときの特徴分布画像である。図４に示す画像５３は、人差し指と中指をひらき、親指と薬指と小指とをとじたときの特徴分布画像である。図４に示す画像５４は、親指と人差し指とを軽くひらき、中指と薬指と小指とをとじたときの特徴分布画像である。また、画像５１から５４において、白色の部分は応答値が最大値であることを示し、黒色の部分は応答値が最小値であることを示している。また、白色と黒色との間の中間色は、白色に近づくほど応答値が高く、黒色に近づくほど応答値が低いことを示している。

また、図４に示す特徴分布画像５１から５４は、深度画像から検出した掌画像の深度を基準に、検出した指画像の深度に基づいて生成される。言い換えれば、特徴分布画像５１から５４は、指画像５６の応答値が掌画像５５の応答値より大きくなるように、生成された応答値分布である。

基準方向算出部３は、特徴分布生成部２により作成された特徴分布画像を取得し、取得した特徴分布画像に基づいて、後述する特徴座標を算出する。続いて、基準方向算出部３は、後述する中心座標と特徴座標とを用いて、特定したい人体部位画像における基準方向を算出する。すなわち、基準方向算出部３は、特徴分布画像の人体部位（例えば、手）に対応する人体部位特徴画像（例えば、手（掌と指とから形成される）に対応する人体部位特徴画像）における基準方向を算出する。

具体的に説明する。図５は、基準方向の算出について説明するための図である。図５に示す特徴分布画像６１、６２、６３、６４は、図４に示した特徴分布画像５１、５２、５３、５４に対応している。また、特徴分布画像６１、６２、６３、６４は、例えば、原点座標(０，０)から座標（６３，６３）までの６４×６４個の座標（ピクセル）を有するものとする。

まず、特徴座標の算出について説明する。基準方向算出部３は、特徴座標を、例えば、数２に基づいて算出する。すなわち、特徴座標は、応答値を重み付け係数として算出される。

xd：特徴座標系のx座標
yd：特徴座標系のy座標
Resp(x,y)：特徴分布画像の座標ごとの応答値
Σ(Resp(x,y))：特徴分布画像の応答値の合計

次に、基準方向の算出について説明する。基準方向算出部３は、特徴座標（ｘｄ，ｙｄ）を算出した後、特徴分布画像の掌画像５５（掌に対応する人体部位特徴画像）の中心座標６５（ｘｃ，ｙｃ）から算出した特徴座標（ｘｄ，ｙｄ）へ向かう方向を算出し、この方向を基準方向６６とする。すなわち、基準方向算出部３は、中心座標６５から指画像５６（指に対応する人体部位特徴画像）方向に向かう基準方向を算出する。中心座標６５は、掌画像５５の大きさから算出した中心位置、又は掌画像５５の重心位置などである。

このように、基準方向算出部３を用いて基準方向６６を算出することで、図５の特徴分布画像６１から６４に示すように、手の形状に応じて基準方向６６の方向を変化させることができる。すなわち、人体部位が回転又は変形などしても、手の形状が同じであれば、基準方向６６の方向は手の形状に対して同じ方向に向くようにできる。

分割領域設定部４は、基準方向算出部３により算出された基準方向を取得し、取得した基準方向を基準として、人体部位特徴画像を分割するための分割領域を設定する。分割領域について具体的に説明する。図６は、基準方向と分割領域との関係を説明するための図である。図６では、基準方向６６と分割領域（１）から（１６）とが関係付けられている。

分割領域（１）から（１６）は、中心座標６５を中心点とした円形６７を、半径方向に二分割し、更に角度方向を八分割して形成される領域である。ただし、分割領域は、図６に示すような形状に限定されるものではない。また、図６において基準方向６６は、分割領域（１）（９）と分割領域（８）（１６）との境界に設定される。

図７は、特徴分布画像に基準方向と分割領域とを適用した例を示す図である。図７に示す特徴分布画像７１、７２、７３、７４は、図５に示した特徴分布画像６１、６２、６３、６４に対応し、図５に示した基準方向６６に図６に示した分割領域（１）から（１６）を適用した図である。このように、分割領域設定部４を用いて、基準方向６６を基準に分割領域（１）から（１６）を設定することで、図７の特徴分布画像７１から７４に示したように、手の形状に応じて分割領域の位置を変化させることができる。すなわち、人体部位が回転又は変形などしても、手の形状が同じであれば、分割領域の位置は手の形状に対して同じ位置にできる。

特徴量算出部５は、分割領域設定部４で設定した分割領域ごとに特徴量を算出する。分割領域ごとに算出する特徴量について具体的に説明する。特徴量は、例えば、分割領域の応答値の合計値、平均値、分散値のいずれか一つ（一次元）、又は分割領域の合計値、平均値、分散値のうちの二つの組み合わせ（二次元）、又は分割領域の合計値、平均値、分散値すべて（三次元）などを用いることが考えられる。更に、特徴量は、分割領域に含まれる応答値のヒストグラム（任意の分割に対応する次元）を用いてもよい。

続いて、特徴量算出部５は、算出した特徴量を用いて、特徴量ベクトルを生成する。特徴量ベクトルの生成について具体的に説明する。図８は、特徴量ベクトルの一例を示す図である。図８に示すヒスとグラムと特徴量ベクトルとは、分割領域を図６に示した分割領域（１）から（１６）とし、特徴量を応答値の合計値と平均値とし、一つの座標（ピクセル）の応答値の範囲を０．０から１．０とした場合のものである。また、図８に示す特徴量ベクトルは、分割領域（１）から（１６）の順に、応答値の合計値と平均値とが記述されている。すなわち、図８に示す特徴量ベクトルには、分割領域（１）に対応する応答値の合計値１０と平均値５と、分割領域（２）に対応する応答値の合計値８と平均値４と、分割領域（３）に対応する応答値の合計値１０と平均値５と、分割領域（４）に対応する応答値の合計値８と平均値４．５と、分割領域（５）に対応する応答値の合計値１１と平均値５．５と……分割領域（１６）に対応する応答値の合計値１０と平均値５とが記述されている。

推定部６は、部位推定部２４、形状推定部２５、操作推定部２６を有する。部位推定部２４は、特徴量算出部５から特徴量ベクトルを取得し、取得した特徴量ベクトルに基づいて、特定した人体部位を推定する。また、形状推定部２５は、特徴量算出部５又は部位推定部２４から特徴量ベクトルを取得し、取得した特徴量ベクトルに基づいて、人体部位のうち特徴部位を推定する。

部位推定部２４について具体的に説明する。部位推定部２４は、本実施の形態では、特徴量算出部５から取得した特徴量ベクトルを、部位識別器２８に適用して、特定したい人体部位を推定する。部位推定部２４は、例えば、手であるか否かを推定する。部位識別器２８は、予め取得した複数の手画像（人体部位特徴画像）から得られた特徴量ベクトルをサンプルデータとし、それらサンプルデータを評価し、上述した学習方式により生成された学習モデルである。例えば、推定したい人体部位が手である場合、部位識別器２８は、手を推定するための学習モデルである。

形状推定部２５について具体的に説明する。形状推定部２５は、本実施の形態では、特徴量算出部５から取得した特徴量ベクトルを、形状識別器２９に適用して、特定したい人体部位の形状を推定する。形状推定部２５は、例えば、人体部位を用いる操作（例えば、ジェスチャ操作）で用いられる人体部位の形状を推定する。形状識別器２９は、例えば、予め取得した複数の手画像（人体部位特徴画像）から得られた特徴量ベクトルをサンプルデータとし、それらサンプルデータを評価し、上述した学習方式により生成された学習モデルである。例えば、ジェスチャ操作で用いられる人体部位の形状を推定したい場合、形状識別器２９は、ジェスチャ操作で用いられる人体部位の形状を推定するための学習モデルである。

操作推定部２６は、複数の推定された人体部位の形状の状態遷移を操作特徴量とし、操作特徴量を、操作特徴量に基づいて、予め学習により生成された操作識別器３０に適用して、人体部位を用いたジェスチャ操作を推定する。

操作推定部２６について具体的に説明する。操作推定部２６は、本実施の形態では、形状推定部２５から、複数の推定された人体部位の形状の状態を示す情報を取得する。特定したいジェスチャ操作がピンチイン操作である場合、次のような（Ａ）（Ｂ）（Ｃ）状態を示す情報を取得する。
（Ａ）親指の指先と人差し指の指先とが開かれ、中指と薬指と小指とが閉じられた状態
（Ｂ）親指の指先と人差し指の指先とが付くまでの一つ以上の状態
（Ｃ）親指の指先と人差し指の指先とが付いた状態

また、特定したいジェスチャ操作がピンチアウト操作である場合、次のような（Ｄ）（Ｅ）（Ｆ）状態を示す情報を取得する。
（Ｄ）親指の指先と人差し指の指先とが付けられ、中指と薬指と小指とが閉じられた状態
（Ｅ）親指の指先と人差し指の指先とが所定位置まで開くまでの一つ以上の状態
（Ｆ）親指の指先と人差し指の指先とが所定位置まで開かれた状態

続いて、操作推定部２６は、推定された人体部位の形状の状態の遷移を操作特徴量とし、操作識別器３０に適用して、人体部位を用いたジェスチャ操作を推定する。操作特徴量は、ピンチイン操作である場合、状態（Ａ）→（Ｂ）→（Ｃ）の状態遷移とし、ピンチアウト操作である場合、状態（Ｄ）→（Ｅ）→（Ｆ）の状態遷移とする。

操作識別器３０は、例えば、予め取得した複数のジェスチャ操作における状態遷移をサンプルデータとし、それらサンプルデータを評価し、上述した学習方式により生成されたジェスチャ操作を推定するための学習モデルである。

［変形例］
上述した基準方向は、手の摂動などによって方向が変化するため、基準方向算出部３は、中心座標を基準に、基準方向を、所定角度の回転又は所定距離の移動をさせる、基準方向と別の摂動用基準方向を設ける。更に、分割領域設定部４は、摂動用基準方向に対しても分割領域を設定する。なお、所定角度又は所定距離は、予め設定してもよいし、実際の摂動を計測し、その摂動に応じて設定してもよい。また、特徴量算出部５は、摂動用基準方向を用いる場合、基準方向及び摂動用基準方向の特徴量ベクトルの記述をする。その場合、特徴量ベクトルの次元は二倍となり、基準方向だけのときより二倍記述が増える。

このようにすることで、摂動の影響により人体部位が動いたために、基準方向を用いて正確に人体部位の識別と形状との推定ができない場合でも、摂動用基準方向を用いることで、人体部位の識別と形状との推定する精度を向上させることができる。更に、ジェスチャ操作を推定する精度を向上させることができる。なお、摂動用基準方向は複数用意してもよい。

［装置動作］
本実施の形態における人体部位推定方法は、図１及び図２に示した本実施の形態における人体部位推定装置１を動作させることによって実施される。このため、本実施の形態における人体部位推定方法の説明は、以下の人体部位推定装置の動作説明に代える。また、本発明の実施の形態における人体部位推定装置の動作について図９、図１０を用いて説明する。図９は、人体部位推定装置において人体部位の識別と形状とを推定する動作の一例を示す図である。図１０は、人体部位推定装置において人体部位を用いた操作を推定する動作の一例を示す図である。なお、以下の説明においては、適宜図１から図８を参酌しながら説明をする。

まず、人体部位推定装置１において人体部位の識別と形状とを推定する動作について説明する。人体部位推定装置１は、図９に示すように、深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、特徴部位画像の応答値が特徴画像以外の人体部位画像の応答値より大きくなるように特徴分布画像を生成する（ステップＡ１）。続いて、人体部位推定装置１は、特徴分布画像に基づいて、人体部位特徴画像の基準方向を算出する（ステップＡ２）。続いて、人体部位推定装置１は、基準方向を基準とし、人体部位特徴画像を分割する分割領域を設定する（ステップＡ３）。続いて、人体部位推定装置１は、分割領域ごとに特徴量を算出する（ステップＡ４）。続いて、人体部位推定装置１は、分割領域ごとに算出した特徴量を、識別器２２に適用して、人体部位の識別と形状とを推定する（ステップＡ５）。

具体的に説明する。ステップＡ１において、人体部位推定装置１の特徴分布生成部２は、部位候補検出部２３により検出された、予め設定された特徴部位に対応する特徴部位画像（指画像４５）を取得する。続いて、特徴分布生成部２は、特徴部位画像に含まれる深度分布に基づいて、特定したい人体部位画像における特徴分布画像を生成する。すなわち、特徴分布画像は、検出した指画像４５の深度分布に基づいて生成される。言い換えれば、特徴分布画像は、指画像５６の特徴量（応答値）が掌画像５５の特徴量（応答値）より大きくなるように、生成された応答値分布である。

ステップＡ２において、人体部位推定装置１の基準方向算出部３は、特徴分布生成部２から特徴分布画像を取得し、上述した数２に基づいて、特徴座標を算出する。続いて、基準方向算出部３は、中心座標と特徴座標とを用いて、特定したい人体部位画像における基準方向を算出する。

ステップＡ３において、人体部位推定装置１の分割領域設定部４は、基準方向算出部３により算出された基準方向を取得し、取得した基準方向を基準として、人体部位特徴画像を分割するための分割領域を設定する。

ステップＡ４において、人体部位推定装置１の特徴量算出部５は、分割領域ごとに特徴量を算出する。続いて、特徴量算出部５は、算出した特徴量を用いて、特徴量ベクトルを生成する。

ステップＡ５において、人体部位推定装置１の部位推定部２４は、特徴量算出部５から取得した特徴量ベクトルを、部位識別器２８に適用して、特定したい人体部位を推定する。人体部位推定装置１の形状推定部２５は、特徴量算出部５から取得した特徴量ベクトルを、形状識別器２９に適用して、特定したい人体部位の形状を推定する。

続いて、人体部位推定装置１において人体部位を用いた操作を推定する動作について説明する。人体部位推定装置１は、図１０に示すように、複数の推定された人体部位の形状を取得する（ステップＡ６）。続いて、人体部位推定装置１は、複数の推定された人体部位の状態遷移を操作特徴量とする（ステップＡ７）。続いて、人体部位推定装置１は、操作特徴量を、操作特徴量に基づいて、予め学習により生成された識別器２２に適用して、人体部位を用いた操作を推定する（ステップＡ８）。

具体的に説明する。ステップＡ６において、人体部位推定装置１の操作推定部２６は、形状推定部２５から、複数の推定された人体部位の形状を取得する。人体部位推定装置１の操作推定部２６は、例えば、ジェスチャ操作にかかる時間を設定し、設定した時間において順番に撮像された深度画像に基づいて、形状推定部２５により推定された人体部位の形状を取得する。
ステップＡ７において、人体部位推定装置１の操作推定部２６は、推定された人体部位の形状の状態遷移を操作特徴量とする。人体部位推定装置１の操作推定部２６は、例えば、ピンチイン操作である場合、上述した状態（Ａ）→（Ｂ）→（Ｃ）の状態遷移を操作特徴量とする。また、人体部位推定装置１の操作推定部２６は、ピンチアウト操作である場合、上述した状態（Ｄ）→（Ｅ）→（Ｆ）の状態遷移を操作特徴量とする。

ステップＡ８において、人体部位推定装置１の操作推定部２６は、操作特徴量を、操作識別器３０に適用して、人体部位を用いた操作を推定する。操作識別器３０は、例えば、予め取得した複数のジェスチャ操作における状態遷移をサンプルデータとし、それらサンプルデータを評価して、上述した学習方式により生成された学習モデルである。

［本実施の形態の効果］
以上のように本実施の形態によれば、人体部位特徴画像の形状に応じて変化する基準方向に分割領域を設定し、分割領域ごとに算出した特徴量を、予め生成した人体部位の識別と形状とを推定する識別器に適用して、人体部位の識別と形状とを推定する。そうすることで、人体部位の姿勢又は人体部位を撮像する方向により、人体部位が回転又は変形しても、手の形状が同じであれば、基準方向は手の形状に対して同じ方向に向くようにできるため、人体部位の形状を推定する精度を向上させることができる。

また、本実施の形態では、基準方向に設定された分割領域ごとに算出した特徴量を、予め学習により生成した識別器に適用して、人体部位の識別と形状とを推定しているため、骨格推定モデルを利用した方法より、推定処理負荷を低減させることができる。

更に、特定したい人体部位の識別と形状とを推定する精度が向上するため、推定した人体部位の識別と形状とを用いて推定するジェスチャ操作についても、ジェスチャ操作を推定する精度が向上する。

［プログラム］
本発明の実施の形態における人体部位推定プログラムは、コンピュータに、図９、図１０に示すステップを実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における人体部位推定装置１と人体部位推定方法とを実現することができる。この場合、コンピュータのプロセッサは、少なくとも特徴分布生成部２、基準方向算出部３、分割領域設定部４、特徴量算出部５、推定部６として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、少なくとも特徴分布生成部２、基準方向算出部３、分割領域設定部４、特徴量算出部５、推定部６のいずれかとして機能してもよい。

［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、人体部位推定装置１を実現するコンピュータについて図１１を用いて説明する。図１１は、本発明の実施の形態における人体部位推定装置１を実現するコンピュータの一例を示すブロック図である。

図１１に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）などを有していてもよい。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。

なお、本実施の形態における人体部位推定装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、人体部位推定装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

［付記］
以上の実施の形態に関し、更に以下の付記を開示する。なお、上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記６）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、特徴分布生成部と、
前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像における基準方向を算出する、基準方向算出部と、
前記基準方向を基準とし、前記人体部位特徴画像を分割する分割領域を設定する、分割領域設定部と、
前記分割領域ごとに特徴量を算出する、特徴量算出部と、
前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、推定部と、
を有することを特徴とする人体部位推定装置。

（付記２）
付記１に記載の人体部位推定装置であって、
前記推定部は、複数の推定された前記人体部位の形状の状態遷移を操作特徴量とし、前記操作特徴量を、前記操作特徴量に基づいて、予め学習により生成された前記識別器に適用して、前記人体部位を用いた操作を推定する
ことを特徴とする人体部位推定装置。

（付記３）
（ａ）深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、ステップと、
（ｂ）前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像における基準方向を算出する、ステップと、
（ｃ）前記基準方向を基準とし、前記人体部位特徴画像を分割する分割領域を設定する、ステップと、
（ｄ）前記分割領域ごとに特徴量を算出する、ステップと、
（ｅ）前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、ステップと、
を有することを特徴とする人体部位推定方法。

（付記４）
付記３に記載の人体部位推定方法であって、
（ｆ）複数の推定された前記人体部位の形状の状態遷移を操作特徴量とし、前記操作特徴量を、前記操作特徴量に基づいて、予め学習により生成された前記識別器に適用して、前記人体部位を用いた操作を推定する、ステップと、
を有することを特徴とする人体部位推定方法。

（付記５）
コンピュータに、
（ａ）深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、ステップと、
（ｂ）前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像の基準方向を算出する、ステップと、
（ｃ）前記基準方向を基準とし、前記人体部位画像を分割する分割領域を設定する、ステップと、
（ｄ）前記分割領域ごとに特徴量を算出する、ステップと、
（ｅ）前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、ステップと、
を実行させるプログラム。

（付記６）
付記５に記載のプログラムであって、
前記プログラムが、前記コンピュータに、
（ｆ）複数の推定された前記人体部位の形状の状態遷移を操作特徴量とし、前記操作特徴量を、前記操作特徴量に基づいて、予め学習により生成された前記識別器に適用して、前記人体部位を用いた操作を推定する、ステップを実行させるプログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１８年１月１６日に出願された日本出願特願２０１８−００４５９１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上のように本発明によれば、人体部位の識別と形状とを推定する精度を向上させることができる。本発明は、人体部位推定が必要な分野において有用である。

１ 人体部位推定装置
２ 特徴分布生成部
３ 基準方向算出部
４ 分割領域設定部
５ 特徴量算出部
６ 推定部
２０ 人体部位推定システム
２１ 深度センサ
２２ 識別器
２３ 部位候補検出部
２４ 部位推定部
２５ 形状推定部
２６ 操作推定部
２７ 部位候補識別器
２８ 部位識別器
２９ 形状識別器
３０ 操作識別器
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (6)

1. 深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、特徴分布生成部と、
   前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像における基準方向を算出する、基準方向算出部と、
   前記基準方向を基準とし、前記人体部位特徴画像を分割する分割領域を設定する、分割領域設定部と、
   前記分割領域ごとに特徴量を算出する、特徴量算出部と、
   前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、推定部と、
   を有することを特徴とする人体部位推定装置。
2. 請求項１に記載の人体部位推定装置であって、
   前記推定部は、複数の推定された前記人体部位の形状の状態遷移を操作特徴量とし、前記操作特徴量を、前記操作特徴量に基づいて、予め学習により生成された前記識別器に適用して、前記人体部位を用いた操作を推定する
   ことを特徴とする人体部位推定装置。
3. （ａ）深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、ステップと、
   （ｂ）前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像における基準方向を算出する、ステップと、
   （ｃ）前記基準方向を基準とし、前記人体部位特徴画像を分割する分割領域を設定する、ステップと、
   （ｄ）前記分割領域ごとに特徴量を算出する、ステップと、
   （ｅ）前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、ステップと、
   を有することを特徴とする人体部位推定方法。
4. 請求項３に記載の人体部位推定方法であって、
   （ｆ）複数の推定された前記人体部位の形状の状態遷移を操作特徴量とし、前記操作特徴量を、前記操作特徴量に基づいて、予め学習により生成された前記識別器に適用して、前記人体部位を用いた操作を推定する、ステップと、
   を有することを特徴とする人体部位推定方法。
5. コンピュータに、
   （ａ）深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、ステップと、
   （ｂ）前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像の基準方向を算出する、ステップと、
   （ｃ）前記基準方向を基準とし、前記人体部位画像を分割する分割領域を設定する、ステップと、
   （ｄ）前記分割領域ごとに特徴量を算出する、ステップと、
   （ｅ）前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、ステップと、
   を実行させるプログラム。
6. 請求項５に記載のプログラムであって、
   前記コンピュータに、
   （ｆ）複数の推定された前記人体部位の形状の状態遷移を操作特徴量とし、前記操作特徴量を、前記操作特徴量に基づいて、予め学習により生成された前記識別器に適用して、前記人体部位を用いた操作を推定する、ステップを実行させる命令を更に含む、
   プログラム。
   

Images