WO2020184066A1

WO2020184066A1 - 関節位置推定装置、関節位置推定方法およびコンピュータ読み取り可能な記録媒体

Info

Publication number: WO2020184066A1
Application number: PCT/JP2020/005836
Authority: WO
Inventors: 夏美鈴木
Original assignee: NEC Solution Innovators Ltd
Current assignee: NEC Solution Innovators Ltd
Priority date: 2019-03-13
Filing date: 2020-02-14
Publication date: 2020-09-17
Anticipated expiration: 2021-09-13
Also published as: JP7120690B2; JPWO2020184066A1; CN113330482A

Abstract

関節位置判定装置１は、画像データを取得する画像データ取得部２と、取得した画像データから人体部位を推定する推定部３と、推定部３が推定した人体部位の領域、および、人体部位の領域以外の領域それぞれに対して、一または複数の画素にマーキングするマーキング部４と、マーキング部４によるマーキング後の画像データに対して、分水嶺アルゴリズムを適用して、画像データ内の領域を複数に分割する分割部５と、分割部５が分割した領域のうち、関節に隣接する人体部位に対応する２つの領域から、関節位置を計算する計算部６と、を備える。

Description

関節位置推定装置、関節位置推定方法およびコンピュータ読み取り可能な記録媒体

　本発明は、画像データから関節位置を推定する関節位置推定装置および関節位置推定方法に関し、さらには、これらを実現するためのプログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。

　従来、人物を撮像装置で撮像し、その人物の姿勢、人物が行う動作（ジェスチャなど）を推定する様々な技術が提案されている。例えば、非特許文献１には、人物の関節位置を推定して、人物の姿勢を推定する技術が開示されている。非特許文献１では、深度画像から人物の人体部位を推定し、その推定結果を用いて関節位置推定器により関節位置を推定している。

高橋龍平、"特別研究報告書　ＣＮＮによる深度画像を用いた視点不変な人物姿勢推定"、平成３０年２月８日、インターネット＜URL:http://www.mm.media.kyoto-u.ac.jp/wp-content/uploads/2018/02/2017-b-takahashi.pdf>

　しかしながら、非特許文献１では、人体部位の推定を精度よく行わないと、関節位置の推定精度が低下するという問題点があった。

　本発明の目的の一例は、関節位置を精度よく推定できる、関節位置推定装置、関節位置推定方法およびコンピュータ読み取り可能な記録媒体を提供することにある。

　上記目的を達成するため、本発明の一側面における関節位置推定装置は、
　画像データを取得する画像データ取得部と、
　前記画像データ取得部が取得した画像データから人体部位を推定する推定部と、
　前記推定部が複数の人体部位を推定した場合、前記推定部が推定した人体部位の領域、および、前記人体部位の領域以外の領域それぞれに対して、一または複数の画素にマーキングするマーキング部と、
　前記マーキング部によるマーキング後の画像データに対して、分水嶺アルゴリズムを適用して、前記画像データ内の領域を複数に分割する分割部と、
　前記分割部が分割した領域のうち、関節に隣接する人体部位に対応する２つの領域から、関節位置を計算する計算部と、
を備える。

　また、上記目的を達成するため、本発明の一側面における関節位置推定方法は、
　画像データを取得するステップと、
　前記画像データに対して、人体部位を推定するステップと、
　前記画像データに対して複数の人体部位を推定した場合、推定した人体部位の領域、および、前記人体部位の領域以外の領域それぞれに対して、一または複数の画素にマーキングするステップと、
　マーキング後の画像データに対して、分水嶺アルゴリズムを適用して、前記画像データ内の領域を複数に分割するステップと、
　分割した領域のうち、関節に隣接する人体部位に対応する２つの領域から、関節位置を計算するステップと、
を備える。

　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、画像データを取得するコンピュータに、
　前記画像データに対して、人体部位を推定するステップと、
　複数の人体部位を推定した場合、推定した人体部位の領域、および、前記人体部位の領域以外の領域それぞれに対して、一または複数の画素にマーキングするステップと、
　マーキング後の画像データに対して、分水嶺アルゴリズムを適用して、前記画像データ内の領域を複数に分割するステップと、
　分割した領域のうち、関節に隣接する人体部位に対応する２つの領域から、関節位置を計算するステップと、
を実行させる命令を含む、プログラムを記録している。

　以上のように本発明によれば、関節位置を精度よく推定できる。

図１は、実施形態１における関節位置推定装置の概略構成を示すブロック図である。図２は、関節位置推定装置の構成を具体的に示すブロック図である。図３は、画像データ一例を示す図である。図４は、特徴ベクトル計算部が求めた特徴量を示す図である。図５は、図４に示す推定部による推定結果に対して設定した領域を示す図である。図６は、マーキング部によるマーキング結果を示す図である。図７は、分割部による領域分割結果を示す図である。図８は、計算部による計算方法を説明するための図である。図９は、関節位置推定装置による動作を示すフロー図である。図１０は、実施形態における関節位置推定装置を実現するコンピュータの一例を示すブロック図である。

　以下、本発明における一実施形態の関節位置推定装置および関節位置推定方法について、図１～図１０を参照しながら説明する。

［装置構成］
　図１は、実施形態１における関節位置推定装置１の概略構成を示すブロック図である。

　関節位置推定装置１は、画像データから、人体の部位（例えば手のひらと前腕など）を推定して、推定した人体部位から関節の位置を計算する装置である。この関節位置推定装置１は、画像データ取得部２、推定部３、マーキング部４、分割部５、および計算部６を備えている。

　画像データ取得部２は画像データを取得する。

　推定部３は、画像データ取得部２が取得した画像データから人体部位を推定する。

　マーキング部４は、推定部３が複数の人体部位を推定した場合、推定部３が推定した人体部位の領域、および、その人体部位の領域以外の領域それぞれに対して、一または複数の画素にマーキングする。

　分割部５は、マーキング部４によるマーキング後の画像データに対して、分水嶺アルゴリズムを適用して、画像データ内の領域を複数に分割する。

　計算部６は、分割部５が分割した領域のうち、関節に隣接する人体部位に対応する２つの領域から、関節位置を計算する。

　このように、本実施形態においては、人体部位の推定した結果に対してマーキングをし、分水嶺アルゴリズムを適用している。このため、マーキングを精度よく行うことができ、その結果を入力として、分水嶺アルゴリズムを適用することで、画像データの領域分割を精度よく行える。その結果、関節に隣接する人体部位の領域も精度よく推定できるため、信頼度の高い、関節（手首）の位置の計算結果が得られる。

　続いて、図２を参照して、本実施形態における関節位置推定装置１の構成をより具体的に説明する。図２は、関節位置推定装置１の構成を具体的に示すブロック図である。

　関節位置推定装置１は、上記した画像データ取得部２、推定部３、マーキング部４、分割部５、および計算部６に加え、領域設定部７を備えている。

　画像データ取得部２は画像データ５０を取得する。画像データ取得部２は、有線または無線ＬＡＮ（Local Area Network）等のネットワークを介して、画像データ５０を取得してもよいし、近距離無線通信などにより画像データ５０を取得してもよい。また、関節位置推定装置１には撮像装置が直接接続され、または、関節位置推定装置１は撮像装置を備え、画像データ取得部２は、その撮像装置から画像データ５０を取得してもよい。

　図３は、画像データ５０の一例を示す図である。画像データ５０は、人体の前腕から指にかけて撮像された画像である。本実施形態における画像データ５０は、画素毎の深度が付加された画像データ（以下、ＴＯＦ画像と言う）である。ＴＯＦ画像は、撮像装置から撮像対象までの距離を示す情報（深度情報）が各画素に対応づけられた画像である。なお、画像データ５０は、ＴＯＦ画像に限定されるものではなく、２次元画像であってもよい。

　また、画像データ５０は、人物の全体像が撮像された画像であってもよい。この場合、例えば画像データ取得部２が、人物の全体像が撮像された画像から関節を含む部位（例えば、手全体）を推定して、その部位の画像データを抽出するようにしてもよい。そして、以降の処理は、抽出した画像データに対して行われるようにしてもよい。

　推定部３は、画像データ５０に写っている人体部位の種別（前腕、指など）を推定する。推定部３は、特徴ベクトル計算部３１と、推定実行部３２とを有している。

　特徴ベクトル計算部３１は、画像データ５０の画素ごとに特徴量（特徴ベクトル）を求める。図４は、特徴ベクトル計算部３１が求めた特徴量を示す図である。図４に示すように、特徴ベクトル計算部３１は、各特徴量５１、５２、５３、５４を求める。推定実行部３２は、ニューラルネットワークなどによる機械学習を行い、その学習モデル６０を用いて、特徴ベクトル計算部３１が求めた特徴量から、画像データ５０に写っている物体の種別を推定する。図４の場合、推定実行部３２は、特徴量５１は前腕の特徴量であり、特徴量５２は手のひらの特徴量であり、特徴量５３は指の特徴量であると推定する。また、推定実行部３２は、特徴量５４は、人体部位以外であり、背景に写った物体の特徴量であると推定する。なお、図４では、特徴ベクトル計算部３１が求めた特徴量の理解のために、図３で示す人体部位を破線で示している。

　なお、画像データ５０がＴＯＦ画像であることにより、推定部３での人体部位の推定精度は高くなる。例えば、画像データ５０が関節を含む画像である場合、関節が曲げられた姿勢であっても、特徴ベクトル計算部３１は、画素ごとの深度情報を利用することで、特徴量を精度よく求めることができる。その結果、推定実行部３２による人体部位の推定精度は高くなる。

　領域設定部７は、推定部３が推定した人体部位のうち、関節に隣接する人体部位である前腕および手のひらを包含する領域を設定する。図５は、図４に示す推定部３による推定結果に対して設定した領域５５を示す図である。図５では、領域５５は、指の特徴量５３を包含しているが、少なくとも、関節（手首）に隣接する前腕の特徴量５１、および手のひらの特徴量５２を包含していればよい。領域５５を設定することで、以降の処理において、不要な領域に対して処理が行われないようにできる。

　マーキング部４は、領域設定部７が設定した領域５５内の一または複数の画素をマーキングする。図６は、マーキング部４によるマーキング結果を示す図である。マーキング部４は、領域５５内において、関節（手首）に隣接する人体部位（前腕、手のひら）と、人体部位以外の領域（背景）に対して初期マーキングする。図６に示すマーキング５６は、前腕の特徴量５１に対して設定した初期マーキングである。マーキング５７は、手のひらの特徴量５２に対して設定した初期マーキングである。マーキング５８は、背景の領域に対して設定した初期マーキングを示す。

　マーキング部４は、前腕の特徴量５１、および、手のひらの特徴量５２に対して初期マーキングする場合、他の領域との境界に近いとノイズが影響するため、ノイズの影響を防ぐために、各特徴量の領域の中心部をマーキングする。また、マーキング部４は、背景の領域に対して初期マーキングする場合、マーキング５６、５７より一定距離範囲外の位置にマーキングする。なお、マーキング部４は、一画素のみをマーキングしてもよいが、後述する分水嶺アルゴリズムにおいて、ＴＯＦ画像の深度値の変化が滑らかではない場合、マーキングした領域が広がらないことがある。したがって、マーキング部４は、複数の画素をマーキングすることが好ましい。

　分割部５は、マーキング部４が設定したマーキング５６、５７、５８を入力とする分水嶺アルゴリズムを適用して、領域設定部７が設定した領域５５を複数の領域に分割する。分水嶺アルゴリズムでは、マーキング５６、５７、５８を、画素値（深度値）の極小値（または極大値）として、領域を広げつつ画素値の極大値（または極小値）となる点を求めていく。その極大値となる点を境界として、画素値（深度値）が近い領域を一つの領域とする。図７は、分割部５による領域分割結果を示す図である。図７では、領域５５は、前腕領域５９Ａと、手のひら領域５９Ｂと、背景領域５９Ｃとに分割されている。

　なお、分水嶺アルゴリズムでは、必ずしもマーキング数と同じ数の領域に分割されるわけではなく、図７において、４つ以上の領域に分割される場合もある。また、分割部５は、深度値を用いてマーキングした領域を広げているが、画像データ５０の各画素の情報であれば、輝度値などを用いてもよい。

　計算部６は、分割部５が分割した領域のうち、人体部位に対応する２つの領域５９Ａ、５９Ｂから、関節位置を計算する。図８は、計算部６による計算方法を説明するための図である。計算部６は、領域５９Ａ、５９Ｂそれぞれに対してラベリング処理を行い、各領域の輪郭を取得する。図８では、輪郭は概略的に示している。図８に示すように、領域５９Ａと、領域５９Ｂとが離れている場合、計算部６は、２つの領域５９Ａ、５９Ｂにおいて、互いに最も近くなる座標位置５９Ａ１、５９Ｂ１を求める。計算部６は、座標位置５９Ａ１、５９Ｂ１を繋ぐ最短直線Ｌを包含する領域５９Ｄを計算して、関節位置とする。なお、２つの領域５９Ａ、５９Ｂの輪郭が重なる場合、計算部６は、重なり部分を関節位置としてもよい。

［動作説明］
　次に、本実施形態における関節位置判定装置の動作について図９を用いて説明する。図９は、関節位置推定装置１による動作を示すフロー図である。以下の説明においては、適宜図１～図８を参酌する。また、本実施形態では、関節位置推定装置を動作させることによって、関節位置推定法が実施される。よって、本実施形態における関節位置推定方法の説明は、以下の関節位置推定装置の動作説明に代える。

　まず、前提として、撮像装置で関節を含む人体部位が撮像され、その画像データが関節位置推定装置１に入力されるものとする。

　上述の前提において、画像データ取得部２は入力された画像データを取得する（Ｓ１）。次に、推定部３の特徴ベクトル計算部３１は、画像データ５０の画素ごとに特徴量５１～５４（図４参照）を求める（Ｓ２）。そして、推定部３の推定実行部３２は、特徴ベクトル計算部３１が求めた特徴量から、その特徴量をもつ物体の種別を認識し、画像データ５０内における人体部位を推定する（Ｓ３）。

　続いて、領域設定部７は、位置推定対象の関節に隣接する、推定部３が推定した人体部位を包含する領域５５（図５参照）を設定する（Ｓ４）。マーキング部４は、領域設定部７が設定した領域５５内において、初期マーキングする（Ｓ５）。Ｓ５では、マーキング部４は、位置推定対象の関節（手首）に隣接する前腕のマーキング５６（図６参照）、および、手のひらのマーキング５７と、人体部位以外の領域（背景）のマーキング５８とを設定する。

　分割部５は、マーキング５６、５７、５８を入力とする分水嶺アルゴリズムを適用して、Ｓ４で設定した領域５５を複数の領域５９Ａ、５９Ｂ、５９Ｃ（図７参照）に分割する（Ｓ６）。そして、計算部６は、分割部５が分割した領域のうち、人体部位に対応する２つの領域５９Ａ、５９Ｂから、関節位置を計算する（Ｓ７）。

［本実施形態による効果］
　以上のように本実施形態によれば、画像データ５０から人体部位を推定し、推定結果に対して初期マーキングしている。このため、画像データ５０において、マーキングする対象領域、例えば前腕または手のひらの形状が、複雑な形状であっても、初期マーキングを精度よく行える。その初期マーキングを入力として、分水嶺アルゴリズムを利用することで、関節に隣接する部位である、前腕および手のひらの２つの領域の推定精度は高くなる。前腕または手のひらの一方の領域が明確に判断できないと、２つの領域の間にある関節（手首）の位置を精度よく計算できないが、２つの領域を精度よく推定することで、信頼度の高い関節（手首）の位置の計算結果を得ることができる。

　また、関節、例えば手首の位置が決まると、手首の先にある指の位置を推定しやすくなり、また、手の動作、手の姿勢も推定しやすくなる。その結果、手を動かしたジェスチャーを認識する装置などに適用することができる。

［プログラム］
　本発明の実施形態におけるプログラムは、コンピュータに、図９に示すステップＳ１～Ｓ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における関節位置推定装置と関節位置推定方法とを実現することができる。この場合、コンピュータのプロセッサは、画像データ取得部２、推定部３、マーキング部４、分割部５および計算部６として機能し、処理を行なう。

　また、本実施形態では、画像データ取得部２、推定部３、マーキング部４、分割部５および計算部６は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって、またはこのデータファイルが格納された記録媒体をコンピュータと接続された読取装置に搭載することによって実現されている。

　また、本実施形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像データ取得部２、推定部３、マーキング部４、分割部５および計算部６のいずれかとして機能しても良い。

［物理構成］
　ここで、本実施形態におけるプログラムを実行することによって、関節位置推定装置１を実現するコンピュータについて図１０を用いて説明する。図１０は、本実施形態における関節位置推定装置１を実現するコンピュータの一例を示すブロック図である。

　図１０に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、またはＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。

　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、またはＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

　なお、本実施形態における関節位置推定装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、関節位置推定装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

　上述した実施形態の一部又は全部は、以下に記載する（付記１）～（付記１５）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
　画像データを取得する画像データ取得部と、
　前記画像データ取得部が取得した画像データから人体部位を推定する推定部と、
　前記推定部が複数の人体部位を推定した場合、前記推定部が推定した人体部位の領域、および、前記人体部位の領域以外の領域それぞれに対して、一または複数の画素にマーキングするマーキング部と、
　前記マーキング部によるマーキング後の画像データに対して、分水嶺アルゴリズムを適用して、前記画像データ内の領域を複数に分割する分割部と、
　前記分割部が分割した領域のうち、関節に隣接する人体部位に対応する２つの領域から、関節位置を計算する計算部と、
を備える、関節位置推定装置。

（付記２）
　付記１に記載の関節位置推定装置であって、
　関節に隣接する、前記推定部が推定した人体部位を包含する領域を設定する領域設定部、
をさらに備え、
　前記マーキング部は、前記領域設定部が設定した領域内でマーキングし、
　前記分割部は、前記領域設定部が設定した領域を複数に分割する、
　関節位置推定装置。

（付記３）
　付記１または付記２に記載の関節位置推定装置であって、
　前記画像データは、画素毎の深度が付加された画像データである、
　関節位置推定装置。

（付記４）
　付記１から付記３までのいずれか一つに記載の関節位置推定装置であって、
　前記分割部は、前記マーキング部がマーキングした画素と、画素値が前記画素の所定範囲内である画素とを同じ領域として、領域を複数に分割する、
　関節位置推定装置。

（付記５）
　付記１から付記４までのいずれか一つに記載の関節位置推定装置であって、
　前記計算部は、前記２つの領域間が最小距離となる前記２つの領域それぞれにおける位置を基準として、関節位置を計算する、
　関節位置推定装置。

（付記６）
　画像データを取得するステップと、
　取得した画像データに対して、人体部位を推定するステップと、
　複数の人体部位を推定した場合、推定した人体部位の領域、および、前記人体部位の領域以外の領域それぞれに対して、一または複数の画素にマーキングするステップと、
　マーキング後の画像データに対して、分水嶺アルゴリズムを適用して、前記画像データ内の領域を複数に分割するステップと、
　分割した領域のうち、関節に隣接する人体部位に対応する２つの領域から、関節位置を計算するステップと、
を備える、関節位置推定方法。

（付記７）
　付記６に記載の関節位置推定方法であって、
　関節に隣接する、推定した人体部位を包含する領域を設定するステップ、
をさらに備え、
　前記一または複数の画素にマーキングするステップでは、設定した領域内でマーキングし、
　前記画像データ内の領域を複数に分割するステップでは、設定した領域を複数に分割する、
　関節位置推定方法。

（付記８）
　付記６または付記７に記載の関節位置推定方法であって、
　前記画像データは、画素毎の深度が付加された画像データである、
　関節位置推定方法。

（付記９）
　付記６から付記８までのいずれか一つに記載の関節位置推定方法であって、
　前記画像データ内の領域を複数に分割するステップでは、マーキングした画素と、画素値が前記画素の所定範囲内である画素とを同じ領域として、領域を複数に分割する、
　関節位置推定方法。

（付記１０）
　付記６から付記９までのいずれか一つに記載の関節位置推定方法であって、
　前記関節位置を計算するステップでは、前記２つの領域間が最小距離となる前記２つの領域それぞれにおける位置を基準として、関節位置を計算する、
　関節位置推定方法。

（付記１１）
　画像データを取得するコンピュータに、
　前記画像データに対して、人体部位を推定するステップと、
　複数の人体部位を推定した場合、推定した人体部位の領域、および、前記人体部位の領域以外の領域それぞれに対して、一または複数の画素にマーキングするステップと、
　マーキング後の画像データに対して、分水嶺アルゴリズムを適用して、前記画像データ内の領域を複数に分割するステップと、
　分割した領域のうち、関節に隣接する人体部位に対応する２つの領域から、関節位置を計算するステップと、
を実行させる命令を含む、プログラムを記録したコンピュータ読み取り可能な記録媒体。

（付記１２）
　付記１１に記載のコンピュータ読み取り可能な記録媒体であって、
　前記プログラムは、
　前記コンピュータに、
　関節に隣接する、推定された人体部位を包含する領域を設定するステップ、
を実行させる命令をさらに含み、
　前記前記一または複数の画素にマーキングするステップでは、設定された領域内でマーキングし、
　前記画像データ内の領域を複数に分割するステップでは、設定された領域を複数に分割する、
　コンピュータ読み取り可能な記録媒体。

（付記１３）
　付記１１または付記１２に記載のコンピュータ読み取り可能な記録媒体であって、
　前記画像データは、画素毎の深度が付加された画像データである、
　コンピュータ読み取り可能な記録媒体。

（付記１４）
　付記１１から付記１３までのいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
　前記画像データ内の領域を複数に分割するステップでは、マーキングされた画素と、画素値が前記画素の所定範囲内である画素とを同じ領域として、領域を複数に分割する、
　コンピュータ読み取り可能な記録媒体。

（付記１５）
　付記１１から付記１４までのいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
　前記関節位置を計算するステップでは、前記２つの領域間が最小距離となる前記２つの領域それぞれにおける位置を基準として、関節位置を計算する、
　コンピュータ読み取り可能な記録媒体。

　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　この出願は、２０１９年３月１３日に出願された日本出願特願２０１９－４６３９０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　本発明は、関節位置を精度よく推定できる。

１　　　：関節位置推定装置
２　　　：画像データ取得部
３　　　：推定部
４　　　：マーキング部
５　　　：分割部
６　　　：計算部
７　　　：領域設定部
３１　　：特徴ベクトル計算部
３２　　：推定実行部
５０　　：画像データ
６０　　：学習モデル
５１、５２、５３、５４　：特徴量
５５　　：領域
５６、５７、５８　：マーキング

Claims

　画像データを取得する画像データ取得手段と、
　前記画像データ取得手段が取得した画像データから人体部位を推定する推定手段と、
　前記推定手段が複数の人体部位を推定した場合、前記推定手段が推定した人体部位の領域、および、前記人体部位の領域以外の領域それぞれに対して、一または複数の画素にマーキングするマーキング手段と、
　前記マーキング手段によるマーキング後の画像データに対して、分水嶺アルゴリズムを適用して、前記画像データ内の領域を複数に分割する分割手段と、
　前記分割手段が分割した領域のうち、関節に隣接する人体部位に対応する２つの領域から、関節位置を計算する計算手段と、
を備える、関節位置推定装置。
　請求項１に記載の関節位置推定装置であって、
　関節に隣接する、前記推定手段が推定した人体部位を包含する領域を設定する領域設定手段、
をさらに備え、
　前記マーキング手段は、前記領域設定手段が設定した領域内でマーキングし、
　前記分割手段は、前記領域設定手段が設定した領域を複数に分割する、
　関節位置推定装置。
　請求項１または請求項２に記載の関節位置推定装置であって、
　前記画像データは、画素毎の深度が付加された画像データである、
　関節位置推定装置。
　請求項１から請求項３までのいずれか一つに記載の関節位置推定装置であって、
　前記分割手段は、前記マーキング手段がマーキングした画素と、画素値が前記画素の所定範囲内である画素とを同じ領域として、領域を複数に分割する、
　関節位置推定装置。
　請求項１から請求項４までのいずれか一つに記載の関節位置推定装置であって、
　前記計算手段は、前記２つの領域間が最小距離となる前記２つの領域それぞれにおける位置を基準として、関節位置を計算する、
　関節位置推定装置。
　画像データを取得し、
　前記画像データに対して、人体部位を推定し、
　前記画像データに対して複数の人体部位を推定した場合、推定した人体部位の領域、および、前記人体部位の領域以外の領域それぞれに対して、一または複数の画素にマーキングし、
　マーキング後の画像データに対して、分水嶺アルゴリズムを適用して、前記画像データ内の領域を複数に分割し、
　分割した複数の領域のうち、関節に隣接する人体部位に対応する２つの領域から、関節位置を計算する、
関節位置推定方法。
　請求項６に記載の関節位置推定方法であって、
　前記画像データに対して推定した人体部位のうち、関節に隣接する人体部位を包含する領域を設定し、
　前記一または複数の画素にマーキングする場合、関節に隣接する人体部位を包含する領域内でマーキングし、
　前記画像データ内の領域を複数に分割する場合、関節に隣接する人体部位を包含する領域を複数に分割する
　関節位置推定方法。
　請求項６または請求項７に記載の関節位置推定方法であって、
　前記画像データは、画素毎の深度が付加された画像データである、
　関節位置推定方法。
　請求項６から請求項８までのいずれか一つに記載の関節位置推定方法であって、
　前記画像データ内の領域を複数に分割する場合、マーキングした一または複数の画素と、画素値が前記画素の所定範囲内である画素とを同じ領域として、領域を複数に分割する、
　関節位置推定方法。
　請求項６から請求項９までのいずれか一つに記載の関節位置推定方法であって、
　前記関節位置を計算する場合、前記２つの領域間が最小距離となる前記２つの領域それぞれにおける位置を基準として、関節位置を計算する、
　関節位置推定方法。
　画像データを取得するコンピュータに、
　前記画像データに対して、人体部位を推定させ、
　複数の人体部位が推定された場合、推定された人体部位の領域、および、前記人体部位の領域以外の領域それぞれに対して、一または複数の画素にマーキングさせ、
　前記マーキング後の画像データに対して、分水嶺アルゴリズムを適用して、前記画像データ内の領域を複数に分割させ、
　分割された領域のうち、関節に隣接する人体部位に対応する２つの領域から、関節位置を計算させる、
　命令を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
　請求項１１に記載のコンピュータ読み取り可能な記録媒体であって、
　前記プログラムは、
　前記コンピュータに、
　関節に隣接する、推定された人体部位を包含する領域を設定させる、
　命令をさらに含み、
　前記一または複数の画素にマーキングさせる場合、設定された前記領域内でマーキングさせ、
　前記画像データ内の領域を複数に分割させる場合、設定された前記領域を複数に分割させる、
　コンピュータ読み取り可能な記録媒体。
　請求項１１または請求項１２に記載のコンピュータ読み取り可能な記録媒体であって、
　前記画像データは、画素毎の深度が付加された画像データである、
　コンピュータ読み取り可能な記録媒体。
　請求項１１から請求項１３までのいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
　前記画像データ内の領域を複数に分割させる場合、マーキングされた画素と、画素値が前記画素の所定範囲内である画素とを同じ領域として、領域を複数に分割させる、
　コンピュータ読み取り可能な記録媒体。
　請求項１１から請求項１４までのいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
　前記関節位置を計算させる場合、前記２つの領域間が最小距離となる前記２つの領域それぞれにおける位置を基準として、関節位置を計算させる、
　コンピュータ読み取り可能な記録媒体。