JPWO2022181252A5 - 関節点検出装置、関節点検出方法、及びプログラム - Google Patents

Description

本発明は、画像から生体の関節点を検出するための、関節点検出装置、及び関節点検出方法に関し、更には、これらを実現するためのプログラムに関する。また、本発明は、画像からの生体の関節点の検出用の学習モデルを生成するための、学習モデル生成装置、及び学習モデル生成方法に関し、更には、これらを実現するためのプログラムに関する。

本発明の目的の一例は、関節点の位置の推定精度の向上を図り得る、関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における第１のプログラムは、
コンピュータに、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力ステップと、
を実行させる、ことを特徴とする。

上記目的を達成するため、本発明の一側面における第２のプログラムは、
コンピュータに、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量が存在しない場合の特徴量を訓練用特徴量として生成する、特徴量生成ステップと、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成ステップと、
を実行させる、ことを特徴とする。

具体的には、全特徴量出力部１１は、例えば、画像上の関節点とヒートマップとの関係を学習している機械学習モデルを用い、この機械学習モデルに、画像データを入力することで、ヒートマップ２１を出力する。この場合の機械学習モデルとしても、ＣＮＮが挙げられる。また、このＣＮＮの機械学習では、関節点の画像データと、正解となるヒートマップとが訓練データとなる。そして、ＣＮＮの機械学習は、訓練データとなる画像データの出力結果（ヒートマップ）と正解となるヒートマップとの差分が小さくなるように、パラメータを更新することで行われる。

次に、特徴量生成部１２は、所定数の訓練用ヒートマップセット２２が生成されているかどうかを判定する（ステップＡ４）。そして、ステップＡ４の判定の結果、所定数の訓練用ヒートマップセット２２が生成されていない場合（ステップＡ４：Ｎｏ）は、特徴量生成部１２は、再度ステップＡ２を実行する。

全特徴量出力部３１は、実施の形態１と同様の機能を有しており、まず、対象の画像データ４０を取得する。そして、全特徴量出力部３１は、図８に示すように、画像データ４０から、関節点を表す第１の特徴量として、第１のヒートマップ４１を出力する。また、図８の例では、第１のヒートマップ４１は、画像データ４０上の関節点毎に複数出力されている。

ＣＮＮ１６は、実施の形態１において述べたように、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルである。このため、第２のヒートマップ４２では、第２の特徴量として、特定の関節点が見えない場合における、それ以外の関節点の位置が適切に示されている。

具体的には、関節点検出部３３は、関節点毎に、第２のヒートマップ４２の最も濃度の高い箇所を特定し、特定した箇所の画像上の２次元座標を検出する。また、関節点毎に、第２のヒートマップ４２が複数存在する場合は、関節点検出部３３は、第２のヒートマップ４２毎に最も濃度の高い箇所の２次元座標を特定し、更に、特定した各２次元座標の平均を求め、求めた平均の座標を最終的な座標とする。

次に、部分特徴量出力部３２は、ＣＮＮ１６に、ステップＢ１で出力された第１のヒートマップ４１を入力し、関節点を表す第２のヒートマップ４２を出力させる（ステップＢ２）。

以上のように、実施の形態２では、画像データから取得された第１のヒートマップ４１が、ＣＮＮ１６に入力される。ＣＮＮ１６は、特定の関節点以外の関節点間の位置関係を機械学習しているので、第２のヒートマップ４２は、特定の関節点が見えない場合における、それ以外の関節点の位置を適切に示すことができる。このため、実施の形態２によれば、対象の関節点の位置の推定精度の向上が図られることになる。

（付記１５）
コンピュータに、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力ステップと、
を実行させる、プログラム。

（付記１６）
付記１５に記載のプログラムであって、
前記コンピュータに、更に、
前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出する、関節点検出ステップを実行させる、
ことを特徴とするプログラム。

（付記１７）
付記１５または１６に記載のプログラムであって、
前記部分特徴量出力ステップにおいて、前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、複数の前記特定の関節点それぞれについて当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している、機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、
ことを特徴とするプログラム。

（付記１８）
付記１５から１７のいずれかに記載のプログラムであって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記第１の特徴量、及び前記第２の特徴量、それぞれが、画像上の関節点が存在する可能性を表現するヒートマップを含む、
ことを特徴とするプログラム。

（付記１９）
コンピュータに、
対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す特徴量を出力する、全特徴量出力ステップと、
前記対象の関節点それぞれ毎の前記特徴量から、特定の関節点の特徴量がゼロに設定された場合の特徴量を訓練用特徴量として生成する、特徴量生成ステップと、
生成された前記訓練用特徴量を含む訓練データを用いて、前記特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、学習モデル生成ステップと、
を実行させる、プログラム。

（付記２０）
付記１９に記載のプログラムであって、
前記特徴量生成ステップにおいて、前記対象の関節点それぞれ毎の前記特徴量から、複数の特定の関節点それぞれ毎に、当該特定の関節点の特徴量のみが存在しない場合の特徴量のセットを、訓練用特徴量セットとして生成し、
前記学習モデル生成ステップにおいて、複数の特定の関節点それぞれ毎に、対応する前記訓練用特徴量セットを含む訓練データを用いて、当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習することによって、機械学習モデルを生成する、
ことを特徴とするプログラム。

（付記２１）
付記１９または２０に記載のプログラムであって、
前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
前記特徴量が、画像上の関節点が存在する可能性を表現するヒートマップを含み、
前記特徴量生成ステップにおいて、前記ヒートマップ上のデータをゼロまたは１とすることによって、特徴量を存在しないことに設定する、
ことを特徴とするプログラム。

Claims (8)

1. 対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力する、全特徴量出力手段と、
   前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、部分特徴量出力手段と、
   を備えていることを特徴とする関節点検出装置。
2. 請求項１に記載の関節点検出装置であって、
   前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出する、関節点検出手段を更に備えている、
   ことを特徴とする関節点検出装置。
3. 請求項１に記載の関節点検出装置であって、
   前記部分特徴量出力手段が、前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、複数の前記特定の関節点それぞれについて当該特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している、機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、
   ことを特徴とする関節点検出装置。
4. 請求項１に記載の関節点検出装置であって、
   前記機械学習モデルが、畳み込みニューラルネットワークによって構築されており、
   前記第１の特徴量、及び前記第２の特徴量、それぞれが、画像上の関節点が存在する可能性を表現するヒートマップを含む、
   ことを特徴とする関節点検出装置。
5. 対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力し、
   前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力する、
   ことを特徴とする関節点検出方法。
6. 請求項５に記載の関節点検出方法であって、
   前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出する、
   ことを特徴とする関節点検出方法。
7. コンピュータに、
   対象の画像データから、前記対象の関節点それぞれ毎に、当該関節点を表す第１の特徴量を出力させ、
   前記対象の関節点それぞれ毎の前記第１の特徴量を入力として、特定の関節点の特徴量が存在しない場合の他の関節点間の位置関係を機械学習している機械学習モデルを用いて、前記対象の関節点それぞれ毎に、当該関節点を表す第２の特徴量を出力させる、
   プログラム。
8. 請求項７に記載のプログラムであって、
   前記コンピュータに、更に、
   前記対象の関節点それぞれ毎の前記第２の特徴量を用いて、前記対象の関節点の座標を検出させる、
   ことを特徴とするプログラム。