JPWO2021002025A5 - 骨格認識方法、骨格認識プログラムおよび骨格認識システム - Google Patents
骨格認識方法、骨格認識プログラムおよび骨格認識システム Download PDFInfo
- Publication number
- JPWO2021002025A5 JPWO2021002025A5 JP2021529879A JP2021529879A JPWO2021002025A5 JP WO2021002025 A5 JPWO2021002025 A5 JP WO2021002025A5 JP 2021529879 A JP2021529879 A JP 2021529879A JP 2021529879 A JP2021529879 A JP 2021529879A JP WO2021002025 A5 JPWO2021002025 A5 JP WO2021002025A5
- Authority
- JP
- Japan
- Prior art keywords
- subject
- directions
- skeleton
- heat map
- dimensional coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims 16
- 230000005484 gravity Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 claims 1
Claims (9)
- コンピュータが、
被写体の距離画像から、前記被写体の複数の関節位置の尤度を複数方向から投影したヒートマップ画像を認識する学習モデルを取得し、
処理対象の距離画像を前記学習モデルに入力して、前記複数方向それぞれのヒートマップ画像を取得し、
前記複数方向それぞれのヒートマップ画像と前記複数方向の相対位置関係を示す情報とを用いて、前記被写体の前記複数の関節位置に関する３次元座標を算出し、
前記複数の関節位置に関する３次元座標を含む骨格認識結果を、出力する
処理を実行することを特徴とする骨格認識方法。 - 前記算出する処理において、前記ヒートマップ画像を用いて、前記複数方向それぞれから前記被写体を見た場合の前記被写体の関節位置の２次元座標を算出し、
前記複数方向それぞれについて算出された前記複数の関節それぞれの関節位置の２次元座標と、前記距離画像とに基づき、前記３次元座標を算出する、ことを特徴とする請求項１に記載の骨格認識方法。 - 前記学習モデルは、予め撮像された被写体の距離画像と、予め定義された既知である複数の関節の位置情報とを用いて、前記距離画像に対応する複数方向のヒートマップ画像を生成し、前記予め撮像された被写体の距離画像を説明変数、生成された前記複数方向のヒートマップ画像を目的変数とする訓練データを用いて、学習する処理によって生成されたことを特徴とする請求項１に記載の骨格認識方法。
- 前記複数方向は、前記被写体に対する正面方向と前記被写体に対する真上方向であることを特徴とする請求項２に記載の骨格認識方法。
- 前記２次元座標を算出する処理は、前記正面方向からみた第一のヒートマップ画像を用いて、前記被写体を正面方向から見たときの前記被写体の骨格位置の２次元座標である第１の骨格位置を算出し、前記真上方向からみた第二のヒートマップ画像を用いて、前記被写体を真上方向から見たときの前記被写体の骨格位置の２次元座標である第２の骨格位置を算出し、
前記３次元座標を算出する処理は、前記処理対象の距離画像から算出される前記被写体の重心と、前記第２の骨格位置とを用いて、関節数分の奥行き値を算出し、前記関節数分の奥行き値と、前記第１の骨格位置とを用いて、前記被写体の骨格位置の３次元座標を算出することを特徴とする請求項４に記載の骨格認識方法。 - 前記複数方向は、前記被写体に対する正面方向と、前記正面方向から横方向に移動した視差位置であることを特徴とする請求項２に記載の骨格認識方法。
- 前記２次元座標を算出する処理は、前記正面方向からみた第一のヒートマップ画像を用いて、前記被写体を正面方向から見たときの前記被写体の骨格位置の２次元座標である第１の骨格位置を算出し、前記視差位置からみた第二のヒートマップ画像を用いて、前記被写体を視差位置から見たときの前記被写体の骨格位置の２次元座標である第２の骨格位置を算出し、
前記３次元座標を算出する処理は、前記視差位置から撮像する際に予め定められた設定値を含む視差情報と、前記第１の骨格位置と、前記第２の骨格位置とを用いて、前記被写体の骨格位置の３次元座標を算出することを特徴とする請求項６に記載の骨格認識方法。 - コンピュータに、
被写体の距離画像から、前記被写体の複数の関節位置の尤度を複数方向から投影したヒートマップ画像を認識する学習モデルを取得し、
処理対象の距離画像を前記学習モデルに入力して、前記複数方向それぞれのヒートマップ画像を取得し、
前記複数方向それぞれのヒートマップ画像と前記複数方向の相対位置関係を示す情報とを用いて、前記被写体の前記複数の関節位置に関する３次元座標を算出し、
前記複数の関節位置に関する３次元座標を含む骨格認識結果を、出力する
処理を実行させることを特徴とする骨格認識プログラム。 - 学習装置と認識装置とを含む骨格認識システムにおいて、
前記学習装置は、
予め撮像された被写体の距離画像と、予め定義された複数の関節の位置情報とを用いて、前記被写体の複数の関節位置の尤度を複数方向から投影したヒートマップ画像を生成する生成部と、
前記予め撮像された被写体の距離画像を説明変数、生成された前記複数方向のヒートマップ画像を目的変数とする訓練データを用いて、前記複数方向それぞれのヒートマップ画像を認識する学習モデルを学習する学習部と、を有し、
前記認識装置は、
前記学習モデルを取得する取得部と、
処理対象の距離画像を前記学習モデルに入力して、前記複数方向それぞれのヒートマップ画像を取得する取得部と、
前記複数方向それぞれのヒートマップ画像と前記複数方向の相対位置関係を示す情報とを用いて、前記被写体の前記複数の関節の位置に関する３次元座標を算出する算出部と、
前記複数の関節の位置に関する３次元座標を含む骨格認識結果を、出力する出力部と、を有する
ことを特徴とする骨格認識システム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/026746 WO2021002025A1 (ja) | 2019-07-04 | 2019-07-04 | 骨格認識方法、骨格認識プログラム、骨格認識システム、学習方法、学習プログラムおよび学習装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021002025A1 JPWO2021002025A1 (ja) | 2021-01-07 |
| JPWO2021002025A5 true JPWO2021002025A5 (ja) | 2022-02-03 |
| JP7164045B2 JP7164045B2 (ja) | 2022-11-01 |
Family
ID=74101206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021529879A Active JP7164045B2 (ja) | 2019-07-04 | 2019-07-04 | 骨格認識方法、骨格認識プログラムおよび骨格認識システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220092302A1 (ja) |
| JP (1) | JP7164045B2 (ja) |
| WO (1) | WO2021002025A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112975993B (zh) * | 2021-02-22 | 2022-11-25 | 北京国腾联信科技有限公司 | 一种机器人示教方法、装置、存储介质和设备 |
| US20240202933A1 (en) * | 2021-05-19 | 2024-06-20 | Nippon Telegraph And Telephone Corporation | Learning apparatus, estimation apparatus, learning model data generation method, estimation method and program |
| JP7474336B2 (ja) * | 2021-06-14 | 2024-04-24 | 株式会社日立ハイテク | コンピュータシステム、寸法計測方法、および記憶媒体 |
| CN114066986B (zh) * | 2022-01-11 | 2022-04-19 | 南昌虚拟现实研究院股份有限公司 | 三维坐标的确定方法、装置、电子设备及存储介质 |
| CN115330753B (zh) * | 2022-10-10 | 2022-12-20 | 博志生物科技(深圳)有限公司 | 椎骨识别方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6589144B2 (ja) * | 2014-10-30 | 2019-10-16 | パナソニックＩｐマネジメント株式会社 | 姿勢推定方法および姿勢推定装置 |
| JP6923789B2 (ja) * | 2017-07-05 | 2021-08-25 | 富士通株式会社 | 情報処理プログラム、情報処理装置、情報処理方法、及び情報処理システム |
-
2019
- 2019-07-04 WO PCT/JP2019/026746 patent/WO2021002025A1/ja active Application Filing
- 2019-07-04 JP JP2021529879A patent/JP7164045B2/ja active Active
-
2021
- 2021-12-05 US US17/542,425 patent/US20220092302A1/en not_active Abandoned
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2021002025A5 (ja) | 骨格認識方法、骨格認識プログラムおよび骨格認識システム | |
| CN108369643B (zh) | 用于3d手部骨架跟踪的方法和系统 | |
| CN109446892B (zh) | 基于深度神经网络的人眼注意力定位方法及系统 | |
| Tang et al. | 3D mapping and 6D pose computation for real time augmented reality on cylindrical objects | |
| CN110634161B (zh) | 一种基于点云数据的工件位姿快速高精度估算方法及装置 | |
| JP2019087229A5 (ja) | ||
| JPWO2021140886A5 (ja) | ||
| JP2018049591A5 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6826069B2 (ja) | ロボットの動作教示装置、ロボットシステムおよびロボット制御装置 | |
| US9905016B2 (en) | Robot identification system | |
| JP2013134706A5 (ja) | ||
| JP5795250B2 (ja) | 被写体姿勢推定装置および映像描画装置 | |
| JP2016512363A5 (ja) | ||
| Jia et al. | 3D image reconstruction and human body tracking using stereo vision and Kinect technology | |
| JP6911123B2 (ja) | 学習装置、認識装置、学習方法、認識方法及びプログラム | |
| JP2011085971A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び画像処理システム | |
| WO2021002025A1 (ja) | 骨格認識方法、骨格認識プログラム、骨格認識システム、学習方法、学習プログラムおよび学習装置 | |
| JP2017191492A5 (ja) | ||
| KR101706092B1 (ko) | 3차원 물체 추적 방법 및 장치 | |
| JP7318814B2 (ja) | データ生成方法、データ生成プログラムおよび情報処理装置 | |
| JPWO2019150431A1 (ja) | 情報処理装置 | |
| Schacter et al. | A multi-camera active-vision system for deformable-object-motion capture | |
| JP2020058779A5 (ja) | ||
| JP2020071718A5 (ja) | ||
| TW201537137A (zh) | 雙影像導引追瞄之射擊系統與方法 |