JP6868875B1 - 姿勢推定学習システム、姿勢推定学習方法及び機械学習用データの作成プログラム - Google Patents
姿勢推定学習システム、姿勢推定学習方法及び機械学習用データの作成プログラム Download PDFInfo
- Publication number
- JP6868875B1 JP6868875B1 JP2020199646A JP2020199646A JP6868875B1 JP 6868875 B1 JP6868875 B1 JP 6868875B1 JP 2020199646 A JP2020199646 A JP 2020199646A JP 2020199646 A JP2020199646 A JP 2020199646A JP 6868875 B1 JP6868875 B1 JP 6868875B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- machine learning
- dimensional
- posture estimation
- living body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
前記機械学習用データ作成部は、前記撮像部により前記3次元モデルを撮像して得られる3次元座標空間の前記生体の骨格情報である3次元骨格データと、前記3次元骨格データを2次元座標に射影した2次元骨格データと、前記3次元モデルを撮像して得られる画像から、前記3次元モデルの部分と背景の部分とを前記3次元モデルの輪郭で分離した加工画像データと、を作成することを特徴とする。
前記機械学習用データ作成処理は、撮像装置により前記3次元モデルを撮像する第1のステップと、前記仮想空間上の座標から3次元座標空間の前記生体の骨格情報である3次元骨格データを取得する第2のステップと、前記3次元骨格データを2次元座標に射影した2次元骨格データを作成する第3のステップと、前記仮想空間において前記3次元モデルの背景を変更した状態で前記撮像装置により前記3次元モデルを撮像し、前記3次元モデルの部分と前記背景の部分とを前記3次元モデルの輪郭で分離した加工画像データを作成する第4のステップと、を有し、前記3次元モデルを撮像する方位角又は仰角を変化させながら、前記第1のステップから前記第4のステップを繰り返し実行することを特徴とする。
コンピュータにより、仮想空間に配置した前記生体の3次元モデルを方位角又は仰角を変化させて複数回撮像し、3次元座標空間の前記生体の骨格情報である3次元骨格データを取得するステップと、前記コンピュータにより、前記3次元骨格データを2次元座標に射影して2次元骨格データを作成するステップと、前記3次元モデルを撮像して得られる画像から、前記3次元モデルの部分と背景の部分とを前記3次元モデルの輪郭で分離した加工画像データを作成するステップと、を備えることを特徴とする。
Claims (5)
- 仮想空間に配置した生体の3次元モデルを用いて機械学習により生体の姿勢を推定する姿勢推定学習システムであって、
撮像部と、
前記3次元モデルを前記撮像部により方位角又は仰角を変化させて複数回撮像し、機械学習用データを作成する機械学習用データ作成部と、
前記機械学習用データ作成部により作成された前記機械学習用データに基づいて、前記生体の姿勢推定を学習する機械学習部と、
前記機械学習部が学習した判断基準を有する学習モデルに基づいて、入力画像中の生体の姿勢を推定する姿勢推定部と、
を備え、
前記機械学習用データ作成部は、
前記撮像部により前記3次元モデルを撮像して得られる3次元座標空間の前記生体の骨格情報である3次元骨格データと、
前記3次元骨格データを2次元座標に射影した2次元骨格データと、
前記3次元モデルを撮像して得られる画像から、前記3次元モデルの部分と背景の部分とを前記3次元モデルの輪郭で分離した加工画像データと、
を作成することを特徴とする姿勢推定学習システム。 - 前記機械学習用データ作成部は、任意のモーションデータを用いて前記3次元モデルを仮想空間上で動作させ、前記3次元モデルの動作に応じた前記3次元骨格データを抽出することを特徴とする請求項1に記載の姿勢推定学習システム。
- 仮想空間に配置した生体の3次元モデルを用いて機械学習用データを作成する機械学習用データ作成処理と、
前記機械学習用データ作成処理で作成した前記機械学習用データに基づいて、前記生体の姿勢推定を学習する機械学習処理と、
前記機械学習処理で学習した判断基準に基づいて、入力画像中の生体の姿勢を推定する姿勢推定処理と、
を備え、
前記機械学習用データ作成処理は、
撮像装置により前記3次元モデルを撮像する第1のステップと、
前記仮想空間上の座標から3次元座標空間の前記生体の骨格情報である3次元骨格データを取得する第2のステップと、
前記3次元骨格データを2次元座標に射影した2次元骨格データを作成する第3のステップと、
前記仮想空間において前記3次元モデルの背景を変更した状態で前記撮像装置により前記3次元モデルを撮像し、前記3次元モデルの部分と前記背景の部分とを前記3次元モデルの輪郭で分離した加工画像データを作成する第4のステップと、を有し、
前記3次元モデルを撮像する方位角又は仰角を変化させながら、前記第1のステップから前記第4のステップを繰り返し実行することを特徴とする姿勢推定学習方法。 - 前記機械学習用データを加工する機械学習用データ加工処理をさらに備え、
前記機械学習用データ加工処理は、
前記加工画像データの前記3次元モデルの部分と所定の背景とを組み合わせた合成画像データを作成する第5のステップと、
前記合成画像データのうち前記生体の部分の色調を変更する第6のステップと、
前記合成画像データに対してノイズの付与又は境界の平滑化を行う第7のステップと、を有し、
前記第5のステップから前記第7のステップの少なくとも1つを実行することを特徴とする請求項3に記載の姿勢推定学習方法。 - 仮想空間に配置した生体の3次元モデルを用いて、前記生体の姿勢推定を機械学習させる機械学習用データの作成プログラムであって、
コンピュータにより前記3次元モデルを方位角又は仰角を変化させて複数回撮像し、3次元座標空間の前記生体の骨格情報である3次元骨格データを取得するステップと、
前記コンピュータにより、前記3次元骨格データを2次元座標に射影して2次元骨格データを作成するステップと、
前記3次元モデルを撮像して得られる画像から、前記3次元モデルの部分と背景の部分とを前記3次元モデルの輪郭で分離した加工画像データを作成するステップと、
を備えることを特徴とする機械学習用データの作成プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020130959 | 2020-07-31 | ||
JP2020130959 | 2020-07-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6868875B1 true JP6868875B1 (ja) | 2021-05-12 |
JP2022027395A JP2022027395A (ja) | 2022-02-10 |
Family
ID=75801806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020199646A Active JP6868875B1 (ja) | 2020-07-31 | 2020-12-01 | 姿勢推定学習システム、姿勢推定学習方法及び機械学習用データの作成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6868875B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4343701A4 (en) * | 2021-07-29 | 2024-09-18 | Huawei Tech Co Ltd | IMAGE GENERATING METHOD, APPARATUS AND SYSTEM, AND COMPUTER READABLE STORAGE MEDIUM |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10679046B1 (en) * | 2016-11-29 | 2020-06-09 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Machine learning systems and methods of estimating body shape from images |
EP3611691B1 (en) * | 2017-04-10 | 2021-04-21 | Fujitsu Limited | Recognition device, recognition system, recognition method, and recognition program |
EP3416103A1 (en) * | 2017-06-16 | 2018-12-19 | Dassault Systèmes | Dataset for learning a function taking images as inputs |
-
2020
- 2020-12-01 JP JP2020199646A patent/JP6868875B1/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4343701A4 (en) * | 2021-07-29 | 2024-09-18 | Huawei Tech Co Ltd | IMAGE GENERATING METHOD, APPARATUS AND SYSTEM, AND COMPUTER READABLE STORAGE MEDIUM |
Also Published As
Publication number | Publication date |
---|---|
JP2022027395A (ja) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhu et al. | Detailed human shape estimation from a single image by hierarchical mesh deformation | |
Zhang et al. | Detailed, accurate, human shape estimation from clothed 3D scan sequences | |
JP7015152B2 (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
JP6302132B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
CN107301370A (zh) | 一种基于Kinect三维骨架模型的肢体动作识别方法 | |
US20140180647A1 (en) | Perceptually guided capture and stylization of 3d human figures | |
WO2018075053A1 (en) | Object pose based on matching 2.5d depth information to 3d information | |
JPH10320588A (ja) | 画像処理装置および画像処理方法 | |
Xu et al. | 3d virtual garment modeling from rgb images | |
WO2021240848A1 (ja) | 3次元アバター生成装置、3次元アバター生成方法及び3次元アバター生成プログラム | |
JP2019003565A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP5503510B2 (ja) | 姿勢推定装置および姿勢推定プログラム | |
JP6868875B1 (ja) | 姿勢推定学習システム、姿勢推定学習方法及び機械学習用データの作成プログラム | |
AU2020474614B2 (en) | Three-dimensional mesh generator based on two-dimensional image | |
Ami-Williams et al. | Digitizing traditional dances under extreme clothing: The case study of eyo | |
JP2010238134A (ja) | 画像処理装置及びプログラム | |
KR102075079B1 (ko) | 하이브리드 카메라 기반 동작 추적 장치 및 그 방법 | |
Wang et al. | Im2fit: Fast 3d model fitting and anthropometrics using single consumer depth camera and synthetic data | |
Wen et al. | From motion capture data to character animation | |
Rogge et al. | Monocular Pose Reconstruction for an Augmented Reality Clothing System. | |
JP2005339363A (ja) | 人体パーツ自動分割装置及び人体パーツ自動分割方法 | |
JP2021099666A (ja) | 学習モデルの生成方法 | |
Haddon et al. | Shape representations from shading primitives | |
JP2009095631A (ja) | ゴルフスウィング計測システム | |
WO2023162223A1 (ja) | 学習プログラム、生成プログラム、学習方法および生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201215 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201221 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6868875 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |