JP7489247B2 - プログラム、情報処理方法、情報処理装置及びモデル生成方法 - Google Patents
プログラム、情報処理方法、情報処理装置及びモデル生成方法 Download PDFInfo
- Publication number
- JP7489247B2 JP7489247B2 JP2020121381A JP2020121381A JP7489247B2 JP 7489247 B2 JP7489247 B2 JP 7489247B2 JP 2020121381 A JP2020121381 A JP 2020121381A JP 2020121381 A JP2020121381 A JP 2020121381A JP 7489247 B2 JP7489247 B2 JP 7489247B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate values
- dimensional coordinate
- model
- frame images
- depths
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 31
- 230000010365 information processing Effects 0.000 title claims description 16
- 238000003672 processing method Methods 0.000 title claims description 4
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012549 training Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
(実施の形態1)
図1は、情報処理装置1の構成例を示すブロック図である。本実施の形態では、人物を撮像した動画像から当該人物の関節点の3次元座標値を推定する情報処理装置1について説明する。
サーバ1の制御部11は、第1モデル51及び第2モデル52を生成するための訓練データを取得する(ステップS11)。訓練データは、人物を撮像した動画像と、動画像を構成する各フレーム画像における人物の各関節点の2次元座標値及び深度(3次元座標値)とを含む。
サーバ1の制御部11は、人物が撮像された動画像を端末2から取得する(ステップS31)。制御部11は、動画像を構成する各フレーム画像を第1モデル51に入力し、各フレーム画像に対応する各関節点の2次元座標値及び深度を推定する(ステップS32)。制御部11は、第1モデル51で推定された2次元座標値及び深度であって、連続する複数のフレーム画像それぞれに対応する2次元座標値及び深度を第2モデル52に入力し、一のフレーム画像に対応する各関節点の3次元座標値を推定する(ステップS33)。制御部11は一連の処理を終了する。
11 制御部
12 主記憶部
13 通信部
14 補助記憶部
P プログラム
51 第1モデル
52 第2モデル
Claims (7)
- 人物が撮像された動画像を取得し、
前記動画像を構成するフレーム画像を入力した場合に、前記フレーム画像における前記人物の各関節点の2次元座標値及び深度を出力するよう学習済みの第1モデルに、取得した前記動画像を構成する複数のフレーム画像を入力して、前記複数のフレーム画像それぞれに対応する前記2次元座標値及び深度を出力し、
前記複数のフレーム画像それぞれに対応する前記2次元座標値及び深度を入力した場合に、前記各関節点の3次元座標値を出力するよう学習済みの第2モデルに、前記第1モデルから出力された前記複数のフレーム画像それぞれに対応する前記2次元座標値及び深度を入力して、前記3次元座標値を出力する
処理をコンピュータに実行させるプログラムであって、
前記フレーム画像を前記第1モデルに入力して、一の前記フレーム画像に対し、前記各関節点に対応する複数の3次元ヒートマップを生成し、
生成した前記複数の3次元ヒートマップに基づき、前記各関節点の2次元座標値及び深度を出力し、
前記第2モデルは、複数の畳み込み層それぞれに、所定のカーネルサイズ及び拡張係数の畳み込みフィルタを適用した拡張畳み込みニューラルネットワークであり、
時系列で連続する前記複数のフレーム画像の前記2次元座標値及び深度を、前記複数の畳み込み層それぞれにおいて所定数ずつ畳み込み、前記複数のフレーム画像のうち、一の前記フレーム画像に対応する前記3次元座標値を出力する
処理をコンピュータに実行させるプログラム。 - 人物が撮像された動画像を構成する各フレーム画像における前記人物の各関節点の2次元座標値及び深度を示す訓練データを取得し、
訓練用の複数の前記フレーム画像それぞれに対応する前記2次元座標値及び深度を前記第2モデルに入力することで、前記3次元座標値を出力し、
出力した前記3次元座標値を前記2次元座標値に逆変換する処理を行うことで、正解の前記3次元座標値が既知の訓練データを生成し、
正解の前記3次元座標値が既知の訓練データを用いた教師あり学習と、正解の前記3次元座標値が未知の訓練データを用いた教師なし学習とを組み合わせた半教師あり学習を行うことで、前記第2モデルをトレーニングする
請求項1に記載のプログラム。 - 前記第2モデルは、前記畳み込み層を含む残差ブロックを複数有する残差ネットワークであり、
一の前記残差ブロックの入力及び出力の残差を、前記一の残差ブロックに続く次の前記残差ブロックに入力して該次の残差ブロックの出力を計算する
請求項1又は2に記載のプログラム。 - 人物が撮像された動画像を取得し、
前記動画像を構成するフレーム画像を入力した場合に、前記フレーム画像における前記人物の各関節点の2次元座標値及び深度を出力するよう学習済みの第1モデルに、取得した前記動画像を構成する複数のフレーム画像を入力して、前記複数のフレーム画像それぞれに対応する前記2次元座標値及び深度を出力し、
前記複数のフレーム画像それぞれに対応する前記2次元座標値及び深度を入力した場合に、前記各関節点の3次元座標値を出力するよう学習済みの第2モデルに、前記第1モデルから出力された前記複数のフレーム画像それぞれに対応する前記2次元座標値及び深度を入力して、前記3次元座標値を出力する
処理をコンピュータに実行させる情報処理方法であって、
前記フレーム画像を前記第1モデルに入力して、一の前記フレーム画像に対し、前記各関節点に対応する複数の3次元ヒートマップを生成し、
生成した前記複数の3次元ヒートマップに基づき、前記各関節点の2次元座標値及び深度を出力し、
前記第2モデルは、複数の畳み込み層それぞれに、所定のカーネルサイズ及び拡張係数の畳み込みフィルタを適用した拡張畳み込みニューラルネットワークであり、
時系列で連続する前記複数のフレーム画像の前記2次元座標値及び深度を、前記複数の畳み込み層それぞれにおいて所定数ずつ畳み込み、前記複数のフレーム画像のうち、一の前記フレーム画像に対応する前記3次元座標値を出力する
処理をコンピュータに実行させる情報処理方法。 - 人物が撮像された動画像を取得する取得部と、
前記動画像を構成するフレーム画像を入力した場合に、前記フレーム画像における前記人物の各関節点の2次元座標値及び深度を出力するよう学習済みの第1モデルに、取得した前記動画像を構成する複数のフレーム画像を入力して、前記複数のフレーム画像それぞれに対応する前記2次元座標値及び深度を出力する第1出力部と、
前記複数のフレーム画像それぞれに対応する前記2次元座標値及び深度を入力した場合に、前記各関節点の3次元座標値を出力するよう学習済みの第2モデルに、前記第1モデルから出力された前記複数のフレーム画像それぞれに対応する前記2次元座標値及び深度を入力して、前記3次元座標値を出力する第2出力部と
を備え、
前記第1出力部は、
前記フレーム画像を前記第1モデルに入力して、一の前記フレーム画像に対し、前記各関節点に対応する複数の3次元ヒートマップを生成し、
生成した前記複数の3次元ヒートマップに基づき、前記各関節点の2次元座標値及び深度を出力し、
前記第2モデルは、複数の畳み込み層それぞれに、所定のカーネルサイズ及び拡張係数の畳み込みフィルタを適用した拡張畳み込みニューラルネットワークであり、
前記第2出力部は、時系列で連続する前記複数のフレーム画像の前記2次元座標値及び深度を、前記複数の畳み込み層それぞれにおいて所定数ずつ畳み込み、前記複数のフレーム画像のうち、一の前記フレーム画像に対応する前記3次元座標値を出力する
情報処理装置。 - 人物が撮像された動画像と、該動画像を構成する各フレーム画像における前記人物の各関節点の2次元座標値及び深度とを含む訓練データを取得し、
前記訓練データに基づき、前記フレーム画像を入力した場合に、前記各関節点の2次元座標値及び深度を出力する第1モデルを生成し、
前記訓練データに基づき、複数の前記フレーム画像それぞれに対応する前記2次元座標値及び深度を入力した場合に、前記各関節点の3次元座標値を出力する第2モデルを生成する
処理をコンピュータに実行させるモデル生成方法であって、
前記複数のフレーム画像それぞれに対応する前記2次元座標値及び深度を前記第2モデルに入力することで、前記3次元座標値を出力し、
出力した前記3次元座標値を前記2次元座標値に逆変換する処理を行うことで、正解の前記3次元座標値が既知の訓練データを生成し、
正解の前記3次元座標値が既知の訓練データを用いた教師あり学習と、正解の前記3次元座標値が未知の訓練データを用いた教師なし学習とを組み合わせた半教師あり学習を行うことで、前記第2モデルをトレーニングする
処理をコンピュータに実行させるモデル生成方法。 - 前記訓練データが示す深度を、所定のノイズを付加した値に変換し、
前記訓練データが示す前記2次元座標値と、変換後の前記深度とに基づき、前記第2モデルを生成する
請求項6に記載のモデル生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020121381A JP7489247B2 (ja) | 2020-07-15 | 2020-07-15 | プログラム、情報処理方法、情報処理装置及びモデル生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020121381A JP7489247B2 (ja) | 2020-07-15 | 2020-07-15 | プログラム、情報処理方法、情報処理装置及びモデル生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022018333A JP2022018333A (ja) | 2022-01-27 |
JP7489247B2 true JP7489247B2 (ja) | 2024-05-23 |
Family
ID=80203907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020121381A Active JP7489247B2 (ja) | 2020-07-15 | 2020-07-15 | プログラム、情報処理方法、情報処理装置及びモデル生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7489247B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117726907B (zh) * | 2024-02-06 | 2024-04-30 | 之江实验室 | 一种建模模型的训练方法、三维人体建模的方法以及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020096941A1 (en) | 2018-11-05 | 2020-05-14 | Edge Case Research, Inc. | Systems and methods for evaluating perception system quality |
-
2020
- 2020-07-15 JP JP2020121381A patent/JP7489247B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020096941A1 (en) | 2018-11-05 | 2020-05-14 | Edge Case Research, Inc. | Systems and methods for evaluating perception system quality |
Non-Patent Citations (3)
Title |
---|
Dario Pavllo et al.,3D human pose estimation in video with temporal convolutions and semi-supervised training,arXiv [online],2019年03月29日,[令和6年2月21日検索], インターネット<URL: https://arxiv.org/pdf/1811.11742.pdf> |
Georgios Pavlakos et al.,Ordinal Depth Supervision for 3D Human Pose Estimation,2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition,2018年,pp. 7307-7316 |
Xiao Sun et al.,Integral Human Pose Regression,arXiv [online],2018年09月18日,[令和6年2月21日検索], インターネット<URL: https://arxiv.org/pdf/1711.08229.pdf> |
Also Published As
Publication number | Publication date |
---|---|
JP2022018333A (ja) | 2022-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7213241B2 (ja) | ニューラルネットワークに関するマルチタスク学習のためのメタ学習 | |
CN108369643B (zh) | 用于3d手部骨架跟踪的方法和系统 | |
US10783690B2 (en) | Image regularization and retargeting system | |
CN111402290B (zh) | 一种基于骨骼关键点的动作还原方法以及装置 | |
CN110827342A (zh) | 三维人体模型重建方法及存储设备、控制设备 | |
KR20180057096A (ko) | 표정 인식과 트레이닝을 수행하는 방법 및 장치 | |
CN110619676A (zh) | 一种基于神经网络的端到端的三维人脸重建方法 | |
WO2021253788A1 (zh) | 一种人体三维模型构建方法及装置 | |
JP2019507935A (ja) | 物体ランドマーク検出のための深層変形ネットワーク | |
JP2008511932A (ja) | 直接因数分解による変形可能な形状のレジストレーション及びモデリングのためのシステム及び方法 | |
JP2012083955A (ja) | 動作モデル学習装置、3次元姿勢推定装置、動作モデル学習方法、3次元姿勢推定方法およびプログラム | |
CN114581613B (zh) | 一种基于轨迹约束的人体模型姿态和形状优化方法和系统 | |
CN111582220B (zh) | 一种基于移位图卷积神经网络骨骼点行为识别系统及其识别方法 | |
JP2020126617A (ja) | フォールトトレランス及びフラクチュエーションロバスト性のための複数のニューラルネットワークを使用して揺れるカメラにより生成されたビデオからジッタリングを取り除くための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 | |
CN110738650A (zh) | 一种传染病感染识别方法、终端设备及存储介质 | |
JP7489247B2 (ja) | プログラム、情報処理方法、情報処理装置及びモデル生成方法 | |
CN111539349A (zh) | 姿态识别模型的训练方法及装置、姿态识别方法及其装置 | |
JP7499346B2 (ja) | 逆運動学に基づいた関節の回転の推測 | |
CN111339969B (zh) | 人体姿势估计方法、装置、设备及存储介质 | |
CN117352126A (zh) | 肌肉受力可视化方法、装置、计算机设备以及存储介质 | |
CN116959109A (zh) | 人体姿态图像的生成方法、装置、设备和存储介质 | |
CN113553893A (zh) | 基于深度神经网络的人体跌倒检测方法、装置和电子设备 | |
Garcia-D’Urso et al. | Accurate estimation of parametric models of the human body from 3D point clouds | |
JP5281479B2 (ja) | カメラ運動・物体形状復元方法、カメラ運動・物体形状復元装置、カメラ運動・物体形状復元プログラム及びこのプログラムを記録した記録媒体 | |
CN116079727A (zh) | 基于3d人体姿态估计的人形机器人动作模仿方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7489247 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |