JP7335370B2 - 3次元姿勢推定データを生成するためのコンピュータ実装方法、データ処理装置およびコンピュータプログラム - Google Patents
3次元姿勢推定データを生成するためのコンピュータ実装方法、データ処理装置およびコンピュータプログラム Download PDFInfo
- Publication number
- JP7335370B2 JP7335370B2 JP2022015095A JP2022015095A JP7335370B2 JP 7335370 B2 JP7335370 B2 JP 7335370B2 JP 2022015095 A JP2022015095 A JP 2022015095A JP 2022015095 A JP2022015095 A JP 2022015095A JP 7335370 B2 JP7335370 B2 JP 7335370B2
- Authority
- JP
- Japan
- Prior art keywords
- pose estimation
- estimation data
- data
- persons
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
Claims (15)
- 3次元姿勢推定データを生成するためのコンピュータ実装方法であって、前記方法は、
複数のカメラの映像データ(10)を取得すること(110)であって、前記映像データは、複数の観測角度から認識されるような、1人以上の人物(12)の動きを示す、ことと、
前記映像データに基づいて2次元姿勢推定を行うのに適した機械学習モデルを用いて、前記1人以上の人物の2次元姿勢推定データを生成すること(120)と、
前記1人以上の人物の前記2次元姿勢推定データに基づいて、前記1人以上の人物の3次元姿勢推定データを生成すること(130)であって、
前記2次元姿勢推定データと3次元姿勢推定データとは、前記1人以上の人物の身体上の1つ以上のポイント(14a)によって定義される、ことと、
前記1人以上の人物の前記身体上の前記1つ以上のポイントの前記動きを前記映像データの上に重ねて図示することによって、前記1人以上の人物の前記動きの動画(16)を提供すること(140)と、
ユーザーが前記1人以上の人物の前記身体上の前記1つ以上のポイントの位置を調整するためのユーザーインターフェースを提供すること(150)であって、前記ユーザーインターフェースは、前記映像データの上に重ねられる前記1つ以上のポイントの前記動きの図示に基づく、ことと、
を含む、方法。 - 前記動きの前記動画および/または前記ユーザーインターフェースは、前記2次元姿勢推定データを生成すること(120)の後、前記3次元姿勢推定データを生成すること(130)の後、および/または前記3次元姿勢推定データを自動的に調整すること(160)の後に、提供される(140、150)、請求項1に記載の方法。
- 前記動きの間の前記1つ以上のポイントの前記位置を経時的に示す静止画像(18b)を生成すること(144)を含む、請求項1または請求項2のいずれか一項に記載の方法。
- 前記ユーザーインターフェースは、2次元または3次元座標系内の個々のポイントの位置を前記ユーザーが調整するための手段を提供する、請求項1から請求項3のいずれか一項に記載の方法。
- 前記2次元姿勢推定データと3次元姿勢推定データとは、2次元または3次元座標系における1つ以上の骨格の関節(14a)の位置によって定義され、前記1つ以上の骨格は、前記1人以上の人物を表す、請求項1から請求項4のいずれか一項に記載の方法。
- 前記1つ以上の骨格の前記関節は、複数の肢(14b)によって相互に連結され、前記ユーザーインターフェースは、前記複数の肢の長さ、角度および位置のうちの少なくとも1つを前記ユーザーが調整するための手段を提供する、請求項5に記載の方法。
- 1つ以上の調整アルゴリズムを用いて、前記3次元姿勢推定データを自動的に調整すること(160)を含み、前記3次元姿勢推定データを自動的に調整した後に生成される前記1人以上の人物の前記動きの前記動画は、前記1つ以上の調整アルゴリズムによって実行される調整の効果を示す、請求項1から請求項6のいずれか一項に記載の方法。
- 前記1つ以上の調整アルゴリズムは、時間的平滑化アルゴリズムなどの平滑化アルゴリズムを含む、請求項7に記載の方法。
- 前記2次元姿勢推定データと3次元姿勢推定データとは、2次元または3次元座標系における1つ以上の骨格の関節の位置によって定義され、前記1つ以上の骨格の前記関節は、複数の肢によって相互に連結され、前記1つ以上の調整アルゴリズムは、前記複数の肢に適用される1つ以上の制約に基づいて、前記肢の前記関節の位置を調整するように構成される少なくとも1つのアルゴリズムを含む、請求項7または請求項8のいずれか一項に記載の方法。
- 前記ユーザーインターフェースは、前記複数の肢に適用される前記1つ以上の制約を前記ユーザーが調整および/または選択するための手段を提供する、請求項9に記載の方法。
- 前記1つ以上の制約は、前記複数の肢の長さに関連する少なくとも1つの制約および/または肢の間の角度に関連する少なくとも1つの制約を含む、請求項9または請求項10のいずれか一項に記載の方法。
- 前記3次元姿勢推定データに基づいて、個々の前記肢の平均の長さを推定することを含み、前記複数の肢の前記長さに関連する前記少なくとも1つの制約は、前記推定された個々の前記肢の平均の長さに基づく、請求項11に記載の方法。
- 前記方法は、前記1つ以上のポイントのユーザーが調整した位置に基づいて、2次元姿勢推定を実行するのに適した前記機械学習モデルの訓練を調整すること(170)を含み、
および/または、前記方法は、前記映像データに基づいておよび前記3次元姿勢推定データに基づいて、他の機械学習モデルを訓練すること(180)を含む、
請求項1から請求項12のいずれか一項に記載の方法。 - 請求項1から請求項13のいずれか一項に記載の方法を実行するように構成される処理回路(24)を含むデータ処理装置(20)。
- コンピュータプログラムであって、前記コンピュータプログラムがコンピュータ、プロセッサ、処理回路またはプログラム可能なハードウェア構成要素上で実行されるとき、請求項1から請求項13のいずれか一項に記載の方法を実行するためのプログラムコードを有する、コンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21156763.1A EP4044118A1 (en) | 2021-02-12 | 2021-02-12 | A computer-implemented method, data processing apparatus and computer program for generating three-dimensional pose-estimation data |
EP21156763.1 | 2021-02-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022123843A JP2022123843A (ja) | 2022-08-24 |
JP7335370B2 true JP7335370B2 (ja) | 2023-08-29 |
Family
ID=74595106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022015095A Active JP7335370B2 (ja) | 2021-02-12 | 2022-02-02 | 3次元姿勢推定データを生成するためのコンピュータ実装方法、データ処理装置およびコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US12056895B2 (ja) |
EP (1) | EP4044118A1 (ja) |
JP (1) | JP7335370B2 (ja) |
CN (1) | CN114926530A (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7419969B2 (ja) * | 2020-05-27 | 2024-01-23 | 富士通株式会社 | 生成方法、生成プログラムおよび情報処理装置 |
CN115410233B (zh) * | 2022-11-01 | 2023-01-24 | 齐鲁工业大学 | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 |
US11830159B1 (en) * | 2022-12-08 | 2023-11-28 | Flawless Holding Limited | Generative films |
WO2024204890A1 (ko) * | 2023-03-30 | 2024-10-03 | 주식회사 엔씨소프트 | 하나 이상의 이미지들로부터 신체 부위의 위치를 식별하기 위한 전자 장치, 방법 및 컴퓨터 판독 가능 저장 매체 |
CN116824631B (zh) * | 2023-06-14 | 2024-02-27 | 西南交通大学 | 一种姿态估计方法及系统 |
CN118097027B (zh) * | 2024-04-19 | 2024-07-30 | 杭州欣禾圣世科技有限公司 | 一种基于进化计算的多视频3d人体动作捕捉方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003150977A (ja) | 2001-11-15 | 2003-05-23 | Japan Science & Technology Corp | 3次元人物動画像生成システム |
US20190116322A1 (en) | 2017-10-13 | 2019-04-18 | Fyusion, Inc. | Skeleton-based effects and background replacement |
US20190362139A1 (en) | 2018-05-28 | 2019-11-28 | Kaia Health Software GmbH | Monitoring the performance of physical exercises |
US20200327465A1 (en) | 2019-04-12 | 2020-10-15 | University Of Iowa Research Foundation | System and method to predict, prevent, and mitigate workplace injuries |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9747495B2 (en) * | 2012-03-06 | 2017-08-29 | Adobe Systems Incorporated | Systems and methods for creating and distributing modifiable animated video messages |
EP2843621A1 (en) * | 2013-08-26 | 2015-03-04 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Human pose calculation from optical flow data |
WO2018222756A1 (en) * | 2017-05-30 | 2018-12-06 | Ptc Inc. | Object initiated communication |
US11113887B2 (en) * | 2018-01-08 | 2021-09-07 | Verizon Patent And Licensing Inc | Generating three-dimensional content from two-dimensional images |
US20200097732A1 (en) * | 2018-09-21 | 2020-03-26 | Cubic Corporation | Markerless Human Movement Tracking in Virtual Simulation |
US11263443B2 (en) * | 2019-07-19 | 2022-03-01 | Sri International | Centimeter human skeleton pose estimation |
US11615592B2 (en) * | 2020-10-27 | 2023-03-28 | Snap Inc. | Side-by-side character animation from realtime 3D body motion capture |
-
2021
- 2021-02-12 EP EP21156763.1A patent/EP4044118A1/en active Pending
- 2021-12-13 US US17/643,849 patent/US12056895B2/en active Active
-
2022
- 2022-02-02 JP JP2022015095A patent/JP7335370B2/ja active Active
- 2022-02-11 CN CN202210130521.3A patent/CN114926530A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003150977A (ja) | 2001-11-15 | 2003-05-23 | Japan Science & Technology Corp | 3次元人物動画像生成システム |
US20190116322A1 (en) | 2017-10-13 | 2019-04-18 | Fyusion, Inc. | Skeleton-based effects and background replacement |
US20190362139A1 (en) | 2018-05-28 | 2019-11-28 | Kaia Health Software GmbH | Monitoring the performance of physical exercises |
US20200327465A1 (en) | 2019-04-12 | 2020-10-15 | University Of Iowa Research Foundation | System and method to predict, prevent, and mitigate workplace injuries |
Also Published As
Publication number | Publication date |
---|---|
US20220262036A1 (en) | 2022-08-18 |
US12056895B2 (en) | 2024-08-06 |
JP2022123843A (ja) | 2022-08-24 |
CN114926530A (zh) | 2022-08-19 |
EP4044118A1 (en) | 2022-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7335370B2 (ja) | 3次元姿勢推定データを生成するためのコンピュータ実装方法、データ処理装置およびコンピュータプログラム | |
US10372228B2 (en) | Method and system for 3D hand skeleton tracking | |
Stoll et al. | Fast articulated motion tracking using a sums of gaussians body model | |
EP2710557B1 (en) | Fast articulated motion tracking | |
CN110637323A (zh) | 通过使用基于部分的关键帧和先验模型进行鲁棒网格跟踪和融合 | |
JP2021503662A (ja) | ニューラルネットワークのモデルの訓練 | |
JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
US20120176379A1 (en) | Mesh animation | |
Michel et al. | Tracking the articulated motion of the human body with two RGBD cameras | |
US11158104B1 (en) | Systems and methods for building a pseudo-muscle topology of a live actor in computer animation | |
JP2019016164A (ja) | 学習データ生成装置、推定装置、推定方法及びコンピュータプログラム | |
Zhang et al. | Anatomy-based face reconstruction for animation using multi-layer deformation | |
WO2020193972A1 (en) | Facial analysis | |
JP7251003B2 (ja) | 細かいしわを有する顔メッシュ変形 | |
WO2022087932A1 (en) | Non-rigid 3d object modeling using scene flow estimation | |
Xu et al. | Human body reshaping and its application using multiple RGB-D sensors | |
JP2009048305A (ja) | 形状解析プログラム及び形状解析装置 | |
Ichim et al. | Semantic parametric body shape estimation from noisy depth sequences | |
Jian et al. | Realistic face animation generation from videos | |
Joo | Sensing, Measuring, and Modeling Social Signals in Nonverbal Communication | |
Legde | Projecting motion capture: designing and implementing a modular and flexible facial animation pipeline to evaluate different perceptual effects | |
US20230237753A1 (en) | Dynamic facial hair capture of a subject | |
Cannavò et al. | A Framework for Animating Customized Avatars from Monocular Videos in Virtual Try-On Applications | |
Hu | Deep learning-based 3D human body shape reconstruction from point clouds | |
Juarez‐Perez et al. | Detection and Synthesis of Full‐Body Environment Interactions for Virtual Humans |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7335370 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |