JP5833189B2 - 被写体の三次元表現を生成する方法およびシステム - Google Patents
被写体の三次元表現を生成する方法およびシステム Download PDFInfo
- Publication number
- JP5833189B2 JP5833189B2 JP2014121707A JP2014121707A JP5833189B2 JP 5833189 B2 JP5833189 B2 JP 5833189B2 JP 2014121707 A JP2014121707 A JP 2014121707A JP 2014121707 A JP2014121707 A JP 2014121707A JP 5833189 B2 JP5833189 B2 JP 5833189B2
- Authority
- JP
- Japan
- Prior art keywords
- depth image
- subject
- image
- model
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
この出願は、2013年6月21日に出願された英国特許出願第1311117.4号に基づいており、かつ、この優先権の利益を主張するものであって、これの全内容は参照によってここに組み込まれる。
実施形態において、距離項は、選択されたモデルの表面に対する法線と重力方向とに依存する重力関数を備える。
Claims (18)
- デプス画像から被写体の三次元表現を生成する方法であって、
前記被写体のデプス画像を、各代表画像が個別のパラメトリックモデルに関連付けられる複数の代表画像と比較することと、
前記複数の代表画像のうちの1つの代表画像を前記被写体の前記デプス画像に最も類似した代表画像として識別することと、
前記デプス画像に最も類似した代表画像に関連付けられるパラメトリックモデルを選択することと、
選択された前記パラメトリックモデルに含まれる形状、姿勢および正規化エラーのモデルと前記被写体のデプス画像との差分を表すエネルギー関数が最小化するように各モデルに含まれる変化可能な数的変数を更新することによって前記被写体の三次元表現を生成することと
を具備し、
前記エネルギー関数は、前記被写体のデプス画像上の点と前記選択されたパラメトリックモデル上の対応点との間の距離に依存する距離項を備える、
方法。 - 前記距離項は、前記デプス画像上の点によって定義されるボリュームの内側にある前記モデル上の点に選好を与える、請求項1の方法。
- 前記距離項は、前記選択されたモデルの表面に対する法線と重力方向とに依存する重力関数を備える、請求項1の方法。
- 各代表画像は、前記個別のパラメトリックモデルから計算されたデプス画像である、請求項1の方法。
- 各代表画像は、デプス画像と前記個別のパラメトリックモデルから計算されたアルファ画像との重み付き合成である、請求項1の方法。
- 前記被写体のデプス画像を前記複数の代表画像と比較する前に、前記被写体の方位および/または前記デプス画像における前記被写体のデプスを正規化すること、をさらに具備する請求項1の方法。
- 前記被写体のデプス画像を前記複数の代表画像と比較する前に、前記デプス画像の解像度を低下させること、をさらに具備する請求項1の方法。
- 前記三次元表現から前記被写体のサイズインジケータおよび/または寸法を計算することをさらに具備する請求項1の方法。
- プロセッサでの実行時に当該プロセッサに請求項1の方法を実行させるプロセッサ実行可能命令を搬送するコンピュータ可読記録媒体。
- デプス画像から被写体の三次元表現を生成するためのシステムであって、
前記被写体の複数のパラメトリックモデルと、各代表画像が個別のパラメトリックモデルに関連付けられる複数の代表画像とのためのストレージと、
前記被写体のデプス画像を前記複数の代表画像の各々と比較し、
前記複数の代表画像のうちの1つの代表画像を前記被写体の前記デプス画像に最も類似した代表画像として識別し、
前記デプス画像に最も類似した代表画像に関連付けられるパラメトリックモデルを選択する
ように動作可能な選択モジュールと、
選択された前記パラメトリックモデルに含まれる形状、姿勢および正規化エラーのモデルと前記被写体のデプス画像との差分を表すエネルギー関数が最小化するように各モデルに含まれる変化可能な数的変数を更新することによって前記被写体の三次元表現を生成するように動作可能なフィッティングモジュールと
を具備し、
前記エネルギー関数は、前記被写体のデプス画像上の点と前記選択されたパラメトリックモデル上の対応点との間の距離に依存する距離項を備える、
システム。 - 前記距離項は、前記デプス画像上の点によって定義されるボリュームの内側にある前記モデル上の点に選好を与える、請求項10のシステム。
- 前記距離項は、前記選択されたモデルの表面に対する法線と重力方向とに依存する重力関数を備える、請求項10のシステム。
- 各代表画像は、前記個別のパラメトリックモデルから計算されたデプス画像である、請求項10のシステム。
- 各代表画像は、デプス画像と前記個別のパラメトリックモデルから計算されたアルファ画像との重み付き合成である、請求項10のシステム。
- 各代表画像は、100×100画素未満の解像度を持つ、請求項10のシステム。
- 前記選択モジュールは、前記被写体のデプス画像を前記複数の代表画像と比較する前に、前記被写体の方位および/または前記デプス画像における前記被写体のデプスを正規化するように動作可能である、請求項10のシステム。
- 前記三次元表現から前記被写体のサイズインジケータおよび/または寸法を計算するようにさらに動作可能である、請求項10のシステム。
- 前記被写体のデプス画像をキャプチャするように構成されたデプス画像キャプチャデバイスをさらに具備する、請求項10のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1311117.4 | 2013-06-21 | ||
GB1311117.4A GB2515343B (en) | 2013-06-21 | 2013-06-21 | Methods and systems for generating a three dimensional representation of a subject |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015015021A JP2015015021A (ja) | 2015-01-22 |
JP5833189B2 true JP5833189B2 (ja) | 2015-12-16 |
Family
ID=48950295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014121707A Active JP5833189B2 (ja) | 2013-06-21 | 2014-06-12 | 被写体の三次元表現を生成する方法およびシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9646408B2 (ja) |
EP (1) | EP2819098B1 (ja) |
JP (1) | JP5833189B2 (ja) |
CN (1) | CN104240288B (ja) |
GB (1) | GB2515343B (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9071740B1 (en) | 2011-10-28 | 2015-06-30 | Google Inc. | Modular camera system |
US9537968B1 (en) | 2012-01-06 | 2017-01-03 | Google Inc. | Communication of socket protocol based data over a storage protocol based interface |
US9197686B1 (en) | 2012-01-06 | 2015-11-24 | Google Inc. | Backfill of video stream |
US9524582B2 (en) * | 2014-01-28 | 2016-12-20 | Siemens Healthcare Gmbh | Method and system for constructing personalized avatars using a parameterized deformable mesh |
US11282132B2 (en) * | 2014-11-25 | 2022-03-22 | mPort Ltd | Frameworks and methodologies configured to enable generation and utilisation of three-dimensional body scan data |
KR101650269B1 (ko) * | 2015-03-12 | 2016-08-22 | 라인 가부시키가이샤 | 화면 제어를 위한 효율적인 인터페이스를 제공하는 시스템 및 방법 |
US9544485B2 (en) | 2015-05-27 | 2017-01-10 | Google Inc. | Multi-mode LED illumination system |
US9554063B2 (en) | 2015-06-12 | 2017-01-24 | Google Inc. | Using infrared images of a monitored scene to identify windows |
US9386230B1 (en) | 2015-06-12 | 2016-07-05 | Google Inc. | Day and night detection based on one or more of illuminant detection, lux level detection, and tiling |
US9454820B1 (en) | 2015-06-12 | 2016-09-27 | Google Inc. | Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination |
US9626849B2 (en) | 2015-06-12 | 2017-04-18 | Google Inc. | Using scene information from a security camera to reduce false security alerts |
US9886620B2 (en) | 2015-06-12 | 2018-02-06 | Google Llc | Using a scene illuminating infrared emitter array in a video monitoring camera to estimate the position of the camera |
US9235899B1 (en) | 2015-06-12 | 2016-01-12 | Google Inc. | Simulating an infrared emitter array in a video monitoring camera to construct a lookup table for depth determination |
US9489745B1 (en) | 2015-06-12 | 2016-11-08 | Google Inc. | Using depth maps of a scene to identify movement of a video camera |
US9613423B2 (en) * | 2015-06-12 | 2017-04-04 | Google Inc. | Using a depth map of a monitored scene to identify floors, walls, and ceilings |
WO2016207311A1 (en) | 2015-06-24 | 2016-12-29 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Skinned multi-person linear model |
US11127163B2 (en) | 2015-06-24 | 2021-09-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Skinned multi-infant linear body model |
CN105976421B (zh) * | 2016-04-21 | 2018-06-19 | 浙江大学 | 一种渲染程序的在线优化方法 |
KR101769856B1 (ko) * | 2016-07-28 | 2017-08-21 | 주식회사 오스테오시스 | 체형 사전 감지를 이용한 덱사 방식의 골밀도 및 신체조성 측정장치 |
EP3293705B1 (en) * | 2016-09-12 | 2022-11-16 | Dassault Systèmes | 3d reconstruction of a real object from a depth map |
US10180615B2 (en) | 2016-10-31 | 2019-01-15 | Google Llc | Electrochromic filtering in a camera |
TWI625687B (zh) * | 2016-11-01 | 2018-06-01 | 緯創資通股份有限公司 | 互動式服飾試穿方法及其顯示系統與電腦可讀取記錄媒體 |
JP6234622B1 (ja) | 2017-01-16 | 2017-11-22 | 株式会社コロプラ | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
CN110503681B (zh) * | 2017-02-14 | 2022-03-29 | 奥比中光科技集团股份有限公司 | 人体模型自动创建方法及三维试衣系统 |
CN106952334B (zh) * | 2017-02-14 | 2019-08-30 | 深圳奥比中光科技有限公司 | 人体净模型的创建方法与三维试衣系统 |
CN106933976B (zh) * | 2017-02-14 | 2020-09-18 | 深圳奥比中光科技有限公司 | 建立人体3d净模型的方法及其在3d试衣中的应用 |
JP6257825B1 (ja) | 2017-05-26 | 2018-01-10 | 株式会社コロプラ | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
JP6921768B2 (ja) * | 2018-02-21 | 2021-08-18 | 株式会社東芝 | 仮想試着システム、仮想試着方法、仮想試着プログラム、および情報処理装置 |
FI20185517A1 (en) | 2018-06-06 | 2019-12-07 | Nomo Tech Oy | Measurement of surface distances on human bodies |
GB2583687B (en) * | 2018-09-12 | 2022-07-20 | Sony Interactive Entertainment Inc | Method and system for generating a 3D reconstruction of a human |
US10867395B2 (en) * | 2018-09-28 | 2020-12-15 | Glo Big Boss Ltd. | Systems and methods for real-time rigid body motion prediction |
US11568575B2 (en) * | 2019-02-19 | 2023-01-31 | Google Llc | Cost-driven framework for progressive compression of textured meshes |
CN110095062B (zh) * | 2019-04-17 | 2021-01-05 | 北京华捷艾米科技有限公司 | 一种物体体积参数测量方法、装置及设备 |
CN110176063B (zh) * | 2019-05-07 | 2022-05-27 | 浙江凌迪数字科技有限公司 | 一种基于人体拉普拉斯变形的服装变形方法 |
CN112419419A (zh) * | 2019-11-27 | 2021-02-26 | 上海联影智能医疗科技有限公司 | 用于人体姿势和形状估计的系统和方法 |
CN113361532B (zh) * | 2021-03-10 | 2023-06-06 | 江西理工大学 | 一种图像识别方法、系统、存储介质、设备、终端及应用 |
CN113570618B (zh) * | 2021-06-28 | 2023-08-08 | 内蒙古大学 | 一种基于深度学习的加权骨龄评估方法及系统 |
CN117173306A (zh) * | 2022-05-27 | 2023-12-05 | 脸萌有限公司 | 一种虚拟形象的渲染方法、装置、电子设备及存储介质 |
CN117235824B (zh) * | 2023-11-14 | 2024-01-19 | 腾讯科技(深圳)有限公司 | 共面拟合方法、装置、设备及计算机可读存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6356272B1 (en) * | 1996-08-29 | 2002-03-12 | Sanyo Electric Co., Ltd. | Texture information giving method, object extracting method, three-dimensional model generating method and apparatus for the same |
US7003134B1 (en) * | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
CA2413056C (en) * | 2001-11-27 | 2009-02-10 | Samsung Electronics Co., Ltd. | Apparatus and method for depth image-based representation of 3-dimensional object |
JP2006059143A (ja) * | 2004-08-20 | 2006-03-02 | Technoa:Kk | 顧客の要望に応じた衣服を作成するために用いられるバーチャル(仮想の意)3d(3次元)ボディ作成システム、及び、そのバーチャル3dボディ作成システムを備えるオーダーメイド用型紙作成システム |
US9189886B2 (en) * | 2008-08-15 | 2015-11-17 | Brown University | Method and apparatus for estimating body shape |
US8294767B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Body scan |
KR20100138648A (ko) * | 2009-06-25 | 2010-12-31 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
KR101640039B1 (ko) * | 2009-09-22 | 2016-07-18 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US8213680B2 (en) * | 2010-03-19 | 2012-07-03 | Microsoft Corporation | Proxy training data for human body tracking |
US8594425B2 (en) * | 2010-05-31 | 2013-11-26 | Primesense Ltd. | Analysis of three-dimensional scenes |
US9251591B2 (en) | 2010-12-01 | 2016-02-02 | Cornell University | Body shape analysis method and system |
JP5943267B2 (ja) * | 2011-10-20 | 2016-07-05 | 国立研究開発法人情報通信研究機構 | 個人モデルデータの生成方法、生成プログラム、および生成システム |
CN102737235B (zh) * | 2012-06-28 | 2014-05-07 | 中国科学院自动化研究所 | 基于深度信息和彩色图像的头部姿势估计方法 |
US9393697B1 (en) * | 2015-04-02 | 2016-07-19 | Disney Enterprises, Inc | System and method using foot recognition to create a customized guest experience |
-
2013
- 2013-06-21 GB GB1311117.4A patent/GB2515343B/en not_active Expired - Fee Related
-
2014
- 2014-05-02 EP EP14166905.1A patent/EP2819098B1/en active Active
- 2014-05-06 US US14/270,427 patent/US9646408B2/en active Active
- 2014-06-12 JP JP2014121707A patent/JP5833189B2/ja active Active
- 2014-06-23 CN CN201410283599.4A patent/CN104240288B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN104240288A (zh) | 2014-12-24 |
CN104240288B (zh) | 2017-07-07 |
GB201311117D0 (en) | 2013-08-07 |
JP2015015021A (ja) | 2015-01-22 |
GB2515343A (en) | 2014-12-24 |
US20140375635A1 (en) | 2014-12-25 |
US9646408B2 (en) | 2017-05-09 |
EP2819098B1 (en) | 2018-09-26 |
GB2515343B (en) | 2018-02-07 |
EP2819098A1 (en) | 2014-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5833189B2 (ja) | 被写体の三次元表現を生成する方法およびシステム | |
Zheng et al. | Hybridfusion: Real-time performance capture using a single depth sensor and sparse imus | |
US10679046B1 (en) | Machine learning systems and methods of estimating body shape from images | |
US10755464B2 (en) | Co-registration—simultaneous alignment and modeling of articulated 3D shapes | |
Balan et al. | Detailed human shape and pose from images | |
Gall et al. | Optimization and filtering for human motion capture: A multi-layer framework | |
CN108475439B (zh) | 三维模型生成系统、三维模型生成方法和记录介质 | |
CN104937635B (zh) | 基于模型的多假设目标追踪器 | |
CN106164978B (zh) | 使用参数化可变形网状物来构造个性化具体化的方法和系统 | |
JP6360200B2 (ja) | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 | |
Simo-Serra et al. | A joint model for 2d and 3d pose estimation from a single image | |
US11514646B2 (en) | System, device, and method of generating a reduced-size volumetric dataset | |
US10225473B2 (en) | Threshold determination in a RANSAC algorithm | |
US9189855B2 (en) | Three dimensional close interactions | |
CA2734143C (en) | Method and apparatus for estimating body shape | |
CN110310285B (zh) | 一种精确的基于三维人体重建的烧伤面积计算方法 | |
Wu et al. | Full body performance capture under uncontrolled and varying illumination: A shading-based approach | |
Atrevi et al. | A very simple framework for 3D human poses estimation using a single 2D image: Comparison of geometric moments descriptors | |
US10460158B2 (en) | Methods and systems for generating a three dimensional representation of a human body shape | |
Jordt et al. | Direct model-based tracking of 3d object deformations in depth and color video | |
Gilles et al. | Creating and animating subject‐specific anatomical models | |
Neophytou et al. | Shape and pose space deformation for subject specific animation | |
Gall et al. | Drift-free tracking of rigid and articulated objects | |
Wang et al. | Template-free 3d reconstruction of poorly-textured nonrigid surfaces | |
Cohen et al. | 3D body reconstruction for immersive interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151028 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5833189 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |