JP4216824B2 - 3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラム - Google Patents
3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラム Download PDFInfo
- Publication number
- JP4216824B2 JP4216824B2 JP2005062653A JP2005062653A JP4216824B2 JP 4216824 B2 JP4216824 B2 JP 4216824B2 JP 2005062653 A JP2005062653 A JP 2005062653A JP 2005062653 A JP2005062653 A JP 2005062653A JP 4216824 B2 JP4216824 B2 JP 4216824B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- point
- reference image
- standard model
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
図1は、本発明の第1の実施形態に係わる3次元モデル生成装置を示すブロック図である。なお、本実施形態では、3次元モデルを生成する対象物体は、人の顔であるとする。
第1の実施形態では、画像入力部102で入力される画像のうち、顔を正面から撮影した画像を基準画像としていた。
102、202・・・画像入力部
103、203・・・頂点対応づけ部
103a、203a・・・特徴点対応づけ部
103b、203d・・・座標補間部
104、204・・・対応点検出部
105、205・・・奥行き算出部
106、206・・・頂点座標更新部
203b・・・傾き算出部
203c・・・顔向き変更部
Claims (5)
- あらかじめ記憶された物体の標準モデル上の頂点の3次元座標(X,Y,Z)を、その物体を撮影した複数の画像に基づいて更新することによって、その物体の3次元モデルを生成する3次元モデル生成装置であって、
物体の標準モデル上の複数の頂点の3次元座標(X,Y,Z)を記憶する記憶手段と、
前記物体を撮影した複数の画像を入力する画像入力手段と、
前記入力された複数の画像より選択された基準画像から、前記標準モデル上の頂点に対応する点の座標(x,y)を検出する第1の検出手段と、
前記画像入力手段で入力されたほかの画像から、前記第1の検出手段で検出された前記基準画像上の点に対応する点の座標(x´,y´)を検出する第2の検出手段と、
前記基準画像上の点の座標(x,y)と前記ほかの画像の対応する点の座標(x´,y´)とを用いて、前記基準画像上の点の奥行きを求める奥行き算出手段と、
前記基準画像上の点の座標(x,y)と前記奥行き算出手段で得られた奥行きに基づいて前記標準モデルの3次元座標(X,Y,Z)を更新する第1の更新手段と
を備え、
前記第1の検出手段は、
前記標準モデル上の頂点のうち、あらかじめ定められた一部の頂点に対応する前記基準画像上の点の座標(x,y)と前記標準モデル上の対応する頂点の3次元座標(X,Y,Z)とを用いて、前記標準モデル上のほかの頂点に対応する前記基準画像上の点の座標(x,y)を補間して求める補間手段を有し、
前記第1の更新手段は、
更に、前記補間手段で求められた座標(x,y)と前記奥行き算出手段で得られた、前記補間手段で求められた基準画像上の点の奥行きに基づいて前記標準モデルの3次元座標(X,Y,Z)を更新することを特徴とする3次元モデル生成装置。 - 前記奥行き算出手段は、
前記基準画像上の点の座標(x,y)と前記ほかの画像の対応する点の座標(x´,y´)とを用いてステレオ法により前記基準画像上の点の奥行きを求めることを特徴とする請求項1に記載の3次元モデル生成装置。 - 前記第1の検出手段は、
前記標準モデル上の頂点のうち、あらかじめ定められた一部の頂点に対応する前記基準画像上の点の座標(x,y)と前記標準モデル上の対応する頂点の座標(X,Y,Z)とを用いて、前記基準画像に含まれる物体に対する前記標準モデルの傾きを求める手段と、
前記求められた傾きに基づいて、前記標準モデルの傾きが前記基準画像に含まれる物体の傾きと一致するように前記標準モデルの3次元座標を更新する第2の更新手段と、
を備え、
前記補間手段は、更に、前記あらかじめ定められた一部の頂点に対応する基準画像上の点の座標(x,y)と前記第2の更新手段により更新された標準モデル上の対応する頂点の3次元座標(X,Y,Z)とを用いて、前記第2の更新手段により更新された標準モデル上のほかの頂点に対応する前記基準画像上の点の座標(x,y)を補間することを特徴とする請求項1に記載の3次元モデル生成装置。 - あらかじめ記憶された物体の標準モデル上の頂点の3次元座標(X,Y,Z)を、その物体を撮影した複数の画像に基づいて変更することによって、その物体の3次元モデルを生成する3次元モデル生成方法であって、
物体を撮影した複数の画像を入力する画像入力ステップと、
前記入力された複数の画像より選択された基準画像から、前記標準モデル上の頂点に対応する点の座標(x,y)を検出する第1の検出ステップと、
前記画像入力ステップで入力されたほかの画像から、前記第1の検出ステップで検出された前記基準画像上の点に対応する点の座標(x´,y´)を検出する第2の検出ステップと、
前記基準画像上の点の座標(x,y)と前記ほかの画像の対応する点の座標(x´,y´)とを用いて、前記基準画像上の点の奥行きを求める奥行き算出ステップと、
前記基準画像上の点の座標(x,y)と前記奥行き算出ステップで得られた奥行きに基づいて前記標準モデルの3次元座標(X,Y,Z)を更新する更新ステップと
を有し、
前記第1の検出ステップは、前記標準モデル上の頂点のうち、あらかじめ定められた一部の頂点に対応する前記基準画像上の点の座標(x,y)と前記標準モデル上の対応する頂点の3次元座標(X,Y,Z)とを用いて、前記標準モデル上のほかの頂点に対応する前記基準画像上の点の座標(x,y)を補間して求める補間ステップを含み、
前記更新ステップでは、更に、前記補間ステップで求められた座標(x,y)と前記奥行き算出ステップで得られた、前記補間ステップで求められた基準画像上の点の奥行きに基づいて前記標準モデルの3次元座標(X,Y,Z)を更新することを特徴とする3次元モデル生成方法。 - コンピュータに、あらかじめ記憶された物体の標準モデル上の頂点の3次元座標(X,Y,Z)を、その物体を撮影した複数の画像に基づいて更新させることによって、その物体の3次元モデルを生成させる3次元モデル生成プログラムであって、
物体を撮影した複数の画像を入力する画像入力機能と、
前記入力された複数の画像より選択された基準画像から、前記標準モデル上の頂点に対応する点の座標(x,y)を検出する第1の検出機能と、
前記画像入力機能で入力されたほかの画像から、前記第1の検出機能で検出された前記基準画像上の点に対応する点の座標(x´,y´)を検出する第2の検出機能と、
前記基準画像上の点の座標(x,y)と前記ほかの画像の対応する点の座標(x´,y´)とを用いて、前記基準画像上の点の奥行きを求める奥行き算出機能と、
前記基準画像上の点の座標(x,y)と前記奥行き算出機能で得られた奥行きに基づいて前記標準モデルの3次元座標(X,Y,Z)を更新する更新機能と
を備え、
前記第1の検出機能は、前記標準モデル上の頂点のうち、あらかじめ定められた一部の頂点に対応する前記基準画像上の点の座標(x,y)と前記標準モデル上の対応する頂点の3次元座標(X,Y,Z)とを用いて、前記標準モデル上のほかの頂点に対応する前記基準画像上の点の座標(x,y)を補間して求める補間機能を含み、
前記更新機能は、更に、前記補間機能で求められた座標(x,y)と前記奥行き算出機能で得られた、前記補間機能で求められた基準画像上の点の奥行きに基づいて前記標準モデルの3次元座標(X,Y,Z)を更新することを特徴とする3次元モデル生成プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005062653A JP4216824B2 (ja) | 2005-03-07 | 2005-03-07 | 3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラム |
US11/369,126 US7706602B2 (en) | 2005-03-07 | 2006-03-06 | Generating a three-dimensional model from a standard model and multiple two-dimensional images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005062653A JP4216824B2 (ja) | 2005-03-07 | 2005-03-07 | 3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006244387A JP2006244387A (ja) | 2006-09-14 |
JP4216824B2 true JP4216824B2 (ja) | 2009-01-28 |
Family
ID=37010385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005062653A Expired - Fee Related JP4216824B2 (ja) | 2005-03-07 | 2005-03-07 | 3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7706602B2 (ja) |
JP (1) | JP4216824B2 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8896725B2 (en) * | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
US7856125B2 (en) * | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
JP4362489B2 (ja) * | 2006-03-29 | 2009-11-11 | 日本電気株式会社 | 3次元顔データ登録システム、3次元顔データ登録方法、及び登録処理プログラム |
CN100593789C (zh) * | 2007-07-11 | 2010-03-10 | 成都金山互动娱乐科技有限公司 | 一种利用3d技术提供网络游戏反外挂图像来源的方法 |
US8730231B2 (en) | 2007-11-20 | 2014-05-20 | Image Metrics, Inc. | Systems and methods for creating personalized media content having multiple content layers |
KR101581197B1 (ko) * | 2009-01-06 | 2015-12-30 | 삼성전자주식회사 | 로봇 및 그 제어방법 |
JP2011043986A (ja) * | 2009-08-21 | 2011-03-03 | Seiko Epson Corp | 光学式情報入力装置、光学式入力機能付き電子機器、および光学式情報入力方法 |
CN102117526A (zh) * | 2009-12-30 | 2011-07-06 | 鸿富锦精密工业(深圳)有限公司 | 监视系统、方法及具有该系统的监控装置 |
CN102436674A (zh) * | 2010-09-29 | 2012-05-02 | 国际商业机器公司 | 用于创建模型数据的方法及系统 |
US8803877B1 (en) | 2010-10-02 | 2014-08-12 | The Boeing Company | Systems and methods for creating a two-dimensional representation of a model |
EP2646769B1 (en) * | 2010-11-29 | 2020-01-01 | Hewlett-Packard Development Company, L.P. | System and method for creating a three-dimensional image file |
CN102542240A (zh) * | 2010-12-23 | 2012-07-04 | 三星电子株式会社 | 用于估计人体朝向的设备和方法 |
EP2538388B1 (en) | 2011-06-20 | 2015-04-01 | Alcatel Lucent | Method and arrangement for image model construction |
US9123144B2 (en) * | 2011-11-11 | 2015-09-01 | Microsoft Technology Licensing, Llc | Computing 3D shape parameters for face animation |
US20130293686A1 (en) * | 2012-05-03 | 2013-11-07 | Qualcomm Incorporated | 3d reconstruction of human subject using a mobile device |
CN102682211A (zh) * | 2012-05-09 | 2012-09-19 | 晨星软件研发(深圳)有限公司 | 一种立体试衣方法及装置 |
US9361411B2 (en) | 2013-03-15 | 2016-06-07 | Honeywell International, Inc. | System and method for selecting a respirator |
WO2015045713A1 (ja) * | 2013-09-24 | 2015-04-02 | シャープ株式会社 | 画像処理装置及び画像表示装置 |
US9786030B1 (en) * | 2014-06-16 | 2017-10-10 | Google Inc. | Providing focal length adjustments |
KR101997500B1 (ko) | 2014-11-25 | 2019-07-08 | 삼성전자주식회사 | 개인화된 3d 얼굴 모델 생성 방법 및 장치 |
JP6886773B2 (ja) * | 2015-03-31 | 2021-06-16 | ポーラ化成工業株式会社 | 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法 |
US9836118B2 (en) | 2015-06-16 | 2017-12-05 | Wilson Steele | Method and system for analyzing a movement of a person |
US10643383B2 (en) * | 2017-11-27 | 2020-05-05 | Fotonation Limited | Systems and methods for 3D facial modeling |
US11282543B2 (en) * | 2018-03-09 | 2022-03-22 | Apple Inc. | Real-time face and object manipulation |
US10628920B2 (en) | 2018-03-12 | 2020-04-21 | Ford Global Technologies, Llc | Generating a super-resolution depth-map |
EP4094181A4 (en) | 2019-12-29 | 2024-04-03 | Magik Eye Inc. | ASSIGNMENT OF THREE-DIMENSIONAL COORDINATES TO TWO-DIMENSIONAL FEATURE POINTS |
CN112017230A (zh) * | 2020-09-07 | 2020-12-01 | 浙江光珀智能科技有限公司 | 一种三维人脸模型建模方法及系统 |
CN115578502B (zh) * | 2022-11-18 | 2023-04-07 | 杭州枕石智能科技有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2787612B2 (ja) | 1990-07-19 | 1998-08-20 | 株式会社エイ・ティ・アール通信システム研究所 | 顔画像モデル生成装置 |
JPH04289976A (ja) | 1991-03-19 | 1992-10-14 | Hitachi Ltd | 三次元形状モデル生成方法およびシステム |
JP3490482B2 (ja) * | 1993-09-20 | 2004-01-26 | 株式会社東芝 | エッジ及び輪郭抽出装置 |
WO1999015945A2 (en) * | 1997-09-23 | 1999-04-01 | Enroute, Inc. | Generating three-dimensional models of objects defined by two-dimensional image data |
US6047078A (en) | 1997-10-03 | 2000-04-04 | Digital Equipment Corporation | Method for extracting a three-dimensional model using appearance-based constrained structure from motion |
US6002782A (en) * | 1997-11-12 | 1999-12-14 | Unisys Corporation | System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model |
US6556704B1 (en) * | 1999-08-25 | 2003-04-29 | Eastman Kodak Company | Method for forming a depth image from digital image data |
JP2002015310A (ja) | 2000-06-30 | 2002-01-18 | Minolta Co Ltd | 点群に面をフィッティングする方法およびモデリング装置 |
JP2002063567A (ja) | 2000-08-23 | 2002-02-28 | Nec Corp | 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法 |
US6975750B2 (en) * | 2000-12-01 | 2005-12-13 | Microsoft Corp. | System and method for face recognition using synthesized training images |
JP3822483B2 (ja) | 2001-10-31 | 2006-09-20 | 株式会社東芝 | 物体向き計算装置及びその方法 |
US7218774B2 (en) * | 2003-08-08 | 2007-05-15 | Microsoft Corp. | System and method for modeling three dimensional objects from a single image |
EP1677250B9 (en) * | 2003-10-21 | 2012-10-24 | NEC Corporation | Image collation system and image collation method |
US7415152B2 (en) * | 2005-04-29 | 2008-08-19 | Microsoft Corporation | Method and system for constructing a 3D representation of a face from a 2D representation |
-
2005
- 2005-03-07 JP JP2005062653A patent/JP4216824B2/ja not_active Expired - Fee Related
-
2006
- 2006-03-06 US US11/369,126 patent/US7706602B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006244387A (ja) | 2006-09-14 |
US20060210148A1 (en) | 2006-09-21 |
US7706602B2 (en) | 2010-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4216824B2 (ja) | 3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラム | |
JP4679033B2 (ja) | 深度マップのメジアン値融合のためのシステムおよび方法 | |
JP6775969B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6394005B2 (ja) | 投影画像補正装置、投影する原画像を補正する方法およびプログラム | |
JP4473754B2 (ja) | 仮想試着装置 | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
JP4065488B2 (ja) | 3次元画像生成装置、3次元画像生成方法及び記憶媒体 | |
JP7116262B2 (ja) | 画像深度推定方法および装置、電子機器、ならびに記憶媒体 | |
JP6452360B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2006221603A (ja) | 3次元情報復元装置、3次元情報復元方法および3次元情報復元プログラム | |
JP6071257B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
US20120069018A1 (en) | Ar process apparatus, ar process method and storage medium | |
US10154241B2 (en) | Depth map based perspective correction in digital photos | |
CN110428461B (zh) | 结合深度学习的单目slam方法及装置 | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
JP2018173882A (ja) | 情報処理装置、方法、及びプログラム | |
JP2005063041A (ja) | 3次元モデリング装置、方法、及びプログラム | |
JP4781981B2 (ja) | 動画像生成方法及びシステム | |
JP2001235819A (ja) | カメラのキャリブレーション方法および装置ならびに対応点探索方法 | |
JP4623320B2 (ja) | 三次元形状推定システム及び画像生成システム | |
JP2003216933A (ja) | データ処理装置、記録媒体およびプログラム | |
KR100719400B1 (ko) | 영상 시점 합성 방법 | |
JP2002032783A (ja) | 3次元モデルの生成方法および装置 | |
JP2001148020A (ja) | 対応点探索における信頼性の判定方法および装置 | |
JP2016024490A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081106 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |