JP6302132B2 - 画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理システム、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6302132B2 JP6302132B2 JP2017507157A JP2017507157A JP6302132B2 JP 6302132 B2 JP6302132 B2 JP 6302132B2 JP 2017507157 A JP2017507157 A JP 2017507157A JP 2017507157 A JP2017507157 A JP 2017507157A JP 6302132 B2 JP6302132 B2 JP 6302132B2
- Authority
- JP
- Japan
- Prior art keywords
- clothing
- image
- mesh data
- dimensional model
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/16—Cloth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Description
まず、図1及び図2を参照して、第1の実施形態に係る画像処理装置を含む画像処理システムの構成の一例について説明する。図1及び図2に示すように、画像処理システムは、第1の撮像部100、第2の撮像部200及び画像処理装置300等を備える。
次に、第2の実施形態について説明する。図17は、本実施形態に係る画像処理装置の主として機能構成を示すブロック図である。なお、前述した図3と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図3とは異なる部分について主に述べる。
次に、第3の実施形態について説明する。図23は、本実施形態に係る画像処理装置の主として機能構成を示すブロック図である。なお、前述した図3と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図3と異なる部分について主に述べる。
次に、第4の実施形態について説明する。図25は、本実施形態に係る画像処理装置の主として機能構成を示すブロック図である。なお、前述した図3及び図23と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図3及び図23と異なる部分について主に述べる。
Claims (11)
- 被写体に関する第1の3次元モデルを取得する第1の取得手段と、
前記第1の3次元モデル上に複数の第1の制御点を設定する第1の設定手段と、
衣服を着用した前記被写体を含む衣服撮像画像から抽出された前記衣服の領域をメッシュ化した、複数の頂点を有するメッシュデータを取得する第2の取得手段と、
前記第1の3次元モデルを変形することによって第2の3次元モデルを取得する第3の取得手段と、
前記第1の3次元モデル上に設定された前記複数の第1の制御点の各々から前記第2の3次元モデル上における当該第1の制御点に対応する第2の制御点への移動量に基づいて前記メッシュデータが有する複数の頂点の位置を変更することによって、前記メッシュデータを変形する変形手段と、
前記衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成する生成手段と
を具備する画像処理装置。 - 影響度算出手段を更に具備し、
前記影響度算出手段は、前記第1の3次元モデルが変形した場合における当該第1の3次元モデル上に設定された複数の第1の制御点の各々の移動が、前記取得されたメッシュデータが有する複数の頂点の各々に対して与える影響の度合いを表す影響度を、当該第1の制御点及び頂点の組み合わせ毎に算出し、
前記変形手段は、前記算出された影響度を用いて前記メッシュデータを変形する
請求項1記載の画像処理装置。 - 前記影響度算出手段は、前記第1の制御点及び頂点の組み合わせ毎に算出される影響度として、前記被写体が前記衣服を着用した状態を表すように前記第1の3次元モデル上に前記生成されたメッシュデータを重ね合わせた場合における当該第1の3次元モデルの領域と当該メッシュデータによって表される衣服の領域との和領域内での当該第1の制御点と当該頂点との間の距離を算出する請求項2記載の画像処理装置。
- 前記第1の3次元モデル上に設定される複数の第1の制御点は、当該第1の3次元モデルにおける身体的特徴点を含む請求項3記載の画像処理装置。
- 前記第1の3次元モデル上に設定される複数の第1の制御点は、当該第1の3次元モデルを投影した場合における当該第1の3次元モデルの外周に位置する請求項3記載の画像処理装置。
- 前記衣服の領域の境界を示す境界情報を取得する第4の取得手段を更に具備し、
前記影響度算出手段は、前記境界情報によって示される境界に基づいて前記第1の制御点と前記頂点との間の距離を算出する
請求項3記載の画像処理装置。 - 奥行き情報算出手段を更に具備し、
前記第1の取得手段は、撮像部によって撮像された被写体に関する第1の3次元モデルを取得し、
前記第1の3次元モデル上に設定される複数の第1の制御点の各々は、当該第1の制御点の前記撮像部に対する奥行き方向の位置を示す奥行き情報を含み、
前記奥行き情報算出手段は、前記第1の3次元モデル上に設定された複数の第1の制御点の各々に含まれる奥行き情報に基づいて、前記取得されたメッシュデータが有する複数の頂点の各々に対応する奥行き情報を算出し、
前記生成手段は、前記衣服の画像を生成する際に、前記変形されたメッシュデータが有する複数の頂点の各々に対応する奥行き情報に基づいて隠面消去処理を実行する
請求項1記載の画像処理装置。 - 第1の状態の被写体に関する第1の3次元モデルを取得する第1の取得手段と、
前記第1の3次元モデル上に複数の第1の制御点を設定する第1の設定手段と、
衣服を着用した前記第1の状態の被写体を含む第1の衣服撮像画像から抽出された衣服の領域をメッシュ化した、複数の頂点を有するメッシュデータを取得する第2の取得手段と、
前記第1の3次元モデルを変形することによって第2の状態の被写体に関する第2の3次元モデルを取得する第3の取得手段と、
前記第1の3次元モデル上に設定された前記複数の第1の制御点の各々から前記第2の3次元モデル上における当該複数の第1の制御点に対応する第2の制御点への移動量に基づいて前記メッシュデータが有する複数の頂点の位置を変更することによって、前記メッシュデータを変形する変形手段と、
前記衣服を着用した前記第2の状態の被写体を含む第2の衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成する生成手段と
を具備する画像処理装置。 - 前記生成手段は、
前記第1の衣服撮像画像及び前記変形されたメッシュデータを用いて第1の画像を生成する第1の生成手段と、
前記第2の衣服撮像画像及び前記変形されたメッシュデータを用いて第2の画像を生成する第2の生成手段と、
前記第1の画像及び前記第2の画像に基づいて前記衣服の画像を生成する第3の生成手段と
を含む
請求項8記載の画像処理装置。 - 画像処理装置が実行する画像処理方法であって、
被写体に関する第1の3次元モデルを取得するステップと、
前記第1の3次元モデル上に複数の第1の制御点を設定するステップと、
衣服を着用した前記被写体を含む衣服撮像画像から抽出された前記衣服の領域をメッシュ化した、複数の頂点を有するメッシュデータを取得するステップと、
前記第1の3次元モデルを変形することによって第2の3次元モデルを取得するステップと、
前記第1の3次元モデル上に設定された前記複数の第1の制御点の各々から前記第2の3次元モデル上における当該第1の制御点に対応する第2の制御点への移動量に基づいて前記メッシュデータが有する複数の頂点の位置を変更することによって、前記メッシュデータを変形するステップと、
前記衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成するステップと
を具備する画像処理方法。 - 画像処理装置のコンピュータによって実行されるプログラムであって、
前記コンピュータに、
被写体に関する第1の3次元モデルを取得するステップと、
前記第1の3次元モデル上に複数の第1の制御点を設定するステップと、
衣服を着用した前記被写体を含む衣服撮像画像から抽出された前記衣服の領域をメッシュ化した、複数の頂点を有するメッシュデータを取得するステップと、
前記第1の3次元モデルを変形することによって第2の3次元モデルを取得するステップと、
前記第1の3次元モデル上に設定された前記複数の第1の制御点の各々から前記第2の3次元モデル上における当該第1の制御点に対応する第2の制御点への移動量に基づいて前記メッシュデータが有する複数の頂点の位置を変更することによって、前記メッシュデータを変形するステップと、
前記衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成するステップと
を実行させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/058542 WO2016151691A1 (ja) | 2015-03-20 | 2015-03-20 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018036942A Division JP6545847B2 (ja) | 2018-03-01 | 2018-03-01 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016151691A1 JPWO2016151691A1 (ja) | 2017-06-15 |
JP6302132B2 true JP6302132B2 (ja) | 2018-03-28 |
Family
ID=56977563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017507157A Active JP6302132B2 (ja) | 2015-03-20 | 2015-03-20 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10366533B2 (ja) |
JP (1) | JP6302132B2 (ja) |
WO (1) | WO2016151691A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10502532B2 (en) * | 2016-06-07 | 2019-12-10 | International Business Machines Corporation | System and method for dynamic camouflaging |
US10140764B2 (en) * | 2016-11-10 | 2018-11-27 | Adobe Systems Incorporated | Generating efficient, stylized mesh deformations using a plurality of input meshes |
KR20180084506A (ko) * | 2017-01-17 | 2018-07-25 | 삼성전자주식회사 | 영상 처리를 위한 디스플레이 장치 및 방법 |
US10586379B2 (en) * | 2017-03-08 | 2020-03-10 | Ebay Inc. | Integration of 3D models |
US10777018B2 (en) * | 2017-05-17 | 2020-09-15 | Bespoke, Inc. | Systems and methods for determining the scale of human anatomy from images |
US10242502B2 (en) * | 2017-07-27 | 2019-03-26 | Facebook, Inc. | Providing an augmented reality overlay for display over a view of a user |
CN107633440A (zh) * | 2017-08-11 | 2018-01-26 | 捷开通讯(深圳)有限公司 | 虚拟试衣的方法、用于虚拟试衣的移动终端及存储设备 |
CN109427090A (zh) * | 2017-08-28 | 2019-03-05 | 青岛海尔洗衣机有限公司 | 穿戴物品3d模型构建系统和方法 |
CN109426780A (zh) * | 2017-08-28 | 2019-03-05 | 青岛海尔洗衣机有限公司 | 穿戴物品信息采集系统和方法 |
CN109035413B (zh) * | 2017-09-01 | 2021-12-14 | 深圳市云之梦科技有限公司 | 一种图像变形的虚拟试穿方法及系统 |
KR102002225B1 (ko) * | 2017-11-23 | 2019-07-19 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 번호판 인식 방법 및 그 시스템 |
US11727656B2 (en) | 2018-06-12 | 2023-08-15 | Ebay Inc. | Reconstruction of 3D model with immersive experience |
CN110070600B (zh) * | 2018-11-02 | 2023-09-15 | 北京微播视界科技有限公司 | 三维模型的生成方法、装置、硬件装置 |
EP4037515A4 (en) * | 2019-10-03 | 2023-08-23 | Cornell University | OPTIMIZATION OF BRA SIZING ACCORDING TO THE 3D SHAPE OF THE BREASTS |
US10769807B1 (en) * | 2019-11-25 | 2020-09-08 | Pet3D Corp | System, method, and apparatus for clothing a pet |
KR102535404B1 (ko) * | 2021-04-20 | 2023-05-26 | 한국전자통신연구원 | 혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0944556A (ja) | 1995-08-03 | 1997-02-14 | Sanyo Electric Co Ltd | 試着シミュレーション方法 |
US5850222A (en) * | 1995-09-13 | 1998-12-15 | Pixel Dust, Inc. | Method and system for displaying a graphic image of a person modeling a garment |
JP2003085588A (ja) * | 2001-06-28 | 2003-03-20 | Shiyuusaku Furushima | 三次元形状モデリング方法 |
JP2003221718A (ja) | 2002-01-25 | 2003-08-08 | Nec Soft Ltd | 試着システム、試着方法、および、試着プログラム |
JP2005122558A (ja) | 2003-10-17 | 2005-05-12 | Digital Fashion Ltd | 画像表示装置、画像表示方法、画像表示プログラム及び画像表示プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4473754B2 (ja) * | 2005-03-11 | 2010-06-02 | 株式会社東芝 | 仮想試着装置 |
JP2007004718A (ja) | 2005-06-27 | 2007-01-11 | Matsushita Electric Ind Co Ltd | 画像生成装置及び画像生成方法 |
US20130215116A1 (en) * | 2008-03-21 | 2013-08-22 | Dressbot, Inc. | System and Method for Collaborative Shopping, Business and Entertainment |
JP5429992B2 (ja) | 2010-02-26 | 2014-02-26 | 日本ユニシス株式会社 | 三次元形状モデル生成装置、三次元形状モデル生成方法、三次元形状モデル生成プログラム、及び三次元形状モデル生成システム |
CA2863097C (en) * | 2012-02-16 | 2023-09-05 | Brown University | System and method for simulating realistic clothing |
JP2013190974A (ja) * | 2012-03-13 | 2013-09-26 | Satoru Ichimura | 情報処理装置および情報処理方法、ならびに、プログラム |
JP2014089665A (ja) | 2012-10-31 | 2014-05-15 | Toshiba Corp | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN109598798B (zh) * | 2012-12-14 | 2023-11-28 | 韩国电子通信研究院 | 虚拟物拟合方法及虚拟物拟合服务系统 |
CN103473806B (zh) * | 2013-09-23 | 2016-03-16 | 北京航空航天大学 | 一种基于单幅图像的服装三维模型构建方法 |
KR101778833B1 (ko) * | 2014-04-03 | 2017-09-26 | 한국전자통신연구원 | 3d 의류 모델 복원 방법 및 장치 |
CN104008571B (zh) * | 2014-06-12 | 2017-01-18 | 深圳奥比中光科技有限公司 | 基于深度相机的人体模型获取方法及网络虚拟试衣系统 |
-
2015
- 2015-03-20 WO PCT/JP2015/058542 patent/WO2016151691A1/ja active Application Filing
- 2015-03-20 JP JP2017507157A patent/JP6302132B2/ja active Active
-
2017
- 2017-01-31 US US15/420,545 patent/US10366533B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20170140574A1 (en) | 2017-05-18 |
US10366533B2 (en) | 2019-07-30 |
JPWO2016151691A1 (ja) | 2017-06-15 |
WO2016151691A1 (ja) | 2016-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6302132B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
KR101707707B1 (ko) | 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템 | |
JP4473754B2 (ja) | 仮想試着装置 | |
US9348950B2 (en) | Perceptually guided capture and stylization of 3D human figures | |
JP4401727B2 (ja) | 画像表示装置及び方法 | |
KR101640039B1 (ko) | 영상 처리 장치 및 방법 | |
KR20180069786A (ko) | 3d 신체 모델에 대한 3d 의복 모델의 이미지 파일을 생성하기 위한 방법 및 시스템 | |
JP6373026B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
US9224245B2 (en) | Mesh animation | |
CN109816766A (zh) | 图像处理装置、图像处理方法及存储介质 | |
JP4878330B2 (ja) | 対象物の関節構造の取得方法及び装置 | |
JP2014106543A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN103871106A (zh) | 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统 | |
TR201815349T4 (tr) | Geliştirilmiş sanal deneme simülasyonu hizmeti. | |
US10395404B2 (en) | Image processing device for composite images, image processing system and storage medium | |
JP2020505712A (ja) | 人の3次元仮想表現を作成する方法 | |
JP2006004158A (ja) | 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体 | |
JP2016071645A (ja) | オブジェクト3次元モデル復元方法、装置およびプログラム | |
JP2009211513A (ja) | 画像処理装置及びその方法 | |
JP7363962B2 (ja) | 処理装置、検出装置、システム及びプログラム | |
JP6545847B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2019150431A1 (ja) | 情報処理装置 | |
US11189087B2 (en) | Method for generating a 3D digital model, used in hairpiece manufacturing | |
JP2019057070A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2018173205A1 (ja) | 情報処理システム、その制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170118 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171114 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180301 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6302132 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |