KR101894299B1 - Image based virtual dressing system and method - Google Patents
Image based virtual dressing system and method Download PDFInfo
- Publication number
- KR101894299B1 KR101894299B1 KR1020120086175A KR20120086175A KR101894299B1 KR 101894299 B1 KR101894299 B1 KR 101894299B1 KR 1020120086175 A KR1020120086175 A KR 1020120086175A KR 20120086175 A KR20120086175 A KR 20120086175A KR 101894299 B1 KR101894299 B1 KR 101894299B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- dresser
- body part
- model
- matching
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes
Abstract
드레서(dresser) 이미지를 여러 개의 신체 파트로 분해하는 이미지 분해부; 상기 분해된 드레서의 각 신체 파트에 대해, 의류 데이터베이스에 저장된 드레싱(dressing) 의류를 입은 적어도 하나의 모델 이미지 중에서 상기 각 신체 파트와 매칭되는 모델의 신체 파트를 검색하는 매칭부; 및 상기 검색된 모델 이미지의 신체 파트를 상기 드레서 이미지와 합성하는 합성부를 포함하는 이미지 기반의 가상 드레싱 시스템 및 방법을 제공한다. 일실시예에 따른 가상 드레싱 시스템 및 방법은 드레서의 다양한 자세를 지원할 수 있으며, 사진과 동일한 효과를 실현할 수 있고 다양한 드레싱 효과를 획득할 수 있다.An image decomposer for decomposing a dresser image into a plurality of body parts; A matching unit for each body part of the disassembled dresser to search for a body part of a model matching at least one of the at least one body part among at least one model image wearing dressing garments stored in an apparel database; And a composing unit for composing the body part of the searched model image with the dresser image. The virtual dressing system and method according to one embodiment can support various postures of a dresser, can realize the same effect as a photograph, and can obtain various dressing effects.
Description
아래의 설명은 가상 드레싱(dressing) 시스템에 관한 것으로, 특히 드레서(dresser)의 이미지에 기초하여 드레싱 효과를 실현하는 가상 드레싱 시스템 및 방법에 관한 것이다.The following description relates to a virtual dressing system, and more particularly to a virtual dressing system and method for realizing a dressing effect based on an image of a dresser.
현재 컴퓨터 그래픽 등 정보처리 기술의 발달로 인해 최근에 많은 가상 드레싱을 실현할 수 있는 방안들이 개발되고 있다. 가상 드레싱 시스템을 통해, 사용자는 실제로 옷을 입을 필요가 없고, 자신의 영상만을 가상 드레싱 시스템으로 제공하여 가상 드레싱의 효과를 볼 수 있다. 이러한 가상 드레싱 시스템은 많은 영역에 응용될 수 있다. 예를 들어, 디자이너는 가상 드레싱 시스템을 이용하여 패션 다자인을 보조할 수 있다. 특히, 네트워크 기술의 발전으로 인해 이러한 가상 드레싱 시스템은 인터넷 쇼핑, 가상 공동체(virtual community)등의 온라인 커뮤니케이션에 적용될 수 있다.Recently, the development of information processing technology such as computer graphics has been recently developed to realize many virtual dressings. Through the virtual dressing system, the user does not need to actually wear clothes, and only the image of his own is provided to the virtual dressing system, so that the effect of the virtual dressing can be seen. Such a virtual dressing system can be applied to many areas. For example, designers can use virtual dressing systems to assist fashion designers. Especially, due to the development of network technology, such a virtual dressing system can be applied to online communication such as internet shopping, virtual community, and the like.
종래의 가상 드레싱 시스템은 모형 기반(model based)의 가상 드레싱 시스템과 이미지 기반(image based)의 가상 드레싱 시스템의 두 종류로 나눌 수 있다.The conventional virtual dressing system can be divided into a model based virtual dressing system and an image based virtual dressing system.
종래의 모형 기반의 가상 드레싱 시스템은 인체의 3D 모형 및 의류의 3D 모형에 따라 옷을 입은 후, 두 모형의 상대적인 위치 관계 및 변형을 산출할 수 있고, 의류의 재질 정보에 기초하여 렌더(Render)하면 가상 드레싱 효과를 실현할 수 있다.The conventional model-based virtual dressing system can calculate the relative positional relationship and deformation of the two models after wearing clothes according to the 3D model of the human body and the 3D model of the clothes, The virtual dressing effect can be realized.
종래의 이미지 기반의 가상 드레싱 시스템은 인체 및 의류의 2D 이미지를 사용한다. 구체적으로, 이미지 기반의 가상 드레싱 시스템은 인체 2D 이미지의 어느 특징(예를 들면, 관절 포인트 위치, 인체 윤곽 등)에 기초하여 드레서의 신체 데이터(예를 들면, 신장, 체중, 가슴, 허리, 엉덩이 등)와 결합하는 드레서와의 상호작용(interaction)을 통해 의류를 인체에 피트(fit)하는 효과를 실현할 수 있다.Conventional image-based virtual dressing systems use 2D images of the human body and clothing. Specifically, the image-based virtual dressing system is a virtual dressing system in which the dresser's body data (e.g., height, weight, chest, waist, buttocks, etc.) based on any feature of the human body 2D image (e.g., joint point position, body contour, The effect of fitting the clothes to the human body can be realized through the interaction with the dresser which is combined with the dresser.
일실시예에 따르면, 이미지에 기초하여 높은 드레싱 효과를 실현하는 가상 드레싱 시스템 및 방법을 제공한다. 상기 가상 드레싱 시스템 및 방법을 통해 드레서 또는 입력된 이미지에 대해 많은 제한 사항이 요구되지 않고 자동적으로 생생한 가상 드레싱 효과를 생성할 수 있다.According to one embodiment, a virtual dressing system and method for realizing a high dressing effect based on an image is provided. The virtual dressing system and method can automatically generate a vivid virtual dressing effect without requiring many restrictions on the dresser or the input image.
일실시예에 따르면, 이미지 기반의 가상 드레싱 시스템을 제공한다. 상기 가상 드레싱 시스템은 드레서(dresser) 이미지를 여러 개의 신체 파트로 분해하는 이미지 분해부; 분해된 드레서의 각 신체 파트에 대해, 의류 데이터베이스에 저장된 드레싱(dressing) 의류를 입은 적어도 하나의 모델 이미지 중에서 상기 각 신체 파트와 매칭되는 모델의 신체 파트를 검색하는 매칭부; 및 검색된 모델 이미지의 신체 파트를 상기 드레서 이미지와 합성하는 합성부를 포함한다.According to one embodiment, an image-based virtual dressing system is provided. The virtual dressing system includes an image decomposing unit for decomposing a dresser image into a plurality of body parts; A matching unit for each body part of the disassembled dresser to search for at least one body part of the model that matches each of the body parts among at least one model image wearing dressing clothing stored in the clothing database; And a synthesis unit for synthesizing the body part of the searched model image with the dresser image.
이미지 분해부는 드레서 이미지의 상기 드레싱 의류에 대응되는 영역에서, 드레서의 각 신체 파트를 결정하기 위한 관절 포인트에 기초하여 상기 각 신체 파트를 분해할 수 있다.The image disassembly unit may disassemble each of the body parts based on joint points for determining each body part of the dresser, in an area corresponding to the dressing garment of the dresser image.
이미지 분해부는 상기 각 신체 파트의 관절 포인트에 대해 3D 또는 2D 좌표를 측정하는 피쳐(feature) 추출 모듈; 및 상기 각 신체 파트를 획득하기 위해, 측정된 관절 포인트에 대해 3D 또는 2D 좌표에 기초하여 분할 처리하는 신체 파트 분할 모듈을 포함할 수 있다.The image decomposition unit may include a feature extraction module for measuring 3D or 2D coordinates of joint points of each of the body parts; And a body part segmentation module for segmenting the measured joint points based on 3D or 2D coordinates to obtain each of the body parts.
분할 모듈은 합성 처리를 위해, 각 신체 파트 간에 일정한 오버랩핑 부분을 남겨둔다.The partitioning module leaves a constant overlapping part between each body part for synthesis processing.
상기 매칭부는, 상기 드레싱 의류를 입은 모델 이미지가 복수 개인 경우, 드레서의 체형과 유사한 체형을 가진 모델의 이미지를 우선적으로 검색할 수 있다.The matching unit may preferentially search an image of a model having a body shape similar to the body shape of the dresser when there are a plurality of model images wearing the dressing garment.
매칭부는 드레서의 각 신체 파트와 매칭되는 하나 또는 하나 이상의 후보 모델의 신체 파트를 검색하는 신체 파트 매칭 모듈; 및 신체 파트 매칭 모듈을 통해 검색된 전체 후보 모델의 신체 파트에 기초하여, 드레서의 각 신체 파트에 전체 매칭되는 모델의 신체 파트의 조합을 결정하는 전체 파트 매칭 모듈을 포함할 수 있다.The matching unit includes a body part matching module for searching for a body part of one or more candidate models matching each body part of the dresser; And an overall part matching module that determines a combination of body parts of the model that is fully matched to each body part of the dresser, based on the body parts of the entire candidate model retrieved through the body part matching module.
신체 파트 매칭 모듈은 드레서의 각 신체 파트의 종점(endpoint)에 있는 관절 포인트 연결선의 공간 방향을 모델의 해당 신체 파트의 종점에 있는 관절 포인트 연결선의 공간 방향과 매칭하여, 매칭 차이가 적은 하나 또는 하나 이상의 모델의 해당 신체 파트를 후보 모델의 해당 신체 파트로 선택할 수 있다.The body part matching module matches the spatial direction of the joint point connection line at the end point of each body part of the dresser with the spatial direction of the joint point connection line at the end point of the corresponding body part of the model, The body part of the above model can be selected as the corresponding body part of the candidate model.
전체 파트 매칭 모듈은 드레서의 각 신체 파트로 구성된 전체 파트와 후보 모델의 해당 신체 파트의 임의의 조합 간의 매칭 차이의 합이 가장 적은 것을 결정하고, 가장 매칭 차이가 적은 후보 모델의 해당 신체 파트를 최종 모델의 해당 신체 파트로 결정할 수 있다.The overall part matching module determines that the sum of the matching differences between the entire part composed of each body part of the dresser and any combination of the corresponding body parts of the candidate model is the smallest and the corresponding body part of the candidate model with the smallest matching difference is the final You can determine that body part of the model.
신체 파트 매칭 모듈은, 후보 모델의 해당 신체 파트를 선택할 때, 후보 모델의 해당 신체 파트는 다른 신체 파트에 의해 차폐되지 않도록 설정될 수 있다. When the body part matching module selects the corresponding body part of the candidate model, the corresponding body part of the candidate model can be set not to be shielded by other body parts.
이미지 분해부는 드레서의 각 신체 파트 간의 차폐 관계를 획득하고, 전체 파트 매칭 모듈은 인접한 비 차폐 관계의 드레서의 신체 파트에 따라 새로운 매칭 대상을 조립하여 상기 새로운 매칭 대상에 대해 후보 모델 이미지에서 매칭되는 모델의 해당 신체 파트의 조합을 검색할 수 있다.The image decomposing unit obtains a shielding relationship between each body part of the dresser, and the whole part matching module assembles a new matching object according to a body part of a dresser in an adjacent non-shielding relationship, The user can search for a combination of the corresponding body parts.
전체 파트 매칭 모듈은 조립된 상기 새로운 매칭 대상의 매칭 차이를 결정하는 경우, 각 신체 파트의 매칭 차이를 합산하고, 합산된 값에서 상기 새로운 매칭 대상의 신체 파트의 개수에 비례하는 수치를 차감할 수 있다.The whole part matching module may sum up the matching differences of the respective body parts and subtract a value proportional to the number of the body parts of the new matching object from the summed value when determining the matching difference of the new matching object have.
매칭부는 드레서 이미지가 시간적으로 연속되는 운동 이미지인 경우, 전후 이미지 프레임 간의 연속성에 기초하여 매칭된 모델의 해당 신체 파트를 검색할 수 있다.If the dresser image is a temporally continuous motion image, the matching unit can search for the corresponding body part of the matched model based on the continuity between the before and after image frames.
합성부는 드레서 이미지의 이미지 특징에 따라 매칭부에 의해 검색된 모델의 해당 신체 파트를 변형시키는 변형 모듈; 및 변형 모듈이 출력한 변형 결과를 드레서 이미지의 상기 드레싱 의류에 대응되는 영역이 제외된 이미지 영역과 결합 또는 융합하여 드레싱 렌더링(rendering)을 생성하는 결합 모듈을 포함할 수 있다.The combining unit includes a transforming module for transforming the corresponding body part of the model retrieved by the matching unit according to an image feature of the dresser image; And a combining module that combines or fuses the deformation result output by the deformation module with an image area excluding the area corresponding to the dressing garment of the dresser image to generate dressing rendering.
상기 드레서 이미지의 이미지 특징은 상기 관절 포인트 또는 드레서의 신체 윤곽 정보 중 적어도 하나를 포함할 수 있다.The image feature of the dresser image may include at least one of the joint point or the body contour information of the dresser.
변형 모듈은 드레서와 모델의 관절 포인트 및 신체 윤곽 정보의 대응 관계에 기초하여 모델의 해당 신체 파트를 드레서 이미지의 공간으로 변형시킬 수 있다.The deformation module can transform the corresponding body part of the model into the space of the dresser image based on the correspondence relationship between the dresser and the model's joint point and the body contour information.
결합 모듈은 상기 분할 모듈에 의해 상기 각 신체 파트 간에 남겨둔 일정한 오버랩핑 부분을 이용하여 결합 또는 융합 처리할 수 있다.The coupling module may be combined or fused using the same overlapping portions left between the respective body parts by the division module.
결합 모듈은 피부의 일치 규제 및 자세 규제에 기초하여 결합 처리를 진행할 수 있다.The binding module can proceed with the binding treatment based on the compliance of the skin and the regulation of the posture.
상기 가상 드레싱 시스템은 드레서 이미지가 시간적으로 연속되는 운동 이미지인 경우, 인접한 이미지 프레임의 드레싱 렌더링에 대해 보간(interpolation)을 수행하여 현재 이미지 프레임의 드레싱 렌더링을 획득하는 보간부를 더 포함할 수 있다. The virtual dressing system may further include an interpolating unit for interpolating a dressing rendering of an adjacent image frame to acquire a dressing rendering of a current image frame when the dresser image is a temporally continuous moving image.
합성부는 드레서 이미지가 다른 시각에 기초한 복수 개의 이미지인 경우, 상기 복수 개의 이미지에 대응하는 렌더링에 기초하여 3D 드레싱 렌더링을 생성할 수 있다.The compositing unit may generate a 3D dressing rendering based on rendering corresponding to the plurality of images if the dresser image is a plurality of images based on different views.
일실시예에 따르면, 이미지 기반의 가상 드레싱 방법을 제공한다. 상기 가상 드레싱 방법은 드레서 이미지를 여러 개의 신체 파트로 분해하는 단계; 분해된 드레서의 각 신체 파트에 대해, 의류 데이터베이스에 저장된 드레싱 의류를 입은 적어도 하나의 모델 이미지 중에서 상기 각 신체 파트와 매칭되는 모델의 신체 파트를 검색하는 단계; 및 검색된 모델의 신체 파트를 상기 드레서 이미지와 합성하는 단계를 포함한다.According to one embodiment, an image-based virtual dressing method is provided. The virtual dressing method includes: decomposing a dresser image into a plurality of body parts; Retrieving, for each body part of the disassembled dresser, a body part of a model that matches each of the body parts from at least one model image that has been dressed in a dressing garment stored in the clothing database; And synthesizing the body part of the retrieved model with the dresser image.
일실시예에 따른 가상 드레싱 시스템 및 방법은 입력된 드레서 이미지를 한정하지 않으며, 드레서가 임의의 드레싱 스타일 및 자세를 사용할 수 있고 입력된 이미지는 쉽게 수집할 수 있는 일반적인 2D 이미지이다. 일실시예에 따른 가상 드레싱 시스템 및 방법은 자동적으로 렌더링을 합성할 수 있기 때문에 사용자의 상호작용(interaction)이 필요 없고, 드레서의 실제적인 신체 데이터도 필요 없다. 드레싱 렌더링은 사진과 동일한 효과를 실현할 수 있다. The virtual dressing system and method according to one embodiment does not limit the input dresser image and is a generic 2D image that the dresser can use any dressing style and posture and the input image can be easily collected. The virtual dressing system and method according to one embodiment does not require user interaction and does not require actual body data of the dresser since the rendering can be automatically synthesized. Dressing rendering can achieve the same effect as a photo.
일실시예에 따른 가상 드레싱 시스템 및 방법은 이미지에 기초하여 가상 드레싱 진행 시 나타나는 차폐 문제를 해결했고 유일의 신체 파트 구분, 신체 파트 매칭, 및 렌더링 합성처리를 통해 드레싱 시스템 작동의 속도 및 디스플레이의 효과를 보장할 수 있다.The virtual dressing system and method according to one embodiment solves the shielding problem that appears in the progress of the virtual dressing based on the image, and the speed of the dressing system operation and the effect of the display through unique body part classification, body part matching, .
도 1은 일실시예에 따른 이미지 기반의 가상 드레싱 시스템을 도시한 블록도이다.
도 2는 일실시예에 따른 드레서 이미지를 도시한 도면이다.
도 3은 일실시예에 따른 이미지 기반의 가상 드레싱 방법을 도시한 흐름도이다.
도 4는 일실시예에 따른 신체 파트를 분해를 위한 관절 포인트를 도시한 도면이다.
도 5는 일실시예에 따른 이미지 분해부의 예시적 구조를 도시한 도면이다.
도 6은 일실시예에 따른 매칭부의 예시적 구조를 도시한 도면이다.
도 7은 일실시예에 따른 합성부의 예시적 구조를 도시한 도면이다.
도 8은 일실시예에 따른 가상 드레싱을 도시한 테스트 렌더링이다.1 is a block diagram illustrating an image-based virtual dressing system in accordance with one embodiment.
2 is a view showing a dresser image according to an embodiment.
3 is a flow diagram illustrating an image-based virtual dressing method in accordance with one embodiment.
4 is a diagram illustrating joint points for disassembling a body part according to one embodiment.
5 is a diagram showing an exemplary structure of an image decomposing unit according to an embodiment.
6 is a diagram showing an exemplary structure of a matching unit according to an embodiment.
7 is a diagram illustrating an exemplary structure of a combining unit according to an embodiment.
8 is a test rendering illustrating virtual dressing in accordance with one embodiment.
이하, 실시예들에 대해 상세하게 기술한다. 실시예들의 예시는 도면에 도시되어 있고, 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 이하, 첨부된 도면들을 참조하여 실시예를 설명한다.Hereinafter, the embodiments will be described in detail. Examples of embodiments are shown in the figures, and like reference numerals in the drawings denote like elements. Hereinafter, embodiments will be described with reference to the accompanying drawings.
도 1은 일실시예에 따른 이미지 기반의 가상 드레싱 시스템을 도시한 블록도이다.1 is a block diagram illustrating an image-based virtual dressing system in accordance with one embodiment.
도 1에 도시된 바와 같이, 일실시예에 따른 가상 드레싱 시스템은 드레서(dresser) 이미지를 여러 개의 신체 파트로 분해하는 이미지 분해부(10); 분해부(10)에 의해 분해된 드레서의 각 신체 파트에 대해, 의류 데이터베이스에 저장된 드레싱 의류를 입은 적어도 하나의 모델 이미지 중에서 각 신체 파트와 매칭되는 모델의 신체 파트를 검색하는 매칭부(20); 및 매칭부(20)에 의해 검색된 모델 이미지의 신체 파트를 드레서 이미지와 합성하는 합성부(30)를 포함한다. 여기서 의류에 대한 드레싱은 세트로 된 상의, 바지 또는 기타 외투를 드레싱하는 것 만이 아니라 개별의 상의 또는 바지에 대한 드레싱도 가능하며, 신발 등 기타 액세서리에 대한 드레싱(또는 착용, try on)등을 더 포함한다. 드레서 이미지가 모델 이미지에 대응하는 매칭 및 합성을 실현할 수 있다면 즉시 드레싱의 효과를 실현할 수 있다.As shown in FIG. 1, the virtual dressing system according to an embodiment includes an
일실시예에 따르면, 이미지 분해부(10)를 통해 분해된 드레서 이미지는 임의의 2D 도트 매트릭스(dot matrix)로 디지털화된 이미지이다. 예를 들면, RGB 이미지 등이 있을 수 있다. 또한, 깊이 영상(depth image) 또는 영상 이미지도 이미지 분해부(10)의 분해 대상이 될 수 있다. 도 2는 일실시예에 따른 드레서 이미지를 도시한 것이다. 도 2에서, (a)는 일반적인 RGB 2D 이미지이고, (b)는 깊이 영상이다. 여기서, 드레서 이미지는 자세 또는 드레싱 스타일에 한정되지 않으므로, 드레서는 다양한 자세 및 각도로 표현할 수 있다. 또한 기존 기술에 요구된 스킨타이트를 입을 필요가 없고, 일상적인 생활 의류를 입으면 된다.According to one embodiment, the dresser image decomposed through the
일실시예에 따르면, 제안된 방법은 새로운 드레싱 방안을 제공한다. 새로운 드레싱 방안은 드레서와 의류 그 자체 간의 피팅보다, 의류 데이터베이스에 저장된 드레싱 의류를 입은 모델 이미지를 사용하여 드레서의 각 신체 파트와 매칭되는 모델의 해당 이미지를 생성하여, 매칭된 모델 이미지를 드레서의 의류에 대응되는 영역이 제외된 이미지 영역과 합성하여 드레서의 드레싱 렌더링(rendering)을 생성한다. 더 높은 매칭 효과를 실현하기 위해, 의류 데이터베이스에서 각 드레싱된 의류에 대해 하나 이상의 모델의 여러 자세 및 여러 각도로 촬영된 복수 개의 이미지를 저장할 수 있다. 모델간에는 신장 및 체중 등 면에서 일정한 차이가 존재할 수 있다. 즉, 모델 이미지 정보가 다양할수록 매칭 효과가 더욱 정확하고 적용할 수 있는 범위도 더 넓다.According to one embodiment, the proposed method provides a new dressing option. The new dressing method generates a corresponding image of a model that matches each body part of the dresser using a model image of dressing clothes stored in the clothing database rather than a fitting between the dresser and the garment itself, Is combined with the image area excluding the area corresponding to the image area, thereby generating a dressing rendering of the dresser. To achieve a higher matching effect, multiple images of one or more models of each dressed garment and multiple images taken at different angles can be stored in the clothing database. There may be differences in the height and weight between the models. That is, as the model image information is varied, the matching effect is more accurate and applicable.
이하, 도 3을 참조하여 일실시예에 따른 이미지 기반의 가상 드레싱 방법의 일례에 대해 설명한다. Hereinafter, an example of an image-based virtual dressing method according to an embodiment will be described with reference to FIG.
도 3은 일실시예에 따른 이미지 기반의 가상 드레싱 방법을 도시한 흐름도이다. 이미지 분해부(10)에 의해 드레서 이미지를 여러 개의 신체 파트로 분해(S100)한다. 예를 들어, 분해된 신체 파트는 몸통, 팔, 허벅지, 종아리 등일 수 있다. 분해된 각 신체 파트는 드레싱 효과를 나타내는 매우 중요한 신체 파트가 되고, 각 신체 파트에 대한 드레싱 효과를 결정하면 상응적으로 드레서의 전체 드레싱 효과를 결정할 수 있다. 일례로, 이미지 분해부(10)는 각 신체 파트의 관절 포인트에 따라 각 인체 파트를 분해할 수 있다. 관절 포인트는 도 4에서와 같이 도시된다. 3 is a flow diagram illustrating an image-based virtual dressing method in accordance with one embodiment. The
도 5는 일실시예에 따른 이미지 분해부(10)의 예시적 구조를 도시한 것이다.FIG. 5 shows an exemplary structure of the
도 5를 참조하면, 이미지 분해부(10)는 피쳐 추출 모듈(101) 및 분할 모듈(102)을 포함한다. 피쳐 추출 모듈(101)은 드레서 그 자체를 드레서 이미지에서 분리시키고, 드레서의 의류에 대응되는 영역에서 관절 포인트의 3D 또는 2D 좌표를 측정한다. (여기서, 피쳐 추출 모듈(101)은 기존 기술에 사용된 임의의 알고리즘 또는 기타 알고리즘을 사용하여 관절 포인트 좌표를 측정할 수 있다. 따라서, 여기에서는 구체적인 알고리즘에 대해 설명하지 않기로 한다) 또한, 피쳐 추출 모듈(101)은 드레서 이미지에서 드레서 자신의 신체 윤곽 정보를 측정할 수 있다. 일례로, 신체 윤곽 정보는 드레서의 신체 윤곽의 샘플링 포인트 정보일 수 있다. Referring to FIG. 5, the
피쳐 추출 모듈(101)이 드레싱 의류 영역에서 드레서의 관절 포인트에 대해 3D 또는 2D 좌표를 측정한 다음, 분할 모듈(102)은 측정된 관절 포인트를 3D 또는 2D 좌표에 기초하여 분할 처리한다. 그러므로 드레싱 의류 영역의 각 신체 파트(예, 상의를 드레싱할 경우에는 몸통, 팔 등; 바지를 드레싱할 경우에는 허벅지, 종아리 등)를 획득할 수 있다. 바람직하게는, 분할 모듈(102)은 신체 파트를 분할할 때, 후속의 렌더링을 합성 시 결합 처리가 편하게 진행할 수 있도록 각 신체 파트 간에 일정하게 오버랩핑 부분을 남겨둔다.After the
여기서, 도 5에 도시된 이미지 분해부(10)의 구조는 예시된 구조이고, 이미지 분해부(10)의 구조는 여기에 한정되지 않는다. 피쳐 추출 모듈(101) 및 분할 모듈(102)은 한 개의 모듈로 합쳐질 수 있고, 복수 개의 작동 모듈로 구분될 수도 있다. 또한, 이미지 분해부(10)가 드레서의 각 신체 파트를 구분하는 것은, 도 5에 설명된 구체적인 작동에 한정되지 않는다. 드레서 이미지의 드레서에 대해 효과적으로 신체 파트를 구분하는 기타 방식도 모두 제안된 방법에 적용될 수 있다. Here, the structure of the
그 다음에, 매칭부(20)는 이미지 분해부(10)를 통해 단계(S100)에서 분해된 드레서의 각 신체 파트에 대해, 의류 데이터베이스에 저장된 드레싱 의류를 입은 적어도 하나의 모델 이미지 중에서 각 신체 파트와 매칭되는 모델의 신체 파트를 검색(S200)한다. 여기서, 드레서와 모델 간의 신체 파트 매칭을 진행하기 위해, 의류를 드레싱하는 각 모델 이미지에 대해, 모델과 드레서 간 서로 대응하는 각 신체 파트 및 각 신체 파트에 관련된 정보가 이미 해당 모델 이미지의 추가 정보로 의류 데이터베이스에 저장된다.Next, the matching
예를 들면, 드레서가 긴 바지를 드레싱할 때, 이미지 분해부(10)는 드레서 이미지 중에 긴 바지와 대응되는 영역을 허리, 엉덩이, 허벅지, 종아리 등 신체 파트로 구분한다. 따라서 의류 데이터베이스에 긴 바지를 입은 모델 이미지의 추가 정보에 이미 모델의 허리, 엉덩이, 허벅지, 종아리 등 신체 파트 및 각 신체 파트에 관련된 정보가 저장되어 있다. 바람직하게는, 이미지 분해부(10)는 모델과 드레서 간 서로 대응하는 각 신체 파트를 획득하기 위해 드레서 이미지와 완전 일치하는 방식으로 모델 이미지를 분할할 수 있다. For example, when the dresser dresses the long pants, the
매칭부(20)는 매칭 효율을 더 높이기 위해, 의류 데이터페이스에 드레싱 의류를 입은 하나 이상의 모델 이미지가 저장된 경우, 신상 및 체중의 차이에 기초하여 유사한 체형을 갖는 모델을 우선적으로 선택하여 매칭할 수 있다. 위 처리 과정에서, 드레서의 실제 체중 및 신장에 관련 정보는 필요가 없고, 매칭부(20)는 드레서 이미지 및 모델 이미지를 일정한 스케일링으로 비교하면 즉시 두 사람의 차이점을 알 수 있다. 따라서 신장 데이터는 이미지로부터 바로 측정할 수 있고 체중 데이터는 신체의 면적과 높이의 비율에 기초하여 계산할 수 있다.In order to further increase the matching efficiency, the matching
이 분야의 기술자는 다양한 방식으로 드레서의 각 신체 파트를 모델의 각 신체 파트와 비교할 수 있으며, 매칭 차이가 적은 모델의 해당 신체 파트를 선택할 수 있다. 또한, 기술자는 실제 응용할 때의 필요성(예: 정확도 및 운동 속도의 여러 기준)에 따라, 매칭의 구체적인 처리 과정을 조절할 수 있다.An engineer in this field can compare each body part of the dresser with each body part of the model in a variety of ways, and select the corresponding body part of the model with a small matching difference. In addition, the technician can adjust the specific processing of the match according to the needs of the actual application (e.g., various criteria of accuracy and speed of motion).
이하, 일례로, 도 6을 참고하여 단계(S200)에 대해 설명한다. 도 6은 일실시예에 따른 매칭부(20)의 예시적 구조를 도시한 것이다.Hereinafter, step S200 will be described with reference to FIG. FIG. 6 illustrates an exemplary structure of a
도 6을 참고하면, 매칭부(20)는 드레서의 각 신체 파트와 매칭되는 하나 또는 하나 이상의 후보 모델의 신체 파트를 검색하는 신체 파트 매칭 모듈(201); 및 신체 파트 매칭 모듈(201)을 통해 검색된 전체 후보 모델의 신체 파트에 기초하여, 드레서의 각 신체 파트에 전체 매칭되는 모델의 신체 파트의 조합을 결정하는 전체 파트 매칭 모듈(202)을 포함한다.Referring to FIG. 6, the matching
구체적으로, 신체 파트 매칭 모듈(201)이 후보 모델의 신체 파트를 검색할 때, 신체 파트 매칭 모듈(201)은 드레서의 어느 신체 파트의 종점(endpoint)에 있는 관절 포인트 연결선의 공간 방향을 해당 모델의 해당 신체 파트의 종점에 있는 관절 포인트 연결선의 공간 방향과 비교하여, 차이가 적은 하나 또는 하나 이상의 모델의 해당 신체 파트를 후보 모델의 해당 신체 파트로 선택한다. 전체 파트 매칭 모듈(202)은 각 드레서의 각 신체 파트로 구성된 전체 파트와 후보 모델의 해당 신체 파트의 임의의 조합 간의 매칭 차이의 합이 가장 적은 것을 결정하고, 가장 매칭 차이가 적은 후보 모델의 해당 신체 파트를 최종 모델의 해당 신체 파트로 결정한다.Specifically, when the body
일실시예에 따른 가상 드레싱 시스템은 드레서의 자세를 제한하지 않으므로 각 신체 파트가 서로 차폐(occlusion)된 경우가 나타날 수 있다. (예를 들면, 팔은 몸통의 앞쪽에 위치하여 일부의 몸통이 가려진 경우) 따라서, 드레싱 효과를 더 높이기 위해 드레서 및 모델에 대해 신체 파트 분할할 때 즉시 각 신체 파트 간의 차폐 관계를 획득한다. 후보 모델의 해당 신체 파트를 선택할 때 후보 모델의 해당 신체 파트는 다른 신체 파트에 의해 차폐되지 않도록 설정되어, 후보 모델의 해당 신체 파트의 선택에 대해 최적화한다. 이에 기초하여, 전체 파트 매칭 모듈(202)은 드레서의 각 신체 파트를 조립하는 방식으로 매칭 결과를 최적화 할 수 있다.The virtual dressing system according to an embodiment does not restrict the posture of the dresser, so that it may be seen that each body part is occluded with each other. (For example, the arms are located in front of the torso so that some of the torso is obscured). Thus, when the body part is divided for the dresser and the model to obtain a higher dressing effect, the shielding relationship between each body part is immediately obtained. When selecting the corresponding body part of the candidate model, the corresponding body part of the candidate model is set not to be shielded by the other body parts, thus optimizing the selection of the corresponding body part of the candidate model. Based on this, the entire
구체적으로, 전체 파트 매칭 모듈(202)은 인접한 비차폐(non-occlusion) 관계의 드레서의 신체 파트에 따라 새로운 매칭 대상을 조립하여 새로운 매칭 대상에 대해 후보 모델 이미지에서 매칭되는 모델의 해당 신체 파트의 조합을 검색한다. 바람직하게는, 전체 파트 매칭 모듈(202)은 새로운 매칭 대상의 매칭 차이를 결정하는 경우, 각 신체 파트의 매칭 차이를 합산하고, 합산된 값에서 새로운 매칭 대상의 신체 파트의 개수에 비례하는 수치를 차감한다. 위와 같이, 전체 파트 매칭 모듈(202)은 매칭 처리의 유효성을 향상하기 위해 서로 다른 모델 이미지로부터 획득된 매칭 결과를 이용한다. 매칭 처리에 의하여 각 드레서의 각 신체 파트로 구성된 전체 파트(즉, 드레싱 의류가 가리는 영역)는 전체 파트 매칭 모듈(202)에 의해 여러 개의 재조립된 매칭 대상 및 남은 한 개의 신체 파트로 구분되고, 전체 파트 매칭 모듈(202)은 순서대로 해당되는 매칭 차이를 계산한다. 전체 파트 매칭 모듈(202)은, 그 중 가장 매칭 차이가 적은 후보 모델의 해당 신체 파트를 최종 모델의 해당 신체 파트로 결정한다.Specifically, the entire
여기서, 도 6에 도시된 매칭부(20)의 구조는 예시된 구조이고, 매칭부(20)의 구조는 여기에 한정되지 않는다. 신체 파트 매칭 모듈(201) 및 전체 파트 매칭 모듈(202)은 한 개의 모듈로 합쳐질 수 있고, 복수 개의 작동 모듈로 구분될 수도 있다. 또한, 매칭부(20)가 드레서의 각 신체 파트에 대해 매칭하는 모델의 해당 신체 파트를 선택하는 방식도 도 6에 설명된 구체적인 동작에 한정되지 않는다. 드레서 이미지의 각 신체 파트를 모델의 해당 신체 파트에 매칭할 수 있는 임의의 방식도 모두 제안된 방법에 적용될 수 있다. 예컨대, 입력된 드레서 이미지가 시간적으로 연속되는 운동 이미지인 경우, 매칭부(20) 또한 전후 이미지 프레임 간의 연속성에 기초하여 매칭된 모델의 해당 신체 파트를 검색할 수 있다. 예를 들면, 매칭부(20)는 전 프레임 이미지의 매칭 결과에 근거하여 현재 프레임 이미지의 매칭 결과를 예측할 수 있다.Here, the structure of the
그 다음에, 합성부(30)는 매칭부(20)에 의해 검색된 모텔의 해당 신체 파트를 드레서 이미지와 합성(S300)한다. 합성부(30)는 더 좋은 합성 효과를 획득하기 위해, 우선 드레서의 이미지 특징에 따라 매칭부(20)에 의해 검색된 모델의 해당 신체 파트를 변형시키고 변형 결과를 드레서 이미지의 드레싱 의류에 대응되는 영역이 제외된 이미지 영역과 결합한다. Then, the composing
이하, 일례로, 도 7을 참고하여 단계(S300)에 대해 설명한다. 도 7은 일실시예에 따른 합성부(30)의 예시적 구조를 도시한 것이다.Hereinafter, step S300 will be described with reference to FIG. FIG. 7 shows an exemplary structure of a
도 7을 참조하면, 합성부(30)는 드레서의 이미지 특징에 따라 매칭부(20)에 의해 검색된 모델의 해당 신체 파트를 변형시키는 변형 모듈(301); 및 변형 결과를 드레서 이미지의 드레싱 의류에 대응되는 영역이 제외된 이미지 영역과 결합 또는 융합하여 드레싱 렌더링(rendering)을 생성하는 결합 모듈(302)을 포함한다. 여기서, 변형을 위한 드레서의 이미지 특징은 피쳐 추출부(101)에 의해 추출된 관절 포인트이고, 드레서 이미지로부터 측정된 드레서의 신체 윤곽 정보를 포함한다. 예를 들면, 신체 윤곽 정보는 드레서의 신체 윤곽의 샘플링 포인트 정보일 수 있다. 따라서, 변형 모듈(301)은 드레서 및 모델의 신체 윤곽에 있는 관절 포인트 및 샘플링 포인트의 대응관계에 기초하여 각 모델의 해당 신체 파트를 드레서 이미지의 공간으로 변형시킬 수 있다.Referring to FIG. 7, the composing
변형 모듈(310)의 변형 처리 이후에, 결합 모듈(302)은 변형 결과를 드레서 이미지의 드레싱 의류에 대응되는 영역이 제외된 이미지 영역과 결합시킨다. 바람직하게는, 결합 모듈(302)은 신체 파트를 분할할 때 각 신체 파트 간에 남겨둔 일정한 오버랩핑 부분을 결합할 수 있다. 여기서 결합 모듈(302)은 기존의 기술에 사용된 임의의 결합/융합 기술을 사용하여 변형 결과를 드레서의 의류에 대응되는 영역이 제외된 이미지 영역과 결합할 수 있다. 예를 들면, 결합 모듈(302)은 피부의 일치 규제 및 자세 규제 등 각종 조건으로 고려하여 결합 처리를 진행한다. After the deformation process of the deformation module 310, the joining
여기서, 도 7에 도시된 합성부(30)의 구조는 예시된 구조이고, 합성부(30)의 구조는 여기에 한정되지 않는다. 변형 모듈(301) 및 결합 모듈(302)은 한 개의 모듈로 합쳐질 수 있고, 복수 개의 작동 모듈로 구분될 수도 있다. 또한, 합성부(30)가 드레싱 의류에 대응하는 모델 매칭 효과를 드레서의 의류에 대응되는 영역이 제외된 이미지 영역과 결합하는 것도 도 7에 설명된 구체적인 동작에 한정되지 않는다. 드레서의 의류에 대응되는 영역이 제외된 이미지 영역을 모델 이미지의 변형 결과와 서로 결합할 수 있는 임의의 기타 방식이 모두 제안된 방법에 적용될 수 있다. Here, the structure of the combining
또한, 일실시예 따르면, 입력된 드레서 이미지에 대해 구체적인 제한이 없다. 입력된 이미지가 드레서의 연속되는 드레서 이미지가 시간적으로 연속되는 비디오인 경우, 일실시예에 따른 가상 드레싱 시스템은 인접한 이미지 프레임의 드레싱 렌더링에 대해 보간(interpolation)을 수행하여 현재 이미지 프레임의 드레싱 렌더링을 획득하는 보간부(미 도시)를 더 포함할 수 있다. 입력된 이미지가 드레서 이미지가 다른 시각에 기초한 복수 개의 이미지인 경우, 일실시예에 따른 가상 드레싱 시스템은 상기 복수 개의 이미지에 대응하는 렌더링에 기초하여 3D 드레싱 렌더링을 생성할 수 있고 드레서가 편하게 드레싱 효과를 살펴볼 수 있다. 예를 들면, 합성부(30)를 통해 복수 개의 드레싱 렌더링에 기초하여 3D 드레싱 렌더링을 생성할 수 있다.Also, according to one embodiment, there is no specific limitation on the input dresser image. In the case where the input image is a video in which the consecutive dresser images of the dresser are temporally continuous, the virtual dressing system according to an embodiment performs interpolation on the dressing rendering of adjacent image frames to perform dressing rendering of the current image frame (Not shown) for acquiring the image data. If the input image is a plurality of images based on different views of the input image, then the virtual dressing system according to an embodiment may generate a 3D dressing rendering based on rendering corresponding to the plurality of images, . For example, a 3D dressing rendering may be generated based on a plurality of dressing renderings through the
도 8은 일실시예에 따른 가상 드레싱을 도시한 테스트(test) 렌더링이다. 도 8에서, (a)는 입력된 드레서 이미지이다. (b)는 의류 데이터베이스에 저장된 드레서가 드레싱 해보고 싶은 상의와 바지를 입고 있는 복수 개의 모델 이미지이다. (c)는 일실시예에 따른 가상 드레싱의 합성 렌더링을 나타낸다.Figure 8 is a test rendering illustrating virtual dressing in accordance with one embodiment. In Fig. 8, (a) is an input dresser image. (b) is a plurality of model images in which a dresser stored in an apparel database is wearing a topsheet and pants to be dressed. (c) shows a composite rendering of the virtual dressing according to one embodiment.
도 8을 참조하면, 일실시예에 따른 가상 드레싱 시스템 및 방법은 입력된 드레서 이미지를 한정하지 않으며 드레서가 임의의 드레싱 스타일 및 자세를 사용할 수 있고, 입력된 이미지는 쉽게 수집할 수 있는 일반적인 2D 이미지가 될 수 있다. 일실시예에 따른 가상 드레싱 시스템 및 방법은 자동적으로 렌더링을 합성할 수 있기 때문에 사용자의 상호작용(interaction)이 필요 없고, 드레서의 실제적인 신체 데이터도 요구하지 않는다. 드레싱 렌더링은 사진과 동일한 효과를 실현할 수 있다. 또한, 일실시예에 따른 가상 드레싱 시스템 및 방법은 이미지에 기초하여 가상 드레싱할 때 나타나는 차폐 문제를 해결할 수 있고, 유일의 신체 파트 구분, 신체 파트 매칭, 및 렌더링 합성 처리를 통해 드레싱 시스템 작동의 속도 및 디스플레이의 효과를 개선했다.8, a virtual dressing system and method in accordance with one embodiment does not limit the input dresser image, and the dresser can use any dressing style and posture, and the input image can be a general 2D image . The virtual dressing system and method according to one embodiment does not require user interaction and does not require actual body data of the dresser since it can automatically synthesize the rendering. Dressing rendering can achieve the same effect as a photo. Further, the virtual dressing system and method according to one embodiment can solve the shielding problem that appears when imaginary dressing is performed on the basis of images, and the speed of dressing system operation through unique body part classification, body part matching, And display effects.
일실시예에 따른 가상 드레싱 시스템 및 방법은 패션 다자인, 인터넷 쇼핑, 가상 공동체(virtual community)등 온라인 커뮤니케이션에 적용될 수 있다. 일실시예에 따른 가상 드레싱 시스템은 이미지 수집부, 데이터 처리부, 또는 디스플레이부 등을 더 포함할 수 있다. 단, 이미지 수집부, 데이터 처리부, 또는 디스플레이부는 기존의 기술적 구성으로서 실시예들의 설명과 혼동되지 않도록 이에 대한 상세한 설명은 생략하였다. The virtual dressing system and method according to one embodiment can be applied to online communication such as fashion designer, Internet shopping, and virtual community. The virtual dressing system according to an exemplary embodiment may further include an image collecting unit, a data processing unit, a display unit, or the like. However, the image collecting unit, the data processing unit, or the display unit has not been described in detail so as not to be confused with the description of the embodiments as the existing technical structure.
이상과 같이 실시예들이 비록 한정된 실시예에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가지 자라면: 의류 데이터베이스에 저장된 드레싱 의류를 입은 모델 이미지를 사용하여 드레서의 각 신체 파트와 매칭되는 모델의 해당 이미지를 생성하여, 매칭된 모델 이미지를 드레서의 의류에 대응되는 영역이 제외된 이미지 영역과 합성하여 드레서의 드레싱 렌더링을 생성하는 임의의 방식은 실시예의 범위에 있는 것을 이해할 수 있다. 해당 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.While the embodiments have been described by way of a limited number of embodiments, those skilled in the art will appreciate that various modifications and variations of the present invention are possible in light of the above teachings, It will be appreciated that any manner of generating the image and compositing the matched model image with the image area excluding the area corresponding to the garment of the dresser to create a dressing rendering of the dresser is within the scope of the embodiment. Various modifications and variations may be made thereto by those skilled in the art. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (16)
상기 분해된 드레서의 각 신체 파트에 대해, 의류 데이터베이스에 저장된 드레싱(dressing) 의류를 입은 적어도 하나의 모델 이미지 중에서 상기 각 신체 파트와 매칭되는 모델의 신체 파트를 검색하는 매칭부; 및
상기 검색된 모델 이미지의 신체 파트를 상기 드레서 이미지와 합성하는 합성부
를 포함하고,
상기 매칭부는,
드레서의 상기 각 신체 파트와 매칭되는 하나 또는 하나 이상의 후보 모델의 신체 파트를 검색하는 신체 파트 매칭 모듈을 포함하고,
상기 신체 파트 매칭 모듈은, 후보 모델의 해당 신체 파트를 선택할 때, 후보 모델의 해당 신체 파트는 다른 신체 파트에 의해 차폐되지 않도록 설정되는
이미지 기반의 가상 드레싱 시스템.
An image decomposer for decomposing a dresser image into a plurality of body parts;
A matching unit for each body part of the disassembled dresser to search for a body part of a model matching at least one of the at least one body part among at least one model image wearing dressing garments stored in an apparel database; And
A synthesizing unit for synthesizing the body part of the searched model image with the dresser image,
Lt; / RTI >
The matching unit,
And a body part matching module for searching for a body part of one or more candidate models matching each of the body parts of the dresser,
When the body part matching module selects the corresponding body part of the candidate model, the corresponding body part of the candidate model is set not to be shielded by other body parts
Image based virtual dressing system.
상기 이미지 분해부는,
상기 드레서 이미지의 상기 드레싱 의류에 대응되는 영역에서, 드레서의 상기 각 신체 파트를 결정하기 위한 관절 포인트에 기초하여 상기 각 신체 파트를 분해하는 이미지 기반의 가상 드레싱 시스템.The method according to claim 1,
Wherein the image decomposing unit comprises:
Wherein in the region corresponding to the dressing garment of the dresser image, disassembles each of the body parts based on joint points for determining each of the body parts of the dresser.
상기 이미지 분해부는,
상기 각 신체 파트의 관절 포인트에 대해 3D 또는 2D 좌표를 측정하는 피쳐(feature) 추출 모듈; 및
상기 각 신체 파트를 획득하기 위해, 상기 측정된 관절 포인트에 대해 3D 또는 2D 좌표에 기초하여 분할 처리하는 신체 파트 분할 모듈
을 포함하는 이미지 기반의 가상 드레싱 시스템.3. The method of claim 2,
Wherein the image decomposing unit comprises:
A feature extraction module for measuring 3D or 2D coordinates of joint points of each of the body parts; And
A body part dividing module for dividing the measured joint points based on 3D or 2D coordinates to obtain each of the body parts;
Based virtual dressing system.
상기 매칭부는,
상기 드레싱 의류를 입은 모델 이미지가 복수 개인 경우, 드레서의 체형과 유사한 체형을 가진 모델의 이미지를 우선적으로 검색하는 이미지 기반의 가상 드레싱 시스템.The method according to claim 1,
The matching unit,
Wherein the image of the model having a body shape similar to that of the body of the dresser is preferentially searched for when there are a plurality of model images of the dressing garment.
상기 매칭부는,
드레서의 상기 각 신체 파트와 매칭되는 하나 또는 하나 이상의 후보 모델의 신체 파트를 검색하는 신체 파트 매칭 모듈; 및
상기 신체 파트 매칭 모듈을 통해 검색된 전체 후보 모델의 신체 파트에 기초하여, 드레서의 상기 각 신체 파트에 전체 매칭되는 모델의 신체 파트의 조합을 결정하는 전체 파트 매칭 모듈
을 포함하는 이미지 기반의 가상 드레싱 시스템.The method of claim 3,
The matching unit,
A body part matching module for searching for a body part of one or more candidate models matching each of the body parts of the dresser; And
A total part matching module for determining a combination of body parts of the model that is fully matched to each of the body parts of the dresser based on the body parts of the entire candidate model searched through the body part matching module,
Based virtual dressing system.
상기 신체 파트 매칭 모듈은,
드레서의 상기 각 신체 파트의 종점(endpoint)에 있는 관절 포인트 연결선의 공간 방향을 상기 모델의 해당 신체 파트의 종점에 있는 관절 포인트 연결선의 공간 방향과 매칭하여, 매칭 차이가 적은 하나 또는 하나 이상의 모델의 해당 신체 파트를 후보 모델의 해당 신체 파트로 선택하고,
상기 전체 파트 매칭 모듈은,
드레서의 상기 각 신체 파트로 구성된 전체 파트와 상기 후보 모델의 해당 신체 파트의 임의의 조합 간의 매칭 차이의 합이 가장 적은 것을 결정하고, 가장 매칭 차이가 적은 후보 모델의 해당 신체 파트를 최종 모델의 해당 신체 파트로 결정하는 이미지 기반의 가상 드레싱 시스템.6. The method of claim 5,
The body part matching module comprises:
The spatial direction of the joint point connecting line at the end point of each of the body parts of the dresser is matched with the spatial direction of the joint point connecting line at the end point of the corresponding body part of the model, Select the body part as the corresponding body part of the candidate model,
The entire part matching module comprises:
It is determined that the sum of the matching differences between the entire part composed of each of the body parts of the dresser and any combination of the corresponding body parts of the candidate model is the smallest and the corresponding body part of the candidate model having the smallest matching difference is determined as the corresponding Image-based virtual dressing system determined by body parts.
상기 이미지 분해부는,
드레서의 상기 각 신체 파트 간의 차폐 관계를 획득하고,
상기 전체 파트 매칭 모듈은,
인접한 비 차폐 관계의 드레서의 신체 파트에 따라 새로운 매칭 대상을 조립하여 상기 새로운 매칭 대상에 대해 후보 모델 이미지에서 매칭되는 모델의 해당 신체 파트의 조합을 검색하는 이미지 기반의 가상 드레싱 시스템.The method according to claim 6,
Wherein the image decomposing unit comprises:
Acquiring a shielding relationship between the respective body parts of the dresser,
The entire part matching module comprises:
Based virtual dressing system for assembling a new matching object according to a body part of a dresser in an adjacent non-shielding relationship and searching for a combination of corresponding body parts of a model matched in the candidate model image with respect to the new matching object.
상기 전체 파트 매칭 모듈은,
조립된 상기 새로운 매칭 대상의 매칭 차이를 결정하는 경우, 각 신체 파트의 매칭 차이를 합산하고, 합산된 값에서 상기 새로운 매칭 대상의 신체 파트의 개수에 비례하는 수치를 차감하는 이미지 기반의 가상 드레싱 시스템.9. The method of claim 8,
The entire part matching module comprises:
Based virtual dressing system for summing the matching differences of the respective body parts and subtracting a value proportional to the number of the body parts of the new matching object from the summed value when determining the matching difference of the assembled new matching objects, .
상기 매칭부는,
상기 드레서 이미지가 시간적으로 연속되는 운동 이미지인 경우, 전후 이미지 프레임 간의 연속성에 기초하여 매칭된 모델의 해당 신체 파트를 검색하는 이미지 기반의 가상 드레싱 시스템.10. The method of claim 9,
The matching unit,
And wherein if the dresser image is a temporally continuous motion image, retrieving the corresponding body part of the matched model based on the continuity between the front and back image frames.
상기 합성부는,
상기 드레서 이미지의 이미지 특징에 따라 상기 매칭부에 의해 검색된 모델의 해당 신체 파트를 변형시키는 변형 모듈; 및
상기 변형 모듈이 출력한 변형 결과를 상기 드레서 이미지의 상기 드레싱 의류에 대응되는 영역이 제외된 이미지 영역과 결합 또는 융합하여 드레싱 렌더링(rendering)을 생성하는 결합 모듈
을 포함하는 이미지 기반의 가상 드레싱 시스템.The method of claim 3,
The synthesizing unit,
A transformation module for transforming the corresponding body part of the model retrieved by the matching unit according to the image feature of the dresser image; And
A combining module that combines or fuses a deformation result output from the deformation module with an image area excluding an area corresponding to the dressing garment of the dresser image to generate dressing rendering,
Based virtual dressing system.
상기 드레서 이미지의 이미지 특징은,
상기 관절 포인트 또는 상기 드레서의 신체 윤곽 정보 중 적어도 하나를 포함하고,
상기 변형 모듈은,
상기 드레서와 모델의 관절 포인트 및 신체 윤곽 정보의 대응 관계에 기초하여 모델의 해당 신체 파트를 드레서 이미지의 공간으로 변형시키는 이미지 기반의 가상 드레싱 시스템.12. The method of claim 11,
The image features of the dresser image may include,
And at least one of the joint point or the body contour information of the dresser,
The deformation module comprises:
Based virtual dressing system for transforming a body part of a model into a space of a dresser image based on a correspondence relationship between joint point and body contour information of the dresser and a model.
상기 결합 모듈은,
상기 분할 모듈에 의해 상기 각 신체 파트 간에 남겨둔 일정한 오버랩핑 부분을 이용하여 결합 또는 융합 처리하는 이미지 기반의 가상 드레싱 시스템.12. The method of claim 11,
The coupling module comprises:
Based virtual dressing system for combining or fusion processing using a predetermined overlapping part left between the body parts by the division module.
상기 드레서 이미지가 시간적으로 연속되는 운동 이미지인 경우, 인접한 이미지 프레임의 드레싱 렌더링에 대해 보간(interpolation)을 수행하여 현재 이미지 프레임의 드레싱 렌더링을 획득하는 보간부
를 더 포함하는 이미지 기반의 가상 드레싱 시스템.The method according to claim 1,
And interpolating the dressing rendering of the adjacent image frame to acquire a dressing rendering of the current image frame when the dresser image is a temporally continuous moving image,
Further comprising: an image-based virtual dressing system.
상기 합성부는,
드레서 이미지가 다른 시각에 기초한 복수 개의 이미지인 경우, 상기 복수 개의 이미지에 대응하는 렌더링에 기초하여 3D 드레싱 렌더링을 생성하는 이미지 기반의 가상 드레싱 시스템.The method according to claim 1,
The synthesizing unit,
Wherein the 3D dressing rendering is based on rendering corresponding to the plurality of images if the dresser image is a plurality of images based on different views.
상기 분해된 드레서의 각 신체 파트에 대해, 의류 데이터베이스에 저장된 드레싱 의류를 입은 적어도 하나의 모델 이미지 중에서 상기 각 신체 파트와 매칭되는 모델의 신체 파트를 검색하는 단계; 및
상기 검색된 모델의 신체 파트를 상기 드레서 이미지와 합성하는 단계
를 포함하고,
상기 검색하는 단계는,
드레서의 상기 각 신체 파트와 매칭되는 하나 또는 하나 이상의 후보 모델의 신체 파트를 검색하고,
후보 모델의 해당 신체 파트를 선택할 때, 후보 모델의 해당 신체 파트는 다른 신체 파트에 의해 차폐되지 않도록 설정되는 이미지 기반의 가상 드레싱 방법
Decomposing the dresser image into a plurality of body parts;
Retrieving, for each body part of the disassembled dresser, a body part of a model that matches each of the body parts from at least one model image that has been dressed in a dressing garment stored in an apparel database; And
Synthesizing the body part of the searched model with the dresser image
Lt; / RTI >
Wherein the searching comprises:
Searching body parts of one or more candidate models that match each of the body parts of the dresser,
An image-based virtual dressing method in which when a corresponding body part of a candidate model is selected, the corresponding body part of the candidate model is set not to be shielded by other body parts
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110265697.1A CN102982581B (en) | 2011-09-05 | 2011-09-05 | System for virtually trying and method based on image |
CN201110265697.1 | 2011-09-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130026380A KR20130026380A (en) | 2013-03-13 |
KR101894299B1 true KR101894299B1 (en) | 2018-09-03 |
Family
ID=47856516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120086175A KR101894299B1 (en) | 2011-09-05 | 2012-08-07 | Image based virtual dressing system and method |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101894299B1 (en) |
CN (1) | CN102982581B (en) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489107B (en) * | 2013-08-16 | 2015-11-25 | 北京京东尚科信息技术有限公司 | A kind of method and apparatus making virtual fitting model image |
CN104091269A (en) * | 2014-06-30 | 2014-10-08 | 京东方科技集团股份有限公司 | Virtual fitting method and virtual fitting system |
CN104537608A (en) * | 2014-12-31 | 2015-04-22 | 深圳市中兴移动通信有限公司 | Image processing method and device |
CN106803243A (en) * | 2015-11-21 | 2017-06-06 | 周彬 | A kind of clothing based on Virtual Realization technology tries method on |
CN105894348A (en) * | 2016-03-22 | 2016-08-24 | 彭成 | Method and apparatus for trying on clothes |
KR102279063B1 (en) * | 2016-03-31 | 2021-07-20 | 삼성전자주식회사 | Method for composing image and an electronic device thereof |
CN105844513A (en) * | 2016-04-14 | 2016-08-10 | 王春林 | Cloud service based clothes try-on method and apparatus |
CN106072956A (en) * | 2016-06-20 | 2016-11-09 | 北京理工大学 | A kind of dress designing method and device |
CN107622428A (en) * | 2016-07-14 | 2018-01-23 | 幸福在线(北京)网络技术有限公司 | A kind of method and device for realizing virtually trying |
CN108876498B (en) * | 2017-05-11 | 2021-09-03 | 腾讯科技(深圳)有限公司 | Information display method and device |
CN107977885B (en) * | 2017-12-12 | 2021-12-14 | 北京小米移动软件有限公司 | Virtual fitting method and device |
KR102195190B1 (en) * | 2018-08-29 | 2020-12-24 | 서울과학기술대학교 산학협력단 | Device and method for virtual clothes fitting |
CN109040602B (en) * | 2018-09-20 | 2021-02-19 | 维沃移动通信有限公司 | Image processing method and mobile terminal |
CN111787242B (en) * | 2019-07-17 | 2021-12-07 | 北京京东尚科信息技术有限公司 | Method and apparatus for virtual fitting |
CN110473296B (en) * | 2019-08-15 | 2023-09-26 | 浙江中国轻纺城网络有限公司 | Mapping method and device |
CN111311359A (en) * | 2020-01-21 | 2020-06-19 | 杭州微洱网络科技有限公司 | Jigsaw method for realizing human shape display effect based on e-commerce image |
KR102317873B1 (en) * | 2021-04-02 | 2021-10-26 | 신형호 | A System Providing Fast Video Rendering Service |
CN113288087B (en) * | 2021-06-25 | 2022-08-16 | 成都泰盟软件有限公司 | Virtual-real linkage experimental system based on physiological signals |
CN114445601A (en) * | 2022-04-08 | 2022-05-06 | 北京大甜绵白糖科技有限公司 | Image processing method, device, equipment and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004272530A (en) * | 2003-03-07 | 2004-09-30 | Digital Fashion Ltd | Virtual fitting display device and method, virtual fitting display program, and computer readable recoding medium with the same program recorded |
CN101034481A (en) * | 2007-04-06 | 2007-09-12 | 湖北莲花山计算机视觉和信息科学研究院 | Method for automatically generating portrait painting |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10271508A (en) * | 1997-03-25 | 1998-10-09 | Hitachi Ltd | Moving image interpolation device |
KR20020051667A (en) * | 2000-12-23 | 2002-06-29 | 윤종용 | Method and apparatus for representing virtual shape of wearing garment(s) |
JP4473754B2 (en) * | 2005-03-11 | 2010-06-02 | 株式会社東芝 | Virtual fitting device |
JP2008123086A (en) * | 2006-11-09 | 2008-05-29 | Matsushita Electric Ind Co Ltd | Image processor and image processing method |
CN101183450A (en) * | 2006-11-14 | 2008-05-21 | 朱滨 | Virtual costume real man try-on system and constructing method thereof |
CN101159064B (en) * | 2007-11-29 | 2010-09-01 | 腾讯科技(深圳)有限公司 | Image generation system and method for generating image |
KR101072944B1 (en) * | 2009-08-31 | 2011-10-17 | 서울대학교산학협력단 | System for creating 3d human body model and method therefor |
CN102156810A (en) * | 2011-03-30 | 2011-08-17 | 北京触角科技有限公司 | Augmented reality real-time virtual fitting system and method thereof |
-
2011
- 2011-09-05 CN CN201110265697.1A patent/CN102982581B/en active Active
-
2012
- 2012-08-07 KR KR1020120086175A patent/KR101894299B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004272530A (en) * | 2003-03-07 | 2004-09-30 | Digital Fashion Ltd | Virtual fitting display device and method, virtual fitting display program, and computer readable recoding medium with the same program recorded |
CN101034481A (en) * | 2007-04-06 | 2007-09-12 | 湖北莲花山计算机视觉和信息科学研究院 | Method for automatically generating portrait painting |
Also Published As
Publication number | Publication date |
---|---|
KR20130026380A (en) | 2013-03-13 |
CN102982581A (en) | 2013-03-20 |
CN102982581B (en) | 2017-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101894299B1 (en) | Image based virtual dressing system and method | |
Zhang et al. | Detailed, accurate, human shape estimation from clothed 3D scan sequences | |
Zakaria et al. | Anthropometry, apparel sizing and design | |
US9928411B2 (en) | Image processing apparatus, image processing system, image processing method, and computer program product | |
US20130170715A1 (en) | Garment modeling simulation system and process | |
EP1352347B1 (en) | Production and visualisation of garments | |
US20020024517A1 (en) | Apparatus and method for three-dimensional image production and presenting real objects in virtual three-dimensional space | |
US9147207B2 (en) | System and method for generating image data for on-line shopping | |
CN109427007B (en) | Virtual fitting method based on multiple visual angles | |
US8976230B1 (en) | User interface and methods to adapt images for approximating torso dimensions to simulate the appearance of various states of dress | |
US20130173226A1 (en) | Garment modeling simulation system and process | |
KR102195190B1 (en) | Device and method for virtual clothes fitting | |
WO2005104883A2 (en) | Clothing and model image generation, combination, display, and selection | |
WO2013123306A1 (en) | System and method for simulating realistic clothing | |
CN109934613A (en) | A kind of virtual costume system for trying | |
KR101072944B1 (en) | System for creating 3d human body model and method therefor | |
KR20070120692A (en) | System and method for measuring human body size and existing clothes number from three dimentional scan data | |
KR20170006604A (en) | Server apparatus and method for recommending cloth thereby | |
JP2015183302A (en) | Image processing apparatus, image processing system, image processing method and program | |
Zhu et al. | Registering explicit to implicit: Towards high-fidelity garment mesh reconstruction from single images | |
Zhao et al. | Egoglass: Egocentric-view human pose estimation from an eyeglass frame | |
KR20190114676A (en) | a computer aided method for generating transferred patterns for garment draped on an avatar | |
US20210375045A1 (en) | System and method for reconstructing a 3d human body under clothing | |
Gupta | New directions in the field of anthropometry, sizing and clothing fit | |
CN114170250B (en) | Image processing method and device and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |