KR102365750B1 - 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents
대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDFInfo
- Publication number
- KR102365750B1 KR102365750B1 KR1020190143249A KR20190143249A KR102365750B1 KR 102365750 B1 KR102365750 B1 KR 102365750B1 KR 1020190143249 A KR1020190143249 A KR 1020190143249A KR 20190143249 A KR20190143249 A KR 20190143249A KR 102365750 B1 KR102365750 B1 KR 102365750B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- human body
- body model
- posture
- dimensional
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 210000003423 ankle Anatomy 0.000 claims description 6
- 210000003127 knee Anatomy 0.000 claims description 6
- 210000004197 pelvis Anatomy 0.000 claims description 6
- 210000000707 wrist Anatomy 0.000 claims description 6
- 210000001061 forehead Anatomy 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 abstract description 2
- 230000036544 posture Effects 0.000 description 74
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000037237 body shape Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G06T3/0037—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법은, 대상 인물의 이미지를 분석하여 추정된 골격과 체형 윤곽을 3차원 인체 조인트 및 체형 윤곽과 일치하도록 최적화를 수행하여 3차원 인체 모델을 형성하는 단계; 상기 3차원 인체 모델을 미리 설정된 표준 자세로 변환하는 단계; 상기 표준 자세의 3차원 인체 모델을 2차원 인체 모델로 매핑하여 의상 이미지와 결합하는 단계; 상기 2차원 인체 모델과 의상 이미지의 결합을 3차원 인체 모델을 이용하여 의상이 결합된 3차원 모델로 복원하는 단계; 및 복원된 3차원 모델을 상기 대상 인물의 원 자세로 변환하여 가상 의상 착용 결과 이미지를 출력하는 단계;를 포함한다. 이에 따라, 의상 디자인 등 착용 시험을 하는 소프트웨어에서 자연스러운 착용 결과를 얻을 수 있다.
Description
본 발명은 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 인터넷 의상 쇼핑몰에서 고객이 자신의 사진이나 아바타를 이용하여 구매 가능성이 있는 의상을 가상에서 자동으로 입어봄을 통하여 구매결정을 도와줄 수 있는 서비스의 구현에 관련된 기술에 대한 것이다.
현재 온라인 쇼핑의 규모가 점차 증가하고 있다. 그러나, 전자제품과 같이 표준화가 쉬운 상품과 달리 의상은 입는 사람의 체형 및 다른 의상 또는 액세서리와의 조화에 따라 고객의 구매 만족도가 크게 차이가 난다.
따라서, 컴퓨터 기술을 이용하여 자신의 이미지나 3차원 모델에 의상을 입혀보고 이를 통하여 잘 어울리는지, 크기가 적당한지 등을 확인하여, 구매결정을 도와주는 가상착용 기술이 개발되고 있다.
가상착용 기술은 3차원의 의상모델과 사용자 신체모델을 사용하는 방식이 개발되었지만, 일반적으로 이러한 3차원 정보는 디자인 파일이나 3차원 스캐닝 카메라 등을 통하여 확보가 필요하다.
그러나, 일반적으로 3차원 데이터를 확보하거나 장치를 구축하기는 확보가 어렵기 때문에, 2차원 이미지를 사용하는 2차원 이미지 기반 가상착용기술이 연구되고 있다.
이러한 2차원 이미지를 이용한 방식은 일반적으로 대상 이미지를 분석하여 옷이 배치해야 할 곳을 정하고, 이에 맞게 의상 이미지를 변형하고, 이 변형된 이미지와 대상이미지를 조합하여 최종 사상 착용을 하게 된다(도 1 참조).
그러나, 이 단계에서 대상의 자세와 의상의 기본 형태의 차이가 많이 나도록 자세가 취해진 경우(예를 들어, 팔이나 머리카락으로 가리거나, 손을 돌리거나, 다리를 겹치거나 등) 영상처리 방식에 의하여 2차원 의상 이미지를 대상에 적절히 변형하여 적용하기 어렵다.
아래 선행기술문헌으로 제시된 4개의 논문을 포함하여 기존의 연구들은 이러한 문제로 인하여 자연스러운 착용이미지를 형성하지 못하는 경우가 발생한다.
도 2를 참조하면, 머리카락에 의한 대상영역의 확보에 어려움이 있거나, 팔로 의상이 가려져 대상 영역 확보가 어려워 의상 매칭이 어색한 문제점이 있다. 또한, 원 의상과 대상의 자세 차이가 많이 나므로, 변형이 어려운 한계점이 있다.
다시 말해, 이미지 상의 착용 대상 인물의 자세가 표준적이지 않고, 나아가 기본 자세에서 3차원적인 변형이 있는 경우, 가상 착용 기술을 적용시 2차원이나 3차원 원본 의상의 기본 형태와 대상에 착용시켰을 때의 기하학적 형태의 차이가 커서 자연스러운 착용을 생성하기 어려운 문제가 있다.
안희준, "Online Virtual Try On using Mannequin Cloth Pictures," 한국산업정보학회, Vol. 23, No. 6, pp. 29-38, Dec. 2018.
안희준, "Image-based Virtual Try-On System," 한국컴퓨터게임학회, Vol. 31, no 3, pp. 37-45, 2018.
Han, X. et. al (2018). "Viton: An image-based virtual try-on network," In Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 7543-7552), 2018
Wang, B., et. al "Toward characteristic-preserving image-based virtual try-on network. In Proc. of the European Conference on Computer Vision (ECCV) (pp. 589-604), 2018
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법을 수행하기 위한 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법은, 대상 인물의 이미지를 분석하여 추정된 골격과 체형 윤곽을 3차원 인체 조인트 및 체형 윤곽과 일치하도록 최적화를 수행하여 3차원 인체 모델을 형성하는 단계; 상기 3차원 인체 모델을 미리 설정된 표준 자세로 변환하는 단계; 상기 표준 자세의 3차원 인체 모델을 2차원 인체 모델로 매핑하여 의상 이미지와 결합하는 단계; 상기 2차원 인체 모델과 의상 이미지의 결합을 3차원 인체 모델을 이용하여 의상이 결합된 3차원 모델로 복원하는 단계; 및 복원된 3차원 모델을 상기 대상 인물의 원 자세로 변환하여 가상 의상 착용 결과 이미지를 출력하는 단계;를 포함한다.
본 발명의 실시예에서, 상기 표준 자세의 3차원 인체 모델을 2차원 인체 모델로 매핑하여 의상 이미지와 결합하는 단계는, 상기 표준 자세를 2차원 인체 모델로 매핑하는 단계; 및 상기 2차원 인체 모델에 상기 의상 이미지를 결합하여 이미지 가상 의상을 착용하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법은, 상기 의상 이미지를 획득하는 단계; 획득된 의상 이미지를 분석하여 상기 2차원 인체 모델인 표준 자세와 매칭하는 단계; 및 상기 의상 이미지를 상기 대상 인물의 인체 모델에 기초하여 기하 변형하는 단계;를 더 포함할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 증 장치는, 대상 인물의 이미지를 분석하여 골격과 체형 윤곽을 추정하고, 상기 추정된 골격과 체형 윤곽을 3차원 인체 조인트 및 체형 윤곽과 일치하도록 최적화를 수행하여 3차원 인체 모델을 형성하는 인체 모델 형성부; 상기 3차원 인체 모델을 미리 설정된 표준 자세로 변환하는 표준 모델화부; 상기 표준 자세로 변형된 3차원 인체 모델을 2차원 인체 모델로 매핑 후 의상 이미지와 결합하는 가상의상 매칭부; 및 상기 2차원 인체 모델과 의상 이미지의 결합을 3차원 인체 모델로 복원하고, 복원된 3차원 모델을 상기 대상 인물의 원 자세로 변환하여 가상 의상 착용 결과 이미지를 출력하는 자세 복원부;를 포함한다.
이와 같은 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법에 따르면, 의상 디자인 등 착용 시험을 하는 소프트웨어에서 자연스러운 착용 결과를 얻을 수 있다. 이에 따라, 온라인 쇼핑몰에서 의상의 구입시 본인과 잘 어울리는지는 보다 정확히 확인해 볼 수 있다.
또한, 의상의 어울림 여부의 확인을 통하여 구매 결정이 더욱 용이해지며, 이를 통하여 좀더 다양한 의상의 많은 양의 온라인 서비스가 가능해진다. 나아가, 온라인 패션 쇼핑몰의 반품률을 줄이는 한편 매출이 증가하고, 패션 사업자의 판매량의 증가를 기대할 수 있다.
도 1은 종래 이미지 기반 가상의상 착용 방법의 개념도이다.
도 2는 종래 이미지 기반 가상의상 착용 방법의 한계를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법의 흐름도이다.
도 2는 종래 이미지 기반 가상의상 착용 방법의 한계를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법의 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 장치의 블록도이다.
본 발명에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 장치(10, 이하 장치)는 이미지의 대상 인물을 2차원 또는 3차원 모델로 만들고, 이를 표준자세로 변형하여 기존의 의상 착용기술을 보다 손쉽게 적용할 수 있다.
도 3을 참조하면, 본 발명에 따른 장치(10)는 인체 모델 형성부(110), 표준 모델화부(130), 가상의상 매칭부(150) 및 자세 복원부(170)를 포함한다.
본 발명에 따른 장치(10)는 외부 카메라 또는 컴퓨터, 모바일 등의 장치로부터 대상 인물의 이미지와 의상 이미지를 입력으로 받아, 가상 착용 결과 이미지를 출력한다.
본 발명의 상기 장치(10)는 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 인체 모델 형성부(110), 상기 표준 모델화부(130), 상기 가상의상 매칭부(150) 및 상기 자세 복원부(170)의 구성은 상기 장치(10)에서 실행되는 상기 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용을 수행하기 위한 소프트웨어에 의해 제어될 수 있다.
상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 인체 모델 형성부(110), 상기 표준 모델화부(130), 상기 가상의상 매칭부(150) 및 상기 자세 복원부(170)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
상기 인체 모델 형성부(110)는 대상 인물의 이미지를 분석하여 골격과 체형 윤곽을 추정하고, 상기 추정된 골격과 체형 윤곽을 3차원 인체 조인트 및 체형 윤곽과 일치하도록 최적화를 수행하여 3차원 인체 모델을 형성한다.
상기 인체 모델 형성부(110)는 대상 인물 이미지를 입력받고, 이미지 분석을 통하여 인체 모델을 형성한다. 상기 인체 모델은 대상 인물 이미지의 골격 추정으로 대상 인물의 신체 특징을 반영하여 개별화될 수 있다.
대상 인물의 골격 분포로는, 1) 이마, 2) 턱, 3) 어깨(좌), 4) 어깨(우), 5) 팔꿈치(좌), 6) 팔꿈치(우), 7) 손목(좌), 8) 손목(우), 9) 골반(좌), 10) 골반(우), 11) 무릎(좌), 12) 무릎(우), 13) 발목(좌)및 14) 발목(우) 등이 있을 수 있다.
또한, 상기 추정된 골격과 체형 윤곽을 3차원 인체 조인트 및 체형 윤곽과 일치하도록 최적화를 수행하여 3차원 인체 모델을 형성하는 것은 이미 일반화되어 있는 기술을 적용할 수 있다.
상기 표준 모델화부(130)는 상기 3차원 인체 모델을 미리 설정된 표준 자세로 변환한다. 상기 표준 모델화부(130)는 상기 3차원 인체 모델에서 색상정보를 입힌 후 이를 다시 표준 자세로 변형할 수 있다. 일반적으로 3차원 인체 모델은 골격 기반의 모델을 사용하므로, 자세를 바꾸는 것은 일반적으로 알려진 기술로 구현 가능하다.
상기 표준 자세는 대상 인물의 인체 변형으로 인해 의상 착용이 방해 받지 않는 자세이다. 예를 들어, 신체 중 일부가 중복되거나 가려지지 않도록 차려 자세 또는 팔과 다리를 살짝 벌린 자세일 수 있다.
상기 가상의상 매칭부(150)는 상기 표준 자세(3차원 인체 모델)를 2차원 인체 모델로 매핑하여 상기 2차원 인체 모델과 의상 이미지를 결합한다. 상기 가상의상 매칭부(150)는 상기 표준 모델화부(130)에서 변형된 표준 자세를 2차원 이미지로 다시 매핑한 후, 이미지 가상 의상 착용기술을 적용한다.
여기서, 상기 의상 이미지를 획득하고 변형하는 과정을 거칠 수 있다. 상기 의상 이미지는 모델이 착용하지 않은 의상의 이미지만으로 구성되거나, 모델이 착용한 경우에는 의상 이미지만을 추출하여 사용한다.
획득된 의상 이미지를 분석하고 상기 2차원 인체 모델인 표준 자세로부터 표준 자세 정보를 추출하여 매핑하고, 이미지 가상 의상 착용 매칭 알고리즘을 적용한다.
이때, 상기 의상 이미지를 상기 대상 인물의 인체 모델에 기초하여 기하 변형할 수 있다. 즉, 대상 인물의 사이즈 및 인체 특징에 따라 의상 이미지가 변형된다.
상기 자세 복원부(170)는 결합된 상기 2차원 인체 모델과 의상 이미지를 3차원 모델로 복원하고, 복원된 3차원 모델을 상기 대상 인물의 원(처음) 자세로 변환하여 가상 의상 착용 결과 이미지를 출력한다.
상기 자세 복원부(170)는 상기 대상 인물의 원 자세가 되도록 골격각을 변경하고, 3차원 모델 상태를 이미지로 만들어 최종 결과 이미지를 제공한다.
기존의 방식은 대상의 이미지를 그대로 사용하여 착용기술을 적용하기 어렵거나 자연스러운 이미지를 생성하기 어려우나, 본 발명에 따른 기술을 사용하며 쉽고 자연스러운 결과를 얻을 수 있다. 또한, 다양한 자세의 대상 인물의 영상을 사용할 수 있어, 사용자의 편이성을 증대시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법을 설명하기 위한 개념도이다. 도 5는 본 발명의 일 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법의 흐름도이다.
본 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법은, 도 3의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다.
따라서, 도 3의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. 또한, 본 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법은 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
도 4 및 도 5를 참조하면, 본 실시예에 따른 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법은, 대상 인물의 이미지를 분석하여 추정된 골격과 체형 윤곽을 3차원 인체 조인트 및 체형 윤곽과 일치하도록 최적화를 수행하여 3차원 인체 모델을 형성한다(단계 S1).
본 발명에서는 외부 카메라 또는 컴퓨터, 모바일 등의 장치로부터 대상 인물의 이미지와 의상 이미지를 입력으로 받아, 가상 착용 결과 이미지를 출력한다.
구체적으로, 대상 인물의 이미지를 받아 분석하여 골격과 체형 윤곽을 추정한다(도 4의 S21). 상기 추정된 골격과 체형 윤곽을 3차원 인체 조인트 및 체형 윤곽과 일치하도록 최적화를 수행하여 3차원 인체 모델을 형성한다(도 4의 S23).
상기 대상 인물 이미지를 입력받고, 이미지 분석을 통하여 인체 모델을 형성한다. 상기 인체 모델은 대상 인물 이미지의 골격 추정으로 대상 인물의 신체 특징을 반영하여 개별화될 수 있다.
대상 인물의 골격 분포로는, 1) 이마, 2) 턱, 3) 어깨(좌), 4) 어깨(우), 5) 팔꿈치(좌), 6) 팔꿈치(우), 7) 손목(좌), 8) 손목(우), 9) 골반(좌), 10) 골반(우), 11) 무릎(좌), 12) 무릎(우), 13) 발목(좌)및 14) 발목(우) 등이 있을 수 있다.
또한, 상기 추정된 골격을 3차원 인체 조인트와 일치하도록 최적화를 수행하여 3차원 인체 모델을 형성하는 것은 이미 일반화되어 있는 기술을 적용할 수 있다.
상기 3차원 인체 모델을 미리 설정된 표준 자세로 변환한다(단계 S2). 이때, 상기 3차원 인체 모델에서 색상정보를 입힌 후 이를 다시 표준 자세로 변형할 수 있다. 일반적으로 3차원 인체 모델은 골격 기반의 모델을 사용하므로, 자세를 바꾸는 것은 일반적으로 알려진 기술로 구현 가능하다.
상기 표준 자세는 대상 인물의 인체 변형으로 인해 의상 착용이 방해 받지 않는 자세이다. 예를 들어, 신체 중 일부가 중복되거나 가려지지 않도록 차려 자세 또는 팔과 다리를 살짝 벌린 자세일 수 있다.
상기 표준 자세(3차원 인체 모델)를 2차원 인체 모델로 매핑하여 의상 이미지와 결합한다(단계 S3). 상기 변형된 표준 자세를 2차원 이미지로 다시 매핑한 후, 이미지 가상 의상 착용기술을 적용한다.
한편, 상기 의상 이미지를 획득하고, 변형하는 과정을 거칠 수 있다. 상기 의상 이미지는 모델이 착용하지 않은 의상의 이미지만으로 구성되거나, 모델이 착용한 경우에는 의상 이미지만을 추출하여 사용한다.
구체적으로, 획득된 의상 이미지를 분석하고(단계 S31), 상기 2차원 인체 모델인 표준 자세로부터 표준 자세 정보를 추출하여 매핑하고, 이미지 가상 의상 착용 매칭 알고리즘을 적용한다(단계 S33).
이때, 상기 의상 이미지를 상기 대상 인물의 인체 모델에 기초하여 기하 변형할 수 있다(단계 S35). 즉, 대상 인물의 사이즈 및 인체 특징에 따라 의상 이미지가 변형된다.
상기 2차원 인체 모델과 의상 이미지의 결합을 3차원 모델로 복원하고(단계 S4), 복원된 3차원 모델을 상기 대상 인물의 원(처음) 자세로 변환하여 가상 의상 착용 결과 이미지를 출력한다(단계 S5).
상기 3차원 모델과 대상 영역에 맞도록 기하 변형된 의상을 합성하고 영역을 생성한 후(단계 S27), 상기 대상 인물의 원 자세가 되도록 골격각을 변경한다(단계 S29). 이에 따라, 3차원 모델 상태를 이미지로 만들어 가상 의상 최종 결과 이미지를 제공한다.
기존의 방식은 대상의 이미지를 그대로 사용하여 착용기술을 적용하기 어렵거나 자연스러운 이미지를 생성하기 어려우나, 본 발명에 따른 기술을 사용하며 쉽고 자연스러운 결과를 얻을 수 있다. 또한, 다양한 자세의 대상 인물의 영상을 사용할 수 있어, 사용자의 편이성을 증대시킬 수 있다.
이와 같은, 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
패션 및 액세서리를 포함한 패션산업은 세계전체 산업의 20% 정도의 큰 시장이다. 인터넷 활성화와 함께 온라인 패션몰의 매출 규모는 매년 급속히 증가하고 있다. 미국의 경우 2017년 32조 규모이며, 유럽의 경우 16조원 규모로 추산된다. 또한, 매년 5~10%정도의 증가율을 보인다고 한다. 국내의 경우 2017년 추산 약 6000억원으로 전체 온라인시장의 10%에 달한다.
현재 가상의상 착용기술은 의상모델을 사람의 힘으로 구성하는 방식을 사용하고 있어 제약이 많으며, 자동화하는 기술을 등에서 개발 중이다.
기존의 방식은 대상의 이미지를 그대로 사용하여 착용기술을 적용하기 어렵거나 자연스러운 이미지를 생성하기 어려우나, 본 발명의 기술을 사용하며 쉽고 자연스러운 결과를 얻을 수 있다. 또한, 다양한 자세의 대상 인물의 영상을 사용할 수 있어, 사용자의 편이성이 늘어날 것으로 기대된다.
10: 가상의상 착용 장치
110: 인체 모델 형성부
130: 표준 모델화부
150: 가상의상 매칭부
170: 자세 복원부
110: 인체 모델 형성부
130: 표준 모델화부
150: 가상의상 매칭부
170: 자세 복원부
Claims (5)
- 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 장치에서 수행되는 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법에 있어서,
2차원의 대상 인물의 이미지를 분석하여 추정된 골격과 체형 윤곽을 3차원 인체 조인트 및 체형 윤곽과 일치하도록 최적화를 수행하여 3차원 인체 모델을 형성하는 단계;
상기 3차원 인체 모델을 미리 설정된 표준 자세로 변환하는 단계;
상기 표준 자세의 3차원 인체 모델을 2차원 인체 모델로 매핑하여 의상 이미지와 결합하는 단계;
상기 2차원 인체 모델과 의상 이미지의 결합을 3차원 인체 모델을 이용하여 의상이 결합된 3차원 모델로 복원하는 단계; 및
복원된 3차원 모델을 골격각을 변경함으로써 상기 대상 인물의 원 자세로 변환하여 가상 의상 착용 결과 이미지를 출력하는 단계;를 포함하고,
상기 표준 자세의 3차원 인체 모델을 2차원 인체 모델로 매핑하여 의상 이미지와 결합하는 단계는,
상기 표준 자세를 2차원 인체 모델로 매핑하는 단계; 및
상기 2차원 인체 모델에 상기 의상 이미지를 결합하여 이미지 가상 의상을 착용하는 단계;를 포함하며,
상기 표준 자세는 상기 대상 인물의 의상 착용에 방해받지 않도록 하는 소정의 자세인 것을 특징으로 하고,
상기 추정된 골격은,
이마, 턱, 좌우 어깨, 좌우 팔꿈치, 좌우 손목, 좌우 골반, 좌우 무릎 및 좌우 발목인 것을 특징으로 하는, 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법.
- 삭제
- 제1항에 있어서,
상기 의상 이미지를 획득하는 단계;
획득된 의상 이미지를 분석하여 상기 2차원 인체 모델인 표준 자세와 매칭하는 단계; 및
상기 의상 이미지를 상기 대상 인물의 인체 모델에 기초하여 기하 변형하는 단계;를 더 포함하는, 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법.
- 제1항 및 제3항의 어느 하나의 항에 따른 상기 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
- 2차원의 대상 인물의 이미지를 분석하여 골격과 체형 윤곽을 추정하고, 상기 추정된 골격과 체형 윤곽을 3차원 인체 조인트 및 체형 윤곽과 일치하도록 최적화를 수행하여 3차원 인체 모델을 형성하는 인체 모델 형성부;
상기 3차원 인체 모델을 미리 설정된 표준 자세로 변환하는 표준 모델화부;
상기 표준 자세로 변형된 3차원 인체 모델을 2차원 인체 모델로 매핑 후 의상 이미지와 결합하는 가상의상 매칭부; 및
상기 2차원 인체 모델과 의상 이미지의 결합을 3차원 인체 모델로 복원하고, 복원된 3차원 모델을 골격각을 변경함으로써 상기 대상 인물의 원 자세로 변환하여 가상 의상 착용 결과 이미지를 출력하는 자세 복원부;를 포함하고,
상기 가상의상 매칭부는,
상기 표준 자세를 2차원 인체 모델로 매핑하고, 상기 2차원 인체 모델에 상기 의상 이미지를 결합하여 이미지 가상 의상을 착용시키며,
상기 표준 자세는 상기 대상 인물의 의상 착용에 방해받지 않도록 하는 소정의 자세인 것을 특징으로 하고,
상기 추정된 골격은,
이마, 턱, 좌우 어깨, 좌우 팔꿈치, 좌우 손목, 좌우 골반, 좌우 무릎 및 좌우 발목인 것을 특징으로 하는, 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190143249A KR102365750B1 (ko) | 2019-11-11 | 2019-11-11 | 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190143249A KR102365750B1 (ko) | 2019-11-11 | 2019-11-11 | 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210056595A KR20210056595A (ko) | 2021-05-20 |
| KR102365750B1 true KR102365750B1 (ko) | 2022-02-22 |
Family
ID=76142758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190143249A KR102365750B1 (ko) | 2019-11-11 | 2019-11-11 | 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102365750B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240081670A (ko) | 2022-11-30 | 2024-06-10 | 광운대학교 산학협력단 | 가상 의상 착용 시스템 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724046A (zh) * | 2021-08-31 | 2021-11-30 | 厦门预演网络科技有限公司 | 一种三维模拟展示方法和系统 |
| KR102502148B1 (ko) * | 2022-02-04 | 2023-02-23 | 송정욱 | 온라인 의류 판매 플랫폼 서비스 제공 방법 및 장치 |
| KR102482092B1 (ko) * | 2022-02-07 | 2022-12-29 | 주식회사 우알롱 | 온라인 의류 판매 및 관리 플랫폼 서비스 제공 방법 및 장치 |
| KR20230128764A (ko) | 2022-02-28 | 2023-09-05 | 한국전자통신연구원 | 조명 변화에 강인한 가상 착용 이미지 생성 장치 및 이를 이용한 방법 |
| CN116702501B (zh) * | 2023-06-26 | 2024-03-12 | 四川大学 | 基于数据模型的服装设计系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101707707B1 (ko) * | 2012-12-14 | 2017-02-16 | 한국전자통신연구원 | 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템 |
| KR101728588B1 (ko) * | 2014-03-27 | 2017-05-02 | 한국전자통신연구원 | 디지털 의류를 이용하여 가상 체험 서비스 방법을 제공하는 스마트 단말 및 가상 체험 제공 서버 |
| KR101767144B1 (ko) * | 2015-08-13 | 2017-08-11 | (주)에프엑스기어 | 의상의 3차원 모델 생성 장치, 방법 및 이를 위한 컴퓨터 프로그램 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2734143C (en) | 2008-08-15 | 2021-08-31 | Brown University | Method and apparatus for estimating body shape |
| KR101671649B1 (ko) | 2014-12-22 | 2016-11-01 | 장석준 | 신체 데이터와 의류 데이터를 조합한 3d 합성 이미지 생성 방법 및 시스템 |
| KR101775327B1 (ko) * | 2015-12-10 | 2017-09-19 | 주식회사 매니아마인드 | 가상현실에서의 의류 피팅방법 및 피팅프로그램 |
| KR101955813B1 (ko) | 2017-09-08 | 2019-03-08 | 한밭대학교 산학협력단 | 가상-증강현실피팅을 활용한 쇼핑 중계시스템 및 운영방법 |
| KR20190071546A (ko) | 2017-12-14 | 2019-06-24 | 박상선 | 가상 드레싱 룸 시스템 |
-
2019
- 2019-11-11 KR KR1020190143249A patent/KR102365750B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101707707B1 (ko) * | 2012-12-14 | 2017-02-16 | 한국전자통신연구원 | 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템 |
| KR101728588B1 (ko) * | 2014-03-27 | 2017-05-02 | 한국전자통신연구원 | 디지털 의류를 이용하여 가상 체험 서비스 방법을 제공하는 스마트 단말 및 가상 체험 제공 서버 |
| KR101767144B1 (ko) * | 2015-08-13 | 2017-08-11 | (주)에프엑스기어 | 의상의 3차원 모델 생성 장치, 방법 및 이를 위한 컴퓨터 프로그램 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240081670A (ko) | 2022-11-30 | 2024-06-10 | 광운대학교 산학협력단 | 가상 의상 착용 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210056595A (ko) | 2021-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102365750B1 (ko) | 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| Yang et al. | Physics-inspired garment recovery from a single-view image | |
| KR101775327B1 (ko) | 가상현실에서의 의류 피팅방법 및 피팅프로그램 | |
| CN111787242B (zh) | 用于虚拟试衣的方法和装置 | |
| Hasler et al. | Estimating body shape of dressed humans | |
| Stoll et al. | Video-based reconstruction of animatable human characters | |
| US9147207B2 (en) | System and method for generating image data for on-line shopping | |
| KR101894299B1 (ko) | 이미지 기반의 가상 드레싱 시스템 및 방법 | |
| Yang et al. | Detailed garment recovery from a single-view image | |
| US8976230B1 (en) | User interface and methods to adapt images for approximating torso dimensions to simulate the appearance of various states of dress | |
| US20050234782A1 (en) | Clothing and model image generation, combination, display, and selection | |
| WO2018029670A1 (en) | System, device, and method of virtual dressing utilizing image processing, machine learning, and computer vision | |
| KR102195190B1 (ko) | 가상 의상 피팅 장치 및 방법 | |
| US20130170715A1 (en) | Garment modeling simulation system and process | |
| US20130173226A1 (en) | Garment modeling simulation system and process | |
| CN109427007A (zh) | 基于多视角的虚拟试衣方法 | |
| KR101072944B1 (ko) | 3차원 인체 모델 생성 시스템 및 그 방법 | |
| Buxton et al. | Reconstruction and interpretation of 3D whole body surface images | |
| Bang et al. | Estimating garment patterns from static scan data | |
| Chen et al. | Reconstructing 3D human models with a Kinect | |
| JP2002269580A (ja) | 動画像生成システム | |
| CN114170250B (zh) | 图像处理方法、装置和电子设备 | |
| KR20170019917A (ko) | 의상의 3차원 모델 생성 장치, 방법 및 이를 위한 컴퓨터 프로그램 | |
| KR20170081544A (ko) | 체험 아이템 3d 복원 장치 및 방법 | |
| Ram et al. | A review on virtual reality for 3D virtual trial room |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |