KR102195190B1

KR102195190B1 - 가상 의상 피팅 장치 및 방법

Info

Publication number: KR102195190B1
Application number: KR1020180102149A
Authority: KR
Inventors: 안희준
Original assignee: 서울과학기술대학교 산학협력단
Priority date: 2018-08-29
Filing date: 2018-08-29
Publication date: 2020-12-24
Also published as: KR20200025181A

Abstract

본 발명은 인터넷 의상 쇼핑몰에서 고객이 자신의 사진이나 아바타를 이용하여 구매 가능성이 있는 의상을 가상에서 자동으로 입어봄을 통하여 구매 결정을 도울 수 있도록 구현한 가상 의상 피팅 장치 및 방법에 관한 것으로, 의상 이미지를 추출하는 의상 이미지 추출부; 의상 이미지의 의상 형태 및 픽셀 정보를 복원하는 의상 복원부; 사용자 이미지를 추출하는 사용자 이미지 추출부; 상기 사용자 이미지 추출부에 의해 추출된 사용자 이미지로부터 사용자의 골격 분포를 추정하며, 추정된 사용자의 골격 분포에 대응하여 상기 의상 이미지 추출부에 의해 추출된 의상 이미지로부터 추정된 모델의 골격 분포를 변화시키는 골격 매칭부; 모델의 골격 분포에 대응하여 상기 의상 복원부에 의해 복원된 의상 이미지의 형태를 변화시키는 형태 변환부; 및 상기 형태 변화부에 의해 형태가 변화된 의상 이미지를 상기 사용자 이미지 추출부에 의해 추출된 사용자 이미지에 결합시키는 이미지 결합부를 포함한다.

Description

가상 의상 피팅 장치 및 방법{DEVICE AND METHOD FOR VIRTUAL CLOTHES FITTING}

본 발명은 가상 의상 피팅 장치 및 방법에 관한 것으로, 더욱 상세하게는 고객이 자신의 사진이나 아바타를 이용하여 인터넷 의상 쇼핑몰에서 구매 가능성이 있는 의상을 가상으로 입어 볼 수 있도록 구현한 가상 의상 피팅 장치 및 방법에 관한 것이다.

의상의 경우에는 온라인 쇼핑을 이용한 구매가 점차 증가하고 있으나 표준화가 쉬운 전자 제품과는 달리, 입는 사람의 체형, 의상의 종류 또는 액세서리와의 조화 등에 따라 고객의 구매 만족도가 크게 차이가 난다.

이에 따라, 의상의 구매 결정을 도와주는 가상 착용 기술들이 개발되고 있다.

기존의 가상 착용 기술은, 의상의 3차원 또는 2차원 영상 모델이 존재한다는 가정에서 시작하는데, 이를 위해 주로 사람이 직접 모델을 생성하는 방법이 사용되었으나, 최근에는 컴퓨터 비전 기법의 발전과 인공지능 기술의 발전으로 영상으로부터 의상모델을 자동으로 추출하는 기술(예를 들어, 패션 파싱 또는 의상 파싱 등)이 시도되고 있다.

컴퓨터 추출 등으로 확보된 의상 사진은, 사용자 사진에 매칭하기 위하여 일정한 형태적 또는 색상적 변형을 필요로 하는데, 이때 사용될 수 있는 기술이 의상을 입고 있는 모델의 골격에 의상을 착용시킬 사용자의 골격을 매칭시키는 방법이다.

구체적으로, 절단된 의상을 새로운 인물의 사진에 덧붙이기를 할 때, 모델의 자세 및 체형을 고려하기 위하여 기하적인 형태 변형하는 방식은 여러 가지가 있을 수 있으나, 많은 경우 컴퓨터 그래픽스 방식인 메쉬기반 변환을 하고 있다.

그러나, 이러한 변화에 있어서, 자동으로 영역 분할된 영상의 변형에 필요한 정보가 충분치 않은 경우가 빈번히 발생한다.

그러한 예로서, 첫째 옷의 몸통 부분과 팔 부분이 구분되지 않고 하나의 도형으로 구성된 경우, 둘째 매칭 대상으로 삼을 수 있는 골격의 위치가 의상의 외부에 위치하는 경우 등이 있을 수 있다.

첫 번째 경우는 팔의 위치 변형 시 옷의 몸통과 팔이 분리되지 않고, 옷이 늘어난 형태로 변형이 되게 되고, 두 번째 경우 정확한 매칭이 되지 않는 문제점을 가지고 있다.

한국공개특허 제10-2017-0016578호 한국공개특허 제10-2014-0015709호

본 발명의 일측면은 가상 의상 착용 시 영상의 정합 성능을 높이기 위해 분할된 영상에서 원래 의상이 갖는 특징 중 착용 시에 필요한 정보를 복원하는 방법을 통하여 의상 착용 시에 자연스러운 착용 효과를 제공할 수 있는 가상 의상 피팅 장치 및 방법을 제공한다.

본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 가상 의상 피팅 장치는, 모델이 촬영된 이미지로부터 의상 이미지를 추출하는 의상 이미지 추출부; 상기 의상 이미지 추출부에서 추출된 의상 이미지의 의상 형태 및 픽셀 정보를 복원하는 의상 복원부; 의상을 착용시킬 사용자가 촬영된 이미지로부터 사용자 이미지를 추출하는 사용자 이미지 추출부; 상기 사용자 이미지 추출부에 의해 추출된 사용자 이미지로부터 사용자의 골격 분포를 추정하며, 추정된 사용자의 골격 분포에 대응하여 상기 의상 이미지 추출부에 의해 추출된 의상 이미지로부터 추정된 모델의 골격 분포를 변화시키는 골격 매칭부; 상기 골격 매칭부에 의하여 변화된 모델의 골격 분포에 대응하여 상기 의상 복원부에 의해 복원된 의상 이미지의 형태를 변화시키는 형태 변환부; 및 상기 형태 변화부에 의해 형태가 변화된 의상 이미지를 상기 사용자 이미지 추출부에 의해 추출된 사용자 이미지에 결합시키는 이미지 결합부를 포함한다.

일 실시예에서, 상기 의상 이미지 추출부는, 의상을 착용하고 있는 모델이 촬영된 이미지로부터 의상 이미지를 추출하는 이미지 추출부; 상기 이미지 추출부에 의해 추출된 의상 이미지로부터 의상 형태를 분할하는 의상 분할부; 및 상기 이미지 추출부에 의해 추출된 의상 이미지로부터 모델의 골격 분포를 추정하는 골격 추정부를 포함할 수 있다.

일 실시예에서, 상기 의상 복원부는, 상기 이미지 추출부에 의해 추출된 의상 이미지로부터 의상의 종류에 따른 구성 요소를 추출하며, 상기 의상 분할부에 의해 분할된 의상 형태로부터 획득한 의상의 색상 변화 정보와 상기 골격 추정부에 의해 추정된 골격 분포로부터 획득한 골격 정보를 이용하여 의상의 경계면을 추출할 수 있다.

일 실시예에서, 상기 의상 복원부는, 추출된 의상 이미지에서 신체에 의하여 가려진 영역을 가려진 영역 주변의 의상의 컬러와 패턴을 이용한 인페인팅(Inpainting) 기법을 이용하여 복원할 수 있다.

본 발명의 일 실시예에 따른 가상 의상 피팅 방법은, 모델이 촬영된 이미지로부터 의상 이미지를 추출하는 단계; 추출된 의상 이미지로부터 의상 형태 및 픽셀 정보를 복원하는 단계; 사용자가 촬영된 이미지로부터 사용자 이미지를 추출하는 단계; 추출된 사용자 이미지로부터 사용자의 골격 분포를 추정하는 단계; 추정된 사용자의 골격 분포에 대응하여 추출된 의상 이미지로부터 추정된 모델의 골격 분포를 변화시키는 단계; 변화된 모델의 골격 분포에 대응하여 복원된 의상 이미지의 형태를 변화시키는 단계; 및 형태가 변화된 의상 이미지를 추출된 사용자 이미지에 결합시키는 단계를 포함한다.

일 실시예에서, 상기 복원하는 단계는, 의상으로 구분된 의상 영역에서 의상 영역 이외의 타 영역에 의해 가려진 영역을 추정하는 단계; 가려진 영역으로 추정된 영역을 포함한 전체 의상 영역에서 의상의 외곽선을 추출하는 단계; 및 추출된 외곽선의 내부 영역의 컬러를 복원하는 단계를 포함할 수 있다.

일 실시예에서, 상기 컬러를 복원하는 단계는, 타 영역에 의해 가려진 영역의 경우, 추출된 의상 이미지에서 타 영역에 의해 가려진 영역을 가려진 영역 주변의 의상의 컬러와 패턴을 이용한 인페인팅(Inpainting) 기법을 이용하여 복원할 수 있다.

일 실시예에서, 상기 의상 이미지의 형태를 변화시키는 단계는, 복원된 의상 이미지의 외곽선 분석을 통해 미분리 영역을 판단하는 단계; 미분리 영역으로 판단된 영역에서 영역 구분을 위한 구분선의 위치를 추정하는 단계; 추정된 구분선의 위치에 대응하여 의상 이미지의 새로운 외곽선이 되는 경계선을 추가하는 단계; 및 모델의 골격 분포에 대응하여 경계선이 추가된 복원된 의상 이미지의 형태를 변형시키는 단계를 포함할 수 있다.

일 실시예에서, 상기 미분리 영역을 판단하는 단계는, 팔 또는 다리 영역이 의상 영역 이외의 타 영역을 경유하고 몸통 영역과 대향하고 있는 경우 분리 영역으로 판단하고, 팔 또는 다리 영역이 의상 영역 이외의 타 영역을 경유하지 않고 몸통 영역과 일체로 형성되어 있는 경우 미분리 영역으로 판단할 수 있다.

일 실시예에서, 상기 의상 이미지의 형태를 변화시키는 단계는, 모델의 골격 분포의 매칭 기준점이 의상의 외부에 위치하는 경우, 의상 영역을 의상의 외부에 위치하는 매칭 기준점까지 확정시킨 후 의상 이미지의 형태를 변화시킬 수 있다.

상술한 본 발명의 일측면에 따르면, 사용자가 촬영된 일반 이미지를 사용하여 모델이 착용하고 있는 의상을 착용시키는 경우에 있어서, 분리되거나 변형돼야 하는 위치를 보다 정확하게 확보할 수 있어 모델의 영상에 맞게 보다 자연스러운 의상의 착용 이미지를 만들 수 있다.

도 1은 본 발명의 일 실시예에 따른 가상 의상 피팅 장치의 개략적인 구성이 도시된 도면이다.
도 2는 본 발명의 일 실시예에 따른 가상 의상 피팅 방법을 설명하는 순서도이다.
도 3은 도 2의 의상 이미지의 형태를 변화시키는 단계를 설명하는 도면이다.
도 4 및 도 5는 도 2의 복원하는 단계를 설명하는 도면들이다.
도 6 및 도 7은 도 2의 의상 이미지의 형태를 변화시키는 단계를 설명하는 도면들이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 가상 의상 피팅 장치의 개략적인 구성이 도시된 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 의상 피팅 장치(10)는, 의상 이미지 추출부(100), 의상 복원부(200), 사용자 이미지 추출부(300), 골격 매칭부(400), 형태 변환부(500) 및 이미지 결합부(600)를 포함한다.

의상 이미지 추출부(100)는, 모델이 촬영된 이미지로부터 의상 이미지를 추출한다.

일 실시예에서, 의상 이미지 추출부(100)는, 추출된 의상 이미지에 따라 의상 형태를 분할하고, 추출된 의상 이미지로부터 모델의 골격 분포를 추정할 수 있다.

일 실시예에서, 의상 이미지 추출부(100)는, 이미지 추출부(110), 의상 분할부(120) 및 골격 추정부(130)를 포함할 수 있다.

이미지 추출부(110)는, 의상을 착용하고 있는 모델이 촬영된 이미지로부터 의상 이미지를 추출한다.

의상 분할부(120)는, 이미지 추출부(110)에 의해 추출된 의상 이미지로부터 의상 형태를 분할한다.

이때, 의상의 형태로는, 1) 긴 소매 웃옷, 2) 짧은 소매 웃옷, 3) 긴바지(차마), 4) 반바지(치마), 5) 원피스, 6) 레깅스, 7) 스카프, 8) 신발, 9) 부츠, 10) 허리벨트, 11) 모자 등이 있을 수 있다.

골격 추정부(130)는, 이미지 추출부(110)에 의해 추출된 의상 이미지로부터 모델의 골격 분포를 추정한다.

그리고, 모델의 골격 분포로는, 1) 이마, 2) 턱, 3) 어깨(좌), 4) 어깨(우), 5) 팔꿈치(좌), 6) 팔꿈치(우), 7) 손목(좌), 8) 손목(우), 9) 골반(좌), 10) 골반(우), 11) 무릎(좌), 12) 무릎(우), 13) 발목(좌) 및 14) 발목(우) 등이 있을 수 있다.

의상 복원부(200)는, 의상 이미지 추출부(100)에서 추출된 의상 이미지의 의상 형태 및 픽셀 정보를 복원한다.

일 실시예에서, 의상 복원부(200)는, 이미지 추출부(110)에 의해 추출된 의상 이미지로부터 의상의 종류에 따른 구성 요소를 추출하며, 의상 분할부(120)에 의해 분할된 의상 형태로부터 획득한 의상의 색상 변화 정보와 골격 추정부(130)에 의해 추정된 골격 분포로부터 획득한 골격 정보를 이용하여 의상의 경계면을 추출할 수 있다.

이때, 의상 복원부(200)는, 추출된 의상 이미지에서 신체에 의하여 가려진 영역을 가려진 영역 주변의 의상의 컬러와 패턴을 이용한 인페인팅(Inpainting) 기법을 이용하여 복원할 수 있다.

여기서, 인페인팅(Inpainting) 기법이라 함은, Navier-Stokes 방정식에 기반한 이미지 보정 방법으로서, 이미지나 영상에서 훼손되거나 지워진 영역을 보간(補間, Interpolation, 사이 채움) 하는 방법으로, 정보가 없는 영역에 대하여 외곽쪽 경계(contour)상의 픽셀을 차례로 상속받아 자동으로 채워 나가는 방법이다.

이때, 상속받을 화소로는, 정보가 있는 영역 상에서 가장 유사도가 높은 화소가 선택되는데, 즉, 가려짐 영역을 보간 하기 위해서 적합한 화소는 가려짐 영역의 위치 근처에 존재하므로 참조할 화소 영역은 보간 해야 하는 영역에서 인접한 거리내의 영역으로 제한하게 된다.

사용자 이미지 추출부(300)는, 의상을 착용시킬 사용자가 촬영된 이미지로부터 사용자 이미지를 추출한다.

일 실시예에서, 사용자 이미지 추출부(300)는, 추출된 사용자 이미지로부터 사용자의 골격을 추정하는 골격 추정부(310)를 포함할 수 있다.

골격 매칭부(400)는, 사용자 이미지 추출부(300에 의해 추출된 사용자 이미지로부터 추정된 사용자의 골격 분포에 대응하여 의상 이미지 추출부(100)에 의해 추출된 의상 이미지로부터 추정된 모델의 골격 분포를 변화시킨다.

형태 변환부(500)는, 골격 매칭부(400)에 의하여 변화된 모델의 골격 분포에 대응하여 의상 복원부(200)에 의해 복원된 의상 이미지의 형태를 변화시킨다.

이미지 결합부(600)는, 형태 변화부에 의해 형태가 변화된 의상 이미지를 사용자 이미지 추출부(300)에 의해 추출된 사용자 이미지에 결합시킨다.

상술한 바와 같은 구성을 가지는 가상 의상 피팅 장치(10)는, 이미지 결합부(600)에 의해 결합된 이미지에서 불필요한 보조 정보를 제거할 수 있다.

상술한 바와 같은 구성을 가지는 가상 의상 피팅 장치(10)는, 사용자가 촬영된 일반 이미지를 사용하여 모델이 착용하고 있는 의상을 착용시키는 경우에 있어서, 분리되거나 변형돼야 하는 위치를 보다 정확하게 확보할 수 있어 모델의 영상에 맞게 보다 자연스러운 의상의 착용 이미지를 만들 수 있다.

상술한 바와 같은 구성을 가지는 가상 의상 피팅 장치(10)는, 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.

상술한 바와 같은 구성을 가지는 가상 의상 피팅 장치(10)의 각 구성에 의한 의상 피팅 방법은 도 2 이하의 방법 설명에서 후술한다.

도 2는 본 발명의 일 실시예에 따른 가상 의상 피팅 방법을 설명하는 순서도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 가상 의상 피팅 방법은, 우선 모델이 촬영된 이미지로부터 의상 이미지를 추출한다(S110).

일 실시예에서, 상술한 단계 S110에서는, 추출된 의상 이미지에 따라 의상 형태를 분할하고, 추출된 의상 이미지로부터 모델의 골격 분포를 추정할 수 있다.

상술한 단계 S110에서 추출된 의상 이미지로부터 의상 형태 및 픽셀 정보를 복원한다(S120).

이때, 복원될 의상의 형태의 종류로는, 1) 긴 소매 웃옷, 2) 짧은 소매 웃옷, 3) 긴바지(차마), 4) 반바지(치마), 5) 원피스, 6) 레깅스, 7) 스카프, 8) 신발, 9) 부츠, 10) 허리벨트, 11) 모자 등이 있을 수 있다.

이때, 단계 S120에 의한 구체적인 복원 방법은 도 4에서 후술하기로 한다.

사용자가 촬영된 이미지로부터 사용자 이미지를 추출한다(S130).

상술한 단계 S130에서 추출된 사용자 이미지로부터 사용자의 골격 분포를 추정한다(S140).

이때, 추정될 골격 분포의 종류로는, 1) 이마, 2) 턱, 3) 어깨(좌), 4) 어깨(우), 5) 팔꿈치(좌), 6) 팔꿈치(우), 7) 손목(좌), 8) 손목(우), 9) 골반(좌), 10) 골반(우), 11) 무릎(좌), 12) 무릎(우), 13) 발목(좌) 및 14) 발목(우) 등이 있을 수 있다.

상술한 단계 S140에서 추정된 사용자의 골격 분포에 대응하여 상술한 단계 S110에서 추출된 의상 이미지로부터 추정된 모델의 골격 분포를 변화시킨다(S150).

사용자의 골격 분포에 대응하여 모델의 골격 분포를 변화시키기 위한 골격간의 기준점이 되는 골격 매칭 포인트(특징점)는, 이마(1), 턱(2), 어깨(좌)(3), 어깨(우)(4), 팔꿈치(좌)(5), 팔꿈치(우)(6), 손목(좌)(7), 손목(우)(8), 골반(좌)(9), 골반(우)(10), 무릎(좌)(11), 무릎(우)(12), 발목(좌)(13) 및 발목(우)(14)가 있다.

다음으로, 골격 매칭 포인트에 대응하여 변화시킬 의상의 기준점이 되는 의상 매칭 포인트 및 해당 의상 매칭 포인트에 사용되는 골격 매칭 포인트는, 1) 긴 소매 웃옷(어깨(좌), 어깨(우), 골반(좌), 골반(우), 팔꿈치(좌), 팔꿈치(우), (손목(좌), 손목(우)), 2) 짧은 소매 웃옷(어깨(좌), 어깨(우), 골반(좌), 골반(우), (손목(좌), 손목(우)), 3) 긴바지(차마)(골반(좌), 골반(우), 무릎(좌), 무릎(우), (발목(좌), 발목(우)), 4) 반바지(치마)(골반(좌), 골반(우), 무릎(좌), 무릎(우)), 5) 원피스(어깨(우), 팔꿈치(좌), 팔꿈치(우), 손목(좌), 손목(우), 골반(좌), 골반(우), 무릎(좌), 무릎(우), 발목(좌), 발목(우)), 6) 레깅스(골반(좌), 골반(우), 무릎(좌), 무릎(우), (발목(좌) 및 발목(우))), 7) 스카프((턱), 어깨(좌), 어깨(우)), 8) 신발(발목(좌), 발목(우)), 9) 부츠(무릎(좌), 무릎(우), 발목(좌), 발목(우)), 10) 허리벨트(골반(좌), 골반(우)), 11) 모자(이마)가 있다.

상술한 단계 S150에서 변화된 모델의 골격 분포에 대응하여 복원된 의상 이미지의 형태를 변화시킨다(S160).

일 실시예에서, 의상 이미지의 형태를 변화시키는 단계(S160)는, 모델의 골격 분포의 매칭 기준점이 의상의 외부에 위치하는 경우, 의상 영역을 의상의 외부에 위치하는 매칭 기준점까지 확정시킨 후 의상 이미지의 형태를 변화시킬 수 있다.

도 3을 참조하면, 도 3의 (a)와 같이 손목이나 팔꿈치 등의 매칭 기준점이 의상의 외부에 위치하는 경우, 도 3의 (b)와 같이 해당 매칭 기준점까지 의상 영역을 확장시키며, 도 3의 (c)와 같이 확장된 기준점을 사용하여 의상 영역이 확장된 이미지를 사용자의 골격 분포에 따라 형태를 변형시킨 후, 도 3의 (d)와 같이 이미지 결합에 필요로 하는 부분을 제외한 영역을 삭제하게 된다.

상술한 단계 S160에서 형태가 변화된 의상 이미지를 상술한 단계 S130에서 추출된 사용자 이미지에 결합시킨다(S170).

일 실시예에서, 상술한 단계 S170는, 의상 이미지를 사용자 이미지에 결합시킨 후에 의상 이미지에서 불필요한 보조 정보를 제거할 수 있다.

상술한 바와 같은 구성을 가지는 가상 의상 피팅 방법은, 사용자가 촬영된 일반 이미지를 사용하여 모델이 착용하고 있는 의상을 착용시키는 경우에 있어서, 분리되거나 변형돼야 하는 위치를 보다 정확하게 확보할 수 있어 모델의 영상에 맞게 보다 자연스러운 의상의 착용 이미지를 만들 수 있다.

도 4은 도 2의 복원하는 단계를 설명하는 순서도이다.

도 4을 참조하면, 복원하는 단계(S120)는, 상술한 단계 S110에서 추출된 의상 이미지 중 의상으로 구분된 의상 영역에서 도 5의 (a)와 같이 의상 영역 이외의 타 영역(예를 들어, 머리카락, 손, 가방 또는 스카프 등)에 의해 가려진 영역을 추정한다(S121).

상술한 단계 S121에서 가려진 영역으로 추정된 영역을 포함한 전체 의상 영역에서 의상의 외곽선을 도 5의 (b)의 점선과 같이 예측 또는 복원시켜 의상 이미지 영역을 복원한다(S122).

상술한 단계 S122에서 추출된 도 5의 (c)의 외곽선의 내부 영역의 컬러를 상술한 인페인팅(Inpainting) 기법을 이용하여 복원시켜(S123) 도 5의 (d)와 같은 결과물을 획득할 수 있다.

일 실시예에서, 컬러를 복원하는 단계(S123)는, 타 영역에 의해 가려진 영역의 경우, 추출된 의상 이미지에서 타 영역에 의해 가려진 영역을 가려진 영역 주변의 의상의 컬러와 패턴을 이용한 인페인팅(Inpainting) 기법을 이용하여 복원할 수 있다.

도 6는 도 2의 의상 이미지의 형태를 변화시키는 단계를 설명하는 순서도이다.

도 6를 참조하면, 의상 이미지의 형태를 변화시키는 단계(S160)는, 상술한 단계 S120에서 복원된 의상 이미지의 외곽선 분석을 통해 미분리 영역을 판단한다(S161).

일 실시예에서, 미분리 영역을 판단하는 단계(S161)는, 팔 또는 다리 영역이 의상 영역 이외의 타 영역을 경유하고 몸통 영역과 대향하고 있는 경우 분리 영역으로 판단하고, 팔 또는 다리 영역이 의상 영역 이외의 타 영역을 경유하지 않고 몸통 영역과 일체로 형성되어 있는 경우 미분리 영역으로 판단할 수 있다.

즉, 도 7의 (a)를 참조하면, 좌측 소매의 경우에는 팔꿈치 관절과 몸통 영역 사이에 의상 영역 이외의 타 영역이 위치하고 있는 바 분리 영역으로 판단하게 되고, 우측 소매의 경우에는 팔꿈치 관절과 몸통 영역 사이에 의상 영역 이외의 타 영역이 위치하고 있지 아니한 미분리 영역이 위치하고 있다고 판단할 수 있다.

상술한 단계 S161에서 미분리 영역으로 판단된 영역에서 영역 구분을 위한 구분선의 위치를 추정한다(S162).

일 실시예에서, 상술한 단계 S162에어서 구분선 위치 추정은, 미분리 영역이 위치하고 있다고 판단된 도 7의 (b)의 우측의 어깨-팔꿈치-손목 라인과 어깨-엉덩이라인 사이의 영상 정보 또는 기하학적 정보를 이용하여 구분선을 추정할 수 있다.

상술한 단계 S162에서 추정된 구분선의 위치에 대응하여 의상 이미지의 새로운 외곽선이 되는 경계선(boundary)을 도 7의 (c)와 같이 추가한다(S163).

모델의 골격 분포에 대응하여 상술한 단계 S163에서 경계선이 추가된 복원된 의상 이미지의 형태를 사용자의 골격 분포에 따라 변화된 모델의 골격 분포에 대응하여 변형시킨다(S164).

도 7의 (d)를 참조하면, 도 2에서 상술한 단계 S150에서 변화된 모델의 골격 분포에 대응하여 좌측팔뿐만 아니라 새롭게 경계선이 추가된 우측팔 역시 변형된 것을 확인할 수 있다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

패션 및 액세서리를 포함한 패션산업은 전세계 산업의 20%를 차지할 정도로 큰 시장에 해당하며, 인터넷의 활성화와 함께 온라인 패션몰의 매출 규모는 매년 급속하게 증가하고 있다.

온라인 패션몰의 규모는, 미국의 경우 2017년 32조 원, 유럽의 경우 16조 원 규모로 추산되고, 매년 5 내지 10% 정도의 증가율을 보이고 있으며, 국내의 경우 2017년 추산 약 6000억 원으로 전체 온라인 시장의 10%에 달한다.

이에 따라, 본 발명을 통한 온라인 패션몰의 가상 의상 피팅 서비스를 통하여 자연스러운 착용 효과를 제공함으로써, 시장의 주도권을 획득할 수 있을 것이라 예상된다.

10: 가상 의상 피팅 장치 100: 의상 이미지 추출부
110: 이미지 추출부 120: 의상 분할부
130: 골격 추정부 200: 의상 복원부
300: 이미지 추출부 310: 골격 추정부
400: 골격 매칭부 500: 형태 변환부
600: 이미지 결합부

Claims

모델이 촬영된 이미지로부터 의상 이미지를 추출하는 의상 이미지 추출부;
상기 의상 이미지 추출부에서 추출된 의상 이미지의 의상 형태 및 픽셀 정보를 복원하는 의상 복원부;
의상을 착용시킬 사용자가 촬영된 이미지로부터 사용자 이미지를 추출하는 사용자 이미지 추출부;
상기 사용자 이미지 추출부에 의해 추출된 사용자 이미지로부터 사용자의 골격을 추정하고, 추정된 사용자의 골격 분포에 대응하여 상기 의상 이미지 추출부에 의해 추출된 의상 이미지로부터 추정된 모델의 골격 분포를 변화시키는 골격 매칭부;
상기 골격 매칭부에 의하여 변화된 모델의 골격 분포에 대응하여 상기 의상 복원부에 의해 복원된 의상 이미지의 형태를 변화시키는 형태 변환부; 및
상기 형태 변화부에 의해 형태가 변화된 의상 이미지를 상기 사용자 이미지 추출부에 의해 추출된 사용자 이미지에 결합시키는 이미지 결합부를 포함하고,
상기 형태 변환부는,
모델의 골격 분포의 매칭 기준점이 의상의 외부에 위치하는 경우, 의상 영역을 의상의 외부에 위치하는 상기 매칭 기준점까지 의상 영역을 확장시키며, 확장된 기준점을 사용하여 의상 영역이 확장된 이미지를 사용자의 골격 분포에 따라 형태를 변형시킨 후, 이미지 결합에 필요한 부분을 제외한 영역을 삭제하는, 가상 의상 피팅 장치.
제1항에 있어서, 상기 의상 이미지 추출부는,
의상을 착용하고 있는 모델이 촬영된 이미지로부터 의상 이미지를 추출하는 이미지 추출부;
상기 이미지 추출부에 의해 추출된 의상 이미지로부터 의상 형태를 분할하는 의상 분할부; 및
상기 이미지 추출부에 의해 추출된 의상 이미지로부터 모델의 골격 분포를 추정하는 골격 추정부를 포함하는, 가상 의상 피팅 장치.
제2항에 있어서, 상기 의상 복원부는,
상기 이미지 추출부에 의해 추출된 의상 이미지로부터 의상의 종류에 따른 구성 요소를 추출하며, 상기 의상 분할부에 의해 분할된 의상 형태로부터 획득한 의상의 색상 변화 정보와 상기 골격 추정부에 의해 추정된 골격 분포로부터 획득한 골격 정보를 이용하여 의상의 경계면을 추출하는, 가상 의상 피팅 장치.
제3항에 있어서, 상기 의상 복원부는,
추출된 의상 이미지에서 신체에 의하여 가려진 영역을 가려진 영역 주변의 의상의 컬러와 패턴을 이용한 인페인팅(Inpainting) 기법을 이용하여 복원하는, 가상 의상 피팅 장치.
가상 의상 피팅 장치에 의해 수행되는 가상 의상 피팅 방법에 있어서,
의상 이미지 추출부에서, 모델이 촬영된 이미지로부터 의상 이미지를 추출하는 단계;
의상 복원부에서, 추출된 의상 이미지로부터 의상 형태 및 픽셀 정보를 복원하는 단계;
사용자 이미지 추출부에서, 사용자가 촬영된 이미지로부터 사용자 이미지를 추출하는 단계;
골격 매칭부에서, 추출된 사용자 이미지로부터 사용자의 골격 분포를 추정하는 단계;
상기 골격 매칭부에서, 추정된 사용자의 골격 분포에 대응하여 추출된 의상 이미지로부터 추정된 모델의 골격 분포를 변화시키는 단계;
형태 변환부에서, 변화된 모델의 골격 분포에 대응하여 복원된 의상 이미지의 형태를 변화시키는 단계; 및
이미지 결합부에서, 형태가 변화된 의상 이미지를 추출된 사용자 이미지에 결합시키는 단계를 포함하고,
상기 의상 이미지의 형태를 변화시키는 단계에서는,
상기 모델의 골격 분포의 매칭 기준점이 의상의 외부에 위치하는 경우, 의상 영역을 의상의 외부에 위치하는 상기 매칭 기준점까지 의상 영역을 확장시키며, 확장된 기준점을 사용하여 의상 영역이 확장된 이미지를 사용자의 골격 분포에 따라 형태를 변형시키고,
상기 사용자 이미지에 결합시키는 단계에서는,
이미지 결합에 필요한 부분을 제외한 영역을 삭제하는, 가상 의상 피팅 방법.
제5항에 있어서, 상기 복원하는 단계는,
의상으로 구분된 의상 영역에서 의상 영역 이외의 타 영역에 의해 가려진 영역을 추정하는 단계;
가려진 영역으로 추정된 영역을 포함한 전체 의상 영역에서 의상의 외곽선을 추출하는 단계; 및
추출된 외곽선의 내부 영역의 컬러를 복원하는 단계를 포함하는, 가상 의상 피팅 방법.
제6항에 있어서, 상기 컬러를 복원하는 단계는,
타 영역에 의해 가려진 영역의 경우, 추출된 의상 이미지에서 타 영역에 의해 가려진 영역을 가려진 영역 주변의 의상의 컬러와 패턴을 이용한 인페인팅(Inpainting) 기법을 이용하여 복원하는, 가상 의상 피팅 방법.
제5항에 있어서, 상기 의상 이미지의 형태를 변화시키는 단계는,
복원된 의상 이미지의 외곽선 분석을 통해 미분리 영역을 판단하는 단계;
미분리 영역으로 판단된 영역에서 영역 구분을 위한 구분선의 위치를 추정하는 단계;
추정된 구분선의 위치에 대응하여 의상 이미지의 새로운 외곽선이 되는 경계선을 추가하는 단계; 및
모델의 골격 분포에 대응하여 경계선이 추가된 복원된 의상 이미지의 형태를 변형시키는 단계를 포함하는, 가상 의상 피팅 방법.
제8항에 있어서, 상기 미분리 영역을 판단하는 단계는,
팔 또는 다리 영역이 의상 영역 이외의 타 영역을 경유하고 몸통 영역과 대향하고 있는 경우 분리 영역으로 판단하고, 팔 또는 다리 영역이 의상 영역 이외의 타 영역을 경유하지 않고 몸통 영역과 일체로 형성되어 있는 경우 미분리 영역으로 판단하는, 가상 의상 피팅 방법.
삭제