KR20220000123A - 키포인트 기반 2d 가상 피팅 방법 - Google Patents

Abstract

본 발명은 키포인트 2D 옷 가상 피팅 방법에 관한 것이다. 고객이 선택한 2D 옷 이미지를 고객의 신체에 착용된 형태의 이미지를 표출하여 보여 주는 개선된 방법에 관한 발명으로, 선택한 옷 모델의 키포인트와 착용될 신체 부위에서의 옷 위치 키포인트들을 대응 매칭하도록 하여 보다 정확해진 옷 이미지 워핑 방법 및 이를 고객 신체 이미지에 자연스럽게 합성하여 최종 옷 가상 피팅 이미지를 표출하는 방법을 제공한다.

Description

키포인트 기반 2D 가상 피팅 방법{METHOD FOR 2D VIRTUAL FITTING BASED KEY-POINT}

본 발명은 고객의 사진 이미지에 고객이 선택한 옷 이미지를 입혀 실제 입어보지 않아도 선택한 옷을 입어보고 찍은 사진과 같은 자연스러운 사진 이미지를 합성하여 출력하여 주는 방법에 관한 것으로 옷을 비롯한 다양한 신체 착용 물체(안경, 신발, 액세사리, 등)를 착용하지 않아도, 착용한 후에 촬영된 사진 이미지를 얻는 가상 피팅 분야에 속하는 기술로, 본 발명은 특히 3D 모델을 이용하지 않고 2D 이미지 만으로 가상 피팅을 달성한다.

온라인 구매의 경우에는 구매하고자 하는 옷을 직접 입어보지 못하기 때문에 구매하고자 하는 옷이 자신의 몸에 얼마나 잘 어울리는 지를 판단하기 어렵다. 따라서, 최근에는 옷 매장에 방문한 고객이 키오스크에 서서 자신의 신체 사진을 촬영하고 리스트된 옷들 가운데, 하나를 선택하면 선택한 옷을 자신의 신체 사진에 착용시켜 키오스크 디스플레이 화면에 표출하여 주는 가상 피팅 기술이 소개되어 전개되고 있다.

그런데, 이러한 가상 피팅 기술은 대부분 3D 신체 모델과 3D 의상 모델을 이용하여 수행하는 3D 기반 가상 피팅 기술이다. 이러한 3D 기반 가상 피팅 기술은 현재 가상 피팅을 성공적으로 구현해놓고 있다. 그러나, 이러한 3D 기반 가상 피팅 기술은 3D 카메라 등의 고가 장비를 필요로 하는 것 뿐만 아니라 매장의 옷에 대한 3D 의상 모델링을 필요로 하는 데, 실제 옷 한벌당 3D 의상 모델링 작업을 수행하는 데는 전문인력이 전문 툴을 가지고도 1~2 시간이 소요되는 작업으로 현실적으로 매장에 진열되는 수백벌~수천벌의 옷들을 계절별로 작업하기가 매우 부담이 되기 때문에 훌륭한 기술임에도 불구하고 상업적으로는 활성화되지 못하고 있다.

이에 반하여, 매장에 진열되는 의상들의 2D 이미지 사진은 손쉽게 촬영이 가능하며, 이 2D 의상 사진들로만 충분히 촬영된 고객의 몸에 입혀 표출될 수 있어 상업적으로 전개되는 데는 크게 유용하기 때문에 2D 이미지 기반 가상 피팅 기술이 활발히 전개되고 있다.

현재 국내외적으로 개발되고 있는 2D 이미지 기반 가상 피팅은 여러 상황의 경우에 부자연스러운 가상 피팅 이미지를 표출한다. 예를 들어, 고객이 긴팔 소매 브라우스를 입고 있는 고객이 민소매 티셔츠를 골라 가상 피팅하는 경우에 긴팔 소매로 가려졌던 피부색 부분을 제대로 복원해 못하거나, 목부분이 가려진 옷을 입은 고객이 목이 터진 티셔츠를 선택하는 경우에 목 부분을 제대로 복원해내지 못한다. 이러한 문제의 원인 중의 하나는 옷으로 가려진 신체 부분을 정확히 도출해내지 못하고, 잘못 도출된 옷 착용 신체 부위에 선택한 옷이 제대로 워핑되어 표출되지 못하기 때문이다.

1. 한국공개특허 제10-2007-0010702(공개일 : 2007. 1. 24)"3차원 가상 캐릭터를 이용한 가 상 피팅 서비스 제공 방법 및 가상 피팅 서버" 2. 한국공개특허 제10-2020-0071196(공개일 : 2020. 06. 19) “얼굴인식 기반 가상 피팅 시스템" 2. 한국공개특허 제10-2020-0034028(공개일 : 2020. 03. 31) “인공지능 기반 가상 피팅 시스템 및 방법"

본 발명은 크게 1) 의상 이미지 워핑 단계와 2) 가상 옷합성 단계로 구성된다. 1) 의상 이미지 워핑 단계에서는 고객 자세와 현재 착용 의상 형태 (팔을 약간 펼치고 있는 자세, 긴 머리카락으로 상체 일부가 가려짐, 목 부분이 가려짐, 긴팔 소매 착용 등)에 관계없이, 고객이 선택한 옷 모델 이미지가 고객 착용 신체 부분에 알맞는 형태로 변형되어(워핑되어) 착용될 형태로의 옷 이미지를 계산하여 구한다. 2) 가상 옷 합성단계에서는 신체의 다른 부분(예; 긴 머리 카락)에 의해 가려져야 하는 부분은 원래 이미지 픽셀로, 가려지지 않고 선택한 옷 모델이 착용되어야 할 부분은 앞의 워핑 단계에서 구한 워핑된 옷 이미지의 픽셀로 페인팅하여, 최종적으로 고객 신체에 합성된 선택 옷 착용 신체 이미지를 얻는다.

현재의 2D 이미지 기반 가상 피팅 방법은 다른 본 발명의 주요 기술은 1) 워핑 단계에서 고객의 현재 착용 옷과 신체 자세에 상관 없이 정확하게 착용되어 될 신체 부위에 맞는 형태로의 선택 옷 모델 이미지의 변형(워핑)이 키포인트 대응을 이용한 워핑 방법의 고안, 2) 가상 옷 합성 단계에서 어텐션(attention) U-Net 기술을 도입하여 보다 정교한 신체 부위 (예, 손가락 부분 등)의 복원 표출을 이미지 합성을 위해 지원한 점 등이다.

본 발명은 상기 해결하고자 하는 과제의 1) 워핑 단계에서의 부적절한 워핑 옷 이미지 생성 문제, 2) 가상 옷 합성 단계에서의 부정확 신체 부위 복원 문제를 다음과 같은 방법으로 해결한다.

1)부정확한 워핑 옷 이미지 생성

2D 이미지 워핑은 기본적으로 TPS (Thin Plate Spline) 매핑을 이용한다. TPS 매핑의 파라미터들을 두 이미지 사이의 대응점들을 일치시켜 계산된다. 그러나, 기존의 방법들은 이러한 워핑 파라미터들을 두 이미지들의 형태 컨텍스트 매칭등을 통해서 학습하는 것을 제안한다. 텍스처 및 색상에 관계없이 형태(모양)만으로 정확한 대응점 일치시키는 것은 한계가 있다. 본 발명은 ①밀접포즈(dense pose) 신체 부위 추정 방법으로 착용된 옷에 관계없이 옷 착용 신체 부분을 정확히 파악해내고, ② 선택 옷의 키포인트들에 대응하는 옷 착용 신체 부분에서의 키포인트를 추정하고, ③ 추정된 신체 옷 착용 부위의 키포인트와 선택한 옷 모델의 키포인트들을 매핑시켜 2D TPS(Thin Plate Spline)를 구해 이를 이용하여 신체부분에 착용될 형태로 워핑된(변형된) 선택 옷 이미지를 생성하는 방법으로 보다 정확한 워핑 옷 생성 방법을 제공한다.

2) 가상 옷 합성 단계에서의 부정확 신체 부위 복원

이미지 합성시에 원래 고객 신체 부위의 복원을 위해 기존은 인코더/디코더 구조의 U-Net 을 통해 해당 이미지 부분을 복원한다. 그런데, 인코딩 과정에서 상실된 픽셀의 위치 정보는 바이패스 를 통한 디코딩 부분에서 일부 복원되지만 완벽하지 않다. 본 발명은 강조되어야 신체 부위 이미지 의 정교한 복원을 위해 어텐션 아이디어를 활용하여 개선한다. 기존의 방법이 U-Net 를 사용한 데 비해 본 발명은 attention U-Net 을 통한 학습을 통해 보다 정확한 신체 부위 복원을 개선하였다.

본 발명은 온라인에 옷 쇼핑 사이트에서도 고객의 자신의 신체 사진을 올리고 리스트된 의상을 선택하면 선택한 옷이 착용된 자신의 신체 이미지를 볼 수있으므로, 키오스크에서의 스마트 미러 구축 뿐만 아니라 온라인 옷 구매 사이트에서도 활용될 수있다. 또한 같은 기술을 활용하면 안경, 신발,액세사리 등의 가상 피팅 구현도 가능하다.

도 1은 본 발명의 방법의 동작 구조를 도시한 블록도이다.
도 2는 본 발명에서 사용한 모델 옷의 키포인트 위치를 나타낸 그림이다.
도 3은 밀접 포즈 방법에 의한 신체 부위 추정 결과 이미지와 기존 방법(사람 파서) 과의 비교를 보여주는 그림이며, (a) 원 사람 이미지, (b) 기존 사람 파서 방법에 의한 사람 신체 추정 방법 결과, (c) (b) 이미지에서 몸체 부분 추출, (d) 밀접 포즈 방법에 의한 신체 부위 추정 이미지이다.
도 4는 본 발명에서 제안한 모델 옷의 키포인트 및 밀접 포즈 방법 기반으로 착용 신체 부위의 키포인트 추정 방법 동작 구조를 나타낸 그림이다.
도 5는 본 발명에서 제안한 모델 옷의 키포인트 검출 결과 이미지들 및 신체 부위 착용 키포인트 추정 결과 이미지들
도 6은 본 발명 제안 워핑 결과 옷 이미지들이다.
도 7은 본 발명 제안 최종 가상 피팅 결과 이미지들

1) 옷 모델에서의 키포인트 및 키포인트 검출

본 발명에서 채택한 옷 타입은 짧은 소매 상의, 김소매 상의, 짧은 소매 외출 상의, 조끼, 슬링 등 13개 이다. [도 2 (a)]는 이들 중 3가지 타입의 모델 옷에 대해 본 발명에서 채택한 옷 모델의 키포인트 들을 보여준다. 주어지는 모델 옷에 대한 키포인트 검출은 RetinaNet 객체 검출 방법을 채택하였다.

2) 신체 부위 정확 추정

착용 신체 부위에서의 정확한 키포인트 추정을 위해 먼저 정확한 신체 부위 추정이 필요하다. 기존 가상 피팅 방법에서는 사람 파서 추정 방법을 채택하였는 데 이 방법은 이미지의 형태 정보가 이용되기 때문에 착용된 옷의 형태에 따라 신체 부위 추정이 부정확하다. 반면에 본 발명에서 채택한 밀접 포즈 (dense pose) 방법은 3D 신체 모델에 기반하여 학습된 방법이기 때문에 착용 옷 형태 및 색상에 상관없이 잘 추정한다. [도 3]은 이를 보여 준다.

3) 신체 부위에서의 착용 옷 키포인트 추정

1)에서 검출한 옷 모델에서의 키포인트에 대응될 2)에서 추정한 신체 부위에 착용될 옷에서의 대응 키포인트의 추정을 [도 4]에서의 CNN 네트워크 모델로 밀접 포즈 정보 및 옷 모델 키포인트 정보로부터 학습하고 추론에서 추정해낸다.

4) 워핑 옷 이미지 생성

상기 과정 3)에서 구한 착용부위에서의 키포인트 추정 정보와 옷 모델 검출 키포인트와의 대응점 매칭으로 TPS 파라미터를 구하고 이를 통해 착용될 워핑 옷 이미지를 [도 1]의 중간 부분 (warping by keypoint 모듈)에서와 같이 생성한다.

5) [도 1] 하단 Try-on Module 에서 보여 주는 바와 같이 Attention U-Net 을 설계하고 이를 통해 마스크 및 보다 정밀하게 복원된 사람 이미지를 생성하고 이들을 이용해 최종 가상 피팅된 사람 이미지를 합성하여 표출한다.

Claims (4)

1. 본 발명에서 제공한 가상 피팅을 위하여, 착용될 옷 이미지 생성을 위해 키포인트 매칭 기반으로 TPS(Thin Plate Spline) 파라미터를 구하고 이를 이용하여 옷 이미지 워핑을 수행한 방법
   
2. 제 1항에 있어 밀접 포즈(dense pose) 방법을 적용하여 착용될 신체 부위를 정확히 파악하기 위해 사용한 [도 3] 에서 예시된 동작 구조 방법
   
3. [도 1]의 가상 옷 합성 모듈에서 제시한 가상 옷 합성 동작 구조 방법
   
4. 가상 옷 합성 단계에서의 보다 정확한 신체 부위 복원을 위해 본 발명에서 제공한 Attention U-Net 을 적용한 방법
   

Images