KR20160046471A

KR20160046471A - 가상 피팅 장치 및 이의 가상 피팅 방법

Info

Publication number: KR20160046471A
Application number: KR1020140142363A
Authority: KR
Inventors: 정지원; 김도균; 주은정; 곽영민; 신승호; 한선영
Original assignee: 삼성전자주식회사
Priority date: 2014-10-21
Filing date: 2014-10-21
Publication date: 2016-04-29
Also published as: US20170316617A1; US10152829B2; CN105528799B; WO2016064121A1; EP3211587A1; CN105528799A; KR102240302B1; EP3211587A4

Abstract

가상 피팅 장치 및 이의 가상 피팅 방법이 제공된다. 본 가상 피팅 방법은 사용자를 촬영하여 실사 영상을 획득하고, 사용자의 체형 및 움직임을 바탕으로 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하며, 실사 영상과 가상 영상을 분석하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단하고, 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 출력한다.

Description

가상 피팅 장치 및 이의 가상 피팅 방법{Apparatus and Method for virtual fitting thereof}

본 발명은 가상 피팅 장치 및 이의 가상 피팅 방법에 관한 것으로, 더욱 상세하게는 실사 영상과 가상 영상을 합성하여 사용자에게 실제적인 가상 피팅 경험을 제공할 수 있는 가상 피팅 장치 및 이의 가상 피팅 방법에 관한 것이다.

최근 가상 현실을 이용한 컨텐츠가 차세대 컨텐츠로 급부상하고 있다. 특히, 가상의 공간에서 자신과 동일한 아바타를 통해 가상의 옷을 입어 보고, 옷을 구매하는 가상 피팅(Virtual Fitting)에 대한 각 기업 및 소비자의 관심도 증가하고 있다.

한편, 가상 피팅에서 핵심이 되는 것 중에 하나는 가상 공간상에서 아바타를 통해 입어 본 옷의 느낌이 실제 세상에서 사용자가 입었을 때의 느낌을 그대로 재현해 줄 수 있어야 한다는 것이다. 구체적으로, 가상 공간에서 입어 본 옷이 색상이나 디자인이 자신에게 잘 어울릴지 뿐만 아니라 옷을 직접 입었을 때나 옷을 입고 움직였을 때 불편함이 없는지가 가상 체험에서 확인이 되어야 한다. 실제와 같은 체험을 제공하지 못하는 가상 피팅은 단순히 새로운 기술의 체험이나 재미로 끝나게 되고 구매 등 실제 의미 있는 서비스가 되지 못하는 문제점을 가지게 된다.

이러한 문제점을 해결하기 위해서 가상 피팅은 사용자의 분위기나 실제 모습을 최대한 반영할 수 있어야 하고 가상 공간에서 입어 본 옷이 실제로 사용자의 몸에 얼마나 잘 맞는지 보여 주는 피팅감을 제공할 수 있어야 한다.

종래에는 가상 피팅을 제공하기 위하여 AR(Augmented Reality) 방식과 VR(virtual reality) 방식을 이용하였다. AR 방식은 카메라로부터 사용자의 체형과 움직임이 포함된 실사 영상을 취득한 후 사용자를 분리하고, 가상 옷의 크기와 모습을 분리된 사용자의 모습에 맞춰 변형을 한 후 그 위에 덧씌워서 합성하는 방식이다. VR 방식은 카메라로부터 사용자의 체형과 움직임이 포함된 영상을 취득한 후 사용자와 동일한 체형의 아바타를 생성하고, 아바타에 가상 옷을 입혀서 보여주는 방식이다.

그러나, AR 방식의 경우 사용자의 모습을 그대로 반영하여 자연스러운 모습을 보여주고 있으나 가상 옷을 사용자 영상 위에 단순히 덧입히는 방식이기 때문에 가상 옷이 얼마나 사용자 몸에 잘 맞는지 같은 피팅감 제공이 불가능하다. 또한, 실사 영상에서 사용자가 실제로 입은 옷을 제거하지 못하기 때문에 실제로 입은 옷과 가상 옷이 겹쳐서 표현되는 문제점이 발생한다. 예를 들어, 실제로 긴 팔 셔츠를 입고 있는 상태에서 가상의 옷으로 반소매 또는 민소매 셔츠를 선택할 경우 실제 입은 옷이 그대로 나타나 어색해 보이는 문제점이 발생한다.

그리고, VR 방식의 경우 사용자와 동일한 체형의 아바타를 이용하기 때문에 가상 옷이 사용자 몸에 얼마나 잘 맞는지 같은 피팅감을 정확하게 제공할 수 있고 캣워크, 농구 같은 미리 정의되어 있는 다양한 모션을 적용하여 가상 옷을 입고 움직이는 모습을 볼 수 있다는 장점을 지니고 있다. 반면 렌더링 기술과 3차원 형상 캡쳐링 기술의 한계로 인해 사용자가 아바타를 자신과 동일하게 느끼지 못하고 어색해 하는 문제점이 있다.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자가 가상 피팅 경험시 AR 방식의 실사 영상과 VR 방식의 가상 영상을 합성하여 더욱 실제적이고 피팅감 있는 가상 피팅 영상을 제공할 수 있는 가상 피팅 장치 및 이의 가상 피팅 방법을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 가상 피팅 방법은, 사용자를 촬영하여 실사 영상을 획득하는 단계; 기 사용자의 체형 및 움직임을 바탕으로 상기 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하는 단계; 상기 실사 영상과 가상 영상을 분석하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 단계; 및 상기 실사 영상의 합성 영역 및 상기 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 출력하는 단계;를 포함한다.

그리고, 상기 판단하는 단계는, 상기 실사 영상을 분석하여 상기 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하는 단계; 상기 가상 영상을 분석하여 상기 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하는 단계; 상기 실제 옷이 위치하는 영역과 상기 가상 옷이 위치하는 영역을 비교하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 단계;를 포함할 수 있다.

또한, 상기 합성 영역을 판단하는 단계는, 상기 실제 옷이 위치하는 영역을 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷이 위치하지 않은 영역 중 상기 가상 옷이 위치하는 영역은 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷 및 상기 가상 옷이 위치하지 않은 영역을 상기 실사 영상의 합성 영역으로 판단할 수 있다.

그리고, 실제 액세서리 및 가상 액세서리 중 하나를 선택하는 사용자 명령을 입력받는 단계; 상기 실제 액세서리가 선택된 경우, 상기 실제 액세서리를 포함하는 일정 영역을 상기 실사 영상의 합성 영역으로 판단하고, 상기 가상 액세서리가 선택된 경우, 상기 가상 액세서리를 포함하는 일정 영역을 상기 가상 영상의 합성 영역으로 판단하는 단계;를 포함할 수 있다.

또한, 상기 실사 영상을 획득하는 단계는, 영상 카메라를 이용하여 사용자를 촬영하여 상기 실사 영상을 획득하며, 상기 가상 영상을 획득하는 단계는, 뎁스 또는 영상 카메라를 이용하여 상기 사용자의 체형 및 움직임을 촬영하고, 상기 촬영된 사용자의 체형 및 움직임을 바탕으로 아바타를 생성하여 가상 영상을 획득할 수 있다.

그리고, 상기 출력하는 단계는, 사용자가 착용하고자 하는 가상 옷의 특성 정보를 반영하여 상기 가상 피팅 영상을 생성하는 단계;를 포함할 수 있다.

또한, 상기 생성하는 단계는, 상기 사용자가 움직인 경우, 상기 가상 옷의 특성 정보를 바탕으로 상기 사용자 움직임에 대응되는 상기 가상 옷의 늘어남을 판단하는 단계; 및 상기 가상 옷의 늘어남이 기설정된 경계값 이상인 경우, 상기 가상 피팅 영상에 포함된 사용자 이미지와 가상 옷의 움직임을 중지하거나 움직임의 속도를 제어하는 단계;를 포함할 수 있다. 그리고, 상기 기설정된 경계값은 하나의 특징값이 될 수 있고, 일정한 범위를 가질 수 있다.

그리고, 상기 생성하는 단계는, 상기 사용자가 움직인 경우, 상기 사용자의 체형 변화를 판단하는 단계; 상기 가상 옷의 특성 정보 및 상기 사용자의 체형 변화를 바탕으로 상기 가상 피팅 영상을 생성하는 단계;를 포함할 수 있다.

또한, 상기 생성하는 단계는, 외력 정보를 입력받는 단계; 및 상기 가상 옷의 특성 정보 및 상기 외력 정보를 바탕으로 상기 가상 피팅 영상을 생성하는 단계;를 포함할 수 있다.

그리고, 상기 생성하는 단계는, 상기 가상 옷의 주요 지점 정보를 바탕으로 상기 가상 옷의 주요 지점과 사용자 이미지 상에 매칭되는 지점을 표시하여 상기 가상 피팅 영상을 생성할 수 있다.

한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 가상 피팅 장치는, 사용자를 촬영하여 상기 사용자의 실사 영상을 획득하는 실사 영상 획득부; 상기 사용자의 체형 및 움직임을 바탕으로 상기 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하는 가상 영상 획득부; 상기 실사 영상과 가상 영상을 분석하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 판단부; 상기 실사 영상의 합성 영역 및 상기 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 생성하는 생성부; 및 상기 가상 피팅 영상을 출력하는 출력부;를 포함한다.

그리고, 상기 판단부는, 상기 실사 영상을 분석하여 상기 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하고, 상기 가상 영상을 분석하여 상기 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하며, 상기 실제 옷이 위치하는 영역과 상기 가상 옷이 위치하는 영역을 비교하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단할 수 있다.

또한, 상기 판단부는, 상기 실제 옷이 위치하는 영역을 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷이 위치하지 않은 영역 중 상기 가상 옷이 위치하는 영역은 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷 및 상기 가상 옷이 위치하지 않은 영역을 상기 실사 영상의 합성 영역으로 판단할 수 있다.

그리고, 실제 액세서리 및 가상 액세서리 중 하나를 선택하는 사용자 명령을 입력받는 입력부;를 더 포함하며, 상기 판단부는, 상기 실제 액세서리가 선택된 경우, 상기 실제 액세서리를 포함하는 일정 영역을 상기 실사 영상의 합성 영역으로 판단하고, 상기 가상 액세서리가 선택된 경우, 상기 가상 액세서리를 포함하는 일정 영역을 상기 가상 영상의 합성 영역으로 판단할 수 있다.

또한, 상기 실사 영상 획득부는, 영상 카메라를 이용하여 사용자를 촬영하여 상기 실사 영상을 획득하며, 상기 가상 영상을 획득부는, 뎁스 또는 영상 카메라를 이용하여 상기 사용자의 체형 및 움직임을 촬영하고, 상기 촬영된 사용자의 체형 및 움직임을 바탕으로 아바타를 생성하여 가상 영상을 획득할 수 있다.

그리고, 상기 생성부는, 사용자가 착용하고자 하는 가상 옷의 특성 정보를 반영하여 상기 가상 피팅 영상을 생성할 수 있다.

또한, 상기 생성부는, 상기 사용자가 움직인 경우, 상기 가상 옷의 특성 정보를 바탕으로 상기 사용자 움직임에 대응되는 상기 가상 옷의 늘어남을 판단하고, 상기 가상 옷의 늘어남이 기설정된 경계값 이상인 경우, 상기 가상 피팅 영상에 포함된 사용자 이미지와 가상 옷의 움직임을 중지하거나 움직임의 속도를 제어할 수 있다.

그리고, 상기 생성부는, 상기 사용자가 움직인 경우, 상기 사용자의 체형 변화를 판단하고, 상기 가상 옷의 특성 정보 및 상기 사용자의 체형 변화를 바탕으로 상기 가상 피팅 영상을 생성할 수 있다.

또한, 상기 생성부는, 외력 정보가 입력된 경우, 상기 가상 옷의 특성 정보 및 상기 외력 정보를 바탕으로 상기 가상 피팅 영상을 생성할 수 있다.

그리고, 상기 생성부는, 상기 가상 옷의 주요 지점 정보를 바탕으로 상기 가상 옷의 주요 지점과 사용자 이미지 상에 매칭되는 지점을 표시하여 상기 가상 피팅 영상을 생성할 수 있다.

상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 직접 옷을 입지 않더라도 더욱 실제적이고 피팅감있는 가상 피팅 경험을 통해 자신에게 맞는 옷을 고를 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른, 가상 피팅 장치의 구성을 도시한 블럭도,
도 2는 본 발명의 일 실시예에 따른, 가상 영상 획득부의 구성을 도시한 블럭도,
도 3은 본 발명의 일 실시예에 따른, 판단부의 구성을 도시한 블럭도,
도 4a 내지 도 4e는 본 발명의 일 실시예에 따른, 실사 영상 및 가상 영상을 합성하여 가상 피팅 영상을 생성하는 방법을 도시한 도면,
도 5는 본 발명의 일 실시예에 따른, 생성부의 구성을 도시한 블럭도,
도 6a 내지 도 10b는 본 발명의 다양한 실시예에 따른, 가상 옷의 특성 정보 및 외력 정보 중 적어도 하나를 이용하여 가상 피팅 영상을 처리하는 방법을 설명하기 위한 도면들, 그리고,
도 11은 본 발명의 일 실시예에 따른, 가상 피팅 방법을 설명하기 위한 흐름도이다.

본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

이하에서는 도면을 참조하여 본 발명의 다양한 실시예들에 대해 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 가상 피팅 장치(100)의 구성을 도시한 블럭도이다. 도 1에 도시된 바와 같이, 가상 피팅 장치(100)는 실사 영상 획득부(110), 가상 영상 획득부(120), 판단부(130), 생성부(140) 및 출력부(150)를 포함한다.

실사 영상 획득부(110)는 영상 카메라를 이용하여 사용자를 촬영하여 실사 영상을 획득한다. 이때, 실사 영상 획득부(110)는 사용자의 전신을 촬영하여 실사 영상을 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 사용자의 상반신만을 촬영하여 실사 영상을 획득할 수 있다.

가상 영상 획득부(120)는 사용자의 체형과 움직임을 바탕으로 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득한다. 이때, 사용자에 대응되는 아바타에는 사용자가 입어보고자 하는 가상 옷이 입혀질 수 있다. 가상 영상 획득부(120)에 대해서는 도 2를 참조하여 상세히 설명하기로 한다.

가상 영상 획득부(120)는 도 2에 도시된 바와 같이, 신체 정보 획득부(121), 3D 아바타 생성부(123), 아바타 애니메이션 처리부(125) 및 가상 옷 처리부(127)를 포함한다.

신체 정보 획득부(121)는 뎁스 카메라를 이용하여 획득된 뎁스 정보를 바탕으로 사용자의 체형 정보 및 움직임 정보를 획득한다. 구체적으로, 신체 정보 획득부(121)는 뎁스 카메라를 이용하여 획득된 뎁스 이미지로부터 사용자의 신체 지수를 자동으로 계산하여 사용자의 체형 정보를 획득할 수 있다. 그리고, 신체 정보 획득부(121)는 뎁스 이미지에 포함된 사용자 이미지의 움직임을 바탕으로 사용자의 움직임 정보를 획득할 수 있다.

한편, 뎁스 정보는 뎁스 카메라를 이용하여 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 영상 카메라를 통해 획득된 실사 영상을 분석하여 획득할 수 있다.

그리고, 3D 아바타 생성부(123)는 신체 정보 획득부(121)를 통해 획득한 체형 정보를 바탕으로 3D 형태의 아바타를 생성한다. 구체적으로, 3D 아바타 생성부(123)는 체형 정보를 표준 아바타에 적용하여 주요 신체 치수를 중심으로 커스터마이제이션(Customizaiton)하는 방법을 통해 아바타를 생성할 수 있으며, 변형 가능한 아바타 모델에 획득된 체형 정보를 직접 반영하여 생성할 수 있다.

또는, 사용자가 기등록된 사용자인 경우, 3D 아바타 생성부(123)는 기등록된 사용자에 대응되는 아바타를 로딩하여 아바타를 생성할 수 있다.

아바타 애니메이션 처리부(125)는 사용자의 움직임을 반영하여 아바타를 처리하거나 기 등록된 아바타 모션을 반영하여 아바타를 처리할 수 있다. 아바타 애니메이션 처리부(125)는 사용자 움직임 또는 기등록된 모션이 반영된 아바타 애니메이션 처리를 통해 매 프레임마다 아바타가 취하는 특정 포즈를 계산할 수 있다.

가상 옷 처리부(126) 애니메이션 처리된 아바타에 가상 옷을 입히는 영상 처리를 수행하여 가상 옷을 입은 아바타를 포함하는 가상 영상을 생성한다. 이때, 가상 옷 처리부(126)는 아바타를 구성하는 버텍스(vertex)들과 가상 옷을 구성하는 버텍스들 사이의 Collision Detection 및 Response 계산을 포함하는 가상 옷 시뮬레이션을 통해 아바타에 가상 옷을 입히게 된다.

다시, 도 1에 대해 설명하면, 판단부(130)는 실사 영상과 가상 영상을 분석하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단한다. 구체적으로, 판단부(130)는 실사 영상을 분석하여 사용자가 실체 착용하는 실제 옷이 위치하는 영역을 판단하고, 가상 영상을 분석하여 아바타가 착용하는 가상 옷이 위치하는 영역을 판단할 수 있다. 그리고, 판단부(130)는 실제 옷이 위치하는 영역과 가상 옷이 위치하는 영역을 비교하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단할 수 있다.

판단부(130)에 대해서는 도 3을 참조하여 더욱 상세히 설명하기로 한다. 판단부(130)는 도 3에 도시된 바와 같이, 합성 기준 입력부(131), 실사 영상 분석부(133), 가상 영상 분석부(135) 및 합성 영역 판단부(137)를 포함한다.

합성 기준 입력부(131)는 가상 영상 및 실사 영상 중 하나를 우선적으로 합성하기 위한 사용자 명령을 입력받는다. 구체적으로, 사용자가 액세서리를 하거나, 사용자가 가상 액세서리를 가상으로 착용하고자 하는 경우, 합성 기준 입력부(131)는 실제 액세서리 및 가상 액세서리 중 하나를 선택하기 위한 사용자 명령을 입력받을 수 있다.

실사 영상 분석부(133)는 실사 영상을 분석하여 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단한다. 구체적으로, 실사 영상 분석부(133)는 영상 분석을 통해 사용자가 실제로 착용하는 실제 옷이 위치하는 영역과 실제 옷이 위치하지 않은 영역을 구분할 수 있다.

가상 영상 분석부(135)는 가상 영상을 분석하여 아바타가 착용하는 가상 옷이 위치하는 영역을 판단한다. 구체적으로, 가상 영상 분석부(133)는 영상 분석을 통해 아바타가 착용하는 가상 옷이 위치하는 영역과 가상 옷이 위치하지 않은 영역을 구분할 수 있다.

합성 영역 판단부(137)는 실제 옷이 위치하는 영역과 가상 옷이 위치하는 영역을 비교하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단할 수 있다. 구체적으로, 합성 영역 판단부(137)는 아래의 표 1과 같이, 실제 옷이 위치하는 영역을 가상 영상의 합성 영역으로 판단하고, 실제 옷이 위치하지 않은 영역 중 가상 옷이 위치하는 영역은 가상 영상의 합성 영역으로 판단하고, 실제 옷 및 가상 옷이 위치하지 않은 영역을 실사 영상의 합성 영역으로 판단할 수 있다.

	실제 옷이 위치하는 영역	실제 옷이 위치하지 않은 영역
가상 옷이 위치하는 영역	가상 영상을 합성 영역으로 이용	가상 영상을 합성 영역으로 이용
가상 옷이 위치하지 않은 영역	가상 영상을 합성 영역으로 이용	실사 영상을 합성 영역으로 이용

즉, 합성 영역 판단부(137)는 실제 옷 및 가상 옷 중 적어도 하나가 위치하는 영역을 가상 영상의 합성 영역으로 판단하고, 실제 옷 및 가상 옷이 위치하지 않은 영역을 실사 영상의 합성 영역으로 판단할 수 있다.

또한, 합성 영역 판단부(137)는 합성 기준 입력부(131)를 통해 선택된 실제 액세서리 및 가상 액세서리 중 하나를 바탕으로 합성 영역을 판단할 수 있다. 구체적으로, 합성 기준 입력부(131)를 통해 실제 액세서리가 선택된 경우, 합성 영역 판단부(137)는 실제 액세서리를 포함하는 일정 영역을 실사 영상의 합성 영역으로 판단할 수 있다. 그리고, 가상 액세서리가 선택된 경우, 합성 영역 판단부(137)는 가상 액세서리를 포함하는 일정 영역을 가상 영상의 합성 영역으로 판단할 수 있다. 특히, 합성 영역 판단부(137)는 액세서리의 유형에 따라 아래의 표 2와 같이 액세서리에 대응되는 영역을 합성 영역으로 판단할 수 있다.

	실제 액세서리 선택	가상 액세서리 선택
가방	실사 영상 중 양손 영역 전체를 합성 영역으로 판단	가상 영상 중 양손 영역 전체를 합성 영역으로 판단
신발	실사 영상 중 신발이 착용되어 있는 발 및 다리 영역을 합성 영역으로 판단	가상 영상 중 신발이 착용되어 있는 발 및 다리 영역을 합성 영역으로 판단
팔찌	실사 영상 중 팔찌가 착용되어 있는 손목 영역을 합성 영역으로 판단 (단, 가상 옷이 팔찌를 가리는 경우 사용자 알림 후 가상 영상의 손목 영역을 합성 영역으로 판단)	가상 영상 중 팔찌가 착용되어 있는 손목 영역을 합성 영역으로 판단 (단, 가상 옷이 팔찌를 가리는 경우 사용자 알림 후 가상 옷 위에 표현할지 여부를 사용자가 선택)
목걸이	실사 영상 중 목걸이가 착용되어 있는 목 영역을 합성 영역으로 판단 (단, 가상 옷이 목걸이를 가리는 경우 사용자 알림 후 가상 영상의 손목 영역을 합성 영역으로 판단)	가상 영상 중 목걸이가 착용되어 있는 목 영역을 합성 영역으로 판단 (단, 가상 옷이 목걸이를 가리는 경우 사용자 알림 후 가상 옷 위에 표현할지 여부를 사용자가 선택)

다시 도 1에 대해 설명하면, 생성부(140)는 판단부(130)를 통해 판단된 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 생성한다. 구체적으로, 생성부(140)는 판단부(130)를 통해 판단된 실사 영상의 합성 영역을 실사 영상으로부터 분리하고, 가상 영상의 합성 영역을 가상 영상으로 분리할 수 있다. 그리고, 생성부(140)는 실사 영상의 합성 영역 및 가상 영상의 합성 영역의 경계 영역에 대한 경계 정보를 추출할 수 있다. 이때, 경계 정보는 실사 영상(video)에서 합성이 진행될 경계 영역을 구성하는 복수의 픽셀 정보이며, 가상 영상(graphic)에서 합성이 진행될 경계 영역을 구성하는 복수 개의 버텍스 정보이다.

가상 영상에 포함된 아바타와 실사 영상에 존재하는 사용자 양쪽 모두에 일치하는 경계 정보를 추출하기 위하여 가상 영상 및 실사 영상을 같은 공간에 위치시켜야 하므로, 생성부(140)는 가상 영상 및 실사 영상을 같은 공간에 위치시키기 위하여 아바타를 스크린 스페이스에 프로젝션하고 실사 영상의 사용자와 매칭시킬 수 있다.

그리고, 생성부(140)는 분리된 영역과 추출된 경계 정보를 바탕으로 실사 영상의 합성 영역과 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 생성할 수 있다. 이때, 생성부(140)는 아바타와 사용자가 합성된 가상 피팅 영상의 배경으로 파티장, 사무실, 운동장, 야외와 같은 다양한 가상 공간과 합성할 수 있다.

그리고, 출력부(150)는 생성된 가상 피팅 영상을 출력한다. 구체적으로, 출력부(150)는 디스플레이를 통해 사용자가 가상 옷을 입은 가상 피팅 영상을 디스플레이할 수 있다.

이하에서는 도 4를 참조하여 가상 피팅 장치가 실사 영상과 가상 영상을 합성하여 가상 피팅 영상을 제공하는 방법에 대해 설명하기로 한다.

본 발명의 일 실시예로, 사용자가 도 4a에 도시된 바와 같은 가상 옷(420)을 입어보고자 하는 경우, 실사 영상 획득부(110)는 도 4a에 도시된 바와 같이, 사용자가 포함된 실사 영상(410)을 획득할 수 있다. 그리고, 가상 영상 획득부(120)는 도 2에서 설명한 바와 같이, 가상 옷(420)을 입은 아바타를 생성하여 가상 영상(430)을 획득할 수 있다.

그리고, 실사 영상 분석부(133)는 도 4c에 도시된 바와 같이, 실사 영상(415)에서 실제 옷이 가리는 영역과 실제 옷이 가리지 않은 영역을 구분할 수 있다. 그리고, 가상 영상 분석부(135)는 도 4c에 도시된 바와 같이, 가상 영상(435)에서 가상 옷이 가리는 영역과 가상 옷이 가리지 않은 영역을 구분할 수 있다.

그리고, 합성 영역 판단부(137)는 표 1에서 설명한 바와 같이, 실제 옷 및 가상 옷 중 적어도 하나가 위치하는 영역을 가상 영상의 합성 영역으로 판단하고, 실제 옷 및 가상 옷이 위치하지 않은 영역을 실사 영상의 합성 영역으로 판단할 수 있다. 구체적으로, 합성 영역 판단부(137)는 도 4d에 도시된 바와 같이, 해칭된 영역을 가상 영상의 합성 영역으로 판단하고, 나머지 영역을 실사 영상의 가상 영역으로 판단할 수 있다.

그리고, 생성부(140)는 합성 영역 판단부(137)에 의해 판단된 가상 영상의 합성 영역 및 실사 영상의 합성 영역을 합성하여 도 4e에 도시된 바와 같은 가상 피팅 영상(450)을 생성할 수 있다.

그리고, 출력부(150)는 생성부(140)에 의해 생성된 가상 피팅 영상(450)을 출력할 수 있다.

상술한 바와 같이, 실사 영상 및 가상 영상을 합성하여 가상 피팅 영상을 제공함으로써, 사용자는 더욱 실제적이고 자연스러운 가상 피팅 영상을 제공받을 수 있게 된다.

한편, 생성부(140)는 옷 특성 정보 및 외력 정보 중 적어도 하나를 이용하여 피팅감이 존재하는 가상 피팅 영상을 제공할 수 있다. 도 5는 본 발명의 일 실시예에 따른, 피팅감이 존재하는 가상 피팅 영상을 제공하기 위한 생성부(140)의 구성을 나타내는 도면이다. 도 5에 도시된 바와 같이, 생성부(140)는 피팅 계산부(141), 가상 옷 정보 입력부(142), 외력 입력부(143), 움직임 제어부(144), 체형 변화 감지부(145) 및 아바타 애니메이션 표현부(146)를 포함한다.

피팅 계산부(141)는 가상 옷 처리 결과와 가상 옷 특성 정보를 바탕으로 사용자가 가상 옷을 입었을 경우, 피팅 정도를 나타내는 피팅감을 계산한다. 구체적으로, 피팅 계산부(141)는 가상 옷의 특성을 바탕으로 아바타를 구성하는 버텍스들과 가상 옷을 구성하는 버텍스 사이의 거리를 계산하여 가상 옷의 늘어나는 위치 및 늘어남 정도를 판단함으로써 피팅감을 계산할 수 있다.

가상 옷 정보 입력부(142)는 피팅감을 계산하기 위하여 가상 옷에 대한 특성 정보를 제공한다. 이때, 가상 옷의 특성 정보는 옷이 얼마나 잘 늘어나는지, 질감이 어떠한지, 중량이 어떠한지 등의 가상 옷의 원단이 가지는 특성 정보를 포함할 수 있다. 또한, 가상 옷의 특성 정보에는 옷의 크기, 봉제선 위치 및 봉제 방법, 사용된 실의 특성과 같은 옷의 구성상 특성을 포함할 수 있다.

외력 입력부(143)는 아바타 및 가상 옷에 제공되는 외력 정보를 입력받을 수 있다. 이때, 외력 정보에는 바람 위치, 바람 세기 등과 같은 바람 정보를 포함할 수 있다.

움직임 제어부(144)는 피팅 계산부(141)에 의해 피팅감 정도에 따라 아바타의 움직임을 제어한다. 구체적으로, 가상 옷의 늘어남 정도가 기설정된 경계값 이상인 경우, 움직임 제어부(144)는 아바타의 움직임을 중지하거나 속도를 제어하고, 가상 옷의 늘어남 정도가 기설정된 값 미만이 경우, 움직임 제어부(144)는 사용자의 움직임에 대응되도록 아바타의 움직임을 제어할 수 있다. 이때, 기설정된 경계값은 하나의 값이 될 수 있고, 일정한 범위를 가질 수 있다.

체형 변화 감지부(145)는 사용자의 움직임에 따라 사용자의 체형 변화를 감지한다. 특히, 사용자가 움직인 경우, 사용자의 움직임에 따라 사용자의 체형이 변경되면, 체형 변화 감지부(145)는 사용자의 체형 변화를 감지할 수 있다. 예를 들어, 사용자가 앉아 옆구리에 뱃살이 나오는 경우, 체형 변화 감지부(145)는 사용자의 뱃살 변화를 감지할 수 있다.

아바타 애니메이션 표현부(146)는 움직임 제어부(144) 및 체형 변화 감지부(145)를 통해 판단된 아바타의 움직임 및 체형 변화를 바탕으로 아바타에 대해 애니메이션을 적용하여 처리할 수 있다. 구체적으로, 아바타 애니메이션 표현부(146)는 사용자의 움직임 및 체형 변화를 통해 기설정된 값 이상의 피팅감을 가지는 영역에 대해 애니메이션 처리(예를 들어, 다른 색으로 처리)를 수행할 수 있다. 또한, 아바타 애니메이션 표현부(146)는 가상 옷이 타겟팅하고자 하는 주요 지점 및 현재 아바타가 입은 가상 옷의 주요 지점을 표시할 수 있다. 또한, 아바타 애니메이션 표현부(146)는 사용자 선택에 따라 가상 옷을 반투명하게 표현할 수 있다.

이하에서는 도 6a 내지 도 9b를 참조하여 본 발명의 다양한 실시예에 대해 설명하기로 한다.

도 6a는 본 발명의 일 실시예에 따른, 가상 옷의 피팅감에 따라 아바타의 움직임을 제어하는 실시예에 대해 설명하기로 한다.

우선, 가상 피팅 장치(100)는 가상 피팅 영상을 획득한다(S610). 이때, 가상 피팅 장치(100)는 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 획득할 수 있다. 이때, 가상 피팅 영상에는 실사 영상의 합성 영역과 가상 영상의 합성 영역이 합성된 아바타가 포함될 수 있다.

그리고, 가상 피팅 장치(100)는 사용자의 움직임을 감지한다(S620).

그리고, 가상 피팅 장치(100)는 가상 옷의 특성 정보를 바탕으로 사용자 움직임에 대응되는 가상 옷의 늘어남을 판단한다(S630). 예를 들어, 사용자가 손을 드는 경우, 가상 피팅 장치(100)는 가상 옷의 특성 정보를 바탕으로 사용자가 손을 움직이는 것에 대응하여 가상 옷의 어깨 부분에 대한 늘어남 정도를 판단할 수 있다.

그리고, 가상 피팅 장치(100)는 가상 옷의 늘어남이 기설정된 값 이상인지 여부를 판단한다(S640).

가상 옷의 늘어남이 기설정된 값 이상인 경우(S640-Y), 가상 피팅 장치(100)는 가상 피팅 영상에 포함된 아바타의 움직임을 중지한다(S660). 구체적으로, 사용자의 움직임에 따른 가상 옷의 늘어남이 기설정된 값 이상인 경우(S640-Y), 가상 피팅 장치(100)는 사용자의 움직임에 따라 가상 옷이 아바타에 끼인다고 판단하여 아바타에서 가상 옷이 끼인 부분에 대한 움직임 속도를 점점 감소시키다가 가상 옷이 끼인 부분에 대한 움직임을 중지할 수 있다. 즉, 사용자의 움직임에 따라 가상 옷이 아바타에 끼인다고 판단된 경우, 가상 피팅 장치(100)는 사용자가 움직이더라도 이전 프레임을 계속 디스플레이함으로써, 아바타의 움직임을 중지할 수 있다.

이때, 가상 피팅 장치(100)는 사용자 입력에 따라 별도의 아바타 움직임을 표현할 수 있다. 예를 들어, 가상 피팅 장치(100)는 사용자 움직임에 따라 아바타의 움직임이 중지된 영상과 사용자 움직임에 따라 아바타의 움직임이 반영된 영상을 겹쳐 가상 피팅 영상을 생성할 수 있다.

가상 옷의 늘어남이 기설정된 값 미만인 경우(S640-N), 가상 피팅 장치(100)는 사용자 움직임에 따라 아바타의 움직임을 제어한다(S650).

예를 들어, 도 6b의 좌측에 도시된 바와 같이, 실제 사용자(640)가 오른팔을 드는 경우, 오른팔을 듦에 따라 가상 옷의 오른쪽 어깨 부분이 기설정된 값 이상으로 늘어난 것으로 판단되면, 가상 피팅 장치(100)는 우측 하단에 도시된 바와 같이, 아바타(690)의 움직임을 제어할 수 있다. 그러나, 오른팔을 듦에 따라 가상 옷의 오른쪽 어깨 부분이 기설정된 값 미만으로 늘어난 것으로 판단된 경우, 가상 피팅 장치(100)는 우측 상단에 도시된 바와 같이, 사용자 움직임에 대응되도록 아바타(680)의 움직임을 제어할 수 있다.

상술한 바와 같이, 사용자의 움직임에 따라 피팅감을 계산하여 아바타의 움직임을 제어함으로써, 사용자는 자신의 움직임에 따라 옷이 피팅되는 정도를 확인할 수 있게 된다.

도 7a는 본 발명의 일 실시예에 따른, 사용자의 움직임에 따라 사용자의 체형 변화를 아바타에 반영하는 실시예에 대해 설명하기로 한다.

우선, 가상 피팅 장치(100)는 가상 피팅 영상을 획득한다(S710). 이때, 가상 피팅 장치(100)는 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 획득할 수 있다. 이때, 가상 피팅 영상에는 실사 영상의 합성 영역과 가상 영상의 합성 영역이 합성된 아바타가 포함될 수 있다.

그리고, 가상 피팅 장치(100)는 사용자의 움직임에 따른 체형 변화를 감지한다(S620). 예를 들어, 가상 피팅 장치(100)는 사용자가 앉음으로써 옆구리에 뱃살의 변화가 있는지 여부를 감지한다.

그리고, 가상 피팅 장치(100)는 가상 옷의 특성 정보 및 체형 변화 정도를 바탕으로 가상 옷의 늘어남을 판단한다(S630).

가상 옷의 늘어남이 기설정된 값 이상인 경우(S740-Y), 가상 피팅 장치(100)는 옷의 늘어남에 따른 옷의 장력을 계산한다(S760). 그리고, 가상 피팅 장치(100)는 옷의 장력 및 신체 정보를 바탕으로 아바타의 체형을 변경하여 출력한다(S770). 구체적으로, 가상 피팅 장치(100)는 신체 정보 및 장력을 바탕으로 아바타를 구성하는 버텍스의 위치를 내부, 외부, 위 및 아래 중 옷의 장력에 따른 적어도 하나의 방향으로 이동하여 위치를 조정할 수 있다. 이때, 신체 특성 정보의 경우, 뼈, 살 등 옷의 장력에 의해 변경이 쉽게 발생할 수 있는 지점과 변경이 쉽지 않은 지점 등에 따라 아바타의 체형 변화를 결정할 수 있다.

한편, 가상 피팅 장치(100)는 사용자의 체형이 변경된 부분을 다른 부분과 구별되도록 표시할 수 있다. 예를 들어, 가상 피팅 장치(100)는 사용자의 체형이 변경된 부분을 다른 부분과 다른 색으로 표시할 수 있다.

그러나, 가상 옷의 늘어남이 기설정된 값 미만인 경우(S740-Y), 가상 피팅 장치(100)는 사용자 움직임에 따라 아바타의 움직임을 제어한다(S750).

예를 들어, 사용자가 앉은 경우, 가상 옷의 늘어남이 기설정된 값 미만인 경우, 가상 피팅 장치(100)는 도 7b의 좌측에 도시된 바와 같이, 아바타의 신체변화 없이 아바타를 출력할 수 있으나, 가상 옷의 늘어남이 기설정된 값 이상인 경우, 가상 피팅 장치(100)는 도 7b의 좌측에 도시된 바와 같이, 아바타의 신체 변화(뱃살)를 반영하여 아바타를 출력할 수 있다.

상술한 바와 같이, 사용자의 움직임에 따라 체형 변화를 감지함으로써, 사용자는 가상 옷이 자신의 어는 부분에 끼는지 여부를 판단할 수 있다.

도 8은 본 발명의 일 실시예에 따른, 외력 정보에 따라 가상 피팅 장치를 처리하는 실시예를 설명하기 위한 도면이다.

우선, 가상 피팅 장치(100)는 가상 피팅 영상을 획득한다(S810). 이때, 가상 피팅 장치(100)는 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 획득할 수 있다. 이때, 가상 피팅 영상에는 실사 영상의 합성 영역과 가상 영상의 합성 영역이 합성된 아바타가 포함될 수 있다.

그리고, 가상 피팅 장치(100)는 외력 정보를 입력받는다(S820). 이때, 외력 정보는 바람의 방향, 바람의 세기 등과 같은 바람 정보일 수 있다.

그리고, 가상 피팅 장치(100)는 외력 정보를 반영하여 가상 옷을 처리한다(S830). 구체적으로, 가상 피팅 장치(100)는 가상 피팅 영상에 외력을 가했을 때의 버텍스 위치와 외력이 가해지지 않을 때의 버텍스 위치를 비교할 수 있다. 그리고, 가상 피팅 장치(100)는 두 버텍스 사이의 거리가 클수록 가상 옷이 펄럭이는 영역이라 판단하고, 두 버텍스 사이의 거리가 좁을수록 가상 옷이 펄럭이지 않은 영역이라 판단할 수 있다.

그리고, 가상 피팅 장치(100)는 외력 정보가 반영된 가상 피팅 영상을 출력한다(S840). 이때, 가상 피팅 장치(100)는 사용자가 펄럭이는 부분을 더욱 직관적으로 확인할 수 있도록 펄럭이는 부분을 다른 부분과 상이하게 표현할 수 있다.

상술한 바와 같이, 가상 피팅 영상에 외력을 제공함으로써, 사용자는 외부 상황의 변화에 대응하여 가상 옷의 피팅감을 확인할 수 있게 된다.

도 9a는 본 발명의 일 실시예에 따른, 가상 옷의 주요 지점을 표현하는 실시예를 설명하기 위한 도면이다.

우선, 가상 피팅 장치(100)는 가상 피팅 영상을 획득한다(S910).

그리고, 가상 피팅 장치(100)는 가상 옷의 주요 지점에 대한 정보를 획득한다(S920). 이때, 가상 옷이 상의인 경우, 가상 옷의 주요 지점은 어깨 봉제선, 팔의 기장 끝 위치 등이 포함될 수 있으며, 가상 옷이 하의인 경우, 가상 옷의 주요 지점은 다리의 기장 끝 위치 등이 포함될 수 있다.

그리고, 가상 피팅 장치(100)는 가상 피팅 영상에 표시된 가상 옷을 반투명하게 처리한다(S930).

그리고, 가상 피팅 장치(100)는 가상 옷이 타겟팅하고자 하는 주요 지점 및 현재 아바타가 입은 가상 옷의 주요 지점을 표시한다(S940). 구체적으로, 가상 피팅 장치(100)는 도 9b에 도시된 바와 같이, 가상 옷이 타겟팅하고자 하는 어깨선 위치(1050-1) 및 팔 끝 위치(1050-2)를 점선 형태로 표현하고, 현재 아바타가 입은 가상 옷의 어깨선(1060-1) 및 팔 끝 위치(1060-2)를 실선 형태로 표현할 수 있다. 그러나, 가상 피팅 장치(100)가 가상 옷이 타겟팅하고자 하는 주요 지점을 점선으로 표시하고, 현재 아바타가 입은 가상 옷의 주요 지점을 실선으로 표시하는 것은 일 실시예에 불과할 뿐, 다른 방법(예를 들어, 색상, 투명도 등)으로 가상 옷이 타겟팅하고자 하는 주요 지점 및 현재 아바타가 입은 가상 옷의 주요 지점을 상이하게 표현할 수 있다.

상술한 바와 같이, 가상 옷이 타겟팅하고자 하는 주요 지점 및 현재 아바타가 입은 가상 옷의 주요 지점을 표시함으로써, 사용자는 가상 옷이 자신에게 맞는지 여부를 더욱 직관적으로 확인할 수 있게 된다.

이하에서는 도 10을 참조하여 본 발명의 일 실시예에 따른, 가상 피팅 장치(100)의 가상 피팅 방법에 대해 설명하기로 한다.

가상 피팅 장치(100)는 사용자를 촬영하여 실사 영상을 획득한다(S1010).

그리고, 가상 피팅 장치(100)는 사용자의 체형 및 움직임을 바탕으로 생성된 아바타를 포함하는 가상 영상을 획득한다(S1020). 이때, 아바타에는 사용자가 입고자 하는 가상 옷이 입혀질 수 있다.

그리고, 가상 피팅 장치(100)는 실사 영상 및 가상 영상을 분석하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단한다(S1030). 구체적으로, 가상 피팅 장치(100)는 실사 영상을 분석하여 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하고, 가상 영상을 분석하여 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하며, 실제 옷이 위치하는 영역과 가상 옷이 위치하는 영역을 비교하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단할 수 있다. 이때, 가상 피팅 장치(100)는 실제 옷이 위치하는 영역 및 가상 옷이 위치하는 영역 중 적어도 하나가 위치하는 영역은 가상 영상의 합성 영역으로 판단하고, 실제 옷 및 가상 옷이 위치하지 않은 영역을 실사 영상의 합성 영역으로 판단할 수 있다.

그리고, 가상 피팅 장치(100)는 실사 영상의 합성 영역 및 가상 영역의 합성 영역을 합성하여 가상 피팅 영상을 생성한다(S1040). 이때, 가상 피팅 장치(100)는 가상 옷의 특성 정보 및 외력 정보 중 적어도 하나를 반영하여 가상 피팅 영상을 생성할 수 있다.

그리고, 가상 피팅 장치(100)는 가상 피팅 영상을 출력한다(S1050).

상술한 바와 같은 실시예에 의해, 사용자는 직접 옷을 입지 않더라도 더욱 실제적이고 피팅감있는 가상 피팅 경험을 통해 자신에게 맞는 옷을 고를 수 있게 된다.

한편, 상술한 다양한 실시 예에 따른 영상 처리 장치의 영상 처리 방법은 프로그램으로 구현되어 디스플레이 장치 또는 입력 장치에 제공될 수 있다. 특히, 디스플레이 장치의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110: 실사 영상 획득부 120: 가상 영상 획득부
130: 판단부 140: 생성부
150: 출력부

Claims

가상 피팅 방법에 있어서,
사용자를 촬영하여 실사 영상을 획득하는 단계;
상기 사용자의 체형 및 움직임을 바탕으로 상기 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하는 단계;
상기 실사 영상과 가상 영상을 분석하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 단계; 및
상기 실사 영상의 합성 영역 및 상기 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 출력하는 단계;를 포함하는 가상 피팅 방법.
제1항에 있어서,
상기 판단하는 단계는,
상기 실사 영상을 분석하여 상기 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하는 단계;
상기 가상 영상을 분석하여 상기 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하는 단계;
상기 실제 옷이 위치하는 영역과 상기 가상 옷이 위치하는 영역을 비교하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 단계;를 포함하는 가상 피팅 방법.
제2항에 있어서,
상기 합성 영역을 판단하는 단계는,
상기 실제 옷이 위치하는 영역을 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷이 위치하지 않은 영역 중 상기 가상 옷이 위치하는 영역은 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷 및 상기 가상 옷이 위치하지 않은 영역을 상기 실사 영상의 합성 영역으로 판단하는 것을 특징으로 하는 가상 피팅 방법.
제1항에 있어서,
실제 액세서리 및 가상 액세서리 중 하나를 선택하는 사용자 명령을 입력받는 단계;
상기 실제 액세서리가 선택된 경우, 상기 실제 액세서리를 포함하는 일정 영역을 상기 실사 영상의 합성 영역으로 판단하고, 상기 가상 액세서리가 선택된 경우, 상기 가상 액세서리를 포함하는 일정 영역을 상기 가상 영상의 합성 영역으로 판단하는 단계;를 포함하는 가상 피팅 방법.
제1항에 있어서,
상기 실사 영상을 획득하는 단계는,
영상 카메라를 이용하여 사용자를 촬영하여 상기 실사 영상을 획득하며,
상기 가상 영상을 획득하는 단계는,
뎁스 또는 뎁스 카메라를 이용하여 상기 사용자의 체형 및 움직임을 촬영하고, 상기 촬영된 사용자의 체형 및 움직임을 바탕으로 아바타를 생성하여 가상 영상을 획득하는 것을 특징으로 하는 가상 피팅 방법.
제1항에 있어서,
상기 출력하는 단계는,
사용자가 착용하고자 하는 가상 옷의 특성 정보를 반영하여 상기 가상 피팅 영상을 생성하는 단계;를 포함하는 가상 피팅 방법.
제6항에 있어서,
상기 생성하는 단계는,
상기 사용자가 움직인 경우, 상기 가상 옷의 특성 정보를 바탕으로 상기 사용자 움직임에 대응되는 상기 가상 옷의 늘어남을 판단하는 단계; 및
상기 가상 옷의 늘어남이 기설정된 경계값 이상인 경우, 상기 가상 피팅 영상에 포함된 사용자 이미지의 움직임을 중지하거나 속도를 제어하는 단계;를 포함하는 가상 피팅 방법.
제6항에 있어서,
상기 생성하는 단계는,
상기 사용자가 움직인 경우, 상기 사용자의 체형 변화를 판단하는 단계;
상기 가상 옷의 특성 정보 및 상기 사용자의 체형 변화를 바탕으로 상기 가상 피팅 영상을 생성하는 단계;를 포함하는 가상 피팅 방법.
제6항에 있어서,
상기 생성하는 단계는,
외력 정보를 입력받는 단계; 및
상기 가상 옷의 특성 정보 및 상기 외력 정보를 바탕으로 상기 가상 피팅 영상을 생성하는 단계;를 포함하는 가상 피팅 방법.
제6항에 있어서,
상기 생성하는 단계는,
상기 가상 옷의 주요 지점 정보를 바탕으로 상기 가상 옷의 주요 지점을 표시하여 상기 가상 피팅 영상을 생성하는 것을 특징으로 하는 가상 피팅 방법.
가상 피팅 장치에 있어서,
사용자를 촬영하여 상기 사용자의 실사 영상을 획득하는 실사 영상 획득부;
상기 사용자의 체형 및 움직임을 바탕으로 상기 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하는 가상 영상 획득부;
상기 실사 영상과 가상 영상을 분석하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 판단부;
상기 실사 영상의 합성 영역 및 상기 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 생성하는 생성부; 및
상기 가상 피팅 영상을 출력하는 출력부;를 포함하는 가상 피팅 장치.
제11항에 있어서,
상기 판단부는,
상기 실사 영상을 분석하여 상기 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하고, 상기 가상 영상을 분석하여 상기 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하며, 상기 실제 옷이 위치하는 영역과 상기 가상 옷이 위치하는 영역을 비교하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 것을 특징으로 하는 가상 피팅 장치.
제12항에 있어서,
상기 판단부는,
상기 실제 옷이 위치하는 영역을 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷이 위치하지 않은 영역 중 상기 가상 옷이 위치하는 영역은 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷 및 상기 가상 옷이 위치하지 않은 영역을 상기 실사 영상의 합성 영역으로 판단하는 것을 특징으로 하는 가상 피팅 장치.
제11항에 있어서,
실제 액세서리 및 가상 액세서리 중 하나를 선택하는 사용자 명령을 입력받는 입력부;를 더 포함하며,
상기 판단부는,
상기 실제 액세서리가 선택된 경우, 상기 실제 액세서리를 포함하는 일정 영역을 상기 실사 영상의 합성 영역으로 판단하고, 상기 가상 액세서리가 선택된 경우, 상기 가상 액세서리를 포함하는 일정 영역을 상기 가상 영상의 합성 영역으로 판단하는 것을 특징으로 하는 가상 피팅 장치.
제11항에 있어서,
상기 실사 영상 획득부는,
영상 카메라를 이용하여 사용자를 촬영하여 상기 실사 영상을 획득하며,
상기 가상 영상을 획득부는,
뎁스 또는 영상 카메라를 이용하여 상기 사용자의 체형 및 움직임을 촬영하고, 상기 촬영된 사용자의 체형 및 움직임을 바탕으로 아바타를 생성하여 가상 영상을 획득하는 것을 특징으로 하는 가상 피팅 장치.
제11항에 있어서,
상기 생성부는,
사용자가 착용하고자 하는 가상 옷의 특성 정보를 반영하여 상기 가상 피팅 영상을 생성하는 것을 특징으로 하는 가상 피팅 장치.
제16항에 있어서,
상기 생성부는,
상기 사용자가 움직인 경우, 상기 가상 옷의 특성 정보를 바탕으로 상기 사용자 움직임에 대응되는 상기 가상 옷의 늘어남을 판단하고, 상기 가상 옷의 늘어남이 기설정된 경계값 이상인 경우, 상기 가상 피팅 영상에 포함된 사용자 이미지의 움직임을 중지하거나 속도를 제어하는 것을 특징으로 하는 가상 피팅 장치.
제16항에 있어서,
상기 생성부는,
상기 사용자가 움직인 경우, 상기 사용자의 체형 변화를 판단하고, 상기 가상 옷의 특성 정보 및 상기 사용자의 체형 변화를 바탕으로 상기 가상 피팅 영상을 생성하는 것을 특징으로 하는 가상 피팅 장치.
제16항에 있어서,
상기 생성부는,
외력 정보가 입력된 경우, 상기 가상 옷의 특성 정보 및 상기 외력 정보를 바탕으로 상기 가상 피팅 영상을 생성하는 것을 특징으로 하는 가상 피팅 장치.
제16항에 있어서,
상기 생성부는,
상기 가상 옷의 주요 지점 정보를 바탕으로 상기 가상 옷의 주요 지점을 표시하여 상기 가상 피팅 영상을 생성하는 것을 특징으로 하는 가상 피팅 장치.