KR20160046471A - 가상 피팅 장치 및 이의 가상 피팅 방법 - Google Patents

가상 피팅 장치 및 이의 가상 피팅 방법 Download PDF

Info

Publication number
KR20160046471A
KR20160046471A KR1020140142363A KR20140142363A KR20160046471A KR 20160046471 A KR20160046471 A KR 20160046471A KR 1020140142363 A KR1020140142363 A KR 1020140142363A KR 20140142363 A KR20140142363 A KR 20140142363A KR 20160046471 A KR20160046471 A KR 20160046471A
Authority
KR
South Korea
Prior art keywords
virtual
image
user
clothes
area
Prior art date
Application number
KR1020140142363A
Other languages
English (en)
Other versions
KR102240302B1 (ko
Inventor
정지원
김도균
주은정
곽영민
신승호
한선영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140142363A priority Critical patent/KR102240302B1/ko
Priority to CN201510640103.9A priority patent/CN105528799B/zh
Priority to US15/521,035 priority patent/US10152829B2/en
Priority to EP15851874.6A priority patent/EP3211587A4/en
Priority to PCT/KR2015/010701 priority patent/WO2016064121A1/ko
Publication of KR20160046471A publication Critical patent/KR20160046471A/ko
Application granted granted Critical
Publication of KR102240302B1 publication Critical patent/KR102240302B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/16Cloth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

가상 피팅 장치 및 이의 가상 피팅 방법이 제공된다. 본 가상 피팅 방법은 사용자를 촬영하여 실사 영상을 획득하고, 사용자의 체형 및 움직임을 바탕으로 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하며, 실사 영상과 가상 영상을 분석하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단하고, 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 출력한다.

Description

가상 피팅 장치 및 이의 가상 피팅 방법{Apparatus and Method for virtual fitting thereof}
본 발명은 가상 피팅 장치 및 이의 가상 피팅 방법에 관한 것으로, 더욱 상세하게는 실사 영상과 가상 영상을 합성하여 사용자에게 실제적인 가상 피팅 경험을 제공할 수 있는 가상 피팅 장치 및 이의 가상 피팅 방법에 관한 것이다.
최근 가상 현실을 이용한 컨텐츠가 차세대 컨텐츠로 급부상하고 있다. 특히, 가상의 공간에서 자신과 동일한 아바타를 통해 가상의 옷을 입어 보고, 옷을 구매하는 가상 피팅(Virtual Fitting)에 대한 각 기업 및 소비자의 관심도 증가하고 있다.
한편, 가상 피팅에서 핵심이 되는 것 중에 하나는 가상 공간상에서 아바타를 통해 입어 본 옷의 느낌이 실제 세상에서 사용자가 입었을 때의 느낌을 그대로 재현해 줄 수 있어야 한다는 것이다. 구체적으로, 가상 공간에서 입어 본 옷이 색상이나 디자인이 자신에게 잘 어울릴지 뿐만 아니라 옷을 직접 입었을 때나 옷을 입고 움직였을 때 불편함이 없는지가 가상 체험에서 확인이 되어야 한다. 실제와 같은 체험을 제공하지 못하는 가상 피팅은 단순히 새로운 기술의 체험이나 재미로 끝나게 되고 구매 등 실제 의미 있는 서비스가 되지 못하는 문제점을 가지게 된다.
이러한 문제점을 해결하기 위해서 가상 피팅은 사용자의 분위기나 실제 모습을 최대한 반영할 수 있어야 하고 가상 공간에서 입어 본 옷이 실제로 사용자의 몸에 얼마나 잘 맞는지 보여 주는 피팅감을 제공할 수 있어야 한다.
종래에는 가상 피팅을 제공하기 위하여 AR(Augmented Reality) 방식과 VR(virtual reality) 방식을 이용하였다. AR 방식은 카메라로부터 사용자의 체형과 움직임이 포함된 실사 영상을 취득한 후 사용자를 분리하고, 가상 옷의 크기와 모습을 분리된 사용자의 모습에 맞춰 변형을 한 후 그 위에 덧씌워서 합성하는 방식이다. VR 방식은 카메라로부터 사용자의 체형과 움직임이 포함된 영상을 취득한 후 사용자와 동일한 체형의 아바타를 생성하고, 아바타에 가상 옷을 입혀서 보여주는 방식이다.
그러나, AR 방식의 경우 사용자의 모습을 그대로 반영하여 자연스러운 모습을 보여주고 있으나 가상 옷을 사용자 영상 위에 단순히 덧입히는 방식이기 때문에 가상 옷이 얼마나 사용자 몸에 잘 맞는지 같은 피팅감 제공이 불가능하다. 또한, 실사 영상에서 사용자가 실제로 입은 옷을 제거하지 못하기 때문에 실제로 입은 옷과 가상 옷이 겹쳐서 표현되는 문제점이 발생한다. 예를 들어, 실제로 긴 팔 셔츠를 입고 있는 상태에서 가상의 옷으로 반소매 또는 민소매 셔츠를 선택할 경우 실제 입은 옷이 그대로 나타나 어색해 보이는 문제점이 발생한다.
그리고, VR 방식의 경우 사용자와 동일한 체형의 아바타를 이용하기 때문에 가상 옷이 사용자 몸에 얼마나 잘 맞는지 같은 피팅감을 정확하게 제공할 수 있고 캣워크, 농구 같은 미리 정의되어 있는 다양한 모션을 적용하여 가상 옷을 입고 움직이는 모습을 볼 수 있다는 장점을 지니고 있다. 반면 렌더링 기술과 3차원 형상 캡쳐링 기술의 한계로 인해 사용자가 아바타를 자신과 동일하게 느끼지 못하고 어색해 하는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자가 가상 피팅 경험시 AR 방식의 실사 영상과 VR 방식의 가상 영상을 합성하여 더욱 실제적이고 피팅감 있는 가상 피팅 영상을 제공할 수 있는 가상 피팅 장치 및 이의 가상 피팅 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 가상 피팅 방법은, 사용자를 촬영하여 실사 영상을 획득하는 단계; 기 사용자의 체형 및 움직임을 바탕으로 상기 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하는 단계; 상기 실사 영상과 가상 영상을 분석하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 단계; 및 상기 실사 영상의 합성 영역 및 상기 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 출력하는 단계;를 포함한다.
그리고, 상기 판단하는 단계는, 상기 실사 영상을 분석하여 상기 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하는 단계; 상기 가상 영상을 분석하여 상기 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하는 단계; 상기 실제 옷이 위치하는 영역과 상기 가상 옷이 위치하는 영역을 비교하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 단계;를 포함할 수 있다.
또한, 상기 합성 영역을 판단하는 단계는, 상기 실제 옷이 위치하는 영역을 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷이 위치하지 않은 영역 중 상기 가상 옷이 위치하는 영역은 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷 및 상기 가상 옷이 위치하지 않은 영역을 상기 실사 영상의 합성 영역으로 판단할 수 있다.
그리고, 실제 액세서리 및 가상 액세서리 중 하나를 선택하는 사용자 명령을 입력받는 단계; 상기 실제 액세서리가 선택된 경우, 상기 실제 액세서리를 포함하는 일정 영역을 상기 실사 영상의 합성 영역으로 판단하고, 상기 가상 액세서리가 선택된 경우, 상기 가상 액세서리를 포함하는 일정 영역을 상기 가상 영상의 합성 영역으로 판단하는 단계;를 포함할 수 있다.
또한, 상기 실사 영상을 획득하는 단계는, 영상 카메라를 이용하여 사용자를 촬영하여 상기 실사 영상을 획득하며, 상기 가상 영상을 획득하는 단계는, 뎁스 또는 영상 카메라를 이용하여 상기 사용자의 체형 및 움직임을 촬영하고, 상기 촬영된 사용자의 체형 및 움직임을 바탕으로 아바타를 생성하여 가상 영상을 획득할 수 있다.
그리고, 상기 출력하는 단계는, 사용자가 착용하고자 하는 가상 옷의 특성 정보를 반영하여 상기 가상 피팅 영상을 생성하는 단계;를 포함할 수 있다.
또한, 상기 생성하는 단계는, 상기 사용자가 움직인 경우, 상기 가상 옷의 특성 정보를 바탕으로 상기 사용자 움직임에 대응되는 상기 가상 옷의 늘어남을 판단하는 단계; 및 상기 가상 옷의 늘어남이 기설정된 경계값 이상인 경우, 상기 가상 피팅 영상에 포함된 사용자 이미지와 가상 옷의 움직임을 중지하거나 움직임의 속도를 제어하는 단계;를 포함할 수 있다. 그리고, 상기 기설정된 경계값은 하나의 특징값이 될 수 있고, 일정한 범위를 가질 수 있다.
그리고, 상기 생성하는 단계는, 상기 사용자가 움직인 경우, 상기 사용자의 체형 변화를 판단하는 단계; 상기 가상 옷의 특성 정보 및 상기 사용자의 체형 변화를 바탕으로 상기 가상 피팅 영상을 생성하는 단계;를 포함할 수 있다.
또한, 상기 생성하는 단계는, 외력 정보를 입력받는 단계; 및 상기 가상 옷의 특성 정보 및 상기 외력 정보를 바탕으로 상기 가상 피팅 영상을 생성하는 단계;를 포함할 수 있다.
그리고, 상기 생성하는 단계는, 상기 가상 옷의 주요 지점 정보를 바탕으로 상기 가상 옷의 주요 지점과 사용자 이미지 상에 매칭되는 지점을 표시하여 상기 가상 피팅 영상을 생성할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 가상 피팅 장치는, 사용자를 촬영하여 상기 사용자의 실사 영상을 획득하는 실사 영상 획득부; 상기 사용자의 체형 및 움직임을 바탕으로 상기 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하는 가상 영상 획득부; 상기 실사 영상과 가상 영상을 분석하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 판단부; 상기 실사 영상의 합성 영역 및 상기 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 생성하는 생성부; 및 상기 가상 피팅 영상을 출력하는 출력부;를 포함한다.
그리고, 상기 판단부는, 상기 실사 영상을 분석하여 상기 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하고, 상기 가상 영상을 분석하여 상기 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하며, 상기 실제 옷이 위치하는 영역과 상기 가상 옷이 위치하는 영역을 비교하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단할 수 있다.
또한, 상기 판단부는, 상기 실제 옷이 위치하는 영역을 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷이 위치하지 않은 영역 중 상기 가상 옷이 위치하는 영역은 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷 및 상기 가상 옷이 위치하지 않은 영역을 상기 실사 영상의 합성 영역으로 판단할 수 있다.
그리고, 실제 액세서리 및 가상 액세서리 중 하나를 선택하는 사용자 명령을 입력받는 입력부;를 더 포함하며, 상기 판단부는, 상기 실제 액세서리가 선택된 경우, 상기 실제 액세서리를 포함하는 일정 영역을 상기 실사 영상의 합성 영역으로 판단하고, 상기 가상 액세서리가 선택된 경우, 상기 가상 액세서리를 포함하는 일정 영역을 상기 가상 영상의 합성 영역으로 판단할 수 있다.
또한, 상기 실사 영상 획득부는, 영상 카메라를 이용하여 사용자를 촬영하여 상기 실사 영상을 획득하며, 상기 가상 영상을 획득부는, 뎁스 또는 영상 카메라를 이용하여 상기 사용자의 체형 및 움직임을 촬영하고, 상기 촬영된 사용자의 체형 및 움직임을 바탕으로 아바타를 생성하여 가상 영상을 획득할 수 있다.
그리고, 상기 생성부는, 사용자가 착용하고자 하는 가상 옷의 특성 정보를 반영하여 상기 가상 피팅 영상을 생성할 수 있다.
또한, 상기 생성부는, 상기 사용자가 움직인 경우, 상기 가상 옷의 특성 정보를 바탕으로 상기 사용자 움직임에 대응되는 상기 가상 옷의 늘어남을 판단하고, 상기 가상 옷의 늘어남이 기설정된 경계값 이상인 경우, 상기 가상 피팅 영상에 포함된 사용자 이미지와 가상 옷의 움직임을 중지하거나 움직임의 속도를 제어할 수 있다.
그리고, 상기 생성부는, 상기 사용자가 움직인 경우, 상기 사용자의 체형 변화를 판단하고, 상기 가상 옷의 특성 정보 및 상기 사용자의 체형 변화를 바탕으로 상기 가상 피팅 영상을 생성할 수 있다.
또한, 상기 생성부는, 외력 정보가 입력된 경우, 상기 가상 옷의 특성 정보 및 상기 외력 정보를 바탕으로 상기 가상 피팅 영상을 생성할 수 있다.
그리고, 상기 생성부는, 상기 가상 옷의 주요 지점 정보를 바탕으로 상기 가상 옷의 주요 지점과 사용자 이미지 상에 매칭되는 지점을 표시하여 상기 가상 피팅 영상을 생성할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 직접 옷을 입지 않더라도 더욱 실제적이고 피팅감있는 가상 피팅 경험을 통해 자신에게 맞는 옷을 고를 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 가상 피팅 장치의 구성을 도시한 블럭도,
도 2는 본 발명의 일 실시예에 따른, 가상 영상 획득부의 구성을 도시한 블럭도,
도 3은 본 발명의 일 실시예에 따른, 판단부의 구성을 도시한 블럭도,
도 4a 내지 도 4e는 본 발명의 일 실시예에 따른, 실사 영상 및 가상 영상을 합성하여 가상 피팅 영상을 생성하는 방법을 도시한 도면,
도 5는 본 발명의 일 실시예에 따른, 생성부의 구성을 도시한 블럭도,
도 6a 내지 도 10b는 본 발명의 다양한 실시예에 따른, 가상 옷의 특성 정보 및 외력 정보 중 적어도 하나를 이용하여 가상 피팅 영상을 처리하는 방법을 설명하기 위한 도면들, 그리고,
도 11은 본 발명의 일 실시예에 따른, 가상 피팅 방법을 설명하기 위한 흐름도이다.
본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
이하에서는 도면을 참조하여 본 발명의 다양한 실시예들에 대해 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 가상 피팅 장치(100)의 구성을 도시한 블럭도이다. 도 1에 도시된 바와 같이, 가상 피팅 장치(100)는 실사 영상 획득부(110), 가상 영상 획득부(120), 판단부(130), 생성부(140) 및 출력부(150)를 포함한다.
실사 영상 획득부(110)는 영상 카메라를 이용하여 사용자를 촬영하여 실사 영상을 획득한다. 이때, 실사 영상 획득부(110)는 사용자의 전신을 촬영하여 실사 영상을 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 사용자의 상반신만을 촬영하여 실사 영상을 획득할 수 있다.
가상 영상 획득부(120)는 사용자의 체형과 움직임을 바탕으로 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득한다. 이때, 사용자에 대응되는 아바타에는 사용자가 입어보고자 하는 가상 옷이 입혀질 수 있다. 가상 영상 획득부(120)에 대해서는 도 2를 참조하여 상세히 설명하기로 한다.
가상 영상 획득부(120)는 도 2에 도시된 바와 같이, 신체 정보 획득부(121), 3D 아바타 생성부(123), 아바타 애니메이션 처리부(125) 및 가상 옷 처리부(127)를 포함한다.
신체 정보 획득부(121)는 뎁스 카메라를 이용하여 획득된 뎁스 정보를 바탕으로 사용자의 체형 정보 및 움직임 정보를 획득한다. 구체적으로, 신체 정보 획득부(121)는 뎁스 카메라를 이용하여 획득된 뎁스 이미지로부터 사용자의 신체 지수를 자동으로 계산하여 사용자의 체형 정보를 획득할 수 있다. 그리고, 신체 정보 획득부(121)는 뎁스 이미지에 포함된 사용자 이미지의 움직임을 바탕으로 사용자의 움직임 정보를 획득할 수 있다.
한편, 뎁스 정보는 뎁스 카메라를 이용하여 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 영상 카메라를 통해 획득된 실사 영상을 분석하여 획득할 수 있다.
그리고, 3D 아바타 생성부(123)는 신체 정보 획득부(121)를 통해 획득한 체형 정보를 바탕으로 3D 형태의 아바타를 생성한다. 구체적으로, 3D 아바타 생성부(123)는 체형 정보를 표준 아바타에 적용하여 주요 신체 치수를 중심으로 커스터마이제이션(Customizaiton)하는 방법을 통해 아바타를 생성할 수 있으며, 변형 가능한 아바타 모델에 획득된 체형 정보를 직접 반영하여 생성할 수 있다.
또는, 사용자가 기등록된 사용자인 경우, 3D 아바타 생성부(123)는 기등록된 사용자에 대응되는 아바타를 로딩하여 아바타를 생성할 수 있다.
아바타 애니메이션 처리부(125)는 사용자의 움직임을 반영하여 아바타를 처리하거나 기 등록된 아바타 모션을 반영하여 아바타를 처리할 수 있다. 아바타 애니메이션 처리부(125)는 사용자 움직임 또는 기등록된 모션이 반영된 아바타 애니메이션 처리를 통해 매 프레임마다 아바타가 취하는 특정 포즈를 계산할 수 있다.
가상 옷 처리부(126) 애니메이션 처리된 아바타에 가상 옷을 입히는 영상 처리를 수행하여 가상 옷을 입은 아바타를 포함하는 가상 영상을 생성한다. 이때, 가상 옷 처리부(126)는 아바타를 구성하는 버텍스(vertex)들과 가상 옷을 구성하는 버텍스들 사이의 Collision Detection 및 Response 계산을 포함하는 가상 옷 시뮬레이션을 통해 아바타에 가상 옷을 입히게 된다.
다시, 도 1에 대해 설명하면, 판단부(130)는 실사 영상과 가상 영상을 분석하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단한다. 구체적으로, 판단부(130)는 실사 영상을 분석하여 사용자가 실체 착용하는 실제 옷이 위치하는 영역을 판단하고, 가상 영상을 분석하여 아바타가 착용하는 가상 옷이 위치하는 영역을 판단할 수 있다. 그리고, 판단부(130)는 실제 옷이 위치하는 영역과 가상 옷이 위치하는 영역을 비교하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단할 수 있다.
판단부(130)에 대해서는 도 3을 참조하여 더욱 상세히 설명하기로 한다. 판단부(130)는 도 3에 도시된 바와 같이, 합성 기준 입력부(131), 실사 영상 분석부(133), 가상 영상 분석부(135) 및 합성 영역 판단부(137)를 포함한다.
합성 기준 입력부(131)는 가상 영상 및 실사 영상 중 하나를 우선적으로 합성하기 위한 사용자 명령을 입력받는다. 구체적으로, 사용자가 액세서리를 하거나, 사용자가 가상 액세서리를 가상으로 착용하고자 하는 경우, 합성 기준 입력부(131)는 실제 액세서리 및 가상 액세서리 중 하나를 선택하기 위한 사용자 명령을 입력받을 수 있다.
실사 영상 분석부(133)는 실사 영상을 분석하여 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단한다. 구체적으로, 실사 영상 분석부(133)는 영상 분석을 통해 사용자가 실제로 착용하는 실제 옷이 위치하는 영역과 실제 옷이 위치하지 않은 영역을 구분할 수 있다.
가상 영상 분석부(135)는 가상 영상을 분석하여 아바타가 착용하는 가상 옷이 위치하는 영역을 판단한다. 구체적으로, 가상 영상 분석부(133)는 영상 분석을 통해 아바타가 착용하는 가상 옷이 위치하는 영역과 가상 옷이 위치하지 않은 영역을 구분할 수 있다.
합성 영역 판단부(137)는 실제 옷이 위치하는 영역과 가상 옷이 위치하는 영역을 비교하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단할 수 있다. 구체적으로, 합성 영역 판단부(137)는 아래의 표 1과 같이, 실제 옷이 위치하는 영역을 가상 영상의 합성 영역으로 판단하고, 실제 옷이 위치하지 않은 영역 중 가상 옷이 위치하는 영역은 가상 영상의 합성 영역으로 판단하고, 실제 옷 및 가상 옷이 위치하지 않은 영역을 실사 영상의 합성 영역으로 판단할 수 있다.
실제 옷이 위치하는 영역 실제 옷이 위치하지 않은 영역
가상 옷이 위치하는 영역 가상 영상을 합성 영역으로 이용 가상 영상을 합성 영역으로 이용
가상 옷이 위치하지 않은 영역 가상 영상을 합성 영역으로 이용 실사 영상을 합성 영역으로 이용
즉, 합성 영역 판단부(137)는 실제 옷 및 가상 옷 중 적어도 하나가 위치하는 영역을 가상 영상의 합성 영역으로 판단하고, 실제 옷 및 가상 옷이 위치하지 않은 영역을 실사 영상의 합성 영역으로 판단할 수 있다.
또한, 합성 영역 판단부(137)는 합성 기준 입력부(131)를 통해 선택된 실제 액세서리 및 가상 액세서리 중 하나를 바탕으로 합성 영역을 판단할 수 있다. 구체적으로, 합성 기준 입력부(131)를 통해 실제 액세서리가 선택된 경우, 합성 영역 판단부(137)는 실제 액세서리를 포함하는 일정 영역을 실사 영상의 합성 영역으로 판단할 수 있다. 그리고, 가상 액세서리가 선택된 경우, 합성 영역 판단부(137)는 가상 액세서리를 포함하는 일정 영역을 가상 영상의 합성 영역으로 판단할 수 있다. 특히, 합성 영역 판단부(137)는 액세서리의 유형에 따라 아래의 표 2와 같이 액세서리에 대응되는 영역을 합성 영역으로 판단할 수 있다.
실제 액세서리 선택 가상 액세서리 선택
가방 실사 영상 중 양손 영역 전체를 합성 영역으로 판단 가상 영상 중 양손 영역 전체를 합성 영역으로 판단
신발 실사 영상 중 신발이 착용되어 있는 발 및 다리 영역을 합성 영역으로 판단 가상 영상 중 신발이 착용되어 있는 발 및 다리 영역을 합성 영역으로 판단
팔찌 실사 영상 중 팔찌가 착용되어 있는 손목 영역을 합성 영역으로 판단
(단, 가상 옷이 팔찌를 가리는 경우 사용자 알림 후 가상 영상의 손목 영역을 합성 영역으로 판단)
가상 영상 중 팔찌가 착용되어 있는 손목 영역을 합성 영역으로 판단
(단, 가상 옷이 팔찌를 가리는 경우 사용자 알림 후 가상 옷 위에 표현할지 여부를 사용자가 선택)
목걸이 실사 영상 중 목걸이가 착용되어 있는 목 영역을 합성 영역으로 판단
(단, 가상 옷이 목걸이를 가리는 경우 사용자 알림 후 가상 영상의 손목 영역을 합성 영역으로 판단)
가상 영상 중 목걸이가 착용되어 있는 목 영역을 합성 영역으로 판단
(단, 가상 옷이 목걸이를 가리는 경우 사용자 알림 후 가상 옷 위에 표현할지 여부를 사용자가 선택)
다시 도 1에 대해 설명하면, 생성부(140)는 판단부(130)를 통해 판단된 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 생성한다. 구체적으로, 생성부(140)는 판단부(130)를 통해 판단된 실사 영상의 합성 영역을 실사 영상으로부터 분리하고, 가상 영상의 합성 영역을 가상 영상으로 분리할 수 있다. 그리고, 생성부(140)는 실사 영상의 합성 영역 및 가상 영상의 합성 영역의 경계 영역에 대한 경계 정보를 추출할 수 있다. 이때, 경계 정보는 실사 영상(video)에서 합성이 진행될 경계 영역을 구성하는 복수의 픽셀 정보이며, 가상 영상(graphic)에서 합성이 진행될 경계 영역을 구성하는 복수 개의 버텍스 정보이다.
가상 영상에 포함된 아바타와 실사 영상에 존재하는 사용자 양쪽 모두에 일치하는 경계 정보를 추출하기 위하여 가상 영상 및 실사 영상을 같은 공간에 위치시켜야 하므로, 생성부(140)는 가상 영상 및 실사 영상을 같은 공간에 위치시키기 위하여 아바타를 스크린 스페이스에 프로젝션하고 실사 영상의 사용자와 매칭시킬 수 있다.
그리고, 생성부(140)는 분리된 영역과 추출된 경계 정보를 바탕으로 실사 영상의 합성 영역과 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 생성할 수 있다. 이때, 생성부(140)는 아바타와 사용자가 합성된 가상 피팅 영상의 배경으로 파티장, 사무실, 운동장, 야외와 같은 다양한 가상 공간과 합성할 수 있다.
그리고, 출력부(150)는 생성된 가상 피팅 영상을 출력한다. 구체적으로, 출력부(150)는 디스플레이를 통해 사용자가 가상 옷을 입은 가상 피팅 영상을 디스플레이할 수 있다.
이하에서는 도 4를 참조하여 가상 피팅 장치가 실사 영상과 가상 영상을 합성하여 가상 피팅 영상을 제공하는 방법에 대해 설명하기로 한다.
본 발명의 일 실시예로, 사용자가 도 4a에 도시된 바와 같은 가상 옷(420)을 입어보고자 하는 경우, 실사 영상 획득부(110)는 도 4a에 도시된 바와 같이, 사용자가 포함된 실사 영상(410)을 획득할 수 있다. 그리고, 가상 영상 획득부(120)는 도 2에서 설명한 바와 같이, 가상 옷(420)을 입은 아바타를 생성하여 가상 영상(430)을 획득할 수 있다.
그리고, 실사 영상 분석부(133)는 도 4c에 도시된 바와 같이, 실사 영상(415)에서 실제 옷이 가리는 영역과 실제 옷이 가리지 않은 영역을 구분할 수 있다. 그리고, 가상 영상 분석부(135)는 도 4c에 도시된 바와 같이, 가상 영상(435)에서 가상 옷이 가리는 영역과 가상 옷이 가리지 않은 영역을 구분할 수 있다.
그리고, 합성 영역 판단부(137)는 표 1에서 설명한 바와 같이, 실제 옷 및 가상 옷 중 적어도 하나가 위치하는 영역을 가상 영상의 합성 영역으로 판단하고, 실제 옷 및 가상 옷이 위치하지 않은 영역을 실사 영상의 합성 영역으로 판단할 수 있다. 구체적으로, 합성 영역 판단부(137)는 도 4d에 도시된 바와 같이, 해칭된 영역을 가상 영상의 합성 영역으로 판단하고, 나머지 영역을 실사 영상의 가상 영역으로 판단할 수 있다.
그리고, 생성부(140)는 합성 영역 판단부(137)에 의해 판단된 가상 영상의 합성 영역 및 실사 영상의 합성 영역을 합성하여 도 4e에 도시된 바와 같은 가상 피팅 영상(450)을 생성할 수 있다.
그리고, 출력부(150)는 생성부(140)에 의해 생성된 가상 피팅 영상(450)을 출력할 수 있다.
상술한 바와 같이, 실사 영상 및 가상 영상을 합성하여 가상 피팅 영상을 제공함으로써, 사용자는 더욱 실제적이고 자연스러운 가상 피팅 영상을 제공받을 수 있게 된다.
한편, 생성부(140)는 옷 특성 정보 및 외력 정보 중 적어도 하나를 이용하여 피팅감이 존재하는 가상 피팅 영상을 제공할 수 있다. 도 5는 본 발명의 일 실시예에 따른, 피팅감이 존재하는 가상 피팅 영상을 제공하기 위한 생성부(140)의 구성을 나타내는 도면이다. 도 5에 도시된 바와 같이, 생성부(140)는 피팅 계산부(141), 가상 옷 정보 입력부(142), 외력 입력부(143), 움직임 제어부(144), 체형 변화 감지부(145) 및 아바타 애니메이션 표현부(146)를 포함한다.
피팅 계산부(141)는 가상 옷 처리 결과와 가상 옷 특성 정보를 바탕으로 사용자가 가상 옷을 입었을 경우, 피팅 정도를 나타내는 피팅감을 계산한다. 구체적으로, 피팅 계산부(141)는 가상 옷의 특성을 바탕으로 아바타를 구성하는 버텍스들과 가상 옷을 구성하는 버텍스 사이의 거리를 계산하여 가상 옷의 늘어나는 위치 및 늘어남 정도를 판단함으로써 피팅감을 계산할 수 있다.
가상 옷 정보 입력부(142)는 피팅감을 계산하기 위하여 가상 옷에 대한 특성 정보를 제공한다. 이때, 가상 옷의 특성 정보는 옷이 얼마나 잘 늘어나는지, 질감이 어떠한지, 중량이 어떠한지 등의 가상 옷의 원단이 가지는 특성 정보를 포함할 수 있다. 또한, 가상 옷의 특성 정보에는 옷의 크기, 봉제선 위치 및 봉제 방법, 사용된 실의 특성과 같은 옷의 구성상 특성을 포함할 수 있다.
외력 입력부(143)는 아바타 및 가상 옷에 제공되는 외력 정보를 입력받을 수 있다. 이때, 외력 정보에는 바람 위치, 바람 세기 등과 같은 바람 정보를 포함할 수 있다.
움직임 제어부(144)는 피팅 계산부(141)에 의해 피팅감 정도에 따라 아바타의 움직임을 제어한다. 구체적으로, 가상 옷의 늘어남 정도가 기설정된 경계값 이상인 경우, 움직임 제어부(144)는 아바타의 움직임을 중지하거나 속도를 제어하고, 가상 옷의 늘어남 정도가 기설정된 값 미만이 경우, 움직임 제어부(144)는 사용자의 움직임에 대응되도록 아바타의 움직임을 제어할 수 있다. 이때, 기설정된 경계값은 하나의 값이 될 수 있고, 일정한 범위를 가질 수 있다.
체형 변화 감지부(145)는 사용자의 움직임에 따라 사용자의 체형 변화를 감지한다. 특히, 사용자가 움직인 경우, 사용자의 움직임에 따라 사용자의 체형이 변경되면, 체형 변화 감지부(145)는 사용자의 체형 변화를 감지할 수 있다. 예를 들어, 사용자가 앉아 옆구리에 뱃살이 나오는 경우, 체형 변화 감지부(145)는 사용자의 뱃살 변화를 감지할 수 있다.
아바타 애니메이션 표현부(146)는 움직임 제어부(144) 및 체형 변화 감지부(145)를 통해 판단된 아바타의 움직임 및 체형 변화를 바탕으로 아바타에 대해 애니메이션을 적용하여 처리할 수 있다. 구체적으로, 아바타 애니메이션 표현부(146)는 사용자의 움직임 및 체형 변화를 통해 기설정된 값 이상의 피팅감을 가지는 영역에 대해 애니메이션 처리(예를 들어, 다른 색으로 처리)를 수행할 수 있다. 또한, 아바타 애니메이션 표현부(146)는 가상 옷이 타겟팅하고자 하는 주요 지점 및 현재 아바타가 입은 가상 옷의 주요 지점을 표시할 수 있다. 또한, 아바타 애니메이션 표현부(146)는 사용자 선택에 따라 가상 옷을 반투명하게 표현할 수 있다.
이하에서는 도 6a 내지 도 9b를 참조하여 본 발명의 다양한 실시예에 대해 설명하기로 한다.
도 6a는 본 발명의 일 실시예에 따른, 가상 옷의 피팅감에 따라 아바타의 움직임을 제어하는 실시예에 대해 설명하기로 한다.
우선, 가상 피팅 장치(100)는 가상 피팅 영상을 획득한다(S610). 이때, 가상 피팅 장치(100)는 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 획득할 수 있다. 이때, 가상 피팅 영상에는 실사 영상의 합성 영역과 가상 영상의 합성 영역이 합성된 아바타가 포함될 수 있다.
그리고, 가상 피팅 장치(100)는 사용자의 움직임을 감지한다(S620).
그리고, 가상 피팅 장치(100)는 가상 옷의 특성 정보를 바탕으로 사용자 움직임에 대응되는 가상 옷의 늘어남을 판단한다(S630). 예를 들어, 사용자가 손을 드는 경우, 가상 피팅 장치(100)는 가상 옷의 특성 정보를 바탕으로 사용자가 손을 움직이는 것에 대응하여 가상 옷의 어깨 부분에 대한 늘어남 정도를 판단할 수 있다.
그리고, 가상 피팅 장치(100)는 가상 옷의 늘어남이 기설정된 값 이상인지 여부를 판단한다(S640).
가상 옷의 늘어남이 기설정된 값 이상인 경우(S640-Y), 가상 피팅 장치(100)는 가상 피팅 영상에 포함된 아바타의 움직임을 중지한다(S660). 구체적으로, 사용자의 움직임에 따른 가상 옷의 늘어남이 기설정된 값 이상인 경우(S640-Y), 가상 피팅 장치(100)는 사용자의 움직임에 따라 가상 옷이 아바타에 끼인다고 판단하여 아바타에서 가상 옷이 끼인 부분에 대한 움직임 속도를 점점 감소시키다가 가상 옷이 끼인 부분에 대한 움직임을 중지할 수 있다. 즉, 사용자의 움직임에 따라 가상 옷이 아바타에 끼인다고 판단된 경우, 가상 피팅 장치(100)는 사용자가 움직이더라도 이전 프레임을 계속 디스플레이함으로써, 아바타의 움직임을 중지할 수 있다.
이때, 가상 피팅 장치(100)는 사용자 입력에 따라 별도의 아바타 움직임을 표현할 수 있다. 예를 들어, 가상 피팅 장치(100)는 사용자 움직임에 따라 아바타의 움직임이 중지된 영상과 사용자 움직임에 따라 아바타의 움직임이 반영된 영상을 겹쳐 가상 피팅 영상을 생성할 수 있다.
가상 옷의 늘어남이 기설정된 값 미만인 경우(S640-N), 가상 피팅 장치(100)는 사용자 움직임에 따라 아바타의 움직임을 제어한다(S650).
예를 들어, 도 6b의 좌측에 도시된 바와 같이, 실제 사용자(640)가 오른팔을 드는 경우, 오른팔을 듦에 따라 가상 옷의 오른쪽 어깨 부분이 기설정된 값 이상으로 늘어난 것으로 판단되면, 가상 피팅 장치(100)는 우측 하단에 도시된 바와 같이, 아바타(690)의 움직임을 제어할 수 있다. 그러나, 오른팔을 듦에 따라 가상 옷의 오른쪽 어깨 부분이 기설정된 값 미만으로 늘어난 것으로 판단된 경우, 가상 피팅 장치(100)는 우측 상단에 도시된 바와 같이, 사용자 움직임에 대응되도록 아바타(680)의 움직임을 제어할 수 있다.
상술한 바와 같이, 사용자의 움직임에 따라 피팅감을 계산하여 아바타의 움직임을 제어함으로써, 사용자는 자신의 움직임에 따라 옷이 피팅되는 정도를 확인할 수 있게 된다.
도 7a는 본 발명의 일 실시예에 따른, 사용자의 움직임에 따라 사용자의 체형 변화를 아바타에 반영하는 실시예에 대해 설명하기로 한다.
우선, 가상 피팅 장치(100)는 가상 피팅 영상을 획득한다(S710). 이때, 가상 피팅 장치(100)는 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 획득할 수 있다. 이때, 가상 피팅 영상에는 실사 영상의 합성 영역과 가상 영상의 합성 영역이 합성된 아바타가 포함될 수 있다.
그리고, 가상 피팅 장치(100)는 사용자의 움직임에 따른 체형 변화를 감지한다(S620). 예를 들어, 가상 피팅 장치(100)는 사용자가 앉음으로써 옆구리에 뱃살의 변화가 있는지 여부를 감지한다.
그리고, 가상 피팅 장치(100)는 가상 옷의 특성 정보 및 체형 변화 정도를 바탕으로 가상 옷의 늘어남을 판단한다(S630).
그리고, 가상 피팅 장치(100)는 가상 옷의 늘어남이 기설정된 값 이상인지 여부를 판단한다(S640).
가상 옷의 늘어남이 기설정된 값 이상인 경우(S740-Y), 가상 피팅 장치(100)는 옷의 늘어남에 따른 옷의 장력을 계산한다(S760). 그리고, 가상 피팅 장치(100)는 옷의 장력 및 신체 정보를 바탕으로 아바타의 체형을 변경하여 출력한다(S770). 구체적으로, 가상 피팅 장치(100)는 신체 정보 및 장력을 바탕으로 아바타를 구성하는 버텍스의 위치를 내부, 외부, 위 및 아래 중 옷의 장력에 따른 적어도 하나의 방향으로 이동하여 위치를 조정할 수 있다. 이때, 신체 특성 정보의 경우, 뼈, 살 등 옷의 장력에 의해 변경이 쉽게 발생할 수 있는 지점과 변경이 쉽지 않은 지점 등에 따라 아바타의 체형 변화를 결정할 수 있다.
한편, 가상 피팅 장치(100)는 사용자의 체형이 변경된 부분을 다른 부분과 구별되도록 표시할 수 있다. 예를 들어, 가상 피팅 장치(100)는 사용자의 체형이 변경된 부분을 다른 부분과 다른 색으로 표시할 수 있다.
그러나, 가상 옷의 늘어남이 기설정된 값 미만인 경우(S740-Y), 가상 피팅 장치(100)는 사용자 움직임에 따라 아바타의 움직임을 제어한다(S750).
예를 들어, 사용자가 앉은 경우, 가상 옷의 늘어남이 기설정된 값 미만인 경우, 가상 피팅 장치(100)는 도 7b의 좌측에 도시된 바와 같이, 아바타의 신체변화 없이 아바타를 출력할 수 있으나, 가상 옷의 늘어남이 기설정된 값 이상인 경우, 가상 피팅 장치(100)는 도 7b의 좌측에 도시된 바와 같이, 아바타의 신체 변화(뱃살)를 반영하여 아바타를 출력할 수 있다.
상술한 바와 같이, 사용자의 움직임에 따라 체형 변화를 감지함으로써, 사용자는 가상 옷이 자신의 어는 부분에 끼는지 여부를 판단할 수 있다.
도 8은 본 발명의 일 실시예에 따른, 외력 정보에 따라 가상 피팅 장치를 처리하는 실시예를 설명하기 위한 도면이다.
우선, 가상 피팅 장치(100)는 가상 피팅 영상을 획득한다(S810). 이때, 가상 피팅 장치(100)는 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 획득할 수 있다. 이때, 가상 피팅 영상에는 실사 영상의 합성 영역과 가상 영상의 합성 영역이 합성된 아바타가 포함될 수 있다.
그리고, 가상 피팅 장치(100)는 외력 정보를 입력받는다(S820). 이때, 외력 정보는 바람의 방향, 바람의 세기 등과 같은 바람 정보일 수 있다.
그리고, 가상 피팅 장치(100)는 외력 정보를 반영하여 가상 옷을 처리한다(S830). 구체적으로, 가상 피팅 장치(100)는 가상 피팅 영상에 외력을 가했을 때의 버텍스 위치와 외력이 가해지지 않을 때의 버텍스 위치를 비교할 수 있다. 그리고, 가상 피팅 장치(100)는 두 버텍스 사이의 거리가 클수록 가상 옷이 펄럭이는 영역이라 판단하고, 두 버텍스 사이의 거리가 좁을수록 가상 옷이 펄럭이지 않은 영역이라 판단할 수 있다.
그리고, 가상 피팅 장치(100)는 외력 정보가 반영된 가상 피팅 영상을 출력한다(S840). 이때, 가상 피팅 장치(100)는 사용자가 펄럭이는 부분을 더욱 직관적으로 확인할 수 있도록 펄럭이는 부분을 다른 부분과 상이하게 표현할 수 있다.
상술한 바와 같이, 가상 피팅 영상에 외력을 제공함으로써, 사용자는 외부 상황의 변화에 대응하여 가상 옷의 피팅감을 확인할 수 있게 된다.
도 9a는 본 발명의 일 실시예에 따른, 가상 옷의 주요 지점을 표현하는 실시예를 설명하기 위한 도면이다.
우선, 가상 피팅 장치(100)는 가상 피팅 영상을 획득한다(S910).
그리고, 가상 피팅 장치(100)는 가상 옷의 주요 지점에 대한 정보를 획득한다(S920). 이때, 가상 옷이 상의인 경우, 가상 옷의 주요 지점은 어깨 봉제선, 팔의 기장 끝 위치 등이 포함될 수 있으며, 가상 옷이 하의인 경우, 가상 옷의 주요 지점은 다리의 기장 끝 위치 등이 포함될 수 있다.
그리고, 가상 피팅 장치(100)는 가상 피팅 영상에 표시된 가상 옷을 반투명하게 처리한다(S930).
그리고, 가상 피팅 장치(100)는 가상 옷이 타겟팅하고자 하는 주요 지점 및 현재 아바타가 입은 가상 옷의 주요 지점을 표시한다(S940). 구체적으로, 가상 피팅 장치(100)는 도 9b에 도시된 바와 같이, 가상 옷이 타겟팅하고자 하는 어깨선 위치(1050-1) 및 팔 끝 위치(1050-2)를 점선 형태로 표현하고, 현재 아바타가 입은 가상 옷의 어깨선(1060-1) 및 팔 끝 위치(1060-2)를 실선 형태로 표현할 수 있다. 그러나, 가상 피팅 장치(100)가 가상 옷이 타겟팅하고자 하는 주요 지점을 점선으로 표시하고, 현재 아바타가 입은 가상 옷의 주요 지점을 실선으로 표시하는 것은 일 실시예에 불과할 뿐, 다른 방법(예를 들어, 색상, 투명도 등)으로 가상 옷이 타겟팅하고자 하는 주요 지점 및 현재 아바타가 입은 가상 옷의 주요 지점을 상이하게 표현할 수 있다.
상술한 바와 같이, 가상 옷이 타겟팅하고자 하는 주요 지점 및 현재 아바타가 입은 가상 옷의 주요 지점을 표시함으로써, 사용자는 가상 옷이 자신에게 맞는지 여부를 더욱 직관적으로 확인할 수 있게 된다.
이하에서는 도 10을 참조하여 본 발명의 일 실시예에 따른, 가상 피팅 장치(100)의 가상 피팅 방법에 대해 설명하기로 한다.
가상 피팅 장치(100)는 사용자를 촬영하여 실사 영상을 획득한다(S1010).
그리고, 가상 피팅 장치(100)는 사용자의 체형 및 움직임을 바탕으로 생성된 아바타를 포함하는 가상 영상을 획득한다(S1020). 이때, 아바타에는 사용자가 입고자 하는 가상 옷이 입혀질 수 있다.
그리고, 가상 피팅 장치(100)는 실사 영상 및 가상 영상을 분석하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단한다(S1030). 구체적으로, 가상 피팅 장치(100)는 실사 영상을 분석하여 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하고, 가상 영상을 분석하여 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하며, 실제 옷이 위치하는 영역과 가상 옷이 위치하는 영역을 비교하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단할 수 있다. 이때, 가상 피팅 장치(100)는 실제 옷이 위치하는 영역 및 가상 옷이 위치하는 영역 중 적어도 하나가 위치하는 영역은 가상 영상의 합성 영역으로 판단하고, 실제 옷 및 가상 옷이 위치하지 않은 영역을 실사 영상의 합성 영역으로 판단할 수 있다.
그리고, 가상 피팅 장치(100)는 실사 영상의 합성 영역 및 가상 영역의 합성 영역을 합성하여 가상 피팅 영상을 생성한다(S1040). 이때, 가상 피팅 장치(100)는 가상 옷의 특성 정보 및 외력 정보 중 적어도 하나를 반영하여 가상 피팅 영상을 생성할 수 있다.
그리고, 가상 피팅 장치(100)는 가상 피팅 영상을 출력한다(S1050).
상술한 바와 같은 실시예에 의해, 사용자는 직접 옷을 입지 않더라도 더욱 실제적이고 피팅감있는 가상 피팅 경험을 통해 자신에게 맞는 옷을 고를 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 영상 처리 장치의 영상 처리 방법은 프로그램으로 구현되어 디스플레이 장치 또는 입력 장치에 제공될 수 있다. 특히, 디스플레이 장치의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 실사 영상 획득부 120: 가상 영상 획득부
130: 판단부 140: 생성부
150: 출력부

Claims (20)

  1. 가상 피팅 방법에 있어서,
    사용자를 촬영하여 실사 영상을 획득하는 단계;
    상기 사용자의 체형 및 움직임을 바탕으로 상기 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하는 단계;
    상기 실사 영상과 가상 영상을 분석하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 단계; 및
    상기 실사 영상의 합성 영역 및 상기 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 출력하는 단계;를 포함하는 가상 피팅 방법.
  2. 제1항에 있어서,
    상기 판단하는 단계는,
    상기 실사 영상을 분석하여 상기 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하는 단계;
    상기 가상 영상을 분석하여 상기 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하는 단계;
    상기 실제 옷이 위치하는 영역과 상기 가상 옷이 위치하는 영역을 비교하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 단계;를 포함하는 가상 피팅 방법.
  3. 제2항에 있어서,
    상기 합성 영역을 판단하는 단계는,
    상기 실제 옷이 위치하는 영역을 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷이 위치하지 않은 영역 중 상기 가상 옷이 위치하는 영역은 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷 및 상기 가상 옷이 위치하지 않은 영역을 상기 실사 영상의 합성 영역으로 판단하는 것을 특징으로 하는 가상 피팅 방법.
  4. 제1항에 있어서,
    실제 액세서리 및 가상 액세서리 중 하나를 선택하는 사용자 명령을 입력받는 단계;
    상기 실제 액세서리가 선택된 경우, 상기 실제 액세서리를 포함하는 일정 영역을 상기 실사 영상의 합성 영역으로 판단하고, 상기 가상 액세서리가 선택된 경우, 상기 가상 액세서리를 포함하는 일정 영역을 상기 가상 영상의 합성 영역으로 판단하는 단계;를 포함하는 가상 피팅 방법.
  5. 제1항에 있어서,
    상기 실사 영상을 획득하는 단계는,
    영상 카메라를 이용하여 사용자를 촬영하여 상기 실사 영상을 획득하며,
    상기 가상 영상을 획득하는 단계는,
    뎁스 또는 뎁스 카메라를 이용하여 상기 사용자의 체형 및 움직임을 촬영하고, 상기 촬영된 사용자의 체형 및 움직임을 바탕으로 아바타를 생성하여 가상 영상을 획득하는 것을 특징으로 하는 가상 피팅 방법.
  6. 제1항에 있어서,
    상기 출력하는 단계는,
    사용자가 착용하고자 하는 가상 옷의 특성 정보를 반영하여 상기 가상 피팅 영상을 생성하는 단계;를 포함하는 가상 피팅 방법.
  7. 제6항에 있어서,
    상기 생성하는 단계는,
    상기 사용자가 움직인 경우, 상기 가상 옷의 특성 정보를 바탕으로 상기 사용자 움직임에 대응되는 상기 가상 옷의 늘어남을 판단하는 단계; 및
    상기 가상 옷의 늘어남이 기설정된 경계값 이상인 경우, 상기 가상 피팅 영상에 포함된 사용자 이미지의 움직임을 중지하거나 속도를 제어하는 단계;를 포함하는 가상 피팅 방법.
  8. 제6항에 있어서,
    상기 생성하는 단계는,
    상기 사용자가 움직인 경우, 상기 사용자의 체형 변화를 판단하는 단계;
    상기 가상 옷의 특성 정보 및 상기 사용자의 체형 변화를 바탕으로 상기 가상 피팅 영상을 생성하는 단계;를 포함하는 가상 피팅 방법.
  9. 제6항에 있어서,
    상기 생성하는 단계는,
    외력 정보를 입력받는 단계; 및
    상기 가상 옷의 특성 정보 및 상기 외력 정보를 바탕으로 상기 가상 피팅 영상을 생성하는 단계;를 포함하는 가상 피팅 방법.
  10. 제6항에 있어서,
    상기 생성하는 단계는,
    상기 가상 옷의 주요 지점 정보를 바탕으로 상기 가상 옷의 주요 지점을 표시하여 상기 가상 피팅 영상을 생성하는 것을 특징으로 하는 가상 피팅 방법.
  11. 가상 피팅 장치에 있어서,
    사용자를 촬영하여 상기 사용자의 실사 영상을 획득하는 실사 영상 획득부;
    상기 사용자의 체형 및 움직임을 바탕으로 상기 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하는 가상 영상 획득부;
    상기 실사 영상과 가상 영상을 분석하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 판단부;
    상기 실사 영상의 합성 영역 및 상기 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 생성하는 생성부; 및
    상기 가상 피팅 영상을 출력하는 출력부;를 포함하는 가상 피팅 장치.
  12. 제11항에 있어서,
    상기 판단부는,
    상기 실사 영상을 분석하여 상기 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하고, 상기 가상 영상을 분석하여 상기 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하며, 상기 실제 옷이 위치하는 영역과 상기 가상 옷이 위치하는 영역을 비교하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 것을 특징으로 하는 가상 피팅 장치.
  13. 제12항에 있어서,
    상기 판단부는,
    상기 실제 옷이 위치하는 영역을 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷이 위치하지 않은 영역 중 상기 가상 옷이 위치하는 영역은 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷 및 상기 가상 옷이 위치하지 않은 영역을 상기 실사 영상의 합성 영역으로 판단하는 것을 특징으로 하는 가상 피팅 장치.
  14. 제11항에 있어서,
    실제 액세서리 및 가상 액세서리 중 하나를 선택하는 사용자 명령을 입력받는 입력부;를 더 포함하며,
    상기 판단부는,
    상기 실제 액세서리가 선택된 경우, 상기 실제 액세서리를 포함하는 일정 영역을 상기 실사 영상의 합성 영역으로 판단하고, 상기 가상 액세서리가 선택된 경우, 상기 가상 액세서리를 포함하는 일정 영역을 상기 가상 영상의 합성 영역으로 판단하는 것을 특징으로 하는 가상 피팅 장치.
  15. 제11항에 있어서,
    상기 실사 영상 획득부는,
    영상 카메라를 이용하여 사용자를 촬영하여 상기 실사 영상을 획득하며,
    상기 가상 영상을 획득부는,
    뎁스 또는 영상 카메라를 이용하여 상기 사용자의 체형 및 움직임을 촬영하고, 상기 촬영된 사용자의 체형 및 움직임을 바탕으로 아바타를 생성하여 가상 영상을 획득하는 것을 특징으로 하는 가상 피팅 장치.
  16. 제11항에 있어서,
    상기 생성부는,
    사용자가 착용하고자 하는 가상 옷의 특성 정보를 반영하여 상기 가상 피팅 영상을 생성하는 것을 특징으로 하는 가상 피팅 장치.
  17. 제16항에 있어서,
    상기 생성부는,
    상기 사용자가 움직인 경우, 상기 가상 옷의 특성 정보를 바탕으로 상기 사용자 움직임에 대응되는 상기 가상 옷의 늘어남을 판단하고, 상기 가상 옷의 늘어남이 기설정된 경계값 이상인 경우, 상기 가상 피팅 영상에 포함된 사용자 이미지의 움직임을 중지하거나 속도를 제어하는 것을 특징으로 하는 가상 피팅 장치.
  18. 제16항에 있어서,
    상기 생성부는,
    상기 사용자가 움직인 경우, 상기 사용자의 체형 변화를 판단하고, 상기 가상 옷의 특성 정보 및 상기 사용자의 체형 변화를 바탕으로 상기 가상 피팅 영상을 생성하는 것을 특징으로 하는 가상 피팅 장치.
  19. 제16항에 있어서,
    상기 생성부는,
    외력 정보가 입력된 경우, 상기 가상 옷의 특성 정보 및 상기 외력 정보를 바탕으로 상기 가상 피팅 영상을 생성하는 것을 특징으로 하는 가상 피팅 장치.
  20. 제16항에 있어서,
    상기 생성부는,
    상기 가상 옷의 주요 지점 정보를 바탕으로 상기 가상 옷의 주요 지점을 표시하여 상기 가상 피팅 영상을 생성하는 것을 특징으로 하는 가상 피팅 장치.
KR1020140142363A 2014-10-21 2014-10-21 가상 피팅 장치 및 이의 가상 피팅 방법 KR102240302B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140142363A KR102240302B1 (ko) 2014-10-21 2014-10-21 가상 피팅 장치 및 이의 가상 피팅 방법
CN201510640103.9A CN105528799B (zh) 2014-10-21 2015-09-30 虚拟试衣装置及其虚拟试衣方法
US15/521,035 US10152829B2 (en) 2014-10-21 2015-10-12 Virtual fitting device and virtual fitting method thereof
EP15851874.6A EP3211587A4 (en) 2014-10-21 2015-10-12 Virtual fitting device and virtual fitting method thereof
PCT/KR2015/010701 WO2016064121A1 (ko) 2014-10-21 2015-10-12 가상 피팅 장치 및 이의 가상 피팅 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140142363A KR102240302B1 (ko) 2014-10-21 2014-10-21 가상 피팅 장치 및 이의 가상 피팅 방법

Publications (2)

Publication Number Publication Date
KR20160046471A true KR20160046471A (ko) 2016-04-29
KR102240302B1 KR102240302B1 (ko) 2021-04-14

Family

ID=55761112

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140142363A KR102240302B1 (ko) 2014-10-21 2014-10-21 가상 피팅 장치 및 이의 가상 피팅 방법

Country Status (5)

Country Link
US (1) US10152829B2 (ko)
EP (1) EP3211587A4 (ko)
KR (1) KR102240302B1 (ko)
CN (1) CN105528799B (ko)
WO (1) WO2016064121A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180129331A (ko) * 2017-05-26 2018-12-05 주식회사 씨드아이글로벌 피팅상품에 대한 구매정보 차등생성 시스템
KR20190052824A (ko) * 2017-11-09 2019-05-17 (주)코아시아 증강현실을 이용한 가상 의류 피팅 미러 장치 시스템
KR20190052830A (ko) * 2017-11-09 2019-05-17 (주)코아시아 증강현실을 이용한 가상 의류 피팅 기능이 내장된 텔레비전
KR20190052832A (ko) * 2017-11-09 2019-05-17 (주)코아시아 쓰리디 시뮬레이션이 가능한 가상헤어스타일피팅미러 장치 및 시스템
KR20200088187A (ko) * 2019-01-14 2020-07-22 삼성전자주식회사 아바타를 생성하기 위한 전자 장치 및 그에 관한 방법
KR20210130953A (ko) 2020-04-23 2021-11-02 엔에이치엔 주식회사 딥러닝 기반 가상 이미지 생성방법 및 시스템
US11462000B2 (en) 2019-08-26 2022-10-04 Apple Inc. Image-based detection of surfaces that provide specular reflections and reflection modification

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US10248993B2 (en) * 2015-03-25 2019-04-02 Optitex Ltd. Systems and methods for generating photo-realistic images of virtual garments overlaid on visual images of photographic subjects
CN105955483A (zh) * 2016-05-06 2016-09-21 乐视控股(北京)有限公司 虚拟现实终端及其视觉虚拟方法和装置
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
CN106127846A (zh) * 2016-06-28 2016-11-16 乐视控股(北京)有限公司 虚拟现实终端及其视觉虚拟方法和装置
EP3654290A1 (en) 2016-09-23 2020-05-20 Apple Inc. Avatar creation and editing
CN106815825A (zh) * 2016-12-09 2017-06-09 深圳市元征科技股份有限公司 一种试衣信息显示方法及显示设备
US10776861B1 (en) 2017-04-27 2020-09-15 Amazon Technologies, Inc. Displaying garments on 3D models of customers
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107464289B (zh) * 2017-08-03 2020-10-30 厦门黑镜科技有限公司 一种虚拟服饰穿戴方法、装置、设备和存储介质
CN108181987A (zh) * 2017-11-23 2018-06-19 中国计量大学 一种基于虚拟现实的纺织品感知方法
CN108304351B (zh) * 2017-12-27 2022-01-07 广州品唯软件有限公司 一种织物触感信息传递方法
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
CN109493161A (zh) * 2018-09-29 2019-03-19 北京小米移动软件有限公司 利用虚拟现实进行虚拟购物的方法和装置
WO2020116130A1 (ja) * 2018-12-06 2020-06-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN110096156B (zh) * 2019-05-13 2021-06-15 东北大学 基于2d图像的虚拟换装方法
CN110706320A (zh) * 2019-09-30 2020-01-17 恒信东方文化股份有限公司 一种虚拟试衣方法、装置及系统
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11443489B2 (en) * 2020-08-28 2022-09-13 Wormhole Labs, Inc. Cross-platform avatar banking and redemption
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
WO2022081745A1 (en) * 2020-10-13 2022-04-21 Maze Ar Llc Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices
CN112562063B (zh) * 2020-12-08 2024-07-02 上饶市纯白数字科技有限公司 用于对物体进行立体尝试的方法、装置、设备及存储介质
US11321916B1 (en) * 2020-12-30 2022-05-03 Beijing Wodong Tianjun Information Technology Co., Ltd. System and method for virtual fitting
CN113095317A (zh) * 2021-04-19 2021-07-09 丹东鑫晨光伏科技有限公司 一种虚拟试衣装置及其虚拟试衣系统
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
JP2022186612A (ja) * 2021-06-04 2022-12-15 功憲 末次 商品・サービス利用シミュレーションシステム
CN113298627B (zh) * 2021-07-21 2021-11-02 中运科技股份有限公司 一种基于人工智能的新零售商城系统
CN113627083A (zh) * 2021-08-05 2021-11-09 广州帕克西软件开发有限公司 一种基于虚拟试穿实现div衣服的方法
KR102587078B1 (ko) * 2021-09-06 2023-10-10 주식회사 슈퍼빅 확장현실을 기반으로 하는 컨텐츠 동영상 제작 시스템
CN114663175A (zh) * 2022-02-07 2022-06-24 苏州大学 一种服装动态合体性评估方法
CN115937964B (zh) * 2022-06-27 2023-12-15 北京字跳网络技术有限公司 姿态估计的方法、装置、设备和存储介质
US11893847B1 (en) 2022-09-23 2024-02-06 Amazon Technologies, Inc. Delivering items to evaluation rooms while maintaining customer privacy

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090058765A (ko) * 2007-12-05 2009-06-10 에스케이커뮤니케이션즈 주식회사 아바타 표현 장치와 방법 및 이를 구현할 수 있는 컴퓨터로읽을 수 있는 기록 매체
KR20100135001A (ko) * 2009-06-16 2010-12-24 두원공과대학산학협력단 의류착용용 디지털 가상 거울 시스템 및 그 처리방법
KR20140077820A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
JPH10340282A (ja) 1997-04-11 1998-12-22 Toray Ind Inc 衣服の仮想試着装置および仮想試着方法および衣服製造装置
JPH11205585A (ja) 1998-01-20 1999-07-30 Toyobo Co Ltd プライベートカタログ作成方法および作成システム
KR20020051667A (ko) 2000-12-23 2002-06-29 윤종용 가상적인 의상 착용 모습의 표현 방법 및 장치
US6810300B1 (en) 2003-05-22 2004-10-26 Kimberly-Clark Worldwide, Inc. Method of designing a product worn on a body in a virtual environment
JP2007102478A (ja) 2005-10-04 2007-04-19 Toshiba Corp 画像処理装置、画像処理方法、及び半導体集積回路
US7487116B2 (en) * 2005-12-01 2009-02-03 International Business Machines Corporation Consumer representation rendering with selected merchandise
US7911469B1 (en) 2006-06-08 2011-03-22 Pixar Pose-based collision fly-papering: a method for simulating objects in computer animation
KR100828935B1 (ko) 2006-09-27 2008-05-13 곽노윤 디지털 패션 디자인용 실사 기반 가상 드레이핑 시뮬레이션방법
KR20090054779A (ko) 2007-11-27 2009-06-01 백진철 웹기반 가상 패션코디장치 및 그 방법
JP4407761B2 (ja) 2008-03-24 2010-02-03 東洋紡績株式会社 衣服シミュレーション装置、衣服シミュレーションプログラム、及び衣服シミュレーション方法
WO2010073432A1 (ja) 2008-12-24 2010-07-01 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US8364561B2 (en) * 2009-05-26 2013-01-29 Embodee Corp. Garment digitization system and method
US8275590B2 (en) 2009-08-12 2012-09-25 Zugara, Inc. Providing a simulation of wearing items such as garments and/or accessories
WO2011045768A2 (en) * 2009-10-15 2011-04-21 Yeda Research And Development Co. Ltd. Animation of photo-images via fitting of combined models
JP2011209887A (ja) 2010-03-29 2011-10-20 Sannetto:Kk アバター作成方法、アバター作成プログラム、およびネットワークサービスシステム
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US10628729B2 (en) * 2010-06-08 2020-04-21 Styku, LLC System and method for body scanning and avatar creation
US20110298897A1 (en) 2010-06-08 2011-12-08 Iva Sareen System and method for 3d virtual try-on of apparel on an avatar
CA2801593C (en) 2010-06-10 2022-06-21 Brown University Parameterized model of 2d articulated human shape
GB201102794D0 (en) 2011-02-17 2011-03-30 Metail Ltd Online retail system
KR20130082709A (ko) 2011-12-15 2013-07-22 김병일 3d 아바타를 활용한, 사용자 전용 서비스 제공방법 및 시스템
JP2013190974A (ja) 2012-03-13 2013-09-26 Satoru Ichimura 情報処理装置および情報処理方法、ならびに、プログラム
JP5920724B2 (ja) 2012-11-06 2016-05-18 美津濃株式会社 情報処理装置、情報処理方法、情報処理プログラム
SG11201503974SA (en) 2012-11-22 2015-06-29 Agency Science Tech & Res Method, apparatus and system for virtual clothes modelling
CN109598798B (zh) * 2012-12-14 2023-11-28 韩国电子通信研究院 虚拟物拟合方法及虚拟物拟合服务系统
CN103927667A (zh) * 2014-04-10 2014-07-16 陕西科技大学 一种基于手机的虚拟试衣系统及试衣方法
CN104008571B (zh) * 2014-06-12 2017-01-18 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
CN104091269A (zh) * 2014-06-30 2014-10-08 京东方科技集团股份有限公司 一种虚拟试衣方法及虚拟试衣系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090058765A (ko) * 2007-12-05 2009-06-10 에스케이커뮤니케이션즈 주식회사 아바타 표현 장치와 방법 및 이를 구현할 수 있는 컴퓨터로읽을 수 있는 기록 매체
KR20100135001A (ko) * 2009-06-16 2010-12-24 두원공과대학산학협력단 의류착용용 디지털 가상 거울 시스템 및 그 처리방법
KR20140077820A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180129331A (ko) * 2017-05-26 2018-12-05 주식회사 씨드아이글로벌 피팅상품에 대한 구매정보 차등생성 시스템
KR20190052824A (ko) * 2017-11-09 2019-05-17 (주)코아시아 증강현실을 이용한 가상 의류 피팅 미러 장치 시스템
KR20190052830A (ko) * 2017-11-09 2019-05-17 (주)코아시아 증강현실을 이용한 가상 의류 피팅 기능이 내장된 텔레비전
KR20190052832A (ko) * 2017-11-09 2019-05-17 (주)코아시아 쓰리디 시뮬레이션이 가능한 가상헤어스타일피팅미러 장치 및 시스템
KR20200088187A (ko) * 2019-01-14 2020-07-22 삼성전자주식회사 아바타를 생성하기 위한 전자 장치 및 그에 관한 방법
US11462000B2 (en) 2019-08-26 2022-10-04 Apple Inc. Image-based detection of surfaces that provide specular reflections and reflection modification
US11900569B2 (en) 2019-08-26 2024-02-13 Apple Inc. Image-based detection of surfaces that provide specular reflections and reflection modification
KR20210130953A (ko) 2020-04-23 2021-11-02 엔에이치엔 주식회사 딥러닝 기반 가상 이미지 생성방법 및 시스템
US11727605B2 (en) 2020-04-23 2023-08-15 Nhn Cloud Corporation Method and system for creating virtual image based deep-learning

Also Published As

Publication number Publication date
US20170316617A1 (en) 2017-11-02
US10152829B2 (en) 2018-12-11
CN105528799B (zh) 2021-02-09
WO2016064121A1 (ko) 2016-04-28
EP3211587A1 (en) 2017-08-30
CN105528799A (zh) 2016-04-27
KR102240302B1 (ko) 2021-04-14
EP3211587A4 (en) 2018-03-14

Similar Documents

Publication Publication Date Title
KR20160046471A (ko) 가상 피팅 장치 및 이의 가상 피팅 방법
US11656680B2 (en) Technique for controlling virtual image generation system using emotional states of user
KR101710521B1 (ko) 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램
JP7504968B2 (ja) アバター表示装置、アバター生成装置及びプログラム
JP6341646B2 (ja) 試着支援装置及び方法
CN110609617B (zh) 虚拟镜子的装置、系统和方法
KR20180108709A (ko) 사용자의 현실적인 신체 모델에 가상으로 옷을 입혀보는 방법
US20220044311A1 (en) Method for enhancing a user's image while e-commerce shopping for the purpose of enhancing the item that is for sale
WO2014081394A1 (en) Method, apparatus and system for virtual clothes modelling
JP2013190974A (ja) 情報処理装置および情報処理方法、ならびに、プログラム
KR20110002610A (ko) 증강현실을 이용한 주얼리 착용 모습 디스플레이 장치 및 방법
KR102009400B1 (ko) 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
Masri et al. Virtual dressing room application
US10698474B2 (en) Apparatus and method for designing patterns for wearable items
KR101586010B1 (ko) 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법
KR20220052363A (ko) 프로그램, 방법, 및 단말 장치
KR20100135001A (ko) 의류착용용 디지털 가상 거울 시스템 및 그 처리방법
KR101321022B1 (ko) 증강 현실 구현 방법 및 증강 현실을 구현하는 컴퓨팅 장치 및 시스템
Dvořák et al. Presentation of historical clothing digital replicas in motion
JP7365457B2 (ja) データ処理装置、プログラム、及びデータ処理方法
Clement et al. GENERATING DYNAMIC EMOTIVE ANIMATIONS FOR AUGMENTED REALITY
CN114125271A (zh) 图像处理方法、装置及电子设备
JP2011186774A (ja) 試着システム、試着画像作成方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant