KR20180108709A - 사용자의 현실적인 신체 모델에 가상으로 옷을 입혀보는 방법 - Google Patents

사용자의 현실적인 신체 모델에 가상으로 옷을 입혀보는 방법 Download PDF

Info

Publication number
KR20180108709A
KR20180108709A KR1020187024416A KR20187024416A KR20180108709A KR 20180108709 A KR20180108709 A KR 20180108709A KR 1020187024416 A KR1020187024416 A KR 1020187024416A KR 20187024416 A KR20187024416 A KR 20187024416A KR 20180108709 A KR20180108709 A KR 20180108709A
Authority
KR
South Korea
Prior art keywords
person
image
clothes
body model
face
Prior art date
Application number
KR1020187024416A
Other languages
English (en)
Inventor
니틴 바츠
Original Assignee
니틴 바츠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니틴 바츠 filed Critical 니틴 바츠
Publication of KR20180108709A publication Critical patent/KR20180108709A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

옷을 입는 사람의 신체 모델을 생성하기 위한 방법에 있어서, 사람에 관련된 사용자 입력을 수신하는 단계로서, 상기 사용자 입력은 사람의 적어도 하나의 영상 또는 사진을 포함하고, 사람의 적어도 하나의 영상은 사람을 얼굴을 가지는 단계; 다른 신체 부분(들)의 요건을 확인하기 위하여 신체 정보를 이용하는 단계; 확인된 요건에 기반하여 다른 신체 부분(들)의 적어도 하나의 영상 또는 사진을 수신하는 단계; 사람의 신체 모델을 생성하기 위하여 상기 신체 정보를 이용하여 다른 신체 부분(들)의 영상(들) 또는 사진(들)을 갖는 사람의 영상(들)을 처리하는 단계로서, 상기 신체 모델은 그 영상/사진이 사용자 입력으로서 수신된 사람을 나타내고, 상기 신체 모델은 사람의 얼굴을 포함하는 단계; 사람의 상기 신체 모델의 형상 및 사이즈에 따라 옷의 영상을 수신하는 단계; 및 옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 옷의 상기 영상을 조합하는 단계;를 포함한다. 신체 정보는 사람의 상기 영상에 있는 사람의 얼굴의 방향, 사람의 상기 영상에 있는 사람의 신체의 방향, 사람의 피부 톤, 사람의 상기 영상에 보여지는 신체 부분(들)의 형태, 사람의 영상에 있는 하나 이상의 신체 부분(들)의 위치 및 기하 형상, 사람의 신체/신체 부분(들)의 형상 및 사이즈, 사람의 무게, 사람의 키, 얼굴 특징 정보, 또는 얼굴 특징들의 근처 부분, 또는 그 조합 중의 적어도 하나를 포함한다. 얼굴 특징 정보는 적어도 얼굴, 눈, 볼, 목, 입술, 코, 또는 귀, 또는 그 조합의 형상 또는 위치 중의 적어도 하나를 포함한다.

Description

사용자의 현실적인 신체 모델에 가상으로 옷을 입혀보는 방법
본 발명은 일반적으로 영상 처리의 분야에 관한 것이며, 특히 사용자 영상(들)과 옷의 가상적인 착용을 이용하여 사용자의 현실적인 신체 모델을 생성하기 위한 방법 및 시스템에 관한 것이다.
지금까지, 온라인 쇼핑을 할 때, 옷은 착용되지 않은 상태로 보여진다. 사용자는 단순히 옷을 보고서는 그 특별한 옷이 어울릴 것인지 인지할 수 없다.
그러나, 약간의 경험을 제공하기 위하여, 온라인 판매자들은 모델이 옷을 착용한 것을 보여주기 시작하였다. 그러나, 모델은 특별한 신체 치수와 곡선을 갖고 있으며, 이는 사용자의 신체 치수와 곡선과는 꽤 다를 수 있다. 일반적으로 특정 사이즈의 옷을 입고 있는 모델을 보아서는 특별한 사이즈의 옷을 입기 위한 사이즈를 매칭하기 위하여 사용자가 인지하는 것이 어렵다.
또한, 특별한 사이즈의 옷은 각 사람에게 서로 다르게 보이며, 이는 착용하거나 착용하지 않은 후에 옷을 좋아하게 될지에 대한 사용자의 인지에 꽤 좌우된다. 이러한 많은 경우, 사용자는 옷을 좋아하게 될지를 확인하기 위하여 입어볼 수 있도록 많은 드레스들을 선택한다. 사이즈와 맞춤 상태가 좋더라도, 사용자는 여전히 입어 보고 좋지 않기 때문에 특별한 옷을 거절하는 일이 일반적으로 생긴다. 이러한 경험은 특별한 사이즈의 옷 또는 다른 사이즈의 옷을 입고 있는 모델에 의하여 제공될 수 없다.
입어 본 후 옷을 좋아하지 않게 되는 이유들 중의 하나는 각 옷이 특별한 피부 톤에 대해 서로 다른 대비 또는 매치를 가지기 때문이다. 얼굴 특징들이 옷의 착용감을 변화시키기도 한다. 또한, 각 신체는 서로 다른 곡선을 가지며, 색상 패턴은 특별한 커버 위에서 서로 다르다. 사용자의 신체에 대한 서로 다른 곡선들 상에서 색상 패턴의 이러한 변화는 또한 사용자에 의한 옷의 호불호를 변화시킨다. 사용자가 유사한 신체 치수, 신체 곡선, 피부 톤 및 얼굴 특징으로 옷이 착용된 것을 보는 것과 관련된 경험을 갖고 있을 때 사용자에 의한 가장 좋은 인지가 가능해진다.
또한, 사용자는 서로 다른 형태의 옷에 대한 착용 경험과 다른 가게에서의 착용 경험을 반복할 것이다.
옷을 입고 있는 사용자에게 느낌을 주기 위하여, 다양한 방법들이 알려져 있으며:
사람의 3D 모델이 생성되며 이는 시간 소모적인 일이다. 3D 모델을 생성한 후에, 3D 옷은 3D 모델에 입혀지고, 이는 비현실적인 느낌을 준다.
사용자는 사진을 업로드하여 옷의 추가적인 영상을 사진 상으로 드래그한다. 그러나, 사진으로의 옷의 줌인과 줌아웃에 대하여 문제가 발생하며, 옷을 놓는 것이 정확치 않고, 사진 상으로 옷을 몇 층으로 놓는 것은 일반적으로 불가능하다. 또한, 이 방법은 비접촉 스크린 매체를 이용할 때 사용자에게 불편하다.
본 발명의 목적은 사용자에게 현실감 있고 맞춤이 가능한 착용 경험을 가상으로 제공하는 것이다.
본 발명의 목적은 청구항 1의 방법, 청구항 38의 시스템, 및 청구항 40의 컴퓨터 프로그램 제품에 의하여 달성된다.
본 방법의 일 실시예에 따르면, 본 방법은 다음 단계들을 포함한다:
- 사람에 관련된 사용자 입력을 수신하는 단계로서, 상기 사용자 입력은 사람의 적어도 하나의 영상 또는 사진을 포함하고, 사람의 적어도 하나의 영상은 사람을 얼굴을 가지는, 사용자 입력 수신 단계;
- 다른 신체 부분(들)의 요건을 확인하기 위하여 신체 정보를 이용하는 단계;
- 확인된 요건에 기반하여 다른 신체 부분(들)의 적어도 하나의 영상 또는 사진을 수신하는 단계;
- 사람의 신체 모델을 생성하기 위하여 상기 신체 정보를 이용하여 다른 신체 부분(들)의 영상(들) 또는 사진(들)을 갖는 사람의 영상(들)을 처리하는 단계로서, 상기 신체 모델은 그 영상/사진이 사용자 입력으로서 수신된 사람을 나타내고, 상기 신체 모델은 사람의 얼굴을 포함하는, 영상 처리 단계;
- 사람의 상기 신체 모델의 형상 및 사이즈에 따라 옷의 영상을 수신하는 단계; 및
- 옷을 입고 있는 사람의 상기 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 옷의 상기 영상을 조합하는 단계.
신체 정보는 사람의 상기 영상에 있는 사람의 얼굴의 방향, 사람의 상기 영상에 있는 사람의 신체의 방향, 사람의 피부 톤, 사람의 상기 영상에 보여지는 신체 부분(들)의 형태, 사람의 영상에 있는 하나 이상의 신체 부분(들)의 위치 및 기하 형상, 사람의 신체/신체 부분(들)의 형상 및 사이즈, 사람의 무게, 사람의 키, 얼굴 특징 정보, 또는 얼굴 특징들의 근처 부분, 또는 그 조합 중의 적어도 하나를 포함하고, 얼굴 특징 정보는 적어도 얼굴, 눈, 볼, 목, 입술, 코, 또는 귀, 또는 그 조합의 형상 또는 위치 중의 적어도 하나를 포함한다.
본 방법의 다른 실시예에 따르면, 사람의 상기 신체 모델과 옷의 상기 영상은 적어도 얼굴 표정이나 신체 움직임, 또는 그 조합을 갖도록 옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 결합된다.
본 방법의 또 다른 실시예에 따르면, 신체 정보는 사용자에 의하여 사용자 입력으로서 수집되거나 사용자 입력을 분석/처리하여 결정된다.
본 방법의 일 실시예에 따르면, 상기 신체 정보는 목 또는 볼 또는 조합을 클릭하여 사용자로부터 수신되는 선택 입력이고, 본 방법은 다음을 추가로 포함한다:
- 상기 영상/사진으로부터 얼굴을 추출하기 위하여 상기 선택 입력을 처리하는 단계; 및
- 사람의 상기 신체 모델을 생성하기 위하여 다른 신체 부분(들)의 영상(들) 또는 사진(들)을 가지고 상기 추출된 얼굴을 처리하는 단계.
본 방법의 다른 실시예에 따르면, 사람의 상기 신체 모델과 옷의 상기 영상은 옷을 입고 있는 사람의 상기 신체 모델을 보여 주는 단일의 영상을 생성하기 위하여 사람의 상기 신체 모델과 옷의 상기 영상을 처리하여 조합된다.
본 방법의 또 다른 실시예에 따르면, 사람의 상기 신체 모델과 상기 영상은 옷을 입고 있는 사람의 신체 모델을 보여 주면서 상기 신체 모델 상에 중첩되는 옷의 영상을 갖는 장면을 생성하기 위하여 조합된다.
본 방법의 일 실시예에 따르면, 옷의 상기 영상은 신체 정보, 또는 사람의 신체 모델의 변수 정보, 또는 그 조합 중의 적어도 하나에 기반하여 데이터베이스로부터 제공되고, 변수 정보는 사람의 신체 모델의 형상과 사이즈에 관련된다.
본 방법의 다른 실시예에 따르면, 옷의 상기 영상은 상기 신체 정보와 변수 정보 중의 적어도 하나에 기반한 처리 후에 제공된다.
본 방법의 또 다른 실시예에 따르면, 사람에 관련된 상기 사용자 입력은 사람의 상기 영상에 있는 사람의 얼굴의 방향, 사람의 상기 영상에 있는 사람의 신체의 방향, 사람의 피부 톤, 사람의 상기 영상에 보여진 신체 부분(들)의 형태, 사람의 상기 영상에 있는 하나 이상의 신체 부분들의 위치 및 기하 형상, 사람의 신체 또는 신체 부분들의 형상 및 사이즈, 사람의 무게, 사람의 키, 얼굴 특징 정보 또는 얼굴 특징들의 근처 부분, 또는 그 조합 중의 적어도 하나에 관련된 정보를 포함하고, 얼굴 특징 정보는 적어도 얼굴, 눈, 볼, 목, 입술, 코 또는 귀, 또는 그 조합의 형상 또는 위치 중의 적어도 하나를 포함한다.
본 방법의 일 실시예에 따르면, 사람의 상기 영상에 있는 노출되지 않은 신체 부분들을 확인하기 위하여 사람의 상기 영상을 처리하고, 그 후에 적어도 하나의 노출되지 않은 신체 부분을 제거하고, 또한 노출되지 않은 부분에 사용되기에 적합한 요구되는 다른 신체 부분(들)을 확인하는 단계를 포함한다.
본 방법의 다른 실시예에 따르면, 노출되지 않은 신체 부분이:
- 상기 영상에 있는 사람의 피부 톤을 감지하거나, 또는
- 노출되지 않은 신체 부분에서 상기 신체 부분들을 인식하거나, 그 조합 중의 적어도 하나에 의하여 확인된다.
본 방법의 또 다른 실시예에 따르면, 노출되지 않은 신체 부분은 사람에 관련된 사용자 입력에 기반하여 확인되고, 사용자 입력은 사람의 상기 영상 상으로 상기 노출되지 않은 신체 부분들을 마킹하는 것을 포함한다.
본 방법의 일 실시예에 따르면, 본 방법은 상기 신체 정보를 이용하여 사람의 영상(들)을 처리하는 단계, 그 후에 얼굴 부분을 추출하는 단계, 및 다른 신체 부분(들)을 제공하고, 사람의 상기 신체 모델을 생성하기 위하여 목에서 얼굴 부분의 얼굴과 다른 신체 부분(들)을 병합 처리하는 단계를 포함한다. 상기 얼굴 부분은 사람의 어깨 또는 목 위의 사람의 상기 영상의 일부이고 얼굴을 둘러싼다.
본 방법의 다른 실시예에 따르면, 상기 얼굴 부분은 사람의 상기 영상의 배경의 일부 부분을 포함한다.
본 방법의 또 다른 실시예에 따르면, 얼굴 부분의 기존의 배경의 부분을 처리하거나 편집하여 새로운 배경을 갖는 얼굴 부분을 생성하는 단계를 포함한다.
본 방법의 일 실시예에 따르면, 본 방법은 기존의 배경의 일부와 다른 별도의 영상(들)을 처리하여 새로운 배경을 갖는 얼굴 부분을 생성하는 단계를 포함한다.
본 방법의 다른 실시예에 따르면, 상기 얼굴 부분은 사람의 상기 영상의 배경을 제거하도록 더 편집된다.
본 방법의 또 다른 실시예에 따르면, 본 방법은 사람의 상기 신체 모델과 추가 영상을 처리하여 추가 배경을 갖는 사람의 신체 모델의 영상을 생성하는 단계를 포함한다.
본 방법의 일 실시예에 따르면, 사람에 관련된 상기 사용자 입력 또는 사람에 관련된 상기 신체 정보에 기반하여 얼굴 특징 정보를 확인하고, 상기 확인된 얼굴 특징 정보에 기반하여 얼굴 부분을 추출하고, 목에서 얼굴 부분의 얼굴과 다른 신체 부분(들)을 병합한다.
본 방법의 다른 실시예에 따르면, 360도 평면에서의 다른 각도 또는 방향에 있는 사람의 상기 영상(들)이 제공되고, 사람의 상기 영상들에서의 상기 방향 또는 캡처된 각도에 따라 상기 신체 모델을 생성한다.
본 방법의 또 다른 실시예에 따르면, 옷의 상기 영상은, 상기 신체 모델에 최적의 맞춤을 제공하기 위하여 사람의 상기 신체 모델의 방향에 따라 제공된다.
본 방법의 일 실시예에 따르면, 상기 방법은
- 옷 입력을 수신하는 단계; 및
- 상기 옷 입력에 기반하여 옷 영상을 수신하는 단계를 포함한다.
본 방법의 다른 실시예에 따르면, 상기 방법은:
- 하나 이상의 옷의 영상들을 수신하는 단계;
- 다른 층에서 서로 중첩되는 옷 영상들을 제공하는 단계; 및
- 옷들을 입은 사람의 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 층들에서의 상기 옷들의 상기 영상들을 조합하는 단계를 더 포함한다.
본 방법의 또 다른 실시예에 따르면, 상기 방법은:
- 추가될 옷을 골라서 옷을 추가하기 위한 추가 입력을 수신하는 단계;
- 상기 추가 입력에 기반하여 특별한 층에서 상기 고른 옷을 추가하고 각 층에 고른 옷을 놓아 변경된 세트의 옷(들)을 제공하는 단계; 및
- 옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 상기 변경된 세트의 옷을 조합하는 단계를 포함한다.
본 방법의 일 실시예에 따르면, 상기 방법은:
- 제거될 옷을 골라서 옷을 제거하기 위한 제거 입력을 수신하는 단계;
- 상기 제거 입력에 기반하여 특별한 층으로부터 상기 고른 옷을 제거하여 변경된 세트의 옷(들)을 제공하는 단계; 및
- 옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 상기 변경된 세트의 옷을 조합하는 단계를 포함한다.
본 방법의 다른 실시예에 따르면, 상기 방법은:
- 대체될 옷을 골라서 옷을 대체하기 위한 대체 입력을 수신하는 단계;
- 상기 대체 입력에 기반하여 특별한 층에 존재하는 다른 옷으로부터 상기 고른 옷을 대체하여 변경된 세트의 옷(들)을 제공하는 단계; 및
- 옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 상기 변경된 세트의 옷을 조합하는 단계를 포함한다.
본 방법의 다른 실시예에 따르면, 상기 방법은 피부 톤에 대한 상기 신체 정보 또는 사람의 피부 톤에 대한 상기 사용자 입력에 기반한 데이터베이스로부터, 또는 피부 톤에 대한 상기 신체 정보 또는 사람의 피부 톤에 대한 상기 사용자 입력에 기반하여 다른 신체 부분(들)을 처리하여 다른 신체 부분(들)의 영상을 제공하는 단계를 포함한다.
본 방법의 일 실시예에 따르면, 상기 방법은:
- 메이크업이 적용되는 사람의 신체 모델의 신체 부분(들)에 관련된 메이크업 입력과 상기 신체 부분(들) 상에 적용되는 메이크업에 대한 정보를 제공하는 단계;
- 상기 메이크업 입력에 기반하여 사람의 상기 신체 모델의 상기 신체 부분(들)을 감지하는 단계; 및
- 적어도:
- 상기 메이크업에 대한 정보에 관련된 메이크업 영상을 수신하고, 상기 메이크업 입력을 이용하여 사람의 상기 신체 모델의 상기 신체 부분(들) 상에서 상기 메이크업 영상(들)을 처리하거나,
- 또는, 상기 메이크업 입력을 이용하여 상기 신체 부분들 상에 상기 메이크업을 적용하기 위하여 상기 신체 부분(들)의 색상 또는 톤을 변경하거나, 그 조합으로 상기 메이크업을 적용하는 단계를 포함한다.
본 방법의 다른 실시예에 따르면, 상기 방법은:
- 얼굴 특징들의 이동, 립싱(lipsing), 및 소리 중의 적어도 하나를 포함하는 얼굴 표정 입력을 제공하는 단계;
- 얼굴 표정을 가진 신체 모델을 제공하기 위하여 상기 얼굴 표정 입력을 이용하여 사람의 상기 신체 모델을 처리하는 단계; 및
- 상기 얼굴 표정을 가지고 옷을 입고 있는 신체 모델을 보여 주기 위하여 상기 신체 모델과 옷의 상기 영상을 조합하는 단계를 포함한다.
본 방법의 또 다른 실시예에 따르면, 상기 방법은:
- 얼굴 특징들의 이동, 립싱(lipsing), 및 소리 중의 적어도 하나를 포함하는 얼굴 표정 입력을 제공하는 단계;
- 얼굴 표정을 가지고 옷을 입고 있는 신체 모델을 보여 주기 위하여 상기 얼굴 표정 입력을 이용하여 상기 옷의 영상과 조합된 신체 모델을 처리하는 단계를 포함한다.
본 방법의 일 실시예에 따르면, 상기 방법은:
- 옷의 상기 영상과 조합된 신체 모델이 보여지는 분위기에서 제공되기 위하여 조명 상태에 관련된 주변 조명 입력을 제공하는 단계;
- 옷의 영상과 조합된 사람의 신체 모델의 색상, 대비, 밝기, 포화도 중의 적어도 하나를 변경하여 주변 조명 입력을 이용하여 옷의 상기 영상과 조합된 신체 모델을 처리하는 단계를 포함한다.
본 발명의 다른 실시예에 따르면, 상기 사용자 입력은 하나 이상의 방향으로 사람의 얼굴을 보여 주는 상기 영상(들) 또는 사진(들)에 관련되며, 상기 방법은:
- 사람의 얼굴을 보여 주는 사람의 상기 영상들/사진들을 이용하여 사람의 입체 얼굴 모델을 생성하는 단계;
- 서로 다른 각도 및 방향으로 사람 얼굴의 상기 영상을 생성하기 위하여 서로 다른 각도 및 방향으로 상기 얼굴 모델을 렌더링하는 단계; 및
- 사람의 상기 신체 모델을 생성하기 위하여 서로 다른 방향으로 사람의 얼굴의 영상들과 각 방향으로 다른 신체 부분(들)의 영상들을 이용하는 단계를 포함한다.
본 방법의 또 다른 실시예에 따르면, 상기 방법은:
- 패션 액세서리가 착용될 신체 부분과 상기 신체 모델의 부분 상에 착용될 패션 액세서리에 관련된 착용 입력을 수신하는 단계;
- 상기 장식 입력과 사람에 관련된 신체 정보 및 사용자 입력 중의 적어도 하나를 처리하고, 상기 패션 액세서리가 착용될 사람의 신체 모델의 신체 부분(들)을 확인하는 단계;
- 상기 착용 입력에 따라 상기 액세서리의 영상/동영상을 수신하는 단계; 및
- 옷과 액세서리를 입고 있는 상기 조합된 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델의 상기 확인된 신체 부분(들)과 상기 액세서리의 영상/동영상을 처리하는 단계를 포함한다.
본 방법의 일 실시예에 따르면, 다른 신체 부분(들)의 수신된 영상들 또는 사진들 중의 적어도 하나는 적절히 보이지 않거나 다른 레벨의 투명도를 갖는 신체 부분의 적어도 일부를 갖는다.
본 방법의 다른 실시예에 따르면, 상기 옷의 영상은 투명하거나 반투명하고, 상기 투명하거나 반투명한 옷을 입고 있는 사람의 신체 모델을 디스플레이 장치로 보여 준다.
본 방법의 또 다른 실시예에 따르면, 디스플레이 장치 상으로 옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 상기 옷의 영상은 클라이언트-서버 환경에서 클라이언트 장치에서 사람의 신체 모델과 병합된다.
본 방법의 일 실시예에 따르면, 사람의 신체 모델은 리그(rig)를 갖는 그래픽 모델이고 출력으로서 옷을 갖는 신체 모델의 애니메이션을 생성한다.
본 발명에 따르면, 사용자에게 현실감있고 맞춤이 가능한 착용 경험을 가상으로 제공할 수 있는 효과를 얻을 수 있다.
도 1(a) 및 도 1(b)는 사용자에 의하여 제공되는 사진/영상, 영상으로부터의 얼굴 감지 및 추출을 도시한다.
도 2(a) 및 도 2(b)는 사용자 제공 영상의 이전 배경을 편집하고 처리하여 생성되는 일부 배경과 함께 추출된 얼굴을 놓는 것을 도시한다.
도 3(a) 내지 도 3(c)는 추출된 얼굴을 갖는 사용자 신체 모델을 생성하는 것을 도시한다.
도 4(a) 및 도 4(b)는 사용자 신체 모델에 의하여 착용될 옷의 선택과 사용자 신체 모델 상에서의 옷의 맞춤을 도시한다.
도 5(a) 및 도 5(b)는 사용자의 서로 다른 신체 형상과 사이즈에 대한 신체 모델의 선택을 도시한다.
도 6(a) 및 도 6(b)는 사용자에 의하여 제공되는 사진/영상, 배경 없이 영상으로부터의 얼굴 감지 및 추출을 도시한다.
도 7(a) 내지 도 7(c)는 도 6(b)에서 정의된 추출된 얼굴을 갖는 사용자 신체 모델을 생성하는 것을 도시한다.
도 8(a) 및 8(b)는 도 7(c)에서 생성된 사용자 신체 모델에 의하여 착용될 옷의 선택과 사용자 신체 모델 상에서의 옷의 맞춤을 도시한다.
도 9(a) 및 도 9(b)는 사용자의 서로 다른 신체 형상과 사이즈에 대한 신체 모델의 선택을 도시한다.
도 10(a) 및 도 10(b)는 영상의 형상과 사이즈를 변화시키는 개념을 도시한다.
도 11(a) 내지 도 11(e)는 다른 옷들, 액세서리들, 및 메이크업을 하는 것을 도시한다. 예를 들면, 사용자가 안경, 메이크업, 옷과 신발을 사용자의 모델에 가상으로 착용하는 것을 예시한다.
도 12(a) 내지 도 12(c)는 제3 자의 신체 부분을 이용하여 사용자의 신체 모델을 생성하는는 것을 도시한다.
도 13(a) 및 도 13(b)는 도 12(c)에 생성된 사용자 신체 모델이 드레스를 착용하는 것을 도시한다.
도 14는 서로 다른 각도와 방향에서 사용자 신체 모델이 드레스를 착용하는 것을 보여 준다.
도 15(a) 내지 도 15(d)는 불투명 옷, 반투명 옷과 선 앤 다크(sun & dark)의 효과를 입힌 소녀의 신체 모델을 도시한다.
도 16은 본 발명을 구현하는 시스템의 블록도를 도시한다.
도 17(a) 및 도 17(b)는 본 발명을 구현하는 시스템의 다른 실시예의 블록도를 도시한다.
도 18(a) 내지 도 18(c)는 적당히 맞는, 꽉 끼는 또한 느슨하게 옷을 입고 있는 소녀의 신체 모델을 도시하고, 도 18(d) 내지 도 18(f)는 신체 상의 옷의 타이트함을 가상적인 이해를 위하여 색상 스펙트럼에 의하여 다른 맞춤에서 옷의 타이트함을 도시한다.
도 19(a) 및 도 19(b)는 얼굴 표정들을 생성하기 위한 얼굴 부분들의 얼굴 특징과 세그먼테이션(segmentation)을 추출하기 위하여 학습된 모델을 이용하여 영상을 처리하여 결정된 사용자 얼굴 상의 얼굴 특징을 보여 주는 점들을 도시한다.
도 19(c) 내지 도 19(f)는 사용자 얼굴을 처리하여 생성되는 사용자 얼굴 상에 서로 다른 얼굴 표정들을 보여 준다.
도 20(a) 내지 도 20(c)는 얼굴의 전방 및 측방 영상의 사용자 입력을 도시한다.
도 21(a)및 도 21(b)는 생성된 사용자 얼굴의 3D 모델에 의하여 서로 다른 각도와 방향으로 생성된 얼굴을 도시한다.
본 발명은 다양한 도시를 통하여 설명된다.
도 1(a)는 사용자에 의하여 제공되는 영상/사진을 보여 준다. 영상(102)는 배경(104)에 존재하는 사용자(101)를 보여 준다. 영상(102)는 사용자(101)의 얼굴을 감지하기 위하여 영상(102)에 적용되는 얼굴 감지 기술을 이용하여 처리되며, 또한 사용자(101)의 얼굴은 추출되고 배경(104)은 도 1(b)에 도시된 바와 같이 제1 처리 영상(103)을 제공하기 위하여 제거되거나 편집된다. 제1 처리 영상(103)은 중간 출력이며 사용자(101)의 얼굴 주위에 얼굴부(106)가 제공되고, 사용자 주위의 얼굴부(106)는 추출된 얼굴과 일부 배경(104)를 가지며, 영상의 나머지 부분은 영상(102)을 처리하고 배경을 제거하고 얼굴을 추출한 후에 비게 되는 것으로 도시되어 있다.
도 2(a)는 사용자 얼굴(101)과 일부 이전 배경(104)을 갖는 추출된 얼굴부(106)를 갖는 영상(202)를 보여 준다. 새로운 배경(204)은 이전 배경(104)의 일부분을 선택적으로 이용하여 또는 영상 처리에 의하여 생성된다. 제1 처리 영상(103)은 사용자(101)의 얼굴을 보여 주는 제2 처리 영상(203)에 편집된 배경(205)을 제공하기 위하여 배경(204)를 이용하여 추가로 처리된다. 제2 처리 영상(203)의 도시는 도 2(b)에 보여진다.
또한, 사용자는 처리하기 원하는 사용자의 신체 또는 다른 신체의 형상 또는 사이즈 중의 적어도 하나를 위한 입력을 제공하도록 요청된다. 사용자 입력에 기반하여, 도 3(a)에 도시된 바와 같은 신체 모델(304)의 영상(301)을 가져 온다. 영상은 배경(305)을 갖고 있다. 그 후, 도 3(b)에 도시된 바와 같은 제3 처리 영상(302)을 제공하기 위하여 사용자(101)의 얼굴에 신체 모델(304)의 신체를 병합함으로써 신체 모델(304)의 영상(301)을 이용하여 제2 처리 영상(203)이 추가로 처리된다. 제3 처리 영상(302)은 신체 모델(304)의 신체가 얼굴(101)과 병합되는 부분(306)을 갖는다. 제3 처리 영상(302)은 또한 제2 처리 영상(203)에 존재한 배경(205)을 갖는다. 그 후, 얼굴과 신체의 병합에 이음새가 없게 하고, 도 3(c)에 도시된 바와 같은 가상 신체 모델을 제공하기 위하여, 목 부분에서의 사용자(101)의 얼굴과 신체 모델(304)의 병합을 처리하도록 추가로 처리된다. 도 3(c)는 얼굴(101), 신체(304)를 갖는 가상의 신체 모델 및 배경(205)을 포함하는 최종 처리 영상(303)을 보여 준다.
도 4(a)는 시스템에 의하여 생성되고 신체 모델(304)에 맞는 드레스(401)를 보여 준다. 드레스(401)는 최종 처리 영상(303) 상에 처리되어, 도 4(b)에 도시된 가상 신체에 알맞게 입혀진 상태로 보여질 수 있다.
도 5(a)는 하나의 특별한 사이즈의 신체 모델(503)을 배경(505)과 함께 보여 주는 영상(501)을 보여 준다. 도 5(b)는 신체 모델(503)에 대하여 형상과 사이즈가 다른 신체 모델(504)를 보여 주는 다른 영상(502)을 보여 준다. 사용자 입력에 기반하여, 신체 모델들이 자동으로 생성되고, 신체 모델들(503, 504)은 서로 다른 사용자 입력들에 기반하여 생성되는 예시적인 신체 모델들이다. 이러한 신체 모델들(503, 504)은 사용자 입력들을 수신하면 실시간으로 생성되거나, 사용자 입력에 기반하여 신체 모델들을 저장하는 데이터베이스로부터 가져올 것이다. 데이터베이스에 저장된 신체 모델들 각각은 서로 다른 형상들과 사이즈들에 매핑될 것이며, 매핑에서의 형상들과 사이즈들은 각 신체 모델에 대한 연속적인 범위를 가지거나 불연속적인 값들을 가질 것이다. 이러한 신체 모델들은 서로 다른 형상들 및/또는 사이즈들로 사용자 얼굴을 갖는 가상적인 신체 모델들을 생성하기 위하여 사용될 수 있으며 후에 옷과 액세서리들을 입고 있는 생성된 가상 모델들을 보여 주는 영상들이 생성될 것이다.
도 6(a)는 사용자에 의하여 제공되는 영상/사진을 보여 준다. 영상(602)은 배경(604)에 존재하는 사용자(601)을 보여 준다. 영상(602)은 사용자(601)의 얼굴을 감지하기 위하여 영상(602)에 적용되는 얼굴 감지 기술들을 이용하여 처리되고, 또한 사용자(601)의 얼굴은 추출되고, 도 6(b)에 도시된 바와 같이 제1 처리 영상(603)을 제공하기 위하여 배경(604)이 제거된다. 제1 처리 영상(603)은 중간 출력이고 사용자(601)의 얼굴을 갖는 얼굴부(606)와 제거된 배경(604)을 참조하여 사용자(601)의 얼굴 주위에 빈 영역(605)이 제공된다.
또한, 사용자는 사용자의 신체 또는 사용자가 처리하기 원하는 다른 사람의 신체의 형상 또는 사이즈 중의 적어도 하나에 대한 입력을 제공하도록 요청된다. 사용자 입력에 기반하여, 도 7(a)에 도시된 바와 같이, 신체 모델(704)의 영상(701)을 가져온다. 영상은 배경(705)을 가지고 있다. 그 후에, 제1 처리 영상(603)은 도 3(b)에 도시된 바와 같이 제3 처리 영상(702)을 제공하기 위하여 신체 모델(704)의 신체를 사용자(601)의 얼굴과 병합함으로써 신체 모델(704)의 영상(701)을 이용하여 더 처리된다. 제3 처리 영상(702)은 신체 모델(304)의 신체가 얼굴(601)에 병합되는 부분(706)을 가지고 있다. 제3 처리 영상(702)은 또한 영상(701)에 존재한 배경(705)을 가지고 있다. 그 후에, 제3 처리 영상(702)은 얼굴과 신체의 병합을 이음새 없게 하기 위하여 또한 도 7(c)에 도시된 바와 같은 가상 신체 모델을 제공하기 위하여 목 부분에서 사용자(601)의 얼굴과 신체 모델(704)의 병합을 처리하도록 더 처리된다. 도 7(c)는 얼굴(601), 신체(704)를 갖는 가상의 신체 모델과 배경(705)을 갖는 최종 처리 영상(703)을 보여 준다.
도 8(a)는 시스템 발생적이고 신체 모델(704)에 맞는 드레스(801)를 보여 준다. 드레스(801)는 최종 처리 영상(703) 상으로 처리되어, 드레스는 도 4(b)에 도시된 가상 신체 모델에 맞도록 입혀져 보여 질 수 있다.
도 9(a)는 하나의 특별한 사이즈의 신체 모델(903)을 배경(905)과 함께 보여 주는 영상(901)을 보여 준다. 도 9(b)는 신체 모델(903)에 대하여 형상과 사이즈가 다른 신체 모델(904)를 보여 주는 다른 영상(902)을 보여 준다. 사용자 입력에 기반하여, 신체 모델들이 자동으로 생성되고, 신체 모델들(903, 904)은 서로 다른 사용자 입력들에 기반하여 생성되는 예시적인 신체 모델들이다. 이러한 신체 모델들(903, 904)은 사용자 입력들을 수신하여 실시간으로 생성되거나, 사용자 입력에 기반하여 신체 모델들을 저장하는 데이터베이스로부터 가져올 수 있다. 데이터베이스에 저장된 신체 모델들 각각은 서로 다른 형상들과 사이즈들에 매핑될 것이며, 매핑에서의 형상들과 사이즈들은 각 신체 모델에 대한 연속적인 범위를 가지거나 불연속적인 값들을 가질 것이다. 이러한 신체 모델들은 서로 다른 형상들 및/또는 사이즈들로 사용자 얼굴을 갖는 가상적인 신체 모델들을 생성하기 위하여 사용될 수 있으며, 후에 옷과 액세서리들을 입고 있는 생성된 가상 모델들을 보여 주는 영상들이 생성될 것이다.
도 10(a)는 링 형상(1001)을 갖는 영상(1002)을 보여 준다. 다양한 노드들(1003)이 영상(1002) 상에 보여지며, 연결 후에, 영상(1002)은 링(1001) 상에 가상의 망을 그리고 서로 다른 가상의 조각들로 나누어지는 완전한 링을 보여 준다. 도 10(b)는 링(1001)의 와핑(warping)을 보여 주며, 와핑은 점들이 점들에 매핑되는 것을 의미한다. 이는 평면(의 일부)으로부터 평면으로의 어떠한 함수에 수학적으로 기반할 수 있다. 상기 함수가 단사 함수(injective)이면, 그 원본이 재구성될 수 있다. 상기 함수가 이분 함수(bisection)이면, 어떠한 영상은 역변환될 수 있다. 와핑 후에, 링(1001)의 형상은 변한다. 링(1001)의 새로운 형상에서, 노드들(1003)의 위치가 변화하고 따라서 이러한 노드들(1003)을 연결하는 선들의 형상이 변화하는 것은 명백하다. 이는 링(1002)의 형상에 실질적으로 변화를 가져온다.
도 11(a)내지 도 11(e)는 다른 옷들, 액세서리들, 및 메이크업을 한 가상의 모델을 도시한다. 이러한 도시는 사용자가 안경, 메이크업, 옷과 신발을 가상 모델에 가상으로 착용하는 것을 예시한다. 도 11(a)는 드레스(1103)와 얼굴(1101)을 갖는 가상 모델(104)와 배경(1105)을 갖는 영상(1102)를 보여 준다. 안경을 가상으로 착용하기 위하여, 먼저 눈이 얼굴(1101)로부터 감지되고, 그 후에 도 11(b)에 도시된 바와 같이, 영상(1106)을 생성하기 위하여 영상(1102)은 안경의 영상을 갖도록 처리되며, 안경(1107)은 가상 모델(1104)에 의하여 착용된 것으로 보여진다.
입술에 립스틱을 바르는 것을 예시하기 위하여, 영상(1106)은 가상 모델(1104)의 입술(1109)를 확인하도록 처리되고, 또한 도 11(c)에 도시된 바와 같이, 입술(1109)에 메이크업을 보여 주기 위하여 또한 이에 따라 영상(1108)을 생성하기 위하여 입술 색상/대비/색조/밝기 또는 다른 성질을 변화시킴으로써 립스틱이 가상 모델(1104) 상에 적용되는 것을 보여준다. 영상(1110)은 입술(1109)을 확대해서보여 준다.
옷이 층층이 착용된 것을 예시하기 위하여, 영상(1108)은 가상 모델이 이미 입고 있는 옷(1103) 상에 층층이 다른 옷(1113)을 입고 있는 가상 모델의 영상(1111)을 생성하기 위하여 다른 옷의 영상(1113)을 이용하여 더 처리된다.
가상 모델이 신발을 신는 것을 더 예시하기 위하여, 영상(1111)은 신발(1114)의 영상을 갖도록, 또한 신발(1114)를 신은 가상 모델(1104)을 갖는 영상(1112)을 생성하도록 더 처리된다.
도 12(a) 내지 도 12(c)는 가상 모델을 생성하기 위한 다른 방법을 보여 준다. 도 12(a)는 소녀의 신체(1204)를 보여 주는 사용자 제공 영상(1201)을 보여 준다. 도 12(b)는 저장소에서 가져온 제3자의 신체 부분(1202)을 보여 준다. 영상(1201)과 신체 부분(1202)은 처리되어, 영상(1203)에 도시된 가상 모델(1205)을 생성하기 위하여, 도 12(c)에 도시된 바와 같이, 신체 부분(1202)은 소녀의 신체(1204) 상의 적절한 곳에 위치한다.
도 13(a) 및 도 13(b)는 도 12(c)에 생성된 가상 모델(1205)이 드레스를 착용하는 것을 도시한다. 도 13(a)는 가상 모델(1205)에 의하여 착용될 드레스 영상(1301)을 보여 준다. 드레스 영상(1301)은 적절한 신체 부분에서 드레스(1301)를 입고 있는 가상 모델(1205)을 보여 주는, 도 13(b)에 도시된 바와 같은, 영상(1302)을 생성하도록 영상(1203)과 함께 처리된다.
도 14는 서로 다른 각도와 방향에서 사용자 신체 모델이 드레스를 착용하는 것을 보여 준다. 영상(1401)은 전방 위치의 사용자 얼굴을 전방 위치의 다른 사람의 신체 부분과 함께 처리하고 전방 위치의 옷을 처리함으로써 생성된다. 반면에, 영상(1402)은 다른 방향에 있는 사용자 얼굴과 같은 방향으로 다른 사람의 신체 부분을 처리하고 또한 같은 방향에 있는 옷을 처리함으로써 생성된다.
도 15(a) 내지 도 15(d)는 주변 조명 상태를 변화시켜 불투명 옷, 반투명 옷과 선 앤 다크(sun & dark)의 효과를 입힌 소녀의 신체 모델을 도시하고, 여기서, 옷의 영상과 조합된 신체 모델은 옷의 영상과 조합된 사람의 신체 모델의 색상, 대비, 밝기, 포화도 중 적어도 하나를 변화시켜 주변 조명 입력을 이용하여 처리함으로써 도시된다.
도 16은 예시적인 클라이언트 장치(1612)의 구성 요소의 일부를 보여 주는 단순화된 블록도이다. 예시에 의하여 한정 없이, 클라이언트 장치는 하나 이상의 무선 또는 무선 통신 인터페이스를 구비한 컴퓨터이다.
도 16에 도시된 바와 같이, 클라이언트 장치(1612)는 통신 인터페이스(1602), 사용자 인터페이스(1603), 프로세서(1604), 및 데이터 저장소(1605)를 포함할 수 있으며, 이 모두는 시스템 버스, 네트워크, 또는 다른 연결 매컨니즘에 의하여 함께 통신적으로 링크될 수 있다.
통신 인터페이스(1602)는 클라이언트 장치(1612)가 다른 장치들, 액세스 네트워크들, 및/또는 전송 네트워크와 통신하도록 기능할 수 있다. 따라서, 통신 인터페이스(1602)는, POTS 통신과 같은, 회로 스위칭 및/또는 패킷 스위칭 통신 및/또는 IP 또는 다른 패킷화된 통신을 용이하게 할 수 있다. 예를 들어, 통신 인터페이스(1602)는 무선 액세스 네트워크 또는 액세스 포인트와의 무선 통신을 위하여 배열된 칩 셋 또는 안테나를 포함할 수 있다. 또한, 통신 인터페이스(1602)는 이더넷, 토큰 링, 또는 USB 포트와 같은 와이어라인 인터페이스의 형태를 가질 수 있다. 통신 인터페이스(1602)는 Wifi, BLUETOOTH®, 위성 위치 확인 시스템(GPS), 또는 광역 무선 인터페이스(즉, WiMAX 또는 LTE)와 같은 무선 인터페이스의 형태를 가질 수 있다. 그러나, 물리적 계층 인터페이스의 다른 형태와 표준 또는 독점적 통신 프로토콜(proprietary communication protocol)의 다른 형태가 통신 인터페이스(102) 상에 사용될 수 있다. 또한, 통신 인터페이스(1502)는 다수의 물리적 통신 인터페이스(즉, Wifi 인터페이스, BLUETOOTH® 인터페이스, 및 광역 무선 인터페이스)를 포함할 수 있다.
사용자 인터페이스(1603)은 사용자로부터 입력을 수신하고 사용자에게 출력을 제공하기 위하여, 클라이언트 장치(1612)가 사람 또는 사람이 아닌 사용자와 상호 작용하도록 기능할 수 있다. 따라서, 사용자 인터페이스(16030은 키 패드, 키보드, 터치 감응 또는 존재 감응식 패널, 컴퓨터 마우스, 조이스틱, 마이크로폰, 스틸 카메라 및/또는 동영상 카메라, 제스처 센서, 및 접촉 기반 입력 장치와 같은 입력 구성요소들을 포함할 수 있다. 입력 구성요소들은 또한 마우스와 같은 포인팅 장치; 센서와 적외선 기반 센서에 의하여 캡처되는 제스처 가이드 입력 또는 눈의 움직임 또는 음성 명령; 터치 입력; 웨어러블 디스플레이 또는 모바일 장치들 또는 이동 디스플레이가 부착된 가속계의 포지셔닝/방향 및/또는 자이로스코프 및/또는 마그네토미터를 변경하여 수신되는 입력; 또는 가상 지원에 대한 명령을 포함한다.
사용자 인터페이스(1603)는 또한 물체를 디스플레이하기 위하여 프로젝터에 의하여 또는 스스로 조명하는 디스플레이 스크린을 형성하기 위한 컷(cut) 또는 가상 지원을 디스플레이하기 위하여 프로젝터에 의하여 또는 스스로 조명하는 디스플레이 스크린을 형성하기 위한 컷(cut)과 같은 하나 이상의 출력 구성요소를 포함할 수 있다.
사용자 인터페이스(1603)은 또한 현재 알려져 있거나 나중에 개발될 스피커, 스피커 잭, 오디오 출력 포트, 오디오 출력 장치, 이어폰, 및/또는 다른 유사한 장치들을 거쳐 음성 출력(들)을 발생시키도록 구성될 수 있다. 일부 실시예에서, 사용자 인터페이스(1603)는 외부 사용자 입력/출력 장치들로 데이터를 송신하거나 및/또는 외부 사용자 입력/출력 장치들로부터 데이터를 수신할 수 있는 소프트웨어, 회로, 또는 다른 형태의 로직을 포함할 수 있다. 추가적으로 또는 대안적으로, 클라이언트 장치(112)는 통신 인터페이스(1602)를 거쳐 또는 다른 물리적 인터페이스를 거쳐 다른 장치로부터의 원격 액세스를 지원할 수 있다.
프로세서(1604)는 하나 이상의 범용 프로세서들(즉, 마이크로프로세서들) 및/또는 하나 이상의 특별한 목적의 프로세서(즉, DSP, CPU, FPU, 네트워크 프로세서들, 또는 ASIC)를 포함할 수 있다.
데이터 저장소(1605)는 자기, 광학, 플래시, 또는 유기 저장소와 같은, 하나 이상의 휘발성 및/또는 비휘발성 저장 요소들을 포함할 수 있으며, 전체로서 또는 일부로서 프로세서(1604)와 일체화될 수 있다. 데이터 저장소(1605)는 제거식 및/또는 비제거식 구성요소들을 포함할 수 있다.
일반적으로, 프로세서(1604)는 본원에 기술된 다양한 기능들을 수행하기 위하여 데이터 저장소(1505)에 저장된 프로그램 명령어들(1607)(즉, 컴파일된 또는 컴파일되지 않은 프로그램 로직 및/또는 기계 코드)를 실행할 수 있다. 따라서, 데이터 저장소(1605)는 클라이언트 장치(1612)에 의한 실행 시에, 클라이언트 장치(1612)가 본 명세서 및/또는 첨부 도면들에 개시된 방법들, 프로세스들, 또는 기능들 중의 어떤 것을 수행하도록 하는 저장된 프로그램 명령어들을 갖는 영구적 컴퓨터 판독 매체를 포함할 수 있다. 프로세서(1604)에 의한 프로그램 명령어들(1607)의 실행은 프로세서(1604)가 데이터(1606)를 이용할 수 있게 하는 결과를 가져온다.
예시에 의하여, 프로그램 명령어들(1607)은 운영 시스템(1611)(즉, 운영 시스템 커널, 장치 드라이버(들), 및/또는 다른 모듈들)과 클라이언트 장치(1612)에 설치된 하나 이상의 응용 프로그램들(1610)을 포함할 수 있다. 유사하게, 데이터(1606)는 운영 시스템 데이터(1609)와 응용 데이터(1608)을 포함할 수 있다. 운영 시스템 데이터(1609)는 주로 운영 시스템(1611)에 액세스 가능하고, 응용 데이터(1608)는 주로 하나 이상의 응용 프로그램들(1610)에 액세스 가능하다. 응용 데이터(1608)는 클라이언트 장치(1612)의 사용자에 보일 수 있는 또는 그 사용자로부터 숨을 수 있는 파일 시스템에 배열될 수 있다.
응용 데이터(1608)은 다른 신체 부분(들)의 영상(들) 또는 사진(들), 옷들/액세서리들의 영상(들), 배경의 영상, 음영을 생성하기 위한 영상들을 포함하는 영상 데이터, 및/또는 생성된 얼굴 특징들/표정/애니메이션에 대한 훈련된 모델을 포함하는 훈련된 모델 데이터, 및/또는 사용자 입력으로서 제공되거나 사용자 입력을 처리하여 생성되는 신체 정보에 대한 정보와 사용자가 다음에 로그인 식별을 확인할 때 사용될 수 있고 그런 다음 사용자가 사용자 신체 모델을 다시 생성하도록 요청하지 않고 사용자 신체 모델을 사용자 데이터에서 검색하여 옷을 입어볼 수 있는 사용자 영상(들)을 포함하는 사용자 정보, 및/또는 다음에 사용될 수 있는 사용자 영상을 처리한 후 생성된 사용자 신체를 포함하는 사용자 데이터, 및/또는 사용자 얼굴로 처리하자마자 옷을 입은 사용자 신체 모델을 생성하는 애니메이션이 주어질 수 있는 리그를 갖는 그래픽에서의 사용자 신체 부분(들)을 포함하고, 또한 애니메이션이나 신체 부분 움직임을 보여줄 수 있는 그래픽 데이터를 포함한다. 신체 정보는 사람의 영상에 있는 사람의 얼굴의 방향, 사람의 영상에 있는 사람의 신체의 방향, 사람의 피부 톤, 사람의 영상에 도시된 신체 부분(들)의 형태, 사람의 영상에 있는 하나 이상의 신체 부분(들)의 위치 및 기하 형상, 신체/신체 부분 형상, 사람의 사이즈, 사람의 무게, 사람의 키, 얼굴 특징 정보, 또는 얼굴 특징의 주위 부분, 또는 그 조합 중의 적어도 하나를 포함하고, 얼굴 특징 정보는 적어도 얼굴, 눈, 볼, 목, 입술, 코, 또는 귀, 또는 그 조합의 형상 또는 위치 중의 적어도 하나를 포함한다.
도 17(a)에 도시된 일 실시예에서, 사용자 입력(137)에 따라 출력(135)을 발생시키기 위하여, 영상 처리 엔진(131)은 영상 데이터(132a), 학습된 모델 데이터(132b), 사용자 데이터(132c), 사용자 정보 데이터(132d), 영상 처리 라이브러리들(133)을 이용한다.
도 17(b)에 도시된 다른 실시예에서, 사용자 신체가 움직임을 발생시키는 때에는, 리그를 갖는 피부가 출력(135)을 생성하기 위하여 렌더링 엔진(134)을 갖는 애니메이션을 생성할 수 있음에 따라 그래픽 데이터(132e)가 또한 사용된다.
옷을 입는 사람의 신체 모델을 생성하기 위하여, 상기 방법은:
- 사람에 관련된 사용자 입력을 수신하는 단계로서, 상기 사용자 입력은 사람의 적어도 하나의 영상 또는 사진을 포함하고, 사람의 적어도 하나의 영상은 사람을 얼굴을 가지는 단계;
- 다른 신체 부분(들)의 요건을 확인하기 위하여 신체 정보를 이용하는 단계;
- 확인된 요건에 기반하여 다른 신체 부분(들)의 적어도 하나의 영상 또는 사진을 수신하는 단계;
- 사람의 신체 모델을 생성하기 위하여 상기 신체 정보를 이용하여 다른 신체 부분(들)의 영상(들) 또는 사진(들)을 갖는 사람의 영상(들)을 처리하는 단계로서, 상기 신체 모델은 그 이미지/사진이 사용자 입력으로서 수신된 사람을 나타내고, 상기 신체 모델은 사람의 얼굴을 포함하는 단계;
- 사람의 상기 신체 모델의 형상 및 사이즈에 따라 옷의 영상을 수신하는 단계; 및
- 옷을 입고 있는 사람의 상기 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 옷의 상기 영상을 조합하는 단계;를 포함하고,
신체 정보는 사람의 상기 영상에 있는 사람의 얼굴의 방향, 사람의 상기 영상에 있는 사람의 신체의 방향, 사람의 피부 톤, 사람의 상기 영상에 보여지는 신체 부분(들)의 형태, 사람의 영상에 있는 하나 이상의 신체 부분(들)의 위치 및 기하 형상, 사람의 신체/신체 부분(들)의 형상 및 사이즈, 사람의 무게, 사람의 키, 얼굴 특징 정보, 또는 얼굴 특징들의 근처 부분, 또는 그 조합 중의 적어도 하나를 포함하고,
얼굴 특징 정보는 적어도 얼굴, 눈, 볼, 목, 입술, 코, 또는 귀, 또는 그 조합의 형상 또는 위치 중의 적어도 하나를 포함한다.
영상 처리 라이브러리(133)는 얼굴 특징 추출, 얼굴 감지, 신체 부분 감지, 표정 생성/애니메이션, 영상 병합/블렌딩, 사용자 얼굴의 전방 및 측방 영상을 이용한 3D 모델 생성, 및 옷을 가지거나 가지지 않고 사용자 신체 모델 상에 리깅(rigging)을 생성하는 것을 위한 라이브러리를 포함한다.
영상 처리 엔진은 옷을 갖는 사용자 신체 모델을 생성하기 위하여 데이터베이스를 이용하는 반면, 다른 실시예에서, 사용자 신체 모델은 영상 처리 엔진(131)에서 생성되고, 클라이언트 장치에 단일 영상을 만들거나 옷을 입고 있는 사용자 모델과 같이 사용자 신체 모델이 겹쳐지도록 하기 위해 옷 영상이 병합된다. 반면, 다른 실시예에서, 옷을 갖는 사용자 모델은 서로 다른 얼굴 표정을 갖도록 및/또는 서로 다른 신체의 움직임을 갖도록 및/또는 얼굴 및/또는 신체의 움직임의 애니메이션을 갖도록 생성된다.
디스플레이 시스템은 웨어러블 디스플레이(wearable display), 넌웨어러블 디스플레이(non-wearabl display), 또는 그 조합일 수 있다.
넌웨어러블 디스플레이는 LCD, LED, 플라즈마, OLED, 비디오 벽, 박스 형상의 디스플레이와 같은 전자 비주얼 디스플레이, 또는 하나 이상의 전자 비주얼 디스플레이 또는 프로젝터 기반 또는 그 조합으로 만들어진 디스플레이를 구비한다.
상기 넌웨어러블 디스플레이는 또한 프로젝터(들) 및/또는 전자 장치(들)에 의하여 조명되는 투명의 경사진 포일/스크린으로 구성된 하나 이상의 얼굴들을 갖는 페퍼 고스트 기반의 디스플레이(pepper's ghost based display)를 구비한다. 프로젝터 및/또는 전자 장치는, 페퍼 고스트 기반의 디스플레이에서 다른 카메라 각도로 렌더링되는 동일한 가상 물체의 다른 영상을 보여주고, 페퍼 고스트 기술에 기반한 디스플레이의 다른 면을 통하여 서로 다른 측면이 보여질 수 있는 곳에 위치되는 가상 물체의 환상을 제공한다.
상기 웨어러블 디스플레이는 헤드 장착 디스플레이를 포함한다. 상기 헤드 장착 디스플레이는 헬멧에 내장된 렌즈들 및 반투명 거울들, 안경, 또는 바이저(visor)를 갖는 하나 또는 두 개의 작은 디스플레이를 포함한다. 상기 디스플레이 유닛들은 초소형이고, 전체 해상도와 시야를 증가시키기 위하여 CRT, LCD, LCos(Liquid crystal on silicon), 또는 OLED 또는 다수의 마이크로 디스플레이를 포함할 수 있다.
상기 헤드 장착 디스플레이는 또한 곡면 거울 기반의 디스플레이 또는 도파관 기반의 디스플레이를 더 포함하는 한쪽 또는 양쪽 눈에 대하여 하나 또는 두 개의 디스플레이를 갖는 시스루 헤드 장착 디스플레이 또는 광학 헤드 장착 디스플레이를 구비한다. 시스루 헤드 장착 디스플레이는 사용자가 주위 환경을 볼 수 있는 동안에 사용자의 눈의 전방에 3D 모델을 보여 주는 투명 또는 반투명 디스플레이이다.
헤드 장착 디스플레이는 또한 옷을 갖는 사용자 신체 모델의 완전한 3D 뷰잉(veiwing)을 만들기 위하여 두 개의 약간 다른 시각에서 동일한 뷰(view)를 렌더링함으로써, 옷을 갖는 사용자 신체 모델의 전체 3D 뷰잉을 위한 비디오 시스루 헤드 장착 디스플레이 또는 몰입형 헤드 장착 디스플레이를 구비한다. 몰입형 헤드 장착 디스플레이는 몰입되는 가상 환경에서 옷을 갖는 사용자 신체 모델을 보여 준다.
도 18(a) 내지 도 18(c)는 적당히 맞는, 꽉 끼는 또한 느슨하게 옷을 입고 있는 소녀의 신체 모델을 도시한다. 이는 사용자가 신체 모델 상에 다르게 맞추어 입기를 원하는 경우이다. 다른 맞춤의 옷은 이러한 결과들을 생성하기 위하여 사용된다. 일 실시예에서, 하나의 맞춤의 옷은 다른 맞춤의 옷을 생성하도록 처리되어 사용자의 산체 모델과 함께 보여질 수 있다. 도 18(d) 내지 도 18(f)는 신체 상의 옷의 타이트함에 대한 가상적인 이해를 위하여 색상 스펙트럼에 의하여 다른 맞춤에서 옷의 타이트함을 도시한다. 시스템은 정상, 타이트, 느슨한 맞춤을 가늠하기 위하여 옷 규격 정보 및 사용자 신체 정보에 기반한 로직을 이용하고, 서로 다른 색상들로 옷의 당겨짐을 보여 준다. 서로 다른 스펙트럼의 이러한 영상들은 실시간으로 준비될 수 있거나 또는 신체와 옷의 서로 다른 조합에 기반하여 데이터베이스에 저장될 수 있다.
도 19(a) 및 도 19(b)는 얼굴 표정들을 생성하기 위한 얼굴 부분들의 얼굴 특징과 세그먼테이션(segmentation)을 추출하기 위하여 학습된 모델을 이용하여 영상을 처리함으로써 결정된 사용자 얼굴 상의 얼굴 특징을 보여 주는 점들을 도시하고, 반면에, 도 19(c) 내지 도 19(f)는 사용자 얼굴을 처리하여 생성되는 사용자 얼굴 상에 서로 다른 얼굴 표정들을 보여 준다.
도 20(a) 및 도 20(b)는 얼굴의 전방 및 측방 영상의 사용자 입력을 도시하고, 도 20(c)는 얼굴의 전방 및 측방 영상을 이용하여 얼굴의 3D 모델을 만드는 로직에 의하여 생성되는 얼굴 언랩(face unwrap)을 보여 준다.
도 21(a) 및 도 21(b)는 사용자 얼굴의 생성된 3D 모델에 의하여 서로 다른 각도와 방향으로 생성된 얼굴을 도시한다. 일단 얼굴의 3D모델이 생성되면, 어떠한 방향 및/또는 각도에 있는 다른 사람의 신체 부분(들) 영상을 이용하여 동일하거나 유사한 각도 또는 방향으로 사용자 신체 모델을 생성하기 위하여 어떤 각도 또는 방향으로 얼굴을 생성하도록 렌더링될 수 있다.
여기서, 피부 톤 기반의 세그먼테이션, 특징 기반의 감지, 템플릿 매칭 또는 신경망 기반의 감지 중의 하나를 기반으로 하는 얼굴 감지용의 다양한 방법들이 존재한다.
예를 들어, Haar 특징에 기반하는 Viola Jones의 중대한 기술은 일반적으로 빠른 얼굴 감지를 위해 많은 얼굴 감지 라이브러리에서 사용된다.
Haar 특징은 다음과 같이 정의된다:
총합이 되는 영역 테이블과 유사하고, (x, y) 위치에서의 입력이 이 위치의 상부와 좌측의 모든 픽셀 값들의 총계가 되도록 각 위치에 대한 입력을 포함하는 용어 "일체 영상(integral image)"을 고려해 보자.
Figure pct00001
여기서, ii(x, y)는 일체 영상이고 i(x, y)는 원래 영상이다.
일체 영상은 이 감지기에 의하여 사용되는 특징들(이 방법에서는, Haar과 같은 특징들이 사용된다)이 매우 빨리 계산되도록 한다. 흰색 사각형들 안에 놓인 픽셀들의 합계는 회색 사각형들의 픽셀들의 합계으로부터 감산된다. 일체 영상을 이용하여, 오직 6개의 어레이 기준이 2개의 사각 특징들을 계산하도록 요구되고, 8개의 어레이 기준은 특징들이 상수 시간 0(1)에 계산되도록 하는 3개의 사각 특징들을 계산하도록 요구된다.
특징을 추출한 후에, 학습 알고리즘은 매우 큰 잠재적 특징 세트로부터 적은 수의 임계 비주얼 특징들을 선택하기 위하여 사용된다.이러한 방법들은 학습 알고리즘을 이용하여 학습 결과 후에 큰 특징 세트로부터 매우 약간의 중요한 특징들을 사용하고, 분류기들의 캐스케이딩(cascading)은 이 실시간 얼굴 감지 시스템을 만든다.
현실적인 시나리오에서, 사용자들은 서로 다른 방향과 각도에 있는 그림들을 업로드한다. 이러한 경우들에 대하여, 다수의 시각과 위치로부터 얼굴들을 감지 하기 위한 단일의 분류기를 배우기 위하여 분류 및 특징 추출용의 컨벌류션 네트워크들(convolution networks)의 높은 성능에서 지레 역할을 하는 신경망 기반의 얼굴 감지 알고리즘들이 사용될 수 있다. 최종 얼굴 감지기를 얻기 위하여, 덜 복잡하고 선택적 검색과 같은 별도의 모듈들로부터 독립적이기 때문에, 슬라이딩 윈도우 접근법이 사용된다. 첫째, 완전히 연결된 층들이 층 변수들을 다시 구성하여 컨벌류션 층들로 변환될 수 있다. 이는 어떤 사이즈의 영상들 상에서 컨벌류션 신경망이 효과적으로 흐르고 얼굴 분류기의 열 맵을 얻는 것을 가능하게 한다.
일단 감지된 얼굴을 갖게 되면, 다음은 정확히 서로 다른 얼굴 특징들(즉, 눈, 눈썹, 및 입의 모서리들, 코의 선단 등)의 위치를 찾는 것이다.
예를 들면, 계산 상으로 효과적인 방법으로 정확히 얼굴 랜드마크의 위치를 추정하기 위하여, 얼굴 특징들 또는 랜드마크 지점들을 추출하기 위하여 dlib 라이브러리가 사용될 수 있다.
일부 방법들은 복귀자들(regressors)의 캐스케이드(cascade)를 활용하는 것을 기반으로 한다. 복귀자들의 캐스케이드는 다음과 같이 정의될 수 있다.
Xi∈R2를 영상(I)에서의 i번째 얼굴 랜드마크의 x, y좌표라고 하자. 이때, 벡터 S=(X1 T, X2 T,…, Xp T)T∈R2p는 I에서 모든 p개의 얼굴 랜드마크들의 좌표들을 나타낸다. 벡터(S)는 형상을 나타낸다. 이 캐스케이드에서의 각 복귀자는 영상으로부터 업데이트 벡터를 예측한다. 이 캐스케이드에서 각 복귀자를 학습하면, 캐스케이드의 서로 다른 레벨들에서 추정된 특징 지점들이 기본적인 Viola & Jones 얼굴 감지기의 출력에 중심을 둔 평균 형상으로 시작된다.
그 후에, 추출된 특징 지점들은 표현 분석 및 기하 형상에 기반하는 실제적 사진의 얼굴 표정 합성의 발생에 사용될 수 있다.
입술에 메이크업을 하기 위하여는, 얼굴에서 입술 영역을 확인할 필요가 있다. 이를 위해서, 얼굴 특징 지점들을 얻은 후에, 입력 영상에서 대체로 전체의 입술 영역을 캡처하는 매끄러운 Bezier 곡선이 얻어진다. 또한, 입술 감지는 색상 정보에 기반하는 세그먼테이션 방법들에 기반하는 색상에 의하여 달성될 수 있고, 얼굴 특징 감지 방법들은 모든 경우에 서로 다른 빛, 조명, 인종 및 얼굴 포즈가 고정된 일부 얼굴 특징 지점들(x, y 좌표들)을 줄 수 있다. 이러한 지점들은 입술 영역을 커버한다. 그러나, 스마트 Bezier 곡선들을 그리는 것은 얼굴 특징 지점들을 이용하여 입술의 전 영역을 캡처할 것이다.
일반적으로, 다양한 사람의 피부 톤은 HSB(hue, saturation, brightness) 색상 공간에서 색조와 채도의 특별한 범위에 놓인다. 대부분의 시나리오에서, 오직 밝기 부분은 색조와 채도의 범위에서 서로 다른 피부 톤에 대하여 변한다. 어떤 조명 상태에서는, 색상이 방향 불변적이다. 연구들은 서로 다른 인종, 나이, 성의 서로 다른 피부 색상에도 불구하고, 이 차이는 밝기에 주로 집중되며, 서로 다른 사람들의 피부 색상 분포들은 색상 공간이 제거된 밝기에서 클러스터링(clustering)을 갖는다는 것을 보여 주고 있다. RGB 색상 공간에도 불구하고, HSV 또는 YCbCr 색상 공간은 피부 색상 기반의 세그먼테이션 용으로 사용된다.
영상들의 병합, 블렌딩, 또는 스티칭은 인접하는 영역 또는 이음새가 처리된 영상에서 나타나지 않도록 둘 이상의 영상들을 조합하는 기술들이다. 영상 블렌딩의 매우 기초적인 기술은 두 개의 영상들을 하나의 영상 내로 조합하거나 병합하기 위한 선형 블렌딩이다. 변수 X는 양 영상들의 인접하는 영역(또는 중첩하는 영역)에서 사용된다. 인접 영역에서의 출력 픽셀 값:
Pjoining_Region(i,j) = (1-X) * PFirst_Image(i,j) + X * PSecond_Image(i,j).
여기서, 0 < X < 1이고, 영상들의 나머지 영역은 변하지 않은 채로 있다.
'Poisson Image Editing (Perez et al.)', 'Seamless Stitching Of Images Based On A Haar Wavelet 2d Integration Method (Ioana et al.)' 또는 'Alignment and Mosaicing of Non-Overlapping Images (Yair et al.)'과 같은 다른 기술이 블렌딩을 위해 사용될 수 있다.
살아 있는 듯한 얼굴 애니메이션을 달성하기 위하여, 성능 기반의 기술들, 통계적 용모 모델들 등을 구비하는 다양한 기법들이 현재 사용되는 중이다. 성능 기반의 기술들 접근을 실행하기 위하여, 특징 지점들이 사용자에 의하여 제공되는 업로드된 영상의 얼굴 상에 위치하고, 시간의 흐름에 따른 이러한 특징 지점들의 변위는 다각형 모델의 꼭지점 위치들을 업데이트하거나 밑줄 그어진 근육 기반의 모델에 매핑된다.
얼굴 표정의 특징 지점 위치들이 주어지면, 해당 표정 영상을 계산하기 위하여, 얼굴의 각 지점에 대한 기하 형상 변형을 알아내고 결과의 표면을 렌더링하기 위하여 물리적 시뮬레이션과 같은 일부 매커니즘을 사용하는 것이 가능성이 있다. 한 세트의 예시 표정이 주어지면, 볼록 조합(convex combination)을 통하여 현실감 있는 사진 얼굴 표정을 생성할 수 있다. E=(Gi,Ii), i = 0,...., m, 을 예시적인 표정이라고 하고, 여기서 Gi은 기하 형상을 나타내고 Ii는 질감 영상이다. 모든 질감 영상 Ii는 픽셀 정렬된다라고 가정한다. H(E0, E1,…, Em)는 이러한 예시들의 모든 가능한 볼록 조합의 세트라고 하자. 그러면,
Figure pct00002
이 통계적인 용모 모델들은 형상 변화의 모델과 질감 변화의 모델을 조합하여 생성된다. 이 질감은 강도의 패턴 또는 영상 패치에 걸친 색상들로 정의된다. 모델을 구축하기 위하여, 해당 지점들이 각 예시 상에 마킹되는 해설된 영상 학습 세트를 요구한다. 얼굴 애니메이션을 캐릭터에 적용하기 위하여 사용되는 주된 기술은 모프 타겟 애니메이션, 뼈대 구동 애니메이션, 질감 기반 애니메이션 (2D 또는 3D), 및 생리학적인 모델들을 포함한다.
1602: 통신 인터페이스 1603: 사용자 인터페이스
1604: 프로세서 1605: 데이터 저장소
1606: 데이터 1607: 프로세서 명령어
1608: 응용 데이터 1609: 운영 시스템 데이터
1610: 응용 처리 1611: 운영 시스템
131: 영상 처리 엔진 132: 데이터베이스
132a: 영상 데이터 132b: 훈련된 모델 데이터
132c: 사용자 데이터 132d: 사용자 정보 데이터
132e: 그래픽 데이터 133: 영상 처리 라이브러리
134 : 렌더링 엔진 135: 출력
136: 네트워킹 137: 입력

Claims (40)

  1. 옷을 입는 사람의 신체 모델을 생성하기 위한 방법에 있어서,
    - 사람에 관련된 사용자 입력을 수신하는 단계로서, 상기 사용자 입력은 사람의 적어도 하나의 영상 또는 사진을 포함하고, 사람의 적어도 하나의 영상은 사람을 얼굴을 가지는, 사용자 입력 수신 단계;
    - 다른 신체 부분(들)의 요건을 확인하기 위하여 신체 정보를 이용하는 단계;
    - 확인된 요건에 기반하여 다른 신체 부분(들)의 적어도 하나의 영상 또는 사진을 수신하는 단계;
    - 사람의 신체 모델을 생성하기 위하여 상기 신체 정보를 이용하여 다른 신체 부분(들)의 영상(들) 또는 사진(들)을 갖는 사람의 영상(들)을 처리하는 단계로서, 상기 신체 모델은 그 영상/사진이 사용자 입력으로서 수신된 사람을 나타내고, 상기 신체 모델은 사람의 얼굴을 포함하는, 영상 처리 단계;
    - 사람의 상기 신체 모델의 형상 및 사이즈에 따라 옷의 영상을 수신하는 단계; 및
    - 옷을 입고 있는 사람의 상기 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 옷의 상기 영상을 조합하는 단계;를 포함하고,
    신체 정보는 사람의 상기 영상에 있는 사람의 얼굴의 방향, 사람의 상기 영상에 있는 사람의 신체의 방향, 사람의 피부 톤, 사람의 상기 영상에 보여지는 신체 부분(들)의 형태, 사람의 영상에 있는 하나 이상의 신체 부분(들)의 위치 및 기하 형상, 사람의 신체/신체 부분(들)의 형상 및 사이즈, 사람의 무게, 사람의 키, 얼굴 특징 정보, 또는 얼굴 특징들의 근처 부분, 또는 그 조합 중의 적어도 하나를 포함하고,
    얼굴 특징 정보는 적어도 얼굴, 눈, 볼, 목, 입술, 코, 또는 귀, 또는 그 조합의 형상 또는 위치 중의 적어도 하나를 포함하는 방법.
  2. 제1 항에 있어서,
    사람의 상기 신체 모델과 옷의 상기 영상은 적어도 얼굴 표정이나 신체 움식임, 또는 그 조합을 갖도록 옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 결합되는 방법.
  3. 제1 항 또는 제2 항 중 어느 하나에 있어서,
    상기 신체 정보는 사용자 입력으로서 사용자에 의하여 수집되거나 상기 사용자 입력을 분석하고/처리하여 결정되는 방법.
  4. 제3 항에 있어서,
    상기 신체 정보는 목이나 볼 또는 그 조합을 클릭하여 사용자로부터 수신된 선택 입력이고,
    상기 방법은:
    - 상기 영상/사진으로부터 얼굴을 추출하기 위하여 상기 선택 입력을 처리하는 단계; 및
    - 사람의 상기 신체 모델을 생성하기 위하여 다른 신체 부분(들)의 영상(들) 또는 사진(들)을 가지고 상기 추출된 얼굴을 처리하는 방법.
  5. 제1 항 내지 제4 항 중 어느 하나에 있어서,
    사람의 상기 신체 모델과 옷의 상기 영상은, 옷을 입고 있는 사람의 상기 신체 모델을 보여 주는 단일의 영상을 생성하기 위하여 사람의 상기 신체 모델과 옷의 상기 영상을 처리하여 조합되는 방법.
  6. 제1 항 내지 제4 항 중 어느 하나에 있어서,
    사람의 상기 신체 모델과 상기 영상은, 옷을 입고 있는 사람의 신체 모델을 보여 주면서 상기 신체 모델 상에 중첩되는 옷의 영상을 갖는 장면을 생성하기 위하여 조합되는 방법.
  7. 제1 항 내지 제6 항 중 어느 하나에 있어서,
    옷의 상기 영상은 신체 정보, 또는 사람의 신체 모델의 변수 정보, 또는 그 조합 중의 적어도 하나에 기반하여 데이터베이스로부터 제공되고,
    변수 정보는 사람의 신체 모델의 형상과 사이즈에 관련된 방법.
  8. 제1 항 내지 제7 항 중 어느 하나에 있어서,
    옷의 상기 영상은 상기 신체 정보와 변수 정보 중의 적어도 하나에 기반한 처리 후에 제공되는 방법.
  9. 제1 항 내지 제8 항 중 어느 하나에 있어서,
    사람에 관련된 상기 사용자 입력은 사람의 상기 영상에 있는 사람의 얼굴의 방향, 사람의 상기 영상에 있는 사람의 신체의 방향, 사람의 피부 톤, 사람의 상기 영상에 보여진 신체 부분(들)의 형태, 사람의 상기 영상에 있는 하나 이상의 신체 부분들의 위치 및 기하 형상, 사람의 신체 또는 신체 부분들의 형상 및 사이즈, 사람의 무게, 사람의 키, 얼굴 특징 정보 또는 얼굴 특징들의 근처 부분, 또는 그 조합 중의 적어도 하나에 관련된 정보를 포함하고, 얼굴 특징 정보는 적어도 얼굴, 눈, 볼, 목, 입술,코, 또는 귀, 또는 그 조합의 형상 또는 위치 중의 적어도 하나를 포함하는 방법.
  10. 제1 항 내지 제9 항 중 어느 하나에 있어서,
    - 사람의 상기 영상에 있는 노출되지 않은 신체 부분들을 확인하기 위하여 사람의 상기 영상을 처리하고, 그 후에 적어도 하나의 노출되지 않은 신체 부분을 제거하고, 또한 노출되지 않은 부분에 사용되기에 적합한 요구되는 다른 신체 부분(들)을 확인하는 단계를 포함하는 방법.
  11. 제10 항에 있어서,
    상기 노출되지 않은 신체 부분은:
    - 상기 영상에 있는 사람의 피부 톤을 감지하거나, 또는
    - 노출되지 않은 신체 부분에서 상기 신체 부분들을 인식하거나, 그 조합 중의 적어도 하나에 의하여 확인되는 방법.
  12. 제10 항에 있어서,
    노출되지 않은 신체 부분은 사람에 관련된 사용자 입력에 기반하여 확인되고, 사용자 입력은 사람의 상기 영상 상으로 상기 노출되지 않은 신체 부분들을 마킹하는 것을 포함하는 방법.
  13. 제1 항 내지 제12 항 중 어느 하나에 있어서,
    - 상기 신체 정보를 이용하여 사람의 영상(들)을 처리하는 단계, 그 후에
    - 얼굴 부분을 추출하는 단계, 및
    - 다른 신체 부분(들)을 제공하고, 사람의 상기 신체 모델을 생성하기 위하여 목에서 얼굴 부분의 얼굴과 다른 신체 부분(들)을 병합 처리하는 단계를 포함하고,
    상기 얼굴 부분은 사람의 어깨 또는 목 위의 사람의 상기 영상의 일부이고 얼굴을 둘러싸는 방법.
  14. 제13 항에 있어서,
    상기 얼굴 부분은 사람의 상기 영상의 배경의 일부 부분을 포함하는 방법.
  15. 제14 항에 있어서,
    - 얼굴 부분의 기존의 배경의 부분을 처리하거나 편집하여 새로운 배경을 갖는 얼굴 부분을 생성하는 단계를 포함하는 방법.
  16. 제15 항에 있어서,
    - 기존의 배경의 일부와 다른 별도의 영상(들)을 처리하여 새로운 배경을 갖는 얼굴 부분을 생성하는 단계를 포함하는 방법.
  17. 제13 항에 있어서,
    상기 얼굴 부분은 사람의 상기 영상의 배경을 제거하도록 더 편집되는 방법.
  18. 제13 항 내지 제17 항 중 어느 하나에 있어서,
    - 사람의 상기 신체 모델과 추가 영상을 처리하여 추가 배경을 갖는 사람의 신체 모델의 영상을 생성하는 단계를 포함하는 방법.
  19. 제13 항 내지 제18 항 중 어느 하나에 있어서,
    사람에 관련된 상기 사용자 입력 또는 사람에 관련된 상기 신체 정보에 기반하여 얼굴 특징 정보를 확인하고, 상기 확인된 얼굴 특징 정보에 기반하여 얼굴 부분을 추출하고, 목에서 얼굴 부분의 얼굴과 다른 신체 부분(들)을 병합하는 방법.
  20. 제1 항 내지 제19 항 중 어느 하나에 있어서,
    360도 평면에서의 다른 각도 또는 방향에 있는 사람의 상기 영상(들)이 제공되고, 사람의 상기 영상들에서의 상기 방향 또는 캡처된 각도에 따라 상기 신체 모델을 생성하는 방법.
  21. 제1 항 내지 제20 항 중 어느 하나에 있어서,
    옷의 상기 영상은, 상기 신체 모델에 최적의 맞춤을 제공하기 위하여 사람의 상기 신체 모델의 방향에 따라 제공되는 방법.
  22. 제1 항 또는 제21 항 중 어느 하나에 있어서,
    - 옷 입력을 수신하는 단계; 및
    - 상기 옷 입력에 기반하여 옷 영상을 수신하는 단계를 포함하는 방법.
  23. 제1 항 내지 제22 항 중 어느 하나에 있어서,
    - 하나 이상의 옷의 영상들을 수신하는 단계;
    - 다른 층에서 서로 중첩최는 옷 영상들을 제공하는 단계; 및
    - 옷들을 입은 사람의 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 층들에서의 상기 옷들의 상기 영상들을 조합하는 단계를 포함하는 방법.
  24. 제23 항에 있어서,
    - 추가될 옷을 골라서 옷을 추가하기 위한 추가 입력을 수신하는 단계;
    - 상기 추가 입력에 기반하여 특별한 층에서 상기 고른 옷을 추가하고 각 층에 고른 옷을 놓아 변경된 세트의 옷(들)을 제공하는 단계; 및
    - 옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 상기 변경된 세트의 옷을 조합하는 단계를 포함하는 방법.
  25. 제23 항에 있어서,
    - 제거될 옷을 골라서 옷을 제거하기 위한 제거 입력을 수신하는 단계;
    - 상기 제거 입력에 기반하여 특별한 층으로부터 상기 고른 옷을 제거하여 변경된 세트의 옷(들)을 제공하는 단계; 및
    - 옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 상기 변경된 세트의 옷을 조합하는 단계를 포함하는 방법.
  26. 제23 항에 있어서,
    - 대체될 옷을 골라서 옷을 대체하기 위한 대체 입력을 수신하는 단계;
    - 상기 대체 입력에 기반하여 특별한 층에 존재하는 다른 옷으로부터 상기 고른 옷을 대체하여 변경된 세트의 옷(들)을 제공하는 단계; 및
    - 옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 상기 변경된 세트의 옷을 조합하는 단계를 포함하는 방법.
  27. 제1 항 내지 제26 항 중 어느 하나에 있어서,
    - 피부 톤에 대한 상기 신체 정보 또는 사람의 피부 톤에 대한 상기 사용자 입력에 기초한 데이터베이스로부터, 또는 피부 톤에 대한 상기 신체 정보 또는 사람의 피부 톤에 대한 상기 사용자 입력에 기반하여 다른 신체 부분(들)을 처리하여 다른 신체 부분(들)의 영상을 제공하는 단계를 포함하는 방법.
  28. 제1 항 내지 제 27항 중 어느 한 항에 있어서,
    - 메이크업이 적용되는 사람의 신체 모델의 신체 부분(들)에 관련된 메이크업 입력과 상기 신체 부분(들) 상에 적용되는 메이크업에 대한 정보를 제공하는 단계;
    - 상기 메이크업 입력에 기반하여 사람의 상기 신체 모델의 상기 신체 부분(들)을 감지하는 단계; 및
    - 적어도:
    상기 메이크업에 대한 정보에 관련된 메이크업 영상을 수신하고, 상기 메이크업 입력을 이용하여 사람의 상기 신체 모델의 상기 신체 부분(들) 상에서 상기 메이크업 영상(들)을 처리하거나,
    또는, 상기 메이크업 입력을 이용하여 상기 신체 부분들 상에 상기 메이크업을 적용하기 위하여 상기 신체 부분(들)의 색상 또는 톤을 변경하거나, 그 조합으로 상기 메이크업을 적용하는 단계를 포함하는 방법.
  29. 제1 항 내지 제28 항 중 어느 하나에 있어서,
    - 얼굴 특징들의 이동, 립싱, 및 소리 중의 적어도 하나를 포함하는 얼굴 표정 입력을 제공하는 단계;
    - 얼굴 표정을 가진 신체 모델을 제공하기 위하여 상기 얼굴 표정 입력을 이용하여 사람의 상기 신체 모델을 처리하는 단계; 및
    - 상기 얼굴 표정을 가지고 옷을 입고 있는 신체 모델을 보여 주기 위하여 상기 신체 모델과 옷의 상기 영상을 조합하는 단계를 포함하는 방법.
  30. 제1 항 내지 제29 항 중 어느 하나에 있어서,
    - 얼굴 특징들의 이동, 립싱, 및 소리 중의 적어도 하나를 포함하는 얼굴 표정 입력을 제공하는 단계;
    - 얼굴 표정을 가지고 옷을 입고 있는 신체 모델을 보여 주기 위하여 상기 얼굴 표정 입력을 이용하여 상기 영상 옷과 조합된 신체 모델을 처리하는 단계를 포함하는 방법.
  31. 제1 항 내지 제30 항 중 어느 하나에 있어서,
    - 옷의 상기 영상과 조합된 신체 모델이 보여지는 분위기에서 제공되기 위하여 조명 상태에 관련된 주변 조명 입력을 제공하는 단계;
    - 옷의 영상과 조합된 사람의 신체 모델의 색상, 대비, 밝기, 포화도 중의 적어도 하나를 변경하여 주변 조명 입력을 이용하여 옷의 상기 영상과 조합된 신체 모델을 처리하는 단계를 포함하는 방법.
  32. 제1 항 내지 제31 항 중 어느 하나에 있어서,
    상기 사용자 입력은 하나 이상의 방향으로 사람의 얼굴을 보여 주는 상기 영상(들) 또는 사진(들)에 관련되며, 상기 방법은:
    - 사람의 얼굴을 보여 주는 사람의 상기 영상들/사진들을 이용하여 사람의 입체 얼굴 모델을 생성하는 단계;
    - 서로 다른 각도 및 방향으로 사람 얼굴의 상기 영상을 생성하기 위하여 서로 다른 각도 및 방향으로 상기 얼굴 모델을 렌더링하는 단계; 및
    - 사람의 상기 신체 모델을 생성하기 위하여 서로 다른 방향으로 사람의 얼굴의 영상들과 각 방향으로 다른 신체 부분(들)의 영상들을 이용하는 단계를 포함하는 방법.
  33. 제1 항 내지 제32 항 중 어느 하나에 있어서,
    - 패션 액세서리가 착용될 신체 부분과 상기 신체 모델의 부분 상에 착용될 패션 액세서리에 관련된 착용 입력을 수신하는 단계;
    - 상기 착용 입력과 사람에 관련된 신체 정보 및 사용자 입력 중의 적어도 하나를 처리하고, 상기 패션 액세서리가 착용될 사람의 신체 모델의 신체 부분(들)을 확인하는 단계;
    - 상기 착용 입력에 따라 상기 액세서리의 영상/동영상을 수신하는 단계; 및
    - 옷과 액세서리를 입고 있는 상기 조합된 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델의 상기 확인된 신체 부분(들)과 상기 액세서리의 영상/동영상을 처리하는 단계를 포함하는 방법.
  34. 제1 항 내지 제33 항 중 어느 하나에 있어서,
    다른 신체 부분(들)의 수신된 영상들 또는 사진들 중의 적어도 하나는 적절히 보이지 않거나 다른 레벨의 투명도를 갖는 신체 부분의 적어도 일부를 갖는 방법.
  35. 제1 항 내지 제34 항 중 어느 한 항에 있어서,
    상기 옷의 영상은 투명하거나 반투명하고, 상기 투명하거나 반투명한 옷을 입고 있는 사람의 신체 모델을 디스플레이 장치로 보여 주는 방법.
  36. 제1 항 내지 제35 항 중 어느 한 항에 있어서,
    상기 디스플레이 장치 상으로 옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 상기 옷의 영상은 클라이언트-서버 환경에서 클라이언트 장치에서 사람의 신체 모델과 병합되는 방법.
  37. 제1 항 내지 제36 항 중 어느 한 항에 있어서,
    사람의 신체 모델은 리그를 갖는 그래픽 모델이고 출력으로서 옷을 갖는 신체 모델의 애니메이션을 생성하는 방법.
  38. 옷을 입는 사람의 신체 모델을 보여 주기 위한 시스템에 있어서,
    - 하나 이상의 입력 장치;
    - 디스플레이 장치;
    - 다른 신체 부분(들)의 하나 이상의 영상들, 및 하나 이상의 옷의 영상들을 저장하는 데이터베이스; 및
    - 기계 판독 명령어들을 포함하고, 상기 기계 판독 명령어들은 하나 이상의 프로세서들에 의하여 실행될 때에, 상기 시스템이:
    - 사람에 관련된 사용자 입력을 수신하는 단계로서, 상기 사용자 입력은 사람의 적어도 하나의 영상 또는 사진을 포함하고, 사람의 적어도 하나의 영상은 사람을 얼굴을 가지는 단계;
    - 다른 신체 부분(들)의 요건을 확인하기 위하여 신체 정보를 이용하는 단계;
    - 확인된 요건에 기반하여 다른 신체 부분(들)의 적어도 하나의 영상 또는 사진을 수신하는 단계;
    - 사람의 신체 모델을 생성하기 위하여 상기 신체 정보를 이용하여 다른 신체 부분(들)의 영상(들) 또는 사진(들)을 갖는 사람의 영상(들)을 처리하는 단계로서, 상기 신체 모델은 그 영상/사진이 사용자 입력으로서 수신된 사람을 나타내고, 상기 신체 모델은 사람의 얼굴을 포함하는 단계;
    - 사람의 상기 신체 모델의 형상 및 사이즈에 따라 옷의 영상을 수신하는 단계; 및
    옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 옷의 상기 영상을 조합하는 단계;를 포함하는 동작들을 수행하도록 하고,
    신체 정보는 사람의 상기 영상에 있는 사람의 얼굴의 방향, 사람의 상기 영상에 있는 사람의 신체의 방향, 사람의 피부 톤, 사람의 상기 영상에 보여지는 신체 부분(들)의 형태, 사람의 영상에 있는 하나 이상의 신체 부분(들)의 위치 및 기하 형상, 사람의 신체/신체 부분(들)의 형상 및 사이즈, 사람의 무게, 사람의 키, 얼굴 특징 정보, 또는 얼굴 특징들의 근처 부분, 또는 그 조합 중의 적어도 하나를 포함하고,
    얼굴 특징 정보는 적어도 얼굴, 눈, 볼, 목, 입술, 코, 또는 귀, 또는 그 조합의 형상 또는 위치 중의 적어도 하나를 포함하는 시스템.
  39. 제38 항에 있어서,
    상기 디스플레이 장치는 웨어러블 디스플레이, 넌웨어러블 디스플리에, 또는 그 조합이고,
    상기 넌웨어러블 디스플레이는:
    - LCD, LED, 플라즈마, OLED, 비디오 벽, 박스 형상의 디스플레이와 같은 전자 비주얼 디스플레이, 또는 하나 이상의 전자 비주얼 디스플레이 또는 프로젝터 기반 또는 그 조합으로 만들어진 디스플레이; 및
    - 프로젝터(들) 및/또는 전자 장치(들)에 의하여 조명되는 투명의 경사진 포일/스크린으로 구성된 하나 이상의 얼굴들을 갖는 페퍼 고스트 기반의 디스플레이(pepper's ghost based display)로서, 프로젝터 및/또는 전자 장치는 페퍼 고스트 기반의 디스플레이의 서로 다른 면들에서 서로 다른 카메라 각도로 옷을 입은 사람의 신체 모델의 서로 다른 영상을 보여주며, 페퍼 고스트 기술에 기반한 디스플레이의 서로 다른 면을 통하여 서로 다른 측면이 보여질 수 있는 곳에 위치되는 가상 물체의 환상을 제공하는, 페퍼 고스트 기반의 디스플레이를 포함하고,
    상기 웨어러블 디스플레이는:
    - 헤드 장착 디스플레이로서, 상기 헤드 장착 디스플레이는 헬멧에 내장된 렌즈들 및 반투명 거울들, 안경, 또는 바이저를 갖는 하나 또는 두 개의 작은 디스플레이를 포함하고, 상기 디스플레이 유닛들은 초소형이고, 전체 해상도와 시야를 증가시키기 위하여 CRT, LCD, LCos(Liquid crystal on silicon), 또는 OLED 또는 다수의 마이크로 디스플레이를 포함할 수 있고, 상기 헤드 장착 디스플레이는:
    곡면 거울 기반의 디스플레이 또는 도파관 기반의 디스플레이를 더 포함하는 한쪽 또는 양쪽 눈에 대하여 하나 또는 두 개의 디스플레이를 갖는 시스루 헤드 장착 디스플레이 또는 광학 헤드 장착 디스플레이; 및
    옷을 갖는 사람의 신체의 완전한 3D 뷰잉을 만들기 위하여 두 개의 약간 다른 시각에서 옷을 갖는 사람의 신체의 전체 3D 뷰잉을 위한 비디오 시스루 헤드 장착 디스플레이 또는 몰입형 헤드 장착 디스플레이를 포함하는 시스템.
  40. 컴퓨터 판독 매체 상에 저장되고 하나 이상의 프로세서들 상에서 실행되는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 판독 매체와 상기 하나 이상의 프로세서들은 통신 네트워크 인터페이스에 결합되고, 상기 컴퓨터 프로그램 제품은 실행 시에 상기 하나 이상의 프로세서들이:
    - 사람에 관련된 사용자 입력을 수신하는 단계로서, 상기 사용자 입력은 사람의 적어도 하나의 영상 또는 사진을 포함하고, 사람의 적어도 하나의 영상은 사람을 얼굴을 가지는 단계;
    - 다른 신체 부분(들)의 요건을 확인하기 위하여 신체 정보를 이용하는 단계;
    - 확인된 요건에 기반하여 다른 신체 부분(들)의 적어도 하나의 영상 또는 사진을 수신하는 단계;
    - 사람의 신체 모델을 생성하기 위하여 상기 신체 정보를 이용하여 다른 신체 부분(들)의 영상(들) 또는 사진(들)을 갖는 사람의 영상(들)을 처리하는 단계로서, 상기 신체 모델은 그 영상/사진이 사용자 입력으로서 수신된 사람을 나타고, 상기 신체 모델은 사람의 얼굴을 포함하는 단계;
    - 사람의 상기 신체 모델의 형상 및 사이즈에 따라 옷의 영상을 수신하는 단계; 및
    옷을 입고 있는 사람의 신체 모델을 보여 주기 위하여 사람의 상기 신체 모델과 옷의 상기 영상을 조합하는 단계;를 포함하는 동작들을 수행할 수 있도록 하고,
    신체 정보는 사람의 상기 영상에 있는 사람의 얼굴의 방향, 사람의 상기 영상에 있는 사람의 신체의 방향, 사람의 피부 톤, 사람의 상기 영상에 보여지는 신체 부분(들)의 형태, 사람의 영상에 있는 하나 이상의 신체 부분(들)의 위치 및 기하 형상, 사람의 신체/신체 부분(들)의 형상 및 사이즈, 사람의 무게, 사람의 키, 얼굴 특징 정보, 또는 얼굴 특징들의 근처 부분, 또는 그 조합 중의 적어도 하나를 포함하고,
    얼굴 특징 정보는 적어도 얼굴, 눈, 볼, 목, 입술, 코, 또는 귀, 또는 그 조합의 형상 또는 위치 중의 적어도 하나를 포함하는 컴퓨터 프로그램 제품.
KR1020187024416A 2016-01-27 2017-01-27 사용자의 현실적인 신체 모델에 가상으로 옷을 입혀보는 방법 KR20180108709A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN3580/DEL/2015 2016-01-27
IN3580DE2015 2016-01-27
PCT/IB2017/050454 WO2017130158A1 (en) 2016-01-27 2017-01-27 Virtually trying cloths on realistic body model of user

Publications (1)

Publication Number Publication Date
KR20180108709A true KR20180108709A (ko) 2018-10-04

Family

ID=59397564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187024416A KR20180108709A (ko) 2016-01-27 2017-01-27 사용자의 현실적인 신체 모델에 가상으로 옷을 입혀보는 방법

Country Status (6)

Country Link
US (1) US11450075B2 (ko)
EP (1) EP3408835A4 (ko)
JP (1) JP2019510297A (ko)
KR (1) KR20180108709A (ko)
CN (1) CN108885794A (ko)
WO (1) WO2017130158A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200102114A (ko) 2019-02-21 2020-08-31 한국전자통신연구원 학습기반 3d 모델 생성 장치 및 방법
KR20210119439A (ko) * 2019-01-18 2021-10-05 스냅 아이엔씨 템플릿-기반 개인화 비디오 생성 시스템 및 방법
KR20220040051A (ko) * 2020-09-23 2022-03-30 주식회사 넥스트키 얼굴 적용 기반의 의류착용 시스템 및 그 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170263031A1 (en) * 2016-03-09 2017-09-14 Trendage, Inc. Body visualization system
WO2018048902A1 (en) * 2016-09-06 2018-03-15 Platform Orthopedic Solutions Inc A system, platform, device and method for personalized shopping
KR102643553B1 (ko) 2017-01-06 2024-03-05 나이키 이노베이트 씨.브이. 자동 쇼핑 어시스턴트를 이용한 개인화 쇼핑을 위한 시스템, 플랫폼 및 방법
US10665022B2 (en) * 2017-06-06 2020-05-26 PerfectFit Systems Pvt. Ltd. Augmented reality display system for overlaying apparel and fitness information
CN109427083B (zh) * 2017-08-17 2022-02-01 腾讯科技（深圳）有限公司 三维虚拟形象的显示方法、装置、终端及存储介质
JP6921768B2 (ja) * 2018-02-21 2021-08-18 株式会社東芝 仮想試着システム、仮想試着方法、仮想試着プログラム、および情報処理装置
CN109300013A (zh) * 2018-10-25 2019-02-01 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN111324274A (zh) * 2018-12-13 2020-06-23 北京京东尚科信息技术有限公司 虚拟试妆方法、装置、设备及存储介质
CN109684544A (zh) * 2018-12-14 2019-04-26 维沃移动通信有限公司 一种穿搭推荐方法及终端设备
CN109784277B (zh) * 2019-01-17 2023-04-28 南京大学 一种基于智能眼镜的情绪识别方法
US11699070B2 (en) 2019-03-05 2023-07-11 Samsung Electronics Co., Ltd Method and apparatus for providing rotational invariant neural networks
WO2020230748A1 (ja) * 2019-05-11 2020-11-19 株式会社キテミル 画像生成装置、方法、及び、プログラム、並びに、仮想試着システム
CN110321872B (zh) * 2019-07-11 2021-03-16 京东方科技集团股份有限公司 人脸表情识别方法及装置、计算机设备、可读存储介质
US11250572B2 (en) * 2019-10-21 2022-02-15 Salesforce.Com, Inc. Systems and methods of generating photorealistic garment transference in images
US11100725B2 (en) * 2019-11-28 2021-08-24 Z-Emotion Co., Ltd. Three-dimensional (3D) modeling method of clothing
CN111062777B (zh) * 2019-12-10 2022-06-24 中山大学 一种可保留示例衣服细节的虚拟试穿方法及系统
CN113012042B (zh) * 2019-12-20 2023-01-20 海信集团有限公司 显示装置、虚拟合照生成方法及存储介质
WO2022006683A1 (en) * 2020-07-10 2022-01-13 Wimalasuriya Daya Karunita Tension-map based virtual fitting room systems and methods
JP7434134B2 (ja) * 2020-11-04 2024-02-20 ソフトバンク株式会社 データ処理装置、プログラム、及びデータ処理方法
CN112991494B (zh) * 2021-01-28 2023-09-15 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备及计算机可读存储介质
WO2023005200A1 (zh) * 2021-07-29 2023-02-02 华为技术有限公司 图像生成方法、装置及系统、计算机可读存储介质
CN115119054A (zh) * 2022-06-27 2022-09-27 平安银行股份有限公司 一种基于ios系统的视频虚拟着装及背景处理方法和装置
US20240265608A1 (en) * 2023-02-02 2024-08-08 Snap Inc. Augmented reality try-on experience for friend
CN117237583B (zh) * 2023-11-16 2024-02-09 创云融达信息技术(天津)股份有限公司 一种基于上传头像的虚拟试穿方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085411A (ja) * 2001-09-11 2003-03-20 Minolta Co Ltd 画像入出力装置
US8386486B2 (en) * 2008-07-02 2013-02-26 Palo Alto Research Center Incorporated Method for facilitating social networking based on fashion-related information
US8818883B2 (en) * 2009-07-23 2014-08-26 Apple Inc. Personalized shopping avatar
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
US10653962B2 (en) * 2014-08-01 2020-05-19 Ebay Inc. Generating and utilizing digital avatar data for online marketplaces

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210119439A (ko) * 2019-01-18 2021-10-05 스냅 아이엔씨 템플릿-기반 개인화 비디오 생성 시스템 및 방법
KR20200102114A (ko) 2019-02-21 2020-08-31 한국전자통신연구원 학습기반 3d 모델 생성 장치 및 방법
KR20210118005A (ko) 2019-02-21 2021-09-29 한국전자통신연구원 학습기반 3d 모델 생성 장치 및 방법
US11232632B2 (en) 2019-02-21 2022-01-25 Electronics And Telecommunications Research Institute Learning-based 3D model creation apparatus and method
KR20220150853A (ko) 2019-02-21 2022-11-11 한국전자통신연구원 학습기반 3d 모델 생성 장치 및 방법
US12033276B2 (en) 2019-02-21 2024-07-09 Electronics And Telecommunications Research Institute Learning-based 3D model creation apparatus and method
KR20220040051A (ko) * 2020-09-23 2022-03-30 주식회사 넥스트키 얼굴 적용 기반의 의류착용 시스템 및 그 방법

Also Published As

Publication number Publication date
EP3408835A4 (en) 2019-12-25
WO2017130158A1 (en) 2017-08-03
US11450075B2 (en) 2022-09-20
US20190026954A1 (en) 2019-01-24
JP2019510297A (ja) 2019-04-11
CN108885794A (zh) 2018-11-23
EP3408835A1 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
KR20180108709A (ko) 사용자의 현실적인 신체 모델에 가상으로 옷을 입혀보는 방법
US11748957B2 (en) Generating 3D data in a messaging system
US11961189B2 (en) Providing 3D data for messages in a messaging system
CN109690617B (zh) 用于数字化妆镜的系统和方法
US11736756B2 (en) Producing realistic body movement using body images
US10256859B2 (en) System and method for immersive and interactive multimedia generation
US11900569B2 (en) Image-based detection of surfaces that provide specular reflections and reflection modification
CN105404392B (zh) 基于单目摄像头的虚拟穿戴方法及系统
CN106373178B (zh) 生成人工图像的装置和方法
US11825065B2 (en) Effects for 3D data in a messaging system
US20210065464A1 (en) Beautification techniques for 3d data in a messaging system
US20200065559A1 (en) Generating a video using a video and user image or video
JPWO2014128788A1 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
WO2021042134A1 (en) Generating 3d data in a messaging system
WO2017137952A1 (en) Intelligent chatting on digital communication network
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
WO2020104990A1 (en) Virtually trying cloths &amp; accessories on body model
JP2013168146A (ja) 実物体のテクスチャ描写を生成する方法、装置、およびシステム
WO2017141223A1 (en) Generating a video using a video and user image or video
WO2023124698A1 (zh) 增强现实场景的展示

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination