KR20150124518A - 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법 - Google Patents

증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20150124518A
KR20150124518A KR1020140050769A KR20140050769A KR20150124518A KR 20150124518 A KR20150124518 A KR 20150124518A KR 1020140050769 A KR1020140050769 A KR 1020140050769A KR 20140050769 A KR20140050769 A KR 20140050769A KR 20150124518 A KR20150124518 A KR 20150124518A
Authority
KR
South Korea
Prior art keywords
camera
garment
image
dimensional model
user
Prior art date
Application number
KR1020140050769A
Other languages
English (en)
Inventor
최광진
명노준
황정석
윤인상
나경건
Original Assignee
(주)에프엑스기어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에프엑스기어 filed Critical (주)에프엑스기어
Priority to KR1020140050769A priority Critical patent/KR20150124518A/ko
Priority to PCT/KR2014/003784 priority patent/WO2015167039A1/ko
Publication of KR20150124518A publication Critical patent/KR20150124518A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강 현실(augmented reality) 기반 가상 피팅(virtual fitting)을 위한 가상 의상 생성 장치는, 의상을 촬영한 영상을 획득하도록 구성되며, 깊이 정보를 획득하도록 구성된 제1 카메라 및 색상 정보를 획득하도록 구성된 제2 카메라의 쌍을 하나 이상 포함하는 촬영부; 및 상기 하나 이상의 제1 카메라로부터 얻어진 깊이 정보 및 상기 하나 이상의 제2 카메라로부터 얻어진 색상 정보를 이용하여, 상기 의상의 시뮬레이션을 위한 3차원 모델을 생성하도록 구성된 모델링부를 포함할 수 있다. 상기 제1 카메라는 깊이 카메라(depth camera)일 수 있으며, 상기 제2 카메라는 일반 RGB 카메라일 수 있다.

Description

증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법{APPARATUS AND METHOD FOR CREATING VIRTUAL CLOTH FOR VIRTUAL FITTING BASED ON AUGMENTED REALITY}
실시예들은 증강 현실(augmented reality) 기반 가상 피팅(virtual fitting)을 위한 가상 의상 생성 장치 및 방법과, 이를 수행하기 위한 명령이 기록된 컴퓨터로 판독 가능한 기록 매체에 대한 것이다.
사용자의 아바타를 시뮬레이션함으로써, 아바타를 통해 사용자의 신체를 실시간으로 디스플레이 장치에 나타내는 기술이 최근 들어 많이 개발되고 있다. 이러한 기술이 주로 응용되는 분야로서 백화점이나 옷 가게와 같은 일반적인 리테일 ?의 경우를 들 수 있다. 소비자가 옷을 오프라인으로 구매할 때 보는 것만으로는 기대감을 충족시킬 수 없기 때문에 직접 옷을 입어보게 되는데, 이 경우 입는 시간이 오래걸리고 불편할 수 있다. 이러한 경우 소비자가 옷을 입어보지 않고도 자신의 아바타를 통해 가상으로 옷을 착용해 보는 봄으로써, 사용자의 편의를 향상시킬 수 있게 된다. 이러한 기술은 가상 피팅(virtual fitting) 또는 매직 미러(magic mirror) 시스템이라고 불리우기도 한다.
그러나, 종래의 가상 피팅 기술에서는 소비자의 아바타를 생성하기 위하여 상당한 시간을 소요하여 소비자의 신체를 카메라로 스캔하는 과정이 필요하였다. 즉, 다 각도에서 소비자의 신체를 촬영해야만 아바타를 생성할 수 있고, 촬영후 아바타를 생성하는 프로세싱 과정에도 시간이 상당히 오래 걸렸다. 이렇게 시간이 오래 걸릴 경우, 소비자가 실제로 옷을 착용하는 시간과 비슷해지므로 가상 피팅 기술을 이용해야할 필요성이 줄어들 수 있다. 또한, 가상 피팅을 위해 의상의 3차원 데이터를 준비하는 데에도 상당한 시간이 필요하였다.
등록특허공보 제10-0859502호
본 발명의 일 측면에 의하면, 사용자가 옷을 입어보지 않고도 증강 현실에 기반하여 자신의 영상 위에 의상을 겹쳐봄으로써 마치 의상을 착용한 것과 같은 가상 피팅(virtual fitting) 효과를 얻을 수 있으며, 가상 피팅을 수행할 가상 의상을 3차원 스캐닝을 이용하여 신속하고 효율적으로 얻을 수 있는 가상 의상 생성 장치 및 방법과, 이를 수행하기 위한 명령이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
일 실시예에 따른 가상 의상 생성 장치는, 의상을 촬영한 영상을 획득하도록 구성되며, 깊이 정보를 획득하도록 구성된 제1 카메라 및 색상 정보를 획득하도록 구성된 제2 카메라의 쌍을 하나 이상 포함하는 촬영부; 및 상기 하나 이상의 제1 카메라로부터 얻어진 깊이 정보 및 상기 하나 이상의 제2 카메라로부터 얻어진 색상 정보를 이용하여, 상기 의상의 시뮬레이션을 위한 3차원 모델을 생성하도록 구성된 모델링부를 포함할 수 있다.
일 실시예에 따른 가상 의상 생성 방법은, 깊이 정보를 획득하도록 구성된 제1 카메라 및 색상 정보를 획득하도록 구성된 제2 카메라의 쌍을 하나 이상 이용하여 의상을 촬영함으로써, 상기 의상의 깊이 정보 및 색상 정보를 획득하는 단계; 상기 깊이 정보 및 상기 색상 정보를 이용하여, 상기 의상의 시뮬레이션을 위한 3차원 모델을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 컴퓨터로 판독 가능한 기록 매체에는 컴퓨팅 장치에 의해 실행됨으로써 상기 가상 의상 생성 방법을 수행하기 위한 명령이 기록될 수 있다.
본 발명의 일 측면에 따르면, 사용자가 가상 피팅(virtual fitting)을 수행할 가상 의상을 3차원 스캐닝을 이용하여 신속하고 효율적으로 얻을 수 있다. 또한, 동작 인식 센서를 이용하여 사용자의 움직임에 반응하도록 3차원 의상을 물리적으로 시뮬레이션하고, 시뮬레이션 결과를 렌더링하여 사용자의 영상 위에 겹쳐보이도록 함으로써, 마치 가상으로 의상을 착용한 것과 같은 효과를 얻을 수 있다.
도 1은, 일 실시예에 따른, 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치의 블록도이다.
도 2는 일 실시예에 따른 가상 의상 생성을 위한 촬영부의 구성을 나타내는 개념도이다.
도 3은 또 다른 실시예에 따른 가상 의상 생성을 위한 촬영부의 구성을 나타내는 개념도이다.
도 4는 또 다른 실시예에 따른 가상 의상 생성을 위한 촬영부의 구성을 나타내는 개념도이다.
도 5는, 일 실시예에 따른, 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 방법의 순서도이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은, 일 실시예에 따른, 증강 현실(augmented reality) 기반 가상 피팅(virtual fitting)을 위한 가상 의상 생성 장치의 블록도이다.
도 1을 참조하면, 본 실시예에 따른 가상 의상 생성 장치는 의상을 촬영하기 위한 촬영부(10) 및 촬영된 의상을 3차원 모델로 변환하기 위한 모델링부(30)를 포함할 수 있다. 일 실시예에서, 가상 의상 생성 장치는 생성된 의상의 3차원 모델을 사용자의 움직임에 따라 3차원 모델을 시뮬레이션하기 위한 시뮬레이션부(40)를 더 포함할 수 있다. 또한 일 실시예에서, 가상 의상 생성 장치는 사용자의 움직임을 측정하기 위한 센서부(20)를 더 포함할 수도 있다. 또한 일 실시예에서, 가상 의상 생성 장치는 시뮬레이션된 결과물을 이미지로 렌더링하기 위한 렌더링부(50) 및 렌더링된 이미지 및/또는 사용자의 영상을 표시하기 위한 표시부(60)를 더 포함할 수도 있다.
본 발명의 실시예들에 따른 가상 의상 생성 장치는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 가상 의상 생성 장치를 구성하는 각각의 "부(unit)"는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
본 명세서에서, 가상 의상 생성 장치를 구성하는 각각의 부는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 예를 들어, CPU 또는 다른 프로세서, 촬영 수단 및 표시 수단 등이 하나의 장치에 집적화된 컴퓨팅 장치를 이용하여 본 발명의 실시예들에 따른 가상 의상 생성 방법이 수행될 수 있으며, 이때 가상 의상 생성 장치를 구성하는 촬영부(10), 센서부(20), 모델링부(30), 시뮬레이션부(40), 렌더링부(50) 및 표시부(60) 등은 상기 컴퓨팅 장치를 상기 컴퓨팅 장치에서 수행하는 동작에 따라 기능적으로 구분한 것이며, 서로 분리된 별개의 장치를 지칭하는 것이 아니다.
그러나 실시예에 따라서는 촬영부(10), 센서부(20), 모델링부(30), 시뮬레이션부(40), 렌더링부(50) 및 표시부(60) 중 하나 이상이 물리적으로 구분되는 별개의 장치로서 구현될 수도 있으며, 예를 들어, 서로 통신 가능하게 연결된 복수 개의 컴퓨팅 장치를 포함하는 분산 컴퓨팅 환경을 적어도 부분적으로 이용함으로써 실시예들에 따른 가상 의상 생성 방법이 수행될 수도 있다.
촬영부(10)는 사용자가 가상 피팅할 의상을 촬영하기 위한 부분이다. 촬영부(10)는 깊이 정보를 획득하도록 구성된 제1 카메라 및 색상 정보를 획득하도록 구성된 제2 카메라의 쌍을 하나 또는 복수 개 포함할 수 있다. 예컨대, 제1 카메라는 적외선 센서를 이용하여 대상을 촬영하고, 촬영된 대상에 대하여 실시간으로 깊이 정보를 획득하는 깊이 카메라(depth camera)일 수 있다. 또한, 제2 카메라는 일반 RGB 카메라일 수 있다.
또한, 촬영부(10)는 가상 의상의 생성을 위하여 의상을 촬영할 뿐만 아니라, 가상 피팅을 수행할 사용자의 영상을 획득할 수 있다.
센서부(20)는 가상 피팅을 수행할 사용자의 움직임을 측정하기 위한 부분이다. 센서부(20)는 사용자의 움직임을 측정할 수 있는 하나 이상의 센서를 포함할 수 있다. 일 실시예에서, 촬영부(10) 및 센서부(20)는 동일한 하드웨어를 이용하여 구현될 수도 있다. 즉, 깊이 카메라 및/또는 RGB 카메라를 이용하여 사용자의 영상을 획득하는 동시에, 카메라에 의해 얻어진 영상을 이용하여 사용자의 움직임을 측정할 수도 있다. 그러나 이는 예시적인 것으로서, 센서부(20)는 카메라에 의해 획득된 영상을 이용하는 방법이 아닌 다른 상이한 방식으로 사용자의 움직임을 측정하기 위한 수단을 포함할 수도 있다.
모델링부(30)는 가상 피팅을 위한 의상의 3차원 모델을 생성하는 부분이며, 시뮬레이션부(40) 및 렌더링부(50)는 사용자의 움직임에 따라 운동 방정식을 연산함으로써 의상의 3차원 모델에 대한 물리 시뮬레이션을 수행하고, 물리 시뮬레이션 결과를 영상으로 실시간 렌더링하기 위한 부분들이다. 모델링부(30), 시뮬레이션부(40) 및 렌더링부(50)는 CPU 및/또는 GPU(Graphics Processing Unit)가 구비되어 이상의 동작을 수행할 수 있는 컴퓨팅 장치로 구성될 수 있다.
표시부(60)는 사용자의 움직임에 따라 시뮬레이션 및 렌더링되는 의상의 영상을 표시하기 위한 장치이다. 예컨대, 표시부(60)는 액정 표시 장치(Liquid Crystal Display; LCD)와 같은 디스플레이 장치일 수 있으나, 이에 한정되는 것은 아니다. 또한, 표시부(60)는 렌더링된 의상의 영상을 촬영부(10)에 의해 획득된 사용자의 영상과 함께 표시할 수 있다. 예컨대, 렌더링된 영상은 사용자의 영상 위에 오버레이(overlay) 형태로 표시될 수 있다. 렌더링부(50)에 의해 렌더링되는 의상은 사용자의 움직임에 따라 실시간 시뮬레이션되므로, 사용자는 자신의 움직임에 따라 시뮬레이션되는 의상을 자신의 영상 위에 겹쳐볼 수 있어 가상 피팅이 가능해진다.
본 발명의 실시예들에서는, 깊이 카메라 및 RGB 카메라의 쌍을 하나 또는 복수 개 이용하여 촬영부(10)를 구성하고, 이와 같이 구성된 촬영부(10)에 의해 가상 피팅을 위한 의상을 스캐닝함으로써 빠르고 효율적으로 의상의 3차원 모델을 생성하도록 구성된다.
도 2는 일 실시예에 따른 가상 의상 생성을 위한 촬영부의 구성을 나타내는 개념도이다.
도 1 및 도 2를 참조하면, 촬영부(10)는 하나의 깊이 카메라(11) 및 하나의 RGB 카메라(21)로 구성될 수 있다. 마네킹 등 인체 모형(1)에 가상 의상으로 생성하고자 하는 실제 의상(2)을 입힌 상태에서, 인체 모형(1)을 정면으로 바라보는 위치에 깊이 카메라(11) 및 RGB 카메라(21)를 배치하여 깊이 정보 및 색상 정보를 획득할 수 있다. 모델링부(30)는 깊이 카메라(11) 및 RGB 카메라(21)로부터 얻어진 깊이 정보 및 색상 정보를 이용하여 의상(2)에 대응되는 3차원 모델을 생성한다.
본 실시예에서는, 의상(2)을 하나의 각도(예컨대, 정면)에서 바라본 깊이 정보 및 색상 정보만으로 의상(2)의 3차원 모델을 구성하게 된다. 따라서, 이와 같이 생성된 3차원 모델은 의상(2)의 일부만에 대응된다. 예를 들어, 3차원 모델은 의상(2)의 후면을 포함하지 않고 전면에만 대응될 수 있다. 이렇게 생성된 의상(2) 일부에 대응되는 3차원 모델은, 시뮬레이션 수행 시 정점들 사이 및 정점과 사용자와의 상호작용을 반영한 물리적 시뮬레이션을 수행하지 않고, 사용자의 움직임에 스키닝(skinning) 방식으로 정합되도록 사용될 수도 있다. 이에 대해서는 상세히 후술한다.
한편, 다른 실시예에서는 의상(2)에 대해 서로 상이한 각도에 위치하는 복수 개의 깊이 카메라 및 RGB 카메라의 쌍을 이용하여 의상 전체의 3차원 모델을 생성할 수도 있다. 도 3 및 도 4는 실시예들에 따라 의상 전체의 3차원 모델을 생성하기 위한 촬영부의 구성을 나타내는 개념도들이다.
도 1 및 도 3을 참조하면, 촬영부(10)는 의상(2)의 전면에 위치하는 깊이 카메라(11) 및 RGB 카메라(21)의 쌍과, 의상(2)의 후면에 위치하는 깊이 카메라(12) 및 RGB 카메라(22)의 또 다른 쌍을 포함할 수 있다. 이 경우 의상(2)의 전후면 모두로부터 깊이 정보 및 색상 정보를 얻을 수 있어, 의상(2) 전체의 3차원 모델을 생성할 수 있다.
또한, 도 1 및 도 4를 참조하면, 촬영부(10)는 도 3에 도시된 깊이 카메라 및 RGB 카메라의 쌍에 더하여 의상(2)의 일 측면에 위치하는 깊이 카메라(13) 및 RGB 카메라(23)의 쌍과, 의상(2)의 반대편 측면에 위치하는 깊이 카메라(14) 및 RGB 카메라(24)의 쌍을 추가적으로 포함할 수도 있다. 이 경우, 의상(2) 전후면에 위치하는 카메라에 의해 촬영하는 것이 어려운 측면에 대해서도 정확한 깊이 정보 및 색상 정보가 얻어질 수 있다.
그러나, 도 2 내지 도 4를 참조하여 전술한 촬영부(10)의 구성은 단지 예시적인 것이다. 실시예들에서 촬영부(10)는 의상을 임의의 각도에서 촬영하도록 구성된 깊이 카메라 및 RGB 카메라의 하나의 쌍을 포함할 수도 있고, 또는 의상을 서로 상이한 복수 개의 임의 각도에서 촬영하도록 구성된 깊이 카메라 및 RGB 카메라의 임의의 개수의 쌍을 포함할 수도 있으며, 이는 본 발명의 범위에 포함된다.
도 5는, 일 실시예에 따른, 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 방법의 순서도이다.
도 1 및 도 5를 참조하면, 먼저 촬영부(10)를 구성하는 깊이 카메라 및 RGB 카메라의 하나 이상의 쌍을 이용하여, 사용자가 가상 피팅을 수행할 의상의 깊이 정보 및 색상 정보를 획득할 수 있다(S1). 깊이 카메라에 의해 얻어진 이미지는 각 픽셀에 대응되는 깊이, 즉, 카메라와 의상 사이의 거리를 포함한다. 또한, RGB 카메라에 의해 얻어진 이미지는 각 픽셀에 대응되는 색상 정보를 포함한다.
다음으로, 모델링부(30)는 깊이 카메라 및 RGB 카메라의 하나 이상의 쌍에 의해 얻어진 깊이 정보 및 색상 정보를 이용하여 의상의 3차원 모델을 생성할 수 있다(S2). 예를 들어, 모델링부(30)는 의상의 깊이 정보로부터 사용자가 의상을 착용할 경우 어깨, 허리, 팔꿈치 등 인체의 주요 관절에 인접하여 위치하게 될 특징점들의 위치를 추출하고, 해당 특징점들의 위치를 이용하여 의상에 대응되는 3차원 모델을 제공할 수 있다. 예를 들어, 의상의 3차원 모델은 복수 개의 정점(vertex) 및 이들을 잇는 선분으로 이루어진 폴리곤(polygon) 형태일 수도 있다. 또한, 모델링부(30)는 의상의 색상 정보로부터 폴리곤에 입혀질 텍스쳐(texture)를 결정할 수 있다.
다음으로, 촬영부(10)에 의해 사용자의 영상을 획득하고, 센서부(20)에 의해 사용자의 움직임을 측정할 수 있다(S3). 일 실시예에서, 촬영부(10) 및 센서부(20)는 하나 이상의 깊이 카메라 및/또는 RGB 카메라를 포함하는 동일한 하드웨어를 이용하여 구현되어, 카메라에 의해 사용자의 영상을 획득하는 동시에 영상을 이용하여 사용자의 움직임을 측정할 수 있다. 그러나 이는 예시적인 것으로서, 센서부(20)는 영상을 이용하는 방법이 아닌 다른 상이한 방법에 의해 사용자의 움직임을 측정할 수도 있다.
사용자의 움직임이 측정되면, 시뮬레이션부(40)는 단계(S2)에서 생성된 의상의 3차원 모델에 대해 단계(S3)에서 측정된 사용자의 움직임에 맞추어 시뮬레이션을 수행할 수 있다(S4). 예컨대, 센서부(20)에 의해 측정된 사용자의 움직임은 인체의 주요 관절 등에 대응되는 하나 이상의 정점으로 이루어진 골격 모델의 움직임으로 표현될 수 있다. 이때, 시뮬레이션부(40)는 의상의 3차원 모델을 이루는 각 정점들 사이의 상호작용 및 의상의 3차원 모델을 이루는 각 정점과 인체 골격 모델의 각 정점 사이의 상호작용을 고려하여 3차원 모델을 이루는 각 정점의 시간에 따른 위치 및/또는 속도를 산출할 수 있다. 의상의 3차원 모델에서 정점 사이의 상호작용을 정의하는 탄성 계수는 해당 의상의 직물 소재에 따라 적절히 결정될 수 있다. 물리 시뮬레이션을 연산하는 구체적인 과정은 본 발명이 속하는 기술분야에서 통상의 기술자에게 잘 알려져 있으므로, 자세한 설명을 생략한다.
일 실시예에서는, 도 2를 참조하여 전술한 것과 같이 하나 또는 상대적으로 적은 수의 깊이 카메라 및 RGB 카메라만을 이용함으로써 의상 전체가 아닌 의상의 일부에만 대응되는 3차원 모델을 생성할 수도 있다. 이 경우, 상기 3차원 모델을 시뮬레이션하는 단계(S4)에서는 의상의 3차원 모델을 이루는 각 정점 사이의 상호작용이나 이상의 3차원 모델을 이루는 각 정점과 인체 골격 모델의 각 정점 사이의 상호작용을 온전히 고려하는 대신, 의상의 3차원 모델을 이루는 각 정점을 인체 골격 모델에 단순히 정합시키는 스키닝 방식으로 시뮬레이션을 수행할 수도 있다. 즉, 의상의 3차원 모델을 이루는 각 정점을 인체 골격 모델의 하나 또는 그 이상의 정점에 대응시키고, 인체 골격 모델의 정점들의 위치나 속도 변화에 따라 대응되는 의상의 3차원 모델의 정점이 동일하게 변화되도록 단순화된 시뮬레이션을 수행할 수 있다.
다른 실시예에서는, 의상의 일부만이 아니라 의상 전체의 3차원 모델을 생성한 경우에도 시뮬레이션에 소요되는 시간이나 연산 부담 등을 줄이기 위하여 전술한 스키닝 방식을 적용할 수도 있다.
또한 일 실시예에서는, 사용자가 서로 겹쳐질 수 있는 복수 개의 의상을 가상 피팅할 수 있도록 한다. 예를 들어, 서로 겹쳐질 수 있는 복수 개의 의상이란, 바지 및 바지 위로 늘어뜨려진 긴 셔츠나, 셔츠 및 셔츠 위에 입을 수 있는 재킷 등을 수 있다. 실시예들에서는 이러한 여러 겹의 옷에 대응되는 복수 개의 3차원 모델을 시뮬레이션하되, 여러 겹의 옷의 상호작용을 물리적으로 시뮬레이션하지 않고, 각각의 의상에 대응되는 3차원 모델을 독립적으로 시뮬레이션 하도록 구성된다. 또한, 독립적으로 시뮬레이션된 3차원 모델을 렌더링에 의해 합성할 때 의상이 겹쳐진 순서에 따라 순차적으로 렌더링함으로써, 안쪽에 위치하는 의상(예컨대, 바지 또는 셔츠)이 바깥쪽에 위치하는 의상(예컨대, 셔츠 또는 재킷)을 뚫고 나와 보이지 않도록 한다.
이를 위하여, 본 실시예에서 시뮬레이션부(40)는 서로 겹쳐진 여러 겹의 의상에 대응되는 3차원 모델들을 시뮬레이션함에 있어서, 각각의 의상 사이의 상호작용은 시뮬레이션하지 않고, 각각의 의상에 대응되는 3차원 모델들을 독립적으로 시뮬레이션한다(S4). 이와 같이 함으로써, 서로 겹쳐진 여러 겹의 의상에 대한 가상 피팅을 수행하면서도 의상들에 대한 물리적인 시뮬레이션이 실시간으로 이루어질 수 있다.
다음으로, 렌더링부(50)는 시뮬레이션부(40)에 의해 시뮬레이션되는 3차원 모델을 영상으로 렌더링한다(S5). 즉, 정점 및 정점 사이의 선분들로 이루어진 3차원 모델에 대해 의상별로 미리 결정된 텍스쳐(texture)를 적용하고, 시간에 따라 변화되는 3차원 모델을 복수의 프레임별 이미지로 변환함으로써 렌더링된 일련의 이미지들로 이루어진 영상을 생성할 수 있다. 폴리곤과 같은 3차원 모델을 렌더링하는 구체적인 과정은 본 발명이 속하는 기술분야에서 통상의 기술자에게 잘 알려져 있으므로, 자세한 설명을 생략한다.
전술한 것과 같이 사용자가 서로 겹쳐질 수 있는 복수 개의 의상을 가상 피팅하는 경우, 시뮬레이션부(40)에서는 복수 개의 3차원 모델이 서로 독립적으로 시뮬레이션되는데, 이러한 복수 개의 3차원 모델들은 렌더링부(50)에 의한 이미지 변환 과정에서 하나의 영상으로 합성된다. 이때, 렌더링부(50)에서는 각각의 3차원 모델을 이미지로 렌더링함에 있어서 의상의 겹쳐진 순서에 따라 순차적으로 렌더링을 수행할 수 있다(S5). 즉, 서로 겹쳐진 여러 겹의 의상에 대응되는 복수의 3차원 모델 중, 상대적으로 안쪽에 위치하는 의상에 대응되는 3차원 모델이 상대적으로 바깥쪽에 위치하는 의상에 대응되는 3차원 모델보다 먼저 렌더링된다. 이와 같이 함으로써, 렌더링된 최종 영상에서 안쪽 레이어의 의상이 바깥쪽 의상을 뚫고 나와 보이는 것을 방지할 수 있다.
일 실시예에서, 렌더링부(50)는 알파 컴포지팅(alpha compositing)을 이용하여 전술한 순차적 렌더링을 수행할 수도 있다. 알파 컴포지팅을 이용하는 경우, 렌더링되는 이미지의 각 픽셀에는 소정의 알파 값이 부여된다. 알파 값은 0부터 1까지의 값을 가지며, 알파 값이 0일 경우 해당 픽셀이 완전히 투명함을 의미하고, 알파 값이 1일 경우 해당 픽셀이 완전히 불투명함을 의미한다. 렌더링부(50)는 상대적으로 안쪽에 위치하는 의상의 3차원 모델을 렌더링한 이미지와, 상대적으로 바깥쪽에 위치하는 의상의 3차원 모델을 렌더링한 이미지를 알파 블렌딩(alpha blending) 방식으로 합성함으로써 안쪽 레이어의 의상이 바깥쪽 의상을 뚫고 나와 보이는 것을 방지할 수 있다. 렌더링한 이미지에서 바깥쪽 의상에 덮이지 않고 보이는 의상 부분의 알파 값은 1, 바깥쪽 의상에 의해 덮여 보이지 않는 의상 부분의 알파 값은 0, 그리고 경계 부분은 0과 1 사이의 알파 값을 갖는다.
구체적으로, 바깥쪽에 위치하는 의상의 3차원 모델을 렌더링한 이미지를 A, 안쪽에 위치하는 의상의 3차원 모델을 렌더링한 이미지를 B라고 할 경우, 렌더링부(50)는 "over" 오퍼레이터(operator)를 이용하여 렌더링된 이미지의 각 픽셀의 색상을 결정할 수 있다. 이미지 A가 이미지 B를 적어도 부분적으로 덮도록 위치하는 경우, 해당 영역의 최종 합성된 이미지에서 각 픽셀의 색상은 하기 수학식 1과 같이 정의되는 "A over B" 연산 결과에 의해 결정된다.
[수학식 1]
Figure pat00001
상기 수학식 1에서 CO는 최종 합성된 이미지의 픽셀의 색상 값이며, Ca는 및 Cb는 각각 이미지 A 및 B의 픽셀의 색상이고, αa 및 αb는 각각 이미지 A 및 B의 픽셀의 알파 값이다. 상기 수학식 1의 연산은 이미지 A 및 B를 합성한 이미지의 모든 픽셀에 대하여 적용되며, 이미지 A 및/또는 B가 불투명한 경우, 투명한 경우, 또는 부분적으로 투명한 경우에 모두 동일하게 적용될 수 있다.
렌더링부(50)는 안쪽 의상의 3차원 모델을 렌더링한 이미지 B를 먼저 그리게 된다. 다음으로, 렌더링부(50)는 바깥쪽 의상의 3차원 모델을 렌더링한 이미지 A를 그리되, 수학식 1에 의해 정의되는 "A over B" 연산을 통해 이미지를 그리게 된다. 그 결과, 이미지 B 중에서 이미지 A에 의하여 덮이지 않는 부분에서는 αa의 값이 0이며 이때 수학식 1의 결과인 Cbαb가 최종 픽셀의 색이 된다. 즉, 최종 합성된 이미지에서도 이미지 B의 픽셀이 그대로 보여진다. 한편, 이미지 B 중에서 이미지 A에 의하여 덮인 부분에서는 이미지 A의 투명도에 따라 색이 결정되며, 예컨대 이미지 A가 완전히 불투명할 경우 αa의 값이 1이며 이때 수학식 1의 결과인 Caαa가 최종 픽셀의 색이 된다. 즉, 최종 합성된 이미지에서는 이미지 A의 픽셀만이 보여지게 된다.
이상의 연산 과정은 서로 겹쳐진 두 개의 의상에 각각 대응되는 이미지 A 및 이미지 B를 이용하여 설명되었으나, 겹쳐져 있는 의상의 개수가 3개 이상일 경우에도 의상이 겹쳐진 순서에 따라 전술한 연산 과정이 동일하게 수행될 수 있다. 그 결과, 렌더링부(50)에 의해 렌더링된 최종 합성 이미지에서는 안쪽에 위치하는 의상은 바깥쪽에 위치하는 의상에 의해 덮이지 않은 부분만 보여지게 되고, 안쪽에 위치하는 의상이 바깥쪽에 위치하는 의상을 뚫고 나와 보이는 것이 방지된다.
렌더링부(50)에 의해 전술한 방식으로 렌더링된 영상은 표시부(60)에 표시될 수 있다(S6). 또한, 표시부(60)에는 렌더링된 영상과 함께 촬영부(10)에 의해 획득된 사용자의 영상이 표시될 수 있으며, 렌더링된 영상은 사용자의 영상 위에 오버레이 형태로 표시될 수 있다. 렌더링부(50)에 의해 렌더링되는 의상은 사용자의 움직임에 따라 실시간 시뮬레이션되므로, 사용자는 자신의 영상 위에 자신의 움직임에 따라 시뮬레이션되는 의상을 볼 수 있게 되어 가상 피팅이 가능해진다.
이상에서 설명한 실시예들에 따른 가상 의상 생성 장치 및 방법은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 기록매체에는 가상 의상 생성 장치 및 방법에 의한 동작을 구현하기 위한 프로그램이 기록되며, 상기 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장될 수 있는 임의의 종류의 기록장치를 포함한다. 예컨대, 컴퓨터가 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(carrier wave)(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (12)

  1. 의상을 촬영한 영상을 획득하도록 구성되며, 깊이 정보를 획득하도록 구성된 제1 카메라 및 색상 정보를 획득하도록 구성된 제2 카메라의 쌍을 하나 이상 포함하는 촬영부; 및
    상기 하나 이상의 제1 카메라로부터 얻어진 깊이 정보 및 상기 하나 이상의 제2 카메라로부터 얻어진 색상 정보를 이용하여, 상기 의상의 시뮬레이션을 위한 3차원 모델을 생성하도록 구성된 모델링부를 포함하는 가상 의상 생성 장치.
  2. 제 1항에 있어서,
    상기 촬영부는 상기 제1 카메라 및 상기 제2 카메라의 하나의 쌍을 포함하며,
    상기 모델링부는 상기 의상의 일부에만 대응되는 상기 3차원 모델을 생성하도록 구성된 가상 의상 생성 장치.
  3. 제 1항에 있어서,
    상기 촬영부는 상기 의상에 대하여 서로 상이한 각도에 배치된 상기 제1 카메라 및 상기 제2 카메라의 복수 개의 쌍을 포함하는 가상 의상 생성 장치.
  4. 제 1항에 있어서,
    사용자의 움직임에 따라 상기 3차원 모델에 대한 시뮬레이션을 수행하도록 구성된 시뮬레이션부를 더 포함하는 가상 의상 생성 장치.
  5. 제 4항에 있어서,
    상기 의상을 가상 피팅하고자 하는 사용자의 움직임을 측정하도록 구성된 센서부를 더 포함하되,
    상기 시뮬레이션부는, 상기 센서부에 의해 측정된 상기 사용자의 움직임에 따라 상기 의상의 3차원 모델을 시뮬레이션하도록 구성된 가상 의상 생성 장치.
  6. 제 5항에 있어서,
    상기 촬영부는 상기 사용자의 영상을 획득하도록 더 구성되며,
    상기 시뮬레이션부에 의해 시뮬레이션되는 상기 3차원 모델을 이미지로 렌더링하도록 구성된 렌더링부; 및
    상기 렌더링부에 의해 렌더링된 이미지를 상기 사용자의 영상과 함께 출력하도록 구성된 표시부를 더 포함하는 가상 의상 생성 장치.
  7. 깊이 정보를 획득하도록 구성된 제1 카메라 및 색상 정보를 획득하도록 구성된 제2 카메라의 쌍을 하나 이상 이용하여 의상을 촬영함으로써, 상기 의상의 깊이 정보 및 색상 정보를 획득하는 단계; 및
    상기 깊이 정보 및 상기 색상 정보를 이용하여, 상기 의상의 시뮬레이션을 위한 3차원 모델을 생성하는 단계를 포함하는 가상 의상 생성 방법.
  8. 제 7항에 있어서,
    상기 의상의 깊이 정보 및 색상 정보를 획득하는 단계는, 상기 제1 카메라 및 상기 제2 카메라의 하나의 쌍을 이용하여 상기 의상을 촬영하는 단계를 포함하며,
    상기 3차원 모델을 생성하는 단계는, 상기 의상의 일부에만 대응되는 상기 3차원 모델을 생성하는 단계를 포함하는 가상 의상 생성 방법.
  9. 제 7항에 있어서,
    상기 의상의 깊이 정보 및 색상 정보를 획득하는 단계는, 상기 의상에 대하여 서로 상이한 각도에 배치된 상기 제1 카메라 및 상기 제2 카메라의 복수 개의 쌍을 이용하여 상기 의상을 촬영하는 단계를 포함하는 가상 의상 생성 방법.
  10. 제 7항에 있어서,
    상기 의상을 가상 피팅하고자 하는 사용자의 움직임을 측정하는 단계; 및
    사용자의 움직임에 따라 상기 3차원 모델에 대한 시뮬레이션을 수행하는 단계를 더 포함하는 가상 의상 생성 방법.
  11. 제 10항에 있어서,
    상기 3차원 모델에 대한 시뮬레이션을 수행하는 단계 전에, 상기 사용자의 영상을 획득하는 단계;
    시뮬레이션되는 상기 3차원 모델을 이미지로 렌더링하는 단계; 및
    렌더링된 이미지를 상기 사용자의 영상과 함께 출력하는 단계를 더 포함하는 가상 의상 생성 방법.
  12. 컴퓨팅 장치에 의하여 실행됨으로써, 상기 컴퓨팅 장치가,
    깊이 정보를 획득하도록 구성된 제1 카메라 및 색상 정보를 획득하도록 구성된 제2 카메라의 쌍을 하나 이상 이용하여 의상을 촬영함으로써, 상기 의상의 깊이 정보 및 색상 정보를 획득하는 단계; 및
    상기 깊이 정보 및 상기 색상 정보를 이용하여, 상기 의상의 시뮬레이션을 위한 3차원 모델을 생성하는 단계를 포함하는 가상 의상 생성 방법을 수행하도록 하는 명령이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020140050769A 2014-04-28 2014-04-28 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법 KR20150124518A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140050769A KR20150124518A (ko) 2014-04-28 2014-04-28 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법
PCT/KR2014/003784 WO2015167039A1 (ko) 2014-04-28 2014-04-29 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140050769A KR20150124518A (ko) 2014-04-28 2014-04-28 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150124518A true KR20150124518A (ko) 2015-11-06

Family

ID=54358756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140050769A KR20150124518A (ko) 2014-04-28 2014-04-28 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20150124518A (ko)
WO (1) WO2015167039A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052830A (ko) * 2017-11-09 2019-05-17 (주)코아시아 증강현실을 이용한 가상 의류 피팅 기능이 내장된 텔레비전

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019000464A1 (zh) * 2017-06-30 2019-01-03 广东欧珀移动通信有限公司 一种图像显示方法、装置、存储介质和终端
CN107958232A (zh) * 2017-12-26 2018-04-24 石狮市森科智能科技有限公司 基于体感交互的虚拟试衣方法、系统和试衣间
CN109901720B (zh) * 2019-03-19 2022-10-11 北京迷姆数字科技有限公司 一种基于3d人体模型的衣服定制系统
CN113129450B (zh) * 2021-04-21 2024-04-05 北京百度网讯科技有限公司 虚拟试衣方法、装置、电子设备和介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002058045A (ja) * 2000-08-08 2002-02-22 Komatsu Ltd 現実の物体をバーチャル３次元空間に登場させるためのシステム及び方法
US8982109B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
KR101893769B1 (ko) * 2012-01-19 2018-08-31 삼성전자주식회사 시청자의 시점 정보에 기초하여 3차원 객체 영상 모델을 생성하는 장치 및 방법
JP5613741B2 (ja) * 2012-09-27 2014-10-29 株式会社東芝 画像処理装置、方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052830A (ko) * 2017-11-09 2019-05-17 (주)코아시아 증강현실을 이용한 가상 의류 피팅 기능이 내장된 텔레비전

Also Published As

Publication number Publication date
WO2015167039A1 (ko) 2015-11-05

Similar Documents

Publication Publication Date Title
US11145133B2 (en) Methods and systems for generating an animated 3D model based on a 2D image
KR101710521B1 (ko) 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램
Yuan et al. A mixed reality virtual clothes try-on system
KR101707707B1 (ko) 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템
JP4950834B2 (ja) 画像処理装置、画像処理方法
CN106373178B (zh) 生成人工图像的装置和方法
US10311508B2 (en) Garment modeling simulation system and process
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
KR101586010B1 (ko) 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법
KR20140108128A (ko) 증강 현실 제공 장치 및 방법
Hauswiesner et al. Free viewpoint virtual try-on with commodity depth cameras
CN103106604A (zh) 基于体感技术的3d虚拟试衣方法
KR101669927B1 (ko) 가상 피팅 시스템, 구매 촉진을 위한 가상 피팅 서비스 제공 방법 및 이를 위한 컴퓨터 프로그램
KR20150124518A (ko) 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법
JP2009163610A (ja) 画像処理装置及び画像処理方法
Xu et al. 3d virtual garment modeling from rgb images
Vitali et al. Acquisition of customer’s tailor measurements for 3D clothing design using virtual reality devices
KR20140123228A (ko) 깊이 정보 기반으로 3차원 의상 착용 모델을 제공하는 장치 및 방법
Li et al. Animated 3D human avatars from a single image with GAN-based texture inference
Berdic et al. Creation and usage of 3D full body avatars
AU2017260525B2 (en) Method and system for body scanning and display of biometric data
JP2008146108A (ja) 指標、画像処理装置、画像処理方法
KR101499699B1 (ko) 깊이 정보 기반으로 사용자의 3차원 신체 모델을 생성하는 방법 및 장치
KR100915298B1 (ko) 3차원 가상 신발 착용 시스템 및 이의 운용방법
JP6770208B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application