KR20150124208A - 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법 - Google Patents

증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법 Download PDF

Info

Publication number
KR20150124208A
KR20150124208A KR1020140050768A KR20140050768A KR20150124208A KR 20150124208 A KR20150124208 A KR 20150124208A KR 1020140050768 A KR1020140050768 A KR 1020140050768A KR 20140050768 A KR20140050768 A KR 20140050768A KR 20150124208 A KR20150124208 A KR 20150124208A
Authority
KR
South Korea
Prior art keywords
user
image
clothes
dimensional models
rendering
Prior art date
Application number
KR1020140050768A
Other languages
English (en)
Other versions
KR101586010B1 (ko
Inventor
최광진
명노준
황정석
윤인상
나경건
Original Assignee
(주)에프엑스기어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에프엑스기어 filed Critical (주)에프엑스기어
Priority to KR1020140050768A priority Critical patent/KR101586010B1/ko
Publication of KR20150124208A publication Critical patent/KR20150124208A/ko
Application granted granted Critical
Publication of KR101586010B1 publication Critical patent/KR101586010B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Abstract

증강 현실(augmented reality) 기반 가상 피팅(virtual fitting)을 위한 의상의 물리적 시뮬레이션 장치는, 사용자의 영상을 획득하도록 구성된 촬영부; 상기 사용자의 움직임을 측정하도록 구성된 센서부; 상기 사용자가 가상 피팅할, 서로 겹쳐질 수 있는 복수 개의 의상에 각각 대응되는 복수 개의 3차원 모델을 제공하도록 구성된 모델링부; 측정된 상기 사용자의 움직임에 따라 상기 복수 개의 3차원 모델 각각에 대한 시뮬레이션을 독립적으로 수행하도록 구성된 시뮬레이션부; 및 상기 시뮬레이션부에 의해 시뮬레이션되는 상기 복수 개의 3차원 모델을 영상으로 렌더링하도록 구성된 렌더링부를 포함할 수 있다. 상기 렌더링부는, 상기 복수 개의 3차원 모델을 상기 복수 개의 의상이 겹쳐진 순서에 따라 순차적으로 렌더링하도록 구성될 수 있다.

Description

증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법{APPARATUS AND METHOD FOR PHYSICAL SIMULATION OF CLOTH FOR VIRTUAL FITTING BASED ON AUGMENTED REALITY}
실시예들은 증강 현실(augmented reality) 기반 가상 피팅(virtual fitting)을 위한 의상의 물리적 시뮬레이션 장치 및 방법과, 이를 수행하기 위한 명령이 기록된 컴퓨터로 판독 가능한 기록 매체에 대한 것이다.
사용자의 아바타를 시뮬레이션함으로써, 아바타를 통해 사용자의 신체를 실시간으로 디스플레이 장치에 나타내는 기술이 최근 들어 많이 개발되고 있다. 이러한 기술이 주로 응용되는 분야로서 백화점이나 옷 가게와 같은 일반적인 리테일 ?의 경우를 들 수 있다. 소비자가 옷을 오프라인으로 구매할 때 보는 것만으로는 기대감을 충족시킬 수 없기 때문에 직접 옷을 입어보게 되는데, 이 경우 입는 시간이 오래걸리고 불편할 수 있다. 이러한 경우 소비자가 옷을 입어보지 않고도 자신의 아바타를 통해 가상으로 옷을 착용해 보는 봄으로써, 사용자의 편의를 향상시킬 수 있게 된다. 이러한 기술은 가상 피팅(virtual fitting) 또는 매직 미러(magic mirror) 시스템이라고 불리우기도 한다.
그러나, 종래의 가상 피팅 기술에서는 소비자의 아바타를 생성하기 위하여 상당한 시간을 소요하여 소비자의 신체를 카메라로 스캔하는 과정이 필요하였다. 즉, 다 각도에서 소비자의 신체를 촬영해야만 아바타를 생성할 수 있고, 촬영후 아바타를 생성하는 프로세싱 과정에도 시간이 상당히 오래 걸렸다. 이렇게 시간이 오래 걸릴 경우, 소비자가 실제로 옷을 착용하는 시간과 비슷해지므로 가상 피팅 기술을 이용해야할 필요성이 줄어들 수 있다. 또한, 가상 피팅을 위해 아바타에 의상을 오버레이(overlay)시켜 표시함에 있어서 하나의 의상이 아니라 서로 겹쳐지는 여러 겹의 의상을 착용한 모습의 경우에는 실시간 시뮬레이션이 불가능하였다.
등록특허공보 제10-0859502호
본 발명의 일 측면에 의하면, 사용자가 옷을 입어보지 않고도 증강 현실에 기반하여 자신의 영상 위에 의상을 겹쳐봄으로써 마치 의상을 착용한 것과 같은 가상 피팅(virtual fitting) 효과를 얻을 수 있으며, 서로 겹쳐지는 여러 겹의 의상의 경우에도 자연스러운 실시간 시뮬레이션이 가능한 의상의 물리적 시뮬레이션 장치 및 방법과, 이를 수행하기 위한 명령이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
일 실시예에 따른 의상의 물리적 시뮬레이션 장치는, 사용자의 영상을 획득하도록 구성된 촬영부; 상기 사용자의 움직임을 측정하도록 구성된 센서부; 상기 사용자가 가상 피팅할, 서로 겹쳐질 수 있는 복수 개의 의상에 각각 대응되는 복수 개의 3차원 모델을 제공하도록 구성된 모델링부; 측정된 상기 사용자의 움직임에 따라 상기 복수 개의 3차원 모델 각각에 대한 시뮬레이션을 독립적으로 수행하도록 구성된 시뮬레이션부; 및 상기 시뮬레이션부에 의해 시뮬레이션되는 상기 복수 개의 3차원 모델을 영상으로 렌더링하도록 구성된 렌더링부를 포함할 수 있다. 상기 렌더링부는, 상기 복수 개의 3차원 모델을 상기 복수 개의 의상이 겹쳐진 순서에 따라 순차적으로 렌더링하도록 구성될 수 있다.
일 실시예에 따른 의상의 물리적 시뮬레이션 방법은, 사용자의 영상을 획득하는 단계; 상기 사용자의 움직임을 측정하는 단계; 서로 겹쳐질 수 있는 복수 개의 의상에 각각 대응되는 복수 개의 3차원 모델을, 측정된 상기 사용자의 움직임에 따라 서로 독립적으로 시뮬레이션하는 단계; 및 시뮬레이션되는 상기 복수 개의 3차원 모델을 영상으로 렌더링하는 단계를 포함할 수 있다. 상기 영상으로 렌더링하는 단계는, 상기 복수 개의 3차원 모델을 상기 복수 개의 의상이 겹쳐진 순서에 따라 순차적으로 렌더링하는 단계를 포함할 수 있다.
일 실시예에 따른 컴퓨터로 판독 가능한 기록 매체에는 컴퓨팅 장치에 의해 실행됨으로써 상기 의상의 물리적 시뮬레이션 방법을 수행하기 위한 명령이 기록될 수 있다.
본 발명의 일 측면에 따르면, 동작 인식 센서를 이용하여 사용자의 움직임에 반응하도록 의상의 3차원 모델을 물리적으로 시뮬레이션하고, 시뮬레이션 결과를 렌더링하여 사용자의 영상 위에 겹쳐보이도록 함으로써, 마치 가상으로 의상을 착용한 것과 같은 효과를 얻을 수 있다.
본 발명의 일 측면에 따르면, 여러 겹의 의상을 착용한 모습을 시뮬레이션하는 경우 여러 겹의 의상을 이들 사이의 상호작용을 반영하지 않고 독립적으로 시뮬레이션한 후, 최종 영상 합성 시에 각각의 의상의 3차원 모델을 겹쳐진 순서에 따라 순차적으로 렌더링하여 안쪽에 위치하는 의상이 바깥쪽에 위치하는 의상을 뚫고 나와 보이지 않도록 한다.
도 1은, 일 실시예에 따른, 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치의 블록도이다.
도 2는, 일 실시예에 따른, 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 방법의 순서도이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은, 일 실시예에 따른, 증강 현실(augmented reality) 기반 가상 피팅(virtual fitting)을 위한 의상의 물리적 시뮬레이션 장치의 블록도이다.
도 1을 참조하면, 본 실시예에 따른 의상의 물리적 시뮬레이션 장치는 사용자의 움직임을 측정하기 위한 센서부(20)와, 사용자의 움직임에 따라 의상의 물리적 시뮬레이션을 수행하기 위한 모델링부(30), 시뮬레이션부(40) 및 렌더링부(50)를 포함할 수 있다. 일 실시예에서, 의상의 물리적 시뮬레이션 장치는 사용자의 영상을 획득하기 위한 촬영부(10)를 더 포함할 수 있다. 또한 일 실시예에서, 의상의 물리적 시뮬레이션 장치는 렌더링된 영상 및/또는 사용자의 영상을 표시하기 위한 표시부(60)를 더 포함할 수도 있다.
본 발명의 실시예들에 따른 의상의 물리적 시뮬레이션 장치는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 의상의 물리적 시뮬레이션 장치를 구성하는 각각의 "부(unit)"는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
본 명세서에서, 의상의 물리적 시뮬레이션 장치를 구성하는 각각의 부는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 예를 들어, CPU 또는 다른 프로세서, 촬영 수단 및 표시 수단 등이 하나의 장치에 집적화된 컴퓨팅 장치를 이용하여 본 발명의 실시예들에 따른 의상의 물리적 시뮬레이션 방법이 수행될 수 있으며, 이때 의상의 물리적 시뮬레이션 장치를 구성하는 촬영부(10), 센서부(20), 모델링부(30), 시뮬레이션부(40), 렌더링부(50) 및 표시부(60) 등은 상기 컴퓨팅 장치를 상기 컴퓨팅 장치에서 수행하는 동작에 따라 기능적으로 구분한 것이며, 서로 분리된 별개의 장치를 지칭하는 것이 아니다.
그러나 실시예에 따라서는 촬영부(10), 센서부(20), 모델링부(30), 시뮬레이션부(40), 렌더링부(50) 및 표시부(60) 중 하나 이상이 물리적으로 구분되는 별개의 장치로서 구현될 수도 있으며, 예를 들어, 서로 통신 가능하게 연결된 복수 개의 컴퓨팅 장치를 포함하는 분산 컴퓨팅 환경을 적어도 부분적으로 이용함으로써 실시예들에 따른 의상의 물리적 시뮬레이션 방법이 수행될 수도 있다.
촬영부(10)는 의상에 대한 가상 피팅을 하고자 하는 사용자의 영상을 획득하기 위한 부분이다. 예를 들어, 촬영부(10)는 하나 이상의 카메라를 포함하여 구성될 수 있다.
센서부(20)는 사용자의 움직임을 측정하기 위한 부분이다. 이를 위하여, 일 실시예에서 센서부(20)는 하나 이상의 깊이 카메라 및/또는 하나 이상의 일반 RGB 카메라를 포함할 수 있다. 깊이 카메라는 적외선 센서를 이용하여 대상을 촬영하고, 촬영된 대상에 대하여 실시간으로 깊이 정보를 획득한다. 이와 같이 얻어진 깊이 정보를 이용하여 사용자의 신체의 주요 관절 등 특징점의 위치를 추적함으로써 사용자의 움직임을 측정할 수 있다. 또한, RGB 카메라를 이용하여 얻어진 영상에서 패턴 분석을 통하여 사용자의 신체의 주요 관절 등 특징점의 위치를 추적함으로써 사용자의 움직임을 측정할 수도 있다.
일 실시예에서, 촬영부(10) 및 센서부(20)는 동일한 하드웨어를 이용하여 구현될 수도 있다. 즉, 깊이 카메라 및/또는 RGB 카메라를 이용하여 사용자의 영상을 획득하는 동시에, 카메라에 의해 얻어진 영상을 이용하여 사용자의 움직임을 측정할 수도 있다. 그러나 이는 예시적인 것으로서, 센서부(20)는 카메라에 의해 획득된 영상을 이용하는 방법이 아닌 다른 상이한 방식으로 사용자의 움직임을 측정하기 위한 수단을 포함할 수도 있다.
모델링부(30), 시뮬레이션부(40) 및 렌더링부(50)는 사용자가 가상 피팅을 의상을 3차원 모델로 모델링하고, 의상의 직물 소재에 따라 상이한 재질감을 반영하면서 의상의 운동 방정식을 연산함으로써 3차원 모델에 대한 물리 시뮬레이션을 수행하며, 물리 시뮬레이션 결과를 실시간으로 이미지로 렌더링하기 위한 부분들이다. 모델링부(30), 시뮬레이션부(40) 및 렌더링부(50)는 CPU 및/또는 GPU(Graphics Processing Unit)가 구비되어 이상의 동작을 수행할 수 있는 컴퓨팅 장치로 구성될 수 있다.
표시부(60)는 사용자의 움직임에 따라 시뮬레이션 및 렌더링되는 의상의 영상을 표시하기 위한 장치이다. 예컨대, 표시부(60)는 액정 표시 장치(Liquid Crystal Display; LCD)와 같은 디스플레이 장치일 수 있으나, 이에 한정되는 것은 아니다. 또한, 표시부(60)는 렌더링된 의상의 영상을 촬영부(10)에 의해 획득된 사용자의 영상과 함께 표시할 수 있다. 예컨대, 렌더링된 영상은 사용자의 영상 위에 오버레이(overlay) 형태로 표시될 수 있다. 렌더링부(50)에 의해 렌더링되는 의상은 사용자의 움직임에 따라 실시간 시뮬레이션되므로, 사용자는 자신의 움직임에 따라 시뮬레이션되는 의상을 자신의 영상 위에 겹쳐볼 수 있어 가상 피팅이 가능해진다.
본 발명의 실시예들에서는, 사용자가 서로 겹쳐질 수 있는 복수 개의 의상을 가상 피팅할 수 있도록 한다. 예를 들어, 서로 겹쳐질 수 있는 복수 개의 의상이란, 바지 및 바지 위로 늘어뜨려진 긴 셔츠나, 셔츠 및 셔츠 위에 입을 수 있는 재킷 등을 수 있다. 실시예들에서는 이러한 여러 겹의 옷에 대응되는 복수 개의 3차원 모델을 시뮬레이션하되, 여러 겹의 옷의 상호작용을 물리적으로 시뮬레이션하지 않고, 각각의 의상에 대응되는 3차원 모델을 독립적으로 시뮬레이션 하도록 구성된다. 또한, 독립적으로 시뮬레이션된 3차원 모델을 렌더링에 의해 합성할 때 의상이 겹쳐진 순서에 따라 순차적으로 렌더링함으로써, 안쪽에 위치하는 의상(예컨대, 바지 또는 셔츠)이 바깥쪽에 위치하는 의상(예컨대, 셔츠 또는 재킷)을 뚫고 나와 보이지 않도록 한다. 이상을 위한 구체적인 과정을 도 2를 참조하여 기술한다.
도 2는, 일 실시예에 따른, 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 방법의 순서도이다.
도 1 및 도 2를 참조하면, 먼저 촬영부(10)에 의해 사용자의 영상을 획득하고, 센서부(20)에 의해 사용자의 움직임을 측정할 수 있다(S1). 일 실시예에서, 촬영부(10) 및 센서부(20)는 하나 이상의 깊이 카메라 및/또는 RGB 카메라를 포함하는 동일한 하드웨어를 이용하여 구현되어, 카메라에 의해 사용자의 영상을 획득하는 동시에 영상을 이용하여 사용자의 움직임을 측정할 수 있다. 그러나 이는 예시적인 것으로서, 센서부(20)는 영상을 이용하는 방법이 아닌 다른 상이한 방법에 의해 사용자의 움직임을 측정할 수도 있다.
모델링부(30)는 사용자가 가상 피팅할 의상에 대응되는 3차원 모델을 제공할 수 있다. 예를 들어, 3차원 모델은 복수 개의 정점(vertex) 및 이들을 잇는 선분으로 이루어진 폴리곤(polygon) 형태일 수도 있다. 모델링부(30)는 가상 피팅할 의상에 대응되는 3차원 모델을 미리 저장하였다가 제공할 수 있으며, 또는/또한 촬영부(10)에 의하여 의상을 촬영함으로써 의상의 3차원 모델을 생성하여 제공할 수도 있다. 이때, 모델링부(30)에 의해 제공되는 3차원 모델은 서로 겹쳐지는 여러 겹의 의상에 각각 대응되는 복수 개의 3차원 모델일 수 있다.
모델링부(30)에 의해 3차원 모델이 제공되면, 시뮬레이션부(40)는 단계(S1)에서 측정된 사용자의 움직임에 맞추어 3차원 모델에 대한 물리적 시뮬레이션을 수행할 수 있다(S2). 예컨대, 센서부(20)에 의해 측정된 사용자의 움직임은 인체의 주요 관절 등에 대응되는 하나 이상의 정점으로 이루어진 골격 모델의 움직임으로 표현될 수 있다. 이때, 시뮬레이션부(40)는 의상의 3차원 모델을 이루는 각 정점들 사이의 상호작용 및 의상의 3차원 모델을 이루는 각 정점과 인체 골격 모델의 각 정점 사이의 상호작용을 고려하여 3차원 모델을 이루는 각 정점의 시간에 따른 위치 및/또는 속도를 산출할 수 있다. 의상의 3차원 모델에서 정점 사이의 상호작용을 정의하는 탄성 계수는 해당 의상의 직물 소재에 따라 적절히 결정될 수 있다. 물리 시뮬레이션을 연산하는 구체적인 과정은 본 발명이 속하는 기술분야에서 통상의 기술자에게 잘 알려져 있으므로, 자세한 설명을 생략한다.
본 발명의 실시예들에서, 시뮬레이션부(40)는 서로 겹쳐진 여러 겹의 의상에 대응되는 3차원 모델들을 시뮬레이션함에 있어서, 각각의 의상 사이의 상호작용은 시뮬레이션하지 않고, 각각의 의상에 대응되는 3차원 모델들을 독립적으로 시뮬레이션한다(S2). 이와 같이 함으로써, 서로 겹쳐진 여러 겹의 의상에 대한 가상 피팅을 수행하면서도 의상들에 대한 물리적인 시뮬레이션이 실시간으로 이루어질 수 있다.
렌더링부(50)는 시뮬레이션부(40)에 의해 시뮬레이션되는 3차원 모델을 영상으로 렌더링한다(S3). 즉, 정점 및 정점 사이의 선분들로 이루어진 3차원 모델에 대해 의상별로 미리 결정된 텍스쳐(texture)를 적용하고, 시간에 따라 변화되는 3차원 모델을 복수의 프레임별 이미지로 변환함으로써 렌더링된 일련의 이미지들로 이루어진 영상을 생성할 수 있다. 폴리곤과 같은 3차원 모델을 렌더링하는 구체적인 과정은 본 발명이 속하는 기술분야에서 통상의 기술자에게 잘 알려져 있으므로, 자세한 설명을 생략한다.
시뮬레이션부(40)에서는 복수 개의 3차원 모델이 서로 독립적으로 시뮬레이션되는데, 이러한 복수 개의 3차원 모델들은 렌더링부(50)에 의한 이미지 변환 과정에서 하나의 영상으로 합성된다. 이때, 렌더링부(50)에서는 각각의 3차원 모델을 이미지로 렌더링함에 있어서 의상의 겹쳐진 순서에 따라 순차적으로 렌더링을 수행한다(S3). 즉, 서로 겹쳐진 여러 겹의 의상에 대응되는 복수의 3차원 모델 중, 상대적으로 안쪽에 위치하는 의상에 대응되는 3차원 모델이 상대적으로 바깥쪽에 위치하는 의상에 대응되는 3차원 모델보다 먼저 렌더링된다. 이와 같이 함으로써, 렌더링된 최종 영상에서 안쪽 레이어의 의상이 바깥쪽 의상을 뚫고 나와 보이는 것을 방지할 수 있다.
일 실시예에서, 렌더링부(50)는 알파 컴포지팅(alpha compositing)을 이용하여 전술한 순차적 렌더링을 수행할 수도 있다. 알파 컴포지팅을 이용하는 경우, 렌더링되는 이미지의 각 픽셀에는 소정의 알파 값이 부여된다. 알파 값은 0부터 1까지의 값을 가지며, 알파 값이 0일 경우 해당 픽셀이 완전히 투명함을 의미하고, 알파 값이 1일 경우 해당 픽셀이 완전히 불투명함을 의미한다. 렌더링부(50)는 상대적으로 안쪽에 위치하는 의상의 3차원 모델을 렌더링한 이미지와, 상대적으로 바깥쪽에 위치하는 의상의 3차원 모델을 렌더링한 이미지를 알파 블렌딩(alpha blending) 방식으로 합성함으로써 안쪽 레이어의 의상이 바깥쪽 의상을 뚫고 나와 보이는 것을 방지할 수 있다. 렌더링한 이미지에서 바깥쪽 의상에 덮이지 않고 보이는 의상 부분의 알파 값은 1, 바깥쪽 의상에 의해 덮여 보이지 않는 의상 부분의 알파 값은 0, 그리고 경계 부분은 0과 1 사이의 알파 값을 갖는다.
구체적으로, 바깥쪽에 위치하는 의상의 3차원 모델을 렌더링한 이미지를 A, 안쪽에 위치하는 의상의 3차원 모델을 렌더링한 이미지를 B라고 할 경우, 렌더링부(50)는 "over" 오퍼레이터(operator)를 이용하여 렌더링된 이미지의 각 픽셀의 색상을 결정할 수 있다. 이미지 A가 이미지 B를 적어도 부분적으로 덮도록 위치하는 경우, 해당 영역의 최종 합성된 이미지에서 각 픽셀의 색상은 하기 수학식 1과 같이 정의되는 "A over B" 연산 결과에 의해 결정된다.
[수학식 1]
Figure pat00001
상기 수학식 1에서 CO는 최종 합성된 이미지의 픽셀의 색상 값이며, Ca는 및 Cb는 각각 이미지 A 및 B의 픽셀의 색상이고, αa 및 αb는 각각 이미지 A 및 B의 픽셀의 알파 값이다. 상기 수학식 1의 연산은 이미지 A 및 B를 합성한 이미지의 모든 픽셀에 대하여 적용되며, 이미지 A 및/또는 B가 불투명한 경우, 투명한 경우, 또는 부분적으로 투명한 경우에 모두 동일하게 적용될 수 있다.
렌더링부(50)는 안쪽 의상의 3차원 모델을 렌더링한 이미지 B를 먼저 그리게 된다. 다음으로, 렌더링부(50)는 바깥쪽 의상의 3차원 모델을 렌더링한 이미지 A를 그리되, 수학식 1에 의해 정의되는 "A over B" 연산을 통해 이미지를 그리게 된다. 그 결과, 이미지 B 중에서 이미지 A에 의하여 덮이지 않는 부분에서는 αa의 값이 0이며 이때 수학식 1의 결과인 Cbαb가 최종 픽셀의 색이 된다. 즉, 최종 합성된 이미지에서도 이미지 B의 픽셀이 그대로 보여진다. 한편, 이미지 B 중에서 이미지 A에 의하여 덮인 부분에서는 이미지 A의 투명도에 따라 색이 결정되며, 예컨대 이미지 A가 완전히 불투명할 경우 αa의 값이 1이며 이때 수학식 1의 결과인 Caαa가 최종 픽셀의 색이 된다. 즉, 최종 합성된 이미지에서는 이미지 A의 픽셀만이 보여지게 된다.
이상의 연산 과정은 서로 겹쳐진 두 개의 의상에 각각 대응되는 이미지 A 및 이미지 B를 이용하여 설명되었으나, 겹쳐져 있는 의상의 개수가 3개 이상일 경우에도 의상이 겹쳐진 순서에 따라 전술한 연산 과정이 동일하게 수행될 수 있다. 그 결과, 렌더링부(50)에 의해 렌더링된 최종 합성 이미지에서는 안쪽에 위치하는 의상은 바깥쪽에 위치하는 의상에 의해 덮이지 않은 부분만 보여지게 되고, 안쪽에 위치하는 의상이 바깥쪽에 위치하는 의상을 뚫고 나와 보이는 것이 방지된다.
렌더링부(50)에 의해 전술한 방식으로 렌더링된 영상은 표시부(60)에 표시될 수 있다(S4). 또한, 표시부(60)에는 렌더링된 영상과 함께 촬영부(10)에 의해 획득된 사용자의 영상이 표시될 수 있으며, 렌더링된 영상은 사용자의 영상 위에 오버레이 형태로 표시될 수 있다. 렌더링부(50)에 의해 렌더링되는 의상은 사용자의 움직임에 따라 실시간 시뮬레이션되므로, 사용자는 자신의 영상 위에 자신의 움직임에 따라 시뮬레이션되는 의상을 볼 수 있게 되어 가상 피팅이 가능해진다.
이상에서 설명한 실시예들에 따른 의상의 물리적 시뮬레이션 장치 및 방법은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 기록매체에는 의상의 물리적 시뮬레이션 장치 및 방법에 의한 동작을 구현하기 위한 프로그램이 기록되며, 상기 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장될 수 있는 임의의 종류의 기록장치를 포함한다. 예컨대, 컴퓨터가 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(carrier wave)(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (9)

  1. 사용자의 영상을 획득하도록 구성된 촬영부;
    상기 사용자의 움직임을 측정하도록 구성된 센서부;
    상기 사용자가 가상 피팅할, 서로 겹쳐질 수 있는 복수 개의 의상에 각각 대응되는 복수 개의 3차원 모델을 제공하도록 구성된 모델링부;
    측정된 상기 사용자의 움직임에 따라 상기 복수 개의 3차원 모델 각각에 대한 시뮬레이션을 독립적으로 수행하도록 구성된 시뮬레이션부; 및
    상기 시뮬레이션부에 의해 시뮬레이션되는 상기 복수 개의 3차원 모델을 영상으로 렌더링하도록 구성된 렌더링부를 포함하되,
    상기 렌더링부는, 상기 복수 개의 3차원 모델을 상기 복수 개의 의상이 겹쳐진 순서에 따라 순차적으로 렌더링하도록 구성된 의상의 물리적 시뮬레이션 장치.
  2. 제 1항에 있어서,
    상기 렌더링부는, 상기 복수 개의 의상 중 상대적으로 안쪽에 위치하는 의상으로부터 상대적으로 바깥쪽에 위치하는 의상의 순서로 상기 복수 개의 3차원 모델을 렌더링하도록 구성된 의상의 물리적 시뮬레이션 장치.
  3. 제 1항에 있어서,
    상기 센서부는, 획득된 상기 영상을 이용하여 상기 사용자의 움직임을 측정하도록 구성된 의상의 물리적 시뮬레이션 장치.
  4. 제 1항에 있어서,
    상기 렌더링부에 의해 렌더링된 영상을 상기 사용자의 영상과 함께 출력하도록 구성된 표시부를 더 포함하는 의상의 물리적 시뮬레이션 장치.
  5. 사용자의 영상을 획득하는 단계;
    상기 사용자의 움직임을 측정하는 단계;
    서로 겹쳐질 수 있는 복수 개의 의상에 각각 대응되는 복수 개의 3차원 모델을, 측정된 상기 사용자의 움직임에 따라 서로 독립적으로 시뮬레이션하는 단계; 및
    시뮬레이션되는 상기 복수 개의 3차원 모델을 영상으로 렌더링하는 단계를 포함하되,
    상기 영상으로 렌더링하는 단계는, 상기 복수 개의 3차원 모델을 상기 복수 개의 의상이 겹쳐진 순서에 따라 순차적으로 렌더링하는 단계를 포함하는 의상의 물리적 시뮬레이션 방법.
  6. 제 5항에 있어서,
    상기 영상으로 렌더링하는 단계는, 상기 복수 개의 의상 중 상대적으로 안쪽에 위치하는 의상으로부터 상대적으로 바깥쪽에 위치하는 의상의 순서로 상기 복수 개의 3차원 모델을 렌더링하는 단계를 포함하는 의상의 물리적 시뮬레이션 방법.
  7. 제 5항에 있어서,
    상기 사용자의 움직임을 측정하는 단계는, 획득된 상기 영상을 이용하여 상기 사용자의 움직임을 측정하는 단계를 포함하는 의상의 물리적 시뮬레이션 방법.
  8. 제 5항에 있어서,
    렌더링된 영상을 상기 사용자의 영상과 함께 표시하는 단계를 더 포함하는 의상의 물리적 시뮬레이션 방법.
  9. 컴퓨팅 장치에 의하여 실행됨으로써, 상기 컴퓨팅 장치가,
    사용자의 영상을 획득하는 단계;
    상기 사용자의 움직임을 측정하는 단계;
    서로 겹쳐질 수 있는 복수 개의 의상에 각각 대응되는 복수 개의 3차원 모델을, 측정된 상기 사용자의 움직임에 따라 서로 독립적으로 시뮬레이션하는 단계; 및
    시뮬레이션되는 상기 복수 개의 3차원 모델을 영상으로 렌더링하는 단계를 포함하고,
    상기 영상으로 렌더링하는 단계는, 상기 복수 개의 3차원 모델을 상기 복수 개의 의상이 겹쳐진 순서에 따라 순차적으로 렌더링하는 단계를 포함하는 의상의 물리적 시뮬레이션 방법을 수행하도록 하는 명령이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020140050768A 2014-04-28 2014-04-28 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법 KR101586010B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140050768A KR101586010B1 (ko) 2014-04-28 2014-04-28 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140050768A KR101586010B1 (ko) 2014-04-28 2014-04-28 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150124208A true KR20150124208A (ko) 2015-11-05
KR101586010B1 KR101586010B1 (ko) 2016-01-15

Family

ID=54600461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140050768A KR101586010B1 (ko) 2014-04-28 2014-04-28 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101586010B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710521B1 (ko) * 2015-11-18 2017-02-27 (주)에프엑스기어 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램
KR20200028829A (ko) * 2018-09-07 2020-03-17 (주)위지윅스튜디오 리그 결합형 가상 카메라를 활용한 실시간 cg 영상 제작 시스템
CN114299264A (zh) * 2020-09-23 2022-04-08 秀铺菲公司 用于基于扭曲的三维模型生成增强现实内容的系统和方法
KR20230090578A (ko) 2021-12-15 2023-06-22 주식회사 와플랩 딥러닝 기반 3d 모델링 객체 가시화 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624995B1 (ko) 2021-03-26 2024-01-15 엔에이치엔클라우드 주식회사 딥러닝 기반의 복수의 의류 가상착용 방법 및 그 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100859502B1 (ko) 2005-07-19 2008-09-24 에스케이네트웍스 주식회사 3차원 가상 캐릭터를 이용한 가상 피팅 서비스 제공 방법및 가상 피팅 서버
KR20090012651A (ko) * 2007-07-31 2009-02-04 주식회사 에프엑스코드 3차원 의상 데이터를 이용한 가상 의상의 데코레이션 방법
JP5161227B2 (ja) * 2007-08-24 2013-03-13 株式会社島精機製作所 重ね着のシミュレーション装置とシミュレーション方法、シミュレーションプログラム
KR20140019765A (ko) * 2010-09-08 2014-02-17 마이크로소프트 코포레이션 구조광 및 스테레오 비전에 기초한 깊이 카메라

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100859502B1 (ko) 2005-07-19 2008-09-24 에스케이네트웍스 주식회사 3차원 가상 캐릭터를 이용한 가상 피팅 서비스 제공 방법및 가상 피팅 서버
KR20090012651A (ko) * 2007-07-31 2009-02-04 주식회사 에프엑스코드 3차원 의상 데이터를 이용한 가상 의상의 데코레이션 방법
JP5161227B2 (ja) * 2007-08-24 2013-03-13 株式会社島精機製作所 重ね着のシミュレーション装置とシミュレーション方法、シミュレーションプログラム
KR20140019765A (ko) * 2010-09-08 2014-02-17 마이크로소프트 코포레이션 구조광 및 스테레오 비전에 기초한 깊이 카메라

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710521B1 (ko) * 2015-11-18 2017-02-27 (주)에프엑스기어 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램
KR20200028829A (ko) * 2018-09-07 2020-03-17 (주)위지윅스튜디오 리그 결합형 가상 카메라를 활용한 실시간 cg 영상 제작 시스템
CN114299264A (zh) * 2020-09-23 2022-04-08 秀铺菲公司 用于基于扭曲的三维模型生成增强现实内容的系统和方法
KR20230090578A (ko) 2021-12-15 2023-06-22 주식회사 와플랩 딥러닝 기반 3d 모델링 객체 가시화 장치 및 방법

Also Published As

Publication number Publication date
KR101586010B1 (ko) 2016-01-15

Similar Documents

Publication Publication Date Title
US11145133B2 (en) Methods and systems for generating an animated 3D model based on a 2D image
KR101710521B1 (ko) 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램
US10152829B2 (en) Virtual fitting device and virtual fitting method thereof
US11640672B2 (en) Method and system for wireless ultra-low footprint body scanning
JP4950834B2 (ja) 画像処理装置、画像処理方法
US10628666B2 (en) Cloud server body scan data system
KR101707707B1 (ko) 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템
Yuan et al. A mixed reality virtual clothes try-on system
Zhou et al. Image-based clothes animation for virtual fitting
KR101586010B1 (ko) 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
US20170024928A1 (en) Computer-implemented method and apparatus for generating an image of a person wearing a selectable article of apparel
KR101669927B1 (ko) 가상 피팅 시스템, 구매 촉진을 위한 가상 피팅 서비스 제공 방법 및 이를 위한 컴퓨터 프로그램
KR20140108128A (ko) 증강 현실 제공 장치 및 방법
JP2009163610A (ja) 画像処理装置及び画像処理方法
US20150269759A1 (en) Image processing apparatus, image processing system, and image processing method
KR20150124518A (ko) 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법
Xu et al. 3d virtual garment modeling from rgb images
JP2022052750A5 (ko)
Li et al. Animated 3D human avatars from a single image with GAN-based texture inference
Berdic et al. Creation and usage of 3D full body avatars
JP2008146108A (ja) 指標、画像処理装置、画像処理方法
JP2016071645A (ja) オブジェクト３次元モデル復元方法、装置およびプログラム
Ienaga et al. First deployment of diminished reality for anatomy education
JP6770208B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200113

Year of fee payment: 5