KR101698491B1 - 사용자 장치를 이용한 가상 피팅 서비스 시스템, 방법 및 이를 위한 컴퓨터 프로그램 - Google Patents

사용자 장치를 이용한 가상 피팅 서비스 시스템, 방법 및 이를 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
KR101698491B1
KR101698491B1 KR1020150155207A KR20150155207A KR101698491B1 KR 101698491 B1 KR101698491 B1 KR 101698491B1 KR 1020150155207 A KR1020150155207 A KR 1020150155207A KR 20150155207 A KR20150155207 A KR 20150155207A KR 101698491 B1 KR101698491 B1 KR 101698491B1
Authority
KR
South Korea
Prior art keywords
user
image data
data
virtual fitting
fitting service
Prior art date
Application number
KR1020150155207A
Other languages
English (en)
Inventor
탁세윤
이창환
Original Assignee
(주)에프엑스기어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에프엑스기어 filed Critical (주)에프엑스기어
Priority to KR1020150155207A priority Critical patent/KR101698491B1/ko
Application granted granted Critical
Publication of KR101698491B1 publication Critical patent/KR101698491B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

가상 피팅(virtual fitting) 서비스 시스템은, 사용자의 영상 데이터를 획득하도록 구성된 스캔 장치; 상기 스캔 장치로부터 상기 영상 데이터를 수신하고, 미리 저장된 의상 데이터 및 상기 영상 데이터를 상기 사용자의 사용자 장치에 송신하도록 구성된 가상 피팅 서비스 서버; 및 상기 가상 피팅 서비스 서버로부터 상기 의상 데이터 및 상기 영상 데이터를 수신하고, 상기 의상 데이터를 이용하여, 상기 영상 데이터로부터 추출된 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 표시하도록 구성된 상기 사용자 장치를 포함할 수 있다. 가상 피팅 서비스 시스템에 의하면, 오프라인(offline)에서 획득된 사용자 영상을 기반으로 스마트폰(smartphone)과 같은 사용자 장치상에서 가상 피팅을 경험하도록 할 수 있다.

Description

사용자 장치를 이용한 가상 피팅 서비스 시스템, 방법 및 이를 위한 컴퓨터 프로그램{SYSTEM, METHODS AND COMPUTER PROGRAMS FOR IMPLEMENTING VIRTUAL FITTING SERVICE USING USER DEVICE}
실시예들은 사용자 장치를 이용한 가상 피팅(virtual fitting) 서비스 시스템, 방법 및 이를 위한 컴퓨터 프로그램에 대한 것으로, 보다 구체적으로는 오프라인(offline)에서 획득된 사용자 영상을 기반으로 스마트폰(smartphone)과 같은 사용자 장치상에서 가상 피팅을 실현할 수 있는 기술에 대한 것이다.
최근 깊이 센서(depth sensor) 등 관련 기술이 발전하면서, 사용자가 직접 의상을 착용하지 않고도 자신의 아바타(avatar) 또는 3차원 인체 모델을 이용하여 가상으로 의상을 착용해보는 가상 피팅(virtual fitting) 서비스가 등장하였다. 가상 피팅 서비스를 위해서는, 깊이 센서를 이용하여 사용자의 외형을 스캔(scan)하는 방법 등에 의하여 사용자에 대응되는 3차원 모델을 생성하고, 이러한 사용자의 3차원 모델에 미리 준비된 의상의 3차원 모델을 정합시키는 과정이 요구된다.
그러나, 현재까지 가상 피팅 서비스는 실험적인 수준의 응용예들에 적용되는데 그치고 있으며, 실제 의류 매장에서 판매하는 각 의상에 적용됨으로써 의상에 대한 구매로까지 이어질 수 있는 기술에 대해서는 연구가 이루어지지 않고 있다. 특히, 종래의 가상 피팅 서비스는 고정된 위치에 설치된 스캔 장비를 이용하여 이루어지고 있기 때문에, 가상 피팅이 가능한 의상의 종류 및 개수가 제한적이고, 최근 급속도로 활성화되고 있는 온라인 상거래에는 적용될 수 없는 단점이 있다.
공개특허공보 제10-2014-0077820호
본 발명의 일 측면에 의하면, 오프라인(offline)에서 획득된 사용자 영상을 기반으로 사용자가 자신의 스마트폰(smartphone)과 같은 사용자 장치상에서 가상 피팅(virtual fitting)을 경험할 수 있도록 하는 가상 피팅 서비스 시스템, 가상 피팅 서비스 서버, 사용자 장치, 가상 피팅 서비스 방법 및 이를 위한 컴퓨터 프로그램을 제공할 수 있다.
일 실시예에 따른 가상 피팅(virtual fitting) 서비스 시스템은, 사용자의 영상 데이터를 획득하도록 구성된 스캔 장치; 상기 스캔 장치로부터 상기 영상 데이터를 수신하고, 미리 저장된 의상 데이터 및 상기 영상 데이터를 상기 사용자의 사용자 장치에 송신하도록 구성된 가상 피팅 서비스 서버; 및 상기 가상 피팅 서비스 서버로부터 상기 의상 데이터 및 상기 영상 데이터를 수신하고, 상기 의상 데이터를 이용하여, 상기 영상 데이터로부터 추출된 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 표시하도록 구성된 상기 사용자 장치를 포함한다.
일 실시예에서, 상기 가상 피팅 서비스 서버는, 상기 영상 데이터로부터 사용자의 움직임 정보 및 사용자의 신체 정보를 추출하며, 상기 움직임 정보 및 상기 신체 정보를 상기 사용자 장치에 전송하도록 더 구성된다.
일 실시예에서, 상기 사용자 장치는, 상기 움직임 정보, 상기 신체 정보 및 상기 의상 데이터를 이용하여 상기 의상의 3차원 모델을 생성하도록 더 구성된다.
일 실시예에서, 상기 사용자 장치는, 상기 영상 데이터로부터 사용자의 움직임 정보 및 사용자의 신체 정보를 추출하며, 상기 움직임 정보, 상기 신체 정보 및 상기 의상 데이터를 이용하여 상기 의상의 3차원 모델을 생성하도록 더 구성된다.
일 실시예에서, 상기 사용자 장치는, 상기 의상의 3차원 모델을 상기 영상 데이터상에 오버레이 형태로 표시하도록 더 구성된다.
일 실시예에 따른 가상 피팅 서비스 서버는, 스캔 장치로부터 사용자의 영상 데이터를 수신하도록 구성된 수신부; 및 상기 사용자의 사용자 장치상에서, 상기 영상 데이터로부터 추출된 사용자의 움직임에 따라 의상의 3차원 모델이 시뮬레이션되도록, 미리 저장된 의상 데이터 및 상기 영상 데이터를 상기 사용자 장치에 전송하도록 구성된 송신부를 포함한다.
일 실시예에 따른 가상 피팅 서비스 서버는, 상기 영상 데이터로부터 사용자의 움직임 정보 및 사용자의 신체 정보를 추출하도록 구성된 추출부를 더 포함한다. 이때, 상기 송신부는 상기 움직임 정보 및 상기 신체 정보를 상기 사용자 장치에 전송하도록 더 구성된다.
일 실시예에서, 상기 수신부는, 하나 이상의 업로더(uploader) 장치로부터 상기 의상 데이터를 수신하도록 더 구성된다.
일 실시예에 따른, 가상 피팅 서비스를 위한 사용자 장치는, 서버로부터 의상 데이터 및 사용자의 영상 데이터를 수신하도록 구성된 수신부; 상기 의상 데이터를 이용하여, 상기 영상 데이터로부터 추출된 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 생성하도록 구성된 시뮬레이션부; 및 상기 의상의 3차원 모델을 표시하도록 구성된 표시부를 포함한다.
일 실시예에서, 상기 수신부는, 상기 영상 데이터로부터 추출된 사용자의 움직임 정보 및 사용자의 신체 정보를 더 수신하도록 구성되며, 상기 시뮬레이션부는, 상기 움직임 정보, 상기 신체 정보 및 상기 의상 데이터를 이용하여 상기 의상의 3차원 모델을 생성하도록 더 구성된다.
일 실시예에 따른, 가상 피팅 서비스를 위한 사용자 장치는, 상기 영상 데이터로부터 사용자의 움직임 정보 및 사용자의 신체 정보를 추출하도록 구성된 추출부를 더 포함한다. 이때, 상기 시뮬레이션부는, 상기 움직임 정보, 상기 신체 정보 및 상기 의상 데이터를 이용하여 상기 의상의 3차원 모델을 생성하도록 더 구성된다.
일 실시예에서, 상기 표시부는, 상기 의상의 3차원 모델을 상기 영상 데이터상에 오버레이 형태로 표시하도록 더 구성된다.
일 실시예에 따른 가상 피팅 서비스 방법은, 스캔 장치가 사용자의 영상 데이터를 획득하는 단계; 가상 피팅 서비스 서버가 상기 스캔 장치로부터 상기 영상 데이터를 수신하는 단계; 및 상기 가상 피팅 서비스 서버가, 상기 사용자의 사용자 장치 상에서, 상기 영상 데이터로부터 추출된 사용자의 움직임에 따라 의상의 3차원 모델이 시뮬레이션되도록, 상기 영상 데이터 및 미리 저장된 의상 데이터를 상기 사용자 장치에 전송하는 단계를 포함한다.
일 실시예에 따른 가상 피팅 서비스 방법은, 상기 영상 데이터로부터 사용자의 움직임 정보 및 사용자의 신체 정보를 추출하는 단계; 및 상기 움직임 정보 및 상기 신체 정보를 상기 사용자 장치에 전송하는 단계를 더 포함한다.
일 실시예에 따른 가상 피팅 서비스 방법은, 상기 의상 데이터를 사용자의 사용자 장치에 전송하는 단계 전에, 하나 이상의 업로더 장치로부터 상기 의상 데이터를 수신하는 단계를 더 포함한다.
일 실시예에 따른 가상 피팅 서비스 방법은, 사용자 장치가 가상 피팅 서비스 서버로부터 의상 데이터 및 사용자의 영상 데이터를 수신하는 단계; 상기 사용자 장치가, 상기 의상 데이터를 이용하여, 상기 영상 데이터로부터 추출된 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 생성하는 단계; 및 상기 사용자 장치상에 상기 의상의 3차원 모델을 표시하는 단계를 포함한다.
일 실시예에 따른 가상 피팅 서비스 방법은, 상기 사용자 장치가, 상기 가상 피팅 서비스 서버로부터, 상기 영상 데이터로부터 추출된 사용자의 움직임 정보 및 사용자의 신체 정보를 수신하는 단계를 더 포함한다. 이때, 상기 의상의 3차원 모델은 상기 움직임 정보, 상기 신체 정보 및 상기 의상 데이터를 이용하여 생성된다.
일 실시예에 따른 가상 피팅 서비스 방법은, 상기 영상 데이터를 수신하는 단계 후에, 상기 사용자 장치가, 상기 영상 데이터로부터 사용자의 움직임 정보 및 사용자의 신체 정보를 추출하는 단계를 더 포함한다. 이때, 상기 의상의 3차원 모델은 상기 움직임 정보, 상기 신체 정보 및 상기 의상 데이터를 이용하여 생성된다.
일 실시예에서, 상기 3차원 모델을 표시하는 단계는, 상기 의상의 3차원 모델을 상기 영상 데이터상에 오버레이 형태로 표시하는 단계를 포함한다.
본 발명의 실시예들에 따른 컴퓨터 프로그램은, 하드웨어와 결합되어 전술한 실시예들에 따른 가상 피팅 서비스 방법을 실행하기 위한 것으로서, 컴퓨터로 판독 가능한 매체에 저장될 수 있다.
본 발명의 일 측면에 따른 사용자 장치를 이용한 가상 피팅(virtual fitting) 서비스 기술에 의하면, 사용자는 오프라인(offline) 매장 등에서 신체를 스캔한 후 스캔된 데이터 및 의상 데이터를 서버를 통하여 자신의 스마트폰(smartphone) 등에 제공받음으로써 가상 피팅을 경험할 수 있다. 본 가상 피팅 서비스 기술은 사용자가 한 차례의 신체 스캔을 통하여 다양한 의상에 대한 가상 피팅을 경험하게 수 있으며, 사용자에게 새로운 가상 피팅 의상을 용이하게 제공할 수 있어, 온라인 상거래 등과 접목하여 유용하게 활용될 수 있다.
도 1은 일 실시예에 따른 사용자 장치를 이용한 가상 피팅(virtual fitting) 서비스 시스템의 개략적인 블록도이다.
도 2는 일 실시예에 따른 가상 피팅 서비스 서버의 개략적인 블록도이다.
도 3은 일 실시예에 따른 가상 피팅 서비스를 위한 사용자 장치의 개략적인 블록도이다.
도 4는 일 실시예에 따른 가상 피팅 서비스 방법의 순서도이다.
도 5는 또 다른 실시예에 따른 가상 피팅 서비스 방법의 순서도이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은 일 실시예에 따른 사용자 장치를 이용한 가상 피팅(virtual fitting) 서비스 시스템의 개략적인 블록도이다.
도 1을 참조하면, 가상 피팅 서비스 시스템은 스캔 장치(1), 가상 피팅 서비스 서버(3) 및 사용자 장치(5)를 포함할 수 있다. 일 실시예에서, 가상 피팅 서비스 시스템은 하나 이상의 업로더(uploader) 장치(4)를 더 포함할 수 있다. 상기 장치들(1, 3, 4, 5)은 유선 및/또는 무선 네트워크(2)를 통하여 상호 간에 통신 가능하게 연결될 수 있다.
실시예들에 따른 가상 피팅 서비스 시스템 및 이에 포함된 각 장치는 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 가상 피팅 서비스 시스템의 각 장치는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있으며, 본 명세서에서 "부(unit)", "시스템" 및 "장치" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
유선 및/또는 무선 네트워크(2)를 통한 통신 방법은 객체와 객체가 네트워킹 할 수 있는 모든 통신 방법을 포함할 수 있으며, 3G, 4G, 혹은 그 이외의 방법으로 제한되지 않는다. 예를 들어, 통신 방법은 무선 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access) 및 초음파 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상을 이용하는 것일 수 있으나, 이에 제한되지는 않는다.
스캔 장치(1)는 스캔 장치(1)에 인접한 사용자(6)의 영상 데이터를 획득하기 위한 장치이다. 본 명세서에서 "영상 데이터"란 사용자의 신체의 적어도 일부를 포함하여 사용자의 모습을 촬영한 동영상을 의미한다. 스캔 장치(1)에는 하나 이상의 카메라가 구비되어 사용자(6)를 촬영함으로써 영상 데이터를 획득할 수 있다. 이하의 본 명세서에서, 상기 영상 데이터의 획득 과정은 단순히 "스캔(scan)"으로도 지칭된다.
스캔 장치(1)는 오프라인(offline) 매장 등에 설치되어 사용자의 가상 피팅을 유도하는 장치일 수 있다. 예를 들어, 스캔 장치(1)는 평상시에는 통상의 거울의 기능 또는 특정 영상을 디스플레이하는 기능을 하다가, 사용자(6)가 근접할 경우 또는 사용자(6)로부터 특정 입력이 있을 경우 사용자의 영상과 함께 의상을 표시하여 가상 피팅 서비스를 제공할 수 있다. 이때, 스캔 장치(1)는 사용자에게 가상 피팅 서비스를 제공하면서 사용자(6)의 모습을 촬영함으로써 영상 데이터를 획득할 수 있다.
스캔 장치(1)에서 획득된 영상 데이터는, 유선 및/또는 무선 네트워크(2)를 통하여 가상 피팅 서비스 서버(3)로 전송된다. 그러나 이는 예시적인 것으로서, 다른 실시예에서 스캔 장치(1) 및 가상 피팅 서비스 서버(3)는 서로 일체화된 하나의 장비로 구현될 수도 있으며, 이 경우 영상 데이터는 유선 및/또는 무선 네트워크(2)를 거치지 않고 가상 피팅 서비스 서버(3)로 전달될 수도 있다.
가상 피팅 서비스 서버(3)는, 스캔 장치(1)로부터 획득된 영상 데이터를 이용하여 사용자의 사용자 장치(5) 상에서 가상 피팅을 수행할 수 있도록, 유선 및/또는 무선 네트워크(2)를 통하여 관련 데이터를 사용자 장치(5)에 전송한다. 가상 피팅 서비스 서버(3)는 영상 데이터 및 하나 이상의 의상 데이터를 사용자 장치(5)에 전송할 수 있다. 일 실시예에서, 가상 피팅 서비스 서버(3)가 전송하는 의상 데이터는 하나 이상의 업로더 장치(4)로부터 수신된 것일 수도 있다. 업로더 장치(4)는 예컨대 가상 피팅 서비스와 연계된 의상 판매업자 또는 데이터 가공업자가 사용하는 장치일 수 있다.
일 실시예에서, 가상 피팅 서비스 서버(3)는 영상 데이터로부터 사용자의 움직임 정보 및 사용자의 신체 정보를 추출하여 사용자 장치(5)에 전송한다. 이를 위하여, 스캔 장치(1)가 획득한 영상 데이터는 깊이 정보를 포함하는 것일 수 있다. 가상 피팅 서비스 서버(3)는 깊이 정보를 포함하는 영상 데이터를 이용하여 사용자의 신체 각 부분의 정보(예컨대, 신체의 외곽선 정보, 신장, 팔 길이, 허리 둘레, 다리 길이, 어깨나 팔꿈치, 무릎과 같은 관절의 위치 등)를 추출하고, 또한 신체 정보의 시간에 따른 변화를 통하여 사용자의 움직임 정보를 추출할 수 있다.
그러나 이는 예시적인 것으로, 다른 실시예에서 가상 피팅 서비스 서버(3)는 추가적인 처리 과정 없이 영상 데이터와 의상 데이터만을 사용자 장치(5)에 전송하며, 사용자 장치(5)에서 전술한 신체 정보 및 움직임 정보의 추출 과정을 수행할 수도 있다.
사용자 장치(5)는 가상 피팅을 경험하고자 하는 사용자가 사용하는 장치이다. 즉, 사용자 장치(5)는 스캔 장치(1)에 의하여 최소 한 차례 자신의 신체를 스캔한 사용자(6)가 사용하는 장치일 수 있다. 사용자 장치(5)는 스마트폰(smartphone)과 같이 사용자가 휴대 가능한 모바일 장치일 수 있다. 그러나 이는 예시적인 것으로서, 다른 실시예에서 사용자 장치(5)는 개인용 컴퓨터(personal computer; PC), 노트북(notebook) 컴퓨터, PDA(personal digital assistant), 태블릿(tablet) 컴퓨터, IPTV(Internet Protocol Television) 등을 위한 셋톱박스(set-top box) 등일 수도 있다.
사용자 장치(5)는 가상 피팅 서비스 서버(3)로부터 사용자의 영상 데이터 및 의상 데이터를 수신하고, 이를 이용하여 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 생성하여 표시할 수 있다. 예를 들면, 사용자 장치(5)는 가상 피팅을 위한 소정의 애플리케이션(또는, 앱(app))을 실행하도록 구성되며, 가상 피팅 서비스 서버(3)는 사용자 장치(5) 상에서 상기 애플리케이션이 동작될 수 있도록 데이터를 제공하는 애플리케이션 서버의 역할을 할 수 있다. 사용자 장치(5)에서 의상의 3차원 모델은 사용자의 영상 데이터 위에 오버레이(overlay) 형태로 표시되어, 사용자가 해당 의상을 가상 피팅한 효과를 얻을 수 있다.
도 2는 일 실시예에 따른 가상 피팅 서비스 서버의 개략적인 블록도이다.
도 2를 참조하면, 일 실시예에서 가상 피팅 서비스 서버(3)는 수신부(31) 및 송신부(34)를 포함한다. 일 실시예에서, 가상 피팅 서비스 서버(3)는 추출부(32)를 더 포함할 수 있다. 또한 일 실시예에서, 가상 피팅 서비스 서버(3)는 저장부(33)를 더 포함할 수 있다.
실시예들에 따른 가상 피팅 서비스 서버(3)를 구성하는 각각의 부(31-34)는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 즉, 도 2에서 수신부(31), 추출부(32), 저장부(33) 및 송신부(34)는 서로 구분되는 별개의 블록으로 도시되나, 실시예에 따라서는 이들 중 일부 또는 전부가 동일한 하나의 컴퓨팅 장치에 집적화될 수 있다. 또한, 각각의 부(31-34)는 이들이 구현된 컴퓨팅 장치에서 수행하는 동작에 따라 장치를 기능적으로 구분한 것일 뿐, 반드시 서로 분리된 별개의 소자를 의미하는 것이 아니다. 그러나, 이는 예시적인 것으로서, 다른 실시예에서는 수신부(31), 추출부(32), 저장부(33) 및 송신부(34) 중 하나 이상이 다른 부와 물리적으로 구분되는 별개의 장치 또는 서버로 구현될 수도 있다. 예컨대, 각각의 부(31-34)는 분산 컴퓨팅 환경 하에서 통신 가능하게 연결된 컴포넌트들일 수도 있다.
수신부(31)는 스캔 장치로부터 사용자의 영상 데이터를 획득하기 위한 부분이다. 수신부(31)에 수신된 영상 데이터는 추출부(32)로 전달되며, 추출부(32)에서는 영상 데이터로부터 사용자의 신체 정보 및 움직임 정보를 추출한다. 예컨대, 영상 데이터는 깊이 정보를 포함할 수 있으며, 깊이 정보가 포함된 영상 데이터로부터 신체의 외곽선 정보, 신장, 팔 길이, 허리 둘레, 다리 길이, 어깨나 팔꿈치 또는 무릎과 같은 관절의 위치 등 사용자의 신체 각 부분의 정보를 추출할 수 있다. 또한, 이러한 신체 정보의 추출 과정을 영상 데이터의 각 시간 구간(예컨대, 각 프레임(frame))별로 수행함으로써 신체 정보의 시간에 따른 변화, 즉, 움직임 정보를 추출할 수 있다. 그러나 다른 실시예에서, 신체 정보 및 움직임 정보의 추출 과정은 사용자 장치상에서 실행될 수 있고, 이 경우 추출부(32)는 생략될 수 있다.
송신부(34)는, 영상 데이터로부터 추출된 사용자의 움직임에 따라 의상의 3차원 모델이 사용자 장치상에서 시뮬레이션될 수 있도록, 영상 데이터 및 의상 데이터를 사용자 장치에 전송한다. 일 실시예에서, 송신부(34)가 송신하는 의상 데이터는 하나 이상의 업로더 장치로부터 수신되어 가상 피팅 서비스 서버(3)의 저장부(33)에 저장된 것일 수도 있다. 의상 데이터가 서버에 의해 제공되기 때문에, 사용자가 가상 피팅할 의상을 다양하게 제공할 수 있다. 또한, 의상의 판매업자 등이 업로더가 되어 새로운 의상 데이터를 지속적으로 제공할 수 있으므로, 사용자가 가상 피팅할 수 있는 의상 데이터를 시기에 맞게 갱신하거나 교체할 수 있다.
도 3은 일 실시예에 따른 가상 피팅 서비스를 위한 사용자 장치의 개략적인 블록도이다.
도 3을 참조하면, 일 실시예에서 사용자 장치(5)는 수신부(51), 시뮬레이션부(53) 및 표시부(54)를 포함한다. 일 실시예에서, 사용자 장치(5)는 추출부(52)를 더 포함할 수 있다. 도 2의 실시예를 참조하여 전술한 것과 마찬가지로, 사용자 장치(5)를 구성하는 각 부(51-54) 역시 사용자 장치(5)를 기능적으로 구분한 것일 뿐, 반드시 서로 분리된 별개의 소자를 의미하는 것이 아니며, 이들 중 일부 또는 전부가 하나의 장치로 집적화될 수도 있다.
수신부(51)는 가상 피팅 서비스 서버로부터 의상 데이터 및 사용자의 영상 데이터를 수신하기 위한 부분이다. 영상 데이터는 사용자 장치(5)의 사용자가 오프라인 매장 등에 위치한 스캔 장치에서 신체를 스캔함으로써 얻어진 것일 수 있다. 또한 일 실시예에서, 수신부(51)는 사용자의 영상 데이터로부터 추출된 사용자의 움직임 정보 및 사용자의 신체 정보를 가상 피팅 서비스 서버로부터 더 수신할 수도 있다.
그러나 이는 예시적인 것으로, 다른 실시예에서 사용자 장치(5)는 영상 데이터로부터 사용자의 움직임 정보 및 사용자의 신체 정보를 추출하기 위한 추출부(52)를 더 포함할 수 있다. 이 경우, 수신부(51)는 의상 데이터 및 영상 데이터만을 가상 피팅 서비스 서버로부터 수신한다.
시뮬레이션부(53)는, 수신된 의상 데이터와, 수신 또는 추출된 사용자의 움직임 정보 및 신체 정보를 이용하여, 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 생성하기 위한 부분이다. 시뮬레이션부(53)는 사용자의 신체 정보를 이용하여 사용자 신체의 3차원 모델을 생성하고, 사용자 신체의 3차원 모델에 의상 데이터를 정합시킴으로써 의상의 3차원 모델을 생성하며, 사용자의 움직임 정보에 따라 의상의 3차원 모델을 움직임을 시뮬레이션할 수 있다.
구체적으로, 사용자 장치(5)는 사용자의 신체 각 부분의 정보(예컨대, 신체의 외곽선 정보, 신장, 팔 길이, 허리 둘레, 다리 길이, 어깨나 팔꿈치, 무릎과 같은 관절의 위치 등)를 이용하여 사용자를 나타내는 3차원 메쉬(mesh)를 생성할 수 있다. 예를 들면 사용자 장치(5)는 미리 저장된 베이스(base) 메쉬를 사용자의 신체 정보에 따라 부분적으로 변형시킴으로써 사용자의 3차원 메쉬를 생성할 수도 있으나, 이에 한정되는 것은 아니다. 본 명세서의 의상 데이터 또한 의상의 형태를 나타내는 메쉬일 수 있으며, 시뮬레이션부(53)는 사용자의 3차원 메쉬의 각 정점(vertex)과 의상 데이터의 각 정점을 매핑(mapping)함으로써 의상의 3차원 모델을 생성할 수 있다.
또한, 시뮬레이션부(53)는 의상의 3차원 모델을 사용자의 움직임 정보에 따라 시뮬레이션할 수 있다. 전술한 것과 같이, 움직임 정보는 모바일 장치(5)에 의하여 얻어질 수도 있고, 또는 가상 피팅 서비스 서버에 의해 얻어진 후 모바일 장치(5)에 전송될 수도 있다. 시뮬레이션부(52)는 사용자의 3차원 모델을 상기 움직임 정보에 따라 움직이도록 하고, 이때 사용자의 3차원 모델에 정합된 의상 데이터의 움직임을 각 시간 구간별로 산출함으로써 의상의 3차원 모델의 움직임을 시뮬레이션할 수 있다. 의상의 물리 시뮬레이션을 위한 구체적인 연산 과정은 특정 방법에 한정되지 않으며, 이에 대해서는 본 발명의 기술 분야에서 잘 알려져 있으므로, 본 명세서에서는 발명의 요지를 명확하게 하기 위하여 물리 시뮬레이션 연산 과정에 대해서는 설명을 생략한다.
표시부(54)는 사용자 장치(5)의 디스플레이 수단에 해당되는 부분으로, 예컨대, 액정표시장치(Liquid Crystal Display) 또는 다른 임의의 형태의 디스플레이 소자를 포함할 수 있다. 표시부(54)는, 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 표시한다. 이때, 표시부(54)는 사용자의 영상 데이터 상에 오버레이 형태로 의상의 3차원 모델을 표시함으로써, 사용자가 해당 의상을 가상 피팅한 효과를 얻을 수 있다.
도 4는 일 실시예에 따른 가상 피팅 서비스 방법의 순서도이다.
도 1 및 도 4를 참조하면, 가상 피팅 서비스 서버(3)는 하나 이상의 업로더 장치(4)로부터 의상 데이터를 수신할 수 있다(S11). 한편, 스캔 장치(1)는 사용자(6)의 영상 데이터를 획득할 수 있다(S12). 스캔 장치(1)는 획득한 영상 데이터를 가상 피팅 서비스 서버(3)에 전송할 수 있다. 또는, 스캔 장치(1)와 가상 피팅 서비스 서버(3)는 일체화된 하나의 장치를 지칭할 수도 있다. 가상 피팅 서비스 서버(3)는, 영상 데이터로부터 사용자의 신체 정보 및 움직임 정보를 추출할 수 있다(S13). 다음으로, 가상 피팅 서비스 서버(3)는 영상 데이터, 의상 데이터, 움직임 정보 및 신체 정보를 사용자 장치에 전송할 수 있다(S14).
도 4의 실시예에서는, 의상 데이터의 수신 과정(S11)이 사용자의 영상 데이터 획득 과정(S12)에 선행하는 것으로 도시되었다. 그러나, 이는 단지 설명의 편의를 위한 예시적인 것이며, 다른 실시예에서 의상 데이터의 수신과 사용자의 영상 데이터 획득의 순서는 이와 반대일 수도 있으며, 특정 순서에 한정되지 않는다.
정보를 수신한 사용자 장치(5)에서는, 의상 데이터, 움직임 정보 및 신체 정보를 이용하여 의상의 3차원 모델을 생성할 수 있다(S15). 이와 같이 생성된 의상의 3차원 모델은, 영상 데이터로부터 추출된 사용자의 움직임에 따라 움직이도록 물리 시뮬레이션된다. 다음으로, 사용자 장치(5) 상의 화면상에 사용자의 영상 데이터 및 의상의 3차원 모델을 오버레이 형태로 표시함으로써(S16), 사용자가 해당 의상을 가상 피팅한 것과 같은 효과를 얻을 수 있도록 한다.
도 5는 또 다른 실시예에 따른 가상 피팅 서비스 방법의 순서도이다.
도 1 및 도 5를 참조하면, 가상 피팅 서비스 서버(3)는 하나 이상의 업로더 장치(4)로부터 의상 데이터를 수신할 수 있다(S21). 한편, 스캔 장치(1)는 사용자(6)의 영상 데이터를 획득할 수 있다(S22). 스캔 장치(1)는 획득한 영상 데이터를 가상 피팅 서비스 서버(3)에 전송할 수 있다. 또는, 스캔 장치(1)와 가상 피팅 서비스 서버(3)는 일체화된 하나의 장치를 지칭할 수도 있다. 가상 피팅 서비스 서버(3)는, 수신된 영상 데이터 및 의상 데이터를 사용자 장치(5)에 전송할 수 있다(S23).
정보를 수신한 사용자 장치(5)에서는, 영상 데이터로부터 사용자의 신체 정보 및 움직임 정보를 추출할 수 있다(S24). 다음으로, 사용자 장치(5)는 의상 데이터, 및 추출된 움직임 정보와 신체 정보를 이용하여 의상의 3차원 모델을 생성할 수 있다(S25). 이와 같이 생성된 의상의 3차원 모델은, 영상 데이터로부터 추출된 사용자의 움직임에 따라 움직이도록 물리 시뮬레이션된다. 다음으로, 사용자 장치(5) 상의 화면상에 사용자의 영상 데이터 및 의상의 3차원 모델을 오버레이 형태로 표시함으로써(S26), 사용자가 해당 의상을 가상 피팅한 것과 같은 효과를 얻을 수 있도록 한다.
이상에서 설명한 실시예들에 따른 사용자 장치를 이용한 가상 피팅 서비스 방법은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 기록매체에는 가상 피팅 서비스 방법에 의한 동작을 구현하기 위한 프로그램이 기록되며, 상기 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장될 수 있는 임의의 종류의 기록장치를 포함한다. 예컨대, 컴퓨터가 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (21)

  1. 사용자의 모습을 촬영한 동영상 형태이며 깊이 정보를 포함하는 영상 데이터를 획득하도록 구성된 스캔 장치;
    상기 스캔 장치로부터 상기 영상 데이터를 수신하고, 미리 저장된 의상 데이터 및 상기 영상 데이터를 상기 사용자의 사용자 장치에 송신하도록 구성된 가상 피팅 서비스 서버; 및
    상기 가상 피팅 서비스 서버로부터 상기 의상 데이터 및 상기 영상 데이터를 수신하고, 상기 의상 데이터를 이용하여, 상기 영상 데이터로부터 추출된 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 표시하도록 구성된 상기 사용자 장치를 포함하되,
    상기 사용자 장치는,
    휴대 가능한 모바일 장치이고,
    상기 영상 데이터로부터 사용자의 신체 정보 및 상기 신체 정보의 시간에 따른 변화를 정의하는 움직임 정보를 추출하며, 상기 움직임 정보, 상기 신체 정보 및 상기 의상 데이터를 이용하여 사용자의 움직임에 따라 시뮬레이션되는 상기 의상의 3차원 모델을 생성하고, 상기 의상의 3차원 모델을 상기 영상 데이터상에 오버레이 형태로 표시하도록 더 구성된, 사용자 장치를 이용한 가상 피팅 서비스 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 휴대 가능한 모바일 장치이며 가상 피팅 서비스를 위한 사용자 장치로서,
    서버로부터 의상 데이터 및 사용자의 모습을 촬영한 동영상 형태이며 깊이 정보를 포함하는 영상 데이터를 수신하도록 구성된 수신부;
    상기 영상 데이터로부터 사용자의 신체 정보 및 상기 신체 정보의 시간에 따른 변화를 정의하는 움직임 정보를 추출하도록 구성된 추출부;
    상기 신체 정보, 상기 움직임 정보 및 상기 의상 데이터를 이용하여, 상기 영상 데이터로부터 추출된 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 생성하도록 구성된 시뮬레이션부; 및
    상기 의상의 3차원 모델을 상기 영상 데이터상에 오버레이 형태로 표시하도록 구성된 표시부를 포함하는, 가상 피팅 서비스를 위한 사용자 장치.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 사용자 장치가 가상 피팅 서비스 서버로부터, 의상 데이터 및 사용자의 모습을 촬영한 동영상 형태이며 깊이 정보를 포함하는 영상 데이터를 수신하는 단계;
    상기 사용자 장치가, 상기 영상 데이터로부터 사용자의 신체 정보 및 상기 신체 정보의 시간에 따른 변화를 정의하는 움직임 정보를 추출하는 단계;
    상기 사용자 장치가, 상기 움직임 정보, 상기 신체 정보 및 상기 의상 데이터를 이용하여, 상기 영상 데이터로부터 추출된 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 생성하는 단계; 및
    상기 사용자 장치상에 상기 영상 데이터상에 오버레이 형태로 상기 의상의 3차원 모델을 표시하는 단계를 포함하되,
    상기 사용자 장치는 휴대 가능한 모바일 장치인, 사용자 장치를 이용한 가상 피팅 서비스 방법.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 하드웨어와 결합되어,
    사용자 장치가 가상 피팅 서비스 서버로부터, 의상 데이터 및 사용자의 모습을 촬영한 동영상 형태이며 깊이 정보를 포함하는 영상 데이터를 수신하는 단계;
    상기 사용자 장치가, 상기 영상 데이터로부터 사용자의 신체 정보 및 상기 신체 정보의 시간에 따른 변화를 정의하는 움직임 정보를 추출하는 단계;
    상기 사용자 장치가, 상기 신체 정보, 상기 움직임 정보 및 상기 의상 데이터를 이용하여, 상기 영상 데이터로부터 추출된 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 생성하는 단계; 및
    상기 사용자 장치상에 상기 영상 데이터상에 오버레이 형태로 상기 의상의 3차원 모델을 표시하는 단계를 실행하도록 컴퓨터로 판독 가능한 저장매체에 저장되며,
    상기 사용자 장치는 휴대 가능한 모바일 장치인, 컴퓨터 프로그램.
KR1020150155207A 2015-11-05 2015-11-05 사용자 장치를 이용한 가상 피팅 서비스 시스템, 방법 및 이를 위한 컴퓨터 프로그램 KR101698491B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150155207A KR101698491B1 (ko) 2015-11-05 2015-11-05 사용자 장치를 이용한 가상 피팅 서비스 시스템, 방법 및 이를 위한 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150155207A KR101698491B1 (ko) 2015-11-05 2015-11-05 사용자 장치를 이용한 가상 피팅 서비스 시스템, 방법 및 이를 위한 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR101698491B1 true KR101698491B1 (ko) 2017-01-20

Family

ID=57989573

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150155207A KR101698491B1 (ko) 2015-11-05 2015-11-05 사용자 장치를 이용한 가상 피팅 서비스 시스템, 방법 및 이를 위한 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR101698491B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088358A1 (ko) * 2017-10-31 2019-05-09 로고몬도 주식회사 맞춤형 주얼리 정보 제공 장치 및 방법
KR20210084969A (ko) 2019-12-30 2021-07-08 한국패션산업연구원 신체치수 측정방법
KR20210095824A (ko) * 2019-11-28 2021-08-03 주식회사 지이모션 의상의 3차원 모델링 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090012651A (ko) * 2007-07-31 2009-02-04 주식회사 에프엑스코드 3차원 의상 데이터를 이용한 가상 의상의 데코레이션 방법
KR20140077820A (ko) 2012-12-14 2014-06-24 한국전자통신연구원 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템
KR20150113309A (ko) * 2014-03-27 2015-10-08 한국전자통신연구원 디지털 의류를 이용하여 가상 체험 서비스 방법을 제공하는 스마트 단말 및 가상 체험 제공 서버

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090012651A (ko) * 2007-07-31 2009-02-04 주식회사 에프엑스코드 3차원 의상 데이터를 이용한 가상 의상의 데코레이션 방법
KR20140077820A (ko) 2012-12-14 2014-06-24 한국전자통신연구원 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템
KR20150113309A (ko) * 2014-03-27 2015-10-08 한국전자통신연구원 디지털 의류를 이용하여 가상 체험 서비스 방법을 제공하는 스마트 단말 및 가상 체험 제공 서버

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088358A1 (ko) * 2017-10-31 2019-05-09 로고몬도 주식회사 맞춤형 주얼리 정보 제공 장치 및 방법
KR20210095824A (ko) * 2019-11-28 2021-08-03 주식회사 지이모션 의상의 3차원 모델링 방법
KR102294988B1 (ko) 2019-11-28 2021-08-30 주식회사 지이모션 의상의 3차원 모델링 방법
KR20210084969A (ko) 2019-12-30 2021-07-08 한국패션산업연구원 신체치수 측정방법

Similar Documents

Publication Publication Date Title
US11557075B2 (en) Body pose estimation
US20230154042A1 (en) Skeletal tracking using previous frames
CN108885639A (zh) 内容集合导航和自动转发
KR102506738B1 (ko) 눈 텍스처 인페인팅
CN109671141B (zh) 图像的渲染方法和装置、存储介质、电子装置
US20150265922A1 (en) Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method
US20210166460A1 (en) Information processing apparatus and information processing method
WO2021098338A1 (zh) 一种模型训练的方法、媒体信息合成的方法及相关装置
CN107609946B (zh) 一种显示控制方法及计算设备
TW201337815A (zh) 電子試衣方法和電子試衣裝置
KR101698491B1 (ko) 사용자 장치를 이용한 가상 피팅 서비스 시스템, 방법 및 이를 위한 컴퓨터 프로그램
JP6730461B2 (ja) 情報処理システム及び情報処理装置
WO2019119815A1 (zh) Ar业务处理方法、装置、设备及计算机可读存储介质
KR20210065423A (ko) 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템
US20240013463A1 (en) Applying animated 3d avatar in ar experiences
KR101767144B1 (ko) 의상의 3차원 모델 생성 장치, 방법 및 이를 위한 컴퓨터 프로그램
KR20240125620A (ko) 실시간 상체 의복 교환
Yolcu et al. Real time virtual mirror using kinect
CN111640190A (zh) Ar效果的呈现方法、装置、电子设备及存储介质
WO2023121896A1 (en) Real-time motion and appearance transfer
WO2023121897A1 (en) Real-time garment exchange
KR101321022B1 (ko) 증강 현실 구현 방법 및 증강 현실을 구현하는 컴퓨팅 장치 및 시스템
KR20120078290A (ko) 의류 착용 서비스 제공 방법 및 그 시스템
CN106909369B (zh) 用户界面显示方法和系统
CN116863110A (zh) 基于ar眼镜的虚拟试衣方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200113

Year of fee payment: 4