KR101707707B1 - 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템 - Google Patents

인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템 Download PDF

Info

Publication number
KR101707707B1
KR101707707B1 KR1020130125889A KR20130125889A KR101707707B1 KR 101707707 B1 KR101707707 B1 KR 101707707B1 KR 1020130125889 A KR1020130125889 A KR 1020130125889A KR 20130125889 A KR20130125889 A KR 20130125889A KR 101707707 B1 KR101707707 B1 KR 101707707B1
Authority
KR
South Korea
Prior art keywords
user
avatar
virtual item
fitting
information
Prior art date
Application number
KR1020130125889A
Other languages
English (en)
Other versions
KR20140077820A (ko
Inventor
김호원
이승욱
김기남
최진성
구본기
조규성
김태준
손성열
김도형
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/106,532 priority Critical patent/US9607419B2/en
Priority to CN201811389108.9A priority patent/CN109598798B/zh
Priority to CN201310686790.9A priority patent/CN103871106A/zh
Publication of KR20140077820A publication Critical patent/KR20140077820A/ko
Application granted granted Critical
Publication of KR101707707B1 publication Critical patent/KR101707707B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

본 발명은 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템이 제공된다. 가상 아이템 피팅 방법은 사용자가 체험 영역에 위치했는지 여부를 판단하는 단계; 상기 사용자가 체험 영역에 위치하면, 사용자가 입력한 설정 정보에 대응하는 3차원 표준 아바타를 로딩하는 단계; 미리 설정된 자세로 있는 사용자의 깊이 영상을 획득하는 단계; 상기 사용자의 깊이 영상을 이용하여 3차원 표준 아바타를 사용자의 외형적 신체 특성이 반영된 사용자 아바타로 변형하는 단계; 상기 사용자가 선택한 가상 아이템을 사용자 아바타에 피팅하는 단계; 및 실시간으로 변화하는 사용자의 움직임을 가상 아이템이 피팅된 사용자 아바타에 적용하는 단계를 포함할 수 있다.

Description

인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템{METHOD FOR FIITING VIRTUAL ITEMS USING HUMAN BODY MODEL AND SYSTEM FOR PROVIDING FITTING SERVICE OF VIRTUAL ITEMS}
본 발명은 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템에 관한 것으로, 보다 구체적으로 사용자의 외형과 골격 구조가 반영된 3차원 인체 모델을 이용하여 사용자가 원하는 아이템을 실체로 착용하지 않고도 가상으로 아이템의 피팅 여부와 전체적인 룩(look)을 판단할 수 있도록 하는 방법 및 시스템에 관한 것이다.
최근 깊이 센서가 등장함에 따라 사용자의 형상 정보와 관절의 모션 정보가 저렴한 비용으로 손쉽게 획득될 수 있다. 그래서, 깊이 센서를 적용함으로써 다양한 서비스에서 이용되던 사용자 인터페이스에서 변화가 발생하였다. 특히, 이러한 사용자 인터페이스의 변화에 따라 새로운 사용자 참여형 서비스들이 등장하고 있다. 이러한 참여형 서비스 중 하나가 사용자가 직접 의류나 액세서리 등의 아이템을 직접 착용하지 않고 가상으로 착용할 수 있는 가상 아이템 피팅 서비스다.
종래의 가상 아이템 피팅 서비스는 단순히 깊이 센서에서 제공하는 사용자의 움직임을 입력받아 리깅(rigging) 또는 스키닝(skinning)된 아바타를 제어하고, 리깅된 아이템을 애니메이션하는 서비스가 제공되고 있다. 이러한 서비스들은 사용자의 체형과는 무관하게 서비스되고 있어서 사용자에게 현실감이 떨어지는 서비스를 제공하는 문제가 있다.
그리고, 종래에 3차원 전신 스캐너를 통해 사용자의 외형을 스캔하여 사용자의 체형에 맞는 맞춤형 아이템을 제작하는 서비스도 있었다. 하지만, 이러한 서비스에서 사용되는 3차원 전신 스캐너는 매우 고가이며, 스캐너 과정에서 사용자의 움직임이 제한되기 때문에 실시간으로 변동하는 사용자의 움직임을 제대로 반영하지 못하는 문제가 있다.
따라서, 사용자가 의류나 액세서리 등을 가상으로 착용하더라도 실시간으로 처리하는 솔루션이 필요하고, 사용자의 움직임을 반영하여 보다 현실감있고 직관적인 서비스를 제공하는 것이 필요하다.
본 발명은 사용자가 실제로 원하는 아이템을 착용하지 않고 가상으로 피팅함으로써 사용자에게 아이템이 어울리는 지를 용이하게 파악할 수 있는 방법 및 시스템을 제공한다.
본 발명은 사용자의 외형적인 신체 특성이 반영된 사용자 아바타에 가상 아이템을 피팅함으로써, 사용자가 직접 가상 아이템을 착용하지 않고도 전체적인 룩을 확인할 수 있고 사용자 자신에게 어울리는 가상 아이템을 용이하게 고를 수 있는 방법 및 시스템을 제공한다.
본 발명은 사용자의 움직임을 가상 아이템이 피팅된 사용자 아바타에 반영함으로써, 실제로 사용자가 가상 아이템을 착용하고 움직이는 듯한 현실감있는 효과를 제공할 수 있는 방법 및 시스템을 제공한다.
본 발명은 가상 아이템의 구매 정보와 치수 정보가 반영된 식별 태그를 사용자 아바타의 캡쳐 화면에 오버레이함으로써, 사용자가 가상 아이템을 용이하게 구매하고, 추후에 가상 아이템을 보다 효과적으로 수선할 수 있도록 하는 방법 및 시스템을 제공한다.
본 발명의 일실시예에 따른 가상 아이템 피팅 방법은 사용자가 체험 영역에 위치했는지 여부를 판단하는 단계; 상기 사용자가 체험 영역에 위치하면, 사용자가 입력한 설정 정보에 대응하는 3차원 표준 아바타를 로딩하는 단계; 미리 설정된 자세로 있는 사용자의 깊이 영상을 획득하는 단계; 상기 사용자의 깊이 영상을 이용하여 3차원 표준 아바타를 사용자의 외형적 신체 특성이 반영된 사용자 아바타로 변형하는 단계; 상기 사용자가 선택한 가상 아이템을 사용자 아바타에 피팅하는 단계; 및 실시간으로 변화하는 사용자의 움직임을 가상 아이템이 피팅된 사용자 아바타에 적용하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 가상 아이템 피팅 방법에서 상기 3차원 표준 아바타를 사용자의 외형적 신체 특성이 반영된 사용자 아바타로 변형하는 단계는, 상기 사용자의 깊이 영상로부터 3차원 형상 패치를 복원하는 단계; 상기 3차원 형상 패치를 이용하여 3차원 표준 아바타의 관절 길이 정보를 변경하는 단계; 및 상기 3차원 형상 패치를 이용하여 3차원 표준 아바타의 부피 정보를 변경하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 가상 아이템 피팅 방법에서 상기 3차원 형상 패치를 복원하는 단계는, 상기 깊이 영상의 현재 픽셀과 인접 픽셀의 깊이 정보를 이용하여 3차원 메쉬로 표현하는 단계; 및 상기 깊이 정보와 기하보정 정보에 따라 메쉬를 구성하는 버텍스의 3차원 위치를 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 가상 아이템 피팅 방법에서 상기 3차원 표준 아바타의 관절 길이 정보를 변경하는 단계는, 상기 3차원 형상 패치를 이용하여 사용자의 관절 구조를 추정하는 단계; 및 상기 추정된 관절 구조로부터 사용자의 관절 길이 정보를 추출하여 3차원 표준 아바타의 관절 길이 정보에 적용하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 가상 아이템 피팅 방법에서 상기 3차원 표준 아바타의 부피 정보를 변경하는 단계는, 상기 3차원 형상 패치로부터 추정된 사용자의 관절 구조로부터 관절의 진행 방향에 수직인 단면을 생성하는 단계; 및 상기 복원된 3차원 형상 패치와 단면 간의 교차점을 이용하여 3차원 표준 아바타의 부피 정보를 조절하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 가상 아이템 피팅 방법에서 상기 사용자가 선택한 가상 아이템을 사용자 아바타에 피팅하는 단계는, 상기 3차원 표준 아바타와 사용자 아바타 각각의 메쉬 간 이동 변위를 결정하는 단계; 및 상기 결정된 이동 변위를 가상 아이템의 버텍스에 적용하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 가상 아이템 피팅 방법에서 상기 가상 아이템이 피팅된 사용자 아바타에 적용하는 단계는, 상기 사용자 아바타의 관절 구조를 구성하는 관절의 3자유도 회전 및 3자유도 이동에 기초하여 사용자 아바타의 움직임을 리타겟팅할 수 있다.
본 발명의 일실시예에 따른 가상 아이템 피팅 방법에서 상기 가상 아이템이 피팅된 사용자 아바타에 적용하는 단계는, 상기 사용자 아바타의 움직임에 따라 가상 아이템에 조명 효과를 렌더링할 수 있다.
본 발명의 일실시예에 따른 가상 아이템 피팅 방법에서 상기 가상 아이템이 피팅된 사용자 아바타에 사용자의 컬러 영상을 합성하여 사용자에게 피드백하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 가상 아이템 피팅 방법은 사용자가 입력한 설정 정보에 기초하여 3차원 표준 아바타를 로딩하는 단계; 상기 사용자의 깊이 영상을 이용하여 3차원 표준 아바타를 사용자의 외형적 신체 특성이 반영된 사용자 아바타로 변형하는 단계; 상기 사용자가 선택한 가상 아이템을 사용자 아바타에 피팅하는 단계; 및 상기 가상 아이템이 피팅된 사용자 아바타에 사용자의 컬러 영상을 합성하여 사용자에게 피드백하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 가상 아이템 피팅 방법에서 상기 3차원 표준 아바타를 사용자의 외형적 신체 특성이 반영된 사용자 아바타로 변형하는 단계는, 상기 사용자의 외형적 신체 특성에 기초하여 상기 3차원 표준 아바타의 관절 길이 정보와 부피 정보를 변경할 수 있다.
본 발명의 또 다른 실시예에 따른 가상 아이템 피팅 방법은 사용자로부터 가상 아이템의 선택을 수신하는 단계; 상기 사용자의 신체 특성을 고려하여 상기 선택된 가상 아이템이 피팅된 3차원 표준 아바타를 사용자 아바타로 변형하는 단계; 상기 사용자의 실시간 움직임을 감지하여 사용자 아바타에 적용하는 단계; 상기 사용자의 실시간 움직임에 따라 변화하는 조명 효과를 사용자 아바타에 적용하는 단계; 및 상기 움직임과 조명 효과가 적용된 사용자 아바타를 사용자에게 피드백하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 가상 아이템 피팅 방법에서 상기 3차원 표준 아바타를 사용자 아바타로 변형하는 단계는, 상기 사용자의 신체 특성에 기초하여 상기 3차원 표준 아바타의 관절 길이 정보와 부피 정보를 변경할 수 있다.
본 발명의 또 다른 실시예에 따른 가상 아이템 피팅 방법에서 상기 사용자의 실시간 움직임을 감지하여 사용자 아바타에 적용하는 단계는, 상기 사용자 아바타의 관절 구조를 구성하는 관절의 3자유도 회전 및 3자유도 이동에 기초하여 사용자 아바타의 움직임을 리타겟팅할 수 있다.
본 발명의 또 다른 실시예에 따른 가상 아이템 피팅 방법에서 상기 조명 효과를 사용자 아바타에 적용하는 단계는, 상기 가상 아이템을 구성하는 3차원 메쉬에 대해 광원을 고려한 환경맵을 결정할 수 있다.
본 발명의 또 다른 실시예에 따른 가상 아이템 피팅 방법은 가상 아이템 피팅 서비스를 위한 체험 영역에 위치한 사용자에게 가상 아이템을 선택하기 위한 인터페이스를 제공하는 단계; 상기 사용자가 선택한 가상 아이템이 피팅된 사용자 아바타를 표시하는 단계; 상기 사용자가 표시된 사용자 아바타를 선택하면, 가상 아이템의 구매 정보 또는 수치 정보와 관련된 식별 태그를 생성하는 단계; 및 상기 생성된 식별 태그를 사용자 아바타의 캡쳐 화면에 오버레이하여 제공하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 가상 아이템 피팅 방법에서 상기 사용자가 선택한 가상 아이템이 피팅된 사용자 아바타를 표시하는 단계는, 상기 사용자가 입력한 설정 정보에 대응하는 3차원 표준 아바타를 사용자의 신체 특성을 반영한 사용자 아바타로 변형하여 표시할 수 있다.
본 발명의 또 다른 실시예에 따른 가상 아이템 피팅 방법에서 상기 사용자 아바타는, 상기 3차원 표준 아바타의 관절 길이 정보와 부피 정보가 상기 사용자의 외형적 신체 특성에 기초하여 변경된 아바타일 수 있다.
본 발명의 일실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템은 사용자에게 가상 아이템의 피팅 서비스를 제공하기 위해 사용자의 체험 영상을 표시하는 디스플레이; 상기 사용자의 실시간으로 캡쳐하여 사용자의 컬러 영상을 수집하는 컬러 영상 촬영 장치; 상기 사용자의 움직임과 신체 사이즈를 측정하는 깊이 영상 촬영 장치; 및 상기 사용자의 움직임과 신체 사이즈를 고려하여 3차원 표준 아바타를 사용자 아바타로 변환하고, 상기 사용자 아바타에 가상 아이템을 피팅하는 가상 아이템 피팅 장치를 포함하고, 상기 가상 아이템 피팅 장치는, 상기 가상 아이템이 피팅된 사용자 아바타와 컬러 영상을 합성하여 상기 디스플레이에 피드백할 수 있다.
본 발명의 일실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템에서 상기 가상 아이템 피팅 장치는, 상기 사용자의 깊이 영상로부터 복원한 3차원 형상 패치를 이용하여 3차원 표준 아바타의 관절 길이 정보와 부피 정보를 변경할 수 있다.
본 발명의 일실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템에서 상기 가상 아이템 피팅 장치는, 상기 사용자 아바타의 관절 구조를 구성하는 관절의 3자유도 회전 및 3자유도 이동에 기초하여 사용자 아바타의 움직임을 리타겟팅할 수 있다.
본 발명의 일실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템에서 상기 가상 아이템 피팅 장치는, 상기 사용자 아바타의 움직임에 따라 가상 아이템에 조명 효과를 렌더링할 수 있다.
본 발명의 다른 실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템은 사용자에게 가상 아이템의 피팅 서비스를 제공하기 위해 사용자의 체험 영상을 표시하는 디스플레이; 상기 사용자의 실시간으로 캡쳐하여 사용자의 컬러 영상을 수집하는 컬러 영상 촬영 장치; 상기 사용자의 움직임과 신체 사이즈를 측정하는 깊이 영상 촬영 장치; 및 상기 사용자가 입력한 설정 정보에 기초하여 3차원 표준 아바타를 로딩하고, 상기 사용자의 깊이 영상을 이용하여 3차원 표준 아바타를 사용자의 외형적 신체 특성이 반영된 사용자 아바타로 변형하며, 상기 사용자가 선택한 가상 아이템을 사용자 아바타에 피팅하는 가상 아이템 피팅 장치를 포함하고, 상기 가상 아이템 피팅 장치는, 상기 가상 아이템이 피팅된 사용자 아바타와 컬러 영상을 합성하여 상기 디스플레이에 피드백할 수 있다.
본 발명의 또 다른 실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템은 디스플레이, 컬러 영상 촬영 장치, 및 깊이 영상 촬영 장치를 이용하고, 상기 가상 아이템의 피팅 서비스 제공 시스템은, 사용자로부터 가상 아이템의 선택을 수신하고, 상기 사용자의 신체 특성을 고려하여 상기 선택된 가상 아이템이 피팅된 3차원 표준 아바타를 사용자 아바타로 변형하는 가상 아이템 피팅 장치를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템에서 상기 가상 아이템 피팅 장치는, 상기 사용자의 실시간 움직임을 감지하여 사용자 아바타에 적용하거나 또는 상기 사용자의 실시간 움직임에 따라 변화하는 조명 효과를 사용자 아바타에 적용한 후 사용자에게 피드백할 수 있다.
본 발명의 또 다른 실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템에서 디스플레이 및 컬러 영상 촬영 장치를 이용하고, 상기 가상 아이템의 피팅 서비스 제공 시스템은, 디스플레이를 통해 사용자에게 가상 아이템을 선택하기 위한 인터페이스를 제공하고, 상기 깊이 영상 촬영 장치를 통해 획득한 깊이 영상을 이용하여 상기 사용자가 선택한 가상 아이템이 피팅된 사용자 아바타를 생성하고, 상기 사용자가 표시된 사용자 아바타를 선택하면, 가상 아이템의 구매 정보 또는 수치 정보와 관련된 식별 태그를 사용자 아바타의 캡쳐 화면에 오버레이하여 제공하는 가상 아이템 피팅 장치를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템에서 상기 가상 아이템 피팅 장치는, 상기 사용자의 외형적 신체 특성에 따라 상기 3차원 표준 아바타의 관절 길이 정보와 부피 정보를 변경하여 사용자 아바타를 생성할 수 있다.
본 발명의 일실시예에 따르면, 사용자가 실제로 원하는 아이템을 착용하지 않고 가상으로 피팅함으로써 사용자에게 아이템이 어울리는 지를 용이하게 파악할 수 있다.
본 발명의 일실시예에 따르면, 사용자의 외형적인 신체 특성이 반영된 사용자 아바타에 가상 아이템을 피팅함으로써, 사용자가 직접 가상 아이템을 착용하지 않고도 전체적인 룩을 확인할 수 있고 사용자 자신에게 어울리는 가상 아이템을 용이하게 고를 수 있다.
본 발명의 일실시예에 따르면, 사용자의 움직임을 가상 아이템이 피팅된 사용자 아바타에 반영함으로써, 실제로 사용자가 가상 아이템을 착용하고 움직이는 듯한 현실감있는 효과를 제공할 수 있다.
본 발명의 일실시예에 따르면, 가상 아이템의 구매 정보와 치수 정보가 반영된 식별 태그를 사용자 아바타의 캡쳐 화면에 오버레이함으로써, 사용자가 가상 아이템을 용이하게 구매하고, 추후에 가상 아이템을 보다 효과적으로 수선할 수 있다.
도 1은 일실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템을 도시한 도면이다.
도 2는 일실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템을 통해 사용자에게 가상 아이템의 피팅 결과를 디스플레이하는 결과를 도시한 도면이다.
도 3은 일실시예에 따른 3차원 표준 아바타와 관절 구조의 대응 관계를 도시한 도면이다.
도 4는 일실시예에 따른 3차원 표준 아바타에 사용자의 부피 정보를 반영하기 위한 과정을 도시한 도면이다.
도 5는 일실시예에 따른 사용자의 주요신체 부위의 계측 결과를 도시한 도면이다.
도 6은 일실시예에 따른 사용자의 골격 구조를 나타낸 도면이다.
도 7은 일실시예에 따른 사용자의 관절 위치를 추정하는 과정을 나타낸 도면이다.
도 8은 일실시예에 따른 가상 아이템 피팅 방법을 도시한 도면이다.
도 9는 도 8의 사용자 계측 모드에 따라 동작하는 과정을 구체화한 도면이다.
도 10은 도 8의 가상 아이템의 체험 모드에 따라 동작하는 과정을 구체화한 도면이다.
도 11은 도 8의 가상 아이템의 체험 결과 제공 모드에 따라 동작하는 과정을 구체화한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명은 적어도 하나의 깊이 센서를 이용하여 사용자의 실제 외형적 신체 특성을 측정하고, 외형적 신체 특성을 반영한 사용자 아바타를 이용하여 가상 아이템을 피팅하는 시스템 및 방법을 제공한다. 이를 통해, 본 발명의 일실시예에 의하면, 사용자는 번거롭게 여러가지 가상 아이템을 착용하지 않고도 자신의 신체 특성에 맞는 가상 아이템을 사전 체험을 통해 확인함으로써 사용자에게 가상 아이템을 용이하게 선택할 수 있도록 할 수 있다.
이하에서는, 키오스크 형태의 가상 아이템의 피팅 서비스 제공 시스템을 통하여 인체의 외형적 형상을 실측하여 사용자의 신체 특성이 반영된 사용자 아바타를 자동으로 생성하고, 사용자가 원하는 가상 아이템을 사용자 아바타에 적용하여 사용자의 움직임에 따라 실시간으로 의상의 구김이나 피팅 정도를 물리적으로 시뮬레이션 한 후, 사용자에게 피드백해 줄 수 있는 과정을 도면을 통해 설명하기로 한다.
도 1은 일실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템을 도시한 도면이다.
도 1을 참고하면, 가상 아이템의 피팅 서비스 제공 시스템은 디스플레이(102), 깊이 센서(103, 106, 107)를 포함할 수 있다. 그리고, 디스플레이(102)에 사용자의 현재 외형을 실시간으로 촬영하는 비디오캠이 구비될 수 있다. 피팅 서비스 제공 시스템은 키오스크 형태의 시스템으로 운영될 수 있다. 이러한 피팅 서비스 제공 시스템은 의류, 액세서리 등의 아이템을 판매하는 매장에 설치될 수 있다.
디스플레이(102)는 사용자에게 가상 아이템의 피팅 서비스를 체험할 수 있도록 한다. 디스플레이(102)는 사용자의 시선을 고려하여 배치될 수 있다. 즉, 디스플레이(102)는 사용자가 마치 거울을 보는 것처럼 느낄 수 있도록 피팅 서비스의 체험 영상을 표시할 수 있다. 그래서, 이러한 체험 영상을 표시하기 위해 비디오캠이 실시간으로 사용자를 캡쳐할 수 있다. 실시예에 따라서, 비디오캠은 컬러 영상을 제공하는 깊이 센서로 대체될 수도 있다.
또한, 깊이 센서(103)는 사용자의 신체 체형을 계측하고, 사용자의 움직임을 캡쳐할 수 있다. 이 때, 사용자의 신체 체형을 보다 정확하게 측정할 수 있도록 깊이 센서(102) 또는 깊이 센서(103)가 피팅 서비스 제공 시스템의 하단, 측면, 후면에 위치할 수 있다. 피팅 서비스 제공 시스템에 구비되는 깊이 센서의 개수는 제한이 없으며, 깊이 센서가 많을수록 그 정확도는 높아질 수 있다. 최소 사양으로, 피팅 서비스 제공 시스템은 사용자의 전면에 깊이 센서가 배치될 수 있다.
피팅 서비스 제공 시스템에 배치되는 깊이 센서와 비디오캠은 하나의 기준 좌표계에 대해 기하보정될 필요가 있다. 여기서, 기하 보정은 기준 좌표계에 대해 각 깊이 센서와 비디오캠의 상대 좌표계를 보정하고, 깊이 센서와 비디오캠 내부의 광학적 투영 계수를 보정하는 과정을 의미할 수 있다.
피팅 서비스 제공 시스템은 휴지기 모드, 사용자 계측 모드, 가상 아이템의 체험 모드, 가상 아이템의 체험 결과 제공 모드로 구분되어 동작할 수 있다.
먼저, 휴지기 모드에서, 피팅 서비스 제공 시스템은 사용자가 체험 영역(105)에 진입했는 지 여부를 판단할 수 있다. 피팅 서비스 제공 시스템은 디스플레이(102)에 설치된 비디오캠을 통해 사용자를 촬영하여 사용자가 디스플레이를 정면을 바라보면 사용자가 거울을 보듯이 반영 이미지를 디스플레이(102)를 통해 표시할 수 있다. 한편, 디스플레이(102)는 특정 영역에서 가상 아이템의 피팅 서비스 제공 시스템의 작동 예시를 표시함으로써, 사용자가 체험 영역(105)에 진입하는 것을 대기할 수 있다.
그리고, 사용자가 체험 영역으로 진입하는 경우, 피팅 서비스 제공 시스템은 사용자 계측 모드로 전환된다. 피팅 서비스 제공 시스템은 사용자에게 가상 아이템의 피팅 서비스를 체험할 것인지에 대한 의사 여부를 디스플레이(102)의 UI를 통해 제시할 수 있다. 사용자가 디스플레이(102)에 표시된 UI를 통해 성별 정보를 입력하면, 가상 아이템 피팅 장치(101)는 사용자가 선택한 성별 정보에 대응하는 3차원 표준 아바타를 메모리에서 로드할 수 있다.
도 2는 일실시예에 따른 가상 아이템의 피팅 서비스 제공 시스템을 통해 사용자에게 가상 아이템의 피팅 결과를 디스플레이하는 결과를 도시한 도면이다.
피팅 서비스 제공 시스템은 사용자로부터 3차원 형상 정보를 획득하기 위해 미리 설정한 특정 자세의 실루엣 영상을 디스플레이(203)를 통해 표시할 수 있다. 그리고, 피팅 서비스 제공 시스템은 사용자가 일정 시간이상 특정 자세를 유지하기를 요청하는 메시지를 디스플레이(203)를 통해 표시할 수 있다. 이 때, 사용자는 디스플레이(203)에 표시된 특정 자세를 측정 영역 또는 체험 영역에서 일정 시간동안 유지하는 경우, 깊이 센서(103)는 사용자의 깊이 영상을 촬영한 후, 가상 아이템 피팅 장치(201)에 깊이 영상을 전달할 수 있다. 깊이 센서(204)의 동작은 사용자의 후면에 위치한 깊이 센서도 동일하게 적용될 수 있다.
이 후, 가상 아이템의 체험 모드를 통해 가상 아이템 피팅 장치(201)는 깊이 영상을 이용하여 3차원 표준 아바타를 사용자의 외형적 신체 특성을 반영한 사용자 아바타로 변환할 수 있다. 이 때, 가상 아이템 피팅 장치(201)는 사용자가 선택한 가상 아이템을 사용자 아바타에 적용한 후, 사용자의 움직임이나 가상 아이템에 미치는 조명 효과를 추가적으로 적용할 수 있다. 그러면, 가상 아이템 피팅 장치(201)는 사용자 아바타와 비디오캠(205)를 통해 촬영된 사용자의 컬러 영상을 합성한 후, 디스플레이(203)를 통해 사용자에게 제공할 수 있다. 사용자는 사용자 아바타와 컬러 영상이 합성된 결과를 통해 마치 사용자가 가상 아이템을 착용하고 거울을 보는 듯한 느낌을 가질 수 있다.
사용자는 가상 아이템을 변경하면서 사용자 아바타를 통해 가상 아이템이 착용된 결과를 확인하고, 그 중에서 자신에게 가장 잘 어울리는 가상 아이템을 착용한 사용자 아바타를 선택할 수 있다. 그러면, 가상 아이템 피팅 장치(201)는 가상 아이템의 체험 결과 제공 모드로 전환되어, 사용자가 선택한 사용자 아바타를 캡쳐하여 사용자에게 제공할 수 있다.
도 3은 일실시예에 따른 3차원 표준 아바타와 관절 구조의 대응 관계를 도시한 도면이다.
가상 아이템 피팅 장치는 사용자가 입력한 성별 정보에 대응하여 3차원 표준 아바타를 로딩한다. 그리고, 사용자의 3D 형상 정보를 얻기 위해 피팅 서비스 제공 시스템은 디스플레이를 통해 사용자로 하여금 특정 자세의 실루엣 영상을 UI 로 제공한다. 또한, 피팅 서비스 제공 시스템은 사용자가 미리 설정된 시간동안 사용자가 특정 자세를 유지해 주기를 요청하는 UI를 디스플레이를 통해 제공할 수 있다. 그러면, 사용자는 디스플레이를 보면서 특정 자세를 일정한 시간동안 유지할 수 있다.
이 경우, 깊이 센서는 특정 자세로 유지하고 있는 사용자의 깊이 영상을 촬영하여, 가상 아이템 피팅 장치에 전달할 수 있다. 또한, 비디오캠도 특정 자세로 유지하고 있는 사용자의 컬러 영상을 촬영하여, 가상 아이템 피팅 장치에 전달할 수 있다. 가상 아이템 피팅 장치는 깊이 센서로부터 전달된 깊이 영상과 비디오캠으로부터 전달된 컬러 영상을 저장할 수 있다. 그런 후에, 가상 아이템 피팅 장치는 깊이 영상을 이용하여 사용자의 형상을 복원하고, 관절구조를 추정할 수 있다. 만약, 깊이 센서가 사용자의 움직임 정보를 제공하는 경우, 가상 아이템 피팅 장치는 사용자의 각 관절의 관절 정보를 함께 저장할 수 있다.
가상 아이템 피팅 장치는 깊이 영상의 현재 픽셀과 현재 픽셀에 인접하는 인접 픽셀의 깊이 정보를 이용하여 삼각형 또는 사각형으로 구성된 3차원 메쉬(mesh)를 생성할 수 있다. 그런 후, 가상 아이템 피팅 장치는 3차원 메쉬를 구성하는 각 버텍스(vertex)의 3차원 위치를 깊이 영상에 표현된 현재 픽셀의 깊이 정보와 기하보정 정보를 이용하여 결정함으로써, 기준좌표계를 통해 표현된 사용자의 3차원 형상 패치를 복원할 수 있다.
3차원 형상 패치가 복원되면, 가상 아이템 피팅 장치는 사용자의 관절 구조를 추정할 수 있다. 일례로, 가상 아이템 피팅 장치는 기준좌표계에서 복원된 3차원 형상 패치를 포함할 수 있는 복셀(voxel) 공간을 설정할 수 있다.
즉, 가상 아이템 피팅 장치는 3차원 형상 패치를 특정한 크기의 복셀의 조합으로 구성할 수 있다. 가상 아이템 피팅 장치는 복셀 공간과 3차원 형상 패치를 구성하는 3차원 메쉬가 3차원 공간 상에서 교차가 발생하는 지 여부를 판단할 수 있다. 이와 같이 가상 아이템 피팅 장치는 3차원 공간 상에서 교차가 발생하는 지 여부에 기초하여 3차원 형상 패치에 복셀을 채울 것인지 아니면 비울 것인지를 결정할 수 있다.
또한, 교차가 발생하는 경우, 가상 아이템 피팅 장치는 교차를 발생시킨 깊이 센서의 카메라 원점을 기준으로 가시성(visibility)를 확인하여 사용자의 인체 내부에 해당하는 복셀들의 채움을 결정할 수 있다. 구체적으로, 가상 아이템 피팅 장치는 3차원 형상 패치를 형성하기 위한 모든 표면 복셀이 참여하는 가시적인 로컬 외형(visible local appearance)의 최대 우도(likelihood) 컬러를 취함으로써, 각 표면 복셀의 채움이 결정될 수 있다. 여기서, 가시성은 각 깊이 센서의 시점(viewpoint)에서 결정된다.
또한, 가상 아이템 피팅 장치는 사용자의 인체 부위별 3차원 골격 정보와 인체 계측 정보를 이용하여 사용자의 골격 구조에서 각 관절의 위치를 추정할 수 있다. 구체적으로, 가상 아이템 피팅 장치는 부위 별로 생성된 3차원 골격 정보를 이용하여 각 관절의 위치를 추정하고, 인접 관절들의 위치 정보를 이용하여 각 관절의 회전각을 추출할 수 있다.
또한, 가상 아이템 피팅 장치는 3차원 표준 아바타의 각 부위별 정보와 사용자의 인체 계측 정보에 포함된 각 부위별 정보 간의 오차율을 이용하여 사용자의 관절의 위치를 추정할 수 있다. 관절 위치가 추정되면, 사용자의 관절 구조인 스켈레톤 구조가 생성될 수 있다. 관절의 위치를 추정하는 과정은 도 7에서 구체적으로 설명하기로 한다.
사용자 아바타는 3차원 아바타에 관절 길이를 반영함으로써 결정된다. 즉, 사용자의 관절구조가 생성되면 사용자의 키와 팔, 다리 길이 등의 기본적인 관절의 길이 정보들이 추출될 수 있다. 그러면, 가상 아이템 피팅 장치는 사용자의 관절의 길이 정보를 이용하여 3차원 표준 아바타의 관절의 길이 정보를 변경함으로써 3차원 표준 아바타가 사용자의 골격 구조와 동일하도록 3차원 표준 아바타의 골격 구조를 조정할 수 있다.
만약, 3차원 표준 아바타가 리깅(rigging)된 경우, 골격 구조의 길이 변형에 따라 3차원 표준 아바타의 외형적인 3차원 형상도 변형된다. 여기서, 리깅은 3차원 아바타의 관절 구조의 움직임에 따라 3차원 아바타의 각 버텍스의 위치를 제어함으로써 3차원 아바타의 형상을 변형하는 것을 의미할 수 있다.
도 4는 일실시예에 따른 3차원 표준 아바타에 사용자의 부피 정보를 반영하기 위한 과정을 도시한 도면이다.
도 3의 과정은 3차원 표준 아바타에서 사용자의 관절 간 길이 정보를 반영하는 것을 의미하지만, 아직 사용자의 부피 정보까지 반영된 것은 아니다. 가상 아이템 피팅 장치는 사용자의 관절 구조를 이용하여 사용자의 부피 정보를 3차원 표준 아바타에 반영할 수 있다.
일례로, 가상 아이템 피팅 장치는 사용자의 부피 정보를 3차원 표준 아바타에 반영하기 위해 사용자의 관절 구조에서 관절과 관절 간의 기준축에 수직인 단면을 생성할 수 있다. 즉, 가상 아이템 피팅 장치는 관절의 진행 방향에 수직인 단면을 생성할 수 있다. 예를 들어, 가상 아이템 피팅 장치는 허리 단면, 가슴 단면 등을 생성할 수 있다.
도 4의 경우, 사용자의 허리 단면(404)을 중심으로 설명된다. 가상 아이템 피팅 장치는 복원된 사용자의 3차원 형상 패치(401, 402)과 허리 단면(404)간의 교차점들(405, 406)의 정보를 수집한다. 그리고, 가상 아이템 피팅 장치는 3차원 표준 형상에서 허리 단면(404)에 대응하는 2차원 형상 정보(407)를 추출하고, 교차점들(405)과 교차점들(406)와 2차원 형상 정보(407)간의 평면상 차분값을 결정할 수 있다.
이 때, 2차원 형상 정보(407)는 사용자가 실제 의복을 입은 상태의 단면과 관련될 수 있으므로, 가상 아이템 피팅 장치는 2차원 형상 정보(407)를 교차점들(405, 406)과 교차하도록 확장할 때 사용자의 인체 형상의 인체 계측학적 속성을 이용할 수 있다. 즉, 인체 계측학적 속성은 표준적인 허리 단면(404)는 타원형의 형태를 가진다는 정보를 의미하며, 3차원 표준 아바타에 미리 반영될 수 있다. 따라서, 가상 아이템 피팅 장치는 교차점들(405)과 교차점들(406)의 차분 영상 정보에서 2차원 형상 정보(407)이 확장되어 변형될 수 있는 변형 정도를 계산할 수 있다. 이 때, 2차원 형상 정보(407)는 교차점들(405)과 교차점들(406)을 초과하지 않는 범위에서 확장되어 변형될 수 있다.
이러한 과정을 통해 3차원 표준 아바타에 사용자의 부피 정보가 반영될 수 있다. 결론적으로, 본 발명의 일실시예에 따르면, 사용자의 관절 길이 정보와 부피 정보를 3차원 표준 아바타에 반영하여 변형함으로써 사용자의 외형적 신체 특성이 반영된 사용자 아바타를 생성할 수 있다.
도 5는 일실시예에 따른 사용자의 주요신체 부위의 계측 결과를 도시한 도면이다.
도 5를 참고하면, 사용자의 주요 신체 부위의 단면 교차 정보를 이용하여 목둘레, 허리둘레와 같은 사용자의 주요 신체 부위의 둘레 정보가 측정될 수 있다. 이러한 신체 부위의 둘레 정보를 통해 3차원 표준 아바타에서 사용자 아바타로 변형될 때 보다 사용자의 외형적 신체 특성이 정확하게 반영될 수 있다.
도 6은 일실시예에 따른 사용자의 골격 구조를 나타낸 도면이다.
가상 아이템 피팅 장치는 깊이 센서로부터 측정한 깊이 영상을 이용하여 사용자의 골격 구조를 결정할 수 있다. 구체적으로 가상 아이템 피팅 장치는 깊이 영상으로부터 도출된 3차원 형상 패치에 기초하여 사용자의 골격 구조를 결정한 후, 사용자의 골격 구조로부터 관절 구조를 추정할 수 있다.
이를 위해, 가상 아이템 피팅 장치는 인체의 부위 별 3차원 골격 정보와 부위 정보를 이용하여 인체의 키 정보를 추출한다. 그리고, 가상 아이템 피팅 장치는 사용자의 키에서 팔 및 다리 길이, 무릎 길이 등이 평균적으로 어느 정도의 길이를 갖는지에 대한 부위별 평균 길이를 결정한 후, 부위별 평균 길이를 부위별 3차원 골격 구조에 적용할 수 있다. 그러면, 가상 아이템 피팅 장치는 사용자의 인체 부위별 3차원 골격 정보에 커브를 매칭하여 관절 위치를 추정할 수 있다.
도 7은 일실시예에 따른 사용자의 관절 위치를 추정하는 과정을 나타낸 도면이다.
가상 아이템 피팅 장치는 사용자의 오른팔에 대한 3D 골격에서 하단부(32)로부터 사용자의 손 길이에 해당하는 영역 근처에 가장 작은 둘레 길이를 갖는 지점을 손목 관절의 위치(34)로 추정한다. 또한, 가상 아이템 피팅 장치는 사용자의 계측 정보를 이용하여 어깨로 추정되는 영역 근처에 단면의 둘레 길이가 급격하게 변하는 지점을 어깨 관절의 위치(36)로 추정한다.
손목과 어깨 관절의 위치가 추정되면, 팔꿈치 관절은 사용자의 팔에서 어깨와 손목 관절 사이에서 유일하게 굽힘이 발생할 수 있는 부분이므로, 가상 아이템 피팅 장치는 손목 관절의 위치(34)와 어깨 관절의 위치(36)을 연결한 선으로부터 가장 거리가 먼 지점을 팔꿈치 관절의 위치(38)로 추정한다.
이와 같이, 가상 아이템 피팅 장치는 위치 추정이 명확하거나 무릎 또는 팔꿈치 등과 같이 접힘이 존재하여 위치 추정이 용이한 관절의 위치를 먼저 추정하고, 나머지 추정되지 아니한 관절 위치는 먼저 추정된 관절의 위치와 사용자계측 정보를 이용하여 자동으로 추정할 수 있다. 그리고, 가상 아이템 피팅 장치는 추정된 관절의 위치 정보를 조합하여 임의의 자세를 취한 사용자의 전체 골격구조를 추정한다.
도 8은 일실시예에 따른 가상 아이템 피팅 방법을 도시한 도면이다.
단계(801)에서, 가상 아이템의 피팅 서비스 제공 시스템은 피팅 서비스 제공 시스템은 휴지기 모드를 수행할 수 있다. 그리고, 단계(802)에서 피팅 서비스 제공 시스템은 사용자 계측 모드를 수행할 수 있다. 단계(803)에서, 피팅 서비스 제공 시스템은 가상 아이템의 체험 모드를 수행할 수 있다. 또한, 단계(804)에서, 피팅 서비스 제공 시스템은 가상 아이템의 체험 결과 제공 모드로 구분되어 동작할 수 있다. 휴지기 모드는 도 1 및 도 2에서 설명하였으니 여기서 설명을 생략하기로 하고, 단계(802)는 도 9, 단계(803)은 도 10, 단계(804)는 도 11에서 구체적으로 설명하기로 한다.
도 9는 도 8의 사용자 계측 모드에 따라 동작하는 과정을 구체화한 도면이다.
단계(901)에서, 피팅 서비스 제공 시스템은 사용자가 체험 영역으로 진입했는지를 감지할 수 있다. 그리고, 단계(902)에서, 피팅 서비스 제공 시스템은 사용자로부터 가상 아이템의 피팅 서비스를 체험할 것인지를 물어볼 수 있다. 이 때, 사용자가 체험 의사가 없는 경우, 피팅 서비스 제공 시스템은 다시 휴지기 모드로 동작할 수 있다. 그리고, 사용자가 체험 의사가 있는 경우, 단계(903)에서 피팅 서비스 제공 시스템은 사용자의 설정 정보를 수신할 수 있다. 여기서, 사용자의 설정 정보는 사용자의 성별 정보를 의미할 수 있다.
그러면, 단계(904)에서, 피팅 서비스 제공 시스템은 사용자의 성별 정보에 대응하는 3차원 표준 아바타를 로드할 수 있다. 그런 후, 단계(905)에서 피팅 서비스 제공 시스템은 사용자에게 특정 자세를 일정 시간동안 유지할 것을 요청한 후, 특정 자세를 유지하고 있는 사용자의 외형적 신체 특성을 계측할 수 있다. 단계(906)에서, 피팅 서비스 제공 시스템은 깊이 영상에 기초하여 사용자의 3차원 형상을 복원하고, 관절 구조를 추정할 수 있다. 이 후, 단계(907)에서, 피팅 서비스 제공 시스템은 3차원 표준 아바타에 사용자의 외형적 신체 특성을 반영하여 사용자 아바타를 생성할 수 있다. 구체적으로, 피팅 서비스 제공 시스템은 3차원 표준 아바타의 관절 길이 정보와 부피 정보를 변형함으로써 사용자 아바타를 생성할 수 있다. 사용자 아바타를 생성하는 과정은 도 2 내지 도 6을 참고할 수 있다.
도 10은 도 8의 가상 아이템의 체험 모드에 따라 동작하는 과정을 구체화한 도면이다.
단계(1001)에서, 피팅 서비스 제공 시스템은 사용자로부터 가상 아이템의 선택 결과를 수신할 수 있다. 즉, 사용자는 복수의 가상 아이템들 중 자신이 피팅하고자 하는 가상 아이템을 선택할 수 있다.
단계(1002)에서, 피팅 서비스 제공 시스템은 사용자 아바타에 가상 아이템을 피팅할 수 있다. 앞서 설명하였듯이, 사용자 아바타는 깊이 영상으로부터 도출된 3차원 형상 패치를 이용하여 3차원 표준 아바타로부터 사용자의 외형적 신체 특성인 관절 구조와 부피 정보가 반영된 것일 수 있다.
일례로, 각각의 가상 아이템이 3차원 표준 아바타에 미리 피팅되어 있다고 가정한다. 이 경우, 피팅 서비스 제공 시스템은 가상 아이템을 구성하는 버텍스 각각과 3차원 표준 아바타의 메쉬 간 거리를 이용하여 3차원 표준 아바타에서 사용자 아바타로 변형될 때 발생하는 3차원 표준 아바타의 메쉬와 사용자 아바타의 메쉬 간의 이동 변위만큼 가상 아이템의 버텍스에 반영할 수 있다. 그러면, 가상 아이템이 피팅된 3차원 표준 아바타는 가상 아이템이 피팅된 사용자 아바타로 쉽게 변형될 수 있다. 즉, 피팅 서비스 제공 시스템은 3차원 표준 아바타로부터 사용자 아바타를 생성할 때, 3차원 표준 아바타에 피팅된 가상 아이템이 함께 변형되도록 함으로써, 가상 아이템이 사용자 아바타에도 피팅되도록 한다.
또한, mass-spring 모델과 같은 단순한 물리 시뮬레이션 엔진(예: nvidia physics or APEX)등을 이용하여 사용자 아바타에 가상 아이템을 쉽게 피팅할 수 있다.
단계(1003)에서, 피팅 서비스 제공 시스템은 사용자의 움직임을 사용자 아바타에 적용할 수 있다. 3차원 표준 아바타가 리깅되어 있다면, 3차원 표준 아바타의 관절 구조와 형상을 구성하는 각 버텍스의 위치가 사용자 아바타에도 보존될 수 있다. 그러면, 사용자 아바타도 관절 구조를 구성하는 각 관절의 회전 및 이동을 제어함으로써 사용자 아바타의 형상이 결정될 수 있다.
일례로, 피팅 서비스 제공 시스템은 깊이 센서에서 입력되는 사용자 움직임(모션) 정보를 사용자 아바타의 관절 구조에 맞게 실시간 모션 리타게팅함으로써 사용자 아바타의 형상을 제어할 수 있다. 뿐만 아니라, 피팅 서비스 제공 시스템은 사용자 아바타에 피팅된 가상 아이템의 각 버텍스들의 위치들을 사용자 아바타의 형상 변형에 맞게 시뮬레이션하여 제어함으로써 가상 아이템도 사용자의 움직임에 맞도록 변형시킬 수 있다.
피팅 서비스 제공 시스템은 사용자 아바타의 관절구조를 구성하는 각 관절의 local 3자유도 회전 및 3자유도 이동으로 모션 리타게팅(motion retargeting)함으로써 실시간으로 변화하는 사용자의 움직임을 사용자 아바타에 반영할 수 있다.
이 때, 깊이 센서가 사용자의 움직임(모션) 정보를 제공하는 경우, 피팅 서비스 제공 시스템은 약 20개 정도 관절의 국부 회전 및 이동을 사용자 아바타에 대응되도록 제어할 수 있다. 깊이 센서가 움직임 정보를 제공하지 않는 경우, 앞서 설명한 도 6 및 도 7의 설명을 고려하여 사용자의 움직임을 사용자 아바타에 반영할 수 있다.
깊이 센서가 사용자의 움직임 정보를 제공하는 경우, 사용자의 움직임이 깊이 센서의 화각에 어느 정도 입력되는 지 여부에 따라 깊이 센서가 제공하는 Hipcenter 관절(root 관절)이 기준 좌표계로부터 이동되는 3자유도의 관절 이동이 의도치하게 상하로 변할 수 있다. 이러한 현상은 깊이 센서가 사용자의 힙(hip) 이하의 하체 정보를 수집하지 않는 경우에 발생될 수 있다. 이 경우, 사용자의 움직임을 반영한 사용자 아바타는 상하로 움직이게 되어 오차가 발생되며, 사실적인 가상 아이템의 피팅 체험이 어려울 수 있다.
본 발명의 일실시예에 따르면, 깊이 센서에서 제공된 리타겟팅된 움직임 정보를 이용하여 형상 제어된 사용자 아바타의 3차원 형상 정보와 깊이 센서에서 도출된 영상 프레임의 깊이 정보를 이용하여 원하지 않는 hipcenter의 상하 이동을 제어할 수 있다.
예를 들어, 사용자가 피팅 서비스 제공 시스템에 근접하는 경우, 깊이 센서에 사용자의 하체 정보가 제공되지 않을 수 있다. 그러면, 깊이 센서가 제공하는 사용자의 움직임 정보는 hipcenter를 중심으로 상하로 불특정하게 이동할 수 있다. 이와 같이 상하로 불특정하게 이동하는 사용자의 움직임 정보가 리타겟팅된 사용자 아바타는 원하지 않는 방향으로 형상 변형될 수 있다. 그래서, 같은 프레임에서 입력된 깊이 영상의 3차원 형상 패치를 기준 좌표계를 중심으로 비교하면 사용자의 어깨 부분에서 상하의 차분이 도출될 수 있다.
피팅 서비스 제공 시스템은 도출된 상하의 차분 성분을 사용자 아바타의 움직임에 대한 리타겟팅 결과에 역반영하여 사용자 아바타의 어깨 부분의 메쉬 형상이 깊이 영상의 어깨 부분의 메쉬 형상에 매핑되도록 한다. 즉, 피팅 서비스 제공 시스템은 사용자 아바타의 root 관절을 역제어함으로써 어깨 들석임 현상을 방지할 수 있다.
단계(1004)에서, 피팅 서비스 제공 시스템은 가상 아이템의 조명 효과를 사용자 아바타에 반영할 수 있다.
구체적으로 피팅 서비스 제공 시스템은 주변의 조명 효과를 반영하여 가상 아이템을 사실적으로 렌더링할 수 있다. 일례로, 피팅 서비스 제공 시스템은 사용자 아바타의 움직임에 따라 변형된 가상 아이템의 3차원 메쉬에 대해 피팅 서비스 제공 시스템에 설치된 공간의 반구형 또는 큐브형 환경맵(environment map)을 미리 촬영할 수 있다. 그러면, 피팅 서비스 제공 시스템은 공간 상에 배치된 광원에 대해 각각의 3차원 메쉬별로 광선 트레이싱(ray tracing) 기법 또는 쉐이더(shader) 기업을 이용하여 사실적으로 가상 아이템을 렌더링할 수 있다.
단계(1005)에서, 피팅 서비스 제공 시스템은 사용자 아바타와 컬러 영상을 합성할 수 있다. 구체적으로, 피팅 서비스 제공 시스템은 사용자 아바타에 가상 아이템이 피팅된 결과를 컬러 영상 위에 렌더링하여 증강현실로 합성할 수 있다. 이 후, 피팅 서비스 제공 시스템은 디스플레이를 통해 사용자에게 가상 아이템의 피팅 결과를 제공할 수 있다. 사용자는 자신이 선택한 가상 아이템을 움직임에 따라 실시간으로 연동되어 제어된 사용자 아바타를 피드백을 통해 제공받을 수 있다.
일례로, 피팅 서비스 제공 시스템은 가상 아이템이 피팅된 사용자 아바타의 렌더링 영상과 사용자를 캡쳐한 컬러 영상을 기하보정 정보를 이용하여 합성한 후 디스플레이를 통해 사용자에게 실시간 피드백할 수 있다. 깊이 영상과 컬러 영상을 수집하는 각 센서가 정밀하게 기하보정되어 있다면, 영상 합성은 증강현실을 통해 쉽게 구현될 수 있다.
결국, 피팅 서비스 제공 시스템은 미러모드와 같이 사용자가 자신이 거울을 보는 듯한 컬러 영상을 제공할 수 있다. 이 때, 미러모드로 표현되는 컬러 영상은 컬러 영상을 수집하는 센서의 거울모드 관정 정보를 통해 표현될 수 있다.
하지만, 센서가 거울 모드를 지원하지 않는 경우, 피팅 서비스 제공 시스템은 센서 간의 기하보정 정보를 이용하여 사용자의 움직임 정보를 센서 좌표계로 변환할 수 있디. 그리고, 피팅 서비스 제공 시스템은 센서 좌표계의 로컬 좌표계에서 영상의 가로축을 구성하는 로컬 좌표계 축을 중심으로 좌우 대칭 이동함으로써 거울 모드를 구현할 수 있다.
단계(1006)에서, 사용자로부터 가상 아이템의 변경 요청을 수신하면, 피팅 서비스 제공 시스템은 단계(1001)로 되돌아갈 수 있다. 그리고, 사용자로부터 가상 아이템의 변경 요청이 없으면, 피팅 서비스 제공 시스템은 실시간으로 변동되는 사용자의 움직임을 사용자 아바타에 적용할 수 있다.
도 11은 도 8의 가상 아이템의 체험 결과 제공 모드에 따라 동작하는 과정을 구체화한 도면이다.
단계(1101)에서, 피팅 서비스 제공 시스템은 사용자 아바타와 컬러 영상이 합성된 결과를 제공할 수 있다.
단계(1102)에서, 사용자가 체험한 가상 아이템에 대해 사용자가 마음에 드는 자세에서 컬러 영상과 합성된 사용자 아바타를 선택하면, 피팅 서비스 제공 시스템은 선택 결과를 수신할 수 있다. 그러면, 피팅 서비스 제공 시스템은 사용자가 선택한 사용자 아바타의 화면을 캡쳐할 수 있다.
단계(1103)에서, 피팅 서비스 제공 시스템은 사용자가 선택할 당시의 가상 아이템의 구매 정보와 수치 정보와 관련된 식별 태그를 생성할 수 있다. 일례로, 피팅 서비스 제공 시스템은 사용자가 선택한 가상 아이템의 구매 장소의 위치, 연락 정보, 사이트 링크 정보와 같은 구매 정보를 QR 코드와 같은 스마트코드로 생성할 수 있다.
뿐만 아니라, 피팅 서비스 제공 시스템은 사용자가 선택한 가상 아이템의 기장, 밑단과 같이 차후에 수선이 필요한 가상 아이템의 수치 정보를 별도의 QR 코드로 생성할 수 있다. 이러한 수치 정보는 수선실에서 접속할 수 있는 별도의 DB에 저장될 수도 있다. 그러면, 수선실은 QR 코드를 통해 수치 정보를 전달받거나 DB에 접속하여 수치 정보를 확인할 수 있다.
단계(1104)에서, 피팅 서비스 제공 시스템은 식별 태그를 사용자 아바타의 캡쳐 화면에 오버레이하여 사용자에게 제공할 수 있다. 이러한 캡쳐 화면은 포토 프린팅되거나, 이메일 전송, 소셜 네트워크 서비스에 연동하는 등 다양한 방식으로 제공될 수 있다.
이상으로, 본 발명은 피팅 서비스 제공 시스템을 통해 사용자가 미리 설정된 특정 자세를 일정 시간이상 유지하면 실시간적으로 사용자의 체형이 반영된 사용자 아바타를 생성하고, 사용자가 선택한 가상 아이템을 반영한 후 사용자의 실시간 움직임을 반영할 수 있다. 그리고, 사용자가 선택한 가상 아이템이 적용된 사용자 아바타는 사용자의 전면에 위치한 디스플레이를 통해 증강현실로 제공되어 즉석에서 가상 아이템이 착용된 사용자 자신의 전체적인 룩을 확인하거나 가상 아이템의 피팅 정보를 확인할 수 있도록 한다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 가상 아이템 피팅 장치
102: 디스플레이
103, 106, 107: 깊이 영상 촬영 장치
104: 측정 영역
105: 체험 영역

Claims (27)

  1. 사용자 계측 모드로 전환하기 위하여 사용자가 체험 영역에 위치했는지 여부를 판단하는 단계;
    상기 사용자가 체험 영역에 위치하면, 사용자가 입력한 설정 정보에 대응하는 3차원 표준 아바타를 로딩하는 단계;
    미리 설정된 자세로 있는 사용자의 깊이 영상을 획득하는 단계;
    상기 사용자의 깊이 영상을 이용하여 3차원 표준 아바타를 사용자의 외형적 신체 특성이 반영된 사용자 아바타로 변형하는 단계;
    상기 사용자가 선택한 가상 아이템을 사용자 아바타에 피팅하는 단계; 및
    실시간으로 변화하는 사용자의 움직임을 가상 아이템이 피팅된 사용자 아바타에 적용하는 단계
    를 포함하고,
    상기 가상 아이템이 피팅된 사용자 아바타의 렌더링 영상과 상기 사용자를 실시간으로 캡쳐하여 수집된 컬러 영상을 기하보정 정보를 이용하여 합성하고, 상기 가상 아이템이 상기 사용자의 움직임에 따라 실시간으로 연동되어 제어된 사용자 아바타를 디스플레이를 통해 사용자에게 실시간 피드백하는, 가상 아이템 피팅 방법.
  2. 제1항에 있어서,
    상기 3차원 표준 아바타를 사용자의 외형적 신체 특성이 반영된 사용자 아바타로 변형하는 단계는,
    상기 사용자의 깊이 영상로부터 3차원 형상 패치를 복원하는 단계;
    상기 3차원 형상 패치를 이용하여 3차원 표준 아바타의 관절 길이 정보를 변경하는 단계; 및
    상기 3차원 형상 패치를 이용하여 3차원 표준 아바타의 부피 정보를 변경하는 단계
    를 포함하는 가상 아이템 피팅 방법.
  3. 제2항에 있어서,
    상기 3차원 형상 패치를 복원하는 단계는,
    상기 깊이 영상의 현재 픽셀과 인접 픽셀의 깊이 정보를 이용하여 3차원 메쉬로 표현하는 단계; 및
    상기 깊이 정보와 기하보정 정보에 따라 메쉬를 구성하는 버텍스의 3차원 위치를 결정하는 단계
    를 포함하는 가상 아이템 피팅 방법.
  4. 제2항에 있어서,
    상기 3차원 표준 아바타의 관절 길이 정보를 변경하는 단계는,
    상기 3차원 형상 패치를 이용하여 사용자의 관절 구조를 추정하는 단계; 및
    상기 추정된 관절 구조로부터 사용자의 관절 길이 정보를 추출하여 3차원 표준 아바타의 관절 길이 정보에 적용하는 단계
    를 포함하는 가상 아이템 피팅 방법.
  5. 제2항에 있어서,
    상기 3차원 표준 아바타의 부피 정보를 변경하는 단계는,
    상기 3차원 형상 패치로부터 추정된 사용자의 관절 구조로부터 관절의 진행 방향에 수직인 단면을 생성하는 단계; 및
    상기 복원된 3차원 형상 패치와 단면 간의 교차점을 이용하여 3차원 표준 아바타의 부피 정보를 조절하는 단계
    를 포함하는 가상 아이템 피팅 방법.
  6. 제1항에 있어서,
    상기 사용자가 선택한 가상 아이템을 사용자 아바타에 피팅하는 단계는,
    상기 3차원 표준 아바타와 사용자 아바타 각각의 메쉬 간 이동 변위를 결정하는 단계; 및
    상기 결정된 이동 변위를 가상 아이템의 버텍스에 적용하는 단계
    를 포함하는 가상 아이템 피팅 방법.
  7. 제1항에 있어서,
    상기 가상 아이템이 피팅된 사용자 아바타에 적용하는 단계는,
    상기 사용자 아바타의 관절 구조를 구성하는 관절의 3자유도 회전 및 3자유도 이동에 기초하여 사용자 아바타의 움직임을 리타겟팅하는 가상 아이템 피팅 방법.
  8. 제1항에 있어서,
    상기 가상 아이템이 피팅된 사용자 아바타에 적용하는 단계는,
    상기 사용자 아바타의 움직임에 따라 가상 아이템에 조명 효과를 렌더링하는 가상 아이템 피팅 방법.
  9. 제1항에 있어서,
    상기 가상 아이템이 피팅된 사용자 아바타에 사용자의 컬러 영상을 합성하여 사용자에게 피드백하는 단계
    를 더 포함하는 가상 아이템 피팅 방법.
  10. 사용자 계측 모드로 전환하기 위하여 사용자가 체험 영역에 위치했는지 여부를 판단하고, 상기 사용자가 체험 영역에 위치하면, 사용자가 입력한 설정 정보에 기초하여 3차원 표준 아바타를 로딩하는 단계;
    상기 사용자의 깊이 영상을 이용하여 3차원 표준 아바타를 사용자의 외형적 신체 특성이 반영된 사용자 아바타로 변형하는 단계;
    상기 사용자가 선택한 가상 아이템을 사용자 아바타에 피팅하는 단계; 및
    상기 가상 아이템이 피팅된 사용자 아바타에 사용자의 컬러 영상을 합성하여 사용자에게 피드백하는 단계
    를 포함하고,
    상기 피드백하는 단계는,
    상기 가상 아이템이 피팅된 사용자 아바타의 렌더링 영상과 상기 사용자를 실시간으로 캡쳐하여 수집된 컬러 영상을 기하보정 정보를 이용하여 합성하고, 상기 가상 아이템이 상기 사용자의 움직임에 따라 실시간으로 연동되어 제어된 사용자 아바타를 디스플레이를 통해 사용자에게 실시간 피드백하는, 가상 아이템 피팅 방법.
  11. 제10항에 있어서,
    상기 3차원 표준 아바타를 사용자의 외형적 신체 특성이 반영된 사용자 아바타로 변형하는 단계는,
    상기 사용자의 외형적 신체 특성에 기초하여 상기 3차원 표준 아바타의 관절 길이 정보와 부피 정보를 변경하는 가상 아이템 피팅 방법.
  12. 사용자로부터 가상 아이템의 선택을 수신하는 단계;
    상기 사용자의 신체 특성을 고려하여 상기 선택된 가상 아이템이 피팅된 3차원 표준 아바타를 사용자 아바타로 변형하는 단계;
    상기 사용자의 실시간 움직임을 감지하여 사용자 아바타에 적용하는 단계;
    상기 사용자의 실시간 움직임에 따라 변화하는 조명 효과를 사용자 아바타에 적용하는 단계;
    상기 움직임과 조명 효과가 적용된 사용자 아바타를 사용자에게 피드백하는 단계
    를 포함하고,
    상기 가상 아이템이 피팅된 사용자 아바타의 렌더링 영상과 상기 사용자를 실시간으로 캡쳐하여 수집된 컬러 영상을 기하보정 정보를 이용하여 합성하고, 상기 가상 아이템이 상기 사용자의 움직임에 따라 실시간으로 연동되어 제어된 사용자 아바타를 디스플레이를 통해 사용자에게 실시간 피드백하는, 가상 아이템 피팅 방법.
  13. 제12항에 있어서,
    상기 3차원 표준 아바타를 사용자 아바타로 변형하는 단계는,
    상기 사용자의 신체 특성에 기초하여 상기 3차원 표준 아바타의 관절 길이 정보와 부피 정보를 변경하는 가상 아이템 피팅 방법.
  14. 제12항에 있어서,
    상기 사용자의 실시간 움직임을 감지하여 사용자 아바타에 적용하는 단계는,
    상기 사용자 아바타의 관절 구조를 구성하는 관절의 3자유도 회전 및 3자유도 이동에 기초하여 사용자 아바타의 움직임을 리타겟팅하는 가상 아이템 피팅 방법.
  15. 제12항에 있어서,
    상기 조명 효과를 사용자 아바타에 적용하는 단계는,
    상기 가상 아이템을 구성하는 3차원 메쉬에 대해 광원을 고려한 환경맵을 결정하는 가상 아이템 피팅 방법.
  16. 가상 아이템 피팅 서비스를 위한 체험 영역에 위치한 사용자에게 가상 아이템을 선택하기 위한 인터페이스를 제공하는 단계;
    상기 사용자가 선택한 가상 아이템이 피팅된 사용자 아바타를 표시하는 단계;
    상기 사용자가 표시된 사용자 아바타를 선택하면, 가상 아이템의 구매 정보 또는 수치 정보와 관련된 식별 태그를 생성하는 단계; 및
    상기 생성된 식별 태그를 사용자 아바타의 캡쳐 화면에 오버레이하여 제공하는 단계
    를 포함하고,
    상기 사용자가 선택한 가상 아이템이 피팅된 사용자 아바타를 표시하는 단계는,
    상기 가상 아이템이 피팅된 사용자 아바타의 렌더링 영상과 상기 사용자를 실시간으로 캡쳐하여 수집된 컬러 영상을 기하보정 정보를 이용하여 합성하고, 상기 가상 아이템이 상기 사용자의 움직임에 따라 실시간으로 연동되어 제어된 사용자 아바타를 디스플레이를 통해 사용자에게 실시간 피드백하는, 가상 아이템 피팅 방법.
  17. 제16항에 있어서,
    상기 사용자가 선택한 가상 아이템이 피팅된 사용자 아바타를 표시하는 단계는,
    상기 사용자가 입력한 설정 정보에 대응하는 3차원 표준 아바타를 사용자의 신체 특성을 반영한 사용자 아바타로 변형하여 표시하는 가상 아이템 피팅 방법.
  18. 제17항에 있어서,
    상기 사용자 아바타는,
    상기 3차원 표준 아바타의 관절 길이 정보와 부피 정보가 상기 사용자의 외형적 신체 특성에 기초하여 변경된 아바타인 가상 아이템 피팅 방법.
  19. 사용자에게 가상 아이템의 피팅 서비스를 제공하기 위해 사용자의 체험 영상을 표시하는 디스플레이;
    상기 사용자의 실시간으로 캡쳐하여 사용자의 컬러 영상을 수집하는 컬러 영상 촬영 장치;
    상기 사용자의 움직임과 신체 사이즈를 측정하는 깊이 영상 촬영 장치;
    상기 사용자의 움직임과 신체 사이즈를 고려하여 3차원 표준 아바타를 사용자 아바타로 변환하고, 상기 사용자 아바타에 가상 아이템을 피팅하는 가상 아이템 피팅 장치
    를 포함하고,
    상기 가상 아이템 피팅 장치는,
    상기 가상 아이템이 피팅된 사용자 아바타와 컬러 영상을 합성하여 상기 디스플레이에 피드백하고,
    상기 가상 아이템이 피팅된 사용자 아바타의 렌더링 영상과 상기 사용자를 실시간으로 캡쳐하여 수집된 컬러 영상을 기하보정 정보를 이용하여 합성하고, 상기 가상 아이템이 상기 사용자의 움직임에 따라 실시간으로 연동되어 제어된 사용자 아바타를 디스플레이를 통해 사용자에게 실시간 피드백하는, 가상 아이템의 피팅 서비스 제공 시스템.
  20. 제19항에 있어서,
    상기 가상 아이템 피팅 장치는,
    상기 사용자의 깊이 영상로부터 복원한 3차원 형상 패치를 이용하여 3차원 표준 아바타의 관절 길이 정보와 부피 정보를 변경하는 가상 아이템의 피팅 서비스 제공 시스템.
  21. 제19항에 있어서,
    상기 가상 아이템 피팅 장치는,
    상기 사용자 아바타의 관절 구조를 구성하는 관절의 3자유도 회전 및 3자유도 이동에 기초하여 사용자 아바타의 움직임을 리타겟팅하는 가상 아이템의 피팅 서비스 제공 시스템.
  22. 제19항에 있어서,
    상기 가상 아이템 피팅 장치는,
    상기 사용자 아바타의 움직임에 따라 가상 아이템에 조명 효과를 렌더링하는 가상 아이템의 피팅 서비스 제공 시스템.
  23. 사용자에게 가상 아이템의 피팅 서비스를 제공하기 위해 사용자의 체험 영상을 표시하는 디스플레이;
    상기 사용자의 실시간으로 캡쳐하여 사용자의 컬러 영상을 수집하는 컬러 영상 촬영 장치;
    상기 사용자의 움직임과 신체 사이즈를 측정하는 깊이 영상 촬영 장치;
    상기 사용자가 입력한 설정 정보에 기초하여 3차원 표준 아바타를 로딩하고, 상기 사용자의 깊이 영상을 이용하여 3차원 표준 아바타를 사용자의 외형적 신체 특성이 반영된 사용자 아바타로 변형하며, 상기 사용자가 선택한 가상 아이템을 사용자 아바타에 피팅하는 가상 아이템 피팅 장치
    를 포함하고,
    상기 가상 아이템 피팅 장치는,
    상기 가상 아이템이 피팅된 사용자 아바타와 컬러 영상을 합성하여 상기 디스플레이에 피드백하고,
    상기 가상 아이템이 피팅된 사용자 아바타의 렌더링 영상과 상기 사용자를 실시간으로 캡쳐하여 수집된 컬러 영상을 기하보정 정보를 이용하여 합성하고, 상기 가상 아이템이 상기 사용자의 움직임에 따라 실시간으로 연동되어 제어된 사용자 아바타를 디스플레이를 통해 사용자에게 실시간 피드백하는, 가상 아이템의 피팅 서비스 제공 시스템.
  24. 디스플레이, 컬러 영상 촬영 장치, 및 깊이 영상 촬영 장치를 이용하는 가상 아이템의 피팅 서비스 제공 시스템에 있어서,
    상기 가상 아이템의 피팅 서비스 제공 시스템은,
    사용자로부터 가상 아이템의 선택을 수신하고, 상기 사용자의 신체 특성을 고려하여 상기 선택된 가상 아이템이 피팅된 3차원 표준 아바타를 사용자 아바타로 변형하는 가상 아이템 피팅 장치
    를 포함하고,
    상기 가상 아이템이 피팅된 사용자 아바타의 렌더링 영상과 상기 사용자를 실시간으로 캡쳐하여 수집된 컬러 영상을 기하보정 정보를 이용하여 합성하고, 상기 가상 아이템이 상기 사용자의 움직임에 따라 실시간으로 연동되어 제어된 사용자 아바타를 디스플레이를 통해 사용자에게 실시간 피드백하는, 가상 아이템의 피팅 서비스 제공 시스템.
  25. 제24항에 있어서,
    상기 가상 아이템 피팅 장치는,
    상기 사용자의 실시간 움직임을 감지하여 사용자 아바타에 적용하거나 또는 상기 사용자의 실시간 움직임에 따라 변화하는 조명 효과를 사용자 아바타에 적용한 후 사용자에게 피드백하는 가상 아이템의 피팅 서비스 제공 시스템.
  26. 디스플레이 및 컬러 영상 촬영 장치를 이용하는 가상 아이템의 피팅 서비스 제공 시스템에 있어서,
    상기 가상 아이템의 피팅 서비스 제공 시스템은,
    디스플레이를 통해 사용자에게 가상 아이템을 선택하기 위한 인터페이스를 제공하고, 깊이 영상 촬영 장치를 통해 획득한 깊이 영상을 이용하여 상기 사용자가 선택한 가상 아이템이 피팅된 사용자 아바타를 생성하고, 상기 사용자가 표시된 사용자 아바타를 선택하면, 가상 아이템의 구매 정보 또는 수치 정보와 관련된 식별 태그를 사용자 아바타의 캡쳐 화면에 오버레이하여 제공하는 가상 아이템 피팅 장치
    를 포함하고,
    상기 가상 아이템이 피팅된 사용자 아바타의 렌더링 영상과 상기 사용자를 실시간으로 캡쳐하여 수집된 컬러 영상을 기하보정 정보를 이용하여 합성하고, 상기 가상 아이템이 상기 사용자의 움직임에 따라 실시간으로 연동되어 제어된 사용자 아바타를 디스플레이를 통해 사용자에게 실시간 피드백하는, 가상 아이템의 피팅 서비스 제공 시스템.
  27. 제26항에 있어서,
    상기 가상 아이템 피팅 장치는,
    상기 사용자의 외형적 신체 특성에 따라 3차원 표준 아바타의 관절 길이 정보와 부피 정보를 변경하여 사용자 아바타를 생성하는 가상 아이템의 피팅 서비스 제공 시스템.
KR1020130125889A 2012-12-14 2013-10-22 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템 KR101707707B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/106,532 US9607419B2 (en) 2012-12-14 2013-12-13 Method of fitting virtual item using human body model and system for providing fitting service of virtual item
CN201811389108.9A CN109598798B (zh) 2012-12-14 2013-12-13 虚拟物拟合方法及虚拟物拟合服务系统
CN201310686790.9A CN103871106A (zh) 2012-12-14 2013-12-13 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120146536 2012-12-14
KR20120146536 2012-12-14

Publications (2)

Publication Number Publication Date
KR20140077820A KR20140077820A (ko) 2014-06-24
KR101707707B1 true KR101707707B1 (ko) 2017-02-16

Family

ID=51129661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130125889A KR101707707B1 (ko) 2012-12-14 2013-10-22 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템

Country Status (1)

Country Link
KR (1) KR101707707B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101894956B1 (ko) * 2017-06-21 2018-10-24 주식회사 미디어프론트 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법
US10417829B2 (en) 2017-11-27 2019-09-17 Electronics And Telecommunications Research Institute Method and apparatus for providing realistic 2D/3D AR experience service based on video image
KR20210056595A (ko) * 2019-11-11 2021-05-20 서울과학기술대학교 산학협력단 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20210148591A (ko) 2020-06-01 2021-12-08 지해윤 커뮤니케이션 주식회사 가상현실(vr) 기기를 이용한 스마트 스타일정보 제공 시스템 및 그 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101596242B1 (ko) * 2014-06-27 2016-02-24 주식회사 브이플랩 가상 피팅 장치
US9928412B2 (en) * 2014-10-17 2018-03-27 Ebay Inc. Method, medium, and system for fast 3D model fitting and anthropometrics
KR102240302B1 (ko) 2014-10-21 2021-04-14 삼성전자주식회사 가상 피팅 장치 및 이의 가상 피팅 방법
KR101669927B1 (ko) 2015-01-15 2016-10-27 (주)에프엑스기어 가상 피팅 시스템, 구매 촉진을 위한 가상 피팅 서비스 제공 방법 및 이를 위한 컴퓨터 프로그램
KR101740326B1 (ko) 2015-03-23 2017-06-08 한국전자통신연구원 증강현실 기반 실감체험 장치 및 제공 방법
KR101767144B1 (ko) 2015-08-13 2017-08-11 (주)에프엑스기어 의상의 3차원 모델 생성 장치, 방법 및 이를 위한 컴퓨터 프로그램
KR101698491B1 (ko) 2015-11-05 2017-01-20 (주)에프엑스기어 사용자 장치를 이용한 가상 피팅 서비스 시스템, 방법 및 이를 위한 컴퓨터 프로그램
KR101710521B1 (ko) 2015-11-18 2017-02-27 (주)에프엑스기어 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램
CN106803243A (zh) * 2015-11-21 2017-06-06 周彬 一种基于虚拟实现技术的衣物试穿方法
KR102279063B1 (ko) 2016-03-31 2021-07-20 삼성전자주식회사 이미지 합성 방법 및 그 전자장치
CN110475510B (zh) 2017-03-27 2022-08-02 韩国斯诺有限公司 获取对象的形状信息的方法及装置
KR101995277B1 (ko) * 2017-07-31 2019-10-02 주식회사 자이언소프트 가상신체 구현 시스템
KR102044348B1 (ko) 2017-11-09 2019-11-13 (주)코아시아 증강현실을 이용한 가상 의류 피팅 미러 장치 시스템
KR102044347B1 (ko) 2017-11-09 2019-11-13 (주)코아시아 가상의류 피팅미러 장치를 이용한 의류 구매 시스템
KR101989846B1 (ko) 2017-11-09 2019-07-16 (주)코아시아 증강현실을 이용한 가상 의류 피팅 기능이 내장된 텔레비전
WO2020055154A1 (ko) 2018-09-12 2020-03-19 엘지전자 주식회사 의류등록장치와 의류추천장치 및 이를 포함하여 이루어지는 온라인 시스템
KR102097033B1 (ko) * 2019-10-16 2020-04-03 주식회사 코탁스 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템
KR102279487B1 (ko) * 2020-01-21 2021-07-19 심문보 키오스크를 이용한 증강현실 및 가상현실 체험 시스템
KR102500144B1 (ko) * 2020-11-11 2023-02-15 홍인숙 증강현실을 이용한 가상 악세서리 피팅 시뮬레이션 시스템
KR102387892B1 (ko) * 2021-11-19 2022-04-18 (주)엔더블유컴퍼니 증강현실에 기반한 의류 판매 시스템
KR102506352B1 (ko) * 2022-06-07 2023-03-06 주식회사 엑스바디 전자상거래를 위한 3d 인체 측정 데이터 기반의 디지털 트윈 아바타 제공 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005535031A (ja) * 2002-08-02 2005-11-17 本田技研工業株式会社 人体測定に基づく骨格フィッティング
US20110279475A1 (en) * 2008-12-24 2011-11-17 Sony Computer Entertainment Inc. Image processing device and image processing method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060079883A (ko) * 2005-01-03 2006-07-07 삼성전자주식회사 이미지 합성방법 및 이를 적용한 영상재생장치
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005535031A (ja) * 2002-08-02 2005-11-17 本田技研工業株式会社 人体測定に基づく骨格フィッティング
US20110279475A1 (en) * 2008-12-24 2011-11-17 Sony Computer Entertainment Inc. Image processing device and image processing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101894956B1 (ko) * 2017-06-21 2018-10-24 주식회사 미디어프론트 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법
US10417829B2 (en) 2017-11-27 2019-09-17 Electronics And Telecommunications Research Institute Method and apparatus for providing realistic 2D/3D AR experience service based on video image
KR20210056595A (ko) * 2019-11-11 2021-05-20 서울과학기술대학교 산학협력단 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102365750B1 (ko) * 2019-11-11 2022-02-22 서울과학기술대학교 산학협력단 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20210148591A (ko) 2020-06-01 2021-12-08 지해윤 커뮤니케이션 주식회사 가상현실(vr) 기기를 이용한 스마트 스타일정보 제공 시스템 및 그 방법
KR102419329B1 (ko) * 2020-06-01 2022-07-19 지해윤 커뮤니케이션 주식회사 가상현실(vr) 기기를 이용한 스마트 스타일링 정보 제공 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20140077820A (ko) 2014-06-24

Similar Documents

Publication Publication Date Title
KR101707707B1 (ko) 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템
US9607419B2 (en) Method of fitting virtual item using human body model and system for providing fitting service of virtual item
US20200380333A1 (en) System and method for body scanning and avatar creation
US10628666B2 (en) Cloud server body scan data system
US11640672B2 (en) Method and system for wireless ultra-low footprint body scanning
CN106373178B (zh) 生成人工图像的装置和方法
EP2686834B1 (en) Improved virtual try on simulation service
JP5818773B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4739002B2 (ja) 画像処理方法、画像処理装置
JP6302132B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR20180069786A (ko) 3d 신체 모델에 대한 3d 의복 모델의 이미지 파일을 생성하기 위한 방법 및 시스템
EP2462564B1 (en) Representation of complex and/or deformable objects, and virtual fitting of wearable objects
EP3241211B1 (en) Generating and displaying an actual sized image of an interactive object
WO2018182938A1 (en) Method and system for wireless ultra-low footprint body scanning
KR102655987B1 (ko) 3차원 아바타 생성 장치 및 방법
WO2018173205A1 (ja) 情報処理システム、その制御方法、及びプログラム
JP6545847B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2019044333A1 (ja) シミュレーション装置、シミュレーション方法、及びコンピュータプログラム
JP7465133B2 (ja) 情報処理装置、情報処理方法
Yoon et al. Image-based dress-up system
JP2022112228A (ja) 情報処理装置、情報処理方法及びプログラム
Tharaka Real time virtual fitting room with fast rendering
JP2022067171A (ja) 生成装置、生成方法、及び、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4