KR20180106572A

KR20180106572A - 가상현실 제공장치 및 그 방법

Info

Publication number: KR20180106572A
Application number: KR1020170035105A
Authority: KR
Inventors: 성윤정
Original assignee: 성윤정
Priority date: 2017-03-21
Filing date: 2017-03-21
Publication date: 2018-10-01

Abstract

본 발명은 가상현실 제공장치 및 그 방법에 관한 것으로, 가상현실 공간을 구현하여 사용자가 특정 상황을 체험할 수 있도록 하고, 사용자의 모습을 가상현실 공간에 구현하여, 사용자가 가상현실 공간에서 자신의 모습을 실시간으로 확인할 수 있도록 함으로써, 제공되는 서비스에 사용자가 직접 참여하여 사용자의 움직임이 실시간으로 반영되어 표시됨에 따라 사용자가 가상현실을 직접 체험하는 것과 동일한 효과가 있고, 사용자의 움직임을 분석하여 기 저장된 데이터와 비교하여 사용자의 움직임을 교정하거나 가이드를 문자 또는 이미지로 출력하고, 소정의 효과음 또는 진동을 발생시킴으로써, 사용자가 잘못된 자세를 확인할 수 있도록 하여, 사용자가 특정 동작을 배우거나 자세를 교정하도록 하는 학습 및 교정 효과가 있다.

Description

가상현실 제공장치 및 그 방법{Virtual Reality Device and Method thereof}

본 발명은 가상현실 제공장치 및 그 방법에 관한 것으로, 가상현실 공간을 구현하여 사용자가 특정 상황을 체험할 수 있도록 하는 가상현실 제공장치 및 그 방법에 관한 것이다.

가상현실 기술은, 사용자가 실제로 체험을 하지 않더라도 컴퓨터의 시뮬레이션을 통해 동일하거나 유사한 환경을 접할 수 있도록 한다.

이러한 가상현실 기술은 일반적으로 접근하기 어려운 공간이나 위험한 공간, 또는 고가의 비용이 소용되는 체험을 간접적으로 할 수 있도록 제공한다. 예를 들어, 비행기 조종 시뮬레이션이나, 화재현장에서의 훈련, 우주공간에 대한 훈련 등에 상용되어 왔다.

최근, 이러한 가상현실 기술은 스마트폰 어플 또는 게임에 적용되어 다양한 분야에서 사용되고 있다. 특히 게임의 경우, 사용자가 게임 속에 들어가 플레이 하는 것과 유사하게 환경을 구현하여 제공한다.

그러나, 종래의 가상현실 기술은 가상공간 내에서 사용자의 모습이 실시간으로 구현되는 것은 아니었다. 종래의 가상현실 기술은 제 3자의 시선에 따라 진행되거나, 또는 사용자의 시선을 기준으로 상황이 전개되도록 구성으로, 가상현실 공간 내에 사용자의 모습을 구현하는 것은 아니었다.

사용자의 모습은 가상현실 공간에 실시간으로 나타나도록 하기 위해서는 사용자의 움직임을 감지하고, 이를 3차원으로 구현하여 가상현실 공간에 실시간으로 반영해야 하지만 가상현실의 공간과 현실의 사용자의 공간은 상호 연결하는 것에 어려움이 있었다.

국내 등록특허 제10-0542016호 (2006.01.10 공고) 국내 등록특허 제10-1302138호 (2013.08.30 공고) 국내 등록특허 제10-1389894호 (2014.04.29 공고)

본 발명은 가상현실 제공장치 및 그 방법에 관한 것으로, 사용자의 모습을 가상현실 공간에 구현하여, 사용자가 가상현실 공간에서 자신의 모습을 실시간으로 확인할 수 있도록 하는 가상현실 제공장치 및 그 방법을 제공하는데 있다.

본 발명에 따른 가상현실 제공장치는, 사용자를 촬영하는 영상촬영부; 상기 사용자에 대한 이미지데이터가 수신되는 통신부; 사용자의 위치 및 움직임을 감지하는 센서부; 상기 영상촬영부의 영상데이터 또는 상기 통신부를 통해 수신되는 상기 이미지데이터로부터 3차원의 사용자이미지를 생성하는 3D이미지생성부; 상기 영상데이터 또는 상기 센서부로부터 입력되는 신호에 대응하여 사용자의 움직임을 추출하는 움직임검출부; 상기 사용자이미지에 움직임을 적용하여, 가상현실배경데이터에 상기 사용자이미지를 결합하여 가상현실데이터를 생성하는 가상현실생성부; 및 상기 가상현실데이터를 출력하는 디스플레이를 포함한다.

상기 영상촬영부는 상기 사용자를 각각 상이한 각도에서 촬영하는 제 1 카메라와 제 2 카메라를 포함한다.

상기 영상데이터를 분석하여 배경이미지와 사용자의 이미지를 분리하는 영상처리부;를 더 포함한다.

상기 가상현실생성부는, 선택된 모드에 대응하는 데이터로부터 상기 가상현실 배경데이터를 생성하고, 상기 가상현실 배경데이터에 상기 사용자이미지를 실시간으로 합성하여 상기 가상현실데이터를 생성하는 것을 특징으로 한다.

상기 가상현실생성부는, 선택된 모드에 대응하여 학습용 데이터와 대칭이 되는 위치에 상기 사용자이미지를 배치하여 상기 가상현실데이터를 생성하는 것을 특징으로 한다.

상기 가상현실생성부는, 상기 학습용 데이터의 실루엣을 추출하고, 상기 사용자이미지와 상기 실루엣이 중첩되어 표시되도록 하는 것을 특징으로 한다.

상기 가상현실생성부는 상기 사용자의 체형데이터와 제품의 사이즈정보를 비교하여 상기 사용자이미지에 상기 제품을 결합한 상기 가상현실데이터를 생성하는 것을 특징으로 한다.

상기 가상현실생성부는, 상기 학습용 데이터와 상기 사용자 이미지를 비교하여 자세교정을 위한 비교데이터를 생성하고, 상기 비교데이터에 대응하는 안내를 이미지, 문자, 소리 중 어느 하나의 형태로 출력하는 것을 특징으로 한다.

상기 가상현실생성부는, 상기 학습용 데이터와 상기 사용자 이미지를 비교하여 자세교정을 위한 비교데이터를 생성하고, 상기 비교데이터에 대응하여, 잘못된 자세를 알리기 위한 신호를 생성하고, 상기 센서부는 상기 신호를 수신하여 자세가 잘못된 위치에 설치된 진동모듈 또는 소리출력모듈이 작동하도록 하는 것을 특징으로 한다.

또한, 본 발명의 가상현실 제공장치의 방법은, 사용자를 촬영하여 영상데이터가 입력되거나 또는 상기 사용자에 대한 이미지데이터가 수신되는 단계; 상기 영상데이터 입력 시, 상기 사용자의 위치 및 움직임을 감지하는 단계; 상기 영상데이터 또는 상기 이미지데이터로부터 3차원의 사용자이미지를 생성하는 단계; 선택된 모드에 대응하는 가상현실 배경데이터에 상기 사용자이미지를 결합하여 가상현실데이터를 생성하는 단계; 및 상기 가상현실데이터를 실시간으로 출력하는 단계;를 포함한다.

또한, 선택된 모드에 대응하는 데이터로부터 상기 가상현실 배경데이터를 생성하고, 상기 가상현실 배경데이터에 상기 사용자이미지를 실시간으로 합성하여 상기 가상현실데이터를 생성하는 단계를 더 포함한다.

학습용 데이터의 실루엣을 추출하고, 상기 사용자이미지와 상기 실루엣이 중첩되어 표시되도록 하는 단계를 더 포함한다. 상기 학습용 데이터와 상기 사용자 이미지를 비교하여 자세교정을 위한 비교데이터를 생성하는 단계; 및 상기 비교데이터에 대응하는 안내를 이미지, 문자, 소리 중 어느 하나의 형태로 출력하는 단계를 더 포함한다.

상기 학습용 데이터와 상기 사용자 이미지를 비교하여 자세교정을 위한 비교데이터를 생성하는 단계; 상기 비교데이터에 대응하여, 잘못된 자세를 알리기 위한 신호를 상기 센서부로 전송하는 단계; 자세가 잘못된 위치에 설치된 진동모듈 또는 소리출력모듈이 작동하여 진동 또는 소리가 출력되는 단계를 더 포함한다.

상기와 같이 구성되는 본 발명에 따른 가상현실 제공장치 및 그 방법은 복수의 카메라를 통해 촬영되는 영상으로부터 3차원의 영상을 생성하여 사용자가 가상현실에 함께 참여할 수 있도록 한다.

본 발명은 제공되는 서비스에 사용자가 직접 참여하여 사용자의 움직임이 실시간으로 반영되어 표시됨에 따라 사용자가 가상현실을 직접 체험하는 것과 동일한 효과가 있다.

또한, 본 발명은 사용자의 움직임을 분석하여 기 저장된 데이터와 비교하여 사용자의 움직임을 교정하거나 가이드를 제시하여 사용자가 특정 동작을 배우거나 자세를 교정하도록 한다. 본 발명은 교정 또는 가이드에 따라 소정의 효과음 또는 진동을 발생시킴으로써, 사용자가 잘못된 자세를 확인할 수 있도록 한다.

도 1 은 본 발명에 따른 가상현실 제공장치가 도시된 도이다.
도 2 는 본 발명에 따른 가상현실 제공장치의 다른예가 도시된 도이다.
도 3 은 본 발명에 따른 가상현실 제공장치의 센서 위치를 설명하는데 참조되는 도이다.
도 4 는 본 발명에 따른 가상현실 제공장치의 구성이 간략하게 도시된 도이다.
도 5 는 본 발명에 따른 가상현실 제공장치에 의해 제공되는 가상현실 화면의 예가 도시된 도이다.
도 6 은 본 발명에 따른 가상현실 제공장치에 의해 제공되는 가상현실 화면의 다른 예가 도시된 도이다.
도 7 은 본 발명에 따른 가상현실 제공장치의 교정모드에 따른 실시예가 도시된 도이다.
도 8 은 본 발명에 다른 가상현실 제공장치의 동작방법이 도시된 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하에서는 도면을 참조하여 본 발명의 실시 예에 대해서 구체적으로 설명하기로 한다.

도 1 은 본 발명에 따른 가상현실 제공장치가 도시된 도이다.

본 발명에 따른 가상현실 제공장치는 도 1 에 도시된 바와 같이, 사용자(1)를 촬영하는 적어도 하나의 영상촬영부(50)(51, 52), 가상현실 공간이 구현되어 표시되는 디스플레이(90), 적어도 하나의 스피커를 포함하는 출력부(180)를 포함한다.

디스플레이(90)에는 구현된 가상현실 공간이 표시된다. 또한, 디스플레이(90)에는 영상촬영부(50)를 통해 촬영된 사용자(1)의 모습이 가상현실 공간에 구현되어 표시된다.

또한, 가상현실 제공장치는 사용자의 움직임을 감지하기 위한 센서부를 더 포함한다. 센서부는 복수의 센서로 구성된다.

복수의 센서는 사용자의 몸에 부착되어, 움직임 또는 위치변화에 대한 신호를 가상현실 제공장치로 전송한다. 또한, 사용자(1)가 서있는 바닥면에도, 복수의 센서가 설치될 수 있고, 복수의 센서는 사용자의 위치가 변경됨에 따라 사용자의 위치를 감지하여 신호를 전송한다.

가상현실 제공장치는 영상촬영부를 통해 획득되는 영상과, 복수의 센서로부터 입력되는 신호를 결합하여 사용자(1)의 움직임을 판단하고, 이를 3차원의 이미지로 생성하여 디스플레이에 표시한다.

그에 따라 가상현실 제공장치는 사용자가 디스플레이에 출력되는 가상현실공간에서 자신의 모습의 확인하면서, 제공되는 서비스를 체험할 수 있도록 한다.

도 2 는 본 발명에 따른 가상현실 제공장치의 다른예가 도시된 도이다.

또한, 본 발명의 가상현실 제공장치는 도 2 에 도시된 바와 같이, 사용자(1)가 착용하도록 구성될 수 있다.

가상현실 제공장치는, 앞서 설명한 바와 같이 사용자의 모습을 촬영하는 영상촬영부(50)(51, 52)를 포함하고, 사용자의 움직임을 감지하는 복수의 센서를 포함하며, 사용자에게 가상현실 공간을 구현하여 출력하는 디스플레이(90)와 효과음이 출력되는 스피커가 본체의 내부에 구비된다.

가상현실 제공장치는 사용자가 착용하도록 구성됨에 따라, 착용을 위한 고정장치(미도시)를 포함할 수 있다. 가상현실 제공장치는 사용자의 눈에 근접하여 착용됨에 따라 사용자의 시야를 고려하여 디스플레이가 설치된다. 또한, 가상현실 제공장치는, 본체의 움직임을 감지하기 위한 센서가 더 포함될 수 있다.

도 3 은 본 발명에 따른 가상현실 제공장치의 센서 위치를 설명하는데 참조되는 도이다.

도 3 에 도시된 바와 같이, 가상현실 제공장치는 사용자의 움직임을 감지하기 위한 센서부(80)를 포함한다. 센서부를 구성하는 복수의 센서는 무선으로 감지신호를 전송하는 무선센서이다.

센서부(80)는 복수의 센서가 각각 사용자(1)의 상체와 하체, 특히 팔과 다리에 부착된다. 복수의 센서는 사용자의 키를 포함하는 체형을 측정하고 사용자의 움직임을 감지한다. 각 센서간의 거리, 센서의 높이에 따라 사용자의 키, 팔길이 등을 측정할 수 있다. 가상현실 제공장치는 사용자의 키, 어깨크기, 허리높이, 팔길이, 다리길이 등의 체형에 대한 데이터를 추출할 수 있다.

복수의 센서 중 상체에 부착되는 센서(81 내지 83)는 사용자의 위치 이동을 감지하고, 상체의 상하 좌우 움직임을 감지하며, 상체 중 팔에 부착되는 센서는 팔의 움직임을 감지한다. 하체에 부착되는 센서는 다리의 움직임을 감지한다. 복수의 센서는 사용자의 관절 부위를 기준으로 복수의 위치에 배치된다. 복수의 센서는 지정된 위치에 배치되는 것이 바람직하다.

복수의 센서는 사용자의 몸 또는 사용자의 의류에 직접 부착될 수 있다. 사용자의 몸 또는 의류에 부착되도록 고정장치가 구비된다. 예를 들어 고정장치는 벨크로, 단추, 밸트, 밴드, 띠의 형태로 구성될 수 있다.

또한, 복수의 센서는 착용장치(미도시)에 고정 설치될 수 있다. 사용자가 착용장치를 착용함에 따라 사용자의 움직임을 감지하게 된다.

착용장치는 사용자의 상체 또는 하체에 착용될 수 있고, 또는 팔과 다리에 부분 착용 가능하도록 구성된다. 착용장치에는 사용자의 움직임을 감지하기 위한 센서가 복수의 위치에 각각 고정되어 설치된다. 또한, 착용장치는 의복처럼 착용 가능하도록 구성될 수도 있다.

착용장치에는 영상촬영부를 통해 촬영된 영상을 통해 확인 가능하도록, 복수의 마커(marker)(미도시)가 부착될 수 있다. 복수의 마커는 착용장치와 상이한 색상일 수 있고, 또한, 착용장치의 색상과 배색을 이루는 색상일 수 있다.

또한, 복수의 센서, 또는 착용장치에는 복수의 진동모듈 또는 복수의 소리출력모듈이 구비된다. 본체로부터 수신되는 정보에 따라 복수의 센서 중 어느 하나에 연결되는 진동모듈이 동작하여 진동을 발생시킬 수 있고, 소리출력모듈을 통해 소정의 효과음이 출력될 수 있다.

예를 들어 본체가 교정모드로 동작하는 경우, 사용자이미지가 가이드 되는 실루엣과 비교하여 일정값 이상 차이가 있는 경우 잘못된 자세에 대응하는 진동모듈로부터 진동이 발생하도록 구성된다. 팔의 각도가 일정값 이상 차이나는 경우 팔에 부착된 진동모듈이 작동하게 된다.

도 4 는 본 발명에 따른 가상현실 제공장치의 구성이 간략하게 도시된 도이다.

도 4 에 도시된 바와 같이, 가상현실 제공장치는 영상촬영부(50), 센서부(80), 영상입력부(161), 통신부(162), 영상처리부(120), 3D이미지생성부(130), 움직임검출부(140), 가상현실생성부(150), 디스플레이(190)(90), 데이터부(170), 출력부(180), 그리고 동작 전반을 제어하는 제어부(110)를 포함한다. 통신부(162)는 센서부(80)로부터 복수의 센서에 의해 감지되는 데이터를 수신하고, 제어부(110)의 제어명령에 따라 진동 또는 소리 출력 신호를 전송할 수 있다.

또한, 통신부(162)는 외부의 서버(20)와 데이터를 송수신한다.

통신부(162)는 서버로부터 가상현실데이터를 생성하기 위한 영상, 이미지 등의 데이터를 수신하고, 교정모드 실행을 위한 선수 또는 연예인에 대한 데이터를 수신한다. 또한, 통신부(162)는 사용자에 대한 이미지 데이터를 수신할 수 있다.

영상촬영부(50)는 적어도 하나의 카메라를 포함한다. 영상촬영부(50)는 바람직하게는 두 대의 카메라, 즉 제 1 카메라(51), 제 2 카메라(52)를 포함한다. 제 1 카메라(51) 및 제 2 카메라(52)는 사용자의 전방에 배치되어, 각각 상이한 각도로 사용자(1)를 촬영한다. 경우에 따라 영상촬영부(50)는 사용자의 후방에 설치되어 사용자의 뒷모습을 촬영하는 카메라를 적어도 하나 더 포함할 수 있다.

카메라(51, 52)는 각각 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.

영상촬영부(50)는 본체에 구비되거나, 분리되어 별도로 설치될 수 있다. 앞서 설명한 도 1과 같이, 본체의 디스플레이(90)(190)의 상부 또는 좌우측에 설치될 수 있고, 도 2 와 같이 본체와 분리되어 설치될 수 있다.

영상입력부(161)는 본체에 설치되거나, 분리되어 설치되는 영상촬영부(50)와 전기적으로 연결된다. 영상입력부(61)는 제 1 카메라와 제 2 카메라에 제어부의 신호를 전송하고, 동작전원을 공급하고, 제 1 및 제 2 카메라(51)(52)로부터 영상데이터를 입력 받는다. 제 1 카메라와 제 2 카메라에 무선통신모듈이 구비되는 경우, 영상입력부(161)는 제 1 카메라 및 제 2 카메라와 무선통신을 통해 데이터를 송수신할 수 있다.

센서부(80)는 앞서 설명한 바와 같이, 복수의 센서(81 내지 83)를 포함한다. 복수의 센서는 사용자(1)의 몸 또는 의복에 부착될 수 있고, 별도의 착용장치에 고정 설치될 수 있다. 통신부(162)는 복수의 센서로부터 감지신호를 수신하여 제어부(110)로 입력한다.

출력부(180)는 적어도 하나의 스피커를 포함하여, 본체에서 제공되는 서비스에 대응하는 소리, 효과음, 경고음, 안내음을 출력한다. 출력부(180)는 두 개의 스피커가 본체의 좌측과 우측에 각각 설치될 수 있고, 또한, 5개의 스피커가 구비되는 경우 사용자에게 서라운드 음향을 제공할 수 있다.

데이터부(170)는 가상현실 공간을 구현하기 위한 이미지데이터, 영상촬영부로부터 입력되는 영상데이터를 처리하기 위한 데이터, 센서로부터 입력되는 데이터를 분석하여 움직임 또는 위치를 산출하기 위한 센서데이터, 제공되는 서비스에 대한 메뉴데이터, 서비스에 따라 제공되는 음향데이터가 저장된다. 또한, 영상촬영부로부터 입력되는 영상데이터와, 생성된 가상현실데이터, 그리고 사용자데이터가 저장된다.

데이터부(170)는 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.

영상처리부(120)는 영상촬영부로부터 입력되는 영상데이터를 분석하고, 불필요한 이미지프레임은 제거하고, 영상의 밝기를 보정할 수 있다. 또한 영상처리부(120)는 사용자에 대한 3차원의 이미지를 생성하기 전, 영상데이터에 포함되는 배경이미지와 사용자이미지를 분리한다. 또한, 영상처리부(120)는 이미지 데이터 수신 시, 이미지데이터의 배경이미지와 사용자이미지를 분리할 수 있다.

가상현실 제공장치는 특정 색상의 스크린이 구비된 상태에서 영상이 촬영되는 경우, 스크린의 색상에 해당하는 영역의 이미지를 제거함으로써, 사용자의 이미지를 분리할 수 있다.

예를 들어 가상현실 제공장치는 크로마키(chroma-key) 기법을 이용하여, 블루스크린 또는 그린스크린을 배경으로 사용자를 촬영하여, 사용자의 이미지를 분리하고 가상현실 공간에 합성하여 사용자가 포함된 가상현실 공간을 제공한다.

크로마키(chroma-key) 기법은, 색상 차이를 이용하여 움직이는 피사체를 다른 화면에 합성하는 화면 합성 기법이다. 카메라에서 얻을 수 있는 RGB 신호를 이용하여 그 색(chroma)의 차이를 키(key)로 하여 빼내고 싶은 피사체와 배경을 분리하고, 그것을 다른 화면에 합성하는 원리이다. 빼내고자 하는 피사체가 인물인 경우, 살색과 보색인 청색 배경 앞에 인물을 세워 카메라로 촬영하고 그 출력에서 청색 성분을 제거하면 배경은 검게 되고 인물만을 빼낼 수 있다.

3D이미지생성부(130)는 제 1 카메라(51)의 영상데이터와, 제 2 카메라(52)의 영상데이터를 이용하여, 3차원의 이미지를 생성한다.

3D이미지생성부(130)는 동일한 피사체인, 사용자를 각각 상이한 각도에서 촬영하고, 제 1 카메라와 제 2 카메라의 위치관계, 피사체와의 거리를 바탕으로 두 영상에서 매칭되는 특징포인트를 추출하여 이미지에 깊이를 적용함으로써, 3차원의 이미지를 생성한다.

움직임검출부(140)는 영상촬영부(50)로부터 입력되는 영상데이터를 통해, 피사체인 사용자의 이미지로부터 특징점을 추출하고, 특징점의 이동, 즉 시간의 경과에 따라 변화하는 특징점의 위치변화를 추적하여 사용자의 움직임을 검출한다.

또한, 움직임검출부(140)는 센서부(80)로부터 수신되는 신호의 위치변화를 바탕으로 사용자의 움직임을 추출한다. 센서는 특정 위치, 예를 들어 머리, 상체, 팔, 다리, 손가락 등 지정된 위치에 배치됨에 따라, 각 센서의 위치변화를 통해 사용자의 움직임을 추출할 수 있다.

가상현실생성부(150)는 선택된 서비스의 종류에 따라 가상현실 공간을 구현한다. 또한, 가상현실생성부(150)는 3D이미지생성부(130)의 사용자에 대한 3차원이미지와, 움직임검출부(140)의 움직임 데이터를 결합하여 가상현실 공간에 사용자이미지를 결합한 가상현실데이터를 생성한다. 또한, 가상현실생성부(150)는 사용자의 이미지데이터와 가상현실 공간을 결합한 가상현실데이터를 생성한다.

가상현실생성부(150)는 학습용 가상현실데이터와 사용자이미지를 비교 분석하여, 사용자의 자세 또는 움직임에 대응하여 자세 교정을 위한 자세교정 데이터 또는 비교데이터를 생성한다. 가상현실생성부(150)는 비교데이터에 대한 안내 또는 가이드를 생성하여 출력되도록 한다. 가상현실생성부(150)는 안내 또는 가이드에 대한 신호를 제어부로 인가하고, 제어부는 그에 대응하여 디스플레이 또는 출력부가 동작하여 안내 또는 가이드가 출력되도록 한다.

안내 또는 가이드는 이미지, 문자로 구성되어 화면에 출력될 수 있고, 또한 소정의 음성안내 또는 효과음으로 출력될 수 있다.

제어부(110)는 영상입력부 및 통신부를 통해 입력되는 데이터를 처리하고 데이터부에 저장하며 데이터부에 저장되는 데이터를 관리한다. 제어부(110)는 영상촬영부(50)의 카메라 및 센서부(80)의 복수의 센서에 대한 정보를 저장 및 관리하고, 입력되는 신호에 대응하여 이상을 판단한다.

제어부(110)는 복수의 가상현실 서비스 중 어느 하나를 선택할 수 있도록 메뉴를 구성하여 디플레이부(90)(190)에 출력하고, 선택되는 서비스의 종류에 대응하는 데이터를 호출하여 가상현실생성부로 인가하고, 생성된 가상현실데이터가 데이터부에 저장되도록 한다. 또한 제어부(110)는 가상현실데이터가 디스플레이를 통해 출력되도록 하고, 출력되는 가상현실데이터에 대응하는 효과음이 출력부(180)의 스피커를 통해 출력되도록 제어한다.

제어부(110)는 생성된 가상현실데이터를 데이터부에 저장하고, 입력되는 데이터에 대응하여 선택적으로 재생하여 디스플레이에 출력한다. 또한, 제어부(110)는 가상현실데이터 중, 특정 프레임을 이미지데이터로 저장할 수 있고, 설정에 따라 생성된 가상현실데이터 또는 이미지데이터를 외부로 전송할 수 있다.

또한, 제어부(110)는 가상현실생성부에 의해 생성되는 자세교정 데이터 또는 비교데이터가 생성되면, 생성되는 가이드 또는 안내에 따라 진동 출력 신호 또는 소리 출력 신호를 생성하여 통신부(162)를 통해 센서부로 전송할 수 있다.

그에 따라 센서부(80)는 수신되는 신호에 따라, 복수의 센서 중 적어도 하나에 대하여, 연결된 진동모듈 또는 소리출력모듈이 작동하여, 소정의 진동 또는 효과음을 출력하게 된다.

도 5 는 본 발명에 따른 가상현실 제공장치에 의해 제공되는 가상현실 화면의 예가 도시된 도이다.

도 5 에 도시된 바와 같이, 가상현실 제공장치는 촬영된 사용자이미지를 실시간으로, 다른 영상과 결합하여 가상현실데이터를 출력할 수 있다.

예를 들어, 가상현실 제공장치는 '아이돌그룹 멤버 되기', '스타와 함께 댄스'등의 서비스를 제공할 수 있다.

가상현실 제공장치는 아이돌 그룹이 공연하는 영상을 바탕으로, 배경이 되는 가상현실 배경데이터(201)를 생성하고, 실시간으로 촬영되는 사용자이미지(202)를 결합하여, 사용자이미지가 포함된 가상현실 데이터(200)를 출력한다.

사용자는 가상현실 데이터가 출력되는 디스플레이의 화면을 보면서 동작을 따라 할 수 있고, 이러한 사용자의 움직임은 실시간으로 반영되어 화면에 출력된다. 그에 따라 사용자는 아이돌 멤버가 되어 함께 춤을 추는 것과 같은 체험을 할 수 있게 된다.

사용자의 요청, 즉 키입력 또는 터치입력에 대응하여, 가상현실 제공장치는 가상현실데이터를 선택적으로 재생할 수 있고, 가상현실데이터의 특정 프레임을 이미지데이터로 생성하여 출력할 수 있다.

또한, 가상현실 제공장치는 사용자의 요청, 즉 키입력 또는 터치입력에 대응하여, 가상현실데이터 중 일부가 선택되는 경우, 선택된 대상만을 분리하여 화면에 출력할 수 있고, 가상현실데이터에 표시되는 사용자이미지의 위치를 변경하여 표시할 수 있다.

도 6 은 본 발명에 따른 가상현실 제공장치에 의해 제공되는 가상현실 화면의 다른 예가 도시된 도이다.

도 6 에 도시된 바와 같이, 가상현실 제공장치는 유명인의 가상현실데이터와, 사용자이미지가 포함된 가상현실데이터를 결합하여 서비스를 제공한다.

예를 들어 가상현실 제공장치는 스포츠배우기, 댄스배우기, 자세교정 등의 서비스를 제공할 수 있다.

가상현실 제공장치는, 기준이 되는 가상현실 배경데이터를 생성하고, 사용자의 이미지를 결합하여 출력한다.

도 6의 (a)에 도시된 바와 같이, 가상현실 제공장치는 학습용 가상현실데이터(211)를 가상현실 배경데이터로써 생성하고, 사용자가 화면에 출력된 학습용 가상현실데이터를 확인하면서 동작을 취할 수 있도록 한다. 학습용 가상현실데이터(211)에는, 유명 선수 또는 연예인의 실제 모습과, 동작을 바탕으로 생성되어 화면에 출력된다.

예를 들어 골프 스윙연습의 경우, 복수의 학습용 데이터 중, 선택된 특정 선수의 스윙동작이 출력되고, 댄스배우기의 경우, 선택된 가수의 댄스영상이 학습용 가상현실데이터로써 제공된다.

가상현실 제공장치는, 화면의 제 1 영역에는 학습용 가상현실데이터(211)를 출력하고, 제 1 영역의 학습용 가상현실데이터(211)에 대한 실루엣을 추출하여, 제 2 영역에 출력한다.

도 6의 (b)에 도시된 바와 같이, 가상현실 제공장치는, 화면의 제 1 영역에는 학습용 가상현실데이터(211)를 출력하고, 제 2 영역에 사용자이미지(212)를 출력한다.

이때, 학습용 가상현실데이터(211)에 표시되는 유명 선수 또는 연예인의 실루엣(213)을 사용자이미지(212)에 중첩하여 표시함으로써, 사용자가 자세를 교정할 수 있도록 한다. 가상현실 제공장치는 설정에 따라 실루엣(213)은 표시하지 않고 사용자이미지만을 출력할 수도 있다.

가상현실 제공장치는 학습모드 또는 자세교정 모드에서, 기 저장된 데이터를 바탕으로 사용자의 자세를 분석하고 그에 따라 자세교정을 위한 가이드를 출력할 수 있다.

또한, 가상현실 제공장치는 소정 캐릭터를 화면에 출력하여, 사용자의 동작에 대한 설명을 출력한다. 가상현실 제공장치는 사용자가 취할 동작에 대하여 캐릭터를 통해 설명하여, 사용자가 특정 자세를 취하도록 유도할 수 있다. 가상현실 제공장치는 사용자이미지(212)가 학습용 가상현실데이터(211)와 대칭되는 위치에 표시되도록 하여, 사용자가 유명 선수 또는 연예인의 동작과 사용자의 동작을 상호 비교할 수 있도록 가상현실데이터(210)를 출력한다. 도 7 은 본 발명에 따른 가상현실 제공장치의 교정모드에 따른 실시예가 도시된 도이다.

도 7 에 도시된 바와 같이, 가상현실 제공장치는, 사용자의 움직임데이터를 바탕으로, 자세교정을 데이터를 생성하여 출력할 수 있다.

가상현실 제공장치는 학습용 가상현실데이터에서의 유명 선수 또는 연예인의 움직임과 사용자의 움직임을 비교한 결과를 자세교정 데이터로써 제공한다. 예를 들어 골프 그립의 위치, 각도, 상체와 하체의 위치, 팔과 다리의 위치, 스윙속도 등에 대한 비교데이터를 산출하여 출력할 수 있다.

사용자는 가상현실데이터(210)에 실시간으로 표시되는 사용자이미지를 통해 자세를 교정할 수 있다. 자세교정에 대한 가이드는 이미지, 문자, 소리 중 어느 하나의 형태로 출력된다.

가상현실 제공장치는, 잘못된 자세에 해당하는 부분을 확대하여, 확대된 이미지(218)를 화면에 표시한다. 또한 가상현실 제공장치는 비교데이터를 바탕으로 자세를 교정하도록 안내메시지(215)를 디스플레이(190)에 출력한다.

가상현실 제공장치는 비교데이터를 바탕으로, 소정의 안내메시지(215)를 화면에 출력하고, 안내메시지에 대한 음성안내를 출력부(180)를 통해 출력할 수 있다. 가상현실 제공장치는 음성안내뿐 아니라, 잘못된 자세 또는 정확한 자세에 대한 효과음을 각각 상이하게 설정하여 출력할 수 있다. 예를 들어 정확한 자세에서는 '딩동', 잘못된 자세에서는 '삐-' 소리를 출력할 수 있다.

또한, 가상현실 제공장치는, 잘못된 자세에 해당하는 위치를 판단하고, 통신부를 통해 센서부로 진동 출력 신호 또는 소리 출력신호를 전송한다.

센서부(80)는 지정된 위치의 진동모듈 또는 소리출력모듈을 작동시켜 진동을 발생시키거나 또는 소정의 효과음을 출력한다. 예를 들어 팔부분에 부착된 센서에 연결되는 진동모듈 또는 소리 출력모듈을 작동시켜 사용자가 잘못된 위치를 확인할 수 있도록 한다.

예를 들어 팔의 각도가 잘못된 경우, 화면에 팔부분을 확대하여 출력하고, 잘못된 위치를 나타내는 화살표(216)를 출력할 수 있으며, 팔부분을 붉은색 등의 다른 부위와 상이한 색상(217)으로 표시할 수 있다.

가상현실 제공장치는 잘못된 자세에 대한 안내메시지(215)를 소정 캐릭터를 통해 화면에 출력할 수 있다. 설정에 따라 특정 캐릭터가 표시되어 안내메시지를 출력할 수 있고, 도시된 바와 같이 잘못된 위치에 말풍선으로 안내메시지가 출력될 수 있다.

또한, 가상현실 제공장치는 잘못된 자세에 대한 진동 출력 신호 또는 소리 출력 신호를 센서부로 전송할 수 있다.

또한, 가상현실 제공장치는, 사용자이미지를 추출한 후, 의류, 핸드백, 액세서리, 헤어스타일에 대한 데이터와 결합하여 가상현실데이터를 제공할 수 있다. 가상현실 제공장치는 통신부를 통해 수신되는 이미지데이터를 바탕으로 사용자 이미지를 생성하여 가상현실데이터를 제공할 수 있다.

가상현실 제공장치는 저장된 사용자이미지에, 특정 형태의 의상을 결합하여, 화면에 출력한다.

가상현실 제공장치는 사용자의 키, 어깨크기, 허리높이, 팔길이, 다리길이 등의 체형에 대한 데이터와, 의상의 제품사이즈 정보를 바탕으로, 착용시 사용자의 모습을 시뮬레이션 하여 화면에 출력할 수 있다.

또한, 가상현실제공장치는 저장된 사용자의 체형에 대한 데이터를 바탕으로, 사용자에게 특정 사이즈의 의상을 추천할 수도 있다.

그에 따라 사용자는 특정 의상을 직접 입어보지 않더라도 의상을 착용했을 때의 모습을 확인할 수 있도록 한다. 그에 따라 사용자는 복수의 의상을 직접 착용하지 않더라도 스타일을 선택할 수 있게 된다.

또한, 가상현실 제공장치는 복수의 헤어스타일을 사용자이미지에 적용하여 가상현실데이터를 출력함으로써, 사용자가 특정 헤어스타일을 선택할 수 있도록 서비스를 제공할 수 있다.

따라서 사용자는 직접 착용하거나 시술하지 않더라도 가상현실데이터를 통해 간접적으로 체험할 수 있다.

도 8 은 본 발명에 다른 가상현실 제공장치의 동작방법이 도시된 예시도이다. 도 8 에 도시된 바와 같이, 가상현실 제공장치는, 복수의 서비스메뉴를 화면에 출력하고, 선택되는 어느 하나의 모드를 설정한다(S310).

예를 들어, 도 5에서 설명한 아이돌 멤버 되기와 같은 체험모드, 도 6에서 설명한 학습 또는 교정모드, 그리고 의상이나 헤어스타일에 대한 모드를 선택할 수 있다.

모드가 선택되면, 가상현실 제공장치는 영상촬영부(50)를 통해 사용자를 촬영한다(S320).

가상현실 제공장치는 복수의 센서 또는 영상데이터로부터 사용자의 움직임을 검출한다(S330). 또한, 가상현실 제공장치는 사용자의 키, 어깨크기, 허리높이, 팔길이, 다리길이 등의 체형에 대한 데이터를 추출할 수 있다.

가상현실 제공장치는 촬영된 영상데이터를 분석하여 사용자 이미지를 추출하고, 3차원의 사용자이미지를 생성한다(S340).

가상현실 제공장치는 선택된 모드에 대한 가상현실 배경데이터와, 사용자 이미지를 결합하여 가상현실데이터를 생성한다(S350). 예를 들어 아이돌 멤버 되기와 같은 서비스의 경우에는, 선택된 아이돌 그룹의 뮤직 또는 영상 중 하나에 대한 가상현실 배경데이터에 사용자이미지를 결합하여 가상현실데이터를 생성한다. 또한, 골프배우기의 경우에는 복수의 선수 중 선택된 특정 선수에 대한 데이터를 가상현실 배경데이터로써 생성하고, 사용자이미지를 결합하여 가상현실데이터를 생성한다.

가상현실 제공장치는 생성된 가상현실데이터를 화면에 출력한다(S360).

가상현실 제공장치는 선택된 모드에 따라, 실시간으로 촬영되는 영상으로부터 사용자의 움직임을 추출하고, 그에 대한 사용자이미지를 생성하여 가상현실데이터를 출력함으로써, 사용자가 자신의 모습을 화면을 통해 확인할 수 있도록 한다.

가상현실 제공장치는 학습모드 또는 교정모드가 설정된 경우(S370), 가상현실데이터를 출력하고, 사용자이미지와 사용자의 움직임데이터를 바탕으로, 사용자의 자세를 분석하여(S380) 자세교정 데이터를 화면에 출력할 수 있다.

가상현실 제공장치는 사용자의 자세가 변경됨에 따라 비교데이터를 생성하여 그에 대한 안내 또는 가이드를 출력한다(S390).

가상현실 제공장치는 화면의 구성을 변경하여 잘못된 자세에 대한 안내를 이미지로 출력할 수 있고, 또한, 그에 대한 안내메시지를 출력할 수 있으며, 안내메세지를 음성으로 출력할 수 있다. 또한, 가상현실 제공장치는 통신부를 통해 센서부로 신호를 인가하여 복수의 센서 중 잘못된 자세에 해당하는 위치에서 진동 또는 소리가 출력되도록 한다.

사용자는 가상현실데이터(210)에 실시간으로 표시되는 사용자이미지를 통해 자세를 교정할 수 있다. 플레이가 종료되면(S400), 가상현실 제공장치는 가상현실데이터를 저장하고(S410), 요청에 따라 저장된 가상현실데이터를 외부로 전송할 수 있다. 또한 가상현실 제공장치는 접근권한을 설정하여 특정 단말, 또는 특정 기기만이 데이터에 접근하도록 하고 외부로의 전송을 제한할 수 있다.

또한, 가상현실 제공장치는 저장된 복수의 가상현실데이터 중 어느 하나가 선택되면, 선택된 가상현실데이터를 재생하여 화면에 출력할 수 있다(S420).

가상현실 제공장치는 가상현실데이터에 대하여 공개여부를 설정하고, 비공개 설정된 데이터는, 해당 사용자만이 재생할 수 있도록 데이터에 대한 접근권한을 설정할 수 있다. 또한, 가상현실 제공장치는 사용자 인증을 통해, 사용자에 따라 제공되는 가상현실데이터와, 선택 가능한 서비스의 종류가 상이하도록 설정할 수 있다.

따라서 본 발명에 따른 가상현실 제공장치는, 사용자에게 다양한 분야에서 간접체험을 제공할 수 있고, 특정 동작이나 움직임에 관련하여 자세를 교정하거나 움직임에 대한 정확도가 향상되도록 한다. 또한, 가상현실 제공장치는 사용자가 직접 착용하거나 시술하지 않더라도 사용자에게 어울리는 의상이나 헤어스타일을 추천할 수 있다.

본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 본 발명의 목적 범위 안에서라면, 실시예에 따라서는 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

50: 영상촬영부 80: 센서부
110: 제어부 120: 영상처리부
130: 3D이미지생성부 140: 움직임검출부
150: 가상현실생성부 170: 데이터부
180: 출력부

Claims

사용자를 촬영하는 영상촬영부;
상기 사용자에 대한 이미지데이터가 수신되는 통신부;
사용자의 위치 및 움직임을 감지하는 센서부;
상기 영상촬영부의 영상데이터 또는 상기 통신부를 통해 수신되는 상기 이미지데이터로부터 3차원의 사용자이미지를 생성하는 3D이미지생성부;
상기 영상데이터 또는 상기 센서부로부터 입력되는 신호에 대응하여 사용자의 움직임을 추출하는 움직임검출부;
상기 사용자이미지에 움직임을 적용하여, 가상현실배경데이터에 상기 사용자이미지를 결합하여 가상현실데이터를 생성하는 가상현실생성부; 및
상기 가상현실데이터를 출력하는 디스플레이를 포함하는 가상현실 제공장치.
청구항 1에 있어서,
상기 영상촬영부는 상기 사용자를 각각 상이한 각도에서 촬영하는 제 1 카메라와 제 2 카메라를 포함하는 가상현실 제공장치.
청구항 1에 있어서,
상기 영상데이터 또는 상기 이미지데이터를 분석하여 배경이미지와 사용자의 이미지를 분리하는 영상처리부;를 더 포함하는 가상현실 제공장치.
청구항 3에 있어서,
상기 영상처리부는 크로마키 기법을 통해 상기 사용자의 이미지를 추출하는 것을 특징으로 하는 가상현실 제공장치.
청구항 1에 있어서,
상기 가상현실생성부는, 선택된 모드에 대응하는 데이터로부터 상기 가상현실 배경데이터를 생성하고, 상기 가상현실 배경데이터에 상기 사용자이미지를 실시간으로 합성하여 상기 가상현실데이터를 생성하는 것을 특징으로 하는 가상현실 제공장치.
청구항 1에 있어서,
상기 가상현실생성부는, 선택된 모드에 대응하는 데이터로부터 상기 가상현실 배경데이터를 생성하고, 상기 가상현실 배경데이터에 수신된 이미지데이터를 실시간으로 합성하여 상기 가상현실데이터를 생성하는 것을 특징으로 하는 가상현실 제공장치.
청구항 1에 있어서,
상기 가상현실생성부는, 선택된 모드에 대응하여 학습용 데이터와 대칭이 되는 위치에 상기 사용자이미지를 배치하여 상기 가상현실데이터를 생성하는 것을 특징으로 하는 가상현실 제공장치.
청구항 7에 있어서,
상기 가상현실생성부는, 상기 학습용 데이터의 실루엣을 추출하고, 상기 사용자이미지와 상기 실루엣이 중첩되어 표시되도록 하는 것을 특징으로 하는 가상현실 제공장치.
청구항 7에 있어서,
상기 가상현실생성부는, 상기 학습용 데이터와 상기 사용자 이미지를 비교하여 자세교정을 위한 비교데이터를 생성하고, 상기 비교데이터에 대응하는 안내를 이미지, 문자, 소리 중 어느 하나의 형태로 출력하는 것을 특징으로 하는 가상현실 제공장치.
청구항 7에 있어서,
상기 가상현실생성부는, 상기 학습용 데이터와 상기 사용자 이미지를 비교하여 자세교정을 위한 비교데이터를 생성하고, 상기 비교데이터에 대응하여, 잘못된 자세를 알리기 위한 신호를 생성하고,
상기 센서부는 상기 신호를 수신하여 자세가 잘못된 위치에 설치된 진동모듈 또는 소리출력모듈이 작동하도록 하는 것을 특징으로 하는 가상현실 제공장치.
청구항 1에 있어서,
상기 움직임검출부는, 상기 영상데이터 또는 상기 센서부의 신호에 대응하여 상기 사용자의 체형데이터를 산출하여 저장하는 것을 특징으로 하는 가상현실 제공장치.
청구항 8에 있어서,
상기 가상현실생성부는 상기 체형데이터와 제품의 사이즈정보를 비교하여 상기 사용자이미지에 상기 제품을 결합한 상기 가상현실데이터를 생성하는 것을 특징으로 하는 가상현실 제공장치.
사용자를 촬영하여 영상데이터가 입력되거나 또는 상기 사용자에 대한 이미지데이터가 수신되는 단계;
상기 영상데이터 입력 시, 상기 사용자의 위치 및 움직임을 감지하는 단계;
상기 영상데이터 또는 상기 이미지데이터로부터 3차원의 사용자이미지를 생성하는 단계;
선택된 모드에 대응하는 가상현실 배경데이터에 상기 사용자이미지를 결합하여 가상현실데이터를 생성하는 단계; 및
상기 가상현실데이터를 실시간으로 출력하는 단계;를 포함하는 가상현실 제공장치의 동작방법.
청구항 13에 있어서,
복수의 카메라를 통해 상이한 각도에서 상기 사용자를 촬영하는 것을 특징으로 하는 가상현실 제공장치의 동작방법.
청구항 13에 있어서,
상기 영상데이터 또는 상기 이미지데이터를 분석하여 배경이미지와 상기 사용자의 이미지를 분리하는 단계를 더 포함하는 가상현실 제공장치의 동작방법.
청구항 13에 있어서,
선택된 모드에 대응하는 데이터로부터 상기 가상현실 배경데이터를 생성하고, 상기 가상현실 배경데이터에 상기 사용자이미지를 실시간으로 합성하여 상기 가상현실데이터를 생성하는 단계를 더 포함하는 가상현실 제공장치의 동작방법.
청구항 13에 있어서,
선택된 모드에 대응하여 학습용 데이터와 대칭이 되는 위치에 상기 사용자이미지를 배치하여 상기 가상현실데이터를 생성하는 단계를 더 포함하는 가상현실 제공장치의 동작방법.
청구항 17 에 있어서,
상기 학습용 데이터의 실루엣을 추출하고, 상기 사용자이미지와 상기 실루엣이 중첩되어 표시되도록 하는 단계를 더 포함하는 가상현실 제공장치의 동작방법.
청구항 17에 있어서,
상기 학습용 데이터와 상기 사용자 이미지를 비교하여 자세교정을 위한 비교데이터를 생성하는 단계; 및
상기 비교데이터에 대응하는 안내를 이미지, 문자, 소리 중 어느 하나의 형태로 출력하는 단계를 더 포함하는 가상현실 제공장치의 동작방법.
청구항 17에 있어서,
상기 학습용 데이터와 상기 사용자 이미지를 비교하여 자세교정을 위한 비교데이터를 생성하는 단계;
상기 비교데이터에 대응하여, 잘못된 자세를 알리기 위한 신호를 상기 센서부로 전송하는 단계;
자세가 잘못된 위치에 설치된 진동모듈 또는 소리출력모듈이 작동하여 진동 또는 소리가 출력되는 단계를 더 포함하는 가상현실 제공장치의 동작방법.
청구항 13에 있어서,
상기 영상데이터 또는 센서의 신호에 대응하여 상기 사용자의 체형데이터를 산출하는 단계를 더 포함하는 가상현실 제공장치의 동작방법.
청구항 21에 있어서,
상기 체형데이터와 제품의 사이즈정보를 비교하여 상기 사용자이미지에 상기 제품을 결합한 상기 가상현실데이터를 생성하는 단계를 더 포함하는 가상현실 제공장치의 동작방법.