KR102256607B1 - 다중 콘텐츠 표현이 가능한 다중 가상현실 콘텐츠 제공 시스템 - Google Patents

Abstract

본 발명에 따른 다중 사용자 간의 상호작용을 기반으로 하는 가상현실 콘텐츠 제공 시스템은, 복수의 사용자 중 각 사용자가 착용하며, 각 사용자의 위치와 제스처를 센싱하며 각 사용자에게 가상환경을 제공하는 복수의 VR 디바이스와, 상기 각 사용자에 시점에 맞게 가상현실 콘텐츠를 제공하는 통합 관리 서버와, 상기 통합 관리 서버와 연결되어 상기 가상현실 콘텐츠를 저장하는 콘텐츠 저장부와, 상기 복수의 VR 디바이스 각각에 대응되며, 복수의 사용자에 대응하는 VR 디바이스에 대한 센싱 정보를 상기 통합 관리 서버로 전송하고, 상기 통합 관리 서버로부터 상기 센싱 정보가 반영되어 시뮬레이션된 상기 가상현실 콘텐츠를 제공받아 자신에게 대응되는 VR 디바이스로 출력시키는 복수의 제어 서버를 포함하되, 상기 통합 관리 서버는 상기 센서 디바이스로부터 감지된 상기 각 사용자의 제스처에 대응하여 현재 제공하는 가상현실 콘텐츠를 변경한다.

Description

다중 콘텐츠 표현이 가능한 다중 가상현실 콘텐츠 제공 시스템{SYSTEM AND METHOD FOR PROVIDING VIRTUAL REALITY CONTENT CAPABLE OF MULTI-CONTENTS}

본 발명은 가상현실 콘텐츠 제공 시스템에 관한 것이다.

최근 VR(Virtual Reality) 기술의 발전으로 인해 각종 VR 장치들이 등장하고 있다. 이러한 VR 장치들은 주로 사용자의 머리에 착용되는 HMD 디바이스로 구현되고 있다.

HMD 디바이스를 통해 사용자는 눈과 귀, 또는 진동과 같은 여러 방법이 복합적으로 제공되는 다양한 가상현실 콘텐츠를 경험할 수 있으며, 특히 콘텐츠는 사용자의 시야 전체를 통해 제공되므로 사용자는 보다 실감있는 가상현실을 체감할 수 있다.

하지만 종래 기술의 경우 가상현실 콘텐츠는 주로 1인 사용자만을 대상으로 하기 때문에, 복수의 사용자들이 동일한 가상현실 콘텐츠가 시뮬레이션되는 상황에서 동시에 상호작용을 통해 객체를 제어하는 것은 불가능하였다.

따라서, 복수의 사용자들 간의 다중 상호작용이 동일한 가상현실 콘텐츠 상에 반영되어, 복수의 사용자들이 동시에 이를 체감할 수 있는 가상현실 제공 시스템이 필요한 실정이다.

또한, 복수의 사용자 중 하나 이상의 사용자(예컨대, 교사)가 다른 사람에게 가상현실의 콘텐츠를 이용하여 교육을 할 경우 가상환경에 교편 또는 각종 교보재를 이용하여 진행하면 더욱 효과적일 수 있으므로, 이에 대한 가상현실 제공 시스템 역시 요구된다.

본 발명의 실시예는 VR 디바이스를 이용하는 다중 사용자가 가상현실 콘텐츠 상의 객체를 동시에 각각의 표시 시점으로 체감할 수 있으며, 이를 통해 어느 한 사용자가 가상 객체를 이동, 회전 및 변형시키는 경우 다른 사용자도 이를 동시에 체감할 수 있는 가상현실 콘텐츠 제공 시스템을 제공하고자 한다.

본 발명의 다른 목적은 위와 같은 다중 사용자 가상현실 콘텐츠 제공 시스템에서 더 나아가, 하나 이상의 사용자가 현재 각 사용자에게 표시되는 가상현실 콘텐츠와는 상이한 성격의 콘텐츠(교편 또는 기타 교보재 등)를 가상현실 콘텐츠와 함께 다중 사용자가 가상현실 콘텐츠 상의 객체를 동시에 각각의 표시 시점으로 표시시키는 가상현실 콘텐츠 제공 시스템 및 방법을 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

본 발명에 따른 다중 사용자 간의 상호작용을 기반으로 하는 가상현실 콘텐츠 제공 시스템은, 복수의 사용자 중 각 사용자가 착용하며, 각 사용자의 위치와 제스처를 센싱하며 각 사용자에게 가상환경을 제공하는 복수의 VR 디바이스와, 상기 각 사용자에 시점에 맞게 가상현실 콘텐츠를 제공하는 통합 관리 서버와, 상기 통합 관리 서버와 연결되어 상기 가상현실 콘텐츠를 저장하는 콘텐츠 저장부와, 상기 복수의 VR 디바이스 각각에 대응되며, 복수의 사용자에 대응하는 VR 디바이스에 대한 센싱 정보를 상기 통합 관리 서버로 전송하고, 상기 통합 관리 서버로부터 상기 센싱 정보가 반영되어 시뮬레이션된 상기 가상현실 콘텐츠를 제공받아 자신에게 대응되는 VR 디바이스로 출력시키는 복수의 제어 서버를 포함하되, 상기 통합 관리 서버는 상기 센서 디바이스로부터 감지된 상기 각 사용자의 제스처에 대응하여 현재 제공하는 가상현실 콘텐츠를 변경한다.

상기 VR 디바이스는 사용자의 손을 촬영하여 상기 복수의 제어 서버 중 자신과 대응하는 제어 서버로 전송하고, 상기 제어 서버는 상기 손 영상의 각 프레임에 존재하는 손 각각을 골격 모델로 변환하여 하나 이상의 손 모양을 인식하고 이로부터 손 제스처를 인식한다.

한편, 본 발명에 따른 가상현실 콘텐츠 제공 시스템은 상기 가상현실 콘텐츠 이외의 지시물 콘텐츠를 저장하는 지시물 저장부를 더 포함하고, 통합 관리 서버는 상기 VR 디바이스에 의해 인식된 사용자의 손 제스처가 지시물 표출을 요청하는 것으로 인식하면, 해당 지시물을 상기 지시물 저장부에 독출하여 상기 가상현실 콘텐츠에 더하여 상기 각 사용자의 표시 시점별로 동시에 반영하여 제공한다. 통합 관리 서버는, 상기 손 제스처에 맞추어 상기 지시물의 위치, 방향을 실시간으로 변경하여 표출한다. 아울러, 지시물 표출을 요청하는 상기 사용자의 영상을 촬영하고 이 사용자의 영상과 상기 지시물을 함께 상기 가상현실 상기 각 사용자의 표시 시점별로 동시에 반영하여 제공할 수 있다.

본 발명의 다른 면에 따른 다중 사용자 간의 상호작용을 기반으로 하는 가상현실 콘텐츠 제공 방법은, 복수의 사용자 각각이 착용한 VR 디바이스가, 각 사용자의 위치와 제스처를 센싱하는 단계와, 상기 센싱 정보를 반영하여 상기 가상현실 콘텐츠를 상기 각 사용자의 위치를 고려하여 각 사용자별로 시뮬레이션하는 단계와, 시뮬레이션된 상기 가상현실 콘텐츠를 대응되는 각 사용자별 VR 디바이스로 각각 출력시키는 단계와, 상기 각 사용자의 제스처를 골격 모델에 기초하여 인식하는 단계를 포함한다.

체스처의 인식은, 상기 제스처를 촬영한 복수의 영상 프레임에 존재하는 사용자의 모양을 기초로 각 프레임별 골격 모델을 생성하는 단계와, 상기 골격 모델을 기초로 각 모양을 인식하는 단계와, 상기 각 모양의 변화에 따라 제스처를 인식하는 단계를 포함한다.

감지된 제스처가 상기 가상현실 콘텐츠의 변경과 관련된 것인지, 상기 가상현실 이외의 지시물의 표출에 관한 것인지를 판단한 후, 그 판단 결과에 따라, 상기 제스처에 대응하여 현재 제공하는 가상현실 콘텐츠를 변경하거나, 상기 제스처에 대응되는 지시물을 현재 제공하는 가상현실 콘텐츠에 더하여 표시한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, VR 디바이스를 이용하는 복수의 사용자들은 동일한 가상현실 콘텐츠를 동시에 체감할 수 있다.

이때, 각 사용자의 제스처 동작을 통한 상호작용은 동일하게 시뮬레이션 중인 가상현실 콘텐츠 상에 반영되도록 함으로써, 사용자들은 가상현실 콘텐츠 상에서 서로 협업이 가능하다.

또한, 복수의 사용자들의 VR 디바이스들을 각각 사용자 단위로 구분한 제어 서버에서 연동되도록 함으로써, 가상현실 콘텐츠를 시뮬레이션하여 제공하는 통합 관리 서버에서의 처리 부하를 낮출 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 가상현실 콘텐츠 제공 시스템을 도시한 도면이다.
도 2는 다중 사용자간 상호작용이 가능한 솔라 시스템 콘텐츠를 설명하기 위한 도면이다.
도 3은 통합 관리 서버를 통해 솔라 시스템 콘텐츠가 시뮬레이션되는 일 예시를 도시한 도면이다.
도 4는 제어 서버를 통해 솔라 시스템 콘텐츠가 시뮬레이션되는 일 예시를 도시한 도면이다.
도 5는 천체를 분할하는 제스처에 대응하여 시뮬레이션되는 일 예시를 도시한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 가상현실 콘텐츠 제공 시스템(1)을 도시한 도면이다.

본 발명의 일 실시예에 따른 가상현실 콘텐츠 제공 시스템(1)은 통합 관리 서버(100) 및 복수의 제어 서버(201, 202, 203, 204; 200)를 포함한다.

통합 관리 서버(100)는 가상현실 콘텐츠를 복수의 제어 서버(200)로 제공한다. 그리고 통합 관리 서버(100)는 복수의 사용자들의 센싱 정보를 가상현실 콘텐츠 상에 반영하여 복수의 사용자들에게 중개할 수 있다.

제어 서버(200)는 복수의 사용자가 착용하고 있는 VR 디바이스(301, 302, 303, 304; 305)와 대응되도록 복수 개가 구비될 수 있으며, 통합 관리 서버(100)로부터 가상현실 콘텐츠를 제공받아 VR 디바이스(300)로 출력되도록 제어한다.

그밖에, 각 제어 서버(200)는 제공받은 가상현실 콘텐츠를 VR 디바이스가 아닌 별도의 모니터나 단말을 통해 각각의 표시 시점에 기초하여 출력시키기 위한 디스플레이부(401, 402, 403, 404; 400)를 더 포함할 수 있으며, 통합 관리 서버(100) 역시 제공 중인 가상현실 콘텐츠를 확인하거나 개별 제어 서버를 통해 출력 중인 가상현실 콘텐츠를 확인하기 위한 디스플레이부(101)를 더 포함할 수 있다.

이와 같이 본 발명의 일 실시예는 사용자 단위로 VR 디바이스(300)와 제어 서버(200)가 구비되므로, 복수의 사용자가 동시에 동일한 가상현실 콘텐츠를 이용할 수 있으면서, 통합 관리 서버(100)에서의 처리 부하를 낮출 수 있는 장점이 있다.

통합 관리 서버(100)와 제어 서버(200) 그리고 VR 디바이스(300)에서 가상현실 콘텐츠가 제공되는 과정을 설명하면 다음과 같다.

통합 관리 서버(100)는 자신과 통신 연결된 복수의 제어 서버(200)로 동시에 디폴트 상태의 가상현실 콘텐츠를 제공하고, 복수의 제어 서버(200)는 각각 대응되는 VR 디바이스(300)로 디폴트 상태의 가상현실 콘텐츠가 출력되도록 제어한다. 이때, 디폴트 상태라 함은 가상현실 콘텐츠에 있어서 사용자의 움직임 정보나 제스처 정보가 반영되지 않은 초기 실행 상태를 의미한다.

이후, 복수의 사용자 중 하나 이상의 사용자에 대응하는 VR 디바이스(300)로부터 센싱 정보가 수집되면, 제어 서버(200)는 해당 센싱 정보를 통합 관리 서버(100)로 전송한다. 이때, 센싱 정보는 사용자의 자세 정보나 위치 정보를 포함하는 움직임 정보와 손동작, 머리 등을 이용한 제스처 정보를 의미한다.

여기에서 제스처 정보 중 손동작은 VR 디바이스(300)에 부착된 센서 모듈을 통해 인식될 수 있으며, 손의 움직임은 손가락 마디 단위, 예를 들어 좌우 각각 25개의 관절점으로 셋팅하여 측정할 수 있다. 손가락 관절점의 경우 각 지점에 대하여 x, y, z 좌표로 표현이 가능하기 때문에, 이후 통합 관리 서버(100)는 해당 좌표 정보에 기초하여 손의 움직임을 가상현실 콘텐츠 상에 정확하게 반영할 수 있다.

이러한 센싱 정보는 둘 이상의 사용자로부터 동시에 센싱되어 통합 관리 서버(100)로 제공될 수 있다.

즉, 제 1 사용자에 대응하는 VR 디바이스(300)에서의 제 1 센싱 정보와, 제 2 사용자에 대응하는 VR 디바이스(300)에서의 제 2 센싱 정보가 각각 제어 서버(200)를 통해 수집되면, 통합 관리 서버(100)는 각 제어 서버(200)로부터 이를 수신한다.

통합 관리 서버(100)는 제어 서버(200)로부터 수신한 센싱 정보를 각각 구분하여 저장한다. 이때, 여러 제어 서버(200)에서 센싱 정보를 동시에 전송하는 경우에도, 통합 관리 서버(100)는 제어 서버의 IP나 VR 디바이스의 ID 등을 통해 식별하여 저장할 수 있다.

그 다음 통합 관리 서버(100)는 디폴트 상태의 가상현실 콘텐츠에 대하여 센싱 정보를 반영하여 시뮬레이션하고, 시뮬레이션된 가상현실 콘텐츠를 복수의 제어 서버(200)로 동시에 제공한다.

이때, 둘 이상의 사용자로부터 제 1 및 제 2 센싱 정보를 수신한 경우, 통합 관리 서버(100)는 제 1 센싱 정보와 제 2 센싱 정보를 가상현실 콘텐츠 상에 동시에 반영하여 시뮬레이션한 다음, 시뮬레이션되는 가상현실 콘텐츠를 자신과 통신 연결된 복수의 제어 서버(200)로 제공할 수 있다.

또한, 시뮬레이션하는 과정에서 통합 관리 서버(100)는 제 1 및 제 2 센싱 정보에 대응하는 사용자의 제스처 이미지를 가상현실 콘텐츠 상에 동시에 반영하여 제공할 수 있다. 즉, 센싱 정보에 따른 사용자의 손 이미지나 커서 이미지 등을 가상현실 콘텐츠 상에 반영되도록 함으로써 사용자로 하여금 자신의 제스처를 가상현실 콘텐츠 상에서 확인하게끔 할 수 있다.

복수의 제어 서버(200)들은 모두 동일하게 시뮬레이션된 가상현실 콘텐츠를 수신하고, 각 제어 서버(200)들은 자신과 연결된 VR 디바이스(300)로 가상현실 콘텐츠가 출력되도록 제어한다.

이때, 본 발명의 일 실시예에 따른 가상현실 콘텐츠 제공 시스템(1)은 통합 관리 서버(100)와 통신 연결된 모든 제어 서버(200)가 VR 디바이스(300)로 동일한 시점의 가상현실 콘텐츠를 출력시키는 것이 아니라, 각 사용자에 대응하는 표시 시점으로 조정하여 콘텐츠를 출력시킬 수 있다.

즉, 각각의 제어 서버(200)는 통합 관리 서버(100)로부터 시뮬레이션된 가상현실 콘텐츠를 수신하면, 자신과 연결된 VR 디바이스(300)의 움직임 정보 또는 사용자 입력부를 통해 수신되는 시점 이동 명령에 기초하여 표시 시점을 조정한 후 가상현실 콘텐츠를 VR 디바이스(300)로 제공할 수 있다.

이에 따라, 복수의 사용자들은 가상현실 콘텐츠 상에서 서로 동일한 위치에서 가상현실 콘텐츠를 체감할 수 있을뿐만 아니라, 표시 시점이 조정됨에 따라 서로 상이한 위치 및 시점에서 가상현실 콘텐츠를 체감할 수도 있다.

한편, 본 발명의 일 실시예에서 설명하는 VR 디바이스(300)는 예를 들어 HMD 디바이스일 수 있으나 반드시 이에 한정되는 것은 아니며 글래스형 단말기와 같은 웨어러블 디바이스(Wearable device) 등이 포함될 수 있다.

이러한 VR 디바이스(300)는 제어 서버(200)와 VR 디바이스(300) 사이, VR 디바이스(300)와 VR 디바이스(300) 사이, VR 디바이스(300)와 통합 관리 서버(100) 사이, 그밖에 무선 통신 단말 간의 무선통신을 가능하게 하는 하나 이상의 통신 모듈을 포함할 수 있다.

또한, VR 디바이스(300)는 입력부를 포함할 수 있다. 입력부는 제어 서버(200)로부터 가상현실 콘텐츠를 제공받아 출력하는 영상 입력부, 오디오 신호를 입력받기 위한 마이크로 폰, 또는 오디오 입력부, 사용자로부터 사용자 입력(예를 들어, 터치키, 푸쉬키 등)을 입력받기 위한 사용자 입력부 등을 포함할 수 있다. 이와 같은 다양한 입력 신호는 제어 서버(200)를 통해 제공받거나 제어 서버(200)로 제공될 수 있다.

VR 디바이스(300)는 가상현실 콘텐츠를 출력시키는 출력부를 포함할 수 있다. 출력부는 시각, 청각 또는 촉각과 같은 다양한 출력을 발생시키기 위한 것으로, 디스플레이부, 음향 출력부, 햅틱 모듈, 광 출력부 중 적어도 하나를 포함할 수 있다.

그밖에 VR 디바이스(300)는 사용자의 위치 정보나 자세 정보를 포함하는 움직임 정보를 센싱하거나, 사용자의 신체 부위 중 일부를 통한 제스처 정보를 센싱하기 위한 센싱 모듈(311, 312, 313, 314; 310)을 더 포함할 수 있다. 이때, 사용자의 손동작을 감지하기 위한 센싱모듈은 VR 디바이스(300)인 헤드셋에 부착되어 있어, 사용자는 손에 별도의 장치를 쥐거나 착용하지 않아도 되는 장점이 있다.

이하에서는 도 2 내지 도 5를 참조하여 본 발명의 일 실시예에서 가상현실 콘텐츠로 제공되는 솔라 시스템 콘텐츠(P1)에 대해 보다 상세히 설명하도록 한다.

도 2는 다중 사용자간 상호작용이 가능한 솔라 시스템 콘텐츠(P1)를 설명하기 위한 도면이다. 도 3은 통합 관리 서버(100)를 통해 솔라 시스템 콘텐츠(P2)가 시뮬레이션되는 일 예시를 도시한 도면이다. 도 4는 제어 서버(200)를 통해 솔라 시스템 콘텐츠(P3)가 시뮬레이션되는 일 예시를 도시한 도면이다. 도 5는 천체를 분할하는 제스처에 대응하여 시뮬레이션되는 일 예시를 도시한 도면이다.

먼저 도 2를 참조하면, 본 발명의 일 실시예에서 제공되는 가상현실 콘텐츠는 태양계의 각 천체와 이들의 공전 주기, 자전 주기, 질량, 내외부 정보 등을 포함하는 솔라 시스템 콘텐츠(P1)일 수 있다.

이러한 솔라 시스템 콘텐츠(P1)가 시뮬레이션됨에 따라 각 천체들은 상대적인 크기를 갖도록 표시되며, 자신의 자전 주기와 공전 주기에 따라 움직이게 된다.

그리고 솔라 시스템 콘텐츠(P1)가 시뮬레이션됨에 따라 각 천체들은 독립적으로 제어 가능한 하나의 객체로 제공될 수 있다. 즉, 사용자들은 자전, 공전 중인 천체를 잡아서 다른 위치로 이동시키거나, 다른 궤도를 가지도록 변형시키거나 사이즈를 늘리거나 줄이는 등의 액션을 가상현실 콘텐츠 상에서 수행할 수 있다.

이때, 가상현실 콘텐츠로 제공되는 솔라 시스템 콘텐츠(P1)에 포함된 객체는 천체로 한정되는 것이 아니라, 공전 및 자전 주기와 궤도, 각 천체간의 위치 등이 모두 객체로 제공될 수 있음은 물론이다.

도 3을 참조하면, 통합 관리 서버(100)는 복수의 제어 서버(200)와 연동된 상태에서 솔라 시스템 콘텐츠(P2)를 시뮬레이션시킴에 따라, 복수의 제어 서버(200)에 연결된 VR 디바이스(300)의 정보를 솔라 시스템 콘텐츠(P2) 상에 출력시킬 수 있다.

이때, 도 3에서는 HMD헤드셋(H1~H4)이 직접 표시되는 것으로 도시되어 있으나 반드시 이에 한정되는 것은 아니다. 즉, 오큘러스 타입의 형태가 출력될 수도 있으며, 손모양이나 포인터의 모양, 눈모양 등 다양한 형태로 VR 디바이스(300)를 사용 중이 사용자를 솔라 시스템 콘텐츠(P2) 상에 표시되도록 할 수 있다.

한편, 도 3에서 관리자는 화면을 마우스로 드래그하고 휠을 돌려 시점을 이동함으로써 전체 시뮬레이션 상황을 용이하게 관찰할 수 있다. 또한, 필요에 따라 x축, y축 및 z축이 표시되도록 함으로써 사용자들의 위치 관계를 용이하게 확인할 수 있다.

도 4는 개별 사용자의 VR 디바이스(300) 상에서 출력되는 화면(P3)을 나타낸 것으로서, 개별 사용자들은 출력되는 솔라 시스템 콘텐츠(P3)를 통해 천체들의 자전, 공전을 확인할 수 있다.

또한, 사용자가 두 손을 앞으로 뻗을 경우, 두 손의 모양이 VR 디바이스(300) 상에 출력되는 화면에 나타나게 된다. 이 경우 양 손을 용이하게 구별하기 위해 오른손과 왼손을 색깔로 구분하여 표시되도록 할 수 있다.

이때, 솔라 시스템 콘텐츠(P3) 상에 출력되는 어느 한 사용자의 양 손 모양이나 VR 디바이스(300)의 모양은 다른 사용자의 VR 디바이스(300) 상에 출력되는 화면을 통해 제공될 수 있다.

이와 같이 본 발명의 일 실시예에 따른 가상현실 콘텐츠 제공 시스템(1)은 도 2 내지 도 4에서 출력되는 솔라 시스템 콘텐츠(P1, P2, P3)를 통해 다중 사용자들 간 상호작용이 가능하게끔 할 수 있다. 즉, 어느 한 사용자는 천체를 회전, 이동, 변형시킬 수 있으며, 이 경우 다른 사용자도 변경된 상태를 자신의 표시 시점에 따라 체감할 수 있다.

이러한 기능을 위해 통합 관리 서버(100)는 사용자의 제스처 정보를 제어 서버(200)로부터 수신하면, 사용자의 제스처 정보에 따라 상기 시뮬레이션된 솔라 시스템 콘텐츠(P1) 상에서의 손의 위치 정보를 산출할 수 있다. 일 예로 통합 관리 서버(100)는 손가락의 관절점 좌표 정보를 이용하여 손의 위치 정보를 산출할 수 있다.

그리고 통합 관리 서버(100)는 산출된 손의 위치 정보와 솔라 시스템 콘텐츠(P1) 상에서의 천체의 위치 간의 상대 거리를 산출한 다음, 이에 기초하여 천체와의 접촉 및 제어 동작이 반영되도록 시뮬레이션할 수 있다.

예를 들어, 사용자의 움직임 정보와 제스처 정보가 센싱되어 통합 관리 서버(100)로 제공되면, 통합 관리 서버(100)는 센싱 정보에 기초하여 솔라 시스템 콘텐츠(P1) 상에서의 사용자의 위치 및 표시 시점을 결정한다. 그리고 해당 위치 및 표시 시점에서의 좌표 정보와 천체의 좌표 정보를 비교하여 상대거리를 산출한 다음, 산출된 상대거리만큼 사용자의 손이 이동된 경우 사용자의 손과 천체가 접촉되는 것으로 확인할 수 있다.

또한, 본 발명의 일 실시예는 다중 사용자간 상호작용을 제공할 수 있다. 이는 어느 한 사람이 가상 환경을 변화시키면 다른 사용자도 변화된 가상 환경을 제공받을 수 있는 것을 의미한다.

즉, 복수의 사용자 중 하나 이상의 사용자로부터 시뮬레이션 중인 솔라 시스템 콘텐츠(P1) 상의 천체를 제 1 위치에서 제 2 위치로 이동시키려는 제스처 정보에 따라, 통합 관리 서버(100)는 솔라 시스템 콘텐츠(P1) 상에서의 천체가 제 1 위치에서 제 2 위치로 이동되도록 시뮬레이션 할 수 있다.

그리고 각 제어 서버(200)는 복수의 사용자의 각 표시 시점에 대응되도록 솔라 시스템 콘텐츠(P1)를 조정하여, 제 2 위치로 이동된 천체를 VR 디바이스(300)로 출력할 수 있다.

예를 들어, 어느 한 사람이 지구 행성을 손으로 집어 다른 공간으로 던져 놓을 경우 다른 사용자는 이를 확인할 수 있고, 다시 다른 사용자가 지구 행성을 집어 원래의 공전 위치로 가져다 놓을 수 있는 협업이 가능할 수 있다.

이뿐만 아니라, 본 발명의 일 실시예는 변경된 위치에 따른 새로운 가상환경이 생성되도록 시뮬레이션할 수 있다.

즉, 통합 관리 서버(100)는 솔라 시스템 콘텐츠(P1) 상에서의 제 1 위치 대비 제 2 위치와의 상대 거리를 산출하고, 산출된 상대거리와 기 저장된 나머지 천체의 정보에 기초하여 제 2 위치에서의 천체의 궤도 정보를 새롭게 시뮬레이션할 수 있다.

이를 위해 통합 관리 서버(100)는 솔라 시스템 콘텐츠(P1)에서의 각 객체인 천체들의 초기 위치 정보, 상대 위치 정보, 자전 및 공전 궤도 정보, 질량 정보 등을 저장하고 있으며, 사용자가 어느 하나의 천체를 제 1 위치에서 제 2위치로 이동시킨 경우, 제 2 위치에서의 다른 천체들과의 상대 위치 정보, 질량 정보 등에 기초하여 제 2 위치에서의 해당 천체의 새로운 자전 및 공전 궤도를 시뮬레이션할 수 있다.

예를 들어, 솔라 시스템 콘텐츠(P1) 상에서 금성과 화성 사이에서 태양을 중심으로 자전 및 공전을 하고 있는 지구를 어느 한 사용자가 잡은 후, 목성과 토성 사이의 위치로 이동시킨 경우, 통합 관리 서버(100)는 해당 위치에서의 목성, 토성, 태양 등의 천체들 간의 상대 거리, 그리고 해당 위치에서의 공전 궤도 등을 산출한 후 해당 위치에서 자전 및 공전되도록 시뮬레이션할 수 있다.

이때, 새롭게 시뮬레이션되는 가상현실 콘텐츠는 상술한 바와 같이 다른 사용자들에게도 동시에 제공되고 있음은 물론이다.

또한, 본 발명의 일 실시예에 따른 통합 관리 서버(100)는 천체가 제 1 위치에서 제 2 위치로 이동됨에 따라, 시뮬레이션 중인 솔라 시스템 콘텐츠(P1)의 전체 또는 사용자에 의해 설정된 일부 공간 영역에 포함된 천체들의 궤도 정보를 새롭게 시뮬레이션할 수 있다.

즉, 어느 하나의 천체의 해당 위치가 변경될 경우, 통합 관리 서버(100)는 해당 천체와 주변 천체와의 상대거리, 새로운 궤도 정보, 그리고 주변 천체의 질량, 중력, 궤도와 같은 기본 정보에 기초하여 변경된 위치에서 해당 천체뿐만 아니라 주변 천체들에 대해서도 변경된 자전 및 공전 주기를 갖도록 설정할 수 있다. 그리고 이러한 천체들의 변경 사항은 특정 공간 영역만을 대상으로 수행되게끔 설정할 수도 있으며, 시뮬레이션 중인 전체 콘텐츠를 대상으로 수행되도록 설정도 가능하다.

상술한 예시에서 솔라 시스템 콘텐츠(P1) 상의 지구가 목성과 토성 사이에 위치하도록 배치된 경우, 지구의 공전 및 자전 궤도만 새롭게 생성되는 것뿐만 아니라, 목성과 토성 그리고 주변 행성 및 위성과의 관계 정보에 따라 주변 행성들의 공전 및 자전 궤도 정보가 수정되도록 시뮬레이션될 수 있다. 그리고 전체 천체들을 대상으로 변경 사항이 적용되도록 할 수 있으며, 또는 목성과 토성, 지구 행성에 대해서만 적용되도록 공간 영역을 설정하여 시뮬레이션할 수도 있다.

이와 같이, 본 발명의 일 실시예는 솔라 시스템 콘텐츠(P1) 상의 다양한 천체들을 대상으로 새로운 위치에서의 가상의 공전 궤도를 형성하도록 하여, 다양한 가상의 환경에 대한 시뮬레이션이 가능하게끔 할 수 있다.

한편, 제 2 위치에 위치한 천체를 대상으로, 사용자는 다시 제 3의 위치로 이동시키거나 원래의 위치로 이동시키는 것도 가능하다.

또한, 본 발명의 일 실시예는 사용자의 제스처 동작으로 솔라 시스템 콘텐츠(P1) 상에서의 천체들을 터치하는 입력을 통해, 해당 천체의 설명이 정보창(P4)으로 표시되도록 할 수 있다.

즉, 제어 서버(200)가 사용자의 제스처 정보로 솔라 시스템 콘텐츠(P1) 상에 포함된 천체 중 하나 이상을 선택하는 입력을 센싱함에 따라 통합 관리 서버(100)로 전송하면, 통합 관리 서버(100)는 선택된 천체에 대한 정보를 시뮬레이션 중이 솔라 시스템 콘텐츠(P1) 상에 정보창(P4)으로 표시할 수 있다.

그리고 사용자가 다시 한번 터치 등을 통한 선택 입력을 하게 되면, 표시된 정보창(P4)은 사라지게 된다.

이때, 가상현실 콘텐츠 상에서 사용자에 대응하는 제스처 이미지가 천체를 터치하게 되는 경우, 해당 천체는 밝은색과 같이 다른 천체와 구별되는 색상으로 표시될 수 있다.

이와 함께 또는 별개로, 가상현실 콘텐츠 상에서 사용자에 대응하는 제스처 이미지가 천체를 터치하게 되는 경우, 해당 천체에 대응되는 궤도가 다른 천체들의 궤도와 별도의 제 1 색상으로 표시될 수 있다. 그리고 해당 천체를 이동시키는 경우 해당 궤도는 제 1 색상과 상이한 제 2 색상으로 표시되다가 다시 원래 궤도로 이동시키는 경우 제 1 색상으로 표시될 수 있다.

이때, 제 1 색상과 제 2 색상이 표시되는 경우 이에 대응되는 음원이 출력됨으로써 사용자로 하여금 보다 직관적으로 인식할 수 있게끔 할 수 있으며, 모든 천체의 궤도 정보가 올바르게 이동되어 셋팅되는 경우 피니쉬 음원이 출력될 수 있다.

한편, 해당 정보창(P4)은 어느 하나의 사용자에 의해 천체가 선택되어 표시되는 것인바, 해당 기능은 통합 관리 서버(100)가 아닌 제어 서버(200)에서도 직접 처리할 수 있으며, 이 경우 해당 정보창(P4)은 다른 사용자의 VR 디바이스(300) 화면에는 표시되지 않을 수 있다.

또한, 제어 서버(200)가 사용자의 제스처로 솔라 시스템 콘텐츠(P1) 상에서의 천체를 분할하는 입력을 센싱하여 통합 관리 서버(100)로 전송하면, 통합 관리 서버(100)는 선택된 천체의 대기 구조 정보 및 내부 구조 정보 중 하나 이상을 솔라 시스템 콘텐츠(P1) 상에 표시되도록 시뮬레이션 할 수 있다.

예를 들어, 사용자가 손바닥을 편채로 특정 천체를 자르거나 마치 케?揚? 손으로 파는 등의 제스처를 하는 경우, 해당 천체에 대한 대기 구조와 내부 구조가 도 5와 같이 8분의 1등분이나 4분의 1등분된 모양으로 표시되어 사용자들이 직관적으로 해당 천체의 구조 정보를 확인할 수 있다.

이를 통해 사용자들은 각 천체들의 기본 정보를 용이하게 확인할 수 있다.

이 경우, 상술한 예시에서 어느 특정 공간 영역을 대상으로 또는 전체 영역을 대상으로 어느 하나의 천체의 위치가 변경된 경우, 위치가 변경된 천체나 해당 천체의 주변에 위치하는 천체들의 변경된 공전 및 자전 궤도 정보 등이 시뮬레이션되면, 시뮬레이션 중에 해당 천체를 선택하는 입력을 통해 변경된 천체의 정보도 정보창(P4)을 통해 확인할 수도 있다.

한편, 본 발명의 일 실시예에 따른 통합 관리 서버(100)는 가상환경 콘텐츠인 솔라 시스템 콘텐츠(P1) 상의 공간 영역, 시간 영역 및 천체들을 로그 스케일로 변환하여 시뮬레이션할 수 있다.

만약 솔라 시스템을 실제 크기 및 공간 비율로 반영하여 콘텐츠를 구성할 경우, 콘텐츠 상에는 태양, 목성, 토성 정도만 보이고 나머지는 너무 작고 멀게 보여서 관찰하는 것이 거의 불가능하다.

따라서, 본 발명의 일 실시예는 콘텐츠 상의 공간 영역, 시간 영역 및 천체들을 리니어 스케일이 아닌 로그 스케일로 변환하여 시뮬레이션할 수 있다. 다만, 사용자의 선택에 따라 리니어 스케일로 표시하는 것도 가능하다.

그밖에 통합 관리 서버(100)는 솔라 시스템 상에 시간 주기를 조절하는 조절탭을 생성하여 제어 서버(200)로 제공할 수 있다.

제어 서버(200)가 사용자로부터 시뮬레이션 중인 솔라 시스템 콘텐츠(P1) 상에 포함된 천체의 전부 또는 일부에 대한 조절탭의 입력값을 센싱하여 전송하면, 통합 관리 서버(100)는 시뮬레이션을 통해 제공 중인 천체의 공전 주기 및 자전 주기 중 하나 이상을 조절탭의 입력값에 기초하여 변경되도록 시뮬레이션할 수 있다.

한편, 학교에서의 교육이나 전시장에서의 설명을 하는 경우에는 각 사용자 별로 표시되는 영상에 교편이나 기타 교보재와 같은 지시물을 표시하여 설명하는 것이 매우 효과적이다.

따라서 본 발명에서는 가상환경 영상에 더하여 사용자 중 일부가 지시물을 표출하고 싶은 사용자가 미리 설정한 제스처를 통해 지시물 표출을 요청하면 제스처를 토대로 해당 지시물을 가상환경 영상에 더하여 표시한다.

도 6은 지시물 요청자 이외의 사용자(예컨대, 학생 또는 전시장 관람객 등)가 보게되는 가상환경 영상을 예시한 도면이다.

지시물 요청자 이외의 사용자는 교사나 큐레이터 등의 지시물 요청 사용자(610)과 지시물(620)을 함께 보게 되며, 지시물(620)에 의하여 설명하고자 하는 대상(630)을 명확히 인식하면서 설명을 들을 수 있다. 요청 사용자(610)를 표시하기 위해서는 요청 사용자(610)를 촬영하는 하나 이상의 영상 센서가 필요하다. 본 실시예의 시스템은 하나 이상의 영상 센서로부터 획득된 요청 사용자의 영상을 3차원으로 재구성하여 그 이외의 사용자의 시선에 부합되게 시뮬레이션하여 각 사용자의 VR 디바이스로 제공한다. 또는 요청 사용자(610)은 표시하지 않고 지시물(620)만을 가상환경 영상에 표시할 수 있음은 물론이다.

지시물의 요청 제스처는 도 6과 같이 지시봉을 표시하고 싶은 사용자는 손을 활짝 폈다가 지시봉을 쥐는 모양, 즉 두 개의 제스처를 연계한 다중 제스처를 통하여 지시봉 표시를 요청할 수 있다.

본 실시예의 시스템은 이 제스처를 인식하여 요청 사용자의 몸의 위치와 손의 위치를 고려하여 적절한 위치에 지시봉을 표시하고, 표시된 이후에는 실제 지시봉을 쥐는 것과 동일하게 손목을 움직이면 이 제스처를 인식하여 지시봉의 위치와 방향을 가상환경 영상에서 실시간으로 갱신한다.

한편, 도 7에서 도시된 바와 같이, 교편 모양과 같은 지시물의 움직임은 손 움직임(A)에 비하여 큰 움직임(B)를 가진다. 따라서, 지시물의 위치와 방향을 정확하게 표출하기 위해서는 종래에 비하여 보다 정밀한 제스처 인식이 요구된다.

또한, 본 발명은 기본적으로 가상환경 영상물에 대하여 사용자가 직접 조작을 가할 수 있는 것이므로, 이러한 관점에서도 정밀한 제스처 인식이 요구된다.

따라서, 본 발명의 바람직한 일 실시예에서는 사용자의 제스처 인식에 대한 보다 정밀한 방식을 제시한다.

제스처 인식은 전술한 바와 같이 연이은 복수 개의 제스처 또는 복수 개의 신체부위를 이용한 다중 동작의 인식을 통해 사용자 명령을 파악하는 방식이다.

그런데, 이와 같은 인식을 위해서는 종래의 손가락 끝점 검출 방식 등과 같은 제한적 특징점 검출 방식에 의하면 오동작의 경우가 많다.

따라서, 본 발명의 일 실시예에 따른 제스처 인식은 검출 디바이스(110)가 각 신체부위의 관절부위의 위치와 움직임도 함께 파악하는 것을 특징으로 한다.

예를 들어, 검출 디바이스(110)는 각 손마다 다섯 손가락 끝, 엄지의 1개 마디, 검지 내지 약지의 2개 마디, 각 손가락과 손바닥이 연결되는 마디, 손목 관절에 대한 20개의 특징점의 위치와 움직임을 모두 파악한다.

또한, 3차원 공간에서 40개 마디 위치와 움직임 검출은 한 방향에서 센싱하는 센서에 의하여는 각 마디의 오클루전 현상으로 오동작 확률이 높고 각 마디 간의 깊이 인식도 용이하지 않다.

따라서, 본 발명의 일 실시예는 적어도 두 개 이상의 방향에 위치한 검출 디바이스(110)에 의하여 제스처 인식을 하되, 바람직하게는 각 검출 디바이스(110)의 위치는 90도 이상의 간격으로 이격됨이 바람직하고, 180도에 근접할수록 더욱 바람직하다.

예컨대, VR 환경에서는 헤드셋에 검출 디바이스(110)를 두고(즉, 손의 후방에 센싱 모듈이 위치함), 손의 측면이나 전방에 적어도 하나 이상의 센싱 모듈을 추가로 배치하여 각 센싱 모듈이 연동하여 손의 모든 마디에 대한 위치와 움직임을 파악하는 것이 좋다.

실제 환경이라면 TV 등의 이용자의 전방의 피제어기기에 검출 디바이스(110)를 두고(즉, 손의 전방에 센싱 모듈이 위치함), 손의 측면이나 후방에 적어도 하나 이상의 센싱 모듈을 추가로 배치하여 각 센싱 모듈이 연동하여 손의 모든 마디에 대한 위치와 움직임을 파악하는 것이 좋다.

또한, 사용자의 손 모양과 크기, 손가락의 길이가 모두 상이하므로, 이용 전 검출 디바이스(110)의 사전 학습 단계를 선행하는 것이 바람직하다.

예컨대, 3개 내지 5개의 기본 명령어 세트를 제시하고 사용자가 이를 따라할 때, 사용자의 신체부위의 각 마디의 움직임을 검출하여 사용자의 손 모양, 크기, 마디 위치, 손가락 길이 등의 손 모양 정보를 파악한 후 사용자 DB에 저장해 놓고, 이후의 실제 명령을 위한 제스처를 파악할 때 기 파악된 사용자의 손 모양 정보를 고려하여 해석하면, 각 명령 제스처에 대한 보다 정확한 해석이 가능하다.

아울러, 사전 학습 단계에서 손 모양 정보 뿐 아니라 각 마디의 움직임에 대한 손 동작 정보를 파악하여 저장해 놓고, 실제 이용시의 제스처 파악에 이용하면 더욱 정확한 해석이 가능할 것이다.

사용자의 손 모양 정보 및/또는 손 동작 정보는 실제 명령을 위한 제스처를 검출할 때마다 지속적으로 학습하여 저장된 사용자의 손 모양 정보 및/또는 손 동작 정보를 갱신한다.

한편, 사람의 손 모양 및 손 동작은 각 개인별로 고유한 특징이 있다. 즉, 타고난 손모양에 더하여 오랜 시간에 걸쳐 형성된 습관에 따라 손 모양이 변형되어 고착되고 또한 손 동작의 특이한 버릇이나 각 관절의 이동범위가 모두 상이하다.

따라서, 손 모양 및 손 동작을 파악한 이후에는 별도의 인증 절차 없이, 주어진 하나 이상의 제스처 확인을 통해 본 발명에 따른 제스처 인식 장치(100)에 의하여 사용자 인증이 가능하다.

제스처 인식에 대한 다른 실시예로서, 제츠춰를 구성하는 순서대로의 복수의 모양, 즉 제스처를 촬영한 영상의 복수의 프레임에 존재하는 사용자의 모양에 대하여 각각 골격 모델을 수립하고, 이를 기초로 제스처를 인식한다.

이하, 제스처 중 특히 정밀 인식이 필요한 손 동작을 예시로 구체적으로 설명한다.

VR 디바이스가 획득한 일련의 손 모양으로부터 골격 모델을 생성한다. 골격 모델은 사용자의 골격 관련 정보를 참조하여 인식한 손 모양에서 추출하는데, 골격 관련 정보는 전술한 바와 같이 사용자의 손 모양, 크기, 마디 위치, 손가락 길이 등의 손 모양 정보를 포함한다. 즉, 전술한 실시예와 본 실시예의 차이점은 영상에 존재하는 손 포즈를 골격 단위로 변환하여 인식한다는 것이다. 골격 모델 추출은 전술한 바와 같이 AI의 학습을 통하여 더욱 정밀해지는 방향으로 수행될 수 있다.

본 실시예의 제스처 인식 방식은 골격 모델에 기초하여 손 포즈를 결정하므로, 손 포즈를 결정하는 데 있어서 손의 각도나 크기, 겹침에 따른 영향을 최소화 할 수 있고, 손의 외형적 모양만을 비교하는 방식에 비하여 유사한 손 포즈 간의 차이를 정밀하게 식별할 수 있다.

따라서, 전술한 실시예에서처럼 센서 모듈을 다각적으로 많이 구비하지 않아도 정밀한 제스처 인식이 가능한다.

제스처 인식에 관한 또 다른 실시예는, 사용자의 신체 구조에 따른 동작의 한계점을 고려하여 인식을 하는 것이다.

예컨데, 종래의 손동작 인식 방식에서는, 어떤 손가락을 폈는지도 구별하기가 용이하지 않다. 그런데, 사람의 손동작은 신체구조상 각 손가락을 동일 평면상에서 벌리면, 엄지와 검지 사이가 가장 넓게 벌어지고 그 외의 손가락 사이는 그보다 좁게 벌어진다. 또는 주먹을 쥐고 한 손가락만을 펴는 동작을 취하면 엄지 손가락이 손등과 평행한 평면을 넘어서 펴질 수 있고, 그 외의 손가락은 손등 평면을 넘어서 펴지지 않으며, 중지는 검지보다 펴지는 각도가 작다.

따라서 신체 구조상의 여러 동작 한계를 미리 DB화 하고, 사용자의 손 동작을 지속적으로 파악하면서 미리 저장된 동작 한계를 고려하여 제스처 인식을 수행하면 정밀도를 더욱 향상시킬 수 있다.

이하, 본 발명의 기술적 사상의 범주에 드는 몇 실시예를 들어 본 발명의 구성에 대하여 설명하였다. 본 발명의 여러 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 가상현실 콘텐츠 제공 시스템
100: 통합 관리 서버
200: 제어 서버
300: VR 디바이스

Claims (8)

1. 다중 사용자 간의 상호작용을 기반으로 하는 가상현실 콘텐츠 제공 시스템에 있어서,
   헤드셋 타입으로서 복수의 사용자 각각이 착용하여 각 사용자의 위치를 센싱하고, 적어도 두 개 이상의 방향에 위치하고 각기 90도 이상의 간격으로 이격되어 착용한 사용자의 손동작을 감지하기 위하여 부착된 센싱 모듈 및 손의 측면 및 후방에 적어도 하나 이상 추가 배치된 센싱 모듈에 의하여, 자신을 착용한 사용자의 각 손마다 다섯 손가락 끝, 엄지의 1개 마디, 검지 내지 약지의 2개 마디, 각 손가락과 손바닥이 연결되는 마디, 손목 관절에 대한 20개의 특징점의 위치와 움직임을 모두 검출하고 상기 각 손마다의 특징점의 좌표 정보를 포함하는 제스처 센싱 정보를 하기 복수의 제어 서버로 송신하며 각 사용자에게 가상환경을 제공하는 복수의 VR 디바이스와,
   상기 각 사용자의 시점에 맞게 가상현실 콘텐츠를 제공하는 통합 관리 서버와,
   상기 통합 관리 서버와 연결되어 상기 가상현실 콘텐츠를 저장하는 콘텐츠 저장부와,
   상기 복수의 VR 디바이스 각각에 대응되며, 복수의 사용자에 대응하는 VR 디바이스에 대한 센싱 정보를 상기 통합 관리 서버로 전송하고, 상기 통합 관리 서버로부터 상기 센싱 정보가 반영되어 시뮬레이션된 상기 가상현실 콘텐츠를 제공받아 자신에게 대응되는 VR 디바이스로 출력시키는 복수의 제어 서버를 포함하되,
   상기 통합 관리 서버는 상기 VR 디바이스로부터 전달된 상기 각 손마다의 특징점의 좌표 정보를 이용하여 사용자 손의 위치 및 움직임을 산출하고, 센서 디바이스로부터 감지된 상기 각 사용자 손의 상기 가상현실 콘텐츠 내의 가상객체에 대한 접촉, 파지(把持), 이동, 형상 변형 중 어느 하나의 제스처, 즉 사용자가 상기 가상 객체를 잡아서 다른 위치로 이동시키고 변형시키고 늘이고 줄이는 동작을 수행하면 이에 대응하여 상기 가상 객체의 위치, 동작 및 모양 중 적어도 어느 하나를 변경시킴으로써 상기 각 가상 객체를 독립적으로 제어 가능한 객체로 사용자에게 제공하고, 사용자 손에 의한 상기 가상 객체의 변화를 상기 복수의 제어 서버로 전달하여 다중 사용자 모두의 가상현실에 상기 가상현실 콘텐츠의 변화를 반영하도록 하는 것인 가상현실 콘텐츠 제공 시스템.
2. 제 1 항에 있어서,
   상기 VR 디바이스는 사용자의 손을 촬영하여 상기 복수의 제어 서버 중 자신과 대응하는 제어 서버로 전송하고,
   상기 제어 서버는 상기 손 영상의 각 프레임에 존재하는 손 각각을 골격 모델로 변환하여 하나 이상의 손 모양을 인식하고 이로부터 손 제스처를 인식하는 것인 가상현실 콘텐츠 제공 시스템.
3. 제 1 항에 있어서,
   상기 가상현실 콘텐츠 이외의 지시물 콘텐츠를 저장하는 지시물 저장부를 더 포함하고,
   상기 통합 관리 서버는 상기 VR 디바이스에 의해 인식된 사용자의 손 제스처가 지시물 표출을 요청하는 것으로 인식하면, 해당 지시물을 상기 지시물 저장부에 독출하여 상기 가상현실 콘텐츠에 더하여 상기 각 사용자의 표시 시점별로 동시에 반영하여 제공하는 것인 가상현실 콘텐츠 제공 시스템.
4. 제 3 항에 있어서,
   상기 통합 관리 서버는, 상기 손 제스처에 맞추어 상기 지시물의 위치, 방향을 실시간으로 변경하여 표출하는 것인 가상현실 콘텐츠 제공 시스템.
5. 제 3 항에 있어서,
   상기 통합 관리 서버는, 지시물 표출을 요청하는 상기 사용자의 영상을 촬영하고 이 사용자의 영상과 상기 지시물을 함께 상기 가상현실 상기 각 사용자의 표시 시점별로 동시에 반영하여 제공하는 것인 가상현실 콘텐츠 제공 시스템.
6. 다중 사용자 간의 상호작용을 기반으로 하는 가상현실 콘텐츠 제공 방법에 있어서,
   복수의 사용자 각각이 머리에 착용한 VR 디바이스가, 각 사용자의 위치를 센싱하고 적어도 두 개 이상의 방향에 위치하고 각기 90도 이상의 간격으로 이격되어 착용한 사용자의 손동작을 감지하기 위하여 부착된 센싱 모듈 및 손의 측면 및 후방에 적어도 하나 이상 추가 배치된 센싱 모듈에 의하여, 자신을 착용한 사용자의 각 손마다 다섯 손가락 끝, 엄지의 1개 마디, 검지 내지 약지의 2개 마디, 각 손가락과 손바닥이 연결되는 마디, 손목 관절에 대한 20개의 특징점의 위치와 움직임을 모두 검출하고 상기 각 손마다의 특징점의 좌표 정보를 포함하는 제스처 센싱 정보를 하기 복수의 제어 서버로 송신하는 단계와,
   상기 센싱된 위치 정보를 반영하여 상기 가상현실 콘텐츠를 상기 각 사용자의 위치를 고려하여 각 사용자별로 시뮬레이션하는 단계와,
   시뮬레이션된 상기 가상현실 콘텐츠를 대응되는 각 사용자별 VR 디바이스로각각 출력시키는 단계와,
   상기 각 사용자 손의 제스처를 사용자의 상기 각 손마다의 특징점의 좌표 정보를 이용하여 사용자 손의 위치 및 움직임을 산출하여 인식하는 단계와,
   상기 인식된 손 제스처가 상기 가상현실 콘텐츠 내의 가상객체에 대한 접촉,파지(把持), 이동, 형상 변형 중 어느 하나의 제스처에 해당하면, 즉 사용자가 상기 가상 객체를 잡아서 다른 위치로 이동시키고 변형시키고 늘이고 줄이는 동작을 수행하면 상기 가상 객체의 위치, 동작 및 모양 중 적어도 어느 하나를 변경시킴으로써 현재 제공하는 가상현실 콘텐츠 내 가상객체를 상기 인식된 손 제스춰에 따라 변경하는 단계와,
   상기 각 가상 객체를 독립적으로 제어 가능한 객체로 사용자에게 제공하고, 사용자 손에 의한 상기 가상 객체의 변화를 상기 복수의 제어 서버로 전달하여 다중 사용자 모두의 가상현실에 상기 가상현실 콘텐츠의 변화를 반영하는 단계
   를 포함하는 가상현실 콘텐츠 제공 방법.
7. 제 6 항에 있어서, 상기 인식하는 단계는,
   상기 제스처를 촬영한 복수의 영상 프레임에 존재하는 사용자의 모양을 기초로 각 프레임별 골격 모델을 생성하는 단계와,
   상기 골격 모델을 기초로 각 모양을 인식하는 단계와,
   상기 각 모양의 변화에 따라 제스처를 인식하는 단계를 포함하는 것인 가상현실 콘텐츠 제공 방법.
8. 제 6 항에 있어서, 상기 변경하는 단계는
   센서 디바이스로부터 감지된 제스처가 상기 가상현실 콘텐츠의 변경과 관련된 것인지, 상기 가상현실 이외의 지시물의 표출에 관한 것인지를 판단하는 단계와,
   상기 판단 결과에 따라, 상기 제스처에 대응하여 현재 제공하는 가상현실 콘텐츠를 변경하거나, 상기 제스처에 대응되는 지시물을 현재 제공하는 가상현실 콘텐츠에 더하여 표시하는 단계
   를 더 포함하는 것인 가상현실 콘텐츠 제공 방법.

Images