KR102218089B1 - 가상 현실 제어 시스템 - Google Patents

Abstract

본 발명의 일 양상에 따르면, 제1 광 신호를 검출하는 제1 센싱부, 제1 사용자에게 영상을 출력하는 제1 디스플레이, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트 및 상기 제1 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는 상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 제1 디스플레이에는 상기 제1 가상 위치 정보에 기초한 제1 시야 범위 내의 영상이 출력되고, 상기 제1 리얼 오브젝트가 상기 제1 시야 범위의 경계로부터 미리 설정된 범위 내에 위치하는 경우 상기 제1 디스플레이에는 제1 시점에 상기 제1 리얼 오브젝트와 대응되는 제1 가상 오브젝트가 표시되고, 제2 시점에 상기 제1 리얼 오브젝트와 대응되는 제2 가상 오브젝트가 표시되되, 상기 제1 시점과 제2 시점은 서로 다른 시점이며, 상기 제1 가상 오브젝트와 상기 제2 가상 오브젝트는 서로 다른 가상 오브젝트인 가상 현실 제어 시스템이 제공될 수 있다.

Description

가상 현실 제어 시스템{Virtual Reality Control System}

아래의 실시예들은 가상 현실 제어 시스템에 관한 것이다.

가상 환경은 현실을 기반으로 현실에 가상의 정보를 부가하여 사용자에게 제공하거나 현실에서의 대상체의 상태를 프로그램에 의해 생성된 가상 현실 이미지로써 제공하는 기술일 수 있다.

이러한 가상 환경 제공 기술에는 현실에 제공되는 사용자나 오브젝트 등의 대상체의 상태에 대한 정보를 기반으로 프로그램에 의해 가상 공간, 가상 캐릭터 및 가상 오브젝트 등을 생성하는 기술이 포함될 수 있고, 이 때 다양한 센서를 이용하여 대상체의 상태에 대한 정보를 획득하게 된다.

사용자에게 가상 체험이 제공됨에 있어, 가상 공간 내에서 도구를 사용할 수 있도록 리얼 오브젝트가 함께 제공될 수 있다. 이 때, 리얼 오브젝트는 그 위치나 형상이 인식되어 가상 공간 내 대응하는 가상 오브젝트로 표시될 수 있고 가상 공간 내에서 필요한 기능이 부가될 수 있다.

한편, 리얼 오브젝트가 가상 공간 내에서 형상이 고정되거나 하나의 기능을 갖는 가상 오브젝트로 구현된다면 사용자에게 내용이나 종류가 다른 가상 체험이 제공됨에 있어서 한계가 있을 수 있다.

따라서 하나의 리얼 오브젝트가 가상 공간에서 복수의 형상을 갖거나 둘 이상의 기능을 구비하는 방법이 요구된다.

일 과제는 사용자에게 다양한 내용의 가상 체험이 제공될 때, 사용자에게 제공되는 리얼 오브젝트가 필요에 따라 가상 공간에서 둘 이상의 형상으로 표시되는 이미지 처리 방법을 제공함에 있다.

또 다른 과제로 사용자에게 다양한 내용의 가상 체험이 제공될 때, 사용자에게 제공되는 리얼 오브젝트가 필요에 따라 가상 공간에서 둘 이상의 기능을 수행하도록 구현하는 방법을 제공함에 있다.

또 다른 과제로, 리얼 오브젝트가 가상 체험에서 특정 용도로 사용되는 경우, 사용자의 시야범위에 포함되지 않은 리얼 오브젝트를 가상 공간에서 확장하여 표시하는 방법을 제공함에 있다.

본 발명의 일 양상에 따르면, 제1 광 신호를 검출하는 제1 센싱부, 제1 사용자에게 영상을 출력하는 제1 디스플레이, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트 및 상기 제1 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는 상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 제1 디스플레이에는 상기 제1 가상 위치 정보에 기초한 제1 시야 범위 내의 영상이 출력되고, 상기 제1 리얼 오브젝트가 상기 제1 시야 범위의 경계로부터 미리 설정된 범위 내에 위치하는 경우 상기 제1 디스플레이에는 제1 시점에 상기 제1 리얼 오브젝트와 대응되는 제1 가상 오브젝트가 표시되고, 제2 시점에 상기 제1 리얼 오브젝트와 대응되는 제2 가상 오브젝트가 표시되되, 상기 제1 시점과 제2 시점은 서로 다른 시점이며, 상기 제1 가상 오브젝트와 상기 제2 가상 오브젝트는 서로 다른 가상 오브젝트인 가상 현실 제어 시스템이 제공될 수 있다.

본 발명의 다른 양상에 따르면, 광 신호를 검출하는 센싱부, 사용자에게 영상을 출력하는 디스플레이, 상기 사용자의 조작에 의해 위치가 변경되는 리얼 오브젝트 및 상기 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는 상기 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 디스플레이에 상기 제1 가상 위치 정보에 기초한 시야 범위 내의 영상을 출력하고, 상기 리얼 오브젝트가 상기 시야 범위의 경계로부터 미리 설정된 범위 내에 위치하는 경우 상기 디스플레이에 상기 리얼 오브젝트에 대응되는 가상 오브젝트를 표시하되, 상기 가상 오브젝트는 서로 다른 제1 가상 오브젝트 및 제2 가상 오브젝트를 포함하고, 상기 리얼 오브젝트는 제1 시점에 제2 가상 위치 정보를 가지고 제2 시점에 제3 가상 위치 정보를 가질 때, 상기 제2 가상 위치 정보와 상기 제3 가상 위치 정보가 서로 다른 경우 상기 디스플레이에 상기 제1 시점에는 상기 리얼 오브젝트와 대응되는 상기 제1 가상 오브젝트를 표시하고 상기 제2 시점에는 상기 리얼 오브젝트와 대응되는 상기 제2 가상 오브젝트를 표시하는 가상 현실 제어 시스템이 제공될 수 있다.

사용자에게 하나의 리얼 오브젝트가 제공됨에도 사용자는 복수의 가상 체험을 경험할 수 있어 불필요한 리얼 오브젝트의 사용을 방지할 수 있다.

하나의 리얼 오브젝트가 가상 공간에서 다수의 형상으로 구현되거나 다양한 기능이 수행됨으로써 사용자로 하여금 흥미를 유발시킬 수 있다.

사용자에게 제공되는 가상 체험의 종류나 내용에 따라 하나의 리얼 오브젝트가 그 형상이나 기능이 변경됨으로써 사용자로 하여금 몰입도를 증대시킬 수 있다.

도 1은 일 실시예에 따른 가상 현실 제어 시스템을 나타내는 환경도이다.
도 2는 일 실시예에 따른 디텍팅 장치를 나타내는 블록도이다.
도 3은 일 실시예에 따른 서버를 나타내는 블록도이다.
도 4는 일 실시예에 따른 보조 컴퓨팅 장치를 나타내는 블록도이다.
도 5는 일 실시예에 따른 착용형 디스플레이 장치를 나타내는 블록도이다.
도 6은 일 실시예에 따른 가상 현실 제어 시스템의 구현을 나타내는 예시도이다.
도 7은 일 실시예에 따른 대상체 추적 방법을 나타내는 개략도이다.
도 8은 일 실시예에 따른 가상 현실 이미지가 착용형 디스플레이 장치를 통해 출력되는 것을 나타내는 도면이다.
도 9는 일 실시예에 따른 협업이 이루어지기 전 현실 공간을 나타내는 예시도이다.
도 10은 일 실시예에 따른 협업이 이루어지기 전 제1 사용자에게 제공되는 가상 현실 이미지를 나타내는 예시도이다.
도 11은 현실 공간에서 복수의 사용자에 의해 협업이 이루어진 경우를 나타내는 예시도이다.
도 12는 가상 공간에서 복수의 사용자에 의해 협업이 이루어진 경우를 나타내는 예시도이다.
도 13은 입력 장치를 이용하는 복수의 사용자에 의해 협업이 이루어지기 전 현실 공간을 나타내는 예시도이다.
도 14는 입력 장치를 이용하는 복수의 사용자에 의해 협업이 이루어진 후 현실 공간을 나타내는 예시도이다.
도 15는 입력 장치를 이용하는 복수의 사용자에 의해 협업이 이루어지기 전 가상 공간을 나타내는 예시도이다.
도 16은 입력 장치를 이용하는 복수의 사용자에 의해 협업이 이루어진 후 가상 공간을 나타내는 예시도이다.
도 17은 일 실시예에 따른 리얼 오브젝트를 포함하는 현실 공간을 나타내는 예시도이다.
도 18은 일 실시예에 따른 가상 공간에서 적어도 하나 이상의 리얼 오브젝트를 이용한 협업이 이루어지는 것을 나타내는 예시도이다.
도 19는 일 실시예에 따른 착용형 디스플레이 장치를 착용한 사용자와 착용하지 않은 사용자에게 가상 체험이 제공될 때 현실 공간을 나타내는 예시도이다.
도 20은 일 실시예에 따른 착용형 디스플레이 장치를 착용한 사용자와 착용하지 않은 사용자에게 가상 체험이 제공될 때 가상 공간을 나타내는 예시도이다.
도 21은 일 실시예에 따른 복수 사용자에 의한 협업을 평가 결과에 반영하는 협업 평가 방법을 나타내는 순서도이다.
도 22는 일 실시예로, 현실에서 상대적으로 먼 거리에서 사용자간 접촉 시 가상 공간에서 렌더링 이미지가 표시되는 것을 나타내는 예시도이다.
도 23은 일 실시예로, 현실에서 상대적으로 가까운 거리에서 사용자간 접촉 시 가상 공간에서 렌더링 이미지가 표시되는 것을 나타내는 예시도이다.
도 24는 일 실시예에 따른 입력 장치를 나타내는 예시도이다.
도 25는 일 실시예에 따른 입력 장치가 가상 공간에서 서로 다른 가변 오브젝트로 변경되는 것을 나타내는 예시도이다.
도 26은 일 실시예에 따라 제2 가변 오브젝트가 제1 가변 오브젝트로 변경되는 경우를 나타내는 예시도이다.
도 27은 일 실시예에 따라, 가변 오브젝트의 형상이 캐릭터의 위치에 따라 변경되는 방법을 나타내는 예시도이다.
도 28은 일 실시예에 따라, 입력 장치에 대응하는 가변 오브젝트가 가상 현실 이미지에 표시되는 방법을 나타내는 예시도이다.
도 29는 일 실시예에 따른, 가상 공간에서 가상 오브젝트 사이에 충돌이 발생하기 전 상황을 나타내는 예시도이다.
도 30은 일 실시예에 따른, 충돌 오브젝트및 조작 오브젝트 사이에 충돌이 발생한 경우를 나타내는 예시도이다.
도 31은 일 실시예에 따른, 충돌 오브젝트 및 조작 오브젝트 사이에 충돌이 발생할 경우 가상 현실 이미지를 출력하는 방법을 나타내는 예시도이다.
도 32는 일 실시예에 따른, 가상 공간 내 복수의 조작 오브젝트가 표시되는 방법을 나타내는 예시도이다.
도 33은 일 실시예에 따른, 가상 장소가 변경되는 방법을 나타내는 예시도이다.

본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.

도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.

본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

가상 현실은 현실 세계와 달리 프로그램에 의해 생성된 인공적인 환경일 수 있다.

이러한 가상 현실은 통상적으로 프로그램에 의해 현실과 분리된 가상 공간을 생성하여 이에 대한 이미지를 제공하는 VR, 현실 세계를 기반으로 가상의 이미지를 겹쳐 하나의 이미지로 제공하는 AR 및 현실 세계와 가상 현실을 융합하여 가상 공간을 제공하고 이에 대한 이미지를 제공하는 MR로 구분될 수 있다.

이하에서 설명되는 가상 현실을 설명함에 있어서 가상 현실은 앞서 설명된 VR, AR 및 MR 뿐만 아니라 다양한 형태의 가상 공간을 제공하는 가상 환경을 의미할 수 있다.

앞서 언급된 문제점을 해결하기 위해 본 발명의 일 실시예에 따르면, 제1 광 신호를 검출하는 제1 센싱부, 제1 사용자에게 영상을 출력하는 제1 디스플레이, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트 및 상기 제1 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는, 상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 제1 디스플레이에는 상기 제1 가상 위치 정보에 기초한 제1 시야 범위 내의 영상이 출력되고, 상기 제1 리얼 오브젝트가 상기 제1 시야 범위의 경계로부터 미리 설정된 범위 내에 위치하는 경우 상기 제1 디스플레이에는 제1 시점에 상기 제1 리얼 오브젝트와 대응되는 제1 가상 오브젝트가 표시되고, 제2 시점에 상기 제1 리얼 오브젝트와 대응되는 제2 가상 오브젝트가 표시되되, 상기 제1 시점과 제2 시점은 서로 다른 시점이며, 상기 제1 가상 오브젝트와 상기 제2 가상 오브젝트는 서로 다른 가상 오브젝트인 가상 현실 제어 시스템이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 상기 제1 리얼 오브젝트로부터 출력되는 신호에 기초하여 상기 제1 가상 오브젝트는 상기 제2 가상 오브젝트로 변경되는 가상현실 제어 시스템이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 상기 제1 리얼 오브젝트의 이동궤적에 기초하여 상기 제1 가상 오브젝트는 상기 제2 가상 오브젝트로 변경되는 가상 현실 제어 시스템이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 상기 제1 시점 및 상기 제2 시점은 미리 설정된 시간차를 가지는 가상 현실 제어 시스템이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 상기 제1 리얼 오브젝트가 상기 제1 시야 범위의 경계 밖에 위치하는 경우 상기 제1 디스플레에에는 상기 제1 리얼 오브젝트로부터 연장된 가상 오브젝트가 출력되는 가상 현실 제어 시스템이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 상기 제1 리얼 오브젝트는 상기 제1 사용자의 입력에 의한 입력신호를 상기 적어도 하나 이상의 제어부로 전달하는 입력부를 포함하고, 상기 제어부는, 상기 제1 시점과 상기 제2 시점 사이에 상기 입력신호가 획득되면 상기 제1 디스플레이에 상기 제2 가상 오브젝트를 출력하는, 가상 현실 제어 시스템이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 광 신호를 검출하는 센싱부, 사용자에게 영상을 출력하는 디스플레이, 상기 사용자의 조작에 의해 위치가 변경되는 리얼 오브젝트 및 상기 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는, 상기 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 디스플레이에 상기 제1 가상 위치 정보에 기초한 시야 범위 내의 영상을 출력하고, 상기 리얼 오브젝트가 상기 시야 범위의 경계로부터 미리 설정된 범위 내에 위치하는 경우 상기 디스플레이에 상기 리얼 오브젝트에 대응되는 가상 오브젝트를 표시하되, 상기 가상 오브젝트는 서로 다른 제1 가상 오브젝트 및 제2 가상 오브젝트를 포함하고, 상기 리얼 오브젝트는 제1 시점에 제2 가상 위치 정보를 가지고 제2 시점에 제3 가상 위치 정보를 가질 때, 상기 제2 가상 위치 정보와 상기 제3 가상 위치 정보가 서로 다른 경우 상기 디스플레이에 상기 제1 시점에는 상기 리얼 오브젝트와 대응되는 상기 제1 가상 오브젝트를 표시하고 상기 제2 시점에는 상기 리얼 오브젝트와 대응되는 상기 제2 가상 오브젝트를 표시하는 가상 현실 제어 시스템이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 상기 리얼 오브젝트는 제3 시점에서 제4 가상 위치 정보를 가지되, 상기 제3 시점은 상기 제1 시점 및 상기 제2 시점 사이의 시점이고, 상기 제4 가상 위치 정보는 상기 제2 가상 위치 정보 및 상기 제3 가상 위치 정보에 의해 형성되는 연장선으로부터 미리 설정된 범위 내에 위치하는 가상 현실 제어 시스템이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 상기 리얼 오브젝트는 액추에이터를 포함하고, 상기 액추에이터는 상기 제1 시점 및 상기 제2 시점 사이에 적어도 한 번 이상 동작하는 가상 현실 제어 시스템이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 상기 적어도 하나 이상의 제어부는, 상기 리얼 오브젝트의 특징점에 기초하여 상기 제2 가상 위치 정보 및 상기 제3 가상 위치 정보를 산출하는 가상 현실 제어 시스템이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 상기 제1 시점은 상기 제2 시점보다 앞선 시점이고, 상기 제2 가상 위치 정보는 상기 제1 시점으로부터 경과한 시간이 길어질수록 상기 제3 가상 위치 정보에 가까워지는 가상 현실 제어 시스템이 제공될 수 있다.

이하에서는 도 1을 참조하여 일 실시예에 따른 가상 현실을 제공하기 위한 가상 현실 제어 시스템(10)에 대해서 설명하도록 한다.

도 1은 일 실시예에 따른 가상 현실 제어 시스템(10)을 나타내는 환경도이다.

도 1을 참조하면, 가상 현실 제어 시스템(10)은 디텍팅 장치(100), 서버(200), 보조 컴퓨팅 장치(300), 착용형 디스플레이 장치(400) 및 입력 장치(500)를 포함할 수 있다.

일 실시예에 따르면 디텍팅 장치(100)는 서버(200)와 연결될 수 있다.

디텍팅 장치(100)는 대상체를 추적하여 디텍팅 정보를 획득할 수 있다.

일 실시예에 따른 대상체는 착용형 디스플레이 장치(400)를 통해 출력되는 이미지에 영향을 주는 물체일 수 있다.

예를 들어 대상체는 착용형 디스플레이 장치(400), 사용자, 입력 장치(500), 상기 사용자 주변에 위치한 물체 및 기준점 또는 특징점을 갖는 물체 중 적어도 하나가 포함될 수 있다.

또한 일 실시예에 따른 대상체의 추적은 현실 환경에서의 대상체의 위치에 대한 정보를 획득하는 것을 의미할 수 있다.

예를 들어 대상체의 추적은 현실 환경에서 대상체의 이동에 따라 변경되는 위치에 대한 정보를 획득할 수 있다. 이러한 대상체에 대한 위치 정보는 획득한 미리 정해진 주기로위치 정보 획득될 수 있으나, 이에 한정되는 것은 아니다.

일 실시예에 따르면 디텍팅 장치(100)는 디텍팅 정보를 서버(200)에 제공할 수 있다.

일 실시예에 따르면 서버(200)는 디텍팅 장치(100) 및 보조 컴퓨팅 장치(300)와 연결될 수 있다.

서버(200)는 연결된 구성으로부터 정보를 획득할 수 있다.

일 실시예에 따르면 서버(200)는 디텍팅 장치(100)로부터 디텍팅 정보, 디텍팅 장치(100)가 획득한 이미지 정보 및 디텍팅 장치(100)의 상태 정보 중 적어도 하나를 획득할 수 있다.

그 밖에도 서버(200)는 후술할 몇몇 실시예에 따라 다양한 정보를 획득할 수 있다.

일 실시예에 따르면 서버(200)는 연결된 구성을 제어할 수 있다.

일 실시예에 따르면 서버(200)는 보조 컴퓨팅 장치(300) 또는 착용형 디스플레이 장치(400)를 제어할 수 있다.

일 예로 서버(200)는 보조 컴퓨팅 장치(300)에 설치된 프로그램 또는 어플리케이션의 구동을 제어할 수 있다. 보다 구체적인 예를 들어 서버(200)는 보조 컴퓨팅 장치(300)에 설치된 프로그램 또는 어플리케이션의 시작 및/또는 종료를 제어할 수 있다.

다른 예로 서버(200)는 디텍팅 장치(100)의 동작에 필요한 다양한 설정을 제공할 수 있다.

또한 서버(200)는 디텍팅 정보에 기초하여 대상체의 위치 정보를 생성하거나 대상체의 위치에 대응하는 가상 환경에서의 가상 위치 정보를 생성할 수 있다.

또한 서버(200)는 보조 컴퓨팅 장치(300)에서 구동되는 프로그램 또는 어플리케이션의 인증을 수행할 수 있다.

일 실시예에 따른 서버(200)의 기능이 상술한 기능으로 한정되는 것은 아니며, 실시예에 따라 다양한 기능을 수행하는 서버(200)가 제공될 수 있다.

또한 일 실시예예 따른 서버(200)가 반드시 하나의 물리적인 구성으로 제공되어야 하는 것은 아니며, 상술한 기능을 세분화 하여 각각의 기능을 수행하는 복수의 장치로 제공될 수 있다.

예를 들어 서버(200)는 디텍팅 장치(100)와 연결되어 디텍팅 정보에 기초하여 위치 정보를 획득하는 디텍팅 서버, 가상 현실 제어 시스템(10)에 제공되는 구성 중 적어도 일부에 대한 제어를 수행하는 운영 서버 및 가상 현실 제어 시스템(10)의 각 구성 중 적어도 하나의 구성에서 실행되는 프로그램 또는 어플리케이션에 대한 인증을 수행하는 라이선스 서버 등으로 세분화되어 각 서버에서 수행될 수 있다.

한편, 서버(200)는 보조 컴퓨팅 장치(300)가 입력 장치(500)로부터 획득한 입력신호 또는 입력신호에 기초한 입력 정보를 제공 받을 수 있다.

입력 정보는 가상 현실 내 오브젝트 등에 대한 사용자의 선택 정보, 입력 장치(500)를 통하여 입력된 동작에 대한 정보, 입력 장치(500)의 지향 방향에 대한 지향 정보 등을 포함할 수 있다.

보조 컴퓨팅 장치는(300)는 디텍팅 장치(100), 서버(200), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결될 수 있다.

보조 컴퓨팅 장치(300)는 서버(200)로부터 획득한 위치 정보에 기초하여 가상 위치 정보를 산출할 수 있다.

또는 보조 컴퓨팅 장치(300)는 디텍팅 장치(100)로부터 획득한 디텍팅 정보를 가공하여 대상체의 위치 정보를 산출하거나 가상 위치 정보를 산출할 수 있다.

보조 컴퓨팅 장치(300)는 미리 저장된 프로그램 또는 어플리케이션을 통하여 착용형 디스플레이 장치(400)를 통하여 사용자에게 이미지를 제공할 수 있다.

또한 보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)를 통해 사용자에게 제공할 음향 정보를 제공할 수 있다.

일 실시예에 따르면, 보조 컴퓨팅 장치(300)는 미리 설치된 어플리케이션 또는 프로그램을 통해 위치 정보에 기초하여 사용자에게 제공될 이미지를 획득할 수 있다.

또한 보조 컴퓨팅 장치(300)는 입력 장치(500)로부터 획득한 입력신호에 기초하여 입력 정보를 획득할 수 있다.

또한 보조 컴퓨팅 장치(300)는 획득한 입력 정보를 고려하여 사용자에게 제공할 이미지를 획득할 수 있다.

착용형 디스플레이 장치(400)는 보조 컴퓨팅 장치(300)와 연결될 수 있다.

착용형 디스플레이 장치(400)는 사용자에게 가상 환경에 대한 이미지를 제공할 수 있다.

착용형 디스플레이 장치(400)는 보조 컴퓨팅 장치(300)로부터 획득한 가상 현실 이미지를 사용자에게 시각적으로 출력할 수 있다.

또한 착용형 디스플레이 장치(400)는 보조 컴퓨팅 장치(300)로부터 획득한 음향 정보를 출력할 수 있다.

입력 장치(500)는 가상 환경에 반영할 사용자의 입력에 대한 신호를 획득할 수 있다.

입력 장치(500)는 보조 컴퓨팅 장치(300)와 연결될 수 있다.

입력 장치(500)는 보조 컴퓨팅 장치(300)로 사용자의 입력에 대응하는 입력신호를 제공할 수 있다.

입력 장치(500)는 사용자의 동작에 대응하는 신호를 획득하기 위한 가속도 센서, 자이로스코프, 자이로 센서, MEMS, 지자기 센서, 관성 센서(IMU), 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 및 전자파 센서 등을 포함할 수 있다.

또한 입력 장치(500)는 사용자의 선택에 대한 신호를 획득하기 위한 버튼, 스위치, 조그셔틀 및 휠 등을 포함할 수 있다.

또한 입력 장치(500)는 보조 컴퓨팅 장치(300)와 유선 통신 및 무선 통신 중 적어도 하나의 통신 방식으로 연결될 수 있다.

또한 입력 장치(500)는 보조 컴퓨팅 장치(300)와의 통신을 위한 통신 모듈을 포할 수 있다.

도 1에는 입력 장치(500)가 보조 컴퓨팅 장치(300)와 연결되는 것으로 도시하였으나 이에 한정되는 것은 아니며 입력 장치(500)는 선택에 따라 다양한 연결 형태로 제공될 수 있다.

예를 들어 입력 장치(500)는 서버(200) 및 착용형 디스플레이(400)등의 구성과 연결되어 입력 신호를 제공할 수 있다.

한편, 입력 장치(500)는 햅틱 피드백을 제공할 수 있다.

서버(200) 또는 보조 컴퓨팅 장치(300)는 입력 장치(500)를 통해 사용자에게 햅틱 피드백을 제공할 수 있다.

햅틱 피드백은 사용자가 입력 장치(500)를 조작함에 따라 사용자에게 제공되는 진동, 힘, 동작, 열 또는 냉기 등을 포함할 수 있다.

햅틱 피드백은 사용자에게 직접적으로 접촉하여 제공되는 접촉 햅틱 피드백 및 사용자로부터 일정 거리 이격되어 제공되는 비접촉 햅틱 피드백 중 적어도 하나를 포함할 수 있다.

입력 장치(500)는 햅틱 피드백을 제공하기 위해 촉각 센서, 진동 모터, 액츄에이터, 초음파 모듈, 열전 소자 등을 포함할 수 있다.

이상에서 설명된 가상 현실 제어 시스템(10)은 설명의 편의를 위한 예시일 뿐 일 실시예에 따른 가상 현실 제어 시스템(10)이 도 1에 도시된 구성 및 연결 관계로 한정되는 것은 아니며 선택에 따라 다양한 형태로 제공될 수 있다.

일 예로 보조 컴퓨팅 장치(300) 및 착용형 디스플레이 장치(400)는 하나의 구성으로 제공될 수 있으며, 이 경우 보조 컴퓨팅 장치(300)에서 수행하는 동작이 착용형 디스플레이 장치(400)에서 구현될 수 있다.

다만, 이하에서 다양한 실시예들을 설명함에 있어서 설명의 편의를 위하여 상술한 가상 현실 제어 시스템(10)을 예시로 하여 설명하도록 한다.

이하에서는 도 2를 참조하여 일 실시예에 따른 디텍팅 장치(100)에 대하여 설명하도록 한다.

도 2는 일 실시예에 따른 디텍팅 장치(100)를 나타내는 블록도이다.

도 2를 참조하면, 디텍팅 장치(100)는 발광부(110) 및 센싱부(120)를 포함할 수 있다.

발광부(110)는 대상체 추적을 위해 상기 대상체 또는 그 주변에 신호를 송출할 수 있다.

일 예로, 발광부(110)는 가시광 및 적외선 등의 광 신호를 외부로 발신하는 발광 소자로 제공될 수 있다.

보다 구체적인 예를 들어 발광부는 가시광 LED 및 적외선 LED 등으로 제공될 수 있다.

센싱부(120)는 외부로부터 신호를 획득할 수 있다.

일 예로, 센싱부(120)는 발광부(110)가 송출한 신호에 대응하는 신호를 획득할 수 있다.

다른 예로, 센싱부(120)는 대상체에 제공되는 마커가 반사한 광에 대한 신호를 획득할 수 있다.

예를 들어 센싱부(120)는 이미지 센서, 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 및 전자파 센서 등으로 제공될 수 있다.

도 3은 일 실시예에 따른 서버(200)를 나타내는 블록도이다.

도 3을 참조하면, 서버(200)는 서버 통신부(210), 서버 저장부(220), 서버 입력부(230), 서버 제어부(240) 및 서버 디스플레이부(250)를 포함할 수 있다.

서버 통신부(210)는 디텍팅 장치(100), 보조 컴퓨팅 장치(300), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결되어 데이터를 획득하거나 제공할 수 있다.

서버 통신부(210)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 디텍팅 장치(100), 보조 컴퓨팅 장치(300), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결될 수 있다.

예를 들어 무선통신은 와이파이(Wi-Fi)망, 3G, LTE망, 5G, 로라(LoRa) 등의 이동통신망, wave(Wireless Access in Vehicular Environment), 비콘, 지그비(zigbee), 블루투스(Bluetooth), BLE(Bluetooth Low Energy) 등을 포함할 수 있다.

또한 유선통신은 트위스트 페어 케이블, 동축케이블 또는 광케이블 등을 포함할 수 있다.

서버 통신부(210)는 유선 통신 및 무선 통신 중 적어도 하나의 통신 방식을 제공하기 위한 통신 모듈로 제공될 수 있다.

서버 저장부(220)는 데이터를 저장할 수 있다.

서버 저장부(220)는 외부로부터 획득한 정보를 저장할 수 있다.

또한 서버 저장부(220)는 서버(200)의 동작에 필요한 정보를 저장할 수 있다.

예를 들어 서버 저장부(220)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, SSD, CD-ROM, DVD-ROM 또는 USB 등으로 제공될 수 있다.

서버 입력부(230)는 사용자의 입력에 대응하는 신호를 획득할 수 있다.

사용자의 입력은 예를 들어 버튼의 누름, 클릭, 터치 및 드래그 등일 수 있다.

서버 입력부(230)는 예를 들어 키보드, 키 패드, 버튼, 조그셔틀 및 휠 등으로 구현될 수 있다.

서버 제어부(240)는 서버(200)의 동작을 총괄할 수 있다.

일 예로 서버 제어부(240)는 서버(200)에 포함된 구성의 동작을 제어할 수 있다.

서버 디스플레이부(250)는 시각적인 정보를 출력할 수 있다.

서버 디스플레이부(250)는 시각적인 정보를 출력하는 모니터, TV, 디스플레이 패널 등으로 제공될 수 있다.

또한 서버 디스플레이부(250)가 터치 스크린으로 제공되는 경우, 서버 디스플레이부(250)는 서버 입력부(230)의 기능을 수행할 수 있다.

도 4는 일 실시예에 따른 보조 컴퓨팅 장치(300)를 나타내는 블록도이다.

도 4를 참조하면, 보조 컴퓨팅 장치(300)는 보조 컴퓨팅 통신부(310), 보조 컴퓨팅 저장부(320), 보조 컴퓨팅 입력부(330) 및 보조 컴퓨팅 제어부(340)를 포함할 수 있다.

보조 컴퓨팅 통신부(310)는 서버(200), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결될 수 있다.

보조 컴퓨팅 통신부(310)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 서버(200), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결될 수 있다.

보조 컴퓨팅 통신부(310)는 연결된 서버(200), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 정보를 교환할 수 있다.

예를 들어 무선통신은 와이파이(Wi-Fi)망, 3G, LTE망, 5G, 로라(LoRa) 등의 이동통신망, wave(Wireless Access in Vehicular Environment), 비콘, 지그비(zigbee), 블루투스(Bluetooth), BLE(Bluetooth Low Energy) 등을 포함할 수 있다.

또한 유선통신은 트위스트 페어 케이블, 동축케이블 또는 광케이블 등을 포함할 수 있다.

보조 컴퓨팅 통신부(310)는 무선 통신 및 유선 통신 중 적어도 하나의 통신 방식을 제공하기 위한 통신 모듈로 제공될 수 있다.

보조 컴퓨팅 저장부(320)는 외부로부터 획득한 정보를 저장할 수 있다.

또한 보조 컴퓨팅 저장부(320)는 보조 컴퓨팅 장치(300)의 동작에 필요한 데이터 등을 저장할 수 있다.

또한, 보조 컴퓨팅 저장부(320)는 사용자에게 가상 체험을 제공하기 위한 어플리케이션 또는 프로그램 등을 저장할 수 있다.

보조 컴퓨팅 입력부(330)는 사용자의 입력에 대응하는 신호를 획득할 수 있다.

사용자의 입력은 예를 들어 버튼의 누름, 클릭, 터치 및 드래그 등일 수 있다.

예를 들어 보조 컴퓨팅 입력부(330)는 키보드, 키 패드, 버튼, 조그셔틀 및 휠 등으로 구현될 수 있다.

보조 컴퓨팅 제어부(340)는 보조 컴퓨팅 장치(300)의 동작을 총괄할 수 있다.

도 5는 일 실시예에 따른 착용형 디스플레이 장치(400)를 나타내는 블록도이다.

도 5를 참조하면, 착용형 디스플레이 장치(400)는 착용형 디스플레이 통신부(410), 착용형 디스플레이 저장부(420), 착용형 디스플레이 센서부(430), 착용형 디스플레이 제어부(440) 및 착용형 디스플레이 출력부(450)를 포함할 수 있다.

착용형 디스플레이 통신부(410)는 보조 컴퓨팅 장치(300)와 연결될 수 있다.

착용형 디스플레이 통신부(410)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 보조 컴퓨팅 장치(300)와 연결될 수 있다.

착용형 디스플레이 저장부(420)는 데이터를 저장할 수 있다.

착용형 디스플레이 저장부(420)는 착용형 디스플레이 장치(400)의 동작에 필요한 어플리케이션 또는 프로그램을 저장할 수 있다.

또한 착용형 디스플레이 저장부(420)는 외부로부터 획득한 정보를 저장할 수 있다.

착용형 디스플레이 센서부(430)는 착용형 디스플레이 장치(400)의 상태 및 사용자의 입력에 대응하는 신호를 획득할 수 있다.

일 실시예에 따른 착용형 디스플레이 센서부(430)는 착용형 디스플레이 동작 센서모듈(431) 및 착용형 디스플레이 음향 센서모듈(432)을 포함할 수 있다.

착용형 디스플레이 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 상태에 대한 신호를 획득할 수 있다.

일 예로 착용형 디스플레이 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 회전에 대한 회전 정보를 획득할 수 있다.

다른 예로 착용형 디스플레이 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 위치 이동에 대한 이동 정보를 획득할 수 있다.

착용형 디스플레이 동작 센서모듈(431)은 가속도 센서, 자이로스코프, 자이로 센서, MEMS, 지자기 센서, 관성 센서(IMIU), 이미지 센서, 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 또는 전자파 센서 등을 포함할 수 있다.

착용형 디스플레이 음향 센서모듈(432)는 외부로부터 유입되는 소리에 대응하는 신호를 획득할 수 있다.

일 예로 착용형 디스플레이 음향 센서모듈(432) 마이크일 수 있다.

착용형 디스플레이 제어부(440)는 착용형 디스플레이 장치(400)의 동작을 총괄할 수 있다.

착용형 디스플레이 화면 출력부(450)는 사용자에게 시각적인 정보를 출력할 수 있다.

일 예로 착용형 디스플레이 화면 출력부(450)는 가상 현실에 대한 이미지를 출력할 수 있다. 또한 다른 예로 착용형 디스플레이 화면 출력부(450)는 3차원 가상 현실에 대한 이미지를 출력할 수 있다.

착용형 디스플레이 화면 출력부(450)는 액정 디스플레이(LCD), 전자 종이, LED 디스플레이, OLED 디스플레이, 곡면 디스플레이, 스테레오스코피(양안 시차를 이용한 3차원 디스플레이) 등의 이미지 출력 장치로 제공될 수 있다.

착용형 디스플레이 음향 출력부(460)는 청각적인 정보를 출력할 수 있다.

착용형 디스플레이 음향 출력부(460)는 튜너, 재생장치, 앰프, 스피커 등의 음향장치로 제공될 수 있다.

도 6은 일 실시예에 따른 가상 현실 제어 시스템(10)의 구현을 나타내는 예시도이다.

도 6을 참조하면 가상 현실 제어 시스템(10)은 적어도 하나의 사용자(800)에게 가상 체험을 위한 추적 영역(600)이 제공될 수 있다.

또한 추적 영역(600)에서 사용자(800)에게 보조 컴퓨팅 장치(300), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나가 제공될 수 있다.

또한 사용자(800)에게 제공되는 대상체에는 마커가 제공될 수 있다.

일 예로 대상체가 착용형 디스플레이 장치(400) 및 입력 장치(500)인 경우 착용형 디스플레이 장치(400) 및 입력 장치(500)에는 서로 상이한 패턴의 마커가 제공될 수 있다.

마커가 제공되는 패턴에 대해서는 후술하도록 한다.

또한 추적 영역(600)에는 적어도 하나의 디텍팅 장치(100)가 제공될 수 있다.

일 예로 도 6에 도시된 바와 같이 추적 영역(600)에는 복수의 디텍팅 장치(100)가 제공될 수 있다.

이러한 디텍팅 장치(100)는 추적 영역(600)의 주변을 둘러 미리 정해진 간격으로 이격 되어 제공될 수 있다.

또한 디텍팅 장치(100)는 지면으로부터 미리 정해진 높이만큼 이격되어 제공될 수 있다.

또한 디텍팅 장치(100)는 추적 영역(600)을 지향하도록 제공될 수 있다.

디텍팅 장치(100)는 미리 설치된 프레임(F)에 고정되어 설치 될 수 있다.

프레임(F)은 사용자(800)가 가상 체험할 수 있는 공간을 제공할 수 있다.

프레임(F)은 다수의 기둥을 포함할 수 있다.

프레임(F)은 복수 개의 트러스로 구성될 수 있다.

일 실시예로, 프레임(F)은 밑면이 다각형 또는 원인 기둥 형상의 공간을 제공할 수 있다.

프레임(F)은 디텍팅 장치(100)를 지지할 수 있다.

일 예로 도 6에 도시된 바와 같이 추적 영역(600) 주변에는 디텍팅 장치(100)를 설치하기 위한 프레임(F)이 제공될 수 있다. 또한 디텍팅 장치(100)는 프레임(F)에 고정되어 설치될 수 있다.

디텍팅 장치(100)는 추적 영역(600)에 대한 디텍팅 정보를 획득할 수 있다.

일 예로 디텍팅 장치(100)에 포함된 센싱부(120)는 추적 영역(600) 중 적어도 일부에 대한 디텍팅 정보를 획득할 수 있다.

디텍팅 장치(100)는 디텍팅 정보를 서버(200) 또는 보조 컴퓨팅 장치(300)에 제공할 수 있다.

일 예로 디텍팅 장치(100)는 센싱부(120)가 획득한 디텍팅 정보를 서버(200)에 제공할 수 있다.

서버(200)는 디텍팅 정보에 기초하여 대상체의 실시간 위치 정보를 획득할 수 있다.

도 6에 도시된 바와 같이 추적 영역(600)에 복수의 디텍팅 장치(100)가 제공되는 경우 서버(200) 또는 보조 컴퓨팅 장치(300)는 복수의 디텍팅 장치(100)로부터 디텍팅 정보를 획득할 수 있으며, 획득한 디텍팅 정보들에 기초하여 대상체의 현재 위치 정보를 획득할 수 있다.

또한 서버(200) 또는 보조 컴퓨팅 장치(300)는 대상체들의 위치 정보에 기초하여 적어도 하나의 대상체에 대한 가상 위치 정보를 획득할 수 있다.

일 예로 보조 컴퓨팅 장치(300)는 사용자(800)의 현실에서의 위치 정보에 포함된 좌표에 대응하는 가상 현실에서의 좌표를 가상 현실에서 사용자(800)에 대응하는 캐릭터의 가상 위치 정보로 획득할 수 있다.

서버(200)는 대상체의 위치 정보 및 가상 위치 정보 중 적어도 하나를 보조 컴퓨팅 장치(300)로 제공할 수 있다.

보조 컴퓨팅 장치(300)는 획득한 위치 정보에 기초하여 가상 위치 정보를 산출할 수 있다.

또한 보조 컴퓨팅 장치(300)는 가상 위치 정보에 기초하여 가상 현실 이미지를 획득할 수 있다.

일 예로, 보조 컴퓨팅 장치(300)는 보조 컴퓨팅 저장부(320)에 저장된 프로그램 또는 어플리케이션에 의해 가상 체험에 필요한 가상 환경이 구축되고 획득한 가상 위치 정보에 기초하여 가상 환경에서 가상 현실 이미지 영역을 획득할 수 있다. 보조 컴퓨팅 장치(300)는 가상 현실 이미지 영역에 대한 가상 현실 이미지를 획득할 수 있다.

보조 컴퓨팅 장치(300)는 가상 현실 이미지를 착용형 디스플레이 장치(400)로 제공할 수 있다.

착용형 디스플레이 장치(400)는 가상 현실 이미지를 사용자(800)에게 출력할 수 있다.

또한 서버(300)는 모니터링 디스플레이(700)로 가상 현실 이미지를 제공할 수 있다.

서버(300)는 보조 컴퓨팅 장치(300)로부터 획득한 가상 현실 이미지를 연결된 모니터링 디스플레이(700)로 제공할 수 있다.

또한 서버(300)가 복수의 보조 컴퓨팅 장치(300)와 연결된 경우 서버(300)는 복수의 보조 컴퓨팅 장치(300) 중 적어도 하나의 보조 컴퓨팅 장치(300)로부터 가상 현실 이미지를 획득할 수 있으며, 획득한 가상 현실 이미지를 연결된 모니터링 디스플레이(700)로 제공할 수 있다.

일 예로 서버(300)는 서버 입력부(230)를 통하여 서버(300)와 연결된 보조 컴퓨팅 장치(300) 중 가상 현실 이미지를 획득할 보조 컴퓨팅 장치(300)에 대한 선택을 획득할 수 있으며, 선택된 보조 컴퓨팅 장치(300)로부터 획득한 가상 현실 이미지를 모니터링 디스플레이(700)로 제공할 수 있다.

또한 서버(300)는 보조 컴퓨팅 장치(300)로부터 가상 위치 정보를 획득할 수 있으며, 획득한 가상 위치 정보 및 미리 설정된 가상 환경 내 가상 카메라 위치에 기초하여 가상 현실 이미지를 획득할 수 있다.

또한 서버(300)는 획득한 가상 현실 이미지를 연결된 모니터링 디스플레이(700)로 제공할 수 있다.

모니터링 디스플레이(700)는 서버(300)로부터 획득한 가상 현실 이미지를 출력할 수 있다.

또한 입력 장치(500)는 서버(200), 보조 컴퓨팅 장치(300) 및 착용형 디스플레이 장치(400) 중 적어도 하나와 연결되어 제공될 수 있다.

또한 입력 장치(500)는 적어도 하나의 마커가 제공될 수 있다.

입력 장치(500)는 각각의 사용자(800)가 소지하도록 제공될 수 있다.

일 예로 사용자(800)는 입력 장치(400)를 손에 휴대할 수 있다.

일 실시예에 따르면 서버(200)는 디텍팅 장치(100)로부터 획득한 디텍팅 정보에 기초하여 입력 장치(500)의 위치 정보를 획득할 수 있다. 또한 입력 장치(500)의 위치 정보는 추적 영역(600)에서의 입력 장치(500)의 위치 정보 및 입력 장치(500)의 지향 방향 정보 중 적어도 하나를 포함할 수 있다.

보조 컴퓨팅 장치(300)는 입력 장치(500)의 위치 정보에 기초하여 가상 환경에서 입력 장치(500)에 대응하는 가상 오브젝트의 지향 방향을 판단할 수 있다.

또한 보조 컴퓨팅 장치(300)는 가상 환경에서 입력 장치(500)에 대응하는 가상 오브젝트의 지향 방향이 고려된 가상 이미지를 획득할 수 있다.

일 예로 보조 컴퓨팅 장치(300)는 가상 환경에서 입력 장치(500)에 대응하는 총이 입력 장치(500)의 지향 방향에 대응하는 방향으로 지향하는 가상 이미지를 획득할 수 있다.

또한 보조 컴퓨팅 장치(300)는 가상 환경에서 입력 장치(500)를 통한 사용자(800)의 이벤트 발생 명령에 따른 이벤트 발생이 고려된 가상 이미지를 획득할 수 있다.

일 예로 보조 컴퓨팅 장치(300)는 입력 장치(500)에 제공되는 스위치가 사용자(800)에 의해 눌린 경우 가상 환경에서 사용자(800)에 대응하는 캐릭터가 소지한 총을 발사하는 가상 이미지를 획득할 수 있다.

도 7은 일 실시예에 따른 대상체 추적 방법을 나타내는 개략도이다.

도 7을 참조하면 대상체 추적 방법은 외부에 제공되는 센서를 이용하여 대상체에 대한 정보를 획득하고, 획득한 대상체에 대한 정보에 기초하여 대상체의 위치를 판단할 수 있다.

이하에서는 도 7을 참조하여 대상체가 착용형 디스플레이 장치(400)인 경우를 예시적으로 설명하도록 한다.

도 7을 참조하면 대상체에는 대상체를 식별하기 위한 마커(M)가 제공될 수 있다.

마커(M)는 대상체에 제공되어 대상체를 식별하여 추적하는 기준을 제공할 수 있다.

대상체를 추적하기 위해서는 대상체와 대상체가 아닌 구성을 식별해야 할 필요가 있으며, 대상체에 마커(M)가 제공됨으로써 대상체임을 식별 가능할 수 있다.

또한 복수의 대상체가 제공되는 경우 각각의 대상체를 식별할 필요가 있으며, 이를 위하여 하나의 대상체에 제공되는 마커(M)는 다른 대상체에 제공되는 마커(M)와 구별 가능하게 제공될 수 있다.

예를 들어 하나의 대상체에 제공되는 마커(M)는 다른 대상체에 제공되는 마커(M)와 상이한 패턴으로 제공될 수 있다.

또한 패턴은 복수의 마커(M)가 상이한 위치에 제공되어 형성되는 패턴 및 하나의 디스플레이 패널 등에 제공되는 광 패턴 등 다양한 의미의 패턴을 포함할 수 있다.

패턴은 마커(M)의 마커 좌표에 의해 형성될 수 있다.

일 예로, 세 개의 마커(M)가 디텍팅 장치(100)에 의해 추적되어 디텍팅 정보로 제1 마커 좌표(MP1-1), 제2 마커 좌표(MP1-2) 및 제3 마커 좌표(MP1-3)가 획득될 수 있고 제1 마커 좌표(MP1-1) 내지 제3 마커 좌표(MP1-3)는 삼각형의 패턴을 형성할 수 있다.

또한 마커(M) 는 발광부(110)로부터 송출된 광 신호를 반사하거나 흡수하는 패시브 마커 및 자체적으로 광 신호를 송출할 수 있는 액티브 마커 등으로 제공될 수 있다.

일 예로, 패시브 마커는 광 반사 물질이 부착된 입체 모형, 인식 가능한 코드가 인쇄되어 있는 종이, 반사테이프 등을 포함할 수 있다.

또한 액티브 마커는 LED 모듈, 전파 발생기 등이 포함할 수 있다.

일 실시예에 따르면 대상체에는 적어도 하나의 마커(M)가 제공될 수 있다.

일 예로, 가상 현실 제어 시스템(10)이 하나의 대상체에 대해서만 위치를 추적하는 경우에는 대상체에는 하나의 마커(M)만 제공될 수 있다.

또한 가상 현실 제어 시스템(10)이 하나의 대상체에 대해서만 위치를 추적하는 경우라 하더라도 대상체에는 복수의 마커(M)가 제공될 수 있다.

또한 가상 현실 제어 시스템(10)이 복수의 대상체에 대해서 위치를 추적하는 경우, 복수의 대상체 각각을 식별하기 위해서 하나의 대상체에는 복수의 마커(M)가 패턴을 형성하여 제공될 수 있다.

일 예로 가상 현실 제어 시스템(10)에서 위치를 추적하는 대상체가 착용형 디스플레이 장치(400) 및 입력 장치(500)의 두 가지로 제공되는 경우 착용형 디스플레이 장치(400)에는 제1 패턴으로 마커(M)가 제공될 수 있고 입력 장치(500)에는 제2 패턴으로 마커가(M) 제공될 수 있다.

제1 패턴 및 제2 패턴은 서로 상이한 패턴으로, 위치 추적 시 제1 패턴이 검출된 경우 착용형 디스플레이 장치(400)로 식별할 수 있으며, 제2 패턴이 검출된 경우 입력 장치(500)로 식별할 수 있다.

이상에서는 복수의 대상체가 제공되는 경우 복수의 각각을 식별하기 위하여 복수의 대상체 각각에 제공되는 마커(M)들이 패턴을 형성하여 제공되는 것으로 설명하였으나, 이에 한정되는 것은 아니며, 하나의 대상체가 제공되는 경우에도 대상체에 제공되는 마커(M)들이 패턴을 형성하여 제공될 수 있다.

또한 대상체에 제공되는 마커(M)의 패턴은 사용자(800)의 식별에도 사용될 수 있다.

일 예로 제1 패턴은 제1 사용자가 착용한 착용형 디스플레이 장치로 식별될 수 있으며, 제2 패턴은 제1 사용자가 소지한 입력 장치로 식별될 수 있다. 또한 제3 패턴은 제2 사용자가 착용한 착용형 디스플레이 장치로 식별될 수 있으며, 제4 패턴은 제2 사용자가 소지한 입력 장치로 식별될 수 있다.

대상체의 추적에 대해서 설명하면 서버(200)는 디텍팅 장치(100)로부터 대상체에 대한 정보를 획득할 수 있으며, 획득한 정보에 기초하여 대상체의 위치에 대한 디텍팅 정보를 획득할 수 있다. 또한 서버(200)는 디텍팅 정보에 기초하여 대상체의 위치 정보를 산출할 수 있다.

디텍팅 장치(100)가 서버(200)로 대상체에 대한 정보를 제공하는 기술에 대해서 설명하면 디텍팅 장치(100)의 발광부(110)는 추적 영역(600)의 적어도 일부 영역에 신호를 발신할 수 있다.

일 예로 발광부(110)가 적외선 LED인 경우 발광부(100)는 추적 영역(600)의 적어도 일부 영역에 적외선 신호를 발신할 수 있다.

또한 센싱부(120)는 외부로부터 획득한 정보를 서버(200)로 제공할 수 있다.

일 예로 센싱부(120)가 카메라인 경우 센싱부(120)는 외부로부터 획득한 이미지 신호를 서버(200)로 제공할 수 있다.

도 7에는 하나의 센싱부(120)만 도시되어 있으나, 이에 한정되는 것은 아니며, 앞서 도 6에서 설명된 바와 같이 센싱부(120)는 복수로 제공될 수 있으며, 복수의 센싱부(120) 각각은 획득한 정보를 서버(200)로 제공할 수 있다.

서버(200)는 센싱부(120)로부터 획득한 정보에 기초하여 대상체의 위치를 판단할 수 있다.

서버(200)는 센싱부(120)로부터 획득한 정보에 마커(M)에 대한 정보가 포함되어 있는지 여부를 판단할 수 있다. 또한 서버(200)는 센싱부(120)로부터 획득한 정보에 마커(M)에 대한 정보가 포함된 경우 마커(M)의 패턴에 기초하여 대상체를 식별할 수 있다.

일 예로 서버(200)는 센싱부(120)로부터 획득한 정보에 제1 패턴이 포함된 경우 착용형 디스플레이 장치(400)임을 식별할 수 있다.

하나의 센싱부(120)로부터 획득한 정보에는 복수의 패턴이 존재할 수 있으며, 서버(200)는 복수의 패턴을 식별할 수 있다.

이러한 패턴은 서버(200)에 미리 저장될 수 있으며, 서버(200)는 획득한 정보에 미리 저장된 패턴이 존재하는 경우 해당 패턴이 존재하는 것으로 판단할 수 있으며, 해당 패턴에 대응하는 대상체를 식별할 수 있다.

서버(200)는 센싱부(120)로부터 획득한 정보에 기초하여 대상체의 위치를 판단할 수 있다.

한편, 서버(200)에 미리 저장된 패턴 각각에 대해 대표점(RP)이 설정될 수 있다.

대표점(RP)은 패턴을 대표하는 점(point)일 수 있다.

대표점(RP)은 패턴 밖에 존재할 수 있다.

일 예로, 대표점(RP)은 제1 마커 좌표(MK1-1), 제2 마커 좌표(MK1-2) 및 제3 마커 좌표(MK1-3)가 이루는 평면으로부터 일정 거리 떨어진 점으로 설정될 수 있다.

복수의 마커(M)를 통한 패턴이 제공되는 경우 패턴에 포함된 복수의 마커(M)에 대한 좌표 정보가 획득되며, 서버(200)는 패턴을 대표하는 대표점(RP)을 패턴이 제공된 대상체의 위치 정보로 획득할 수 있다.

따라서, 서버(200)는 대상체의 위치 정보를 획득함으로써 대상체를 추적할 수 있다.

일 실시예에 따른 대상체의 위치 추적이 상술한 방법으로 한정되는 것은 아니며, 선택에 따라 다양한 방식의 위치 추적 방법이 사용될 수 있다.

일 실시예에 따르면 센싱부(120)가 이미지 센서로 제공되는 경우 센싱부(120)는 외부에 대한 이미지를 획득할 수 있으며, 획득한 이미지에 기초하여 대상체에 대한 위치 정보를 획득할 수 있다..

일 예로 도 7에 도시된 센싱부(120)가 착용형 디스플레이 장치(400)에 제공되는 경우 센싱부(120)는 착용형 디스플레이 장치(400)의 일측에 제공되어 착용형 디스플레이 장치(400)의 내부에서 외부 방향으로 지향하여 착용형 디스플레이 장치(400)의 외부에 대한 이미지 정보를 획득할 수 있다.

또한 착용형 디스플레이 장치(400)는 보조 컴퓨팅 장치(300)로 획득한 이미지 정보를 제공할 수 있다.

일 실시예에 따르면 착용형 디스플레이 장치(400)는 미리 정해진 주기로 보조 컴퓨팅 장치(300)로 이미지 정보를 제공할 수 있다.

일 예로 착용형 디스플레이 장치(400)는 센싱부(120)를 통하여 이미지 정보를 획득하는 주기와 동일한 주기로 보조 컴퓨팅 장치(300)로 이미지 정보를 제공할 수 있다.

보조 컴퓨팅 장치(300)는 획득한 이미지 정보로부터 적어도 하나의 특징점을 획득할 수 있다.

일 실시예예 따르면 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물을 특징점으로 획득할 수 있다.

일 실시예에 따르면 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물 중 미리 정해진 크기 이상의 사물을 특징점으로 획득할 수 있다.

보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물을 식별할 수 있으며, 식별된 사물 중 미리 정해진 크기 이상의 사물을 특징점으로 획득할 수 있다. 또한 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물이 차지하는 픽셀 수에 기초하여 사물의 크기를 판단할 수 있다.

일 실시예에 따르면 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물 중 미리 설정된 유형의 사물을 특징점으로 획득할 수 있다.

일 예로 공 유형의 사물이 미리 설정된 경우 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 야구공, 축구공 및 농구공 등과 같은 공 유형의 사물을 특징점으로 획득할 수 있다.

일 실시예에 따르면 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 마커를 특징점으로 획득할 수 있다.

보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 바코드, QR 코드와 같은 마커를 식별하여 특징점으로 획득할 수 있다.

또한 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 특징점의 위치를 판단할 수 있다.

보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)로부터 획득한 이미지 정보 들에 기초하여 특징점의 위치 변화 및 크기 변화 중 적어도 하나를 판단할 수 있다.

보조 컴퓨팅 장치(300)는 특징점의 위치 변화 방향, 위치 변화량 및 크기 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.

일 예로 보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)로부터 획득한 이미지 정보 들에 기초하여 특징점의 위치 변화를 판단할 수 있다.

보조 컴퓨팅 장치(300)는 특징점의 위치 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.

보조 컴퓨팅 장치(300)는 특징점의 위치 변화 방향, 위치 변화량 및 크기 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.

일 예로 보조 컴퓨팅 장치(300)는 제1 시점에서 획득한 제1 이미지 정보에 포함된 특징점의 위치와 제1 시점보다 이후 시점인 제2 시점에서 획득한 제2 이미지 정보에 포함된 특징점의 위치를 비교한 결과 제1 이미지 정보의 특징점의 위치가 제2 이미지 정보에서는 우측으로 이동한 경우 착용형 디스플레이 장치(400)가 좌측으로 이동한 것으로 판단할 수 있다.

또한 보조 컴퓨팅 장치(300)는 특징점의 위치가 변경된 경우 특징점의 이동 거리를 판단할 수 있다.

보조 컴퓨팅 장치(300)는 제1 이미지 정보에서의 특징점의 위치와 제2 이미지 정보에서의 특징점의 위치 사이의 픽셀 수에 기초하여 특징점의 이동 거리를 판단할 수 있다.

또는 보조 컴퓨팅 장치(300)는 제1 이미지 정보에서의 특징점의 좌표와 제2 이미지에서의 특징점의 좌표에 기초하여 특징점의 이동 거리를 판단할 수 있다.

또한 일 예로 보조 컴퓨팅 장치(300)는 크기 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.

보조 컴퓨팅 장치(300)는 제1 시점에서 획득한 제1 이미지 정보에 포함된 특징점의 크기와 제1 시점보다 이후 시점인 제2 시점에서 획득한 제2 이미지 정보에 포함된 특징점의 크기를 비교한 결과 제1 이미지 정보의 특징점의 위치가 제2 이미지 정보에서는 우측으로 이동한 경우 착용형 디스플레이 장치(400)가 좌측으로 이동한 것으로 판단할 수 있다.

따라서 보조 컴퓨팅 장치(300)는 미리 설정된 초기 위치로부터 대상체의 상대적인 위치 변화에 기초하여 대상체의 위치를 추적할 수 있다.

도 8은 일 실시예에 따른 가상 현실 이미지(452)가 착용형 디스플레이 장치(400)를 통해 출력되는 것을 나타내는 도면이다.

도 8을 참조하면, 가상 현실 제공 시스템(10)은 착용형 디스플레이 장치(400)를 통하여 사용자(800)에게 가상 환경의 적어도 일부에 대한 가상 현실 이미지(452)를 제공할 수 있다.

가상 환경은 배경, 가상 구조, 가상 오브젝트 및 캐릭터 등을 포함할 수 있다.

가상 환경은 보조 컴퓨팅 장치(300)에 의해 도 6에서 도시된 같이 현실에서 추적된 대상체의 위치 정보를 이용하여 구축될 수 있다.

일 예로 가상 환경에는 사용자(800)에 대응하는 캐릭터가 제공되되, 상기 캐릭터는 사용자(800)가 착용한 착용형 디스플레이 장치(400) 및 입력 장치(500)를 추적하여 획득된 위치 정보에 기반하여 스켈레톤, 폴리곤 메쉬 등을 이용하는 컴퓨터 그래픽 기술을 통해 생성될 수 있다.

더 구체적으로, 보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(300) 및 입력 장치(500)의 가상 위치 정보를 이용하여 캐릭터의 머리, 손에 관한 렌더링 이미지 등을 생성하고 생성된 렌더링 이미지를 기준으로 다른 신체 부위에 관한 렌더링 이미지를 생성함으로써 가상 환경에 캐릭터를 구현할 수 있다. 결과적으로, 사용자(800)의 신체부위 중 디텍팅 장치(100)에 의해 추적되지 않거나 위치 정보가 획득되지 않는 부분도 가상 환경에서 렌더링 이미지로 표시될 수 있다.

다른 예로 가상 환경에는 사용자(800)가 소지한 입력 장치(500)에 대응하는 손, 가상 환경 내에서 캐릭터에게 필요한 도구 등의 가상 오브젝트가 제공될 수 있다.

또 다른 예로, 가상 오브젝트는 가상 환경 내에 구현되어 가상 체험 중에 사용자(800)가 이용할 수 있는 오브젝트를 포함할 수 있다.

가상 구조는 가상 환경의 미리 정해진 위치에 제공될 수 있다.

또한 가상 구조는 캐릭터가 이용함으로써 미리 설정된 기능이 실행되거나 미리 설정된 효과가 발생할 수 있다.

가상 구조에 대해서는 추후에 보다 구체적으로 설명하도록 한다.

캐릭터는 보조 컴퓨팅 장치(300)에 미리 저장된 어플리케이션 또는 프로그램에 의해 제공되는 NPC 캐릭터 및 사용자 캐릭터를 포함할 수 있다.

가상 환경에 있어서 캐릭터 또는 오브젝트의 위치 정보는 가상 위치 정보로 나타낼 수 있다.

한편, 현실에서 위치 정보는 대상체의 위치 좌표 및 지향 방향 중 적어도 하나를 포함할 수 있다.

일 예로 위치 정보는 추적 영역(600) 상에 위치한 대상체의 위치 좌표일 수 있다.

서버(200)는 추적 영역(600)에 대한 좌표값을 미리 저장할 수 있다.

서버(200)는 추적 영역(600)에 대한 좌표계(coordinates system)를 미리 저장할 수 있다. 좌표계는 평면 좌표계, 직교 좌표계, 극좌표계, 공간 좌표계, 원기둥 좌표계, 구면좌표계 중 적어도 하나일 수 있다.

서버(200)는 디텍팅 정보 및 추적 영역(600)에 대한 좌표계에 기초하여 대상체의 추적 영역(600)에서의 좌표값을 획득할 수 있다. 또한 서버(200)는 획득한 대상체의 추적 영역(600)에서의 좌표값을 위치 정보로 획득할 수 있다.

일 예로 서버(200)는 디텍팅 정보가 적외선 이미지인 경우 적외선 이미지에서의 대상체에 대응하는 마커의 위치 및 적외선 이미지를 제공한 디텍팅 장치(100)의 설치 위치에 기초하여 마커의 추적 영역(600)에서의 좌표값을 획득할 수 있다. 또한 서버(200)는 마커의 추적 영역(600)에서의 좌표값에 기초하여 마커가 형성하는 패턴을 판단할 수 있으며, 마커가 형성하는 패턴에 대응하는 대상체를 식별할 수 있다. 또한 서버(200)는 마커가 형성하는 패턴 및 마커의 추적 영역(600)에서의 좌표값에 기초하여 대상체의 대표점(RP)을 획득할 수 있으며, 대상체의 대표점(RP)의 좌표값을 대상체의 위치 정보로 획득할 수 있다.

서버(200)는 위치 정보를 보조 컴퓨팅 장치(300)로 제공할 수 있다.

보조 컴퓨팅 장치(300)는 가상 환경에 대한 좌표값을 미리 저장할 수 있다.

보조 컴퓨팅 장치(300)는 가상 환경에 대한 좌표계(coordinates system)를 미리 저장할 수 있다. 좌표계는 평면 좌표계, 직교 좌표계, 극좌표계, 공간 좌표계, 원기둥 좌표계, 구면좌표계 중 적어도 하나일 수 있다.

보조 컴퓨팅 장치(300)는 위치 정보 및 가상 환경에 대한 좌표계에 기초하여 대상체의 가상 환경에서의 좌표값을 획득할 수 있다. 또한 보조 컴퓨팅 장치(300)는 획득한 대상체의 가상 환경에서의 좌표값을 가상 위치 정보로 획득할 수 있다.

일 예로 보조 컴퓨팅 장치(300)는 위치 정보에 포함된 좌표값에 대응하는 가상 환경에서의 좌표값을 획득할 수 있으며, 획득한 가상 환경에서의 좌표값을 가상 위치 정보로 획득할 수 있다.

보조 컴퓨팅 장치(300)는 가상 위치 정보에 기초하여 사용자(800)에게 출력할 가상 현실 이미지(452)를 획득할 수 있다.

가상 현실 이미지(452)는 착용형 디스플레이 장치(400)를 통해 사용자(800)에게 제공되는 가상 현실에 대한 영상의 적어도 일부를 구성할 수 있다.

일 실시예에 따르면 보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)의 가상 위치 정보를 가상 카메라의 가상 위치 정보로 획득할 수 있으며, 가상 카메라의 가상 위치 정보 및 가상 카메라의 지향 방향에 기초하여 가상 카메라의 시야 범위(451)를 획득할 수 있다.

보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)의 위치 정보에 포함된 지향 방향에 기초하여 가상 카메라의 지향 방향을 획득할 수 있다.

또한 보조 컴퓨팅 장치(300)는 가상 카메라의 지향 방향으로 미리 정해진 영역을 가상 카메라의 시야 범위(451)로 획득할 수 있다.

한편, 가상 카메라의 시야 범위(451)는 착용형 디스플레이 장치(400)의 가상 위치 정보 이외에도 가상 환경 내 특정 가상 위치 정보에 의해서도 획득될 수 있다.

또한 보조 컴퓨팅 장치(300)는 가상 환경에서 가상 카메라의 시야 범위(451)에 대응하는 가상 현실 이미지(452)를 획득할 수 있다.

보조 컴퓨팅 장치(300)는 가상 현실 이미지(452)를 착용형 디스플레이 장치(400)로 제공할 수 있다.

착용형 디스플레이 장치(400)는 획득한 가상 현실 이미지(452)를 착용형 디스플레이 화면 출력부(450)를 통하여 사용자(800)에게 출력할 수 있다. 가상 현실 이미지(452)가 연속적으로 출력됨으로써 사용자(800)는 가상 현실 또는 가상 체험을 제공 받을 수 있다.

이하에서는 도 9 내지 도 23을 참조하여 가상 현실 제어 시스템(10)에 의해 적어도 둘 이상의 사용자(800)에게 가상 현실 또는 가상 체험이 제공 될 때, 복수의 사용자(800) 각각의 행위가 미리 설정된 규칙을 만족하는 경우 미리 설정된 효과나 기능이 발생하거나 수행되는 협업 시스템에 대해 설명한다.

이하에서 서술될 가상 공간, 가상 현실, 가상 체험은 동일한 의미로 혼용될 수 있고, 마찬가지로 가상 위치 정보와 가상 위치가 동일한 의미로 혼용될 수 있다.

협업 시스템은 가상 현실을 제공 받는 적어도 둘 이상의 사용자(800)의 위치 또는 행위 및 절대적 또는 상대적 시간 중 적어도 하나를 고려하여 상기 가상 현실에 협업 효과를 발생시키거나 협업 기능이 수행되는 방법을 포함할 수 있다. 이 때, 사용자(800)의 위치 변화 또는 행위는 가상 공간 내에서 사용자(800)에 대응하는 캐릭터(900)의 가상 위치 변화 또는 행위로 구현될 수 있다.

협업 시스템은 보조 컴퓨팅 장치(300) 및 서버(200) 중 적어도 어느 하나에 의해 착용형 디스플레이 장치(400)를 통해 사용자(800)에게 제공되는 가상 현실 이미지(452)를 변경시킴으로써 구현될 수 있다.

일 예로, 둘 이상의 사용자(800)가 일정 시간이 경과하기 전에 각각 특정 위치로 이동하는 경우 착용형 디스플레이 장치(400)에 가상 현실 내 가상 오브젝트가 파괴되는 효과를 출력되거나 각 사용자(800)가 일정 시간 간격을 두고 입력 장치(500)를 위에서 아래로 움직이는 동작을 수행하는 경우 착용형 디스플레이 장치(400)에 출력되는 가상 현실 내 가상 구조가 움직이는 기능이 수행될 수 있다.

도 9 내지 도 12는 일 실시예에 따른 복수의 사용자(800)가 도 6에서 서술된 추적 영역(600) 내 미리 설정된 위치로 이동하는 경우 가상 현실 내 대상 오브젝트(V1)에 효과가 발생하는 것을 나타내는 도면이다.

이하에서 사용자(800)는 제1 사용자(801) 및 제2 사용자(802)를 포함할 수 있고, 캐릭터(900)는 제1 캐릭터(901) 및 제2 캐릭터(902)를 포함할 수 있고, 보조 컴퓨팅 장치(300)는 제1 보조 컴퓨팅 장치(301) 및 제2 보조 컴퓨팅 장치(302)를 포함할 수 있으며, 착용형 디스플레이 장치(400)는 제1 착용형 디스플레이 장치(401) 및 제2 착용형 디스플레이 장치(402)를 포함할 수 있고, 입력 장치(500)는 제1 입력 장치(501) 및 제2 입력 장치(502)를 포함할 수 있다. 또한, 보다 상세한 설명을 위해 앞서 서술한 내용과 중복되는 부분은 생략될 수 있다.

도 9는 일 실시예에 따른 협업이 이루어지기 전 현실 공간을 나타내는 예시도이다.

도 9를 참조하면, 추적 영역(600)에서 제1 사용자(801) 및 제2 사용자(802)에게 가상 현실 제어 시스템(10)에 의해 가상 현실이 제공될 수 있다.

제1 사용자(801) 및 제2 사용자(802)는 하나의 추적 영역(600)을 공유하면서 동일한 가상 공간을 공유하거나 각각 다른 추적 영역(600)에서 동일한 가상 공간을 제공받을 수 있다.

일 예로, 제1 사용자(801) 및 제2 사용자(802)는 같은 현실 공간에서 추적 영역(600)을 공유하거나 분리된 현실 공간에서 각각 다른 추적 영역(600)을 제공받은 상태에서 서버(200), 보조 컴퓨팅 장치(300) 및 착용형 디스플레이 장치(400) 등을 통해 동일한 가상 공간을 공유할 수 있다.

도 6에서의 사용자(800)와 같이 제1 사용자(801)에게 제1 보조 컴퓨팅 장치(301), 제1 착용형 디스플레이 장치(401) 및 제1 입력 장치(501) 중 적어도 하나가 제공될 수 있다. 마찬가지로 제2 사용자(802)에게 제2 보조 컴퓨팅 장치(302), 제2 착용형 디스플레이 장치(402) 및 제2 입력 장치(502) 중 적어도 하나가 제공될 수 있다.

추적 영역(600)은 협업 영역(610)을 포함할 수 있다.

협업 영역(610)은 협업 시스템에 따라 사용자(800)가 현실에서 이동해야할 영역을 포함할 수 있다.

협업 영역(610)은 추적 영역(600) 내에 위치할 수 있다. 한편 협업 영역(610)은 추적 영역(600) 경계부분이나 추적 영역(600) 밖에도 위치할 수 있다.

협업 영역(610)은 추적 영역(600) 내 좌표로 인식되거나 일정 넓이를 갖는 다각형 또는 원으로 인식될 수 있다.

보조 컴퓨팅 장치(300) 및 서버(200) 중 적어도 하나는 사용자(800)가 협업 영역(610) 내에 위치하는 것을 인식할 수 있다.

일 예로, 보조 컴퓨팅 장치(300)는 서버(200) 또는 디텍팅 장치(100)로부터 획득한 위치 정보 또는 디텍팅 정보와, 협업 영역(610)의 위치 정보를 이용하여 사용자(800)가 협업 영역(610) 내에 위치하는지 여부를 판단할 수 있다.

협업 영역(610)은 제1 협업 영역(611) 및 제2 협업 영역(612)을 포함할 수 있다.

제1 사용자(801) 및 제2 사용자(802)에게 협업 시스템이 제공되는 경우, 제1 사용자(801)가 제1 협업 영역(611) 내에 위치하고 제2 사용자(802)가 제2 협업 영역(612) 내에 위치할 때 협업 효과나 협업 기능이 발생되거나 수행될 수 있다.

제1 협업 영역(611) 및 제2 협업 영역(612)은 추적 영역(600) 내 다른 위치에 구현될 수 있다. 다만 제1 협업 영역(611) 및 제2 협업 영역(612)은 동일하거나 서로 겹치는 영역을 포함할 수도 있다.

도 10은 일 실시예에 따른 협업이 이루어지기 전 제1 사용자(801)에게 제공되는 가상 현실 이미지(452)를 나타내는 예시도이다.

가상 현실 이미지(452)는 보조 컴퓨팅 장치(300)에 의해 생성된 가상 공간에 존재하는 가상 카메라의 시야 범위에 해당하는 이미지를 포함할 수 있다.

도 10을 참조하면 제1 사용자(801)에게 제공되는 가상 현실 이미지(452)는 제1 캐릭터(901), 제2 캐릭터(902), 제1 캐릭터 가상 위치(911), 제2 캐릭터 가상 위치(912), 대상 오브젝트(V1), 가상 좌표계를 표현한 선(C), 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)을 포함할 수 있다.

제1 보조 컴퓨팅 장치(301)는 가상 공간 내 가상 좌표계(C)를 설정하고 가상 좌표계(C)를 기준으로 제1 캐릭터(901), 제2 캐릭터(902), 제1 캐릭터 가상 위치(911), 제2 캐릭터 가상 위치(912), 대상 오브젝트(V1), 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)을 설정 또는 배치할 수 있다.

가상 좌표계를 표현한 선(C)은 직교 좌표계(카데시안 좌표계), 극 좌표계 및 구면 좌표계 등 통상의 기술자에 의해 고려될 수 있는 좌표계 중 적어도 하나인 가상 좌표계를 표현한 선일 수 있다.

가상 좌표계를 표현한 선(C)은 가상 현실 이미지(452) 내에 표현되거나 표현되지 않을 수 있다.

제1 캐릭터(901) 및 제2 캐릭터(902)는 각각 가상 공간 내에서 제1 사용자(801) 및 제2 사용자(802)에 대응될 수 있다.

제1 캐릭터(901) 및 제2 캐릭터(902)는 제1 사용자(801) 및 제2 사용자(802)의 위치 정보에 기초하여 산출된 가상 위치 정보를 이용하여 서버(200) 및 보조 컴퓨팅 장치(300) 중 적어도 하나에 의해 생성될 수 있다.

일 예로, 제1 보조 컴퓨팅 장치(301)는 제1 착용형 디스플레이 장치(401) 및 제1 입력 장치(501)의 가상 위치 정보에 기초하여 가상 공간에서 제1 사용자(801)에 대응하는 제1 캐릭터(901)를 생성할 수 있다. 이 때, 제1 캐릭터(901)의 머리, 몸체 부분은 제1 착용형 디스플레이 장치(401)의 가상 위치 정보에 기초하고 제1 캐릭터(901)의 손, 팔 부분은 제1 입력 장치(501)의 가상 위치 정보에 기초하여 생성될 수 있다.

제1 사용자(801)에게 제공되는 가상 현실 이미지(452)는 가상 공간 내 가상 카메라의 위치에 따라 제1 캐릭터(901)의 전부를 포함하거나 제1 캐릭터(901)의 일부만을 포함할 수 있다. 또는 가상 현실 이미지(452)는 제1 캐릭터(901)를 포함하지 않을 수 있다.

일 실시예로, 가상 현실 이미지(452)에는 제1 캐릭터(901)의 상반신 또는 손과 같은 신체 일부만이 표시될 수 있다.

제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)는 현실에서 제1 사용자(801) 및 제2 사용자(802)의 위치에 대응하여 가상 공간에서 제1 캐릭터(901) 및 제2 캐릭터(902)의 위치를 나타낼 수 있다.

한편, 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)는 디텍팅 장치(100)에 의해 추적된 제1 사용자(801) 및 제2 사용자(802)의 디텍팅 정보에 기초하여 보조 컴퓨팅 장치(300) 또는 서버(200)에 의해 산출된 것으로써 상술한 제1 캐릭터 가상 위치 정보 및 제2 캐릭터 가상 위치 정보와 동일한 의미로 사용될 수 있다.

제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)는 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.

제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)은 도 9의 제1 협업 영역(611) 및 제2 협업 영역(612)에 대응되는 영역을 포함할 수 있다.

제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)은 가상 공간 내에서 가상 좌표로 구현되거나 미리 설정된 형상으로 구현될 수 있다.

일 실시예로, 제1 가상 협업 영역(621)은 가상 구조물로 구현되고 제2 가상 협업 영역(622)은 가상 공간을 구성하는 배경의 일부로 구현될 수 있다.

제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)은 가상 공간 내에 표시되거나 표시되지 않을 수 있다.

한편, 제1 사용자(801) 및 제2 사용자(802)에게 협업 시스템이 제공됨에 있어서, 보조 컴퓨팅 장치(300)는 제1 사용자(801) 및 제2 사용자(802)간의 협업을 유도하기 위해 착용형 디스플레이 장치(400)를 통해 가이드 표식을 출력할 수 있다.

일 예로, 제1 착용형 디스플레이 장치(401)에 출력되는 가상 현실 이미지(452)에는 제1 캐릭터(901)로부터 제1 가상 협업 영역(621)까지 이동하는 방법이 화살표 등으로 표시되거나 제1 가상 협업 영역(621)에 주위의 다른 영역과 다르게 반짝이는 효과 등이 표시될 수 있다. 이 때, 제2 가상 협업 영역(622) 역시 같은 방법으로 상술한 효과 등이 표시될 수 있다.

대상 오브젝트(V1)는 제1 사용자(801) 및 제2 사용자(802)의 협업에 따라 효과가 표시되는 대상이 되는 가상 오브젝트를 포함할 수 있다.

대상 오브젝트(V1)는 미리 설정된 형상을 가지되 협업에 따라 그 형상이 변경될 수 있다. 또는, 대상 오브젝트(V1)는 협업이 이루어지기 전에는 존재하지 않고 협업이 이루어진 후 생성되어 착용형 디스플레이 장치(400)에 표시될 수 있다.

대상 오브젝트(V1)는 가상 공간을 구성하는 배경의 일부로 구현될 수 있다.

도 11 및 도 12는 현실과 가상 공간에서 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어진 경우를 나타내는 예시도이다.

도 11을 참조하면 제1 사용자(801)는 제1 협업 영역(611)에, 제2 사용자(802)는 제2 협업 영역(612)에 위치함으로써 협업이 이루어질 수 있다.

일 실시예로, 제1 시점에는 도 9에서와 같이 제1 사용자(801) 및 제2 사용자(802)가 협업 영역(610) 밖에 위치하고 제2 시점에는 도 11에서와 같이 제1 사용자(801)는 제1 협업 영역(611)에 위치하고 제2 사용자(802)는 제2 협업 영역(612)에 위치하는 경우 보조 컴퓨팅 장치(300)는 제2 시점에서 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단할 수 있다.

또 다른 실시예로, 제1 시점에는 도 11에서와 같이 제1 사용자(801) 및 제2 사용자(802)가 협업 영역(610) 안에 위치하고 제2 시점에는 도 9에서와 같이 제1 사용자(801)는 제1 협업 영역(611)에 위치하고 제2 사용자(802)는 제2 협업 영역(612) 밖에 위치하는 경우 보조 컴퓨팅 장치(300)는 제2 시점에서 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단할 수 있다.

사용자(800)의 위치가 협업 영역(610) 밖에서 안으로 또는 안에서 밖으로 변경되는 경우 적어도 하나의 이동 방법이 이용될 수 있다.

일 예로, 사용자(800)는 다양한 이동 경로를 이용하여 협업 영역(610) 밖에서 안으로 또는 안에서 밖으로 이동할 수 있다.

한편, 제1 사용자(801) 및 제2 사용자(802)는 미리 설정된 조건을 만족하면서 각각 제1 협업 영역(611) 및 제2 협업 영역(612)에 위치함으로써 협업이 이루어질 수 있다.

미리 설정된 조건은 위치 순서, 방법 및 시간 중 적어도 하나에 대한 조건을 포함할 수 있다.

일 예로, 미리 설정된 조건은 제1 사용자(801)가 먼저 제1 협업 영역(611)에 위치하고 일정 시간 경과 하기 전 제2 사용자(802)가 제2 협업 영역(612)에 위치하는 조건을 포함할 수 있다.

다른 예로, 미리 설정된 조건은 제1 사용자(801)가 먼저 제1 협업 영역(611)에 위치하고 일정 시간 경과 후 제2 사용자(802)가 제2 협업 영역(612)에 위치하는 조건을 포함할 수 있다.

또 다른 예로, 미리 설정된 조건은 제1 사용자(801) 또는 제2 사용자(802) 중 어느 한 사용자가 먼저 제1 협업 영역(611) 또는 제2 협업 영역(612) 중 어느 한 협업 영역(610)에 위치한 상태에서 다른 사용자가 나머지 협업 영역(610)에 위치하는 조건을 포함할 수 있다.

또 다른 예로, 미리 설정된 조건은 제1 사용자(801)가 제1 협업 영역(611)에 위치한 상태에서 제1 입력 장치(501)를 조작한 후 제2 사용자(802)가 제2 협업 영역(612)에 위치하고 제2 입력 장치(502)를 조작하는 조건을 포함할 수 있다.

도 12를 참조하면 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어진 경우 가상 공간에서 대상 오브젝트(V1)에 미리 설정된 효과가 발생할 수 있다.

제1 사용자(801) 및 제2 사용자(802)가 각각 제1 협업 영역(611) 및 제2 협업 영역(612) 밖에서 안으로 이동함에 따라 제1 캐릭터(901) 및 제2 캐릭터(902)는 각각 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)으로 이동할 수 있다.

제1 캐릭터(901) 및 제2 캐릭터(902)가 각각 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)에 위치하는 경우 대상 오브젝트(V1)는 그 형상이 변경될 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)를 이용하여 협업이 이루어졌는지 여부를 판단할 수 있다.

일 예로, 보조 컴퓨팅 장치(300)는 제1 캐릭터 가상 위치(911)가 제1 가상 협업 영역(621) 내 또는 일정 범위 이내에 있는 상태에서 제2 캐릭터 가상 위치(912)가 제2 가상 협업 영역(622) 내 또는 일정 범위 이내에 있는 경우 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단하고 대상 오브젝트(V1)의 형상을 변경시키거나 대상 오브젝트(V1)에 특수 효과를 발생시킬 수 있다.

도 11에 관해 서술한 바와 같은 맥락으로 제1 캐릭터(901) 및 제2 캐릭터(902)가 각각 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)에 위치하기 전, 후에 미리 설정된 조건을 충족하는 경우 협업이 이루어질 수 있다.

일 예로, 보조 컴퓨팅 장치(300)는 제1 캐릭터 가상 위치(911)가 제1 가상 협업 영역(621) 내에 있는 상태에서 제1 입력 장치(501)에 의한 제1 입력 신호를 전달 받고, 일정 시간 경과 후 제2 캐릭터 가상 위치(912)가 제2 가상 협업 영역(622) 내에 있는 상태에서 제2 입력 장치(502)에 의한 제2 입력 신호를 전달 받는 경우 협업이 이루어진 것으로 판단하고 대상 오브젝트(V1)를 조작할 수 있다.

이상에서는 협업이 이루어지는 경우 대상 오브젝트(V1)가 변경될 수 있음을 서술하였으나 이에 한정되지 않고 가상 공간을 구성하는 배경, 가상 구조 등이 변경, 생성, 제거될 수 있다.

이하에서는 도 13 내지 도 16을 참조하여 복수의 사용자(800)의 동작을 통해 협업이 이루어지는 과정에 대해 설명한다.

도 13은 입력 장치(500)를 이용하는 복수의 사용자(800)에 의해 협업이 이루어지기 전 현실 공간을 나타내는 예시도이다.

도 14는 입력 장치(500)를 이용하는 복수의 사용자(800)에 의해 협업이 이루어진 후 현실 공간을 나타내는 예시도이다.

도 15는 입력 장치(500)를 이용하는 복수의 사용자(800)에 의해 협업이 이루어지기 전 가상 공간을 나타내는 예시도이다.

도 16은 입력 장치(500)를 이용하는 복수의 사용자(800)에 의해 협업이 이루어진 후 가상 공간을 나타내는 예시도이다.

도 13 및 도 14를 참조하면, 협업이 이루어지기 위한 사용자(800)의 동작은 입력 장치(500)의 위치 변화에 따라 인식될 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 입력 장치(500)의 위치 정보를 이용하여 사용자(800)의 동작을 추적하고 사용자(800)의 동작이 특정 조건을 만족하면 협업이 이루어진 것으로 판단할 수 있다.

제1 사용자(801) 및 제2 사용자(802)는 각각 제1 입력 장치(501) 및 제2 입력 장치(502)를 소지할 수 있고, 협업을 위한 동작의 일 예로 도 13 및 도 14에 도시된 바와 같이 제1 사용자(801) 및 제2 사용자(802)는 각각 제1 입력 장치(501) 및 제2 입력 장치(502)를 머리 위에서 아래로 내리는 동작을 수행할 수 있다.

또 다른 예로, 제1 사용자(801) 및 제2 사용자(802)는 입력 장치(500)를 가상 도형 형태로 움직이는 동작을 수행할 수 있다.

제1 사용자(801) 및 제2 사용자(802)의 동작은 동시에 또는 일정 시간 차를 두고 수행될 수 있다.

제1 사용자(801) 및 제2 사용자(802)의 동작은 미리 정해진 순서에 따라 단발적으로 또는 반복적으로 수행될 수 있다.

한편, 협업을 위한 제1 사용자(801)의 동작 및 제2 사용자(802)의 동작은 서로 다른 동작이거나 서로 다른 부분 동작을 포함할 수 있다.

일 예로, 제1 사용자(801)에 의해 제1 입력 장치(501)가 상/하로 움직이는 동작이 수행되고 일정 시간 경과 후 제2 사용자(802)에 의해 제2 입력 장치(502)가 좌/우로 움직이는 동작이 수행되면 보조 컴퓨팅 장치(300)는 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단할 수 있다.

복수의 사용자(800)에 의한 협업은 입력 장치(500)가 움직이는 동작에 더해서 추가적인 조건을 만족함으로써 이루어질 수도 있다.

보조 컴퓨팅 장치(300)는 제1 사용자(801) 및 제2 사용자(802)가 특정 동작을 시작하기 전 시점, 동작이 수행되는 중간 시점 및 동작이 종료된 시점 중 적어도 어느 한 시점에 제1 입력 신호 및 제2 입력 신호 중 적어도 하나의 입력 신호를 전달 받을 수 있다. 상기 입력 신호는 입력 장치(500)가 사용자(800)에 의해 조작되면 보조 컴퓨팅 장치(300)로 전달될 수 있다.

일 예로, 제1 입력 장치(501)에 구비된 버튼이 제1 사용자(801)에 의해 눌림과 동시에 제1 입력 장치(501)의 위치가 변경되고 일정 시간 경과 후 제2 입력 장치(502)에 구비된 버튼이 제2 사용자(802)에 의해 눌림과 동시에 제2 입력 장치(502)의 위치가 변경될 수 있고, 이 때, 보조 컴퓨팅 장치(300)는 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단할 수 있다.

도 15 및 도 16을 참조하면 제1 착용형 디스플레이 장치(401)를 통해 제1 사용자(801)에게 출력되는 가상 현실 이미지(452)는 제1 캐릭터(901), 제2 캐릭터(902), 제1 캐릭터 가상 위치(921), 제2 캐릭터 가상 위치(922), 및 제1 협업 오브젝트(V2_1) 내지 제3 협업 오브젝트(V2_3)가 포함될 수 있다.

가상 현실 이미지(452)에는 가상 공간 내 가상 카메라의 시점을 나타낼 수 있다.

일 예로, 도 15에서 도시된 바와 같이 가상 현실 이미지(452)는 제1 캐릭터(901)의 1인칭 시점에서의 이미지를 포함할 수 있다. 이 때, 가상 현실 이미지(452)에 제1 사용자(801)가 소지하는 제1 입력 장치(501)에 대응되는 가상 오브젝트가 표시되되, 상기 가상 오브젝트는 제1 캐릭터(901)의 신체 일부로 손 형상을 포함할 수 있다.

제1 캐릭터 가상 위치(921) 및 제2 캐릭터 가상 위치(922)는 현실에서 제1 사용자(801) 및 제2 사용자(802)의 위치 정보에 기초하여 보조 컴퓨팅 장치(300) 또는 서버(200)에 의해 산출될 수 있다.

일 예로, 제1 캐릭터 가상 위치(921) 및 제2 캐릭터 가상 위치(922)는 착용형 디스플레이 장치(400) 및 입력 장치(500)중 적어도 하나를 추적하여 얻은 위치 정보에 기초하여 산출될 수 있다.

이하에서는 사용자(800)의 동작에 의해 협업이 이루어지는 과정을 보다 상세히 설명하기 위해 제1 캐릭터 가상 위치(921) 및 제2 캐릭터 가상 위치(922)는 제1 입력 장치(501) 및 제2 입력 장치(502)의 위치 정보에 기초하여 산출된 것으로 본다.

제1 캐릭터 가상 위치(921) 및 제2 캐릭터 가상 위치(922)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.

제1 협업 오브젝트(V2_1) 내지 제3 협업 오브젝트(V2_3)는 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어지는 데에 필요한 가상 오브젝트 및 협업에 의해 변경되거나 효과가 표시되는 가상 오브젝트 중 적어도 하나를 포함할 수 있다.

일 예로, 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)는 제1 캐릭터(901) 및 제2 캐릭터(902)가 조작할 수 있는 레버 형상 또는 스위치 형상의 가상 오브젝트를 포함할 수 있다.

한편, 제1 협업 오브젝트(V2_1) 내지 제3 협업 오브젝트(V2_3) 중 적어도 하나는 추후 설명하듯 리얼 오브젝트에 대응되는 가상 오브젝트를 포함할 수 있다.

제1 협업 오브젝트(V2_1) 내지 제3 협업 오브젝트(V2_3)는 적어도 하나 이상의 상태를 가지고 특정 조건이 만족되면 보조 컴퓨팅 장치(300)에 의해 일 상태에서 다른 상태로 상태가 변경될 수 있다.

일 예로, 제1 협업 오브젝트(V2_1)는 레버 형상이되 도 15 및 도 16에서 도시된 바와 같이 비활성 상태 및 활성 상태를 가지며, 제1 협업 오브젝트(V2_1)가 비활성 상태 또는 활성 상태에 있을 때 작동 조건을 만족하는 경우 활성 상태 또는 비활성 상태로 변경되고 그에 대응하여 형상이 변경될 수 있다. 상기 작동 조건은 제1 캐릭터 가상 위치(921)가 제1 협업 오브젝트(V2_1)로부터 일정 범위 내에 위치하는 상태에서 제1 입력 장치(501)의 움직임에 따라 제1 캐릭터 가상 위치(921)가 위에서 아래 방향으로 이동하는 조건을 포함할 수 있다.

제3 협업 오브젝트(V2_3)는 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)에 의해 상태가 변경될 수 있다.

일 예로, 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)는 각각 스위치 형상이고 활성 상태 및 비활성 상태를 가지며 제3 협업 오브젝트(V2_3)는 문 형상이고 열림 상태 및 닫힘 상태를 가질 수 있다. 이 때, 도 15 및 도 16에 도시된 바와 같이 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)가 제1 캐릭터(901) 및 제2 캐릭터(902)에 의해 비활성 상태에서 동시에 또는 일정 시간 간격을 두고 각각 활성 상태로 변경되는 경우 제3 협업 오브젝트(V2_3)는 닫힘 상태에서 열림 상태로 변경되고 이에 대응하여 형상이 변경될 수 있다.

이상에서는 협업이 이루어지기 위한 사용자(800)의 동작이 입력 장치(500)의 위치 변화에 의존하는 경우를 서술하였으나 이에 한정되는 것은 아니며 디텍팅 장치(100)에 의해 인식될 수 있는 대상체의 위치 변화로 사용자(800)의 동작이 인식될 수도 있다. 이 때, 사용자(800)에게 가상 체험이 제공되는 동안 대상체는 사용자(800)에게 계속하여 제공될 수도 있고 가상 체험 도중에 사용자(800)로부터 분리될 수도 있다.

이하에서는 도 17 및 도 18을 참조하여 리얼 오브젝트(RO)를 이용한 협업 시스템에 대해서 설명한다.

도 17은 일 실시예에 따른 리얼 오브젝트(RO)를 포함하는 현실 공간을 나타내는 예시도이다.

도 18은 일 실시예에 따른 가상 공간에서 적어도 하나 이상의 리얼 오브젝트(RO)를 이용한 협업이 이루어지는 것을 나타내는 예시도이다.

리얼 오브젝트(RO)는 현실 공간에서 존재하는 물체를 포함할 수 있다.

리얼 오브젝트(RO)는 디텍팅 장치(100)에 의해 추적되기 위해 추적 영역(600) 내에 배치될 수 있다. 한편, 리얼 오브젝트(RO)는 사용자(800)에게 가상 현실이 제공되는 동안 추적 영역(600) 내 미리 설정된 영역에 고정적으로 배치되거나 사용자(800) 또는 스스로 이동되거나 이동할 수 있다. 또한, 리얼 오브젝트(RO)는 사용자(800)에게 가상 현실이 제공되는 동안 추적 영역(600)안에서 밖으로 또는 밖에서 안으로 이동되거나 이동할 수 있다.

리얼 오브젝트(RO)에는 대상체와 같이 디텍팅 장치(100)에 의해 추적되기 위해 마커(M)가 부착될 수 있다. 또는 리얼 오브젝트(RO)는 마커(M) 없이 상기 서술한 특징점을 이용하여 디텍팅 장치(100)에 의해 추적될 수 있다.

디텍팅 장치(100)에 의해 추적된 리얼 오브젝트(RO)의 디텍팅 정보를 이용하여 서버(200) 또는 보조 컴퓨팅 장치(300)는 가상 공간에서 리얼 오브젝트(RO)에 대응되는 가상 오브젝트를 구현할 수 있다.

일 예로, 보조 컴퓨팅 장치(300)는 리얼 오브젝트(RO)에 부착된 마커(M)의 위치 정보를 이용하여 가상 공간 내 가상 위치 정보를 산출하고 이에 기초하여 가상 오브젝트를 구현할 수 있다.

또 다른 예로, 상기 리얼 오브젝트(RO)는 상기 현실 공간에 배치되고, 상기 보조 컴퓨팅 장치(300)는 상기 리얼 오브젝트(RO)와 대응되는 위치에 대응되는 형상으로 가상 오브젝트를 구현할 수 있다.

리얼 오브젝트(RO)는 장치, 기계적 구조, 모형, 산업 설비 등 사람이 접촉하는 사물 또는 물체를 포함할 수 있다.

일 예로, 도 17에 도시된 바와 같이 리얼 오브젝트(RO)는 배관 설비를 포함할 수 있다. 더 구체적으로, 리얼 오브젝트(RO)는 밸브 모형이고 유체의 흐름을 조절하기 위한 나사식 핸들을 포함할 수 있다. 이 때, 사용자(800)는 가상 체험이 제공되는 도중에 리얼 오브젝트(RO)에 포함된 나사식 핸들을 조작할 수 있다.

가상 현실 제어 시스템(10)은 사용자(800)에게 현실 공간에 배치된 적어도 하나 이상의 리얼 오브젝트(RO)의 형상 및 종류에 대응하는 가상 체험을 제공할 수 있다.

일 예로, 도 17에 도시된 바와 같이 현실 공간에서 제1 사용자(801) 및 제2 사용자(802)에게 공장 설비가 배치된 추적 영역(600)이 제공될 수 있고 이와 같은 현실 공간에 대응하여 제1 사용자(801) 및 제2 사용자(802)에게 공장에서 발생할 수 있는 가스 유출 사고 대응 훈련에 대한 가상 체험이 제공될 수 있다.

제1 사용자(801) 및 제2 사용자(802)에게 가상 체험이 제공되는 도중에 리얼 오브젝트(RO)를 이용한 협업이 이루어질 수 있다.

제1 사용자(801) 및 제2 사용자(802)에 의한 협업은 도 9 내지 도 16에서 서술한 바와 같이 각각의 사용자의 시간에 따른 위치 또는 동작에 따라 이루어지되 그 과정에서 리얼 오브젝트(RO)가 이용될 수 있다.

일 예로, 도 18에서 도시된 바와 같이 제1 사용자(801)에 대응되는 제1 캐릭터(901) 및 제2 사용자(802)에 대응되는 제2 캐릭터(902)에게 배관 이상에 따른 가스 유출 상황이 발생한 가상 환경이 제공될 수 있다. 상기 가상 환경에서 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)는 밸브 형상의 리얼 오브젝트(RO)에 대응되고 제3 협업 오브젝트(V2_3)는 배관 형상의 리얼 오브젝트(RO)에 대응될 수 있다. 이 때, 제3 협업 오브젝트(V2_3)에서 가스가 유출될 수 있고, 제1 캐릭터(901)에 의해 제1 협업 오브젝트(V2_1)가 조작되고 제2 캐릭터(902)에 의해 제2 협업 오브젝트(V2_2)가 조작되는 경우 제3 협업 오브젝트(V2_3)에서 더 이상 가스가 유출되지 않는 형태로 협업이 이루어질 수 있다.

한편, 보조 컴퓨팅 장치(300)는 사용자(800)의 위치나 동작을 인식하는 것 외에 디텍팅 장치(100) 또는 기계적 장치를 이용하여 리얼 오브젝트(RO) 자체의 움직임을 인식하고 이를 기초로 협업이 이루어졌는지 여부를 판단할 수도 있다.

리얼 오브젝트(RO) 및 이에 대응하는 가상 오브젝트는 서로 동일한 형상을 갖지 않을 수 있다. 일 예로, 리얼 오브젝트(RO)는 사용자(800)가 접촉하고 조작할 수 있도록 회전 가능한 핸들 형상이되 이에 대응하는 가상 오브젝트는 핸들을 포함하되 배관에 결착되도록 이음부분을 포함하는 밸브 형상일 수 있다.

리얼 오브젝트(RO)가 가상 공간에서 가상 오브젝트와 대응될 때, 가상 오브젝트에서 발생하는 효과가 리얼 오브젝트(RO)에서 동일 또는 유사하게 발생할 수 있다.

일 예로, 도 18에서 도시된 바와 같이 제3 협업 오브젝트(V2_3)에서 가스가 발생하는 경우 현실 공간에서 대응되는 배관 형상의 리얼 오브젝트(RO)에서 마찬가지로 가스가 발생할 수 있다. 이 때, 현실 공간에서 발생하는 가스는 가상 공간에서 발생하는 가스와 달리 인체에 무해하되 사용자(800)에게 접촉하여 촉각이나 후각을 자극하여 가상 체험에 대한 몰입도를 증대시킬 수 있다.

이하에서는 도 19 및 도 20을 참조하여 복수의 사용자(800) 중 일부는 착용형 디스플레이 장치(400)를 착용하고 다른 일부는 착용형 디스플레이 장치(400)를 착용하지 않는 경우에 복수의 사용자(800)에게 가상 현실 제어 시스템(10)에 의해 가상 체험이 제공되는 방법에 대해 서술한다.

도 19는 일 실시예에 따른 착용형 디스플레이 장치(400)를 착용한 사용자와 착용하지 않은 사용자에게 가상 체험이 제공될 때 현실 공간을 나타내는 예시도이다.

도 19를 참조하면, 제1 사용자(801)는 제1 보조 컴퓨팅 장치(301), 제1 착용형 디스플레이 장치(401) 및 제1 입력 장치(501)를 소지한 상태로 추적 영역(600)에 위치하고 제2 사용자(802)는 조작 장치(520)를 소지한 상태로 조작 영역(630)에 위치할 수 있다.

제1 사용자(801) 및 제2 사용자(802)는 가상 현실 제어 시스템(10)에 의해 동일한 가상 체험을 제공 받을 수 있다. 이 때, 제1 사용자(801)는 제1 착용형 디스플레이 장치(401)를 통해, 제2 사용자(802)는 조작 장치(520) 또는 별도의 디스플레이 장치를 통해 가상 체험에 대한 가상 현실 이미지(452)를 제공 받을 수 있다.

제1 사용자(801) 및 제2 사용자(802)는 동일한 가상 체험을 제공받더라도 서로 다른 가상 현실 이미지(452)를 제공받을 수 있다.

일 예로, 제1 사용자(801)에게는 제1 사용자(801)에 대응하는 제1 캐릭터(901)의 1인칭 시점으로 가상 공간을 바라본 이미지가 제공되되 제2 사용자(802)에게는 상기 제1 캐릭터(901)의 3인칭 시점 또는 전지적 시점에서 가상 공간을 바라본 이미지가 제공될 수 있다.

제1 사용자(801)는 도 6에서 언급된 방법으로 디텍팅 장치(100)에 의해 위치 또는 움직임 등이 추적될 수 있고 제1 보조 컴퓨팅 장치(301)는 제1 사용자(801)의 위치 정보에 기초하여 제1 착용형 디스플레이 장치(401)를 통해 제1 사용자(801)에게 가상 현실 이미지(452)를 제공할 수 있다.

제2 사용자(802)는 조작 장치(520)를 이용하여 제1 사용자(801)에게 제공되는 가상 체험을 제어할 수 있다.

조작 장치(520)는 사용자(800)의 조작에 따라 조작 신호를 송수신할 수 있는 전자기기 또는 전자장치를 포함할 수 있다.

일 예로, 조작 장치(520)는 키보드, 마우스, 조이스틱 또는 터치패드 등의 입력 장치 및 태블릿 PC 또는 핸드폰 등의 단말기 중 적어도 하나를 포함할 수 있다.

조작 장치(520)는 서버(200) 및 제1 보조 컴퓨팅 장치(301) 중 적어도 하나에 조작 신호를 전달할 수 있다.

조작 장치(520)는 서버(200) 및 제1 보조 컴퓨팅 장치(301) 중 적어도 하나와 유선 또는 무선으로 통신할 수 있다.

조작 장치(520)는 제2 사용자(802)의 조작에 따라 조작 신호를 서버(200) 및 제1 보조 컴퓨팅 장치(301) 중 적어도 하나에 전달할 수 있다.

제1 보조 컴퓨팅 장치(301)는 조작 장치(520)로부터 조작 신호를 전달받는 경우 이를 제1 사용자(801) 또는 제2 사용자(802)에게 제공되는 가상 체험에 반영할 수 있다.

조작 영역(630)은 제2 사용자(802)가 위치한 영역으로 별도로 제1 보조 컴퓨팅 장치(301) 및 서버(200) 중 적어도 어느 하나와 조작 장치(520)가 통신하기 위한 범위 이내에 위치할 수 있다.

한편, 조작 영역(630)은 추적 영역(600) 내에 포함될 수 있다. 이 때, 제2 사용자(802)에게 마커(M)가 제공되어 제2 사용자(802)의 위치나 움직임 등이 추적될 수 있고 제1 보조 컴퓨팅 장치(301)는 제2 사용자(802)의 위치 이동 또는 움직임 등을 제1 사용자(801) 또는 제2 사용자(802)에게 제공되는 가상 체험에 반영할 수 있다.

도 20은 일 실시예에 따른 착용형 디스플레이 장치(400)를 착용한 사용자와 착용하지 않은 사용자에게 가상 체험이 제공될 때 가상 공간을 나타내는 예시도이다.

도 20을 참조하면, 제1 사용자(801)에게 제1 착용형 디스플레이 장치(401)를 통해 제1 캐릭터(901) 및 대상 오브젝트(V1)을 포함하는 가상 현실 이미지(452)가 제공될 수 있다. 이 때, 제2 사용자(802)의 조작에 의해 조작 장치(520)로부터 제1 보조 컴퓨팅 장치(301)로 조작 신호가 전달되면 대상 오브젝트(V1)에 조작 효과(E)가 표시될 수 있다.

제2 사용자(802)는 조작 장치(520)를 통해 제1 사용자(801)에게 제공되는 가상 체험에 관한 이미지를 제공받을 수 있으며, 실시간으로 조작 장치(520)를 조작할 수 있다.

대상 오브젝트(V1)는 제1 캐릭터(901) 주변에 존재하는 가상 물체, 사물 구조 또는 가상 공간을 구성하는 배경을 포함할 수 있다.

조작 효과(E)는 조작 장치(520)가 조작됨으로써 대상 오브젝트(V1)에 표시될 수 있다.

일 예로, 제2 사용자(802)가 조작 장치(520)에 표시되는 이미지에서 대상 오브젝트(V1)가 표시되는 부분을 터치하는 경우 대상 오브젝트(V1)가 빛나는 효과가 발생할 수 있고 제1 캐릭터(901)는 빛나는 대상 오브젝트(V1)를 인지할 수 있다.

조작 효과(E)는 대상 오브젝트(V1) 외에도 제1 캐릭터(901)에도 표시될 수 있고 동시에 복수의 대상 오브젝트(V1)에 표시될 수 있다.

조작 효과(E)는 제1 사용자(801) 또는 제2 사용자(802)에게 제공되는 가상 현실 이미지(452)에 표시되는 시각적 효과 및 제1 착용형 디스플레이 장치(301)를 통해 제공될 수 있는 청각적 효과 중 적어도 하나를 포함할 수 있다.

조작 효과(E)가 표시되거나 발생되는 시간은 제2 사용자(802)가 조작 장치(520)를 조작한 직후 또는 조작한 후 일정 시간 경과한 때일 수 있다.

제1 사용자(801)가 가상 체험을 제공 받는 과정에서 제2 사용자(802)는 조작 장치(520)를 이용하여 대상 오브젝트(V1)에 조작 효과(E)를 발생시킴으로써 제1 사용자(801)의 가상 체험에 대한 몰입도를 증대시키거나 제1 사용자(801)가 원활하게 가상 현실을 체험하도록 보조할 수 있다.

제1 사용자(801)가 가상 체험을 제공 받는 과정에서 제2 사용자(802)에 의해 조작 장치(520)가 조작됨으로써 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어질 수 있다.

제1 사용자(801) 및 제2 사용자(802)에 의한 협업은 도 9 내지 도 16에서 서술한 바와 유사하게 제1 사용자(801)의 시간에 따른 위치 변화 또는 동작 및 제2 사용자(802)의 조작 장치(520) 조작을 통해 이루어질 수 있다.

이상에서 제2 사용자(802)는 조작 장치(520)를 조작하여 제1 사용자(801)에게 제공되는 가상 현실에 영향을 주는 경우에 대해 서술하였으나 이에 한정되는 것은 아니고 조작 장치(520) 대신으로 또는 함께 마이크, 기계 장치 등이 이용될 수도 있다.

이하에서는 평가 시스템이 적용되는 가상 체험이 복수의 사용자(800)에게 제공됨에 있어서, 앞서 서술한 복수의 사용자(800)에 의해 이루어지는 협업이 상기 평가 시스템에 반영되는 방법에 대해 설명한다.

가상 현실 제어 시스템(10)에 의해 사용자(800)에게 제공되는 가상 체험은 제공 목적이나 방법에 따라 다양한 컨셉, 종류, 장르 또는 테마를 가질 수 있다.

일 예로, 가상 체험은 서바이벌, 재난/사고 대응 훈련, 슈팅, 스포츠, FPS(First-person shooter), RPG(Role-playing game), 의료 시뮬레이션 또는 쇼핑 컨텐츠 등을 포함할 수 있다.

특정 가상 체험에는 평가 시스템이 적용되어 가상 체험이 종료된 후 사용자(800)는 사용자(800)의 체험 과정을 기초로 산정된 평가 결과를 제공 받을 수 있다.

평가 결과는 점수, 그림과 같은 시각적 정보 또는 소리와 같은 청각적 정보 등으로 사용자(800)에게 제공될 수 있다.

일 예로, 사용자(800)에게 화재 대응 훈련 가상 체험이 제공되는 경우, 가상 공간에서 사용자(800)에 대응하는 캐릭터가 주어진 화재 상황에 정해진 순서대로 대응하였는지 여부에 기초하여 평가 결과가 산정될 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 평가 시스템에 따라 산정한 평가 결과를 수치화 하여 착용형 디스플레이 장치(400)에 출력함으로써 사용자(800)에게 평가 결과를 제공할 수 있다. 더 구체적으로, 보조 컴퓨팅 장치(300)는 사용자(800)의 위치 변화 및 동작 등을 추적하여 가상 공간 내 미리 정해진 영역에서 사용자(800)에 대응하는 캐릭터가 미리 정해진 동작을 하는지 여부를 기초로 평가 결과를 산정할 수 있다.

복수의 사용자(800)가 가상 현실 제어 시스템(10)에 의해 같은 가상 체험을 제공 받는 경우, 평가 결과에는 복수 사용자(800)에 의한 협업이 이루어졌는지 여부가 반영될 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 이하 서술하는 협업 평가 방법에 따라 복수 사용자(800)에 의한 협업을 평가 결과에 반영할 수 있다.

도 21은 일 실시예에 따른 복수 사용자(800)에 의한 협업을 평가 결과에 반영하는 협업 평가 방법을 나타내는 순서도이다.

도 21을 참조하면, 협업 평가 방법은 협업 인식 단계(S100), 협업 성공 횟수 측정 단계(S200) 및 협업 횟수에 따른 협업 평가 결과 산정 단계(S300)를 포함할 수 있다.

인식 단계(S100)에서 보조 컴퓨팅 장치(300)는 앞서 도 9 내지 도 20에서 서술한 바와 같이 복수의 사용자(800)에 의해 협업이 이루어졌는지 여부를 판단할 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 협업이 이루어진 경우 미리 설정된 판단 기준에 따라 협업의 성공 여부 및 정확도를 판단할 수 있다. 이 경우 정확도는 보조 컴퓨팅 장치(300)에 의해 산출되는 대상체의 위치 정보, 가상 위치 정보 및 사용자(800)에게 제공된 가상 체험의 시작 시점으로부터 경과된 시간 중 적어도 하나에 기초하여 판단될 수 있다.

측정 단계(S200)에서 보조 컴퓨팅 장치(300)는 앞서 인식 단계(S100)에서 판단된 협업의 성공 여부 및 정확도에 기초하여 협업 평가 결과에 반영할 협업 횟수를 측정 또는 기록할 수 있다.

산정 단계(S300)에서 보조 컴퓨팅 장치(300)는 앞서 인식 단계(S100) 및 측정 단계(S200)를 통해 얻어진 협업 성공 횟수에 기초하여 협업 평가 결과를 산정하고 이를 기존의 평가 시스템에 반영할 수 있다.

협업 평가 결과는 평가 결과와 마찬가지로 점수, 그림 또는 해당 분야의 통상의 기술자가 용이하게 이용할 수 있는 방법으로 사용자(800)에게 제공될 수 있되 평가 결과와 별도로 제공되거나 평가 결과에 포함되어 제공될 수 있다.

일 예로, 협업 성공 횟수가 많을수록 복수의 사용자(800)가 가상 체험 종료 후 획득하는 점수는 높아질 수 있다. 이와 같이 가상 현실 제어 시스템(10)은 복수의 사용자(800)의 협업에 따라 평가 결과를 달리 제공함으로써 복수의 사용자(800)가 더 좋은 평가 결과를 위해 협업을 하도록 유도할 수 있다. 더불어 사용자(800)는 협업을 통해 더 나은 평가 결과를 제공받음으로써 흥미가 증대될 수 있다.

이하에서는 도 22 및 도 23을 참조하여 적어도 하나의 사용자(800)가 같은 추적 영역(600)에서 가상 현실 제공 시스템(10)에 의해 가상 체험을 제공 받는 때에 현실 공간에서 사용자(800)의 신체 중 디텍팅 장치(100)에 의해 추적되지 않는 부분이 가상 공간에서 표현되는 방법에 대해 설명한다.

도 22는 일 실시예로, 현실에서 상대적으로 먼 거리에서 사용자(800)간 접촉 시 가상 공간에서 렌더링 이미지(930)가 표시되는 것을 나타내는 예시도이다.

도 23은 일 실시예로, 현실에서 상대적으로 가까운 거리에서 사용자(800)간 접촉 시 가상 공간에서 렌더링 이미지(930)가 표시되는 것을 나타내는 예시도이다.

이하에서는 설명의 편의를 위해 도 22 및 도 23에 도시된 바와 같이 사용자(800)에게 제공되는 가상 현실 이미지(452)는 사용자(800)에 대응하는 캐릭터(900)의 1인칭 시점을 표시하는 것으로 한다. 이 때, 가상 현실 이미지(452)에는 캐릭터(900)의 적어도 일부가 표시될 수 있다.

도 22를 참조하면, 제2 캐릭터(902)에 접촉하는 제1 캐릭터(901)의 일부는 렌더링 이미지(930)로 표시될 수 있다.

렌더링 이미지(930)는 현실 공간의 사용자(800)에 대응되는 가상 공간의 캐릭터(900)를 표현하기 위한 가상 이미지를 포함할 수 있다. 또는 렌더링 이미지(930)는 현실 공간에서 디텍팅 장치(100)에 의해 추적되는 대상체에 대응되는 가상 공간의 가상 오브젝트를 표현하기 위한 가상 이미지를 포함할 수 있다.

보조 컴퓨팅 장치(300)는 디텍팅 장치(100)에 의해 추적되는 대상체의 디텍팅 정보 또는 위치 정보를 기초로 가상 공간에 렌더링 이미지(930)를 생성, 구현 또는 변경할 수 있다.

보조 컴퓨팅 장치(300)는 대상체의 디텍틱 정보에 기초하여 위치 정보가 검출되지 않는 영역을 포함하는 렌더링 이미지(930)를 생성할 수 있다.

렌더링 이미지(930)는 위치 정보가 검출되는 영역에 대응되는 이미지와 위치정보가 검출되지 않는 영역에 대응되는 이미지를 포함할 수 있다. 즉, 렌더링 이미지(930)는 검출된 위치 정보에 기초하여 생성된 스켈레톤을 기초로 렌더링한 이미지일 수 있다.

디텍팅 장치(100)에 의해 추적되는 하나의 대상체는 적어도 하나 이상의 렌더링 이미지(930)로 표시될 수 있다.

일 예로, 도 22를 참조하면, 현실 공간에서 제1 사용자(801)가 제2 사용자(802)의 어깨에 손을 올리는 경우 가상 공간에서 제1 캐릭터(901)가 제2 캐릭터(902) 어깨에 손을 올리는 가상 현실 이미지(452)가 제1 착용형 디스플레이 장치(401)를 통해 제1 사용자(801)에게 제공될 수 있다. 이 때, 착용형 디스플레이 장치(400)에는 제1 사용자(801) 및 제2 사용자(802)의 위치 정보를 기초로 제1 사용자(801)의 팔에 대응되는 렌더링 이미지(930)가 표시될 수 있다.

렌더링 이미지(930)는 대상체 사이의 위치 관계에 따라 다르게 표시될 수 있다.

도 22 및 도 23을 참조하면, 렌더링 이미지(930)는 제1 캐릭터 가상 위치(911), 제2 캐릭터 가상 위치(912) 및 기준 가상 위치(921) 중 적어도 하나에 기초하여 표시될 수 있다.

기준 가상 위치(921)는 보조 컴퓨팅 장치(300)가 디텍팅 장치(100)에 의해 추적되지 않는 물체에 대한 렌더링 이미지(930)를 생성할 때 기초로 할 수 있는 가상 위치 정보를 포함할 수 있다.

기준 가상 위치(921)는 현실 공간에서 디텍팅 장치(100)에 의해 추적된 대상체의 위치 정보에 기초하여 산출되는 가상 위치 정보를 포함할 수 있다.

일 예로, 기준 가상 위치(921)는 제1 사용자(801)에 의해 조작되는 제1 입력 장치(501)를 추적하여 얻은 위치 정보를 기초로 산출된 가상 위치 정보를 포함할 수 있다.

또 다른 예로, 기준 가상 위치(921)는 사용자(800)의 신체에 부착된 마커(M)를 추적하여 얻은 위치 정보를 기초로 산출된 가상 위치 정보를 포함할 수 있다.

렌더링 이미지(930)는 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911)에 기초하여 구현될 수 있다.

일 예로, 도 22에 도시된 바와 같이 기준 가상 위치(921)가 제1 입력 장치(501)의 위치 정보에 기초하여 산출된 가상 위치 정보인 경우, 제1 사용자(801)에 대응하는 제1 캐릭터(901)의 신체 부위 중 팔 부분을 구현하기 위한 렌더링 이미지(930)는 기준 가상 위치(921)와 제1 캐릭터 가상 위치(911)에 기초하여 구현될 수 있다. 이 때, 렌더링 이미지(930)는 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911) 사이의 거리를 고려하여 뻗은 팔 형상을 포함할 수 있다.

렌더링 이미지(930)의 형상은 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911)의 변화에 따라 변경될 수 있다.

일 예로, 도 23에 도시된 바와 같이 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911) 사이의 거리가 도 22에 도시된 것보다 가까워진 경우 렌더링 이미지(930)는 굽은 팔 형상을 포함할 수 있다. 이 때, 제1 사용자(801)가 팔을 구부리는 경우 기준 가상 위치(921)와 제1 캐릭터 가상 위치(911) 사이의 거리가 짧아지고 이에 따라 제1 보조 컴퓨팅 장치(301)는 제1 착용형 디스플레이 장치(401)에 제1 캐릭터(901)가 팔을 구부리는 이미지를 출력할 수 있다. 이와 같이 가상 공간에서 제1 캐릭터(901)를 표시함에 있어 관절을 표현함으로써 현실 공간과 가상 공간 사이에서 제1 사용자(801)가 느끼는 괴리감이 줄어들고 제1 사용자(801)의 가상 체험에 대한 몰입도가 증대될 수 있다.

한편, 보조 컴퓨팅 장치(300)는 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911)에 기초하여 렌더링 이미지(930)의 크기를 달리하여 구현할 수 있다.

일 예로, 기준 가상 위치(921)가 제1 입력 장치(501)의 위치 정보에 기초하여 산출된 가상 위치 정보인 경우, 제1 입력 장치(501)에 대응되는 제1 캐릭터(901)의 손 부분을 구현하기 위한 렌더링 이미지(930)는 기준 가상 위치(921)와 제1 캐릭터 가상 위치(911) 사이의 거리가 멀어질수록 작게 표시되고 가까워질수록 크게 표시될 수 있다.

렌더링 이미지(930)는 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)에 기초하여 구현될 수도 있다. 이 때, 제2 캐릭터 가상 위치(912)는 제1 사용자(801)가 제2 사용자(802)와 접촉하는 경우 해당 접촉부위의 가상 위치 정보를 포함할 수 있다.

일 예로, 제2 캐릭터 가상 위치(912)는 디텍팅 장치(100)에 의해 추적되면서 제2 사용자(802)에게 부착된 대상체의 위치 정보를 기초로 산출된 가상 위치 정보를 포함할 수 있다.제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)에 기초하여 렌더링 이미지(930)를 구현하는 방법은 상술한 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911)를 이용하여 렌더링 이미지(930)를 구현하는 방법을 포함할 수 있다. 이 때, 제2 캐릭터 가상 위치(912)는 기준 가상 위치(921)에 대응할 수 있다.

한편, 보조 컴퓨팅 장치(300)는 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)에 기초하여 렌더링 이미지(930)의 크기를 다르게 구현할 수 있다.

일 예로, 보조 컴퓨팅 장치(300)는 제2 착용형 디스플레이 장치(402)의 위치 정보에 기초하여 제2 캐릭터(902)의 신체 일부 또는 전부에 해당하는 렌더링 이미지(930)를 생성할 수 있다. 이 때, 렌더링 이미지(930)는 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912) 사이의 거리가 멀어질수록 작게 표시되고 가까워질수록 크게 표시될 수 있다.

이상에서는 복수의 사용자(800)가 같은 추적 영역(600)에 있는 경우를 중점으로 설명하였으나 본 발명이 이에 한정되는 것은 아니며 복수의 사용자(800)가 서로 분리된 추적 영역(600)에서 가상 현실 제어 시스템(10)에 의해 동일한 가상 체험을 제공 받는 경우에도 상술한 렌더링 이미지(930) 구현 방법이 이용될 수 있다.

또한, 이상에서는 가상 공간에서 캐릭터, 가상 오브젝트 또는 가상 구조나 배경 등을 표시하는 방법으로 렌더링 이미지(930)를 이용하는 방법을 중점으로 서술하였으나 본 발명이 이에 한정되는 것은 아니며 스켈레톤, 폴리곤, 또는 메쉬 등 해당 분야 통상의 기술자가 용이하게 이용할 수 있는 컴퓨터 그래픽 기술이 이용될 수도 있다.

이하에서는 도 24 내지 도 28을 참조하여 하나의 입력 장치(500)가 가상 공간에서 적어도 하나 이상의 가변 오브젝트(1000)로 표시되는 방법에 대해 설명한다.

도 24는 일 실시예에 따른 입력 장치(500)를 나타내는 예시도이다.

도 24를 참조하면, 입력 장치(500)는 마커(M) 및 버튼(B)을 포함할 수 있다.

입력 장치(500)의 형상은 사용자(800)에 의해 파지될 수 있는 형상을 포함할 수 있다. 파지되는 방법으로 사용자(800)는 입력 장치(500)를 손으로 감싸 쥐는 방법, 필기도구를 잡듯이 파지하는 방법 또는 양손으로 파지하는 방법 등이 포함될 수 있다.

일 예로, 입력 장치(500)는 일정 길이를 갖는 막대 형상을 포함할 수 있다.

입력 장치(500)에는 마커(M)가 부착됨으로써 입력 장치(500)가 디텍팅 장치(100)에 의해 추적될 수 있다.

입력 장치(500)에는 적어도 하나 이상의 마커(M)가 부착될 수 있고, 복수의 마커(M)는 특정 패턴을 형성하여 착용형 디스플레이 장치(400) 등의 다른 대상체와 구별될 수 있다.

한편, 마커(M)는 생략될 수 있으며 이 경우 디텍팅 장치(100)가 입력 장치(500)의 특징점을 추적하거나 입력 장치(500)와 서버(200) 사이의 무선 통신을 통해 입력 장치(500)가 다른 대상체와 구별될 수 있다. 이 때, 입력 장치(500)는 무선 통신 모듈을 포함할 수 있다.

입력 장치(500)에 구비된 버튼(B)을 통해 사용자(800)는 서버(200) 또는 보조 컴퓨팅 장치(300)에 입력 신호를 전달할 수 있다.

버튼(B)은 서로 다른 입력 신호를 전달하는 제1 버튼(B1) 및 제2 버튼(B2)을 포함할 수 있다.

제1 버튼(B1) 및 제2 버튼(B2)는 입력 장치(500)에 이격되어 배치될 수 있다.

일 예로, 입력 장치(500)가 일정 길이를 갖는 막대 형상인 경우 제1 버튼(B1) 및 제2 버튼(B2)는 입력 장치(500) 양 끝단에 배치될 수 있다.

제1 버튼(B1) 및 제2 버튼(B2) 중 적어도 하나는 생략 될 수 있다.

버튼(B)은 입력 장치(500)로부터 서버(200) 또는 보조 컴퓨팅 장치(300)로 입력 신호를 전달하기 위한 수단으로 물리적 압력을 이용한 기계식 버튼, 감압식, 정전식, 적외선, 초음파 방식 등을 이용한 터치 버튼 또는 스위치 버튼 등을 포함할 수 있다.

보조 컴퓨팅 장치(300)는 입력 장치(500)의 마커(M)의 위치 정보를 이용하여 가상 공간에 입력 장치(500)에 대응하는 가상 오브젝트를 표시할 수 있다.

입력 장치(500)는 가상 공간에서 사용자(800)에 대응하는 캐릭터가 사용할 수 있는 도구로 표시될 수 있다.

입력 장치(500)는 가상 공간에서 사용자(800)에게 제공되는 가상 체험에 따라 다른 형상으로 표시될 수 있다.

일 예로, 사용자(800)에게 가상 의료 수술 체험이 제공되는 경우 입력 장치(500)는 의료 도구 형상을 갖는 가상 오브젝트로 표시되고 가상 서바이벌 체험이 제공되는 경우 입력 장치(500)는 총이나 칼 등의 무기로 표시되며 가상 요리 체험이 제공되는 경우 입력 장치(500)는 손이나 요리 도구 등으로 표시될 수 있다.

도 25는 일 실시예에 따른 입력 장치(500)가 가상 공간에서 서로 다른 가변 오브젝트(1000)로 변경되는 것을 나타내는 예시도이다.

가변 오브젝트(1000)는 입력 장치(500)의 위치 정보에 기초하여 산출된 가상 위치 정보에 기반하여 보조 컴퓨팅 장치(300)가 가상 공간 상에 구현한 가상 오브젝트를 포함할 수 있다.

가변 오브젝트(1000)는 형상, 특성 또는 모양 등에 따라 제1 가변 오브젝트(1001) 및 제2 가변 오브젝트(1002)를 포함할 수 있다.

제1 가변 오브젝트(1001) 및 제2 가변 오브젝트(1002)의 형상이 다른 경우 그 특성이나 기능도 다를 수 있다.

가변 오브젝트(1000)는 가상 공간에서 각각 미리 정해진 특성 또는 기능을 가질 수 있다.

일 예로, 도 25에 도시된 바와 같이 가상 현실 제어 시스템(10)에 의해 사용자(800)에게 의료 수술에 관한 가상 체험이 제공될 때, 제1 가변 오브젝트(1001)는 메스 형상을 가지고 날카로운 부분을 포함하며 가상 공간에서 신체를 해부하거나 절개할 때 사용될 수 있다. 또한, 제2 가변 오브젝트(1002)는 주사기 형상을 가지고 뾰족한 부분을 포함하며 가상 공간에서 신체에 약물을 투입할 때 사용될 수 있다.

가변 오브젝트(1000)는 미리 정해진 특성 또는 기능에 기초하여 또는 캐릭터(900)에 의해 이용됨에 따라 형상이 변경될 수 있다.

가변 오브젝트(1000)는 가상 현실 제어 시스템(10)에 의해 사용자(800)에게 제공되는 가상 체험의 종류나 성질에 따라 다른 형상을 가질 수 있다.

가변 오브젝트(1000)는 동일한 가상 체험 중이라 하더라도 두 가지 이상의 형상을 가질 수 있고, 가변 오브젝트(1000)의 형상이 변경되는 경우 그에 대응하여 가상 오브젝트(1000)의 성질이나 특성 또는 기능 등이 변경될 수 있다.

이하에서는 도 26 및 도 27을 참조하여 가상 공간 내 가변 오브젝트(1000)의 형상이 변경되는 경우에 대해 서술한다.

도 26은 일 실시예에 따라 제2 가변 오브젝트(1002)가 제1 가변 오브젝트(1001)로 변경되는 경우를 나타내는 예시도이다.

도 26을 참조하면, 사용자(800)에게 제공되는 가상 현실 이미지(452)는 캐릭터(900), 제1 가변 오브젝트(1001) 또는 제2 가변 오브젝트(1002), 가변 오브젝트 가상 위치(1010) 및 가상 연장선(1100)이 포함될 수 있다.

캐릭터(900)는 가상 공간에서 사용자(100)의 위치 정보에 기초하여 출력될 수 있다. 가상 현실 이미지(452)는 가상 공간 내 위치한 가상 카메라의 시야 범위가 표시될 수 있다.

일 예로 가상 현실 이미지(452)에 캐릭터(900)의 1인칭 시점이 표시될 수 있고, 이 때 캐릭터(900)의 신체 부위 중 손만이 표시될 수 있다.

가상 현실 이미지(452)에는 입력 장치(500)에 대응하여 가변 오브젝트(1000)가 표시될 수 있다.

일 예로, 사용자(800)가 입력 장치(500)를 소지하고 있는 경우 가상 현실 이미지(452)에는 입력 장치(500)에 대응하는 가변 오브젝트(1000)가 캐릭터(900)에 의해 소지된 상태로 표시될 수 있다.

가변 오브젝트 가상 위치(1010)는 디텍팅 장치(100)가 입력 장치(500)를 추적하여 획득한 디텍팅 정보에 기초하여 보조 컴퓨팅 장치(300)가 산출한 가상 위치 정보를 포함할 수 있다.

일 예로, 가변 오브젝트 가상 위치(1010)는 입력 장치(500)에 부착된 마커(M)의 가상 위치 정보를 포함할 수 있다.

또는, 가변 오브젝트 가상 위치(1010)는 입력 장치(500)에 대응하는 가변 오브젝트(1000)를 구성하는 가상 좌표 또는 가변 오브젝트(1000)로부터 일정 거리 떨어져 있는 가상 좌표를 포함할 수 있다.

일 예로, 가변 오브젝트(1000)가 주사기 형상일 때, 가변 오브젝트 가상 위치(1010)는 주사 바늘 끝 부분의 가상 위치 정보 또는 가상 좌표를 포함할 수 있다.

가변 오브젝트 가상 위치(1010)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.

가변 오브젝트 가상 위치(1010)는 동작 시작 위치(1011) 및 동작 종료 위치(1012)를 포함할 수 있다.

동작 시작 위치(1011)는 제1 시점에서 가변 오브젝트(1000)의 가상 위치 정보를 포함하고, 동작 종료 위치(1012)는 제2 시점에서 가변 오브젝트(1000)의 가상 위치 정보를 포함할 수 있다. 이 때, 제1 시점 및 제2 시점은 동일하거나 서로 다른 시점일 수 있다.

입력 장치(500)가 사용자(800)에 의해 이동되면 가상 현실 이미지(452)에 표시되는 가상 공간에서 가변 오브젝트(1000)가 캐릭터(900)에 의해 이동될 수 있다.

가상 연장선(1100)은 가변 오브젝트(1000)가 캐릭터(900)에 의해 움직임으로써 형성되는 가상의 선을 포함할 수 있다.

가상 연장선(1100)은 동작 시작 위치(1011) 및 동작 종료 위치(1012)를 포함할 수 있다.

가상 연장선(1100)은 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.

가변 오브젝트(1100)는 캐릭터(900)에 의해 미리 설정된 이동 경로로 이동함으로써 그 형상이 변경될 수 있다.

이동 경로는 직선, 곡선 및 직선과 곡선의 조합 중 적어도 하나로 구성될 수 있다. 또한 이동 경로는 가변 오브젝트(1100)가 이동 후 변경될 형상의 특성 또는 기능에 기초하여 보조 컴퓨팅 장치(300)에 의해 설정될 수 있다.

일 예로, 도 26에 도시된 바와 같이 사용자(800)에게 의료 수술과 관련된 가상 체험이 제공되는 경우 제1 가변 오브젝트(1001)는 메스 형상일 수 있고, 제2 가변 오브젝트(1002)는 주사기 형상일 수 있다. 가상 공간에서 캐릭터(900)가 제2 가변 오브젝트(1002)를 소지하고 있는 상태에서 입력 장치(500)가 사용자(800)에 의해 메스를 사용하는 것과 유사하게 직선 경로로 이동하면 가상 공간에서 제2 가변 오브젝트(1002)가 이에 대응하여 직선 경로로 이동할 수 있다. 제2 가변 오브젝트(1002)의 이동이 끝난 시점에서 제2 가변 오브젝트(1002)는 제1 가변 오브젝트(1001)로 바꾸어 표시될 수 있다. 이 때, 제2 가변 오브젝트(1002)의 가변 오브젝트 가상 위치(1010)가 동작 시작 위치(1011)에서 동작 종료 위치(1012)로 이동할 수 있고, 보조 컴퓨팅 장치(300)는 동작 시작 위치(1011)와 동작 종료 위치(1012)를 기초로 제2 가변 오브젝트(1002)를 제1 가변 오브젝트(1001)로 바꾸어 표시할지 여부를 판단할 수 있다.

한편, 보조 컴퓨팅 장치(300)는 가변 오브젝트(1100)가 캐릭터(900)에 의해 미리 설정된 이동 경로로 이동함에 있어서 이동되는 속도 또는 이동 시간 등을 고려하여 그 형상을 변경될 수도 있다.

또는, 가변 오브젝트(1100)는 사용자(800)가 입력 장치(500)에 구비된 버튼(B)을 조작함으로써 그 형상이 변경될 수 있다.

일 예로, 사용자(800)에 의해 입력 장치(500)가 조작되어 보조 컴퓨팅 장치(300) 또는 서버(200)가 입력 신호를 획득하는 경우 보조 컴퓨팅 장치(300)는 가변 오브젝트(1100)의 형상을 변경하여 표시할 수 있다.

또는, 가변 오브젝트(1100)는 사용자(800)에게 가상 현실 제어 시스템(10)에 의해 가상 체험이 제공된 후 경과 시간에 따라 그 형상이 변경될 수 있다.

일 예로, 사용자(800)에게 의료 수술을 하는 가상 체험이 제공되는 경우 가상 현실에서 수술이 시작된 후 일정 시간이 지나 다른 수술이 시작되는 시점에서 가변 오브젝트(1100)의 형상이 변경될 수 있다.

도 27은 일 실시예에 따라, 가변 오브젝트(1000)의 형상이 캐릭터(900)의 위치에 따라 변경되는 방법을 나타내는 예시도이다.

도 27을 참조하면, 가변 오브젝트(1000)는 주위에 배치된 기준 오브젝트(V3)에 따라 그 형상이 변경될 수 있다.

기준 오브젝트(V3)는 가상 공간 내 존재하는 가상 오브젝트일 수 있다.

기준 오브젝트(V3)는 현실 공간에서 리얼 오브젝트(RO)에 대응하는 가상 오브젝트일 수 있다.

기준 오브젝트(V3)는 사용자(800)에게 제공되는 가상 체험의 종류에 따라 다른 형상을 가질 수 있다.

기준 오브젝트(V3)는 가상 공간에서 캐릭터(900)에 의해 이용될 수 있다.

기준 오브젝트(V3)는 제1 기준 오브젝트(V3_1) 및 제2 기준 오브젝트(V3_2)를 포함할 수 있다.

제1 기준 오브젝트(V3_1) 및 제2 기준 오브젝트(V3_2)는 같은 형상을 하거나 서로 다른 형상을 할 수 있다.

일 예로, 사용자(800)에게 요리 체험에 관한 가상 체험이 제공되는 경우, 제1 기준 오브젝트(V3_1)는 도마 형상을, 제2 기준 오브젝트(V3_2)는 프라이팬 형상을 포함할 수 있다.

캐릭터(900)가 기준 오브젝트(V3)로부터 일정 범위 내에 위치하는 경우 캐릭터(900)가 소지하는 가변 오브젝트(1000)는 해당 기준 오브젝트(V3)에 대응하여 형상이 변경될 수 있다.

일 예로, 도 27을 참조하면, 사용자(800)에게 요리 실습에 관한 가상 체험이 제공되는 경우, 착용형 디스플레이 장치(400)를 통해 표시되는 가상 현실 이미지(452)에는 캐릭터(900), 도마 형상을 갖는 제1 기준 오브젝트(V3_1), 프라이팬 형상을 갖는 제2 기준 오브젝트(V3_2) 및 가변 오브젝트(1000)가 표시될 수 있다. 캐릭터(900)가 제1 기준 오브젝트(V3_1)로부터 미리 설정된 범위 내에 위치하는 경우 보조 컴퓨팅 장치(300)는 입력 장치(500)에 대응하는 가상 오브젝트로 식칼 형상을 갖는 제1 가변 오브젝트(1001)를 표시할 수 있다. 그 후 캐릭터(900)가 제2 기준 오브젝트(V3_2)로부터 미리 설정된 범위 내로 이동하는 경우 보조 컴퓨팅 장치(300)는 제1 가변 오브젝트(1001)를 뒤집개 형상을 갖는 제2 가변 오브젝트(1002)로 변경하여 표시할 수 있다.

한편, 보조 컴퓨팅 장치(300)는 기준 오브젝트(V3)의 배치나 유무와 무관하게 캐릭터(900)의 가상 공간 내 가상 위치 정보에 기초하여 입력 장치(500)에 대응하는 가변 오브젝트(1000)의 형상을 변경시킬 수 있다.

가상 공간에서 사용자(800)에 대응하는 캐릭터(900)가 가변 오브젝트(1000)를 사용하는 경우 보조 컴퓨팅 장치(300)에 의해 입력 장치(500)를 통해 사용자(800)에게 햅틱 피드백이 제공될 수 있다. 이 때, 가변 오브젝트(1000)의 형상에 따라 세기나 종류가 다른 햅틱 피드백이 제공될 수 있다.

일 예로, 캐릭터(900)가 메스 형상의 제1 가변 오브젝트(1001)를 사용하는 경우보다 주사기 형상의 제2 가변 오브젝트(1002)를 사용하는 경우에 사용자(800)에게 더 큰 크기의 진동 또는 저항력이 제공될 수 있다.

도 28은 일 실시예에 따라, 입력 장치(500)에 대응하는 가변 오브젝트(1000)가 가상 현실 이미지(452)에 표시되는 방법을 나타내는 예시도이다.

도 28을 참조하면, 현실 공간에서 입력 장치(500)는 사용자(800)가 파지하는 방법에 따라 가상 카메라의 시야 범위(451) 밖에 위치할 수 있다.

가상 카메라의 시야 범위(451)는 보조 컴퓨팅 장치(300)에 의해 구축된 가상 공간에서 착용형 디스플레이 장치(400)를 통해 출력될 부분을 포함할 수 있다.

가상 카메라의 시야 범위(451)는 현실 공간에서 사용자(800)의 시야 범위와 대응될 수 있다.

한편, 도 28에 도시된 바와 같이 사용자(800)에 의해 입력 장치(500)가 가상 카메라의 시야 범위(451) 밖에 위치하는 경우에도 가상 현실 이미지(452)에는 입력 장치(500)에 대응하는 가변 오브젝트(1000)가 표시될 수 있다.

가변 오브젝트(1000)는 입력 장치(500)보다 상대적으로 부피가 크거나 길이가 긴 가상 오브젝트로 구현될 수 있다.

또는, 가변 오브젝트(1000)는 입력 장치(500)로부터 연장된 가상 오브젝트를 포함할 수 있다.

가상 현실 이미지(452)에 표시되는 가변 오브젝트(1000)는 가시 부분(1000a) 및 비가시 부분(1000b)을 포함할 수 있다.

가시 부분(1000a)은 가변 오브젝트(1000) 중 가상 카메라의 시야 범위(451) 내에 포함되어 가상 현실 이미지(452)에 표시되는 부분이고, 비가시 부분(1000b)은 가상 카메라의 시야 범위(451) 내에 포함되지 않아 가상 현실 이미지(452)에 표시되지 않는 부분일 수 있다.

가시 부분(1000a) 및 비가시 부분(1000b)은 가변 오브젝트(1000)를 구성할 수 있다.

가시 부분(1000a) 및 비가시 부분(1000b)은 고정되어 있지 않고 사용자(800)에 의해 입력 장치(500)의 일부 또는 전부가 이동함에 따라 변경될 수 있다.

일 예로, 도 28에 도시된 바와 같이 가변 오브젝트(1000)가 길이가 수술 도구 형상을 가질 때, 사용자(800)에 의해 입력 장치(500)가 들어올려져 가상 카메라의 시야 범위(451)에 들어올려지기 전보다 더 노출되는 경우 가시 부분(1000a)이 증가하고 비가시 부분(1000b)이 감소할 수 있다.

사용자(800) 및 입력 장치(500)는 각각 복수일 수 있고 그 경우에도 상술한 가변 오브젝트(1000) 형상 변경 방법 또는 가변 오브젝트(1000) 표시 방법이 이용될 수 있다.

이상에서는 설명의 편의를 위해 입력 장치(500)가 가상 공간에서 적어도 하나 이상의 가변 오브젝트(V3)로 표시될 수 있다고 서술하였으나 본 발명이 이에 한정되는 것은 아니며 입력 장치(500) 대신 리얼 오브젝트(RO)가 이용될 수도 있다.

이하에서는 도 29 내지 도 33을 참조하여 가상 공간에서 가상 오브젝트 사이의 충돌을 가상 현실 이미지(452)에 표시하는 방법을 설명한다.

도 29는 일 실시예에 따른, 가상 공간에서 가상 오브젝트 사이에 충돌이 발생하기 전 상황을 나타내는 예시도이다.

도 29를 참조하면 가상 현실 이미지(452)에는 가상 구조(1200), 충돌 오브젝트(1300), 충돌 오브젝트 가상 위치(1310), 조작 오브젝트(1400) 및 조작 오브젝트 가상 위치(1410)가 표시될 수 있다.

가상 구조(1200)는 가상 공간을 구성하는 구조, 구조물 또는 배경을 포함할 수 있다.

가상 구조(1200)는 사용자(800)에게 제공되는 가상 체험의 종류에 따라 달라질 수 있다.

일 예로, 사용자(800)에게 수술 실습에 관한 가상 체험이 제공되는 경우 가상 구조(1200)는 수술대, 약 보관함 등을 포함하는 수술실 또는 종양 등을 포함하는 대장을 포함할 수 있다.

또 다른 예로, 사용자(800)에게 요리 실습에 관한 가상 체험이 제공되는 경우 가상 구조(1200)는 요리 도구가 갖추어진 조리실, 주방 등을 포함할 수 있다.

가상 구조(1200)는 보조 컴퓨팅 장치(300)에 의해 구현될 수 있다.

가상 구조(1200)는 현실 공간에서 리얼 오브젝트(RO)에 대응하여 구현될 수도 있다.

가상 구조(1200)는 충돌 오브젝트(1300)를 포함하거나 충돌 오브젝트(1300)와 연결될 수 있다.

충돌 오브젝트(1300)는 사용자(800)에게 가상 체험이 제공되는 도중에 가상 공간에서 충돌이 발생할 수 있는 가상 오브젝트를 포함할 수 있다.

충돌 오브젝트(1300)는 리얼 오브젝트(RO)의 위치 정보를 기초로 산출된 가상 위치 정보를 기반으로 구현되거나 리얼 오브젝트(RO)와 무관하게 구현될 수 있다.

충돌 오브젝트(1300)는 보조 컴퓨팅 장치(300)에 의해 구현될 수 있다.

충돌 오브젝트 가상 위치(1310)는 충돌 오브젝트(1300)의 가상 위치 정보를 포함할 수 있다. 보조 컴퓨팅 장치(300)는 충돌 오브젝트 가상 위치(1310)에 기초하여 충돌 발생 여부를 판단할 수 있다.

충돌 오브젝트 가상 위치(1310)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.

조작 오브젝트(1400)는 가상 공간에서 캐릭터(900)에 의해 조작되는 가상 오브젝트를 포함할 수 있다.

조작 오브젝트(1400)는 사용자(800)가 소지하는 입력 장치(500)의 위치 정보에 기초하여 보조 컴퓨팅 장치(300)에 의해 구현될 수 있다. 또는 조작 오브젝트(1400)는 사용자(800)가 소지하는 리얼 오브젝트(RO)의 위치 정보에 기초하여 보조 컴퓨팅 장치(300)에 의해 구현될 수 있다. 조작 오브젝트(1400)는 사용자(800)가 소지하는 리얼 오브젝트(RO)의 위치 정보로부터 산출된 가상 위치 정보에 기초하여 구현될 수 있다. 또는 조작 오브젝트(1400)는 가상 위치 정보로부터 연장된 영역을 점유하는 형태로 구현될 수 있다. 조작 오브젝트(1400)는 가상 위치 정보로부터 일 방향으로 연장된 영역을 점유하는 형태로 구현될 수 있다. 조작 오브젝트(1400)는 리얼 오브젝트(RO)의 배치 방향으로부터 연장된 방향을 점유하는 형태로 구현될 수 있다.

조작 오브젝트(1400)는 사용자(800)에게 제공되는 가상 체험의 종류에 따라 적어도 하나 이상의 형상을 포함할 수 있다.

일 예로, 도 29에 도시된 바와 같이 조작 오브젝트(1400)는 사용자(800)에게 수술 실습에 관한 가상 체험이 제공되는 경우 내시경 형상으로 구현될 수 있다.

조작 오브젝트 가상 위치(1410)는 조작 오브젝트(1400)의 가상 위치 정보를 포함할 수 있다. 보조 컴퓨팅 장치(300)는 조작 오브젝트 가상 위치(1410)에 기초하여 충돌 발생 여부를 판단할 수 있다.

조작 오브젝트 가상 위치(1410)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.

사용자(800)에게 가상 체험이 제공되는 도중에 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 수 있다. 가상 공간 내 충돌은 보조 컴퓨팅 장치(300) 또는 서버(200)에 의해 구현된 가상 공간 내 적어도 둘 이상의 가상 오브젝트가 만나거나 접촉하는 경우를 말하며 이 때, 충돌하는 각 가상 오브젝트를 구성하는 가상 위치 정보가 서로 겹쳐질 수 있다. 또는, 충돌 오브젝트(1300) 및 조작 오브젝트(1400)는 각각 가상 공간 내 가상 점유 영역을 가질 수 있고, 충돌 오브젝트(1300)의 가상 점유 영역과 조작 오브젝트(1400)의 가상 점유 영역이 겹쳐지는 경우 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 수 있다.

한편, 접촉 또는 충돌하는 충돌 오브젝트(1300)는 리얼 오브젝트(RO)에 대응될 수도 있다. 이 때, 가상 공간에서 충돌이 발생하는 경우 현실 공간에서 리얼 오브젝트(RO) 사이의 충돌이 발생할 수 있다.

보조 컴퓨팅 장치(300)는 충돌 오브젝트 가상 위치(1310) 및 조작 오브젝트 가상 위치(1410)에 기초하여 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌 또는 접촉이 발생하였는지 여부를 판단할 수 있다. 더 구체적으로, 보조 컴퓨팅 장치(300)는 충돌 오브젝트 가상 위치(1310)로부터 미리 설정된 범위 내에 조작 오브젝트(1410)가 위치하는 경우 충돌 또는 접촉이 발생하였다고 판단할 수 있다.

도 30은 일 실시예에 따른, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생한 경우를 나타내는 예시도이다.

도 30을 참조하면 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생하는 경우 가상 현실 이미지(452)에 충돌 오브젝트(1300)와 조작 오브젝트(1400) 일부가 겹쳐진 형상이 표시될 수 있다. 이 때, 보조 컴퓨팅 장치(300) 또는 서버(200)는 사용자(800)에게 충돌 알림(1500)을 제공할 수 있다.

일 예로, 사용자(800)에게 내시경수술에 관한 가상 체험이 제공되어 가상 현실 이미지(452)에 신체 내부 형상의 가상 구조(1200), 종양 형상의 충돌 오브젝트(1300) 및 내시경 형상의 조작 오브젝트(1400)가 표시될 수 있다. 이 때, 입력 장치(500)가 사용자(800)에 의해 조작되어 입력 장치(500)의 위치 정보에 대응하여 조작 오브젝트 가상 위치(1410)가 충돌 오브젝트 가상 위치(1310)로부터 미리 설정된 범위 내에 존재하는 경우 도 30에서 도시된 바와 같이 조작 오브젝트(1400)가 충돌 오브젝트(1300)를 관통할 수 있다.

충돌 알림(1500)은 사용자(800)에게 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 일어났음을 알려줄 수 있다.

충돌 알림(1500)은 글, 그림 특수 효과 등의 시각적 효과, 소리, 음향 등의 청각적 효과 및 액추에이터에 의한 진동 등의 촉각적 효과 중 적어도 하나로 구현될 수 있다.

일 예로, 충돌 알림(1500)은 가상 현실 이미지(452) 내 미리 설정된 영역에 'Warning' 또는 '경고' 라고 기재된 메시지 박스 이미지로 표시될 수 있다.

또 다른 예로, 충돌 알림(1500)은 착용형 디스플레이 장치(400)를 통해 경고 음성 및 경고음 중 적어도 하나로 출력될 수 있다.

또 다른 예로, 충돌 알림(1500)은 가상 현실 이미지(452)에 주기적으로 붉은색 조명을 표시하는 특수 효과를 포함할 수 있다.

또 다른 예로, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생하는 경우 보조 컴퓨팅 장치(300)는 입력 장치(500), 리얼 오브젝트(RO) 등에 구비된 액추에이터를 이용해 사용자(800)에게 진동, 저항력 등의 햅틱 피드백을 제공할 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 충돌 전 조작 오브젝트(1400)의 이동 속도에 따라 사용자(800)에게 제공되는 햅틱 피드백의 세기나 방향을 설정될 수 있다.

한편, 가상 현실 제어 시스템(10)이 사용자(800)에게 제공하는 가상 체험이 평가 시스템을 포함하는 경우, 상술한 충돌 발생 횟수, 충돌 과정, 충돌하기 전 가상 오브젝트의 속도 등이 평가 결과에 반영될 수 있다.

도 31은 일 실시예에 따른, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 경우 가상 현실 이미지(452)를 출력하는 방법을 나타내는 예시도이다.

도 31을 참조하면, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 경우 보조 컴퓨팅 장치(300) 또는 서버(200)는 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 중 적어도 하나의 형상을 변경시켜 표시할 수 있다.

또는, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 경우 보조 컴퓨팅 장치(300) 또는 서버(200)는 충돌 오브젝트(1300)의 가상 점유 영역 및 조작 오브젝트(1400)의 가상 점유 영역 중 적어도 하나를 변경시킬 수 있다.

가상 점유 영역은 가상 오브젝트를 포함하는 영역일 수 있다. 또는, 가상 점유 영역은 가상 오브젝트가 점유하고 있는 영역일 수 있다.

충돌 오브젝트(1300) 및 조작 오브젝트(1400) 중 적어도 하나의 형상이 변경됨으로써 가상 현실 이미지(452)에는 충돌하지 않는 충돌 오브젝트(1300) 및 조작 오브젝트(1400)가 표시될 수 있다.

일 예로, 도 30에서 서술한 바와 같이 사용자(800)에게 내시경수술에 관한 가상 체험이 제공되고 종양 형상의 충돌 오브젝트(1300) 및 내시경 형상의 조작 오브젝트(1400) 사이에 충돌이 발생할 경우 도 31에 도시된 바와 같이 조작 오브젝트(1400) 중 충돌하는 부분이 휘어져 표시될 수 있다.

가상 공간 내 충돌을 피하기 위해 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 중 적어도 하나의 형상을 변경시키는 과정에 있어서 서버(200) 또는 보조 컴퓨팅 장치(300)는 충돌 오브젝트 가상 위치(1310) 및 조작 오브젝트 가상 위치(1410) 중 적어도 하나를 변경시키고 이미지를 표시하거나 각 가상 위치 정보는 변경시키지 않은 상태에서 충돌 전과 다른 이미지를 표시할 수 있다. 그 결과, 충돌 오브젝트 가상 위치(1310) 및 조작 오브젝트 가상 위치(1410)는 서로 미리 설정된 범위 내에 존재하되 가상 현실 이미지(452)에 표시되는 충돌 오브젝트(1300) 및 조작 오브젝트(1400)는 서로 미리 설정된 범위 내에 존재하지 않을 수 있다.

도 32는 일 실시예에 따른, 가상 공간 내 복수의 조작 오브젝트(1400)가 표시되는 방법을 나타내는 예시도이다.

도 32를 참조하면, 가상 현실 이미지(452)에는 가상 구조(1200), 충돌 오브젝트(1300) 제1 조작 오브젝트(1401), 제2 조작 오브젝트(1402), 제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)가 표시될 수 있다.

가상 현실 제어 시스템(10)은 사용자(800)에게 제공하는 가상 체험의 종류에 따라 제1 입력 장치(501) 및 제2 입력 장치(502)를 제공할 수 있다.

보조 컴퓨팅 장치(300)는 제1 입력 장치(501) 및 제2 입력 장치(502)의 위치 정보를 기초로 가상 공간에 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402)를 구현할 수 있다.

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402)는 동일한 형상으로 구현되거나 서로 다른 형상으로 구현될 수 있다.

일 예로, 사용자(800)에게 내시경수술에 관한 가상 체험이 제공되는 경우 사용자(800)에게 제1 입력 장치(501) 및 제2 입력 장치(502)가 제공될 수 있고, 착용형 디스플레이 장치(400)를 통해 출력되는 가상 현실 이미지(452)에는 제1 입력 장치(501)에 대응하는 종양 제거 도구 형상의 제1 조작 오브젝트(1401) 및 제2 입력 장치(502)에 대응하는 내시경 형상의 제2 조작 오브젝트(1402)가 표시될 수 있다. 이 때, 사용자(800)가 제1 입력 장치(501) 및 제2 입력 장치(502)를 조작함으로써 가상 공간 내에서 종양 제거 수술이 이루어질 수 있다.

입력 장치(500) 및 이에 대응하는 조작 오브젝트(1400)는 서로 같은 부피 또는 서로 같은 길이를 가지거나 서로 다른 부피 또는 서로 다른 길이를 가질 수 있다.

일 예로, 조작 오브젝트(1400)가 내시경 형상을 가질 때, 입력 장치(500)에서 연장되도록 구현되고, 착용형 디스플레이 장치(400)를 통해 출력되는 가상 현실 이미지(452)에는 연장된 부분만 표시될 수 있다.

제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)는 각각 제1 입력 장치(501)의 위치 정보 및 제2 입력 장치(502)의 위치 정보에 기초하여 보조 컴퓨팅 장치(300)에 의해 산출된 가상 위치 정보를 포함할 수 있다.

제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.

가상 체험이 제공되는 도중에 제1 입력 장치(501) 및 제2 입력 장치(502)의 움직임에 따라 가상 공간 내 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생할 수 있다.

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이의 충돌은 도 31 및 도 32에서 서술한 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 발생하는 충돌과 유사하게 발생할 수 있다.

일 예로, 보조 컴퓨팅 장치(300)는 제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)가 서로 미리 설정된 범위 내에 존재하는 경우 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생한 것으로 판단할 수 있다.

또 다른 예로, 보조 컴퓨팅 장치(300)에 의해 설정된 가상 공간 내 제1 조작 오브젝트(1401)가 점유하는 가상 점유 영역과 제2 조작 오브젝트(1402)가 점유하는 가상 점유 영역이 겹치는 경우 보조 컴퓨팅 장치(300)는 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생한 것으로 판단할 수 있다.

한편, 충돌은 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이뿐만 아니라 제1 조작 오브젝트(1401), 제2 조작 오브젝트(1402), 충돌 오브젝트(1300) 및 가상 구조(1200) 중 적어도 둘 이상 사이에서도 발생할 수 있다.

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생하는 경우, 도 30에서 서술한 바와 유사하게 사용자(800)에게 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나를 통해 충돌 알림(1500)이 제공될 수 있다.

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생하는 경우, 도 31에서 서술한 바와 유사하게 보조 컴퓨팅 장치(300)는 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 중 적어도 하나의 형상을 변경시킬 수 있다.

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 중 적어도 하나의 형상이 변경됨으로써 가상 현실 이미지(452)에는 충돌하지 않는 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402)가 표시될 수 있다.

가상 공간 내 충돌을 피하기 위해 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 중 적어도 하나의 형상을 변경시키는 과정에 있어서 서버(200) 또는 보조 컴퓨팅 장치(300)는 제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412) 중 적어도 하나를 변경시키고 이미지를 표시하거나 각 가상 위치 정보는 변경시키지 않은 상태에서 충돌 전과 다른 이미지를 표시할 수 있다. 그 결과, 제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)는 서로 미리 설정된 범위 내에 존재하되 가상 현실 이미지(452)에 표시되는 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402)는 서로 미리 설정된 범위 내에 존재하지 않을 수 있다.

한편, 도 29 내지 도 32에 서술된 가상 공간 내 적어도 둘 이상의 가상 오브젝트 사이의 충돌 및 충돌 처리 방법은 적어도 하나의 입력 장치(500)를 조작하는 복수의 사용자(800)에게 가상 체험이 제공되는 경우에도 적용될 수 있다.

일 예로, 도 32에서 제1 조작 오브젝트(1401)는 제1 사용자(801)에 의해 조작되는 제1 입력 장치(501)에 대응하는 가상 오브젝트를 포함하고 제2 조작 오브젝트(1402)는 제2 사용자(802)에 의해 조작되는 제2 입력 장치(502)에 대응하는 가상 오브젝트를 포함할 수 있다.

이하에서는 도 33을 참조하여 리얼 오브젝트(RO)를 이용해 가상 공간에 구현되는 가상 장소(1700)를 변경시키는 방법에 대해 서술한다.

도 33은 일 실시예에 따른, 가상 장소(1700)가 변경되는 방법을 나타내는 예시도이다.

도 33을 참조하면, 가상 현실 이미지(452)에는 가상 장소(1700), 캐릭터(900) 및 전환 오브젝트(1600)가 표시될 수 있다.

가상 장소(1700)는 보조 컴퓨팅 장치(300)에 의해 가상 공간에서 캐릭터(900)가 존재하는 장소 또는 배경으로 특정 장소를 표시하는 가상 이미지를 포함할 수 있다.

가상 장소(1700)는 제1 가상 장소(1701) 및 제2 가상 장소(1702)를 포함할 수 있다.

전환 오브젝트(1600)는 보조 컴퓨팅 장치(300)에 의해 가상 공간 내 배치된 가상 오브젝트를 포함할 수 있다.

전환 오브젝트(1600)는 현실 공간에서 리얼 오브젝트(RO)에 대응되는 가상 오브젝트를 포함할 수 있다.

일 예로, 현실 공간에서 추적 영역(600)에 문이 배치되어 있을 때, 보조 컴퓨팅 장치(300)는 디텍팅 장치(100)가 문을 추적하여 획득한 디텍팅 정보에 기초하여 가상 공간에 문 형상의 전환 오브젝트(1600)를 구현할 수 있다.

캐릭터(900)는 전환 오브젝트(1600)를 이용하여 가상 장소(1700)를 변경시킬 수 있다.

일 예로, 사용자(800)에게 제공되는 가상 현실 이미지(452)는 호숫가를 표시하는 제1 가상 배경(1701) 및 전환 오브젝트(1600)를 포함할 수 있다. 전환 오브젝트(1600)가 문 형상의 리얼 오브젝트(RO)에 대응되는 가상 오브젝트일 때, 사용자(800)가 현실 공간에서 문 형상의 리얼 오브젝트(RO)를 열고 문을 통과하는 경우, 이에 대응하여 가상 공간에서 캐릭터(900)는 문 형상의 전환 오브젝트(1600)를 열고 통과하면 제1 가상 배경(1701)이 제2 가상 배경(1702)으로 변경될 수 있다.

이로 인해 사용자(800)는 리얼 오브젝트(RO)를 이용해 가상 체험이 제공되는 도중 가상 공간 내에서 다양한 장소로 이동할 수 있다. 이 경우, 현실 공간에 배치된 리얼 오브젝트(RO)도 가상 공간이 변경됨으로써 다른 가상 이미지로 렌더링될 수 있다. 예를 들어, 현실 공간에서의 하나의 리얼 오브젝트(RO)가 제1 가상 배경(1701)에서는 제1 가상 이미지로 렌더링되고, 제2 가상 배경(1702)에서는 제2 가상 이미지로 렌더링 될 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

가상 현실 제어 시스템 10 디텍팅 장치 100
서버 200 보조 컴퓨팅 장치 300
착용형 디스플레이 장치 400 입력 장치 500

Claims (11)

1. 제1 광 신호를 검출하는 제1 센싱부;
   제1 사용자에게 영상을 출력하는 제1 디스플레이;
   상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트; 및
   상기 제1 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고,
   상기 적어도 하나 이상의 제어부는,
   상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하고,
   상기 제1 디스플레이에는 상기 제1 가상 위치 정보
   에 기초한 제1 시야 범위 내의 영상이 출력되고,
   상기 제1 디스플레이는 제1 가상 배경, 제1 가상 오브젝트 및 전환 오브젝트에 대한 이미지를 가상 위치 정보에 기초한 시야 범위 내의 이미지로 출력하되,
   상기 제어부는 상기 제1 사용자의 가상 위치 정보가 상기 전환 오브젝트로부터 미리 설정된 범위 내에 위치하는 경우 상기 제1 디스플레이를 통해 제2 가상 배경 및 제2 가상 오브젝트에 대한 이미지를 상기 제1 사용자의 가상 위치 정보에 기초한 시야 범위 내의 이미지로 출력하고,
   상기 제1 가상 배경에 대한 이미지 및 상기 제2 가상 배경에 대한 이미지는 서로 다른 이미지이며,
   상기 제1 가상 오브젝트와 상기 제2 가상 오브젝트는 상기 제1 리얼 오브젝트와 대응되며,
   상기 제1 가상 오브젝트와 상기 제2 가상 오브젝트는 서로 다른 가상 오브젝트인
   가상 현실 제어 시스템.
   
2. 제1 항에 있어서,
   상기 제1 리얼 오브젝트로부터 출력되는 신호에 기초하여 상기 제1 가상 오브젝트는 상기 제2 가상 오브젝트로 변경되는 가상현실 제어 시스템.
   
3. 제1 항에 있어서,
   상기 제1 리얼 오브젝트의 이동궤적에 기초하여 상기 제1 가상 오브젝트는 상기 제2 가상 오브젝트로 변경되는 가상 현실 제어 시스템.
   
4. 제1 항에 있어서,
   상기 제어부는 상기 제1 사용자의 리얼 오브젝트가 상기 전환 오브젝트로부터 미리 설정된 범위 내에 위치하는 경우 상기 제1 디스플레이를 통해 제2 가상 배경 및 제2 가상 오브젝트에 대한 이미지를 상기 제1 사용자의 가상 위치 정보에 기초한 시야 범위 내의 이미지로 출력하는
   가상 현실 제어 시스템.
   
5. 제1 항에 있어서,
   상기 제1 리얼 오브젝트가 상기 제1 시야 범위의 경계 밖에 위치하는 경우 상기 제1 디스플레에에는 상기 제1 리얼 오브젝트로부터 연장된 가상 오브젝트가 출력되는
   가상 현실 제어 시스템.
   
6. 제1 항에 있어서,
   상기 제어부는 상기 제1 사용자의 입력 장치가 상기 전환 오브젝트로부터 미리 설정된 범위 내에 위치하고, 상기 입력 장치로부터 입력 신호가 입력되고, 상기 제어부가 상기 입력 신호를 전달 받은 경우 상기 제1 디스플레이를 통해 제2 가상 배경 및 제2 가상 오브젝트에 대한 이미지를 상기 제1 사용자의 가상 위치 정보에 기초한 시야 범위 내의 이미지로 출력하는 가상 현실 제어 시스템.
   가상 현실 제어 시스템.
   
7. 삭제
8. 삭제
9. 제1 항에 있어서,
   상기 제1 리얼 오브젝트는 액추에이터를 포함하고,
   상기 액추에이터는 상기 제1 디스플레이에서 제2 가상 배경 및 제2 가상 오브젝트에 대한 이미지를 상기 제1 사용자의 가상 위치 정보에 기초한 시야 범위 내의 이미지로 출력할 때 동작하는,
   가상 현실 제어 시스템.
   
10. 삭제
11. 삭제

Images