KR20200091256A

KR20200091256A - Virtual Reality Control System

Info

Publication number: KR20200091256A
Application number: KR1020190008305A
Authority: KR
Inventors: 송채훈; 이우성; 이후정; 김재영
Original assignee: (주)스코넥엔터테인먼트
Priority date: 2019-01-22
Filing date: 2019-01-22
Publication date: 2020-07-30
Also published as: KR102218089B1

Abstract

According to one aspect of the present invention, provided is a virtual reality control system wherein real objects provided to users are displayed in two or more shapes in a virtual space. The virtual reality control system includes: a first sensing unit which detects a first optical signal; a first display for outputting an image to a first user; a first real object having a location changed by the manipulation of the first user; and at least one control unit for controlling the first display. The at least one control unit calculates first virtual location information based on the first optical signal, an image within a first viewing range based on the first virtual location information is outputted on the first display, a first virtual object corresponding to the first real object is displayed on the first display at a first viewpoint when the first real object is located within a preset range from the boundary of the first viewing range, a second virtual object corresponding to the first real object is displayed at a second viewpoint, the first viewpoint and the second viewpoint are different from each other, and the first virtual object and the second virtual object are different from each other.

Description

Virtual Reality Control System

아래의 실시예들은 가상 현실 제어 시스템에 관한 것이다.The following embodiments relate to a virtual reality control system.

가상 환경은 현실을 기반으로 현실에 가상의 정보를 부가하여 사용자에게 제공하거나 현실에서의 대상체의 상태를 프로그램에 의해 생성된 가상 현실 이미지로써 제공하는 기술일 수 있다.The virtual environment may be a technology that provides a user with virtual information by adding virtual information to the reality based on the reality or provides a state of an object in reality as a virtual reality image generated by a program.

이러한 가상 환경 제공 기술에는 현실에 제공되는 사용자나 오브젝트 등의 대상체의 상태에 대한 정보를 기반으로 프로그램에 의해 가상 공간, 가상 캐릭터 및 가상 오브젝트 등을 생성하는 기술이 포함될 수 있고, 이 때 다양한 센서를 이용하여 대상체의 상태에 대한 정보를 획득하게 된다.The technology for providing a virtual environment may include a technology for generating a virtual space, a virtual character, and a virtual object by a program based on information about a state of an object such as a user or an object provided in reality, and various sensors are used. By using it, information about the state of the object is obtained.

사용자에게 가상 체험이 제공됨에 있어, 가상 공간 내에서 도구를 사용할 수 있도록 리얼 오브젝트가 함께 제공될 수 있다. 이 때, 리얼 오브젝트는 그 위치나 형상이 인식되어 가상 공간 내 대응하는 가상 오브젝트로 표시될 수 있고 가상 공간 내에서 필요한 기능이 부가될 수 있다. Since the virtual experience is provided to the user, a real object may be provided together to use the tool in the virtual space. At this time, the real object may be displayed as a corresponding virtual object in the virtual space by recognizing its position or shape, and necessary functions may be added in the virtual space.

한편, 리얼 오브젝트가 가상 공간 내에서 형상이 고정되거나 하나의 기능을 갖는 가상 오브젝트로 구현된다면 사용자에게 내용이나 종류가 다른 가상 체험이 제공됨에 있어서 한계가 있을 수 있다.On the other hand, if a real object has a fixed shape in a virtual space or is implemented as a virtual object having one function, there may be limitations in providing a virtual experience with different contents or types to the user.

따라서 하나의 리얼 오브젝트가 가상 공간에서 복수의 형상을 갖거나 둘 이상의 기능을 구비하는 방법이 요구된다.Therefore, there is a need for a method in which one real object has a plurality of shapes in a virtual space or has two or more functions.

일 과제는 사용자에게 다양한 내용의 가상 체험이 제공될 때, 사용자에게 제공되는 리얼 오브젝트가 필요에 따라 가상 공간에서 둘 이상의 형상으로 표시되는 이미지 처리 방법을 제공함에 있다.One task is to provide an image processing method in which when a virtual experience of various contents is provided to a user, a real object provided to the user is displayed in two or more shapes in a virtual space as needed.

또 다른 과제로 사용자에게 다양한 내용의 가상 체험이 제공될 때, 사용자에게 제공되는 리얼 오브젝트가 필요에 따라 가상 공간에서 둘 이상의 기능을 수행하도록 구현하는 방법을 제공함에 있다. Another task is to provide a method of implementing a real object provided to a user to perform two or more functions in a virtual space as needed when a virtual experience of various contents is provided to the user.

또 다른 과제로, 리얼 오브젝트가 가상 체험에서 특정 용도로 사용되는 경우, 사용자의 시야범위에 포함되지 않은 리얼 오브젝트를 가상 공간에서 확장하여 표시하는 방법을 제공함에 있다.Another object is to provide a method of expanding and displaying a real object that is not included in a user's field of view in a virtual space when the real object is used for a specific purpose in a virtual experience.

본 발명의 일 양상에 따르면, 제1 광 신호를 검출하는 제1 센싱부, 제1 사용자에게 영상을 출력하는 제1 디스플레이, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트 및 상기 제1 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는 상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 제1 디스플레이에는 상기 제1 가상 위치 정보에 기초한 제1 시야 범위 내의 영상이 출력되고, 상기 제1 리얼 오브젝트가 상기 제1 시야 범위의 경계로부터 미리 설정된 범위 내에 위치하는 경우 상기 제1 디스플레이에는 제1 시점에 상기 제1 리얼 오브젝트와 대응되는 제1 가상 오브젝트가 표시되고, 제2 시점에 상기 제1 리얼 오브젝트와 대응되는 제2 가상 오브젝트가 표시되되, 상기 제1 시점과 제2 시점은 서로 다른 시점이며, 상기 제1 가상 오브젝트와 상기 제2 가상 오브젝트는 서로 다른 가상 오브젝트인 가상 현실 제어 시스템이 제공될 수 있다.According to an aspect of the present invention, a first sensing unit for detecting a first optical signal, a first display for outputting an image to a first user, a first real object whose position is changed by manipulation of the first user, and the And at least one control unit for controlling the first display, wherein the at least one control unit calculates first virtual location information based on the first optical signal, and the first display comprises a first virtual location information based on the first virtual location information. When an image within one viewing range is output and the first real object is located within a preset range from the boundary of the first viewing range, the first display may include a first virtual corresponding to the first real object at a first time point. An object is displayed, and a second virtual object corresponding to the first real object is displayed at a second time point, wherein the first time point and the second time point are different time points, and the first virtual object and the second virtual object are different. A virtual reality control system that is different virtual objects may be provided.

본 발명의 다른 양상에 따르면, 광 신호를 검출하는 센싱부, 사용자에게 영상을 출력하는 디스플레이, 상기 사용자의 조작에 의해 위치가 변경되는 리얼 오브젝트 및 상기 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는 상기 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 디스플레이에 상기 제1 가상 위치 정보에 기초한 시야 범위 내의 영상을 출력하고, 상기 리얼 오브젝트가 상기 시야 범위의 경계로부터 미리 설정된 범위 내에 위치하는 경우 상기 디스플레이에 상기 리얼 오브젝트에 대응되는 가상 오브젝트를 표시하되, 상기 가상 오브젝트는 서로 다른 제1 가상 오브젝트 및 제2 가상 오브젝트를 포함하고, 상기 리얼 오브젝트는 제1 시점에 제2 가상 위치 정보를 가지고 제2 시점에 제3 가상 위치 정보를 가질 때, 상기 제2 가상 위치 정보와 상기 제3 가상 위치 정보가 서로 다른 경우 상기 디스플레이에 상기 제1 시점에는 상기 리얼 오브젝트와 대응되는 상기 제1 가상 오브젝트를 표시하고 상기 제2 시점에는 상기 리얼 오브젝트와 대응되는 상기 제2 가상 오브젝트를 표시하는 가상 현실 제어 시스템이 제공될 수 있다.According to another aspect of the present invention, a sensing unit for detecting an optical signal, a display for outputting an image to a user, a real object whose position is changed by the user's manipulation, and at least one control unit for controlling the display, The at least one control unit calculates first virtual position information based on the optical signal, outputs an image within a viewing range based on the first virtual position information to the display, and the real object is previously displayed from a boundary of the viewing range. When located within a set range, a virtual object corresponding to the real object is displayed on the display, wherein the virtual object includes different first virtual objects and second virtual objects, and the real object is second at the first time point. When the second virtual location information and the third virtual location information are different when the virtual location information has the third virtual location information at the second time point, the display corresponds to the real object at the first time point on the display. A virtual reality control system may be provided that displays a first virtual object and displays the second virtual object corresponding to the real object at the second time point.

사용자에게 하나의 리얼 오브젝트가 제공됨에도 사용자는 복수의 가상 체험을 경험할 수 있어 불필요한 리얼 오브젝트의 사용을 방지할 수 있다.Even though one real object is provided to the user, the user can experience multiple virtual experiences, thereby preventing unnecessary use of the real object.

하나의 리얼 오브젝트가 가상 공간에서 다수의 형상으로 구현되거나 다양한 기능이 수행됨으로써 사용자로 하여금 흥미를 유발시킬 수 있다.One real object may be implemented in a plurality of shapes in a virtual space or various functions may be performed, thereby causing interest to a user.

사용자에게 제공되는 가상 체험의 종류나 내용에 따라 하나의 리얼 오브젝트가 그 형상이나 기능이 변경됨으로써 사용자로 하여금 몰입도를 증대시킬 수 있다.The shape or function of one real object is changed according to the type or content of the virtual experience provided to the user, so that the user can increase the immersion degree.

도 1은 일 실시예에 따른 가상 현실 제어 시스템을 나타내는 환경도이다.
도 2는 일 실시예에 따른 디텍팅 장치를 나타내는 블록도이다.
도 3은 일 실시예에 따른 서버를 나타내는 블록도이다.
도 4는 일 실시예에 따른 보조 컴퓨팅 장치를 나타내는 블록도이다.
도 5는 일 실시예에 따른 착용형 디스플레이 장치를 나타내는 블록도이다.
도 6은 일 실시예에 따른 가상 현실 제어 시스템의 구현을 나타내는 예시도이다.
도 7은 일 실시예에 따른 대상체 추적 방법을 나타내는 개략도이다.
도 8은 일 실시예에 따른 가상 현실 이미지가 착용형 디스플레이 장치를 통해 출력되는 것을 나타내는 도면이다.
도 9는 일 실시예에 따른 협업이 이루어지기 전 현실 공간을 나타내는 예시도이다.
도 10은 일 실시예에 따른 협업이 이루어지기 전 제1 사용자에게 제공되는 가상 현실 이미지를 나타내는 예시도이다.
도 11은 현실 공간에서 복수의 사용자에 의해 협업이 이루어진 경우를 나타내는 예시도이다.
도 12는 가상 공간에서 복수의 사용자에 의해 협업이 이루어진 경우를 나타내는 예시도이다.
도 13은 입력 장치를 이용하는 복수의 사용자에 의해 협업이 이루어지기 전 현실 공간을 나타내는 예시도이다.
도 14는 입력 장치를 이용하는 복수의 사용자에 의해 협업이 이루어진 후 현실 공간을 나타내는 예시도이다.
도 15는 입력 장치를 이용하는 복수의 사용자에 의해 협업이 이루어지기 전 가상 공간을 나타내는 예시도이다.
도 16은 입력 장치를 이용하는 복수의 사용자에 의해 협업이 이루어진 후 가상 공간을 나타내는 예시도이다.
도 17은 일 실시예에 따른 리얼 오브젝트를 포함하는 현실 공간을 나타내는 예시도이다.
도 18은 일 실시예에 따른 가상 공간에서 적어도 하나 이상의 리얼 오브젝트를 이용한 협업이 이루어지는 것을 나타내는 예시도이다.
도 19는 일 실시예에 따른 착용형 디스플레이 장치를 착용한 사용자와 착용하지 않은 사용자에게 가상 체험이 제공될 때 현실 공간을 나타내는 예시도이다.
도 20은 일 실시예에 따른 착용형 디스플레이 장치를 착용한 사용자와 착용하지 않은 사용자에게 가상 체험이 제공될 때 가상 공간을 나타내는 예시도이다.
도 21은 일 실시예에 따른 복수 사용자에 의한 협업을 평가 결과에 반영하는 협업 평가 방법을 나타내는 순서도이다.
도 22는 일 실시예로, 현실에서 상대적으로 먼 거리에서 사용자간 접촉 시 가상 공간에서 렌더링 이미지가 표시되는 것을 나타내는 예시도이다.
도 23은 일 실시예로, 현실에서 상대적으로 가까운 거리에서 사용자간 접촉 시 가상 공간에서 렌더링 이미지가 표시되는 것을 나타내는 예시도이다.
도 24는 일 실시예에 따른 입력 장치를 나타내는 예시도이다.
도 25는 일 실시예에 따른 입력 장치가 가상 공간에서 서로 다른 가변 오브젝트로 변경되는 것을 나타내는 예시도이다.
도 26은 일 실시예에 따라 제2 가변 오브젝트가 제1 가변 오브젝트로 변경되는 경우를 나타내는 예시도이다.
도 27은 일 실시예에 따라, 가변 오브젝트의 형상이 캐릭터의 위치에 따라 변경되는 방법을 나타내는 예시도이다.
도 28은 일 실시예에 따라, 입력 장치에 대응하는 가변 오브젝트가 가상 현실 이미지에 표시되는 방법을 나타내는 예시도이다.
도 29는 일 실시예에 따른, 가상 공간에서 가상 오브젝트 사이에 충돌이 발생하기 전 상황을 나타내는 예시도이다.
도 30은 일 실시예에 따른, 충돌 오브젝트및 조작 오브젝트 사이에 충돌이 발생한 경우를 나타내는 예시도이다.
도 31은 일 실시예에 따른, 충돌 오브젝트 및 조작 오브젝트 사이에 충돌이 발생할 경우 가상 현실 이미지를 출력하는 방법을 나타내는 예시도이다.
도 32는 일 실시예에 따른, 가상 공간 내 복수의 조작 오브젝트가 표시되는 방법을 나타내는 예시도이다.
도 33은 일 실시예에 따른, 가상 장소가 변경되는 방법을 나타내는 예시도이다.1 is an environmental diagram illustrating a virtual reality control system according to an embodiment.
2 is a block diagram showing a detecting device according to an embodiment.
3 is a block diagram illustrating a server according to an embodiment.
4 is a block diagram illustrating an auxiliary computing device according to an embodiment.
5 is a block diagram illustrating a wearable display device according to an embodiment.
6 is an exemplary view showing an implementation of a virtual reality control system according to an embodiment.
7 is a schematic diagram illustrating a method for tracking an object according to an embodiment.
8 is a diagram illustrating that a virtual reality image according to an embodiment is output through a wearable display device.
9 is an exemplary view showing a real space before collaboration is performed according to an embodiment.
10 is an exemplary diagram illustrating a virtual reality image provided to a first user before collaboration is made according to an embodiment.
11 is an exemplary view showing a case where collaboration is performed by a plurality of users in a real space.
12 is an exemplary diagram illustrating a case where collaboration is performed by a plurality of users in a virtual space.
13 is an exemplary view showing a real space before collaboration is performed by a plurality of users using an input device.
14 is an exemplary view showing a real space after collaboration is performed by a plurality of users using an input device.
15 is an exemplary view showing a virtual space before collaboration is performed by a plurality of users using an input device.
16 is an exemplary view showing a virtual space after collaboration is performed by a plurality of users using an input device.
17 is an exemplary view showing a real space including a real object according to an embodiment.
18 is an exemplary diagram illustrating that collaboration is performed using at least one real object in a virtual space according to an embodiment.
19 is an exemplary view showing a real space when a virtual experience is provided to a user who wears a wearable display device and a user who does not wear the wearable display device according to an embodiment.
20 is an exemplary view illustrating a virtual space when a virtual experience is provided to a user who wears a wearable display device and a user who does not wear the wearable display device according to an embodiment.
21 is a flowchart illustrating a collaborative evaluation method for reflecting collaboration by multiple users in an evaluation result according to an embodiment.
FIG. 22 is an exemplary diagram illustrating that a rendered image is displayed in a virtual space upon contact between users at a relatively long distance from reality.
23 is an exemplary diagram illustrating that a rendered image is displayed in a virtual space upon contact between users at a relatively close distance in reality.
24 is an exemplary view illustrating an input device according to an embodiment.
25 is an exemplary diagram illustrating that an input device according to an embodiment is changed to different variable objects in a virtual space.
26 is an exemplary view illustrating a case where a second variable object is changed to a first variable object according to an embodiment.
27 is an exemplary diagram illustrating a method in which a shape of a variable object is changed according to a position of a character, according to an embodiment.
28 is an exemplary diagram illustrating a method in which a variable object corresponding to an input device is displayed on a virtual reality image, according to an embodiment.
29 is an exemplary diagram illustrating a situation before a collision occurs between virtual objects in a virtual space according to an embodiment.
30 is an exemplary view illustrating a case where a collision occurs between a collision object and an operation object according to an embodiment.
31 is an exemplary diagram illustrating a method of outputting a virtual reality image when a collision occurs between a collision object and a manipulation object, according to an embodiment.
32 is an exemplary diagram illustrating a method of displaying a plurality of manipulation objects in a virtual space, according to an embodiment.
33 is an exemplary diagram illustrating a method of changing a virtual place according to an embodiment.

본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. The above-described objects, features and advantages of the present invention will become more apparent through the following detailed description in conjunction with the accompanying drawings. However, the present invention can be modified in various ways and can have various embodiments. Hereinafter, specific embodiments will be illustrated in the drawings and described in detail.

도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.In the drawings, the thickness of the layers and regions are exaggerated for clarity, and the element or layer is “on” or “on” of another element or layer. What is referred to includes cases where other layers or other components are interposed in the middle as well as directly above other components or layers. Throughout the specification, the same reference numbers refer to the same components in principle. In addition, elements having the same functions within the scope of the same idea appearing in the drawings of the respective embodiments will be described using the same reference numerals.

본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that a detailed description of known functions or configurations related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, the numbers used in the description process of the present specification (for example, first, second, etc.) are only identification numbers for distinguishing one component from other components.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. In addition, the suffixes "module" and "part" for components used in the following description are given or mixed only considering the ease of writing the specification, and do not have a meaning or a role that is distinguished from each other.

가상 현실은 현실 세계와 달리 프로그램에 의해 생성된 인공적인 환경일 수 있다.Virtual reality may be an artificial environment created by a program unlike the real world.

이러한 가상 현실은 통상적으로 프로그램에 의해 현실과 분리된 가상 공간을 생성하여 이에 대한 이미지를 제공하는 VR, 현실 세계를 기반으로 가상의 이미지를 겹쳐 하나의 이미지로 제공하는 AR 및 현실 세계와 가상 현실을 융합하여 가상 공간을 제공하고 이에 대한 이미지를 제공하는 MR로 구분될 수 있다.Such a virtual reality is a virtual space that is separated from reality by a program, and VR that provides an image for this, AR that provides a virtual image based on the real world, and AR and the real world and virtual reality. It can be divided into MRs that fuse to provide a virtual space and provide images for it.

이하에서 설명되는 가상 현실을 설명함에 있어서 가상 현실은 앞서 설명된 VR, AR 및 MR 뿐만 아니라 다양한 형태의 가상 공간을 제공하는 가상 환경을 의미할 수 있다.In describing the virtual reality described below, the virtual reality may mean a virtual environment providing various types of virtual spaces as well as VR, AR, and MR described above.

앞서 언급된 문제점을 해결하기 위해 본 발명의 일 실시예에 따르면, 제1 광 신호를 검출하는 제1 센싱부, 제1 사용자에게 영상을 출력하는 제1 디스플레이, 상기 제1 사용자의 조작에 의해 위치가 변경되는 제1 리얼 오브젝트 및 상기 제1 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는, 상기 제1 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 제1 디스플레이에는 상기 제1 가상 위치 정보에 기초한 제1 시야 범위 내의 영상이 출력되고, 상기 제1 리얼 오브젝트가 상기 제1 시야 범위의 경계로부터 미리 설정된 범위 내에 위치하는 경우 상기 제1 디스플레이에는 제1 시점에 상기 제1 리얼 오브젝트와 대응되는 제1 가상 오브젝트가 표시되고, 제2 시점에 상기 제1 리얼 오브젝트와 대응되는 제2 가상 오브젝트가 표시되되, 상기 제1 시점과 제2 시점은 서로 다른 시점이며, 상기 제1 가상 오브젝트와 상기 제2 가상 오브젝트는 서로 다른 가상 오브젝트인 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention to solve the above-mentioned problems, the first sensing unit for detecting the first optical signal, the first display for outputting an image to the first user, the location by the operation of the first user And a first real object to be changed and at least one control unit controlling the first display, wherein the at least one control unit calculates first virtual location information based on the first optical signal, and the first display. When an image in a first viewing range based on the first virtual location information is output, and the first real object is located within a preset range from a boundary of the first viewing range, the first display may display the first view A first virtual object corresponding to the first real object is displayed, and a second virtual object corresponding to the first real object is displayed at a second time point, and the first time point and the second time point point are different time points. The first virtual object and the second virtual object may be provided with virtual reality control systems that are different virtual objects.

본 발명의 일 실시예에 따르면, 상기 제1 리얼 오브젝트로부터 출력되는 신호에 기초하여 상기 제1 가상 오브젝트는 상기 제2 가상 오브젝트로 변경되는 가상현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, a virtual reality control system in which the first virtual object is changed to the second virtual object based on a signal output from the first real object may be provided.

본 발명의 일 실시예에 따르면, 상기 제1 리얼 오브젝트의 이동궤적에 기초하여 상기 제1 가상 오브젝트는 상기 제2 가상 오브젝트로 변경되는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, a virtual reality control system in which the first virtual object is changed to the second virtual object based on the movement trajectory of the first real object may be provided.

본 발명의 일 실시예에 따르면, 상기 제1 시점 및 상기 제2 시점은 미리 설정된 시간차를 가지는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, the first time point and the second time point may be provided with a virtual reality control system having a preset time difference.

본 발명의 일 실시예에 따르면, 상기 제1 리얼 오브젝트가 상기 제1 시야 범위의 경계 밖에 위치하는 경우 상기 제1 디스플레에에는 상기 제1 리얼 오브젝트로부터 연장된 가상 오브젝트가 출력되는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, when the first real object is located outside the boundary of the first viewing range, a virtual reality control system that outputs a virtual object extending from the first real object is displayed on the first display. Can be provided.

본 발명의 일 실시예에 따르면, 상기 제1 리얼 오브젝트는 상기 제1 사용자의 입력에 의한 입력신호를 상기 적어도 하나 이상의 제어부로 전달하는 입력부를 포함하고, 상기 제어부는, 상기 제1 시점과 상기 제2 시점 사이에 상기 입력신호가 획득되면 상기 제1 디스플레이에 상기 제2 가상 오브젝트를 출력하는, 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, the first real object includes an input unit that transmits an input signal by the input of the first user to the at least one control unit, wherein the control unit includes the first time point and the first real object. When the input signal is obtained between two viewpoints, a virtual reality control system for outputting the second virtual object to the first display may be provided.

본 발명의 일 실시예에 따르면, 광 신호를 검출하는 센싱부, 사용자에게 영상을 출력하는 디스플레이, 상기 사용자의 조작에 의해 위치가 변경되는 리얼 오브젝트 및 상기 디스플레이를 제어하는 적어도 하나 이상의 제어부를 포함하고, 상기 적어도 하나 이상의 제어부는, 상기 광 신호에 기초한 제1 가상 위치 정보를 산출하고, 상기 디스플레이에 상기 제1 가상 위치 정보에 기초한 시야 범위 내의 영상을 출력하고, 상기 리얼 오브젝트가 상기 시야 범위의 경계로부터 미리 설정된 범위 내에 위치하는 경우 상기 디스플레이에 상기 리얼 오브젝트에 대응되는 가상 오브젝트를 표시하되, 상기 가상 오브젝트는 서로 다른 제1 가상 오브젝트 및 제2 가상 오브젝트를 포함하고, 상기 리얼 오브젝트는 제1 시점에 제2 가상 위치 정보를 가지고 제2 시점에 제3 가상 위치 정보를 가질 때, 상기 제2 가상 위치 정보와 상기 제3 가상 위치 정보가 서로 다른 경우 상기 디스플레이에 상기 제1 시점에는 상기 리얼 오브젝트와 대응되는 상기 제1 가상 오브젝트를 표시하고 상기 제2 시점에는 상기 리얼 오브젝트와 대응되는 상기 제2 가상 오브젝트를 표시하는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, a sensing unit for detecting an optical signal, a display for outputting an image to a user, a real object whose position is changed by the user's manipulation, and at least one control unit for controlling the display, , The at least one control unit calculates first virtual location information based on the optical signal, outputs an image within a viewing range based on the first virtual location information on the display, and the real object is the boundary of the viewing range If it is located within a preset range from, a virtual object corresponding to the real object is displayed on the display, wherein the virtual object includes different first virtual objects and second virtual objects, and the real object is displayed at the first time point. When the second virtual location information and the third virtual location information are different at the second time point and the second virtual location information is different from the third virtual location information, the display corresponds to the real object at the first time point on the display. A virtual reality control system for displaying the first virtual object and displaying the second virtual object corresponding to the real object may be provided at the second time point.

본 발명의 일 실시예에 따르면, 상기 리얼 오브젝트는 제3 시점에서 제4 가상 위치 정보를 가지되, 상기 제3 시점은 상기 제1 시점 및 상기 제2 시점 사이의 시점이고, 상기 제4 가상 위치 정보는 상기 제2 가상 위치 정보 및 상기 제3 가상 위치 정보에 의해 형성되는 연장선으로부터 미리 설정된 범위 내에 위치하는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, the real object has fourth virtual location information at a third time point, wherein the third time point is a time point between the first time point and the second time point, and the fourth virtual position is The information may be provided with a virtual reality control system located within a predetermined range from an extension line formed by the second virtual location information and the third virtual location information.

본 발명의 일 실시예에 따르면, 상기 리얼 오브젝트는 액추에이터를 포함하고, 상기 액추에이터는 상기 제1 시점 및 상기 제2 시점 사이에 적어도 한 번 이상 동작하는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, the real object includes an actuator, and the actuator may be provided with a virtual reality control system that operates at least once between the first time point and the second time point.

본 발명의 일 실시예에 따르면, 상기 적어도 하나 이상의 제어부는, 상기 리얼 오브젝트의 특징점에 기초하여 상기 제2 가상 위치 정보 및 상기 제3 가상 위치 정보를 산출하는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, the at least one control unit may be provided with a virtual reality control system that calculates the second virtual location information and the third virtual location information based on a feature point of the real object.

본 발명의 일 실시예에 따르면, 상기 제1 시점은 상기 제2 시점보다 앞선 시점이고, 상기 제2 가상 위치 정보는 상기 제1 시점으로부터 경과한 시간이 길어질수록 상기 제3 가상 위치 정보에 가까워지는 가상 현실 제어 시스템이 제공될 수 있다.According to an embodiment of the present invention, the first time point is a time point ahead of the second time point, and the second virtual position information becomes closer to the third virtual position information as the time elapsed from the first time point increases. A virtual reality control system can be provided.

이하에서는 도 1을 참조하여 일 실시예에 따른 가상 현실을 제공하기 위한 가상 현실 제어 시스템(10)에 대해서 설명하도록 한다.Hereinafter, a virtual reality control system 10 for providing a virtual reality according to an embodiment will be described with reference to FIG. 1.

도 1은 일 실시예에 따른 가상 현실 제어 시스템(10)을 나타내는 환경도이다.1 is an environmental diagram illustrating a virtual reality control system 10 according to an embodiment.

도 1을 참조하면, 가상 현실 제어 시스템(10)은 디텍팅 장치(100), 서버(200), 보조 컴퓨팅 장치(300), 착용형 디스플레이 장치(400) 및 입력 장치(500)를 포함할 수 있다.Referring to FIG. 1, the virtual reality control system 10 may include a detecting device 100, a server 200, an auxiliary computing device 300, a wearable display device 400 and an input device 500. have.

일 실시예에 따르면 디텍팅 장치(100)는 서버(200)와 연결될 수 있다.According to an embodiment, the detecting device 100 may be connected to the server 200.

디텍팅 장치(100)는 대상체를 추적하여 디텍팅 정보를 획득할 수 있다.The detecting device 100 may acquire the detecting information by tracking the object.

일 실시예에 따른 대상체는 착용형 디스플레이 장치(400)를 통해 출력되는 이미지에 영향을 주는 물체일 수 있다.The object according to an embodiment may be an object that affects an image output through the wearable display device 400.

예를 들어 대상체는 착용형 디스플레이 장치(400), 사용자, 입력 장치(500), 상기 사용자 주변에 위치한 물체 및 기준점 또는 특징점을 갖는 물체 중 적어도 하나가 포함될 수 있다.For example, the object may include at least one of a wearable display device 400, a user, an input device 500, an object positioned around the user, and an object having a reference point or a feature point.

또한 일 실시예에 따른 대상체의 추적은 현실 환경에서의 대상체의 위치에 대한 정보를 획득하는 것을 의미할 수 있다.Also, tracking an object according to an embodiment may mean obtaining information about the position of the object in a real environment.

예를 들어 대상체의 추적은 현실 환경에서 대상체의 이동에 따라 변경되는 위치에 대한 정보를 획득할 수 있다. 이러한 대상체에 대한 위치 정보는 획득한 미리 정해진 주기로위치 정보 획득될 수 있으나, 이에 한정되는 것은 아니다.For example, tracking of an object may acquire information about a position that changes according to the movement of the object in the real environment. The location information for the object may be obtained at a predetermined period, but is not limited thereto.

일 실시예에 따르면 디텍팅 장치(100)는 디텍팅 정보를 서버(200)에 제공할 수 있다.According to one embodiment, the detecting device 100 may provide the detecting information to the server 200.

일 실시예에 따르면 서버(200)는 디텍팅 장치(100) 및 보조 컴퓨팅 장치(300)와 연결될 수 있다.According to an embodiment, the server 200 may be connected to the detecting device 100 and the auxiliary computing device 300.

서버(200)는 연결된 구성으로부터 정보를 획득할 수 있다.The server 200 may acquire information from a connected configuration.

일 실시예에 따르면 서버(200)는 디텍팅 장치(100)로부터 디텍팅 정보, 디텍팅 장치(100)가 획득한 이미지 정보 및 디텍팅 장치(100)의 상태 정보 중 적어도 하나를 획득할 수 있다. According to an embodiment, the server 200 may acquire at least one of the detection information, the image information acquired by the detection device 100, and the status information of the detection device 100 from the detection device 100. .

그 밖에도 서버(200)는 후술할 몇몇 실시예에 따라 다양한 정보를 획득할 수 있다.In addition, the server 200 may acquire various information according to some embodiments to be described later.

일 실시예에 따르면 서버(200)는 연결된 구성을 제어할 수 있다.According to an embodiment, the server 200 may control a connected configuration.

일 실시예에 따르면 서버(200)는 보조 컴퓨팅 장치(300) 또는 착용형 디스플레이 장치(400)를 제어할 수 있다.According to an embodiment, the server 200 may control the auxiliary computing device 300 or the wearable display device 400.

일 예로 서버(200)는 보조 컴퓨팅 장치(300)에 설치된 프로그램 또는 어플리케이션의 구동을 제어할 수 있다. 보다 구체적인 예를 들어 서버(200)는 보조 컴퓨팅 장치(300)에 설치된 프로그램 또는 어플리케이션의 시작 및/또는 종료를 제어할 수 있다.For example, the server 200 may control driving of a program or application installed in the auxiliary computing device 300. For a more specific example, the server 200 may control the start and/or end of a program or application installed in the auxiliary computing device 300.

다른 예로 서버(200)는 디텍팅 장치(100)의 동작에 필요한 다양한 설정을 제공할 수 있다.As another example, the server 200 may provide various settings necessary for the operation of the detecting device 100.

또한 서버(200)는 디텍팅 정보에 기초하여 대상체의 위치 정보를 생성하거나 대상체의 위치에 대응하는 가상 환경에서의 가상 위치 정보를 생성할 수 있다.Also, the server 200 may generate location information of the object based on the detection information or virtual location information in a virtual environment corresponding to the location of the object.

또한 서버(200)는 보조 컴퓨팅 장치(300)에서 구동되는 프로그램 또는 어플리케이션의 인증을 수행할 수 있다. In addition, the server 200 may perform authentication of a program or application running on the secondary computing device 300.

일 실시예에 따른 서버(200)의 기능이 상술한 기능으로 한정되는 것은 아니며, 실시예에 따라 다양한 기능을 수행하는 서버(200)가 제공될 수 있다.The function of the server 200 according to an embodiment is not limited to the functions described above, and the server 200 performing various functions may be provided according to an embodiment.

또한 일 실시예예 따른 서버(200)가 반드시 하나의 물리적인 구성으로 제공되어야 하는 것은 아니며, 상술한 기능을 세분화 하여 각각의 기능을 수행하는 복수의 장치로 제공될 수 있다. In addition, the server 200 according to an embodiment is not necessarily provided in one physical configuration, and may be provided as a plurality of devices that perform each function by subdividing the above-described functions.

예를 들어 서버(200)는 디텍팅 장치(100)와 연결되어 디텍팅 정보에 기초하여 위치 정보를 획득하는 디텍팅 서버, 가상 현실 제어 시스템(10)에 제공되는 구성 중 적어도 일부에 대한 제어를 수행하는 운영 서버 및 가상 현실 제어 시스템(10)의 각 구성 중 적어도 하나의 구성에서 실행되는 프로그램 또는 어플리케이션에 대한 인증을 수행하는 라이선스 서버 등으로 세분화되어 각 서버에서 수행될 수 있다.For example, the server 200 is connected to the detecting device 100 to control the control of at least a part of the configuration provided to the detecting server and the virtual reality control system 10 to obtain location information based on the detecting information. It can be subdivided into a license server that performs authentication for a program or an application that is executed in at least one configuration of each of the components of the operation server and the virtual reality control system 10 to be performed and performed in each server.

한편, 서버(200)는 보조 컴퓨팅 장치(300)가 입력 장치(500)로부터 획득한 입력신호 또는 입력신호에 기초한 입력 정보를 제공 받을 수 있다.Meanwhile, the server 200 may receive input signals based on the input signals or input signals obtained from the input device 500 by the auxiliary computing device 300.

입력 정보는 가상 현실 내 오브젝트 등에 대한 사용자의 선택 정보, 입력 장치(500)를 통하여 입력된 동작에 대한 정보, 입력 장치(500)의 지향 방향에 대한 지향 정보 등을 포함할 수 있다.The input information may include user's selection information on an object in a virtual reality, information on an operation input through the input device 500, and information on a direction of the input device 500.

보조 컴퓨팅 장치는(300)는 디텍팅 장치(100), 서버(200), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결될 수 있다.The auxiliary computing device 300 may be connected to at least one of the detecting device 100, the server 200, the wearable display device 400, and the input device 500.

보조 컴퓨팅 장치(300)는 서버(200)로부터 획득한 위치 정보에 기초하여 가상 위치 정보를 산출할 수 있다.The auxiliary computing device 300 may calculate virtual location information based on the location information obtained from the server 200.

또는 보조 컴퓨팅 장치(300)는 디텍팅 장치(100)로부터 획득한 디텍팅 정보를 가공하여 대상체의 위치 정보를 산출하거나 가상 위치 정보를 산출할 수 있다.Alternatively, the auxiliary computing device 300 may process the detection information obtained from the detecting device 100 to calculate location information of the object or virtual location information.

보조 컴퓨팅 장치(300)는 미리 저장된 프로그램 또는 어플리케이션을 통하여 착용형 디스플레이 장치(400)를 통하여 사용자에게 이미지를 제공할 수 있다.The auxiliary computing device 300 may provide an image to the user through the wearable display device 400 through a pre-stored program or application.

또한 보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)를 통해 사용자에게 제공할 음향 정보를 제공할 수 있다. Also, the auxiliary computing device 300 may provide sound information to be provided to the user through the wearable display device 400.

일 실시예에 따르면, 보조 컴퓨팅 장치(300)는 미리 설치된 어플리케이션 또는 프로그램을 통해 위치 정보에 기초하여 사용자에게 제공될 이미지를 획득할 수 있다.According to an embodiment, the auxiliary computing device 300 may acquire an image to be provided to a user based on location information through a pre-installed application or program.

또한 보조 컴퓨팅 장치(300)는 입력 장치(500)로부터 획득한 입력신호에 기초하여 입력 정보를 획득할 수 있다.Also, the auxiliary computing device 300 may obtain input information based on the input signal obtained from the input device 500.

또한 보조 컴퓨팅 장치(300)는 획득한 입력 정보를 고려하여 사용자에게 제공할 이미지를 획득할 수 있다.Also, the auxiliary computing device 300 may acquire an image to be provided to the user in consideration of the acquired input information.

착용형 디스플레이 장치(400)는 보조 컴퓨팅 장치(300)와 연결될 수 있다.The wearable display device 400 may be connected to the secondary computing device 300.

착용형 디스플레이 장치(400)는 사용자에게 가상 환경에 대한 이미지를 제공할 수 있다.The wearable display device 400 may provide an image of the virtual environment to the user.

착용형 디스플레이 장치(400)는 보조 컴퓨팅 장치(300)로부터 획득한 가상 현실 이미지를 사용자에게 시각적으로 출력할 수 있다.The wearable display device 400 may visually output a virtual reality image acquired from the secondary computing device 300 to the user.

또한 착용형 디스플레이 장치(400)는 보조 컴퓨팅 장치(300)로부터 획득한 음향 정보를 출력할 수 있다.Also, the wearable display device 400 may output sound information acquired from the auxiliary computing device 300.

입력 장치(500)는 가상 환경에 반영할 사용자의 입력에 대한 신호를 획득할 수 있다.The input device 500 may acquire a signal for a user input to be reflected in a virtual environment.

입력 장치(500)는 보조 컴퓨팅 장치(300)와 연결될 수 있다.The input device 500 may be connected to the auxiliary computing device 300.

입력 장치(500)는 보조 컴퓨팅 장치(300)로 사용자의 입력에 대응하는 입력신호를 제공할 수 있다.The input device 500 may provide an input signal corresponding to a user's input to the auxiliary computing device 300.

입력 장치(500)는 사용자의 동작에 대응하는 신호를 획득하기 위한 가속도 센서, 자이로스코프, 자이로 센서, MEMS, 지자기 센서, 관성 센서(IMU), 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 및 전자파 센서 등을 포함할 수 있다.The input device 500 is an acceleration sensor, a gyroscope, a gyroscope sensor, a MEMS, a geomagnetic sensor, an inertial sensor (IMU), an optical sensor, an illuminance sensor, a photo sensor, an infrared sensor, and a color for acquiring a signal corresponding to a user's motion It may include a sensor, a depth sensor and an electromagnetic wave sensor.

또한 입력 장치(500)는 사용자의 선택에 대한 신호를 획득하기 위한 버튼, 스위치, 조그셔틀 및 휠 등을 포함할 수 있다.In addition, the input device 500 may include buttons, switches, jog shuttles, wheels, and the like for obtaining a signal for a user's selection.

또한 입력 장치(500)는 보조 컴퓨팅 장치(300)와 유선 통신 및 무선 통신 중 적어도 하나의 통신 방식으로 연결될 수 있다.Also, the input device 500 may be connected to the auxiliary computing device 300 in at least one of wired communication and wireless communication.

또한 입력 장치(500)는 보조 컴퓨팅 장치(300)와의 통신을 위한 통신 모듈을 포할 수 있다.In addition, the input device 500 may include a communication module for communication with the auxiliary computing device 300.

도 1에는 입력 장치(500)가 보조 컴퓨팅 장치(300)와 연결되는 것으로 도시하였으나 이에 한정되는 것은 아니며 입력 장치(500)는 선택에 따라 다양한 연결 형태로 제공될 수 있다. Although the input device 500 is illustrated as being connected to the auxiliary computing device 300 in FIG. 1, the present invention is not limited thereto, and the input device 500 may be provided in various connection types according to selection.

예를 들어 입력 장치(500)는 서버(200) 및 착용형 디스플레이(400)등의 구성과 연결되어 입력 신호를 제공할 수 있다.For example, the input device 500 may be connected to components such as the server 200 and the wearable display 400 to provide an input signal.

한편, 입력 장치(500)는 햅틱 피드백을 제공할 수 있다.Meanwhile, the input device 500 may provide haptic feedback.

서버(200) 또는 보조 컴퓨팅 장치(300)는 입력 장치(500)를 통해 사용자에게 햅틱 피드백을 제공할 수 있다.The server 200 or the secondary computing device 300 may provide haptic feedback to the user through the input device 500.

햅틱 피드백은 사용자가 입력 장치(500)를 조작함에 따라 사용자에게 제공되는 진동, 힘, 동작, 열 또는 냉기 등을 포함할 수 있다.Haptic feedback may include vibration, force, motion, heat or cold provided to the user as the user manipulates the input device 500.

햅틱 피드백은 사용자에게 직접적으로 접촉하여 제공되는 접촉 햅틱 피드백 및 사용자로부터 일정 거리 이격되어 제공되는 비접촉 햅틱 피드백 중 적어도 하나를 포함할 수 있다.The haptic feedback may include at least one of contact haptic feedback provided in direct contact with the user and non-contact haptic feedback provided at a distance from the user.

입력 장치(500)는 햅틱 피드백을 제공하기 위해 촉각 센서, 진동 모터, 액츄에이터, 초음파 모듈, 열전 소자 등을 포함할 수 있다.The input device 500 may include a tactile sensor, a vibration motor, an actuator, an ultrasonic module, and a thermoelectric element to provide haptic feedback.

이상에서 설명된 가상 현실 제어 시스템(10)은 설명의 편의를 위한 예시일 뿐 일 실시예에 따른 가상 현실 제어 시스템(10)이 도 1에 도시된 구성 및 연결 관계로 한정되는 것은 아니며 선택에 따라 다양한 형태로 제공될 수 있다.The virtual reality control system 10 described above is only an example for convenience of description, and the virtual reality control system 10 according to an embodiment is not limited to the configuration and connection relationship illustrated in FIG. 1, depending on selection It can be provided in various forms.

일 예로 보조 컴퓨팅 장치(300) 및 착용형 디스플레이 장치(400)는 하나의 구성으로 제공될 수 있으며, 이 경우 보조 컴퓨팅 장치(300)에서 수행하는 동작이 착용형 디스플레이 장치(400)에서 구현될 수 있다.For example, the secondary computing device 300 and the wearable display device 400 may be provided as one configuration, and in this case, an operation performed by the auxiliary computing device 300 may be implemented in the wearable display device 400. have.

다만, 이하에서 다양한 실시예들을 설명함에 있어서 설명의 편의를 위하여 상술한 가상 현실 제어 시스템(10)을 예시로 하여 설명하도록 한다.However, in the following description of various embodiments, for convenience of description, the above-described virtual reality control system 10 will be described as an example.

이하에서는 도 2를 참조하여 일 실시예에 따른 디텍팅 장치(100)에 대하여 설명하도록 한다.Hereinafter, the detecting device 100 according to an embodiment will be described with reference to FIG. 2.

도 2는 일 실시예에 따른 디텍팅 장치(100)를 나타내는 블록도이다.2 is a block diagram illustrating a detecting device 100 according to an embodiment.

도 2를 참조하면, 디텍팅 장치(100)는 발광부(110) 및 센싱부(120)를 포함할 수 있다.Referring to FIG. 2, the detecting device 100 may include a light emitting unit 110 and a sensing unit 120.

발광부(110)는 대상체 추적을 위해 상기 대상체 또는 그 주변에 신호를 송출할 수 있다.The light emitting unit 110 may transmit a signal to or around the object for tracking the object.

일 예로, 발광부(110)는 가시광 및 적외선 등의 광 신호를 외부로 발신하는 발광 소자로 제공될 수 있다.For example, the light emitting unit 110 may be provided as a light emitting device that transmits light signals such as visible light and infrared light to the outside.

보다 구체적인 예를 들어 발광부는 가시광 LED 및 적외선 LED 등으로 제공될 수 있다.For a more specific example, the light emitting unit may be provided as a visible light LED and an infrared LED.

센싱부(120)는 외부로부터 신호를 획득할 수 있다.The sensing unit 120 may acquire a signal from the outside.

일 예로, 센싱부(120)는 발광부(110)가 송출한 신호에 대응하는 신호를 획득할 수 있다.For example, the sensing unit 120 may acquire a signal corresponding to the signal transmitted by the light emitting unit 110.

다른 예로, 센싱부(120)는 대상체에 제공되는 마커가 반사한 광에 대한 신호를 획득할 수 있다.As another example, the sensing unit 120 may acquire a signal for light reflected by the marker provided to the object.

예를 들어 센싱부(120)는 이미지 센서, 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 및 전자파 센서 등으로 제공될 수 있다.For example, the sensing unit 120 may be provided as an image sensor, an optical sensor, an illuminance sensor, a photo sensor, an infrared sensor, a color sensor, a depth sensor, and an electromagnetic wave sensor.

도 3은 일 실시예에 따른 서버(200)를 나타내는 블록도이다.3 is a block diagram illustrating a server 200 according to an embodiment.

도 3을 참조하면, 서버(200)는 서버 통신부(210), 서버 저장부(220), 서버 입력부(230), 서버 제어부(240) 및 서버 디스플레이부(250)를 포함할 수 있다.Referring to FIG. 3, the server 200 may include a server communication unit 210, a server storage unit 220, a server input unit 230, a server control unit 240, and a server display unit 250.

서버 통신부(210)는 디텍팅 장치(100), 보조 컴퓨팅 장치(300), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결되어 데이터를 획득하거나 제공할 수 있다.The server communication unit 210 may be connected to at least one of the detecting device 100, the auxiliary computing device 300, the wearable display device 400, and the input device 500 to obtain or provide data.

서버 통신부(210)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 디텍팅 장치(100), 보조 컴퓨팅 장치(300), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결될 수 있다.The server communication unit 210 may be connected to at least one of the detecting device 100, the auxiliary computing device 300, the wearable display device 400, and the input device 500 by at least one of wired communication and wireless communication. Can.

예를 들어 무선통신은 와이파이(Wi-Fi)망, 3G, LTE망, 5G, 로라(LoRa) 등의 이동통신망, wave(Wireless Access in Vehicular Environment), 비콘, 지그비(zigbee), 블루투스(Bluetooth), BLE(Bluetooth Low Energy) 등을 포함할 수 있다. For example, wireless communication includes Wi-Fi networks, 3G, LTE networks, 5G, and LoRa mobile networks, wave (Wireless Access in Vehicular Environment), beacons, zigbees, Bluetooth (Bluetooth) , BLE (Bluetooth Low Energy), and the like.

또한 유선통신은 트위스트 페어 케이블, 동축케이블 또는 광케이블 등을 포함할 수 있다.Also, the wired communication may include a twisted pair cable, a coaxial cable, or an optical cable.

서버 통신부(210)는 유선 통신 및 무선 통신 중 적어도 하나의 통신 방식을 제공하기 위한 통신 모듈로 제공될 수 있다.The server communication unit 210 may be provided as a communication module for providing at least one communication method among wired communication and wireless communication.

서버 저장부(220)는 데이터를 저장할 수 있다.The server storage unit 220 may store data.

서버 저장부(220)는 외부로부터 획득한 정보를 저장할 수 있다.The server storage unit 220 may store information obtained from the outside.

또한 서버 저장부(220)는 서버(200)의 동작에 필요한 정보를 저장할 수 있다. Also, the server storage unit 220 may store information necessary for the operation of the server 200.

예를 들어 서버 저장부(220)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, SSD, CD-ROM, DVD-ROM 또는 USB 등으로 제공될 수 있다.For example, the server storage unit 220 may include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and floptical disks. It may be provided with the same magneto-optical media, and ROM, RAM, flash memory, SSD, CD-ROM, DVD-ROM or USB.

서버 입력부(230)는 사용자의 입력에 대응하는 신호를 획득할 수 있다.The server input unit 230 may acquire a signal corresponding to the user's input.

사용자의 입력은 예를 들어 버튼의 누름, 클릭, 터치 및 드래그 등일 수 있다.The user input may be, for example, pressing, clicking, touching and dragging a button.

서버 입력부(230)는 예를 들어 키보드, 키 패드, 버튼, 조그셔틀 및 휠 등으로 구현될 수 있다.The server input unit 230 may be implemented with, for example, a keyboard, a keypad, a button, a jog shuttle, and a wheel.

서버 제어부(240)는 서버(200)의 동작을 총괄할 수 있다.The server control unit 240 may oversee the operation of the server 200.

일 예로 서버 제어부(240)는 서버(200)에 포함된 구성의 동작을 제어할 수 있다.For example, the server controller 240 may control the operation of the configuration included in the server 200.

서버 디스플레이부(250)는 시각적인 정보를 출력할 수 있다. The server display unit 250 may output visual information.

서버 디스플레이부(250)는 시각적인 정보를 출력하는 모니터, TV, 디스플레이 패널 등으로 제공될 수 있다.The server display unit 250 may be provided as a monitor, TV, display panel, etc. that outputs visual information.

또한 서버 디스플레이부(250)가 터치 스크린으로 제공되는 경우, 서버 디스플레이부(250)는 서버 입력부(230)의 기능을 수행할 수 있다.In addition, when the server display unit 250 is provided as a touch screen, the server display unit 250 may perform a function of the server input unit 230.

도 4는 일 실시예에 따른 보조 컴퓨팅 장치(300)를 나타내는 블록도이다.4 is a block diagram illustrating an auxiliary computing device 300 according to an embodiment.

도 4를 참조하면, 보조 컴퓨팅 장치(300)는 보조 컴퓨팅 통신부(310), 보조 컴퓨팅 저장부(320), 보조 컴퓨팅 입력부(330) 및 보조 컴퓨팅 제어부(340)를 포함할 수 있다.Referring to FIG. 4, the auxiliary computing device 300 may include an auxiliary computing communication unit 310, an auxiliary computing storage unit 320, an auxiliary computing input unit 330, and an auxiliary computing control unit 340.

보조 컴퓨팅 통신부(310)는 서버(200), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결될 수 있다.The secondary computing communication unit 310 may be connected to at least one of the server 200, the wearable display device 400, and the input device 500.

보조 컴퓨팅 통신부(310)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 서버(200), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 연결될 수 있다.The auxiliary computing communication unit 310 may be connected to at least one of the server 200, the wearable display device 400, and the input device 500 by at least one communication method between wired communication and wireless communication.

보조 컴퓨팅 통신부(310)는 연결된 서버(200), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나와 정보를 교환할 수 있다. The secondary computing communication unit 310 may exchange information with at least one of the connected server 200, the wearable display device 400, and the input device 500.

보조 컴퓨팅 통신부(310)는 무선 통신 및 유선 통신 중 적어도 하나의 통신 방식을 제공하기 위한 통신 모듈로 제공될 수 있다.The auxiliary computing communication unit 310 may be provided as a communication module for providing at least one communication method among wireless communication and wired communication.

보조 컴퓨팅 저장부(320)는 외부로부터 획득한 정보를 저장할 수 있다.The auxiliary computing storage 320 may store information acquired from the outside.

또한 보조 컴퓨팅 저장부(320)는 보조 컴퓨팅 장치(300)의 동작에 필요한 데이터 등을 저장할 수 있다.In addition, the auxiliary computing storage 320 may store data required for the operation of the auxiliary computing device 300.

또한, 보조 컴퓨팅 저장부(320)는 사용자에게 가상 체험을 제공하기 위한 어플리케이션 또는 프로그램 등을 저장할 수 있다.In addition, the auxiliary computing storage 320 may store an application or program for providing a virtual experience to a user.

보조 컴퓨팅 입력부(330)는 사용자의 입력에 대응하는 신호를 획득할 수 있다.The auxiliary computing input unit 330 may acquire a signal corresponding to a user input.

예를 들어 보조 컴퓨팅 입력부(330)는 키보드, 키 패드, 버튼, 조그셔틀 및 휠 등으로 구현될 수 있다.For example, the auxiliary computing input unit 330 may be implemented with a keyboard, a keypad, buttons, a jog shuttle and a wheel.

보조 컴퓨팅 제어부(340)는 보조 컴퓨팅 장치(300)의 동작을 총괄할 수 있다.The auxiliary computing control unit 340 may generalize the operation of the auxiliary computing device 300.

도 5는 일 실시예에 따른 착용형 디스플레이 장치(400)를 나타내는 블록도이다.5 is a block diagram illustrating a wearable display device 400 according to an embodiment.

도 5를 참조하면, 착용형 디스플레이 장치(400)는 착용형 디스플레이 통신부(410), 착용형 디스플레이 저장부(420), 착용형 디스플레이 센서부(430), 착용형 디스플레이 제어부(440) 및 착용형 디스플레이 출력부(450)를 포함할 수 있다.5, the wearable display device 400 includes a wearable display communication unit 410, a wearable display storage unit 420, a wearable display sensor unit 430, a wearable display control unit 440 and a wearable It may include a display output unit 450.

착용형 디스플레이 통신부(410)는 보조 컴퓨팅 장치(300)와 연결될 수 있다.The wearable display communication unit 410 may be connected to the secondary computing device 300.

착용형 디스플레이 통신부(410)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 보조 컴퓨팅 장치(300)와 연결될 수 있다. The wearable display communication unit 410 may be connected to the secondary computing device 300 by at least one communication method between wired communication and wireless communication.

착용형 디스플레이 저장부(420)는 데이터를 저장할 수 있다.The wearable display storage unit 420 may store data.

착용형 디스플레이 저장부(420)는 착용형 디스플레이 장치(400)의 동작에 필요한 어플리케이션 또는 프로그램을 저장할 수 있다.The wearable display storage unit 420 may store an application or program required for the operation of the wearable display device 400.

또한 착용형 디스플레이 저장부(420)는 외부로부터 획득한 정보를 저장할 수 있다.In addition, the wearable display storage unit 420 may store information acquired from the outside.

착용형 디스플레이 센서부(430)는 착용형 디스플레이 장치(400)의 상태 및 사용자의 입력에 대응하는 신호를 획득할 수 있다.The wearable display sensor unit 430 may acquire a signal corresponding to a state of the wearable display device 400 and a user's input.

일 실시예에 따른 착용형 디스플레이 센서부(430)는 착용형 디스플레이 동작 센서모듈(431) 및 착용형 디스플레이 음향 센서모듈(432)을 포함할 수 있다.The wearable display sensor unit 430 according to an embodiment may include a wearable display motion sensor module 431 and a wearable display acoustic sensor module 432.

착용형 디스플레이 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 상태에 대한 신호를 획득할 수 있다.The wearable display motion sensor module 431 may acquire a signal for the state of the wearable display device 400.

일 예로 착용형 디스플레이 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 회전에 대한 회전 정보를 획득할 수 있다.For example, the wearable display motion sensor module 431 may acquire rotation information about the rotation of the wearable display device 400.

다른 예로 착용형 디스플레이 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 위치 이동에 대한 이동 정보를 획득할 수 있다.As another example, the wearable display motion sensor module 431 may acquire movement information on the position movement of the wearable display device 400.

착용형 디스플레이 동작 센서모듈(431)은 가속도 센서, 자이로스코프, 자이로 센서, MEMS, 지자기 센서, 관성 센서(IMIU), 이미지 센서, 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 또는 전자파 센서 등을 포함할 수 있다.The wearable display motion sensor module 431 includes an acceleration sensor, a gyroscope, a gyro sensor, a MEMS, a geomagnetic sensor, an inertial sensor (IMIU), an image sensor, an optical sensor, an illuminance sensor, a photo sensor, an infrared sensor, a color sensor, and a depth sensor. Or an electromagnetic wave sensor.

착용형 디스플레이 음향 센서모듈(432)는 외부로부터 유입되는 소리에 대응하는 신호를 획득할 수 있다.The wearable display acoustic sensor module 432 may acquire a signal corresponding to sound coming from the outside.

일 예로 착용형 디스플레이 음향 센서모듈(432) 마이크일 수 있다.For example, the wearable display acoustic sensor module 432 may be a microphone.

착용형 디스플레이 제어부(440)는 착용형 디스플레이 장치(400)의 동작을 총괄할 수 있다.The wearable display control unit 440 may generalize the operation of the wearable display device 400.

착용형 디스플레이 화면 출력부(450)는 사용자에게 시각적인 정보를 출력할 수 있다.The wearable display screen output unit 450 may output visual information to the user.

일 예로 착용형 디스플레이 화면 출력부(450)는 가상 현실에 대한 이미지를 출력할 수 있다. 또한 다른 예로 착용형 디스플레이 화면 출력부(450)는 3차원 가상 현실에 대한 이미지를 출력할 수 있다.For example, the wearable display screen output unit 450 may output an image of virtual reality. Also, as another example, the wearable display screen output unit 450 may output an image of a 3D virtual reality.

착용형 디스플레이 화면 출력부(450)는 액정 디스플레이(LCD), 전자 종이, LED 디스플레이, OLED 디스플레이, 곡면 디스플레이, 스테레오스코피(양안 시차를 이용한 3차원 디스플레이) 등의 이미지 출력 장치로 제공될 수 있다.The wearable display screen output unit 450 may be provided as an image output device such as a liquid crystal display (LCD), electronic paper, LED display, OLED display, curved display, stereoscopic (three-dimensional display using binocular parallax).

착용형 디스플레이 음향 출력부(460)는 청각적인 정보를 출력할 수 있다.The wearable display sound output unit 460 may output auditory information.

착용형 디스플레이 음향 출력부(460)는 튜너, 재생장치, 앰프, 스피커 등의 음향장치로 제공될 수 있다.The wearable display sound output unit 460 may be provided as a sound device such as a tuner, a playback device, an amplifier, and a speaker.

도 6은 일 실시예에 따른 가상 현실 제어 시스템(10)의 구현을 나타내는 예시도이다.6 is an exemplary view showing an implementation of the virtual reality control system 10 according to an embodiment.

도 6을 참조하면 가상 현실 제어 시스템(10)은 적어도 하나의 사용자(800)에게 가상 체험을 위한 추적 영역(600)이 제공될 수 있다.Referring to FIG. 6, the virtual reality control system 10 may be provided with a tracking area 600 for a virtual experience to at least one user 800.

또한 추적 영역(600)에서 사용자(800)에게 보조 컴퓨팅 장치(300), 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나가 제공될 수 있다.Also, at least one of the secondary computing device 300, the wearable display device 400, and the input device 500 may be provided to the user 800 in the tracking area 600.

또한 사용자(800)에게 제공되는 대상체에는 마커가 제공될 수 있다.In addition, a marker may be provided to an object provided to the user 800.

일 예로 대상체가 착용형 디스플레이 장치(400) 및 입력 장치(500)인 경우 착용형 디스플레이 장치(400) 및 입력 장치(500)에는 서로 상이한 패턴의 마커가 제공될 수 있다.For example, when the object is the wearable display device 400 and the input device 500, the wearable display device 400 and the input device 500 may be provided with markers of different patterns.

마커가 제공되는 패턴에 대해서는 후술하도록 한다.The pattern provided with the marker will be described later.

또한 추적 영역(600)에는 적어도 하나의 디텍팅 장치(100)가 제공될 수 있다.Also, the tracking area 600 may be provided with at least one detecting device 100.

일 예로 도 6에 도시된 바와 같이 추적 영역(600)에는 복수의 디텍팅 장치(100)가 제공될 수 있다.For example, as illustrated in FIG. 6, a plurality of detecting devices 100 may be provided in the tracking area 600.

이러한 디텍팅 장치(100)는 추적 영역(600)의 주변을 둘러 미리 정해진 간격으로 이격 되어 제공될 수 있다.The detecting device 100 may be provided spaced apart at predetermined intervals around the periphery of the tracking area 600.

또한 디텍팅 장치(100)는 지면으로부터 미리 정해진 높이만큼 이격되어 제공될 수 있다.In addition, the detecting device 100 may be provided spaced apart from the ground by a predetermined height.

또한 디텍팅 장치(100)는 추적 영역(600)을 지향하도록 제공될 수 있다.In addition, the detecting device 100 may be provided to direct the tracking area 600.

디텍팅 장치(100)는 미리 설치된 프레임(F)에 고정되어 설치 될 수 있다.The detecting device 100 may be fixed and installed in a frame F pre-installed.

프레임(F)은 사용자(800)가 가상 체험할 수 있는 공간을 제공할 수 있다.The frame F may provide a space for the user 800 to experience virtually.

프레임(F)은 다수의 기둥을 포함할 수 있다.The frame F may include a plurality of pillars.

프레임(F)은 복수 개의 트러스로 구성될 수 있다.The frame F may be composed of a plurality of trusses.

일 실시예로, 프레임(F)은 밑면이 다각형 또는 원인 기둥 형상의 공간을 제공할 수 있다.In one embodiment, the frame (F) may provide a polygonal or causal columnar space.

프레임(F)은 디텍팅 장치(100)를 지지할 수 있다.The frame F may support the detecting device 100.

일 예로 도 6에 도시된 바와 같이 추적 영역(600) 주변에는 디텍팅 장치(100)를 설치하기 위한 프레임(F)이 제공될 수 있다. 또한 디텍팅 장치(100)는 프레임(F)에 고정되어 설치될 수 있다.As an example, as shown in FIG. 6, a frame F for installing the detecting device 100 may be provided around the tracking area 600. In addition, the detecting device 100 may be fixed to the frame F and installed.

디텍팅 장치(100)는 추적 영역(600)에 대한 디텍팅 정보를 획득할 수 있다.The detecting device 100 may acquire detecting information for the tracking area 600.

일 예로 디텍팅 장치(100)에 포함된 센싱부(120)는 추적 영역(600) 중 적어도 일부에 대한 디텍팅 정보를 획득할 수 있다.For example, the sensing unit 120 included in the detecting device 100 may acquire detecting information for at least a part of the tracking area 600.

디텍팅 장치(100)는 디텍팅 정보를 서버(200) 또는 보조 컴퓨팅 장치(300)에 제공할 수 있다.The detecting device 100 may provide the detecting information to the server 200 or the auxiliary computing device 300.

일 예로 디텍팅 장치(100)는 센싱부(120)가 획득한 디텍팅 정보를 서버(200)에 제공할 수 있다.For example, the detecting device 100 may provide the detecting information acquired by the sensing unit 120 to the server 200.

서버(200)는 디텍팅 정보에 기초하여 대상체의 실시간 위치 정보를 획득할 수 있다.The server 200 may acquire real-time location information of the object based on the detection information.

도 6에 도시된 바와 같이 추적 영역(600)에 복수의 디텍팅 장치(100)가 제공되는 경우 서버(200) 또는 보조 컴퓨팅 장치(300)는 복수의 디텍팅 장치(100)로부터 디텍팅 정보를 획득할 수 있으며, 획득한 디텍팅 정보들에 기초하여 대상체의 현재 위치 정보를 획득할 수 있다.As shown in FIG. 6, when a plurality of detecting devices 100 are provided in the tracking area 600, the server 200 or the auxiliary computing device 300 receives detection information from the plurality of detecting devices 100. It can be acquired, and the current location information of the object can be obtained based on the acquired detection information.

또한 서버(200) 또는 보조 컴퓨팅 장치(300)는 대상체들의 위치 정보에 기초하여 적어도 하나의 대상체에 대한 가상 위치 정보를 획득할 수 있다.Also, the server 200 or the auxiliary computing device 300 may obtain virtual location information for at least one object based on the location information of the objects.

일 예로 보조 컴퓨팅 장치(300)는 사용자(800)의 현실에서의 위치 정보에 포함된 좌표에 대응하는 가상 현실에서의 좌표를 가상 현실에서 사용자(800)에 대응하는 캐릭터의 가상 위치 정보로 획득할 수 있다.For example, the secondary computing device 300 may acquire coordinates in the virtual reality corresponding to coordinates included in the location information in the user's reality as virtual location information of the character corresponding to the user 800 in the virtual reality. Can be.

서버(200)는 대상체의 위치 정보 및 가상 위치 정보 중 적어도 하나를 보조 컴퓨팅 장치(300)로 제공할 수 있다.The server 200 may provide at least one of object location information and virtual location information to the secondary computing device 300.

보조 컴퓨팅 장치(300)는 획득한 위치 정보에 기초하여 가상 위치 정보를 산출할 수 있다.The auxiliary computing device 300 may calculate virtual location information based on the acquired location information.

또한 보조 컴퓨팅 장치(300)는 가상 위치 정보에 기초하여 가상 현실 이미지를 획득할 수 있다.Also, the auxiliary computing device 300 may obtain a virtual reality image based on the virtual location information.

일 예로, 보조 컴퓨팅 장치(300)는 보조 컴퓨팅 저장부(320)에 저장된 프로그램 또는 어플리케이션에 의해 가상 체험에 필요한 가상 환경이 구축되고 획득한 가상 위치 정보에 기초하여 가상 환경에서 가상 현실 이미지 영역을 획득할 수 있다. 보조 컴퓨팅 장치(300)는 가상 현실 이미지 영역에 대한 가상 현실 이미지를 획득할 수 있다.For example, the secondary computing device 300 acquires a virtual reality image area in the virtual environment based on the acquired virtual location information, in which a virtual environment required for a virtual experience is built by a program or application stored in the secondary computing storage unit 320. can do. The secondary computing device 300 may obtain a virtual reality image for the virtual reality image area.

보조 컴퓨팅 장치(300)는 가상 현실 이미지를 착용형 디스플레이 장치(400)로 제공할 수 있다.The secondary computing device 300 may provide a virtual reality image to the wearable display device 400.

착용형 디스플레이 장치(400)는 가상 현실 이미지를 사용자(800)에게 출력할 수 있다.The wearable display device 400 may output a virtual reality image to the user 800.

또한 서버(300)는 모니터링 디스플레이(700)로 가상 현실 이미지를 제공할 수 있다.In addition, the server 300 may provide a virtual reality image to the monitoring display 700.

서버(300)는 보조 컴퓨팅 장치(300)로부터 획득한 가상 현실 이미지를 연결된 모니터링 디스플레이(700)로 제공할 수 있다.The server 300 may provide the virtual reality image acquired from the secondary computing device 300 to the connected monitoring display 700.

또한 서버(300)가 복수의 보조 컴퓨팅 장치(300)와 연결된 경우 서버(300)는 복수의 보조 컴퓨팅 장치(300) 중 적어도 하나의 보조 컴퓨팅 장치(300)로부터 가상 현실 이미지를 획득할 수 있으며, 획득한 가상 현실 이미지를 연결된 모니터링 디스플레이(700)로 제공할 수 있다.In addition, when the server 300 is connected to the plurality of auxiliary computing devices 300, the server 300 may acquire a virtual reality image from at least one auxiliary computing device 300 among the plurality of auxiliary computing devices 300, The acquired virtual reality image may be provided to the connected monitoring display 700.

일 예로 서버(300)는 서버 입력부(230)를 통하여 서버(300)와 연결된 보조 컴퓨팅 장치(300) 중 가상 현실 이미지를 획득할 보조 컴퓨팅 장치(300)에 대한 선택을 획득할 수 있으며, 선택된 보조 컴퓨팅 장치(300)로부터 획득한 가상 현실 이미지를 모니터링 디스플레이(700)로 제공할 수 있다.For example, the server 300 may obtain a selection of the secondary computing device 300 from which the virtual reality image is acquired from the secondary computing device 300 connected to the server 300 through the server input unit 230, and the selected secondary The virtual reality image acquired from the computing device 300 may be provided to the monitoring display 700.

또한 서버(300)는 보조 컴퓨팅 장치(300)로부터 가상 위치 정보를 획득할 수 있으며, 획득한 가상 위치 정보 및 미리 설정된 가상 환경 내 가상 카메라 위치에 기초하여 가상 현실 이미지를 획득할 수 있다.In addition, the server 300 may acquire virtual location information from the secondary computing device 300 and may acquire a virtual reality image based on the acquired virtual location information and a virtual camera location in a preset virtual environment.

또한 서버(300)는 획득한 가상 현실 이미지를 연결된 모니터링 디스플레이(700)로 제공할 수 있다.In addition, the server 300 may provide the acquired virtual reality image to the connected monitoring display 700.

모니터링 디스플레이(700)는 서버(300)로부터 획득한 가상 현실 이미지를 출력할 수 있다.The monitoring display 700 may output a virtual reality image acquired from the server 300.

또한 입력 장치(500)는 서버(200), 보조 컴퓨팅 장치(300) 및 착용형 디스플레이 장치(400) 중 적어도 하나와 연결되어 제공될 수 있다.Also, the input device 500 may be provided in connection with at least one of the server 200, the auxiliary computing device 300, and the wearable display device 400.

또한 입력 장치(500)는 적어도 하나의 마커가 제공될 수 있다.Also, the input device 500 may be provided with at least one marker.

입력 장치(500)는 각각의 사용자(800)가 소지하도록 제공될 수 있다.The input device 500 may be provided to be possessed by each user 800.

일 예로 사용자(800)는 입력 장치(400)를 손에 휴대할 수 있다.For example, the user 800 may carry the input device 400 in hand.

일 실시예에 따르면 서버(200)는 디텍팅 장치(100)로부터 획득한 디텍팅 정보에 기초하여 입력 장치(500)의 위치 정보를 획득할 수 있다. 또한 입력 장치(500)의 위치 정보는 추적 영역(600)에서의 입력 장치(500)의 위치 정보 및 입력 장치(500)의 지향 방향 정보 중 적어도 하나를 포함할 수 있다.According to an embodiment, the server 200 may acquire location information of the input device 500 based on the detection information obtained from the detection device 100. In addition, the location information of the input device 500 may include at least one of the location information of the input device 500 in the tracking area 600 and the direction information of the input device 500.

보조 컴퓨팅 장치(300)는 입력 장치(500)의 위치 정보에 기초하여 가상 환경에서 입력 장치(500)에 대응하는 가상 오브젝트의 지향 방향을 판단할 수 있다.The auxiliary computing device 300 may determine the orientation direction of the virtual object corresponding to the input device 500 in the virtual environment based on the location information of the input device 500.

또한 보조 컴퓨팅 장치(300)는 가상 환경에서 입력 장치(500)에 대응하는 가상 오브젝트의 지향 방향이 고려된 가상 이미지를 획득할 수 있다.Also, the auxiliary computing device 300 may obtain a virtual image in which a directional direction of a virtual object corresponding to the input device 500 is considered in a virtual environment.

일 예로 보조 컴퓨팅 장치(300)는 가상 환경에서 입력 장치(500)에 대응하는 총이 입력 장치(500)의 지향 방향에 대응하는 방향으로 지향하는 가상 이미지를 획득할 수 있다.For example, the auxiliary computing device 300 may obtain a virtual image in which a gun corresponding to the input device 500 in a virtual environment is directed in a direction corresponding to the direction of the input device 500.

또한 보조 컴퓨팅 장치(300)는 가상 환경에서 입력 장치(500)를 통한 사용자(800)의 이벤트 발생 명령에 따른 이벤트 발생이 고려된 가상 이미지를 획득할 수 있다.In addition, the auxiliary computing device 300 may obtain a virtual image in which an event is generated according to an event generation command of the user 800 through the input device 500 in a virtual environment.

일 예로 보조 컴퓨팅 장치(300)는 입력 장치(500)에 제공되는 스위치가 사용자(800)에 의해 눌린 경우 가상 환경에서 사용자(800)에 대응하는 캐릭터가 소지한 총을 발사하는 가상 이미지를 획득할 수 있다.For example, when the switch provided to the input device 500 is pressed by the user 800, the secondary computing device 300 may acquire a virtual image of firing a gun possessed by a character corresponding to the user 800 in a virtual environment. Can be.

도 7은 일 실시예에 따른 대상체 추적 방법을 나타내는 개략도이다.7 is a schematic diagram illustrating a method for tracking an object according to an embodiment.

도 7을 참조하면 대상체 추적 방법은 외부에 제공되는 센서를 이용하여 대상체에 대한 정보를 획득하고, 획득한 대상체에 대한 정보에 기초하여 대상체의 위치를 판단할 수 있다.Referring to FIG. 7, the method for tracking an object may acquire information about the object using a sensor provided externally, and determine the position of the object based on the obtained information about the object.

이하에서는 도 7을 참조하여 대상체가 착용형 디스플레이 장치(400)인 경우를 예시적으로 설명하도록 한다.Hereinafter, a case where the object is the wearable display device 400 will be described with reference to FIG. 7.

도 7을 참조하면 대상체에는 대상체를 식별하기 위한 마커(M)가 제공될 수 있다.Referring to FIG. 7, a marker M for identifying an object may be provided to the object.

마커(M)는 대상체에 제공되어 대상체를 식별하여 추적하는 기준을 제공할 수 있다.The marker M may be provided to the subject to provide a criterion for identifying and tracking the subject.

대상체를 추적하기 위해서는 대상체와 대상체가 아닌 구성을 식별해야 할 필요가 있으며, 대상체에 마커(M)가 제공됨으로써 대상체임을 식별 가능할 수 있다.In order to track an object, it is necessary to identify the object and the non-object configuration, and it is possible to identify the object by providing a marker M to the object.

또한 복수의 대상체가 제공되는 경우 각각의 대상체를 식별할 필요가 있으며, 이를 위하여 하나의 대상체에 제공되는 마커(M)는 다른 대상체에 제공되는 마커(M)와 구별 가능하게 제공될 수 있다.In addition, when a plurality of objects are provided, it is necessary to identify each object, and for this purpose, the marker M provided to one object may be provided to be distinguishable from the marker M provided to the other object.

예를 들어 하나의 대상체에 제공되는 마커(M)는 다른 대상체에 제공되는 마커(M)와 상이한 패턴으로 제공될 수 있다.For example, the marker M provided to one object may be provided in a different pattern from the marker M provided to another object.

또한 패턴은 복수의 마커(M)가 상이한 위치에 제공되어 형성되는 패턴 및 하나의 디스플레이 패널 등에 제공되는 광 패턴 등 다양한 의미의 패턴을 포함할 수 있다.In addition, the pattern may include patterns having various meanings, such as a pattern formed by providing a plurality of markers M at different positions and an optical pattern provided on a display panel.

패턴은 마커(M)의 마커 좌표에 의해 형성될 수 있다.The pattern may be formed by marker coordinates of the marker M.

일 예로, 세 개의 마커(M)가 디텍팅 장치(100)에 의해 추적되어 디텍팅 정보로 제1 마커 좌표(MP1-1), 제2 마커 좌표(MP1-2) 및 제3 마커 좌표(MP1-3)가 획득될 수 있고 제1 마커 좌표(MP1-1) 내지 제3 마커 좌표(MP1-3)는 삼각형의 패턴을 형성할 수 있다.For example, three markers M are tracked by the detecting device 100, and the first marker coordinates MP1-1, the second marker coordinates MP1-2, and the third marker coordinates MP1 are detected information. -3) may be obtained, and the first marker coordinates MP1-1 to third marker coordinates MP1-3 may form a triangular pattern.

또한 마커(M) 는 발광부(110)로부터 송출된 광 신호를 반사하거나 흡수하는 패시브 마커 및 자체적으로 광 신호를 송출할 수 있는 액티브 마커 등으로 제공될 수 있다.Also, the marker M may be provided as a passive marker that reflects or absorbs the optical signal transmitted from the light emitting unit 110 and an active marker capable of transmitting the optical signal itself.

일 예로, 패시브 마커는 광 반사 물질이 부착된 입체 모형, 인식 가능한 코드가 인쇄되어 있는 종이, 반사테이프 등을 포함할 수 있다.As an example, the passive marker may include a three-dimensional model to which a light-reflecting material is attached, paper on which a recognizable code is printed, reflective tape and the like.

또한 액티브 마커는 LED 모듈, 전파 발생기 등이 포함할 수 있다.In addition, the active marker may include an LED module, a radio wave generator, and the like.

일 실시예에 따르면 대상체에는 적어도 하나의 마커(M)가 제공될 수 있다.According to an embodiment, the object may be provided with at least one marker (M).

일 예로, 가상 현실 제어 시스템(10)이 하나의 대상체에 대해서만 위치를 추적하는 경우에는 대상체에는 하나의 마커(M)만 제공될 수 있다. For example, when the virtual reality control system 10 tracks the position of only one object, only one marker M may be provided to the object.

또한 가상 현실 제어 시스템(10)이 하나의 대상체에 대해서만 위치를 추적하는 경우라 하더라도 대상체에는 복수의 마커(M)가 제공될 수 있다.In addition, even if the virtual reality control system 10 tracks the location of only one object, a plurality of markers M may be provided to the object.

또한 가상 현실 제어 시스템(10)이 복수의 대상체에 대해서 위치를 추적하는 경우, 복수의 대상체 각각을 식별하기 위해서 하나의 대상체에는 복수의 마커(M)가 패턴을 형성하여 제공될 수 있다.In addition, when the virtual reality control system 10 tracks positions with respect to a plurality of objects, a plurality of markers M may be provided to one object to form a pattern to identify each of the plurality of objects.

일 예로 가상 현실 제어 시스템(10)에서 위치를 추적하는 대상체가 착용형 디스플레이 장치(400) 및 입력 장치(500)의 두 가지로 제공되는 경우 착용형 디스플레이 장치(400)에는 제1 패턴으로 마커(M)가 제공될 수 있고 입력 장치(500)에는 제2 패턴으로 마커가(M) 제공될 수 있다.For example, when an object tracking a position in the virtual reality control system 10 is provided as two types of a wearable display device 400 and an input device 500, the wearable display device 400 has a marker as a first pattern ( M) may be provided, and the input device 500 may be provided with a marker (M) in a second pattern.

제1 패턴 및 제2 패턴은 서로 상이한 패턴으로, 위치 추적 시 제1 패턴이 검출된 경우 착용형 디스플레이 장치(400)로 식별할 수 있으며, 제2 패턴이 검출된 경우 입력 장치(500)로 식별할 수 있다.The first pattern and the second pattern are different from each other, and when the first pattern is detected when tracking the location, the first pattern and the second pattern may be identified as the wearable display device 400, and when the second pattern is detected, the input device 500 can do.

이상에서는 복수의 대상체가 제공되는 경우 복수의 각각을 식별하기 위하여 복수의 대상체 각각에 제공되는 마커(M)들이 패턴을 형성하여 제공되는 것으로 설명하였으나, 이에 한정되는 것은 아니며, 하나의 대상체가 제공되는 경우에도 대상체에 제공되는 마커(M)들이 패턴을 형성하여 제공될 수 있다.In the above, when a plurality of objects are provided, it has been described that markers M provided to each of the plurality of objects are provided by forming a pattern to identify each of the plurality of objects, but is not limited thereto, and one object is provided. Even in the case, markers M provided to the object may be provided by forming a pattern.

또한 대상체에 제공되는 마커(M)의 패턴은 사용자(800)의 식별에도 사용될 수 있다.In addition, the pattern of the marker M provided to the object may be used to identify the user 800.

일 예로 제1 패턴은 제1 사용자가 착용한 착용형 디스플레이 장치로 식별될 수 있으며, 제2 패턴은 제1 사용자가 소지한 입력 장치로 식별될 수 있다. 또한 제3 패턴은 제2 사용자가 착용한 착용형 디스플레이 장치로 식별될 수 있으며, 제4 패턴은 제2 사용자가 소지한 입력 장치로 식별될 수 있다.For example, the first pattern may be identified as a wearable display device worn by the first user, and the second pattern may be identified as an input device carried by the first user. Also, the third pattern may be identified as a wearable display device worn by the second user, and the fourth pattern may be identified as an input device carried by the second user.

대상체의 추적에 대해서 설명하면 서버(200)는 디텍팅 장치(100)로부터 대상체에 대한 정보를 획득할 수 있으며, 획득한 정보에 기초하여 대상체의 위치에 대한 디텍팅 정보를 획득할 수 있다. 또한 서버(200)는 디텍팅 정보에 기초하여 대상체의 위치 정보를 산출할 수 있다. When describing the tracking of the object, the server 200 may obtain information about the object from the detecting device 100, and may acquire detecting information about the position of the object based on the obtained information. In addition, the server 200 may calculate location information of the object based on the detection information.

디텍팅 장치(100)가 서버(200)로 대상체에 대한 정보를 제공하는 기술에 대해서 설명하면 디텍팅 장치(100)의 발광부(110)는 추적 영역(600)의 적어도 일부 영역에 신호를 발신할 수 있다.When describing a technology in which the detecting device 100 provides information about an object to the server 200, the light emitting unit 110 of the detecting device 100 transmits a signal to at least a part of the tracking area 600 can do.

일 예로 발광부(110)가 적외선 LED인 경우 발광부(100)는 추적 영역(600)의 적어도 일부 영역에 적외선 신호를 발신할 수 있다.For example, when the light emitting unit 110 is an infrared LED, the light emitting unit 100 may transmit an infrared signal to at least a portion of the tracking area 600.

또한 센싱부(120)는 외부로부터 획득한 정보를 서버(200)로 제공할 수 있다.In addition, the sensing unit 120 may provide information obtained from the outside to the server 200.

일 예로 센싱부(120)가 카메라인 경우 센싱부(120)는 외부로부터 획득한 이미지 신호를 서버(200)로 제공할 수 있다.For example, when the sensing unit 120 is a camera, the sensing unit 120 may provide an image signal acquired from the outside to the server 200.

도 7에는 하나의 센싱부(120)만 도시되어 있으나, 이에 한정되는 것은 아니며, 앞서 도 6에서 설명된 바와 같이 센싱부(120)는 복수로 제공될 수 있으며, 복수의 센싱부(120) 각각은 획득한 정보를 서버(200)로 제공할 수 있다.Although only one sensing unit 120 is illustrated in FIG. 7, the present invention is not limited thereto, and as described in FIG. 6, a plurality of sensing units 120 may be provided, and each of the plurality of sensing units 120 may be provided. May provide the obtained information to the server 200.

서버(200)는 센싱부(120)로부터 획득한 정보에 기초하여 대상체의 위치를 판단할 수 있다.The server 200 may determine the location of the object based on the information obtained from the sensing unit 120.

서버(200)는 센싱부(120)로부터 획득한 정보에 마커(M)에 대한 정보가 포함되어 있는지 여부를 판단할 수 있다. 또한 서버(200)는 센싱부(120)로부터 획득한 정보에 마커(M)에 대한 정보가 포함된 경우 마커(M)의 패턴에 기초하여 대상체를 식별할 수 있다.The server 200 may determine whether information about the marker M is included in the information obtained from the sensing unit 120. In addition, the server 200 may identify an object based on the pattern of the marker M when the information obtained from the sensing unit 120 includes information about the marker M.

일 예로 서버(200)는 센싱부(120)로부터 획득한 정보에 제1 패턴이 포함된 경우 착용형 디스플레이 장치(400)임을 식별할 수 있다.For example, when the first pattern is included in the information obtained from the sensing unit 120, the server 200 may identify that it is a wearable display device 400.

하나의 센싱부(120)로부터 획득한 정보에는 복수의 패턴이 존재할 수 있으며, 서버(200)는 복수의 패턴을 식별할 수 있다. A plurality of patterns may exist in the information obtained from one sensing unit 120, and the server 200 may identify a plurality of patterns.

이러한 패턴은 서버(200)에 미리 저장될 수 있으며, 서버(200)는 획득한 정보에 미리 저장된 패턴이 존재하는 경우 해당 패턴이 존재하는 것으로 판단할 수 있으며, 해당 패턴에 대응하는 대상체를 식별할 수 있다.Such a pattern may be stored in advance in the server 200, and the server 200 may determine that the corresponding pattern exists when a previously stored pattern exists in the acquired information, and identify an object corresponding to the pattern. Can be.

한편, 서버(200)에 미리 저장된 패턴 각각에 대해 대표점(RP)이 설정될 수 있다.Meanwhile, a representative point RP may be set for each pattern previously stored in the server 200.

대표점(RP)은 패턴을 대표하는 점(point)일 수 있다.The representative point RP may be a point representing a pattern.

대표점(RP)은 패턴 밖에 존재할 수 있다.The representative point RP may exist outside the pattern.

일 예로, 대표점(RP)은 제1 마커 좌표(MK1-1), 제2 마커 좌표(MK1-2) 및 제3 마커 좌표(MK1-3)가 이루는 평면으로부터 일정 거리 떨어진 점으로 설정될 수 있다.For example, the representative point RP may be set to a point spaced apart from a plane formed by the first marker coordinates MK1-1, the second marker coordinates MK1-2, and the third marker coordinates MK1-3. have.

복수의 마커(M)를 통한 패턴이 제공되는 경우 패턴에 포함된 복수의 마커(M)에 대한 좌표 정보가 획득되며, 서버(200)는 패턴을 대표하는 대표점(RP)을 패턴이 제공된 대상체의 위치 정보로 획득할 수 있다.When a pattern through a plurality of markers M is provided, coordinate information for a plurality of markers M included in the pattern is obtained, and the server 200 is an object provided with a representative point RP representing the pattern It can be obtained with location information.

따라서, 서버(200)는 대상체의 위치 정보를 획득함으로써 대상체를 추적할 수 있다.Therefore, the server 200 may track the object by obtaining the position information of the object.

일 실시예에 따른 대상체의 위치 추적이 상술한 방법으로 한정되는 것은 아니며, 선택에 따라 다양한 방식의 위치 추적 방법이 사용될 수 있다.Position tracking of an object according to an embodiment is not limited to the above-described method, and various types of position tracking methods may be used depending on selection.

일 실시예에 따르면 센싱부(120)가 이미지 센서로 제공되는 경우 센싱부(120)는 외부에 대한 이미지를 획득할 수 있으며, 획득한 이미지에 기초하여 대상체에 대한 위치 정보를 획득할 수 있다..According to an embodiment, when the sensing unit 120 is provided as an image sensor, the sensing unit 120 may acquire an image for the outside and may acquire location information about an object based on the acquired image. .

일 예로 도 7에 도시된 센싱부(120)가 착용형 디스플레이 장치(400)에 제공되는 경우 센싱부(120)는 착용형 디스플레이 장치(400)의 일측에 제공되어 착용형 디스플레이 장치(400)의 내부에서 외부 방향으로 지향하여 착용형 디스플레이 장치(400)의 외부에 대한 이미지 정보를 획득할 수 있다.As an example, when the sensing unit 120 illustrated in FIG. 7 is provided to the wearable display device 400, the sensing unit 120 is provided on one side of the wearable display device 400 so that the sensing unit 120 is provided on the wearable display device 400. It is possible to obtain image information on the outside of the wearable display device 400 by pointing from the inside to the outside.

또한 착용형 디스플레이 장치(400)는 보조 컴퓨팅 장치(300)로 획득한 이미지 정보를 제공할 수 있다.Also, the wearable display device 400 may provide image information acquired by the auxiliary computing device 300.

일 실시예에 따르면 착용형 디스플레이 장치(400)는 미리 정해진 주기로 보조 컴퓨팅 장치(300)로 이미지 정보를 제공할 수 있다.According to an embodiment, the wearable display device 400 may provide image information to the auxiliary computing device 300 at a predetermined cycle.

일 예로 착용형 디스플레이 장치(400)는 센싱부(120)를 통하여 이미지 정보를 획득하는 주기와 동일한 주기로 보조 컴퓨팅 장치(300)로 이미지 정보를 제공할 수 있다.For example, the wearable display device 400 may provide image information to the secondary computing device 300 in the same cycle as the cycle of obtaining image information through the sensing unit 120.

보조 컴퓨팅 장치(300)는 획득한 이미지 정보로부터 적어도 하나의 특징점을 획득할 수 있다.The auxiliary computing device 300 may acquire at least one feature point from the acquired image information.

일 실시예예 따르면 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물을 특징점으로 획득할 수 있다.According to an embodiment, the auxiliary computing device 300 may acquire an object included in image information as a feature point.

일 실시예에 따르면 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물 중 미리 정해진 크기 이상의 사물을 특징점으로 획득할 수 있다.According to an embodiment, the auxiliary computing device 300 may acquire an object having a predetermined size or more among objects included in image information as a feature point.

보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물을 식별할 수 있으며, 식별된 사물 중 미리 정해진 크기 이상의 사물을 특징점으로 획득할 수 있다. 또한 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물이 차지하는 픽셀 수에 기초하여 사물의 크기를 판단할 수 있다.The auxiliary computing device 300 may identify an object included in the image information, and acquire an object having a predetermined size or more among the identified objects as a feature point. Also, the auxiliary computing device 300 may determine the size of the object based on the number of pixels occupied by the object included in the image information.

일 실시예에 따르면 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 사물 중 미리 설정된 유형의 사물을 특징점으로 획득할 수 있다.According to an embodiment, the auxiliary computing device 300 may acquire a preset type of objects among the objects included in the image information as feature points.

일 예로 공 유형의 사물이 미리 설정된 경우 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 야구공, 축구공 및 농구공 등과 같은 공 유형의 사물을 특징점으로 획득할 수 있다.For example, when a ball type object is previously set, the auxiliary computing device 300 may acquire a ball type object, such as a baseball ball, a soccer ball, and a basketball ball, included in image information as a feature point.

일 실시예에 따르면 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 마커를 특징점으로 획득할 수 있다.According to an embodiment, the auxiliary computing device 300 may acquire a marker included in image information as a feature point.

보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 바코드, QR 코드와 같은 마커를 식별하여 특징점으로 획득할 수 있다.The secondary computing device 300 may acquire markers such as barcodes and QR codes included in image information as feature points.

또한 보조 컴퓨팅 장치(300)는 이미지 정보에 포함된 특징점의 위치를 판단할 수 있다.Also, the auxiliary computing device 300 may determine the location of the feature point included in the image information.

보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)로부터 획득한 이미지 정보 들에 기초하여 특징점의 위치 변화 및 크기 변화 중 적어도 하나를 판단할 수 있다.The auxiliary computing device 300 may determine at least one of a position change and a size change of the feature point based on image information obtained from the wearable display device 400.

보조 컴퓨팅 장치(300)는 특징점의 위치 변화 방향, 위치 변화량 및 크기 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.The auxiliary computing device 300 may determine a moving direction and a moving distance of the wearable display device 400 based on the position change direction, the position change amount, and the size change amount of the feature point.

일 예로 보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)로부터 획득한 이미지 정보 들에 기초하여 특징점의 위치 변화를 판단할 수 있다.For example, the auxiliary computing device 300 may determine a change in the location of the feature point based on image information obtained from the wearable display device 400.

보조 컴퓨팅 장치(300)는 특징점의 위치 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.The auxiliary computing device 300 may determine a moving direction and a moving distance of the wearable display device 400 based on the amount of change in the position of the feature point.

일 예로 보조 컴퓨팅 장치(300)는 제1 시점에서 획득한 제1 이미지 정보에 포함된 특징점의 위치와 제1 시점보다 이후 시점인 제2 시점에서 획득한 제2 이미지 정보에 포함된 특징점의 위치를 비교한 결과 제1 이미지 정보의 특징점의 위치가 제2 이미지 정보에서는 우측으로 이동한 경우 착용형 디스플레이 장치(400)가 좌측으로 이동한 것으로 판단할 수 있다.For example, the secondary computing device 300 may determine the location of the feature points included in the first image information obtained at the first time point and the location of the feature points included in the second image information obtained at a second time point after the first time point. As a result of comparison, when the position of the feature point of the first image information moves to the right in the second image information, it may be determined that the wearable display device 400 has moved to the left.

또한 보조 컴퓨팅 장치(300)는 특징점의 위치가 변경된 경우 특징점의 이동 거리를 판단할 수 있다.In addition, when the location of the feature point is changed, the auxiliary computing device 300 may determine the moving distance of the feature point.

보조 컴퓨팅 장치(300)는 제1 이미지 정보에서의 특징점의 위치와 제2 이미지 정보에서의 특징점의 위치 사이의 픽셀 수에 기초하여 특징점의 이동 거리를 판단할 수 있다.The auxiliary computing device 300 may determine a moving distance of the feature point based on the number of pixels between the location of the feature point in the first image information and the location of the feature point in the second image information.

또는 보조 컴퓨팅 장치(300)는 제1 이미지 정보에서의 특징점의 좌표와 제2 이미지에서의 특징점의 좌표에 기초하여 특징점의 이동 거리를 판단할 수 있다.Alternatively, the auxiliary computing device 300 may determine the moving distance of the feature points based on the coordinates of the feature points in the first image information and the coordinates of the feature points in the second image.

또한 일 예로 보조 컴퓨팅 장치(300)는 크기 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.In addition, as an example, the auxiliary computing device 300 may determine a moving direction and a moving distance of the wearable display device 400 based on the size change amount.

보조 컴퓨팅 장치(300)는 제1 시점에서 획득한 제1 이미지 정보에 포함된 특징점의 크기와 제1 시점보다 이후 시점인 제2 시점에서 획득한 제2 이미지 정보에 포함된 특징점의 크기를 비교한 결과 제1 이미지 정보의 특징점의 위치가 제2 이미지 정보에서는 우측으로 이동한 경우 착용형 디스플레이 장치(400)가 좌측으로 이동한 것으로 판단할 수 있다.The auxiliary computing device 300 compares the size of the feature points included in the first image information obtained at the first time point with the size of the feature points included in the second image information obtained at a second time point that is later than the first time point. As a result, when the position of the feature point of the first image information moves to the right in the second image information, it may be determined that the wearable display device 400 has moved to the left.

따라서 보조 컴퓨팅 장치(300)는 미리 설정된 초기 위치로부터 대상체의 상대적인 위치 변화에 기초하여 대상체의 위치를 추적할 수 있다.Accordingly, the auxiliary computing device 300 may track the position of the object based on a change in the relative position of the object from a preset initial position.

도 8은 일 실시예에 따른 가상 현실 이미지(452)가 착용형 디스플레이 장치(400)를 통해 출력되는 것을 나타내는 도면이다.8 is a diagram illustrating that a virtual reality image 452 is output through the wearable display device 400 according to an embodiment.

도 8을 참조하면, 가상 현실 제공 시스템(10)은 착용형 디스플레이 장치(400)를 통하여 사용자(800)에게 가상 환경의 적어도 일부에 대한 가상 현실 이미지(452)를 제공할 수 있다.Referring to FIG. 8, the virtual reality providing system 10 may provide a virtual reality image 452 of at least a portion of the virtual environment to the user 800 through the wearable display device 400.

가상 환경은 배경, 가상 구조, 가상 오브젝트 및 캐릭터 등을 포함할 수 있다.The virtual environment may include a background, a virtual structure, virtual objects and characters.

가상 환경은 보조 컴퓨팅 장치(300)에 의해 도 6에서 도시된 같이 현실에서 추적된 대상체의 위치 정보를 이용하여 구축될 수 있다.The virtual environment may be built by the secondary computing device 300 using location information of an object tracked in reality as illustrated in FIG. 6.

일 예로 가상 환경에는 사용자(800)에 대응하는 캐릭터가 제공되되, 상기 캐릭터는 사용자(800)가 착용한 착용형 디스플레이 장치(400) 및 입력 장치(500)를 추적하여 획득된 위치 정보에 기반하여 스켈레톤, 폴리곤 메쉬 등을 이용하는 컴퓨터 그래픽 기술을 통해 생성될 수 있다.For example, a character corresponding to the user 800 is provided in the virtual environment, and the character is based on location information obtained by tracking the wearable display device 400 and the input device 500 worn by the user 800. It can be generated through computer graphics technology using skeletons, polygon meshes, etc.

더 구체적으로, 보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(300) 및 입력 장치(500)의 가상 위치 정보를 이용하여 캐릭터의 머리, 손에 관한 렌더링 이미지 등을 생성하고 생성된 렌더링 이미지를 기준으로 다른 신체 부위에 관한 렌더링 이미지를 생성함으로써 가상 환경에 캐릭터를 구현할 수 있다. 결과적으로, 사용자(800)의 신체부위 중 디텍팅 장치(100)에 의해 추적되지 않거나 위치 정보가 획득되지 않는 부분도 가상 환경에서 렌더링 이미지로 표시될 수 있다.More specifically, the secondary computing device 300 generates the rendered image of the character's head and hands using the virtual location information of the wearable display device 300 and the input device 500 and based on the generated rendered image By creating rendered images of different body parts, the character can be implemented in a virtual environment. As a result, a portion of the body part of the user 800 that is not tracked by the detecting device 100 or where location information is not obtained may also be displayed as a rendered image in a virtual environment.

다른 예로 가상 환경에는 사용자(800)가 소지한 입력 장치(500)에 대응하는 손, 가상 환경 내에서 캐릭터에게 필요한 도구 등의 가상 오브젝트가 제공될 수 있다.As another example, the virtual environment may be provided with a virtual object such as a hand corresponding to the input device 500 carried by the user 800 and a tool necessary for a character in the virtual environment.

또 다른 예로, 가상 오브젝트는 가상 환경 내에 구현되어 가상 체험 중에 사용자(800)가 이용할 수 있는 오브젝트를 포함할 수 있다.As another example, the virtual object may include an object that is implemented in a virtual environment and used by the user 800 during a virtual experience.

가상 구조는 가상 환경의 미리 정해진 위치에 제공될 수 있다.The virtual structure can be provided at a predetermined location in the virtual environment.

또한 가상 구조는 캐릭터가 이용함으로써 미리 설정된 기능이 실행되거나 미리 설정된 효과가 발생할 수 있다.In addition, a preset function may be executed or a preset effect may occur by the character using the virtual structure.

가상 구조에 대해서는 추후에 보다 구체적으로 설명하도록 한다.The virtual structure will be described in more detail later.

캐릭터는 보조 컴퓨팅 장치(300)에 미리 저장된 어플리케이션 또는 프로그램에 의해 제공되는 NPC 캐릭터 및 사용자 캐릭터를 포함할 수 있다.The character may include an NPC character and a user character provided by an application or program stored in advance in the auxiliary computing device 300.

가상 환경에 있어서 캐릭터 또는 오브젝트의 위치 정보는 가상 위치 정보로 나타낼 수 있다.In a virtual environment, the location information of a character or object may be represented as virtual location information.

한편, 현실에서 위치 정보는 대상체의 위치 좌표 및 지향 방향 중 적어도 하나를 포함할 수 있다.Meanwhile, in reality, the location information may include at least one of an object's location coordinate and a directional direction.

일 예로 위치 정보는 추적 영역(600) 상에 위치한 대상체의 위치 좌표일 수 있다.For example, the location information may be the location coordinates of the object located on the tracking area 600.

서버(200)는 추적 영역(600)에 대한 좌표값을 미리 저장할 수 있다.The server 200 may store coordinate values for the tracking area 600 in advance.

서버(200)는 추적 영역(600)에 대한 좌표계(coordinates system)를 미리 저장할 수 있다. 좌표계는 평면 좌표계, 직교 좌표계, 극좌표계, 공간 좌표계, 원기둥 좌표계, 구면좌표계 중 적어도 하나일 수 있다.The server 200 may store in advance a coordinate system for the tracking area 600. The coordinate system may be at least one of a plane coordinate system, an orthogonal coordinate system, a polar coordinate system, a spatial coordinate system, a cylindrical coordinate system, and a spherical coordinate system.

서버(200)는 디텍팅 정보 및 추적 영역(600)에 대한 좌표계에 기초하여 대상체의 추적 영역(600)에서의 좌표값을 획득할 수 있다. 또한 서버(200)는 획득한 대상체의 추적 영역(600)에서의 좌표값을 위치 정보로 획득할 수 있다.The server 200 may obtain coordinate values in the tracking area 600 of the object based on the detection information and the coordinate system for the tracking area 600. In addition, the server 200 may acquire coordinate values in the tracking area 600 of the acquired object as location information.

일 예로 서버(200)는 디텍팅 정보가 적외선 이미지인 경우 적외선 이미지에서의 대상체에 대응하는 마커의 위치 및 적외선 이미지를 제공한 디텍팅 장치(100)의 설치 위치에 기초하여 마커의 추적 영역(600)에서의 좌표값을 획득할 수 있다. 또한 서버(200)는 마커의 추적 영역(600)에서의 좌표값에 기초하여 마커가 형성하는 패턴을 판단할 수 있으며, 마커가 형성하는 패턴에 대응하는 대상체를 식별할 수 있다. 또한 서버(200)는 마커가 형성하는 패턴 및 마커의 추적 영역(600)에서의 좌표값에 기초하여 대상체의 대표점(RP)을 획득할 수 있으며, 대상체의 대표점(RP)의 좌표값을 대상체의 위치 정보로 획득할 수 있다.For example, when the detection information is an infrared image, the server 200 detects the tracking area 600 of the marker based on the location of the marker corresponding to the object in the infrared image and the installation location of the detecting device 100 that provided the infrared image. ). In addition, the server 200 may determine a pattern formed by the marker based on the coordinate values in the tracking area 600 of the marker, and may identify an object corresponding to the pattern formed by the marker. In addition, the server 200 may acquire the representative point RP of the object based on the pattern formed by the marker and the coordinate value in the tracking area 600 of the marker, and obtain the coordinate value of the representative point RP of the object. It can be obtained by the location information of the object.

서버(200)는 위치 정보를 보조 컴퓨팅 장치(300)로 제공할 수 있다.The server 200 may provide location information to the secondary computing device 300.

보조 컴퓨팅 장치(300)는 가상 환경에 대한 좌표값을 미리 저장할 수 있다.The auxiliary computing device 300 may store coordinate values for the virtual environment in advance.

보조 컴퓨팅 장치(300)는 가상 환경에 대한 좌표계(coordinates system)를 미리 저장할 수 있다. 좌표계는 평면 좌표계, 직교 좌표계, 극좌표계, 공간 좌표계, 원기둥 좌표계, 구면좌표계 중 적어도 하나일 수 있다.The auxiliary computing device 300 may previously store a coordinate system for a virtual environment. The coordinate system may be at least one of a plane coordinate system, an orthogonal coordinate system, a polar coordinate system, a spatial coordinate system, a cylindrical coordinate system, and a spherical coordinate system.

보조 컴퓨팅 장치(300)는 위치 정보 및 가상 환경에 대한 좌표계에 기초하여 대상체의 가상 환경에서의 좌표값을 획득할 수 있다. 또한 보조 컴퓨팅 장치(300)는 획득한 대상체의 가상 환경에서의 좌표값을 가상 위치 정보로 획득할 수 있다.The auxiliary computing device 300 may obtain coordinate values in the virtual environment of the object based on the location information and the coordinate system for the virtual environment. In addition, the auxiliary computing device 300 may acquire coordinate values in the virtual environment of the acquired object as virtual location information.

일 예로 보조 컴퓨팅 장치(300)는 위치 정보에 포함된 좌표값에 대응하는 가상 환경에서의 좌표값을 획득할 수 있으며, 획득한 가상 환경에서의 좌표값을 가상 위치 정보로 획득할 수 있다.For example, the auxiliary computing device 300 may acquire coordinate values in a virtual environment corresponding to coordinate values included in location information, and obtain coordinate values in the obtained virtual environment as virtual location information.

보조 컴퓨팅 장치(300)는 가상 위치 정보에 기초하여 사용자(800)에게 출력할 가상 현실 이미지(452)를 획득할 수 있다.The secondary computing device 300 may obtain a virtual reality image 452 to be output to the user 800 based on the virtual location information.

가상 현실 이미지(452)는 착용형 디스플레이 장치(400)를 통해 사용자(800)에게 제공되는 가상 현실에 대한 영상의 적어도 일부를 구성할 수 있다.The virtual reality image 452 may constitute at least a part of an image of the virtual reality provided to the user 800 through the wearable display device 400.

일 실시예에 따르면 보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)의 가상 위치 정보를 가상 카메라의 가상 위치 정보로 획득할 수 있으며, 가상 카메라의 가상 위치 정보 및 가상 카메라의 지향 방향에 기초하여 가상 카메라의 시야 범위(451)를 획득할 수 있다.According to an embodiment, the auxiliary computing device 300 may acquire virtual location information of the wearable display device 400 as virtual location information of the virtual camera, based on the virtual location information of the virtual camera and the orientation direction of the virtual camera By obtaining the viewing range 451 of the virtual camera.

보조 컴퓨팅 장치(300)는 착용형 디스플레이 장치(400)의 위치 정보에 포함된 지향 방향에 기초하여 가상 카메라의 지향 방향을 획득할 수 있다.The secondary computing device 300 may obtain the directional direction of the virtual camera based on the directional direction included in the location information of the wearable display device 400.

또한 보조 컴퓨팅 장치(300)는 가상 카메라의 지향 방향으로 미리 정해진 영역을 가상 카메라의 시야 범위(451)로 획득할 수 있다.In addition, the auxiliary computing device 300 may acquire a predetermined region in the directional direction of the virtual camera as the field of view 451 of the virtual camera.

한편, 가상 카메라의 시야 범위(451)는 착용형 디스플레이 장치(400)의 가상 위치 정보 이외에도 가상 환경 내 특정 가상 위치 정보에 의해서도 획득될 수 있다.Meanwhile, the field of view 451 of the virtual camera may be obtained by specific virtual location information in the virtual environment in addition to the virtual location information of the wearable display device 400.

또한 보조 컴퓨팅 장치(300)는 가상 환경에서 가상 카메라의 시야 범위(451)에 대응하는 가상 현실 이미지(452)를 획득할 수 있다.In addition, the auxiliary computing device 300 may acquire a virtual reality image 452 corresponding to the field of view 451 of the virtual camera in the virtual environment.

보조 컴퓨팅 장치(300)는 가상 현실 이미지(452)를 착용형 디스플레이 장치(400)로 제공할 수 있다.The secondary computing device 300 may provide the virtual reality image 452 to the wearable display device 400.

착용형 디스플레이 장치(400)는 획득한 가상 현실 이미지(452)를 착용형 디스플레이 화면 출력부(450)를 통하여 사용자(800)에게 출력할 수 있다. 가상 현실 이미지(452)가 연속적으로 출력됨으로써 사용자(800)는 가상 현실 또는 가상 체험을 제공 받을 수 있다.The wearable display device 400 may output the acquired virtual reality image 452 to the user 800 through the wearable display screen output unit 450. As the virtual reality image 452 is continuously output, the user 800 may be provided with a virtual reality or a virtual experience.

이하에서는 도 9 내지 도 23을 참조하여 가상 현실 제어 시스템(10)에 의해 적어도 둘 이상의 사용자(800)에게 가상 현실 또는 가상 체험이 제공 될 때, 복수의 사용자(800) 각각의 행위가 미리 설정된 규칙을 만족하는 경우 미리 설정된 효과나 기능이 발생하거나 수행되는 협업 시스템에 대해 설명한다.Hereinafter, when a virtual reality or a virtual experience is provided to at least two or more users 800 by the virtual reality control system 10 with reference to FIGS. 9 to 23, rules of each of the plurality of users 800 are set in advance. In the case of satisfying, a collaborative system in which a preset effect or function occurs or is performed will be described.

이하에서 서술될 가상 공간, 가상 현실, 가상 체험은 동일한 의미로 혼용될 수 있고, 마찬가지로 가상 위치 정보와 가상 위치가 동일한 의미로 혼용될 수 있다.Virtual spaces, virtual reality, and virtual experiences to be described below may be mixed in the same meaning, and virtual location information and virtual location may be mixed in the same meaning.

협업 시스템은 가상 현실을 제공 받는 적어도 둘 이상의 사용자(800)의 위치 또는 행위 및 절대적 또는 상대적 시간 중 적어도 하나를 고려하여 상기 가상 현실에 협업 효과를 발생시키거나 협업 기능이 수행되는 방법을 포함할 수 있다. 이 때, 사용자(800)의 위치 변화 또는 행위는 가상 공간 내에서 사용자(800)에 대응하는 캐릭터(900)의 가상 위치 변화 또는 행위로 구현될 수 있다.The collaboration system may include a method of generating a collaboration effect in the virtual reality or performing a collaboration function in consideration of at least one of an absolute or relative time and a location or behavior of at least two or more users 800 receiving virtual reality. have. At this time, the position change or action of the user 800 may be implemented as a change or action of the virtual position of the character 900 corresponding to the user 800 in the virtual space.

협업 시스템은 보조 컴퓨팅 장치(300) 및 서버(200) 중 적어도 어느 하나에 의해 착용형 디스플레이 장치(400)를 통해 사용자(800)에게 제공되는 가상 현실 이미지(452)를 변경시킴으로써 구현될 수 있다.The collaboration system may be implemented by changing the virtual reality image 452 provided to the user 800 through the wearable display device 400 by at least one of the secondary computing device 300 and the server 200.

일 예로, 둘 이상의 사용자(800)가 일정 시간이 경과하기 전에 각각 특정 위치로 이동하는 경우 착용형 디스플레이 장치(400)에 가상 현실 내 가상 오브젝트가 파괴되는 효과를 출력되거나 각 사용자(800)가 일정 시간 간격을 두고 입력 장치(500)를 위에서 아래로 움직이는 동작을 수행하는 경우 착용형 디스플레이 장치(400)에 출력되는 가상 현실 내 가상 구조가 움직이는 기능이 수행될 수 있다.For example, when two or more users 800 move to a specific location before a certain period of time has elapsed, an effect of destroying a virtual object in virtual reality is output to the wearable display device 400 or each user 800 is fixed. When the input device 500 is moved from top to bottom at a time interval, a function of moving a virtual structure in virtual reality output to the wearable display device 400 may be performed.

도 9 내지 도 12는 일 실시예에 따른 복수의 사용자(800)가 도 6에서 서술된 추적 영역(600) 내 미리 설정된 위치로 이동하는 경우 가상 현실 내 대상 오브젝트(V1)에 효과가 발생하는 것을 나타내는 도면이다.9 to 12 show that when a plurality of users 800 according to an embodiment moves to a preset position in the tracking area 600 described in FIG. 6, an effect occurs on the target object V1 in virtual reality It is a figure to show.

이하에서 사용자(800)는 제1 사용자(801) 및 제2 사용자(802)를 포함할 수 있고, 캐릭터(900)는 제1 캐릭터(901) 및 제2 캐릭터(902)를 포함할 수 있고, 보조 컴퓨팅 장치(300)는 제1 보조 컴퓨팅 장치(301) 및 제2 보조 컴퓨팅 장치(302)를 포함할 수 있으며, 착용형 디스플레이 장치(400)는 제1 착용형 디스플레이 장치(401) 및 제2 착용형 디스플레이 장치(402)를 포함할 수 있고, 입력 장치(500)는 제1 입력 장치(501) 및 제2 입력 장치(502)를 포함할 수 있다. 또한, 보다 상세한 설명을 위해 앞서 서술한 내용과 중복되는 부분은 생략될 수 있다.Hereinafter, the user 800 may include a first user 801 and a second user 802, and the character 900 may include a first character 901 and a second character 902, The secondary computing device 300 may include a first secondary computing device 301 and a second secondary computing device 302, and the wearable display device 400 may include a first wearable display device 401 and a second The wearable display device 402 may be included, and the input device 500 may include a first input device 501 and a second input device 502. In addition, parts that overlap with the contents described above may be omitted for more detailed description.

도 9는 일 실시예에 따른 협업이 이루어지기 전 현실 공간을 나타내는 예시도이다.9 is an exemplary view showing a real space before collaboration is performed according to an embodiment.

도 9를 참조하면, 추적 영역(600)에서 제1 사용자(801) 및 제2 사용자(802)에게 가상 현실 제어 시스템(10)에 의해 가상 현실이 제공될 수 있다.Referring to FIG. 9, virtual reality may be provided to the first user 801 and the second user 802 in the tracking area 600 by the virtual reality control system 10.

제1 사용자(801) 및 제2 사용자(802)는 하나의 추적 영역(600)을 공유하면서 동일한 가상 공간을 공유하거나 각각 다른 추적 영역(600)에서 동일한 가상 공간을 제공받을 수 있다.The first user 801 and the second user 802 may share the same virtual space while sharing one tracking area 600 or receive the same virtual space in different tracking areas 600.

일 예로, 제1 사용자(801) 및 제2 사용자(802)는 같은 현실 공간에서 추적 영역(600)을 공유하거나 분리된 현실 공간에서 각각 다른 추적 영역(600)을 제공받은 상태에서 서버(200), 보조 컴퓨팅 장치(300) 및 착용형 디스플레이 장치(400) 등을 통해 동일한 가상 공간을 공유할 수 있다.For example, the first user 801 and the second user 802 share the tracking area 600 in the same real space or the server 200 while receiving different tracking areas 600 in separate real spaces , The same virtual space may be shared through the auxiliary computing device 300 and the wearable display device 400.

도 6에서의 사용자(800)와 같이 제1 사용자(801)에게 제1 보조 컴퓨팅 장치(301), 제1 착용형 디스플레이 장치(401) 및 제1 입력 장치(501) 중 적어도 하나가 제공될 수 있다. 마찬가지로 제2 사용자(802)에게 제2 보조 컴퓨팅 장치(302), 제2 착용형 디스플레이 장치(402) 및 제2 입력 장치(502) 중 적어도 하나가 제공될 수 있다.At least one of the first auxiliary computing device 301, the first wearable display device 401, and the first input device 501 may be provided to the first user 801 as the user 800 in FIG. 6. have. Similarly, at least one of the second auxiliary computing device 302, the second wearable display device 402, and the second input device 502 may be provided to the second user 802.

추적 영역(600)은 협업 영역(610)을 포함할 수 있다.The tracking area 600 may include a collaboration area 610.

협업 영역(610)은 협업 시스템에 따라 사용자(800)가 현실에서 이동해야할 영역을 포함할 수 있다.The collaboration area 610 may include an area in which the user 800 should move in reality according to the collaboration system.

협업 영역(610)은 추적 영역(600) 내에 위치할 수 있다. 한편 협업 영역(610)은 추적 영역(600) 경계부분이나 추적 영역(600) 밖에도 위치할 수 있다.The collaboration area 610 may be located within the tracking area 600. Meanwhile, the collaboration area 610 may be located outside the boundary of the tracking area 600 or the tracking area 600.

협업 영역(610)은 추적 영역(600) 내 좌표로 인식되거나 일정 넓이를 갖는 다각형 또는 원으로 인식될 수 있다.The collaboration area 610 may be recognized as coordinates in the tracking area 600 or may be recognized as polygons or circles having a certain area.

보조 컴퓨팅 장치(300) 및 서버(200) 중 적어도 하나는 사용자(800)가 협업 영역(610) 내에 위치하는 것을 인식할 수 있다.At least one of the secondary computing device 300 and the server 200 may recognize that the user 800 is located in the collaboration area 610.

일 예로, 보조 컴퓨팅 장치(300)는 서버(200) 또는 디텍팅 장치(100)로부터 획득한 위치 정보 또는 디텍팅 정보와, 협업 영역(610)의 위치 정보를 이용하여 사용자(800)가 협업 영역(610) 내에 위치하는지 여부를 판단할 수 있다.For example, the secondary computing device 300 uses the location information or the detection information obtained from the server 200 or the detecting device 100 and the location information of the collaboration area 610 to allow the user 800 to collaborate. It can be determined whether it is located within 610.

협업 영역(610)은 제1 협업 영역(611) 및 제2 협업 영역(612)을 포함할 수 있다.The collaboration area 610 may include a first collaboration area 611 and a second collaboration area 612.

제1 사용자(801) 및 제2 사용자(802)에게 협업 시스템이 제공되는 경우, 제1 사용자(801)가 제1 협업 영역(611) 내에 위치하고 제2 사용자(802)가 제2 협업 영역(612) 내에 위치할 때 협업 효과나 협업 기능이 발생되거나 수행될 수 있다.When a collaboration system is provided to the first user 801 and the second user 802, the first user 801 is located in the first collaboration area 611 and the second user 802 is the second collaboration area 612 ), a collaboration effect or a collaboration function may be generated or performed.

제1 협업 영역(611) 및 제2 협업 영역(612)은 추적 영역(600) 내 다른 위치에 구현될 수 있다. 다만 제1 협업 영역(611) 및 제2 협업 영역(612)은 동일하거나 서로 겹치는 영역을 포함할 수도 있다.The first collaboration area 611 and the second collaboration area 612 may be implemented at different locations within the tracking area 600. However, the first collaboration area 611 and the second collaboration area 612 may include the same or overlapping areas.

도 10은 일 실시예에 따른 협업이 이루어지기 전 제1 사용자(801)에게 제공되는 가상 현실 이미지(452)를 나타내는 예시도이다.10 is an exemplary diagram illustrating a virtual reality image 452 provided to a first user 801 before collaboration is made according to an embodiment.

가상 현실 이미지(452)는 보조 컴퓨팅 장치(300)에 의해 생성된 가상 공간에 존재하는 가상 카메라의 시야 범위에 해당하는 이미지를 포함할 수 있다.The virtual reality image 452 may include an image corresponding to a field of view of a virtual camera existing in a virtual space generated by the secondary computing device 300.

도 10을 참조하면 제1 사용자(801)에게 제공되는 가상 현실 이미지(452)는 제1 캐릭터(901), 제2 캐릭터(902), 제1 캐릭터 가상 위치(911), 제2 캐릭터 가상 위치(912), 대상 오브젝트(V1), 가상 좌표계를 표현한 선(C), 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)을 포함할 수 있다.Referring to FIG. 10, the virtual reality image 452 provided to the first user 801 includes the first character 901, the second character 902, the first character virtual location 911, and the second character virtual location ( 912), a target object V1, a line C representing a virtual coordinate system, a first virtual collaboration area 621, and a second virtual collaboration area 622.

제1 보조 컴퓨팅 장치(301)는 가상 공간 내 가상 좌표계(C)를 설정하고 가상 좌표계(C)를 기준으로 제1 캐릭터(901), 제2 캐릭터(902), 제1 캐릭터 가상 위치(911), 제2 캐릭터 가상 위치(912), 대상 오브젝트(V1), 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)을 설정 또는 배치할 수 있다.The first auxiliary computing device 301 sets the virtual coordinate system C in the virtual space and the first character 901, the second character 902, and the first character virtual location 911 based on the virtual coordinate system C. , The second character virtual location 912, the target object V1, the first virtual collaboration area 621, and the second virtual collaboration area 622 may be set or disposed.

가상 좌표계를 표현한 선(C)은 직교 좌표계(카데시안 좌표계), 극 좌표계 및 구면 좌표계 등 통상의 기술자에 의해 고려될 수 있는 좌표계 중 적어도 하나인 가상 좌표계를 표현한 선일 수 있다.The line C representing the virtual coordinate system may be a line representing a virtual coordinate system that is at least one of a coordinate system that can be considered by a person skilled in the art, such as a Cartesian coordinate system (a Cartesian coordinate system), a polar coordinate system, and a spherical coordinate system.

가상 좌표계를 표현한 선(C)은 가상 현실 이미지(452) 내에 표현되거나 표현되지 않을 수 있다.The line C representing the virtual coordinate system may or may not be expressed in the virtual reality image 452.

제1 캐릭터(901) 및 제2 캐릭터(902)는 각각 가상 공간 내에서 제1 사용자(801) 및 제2 사용자(802)에 대응될 수 있다.The first character 901 and the second character 902 may respectively correspond to the first user 801 and the second user 802 in the virtual space.

제1 캐릭터(901) 및 제2 캐릭터(902)는 제1 사용자(801) 및 제2 사용자(802)의 위치 정보에 기초하여 산출된 가상 위치 정보를 이용하여 서버(200) 및 보조 컴퓨팅 장치(300) 중 적어도 하나에 의해 생성될 수 있다.The first character 901 and the second character 902 use the virtual location information calculated based on the location information of the first user 801 and the second user 802 to use the server 200 and the auxiliary computing device ( 300).

일 예로, 제1 보조 컴퓨팅 장치(301)는 제1 착용형 디스플레이 장치(401) 및 제1 입력 장치(501)의 가상 위치 정보에 기초하여 가상 공간에서 제1 사용자(801)에 대응하는 제1 캐릭터(901)를 생성할 수 있다. 이 때, 제1 캐릭터(901)의 머리, 몸체 부분은 제1 착용형 디스플레이 장치(401)의 가상 위치 정보에 기초하고 제1 캐릭터(901)의 손, 팔 부분은 제1 입력 장치(501)의 가상 위치 정보에 기초하여 생성될 수 있다.As an example, the first auxiliary computing device 301 is a first corresponding to the first user 801 in the virtual space based on the virtual location information of the first wearable display device 401 and the first input device 501. Character 901 can be created. At this time, the head and body parts of the first character 901 are based on the virtual location information of the first wearable display device 401 and the hand and arm parts of the first character 901 are the first input device 501. It can be generated based on the virtual location information.

제1 사용자(801)에게 제공되는 가상 현실 이미지(452)는 가상 공간 내 가상 카메라의 위치에 따라 제1 캐릭터(901)의 전부를 포함하거나 제1 캐릭터(901)의 일부만을 포함할 수 있다. 또는 가상 현실 이미지(452)는 제1 캐릭터(901)를 포함하지 않을 수 있다.The virtual reality image 452 provided to the first user 801 may include all of the first character 901 or only a part of the first character 901 according to the position of the virtual camera in the virtual space. Alternatively, the virtual reality image 452 may not include the first character 901.

일 실시예로, 가상 현실 이미지(452)에는 제1 캐릭터(901)의 상반신 또는 손과 같은 신체 일부만이 표시될 수 있다.In one embodiment, the virtual reality image 452 may display only a body part such as the upper body or hand of the first character 901.

제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)는 현실에서 제1 사용자(801) 및 제2 사용자(802)의 위치에 대응하여 가상 공간에서 제1 캐릭터(901) 및 제2 캐릭터(902)의 위치를 나타낼 수 있다.The first character virtual location 911 and the second character virtual location 912 correspond to the positions of the first user 801 and the second user 802 in reality, so that the first characters 901 and the second in the virtual space. It may indicate the position of the character 902.

한편, 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)는 디텍팅 장치(100)에 의해 추적된 제1 사용자(801) 및 제2 사용자(802)의 디텍팅 정보에 기초하여 보조 컴퓨팅 장치(300) 또는 서버(200)에 의해 산출된 것으로써 상술한 제1 캐릭터 가상 위치 정보 및 제2 캐릭터 가상 위치 정보와 동일한 의미로 사용될 수 있다.Meanwhile, the first character virtual location 911 and the second character virtual location 912 are based on the detection information of the first user 801 and the second user 802 tracked by the detecting device 100. As calculated by the auxiliary computing device 300 or the server 200, the first character virtual location information and the second character virtual location information may be used in the same sense.

제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)는 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The first character virtual location 911 and the second character virtual location 912 may or may not be displayed in the virtual reality image 452.

제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)은 도 9의 제1 협업 영역(611) 및 제2 협업 영역(612)에 대응되는 영역을 포함할 수 있다.The first virtual collaboration area 621 and the second virtual collaboration area 622 may include areas corresponding to the first collaboration area 611 and the second collaboration area 612 of FIG. 9.

제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)은 가상 공간 내에서 가상 좌표로 구현되거나 미리 설정된 형상으로 구현될 수 있다.The first virtual collaboration area 621 and the second virtual collaboration area 622 may be implemented in virtual coordinates in a virtual space or may be implemented in a preset shape.

일 실시예로, 제1 가상 협업 영역(621)은 가상 구조물로 구현되고 제2 가상 협업 영역(622)은 가상 공간을 구성하는 배경의 일부로 구현될 수 있다.In one embodiment, the first virtual collaboration area 621 may be implemented as a virtual structure, and the second virtual collaboration area 622 may be implemented as part of the background constituting the virtual space.

제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)은 가상 공간 내에 표시되거나 표시되지 않을 수 있다.The first virtual collaboration area 621 and the second virtual collaboration area 622 may or may not be displayed in the virtual space.

한편, 제1 사용자(801) 및 제2 사용자(802)에게 협업 시스템이 제공됨에 있어서, 보조 컴퓨팅 장치(300)는 제1 사용자(801) 및 제2 사용자(802)간의 협업을 유도하기 위해 착용형 디스플레이 장치(400)를 통해 가이드 표식을 출력할 수 있다.On the other hand, since the collaboration system is provided to the first user 801 and the second user 802, the secondary computing device 300 is worn to induce collaboration between the first user 801 and the second user 802. A guide mark may be output through the type display device 400.

일 예로, 제1 착용형 디스플레이 장치(401)에 출력되는 가상 현실 이미지(452)에는 제1 캐릭터(901)로부터 제1 가상 협업 영역(621)까지 이동하는 방법이 화살표 등으로 표시되거나 제1 가상 협업 영역(621)에 주위의 다른 영역과 다르게 반짝이는 효과 등이 표시될 수 있다. 이 때, 제2 가상 협업 영역(622) 역시 같은 방법으로 상술한 효과 등이 표시될 수 있다.For example, in the virtual reality image 452 output to the first wearable display device 401, a method of moving from the first character 901 to the first virtual collaboration area 621 is indicated by an arrow or the like, or the first virtual A glittering effect may be displayed on the collaboration area 621 differently from other surrounding areas. At this time, the second virtual collaboration area 622 may also display the above-described effects and the like in the same way.

대상 오브젝트(V1)는 제1 사용자(801) 및 제2 사용자(802)의 협업에 따라 효과가 표시되는 대상이 되는 가상 오브젝트를 포함할 수 있다.The target object V1 may include a virtual object that is an object for which an effect is displayed according to collaboration between the first user 801 and the second user 802.

대상 오브젝트(V1)는 미리 설정된 형상을 가지되 협업에 따라 그 형상이 변경될 수 있다. 또는, 대상 오브젝트(V1)는 협업이 이루어지기 전에는 존재하지 않고 협업이 이루어진 후 생성되어 착용형 디스플레이 장치(400)에 표시될 수 있다.The target object V1 has a preset shape, but the shape may be changed according to collaboration. Alternatively, the target object V1 does not exist prior to collaboration, but may be generated after collaboration and displayed on the wearable display device 400.

대상 오브젝트(V1)는 가상 공간을 구성하는 배경의 일부로 구현될 수 있다.The target object V1 may be implemented as part of the background constituting the virtual space.

도 11 및 도 12는 현실과 가상 공간에서 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어진 경우를 나타내는 예시도이다.11 and 12 are exemplary views illustrating a case where collaboration is performed by the first user 801 and the second user 802 in real and virtual spaces.

도 11을 참조하면 제1 사용자(801)는 제1 협업 영역(611)에, 제2 사용자(802)는 제2 협업 영역(612)에 위치함으로써 협업이 이루어질 수 있다.Referring to FIG. 11, the first user 801 is located in the first collaboration area 611 and the second user 802 is located in the second collaboration area 612, so that collaboration can be achieved.

일 실시예로, 제1 시점에는 도 9에서와 같이 제1 사용자(801) 및 제2 사용자(802)가 협업 영역(610) 밖에 위치하고 제2 시점에는 도 11에서와 같이 제1 사용자(801)는 제1 협업 영역(611)에 위치하고 제2 사용자(802)는 제2 협업 영역(612)에 위치하는 경우 보조 컴퓨팅 장치(300)는 제2 시점에서 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단할 수 있다.In one embodiment, the first user 801 and the second user 802 are located outside the collaboration area 610 as shown in FIG. 9 at the first time point and the first user 801 as shown in FIG. 11 at the second time point. Is located in the first collaboration area 611 and the second user 802 is located in the second collaboration area 612, the secondary computing device 300 may include the first user 801 and the second user ( 802).

또 다른 실시예로, 제1 시점에는 도 11에서와 같이 제1 사용자(801) 및 제2 사용자(802)가 협업 영역(610) 안에 위치하고 제2 시점에는 도 9에서와 같이 제1 사용자(801)는 제1 협업 영역(611)에 위치하고 제2 사용자(802)는 제2 협업 영역(612) 밖에 위치하는 경우 보조 컴퓨팅 장치(300)는 제2 시점에서 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단할 수 있다.In another embodiment, the first user 801 and the second user 802 are located in the collaboration area 610 as shown in FIG. 11 at the first time point, and the first user 801 as shown in FIG. 9 at the second time point. ) Is located in the first collaboration area 611 and the second user 802 is located outside the second collaboration area 612, the secondary computing device 300 may include the first user 801 and the second user at the second time point. According to (802), it can be determined that collaboration has been achieved.

사용자(800)의 위치가 협업 영역(610) 밖에서 안으로 또는 안에서 밖으로 변경되는 경우 적어도 하나의 이동 방법이 이용될 수 있다.If the location of the user 800 is changed outside or within the collaboration area 610, at least one moving method may be used.

일 예로, 사용자(800)는 다양한 이동 경로를 이용하여 협업 영역(610) 밖에서 안으로 또는 안에서 밖으로 이동할 수 있다. For example, the user 800 may move in or out of the collaboration area 610 using various movement paths.

한편, 제1 사용자(801) 및 제2 사용자(802)는 미리 설정된 조건을 만족하면서 각각 제1 협업 영역(611) 및 제2 협업 영역(612)에 위치함으로써 협업이 이루어질 수 있다.Meanwhile, the first user 801 and the second user 802 may collaborate by being located in the first collaboration area 611 and the second collaboration area 612 while satisfying a preset condition, respectively.

미리 설정된 조건은 위치 순서, 방법 및 시간 중 적어도 하나에 대한 조건을 포함할 수 있다.The preset condition may include a condition for at least one of a location order, method, and time.

일 예로, 미리 설정된 조건은 제1 사용자(801)가 먼저 제1 협업 영역(611)에 위치하고 일정 시간 경과 하기 전 제2 사용자(802)가 제2 협업 영역(612)에 위치하는 조건을 포함할 수 있다.For example, the preset condition may include a condition in which the first user 801 is first located in the first collaboration area 611 and the second user 802 is located in the second collaboration area 612 before a predetermined time elapses. Can.

다른 예로, 미리 설정된 조건은 제1 사용자(801)가 먼저 제1 협업 영역(611)에 위치하고 일정 시간 경과 후 제2 사용자(802)가 제2 협업 영역(612)에 위치하는 조건을 포함할 수 있다.As another example, the preset condition may include a condition in which the first user 801 is first located in the first collaboration area 611 and a second user 802 is located in the second collaboration area 612 after a certain time has elapsed. have.

또 다른 예로, 미리 설정된 조건은 제1 사용자(801) 또는 제2 사용자(802) 중 어느 한 사용자가 먼저 제1 협업 영역(611) 또는 제2 협업 영역(612) 중 어느 한 협업 영역(610)에 위치한 상태에서 다른 사용자가 나머지 협업 영역(610)에 위치하는 조건을 포함할 수 있다.As another example, the preset condition is that either one of the first user 801 or the second user 802 is first the first collaboration area 611 or the second collaboration area 612 either the collaboration area 610 It may include a condition that is located in the other user is located in the rest of the collaboration area (610).

또 다른 예로, 미리 설정된 조건은 제1 사용자(801)가 제1 협업 영역(611)에 위치한 상태에서 제1 입력 장치(501)를 조작한 후 제2 사용자(802)가 제2 협업 영역(612)에 위치하고 제2 입력 장치(502)를 조작하는 조건을 포함할 수 있다.As another example, the preset condition is that after the first user 801 operates on the first input device 501 while the first user 801 is located in the first collaboration area 611, the second user 802 determines the second collaboration area 612. ) And may include conditions for operating the second input device 502.

도 12를 참조하면 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어진 경우 가상 공간에서 대상 오브젝트(V1)에 미리 설정된 효과가 발생할 수 있다.Referring to FIG. 12, when collaboration is performed by the first user 801 and the second user 802, a preset effect may be generated on the target object V1 in the virtual space.

제1 사용자(801) 및 제2 사용자(802)가 각각 제1 협업 영역(611) 및 제2 협업 영역(612) 밖에서 안으로 이동함에 따라 제1 캐릭터(901) 및 제2 캐릭터(902)는 각각 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)으로 이동할 수 있다.The first character 901 and the second character 902 are respectively moved as the first user 801 and the second user 802 move in and out of the first collaboration area 611 and the second collaboration area 612, respectively. The first virtual collaboration area 621 and the second virtual collaboration area 622 may be moved.

제1 캐릭터(901) 및 제2 캐릭터(902)가 각각 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)에 위치하는 경우 대상 오브젝트(V1)는 그 형상이 변경될 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)를 이용하여 협업이 이루어졌는지 여부를 판단할 수 있다.When the first character 901 and the second character 902 are located in the first virtual collaboration area 621 and the second virtual collaboration area 622, the shape of the target object V1 may be changed. At this time, the secondary computing device 300 may determine whether collaboration has been performed using the first character virtual location 911 and the second character virtual location 912.

일 예로, 보조 컴퓨팅 장치(300)는 제1 캐릭터 가상 위치(911)가 제1 가상 협업 영역(621) 내 또는 일정 범위 이내에 있는 상태에서 제2 캐릭터 가상 위치(912)가 제2 가상 협업 영역(622) 내 또는 일정 범위 이내에 있는 경우 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단하고 대상 오브젝트(V1)의 형상을 변경시키거나 대상 오브젝트(V1)에 특수 효과를 발생시킬 수 있다.For example, in the secondary computing device 300, the second character virtual location 912 is the second virtual collaboration area (with the first character virtual location 911 within the first virtual collaboration area 621 or within a predetermined range). 622) or within a certain range, the first user 801 and the second user 802 determine that the collaboration has been made and change the shape of the target object V1 or apply a special effect to the target object V1. Can occur.

도 11에 관해 서술한 바와 같은 맥락으로 제1 캐릭터(901) 및 제2 캐릭터(902)가 각각 제1 가상 협업 영역(621) 및 제2 가상 협업 영역(622)에 위치하기 전, 후에 미리 설정된 조건을 충족하는 경우 협업이 이루어질 수 있다.In the context as described with respect to FIG. 11, before and after the first character 901 and the second character 902 are located in the first virtual collaboration area 621 and the second virtual collaboration area 622, respectively. Collaboration can take place if the conditions are met.

일 예로, 보조 컴퓨팅 장치(300)는 제1 캐릭터 가상 위치(911)가 제1 가상 협업 영역(621) 내에 있는 상태에서 제1 입력 장치(501)에 의한 제1 입력 신호를 전달 받고, 일정 시간 경과 후 제2 캐릭터 가상 위치(912)가 제2 가상 협업 영역(622) 내에 있는 상태에서 제2 입력 장치(502)에 의한 제2 입력 신호를 전달 받는 경우 협업이 이루어진 것으로 판단하고 대상 오브젝트(V1)를 조작할 수 있다.For example, the secondary computing device 300 receives the first input signal by the first input device 501 while the first character virtual location 911 is in the first virtual collaboration area 621, and a predetermined time If the second input signal is transmitted by the second input device 502 while the second character virtual location 912 is in the second virtual collaboration area 622 after the elapse, it is determined that the collaboration has been performed and the target object V1 ) Can be manipulated.

이상에서는 협업이 이루어지는 경우 대상 오브젝트(V1)가 변경될 수 있음을 서술하였으나 이에 한정되지 않고 가상 공간을 구성하는 배경, 가상 구조 등이 변경, 생성, 제거될 수 있다.In the above, it has been described that the target object V1 may be changed when collaboration is performed, but the background, the virtual structure, etc. constituting the virtual space may be changed, generated, and removed.

이하에서는 도 13 내지 도 16을 참조하여 복수의 사용자(800)의 동작을 통해 협업이 이루어지는 과정에 대해 설명한다.Hereinafter, a process of collaborating through operations of the plurality of users 800 will be described with reference to FIGS. 13 to 16.

도 13은 입력 장치(500)를 이용하는 복수의 사용자(800)에 의해 협업이 이루어지기 전 현실 공간을 나타내는 예시도이다.13 is an exemplary view showing a real space before collaboration is performed by a plurality of users 800 using the input device 500.

도 14는 입력 장치(500)를 이용하는 복수의 사용자(800)에 의해 협업이 이루어진 후 현실 공간을 나타내는 예시도이다.14 is an exemplary view showing a real space after collaboration is performed by a plurality of users 800 using the input device 500.

도 15는 입력 장치(500)를 이용하는 복수의 사용자(800)에 의해 협업이 이루어지기 전 가상 공간을 나타내는 예시도이다.15 is an exemplary view showing a virtual space before collaboration is performed by a plurality of users 800 using the input device 500.

도 16은 입력 장치(500)를 이용하는 복수의 사용자(800)에 의해 협업이 이루어진 후 가상 공간을 나타내는 예시도이다.16 is an exemplary view illustrating a virtual space after collaboration is performed by a plurality of users 800 using the input device 500.

도 13 및 도 14를 참조하면, 협업이 이루어지기 위한 사용자(800)의 동작은 입력 장치(500)의 위치 변화에 따라 인식될 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 입력 장치(500)의 위치 정보를 이용하여 사용자(800)의 동작을 추적하고 사용자(800)의 동작이 특정 조건을 만족하면 협업이 이루어진 것으로 판단할 수 있다.13 and 14, an operation of the user 800 for collaboration may be recognized according to a change in the position of the input device 500. At this time, the secondary computing device 300 may track the operation of the user 800 using the location information of the input device 500 and determine that the collaboration has been performed when the operation of the user 800 satisfies a specific condition. .

제1 사용자(801) 및 제2 사용자(802)는 각각 제1 입력 장치(501) 및 제2 입력 장치(502)를 소지할 수 있고, 협업을 위한 동작의 일 예로 도 13 및 도 14에 도시된 바와 같이 제1 사용자(801) 및 제2 사용자(802)는 각각 제1 입력 장치(501) 및 제2 입력 장치(502)를 머리 위에서 아래로 내리는 동작을 수행할 수 있다.The first user 801 and the second user 802 may have the first input device 501 and the second input device 502, respectively, and are illustrated in FIGS. 13 and 14 as an example of an operation for collaboration. As described above, the first user 801 and the second user 802 may perform an operation of lowering the first input device 501 and the second input device 502 from above the head, respectively.

또 다른 예로, 제1 사용자(801) 및 제2 사용자(802)는 입력 장치(500)를 가상 도형 형태로 움직이는 동작을 수행할 수 있다.As another example, the first user 801 and the second user 802 may perform an operation of moving the input device 500 in the form of a virtual figure.

제1 사용자(801) 및 제2 사용자(802)의 동작은 동시에 또는 일정 시간 차를 두고 수행될 수 있다.The operations of the first user 801 and the second user 802 may be performed simultaneously or at a predetermined time difference.

제1 사용자(801) 및 제2 사용자(802)의 동작은 미리 정해진 순서에 따라 단발적으로 또는 반복적으로 수행될 수 있다.The operations of the first user 801 and the second user 802 may be performed singly or repeatedly in a predetermined order.

한편, 협업을 위한 제1 사용자(801)의 동작 및 제2 사용자(802)의 동작은 서로 다른 동작이거나 서로 다른 부분 동작을 포함할 수 있다.Meanwhile, the operations of the first user 801 and the operations of the second user 802 for collaboration may be different operations or may include different partial operations.

일 예로, 제1 사용자(801)에 의해 제1 입력 장치(501)가 상/하로 움직이는 동작이 수행되고 일정 시간 경과 후 제2 사용자(802)에 의해 제2 입력 장치(502)가 좌/우로 움직이는 동작이 수행되면 보조 컴퓨팅 장치(300)는 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단할 수 있다.For example, the first input device 501 moves up/down by the first user 801 and the second input device 502 moves left/right by the second user 802 after a predetermined time elapses. When the moving operation is performed, the auxiliary computing device 300 may determine that collaboration has been performed by the first user 801 and the second user 802.

복수의 사용자(800)에 의한 협업은 입력 장치(500)가 움직이는 동작에 더해서 추가적인 조건을 만족함으로써 이루어질 수도 있다.Collaboration by the plurality of users 800 may be achieved by satisfying additional conditions in addition to the operation of the input device 500.

보조 컴퓨팅 장치(300)는 제1 사용자(801) 및 제2 사용자(802)가 특정 동작을 시작하기 전 시점, 동작이 수행되는 중간 시점 및 동작이 종료된 시점 중 적어도 어느 한 시점에 제1 입력 신호 및 제2 입력 신호 중 적어도 하나의 입력 신호를 전달 받을 수 있다. 상기 입력 신호는 입력 장치(500)가 사용자(800)에 의해 조작되면 보조 컴퓨팅 장치(300)로 전달될 수 있다.The secondary computing device 300 inputs the first input to at least one of a time before the first user 801 and the second user 802 start a specific operation, an intermediate time at which the operation is performed, and a time when the operation ends. At least one input signal among the signal and the second input signal may be received. The input signal may be transmitted to the auxiliary computing device 300 when the input device 500 is operated by the user 800.

일 예로, 제1 입력 장치(501)에 구비된 버튼이 제1 사용자(801)에 의해 눌림과 동시에 제1 입력 장치(501)의 위치가 변경되고 일정 시간 경과 후 제2 입력 장치(502)에 구비된 버튼이 제2 사용자(802)에 의해 눌림과 동시에 제2 입력 장치(502)의 위치가 변경될 수 있고, 이 때, 보조 컴퓨팅 장치(300)는 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어졌다고 판단할 수 있다.For example, a button provided on the first input device 501 is pressed by the first user 801 and the position of the first input device 501 is changed at the same time, and after a certain time elapses, the second input device 502 The position of the second input device 502 may be changed at the same time that the provided button is pressed by the second user 802. At this time, the secondary computing device 300 may include the first user 801 and the second user. According to (802), it can be determined that collaboration has been achieved.

도 15 및 도 16을 참조하면 제1 착용형 디스플레이 장치(401)를 통해 제1 사용자(801)에게 출력되는 가상 현실 이미지(452)는 제1 캐릭터(901), 제2 캐릭터(902), 제1 캐릭터 가상 위치(921), 제2 캐릭터 가상 위치(922), 및 제1 협업 오브젝트(V2_1) 내지 제3 협업 오브젝트(V2_3)가 포함될 수 있다.15 and 16, the virtual reality image 452 output to the first user 801 through the first wearable display device 401 includes a first character 901, a second character 902, and a first The first character virtual location 921, the second character virtual location 922, and the first collaboration object V2_1 to the third collaboration object V2_3 may be included.

가상 현실 이미지(452)에는 가상 공간 내 가상 카메라의 시점을 나타낼 수 있다.The virtual reality image 452 may indicate the viewpoint of the virtual camera in the virtual space.

일 예로, 도 15에서 도시된 바와 같이 가상 현실 이미지(452)는 제1 캐릭터(901)의 1인칭 시점에서의 이미지를 포함할 수 있다. 이 때, 가상 현실 이미지(452)에 제1 사용자(801)가 소지하는 제1 입력 장치(501)에 대응되는 가상 오브젝트가 표시되되, 상기 가상 오브젝트는 제1 캐릭터(901)의 신체 일부로 손 형상을 포함할 수 있다.For example, as illustrated in FIG. 15, the virtual reality image 452 may include an image at the first person view point of the first character 901. At this time, a virtual object corresponding to the first input device 501 carried by the first user 801 is displayed on the virtual reality image 452, and the virtual object is a hand shape as a body part of the first character 901 It may include.

제1 캐릭터 가상 위치(921) 및 제2 캐릭터 가상 위치(922)는 현실에서 제1 사용자(801) 및 제2 사용자(802)의 위치 정보에 기초하여 보조 컴퓨팅 장치(300) 또는 서버(200)에 의해 산출될 수 있다. The first character virtual location 921 and the second character virtual location 922 are based on the location information of the first user 801 and the second user 802 in reality, the secondary computing device 300 or the server 200 Can be calculated by

일 예로, 제1 캐릭터 가상 위치(921) 및 제2 캐릭터 가상 위치(922)는 착용형 디스플레이 장치(400) 및 입력 장치(500)중 적어도 하나를 추적하여 얻은 위치 정보에 기초하여 산출될 수 있다.For example, the first character virtual location 921 and the second character virtual location 922 may be calculated based on location information obtained by tracking at least one of the wearable display device 400 and the input device 500. .

이하에서는 사용자(800)의 동작에 의해 협업이 이루어지는 과정을 보다 상세히 설명하기 위해 제1 캐릭터 가상 위치(921) 및 제2 캐릭터 가상 위치(922)는 제1 입력 장치(501) 및 제2 입력 장치(502)의 위치 정보에 기초하여 산출된 것으로 본다.Hereinafter, the first character virtual location 921 and the second character virtual location 922 are the first input device 501 and the second input device to describe in more detail the process of collaboration by the operation of the user 800. It is assumed that it is calculated based on the location information of 502.

제1 캐릭터 가상 위치(921) 및 제2 캐릭터 가상 위치(922)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The first character virtual location 921 and the second character virtual location 922 may or may not be displayed on the virtual reality image 452 in a dot shape, a cube shape, or the like.

제1 협업 오브젝트(V2_1) 내지 제3 협업 오브젝트(V2_3)는 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어지는 데에 필요한 가상 오브젝트 및 협업에 의해 변경되거나 효과가 표시되는 가상 오브젝트 중 적어도 하나를 포함할 수 있다.The first collaboration object V2_1 to the third collaboration object V2_3 are virtual objects required for collaboration by the first user 801 and the second user 802, and virtual or virtual effects that are changed or displayed by the collaboration. It may include at least one of the objects.

일 예로, 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)는 제1 캐릭터(901) 및 제2 캐릭터(902)가 조작할 수 있는 레버 형상 또는 스위치 형상의 가상 오브젝트를 포함할 수 있다.For example, the first collaboration object V2_1 and the second collaboration object V2_2 may include a lever-shaped or switch-shaped virtual object that the first character 901 and the second character 902 can operate. .

한편, 제1 협업 오브젝트(V2_1) 내지 제3 협업 오브젝트(V2_3) 중 적어도 하나는 추후 설명하듯 리얼 오브젝트에 대응되는 가상 오브젝트를 포함할 수 있다.Meanwhile, at least one of the first collaboration object V2_1 to the third collaboration object V2_3 may include a virtual object corresponding to the real object, as described later.

제1 협업 오브젝트(V2_1) 내지 제3 협업 오브젝트(V2_3)는 적어도 하나 이상의 상태를 가지고 특정 조건이 만족되면 보조 컴퓨팅 장치(300)에 의해 일 상태에서 다른 상태로 상태가 변경될 수 있다.When the first collaboration object V2_1 to the third collaboration object V2_3 have at least one state and a specific condition is satisfied, the state may be changed from one state to another state by the auxiliary computing device 300.

일 예로, 제1 협업 오브젝트(V2_1)는 레버 형상이되 도 15 및 도 16에서 도시된 바와 같이 비활성 상태 및 활성 상태를 가지며, 제1 협업 오브젝트(V2_1)가 비활성 상태 또는 활성 상태에 있을 때 작동 조건을 만족하는 경우 활성 상태 또는 비활성 상태로 변경되고 그에 대응하여 형상이 변경될 수 있다. 상기 작동 조건은 제1 캐릭터 가상 위치(921)가 제1 협업 오브젝트(V2_1)로부터 일정 범위 내에 위치하는 상태에서 제1 입력 장치(501)의 움직임에 따라 제1 캐릭터 가상 위치(921)가 위에서 아래 방향으로 이동하는 조건을 포함할 수 있다.As an example, the first collaboration object V2_1 has a lever shape, but has an inactive state and an active state as illustrated in FIGS. 15 and 16, and operates when the first collaboration object V2_1 is in an inactive state or an active state When the condition is satisfied, it is changed to an active state or an inactive state, and a shape may be changed correspondingly. In the operating condition, the first character virtual location 921 is moved from the top to the bottom according to the movement of the first input device 501 while the first character virtual location 921 is located within a predetermined range from the first collaboration object V2_1. It may include conditions for moving in the direction.

제3 협업 오브젝트(V2_3)는 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)에 의해 상태가 변경될 수 있다.The state of the third collaboration object V2_3 may be changed by the first collaboration object V2_1 and the second collaboration object V2_2.

일 예로, 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)는 각각 스위치 형상이고 활성 상태 및 비활성 상태를 가지며 제3 협업 오브젝트(V2_3)는 문 형상이고 열림 상태 및 닫힘 상태를 가질 수 있다. 이 때, 도 15 및 도 16에 도시된 바와 같이 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)가 제1 캐릭터(901) 및 제2 캐릭터(902)에 의해 비활성 상태에서 동시에 또는 일정 시간 간격을 두고 각각 활성 상태로 변경되는 경우 제3 협업 오브젝트(V2_3)는 닫힘 상태에서 열림 상태로 변경되고 이에 대응하여 형상이 변경될 수 있다.As an example, the first collaboration object V2_1 and the second collaboration object V2_2 are switch-shaped and have an active state and an inactive state, respectively, and the third collaboration object V2_3 is a door shape and may have an open state and a closed state. . At this time, as shown in FIGS. 15 and 16, the first collaboration object V2_1 and the second collaboration object V2_2 are simultaneously or constant in an inactive state by the first character 901 and the second character 902. When each time is changed to an active state at a time interval, the third collaboration object V2_3 is changed from a closed state to an open state and a shape can be changed correspondingly.

이상에서는 협업이 이루어지기 위한 사용자(800)의 동작이 입력 장치(500)의 위치 변화에 의존하는 경우를 서술하였으나 이에 한정되는 것은 아니며 디텍팅 장치(100)에 의해 인식될 수 있는 대상체의 위치 변화로 사용자(800)의 동작이 인식될 수도 있다. 이 때, 사용자(800)에게 가상 체험이 제공되는 동안 대상체는 사용자(800)에게 계속하여 제공될 수도 있고 가상 체험 도중에 사용자(800)로부터 분리될 수도 있다.In the above, the case in which the operation of the user 800 for collaboration is dependent on the position change of the input device 500 is described, but is not limited thereto, and the position change of the object that can be recognized by the detecting device 100 The operation of the user 800 may be recognized. At this time, the object may be continuously provided to the user 800 while the virtual experience is provided to the user 800 or may be separated from the user 800 during the virtual experience.

이하에서는 도 17 및 도 18을 참조하여 리얼 오브젝트(RO)를 이용한 협업 시스템에 대해서 설명한다.Hereinafter, a collaboration system using a real object (RO) will be described with reference to FIGS. 17 and 18.

도 17은 일 실시예에 따른 리얼 오브젝트(RO)를 포함하는 현실 공간을 나타내는 예시도이다.17 is an exemplary view illustrating a real space including a real object RO according to an embodiment.

도 18은 일 실시예에 따른 가상 공간에서 적어도 하나 이상의 리얼 오브젝트(RO)를 이용한 협업이 이루어지는 것을 나타내는 예시도이다.18 is an exemplary diagram illustrating that collaboration is performed using at least one real object (RO) in a virtual space according to an embodiment.

리얼 오브젝트(RO)는 현실 공간에서 존재하는 물체를 포함할 수 있다.The real object RO may include an object existing in the real space.

리얼 오브젝트(RO)는 디텍팅 장치(100)에 의해 추적되기 위해 추적 영역(600) 내에 배치될 수 있다. 한편, 리얼 오브젝트(RO)는 사용자(800)에게 가상 현실이 제공되는 동안 추적 영역(600) 내 미리 설정된 영역에 고정적으로 배치되거나 사용자(800) 또는 스스로 이동되거나 이동할 수 있다. 또한, 리얼 오브젝트(RO)는 사용자(800)에게 가상 현실이 제공되는 동안 추적 영역(600)안에서 밖으로 또는 밖에서 안으로 이동되거나 이동할 수 있다.The real object RO may be disposed within the tracking area 600 to be tracked by the detecting device 100. Meanwhile, the real object RO may be fixedly disposed in a preset area in the tracking area 600 while the virtual reality is provided to the user 800 or may be moved or moved by the user 800 or itself. Further, the real object RO may be moved or moved in or out of the tracking area 600 while the virtual reality is provided to the user 800.

리얼 오브젝트(RO)에는 대상체와 같이 디텍팅 장치(100)에 의해 추적되기 위해 마커(M)가 부착될 수 있다. 또는 리얼 오브젝트(RO)는 마커(M) 없이 상기 서술한 특징점을 이용하여 디텍팅 장치(100)에 의해 추적될 수 있다.A marker M may be attached to the real object RO to be tracked by the detecting device 100 like an object. Alternatively, the real object RO may be tracked by the detecting device 100 using the feature points described above without the marker M.

디텍팅 장치(100)에 의해 추적된 리얼 오브젝트(RO)의 디텍팅 정보를 이용하여 서버(200) 또는 보조 컴퓨팅 장치(300)는 가상 공간에서 리얼 오브젝트(RO)에 대응되는 가상 오브젝트를 구현할 수 있다.The server 200 or the secondary computing device 300 may implement a virtual object corresponding to the real object RO in the virtual space using the detection information of the real object RO tracked by the detecting device 100. have.

일 예로, 보조 컴퓨팅 장치(300)는 리얼 오브젝트(RO)에 부착된 마커(M)의 위치 정보를 이용하여 가상 공간 내 가상 위치 정보를 산출하고 이에 기초하여 가상 오브젝트를 구현할 수 있다. For example, the auxiliary computing device 300 may calculate virtual location information in the virtual space using the location information of the marker M attached to the real object RO and implement the virtual object based on this.

또 다른 예로, 상기 리얼 오브젝트(RO)는 상기 현실 공간에 배치되고, 상기 보조 컴퓨팅 장치(300)는 상기 리얼 오브젝트(RO)와 대응되는 위치에 대응되는 형상으로 가상 오브젝트를 구현할 수 있다.As another example, the real object RO is disposed in the real space, and the auxiliary computing device 300 may implement a virtual object in a shape corresponding to a position corresponding to the real object RO.

리얼 오브젝트(RO)는 장치, 기계적 구조, 모형, 산업 설비 등 사람이 접촉하는 사물 또는 물체를 포함할 수 있다.The real object RO may include objects or objects that humans contact, such as devices, mechanical structures, models, and industrial facilities.

일 예로, 도 17에 도시된 바와 같이 리얼 오브젝트(RO)는 배관 설비를 포함할 수 있다. 더 구체적으로, 리얼 오브젝트(RO)는 밸브 모형이고 유체의 흐름을 조절하기 위한 나사식 핸들을 포함할 수 있다. 이 때, 사용자(800)는 가상 체험이 제공되는 도중에 리얼 오브젝트(RO)에 포함된 나사식 핸들을 조작할 수 있다.For example, as illustrated in FIG. 17, the real object RO may include piping equipment. More specifically, the Real Object (RO) is a valve model and may include a threaded handle to regulate the flow of fluid. At this time, the user 800 may operate the screw handle included in the real object RO while the virtual experience is being provided.

가상 현실 제어 시스템(10)은 사용자(800)에게 현실 공간에 배치된 적어도 하나 이상의 리얼 오브젝트(RO)의 형상 및 종류에 대응하는 가상 체험을 제공할 수 있다.The virtual reality control system 10 may provide the user 800 with a virtual experience corresponding to the shape and type of at least one real object RO disposed in the real space.

일 예로, 도 17에 도시된 바와 같이 현실 공간에서 제1 사용자(801) 및 제2 사용자(802)에게 공장 설비가 배치된 추적 영역(600)이 제공될 수 있고 이와 같은 현실 공간에 대응하여 제1 사용자(801) 및 제2 사용자(802)에게 공장에서 발생할 수 있는 가스 유출 사고 대응 훈련에 대한 가상 체험이 제공될 수 있다.For example, as illustrated in FIG. 17, a tracking area 600 in which factory equipment is disposed may be provided to the first user 801 and the second user 802 in the real space, and may be provided in response to the real space. 1 user 801 and second user 802 may be provided with a virtual experience of a gas spill incident response training that may occur in a factory.

제1 사용자(801) 및 제2 사용자(802)에게 가상 체험이 제공되는 도중에 리얼 오브젝트(RO)를 이용한 협업이 이루어질 수 있다.Collaboration using a real object (RO) may be performed while a virtual experience is provided to the first user 801 and the second user 802.

제1 사용자(801) 및 제2 사용자(802)에 의한 협업은 도 9 내지 도 16에서 서술한 바와 같이 각각의 사용자의 시간에 따른 위치 또는 동작에 따라 이루어지되 그 과정에서 리얼 오브젝트(RO)가 이용될 수 있다.Collaboration by the first user 801 and the second user 802 is performed according to the location or operation of each user as described in FIGS. 9 to 16, but the real object RO is processed in the process. Can be used.

일 예로, 도 18에서 도시된 바와 같이 제1 사용자(801)에 대응되는 제1 캐릭터(901) 및 제2 사용자(802)에 대응되는 제2 캐릭터(902)에게 배관 이상에 따른 가스 유출 상황이 발생한 가상 환경이 제공될 수 있다. 상기 가상 환경에서 제1 협업 오브젝트(V2_1) 및 제2 협업 오브젝트(V2_2)는 밸브 형상의 리얼 오브젝트(RO)에 대응되고 제3 협업 오브젝트(V2_3)는 배관 형상의 리얼 오브젝트(RO)에 대응될 수 있다. 이 때, 제3 협업 오브젝트(V2_3)에서 가스가 유출될 수 있고, 제1 캐릭터(901)에 의해 제1 협업 오브젝트(V2_1)가 조작되고 제2 캐릭터(902)에 의해 제2 협업 오브젝트(V2_2)가 조작되는 경우 제3 협업 오브젝트(V2_3)에서 더 이상 가스가 유출되지 않는 형태로 협업이 이루어질 수 있다.For example, as illustrated in FIG. 18, the first character 901 corresponding to the first user 801 and the second character 902 corresponding to the second user 802 have a gas outflow condition due to a piping abnormality. The generated virtual environment can be provided. In the virtual environment, the first collaboration object V2_1 and the second collaboration object V2_2 correspond to the valve-shaped real object RO, and the third collaboration object V2_3 corresponds to the pipe-shaped real object RO. Can. At this time, gas may be leaked from the third collaboration object V2_3, the first collaboration object V2_1 is operated by the first character 901, and the second collaboration object V2_2 by the second character 902 ) Is operated, the third collaboration object V2_3 may no longer leak gas, and the collaboration may be performed.

한편, 보조 컴퓨팅 장치(300)는 사용자(800)의 위치나 동작을 인식하는 것 외에 디텍팅 장치(100) 또는 기계적 장치를 이용하여 리얼 오브젝트(RO) 자체의 움직임을 인식하고 이를 기초로 협업이 이루어졌는지 여부를 판단할 수도 있다.Meanwhile, in addition to recognizing the location or motion of the user 800, the secondary computing device 300 recognizes the movement of the real object RO itself using the detecting device 100 or a mechanical device and based on this, collaboration is performed. You can also determine whether it has been done.

리얼 오브젝트(RO) 및 이에 대응하는 가상 오브젝트는 서로 동일한 형상을 갖지 않을 수 있다. 일 예로, 리얼 오브젝트(RO)는 사용자(800)가 접촉하고 조작할 수 있도록 회전 가능한 핸들 형상이되 이에 대응하는 가상 오브젝트는 핸들을 포함하되 배관에 결착되도록 이음부분을 포함하는 밸브 형상일 수 있다.The real object RO and the corresponding virtual object may not have the same shape. For example, the real object (RO) is a rotatable handle shape for the user 800 to contact and operate, but the corresponding virtual object may include a handle but a valve shape including a joint to be attached to the pipe. .

리얼 오브젝트(RO)가 가상 공간에서 가상 오브젝트와 대응될 때, 가상 오브젝트에서 발생하는 효과가 리얼 오브젝트(RO)에서 동일 또는 유사하게 발생할 수 있다.When the real object RO corresponds to the virtual object in the virtual space, an effect occurring in the virtual object may occur in the real object RO in the same or similar manner.

일 예로, 도 18에서 도시된 바와 같이 제3 협업 오브젝트(V2_3)에서 가스가 발생하는 경우 현실 공간에서 대응되는 배관 형상의 리얼 오브젝트(RO)에서 마찬가지로 가스가 발생할 수 있다. 이 때, 현실 공간에서 발생하는 가스는 가상 공간에서 발생하는 가스와 달리 인체에 무해하되 사용자(800)에게 접촉하여 촉각이나 후각을 자극하여 가상 체험에 대한 몰입도를 증대시킬 수 있다.For example, as illustrated in FIG. 18, when gas is generated in the third collaboration object V2_3, gas may be generated in the real object RO having a corresponding pipe shape in the real space. At this time, the gas generated in the real space is harmless to the human body, unlike the gas generated in the virtual space, but can increase the immersion of the virtual experience by stimulating the sense of touch or smell by contacting the user 800.

이하에서는 도 19 및 도 20을 참조하여 복수의 사용자(800) 중 일부는 착용형 디스플레이 장치(400)를 착용하고 다른 일부는 착용형 디스플레이 장치(400)를 착용하지 않는 경우에 복수의 사용자(800)에게 가상 현실 제어 시스템(10)에 의해 가상 체험이 제공되는 방법에 대해 서술한다.Hereinafter, with reference to FIGS. 19 and 20, some of the plurality of users 800 wear the wearable display device 400 while others do not wear the wearable display device 400. ), how the virtual experience is provided by the virtual reality control system 10 will be described.

도 19는 일 실시예에 따른 착용형 디스플레이 장치(400)를 착용한 사용자와 착용하지 않은 사용자에게 가상 체험이 제공될 때 현실 공간을 나타내는 예시도이다.19 is an exemplary view illustrating a real space when a virtual experience is provided to a user who wears the wearable display device 400 according to an embodiment and a user who does not wear the wearable display device 400.

도 19를 참조하면, 제1 사용자(801)는 제1 보조 컴퓨팅 장치(301), 제1 착용형 디스플레이 장치(401) 및 제1 입력 장치(501)를 소지한 상태로 추적 영역(600)에 위치하고 제2 사용자(802)는 조작 장치(520)를 소지한 상태로 조작 영역(630)에 위치할 수 있다.Referring to FIG. 19, the first user 801 is attached to the tracking area 600 while having the first auxiliary computing device 301, the first wearable display device 401, and the first input device 501. Located and the second user 802 may be located in the manipulation area 630 while holding the manipulation device 520.

제1 사용자(801) 및 제2 사용자(802)는 가상 현실 제어 시스템(10)에 의해 동일한 가상 체험을 제공 받을 수 있다. 이 때, 제1 사용자(801)는 제1 착용형 디스플레이 장치(401)를 통해, 제2 사용자(802)는 조작 장치(520) 또는 별도의 디스플레이 장치를 통해 가상 체험에 대한 가상 현실 이미지(452)를 제공 받을 수 있다.The first user 801 and the second user 802 may be provided with the same virtual experience by the virtual reality control system 10. At this time, the first user 801 is through the first wearable display device 401, the second user 802 is the virtual reality image 452 for the virtual experience through the manipulation device 520 or a separate display device ).

제1 사용자(801) 및 제2 사용자(802)는 동일한 가상 체험을 제공받더라도 서로 다른 가상 현실 이미지(452)를 제공받을 수 있다.The first user 801 and the second user 802 may be provided with different virtual reality images 452 even though they are provided with the same virtual experience.

일 예로, 제1 사용자(801)에게는 제1 사용자(801)에 대응하는 제1 캐릭터(901)의 1인칭 시점으로 가상 공간을 바라본 이미지가 제공되되 제2 사용자(802)에게는 상기 제1 캐릭터(901)의 3인칭 시점 또는 전지적 시점에서 가상 공간을 바라본 이미지가 제공될 수 있다.For example, the first user 801 is provided with an image looking at the virtual space from the first person point of view of the first character 901 corresponding to the first user 801, but the second user 802 is provided with the first character ( In 901), an image of a virtual space viewed from a third person view or an omniscient point of view may be provided.

제1 사용자(801)는 도 6에서 언급된 방법으로 디텍팅 장치(100)에 의해 위치 또는 움직임 등이 추적될 수 있고 제1 보조 컴퓨팅 장치(301)는 제1 사용자(801)의 위치 정보에 기초하여 제1 착용형 디스플레이 장치(401)를 통해 제1 사용자(801)에게 가상 현실 이미지(452)를 제공할 수 있다.The first user 801 may be tracked, such as location or movement by the detecting device 100 in the manner mentioned in FIG. 6, and the first auxiliary computing device 301 may be connected to the location information of the first user 801. Based on this, the virtual reality image 452 may be provided to the first user 801 through the first wearable display device 401.

제2 사용자(802)는 조작 장치(520)를 이용하여 제1 사용자(801)에게 제공되는 가상 체험을 제어할 수 있다.The second user 802 may control the virtual experience provided to the first user 801 using the manipulation device 520.

조작 장치(520)는 사용자(800)의 조작에 따라 조작 신호를 송수신할 수 있는 전자기기 또는 전자장치를 포함할 수 있다.The manipulation device 520 may include electronic devices or electronic devices capable of transmitting and receiving manipulation signals according to the manipulation of the user 800.

일 예로, 조작 장치(520)는 키보드, 마우스, 조이스틱 또는 터치패드 등의 입력 장치 및 태블릿 PC 또는 핸드폰 등의 단말기 중 적어도 하나를 포함할 수 있다.For example, the manipulation device 520 may include at least one of an input device such as a keyboard, mouse, joystick, or touch pad, and a terminal such as a tablet PC or a mobile phone.

조작 장치(520)는 서버(200) 및 제1 보조 컴퓨팅 장치(301) 중 적어도 하나에 조작 신호를 전달할 수 있다.The manipulation device 520 may transmit an manipulation signal to at least one of the server 200 and the first auxiliary computing device 301.

조작 장치(520)는 서버(200) 및 제1 보조 컴퓨팅 장치(301) 중 적어도 하나와 유선 또는 무선으로 통신할 수 있다.The manipulation device 520 may communicate with at least one of the server 200 and the first auxiliary computing device 301 through wired or wireless communication.

조작 장치(520)는 제2 사용자(802)의 조작에 따라 조작 신호를 서버(200) 및 제1 보조 컴퓨팅 장치(301) 중 적어도 하나에 전달할 수 있다.The manipulation device 520 may transmit an manipulation signal to at least one of the server 200 and the first auxiliary computing device 301 according to the manipulation of the second user 802.

제1 보조 컴퓨팅 장치(301)는 조작 장치(520)로부터 조작 신호를 전달받는 경우 이를 제1 사용자(801) 또는 제2 사용자(802)에게 제공되는 가상 체험에 반영할 수 있다.When receiving the manipulation signal from the manipulation device 520, the first auxiliary computing device 301 may reflect it in the virtual experience provided to the first user 801 or the second user 802.

조작 영역(630)은 제2 사용자(802)가 위치한 영역으로 별도로 제1 보조 컴퓨팅 장치(301) 및 서버(200) 중 적어도 어느 하나와 조작 장치(520)가 통신하기 위한 범위 이내에 위치할 수 있다.The manipulation area 630 is an area where the second user 802 is located, and may be separately located within a range for communicating with at least one of the first auxiliary computing device 301 and the server 200 and the manipulation device 520. .

한편, 조작 영역(630)은 추적 영역(600) 내에 포함될 수 있다. 이 때, 제2 사용자(802)에게 마커(M)가 제공되어 제2 사용자(802)의 위치나 움직임 등이 추적될 수 있고 제1 보조 컴퓨팅 장치(301)는 제2 사용자(802)의 위치 이동 또는 움직임 등을 제1 사용자(801) 또는 제2 사용자(802)에게 제공되는 가상 체험에 반영할 수 있다.Meanwhile, the manipulation area 630 may be included in the tracking area 600. At this time, a marker M is provided to the second user 802 so that the location or movement of the second user 802 can be tracked, and the first auxiliary computing device 301 is the location of the second user 802 Movement or movement may be reflected in a virtual experience provided to the first user 801 or the second user 802.

도 20은 일 실시예에 따른 착용형 디스플레이 장치(400)를 착용한 사용자와 착용하지 않은 사용자에게 가상 체험이 제공될 때 가상 공간을 나타내는 예시도이다.20 is an exemplary diagram illustrating a virtual space when a virtual experience is provided to a user who wears the wearable display device 400 according to an embodiment and a user who does not.

도 20을 참조하면, 제1 사용자(801)에게 제1 착용형 디스플레이 장치(401)를 통해 제1 캐릭터(901) 및 대상 오브젝트(V1)을 포함하는 가상 현실 이미지(452)가 제공될 수 있다. 이 때, 제2 사용자(802)의 조작에 의해 조작 장치(520)로부터 제1 보조 컴퓨팅 장치(301)로 조작 신호가 전달되면 대상 오브젝트(V1)에 조작 효과(E)가 표시될 수 있다.Referring to FIG. 20, a virtual reality image 452 including a first character 901 and a target object V1 may be provided to the first user 801 through the first wearable display device 401. . At this time, when an operation signal is transmitted from the operation device 520 to the first auxiliary computing device 301 by the operation of the second user 802, the operation effect E may be displayed on the target object V1.

제2 사용자(802)는 조작 장치(520)를 통해 제1 사용자(801)에게 제공되는 가상 체험에 관한 이미지를 제공받을 수 있으며, 실시간으로 조작 장치(520)를 조작할 수 있다.The second user 802 may be provided with an image regarding a virtual experience provided to the first user 801 through the manipulation device 520, and may operate the manipulation device 520 in real time.

대상 오브젝트(V1)는 제1 캐릭터(901) 주변에 존재하는 가상 물체, 사물 구조 또는 가상 공간을 구성하는 배경을 포함할 수 있다.The target object V1 may include a virtual object, object structure, or background constituting a virtual space existing around the first character 901.

조작 효과(E)는 조작 장치(520)가 조작됨으로써 대상 오브젝트(V1)에 표시될 수 있다.The operation effect E can be displayed on the target object V1 by operating the operation device 520.

일 예로, 제2 사용자(802)가 조작 장치(520)에 표시되는 이미지에서 대상 오브젝트(V1)가 표시되는 부분을 터치하는 경우 대상 오브젝트(V1)가 빛나는 효과가 발생할 수 있고 제1 캐릭터(901)는 빛나는 대상 오브젝트(V1)를 인지할 수 있다.For example, when the second user 802 touches the portion where the target object V1 is displayed in the image displayed on the manipulation device 520, the target object V1 may have a glowing effect and the first character 901 ) May recognize the glowing object V1.

조작 효과(E)는 대상 오브젝트(V1) 외에도 제1 캐릭터(901)에도 표시될 수 있고 동시에 복수의 대상 오브젝트(V1)에 표시될 수 있다.In addition to the target object V1, the manipulation effect E may be displayed on the first character 901 and at the same time may be displayed on the plurality of target objects V1.

조작 효과(E)는 제1 사용자(801) 또는 제2 사용자(802)에게 제공되는 가상 현실 이미지(452)에 표시되는 시각적 효과 및 제1 착용형 디스플레이 장치(301)를 통해 제공될 수 있는 청각적 효과 중 적어도 하나를 포함할 수 있다.The manipulation effect E is a visual effect displayed on the virtual reality image 452 provided to the first user 801 or the second user 802 and an auditory effect that can be provided through the first wearable display device 301. It may include at least one of the enemy effects.

조작 효과(E)가 표시되거나 발생되는 시간은 제2 사용자(802)가 조작 장치(520)를 조작한 직후 또는 조작한 후 일정 시간 경과한 때일 수 있다.The time when the operation effect E is displayed or generated may be when the second user 802 operates the manipulation device 520 immediately or after a certain time has elapsed.

제1 사용자(801)가 가상 체험을 제공 받는 과정에서 제2 사용자(802)는 조작 장치(520)를 이용하여 대상 오브젝트(V1)에 조작 효과(E)를 발생시킴으로써 제1 사용자(801)의 가상 체험에 대한 몰입도를 증대시키거나 제1 사용자(801)가 원활하게 가상 현실을 체험하도록 보조할 수 있다.In the process where the first user 801 is provided with the virtual experience, the second user 802 uses the manipulation device 520 to generate the manipulation effect E on the target object V1 so that the first user 801 It is possible to increase immersion in the virtual experience or assist the first user 801 to experience the virtual reality smoothly.

제1 사용자(801)가 가상 체험을 제공 받는 과정에서 제2 사용자(802)에 의해 조작 장치(520)가 조작됨으로써 제1 사용자(801) 및 제2 사용자(802)에 의해 협업이 이루어질 수 있다.In a process in which the first user 801 is provided with the virtual experience, the manipulation device 520 is operated by the second user 802 so that the first user 801 and the second user 802 can collaborate. .

제1 사용자(801) 및 제2 사용자(802)에 의한 협업은 도 9 내지 도 16에서 서술한 바와 유사하게 제1 사용자(801)의 시간에 따른 위치 변화 또는 동작 및 제2 사용자(802)의 조작 장치(520) 조작을 통해 이루어질 수 있다.Collaboration by the first user 801 and the second user 802 is similar to that described with reference to FIGS. 9 to 16, as the position change or operation of the first user 801 over time and the second user 802 It can be made through the operation of the operation device 520.

이상에서 제2 사용자(802)는 조작 장치(520)를 조작하여 제1 사용자(801)에게 제공되는 가상 현실에 영향을 주는 경우에 대해 서술하였으나 이에 한정되는 것은 아니고 조작 장치(520) 대신으로 또는 함께 마이크, 기계 장치 등이 이용될 수도 있다.In the above, the case where the second user 802 affects the virtual reality provided to the first user 801 by operating the manipulation device 520 is not limited thereto, and instead of the manipulation device 520 or A microphone, a mechanical device, etc. may also be used together.

이하에서는 평가 시스템이 적용되는 가상 체험이 복수의 사용자(800)에게 제공됨에 있어서, 앞서 서술한 복수의 사용자(800)에 의해 이루어지는 협업이 상기 평가 시스템에 반영되는 방법에 대해 설명한다.Hereinafter, a description will be given of a method in which the collaboration made by the plurality of users 800 described above is reflected in the evaluation system, because the virtual experience to which the evaluation system is applied is provided to the plurality of users 800.

가상 현실 제어 시스템(10)에 의해 사용자(800)에게 제공되는 가상 체험은 제공 목적이나 방법에 따라 다양한 컨셉, 종류, 장르 또는 테마를 가질 수 있다.The virtual experience provided to the user 800 by the virtual reality control system 10 may have various concepts, types, genres, or themes depending on the purpose or method of providing.

일 예로, 가상 체험은 서바이벌, 재난/사고 대응 훈련, 슈팅, 스포츠, FPS(First-person shooter), RPG(Role-playing game), 의료 시뮬레이션 또는 쇼핑 컨텐츠 등을 포함할 수 있다.As an example, the virtual experience may include survival, disaster/accident response training, shooting, sports, first-person shooter (FPS), role-playing game (RPG), medical simulation, or shopping content.

특정 가상 체험에는 평가 시스템이 적용되어 가상 체험이 종료된 후 사용자(800)는 사용자(800)의 체험 과정을 기초로 산정된 평가 결과를 제공 받을 수 있다.The evaluation system is applied to a specific virtual experience, and after the virtual experience is ended, the user 800 may be provided with evaluation results calculated based on the experience process of the user 800.

평가 결과는 점수, 그림과 같은 시각적 정보 또는 소리와 같은 청각적 정보 등으로 사용자(800)에게 제공될 수 있다.The evaluation result may be provided to the user 800 with scores, visual information such as pictures, or acoustic information such as sounds.

일 예로, 사용자(800)에게 화재 대응 훈련 가상 체험이 제공되는 경우, 가상 공간에서 사용자(800)에 대응하는 캐릭터가 주어진 화재 상황에 정해진 순서대로 대응하였는지 여부에 기초하여 평가 결과가 산정될 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 평가 시스템에 따라 산정한 평가 결과를 수치화 하여 착용형 디스플레이 장치(400)에 출력함으로써 사용자(800)에게 평가 결과를 제공할 수 있다. 더 구체적으로, 보조 컴퓨팅 장치(300)는 사용자(800)의 위치 변화 및 동작 등을 추적하여 가상 공간 내 미리 정해진 영역에서 사용자(800)에 대응하는 캐릭터가 미리 정해진 동작을 하는지 여부를 기초로 평가 결과를 산정할 수 있다.For example, when a fire response training virtual experience is provided to the user 800, an evaluation result may be calculated based on whether a character corresponding to the user 800 in a virtual space responds in a predetermined order to a given fire situation. . At this time, the secondary computing device 300 may provide the evaluation result to the user 800 by numerically outputting the evaluation result calculated according to the evaluation system to the wearable display device 400. More specifically, the secondary computing device 300 tracks the position change and motion of the user 800 and evaluates it based on whether the character corresponding to the user 800 performs a predetermined operation in a predetermined area in the virtual space. Results can be estimated.

복수의 사용자(800)가 가상 현실 제어 시스템(10)에 의해 같은 가상 체험을 제공 받는 경우, 평가 결과에는 복수 사용자(800)에 의한 협업이 이루어졌는지 여부가 반영될 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 이하 서술하는 협업 평가 방법에 따라 복수 사용자(800)에 의한 협업을 평가 결과에 반영할 수 있다.When a plurality of users 800 are provided with the same virtual experience by the virtual reality control system 10, the evaluation result may reflect whether collaboration by the plurality of users 800 has been performed. At this time, the secondary computing device 300 may reflect the collaboration by the multiple users 800 in the evaluation result according to the collaboration evaluation method described below.

도 21은 일 실시예에 따른 복수 사용자(800)에 의한 협업을 평가 결과에 반영하는 협업 평가 방법을 나타내는 순서도이다.21 is a flowchart illustrating a collaborative evaluation method for reflecting collaboration by multiple users 800 in an evaluation result according to an embodiment.

도 21을 참조하면, 협업 평가 방법은 협업 인식 단계(S100), 협업 성공 횟수 측정 단계(S200) 및 협업 횟수에 따른 협업 평가 결과 산정 단계(S300)를 포함할 수 있다.Referring to FIG. 21, the collaboration evaluation method may include a collaboration recognition step (S100 ), a collaboration success number measurement step (S200 ), and a collaboration evaluation result calculation step according to the number of collaborations (S300 ).

인식 단계(S100)에서 보조 컴퓨팅 장치(300)는 앞서 도 9 내지 도 20에서 서술한 바와 같이 복수의 사용자(800)에 의해 협업이 이루어졌는지 여부를 판단할 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 협업이 이루어진 경우 미리 설정된 판단 기준에 따라 협업의 성공 여부 및 정확도를 판단할 수 있다. 이 경우 정확도는 보조 컴퓨팅 장치(300)에 의해 산출되는 대상체의 위치 정보, 가상 위치 정보 및 사용자(800)에게 제공된 가상 체험의 시작 시점으로부터 경과된 시간 중 적어도 하나에 기초하여 판단될 수 있다.In the recognition step (S100), the secondary computing device 300 may determine whether collaboration has been made by a plurality of users 800 as described above with reference to FIGS. 9 to 20. In this case, when the collaboration is performed, the secondary computing device 300 may determine whether the collaboration is successful or not and accuracy according to a preset determination criterion. In this case, the accuracy may be determined based on at least one of the location information of the object calculated by the auxiliary computing device 300, the virtual location information, and the time elapsed from the start time of the virtual experience provided to the user 800.

측정 단계(S200)에서 보조 컴퓨팅 장치(300)는 앞서 인식 단계(S100)에서 판단된 협업의 성공 여부 및 정확도에 기초하여 협업 평가 결과에 반영할 협업 횟수를 측정 또는 기록할 수 있다.In the measurement step (S200), the secondary computing device 300 may measure or record the number of collaborations to be reflected in the collaboration evaluation result based on the success and accuracy of the collaboration determined in the recognition step (S100).

산정 단계(S300)에서 보조 컴퓨팅 장치(300)는 앞서 인식 단계(S100) 및 측정 단계(S200)를 통해 얻어진 협업 성공 횟수에 기초하여 협업 평가 결과를 산정하고 이를 기존의 평가 시스템에 반영할 수 있다.In the calculation step (S300), the secondary computing device 300 may calculate a collaboration evaluation result based on the number of collaboration successes obtained through the recognition step (S100) and the measurement step (S200) and reflect it in the existing evaluation system. .

협업 평가 결과는 평가 결과와 마찬가지로 점수, 그림 또는 해당 분야의 통상의 기술자가 용이하게 이용할 수 있는 방법으로 사용자(800)에게 제공될 수 있되 평가 결과와 별도로 제공되거나 평가 결과에 포함되어 제공될 수 있다.The collaborative evaluation result may be provided to the user 800 in a manner that can be easily used by scores, pictures, or a person skilled in the relevant field, similar to the evaluation result, but may be provided separately from the evaluation result or included in the evaluation result. .

일 예로, 협업 성공 횟수가 많을수록 복수의 사용자(800)가 가상 체험 종료 후 획득하는 점수는 높아질 수 있다. 이와 같이 가상 현실 제어 시스템(10)은 복수의 사용자(800)의 협업에 따라 평가 결과를 달리 제공함으로써 복수의 사용자(800)가 더 좋은 평가 결과를 위해 협업을 하도록 유도할 수 있다. 더불어 사용자(800)는 협업을 통해 더 나은 평가 결과를 제공받음으로써 흥미가 증대될 수 있다.For example, as the number of successful collaborations increases, the scores obtained by the plurality of users 800 after the virtual experience ends may increase. As such, the virtual reality control system 10 may induce the multiple users 800 to collaborate for better evaluation results by differently providing evaluation results according to the collaboration of the plurality of users 800. In addition, the user 800 may increase interest by receiving better evaluation results through collaboration.

이하에서는 도 22 및 도 23을 참조하여 적어도 하나의 사용자(800)가 같은 추적 영역(600)에서 가상 현실 제공 시스템(10)에 의해 가상 체험을 제공 받는 때에 현실 공간에서 사용자(800)의 신체 중 디텍팅 장치(100)에 의해 추적되지 않는 부분이 가상 공간에서 표현되는 방법에 대해 설명한다.Hereinafter, with reference to FIGS. 22 and 23, when at least one user 800 is provided with a virtual experience by the virtual reality providing system 10 in the same tracking area 600, among the bodies of the user 800 in the real space A description will be given of a method in which a portion not tracked by the detecting device 100 is represented in a virtual space.

도 22는 일 실시예로, 현실에서 상대적으로 먼 거리에서 사용자(800)간 접촉 시 가상 공간에서 렌더링 이미지(930)가 표시되는 것을 나타내는 예시도이다.22 is an exemplary diagram illustrating that a rendered image 930 is displayed in a virtual space upon contact between the users 800 at a relatively distant distance from reality.

도 23은 일 실시예로, 현실에서 상대적으로 가까운 거리에서 사용자(800)간 접촉 시 가상 공간에서 렌더링 이미지(930)가 표시되는 것을 나타내는 예시도이다.FIG. 23 is an exemplary diagram illustrating that a rendered image 930 is displayed in a virtual space upon contact between the users 800 at a relatively close distance in reality.

이하에서는 설명의 편의를 위해 도 22 및 도 23에 도시된 바와 같이 사용자(800)에게 제공되는 가상 현실 이미지(452)는 사용자(800)에 대응하는 캐릭터(900)의 1인칭 시점을 표시하는 것으로 한다. 이 때, 가상 현실 이미지(452)에는 캐릭터(900)의 적어도 일부가 표시될 수 있다.Hereinafter, for convenience of description, as illustrated in FIGS. 22 and 23, the virtual reality image 452 provided to the user 800 displays the first person view point of the character 900 corresponding to the user 800. do. At this time, at least a part of the character 900 may be displayed on the virtual reality image 452.

도 22를 참조하면, 제2 캐릭터(902)에 접촉하는 제1 캐릭터(901)의 일부는 렌더링 이미지(930)로 표시될 수 있다.Referring to FIG. 22, a part of the first character 901 contacting the second character 902 may be displayed as a rendered image 930.

렌더링 이미지(930)는 현실 공간의 사용자(800)에 대응되는 가상 공간의 캐릭터(900)를 표현하기 위한 가상 이미지를 포함할 수 있다. 또는 렌더링 이미지(930)는 현실 공간에서 디텍팅 장치(100)에 의해 추적되는 대상체에 대응되는 가상 공간의 가상 오브젝트를 표현하기 위한 가상 이미지를 포함할 수 있다.The rendered image 930 may include a virtual image for representing the character 900 in the virtual space corresponding to the user 800 in the real space. Alternatively, the rendered image 930 may include a virtual image for representing a virtual object in a virtual space corresponding to an object tracked by the detecting device 100 in real space.

보조 컴퓨팅 장치(300)는 디텍팅 장치(100)에 의해 추적되는 대상체의 디텍팅 정보 또는 위치 정보를 기초로 가상 공간에 렌더링 이미지(930)를 생성, 구현 또는 변경할 수 있다.The secondary computing device 300 may generate, implement, or change the rendering image 930 in the virtual space based on the detection information or location information of the object tracked by the detection device 100.

보조 컴퓨팅 장치(300)는 대상체의 디텍틱 정보에 기초하여 위치 정보가 검출되지 않는 영역을 포함하는 렌더링 이미지(930)를 생성할 수 있다.The auxiliary computing device 300 may generate a rendering image 930 including an area in which location information is not detected based on the object's detection information.

렌더링 이미지(930)는 위치 정보가 검출되는 영역에 대응되는 이미지와 위치정보가 검출되지 않는 영역에 대응되는 이미지를 포함할 수 있다. 즉, 렌더링 이미지(930)는 검출된 위치 정보에 기초하여 생성된 스켈레톤을 기초로 렌더링한 이미지일 수 있다.The rendered image 930 may include an image corresponding to an area where location information is detected and an image corresponding to an area where location information is not detected. That is, the rendered image 930 may be an image rendered based on the skeleton generated based on the detected location information.

디텍팅 장치(100)에 의해 추적되는 하나의 대상체는 적어도 하나 이상의 렌더링 이미지(930)로 표시될 수 있다.One object tracked by the detecting device 100 may be displayed as at least one rendering image 930.

일 예로, 도 22를 참조하면, 현실 공간에서 제1 사용자(801)가 제2 사용자(802)의 어깨에 손을 올리는 경우 가상 공간에서 제1 캐릭터(901)가 제2 캐릭터(902) 어깨에 손을 올리는 가상 현실 이미지(452)가 제1 착용형 디스플레이 장치(401)를 통해 제1 사용자(801)에게 제공될 수 있다. 이 때, 착용형 디스플레이 장치(400)에는 제1 사용자(801) 및 제2 사용자(802)의 위치 정보를 기초로 제1 사용자(801)의 팔에 대응되는 렌더링 이미지(930)가 표시될 수 있다.For example, referring to FIG. 22, when the first user 801 in the real space places a hand on the shoulder of the second user 802, the first character 901 in the virtual space is on the shoulder of the second character 902. A virtual reality image 452 raising a hand may be provided to the first user 801 through the first wearable display device 401. At this time, the wearable display device 400 may display a rendered image 930 corresponding to the arm of the first user 801 based on the location information of the first user 801 and the second user 802. have.

렌더링 이미지(930)는 대상체 사이의 위치 관계에 따라 다르게 표시될 수 있다.The rendered image 930 may be displayed differently according to a positional relationship between objects.

도 22 및 도 23을 참조하면, 렌더링 이미지(930)는 제1 캐릭터 가상 위치(911), 제2 캐릭터 가상 위치(912) 및 기준 가상 위치(921) 중 적어도 하나에 기초하여 표시될 수 있다.22 and 23, the rendered image 930 may be displayed based on at least one of the first character virtual location 911, the second character virtual location 912, and the reference virtual location 921.

기준 가상 위치(921)는 보조 컴퓨팅 장치(300)가 디텍팅 장치(100)에 의해 추적되지 않는 물체에 대한 렌더링 이미지(930)를 생성할 때 기초로 할 수 있는 가상 위치 정보를 포함할 수 있다.The reference virtual location 921 may include virtual location information that can be used when the secondary computing device 300 generates a rendering image 930 for an object that is not tracked by the detecting device 100. .

기준 가상 위치(921)는 현실 공간에서 디텍팅 장치(100)에 의해 추적된 대상체의 위치 정보에 기초하여 산출되는 가상 위치 정보를 포함할 수 있다.The reference virtual location 921 may include virtual location information calculated based on the location information of the object tracked by the detecting device 100 in the real space.

일 예로, 기준 가상 위치(921)는 제1 사용자(801)에 의해 조작되는 제1 입력 장치(501)를 추적하여 얻은 위치 정보를 기초로 산출된 가상 위치 정보를 포함할 수 있다.For example, the reference virtual location 921 may include virtual location information calculated based on location information obtained by tracking the first input device 501 operated by the first user 801.

또 다른 예로, 기준 가상 위치(921)는 사용자(800)의 신체에 부착된 마커(M)를 추적하여 얻은 위치 정보를 기초로 산출된 가상 위치 정보를 포함할 수 있다.As another example, the reference virtual location 921 may include virtual location information calculated based on location information obtained by tracking the marker M attached to the body of the user 800.

렌더링 이미지(930)는 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911)에 기초하여 구현될 수 있다.The rendered image 930 may be implemented based on the reference virtual location 921 and the first character virtual location 911.

일 예로, 도 22에 도시된 바와 같이 기준 가상 위치(921)가 제1 입력 장치(501)의 위치 정보에 기초하여 산출된 가상 위치 정보인 경우, 제1 사용자(801)에 대응하는 제1 캐릭터(901)의 신체 부위 중 팔 부분을 구현하기 위한 렌더링 이미지(930)는 기준 가상 위치(921)와 제1 캐릭터 가상 위치(911)에 기초하여 구현될 수 있다. 이 때, 렌더링 이미지(930)는 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911) 사이의 거리를 고려하여 뻗은 팔 형상을 포함할 수 있다.For example, as illustrated in FIG. 22, when the reference virtual location 921 is virtual location information calculated based on location information of the first input device 501, a first character corresponding to the first user 801 The rendered image 930 for implementing the arm portion of the body part of 901 may be implemented based on the reference virtual location 921 and the first character virtual location 911. In this case, the rendered image 930 may include an extended arm shape in consideration of the distance between the reference virtual location 921 and the first character virtual location 911.

렌더링 이미지(930)의 형상은 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911)의 변화에 따라 변경될 수 있다.The shape of the rendered image 930 may be changed according to changes in the reference virtual location 921 and the first character virtual location 911.

일 예로, 도 23에 도시된 바와 같이 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911) 사이의 거리가 도 22에 도시된 것보다 가까워진 경우 렌더링 이미지(930)는 굽은 팔 형상을 포함할 수 있다. 이 때, 제1 사용자(801)가 팔을 구부리는 경우 기준 가상 위치(921)와 제1 캐릭터 가상 위치(911) 사이의 거리가 짧아지고 이에 따라 제1 보조 컴퓨팅 장치(301)는 제1 착용형 디스플레이 장치(401)에 제1 캐릭터(901)가 팔을 구부리는 이미지를 출력할 수 있다. 이와 같이 가상 공간에서 제1 캐릭터(901)를 표시함에 있어 관절을 표현함으로써 현실 공간과 가상 공간 사이에서 제1 사용자(801)가 느끼는 괴리감이 줄어들고 제1 사용자(801)의 가상 체험에 대한 몰입도가 증대될 수 있다.For example, as illustrated in FIG. 23, when the distance between the reference virtual location 921 and the first character virtual location 911 is closer than that illustrated in FIG. 22, the rendered image 930 may include a curved arm shape. Can be. At this time, when the first user 801 bends the arm, the distance between the reference virtual location 921 and the first character virtual location 911 is shortened, and accordingly, the first auxiliary computing device 301 wears the first An image in which the first character 901 bends the arm may be output to the type display device 401. In this way, by displaying the joints in displaying the first character 901 in the virtual space, the separation between the real space and the virtual space felt by the first user 801 is reduced, and the immersion degree of the virtual experience of the first user 801 is reduced. Can be increased.

한편, 보조 컴퓨팅 장치(300)는 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911)에 기초하여 렌더링 이미지(930)의 크기를 달리하여 구현할 수 있다.Meanwhile, the auxiliary computing device 300 may be implemented by varying the size of the rendered image 930 based on the reference virtual location 921 and the first character virtual location 911.

일 예로, 기준 가상 위치(921)가 제1 입력 장치(501)의 위치 정보에 기초하여 산출된 가상 위치 정보인 경우, 제1 입력 장치(501)에 대응되는 제1 캐릭터(901)의 손 부분을 구현하기 위한 렌더링 이미지(930)는 기준 가상 위치(921)와 제1 캐릭터 가상 위치(911) 사이의 거리가 멀어질수록 작게 표시되고 가까워질수록 크게 표시될 수 있다.For example, when the reference virtual location 921 is virtual location information calculated based on location information of the first input device 501, a hand portion of the first character 901 corresponding to the first input device 501 The rendering image 930 for realizing may be displayed smaller as the distance between the reference virtual location 921 and the first character virtual location 911 increases, and larger as the distance approaches.

렌더링 이미지(930)는 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)에 기초하여 구현될 수도 있다. 이 때, 제2 캐릭터 가상 위치(912)는 제1 사용자(801)가 제2 사용자(802)와 접촉하는 경우 해당 접촉부위의 가상 위치 정보를 포함할 수 있다.The rendered image 930 may be implemented based on the first character virtual location 911 and the second character virtual location 912. At this time, the second character virtual location 912 may include virtual location information of the corresponding contact portion when the first user 801 contacts the second user 802.

일 예로, 제2 캐릭터 가상 위치(912)는 디텍팅 장치(100)에 의해 추적되면서 제2 사용자(802)에게 부착된 대상체의 위치 정보를 기초로 산출된 가상 위치 정보를 포함할 수 있다.제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)에 기초하여 렌더링 이미지(930)를 구현하는 방법은 상술한 기준 가상 위치(921) 및 제1 캐릭터 가상 위치(911)를 이용하여 렌더링 이미지(930)를 구현하는 방법을 포함할 수 있다. 이 때, 제2 캐릭터 가상 위치(912)는 기준 가상 위치(921)에 대응할 수 있다.For example, the second character virtual location 912 may include virtual location information calculated based on the location information of the object attached to the second user 802 while being tracked by the detecting device 100. The method of implementing the rendering image 930 based on the 1 character virtual location 911 and the 2nd character virtual location 912 is rendered using the reference virtual location 921 and the first character virtual location 911 described above. It may include a method for implementing the image 930. At this time, the second character virtual location 912 may correspond to the reference virtual location 921.

한편, 보조 컴퓨팅 장치(300)는 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912)에 기초하여 렌더링 이미지(930)의 크기를 다르게 구현할 수 있다.Meanwhile, the auxiliary computing device 300 may implement different sizes of the rendered image 930 based on the first character virtual location 911 and the second character virtual location 912.

일 예로, 보조 컴퓨팅 장치(300)는 제2 착용형 디스플레이 장치(402)의 위치 정보에 기초하여 제2 캐릭터(902)의 신체 일부 또는 전부에 해당하는 렌더링 이미지(930)를 생성할 수 있다. 이 때, 렌더링 이미지(930)는 제1 캐릭터 가상 위치(911) 및 제2 캐릭터 가상 위치(912) 사이의 거리가 멀어질수록 작게 표시되고 가까워질수록 크게 표시될 수 있다.For example, the secondary computing device 300 may generate a rendering image 930 corresponding to a part or all of the body of the second character 902 based on the location information of the second wearable display device 402. In this case, the rendered image 930 may be displayed smaller as the distance between the first character virtual location 911 and the second character virtual location 912 increases, and larger as the distance increases.

이상에서는 복수의 사용자(800)가 같은 추적 영역(600)에 있는 경우를 중점으로 설명하였으나 본 발명이 이에 한정되는 것은 아니며 복수의 사용자(800)가 서로 분리된 추적 영역(600)에서 가상 현실 제어 시스템(10)에 의해 동일한 가상 체험을 제공 받는 경우에도 상술한 렌더링 이미지(930) 구현 방법이 이용될 수 있다. In the above, the case where the plurality of users 800 are in the same tracking area 600 is mainly described, but the present invention is not limited thereto, and the plurality of users 800 control the virtual reality in the tracking area 600 separated from each other. Even when the same virtual experience is provided by the system 10, the above-described method for implementing the rendered image 930 may be used.

또한, 이상에서는 가상 공간에서 캐릭터, 가상 오브젝트 또는 가상 구조나 배경 등을 표시하는 방법으로 렌더링 이미지(930)를 이용하는 방법을 중점으로 서술하였으나 본 발명이 이에 한정되는 것은 아니며 스켈레톤, 폴리곤, 또는 메쉬 등 해당 분야 통상의 기술자가 용이하게 이용할 수 있는 컴퓨터 그래픽 기술이 이용될 수도 있다.In addition, in the above, the method of using the rendered image 930 as a method of displaying a character, a virtual object or a virtual structure or a background in a virtual space has been mainly described, but the present invention is not limited thereto, and a skeleton, polygon, or mesh, etc. Computer graphic technology that can be easily used by those skilled in the art may also be used.

이하에서는 도 24 내지 도 28을 참조하여 하나의 입력 장치(500)가 가상 공간에서 적어도 하나 이상의 가변 오브젝트(1000)로 표시되는 방법에 대해 설명한다.Hereinafter, a method of displaying one input device 500 as at least one variable object 1000 in a virtual space will be described with reference to FIGS. 24 to 28.

도 24는 일 실시예에 따른 입력 장치(500)를 나타내는 예시도이다.24 is an exemplary view illustrating an input device 500 according to an embodiment.

도 24를 참조하면, 입력 장치(500)는 마커(M) 및 버튼(B)을 포함할 수 있다.Referring to FIG. 24, the input device 500 may include a marker M and a button B.

입력 장치(500)의 형상은 사용자(800)에 의해 파지될 수 있는 형상을 포함할 수 있다. 파지되는 방법으로 사용자(800)는 입력 장치(500)를 손으로 감싸 쥐는 방법, 필기도구를 잡듯이 파지하는 방법 또는 양손으로 파지하는 방법 등이 포함될 수 있다.The shape of the input device 500 may include a shape that can be gripped by the user 800. As a gripping method, the user 800 may include a method of wrapping the input device 500 by hand, a gripping method as if holding a writing tool, or a gripping method with both hands.

일 예로, 입력 장치(500)는 일정 길이를 갖는 막대 형상을 포함할 수 있다.For example, the input device 500 may include a rod shape having a predetermined length.

입력 장치(500)에는 마커(M)가 부착됨으로써 입력 장치(500)가 디텍팅 장치(100)에 의해 추적될 수 있다.A marker M is attached to the input device 500 so that the input device 500 can be tracked by the detecting device 100.

입력 장치(500)에는 적어도 하나 이상의 마커(M)가 부착될 수 있고, 복수의 마커(M)는 특정 패턴을 형성하여 착용형 디스플레이 장치(400) 등의 다른 대상체와 구별될 수 있다.At least one marker M may be attached to the input device 500, and the plurality of markers M may be distinguished from other objects such as the wearable display device 400 by forming a specific pattern.

한편, 마커(M)는 생략될 수 있으며 이 경우 디텍팅 장치(100)가 입력 장치(500)의 특징점을 추적하거나 입력 장치(500)와 서버(200) 사이의 무선 통신을 통해 입력 장치(500)가 다른 대상체와 구별될 수 있다. 이 때, 입력 장치(500)는 무선 통신 모듈을 포함할 수 있다.Meanwhile, the marker M may be omitted, and in this case, the detecting device 100 tracks the feature points of the input device 500 or the input device 500 through wireless communication between the input device 500 and the server 200. ) Can be distinguished from other subjects. At this time, the input device 500 may include a wireless communication module.

입력 장치(500)에 구비된 버튼(B)을 통해 사용자(800)는 서버(200) 또는 보조 컴퓨팅 장치(300)에 입력 신호를 전달할 수 있다.The user 800 may transmit an input signal to the server 200 or the secondary computing device 300 through the button B provided in the input device 500.

버튼(B)은 서로 다른 입력 신호를 전달하는 제1 버튼(B1) 및 제2 버튼(B2)을 포함할 수 있다.The button B may include a first button B1 and a second button B2 transmitting different input signals.

제1 버튼(B1) 및 제2 버튼(B2)는 입력 장치(500)에 이격되어 배치될 수 있다.The first button B1 and the second button B2 may be spaced apart from the input device 500.

일 예로, 입력 장치(500)가 일정 길이를 갖는 막대 형상인 경우 제1 버튼(B1) 및 제2 버튼(B2)는 입력 장치(500) 양 끝단에 배치될 수 있다.For example, when the input device 500 has a rod shape having a predetermined length, the first button B1 and the second button B2 may be disposed at both ends of the input device 500.

제1 버튼(B1) 및 제2 버튼(B2) 중 적어도 하나는 생략 될 수 있다.At least one of the first button B1 and the second button B2 may be omitted.

버튼(B)은 입력 장치(500)로부터 서버(200) 또는 보조 컴퓨팅 장치(300)로 입력 신호를 전달하기 위한 수단으로 물리적 압력을 이용한 기계식 버튼, 감압식, 정전식, 적외선, 초음파 방식 등을 이용한 터치 버튼 또는 스위치 버튼 등을 포함할 수 있다.Button (B) is a mechanical button using a physical pressure as a means for transmitting an input signal from the input device 500 to the server 200 or the secondary computing device 300, pressure-sensitive, capacitive, infrared, ultrasonic, etc. It may include a touch button or a switch button.

보조 컴퓨팅 장치(300)는 입력 장치(500)의 마커(M)의 위치 정보를 이용하여 가상 공간에 입력 장치(500)에 대응하는 가상 오브젝트를 표시할 수 있다.The auxiliary computing device 300 may display the virtual object corresponding to the input device 500 in the virtual space using the location information of the marker M of the input device 500.

입력 장치(500)는 가상 공간에서 사용자(800)에 대응하는 캐릭터가 사용할 수 있는 도구로 표시될 수 있다.The input device 500 may be displayed as a tool that can be used by a character corresponding to the user 800 in the virtual space.

입력 장치(500)는 가상 공간에서 사용자(800)에게 제공되는 가상 체험에 따라 다른 형상으로 표시될 수 있다.The input device 500 may be displayed in a different shape according to a virtual experience provided to the user 800 in the virtual space.

일 예로, 사용자(800)에게 가상 의료 수술 체험이 제공되는 경우 입력 장치(500)는 의료 도구 형상을 갖는 가상 오브젝트로 표시되고 가상 서바이벌 체험이 제공되는 경우 입력 장치(500)는 총이나 칼 등의 무기로 표시되며 가상 요리 체험이 제공되는 경우 입력 장치(500)는 손이나 요리 도구 등으로 표시될 수 있다.For example, when a virtual medical surgery experience is provided to the user 800, the input device 500 is displayed as a virtual object having a shape of a medical tool, and when a virtual survival experience is provided, the input device 500 may be configured such as a gun or a knife. When displayed as a weapon and a virtual cooking experience is provided, the input device 500 may be displayed as a hand or a cooking tool.

도 25는 일 실시예에 따른 입력 장치(500)가 가상 공간에서 서로 다른 가변 오브젝트(1000)로 변경되는 것을 나타내는 예시도이다.25 is an exemplary diagram illustrating that an input device 500 according to an embodiment is changed to a different variable object 1000 in a virtual space.

가변 오브젝트(1000)는 입력 장치(500)의 위치 정보에 기초하여 산출된 가상 위치 정보에 기반하여 보조 컴퓨팅 장치(300)가 가상 공간 상에 구현한 가상 오브젝트를 포함할 수 있다.The variable object 1000 may include a virtual object implemented by the auxiliary computing device 300 on the virtual space based on the virtual location information calculated based on the location information of the input device 500.

가변 오브젝트(1000)는 형상, 특성 또는 모양 등에 따라 제1 가변 오브젝트(1001) 및 제2 가변 오브젝트(1002)를 포함할 수 있다.The variable object 1000 may include a first variable object 1001 and a second variable object 1002 according to a shape, characteristic, or shape.

제1 가변 오브젝트(1001) 및 제2 가변 오브젝트(1002)의 형상이 다른 경우 그 특성이나 기능도 다를 수 있다.When the shapes of the first variable object 1001 and the second variable object 1002 are different, characteristics and functions may be different.

가변 오브젝트(1000)는 가상 공간에서 각각 미리 정해진 특성 또는 기능을 가질 수 있다.The variable objects 1000 may each have predetermined characteristics or functions in a virtual space.

일 예로, 도 25에 도시된 바와 같이 가상 현실 제어 시스템(10)에 의해 사용자(800)에게 의료 수술에 관한 가상 체험이 제공될 때, 제1 가변 오브젝트(1001)는 메스 형상을 가지고 날카로운 부분을 포함하며 가상 공간에서 신체를 해부하거나 절개할 때 사용될 수 있다. 또한, 제2 가변 오브젝트(1002)는 주사기 형상을 가지고 뾰족한 부분을 포함하며 가상 공간에서 신체에 약물을 투입할 때 사용될 수 있다.For example, as illustrated in FIG. 25, when a virtual experience related to medical surgery is provided to the user 800 by the virtual reality control system 10, the first variable object 1001 has a scalpel shape and a sharp portion. And can be used to dissect or dissect the body in virtual space. In addition, the second variable object 1002 has a syringe shape and includes a pointed portion, and may be used to inject drugs into the body in a virtual space.

가변 오브젝트(1000)는 미리 정해진 특성 또는 기능에 기초하여 또는 캐릭터(900)에 의해 이용됨에 따라 형상이 변경될 수 있다.The variable object 1000 may change shape based on predetermined characteristics or functions or as used by the character 900.

가변 오브젝트(1000)는 가상 현실 제어 시스템(10)에 의해 사용자(800)에게 제공되는 가상 체험의 종류나 성질에 따라 다른 형상을 가질 수 있다. The variable object 1000 may have a different shape according to the type or nature of the virtual experience provided to the user 800 by the virtual reality control system 10.

가변 오브젝트(1000)는 동일한 가상 체험 중이라 하더라도 두 가지 이상의 형상을 가질 수 있고, 가변 오브젝트(1000)의 형상이 변경되는 경우 그에 대응하여 가상 오브젝트(1000)의 성질이나 특성 또는 기능 등이 변경될 수 있다.The variable object 1000 may have two or more shapes even during the same virtual experience, and when the shape of the variable object 1000 is changed, properties, characteristics or functions of the virtual object 1000 may be changed accordingly. Can.

이하에서는 도 26 및 도 27을 참조하여 가상 공간 내 가변 오브젝트(1000)의 형상이 변경되는 경우에 대해 서술한다.Hereinafter, a case in which the shape of the variable object 1000 in the virtual space is changed will be described with reference to FIGS. 26 and 27.

도 26은 일 실시예에 따라 제2 가변 오브젝트(1002)가 제1 가변 오브젝트(1001)로 변경되는 경우를 나타내는 예시도이다.26 is an exemplary view illustrating a case where the second variable object 1002 is changed to the first variable object 1001 according to an embodiment.

도 26을 참조하면, 사용자(800)에게 제공되는 가상 현실 이미지(452)는 캐릭터(900), 제1 가변 오브젝트(1001) 또는 제2 가변 오브젝트(1002), 가변 오브젝트 가상 위치(1010) 및 가상 연장선(1100)이 포함될 수 있다.Referring to FIG. 26, the virtual reality image 452 provided to the user 800 includes a character 900, a first variable object 1001 or a second variable object 1002, a variable object virtual location 1010 and virtual An extension line 1100 may be included.

캐릭터(900)는 가상 공간에서 사용자(100)의 위치 정보에 기초하여 출력될 수 있다. 가상 현실 이미지(452)는 가상 공간 내 위치한 가상 카메라의 시야 범위가 표시될 수 있다.The character 900 may be output based on the location information of the user 100 in the virtual space. The virtual reality image 452 may display a field of view of a virtual camera located in a virtual space.

일 예로 가상 현실 이미지(452)에 캐릭터(900)의 1인칭 시점이 표시될 수 있고, 이 때 캐릭터(900)의 신체 부위 중 손만이 표시될 수 있다.For example, the first person view point of the character 900 may be displayed on the virtual reality image 452, and only a hand among body parts of the character 900 may be displayed.

가상 현실 이미지(452)에는 입력 장치(500)에 대응하여 가변 오브젝트(1000)가 표시될 수 있다.The variable object 1000 may be displayed on the virtual reality image 452 corresponding to the input device 500.

일 예로, 사용자(800)가 입력 장치(500)를 소지하고 있는 경우 가상 현실 이미지(452)에는 입력 장치(500)에 대응하는 가변 오브젝트(1000)가 캐릭터(900)에 의해 소지된 상태로 표시될 수 있다.For example, when the user 800 has the input device 500, the virtual reality image 452 displays the variable object 1000 corresponding to the input device 500 as being carried by the character 900. Can be.

가변 오브젝트 가상 위치(1010)는 디텍팅 장치(100)가 입력 장치(500)를 추적하여 획득한 디텍팅 정보에 기초하여 보조 컴퓨팅 장치(300)가 산출한 가상 위치 정보를 포함할 수 있다.The variable object virtual location 1010 may include virtual location information calculated by the secondary computing device 300 based on the detection information obtained by the detecting device 100 tracking the input device 500.

일 예로, 가변 오브젝트 가상 위치(1010)는 입력 장치(500)에 부착된 마커(M)의 가상 위치 정보를 포함할 수 있다.For example, the variable object virtual location 1010 may include virtual location information of the marker M attached to the input device 500.

또는, 가변 오브젝트 가상 위치(1010)는 입력 장치(500)에 대응하는 가변 오브젝트(1000)를 구성하는 가상 좌표 또는 가변 오브젝트(1000)로부터 일정 거리 떨어져 있는 가상 좌표를 포함할 수 있다.Alternatively, the variable object virtual location 1010 may include virtual coordinates constituting the variable object 1000 corresponding to the input device 500 or virtual coordinates spaced apart from the variable object 1000.

일 예로, 가변 오브젝트(1000)가 주사기 형상일 때, 가변 오브젝트 가상 위치(1010)는 주사 바늘 끝 부분의 가상 위치 정보 또는 가상 좌표를 포함할 수 있다.For example, when the variable object 1000 is in the shape of a syringe, the variable object virtual position 1010 may include virtual position information or virtual coordinates of the tip of the injection needle.

가변 오브젝트 가상 위치(1010)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The variable object virtual location 1010 may or may not be displayed on the virtual reality image 452 in a dot shape, a cube shape, or the like.

가변 오브젝트 가상 위치(1010)는 동작 시작 위치(1011) 및 동작 종료 위치(1012)를 포함할 수 있다.The variable object virtual location 1010 may include an operation start location 1011 and an operation end location 1012.

동작 시작 위치(1011)는 제1 시점에서 가변 오브젝트(1000)의 가상 위치 정보를 포함하고, 동작 종료 위치(1012)는 제2 시점에서 가변 오브젝트(1000)의 가상 위치 정보를 포함할 수 있다. 이 때, 제1 시점 및 제2 시점은 동일하거나 서로 다른 시점일 수 있다.The operation start position 1011 may include virtual position information of the variable object 1000 at the first time point, and the operation end position 1012 may include virtual position information of the variable object 1000 at the second time point. At this time, the first time point and the second time point may be the same or different time points.

입력 장치(500)가 사용자(800)에 의해 이동되면 가상 현실 이미지(452)에 표시되는 가상 공간에서 가변 오브젝트(1000)가 캐릭터(900)에 의해 이동될 수 있다.When the input device 500 is moved by the user 800, the variable object 1000 may be moved by the character 900 in the virtual space displayed on the virtual reality image 452.

가상 연장선(1100)은 가변 오브젝트(1000)가 캐릭터(900)에 의해 움직임으로써 형성되는 가상의 선을 포함할 수 있다.The virtual extension line 1100 may include a virtual line formed by the variable object 1000 moving by the character 900.

가상 연장선(1100)은 동작 시작 위치(1011) 및 동작 종료 위치(1012)를 포함할 수 있다.The virtual extension line 1100 may include an operation start position 1011 and an operation end position 1012.

가상 연장선(1100)은 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The virtual extension line 1100 may or may not be displayed on the virtual reality image 452.

가변 오브젝트(1100)는 캐릭터(900)에 의해 미리 설정된 이동 경로로 이동함으로써 그 형상이 변경될 수 있다.The variable object 1100 may be changed in shape by moving in a movement path preset by the character 900.

이동 경로는 직선, 곡선 및 직선과 곡선의 조합 중 적어도 하나로 구성될 수 있다. 또한 이동 경로는 가변 오브젝트(1100)가 이동 후 변경될 형상의 특성 또는 기능에 기초하여 보조 컴퓨팅 장치(300)에 의해 설정될 수 있다.The movement path may be composed of at least one of a straight line, a curve, and a combination of a straight line and a curve. Also, the movement path may be set by the auxiliary computing device 300 based on the characteristic or function of the shape to be changed after the variable object 1100 is moved.

일 예로, 도 26에 도시된 바와 같이 사용자(800)에게 의료 수술과 관련된 가상 체험이 제공되는 경우 제1 가변 오브젝트(1001)는 메스 형상일 수 있고, 제2 가변 오브젝트(1002)는 주사기 형상일 수 있다. 가상 공간에서 캐릭터(900)가 제2 가변 오브젝트(1002)를 소지하고 있는 상태에서 입력 장치(500)가 사용자(800)에 의해 메스를 사용하는 것과 유사하게 직선 경로로 이동하면 가상 공간에서 제2 가변 오브젝트(1002)가 이에 대응하여 직선 경로로 이동할 수 있다. 제2 가변 오브젝트(1002)의 이동이 끝난 시점에서 제2 가변 오브젝트(1002)는 제1 가변 오브젝트(1001)로 바꾸어 표시될 수 있다. 이 때, 제2 가변 오브젝트(1002)의 가변 오브젝트 가상 위치(1010)가 동작 시작 위치(1011)에서 동작 종료 위치(1012)로 이동할 수 있고, 보조 컴퓨팅 장치(300)는 동작 시작 위치(1011)와 동작 종료 위치(1012)를 기초로 제2 가변 오브젝트(1002)를 제1 가변 오브젝트(1001)로 바꾸어 표시할지 여부를 판단할 수 있다.For example, as illustrated in FIG. 26, when a virtual experience related to medical surgery is provided to the user 800, the first variable object 1001 may be a scalpel shape, and the second variable object 1002 may be a syringe shape. Can. When the character 900 is in possession of the second variable object 1002 in the virtual space, if the input device 500 moves in a straight path similar to using the scalpel by the user 800, the second in the virtual space. The variable object 1002 may move in a straight line correspondingly. When the movement of the second variable object 1002 ends, the second variable object 1002 may be displayed by changing to the first variable object 1001. At this time, the variable object virtual position 1010 of the second variable object 1002 may move from the operation start position 1011 to the operation end position 1012, and the auxiliary computing device 300 may start the operation start position 1011 Based on and the operation end position 1012, it may be determined whether the second variable object 1002 is replaced with the first variable object 1001 and displayed.

한편, 보조 컴퓨팅 장치(300)는 가변 오브젝트(1100)가 캐릭터(900)에 의해 미리 설정된 이동 경로로 이동함에 있어서 이동되는 속도 또는 이동 시간 등을 고려하여 그 형상을 변경될 수도 있다.Meanwhile, the auxiliary computing device 300 may change the shape of the variable object 1100 in consideration of a moving speed or a moving time when the variable object 1100 moves in a preset movement path by the character 900.

또는, 가변 오브젝트(1100)는 사용자(800)가 입력 장치(500)에 구비된 버튼(B)을 조작함으로써 그 형상이 변경될 수 있다.Alternatively, the shape of the variable object 1100 may be changed by the user 800 operating the button B provided in the input device 500.

일 예로, 사용자(800)에 의해 입력 장치(500)가 조작되어 보조 컴퓨팅 장치(300) 또는 서버(200)가 입력 신호를 획득하는 경우 보조 컴퓨팅 장치(300)는 가변 오브젝트(1100)의 형상을 변경하여 표시할 수 있다. For example, when the input device 500 is operated by the user 800 and the secondary computing device 300 or the server 200 acquires an input signal, the secondary computing device 300 displays the shape of the variable object 1100. It can be changed and displayed.

또는, 가변 오브젝트(1100)는 사용자(800)에게 가상 현실 제어 시스템(10)에 의해 가상 체험이 제공된 후 경과 시간에 따라 그 형상이 변경될 수 있다.Alternatively, the shape of the variable object 1100 may be changed according to the elapsed time after the virtual experience is provided to the user 800 by the virtual reality control system 10.

일 예로, 사용자(800)에게 의료 수술을 하는 가상 체험이 제공되는 경우 가상 현실에서 수술이 시작된 후 일정 시간이 지나 다른 수술이 시작되는 시점에서 가변 오브젝트(1100)의 형상이 변경될 수 있다.For example, when a virtual experience of performing medical surgery is provided to the user 800, the shape of the variable object 1100 may be changed at a time when another operation starts after a certain time after the operation is started in virtual reality.

도 27은 일 실시예에 따라, 가변 오브젝트(1000)의 형상이 캐릭터(900)의 위치에 따라 변경되는 방법을 나타내는 예시도이다.27 is an exemplary diagram illustrating a method in which the shape of the variable object 1000 is changed according to the position of the character 900 according to an embodiment.

도 27을 참조하면, 가변 오브젝트(1000)는 주위에 배치된 기준 오브젝트(V3)에 따라 그 형상이 변경될 수 있다.Referring to FIG. 27, the shape of the variable object 1000 may be changed according to the reference object V3 disposed around it.

기준 오브젝트(V3)는 가상 공간 내 존재하는 가상 오브젝트일 수 있다.The reference object V3 may be a virtual object existing in the virtual space.

기준 오브젝트(V3)는 현실 공간에서 리얼 오브젝트(RO)에 대응하는 가상 오브젝트일 수 있다.The reference object V3 may be a virtual object corresponding to the real object RO in the real space.

기준 오브젝트(V3)는 사용자(800)에게 제공되는 가상 체험의 종류에 따라 다른 형상을 가질 수 있다.The reference object V3 may have a different shape according to the type of virtual experience provided to the user 800.

기준 오브젝트(V3)는 가상 공간에서 캐릭터(900)에 의해 이용될 수 있다.The reference object V3 may be used by the character 900 in virtual space.

기준 오브젝트(V3)는 제1 기준 오브젝트(V3_1) 및 제2 기준 오브젝트(V3_2)를 포함할 수 있다.The reference object V3 may include a first reference object V3_1 and a second reference object V3_2.

제1 기준 오브젝트(V3_1) 및 제2 기준 오브젝트(V3_2)는 같은 형상을 하거나 서로 다른 형상을 할 수 있다.The first reference object V3_1 and the second reference object V3_2 may have the same shape or different shapes.

일 예로, 사용자(800)에게 요리 체험에 관한 가상 체험이 제공되는 경우, 제1 기준 오브젝트(V3_1)는 도마 형상을, 제2 기준 오브젝트(V3_2)는 프라이팬 형상을 포함할 수 있다.For example, when a virtual experience related to a cooking experience is provided to the user 800, the first reference object V3_1 may include a cutting board shape, and the second reference object V3_2 may include a frying pan shape.

캐릭터(900)가 기준 오브젝트(V3)로부터 일정 범위 내에 위치하는 경우 캐릭터(900)가 소지하는 가변 오브젝트(1000)는 해당 기준 오브젝트(V3)에 대응하여 형상이 변경될 수 있다.When the character 900 is located within a predetermined range from the reference object V3, the variable object 1000 carried by the character 900 may be changed in shape corresponding to the reference object V3.

일 예로, 도 27을 참조하면, 사용자(800)에게 요리 실습에 관한 가상 체험이 제공되는 경우, 착용형 디스플레이 장치(400)를 통해 표시되는 가상 현실 이미지(452)에는 캐릭터(900), 도마 형상을 갖는 제1 기준 오브젝트(V3_1), 프라이팬 형상을 갖는 제2 기준 오브젝트(V3_2) 및 가변 오브젝트(1000)가 표시될 수 있다. 캐릭터(900)가 제1 기준 오브젝트(V3_1)로부터 미리 설정된 범위 내에 위치하는 경우 보조 컴퓨팅 장치(300)는 입력 장치(500)에 대응하는 가상 오브젝트로 식칼 형상을 갖는 제1 가변 오브젝트(1001)를 표시할 수 있다. 그 후 캐릭터(900)가 제2 기준 오브젝트(V3_2)로부터 미리 설정된 범위 내로 이동하는 경우 보조 컴퓨팅 장치(300)는 제1 가변 오브젝트(1001)를 뒤집개 형상을 갖는 제2 가변 오브젝트(1002)로 변경하여 표시할 수 있다.For example, referring to FIG. 27, when the user 800 is provided with a virtual experience related to cooking practice, a character 900 and a cutting board shape are included in the virtual reality image 452 displayed through the wearable display device 400. A first reference object V3_1 having a, a second reference object V3_2 having a frying pan shape, and a variable object 1000 may be displayed. When the character 900 is located within a predetermined range from the first reference object V3_1, the auxiliary computing device 300 may use the first variable object 1001 having a kitchen knife shape as a virtual object corresponding to the input device 500. Can be displayed. Thereafter, when the character 900 moves within the preset range from the second reference object V3_2, the secondary computing device 300 changes the first variable object 1001 to a second variable object 1002 having an inverted shape. Can be displayed.

한편, 보조 컴퓨팅 장치(300)는 기준 오브젝트(V3)의 배치나 유무와 무관하게 캐릭터(900)의 가상 공간 내 가상 위치 정보에 기초하여 입력 장치(500)에 대응하는 가변 오브젝트(1000)의 형상을 변경시킬 수 있다.On the other hand, the secondary computing device 300 is the shape of the variable object 1000 corresponding to the input device 500 based on the virtual location information in the virtual space of the character 900, regardless of the arrangement or presence of the reference object V3. Can be changed.

가상 공간에서 사용자(800)에 대응하는 캐릭터(900)가 가변 오브젝트(1000)를 사용하는 경우 보조 컴퓨팅 장치(300)에 의해 입력 장치(500)를 통해 사용자(800)에게 햅틱 피드백이 제공될 수 있다. 이 때, 가변 오브젝트(1000)의 형상에 따라 세기나 종류가 다른 햅틱 피드백이 제공될 수 있다.When the character 900 corresponding to the user 800 in the virtual space uses the variable object 1000, haptic feedback may be provided to the user 800 through the input device 500 by the auxiliary computing device 300. have. In this case, haptic feedback having different strengths and types may be provided according to the shape of the variable object 1000.

일 예로, 캐릭터(900)가 메스 형상의 제1 가변 오브젝트(1001)를 사용하는 경우보다 주사기 형상의 제2 가변 오브젝트(1002)를 사용하는 경우에 사용자(800)에게 더 큰 크기의 진동 또는 저항력이 제공될 수 있다.For example, when the character 900 uses the second variable object 1002 in the shape of a syringe than the case in which the first variable object 1001 in the form of a scalpel is used, the vibration or resistance of a larger size to the user 800 This can be provided.

도 28은 일 실시예에 따라, 입력 장치(500)에 대응하는 가변 오브젝트(1000)가 가상 현실 이미지(452)에 표시되는 방법을 나타내는 예시도이다.28 is an exemplary diagram illustrating a method in which a variable object 1000 corresponding to the input device 500 is displayed on a virtual reality image 452 according to an embodiment.

도 28을 참조하면, 현실 공간에서 입력 장치(500)는 사용자(800)가 파지하는 방법에 따라 가상 카메라의 시야 범위(451) 밖에 위치할 수 있다.Referring to FIG. 28, in the real space, the input device 500 may be located outside the viewing range 451 of the virtual camera according to a method held by the user 800.

가상 카메라의 시야 범위(451)는 보조 컴퓨팅 장치(300)에 의해 구축된 가상 공간에서 착용형 디스플레이 장치(400)를 통해 출력될 부분을 포함할 수 있다.The field of view 451 of the virtual camera may include a portion to be output through the wearable display device 400 in a virtual space constructed by the auxiliary computing device 300.

가상 카메라의 시야 범위(451)는 현실 공간에서 사용자(800)의 시야 범위와 대응될 수 있다.The viewing range 451 of the virtual camera may correspond to the viewing range of the user 800 in the real space.

한편, 도 28에 도시된 바와 같이 사용자(800)에 의해 입력 장치(500)가 가상 카메라의 시야 범위(451) 밖에 위치하는 경우에도 가상 현실 이미지(452)에는 입력 장치(500)에 대응하는 가변 오브젝트(1000)가 표시될 수 있다.Meanwhile, as illustrated in FIG. 28, even when the input device 500 is positioned outside the field of view 451 of the virtual camera by the user 800, the virtual reality image 452 has a variable corresponding to the input device 500. The object 1000 may be displayed.

가변 오브젝트(1000)는 입력 장치(500)보다 상대적으로 부피가 크거나 길이가 긴 가상 오브젝트로 구현될 수 있다.The variable object 1000 may be implemented as a virtual object that is relatively bulky or has a longer length than the input device 500.

또는, 가변 오브젝트(1000)는 입력 장치(500)로부터 연장된 가상 오브젝트를 포함할 수 있다.Alternatively, the variable object 1000 may include a virtual object extending from the input device 500.

가상 현실 이미지(452)에 표시되는 가변 오브젝트(1000)는 가시 부분(1000a) 및 비가시 부분(1000b)을 포함할 수 있다.The variable object 1000 displayed on the virtual reality image 452 may include a visible portion 1000a and an invisible portion 1000b.

가시 부분(1000a)은 가변 오브젝트(1000) 중 가상 카메라의 시야 범위(451) 내에 포함되어 가상 현실 이미지(452)에 표시되는 부분이고, 비가시 부분(1000b)은 가상 카메라의 시야 범위(451) 내에 포함되지 않아 가상 현실 이미지(452)에 표시되지 않는 부분일 수 있다.The visible portion 1000a is a portion of the variable object 1000 included in the field of view 451 of the virtual camera and displayed on the virtual reality image 452, and the invisible portion 1000b is the field of view 451 of the virtual camera It may be a part that is not included and is not displayed in the virtual reality image 452.

가시 부분(1000a) 및 비가시 부분(1000b)은 가변 오브젝트(1000)를 구성할 수 있다.The visible part 1000a and the invisible part 1000b may constitute the variable object 1000.

가시 부분(1000a) 및 비가시 부분(1000b)은 고정되어 있지 않고 사용자(800)에 의해 입력 장치(500)의 일부 또는 전부가 이동함에 따라 변경될 수 있다.The visible portion 1000a and the invisible portion 1000b are not fixed and may be changed as some or all of the input device 500 is moved by the user 800.

일 예로, 도 28에 도시된 바와 같이 가변 오브젝트(1000)가 길이가 수술 도구 형상을 가질 때, 사용자(800)에 의해 입력 장치(500)가 들어올려져 가상 카메라의 시야 범위(451)에 들어올려지기 전보다 더 노출되는 경우 가시 부분(1000a)이 증가하고 비가시 부분(1000b)이 감소할 수 있다.For example, as illustrated in FIG. 28, when the variable object 1000 has a surgical tool shape in length, the input device 500 is lifted by the user 800 and lifted into the field of view 451 of the virtual camera. When exposed more than before, the visible portion 1000a may increase and the invisible portion 1000b may decrease.

사용자(800) 및 입력 장치(500)는 각각 복수일 수 있고 그 경우에도 상술한 가변 오브젝트(1000) 형상 변경 방법 또는 가변 오브젝트(1000) 표시 방법이 이용될 수 있다.Each of the user 800 and the input device 500 may be plural, and in this case, the above-described variable object 1000 shape change method or the variable object 1000 display method may be used.

이상에서는 설명의 편의를 위해 입력 장치(500)가 가상 공간에서 적어도 하나 이상의 가변 오브젝트(V3)로 표시될 수 있다고 서술하였으나 본 발명이 이에 한정되는 것은 아니며 입력 장치(500) 대신 리얼 오브젝트(RO)가 이용될 수도 있다.In the above, for convenience of description, it has been described that the input device 500 may be displayed as at least one or more variable objects V3 in a virtual space, but the present invention is not limited to this, and the real object RO instead of the input device 500 is described. May be used.

이하에서는 도 29 내지 도 33을 참조하여 가상 공간에서 가상 오브젝트 사이의 충돌을 가상 현실 이미지(452)에 표시하는 방법을 설명한다.Hereinafter, a method of displaying collisions between virtual objects in the virtual space on the virtual reality image 452 will be described with reference to FIGS. 29 to 33.

도 29는 일 실시예에 따른, 가상 공간에서 가상 오브젝트 사이에 충돌이 발생하기 전 상황을 나타내는 예시도이다.29 is an exemplary diagram illustrating a situation before a collision occurs between virtual objects in a virtual space according to an embodiment.

도 29를 참조하면 가상 현실 이미지(452)에는 가상 구조(1200), 충돌 오브젝트(1300), 충돌 오브젝트 가상 위치(1310), 조작 오브젝트(1400) 및 조작 오브젝트 가상 위치(1410)가 표시될 수 있다.Referring to FIG. 29, a virtual structure 1200, a collision object 1300, a collision object virtual location 1310, a manipulation object 1400, and a manipulation object virtual location 1410 may be displayed on the virtual reality image 452. .

가상 구조(1200)는 가상 공간을 구성하는 구조, 구조물 또는 배경을 포함할 수 있다.The virtual structure 1200 may include a structure, structure, or background constituting a virtual space.

가상 구조(1200)는 사용자(800)에게 제공되는 가상 체험의 종류에 따라 달라질 수 있다.The virtual structure 1200 may vary depending on the type of virtual experience provided to the user 800.

일 예로, 사용자(800)에게 수술 실습에 관한 가상 체험이 제공되는 경우 가상 구조(1200)는 수술대, 약 보관함 등을 포함하는 수술실 또는 종양 등을 포함하는 대장을 포함할 수 있다.For example, when a virtual experience of a surgical practice is provided to the user 800, the virtual structure 1200 may include an operating room including an operating table, a medicine storage box, or a large intestine including a tumor.

또 다른 예로, 사용자(800)에게 요리 실습에 관한 가상 체험이 제공되는 경우 가상 구조(1200)는 요리 도구가 갖추어진 조리실, 주방 등을 포함할 수 있다.As another example, when a virtual experience related to cooking practice is provided to the user 800, the virtual structure 1200 may include a cooking room equipped with cooking tools, a kitchen, and the like.

가상 구조(1200)는 보조 컴퓨팅 장치(300)에 의해 구현될 수 있다.The virtual structure 1200 may be implemented by the auxiliary computing device 300.

가상 구조(1200)는 현실 공간에서 리얼 오브젝트(RO)에 대응하여 구현될 수도 있다.The virtual structure 1200 may be implemented in real space corresponding to the real object RO.

가상 구조(1200)는 충돌 오브젝트(1300)를 포함하거나 충돌 오브젝트(1300)와 연결될 수 있다.The virtual structure 1200 may include a collision object 1300 or be connected to the collision object 1300.

충돌 오브젝트(1300)는 사용자(800)에게 가상 체험이 제공되는 도중에 가상 공간에서 충돌이 발생할 수 있는 가상 오브젝트를 포함할 수 있다.The collision object 1300 may include a virtual object in which a collision may occur in a virtual space while a virtual experience is provided to the user 800.

충돌 오브젝트(1300)는 리얼 오브젝트(RO)의 위치 정보를 기초로 산출된 가상 위치 정보를 기반으로 구현되거나 리얼 오브젝트(RO)와 무관하게 구현될 수 있다.The collision object 1300 may be implemented based on the virtual location information calculated based on the location information of the real object RO or may be implemented regardless of the real object RO.

충돌 오브젝트(1300)는 보조 컴퓨팅 장치(300)에 의해 구현될 수 있다.The collision object 1300 may be implemented by the auxiliary computing device 300.

충돌 오브젝트 가상 위치(1310)는 충돌 오브젝트(1300)의 가상 위치 정보를 포함할 수 있다. 보조 컴퓨팅 장치(300)는 충돌 오브젝트 가상 위치(1310)에 기초하여 충돌 발생 여부를 판단할 수 있다.The collision object virtual location 1310 may include virtual location information of the collision object 1300. The auxiliary computing device 300 may determine whether a collision has occurred based on the collision object virtual location 1310.

충돌 오브젝트 가상 위치(1310)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The collision object virtual location 1310 may or may not be displayed on the virtual reality image 452 in a dot shape, a cube shape, or the like.

조작 오브젝트(1400)는 가상 공간에서 캐릭터(900)에 의해 조작되는 가상 오브젝트를 포함할 수 있다.The manipulation object 1400 may include a virtual object manipulated by the character 900 in virtual space.

조작 오브젝트(1400)는 사용자(800)가 소지하는 입력 장치(500)의 위치 정보에 기초하여 보조 컴퓨팅 장치(300)에 의해 구현될 수 있다. 또는 조작 오브젝트(1400)는 사용자(800)가 소지하는 리얼 오브젝트(RO)의 위치 정보에 기초하여 보조 컴퓨팅 장치(300)에 의해 구현될 수 있다. 조작 오브젝트(1400)는 사용자(800)가 소지하는 리얼 오브젝트(RO)의 위치 정보로부터 산출된 가상 위치 정보에 기초하여 구현될 수 있다. 또는 조작 오브젝트(1400)는 가상 위치 정보로부터 연장된 영역을 점유하는 형태로 구현될 수 있다. 조작 오브젝트(1400)는 가상 위치 정보로부터 일 방향으로 연장된 영역을 점유하는 형태로 구현될 수 있다. 조작 오브젝트(1400)는 리얼 오브젝트(RO)의 배치 방향으로부터 연장된 방향을 점유하는 형태로 구현될 수 있다.The manipulation object 1400 may be implemented by the auxiliary computing device 300 based on the location information of the input device 500 carried by the user 800. Alternatively, the manipulation object 1400 may be implemented by the auxiliary computing device 300 based on the location information of the real object RO possessed by the user 800. The manipulation object 1400 may be implemented based on virtual location information calculated from location information of the real object RO possessed by the user 800. Alternatively, the manipulation object 1400 may be implemented in a form of occupying an area extended from the virtual location information. The manipulation object 1400 may be implemented in a form of occupying an area extending in one direction from the virtual location information. The manipulation object 1400 may be implemented in a form of occupying a direction extending from the arrangement direction of the real object RO.

조작 오브젝트(1400)는 사용자(800)에게 제공되는 가상 체험의 종류에 따라 적어도 하나 이상의 형상을 포함할 수 있다.The manipulation object 1400 may include at least one shape according to the type of virtual experience provided to the user 800.

일 예로, 도 29에 도시된 바와 같이 조작 오브젝트(1400)는 사용자(800)에게 수술 실습에 관한 가상 체험이 제공되는 경우 내시경 형상으로 구현될 수 있다.For example, as illustrated in FIG. 29, the manipulation object 1400 may be implemented in an endoscopic shape when the user 800 is provided with a virtual experience regarding surgical practice.

조작 오브젝트 가상 위치(1410)는 조작 오브젝트(1400)의 가상 위치 정보를 포함할 수 있다. 보조 컴퓨팅 장치(300)는 조작 오브젝트 가상 위치(1410)에 기초하여 충돌 발생 여부를 판단할 수 있다.The manipulation object virtual location 1410 may include virtual position information of the manipulation object 1400. The auxiliary computing device 300 may determine whether a collision has occurred based on the manipulation object virtual location 1410.

조작 오브젝트 가상 위치(1410)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The manipulation object virtual location 1410 may or may not be displayed on the virtual reality image 452 in a dot shape, a cube shape, or the like.

사용자(800)에게 가상 체험이 제공되는 도중에 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 수 있다. 가상 공간 내 충돌은 보조 컴퓨팅 장치(300) 또는 서버(200)에 의해 구현된 가상 공간 내 적어도 둘 이상의 가상 오브젝트가 만나거나 접촉하는 경우를 말하며 이 때, 충돌하는 각 가상 오브젝트를 구성하는 가상 위치 정보가 서로 겹쳐질 수 있다. 또는, 충돌 오브젝트(1300) 및 조작 오브젝트(1400)는 각각 가상 공간 내 가상 점유 영역을 가질 수 있고, 충돌 오브젝트(1300)의 가상 점유 영역과 조작 오브젝트(1400)의 가상 점유 영역이 겹쳐지는 경우 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 수 있다.A collision may occur between the collision object 1300 and the manipulation object 1400 while the virtual experience is provided to the user 800. The collision in the virtual space refers to a case where at least two or more virtual objects in the virtual space implemented by the secondary computing device 300 or the server 200 meet or contact, and at this time, virtual location information constituting each virtual object that collides Can overlap each other. Alternatively, the collision object 1300 and the manipulation object 1400 may each have a virtual occupied area in the virtual space, and the virtual occupied area of the collision object 1300 overlaps with the virtual occupied area of the manipulation object 1400 A collision may occur between the object 1300 and the manipulation object 1400.

한편, 접촉 또는 충돌하는 충돌 오브젝트(1300)는 리얼 오브젝트(RO)에 대응될 수도 있다. 이 때, 가상 공간에서 충돌이 발생하는 경우 현실 공간에서 리얼 오브젝트(RO) 사이의 충돌이 발생할 수 있다.Meanwhile, the collision object 1300 that contacts or collides may correspond to the real object RO. At this time, when a collision occurs in the virtual space, a collision between the real objects RO in the real space may occur.

보조 컴퓨팅 장치(300)는 충돌 오브젝트 가상 위치(1310) 및 조작 오브젝트 가상 위치(1410)에 기초하여 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌 또는 접촉이 발생하였는지 여부를 판단할 수 있다. 더 구체적으로, 보조 컴퓨팅 장치(300)는 충돌 오브젝트 가상 위치(1310)로부터 미리 설정된 범위 내에 조작 오브젝트(1410)가 위치하는 경우 충돌 또는 접촉이 발생하였다고 판단할 수 있다. The secondary computing device 300 may determine whether a collision or a contact has occurred between the collision object 1300 and the manipulation object 1400 based on the collision object virtual position 1310 and the manipulation object virtual position 1410. . More specifically, the secondary computing device 300 may determine that a collision or contact has occurred when the manipulation object 1410 is located within a preset range from the collision object virtual location 1310.

도 30은 일 실시예에 따른, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생한 경우를 나타내는 예시도이다.30 is an exemplary diagram illustrating a case where a collision occurs between a collision object 1300 and an operation object 1400 according to an embodiment.

도 30을 참조하면 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생하는 경우 가상 현실 이미지(452)에 충돌 오브젝트(1300)와 조작 오브젝트(1400) 일부가 겹쳐진 형상이 표시될 수 있다. 이 때, 보조 컴퓨팅 장치(300) 또는 서버(200)는 사용자(800)에게 충돌 알림(1500)을 제공할 수 있다.Referring to FIG. 30, when a collision occurs between the collision object 1300 and the manipulation object 1400, a shape in which a part of the collision object 1300 and the manipulation object 1400 are overlapped may be displayed on the virtual reality image 452. . At this time, the secondary computing device 300 or the server 200 may provide a collision notification 1500 to the user 800.

일 예로, 사용자(800)에게 내시경수술에 관한 가상 체험이 제공되어 가상 현실 이미지(452)에 신체 내부 형상의 가상 구조(1200), 종양 형상의 충돌 오브젝트(1300) 및 내시경 형상의 조작 오브젝트(1400)가 표시될 수 있다. 이 때, 입력 장치(500)가 사용자(800)에 의해 조작되어 입력 장치(500)의 위치 정보에 대응하여 조작 오브젝트 가상 위치(1410)가 충돌 오브젝트 가상 위치(1310)로부터 미리 설정된 범위 내에 존재하는 경우 도 30에서 도시된 바와 같이 조작 오브젝트(1400)가 충돌 오브젝트(1300)를 관통할 수 있다. For example, a virtual experience related to endoscopic surgery is provided to the user 800, such that the virtual structure 1200 of the internal shape of the body, the collision object 1300 of the tumor shape, and the manipulation object 1400 of the endoscopic shape are provided to the virtual reality image 452. ) May be displayed. At this time, the input device 500 is operated by the user 800 and corresponding to the position information of the input device 500, the manipulation object virtual position 1410 exists within a preset range from the collision object virtual position 1310. In this case, as illustrated in FIG. 30, the manipulation object 1400 may penetrate the collision object 1300.

충돌 알림(1500)은 사용자(800)에게 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 일어났음을 알려줄 수 있다.The collision notification 1500 may inform the user 800 that a collision has occurred between the collision object 1300 and the manipulation object 1400.

충돌 알림(1500)은 글, 그림 특수 효과 등의 시각적 효과, 소리, 음향 등의 청각적 효과 및 액추에이터에 의한 진동 등의 촉각적 효과 중 적어도 하나로 구현될 수 있다.The collision notification 1500 may be implemented as at least one of visual effects such as text and picture special effects, acoustic effects such as sound and sound, and tactile effects such as vibration by an actuator.

일 예로, 충돌 알림(1500)은 가상 현실 이미지(452) 내 미리 설정된 영역에 'Warning' 또는 '경고' 라고 기재된 메시지 박스 이미지로 표시될 수 있다.For example, the collision notification 1500 may be displayed as a message box image described as'Warning' or'Warning' in a preset area in the virtual reality image 452.

또 다른 예로, 충돌 알림(1500)은 착용형 디스플레이 장치(400)를 통해 경고 음성 및 경고음 중 적어도 하나로 출력될 수 있다.As another example, the collision notification 1500 may be output through at least one of a warning voice and a warning sound through the wearable display device 400.

또 다른 예로, 충돌 알림(1500)은 가상 현실 이미지(452)에 주기적으로 붉은색 조명을 표시하는 특수 효과를 포함할 수 있다.As another example, the collision notification 1500 may include a special effect of periodically displaying red lighting in the virtual reality image 452.

또 다른 예로, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생하는 경우 보조 컴퓨팅 장치(300)는 입력 장치(500), 리얼 오브젝트(RO) 등에 구비된 액추에이터를 이용해 사용자(800)에게 진동, 저항력 등의 햅틱 피드백을 제공할 수 있다. 이 때, 보조 컴퓨팅 장치(300)는 충돌 전 조작 오브젝트(1400)의 이동 속도에 따라 사용자(800)에게 제공되는 햅틱 피드백의 세기나 방향을 설정될 수 있다.As another example, when a collision occurs between the collision object 1300 and the manipulation object 1400, the auxiliary computing device 300 uses the actuator provided in the input device 500, the real object RO, and the like to the user 800. Can provide haptic feedback such as vibration and resistance. At this time, the auxiliary computing device 300 may set the intensity or direction of the haptic feedback provided to the user 800 according to the moving speed of the manipulation object 1400 before the collision.

한편, 가상 현실 제어 시스템(10)이 사용자(800)에게 제공하는 가상 체험이 평가 시스템을 포함하는 경우, 상술한 충돌 발생 횟수, 충돌 과정, 충돌하기 전 가상 오브젝트의 속도 등이 평가 결과에 반영될 수 있다.On the other hand, when the virtual experience provided by the virtual reality control system 10 to the user 800 includes the evaluation system, the above-described number of collision occurrences, the collision process, the speed of the virtual object before the collision, etc., will be reflected in the evaluation result. Can.

도 31은 일 실시예에 따른, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 경우 가상 현실 이미지(452)를 출력하는 방법을 나타내는 예시도이다.31 is an exemplary diagram illustrating a method of outputting a virtual reality image 452 when a collision occurs between a collision object 1300 and an operation object 1400 according to an embodiment.

도 31을 참조하면, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 경우 보조 컴퓨팅 장치(300) 또는 서버(200)는 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 중 적어도 하나의 형상을 변경시켜 표시할 수 있다.Referring to FIG. 31, when a collision occurs between the collision object 1300 and the manipulation object 1400, the secondary computing device 300 or the server 200 may include at least one of the collision object 1300 and the manipulation object 1400. The shape can be changed and displayed.

또는, 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 충돌이 발생할 경우 보조 컴퓨팅 장치(300) 또는 서버(200)는 충돌 오브젝트(1300)의 가상 점유 영역 및 조작 오브젝트(1400)의 가상 점유 영역 중 적어도 하나를 변경시킬 수 있다. Alternatively, when a collision occurs between the collision object 1300 and the operation object 1400, the secondary computing device 300 or the server 200 may control the virtual occupation area of the collision object 1300 and the virtual occupation area of the operation object 1400. At least one of them.

가상 점유 영역은 가상 오브젝트를 포함하는 영역일 수 있다. 또는, 가상 점유 영역은 가상 오브젝트가 점유하고 있는 영역일 수 있다.The virtual occupied area may be an area including virtual objects. Alternatively, the virtual occupied area may be an area occupied by the virtual object.

충돌 오브젝트(1300) 및 조작 오브젝트(1400) 중 적어도 하나의 형상이 변경됨으로써 가상 현실 이미지(452)에는 충돌하지 않는 충돌 오브젝트(1300) 및 조작 오브젝트(1400)가 표시될 수 있다.As at least one shape of the collision object 1300 and the manipulation object 1400 is changed, the collision object 1300 and the manipulation object 1400 that do not collide may be displayed on the virtual reality image 452.

일 예로, 도 30에서 서술한 바와 같이 사용자(800)에게 내시경수술에 관한 가상 체험이 제공되고 종양 형상의 충돌 오브젝트(1300) 및 내시경 형상의 조작 오브젝트(1400) 사이에 충돌이 발생할 경우 도 31에 도시된 바와 같이 조작 오브젝트(1400) 중 충돌하는 부분이 휘어져 표시될 수 있다.For example, as described in FIG. 30, when a virtual experience of endoscopic surgery is provided to the user 800 and a collision occurs between the tumor-shaped collision object 1300 and the endoscopic-shaped manipulation object 1400, FIG. As illustrated, the colliding portion of the manipulation object 1400 may be curved and displayed.

가상 공간 내 충돌을 피하기 위해 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 중 적어도 하나의 형상을 변경시키는 과정에 있어서 서버(200) 또는 보조 컴퓨팅 장치(300)는 충돌 오브젝트 가상 위치(1310) 및 조작 오브젝트 가상 위치(1410) 중 적어도 하나를 변경시키고 이미지를 표시하거나 각 가상 위치 정보는 변경시키지 않은 상태에서 충돌 전과 다른 이미지를 표시할 수 있다. 그 결과, 충돌 오브젝트 가상 위치(1310) 및 조작 오브젝트 가상 위치(1410)는 서로 미리 설정된 범위 내에 존재하되 가상 현실 이미지(452)에 표시되는 충돌 오브젝트(1300) 및 조작 오브젝트(1400)는 서로 미리 설정된 범위 내에 존재하지 않을 수 있다.In the process of changing the shape of at least one of the collision object 1300 and the manipulation object 1400 to avoid collision in the virtual space, the server 200 or the secondary computing device 300 operates the collision object virtual location 1310 and manipulation At least one of the object virtual locations 1410 may be changed and an image may be displayed, or an image different from before a collision may be displayed without changing each virtual location information. As a result, the collision object virtual location 1310 and the manipulation object virtual location 1410 exist within a preset range of each other, but the collision object 1300 and the manipulation object 1400 displayed on the virtual reality image 452 are preset with each other. It may not be within range.

도 32는 일 실시예에 따른, 가상 공간 내 복수의 조작 오브젝트(1400)가 표시되는 방법을 나타내는 예시도이다.32 is an exemplary diagram illustrating a method of displaying a plurality of manipulation objects 1400 in a virtual space, according to an embodiment.

도 32를 참조하면, 가상 현실 이미지(452)에는 가상 구조(1200), 충돌 오브젝트(1300) 제1 조작 오브젝트(1401), 제2 조작 오브젝트(1402), 제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)가 표시될 수 있다.Referring to FIG. 32, the virtual reality image 452 includes a virtual structure 1200, a collision object 1300, a first manipulation object 1401, a second manipulation object 1402, a first manipulation object virtual location 1411, and The second manipulation object virtual location 1412 may be displayed.

가상 현실 제어 시스템(10)은 사용자(800)에게 제공하는 가상 체험의 종류에 따라 제1 입력 장치(501) 및 제2 입력 장치(502)를 제공할 수 있다.The virtual reality control system 10 may provide the first input device 501 and the second input device 502 according to the type of virtual experience provided to the user 800.

보조 컴퓨팅 장치(300)는 제1 입력 장치(501) 및 제2 입력 장치(502)의 위치 정보를 기초로 가상 공간에 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402)를 구현할 수 있다.The auxiliary computing device 300 may implement the first manipulation object 1401 and the second manipulation object 1402 in the virtual space based on the location information of the first input device 501 and the second input device 502. .

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402)는 동일한 형상으로 구현되거나 서로 다른 형상으로 구현될 수 있다.The first manipulation object 1401 and the second manipulation object 1402 may be implemented in the same shape or may be implemented in different shapes.

일 예로, 사용자(800)에게 내시경수술에 관한 가상 체험이 제공되는 경우 사용자(800)에게 제1 입력 장치(501) 및 제2 입력 장치(502)가 제공될 수 있고, 착용형 디스플레이 장치(400)를 통해 출력되는 가상 현실 이미지(452)에는 제1 입력 장치(501)에 대응하는 종양 제거 도구 형상의 제1 조작 오브젝트(1401) 및 제2 입력 장치(502)에 대응하는 내시경 형상의 제2 조작 오브젝트(1402)가 표시될 수 있다. 이 때, 사용자(800)가 제1 입력 장치(501) 및 제2 입력 장치(502)를 조작함으로써 가상 공간 내에서 종양 제거 수술이 이루어질 수 있다.For example, when the virtual experience of endoscopic surgery is provided to the user 800, the first input device 501 and the second input device 502 may be provided to the user 800, and the wearable display device 400 may be provided. The virtual reality image 452 output through () includes a first manipulation object 1401 in the form of a tumor removal tool corresponding to the first input device 501 and a second endoscope shape corresponding to the second input device 502. The manipulation object 1402 may be displayed. At this time, the tumor removal operation may be performed in the virtual space by the user 800 operating the first input device 501 and the second input device 502.

입력 장치(500) 및 이에 대응하는 조작 오브젝트(1400)는 서로 같은 부피 또는 서로 같은 길이를 가지거나 서로 다른 부피 또는 서로 다른 길이를 가질 수 있다.The input device 500 and the corresponding manipulation object 1400 may have the same volume or the same length, or different volumes or different lengths.

일 예로, 조작 오브젝트(1400)가 내시경 형상을 가질 때, 입력 장치(500)에서 연장되도록 구현되고, 착용형 디스플레이 장치(400)를 통해 출력되는 가상 현실 이미지(452)에는 연장된 부분만 표시될 수 있다.For example, when the manipulation object 1400 has an endoscope shape, it is implemented to extend from the input device 500 and only the extended portion is displayed on the virtual reality image 452 output through the wearable display device 400. Can.

제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)는 각각 제1 입력 장치(501)의 위치 정보 및 제2 입력 장치(502)의 위치 정보에 기초하여 보조 컴퓨팅 장치(300)에 의해 산출된 가상 위치 정보를 포함할 수 있다.The first manipulation object virtual location 1411 and the second manipulation object virtual location 1412 are based on the location information of the first input device 501 and the location information of the second input device 502, respectively. ) May include virtual location information.

제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)는 도트 모양, 육면체 모양 등으로 가상 현실 이미지(452)에 표시되거나 표시되지 않을 수 있다.The first manipulation object virtual position 1411 and the second manipulation object virtual position 1412 may or may not be displayed on the virtual reality image 452 in a dot shape, a cube shape, or the like.

가상 체험이 제공되는 도중에 제1 입력 장치(501) 및 제2 입력 장치(502)의 움직임에 따라 가상 공간 내 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생할 수 있다.A collision may occur between the first manipulation object 1401 and the second manipulation object 1402 in the virtual space according to the movement of the first input device 501 and the second input device 502 while the virtual experience is being provided. .

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이의 충돌은 도 31 및 도 32에서 서술한 충돌 오브젝트(1300) 및 조작 오브젝트(1400) 사이에 발생하는 충돌과 유사하게 발생할 수 있다.The collision between the first manipulation object 1401 and the second manipulation object 1402 may occur similarly to the collision occurring between the collision object 1300 and the manipulation object 1400 described in FIGS. 31 and 32.

일 예로, 보조 컴퓨팅 장치(300)는 제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)가 서로 미리 설정된 범위 내에 존재하는 경우 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생한 것으로 판단할 수 있다.For example, when the first operation object virtual location 1411 and the second operation object virtual location 1412 exist within a preset range of each other, the auxiliary computing device 300 may include the first operation object 1401 and the second operation object. It can be determined that a collision has occurred between 1402.

또 다른 예로, 보조 컴퓨팅 장치(300)에 의해 설정된 가상 공간 내 제1 조작 오브젝트(1401)가 점유하는 가상 점유 영역과 제2 조작 오브젝트(1402)가 점유하는 가상 점유 영역이 겹치는 경우 보조 컴퓨팅 장치(300)는 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생한 것으로 판단할 수 있다.As another example, if the virtual occupied area occupied by the first manipulation object 1401 in the virtual space set by the secondary computing device 300 overlaps the virtual occupied area occupied by the second manipulation object 1402, the secondary computing device ( 300 may determine that a collision has occurred between the first manipulation object 1401 and the second manipulation object 1402.

한편, 충돌은 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이뿐만 아니라 제1 조작 오브젝트(1401), 제2 조작 오브젝트(1402), 충돌 오브젝트(1300) 및 가상 구조(1200) 중 적어도 둘 이상 사이에서도 발생할 수 있다.Meanwhile, the collision is not only between the first manipulation object 1401 and the second manipulation object 1402, but also among the first manipulation object 1401, the second manipulation object 1402, the collision object 1300, and the virtual structure 1200. It can also occur between at least two or more.

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생하는 경우, 도 30에서 서술한 바와 유사하게 사용자(800)에게 착용형 디스플레이 장치(400) 및 입력 장치(500) 중 적어도 하나를 통해 충돌 알림(1500)이 제공될 수 있다.When a collision occurs between the first manipulation object 1401 and the second manipulation object 1402, the wearable display device 400 and the input device 500 are provided to the user 800 similarly as described in FIG. 30. The collision notification 1500 may be provided through at least one.

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 사이에 충돌이 발생하는 경우, 도 31에서 서술한 바와 유사하게 보조 컴퓨팅 장치(300)는 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 중 적어도 하나의 형상을 변경시킬 수 있다.When a collision occurs between the first operation object 1401 and the second operation object 1402, similar to that described in FIG. 31, the secondary computing device 300 may include the first operation object 1401 and the second operation object. At least one shape of 1402 may be changed.

제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 중 적어도 하나의 형상이 변경됨으로써 가상 현실 이미지(452)에는 충돌하지 않는 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402)가 표시될 수 있다.By changing the shape of at least one of the first manipulation object 1401 and the second manipulation object 1402, the first manipulation object 1401 and the second manipulation object 1402 that do not collide with the virtual reality image 452 are displayed. Can be.

가상 공간 내 충돌을 피하기 위해 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402) 중 적어도 하나의 형상을 변경시키는 과정에 있어서 서버(200) 또는 보조 컴퓨팅 장치(300)는 제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412) 중 적어도 하나를 변경시키고 이미지를 표시하거나 각 가상 위치 정보는 변경시키지 않은 상태에서 충돌 전과 다른 이미지를 표시할 수 있다. 그 결과, 제1 조작 오브젝트 가상 위치(1411) 및 제2 조작 오브젝트 가상 위치(1412)는 서로 미리 설정된 범위 내에 존재하되 가상 현실 이미지(452)에 표시되는 제1 조작 오브젝트(1401) 및 제2 조작 오브젝트(1402)는 서로 미리 설정된 범위 내에 존재하지 않을 수 있다.In the process of changing the shape of at least one of the first manipulation object 1401 and the second manipulation object 1402 in order to avoid collision in the virtual space, the server 200 or the secondary computing device 300 is configured to virtualize the first manipulation object. At least one of the location 1411 and the second manipulation object virtual location 1412 may be changed and an image may be displayed, or each virtual location information may be displayed with a different image from before the collision. As a result, the first manipulation object virtual position 1411 and the second manipulation object virtual position 1412 exist within a preset range of each other, but the first manipulation object 1401 and the second manipulation displayed on the virtual reality image 452 The objects 1402 may not exist within a preset range of each other.

한편, 도 29 내지 도 32에 서술된 가상 공간 내 적어도 둘 이상의 가상 오브젝트 사이의 충돌 및 충돌 처리 방법은 적어도 하나의 입력 장치(500)를 조작하는 복수의 사용자(800)에게 가상 체험이 제공되는 경우에도 적용될 수 있다.On the other hand, the collision and collision processing method between at least two or more virtual objects in the virtual space described in FIGS. 29 to 32 is provided when a virtual experience is provided to a plurality of users 800 operating at least one input device 500 Can also be applied to

일 예로, 도 32에서 제1 조작 오브젝트(1401)는 제1 사용자(801)에 의해 조작되는 제1 입력 장치(501)에 대응하는 가상 오브젝트를 포함하고 제2 조작 오브젝트(1402)는 제2 사용자(802)에 의해 조작되는 제2 입력 장치(502)에 대응하는 가상 오브젝트를 포함할 수 있다.For example, in FIG. 32, the first manipulation object 1401 includes a virtual object corresponding to the first input device 501 operated by the first user 801, and the second manipulation object 1402 is a second user A virtual object corresponding to the second input device 502 manipulated by 802 may be included.

이하에서는 도 33을 참조하여 리얼 오브젝트(RO)를 이용해 가상 공간에 구현되는 가상 장소(1700)를 변경시키는 방법에 대해 서술한다.Hereinafter, a method of changing the virtual place 1700 implemented in the virtual space using the real object RO will be described with reference to FIG. 33.

도 33은 일 실시예에 따른, 가상 장소(1700)가 변경되는 방법을 나타내는 예시도이다.33 is an exemplary diagram illustrating a method of changing a virtual place 1700 according to an embodiment.

도 33을 참조하면, 가상 현실 이미지(452)에는 가상 장소(1700), 캐릭터(900) 및 전환 오브젝트(1600)가 표시될 수 있다. Referring to FIG. 33, a virtual place 1700, a character 900, and a conversion object 1600 may be displayed on the virtual reality image 452.

가상 장소(1700)는 보조 컴퓨팅 장치(300)에 의해 가상 공간에서 캐릭터(900)가 존재하는 장소 또는 배경으로 특정 장소를 표시하는 가상 이미지를 포함할 수 있다.The virtual place 1700 may include a virtual image indicating a specific place as a place or background where the character 900 exists in the virtual space by the auxiliary computing device 300.

가상 장소(1700)는 제1 가상 장소(1701) 및 제2 가상 장소(1702)를 포함할 수 있다.The virtual place 1700 may include a first virtual place 1701 and a second virtual place 1702.

전환 오브젝트(1600)는 보조 컴퓨팅 장치(300)에 의해 가상 공간 내 배치된 가상 오브젝트를 포함할 수 있다.The conversion object 1600 may include a virtual object disposed in the virtual space by the auxiliary computing device 300.

전환 오브젝트(1600)는 현실 공간에서 리얼 오브젝트(RO)에 대응되는 가상 오브젝트를 포함할 수 있다.The conversion object 1600 may include a virtual object corresponding to the real object RO in the real space.

일 예로, 현실 공간에서 추적 영역(600)에 문이 배치되어 있을 때, 보조 컴퓨팅 장치(300)는 디텍팅 장치(100)가 문을 추적하여 획득한 디텍팅 정보에 기초하여 가상 공간에 문 형상의 전환 오브젝트(1600)를 구현할 수 있다.For example, when the door is placed in the tracking area 600 in the real space, the secondary computing device 300 shapes the door in the virtual space based on the detection information acquired by the detecting device 100 tracking the door. The conversion object 1600 can be implemented.

캐릭터(900)는 전환 오브젝트(1600)를 이용하여 가상 장소(1700)를 변경시킬 수 있다.The character 900 may change the virtual place 1700 using the conversion object 1600.

일 예로, 사용자(800)에게 제공되는 가상 현실 이미지(452)는 호숫가를 표시하는 제1 가상 배경(1701) 및 전환 오브젝트(1600)를 포함할 수 있다. 전환 오브젝트(1600)가 문 형상의 리얼 오브젝트(RO)에 대응되는 가상 오브젝트일 때, 사용자(800)가 현실 공간에서 문 형상의 리얼 오브젝트(RO)를 열고 문을 통과하는 경우, 이에 대응하여 가상 공간에서 캐릭터(900)는 문 형상의 전환 오브젝트(1600)를 열고 통과하면 제1 가상 배경(1701)이 제2 가상 배경(1702)으로 변경될 수 있다.For example, the virtual reality image 452 provided to the user 800 may include a first virtual background 1701 and a conversion object 1600 that displays the lake shore. When the switching object 1600 is a virtual object corresponding to the real object RO of the door shape, when the user 800 opens the real object RO of the door shape in the real space and passes through the door, the corresponding virtual object When the character 900 opens and passes the door-shaped transition object 1600 in space, the first virtual background 1701 may be changed to the second virtual background 1702.

이로 인해 사용자(800)는 리얼 오브젝트(RO)를 이용해 가상 체험이 제공되는 도중 가상 공간 내에서 다양한 장소로 이동할 수 있다. 이 경우, 현실 공간에 배치된 리얼 오브젝트(RO)도 가상 공간이 변경됨으로써 다른 가상 이미지로 렌더링될 수 있다. 예를 들어, 현실 공간에서의 하나의 리얼 오브젝트(RO)가 제1 가상 배경(1701)에서는 제1 가상 이미지로 렌더링되고, 제2 가상 배경(1702)에서는 제2 가상 이미지로 렌더링 될 수 있다.Due to this, the user 800 can move to various places in the virtual space while the virtual experience is provided using the real object RO. In this case, the real object RO disposed in the real space may also be rendered as another virtual image by changing the virtual space. For example, one real object RO in the real space may be rendered as a first virtual image in the first virtual background 1701 and a second virtual image in the second virtual background 1702.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by a limited embodiment and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques are performed in a different order than the described method, and/or the components of the described system, structure, device, circuit, etc. are combined or combined in a different form from the described method, or other components Alternatively, even if replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

가상 현실 제어 시스템 10 디텍팅 장치 100
서버 200 보조 컴퓨팅 장치 300
착용형 디스플레이 장치 400 입력 장치 500Virtual reality control system 10 detecting device 100
Server 200 Secondary Computing Device 300
Wearable display device 400 Input device 500

Claims

A first sensing unit detecting a first optical signal;
A first display for outputting an image to a first user;
A first real object whose position is changed by the manipulation of the first user; And
It includes at least one control unit for controlling the first display,
The at least one control unit,
Calculate first virtual location information based on the first optical signal,
An image in a first viewing range based on the first virtual location information is output to the first display,
When the first real object is located within a preset range from the boundary of the first viewing range, a first virtual object corresponding to the first real object is displayed on the first display, and at the second view A second virtual object corresponding to the first real object is displayed,
The first time point and the second time point are different time points,
And the first virtual object and the second virtual object are different virtual objects.

According to claim 1,
The virtual reality control system in which the first virtual object is changed to the second virtual object based on a signal output from the first real object.

According to claim 1,
The virtual reality control system in which the first virtual object is changed to the second virtual object based on the movement trajectory of the first real object.

According to claim 1,
The first time point and the second time point have a preset time difference,
Virtual reality control system.

According to claim 1,
When the first real object is located outside the boundary of the first viewing range, a virtual object extending from the first real object is output to the first display.
Virtual reality control system.

According to claim 1,
The first real object includes an input unit that transmits an input signal from the input of the first user to the at least one control unit,
The control unit,
Outputting the second virtual object on the first display when the input signal is obtained between the first time point and the second time point,
Virtual reality control system.

A sensing unit for detecting an optical signal;
A display for outputting an image to a user;
A real object whose position is changed by the user's manipulation; And
It includes at least one control unit for controlling the display,
The at least one control unit,
Calculate first virtual location information based on the optical signal,
Outputs an image within a viewing range based on the first virtual location information to the display,
When the real object is located within a preset range from the boundary of the field of view, a virtual object corresponding to the real object is displayed on the display.
The virtual object includes different first virtual objects and second virtual objects,
When the real object has the second virtual location information at the first time point and the third virtual location information at the second time point, the second virtual location information and the third virtual location information are different from each other on the display. At the first time point, the first virtual object corresponding to the real object is displayed, and at the second time point, the second virtual object corresponding to the real object is displayed.
Virtual reality control system.

The method of claim 7,
The real object has the fourth virtual location information at the third time point,
The third time point is a time point between the first time point and the second time point,
The fourth virtual location information is located within a preset range from an extension line formed by the second virtual location information and the third virtual location information,
Virtual reality control system.

The method of claim 8,
The real object includes an actuator,
The actuator operates at least once between the first time point and the second time point,
Virtual reality control system.

The method of claim 7,
The at least one control unit,
Calculating the second virtual location information and the third virtual location information based on the feature points of the real object,
Virtual reality control system.

The method of claim 7,
The first time point is a time point before the second time point,
The second virtual location information becomes closer to the third virtual location information as the time elapsed from the first time increases.
Virtual reality control system.