KR20220026140A - Mixed reality experience system and control method thereof - Google Patents

Mixed reality experience system and control method thereof Download PDF

Info

Publication number
KR20220026140A
KR20220026140A KR1020200106817A KR20200106817A KR20220026140A KR 20220026140 A KR20220026140 A KR 20220026140A KR 1020200106817 A KR1020200106817 A KR 1020200106817A KR 20200106817 A KR20200106817 A KR 20200106817A KR 20220026140 A KR20220026140 A KR 20220026140A
Authority
KR
South Korea
Prior art keywords
mixed reality
reality
augmented reality
experiencer
coordinates
Prior art date
Application number
KR1020200106817A
Other languages
Korean (ko)
Other versions
KR102496201B1 (en
Inventor
신호
지소라
Original Assignee
(주) 사이언스쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 사이언스쇼 filed Critical (주) 사이언스쇼
Priority to KR1020200106817A priority Critical patent/KR102496201B1/en
Publication of KR20220026140A publication Critical patent/KR20220026140A/en
Application granted granted Critical
Publication of KR102496201B1 publication Critical patent/KR102496201B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a mixed reality experience system and a control method thereof. The control method of the mixed reality experience system according to the present invention comprises: a step of determining a location of the mixed reality experiencing people in a preset area; a step of extracting an augmented reality content corresponding to an action or the location of the mixed reality experiencing person; a step of setting the augmented reality coordinates of the extracted augmented reality content based on the determined locations of the mixed reality experiencing people; and a step of controlling the augmented reality content to be displayed at a location relevant to the corresponding augmented reality coordinates on the display device of the mixed reality experiencing person. Therefore, the present invention is capable of minimizing an occurrence of inconvenience.

Description

혼합현실 체험 시스템 및 그 제어방법{MIXED REALITY EXPERIENCE SYSTEM AND CONTROL METHOD THEREOF}Mixed reality experience system and its control method

본 발명은 혼합현실 체험 시스템 및 그 제어방법에 관한 것으로, 보다 상세하게는 소정의 디스플레이를 착용 또는 소지한 체험자에게 특정 가상현실 또는 증강현실을 경험하도록 하는 시스템 및 그 제어방법에 관한 것이다.The present invention relates to a mixed reality experience system and a method for controlling the same, and more particularly, to a system and a control method thereof for allowing an experiencer wearing or possessing a predetermined display to experience a specific virtual reality or augmented reality.

가상현실(VR : Virtual Reality)은 말 그대로 현실과 유사한 체험을 할 수 있도록 구현된 가상의 공간을 의미하는 것으로서, 예를 들어 컴퓨터로 생성된 가상의 공간에서 특정 사물이나 객체를 배치하고 체험자가 마치 가상의 공간에서 해당 사물 또는 객체를 보는 것과 같은 착각을 하도록 하기 위한 기술을 의미한다.Virtual reality (VR) literally means a virtual space that is implemented so that an experience similar to reality can be experienced. It refers to a technology for creating the illusion of seeing a corresponding object or object in a virtual space.

이 경우 사용자(체험자)는 가상 공간에 있는 특정 사물이나 객체와 직접적으로, 또는 간접적으로 움직이거나 상호작용할 수 있다.In this case, the user (experiencer) may directly or indirectly move or interact with a specific thing or object in the virtual space.

증강현실(AR : Augment Reality)은 실제 현실에 가상의 영상을 추가하는 형태를 가지는 것으로서, 예를 들어 증강현실은 현실의 정보를 수집하고(위치 정보를 GPS를 통해 얻고, 기울기나 기기가 움직이는 속도를 자이로스코프를 통해 얻는 등) 그 수집된 현실의 정보에 기초하여 가상의 이미지를 보여주기 때문에 현실감이 높고, VR기기를 착용했을 때 느끼는 어지러움이 없거나 덜하다는 특징이 있다.Augmented reality (AR: Augment Reality) is a form of adding a virtual image to real reality. For example, augmented reality collects real information (position information is obtained through GPS, tilt or device movement speed). is obtained through a gyroscope, etc.) It has a high sense of reality because it shows a virtual image based on the collected real information, and there is no or less dizziness when wearing a VR device.

한편, 혼합현실(MR : Mixed Reality)은 융합현실이라고도 불리는 것으로서, 다수의 체험자를 대상으로 가상현실과 증강현실을 통합 운영하는 것을 의미하는 것으로서, 최근 가상현실 또는 증강현실 만 따로 운영되는 것과 비교하여 체험자의 몰입도를 증가시키는 것이어서 최근 많이 이용되고 있다.On the other hand, mixed reality (MR: Mixed Reality) is also called convergence reality, meaning the integrated operation of virtual reality and augmented reality for a large number of users. It is being used a lot recently because it increases the immersion level of the experiencer.

그런데 이러한 종래의 혼합현실을 운영함에 있어서 다수의 체험자가 함께 특정 공간에 위치하게 되고 이 경우 각자에게 제공되는 증강현실 콘텐츠의 위치나 형태가 각 체험자의 위치나 행동 결과에 따라 적절하게 변화해야 하나, 종래에는 가상현실과 증강현실을 단순 조합한 것에 불과하여 오히려 체험자의 몰입도를 방해하는 요인이 되고 있다.However, in operating such a conventional mixed reality, a plurality of experiencers are located together in a specific space, and in this case, the location or shape of the augmented reality content provided to each must be appropriately changed according to the location or action result of each experiencer, Conventionally, it is only a simple combination of virtual reality and augmented reality, which is a factor that hinders the immersion of the experiencer.

공개특허 제10-2019-0032084호Patent Publication No. 10-2019-0032084

본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 혼합현실 체험 서비스를 제공함에 있어서, 체험자의 몰입도를 증가시키고 체험 과정의 불편을 최소화시킬 수 있도록 하는 시스템 및 그 제어방법을 제공하는 것이다. The present invention has been devised to solve the above-described problems in the prior art, and its purpose is to increase the immersion level of the experiencer and minimize the inconvenience of the experience process in providing a mixed reality experience service, and a method for controlling the same is to provide

상기한 목적을 달성하기 위해 본 발명에 따른 혼합현실 체험 시스템은, 기 설정된 구역 안에 있는 혼합현실 체험자들의 위치를 판단하는 위치 판단부와; 상기 혼합현실 체험자의 행동 또는 위치 중 적어도 어느 하나에 대응하는 증강현실 콘텐츠를 추출하는 증강현실 콘텐츠 추출부와; 상기 위치 판단부에서 판단한 혼합현실 체험자들의 위치를 기초로 상기 증강현실 콘텐츠 추출부에서 추출한 증강현실 콘텐츠의 증강현실 좌표를 설정하는 좌표 설정부와; 상기 혼합현실 체험자의 디스플레이 장치에 상기 증강현실 콘텐츠가 그 대응되는 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 표시 제어부를 포함하여 구성된다.In order to achieve the above object, there is provided a mixed reality experience system according to the present invention, comprising: a location determining unit for determining the location of mixed reality participants in a preset area; an augmented reality content extraction unit for extracting augmented reality content corresponding to at least one of the behavior or location of the mixed reality experiencer; a coordinate setting unit for setting the augmented reality coordinates of the augmented reality content extracted from the augmented reality content extraction unit based on the positions of the mixed reality participants determined by the position determination unit; and a display control unit for controlling the augmented reality content to be displayed at a position corresponding to the corresponding augmented reality coordinates on the display device of the mixed reality experiencer.

여기서, 상기 증강현실 콘텐츠 추출부는, 상기 설정된 구역 안에 있는 혼합현실 체험자 중 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠를 추출하고, 상기 좌표 설정부는 상기 위치 판단부에서 판단한 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 밀집도를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하고, 상기 표시 제어부는 상기 특정 혼합현실 체험자의 디스플레이 장치에 그 대응되는 증강현실 콘텐츠가 상기 좌표 설정부에서 설정된 증강현실 좌표에 해당하는 위치에 표시되도록 제어할 수 있다.Here, the augmented reality content extraction unit extracts augmented reality content corresponding to a specific mixed reality experiencer among the mixed reality experiencers in the set area, and the coordinate setting unit except for the specific mixed reality experiencer determined by the location determination unit In consideration of the density of mixed reality experiencers, the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer are set, and the display control unit sets the coordinates of the augmented reality content corresponding to the specific mixed reality experiencer's display device. It can be controlled to be displayed at a position corresponding to the augmented reality coordinates set in the unit.

여기서, 상기 좌표 설정부는, 각 혼합현실 체험자들 간의 간격을 기초로 적어도 하나의 밀집 그룹을 판단하고, 그 판단된 밀집 그룹들로부터 떨어진 거리를 참고하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.Here, the coordinate setting unit determines at least one dense group based on the interval between each mixed reality experiencer, and refers to the distance from the determined dense groups of the augmented reality content corresponding to the specific mixed reality experiencer. Augmented reality coordinates can be set.

여기서, 상기 좌표 설정부는 상기 위치 판단부에서 판단한 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 현재의 밀집도 및 그 나머지 혼합현실 체험자들에게 제공되는 증강현실 콘텐츠의 위치를 고려하여 기 설정된 시간 이후의 밀집도 변화를 예측하고, 그 예측된 밀집도 변화를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.Here, the coordinate setting unit considers the current density of the remaining mixed reality experiencers other than the specific mixed reality experiencer determined by the location determination unit and the location of the augmented reality content provided to the remaining mixed reality experiencers after a preset time. It is possible to predict the density change, and set the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer in consideration of the predicted density change.

여기서, 상기 기 설정된 구역의 벽에는 해당 구역 안에 있는 혼합현실 체험자들이 동시에 볼 수 있는 가상현실 콘텐츠가 표시될 수 있다.Here, on the wall of the preset zone, virtual reality content that can be simultaneously viewed by mixed reality participants in the zone may be displayed.

여기서, 상기 좌표 설정부는 상기 가상현실 콘텐츠 상에서의 각 혼합현실 체험자의 위치에 해당하는 가상현실 위치 좌표를 산출하고, 그 산출된 각 혼합현실 체험자의 가상현실 위치 좌표를 추가로 참조하여 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.Here, the coordinate setting unit calculates the virtual reality location coordinates corresponding to the location of each mixed reality experiencer on the virtual reality content, and additionally refers to the calculated virtual reality location coordinates of each mixed reality experiencer. Augmented reality coordinates can be set.

또, 상기한 목적을 달성하기 위해 본 발명에 따른 혼합현실 체험 시스템의 제어방법은, 기 설정된 구역 안에 있는 혼합현실 체험자들의 위치를 판단하는 단계와; 상기 혼합현실 체험자의 행동 또는 위치에 대응하는 증강현실 콘텐츠를 추출하는 단계와; 상기 판단된 혼합현실 체험자들의 위치를 기초로 상기 추출된 증강현실 콘텐츠의 증강현실 좌표를 설정하는 단계와; 상기 혼합현실 체험자의 디스플레이 장치에 상기 증강현실 콘텐츠가 그 대응되는 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 단계를 포함하여 이루어진다.In addition, in order to achieve the above object, there is provided a method for controlling a mixed reality experience system according to the present invention, comprising the steps of: determining the locations of mixed reality participants in a preset area; extracting augmented reality content corresponding to the action or location of the mixed reality experiencer; setting augmented reality coordinates of the extracted augmented reality content based on the determined positions of the mixed reality experiencers; and controlling the augmented reality content to be displayed at a position corresponding to the corresponding augmented reality coordinates on the display device of the mixed reality experiencer.

여기서, 상기 설정된 구역 안에 있는 혼합현실 체험자 중 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠를 추출하고, 상기 판단된 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 밀집도를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하고, 상기 특정 혼합현실 체험자의 디스플레이 장치에 그 대응되는 증강현실 콘텐츠가 상기 설정된 증강현실 좌표에 해당하는 위치에 표시되도록 제어할 수 있다.Here, augmented reality content corresponding to a specific mixed reality experiencer is extracted from among the mixed reality experiencers within the set area, and the density of the remaining mixed reality experiencers other than the determined specific mixed reality experiencer is taken into account to the specific mixed reality experiencer. It is possible to set the augmented reality coordinates of the corresponding augmented reality content, and control so that the corresponding augmented reality content is displayed on the display device of the specific mixed reality experiencer at a position corresponding to the set augmented reality coordinates.

여기서, 각 혼합현실 체험자들 간의 간격을 기초로 적어도 하나의 밀집 그룹을 판단하고, 그 판단된 밀집 그룹들로부터 떨어진 거리를 참고하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.Here, at least one dense group is determined based on the interval between each mixed reality experiencer, and the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer are set by referring to the distance from the determined dense groups. can

여기서, 상기 판단된 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 현재의 밀집도 및 그 나머지 혼합현실 체험자들에게 제공되는 증강현실 콘텐츠의 위치를 고려하여 기 설정된 시간 이후의 밀집도 변화를 예측하고, 그 예측된 밀집도 변화를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.Here, in consideration of the current density of the remaining mixed reality experiencers except for the determined specific mixed reality experiencer and the location of the augmented reality content provided to the remaining mixed reality experiencers, the density change after a preset time is predicted, and the In consideration of the predicted density change, the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality user may be set.

여기서, 상기 기 설정된 구역의 벽에는 해당 구역 안에 있는 혼합현실 체험자들이 동시에 볼 수 있는 가상현실 콘텐츠가 표시될 수 있다.Here, on the wall of the preset zone, virtual reality content that can be simultaneously viewed by mixed reality participants in the zone may be displayed.

여기서, 상기 가상현실 콘텐츠 상에서의 각 혼합현실 체험자의 위치에 해당하는 가상현실 위치 좌표를 산출하는 단계를 더 포함하고, 상기 산출된 각 혼합현실 체험자의 가상현실 위치 좌표를 추가로 참조하여 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.Here, the method further includes calculating virtual reality location coordinates corresponding to the location of each mixed reality experiencer on the virtual reality content, and additionally referring to the calculated virtual reality location coordinates of each mixed reality experiencer on the augmented reality content You can set the augmented reality coordinates of

이상 설명한 바와 같이 본 발명에 따르면, 혼합현실 체험자들이 증강현실 콘텐츠를 이용함에 있어서 발생하는 불편을 최소화할 수 있다.As described above, according to the present invention, it is possible to minimize the inconvenience that occurs when mixed reality users use augmented reality content.

즉, 체험 공간에 있는 다른 체험자들의 위치를 참조하여 증강현실 콘텐츠를 배치하거나 이동시킴으로써, 체험 공간에 있는 체험자들간의 충돌을 방지하고, 혼합현실 체험자들로 하여금 보다 자유로운 혼합현실 체험을 경험할 수 있도록 하는 효과가 있다.In other words, by arranging or moving augmented reality content with reference to the location of other experiencers in the experience space, collisions between the experiencers in the experience space are prevented, and mixed reality experiencers can experience a more free mixed reality experience. It works.

도 1은 본 발명의 일 실시예에 따른 혼합현실 체험 시스템을 포함하는 전체 시스템의 개략 구성도이고,
도 2는 도 1의 혼합현실 체험 시스템의 기능 블록도이고,
도 3은 체험 공간 안에 있는 혼합현실 체험자들을 밀집 정도에 따라 그룹 처리하는 과정을 나타낸 도면이고,
도 4는 가상현실 상에서의 각 혼합현실 체험자의 좌표에 따라 증강현실 콘텐츠 표시 위치를 변경시키는 과정을 나타낸 도면이고,
도 5 및 도 6은 본 발명의 일 실시예에 따른 혼합현실 체험 시스템의 제어흐름도이다.
1 is a schematic configuration diagram of an entire system including a mixed reality experience system according to an embodiment of the present invention;
2 is a functional block diagram of the mixed reality experience system of FIG. 1;
3 is a diagram showing the process of group processing of mixed reality participants in the experience space according to the degree of concentration;
4 is a diagram illustrating a process of changing the display position of augmented reality content according to the coordinates of each mixed reality experiencer in virtual reality;
5 and 6 are control flowcharts of a mixed reality experience system according to an embodiment of the present invention.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

이하 본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 특히 본 발명은 각 실시예에 포함되는 개별 구성, 개별 기능, 또는 개별 단계 중 적어도 어느 하나 이상의 조합으로 구성될 수 있다.Hereinafter, each embodiment according to the present invention is merely an example for helping the understanding of the present invention, and the present invention is not limited to these embodiments. In particular, the present invention may be composed of a combination of at least any one of individual components, individual functions, or individual steps included in each embodiment.

특히, 편의상 청구 범위의 일부 청구항에는 '(a)'와 같은 알파벳을 포함시켰으나, 이러한 알파벳이 각 단계의 순서를 규정하는 것은 아니다.In particular, some claims of the claims include an alphabet such as '(a)' for convenience, but the alphabet does not define the order of each step.

또한 이하 본 발명에 따른 각 실시예에서 언급하는 각 신호는 한 번의 연결 등에 의해 전송되는 하나의 신호를 의미할 수도 있지만, 후술하는 특정 기능 수행을 목적으로 전송되는 일련의 신호 그룹을 의미할 수도 있다. 즉, 각 실시예에서는 소정의 시간 간격을 두고 전송되거나 상대 장치로부터의 응답 신호를 수신한 이후에 전송되는 복수 개의 신호들이 편의상 하나의 신호명으로 표현될 수 있는 것이다.In addition, each signal referred to in each embodiment according to the present invention below may mean one signal transmitted by one connection, etc., but may also mean a series of signal groups transmitted for the purpose of performing a specific function to be described later. . That is, in each embodiment, a plurality of signals transmitted at a predetermined time interval or after receiving a response signal from a counterpart device may be expressed as one signal name for convenience.

본 발명의 일 실시예에 따른 혼합현실 체험 시스템(10)을 포함하는 전체 시스템의 개략 구성은 도 1에 도시된 바와 같다.A schematic configuration of the entire system including the mixed reality experience system 10 according to an embodiment of the present invention is shown in FIG. 1 .

우선 본 실시예를 설명함에 있어서 특정 공간 즉, 혼합현실을 체험하기 위한 특정 공간 안에는 복수의 체험자가 동시에 들어가 있는 상황을 전제로 한다.First, in the description of the present embodiment, it is assumed that a plurality of experiencers are simultaneously entered in a specific space, that is, a specific space for experiencing mixed reality.

도 1에서 HMD(40)(Head Mounted Display)는 본 발명에 따른 체험자 즉, 혼합현실 체험자가 착용하는 것으로서, 무선 통신을 통해 혼합현실 체험 시스템(10)으로부터 수신되는 콘텐츠를 표시하는 기능을 수행한다.1, the HMD 40 (Head Mounted Display) is worn by the experiencer, that is, the mixed reality experiencer according to the present invention, and performs a function of displaying content received from the mixed reality experience system 10 through wireless communication. .

예를 들어 혼합현실 체험 시스템(10)이 각 혼합현실 체험자가 착용한 HMD(40)에 증강현실 콘텐츠를 전송하면 HMD(40)는 혼합현실 체험 시스템(10)으로부터 수신된 증강현실 콘텐츠를 디스플레이부에 표시하여 혼합현실 체험자가 볼 수 있도록 한다.For example, when the mixed reality experience system 10 transmits augmented reality content to the HMD 40 worn by each mixed reality experiencer, the HMD 40 displays the augmented reality content received from the mixed reality experience system 10 on the display unit. mark so that the mixed reality experiencer can see it.

여기서 HMD(40)의 디스플레이부는 투명 유리로 되어 있어서 외부의 실제 상황을 볼 수 있도록 구성될 수도 있다.Here, since the display unit of the HMD 40 is made of transparent glass, it may be configured to view the actual situation outside.

도 1에서는 소정의 액세스 포인트(20)를 통해 HMD(40)와 혼합현실 체험 시스템(10)이 통신하는 것을 일 예로 하였으나, 통신 수단이 이에 한정되는 것은 아니다.In FIG. 1 , the HMD 40 and the mixed reality experience system 10 communicate through a predetermined access point 20 as an example, but the communication means is not limited thereto.

한편, 도 1에서 감시용 카메라(30)는 혼합현실 체험자의 위치를 촬영하여 혼합현실 체험 시스템(10)에 전송하는 기능을 수행한다.Meanwhile, in FIG. 1 , the surveillance camera 30 captures the location of the mixed reality experiencer and transmits it to the mixed reality experience system 10 .

이는 각 혼합현실 체험자의 위치를 파악하기 위한 것으로서 이에 대한 보다 상세한 설명은 후술토록 한다.This is to identify the location of each mixed reality experiencer, and a more detailed description thereof will be provided later.

한편, 도 1에서 혼합현실 체험 시스템(10)은 기 설정된 구역 안에 있는 체험자에게 가상현실 콘텐츠 및/또는 증강현실 콘텐츠를 제공하여 새로운 경험을 하도록 하는 것으로서, 본 실시예에서는 해당 구역에 있는 벽면(예를 들어 해당 구역을 감싸는 벽면)에는 가상 콘텐츠가 표시되도록 하고, 체험자가 소지하거나 착용한 디스플레이 장치(본 실시예에서는 HMD(40))에는 증강현실 콘텐츠를 제공하는 것을 일 예로 한다. 소정의 벽면에 가상현실 콘텐츠를 표시하는 것 자체는 공지된 기술에 해당하므로 보다 상세한 설명은 생략한다.Meanwhile, in FIG. 1 , the mixed reality experience system 10 provides virtual reality content and/or augmented reality content to the experiencer in a preset area to have a new experience, and in this embodiment, a wall in the corresponding area (eg For example, virtual content is displayed on a wall surrounding the corresponding area, and augmented reality content is provided to a display device (HMD 40 in this embodiment) carried or worn by the experiencer. Since displaying the virtual reality content on a predetermined wall corresponds to a known technology, a detailed description thereof will be omitted.

이러한 혼합현실 체험 시스템(10)의 구체적인 기능 블록의 일 예는 도 2에 도시된 바와 같다.An example of a specific functional block of the mixed reality experience system 10 is shown in FIG. 2 .

동 도면에 도시된 바와 같이 혼합현실 체험 시스템(10)은 위치 판단부(11), 증강현실 콘텐츠 추출부(12), 좌표 설정부(13), 표시 제어부(14), 저장부(15)를 포함하여 구성될 수 있다.As shown in the figure, the mixed reality experience system 10 includes a location determination unit 11, an augmented reality content extraction unit 12, a coordinate setting unit 13, a display control unit 14, and a storage unit 15. may be included.

여기서 저장부(15)는 혼합현실 체험 시스템(10)의 동작에 필요한 애플리케이션, 설정 데이터, 콘텐츠 들을 저장하는 기능은 물론이고, 혼합현실 체험 시스템(10)의 동작 중 새로 발생하거나 또는 외부로부터 수신되는 정보 또는 데이터, 콘텐츠 등을 저장하는 기능을 수행한다.Here, the storage unit 15 has a function of storing applications, setting data, and contents necessary for the operation of the mixed reality experience system 10, as well as newly generated or received from the outside during the operation of the mixed reality experience system 10. It performs a function of storing information, data, or content.

이하에서는 이러한 저장부(15)에 대한 별도 표현이 없더라도, 필요한 콘텐츠를 추출하거나 또는 소정의 데이터를 설정하는 등의 기능을 처리할 때 저장부(15)를 이용하는 것을 전제로 한다.Hereinafter, even if there is no separate expression for the storage unit 15 , it is assumed that the storage unit 15 is used when processing functions such as extracting necessary content or setting predetermined data.

위치 판단부(11)는 기 설정된 구역 안에 있는 혼합현실 체험자들의 위치를 판단하는 기능을 수행한다.The location determining unit 11 performs a function of determining the location of mixed reality experiencers in a preset area.

즉, 혼합현실 체험자들의 위치는 앞서 설명한 감시용 카메라(30)를 통해 촬영된 촬영 영상을 분석하여 판단할 수 있다.That is, the location of the mixed reality experiencers can be determined by analyzing the captured image captured by the surveillance camera 30 described above.

이때 위치 판단부(11)는 판단된 각 혼합현실 체험자들의 위치를 기초로 밀집도 역시 판단할 수 있다.In this case, the location determination unit 11 may also determine the density based on the determined locations of each mixed reality experiencer.

복수의 감시용 카메라(30)를 통해 촬영된 영상 분석을 통해 기존에 없던 피사체 즉, 설정된 구역 안에 진입한 체험자들의 위치를 판단하는 것 그 자체는 공지된 기술에 해당하므로 보다 상세한 설명은 생략한다.Determining the position of a subject that did not exist before, that is, the position of the participants who entered the set area through the analysis of the images captured by the plurality of surveillance cameras 30 itself corresponds to a known technology, and thus a more detailed description will be omitted.

증강현실 콘텐츠 추출부(12)는 혼합현실 체험자의 행동 또는 위치에 대응하는 증강현실 콘텐츠를 추출하는 기능을 수행한다. 이렇게 추출된 증강현실 콘텐츠는 후술하는 바와 같이 각 혼합현실 체험자에게 제공되게 된다. 여기서 혼합현실 체험자의 행동은 각 혼합현실 체험자에게 장착된 센서(미 도시함)로부터 수신된 정보에 의해 판단할 수도 있고, 또는 앞서 설명한 감시용 카메라(30)에 의한 영상 분석을 통해 판단할 수도 있다.The augmented reality content extraction unit 12 performs a function of extracting augmented reality content corresponding to the action or location of the mixed reality experiencer. The augmented reality content extracted in this way is provided to each mixed reality experiencer, as will be described later. Here, the behavior of the mixed reality experiencer may be determined by information received from a sensor (not shown) mounted on each mixed reality experiencer, or may be determined through image analysis by the surveillance camera 30 described above. .

즉, 증강현실 콘텐츠 추출부(12)는 동일한 구역(즉, 체험 공간)에 있는 혼합현실 체험자라 하더라도 그 각각의 혼합현실 체험자들의 행동이나 그 위치에 따라 제공되는 증강현실 콘텐츠의 종류가 달라지도록 할 수 있는 것이다.That is, the augmented reality content extraction unit 12 is configured to change the type of augmented reality content provided according to the behavior or location of each mixed reality experiencer even if the mixed reality experiencer is in the same area (ie, the experience space). it can be

예를 들어 활발히 움직이는 혼합현실 체험자에게는 토끼와 같은 빠른 동물 콘텐츠가 제공되도록 하고, 천천히 움직이는 혼합현실 체험자에게는 상대적으로 느린 콘텐츠가 제공되도록 할 수 있는 것이다.For example, fast animal content such as rabbits may be provided to an actively moving mixed reality experiencer, and relatively slow content may be provided to a slow moving mixed reality experiencer.

또한 증강현실 콘텐츠 추출부(12)는 특정 행동을 하거나 특정 위치로 이동한 혼합현실 체험자에게만 특정 증강현실 콘텐츠가 제공되도록 하기 위한 증강현실 콘텐츠를 추출할 수 있다.In addition, the augmented reality content extraction unit 12 may extract augmented reality content for providing specific augmented reality content only to mixed reality experiencers who perform a specific action or move to a specific location.

좌표 설정부(13)는 위치 판단부(11)에서 판단한 혼합현실 체험자들의 위치를 기초로 상기 증강현실 콘텐츠 추출부(12)에서 추출한 증강현실 콘텐츠의 증강현실 좌표를 설정하는 기능을 수행한다.The coordinate setting unit 13 performs a function of setting the augmented reality coordinates of the augmented reality content extracted by the augmented reality content extraction unit 12 based on the positions of the mixed reality experiencers determined by the position determining unit 11 .

예를 들어 좌표 설정부(13)는 A라는 혼합현실 체험자가 체험 공간 내에서 위치한 위치에 따라 그 A라는 혼합현실 체험자에게 제공할 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있고, 또는 A를 제외한 나머지 혼합현실 체험자가 체험 공간 내에서 위치한 위치 또는 A를 포함하는 모든 혼합현실 체험자의 체험 공간내 위치에 따라 그 A라는 혼합현실 체험자에게 제공할 증강현실 콘텐츠의 증강현실 좌표를 설정할 수도 있다.For example, the coordinate setting unit 13 may set the augmented reality coordinates of the augmented reality content to be provided to the mixed reality experiencer named A according to the location where the mixed reality experiencer A is located in the experience space, or other than A According to the location where the mixed reality experiencer is located in the experience space or the location in the experience space of all mixed reality experiencers including A, the augmented reality coordinates of the augmented reality content to be provided to the mixed reality experiencer A may be set.

예를 들어 특정 혼합현실 체험자(A)에게 소정의 증강현실 콘텐츠를 제공하고자 하는 경우, 좌표 설정부(13)는 위치 판단부(11)에서 판단한 특정 혼합현실 체험자(A)를 제외한 나머지 혼합현실 체험자들의 밀집도를 고려하여 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.For example, when it is desired to provide a certain augmented reality content to a specific mixed reality experiencer (A), the coordinate setting unit 13 is a mixed reality experiencer other than the specific mixed reality experiencer (A) determined by the location determination unit 11 In consideration of their density, it is possible to set the augmented reality coordinates of the augmented reality content corresponding to a specific mixed reality experiencer.

여기서 증강현실 좌표라는 것은 증강 현실 콘텐츠를 배치하는 위치 좌표를 의미하는 것으로서, 그 증강현실 좌표가 결정되면 체험자는 해당 증강현실 좌표에 대응되는 위치에 증강현실 콘텐츠가 존재하는 것으로 인식할 수 있다. 따라서 체험자가 고개를 돌리거나 자신의 위치를 변경하는 경우 증강현실 콘텐츠가 시야에서 보이기도 하고 사라질 수도 있다.Here, the augmented reality coordinates refer to coordinates of a location where the augmented reality content is arranged, and when the augmented reality coordinates are determined, the user can recognize that the augmented reality content exists at a location corresponding to the augmented reality coordinates. Therefore, when the experiencer turns his/her head or changes his/her position, augmented reality content may appear or disappear from view.

증강현실 콘텐츠에 대한 증강현실 좌표가 설정되어 체험자가 이를 인식하는 과정 그 자체는 공지된 기술에 해당하므로 보다 상세한 설명은 생략한다.Since augmented reality coordinates for augmented reality content are set and the process in which the experiencer recognizes it corresponds to a known technology, a more detailed description will be omitted.

체험공간 안에 많은 사람이 있는 상태에서 특정 혼합현실 체험자(A)에게 제공되는 증강현실 콘텐츠의 위치가 그 다른 사람들이 밀집된 위치에 있게 된다면, 특정 혼합현실 체험자(A)가 그 증강현실 콘텐츠가 위치한 곳까지 이동하는 경우 많은 사람들과 부딪히는 일이 발생하게 되는데, 본 실시예에서처럼 좌표 설정부(13)가 나머지 혼합현실 체험자들의 밀집도를 고려하여 특정 혼합현실 체험자(A)에게 제공될 증강현실 콘텐츠의 좌표를 설정하게 된다면 이러한 문제점은 발생하지 않게 된다.When there are many people in the experience space, if the location of the augmented reality content provided to a specific mixed reality experiencer (A) is in a location where other people are concentrated, the specific mixed reality experiencer (A) is the location where the augmented reality content is located When moving up to , collisions occur with many people. As in this embodiment, the coordinate setting unit 13 determines the coordinates of the augmented reality content to be provided to a specific mixed reality experiencer (A) in consideration of the density of the remaining mixed reality experiencers. If it is set, these problems will not occur.

특히, 좌표 설정부(13)는 위치 판단부(11)에서 판단한 특정 혼합현실 체험자(A)를 제외한 나머지 혼합현실 체험자들의 간의 간격을 기초로 적어도 하나의 밀집 그룹을 판단할 수 있는데, 그 판단된 밀집 그룹들로부터 떨어진 거리를 참고하여 특정 혼합현실 체험자(A)에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.In particular, the coordinate setting unit 13 may determine at least one dense group based on the interval between the mixed reality experiencers other than the specific mixed reality experiencer A determined by the location determination unit 11, and the determined The augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer (A) may be set with reference to the distance from the dense groups.

예를 들어 위치 판단부(11)에서 판단된 체험 공간 내 혼합현실 체험자들의 위치가 도 3(a)와 같은 경우, 좌표 설정부(13)는 밀집도를 고려하여 도 3(b)와 같이 세 개의 밀집 그룹(111, 112, 113)을 설정하고, 특정 혼합현실 체험자(A)에게 제공될 증강현실 콘텐츠의 위치 후보군 두 개(121, 122) 중에서, 각 밀집 그룹들(111, 112, 113)과의 거리를 평균 내어 평균값이 더 먼 위치 후보군(122)을 해당 특정 혼합현실 체험자(A)에게 제공될 증강현실 콘텐츠의 위치로 설정할 수 있는 것이다.For example, when the location of the mixed reality experiencers in the experience space determined by the location determination unit 11 is as shown in FIG. The dense groups 111, 112, and 113 are set, and among the two candidate groups 121 and 122 of the augmented reality content to be provided to the specific mixed reality experiencer A, the dense groups 111, 112, 113 and By averaging the distances, the candidate group 122 with a farther average value can be set as the location of the augmented reality content to be provided to the specific mixed reality experiencer A.

또한, 좌표 설정부(13)는 위치 판단부(11)에서 판단한 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 현재의 밀집도 및 그 나머지 혼합현실 체험자들에게 제공되는 증강현실 콘텐츠의 위치를 고려하여 기 설정된 시간 이후의 밀집도 변화를 예측하고, 그 예측된 밀집도 변화를 고려하여 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수도 있다.In addition, the coordinate setting unit 13 considers the current density of the remaining mixed reality experiencers except for the specific mixed reality experiencer determined by the location determination unit 11 and the location of the augmented reality content provided to the remaining mixed reality experiencers. It is also possible to predict the density change after a set time, and set the augmented reality coordinates of the augmented reality content corresponding to a specific mixed reality experiencer in consideration of the predicted density change.

예를 들어 체험 공간 내에 있는 각 혼합현실 체험자들은 각자에게 보이는 증강현실 콘텐츠에 따른 행동(다가가거나 도망가거나 등)을 할 수 있으므로, 현재의 각 혼합현실 체험자들의 밀집도만을 고려하는 것이 아니라, 그 각각의 혼합현실 체험자에게 제공되는 증강현실 콘텐츠의 종류나 위치를 고려하여 기 설정된 시간(예를 들어 5초, 10초, 30초 등)이 경과한 이후의 밀집도 변화를 예측하고, 그 예측된 밀집도 변화를 고려하여 특정 혼합현실 체험자(A)에 제공될 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있는 것이다.For example, since each mixed reality experiencer in the experience space can act (approaching or running away, etc.) according to the augmented reality content visible to each other, not only the density of each current mixed reality experiencer is considered, but each In consideration of the type or location of the augmented reality content provided to the mixed reality experiencer, the density change after a preset time (eg, 5 seconds, 10 seconds, 30 seconds, etc.) has elapsed, and the predicted density change In consideration of this, it is possible to set the augmented reality coordinates of the augmented reality content to be provided to a specific mixed reality experiencer (A).

예를 들어 체험 공간내 좌측에 몰려 있던 나머지 혼합현실 체험자들 모두에게 보너스에 해당하는 증강현실 콘텐츠가 체험 공간 내 우측에 표시되는 경우, 오히려 현재 밀집되어 있는 좌측의 특정 위치를 특정 혼합현실 체험자(A)에 대응되는 증강현실 콘텐츠의 위치 좌표로 설정할 수 있는 것이다.For example, if augmented reality content, which is a bonus for all the remaining mixed reality experiencers who were clustered on the left side of the experience space, is displayed on the right side of the experience space, rather a specific mixed reality experiencer (A) ) can be set as the location coordinates of the augmented reality content corresponding to the

또한 앞서 언급한 바와 같이 체험 공간의 벽에는 체험 공간 안에 있는 혼합현실 체험자들이 동시에 볼 수 있는 가상현실 콘텐츠가 표시될 수 있는데, 이 경우 각 혼합현실 체험자들의 행동에 따라 그 가상현실 콘텐츠 상에서의 각 혼합현실 체험자의 위치 좌표가 서로 다를 수 있다.Also, as mentioned above, on the wall of the experience space, virtual reality content that can be viewed simultaneously by mixed reality experiencers in the experience space may be displayed. The location coordinates of the real experiencer may be different from each other.

이 경우 좌표 설정부(13)는 가상현실 콘텐츠 상에서의 각 혼합현실 체험자의 위치에 해당하는 가상현실 위치 좌표를 산출하고, 그 산출된 각 혼합현실 체험자의 가상현실 위치 좌표를 추가로 참조하여 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.In this case, the coordinate setting unit 13 calculates the virtual reality location coordinates corresponding to the location of each mixed reality experiencer on the virtual reality content, and additionally refers to the calculated virtual reality location coordinates of each mixed reality experiencer in augmented reality. You can set the augmented reality coordinates of the content.

예를 들어 도 4와 같이 체험 공간 안에 두 명의 혼합현실 체험자(A,B)가 있는 경우, 그 혼합현실 체험자의 행동 또는 이동에 따라 가상현실 공간 좌표가 서로 달라질 수 있는데, 만일 제1 혼합현실 체험자(A)는 가상현실 공간 좌표상에서 산 정상과 같이 높은 위치에 있게 되고 제2 혼합현실 체험자(B)가 가상현실 공간 좌표상에서 산 아래와 같이 낮은 위치에 있게 되었다고 가정하면, 좌표 설정부(13)는 독수리 형상을 가지는 증강현실 콘텐츠를 제1 혼합현실 체험자(A) 및 제2 혼합현실 체험자(B)에 제공하기 위한 좌표를 설정함에 있어서, 제1 혼합현실 체험자(A)에 대응해서는 수평방향으로 바라보는 위치에 증강현실 콘텐츠의 위치좌표를 설정하고, 제2 혼합현실 체험자(B)에 대응해서는 사선 위쪽 방향으로 바라보는 위치에 증강현실 콘텐츠의 위치 좌표를 설정할 수 있는 것이다.For example, if there are two mixed reality experiencers (A, B) in the experience space as shown in FIG. 4 , the virtual reality space coordinates may be different depending on the actions or movements of the mixed reality experiencers. If the first mixed reality experiencer Assuming that (A) is at a high position like the top of a mountain on the virtual reality space coordinates and the second mixed reality experiencer (B) is on a low position like the mountain bottom on the virtual reality space coordinates, the coordinate setting unit 13 is In setting the coordinates for providing augmented reality content having an eagle shape to the first mixed reality experiencer (A) and the second mixed reality experiencer (B), in response to the first mixed reality experiencer (A), look in the horizontal direction It is possible to set the position coordinates of the augmented reality content in the viewing position, and set the position coordinates of the augmented reality content to the position looking in the diagonally upward direction in response to the second mixed reality experiencer (B).

한편, 표시 제어부(14)는 혼합현실 체험자의 디스플레이 장치에 증강현실 콘텐츠가 그 대응되는 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 기능을 수행한다.On the other hand, the display control unit 14 performs a function of controlling the augmented reality content to be displayed on the display device of the mixed reality experiencer at a position corresponding to the corresponding augmented reality coordinates.

예를 들어 표시 제어부(14)는 혼합현실 체험자가 바라보는 방향에 대한 정보를 HMD(40)로부터 수신하는 경우에는 그 정보를 참조하여 증강현실 콘텐츠의 전송 여부를 결정할 수 있고, 또는 증강현실 콘텐츠와 그 증강현실 위치 좌표를 함께 HMD(40)에 제공하여 HMD(40)스스로 증강현실 콘텐츠의 표시 여부를 결정하도록 할 수도 있다.For example, when the display control unit 14 receives information on the direction in which the mixed reality experiencer looks from the HMD 40, it may determine whether to transmit the augmented reality content with reference to the information, or the augmented reality content and By providing the augmented reality location coordinates together to the HMD 40, the HMD 40 may determine whether to display the augmented reality content by itself.

증강현실 콘텐츠의 종류와 위치가 결정된 경우, HMD(40)를 통해 표시되도록 하는 기술 그 자체는 공지된 기술에 해당하므로 보다 상세한 설명은 생략한다.When the type and location of the augmented reality content is determined, the technology itself to be displayed through the HMD 40 corresponds to a known technology, and thus a more detailed description will be omitted.

이하에서는 도 5를 참조하여 본 발명의 일 실시예에 따른 혼합현실 체험 시스템(10)의 전체적인 제어 흐름을 설명한다.Hereinafter, the overall control flow of the mixed reality experience system 10 according to an embodiment of the present invention will be described with reference to FIG. 5 .

우선, 혼합현실 체험 시스템(10)은 지속적으로 기 설정된 구역(즉, 혼합현실 체험 공간) 안에 있는 혼합현실 체험자들의 위치를 판단한다(단계 S1).First, the mixed reality experience system 10 continuously determines the positions of the mixed reality experiencers in a preset area (ie, the mixed reality experience space) (step S1).

이어서 각 혼합현실 체험자들의 행동과 위치에 대응하는 증강현실 콘텐츠를 추출하는데, 이때 추출되는 증강현실 콘텐츠는 각 혼합현실 체험자마다 다를 수도 있다(단계 S3).Then, augmented reality content corresponding to the behavior and location of each mixed reality experiencer is extracted, and the extracted augmented reality content may be different for each mixed reality experiencer (step S3).

또한 혼합현실 체험 시스템(10)은 앞서 판단된 각 혼합현실 체험자들의 위치를 기초로 증강현실 좌표를 설정하고(단계 S5), 이렇게 추출된 증강현실 콘텐츠가 해당하는 증강현실 좌표에 표시되도록 제어한다(단계 S7). 여기서 증강현실 좌표는 증강현실 콘텐츠가 표시되는 좌표를 의미하고, 실제로는 체험 공간 내의 좌표로 변환된 것일 수 있다.In addition, the mixed reality experience system 10 sets the augmented reality coordinates based on the previously determined positions of each mixed reality experiencer (step S5), and controls so that the extracted augmented reality content is displayed in the corresponding augmented reality coordinates ( step S7). Here, the augmented reality coordinates mean the coordinates at which the augmented reality content is displayed, and may actually be converted into coordinates in the experience space.

예를 들어 증강현실 원 좌표는 혼합현실 체험자를 기준으로 한 상대적 좌표에 해당할 수도 있는데, 이때 실제 체험 공간 내의 좌표로 변환하는 과정이 이루어질 수도 있는 것이다.For example, the augmented reality original coordinates may correspond to the relative coordinates with respect to the mixed reality experiencer. In this case, the process of converting them into coordinates in the actual experience space may be performed.

도 5는 본 발명의 일 실시예에 따른 혼합현실 체험 시스템(10)의 전체적인 제어 과정을 나타낸 것이고, 도 6은 특정 혼합현실 체험자(A)를 기준으로 하여 구체적인 제어 과정을 설명하기 위해 나타낸 것이다.5 shows the overall control process of the mixed reality experience system 10 according to an embodiment of the present invention, and FIG. 6 is a diagram to explain the specific control process based on the specific mixed reality experiencer A. As shown in FIG.

특정 혼합현실 체험자(A)로부터 기 설정된 특정 행동이 감지된 경우(단계 S11), 그 특정 혼합현실 체험자(A)에게 제공될 증강현실 콘텐츠를 추출한다(단계 S13).When a predetermined specific action is detected from the specific mixed reality experiencer (A) (step S11), augmented reality content to be provided to the specific mixed reality experiencer (A) is extracted (step S13).

또한, 혼합현실 체험 시스템(10)은 현재의 특정 혼합현실 체험자(A)의 위치를 기초로 증강현실 콘텐츠가 표시될 위치 후보군을 추출한다(단계 S15).In addition, the mixed reality experience system 10 extracts a position candidate group where the augmented reality content is to be displayed based on the current location of the specific mixed reality experiencer A (step S15).

이어서 혼합현실 체험 시스템(10)은 체험 공간 안에 있는 나머지 혼합현실 체험자들의 위치를 판단한다(단계 S17).Next, the mixed reality experience system 10 determines the positions of the remaining mixed reality experiencers in the experience space (step S17).

혼합현실 체험 시스템(10)은 나머지 혼합현실 체험자들의 위치를 기초로 밀집 그룹을 구분한 후(단계 S19), 증강현실 콘텐츠 위치 후보군 중에서 밀집 그룹과의 거리를 기초로 평균값이 큰 곳을 그 특정 혼합현실 체험자(A)에게 제공된 증강현실 콘텐츠의 위치 좌표로 설정한다(단계 S21).The mixed reality experience system 10 classifies a dense group based on the positions of the remaining mixed reality experiencers (step S19), and then selects a location with a high average value based on the distance from the dense group among the augmented reality content location candidates. It is set as the coordinates of the location of the augmented reality content provided to the reality experiencer (A) (step S21).

이어서 혼합현실 체험 시스템(10)은 이렇게 설정된 위치 좌표에 앞서 추출한 증강현실 콘텐츠가 표시되도록 특정 혼합현실 체험자(A)의 HMD(40)에 전달할 수 있다(단계 S23).Subsequently, the mixed reality experience system 10 may transmit to the HMD 40 of the specific mixed reality experiencer A so that the augmented reality content extracted before the set location coordinates is displayed (step S23).

본 실시예에서는 복수의 위치 후보군 중에서 나머지 혼합현실 체험자들의 밀집도를 고려하여 선정하는 것을 일 예로 하였으나, 일단 기 설정된 증강현실 좌표를 추출한 후, 해당 좌표에 대한 나머지 혼합현실 체험자들의 밀집도가 기 설정된 값 이상인 경우, 증강현실 좌표 이동을 처리할 수도 있다.In this embodiment, the selection is made in consideration of the density of the remaining mixed reality experiencers from among the plurality of location candidates as an example. In this case, augmented reality coordinates may be moved.

이 경우 좌표 이동 처리 과정에는 앞서 설명한 바와 같이 별도의 위치 후보군을 선정하고, 그 선정된 위치 후보군들과 밀집 그룹들 간의 거리를 고려하여 최종적인 증강현실 좌표를 설정할 수 있다.In this case, in the coordinate movement process, as described above, a separate location candidate group may be selected, and final augmented reality coordinates may be set in consideration of the distance between the selected location candidate groups and dense groups.

한편, 상술한 각 실시예를 수행하는 과정은 소정의 기록 매체(예를 들어 컴퓨터로 판독 가능한)에 저장된 프로그램 또는 애플리케이션에 의해 이루어질 수 있음은 물론이다. 여기서 기록 매체는 RAM(Random Access Memory)과 같은 전자적 기록 매체, 하드 디스크와 같은 자기적 기록 매체, CD(Compact Disk)와 같은 광학적 기록 매체 등을 모두 포함한다.Meanwhile, it goes without saying that the process of performing each of the above-described embodiments may be performed by a program or application stored in a predetermined recording medium (eg, computer-readable). Here, the recording medium includes an electronic recording medium such as a random access memory (RAM), a magnetic recording medium such as a hard disk, and an optical recording medium such as a compact disk (CD).

이때, 기록 매체에 저장된 프로그램은 컴퓨터나 스마트폰 등과 같은 하드웨어 상에서 실행되어 상술한 각 실시예를 수행할 수 있다. 특히, 상술한 본 발명에 따른 혼합현실 체험 시스템(10)의 기능 블록 중 적어도 어느 하나는 이러한 프로그램 또는 애플리케이션에 의해 구현될 수 있다.In this case, the program stored in the recording medium may be executed on hardware such as a computer or smart phone to perform each of the above-described embodiments. In particular, at least one of the functional blocks of the mixed reality experience system 10 according to the present invention described above may be implemented by such a program or application.

또한, 본 발명은 상기한 특정 실시예에 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 변형 및 수정하여 실시할 수 있는 것이다. 이러한 변형 및 수정이 첨부되는 청구범위에 속한다면 본 발명에 포함된다는 것은 자명할 것이다. In addition, the present invention is not limited to the specific embodiments described above, but can be practiced with various modifications and modifications within the scope without departing from the gist of the present invention. It will be apparent that such modifications and variations are included in the present invention provided they fall within the scope of the appended claims.

10 : 혼합현실 체험 시스템 20 : 액세스 포인트
30 : 감시 카메라 40 : HMD
11 : 위치 판단부 12 : 증강현실 콘텐츠 추출부
13 : 좌표 설정부 14 : 표시 제어부
15 : 저장부
10: mixed reality experience system 20: access point
30: surveillance camera 40: HMD
11: location determination unit 12: augmented reality content extraction unit
13: coordinate setting unit 14: display control unit
15: storage

Claims (14)

(a) 기 설정된 구역 안에 있는 혼합현실 체험자들의 위치를 판단하는 단계와;
(b) 상기 혼합현실 체험자의 행동 또는 위치에 대응하는 증강현실 콘텐츠를 추출하는 단계와;
(c) 상기 (a) 단계에서 판단된 혼합현실 체험자들의 위치를 기초로 상기 (b) 단계에서 추출된 증강현실 콘텐츠의 증강현실 좌표를 설정하는 단계와;
(d) 상기 혼합현실 체험자의 디스플레이 장치에 상기 증강현실 콘텐츠가 그 대응되는 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 단계를 포함하는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.
(a) determining the location of the mixed reality experiencers in a preset area;
(b) extracting augmented reality content corresponding to the action or location of the mixed reality experiencer;
(c) setting the augmented reality coordinates of the augmented reality content extracted in the step (b) based on the positions of the mixed reality experiencers determined in the step (a);
(d) controlling the augmented reality content to be displayed at a location corresponding to the corresponding augmented reality coordinates on the display device of the mixed reality experiencer.
제1항에 있어서,
상기 (b) 단계에서는, 상기 설정된 구역 안에 있는 혼합현실 체험자 중 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠를 추출하고,
상기 (c) 단계에서는 상기 (a) 단계에서 판단된 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 밀집도를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하고,
상기 (d) 단계에서는, 상기 특정 혼합현실 체험자의 디스플레이 장치에 그 대응되는 증강현실 콘텐츠가 상기 (c) 단계에서 설정된 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.
According to claim 1,
In the step (b), the augmented reality content corresponding to a specific mixed reality experiencer among the mixed reality experiencers in the set area is extracted,
In the step (c), the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer are set in consideration of the density of the mixed reality experiencers other than the specific mixed reality experiencer determined in the step (a),
In the step (d), the augmented reality content corresponding to the display device of the specific mixed reality experiencer is controlled to be displayed at a position corresponding to the augmented reality coordinates set in the step (c). control method.
제2항에 있어서,
상기 (c) 단계에서는, 각 혼합현실 체험자들간의 간격을 기초로 적어도 하나의 밀집 그룹을 판단하고, 그 판단된 밀집 그룹들로부터 떨어진 거리를 참고하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.
3. The method of claim 2,
In step (c), at least one dense group is determined based on the interval between each mixed reality experiencer, and the augmented reality content corresponding to the specific mixed reality experiencer is determined by referring to the distance from the determined dense group. A control method of a mixed reality experience system, characterized in that setting augmented reality coordinates.
제2항에 있어서,
상기 (c) 단계에서는 상기 (a) 단계에서 판단된 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 현재의 밀집도 및 그 나머지 혼합현실 체험자들에게 제공되는 증강현실 콘텐츠의 위치를 고려하여 기 설정된 시간 이후의 밀집도 변화를 예측하고, 그 예측된 밀집도 변화를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.
3. The method of claim 2,
In step (c), a preset time is taken in consideration of the current density of the remaining mixed reality experiencers except for the specific mixed reality experiencer determined in step (a) and the location of the augmented reality content provided to the remaining mixed reality experiencers A method of controlling a mixed reality experience system, comprising predicting a subsequent density change, and setting the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer in consideration of the predicted density change.
제1항에 있어서,
상기 기 설정된 구역의 벽에는 해당 구역 안에 있는 혼합현실 체험자들이 동시에 볼 수 있는 가상현실 콘텐츠가 표시되는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.
According to claim 1,
A method for controlling a mixed reality experience system, characterized in that on the wall of the preset zone, virtual reality content that can be simultaneously viewed by mixed reality experiencers in the zone is displayed.
제5항에 있어서,
(e) 상기 가상현실 콘텐츠 상에서의 각 혼합현실 체험자의 위치에 해당하는 가상현실 위치 좌표를 산출하는 단계를 더 포함하고,
상기 (c) 단계에서는 상기 (e) 단계에서 산출된 각 혼합현실 체험자의 가상현실 위치 좌표를 추가로 참조하여 증강현실 콘텐츠의 증강현실 좌표를 설정하는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.
6. The method of claim 5,
(e) further comprising calculating virtual reality location coordinates corresponding to the location of each mixed reality experiencer on the virtual reality content;
In the step (c), the augmented reality coordinates of the augmented reality content are set by additionally referring to the virtual reality location coordinates of each mixed reality experiencer calculated in the step (e).
제1항 내지 제6항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.A computer-readable recording medium in which a program for executing the method of any one of claims 1 to 6 is recorded. 하드웨어와 결합되어 제1항 내지 제6항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록 매체에 저장된 응용 프로그램.An application program stored in a computer-readable recording medium in combination with hardware to execute the method of any one of claims 1 to 6. 기 설정된 구역 안에 있는 혼합현실 체험자들의 위치를 판단하는 위치 판단부와;
상기 혼합현실 체험자의 행동 또는 위치 중 적어도 어느 하나에 대응하는 증강현실 콘텐츠를 추출하는 증강현실 콘텐츠 추출부와;
상기 위치 판단부에서 판단한 혼합현실 체험자들의 위치를 기초로 상기 증강현실 콘텐츠 추출부에서 추출한 증강현실 콘텐츠의 증강현실 좌표를 설정하는 좌표 설정부와;
상기 혼합현실 체험자의 디스플레이 장치에 상기 증강현실 콘텐츠가 그 대응되는 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 표시 제어부를 포함하는 것을 특징으로 하는 혼합현실 체험 시스템.
a location determination unit for determining locations of mixed reality experiencers in a preset area;
an augmented reality content extraction unit for extracting augmented reality content corresponding to at least one of the behavior or location of the mixed reality experiencer;
a coordinate setting unit for setting the augmented reality coordinates of the augmented reality content extracted from the augmented reality content extraction unit based on the positions of the mixed reality participants determined by the position determination unit;
and a display control unit for controlling the augmented reality content to be displayed at a position corresponding to the corresponding augmented reality coordinates on the display device of the mixed reality experiencer.
제9항에 있어서,
상기 증강현실 콘텐츠 추출부는, 상기 설정된 구역 안에 있는 혼합현실 체험자 중 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠를 추출하고,
상기 좌표 설정부는 상기 위치 판단부에서 판단한 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 밀집도를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하고,
상기 표시 제어부는 상기 특정 혼합현실 체험자의 디스플레이 장치에 그 대응되는 증강현실 콘텐츠가 상기 좌표 설정부에서 설정된 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 것을 특징으로 하는 혼합현실 체험 시스템.
10. The method of claim 9,
The augmented reality content extraction unit extracts augmented reality content corresponding to a specific mixed reality experiencer among the mixed reality experiencers in the set area,
The coordinate setting unit sets the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer in consideration of the density of the mixed reality experiencers other than the specific mixed reality experiencer determined by the location determination unit,
The display control unit controls the display device of the specific mixed reality experiencer so that the corresponding augmented reality content is displayed at a position corresponding to the augmented reality coordinates set in the coordinate setting unit.
제10항에 있어서,
상기 좌표 설정부는, 각 혼합현실 체험자들간의 간격을 기초로 적어도 하나의 밀집 그룹을 판단하고, 그 판단된 밀집 그룹들로부터 떨어진 거리를 참고하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하는 것을 특징으로 하는 혼합현실 체험 시스템.
11. The method of claim 10,
The coordinate setting unit determines at least one dense group based on the interval between each mixed reality experiencer, and refers to the distance away from the determined dense group. Augmented reality of augmented reality content corresponding to the specific mixed reality experiencer A mixed reality experience system characterized by setting coordinates.
제10항에 있어서,
상기 좌표 설정부는 상기 위치 판단부에서 판단한 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 현재의 밀집도 및 그 나머지 혼합현실 체험자들에게 제공되는 증강현실 콘텐츠의 위치를 고려하여 기 설정된 시간 이후의 밀집도 변화를 예측하고, 그 예측된 밀집도 변화를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하는 것을 특징으로 하는 혼합현실 체험 시스템.
11. The method of claim 10,
The coordinate setting unit changes in density after a preset time in consideration of the current density of the remaining mixed reality experiencers other than the specific mixed reality experiencer determined by the location determination unit and the location of the augmented reality content provided to the remaining mixed reality experiencers A mixed reality experience system, characterized in that for predicting and setting the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer in consideration of the predicted density change.
제9항에 있어서,
상기 기 설정된 구역의 벽에는 해당 구역 안에 있는 혼합현실 체험자들이 동시에 볼 수 있는 가상현실 콘텐츠가 표시되는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.
10. The method of claim 9,
A method for controlling a mixed reality experience system, characterized in that on the wall of the preset zone, virtual reality content that can be simultaneously viewed by mixed reality experiencers in the zone is displayed.
제13항에 있어서,
상기 좌표 설정부는 상기 가상현실 콘텐츠 상에서의 각 혼합현실 체험자의 위치에 해당하는 가상현실 위치 좌표를 산출하고, 그 산출된 각 혼합현실 체험자의 가상현실 위치 좌표를 추가로 참조하여 증강현실 콘텐츠의 증강현실 좌표를 설정하는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.
14. The method of claim 13,
The coordinate setting unit calculates virtual reality location coordinates corresponding to the location of each mixed reality experiencer on the virtual reality content, and additionally refers to the calculated virtual reality location coordinates of each mixed reality experiencer in augmented reality of the augmented reality content. A control method of a mixed reality experience system, characterized in that setting coordinates.
KR1020200106817A 2020-08-25 2020-08-25 Mixed reality experience system and control method thereof KR102496201B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200106817A KR102496201B1 (en) 2020-08-25 2020-08-25 Mixed reality experience system and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200106817A KR102496201B1 (en) 2020-08-25 2020-08-25 Mixed reality experience system and control method thereof

Publications (2)

Publication Number Publication Date
KR20220026140A true KR20220026140A (en) 2022-03-04
KR102496201B1 KR102496201B1 (en) 2023-02-07

Family

ID=80813963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200106817A KR102496201B1 (en) 2020-08-25 2020-08-25 Mixed reality experience system and control method thereof

Country Status (1)

Country Link
KR (1) KR102496201B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024106873A1 (en) * 2022-11-17 2024-05-23 (주)뉴작 Xr content control method and system in xr cave environment
KR102679176B1 (en) * 2022-12-29 2024-07-01 배재대학교 산학협력단 Mixed reality system for toddlers

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120015637A (en) * 2010-08-12 2012-02-22 주식회사 팬택 Apparatus and method for displaying augmented reality window
KR20190032084A (en) 2017-09-19 2019-03-27 한국전자통신연구원 Apparatus and method for providing mixed reality content
KR101966020B1 (en) * 2018-10-12 2019-08-13 (주)셀빅 Space amusement service method and space amusement system for multi-party participants based on mixed reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120015637A (en) * 2010-08-12 2012-02-22 주식회사 팬택 Apparatus and method for displaying augmented reality window
KR20190032084A (en) 2017-09-19 2019-03-27 한국전자통신연구원 Apparatus and method for providing mixed reality content
KR101966020B1 (en) * 2018-10-12 2019-08-13 (주)셀빅 Space amusement service method and space amusement system for multi-party participants based on mixed reality

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024106873A1 (en) * 2022-11-17 2024-05-23 (주)뉴작 Xr content control method and system in xr cave environment
KR20240073265A (en) * 2022-11-17 2024-05-27 (주)뉴작 XR content control method and system in XR CAVE environment
KR102679176B1 (en) * 2022-12-29 2024-07-01 배재대학교 산학협력단 Mixed reality system for toddlers

Also Published As

Publication number Publication date
KR102496201B1 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
EP3926441B1 (en) Output of virtual content
JP6179889B2 (en) Comment information generation device and comment display device
JP5391224B2 (en) Video additional information display control apparatus and operation method thereof
US12114052B2 (en) Methods, systems, and media for presenting interactive elements within video content
JPWO2017187708A1 (en) Information processing apparatus, information processing method, and program
JP6753331B2 (en) Information processing equipment, methods and information processing systems
CN111432245B (en) Multimedia information playing control method, device, equipment and storage medium
JP2013196158A (en) Control apparatus, electronic apparatus, control method, and program
US20200335065A1 (en) Information processing device
WO2019130991A1 (en) Information processing device
KR102496201B1 (en) Mixed reality experience system and control method thereof
CN103106388B (en) Method and system of image recognition
CN111670431B (en) Information processing device, information processing method, and program
CN112823528B (en) Information processing device, information processing method, and information processing program
US10409464B2 (en) Providing a context related view with a wearable apparatus
KR102430464B1 (en) Mixed reality experience system and control method thereof
JP6768222B2 (en) Image processing device, image processing method and image processing program
CN115698923A (en) Information processing apparatus, information processing method, and program
KR20210083635A (en) Method for obtaining frontal image based on pose estimation and apparatus using the same
KR102430463B1 (en) Preemptive mixed reality experience system and control method thereof
JP7187520B2 (en) Glasses-type device, management server and program
CN105630170A (en) Information processing method and electronic device
JP6768223B2 (en) Image processing device, image processing method and image processing program
JP6778398B2 (en) Image forming apparatus, image forming method and image forming program
JP6756311B2 (en) Image processing device, image processing method and image processing program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant