KR20220026140A - Mixed reality experience system and control method thereof - Google Patents
Mixed reality experience system and control method thereof Download PDFInfo
- Publication number
- KR20220026140A KR20220026140A KR1020200106817A KR20200106817A KR20220026140A KR 20220026140 A KR20220026140 A KR 20220026140A KR 1020200106817 A KR1020200106817 A KR 1020200106817A KR 20200106817 A KR20200106817 A KR 20200106817A KR 20220026140 A KR20220026140 A KR 20220026140A
- Authority
- KR
- South Korea
- Prior art keywords
- mixed reality
- reality
- augmented reality
- experiencer
- coordinates
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003190 augmentative effect Effects 0.000 claims abstract description 162
- 230000009471 action Effects 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007654 immersion Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 혼합현실 체험 시스템 및 그 제어방법에 관한 것으로, 보다 상세하게는 소정의 디스플레이를 착용 또는 소지한 체험자에게 특정 가상현실 또는 증강현실을 경험하도록 하는 시스템 및 그 제어방법에 관한 것이다.The present invention relates to a mixed reality experience system and a method for controlling the same, and more particularly, to a system and a control method thereof for allowing an experiencer wearing or possessing a predetermined display to experience a specific virtual reality or augmented reality.
가상현실(VR : Virtual Reality)은 말 그대로 현실과 유사한 체험을 할 수 있도록 구현된 가상의 공간을 의미하는 것으로서, 예를 들어 컴퓨터로 생성된 가상의 공간에서 특정 사물이나 객체를 배치하고 체험자가 마치 가상의 공간에서 해당 사물 또는 객체를 보는 것과 같은 착각을 하도록 하기 위한 기술을 의미한다.Virtual reality (VR) literally means a virtual space that is implemented so that an experience similar to reality can be experienced. It refers to a technology for creating the illusion of seeing a corresponding object or object in a virtual space.
이 경우 사용자(체험자)는 가상 공간에 있는 특정 사물이나 객체와 직접적으로, 또는 간접적으로 움직이거나 상호작용할 수 있다.In this case, the user (experiencer) may directly or indirectly move or interact with a specific thing or object in the virtual space.
증강현실(AR : Augment Reality)은 실제 현실에 가상의 영상을 추가하는 형태를 가지는 것으로서, 예를 들어 증강현실은 현실의 정보를 수집하고(위치 정보를 GPS를 통해 얻고, 기울기나 기기가 움직이는 속도를 자이로스코프를 통해 얻는 등) 그 수집된 현실의 정보에 기초하여 가상의 이미지를 보여주기 때문에 현실감이 높고, VR기기를 착용했을 때 느끼는 어지러움이 없거나 덜하다는 특징이 있다.Augmented reality (AR: Augment Reality) is a form of adding a virtual image to real reality. For example, augmented reality collects real information (position information is obtained through GPS, tilt or device movement speed). is obtained through a gyroscope, etc.) It has a high sense of reality because it shows a virtual image based on the collected real information, and there is no or less dizziness when wearing a VR device.
한편, 혼합현실(MR : Mixed Reality)은 융합현실이라고도 불리는 것으로서, 다수의 체험자를 대상으로 가상현실과 증강현실을 통합 운영하는 것을 의미하는 것으로서, 최근 가상현실 또는 증강현실 만 따로 운영되는 것과 비교하여 체험자의 몰입도를 증가시키는 것이어서 최근 많이 이용되고 있다.On the other hand, mixed reality (MR: Mixed Reality) is also called convergence reality, meaning the integrated operation of virtual reality and augmented reality for a large number of users. It is being used a lot recently because it increases the immersion level of the experiencer.
그런데 이러한 종래의 혼합현실을 운영함에 있어서 다수의 체험자가 함께 특정 공간에 위치하게 되고 이 경우 각자에게 제공되는 증강현실 콘텐츠의 위치나 형태가 각 체험자의 위치나 행동 결과에 따라 적절하게 변화해야 하나, 종래에는 가상현실과 증강현실을 단순 조합한 것에 불과하여 오히려 체험자의 몰입도를 방해하는 요인이 되고 있다.However, in operating such a conventional mixed reality, a plurality of experiencers are located together in a specific space, and in this case, the location or shape of the augmented reality content provided to each must be appropriately changed according to the location or action result of each experiencer, Conventionally, it is only a simple combination of virtual reality and augmented reality, which is a factor that hinders the immersion of the experiencer.
본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 혼합현실 체험 서비스를 제공함에 있어서, 체험자의 몰입도를 증가시키고 체험 과정의 불편을 최소화시킬 수 있도록 하는 시스템 및 그 제어방법을 제공하는 것이다. The present invention has been devised to solve the above-described problems in the prior art, and its purpose is to increase the immersion level of the experiencer and minimize the inconvenience of the experience process in providing a mixed reality experience service, and a method for controlling the same is to provide
상기한 목적을 달성하기 위해 본 발명에 따른 혼합현실 체험 시스템은, 기 설정된 구역 안에 있는 혼합현실 체험자들의 위치를 판단하는 위치 판단부와; 상기 혼합현실 체험자의 행동 또는 위치 중 적어도 어느 하나에 대응하는 증강현실 콘텐츠를 추출하는 증강현실 콘텐츠 추출부와; 상기 위치 판단부에서 판단한 혼합현실 체험자들의 위치를 기초로 상기 증강현실 콘텐츠 추출부에서 추출한 증강현실 콘텐츠의 증강현실 좌표를 설정하는 좌표 설정부와; 상기 혼합현실 체험자의 디스플레이 장치에 상기 증강현실 콘텐츠가 그 대응되는 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 표시 제어부를 포함하여 구성된다.In order to achieve the above object, there is provided a mixed reality experience system according to the present invention, comprising: a location determining unit for determining the location of mixed reality participants in a preset area; an augmented reality content extraction unit for extracting augmented reality content corresponding to at least one of the behavior or location of the mixed reality experiencer; a coordinate setting unit for setting the augmented reality coordinates of the augmented reality content extracted from the augmented reality content extraction unit based on the positions of the mixed reality participants determined by the position determination unit; and a display control unit for controlling the augmented reality content to be displayed at a position corresponding to the corresponding augmented reality coordinates on the display device of the mixed reality experiencer.
여기서, 상기 증강현실 콘텐츠 추출부는, 상기 설정된 구역 안에 있는 혼합현실 체험자 중 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠를 추출하고, 상기 좌표 설정부는 상기 위치 판단부에서 판단한 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 밀집도를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하고, 상기 표시 제어부는 상기 특정 혼합현실 체험자의 디스플레이 장치에 그 대응되는 증강현실 콘텐츠가 상기 좌표 설정부에서 설정된 증강현실 좌표에 해당하는 위치에 표시되도록 제어할 수 있다.Here, the augmented reality content extraction unit extracts augmented reality content corresponding to a specific mixed reality experiencer among the mixed reality experiencers in the set area, and the coordinate setting unit except for the specific mixed reality experiencer determined by the location determination unit In consideration of the density of mixed reality experiencers, the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer are set, and the display control unit sets the coordinates of the augmented reality content corresponding to the specific mixed reality experiencer's display device. It can be controlled to be displayed at a position corresponding to the augmented reality coordinates set in the unit.
여기서, 상기 좌표 설정부는, 각 혼합현실 체험자들 간의 간격을 기초로 적어도 하나의 밀집 그룹을 판단하고, 그 판단된 밀집 그룹들로부터 떨어진 거리를 참고하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.Here, the coordinate setting unit determines at least one dense group based on the interval between each mixed reality experiencer, and refers to the distance from the determined dense groups of the augmented reality content corresponding to the specific mixed reality experiencer. Augmented reality coordinates can be set.
여기서, 상기 좌표 설정부는 상기 위치 판단부에서 판단한 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 현재의 밀집도 및 그 나머지 혼합현실 체험자들에게 제공되는 증강현실 콘텐츠의 위치를 고려하여 기 설정된 시간 이후의 밀집도 변화를 예측하고, 그 예측된 밀집도 변화를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.Here, the coordinate setting unit considers the current density of the remaining mixed reality experiencers other than the specific mixed reality experiencer determined by the location determination unit and the location of the augmented reality content provided to the remaining mixed reality experiencers after a preset time. It is possible to predict the density change, and set the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer in consideration of the predicted density change.
여기서, 상기 기 설정된 구역의 벽에는 해당 구역 안에 있는 혼합현실 체험자들이 동시에 볼 수 있는 가상현실 콘텐츠가 표시될 수 있다.Here, on the wall of the preset zone, virtual reality content that can be simultaneously viewed by mixed reality participants in the zone may be displayed.
여기서, 상기 좌표 설정부는 상기 가상현실 콘텐츠 상에서의 각 혼합현실 체험자의 위치에 해당하는 가상현실 위치 좌표를 산출하고, 그 산출된 각 혼합현실 체험자의 가상현실 위치 좌표를 추가로 참조하여 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.Here, the coordinate setting unit calculates the virtual reality location coordinates corresponding to the location of each mixed reality experiencer on the virtual reality content, and additionally refers to the calculated virtual reality location coordinates of each mixed reality experiencer. Augmented reality coordinates can be set.
또, 상기한 목적을 달성하기 위해 본 발명에 따른 혼합현실 체험 시스템의 제어방법은, 기 설정된 구역 안에 있는 혼합현실 체험자들의 위치를 판단하는 단계와; 상기 혼합현실 체험자의 행동 또는 위치에 대응하는 증강현실 콘텐츠를 추출하는 단계와; 상기 판단된 혼합현실 체험자들의 위치를 기초로 상기 추출된 증강현실 콘텐츠의 증강현실 좌표를 설정하는 단계와; 상기 혼합현실 체험자의 디스플레이 장치에 상기 증강현실 콘텐츠가 그 대응되는 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 단계를 포함하여 이루어진다.In addition, in order to achieve the above object, there is provided a method for controlling a mixed reality experience system according to the present invention, comprising the steps of: determining the locations of mixed reality participants in a preset area; extracting augmented reality content corresponding to the action or location of the mixed reality experiencer; setting augmented reality coordinates of the extracted augmented reality content based on the determined positions of the mixed reality experiencers; and controlling the augmented reality content to be displayed at a position corresponding to the corresponding augmented reality coordinates on the display device of the mixed reality experiencer.
여기서, 상기 설정된 구역 안에 있는 혼합현실 체험자 중 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠를 추출하고, 상기 판단된 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 밀집도를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하고, 상기 특정 혼합현실 체험자의 디스플레이 장치에 그 대응되는 증강현실 콘텐츠가 상기 설정된 증강현실 좌표에 해당하는 위치에 표시되도록 제어할 수 있다.Here, augmented reality content corresponding to a specific mixed reality experiencer is extracted from among the mixed reality experiencers within the set area, and the density of the remaining mixed reality experiencers other than the determined specific mixed reality experiencer is taken into account to the specific mixed reality experiencer. It is possible to set the augmented reality coordinates of the corresponding augmented reality content, and control so that the corresponding augmented reality content is displayed on the display device of the specific mixed reality experiencer at a position corresponding to the set augmented reality coordinates.
여기서, 각 혼합현실 체험자들 간의 간격을 기초로 적어도 하나의 밀집 그룹을 판단하고, 그 판단된 밀집 그룹들로부터 떨어진 거리를 참고하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.Here, at least one dense group is determined based on the interval between each mixed reality experiencer, and the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer are set by referring to the distance from the determined dense groups. can
여기서, 상기 판단된 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 현재의 밀집도 및 그 나머지 혼합현실 체험자들에게 제공되는 증강현실 콘텐츠의 위치를 고려하여 기 설정된 시간 이후의 밀집도 변화를 예측하고, 그 예측된 밀집도 변화를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.Here, in consideration of the current density of the remaining mixed reality experiencers except for the determined specific mixed reality experiencer and the location of the augmented reality content provided to the remaining mixed reality experiencers, the density change after a preset time is predicted, and the In consideration of the predicted density change, the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality user may be set.
여기서, 상기 기 설정된 구역의 벽에는 해당 구역 안에 있는 혼합현실 체험자들이 동시에 볼 수 있는 가상현실 콘텐츠가 표시될 수 있다.Here, on the wall of the preset zone, virtual reality content that can be simultaneously viewed by mixed reality participants in the zone may be displayed.
여기서, 상기 가상현실 콘텐츠 상에서의 각 혼합현실 체험자의 위치에 해당하는 가상현실 위치 좌표를 산출하는 단계를 더 포함하고, 상기 산출된 각 혼합현실 체험자의 가상현실 위치 좌표를 추가로 참조하여 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.Here, the method further includes calculating virtual reality location coordinates corresponding to the location of each mixed reality experiencer on the virtual reality content, and additionally referring to the calculated virtual reality location coordinates of each mixed reality experiencer on the augmented reality content You can set the augmented reality coordinates of
이상 설명한 바와 같이 본 발명에 따르면, 혼합현실 체험자들이 증강현실 콘텐츠를 이용함에 있어서 발생하는 불편을 최소화할 수 있다.As described above, according to the present invention, it is possible to minimize the inconvenience that occurs when mixed reality users use augmented reality content.
즉, 체험 공간에 있는 다른 체험자들의 위치를 참조하여 증강현실 콘텐츠를 배치하거나 이동시킴으로써, 체험 공간에 있는 체험자들간의 충돌을 방지하고, 혼합현실 체험자들로 하여금 보다 자유로운 혼합현실 체험을 경험할 수 있도록 하는 효과가 있다.In other words, by arranging or moving augmented reality content with reference to the location of other experiencers in the experience space, collisions between the experiencers in the experience space are prevented, and mixed reality experiencers can experience a more free mixed reality experience. It works.
도 1은 본 발명의 일 실시예에 따른 혼합현실 체험 시스템을 포함하는 전체 시스템의 개략 구성도이고,
도 2는 도 1의 혼합현실 체험 시스템의 기능 블록도이고,
도 3은 체험 공간 안에 있는 혼합현실 체험자들을 밀집 정도에 따라 그룹 처리하는 과정을 나타낸 도면이고,
도 4는 가상현실 상에서의 각 혼합현실 체험자의 좌표에 따라 증강현실 콘텐츠 표시 위치를 변경시키는 과정을 나타낸 도면이고,
도 5 및 도 6은 본 발명의 일 실시예에 따른 혼합현실 체험 시스템의 제어흐름도이다.1 is a schematic configuration diagram of an entire system including a mixed reality experience system according to an embodiment of the present invention;
2 is a functional block diagram of the mixed reality experience system of FIG. 1;
3 is a diagram showing the process of group processing of mixed reality participants in the experience space according to the degree of concentration;
4 is a diagram illustrating a process of changing the display position of augmented reality content according to the coordinates of each mixed reality experiencer in virtual reality;
5 and 6 are control flowcharts of a mixed reality experience system according to an embodiment of the present invention.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
이하 본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 특히 본 발명은 각 실시예에 포함되는 개별 구성, 개별 기능, 또는 개별 단계 중 적어도 어느 하나 이상의 조합으로 구성될 수 있다.Hereinafter, each embodiment according to the present invention is merely an example for helping the understanding of the present invention, and the present invention is not limited to these embodiments. In particular, the present invention may be composed of a combination of at least any one of individual components, individual functions, or individual steps included in each embodiment.
특히, 편의상 청구 범위의 일부 청구항에는 '(a)'와 같은 알파벳을 포함시켰으나, 이러한 알파벳이 각 단계의 순서를 규정하는 것은 아니다.In particular, some claims of the claims include an alphabet such as '(a)' for convenience, but the alphabet does not define the order of each step.
또한 이하 본 발명에 따른 각 실시예에서 언급하는 각 신호는 한 번의 연결 등에 의해 전송되는 하나의 신호를 의미할 수도 있지만, 후술하는 특정 기능 수행을 목적으로 전송되는 일련의 신호 그룹을 의미할 수도 있다. 즉, 각 실시예에서는 소정의 시간 간격을 두고 전송되거나 상대 장치로부터의 응답 신호를 수신한 이후에 전송되는 복수 개의 신호들이 편의상 하나의 신호명으로 표현될 수 있는 것이다.In addition, each signal referred to in each embodiment according to the present invention below may mean one signal transmitted by one connection, etc., but may also mean a series of signal groups transmitted for the purpose of performing a specific function to be described later. . That is, in each embodiment, a plurality of signals transmitted at a predetermined time interval or after receiving a response signal from a counterpart device may be expressed as one signal name for convenience.
본 발명의 일 실시예에 따른 혼합현실 체험 시스템(10)을 포함하는 전체 시스템의 개략 구성은 도 1에 도시된 바와 같다.A schematic configuration of the entire system including the mixed
우선 본 실시예를 설명함에 있어서 특정 공간 즉, 혼합현실을 체험하기 위한 특정 공간 안에는 복수의 체험자가 동시에 들어가 있는 상황을 전제로 한다.First, in the description of the present embodiment, it is assumed that a plurality of experiencers are simultaneously entered in a specific space, that is, a specific space for experiencing mixed reality.
도 1에서 HMD(40)(Head Mounted Display)는 본 발명에 따른 체험자 즉, 혼합현실 체험자가 착용하는 것으로서, 무선 통신을 통해 혼합현실 체험 시스템(10)으로부터 수신되는 콘텐츠를 표시하는 기능을 수행한다.1, the HMD 40 (Head Mounted Display) is worn by the experiencer, that is, the mixed reality experiencer according to the present invention, and performs a function of displaying content received from the mixed
예를 들어 혼합현실 체험 시스템(10)이 각 혼합현실 체험자가 착용한 HMD(40)에 증강현실 콘텐츠를 전송하면 HMD(40)는 혼합현실 체험 시스템(10)으로부터 수신된 증강현실 콘텐츠를 디스플레이부에 표시하여 혼합현실 체험자가 볼 수 있도록 한다.For example, when the mixed
여기서 HMD(40)의 디스플레이부는 투명 유리로 되어 있어서 외부의 실제 상황을 볼 수 있도록 구성될 수도 있다.Here, since the display unit of the HMD 40 is made of transparent glass, it may be configured to view the actual situation outside.
도 1에서는 소정의 액세스 포인트(20)를 통해 HMD(40)와 혼합현실 체험 시스템(10)이 통신하는 것을 일 예로 하였으나, 통신 수단이 이에 한정되는 것은 아니다.In FIG. 1 , the HMD 40 and the mixed
한편, 도 1에서 감시용 카메라(30)는 혼합현실 체험자의 위치를 촬영하여 혼합현실 체험 시스템(10)에 전송하는 기능을 수행한다.Meanwhile, in FIG. 1 , the
이는 각 혼합현실 체험자의 위치를 파악하기 위한 것으로서 이에 대한 보다 상세한 설명은 후술토록 한다.This is to identify the location of each mixed reality experiencer, and a more detailed description thereof will be provided later.
한편, 도 1에서 혼합현실 체험 시스템(10)은 기 설정된 구역 안에 있는 체험자에게 가상현실 콘텐츠 및/또는 증강현실 콘텐츠를 제공하여 새로운 경험을 하도록 하는 것으로서, 본 실시예에서는 해당 구역에 있는 벽면(예를 들어 해당 구역을 감싸는 벽면)에는 가상 콘텐츠가 표시되도록 하고, 체험자가 소지하거나 착용한 디스플레이 장치(본 실시예에서는 HMD(40))에는 증강현실 콘텐츠를 제공하는 것을 일 예로 한다. 소정의 벽면에 가상현실 콘텐츠를 표시하는 것 자체는 공지된 기술에 해당하므로 보다 상세한 설명은 생략한다.Meanwhile, in FIG. 1 , the mixed
이러한 혼합현실 체험 시스템(10)의 구체적인 기능 블록의 일 예는 도 2에 도시된 바와 같다.An example of a specific functional block of the mixed
동 도면에 도시된 바와 같이 혼합현실 체험 시스템(10)은 위치 판단부(11), 증강현실 콘텐츠 추출부(12), 좌표 설정부(13), 표시 제어부(14), 저장부(15)를 포함하여 구성될 수 있다.As shown in the figure, the mixed
여기서 저장부(15)는 혼합현실 체험 시스템(10)의 동작에 필요한 애플리케이션, 설정 데이터, 콘텐츠 들을 저장하는 기능은 물론이고, 혼합현실 체험 시스템(10)의 동작 중 새로 발생하거나 또는 외부로부터 수신되는 정보 또는 데이터, 콘텐츠 등을 저장하는 기능을 수행한다.Here, the
이하에서는 이러한 저장부(15)에 대한 별도 표현이 없더라도, 필요한 콘텐츠를 추출하거나 또는 소정의 데이터를 설정하는 등의 기능을 처리할 때 저장부(15)를 이용하는 것을 전제로 한다.Hereinafter, even if there is no separate expression for the
위치 판단부(11)는 기 설정된 구역 안에 있는 혼합현실 체험자들의 위치를 판단하는 기능을 수행한다.The
즉, 혼합현실 체험자들의 위치는 앞서 설명한 감시용 카메라(30)를 통해 촬영된 촬영 영상을 분석하여 판단할 수 있다.That is, the location of the mixed reality experiencers can be determined by analyzing the captured image captured by the
이때 위치 판단부(11)는 판단된 각 혼합현실 체험자들의 위치를 기초로 밀집도 역시 판단할 수 있다.In this case, the
복수의 감시용 카메라(30)를 통해 촬영된 영상 분석을 통해 기존에 없던 피사체 즉, 설정된 구역 안에 진입한 체험자들의 위치를 판단하는 것 그 자체는 공지된 기술에 해당하므로 보다 상세한 설명은 생략한다.Determining the position of a subject that did not exist before, that is, the position of the participants who entered the set area through the analysis of the images captured by the plurality of
증강현실 콘텐츠 추출부(12)는 혼합현실 체험자의 행동 또는 위치에 대응하는 증강현실 콘텐츠를 추출하는 기능을 수행한다. 이렇게 추출된 증강현실 콘텐츠는 후술하는 바와 같이 각 혼합현실 체험자에게 제공되게 된다. 여기서 혼합현실 체험자의 행동은 각 혼합현실 체험자에게 장착된 센서(미 도시함)로부터 수신된 정보에 의해 판단할 수도 있고, 또는 앞서 설명한 감시용 카메라(30)에 의한 영상 분석을 통해 판단할 수도 있다.The augmented reality
즉, 증강현실 콘텐츠 추출부(12)는 동일한 구역(즉, 체험 공간)에 있는 혼합현실 체험자라 하더라도 그 각각의 혼합현실 체험자들의 행동이나 그 위치에 따라 제공되는 증강현실 콘텐츠의 종류가 달라지도록 할 수 있는 것이다.That is, the augmented reality
예를 들어 활발히 움직이는 혼합현실 체험자에게는 토끼와 같은 빠른 동물 콘텐츠가 제공되도록 하고, 천천히 움직이는 혼합현실 체험자에게는 상대적으로 느린 콘텐츠가 제공되도록 할 수 있는 것이다.For example, fast animal content such as rabbits may be provided to an actively moving mixed reality experiencer, and relatively slow content may be provided to a slow moving mixed reality experiencer.
또한 증강현실 콘텐츠 추출부(12)는 특정 행동을 하거나 특정 위치로 이동한 혼합현실 체험자에게만 특정 증강현실 콘텐츠가 제공되도록 하기 위한 증강현실 콘텐츠를 추출할 수 있다.In addition, the augmented reality
좌표 설정부(13)는 위치 판단부(11)에서 판단한 혼합현실 체험자들의 위치를 기초로 상기 증강현실 콘텐츠 추출부(12)에서 추출한 증강현실 콘텐츠의 증강현실 좌표를 설정하는 기능을 수행한다.The coordinate setting
예를 들어 좌표 설정부(13)는 A라는 혼합현실 체험자가 체험 공간 내에서 위치한 위치에 따라 그 A라는 혼합현실 체험자에게 제공할 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있고, 또는 A를 제외한 나머지 혼합현실 체험자가 체험 공간 내에서 위치한 위치 또는 A를 포함하는 모든 혼합현실 체험자의 체험 공간내 위치에 따라 그 A라는 혼합현실 체험자에게 제공할 증강현실 콘텐츠의 증강현실 좌표를 설정할 수도 있다.For example, the coordinate setting
예를 들어 특정 혼합현실 체험자(A)에게 소정의 증강현실 콘텐츠를 제공하고자 하는 경우, 좌표 설정부(13)는 위치 판단부(11)에서 판단한 특정 혼합현실 체험자(A)를 제외한 나머지 혼합현실 체험자들의 밀집도를 고려하여 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.For example, when it is desired to provide a certain augmented reality content to a specific mixed reality experiencer (A), the coordinate setting
여기서 증강현실 좌표라는 것은 증강 현실 콘텐츠를 배치하는 위치 좌표를 의미하는 것으로서, 그 증강현실 좌표가 결정되면 체험자는 해당 증강현실 좌표에 대응되는 위치에 증강현실 콘텐츠가 존재하는 것으로 인식할 수 있다. 따라서 체험자가 고개를 돌리거나 자신의 위치를 변경하는 경우 증강현실 콘텐츠가 시야에서 보이기도 하고 사라질 수도 있다.Here, the augmented reality coordinates refer to coordinates of a location where the augmented reality content is arranged, and when the augmented reality coordinates are determined, the user can recognize that the augmented reality content exists at a location corresponding to the augmented reality coordinates. Therefore, when the experiencer turns his/her head or changes his/her position, augmented reality content may appear or disappear from view.
증강현실 콘텐츠에 대한 증강현실 좌표가 설정되어 체험자가 이를 인식하는 과정 그 자체는 공지된 기술에 해당하므로 보다 상세한 설명은 생략한다.Since augmented reality coordinates for augmented reality content are set and the process in which the experiencer recognizes it corresponds to a known technology, a more detailed description will be omitted.
체험공간 안에 많은 사람이 있는 상태에서 특정 혼합현실 체험자(A)에게 제공되는 증강현실 콘텐츠의 위치가 그 다른 사람들이 밀집된 위치에 있게 된다면, 특정 혼합현실 체험자(A)가 그 증강현실 콘텐츠가 위치한 곳까지 이동하는 경우 많은 사람들과 부딪히는 일이 발생하게 되는데, 본 실시예에서처럼 좌표 설정부(13)가 나머지 혼합현실 체험자들의 밀집도를 고려하여 특정 혼합현실 체험자(A)에게 제공될 증강현실 콘텐츠의 좌표를 설정하게 된다면 이러한 문제점은 발생하지 않게 된다.When there are many people in the experience space, if the location of the augmented reality content provided to a specific mixed reality experiencer (A) is in a location where other people are concentrated, the specific mixed reality experiencer (A) is the location where the augmented reality content is located When moving up to , collisions occur with many people. As in this embodiment, the coordinate setting
특히, 좌표 설정부(13)는 위치 판단부(11)에서 판단한 특정 혼합현실 체험자(A)를 제외한 나머지 혼합현실 체험자들의 간의 간격을 기초로 적어도 하나의 밀집 그룹을 판단할 수 있는데, 그 판단된 밀집 그룹들로부터 떨어진 거리를 참고하여 특정 혼합현실 체험자(A)에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.In particular, the coordinate setting
예를 들어 위치 판단부(11)에서 판단된 체험 공간 내 혼합현실 체험자들의 위치가 도 3(a)와 같은 경우, 좌표 설정부(13)는 밀집도를 고려하여 도 3(b)와 같이 세 개의 밀집 그룹(111, 112, 113)을 설정하고, 특정 혼합현실 체험자(A)에게 제공될 증강현실 콘텐츠의 위치 후보군 두 개(121, 122) 중에서, 각 밀집 그룹들(111, 112, 113)과의 거리를 평균 내어 평균값이 더 먼 위치 후보군(122)을 해당 특정 혼합현실 체험자(A)에게 제공될 증강현실 콘텐츠의 위치로 설정할 수 있는 것이다.For example, when the location of the mixed reality experiencers in the experience space determined by the
또한, 좌표 설정부(13)는 위치 판단부(11)에서 판단한 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 현재의 밀집도 및 그 나머지 혼합현실 체험자들에게 제공되는 증강현실 콘텐츠의 위치를 고려하여 기 설정된 시간 이후의 밀집도 변화를 예측하고, 그 예측된 밀집도 변화를 고려하여 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정할 수도 있다.In addition, the coordinate setting
예를 들어 체험 공간 내에 있는 각 혼합현실 체험자들은 각자에게 보이는 증강현실 콘텐츠에 따른 행동(다가가거나 도망가거나 등)을 할 수 있으므로, 현재의 각 혼합현실 체험자들의 밀집도만을 고려하는 것이 아니라, 그 각각의 혼합현실 체험자에게 제공되는 증강현실 콘텐츠의 종류나 위치를 고려하여 기 설정된 시간(예를 들어 5초, 10초, 30초 등)이 경과한 이후의 밀집도 변화를 예측하고, 그 예측된 밀집도 변화를 고려하여 특정 혼합현실 체험자(A)에 제공될 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있는 것이다.For example, since each mixed reality experiencer in the experience space can act (approaching or running away, etc.) according to the augmented reality content visible to each other, not only the density of each current mixed reality experiencer is considered, but each In consideration of the type or location of the augmented reality content provided to the mixed reality experiencer, the density change after a preset time (eg, 5 seconds, 10 seconds, 30 seconds, etc.) has elapsed, and the predicted density change In consideration of this, it is possible to set the augmented reality coordinates of the augmented reality content to be provided to a specific mixed reality experiencer (A).
예를 들어 체험 공간내 좌측에 몰려 있던 나머지 혼합현실 체험자들 모두에게 보너스에 해당하는 증강현실 콘텐츠가 체험 공간 내 우측에 표시되는 경우, 오히려 현재 밀집되어 있는 좌측의 특정 위치를 특정 혼합현실 체험자(A)에 대응되는 증강현실 콘텐츠의 위치 좌표로 설정할 수 있는 것이다.For example, if augmented reality content, which is a bonus for all the remaining mixed reality experiencers who were clustered on the left side of the experience space, is displayed on the right side of the experience space, rather a specific mixed reality experiencer (A) ) can be set as the location coordinates of the augmented reality content corresponding to the
또한 앞서 언급한 바와 같이 체험 공간의 벽에는 체험 공간 안에 있는 혼합현실 체험자들이 동시에 볼 수 있는 가상현실 콘텐츠가 표시될 수 있는데, 이 경우 각 혼합현실 체험자들의 행동에 따라 그 가상현실 콘텐츠 상에서의 각 혼합현실 체험자의 위치 좌표가 서로 다를 수 있다.Also, as mentioned above, on the wall of the experience space, virtual reality content that can be viewed simultaneously by mixed reality experiencers in the experience space may be displayed. The location coordinates of the real experiencer may be different from each other.
이 경우 좌표 설정부(13)는 가상현실 콘텐츠 상에서의 각 혼합현실 체험자의 위치에 해당하는 가상현실 위치 좌표를 산출하고, 그 산출된 각 혼합현실 체험자의 가상현실 위치 좌표를 추가로 참조하여 증강현실 콘텐츠의 증강현실 좌표를 설정할 수 있다.In this case, the coordinate setting
예를 들어 도 4와 같이 체험 공간 안에 두 명의 혼합현실 체험자(A,B)가 있는 경우, 그 혼합현실 체험자의 행동 또는 이동에 따라 가상현실 공간 좌표가 서로 달라질 수 있는데, 만일 제1 혼합현실 체험자(A)는 가상현실 공간 좌표상에서 산 정상과 같이 높은 위치에 있게 되고 제2 혼합현실 체험자(B)가 가상현실 공간 좌표상에서 산 아래와 같이 낮은 위치에 있게 되었다고 가정하면, 좌표 설정부(13)는 독수리 형상을 가지는 증강현실 콘텐츠를 제1 혼합현실 체험자(A) 및 제2 혼합현실 체험자(B)에 제공하기 위한 좌표를 설정함에 있어서, 제1 혼합현실 체험자(A)에 대응해서는 수평방향으로 바라보는 위치에 증강현실 콘텐츠의 위치좌표를 설정하고, 제2 혼합현실 체험자(B)에 대응해서는 사선 위쪽 방향으로 바라보는 위치에 증강현실 콘텐츠의 위치 좌표를 설정할 수 있는 것이다.For example, if there are two mixed reality experiencers (A, B) in the experience space as shown in FIG. 4 , the virtual reality space coordinates may be different depending on the actions or movements of the mixed reality experiencers. If the first mixed reality experiencer Assuming that (A) is at a high position like the top of a mountain on the virtual reality space coordinates and the second mixed reality experiencer (B) is on a low position like the mountain bottom on the virtual reality space coordinates, the coordinate setting
한편, 표시 제어부(14)는 혼합현실 체험자의 디스플레이 장치에 증강현실 콘텐츠가 그 대응되는 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 기능을 수행한다.On the other hand, the
예를 들어 표시 제어부(14)는 혼합현실 체험자가 바라보는 방향에 대한 정보를 HMD(40)로부터 수신하는 경우에는 그 정보를 참조하여 증강현실 콘텐츠의 전송 여부를 결정할 수 있고, 또는 증강현실 콘텐츠와 그 증강현실 위치 좌표를 함께 HMD(40)에 제공하여 HMD(40)스스로 증강현실 콘텐츠의 표시 여부를 결정하도록 할 수도 있다.For example, when the
증강현실 콘텐츠의 종류와 위치가 결정된 경우, HMD(40)를 통해 표시되도록 하는 기술 그 자체는 공지된 기술에 해당하므로 보다 상세한 설명은 생략한다.When the type and location of the augmented reality content is determined, the technology itself to be displayed through the
이하에서는 도 5를 참조하여 본 발명의 일 실시예에 따른 혼합현실 체험 시스템(10)의 전체적인 제어 흐름을 설명한다.Hereinafter, the overall control flow of the mixed
우선, 혼합현실 체험 시스템(10)은 지속적으로 기 설정된 구역(즉, 혼합현실 체험 공간) 안에 있는 혼합현실 체험자들의 위치를 판단한다(단계 S1).First, the mixed
이어서 각 혼합현실 체험자들의 행동과 위치에 대응하는 증강현실 콘텐츠를 추출하는데, 이때 추출되는 증강현실 콘텐츠는 각 혼합현실 체험자마다 다를 수도 있다(단계 S3).Then, augmented reality content corresponding to the behavior and location of each mixed reality experiencer is extracted, and the extracted augmented reality content may be different for each mixed reality experiencer (step S3).
또한 혼합현실 체험 시스템(10)은 앞서 판단된 각 혼합현실 체험자들의 위치를 기초로 증강현실 좌표를 설정하고(단계 S5), 이렇게 추출된 증강현실 콘텐츠가 해당하는 증강현실 좌표에 표시되도록 제어한다(단계 S7). 여기서 증강현실 좌표는 증강현실 콘텐츠가 표시되는 좌표를 의미하고, 실제로는 체험 공간 내의 좌표로 변환된 것일 수 있다.In addition, the mixed
예를 들어 증강현실 원 좌표는 혼합현실 체험자를 기준으로 한 상대적 좌표에 해당할 수도 있는데, 이때 실제 체험 공간 내의 좌표로 변환하는 과정이 이루어질 수도 있는 것이다.For example, the augmented reality original coordinates may correspond to the relative coordinates with respect to the mixed reality experiencer. In this case, the process of converting them into coordinates in the actual experience space may be performed.
도 5는 본 발명의 일 실시예에 따른 혼합현실 체험 시스템(10)의 전체적인 제어 과정을 나타낸 것이고, 도 6은 특정 혼합현실 체험자(A)를 기준으로 하여 구체적인 제어 과정을 설명하기 위해 나타낸 것이다.5 shows the overall control process of the mixed
특정 혼합현실 체험자(A)로부터 기 설정된 특정 행동이 감지된 경우(단계 S11), 그 특정 혼합현실 체험자(A)에게 제공될 증강현실 콘텐츠를 추출한다(단계 S13).When a predetermined specific action is detected from the specific mixed reality experiencer (A) (step S11), augmented reality content to be provided to the specific mixed reality experiencer (A) is extracted (step S13).
또한, 혼합현실 체험 시스템(10)은 현재의 특정 혼합현실 체험자(A)의 위치를 기초로 증강현실 콘텐츠가 표시될 위치 후보군을 추출한다(단계 S15).In addition, the mixed
이어서 혼합현실 체험 시스템(10)은 체험 공간 안에 있는 나머지 혼합현실 체험자들의 위치를 판단한다(단계 S17).Next, the mixed
혼합현실 체험 시스템(10)은 나머지 혼합현실 체험자들의 위치를 기초로 밀집 그룹을 구분한 후(단계 S19), 증강현실 콘텐츠 위치 후보군 중에서 밀집 그룹과의 거리를 기초로 평균값이 큰 곳을 그 특정 혼합현실 체험자(A)에게 제공된 증강현실 콘텐츠의 위치 좌표로 설정한다(단계 S21).The mixed
이어서 혼합현실 체험 시스템(10)은 이렇게 설정된 위치 좌표에 앞서 추출한 증강현실 콘텐츠가 표시되도록 특정 혼합현실 체험자(A)의 HMD(40)에 전달할 수 있다(단계 S23).Subsequently, the mixed
본 실시예에서는 복수의 위치 후보군 중에서 나머지 혼합현실 체험자들의 밀집도를 고려하여 선정하는 것을 일 예로 하였으나, 일단 기 설정된 증강현실 좌표를 추출한 후, 해당 좌표에 대한 나머지 혼합현실 체험자들의 밀집도가 기 설정된 값 이상인 경우, 증강현실 좌표 이동을 처리할 수도 있다.In this embodiment, the selection is made in consideration of the density of the remaining mixed reality experiencers from among the plurality of location candidates as an example. In this case, augmented reality coordinates may be moved.
이 경우 좌표 이동 처리 과정에는 앞서 설명한 바와 같이 별도의 위치 후보군을 선정하고, 그 선정된 위치 후보군들과 밀집 그룹들 간의 거리를 고려하여 최종적인 증강현실 좌표를 설정할 수 있다.In this case, in the coordinate movement process, as described above, a separate location candidate group may be selected, and final augmented reality coordinates may be set in consideration of the distance between the selected location candidate groups and dense groups.
한편, 상술한 각 실시예를 수행하는 과정은 소정의 기록 매체(예를 들어 컴퓨터로 판독 가능한)에 저장된 프로그램 또는 애플리케이션에 의해 이루어질 수 있음은 물론이다. 여기서 기록 매체는 RAM(Random Access Memory)과 같은 전자적 기록 매체, 하드 디스크와 같은 자기적 기록 매체, CD(Compact Disk)와 같은 광학적 기록 매체 등을 모두 포함한다.Meanwhile, it goes without saying that the process of performing each of the above-described embodiments may be performed by a program or application stored in a predetermined recording medium (eg, computer-readable). Here, the recording medium includes an electronic recording medium such as a random access memory (RAM), a magnetic recording medium such as a hard disk, and an optical recording medium such as a compact disk (CD).
이때, 기록 매체에 저장된 프로그램은 컴퓨터나 스마트폰 등과 같은 하드웨어 상에서 실행되어 상술한 각 실시예를 수행할 수 있다. 특히, 상술한 본 발명에 따른 혼합현실 체험 시스템(10)의 기능 블록 중 적어도 어느 하나는 이러한 프로그램 또는 애플리케이션에 의해 구현될 수 있다.In this case, the program stored in the recording medium may be executed on hardware such as a computer or smart phone to perform each of the above-described embodiments. In particular, at least one of the functional blocks of the mixed
또한, 본 발명은 상기한 특정 실시예에 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 변형 및 수정하여 실시할 수 있는 것이다. 이러한 변형 및 수정이 첨부되는 청구범위에 속한다면 본 발명에 포함된다는 것은 자명할 것이다. In addition, the present invention is not limited to the specific embodiments described above, but can be practiced with various modifications and modifications within the scope without departing from the gist of the present invention. It will be apparent that such modifications and variations are included in the present invention provided they fall within the scope of the appended claims.
10 : 혼합현실 체험 시스템 20 : 액세스 포인트
30 : 감시 카메라 40 : HMD
11 : 위치 판단부 12 : 증강현실 콘텐츠 추출부
13 : 좌표 설정부 14 : 표시 제어부
15 : 저장부10: mixed reality experience system 20: access point
30: surveillance camera 40: HMD
11: location determination unit 12: augmented reality content extraction unit
13: coordinate setting unit 14: display control unit
15: storage
Claims (14)
(b) 상기 혼합현실 체험자의 행동 또는 위치에 대응하는 증강현실 콘텐츠를 추출하는 단계와;
(c) 상기 (a) 단계에서 판단된 혼합현실 체험자들의 위치를 기초로 상기 (b) 단계에서 추출된 증강현실 콘텐츠의 증강현실 좌표를 설정하는 단계와;
(d) 상기 혼합현실 체험자의 디스플레이 장치에 상기 증강현실 콘텐츠가 그 대응되는 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 단계를 포함하는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.(a) determining the location of the mixed reality experiencers in a preset area;
(b) extracting augmented reality content corresponding to the action or location of the mixed reality experiencer;
(c) setting the augmented reality coordinates of the augmented reality content extracted in the step (b) based on the positions of the mixed reality experiencers determined in the step (a);
(d) controlling the augmented reality content to be displayed at a location corresponding to the corresponding augmented reality coordinates on the display device of the mixed reality experiencer.
상기 (b) 단계에서는, 상기 설정된 구역 안에 있는 혼합현실 체험자 중 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠를 추출하고,
상기 (c) 단계에서는 상기 (a) 단계에서 판단된 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 밀집도를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하고,
상기 (d) 단계에서는, 상기 특정 혼합현실 체험자의 디스플레이 장치에 그 대응되는 증강현실 콘텐츠가 상기 (c) 단계에서 설정된 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.According to claim 1,
In the step (b), the augmented reality content corresponding to a specific mixed reality experiencer among the mixed reality experiencers in the set area is extracted,
In the step (c), the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer are set in consideration of the density of the mixed reality experiencers other than the specific mixed reality experiencer determined in the step (a),
In the step (d), the augmented reality content corresponding to the display device of the specific mixed reality experiencer is controlled to be displayed at a position corresponding to the augmented reality coordinates set in the step (c). control method.
상기 (c) 단계에서는, 각 혼합현실 체험자들간의 간격을 기초로 적어도 하나의 밀집 그룹을 판단하고, 그 판단된 밀집 그룹들로부터 떨어진 거리를 참고하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.3. The method of claim 2,
In step (c), at least one dense group is determined based on the interval between each mixed reality experiencer, and the augmented reality content corresponding to the specific mixed reality experiencer is determined by referring to the distance from the determined dense group. A control method of a mixed reality experience system, characterized in that setting augmented reality coordinates.
상기 (c) 단계에서는 상기 (a) 단계에서 판단된 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 현재의 밀집도 및 그 나머지 혼합현실 체험자들에게 제공되는 증강현실 콘텐츠의 위치를 고려하여 기 설정된 시간 이후의 밀집도 변화를 예측하고, 그 예측된 밀집도 변화를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.3. The method of claim 2,
In step (c), a preset time is taken in consideration of the current density of the remaining mixed reality experiencers except for the specific mixed reality experiencer determined in step (a) and the location of the augmented reality content provided to the remaining mixed reality experiencers A method of controlling a mixed reality experience system, comprising predicting a subsequent density change, and setting the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer in consideration of the predicted density change.
상기 기 설정된 구역의 벽에는 해당 구역 안에 있는 혼합현실 체험자들이 동시에 볼 수 있는 가상현실 콘텐츠가 표시되는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.According to claim 1,
A method for controlling a mixed reality experience system, characterized in that on the wall of the preset zone, virtual reality content that can be simultaneously viewed by mixed reality experiencers in the zone is displayed.
(e) 상기 가상현실 콘텐츠 상에서의 각 혼합현실 체험자의 위치에 해당하는 가상현실 위치 좌표를 산출하는 단계를 더 포함하고,
상기 (c) 단계에서는 상기 (e) 단계에서 산출된 각 혼합현실 체험자의 가상현실 위치 좌표를 추가로 참조하여 증강현실 콘텐츠의 증강현실 좌표를 설정하는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.6. The method of claim 5,
(e) further comprising calculating virtual reality location coordinates corresponding to the location of each mixed reality experiencer on the virtual reality content;
In the step (c), the augmented reality coordinates of the augmented reality content are set by additionally referring to the virtual reality location coordinates of each mixed reality experiencer calculated in the step (e).
상기 혼합현실 체험자의 행동 또는 위치 중 적어도 어느 하나에 대응하는 증강현실 콘텐츠를 추출하는 증강현실 콘텐츠 추출부와;
상기 위치 판단부에서 판단한 혼합현실 체험자들의 위치를 기초로 상기 증강현실 콘텐츠 추출부에서 추출한 증강현실 콘텐츠의 증강현실 좌표를 설정하는 좌표 설정부와;
상기 혼합현실 체험자의 디스플레이 장치에 상기 증강현실 콘텐츠가 그 대응되는 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 표시 제어부를 포함하는 것을 특징으로 하는 혼합현실 체험 시스템.a location determination unit for determining locations of mixed reality experiencers in a preset area;
an augmented reality content extraction unit for extracting augmented reality content corresponding to at least one of the behavior or location of the mixed reality experiencer;
a coordinate setting unit for setting the augmented reality coordinates of the augmented reality content extracted from the augmented reality content extraction unit based on the positions of the mixed reality participants determined by the position determination unit;
and a display control unit for controlling the augmented reality content to be displayed at a position corresponding to the corresponding augmented reality coordinates on the display device of the mixed reality experiencer.
상기 증강현실 콘텐츠 추출부는, 상기 설정된 구역 안에 있는 혼합현실 체험자 중 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠를 추출하고,
상기 좌표 설정부는 상기 위치 판단부에서 판단한 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 밀집도를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하고,
상기 표시 제어부는 상기 특정 혼합현실 체험자의 디스플레이 장치에 그 대응되는 증강현실 콘텐츠가 상기 좌표 설정부에서 설정된 증강현실 좌표에 해당하는 위치에 표시되도록 제어하는 것을 특징으로 하는 혼합현실 체험 시스템.10. The method of claim 9,
The augmented reality content extraction unit extracts augmented reality content corresponding to a specific mixed reality experiencer among the mixed reality experiencers in the set area,
The coordinate setting unit sets the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer in consideration of the density of the mixed reality experiencers other than the specific mixed reality experiencer determined by the location determination unit,
The display control unit controls the display device of the specific mixed reality experiencer so that the corresponding augmented reality content is displayed at a position corresponding to the augmented reality coordinates set in the coordinate setting unit.
상기 좌표 설정부는, 각 혼합현실 체험자들간의 간격을 기초로 적어도 하나의 밀집 그룹을 판단하고, 그 판단된 밀집 그룹들로부터 떨어진 거리를 참고하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하는 것을 특징으로 하는 혼합현실 체험 시스템.11. The method of claim 10,
The coordinate setting unit determines at least one dense group based on the interval between each mixed reality experiencer, and refers to the distance away from the determined dense group. Augmented reality of augmented reality content corresponding to the specific mixed reality experiencer A mixed reality experience system characterized by setting coordinates.
상기 좌표 설정부는 상기 위치 판단부에서 판단한 상기 특정 혼합현실 체험자를 제외한 나머지 혼합현실 체험자들의 현재의 밀집도 및 그 나머지 혼합현실 체험자들에게 제공되는 증강현실 콘텐츠의 위치를 고려하여 기 설정된 시간 이후의 밀집도 변화를 예측하고, 그 예측된 밀집도 변화를 고려하여 상기 특정 혼합현실 체험자에 대응하는 증강현실 콘텐츠의 증강현실 좌표를 설정하는 것을 특징으로 하는 혼합현실 체험 시스템.11. The method of claim 10,
The coordinate setting unit changes in density after a preset time in consideration of the current density of the remaining mixed reality experiencers other than the specific mixed reality experiencer determined by the location determination unit and the location of the augmented reality content provided to the remaining mixed reality experiencers A mixed reality experience system, characterized in that for predicting and setting the augmented reality coordinates of the augmented reality content corresponding to the specific mixed reality experiencer in consideration of the predicted density change.
상기 기 설정된 구역의 벽에는 해당 구역 안에 있는 혼합현실 체험자들이 동시에 볼 수 있는 가상현실 콘텐츠가 표시되는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.10. The method of claim 9,
A method for controlling a mixed reality experience system, characterized in that on the wall of the preset zone, virtual reality content that can be simultaneously viewed by mixed reality experiencers in the zone is displayed.
상기 좌표 설정부는 상기 가상현실 콘텐츠 상에서의 각 혼합현실 체험자의 위치에 해당하는 가상현실 위치 좌표를 산출하고, 그 산출된 각 혼합현실 체험자의 가상현실 위치 좌표를 추가로 참조하여 증강현실 콘텐츠의 증강현실 좌표를 설정하는 것을 특징으로 하는 혼합현실 체험 시스템의 제어방법.14. The method of claim 13,
The coordinate setting unit calculates virtual reality location coordinates corresponding to the location of each mixed reality experiencer on the virtual reality content, and additionally refers to the calculated virtual reality location coordinates of each mixed reality experiencer in augmented reality of the augmented reality content. A control method of a mixed reality experience system, characterized in that setting coordinates.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200106817A KR102496201B1 (en) | 2020-08-25 | 2020-08-25 | Mixed reality experience system and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200106817A KR102496201B1 (en) | 2020-08-25 | 2020-08-25 | Mixed reality experience system and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220026140A true KR20220026140A (en) | 2022-03-04 |
KR102496201B1 KR102496201B1 (en) | 2023-02-07 |
Family
ID=80813963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200106817A KR102496201B1 (en) | 2020-08-25 | 2020-08-25 | Mixed reality experience system and control method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102496201B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024106873A1 (en) * | 2022-11-17 | 2024-05-23 | (주)뉴작 | Xr content control method and system in xr cave environment |
KR102679176B1 (en) * | 2022-12-29 | 2024-07-01 | 배재대학교 산학협력단 | Mixed reality system for toddlers |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120015637A (en) * | 2010-08-12 | 2012-02-22 | 주식회사 팬택 | Apparatus and method for displaying augmented reality window |
KR20190032084A (en) | 2017-09-19 | 2019-03-27 | 한국전자통신연구원 | Apparatus and method for providing mixed reality content |
KR101966020B1 (en) * | 2018-10-12 | 2019-08-13 | (주)셀빅 | Space amusement service method and space amusement system for multi-party participants based on mixed reality |
-
2020
- 2020-08-25 KR KR1020200106817A patent/KR102496201B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120015637A (en) * | 2010-08-12 | 2012-02-22 | 주식회사 팬택 | Apparatus and method for displaying augmented reality window |
KR20190032084A (en) | 2017-09-19 | 2019-03-27 | 한국전자통신연구원 | Apparatus and method for providing mixed reality content |
KR101966020B1 (en) * | 2018-10-12 | 2019-08-13 | (주)셀빅 | Space amusement service method and space amusement system for multi-party participants based on mixed reality |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024106873A1 (en) * | 2022-11-17 | 2024-05-23 | (주)뉴작 | Xr content control method and system in xr cave environment |
KR20240073265A (en) * | 2022-11-17 | 2024-05-27 | (주)뉴작 | XR content control method and system in XR CAVE environment |
KR102679176B1 (en) * | 2022-12-29 | 2024-07-01 | 배재대학교 산학협력단 | Mixed reality system for toddlers |
Also Published As
Publication number | Publication date |
---|---|
KR102496201B1 (en) | 2023-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3926441B1 (en) | Output of virtual content | |
JP6179889B2 (en) | Comment information generation device and comment display device | |
JP5391224B2 (en) | Video additional information display control apparatus and operation method thereof | |
US12114052B2 (en) | Methods, systems, and media for presenting interactive elements within video content | |
JPWO2017187708A1 (en) | Information processing apparatus, information processing method, and program | |
JP6753331B2 (en) | Information processing equipment, methods and information processing systems | |
CN111432245B (en) | Multimedia information playing control method, device, equipment and storage medium | |
JP2013196158A (en) | Control apparatus, electronic apparatus, control method, and program | |
US20200335065A1 (en) | Information processing device | |
WO2019130991A1 (en) | Information processing device | |
KR102496201B1 (en) | Mixed reality experience system and control method thereof | |
CN103106388B (en) | Method and system of image recognition | |
CN111670431B (en) | Information processing device, information processing method, and program | |
CN112823528B (en) | Information processing device, information processing method, and information processing program | |
US10409464B2 (en) | Providing a context related view with a wearable apparatus | |
KR102430464B1 (en) | Mixed reality experience system and control method thereof | |
JP6768222B2 (en) | Image processing device, image processing method and image processing program | |
CN115698923A (en) | Information processing apparatus, information processing method, and program | |
KR20210083635A (en) | Method for obtaining frontal image based on pose estimation and apparatus using the same | |
KR102430463B1 (en) | Preemptive mixed reality experience system and control method thereof | |
JP7187520B2 (en) | Glasses-type device, management server and program | |
CN105630170A (en) | Information processing method and electronic device | |
JP6768223B2 (en) | Image processing device, image processing method and image processing program | |
JP6778398B2 (en) | Image forming apparatus, image forming method and image forming program | |
JP6756311B2 (en) | Image processing device, image processing method and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |