KR20210133058A - Tourism experience system with 60DOF online multi-player - Google Patents

Tourism experience system with 60DOF online multi-player Download PDF

Info

Publication number
KR20210133058A
KR20210133058A KR1020200051755A KR20200051755A KR20210133058A KR 20210133058 A KR20210133058 A KR 20210133058A KR 1020200051755 A KR1020200051755 A KR 1020200051755A KR 20200051755 A KR20200051755 A KR 20200051755A KR 20210133058 A KR20210133058 A KR 20210133058A
Authority
KR
South Korea
Prior art keywords
hmd
6dof
content
server
tourism
Prior art date
Application number
KR1020200051755A
Other languages
Korean (ko)
Other versions
KR102343601B1 (en
Inventor
정념
신재중
Original Assignee
주식회사 드론오렌지
주식회사 피엔아이컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 드론오렌지, 주식회사 피엔아이컴퍼니 filed Critical 주식회사 드론오렌지
Priority to KR1020200051755A priority Critical patent/KR102343601B1/en
Publication of KR20210133058A publication Critical patent/KR20210133058A/en
Application granted granted Critical
Publication of KR102343601B1 publication Critical patent/KR102343601B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

The present invention provides a six degrees-of-freedom (DOF) online multiplayer virtual reality (VR) tourism experience system to efficient perform an interaction between guide information and a guider. According to the present invention, the 6DOF online multiplayer VR tourism experience system comprises: a head mounted display (HMD, 10) having a 6DOF sensor unit (12) for detecting six degrees of freedom related to a head posture of an experiencer and displaying a three-dimensional (3D) image; a database server (20) for constructing a storage, having a program required for realizing a 3D virtual space embedded therein, and providing a uniform resource locator (URL) in response to content of a 3D image; a content server (30) configured as a server in which an asset bundle having a bundle version is embedded and comparing and analyzing the URL requested through an online network and the bundle version to provide content matching a request; a simulator unit (40) for providing motion to match VR with respect to a real space; and a control unit (50) receiving the URL from the database server (20) according to a driving signal of the HMD (10) to control the HMD (10) and the simulator unit (40).

Description

6DOF 온라인 멀티 플레이어 VR 관광체험 시스템{Tourism experience system with 60DOF online multi-player}6DOF online multiplayer VR tourism experience system {Tourism experience system with 60DOF online multi-player}

본 발명은 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 관한 것으로서, 보다 상세하게는 2인 이상의 사용자가 6DOF(Six Derees of Freedom)을 활용하여 가상의 공간에서 함께 여행하는 것을 체험할 수 있을 뿐만 아니라, 헤드 마운트 디스플레이의 장착으로 인하여 가상의 체험 공간 내에서 사용들끼리 충돌되어 발생될 수 있는 사고를 미연에 방지할 수 있는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 관한 것이다.The present invention relates to a 6DOF online multiplayer VR tourism experience system, and more particularly, two or more users can experience traveling together in a virtual space using 6DOF (Six Derees of Freedom), as well as head It relates to a 6DOF online multiplayer VR tourism experience system that can prevent accidents that may occur due to collisions between users in a virtual experience space due to the mounting of a mounted display.

여가생활을 즐기는 인구가 증가함에 따라 말타기, 자동차 운전, 비행기 운전 등과 같이 실제 체험하는 레저활동 또는 여가생활이 증가하고 있다.As the population enjoying leisure life increases, leisure activities or leisure activities that are actually experienced, such as horse riding, driving a car, and driving an airplane, are increasing.

그러나 이러한 레저활동 또는 여가생활을 위해서는 라이센스를 따거나 장시간 교육을 받아야하는 불편함이 있을 뿐만 아니라, 시간적으로나 비용적으로 사용자에에 많은 부담이 있었다.However, for such leisure activities or leisure life, there is an inconvenience of obtaining a license or receiving long-term education, and there is a lot of burden on the user in terms of time and cost.

최근에 이러한 불편함을 해소하기 위하여 가상체험 시뮬레이션 장치가 도입되고 있다. Recently, a virtual experience simulation device has been introduced to solve this inconvenience.

이와 관련하여 공개특허공보 제10-2011-0123302호 '시뮬레이션 체험관'에는 전방에 커다란 디스플레이가 설치되고, 이들 디스플레이에서 표시되는 화면을 볼 수 있도록 후방에 다수의 사용자 시트가 설치된다. 이러한 시트는 피스톤 등으로 구성되는 모션장치에 의하여 전후좌우로 움직일 수 있도록 설치되는 기술을 개시하고 있다.In this regard, a large display is installed in the front of the 'Simulation Experience Hall' in Korean Patent Application Laid-Open No. 10-2011-0123302, and a plurality of user seats are installed in the rear so that the screens displayed on these displays can be viewed. Such a seat discloses a technology that is installed so as to move forward, backward, left and right by a motion device composed of a piston or the like.

이 때, 사용자가 시트에 안착한 상태에서 전방에서 표시되는 시뮬레이션 화면을 주시하고, 시뮬레이션 화면과 연동되게 프로그램된 모션장치가 구동되면서 사용자가 앞으로 기울어 지거나 좌우로 기울어지게 하여 가상으로 체험할 수 있게 되어 있다.At this time, the user watches the simulation screen displayed from the front while seated on the seat, and as the motion device programmed to interlock with the simulation screen is driven, the user can tilt forward or tilt to the left and right to experience a virtual experience. .

그러나, 이와 같이 구성되는 종래 가상체험 시뮬레이션 장치는 전방에 커다란 디스플레이가 마련되고 있는데, 시트에 탑승한 체험자가 전방을 주시하여야 시뮬레이션 화면을 볼 수 밖에 없어 체험자가 시선을 다른 데로 돌리게 되면 화면이 보이지 않게 되어 가상체험의 리얼리티가 떨어지는 문제가 있다.However, in the conventional virtual experience simulation device configured in this way, a large display is provided in the front, and the experiencer riding on the seat has no choice but to see the simulation screen when he looks forward. There is a problem in that the reality of the virtual experience decreases.

또한, 이러한 리얼리티가 떨어지는 문제를 해결하기 위해 디스플레이를 대화면으로 구성할 수 있으나 그러한 경우 디스플레이의 대형화 한계로 인하여 복수개의 디스플레이를 설치하여야 하는데 이러한 경우 디스플레이와 디스플레이 경계(베젤)가 보일 수 밖에 없어 오히려 시뮬레이션의 리얼리티를 더 떨어트리게 되는 문제가 발생된다.In addition, in order to solve the problem of this lack of reality, the display can be configured as a large screen. There is a problem that further lowers the reality of

이러한 문제점으로 인하여 입체영상 키오스크와 관련된 기술이 실용신안등록 제20-447950호에 제안되었다.Due to these problems, a technology related to a stereoscopic image kiosk has been proposed in Utility Model Registration No. 20-447950.

그러나, 이러한 기술에 의하더라도 기존 VR 체험은 HMD를 착용하고 개인별 시각과 청각을 이용한 단순한 체험 형태이기 때문에 현실감과 생동감이 떨어지는 문제점이 있을 뿐만 아니라, 단지 입체 영상정보만을 제공하기 때문에 현실감이 사실적으로 구현되지 못하는 문제점이 있다.However, even with this technology, the existing VR experience is a simple experience type using individual vision and hearing wearing an HMD, so there is a problem in that the sense of reality and liveliness is lowered. There is a problem that cannot be done.

더욱이, 관광체험을 가상공간에서 실현하기 위해서는 가이드와 함께 동반하는 사용자들의 동작과 이들에 대한 위치 좌표공간의 불확실성으로 인하여 사용자들 사이에 충돌로 인한 안전사고가 빈번히 일어나고 있을 뿐만 아니라, 관광 가이드와의 상호작용을 구현하지 못하는 문제점이 있다.Moreover, in order to realize the tourism experience in a virtual space, not only safety accidents due to collisions between users frequently occur, but also safety accidents between users due to the uncertainty of the motion of users accompanying the guide and the location coordinate space for them. There is a problem that the interaction cannot be implemented.

따라서 이러한 문제점을 해결할 수 있는 기술의 개발이 요구되고 있다.Therefore, the development of a technology capable of solving these problems is required.

따라서 본 발명의 목적은 가상의 관광체험에 필요한 가이드 정보와 가이드 사이의 상호 작용을 보다 효율적으로 진행할 수 있으며, 복수의 사용자들 사이에 발생되는 안전 사고를 미연에 방지할 수 있는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템을 제공하는 것이다.Therefore, it is an object of the present invention to more efficiently conduct interaction between guide information and guides required for a virtual tourism experience, and 6DOF online multiplayer VR that can prevent safety accidents occurring between multiple users in advance. To provide a tourism experience system.

본 발명의 바람직한 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 의하면, 체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)를 구비하며 3D 영상이 디스플레되는 HMD(헤드 마운티드 디스플레이; 10), 웹서버 또는 스토리지를 구축하며 3차원 가상공간 실현에 필요한 프로그램이 내재되며 3D 영상의 콘텐츠에 대하여 URL(uniform resource locator) 응답형태로 제공하기 위한 DB서버(20), 애셋 번들을 위한 서버로 이루어지며 온라인을 통하여 요청된 URL과 번들 버전을 비교분석하여 요청에 맞는 컨텐츠를 제공하기 위한 컨텐츠 서버(30), 가상 공간에 매칭되도록 HMD(10)의 착용자가 위치한 공간에 대하여 모션을 제공하기 위한 시뮬레이터부(40), 및 HMD(10)의 구동신호에 따라 DB서버(20)로부터 URL을 입력받아 HMD(10)와 시뮬레이터부(40)를 제어하기 위한 제어부(50)를 포함하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템이 제공된다.According to the 6DOF online multiplayer VR tourism experience system according to a preferred embodiment of the present invention, the HMD (head) is provided with a 6-DOF sensor unit 12 for detecting 6-DOF related to the head posture of the experiencer, and a 3D image is displayed. Mounted display; 10), a DB server 20 for building a web server or storage, a program necessary for realizing a 3D virtual space, and providing a URL (uniform resource locator) response to 3D image contents in the form of an asset bundle The content server 30 for providing content matching the request by comparing and analyzing the URL and bundle version requested through online, and motion with respect to the space where the wearer of the HMD 10 is located so as to match the virtual space. a simulator unit 40 for providing 6DOF online multiplayer VR tourism experience system is provided.

여기서, HMD(10)는 체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)와 3D 영상이 디스플레되는 디스플레이부(14)를 구비하는 것이 바람직하다. Here, the HMD 10 preferably includes a 6 degree of freedom sensor unit 12 for detecting 6 degrees of freedom related to the head posture of the user and a display unit 14 on which a 3D image is displayed.

또한, 디스플레이부(14)는 착용시 사용자의 각 눈에 보여줄 디스플레이 스크린이 2개 존재하며, 초기 프로그램 구동시 DB서버(20)로부터 컨텐츠 URL을 JSON 형태로 제공받아 로컬 메모리에 저장된 리스트와 비교후 마이너 버전일 경우 컨텐츠 서버(30)에 접속하여 필요한 컨텐츠를 다운받아 갱신시키는 것이 바람직하다. In addition, the display unit 14 has two display screens to be shown to each eye of the user when worn, and receives the content URL from the DB server 20 in JSON form when the initial program is driven and compares it with the list stored in the local memory. In the case of the minor version, it is preferable to access the content server 30 to download and update the necessary content.

또한, HMD(10)은 가상 관광을 체험하고자 하는 사용자가 착용하기 위한 체험자용 HMD(10A)와 체험자용 HMD(10A)을 착용한 사용자에 대하여 관광 체험을 가이드하기 위한 가이드가 착용하기 위한 가이드용 HMD(10B)로 이루어지며, 가이드용 HMD(10B)에는 체험자용 HMD(10A)의 사용자와 달리 가이드용 콘트롤 패널이 접속되며, 콘트롤 패널에는 다수의 사용자에게 보여줄 컨텐츠를 제어하는 기능이 수행되도록 하기 위한 인터페이스로 이루어지는 것이 바람직하다. In addition, the HMD 10 is for a guide to be worn by a guide for guiding a tourism experience for a user who wears the HMD 10A for the experiencer and the HMD 10A for the experiencer to be worn by a user who wants to experience virtual tourism. It consists of an HMD 10B, and the guide control panel is connected to the guide HMD 10B, unlike the user of the experience HMD 10A, and the control panel performs a function of controlling content to be displayed to a plurality of users. It is preferable to have an interface for

또한, HMD(10)는 설치된 프로그램을 통해 URL 주소를 전송하여 컨텐츠 서버(30)로부터 리소스에 관한 데이터를 제공받는 것이 바람직하다.In addition, it is preferable that the HMD 10 receives resource-related data from the content server 30 by transmitting a URL address through an installed program.

따라서 본 발명에 의하면 가상의 관광체험에 필요한 가이드 정보와 가이드 사이의 상호 작용을 보다 효율적으로 진행할 수 있으며, 복수의 사용자들 사이에 발생되는 안전 사고를 미연에 방지할 수 있다.Therefore, according to the present invention, interaction between guide information and guides required for a virtual tourism experience can be more efficiently performed, and safety accidents occurring between a plurality of users can be prevented in advance.

도 1은 본 발명의 바람직한 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템의 개략도이다.
도 2은 본 발명의 바람직한 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 있어서 HMD의 구성도이다.1 is a schematic diagram of a 6DOF online multiplayer VR tourism experience system according to a preferred embodiment of the present invention.
2 is a block diagram of an HMD in a 6DOF online multiplayer VR tourism experience system according to a preferred embodiment of the present invention.

이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 대하여 상세히 설명하기로 한다.Hereinafter, a 6DOF online multiplayer VR tourism experience system according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템의 개략도이다.1 is a schematic diagram of a 6DOF online multiplayer VR tourism experience system according to a preferred embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 의하면, 체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)를 구비하며 3D 영상이 디스플레되는 HMD(헤드 마운티드 디스플레이; 10), 웹서버 또는 스토리지를 구축하며 3차원 가상공간 실현에 필요한 프로그램이 내재되며 3D 영상의 콘텐츠에 대하여 URL(uniform resource locator) 응답형태로 제공하기 위한 DB서버(20), 애셋 번들을 위한 서버로 이루어지며 온라인을 통하여 요청된 URL과 번들 버전을 비교분석하여 요청에 맞는 컨텐츠를 제공하기 위한 컨텐츠 서버(30), 가상 공간에 매칭되도록 HMD(10)의 착용자가 위치한 공간에 대하여 모션을 제공하기 위한 시뮬레이터부(40), 및 HMD(10)의 구동신호에 따라 DB서버(20)로부터 URL을 입력받아 HMD(10)와 시뮬레이터부(40)를 제어하기 위한 제어부(50)를 포함하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템이 제공된다.As shown in Fig. 1, according to the 6DOF online multiplayer VR tourism experience system according to the preferred embodiment of the present invention, the 6DOF sensor unit 12 for detecting 6 degrees of freedom related to the head posture of the experiencer is provided. To build a HMD (Head Mounted Display) 10 that displays 3D images, a web server or storage, programs necessary for realizing a 3D virtual space are built in, and to provide URL (uniform resource locator) response to 3D image contents It consists of a DB server 20, a server for asset bundles, and a content server 30 for providing content that matches the request by comparing and analyzing the URL and bundle version requested through online, and HMD (10) to match the virtual space. Controls the HMD 10 and the simulator unit 40 by receiving the URL from the DB server 20 according to the driving signal of the simulator unit 40 and the HMD 10 for providing motion with respect to the space in which the wearer is located. A 6DOF online multiplayer VR tourism experience system including a control unit 50 for

HMD(10)는 체험자가 머리에 착용하여 개별적으로 시뮬레이션 영상을 볼 수 있도록 하는 것으로서, 체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)를 구비하며 3D 영상이 디스플레되는 디스플레이부(14)를 구비한다.The HMD 10 is worn on the head by the experiencer to individually view the simulation image. The HMD 10 includes a 6DOF sensor unit 12 for detecting 6DOFs related to the user's head posture, and a 3D image is displayed. A display unit 14 is provided.

디스플레이부(14)는 착용시 사용자의 각 눈에 보여줄 디스플레이 스크린이 2개 존재하며, 초기 프로그램 구동시 DB서버(20)로부터 컨텐츠 URL을 JSON 형태로 제공받아 로컬 메모리에 저장된 리스트와 비교후 마이너 버전 또는 컨텐츠 서버(30)에 접속하여 필요한 컨텐츠를 다운받아 갱신시킨다.The display unit 14 has two display screens to be shown to the user's eyes when worn, and receives the content URL from the DB server 20 in JSON format when the initial program is driven and compares it with the list stored in the local memory and then a minor version Alternatively, it accesses the content server 30 to download and update the necessary content.

한편, HMD(10)은 가상 관광을 체험하고자 하는 사용자가 착용하기 위한 체험자용 HMD(10A)와 체험자용 HMD(10A)을 착용한 사용자에 대하여 관광 체험을 가이드하기 위한 가이드가 착용하기 위한 가이드용 HMD(10B)로 이루어진다.On the other hand, the HMD 10 is for a guide to be worn by a guide for guiding a tourism experience for a user who wears the HMD 10A for the experiencer and the HMD 10A for the experiencer to be worn by a user who wants to experience virtual tourism. It consists of HMD 10B.

체험자용 HMD(10A)와 가이드용 HMD(10B)는 무선기능을 통하여 인터넷망에 접속된다.The HMD 10A for the experiencer and the HMD 10B for the guide are connected to the Internet network through a wireless function.

가이드용 HMD(10B)에는 체험자용 HMD(10A)의 사용자와 달리 가이드용 콘트롤 패널이 접속되며, 콘트롤 패널에는 다수의 사용자에게 보여줄 컨텐츠를 제어하는 기능이 수행되도록 하기 위한 인터페이스로 이루어진다.Unlike the user of the HMD 10A for experience, the guide control panel is connected to the guide HMD 10B, and the control panel includes an interface for controlling content to be displayed to a plurality of users.

6자유도 센서부(12)는 MCU 칩에서 실시간 출력되는 원시 데이터를 사용하여 오일러각을 계산하여, 즉 실시간의 가속도 및 각속도 데이터를 사용하여 공간상에서의 센서의 회전각을 가속도계의 데이터와 자이로 센서의 데이터를 융합한 보상 필터 방식으로 출력된다.The 6-DOF sensor unit 12 calculates the Euler angle using the raw data output in real time from the MCU chip, that is, the rotation angle of the sensor in space using the real-time acceleration and angular velocity data with the data of the accelerometer and the gyro sensor. It is output by a compensation filter method that converges the data of

DB서버(20)는 웹서버 또는 스토리지를 구축하며 3차원 가상공간 실현에 필요한 프로그램이 내재되며 3D 영상의 콘텐츠에 대하여 URL 응답형태로 제공한다.The DB server 20 builds a web server or storage, contains a program necessary for realizing a three-dimensional virtual space, and provides the content of the 3D image in the form of a URL response.

DB서버(20)는 URL(Uniform Resource Locator) 주소를 HMD(10)에 제공한다. HMD(10)는 URL 주소를 전송하며, HMD(10)은 DB서버(20)로부터 입력받은 URL을 통하여 컨텐츠 서버(30)에 접속하여 컨텐츠 서버(30)에 저장된 컨텐츠의 데이터 버전과 HMD(10)에 저장된 컨텐츠의 데이터 버전을 비교한다.The DB server 20 provides a URL (Uniform Resource Locator) address to the HMD 10 . The HMD 10 transmits a URL address, and the HMD 10 accesses the content server 30 through the URL input from the DB server 20 to obtain the data version of the content stored in the content server 30 and the HMD 10 ) and compare the data versions of the contents stored in

이 때, HMD(10)에 저장된 컨텐츠의 데이터 버전과 컨텐츠 서버(30)에 저장된 컨테츠의 데이터 버전이 같을 경우 HMD(10)은 자체 내에 저장된 컨텐츠를 독출하며, HMD(10)에 저장된 컨텐츠의 데이터 버전이 컨텐츠 서버(30)에 저장된 컨테츠의 데이터 버전보다 낮을 경우(마이너일 경우) HMD(10)은 컨텐츠 서버(30)에 저장된 컨텐츠에 관한 데이터를 갱신하며, 필요에 따라 DB서버(20)에 새로운 URL 주소 변경이 되도록 한다.At this time, when the data version of the content stored in the HMD 10 and the data version of the content stored in the content server 30 are the same, the HMD 10 reads the content stored in itself, and the data of the content stored in the HMD 10 is the same. When the version is lower than the data version of the content stored in the content server 30 (minor case), the HMD 10 updates the data related to the content stored in the content server 30, and, if necessary, to the DB server 20 Make the new URL address change.

HMD(10)는 각 실제객체마다 미리 할당된 3차원 가상영상의 가상객체를 표시한다. The HMD 10 displays a virtual object of a 3D virtual image allocated in advance for each real object.

컨텐츠 서버(30)는 애셋 번들을 위한 서버로 이루어지며 온라인을 통하여 요청된 URL과 번들 버전을 비교분석하여 요청에 맞는 컨텐츠를 제공한다.The content server 30 is configured as a server for the asset bundle, and provides content that meets the request by comparing and analyzing the URL requested online and the bundle version.

여기서, 에셋 번들은 유니티 내에 존재하는 리소스에 관한 에셋(스크립트, 프리팹, 사운드, 텍스쳐, 머티리얼 등)을 묶음(Bundle)으로 만들어 외부 스토리지에 로드하여 사용하게 되며, 스토어에서는 분할된 용량별로 다운받으며, 가상체험 데이터 인스톨 후 나머지 에셋 번들을 분할된 용량별로 다운로드된다.Here, the Asset Bundle makes a bundle of assets (scripts, prefabs, sounds, textures, materials, etc.) related to resources existing in Unity and loads them into external storage for use. , After installing the virtual experience data, the remaining asset bundles are downloaded by divided capacity.

시뮬레이터부(40)는 HMD(10)의 착용자가 위치한 실제 공간에 대하여 가상 공간에 매칭되도록 모션을 제공한다.The simulator unit 40 provides motion to match the virtual space with respect to the real space in which the wearer of the HMD 10 is located.

제어부(50)는 HMD(10)을 소지한 사용자의 현재위치와 모션 정보를 파악하며, HMD(10)에서 선택된 적어도 하나 이상의 가상객체의 자세는 3차원 자세정보에 동기되어 변경될 수 있도록 한다.The controller 50 detects the current position and motion information of the user carrying the HMD 10 , and allows the posture of at least one virtual object selected in the HMD 10 to be changed in synchronization with the 3D posture information.

이때, HMD(10)에서 선택된 적어도 하나 이상의 가상객체의 좌표는 실제영상정보에 대한 공간 좌표계에서 HMD(10)의 모바일 좌표계로 변경되고, 선택 해제된 가상객체의 좌표는 HMD(10)의 모바일 좌표계에서 실제영상정보에 대한 공간 좌표계로 변경된다. 사용자가 HMD(10)을 3차원적으로 움직일 경우, 선택된 가상객체는 그 3차원적인 움직임에 동기되어 자세가 자동 변경된다. 6자유도 센서부(12)는 HMD(10)의 3차원적인 움직임을 감지할 뿐만 아니라 사용자의 응시방향, 이동방향, 기울기 등을 감지할 수 있다.At this time, the coordinates of at least one or more virtual objects selected in the HMD 10 are changed from the spatial coordinate system for real image information to the mobile coordinate system of the HMD 10 , and the coordinates of the deselected virtual objects are the mobile coordinate system of the HMD 10 . is changed to the spatial coordinate system for actual image information. When the user moves the HMD 10 in three dimensions, the posture of the selected virtual object is automatically changed in synchronization with the three-dimensional movement. The 6-DOF sensor unit 12 may detect a three-dimensional movement of the HMD 10 as well as a user's gaze direction, movement direction, tilt, and the like.

이후, HMD(10)에 대하여 가상객체가 선택되면, 선택된 가상객체가 HMD(10)의 디스플레이부(14)로 전송된다. 이 때, 가상객체의 기준 좌표계를 공간 좌표계에서 HMD(10)의 좌표계로 변경된다.Thereafter, when a virtual object is selected for the HMD 10 , the selected virtual object is transmitted to the display unit 14 of the HMD 10 . At this time, the reference coordinate system of the virtual object is changed from the spatial coordinate system to the coordinate system of the HMD 10 .

이후, 가상객체가 입력되는 상태에서 HMD(10)을 이동/회전하면, HMD(10)에 연결된 가상객체의 이동/회전 정보가 HMD(10)의 3차원 움직임에 동기에 3차원적으로 변경된다.Thereafter, when the HMD 10 is moved/rotated while the virtual object is input, the movement/rotation information of the virtual object connected to the HMD 10 is three-dimensionally changed in synchronization with the three-dimensional movement of the HMD 10 . .

이후, 가상객체가 입력되지 않도록 하면 가상객체가 HMD(10)에서 분리된다. 그에 따라 가상객체의 기준 좌표계가 HMD(10)의 좌표계에서 공간 좌표계로 변경된다.Thereafter, when the virtual object is not input, the virtual object is separated from the HMD 10 . Accordingly, the reference coordinate system of the virtual object is changed from the coordinate system of the HMD 10 to the spatial coordinate system.

제어부(50)는 HMD(10)의 구동신호에 따라 DB서버(20)로부터 URL을 입력받아 HMD(10)와 시뮬레이터부(40)를 제어한다.The control unit 50 receives the URL from the DB server 20 according to the driving signal of the HMD 10 and controls the HMD 10 and the simulator unit 40 .

본 발명의 다른 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 의하면, 체험자용 HMD(10A)와 가이드용 HMD(10B)를 각각 착용한 사용자들이 가상의 공간에서 움직이면서 발생되는 안전사고를 방지하기 위하여, 각 체험자와 가이드가 착용하고 있는 HMD(10)에는 각 HMD(10)에 대하여 각각의 식별표지의 데이터를 생성하기 위한 식별표지 생성부(16)를 더 구비한다. 식별표지 생성부(16)는 각 HMD(10)의 움직임에 따른 착용자의 위치에 관한 데이터를 포함하여 생성하며, 제어부(50)로 입력한다.According to the 6DOF online multiplayer VR tourism experience system according to another embodiment of the present invention, users wearing the HMD 10A for the experiencer and the HMD 10B for the guide, respectively, move in a virtual space to prevent safety accidents. To this end, the HMD 10 worn by each experiencer and the guide further includes an identification mark generating unit 16 for generating each identification mark data for each HMD 10 . The identification mark generating unit 16 generates data including the wearer's position according to the movement of each HMD 10 , and inputs it to the control unit 50 .

한편, 제어부(50)는 각 HMD(10)를 착용하고 있는 사용자들에 관한 실 공간 좌표에 대한 데이터를 이차원 위치 좌표로 배열하며, 각 식별표지 생성부(16)에 의하여 생성된 위치에 관한 데이터에 따라 이들 HMD(10)을 착용하고 있는 사용자들 사이에 대한 상대적 거리 정보를 생성하며, 일정 거리 이하로 근접될 경우 이에 대한 정보를 HMD(10)의 디스플레이부(14)에 표시하거나 알람 정보를 HMD(10)으로 전송한다.On the other hand, the control unit 50 arranges data on real space coordinates for users wearing each HMD 10 as two-dimensional position coordinates, and data on positions generated by each identification mark generating unit 16 . generates relative distance information between users wearing the HMD 10 according to the It is transmitted to the HMD (10).

따라서 HMD(10)을 착용한 상태에서 거동하는 HMD(10)의 착용자들 사이에서 발생되는 안전사고를 미연에 방지할 수 있다.Therefore, it is possible to prevent in advance a safety accident that occurs between wearers of the HMD 10 who move while wearing the HMD 10 .

10: HMD
12: 6자유도 센서부
14: 디스플레이부
16: 식별표지 생성부
20: DB서버
30: 컨텐츠 서버
40: 시뮬레이터부
50: 제어부10: HMD
12: 6 degree of freedom sensor unit
14: display unit
16: identification mark generation unit
20: DB server
30: content server
40: simulator unit
50: control unit

Claims (7)

체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)를 구비하며 3D 영상이 디스플레되는 HMD(10);
스토리지를 구축하며 3차원 가상공간 실현에 필요한 프로그램이 내재되며 3D 영상의 컨텐츠에 대하여 URL(uniform resource locator) 응답형태로 제공하기 위한 DB서버(20);
번들 버전을 가진 애셋 번들이 내재된 서버로 이루어지며 온라인을 통하여 요청된 URL과 번들 버전을 비교분석하여 요청에 맞는 컨텐츠를 제공하기 위한 컨텐츠 서버(30);
가상 공간에 매칭되도록 HMD(10)의 착용자가 위치한 공간에 대하여 모션을 제공하기 위한 시뮬레이터부(40); 및
HMD(10)의 구동신호에 따라 DB서버(20)로부터 URL을 입력받아 HMD(10)와 시뮬레이터부(40)를 제어하기 위한 제어부(50)를 포함하는 것을 특징으로 하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템.an HMD 10 having a 6 degree of freedom sensor unit 12 for detecting 6 degrees of freedom related to the head posture of the experiencer and displaying a 3D image;
a DB server 20 for constructing storage and embedding a program necessary for realizing a three-dimensional virtual space and providing a URL (uniform resource locator) response form to the content of the 3D image;
a content server 30 configured as a server in which an asset bundle having a bundle version is embedded, and for providing content suitable for the request by comparing and analyzing the URL requested through the online and the bundle version;
a simulator unit 40 for providing motion with respect to a space in which a wearer of the HMD 10 is located so as to match the virtual space; and
6DOF online multiplayer VR tourism comprising a control unit 50 for controlling the HMD 10 and the simulator unit 40 by receiving a URL from the DB server 20 according to the driving signal of the HMD 10 experience system. 제1항에 있어서, HMD(10)는 체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)와 3D 영상이 디스플레되는 디스플레이부(14)를 구비하는 것을 특징으로 하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템.The 6DOF according to claim 1, wherein the HMD (10) includes a 6-DOF sensor unit (12) for detecting 6-DOF related to the head posture of the user and a display unit (14) for displaying a 3D image. Online multiplayer VR tourism experience system. 제2항에 있어서, 디스플레이부(14)는 착용시 사용자의 각 눈에 보여줄 디스플레이 스크린이 2개 존재하며, 초기 프로그램 구동시 DB서버(20)로부터 컨텐츠 URL을 JSON 형태로 제공받아 로컬 메모리에 저장된 리스트와 비교후 마이너 버전일 경우 컨텐츠 서버(30)에 접속하여 필요한 컨텐츠를 다운받아 갱신시키는 것을 특징으로 하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템.The method according to claim 2, wherein the display unit 14 has two display screens to be displayed to each user's eyes when worn. 6DOF online multiplayer VR tourism experience system, characterized in that in the case of a minor version after comparison with the list, it accesses the content server 30 to download and update the necessary content. 제1항 내지 제3항 중의 어느 한 항에 있어서, HMD(10)은 가상 관광을 체험하고자 하는 사용자가 착용하기 위한 체험자용 HMD(10A)와 체험자용 HMD(10A)을 착용한 사용자에 대하여 관광 체험을 가이드하기 위한 가이드가 착용하기 위한 가이드용 HMD(10B)로 이루어지며,
가이드용 HMD(10B)에는 체험자용 HMD(10A)의 사용자와 달리 가이드용 콘트롤 패널이 접속되며, 콘트롤 패널에는 다수의 사용자에게 보여줄 컨텐츠를 제어하는 기능이 수행되도록 하기 위한 인터페이스로 이루어지는 것을 특징으로 하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템.[Claim 4] The HMD (10) according to any one of claims 1 to 3, wherein the HMD (10) is used by a user who wants to experience virtual tourism to be worn by an HMD (10A) for an experiencer and a user wearing an HMD (10A) for an experienced person is toured. The guide for guiding the experience consists of a guide HMD (10B) to be worn,
A guide control panel is connected to the guide HMD 10B, unlike the user of the experienced HMD 10A, and the control panel comprises an interface for controlling content to be displayed to a plurality of users. 6DOF online multiplayer VR tourism experience system. 제4항에 있어서,
HMD(10)는 설치된 프로그램을 통해 URL 주소를 전송하여 컨텐츠 서버(30)로부터 리소스에 관한 데이터를 제공받는 것을 특징으로 하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템.5. The method of claim 4,
The HMD (10) transmits a URL address through an installed program to receive data on resources from the content server (30), 6DOF online multiplayer VR tourism experience system. 제5항에 있어서, HMD(10)는 실제영상정보의 각 실제객체마다 미리 할당된 3차원 가상영상의 가상객체를 증강하여 표시하며,
HMD(10)의 URL 주소에 연결될 경우, 가상현실 컨텐츠가 표시되는 체험화면을 디스플레이하는 것을 특징으로 하는 6DOF 온라인 멀티 플이어 VR 관광체험 시스템.The method according to claim 5, wherein the HMD (10) augments and displays the virtual object of the 3D virtual image allocated in advance for each real object of the real image information,
When connected to the URL address of the HMD (10), 6DOF online multiplayer VR tourism experience system, characterized in that it displays an experience screen on which virtual reality content is displayed. 제5항에 있어서, 에셋 번들은 유니티 내에 존재하는 리소스에 에셋(스크립트, 프리팹, 사운드, 텍스쳐, 머티리얼 등)을 묶음(Bundle)으로 만들어 외부 스토리지에 로드하여 사용하게 되며, 스토어에서는 분할된 용량별로 다운받으며, 가상체험 데이터 인스톨 후 최초 접속시 컨텐츠 서버(30)를 통해 나머지 에셋 번들을 분할된 용량별로 다운로드되는 것을 특징으로 하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템.The method of claim 5, wherein the Asset Bundle bundles assets (scripts, prefabs, sounds, textures, materials, etc.) to resources existing in Unity and loads them into external storage for use. 6DOF online multiplayer VR tourism experience system, characterized in that the remaining asset bundles are downloaded for each divided capacity through the content server 30 when first connected after installing virtual experience data.
KR1020200051755A 2020-04-28 2020-04-28 Tourism experience system with 60DOF online multi-player KR102343601B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200051755A KR102343601B1 (en) 2020-04-28 2020-04-28 Tourism experience system with 60DOF online multi-player

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200051755A KR102343601B1 (en) 2020-04-28 2020-04-28 Tourism experience system with 60DOF online multi-player

Publications (2)

Publication Number Publication Date
KR20210133058A true KR20210133058A (en) 2021-11-05
KR102343601B1 KR102343601B1 (en) 2021-12-27

Family

ID=78507984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200051755A KR102343601B1 (en) 2020-04-28 2020-04-28 Tourism experience system with 60DOF online multi-player

Country Status (1)

Country Link
KR (1) KR102343601B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097160A (en) * 2016-12-14 2018-06-21 セイコーエプソン株式会社 Display system, display device, and control method for display device
US20180308287A1 (en) * 2015-10-16 2018-10-25 Bent Image Lab, Llc Augmented reality platform
KR101972120B1 (en) * 2017-11-07 2019-08-16 (주)동호전자 Motion simulator fused with ICT and VR contents
KR20200026959A (en) * 2017-08-01 2020-03-11 삼성전자주식회사 Hologram Display and Synchronization of 3D Objects with Physical Video Panels

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180308287A1 (en) * 2015-10-16 2018-10-25 Bent Image Lab, Llc Augmented reality platform
JP2018097160A (en) * 2016-12-14 2018-06-21 セイコーエプソン株式会社 Display system, display device, and control method for display device
KR20200026959A (en) * 2017-08-01 2020-03-11 삼성전자주식회사 Hologram Display and Synchronization of 3D Objects with Physical Video Panels
KR101972120B1 (en) * 2017-11-07 2019-08-16 (주)동호전자 Motion simulator fused with ICT and VR contents

Also Published As

Publication number Publication date
KR102343601B1 (en) 2021-12-27

Similar Documents

Publication Publication Date Title
CA3023488C (en) System and method for generating a progressive representation associated with surjectively mapped virtual and physical reality image data
JP6240301B1 (en) Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program
JP5961736B1 (en) Method and program for controlling head mounted display system
TW202004421A (en) Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
JP6058184B1 (en) Method and program for controlling head mounted display system
RU2664397C2 (en) Virtual reality display system
JP6002286B1 (en) Head mounted display control method and head mounted display control program
US11094107B2 (en) Information processing device and image generation method
JP6234622B1 (en) Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program
JP6240353B1 (en) Method for providing information in virtual space, program therefor, and apparatus therefor
KR20160108017A (en) Device for virtual tour experience and method thereof
JP6276434B1 (en) Method for supporting movement in virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program
WO2018109502A1 (en) A system for providing a virtual reality experience
JP6212666B1 (en) Information processing method, program, virtual space distribution system, and apparatus
JP2017021824A (en) Head-mounted display control method and head-mounted display control program
JP6433862B2 (en) Head mounted display system control program, computer and method
KR20220109920A (en) Experience system of online multi-players
KR102343601B1 (en) Tourism experience system with 60DOF online multi-player
US20220405996A1 (en) Program, information processing apparatus, and information processing method
JP6382928B2 (en) Method executed by computer to control display of image in virtual space, program for causing computer to realize the method, and computer apparatus
JP6598575B2 (en) Method and program for controlling head mounted display system
JP2018170013A (en) Method executed by computer to control display of image in virtual space, program for causing computer to achieve the method, and computer device
CN108446012B (en) Virtual reality moving picture display method and virtual reality device
JP2019021347A (en) Head-mounted display system control program
KR101750064B1 (en) Apparatus and method for simulatin virtual experience

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant