KR20200012265A - Multiple users audiovisual education system using vr image and method thereof - Google Patents

Multiple users audiovisual education system using vr image and method thereof Download PDF

Info

Publication number
KR20200012265A
KR20200012265A KR1020180087343A KR20180087343A KR20200012265A KR 20200012265 A KR20200012265 A KR 20200012265A KR 1020180087343 A KR1020180087343 A KR 1020180087343A KR 20180087343 A KR20180087343 A KR 20180087343A KR 20200012265 A KR20200012265 A KR 20200012265A
Authority
KR
South Korea
Prior art keywords
image
hmd
center
control device
area
Prior art date
Application number
KR1020180087343A
Other languages
Korean (ko)
Other versions
KR102094750B1 (en
Inventor
김연표
김수영
Original Assignee
(주)소프트젠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)소프트젠 filed Critical (주)소프트젠
Priority to KR1020180087343A priority Critical patent/KR102094750B1/en
Publication of KR20200012265A publication Critical patent/KR20200012265A/en
Application granted granted Critical
Publication of KR102094750B1 publication Critical patent/KR102094750B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

A multi-user audio-visual education system using a VR image of the present invention includes: a control device which converts a 2D image into a 360° VR image, divides the VR image into a plurality of regions, and sets position coordinates in each divided region; and HMD devices which receive and display the VR image from the control device, determine a center area corresponding to a center point of view of a user viewing the VR image, and provide position coordinates of the center area to the control device. The HMD devices display a VR image in which a viewing concentration region set by the control device is positioned in the center area during a viewing concentration period.

Description

VR 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법{MULTIPLE USERS AUDIOVISUAL EDUCATION SYSTEM USING VR IMAGE AND METHOD THEREOF}MULTIPLE USERS AUDIOVISUAL EDUCATION SYSTEM USING VR IMAGE AND METHOD THEREOF}

본 발명은 VR 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법에 관한 것으로서, 더 상세하게는 시청각 지도가 필요한 교육생에게 특정 시점의 영상을 제공하는 시스템 및 방법에 관한 것이다.The present invention relates to a multi-user audiovisual education system and a teaching method using a VR image, and more particularly, to a system and method for providing an image of a specific viewpoint to a trainee who needs an audiovisual guidance.

HMD(Head Mounted Display) 기기가 보급화됨에 따라 VR(Virtual Reality) 영상에 대한 관심도 높아지고 있다. HMD 기기는 마치 실제 주변 환경과 상호 작용을 하는 것처럼 느낄 수 있는 VR 영상을 사용자에게 제공할 수 있다.As head mounted display (HMD) devices become more popular, interest in VR (Virtual Reality) video is also increasing. The HMD device can provide the user with a VR image that can feel as if they are interacting with the actual environment.

360°VR 영상을 이용하면 사용자의 움직임에 따라 시점이 변화하여 다양한 시점의 영상이 제공될 수 있다. 이러한 특징을 활용하여 게임, 교육 등 다양한 분야에 적용하려는 시도가 활발하게 진행중에 있다.When the 360 ° VR image is used, a viewpoint may be changed according to a user's movement to provide images of various viewpoints. Attempts to apply these characteristics to various fields such as games and education are actively underway.

하지만, 지적장애인과 같은 인지 능력이 부족한 사용자들은 VR 영상 시청에 따른 적절한 응답을 기대할 수 없으며, 특정 시점의 영상을 시청하도록 유도하는데 어려움이 있다. 따라서, 이러한 사용자들에게 제공되는 VR 영상을 이용한 시청각 교육 방법은 효율성이 떨어지는 문제가 있다.However, users who lack cognitive abilities, such as the intellectually disabled, cannot expect an appropriate response according to the viewing of VR images, and have difficulty in inducing them to watch images at a specific time point. Therefore, the audiovisual education method using the VR image provided to these users has a problem of low efficiency.

본 발명은 전술한 문제점을 해결하고자 하는 것으로서, VR 영상을 복수의 영역으로 분할한 후 HMD 장치의 사용자가 바라보는 중심 시점을 판단하여 관리자가 원하는 시점의 영상을 사용자가 바라보도록 HMD 장치를 제어하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법을 제공함에 목적이 있다.The present invention is to solve the above-described problem, after dividing the VR image into a plurality of areas to determine the center point of view of the user of the HMD device to control the HMD device so that the user looks at the image of the viewpoint desired by the administrator An object of the present invention is to provide a multi-user audiovisual education system and education method using VR video.

전술한 목적을 달성하기 위하여, 본 발명은 2차원 영상을 360° VR 영상으로 변환하고, 상기 VR 영상을 복수의 영역들로 분할하며, 분할된 각각의 영역에 위치 좌표를 설정하는 제어 장치와, 상기 제어 장치로부터 상기 VR 영상을 제공받아 표시하고, 상기 VR 영상을 바라보는 사용자의 중심 시점에 대응하는 중심 영역을 판단한 후, 상기 중심 영역의 위치 좌표를 상기 제어 장치에 제공하는 HMD 장치들을 포함하고, 상기 HMD 장치는, 시청 집중 기간 동안 상기 제어 장치에 의해 설정된 시청 집중 영역을 상기 중심 영역에 위치시킨 VR 영상을 표시한다.In order to achieve the above object, the present invention provides a control device for converting a two-dimensional image into a 360 ° VR image, dividing the VR image into a plurality of regions, and setting the position coordinates in each of the divided regions; And receiving the VR image from the control apparatus, determining a center region corresponding to the center viewpoint of the user looking at the VR image, and then providing the position coordinates of the center region to the control apparatus. The HMD device displays a VR image in which the viewing concentrated area set by the control device is located in the central area during the viewing concentration period.

본 발명의 일 특징에 의하면, 상기 HMD 장치들은 상기 VR 영상을 소정의 기간 동안 동시에 표시할 수 있다.According to an aspect of the present invention, the HMD devices may simultaneously display the VR image for a predetermined period.

본 발명의 다른 특징에 의하면, 상기 HMD 장치들은 상기 제어 장치로부터 수신된 영상 시작 신호를 기초로 동일한 시점에 상기 VR 영상을 표시할 수 있다.According to another feature of the invention, the HMD devices may display the VR image at the same time point based on the image start signal received from the control device.

본 발명의 또 다른 특징에 의하면, 상기 제어 장치는 상기 VR 영상을 관리자에게 표시하는 표시부를 포함하고, 상기 표시부에 표시되는 VR 영상은 상기 HMD 장치들 각각의 중심 영역의 위치 좌표가 표시될 수 있다.According to another feature of the invention, the control device includes a display unit for displaying the VR image to the manager, the VR image displayed on the display unit can be displayed the position coordinates of the central region of each of the HMD devices .

본 발명의 또 다른 특징에 의하면, 상기 제어 장치는 상기 HMD 장치들 중 상기 시청 집중 영역에서 벗어난 영역에 상기 중심 영역의 위치 좌표가 표시되는 제1 HMD 장치의 중심 영역을 조절하기 위해 중심 위치 조절 정보를 생성하고, 상기 제1 HMD 장치에 상기 중심 위치 조절 정보를 제공할 수 있다.According to another feature of the present invention, the control device may adjust the center position adjustment information to adjust the center area of the first HMD device in which the position coordinates of the center area are displayed in an area out of the viewing concentration area among the HMD devices. And generate the center position adjustment information to the first HMD device.

본 발명의 또 다른 특징에 의하면, 상기 제1 HMD 장치가 상기 중심 위치 조절 정보를 수신한 경우, 블랙 영상을 표시하고 제1 HMD 장치의 중심 영역을 상기 시청 집중 영역에 위치시킨 후 상기 VR 영상을 표시할 수 있다.According to another feature of the present invention, when the first HMD device receives the center position adjustment information, a black image is displayed, the center region of the first HMD device is positioned in the viewing concentration region, and the VR image is displayed. I can display it.

본 발명의 또 다른 특징에 의하면, 상기 제1 HMD 장치는 상기 중심 위치 조절 정보를 기초로 상기 VR 영상을 회전하여 상기 제1 HMD 장치의 중심 영역을 상기 시청 집중 영역에 위치시킨 후 상기 VR 영상을 표시할 수 있다.According to another feature of the present invention, the first HMD device rotates the VR image based on the center position adjustment information to position the center region of the first HMD device in the viewing concentration region and then display the VR image. I can display it.

또한, 전술한 목적을 달성하기 위하여 복수의 영역으로 분할된 360°VR 영상을 표시하는 HMD 장치들과, 상기 HMD 장치를 제어하는 제어 장치를 포함하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법은, 상기 제어 장치가 인접한 HMD 장치들로 세션 생성 알림을 전송하는 단계와, 상기 HMD 장치들이 상기 세션 생성 알림에 응답하여 상기 제어 장치에 참여 알림을 전송하는 단계와, 상기 제어 장치가 상기 참여 알림을 전송한 HMD 장치들에 VR 영상과 영상 시작 신호를 전송하는 단계와, 상기 HMD 장치들이 상기 영상 시작 신호에 기초하여 상기 VR 영상을 표시하는 단계와, 상기 HMD 장치들이 상기 VR 영상을 바라보는 사용자의 중심 시점에 대응하는 중심 영역을 판단하여 상기 제어 장치에 상기 중심 영역의 위치 좌표를 전송하는 단계와, 상기 제어 장치가 상기 중심 영역의 위치 좌표를 이용하여 중심 위치 조절 정보를 생성하고, 상기 HMD 장치들에 상기 중심 위치 조절 정보를 전송하는 단계와, 상기 HMD 장치들이 상기 중심 위치 조절 정보를 기초로 상기 중심 영역에 상기 제어 장치에 의해 설정된 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계를 포함한다.In addition, in order to achieve the above object, HMD devices for displaying a 360 ° VR image divided into a plurality of areas, and a training method of a multi-user audiovisual education system using a VR image including a control device for controlling the HMD device The method may include: transmitting, by the control device, a session creation notification to adjacent HMD devices; transmitting, by the HMD devices, a participation notification to the control device in response to the session creation notification; Transmitting a VR image and an image start signal to the HMD devices that have transmitted the data, displaying the VR image based on the HMD devices, and viewing the VR image based on the image start signal. Determining a center area corresponding to a center time point of the at least one and transmitting the position coordinates of the center area to the control device; The device generates center position adjustment information using the position coordinates of the center region, and transmits the center position adjustment information to the HMD devices, and the HMD devices transmit to the center region based on the center position adjustment information. And displaying the VR image in which the viewing concentration region set by the control apparatus is located.

본 발명의 일 특징에 의하면, 상기 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법은, 상기 제어 장치가 2차원 영상을 360°VR 영상으로 변환하고, 상기 VR 영상을 복수의 영역들로 분할하여 분할된 각각의 영역에 위치 좌표를 설정하는 단계를 더 포함할 수 있다.According to an aspect of the present invention, in the teaching method of the multi-user audiovisual education system using the VR image, the control unit converts the 2D image into a 360 ° VR image, and divides the VR image into a plurality of areas The method may further include setting location coordinates in each of the divided regions.

본 발명의 다른 특징에 의하면, 상기 중심 위치 조절 정보를 전송하는 단계는, 상기 제어 장치가 상기 HMD 장치들 중 상기 시청 집중 영역에서 벗어난 영역에 중심 영역이 위치한 제1 HMD 장치를 판단하고, 상기 제1 HMD 장치의 중심 영역이 상기 시청 집중 영역에 위치하도록 상기 중심 위치 조절 정보를 생성하여 상기 제1 HMD 장치에 전송할 수 있다.According to another feature of the present invention, the transmitting of the center position adjustment information may include: determining, by the control apparatus, a first HMD device in which a center area is located in an area out of the viewing concentration area among the HMD devices; 1 The center position adjustment information may be generated and transmitted to the first HMD device such that the center area of the HMD device is located in the viewing concentration area.

본 발명의 또 다른 특징에 의하면, 상기 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계는, 상기 제1 HMD 장치가 블랙 영상을 표시한 후 상기 제1 HMD 장치의 중심 영역을 상기 시청 집중 영역을 위치시킨 후 상기 VR 영상을 표시할 수 있다.According to still another aspect of the present invention, the displaying of the VR image in which the viewing concentration region is located comprises: displaying the black image by the first HMD apparatus and then selecting the center region of the first HMD apparatus as the viewing concentration region. After positioning, the VR image may be displayed.

본 발명의 또 다른 특징에 의하면, 상기 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계는, 상기 제1 HMD 장치가 상기 중심 위치 조절 정보를 기초로 상기 VR 영상을 회전하여 상기 제1 HMD 장치의 중심 영역에 상기 시청 집중 영역을 위치시킨 후 상기 VR 영상을 표시할 수 있다.According to another aspect of the present invention, the displaying of the VR image in which the viewing concentration region is located, the first HMD device rotates the VR image based on the center position adjustment information of the first HMD device The VR image may be displayed after the viewing concentration region is positioned in a central region.

본 발명의 또 다른 특징에 의하면, 상기 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계는, 상기 제1 HMD 장치가 상기 중심 위치 조절 정보를 기초로 상기 제1 HMD 장치의 중심 영역에 상기 시청 집중 영역을 위치시킨 후 일정 기간 동안 사용자의 중심 시점을 상기 시청 집중 영역에 고정할 수 있다.According to still another aspect of the present invention, the displaying of the VR image in which the viewing concentration region is located comprises: focusing the viewing on the central region of the first HMD apparatus by the first HMD apparatus based on the center position adjustment information. After positioning the region, the center of view of the user may be fixed to the viewing concentration region for a predetermined time.

본 발명의 VR 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법에 의하면, 제어 장치의 관리자는 HMD 장치를 제어함으로써 인지 능력이 부족한 사용자에게 시청 집중 영역을 시청할 수 있도록 유도할 수 있다.According to the multi-user audio-visual education system and training method using the VR image of the present invention, the administrator of the control device can induce the user to view the viewing concentration area by the user lacking cognitive ability by controlling the HMD device.

또한, 본 발명의 VR 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법에 의하면, 제어 장치의 관리자는 시청 집중 영역을 시청하지 않는 사용자에게 시청 집중 영역을 시청할 수 있도록 HMD 장치를 제어한 후 일정 기간 동안 HMD 장치의 중심 시점을 고정하여 사용자에게 VR 영상의 특정 영역을 집중시킬 수 있다.In addition, according to the multi-user audiovisual education system and training method using the VR image of the present invention, the administrator of the control device controls the HMD device so that the user can view the viewing focus area for the user who does not watch the viewing focus area, By fixing the center view of the HMD device, a specific area of the VR image can be focused on the user.

도 1은 본 발명의 실시 예에 따른 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 개략적인 도면이다.
도 2a와 도 2b는 본 발명의 실시 예에 따른 360°VR 영상을 설명하기 위한 도면이다.
도 3a는 본 발명의 실시 예에 따른 제1 HMD 장치에 상에 표시된 VR 영상을 설명하기 위한 도면이다.
도 3b는 본 발명의 실시 예에 따른 제2 HMD 장치 상에 표시된 VR 영상을 설명하기 위한 도면이다.
도 3c는 본 발명의 실시 예에 따른 제어 장치 상에 표시된 VR 영상을 설명하기 위한 도면이다.
도 4a와 도 도 4b 본 발명의 실시 예에 따른 변경된 시점의 VR 영상을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법을 설명하기 위한 흐름도이다.1 is a schematic diagram of a multi-user audiovisual education system using a VR image according to an embodiment of the present invention.
2A and 2B are diagrams for describing a 360 ° VR image according to an embodiment of the present invention.
3A is a diagram for describing a VR image displayed on a first HMD device according to an embodiment of the present invention.
3B is a diagram for describing a VR image displayed on a second HMD device according to an embodiment of the present invention.
3C is a diagram for describing a VR image displayed on a control device according to an embodiment of the present invention.
4A and 4B are diagrams for describing a VR image of a changed view point according to an exemplary embodiment.
5 is a flowchart illustrating a teaching method of a multi-user audiovisual education system using a VR image according to an exemplary embodiment of the present invention.

이하에서는 본 발명의 실시 예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다. 그리고 본 발명의 여러 실시 예를 설명함에 있어서, 동일한 기술적 특징을 갖는 구성요소에 대하여는 동일한 도면부호를 사용하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the embodiments described below are merely to describe in detail enough to be able to easily carry out the invention by those skilled in the art to which the present invention pertains, and this is because the protection scope of the present invention is limited. It does not mean. In describing the various embodiments of the present disclosure, the same reference numerals will be used to refer to components having the same technical features.

도 1은 본 발명의 실시 예에 따른 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 개략적인 도면이다.1 is a schematic diagram of a multi-user audiovisual education system using a VR image according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 VR 영상을 이용한 다중 사용자 시청각 교육 시스템(10)은 제어 장치(100) 및 HMD 장치들(200A, 200B, 200C)을 포함할 수 있다.Referring to FIG. 1, the multi-user audiovisual education system 10 using a VR image according to an exemplary embodiment of the present disclosure may include a control device 100 and HMD devices 200A, 200B, and 200C.

제어 장치(100)는 HMD 장치들(200A, 200B, 200C)과의 무선 통신을 통해 HMD 장치들(200A, 200B, 200C)에서 재생되는 VR 영상을 제어할 수 있다. 제어 장치(100)는 무선 또는 유선으로 데이터를 주거나 받을 수 있는 무선 통신 장치기, 이동 장치기, 및 컴퓨팅 장치를 의미할 수 있다. The control device 100 may control the VR image reproduced by the HMD devices 200A, 200B, and 200C through wireless communication with the HMD devices 200A, 200B, and 200C. The control device 100 may refer to a wireless communication device, a mobile device, and a computing device that can transmit or receive data wirelessly or by wire.

예컨대, 제어 장치(100)는 서버, PC, 스마트 폰(smart phone), 태블릿 (tablet) PC, 모바일 인터넷 장치(mobile internet device(MID)), 인터넷 태블릿, IoT(internet of things) 장치, IoE(internet of everything) 장치, 데스크 탑 컴퓨터(desktop computer), 랩탑(laptop) 컴퓨터, 워크스테이션 컴퓨터, 또는 PDA (personal digital assistant)를 의미할 수 있으나, 이에 한정되는 것은 아니다.For example, the control device 100 may include a server, a PC, a smart phone, a tablet PC, a mobile internet device (MID), an internet tablet, an Internet of things (IoT) device, and an IoE ( It may mean, but is not limited to, an internet of everything device, a desktop computer, a laptop computer, a workstation computer, or a personal digital assistant.

제어 장치(100)는 2차원 영상을 변환하여 360°VR 영상을 생성할 수 있다. 특히, 제어 장치(100)는 VR 영상을 복수의 영역들로 분할할 수 있고, 제어 장치(100)는 복수의 영역들 각각에 위치 좌표를 설정할 수 있다. The control device 100 may generate a 360 ° VR image by converting the 2D image. In particular, the control device 100 may divide the VR image into a plurality of areas, and the control device 100 may set position coordinates in each of the plurality of areas.

제어 장치(100)는 HMD 장치들(200A, 200B, 200C)의 사용자가 VR 영상의 특정 영역에 집중할 수 있도록 HMD 장치들(200A, 200B, 200C)에서 재생되는 VR 영상을 제어할 수 있다. 이에 대한 상세한 설명은 도 4a및 도 4b에서 설명한다.The control device 100 may control the VR image reproduced by the HMD devices 200A, 200B, and 200C so that a user of the HMD devices 200A, 200B, and 200C may concentrate on a specific area of the VR image. Details thereof will be described with reference to FIGS. 4A and 4B.

또한, 제어 장치(100)는 HMD 장치들(200A, 200B, 200C)에서 재생되는 VR 영상의 시점을 고정할 수 있다. 제어 장치(100)의 관리자는 VR 영상의 특정 영역을 집중시키기 위해 HMD 장치의 중심 영역을 VR 영상의 특정 영역으로 변경시킨 후, 해당 시점을 일정 기간 동안 고정시킬 수 있다.In addition, the control device 100 may fix the viewpoint of the VR image reproduced by the HMD devices 200A, 200B, and 200C. The manager of the control device 100 may change the central area of the HMD device to a specific area of the VR image to focus a specific area of the VR image, and then fix the corresponding point of time for a predetermined period of time.

예컨대, 제어 장치(100)의 관리자는 제1 기간 동안 VR 영상에 포함된 '나무 영상'에 집중하도록 제어하기 위해 '나무 영상'를 포함하는 영역으로 HMD 장치들(200A, 200B, 200C)의 중심 영역을 변경한 후, '나무 영상'를 포함하는 영역으로 중심 영역을 고정시킬 수 있다. 따라서, HMD 장치들(200A, 200B, 200C)의 사용자가 머리를 움직여도 사용자의 중심 시점은 '나무 영상'를 포함하는 영역에 고정된 상태이므로 관리자는 사용자를 '나무'에만 집중시킬 수 있다.For example, the manager of the control device 100 is the center of the HMD devices 200A, 200B, 200C as an area including the 'tree image' to control to concentrate on the 'tree image' included in the VR image during the first period. After changing the region, the central region may be fixed to the region including the 'tree image'. Therefore, even if the user of the HMD devices 200A, 200B, and 200C moves their heads, the central viewpoint of the user is fixed in an area including the 'tree image', so that the administrator can focus the user only on the 'tree'.

HMD 장치들(200A, 200B, 200C)은 제어 장치(100)로부터 VR 영상을 수신하여 제어 장치(100)의 제어에 따라 VR 영상을 재생할 수 있다. 즉, HMD 장치들(200A, 200B, 200C)은 제어 장치(100)로부터 수신된 영상 시작 신호에 기초하여 특정 시점에 VR 영상을 재생할 수 있다. HMD 장치들(200A, 200B, 200C)이 수신한 영상 시작 신호는 동일한 시점을 포함하기 때문에, HMD 장치들(200A, 200B, 200C)은 동시에 VR 영상을 재생할 수 있다.The HMD devices 200A, 200B, and 200C may receive a VR image from the control device 100 and reproduce the VR image under the control of the control device 100. That is, the HMD devices 200A, 200B, and 200C may play the VR image at a specific time point based on the image start signal received from the control device 100. Since the image start signal received by the HMD devices 200A, 200B, and 200C includes the same view, the HMD devices 200A, 200B, and 200C may simultaneously play a VR image.

예컨대, 제1 HMD 장치(200A), 제2 HMD 장치(200B) 및 제3 HMD 장치(200C) 각각이 순차적으로 제어 장치(100)로부터 영상 시작 신호를 수신하였더라도, 영상 시작 신호에 포함된 시점에서 동시에 VR 영상을 재생할 수 있다.For example, even if each of the first HMD device 200A, the second HMD device 200B, and the third HMD device 200C sequentially receives the image start signal from the control device 100, at a time point included in the image start signal VR video can be played at the same time.

HMD 장치들(200A, 200B, 200C) 각각은 사용자의 현재 중심 시점, 즉 사용자가 바라보고 있는 중심 영역의 위치 좌표를 제어 장치(100)에 제공할 수 있다. Each of the HMD devices 200A, 200B, and 200C may provide the control device 100 with the current coordinates of the user's current center, that is, the position coordinates of the central area that the user views.

실시 예에 따라, HMD 장치들(200A, 200B, 200C)은 기설정된 일정한 시간마다 중심 영역의 위치 좌표를 제어 장치(100)에 제공할 수 있다. 예컨대, HMD 장치들(200A, 200B, 200C) 각각은 0.5초마다 현재 중심 영역의 위치 좌표를 제어 장치(100)에 제공할 수 있다.According to an embodiment, the HMD devices 200A, 200B, and 200C may provide the control device 100 with position coordinates of the central area at predetermined time intervals. For example, each of the HMD devices 200A, 200B, and 200C may provide the control device 100 with position coordinates of the current center area every 0.5 seconds.

다른 실시 예에 따라, HMD 장치들(200A, 200B, 200C)은 특정한 이벤트 발생시마다 중심 영역의 위치 좌표를 제어 장치(100)에 제공할 수 있다.According to another embodiment, the HMD devices 200A, 200B, and 200C may provide the control device 100 with the location coordinates of the center area whenever a specific event occurs.

예컨대, VR 영상에는 시간의 흐름에 따라 시청 집중 영역이 설정되어 있을 수 있다. 여기서, 시청 집중 영역이란 제어 장치(100)의 관리자가 HMD 장치의 사용자에게 시청하도록 유도를 하기위한 VR 영상의 일정 영역을 의미하며, 시청 집중 영역은 시간의 흐름에 따라 변경될 수 있다. 즉, VR 영상이 재생되는 제1 시점에서의 시청 집중 영역은 '나무 영상'에 관한 영역일 수 있지만, 제2 시점에서는 '토끼 영상'에 관한 영역일 수 있다.For example, the viewing concentrated area may be set in the VR image according to the passage of time. Here, the viewing concentration region refers to a predetermined region of the VR image for inducing the administrator of the control apparatus 100 to watch the user of the HMD device, and the viewing concentration region may be changed as time passes. That is, the viewing concentration region at the first time point at which the VR image is played may be an area related to the 'tree image', but may be an area related to the 'rabbit image' at the second time point.

이때, HMD 장치들(200A, 200B, 200C) 각각의 중심 영역이 시청 집중 영역의 임계 범위 내에 있을 경우 중심 영역의 위치 좌표를 제어 장치(100)에 제공하지 않고, 중심 영역이 시청 집중 영역의 임계 범위 밖에 있을 때만 중심 영역의 위치 좌표를 제어 장치(100)에 제공할 수 있다. 이는 제어 장치(100)에 잦은 빈도로 위치좌표를 제공할 경우, VR 영상을 제어하는데 부하를 발생될 위험을 줄이기 위함이다.In this case, when the center region of each of the HMD devices 200A, 200B, and 200C is within the threshold range of the viewing concentration region, the position coordinates of the center region are not provided to the control device 100, and the center region is the threshold of the viewing concentration region. The position coordinates of the central area may be provided to the control device 100 only when outside the range. This is to reduce the risk of generating a load in controlling the VR image when the position coordinates are frequently provided to the control device 100.

HMD 장치들(200A, 200B, 200C)이 제어 장치(100)로부터 중심 위치 조절 정보를 수신한 경우, HMD 장치는 중심 위치 조절 정보를 기초로 중심 영역에 VR 영상의 시청 집중 영역을 위치시킬 수 있다. When the HMD devices 200A, 200B, and 200C receive the center position adjustment information from the control device 100, the HMD device may position the viewing concentration region of the VR image in the center region based on the center position adjustment information. .

도 2a와 도 2b는 본 발명의 실시 예에 따른 360°VR 영상을 설명하기 위한 도면이다.2A and 2B are diagrams for describing a 360 ° VR image according to an embodiment of the present invention.

도 2a를 참조하면, 제어 장치(100)는 2차원 영상을 이용하여 구 형태의 360°VR 영상을 생성할 수 있다. 제어 장치(100)는 360°VR 영상을 복수의 영역(AR)들로 분할한 후, 각각의 영역(AR)에 위치 좌표를 설정할 수 있다. 이때, 복수의 영역들의 크기는 관리자의 설정에 따라 다양하게 변경될 수 있다.Referring to FIG. 2A, the control device 100 may generate a spherical 360 ° VR image using a 2D image. The control device 100 may divide the 360 ° VR image into a plurality of areas AR and set position coordinates in each area AR. In this case, the sizes of the plurality of regions may be variously changed according to the setting of the administrator.

도 2b를 참조하면, HMD 장치(200)의 사용자는 360°전방위에서 표시되는 VR 영상을 시청할 수 있다. HMD 장치(200)는 자이로 센서를 포함하며, 자이로 센서에서 측정된 정보를 이용하여 사용자가 어느 영역(AR)을 바라보고 있는지를 판단할 수 있다.Referring to FIG. 2B, a user of the HMD device 200 may watch a VR image displayed at 360 ° in all directions. The HMD device 200 may include a gyro sensor, and may determine which area AR the user is looking at using the information measured by the gyro sensor.

예컨대, 자이로 센서는 VR 영상을 기초로 x축, y축, 및 z축에 대한 자이로 센서 정보를 포함하며, 사용자의 움직임에 따라 자이로 센서의 x축, y축, 및 z축의 정보가 변경되면 사용자가 바라보는 VR 영상의 영역(AR)을 판단할 수 있다. For example, the gyro sensor includes gyro sensor information on the x-axis, y-axis, and z-axis based on the VR image, and the user changes the information on the x-axis, y-axis, and z-axis of the gyro sensor according to the user's movement. The area AR of the VR image viewed by the user may be determined.

이러한 과정에 의해 판단된 중심 영역의 위치 좌표는 제어 장치(100)에 제공될 수 있다.The position coordinates of the center region determined by this process may be provided to the control device 100.

도 3a는 본 발명의 실시 예에 따른 제1 HMD 장치에 상에 표시된 VR 영상을 설명하기 위한 도면이고, 도 3b는 본 발명의 실시 예에 따른 제2 HMD 장치 상에 표시된 VR 영상을 설명하기 위한 도면이고, 도 3c는 본 발명의 실시 예에 따른 제어 장치 상에 표시된 VR 영상을 설명하기 위한 도면이다.FIG. 3A illustrates a VR image displayed on a first HMD device according to an embodiment of the present invention, and FIG. 3B illustrates a VR image displayed on a second HMD device according to an embodiment of the present invention. 3C is a diagram for describing a VR image displayed on a control device according to an embodiment of the present invention.

도 3a, 도 3b, 및 도 3c에는 중심 영역을 변경하는 방법을 설명하기 위해 제1 HMD 장치(200A)에서 표시되는 제1 VR 영상(IM1), 제2 HMD 장치(200B)에서 표시되는 제2 VR 영상(IM2), 및 제어 장치(100)에서 표시되는 제3 VR 영상(IM3)이 도시되어 있다.3A, 3B, and 3C, the first VR image IM1 displayed by the first HMD device 200A and the second HMD device 200B displayed by the second HMD device 200B are described to explain a method of changing the center region. The VR image IM2 and the third VR image IM3 displayed by the control device 100 are shown.

도 3a와 도 3b를 참조하면, 제1 HMD 장치(200A)의 중심 영역은 제1 영역(AR1)에 위치하고 있기 때문에, 제1 HMD 장치(200A)의 사용자는 제1 영역(AR1)에 위치한 '토끼 영상'에 집중하고 있는 것으로 판단될 수 있다.3A and 3B, since the central area of the first HMD device 200A is located in the first area AR1, the user of the first HMD device 200A may be located in the first area AR1. It can be determined that the focus is on the rabbit image.

그리고, 제2 HMD 장치(200B)의 중심 영역은 제2 영역(AR2)에 위치하고 있기 때문에, 제2 HMD 장치(200B)의 사용자는 제2 영역(AR2)에 위치한 '나무 영상'에 집중하고 있는 것으로 판단될 수 있다.Since the center area of the second HMD device 200B is located in the second area AR2, the user of the second HMD device 200B concentrates on the 'tree image' located in the second area AR2. It can be determined.

도 3c를 참조하면, 제어 장치(100)에는 제1 및 제2 HMD 장치들(200A, 200B)에서 재생되는 제1 및 제2 VR 영상(IM1, IM2)과 동일한 제3 VR 영상(IM13)이 재생된다. 이때, 제어 장치(100)의 제3 VR 영상(IM13)에는 제1 및 제2 HMD 장치들(200A, 200B) 각각의 중심 영역(USER1, USER2)이 표시된다. Referring to FIG. 3C, the control device 100 includes a third VR image IM13 that is identical to the first and second VR images IM1 and IM2 reproduced by the first and second HMD devices 200A and 200B. Is played. In this case, the center regions USER1 and USER2 of the first and second HMD devices 200A and 200B are displayed on the third VR image IM13 of the control device 100.

만약, 제어 장치(100)의 관리자가 제1 및 제2 HMD 장치들(200A, 200B)의 사용자들을 '토끼 영상'에 집중시키려고 한다면, '토끼 영상'에 해당하는 제1 영역(AR1)을 시청 집중 영역으로 설정할 수 있다. If the administrator of the control device 100 tries to concentrate the users of the first and second HMD devices 200A and 200B on the 'rabbit image', the first region AR1 corresponding to the 'rabbit image' is viewed. Can be set to focus area.

이때, 제1 HMD 장치(200A)의 중심 영역은 이미 제1 영역(AR1)을 향하고 있기 때문에, 제어 장치(100)는 제2 HMD 장치(200B)의 중심 영역만을 변경시키기 위한 중심 위치 조절 정보를 생성할 수 있다.In this case, since the center area of the first HMD device 200A is already facing the first area AR1, the control device 100 may provide the center position adjustment information for changing only the center area of the second HMD device 200B. Can be generated.

즉, 제어 장치(100)는 제2 HMD 장치(200B)의 중심 영역이 제2 영역(AR2)에서 제1 영역(AR1)으로 이동할 수 있도록 중심 위치 조절 정보를 생성하여 제2 HMD 장치(200B)에 전송할 수 있다.That is, the control device 100 generates the center position adjustment information so that the center area of the second HMD device 200B can move from the second area AR2 to the first area AR1, and thus the second HMD device 200B. Can be sent to.

도 4a와 도 4b는 본 발명의 실시 예에 따른 변경된 시점의 VR 영상을 설명하기 위한 도면이다.4A and 4B are diagrams for describing a VR image of a changed view point according to an embodiment of the present invention.

도 4a를 참조하면, 제어 장치(100)는 제2 HMD 장치(200B)의 중심 영역을 변경할 수 있다. 제2 HMD 장치(200B)의 중심 영역은 제2 영역에 위치한 '나무 영상'에 위치하고 있지만, 제어 장치(100)로부터 수신된 중심 위치 조절 정보를 이용하여 중심 영역을 제2 영역(AR2)으로 변경할 수 있다.Referring to FIG. 4A, the control device 100 may change the center area of the second HMD device 200B. Although the center area of the second HMD device 200B is located in the 'tree image' located in the second area, the center area is changed to the second area AR2 using the center position adjustment information received from the control device 100. Can be.

제2 HMD 장치(200B)의 중심 영역이 제2 영역(AR2)에서 제1 영역(AR1)으로 순간적으로 변경되는 경우 사용자는 눈에 피로감을 느낄 수 있다. 따라서, 제2 HMD 장치(200B)는 중심 영역을 제2 영역(AR2)에서 제1 영역(AR1)으로 변경시키기 전에 블랙 영상(BM)을 표시할 수 있다. 즉, 제2 HMD 장치(200B)는 중심 영역이 제2 영역(AR2)에 위치한 제2 VR 영상(IM2)의 재생을 중단하고, 블랙 영상(BM)을 재생할 수 있다. 일정 시간 이후 제2 HMD 장치(200B)는 중심 영역이 제1 영역(AR1)에 위치한 제2 VR 영상(IM2')를 재생할 수 있다. 따라서, 제2 HMD 장치(200B)의 사용자는 '나무 영상'을 시청하던 중에 블랙 영상을 시청하고, 일정 시간 동안 블랙 영상을 시청한 후 '토끼 영상'을 시청하게 된다.When the central area of the second HMD device 200B is instantaneously changed from the second area AR2 to the first area AR1, the user may feel eye fatigue. Therefore, the second HMD device 200B may display the black image BM before changing the center area from the second area AR2 to the first area AR1. That is, the second HMD device 200B may stop the reproduction of the second VR image IM2 in which the center region is located in the second region AR2 and play the black image BM. After a certain time, the second HMD device 200B may play the second VR image IM2 ′ whose center region is located in the first region AR1. Accordingly, the user of the second HMD device 200B may watch the black image while watching the 'tree image', and watch the 'rabbit image' after watching the black image for a predetermined time.

이러한 방법에 의해 제2 HMD 장치(200B)의 사용자는 제어 장치(100)의 관리자의 의도대로 시청 집중 영역인 제1 영역(AR1)의 '토끼 영상'에 집중할 수 있게 된다.In this manner, the user of the second HMD device 200B can concentrate on the 'rabbit image' of the first area AR1, which is the viewing concentration area, as intended by the manager of the control device 100.

도 4b를 참조하면, 제2 HMD 장치(200B)의 중심 영역이 제2 영역(AR2)에서 제1 영역(AR1)으로 순간적으로 변경되는 경우 사용자는 눈에 피로감을 느낄 수 있기 때문에, 제2 HMD 장치(200B)는 중심 영역을 점진적으로 제2 영역(AR2)에서 제1 영역(AR1)으로 이동시킬 수 있다.Referring to FIG. 4B, when the central area of the second HMD device 200B is changed from the second area AR2 to the first area AR1 instantaneously, the user may feel fatigue in the eyes, and thus the second HMD The device 200B may gradually move the central area from the second area AR2 to the first area AR1.

즉, 제2 HMD 장치(200B)의 중심 영역은 제2 영역(AR2)의 '나무 영상'에 위치하고 있지만, 점진적으로 중심 영역이 제1 영역(AR1)에 위치할때까지 우측방향으로 이동시킬 수 있다. 제2 HMD 장치(200B)의 중심 영역이 제1 영역(AR1)에 위치하게 되는 경우 사용자가 '토끼 영상'에 집중할 수 있도록 제2 VR 영상(IM2)의 이동을 멈춘다.That is, although the center region of the second HMD device 200B is located in the 'tree image' of the second region AR2, the center region may gradually move to the right until the center region is positioned in the first region AR1. have. When the center area of the second HMD device 200B is located in the first area AR1, the movement of the second VR image IM2 is stopped so that the user can concentrate on the 'rabbit image'.

또한, 제어 장치(100)는 제2 HMD 장치(200B)의 사용자가 '토끼 영상'에 집중할 수 있도록 일정 기간 동안 중심 영역을 제1 영역(AR1)에 고정시킬 수 있다. 이로써, 제2 HMD 장치(200B)의 사용자가 스스로 '토끼 영상'을 인지할 수 없는 경우라도 제어 장치(100)의 제어에 의해 중심 영역을 고정함으로써 사용자에게 '토끼 영상'을 인지시킬 수 있다.In addition, the control device 100 may fix the central area to the first area AR1 for a predetermined period so that the user of the second HMD device 200B can concentrate on the 'rabbit image'. Thus, even when the user of the second HMD device 200B cannot recognize the 'rabbit image' by himself, the user can recognize the 'rabbit image' by fixing the center area under the control of the control device 100.

도 5는 본 발명의 실시 예에 따른 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a teaching method of a multi-user audiovisual education system using a VR image according to an exemplary embodiment of the present invention.

도 5를 참조하면, 복수의 영역으로 분할된 360°VR 영상을 표시하는 HMD 장치들과, 상기 HMD 장치를 제어하는 제어 장치를 포함하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법은 하기의 단계를 수행할 수 있다.Referring to FIG. 5, a training method of a multi-user audiovisual education system using VR images including HMD devices displaying 360 ° VR images divided into a plurality of areas and a control device for controlling the HMD devices is described below. The steps can be performed.

제어 장치(100)는 인접한 HMD 장치들(200A, 200B, 200C)로 세션 생성 알림을 전송할 수 있다(S100).The control device 100 may transmit a session creation notification to the adjacent HMD devices 200A, 200B, and 200C (S100).

그리고, HMD 장치들(200A, 200B, 200C)은 세션 생성 알림에 응답하여 제어 장치(100)에 참여 알림을 전송할 수 있다(S110).In addition, the HMD devices 200A, 200B, and 200C may transmit a participation notification to the control device 100 in response to the session creation notification (S110).

그리고, 제어 장치(100)는 참여 알림을 전송한 HMD 장치들(200A, 200B, 200C)에 VR 영상과 영상 시작 신호를 전송할 수 있다(S120).In addition, the control device 100 may transmit the VR image and the image start signal to the HMD devices 200A, 200B, and 200C which have transmitted the participation notification (S120).

그리고, HMD 장치들(200A, 200B, 200C)은 영상 시작 신호에 기초하여 상기 VR 영상을 표시할 수 있다(S130).In addition, the HMD devices 200A, 200B, and 200C may display the VR image based on the image start signal (S130).

그리고, HMD 장치들(200A, 200B, 200C)은 VR 영상을 바라보는 사용자의 중심 시점에 대응하는 중심 영역을 판단하여 상기 제어 장치(100)에 상기 중심 영역의 위치 좌표를 전송할 수 있다(S140).In addition, the HMD devices 200A, 200B, and 200C may determine a center area corresponding to the center viewpoint of the user who views the VR image and transmit the position coordinates of the center area to the control device 100 (S140). .

그리고, 제어 장치(100)는 중심 영역의 위치 좌표를 이용하여 중심 위치 조절 정보를 생성하고, HMD 장치들(200A, 200B, 200C)에 중심 위치 조절 정보를 전송할 수 있다(S150).In addition, the control device 100 may generate the center position adjustment information using the position coordinates of the center region and transmit the center position adjustment information to the HMD devices 200A, 200B, and 200C (S150).

그리고, HMD 장치들(200A, 200B, 200C)은 중심 위치 조절 정보를 기초로 상기 중심 영역에 상기 제어 장치(100)에 의해 설정된 시청 집중 영역을 위치시킨 VR 영상을 표시할 수 있다(S160).In addition, the HMD devices 200A, 200B, and 200C may display a VR image in which the viewing concentrated area set by the control device 100 is positioned in the central area based on the center position adjustment information (S160).

이상에서 본 발명의 실시 예에 관하여 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양하게 변형 실시할 수 있을 것으로 이해된다.While the embodiments of the present invention have been described above, it will be understood by those skilled in the art that various modifications may be made without departing from the scope of the claims.

100: 제어 장치
200A, 200B, 200C: HMD 장치들100: control unit
200A, 200B, 200C: HMD devices

Claims (13)

2차원 영상을 360° VR 영상으로 변환하고, 상기 VR 영상을 복수의 영역들로 분할하며, 분할된 각각의 영역에 위치 좌표를 설정하는 제어 장치; 및
상기 제어 장치로부터 상기 VR 영상을 제공받아 표시하고, 상기 VR 영상을 바라보는 사용자의 중심 시점에 대응하는 중심 영역을 판단한 후, 상기 중심 영역의 위치 좌표를 상기 제어 장치에 제공하는 HMD 장치들을 포함하고,
상기 HMD 장치는, 시청 집중 기간 동안 상기 제어 장치에 의해 설정된 시청 집중 영역을 상기 중심 영역에 위치시킨 VR 영상을 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.A control device for converting a 2D image into a 360 ° VR image, dividing the VR image into a plurality of regions, and setting position coordinates in each of the divided regions; And
And receiving the VR image from the control apparatus, determining a center region corresponding to the center viewpoint of the user looking at the VR image, and then providing the position coordinates of the center region to the control apparatus. ,
The HMD device is a multi-user audiovisual education system using a VR image for displaying a VR image in which the viewing concentrated area set by the control device located in the center area during the viewing concentration period. 제1항에 있어서,
상기 HMD 장치들은 상기 VR 영상을 소정의 기간 동안 동시에 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.The method of claim 1,
And the HMD devices simultaneously display the VR image for a predetermined period of time. 제1항에 있어서,
상기 HMD 장치들은 상기 제어 장치로부터 수신된 영상 시작 신호를 기초로 동일한 시점에 상기 VR 영상을 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.The method of claim 1,
And the HMD devices display the VR image at the same time based on the image start signal received from the control device. 제1항에 있어서,
상기 제어 장치는 상기 VR 영상을 관리자에게 표시하는 표시부를 포함하고, 상기 표시부에 표시되는 VR 영상은 상기 HMD 장치들 각각의 중심 영역의 위치 좌표가 표시되는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.The method of claim 1,
The control device includes a display unit for displaying the VR image to the manager, the VR image displayed on the display unit is a multi-user audiovisual education system using a VR image in which the position coordinates of the center area of each of the HMD devices are displayed. 제4항에 있어서,
상기 제어 장치는 상기 HMD 장치들 중 상기 시청 집중 영역에서 벗어난 영역에 상기 중심 영역의 위치 좌표가 표시되는 제1 HMD 장치의 중심 영역을 조절하기 위해 중심 위치 조절 정보를 생성하고, 상기 제1 HMD 장치에 상기 중심 위치 조절 정보를 제공하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.The method of claim 4, wherein
The control device generates center position adjustment information to adjust the center area of the first HMD device in which the position coordinates of the center area are displayed in an area deviated from the viewing concentration area among the HMD devices, and the first HMD device A multi-user audiovisual education system using a VR image to provide the center position control information. 제5항에 있어서,
상기 제1 HMD 장치가 상기 중심 위치 조절 정보를 수신한 경우, 블랙 영상을 표시하고 제1 HMD 장치의 중심 영역을 상기 시청 집중 영역에 위치시킨 후 상기 VR 영상을 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.The method of claim 5,
When the first HMD device receives the center position adjustment information, a multi-user audiovisual using a VR image displaying a black image, placing a center region of the first HMD apparatus in the viewing concentration region, and displaying the VR image Education system. 제5항에 있어서,
상기 제1 HMD 장치는 상기 중심 위치 조절 정보를 기초로 상기 VR 영상을 회전하여 상기 제1 HMD 장치의 중심 영역을 상기 시청 집중 영역에 위치시킨 후 상기 VR 영상을 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템.The method of claim 5,
The first HMD device rotates the VR image based on the center position adjustment information to position the central region of the first HMD device in the viewing concentration region, and then uses the VR image to display the VR image. Education system. 복수의 영역으로 분할된 360°VR 영상을 표시하는 HMD 장치들과, 상기 HMD 장치를 제어하는 제어 장치를 포함하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법에 있어서,
상기 제어 장치가 인접한 HMD 장치들로 세션 생성 알림을 전송하는 단계;
상기 HMD 장치들이 상기 세션 생성 알림에 응답하여 상기 제어 장치에 참여 알림을 전송하는 단계;
상기 제어 장치가 상기 참여 알림을 전송한 HMD 장치들에 VR 영상과 영상 시작 신호를 전송하는 단계;
상기 HMD 장치들이 상기 영상 시작 신호에 기초하여 상기 VR 영상을 표시하는 단계;
상기 HMD 장치들이 상기 VR 영상을 바라보는 사용자의 중심 시점에 대응하는 중심 영역을 판단하여 상기 제어 장치에 상기 중심 영역의 위치 좌표를 전송하는 단계;
상기 제어 장치가 상기 중심 영역의 위치 좌표를 이용하여 중심 위치 조절 정보를 생성하고, 상기 HMD 장치들에 상기 중심 위치 조절 정보를 전송하는 단계; 및
상기 HMD 장치들이 상기 중심 위치 조절 정보를 기초로 상기 중심 영역에 상기 제어 장치에 의해 설정된 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계를 포함하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법.In the teaching method of a multi-user audiovisual education system using a VR image comprising a HMD device for displaying a 360 ° VR image divided into a plurality of areas, and a control device for controlling the HMD device,
Sending, by the control device, a session creation notification to adjacent HMD devices;
Transmitting, by the HMD devices, a participation notification to the control device in response to the session creation notification;
Transmitting, by the control device, a VR image and an image start signal to HMD devices that have transmitted the participation notification;
Displaying, by the HMD devices, the VR image based on the image start signal;
Determining, by the HMD devices, a center region corresponding to the center viewpoint of the user who views the VR image and transmitting the position coordinates of the center region to the control device;
Generating, by the control device, the center position adjustment information using the position coordinates of the center area, and transmitting the center position adjustment information to the HMD devices; And
And displaying, by the HMD devices, a VR image in which the viewing concentrated area set by the control device is positioned in the central area based on the central position adjustment information. 제8항에 있어서,
상기 제어 장치가 2차원 영상을 360°VR 영상으로 변환하고, 상기 VR 영상을 복수의 영역들로 분할하여 분할된 각각의 영역에 위치 좌표를 설정하는 단계를 더 포함하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법.The method of claim 8,
The control apparatus converts a 2D image into a 360 ° VR image, and divides the VR image into a plurality of regions, and sets position coordinates in each of the divided regions. Training method of the education system. 제8항에 있어서, 상기 중심 위치 조절 정보를 전송하는 단계는,
상기 제어 장치가 상기 HMD 장치들 중 상기 시청 집중 영역에서 벗어난 영역에 중심 영역이 위치한 제1 HMD 장치를 판단하고, 상기 제1 HMD 장치의 중심 영역이 상기 시청 집중 영역에 위치하도록 상기 중심 위치 조절 정보를 생성하여 상기 제1 HMD 장치에 전송하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법.The method of claim 8, wherein transmitting the center position adjustment information comprises:
The control device determines a first HMD device in which the center area is located in an area deviating from the viewing concentration area among the HMD devices, and the center position adjustment information so that the center area of the first HMD device is located in the viewing area. Method of teaching a multi-user audiovisual education system using a VR image to generate and transmit to the first HMD device. 제10항에 있어서, 상기 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계는,
상기 제1 HMD 장치가 블랙 영상을 표시한 후 상기 제1 HMD 장치의 중심 영역을 상기 시청 집중 영역을 위치시킨 후 상기 VR 영상을 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법.The method of claim 10, wherein the displaying of the VR image in which the viewing concentration region is located comprises:
And displaying a black image after the first HMD device displays the black image, and then displaying the VR image after positioning the central region of the first HMD device. 제10항에 있어서, 상기 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계는,
상기 제1 HMD 장치가 상기 중심 위치 조절 정보를 기초로 상기 VR 영상을 회전하여 상기 제1 HMD 장치의 중심 영역에 상기 시청 집중 영역을 위치시킨 후 상기 VR 영상을 표시하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법.The method of claim 10, wherein the displaying of the VR image in which the viewing concentration region is located comprises:
The first HMD device rotates the VR image based on the center position adjustment information to position the viewing concentrated region in the center region of the first HMD device, and then displays the VR image. Training method of the education system. 제10항에 있어서, 상기 시청 집중 영역을 위치시킨 VR 영상을 표시하는 단계는,
상기 제1 HMD 장치가 상기 중심 위치 조절 정보를 기초로 상기 제1 HMD 장치의 중심 영역에 상기 시청 집중 영역을 위치시킨 후 일정 기간 동안 사용자의 중심 시점을 상기 시청 집중 영역에 고정하는 VR 영상을 이용한 다중 사용자 시청각 교육 시스템의 교육 방법.The method of claim 10, wherein the displaying of the VR image in which the viewing concentration region is located comprises:
The first HMD device uses the VR image to fix the center view of the user to the viewing concentration region for a predetermined period after placing the viewing concentration region in the central region of the first HMD apparatus based on the center position adjustment information. Teaching method of multi-user audiovisual training system.
KR1020180087343A 2018-07-26 2018-07-26 Multiple users audiovisual education system using vr image and method thereof KR102094750B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180087343A KR102094750B1 (en) 2018-07-26 2018-07-26 Multiple users audiovisual education system using vr image and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180087343A KR102094750B1 (en) 2018-07-26 2018-07-26 Multiple users audiovisual education system using vr image and method thereof

Publications (2)

Publication Number Publication Date
KR20200012265A true KR20200012265A (en) 2020-02-05
KR102094750B1 KR102094750B1 (en) 2020-03-30

Family

ID=69514845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180087343A KR102094750B1 (en) 2018-07-26 2018-07-26 Multiple users audiovisual education system using vr image and method thereof

Country Status (1)

Country Link
KR (1) KR102094750B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404623B1 (en) * 2021-10-07 2022-06-02 주식회사 벤타브이알 VR video management method and system for simultaneous training of multiple users

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102581589B1 (en) 2021-02-24 2023-09-27 (주)스튜디오코인 Vr/ar/ experience system for multilateral pariticipation education

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150078242A (en) * 2013-12-30 2015-07-08 주식회사 케이티 Method for controlling head mounted display, computing device and computer-readable medium
KR20160084991A (en) * 2015-01-07 2016-07-15 삼성전자주식회사 Master device, slave device and control method thereof
KR20170055296A (en) * 2015-11-11 2017-05-19 엘지전자 주식회사 Tethering type head mounted display and method for controlling the same
KR20180034278A (en) * 2016-09-26 2018-04-04 재단법인 아산사회복지재단 Visual perception training device, method and program for visual perception training using head mounted device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150078242A (en) * 2013-12-30 2015-07-08 주식회사 케이티 Method for controlling head mounted display, computing device and computer-readable medium
KR20160084991A (en) * 2015-01-07 2016-07-15 삼성전자주식회사 Master device, slave device and control method thereof
KR20170055296A (en) * 2015-11-11 2017-05-19 엘지전자 주식회사 Tethering type head mounted display and method for controlling the same
KR20180034278A (en) * 2016-09-26 2018-04-04 재단법인 아산사회복지재단 Visual perception training device, method and program for visual perception training using head mounted device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404623B1 (en) * 2021-10-07 2022-06-02 주식회사 벤타브이알 VR video management method and system for simultaneous training of multiple users
WO2023059142A1 (en) * 2021-10-07 2023-04-13 주식회사 벤타브이알 Vr video management method and system for enabling simultaneous training of multiple users

Also Published As

Publication number Publication date
KR102094750B1 (en) 2020-03-30

Similar Documents

Publication Publication Date Title
US11768537B2 (en) Wireless head mounted display with differential rendering
CN107427722B (en) Application of motion sickness monitoring and sound supplementation to fight motion sickness
JP6058184B1 (en) Method and program for controlling head mounted display system
US20180324229A1 (en) Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
US20200142480A1 (en) Immersive displays
EP3519066B1 (en) Wireless head mounted display with differential rendering and sound localization
WO2018225218A1 (en) Information processing device and image generation method
KR101988244B1 (en) Apparatus and method for virtual reality sound processing according to viewpoint change of a user
US10493360B2 (en) Image display device and image display system
Peterson Virtual Reality, Augmented Reality, and Mixed Reality Definitions
US20210191504A1 (en) Information processing device, information processing method, and program
US20220407902A1 (en) Method And Apparatus For Real-time Data Communication in Full-Presence Immersive Platforms
JP2018533317A (en) Virtual reality video transmission method, playback method, and program using them
KR102512855B1 (en) Information processing device and information processing method
KR102094750B1 (en) Multiple users audiovisual education system using vr image and method thereof
US10369468B2 (en) Information processing apparatus, image generating method, and program
US11159768B1 (en) User groups based on artificial reality
Murray et al. Eye gaze in virtual environments: evaluating the need and initial work on implementation
JP6999538B2 (en) Information processing methods, information processing programs, information processing systems, and information processing equipment
CN113260954B (en) User group based on artificial reality
US11706266B1 (en) Systems and methods for assisting users of artificial reality platforms
WO2023233849A1 (en) Information processing device, information processing method, and recording medium
WO2021049356A1 (en) Playback device, playback method, and recording medium
US11343567B1 (en) Systems and methods for providing a quality metric for media content
SIMSCH Video Quality in VR: Measuring Impact of Bandwidth-Saving Approaches on Quality of Experience and Social Interaction in a HMD-mediated Video Application.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant