KR102067493B1 - Hmd device for displaying vr based presentation document and operating method thereof - Google Patents

Hmd device for displaying vr based presentation document and operating method thereof Download PDF

Info

Publication number
KR102067493B1
KR102067493B1 KR1020180000142A KR20180000142A KR102067493B1 KR 102067493 B1 KR102067493 B1 KR 102067493B1 KR 1020180000142 A KR1020180000142 A KR 1020180000142A KR 20180000142 A KR20180000142 A KR 20180000142A KR 102067493 B1 KR102067493 B1 KR 102067493B1
Authority
KR
South Korea
Prior art keywords
interaction signal
interaction
image data
objects
signal
Prior art date
Application number
KR1020180000142A
Other languages
Korean (ko)
Other versions
KR20190082485A (en
Inventor
정지환
이준석
이동교
Original Assignee
주식회사 한글과컴퓨터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한글과컴퓨터 filed Critical 주식회사 한글과컴퓨터
Priority to KR1020180000142A priority Critical patent/KR102067493B1/en
Publication of KR20190082485A publication Critical patent/KR20190082485A/en
Application granted granted Critical
Publication of KR102067493B1 publication Critical patent/KR102067493B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H18/00—Winding webs
    • B65H18/02—Supporting web roll
    • B65H18/028—Both ends type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2301/00—Handling processes for sheets or webs
    • B65H2301/40—Type of handling process
    • B65H2301/41—Winding, unwinding
    • B65H2301/413—Supporting web roll
    • B65H2301/4134—Both ends type arrangement
    • B65H2301/41346—Both ends type arrangement separate elements engaging each end of the roll (e.g. chuck)
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2403/00—Power transmission; Driving means
    • B65H2403/50—Driving mechanisms
    • B65H2403/52—Translation screw-thread mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 가상현실(Virtual Reality: VR) 기반 프레젠테이션 문서의 디스플레이를 위한 HMD(Head Mounted Display) 장치 및 그 동작 방법은 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 인터랙션 신호 수신부로부터 객체를 변경하라는 사용자의 제스처에 의한 제1 인터랙션 신호를 수신하면, 제1 VR 기반 페이지에 대한 다수의 제1 객체들 중 제1 인터랙션 신호에 상응하는 제1 객체를 선택한 후 제1 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 제1 인터랙션 신호에 상응하는 제1 객체가 배치된 VR 영상 데이터를 생성한 후 VR 영상 데이터를 디스플레이함으로써, HMD 장치를 통해 VR 기반 프레젠테이션 문서의 발표를 듣는 청중들이 발표 중인 VR 기반 슬라이드의 배경 영상, 참고 영상을 능동적으로 선택하여 시청할 수 있게 하여 발표에 적극적으로 참여할 수 있도록 지원할 수 있다.According to an embodiment of the present invention, a head mounted display (HMD) device for displaying a virtual reality (VR) based presentation document and a method of operating the same according to an embodiment of the present invention may be used. Receiving a first interaction signal by a user's gesture to change an object from the interaction signal receiver when indicating the interaction area, the first object corresponding to the first interaction signal among the plurality of first objects for the first VR-based page; Select and then generate the VR image data in which the first object corresponding to the first interaction signal is disposed at a position corresponding to the display position information of the first object corresponding to the first interaction signal, and then display the VR image data to thereby display the HMD. The audience listening to the presentation of the VR-based presentation document on the device It is possible to actively select and watch background and reference images so that they can actively participate in the presentation.

Description

VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치 및 그 동작 방법{HMD DEVICE FOR DISPLAYING VR BASED PRESENTATION DOCUMENT AND OPERATING METHOD THEREOF}HMD DEVICE FOR DISPLAYING VR BASED PRESENTATION DOCUMENT AND OPERATING METHOD THEREOF}

본 발명은 HMD(Head Mounted Display) 장치에서 사용자에게 다양한 경험을 제공할 수 있는 가상현실(Virtual Reality: VR) 기반 프레젠테이션 문서의 디스플레이 기법에 대한 것이다.The present invention relates to a display technique of a virtual reality (VR) -based presentation document that can provide various experiences to a user in a head mounted display (HMD) device.

최근, 컴퓨터나 스마트폰 또는 태블릿 PC 등이 널리 보급됨에 따라, 이러한 단말기기를 이용하여 전자 문서를 열람, 작성, 편집할 수 있도록 하는 다양한 종류의 전자 문서 관련 프로그램들이 출시되고 있다.Recently, as computers, smartphones, tablet PCs, and the like are widely used, various kinds of electronic document-related programs for reading, creating, and editing electronic documents using such terminal devices have been released.

이러한 전자 문서 관련 프로그램들로는 기본적인 문서의 작성, 편집 등을 지원하는 워드프로세서, 데이터의 입력, 산술연산, 데이터 관리를 보조하는 스프레드시트, 발표자의 발표를 보조하기 위한 프레젠테이션 프로그램들이 있다.These electronic document related programs include word processors that support the creation and editing of basic documents, data entry, arithmetic operations, spreadsheets to assist with data management, and presentation programs to assist presenters.

아울러, 최근에는 미래 기술의 하나로 급부상하고 있는 가상현실(Virtual Reality: VR)에 대한 관심이 증대됨에 따라 게임 등에서 이러한 VR을 활용할 수 있는 VR 관련 기기와 소프트웨어도 다수 등장하고 있다.In addition, as interest in Virtual Reality (VR), which has recently emerged as one of the future technologies, has increased, a number of VR-related devices and software that can utilize such VR in games have appeared.

VR을 구현할 수 있는 대표적인 기기로는 HMD(Head Mounted Display) 장치가 있는데, HMD 장치는 사용자가 안경처럼 머리에 착용한 후 두 눈앞에 있는 디스플레이를 통해서 화면을 볼 수 있는 장치이다.A typical device capable of implementing VR is a head mounted display (HMD) device, which is a device that allows a user to see a screen through a display in front of his or her eyes after wearing it on the head like glasses.

이러한 HMD 장치의 보급이 활발하게 이루어짐에 따라, 회의나 세미나 등에서 청중들이 HMD 장치를 착용하고, HMD 장치를 통해 VR 기반 프레젠테이션 문서를 보면서 발표를 듣는 방식의 활용 방안이 고려될 수 있다.As the spread of HMD devices is actively performed, a method of using a method of listening to a presentation while listening to a VR-based presentation document through a HMD device may be considered by an audience wearing a HMD device at a conference or a seminar.

관련하여, HMD 장치를 통해 VR 기반 프레젠테이션 문서의 발표를 듣는 청중들이 발표 중인 VR 기반 슬라이드의 배경 영상, 참고 영상을 능동적으로 선택하여 시청할 수 있게 함으로써, 발표에 적극적으로 참여할 수 있도록 지원하기 위한 기술의 연구가 필요하다.In this regard, the HMD device enables audiences who listen to the presentation of VR-based presentation documents to actively select and watch the background and reference images of the VR-based slides being presented. Need research

본 발명에 따른 가상현실(Virtual Reality: VR) 기반 프레젠테이션 문서의 디스플레이를 위한 HMD(Head Mounted Display) 장치 및 그 동작 방법은 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 인터랙션 신호 수신부로부터 객체를 변경하라는 사용자의 제스처에 의한 제1 인터랙션 신호를 수신하면, 제1 VR 기반 페이지에 대한 다수의 제1 객체들 중 제1 인터랙션 신호에 상응하는 제1 객체를 선택한 후 제1 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 제1 인터랙션 신호에 상응하는 제1 객체가 배치된 VR 영상 데이터를 생성한 후 VR 영상 데이터를 디스플레이함으로써, HMD 장치를 통해 VR 기반 프레젠테이션 문서의 발표를 듣는 청중들이 발표 중인 VR 기반 슬라이드의 배경 영상, 참고 영상을 능동적으로 선택하여 시청할 수 있게 하여 발표에 적극적으로 참여할 수 있도록 지원하고자 한다.According to an embodiment of the present invention, a head mounted display (HMD) device for displaying a virtual reality (VR) based presentation document and a method of operating the same according to an embodiment of the present invention may be used. Receiving a first interaction signal by a user's gesture to change an object from the interaction signal receiver when indicating the interaction area, the first object corresponding to the first interaction signal among the plurality of first objects for the first VR-based page; Select and then generate the VR image data in which the first object corresponding to the first interaction signal is disposed at a position corresponding to the display position information of the first object corresponding to the first interaction signal, and then display the VR image data to thereby display the HMD. The audience listening to the presentation of the VR-based presentation document on the device We will support the active participation in the presentation by allowing the user to actively select and watch background and reference images.

본 발명의 일실시예에 따른 가상현실(Virtual Reality: VR) 기반 프레젠테이션 문서의 디스플레이를 위한 HMD(Head Mounted Display) 장치는 상기 VR 기반 프레젠테이션 문서에 포함된 다수의 VR 기반 페이지들 각각에 대한 객체들이 저장되어 있는 객체 저장부, 상기 VR 기반 프레젠테이션 문서에 포함된 상기 다수의 VR 기반 페이지들 각각의 메타 데이터들 - 상기 메타 데이터들 각각은 상기 다수의 VR 기반 페이지들 각각의 초기 화면 정보, 인터랙션 영역 정보 및 상기 객체들의 디스플레이 위치 정보를 포함함 - 을 저장하는 메타 데이터 저장부, 제1 VR 기반 페이지에 대한 다수의 제1 객체들 중 상기 제1 VR 기반 페이지의 초기 화면 정보에 상응하는 다수의 객체들을 선택하고, 상기 선택된 다수의 제1 객체들 각각의 디스플레이 위치 정보에 상응하는 위치에 상기 선택된 다수의 제1 객체들이 배치된 제1 VR 영상 데이터를 생성하는 VR 영상 데이터 생성부 및 상기 제1 VR 영상 데이터를 디스플레이하는 영상 재생부를 포함하고, 상기 VR 영상 데이터 생성부는 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 인터랙션 신호 수신부로부터 객체를 변경하라는 상기 사용자의 제스처에 의한 제1 인터랙션 신호가 입력되면, 상기 제1 VR 기반 페이지에 대한 상기 다수의 제1 객체들 중 상기 제1 인터랙션 신호에 상응하는 제1 객체를 선택한 후 상기 제1 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 상기 제1 인터랙션 신호에 상응하는 제1 객체가 배치된 제2 VR 영상 데이터를 생성하고, 상기 영상 재생부는 상기 제2 VR 영상 데이터를 디스플레이한다.According to an embodiment of the present invention, a head mounted display (HMD) device for displaying a virtual reality (VR) based presentation document may include objects for each of a plurality of VR based pages included in the VR based presentation document. Stored object storage unit, metadata of each of the plurality of VR-based pages included in the VR-based presentation document, wherein each of the metadata is initial screen information and interaction area information of each of the plurality of VR-based pages. And a display position information of the objects, wherein the metadata storage unit stores a plurality of objects corresponding to initial screen information of the first VR-based page among the plurality of first objects for the first VR-based page. Select and select a location corresponding to display position information of each of the selected plurality of first objects. A VR image data generation unit generating first VR image data including a plurality of first objects and an image reproduction unit displaying the first VR image data, wherein the VR image data generation unit is input from a center viewing position detector; When the user's center viewing position indicates the interaction area of the first VR-based page, when the first interaction signal by the user's gesture to change an object from the interaction signal receiver is input, the plurality of the first VR-based page is inputted. A first object corresponding to the first interaction signal at a position corresponding to display position information of a first object corresponding to the first interaction signal after selecting a first object corresponding to the first interaction signal among first objects of Generate second VR image data having an object disposed thereon, and the image reproducing unit generates the second VR image data. Displays a.

또한, 본 발명의 일실시예에 따른 가상현실(Virtual Reality: VR) 기반 프레젠테이션 문서의 디스플레이를 위한 HMD(Head Mounted Display) 장치의 동작 방법은 상기 VR 기반 프레젠테이션 문서에 포함된 다수의 VR 기반 페이지들 각각에 대한 객체들이 저장되어 있는 객체 저장부를 유지하는 단계, 상기 VR 기반 프레젠테이션 문서에 포함된 상기 다수의 VR 기반 페이지들 각각의 메타 데이터들 - 상기 메타 데이터들 각각은 상기 다수의 VR 기반 페이지들 각각의 초기 화면 정보, 인터랙션 영역 정보 및 상기 객체들의 디스플레이 위치 정보를 포함함 - 을 저장하는 메타 데이터 저장부를 유지하는 단계, 제1 VR 기반 페이지에 대한 다수의 제1 객체들 중 상기 제1 VR 기반 페이지의 초기 화면 정보에 상응하는 다수의 객체들을 선택하고, 상기 선택된 다수의 제1 객체들 각각의 디스플레이 위치 정보에 상응하는 위치에 상기 선택된 다수의 제1 객체들이 배치된 제1 VR 영상 데이터를 생성하는 VR 영상 데이터 생성부를 유지하는 단계, 상기 제1 VR 영상 데이터를 디스플레이하는 단계, 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 인터랙션 신호 수신부로부터 객체를 변경하라는 상기 사용자의 제스처에 의한 제1 인터랙션 신호가 입력되면, 상기 제1 VR 기반 페이지에 대한 상기 다수의 제1 객체들 중 상기 제1 인터랙션 신호에 상응하는 제1 객체를 선택한 후 상기 제1 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 상기 제1 인터랙션 신호에 상응하는 제1 객체가 배치된 제2 VR 영상 데이터를 생성하는 단계 및 상기 제2 VR 영상 데이터를 디스플레이하는 단계를 포함한다.In addition, a method of operating a head mounted display (HMD) device for displaying a virtual reality (VR) based presentation document according to an embodiment of the present invention may include a plurality of VR based pages included in the VR based presentation document. Maintaining an object storage unit storing objects for each of the plurality of VR-based pages included in the VR-based presentation document, wherein each of the metadata is each of the plurality of VR-based pages; And a metadata storage unit for storing initial screen information, interaction area information, and display position information of the objects, wherein the first VR-based page is selected from among a plurality of first objects for the first VR-based page. Selecting a plurality of objects corresponding to the initial screen information of and selecting each of the selected plurality of first objects Maintaining a VR image data generation unit generating first VR image data in which the plurality of selected first objects are disposed at a position corresponding to display position information, displaying the first VR image data, and a central viewing position detector When the first viewing signal of the user's gesture to change the object is input from the interaction signal receiving unit when the user's center viewing position input from the user indicates the interaction area of the first VR-based page, the user inputs the first VR-based page. Selecting a first object corresponding to the first interaction signal among the plurality of first objects, and corresponding to the first interaction signal at a position corresponding to display position information of the first object corresponding to the first interaction signal; Generating second VR image data having the first object disposed thereon and the second VR image; Displaying the data.

본 발명에 따른 가상현실(Virtual Reality: VR) 기반 프레젠테이션 문서의 디스플레이를 위한 HMD(Head Mounted Display) 장치 및 그 동작 방법은 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 인터랙션 신호 수신부로부터 객체를 변경하라는 사용자의 제스처에 의한 제1 인터랙션 신호를 수신하면, 제1 VR 기반 페이지에 대한 다수의 제1 객체들 중 제1 인터랙션 신호에 상응하는 제1 객체를 선택한 후 제1 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 제1 인터랙션 신호에 상응하는 제1 객체가 배치된 VR 영상 데이터를 생성한 후 VR 영상 데이터를 디스플레이함으로써, HMD 장치를 통해 VR 기반 프레젠테이션 문서의 발표를 듣는 청중들이 발표 중인 VR 기반 슬라이드의 배경 영상, 참고 영상을 능동적으로 선택하여 시청할 수 있게 하여 발표에 적극적으로 참여할 수 있도록 지원할 수 있다.According to an embodiment of the present invention, a head mounted display (HMD) device for displaying a virtual reality (VR) based presentation document and a method of operating the same according to an embodiment of the present invention may be used. Receiving a first interaction signal by a user's gesture to change an object from the interaction signal receiver when indicating the interaction area, the first object corresponding to the first interaction signal among the plurality of first objects for the first VR-based page; Select and then generate the VR image data in which the first object corresponding to the first interaction signal is disposed at a position corresponding to the display position information of the first object corresponding to the first interaction signal, and then display the VR image data to thereby display the HMD. The audience listening to the presentation of the VR-based presentation document on the device It is possible to actively select and watch background and reference images so that they can actively participate in the presentation.

도 1은 본 발명의 일실시예에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 구조를 도시한 도면이다.
도 2는 VR 기반 프레젠테이션 문서가 디스플레이되는 화면의 일 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법을 도시한 순서도이다.1 is a diagram illustrating a structure of an HMD device for displaying a VR-based presentation document according to an embodiment of the present invention.
2 is a diagram illustrating an example of a screen on which a VR-based presentation document is displayed.
3 is a flowchart illustrating a method of operating an HMD device for displaying a VR-based presentation document according to an embodiment of the present invention.

이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. This description is not intended to limit the invention to the specific embodiments, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the invention. In describing the drawings, similar reference numerals are used for similar components, and unless otherwise defined, all terms used in the present specification, including technical or scientific terms, may be used in the art to which the present invention pertains. It has the same meaning as is commonly understood by someone who has it.

도 1은 본 발명의 일실시예에 따른 가상현실(Virtual Reality: VR) 기반 프레젠테이션 문서의 디스플레이를 위한 HMD(Head Mounted Display) 장치(100)의 구조를 도시한 도면이다.1 is a diagram illustrating a structure of a head mounted display (HMD) device 100 for displaying a virtual reality (VR) based presentation document according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치(100)는 객체 저장부(110), 메타 데이터 저장부(120), VR 영상 데이터 생성부(130), 중심 시청 위치 검출부(140), 인터랙션 신호 수신부(150), 제스처 입력부(151), 인터랙션 신호 송신부(160), 영상 재생 시각 정보 저장부(170) 및 영상 재생부(180)를 포함할 수 있다.Referring to FIG. 1, the HMD device 100 for displaying a VR-based presentation document according to the present invention includes an object storage unit 110, a metadata storage unit 120, a VR image data generation unit 130, and a central viewing. The position detector 140, the interaction signal receiver 150, the gesture input unit 151, the interaction signal transmitter 160, the image reproduction time information storage unit 170, and the image reproduction unit 180 may be included.

객체 저장부(110)는 상기 VR 기반 프레젠테이션 문서에 포함된 다수의 VR 기반 페이지들 각각에 대한 객체들을 하기 표 1과 같이 저장할 수 있다. 여기에서, 객체들은 영상 데이터, 이미지 데이터일 수 있다.The object storage unit 110 may store objects for each of the plurality of VR-based pages included in the VR-based presentation document as shown in Table 1 below. Here, the objects may be image data and image data.

페이지 인덱스Page index 객체 인덱스Object index 페이지 1Page 1 객체 1Object 1 객체 2Object 2 객체 3Object 3 객체 4Object 4 페이지 2Page 2 객체 5Object 5 객체 6Object 6 객체 7Object 7

메타 데이터 저장부(120)는 상기 VR 기반 프레젠테이션 문서에 포함된 상기 다수의 VR 기반 페이지들 각각의 메타 데이터들을 하기 표 2 내지 4와 같이 저장할 수 있다. 여기에서, 상기 메타 데이터들 각각은 상기 다수의 VR 기반 페이지들 각각의 초기 화면 정보, 인터랙션 영역 정보 및 상기 객체들의 디스플레이 위치 정보를 포함할 수 있다.The metadata storage unit 120 may store metadata of each of the plurality of VR-based pages included in the VR-based presentation document as shown in Tables 2 to 4 below. Here, each of the metadata may include initial screen information, interaction region information, and display position information of each of the plurality of VR-based pages.

페이지 인덱스Page index 인터랙션 영역Interaction area 객체 메타 정보Object meta information 객체 인덱스Object index 디스플레이 위치Display position 초기 화면Initial screen 페이지 1Page 1 인터랙션 영역 1Interaction Zone 1 객체 1Object 1 디스플레이 위치 1Display position 1 OO 객체 2Object 2 디스플레이 위치 2Display position 2 OO 객체 3Object 3 디스플레이 위치 3Display position 3 OO 객체 4Object 4 디스플레이 위치 4Display position 4 XX 페이지 2Page 2 인터랙션 영역 2Interaction Zone 2 객체 5Object 5 디스플레이 위치 1Display position 1 OO 객체 6Object 6 디스플레이 위치 2Display position 2 OO 객체 7Object 7 디스플레이 위치 5Display position 5 OO

객체 인덱스Object index 사용자 인터랙션 신호User interaction signal 발표자 인터랙션 신호Speaker Interaction Signal 객체 1Object 1 인터랙션 신호 1Interaction signal 1 인터랙션 신호 5Interaction signal 5 객체 2Object 2 인터랙션 신호 2Interaction signal 2 인터랙션 신호 6Interaction Signal 6 객체 3Object 3 인터랙션 신호 3Interaction signal 3 인터랙션 신호 7Interaction signal 7 객체 4Object 4 인터랙션 신호 4Interaction signal 4 인터랙션 신호 8Interaction Signal 8

페이지 인덱스Page index 제1 페이지 변경 인터랙션 신호First page change interaction signal 제2 페이지 변경 인터랙션 신호Second page change interaction signal 페이지 1Page 1 인터랙션 신호 9Interaction Signal 9 인터랙션 신호 10Interaction signal 10 페이지 2Page 2 인터랙션 신호 11Interaction Signal 11 인터랙션 신호 12Interaction Signal 12

여기에서, 제1 페이지 변경 인터랙션 신호는 이전 페이지로 변경하라는 신호이고, 제2 페이지 변경 인터랙션 신호는 다음 페이지로 변경하라는 신호일 수 있다.Here, the first page change interaction signal may be a signal for changing to the previous page, and the second page change interaction signal may be a signal for changing to the next page.

다음으로, VR 영상 데이터 생성부(130)는 제1 VR 기반 페이지에 대한 다수의 제1 객체들 중 상기 제1 VR 기반 페이지의 초기 화면 정보에 상응하는 다수의 객체들을 선택하고, 상기 선택된 다수의 제1 객체들 각각의 디스플레이 위치 정보에 상응하는 위치에 상기 선택된 다수의 제1 객체들이 배치된 제1 VR 영상 데이터를 생성할 수 있다. 이후, 영상 재생부(180)는 VR 영상 데이터에 따른 전체 화면에서, 중심 시청 위치 검출부(140)로부터 입력되는 사용자의 중심 시청 위치로부터 사전 설정된 범위의 시청 화면을 디스플레이할 수 있다. 여기에서, 중심 시청 위치 검출부(140)는 예컨대, 3축 자이로 센서와 같이 HMD 장치(100)의 기울임 정도를 측정할 수 있는 센서로 구성될 수 있으며, 중심 시청 위치 검출부(140)는 사전 설정된 기준 좌표를 최초 중심 시청 위치로 검출한 후 사용자가 머리를 움직임으로써 변경된 현재의 HMD 장치(100)의 기울기에 따른 좌표를 현재의 중심 시청 위치로 검출할 수 있다.Next, the VR image data generation unit 130 selects a plurality of objects corresponding to the initial screen information of the first VR-based page among the plurality of first objects for the first VR-based page, and selects the selected plurality of objects. The first VR image data in which the plurality of selected first objects are arranged at a position corresponding to display position information of each of the first objects may be generated. Thereafter, the image reproducing unit 180 may display a viewing screen having a preset range from the center viewing position of the user input from the center viewing position detecting unit 140 on the entire screen according to the VR image data. Here, the center viewing position detector 140 may be configured as a sensor capable of measuring the degree of inclination of the HMD device 100, for example, a three-axis gyro sensor, and the center viewing position detector 140 may be a preset reference. After detecting the coordinates as the initial center viewing position, the coordinates according to the inclination of the current HMD device 100 changed as the user moves the head may be detected as the current center viewing position.

예를 들어, 도 2를 참조하면, VR 영상 데이터 생성부(130)는 VR 기반 페이지 1에 대한 객체 1 내지 4 중 상기 VR 기반 페이지 1의 초기 화면 정보에 상응하는 객체 1 내지 3을 선택하고, 상기 객체 1 내지 3 각각의 디스플레이 위치 정보에 상응하는 디스플레이 위치 1 내지 3(252, 253 및 254)에 상기 객체 1 내지 3이 배치된 VR 영상 데이터를 생성할 수 있다. 이후, 영상 재생부(180)는 사용자가 HMD 장치(100)를 상하좌우로 이동시킴으로써 볼 수 있는 전체 화면(250)에서, 중심 시청 위치 검출부(140)로부터 입력되는 사용자의 중심 시청 위치(261)로부터 사전 설정된 범위의 시청 화면(263)을 디스플레이할 수 있다. 이에 따라, 사용자는 사전 설정된 범위의 시청 화면(263)에 위치하는 디스플레이 위치 1(252)에 배치된 객체 1을 시청할 수 있다.For example, referring to FIG. 2, the VR image data generation unit 130 selects objects 1 to 3 corresponding to initial screen information of the VR-based page 1 among objects 1 to 4 for the VR-based page 1, The VR image data in which the objects 1 to 3 are disposed may be generated at the display positions 1 to 3 252, 253, and 254 corresponding to the display position information of each of the objects 1 to 3. Thereafter, the image reproducing unit 180 is the central viewing position 261 of the user input from the center viewing position detection unit 140 in the entire screen 250 which the user can see by moving the HMD device 100 up, down, left, and right. Can display a preset range of viewing screen 263. Accordingly, the user may watch the object 1 disposed in the display position 1 252 positioned on the viewing screen 263 in the preset range.

다음으로, 중심 시청 위치 검출부(140)로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 인터랙션 신호 수신부(150)가 객체를 변경하라는 상기 사용자의 제스처에 의한 제1 인터랙션 신호를 수신하면, VR 영상 데이터 생성부(130)는 상기 제1 VR 기반 페이지에 대한 상기 다수의 제1 객체들 중 상기 제1 인터랙션 신호에 상응하는 제1 객체를 선택한 후 상기 제1 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 상기 제1 인터랙션 신호에 상응하는 제1 객체가 배치된 제2 VR 영상 데이터를 생성할 수 있다. 이때, 영상 재생 시각 정보 저장부(170)는 상기 선택된 다수의 제1 객체들 중 상기 제1 인터랙션 신호에 상응하는 제1 객체의 상기 디스플레이 위치 정보와 동일하거나 겹치는 제1 객체가 영상 데이터인 경우, 상기 제1 인터랙션 신호가 입력되는 시점의 상기 제1 인터랙션 신호에 상응하는 제1 객체의 상기 디스플레이 위치 정보와 동일하거나 겹치는 제1 객체의 영상 재생 시각 정보를 저장할 수 있다. 여기에서, 인터랙션 신호 수신부(150)는 사용자의 특정 제스처를 제스처 입력부(151)가 감지함으로써 생성된 인터랙션 신호를 상기 제스처 입력부(151)로부터 수신하거나, 발표자 또는 다른 사용자의 HMD 장치들(210, 220 및 230)에서 생성된 인터랙션 신호를 상기 발표자 또는 다른 사용자의 HMD 장치들(210, 220 및 230)로부터 수신할 수 있다. 또한, 제스처 입력부(151)는 3축 위치 센서를 포함하여, 사용자가 머리를 이동시키는 동작을 감지함으로써 사용자의 제스처를 감지할 수 있다.Next, when the user's center viewing position input from the center viewing position detection unit 140 indicates the interaction area of the first VR-based page, the interaction signal receiving unit 150 generates a first gesture based on the user's gesture to change an object. Upon receiving the interaction signal, the VR image data generation unit 130 selects a first object corresponding to the first interaction signal among the plurality of first objects for the first VR-based page, and then the first interaction signal. The second VR image data in which the first object corresponding to the first interaction signal is disposed may be generated at a position corresponding to display position information of the first object corresponding to. In this case, the image reproduction time information storage unit 170 when the first object equal to or overlapping with the display position information of the first object corresponding to the first interaction signal among the plurality of selected first objects is image data, The display apparatus may store image reproduction time information of the first object that is the same as or overlap with the display position information of the first object corresponding to the first interaction signal at the time when the first interaction signal is input. Here, the interaction signal receiver 150 receives the interaction signal generated by the gesture input unit 151 by detecting a specific gesture of the user from the gesture input unit 151 or the presenter or other user's HMD devices 210 and 220. And the interaction signal generated at 230 may be received from the presenter or another user's HMD devices 210, 220, and 230. In addition, the gesture input unit 151 may include a three-axis position sensor to detect a gesture of the user by detecting an operation of moving the head by the user.

예를 들어, 도 2와 같은 상황에서, 중심 시청 위치 검출부(140)로부터 입력되는 사용자의 중심 시청 위치가 상기 VR 기반 페이지 1의 인터랙션 영역 1(251)을 나타낼 때 인터랙션 신호 수신부(150)가 객체를 변경하라는 상기 사용자의 제스처에 의한 인터랙션 신호 4를 수신하면, VR 영상 데이터 생성부(130)는 상기 VR 기반 페이지 1에 대한 상기 객체 1 내지 4 중 상기 인터랙션 신호 4에 상응하는 객체 4를 선택한 후 상기 인터랙션 신호 4에 상응하는 객체 4의 디스플레이 위치 정보에 상응하는 디스플레이 위치(255)에 상기 인터랙션 신호 4에 상응하는 객체 4가 배치된 VR 영상 데이터를 생성할 수 있다. 이때, 영상 재생 시각 정보 저장부(170)는 상기 인터랙션 신호 4에 상응하는 객체 4의 상기 디스플레이 위치 정보와 동일하거나 겹치는 객체 3이 영상 데이터인 경우, 상기 인터랙션 신호 4가 입력되는 시점의 상기 객체 3의 영상 재생 시각 정보를 저장할 수 있다.For example, in the situation as shown in FIG. 2, when the user's center viewing position input from the center viewing position detection unit 140 indicates the interaction area 1 251 of the VR-based page 1, the interaction signal receiving unit 150 is an object. When receiving the interaction signal 4 by the user's gesture to change, the VR image data generation unit 130 selects the object 4 corresponding to the interaction signal 4 among the objects 1 to 4 for the VR-based page 1, and then selects the object 4. The VR image data in which the object 4 corresponding to the interaction signal 4 is disposed may be generated at the display position 255 corresponding to the display position information of the object 4 corresponding to the interaction signal 4. In this case, the image reproduction time information storage unit 170 is the object 3 at the time when the interaction signal 4 is input when the object 3 that is the same or overlaps with the display position information of the object 4 corresponding to the interaction signal 4 is image data. Video playback time information can be stored.

다음으로, 상기 중심 시청 위치 검출부(140)로부터 입력되는 상기 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 상기 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부(150)가 객체를 상기 제1 인터랙션 신호에 상응하는 제1 객체의 상기 디스플레이 위치 정보와 동일한 제1 객체로 변경하라는 상기 사용자의 제스처에 의한 제2 인터랙션 신호를 수신하면, 상기 VR 영상 데이터 생성부(130)는 상기 제1 VR 기반 페이지에 대한 상기 다수의 제1 객체들 중 상기 제2 인터랙션 신호에 상응하는 제1 객체를 선택한 후 상기 제2 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 상기 제2 인터랙션 신호에 상응하는 제1 객체가 배치된 제3 VR 영상 데이터를 생성하되, 상기 제3 VR 영상 데이터에 상기 제2 인터랙션 신호에 상응하는 제1 객체의 영상 재생 시각을 상기 제2 인터랙션 신호에 상응하는 제1 객체에 대한 상기 영상 재생 시각 정보에 기초하여 설정할 수 있다. 이에 따라, 사용자는 상기 제2 인터랙션 신호에 상응하는 제1 객체의 영상을 이전에 시청하던 시점에 연속하여 시청할 수 있다.Next, when the center viewing position of the user input from the center viewing position detector 140 indicates the interaction area of the first VR-based page, the interaction signal receiving unit 150 attaches an object to the first interaction signal. Upon receiving the second interaction signal by the user's gesture to change the first object to the same first object as the display position information of the corresponding first object, the VR image data generator 130 may be configured for the first VR-based page. Selecting a first object corresponding to the second interaction signal of the plurality of first objects and corresponding to the second interaction signal at a position corresponding to the display position information of the first object corresponding to the second interaction signal Generate third VR image data in which a first object is disposed, and correspond to the second interaction signal in the third VR image data. The image reproduction time of the first object may be set based on the image reproduction time information of the first object corresponding to the second interaction signal. Accordingly, the user may continuously watch the image of the first object corresponding to the second interaction signal at the time when the user previously watched.

예를 들어, 도 2와 같은 상황에서, 상기 중심 시청 위치 검출부(140)로부터 입력되는 상기 사용자의 중심 시청 위치가 상기 VR 기반 페이지 1의 상기 인터랙션 영역 1(251)을 나타낼 때 상기 인터랙션 신호 수신부(150)가 객체를 상기 인터랙션 신호 4에 상응하는 객체 4의 상기 디스플레이 위치 정보와 동일거나 겹치는 객체 3으로 변경하라는 상기 사용자의 제스처에 의한 인터랙션 신호 3을 수신하면, VR 영상 데이터 생성부(130)는 상기 VR 기반 페이지 1에 대한 상기 객체 1 내지 4 중 상기 인터랙션 신호 3에 상응하는 객체 3을 선택한 후 상기 인터랙션 신호 3에 상응하는 객체 3의 디스플레이 위치에 상응하는 디스플레이 위치(254)에 상기 인터랙션 신호 3에 상응하는 객체 3이 배치된 VR 영상 데이터를 생성하되, 상기 VR 영상 데이터에 상기 인터랙션 신호 3에 상응하는 객체 3의 영상 재생 시각을 상기 객체 3에 대한 상기 영상 재생 시각 정보에 기초하여 설정할 수 있다. 이에 따라, 사용자는 객체 3의 영상을 이전에 시청하던 시점에 연속하여 시청할 수 있다.For example, in the situation as shown in FIG. 2, when the center viewing position of the user input from the center viewing position detector 140 indicates the interaction area 1 251 of the VR-based page 1, the interaction signal receiving unit ( When the 150 receives the interaction signal 3 by the user's gesture to change the object to the object 3 which is the same as or overlapping with the display position information of the object 4 corresponding to the interaction signal 4, the VR image data generation unit 130 receives the interaction signal 3. After selecting the object 3 corresponding to the interaction signal 3 of the objects 1 to 4 for the VR-based page 1, the interaction signal 3 in the display position 254 corresponding to the display position of the object 3 corresponding to the interaction signal 3 Generate VR image data having an object 3 corresponding thereto, and correspond to the interaction signal 3 in the VR image data. It can be set in accordance with the video reproduction time information of the video reproduction time of the object 3 on the object 3. Accordingly, the user may continuously watch the image of the object 3 at the time when the user previously watched.

다음으로, 상기 중심 시청 위치 검출부(140)로부터 입력되는 상기 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 상기 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부(150)가 페이지를 변경하라는 상기 사용자의 제스처에 의한 제3 인터랙션 신호를 수신하면, VR 영상 데이터 생성부(130)는 상기 제3 인터랙션 신호에 상응하는 제2 VR 기반 페이지에 대한 다수의 제2 객체들 중 상기 제2 VR 기반 페이지의 초기 화면 정보에 상응하는 다수의 객체들을 선택하고, 상기 선택된 다수의 제2 객체들 각각의 디스플레이 위치 정보에 상응하는 위치에 상기 선택된 다수의 제2 객체들이 배치된 제4 VR 영상 데이터를 생성할 수 있다.Next, when the center viewing position of the user input from the center viewing position detector 140 indicates the interaction area of the first VR-based page, the interaction signal receiver 150 changes the page. When receiving the third interaction signal by the VR image data generation unit 130, the initial screen of the second VR-based page of the plurality of second objects for the second VR-based page corresponding to the third interaction signal. A plurality of objects corresponding to information may be selected, and fourth VR image data including the plurality of selected second objects may be generated at positions corresponding to display position information of each of the plurality of selected second objects.

예를 들어, 도 2와 같은 상황에서, 상기 중심 시청 위치 검출부(140)로부터 입력되는 상기 사용자의 중심 시청 위치가 상기 VR 기반 페이지 1의 상기 인터랙션 영역 1(251)을 나타낼 때 상기 인터랙션 신호 수신부(150)가 페이지를 변경하라는 상기 사용자의 제스처에 의한 인터랙션 신호 10을 수신하면, VR 영상 데이터 생성부(130)는 상기 인터랙션 신호 10에 상응하는 VR 기반 페이지 2에 대한 객체 5 내지 7 중 상기 VR 기반 페이지 2의 초기 화면 정보에 상응하는 객체 5 내지 7을 선택하고, 상기 선택된 객체 5 내지 7 각각의 디스플레이 위치 정보에 상응하는 디스플레이 위치에 상기 선택된 객체 5 내지 7이 배치된 VR 영상 데이터를 생성할 수 있다.For example, in the situation as shown in FIG. 2, when the center viewing position of the user input from the center viewing position detector 140 indicates the interaction area 1 251 of the VR-based page 1, the interaction signal receiving unit ( When the 150 receives the interaction signal 10 caused by the user's gesture to change the page, the VR image data generator 130 may generate the VR-based object among the objects 5 to 7 of the VR-based page 2 corresponding to the interaction signal 10. Objects 5 to 7 corresponding to the initial screen information of page 2 may be selected, and VR image data in which the selected objects 5 to 7 are disposed at a display position corresponding to display position information of each of the selected objects 5 to 7 may be generated. have.

다음으로, 상기 중심 시청 위치 검출부(140)로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부(150)가 상기 사용자의 제스처에 의한 제5 인터랙션 신호를 수신하고, 상기 제5 인터랙션 신호가 수신된 시점으로부터 사전 설정된 사전 설정된 인터랙션 신호 응답 시간 이내에 입력된 발표자의 HMD 장치(210)로부터의 제6 인터랙션 신호가 존재하면(즉, 상기 인터랙션 신호 수신부(150)가 제6 인터랙션 신호를 수신한 경우), VR 영상 데이터 생성부(130)는 상기 제6 인터랙션 신호의 종류에 따라 상기 제5 인터랙션 신호 및 상기 제6 인터랙션 신호 중 하나를 선택한 후 선택된 인터랙션 신호에 따라 제5 VR 영상 데이터를 생성할 수 있다. Next, when the center viewing position of the user input from the center viewing position detector 140 indicates the interaction region of the first VR-based page, the interaction signal receiving unit 150 generates a fifth interaction signal by the gesture of the user. Is received, and if there is a sixth interaction signal from the presenter's HMD device 210 input within a preset interaction signal response time from the time at which the fifth interaction signal is received (that is, the interaction signal receiver 150 ) Receives the sixth interaction signal), the VR image data generation unit 130 selects one of the fifth interaction signal and the sixth interaction signal according to the type of the sixth interaction signal and then applies the selected interaction signal. Accordingly, the fifth VR image data may be generated.

예를 들어, 발표자의 HMD 장치(210)로부터의 제6 인터랙션 신호가 페이지 변경 인터랙션 신호인 경우, VR 영상 데이터 생성부(130)는 제6 인터랙션 신호를 선택하고, 제6 인터랙션 신호가 객체 변경 인터랙션 신호인 경우, 제5 인터랙션 신호를 선택할 수 있다.For example, when the sixth interaction signal from the presenter's HMD device 210 is a page change interaction signal, the VR image data generator 130 selects the sixth interaction signal, and the sixth interaction signal is the object change interaction. In the case of a signal, a fifth interaction signal may be selected.

상술한 바와 같은 본 발명에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치(100)는 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 인터랙션 신호 수신부로부터 객체를 변경하라는 사용자의 제스처에 의한 제1 인터랙션 신호를 수신하면, 제1 VR 기반 페이지에 대한 다수의 제1 객체들 중 제1 인터랙션 신호에 상응하는 제1 객체를 선택한 후 제1 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 제1 인터랙션 신호에 상응하는 제1 객체가 배치된 VR 영상 데이터를 생성한 후 VR 영상 데이터를 디스플레이함으로써, HMD 장치를 통해 VR 기반 프레젠테이션 문서의 발표를 듣는 청중들이 발표 중인 VR 기반 슬라이드의 배경 영상, 참고 영상을 능동적으로 선택하여 시청할 수 있게 하여 발표에 적극적으로 참여할 수 있도록 지원할 수 있다.As described above, the HMD apparatus 100 for displaying a VR-based presentation document according to the present invention is provided with an interaction signal receiver when the center viewing position of the user input from the center viewing position detector indicates the interaction region of the first VR-based page. When the first interaction signal is received by the user's gesture to change the object, the first object is selected from among the plurality of first objects for the first VR-based page and then corresponds to the first interaction signal. Presentation of the VR-based presentation document through the HMD device by generating VR image data in which the first object corresponding to the first interaction signal is disposed at a position corresponding to the display position information of the first object. Audiences actively listening to background images and reference images of VR-based slides It allows you to watch selected can apply to be actively involved in the presentation.

한편, 인터랙션 신호 송신부(160)는 상기 중심 시청 위치 검출부(140)로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부(150)가 보충 설명을 요구하는 상기 사용자의 제스처에 의한 제4 인터랙션 신호가 입력되면, 상기 사용자의 제스처에 의한 상기 제4 인터랙션 신호에 현재 디스플레이중인 VR 영상 데이터에 포함된 객체들의 정보를 병합하여 병합 인터랙션 신호를 생성한 후 상기 병합 인터랙션 신호를 다른 사용자 및 발표자의 HMD 장치(210, 220 및 230)에 송신할 수 있다. 여기에서, 현재 디스플레이중인 VR 영상 데이터의 페이지가 페이지 1이고, 객체가 객체 1 내지 3인 경우, 상기 병합 인터랙션 신호는 페이지가 페이지 1이고, 객체가 객체 1 내지 3이라는 정보와, 객체 1 내지 3 중 영상 데이터인 객체의 영상 재생 시각 정보를 포함할 수 있다. 또한, 메타 데이터 저장부(120)는 보충 설명을 요구하는 상기 사용자의 제스처에 의한 제4 인터랙션 신호에 대한 정보를 저장하고 있을 수 있다.Meanwhile, the interaction signal transmitter 160 requests the supplementary explanation from the interaction signal receiver 150 when the center viewing position of the user input from the center viewing position detector 140 indicates the interaction region of the first VR-based page. When the fourth interaction signal by the user's gesture is input, the information on the objects included in the VR image data currently displayed is merged with the fourth interaction signal by the user's gesture to generate a merge interaction signal. The merge interaction signal may be transmitted to HMD devices 210, 220, and 230 of other users and presenters. Here, when the page of the VR image data currently being displayed is page 1 and the objects are objects 1 to 3, the merge interaction signal includes information that the page is page 1, the objects are objects 1 to 3, and the objects 1 to 3 Video playback time information of the object which is the video data may be included. In addition, the metadata storage unit 120 may store information on the fourth interaction signal generated by the user's gesture requesting supplementary explanation.

이후, 발표자 HMD 장치(210)의 발표자가 상기 병합 인터랙션 신호에 응답하는 응답 인터랙션 신호를 생성한 후 사용자 HMD 장치(100, 220 및 230)에 전송함으로써, 발표자가 페이지가 페이지 1이고, 객체가 객체 1 내지 3인 VR 영상 데이터를 보충 설명할 수 있다.Thereafter, the presenter of the presenter HMD device 210 generates a response interaction signal in response to the merged interaction signal and transmits the response interaction signal to the user HMD devices 100, 220, and 230, whereby the presenter is page 1 and the object is an object. VR video data of 1 to 3 may be supplemented.

도 3은 본 발명의 일실시예에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법을 도시한 순서도이다.3 is a flowchart illustrating a method of operating an HMD device for displaying a VR-based presentation document according to an embodiment of the present invention.

도 3을 참조하면, 단계(S310)에서는 상기 VR 기반 프레젠테이션 문서에 포함된 다수의 VR 기반 페이지들 각각에 대한 객체들을 저장하는 객체 저장부를 유지할 수 있다.Referring to FIG. 3, in operation S310, an object storage unit that stores objects for each of a plurality of VR-based pages included in the VR-based presentation document may be maintained.

단계(S320)에서는 상기 VR 기반 프레젠테이션 문서에 포함된 상기 다수의 VR 기반 페이지들 각각의 메타 데이터들을 저장하는 메타 데이터 저장부를 유지할 수 있다.In operation S320, a metadata storage unit for storing metadata of each of the plurality of VR-based pages included in the VR-based presentation document may be maintained.

단계(S330)에서는 제1 VR 기반 페이지에 대한 다수의 제1 객체들 중 상기 제1 VR 기반 페이지의 초기 화면 정보에 상응하는 다수의 객체들을 선택하고, 상기 선택된 다수의 제1 객체들 각각의 디스플레이 위치 정보에 상응하는 위치에 상기 선택된 다수의 제1 객체들이 배치된 제1 VR 영상 데이터를 생성할 수 있다.In operation S330, a plurality of objects corresponding to initial screen information of the first VR-based page are selected from among a plurality of first objects for the first VR-based page, and the display of each of the selected plurality of first objects is performed. The first VR image data in which the plurality of selected first objects are arranged at a position corresponding to position information may be generated.

단계(S340)에서는 상기 제1 VR 영상 데이터를 디스플레이할 수 있다.In operation S340, the first VR image data may be displayed.

단계(S350)에서는 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 인터랙션 신호 수신부가 객체를 변경하라는 상기 사용자의 제스처에 의한 제1 인터랙션 신호를 수신하면, 상기 제1 VR 기반 페이지에 대한 상기 다수의 제1 객체들 중 상기 제1 인터랙션 신호에 상응하는 제1 객체를 선택한 후 상기 제1 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 상기 제1 인터랙션 신호에 상응하는 제1 객체가 배치된 제2 VR 영상 데이터를 생성할 수 있다.In operation S350, when the user's center viewing position input from the center viewing position detector indicates the interaction region of the first VR-based page, the interaction signal receiving unit receives the first interaction signal by the user's gesture to change the object. If a first object corresponding to the first interaction signal is selected from among the plurality of first objects for the first VR-based page, the display object corresponds to display position information of the first object corresponding to the first interaction signal. The second VR image data in which a first object corresponding to the first interaction signal is disposed may be generated at a location.

단계(S360)에서는 상기 제2 VR 영상 데이터를 디스플레이할 수 있다.In operation S360, the second VR image data may be displayed.

본 발명의 일 실시예에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법은 상기 선택된 다수의 제1 객체들 중 상기 제1 인터랙션 신호에 상응하는 제1 객체의 상기 디스플레이 위치 정보와 동일한 제1 객체가 영상 데이터인 경우, 상기 제1 인터랙션 신호가 입력되는 시점의 상기 제1 인터랙션 신호에 상응하는 제1 객체의 상기 디스플레이 위치 정보와 동일한 제1 객체의 영상 재생 시각 정보를 저장하는 영상 재생 시각 정보 저장부를 유지하는 단계, 상기 중심 시청 위치 검출부로부터 입력되는 상기 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 상기 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부가 객체를 상기 제1 인터랙션 신호에 상응하는 제1 객체의 상기 디스플레이 위치 정보와 동일한 제1 객체로 변경하라는 상기 사용자의 제스처에 의한 제2 인터랙션 신호를 수신하면, 상기 제1 VR 기반 페이지에 대한 상기 다수의 제1 객체들 중 상기 제2 인터랙션 신호에 상응하는 제1 객체를 선택한 후 상기 제2 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 상기 제2 인터랙션 신호에 상응하는 제1 객체가 배치된 제3 VR 영상 데이터를 생성하되, 상기 제3 VR 영상 데이터에 상기 제2 인터랙션 신호에 상응하는 제1 객체의 영상 재생 시각을 상기 제2 인터랙션 신호에 상응하는 제1 객체에 대한 상기 영상 재생 시각 정보에 기초하여 설정하는 단계 및 상기 제3 VR 영상 데이터를 디스플레이하는 단계를 더 수행할 수 있다.According to an embodiment of the present invention, a method of operating an HMD device for displaying a VR-based presentation document may include the same method as the display position information of the first object corresponding to the first interaction signal among the selected plurality of first objects. When the first object is the image data, the image reproduction time storing the image reproduction time information of the first object that is the same as the display position information of the first object corresponding to the first interaction signal at the time when the first interaction signal is input. Maintaining an information storage unit, wherein the interaction signal receiving unit corresponds to the first interaction signal when the center viewing position of the user input from the center viewing position detection unit indicates the interaction region of the first VR-based page; To the same first object as the display position information of the first object. When receiving the second interaction signal by the user's gesture, selects a first object corresponding to the second interaction signal of the plurality of first objects for the first VR-based page, and then the second interaction signal Generate third VR image data in which the first object corresponding to the second interaction signal is disposed at a position corresponding to the display position information of the first object corresponding to the second object, wherein the second interaction signal is in the third VR image data. And setting the image reproduction time of the first object corresponding to the image reproduction time information on the first object corresponding to the second interaction signal and displaying the third VR image data. Can be.

본 발명의 일 실시예에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법은 상기 중심 시청 위치 검출부로부터 입력되는 상기 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 상기 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부가 페이지를 변경하라는 상기 사용자의 제스처에 의한 제3 인터랙션 신호를 수신하면, 상기 제3 인터랙션 신호에 상응하는 제2 VR 기반 페이지에 대한 다수의 제2 객체들 중 상기 제2 VR 기반 페이지의 초기 화면 정보에 상응하는 다수의 객체들을 선택하고, 상기 선택된 다수의 제2 객체들 각각의 디스플레이 위치 정보에 상응하는 위치에 상기 선택된 다수의 제2 객체들이 배치된 제4 VR 영상 데이터를 생성하는 단계 및 상기 제4 VR 영상 데이터를 디스플레이하는 단계를 더 수행할 수 있다.An operation method of an HMD device for displaying a VR-based presentation document according to an embodiment of the present invention is provided when the center viewing position of the user input from the center viewing position detector indicates the interaction region of the first VR-based page. When the interaction signal receiver receives the third interaction signal by the user's gesture to change the page, the second VR-based one of the plurality of second objects for the second VR-based page corresponding to the third interaction signal is received. Selecting a plurality of objects corresponding to initial screen information of a page, and generating fourth VR image data in which the plurality of selected second objects are arranged at positions corresponding to display position information of each of the selected plurality of second objects; And displaying the fourth VR image data.

본 발명의 일 실시예에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법은 상기 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부가 보충 설명을 요구하는 상기 사용자의 제스처에 의한 제4 인터랙션 신호를 수신하면, 상기 사용자의 제스처에 의한 상기 제4 인터랙션 신호에 현재 디스플레이중인 VR 영상 데이터에 포함된 객체들의 정보를 병합하여 병합 인터랙션 신호를 생성한 후 상기 병합 인터랙션 신호를 다른 사용자 및 발표자의 HMD 장치에 송신하는 단계를 더 수행할 수 있다.An operation method of an HMD device for displaying a VR-based presentation document according to an embodiment of the present invention is that the interaction when the center viewing position of the user input from the center viewing position detector indicates the interaction region of the first VR-based page. When the signal receiving unit receives the fourth interaction signal by the user's gesture requesting supplementary explanation, merges and merges information of objects included in the VR image data currently being displayed on the fourth interaction signal by the user's gesture. After generating the interaction signal, the method may further include transmitting the merged interaction signal to the HMD device of other users and presenters.

본 발명의 일 실시예에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법은 상기 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부가 상기 사용자의 제스처에 의한 제5 인터랙션 신호를 수신하고, 상기 제5 인터랙션 신호가 수신된 시점으로부터 사전 설정된 사전 설정된 인터랙션 신호 응답 시간 이내에 입력된 발표자의 HMD 장치로부터의 제6 인터랙션 신호가 존재하면, 상기 제6 인터랙션 신호의 종류에 따라 상기 제5 인터랙션 신호 및 상기 제6 인터랙션 신호 중 하나를 선택한 후 선택된 인터랙션 신호에 따라 제5 VR 영상 데이터를 생성하는 단계 및 상기 영상 재생부는 상기 제5 VR 영상 데이터를 디스플레이하는 단계를 더 수행할 수 있다.An operation method of an HMD device for displaying a VR-based presentation document according to an embodiment of the present invention is that the interaction when the center viewing position of the user input from the center viewing position detector indicates the interaction region of the first VR-based page. The signal receiving unit receives a fifth interaction signal by the user's gesture, and there is a sixth interaction signal from the presenter's HMD device input within a preset interaction signal response time from the time when the fifth interaction signal is received. Select one of the fifth interaction signal and the sixth interaction signal according to a type of the sixth interaction signal, and generate fifth VR image data according to the selected interaction signal; Further performing the step of displaying the image data Can.

이상, 도 3을 참조하여 본 발명의 일실시예에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법은 도 1 내지 도 2를 이용하여 설명한 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치(100)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.The operating method of the HMD device for displaying the VR-based presentation document according to an embodiment of the present invention has been described above with reference to FIG. 3. Here, the operation method of the HMD device for the display of the VR-based presentation document according to an embodiment of the present invention for the operation of the HMD device 100 for the display of the VR-based presentation document described with reference to FIGS. Since it may correspond to the configuration, a detailed description thereof will be omitted.

본 발명의 일실시예에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.A method of operating an HMD device for displaying a VR-based presentation document according to an embodiment of the present invention may be implemented as a computer program stored in a storage medium for execution by combining with a computer.

또한, 본 발명의 일실시예에 따른 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. In addition, the operating method of the HMD device for displaying the VR-based presentation document according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations are possible from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and all the things that are equivalent to or equivalent to the claims as well as the following claims will belong to the scope of the present invention. .

Claims (12)

가상현실(Virtual Reality: VR) 기반 프레젠테이션 문서의 디스플레이를 위한 HMD(Head Mounted Display) 장치에 있어서,
상기 VR 기반 프레젠테이션 문서에 포함된 다수의 VR 기반 페이지들 각각에 대한 객체들을 저장하는 객체 저장부;
상기 VR 기반 프레젠테이션 문서에 포함된 상기 다수의 VR 기반 페이지들 각각의 메타 데이터들 - 상기 메타 데이터들 각각은 상기 다수의 VR 기반 페이지들 각각의 초기 화면 정보, 인터랙션 영역 정보 및 상기 객체들의 디스플레이 위치 정보를 포함함 - 을 저장하는 메타 데이터 저장부;
제1 VR 기반 페이지에 대한 다수의 제1 객체들 중 상기 제1 VR 기반 페이지의 초기 화면 정보에 상응하는 다수의 객체들을 선택하고, 상기 선택된 다수의 제1 객체들 각각의 디스플레이 위치 정보에 상응하는 위치에 상기 선택된 다수의 제1 객체들이 배치된 제1 VR 영상 데이터를 생성하는 VR 영상 데이터 생성부; 및
상기 제1 VR 영상 데이터를 디스플레이하는 영상 재생부
를 포함하고,
상기 VR 영상 데이터 생성부는 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 인터랙션 신호 수신부가 객체를 변경하라는 상기 사용자의 제스처에 의한 제1 인터랙션 신호를 수신하면, 상기 제1 VR 기반 페이지에 대한 상기 다수의 제1 객체들 중 상기 제1 인터랙션 신호에 상응하는 제1 객체를 선택한 후 상기 제1 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 상기 제1 인터랙션 신호에 상응하는 제1 객체가 배치된 제2 VR 영상 데이터를 생성하고,
상기 영상 재생부는 상기 제2 VR 영상 데이터를 디스플레이하며,
상기 VR 영상 데이터 생성부는 상기 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부가 상기 사용자의 제스처에 의한 제5 인터랙션 신호를 수신하고, 상기 제5 인터랙션 신호가 수신된 시점으로부터 사전 설정된 사전 설정된 인터랙션 신호 응답 시간 이내에 입력된 발표자의 HMD 장치로부터의 제6 인터랙션 신호가 존재하면, 상기 제6 인터랙션 신호의 종류에 따라 상기 제5 인터랙션 신호 및 상기 제6 인터랙션 신호 중 하나를 선택한 후 선택된 인터랙션 신호에 따라 제5 VR 영상 데이터를 생성하고,
상기 영상 재생부는 상기 제5 VR 영상 데이터를 디스플레이하는
VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치.In the head mounted display (HMD) device for displaying a virtual reality (VR) based presentation document,
An object storage unit which stores objects for each of a plurality of VR-based pages included in the VR-based presentation document;
Metadata of each of the plurality of VR-based pages included in the VR-based presentation document, wherein each of the meta data includes initial screen information, interaction area information, and display position information of each of the plurality of VR-based pages. It includes a metadata storage for storing;
Selecting a plurality of objects corresponding to initial screen information of the first VR-based page among a plurality of first objects for a first VR-based page, and corresponding to display position information of each of the selected plurality of first objects A VR image data generation unit configured to generate first VR image data in which the plurality of selected first objects are arranged at a position; And
Image reproducing unit for displaying the first VR image data
Including,
The VR image data generation unit may generate a first interaction signal generated by the user's gesture to change the object when the interaction signal receiving unit changes the object when the center viewing position of the user input from the center viewing position detection unit indicates the interaction region of the first VR-based page. Upon reception, selecting a first object corresponding to the first interaction signal among the plurality of first objects for the first VR-based page, and corresponding to display position information of the first object corresponding to the first interaction signal. Generate second VR image data having a first object corresponding to the first interaction signal at a position;
The image reproducing unit displays the second VR image data,
The VR image data generation unit receives the fifth interaction signal generated by the user's gesture when the interaction signal receiver receives the user's gesture when the center viewing position of the user input from the center viewing position detector indicates the interaction area of the first VR-based page. And when the sixth interaction signal from the presenter's HMD device is input within a preset interaction signal response time from the time when the fifth interaction signal is received, the fifth interaction signal according to the type of the sixth interaction signal. And after selecting one of the sixth interaction signals, generates fifth VR image data according to the selected interaction signals,
The image reproducing unit displays the fifth VR image data.
HMD device for the display of VR-based presentation documents. 제1항에 있어서,
상기 선택된 다수의 제1 객체들 중 상기 제1 인터랙션 신호에 상응하는 제1 객체의 상기 디스플레이 위치 정보와 동일한 제1 객체가 영상 데이터인 경우, 상기 제1 인터랙션 신호를 수신하는 시점의 상기 제1 인터랙션 신호에 상응하는 제1 객체의 상기 디스플레이 위치 정보와 동일한 제1 객체의 영상 재생 시각 정보를 저장하는 영상 재생 시각 정보 저장부
를 더 포함하고,
상기 VR 영상 데이터 생성부는 상기 중심 시청 위치 검출부로부터 입력되는 상기 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 상기 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부가 객체를 상기 제1 인터랙션 신호에 상응하는 제1 객체의 상기 디스플레이 위치 정보와 동일한 제1 객체로 변경하라는 상기 사용자의 제스처에 의한 제2 인터랙션 신호를 수신하면, 상기 제1 VR 기반 페이지에 대한 상기 다수의 제1 객체들 중 상기 제2 인터랙션 신호에 상응하는 제1 객체를 선택한 후 상기 제2 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 상기 제2 인터랙션 신호에 상응하는 제1 객체가 배치된 제3 VR 영상 데이터를 생성하되, 상기 제3 VR 영상 데이터에 상기 제2 인터랙션 신호에 상응하는 제1 객체의 영상 재생 시각을 상기 제2 인터랙션 신호에 상응하는 제1 객체에 대한 상기 영상 재생 시각 정보에 기초하여 설정하고,
상기 영상 재생부는 상기 제3 VR 영상 데이터를 디스플레이하는
VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치.The method of claim 1,
When the first object that is the same as the display position information of the first object corresponding to the first interaction signal among the plurality of selected first objects is image data, the first interaction when the first interaction signal is received. An image reproduction time information storage unit that stores image reproduction time information of the first object that is the same as the display position information of the first object corresponding to the signal.
More,
The VR image data generation unit may further include an interaction signal receiving unit corresponding to the first interaction signal when the center viewing position of the user input from the center viewing position detection unit indicates the interaction region of the first VR-based page. Upon receiving a second interaction signal by the user's gesture to change to the first object that is the same as the display position information of the first object, the second interaction signal among the plurality of first objects for the first VR-based page. After selecting the first object corresponding to the third VR image data in which the first object corresponding to the second interaction signal is disposed at a position corresponding to the display position information of the first object corresponding to the second interaction signal However, the third VR image data to reproduce the image of the first object corresponding to the second interaction signal Set a time based on the image reproduction time information for the first object corresponding to the second interaction signal,
The image reproducing unit displays the third VR image data.
HMD device for the display of VR-based presentation documents. 제1항에 있어서,
상기 VR 영상 데이터 생성부는 상기 중심 시청 위치 검출부로부터 입력되는 상기 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 상기 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부가 페이지를 변경하라는 상기 사용자의 제스처에 의한 제3 인터랙션 신호를 수신하면, 상기 제3 인터랙션 신호에 상응하는 제2 VR 기반 페이지에 대한 다수의 제2 객체들 중 상기 제2 VR 기반 페이지의 초기 화면 정보에 상응하는 다수의 객체들을 선택하고, 상기 선택된 다수의 제2 객체들 각각의 디스플레이 위치 정보에 상응하는 위치에 상기 선택된 다수의 제2 객체들이 배치된 제4 VR 영상 데이터를 생성하고,
상기 영상 재생부는 상기 제4 VR 영상 데이터를 디스플레이하는
VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치.The method of claim 1,
The VR image data generation unit may be configured to generate the page by the user's gesture to change the page when the center viewing position of the user input from the center viewing position detection unit indicates the interaction area of the first VR-based page. When receiving the three interaction signals, selecting a plurality of objects corresponding to the initial screen information of the second VR-based page of the plurality of second objects for the second VR-based page corresponding to the third interaction signal, Generating fourth VR image data in which the plurality of selected second objects are disposed at positions corresponding to display position information of each of the plurality of selected second objects,
The image reproducing unit displays the fourth VR image data.
HMD device for the display of VR-based presentation documents. 제1항에 있어서,
상기 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부가 보충 설명을 요구하는 상기 사용자의 제스처에 의한 제4 인터랙션 신호를 수신하면, 상기 사용자의 제스처에 의한 상기 제4 인터랙션 신호에 현재 디스플레이중인 VR 영상 데이터에 포함된 객체들의 정보를 병합하여 병합 인터랙션 신호를 생성한 후 상기 병합 인터랙션 신호를 다른 사용자 및 발표자의 HMD 장치에 송신하는 인터랙션 신호 송신부
를 더 포함하는 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치.The method of claim 1,
When the interaction signal receiver receives the fourth interaction signal by the user's gesture requesting supplementary explanation when the user's center viewing position input from the center viewing position detection unit indicates the interaction region of the first VR-based page, An interaction for generating a merge interaction signal by merging information of objects included in the VR image data currently being displayed on the fourth interaction signal by the user's gesture, and transmitting the merge interaction signal to the HMD device of other users and presenters Signal transmitter
HMD device for the display of the VR-based presentation document further comprising. 삭제delete 가상현실(Virtual Reality: VR) 기반 프레젠테이션 문서의 디스플레이를 위한 HMD(Head Mounted Display) 장치의 동작 방법에 있어서,
상기 VR 기반 프레젠테이션 문서에 포함된 다수의 VR 기반 페이지들 각각에 대한 객체들을 저장하는 객체 저장부를 유지하는 단계;
상기 VR 기반 프레젠테이션 문서에 포함된 상기 다수의 VR 기반 페이지들 각각의 메타 데이터들 - 상기 메타 데이터들 각각은 상기 다수의 VR 기반 페이지들 각각의 초기 화면 정보, 인터랙션 영역 정보 및 상기 객체들의 디스플레이 위치 정보를 포함함 - 을 저장하는 메타 데이터 저장부를 유지하는 단계;
제1 VR 기반 페이지에 대한 다수의 제1 객체들 중 상기 제1 VR 기반 페이지의 초기 화면 정보에 상응하는 다수의 객체들을 선택하고, 상기 선택된 다수의 제1 객체들 각각의 디스플레이 위치 정보에 상응하는 위치에 상기 선택된 다수의 제1 객체들이 배치된 제1 VR 영상 데이터를 생성하는 단계;
상기 제1 VR 영상 데이터를 디스플레이하는 단계;
중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 인터랙션 신호 수신부가 객체를 변경하라는 상기 사용자의 제스처에 의한 제1 인터랙션 신호를 수신하면, 상기 제1 VR 기반 페이지에 대한 상기 다수의 제1 객체들 중 상기 제1 인터랙션 신호에 상응하는 제1 객체를 선택한 후 상기 제1 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 상기 제1 인터랙션 신호에 상응하는 제1 객체가 배치된 제2 VR 영상 데이터를 생성하는 단계;
상기 제2 VR 영상 데이터를 디스플레이하는 단계;
상기 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부가 상기 사용자의 제스처에 의한 제5 인터랙션 신호를 수신하고, 상기 제5 인터랙션 신호가 수신된 시점으로부터 사전 설정된 사전 설정된 인터랙션 신호 응답 시간 이내에 입력된 발표자의 HMD 장치로부터의 제6 인터랙션 신호가 존재하면, 상기 제6 인터랙션 신호의 종류에 따라 상기 제5 인터랙션 신호 및 상기 제6 인터랙션 신호 중 하나를 선택한 후 선택된 인터랙션 신호에 따라 제5 VR 영상 데이터를 생성하는 단계; 및
상기 제5 VR 영상 데이터를 디스플레이하는 단계
를 포함하는 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법.A method of operating a head mounted display (HMD) device for displaying a virtual reality (VR) based presentation document,
Maintaining an object storage unit which stores objects for each of a plurality of VR-based pages included in the VR-based presentation document;
Metadata of each of the plurality of VR-based pages included in the VR-based presentation document, wherein each of the meta data includes initial screen information, interaction area information, and display position information of each of the plurality of VR-based pages. Maintaining a metadata storage for storing the metadata;
Selecting a plurality of objects corresponding to initial screen information of the first VR-based page among a plurality of first objects for a first VR-based page, and corresponding to display position information of each of the selected plurality of first objects Generating first VR image data including the plurality of selected first objects at a location;
Displaying the first VR image data;
If the interaction signal receiving unit receives the first interaction signal by the user's gesture to change the object when the center viewing position of the user input from the center viewing position detection unit indicates the interaction region of the first VR-based page, the first interaction signal is received. After selecting a first object corresponding to the first interaction signal among the plurality of first objects for the VR-based page, the first object at a position corresponding to display position information of the first object corresponding to the first interaction signal. Generating second VR image data having a first object corresponding to the interaction signal;
Displaying the second VR image data;
When the center viewing position of the user input from the center viewing position detector indicates the interaction region of the first VR-based page, the interaction signal receiving unit receives the fifth interaction signal by the gesture of the user, and the fifth interaction signal. If there is a sixth interaction signal from the presenter's HMD device that is input within a preset interaction signal response time from the time at which the signal is received, the fifth interaction signal and the sixth interaction signal according to the type of the sixth interaction signal are present. Generating one of the fifth VR image data according to the selected interaction signal after selecting one of the selected signals; And
Displaying the fifth VR image data.
Method of operation of the HMD device for the display of a VR-based presentation document comprising a. 제6항에 있어서,
상기 선택된 다수의 제1 객체들 중 상기 제1 인터랙션 신호에 상응하는 제1 객체의 상기 디스플레이 위치 정보와 동일한 제1 객체가 영상 데이터인 경우, 상기 제1 인터랙션 신호가 입력되는 시점의 상기 제1 인터랙션 신호에 상응하는 제1 객체의 상기 디스플레이 위치 정보와 동일한 제1 객체의 영상 재생 시각 정보를 저장하는 영상 재생 시각 정보 저장부를 유지하는 단계;
상기 중심 시청 위치 검출부로부터 입력되는 상기 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 상기 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부가 객체를 상기 제1 인터랙션 신호에 상응하는 제1 객체의 상기 디스플레이 위치 정보와 동일한 제1 객체로 변경하라는 상기 사용자의 제스처에 의한 제2 인터랙션 신호를 수신하면, 상기 제1 VR 기반 페이지에 대한 상기 다수의 제1 객체들 중 상기 제2 인터랙션 신호에 상응하는 제1 객체를 선택한 후 상기 제2 인터랙션 신호에 상응하는 제1 객체의 디스플레이 위치 정보에 상응하는 위치에 상기 제2 인터랙션 신호에 상응하는 제1 객체가 배치된 제3 VR 영상 데이터를 생성하되, 상기 제3 VR 영상 데이터에 상기 제2 인터랙션 신호에 상응하는 제1 객체의 영상 재생 시각을 상기 제2 인터랙션 신호에 상응하는 제1 객체에 대한 상기 영상 재생 시각 정보에 기초하여 설정하는 단계; 및
상기 제3 VR 영상 데이터를 디스플레이하는 단계
를 더 포함하는 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법.The method of claim 6,
When the first object which is the same as the display position information of the first object corresponding to the first interaction signal among the plurality of selected first objects is image data, the first interaction at the time when the first interaction signal is input Maintaining an image reproduction time information storage unit storing image reproduction time information of the first object that is identical to the display position information of the first object corresponding to the signal;
When the center viewing position of the user input from the center viewing position detector indicates the interaction area of the first VR-based page, the interaction signal receiving unit displays an object in the display position of the first object corresponding to the first interaction signal. Upon receiving a second interaction signal by the user's gesture to change to a first object equal to the information, a first object corresponding to the second interaction signal of the plurality of first objects for the first VR-based page; Select and generate third VR image data in which a first object corresponding to the second interaction signal is disposed at a position corresponding to display position information of the first object corresponding to the second interaction signal, wherein the third VR image data is generated. In the second interaction scene, an image reproduction time of a first object corresponding to the second interaction signal is included in the image data. For the first object corresponding to a step of setting in accordance with the video reproduction time information; And
Displaying the third VR image data.
Method of operation of the HMD device for displaying a VR-based presentation document further comprising. 제6항에 있어서,
상기 중심 시청 위치 검출부로부터 입력되는 상기 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 상기 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부가 페이지를 변경하라는 상기 사용자의 제스처에 의한 제3 인터랙션 신호를 수신하면, 상기 제3 인터랙션 신호에 상응하는 제2 VR 기반 페이지에 대한 다수의 제2 객체들 중 상기 제2 VR 기반 페이지의 초기 화면 정보에 상응하는 다수의 객체들을 선택하고, 상기 선택된 다수의 제2 객체들 각각의 디스플레이 위치 정보에 상응하는 위치에 상기 선택된 다수의 제2 객체들이 배치된 제4 VR 영상 데이터를 생성하는 단계; 및
상기 제4 VR 영상 데이터를 디스플레이하는 단계
를 더 포함하는 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법.The method of claim 6,
When the interaction signal receiver receives the third interaction signal by the user's gesture to change the page when the center viewing position of the user input from the center viewing position detector indicates the interaction area of the first VR-based page, Select a plurality of objects corresponding to initial screen information of the second VR-based page among a plurality of second objects for the second VR-based page corresponding to the third interaction signal, and select the selected plurality of second objects Generating fourth VR image data in which the plurality of selected second objects are disposed at a position corresponding to each of the display position information; And
Displaying the fourth VR image data.
Method of operation of the HMD device for displaying a VR-based presentation document further comprising. 제6항에 있어서,
상기 중심 시청 위치 검출부로부터 입력되는 사용자의 중심 시청 위치가 상기 제1 VR 기반 페이지의 인터랙션 영역을 나타낼 때 상기 인터랙션 신호 수신부가 보충 설명을 요구하는 상기 사용자의 제스처에 의한 제4 인터랙션 신호를 수신하면, 상기 사용자의 제스처에 의한 상기 제4 인터랙션 신호에 현재 디스플레이중인 VR 영상 데이터에 포함된 객체들의 정보를 병합하여 병합 인터랙션 신호를 생성한 후 상기 병합 인터랙션 신호를 다른 사용자 및 발표자의 HMD 장치에 송신하는 단계
를 더 포함하는 VR 기반 프레젠테이션 문서의 디스플레이를 위한 HMD 장치의 동작 방법.The method of claim 6,
When the interaction signal receiver receives the fourth interaction signal by the user's gesture requesting supplementary explanation when the user's center viewing position input from the center viewing position detection unit indicates the interaction region of the first VR-based page, Generating a merge interaction signal by merging information of objects included in the VR image data currently being displayed on the fourth interaction signal by the user's gesture, and transmitting the merge interaction signal to HMD devices of other users and presenters
Method of operation of the HMD device for displaying a VR-based presentation document further comprising. 삭제delete 제6항 내지 제9항 중 어느 한 항의 방법을 컴퓨터로 하여금 수행하도록 하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.A computer readable recording medium having recorded thereon a program for causing a computer to perform the method of any one of claims 6 to 9. 제6항 내지 제9항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.A computer program stored in a storage medium for executing the method of any one of claims 6 to 9 in combination with a computer.
KR1020180000142A 2018-01-02 2018-01-02 Hmd device for displaying vr based presentation document and operating method thereof KR102067493B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180000142A KR102067493B1 (en) 2018-01-02 2018-01-02 Hmd device for displaying vr based presentation document and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180000142A KR102067493B1 (en) 2018-01-02 2018-01-02 Hmd device for displaying vr based presentation document and operating method thereof

Publications (2)

Publication Number Publication Date
KR20190082485A KR20190082485A (en) 2019-07-10
KR102067493B1 true KR102067493B1 (en) 2020-01-17

Family

ID=67255094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180000142A KR102067493B1 (en) 2018-01-02 2018-01-02 Hmd device for displaying vr based presentation document and operating method thereof

Country Status (1)

Country Link
KR (1) KR102067493B1 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101130044B1 (en) * 2010-08-02 2012-03-28 주식회사 레드로버 Computer readable medium and sever system having stereographic presentation imaging program, method of manufacturing stereographic presentation image for multi-view stereographic image engine
KR101894022B1 (en) * 2016-04-25 2018-08-31 장부다 Method and device for payment processing in virtual reality space

Also Published As

Publication number Publication date
KR20190082485A (en) 2019-07-10

Similar Documents

Publication Publication Date Title
US10514885B2 (en) Apparatus and method for controlling audio mixing in virtual reality environments
TWI538520B (en) Method for adding video information, method for displaying video information and devices using the same
WO2020007009A1 (en) Method and apparatus for determining background music of video, terminal device and storage medium
JP6171319B2 (en) Information processing apparatus, information processing method, information processing system, and program
JP6754968B2 (en) A computer-readable storage medium that stores a video playback method, video playback device, and video playback program.
EP3459262B1 (en) Electronic device and method for rendering 360-degree multimedia content
CN108427589B (en) Data processing method and electronic equipment
US10972800B2 (en) Apparatus and associated methods
TWI478043B (en) Systems and methods for app page template generation, and storage medium thereof
US11645051B2 (en) Mini program production method and apparatus, terminal, and storage medium
US11076121B2 (en) Apparatus and associated methods for video presentation
JP2014102664A (en) Content creation, recording, reproduction system
JP6705625B2 (en) Movie reproduction program, device, and method
JP2021141564A (en) Device, method, system and program for content distribution
KR102067493B1 (en) Hmd device for displaying vr based presentation document and operating method thereof
KR102045748B1 (en) Hmd device capable of displaying a vr-based presentation document and operating method thereof
JP2014153688A (en) System for lecture
KR101328270B1 (en) Annotation method and augmenting video process in video stream for smart tv contents and system thereof
KR101743624B1 (en) Method and computer program for adding bookmarks to a video lecture
JP6651884B2 (en) Video playback method, video playback program, and video playback device
US20150363157A1 (en) Electrical device and associated operating method for displaying user interface related to a sound track
KR20190032754A (en) A layer sharing system in which the screen is displayed uniformly using the same coordinate interval regardless of the device size
KR101301958B1 (en) Method for displaying video according to touch and drag and recording-medium recorded program thereof
US20240078070A1 (en) Video distribution device, display control device, video distribution method, display control method, and non-transitory computer readable medium
US10754444B2 (en) Electronic apparatus and control method therefor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant