KR102045748B1 - Hmd device capable of displaying a vr-based presentation document and operating method thereof - Google Patents
Hmd device capable of displaying a vr-based presentation document and operating method thereof Download PDFInfo
- Publication number
- KR102045748B1 KR102045748B1 KR1020170169100A KR20170169100A KR102045748B1 KR 102045748 B1 KR102045748 B1 KR 102045748B1 KR 1020170169100 A KR1020170169100 A KR 1020170169100A KR 20170169100 A KR20170169100 A KR 20170169100A KR 102045748 B1 KR102045748 B1 KR 102045748B1
- Authority
- KR
- South Korea
- Prior art keywords
- slide
- background image
- point
- display
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Abstract
가상현실(Virtual Reality: VR) 기반의 프레젠테이션 문서의 출력이 가능한 HMD(Head Mounted Display) 장치가 개시된다. 본 발명에 따른 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치는 소정의 360도 배경 이미지들 별로 각 배경 이미지에서의 프레젠테이션 문서의 슬라이드가 표시될 위치와 영역에 대한 정보를 서로 다르게 설정해 두고, 특정 배경 이미지가 화면 상에 표시되면, 해당 배경 이미지에 대응하는 위치와 영역 상에 프레젠테이션 문서의 슬라이드를 표시함으로써, 상기 HMD 장치의 사용자에게 배경 이미지에 따라 다양한 위치와 영역 상에 슬라이드가 표시되도록 하는 화면 표시 효과를 제공할 수 있다.A head mounted display (HMD) device capable of outputting a presentation document based on a virtual reality (VR) is disclosed. In the HMD device capable of outputting a VR-based presentation document according to the present invention, information about a position and an area where a slide of a presentation document is displayed in each background image for each predetermined 360 degree background image is set differently, and a specific background When the image is displayed on the screen, a screen of the slide is displayed on various positions and areas according to the background image by displaying the slides of the presentation document on the positions and areas corresponding to the background image. Can provide an effect.
Description
본 발명은 HMD(Head Mounted Display) 장치에서 사용자에게 다양한 경험을 제공할 수 있는 가상현실(Virtual Reality: VR) 기반의 프레젠테이션 문서 출력 기법에 대한 것이다.The present invention relates to a virtual reality (VR) based presentation document output technique that can provide a variety of experiences to the user in a head mounted display (HMD) device.
최근, 컴퓨터나 스마트폰 또는 태블릿 PC 등이 널리 보급됨에 따라, 이러한 단말기기를 이용하여 전자 문서를 열람, 작성, 편집할 수 있도록 하는 다양한 종류의 전자 문서 관련 프로그램들이 출시되고 있다.Recently, as computers, smartphones, tablet PCs, and the like are widely used, various kinds of electronic document-related programs for reading, creating, and editing electronic documents using such terminal devices have been released.
이러한 전자 문서 관련 프로그램들로는 기본적인 문서의 작성, 편집 등을 지원하는 워드프로세서, 데이터의 입력, 산술연산, 데이터 관리를 보조하는 스프레드시트, 발표자의 발표를 보조하기 위한 프레젠테이션 프로그램들이 있다.These electronic document related programs include word processors that support the creation and editing of basic documents, data entry, arithmetic operations, spreadsheets to assist with data management, and presentation programs to assist presenters.
아울러, 최근에는 미래 기술의 하나로 급 부상하고 있는 가상현실(Virtual Reality: VR)에 대한 관심이 증대됨에 따라 게임 등에서 이러한 VR을 활용할 수 있는 VR 관련 기기와 소프트웨어도 다수 등장하고 있다.In addition, as interest in Virtual Reality (VR), which is rapidly emerging as one of future technologies, has increased recently, a number of VR-related devices and software that can utilize such VR in games are appearing.
VR을 구현할 수 있는 대표적인 기기로는 HMD(Head Mounted Display) 장치가 있는데, HMD 장치는 사용자가 안경처럼 머리에 착용한 후 두 눈 앞에 있는 디스플레이를 통해서 화면을 볼 수 있는 장치이다.A typical device capable of realizing VR includes an HMD (Head Mounted Display) device. The HMD device is a device that allows a user to see a screen through a display in front of his eyes after wearing it on his head like glasses.
이러한 HMD 장치의 보급이 활발하게 이루어짐에 따라, 회의나 세미나 등에서 청중들이 HMD 장치를 착용하고, HMD 장치를 통해 VR 기반으로 작성된 프레젠테이션 문서를 보면서 발표를 듣는 방식의 활용 방안이 고려될 수 있다.As the spread of HMD devices is actively performed, a method of using a method of listening to a presentation while listening to a presentation document written on a VR basis through an HMD device and wearing the HMD device at a conference or a seminar may be considered.
따라서, HMD 장치에서 VR 기반으로 작성된 프레젠테이션 문서를 사용자가 보다 실감나게 볼 수 있도록 하기 위한 프레젠테이션 문서의 출력 기법에 대한 연구가 필요하다.Therefore, there is a need for a study on the presentation technique of the presentation document to enable the user to more realistically view the presentation document created on the basis of VR in the HMD device.
본 발명에 따른 가상현실(Virtual Reality: VR) 기반의 프레젠테이션 문서의 출력이 가능한 HMD(Head Mounted Display) 장치는 소정의 360도 배경 이미지들 별로 각 배경 이미지에서의 프레젠테이션 문서의 슬라이드가 표시될 위치와 영역에 대한 정보를 서로 다르게 설정해 두고, 특정 배경 이미지가 화면 상에 표시되면, 해당 배경 이미지에 대응하는 위치와 영역 상에 프레젠테이션 문서의 슬라이드를 표시함으로써, 상기 HMD 장치의 사용자에게 배경 이미지에 따라 다양한 위치와 영역 상에 슬라이드가 표시되도록 하는 화면 표시 효과를 제공할 수 있도록 한다.The head mounted display (HMD) device capable of outputting a presentation document based on a virtual reality (VR) according to the present invention includes a position where a slide of the presentation document in each background image is displayed for each predetermined 360 degree background image. If the information on the region is set differently, and a specific background image is displayed on the screen, the slide of the presentation document is displayed on the position and the region corresponding to the background image, so that the user of the HMD device can change the background image. It is possible to provide a screen display effect that allows a slide to be displayed on a location and an area.
본 발명의 일실시예에 따른 가상현실(Virtual Reality: VR) 기반의 프레젠테이션 문서의 출력이 가능한 HMD(Head Mounted Display) 장치는 상기 HMD 장치에서 VR 기반의 영상 표시가 가능하도록 제작된 복수의 360도 배경 이미지들 - 상기 복수의 360도 배경 이미지들에는 서로 다른 고유 식별 정보가 할당되어 있음 - 이 저장되어 있는 배경 이미지 저장부, 상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들에서의 프레젠테이션 문서를 구성하는 슬라이드가 표시될 지점에 대한 서로 다른 위치 정보가 대응되어 기록되어 있는 위치 정보 테이블을 저장하여 유지하는 위치 정보 테이블 유지부, 상기 복수의 360도 배경 이미지들 중 제1 360도 배경 이미지가 상기 HMD 장치를 통해 표시되도록 하는 배경 표시 명령이 인가되면, 상기 배경 이미지 저장부로부터 상기 제1 360도 배경 이미지를 추출하여 상기 HMD 장치의 디스플레이부를 통해 상기 제1 360도 배경 이미지를 표시하는 배경 이미지 표시부 및 제1 프레젠테이션 문서를 구성하는 복수의 슬라이드들 중 제1 슬라이드가 상기 HMD 장치를 통해 표시되도록 하는 슬라이드 표시 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제1 360도 배경 이미지에 할당되어 있는 제1 고유 식별 정보에 대응하는 제1 위치 정보를 추출하여 상기 디스플레이부를 통해 표시되고 있는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점에 대해 상기 제1 슬라이드를 표시하는 슬라이드 표시부를 포함한다.A head mounted display (HMD) device capable of outputting a presentation document based on a virtual reality (VR) according to an embodiment of the present invention is a plurality of 360 degrees manufactured to enable VR-based image display in the HMD device. Background images-Different unique identification information is assigned to the plurality of 360-degree background images-Background image storage unit, the background image for each unique identification information of each of the plurality of 360-degree background images A positional information table holding unit for storing and maintaining a positional information table in which different positional information about a point at which a slide constituting a presentation document is displayed in the field is recorded; a first of the plurality of 360 degree background images When a background display command is applied to cause a 360 degree background image to be displayed through the HMD device, the background image is saved. A background image display unit for extracting the first 360 degree background image from the display unit to display the first 360 degree background image on the display unit of the HMD device, and a first slide among the plurality of slides constituting the first presentation document. When a slide display command for displaying through the HMD device is applied, first position information corresponding to the first unique identification information allocated to the first 360 degree background image is extracted from the position information table and displayed on the display unit. And a slide display unit for displaying the first slide at a point corresponding to the first position information on the first 360 degree background image.
또한, 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법은 상기 HMD 장치에서 VR 기반의 영상 표시가 가능하도록 제작된 복수의 360도 배경 이미지들 - 상기 복수의 360도 배경 이미지들에는 서로 다른 고유 식별 정보가 할당되어 있음 - 이 저장되어 있는 배경 이미지 저장부를 유지하는 단계, 상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들에서의 프레젠테이션 문서를 구성하는 슬라이드가 표시될 지점에 대한 서로 다른 위치 정보가 대응되어 기록되어 있는 위치 정보 테이블을 저장하여 유지하는 단계, 상기 복수의 360도 배경 이미지들 중 제1 360도 배경 이미지가 상기 HMD 장치를 통해 표시되도록 하는 배경 표시 명령이 인가되면, 상기 배경 이미지 저장부로부터 상기 제1 360도 배경 이미지를 추출하여 상기 HMD 장치의 디스플레이부를 통해 상기 제1 360도 배경 이미지를 표시하는 단계 및 제1 프레젠테이션 문서를 구성하는 복수의 슬라이드들 중 제1 슬라이드가 상기 HMD 장치를 통해 표시되도록 하는 슬라이드 표시 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제1 360도 배경 이미지에 할당되어 있는 제1 고유 식별 정보에 대응하는 제1 위치 정보를 추출하여 상기 디스플레이부를 통해 표시되고 있는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점에 대해 상기 제1 슬라이드를 표시하는 단계를 포함한다.In addition, the operating method of the HMD device capable of outputting the VR-based presentation document according to an embodiment of the present invention is a plurality of 360-degree background images produced to enable the VR-based image display in the HMD device-the plurality of 360-degree background images are assigned different unique identification information-maintaining a stored background image storage, presentation of each background image for unique identification information of each of the plurality of 360-degree background images Storing and maintaining a location information table in which different location information corresponding to a point at which a slide constituting a document is displayed is recorded; wherein the first 360 degree background image is selected from among the plurality of 360 degree background images. When a background display command for displaying through the background is applied, the first 360 degrees from the background image storage unit is applied. Displaying a first 360 degree background image through a display unit of the HMD device by extracting a background image and displaying a slide such that a first slide of the plurality of slides constituting the first presentation document is displayed through the HMD device; When the command is applied, the first 360 degree background image displayed on the display unit by extracting first position information corresponding to the first unique identification information allocated to the first 360 degree background image from the position information table. Displaying the first slide with respect to a point corresponding to the first location information on the image.
본 발명에 따른 가상현실(Virtual Reality: VR) 기반의 프레젠테이션 문서의 출력이 가능한 HMD(Head Mounted Display) 장치는 소정의 360도 배경 이미지들 별로 각 배경 이미지에서의 프레젠테이션 문서의 슬라이드가 표시될 위치와 영역에 대한 정보를 서로 다르게 설정해 두고, 특정 배경 이미지가 화면 상에 표시되면, 해당 배경 이미지에 대응하는 위치와 영역 상에 프레젠테이션 문서의 슬라이드를 표시함으로써, 상기 HMD 장치의 사용자에게 배경 이미지에 따라 다양한 위치와 영역 상에 슬라이드가 표시되도록 하는 화면 표시 효과를 제공할 수 있다.The head mounted display (HMD) device capable of outputting a presentation document based on a virtual reality (VR) according to the present invention includes a position where a slide of the presentation document in each background image is displayed for each predetermined 360 degree background image. If the information on the region is set differently, and a specific background image is displayed on the screen, the slide of the presentation document is displayed on the position and the region corresponding to the background image, so that the user of the HMD device can change the image according to the background image. It is possible to provide a screen display effect for displaying a slide on a position and an area.
도 1은 본 발명의 일실시예에 따른 가상현실(Virtual Reality: VR) 기반의 프레젠테이션 문서의 출력이 가능한 HMD(Head Mounted Display) 장치의 구조를 도시한 도면이다.
도 2 내지 도 3은 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법을 도시한 순서도이다.FIG. 1 is a diagram illustrating a structure of an HMD (Head Mounted Display) device capable of outputting a presentation document based on a virtual reality (VR) according to an embodiment of the present invention.
2 to 3 are views for explaining the operation of the HMD device capable of outputting a VR-based presentation document according to an embodiment of the present invention.
4 is a flowchart illustrating a method of operating an HMD device capable of outputting a VR-based presentation document according to an embodiment of the present invention.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. This description is not intended to limit the invention to the specific embodiments, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the invention. In describing the drawings, similar reference numerals are used for similar components, and unless otherwise defined, all terms used in the present specification, including technical or scientific terms, may be used in the art to which the present invention pertains. It has the same meaning as is commonly understood by someone who has it.
도 1은 본 발명의 일실시예에 따른 가상현실(Virtual Reality: VR) 기반의 프레젠테이션 문서의 출력이 가능한 HMD(Head Mounted Display) 장치의 구조를 도시한 도면이다.FIG. 1 is a diagram illustrating a structure of an HMD (Head Mounted Display) device capable of outputting a presentation document based on a virtual reality (VR) according to an embodiment of the present invention.
도 1을 참조하면, 본 발명에 따른 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치(110)는 배경 이미지 저장부(111), 위치 정보 테이블 유지부(112), 배경 이미지 표시부(113) 및 슬라이드 표시부(114)를 포함한다.Referring to FIG. 1, the
배경 이미지 저장부(111)에는 HMD 장치(110)에서 VR 기반의 영상 표시가 가능하도록 제작된 복수의 360도 배경 이미지들이 저장되어 있다.The background
여기서, 360도 배경 이미지란 360도 카메라를 통해 촬영된 이미지로 사용자가 HMD 장치(110)를 착용한 상태로 360도 이미지를 보게 되었을 때, 사용자의 시야가 변동되더라도 변동된 시야의 방향에 대한 이미지가 HMD 장치(110)의 화면 상에 표시될 수 있도록 하는 이미지를 의미한다.Here, the 360-degree background image is an image photographed through a 360-degree camera and when the user views the 360-degree image while wearing the
이때, 상기 복수의 360도 배경 이미지들에는 서로 다른 고유 식별 정보가 할당되어 있다.In this case, different unique identification information is assigned to the plurality of 360 degree background images.
위치 정보 테이블 유지부(112)는 상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들에서의 프레젠테이션 문서를 구성하는 슬라이드가 표시될 지점에 대한 서로 다른 위치 정보가 대응되어 기록되어 있는 위치 정보 테이블을 저장하여 유지한다.The position information
여기서, 위치 정보는 각 배경 이미지들에서 슬라이드가 표시될 지점에 대한 좌표 정보가 될 수 있다.Here, the position information may be coordinate information of a point where the slide is to be displayed in each background image.
배경 이미지 표시부(113)는 상기 복수의 360도 배경 이미지들 중 제1 360도 배경 이미지가 HMD 장치(110)를 통해 표시되도록 하는 배경 표시 명령이 인가되면, 배경 이미지 저장부(111)로부터 상기 제1 360도 배경 이미지를 추출하여 HMD 장치(110)의 디스플레이부를 통해 상기 제1 360도 배경 이미지를 표시한다.The background
슬라이드 표시부(114)는 제1 프레젠테이션 문서를 구성하는 복수의 슬라이드들 중 제1 슬라이드가 HMD 장치(110)를 통해 표시되도록 하는 슬라이드 표시 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제1 360도 배경 이미지에 할당되어 있는 제1 고유 식별 정보에 대응하는 제1 위치 정보를 추출하여 상기 디스플레이부를 통해 표시되고 있는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점에 대해 상기 제1 슬라이드를 표시한다.The
이때, 본 발명의 일실시예에 따르면, VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치(110)는 영역 정보 테이블 유지부(115)를 더 포함할 수 있다.In this case, according to an embodiment of the present invention, the
영역 정보 테이블 유지부(115)는 상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들에서의 프레젠테이션 문서를 구성하는 슬라이드가 표시될 서로 다른 영역의 형태와 크기에 대한 정보가 기록되어 있는 영역 정보 테이블을 저장하여 유지한다.The area information
이때, 슬라이드 표시부(114)는 정보 추출부(116), 표시 영역 배치부(117) 및 슬라이드 표시 처리부(118)를 포함할 수 있다.In this case, the
정보 추출부(116)는 상기 제1 프레젠테이션 문서를 구성하는 복수의 슬라이드들 중 상기 제1 슬라이드가 HMD 장치(110)를 통해 표시되도록 하는 슬라이드 표시 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제1 360도 배경 이미지에 할당되어 있는 상기 제1 고유 식별 정보에 대응하는 상기 제1 위치 정보를 추출하고, 상기 영역 정보 테이블로부터 상기 제1 고유 식별 정보에 대응하는 영역의 제1 형태와 크기에 대한 정보를 추출한다.The
표시 영역 배치부(117)는 상기 제1 형태와 크기에 대응하는 슬라이드 표시 영역을 생성하고, 상기 디스플레이부를 통해 표시되고 있는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점이 상기 슬라이드 표시 영역의 중점이 되도록 상기 제1 360도 배경 이미지의 상위 레이어(layer) 상에 상기 슬라이드 표시 영역을 배치한다.The display
슬라이드 표시 처리부(118)는 상기 슬라이드 표시 영역 내에 상기 제1 슬라이드가 포함되도록 상기 제1 슬라이드의 형태와 크기를 조절하여 상기 슬라이드 표시 영역을 통해 상기 제1 슬라이드를 표시한다.The
관련해서, 도 2에 도시된 도면을 참조하여 본 발명에 따른 HMD 장치(110)의 동작을 예를 들어 설명하면 다음과 같다.In relation to this, an operation of the
우선, 사용자에 의해 배경 이미지 저장부(111) 상에 저장되어 있는 복수의 360도 배경 이미지들 중 도 2의 도면부호 211로 표시한 제1 360도 배경 이미지(211)에 대한 배경 표시 명령이 인가되면, 배경 이미지 표시부(113)는 디스플레이부를 통해 제1 360도 배경 이미지(211)를 표시할 수 있다.First, a background display command is applied to a first 360
그러고 나서, 사용자에 의해 제1 프레젠테이션 문서를 구성하는 복수의 슬라이드 중 제1 슬라이드가 표시되도록 하는 슬라이드 표시 명령이 인가되면, 정보 추출부(116)는 위치 정보 테이블로부터 제1 360도 배경 이미지(211)에 할당되어 있는 제1 고유 식별 정보에 대응하는 제1 위치 정보를 추출할 수 있고, 영역 정보 테이블로부터 상기 제1 고유 식별 정보에 대응하는 영역의 제1 형태와 크기에 대한 정보를 추출할 수 있다.Then, when a slide display command is applied to cause the first slide to be displayed among the plurality of slides constituting the first presentation document by the user, the
이때, 상기 제1 위치 정보가 도 2의 도면부호 212에 도시된 직사각형의 중점이 위치한 지점에 대한 정보라고 하고, 상기 제1 형태와 크기가 도면부호 212에서 도시된 바와 같은 직사각형 형태와 크기라고 한다면, 표시 영역 배치부(117)는 도면부호 212에 도시된 바와 같은 직사각형 형태와 크기를 갖는 슬라이드 표시 영역(212)을 생성할 수 있고, 상기 디스플레이부를 통해 표시되고 있는 제1 360도 배경 이미지(211) 상의 상기 제1 위치 정보에 대응하는 지점이 슬라이드 표시 영역의 중점이 되도록 제1 360도 배경 이미지(211)의 상위 레이어 상에 슬라이드 표시 영역(212)을 배치할 수 있다.In this case, if the first position information is information on a point where the midpoint of the rectangle shown in 212 of FIG. 2 is located, and the first shape and size are rectangular shapes and sizes as shown in 212. The display
그러고 나서, 슬라이드 표시 처리부(118)는 슬라이드 표시 영역(212) 내에 상기 제1 슬라이드가 포함되도록 상기 제1 슬라이드의 형태와 크기를 조절하여 슬라이드 표시 영역(212)을 통해 상기 제1 슬라이드를 표시할 수 있다.Thereafter, the slide
결국, 본 발명에 따른 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치(110)는 소정의 360도 배경 이미지들 별로 각 배경 이미지에서의 프레젠테이션 문서의 슬라이드가 표시될 위치와 영역에 대한 정보를 서로 다르게 설정해 두고, 특정 배경 이미지가 화면 상에 표시되면, 해당 배경 이미지에 대응하는 위치와 영역 상에 프레젠테이션 문서의 슬라이드를 표시함으로써, HMD 장치(110)의 사용자에게 배경 이미지에 따라 다양한 위치와 영역 상에 슬라이드가 표시되도록 하는 화면 표시 효과를 제공할 수 있다.As a result, the
이때, 본 발명의 일실시예에 따르면, 슬라이드 표시부(114)는 오브젝트 겹침 확인부(119), 기준 크기 확인부(120), 사각 영역 생성부(121) 및 표시 영역 이동부(122)를 더 포함할 수 있다.In this case, according to an embodiment of the present invention, the
오브젝트 겹침 확인부(119)는 표시 영역 배치부(117)를 통해 상기 제1 360도 배경 이미지의 상위 레이어 상에 상기 슬라이드 표시 영역이 배치되는 경우, 상기 제1 360도 배경 이미지 상에 존재하는 적어도 하나의 오브젝트 중 화면 상에서 상기 슬라이드 표시 영역과 겹쳐지는 오브젝트가 존재하는지 여부를 확인한다.When the slide display area is disposed on the upper layer of the first 360 degree background image through the display
기준 크기 확인부(120)는 상기 적어도 하나의 오브젝트 중 제1 오브젝트가 화면 상에서 상기 슬라이드 표시 영역과 겹쳐지는 것으로 확인되면, 상기 제1 오브젝트의 크기가 선정된(predetermined) 기준 크기를 초과하는지 여부를 확인한다.When it is determined that the first object of the at least one object overlaps the slide display area on the screen, the reference
사각 영역 생성부(121)는 상기 제1 오브젝트의 크기가 상기 선정된 기준 크기를 초과하는 것으로 확인되면, 상기 제1 오브젝트의 외곽선을 둘러싸는 가상의 사각 영역을 생성한다.If it is determined that the size of the first object exceeds the predetermined reference size, the blind
표시 영역 이동부(122)는 상기 슬라이드 표시 영역을 현재 지점으로부터 선정된 제1 방향으로 이동시키되, 상기 가상의 사각 영역과 상기 슬라이드 표시 영역 간의 겹침이 발생하지 않는 지점까지 상기 슬라이드 표시 영역을 이동시킨다.The display
이때, 본 발명의 일실시예에 따르면, 슬라이드 표시 처리부(118)는 상기 슬라이드 표시 영역이 상기 가상의 사각 영역과 겹침이 발생하지 않는 지점까지 이동이 완료되면, 이동이 완료된 상기 슬라이드 표시 영역 내에 상기 제1 슬라이드가 포함되도록 상기 제1 슬라이드의 형태와 크기를 조절하여 상기 슬라이드 표시 영역을 통해 상기 제1 슬라이드를 표시할 수 있다.In this case, according to an embodiment of the present invention, when the slide
예컨대, 앞서 도 2를 이용하여 설명한 예와 같이, 표시 영역 배치부(117)를 통해 제1 360도 배경 이미지(211)의 상위 레이어에 슬라이드 표시 영역(212)이 배치되면, 오브젝트 겹침 확인부(119)는 제1 360도 배경 이미지(211) 상에 존재하는 적어도 하나의 오브젝트 중 화면 상에서 슬라이드 표시 영역(212)과 겹쳐지는 오브젝트가 존재하는지 여부를 확인할 수 있다.For example, as shown in the example described with reference to FIG. 2, when the
관련해서, 도면부호 310에 도시된 도면과 같이, 제1 360도 배경 이미지(211) 상에 존재하는 적어도 하나의 오브젝트 중 도면부호 311로 나타낸 바와 같은 별모양의 제1 오브젝트(311)가 화면 상에서 슬라이드 표시 영역(212)과 겹치는 것으로 확인되는 경우, 기준 크기 확인부(120)는 제1 오브젝트(311)의 크기가 선정된 기준 크기를 초과하는지 여부를 확인할 수 있다.In relation to this, as shown in FIG. 310, a star-shaped
만약, 제1 오브젝트(311)의 크기가 상기 선정된 기준 크기를 초과하는 것으로 확인된 경우, 사각 영역 생성부(121)는 도면부호 320에 도시된 도면과 같이, 제1 오브젝트(311)의 외곽선을 둘러싸는 가상의 사각 영역(312)을 생성할 수 있다.If it is determined that the size of the
그러고 나서, 표시 영역 이동부(122)는 슬라이드 표시 영역(212)을 현재 지점으로부터 선정된 제1 방향으로 이동시키되, 가상의 사각 영역(312)과 슬라이드 표시 영역(212) 간의 겹침이 발생하지 않는 지점까지 슬라이드 표시 영역(212)을 이동시킬 수 있다.Thereafter, the display
관련해서, 상기 선정된 제1 방향을 화면 하단 방향이라고 하는 경우, 표시 영역 이동부(122)는 도면부호 320에 도시된 바와 같이, 슬라이드 표시 영역(212)을 현재 지점으로부터 화면 하단 방향으로 이동시키되, 가상의 사각 영역(312)과 슬라이드 표시 영역(212) 간의 겹침이 발생하지 않는 지점까지 슬라이드 표시 영역(212)을 이동시킬 수 있다.In this regard, when the selected first direction is referred to as a screen bottom direction, the display
이렇게, 도면부호 320에 도시된 도면과 같이, 슬라이드 표시 영역(212)이 가상의 사각 영역(312)과 겹침이 발생하지 않는 지점까지 이동이 완료되면, 슬라이드 표시 처리부(118)는 이동이 완료된 슬라이드 표시 영역(212 내에 제1 슬라이드가 포함되도록 상기 제1 슬라이드의 형태와 크기를 조절하여 슬라이드 표시 영역(212)을 통해 상기 제1 슬라이드를 표시할 수 있다.Thus, as shown in the drawing 320, when the
이를 통해, 상기 제1 슬라이드가 제1 360도 배경 이미지(211) 상에 표시되더라도, 제1 오브젝트(311)를 가리지 않기 때문에 사용자는 상기 제1 슬라이드를 보면서 제1 오브젝트(311)도 화면을 통해 정상적으로 볼 수 있다.As a result, even when the first slide is displayed on the first 360
본 발명의 일실시예에 따르면, VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치(110)는 지점 고정 테이블 유지부(123)를 더 포함할 수 있다.According to an embodiment of the present invention, the
지점 고정 테이블 유지부(123)는 상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들 별로 사용자의 시선 변화에 따라 프레젠테이션 문서를 구성하는 슬라이드가 표시되는 지점의 변경여부에 대한 정보가 기록되어 있는 지점 고정 테이블을 저장하여 유지한다.The fixed point
이때, 슬라이드 표시부(114)는 표시 지점 변경 정보 추출부(124), 표시 영역 이동 처리부(125) 및 표시 영역 고정부(126)를 더 포함할 수 있다.In this case, the
표시 지점 변경 정보 추출부(124)는 상기 디스플레이부를 통해 상기 제1 360도 배경 이미지와 상기 제1 슬라이드가 표시되는 상태에서 HMD 장치(110)에 탑재되어 있는 움직임 감지 센서를 통해 HMD 장치(110)를 착용한 사용자의 머리 움직임이 감지됨에 따라 그에 대응하는 사용자의 시선 변화가 발생하는 경우, 상기 지점 고정 테이블로부터 상기 제1 고유 식별 정보에 대응되어 기록되어 있는 슬라이드 표시 지점의 변경여부에 대한 정보를 추출한다.The display point change
이때, 상기 지점 고정 테이블 상에서 상기 제1 고유 식별 정보에 대해 슬라이드 표시 지점이 변경되도록 하는 정보가 기록되어 있음으로 인해, 상기 지점 고정 테이블로부터 사용자의 시선 변화에 따라 슬라이드 표시 지점이 변경되도록 하는 정보가 추출된 경우, 표시 영역 이동 처리부(125)는 HMD 장치(110)를 착용한 사용자의 시선 변화에 대응하여 상기 디스플레이부를 통해 표시되는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점에 상기 제1 슬라이드가 표시되도록 상기 슬라이드 표시 영역을 이동시킨다.In this case, since information for changing the slide display point is recorded with respect to the first unique identification information on the point fixing table, information for changing the slide display point according to the user's gaze changes from the point fixing table. When extracted, the display area
즉, 사용자가 머리를 오른쪽 또는 왼쪽으로 이동시킴에 따라 사용자의 시선 변화가 발생하는 경우, HMD 장치(110)는 상기 제1 360도 배경 이미지를 사용자의 시선 변화에 대응되는 화면으로 표시할 수 있는데, 이때, 상기 지점 고정 테이블 상 상기 제1 고유 식별 정보에 대해서 슬라이드 표시 지점이 변경되도록 하는 정보가 대응되어 기록되어 있다면, 표시 영역 이동 처리부(125)는 사용자의 시선 변화에 대응하여 사용자가 항상 상기 제1 360도 배경 이미지의 상기 제1 위치 정보에 따른 지점 상에서 상기 제1 슬라이드를 볼 수 있도록 상기 슬라이드 표시 영역을 상기 사용자의 시선 변화에 대응시켜 함께 이동시킬 수 있다.That is, when the user's gaze change occurs as the user moves the head to the right or left, the
이를 통해, 사용자는 시선을 변경하는 경우, 해당 시선 변경에 대응하는 지점의 제1 360도 배경 이미지를 볼 수 있음과 동시에 항상 해당 배경 이미지의 동일 위치의 지점에서 상기 제1 슬라이드를 볼 수 있다.In this way, when the user changes his gaze, the user may view the first 360 degree background image of the point corresponding to the corresponding gaze change and may always see the first slide at the same position of the background image.
하지만, 상기 지점 고정 테이블 상에서 상기 제1 고유 식별 정보에 대해 슬라이드 표시 지점이 변경되지 않도록 하는 정보가 기록되어 있음으로 인해, 상기 지점 고정 테이블로부터 사용자의 시선 변화에 따라 슬라이드 표시 지점이 변경되지 않도록 하는 정보가 추출된 경우, 표시 영역 고정부(126)는 HMD 장치(110)를 착용한 사용자의 시선 변화가 발생하더라도 시선 변화가 발생하기 이전에 상기 제1 슬라이드가 표시되고 있던 지점 상에 상기 제1 슬라이드가 계속 표시되도록 상기 슬라이드 표시 영역의 이동을 수행하지 않는다.However, since information for recording the slide display point does not change with respect to the first unique identification information on the point fixing table, the slide display point does not change according to the user's gaze change from the point fixing table. When the information is extracted, the display
즉, 사용자가 머리를 오른쪽 또는 왼쪽으로 이동시킴에 따라 사용자의 시선 변화가 발생하는 경우, HMD 장치(110)는 상기 제1 360도 배경 이미지를 사용자의 시선 변화에 대응되는 화면으로 표시할 수 있는데, 이때, 상기 지점 고정 테이블 상 상기 제1 고유 식별 정보에 대해서 슬라이드 표시 지점이 변경되지 않도록 하는 정보가 대응되어 기록되어 있다면, 표시 영역 고정부(126)는 사용자의 시선 변화와 무관하게 항상 상기 제1 슬라이드가 최초로 표시된 지점에서 표시되도록 표시 지점을 고정시킨다.That is, when the user's gaze change occurs as the user moves the head to the right or left, the
이로 인해, 사용자는 시선을 변경시키는 경우, 해당 시선 변경에 대응하는 지점의 제1 360도 배경 이미지를 볼 수 있지만, 상기 제1 슬라이드는 변경된 시선 방향에서 볼 수가 없고, 상기 제1 슬라이드를 보고 싶다면, 원래 상기 제1 슬라이드가 표시되고 있는 지점으로 시선을 다시 이동시켜야 한다.Thus, when the user changes his gaze, the user may see the first 360 degree background image of the point corresponding to the gaze change, but the first slide cannot be viewed in the changed gaze direction, and the user wants to see the first slide. In this case, the eyes should be moved back to the point where the first slide is originally displayed.
본 발명의 일실시예에 따르면, 배경 이미지 표시부(113)는 상기 디스플레이부를 통해 상기 제1 360도 배경 이미지와 상기 제1 슬라이드가 표시되는 상태에서 상기 제1 360도 배경 이미지가 제2 360도 배경 이미지로 대체되어 표시되도록 하는 배경 표시 대체 명령이 인가되면, 배경 이미지 저장부(111)로부터 상기 제2 360도 배경 이미지를 추출하여 상기 디스플레이부를 통해 표시할 수 있다.According to an embodiment of the present invention, the background
이때, 슬라이드 표시부(114)는 상기 디스플레이부를 통해 상기 제1 360도 배경 이미지가 상기 제2 360도 배경 이미지로 대체되어 표시되더라도 상기 제1 위치 정보에 대응하는 지점에서의 상기 제1 슬라이드에 대한 표시 상태를 유지하며, 그 이후 상기 제1 슬라이드가 제2 슬라이드로 변경되도록 하는 슬라이드 변경 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제2 360도 배경 이미지에 할당되어 있는 제2 고유 식별 정보에 대응하는 제2 위치 정보를 추출하여 상기 디스플레이부를 통해 표시되고 있는 상기 제2 360도 배경 이미지 상의 상기 제2 위치 정보에 대응하는 지점에 대해 상기 제2 슬라이드를 표시할 수 있다.In this case, the
즉, 화면 상에 상기 제1 360도 배경 이미지와 상기 제1 슬라이드가 표시되고 있는 상태에서 사용자에 의해 상기 제2 360도 배경 이미지로 배경 이미지를 변경해서 표시하라는 명령이 인가되면, 배경 이미지 표시부(113)는 배경 이미지 저장부(111)로부터 상기 제2 360도 배경 이미지를 추출해서 화면 상에 표시하게 되지만, 슬라이드 표시부(114)는 상기 제2 360도 배경 이미지가 화면 상에 표시되더라도 상기 제1 슬라이드가 표시되는 지점에 대한 변경을 수행하지 않을 수 있다.That is, when a command to change the background image to the second 360 degree background image is applied by the user while the first 360 degree background image and the first slide are displayed on the screen, the background image display unit ( 113 extracts the second 360-degree background image from the
이는 사용자가 배경 이미지를 변경하더라도 슬라이드에 대한 변경이 발생하지 않는다면, 슬라이드를 보는 것에 대한 연속성을 유지하기 위함이다. 그 이후, 사용자에 의해 상기 제1 슬라이드에서 상기 제2 슬라이드로의 슬라이드 변경 명령이 인가되면, 슬라이드 표시부(114)는 상기 제2 360도 배경 이미지에 따른 위치 정보에 대응하는 지점에 상기 제2 슬라이드를 위치시켜서 표시할 수 있다.This is to maintain continuity for viewing the slide if the user does not change the slide even if the user changes the background image. Thereafter, when a slide change command is applied from the first slide to the second slide by the user, the
도 4는 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법을 도시한 순서도이다.4 is a flowchart illustrating a method of operating an HMD device capable of outputting a VR-based presentation document according to an embodiment of the present invention.
단계(S410)에서는 상기 HMD 장치에서 VR 기반의 영상 표시가 가능하도록 제작된 복수의 360도 배경 이미지들(상기 복수의 360도 배경 이미지들에는 서로 다른 고유 식별 정보가 할당되어 있음)이 저장되어 있는 배경 이미지 저장부를 유지한다.In step S410, a plurality of 360-degree background images (the different unique identification information is assigned to the 360-degree background images) which are prepared to display a VR-based image in the HMD device are stored. Maintain background image storage.
단계(S420)에서는 상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들에서의 프레젠테이션 문서를 구성하는 슬라이드가 표시될 지점에 대한 서로 다른 위치 정보가 대응되어 기록되어 있는 위치 정보 테이블을 저장하여 유지한다.In step S420, position information in which different positional information about a point at which a slide constituting a presentation document in each of the background images is displayed is recorded with respect to the unique identification information of each of the plurality of 360-degree background images. Save and maintain the table.
단계(S430)에서는 상기 복수의 360도 배경 이미지들 중 제1 360도 배경 이미지가 상기 HMD 장치를 통해 표시되도록 하는 배경 표시 명령이 인가되면, 상기 배경 이미지 저장부로부터 상기 제1 360도 배경 이미지를 추출하여 상기 HMD 장치의 디스플레이부를 통해 상기 제1 360도 배경 이미지를 표시한다.In operation S430, when a background display command for displaying a first 360 degree background image of the plurality of 360 degree background images is displayed through the HMD device, the first 360 degree background image is received from the background image storage unit. Extracting and displaying the first 360 degree background image through the display unit of the HMD device.
단계(S440)에서는 제1 프레젠테이션 문서를 구성하는 복수의 슬라이드들 중 제1 슬라이드가 상기 HMD 장치를 통해 표시되도록 하는 슬라이드 표시 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제1 360도 배경 이미지에 할당되어 있는 제1 고유 식별 정보에 대응하는 제1 위치 정보를 추출하여 상기 디스플레이부를 통해 표시되고 있는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점에 대해 상기 제1 슬라이드를 표시한다.In operation S440, when a slide display command is applied to display the first slide among the plurality of slides constituting the first presentation document through the HMD device, the position information is allocated to the first 360 degree background image from the location information table. Extracting first location information corresponding to the first unique identification information, and displaying the first slide at a point corresponding to the first location information on the first 360 degree background image displayed through the display unit; .
이때, 본 발명의 일실시예에 따르면, 상기 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법은 상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들에서의 프레젠테이션 문서를 구성하는 슬라이드가 표시될 서로 다른 영역의 형태와 크기에 대한 정보가 기록되어 있는 영역 정보 테이블을 저장하여 유지하는 단계를 더 포함할 수 있다.In this case, according to an embodiment of the present invention, the operation method of the HMD device capable of outputting the VR-based presentation document is a presentation document in each of the background image for the unique identification information of each of the plurality of 360-degree background image The method may further include storing and maintaining an area information table in which information on shapes and sizes of different areas in which slides constituting a slide are to be displayed is recorded.
이때, 단계(S440)에서는 상기 제1 프레젠테이션 문서를 구성하는 복수의 슬라이드들 중 상기 제1 슬라이드가 상기 HMD 장치를 통해 표시되도록 하는 슬라이드 표시 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제1 360도 배경 이미지에 할당되어 있는 상기 제1 고유 식별 정보에 대응하는 상기 제1 위치 정보를 추출하고, 상기 영역 정보 테이블로부터 상기 제1 고유 식별 정보에 대응하는 영역의 제1 형태와 크기에 대한 정보를 추출하는 단계, 상기 제1 형태와 크기에 대응하는 슬라이드 표시 영역을 생성하고, 상기 디스플레이부를 통해 표시되고 있는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점이 상기 슬라이드 표시 영역의 중점이 되도록 상기 제1 360도 배경 이미지의 상위 레이어 상에 상기 슬라이드 표시 영역을 배치하는 단계 및 상기 슬라이드 표시 영역 내에 상기 제1 슬라이드가 포함되도록 상기 제1 슬라이드의 형태와 크기를 조절하여 상기 슬라이드 표시 영역을 통해 상기 제1 슬라이드가 표시되도록 처리하는 단계를 포함할 수 있다.At this time, in step S440, if a slide display command is applied to display the first slide among the plurality of slides constituting the first presentation document through the HMD device, the first 360 degrees from the position information table. Extracting the first location information corresponding to the first unique identification information assigned to the background image, and extracting information about the first shape and size of the area corresponding to the first unique identification information from the area information table. Generating a slide display area corresponding to the first shape and size, and a point corresponding to the first position information on the first 360 degree background image displayed through the display unit is a midpoint of the slide display area. Disposing the slide display area on an upper layer of the first 360 degree background image And adjusting the shape and size of the first slide to include the first slide in the slide display area so that the first slide is displayed through the slide display area.
이때, 본 발명의 일실시예에 따르면, 단계(S440)에서는 상기 제1 360도 배경 이미지의 상위 레이어 상에 상기 슬라이드 표시 영역이 배치되는 경우, 상기 제1 360도 배경 이미지 상에 존재하는 적어도 하나의 오브젝트 중 화면 상에서 상기 슬라이드 표시 영역과 겹쳐지는 오브젝트가 존재하는지 여부를 확인하는 단계, 상기 적어도 하나의 오브젝트 중 제1 오브젝트가 화면 상에서 상기 슬라이드 표시 영역과 겹쳐지는 것으로 확인되면, 상기 제1 오브젝트의 크기가 선정된 기준 크기를 초과하는지 여부를 확인하는 단계, 상기 제1 오브젝트의 크기가 상기 선정된 기준 크기를 초과하는 것으로 확인되면, 상기 제1 오브젝트의 외곽선을 둘러싸는 가상의 사각 영역을 생성하는 단계 및 상기 슬라이드 표시 영역을 현재 지점으로부터 선정된 제1 방향으로 이동시키되, 상기 가상의 사각 영역과 상기 슬라이드 표시 영역 간의 겹침이 발생하지 않는 지점까지 상기 슬라이드 표시 영역을 이동시키는 단계를 더 포함할 수 있다.In this case, according to an embodiment of the present invention, when the slide display area is disposed on the upper layer of the first 360 degree background image, in operation S440, at least one present on the first 360 degree background image. Checking whether an object overlapping with the slide display area exists on the screen among objects of the object; if it is determined that a first object among the at least one object overlaps with the slide display area on the screen, Checking whether the size exceeds a predetermined reference size, and if it is determined that the size of the first object exceeds the predetermined reference size, generating a virtual rectangular area surrounding an outline of the first object. And moving the slide display area in a predetermined first direction from a current point. The method may further include moving the slide display area to a point where an overlap between the virtual rectangular area and the slide display area does not occur.
이때, 상기 제1 슬라이드가 표시되도록 처리하는 단계는 상기 슬라이드 표시 영역이 상기 가상의 사각 영역과 겹침이 발생하지 않는 지점까지 이동이 완료되면, 이동이 완료된 상기 슬라이드 표시 영역 내에 상기 제1 슬라이드가 포함되도록 상기 제1 슬라이드의 형태와 크기를 조절하여 상기 슬라이드 표시 영역을 통해 상기 제1 슬라이드가 표시되도록 처리할 수 있다.In this case, the processing of displaying the first slide may include the first slide being included in the slide display area where the movement is completed when the movement of the slide display area is completed to a point where the virtual rectangular area does not overlap. The shape and size of the first slide may be adjusted so as to display the first slide through the slide display area.
또한, 본 발명의 일실시예에 따르면, 상기 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법은 상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들 별로 사용자의 시선 변화에 따라 프레젠테이션 문서를 구성하는 슬라이드가 표시되는 지점의 변경여부에 대한 정보가 기록되어 있는 지점 고정 테이블을 저장하여 유지하는 단계, 상기 디스플레이부를 통해 상기 제1 360도 배경 이미지와 상기 제1 슬라이드가 표시되는 상태에서 상기 HMD 장치에 탑재되어 있는 움직임 감지 센서를 통해 상기 HMD 장치를 착용한 사용자의 머리 움직임이 감지됨에 따라 그에 대응하는 사용자의 시선 변화가 발생하는 경우, 상기 지점 고정 테이블로부터 상기 제1 고유 식별 정보에 대응되어 기록되어 있는 슬라이드 표시 지점의 변경여부에 대한 정보를 추출하는 단계, 상기 지점 고정 테이블 상에서 상기 제1 고유 식별 정보에 대해 슬라이드 표시 지점이 변경되도록 하는 정보가 기록되어 있음으로 인해, 상기 지점 고정 테이블로부터 사용자의 시선 변화에 따라 슬라이드 표시 지점이 변경되도록 하는 정보가 추출된 경우, 상기 HMD 장치를 착용한 사용자의 시선 변화에 대응하여 상기 디스플레이부를 통해 표시되는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점에 상기 제1 슬라이드가 표시되도록 상기 슬라이드 표시 영역을 이동시키는 단계 및 상기 지점 고정 테이블 상에서 상기 제1 고유 식별 정보에 대해 슬라이드 표시 지점이 변경되지 않도록 하는 정보가 기록되어 있음으로 인해, 상기 지점 고정 테이블로부터 사용자의 시선 변화에 따라 슬라이드 표시 지점이 변경되지 않도록 하는 정보가 추출된 경우, 상기 HMD 장치를 착용한 사용자의 시선 변화가 발생하더라도 시선 변화가 발생하기 이전에 상기 제1 슬라이드가 표시되고 있던 지점 상에 상기 제1 슬라이드가 계속 표시되도록 상기 슬라이드 표시 영역의 이동을 수행하지 않는 단계를 더 포함할 수 있다.In addition, according to an embodiment of the present invention, the operation method of the HMD device capable of outputting the VR-based presentation document gaze of the user for each background image for the unique identification information of each of the plurality of 360-degree background image Storing and maintaining a point fixing table in which information on whether a slide forming a presentation document is changed according to a change is recorded and stored; storing the first 360 degree background image and the first slide through the display unit In the displayed state, when the head movement of the user wearing the HMD device is detected through a motion sensor mounted on the HMD device, a change in the line of sight of the user corresponding thereto is generated. The edge of the slide display point recorded corresponding to the unique identification information Extracting information on whether the slide display point is changed with respect to the first unique identification information on the fixed point table, and displaying the slide according to the user's gaze change from the fixed point table. When the information for changing the point is extracted, the point corresponding to the first location information on the first 360 degree background image displayed through the display unit in response to a change in the line of sight of the user wearing the HMD device is applied to the point. Moving the slide display area so that the first slide is displayed; and information for preventing the slide display point from being changed with respect to the first unique identification information on the point fixing table is recorded. Display slides according to the line of sight When the information to prevent the point from being changed is extracted, even if there is a change in the line of sight of the user wearing the HMD device, the first slide is continuously displayed on the point where the first slide was displayed before the line of sight change occurred. The method may further include not moving the slide display area.
또한, 본 발명의 일실시예에 따르면, 상기 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법은 상기 디스플레이부를 통해 상기 제1 360도 배경 이미지와 상기 제1 슬라이드가 표시되는 상태에서 상기 제1 360도 배경 이미지가 제2 360도 배경 이미지로 대체되어 표시되도록 하는 배경 표시 대체 명령이 인가되면, 상기 배경 이미지 저장부로부터 상기 제2 360도 배경 이미지를 추출하여 상기 디스플레이부를 통해 표시하는 단계 및 상기 디스플레이부를 통해 상기 제1 360도 배경 이미지가 상기 제2 360도 배경 이미지로 대체되어 표시되더라도 상기 제1 위치 정보에 대응하는 지점에서의 상기 제1 슬라이드에 대한 표시 상태를 유지하고, 그 이후 상기 제1 슬라이드가 제2 슬라이드로 변경되도록 하는 슬라이드 변경 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제2 360도 배경 이미지에 할당되어 있는 제2 고유 식별 정보에 대응하는 제2 위치 정보를 추출하여 상기 디스플레이부를 통해 표시되고 있는 상기 제2 360도 배경 이미지 상의 상기 제2 위치 정보에 대응하는 지점에 대해 상기 제2 슬라이드를 표시하는 단계를 더 포함할 수 있다.In addition, according to an embodiment of the present invention, the operation method of the HMD device capable of outputting the VR-based presentation document is the first 360-degree background image and the first slide in the state that the first slide is displayed on the display unit; 1, if a background display replacement command is applied to replace the 360 degree background image with a second 360 degree background image, extracting the second 360 degree background image from the background image storage unit and displaying the second 360 degree background image on the display unit; and Even when the first 360 degree background image is replaced with the second 360 degree background image through the display unit, the display state of the first slide at the point corresponding to the first position information is maintained, and then the If the slide change command is applied to change the first slide to the second slide, Extracting second position information corresponding to second unique identification information allocated to the second 360 degree background image from a table and corresponding to the second position information on the second 360 degree background image displayed through the display unit. The method may further include displaying the second slide with respect to the point.
이상, 도 4를 참조하여 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법은 도 1 내지 도 3을 이용하여 설명한 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.The operating method of the HMD device capable of outputting the VR-based presentation document according to an embodiment of the present invention has been described above with reference to FIG. 4. Here, the operation method of the HMD device capable of outputting the VR-based presentation document according to an embodiment of the present invention is the operation of the
본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.The operating method of the HMD device capable of outputting a VR-based presentation document according to an embodiment of the present invention may be implemented as a computer program stored in a storage medium for execution by combining with a computer.
또한, 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. In addition, the operating method of the HMD device capable of outputting the VR-based presentation document according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations are possible from these descriptions.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and all the things that are equivalent to or equivalent to the claims as well as the following claims will belong to the scope of the present invention. .
110: VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치
111: 배경 이미지 저장부 112: 위치 정보 테이블 유지부
113: 배경 이미지 표시부 114: 슬라이드 표시부
115: 영역 정보 테이블 유지부 116: 정보 추출부
117: 표시 영역 배치부 118: 슬라이드 표시 처리부
119: 오브젝트 겹침 확인부 120: 기준 크기 확인부
121: 사각 영역 생성부 122: 표시 영역 이동부
123: 지점 고정 테이블 유지부 124: 표시 지점 변경 정보 추출부
125: 표시 영역 이동 처리부 126: 표시 영역 고정부110: HMD device capable of outputting a VR-based presentation document
111: background image storing unit 112: location information table holding unit
113: background image display unit 114: slide display unit
115: area information table holding unit 116: information extraction unit
117: display area arrangement unit 118: slide display processing unit
119: object overlap check unit 120: reference size check unit
121: blind area generating unit 122: display area moving unit
123: fixed point table holding unit 124: display point change information extraction unit
125: display area moving processing unit 126: display area fixing unit
Claims (12)
상기 HMD 장치에서 VR 기반의 영상 표시가 가능하도록 제작된 복수의 360도 배경 이미지들 - 상기 복수의 360도 배경 이미지들에는 서로 다른 고유 식별 정보가 할당되어 있음 - 이 저장되어 있는 배경 이미지 저장부;
상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들에서의 프레젠테이션 문서를 구성하는 슬라이드가 표시될 지점에 대한 서로 다른 위치 정보가 대응되어 기록되어 있는 위치 정보 테이블을 저장하여 유지하는 위치 정보 테이블 유지부;
상기 복수의 360도 배경 이미지들 중 제1 360도 배경 이미지가 상기 HMD 장치를 통해 표시되도록 하는 배경 표시 명령이 인가되면, 상기 배경 이미지 저장부로부터 상기 제1 360도 배경 이미지를 추출하여 상기 HMD 장치의 디스플레이부를 통해 상기 제1 360도 배경 이미지를 표시하는 배경 이미지 표시부; 및
제1 프레젠테이션 문서를 구성하는 복수의 슬라이드들 중 제1 슬라이드가 상기 HMD 장치를 통해 표시되도록 하는 슬라이드 표시 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제1 360도 배경 이미지에 할당되어 있는 제1 고유 식별 정보에 대응하는 제1 위치 정보를 추출하여 상기 디스플레이부를 통해 표시되고 있는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점에 대해 상기 제1 슬라이드를 표시하는 슬라이드 표시부
를 포함하는 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치.In the head mounted display (HMD) device capable of outputting a presentation document based on virtual reality (VR),
A background image storage unit configured to store a plurality of 360 degree background images, wherein the plurality of 360 degree background images are assigned different unique identification information, the VR image being displayed in the HMD device;
Stores and maintains a location information table in which different location information for a point at which a slide constituting a presentation document in each of the background images is correspondingly recorded is recorded with respect to the unique identification information of each of the plurality of 360 degree background images. A position information table holding unit;
If a background display command for displaying a first 360 degree background image of the plurality of 360 degree background images through the HMD device is applied, the HMD device is extracted by extracting the first 360 degree background image from the background image storage unit. A background image display unit displaying the first 360 degree background image through a display unit of the display unit; And
When a slide display command for displaying a first slide among a plurality of slides constituting a first presentation document is applied through the HMD device, a first uniqueness assigned to the first 360 degree background image from the location information table is applied. A slide display unit extracting first position information corresponding to identification information and displaying the first slide at a point corresponding to the first position information on the first 360 degree background image displayed through the display unit.
HMD device capable of outputting a VR-based presentation document comprising a.
상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들에서의 프레젠테이션 문서를 구성하는 슬라이드가 표시될 서로 다른 영역의 형태와 크기에 대한 정보가 기록되어 있는 영역 정보 테이블을 저장하여 유지하는 영역 정보 테이블 유지부
를 더 포함하고,
상기 슬라이드 표시부는
상기 제1 프레젠테이션 문서를 구성하는 복수의 슬라이드들 중 상기 제1 슬라이드가 상기 HMD 장치를 통해 표시되도록 하는 슬라이드 표시 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제1 360도 배경 이미지에 할당되어 있는 상기 제1 고유 식별 정보에 대응하는 상기 제1 위치 정보를 추출하고, 상기 영역 정보 테이블로부터 상기 제1 고유 식별 정보에 대응하는 영역의 제1 형태와 크기에 대한 정보를 추출하는 정보 추출부;
상기 제1 형태와 크기에 대응하는 슬라이드 표시 영역을 생성하고, 상기 디스플레이부를 통해 표시되고 있는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점이 상기 슬라이드 표시 영역의 중심점이 되도록 상기 제1 360도 배경 이미지의 상위 레이어(layer) 상에 상기 슬라이드 표시 영역을 배치하는 표시 영역 배치부; 및
상기 슬라이드 표시 영역 내에 상기 제1 슬라이드가 포함되도록 상기 제1 슬라이드의 형태와 크기를 조절하여 상기 슬라이드 표시 영역을 통해 상기 제1 슬라이드를 표시하는 슬라이드 표시 처리부
를 포함하는 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치.The method of claim 1,
An area information table storing information on the shape and size of different areas in which slides constituting the presentation document in each of the background images are to be stored for the unique identification information of each of the plurality of 360 degree background images. Area information table holder to keep
More,
The slide display unit
When a slide display command is applied to display the first slide among the plurality of slides constituting the first presentation document through the HMD device, the position information assigned to the first 360 degree background image from the location information table is applied. An information extraction unit for extracting the first location information corresponding to the first unique identification information and extracting information about a first shape and size of an area corresponding to the first unique identification information from the area information table;
The slide display area corresponding to the first shape and size is generated, and the point corresponding to the first position information on the first 360 degree background image displayed through the display unit is the center point of the slide display area. A display area arranging unit for arranging the slide display area on an upper layer of a first 360 degree background image; And
A slide display processor configured to display the first slide through the slide display area by adjusting the shape and size of the first slide to include the first slide in the slide display area.
HMD device capable of outputting a VR-based presentation document comprising a.
상기 슬라이드 표시부는
상기 제1 360도 배경 이미지의 상위 레이어 상에 상기 슬라이드 표시 영역이 배치되는 경우, 상기 제1 360도 배경 이미지 상에 존재하는 적어도 하나의 오브젝트 중 화면 상에서 상기 슬라이드 표시 영역과 겹쳐지는 오브젝트가 존재하는지 여부를 확인하는 오브젝트 겹침 확인부;
상기 적어도 하나의 오브젝트 중 제1 오브젝트가 화면 상에서 상기 슬라이드 표시 영역과 겹쳐지는 것으로 확인되면, 상기 제1 오브젝트의 크기가 선정된(predetermined) 기준 크기를 초과하는지 여부를 확인하는 기준 크기 확인부;
상기 제1 오브젝트의 크기가 상기 선정된 기준 크기를 초과하는 것으로 확인되면, 상기 제1 오브젝트의 외곽선을 둘러싸는 가상의 사각 영역을 생성하는 사각 영역 생성부; 및
상기 슬라이드 표시 영역을 현재 지점으로부터 선정된 제1 방향으로 이동시키되, 상기 가상의 사각 영역과 상기 슬라이드 표시 영역 간의 겹침이 발생하지 않는 지점까지 상기 슬라이드 표시 영역을 이동시키는 표시 영역 이동부
를 더 포함하고,
상기 슬라이드 표시 처리부는
상기 슬라이드 표시 영역이 상기 가상의 사각 영역과 겹침이 발생하지 않는 지점까지 이동이 완료되면, 이동이 완료된 상기 슬라이드 표시 영역 내에 상기 제1 슬라이드가 포함되도록 상기 제1 슬라이드의 형태와 크기를 조절하여 상기 슬라이드 표시 영역을 통해 상기 제1 슬라이드를 표시하는 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치.The method of claim 2,
The slide display unit
When the slide display area is disposed on an upper layer of the first 360 degree background image, whether an object overlapping the slide display area exists on a screen among at least one object existing on the first 360 degree background image. Object overlap check unit for checking whether or not;
A reference size checking unit checking whether a size of the first object exceeds a predetermined reference size when it is determined that a first object of the at least one object overlaps the slide display area on a screen;
A blind spot generator configured to generate a virtual blind spot surrounding an outline of the first object when it is determined that the size of the first object exceeds the predetermined reference size; And
A display area moving unit which moves the slide display area to a predetermined first direction from a current point, and moves the slide display area to a point where an overlap between the virtual rectangular area and the slide display area does not occur;
More,
The slide display processing unit
When the slide display area is moved to a point where the virtual rectangular area does not overlap, the shape and size of the first slide are adjusted to include the first slide in the slide display area where the movement is completed. An HMD device capable of outputting a VR-based presentation document displaying the first slide through a slide display area.
상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들 별로 사용자의 시선 변화에 따라 프레젠테이션 문서를 구성하는 슬라이드가 표시되는 지점의 변경여부에 대한 정보가 기록되어 있는 지점 고정 테이블을 저장하여 유지하는 지점 고정 테이블 유지부
를 더 포함하고,
상기 슬라이드 표시부는
상기 디스플레이부를 통해 상기 제1 360도 배경 이미지와 상기 제1 슬라이드가 표시되는 상태에서 상기 HMD 장치에 탑재되어 있는 움직임 감지 센서를 통해 상기 HMD 장치를 착용한 사용자의 머리 움직임이 감지됨에 따라 그에 대응하는 사용자의 시선 변화가 발생하는 경우, 상기 지점 고정 테이블로부터 상기 제1 고유 식별 정보에 대응되어 기록되어 있는 슬라이드 표시 지점의 변경여부에 대한 정보를 추출하는 표시 지점 변경 정보 추출부;
상기 지점 고정 테이블 상에서 상기 제1 고유 식별 정보에 대해 슬라이드 표시 지점이 변경되도록 하는 정보가 기록되어 있음으로 인해, 상기 지점 고정 테이블로부터 사용자의 시선 변화에 따라 슬라이드 표시 지점이 변경되도록 하는 정보가 추출된 경우, 상기 HMD 장치를 착용한 사용자의 시선 변화에 대응하여 상기 디스플레이부를 통해 표시되는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점에 상기 제1 슬라이드가 표시되도록 상기 슬라이드 표시 영역을 이동시키는 표시 영역 이동 처리부; 및
상기 지점 고정 테이블 상에서 상기 제1 고유 식별 정보에 대해 슬라이드 표시 지점이 변경되지 않도록 하는 정보가 기록되어 있음으로 인해, 상기 지점 고정 테이블로부터 사용자의 시선 변화에 따라 슬라이드 표시 지점이 변경되지 않도록 하는 정보가 추출된 경우, 상기 HMD 장치를 착용한 사용자의 시선 변화가 발생하더라도 시선 변화가 발생하기 이전에 상기 제1 슬라이드가 표시되고 있던 지점 상에 상기 제1 슬라이드가 계속 표시되도록 상기 슬라이드 표시 영역의 이동을 수행하지 않는 표시 영역 고정부
를 더 포함하는 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치.The method of claim 2,
A fixed point table for recording unique information of each of the plurality of 360-degree background images in which information about a change of a point at which a slide constituting the presentation document is displayed according to a change in the user's gaze is recorded for each background image; Fixed table holder for storing and maintaining
More,
The slide display unit
As the first 360 degree background image and the first slide are displayed through the display unit, a head motion of a user wearing the HMD device is detected through a motion sensor mounted on the HMD device. A display point change information extracting unit for extracting information on whether or not to change a slide display point recorded corresponding to the first unique identification information from the point fixing table when a user's gaze change occurs;
Since information for changing the slide display point is recorded with respect to the first unique identification information on the point fixing table, information for causing the slide display point to be changed according to the user's gaze change is extracted from the point fixing table. In this case, the slide display area such that the first slide is displayed at a point corresponding to the first position information on the first 360 degree background image displayed through the display unit in response to a change in the line of sight of the user wearing the HMD device. A display area moving processor for moving the display area; And
Since information for preventing the slide display point from being changed with respect to the first unique identification information is recorded on the point fixing table, information for preventing the slide display point from changing according to the user's gaze changes from the point fixing table. When extracted, the slide display area may be moved so that the first slide is continuously displayed on the point where the first slide was being displayed before the gaze change occurs even when the gaze change of the user wearing the HMD device occurs. Display area fixtures that do not perform
HMD device capable of outputting a VR-based presentation document further comprising.
상기 배경 이미지 표시부는
상기 디스플레이부를 통해 상기 제1 360도 배경 이미지와 상기 제1 슬라이드가 표시되는 상태에서 상기 제1 360도 배경 이미지가 제2 360도 배경 이미지로 대체되어 표시되도록 하는 배경 표시 대체 명령이 인가되면, 상기 배경 이미지 저장부로부터 상기 제2 360도 배경 이미지를 추출하여 상기 디스플레이부를 통해 표시하고,
상기 슬라이드 표시부는
상기 디스플레이부를 통해 상기 제1 360도 배경 이미지가 상기 제2 360도 배경 이미지로 대체되어 표시되더라도 상기 제1 위치 정보에 대응하는 지점에서의 상기 제1 슬라이드에 대한 표시 상태를 유지하며, 그 이후 상기 제1 슬라이드가 제2 슬라이드로 변경되도록 하는 슬라이드 변경 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제2 360도 배경 이미지에 할당되어 있는 제2 고유 식별 정보에 대응하는 제2 위치 정보를 추출하여 상기 디스플레이부를 통해 표시되고 있는 상기 제2 360도 배경 이미지 상의 상기 제2 위치 정보에 대응하는 지점에 대해 상기 제2 슬라이드를 표시하는 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치.The method of claim 1,
The background image display unit
When a background display replacement command is applied to the first 360-degree background image is replaced with a second 360-degree background image while the first 360-degree background image and the first slide are displayed through the display unit. Extracting the second 360 degree background image from the background image storage unit and displaying the second 360 degree background image through the display unit;
The slide display unit
Even when the first 360 degree background image is replaced with the second 360 degree background image through the display unit, the display state of the first slide at the point corresponding to the first position information is maintained, and then the When a slide change command is applied to change the first slide to the second slide, the second position information corresponding to the second unique identification information assigned to the second 360 degree background image is extracted from the position information table, and the second position information is extracted. An HMD device capable of outputting a VR-based presentation document displaying the second slide at a point corresponding to the second position information on the second 360 degree background image displayed through a display unit.
상기 HMD 장치에서 VR 기반의 영상 표시가 가능하도록 제작된 복수의 360도 배경 이미지들 - 상기 복수의 360도 배경 이미지들에는 서로 다른 고유 식별 정보가 할당되어 있음 - 이 저장되어 있는 배경 이미지 저장부를 유지하는 단계;
상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들에서의 프레젠테이션 문서를 구성하는 슬라이드가 표시될 지점에 대한 서로 다른 위치 정보가 대응되어 기록되어 있는 위치 정보 테이블을 저장하여 유지하는 단계;
상기 복수의 360도 배경 이미지들 중 제1 360도 배경 이미지가 상기 HMD 장치를 통해 표시되도록 하는 배경 표시 명령이 인가되면, 상기 배경 이미지 저장부로부터 상기 제1 360도 배경 이미지를 추출하여 상기 HMD 장치의 디스플레이부를 통해 상기 제1 360도 배경 이미지를 표시하는 단계; 및
제1 프레젠테이션 문서를 구성하는 복수의 슬라이드들 중 제1 슬라이드가 상기 HMD 장치를 통해 표시되도록 하는 슬라이드 표시 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제1 360도 배경 이미지에 할당되어 있는 제1 고유 식별 정보에 대응하는 제1 위치 정보를 추출하여 상기 디스플레이부를 통해 표시되고 있는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점에 대해 상기 제1 슬라이드를 표시하는 단계
를 포함하는 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법.In the operating method of the head mounted display (HMD) device capable of outputting a presentation document based on virtual reality (VR),
Maintains a background image storage unit that stores a plurality of 360-degree background images that are designed to display a VR-based image in the HMD device, wherein different unique identification information is assigned to the plurality of 360-degree background images. Doing;
Stores and maintains a location information table in which different location information for a point at which a slide constituting a presentation document in each of the background images is correspondingly recorded is recorded with respect to the unique identification information of each of the plurality of 360 degree background images. Doing;
If a background display command for displaying a first 360 degree background image of the plurality of 360 degree background images through the HMD device is applied, the HMD device is extracted by extracting the first 360 degree background image from the background image storage unit. Displaying the first 360 degree background image through a display unit of the display; And
When a slide display command for displaying a first slide among a plurality of slides constituting a first presentation document is applied through the HMD device, a first uniqueness assigned to the first 360 degree background image from the location information table is applied. Extracting first location information corresponding to the identification information and displaying the first slide at a point corresponding to the first location information on the first 360 degree background image displayed through the display unit;
Method of operation of the HMD device capable of outputting a VR-based presentation document comprising a.
상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들에서의 프레젠테이션 문서를 구성하는 슬라이드가 표시될 서로 다른 영역의 형태와 크기에 대한 정보가 기록되어 있는 영역 정보 테이블을 저장하여 유지하는 단계
를 더 포함하고,
상기 제1 슬라이드를 표시하는 단계는
상기 제1 프레젠테이션 문서를 구성하는 복수의 슬라이드들 중 상기 제1 슬라이드가 상기 HMD 장치를 통해 표시되도록 하는 슬라이드 표시 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제1 360도 배경 이미지에 할당되어 있는 상기 제1 고유 식별 정보에 대응하는 상기 제1 위치 정보를 추출하고, 상기 영역 정보 테이블로부터 상기 제1 고유 식별 정보에 대응하는 영역의 제1 형태와 크기에 대한 정보를 추출하는 단계;
상기 제1 형태와 크기에 대응하는 슬라이드 표시 영역을 생성하고, 상기 디스플레이부를 통해 표시되고 있는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점이 상기 슬라이드 표시 영역의 중심점이 되도록 상기 제1 360도 배경 이미지의 상위 레이어(layer) 상에 상기 슬라이드 표시 영역을 배치하는 단계; 및
상기 슬라이드 표시 영역 내에 상기 제1 슬라이드가 포함되도록 상기 제1 슬라이드의 형태와 크기를 조절하여 상기 슬라이드 표시 영역을 통해 상기 제1 슬라이드가 표시되도록 처리하는 단계
를 포함하는 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법.The method of claim 6,
An area information table storing information on the shape and size of different areas in which slides constituting the presentation document in each of the background images are to be stored for the unique identification information of each of the plurality of 360 degree background images. Steps to maintain
More,
Displaying the first slide
When a slide display command is applied to display the first slide among the plurality of slides constituting the first presentation document through the HMD device, the position information assigned to the first 360 degree background image from the location information table is applied. Extracting the first location information corresponding to first unique identification information and extracting information about a first shape and size of an area corresponding to the first unique identification information from the area information table;
The slide display area corresponding to the first shape and size is generated, and the point corresponding to the first position information on the first 360 degree background image displayed through the display unit is the center point of the slide display area. Disposing the slide display area on an upper layer of a first 360 degree background image; And
Processing the first slide to be displayed through the slide display area by adjusting the shape and size of the first slide to include the first slide in the slide display area;
Method of operation of the HMD device capable of outputting a VR-based presentation document comprising a.
상기 제1 슬라이드를 표시하는 단계는
상기 제1 360도 배경 이미지의 상위 레이어 상에 상기 슬라이드 표시 영역이 배치되는 경우, 상기 제1 360도 배경 이미지 상에 존재하는 적어도 하나의 오브젝트 중 화면 상에서 상기 슬라이드 표시 영역과 겹쳐지는 오브젝트가 존재하는지 여부를 확인하는 단계;
상기 적어도 하나의 오브젝트 중 제1 오브젝트가 화면 상에서 상기 슬라이드 표시 영역과 겹쳐지는 것으로 확인되면, 상기 제1 오브젝트의 크기가 선정된(predetermined) 기준 크기를 초과하는지 여부를 확인하는 단계;
상기 제1 오브젝트의 크기가 상기 선정된 기준 크기를 초과하는 것으로 확인되면, 상기 제1 오브젝트의 외곽선을 둘러싸는 가상의 사각 영역을 생성하는 단계; 및
상기 슬라이드 표시 영역을 현재 지점으로부터 선정된 제1 방향으로 이동시키되, 상기 가상의 사각 영역과 상기 슬라이드 표시 영역 간의 겹침이 발생하지 않는 지점까지 상기 슬라이드 표시 영역을 이동시키는 단계
를 더 포함하고,
상기 제1 슬라이드가 표시되도록 처리하는 단계는
상기 슬라이드 표시 영역이 상기 가상의 사각 영역과 겹침이 발생하지 않는 지점까지 이동이 완료되면, 이동이 완료된 상기 슬라이드 표시 영역 내에 상기 제1 슬라이드가 포함되도록 상기 제1 슬라이드의 형태와 크기를 조절하여 상기 슬라이드 표시 영역을 통해 상기 제1 슬라이드가 표시되도록 처리하는 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법.The method of claim 7, wherein
Displaying the first slide
When the slide display area is disposed on an upper layer of the first 360 degree background image, whether an object overlapping the slide display area exists on a screen among at least one object existing on the first 360 degree background image. Confirming whether or not;
If it is determined that a first object of the at least one object overlaps the slide display area on a screen, checking whether the size of the first object exceeds a predetermined reference size;
If it is determined that the size of the first object exceeds the predetermined reference size, generating a virtual rectangular area surrounding an outline of the first object; And
Moving the slide display area from a current point to a predetermined first direction, and moving the slide display area to a point where no overlap between the virtual rectangular area and the slide display area occurs;
More,
Processing the first slide to be displayed
When the slide display area is moved to a point where the virtual rectangular area does not overlap, the shape and size of the first slide are adjusted to include the first slide in the slide display area where the movement is completed. A method of operating an HMD device capable of outputting a VR-based presentation document which processes the first slide to be displayed through a slide display area.
상기 복수의 360도 배경 이미지들 각각의 고유 식별 정보에 대해 각 배경 이미지들 별로 사용자의 시선 변화에 따라 프레젠테이션 문서를 구성하는 슬라이드가 표시되는 지점의 변경여부에 대한 정보가 기록되어 있는 지점 고정 테이블을 저장하여 유지하는 단계;
상기 디스플레이부를 통해 상기 제1 360도 배경 이미지와 상기 제1 슬라이드가 표시되는 상태에서 상기 HMD 장치에 탑재되어 있는 움직임 감지 센서를 통해 상기 HMD 장치를 착용한 사용자의 머리 움직임이 감지됨에 따라 그에 대응하는 사용자의 시선 변화가 발생하는 경우, 상기 지점 고정 테이블로부터 상기 제1 고유 식별 정보에 대응되어 기록되어 있는 슬라이드 표시 지점의 변경여부에 대한 정보를 추출하는 단계;
상기 지점 고정 테이블 상에서 상기 제1 고유 식별 정보에 대해 슬라이드 표시 지점이 변경되도록 하는 정보가 기록되어 있음으로 인해, 상기 지점 고정 테이블로부터 사용자의 시선 변화에 따라 슬라이드 표시 지점이 변경되도록 하는 정보가 추출된 경우, 상기 HMD 장치를 착용한 사용자의 시선 변화에 대응하여 상기 디스플레이부를 통해 표시되는 상기 제1 360도 배경 이미지 상의 상기 제1 위치 정보에 대응하는 지점에 상기 제1 슬라이드가 표시되도록 상기 슬라이드 표시 영역을 이동시키는 단계; 및
상기 지점 고정 테이블 상에서 상기 제1 고유 식별 정보에 대해 슬라이드 표시 지점이 변경되지 않도록 하는 정보가 기록되어 있음으로 인해, 상기 지점 고정 테이블로부터 사용자의 시선 변화에 따라 슬라이드 표시 지점이 변경되지 않도록 하는 정보가 추출된 경우, 상기 HMD 장치를 착용한 사용자의 시선 변화가 발생하더라도 시선 변화가 발생하기 이전에 상기 제1 슬라이드가 표시되고 있던 지점 상에 상기 제1 슬라이드가 계속 표시되도록 상기 슬라이드 표시 영역의 이동을 수행하지 않는 단계
를 더 포함하는 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법.The method of claim 7, wherein
A fixed point table for recording unique information of each of the plurality of 360-degree background images in which information about a change of a point at which a slide constituting the presentation document is displayed according to a change in the user's gaze is recorded for each background image; Storing and maintaining;
As the first 360 degree background image and the first slide are displayed through the display unit, a head motion of a user wearing the HMD device is detected through a motion sensor mounted on the HMD device. Extracting information on whether or not the slide display point is recorded corresponding to the first unique identification information from the point fixing table when a change in the line of sight of the user occurs;
Since information for changing the slide display point is recorded with respect to the first unique identification information on the point fixing table, information for causing the slide display point to be changed according to the user's gaze change is extracted from the point fixing table. In this case, the slide display area such that the first slide is displayed at a point corresponding to the first position information on the first 360 degree background image displayed through the display unit in response to a change in the line of sight of the user wearing the HMD device. Moving the; And
Since information for preventing the slide display point from being changed with respect to the first unique identification information is recorded on the point fixing table, information for preventing the slide display point from changing according to the user's gaze changes from the point fixing table. When extracted, the slide display area may be moved so that the first slide is continuously displayed on the point where the first slide was being displayed before the gaze change occurs even when the gaze change of the user wearing the HMD device occurs. Steps not to perform
Operation method of the HMD device capable of outputting a VR-based presentation document further comprising.
상기 디스플레이부를 통해 상기 제1 360도 배경 이미지와 상기 제1 슬라이드가 표시되는 상태에서 상기 제1 360도 배경 이미지가 제2 360도 배경 이미지로 대체되어 표시되도록 하는 배경 표시 대체 명령이 인가되면, 상기 배경 이미지 저장부로부터 상기 제2 360도 배경 이미지를 추출하여 상기 디스플레이부를 통해 표시하는 단계; 및
상기 디스플레이부를 통해 상기 제1 360도 배경 이미지가 상기 제2 360도 배경 이미지로 대체되어 표시되더라도 상기 제1 위치 정보에 대응하는 지점에서의 상기 제1 슬라이드에 대한 표시 상태를 유지하고, 그 이후 상기 제1 슬라이드가 제2 슬라이드로 변경되도록 하는 슬라이드 변경 명령이 인가되면, 상기 위치 정보 테이블로부터 상기 제2 360도 배경 이미지에 할당되어 있는 제2 고유 식별 정보에 대응하는 제2 위치 정보를 추출하여 상기 디스플레이부를 통해 표시되고 있는 상기 제2 360도 배경 이미지 상의 상기 제2 위치 정보에 대응하는 지점에 대해 상기 제2 슬라이드를 표시하는 단계
를 더 포함하는 VR 기반의 프레젠테이션 문서의 출력이 가능한 HMD 장치의 동작 방법.The method of claim 6,
When a background display replacement command is applied to the first 360-degree background image is replaced with a second 360-degree background image while the first 360-degree background image and the first slide are displayed through the display unit. Extracting the second 360 degree background image from the background image storage unit and displaying the second 360 degree background image on the display unit; And
Even when the first 360 degree background image is replaced with the second 360 degree background image through the display unit, the display state of the first slide at the point corresponding to the first position information is maintained, and then the When a slide change command is applied to change the first slide to the second slide, the second position information corresponding to the second unique identification information assigned to the second 360 degree background image is extracted from the position information table, and the second position information is extracted. Displaying the second slide with respect to a point corresponding to the second position information on the second 360 degree background image being displayed through the display unit;
Operation method of the HMD device capable of outputting a VR-based presentation document further comprising.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170169100A KR102045748B1 (en) | 2017-12-11 | 2017-12-11 | Hmd device capable of displaying a vr-based presentation document and operating method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170169100A KR102045748B1 (en) | 2017-12-11 | 2017-12-11 | Hmd device capable of displaying a vr-based presentation document and operating method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190068880A KR20190068880A (en) | 2019-06-19 |
| KR102045748B1 true KR102045748B1 (en) | 2019-11-18 |
Family
ID=67104202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170169100A KR102045748B1 (en) | 2017-12-11 | 2017-12-11 | Hmd device capable of displaying a vr-based presentation document and operating method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102045748B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220127503A (en) | 2021-03-11 | 2022-09-20 | 주식회사 엘지유플러스 | Apparatus and method for motion sickness reduction |
| WO2024071776A1 (en) * | 2022-09-26 | 2024-04-04 | 삼성전자 주식회사 | Augmented reality object display method and electronic device supporting same |
-
2017
- 2017-12-11 KR KR1020170169100A patent/KR102045748B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190068880A (en) | 2019-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101751219B (en) | Terminal apparatus, display control method, and display control program | |
| US20210256941A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN108427589B (en) | Data processing method and electronic equipment | |
| KR102279300B1 (en) | Virtual object display control apparatus, virtual object display system, virtual object display control method, and virtual object display control program | |
| US20160091976A1 (en) | Dynamic hand-gesture-based region of interest localization | |
| US20140253591A1 (en) | Information processing system, information processing apparatus, information processing method, and computer-readable recording medium recording information processing program | |
| KR102045748B1 (en) | Hmd device capable of displaying a vr-based presentation document and operating method thereof | |
| KR102187540B1 (en) | Electronic terminal apparatus supporting easy editing for overlapped objects in a document and operating method thereof | |
| US20070040901A1 (en) | Video processing apparatus and object processing method | |
| CN113178017A (en) | AR data display method and device, electronic equipment and storage medium | |
| KR102144354B1 (en) | Electronic terminal device enabling easy selection and adjustment of an object inserted in an electronic document and operating method thereof | |
| US11037323B2 (en) | Image processing apparatus, image processing method and storage medium | |
| KR102168323B1 (en) | Electronic terminal apparatus for document editing to handle synchronization of format attribute between objects inserted in a document and operating method thereof | |
| KR101977108B1 (en) | Hmd device for displaying vr-based presentation video and operating method thereof | |
| US10270985B2 (en) | Augmentation of textual content with a digital scene | |
| KR102136661B1 (en) | Electronic terminal device capable of easily adjusting the depth of the objects inserted in an electronic document and operating method thereof | |
| JP2017058657A (en) | Information processing device, control method, computer program and storage medium | |
| KR20210060808A (en) | Document editing device to check whether the font applied to the document is a supported font and operating method thereof | |
| KR102187544B1 (en) | Electronic device that enable intuitive selection of overlapping objects present in an electronic document and operating method thereof | |
| KR102417764B1 (en) | Electronic device that enables easy selection of targeted object among objects inserted in an electronic document and operating method thereof | |
| KR102566905B1 (en) | Presentation document editing apparatus that allows users to easily set the page style of presentation documents and operating method thereof | |
| KR102076561B1 (en) | Electronic device for controlling a plurality of images included in electronic document and operating method thereof | |
| KR20190049350A (en) | Method for image processing of projector for object and apparatus for performing the method | |
| KR102566908B1 (en) | Electronic terminal device for generating object guide frame on the page of a presentation document, and the opreating method thereof | |
| KR102045751B1 (en) | Presentation document editing apparatus that displays the page number of the thumbnail image through a separate layer and operating method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |