KR102547245B1 - System and method for virtual reality display - Google Patents

System and method for virtual reality display Download PDF

Info

Publication number
KR102547245B1
KR102547245B1 KR1020150073958A KR20150073958A KR102547245B1 KR 102547245 B1 KR102547245 B1 KR 102547245B1 KR 1020150073958 A KR1020150073958 A KR 1020150073958A KR 20150073958 A KR20150073958 A KR 20150073958A KR 102547245 B1 KR102547245 B1 KR 102547245B1
Authority
KR
South Korea
Prior art keywords
user
virtual reality
information
movement
rendering
Prior art date
Application number
KR1020150073958A
Other languages
Korean (ko)
Other versions
KR20160139318A (en
Inventor
김동건
Original Assignee
주식회사 넥슨코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥슨코리아 filed Critical 주식회사 넥슨코리아
Priority to KR1020150073958A priority Critical patent/KR102547245B1/en
Publication of KR20160139318A publication Critical patent/KR20160139318A/en
Application granted granted Critical
Publication of KR102547245B1 publication Critical patent/KR102547245B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

본 발명은 가상 현실 디스플레이 시스템 및 방법에 관한 것이다. 본 발명의 제 1 측면에 따르면 사용자에게 가상 현실을 디스플레이하는 시스템으로서, 사용자의 양안(兩眼) 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링하는 연산장치, 및 상기 사용자의 머리에 착용되고 상기 연산장치와 유무선통신하며, 상기 연산장치로부터 상기 렌더링된 영상을 수신하여 디스플레이하는 착용장치를 포함할 수 있다.The present invention relates to a virtual reality display system and method. According to a first aspect of the present invention, a system for displaying virtual reality to a user includes: an arithmetic device that renders virtual reality information in the shape of at least a portion of a spherical surface with both eyes of the user as a central point; and It may include a wearable device that is worn on the head, communicates with the computing device by wire or wirelessly, and receives and displays the rendered image from the computing device.

Description

가상 현실 디스플레이 시스템 및 방법{SYSTEM AND METHOD FOR VIRTUAL REALITY DISPLAY}Virtual reality display system and method {SYSTEM AND METHOD FOR VIRTUAL REALITY DISPLAY}

본 발명은 가상 현실 디스플레이 시스템 및 방법에 관한 것으로, 보다 상세하게는 사용자의 움직임에 따른 영상의 변화 지연 시간을 최소화시키는 가상 현실 디스플레이 시스템 및 방법에 관한 것이다.The present invention relates to a virtual reality display system and method, and more particularly, to a virtual reality display system and method for minimizing a delay time for changing an image according to a user's movement.

최근 정보화시대가 급속히 발전함에 따라 현실감 있는 화면을 구현하는 디스플레이 장치의 중요성이 강조되고 있으며, 일 예로서 사용자의 머리에 장착되는 디스플레이 장치, 즉, HMD(head mounted display)장치가 새로운 디스플레이 장치로서 각광받고 있다. HMD장치는 주로 보안경이나 헬멧형 기기로 사용자의 머리에 착용될 수 있으며, 양쪽 눈에 근접한 위치에 액정 등의 소형 디스플레이가 설치되어 영상을 투영하는 방식으로 가상현실감을 실현한다. Recently, with the rapid development of the information age, the importance of a display device that implements a realistic screen is being emphasized. are receiving The HMD device is mainly a safety goggles or helmet-type device that can be worn on the user's head, and a small display such as a liquid crystal is installed near both eyes to realize virtual reality by projecting an image.

HMD장치는 일반적으로, HMD장치 외부에 위치하는 기기로부터 영상을 수신하여 투영하며, 이를 위해 외부기기와 유무선통신을 수행한다. 이때 가상현실감을 실현하기 위한 영상은 그 데이터양이 큰 것이 일반적이어서 HMD장치가 수신하는 데이터양이 클 수밖에 없다. Generally, an HMD device receives and projects an image from a device located outside the HMD device, and performs wired/wireless communication with an external device for this purpose. At this time, since the amount of data for realizing the virtual reality is generally large, the amount of data received by the HMD device is inevitably large.

한편 HMD장치의 주목적이 사용자에게 가상현실감을 제공하는 것임에 따라, 사용자의 움직임을 감지(예를 들어 사용자가 고개를 돌림을 감지)하면 상기 움직임이 반영된 영상이 제공되어야 한다. 즉, HMD 장치는 사용자의 움직임을 감지하자마자 그 움직임에 대응되는 영상을 투영시켜야 하나, 현실적으로, 움직임이 반영된 영상이 외부기기에 의해 연산됨에 따라 HMD장치가 상기 영상을 수신하고 디스플레이하는 데에 많은 시간이 걸리고, 또한, 변화가 반영된 데이터양이 큰 것이 일반적이어서, 사용자의 움직임이 발생된 시점과 상기 움직임이 반영된 영상이 투영되는 시점 간에 지연이 발생될 수밖에 없다. 이는 사용자의 인지에 방해되는 정도의 지연이며 이는 사용자로 하여금 멀미를 느끼게 하고 HMD장치의 착용에 불편을 느끼게 한다.Meanwhile, as the main purpose of the HMD device is to provide a user with a sense of virtual reality, when a user's movement is detected (for example, the user's head turns), an image reflecting the movement should be provided. That is, the HMD device should project an image corresponding to the user's movement as soon as it detects the user's movement, but in reality, as the image reflecting the movement is calculated by an external device, the HMD device takes a long time to receive and display the image. In addition, since the amount of data reflecting the change is generally large, a delay inevitably occurs between the time when the user's movement is generated and the time when the image reflecting the movement is projected. This is a delay that interferes with the user's perception, which makes the user feel motion sickness and discomfort in wearing the HMD device.

한편 선행기술 문헌인 한국특허공개번호 제10-2015-0041448호에서는, 안경형 단말기를 통해 보이는 실시간 이미지 내에서 사용자가 원하는 정보를 용이하고 빠르게 처리할 수 있는 안경형 단말기의 제어 방법을 제안한다. 그러나 이와 같은 선행기술 문헌에서도 상술된 문제점을 해결하고 있지 못하다.Meanwhile, Korean Patent Publication No. 10-2015-0041448, which is a prior art document, proposes a method for controlling a glasses-type terminal that can easily and quickly process information desired by a user in a real-time image seen through the glasses-type terminal. However, even these prior art documents do not solve the above-mentioned problems.

따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.Therefore, a technique for solving the above problems has been required.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the above-mentioned background art is technical information that the inventor possessed for derivation of the present invention or acquired in the process of derivation of the present invention, and cannot necessarily be said to be known art disclosed to the general public prior to filing the present invention. .

본 발명의 일실시예는 가상 현실 디스플레이 시스템 및 방법을 제시하는 데에 목적이 있다. One embodiment of the present invention aims to present a virtual reality display system and method.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따르면 사용자에게 가상 현실을 디스플레이하는 시스템으로서, 사용자의 양안 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링하는 연산장치, 및 상기 사용자의 머리에 착용되고 상기 연산장치와 유무선통신하며, 상기 연산장치로부터 상기 렌더링된 영상을 수신하여 디스플레이하는 착용장치를 포함할 수 있다.As a technical means for achieving the above-described technical problem, according to a first aspect of the present invention, a system for displaying virtual reality to a user, rendering virtual reality information in the shape of at least a part of a spherical surface having each of the user's both eyes as a central point and a wearable device that is worn on the user's head, communicates with the computing device by wire or wirelessly, and receives and displays the rendered image from the computing device.

본 발명의 제 2 측면에 따르면, 사용자의 머리에 착용되는 착용장치 및 상기 착용장치와 유무선통신하는 연산장치를 포함하는 가상 현실 디스플레이 시스템이, 상기 사용자에게 가상 현실을 디스플레이하는 방법으로서, 상기 연산장치가, 사용자의 양안 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 상기 가상 현실 정보를 렌더링하는 단계, 상기 연산장치가, 상기 렌더링된 영상을 상기 착용장치로 제공하는 단계, 및 상기 착용장치가, 상기 연산장치로부터 수신된 상기 렌더링된 영상을 디스플레이하는 단계를 포함할 수 있다.According to a second aspect of the present invention, a virtual reality display system including a wearable device worn on a user's head and an arithmetic device that communicates with the wearable device by wire or wirelessly is a method for displaying virtual reality to the user, the arithmetic device A, rendering the virtual reality information in the shape of at least a portion of a sphere having both eyes of the user as a central point, providing, by the computing device, the rendered image to the wearing device, and the wearing device, and displaying the rendered image received from the computing device.

본 발명의 제 3 측면에 따르면, 가상 현실 디스플레이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록매체이며, 상기 가상 현실 디스플레이 방법은, 연산장치가, 사용자의 양안 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링하는 단계, 상기 연산장치가, 상기 렌더링된 영상을 착용장치로 제공하는 단계, 및 상기 착용장치가, 상기 연산장치로부터 수신된 상기 렌더링된 영상을 디스플레이하는 단계를 포함할 수 있다.According to a third aspect of the present invention, a computer readable recording medium on which a program for performing a virtual reality display method is recorded, wherein the virtual reality display method includes an arithmetic device, at least a portion of a spherical surface having both eyes of a user as a center point. Rendering virtual reality information in the shape of , providing, by the computing device, the rendered image to a wearing device, and displaying, by the wearing device, the rendered image received from the computing device. can do.

본 발명의 제 4 측면에 따르면, 사용자의 머리에 착용되는 착용장치 및 상기 착용장치와 유무선통신하는 연산장치를 포함하는 가상 현실 디스플레이 시스템에 의해 수행되며, 상기 연산장치가, 사용자의 양안 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 상기 가상 현실 정보를 렌더링하는 단계, 상기 연산장치가, 상기 렌더링된 영상을 상기 착용장치로 제공하는 단계, 및 상기 착용장치가, 상기 연산장치로부터 수신된 상기 렌더링된 영상을 디스플레이하는 단계를 포함하는 가상 현실 디스플레이 방법을 수행하기 위해 기록매체에 저장된 컴퓨터 프로그램일 수 있다.According to a fourth aspect of the present invention, it is performed by a virtual reality display system including a wearable device worn on a user's head and an arithmetic device that communicates with the wearable device by wire or wirelessly, wherein the arithmetic device sets both eyes of the user as a central point. Rendering the virtual reality information in the shape of at least a portion of a spherical surface, providing, by the computing device, the rendered image to the wearing device, and by the wearing device, the rendering received from the computing device. It may be a computer program stored in a recording medium to perform a virtual reality display method comprising the step of displaying an image.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일실시예는 가상 현실 디스플레이 시스템 및 방법을 제시할 수 있다. According to any one of the above-described problem solving means of the present invention, one embodiment of the present invention can present a virtual reality display system and method.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 가상 현실 정보를 렌더링하고 디스플레이함에 있어, 렌더링된 영상과 사용자의 움직임 간의 부조화를 최소화시켜 사용자가 느끼는 멀미를 없앨 수 있으며 그 결과 사용자가 렌더링된 가상 현실 정보를 쾌적하게 즐길 수 있다.In addition, according to any one of the problem solving means of the present invention, in rendering and displaying virtual reality information, it is possible to eliminate the user's motion sickness by minimizing the dissonance between the rendered image and the user's motion, and as a result, the user is rendered You can enjoy virtual reality information comfortably.

아울러, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 가상 현실을 디스플레이하는데 소요되는 연산량을 최소화시킬 수 있고, 연산결과인 데이터양 또한 최소화시킬 수 있어 데이터 송신에 소요되는 리소스의 낭비를 줄이고 빠른 시간 내에 데이터를 송수신할 수 있다.In addition, according to any one of the problem solving means of the present invention, the amount of calculation required to display virtual reality can be minimized, and the amount of data that is the result of the calculation can also be minimized, reducing waste of resources required for data transmission and speeding up time data can be transmitted and received within

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below. will be.

도 1은 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템에 포함되는 연산장치를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템에 포함되는 착용장치를 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 가상 현실 디스플레이 방법을 설명하기 위한 순서도이다.
도 5 내지 도 7은 본 발명의 일실시예에 따른 가상 현실 디스플레이 방법을 설명하기 위한 예시도이다.
1 is a configuration diagram of a virtual reality display system according to an embodiment of the present invention.
2 is a block diagram illustrating an arithmetic device included in a virtual reality display system according to an embodiment of the present invention.
3 is a block diagram illustrating a wearable device included in a virtual reality display system according to an embodiment of the present invention.
4 is a flowchart illustrating a virtual reality display method according to an embodiment of the present invention.
5 to 7 are exemplary diagrams for explaining a virtual reality display method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice the present invention with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a certain component is said to "include", it means that it may further include other components without excluding other components unless otherwise stated.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템(100)의 구성도이며, 도 2는 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템(100)에 포함되는 연산장치(10)를 도시한 블록도이고, 도 3은 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템(100)에 포함되는 착용장치(20)를 도시한 블록도이다.1 is a configuration diagram of a virtual reality display system 100 according to an embodiment of the present invention, and FIG. 2 shows an arithmetic device 10 included in the virtual reality display system 100 according to an embodiment of the present invention. 3 is a block diagram showing the wearing device 20 included in the virtual reality display system 100 according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템(100)은 연산장치(10) 및 착용장치(20)를 포함할 수 있다.As shown in FIG. 1 , a virtual reality display system 100 according to an embodiment of the present invention may include an arithmetic device 10 and a wearable device 20 .

이와 같은 연산장치(10) 및 착용장치(20)는 유무선 통신을 수행할 수 있다. 예를 들어, 연산장치(10) 및 착용장치(20)는 각 장치에 포함되는 WiDi(Wireless Display) 모듈을 통해 서로 무선 통신을 수행할 수 있다. 추가적으로 연산장치(10) 및 착용장치(20)는 유선 네트워크를 통해서도 유선 통신을 수행할 수 있으며, 또한 무선 네트워크를 통해서도 무선 통신을 수행할 수 있다.The arithmetic device 10 and the wearable device 20 may perform wired/wireless communication. For example, the computing device 10 and the wearable device 20 may perform wireless communication with each other through a WiDi (Wireless Display) module included in each device. Additionally, the computing device 10 and the wearable device 20 may perform wired communication through a wired network and may also perform wireless communication through a wireless network.

한편, 연산장치(10)는, 사용자가 좌안(左眼) 시점 및 우안(右眼) 시점 각각으로 가상 현실 정보(예를 들어3차원의 가상공간을 구성하는 구성요소)를 주시할 때 상기 가상 현실 정보가 현실감을 줄 수 있도록 상기 정보를 각각 구면으로 렌더링하고 착용장치(20)로 송신할 수 있다.On the other hand, the computing device 10, when the user gazes at the virtual reality information (for example, components constituting the three-dimensional virtual space) from the left and right eye viewpoints, respectively, the virtual The information may be rendered in a spherical shape and transmitted to the wearable device 20 so as to give a sense of reality to the reality information.

이를 위해 연산장치(10)는, 도 2에서 도시된 바와 같이 정보저장부(110), 렌더링부(120) 및 연산통신부(130)를 포함할 수 있다.To this end, the arithmetic device 10 may include an information storage unit 110, a rendering unit 120, and an arithmetic and communication unit 130 as shown in FIG. 2 .

본 발명의 일실시예에 따른 정보저장부(110)는 가상 현실 정보를 저장할 수 있다. 이때 저장되는 가상 현실 정보는 영상으로 렌더링되기 이전의 상기 영상 구성요소에 관한 정보이어서, 착용장치(20)에 맞게 상기 가상 현실 정보가 디스플레이되기 위해서는 렌더링부(120)에 의해 렌더링 과정을 거쳐야 한다.The information storage unit 110 according to an embodiment of the present invention may store virtual reality information. At this time, the stored virtual reality information is information about the image component before being rendered into an image, and thus, in order to display the virtual reality information in accordance with the wearing device 20, the rendering unit 120 needs to go through a rendering process.

한편 렌더링부(120)는 가상 현실 정보를 렌더링할 수 있다. Meanwhile, the rendering unit 120 may render virtual reality information.

즉 렌더링부(120)는, 사용자의 양쪽 눈 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링할 수 있다.That is, the rendering unit 120 may render virtual reality information in the shape of at least a portion of a sphere having both eyes of the user as a center point.

예를 들어, 렌더링부(120)는, 렌더링된 영상을 주시하는 사용자를 에워싸면서 사용자의 각 눈이 중심점인 구면으로 가상 현실 정보를 렌더링할 수 있다.For example, the rendering unit 120 may render virtual reality information on a spherical surface in which each eye of the user is the central point while surrounding the user watching the rendered image.

또한 예를 들어, 렌더링부(120)는, 렌더링된 영상을 주시하는 사용자를 에워싸면서 사용자의 각 눈이 중심점이 구면의 일부의 형상으로 렌더링할 수 있다. 이를 위해 렌더링부(120)는 사용자의 시야각정보 및 속도정보에 기초하여 가상 현실 정보를 렌더링할 수 있다. 여기서 ‘시야각정보’는 사용자가 눈으로 볼 수 있는 최대의 각도를 의미하며, 예를 들어, 사용자가 정면을 바라보고 있을 때 좌우 최대 시야각 또는 상하 최대 시야각에 관한 정보를 포함할 수 있다. 또한 ‘속도정보’는 정면을 바라보는 사용자가 고개를 움직였을 때의 속도를 의미한다.Also, for example, the rendering unit 120 may render a central point of each eye of the user in a shape of a part of a sphere while surrounding the user watching the rendered image. To this end, the rendering unit 120 may render virtual reality information based on the user's viewing angle information and speed information. Here, 'viewing angle information' means the maximum angle that the user can see with the eyes, and may include, for example, information on the maximum left and right viewing angles or the maximum viewing angles up and down when the user is looking at the front. In addition, ‘speed information’ refers to the speed when the user facing the front moves his head.

또한 렌더링부(120)는 착용장치(20)로부터, 사용자가 고개를 움직였음을 감지함에 따라 생성되는 움직임 감지결과를 수신하면 상기 감지결과에 기초하여 가상 현실 정보를 재(再)렌더링할 수 있다. In addition, the rendering unit 120 may re-render the virtual reality information based on the detection result when receiving a motion detection result generated by detecting that the user has moved the head from the wearable device 20 . .

예를 들어 렌더링부(120)는 상기 감지결과에 기초하여 사용자의 정면지점(사용자가 눈동자를 돌리지 않고 편안한 상태에서 정면을 바라봤을 때의 지점), 사용자의 시야각정보, 연산장치(10) 및 착용장치(20) 간의 유무선 송수신에 소요되는 시간, 및 프레임당 최대회전각 중 적어도 하나에 기초하여, 가상 현실 정보를 구면으로 렌더링하였을 때 렌더링이 생략가능한 영역, 즉, 생략영역을 결정하고, 상기 생략영역 이외의 영역을 재렌더링할 수 있다. 만약 렌더링부(120)가 생략영역을 결정하지 못한다면 렌더링부(120)는 가상 현실 정보를 구면 전체로서 재렌더링할 수 있다.For example, the rendering unit 120 based on the detection result, the front point of the user (a point when the user looks at the front in a comfortable state without turning the pupil), the user's viewing angle information, the calculation device 10, and wear Based on at least one of the time required for wired/wireless transmission and reception between the devices 20 and the maximum rotation angle per frame, when the virtual reality information is rendered on a spherical surface, an area that can be omitted from rendering, that is, an omitted area is determined, and the omitted area is determined. Areas other than the area can be re-rendered. If the rendering unit 120 does not determine the omitted area, the rendering unit 120 may re-render the virtual reality information as the entire sphere.

한편 연산통신부(130)는 착용장치(20)와 유무선통신을 수행할 수 있다. Meanwhile, the operation and communication unit 130 may perform wired and wireless communication with the wearable device 20 .

따라서 연산통신부(130)는 렌더링 영상을 착용장치(20)로 송신할 수 있으며, 착용장치(20)로부터 사용자의 움직임 감지결과를 수신할 수 있다.Accordingly, the operation and communication unit 130 may transmit the rendered image to the wearable device 20 and may receive a motion detection result of the user from the wearable device 20 .

또한 연산통신부(130)는, 재렌더링된 영상을 착용장치(20)로 송신할 수 있으며, 이때 연산통신부(130)는 재렌더링된 영상 모두를 착용장치(20)로 송신할 수 있고, 또는 재렌더링된 영상 중에서 착용장치(20)로 송신되지 않았던 영상만을 착용장치(20)로 송신할 수 있다.In addition, the calculation and communication unit 130 may transmit the re-rendered image to the wearing device 20, and at this time, the calculation and communication unit 130 may transmit all of the re-rendered images to the wearing device 20, or Among the rendered images, only images that have not been transmitted to the wearing device 20 may be transmitted to the wearing device 20 .

상술된 바에 따른 정보저장부(110), 렌더링부(120) 및 연산통신부(130)를 포함하는 연산장치(10)는 예를 들어, WiDi모듈이 탑재된 컴퓨터나 휴대용 단말기, 텔레비전 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 노트북, 데스크톱(desktop) 또는 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다.The calculation device 10 including the information storage unit 110, the rendering unit 120, and the calculation and communication unit 130 according to the above description may be implemented as, for example, a computer equipped with a WiDi module, a portable terminal, or a television. can Here, the computer includes, for example, a notebook, a desktop, or a laptop, and the portable terminal is, for example, a wireless communication device that ensures portability and mobility, such as a smart phone. All types of handheld-based wireless communication devices may be included. In addition, television may include IPTV (Internet Protocol Television), Internet TV (Internet Television), terrestrial TV, cable TV, and the like.

한편 본 발명의 일실시예에 따른 착용장치(20)는 사용자의 머리에 착용되며, 렌더링된 가상 현실 정보를 연산장치(10)로부터 수신하여 디스플레이하는 장치이다. Meanwhile, the wearing device 20 according to an embodiment of the present invention is a device that is worn on a user's head and receives and displays rendered virtual reality information from the computing device 10 .

이와 같은 착용장치(20)는 도 3에서 도시된 바와 같이, 착용통신부(210), 움직임감지부(220) 및 표시부(230)를 포함할 수 있다.As shown in FIG. 3 , such a wearable device 20 may include a wearable communication unit 210 , a motion sensor 220 and a display unit 230 .

본 발명의 일 실시예에 따른 착용통신부(210)는 연산장치(10)와 유무선 통신을 수행할 수 있다. The wearable communication unit 210 according to an embodiment of the present invention may perform wired/wireless communication with the arithmetic device 10 .

이에 착용통신부(210)는 연산장치(10)로부터 렌더링된 영상을 수신할 수 있으며, 또는 움직임감지부(220)에 의해 획득된 사용자의 움직임 감지결과를 연산장치(10)로 송신할 수 있다.Accordingly, the wearable communication unit 210 may receive the rendered image from the arithmetic device 10, or may transmit the user's motion detection result obtained by the motion sensor 220 to the arithmetic device 10.

한편 움직임감지부(220)는 사용자의 고개 움직임을 감지할 수 있다. 착용장치(20)가 사용자의 머리에 착용됨에 따라 움직임감지부(220)는 사용자의 고개가 이동한 각도, 방향, 속도 등을 감지하여 움직임 감지결과를 생성할 수 있다.Meanwhile, the motion detection unit 220 may detect the movement of the user's head. As the wearable device 20 is worn on the user's head, the motion detection unit 220 may detect a movement angle, direction, speed, etc. of the user's head to generate a motion detection result.

이를 위해 움직임감지부(220)는 각종 센서로 구현될 수 있으며, 예를 들어, 가속도계, 자이로스코프 센서들로 구현될 수 있다.To this end, the motion sensor 220 may be implemented with various sensors, for example, an accelerometer and a gyroscope sensor.

또한 움직임감지부(220)는 사용자의 움직임 감지결과가, 착용통신부(210)를 통해 연산장치(10)로 송신되도록 할 수 있다.In addition, the motion detection unit 220 may transmit the user's motion detection result to the computing device 10 through the wearable communication unit 210 .

예를 들어 움직임감지부(220)는 사용자 고개의 움직임 범위가 소정의 범위 이상인 경우, 예를 들어, 사용자의 고개가 이동한 각도가, 소정의 범위(예를 들어, 프레임당 최대 회전각) 이상인 경우 상기 움직임 감지결과가 연산장치(10)로 송신되도록 할 수 있다.For example, when the movement range of the user's head is greater than or equal to a predetermined range, the motion sensor 220 determines that the angle at which the user's head has moved is greater than or equal to a predetermined range (eg, maximum rotation angle per frame). In this case, the motion detection result may be transmitted to the arithmetic device 10 .

한편 표시부(230)는, 연산장치(10)로부터 수신된 영상을 디스플레이할 수 있다. Meanwhile, the display unit 230 may display an image received from the arithmetic device 10 .

이때 표시부(230)는 수신된 영상 전부를 디스플레이할 수 있으나, 사용자의 시야각정보에 기초하여 사용자의 시야각범위 내의 영상을 선택하여 디스플레이할 수 있다. 또한 표시부(230)는, 움직임 감지부(220)에 의해 획득된 사용자의 움직임 감지결과에 따라 사용자의 움직임을 감지하면, 기수신되어 저장된 렌더링 영상 중 디스플레이되고 있지 않은 렌더링 영상을, 상기 움직임에 따라 변경된 정면지점에 기초하여 디스플레이할 수 있다.At this time, the display unit 230 may display all of the received images, but may select and display an image within the user's viewing angle range based on the user's viewing angle information. In addition, when the display unit 230 detects the user's motion according to the user's motion detection result obtained by the motion sensor 220, the rendered image that is not being displayed among the previously received and stored rendered images is displayed according to the movement. It can be displayed based on the changed front point.

이와 같이 착용통신부(210), 움직임감지부(220) 및 표시부(230)를 포함하는 착용장치(20)는 사용자의 코와 귀들 위에 놓일 수 있는 안경과 유사한 바디 또는 프레임을 포함하도록 구현되거나, 또는 사용자의 머리를 에워쌀 수 있는 헬멧과 유사한 바디 또는 프레임을 포함하도록 구현될 수 있다. 그리고, 착용장치(20)는 표시부(230)에 의해 디스플레이될 영상을, 사용자의 양 눈 전면에 위치하는 디스플레이 장치를 통해 디스플레이할 수 있다.
In this way, the wearing device 20 including the wearable communication unit 210, the motion detection unit 220, and the display unit 230 is implemented to include a body or frame similar to glasses that can be placed on the user's nose and ears, or It can be implemented to include a helmet-like body or frame that can enclose the user's head. In addition, the wearing device 20 may display an image to be displayed by the display unit 230 through a display device positioned in front of both eyes of the user.

한편, 도 4는 본 발명의 일실시예에 따른 가상 현실 디스플레이 방법을 설명하기 위한 순서도이다. Meanwhile, FIG. 4 is a flowchart illustrating a virtual reality display method according to an embodiment of the present invention.

도 4에 도시된 실시예에 따른 가상 현실 디스플레이 방법은 도 1 내지 도 3에 도시된 가상 현실 디스플레이 시스템(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 3에 도시된 가상 현실 디스플레이 시스템(100)에 관하여 이상에서 기술한 내용은 도 4에 도시된 실시예에 따른 가상 현실 디스플레이 방법에도 적용될 수 있다.The virtual reality display method according to the embodiment shown in FIG. 4 includes steps processed time-sequentially in the virtual reality display system 100 shown in FIGS. 1 to 3 . Therefore, even if the contents are omitted below, the contents described above with respect to the virtual reality display system 100 shown in FIGS. 1 to 3 can also be applied to the virtual reality display method according to the embodiment shown in FIG. 4 .

가상 현실 디스플레이 시스템(100)이 가상 현실 정보를 사용자에게 제공하고자 할 때, 도 4에서 도시된 바와 같이, 연산장치(10)는, 착용장치(20)를 통해 디스플레이될 가상 현실 정보를 렌더링할 수 있다 (S400). 이때 연산장치(10)는 사용자의 양 눈을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링할 수 있다.When the virtual reality display system 100 intends to provide virtual reality information to the user, as shown in FIG. 4 , the computing device 10 may render the virtual reality information to be displayed through the wearable device 20. Yes (S400). At this time, the computing device 10 may render the virtual reality information in the shape of at least a part of a sphere having both eyes of the user as a central point.

관련하여 도 5 및 도 6 각각은 본 발명의 일실시예에 따른 가상 현실 디스플레이 방법을 설명하기 위한 예시도로서, 착용장치(20)를 머리에 착용하고 있는 사용자(U)의 양 눈 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링하는 모습을 설명하기 위한 것이다. 이때, 도 5및 도 6의 구면은 설명의 편의상 2차원의 원으로서 표현된다.In relation to FIGS. 5 and 6, each is an exemplary view for explaining a virtual reality display method according to an embodiment of the present invention, and each of the eyes of the user U wearing the wearable device 20 on the head is the center point. It is to explain how to render virtual reality information in the shape of at least a part of a sphere to be. At this time, the spherical surface of FIGS. 5 and 6 is expressed as a two-dimensional circle for convenience of description.

즉, 도 5에서 도시된 바와 같이, 연산장치(10)는, 착용장치(20)를 머리에 착용하고 있는 사용자(U)를 에워싸면서 사용자(U)의 왼쪽 눈을 중심점으로 하는 구면(510)으로 가상 현실 정보를 렌더링할 수 있다. 또한 연산장치(10)는 사용자(U)를 에워싸면서 사용자(U)의 오른쪽 눈을 중심점으로 하는 구면(520)으로 가상 현실 정보를 렌더링할 수 있다. 즉, 연산장치(10)는 사용자(U)의 양안(兩眼; 양쪽눈)을 중심점으로 하는 구면으로, 가상 현실 정보를 렌더링할 수 있다.That is, as shown in FIG. 5 , the arithmetic device 10 surrounds the user U wearing the wearable device 20 on the head and has a spherical surface 510 with the left eye of the user U as the center point. ) to render virtual reality information. Also, the computing device 10 may render the virtual reality information as a sphere 520 surrounding the user U and having the right eye of the user U as a central point. That is, the arithmetic device 10 may render the virtual reality information as a spherical surface with both eyes of the user U as the central point.

한편, 사용자(U)가 한번에 볼 수 있는 시야가 정해져 있다는 점에 착안하여, 도 6에서 도시된 바와 같이, 연산장치(10)는 사용자(U)의 시야각(612, 622)에 따라 디스플레이할 영역(511, 521)과, 사용자(U)가 고개를 움직일 경우를 대비하여 사용자(U)의 고개 움직임 속도(V)에 따라 디스플레이될 수도 있는 영역(611, 621)을 포함하는 구면의 일부 영역(610, 620)으로, 가상 현실 정보를 렌더링할 수 있다. 즉, 예를 들어, 사용자(U)의 시야각(612, 622)이 170도이고, 사용자(U)가 1/60초에 20도의 속도(V)로 고개를 돌릴 수 있다고 가정하면, 연산장치(10)는 210도(=170+(20*2))의 범위에 대응되는 구면의 일부 형상으로 영상을 렌더링할 수 있다. 이와 같이 구면의 일부 영역으로 가상 현실 정보를 렌더링함으로써 연산장치(10)는 렌더링 영상의 생성에 소요되는 시간 및 리소스를 최소화시킬 수 있고, 렌더링 영상의 데이터양을 최소화시켜 렌더링 영상의 송수신을 위한 인코딩/디코딩에 따른 시간 소요를 최소화시킬 수 있으며 또한 송수신되는 데이터양도 최소화시킬 수 있다.On the other hand, in view of the fact that the field of view that the user U can see at one time is determined, as shown in FIG. 6, the arithmetic device 10 displays the area to be displayed according to the viewing angles 612 and 622 of the user U. (511, 521) and some areas of the spherical surface including areas 611 and 621 that may be displayed according to the head movement speed V of the user U in case the user U moves the head ( 610 and 620), virtual reality information may be rendered. That is, for example, assuming that the viewing angles 612 and 622 of the user U are 170 degrees and the user U can turn his/her head at a speed V of 20 degrees in 1/60 second, the arithmetic device ( 10) may render an image in a partial shape of a sphere corresponding to a range of 210 degrees (= 170 + (20 * 2)). By rendering the virtual reality information to a partial area of the sphere in this way, the processing unit 10 can minimize the time and resources required to generate the rendered image, and minimize the amount of data of the rendered image to perform encoding for transmission and reception of the rendered image. / It is possible to minimize the time required for decoding and also to minimize the amount of data transmitted and received.

연산장치(10)가 가상 현실 정보의 렌더링을 완료하면, 상기 렌더링 영상을 착용장치(20)로 제공할 수 있다 (S410). When the computing device 10 completes rendering of the virtual reality information, it may provide the rendered image to the wearing device 20 (S410).

그리고 착용장치(20)는 수신된 렌더링 영상을 저장하고 디스플레이할 수 있다 (S420). 이때 착용장치(20)는 수신된 렌더링 영상 전부를 디스플레이할 수도 있고, 또는 사용자(U)의 시야각정보에 기초하여 수신된 렌더링 영상 중 일부를 디스플레이할 수 있다. And, the wearing device 20 may store and display the received rendered image (S420). At this time, the wearing device 20 may display all of the received rendered images or may display some of the received rendered images based on the viewing angle information of the user U.

관련하여, 도 5에서 도시된 바와 같이, 구면 전체로서 렌더링된 영상을 수신한 착용장치(20)는, 구면(510, 520) 일부분(511, 512)의 영상만을 디스플레이할 수 있다. 또한 도 6에서 도시된 바와 같이 구면의 일부로서 렌더링 영상을 수신한 착용장치(20)는, 구면의 일부 영역(610, 620) 일부분(511, 512)의 영상만을 디스플레이할 수 있다.In this regard, as shown in FIG. 5 , the wearing device 20 that has received an image rendered as the entire sphere may display only images of portions 511 and 512 of the spheres 510 and 520 . Also, as shown in FIG. 6 , the wearing device 20 that has received the rendering image as a part of the sphere may display only the images of the parts 511 and 512 of the parts 610 and 620 of the sphere.

그리고, 착용장치(20)는 사용자의 움직임을 감지하면(S430), 기수신되어 저장된 렌더링 영상 중 디스플레이되지 않은 렌더링 영상을, 사용자의 움직임에 따라 변경된 정면지점에 기초하여 디스플레이할 수 있다 (S440). 예를 들어 도 6을 참조하면, 사용자(U)가 오른쪽 방향으로 움직임이 감지되면, 착용장치(20)는 기수신되어 저장된 렌더링 영상 중 디스플레이되고 있던 영상(511, 521)이 아닌, 디스플레이되고 있지 않은 영역(621)의 렌더링 영상을 디스플레이할 수 있다. 이를 통해 사용자의 움직임에 대한 피드백 속도가 높아질 수 있어, 사용자는 자신의 움직임과 렌더링 영상 간의 부조화를 느끼지 않으면서 멀미 없이 가상 현실을 즐길 수 있다.Then, when the wearing device 20 detects the user's movement (S430), it can display a rendering image that is not displayed among the previously received and stored rendering images based on the front point changed according to the user's movement (S440). . For example, referring to FIG. 6 , when a movement of the user U in the right direction is sensed, the wearing device 20 does not display images 511 and 521 other than the previously received and stored rendered images 511 and 521 . A rendered image of the unpainted area 621 may be displayed. Through this, the feedback speed for the user's motion can be increased, so that the user can enjoy virtual reality without feeling motion sickness without feeling incongruity between the user's motion and the rendered image.

한편 착용장치(20)가 사용자의 움직임을 감지할 때, 사용자 고개의 움직임 각도가 프레임당 최대회전각보다 크거나 같은 경우 (S450), 착용장치(20)는 움직임 감지결과를 연산장치(10)로 송신할 수 있다 (S460). Meanwhile, when the wearer 20 detects the user's movement, when the movement angle of the user's head is greater than or equal to the maximum rotation angle per frame (S450), the wearer 20 transmits the motion detection result to the calculator 10. It can be transmitted as (S460).

연산장치(10)가 상기 감지결과를 수신하면, 움직임에 따라 변경된 사용자의 정면지점, 사용자의 시야각정보, 연산장치(10) 및 착용장치(20) 간의 유무선 송수신에 소요되는 시간, 및 프레임당 최대회전각 중 적어도 하나에 기초하여 가상 현실 정보를 다시 렌더링할 수 있다 (S470).When the calculation device 10 receives the detection result, the user's front point changed according to the movement, the user's viewing angle information, the time required for wired/wireless transmission and reception between the calculation device 10 and the wearable device 20, and the maximum per frame Virtual reality information may be re-rendered based on at least one of the rotation angles (S470).

구체적으로 연산장치(10)는, 다음의 <수식1>에 따라 생략영역의 존재 여부를 결정할 수 있다. Specifically, the arithmetic device 10 may determine whether an omitted area exists according to the following <Equation 1>.

<수식1><Equation 1>

Θv + 2(t(c)+t(m)+1)*Θr Θv + 2(t(c)+t(m)+1)*Θr

이때 Θv 은 시야각이며, Θr 이 프레임당 회전각이다. 또한, t(c)는 착용장치(20)가 연산장치(10)로 움직임 감지결과를 송신하면서 렌더링을 요청하는데 소요되는 시간이며, t(m)은 연산장치(10)가 상기 요청에 따라 재렌더링을 수행하고, 재렌더링 영상을 착용장치(20)로 송신하는데 소요되는 시간으로서, t(c) 및 t(m) 각각의 단위는 프레임이다. t(c) 및 t(m) 각각은 연산장치 및 착용장치 별로 상이할 수 있으며, 이에 가상 현실 디스플레이 시스템이 가상 현실 정보를 디스플레이 하기 이전에 연산장치 및 착용장치 간의 통신을 수행하면서 t(c) 및 t(m) 값을 획득할 수 있다.Here, Θv is the viewing angle, and Θr is the rotation angle per frame. In addition, t(c) is the time required for the wearable device 20 to request rendering while transmitting the motion detection result to the computing device 10, and t(m) is the time required for the computing device 10 to perform the rendering according to the request. As the time required to perform rendering and transmit the re-rendered image to the wearable device 20, each unit of t(c) and t(m) is a frame. Each of t(c) and t(m) may be different for each computing device and wearable device, and thus, while performing communication between the computing device and the wearable device before the virtual reality display system displays virtual reality information, t(c) and t(m) values can be obtained.

예를 들어, 사용자의 시야각 Θv 이 210도이고, 초당 5회전이 가능하며, 가상 현실 정보가 초당 30프레임을 갖는 경우이어서 프레임당 회전각 Θr 이 60도이고, t(c) 및 t(m) 각각이 0.5프레임이라면, 수식1에 따른 값이 360도보다 큰 450도이어서 생략영역이 존재하지 않음을 알 수 있다. 반면, 사용자의 시야각 Θv 이 210도이고, 초당 5회전이 가능하며, 가상 현실 정보가 초당 30프레임을 갖는 경우이어서 프레임당 회전각 Θr 이 60도이고, t(c) 및 t(m) 각각이 0.05프레임이라면, 수식1에 따른 값이 360도보다 작 은 342도이어서 생략영역이 존재함을 알 수 있다.For example, if the user's viewing angle Θv is 210 degrees, 5 rotations per second are possible, and virtual reality information has 30 frames per second, so the rotation angle Θr per frame is 60 degrees, t(c) and t(m) If each frame is 0.5, it can be seen that the omitted area does not exist because the value according to Equation 1 is 450 degrees greater than 360 degrees. On the other hand, when the user's viewing angle Θv is 210 degrees, 5 rotations per second are possible, and the virtual reality information has 30 frames per second, the rotation angle Θr per frame is 60 degrees, and t(c) and t(m) are respectively If it is 0.05 frame, the value according to Equation 1 is 342 degrees smaller than 360 degrees, so it can be seen that there is an omitted area.

상술된 바와 같은 <수식1>에 따라 연산장치(10)가 생략영역이 존재하지 않는다고 결정한다면 사용자의 정면지점을 기준으로 가상 현실 정보를 구면 전체로서 재렌더링할 수 있다.If the calculation device 10 determines that the omitted area does not exist according to <Equation 1> as described above, the virtual reality information may be re-rendered as the entire sphere based on the front point of the user.

반면, <수식1>에 따라 연산장치(10)가 생략영역이 존재한다고 결정하면 사용자의 정면지점을 기준으로 가상 현실 정보를 구면으로 재렌더링하되, 상기 생략영역을 제외한 나머지 영역에 대해서만 재렌더링할 수 있다. On the other hand, if the calculation device 10 determines that an omitted area exists according to <Equation 1>, the virtual reality information is re-rendered as a sphere based on the front point of the user, but only the remaining areas excluding the omitted area are re-rendered. can

관련하여 도 7은 본 발명의 일실시예에 따른 가상 현실 디스플레이 방법을 설명하기 위한 예시도로서, 착용장치(20)를 머리에 착용하고 있는 사용자(U)의 오른쪽 눈을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링하는 모습을 설명하기 위한 것이다. 이때, 도 7의 구면은 설명의 편의상 2차원의 원으로서 표현된다.In relation to this, FIG. 7 is an exemplary view for explaining a virtual reality display method according to an embodiment of the present invention, at least of a spherical surface having the right eye of the user U wearing the wearable device 20 on the head as the center point. This is to explain how virtual reality information is rendered in a partial shape. At this time, the spherical surface of FIG. 7 is expressed as a two-dimensional circle for convenience of explanation.

도 7에서 도시된 바와 같이, 사용자(U)의 정면지점의 반대인 후면지점을 기준으로 좌우 ((360-(Θv+2(t(c)+t(m)+1)*Θr))/2의 각도(730, 740)만큼 구면 렌더링이 생략되는 생략영역(730)을 제외한 나머지 영역(720)으로 가상 현실 정보를 렌더링할 수 있다. As shown in FIG. 7, left and right ((360-(Θv+2(t(c)+t(m)+1)*Θr))/ Virtual reality information may be rendered to the remaining area 720 except for the omitted area 730 in which the spherical rendering is omitted by the angles 730 and 740 of 2.

이와 같이 연산장치(10)가 가상 현실 정보를 재렌더링하면, 상기 재렌더링된 영상을 착용장치로 제공할 수 있다(S480).When the computing device 10 re-renders the virtual reality information as described above, the re-rendered image may be provided to the wearable device (S480).

위의 각 단계들은 가상 현실 디스플레이 시스템(100)이 디스플레이를 종료하는 것을 결정할 때까지 계속적으로 반복될 수 있다 (S490).Each of the above steps may be continuously repeated until the virtual reality display system 100 determines to end the display (S490).

예를 들어 사용자가 가상 현실 정보의 디스플레이 종료를 요청하는 경우 가상 현실 디스플레이 시스템(100)은 디스플레이의 종료를 결정할 수 있으며, 또는 예를 들어, 사용자의 위치가 변경되는 경우(예를 들어 사용자가 착용장치를 착용한 상태로 걷거나 뛰는 경우)이어서 새롭게 제공될 가상 현실 정보에 기초하여 렌더링된 영상이 필요한 경우 가상 현실 디스플레이 시스템(100)은 디스플레이의 종료를 결정하고, 본 발명의 일실시예에 따른 가상 현실 디스플레이 방법에 따른 순서도를 다시 시작할 수 있다.
For example, the virtual reality display system 100 may determine the end of the display when the user requests termination of the display of virtual reality information, or, for example, when the user's position changes (eg, the user wears If you walk or run while wearing the device) and then a rendered image is required based on the virtual reality information to be newly provided, the virtual reality display system 100 determines the end of the display, and You can restart the flow chart according to the reality display method.

한편, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.Meanwhile, the term '~unit' used in this embodiment means software or a hardware component such as a field programmable gate array (FPGA) or ASIC, and '~unit' performs certain roles. However, '~ part' is not limited to software or hardware. '~bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors. Therefore, as an example, '~unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program patent code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.Functions provided within components and '~units' may be combined into smaller numbers of components and '~units' or separated from additional components and '~units'.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다In addition, components and '~units' may be implemented to play one or more CPUs in a device or a secure multimedia card.

도 4를 통해 설명된 실시예에 따른 가상 현실 디스플레이 방법은, 컴퓨팅 장치에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨팅 장치에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. The virtual reality display method according to the embodiment described with reference to FIG. 4 may be implemented in the form of a recording medium including instructions executable by a computing device. Computer readable media can be any available media that can be accessed by a computing device and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media.

또한 본 발명의 일실시예에 따르는 가상 현실 디스플레이 방법은, 컴퓨팅 장치에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다. Also, the virtual reality display method according to an embodiment of the present invention may be implemented as a computer program (or computer program product) including instructions executable by a computing device. A computer program includes programmable machine instructions processed by a processor and may be implemented in a high-level programming language, object-oriented programming language, assembly language, or machine language. . Also, the computer program may be recorded on a tangible computer-readable recording medium (eg, a memory, a hard disk, a magnetic/optical medium, or a solid-state drive (SSD)).

따라서 본 발명의 일실시예에 따르는 가상 현실 디스플레이 방법은, 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다. Accordingly, the virtual reality display method according to an embodiment of the present invention may be implemented by executing the computer program as described above by a computing device. A computing device may include at least some of a processor, a memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to a low-speed bus and a storage device. Each of these components are connected to each other using various buses and may be mounted on a common motherboard or mounted in any other suitable manner.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다. Here, the processor may process commands within the computing device, for example, to display graphic information for providing a GUI (Graphic User Interface) on an external input/output device, such as a display connected to a high-speed interface. Examples include instructions stored in memory or storage devices. As another example, multiple processors and/or multiple buses may be used along with multiple memories and memory types as appropriate. Also, the processor may be implemented as a chipset comprising chips including a plurality of independent analog and/or digital processors.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다. Memory also stores information within the computing device. In one example, the memory may consist of a volatile memory unit or a collection thereof. As another example, the memory may be composed of a non-volatile memory unit or a collection thereof. Memory may also be another form of computer readable medium, such as, for example, a magnetic or optical disk.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다. Also, the storage device may provide a large amount of storage space to the computing device. A storage device may be a computer-readable medium or a component that includes such a medium, and may include, for example, devices in a storage area network (SAN) or other components, such as a floppy disk device, a hard disk device, an optical disk device, or a tape device, flash memory, or other semiconductor memory device or device array of the like.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes, and those skilled in the art can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention. do.

100: 가상 현실 디스플레이 시스템
10: 연산장치 20: 착용장치
110: 정보저장부 120: 렌더링부
130: 연산통신부
210: 착용통신부 220: 움직임감지부
230: 표시부
100: virtual reality display system
10: arithmetic device 20: wearing device
110: information storage unit 120: rendering unit
130: calculation and communication unit
210: Wearable communication unit 220: Motion detection unit
230: display unit

Claims (12)

사용자에게 가상 현실을 디스플레이하는 시스템으로서,
사용자의 양안(兩眼) 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링하는 연산장치; 및
상기 사용자의 머리에 착용되고 상기 연산장치와 유무선통신하며, 상기 연산장치로부터 상기 렌더링된 영상을 수신하여 디스플레이하는 착용장치를 포함하고,
상기 착용장치는, 상기 사용자 고개의 움직임을 감지하면 상기 움직임 감지결과를 상기 연산장치로 송신하고,
상기 연산장치는, 상기 감지결과를 수신하면, 상기 움직임에 따라 변경된 사용자의 정면지점, 상기 사용자의 시야각정보, 프레임당 최대회전각 및 상기 연산장치 및 상기 착용장치 간의 송수신 시간 중 적어도 하나에 기초하여 가상 현실 정보를 재렌더링하되, 상기 구면의 생략영역을 결정하고, 상기 생략영역 이외의 영역을 재렌더링하여 상기 재렌더링된 영상을 상기 착용장치로 제공하며,
상기 연산장치는, 상기 재렌더링된 영상 중에서 착용장치로 송신되지 않았던 영상만을 송신하고,
상기 착용장치는, 상기 사용자의 시야각정보에 기초하여 상기 시야각 범위 내의 렌더링된 영상을 디스플레이하되,
상기 사용자 고개의 움직임을 감지함에 따라, 기수신되어 저장된 렌더링 영상 중 디스플레이되고 있지 않은 렌더링 영상을, 상기 움직임에 따라 변경된 정면지점에 기초하여 디스플레이하는 것을 특징으로 하는 가상 현실 디스플레이 시스템.
A system for displaying virtual reality to a user, comprising:
an arithmetic unit that renders virtual reality information in the shape of at least a portion of a sphere having both eyes of the user as a central point; and
a wearing device worn on the user's head, communicating with the computing device by wire or wirelessly, and receiving and displaying the rendered image from the computing device;
When the wearable device detects the movement of the user's head, the movement detection result is transmitted to the calculation device;
When receiving the detection result, the calculation device, based on at least one of the front point of the user changed according to the movement, the user's viewing angle information, the maximum rotation angle per frame, and the transmission/reception time between the calculation device and the wearable device Re-rendering virtual reality information, determining an omitted area of the sphere, re-rendering an area other than the omitted area, and providing the re-rendered image to the wearing device;
The calculation device transmits only images that have not been transmitted to the wearing device among the re-rendered images;
The wearing device displays a rendered image within the viewing angle range based on the viewing angle information of the user,
The virtual reality display system, characterized in that, as the movement of the user's head is sensed, a rendered image that is not being displayed among the previously received and stored rendered images is displayed based on the front point changed according to the movement.
제 1 항에 있어서,
상기 연산장치는 추가적으로, 구면의 일부의 형상으로 상기 가상 현실 정보를 렌더링하되, 상기 사용자의 고개 움직임 속도를 나타내는 속도정보 및 상기 사용자의 시야각정보에 기초하여 상기 가상 현실 정보를 렌더링하는, 가상 현실 디스플레이 시스템.
According to claim 1,
The computing device additionally renders the virtual reality information in a shape of a part of a spherical surface, and renders the virtual reality information based on speed information indicating a head movement speed of the user and viewing angle information of the user, a virtual reality display. system.
삭제delete 삭제delete 사용자의 머리에 착용되는 착용장치 및 상기 착용장치와 유무선통신하는 연산장치를 포함하는 가상 현실 디스플레이 시스템이, 상기 사용자에게 가상 현실을 디스플레이하는 방법으로서,
상기 연산장치가, 사용자의 양안(兩眼) 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 상기 가상 현실 정보를 렌더링하는 단계;
상기 연산장치가, 상기 렌더링된 영상을 상기 착용장치로 제공하는 단계; 및
상기 착용장치가, 상기 연산장치로부터 수신된 상기 렌더링된 영상을 디스플레이하는 단계를 포함하고,
상기 방법은,
상기 착용장치가, 상기 사용자 고개의 움직임을 감지하면 상기 움직임 감지결과를 상기 연산장치로 송신하는 단계;
상기 연산장치가, 상기 감지결과를 수신하면, 상기 움직임에 따라 변경된 사용자의 정면지점, 상기 사용자의 시야각정보, 프레임당 최대회전각 및 상기 연산장치 및 상기 착용장치 간의 송수신 시간 중 적어도 하나에 기초하여 상기 구면의 생략영역을 결정하고, 상기 생략영역 이외의 영역에 해당하는 가상 현실 정보를 재렌더링하는 단계; 및
상기 연산장치가, 상기 재렌더링된 영상 중에서 착용장치로 송신되지 않았던 영상만을 상기 착용장치로 제공하는 단계를 더 포함하고,
상기 디스플레이하는 단계는,
상기 사용자의 시야각정보에 기초하여 상기 시야각 범위 내의 렌더링된 영상을 디스플레이하는 단계를 포함하고,
상기 시야각 범위 내의 렌더링된 영상을 디스플레이하는 단계는,
상기 사용자 고개의 움직임을 감지함에 따라, 기수신되어 저장된 렌더링 영상 중 디스플레이되고 있지 않은 렌더링 영상을, 상기 움직임에 따라 변경된 정면지점에 기초하여 디스플레이하는 단계를 더 포함하는, 가상 현실 디스플레이 방법.
A method of displaying virtual reality to a user in a virtual reality display system including a wearable device worn on a user's head and an arithmetic device that communicates with the wearable device by wire or wirelessly, comprising:
rendering, by the arithmetic device, the virtual reality information in the shape of at least a part of a spherical surface having each of the user's both eyes as a central point;
providing, by the computing device, the rendered image to the wearing device; and
Displaying, by the wearing device, the rendered image received from the computing device;
The method,
transmitting, by the wearing device, a motion detection result to the calculating device when the motion of the user's head is detected;
When the calculation device receives the detection result, based on at least one of the user's front point changed according to the movement, the user's viewing angle information, the maximum rotation angle per frame, and the transmission/reception time between the calculation device and the wearable device. determining an omitted area of the sphere and re-rendering virtual reality information corresponding to an area other than the omitted area; and
The operation device further includes providing only images that have not been transmitted to the wearing device among the re-rendered images to the wearing device;
The displaying step is
Displaying a rendered image within the viewing angle range based on the viewing angle information of the user;
The step of displaying the rendered image within the viewing angle range,
The virtual reality display method further comprising the step of displaying a rendered image that is not being displayed among previously received and stored rendered images based on a front point that is changed according to the movement, as the movement of the user's head is sensed.
제 5 항에 있어서,
상기 렌더링하는 단계는,
구면의 일부의 형상으로 상기 가상 현실 정보를 렌더링하되, 상기 사용자의 고개 움직임 속도를 나타내는 속도정보 및 상기 사용자의 시야각정보에 기초하여 상기 가상 현실 정보를 렌더링하는 단계를 포함하는, 가상 현실 디스플레이 방법.
According to claim 5,
In the rendering step,
Rendering the virtual reality information in a shape of a part of a spherical surface, and rendering the virtual reality information based on speed information indicating a head movement speed of the user and viewing angle information of the user. Virtual reality display method.
삭제delete 삭제delete 삭제delete 삭제delete 제 5 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록매체.A computer-readable recording medium on which a program for performing the method according to claim 5 is recorded. 가상 현실 디스플레이 시스템에 의해 수행되며 제 5 항에 기재된 방법을 수행하기 위해 기록매체에 저장된 컴퓨터 프로그램.A computer program stored on a recording medium for performing the method according to claim 5 and executed by a virtual reality display system.
KR1020150073958A 2015-05-27 2015-05-27 System and method for virtual reality display KR102547245B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150073958A KR102547245B1 (en) 2015-05-27 2015-05-27 System and method for virtual reality display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150073958A KR102547245B1 (en) 2015-05-27 2015-05-27 System and method for virtual reality display

Publications (2)

Publication Number Publication Date
KR20160139318A KR20160139318A (en) 2016-12-07
KR102547245B1 true KR102547245B1 (en) 2023-06-22

Family

ID=57573067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150073958A KR102547245B1 (en) 2015-05-27 2015-05-27 System and method for virtual reality display

Country Status (1)

Country Link
KR (1) KR102547245B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2606889B (en) * 2017-06-09 2023-02-08 Displaylink Uk Ltd Using headset movement for compression
GB2577024B (en) * 2017-06-09 2022-08-03 Displaylink Uk Ltd Using headset movement for compression
KR102374408B1 (en) 2017-09-08 2022-03-15 삼성전자주식회사 Method for controlling a pointer in a screen of virtual reality and electronic device
KR102586011B1 (en) * 2018-08-08 2023-10-10 주식회사 언택아이시티 Sysyem for provinding virtual reality service and method therefor

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980023727A (en) * 1996-09-30 1998-07-06 배순훈 Virtual Reality System for Displaying Panoramic Images
US8405672B2 (en) * 2009-08-24 2013-03-26 Samsung Display Co., Ltd. Supbixel rendering suitable for updating an image with a new portion
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
KR20140061620A (en) * 2012-11-13 2014-05-22 삼성전자주식회사 System and method for providing social network service using augmented reality, and devices

Also Published As

Publication number Publication date
KR20160139318A (en) 2016-12-07

Similar Documents

Publication Publication Date Title
US11727619B2 (en) Video pipeline
US10241470B2 (en) No miss cache structure for real-time image transformations with data compression
EP3488315B1 (en) Virtual reality display system having world and user sensors
EP3334148A1 (en) Ocular video stabilization
US20180350032A1 (en) Smoothly varying foveated rendering
US10398976B2 (en) Display controller, electronic device, and virtual reality device
CN107810633B (en) Three-dimensional rendering system
US20190026864A1 (en) Super-resolution based foveated rendering
US8970495B1 (en) Image stabilization for color-sequential displays
US9165381B2 (en) Augmented books in a mixed reality environment
US10672368B2 (en) No miss cache structure for real-time image transformations with multiple LSR processing engines
US10242654B2 (en) No miss cache structure for real-time image transformations
US20160025982A1 (en) Smart transparency for holographic objects
JP6736944B2 (en) Information processing device, information processing method, and program
US20150097772A1 (en) Gaze Signal Based on Physical Characteristics of the Eye
US10643579B2 (en) HMD device and method for controlling same
KR102547245B1 (en) System and method for virtual reality display
US20190020869A1 (en) Non-planar computational displays
US20110149043A1 (en) Device and method for displaying three-dimensional images using head tracking
WO2019160699A3 (en) Using tracking of display device to control image display
KR20190095257A (en) System and method for preventing boundary artifacts
TW202232333A (en) High throughput storage encryption
KR20170004816A (en) Display apparatus and control method thereof
US20210192847A1 (en) Method and device for content placement
US11366318B2 (en) Electronic device and control method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant