KR102547245B1 - System and method for virtual reality display - Google Patents
System and method for virtual reality display Download PDFInfo
- Publication number
- KR102547245B1 KR102547245B1 KR1020150073958A KR20150073958A KR102547245B1 KR 102547245 B1 KR102547245 B1 KR 102547245B1 KR 1020150073958 A KR1020150073958 A KR 1020150073958A KR 20150073958 A KR20150073958 A KR 20150073958A KR 102547245 B1 KR102547245 B1 KR 102547245B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- virtual reality
- information
- movement
- rendering
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
본 발명은 가상 현실 디스플레이 시스템 및 방법에 관한 것이다. 본 발명의 제 1 측면에 따르면 사용자에게 가상 현실을 디스플레이하는 시스템으로서, 사용자의 양안(兩眼) 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링하는 연산장치, 및 상기 사용자의 머리에 착용되고 상기 연산장치와 유무선통신하며, 상기 연산장치로부터 상기 렌더링된 영상을 수신하여 디스플레이하는 착용장치를 포함할 수 있다.The present invention relates to a virtual reality display system and method. According to a first aspect of the present invention, a system for displaying virtual reality to a user includes: an arithmetic device that renders virtual reality information in the shape of at least a portion of a spherical surface with both eyes of the user as a central point; and It may include a wearable device that is worn on the head, communicates with the computing device by wire or wirelessly, and receives and displays the rendered image from the computing device.
Description
본 발명은 가상 현실 디스플레이 시스템 및 방법에 관한 것으로, 보다 상세하게는 사용자의 움직임에 따른 영상의 변화 지연 시간을 최소화시키는 가상 현실 디스플레이 시스템 및 방법에 관한 것이다.The present invention relates to a virtual reality display system and method, and more particularly, to a virtual reality display system and method for minimizing a delay time for changing an image according to a user's movement.
최근 정보화시대가 급속히 발전함에 따라 현실감 있는 화면을 구현하는 디스플레이 장치의 중요성이 강조되고 있으며, 일 예로서 사용자의 머리에 장착되는 디스플레이 장치, 즉, HMD(head mounted display)장치가 새로운 디스플레이 장치로서 각광받고 있다. HMD장치는 주로 보안경이나 헬멧형 기기로 사용자의 머리에 착용될 수 있으며, 양쪽 눈에 근접한 위치에 액정 등의 소형 디스플레이가 설치되어 영상을 투영하는 방식으로 가상현실감을 실현한다. Recently, with the rapid development of the information age, the importance of a display device that implements a realistic screen is being emphasized. are receiving The HMD device is mainly a safety goggles or helmet-type device that can be worn on the user's head, and a small display such as a liquid crystal is installed near both eyes to realize virtual reality by projecting an image.
HMD장치는 일반적으로, HMD장치 외부에 위치하는 기기로부터 영상을 수신하여 투영하며, 이를 위해 외부기기와 유무선통신을 수행한다. 이때 가상현실감을 실현하기 위한 영상은 그 데이터양이 큰 것이 일반적이어서 HMD장치가 수신하는 데이터양이 클 수밖에 없다. Generally, an HMD device receives and projects an image from a device located outside the HMD device, and performs wired/wireless communication with an external device for this purpose. At this time, since the amount of data for realizing the virtual reality is generally large, the amount of data received by the HMD device is inevitably large.
한편 HMD장치의 주목적이 사용자에게 가상현실감을 제공하는 것임에 따라, 사용자의 움직임을 감지(예를 들어 사용자가 고개를 돌림을 감지)하면 상기 움직임이 반영된 영상이 제공되어야 한다. 즉, HMD 장치는 사용자의 움직임을 감지하자마자 그 움직임에 대응되는 영상을 투영시켜야 하나, 현실적으로, 움직임이 반영된 영상이 외부기기에 의해 연산됨에 따라 HMD장치가 상기 영상을 수신하고 디스플레이하는 데에 많은 시간이 걸리고, 또한, 변화가 반영된 데이터양이 큰 것이 일반적이어서, 사용자의 움직임이 발생된 시점과 상기 움직임이 반영된 영상이 투영되는 시점 간에 지연이 발생될 수밖에 없다. 이는 사용자의 인지에 방해되는 정도의 지연이며 이는 사용자로 하여금 멀미를 느끼게 하고 HMD장치의 착용에 불편을 느끼게 한다.Meanwhile, as the main purpose of the HMD device is to provide a user with a sense of virtual reality, when a user's movement is detected (for example, the user's head turns), an image reflecting the movement should be provided. That is, the HMD device should project an image corresponding to the user's movement as soon as it detects the user's movement, but in reality, as the image reflecting the movement is calculated by an external device, the HMD device takes a long time to receive and display the image. In addition, since the amount of data reflecting the change is generally large, a delay inevitably occurs between the time when the user's movement is generated and the time when the image reflecting the movement is projected. This is a delay that interferes with the user's perception, which makes the user feel motion sickness and discomfort in wearing the HMD device.
한편 선행기술 문헌인 한국특허공개번호 제10-2015-0041448호에서는, 안경형 단말기를 통해 보이는 실시간 이미지 내에서 사용자가 원하는 정보를 용이하고 빠르게 처리할 수 있는 안경형 단말기의 제어 방법을 제안한다. 그러나 이와 같은 선행기술 문헌에서도 상술된 문제점을 해결하고 있지 못하다.Meanwhile, Korean Patent Publication No. 10-2015-0041448, which is a prior art document, proposes a method for controlling a glasses-type terminal that can easily and quickly process information desired by a user in a real-time image seen through the glasses-type terminal. However, even these prior art documents do not solve the above-mentioned problems.
따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.Therefore, a technique for solving the above problems has been required.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the above-mentioned background art is technical information that the inventor possessed for derivation of the present invention or acquired in the process of derivation of the present invention, and cannot necessarily be said to be known art disclosed to the general public prior to filing the present invention. .
본 발명의 일실시예는 가상 현실 디스플레이 시스템 및 방법을 제시하는 데에 목적이 있다. One embodiment of the present invention aims to present a virtual reality display system and method.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따르면 사용자에게 가상 현실을 디스플레이하는 시스템으로서, 사용자의 양안 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링하는 연산장치, 및 상기 사용자의 머리에 착용되고 상기 연산장치와 유무선통신하며, 상기 연산장치로부터 상기 렌더링된 영상을 수신하여 디스플레이하는 착용장치를 포함할 수 있다.As a technical means for achieving the above-described technical problem, according to a first aspect of the present invention, a system for displaying virtual reality to a user, rendering virtual reality information in the shape of at least a part of a spherical surface having each of the user's both eyes as a central point and a wearable device that is worn on the user's head, communicates with the computing device by wire or wirelessly, and receives and displays the rendered image from the computing device.
본 발명의 제 2 측면에 따르면, 사용자의 머리에 착용되는 착용장치 및 상기 착용장치와 유무선통신하는 연산장치를 포함하는 가상 현실 디스플레이 시스템이, 상기 사용자에게 가상 현실을 디스플레이하는 방법으로서, 상기 연산장치가, 사용자의 양안 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 상기 가상 현실 정보를 렌더링하는 단계, 상기 연산장치가, 상기 렌더링된 영상을 상기 착용장치로 제공하는 단계, 및 상기 착용장치가, 상기 연산장치로부터 수신된 상기 렌더링된 영상을 디스플레이하는 단계를 포함할 수 있다.According to a second aspect of the present invention, a virtual reality display system including a wearable device worn on a user's head and an arithmetic device that communicates with the wearable device by wire or wirelessly is a method for displaying virtual reality to the user, the arithmetic device A, rendering the virtual reality information in the shape of at least a portion of a sphere having both eyes of the user as a central point, providing, by the computing device, the rendered image to the wearing device, and the wearing device, and displaying the rendered image received from the computing device.
본 발명의 제 3 측면에 따르면, 가상 현실 디스플레이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록매체이며, 상기 가상 현실 디스플레이 방법은, 연산장치가, 사용자의 양안 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링하는 단계, 상기 연산장치가, 상기 렌더링된 영상을 착용장치로 제공하는 단계, 및 상기 착용장치가, 상기 연산장치로부터 수신된 상기 렌더링된 영상을 디스플레이하는 단계를 포함할 수 있다.According to a third aspect of the present invention, a computer readable recording medium on which a program for performing a virtual reality display method is recorded, wherein the virtual reality display method includes an arithmetic device, at least a portion of a spherical surface having both eyes of a user as a center point. Rendering virtual reality information in the shape of , providing, by the computing device, the rendered image to a wearing device, and displaying, by the wearing device, the rendered image received from the computing device. can do.
본 발명의 제 4 측면에 따르면, 사용자의 머리에 착용되는 착용장치 및 상기 착용장치와 유무선통신하는 연산장치를 포함하는 가상 현실 디스플레이 시스템에 의해 수행되며, 상기 연산장치가, 사용자의 양안 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 상기 가상 현실 정보를 렌더링하는 단계, 상기 연산장치가, 상기 렌더링된 영상을 상기 착용장치로 제공하는 단계, 및 상기 착용장치가, 상기 연산장치로부터 수신된 상기 렌더링된 영상을 디스플레이하는 단계를 포함하는 가상 현실 디스플레이 방법을 수행하기 위해 기록매체에 저장된 컴퓨터 프로그램일 수 있다.According to a fourth aspect of the present invention, it is performed by a virtual reality display system including a wearable device worn on a user's head and an arithmetic device that communicates with the wearable device by wire or wirelessly, wherein the arithmetic device sets both eyes of the user as a central point. Rendering the virtual reality information in the shape of at least a portion of a spherical surface, providing, by the computing device, the rendered image to the wearing device, and by the wearing device, the rendering received from the computing device. It may be a computer program stored in a recording medium to perform a virtual reality display method comprising the step of displaying an image.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일실시예는 가상 현실 디스플레이 시스템 및 방법을 제시할 수 있다. According to any one of the above-described problem solving means of the present invention, one embodiment of the present invention can present a virtual reality display system and method.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 가상 현실 정보를 렌더링하고 디스플레이함에 있어, 렌더링된 영상과 사용자의 움직임 간의 부조화를 최소화시켜 사용자가 느끼는 멀미를 없앨 수 있으며 그 결과 사용자가 렌더링된 가상 현실 정보를 쾌적하게 즐길 수 있다.In addition, according to any one of the problem solving means of the present invention, in rendering and displaying virtual reality information, it is possible to eliminate the user's motion sickness by minimizing the dissonance between the rendered image and the user's motion, and as a result, the user is rendered You can enjoy virtual reality information comfortably.
아울러, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 가상 현실을 디스플레이하는데 소요되는 연산량을 최소화시킬 수 있고, 연산결과인 데이터양 또한 최소화시킬 수 있어 데이터 송신에 소요되는 리소스의 낭비를 줄이고 빠른 시간 내에 데이터를 송수신할 수 있다.In addition, according to any one of the problem solving means of the present invention, the amount of calculation required to display virtual reality can be minimized, and the amount of data that is the result of the calculation can also be minimized, reducing waste of resources required for data transmission and speeding up time data can be transmitted and received within
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below. will be.
도 1은 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템에 포함되는 연산장치를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템에 포함되는 착용장치를 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 가상 현실 디스플레이 방법을 설명하기 위한 순서도이다.
도 5 내지 도 7은 본 발명의 일실시예에 따른 가상 현실 디스플레이 방법을 설명하기 위한 예시도이다.1 is a configuration diagram of a virtual reality display system according to an embodiment of the present invention.
2 is a block diagram illustrating an arithmetic device included in a virtual reality display system according to an embodiment of the present invention.
3 is a block diagram illustrating a wearable device included in a virtual reality display system according to an embodiment of the present invention.
4 is a flowchart illustrating a virtual reality display method according to an embodiment of the present invention.
5 to 7 are exemplary diagrams for explaining a virtual reality display method according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice the present invention with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a certain component is said to "include", it means that it may further include other components without excluding other components unless otherwise stated.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템(100)의 구성도이며, 도 2는 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템(100)에 포함되는 연산장치(10)를 도시한 블록도이고, 도 3은 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템(100)에 포함되는 착용장치(20)를 도시한 블록도이다.1 is a configuration diagram of a virtual
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 가상 현실 디스플레이 시스템(100)은 연산장치(10) 및 착용장치(20)를 포함할 수 있다.As shown in FIG. 1 , a virtual
이와 같은 연산장치(10) 및 착용장치(20)는 유무선 통신을 수행할 수 있다. 예를 들어, 연산장치(10) 및 착용장치(20)는 각 장치에 포함되는 WiDi(Wireless Display) 모듈을 통해 서로 무선 통신을 수행할 수 있다. 추가적으로 연산장치(10) 및 착용장치(20)는 유선 네트워크를 통해서도 유선 통신을 수행할 수 있으며, 또한 무선 네트워크를 통해서도 무선 통신을 수행할 수 있다.The
한편, 연산장치(10)는, 사용자가 좌안(左眼) 시점 및 우안(右眼) 시점 각각으로 가상 현실 정보(예를 들어3차원의 가상공간을 구성하는 구성요소)를 주시할 때 상기 가상 현실 정보가 현실감을 줄 수 있도록 상기 정보를 각각 구면으로 렌더링하고 착용장치(20)로 송신할 수 있다.On the other hand, the
이를 위해 연산장치(10)는, 도 2에서 도시된 바와 같이 정보저장부(110), 렌더링부(120) 및 연산통신부(130)를 포함할 수 있다.To this end, the
본 발명의 일실시예에 따른 정보저장부(110)는 가상 현실 정보를 저장할 수 있다. 이때 저장되는 가상 현실 정보는 영상으로 렌더링되기 이전의 상기 영상 구성요소에 관한 정보이어서, 착용장치(20)에 맞게 상기 가상 현실 정보가 디스플레이되기 위해서는 렌더링부(120)에 의해 렌더링 과정을 거쳐야 한다.The
한편 렌더링부(120)는 가상 현실 정보를 렌더링할 수 있다. Meanwhile, the rendering
즉 렌더링부(120)는, 사용자의 양쪽 눈 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링할 수 있다.That is, the
예를 들어, 렌더링부(120)는, 렌더링된 영상을 주시하는 사용자를 에워싸면서 사용자의 각 눈이 중심점인 구면으로 가상 현실 정보를 렌더링할 수 있다.For example, the
또한 예를 들어, 렌더링부(120)는, 렌더링된 영상을 주시하는 사용자를 에워싸면서 사용자의 각 눈이 중심점이 구면의 일부의 형상으로 렌더링할 수 있다. 이를 위해 렌더링부(120)는 사용자의 시야각정보 및 속도정보에 기초하여 가상 현실 정보를 렌더링할 수 있다. 여기서 ‘시야각정보’는 사용자가 눈으로 볼 수 있는 최대의 각도를 의미하며, 예를 들어, 사용자가 정면을 바라보고 있을 때 좌우 최대 시야각 또는 상하 최대 시야각에 관한 정보를 포함할 수 있다. 또한 ‘속도정보’는 정면을 바라보는 사용자가 고개를 움직였을 때의 속도를 의미한다.Also, for example, the
또한 렌더링부(120)는 착용장치(20)로부터, 사용자가 고개를 움직였음을 감지함에 따라 생성되는 움직임 감지결과를 수신하면 상기 감지결과에 기초하여 가상 현실 정보를 재(再)렌더링할 수 있다. In addition, the
예를 들어 렌더링부(120)는 상기 감지결과에 기초하여 사용자의 정면지점(사용자가 눈동자를 돌리지 않고 편안한 상태에서 정면을 바라봤을 때의 지점), 사용자의 시야각정보, 연산장치(10) 및 착용장치(20) 간의 유무선 송수신에 소요되는 시간, 및 프레임당 최대회전각 중 적어도 하나에 기초하여, 가상 현실 정보를 구면으로 렌더링하였을 때 렌더링이 생략가능한 영역, 즉, 생략영역을 결정하고, 상기 생략영역 이외의 영역을 재렌더링할 수 있다. 만약 렌더링부(120)가 생략영역을 결정하지 못한다면 렌더링부(120)는 가상 현실 정보를 구면 전체로서 재렌더링할 수 있다.For example, the
한편 연산통신부(130)는 착용장치(20)와 유무선통신을 수행할 수 있다. Meanwhile, the operation and
따라서 연산통신부(130)는 렌더링 영상을 착용장치(20)로 송신할 수 있으며, 착용장치(20)로부터 사용자의 움직임 감지결과를 수신할 수 있다.Accordingly, the operation and
또한 연산통신부(130)는, 재렌더링된 영상을 착용장치(20)로 송신할 수 있으며, 이때 연산통신부(130)는 재렌더링된 영상 모두를 착용장치(20)로 송신할 수 있고, 또는 재렌더링된 영상 중에서 착용장치(20)로 송신되지 않았던 영상만을 착용장치(20)로 송신할 수 있다.In addition, the calculation and
상술된 바에 따른 정보저장부(110), 렌더링부(120) 및 연산통신부(130)를 포함하는 연산장치(10)는 예를 들어, WiDi모듈이 탑재된 컴퓨터나 휴대용 단말기, 텔레비전 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 노트북, 데스크톱(desktop) 또는 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다.The
한편 본 발명의 일실시예에 따른 착용장치(20)는 사용자의 머리에 착용되며, 렌더링된 가상 현실 정보를 연산장치(10)로부터 수신하여 디스플레이하는 장치이다. Meanwhile, the wearing
이와 같은 착용장치(20)는 도 3에서 도시된 바와 같이, 착용통신부(210), 움직임감지부(220) 및 표시부(230)를 포함할 수 있다.As shown in FIG. 3 , such a
본 발명의 일 실시예에 따른 착용통신부(210)는 연산장치(10)와 유무선 통신을 수행할 수 있다. The
이에 착용통신부(210)는 연산장치(10)로부터 렌더링된 영상을 수신할 수 있으며, 또는 움직임감지부(220)에 의해 획득된 사용자의 움직임 감지결과를 연산장치(10)로 송신할 수 있다.Accordingly, the
한편 움직임감지부(220)는 사용자의 고개 움직임을 감지할 수 있다. 착용장치(20)가 사용자의 머리에 착용됨에 따라 움직임감지부(220)는 사용자의 고개가 이동한 각도, 방향, 속도 등을 감지하여 움직임 감지결과를 생성할 수 있다.Meanwhile, the
이를 위해 움직임감지부(220)는 각종 센서로 구현될 수 있으며, 예를 들어, 가속도계, 자이로스코프 센서들로 구현될 수 있다.To this end, the
또한 움직임감지부(220)는 사용자의 움직임 감지결과가, 착용통신부(210)를 통해 연산장치(10)로 송신되도록 할 수 있다.In addition, the
예를 들어 움직임감지부(220)는 사용자 고개의 움직임 범위가 소정의 범위 이상인 경우, 예를 들어, 사용자의 고개가 이동한 각도가, 소정의 범위(예를 들어, 프레임당 최대 회전각) 이상인 경우 상기 움직임 감지결과가 연산장치(10)로 송신되도록 할 수 있다.For example, when the movement range of the user's head is greater than or equal to a predetermined range, the
한편 표시부(230)는, 연산장치(10)로부터 수신된 영상을 디스플레이할 수 있다. Meanwhile, the
이때 표시부(230)는 수신된 영상 전부를 디스플레이할 수 있으나, 사용자의 시야각정보에 기초하여 사용자의 시야각범위 내의 영상을 선택하여 디스플레이할 수 있다. 또한 표시부(230)는, 움직임 감지부(220)에 의해 획득된 사용자의 움직임 감지결과에 따라 사용자의 움직임을 감지하면, 기수신되어 저장된 렌더링 영상 중 디스플레이되고 있지 않은 렌더링 영상을, 상기 움직임에 따라 변경된 정면지점에 기초하여 디스플레이할 수 있다.At this time, the
이와 같이 착용통신부(210), 움직임감지부(220) 및 표시부(230)를 포함하는 착용장치(20)는 사용자의 코와 귀들 위에 놓일 수 있는 안경과 유사한 바디 또는 프레임을 포함하도록 구현되거나, 또는 사용자의 머리를 에워쌀 수 있는 헬멧과 유사한 바디 또는 프레임을 포함하도록 구현될 수 있다. 그리고, 착용장치(20)는 표시부(230)에 의해 디스플레이될 영상을, 사용자의 양 눈 전면에 위치하는 디스플레이 장치를 통해 디스플레이할 수 있다.
In this way, the wearing
한편, 도 4는 본 발명의 일실시예에 따른 가상 현실 디스플레이 방법을 설명하기 위한 순서도이다. Meanwhile, FIG. 4 is a flowchart illustrating a virtual reality display method according to an embodiment of the present invention.
도 4에 도시된 실시예에 따른 가상 현실 디스플레이 방법은 도 1 내지 도 3에 도시된 가상 현실 디스플레이 시스템(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 3에 도시된 가상 현실 디스플레이 시스템(100)에 관하여 이상에서 기술한 내용은 도 4에 도시된 실시예에 따른 가상 현실 디스플레이 방법에도 적용될 수 있다.The virtual reality display method according to the embodiment shown in FIG. 4 includes steps processed time-sequentially in the virtual
가상 현실 디스플레이 시스템(100)이 가상 현실 정보를 사용자에게 제공하고자 할 때, 도 4에서 도시된 바와 같이, 연산장치(10)는, 착용장치(20)를 통해 디스플레이될 가상 현실 정보를 렌더링할 수 있다 (S400). 이때 연산장치(10)는 사용자의 양 눈을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링할 수 있다.When the virtual
관련하여 도 5 및 도 6 각각은 본 발명의 일실시예에 따른 가상 현실 디스플레이 방법을 설명하기 위한 예시도로서, 착용장치(20)를 머리에 착용하고 있는 사용자(U)의 양 눈 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링하는 모습을 설명하기 위한 것이다. 이때, 도 5및 도 6의 구면은 설명의 편의상 2차원의 원으로서 표현된다.In relation to FIGS. 5 and 6, each is an exemplary view for explaining a virtual reality display method according to an embodiment of the present invention, and each of the eyes of the user U wearing the
즉, 도 5에서 도시된 바와 같이, 연산장치(10)는, 착용장치(20)를 머리에 착용하고 있는 사용자(U)를 에워싸면서 사용자(U)의 왼쪽 눈을 중심점으로 하는 구면(510)으로 가상 현실 정보를 렌더링할 수 있다. 또한 연산장치(10)는 사용자(U)를 에워싸면서 사용자(U)의 오른쪽 눈을 중심점으로 하는 구면(520)으로 가상 현실 정보를 렌더링할 수 있다. 즉, 연산장치(10)는 사용자(U)의 양안(兩眼; 양쪽눈)을 중심점으로 하는 구면으로, 가상 현실 정보를 렌더링할 수 있다.That is, as shown in FIG. 5 , the
한편, 사용자(U)가 한번에 볼 수 있는 시야가 정해져 있다는 점에 착안하여, 도 6에서 도시된 바와 같이, 연산장치(10)는 사용자(U)의 시야각(612, 622)에 따라 디스플레이할 영역(511, 521)과, 사용자(U)가 고개를 움직일 경우를 대비하여 사용자(U)의 고개 움직임 속도(V)에 따라 디스플레이될 수도 있는 영역(611, 621)을 포함하는 구면의 일부 영역(610, 620)으로, 가상 현실 정보를 렌더링할 수 있다. 즉, 예를 들어, 사용자(U)의 시야각(612, 622)이 170도이고, 사용자(U)가 1/60초에 20도의 속도(V)로 고개를 돌릴 수 있다고 가정하면, 연산장치(10)는 210도(=170+(20*2))의 범위에 대응되는 구면의 일부 형상으로 영상을 렌더링할 수 있다. 이와 같이 구면의 일부 영역으로 가상 현실 정보를 렌더링함으로써 연산장치(10)는 렌더링 영상의 생성에 소요되는 시간 및 리소스를 최소화시킬 수 있고, 렌더링 영상의 데이터양을 최소화시켜 렌더링 영상의 송수신을 위한 인코딩/디코딩에 따른 시간 소요를 최소화시킬 수 있으며 또한 송수신되는 데이터양도 최소화시킬 수 있다.On the other hand, in view of the fact that the field of view that the user U can see at one time is determined, as shown in FIG. 6, the
연산장치(10)가 가상 현실 정보의 렌더링을 완료하면, 상기 렌더링 영상을 착용장치(20)로 제공할 수 있다 (S410). When the
그리고 착용장치(20)는 수신된 렌더링 영상을 저장하고 디스플레이할 수 있다 (S420). 이때 착용장치(20)는 수신된 렌더링 영상 전부를 디스플레이할 수도 있고, 또는 사용자(U)의 시야각정보에 기초하여 수신된 렌더링 영상 중 일부를 디스플레이할 수 있다. And, the wearing
관련하여, 도 5에서 도시된 바와 같이, 구면 전체로서 렌더링된 영상을 수신한 착용장치(20)는, 구면(510, 520) 일부분(511, 512)의 영상만을 디스플레이할 수 있다. 또한 도 6에서 도시된 바와 같이 구면의 일부로서 렌더링 영상을 수신한 착용장치(20)는, 구면의 일부 영역(610, 620) 일부분(511, 512)의 영상만을 디스플레이할 수 있다.In this regard, as shown in FIG. 5 , the wearing
그리고, 착용장치(20)는 사용자의 움직임을 감지하면(S430), 기수신되어 저장된 렌더링 영상 중 디스플레이되지 않은 렌더링 영상을, 사용자의 움직임에 따라 변경된 정면지점에 기초하여 디스플레이할 수 있다 (S440). 예를 들어 도 6을 참조하면, 사용자(U)가 오른쪽 방향으로 움직임이 감지되면, 착용장치(20)는 기수신되어 저장된 렌더링 영상 중 디스플레이되고 있던 영상(511, 521)이 아닌, 디스플레이되고 있지 않은 영역(621)의 렌더링 영상을 디스플레이할 수 있다. 이를 통해 사용자의 움직임에 대한 피드백 속도가 높아질 수 있어, 사용자는 자신의 움직임과 렌더링 영상 간의 부조화를 느끼지 않으면서 멀미 없이 가상 현실을 즐길 수 있다.Then, when the wearing
한편 착용장치(20)가 사용자의 움직임을 감지할 때, 사용자 고개의 움직임 각도가 프레임당 최대회전각보다 크거나 같은 경우 (S450), 착용장치(20)는 움직임 감지결과를 연산장치(10)로 송신할 수 있다 (S460). Meanwhile, when the
연산장치(10)가 상기 감지결과를 수신하면, 움직임에 따라 변경된 사용자의 정면지점, 사용자의 시야각정보, 연산장치(10) 및 착용장치(20) 간의 유무선 송수신에 소요되는 시간, 및 프레임당 최대회전각 중 적어도 하나에 기초하여 가상 현실 정보를 다시 렌더링할 수 있다 (S470).When the
구체적으로 연산장치(10)는, 다음의 <수식1>에 따라 생략영역의 존재 여부를 결정할 수 있다. Specifically, the
<수식1><Equation 1>
Θv + 2(t(c)+t(m)+1)*Θr Θv + 2(t(c)+t(m)+1)*Θr
이때 Θv 은 시야각이며, Θr 이 프레임당 회전각이다. 또한, t(c)는 착용장치(20)가 연산장치(10)로 움직임 감지결과를 송신하면서 렌더링을 요청하는데 소요되는 시간이며, t(m)은 연산장치(10)가 상기 요청에 따라 재렌더링을 수행하고, 재렌더링 영상을 착용장치(20)로 송신하는데 소요되는 시간으로서, t(c) 및 t(m) 각각의 단위는 프레임이다. t(c) 및 t(m) 각각은 연산장치 및 착용장치 별로 상이할 수 있으며, 이에 가상 현실 디스플레이 시스템이 가상 현실 정보를 디스플레이 하기 이전에 연산장치 및 착용장치 간의 통신을 수행하면서 t(c) 및 t(m) 값을 획득할 수 있다.Here, Θv is the viewing angle, and Θr is the rotation angle per frame. In addition, t(c) is the time required for the
예를 들어, 사용자의 시야각 Θv 이 210도이고, 초당 5회전이 가능하며, 가상 현실 정보가 초당 30프레임을 갖는 경우이어서 프레임당 회전각 Θr 이 60도이고, t(c) 및 t(m) 각각이 0.5프레임이라면, 수식1에 따른 값이 360도보다 큰 450도이어서 생략영역이 존재하지 않음을 알 수 있다. 반면, 사용자의 시야각 Θv 이 210도이고, 초당 5회전이 가능하며, 가상 현실 정보가 초당 30프레임을 갖는 경우이어서 프레임당 회전각 Θr 이 60도이고, t(c) 및 t(m) 각각이 0.05프레임이라면, 수식1에 따른 값이 360도보다 작 은 342도이어서 생략영역이 존재함을 알 수 있다.For example, if the user's viewing angle Θv is 210 degrees, 5 rotations per second are possible, and virtual reality information has 30 frames per second, so the rotation angle Θr per frame is 60 degrees, t(c) and t(m) If each frame is 0.5, it can be seen that the omitted area does not exist because the value according to Equation 1 is 450 degrees greater than 360 degrees. On the other hand, when the user's viewing angle Θv is 210 degrees, 5 rotations per second are possible, and the virtual reality information has 30 frames per second, the rotation angle Θr per frame is 60 degrees, and t(c) and t(m) are respectively If it is 0.05 frame, the value according to Equation 1 is 342 degrees smaller than 360 degrees, so it can be seen that there is an omitted area.
상술된 바와 같은 <수식1>에 따라 연산장치(10)가 생략영역이 존재하지 않는다고 결정한다면 사용자의 정면지점을 기준으로 가상 현실 정보를 구면 전체로서 재렌더링할 수 있다.If the
반면, <수식1>에 따라 연산장치(10)가 생략영역이 존재한다고 결정하면 사용자의 정면지점을 기준으로 가상 현실 정보를 구면으로 재렌더링하되, 상기 생략영역을 제외한 나머지 영역에 대해서만 재렌더링할 수 있다. On the other hand, if the
관련하여 도 7은 본 발명의 일실시예에 따른 가상 현실 디스플레이 방법을 설명하기 위한 예시도로서, 착용장치(20)를 머리에 착용하고 있는 사용자(U)의 오른쪽 눈을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링하는 모습을 설명하기 위한 것이다. 이때, 도 7의 구면은 설명의 편의상 2차원의 원으로서 표현된다.In relation to this, FIG. 7 is an exemplary view for explaining a virtual reality display method according to an embodiment of the present invention, at least of a spherical surface having the right eye of the user U wearing the
도 7에서 도시된 바와 같이, 사용자(U)의 정면지점의 반대인 후면지점을 기준으로 좌우 ((360-(Θv+2(t(c)+t(m)+1)*Θr))/2의 각도(730, 740)만큼 구면 렌더링이 생략되는 생략영역(730)을 제외한 나머지 영역(720)으로 가상 현실 정보를 렌더링할 수 있다. As shown in FIG. 7, left and right ((360-(Θv+2(t(c)+t(m)+1)*Θr))/ Virtual reality information may be rendered to the remaining
이와 같이 연산장치(10)가 가상 현실 정보를 재렌더링하면, 상기 재렌더링된 영상을 착용장치로 제공할 수 있다(S480).When the
위의 각 단계들은 가상 현실 디스플레이 시스템(100)이 디스플레이를 종료하는 것을 결정할 때까지 계속적으로 반복될 수 있다 (S490).Each of the above steps may be continuously repeated until the virtual
예를 들어 사용자가 가상 현실 정보의 디스플레이 종료를 요청하는 경우 가상 현실 디스플레이 시스템(100)은 디스플레이의 종료를 결정할 수 있으며, 또는 예를 들어, 사용자의 위치가 변경되는 경우(예를 들어 사용자가 착용장치를 착용한 상태로 걷거나 뛰는 경우)이어서 새롭게 제공될 가상 현실 정보에 기초하여 렌더링된 영상이 필요한 경우 가상 현실 디스플레이 시스템(100)은 디스플레이의 종료를 결정하고, 본 발명의 일실시예에 따른 가상 현실 디스플레이 방법에 따른 순서도를 다시 시작할 수 있다.
For example, the virtual
한편, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.Meanwhile, the term '~unit' used in this embodiment means software or a hardware component such as a field programmable gate array (FPGA) or ASIC, and '~unit' performs certain roles. However, '~ part' is not limited to software or hardware. '~bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors. Therefore, as an example, '~unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program patent code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.Functions provided within components and '~units' may be combined into smaller numbers of components and '~units' or separated from additional components and '~units'.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다In addition, components and '~units' may be implemented to play one or more CPUs in a device or a secure multimedia card.
도 4를 통해 설명된 실시예에 따른 가상 현실 디스플레이 방법은, 컴퓨팅 장치에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨팅 장치에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. The virtual reality display method according to the embodiment described with reference to FIG. 4 may be implemented in the form of a recording medium including instructions executable by a computing device. Computer readable media can be any available media that can be accessed by a computing device and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media.
또한 본 발명의 일실시예에 따르는 가상 현실 디스플레이 방법은, 컴퓨팅 장치에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다. Also, the virtual reality display method according to an embodiment of the present invention may be implemented as a computer program (or computer program product) including instructions executable by a computing device. A computer program includes programmable machine instructions processed by a processor and may be implemented in a high-level programming language, object-oriented programming language, assembly language, or machine language. . Also, the computer program may be recorded on a tangible computer-readable recording medium (eg, a memory, a hard disk, a magnetic/optical medium, or a solid-state drive (SSD)).
따라서 본 발명의 일실시예에 따르는 가상 현실 디스플레이 방법은, 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다. Accordingly, the virtual reality display method according to an embodiment of the present invention may be implemented by executing the computer program as described above by a computing device. A computing device may include at least some of a processor, a memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to a low-speed bus and a storage device. Each of these components are connected to each other using various buses and may be mounted on a common motherboard or mounted in any other suitable manner.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다. Here, the processor may process commands within the computing device, for example, to display graphic information for providing a GUI (Graphic User Interface) on an external input/output device, such as a display connected to a high-speed interface. Examples include instructions stored in memory or storage devices. As another example, multiple processors and/or multiple buses may be used along with multiple memories and memory types as appropriate. Also, the processor may be implemented as a chipset comprising chips including a plurality of independent analog and/or digital processors.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다. Memory also stores information within the computing device. In one example, the memory may consist of a volatile memory unit or a collection thereof. As another example, the memory may be composed of a non-volatile memory unit or a collection thereof. Memory may also be another form of computer readable medium, such as, for example, a magnetic or optical disk.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다. Also, the storage device may provide a large amount of storage space to the computing device. A storage device may be a computer-readable medium or a component that includes such a medium, and may include, for example, devices in a storage area network (SAN) or other components, such as a floppy disk device, a hard disk device, an optical disk device, or a tape device, flash memory, or other semiconductor memory device or device array of the like.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes, and those skilled in the art can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention. do.
100: 가상 현실 디스플레이 시스템
10: 연산장치 20: 착용장치
110: 정보저장부 120: 렌더링부
130: 연산통신부
210: 착용통신부 220: 움직임감지부
230: 표시부100: virtual reality display system
10: arithmetic device 20: wearing device
110: information storage unit 120: rendering unit
130: calculation and communication unit
210: Wearable communication unit 220: Motion detection unit
230: display unit
Claims (12)
사용자의 양안(兩眼) 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 가상 현실 정보를 렌더링하는 연산장치; 및
상기 사용자의 머리에 착용되고 상기 연산장치와 유무선통신하며, 상기 연산장치로부터 상기 렌더링된 영상을 수신하여 디스플레이하는 착용장치를 포함하고,
상기 착용장치는, 상기 사용자 고개의 움직임을 감지하면 상기 움직임 감지결과를 상기 연산장치로 송신하고,
상기 연산장치는, 상기 감지결과를 수신하면, 상기 움직임에 따라 변경된 사용자의 정면지점, 상기 사용자의 시야각정보, 프레임당 최대회전각 및 상기 연산장치 및 상기 착용장치 간의 송수신 시간 중 적어도 하나에 기초하여 가상 현실 정보를 재렌더링하되, 상기 구면의 생략영역을 결정하고, 상기 생략영역 이외의 영역을 재렌더링하여 상기 재렌더링된 영상을 상기 착용장치로 제공하며,
상기 연산장치는, 상기 재렌더링된 영상 중에서 착용장치로 송신되지 않았던 영상만을 송신하고,
상기 착용장치는, 상기 사용자의 시야각정보에 기초하여 상기 시야각 범위 내의 렌더링된 영상을 디스플레이하되,
상기 사용자 고개의 움직임을 감지함에 따라, 기수신되어 저장된 렌더링 영상 중 디스플레이되고 있지 않은 렌더링 영상을, 상기 움직임에 따라 변경된 정면지점에 기초하여 디스플레이하는 것을 특징으로 하는 가상 현실 디스플레이 시스템.A system for displaying virtual reality to a user, comprising:
an arithmetic unit that renders virtual reality information in the shape of at least a portion of a sphere having both eyes of the user as a central point; and
a wearing device worn on the user's head, communicating with the computing device by wire or wirelessly, and receiving and displaying the rendered image from the computing device;
When the wearable device detects the movement of the user's head, the movement detection result is transmitted to the calculation device;
When receiving the detection result, the calculation device, based on at least one of the front point of the user changed according to the movement, the user's viewing angle information, the maximum rotation angle per frame, and the transmission/reception time between the calculation device and the wearable device Re-rendering virtual reality information, determining an omitted area of the sphere, re-rendering an area other than the omitted area, and providing the re-rendered image to the wearing device;
The calculation device transmits only images that have not been transmitted to the wearing device among the re-rendered images;
The wearing device displays a rendered image within the viewing angle range based on the viewing angle information of the user,
The virtual reality display system, characterized in that, as the movement of the user's head is sensed, a rendered image that is not being displayed among the previously received and stored rendered images is displayed based on the front point changed according to the movement.
상기 연산장치는 추가적으로, 구면의 일부의 형상으로 상기 가상 현실 정보를 렌더링하되, 상기 사용자의 고개 움직임 속도를 나타내는 속도정보 및 상기 사용자의 시야각정보에 기초하여 상기 가상 현실 정보를 렌더링하는, 가상 현실 디스플레이 시스템.According to claim 1,
The computing device additionally renders the virtual reality information in a shape of a part of a spherical surface, and renders the virtual reality information based on speed information indicating a head movement speed of the user and viewing angle information of the user, a virtual reality display. system.
상기 연산장치가, 사용자의 양안(兩眼) 각각을 중심점으로 하는 구면의 적어도 일부의 형상으로 상기 가상 현실 정보를 렌더링하는 단계;
상기 연산장치가, 상기 렌더링된 영상을 상기 착용장치로 제공하는 단계; 및
상기 착용장치가, 상기 연산장치로부터 수신된 상기 렌더링된 영상을 디스플레이하는 단계를 포함하고,
상기 방법은,
상기 착용장치가, 상기 사용자 고개의 움직임을 감지하면 상기 움직임 감지결과를 상기 연산장치로 송신하는 단계;
상기 연산장치가, 상기 감지결과를 수신하면, 상기 움직임에 따라 변경된 사용자의 정면지점, 상기 사용자의 시야각정보, 프레임당 최대회전각 및 상기 연산장치 및 상기 착용장치 간의 송수신 시간 중 적어도 하나에 기초하여 상기 구면의 생략영역을 결정하고, 상기 생략영역 이외의 영역에 해당하는 가상 현실 정보를 재렌더링하는 단계; 및
상기 연산장치가, 상기 재렌더링된 영상 중에서 착용장치로 송신되지 않았던 영상만을 상기 착용장치로 제공하는 단계를 더 포함하고,
상기 디스플레이하는 단계는,
상기 사용자의 시야각정보에 기초하여 상기 시야각 범위 내의 렌더링된 영상을 디스플레이하는 단계를 포함하고,
상기 시야각 범위 내의 렌더링된 영상을 디스플레이하는 단계는,
상기 사용자 고개의 움직임을 감지함에 따라, 기수신되어 저장된 렌더링 영상 중 디스플레이되고 있지 않은 렌더링 영상을, 상기 움직임에 따라 변경된 정면지점에 기초하여 디스플레이하는 단계를 더 포함하는, 가상 현실 디스플레이 방법.A method of displaying virtual reality to a user in a virtual reality display system including a wearable device worn on a user's head and an arithmetic device that communicates with the wearable device by wire or wirelessly, comprising:
rendering, by the arithmetic device, the virtual reality information in the shape of at least a part of a spherical surface having each of the user's both eyes as a central point;
providing, by the computing device, the rendered image to the wearing device; and
Displaying, by the wearing device, the rendered image received from the computing device;
The method,
transmitting, by the wearing device, a motion detection result to the calculating device when the motion of the user's head is detected;
When the calculation device receives the detection result, based on at least one of the user's front point changed according to the movement, the user's viewing angle information, the maximum rotation angle per frame, and the transmission/reception time between the calculation device and the wearable device. determining an omitted area of the sphere and re-rendering virtual reality information corresponding to an area other than the omitted area; and
The operation device further includes providing only images that have not been transmitted to the wearing device among the re-rendered images to the wearing device;
The displaying step is
Displaying a rendered image within the viewing angle range based on the viewing angle information of the user;
The step of displaying the rendered image within the viewing angle range,
The virtual reality display method further comprising the step of displaying a rendered image that is not being displayed among previously received and stored rendered images based on a front point that is changed according to the movement, as the movement of the user's head is sensed.
상기 렌더링하는 단계는,
구면의 일부의 형상으로 상기 가상 현실 정보를 렌더링하되, 상기 사용자의 고개 움직임 속도를 나타내는 속도정보 및 상기 사용자의 시야각정보에 기초하여 상기 가상 현실 정보를 렌더링하는 단계를 포함하는, 가상 현실 디스플레이 방법.According to claim 5,
In the rendering step,
Rendering the virtual reality information in a shape of a part of a spherical surface, and rendering the virtual reality information based on speed information indicating a head movement speed of the user and viewing angle information of the user. Virtual reality display method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150073958A KR102547245B1 (en) | 2015-05-27 | 2015-05-27 | System and method for virtual reality display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150073958A KR102547245B1 (en) | 2015-05-27 | 2015-05-27 | System and method for virtual reality display |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160139318A KR20160139318A (en) | 2016-12-07 |
KR102547245B1 true KR102547245B1 (en) | 2023-06-22 |
Family
ID=57573067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150073958A KR102547245B1 (en) | 2015-05-27 | 2015-05-27 | System and method for virtual reality display |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102547245B1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2606889B (en) * | 2017-06-09 | 2023-02-08 | Displaylink Uk Ltd | Using headset movement for compression |
GB2577024B (en) * | 2017-06-09 | 2022-08-03 | Displaylink Uk Ltd | Using headset movement for compression |
KR102374408B1 (en) | 2017-09-08 | 2022-03-15 | 삼성전자주식회사 | Method for controlling a pointer in a screen of virtual reality and electronic device |
KR102586011B1 (en) * | 2018-08-08 | 2023-10-10 | 주식회사 언택아이시티 | Sysyem for provinding virtual reality service and method therefor |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19980023727A (en) * | 1996-09-30 | 1998-07-06 | 배순훈 | Virtual Reality System for Displaying Panoramic Images |
US8405672B2 (en) * | 2009-08-24 | 2013-03-26 | Samsung Display Co., Ltd. | Supbixel rendering suitable for updating an image with a new portion |
EP3654146A1 (en) * | 2011-03-29 | 2020-05-20 | QUALCOMM Incorporated | Anchoring virtual images to real world surfaces in augmented reality systems |
KR20140061620A (en) * | 2012-11-13 | 2014-05-22 | 삼성전자주식회사 | System and method for providing social network service using augmented reality, and devices |
-
2015
- 2015-05-27 KR KR1020150073958A patent/KR102547245B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20160139318A (en) | 2016-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11727619B2 (en) | Video pipeline | |
US10241470B2 (en) | No miss cache structure for real-time image transformations with data compression | |
EP3488315B1 (en) | Virtual reality display system having world and user sensors | |
EP3334148A1 (en) | Ocular video stabilization | |
US20180350032A1 (en) | Smoothly varying foveated rendering | |
US10398976B2 (en) | Display controller, electronic device, and virtual reality device | |
CN107810633B (en) | Three-dimensional rendering system | |
US20190026864A1 (en) | Super-resolution based foveated rendering | |
US8970495B1 (en) | Image stabilization for color-sequential displays | |
US9165381B2 (en) | Augmented books in a mixed reality environment | |
US10672368B2 (en) | No miss cache structure for real-time image transformations with multiple LSR processing engines | |
US10242654B2 (en) | No miss cache structure for real-time image transformations | |
US20160025982A1 (en) | Smart transparency for holographic objects | |
JP6736944B2 (en) | Information processing device, information processing method, and program | |
US20150097772A1 (en) | Gaze Signal Based on Physical Characteristics of the Eye | |
US10643579B2 (en) | HMD device and method for controlling same | |
KR102547245B1 (en) | System and method for virtual reality display | |
US20190020869A1 (en) | Non-planar computational displays | |
US20110149043A1 (en) | Device and method for displaying three-dimensional images using head tracking | |
WO2019160699A3 (en) | Using tracking of display device to control image display | |
KR20190095257A (en) | System and method for preventing boundary artifacts | |
TW202232333A (en) | High throughput storage encryption | |
KR20170004816A (en) | Display apparatus and control method thereof | |
US20210192847A1 (en) | Method and device for content placement | |
US11366318B2 (en) | Electronic device and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E90F | Notification of reason for final refusal | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |