KR102013450B1 - Method of providing relay content using a plurality of screens - Google Patents

Method of providing relay content using a plurality of screens Download PDF

Info

Publication number
KR102013450B1
KR102013450B1 KR1020190023418A KR20190023418A KR102013450B1 KR 102013450 B1 KR102013450 B1 KR 102013450B1 KR 1020190023418 A KR1020190023418 A KR 1020190023418A KR 20190023418 A KR20190023418 A KR 20190023418A KR 102013450 B1 KR102013450 B1 KR 102013450B1
Authority
KR
South Korea
Prior art keywords
virtual reality
user
displaying
image
gaze
Prior art date
Application number
KR1020190023418A
Other languages
Korean (ko)
Inventor
유일영
김정윤
윤준희
남상훈
Original Assignee
주식회사 테크노블러드코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테크노블러드코리아 filed Critical 주식회사 테크노블러드코리아
Priority to KR1020190023418A priority Critical patent/KR102013450B1/en
Application granted granted Critical
Publication of KR102013450B1 publication Critical patent/KR102013450B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Disclosed is a relay content providing method using multiple screens. The method comprises the following steps: displaying a virtual reality space; determining one or more regions in which content is displayed at the virtual reality space; and displaying each of one or more screens obtained from the content in the determined one or more regions.

Description

다수개의 화면을 이용한 중계 콘텐츠 제공 방법{Method of providing relay content using a plurality of screens}Method of providing relay content using a plurality of screens}

본 발명은 다수개의 화면을 이용한 중계 콘텐츠 제공 방법에 관한 것이다. The present invention relates to a relay content providing method using a plurality of screens.

가상현실(Virtual Reality)은 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 기술이다. Virtual Reality is a technology that allows people to have a realistic experience in a virtual world made of computers.

한편, 가상현실(VR·virtual reality)과 현실 세계에 가상정보를 더해 보여주는 기술인 증강현실(AR:augmented reality)을 혼합한 기술은 혼합현실(MR:mixed reality)이라고 한다. VR과 AR, MR은 모두 실제로 존재하지 않은 현실을 구현해 사람이 이를 인지할 수 있도록 하는 기술이라는 점에서 공통점이 있다. 다만 AR은 실제 현실에 가상의 정보를 더해 보여 주는 방식이고, VR은 모두 허구의 상황이 제시된다는 점에서 차이가 있다. MR은 AR과 VR을 혼합해 현실 배경에 현실과 가상의 정보를 혼합시켜 제공하는데, 대용량 데이터를 처리할 수 있는 기술이 필요하다.Meanwhile, a technology that combines virtual reality (VR) and augmented reality (AR), a technology that adds virtual information to the real world, is called mixed reality (MR). VR, AR, and MR are all common in that they are technologies that realize reality that does not exist so that people can recognize it. AR differs from the fact that virtual information is added to real reality and VR is presented in a fictional situation. MR provides a mixture of AR and VR to provide a mixture of real and virtual information on a reality background, and requires technology that can process large amounts of data.

가상현실의 체험에는 HMD(Head Mount Display)가 일반적으로 이용되는데, 이는 VR 체험을 위해 사용자가 머리에 장착하는 디스플레이 디바이스로, 사용자의 시선을 외부와 차단한 후 사용자의 시각에 가상세계를 보여주는 역할을 한다. 눈앞에 디스플레이가 오도록 얼굴에 쓰는 형태로 마이크, 스테레오 스피커를 비롯해 여러 센서 등이 탑재될 수 있다.HMD (Head Mount Display) is generally used for the experience of virtual reality, which is a display device mounted on the user's head for the VR experience, and serves to show the virtual world to the user's vision after blocking the user's eyes from the outside. Do it. It can be equipped with a microphone, stereo speakers and other sensors in the form of a face that faces the display in front of you.

공개특허공보 제10-2017-0054754호, 2017.05.18 공개Publication No. 10-2017-0054754, published May 18, 2017

본 발명이 해결하고자 하는 과제는 다수개의 화면을 이용한 중계 콘텐츠 제공 방법을 제공하는 것이다.The problem to be solved by the present invention is to provide a relay content providing method using a plurality of screens.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Problems to be solved by the present invention are not limited to the above-mentioned problems, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따라 다수개의 화면을 이용한 중계 콘텐츠 제공 방법은, 가상현실 공간을 표시하는 단계, 상기 가상현실 공간에서, 상기 콘텐츠가 표시될 하나 이상의 영역을 결정하는 단계 및 상기 결정된 하나 이상의 영역에 상기 콘텐츠로부터 획득되는 하나 이상의 화면을 각각 표시하는 단계를 포함한다.According to an aspect of the present invention for solving the above problems, a method of providing relay content using a plurality of screens may include: displaying a virtual reality space, and determining one or more regions in which the content is to be displayed in the virtual reality space. And displaying each of one or more screens obtained from the content in the determined one or more areas.

또한, 상기 하나 이상의 영역을 결정하는 단계는, 상기 콘텐츠가 표시될 영역의 수를 결정하는 단계 및 상기 결정된 수의 영역을 결정하는 단계를 포함할 수 있다.The determining of the one or more regions may include determining the number of regions in which the content is to be displayed and determining the determined number of regions.

또한, 상기 화면을 각각 표시하는 단계는, 상기 콘텐츠로부터, 상기 결정된 수의 화면을 획득하는 단계 및 상기 획득된 화면을 상기 결정된 수의 영역에 각각 표시하는 단계를 포함할 수 있다.The displaying of each of the screens may include obtaining the determined number of screens from the content and displaying the obtained screens on the determined number of regions, respectively.

또한, 상기 화면을 획득하는 단계는, 상기 콘텐츠의 내용, 상기 가상현실 장비를 이용하는 사용자에 대한 정보 및 상기 사용자의 선택 중 적어도 하나에 기초하여 상기 화면을 획득하는 단계를 포함할 수 있다.The acquiring of the screen may include acquiring the screen based on at least one of contents of the content, information on a user who uses the virtual reality equipment, and selection of the user.

또한, 상기 가상현실 장비의 주변 영상을 획득하는 단계 및 상기 가상현실 공간 및 상기 주변 영상을 표시하되, 기 설정된 시야범위 안쪽에는 상기 가상현실 공간을 표시하고, 상기 시야범위 바깥에는 상기 주변 영상을 표시하는, 단계를 더 포함할 수 있다.The method may further include obtaining a surrounding image of the virtual reality device and displaying the virtual reality space and the surrounding image, displaying the virtual reality space inside a preset viewing range, and displaying the surrounding image outside the viewing range. It may further comprise a step.

또한, 상기 주변 영상을 표시하는 단계는, 상기 가상현실 장비를 이용하는 사용자의 시선 이동을 감지하는 단계, 상기 사용자의 시선이 이동되는 방향으로 상기 시야범위를 이동하되, 상기 시야범위가 이동하는 속도에는 기 설정된 상한속도가 존재하는, 단계 및 상기 사용자의 시선 이동이 상기 상한속도보다 빠른 경우, 상기 시야범위가 상기 사용자의 시선이 이동한 위치에 도달할 때까지 상기 시야범위 바깥에 상기 주변 영상을 표시하는, 단계를 포함할 수 있다.The displaying of the surrounding image may include detecting a gaze movement of a user using the virtual reality equipment, moving the field of view in a direction in which the line of sight of the user moves, but at a speed at which the field of view is moved. When the preset upper limit speed exists, and the user's gaze movement is faster than the upper limit speed, the peripheral image is displayed outside the viewing range until the viewing range reaches the position where the user's gaze is moved. It may include a step.

또한, 상기 주변 영상을 표시하는 단계는, 상기 가상현실 장비를 이용하는 사용자의 시선 이동을 감지하는 단계 및 상기 사용자의 시선이 기 설정된 제1 기준값 이상의 속도로 이동하는 경우, 상기 시야범위 안쪽에는 상기 주변 영상을 표시하고, 상기 시야범위 바깥에는 상기 가상현실 공간을 표시하는, 단계를 더 포함할 수 있다.The displaying of the surrounding image may include detecting a line of sight of a user using the virtual reality device and when the line of sight of the user moves at a speed greater than or equal to a first reference value. The method may further include displaying an image and displaying the virtual reality space outside the viewing range.

또한, 상기 하나 이상의 영역은 제1 영역 및 제2 영역을 포함하고, 상기 화면을 표시하는 단계는, 상기 제1 영역에 메인 화면을 표시하는 단계, 상기 제2 영역에 서브 화면을 표시하는 단계 및 상기 사용자의 시선이 기 설정된 제2 기준값 이상의 속도로 이동하는 경우, 상기 제1 영역에 상기 서브 화면을 표시하고, 상기 제2 영역에 상기 메인 화면을 표시하는, 단계를 더 포함할 수 있다.The at least one area may include a first area and a second area, and the displaying of the screen may include displaying a main screen on the first area, displaying a sub screen on the second area, and The method may further include displaying the sub screen on the first area and displaying the main screen on the second area when the gaze of the user moves at a speed greater than or equal to a preset second reference value.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

개시된 실시 예에 따르면, 다양한 종류의 콘텐츠를 중계함에 있어서 관객의 흥미를 유발하고, 관객별 맞춤형 정보를 다양하게 제공할 수 있는 효과가 있다.According to the disclosed embodiment, in relaying various types of content, there is an effect of inducing the interest of the audience and providing various customized information for each audience.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 일 실시 예에 따라 가상현실 장비를 이용하여 콘텐츠를 표시하는 시스템을 간략하게 도시한 도면이다.
도 2는 일 실시 예에 따라 가상현실 장비가 콘텐츠를 표시하는 방법을 도시한 흐름도이다.
도 3은 일 실시 예에 따른 가상현실 공간을 도시한 도면이다.
도 4는 일 실시 예에 따라 실제 영상과 가상 영상을 표시하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따라 근경과 원경을 활용하는 방법을 도시한 도면이다.
도 6은 일 실시 예에 따른 장치의 구성도이다.
1 is a diagram schematically illustrating a system for displaying content using virtual reality equipment according to an exemplary embodiment.
2 is a flowchart illustrating a method of displaying content by a virtual reality device according to an exemplary embodiment.
3 is a diagram illustrating a virtual reality space according to an exemplary embodiment.
4 is a diagram for describing a method of displaying a real image and a virtual image, according to an exemplary embodiment.
FIG. 5 is a diagram illustrating a method of using a rhizome and a far-field view according to an exemplary embodiment.
6 is a block diagram of an apparatus according to an embodiment.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be embodied in various different forms, and the present embodiments only make the disclosure of the present invention complete, and those of ordinary skill in the art to which the present invention belongs. It is provided to fully inform the skilled worker of the scope of the invention, which is defined only by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, "comprises" and / or "comprising" does not exclude the presence or addition of one or more other components in addition to the mentioned components. Like reference numerals refer to like elements throughout, and "and / or" includes each and all combinations of one or more of the mentioned components. Although "first", "second", etc. are used to describe various components, these components are of course not limited by these terms. These terms are only used to distinguish one component from another. Therefore, of course, the first component mentioned below may be a second component within the technical spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms used in the present specification (including technical and scientific terms) may be used in a sense that can be commonly understood by those skilled in the art. In addition, terms that are defined in a commonly used dictionary are not ideally or excessively interpreted unless they are specifically defined clearly.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.As used herein, the term "part" or "module" refers to a hardware component such as software, FPGA, or ASIC, and the "part" or "module" plays certain roles. However, "part" or "module" is not meant to be limited to software or hardware. The “unit” or “module” may be configured to be in an addressable storage medium or may be configured to play one or more processors. Thus, as an example, a "part" or "module" may include components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Functions provided within components and "parts" or "modules" may be combined into smaller numbers of components and "parts" or "modules" or into additional components and "parts" or "modules". Can be further separated.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.The spatially relative terms " below ", " beneath ", " lower ", " above ", " upper " It can be used to easily describe a component's correlation with other components. Spatially relative terms are to be understood as including terms in different directions of components in use or operation in addition to the directions shown in the figures. For example, when flipping a component shown in the drawing, a component described as "below" or "beneath" of another component may be placed "above" the other component. Can be. Thus, the exemplary term "below" can encompass both an orientation of above and below. Components may be oriented in other directions as well, so spatially relative terms may be interpreted according to orientation.

본 명세서에서, 가상현실은 VR(Virtual Reality), AR(Augmented Reality), MR(Mixed Reality)를 모두 포괄하는 개념으로 이해되며, 그 종류는 제한되지 않는다.In the present specification, virtual reality is understood as a concept encompassing all of VR (Augmented Reality), AR (Augmented Reality), MR (Mixed Reality), the type is not limited.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 일 실시 예에 따라 가상현실 장비를 이용하여 콘텐츠를 표시하는 시스템을 간략하게 도시한 도면이다.1 is a diagram schematically illustrating a system for displaying content using virtual reality equipment according to an exemplary embodiment.

도 1에 도시된 구성요소들은 예시로써 도시된 것이며, 개시된 실시 예에 따른 시스템의 구성요소들은 이에 제한되지 않는다. 또한, 도 1에 도시되지 않은 구성요소들이 도 1에 도시된 시스템에 더 추가될 수 있으며, 도 1에 도시된 일부 구성요소가 도 1에 도시된 시스템으로부터 생략될 수도 있다.The components shown in FIG. 1 are shown by way of example, and the components of the system according to the disclosed embodiment are not limited thereto. In addition, components not shown in FIG. 1 may be further added to the system shown in FIG. 1, and some components shown in FIG. 1 may be omitted from the system shown in FIG. 1.

도 1을 참조하면, 개시된 실시 예에 따른 시스템은 가상현실 장비(100) 및 서버(200)를 포함한다.Referring to FIG. 1, a system according to the disclosed embodiment includes a virtual reality equipment 100 and a server 200.

일 실시 예에서, 가상현실 장비(100)는 HMD(Head Mount Display, 110)를 포함한다. 가상현실 장비(100)에 포함된 출력장치는 HMD에 제한되는 것은 아니고, 다양한 형태의 출력장치가 가상현실을 출력하는 데 이용될 수 있다.In one embodiment, the virtual reality equipment 100 includes a head mount display (HMD) 110. The output device included in the virtual reality device 100 is not limited to the HMD, and various types of output devices may be used to output the virtual reality.

일 실시 예에서, HMD(110)는 가상현실 영상을 처리 및 재생하기 위한 처리장치를 내장할 수도 있고, 외부의 처리장치와 연결되어, 처리장치로부터 수신되는 정보를 디스플레이를 이용하여 출력할 수도 있다. 외부의 처리장치는 사용자 단말(120)일 수도 있고, 서버(200)와 연결된 컴퓨팅 장치일 수도 있다. 실시 예에 따라서, HMD(110)는 서버(200)로부터 수신되는 정보에 기초하여 가상현실 영상을 출력할 수도 있다.In one embodiment, the HMD 110 may have a built-in processing device for processing and reproducing a virtual reality image, or may be connected to an external processing device to output information received from the processing device using a display. . The external processing device may be the user terminal 120 or may be a computing device connected to the server 200. According to an embodiment, the HMD 110 may output a virtual reality image based on information received from the server 200.

실시 예에 따라서, HMD는 처리장치 및 디스플레이를 내장하지 않고, 사용자 단말(120)을 수용하여 사용자 단말(120)의 디스플레이를 활용하는 형태로 구성될 수도 있다.According to an embodiment, the HMD may be configured to accommodate the display of the user terminal 120 by accommodating the user terminal 120 without having a built-in processing device and a display.

일 실시 예에서, 서버(200)는 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치일 수 있다. 실시 예에 따라서, 서버(200)는 클라우드 서버를 의미할 수도 있다. In one embodiment, the server 200 may be a computing device that includes at least one processor. According to an embodiment, the server 200 may mean a cloud server.

일 실시 예에서, 서버(200)는 복수의 가상현실 장비들과 연결되고, 복수의 가상현실 장비들 각각에 콘텐츠를 전송할 수 있다. In an embodiment, the server 200 may be connected to a plurality of virtual reality devices and transmit content to each of the plurality of virtual reality devices.

각각의 가상현실 장비(100)는 서버(200)로부터 수신된 콘텐츠에 기초하여 가상현실 영상을 출력한다. Each virtual reality device 100 outputs a virtual reality image based on the content received from the server 200.

일 실시 예에서, 개시된 실시 예에 따라 가상현실 장비(100)에서 출력되는 콘텐츠는 게임 중계를 포함하는 스포츠 중계일 수 있다. According to an embodiment of the present disclosure, the content output from the virtual reality device 100 may be a sports relay including a game relay.

일 실시 예에서, 도 1에 도시된 시스템은 게임 중계 스타디움에 설치되고, 서버(200)는 게임 중계 정보를 각각의 가상현실 장비들에 전송하며, 가상현실 장비(100)는 게임 중계 스타디움의 각 좌석마다 구비될 수 있다. In one embodiment, the system shown in Figure 1 is installed in the game relay stadium, the server 200 transmits the game relay information to the respective virtual reality equipment, the virtual reality equipment 100 is each of the game relay stadium It may be provided for each seat.

즉, 게임 중계를 관람하는 관객들은 각각 좌석에 구비된 가상현실 장비(100)를 이용하여 가상현실 내에서 게임 중계를 관람할 수 있다.That is, the audience watching the game relay can watch the game relay in the virtual reality using the virtual reality equipment 100 provided in each seat.

다른 실시 예에서, 관객은 게임 중계 스타디움에 방문하지 않고도, 개인적으로 이용하는 가상현실 장비(100)를 이용하여 가상현실 내에서 게임 중계를 관람할 수도 있다.In another embodiment, the audience may watch the game relay in the virtual reality using the virtual reality equipment 100 used personally without visiting the game relay stadium.

다른 실시 예에서, 게임 중계 스타디움 외의 외부 공간에 가상현실을 이용한 중계공간이 마련되고, 관객들은 해당 중계공간에 마련된 가상현실 장비들을 이용하여 스타디움 현장에서 중계를 관람하는 관객들과 같이 중계를 관람할 수 있다.In another embodiment, a relay space using a virtual reality is provided in an external space other than the game relay stadium, and the audience may watch the relay like the audience watching the relay at the stadium using the virtual reality equipment provided in the corresponding relay space. have.

다른 실시 예에서, 콘텐츠는 게임 중계가 아닌 축구 등의 스포츠 중계일 수 있다. 이 경우, 실시 예에 따라 스포츠 경기장의 각 좌석에 가상현실 장비(100)가 마련되고, 관객은 가상현실 장비(100)를 이용하여 실제 스타디움의 현장 영상, 스포츠 중계 영상 및 스포츠 경기에 대한 보조정보 등을 가상현실을 통해 시청할 수 있다.In another embodiment, the content may be a sports relay, such as soccer, but not a game relay. In this case, according to the embodiment, the virtual reality equipment 100 is provided in each seat of the sports stadium, and the audience uses the virtual reality equipment 100 to supplement the field image, the sports relay image, and the sports information of the actual stadium. Etc. can be watched through virtual reality.

또한, 게임과 마찬가지로 실제 스포츠 경기가 진행되는 스타디움 외부의 중계공간에 가상현실 장비들이 마련되고, 관객은 해당 중게공간에서 가상현실 장비들을 이용하여 스타디움 현장에서 중계를 관람하는 관객들과 같이 중계를 관람할 수 있다. 일 실시 예에서, 스타디움 내에 있는 관객 또는 외부 중계공간에 있는 관객은, 스타디움의 각 좌석을 선택할 수 있고, 해당 좌석에서 촬영되는 실시간 영상을 가상현실을 통해 시청할 수 있다.In addition, virtual reality equipment is provided in the relay space outside the stadium where the actual sports game is held, and the audience can watch the broadcast together with the audience watching the relay at the stadium using the virtual reality equipment. Can be. In an embodiment, an audience in a stadium or an audience in an external relay space may select each seat of a stadium and watch a real-time image captured by the seat through virtual reality.

따라서, 관객은 스타디움에 방문하지 않아도 현장감을 느낄 수 있으며, 스타디움에 방문한 경우 다양한 좌석의 시야를 체험할 수 있어, 관람의 만족도를 높일 수 있다. Therefore, the audience can feel the realism without visiting the stadium, and when the stadium is visited, the viewer can experience the view of various seats, thereby increasing the satisfaction of viewing.

이하에서는 설명의 편의를 위하여 게임 중계 스타디움의 각 좌석에 배치된 가상현실 장비(100)를 이용하여, 관객에게 가상현실을 통해 게임 중계 영상을 제공하는 방법에 대하여 설명한다. 하지만, 이하에서 개시되는 실시 예의 적용범위는 이에 제한되지는 않는다.Hereinafter, for convenience of description, a method of providing a game relay image to a viewer through virtual reality using the virtual reality equipment 100 disposed at each seat of the game relay stadium will be described. However, the scope of the embodiments disclosed below is not limited thereto.

도 2는 일 실시 예에 따라 가상현실 장비가 콘텐츠를 표시하는 방법을 도시한 흐름도이다.2 is a flowchart illustrating a method of displaying content by a virtual reality device according to an exemplary embodiment.

도 2에 도시된 각 단계들은 도 1에 도시된 가상현실 장비(100)에서 수행되는 동작들을 시계열적으로 도시한 것이다.Each of the steps illustrated in FIG. 2 illustrates in time series the operations performed in the virtual reality equipment 100 illustrated in FIG. 1.

단계 S110에서, 가상현실 장비(100)는 가상현실 공간을 표시한다.In operation S110, the virtual reality equipment 100 displays the virtual reality space.

예를 들어, 가상현실 공간은 가상의 스타디움을 나타낼 수 있다. 가상의 스타디움은 실제로 관객이 위치한 스타디움과 같은 형태 및 구조로 구성될 수도 있고, 동일한 구조를 갖되 상이한 형태 및 디자인으로 구성될 수도 있으며, 실제 스타디움과 상이한 구조 및 형태를 가질 수도 있다. 가상현실 공간은 360도 가상현실 공간일 수 있으나, 이에 제한되지 않는다.For example, the virtual reality space may represent a virtual stadium. The virtual stadium may actually be configured in the same form and structure as the stadium in which the audience is located, or may have the same structure but different shapes and designs, or may have a different structure and form than the actual stadium. The virtual reality space may be a 360 degree virtual reality space, but is not limited thereto.

일 실시 예에서, 가상현실 공간은 중계 영상이 표시될 수 있는 방 형태로 표시될 수도 있다. 방은 육면체 등 다면체일 수도 있고, 원통형이나 구형일 수도 있으며, 그 형태는 제한되지 않는다. In one embodiment, the virtual reality space may be displayed in the form of a room in which the relay image may be displayed. The room may be a polyhedron such as a cube, a cylinder or a sphere, and the shape thereof is not limited.

단계 S120에서, 가상현실 장비(100)는 단계 S110에서 표시되는 가상현실 공간에서, 콘텐츠가 표시될 하나 이상의 영역을 결정한다. 예를 들어, 콘텐츠는 게임 중계 영상일 수 있고, 콘텐츠가 표시될 하나 이상의 영역은 게임 중계 영상이 표시될 수 있는 화면 형태로 결정될 수 있으나, 이에 제한되지 않는다. In operation S120, the virtual reality apparatus 100 determines one or more regions in which the content is to be displayed in the virtual reality space displayed in operation S110. For example, the content may be a game relay image, and one or more areas in which the content is to be displayed may be determined as a screen form in which the game relay image may be displayed, but is not limited thereto.

예를 들어, 콘텐츠가 표시될 영역은 사각형을 포함하는 다각형, 원형 및 타원형 등으로 결정될 수 있으나, 이에 제한되지 않는다. 실시 예에 따라, 콘텐츠가 표시될 영역은 가상현실 공간의 일부를 차지할 수도 있고, 가상현실 공간 전체가 콘텐츠가 표시될 영역으로 결정될 수도 있다. 예를 들어, 게임 또는 스포츠 중계 영상 자체가 360도 영상으로 구성될 수 있으며, 이 경우 가상현실 공간의 적어도 일부가 360도 영상을 표시하는 데 이용될 수 있다. For example, the area in which the content is to be displayed may be determined as a polygon including a rectangle, a circle, an oval, and the like, but is not limited thereto. According to an embodiment, the area where the content is to be displayed may occupy a part of the virtual reality space, or the entire virtual reality space may be determined as the area where the content is to be displayed. For example, the game or sports relay image itself may be configured as a 360 degree image, in which case at least a portion of the virtual reality space may be used to display the 360 degree image.

예를 들어, 가상현실 공간이 구형이라고 할 때, 가상현실 공간을 위 아래로 각각 나눈 반구 중 위쪽 반구 전체가 360도 영상을 표시하기 위한 영역으로 결정될 수 있으며, 이에 제한되는 것은 아니다.For example, when the virtual reality space is spherical, the entire upper hemisphere of the hemispheres that divide the virtual reality space up and down, respectively, may be determined as an area for displaying a 360 degree image, but is not limited thereto.

게임 또는 스포츠 중계 영상 자체가 360도 영상으로 구성되는 경우, 시청자가 게임 또는 스포츠 경기 현장에 위치한 것과 같은 시야가 가상현실 공간에서 재현될 수 있다. 예를 들어, 게임 중계의 경우 게임을 중계하는 제3자인 옵저버 또는 게임의 플레이어 중 하나의 시점에서 360도 게임 영상이 생성되고, 생성된 360도 영상이 가상현실 장비(100)를 통해 표시될 수 있다. 이 경우, 실제 플레이어는 볼 수 없는 영상(예를 들어, 플레이어의 뒤쪽 영상) 등을 360도 영상을 통해 관람할 수 있으므로, 관객들로 하여금 관람의 흥미가 높아지도록 할 수 있다. When the game or sports relay image itself is composed of 360-degree images, the visual field as if the viewer is located at a game or sports event can be reproduced in the virtual reality space. For example, in the case of game relaying, a 360 degree game image may be generated at the viewpoint of one of an observer who is a third party relaying a game or a game player, and the generated 360 degree image may be displayed through the virtual reality device 100. have. In this case, the actual player can watch the video (for example, the back image of the player) that cannot be seen through the 360-degree image, so that the audience can increase the interest of viewing.

마찬가지로, 스포츠 경기 영상의 경우 360도 카메라를 이용하여 촬영된 스포츠 영상이 가상현실 장비(100)를 통해 표시될 수 있다.Similarly, in the case of a sports game image, a sports image photographed using a 360 degree camera may be displayed through the virtual reality device 100.

단계 S130에서, 가상현실 장비(100)는 단계 S120에서 결정된 하나 이상의 영역에 콘텐츠로부터 획득되는 하나 이상의 화면을 각각 표시한다. In operation S130, the virtual reality device 100 displays one or more screens acquired from the content in one or more areas determined in operation S120, respectively.

예를 들어, 스포츠 중계의 경우에도 카메라의 위치에 따라 서로 다른 영상(화면)이 생성될 수 있다. 또한, 게임 중계의 경우 각각의 옵저버(비 플레이어)에 따라 서로 다른 영상(화면)이 생성되고, 또한 각각의 플레이어 화면에 따라 서로 다른 영상(화면)이 생성된다. 특히, 배틀그라운드(Player Unknown's Battle Ground)와 같이 많은 플레이어가 동시에 플레이하는 게임의 경우, 플레이어별로 최대 100개 이상의 영상(화면)이 생성될 수 있다. For example, even in the case of sports relay, different images (screens) may be generated according to the position of the camera. In the case of game relay, different images (screens) are generated according to each observer (non-player), and different images (screens) are generated according to each player screen. In particular, in the case of a game in which many players play at the same time, such as Battle Unknown's Battle Ground, up to 100 or more images (screens) may be generated for each player.

이 경우, 각각의 화면을 일반적인 디스플레이를 이용하여 모두 중계하는 것은 현실적으로 불가능하고, 일부 플레이어 또는 특정 옵저버의 시점에서 획득되는 영상을 중계하는 것이 가능할 뿐이다.In this case, it is practically impossible to relay each screen using a general display, and it is only possible to relay an image acquired at the viewpoint of some players or a specific observer.

하지만, 이 경우 중계할 수 없는 영상들이 다수 존재하게 되고, 관객들은 스타디움의 중계화면보다는 스마트폰 등을 이용하여 각자가 좋아하는 플레이어의 플레이 화면 또는 인터넷 개인방송 화면을 시청하게 되는 문제점이 존재한다. 이는 스타크래프트(Starcraft)로 대표되는 기존의 게임 중계와 다른 점이고, 따라서 이를 해결할 수 있는 기술의 개발이 요구된다. However, in this case, there are a number of images that cannot be relayed, and the viewers have a problem of watching their favorite player's play screen or internet personal broadcasting screen using a smartphone or the like rather than a relay screen of a stadium. This is different from the existing game relay represented by Starcraft, and therefore, development of a technology that can solve this problem is required.

따라서, 개시된 실시 예에 따르면 가상현실 장비(100)를 이용하여 가상현실 공간을 표시하고, 가상현실 공간에 하나 이상의 화면을 표시할 수 있는 공간을 마련한 후, 콘텐츠의 내용(예를 들어, 경기의 진행상황 등), 가상현실 장비(100)를 이용하는 사용자에 대한 정보(예를 들어, 사용자가 좋아하는 플레이어) 및 사용자의 선택(사용자가 선택한 영상) 중 적어도 하나에 기초하여 가상현실 공간에 영상을 표시함으로써, 관객들이 중계 주체로부터 제공되는 영상을 시청하도록 유도할 수 있다.Therefore, according to the disclosed embodiment, after displaying the virtual reality space using the virtual reality equipment 100, preparing a space for displaying one or more screens in the virtual reality space, the contents of the content (for example, Image) in the virtual reality space based on at least one of a user's preference (for example, a user's favorite player) and a user's selection (image selected by the user), a user using the virtual reality equipment 100, and the like. By displaying, it is possible to induce the audience to watch the image provided from the relay agent.

도 3은 일 실시 예에 따른 가상현실 공간을 도시한 도면이다.3 is a diagram illustrating a virtual reality space according to an exemplary embodiment.

도 3을 참조하면, 가상현실 공간(300)및 가상현실 공간(300)을 시청하는 사용자(10)가 도시되어 있다. 가상현실 공간(300)의 형태는 도 3에 도시된 바에 제한되지 않으나, 이는 설명을 위하여 예시로서 도시되었다. Referring to FIG. 3, the virtual reality space 300 and the user 10 viewing the virtual reality space 300 are illustrated. The shape of the virtual reality space 300 is not limited to that shown in FIG. 3, but this is shown as an example for description.

도 3을 참조하면, 가상현실 공간(300)에는 콘텐츠를 표시하기 위한 하나 이상의 영역(310, 320 및 330)이 도시되어 있다. 각각의 영역은 메인 화면(310) 및 서브 화면(320 및 330)으로 구분될 수 있으나, 이에 제한되지 않는다. 메인 화면(310)은 사용자(10)의 시선 정면에 위치하는 화면일 수 있다. 서브 화면(320 및 330)은 사용자의 시선 좌측 및 우측에 위치하는 화면일 수 있고, 실시 예에 따라 서브 화면은 천장(340) 또는 바닥에 위치하는 화면일 수도 있다. Referring to FIG. 3, one or more regions 310, 320, and 330 for displaying content are illustrated in the virtual reality space 300. Each area may be divided into a main screen 310 and a sub screen 320 and 330, but is not limited thereto. The main screen 310 may be a screen positioned in front of the gaze of the user 10. The sub screens 320 and 330 may be screens positioned on the left and right sides of the user's eyes, and according to an exemplary embodiment, the sub screens may be screens located on the ceiling 340 or the floor.

사용자(10)는 메인 화면(310)을 시청하는 중에, 시선 이동을 통해 각각의 서브 화면(320 및 330)을 관람할 수 있다. 실시 예에 따라서, 사용자의 시선이 기 설정된 각도 이상 변화하여 특정 서브 화면(예를 들어, 320)을 바라보게 되는 경우, 서브 화면(320)이 메인 화면으로 변경될 수 있다. 이 경우, 서브 화면(320)에 표시되는 영상이 메인 화면(310)의 위치로 이동하고, 메인 화면(310)에 표시되는 영상이 서브 화면(320)의 위치로 이동할 수 있다. While watching the main screen 310, the user 10 may view the sub-screens 320 and 330 through eye movements. According to an embodiment of the present disclosure, when the user's gaze changes by more than a preset angle to look at a specific sub screen (eg, 320), the sub screen 320 may be changed to the main screen. In this case, the image displayed on the sub screen 320 may move to the position of the main screen 310, and the image displayed on the main screen 310 may move to the position of the sub screen 320.

일 실시 예에서, 가상공간(300)에서 콘텐츠가 표시되는 영역의 수는 사용자의 선택에 의하여, 또는 자동으로 결정될 수 있다. 예를 들어, 가상공간(300)에서 콘텐츠가 표시되는 영역의 수는 기본 3개로 설정되되, 사용자가 특정 영상을 추가할 것을 요청하는 경우 영상이 추가되고, 추가된 영상은 가로 또는 세로로 추가될 수 있다. 예를 들어, 추가되는 영상은 서브 영상(320)의 왼쪽에 표시될 수도 있고, 메인 영상(310)의 위쪽이나 천장에 표시될 수도 있다. According to an embodiment, the number of areas where content is displayed in the virtual space 300 may be determined automatically by a user's selection. For example, the number of areas in which content is displayed in the virtual space 300 is set to three, but when a user requests to add a specific image, the image is added, and the added image is added horizontally or vertically. Can be. For example, the added image may be displayed on the left side of the sub image 320 or may be displayed on the top or ceiling of the main image 310.

가상현실 장비(100)는 결정된 영역의 수만큼 콘텐츠로부터 화면을 획득하고, 획득된 화면을 각각의 영역에 표시할 수 있다. The virtual reality device 100 may obtain a screen from the content as many as the determined area, and display the obtained screen in each area.

일 실시 예에서, 가상현실 공간(300)뿐 아니라 가상현실 장비(100)의 주변, 즉 스타디움 내부의 실제 모습도 가상현실 장비(100)를 통하여 표시될 수 있다. 일 실시 예에서, 가상현실 장비(100)는 카메라 장치를 이용하여 주변 영상을 촬영하고(실시 예에 따라서, 360도 카메라를 이용하여 360도 영상을 촬영할 수 있다), 촬영된 영상을 표시할 수 있다.In one embodiment, not only the virtual reality space 300 but also the virtual appearance of the virtual reality device 100, that is, the inside of the stadium, may be displayed through the virtual reality device 100. In an embodiment, the virtual reality device 100 may capture a surrounding image using a camera device (depending on the embodiment, a 360 degree image may be captured using a 360 degree camera), and display the captured image. have.

즉, 가상현실 장비(100)는 게임 영상을 포함하는 가상현실 공간(300)뿐 아니라 가상현실 장비(100)의 주변 영상 또한 360도 영상으로 표시할 수 있다. 따라서, 사용자(10)는 현실(스타디움)과 가상(게임 중계)이 혼합된 영상을 시청하는 체험을 할 수 있다.That is, the virtual reality device 100 may display not only the virtual reality space 300 including the game image, but also the surrounding image of the virtual reality device 100 as a 360 degree image. Accordingly, the user 10 may experience an experience of watching an image in which reality (stadium) and virtual (game relay) are mixed.

일 실시 예에서, 가상현실 장비(100)는 가상현실 공간(300)과 주변 영상을 혼합 또는 중첩하여 표시할 수도 있고, 구간을 구분하여 표시할 수도 있으며, 상황에 따라 교차하여 표시할 수도 있고, 그 방법은 제한되지 않는다. In one embodiment, the virtual reality equipment 100 may display the virtual reality space 300 and the surrounding image by mixing or overlapping, displaying the sections separately, or displaying the sections alternately depending on the situation. The method is not limited.

도 4는 일 실시 예에 따라 실제 영상과 가상 영상을 표시하는 방법을 설명하기 위한 도면이다. 4 is a diagram for describing a method of displaying a real image and a virtual image, according to an exemplary embodiment.

도 4를 참조하면, 사용자(10)및 사용자(10)가 가상현실 장비(100)를 이용하여 시청할 수 있는 360도 영역(400)이 도시되어 있다. 일 실시 예에서, 360도 영역(400)은 사용자(10)의 전면(410) 방향과 후면(420) 방향으로 구분될 수 있고, 그 경계(440)의 일 예가 도 4에 도시되어 있다.Referring to FIG. 4, a 360 degree region 400 is shown in which the user 10 and the user 10 can watch using the virtual reality equipment 100. In an embodiment, the 360 degree region 400 may be divided into a front 410 direction and a rear 420 direction of the user 10, and an example of the boundary 440 is illustrated in FIG. 4.

일 실시 예에서, 360도 영역(400)의 전면(410) 방향에는 가상현실 공간이 표시되고, 360도 영역(400)의 후면(420) 방향에는 실제 주변 영상이 표시될 수 있다. In an embodiment, the virtual reality space may be displayed in the direction of the front surface 410 of the 360 degree region 400, and the actual surrounding image may be displayed in the direction of the rear surface 420 of the 360 degree region 400.

다른 실시 예에서, 360도 영역(400)에서 사용자(10)의 시야(430) 내의 공간에는 가상현실 공간이 표시되고, 360도 영역(400)에서 사용자(10)의 시야(430) 바깥의 공간에는 실제 주변 영상이 표시될 수 있다. 실시 예에 따라서, 사용자(10)의 시야(430) 안팎으로 표시되는 영상은 서로 교체될 수 있다.In another embodiment, the virtual reality space is displayed in the space within the field of view 430 of the user 10 in the 360 degree area 400, and the space outside the field of view 430 of the user 10 in the 360 degree area 400. The actual surrounding image may be displayed. According to an embodiment, the images displayed in and out of the field of view 430 of the user 10 may be interchanged.

일 실시 예에서, 사용자(10)의 시야(430) 양쪽 끝 부분에도 실제 주변 영상이 표시될 수도 있다.In an embodiment, the actual surrounding image may be displayed at both ends of the field of view 430 of the user 10.

일 실시 예에서, 시야(430)는 가상현실 장비(100)에서 기 설정된 범위를 의미할 수 있다.In an embodiment, the field of view 430 may refer to a preset range in the virtual reality device 100.

일 실시 예에서, 사용자(10)의 시선이 이동하는 경우(예를 들어, 사용자(10)가 고개를 돌리는 경우), 가상현실 장비(100)가 인식하는 사용자의 시선(430)도 따라서 이동할 수 있다. 따라서, 사용자(10)가 시선을 돌리는 경우에도 사용자(10)는 가상현실 공간을 통하여 게임 중계를 시청할 수 있다.In one embodiment, when the gaze of the user 10 moves (for example, when the user 10 turns his / her head), the gaze 430 of the user recognized by the virtual reality device 100 may also move. have. Therefore, even when the user 10 turns his / her eyes, the user 10 may watch the game relay through the virtual reality space.

일 실시 예에서, 사용자(10)의 시선이 기 설정된 각도 이상 이동하는 경우, 사용자의 시선(430) 내에 실제 주변 영상이 표시되고, 사용자의 시선(430) 바깥에 가상 공간이 표시될 수 있다. 마찬가지로, 사용자(10)의 시선이 다시 기 설정된 각도 이상 이동하는 경우, 사용자의 시선(430) 내에 가상 공간이 표시되고, 사용자의 시선(430) 바깥에 실제 주변 영상이 표시될 수 있다.According to an embodiment, when the gaze of the user 10 moves more than a predetermined angle, an actual surrounding image may be displayed in the gaze 430 of the user, and a virtual space may be displayed outside the gaze 430 of the user. Similarly, when the gaze of the user 10 moves over a preset angle again, the virtual space may be displayed in the gaze 430 of the user, and the actual surrounding image may be displayed outside the gaze 430 of the user.

본 실시 예에서, 사용자의 시선 바깥에 실제로 영상이 표시될 수도 있으나, 사용자의 시선 바깥에 영상을 표시하는 것은 불필요하거나, 디스플레이의 한계상 불가능할 수 있으므로, 사용자의 시선 바깥에 영상을 표시한다는 것은 사용자가 시선을 해당 방향으로 돌리는 경우 해당 영상을 표시할 수 있도록 렌더링 또는 로드하여 두는 개념을 포함할 수 있다.In the present embodiment, the image may actually be displayed outside the user's line of sight, but displaying the image outside the line of sight of the user may be unnecessary or impossible due to the limitation of the display. When the gaze is turned in the corresponding direction, the concept may be rendered or loaded to display the corresponding image.

일 실시 예에서, 사용자(10)의 시선이 이동함에 따라 가상현실 장비(100)가 인식하는 사용자의 시선(430)이 이동하는 속도에 상한이 설정될 수 있다. 즉, 사용자(10)의 시선(430)이 기 설정된 상한 속도 이상의 속도로 이동하는 경우, 가상현실 장비(100)가 인식하는 사용자의 시선(430)이 이동하는 속도가 이를 따라오지 못하므로, 사용자(10)는 가상현실 장비(100)가 인식하는 시선(430) 바깥의 영상을 시청할 수 있다. 즉, 사용자(10)는 시선(430)의 이동이 실제 시선의 이동을 따라올 때까지, 시선(430)의 바깥에 표시되는 실제 주변 영상을 시청할 수 있다. 따라서, 사용자(10)는 시선(430)을 기 설정된 상한속도 이상으로 빠르게 이동시킴으로써, 실제 주변 영상을 확인할 수 있다.According to an embodiment, as the gaze of the user 10 moves, an upper limit may be set on a speed at which the gaze 430 of the user recognized by the virtual reality device 100 moves. That is, when the gaze 430 of the user 10 moves at a speed higher than or equal to a preset upper limit speed, the speed at which the gaze 430 of the user recognized by the virtual reality device 100 does not follow this, so the user 10 may view an image outside the line of sight 430 recognized by the virtual reality device 100. That is, the user 10 may watch the actual surrounding image displayed outside of the gaze 430 until the movement of the gaze 430 follows the movement of the gaze. Therefore, the user 10 may check the actual surrounding image by moving the gaze 430 faster than the preset upper limit speed.

예를 들어, 사용자(10)는 가상공간 시청 중에 옆자리에 앉은 관객의 상태를 확인해야 할 수도 있고, 손에 든 핸드폰이나 음식물을 확인해야 할 수도 있다. 이 경우, 사용자(10)는 해당 방향으로 기 설정된 상한속도 이상으로 빠르게 이동시킴으로써, 시선(430)이 실제 시선의 위치로 이동하기 전의 시간동안 실제 주변 영상을 확인할 수 있다. For example, the user 10 may need to check the state of the audience sitting next to the virtual space while viewing the mobile phone or food in his hand. In this case, the user 10 may move quickly over the preset upper limit speed in the corresponding direction, so that the user 10 may check the actual surrounding image for a time before the gaze 430 moves to the position of the actual gaze.

예를 들어, 사용자가 오른쪽에 있는 팝콘을 먹고자 하는 경우, 해당 방향으로 시선을 빠르게 이동시킴으로써 실제 주변 영상에 포함된 팝콘의 위치를 확인할 수 있다. 사용자는 시선(430)이 실제 시선을 따라오는 시간 동안(예를 들어, 수 초 가량) 팝콘을 집어먹고, 시선(430)이 자동으로 회복됨에 따라 자연스럽게 가상공간을 통한 중계를 연속적으로 시청할 수 있다.For example, when the user wants to eat the popcorn on the right side, the user can check the position of the popcorn included in the actual surrounding image by quickly moving the gaze in the corresponding direction. The user may eat popcorn during the time that the gaze 430 follows the actual gaze (for example, about several seconds), and naturally watch the relay through the virtual space as the gaze 430 is automatically recovered. .

다른 실시 예에서, 가상현실 장비(100)는 주변 상황을 인식하여 가상공간 또는 실제 주변 영상의 표시를 제어할 수 있다.In another embodiment, the virtual reality device 100 may recognize the surrounding situation and control the display of the virtual space or the actual surrounding image.

예를 들어, 가상현실 장비(100)는 사용자(10)의 주변에 앉은 친구가 사용자(10)를 부르는 소리가 감지되는 경우, 해당 방향에 실제 주변 영상을 표시할 수 있다. For example, when the sound of a friend sitting near the user 10 calling the user 10 is detected, the virtual reality device 100 may display the actual surrounding image in the corresponding direction.

마찬가지로, 가상현실 장비(100)는 다른 사람이나 객체가 사용자(10)에게 접근하는 경우, 사용자(10)가 외부 객체와 충돌위험이 있는 경우, 사용자(10)가 특정 방향으로 손을 뻗는 것이 감지되는 경우 등에 있어서, 가상현실 장비(100)는 해당 객체나 동작이 인식된 방향에 실제 주변 영상을 표시할 수 있다.Similarly, the virtual reality device 100 detects that the user 10 extends his or her hand in a specific direction when another user or object approaches the user 10 and the user 10 is in danger of colliding with an external object. In such a case, the virtual reality device 100 may display the actual surrounding image in the direction in which the corresponding object or motion is recognized.

도 5는 일 실시 예에 따라 근경과 원경을 활용하는 방법을 도시한 도면이다.FIG. 5 is a diagram illustrating a method of using a rhizome and a far-field view according to an exemplary embodiment.

도 5를 참조하면, 도 3에 도시된 바와 같은 가상현실 공간(500)과 이를 시청하는 사용자(10)가 도시되어 있다. Referring to FIG. 5, a virtual reality space 500 as shown in FIG. 3 and a user 10 viewing the same are shown.

도 3에 도시된 바와 마찬가지로, 가상현실 공간(500)에는 콘텐츠를 표시하기 위한 하나 이상의 영역(510, 520 및 530)이 도시되어 있다. 각각의 영역은 메인 화면(510) 및 서브 화면(520 및 530)으로 구분될 수 있으나, 이에 제한되지 않는다. 메인 화면(510)은 사용자(10)의 시선 정면에 위치하는 화면일 수 있다. 서브 화면(520 및 530)은 사용자의 시선 좌측 및 우측에 위치하는 화면일 수 있고, 실시 예에 따라 서브 화면은 천장(540) 또는 바닥에 위치하는 화면일 수도 있다. As shown in FIG. 3, one or more regions 510, 520, and 530 for displaying content are illustrated in the virtual reality space 500. Each area may be divided into a main screen 510 and a sub screen 520 and 530, but is not limited thereto. The main screen 510 may be a screen positioned in front of the gaze of the user 10. The sub screens 520 and 530 may be screens positioned on the left and right sides of the user's eyes, and according to an exemplary embodiment, the sub screens may be screens located on the ceiling 540 or the floor.

일 실시 예에서, 가상현실 공간(500)에는 사용자(10) 주변의 근경(550)과 그 외의 원경이 포함될 수 있다. 예를 들어, 사용자(10)의 주변에 표시되는 영상과, 사용자(10)가 멀리 바라볼 때 표시될 수 있는 그 외의 영상이 가상현실 공간(500)에 포함될 수 있다.According to an embodiment, the virtual reality space 500 may include a root diameter 550 around the user 10 and other remote views. For example, the virtual reality space 500 may include an image displayed in the vicinity of the user 10 and other images that may be displayed when the user 10 looks at a distance.

일 실시 예에서, 근경(550)에는 실제 주변 영상이 표시되고, 그 외의 가상현실 공간(500)에는 게임 중계 영상이 표시될 수 있다.In an exemplary embodiment, the actual surrounding image may be displayed in the root diameter 550, and the game relay image may be displayed in the other virtual reality space 500.

*예를 들어, 사용자(10)가 시선의 아래쪽 주변을 둘러보는 경우 실제 주변 영상을 근경(550)에 표시하고, 사용자(10)가 시선의 정면 또는 위쪽을 둘러보는 경우 가상현실 공간(500) 및 이에 포함된 컨텐츠 영상이 표시될 수 있다.For example, when the user 10 looks around the lower part of the line of sight, the actual surrounding image is displayed on the root diameter 550, and when the user 10 looks around or above the line of sight, the virtual reality space 500. And a content image included therein may be displayed.

다른 예로, 가상현실 장비(100)는 사용자(10)의 초점거리를 인식하고, 사용자(10)의 초점거리가 기 설정된 기준값 이하로 짧은 경우 근경(550), 즉 실제 주변 영상을 표시하고, 사용자(10)의 초점거리가 기 설정된 기준값 이상으로 긴 경우 가상현실 공간(500) 및 이에 포함된 컨텐츠 영상을 표시할 수 있다. 가상현실 장비(100)가 사용자(10)의 초점거리를 인식하는 방법은 제한되지 않으며, 예를 들어 가상현실 장비(100)는 사용자(10)의 초점거리를 인식하기 위하여 사용자(10)의 눈 쪽을 향하는 적어도 하나의 센서 장비를 포함할 수 있다.As another example, the virtual reality device 100 recognizes a focal length of the user 10, and displays a root diameter 550, that is, an actual surrounding image when the focal length of the user 10 is shorter than a preset reference value. When the focal length of 10 is longer than a preset reference value, the virtual reality space 500 and the content image included therein may be displayed. The way in which the virtual reality device 100 recognizes the focal length of the user 10 is not limited. For example, the virtual reality device 100 may recognize the eye of the user 10 in order to recognize the focal length of the user 10. It may include at least one sensor device facing.

도 6은 일 실시 예에 따른 장치의 구성도이다.6 is a block diagram of an apparatus according to an embodiment.

프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.The processor 102 may include a connection passage (eg, a bus, etc.) that transmits and receives signals with one or more cores (not shown) and graphics processor (not shown) and / or other components. .

일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 5와 관련하여 설명된 방법을 수행한다.The processor 102 according to one embodiment executes one or more instructions stored in the memory 104 to perform the method described in connection with FIGS. 1-5.

예를 들어, 프로세서(102)는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 가상현실 공간을 표시하고, 가상현실 공간에서 콘텐츠가 표시될 하나 이상의 영역을 결정하고, 결정된 하나 이상의 영역에 콘텐츠로부터 획득되는 하나 이상의 화면을 각각 표시할 수 있다.For example, processor 102 displays the virtual reality space by executing one or more instructions stored in memory, determines one or more regions where content is to be displayed in the virtual reality space, and obtains one from the content in the determined one or more regions. Each of the above screens can be displayed.

한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다. Meanwhile, the processor 102 may include random access memory (RAM) and read-only memory (ROM) for temporarily and / or permanently storing a signal (or data) processed in the processor 102. , Not shown) may be further included. In addition, the processor 102 may be implemented in the form of a system on chip (SoC) including at least one of a graphic processor, a RAM, and a ROM.

메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.The memory 104 may store programs (one or more instructions) for processing and controlling the processor 102. Programs stored in the memory 104 may be divided into a plurality of modules according to functions.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, in a software module executed by hardware, or by a combination thereof. The software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.The components of the present invention may be implemented in a program (or an application) and stored in a medium to be executed in combination with a computer which is hardware. The components of the present invention may be implemented as software programming or software elements, and likewise, embodiments may include various algorithms implemented in combinations of data structures, processes, routines or other programming constructs, such as C, C ++. It may be implemented in a programming or scripting language such as Java, an assembler, or the like. The functional aspects may be implemented with an algorithm running on one or more processors.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. In the above, embodiments of the present invention have been described with reference to the accompanying drawings, but those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features. I can understand that. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive.

100: 가상현실 장비
110: HMD
120: 사용자 단말
200 : 서버
100: virtual reality equipment
110: HMD
120: user terminal
200: server

Claims (4)

가상현실 장비가 콘텐츠를 표시하는 방법에 있어서,
가상현실 공간을 표시하는 단계;
상기 가상현실 공간에서, 상기 콘텐츠가 표시될 하나 이상의 영역을 결정하는 단계;
상기 결정된 하나 이상의 영역에 상기 콘텐츠로부터 획득되는 하나 이상의 화면을 각각 표시하는 단계;
상기 가상현실 장비의 주변 영상을 획득하는 단계; 및
상기 가상현실 공간 및 상기 주변 영상을 표시하되, 기 설정된 시야범위 안쪽에는 상기 가상현실 공간을 표시하고, 상기 시야범위 바깥에는 상기 주변 영상을 표시하는, 단계; 를 포함하고,
상기 주변 영상을 표시하는 단계는,
상기 가상현실 장비를 이용하는 사용자의 시선 이동을 감지하는 단계;
상기 사용자의 시선이 이동되는 방향으로 상기 시야범위를 이동하되, 상기 시야범위가 이동하는 속도에는 기 설정된 상한속도가 존재하는, 단계; 및
상기 사용자의 시선 이동이 상기 상한속도보다 빠른 경우, 상기 시야범위가 상기 사용자의 시선이 이동한 위치에 도달할 때까지 상기 시야범위 바깥에 상기 주변 영상을 표시하는, 단계; 를 포함하는, 방법.
In the way that the virtual reality equipment displays the content,
Displaying a virtual reality space;
In the virtual reality space, determining at least one region in which the content is to be displayed;
Displaying at least one screen obtained from the content in at least one determined area;
Acquiring a surrounding image of the virtual reality device; And
Displaying the virtual reality space and the surrounding image, displaying the virtual reality space inside a preset viewing range, and displaying the surrounding image outside the viewing range; Including,
The displaying of the surrounding image may include:
Detecting a gaze movement of a user using the virtual reality device;
Moving the viewing range in a direction in which the gaze of the user moves, wherein a preset upper limit speed exists at a speed at which the viewing range moves; And
If the user's gaze movement is faster than the upper limit speed, displaying the surrounding image outside the viewing range until the viewing range reaches a position where the user's gaze moves; Including, the method.
삭제delete 제1 항에 있어서,
상기 주변 영상을 표시하는 단계는,
상기 가상현실 장비를 이용하는 사용자의 시선 이동을 감지하는 단계; 및
상기 사용자의 시선이 기 설정된 제1 기준값 이상의 속도로 이동하는 경우, 상기 시야범위 안쪽에는 상기 주변 영상을 표시하고, 상기 시야범위 바깥에는 상기 가상현실 공간을 표시하는, 단계; 를 더 포함하는, 방법.
According to claim 1,
The displaying of the surrounding image may include:
Detecting a gaze movement of a user using the virtual reality device; And
Displaying the surrounding image inside the viewing range and displaying the virtual reality space outside the viewing range when the user's gaze moves at a speed greater than or equal to a preset first reference value; Further comprising, the method.
제3 항에 있어서,
상기 하나 이상의 영역은 제1 영역 및 제2 영역을 포함하고,
상기 화면을 표시하는 단계는,
상기 제1 영역에 메인 화면을 표시하는 단계;
상기 제2 영역에 서브 화면을 표시하는 단계; 및
상기 사용자의 시선이 기 설정된 제2 기준값 이상의 속도로 이동하는 경우, 상기 제1 영역에 상기 서브 화면을 표시하고, 상기 제2 영역에 상기 메인 화면을 표시하는, 단계; 를 더 포함하는, 방법.
The method of claim 3, wherein
The at least one region comprises a first region and a second region,
Displaying the screen,
Displaying a main screen on the first area;
Displaying a sub screen on the second area; And
Displaying the sub-screen on the first area and displaying the main screen on the second area when the user's gaze moves at a speed equal to or greater than a second preset reference value; Further comprising, the method.
KR1020190023418A 2019-02-27 2019-02-27 Method of providing relay content using a plurality of screens KR102013450B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190023418A KR102013450B1 (en) 2019-02-27 2019-02-27 Method of providing relay content using a plurality of screens

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190023418A KR102013450B1 (en) 2019-02-27 2019-02-27 Method of providing relay content using a plurality of screens

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180084366A Division KR101955478B1 (en) 2018-07-19 2018-07-19 Contents displaying method of a virtual reality device

Publications (1)

Publication Number Publication Date
KR102013450B1 true KR102013450B1 (en) 2019-08-22

Family

ID=67766889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190023418A KR102013450B1 (en) 2019-02-27 2019-02-27 Method of providing relay content using a plurality of screens

Country Status (1)

Country Link
KR (1) KR102013450B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210039180A (en) 2019-10-01 2021-04-09 에스케이텔레콤 주식회사 Method and apparatus for image processing
KR20210039343A (en) 2019-10-01 2021-04-09 에스케이텔레콤 주식회사 Method and apparatus for image processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006061717A (en) * 2002-11-20 2006-03-09 Sega Corp Game image display control program, game device, and storage medium
KR20120076456A (en) * 2010-11-24 2012-07-09 유비벨록스(주) Avata media production method and device using a recognition of sensitivity
KR20130099819A (en) * 2012-02-29 2013-09-06 숭실대학교산학협력단 Socical commerce platform system based panorama virtual reality
KR20170054754A (en) 2015-11-10 2017-05-18 전자부품연구원 Method and System for Providing Virtual Reality Service based on 360 Degree Image
KR20170114375A (en) * 2016-04-04 2017-10-16 삼성물산 주식회사 Method and apparatus for display of virtual reality contents

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006061717A (en) * 2002-11-20 2006-03-09 Sega Corp Game image display control program, game device, and storage medium
KR20120076456A (en) * 2010-11-24 2012-07-09 유비벨록스(주) Avata media production method and device using a recognition of sensitivity
KR20130099819A (en) * 2012-02-29 2013-09-06 숭실대학교산학협력단 Socical commerce platform system based panorama virtual reality
KR20170054754A (en) 2015-11-10 2017-05-18 전자부품연구원 Method and System for Providing Virtual Reality Service based on 360 Degree Image
KR20170114375A (en) * 2016-04-04 2017-10-16 삼성물산 주식회사 Method and apparatus for display of virtual reality contents

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210039180A (en) 2019-10-01 2021-04-09 에스케이텔레콤 주식회사 Method and apparatus for image processing
KR20210039343A (en) 2019-10-01 2021-04-09 에스케이텔레콤 주식회사 Method and apparatus for image processing

Similar Documents

Publication Publication Date Title
US10857455B2 (en) Spectator management at view locations in virtual reality environments
US11738275B2 (en) Virtual reality presentation of real world space
US10957104B2 (en) Information processing device, information processing system, and information processing method
US10621784B2 (en) Venue mapping for virtual reality spectating of live events
JP6058184B1 (en) Method and program for controlling head mounted display system
US20140184588A1 (en) Eye tracking enabling 3d viewing on conventional 2d display
JP2019518261A (en) Watch a virtual reality environment associated with virtual reality (VR) user interactivity
KR102085129B1 (en) Method for providing virtual reality advertisement
KR101955478B1 (en) Contents displaying method of a virtual reality device
US11521346B2 (en) Image processing apparatus, image processing method, and storage medium
KR102039402B1 (en) Method for providing virtual reality advertisement
KR102013450B1 (en) Method of providing relay content using a plurality of screens
CN103785169A (en) Mixed reality arena
US11187895B2 (en) Content generation apparatus and method
KR101982291B1 (en) Method for arranging and displaying virtual reality screens
US20190114841A1 (en) Method, program and apparatus for providing virtual experience
KR102021497B1 (en) Method for controlling display of virtual reality contents
JP6875029B1 (en) Method, program, information processing device
JP7365132B2 (en) Information processing device, display method and computer program
KR101955492B1 (en) Method for providing multi channel rerun contents
US11778155B2 (en) Image processing apparatus, image processing method, and storage medium
JP7438786B2 (en) Program, information processing method, and information processing device
JP7458779B2 (en) Program, method and information processing device
KR102224057B1 (en) Method for load reduction using automatic control of observation image and head-mounted display using the same
JP2019192259A (en) Display control apparatus, display control system, and program

Legal Events

Date Code Title Description
GRNT Written decision to grant