KR102468801B1 - Method and apparatus for converting virtual reality contents - Google Patents

Method and apparatus for converting virtual reality contents Download PDF

Info

Publication number
KR102468801B1
KR102468801B1 KR1020160024287A KR20160024287A KR102468801B1 KR 102468801 B1 KR102468801 B1 KR 102468801B1 KR 1020160024287 A KR1020160024287 A KR 1020160024287A KR 20160024287 A KR20160024287 A KR 20160024287A KR 102468801 B1 KR102468801 B1 KR 102468801B1
Authority
KR
South Korea
Prior art keywords
image
virtual reality
reality content
open
rendering
Prior art date
Application number
KR1020160024287A
Other languages
Korean (ko)
Other versions
KR20170101575A (en
Inventor
김대성
김명찬
한정안
송대원
박민호
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020160024287A priority Critical patent/KR102468801B1/en
Publication of KR20170101575A publication Critical patent/KR20170101575A/en
Application granted granted Critical
Publication of KR102468801B1 publication Critical patent/KR102468801B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

원 영상으로부터 오픈 그래픽 라이브러리 (Open GL: Open Graphics Library) 객체를 추출하고, 추출된 Open GL 객체를 좌 영상 및 우 영상으로 분리하여 렌더링 하며, 좌 영상 및 우 영상 각각에 존재하지 않은 주변(surrounding) 영역의 컨텐츠에 대해 추가 데이터를 확장하여 스티칭(stitching) 하고, 좌 영상 및 우 영상 각각에 어안 렌더링을 통하여 변환 영상을 생성하는 가상 현실 컨텐츠 변환 방법 및 장치를 제공한다.Extracts Open Graphics Library (Open GL) objects from the original image, separates the extracted Open GL objects into left and right images and renders them, and surrounds that do not exist in each of the left and right images Provided is a method and apparatus for converting virtual reality content that expands and stitches additional data for content of a region and generates a converted image through fisheye rendering on each of a left image and a right image.

Description

가상 현실 컨텐츠 변환 방법 및 장치{METHOD AND APPARATUS FOR CONVERTING VIRTUAL REALITY CONTENTS}Method and apparatus for converting virtual reality contents {METHOD AND APPARATUS FOR CONVERTING VIRTUAL REALITY CONTENTS}

본 발명의 실시예들은 실시간으로 가상 현실 컨텐츠를 변환하는 장치 및 방법에 관한 것이다.Embodiments of the present invention relate to an apparatus and method for converting virtual reality content in real time.

헤드 마운드 디스플레이(Head Mount Display, 이하 HMD라 함) 디바이스의 출현과 모바일 단말의 급속한 기술 발전으로 가상 현실(Virtual Reality, 이하 VR 이라 함) 서비스와 단말이 빠른 속도로 확산되고 있다. With the advent of head mount display (hereinafter referred to as HMD) devices and the rapid technological development of mobile terminals, virtual reality (VR) services and terminals are rapidly spreading.

특히, 모바일 단말의 GPU (Graphical Processing Unit)는 그 발전 속도가 가장 눈부시게 진행되고 있는 분야이며 이를 활용하기 위한 오플 그래픽 라이브러리(Open Graphic Library, OpenGL)과 같은 도구 들이 발전하고 있다.In particular, the GPU (Graphical Processing Unit) of mobile terminals is the most rapidly developing field, and tools such as the Open Graphic Library (OpenGL) are developing to utilize it.

게임과 같은 그래픽 처리 분야에 있어서 VR 기술이 기여 하는 바는 그 파급효과가 많을 것으로 기대되고 있다.It is expected that VR technology will have many ripple effects in the field of graphic processing such as games.

일반적인 OpenGL로 작성된 2D 그래픽 컨텐츠를 3D로 변환하려는 시도들이 많이 있었으나 3D 디스플레이의 제약사항 등의 이유로 크게 확산되지 않았으나, 최근 HMD의 폭발적인 증가로 인해 VR 컨텐츠 제작에 많은 관심이 집중되고 있다.Although there have been many attempts to convert 2D graphic contents written in general OpenGL to 3D, it has not been widely spread due to limitations of 3D displays.

다만, 기본적으로 VR 컨텐츠가 부족하며 이를 제작하기 위한 비용, 기간 등이 많이 소모되는 등의 어려움이 따른다.However, there are difficulties in that VR contents are basically insufficient, and a lot of cost and time are consumed to produce them.

본 발명의 일실시예는 일반 컨텐츠를 실시간으로 VR 컨텐츠로 변환하는 것을 목적으로 한다.One embodiment of the present invention aims to convert general content into VR content in real time.

본 발명의 일실시예는 HMD를 통하여 변환된 VR 컨텐츠를 시청하는 것을 목적으로 한다.One embodiment of the present invention aims to view converted VR content through an HMD.

본 발명의 일실시예에 따른 가상 현실 컨텐츠 변환 방법은 원 영상으로부터 오픈 그래픽 라이브러리 (Open GL: Open Graphics Library) 객체를 추출하는 단계, 상기 추출된 Open GL 객체를 좌 영상 및 우 영상으로 분리하여 렌더링 하는 단계, 상기 좌 영상 및 상기 우 영상 각각에 존재하지 않은 주변(surrounding) 영역의 컨텐츠에 대해 추가 데이터를 확장하여 스티칭(stitching) 하는 단계, 및 상기 좌 영상 및 상기 우 영상 각각에 어안 렌더링을 통하여 변환 영상을 생성하는 단계를 포함한다. A virtual reality content conversion method according to an embodiment of the present invention includes extracting an Open Graphics Library (Open GL) object from an original image, dividing the extracted Open GL object into a left image and a right image, and rendering The step of expanding and stitching additional data for the content of the surrounding area that does not exist in each of the left and right images, and through fisheye rendering on each of the left and right images A step of generating a transformed image is included.

본 발명의 일측에 따르면, 상기 원 영상은 2차원 영상이며, 상기 변환 영상은 3차원 가상 현실 영상일 수 있다.According to one aspect of the present invention, the original image may be a 2D image, and the converted image may be a 3D virtual reality image.

본 발명의 일측에 따른 가상 현실 컨텐츠 변환 방법은 상기 좌 영상 및 상기 우 영상 각각을 미리 설정된 차이 각도(disparity degree)에 따라 변환하여 렌더링 하는 단계를 더 포함할 수 있다.The virtual reality content conversion method according to one aspect of the present invention may further include converting and rendering each of the left image and the right image according to a preset disparity degree.

본 발명의 일측에 따르면, 상기 추가 데이터는 상기 주변(surrounding) 영역의 컨텐츠에 대한 주변 데이터, 이전 데이터 또는 이후 데이터 중 어느 하나 이상일 수 있다.According to one aspect of the present invention, the additional data may be any one or more of surrounding data, previous data, or subsequent data for the contents of the surrounding area.

본 발명의 일측에 따른 가상 현실 컨텐츠 변환 방법은 상기 좌 영상 및 상기 우 영상 각각에 대한 자이로 정보가 존재하는지 여부를 판단하는 단계, 및 상기 자이로 정보가 존재하지 않는 경우, 상기 좌 영상 및 상기 우 영상 각각에 자이로 정보를 추가하는 단계를 더 포함할 수 있다.A virtual reality content conversion method according to an aspect of the present invention includes the steps of determining whether gyro information for each of the left image and the right image exists, and if the gyro information does not exist, the left image and the right image. A step of adding gyro information to each may be further included.

본 발명의 일실시예에 따른 가상 현실 컨텐츠 변환 장치는 원 영상으로부터 오픈 그래픽 라이브러리(Open GL: Open Graphics Library) 객체를 추출하는 객체 추출부, 상기 추출된 Open GL 객체를 좌 영상 및 우 영상으로 분리하여 렌더링 하는 렌더링부, 상기 좌 영상 및 상기 우 영상 각각에 존재하지 않은 주변(surrounding) 영역의 컨텐츠에 대해 추가 데이터를 확장하여 스티칭(stitching) 하는 스티칭부, 및 상기 좌 영상 및 상기 우 영상 각각에 어안 렌더링을 통하여 변환 영상을 생성하는 영상 생성부를 포함한다.An apparatus for converting virtual reality content according to an embodiment of the present invention includes an object extractor for extracting an Open Graphics Library (Open GL) object from an original image, and separating the extracted Open GL object into a left image and a right image A rendering unit that renders by performing a rendering, a stitching unit that expands and stitches additional data for content in a surrounding area that does not exist in each of the left and right images, and a stitching unit for each of the left and right images and an image generator for generating a converted image through fisheye rendering.

본 발명의 일측에 따르면, 상기 원 영상은 2차원 영상이며 상기 변환 영상은 3차원 가상 현실 영상일 수 있다.According to one aspect of the present invention, the original image may be a 2D image and the converted image may be a 3D virtual reality image.

본 발명의 일측에 따르면, 상기 렌더링부는 상기 좌 영상 및 상기 우 영상 각각을 미리 설정된 차이 각도(disparity degree)에 따라 변환하여 렌더링 할 수 있다.According to one aspect of the present invention, the rendering unit may convert and render each of the left image and the right image according to a preset disparity degree.

본 발명의 일측에 따르면, 상기 추가 데이터는 상기 주변(surrounding) 영역의 컨텐츠에 대한 주변 데이터, 이전 데이터 또는 이후 데이터 중 어느 하나 이상일 수 있다.According to one aspect of the present invention, the additional data may be any one or more of surrounding data, previous data, or subsequent data for the contents of the surrounding area.

본 발명의 일측에 따른 가상 현실 컨텐츠 변환 장치는 상기 좌 영상 및 상기 우 영상 각각에 대한 자이로 정보가 존재하는지 여부를 판단하는 판단부, 및 상기 자이로 정보가 존재하지 않는 경우, 상기 좌 영상 및 상기 우 영상 각각에 자이로 정보를 추가하는 자이로 정보 추가부를 더 포함할 수 있다.According to an aspect of the present invention, an apparatus for converting virtual reality contents comprises: a determination unit determining whether gyro information for each of the left image and the right image exists; and, when the gyro information does not exist, the left image and the right image. A gyro information adding unit for adding gyro information to each image may be further included.

본 발명의 일실시예에 따르면 일반 컨텐츠를 실시간으로 VR 컨텐츠로 변환할 수 있다.According to one embodiment of the present invention, general content can be converted into VR content in real time.

본 발명의 일실시예에 따르면 HMD를 통하여 변환된 VR 컨텐츠를 시청할 수 있다.According to one embodiment of the present invention, it is possible to watch the converted VR content through the HMD.

도 1은 본 발명의 일실시예에 따른 가상 현실 컨텐츠 변환 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일측에 따른 가상 현실 컨텐츠 변환하는 과정을 도시한 제1 실시예 도면이다.
도 3은 본 발명의 일측에 따른 가상 현실 컨텐츠 변환하는 과정을 도시한 제2 실시예 도면이다.
도 4는 본 발명의 일실시예에 따른 가상 현실 컨텐츠 변환 방법을 도시한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 가상 현실 컨텐츠 변환 방법을 도시한 흐름도이다.1 is a block diagram showing the configuration of a virtual reality content conversion device according to an embodiment of the present invention.
2 is a first embodiment diagram illustrating a process of converting virtual reality content according to one aspect of the present invention.
3 is a diagram of a second embodiment illustrating a process of converting virtual reality content according to one aspect of the present invention.
4 is a flowchart illustrating a virtual reality content conversion method according to an embodiment of the present invention.
5 is a flowchart illustrating a virtual reality content conversion method according to another embodiment of the present invention.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings and the contents described in the accompanying drawings, but specific structural or functional descriptions of embodiments according to the concept of the present invention disclosed herein are only As illustrated for the purpose of explaining embodiments according to the concept of the present invention, embodiments according to the concept of the present invention may be implemented in various forms and are not limited to the embodiments described herein.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다Embodiments according to the concept of the present invention can apply various changes and can have various forms, so the embodiments are illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosures, and includes modifications, equivalents, or substitutes included in the spirit and scope of the present invention.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component, for example, without departing from the scope of rights according to the concept of the present invention, a first component may be named a second component, Similarly, the second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle. Expressions describing the relationship between components, such as "between" and "directly between" or "directly adjacent to" should be interpreted similarly.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, but one or more other features or numbers, It should be understood that the presence or addition of steps, operations, components, parts, or combinations thereof is not precluded.

한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Meanwhile, in describing the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the terminology used in this specification is a term used to appropriately express the embodiment of the present invention, which may vary according to the intention of a user or operator or customs in the field to which the present invention belongs. Therefore, definitions of these terms will have to be made based on the content throughout this specification.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this specification, they should not be interpreted in an ideal or excessively formal meaning. don't

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are given to the same components regardless of reference numerals, and overlapping descriptions thereof will be omitted. In describing the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description will be omitted.

본 발명의 일실시예에 따른 가상 현실 컨텐츠 변환 방법은 2차원 영상을 3차원 가상 현실 영상으로 변환할 수 있으며, HMD를 통하여 변환된 가상 현실 영상을 시청할 수 있다.In the virtual reality content conversion method according to an embodiment of the present invention, a 2D image can be converted into a 3D virtual reality image, and the converted virtual reality image can be viewed through an HMD.

본 발명의 일측에 따르면, 가상 현실 컨텐츠 변환 장치는 오픈 그래픽 라이브러리로 제작된 영상 정보를 대상으로 가상 현실 컨텐츠를 제작하는 할 수 있다.According to one aspect of the present invention, the virtual reality content conversion device may create virtual reality content based on image information produced by an open graphic library.

예를 들어, 가상 현실 컨텐츠 변환 장치는 HMD 장치와 같이 좌우 영상이 분리된 가상 현실 환경에서 출력 가능한 가상 현실 컨텐츠를 실시간으로 변환하여 제공할 수 있다. For example, the virtual reality content conversion device may convert and provide outputable virtual reality content in real time in a virtual reality environment in which left and right images are separated like an HMD device.

본 발명의 일측에 따르면, 오픈 그래픽 라이브러리의 영상은 각각의 오브젝트들로 이루어져 있으며, 그래픽 프로세서 유닛(Graphic Processor Unit, GPU)은 각각의 오브젝트들을 실시간으로 각각 분리하여 렌더링 할 수 있다. According to one aspect of the present invention, an image of an open graphic library is composed of individual objects, and a graphics processor unit (GPU) may separate and render each object in real time.

오픈 그래픽 라이브러리는 2차원 및 3차원 그래픽스 표준 API(Application Programming Interface) 규격으로, 프로그래밍 언어 간 플랫폼 간의 교차 응용 프로그래밍을 지원할 수 있으며, API는 약 250여개 가량의 함수 호출을 이용하여 단순한 기하도형에서부터 복잡한 3차원 장면을 생성할 수 있다. The open graphic library is a 2D and 3D graphics standard API (Application Programming Interface) standard that can support cross-application programming between programming languages and platforms. 3D scenes can be created.

오픈 그래픽 라이브러리는 프로그래머에게 단일한 API를 제공함으로써 서로 다른 3차원 가속기 사이의 복잡한 상호 정보교환 방식을 간단하게 할 수 있으며, 필요하다면 소프트웨어적인 에뮬레이션을 이용하더라도 모든 구현이 완전한 기능 집합을 지원하도록 강제함으로써 각각의 하드웨어 플랫폼마다 다른 능력 차이를 감추는 역할을 제공할 수 있다.The open graphics library simplifies the complex mutual information exchange method between different 3D accelerators by providing a single API to programmers, and by forcing all implementations to support a complete set of functions, even if necessary, using software emulation. Each hardware platform can provide a role that hides different capability differences.

오픈 그래픽 라이브러리의 동작은 점, 선, 다각형과 같은 기본 도형을 픽셀 형식으로 변환하는 것을 허용하고 있으며, 오픈 그래픽 라이브러리 상태 머신(OpenGL State Machine)이라는 그래픽스 파이프라인을 통하여 이루어질 수 있다.The operation of the Open Graphics Library allows conversion of basic figures such as points, lines, and polygons into pixel formats, and can be performed through a graphics pipeline called the OpenGL State Machine.

본 발명의 일측에 따른 가상 현실 컨텐츠 변환 장치는 오픈 그래픽 라이브러리로 제작된 영상 등의 컨텐츠들에서 실시간으로 오브젝트를 추출하고, 추출한 오브젝트 들을 컨텐츠에 최적화된 각도만큼 좌, 우 그래픽을 회전 시켜서 1차 적인 가상 현실 효과를 적용할 수 있다. A virtual reality content conversion device according to one aspect of the present invention extracts objects in real time from contents such as images produced with an open graphic library, rotates the extracted objects by an angle optimized for the contents, and rotates the left and right graphics to obtain the primary Virtual reality effects can be applied.

예를 들어, 가상 현실 컨텐츠 변환 장치는 양쪽 눈이 피사체를 바라보는 각도만큼 왜곡 시켜서 재 렌더링 할 수 있다.For example, the virtual reality content conversion device may re-render the object by distorting it as much as the angle at which both eyes look at the subject.

가상 현실 컨텐츠 변환 장치는 이후 주변 데이터(surrounding data)와 어안 렌더링 및 자이로 정보를 추가하여 가상 현실 효과를 더 할 수 있다.The virtual reality content conversion device may then add a virtual reality effect by adding surrounding data, fisheye rendering, and gyro information.

최종적으로 사용자는 HMD 단말을 통하여 2차원으로 제작된 오픈 그래픽 라이브러리 기반 컨텐츠를 실시간으로 가상 현실 컨텐츠로 시청할 수 있다.Finally, the user can view the open graphic library-based content produced in two dimensions as virtual reality content in real time through the HMD terminal.

아래에서는 본 발명의 본 발명의 일실시예에 따른 가상 현실 컨텐츠 변환 장치의 구성을 설명하도록 한다.Hereinafter, the configuration of a virtual reality content conversion device according to an embodiment of the present invention will be described.

도 1은 본 발명의 일실시예에 따른 가상 현실 컨텐츠 변환 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a virtual reality content conversion device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 가상 현실 컨텐츠 변환 장치는 객체 추출부(110), 렌더링부(120), 스티칭부(130), 및 영상 생성부(140)를 포함한다.Referring to FIG. 1 , the apparatus for converting virtual reality contents according to an embodiment of the present invention includes an object extraction unit 110 , a rendering unit 120 , a stitching unit 130 , and an image generator 140 .

객체 추출부(110)는 원 영상으로부터 오픈 그래픽 라이브러리(Open GL: Open Graphics Library) 객체를 추출한다.The object extraction unit 110 extracts an Open Graphics Library (Open GL) object from the original image.

렌더링부(120)는 추출된 Open GL 객체를 좌 영상 및 우 영상으로 분리하여 렌더링 한다.The rendering unit 120 separates the extracted Open GL object into left and right images and renders them.

렌더링부(120)는 좌 영상 및 우 영상 각각을 미리 설정된 차이 각도(disparity degree)에 따라 변환하여 렌더링 할 수 있다. The rendering unit 120 may convert and render each of the left and right images according to a preset disparity degree.

스티칭부(130)는 좌 영상 및 우 영상 각각에 존재하지 않은 주변(surrounding) 영역의 컨텐츠에 대해 추가 데이터를 확장하여 스티칭(stitching) 한다.The stitching unit 130 expands and stitches additional data for content in a surrounding area that does not exist in each of the left and right images.

예를 들어, 추가 데이터는 주변(surrounding) 영역의 컨텐츠에 대한 주변 데이터, 이전 데이터 또는 이후 데이터 중 어느 하나 이상을 포함할 수 있으며, 스티칭부(130)는 좌 영상 및 우 영상 각각의 주변 영역에 주변 데이터, 이전 데이터 또는 이후 데이터들을 확장하여 스티칭 할 수 있다.For example, the additional data may include any one or more of surrounding data, previous data, or subsequent data for the contents of the surrounding area, and the stitching unit 130 may include the left image and the right image in the surrounding area, respectively. Surrounding data, previous data, or subsequent data can be extended and stitched.

영상 생성부(140)는 좌 영상 및 우 영상 각각에 어안 렌더링을 통하여 변환 영상을 생성한다.The image generator 140 generates a converted image through fisheye rendering on each of the left and right images.

여기서, 원 영상은 2차원 영상일 수 있으며, 변환 영상은 3차원 가상 현실 영상일 수 있다.Here, the original image may be a 2D image, and the converted image may be a 3D virtual reality image.

본 발명의 일측에 따르면, 가상 현실 컨테츠 컨텐츠 변환 장치는 제어부(150)를 포함할 수 있으며, 제어부(150)는 가상 현실 컨텐츠 변화 장치의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(150)는 각각의 모듈(110~140) 간의 데이터를 송수신하여 다른 모듈로 전달하거나, 제어 데이터를 생성하여 각각의 모듈(110~140)을 제어하는 역할을 담당할 수 있다. 각각의 모듈(110~140)은 제어부(150)의 제어에 의하여 구동 될 수도 있고, 제어부(150)의 별도로 독립적으로 구현될 수도 있다.According to one aspect of the present invention, a virtual reality content conversion device may include a controller 150, and the controller 150 may control overall operations of the virtual reality content conversion device. For example, the control unit 150 may play a role of transmitting/receiving data between each module 110 to 140 and transferring the data to another module, or generating control data and controlling each module 110 to 140. . Each of the modules 110 to 140 may be driven under the control of the control unit 150 or implemented independently of the control unit 150.

본 발명의 일측에 따른 가상 현실 컨텐츠 변환 장치는 판단부(160) 및 (170)를 더 포함할 수 있다.The apparatus for converting virtual reality contents according to one aspect of the present invention may further include determining units 160 and 170 .

판단부(160)는 좌 영상 및 우 영상 각각에 대한 자이로 정보가 존재하는지 여부를 판단하고, 자이로 정보가 존재하지 않는 경우, 좌 영상 및 우 영상 각각에 자이로 정보를 추가할 수 있다.The determination unit 160 may determine whether gyro information exists for each of the left and right images, and if there is no gyro information, add gyro information to each of the left and right images.

영상 생성부(140)는 좌 영상 및 우 영상 각각에 자이로 정보를 추가한 각각의 영상에 대하여 어안 렌더링을 통하여 변환 영상을 생성할 수 있다.The image generator 140 may generate a converted image through fisheye rendering for each image in which gyro information is added to each of the left image and the right image.

아래에서는 본 발명의 일측에 따른 가상 현실 컨텐츠 변환 과정을 설명하도록 한다.Hereinafter, a virtual reality content conversion process according to an aspect of the present invention will be described.

도 2는 본 발명의 일측에 따른 가상 현실 컨텐츠 변환하는 과정을 도시한 제1 실시예 도면이다.2 is a first embodiment diagram illustrating a process of converting virtual reality content according to one aspect of the present invention.

도 2를 참조하면, 가상 현실 컨텐츠 변환 장치는 오픈 그래픽 라이브러리로 구성된 2차원 영상인 원 영상(210)으로부터 오픈 그래픽 라이브러리 (Open GL: Open Graphics Library) 객체를 추출할 수 있다.Referring to FIG. 2 , the virtual reality content conversion device may extract an Open Graphics Library (Open GL) object from an original image 210 that is a two-dimensional image composed of the open graphics library.

가상 현실 컨텐츠 변환 장치는 추출된 Open GL 객체를 좌 영상 및 우 영상으로 분리하여 렌더링(220) 할 수 있으며, 좌 영상 및 우 영상 각각에 존재하지 않은 주변(surrounding) 영역의 컨텐츠에 대해 추가 데이터를 확장하여 스티칭(stitching)(230)할 수 있다.The virtual reality content conversion device may separate the extracted Open GL object into a left image and a right image and render 220, and additional data for the content of the surrounding area that does not exist in each of the left and right images It can be expanded and stitched (230).

최종적으로, 가상 현실 컨텐츠 변환 장치는 좌 영상 및 우 영상 각각에 어안 렌더링을 통하여 3차원 가상 현실 변환 영상을 생성(240)할 수 있다.Finally, the virtual reality content conversion device may generate a 3D virtual reality conversion image through fisheye rendering on each of the left and right images (240).

도 3은 본 발명의 일측에 따른 가상 현실 컨텐츠 변환하는 과정을 도시한 제2 실시예 도면이다.3 is a diagram of a second embodiment illustrating a process of converting virtual reality content according to one aspect of the present invention.

도 3을 참조하면, 가상 현실 컨텐츠 변환 장치는 오픈 그래픽 라이브러리로 구성된 2차원 영상인 원 영상(310)으로부터 오픈 그래픽 라이브러리 (Open GL: Open Graphics Library) 객체를 추출할 수 있다.Referring to FIG. 3 , the virtual reality content conversion device may extract an Open Graphics Library (Open GL) object from an original image 310 that is a two-dimensional image composed of the open graphics library.

가상 현실 컨텐츠 변환 장치는 추출된 Open GL 객체를 좌 영상 및 우 영상으로 분리하여 렌더링(320) 할 수 있으며, 좌 영상 및 우 영상 각각을 미리 설정된 차이 각도(disparity degree)에 따라 변환하여 렌더링(330)할 수 있다.The virtual reality content conversion device may separate the extracted Open GL object into a left image and a right image and render (320), convert each of the left and right images according to a preset disparity degree, and render (330) )can do.

가상 현실 컨텐츠 변환 장치는 좌 영상 및 우 영상 각각에 존재하지 않은 주변(surrounding) 영역의 컨텐츠에 대해 추가 데이터를 확장하여 스티칭(stitching)(340)할 수 있다.The virtual reality content conversion apparatus may expand and stitch (340) additional data for content in a surrounding area that does not exist in each of the left and right images.

가상 현실 컨텐츠 변환 장치는 자이로 정보가 존재하지 않는 경우, 추가 데이터를 스티칭한 좌 영상 및 우 영상(350) 각각에 자이로 정보를 추가(360)할 수 있다.When gyro information does not exist, the virtual reality content conversion apparatus may add gyro information to each of the left and right images 350 stitched with additional data (360).

최종적으로, 가상 현실 컨텐츠 변환 장치는 자이로 정보를 추가한 좌 영상 및 우 영상 각각에 어안 렌더링을 통하여 3차원 가상 현실 변환 영상을 생성(370)할 수 있다.Finally, the virtual reality content conversion device may generate a 3D virtual reality conversion image through fisheye rendering on each of the left and right images to which gyro information is added (370).

아래에서는 본 발명의 일실시예에 따른 가상 현실 컨텐츠 변환 방법을 설명하도록 한다.Hereinafter, a virtual reality content conversion method according to an embodiment of the present invention will be described.

본 발명의 일실시예에 따른 가상 현실 컨텐츠 변환 방법은 전술한 가상 현실 컨텐츠 변환 장치를 이용하여 수행할 수 있는 바, 가상 현실 컨텐츠 변환 장치를 주체로 하여 설명하도록 한다.Since the virtual reality content conversion method according to an embodiment of the present invention can be performed using the aforementioned virtual reality content conversion device, the virtual reality content conversion device will be described as a subject.

도 4는 본 발명의 일실시예에 따른 가상 현실 컨텐츠 변환 방법을 도시한 흐름도이다.4 is a flowchart illustrating a virtual reality content conversion method according to an embodiment of the present invention.

도 4를 참조하면, 가상 현실 컨텐츠 변환 장치는 원 영상으로부터 오픈 그래픽 라이브러리 (Open GL: Open Graphics Library) 객체를 추출한다(410).Referring to FIG. 4 , the apparatus for converting virtual reality content extracts an Open Graphics Library (Open GL) object from an original image (410).

가상 현실 컨텐츠 변환 장치는 추출된 Open GL 객체를 좌 영상 및 우 영상으로 분리하여 렌더링 한다(420).The virtual reality content conversion device separates the extracted Open GL object into a left image and a right image and renders it (420).

가상 현실 컨텐츠 변환 장치는 좌 영상 및 우 영상 각각에 존재하지 않은 주변(surrounding) 영역의 컨텐츠에 대해 추가 데이터를 확장하여 스티칭(stitching) 한다(430). 예를 들어, 추가 데이터는 주변(surrounding) 영역의 컨텐츠에 대한 주변 데이터, 이전 데이터 또는 이후 데이터 등을 포함할 수 있다.The virtual reality content conversion apparatus expands and stitches additional data for content in a surrounding area that does not exist in each of the left and right images (430). For example, the additional data may include surrounding data, previous data, or subsequent data about the contents of the surrounding area.

가상 현실 컨텐츠 변환 장치는 좌 영상 및 우 영상 각각에 어안 렌더링을 통하여 변환 영상을 생성한다(440).The virtual reality content conversion device generates converted images through fisheye rendering on each of the left and right images (440).

본 발명의 일측에 따르면, 원 영상은 2차원 영상일 수 있으며, 변환 영상은 3차원 가상 현실 영상일 수 있다. According to one aspect of the present invention, the original image may be a 2D image, and the converted image may be a 3D virtual reality image.

도 5는 본 발명의 다른 실시예에 따른 가상 현실 컨텐츠 변환 방법을 도시한 흐름도이다.5 is a flowchart illustrating a virtual reality content conversion method according to another embodiment of the present invention.

도 5를 참조하면, 가상 현실 컨텐츠 변환 장치는 원 영상으로부터 오픈 그래픽 라이브러리 (Open GL: Open Graphics Library) 객체를 추출한다(510).Referring to FIG. 5 , the virtual reality content conversion device extracts an Open Graphics Library (Open GL) object from an original image (510).

가상 현실 컨텐츠 변환 장치는 추출된 Open GL 객체를 좌 영상 및 우 영상으로 분리하여 렌더링 한다(520).The virtual reality content conversion device divides the extracted Open GL object into a left image and a right image and renders it (520).

가상 현실 컨텐츠 변환 장치는 좌 영상 및 우 영상 각각을 미리 설정된 차이 각도(disparity degree)에 따라 변환하여 렌더링 한다(530).The virtual reality content conversion device converts and renders each of the left and right images according to a preset disparity degree (530).

가상 현실 컨텐츠 변환 장치는 좌 영상 및 우 영상 각각에 존재하지 않은 주변(surrounding) 영역의 컨텐츠에 대해 추가 데이터를 확장하여 스티칭(stitching) 한다(540).The virtual reality content conversion apparatus expands and stitches additional data for content in a surrounding region that does not exist in each of the left and right images (540).

가상 현실 컨텐츠 변환 장치는 자이로 정보가 존재하지 않는 경우, 좌 영상 및 우 영상 각각에 자이로 정보를 추가할 수 있다(550).When gyro information does not exist, the virtual reality content conversion apparatus may add gyro information to each of the left and right images (550).

가상 현실 컨텐츠 변환 장치는 좌 영상 및 우 영상 각각에 어안 렌더링을 통하여 변환 영상을 생성한다(560).The virtual reality content conversion device generates converted images through fisheye rendering on each of the left and right images (560).

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

110: 객체 추출부
120: 렌더링부
130: 스티칭부
140: 영상 생성부
150: 제어부
160: 판단부
170: 자이로 정보 추가부110: object extraction unit
120: rendering unit
130: stitching unit
140: image generator
150: control unit
160: judgment unit
170: gyro information addition unit

Claims (11)

2차원 단일 원 영상으로부터 오픈 그래픽 라이브러리 (Open GL: Open Graphics Library) 객체를 추출하는 단계;
상기 2차원 단일 원 영상을 이용하여 상기 추출된 Open GL 객체를 좌 영상 및 우 영상으로 분리하여 렌더링 하는 단계;
상기 좌 영상 및 상기 우 영상 각각에 존재하지 않은 주변(surrounding) 영역의 컨텐츠에 대해 추가 데이터를 확장하여 스티칭(stitching) 하는 단계; 및
상기 좌 영상 및 상기 우 영상 각각에 어안 영상으로의 렌더링을 통하여 변환 영상을 생성하는 단계
를 포함하는,
가상 현실 컨텐츠 변환 방법.Extracting an Open Graphics Library (Open GL) object from a 2D single circle image;
dividing the extracted Open GL object into a left image and a right image using the 2D single original image and rendering the object;
expanding and stitching additional data for content in a surrounding region that does not exist in each of the left and right images; and
Generating a converted image by rendering each of the left image and the right image into a fisheye image
including,
How to convert virtual reality content. 제1항에 있어서,
상기 변환 영상은 3차원 가상 현실 영상인,
가상 현실 컨텐츠 변환 방법.According to claim 1,
The converted image is a 3D virtual reality image,
How to convert virtual reality content. 제1항에 있어서,
상기 좌 영상 및 상기 우 영상 각각을 미리 설정된 차이 각도(disparity degree)에 따라 변환하여 렌더링 하는 단계
를 더 포함하는,
가상 현실 컨텐츠 변환 방법.According to claim 1,
Converting and rendering each of the left image and the right image according to a preset disparity degree
Including more,
How to convert virtual reality content. 제1항에 있어서,
상기 추가 데이터는,
상기 주변(surrounding) 영역의 컨텐츠에 대한 주변 데이터, 이전 데이터 또는 이후 데이터 중 어느 하나 이상인,
가상 현실 컨텐츠 변환 방법.According to claim 1,
The additional data is
Any one or more of surrounding data, previous data, or subsequent data for the contents of the surrounding area,
How to convert virtual reality content. 제1항에 있어서,
상기 좌 영상 및 상기 우 영상 각각에 대한 자이로 정보가 존재하는지 여부를 판단하는 단계; 및
상기 자이로 정보가 존재하지 않는 경우, 상기 좌 영상 및 상기 우 영상 각각에 자이로 정보를 추가하는 단계
를 더 포함하는,
가상 현실 컨텐츠 변환 방법.According to claim 1,
determining whether gyro information for each of the left and right images exists; and
Adding gyro information to each of the left image and the right image when the gyro information does not exist
Including more,
How to convert virtual reality content. 제1항 내지 제5항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.A computer-readable recording medium recording a program for performing the method of any one of claims 1 to 5. 2차원 단일 원 영상으로부터 오픈 그래픽 라이브러리(Open GL: Open Graphics Library) 객체를 추출하는 객체 추출부;
상기 2차원 단일 원 영상을 이용하여 상기 추출된 Open GL 객체를 좌 영상 및 우 영상으로 분리하여 렌더링 하는 렌더링부;
상기 좌 영상 및 상기 우 영상 각각에 존재하지 않은 주변(surrounding) 영역의 컨텐츠에 대해 추가 데이터를 확장하여 스티칭(stitching) 하는 스티칭부; 및
상기 좌 영상 및 상기 우 영상 각각에 어안 영상으로의 렌더링을 통하여 변환 영상을 생성하는 영상 생성부
를 포함하는,
가상 현실 컨텐츠 변환 장치.An object extraction unit for extracting an Open Graphics Library (Open GL) object from a 2D single circle image;
a rendering unit that separates the extracted Open GL object into a left image and a right image using the 2D single circle image and renders the extracted Open GL object;
a stitching unit that expands and stitches additional data for content in a surrounding area that does not exist in each of the left and right images; and
An image generator for generating a converted image by rendering each of the left image and the right image into a fisheye image.
including,
Virtual reality content conversion device. 제7항에 있어서,
상기 변환 영상은 3차원 가상 현실 영상인,
가상 현실 컨텐츠 변환 장치.According to claim 7,
The converted image is a 3D virtual reality image,
Virtual reality content conversion device. 제7항에 있어서,
상기 렌더링부는,
상기 좌 영상 및 상기 우 영상 각각을 미리 설정된 차이 각도(disparity degree)에 따라 변환하여 렌더링 하는,
가상 현실 컨텐츠 변환 장치.According to claim 7,
The rendering unit,
Converting and rendering each of the left image and the right image according to a preset disparity degree,
Virtual reality content conversion device. 제7항에 있어서,
상기 추가 데이터는,
상기 주변(surrounding) 영역의 컨텐츠에 대한 주변 데이터, 이전 데이터 또는 이후 데이터 중 어느 하나 이상인,
가상 현실 컨텐츠 변환 장치.According to claim 7,
The additional data is
Any one or more of surrounding data, previous data, or subsequent data for the contents of the surrounding area,
Virtual reality content conversion device. 제7항에 있어서,
상기 좌 영상 및 상기 우 영상 각각에 대한 자이로 정보가 존재하는지 여부를 판단하는 판단부; 및
상기 자이로 정보가 존재하지 않는 경우, 상기 좌 영상 및 상기 우 영상 각각에 자이로 정보를 추가하는 자이로 정보 추가부
를 더 포함하는,
가상 현실 컨텐츠 변환 장치.According to claim 7,
a determination unit determining whether gyro information for each of the left and right images exists; and
If the gyro information does not exist, a gyro information adding unit for adding gyro information to each of the left image and the right image.
Including more,
Virtual reality content conversion device.
KR1020160024287A 2016-02-29 2016-02-29 Method and apparatus for converting virtual reality contents KR102468801B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160024287A KR102468801B1 (en) 2016-02-29 2016-02-29 Method and apparatus for converting virtual reality contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160024287A KR102468801B1 (en) 2016-02-29 2016-02-29 Method and apparatus for converting virtual reality contents

Publications (2)

Publication Number Publication Date
KR20170101575A KR20170101575A (en) 2017-09-06
KR102468801B1 true KR102468801B1 (en) 2022-11-18

Family

ID=59925322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160024287A KR102468801B1 (en) 2016-02-29 2016-02-29 Method and apparatus for converting virtual reality contents

Country Status (1)

Country Link
KR (1) KR102468801B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11303826B2 (en) 2018-01-31 2022-04-12 Lg Electronics Inc. Method and device for transmitting/receiving metadata of image in wireless communication system
CN112308954A (en) * 2019-11-26 2021-02-02 海南发控智慧环境建设集团有限公司 Building model informatization and real scene virtual simulation method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013009286A (en) * 2011-03-30 2013-01-10 Casio Comput Co Ltd Image display system, image display device and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101000859B1 (en) * 2009-05-25 2010-12-13 연세대학교 산학협력단 HDRI-Panorama image generation apparatus and method with fisheye lens
KR101818778B1 (en) * 2012-03-23 2018-01-16 한국전자통신연구원 Apparatus and method of generating and consuming 3d data format for generation of realized panorama image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013009286A (en) * 2011-03-30 2013-01-10 Casio Comput Co Ltd Image display system, image display device and program

Also Published As

Publication number Publication date
KR20170101575A (en) 2017-09-06

Similar Documents

Publication Publication Date Title
CN107832108B (en) Rendering method and device of 3D canvas webpage elements and electronic equipment
US10755436B2 (en) Placement of augmented reality objects using a bounding shape
JP6600544B2 (en) 3D rendering method and apparatus
US20130155106A1 (en) Method and system for coordinating collisions between augmented reality and real reality
US11227425B2 (en) Emulation of geometry shaders and stream output using compute shaders
CN103617027B (en) Based on image rendering engine construction method and the system of Android system
CN103810728A (en) System, method, and computer program product for inputting modified coverage data into a pixel shader
WO2018058811A1 (en) Virtual reality scene loading method and device
JP6920057B2 (en) Image processing equipment, image processing method, computer program
TW201719571A (en) Position only shader context submission through a render command streamer
JP6470766B2 (en) Method and apparatus for updating a shader program based on a current state
CN105892650A (en) Information processing method and electronic equipment
KR102468801B1 (en) Method and apparatus for converting virtual reality contents
KR102250254B1 (en) Method and apparatus for processing image
US20150221122A1 (en) Method and apparatus for rendering graphics data
US20190058961A1 (en) System and program for implementing three-dimensional augmented reality sound based on realistic sound
US20150103072A1 (en) Method, apparatus, and recording medium for rendering object
CN111210525A (en) Method, platform, equipment and readable storage medium for interactive editing of three-dimensional model
US20150103071A1 (en) Method and apparatus for rendering object and recording medium for rendering
KR102219345B1 (en) Method and system for generating 3 dimension block information
KR102550967B1 (en) Method and apparatus for outputting image
KR20200046538A (en) Method and system for generating 3 dimension color block
Asaad et al. Augmented Reality for Guiding Students Through Nawroz University’s Buildings using Unity Platform
KR102468760B1 (en) Method for screen position sensing of multiple display system, and method for configuring contents, and watermark image generation method for sensing position of screen, and server, and display terminal
KR20220148543A (en) Method and apparatus for providing augmented reality content

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant