KR102200115B1 - System for providing multi-view 360 angle vr contents - Google Patents

System for providing multi-view 360 angle vr contents Download PDF

Info

Publication number
KR102200115B1
KR102200115B1 KR1020180156056A KR20180156056A KR102200115B1 KR 102200115 B1 KR102200115 B1 KR 102200115B1 KR 1020180156056 A KR1020180156056 A KR 1020180156056A KR 20180156056 A KR20180156056 A KR 20180156056A KR 102200115 B1 KR102200115 B1 KR 102200115B1
Authority
KR
South Korea
Prior art keywords
content
content providing
spherical image
location
playback device
Prior art date
Application number
KR1020180156056A
Other languages
Korean (ko)
Other versions
KR20200069004A (en
Inventor
홍승모
Original Assignee
(주)포스트미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)포스트미디어 filed Critical (주)포스트미디어
Priority to KR1020180156056A priority Critical patent/KR102200115B1/en
Priority to CN201910017120.5A priority patent/CN111292424A/en
Publication of KR20200069004A publication Critical patent/KR20200069004A/en
Application granted granted Critical
Publication of KR102200115B1 publication Critical patent/KR102200115B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras

Abstract

본 명세서는 가상 공간 내 다시점 360도 VR 컨텐츠를 제공할 수 있는 시스템을 개시한다. 본 명세서에 따른 다시점 360도 VR 컨텐츠 제공 시스템은 컨텐츠 제공서버, 컨텐츠 제공장치 및 컨텐츠 재생장치를 포함하는 다시점 360도 VR 컨텐츠 제공 시스템으로서, 상기 컨텐츠 제공서버는, 특정 촬영 장소에서 촬영된 하나 이상의 이미지를 스티칭(Stiching)하여 구 형상의 이미지, 상기 구 형상의 이미지의 위치 정보, 특정 장소에 위치한 대상체의 3차원 모델링 데이터 및 상기 3차원 모델링 데이터의 위치 정보를 저장하고, 상기 컨텐츠 제공장치는, 특정 영역 내 위치 정보를 가진 구 형상의 이미지 및 3차원 모델링 데이터를 요청하고 상기 컨텐츠 제공 서버로부터 수신하여 상기 컨텐츠 재생장치에게 선별적으로 제공하고, 상기 컨텐츠 재생장치는, 사용자의 입력에 따른 가상 공간 내 위치 정보를 상기 컨텐츠 제공장치에게 전송하고, 상기 컨텐츠 재생장치로부터 상기 위치에 해당하는 컨텐츠를 수신한다.The present specification discloses a system capable of providing multi-view 360 degree VR content in a virtual space. A multi-view 360-degree VR content providing system according to the present specification is a multi-view 360-degree VR content providing system including a content providing server, a content providing device, and a content playback device, wherein the content providing server is one photographed at a specific shooting location. The above images are stitched to store a spherical image, location information of the spherical image, 3D modeling data of an object located in a specific place, and location information of the 3D modeling data, and the content providing device , A spherical image and 3D modeling data with location information in a specific area are requested, received from the content providing server, and selectively provided to the content playback device, and the content playback device is The location information in the space is transmitted to the content providing device, and content corresponding to the location is received from the content playback device.

Description

다시점 360도 VR 컨텐츠 제공 시스템{SYSTEM FOR PROVIDING MULTI-VIEW 360 ANGLE VR CONTENTS}Multi-view 360 degree VR contents provision system {SYSTEM FOR PROVIDING MULTI-VIEW 360 ANGLE VR CONTENTS}

본 발명은 360도 VR 컨텐츠 제공 시스템에 관한 것이며, 보다 상세하게는 사용자에 높은 자유도를 부여하고 이에 따라 자유로운 시점 변화에 대응할 수 있는 다시점 컨텐츠를 제공할 수 있는 시스템에 관한 것이다. The present invention relates to a system for providing 360-degree VR contents, and more particularly, to a system capable of providing a multi-view content capable of responding to a change in viewpoint freely by giving a user a high degree of freedom.

기술의 발전으로 이미지 또는 영상을 포함하는 컨텐츠는 일정한 장면만을 담아내는 것을 넘어 파노라마 컨텐츠와 같이 360°의 모든 경치를 담아내거나, VR(Virtual Reality; 가상현실) 컨텐츠와 같이 파노라마 컨텐츠에 가공 과정을 거쳐 구형 또는 원통형 모양에 매핑함으로써, 가상의 공간을 만들어 체험자로 하여금 실제로 존재하지 않는 공간을 체험할 수 있도록 한다.With the advancement of technology, content including images or videos goes beyond only a certain scene to capture all 360° scenery like panorama content, or through a process of processing on panorama content like VR (Virtual Reality) content. By mapping to a spherical or cylindrical shape, a virtual space is created so that the experiencer can experience a space that does not actually exist.

그러나 특정 위치에서 촬영된 VR 컨텐츠로 재생된 360°의 가상 공간은, 촬영된 특정 위치에서 보여진 영상만 제공이 가능하고, 촬영 위치에서 벗어난 영역의 영상 컨텐츠를 제공하지 못한다는 단점이 있다.However, a 360° virtual space played with VR content captured at a specific location has a disadvantage in that it is possible to provide only an image viewed at a specific location that has been captured, and cannot provide video content in an area outside the shooting location.

등록특허공보 제10-1807439호Registered Patent Publication No. 10-1807439

본 명세서는 가상 공간 내 다시점 360도 VR 컨텐츠를 제공할 수 있는 시스템을 제공하는 것을 목적으로 한다.An object of the present specification is to provide a system capable of providing multi-view 360 degree VR contents in a virtual space.

본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The present specification is not limited to the above-mentioned tasks, and other tasks that are not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 명세서에 따른 다시점 360도 VR 컨텐츠 제공 시스템은 컨텐츠 제공서버, 컨텐츠 제공장치 및 컨텐츠 재생장치를 포함하는 다시점 360도 VR 컨텐츠 제공 시스템으로서, 상기 컨텐츠 제공서버는, 특정 촬영 장소에서 촬영된 하나 이상의 이미지를 스티칭(Stiching)하여 구 형상의 이미지, 상기 구 형상의 이미지의 위치 정보, 특정 장소에 위치한 대상체의 3차원 모델링 데이터 및 상기 3차원 모델링 데이터의 위치 정보를 저장하고, 상기 컨텐츠 제공장치는, 특정 영역 내 위치 정보를 가진 구 형상의 이미지 및 3차원 모델링 데이터를 요청하고 상기 컨텐츠 제공 서버로부터 수신하여 상기 컨텐츠 재생장치에게 선별적으로 제공하고, 상기 컨텐츠 재생장치는, 사용자의 입력에 따른 가상 공간 내 위치 정보를 상기 컨텐츠 제공장치에게 전송하고, 상기 컨텐츠 제공장치로부터 상기 위치에 해당하는 컨텐츠를 수신한다.A multi-view 360-degree VR content providing system according to the present specification for solving the above-described problem is a multi-view 360-degree VR content providing system including a content providing server, a content providing device, and a content playing device, wherein the content providing server, Stitching one or more images taken at a specific shooting location to store a spherical image, location information of the spherical image, 3D modeling data of an object located in a specific location, and location information of the 3D modeling data The content providing device requests a spherical image and 3D modeling data having location information in a specific area, receives it from the content providing server, and selectively provides it to the content playback device, and the content playback device , Transmitting location information in a virtual space according to a user's input to the content providing device, and receiving content corresponding to the location from the content providing device.

본 명세서의 일 실시예에 따르면, 상기 컨텐츠 제공장치는, 상기 가상 공간 내 위치를 중심으로 미리 설정된 반경 내 위치 정보를 가진 구 형상의 이미지 및 3차원 모델링 데이터를 요청하여 상기 컨텐츠 제공 서버로부터 수신할 수 있다.According to an embodiment of the present specification, the content providing device may request a spherical image and 3D modeling data having a preset radius location information centered on a location in the virtual space and receive it from the content providing server. I can.

본 명세서의 다른 실시예에 따르면, 상기 컨텐츠 제공장치는, 상기 가상 공간 내 위치가 미리 설정된 구역 내부일 때 상기 미리 설정된 구역 내 위치 정보를 가진 구 형상의 이미지 및 3차원 모델링 데이터를 요청하여 상기 컨텐츠 제공 서버로부터 수신할 수 있다.According to another embodiment of the present specification, when the location in the virtual space is inside a preset area, the content providing device requests a spherical image and 3D modeling data having location information in the preset area to provide the content. It can be received from the providing server.

본 명세서의 일 실시예에 따르면, 상기 컨텐츠 제공장치는, 상기 컨텐츠 재생장치로부터 수신한 가상 공간 내 위치가 상기 구 형상의 이미지가 촬영된 지점에서 벗어나지만 상기 구 형상의 이미지가 촬영된 지점을 기준으로 미리 설정된 기준 반경 내에 위치할 때, 상기 구 형상의 이미지에서 영상기반 렌더링을 통해 생성된 새로운 시점의 구 형상의 이미지를 상기 컨텐츠 재생장치에게 제공할 수 있다.According to an embodiment of the present specification, the content providing device includes a location in a virtual space received from the content playback device deviating from a point at which the spherical image is photographed, but based on a point at which the spherical image is photographed. When positioned within a preset reference radius, a spherical image of a new viewpoint generated through image-based rendering from the spherical image may be provided to the content player.

그리고 상기 컨텐츠 제공장치는, 상기 컨텐츠 재생장치로부터 수신한 가상 공간 내 위치가 상기 구 형상의 이미지가 촬영된 지점을 기준으로 미리 설정된 기준 반경 밖에 위치할 때 상기 3차원 모델링 데이터를 상기 컨텐츠 재생장치에게 제공할 수 있다.And the content providing device, when a location in the virtual space received from the content playback device is located outside a preset reference radius with respect to the point where the spherical image is captured, the 3D modeling data to the content playback device Can provide.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the present invention are included in the detailed description and drawings.

본 명세서의 일 측면에 따르면, 가상 공간 내에서 촬영 지점 외 사용자의 선택에 의하 자유로운 위치 선택이 가능하며, 사용자의 선택에 따른 위치에서 바라보는 시점에서 컨텐츠가 제공된다.According to an aspect of the present specification, it is possible to freely select a location in a virtual space by a user's selection other than a shooting point, and content is provided from a viewpoint viewed from a location according to the user's selection.

본 명세서의 다른 측면에 따르면, 사용자의 자유로운 시점 선택에 따라 스토리텔링 기반의 VR 컨텐츠 개발이 가능하다.According to another aspect of the present specification, it is possible to develop VR contents based on storytelling according to the user's free viewpoint selection.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명에 따른 다시점 360도 VR 컨텐츠 제공 시스템의 구성도이다.
도 2는 본 발명에 따른 구 형상의 이미지에 대한 참고도이다.
도 3은 이미지 기반 모델링의 참고도이다.
도 4는 가상 공간 내 데이터 요청 범위에 대한 참고도이다.
도 5는 구 형상의 이미지가 촬영된 위치에 대한 참고도이다.
도 6은 3차원 모델링 데이터의 참고도이다.1 is a block diagram of a multi-view 360-degree VR content providing system according to the present invention.
2 is a reference diagram for a spherical image according to the present invention.
3 is a reference diagram of image-based modeling.
4 is a reference diagram for a data request range in a virtual space.
5 is a reference diagram for a location in which a spherical image is captured.
6 is a reference diagram of 3D modeling data.

본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the invention disclosed in the present specification, and a method of achieving them will become apparent with reference to the embodiments described later in detail together with the accompanying drawings. However, the present specification is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only the present embodiments are intended to complete the disclosure of the present specification, and are common in the technical field to which the present specification belongs. It is provided to completely inform the scope of the present specification to a technician (hereinafter, "the person in charge"), and the scope of the rights of the present specification is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terms used in this specification are for describing exemplary embodiments and are not intended to limit the scope of the present specification. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, “comprises” and/or “comprising” do not exclude the presence or addition of one or more other elements other than the mentioned elements. Throughout the specification, the same reference numerals refer to the same elements, and “and/or” includes each and all combinations of one or more of the mentioned elements. Although "first", "second", and the like are used to describe various elements, it goes without saying that these elements are not limited by these terms. These terms are only used to distinguish one component from another component. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical idea of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used with meanings that can be commonly understood by those of ordinary skill in the art to which this specification belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 다시점 360도 VR 컨텐츠 제공 시스템의 구성도이다.1 is a block diagram of a multi-view 360-degree VR content providing system according to the present invention.

도 1을 참조하면, 본 발명에 따른 다시점 360도 VR 컨텐츠 제공 시스템(100)은 컨텐츠 제공서버(110), 컨텐츠 제공장치(120) 및 컨텐츠 재생장치(130)를 포함할 수 있다.Referring to FIG. 1, a multi-view 360 degree VR content providing system 100 according to the present invention may include a content providing server 110, a content providing device 120, and a content playing device 130.

상기 컨텐츠 제공서버(110)와 상기 컨텐츠 제공장치(120)는 통신망을 통해 연결되어, 통신망을 통해 데이터의 송수신이 가능하다. 상기 통신망은 유선 및 무선 통신망 등 데이터를 송수신할 수 있는 다양한 통신망으로서 상기 컨텐츠 제공서버(110)와 상기 컨텐츠 제공장치(120)가 데이터를 전송하는 방식을 제한하지 않는다.The content providing server 110 and the content providing device 120 are connected through a communication network, and data can be transmitted and received through the communication network. The communication network is a variety of communication networks capable of transmitting and receiving data, such as wired and wireless communication networks, and does not limit the manner in which the content providing server 110 and the content providing device 120 transmit data.

상기 컨텐츠 제공서버(110)는, 특정 촬영 장소에서 촬영된 하나 이상의 이미지를 스티칭(Stiching)하여 구 형상의 이미지, 상기 구 형상의 이미지의 위치 정보, 특정 장소에 위치한 대상체의 3차원 모델링 데이터 및 상기 3차원 모델링 데이터의 위치 정보를 저장할 수 있다.The content providing server 110 stitches one or more images taken at a specific shooting location to provide a spherical image, location information of the spherical image, 3D modeling data of an object located in a specific location, and the Location information of 3D modeling data can be stored.

도 2는 본 발명에 따른 구 형상의 이미지에 대한 참고도이다.2 is a reference diagram for a spherical image according to the present invention.

도 2를 참조하면, N개의 이미지를 스티칭(Stiching)하여 구(sphere) 형상의 이미지를 생성하는 과정을 확인할 수 있다. 상기 구 형상의 이미지는 상기 컨텐츠 제공장치(120)를 통해 상기 컨텐츠 재생장치(130)에 표시될 수 있으며, 사용자의 시선 방향에 따라 해당 시야 방향의 이미지를 사용자가 볼 수 있다.Referring to FIG. 2, a process of generating a spherical image by stitching N images can be seen. The spherical image may be displayed on the content playback device 130 through the content providing device 120, and the user may see an image in a corresponding viewing direction according to the user's gaze direction.

상기 각 구 형상의 이미지는 촬영된 장소에 대한 위치 정보가 매칭되어 있다. 따라서, 상기 구 형상의 이미지는 가상 공간 내 특정 위치와 대응할 수 있다.Each of the spherical images is matched with location information on a photographed place. Accordingly, the spherical image may correspond to a specific location in the virtual space.

상기 특정 장소에 위치한 대상체의 3차원 모델링 데이터란, 실제 건물, 구조물 등의 실물을 랜더링하여 표현한 3차원 데이터를 의미한다. 상기 3차원 모델링 데이터는 실제 대상체를 3차원 스캐닝을 통하여 얻을 수 있으며, 이미지 기반 모델링(Image based Modeling)을 통해서 얻을 수도 있다.The 3D modeling data of an object located in the specific place means 3D data expressed by rendering a real object such as an actual building or structure. The 3D modeling data may be obtained through 3D scanning of an actual object, or may be obtained through image based modeling.

도 3은 이미지 기반 모델링의 참고도이다.3 is a reference diagram of image-based modeling.

도 3을 참조하면, 자동차 또는 건축물의 이미지를 기반으로 모델링한 예시를 확인할 수 있다. 도 3의 상단의 예시는 대상체의 여러 방향에서 촬영된 이미지를 기반으로 모델링한 예시이며, 도 3의 하단의 예시는 대상체의 어느 한 방향에서 촬영된 이미지를 기반으로 모델링한 예시이다. 도 3의 상단 예시에 따른 3차원 모델링 데이터의 경우 사용자가 어느 위치에서도 자유롭게 관찰이 가능하지만, 도 3의 상단 예시에 따른 3차원 모델링 데이터의 경우 사용자가 촬영 위치를 중심으로 제한된 범위에서만 관찰이 가능하다.Referring to FIG. 3, an example modeled based on an image of a vehicle or a building can be confirmed. The example at the top of FIG. 3 is an example of modeling based on images captured from various directions of the object, and the example at the bottom of FIG. 3 is an example of modeling based on images captured from one direction of the object. In the case of the 3D modeling data according to the upper example of FIG. 3, the user can freely observe from any position, but in the case of the 3D modeling data according to the upper example of FIG. 3, the user can observe only a limited range around the shooting position. Do.

상기 각 3차원 모델링 데이터 역시 대상체의 위치 정보가 매칭되어 있다. 따라서, 상기 3차원 모델링 데이터는 가상 공간 내 특정 위치와 대응할 수 있다.Each of the 3D modeling data is also matched with location information of the object. Accordingly, the 3D modeling data may correspond to a specific location in the virtual space.

상기 컨텐츠 제공장치(120)는 특정 영역 내 위치 정보를 가진 구 형상의 이미지 및 3차원 모델링 데이터를 요청하고 상기 컨텐츠 제공서버(110)로부터 수신하여 상기 컨텐츠 재생장치(130)에게 선별적으로 제공할 수 있다.The content providing device 120 requests a spherical image and 3D modeling data having location information in a specific area, receives it from the content providing server 110, and selectively provides it to the content playback device 130. I can.

상기 컨텐츠 재생장치(130)는 사용자의 입력에 따른 가상 공간 내 위치 정보를 상기 컨텐츠 제공장치(120)에게 전송하고, 상기 컨텐츠 제공장치(120)로부터 상기 위치에 해당하는 컨텐츠를 수신할 수 있다.The content playback device 130 may transmit location information in a virtual space according to a user's input to the content providing device 120 and receive content corresponding to the location from the content providing device 120.

상기 컨텐츠 제공장치(120)와 상기 컨텐츠 재생장치(130)는 유선 또는 무선 방식을 통해 연결된 장치로서, 상기 컨텐츠 제공장치(120)에서 제공된 컨텐츠를 상기 컨텐츠 재생장치(130)에 포함된 디스플레이를 통해 출력이 가능하다.The content providing device 120 and the content playback device 130 are devices connected through a wired or wireless method, and the content provided from the content providing device 120 is transmitted through a display included in the content playback device 130. Output is possible.

상기 컨텐츠 재생장치(130)는 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 형태로 구현될 수 있다. HMD 형태란, 두부에 장착되어, 사용자의 눈 앞에 직접 영상을 보여주는 디스플레이 방식을 말한다. 상기 컨텐츠 재생장치(130)는 비주얼 컨텐츠를 출력할 수 있다. 상기 비주얼 컨텐츠는 상기 컨텐츠 제공장치(120)를 통해 상기 컨텐츠 제공서버(110)에서 제공된 컨텐츠를 의미한다. 상기 비주얼 컨텐츠에는 애플리케이션, 이미지, 동영상, 아이콘, 유저 인터페이스 등을 더 포함할 수 있다.The content playback device 130 may be implemented in the form of a head mounted display (HMD). The HMD type refers to a display method that is mounted on the head and displays an image directly in front of the user's eyes. The content playback device 130 may output visual content. The visual content refers to content provided by the content providing server 110 through the content providing device 120. The visual content may further include an application, an image, a video, an icon, and a user interface.

또한, 상기 컨텐츠 재생장치(130)는 가상 현실 컨텐츠를 출력할 수 있다 상기 컨텐츠 재생장치(130)가 HMD로 구현된 경우, 암막형(see-closed) 방식으로 가상 현실 컨텐츠를 출력할 수 있다. 여기에서, 암막형 방식은 사용자가 외부 환경을 인식할 수 없는 상태에서, 컨텐츠를 이용하는 방식에 해당한다. 본 발명에서, 상기 컨텐츠 재생장치(130)가 HMD로 구현된 경우로서 암막형으로 컨텐츠를 출력하는 것으로 가정하도록 한다.In addition, the content playback device 130 may output virtual reality content. When the content playback device 130 is implemented as an HMD, it may output virtual reality content in a see-closed manner. Here, the blackout type method corresponds to a method of using content in a state in which a user cannot recognize an external environment. In the present invention, it is assumed that the content reproducing apparatus 130 is implemented as an HMD and outputs the content in a blackout form.

한편, 상기 컨텐츠 재생장치(130)는 사용자의 다양한 입력 및 주변 환경을 센싱하여, 센싱 결과를 상기 컨텐츠 제공장치에게 전달할 수 있다. 사용자의 다양한 입력은 카메라, 마이크, 터치 센서, 가속도 센서, 자이로 센서, GPS 센서, 지자기 센서 등을 통해 수신될 수 있다. 본 발명에서는, 상기 컨텐츠 재생장치(130)가 HMD로 구현된 경우로서, HMD를 착용한 사용자의 움직임의 각도, 방향, 속도 등을 센싱할 수 있다.Meanwhile, the content playback device 130 may sense a user's various inputs and surrounding environments, and transmit a sensing result to the content providing device. Various inputs of the user may be received through a camera, a microphone, a touch sensor, an acceleration sensor, a gyro sensor, a GPS sensor, a geomagnetic sensor, and the like. In the present invention, when the content playback device 130 is implemented as an HMD, it is possible to sense the angle, direction, speed, etc. of the movement of the user wearing the HMD.

상기 컨텐츠 제공서버(110)에는 다양한 장소, 다양한 위치, 다양한 건물 등에 대한 구 형상의 이미지 및 3차원 모델링 데이터를 저장할 수 있다. 상기 컨텐츠 제공서버(110)에 저장된 모든 구 형상의 이미지 및 3차원 모델링 데이터를 상기 컨텐츠 제공장치(120)에게 송신하는 것은 매우 비효율적이다. 따라서, 상기 컨텐츠 재생장치(130)가 가상 공간 내 위치에 대응하여 관련 구 형상의 이미지 및 3차원 모델링 데이터를 상기 컨텐츠 제공장치(120)에게 송신하는 것이 보다 효율적이다.The content providing server 110 may store spherical images and 3D modeling data for various places, various locations, and various buildings. It is very inefficient to transmit all spherical images and 3D modeling data stored in the content providing server 110 to the content providing device 120. Therefore, it is more efficient for the content reproducing apparatus 130 to transmit the related spherical image and 3D modeling data to the content providing apparatus 120 in correspondence with the location in the virtual space.

도 4는 가상 공간 내 데이터 요청 범위에 대한 참고도이다.4 is a reference diagram for a data request range in a virtual space.

도 4를 참조하면, 상기 컨텐츠 재생장치(130)에 표시되는 가상 공간에 대한 참고도이다. 이해의 편의를 위해 건축물이 있는 문화 유적지를 일 예로 하겠다. 상기 컨텐츠 재생장치(130)를 사용하는 사용자는 상기 문화 유적지가 구현된 가상 공간에 위치하고 있다. 도 4에서 붉은 점이 현재 사용자가 위치한 가상 공간 내 위치이다. 따라서 상기 가상 공간 내에서 보여지는 영역에 대한 구 형상의 이미지 및 3차원 모델링 데이터가 필요하다.Referring to FIG. 4, a reference diagram for a virtual space displayed on the content playback device 130 is illustrated. For the convenience of understanding, I will take as an example a cultural site with a building. A user using the content playback device 130 is located in a virtual space in which the cultural site is implemented. In FIG. 4, a red dot is a location in a virtual space where a user is currently located. Therefore, a spherical image and 3D modeling data for an area visible in the virtual space are required.

본 명세서의 일 실시예에 따르면, 상기 컨텐츠 제공장치(120)는 상기 가상 공간 내 위치를 중심으로 미리 설정된 반경 내 위치 정보를 가진 구 형상의 이미지 및 3차원 모델링 데이터를 요청하여 상기 컨텐츠 제공서버(110)로부터 수신할 수 있다. 도 4의 (a)는 상기 실시예의 참고도이다.According to an embodiment of the present specification, the content providing device 120 requests a spherical image and 3D modeling data having position information within a preset radius around a position in the virtual space, and the content providing server ( 110). 4A is a reference diagram of the above embodiment.

본 명세서의 다른 실시예에 따르면, 상기 컨텐츠 제공장치(120)는 상기 가상 공간 내 위치가 미리 설정된 구역 내부일 때 상기 미리 설정된 구역 내 위치 정보를 가진 구 형상의 이미지 및 3차원 모델링 데이터를 요청하여 상기 컨텐츠 제공 서버로부터 수신할 수 있다. 도 4의 (b)는 상기 실시예의 참고도이다.According to another embodiment of the present specification, when the location in the virtual space is inside a preset area, the content providing device 120 requests a spherical image and 3D modeling data having location information in the preset area. It can be received from the content providing server. 4B is a reference diagram of the above embodiment.

한편, 본 발명에 따른 다시점 360도 VR 컨텐츠 제공 시스템(100)은 사용자에게 높은 자유도를 부여하여 가상 공간 내 자유로운 이동과 이에 따른 다시점 컨텐츠를 제공하고자 한다. 이때, 상기 사용자가 가상 공간 내에서 상기 구 형상의 이미지가 촬영된 위치를 벗어날 수 있다. 이 경우, 사용자가 바라보는 시점이 변화하기 때문에, 이에 따라 제공되는 컨텐츠에도 시점 변화가 필요하다.Meanwhile, the multi-view 360 degree VR content providing system 100 according to the present invention provides a user with a high degree of freedom to freely move in a virtual space and provide multi-view content accordingly. In this case, the user may deviate from the location where the spherical image is captured in the virtual space. In this case, since the viewpoint viewed by the user changes, a viewpoint change is also required for the content provided accordingly.

도 5는 구 형상의 이미지가 촬영된 위치에 대한 참고도이다.5 is a reference diagram for a location in which a spherical image is captured.

도 5를 참조하면, 가상 공간 내 파란 원으로 표시된 지점이 구 형상의 이미지가 촬영된 위치이다. 따라서 사용자가 상기 가상 공간 내 파란 원으로 표시된 지점을 벗어날 경우, 시점 변화에 따른 컨텐츠 제공이 필요하다.Referring to FIG. 5, a point indicated by a blue circle in a virtual space is a location where a spherical image is captured. Therefore, when the user leaves the point indicated by the blue circle in the virtual space, it is necessary to provide content according to the viewpoint change.

본 명세서의 일 실시예에 따르면, 상기 컨텐츠 제공장치(120)는 상기 컨텐츠 재생장치(130)로부터 수신한 가상 공간 내 위치가 상기 구 형상의 이미지가 촬영된 지점에서 벗어나지만 상기 구 형상의 이미지가 촬영된 지점을 기준으로 미리 설정된 기준 반경 내에 위치할 때, 상기 구 형상의 이미지에서 영상기반 렌더링을 통해 생성된 새로운 시점의 구 형상의 이미지를 상기 컨텐츠 재생장치(130)에게 제공할 수 있다.According to an exemplary embodiment of the present specification, the content providing device 120 has a location in the virtual space received from the content playback device 130 deviating from the point at which the spherical image was photographed, but the spherical image When located within a preset reference radius with respect to the captured point, a spherical image of a new viewpoint generated through image-based rendering from the spherical image may be provided to the content playback apparatus 130.

상기 영상기반 렌더링이란 이미지 기반 렌더링(Image Based Rendering)으로서, 2차원 영상들의 조합으로부터 새로운 시점의 영상을 생성하는 방법을 의미한다. 상기 이미지 기반 렌더링은 당업자에게 알려진 기술이므로 상세한 설명은 생략하도록 하겠다. 상기 이미지 기반 렌더링은 기본 이미지에서 제한된 범위의 시점 영상을 생성할 수 있으므로 상기 컨텐츠 재생장치(130)가 상기 구 형상의 이미지가 촬영된 지점을 기준으로 미리 설정된 기준 반경 내에 위치할 때에만 제공이 가능하다. 상기 미리 설정된 기준 반경은 도 5에서 붉은 색으로 표시된 영역으로 표시된 것을 참조할 수 있다.The image-based rendering is image-based rendering and refers to a method of generating an image of a new viewpoint from a combination of 2D images. Since the image-based rendering is a technique known to those skilled in the art, a detailed description will be omitted. Since the image-based rendering can generate a viewpoint image of a limited range from a basic image, it can be provided only when the content playback device 130 is located within a preset reference radius based on a point at which the spherical image is captured. Do. The preset reference radius may refer to the area indicated in red in FIG. 5.

이후 사용자가 가상 공간 내에서 미리 설정된 기준 반경 밖에 위치하는 경우에는 다른 컨텐츠로 전환이 필요하다.Thereafter, when the user is located outside the preset reference radius in the virtual space, it is necessary to switch to other contents.

본 명세서의 일 실시예에 따르면, 상기 컨텐츠 제공장치(120)는 상기 컨텐츠 재생장치(130)로부터 수신한 가상 공간 내 위치가 상기 구 형상의 이미지가 촬영된 지점을 기준으로 미리 설정된 기준 반경 밖에 위치할 때 상기 3차원 모델링 데이터를 상기 컨텐츠 재생장치(130)에게 제공할 수 있다.According to an embodiment of the present specification, the content providing device 120 is located outside a preset reference radius based on a point at which the spherical image is captured in a location in the virtual space received from the content playback device 130 When doing so, the 3D modeling data may be provided to the content playback device 130.

도 6은 3차원 모델링 데이터의 참고도이다.6 is a reference diagram of 3D modeling data.

도 6의 (a)를 참조하면, 가상 공간 내 사용자의 위치가 붉은 점으로 표시된 것을 확인할 수 있다. 도 6의 (a)에 표시된 상기 사용자의 위치는 도 5에 표시된 구 형상의 이미지가 촬영된 위치 또는 상기 미리 설정된 기준 반경에 포함되지 않는 위치이다. 따라서, 상술한 실시예에 따른 3차원 모델링 데이터가 제공될 수 있다. 도 6의 (b)는 도 6의 (a)에 표시된 상기 사용자의 위치에서 사용자의 시점에 따라 상기 컨텐츠 재생장치(130)에 표시된 3차원 모델링 데이터의 예시이다.Referring to FIG. 6A, it can be seen that the location of the user in the virtual space is indicated by a red dot. The user's location shown in FIG. 6A is a location where the spherical image shown in FIG. 5 is photographed or a location not included in the preset reference radius. Accordingly, 3D modeling data according to the above-described embodiment may be provided. 6B is an example of 3D modeling data displayed on the content player 130 according to the user's viewpoint at the user's location shown in FIG. 6A.

이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. As described above, embodiments of the present specification have been described with reference to the accompanying drawings, but those of ordinary skill in the art to which the present specification pertains to that the present invention can be implemented in other specific forms without changing the technical spirit or essential features. You can understand. Therefore, the embodiments described above are illustrative in all respects, and should be understood as non-limiting.

100: 다시점 360도 VR 컨텐츠 제공 시스템
110: 컨텐츠 제공서버
120: 컨텐츠 제공장치
130: 컨텐츠 재생장치100: Multi-view 360 degree VR content providing system
110: content providing server
120: content providing device
130: content playback device

Claims (5)

컨텐츠 제공서버, 컨텐츠 제공장치 및 컨텐츠 재생장치를 포함하는 다시점 360도 VR 컨텐츠 제공 시스템으로서,
상기 컨텐츠 제공서버는, 특정 촬영 장소에서 촬영된 하나 이상의 이미지를 스티칭(Stiching)하여 구 형상의 이미지, 상기 구 형상의 이미지의 위치 정보, 특정 장소에 위치한 대상체의 3차원 모델링 데이터 및 상기 3차원 모델링 데이터의 위치 정보를 저장하고,
상기 컨텐츠 제공장치는, 특정 영역 내 위치 정보를 가진 구 형상의 이미지 및 3차원 모델링 데이터를 요청하고 상기 컨텐츠 제공 서버로부터 수신하여 상기 컨텐츠 재생장치에게 선별적으로 제공하되,
상기 컨텐츠 재생장치로부터 수신한 가상 공간 내 위치가 상기 구 형상의 이미지가 촬영된 지점에서 벗어나지만 상기 구 형상의 이미지가 촬영된 지점을 기준으로 미리 설정된 기준 반경 내에 위치할 때, 상기 구 형상의 이미지에서 영상기반 렌더링을 통해 생성된 새로운 시점의 구 형상의 이미지를 상기 컨텐츠 재생장치에게 제공하고,
상기 컨텐츠 재생장치로부터 수신한 가상 공간 내 위치가 상기 구 형상의 이미지가 촬영된 지점을 기준으로 미리 설정된 기준 반경 밖에 위치할 때 상기 3차원 모델링 데이터를 상기 컨텐츠 재생장치에게 제공하며,
상기 컨텐츠 재생장치는, 사용자의 입력에 따른 가상 공간 내 위치 정보를 상기 컨텐츠 제공장치에게 전송하고, 상기 컨텐츠 제공장치로부터 상기 위치에 해당하는 컨텐츠를 수신하는 다시점 360도 VR 컨텐츠 제공 시스템.A multi-view 360 degree VR content providing system including a content providing server, a content providing device and a content playing device,
The content providing server, by stitching one or more images taken at a specific photographing location, to form a spherical image, location information of the spherical image, 3D modeling data of an object located in a specific location, and the 3D modeling Store data location information,
The content providing device may request a spherical image and 3D modeling data having location information in a specific area, receive it from the content providing server, and selectively provide it to the content playback device,
When the position in the virtual space received from the content playback device deviates from the point at which the spherical image is photographed, but is located within a preset reference radius based on the point at which the spherical image is photographed, the spherical image Provides a spherical image of a new viewpoint generated through image-based rendering to the content playback device,
When a location in a virtual space received from the content playback device is located outside a preset reference radius based on a point at which the spherical image is photographed, the 3D modeling data is provided to the content playback device,
The content playback device transmits location information in a virtual space according to a user's input to the content providing device, and receives content corresponding to the location from the content providing device. 청구항 1에 있어서,
상기 컨텐츠 제공장치는, 상기 가상 공간 내 위치를 중심으로 미리 설정된 반경 내 위치 정보를 가진 구 형상의 이미지 및 3차원 모델링 데이터를 요청하여 상기 컨텐츠 제공 서버로부터 수신하는 다시점 360도 VR 컨텐츠 제공 시스템.The method according to claim 1,
The content providing device is a multi-view 360 degree VR content providing system that requests a spherical image and 3D modeling data having a preset radius location information centered on a location in the virtual space and receives from the content providing server. 청구항 1에 있어서,
상기 컨텐츠 제공장치는, 상기 가상 공간 내 위치가 미리 설정된 구역 내부일 때 상기 미리 설정된 구역 내 위치 정보를 가진 구 형상의 이미지 및 3차원 모델링 데이터를 요청하여 상기 컨텐츠 제공 서버로부터 수신하는 다시점 360도 VR 컨텐츠 제공 시스템.The method according to claim 1,
When the location in the virtual space is within a preset area, the content providing device requests a spherical image and 3D modeling data having the preset area location information, and receives a multi-view 360 degree from the content providing server. VR content delivery system. 삭제delete 삭제delete
KR1020180156056A 2018-12-06 2018-12-06 System for providing multi-view 360 angle vr contents KR102200115B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180156056A KR102200115B1 (en) 2018-12-06 2018-12-06 System for providing multi-view 360 angle vr contents
CN201910017120.5A CN111292424A (en) 2018-12-06 2019-01-08 Multi-view 360-degree VR content providing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180156056A KR102200115B1 (en) 2018-12-06 2018-12-06 System for providing multi-view 360 angle vr contents

Publications (2)

Publication Number Publication Date
KR20200069004A KR20200069004A (en) 2020-06-16
KR102200115B1 true KR102200115B1 (en) 2021-01-08

Family

ID=71021525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180156056A KR102200115B1 (en) 2018-12-06 2018-12-06 System for providing multi-view 360 angle vr contents

Country Status (2)

Country Link
KR (1) KR102200115B1 (en)
CN (1) CN111292424A (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102574677B1 (en) * 2021-12-14 2023-09-06 엘아이지넥스원 주식회사 Method continuously acquiring and reproducing 360-degree virtual reality images according to viewpoint movement
KR102564522B1 (en) 2023-02-02 2023-08-07 엠앤앤에이치 주식회사 Multi-view shooting apparatus and method for creating 3D volume object

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104346A (en) * 2007-10-23 2009-05-14 Location View:Kk Image display processing program, image display processing system, and image display processing method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120137607A (en) * 2011-05-24 2012-12-24 이엔지정보기술 주식회사 Web service system and method using spherical image, web map, gis database
CN105723700B (en) 2013-09-11 2019-08-30 万睿视影像有限公司 The pixel circuit of photodiode with constant voltage offset and relevant imaging method
CN105989573A (en) * 2015-02-16 2016-10-05 上海钧铭商务咨询有限公司 Method and system for providing exhibition hall guide information based on 360-degree digital panoramic technology
JP2017146762A (en) * 2016-02-17 2017-08-24 株式会社Ａｃｗ−Ｄｅｅｐ Image display type simulation service providing system and image display type simulation service providing method
KR20180073327A (en) * 2016-12-22 2018-07-02 삼성전자주식회사 Display control method, storage medium and electronic device for displaying image
KR20180074369A (en) * 2016-12-23 2018-07-03 삼성전자주식회사 Method and Apparatus for Managing Thumbnail of 3-dimensional Contents
KR101949261B1 (en) * 2017-01-23 2019-02-18 고범준 method for generating VR video, method for processing VR video, and system for processing VR video
CN107169924B (en) * 2017-06-14 2020-10-09 歌尔科技有限公司 Method and system for establishing three-dimensional panoramic image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104346A (en) * 2007-10-23 2009-05-14 Location View:Kk Image display processing program, image display processing system, and image display processing method

Also Published As

Publication number Publication date
KR20200069004A (en) 2020-06-16
CN111292424A (en) 2020-06-16

Similar Documents

Publication Publication Date Title
US9858643B2 (en) Image generating device, image generating method, and program
US7817104B2 (en) Augmented reality apparatus and method
TWI610097B (en) Electronic system, portable display device and guiding device
JP6470356B2 (en) Program and method executed by computer for providing virtual space, and information processing apparatus for executing the program
US20160210785A1 (en) Augmented reality system and method for positioning and mapping
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
JP6732617B2 (en) Information processing apparatus and image generation method
JP2017162309A (en) Method and program for controlling head-mounted display system
JP6392945B1 (en) Program and method executed by computer for providing virtual space, and information processing apparatus for executing the program
US10437055B2 (en) Master device, slave device, and control method therefor
JP2019040610A (en) Information processing apparatus
JP2019121224A (en) Program, information processing device, and information processing method
KR102200115B1 (en) System for providing multi-view 360 angle vr contents
US10803652B2 (en) Image generating apparatus, image generating method, and program for displaying fixation point objects in a virtual space
WO2017068925A1 (en) Information processing device, control method for information processing device, and computer program
JP6518645B2 (en) INFORMATION PROCESSING APPARATUS AND IMAGE GENERATION METHOD
WO2018139073A1 (en) Display control device, second display device, method for controlling display control device, and control program
JP2018007180A (en) Image display device, image display method and image display program
JP2023140922A (en) Display terminal, information processing system, communication system, display method, information processing method, communication method, and program
JP2019021324A (en) Program executed by computer providing virtual space, method and information processing device executing program
TWI746463B (en) Virtual reality apparatus
WO2022220306A1 (en) Video display system, information processing device, information processing method, and program
WO2024070761A1 (en) Information processing device, information processing method, and program
US20210349310A1 (en) Highly interactive display environment for gaming
WO2024070762A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant