WO2020036414A1 - 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말 - Google Patents

가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말 Download PDF

Info

Publication number
WO2020036414A1
WO2020036414A1 PCT/KR2019/010308 KR2019010308W WO2020036414A1 WO 2020036414 A1 WO2020036414 A1 WO 2020036414A1 KR 2019010308 W KR2019010308 W KR 2019010308W WO 2020036414 A1 WO2020036414 A1 WO 2020036414A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
virtual reality
static object
reality content
content
Prior art date
Application number
PCT/KR2019/010308
Other languages
English (en)
French (fr)
Inventor
김강태
김기혁
김이길
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to US17/267,743 priority Critical patent/US11778007B2/en
Publication of WO2020036414A1 publication Critical patent/WO2020036414A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1063—Application servers providing network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • the present invention relates to a server, a method and a user terminal for providing virtual reality content.
  • Virtual Reality is an interface between a human and a computer that makes a specific environment or situation into a virtual world through computer work, and makes it as if the person experiencing it is interacting with the actual surroundings and environment. it means.
  • the prior art streams a monocular reference image to the terminal, and thus has a disadvantage in that the stereoscopic effect of the virtual reality image is reduced.
  • SUMMARY To provide a server, a method, and a user terminal for providing virtual reality content that can reduce rendering load by rendering and streaming static objects only when an event occurs on the server side.
  • FIG. 4 is a flowchart illustrating a method of providing virtual reality content in a content providing server according to an embodiment of the present invention.
  • FIG. 5 is a configuration diagram of a user terminal according to an embodiment of the present invention.
  • Some of the operations or functions described as being performed by the terminal or the device in the present specification may instead be performed in a server connected to the terminal or the device. Similarly, some of the operations or functions described as being performed by the server may be performed by a terminal or a device connected to the server.
  • the content providing system 1 may include a content providing server 110 and a user terminal 120.
  • the content providing server 110 and the user terminal 120 exemplarily illustrate components that can be controlled by the content providing system 1.
  • the content providing server 110 may receive a request for virtual reality content from the user terminal 120.
  • the content providing server 110 may stream the depth map to the user terminal 120.
  • the user terminal 120 may receive an image rendered for the static object constituting the virtual reality content. In this case, the user terminal 120 may separately stream an image of the static object from the content providing server 110.
  • the user terminal 120 may stream an image of the static object rendered from the content providing server 110 according to whether a predetermined event occurs in the virtual reality content. For example, when the virtual reality content starts, the user terminal 120 may receive an image of the static object. As another example, the user terminal 120 may stream an image of the static object when an update is required for a scene in the virtual reality content. As another example, the user terminal 120 may receive an image of the static object when the user location in the virtual reality content reaches a predetermined area. As another example, when the update time for the image of the static object exceeds a preset time, the user terminal 120 may receive the image for the static object.
  • the user terminal 120 may output an image of the static object and an image of the dynamic object by using a mesh.
  • the user terminal 120 may overlay and output an image of the dynamic object on the first mesh and output the overlay of an image of the static object on the second mesh to which the depth map is applied.
  • the first mesh may be located inside the second mesh.
  • the content providing server 110 may include a requesting unit 210, a dynamic object image processing unit 220, a static object image processing unit 230, and a streaming unit 240.
  • the dynamic object image processor 220 may render an image of the dynamic object constituting the virtual reality content.
  • the dynamic object image processor 220 may render an image of the dynamic object using an image photographed based on a user's position in the virtual reality content.
  • the dynamic object image processor 220 may render the entire front information using six camera modules in real time. In this case, an alpha value may be set to '0' so that all areas occupied by the static object among the rendered areas are transparently processed.
  • the static object image processor 230 may render an image of the static object constituting the virtual reality content.
  • the static object image processor 230 may render an image of the static object using an image photographed based on a user's position in the virtual reality content.
  • the static object is an object that does not change data on the flow of virtual reality content, and includes, for example, a background or a space.
  • the static object image processor 230 may render the front in cubic or equirectangular form based on the user's position using a 6-side camera.
  • the static object image processor 230 may derive a depth map from the image photographed based on the user location in the virtual reality content.
  • the depth map may be a distance value of 3D data corresponding to each pixel based on the user position.
  • the streaming unit 240 may separately stream the image of the dynamic object and the image of the static object to the user terminal 120.
  • the streaming unit 240 may stream an image of the dynamic object rendered to the user terminal 120 in real time.
  • the streaming unit 240 may stream an image of the static object rendered to the user terminal 120 according to whether a predetermined event occurs in the virtual reality content.
  • the event may mean a case where a static object is to be newly rendered.
  • the streaming unit 240 may stream an image for the static object when the virtual reality content starts.
  • the streaming unit 240 may stream an image for a static object when an update is required for a scene, such as a change in a scene or a stage constituting graphics in the virtual reality content.
  • the streaming unit 240 may stream an image of the static object when the user location in the virtual reality content reaches a predetermined area such as a boundary of the area.
  • the streaming unit 240 may stream an image for the static object when the update time for the image for the static object exceeds a preset time.
  • the streaming unit 240 may stream the depth map to the user terminal 120.
  • 3A to 3C are exemplary views illustrating a rendering result of static objects and dynamic objects according to an embodiment of the present invention.
  • the static object may be rendered only when an event occurs, and the dynamic object may be separately rendered in real time.
  • the content providing server 110 may render an image of a static object constituting virtual reality content.
  • the content providing server 110 may render an image of an object having no data change on the flow of virtual reality content such as a background or a space.
  • 3B is an exemplary diagram illustrating a depth map according to an embodiment of the present invention.
  • the depth map may be included in the rendering result.
  • the depth map may mean a distance value of 3D data corresponding to each pixel based on the user position.
  • 3C is an exemplary diagram illustrating a rendering result for a dynamic object according to an embodiment of the present invention.
  • the content providing server 110 may render an image of a dynamic object constituting virtual reality content.
  • the content providing server 110 renders the entire front information, but sets the alpha value to '0' so that all areas occupied by the static object are rendered transparently, so that the image of the dynamic object is displayed. Can be rendered.
  • the content providing server 110 may render an image of the dynamic object constituting the virtual reality content.
  • the content providing server 110 may render an image of the static object constituting the virtual reality content.
  • steps S410 to S440 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention.
  • some steps may be omitted as necessary, and the order between the steps may be switched.
  • the static object image receiving unit 530 may stream an image of the static object rendered from the content providing server 110 according to whether a predetermined event occurs in the virtual reality content. For example, the static object image receiver 530 may receive an image of the static object when the virtual reality content starts. As another example, the static object image receiver 530 may receive an image of the static object when an update is required for a scene in the virtual reality content. As another example, the static object image receiving unit 530 may receive an image of the static object when the user location in the virtual reality content reaches a predetermined area. As another example, the static object image receiving unit 530 may receive an image of the static object when the update time of the image of the static object exceeds a preset time.
  • FIG. 7D is an exemplary diagram illustrating a rendering result of virtual reality content according to an embodiment of the present invention.
  • the user terminal 120 renders an image 730 of the dynamic object overlaid on the first mesh 700, and an image 720 of the static object overlaid on the second mesh 710. Can be rendered.
  • the user terminal 120 may stereo-render the final screen overlaying the result of the rendering of the image 720 of the static object and the rendering of the image 730 of the dynamic object.
  • FIG. 7E is an exemplary diagram illustrating virtual reality content output from a user terminal according to an embodiment of the present invention.
  • the user terminal 120 may display a virtual reality content image 740, in which an image 720 of a rendered static object and an image 730 of the dynamic object are synthesized, on the display.
  • the user terminal 120 may receive an image rendered for the static object constituting the virtual reality content.
  • the user terminal 120 may output an image of the static object and an image of the dynamic object by using a mesh.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

가상 현실 컨텐츠를 제공하는 서버는 사용자 단말로부터 가상 현실 컨텐츠를 요청받는 요청부, 상기 가상 현실 컨텐츠를 구성하는 동적 객체에 대한 영상을 렌더링하는 동적 객체 영상 처리부, 상기 가상 현실 컨텐츠를 구성하는 정적 객체에 대한 영상을 렌더링하는 정적 객체 영상 처리부 및 상기 사용자 단말로 상기 동적 객체에 대한 영상 및 상기 정적 객체에 대한 영상을 별도로 스트리밍하는 스트리밍부를 포함한다.

Description

가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말
본 발명은 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말에 관한 것이다.
가상 현실(VR, Virtual Reality)이란 특정한 환경이나 상황을 컴퓨터 작업을 통해 가상 세계로 만들고, 그것을 경험하는 사람이 마치 실제 주변 상황 및 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간과 컴퓨터 사이의 인터페이스를 의미한다.
가상 현실은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있도록 하는 기술로, 예를 들어, 탱크, 항공기 조종법 훈련, 가구의 배치 설계, 수술 실습, 게임 등과 같이 다양한 분야에서 이용되고 있다.
이러한 가상 현실 기술과 관련하여 선행기술인 한국공개특허 2017-0115390호는 3차원 가상현실 구현 시스템을 개시하고 있다.
그러나 가상 현실 기술이 적용된 영상을 원격으로 스트리밍하는 경우, 종래 기술은 단안 기준의 영상을 단말로 스트리밍하기 때문에, 이로 인해 가상 현실 영상의 입체감이 떨어진다는 단점을 갖는다.
동적 객체와 정적 객체를 분리하여 각각 렌더링을 수행함으로써, 가상 현실 컨텐츠의 입체감을 향상시킬 수 있는 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말을 제공하고자 한다.
서버측에서 이벤트가 발생되는 경우에만 정적 객체를 렌더링 및 스트리밍함으로써, 렌더링 부하를 감소시킬 수 있는 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말을 제공하고자 한다.
동적 객체와 정적 객체가 각각 렌더링된 가상 현실 컨텐츠를 통해 사용자에게 향상된 몰입감을 제공할 수 있도록 하는 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 사용자 단말로부터 가상 현실 컨텐츠를 요청받는 요청부, 상기 가상 현실 컨텐츠를 구성하는 동적 객체에 대한 영상을 렌더링하는 동적 객체 영상 처리부, 상기 가상 현실 컨텐츠를 구성하는 정적 객체에 대한 영상을 렌더링하는 정적 객체 영상 처리부 및 상기 사용자 단말로 상기 동적 객체에 대한 영상 및 상기 정적 객체에 대한 영상을 별도로 스트리밍하는 스트리밍부를 포함하는 컨텐츠 제공 서버를 제공할 수 있다.
본 발명의 다른 실시예는, 컨텐츠 제공 서버로 가상 현실 컨텐츠를 요청하는 요청부, 상기 가상 현실 컨텐츠를 구성하는 동적 객체에 대해 렌더링된 영상을 수신하는 동적 객체 영상 수신부, 상기 가상 현실 컨텐츠를 구성하는 정적 객체에 대해 렌더링된 영상을 수신하는 정적 객체 영상 수신부 및 메쉬(Mesh)를 이용하여 상기 정적 객체에 대한 영상 및 상기 동적 객체에 대한 영상을 출력하는 출력부를 포함하고, 상기 동적 객체 영상 수신부 및 상기 정적 객체 영상 수신부는 상기 컨텐츠 제공 서버로부터 상기 동적 객체에 대한 영상 및 상기 정적 객체에 대한 영상을 별도로 스트리밍받는 것인 사용자 단말을 제공할 수 있다.
본 발명의 또 다른 실시예는, 사용자 단말로부터 가상 현실 컨텐츠에 대해 요청받는 단계, 상기 가상 현실 컨텐츠를 구성하는 동적 객체에 대한 영상을 렌더링하는 단계, 상기 가상 현실 컨텐츠를 구성하는 정적 객체에 대한 영상을 렌더링하는 단계 및 상기 사용자 단말로 상기 동적 객체에 대한 영상 및 상기 정적 객체에 대한 영상을 별도로 스트리밍하는 단계를 포함하는 것인 컨텐츠 제공 방법을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 동적 객체와 정적 객체를 분리하여 각각 렌더링을 수행함으로써, 가상 현실 컨텐츠의 입체감을 향상시킬 수 있는 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말을 제공할 수 있다.
서버측에서 이벤트가 발생되는 경우에만 정적 객체를 렌더링 및 스트리밍함으로써, 렌더링 부하를 감소시킬 수 있는 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말을 제공할 수 있다.
동적 객체와 정적 객체가 각각 렌더링된 가상 현실 컨텐츠를 통해 사용자에게 향상된 몰입감을 제공할 수 있도록 하는 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 컨텐츠 제공 서버의 구성도이다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 정적 객체 및 동적 객체의 렌더링 결과를 도시한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 컨텐츠 제공 서버에서 가상 현실 컨텐츠를 제공하는 방법의 순서도이다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다.
도 6은 본 발명의 일 실시예에 따른 메쉬를 도시한 예시적인 도면이다.
도 7a 내지 도 7e는 본 발명의 일 실시예에 따른 사용자 단말에서 메쉬를 이용하여 정적 객체에 대한 영상 및 동적 객체에 대한 영상을 출력하는 과정을 설명하기 위한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 사용자 단말에서 가상 현실 컨텐츠를 제공하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 제공 시스템의 구성도이다. 도 1을 참조하면, 컨텐츠 제공 시스템(1)은 컨텐츠 제공 서버(110) 및 사용자 단말(120)을 포함할 수 있다. 컨텐츠 제공 서버(110) 및 사용자 단말(120)은 컨텐츠 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 컨텐츠 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 사용자 단말(120)은 컨텐츠 제공 서버(110)와 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
컨텐츠 제공 서버(110)는 사용자 단말(120)로부터 가상 현실 컨텐츠에 대해 요청받을 수 있다.
컨텐츠 제공 서버(110)는 가상 현실 컨텐츠를 구성하는 동적 객체에 대한 영상을 렌더링할 수 있다. 이 때, 컨텐츠 제공 서버(110)는 가상 현실 컨텐츠 내의 사용자 위치를 기준으로 촬영된 영상을 이용하여 동적 객체에 대한 영상을 렌더링할 수 있다.
컨텐츠 제공 서버(110)는 가상 현실 컨텐츠를 구성하는 정적 객체에 대한 영상을 렌더링할 수 있다. 이 때, 컨텐츠 제공 서버(110)는 가상 현실 컨텐츠 내의 사용자 위치를 기준으로 촬영된 영상을 이용하여 정적 객체에 대한 영상을 렌더링할 수 있다. 또한, 컨텐츠 제공 서버(110)는 가상 현실 컨텐츠 내의 사용자 위치를 기준으로 촬영된 영상으로부터 깊이맵(Depthmap)을 도출할 수 있다.
컨텐츠 제공 서버(110)는 사용자 단말(120)로 동적 객체에 대한 영상 및 정적 객체에 대한 영상을 별도로 스트리밍할 수 있다. 컨텐츠 제공 서버(110)는 사용자 단말(120)로 렌더링된 동적 객체에 대한 영상을 실시간으로 스트리밍할 수 있다. 컨텐츠 제공 서버(110)는 사용자 단말(120)로 렌더링된 정적 객체에 대한 영상을 가상 현실 컨텐츠에서 기설정된 이벤트가 발생하였는지 여부에 따라 스트리밍할 수 있다. 예를 들어, 컨텐츠 제공 서버(110)는 가상 현실 컨텐츠가 시작되는 경우 정적 객체에 대한 영상을 스트리밍할 수 있다. 다른 예를 들어, 컨텐츠 제공 서버(110)는 가상 현실 컨텐츠 내의 장면에 대해 업데이트가 요구되는 경우 정적 객체에 대한 영상을 스트리밍할 수 있다. 또 다른 예를 들어, 컨텐츠 제공 서버(110)는 가상 현실 컨텐츠 내의 사용자 위치가 기설정된 영역에 도달하는 경우 정적 객체에 대한 영상을 스트리밍할 수 있다. 또 다른 예를 들어, 컨텐츠 제공 서버(110)는 정적 객체에 대한 영상에 대한 업데이트 시간이 기설정된 시간을 초과하는 경우 정적 객체에 대한 영상을 스트리밍할 수 있다.
컨텐츠 제공 서버(110)는 깊이맵을 사용자 단말(120)로 스트리밍할 수 있다.
사용자 단말(120)은 컨텐츠 제공 서버(110)로 가상 현실 컨텐츠를 요청할 수 있다.
사용자 단말(120)은 가상 현실 컨텐츠를 구성하는 동적 객체에 대해 렌더링된 영상을 수신할 수 있다. 이 때, 사용자 단말(120)은 컨텐츠 제공 서버(110)로부터 동적 객체에 대한 영상을 별도로 스트리밍받을 수 있다. 또한, 사용자 단말(120)은 컨텐츠 제공 서버(110)로부터 동적 객체에 대한 영상을 실시간으로 스트리밍받을 수 있다.
사용자 단말(120)은 가상 현실 컨텐츠를 구성하는 정적 객체에 대해 렌더링된 영상을 수신할 수 있다. 이 때, 사용자 단말(120)은 컨텐츠 제공 서버(110)로부터 정적 객체에 대한 영상을 별도로 스트리밍받을 수 있다.
사용자 단말(120)은 컨텐츠 제공 서버(110)로부터 렌더링된 정적 객체에 대한 영상을 가상 현실 컨텐츠에서 기설정된 이벤트가 발생하였는지 여부에 따라 스트리밍받을 수 있다. 예를 들어, 사용자 단말(120)은 가상 현실 컨텐츠가 시작되는 경우 정적 객체에 대한 영상을 스트리밍받을 수 있다. 다른 예를 들어, 사용자 단말(120)은 가상 현실 컨텐츠 내의 장면에 대해 업데이트가 요구되는 경우 정적 객체에 대한 영상을 스트리밍받을 수 있다. 또 다른 예를 들어, 사용자 단말(120)은 가상 현실 컨텐츠 내의 사용자 위치가 기설정된 영역에 도달하는 경우 정적 객체에 대한 영상을 스트리밍받을 수 있다. 또 다른 예를 들어, 사용자 단말(120)은 정적 객체에 대한 영상에 대한 업데이트 시간이 기설정된 시간을 초과하는 경우 정적 객체에 대한 영상을 스트리밍받을 수 있다.
사용자 단말(120)은 가상 현실 컨텐츠 내의 사용자 위치를 기준으로 촬영된 영상으로부터 도출된 깊이맵(Depthmap)을 스트리밍받을 수 있다.
사용자 단말(120)은 메쉬(Mesh)를 이용하여 정적 객체에 대한 영상 및 동적 객체에 대한 영상을 출력할 수 있다. 예를 들어, 사용자 단말(120)은 제 1 메쉬에 동적 객체에 대한 영상을 오버레이하여 출력하고, 깊이맵이 적용된 제 2 메쉬에 정적 객체에 대한 영상을 오버레이하여 출력할 수 있다. 이 때, 제 1 메쉬는 제 2 메쉬의 내부에 위치하는 것일 수 있다.
도 2는 본 발명의 일 실시예에 따른 컨텐츠 제공 서버의 구성도이다. 도 2를 참조하면, 컨텐츠 제공 서버(110)는 요청부(210), 동적 객체 영상 처리부(220), 정적 객체 영상 처리부(230) 및 스트리밍부(240)를 포함할 수 있다.
요청부(210)는 사용자 단말(120)로부터 가상 현실 컨텐츠를 요청받을 수 있다.
동적 객체 영상 처리부(220)는 가상 현실 컨텐츠를 구성하는 동적 객체에 대한 영상을 렌더링할 수 있다. 동적 객체 영상 처리부(220)는 가상 현실 컨텐츠 내의 사용자 위치를 기준으로 촬영된 영상을 이용하여 동적 객체에 대한 영상을 렌더링할 수 있다. 예를 들어, 동적 객체 영상 처리부(220)는 실시간으로 6개의 카메라 모듈을 이용하여 전방 정보 전체를 렌더링할 수 있다. 이 때, 렌더링되는 영역 중 정적 객체가 차지했던 영역들은 모두 투명 처리 되도록 알파(alpha) 값을 '0'으로 설정될 수 있다.
정적 객체 영상 처리부(230)는 가상 현실 컨텐츠를 구성하는 정적 객체에 대한 영상을 렌더링할 수 있다. 정적 객체 영상 처리부(230)는 가상 현실 컨텐츠 내의 사용자 위치를 기준으로 촬영된 영상을 이용하여 정적 객체에 대한 영상을 렌더링할 수 있다. 여기서, 정적 객체는 가상 현실 컨텐츠의 흐름 상에 데이터의 변화가 없는 객체로, 예를 들어, 배경 또는 공간 등이 포함된다. 예를 들어, 정적 객체 영상 처리부(230)는 6-사이드 카메라(side camera)를 이용하여 사용자 위치를 기준으로 전방을 큐빅(cubic) 또는 등장방형도법형(equirectangular)으로 렌더링할 수 있다.
정적 객체 영상 처리부(230)는 가상 현실 컨텐츠 내의 사용자 위치를 기준으로 촬영된 영상으로부터 깊이맵(Depthmap)을 도출할 수 있다. 깊이맵은 사용자 위치를 기준으로 각 픽셀에 해당하는 3D 데이터의 거리값일 수 있다.
스트리밍부(240)는 사용자 단말(120)로 동적 객체에 대한 영상 및 정적 객체에 대한 영상을 별도로 스트리밍할 수 있다.
스트리밍부(240)는 사용자 단말(120)로 렌더링된 동적 객체에 대한 영상을 실시간으로 스트리밍할 수 있다.
스트리밍부(240)는 사용자 단말(120)로 렌더링된 정적 객체에 대한 영상을 가상 현실 컨텐츠에서 기설정된 이벤트가 발생하였는지 여부에 따라 스트리밍할 수 있다. 여기서, 이벤트는 정적 객체가 새로 렌더링 되어야 하는 경우를 의미할 수 있다. 예를 들어, 스트리밍부(240)는 가상 현실 컨텐츠가 시작되는 경우 정적 객체에 대한 영상을 스트리밍할 수 있다. 다른 예를 들어, 스트리밍부(240)는 가상 현실 컨텐츠 내의 그래픽스를 구성하는 장면(scene) 또는 스테이지(stage)의 변경과 같이 장면에 대해 업데이트가 요구되는 경우 정적 객체에 대한 영상을 스트리밍할 수 있다. 또 다른 예를 들어, 스트리밍부(240)는 가상 현실 컨텐츠 내의 사용자 위치가 영역의 경계와 같이 기설정된 영역에 도달하는 경우 정적 객체에 대한 영상을 스트리밍할 수 있다. 또 다른 예를 들어, 스트리밍부(240)는 정적 객체에 대한 영상에 대한 업데이트 시간이 기설정된 시간을 초과하는 경우 정적 객체에 대한 영상을 스트리밍할 수 있다.
스트리밍부(240)는 깊이맵을 사용자 단말(120)로 스트리밍할 수 있다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 정적 객체 및 동적 객체의 렌더링 결과를 도시한 예시적인 도면이다. 여기서, 정적 객체는 이벤트가 발생할 때만 렌더링되는 것이며, 동적 객체는 별도로 실시간으로 렌더링되는 것일 수 있다.
도 3a는 본 발명의 일 실시예에 따른 정적 객체에 대한 렌더링 결과를 도시한 예시적인 도면이다. 도 3a를 참조하면, 컨텐츠 제공 서버(110)는 가상 현실 컨텐츠를 구성하는 정적 객체에 대한 영상을 렌더링할 수 있다. 예를 들어, 컨텐츠 제공 서버(110)는 배경 또는 공간과 같이 가상 현실 컨텐츠의 흐름 상에 데이터의 변화가 없는 객체에 대한 영상을 렌더링할 수 있다.
도 3b는 본 발명의 일 실시예에 따른 깊이맵을 도시한 예시적인 도면이다. 도 3b를 참조하면, 깊이맵은 정적 객체에 대한 영상이 렌더링된 경우, 렌더링 결과에 포함될 수 있다. 여기서, 깊이맵은 사용자 위치를 기준으로 각 픽셀에 해당하는 3D 데이터의 거리값을 의미할 수 있다.
도 3c는 본 발명의 일 실시예에 따른 동적 객체에 대한 렌더링 결과를 도시한 예시적인 도면이다. 도 3c를 참조하면, 컨텐츠 제공 서버(110)는 가상 현실 컨텐츠를 구성하는 동적 객체에 대한 영상을 렌더링할 수 있다. 예를 들어, 컨텐츠 제공 서버(110)는 전방 정보 전체를 렌더링하되, 렌더링되는 영역 중 정적 객체가 차지했던 영역들을 모두 투명 처리되도록 알파값(alpha)을 '0'으로 설정하여 동적 객체에 대한 영상을 렌더링할 수 있다.
도 4는 본 발명의 일 실시예에 따른 컨텐츠 제공 서버에서 가상 현실 컨텐츠를 제공하는 방법의 순서도이다. 도 4에 도시된 컨텐츠 제공 서버(110)에서 가상 현실 컨텐츠를 제공하는 방법은 도 1 내지 도 3c에 도시된 실시예에 따른 컨텐츠 제공 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 3c에 도시된 실시예에 따른 컨텐츠 제공 서버(110)에서 가상 현실 컨텐츠를 제공하는 방법에도 적용된다.
단계 S410에서 컨텐츠 제공 서버(110)는 사용자 단말(120)로부터 가상 현실 컨텐츠를 요청받을 수 있다.
단계 S420에서 컨텐츠 제공 서버(110)는 가상 현실 컨텐츠를 구성하는 동적 객체에 대한 영상을 렌더링할 수 있다.
단계 S430에서 컨텐츠 제공 서버(110)는 가상 현실 컨텐츠를 구성하는 정적 객체에 대한 영상을 렌더링할 수 있다.
단계 S440에서 컨텐츠 제공 서버(110)는 사용자 단말(120)로 동적 객체에 대한 영상 및 정적 객체에 대한 영상을 별도로 스트리밍할 수 있다.
상술한 설명에서, 단계 S410 내지 S440은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다. 도 5를 참조하면, 사용자 단말(120)은 요청부(510), 동적 객체 영상 수신부(520), 정적 객체 영상 수신부(530) 및 출력부(540)를 포함할 수 있다.
요청부(510)는 컨텐츠 제공 서버(110)로 가상 현실 컨텐츠를 요청할 수 있다.
동적 객체 영상 수신부(520)는 가상 현실 컨텐츠를 구성하는 동적 객체에 대해 렌더링된 영상을 수신할 수 있다. 이 때, 동적 객체 영상 수신부(520)는 컨텐츠 제공 서버(110)로부터 동적 객체에 대한 영상을 별도로 스트리밍받을 수 있다. 예를 들어, 동적 객체 영상 수신부(520)는 컨텐츠 제공 서버(110)로부터 동적 객체에 대한 영상을 실시간으로 스트리밍받을 수 있다.
정적 객체 영상 수신부(530)는 가상 현실 컨텐츠를 구성하는 정적 객체에 대해 렌더링된 영상을 수신할 수 있다. 이 때, 정적 객체 영상 수신부(530)는 컨텐츠 제공 서버(110)로부터 정적 객체에 대한 영상을 별도로 스트리밍받을 수 있다.
정적 객체 영상 수신부(530)는 컨텐츠 제공 서버(110)로부터 렌더링된 정적 객체에 대한 영상을 가상 현실 컨텐츠에서 기설정된 이벤트가 발생하였는지 여부에 따라 스트리밍받을 수 있다. 예를 들어, 정적 객체 영상 수신부(530)는 가상 현실 컨텐츠가 시작되는 경우 정적 객체에 대한 영상을 스트리밍받을 수 있다. 다른 예를 들어, 정적 객체 영상 수신부(530)는 가상 현실 컨텐츠 내의 장면에 대해 업데이트가 요구되는 경우 정적 객체에 대한 영상을 스트리밍받을 수 있다. 또 다른 예를 들어, 정적 객체 영상 수신부(530)는 가상 현실 컨텐츠 내의 사용자 위치가 기설정된 영역에 도달하는 경우 정적 객체에 대한 영상을 스트리밍받을 수 있다. 또 다른 예를 들어, 정적 객체 영상 수신부(530)는 정적 객체에 대한 영상에 대한 업데이트 시간이 기설정된 시간을 초과하는 경우 정적 객체에 대한 영상을 스트리밍받을 수 있다.
정적 객체 영상 수신부(530)는 가상 현실 컨텐츠 내의 사용자 위치를 기준으로 촬영된 영상으로부터 도출된 깊이맵(Depthmap)을 스트리밍받을 수 있다.
출력부(540)는 메쉬(Mesh)를 이용하여 정적 객체에 대한 영상 및 동적 객체에 대한 영상을 출력할 수 있다. 여기서, 메쉬는 3D 데이터에서 면(plane)을 처리하는 최소 단위의 삼각형들의 집합으로, 삼각형을 구성하는 점들과의 연결관계가 포함된 데이터를 의미한다. 예를 들어, 3D 모델은 육면체(cube) 또는 구형(sphere) 형태의 메쉬에 텍스쳐(texture)가 오버레이될 수 있다. 메쉬와 관련하여 도 6을 통해 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 메쉬를 도시한 예시적인 도면이다. 도 6을 참조하면, 메쉬는 기존의 구형 메쉬에 해당하는 제 1 메쉬(600) 및 변형된 메쉬에 해당하는 제 2 메쉬(610)로 구성될 수 있다. 여기서, 제 2 메쉬(610)는 깊이맵에 기초하여 변형된 것일 수 있다. 예를 들어, 제 2 메쉬(610)는 깊이맵에 기초하여 가상 카메라의 초기 위치를 기준으로 변형되는 큐브형(cube), 구형(sphere)의 각 꼭지점(vertices)과의 거리가 깊이맵에서 추출된 깊이값과 같도록 변형될 수 있다. 이 때, 변형되는 거리에 대해 하이-패스 필터(High-pass filter) 및 로-패스 필터(Low-pass filter)가 적용될 수 있다.
제 2 메쉬(610)를 구성하는 각 점의 위치는 수학식 1을 이용하여 깊이맵에 따라 이동될 수 있다.
Figure PCTKR2019010308-appb-M000001
여기서,
Figure PCTKR2019010308-appb-I000001
는 각각 변형되기 전과 후의 각 점의 위치 값으로, 벡터 데이터 (x, y, z)값을 갖는다. α는 상수로, 원래의 위치 값과 변형된 위치의 값의 가중치를 조절하는 파라미터를 의미한다. D1은 메쉬의 점에 해당하는 깊이맵의 깊이값을 의미한다. C1은 렌더링의 기준이 되는 위치로 가상현실 내에 정의되는 사용자의 시점 위치를 의미한다.
제 2 메쉬(610)의 경우, 변형의 정도가 심해지면 메쉬의 찢어짐이 발생될 수 있으므로, 사용자가 메쉬의 변형의 정도를 설정하여 찢어짐을 방지할 수 있다.
다시 도 5로 돌아와서, 출력부(540)는 제 1 메쉬(예를 들어, 구형 메쉬)에 동적 객체에 대한 영상(텍스쳐)을 오버레이하여 출력하고, 깊이맵이 적용된 제 2 메쉬(예를 들어, 변형된 메쉬)에 정적 객체에 대한 영상(텍스쳐)을 오버레이하여 출력할 수 있다. 이 때, 제 1 메쉬는 제 2 메쉬의 내부에 위치함으로써, 오버레이 효과가 증대될 수 있다. 출력부(540)는 동적 객체가 출력된 제 1 메쉬(예를 들어, 구형 메쉬)의 중심을 사용자의 시점으로 하여 최종 화면을 렌더링하여 출력할 수 있다.
도 7a 내지 도 7e는 본 발명의 일 실시예에 따른 사용자 단말에서 메쉬를 이용하여 정적 객체에 대한 영상 및 동적 객체에 대한 영상을 출력하는 과정을 설명하기 위한 예시적인 도면이다.
도 7a는 본 발명의 일 실시예에 따른 메쉬를 도시한 예시적인 도면이다. 도 7a를 참조하면, 메쉬는 제 1 메쉬(700) 및 제 2 메쉬(710)를 포함할 수 있다. 이 때, 제 1 메쉬(700)는 제 2 메쉬(710)의 내부에 위치할 수 있다.
제 1 메쉬(700)는 동적 객체에 대한 영상이 오버레이될 수 있다.
제 2 메쉬(710)는 깊이맵이 적용되어 정적 객체에 대한 영상이 오버레이될 수 있다. 여기서, 제 2 메쉬(710)는 가상 현실 컨텐츠에서 기설정된 이벤트가 발생하였는지 여부에 따라 깊이맵에 기초하여 변형될 수 있다.
도 7b는 본 발명의 일 실시예에 따른 정적 객체에 대한 영상이 오버레이된 제 2 메쉬를 도시한 예시적인 도면이다. 도 7b를 참조하면, 정적 객체에 대한 영상(720)은 깊이맵에 따라 변형된 메쉬에 해당하는 제 2 메쉬(710)에 오버레이될 수 있다.
도 7c는 본 발명의 일 실시예에 따른 동적 객체에 대한 영상이 오버레이된 제 1 메쉬를 도시한 예시적인 도면이다. 도 7c를 참조하면, 동적 객체에 대한 영상(730)은 구형 메쉬에 해당하는 제 1 메쉬(700)에 오버레이될 수 있다.
도 7d는 본 발명의 일 실시예에 따른 가상 현실 컨텐츠의 렌더링 결과를 도시한 예시적인 도면이다. 도 7d를 참조하면, 사용자 단말(120)은 제 1 메쉬(700)에 오버레이된 동적 객체에 대한 영상(730)을 렌더링하고, 제 2 메쉬(710)에 오버레이된 정적 객체에 대한 영상(720)을 렌더링할 수 있다. 이 때, 사용자 단말(120)은 정적 객체에 대한 영상(720)이 렌더링된 결과와 동적 객체에 대한 영상(730)이 렌더링된 결과를 오버레이한 최종 화면을 스테레오 렌더링할 수 있다.
도 7e는 본 발명의 일 실시예에 따른 사용자 단말에서 출력된 가상 현실 컨텐츠를 도시한 예시적인 도면이다. 도 7e를 참조하면, 사용자 단말(120)은 렌더링된 정적 객체에 대한 영상(720)과 동적 객체에 대한 영상(730)이 합성된 가상 현실 컨텐츠 영상(740)을 디스플레이에 표시할 수 있다.
도 8은 본 발명의 일 실시예에 따른 사용자 단말에서 가상 현실 컨텐츠를 제공하는 방법의 순서도이다. 도 8에 도시된 사용자 단말(120)에서 가상 현실 컨텐츠를 제공하는 방법은 도 1 내지 도 7e에 도시된 실시예에 따른 컨텐츠 제공 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 7e에 도시된 실시예에 따른 사용자 단말(120)에서 가상 현실 컨텐츠를 제공하는 방법에도 적용된다.
단계 S810에서 사용자 단말(120)은 컨텐츠 제공 서버(110)로 가상 현실 컨텐츠를 요청할 수 있다.
단계 S820에서 사용자 단말(120)은 가상 현실 컨텐츠를 구성하는 동적 객체에 대해 렌더링된 영상을 수신할 수 있다.
단계 S830에서 사용자 단말(120)은 가상 현실 컨텐츠를 구성하는 정적 객체에 대해 렌더링된 영상을 수신할 수 있다.
단계 S840에서 사용자 단말(120)은 메쉬(Mesh)를 이용하여 정적 객체에 대한 영상 및 동적 객체에 대한 영상을 출력할 수 있다.
상술한 설명에서, 단계 S810 내지 S840은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 8을 통해 설명된 컨텐츠 제공 서버 및 사용자 단말에서 가상 현실 컨텐츠를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 8을 통해 설명된 컨텐츠 제공 서버 및 사용자 단말에서 가상 현실 컨텐츠를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (18)

  1. 가상 현실 컨텐츠를 제공하는 서버에 있어서,
    사용자 단말로부터 가상 현실 컨텐츠를 요청받는 요청부;
    상기 가상 현실 컨텐츠를 구성하는 동적 객체에 대한 영상을 렌더링하는 동적 객체 영상 처리부;
    상기 가상 현실 컨텐츠를 구성하는 정적 객체에 대한 영상을 렌더링하는 정적 객체 영상 처리부; 및
    상기 사용자 단말로 상기 동적 객체에 대한 영상 및 상기 정적 객체에 대한 영상을 별도로 스트리밍하는 스트리밍부
    를 포함하는 것인, 컨텐츠 제공 서버.
  2. 제 1 항에 있어서,
    상기 동적 객체 영상 처리부는 상기 가상 현실 컨텐츠 내의 사용자 위치를 기준으로 촬영된 영상을 이용하여 상기 동적 객체에 대한 영상을 렌더링하고,
    상기 스트리밍부는 상기 사용자 단말로 상기 렌더링된 동적 객체에 대한 영상을 실시간으로 스트리밍하는 것인, 컨텐츠 제공 서버.
  3. 제 2 항에 있어서,
    상기 정적 객체 영상 처리부는 상기 가상 현실 컨텐츠 내의 사용자 위치를 기준으로 촬영된 영상을 이용하여 상기 정적 객체에 대한 영상을 렌더링하고,
    상기 스트리밍부는 상기 사용자 단말로 상기 렌더링된 정적 객체에 대한 영상을 상기 가상 현실 컨텐츠에서 기설정된 이벤트가 발생하였는지 여부에 따라 스트리밍하는 것인, 컨텐츠 제공 서버.
  4. 제 3 항에 있어서,
    상기 스트리밍부는 상기 가상 현실 컨텐츠가 시작되는 경우 상기 정적 객체에 대한 영상을 스트리밍하는 것인, 컨텐츠 제공 서버.
  5. 제 3 항에 있어서,
    상기 스트리밍부는 상기 가상 현실 컨텐츠 내의 장면에 대해 업데이트가 요구되는 경우 상기 정적 객체에 대한 영상을 스트리밍하는 것인, 컨텐츠 제공 서버.
  6. 제 3 항에 있어서,
    상기 스트리밍부는 상기 가상 현실 컨텐츠 내의 사용자 위치가 기설정된 영역에 도달하는 경우 상기 정적 객체에 대한 영상을 스트리밍하는 것인, 컨텐츠 제공 서버.
  7. 제 3 항에 있어서,
    상기 스트리밍부는 상기 정적 객체에 대한 영상에 대한 업데이트 시간이 기설정된 시간을 초과하는 경우 상기 정적 객체에 대한 영상을 스트리밍하는 것인, 컨텐츠 제공 서버.
  8. 제 1 항에 있어서,
    상기 정적 객체 영상 처리부는 상기 가상 현실 컨텐츠 내의 사용자 위치를 기준으로 촬영된 영상으로부터 깊이맵(Depth map)을 도출하고,
    상기 스트리밍부는 상기 깊이맵을 상기 사용자 단말로 더 스트리밍하는 것인, 컨텐츠 제공 서버.
  9. 가상 현실 컨텐츠를 제공하는 사용자 단말에 있어서,
    컨텐츠 제공 서버로 가상 현실 컨텐츠를 요청하는 요청부;
    상기 가상 현실 컨텐츠를 구성하는 동적 객체에 대해 렌더링된 영상을 수신하는 동적 객체 영상 수신부;
    상기 가상 현실 컨텐츠를 구성하는 정적 객체에 대해 렌더링된 영상을 수신하는 정적 객체 영상 수신부; 및
    메쉬(Mesh)를 이용하여 상기 정적 객체에 대한 영상 및 상기 동적 객체에 대한 영상을 출력하는 출력부를 포함하고,
    상기 동적 객체 영상 수신부 및 상기 정적 객체 영상 수신부는 상기 컨텐츠 제공 서버로부터 상기 동적 객체에 대한 영상 및 상기 정적 객체에 대한 영상을 별도로 스트리밍받는 것인, 사용자 단말.
  10. 제 9 항에 있어서,
    상기 동적 객체 영상 수신부는 상기 컨텐츠 제공 서버로부터 상기 동적 객체에 대한 영상을 실시간으로 스트리밍받는 것인, 사용자 단말.
  11. 제 10 항에 있어서,
    상기 정적 객체 영상 수신부는 상기 컨텐츠 제공 서버로부터 상기 렌더링된 정적 객체에 대한 영상을 상기 가상 현실 컨텐츠에서 기설정된 이벤트가 발생하였는지 여부에 따라 스트리밍받는 것인, 사용자 단말.
  12. 제 11 항에 있어서,
    상기 정적 객체 영상 수신부는 상기 가상 현실 컨텐츠가 시작되는 경우 상기 정적 객체에 대한 영상을 스트리밍받는 것인, 사용자 단말.
  13. 제 11 항에 있어서,
    상기 정적 객체 영상 수신부는 상기 가상 현실 컨텐츠 내의 장면에 대해 업데이트가 요구되는 경우 상기 정적 객체에 대한 영상을 스트리밍받는 것인, 사용자 단말.
  14. 제 11 항에 있어서,
    상기 정적 객체 영상 수신부는 상기 가상 현실 컨텐츠 내의 사용자 위치가 기설정된 영역에 도달하는 경우 상기 정적 객체에 대한 영상을 스트리밍받는 것인, 사용자 단말.
  15. 제 11 항에 있어서,
    상기 정적 객체 영상 수신부는 상기 정적 객체에 대한 영상에 대한 업데이트 시간이 기설정된 시간을 초과하는 경우 상기 정적 객체에 대한 영상을 스트리밍받는 것인, 사용자 단말.
  16. 제 9 항에 있어서,
    상기 정적 객체 영상 수신부는 상기 가상 현실 컨텐츠 내의 사용자 위치를 기준으로 촬영된 영상으로부터 도출된 깊이맵(Depth map)을 더 스트리밍받는 것인, 컨텐츠 제공 서버.
  17. 제 16 항에 있어서,
    상기 출력부는 제 1 메쉬에 상기 동적 객체에 대한 영상을 오버레이하여 출력하고, 상기 깊이맵이 적용된 제 2 메쉬에 상기 정적 객체에 대한 영상을 오버레이하여 출력하고,
    상기 제 1 메쉬는 상기 제 2 메쉬의 내부에 위치하는 것인, 컨텐츠 제공 서버.
  18. 가상 현실 컨텐츠를 제공하는 방법에 있어서,
    사용자 단말로부터 가상 현실 컨텐츠를 요청받는 단계;
    상기 가상 현실 컨텐츠를 구성하는 동적 객체에 대한 영상을 렌더링하는 단계;
    상기 가상 현실 컨텐츠를 구성하는 정적 객체에 대한 영상을 렌더링하는 단계; 및
    상기 사용자 단말로 상기 동적 객체에 대한 영상 및 상기 정적 객체에 대한 영상을 별도로 스트리밍하는 단계
    를 포함하는 것인, 컨텐츠 제공 방법.
PCT/KR2019/010308 2018-08-14 2019-08-13 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말 WO2020036414A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/267,743 US11778007B2 (en) 2018-08-14 2019-08-13 Server, method and user device for providing virtual reality content

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180094867A KR102638377B1 (ko) 2018-08-14 2018-08-14 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말
KR10-2018-0094867 2018-08-14

Publications (1)

Publication Number Publication Date
WO2020036414A1 true WO2020036414A1 (ko) 2020-02-20

Family

ID=69525658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/010308 WO2020036414A1 (ko) 2018-08-14 2019-08-13 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말

Country Status (3)

Country Link
US (1) US11778007B2 (ko)
KR (1) KR102638377B1 (ko)
WO (1) WO2020036414A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101399633B1 (ko) * 2013-03-29 2014-05-27 동국대학교 산학협력단 영상 합성 방법 및 장치
KR101538947B1 (ko) * 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법
KR20160147495A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 인터랙티브 콘텐츠 제어 장치 및 방법
US9606363B2 (en) * 2014-05-30 2017-03-28 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
KR101851338B1 (ko) * 2016-12-02 2018-04-23 서울과학기술대학교 산학협력단 실감형 미디어 영상을 제공하는 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040248653A1 (en) * 2003-06-05 2004-12-09 Mark Barros System and method for providing user interactive experiences according to user's physical location
US20050256923A1 (en) * 2004-05-14 2005-11-17 Citrix Systems, Inc. Methods and apparatus for displaying application output on devices having constrained system resources
US20060236231A1 (en) * 2004-11-02 2006-10-19 Quark, Inc. Systems and methods for developing dynamic media productions
US7787818B2 (en) * 2007-03-27 2010-08-31 Iocast Llc Customized content delivery system and method
US20120105581A1 (en) * 2010-10-29 2012-05-03 Sony Corporation 2d to 3d image and video conversion using gps and dsm
KR102082132B1 (ko) 2014-01-28 2020-02-28 한국전자통신연구원 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법
CN105094754B (zh) * 2014-04-21 2019-02-05 阿里巴巴集团控股有限公司 基于标签的程序开发方法、页面请求响应方法及其装置
KR101748637B1 (ko) 2014-08-05 2017-06-20 한국전자통신연구원 깊이 맵 생성 장치 및 방법
US10627908B2 (en) * 2015-03-27 2020-04-21 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface
KR102458339B1 (ko) 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
KR20170115390A (ko) 2016-04-07 2017-10-17 최윤화 3차원 가상현실 구현 시스템
KR20180024200A (ko) * 2016-08-29 2018-03-08 오드컨셉 주식회사 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
US9754410B2 (en) * 2017-02-15 2017-09-05 StyleMe Limited System and method for three-dimensional garment mesh deformation and layering for garment fit visualization
US20190268601A1 (en) * 2018-02-26 2019-08-29 Microsoft Technology Licensing, Llc Efficient streaming video for static video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101399633B1 (ko) * 2013-03-29 2014-05-27 동국대학교 산학협력단 영상 합성 방법 및 장치
KR101538947B1 (ko) * 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법
US9606363B2 (en) * 2014-05-30 2017-03-28 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
KR20160147495A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 인터랙티브 콘텐츠 제어 장치 및 방법
KR101851338B1 (ko) * 2016-12-02 2018-04-23 서울과학기술대학교 산학협력단 실감형 미디어 영상을 제공하는 장치

Also Published As

Publication number Publication date
KR102638377B1 (ko) 2024-02-20
US20210314380A1 (en) 2021-10-07
KR20200019395A (ko) 2020-02-24
US11778007B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
WO2016000309A1 (zh) 基于穿戴设备的增强现实方法及系统
JP4931055B2 (ja) 画像処理装置及び画像処理方法
WO2011031026A2 (ko) 배경 이미지를 이용한 3차원 아바타 서비스 제공 시스템 및 방법
CN104583982B (zh) 医疗支援系统及其方法
WO2021002687A1 (ko) 사용자 간의 경험 공유를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2018101652A1 (ko) 실감형 미디어 영상을 제공하는 장치
WO2017142334A1 (en) Method and apparatus for generating omni media texture mapping metadata
WO2022161107A1 (zh) 三维视频的处理方法、设备及存储介质
WO2017213439A1 (ko) 멀티 스티커를 이용한 영상 생성 방법 및 장치
WO2018074618A1 (ko) 영상을 위한 효과 공유 방법 및 시스템
CN114998063B (zh) 一种基于xr技术的沉浸式课堂构建方法、系统及存储介质
WO2017222258A1 (ko) 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법
CN115830199B (zh) 基于xr技术的泛在实训校园构建方法、系统及存储介质
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
CN113989173A (zh) 视频融合方法、装置、电子设备及存储介质
WO2019216572A1 (ko) 휴대 단말에서의 영상 제공 방법 및 그 장치
WO2020036414A1 (ko) 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말
WO2015089944A1 (zh) 一种处理视频会议画面的方法、装置及会议终端
WO2011010788A1 (en) Video call device and method
WO2023226628A1 (zh) 图像展示方法、装置、电子设备及存储介质
WO2020231215A1 (ko) 복수의 디바이스를 이용하여 증강 현실 객체가 포함된 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2017142364A1 (ko) 가상 현실 시스템에서 이미지 처리 방법 및 장치
WO2019103193A1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
WO2019103192A1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
WO2021187646A1 (ko) 아바타를 이용한 컨퍼런스 처리 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19850519

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19850519

Country of ref document: EP

Kind code of ref document: A1