KR102651074B1 - Apparatus and method for providing 3d video based on v-pcc bitstream - Google Patents

Apparatus and method for providing 3d video based on v-pcc bitstream Download PDF

Info

Publication number
KR102651074B1
KR102651074B1 KR1020200051606A KR20200051606A KR102651074B1 KR 102651074 B1 KR102651074 B1 KR 102651074B1 KR 1020200051606 A KR1020200051606 A KR 1020200051606A KR 20200051606 A KR20200051606 A KR 20200051606A KR 102651074 B1 KR102651074 B1 KR 102651074B1
Authority
KR
South Korea
Prior art keywords
point cloud
information
image
pcc
segment
Prior art date
Application number
KR1020200051606A
Other languages
Korean (ko)
Other versions
KR20210132997A (en
Inventor
김두환
임지헌
김규헌
김준식
Original Assignee
한국전력공사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사, 경희대학교 산학협력단 filed Critical 한국전력공사
Priority to KR1020200051606A priority Critical patent/KR102651074B1/en
Publication of KR20210132997A publication Critical patent/KR20210132997A/en
Application granted granted Critical
Publication of KR102651074B1 publication Critical patent/KR102651074B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 3차원 영상 제공 방법으로서, 3차원 포인트 클라우드 콘텐츠를 수신하는 단계; V-PCC(Video based Point Cloud Compression) 비트스트림을 기반으로 상기 3차원 포인트 클라우드 콘텐츠를 부호화하는 단계; 및 상기 V-PCC 비트스트림 기반의 DASH(Dynamic Adaptive Streaming over HTTP) 세그먼트를 생성하는 단계를 포함한다.The present invention provides a method for providing a 3D image, comprising: receiving 3D point cloud content; Encoding the 3D point cloud content based on a V-PCC (Video based Point Cloud Compression) bitstream; and generating a Dynamic Adaptive Streaming over HTTP (DASH) segment based on the V-PCC bitstream.

Description

V-PCC 비트스트림 기반 3차원 영상 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING 3D VIDEO BASED ON V-PCC BITSTREAM}Apparatus and method for providing 3D video based on V-PCC bitstream {APPARATUS AND METHOD FOR PROVIDING 3D VIDEO BASED ON V-PCC BITSTREAM}

본 발명은 V-PCC(Video based Point Cloud Compression) 비트스트림 기반 3차원 영상 제공 장치 및 방법에 관한 것으로서, 더욱 상세하게는 차세대 방송 표준에서 채택한 전송 프로토콜을 통해 3차원 포인트 클라우드(point cloud) 콘텐츠를 지원하기 위한 3차원 영상 제공 장치 및 방법에 관한 것이다.The present invention relates to a V-PCC (Video based Point Cloud Compression) bitstream-based 3D video providing device and method. More specifically, it relates to 3D point cloud content through a transmission protocol adopted in the next generation broadcast standard. It relates to a device and method for providing 3D images for support.

미디어 콘텐츠는 흑백에서 컬러 영상으로, 저해상도에서 고해상도의 영상으로 발전해왔다. 최근에는 실제와 유사한 콘텐츠를 위한 사용자 중심의 360도 VR(Virtual Realtiy) 콘텐츠와 광시야각의 실감형 미디어인 UWV(Ultra Wide Vision) 콘텐츠들이 등장하였으며, 해당 콘텐츠에 대한 몰입도를 높이기 위해 곡면 디스플레이, HMD(Head Mount Display), 등의 사용도 함께 증가하였다.Media content has evolved from black and white to color video, and from low-resolution to high-resolution video. Recently, user-centered 360-degree VR (Virtual Reality) content for realistic content and UWV (Ultra Wide Vision) content, a realistic media with a wide viewing angle, have emerged. To increase immersion in the content, curved displays, The use of HMD (Head Mount Display) has also increased.

이와 같이, 미디어 기술은 사용자에게 실제와 같은 경험을 제공하기 위해 거듭 발전하였으며, 나아가 사용자에게 자유로운 시야각 및 입체감을 제공하기 위해 3차원으로 이루어진 미디어로 눈길을 돌리기 시작하였다. 이 중에서 3차원 포인트 클라우드(point cloud) 콘텐츠는 AR/VR 및 자율주행 자동차 분야에서 차세대 미디어로 주목받고 있다.In this way, media technology has developed repeatedly to provide users with a realistic experience, and furthermore, attention has begun to turn to three-dimensional media to provide users with a free viewing angle and three-dimensional effect. Among these, 3D point cloud content is attracting attention as a next-generation media in the AR/VR and self-driving car fields.

그러나, 3차원 포인트 클라우드 콘텐츠는 상당량의 메모리 및 프로세서 리소스를 차지하기 때문에 3차원 포인트 클라우드 콘텐츠를 전송하기 위해서는 기존의 2차원 영상에 비해 대용량의 저장 공간이 요구된다.However, because 3D point cloud content takes up a significant amount of memory and processor resources, transmitting 3D point cloud content requires a large amount of storage space compared to existing 2D images.

따라서, 차세대 방송 표준에서 채택한 전송 프로토콜을 통해 3차원 포인트 클라우드 콘텐츠를 지원하기 위한 3차원 영상 제공 장치 및 방법에 대한 요구가 당업계에서 점차 증가하고 있는 상황이다.Accordingly, the demand for a 3D image providing device and method to support 3D point cloud content through a transmission protocol adopted in the next generation broadcast standard is gradually increasing in the industry.

따라서 본 발명은 상기한 문제점들을 해결하고자 안출된 것으로서, 본 발명의 목적은 V-PCC (Video based Point Cloud Compression) 비트스트림 기반 3차원 영상 제공 장치 및 방법을 제공하는 것이다.Therefore, the present invention was created to solve the above problems, and the purpose of the present invention is to provide an apparatus and method for providing 3D images based on V-PCC (Video based Point Cloud Compression) bitstream.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 3차원 영상 제공 방법으로서, 3차원 포인트 클라우드 콘텐츠를 수신하는 단계; V-PCC(Video based Point Cloud Compression) 비트스트림을 기반으로 상기 3차원 포인트 클라우드 콘텐츠를 부호화하는 단계; 및 상기 V-PCC 비트스트림 기반의 DASH(Dynamic Adaptive Streaming over HTTP) 세그먼트를 생성하는 단계를 포함한다.According to a feature of the present invention for achieving the above-described object, there is provided a method for providing a 3D image, comprising: receiving 3D point cloud content; Encoding the 3D point cloud content based on a V-PCC (Video based Point Cloud Compression) bitstream; and generating a Dynamic Adaptive Streaming over HTTP (DASH) segment based on the V-PCC bitstream.

또한, 상기 DASH 세그먼트는, 상기 V-PCC 비트스트림 기반의 초기 세그먼트 및 미디어 세그먼트 중 적어도 하나를 포함한다.Additionally, the DASH segment includes at least one of an initial segment and a media segment based on the V-PCC bitstream.

또한, 상기 초기 세그먼트는, 상기 V-PCC 비트스트림별로 부호화된 정보를 각각 포함하는 것을 특징으로 한다.In addition, the initial segment is characterized in that it includes information encoded for each V-PCC bitstream.

또한, 상기 미디어 세그먼트는, 상기 3차원 포인트 클라우드 콘텐츠 재생에 관한 정보를 포함하는 것을 특징으로 한다.Additionally, the media segment is characterized in that it includes information regarding reproduction of the 3D point cloud content.

또한, 상기 미디어 세그먼트는, 상기 3차원 포인트 클라우드 콘텐츠 관련 메타 데이터, 기하 영상 정보, 텍스처 영상 정보, 색상 영상 정보 및 occupancy map 정보 중 적어도 하나를 포함한다.Additionally, the media segment includes at least one of metadata related to the 3D point cloud content, geometric image information, texture image information, color image information, and occupancy map information.

또한, 상기 V-PCC 비트스트림 기반의 MPU(Media Processing Unit)를 생성하는 단계를 더 포함한다.In addition, it further includes generating a Media Processing Unit (MPU) based on the V-PCC bitstream.

또한, 상기 MPU는, MFU(Media Fragment Unit)로의 변환 정보 및 식별 정보를 포함하는 것을 특징으로 한다.In addition, the MPU is characterized by including conversion information to an MFU (Media Fragment Unit) and identification information.

추가로, 상기의 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 컴퓨터 판독 가능한 기록 매체는 상기의 방법을 수행하기 위한 프로그램이 기록될 수 있다.Additionally, a computer-readable recording medium according to another embodiment of the present invention for solving the above technical problem may have a program for performing the above method recorded thereon.

추가로, 상기의 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 3차원 영상 제공 장치는, 3차원 포인트 클라우드 콘텐츠를 수신하는 입력부; V-PCC(Video based Point Cloud Compression) 비트스트림을 기반으로 상기 3차원 포인트 클라우드 콘텐츠를 부호화하는 데이터 처리부; 및 상기 V-PCC 비트스트림 기반의 DASH(Dynamic Adaptive Streaming over HTTP) 세그먼트를 생성하는 데이터 생성부를 포함하고, 상기 데이터 생성부는 MPEG-ISOBMFF의 확장을 통해 상기 V-PCC 비트스트림 기반의 MPU(Media Processing Unit)를 생성하는 것을 특징으로 한다.Additionally, a 3D image providing device according to another embodiment of the present invention for solving the above technical problem includes an input unit for receiving 3D point cloud content; A data processing unit that encodes the 3D point cloud content based on a V-PCC (Video based Point Cloud Compression) bitstream; And a data generator that generates a Dynamic Adaptive Streaming over HTTP (DASH) segment based on the V-PCC bitstream, wherein the data generator generates a Media Processing Unit (MPU) based on the V-PCC bitstream through an extension of MPEG-ISOBMFF. It is characterized by creating a Unit).

또한, 상기 DASH 세그먼트는, 상기 V-PCC 비트스트림 기반의 초기 세그먼트 및 미디어 세그먼트 중 적어도 하나를 포함한다.Additionally, the DASH segment includes at least one of an initial segment and a media segment based on the V-PCC bitstream.

또한, 상기 초기 세그먼트는, 상기 V-PCC 비트스트림별로 부호화된 정보를 각각 포함하는 것을 특징으로 한다.In addition, the initial segment is characterized in that it includes information encoded for each V-PCC bitstream.

또한, 상기 미디어 세그먼트는, 상기 3차원 포인트 클라우드 콘텐츠 재생에 관한 정보를 포함하는 것을 특징으로 한다.Additionally, the media segment is characterized in that it includes information regarding reproduction of the 3D point cloud content.

또한, 상기 미디어 세그먼트는, 상기 3차원 포인트 클라우드 콘텐츠 관련 메타 데이터, 기하 영상 정보, 텍스처 영상 정보, 색상 영상 정보 및 occupancy map 정보 중 적어도 하나를 포함한다.Additionally, the media segment includes at least one of metadata related to the 3D point cloud content, geometric image information, texture image information, color image information, and occupancy map information.

또한, 상기 MPU는, MFU(Media Fragment Unit)로의 변환 정보 및 식별 정보를 포함하는 것을 특징으로 한다.In addition, the MPU is characterized by including conversion information to an MFU (Media Fragment Unit) and identification information.

본 발명은 차세대 방송 표준에서 채택한 전송 프로토콜을 통해 3차원 포인트 클라우드 콘텐츠를 지원할 수 있다.The present invention can support 3D point cloud content through a transmission protocol adopted in the next generation broadcast standard.

또한, 본 발명은 DASH(Dynamic Adaptive Streaming over HTTP) 세그먼트 및 MPU(Media Processing Unit)가 독립적으로 3차원 포인트 클라우드 콘텐츠를 복원하기 위해 하나 이상의 미디어 트랙(media track)을 구성할 수 있다.Additionally, in the present invention, DASH (Dynamic Adaptive Streaming over HTTP) segments and MPU (Media Processing Unit) can independently configure one or more media tracks to restore 3D point cloud content.

또한, 본 발명은 3차원 포인트 클라우드 콘텐츠를 위한 저장 공간, 전송 시간 및 하드웨어 비용 등을 절감할 수 있다.Additionally, the present invention can reduce storage space, transmission time, and hardware costs for 3D point cloud content.

도 1은 본 발명을 설명하기 위한 V-PCC 비트스트림 구조를 도시한다.
도 2는 본 발명의 일 실시 예에 따른 3차원 영상 제공 방법을 설명하기 위한 순서도(S200)를 도시한다.
도 3은 본 발명의 일 실시 예에 따른 3차원 영상 제공 장치(300)의 기능적 블록도를 도시한다.
도 4는 본 발명의 일 실시 예에 따른 3차원 포인트 클라우드 데이터를 DASH 프로토콜을 통해 전송하기 위해 사용되는 초기 세그먼트(331) 구조를 도시한다.
도 5는 본 발명의 일 실시 예에 따른 3차원 포인트 클라우드 데이터를 DASH 프로토콜을 통해 전송하기 위해 사용되는 미디어 세그먼트(332) 구조를 도시한다.
도 6은 본 발명의 일 실시 예에 따른 V-PCC 비트스트림 기반의 MPU(333) 구조를 도시한다.Figure 1 shows a V-PCC bitstream structure for illustrating the present invention.
Figure 2 shows a flow chart (S200) for explaining a method for providing a 3D image according to an embodiment of the present invention.
Figure 3 shows a functional block diagram of a 3D image providing device 300 according to an embodiment of the present invention.
Figure 4 shows the structure of an initial segment 331 used to transmit 3D point cloud data through the DASH protocol according to an embodiment of the present invention.
Figure 5 shows the structure of a media segment 332 used to transmit 3D point cloud data through the DASH protocol according to an embodiment of the present invention.
Figure 6 shows the structure of the V-PCC bitstream-based MPU 333 according to an embodiment of the present invention.

이하, 본 발명에 따른 실시예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.Hereinafter, embodiments according to the present invention will be described with reference to the attached drawings. When adding reference numerals to components in each drawing, it should be noted that identical components are given the same reference numerals as much as possible even if they are shown in different drawings. Additionally, when describing embodiments of the present invention, if detailed descriptions of related known configurations or functions are judged to impede understanding of the embodiments of the present invention, the detailed descriptions will be omitted. In addition, embodiments of the present invention will be described below, but the technical idea of the present invention is not limited or limited thereto and may be modified and implemented in various ways by those skilled in the art.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only cases where it is "directly connected," but also cases where it is "indirectly connected" with another element in between. . Throughout the specification, when a part "includes" a certain element, this means that it may further include other elements rather than excluding other elements, unless specifically stated to the contrary. Additionally, when describing the components of an embodiment of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the nature, order, or order of the component is not limited by the term.

도 1은 본 발명을 설명하기 위한 V-PCC 비트스트림 구조(100)를 도시한다.Figure 1 shows a V-PCC bitstream structure 100 for illustrating the present invention.

본 발명의 일 실시 예에 따른 3차원 영상 제공 장치(300)는 V-PCC(Video based Point Cloud Compression) 비트스트림 구조를 통해 3차원 클라우드 콘텐츠를 입력받아 부호화/복호화를 수행할 수 있다. 하기에서 설명될 실시 예들은 증강현실(Augmented Reality, AR), 가상현실(Virtual Reality, VR) 또는 가상현실과 증강현실이 혼합된 복합 현실에서 3차원 포인트 클라우드 콘텐츠에 기초하여 영상을 재구성하거나 또는 대상 객체를 모델링하는 데에 사용될 수 있으나, 이에 한정되는 것은 아니다.The 3D image providing device 300 according to an embodiment of the present invention can receive 3D cloud content through a V-PCC (Video based Point Cloud Compression) bitstream structure and perform encoding/decoding. Embodiments to be described below reconstruct images based on 3D point cloud content in Augmented Reality (AR), Virtual Reality (VR), or a mixed reality that combines virtual reality and augmented reality. It can be used to model objects, but is not limited to this.

본 발명의 일 실시 예에 따른 3차원 영상 제공 장치(300)는 동적 포인트 클라우드 데이터를 대상으로 프로젝션(projection)하여 2차원 패치(patch)로 변경하고, 2차원 패치로 구성된 비디오 시퀀스(sequence)를 AVC(Advanced Video Coding), HEVC(High Efficiency Video Coding), 등과 같은 기존의 비디오 코덱을 이용하여 부호화/복호화를 수행할 수 있다. 이를 구현하기 위한 V-PCC 비트스트림 구조에 대해서는 이하에서 보다 상술하기로 한다.The 3D image providing device 300 according to an embodiment of the present invention projects dynamic point cloud data into a 2D patch and creates a video sequence composed of the 2D patch. Encoding/decoding can be performed using existing video codecs such as AVC (Advanced Video Coding), HEVC (High Efficiency Video Coding), etc. The V-PCC bitstream structure for implementing this will be described in more detail below.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 V-PCC 비트스트림 유닛은 V-PCC 유닛 헤더(V-PCC unit header)와 V-PCC 유닛 페이로드(V-PCC unit payload)를 포함할 수 있다.Referring to Figure 1, a V-PCC bitstream unit according to an embodiment of the present invention will include a V-PCC unit header and a V-PCC unit payload. You can.

예를 들어, V-PCC 유닛 페이로드 데이터는 V-PCC 유닛 헤더 정보를 통해 구분될 수 있고, V-PCC 유닛 페이로드 데이터는 복호기 초기화 정보와 포인트 클라우드 데이터를 포함할 수 있다. 복호기 초기화 정보는 비트스트림의 전체적인 부호화 정보를 나타내는 PSD(Patch Sequence Data) 등으로 구성되고, 포인트 클라우드 데이터는 기하 영상, 색상 영상, occupancy map, 등으로 구성될 수 있다.For example, V-PCC unit payload data may be distinguished through V-PCC unit header information, and V-PCC unit payload data may include decoder initialization information and point cloud data. Decoder initialization information consists of PSD (Patch Sequence Data), which represents the overall encoding information of the bitstream, and point cloud data may consist of geometric images, color images, occupancy maps, etc.

도 1에 도시되는 바와 같이, 일 실시 예에 따른 V-PCC 유닛 페이로드 데이터는 크게 디코더 초기화 정보를 포함하는 VPS(V-PCC Parameter Set), 각각의 2D 영상 정보를 포함하는 AD(Atlas Data), 실제 압축된 3차원 포인트 클라우드 데이터를 포함하는 OVD(Occupancy Video Data), GVD(Geometry Video Data), AVD(Attribute Video Data), 등으로 구성될 수 있다. 이때, VPS(V-PCC Parameter Set)는 생성된 비트스트림의 전체적인 부호화 정보를 나타낼 수 있다.As shown in Figure 1, V-PCC unit payload data according to an embodiment is largely divided into VPS (V-PCC Parameter Set) including decoder initialization information, AD (Atlas Data) including each 2D image information. , It may be composed of OVD (Occupancy Video Data), GVD (Geometry Video Data), AVD (Attribute Video Data), etc., including actual compressed 3D point cloud data. At this time, VPS (V-PCC Parameter Set) may represent the overall encoding information of the generated bitstream.

구체적으로, V-PCC 유닛 페이로드 데이터에 포함된 OVD(Occupancy Video Data), GVD(Geometry Video Data), AVD(Attribute Video Data)는 각각 occupancy map, 기하 영상, 색상 영상, 등을 인코딩한 코덱(codec) 종류, 영상의 값을 나타낼 때 사용하는 2D 비트 뎁스(2D bit depth) 또는 복원시 3차원 좌표의 값을 나타낼 때 사용하는 3D 비트 뎁스(3D bit depth), 등을 포함할 수 있다. 또한, V-PCC 유닛 페이로드 데이터에 포함된 AD(Atlas Data)는 패치(patch) 생성 방법에 따른 파라미터(parameter)들을 포함할 수 있으며, 예를 들어, 영상의 너비, 높이, 패치를 프로젝션(projection)한 방향의 개수, 패치 생성 방법, 패치의 회전 방향, 등을 포함할 수 있다.Specifically, OVD (Occupancy Video Data), GVD (Geometry Video Data), and AVD (Attribute Video Data) included in the V-PCC unit payload data are codecs (codecs) that encode occupancy maps, geometric images, color images, etc., respectively. codec) type, 2D bit depth used when representing the value of the image, or 3D bit depth used when representing the value of the 3D coordinates during restoration, etc. In addition, AD (Atlas Data) included in the V-PCC unit payload data may include parameters according to the patch creation method, for example, the width of the image, the height, and the projection of the patch ( projection) may include the number of directions, patch creation method, patch rotation direction, etc.

즉, 3차원 영상 제공 장치(300)는 V-PCC(Video based Point Cloud Compression) 비트스트림 구조를 통해 3차원 클라우드 콘텐츠를 입력받아 부호화/복호화를 수행하는 것을 특징으로 하며, 이에 대해서는 이하에서 보다 구체적으로 기술하기로 한다.That is, the 3D image providing device 300 is characterized by receiving 3D cloud content through a V-PCC (Video based Point Cloud Compression) bitstream structure and performing encoding/decoding, which will be described in more detail below. It will be described as

도 2는 본 발명의 일 실시 예에 따른 3차원 영상 제공 방법을 설명하기 위한 순서도(S200)를 도시하고, 도 3은 본 발명의 일 실시 예에 따른 3차원 영상 제공 장치(300)의 기능적 블록도를 도시한다.FIG. 2 shows a flowchart (S200) for explaining a method for providing a 3D image according to an embodiment of the present invention, and FIG. 3 shows functional blocks of a 3D image providing device 300 according to an embodiment of the present invention. It shows the degree.

3차원 영상 제공 장치(300)는 본 발명의 일 실시 예에 따른 3차원 영상 제공 방법을 구성하는 각 단계들을 실행하도록 구성될 수 있으며, 예를 들어, 도 2에 예시적으로 도시되는 바와 같이, 3차원 영상 제공 장치(300)는 3차원 영상 제공 방법(S200)의 각 단계를 실행하도록 구성될 수 있다.The 3D image providing device 300 may be configured to execute each step of the 3D image providing method according to an embodiment of the present invention. For example, as shown in FIG. 2, The 3D image providing device 300 may be configured to execute each step of the 3D image providing method (S200).

한편, 도 2에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.Meanwhile, in FIG. 2, each operation may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.

도 2 및 도 3을 참조하면, 본 발명의 일 실시 예에 따른 3차원 영상 제공 장치(300)는 입력부(310), 데이터 처리부(320), 데이터 생성부(330), 제어부(340), 및 저장부(350), 등으로 구성될 수 있다.2 and 3, the three-dimensional image providing device 300 according to an embodiment of the present invention includes an input unit 310, a data processing unit 320, a data generation unit 330, a control unit 340, and It may be composed of a storage unit 350, etc.

입력부(310)는 3차원 포인트 클라우드 콘텐츠를 수신할 수 있다(S210). 예를 들어, 입력부(310)는 외부 장치 또는 서버로부터 3차원 영상(또는 콘텐츠)을 수신하거나, 내부의 메모리로부터 3차원 영상(또는 콘텐츠)를 획득할 수 있다. 3차원 포인트 클라우드 콘텐츠는 3차원 공간 내의 포인트들에 대한 정보를 포함할 수 있으며, 복수의 3차원 프레임들로 구성될 수 있다.The input unit 310 may receive 3D point cloud content (S210). For example, the input unit 310 may receive a 3D image (or content) from an external device or server, or obtain a 3D image (or content) from an internal memory. 3D point cloud content may include information about points in 3D space and may be composed of a plurality of 3D frames.

일 실시 예에서, 입력부(310)는 외부 장치 또는 서버와의 직접 연결 또는 네트워크 연결을 통해 3차원 포인트 클라우드 콘텐츠를 수신하기 위해 제공되는 것으로서, 유선 및/또는 무선 통신부로 구현될 수 있다.In one embodiment, the input unit 310 is provided to receive 3D point cloud content through a direct connection to an external device or server or a network connection, and may be implemented as a wired and/or wireless communication unit.

참고로, 통신부는 랜(LAN), WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), WiBro(Wireless Broadband Internet), RF(Radio Frequency)통신, 무선랜(Wireless LAN), 와이파이(Wireless Fidelity), NFC(Near Field Communication), 블루투스, 적외선 통신 등을 통해 통신할 수 있다. 다만, 이는 예시적인 것으로, 본 발명이 적용되는 실시예에 따라 당해 기술분야에서 적용 가능한 다양한 유,무선 통신 기술이 이용될 수 있다.For reference, the Department of Communications is responsible for LAN, WCDMA (Wideband Code Division Multiple Access), LTE (Long Term Evolution), WiBro (Wireless Broadband Internet), RF (Radio Frequency) communication, wireless LAN, and Wi-Fi. Fidelity), NFC (Near Field Communication), Bluetooth, and infrared communication can be used to communicate. However, this is an example, and various wired and wireless communication technologies applicable in the technical field may be used depending on the embodiment to which the present invention is applied.

데이터 처리부(320)는 V-PCC 비트스트림을 기반으로 3차원 포인트 클라우드 콘텐츠를 부호화할 수 있다(S220). 예를 들어, 데이터 처리부(320)는 수신된 3차원 포인트 클라우드 콘텐츠 데이터를 대상으로 프로젝션(projection)을 통해 2차원 패치(patch)로 변경시키고, 기존의 비디오 코덱을 이용하여 2차원 패치로 구성된 비디오 시퀀스(sequence)를 부호화/복호화를 수행할 수 있다.The data processing unit 320 may encode 3D point cloud content based on the V-PCC bitstream (S220). For example, the data processing unit 320 changes the received 3D point cloud content data into a 2D patch through projection, and converts the received 3D point cloud content data into a 2D patch using an existing video codec. Sequences can be encoded/decoded.

데이터 생성부(330)는 V-PCC 비트스트림 기반의 DASH(Dynamic Adaptive Streaming over HTTP) 세그먼트 및 MPU(Media Processing Unit)를 구성할 수 있다(S230). 예를 들어, 데이터 생성부(330)는 사용자에게 3차원 포인트 클라우드 콘텐츠를 전송 프로토콜 MPEG-DASH로 제공하기 위해 DASH 표준에서 정의하는 초기 세그먼트(Initialization segment, 도 4의 331) 및 미디어 세그먼트(Media segment, 도 5의 332)를 포함한 DASH 세그먼트를 생성할 수 있다.The data generator 330 may configure a V-PCC bitstream-based Dynamic Adaptive Streaming over HTTP (DASH) segment and a Media Processing Unit (MPU) (S230). For example, the data generator 330 uses an initialization segment (331 in FIG. 4) and a media segment defined by the DASH standard to provide 3D point cloud content to users using the MPEG-DASH transport protocol. , a DASH segment including 332 in FIG. 5 can be created.

초기 세그먼트(331)는 3차원 포인트 클라우드 콘텐츠의 디코더(decoder) 초기화 정보와 미디어 메타데이터(metadata)에 관한 정보를 포함하도록 구성되고, 미디어 세그먼트(332)는 기존의 파일 포맷 표준인 MPEG-ISOBMFF의 확장을 통해 V-PCC 비트스트림 데이터를 고려하여 구성될 수 있다. 초기 세그먼트 및 미디어 세그먼트를 포함한 DASH 세그먼트 구조에 대해서는 이하에서 보다 상술하기로 한다.The initial segment 331 is configured to include decoder initialization information of 3D point cloud content and information about media metadata, and the media segment 332 is of MPEG-ISOBMFF, an existing file format standard. Through expansion, it can be configured considering V-PCC bitstream data. The DASH segment structure, including the initial segment and media segment, will be described in more detail below.

일 실시 예에서, 데이터 생성부(330)는 V-PCC 비트스트림 부호화 파라미터 및 데이터를 고려한 MPU(Media Processing Unit, 도 6의 333)를 구성할 수 있다. 예를 들어, 데이터 생성부(330)는 이하 상술되는 MPU 구조를 통해 MPEG-DASH 표준에서 정의한 시그널링(signaling) 메시지에 깊이 정보 파라미터(parameter)를 추가하여 사용자에게 3차원 포인트 클라우드 콘텐츠의 3차원 좌표 정보를 함께 제공할 수 있다(S240).In one embodiment, the data generator 330 may configure an MPU (Media Processing Unit, 333 in FIG. 6) considering V-PCC bitstream encoding parameters and data. For example, the data generator 330 adds a depth information parameter to a signaling message defined in the MPEG-DASH standard through the MPU structure described in detail below to provide the user with the 3D coordinates of the 3D point cloud content. Information can be provided together (S240).

제어부(340)는 사용자에게 3차원 포인트 클라우드 콘텐츠를 제공하기 위해 3차원 영상 제공 장치(300)를 제어할 수 있다. 예를 들어, 제어부(340)는 컨트롤러(controller), 프로세서(processor), 마이크로-프로세서(micro-processor), 마이크로-컨트롤러(micro-controller), 등으로 구현되어 3차원 영상 제공 장치(300)의 동작, 기능, 등을 총괄적으로 제어할 수 있다.The control unit 340 may control the 3D image providing device 300 to provide 3D point cloud content to the user. For example, the control unit 340 is implemented as a controller, processor, micro-processor, micro-controller, etc., and is used to control the 3D image providing device 300. Operations, functions, etc. can be comprehensively controlled.

저장부(350)는 3차원 포인트 클라우드 콘텐츠와 관련된 다양한 데이터가 저장될 수 있다. 참고로, 저장부(350)는 통상의 기술자에게 알려진 바와 같이, HDD(Hard Disk Drive), ROM(Read Only Memory), RAM(Random Access Memory), EEPROM(Electrically Erasable and Programmable Read Only Memory), 플래시 메모리(flash memory), CF(Compact Flash) 카드, SD(Secure Digital) 카드, SM(Smart Media) 카드, MMC(Multimedia) 카드 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 다양한 형태의 저장 장치로 구현될 수 있으며, 3차원 영상 제공 장치(300)의 내부에 구비되거나, 또는 별도의 외부 장치에 구비될 수 있다.The storage unit 350 may store various data related to 3D point cloud content. For reference, as known to those skilled in the art, the storage unit 350 includes a hard disk drive (HDD), read only memory (ROM), random access memory (RAM), electrically erasable and programmable read only memory (EEPROM), and flash. Various types of storage devices capable of inputting and outputting information, such as flash memory, Compact Flash (CF) card, Secure Digital (SD) card, Smart Media (SM) card, Multimedia (MMC) card, or Memory Stick. It may be implemented as a , and may be provided inside the 3D image providing device 300 or may be provided in a separate external device.

또한, 본 발명의 추가 실시 예에 따르면, 저장부(350)에는 또는 저장부(350)와는 별개로 데이터 백업(data backup)을 위한 추가 메모리가 더 구비될 수 있으며, 제어부(340)는 저장부(350)에 저장된 3차원 포인트 클라우드 콘텐츠와 관련된 다양한 데이터를 백업하여 상기 추가 메모리에 저장함으로써, 데이터 유실 또는 분실에 대한 능동적인 대처를 가능하게 한다.In addition, according to a further embodiment of the present invention, additional memory for data backup may be further provided in the storage unit 350 or separately from the storage unit 350, and the control unit 340 may be provided with the storage unit 340. By backing up various data related to the 3D point cloud content stored in 350 and storing it in the additional memory, active response to data loss or loss is possible.

참고로, 도 3에 도시되는 3차원 영상 제공 장치(300)의 각 엘리먼트(310, 320, 330, 340, 350)는 3차원 영상 제공 장치(300)의 동작 및 기능을 설명하기 위한 예시적인 엘리먼트에 해당할 뿐 이에 한정되지 않으며, 추가의 엘리먼트(예를 들어, 3차원 콘텐츠를 출력하는 디스플레이, 등)가 더 구현될 수 있음은 명백할 것이다. 이하에서는 초기 세그먼트(331), 미디어 세그먼트(332), 및 MPU(333) 각각의 구조에 대해 상술하기로 한다.For reference, each element 310, 320, 330, 340, and 350 of the 3D image providing device 300 shown in FIG. 3 is an example element for explaining the operation and function of the 3D image providing device 300. It is not limited to this, and it will be clear that additional elements (for example, a display that outputs 3D content, etc.) can be further implemented. Hereinafter, the structures of each of the initial segment 331, media segment 332, and MPU 333 will be described in detail.

도 4는 본 발명의 일 실시 예에 따른 3차원 포인트 클라우드 데이터를 DASH 프로토콜을 통해 전송하기 위해 사용되는 초기 세그먼트(331) 구조를 도시한다.Figure 4 shows the structure of an initial segment 331 used to transmit 3D point cloud data through the DASH protocol according to an embodiment of the present invention.

도 4를 참조하면, 초기 세그먼트(331)는 기존의 파일 포맷 표준인MPEG-ISOBMFF의 확장을 통해 V-PCC 비트스트림 부호화 파라미터(parameter)를 고려하여 'ftyp' 박스와 'moov' 박스로 구성될 수 있다. Referring to FIG. 4, the initial segment 331 will be composed of an 'ftyp' box and a 'moov' box in consideration of the V-PCC bitstream encoding parameters through the extension of the existing file format standard, MPEG-ISOBMFF. You can.

'ftyp' 박스는 major brand는 'msdh'로 설정하고, compatible brand는 ’volm'으로 설정하도록 파일 호환성 정보를 포함할 수 있다. ‘moov’ 박스는 V-PCC 비트스트림별로 부호화 정보를 포함하는 'track’ 박스를 포함할 수 있다.The 'ftyp' box can contain file compatibility information such that the major brand is set to 'msdh' and the compatible brand is set to 'volm'. The ‘moov’ box may include a ‘track’ box containing encoding information for each V-PCC bitstream.

예컨대, 'moov' 박스는 PCC 메타데이터 track 박스, 기하 track 박스, 텍스처 trck 박스, occupancy map track 박스, 등을 포함할 수 있다. 이 경우, PCC 메타데이터 track 박스는 전체 V-PCC 비트스트림의 관계 정보를 나타내는 'tref' 박스와 보조 패치 정보를 포함하는 ‘stbl’ 박스를 포함할 수 있다. 또한, 기하 track 박스, 텍스처 track 박스, occupancy map track 박스, 등은 패치로 구성된 비디오 시퀀스 부호화 정보와 패치 부호화 정보를 각각 포함할 수 있다.For example, the 'moov' box may include a PCC metadata track box, geometry track box, texture trck box, occupancy map track box, etc. In this case, the PCC metadata track box may include a 'tref' box indicating relationship information of the entire V-PCC bitstream and a 'stbl' box containing auxiliary patch information. Additionally, the geometry track box, texture track box, occupancy map track box, etc. may respectively include video sequence encoding information and patch encoding information composed of patches.

도 5는 본 발명의 일 실시 예에 따른 3차원 포인트 클라우드 데이터를 DASH 프로토콜을 통해 전송하기 위해 사용되는 미디어 세그먼트(332) 구조를 도시한다.Figure 5 shows the structure of a media segment 332 used to transmit 3D point cloud data through the DASH protocol according to an embodiment of the present invention.

도 5를 참조하면, 미디어 세그먼트(332)는 기존의 파일 포맷 표준인 MPEG-ISOBMFF의 확장을 통해 V-PCC 비트스트림 데이터를 고려하여 'styp' 박스, 'moof' 박스, ‘mdat' 박스, 등으로 구성될 수 있다.Referring to FIG. 5, the media segment 332 considers V-PCC bitstream data through an extension of MPEG-ISOBMFF, an existing file format standard, and includes a 'styp' box, 'moof' box, 'mdat' box, etc. It can be composed of .

'styp' 박스는 major brand는 'msdh'로 설정하고, compatible brand는 ’volm'으로 설정하도록 파일 호환성 정보를 포함할 수 있다. 'moof' 박스는 재생 정보를 포함하는 PCC 메타데이터 track fragment 박스, 기하 track fragment 박스, 텍스처 track fragment 박스, occupancy map track fragment 박스, 등으로 구성될 수 있다. 'mdat' 박스는 기하 영상 데이터, 색상 영상 데이터, occupancy map 데이터, 등을 포함할 수 있다.The 'styp' box can contain file compatibility information such that the major brand is set to 'msdh' and the compatible brand is set to 'volm'. The 'moof' box may be composed of a PCC metadata track fragment box containing playback information, a geometry track fragment box, a texture track fragment box, an occupancy map track fragment box, etc. The 'mdat' box may contain geometric image data, color image data, occupancy map data, etc.

도 6은 본 발명의 일 실시 예에 따른 V-PCC 비트스트림 기반의 MPU(333) 구조를 도시한다.Figure 6 shows the structure of the V-PCC bitstream-based MPU 333 according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시 예에 따른 V-PCC 비트스트림 기반의 MPU(333)는 기존의 파일 포맷 표준인 MPEG-ISOBMFF의 확장을 통해 V-PCC 비트스트림 부호화 파라미터 및 데이터를 고려하여 ‘ftyp’ 박스, 'mmpu' 박스, 'moov‘ 박스, 'moof' 박스, 'mdat' 박스, 등으로 구성될 수 있다.Referring to FIG. 6, the V-PCC bitstream-based MPU 333 according to an embodiment of the present invention considers V-PCC bitstream encoding parameters and data through expansion of MPEG-ISOBMFF, an existing file format standard. Therefore, it may be composed of a 'ftyp' box, a 'mmpu' box, a 'moov' box, a 'moof' box, an 'mdat' box, etc.

‘ftyp' 박스는 major brand는 'msdh'로 설정하고, compatible brand는 ’volm'으로 설정하도록 파일 호환성 정보를 포함할 수 있다. 'mmpu' 박스는 접근 사용자 계정, 시퀀스 넘버(number), 등을 명시하여 MPU의 독립성을 부여할 수 있다. 'moov' 박스는 V-PCC 비트스트림 부호화 정보와 MPU에서 MFU(Media Fragment Unit)로의 변환에 관한 정보를 포함하며, PCC 메타데이터 track 박스, 기하 track 박스, 텍스처 track 박스, occupancy map track 박스, hint track 박스 등으로 구성될 수 있다.The ‘ftyp’ box can contain file compatibility information such that the major brand is set to ‘msdh’ and the compatible brand is set to ‘volm’. The 'mmpu' box can grant MPU independence by specifying the access user account, sequence number, etc. The 'moov' box contains information about V-PCC bitstream encoding information and conversion from MPU to MFU (Media Fragment Unit), and includes a PCC metadata track box, geometry track box, texture track box, occupancy map track box, and hint. It may consist of a track box, etc.

구체적으로, PCC 메타데이터 track 박스는 전체 V-PCC 비트스트림의 관계 정보를 나타내는 'tref' 박스와 보조 패치 정보를 포함하는 ‘stbl’ 박스를 포함할 수 있다. 또한, 기하 track 박스, 텍스처 track 박스, occupancy map track 박스는 각각 패치로 구성된 비디오 시퀀스 부호화 정보와 패치 부호화 정보를 포함할 수 있다.Specifically, the PCC metadata track box may include a 'tref' box indicating relationship information of the entire V-PCC bitstream and a 'stbl' box containing auxiliary patch information. Additionally, the geometry track box, texture track box, and occupancy map track box may each include video sequence encoding information and patch encoding information composed of patches.

또한, hint track 박스는 MPU로의 변환에 관한 정보를 포함할 수 있으며, hint track 박스 내의 'mmth' 박스는 해당 트랙의 데이터가 timed 인지 non-timed 인지를 구별하는 변수에 관한 정보 등을 제공할 수 있다. ‘moof' 박스는 재생 정보를 포함하는 PCC 메타데이터 hint traf 박스, 기하 hint traf 박스, 텍스처 hint traf 박스, occupancy map hint traf 박스, 등으로 구성될 수 있다. 'mdat' 박스는 기하 영상 hint 데이터, 색상 영상 hint 데이터, occupancy map hint 데이터, 등을 포함할 수 있다.Additionally, the hint track box can contain information about conversion to MPU, and the 'mmth' box in the hint track box can provide information about variables that distinguish whether the data of the track is timed or non-timed. there is. The ‘moof’ box may be composed of a PCC metadata hint traf box containing playback information, a geometry hint traf box, a texture hint traf box, an occupancy map hint traf box, etc. The 'mdat' box may include geometric image hint data, color image hint data, occupancy map hint data, etc.

즉, 3차원 영상 제공 장치(300)는 기존의 파일 포맷 표준인 ISOBMFF의 확장을 통해 V-PCC 비트스트림의 부호화 정보 및 데이터를 처리함으로써, 차세대 방송 표준에서 채택한 전송 프로토콜을 통해 3차원 포인트 클라우드 콘텐츠를 지원할 수 있다.In other words, the 3D video providing device 300 processes the encoded information and data of the V-PCC bitstream through the extension of ISOBMFF, an existing file format standard, and provides 3D point cloud content through the transmission protocol adopted in the next generation broadcast standard. can support.

나아가, 일 실시 예에서, 3차원 영상 제공 장치(300)는 사용자에게 3차원 포인트 클라우드 콘텐츠의 해상도에 대한 정보와 3차원 포인트 클라우드 콘텐츠의 분할 전송을 위해 기준이 되는 좌표 정보 등을 함께 제공할 수 있다.Furthermore, in one embodiment, the 3D image providing device 300 may provide the user with information about the resolution of 3D point cloud content and coordinate information that serves as a standard for segmented transmission of 3D point cloud content. there is.

상술한 바와 같이, 본 발명은 차세대 방송 표준에서 채택한 전송 프로토콜을 통해 3차원 포인트 클라우드 콘텐츠를 지원할 수 있다.As described above, the present invention can support 3D point cloud content through a transmission protocol adopted in the next generation broadcast standard.

또한, 본 발명은 DASH(Dynamic Adaptive Streaming over HTTP) 세그먼트 및 MPU(Media Processing Unit)가 독립적으로 3차원 포인트 클라우드 콘텐츠를 복원하기 위해 하나 이상의 미디어 트랙(media track)을 구성할 수 있다.Additionally, in the present invention, DASH (Dynamic Adaptive Streaming over HTTP) segments and MPU (Media Processing Unit) can independently configure one or more media tracks to restore 3D point cloud content.

또한, 본 발명은 3차원 포인트 클라우드 콘텐츠를 위한 저장 공간, 전송 시간 및 하드웨어 비용 등을 절감할 수 있다.Additionally, the present invention can reduce storage space, transmission time, and hardware costs for 3D point cloud content.

한편, 본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.Meanwhile, various embodiments described in this specification may be implemented by hardware, middleware, microcode, software, and/or a combination thereof. For example, various embodiments may include one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and field programmable gate arrays (FPGAs). ), processors, controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions presented herein, or a combination thereof.

또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스, 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스가능한 명령들 또는 데이터 구조들의 형태로 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다. Additionally, for example, various embodiments may be encoded or embodied in a computer-readable medium containing instructions. Instructions contained or encoded in a computer-readable medium may cause a programmable processor or other processor to perform a method, for example, when the instructions are executed. Storage media may be any available media that can be accessed by a computer. For example, such computer-readable media may include RAM, ROM, EEPROM, CD-ROM or other optical disk storage media, magnetic disk storage media or other magnetic storage devices, or any desired program code containing instructions or instructions accessible by a computer. It may include any other medium that can be used to store data in the form of data structures.

이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.Such hardware, software, firmware, etc. may be implemented within the same device or within individual devices to support the various operations and functions described herein. Additionally, components, units, modules, components, etc. described as “~” in the present invention may be implemented together or individually as separate but interoperable logic devices. The description of different features for modules, units, etc. is intended to highlight different functional embodiments and does not necessarily imply that they must be realized by individual hardware or software components. Rather, functionality associated with one or more modules or units may be performed by separate hardware or software components or may be integrated within common or separate hardware or software components.

특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.Although operations are shown in the drawings in a particular order, it should not be understood that these operations are performed in the particular order shown, or in sequential order, or that all depicted operations need to be performed to achieve the desired results. . In some environments, multitasking and parallel processing can be advantageous. Moreover, the distinction of various components in the above-described embodiments should not be construed as requiring such a distinction in all embodiments, and the described components may generally be integrated together into a single software product or packaged into multiple software products. It must be understood that it can be done.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, the optimal embodiment has been disclosed in the drawings and specifications. Although specific terms are used here, they are used only for the purpose of explaining the present invention and are not used to limit the meaning or scope of the present invention described in the claims. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the attached patent claims.

100: V-PCC 비트스트림 구조 300: 3차원 영상 제공 장치
310: 입력부 320: 데이터 처리부
330: 데이터 생성부 331: 초기 세그먼트
332: 미디어 세그먼트 333: MPU
340: 제어부 350: 저장부100: V-PCC bitstream structure 300: 3D image providing device
310: input unit 320: data processing unit
330: Data generation unit 331: Initial segment
332: Media segment 333: MPU
340: control unit 350: storage unit

Claims (14)

3차원 포인트 클라우드 콘텐츠를 수신하는 단계;
V-PCC(Video based Point Cloud Compression) 비트스트림을 기반으로 상기 3차원 포인트 클라우드 콘텐츠를 부호화하는 단계;
상기 V-PCC 비트스트림 기반의 DASH(Dynamic Adaptive Streaming over HTTP) 세그먼트를 생성하는 단계; 및
상기 V-PCC 비트스트림 기반의 MPU(Media Processing Unit)을 이용하여 MPEG-DASH 표준에서 정의한 시그널링(signaling) 메시지에 깊이 정보 파라미터를 추가하여 상기 3차원 포인트 클라우드 콘텐츠의 3차원 좌표 정보를 제공하는 단계를 포함하는, 3차원 영상 제공 방법.
Receiving three-dimensional point cloud content;
Encoding the 3D point cloud content based on a V-PCC (Video based Point Cloud Compression) bitstream;
Generating a Dynamic Adaptive Streaming over HTTP (DASH) segment based on the V-PCC bitstream; and
A step of providing 3D coordinate information of the 3D point cloud content by adding depth information parameters to a signaling message defined in the MPEG-DASH standard using the V-PCC bitstream-based MPU (Media Processing Unit). A method of providing a 3D image, including.
 제 1 항에 있어서,
상기 DASH 세그먼트는, 상기 V-PCC 비트스트림 기반의 초기 세그먼트 및 미디어 세그먼트 중 적어도 하나를 포함하는, 3차원 영상 제공 방법.
According to claim 1,
The DASH segment includes at least one of an initial segment and a media segment based on the V-PCC bitstream.
 제 2 항에 있어서,
상기 초기 세그먼트는, 상기 V-PCC 비트스트림별로 부호화된 정보를 각각 포함하는 것을 특징으로 하는, 3차원 영상 제공 방법.
According to claim 2,
The initial segment is characterized in that it includes information encoded for each V-PCC bitstream.
 제 2 항에 있어서,
상기 미디어 세그먼트는, 상기 3차원 포인트 클라우드 콘텐츠 재생에 관한 정보를 포함하는 것을 특징으로 하는, 3차원 영상 제공 방법.
According to claim 2,
The media segment is a method of providing a 3D image, characterized in that it includes information regarding reproduction of the 3D point cloud content.
 제 4 항에 있어서,
상기 미디어 세그먼트는,
상기 3차원 포인트 클라우드 콘텐츠 관련 메타 데이터, 기하 영상 정보, 텍스처 영상 정보, 색상 영상 정보 및 occupancy map 정보 중 적어도 하나를 포함하는, 3차원 영상 제공 방법.
According to claim 4,
The media segment is,
A method of providing a 3D image, including at least one of metadata related to the 3D point cloud content, geometric image information, texture image information, color image information, and occupancy map information.
 삭제delete 제 1 항에 있어서,
상기 MPU는,
MFU(Media Fragment Unit)로의 변환 정보 및 식별 정보를 포함하는 것을 특징으로 하는, 3차원 영상 제공 방법.
According to claim 1,
The MPU is,
A method of providing a 3D image, characterized in that it includes conversion information to a Media Fragment Unit (MFU) and identification information.
 제 1 항 내지 제 5 항 및 제 7 항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
A computer-readable recording medium on which a program for performing the method according to any one of claims 1 to 5 and 7 is recorded.
 3차원 영상 제공 장치에 있어서,
3차원 포인트 클라우드 콘텐츠를 수신하는 입력부;
V-PCC(Video based Point Cloud Compression) 비트스트림을 기반으로 상기 3차원 포인트 클라우드 콘텐츠를 부호화하는 데이터 처리부; 및
상기 V-PCC 비트스트림 기반의 DASH(Dynamic Adaptive Streaming over HTTP) 세그먼트를 생성하는 데이터 생성부를 포함하고,
상기 데이터 생성부는,
상기 V-PCC 비트스트림 기반의 MPU(Media Processing Unit)을 이용하여 MPEG-DASH 표준에서 정의한 시그널링(signaling) 메시지에 깊이 정보 파라미터를 추가하여 상기 3차원 포인트 클라우드 콘텐츠의 3차원 좌표 정보를 제공하는, 3차원 영상 제공 장치.
In a 3D image providing device,
An input unit that receives 3D point cloud content;
A data processing unit that encodes the 3D point cloud content based on a V-PCC (Video based Point Cloud Compression) bitstream; and
It includes a data generator that generates a DASH (Dynamic Adaptive Streaming over HTTP) segment based on the V-PCC bitstream,
The data generator,
Provides 3D coordinate information of the 3D point cloud content by adding depth information parameters to a signaling message defined in the MPEG-DASH standard using the V-PCC bitstream-based MPU (Media Processing Unit). 3D image providing device.
 제 9 항에 있어서,
상기 DASH 세그먼트는, 상기 V-PCC 비트스트림 기반의 초기 세그먼트 및 미디어 세그먼트 중 적어도 하나를 포함하는, 3차원 영상 제공 장치.
According to clause 9,
The DASH segment includes at least one of an initial segment and a media segment based on the V-PCC bitstream.
 제 10 항에 있어서,
상기 초기 세그먼트는, 상기 V-PCC 비트스트림별로 부호화된 정보를 각각 포함하는 것을 특징으로 하는, 3차원 영상 제공 장치.
According to claim 10,
The initial segment is a three-dimensional image providing device, characterized in that each includes information encoded for each V-PCC bitstream.
 제 10 항에 있어서,
상기 미디어 세그먼트는, 상기 3차원 포인트 클라우드 콘텐츠 재생에 관한 정보를 포함하는 것을 특징으로 하는, 3차원 영상 제공 장치.
According to claim 10,
The media segment is a 3D image providing device, characterized in that it includes information regarding reproduction of the 3D point cloud content.
 제 10 항에 있어서,
상기 미디어 세그먼트는,
상기 3차원 포인트 클라우드 콘텐츠 관련 메타 데이터, 기하 영상 정보, 텍스처 영상 정보, 색상 영상 정보 및 occupancy map 정보 중 적어도 하나를 포함하는, 3차원 영상 제공 장치.
According to claim 10,
The media segment is,
A 3D image providing device comprising at least one of metadata related to the 3D point cloud content, geometric image information, texture image information, color image information, and occupancy map information.
 제 9 항에 있어서,
상기 MPU는,
MFU(Media Fragment Unit)로의 변환 정보 및 식별 정보를 포함하는 것을 특징으로 하는, 3차원 영상 제공 장치.
According to clause 9,
The MPU is,
A three-dimensional image providing device, characterized in that it includes conversion information and identification information into an MFU (Media Fragment Unit).
KR1020200051606A 2020-04-28 2020-04-28 Apparatus and method for providing 3d video based on v-pcc bitstream KR102651074B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200051606A KR102651074B1 (en) 2020-04-28 2020-04-28 Apparatus and method for providing 3d video based on v-pcc bitstream

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200051606A KR102651074B1 (en) 2020-04-28 2020-04-28 Apparatus and method for providing 3d video based on v-pcc bitstream

Publications (2)

Publication Number Publication Date
KR20210132997A KR20210132997A (en) 2021-11-05
KR102651074B1 true KR102651074B1 (en) 2024-03-26

Family

ID=78508007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200051606A KR102651074B1 (en) 2020-04-28 2020-04-28 Apparatus and method for providing 3d video based on v-pcc bitstream

Country Status (1)

Country Link
KR (1) KR102651074B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533645A (en) * 2019-08-23 2019-12-03 上海交通大学 The point cloud data compression quality evaluation method and system of view-based access control model task

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
CA2903319A1 (en) * 2013-03-14 2014-09-18 Arris Technology, Inc. Devices, systems, and methods for converting or translating dynamic adaptive streaming over http (dash) to http live streaming (hls)
KR102193480B1 (en) * 2015-06-19 2020-12-21 에스케이텔레콤 주식회사 Method and apparatus for controlling media contents delivery
KR102138536B1 (en) * 2018-06-08 2020-07-28 엘지전자 주식회사 Method for processing overlay in 360-degree video system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533645A (en) * 2019-08-23 2019-12-03 上海交通大学 The point cloud data compression quality evaluation method and system of view-based access control model task

Also Published As

Publication number Publication date
KR20210132997A (en) 2021-11-05

Similar Documents

Publication Publication Date Title
KR102307819B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
KR102450781B1 (en) Method and apparatus for encoding media data comprising generated content
CN111034201B (en) Method, apparatus and stream for encoding and decoding volumetric video
US20200202608A1 (en) Method and apparatus for receiving a volumetric video stream
US11375235B2 (en) Method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream
KR102355634B1 (en) Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method
JP2021521678A (en) Depth coding and decoding methods and equipment
GB2509954A (en) Displaying a Region of Interest in High Resolution Using an Encapsulated Video Stream
RU2733218C2 (en) Method, apparatus and a stream for formatting an immersive video image for traditional and immersive playback devices
JP2018522430A (en) Method and apparatus for reducing spherical video bandwidth to a user headset
US20210279945A1 (en) Method and device for processing content
JP2020503746A (en) Method and apparatus for embedding key information in an image
CN112789865A (en) Information processing apparatus, information processing method, and computer program
US10997795B2 (en) Method and apparatus for processing three dimensional object image using point cloud data
KR20200007733A (en) Encoding/decoding method and apparatus for efficient compression of point cloud coding(pcc) data
KR102651074B1 (en) Apparatus and method for providing 3d video based on v-pcc bitstream
US10820002B2 (en) Image encoding apparatus and image decoding apparatus and method of operating the same
CN114945946A (en) Volumetric video with auxiliary chunking
CN113228665A (en) Method, device, computer program and computer-readable medium for processing configuration data
US10341682B2 (en) Methods and devices for panoramic video coding and decoding based on multi-mode boundary fill
US11910054B2 (en) Method and apparatus for decoding a 3D video
EP4000270A1 (en) Methods for transmitting and rendering a 3d scene, method for generating patches, and corresponding devices and computer programs
JP2022502892A (en) Methods and devices for encoding / reconstructing 3D points
JP2022063882A (en) Information processing device and method, and reproduction device and method
KR102484385B1 (en) Image encoding apparatus and image decoding apparatus and methods of operations thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant