KR102527798B1 - 3차원 컨텐츠 전송 장치 및 방법 - Google Patents

3차원 컨텐츠 전송 장치 및 방법 Download PDF

Info

Publication number
KR102527798B1
KR102527798B1 KR1020210186477A KR20210186477A KR102527798B1 KR 102527798 B1 KR102527798 B1 KR 102527798B1 KR 1020210186477 A KR1020210186477 A KR 1020210186477A KR 20210186477 A KR20210186477 A KR 20210186477A KR 102527798 B1 KR102527798 B1 KR 102527798B1
Authority
KR
South Korea
Prior art keywords
point cloud
global grid
size
grid
image
Prior art date
Application number
KR1020210186477A
Other languages
English (en)
Inventor
김준식
남귀중
김규헌
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020210186477A priority Critical patent/KR102527798B1/ko
Priority to US18/073,882 priority patent/US20230217041A1/en
Application granted granted Critical
Publication of KR102527798B1 publication Critical patent/KR102527798B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Abstract

본 발명은 포인트 클라우드로 구성되는 3D 컨텐츠를 전송하는 기술에 관한 것이다. 본 발명의 일 측면에 따르면, 2차원 영상으로 변환될 포인트 클라우드를 입력 받는 입력부; 포인트 클라우드가 변환될 2차원 영상의 사이즈를 결정하는 전역 그리드를 생성하는 전역 그리드 생성부; V-PCC를 기반으로 포인트 클라우드가 전역 그리드에 의해 결정되는 사이즈의 2차원 영상으로 변환된 V3C 비트스트림을 생성하는 포인트 클라우드 변환부; 및 V3C 비트스트림으로부터 전역 그리드의 사이즈 정보를 추출하는 그리드 정보 추출부; V3C 비트스트림 및 추출된 전역 그리드의 사이즈 정보를 기반으로 ISOBMFF 데이터를 생성하는 캡슐화부; 및 ISOBMFF 데이터를 전송하는 전송부;를 포함하는 3차원 컨텐츠 전송 장치가 제공된다.

Description

3차원 컨텐츠 전송 장치 및 방법{APPARATUS AND METHOD OF TRANSMITTING 3D CONTENTS}
본 발명은 포인트 클라우드로 구성되는 3D 컨텐츠를 전송하는 기술에 관한 것이다.
포인트 클라우드는 3차원 공간상에 색상, 반사율 등을 가지는 점들의 집합으로, 여러 대의 카메라가 설치된 스튜디오나, 라이다 등을 이용하여 획득될 수 있다. 포인트 클라우드는 3차원 공간상에서 물체를 면밀하게 표현할 수 있다는 장점을 가지고 있어, 국제표준화기구 ISO/IEC 산하 MPEG에서는 포인트 클라우드의 압축 방법으로 V-PCC(Video based Point Cloud Compression)과 G-PCC(Geometry based Point Cloud Compression)을 표준화 중에 있다. V-PCC는 고밀도 포인트 클라우드 객체를 압축하기 위한 방법으로 압축 과정은 다음과 같다. 포인트 클라우드를 점들의 법선 벡터를 이용하여 10개의 기준 평면으로 투영하여 2차원 패치 데이터를 생성한 뒤, 패치 데이터를 2차원 영상에 효율적으로 배치하여 2차원 이미지를 생성할 수 있다. 이 때, 점의 유무 정보를 나타내는 Occupancy, 패치의 깊이 정보를 나타내는 Geometry, 패치의 색상, 반사율과 같은 정보를 나타내는 Attribute 의 3종류의 2차원 영상이 생성되며, 각 패치의 3차원 공간상에서의 정보를 담고 있는 아틀라스 데이터가 생성될 수 있다. 생성된 아틀라스 데이터는 엔트로피 인코딩을 이용하여 압축되며, Occupancy, Geometry, Attribute의 2차원 영상은 HEVC와 같은 기존의 비디오 코덱을 이용하여 압축된다. V-PCC를 통해 생성된 비트스트림은 ISOBMFF와 호환성을 가지며, 3차원 정보를 효율적으로 저장할 수 있는 V3C(Visual Volumetric Video-based Coding) 형식으로 저장된다. V3C 비트스트림은 V3C Unit header와 V3C Unit payload로 이루어진 V3C Unit 단위로 이루어져 있으며, 생성된 V3C Unit은 멀티플렉싱 되어 V3C 비트스트림을 형성한다. 이때, V3C 비트스트림은 ISOBMFF의 규격을 준수하고 있으므로, 기존의 2차원 영상의 전송에 활용되는 DASH(Dynamic Adaptive Streaming over HTTP) 및 MMT(MPEG Media Transport) 등의 전송 방안을 사용하여 전송할 수 있다.
V-PCC는 압축 시 3차원 콘텐츠를 2차원 영상으로 변환하여 압축하기 때문에, 기존의 2차원 콘텐츠의 전송 방식을 그대로 활용할 수 있다는 장점이 존재한다. 하지만 3차원 콘텐츠를 기반으로 생성되는 2차원 영상은 일정한 크기를 갖기 어려우므로, GoF(Group of Frame) 단위마다 각기 다른 영상 크기를 갖게 된다. 이는 일정한 대역폭을 보장하지 못하며 반복적 복호화기 초기화를 유발하기 때문에 송신기와 수신기 모두에게 큰 부담이 된다.
한국등록특허 제10-2300045호, "포인트 클라우드 송신 장치, 포인트 클라우드 송신 방법, 포인트 클라우드 수신 장치 및 포인트 클라우드 수신 방법 "
본 발명의 목적은 V3C 비트스트림을 효율적으로 전송하는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 V-PCC를 기반으로 포인트 클라우드가 변환되는 2차원 영상의 사이즈를 조정함으로써 V3C 비트스트림을 효율적으로 전송하는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 V3C 비트스트림의 일정한 대역폭을 갖도록 하여 V3C 비트스트림을 효율적으로 전송하는 기술을 제공하는 것이다.
본 발명의 일 측면에 따르면, 2차원 영상으로 변환될 포인트 클라우드를 입력 받는 입력부; 포인트 클라우드가 변환될 2차원 영상의 사이즈를 결정하는 전역 그리드를 생성하는 전역 그리드 생성부; V-PCC를 기반으로 포인트 클라우드가 전역 그리드에 의해 결정되는 사이즈의 2차원 영상으로 변환된 V3C 비트스트림을 생성하는 포인트 클라우드 변환부; 및 V3C 비트스트림으로부터 전역 그리드의 사이즈 정보를 추출하는 그리드 정보 추출부; V3C 비트스트림 및 추출된 전역 그리드의 사이즈 정보를 기반으로 ISOBMFF 데이터를 생성하는 캡슐화부; 및 ISOBMFF 데이터를 전송하는 전송부;를 포함하는 3차원 컨텐츠 전송 장치가 제공된다.
일 실시예에서, 전역 그리드 생성부는 V-PCC를 기반으로 포인트 클라우드를 2차원 영상으로 변환시 요구되는 패치들의 크기 정보를 기반으로 전역 그리드의 사이즈를 결정하여 생성하는, 3차원 컨텐츠 전송 방법
일 실시예에서, 전역 그리드 생성부는 포인트 클라우드에 포함된 포인트 클라우드의 최댓값 및 최솟값에 의해 결정되는 바운딩 박스을 기반으로 전역 그리드의 사이즈를 결정하여 생성할 수 있다.
일 실시예에서, 전역 그리드 생성부는 포인트 클라우드의 표면적 넓이를 기반으로 전역 그리드의 사이즈를 결정하여 생성할 수 있다.
일 실시예에서, 전역 그리드 생성부는 포인트 클라우드로부터 2차원 영상의 사이즈를 추정하도록 미리 학습된 딥러닝 모델을 기반을 이용하여 전역 그리드의 사이즈를 결정하여 생성할 수 있다.
일 실시예에서, 캡슐화부는 ISOBMFF 데이터 생성시 추출된 전력 그리드의 정보를 디코더의 초기화 정보로 사용 포함될 수 있다.
일 실시예에서, 전송부는 DASH 또는 MMT를 기반으로 ISOBMFF 데이터를 전송할 수 있다.
본 발명의 다른 측면에 따르면, 2차원 영상으로 변환될 포인트 클라우드를 입력 받는 단계; 포인트 클라우드가 변환될 2차원 영상의 사이즈를 결정하는 전역 그리드를 생성하는 단계; V-PCC를 기반으로 포인트 클라우드가 전역 그리드에 의해 결정되는 사이즈의 2차원 영상으로 변환된 V3C 비트스트림을 생성하는 단계; 및 V3C 비트스트림으로부터 전역 그리드의 사이즈 정보를 추출하는 단계; V3C 비트스트림 및 추출된 전역 그리드의 사이즈 정보를 기반으로 ISOBMFF 데이터를 생성하는 단계; 및 ISOBMFF 데이터를 전송하는 단계;를 포함하는 3차원 컨텐츠 전송 방법이 제공된다.
본 발명의 일 측면에 따르면, V3C 비트스트림을 효율적으로 전송하는 것이 가능하게 된다.
또한, 본 발명의 다른 측면에 따르면 V-PCC를 기반으로 포인트 클라우드가 변환되는 2차원 영상의 사이즈를 조정함으로써 V3C 비트스트림을 효율적으로 전송하는 것이 가능하게 된다.
또한, 본 발명의 다른 측면에 따르면 V3C 비트스트림의 일정한 대역폭을 갖도록 하여 V3C 비트스트림을 효율적으로 전송하는 것이 가능하게 된다.
도 1은 본 발명의 일 실시예에 따른 3차원 컨텐츠 전송 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예 따른 3차원 컨텐츠 전송 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 바운딩 박스를 기반으로 전역 그리드를 생성하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 딥러닝 모델을 기반으로 전역 그리드를 생성하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 3차원 컨텐츠 전송 방법의 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 3차원 컨테츠 전송 장치의 블록도이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.
실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.
하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.
"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.
본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다.
어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.
즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
상술한 구체적인 실시예들에서, 발명에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다.
그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 상술한 실시 예들이 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 다양한 실시 예들이 내포하는 기술적 사상의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다.
그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 청구범위 뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 컨텐츠 전송 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 3차원 컨텐츠 전송 시스템(1000)은 3차원 컨텐츠 전송 장치(1100) 및 3차원 컨텐츠 수신 장치(1200)를 포함하며, 이들은 유무선 네트워크를 통해 데이터 교환이 가능하도록 상호 연결될 수 있다.
3 차원 컨텐츠 전송 장치는 3차원 컨텐츠에 대한 포인트 클라우드를 입력 받을 수 있다. 3 차원 컨텐츠 전송 장치는 C-VPCC를 기반으로 포인트 클라우드가 2차원 영상로 변환된 V3C 비트스트림을 생성할 수 있다. 이때, 생성되는 2차원 영상의 사이즈는 전역 그리드에 의해 결정된다. 3차원 컨텐츠 전송 장치(1100)는 V3C 비트스트림 및 전역 그리드 정보를 기반으로 ISBMFF(ISO/IEC 기본 미디어 파일 형식, ISO/IEC base media file format)를 생성하여 3차원 컨텐츠 수신 장치(1200)에 전송할 수 있다.
3차원 컨텐츠 수신 장치(1200)는 ISBMFF를 3차원 컨텐츠 전송 장치(1100)로부터 수신하고, 전역 그리드 정보에 따른 디코더의 초기화 시점을 고려하여 포인트 클라우드를 복원하여 3차원 컨텐츠를 출력할 수 있다. 여기서, 포인트 클라우드를 복원하는 과정은 V-PCC에 따라 압축된 포인트 클라우드를 복원하는 종래의 방식과 동일하므로 이에 대한 상세한 설명은 생략한다.
도 2는 본 발명의 일 실시예 따른 3차원 컨텐츠 전송 장치의 블록도이다.
도 2를 참조하면, 3차원 컨텐츠 전송 장치(1100)는 포인트 클라우드 입력부(2100), 전역 그리드 생성부(2200), 포인트 클라우드 변환부(2300), 그리드 정보 추출부(2400), 캡슐화부(2500) 및 전송부(2600)를 포함할 수 있다.
포인트 클라우드 입력부(2100)는 전송하고자 하는 3차원 컨텐츠인 포인트 클라우드를 입력 받을 수 있다.
전역 그리드 생성부(2200)는 포인트 클라우드가 V-PCC에 따라 변환된 2차원 영상의 사이즈를 결정하는 전역 그리드를 생성할 수 있다.
일 실시예에서, 전역 그리드는 다수의 GOF에 대한 V-PCC의 기존 압축 성능과 유사한 대역폭을 지원하는 가변 전역 그리드 또는 모든 GOF에 대한 V-PCC의 기존 압축 성능에 비해 낮은 압축 효율을 갖는 최대 전역 그리드일 수 있다.
일 실시예에서, 전역 그리드 생성부(2200)는 패치들의 크기 정보를 기반으로 생성될 수 있다. 아틀라스 정보는 3차원 포인트 클라우드를 2차원 평면으로 변환할 때 필요한 패치들의 2차원 상의 위치, 크기, 3차원 상의 위치들의 정보를 포함한다. 이러한 아틀라스 정보를 활용할 경우 포인트 클라우드가 변환될 2차원 영사의 그리드 사이즈를 아래 수학식 1 및 수학식 2와 같이 예측할 수 있다.
Figure 112021149548873-pat00001
Figure 112021149548873-pat00002
여기서,
Figure 112021149548873-pat00003
와
Figure 112021149548873-pat00004
는 각각 2차원 영상에서 그리드의 X 축 길이와 Y 축 길이를 의미한다. 포인트 클라우드 콘텐츠에 따라 사전 정의된
Figure 112021149548873-pat00005
혹은
Figure 112021149548873-pat00006
보다 큰 패치의 크기를 활용하면, 2차원 그리드의 크기를 예측할 수 있다. 전역 그리드의 크기는 예측된 2차원 그리드의 크기를 기반으로 아래 수학식 3 및 수학식 4와 같이 계산될 수 있다.
Figure 112021149548873-pat00007
Figure 112021149548873-pat00008
여기서,
Figure 112021149548873-pat00009
와
Figure 112021149548873-pat00010
는 각각 전역 그리드의 X 축 길이와 Y 축 길이를 나타낸다. 예측된 2차원 그리드의 크기인
Figure 112021149548873-pat00011
와
Figure 112021149548873-pat00012
에 사전 정의된
Figure 112021149548873-pat00013
와
Figure 112021149548873-pat00014
를 곱하여 전역 2D 그리드를 생성할 수 있다.
Figure 112021149548873-pat00015
와
Figure 112021149548873-pat00016
는 입력 콘텐츠 혹은 압축 시 사용되는 Video Codec의 특성에 따라 정의될 수 있다. 이때, 생성되는 전역 그리드를 가변 전역 그리드로 생성할 것인지 또는, 최대 전역 그리드로 생성할지는 사전 정의된 변수들에 따라 결정할 수 있다.
일 실시예에서, 전역 그리드 생성부(2200)는 바운딩 박스를 기반으로 생성될 수 있다. 전역 그리드 생성부(2200)는 입력 포인트 클라우드의 각 점의 최댓값과 최솟값을 활용하여 모든 점을 포함하는 가장 작은 크기의 3차원 박스 즉, 바운딩 박스를 생성할 수 있다. 바운딩 박스는 도 3에 도시된 바와 같이 2개의 최대, 최소점으로 표현할 수 있다. 도 2에서 우측 6개 점은 X, Y, Z 축의 최솟값 혹은 최댓값을 갖는 점들을 나타내며, 이러한 각 축의 최솟값으로 만든 점
Figure 112021149548873-pat00017
과 최댓값으로 만든 점
Figure 112021149548873-pat00018
를 기반으로 도면 3과 같이 바운딩 박스가 생성될 수 있다. 생성된 바운딩 박스의 크기는 각 축의 최대 거리를 나타내고 있으며, 이를 기반으로 전역 그리드를 아래 수학식 5 및 수학식 6에 따라 계산하는 것이 가능하다.
Figure 112021149548873-pat00019
Figure 112021149548873-pat00020
전역 2D 그리드의 크기는 바운딩 박스 내 각 축의 길이와 입력 포인트 클라우드 콘텐츠에 따라 사전 정의된
Figure 112021149548873-pat00021
,
Figure 112021149548873-pat00022
,
Figure 112021149548873-pat00023
,
Figure 112021149548873-pat00024
,
Figure 112021149548873-pat00025
,
Figure 112021149548873-pat00026
를 이용하여 계산될 수 있다. 또한, 바운딩 박스의 직선 길이뿐만 아니라 대각선 길이 등을 활용할 수도 있으며, 바운딩 박스를 직육면체가 아닌, 다양한 3차원 도형으로 변환하여 이용할 수 있음은 자명하다. 이때, 생성되는 전역 그리드를 가변 전역 그리드로 생성할 지, 최대 전역 그리드로 생성할지는 사전 정의된 변수들을 이용하여 결정될 수 있다.
일 실시예에서, 전역 그리드 생성부(2200)는 포인트 클라우드의 표면적 넓이를 기반으로 생성될 수 있다. 패치는 입력 포인트 클라우드의 표면적의 넓이만큼 생성될 수 있으며, 2차원 그리드의 크기는 이러한 패치를 기반으로 결정될 수 있다. 즉, 표면적을 이용하면 아래 수학식 7과 같이 전역 그리드의 크기를 예측하는 것이 가능할 수 있다.
Figure 112021149548873-pat00027
여기서,
Figure 112021149548873-pat00028
는 입력 포인트 클라우드의 표면적이며,
Figure 112021149548873-pat00029
는 포인트 클라우드의 특성에 따라 사전 정의된 변수이다. 전역 그리드의 넓이는
Figure 112021149548873-pat00030
의 값을
Figure 112021149548873-pat00031
로 보정하여 결정되며, 각 축의 크기는 사용되는 비디오 코덱의 특성에 따라 결정된다. 이때, 생성되는 전역 그리드를 가변 전역 그리드로 생성할 지 또는, 최대 전역 그리드로 생성할지는 사전 정의된 변수들을 이용하여 결정될 수 있다.
일 실시예에서, 전역 딥러닝 모델을 기반으로 전역 그리드를 생성할 수 있다. 딥러닝 모델을 이용한 전역 그리드 계산 방법은 입력 포인트 클라우드 내 점들의 구성을 효과적으로 파악하고, 이를 기반으로 전역 그리드를 생성할 수 있다는 장점이 있다. 도 4는 포인트 클라우드를 활용한 딥러닝 구조의 예시이다. 입력 포인트 클라우드의 복셀 구조는 정렬되어 있지 않은 데이터이므로, 순열에 불변하도록 처리할 필요가 있다. 따라서, MLP(Multi-Layer Perceptron)를 사용한 특징 추출 과정을 통해 순열에 불변하는 특성을 갖는 입력 포인트 클라우드의 특징이 생성될 수 있다. 이때, 입력 포인트 클라우드의 특성에 따라 다양한 차원 변환 과정 수행하여 입력될 수 있다. 생성된 특징 데이터는 MLP와 Max pooling 과정을 거쳐 입력 포인트 클라우드의 전반적인 특성을 다루는 전역 특징으로 변환될 수 있다. 전역 특징을 기반으로 MLP를 수행하여 Score 값을 도출하고, 상기 Score는 V-PCC의 패치 생성 및 패킹 과정에서 획득되는 2차원 그리드와 비교되어 학습을 실시하는데 이용될 수 있으며, 학습이 끝난 Score 값으로 입력 포인트 클라우드에 대한 전역 그리드가 생성될 수 있다. 이때, 생성되는 전역 그리드를 가변 전역 그리드로 생성할 지 또는, 최대 전역 그리드로 생성할지는 훈련에 사용되는 2차원 그리드의 크기에 따라 결정될 수 있다.
포인트 클라우드 변환부(2300)는 포인트 클라우드를 V-PCC를 기반으로 2차원 영상으로 변환하여, 포인트 클라우드가 2차원 영상으로 변화된 V3C 비트스트림을 생성할 수 있다. 포인트 클라우드는 2차원 영상의 사이즈는 전역 그리드의 사이즈에 의해 결정될 수 있다.
그리드 정보 추출부(2400)는 V3C 비트스트림 내에 ASPS(Atlas Sequence Parameter Set) 정보를 스캔하여 전역 그리드 정보를 추출할 수 있다. 여기서, 전역 그리드 정보는 전역 그리드의 사용 여부, 전역 그리드가 가변 전역 그리드인지 최대 전역 그리드 인지 여부, 전역 그리드의 사이즈 등을 포함할 수 있다.
캡슐화부(2500)는 MPEG-I Carriage of V3C data 표준에 따라 V3C 비트스트림 및 전역 그리드 정보를 캡슐화하여 ISOMFF 데이터를 생성할 수 있다.
일 실시예에서, 캡슐화부(2500)는 전역 그리드에 따라 2차원 영상의 사이즈가 결정된 경우 SEI 메시지를 더 생성할 수 있다. SEI 메시지 (global grid initialization메시지)는 디코더의 초기화 시점을 명시하기 위한 것으로 GoF의 그리드(Grid) 사이즈가 변하는 시점에 SEI 메시지를 전송함으로써, 디코더 초기화 시점과 디코더 초기화 정보를 3차원 컨텐츠 수신 장치(1200)에 전달할 수 있다. 아래 표 1은 SEI 메시지의 예를 나타낸다.
Figure 112021149548873-pat00032
여기서, global_grid_initialization_flag는 디코더의 초기화 여부를 나타내므로, 샘플의 전역 그리드 사이즈가 이전 샘플의 전역 그리드 사이즈와 같다면 0값 가지며, 샘플의 전역 그리드 사이즈가 이전 샘플의 전역 그리드 사이즈가 다르다면 1값을 가질 수 있다. global_grid_width와 global_grid_height는 다음 프레임이 가지는 전역 그리드의 사이즈 정보로, 디코더 초기화 정보를 제공할 수 있다. global_grid_initialization_flag가 0값을 가진다면, 샘플의 디코더 초기화 정보가 변하지 않기 때문에 디코더의 초기화 없이 샘플의 디코딩이 가능하게 된다. global_grid_initialization_flag가 1값을 가진다면, global_grid_width와 global_grid_height값을 이용하여 디코더를 초기화 해야한다. frame size initialization 메시지는 GoF 단위와 같이 일정 주기 마다 생성될 수 있으며, 프레임 사이즈가 바뀌는 상황에서만 생성될 수 있다.
일 실시예에서, 캡슐화부(2500)는 전역 그리드가 최대 전역 그리드인 경우 아래와 같이 V3C 최대 전역 그리드 박스를 생성할 수 있다. 여기서, 최대 전역 그리드 박스는 V-PCC 압축이 최대 전역 그리드를 활용하여 압축되었을 때만 사용할 수 있다. V3C 최대 전역 그리드 박스의 생성은 SampleEntry 박스 ('v3c1', 'v3cg', 'v3cb', 'v3a1', or 'v3ag') 내부에 V3C Maximum Global Grid 박스(‘vmgg’)를 생성하여 전체 V3C 비트스트림의 최대 전역 그리드 크기 정보를 저장하는 과정을 포함할 수 있다. 아래 표 2는 V3C 최대 전역 그리드 박스의 예를 나타낸다.
Figure 112021149548873-pat00033
여기서, V3C 최대 전역 그리드 박스는 상기의 그리드 스캔 단계에서 획득된 최대 전역 그리드 크기 정보를 활용하여 생성될 수 있으며, V3C 최대 전역 그리드 박스는 maximum_grid_width와 maximum_grid_height는 최대 전역 그리드의 높이와 너비 정보를 나타낸다.
전송부(2600)는 ISOBMFF 규격으로 변환된 V3C 비트스트림을 3차원 컨텐츠 수신 장치(1200)에 전송할 수 있다. 이때, 전송부(2600)는 종래의 2차원 영상 전송 기술을 이용하여 ISOBMFF 규격으로 변환된 V3C 비트스트림을 3차원 컨텐츠 수신 장치(1200)에 전송할 수 있다.
일 실시예에서, 전송부(2600)는 V3C 비트스트림이 변환된 ISOBMFF 파일을 DASH(Dynamic Adaptive Streaming over HTTP)를 기반으로 3차원 컨텐츠 수신 장치(1200)에 전송할 수 있다. DASH는 Carriage of V3C data 표준 기술을 이용하여 MPD(Media Presentation Description)가 구성되며, SEI 메시지 생성을 통해 생성된 global grid initialization 메시지는 23009 표준의 Event stream 혹은 emsg 박스 등의 이벤트 시그널링 방식을 통해 전달될 수 있다. 그 외의 V3C 비트스트림 정보 전송에는 MPEG-I Carriage of V3C data 표준 기술이 이용될 수 있다.
일 실시예에서, 전송부(2600)는 V3C 비트스트림이 변환된 ISOBMFF 파일을 MMT 기반을 기반으로 3차원 컨텐츠 수신 장치(1200)에 전송할 수 있다. MMT는 Carriage of V3C data 표준 기술을 이용하여 MPT(Media Presentation Table)이 구성되며, SEI 메시지 생성 을 통해 생성된 global grid initialization 메시지는 23008-1 표준의 AEI(Application Event Information) 혹은 evti 박스 등의 이벤트 시그널링 방식을 통해 전달될 수 있다. 그 외의 V3C 비트스트림 정보 전송에는 MPEG-I Carriage of V3C data 표준 기술이 이용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 3차원 컨텐츠 전송 방법의 흐름도이다.
이하, 도 1에 도시된 3차원 컨텐츠 전송 장치(1100)에 의해 도 5에 도시된 방법이 수행되는 것을 예시로 설명한다.
단계 S5100에서, 3차원 컨텐츠 전송 장치(1100)는 전송하고자 하는 3차원 컨텐츠인 포인트 클라우드를 입력 받을 수 있다.
단계 S5200에서, 3차원 컨텐츠 전송 장치(1100)는 포인트 클라우드가 V-PCC에 따라 변환된 2차원 영상의 사이즈를 결정하는 전역 그리드를 생성할 수 있다.
일 실시예에서, 3차원 컨텐츠 전송 장치(1100)는 다수의 GOF에 대한 V-PCC의 기존 압축 성능과 유사한 대역폭을 지원하는 가변 전역 그리드 또는 모든 GOF에 대한 V-PCC의 기존 압축 성능에 비해 낮은 압축 효율을 갖는 최대 전역 그리드일 수 있다.
일 실시예에서, 3차원 컨텐츠 전송 장치(1100)는 패치들의 크기 정보를 기반으로 생성될 수 있다.
일 실시예에서, 3차원 컨텐츠 전송 장치(1100)는 바운딩 박스를 기반으로 생성될 수 있다.
일 실시예에서, 3차원 컨텐츠 전송 장치(1100)는 포인트 클라우드의 표면적 넓이를 기반으로 생성될 수 있다.
일 실시예에서, 전역 딥러닝 모델을 기반으로 전역 그리드를 생성할 수 있다.
단계 S5300에서, 3차원 컨텐츠 전송 장치(1100)는 포인트 클라우드를 V-PCC를 기반으로 2차원 영상으로 변환하여, 포인트 클라우드가 2차원 영상으로 변화된 V3C 비트스트림을 생성할 수 있다. 포인트 클라우드는 2차원 영상의 사이즈는 전역 그리드의 사이즈에 의해 결정될 수 있다.
단계 S5400에서, 3차원 컨텐츠 전송 장치(1100)는 V3C 비트스트림 내에 ASPS(Atlas Sequence Parameter Set) 정보를 스캔하여 전역 그리드 정보를 추출할 수 있다. 여기서, 전역 그리드 정보는 전역 그리드의 사용 여부, 전역 그리드가 가변 전역 그리드인지 최대 전역 그리드 인지 여부, 전역 그리드의 사이즈 등을 포함할 수 있다.
단계 S5500에서, 3차원 컨텐츠 전송 장치(1100)는 MPEG-I Carriage of V3C data 표준에 따라 V3C 비트스트림 및 전역 그리드 정보를 캡슐화하여 ISOMFF 데이터를 생성할 수 있다.
단계 S5600에서, 3차원 컨텐츠 전송 장치(1100)는 ISOBMFF 규격으로 변환된 V3C 비트스트림을 3차원 컨텐츠 수신 장치(1200)에 전송할 수 있다. 이때, 전송부(2600)는 종래의 2차원 영상 전송 기술을 이용하여 ISOBMFF 규격으로 변환된 V3C 비트스트림을 3차원 컨텐츠 수신 장치(1200)에 전송할 수 있다. 이때, 3차원 컨텐츠 수신 장치(1200)는 DASH 혹은 MMT로 전송된 데이터를 파싱하고, V3C 비트스트림을 복원하여 포인트 클라우드로 재구성할 수 있다. 3차원 컨텐츠 전송 장치(1100)는 3차원 컨텐츠 수신 장치(1200)가 전송한 frame size initialization 메시지를 기반으로 복호화기의 초기화 여부를 결정하여 부하를 줄이고, 불필요한 초기화 정보의 수신을 피할 수 있다. 여기서, V3C 비트스트림의 복원 및 포인트 클라우드의 재구성에는 MPEG-I Carriage of V3C data 표준 기술이 이용될 수 있다.
도 6은 본 발명의 다른 실시예에 따른 깊이 이미지 생성 장치의 블록도이다.
도 6에 도시된 바와 같이, 3차원 컨텐츠 전송 장치(6000)는 프로세서(6100), 메모리(6200), 저장부(6300), 사용자 인터페이스 입력부(6400) 및 사용자 인터페이스 출력부(6500) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스(6600)를 통해 서로 통신할 수 있다. 또한, 3차원 컨텐츠 전송 장치(6000)는 네트워크에 접속하기 위한 네트워크 인터페이스(6700)를 또한 포함할 수 있다. 프로세서(6100)는 메모리(6200) 및/또는 저장소(6300)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리(6200) 및 저장부(6300)는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(6240) 및 RAM(6250)을 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1000: 3차원 컨텐츠 전송 시스템 1100: 3차원 컨텐츠 전송 장치
1200: 3차원 컨텐츠 수신 장치 2100: 포인트 클라우드 입력부
2200: 전역 그리드 생성부 2300: 포인트 클라우드 변환부
2400: 그리드 정보 추출부 2500: 캡슐화부
2600: 전송부

Claims (14)

  1. 2차원 영상으로 변환될 포인트 클라우드를 입력 받는 입력부;
    상기 포인트 클라우드가 변환될 2차원 영상의 사이즈를 결정하는 전역 그리드를 생성하는 전역 그리드 생성부;
    V-PCC를 기반으로 상기 포인트 클라우드가 상기 전역 그리드에 의해 결정되는 사이즈의 2차원 영상으로 변환된 V3C 비트스트림을 생성하는 포인트 클라우드 변환부; 및
    상기 V3C 비트스트림으로부터 상기 전역 그리드의 사이즈 정보를 추출하는 그리드 정보 추출부;
    상기 V3C 비트스트림 및 추출된 전역 그리드의 사이즈 정보를 기반으로 ISOBMFF 데이터를 생성하는 캡슐화부; 및
    상기 ISOBMFF 데이터를 전송하는 전송부;
    를 포함하고,
    상기 전역 그리드 생성부는,
    상기 포인트 클라우드의 표면적 넓이를 기반으로 상기 전역 그리드의 사이즈를 결정하여 생성하는 3차원 컨텐츠 전송 장치.
  2. 제1항에 있어서,
    상기 전역 그리드 생성부는,
    상기 V-PCC를 기반으로 상기 포인트 클라우드를 상기 2차원 영상으로 변환시 요구되는 패치들의 크기 정보를 기반으로 상기 전역 그리드의 사이즈를 결정하여 생성하는, 3차원 컨텐츠 전송 장치.
  3. 제1항에 있어서,
    상기 전역 그리드 생성부는,
    상기 포인트 클라우드에 포함된 포인트 클라우드의 최댓값 및 최솟값에 의해 결정되는 바운딩 박스을 기반으로 상기 전역 그리드의 사이즈를 결정하여 생성하는, 3차원 컨텐츠 전송 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 전역 그리드 생성부는,
    포인트 클라우드로부터 2차원 영상의 사이즈를 추정하도록 미리 학습된 딥러닝 모델을 기반을 이용하여 상기 전역 그리드의 사이즈를 결정하여 생성하는, 3차원 컨텐츠 전송 장치.
  6. 2차원 영상으로 변환될 포인트 클라우드를 입력 받는 입력부;
    상기 포인트 클라우드가 변환될 2차원 영상의 사이즈를 결정하는 전역 그리드를 생성하는 전역 그리드 생성부;
    V-PCC를 기반으로 상기 포인트 클라우드가 상기 전역 그리드에 의해 결정되는 사이즈의 2차원 영상으로 변환된 V3C 비트스트림을 생성하는 포인트 클라우드 변환부; 및
    상기 V3C 비트스트림으로부터 상기 전역 그리드의 사이즈 정보를 추출하는 그리드 정보 추출부;
    상기 V3C 비트스트림 및 추출된 전역 그리드의 사이즈 정보를 기반으로 ISOBMFF 데이터를 생성하는 캡슐화부; 및
    상기 ISOBMFF 데이터를 전송하는 전송부;
    를 포함하고,
    상기 캡슐화부는,
    상기 ISOBMFF 데이터 생성시 상기 추출된 전력 그리드의 정보를 디코더의 초기화 정보로 사용 포함되는, 3차원 컨텐츠 전송 장치.
  7. 제1항에 있어서,
    상기 전송부는,
    DASH 또는 MMT를 기반으로 상기 ISOBMFF 데이터를 전송하는, 3차원 컨텐츠 전송 장치.
  8. 2차원 영상으로 변환될 포인트 클라우드를 입력 받는 단계;
    상기 포인트 클라우드가 변환될 2차원 영상의 사이즈를 결정하는 전역 그리드를 생성하는 단계;
    V-PCC를 기반으로 상기 포인트 클라우드가 상기 전역 그리드에 의해 결정되는 사이즈의 2차원 영상으로 변환된 V3C 비트스트림을 생성하는 단계; 및
    상기 V3C 비트스트림으로부터 상기 전역 그리드의 사이즈 정보를 추출하는 단계;
    상기 V3C 비트스트림 및 추출된 전역 그리드의 사이즈 정보를 기반으로 ISOBMFF 데이터를 생성하는 단계; 및
    상기 ISOBMFF 데이터를 전송하는 단계;
    를 포함하고,
    상기 전역 그리드의 크기는,
    상기 포인트 클라우드의 표면적 넓이를 기반으로 결정되는 3차원 컨텐츠 전송 방법.
  9. 제8항에 있어서,
    상기 전역 그리드의 크기는,
    상기 V-PCC를 기반으로 상기 포인트 클라우드를 상기 2차원 영상으로 변환시 요구되는 패치들의 크기 정보를 기반으로 결정되는, 3차원 컨텐츠 전송 방법.
  10. 제8항에 있어서,
    상기 전역 그리드의 크기는,
    상기 포인트 클라우드에 포함된 포인트 클라우드의 최댓값 및 최솟값에 의해 결정되는 바운딩 박스을 기반으로 결정되는, 3차원 컨텐츠 전송 방법.
  11. 삭제
  12. 제8항에 있어서,
    상기 전역 그리드의 크기는,
    포인트 클라우드로부터 2차원 영상의 사이즈를 추정하도록 미리 학습된 딥러닝 모델을 기반을 이용하여 결정되는, 3차원 컨텐츠 전송 방법.
  13. 2차원 영상으로 변환될 포인트 클라우드를 입력 받는 단계;
    상기 포인트 클라우드가 변환될 2차원 영상의 사이즈를 결정하는 전역 그리드를 생성하는 단계;
    V-PCC를 기반으로 상기 포인트 클라우드가 상기 전역 그리드에 의해 결정되는 사이즈의 2차원 영상으로 변환된 V3C 비트스트림을 생성하는 단계; 및
    상기 V3C 비트스트림으로부터 상기 전역 그리드의 사이즈 정보를 추출하는 단계;
    상기 V3C 비트스트림 및 추출된 전역 그리드의 사이즈 정보를 기반으로 ISOBMFF 데이터를 생성하는 단계; 및
    상기 ISOBMFF 데이터를 전송하는 단계;
    를 포함하고,
    상기 ISOBMFF 데이터를 생성하는 단계는,
    상기 ISOBMFF 데이터 생성시 상기 추출된 전력 그리드의 정보는 디코더의 초기화 정보로 사용 포함되는, 3차원 컨텐츠 전송 방법.
  14. 제8항에 있어서,
    상기 ISOBMFF 데이터를 전송하는 단계는,
    DASH 또는 MMT를 기반으로 상기 ISOBMFF 데이터를 전송하는, 3차원 컨텐츠 전송 방법.
KR1020210186477A 2021-12-23 2021-12-23 3차원 컨텐츠 전송 장치 및 방법 KR102527798B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210186477A KR102527798B1 (ko) 2021-12-23 2021-12-23 3차원 컨텐츠 전송 장치 및 방법
US18/073,882 US20230217041A1 (en) 2021-12-23 2022-12-02 Apparatus for transmitting 3d contents and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210186477A KR102527798B1 (ko) 2021-12-23 2021-12-23 3차원 컨텐츠 전송 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102527798B1 true KR102527798B1 (ko) 2023-05-02

Family

ID=86387519

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210186477A KR102527798B1 (ko) 2021-12-23 2021-12-23 3차원 컨텐츠 전송 장치 및 방법

Country Status (2)

Country Link
US (1) US20230217041A1 (ko)
KR (1) KR102527798B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210003937A (ko) * 2018-05-23 2021-01-12 모비디어스 리미티드 딥 러닝 시스템
KR102300045B1 (ko) 2020-04-14 2021-09-08 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR20210117142A (ko) * 2020-03-18 2021-09-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210003937A (ko) * 2018-05-23 2021-01-12 모비디어스 리미티드 딥 러닝 시스템
KR20210117142A (ko) * 2020-03-18 2021-09-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102300045B1 (ko) 2020-04-14 2021-09-08 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Also Published As

Publication number Publication date
US20230217041A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
KR102423499B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102596507B1 (ko) 화상 처리 장치 및 방법
KR20180122947A (ko) 2차원 포인트 클라우드들을 인코딩 및 디코딩하기 위한 방법 및 장치
US8542936B2 (en) Image encoding and decoding device
US11153584B2 (en) Methods, apparatuses and devices for panoramic video transcoding
US10504246B2 (en) Distinct encoding and decoding of stable information and transient/stochastic information
JP2016226001A (ja) デコーダおよび復号方法
KR20210128442A (ko) 포인트 클라우드 데이터 처리 장치 및 방법
US11711535B2 (en) Video-based point cloud compression model to world signaling information
US20230328285A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20100266217A1 (en) 3d contents data encoding/decoding apparatus and method
WO2023132919A1 (en) Scalable framework for point cloud compression
KR102238091B1 (ko) 3d 모델 압축 및 압축해제 시스템 및 방법
CN113168719A (zh) 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置
KR102527798B1 (ko) 3차원 컨텐츠 전송 장치 및 방법
US20220262043A1 (en) Information processing apparatus and method
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
CN115396647B (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
EP4161074A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US20220327742A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
KR102624513B1 (ko) 3차원 데이터 저장 방법, 3차원 데이터 취득 방법, 3차원 데이터 저장 장치, 및 3차원 데이터 취득 장치
CN115379188B (zh) 点云数据处理方法、装置、设备及存储介质
US20230360277A1 (en) Data processing method and apparatus for immersive media, device and storage medium
KR101581131B1 (ko) 영상 정보를 전달하는 방법, 영상 부호기 및 영상 복호기
US20230412837A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant