KR20230136639A - 볼류메트릭 미디어 처리 방법, 장치, 저장 매체 및 전자 장치 - Google Patents
볼류메트릭 미디어 처리 방법, 장치, 저장 매체 및 전자 장치 Download PDFInfo
- Publication number
- KR20230136639A KR20230136639A KR1020237029095A KR20237029095A KR20230136639A KR 20230136639 A KR20230136639 A KR 20230136639A KR 1020237029095 A KR1020237029095 A KR 1020237029095A KR 20237029095 A KR20237029095 A KR 20237029095A KR 20230136639 A KR20230136639 A KR 20230136639A
- Authority
- KR
- South Korea
- Prior art keywords
- atlas
- volumetric
- track
- tracks
- visual
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 50
- 230000000007 visual effect Effects 0.000 claims abstract description 710
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004806 packaging method and process Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 9
- 239000002699 waste material Substances 0.000 abstract description 9
- 230000000875 corresponding effect Effects 0.000 description 68
- 230000002596 correlated effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 출원의 실시예는 볼류메트릭 미디어 처리 방법, 장치, 저장 매체 및 전자 장치를 제공한다. 상기 방법은, 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하는 단계; 상기 볼류메트릭 비주얼 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 또한 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득하는 단계; 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림에 기반하여, 볼류메트릭 미디어의 3D 공간 영역의 볼류메트릭 비주얼 데이터를 생성하는 단계; 를 포함함으로써, 관련 기술에서 전반 볼류메트릭 미디어 데이터에 대한 무차별적인 액세스 및 처리로 인해, 전송 대역폭의 낭비가 발생되고, 또한 불필요한 처리 복잡도가 초래되는 과제를 해결하여, 전송 대역폭의 낭비를 방지하고, 또한 처리 복잡도를 낮출 수 있다.
Description
본 출원의 실시예는 통신 분야에 관한 것으로, 구체적으로 볼류메트릭 미디어 처리 방법, 장치, 저장 매체 및 전자 장치에 관한 것이다.
종래에서는 2차원 이미지 및 비디오를 사용하여 비주얼 장면의 캡처, 처리, 저장 및 프레젠트를 실현하였다. 최근에는 3차원 장면의 캡처와 렌더링(Rendering) 기술의 발전은 높은 자유도, 트루(true) 3차원을 특성으로 하는 3차원 볼류메트릭 미디어 컨텐츠 서비스의 혁신을 촉진시켰다. 예를 들면, 포인트 클라우드 기술은 볼류메트릭 미디어 컨텐츠 및 서비스의 전형적인 기술로서 이미 광범위하게 응용되고 있으며, 여기서, 포인트 클라우드 프레임은 공간에서 서로 독립적인 한세트의 포인트로 구성되고, 각 포인트는 3D 공간 위치 속성을 갖는 외에 기타 많은 속성(예를 들면, 컬러, 반사율, 표면 노멀 등)과 상호 연관될 수도 있다. 또한, 볼류메트릭 미디어의 다른 일 애플리케이션으로서, 다중 시야각 비디오 및 프리 시야포인트는 실제 또는 가상 카메라를 사용하여 3D 장면 정보를 캡쳐하고, 제한된 시청 위치 및 방향 범위 내에서 6자유도(6DoF)로 3차원 3D 장면을 프레젠트하는 것을 지원한다.
동영상 전문가 그룹(Moving Pictures Experts Group, MPEG로 약칭함)에서는 MPEG-I 표준화 프로젝트를 설립하여 몰입형 미디어 코딩 표현 기술에 대한 연구를 진행하고 있다. 성과 중의 하나로서, 비디오 기반 볼류메트릭 비주얼 코딩(Visual Volumetric Video-based Coding, V3C로 약칭함) 표준은 종래의 2차원(2D) 프레임을 기반으로 하는 비디오 코딩 툴을 이용하여, 3D 정보를 2D 평면에 투영함으로써 3D 비주얼 정보를 코딩한다. 볼류메트릭 비주얼 비트스트림에는 볼류메트릭 비주얼 파라미터 세트(VPS)의 볼류메트릭 비주얼 유닛(V3C Unit), 아틀라스(Atlas) 코딩 서브 비트스트림, 2D 비디오 코딩 점유맵(Occupancy Map) 서브 비트스트림, 2D 비디오 코딩 지오메트리(Geometry) 서브 비트스트림, 0개 또는 복수개의 2D 비디오 코딩 속성(Attribute) 서브 비트스트림 및 0개 또는 복수개의 2D 비디오 코딩 패키지 비디오(Packed Video) 서브 비트스트림이 포함된다.
관련 기술에서 볼류메트릭 미디어는 많은 볼류메트릭 비주얼 컴포넌트로 구성되며, 상기 볼류메트릭 미디어는 아틀라스, 점유맵, 지오메트리 및 속성을 포함한다. 재생 단말기는 볼류메트릭 미디어의 서로 다른 볼류메트릭 비주얼 컴포넌트를 동기 획득 및 디코딩하여, 볼류메트릭 미디어 데이터를 재설정 및 프레젠트해야 한다. 상기 과정은 처리 복잡도가 높아, 사용자 단말기 특히는 처리 능력이 제한적인 이동 단말기는 트랜잭션 실현 과정에서 기술적인 어려움에 직면하게 될 것이다. 다른 일 측면에서, 볼류메트릭 미디어는 사용자에게 6자유도(6-DoF)의 몰입형 미디어 체험을 제공할 수 있다. 임의의 주어진 시간에, 사용자 시청 위치 및 방향에 대응하여, 단지 일부분의 볼류메트릭 미디어만 가시적이다. 많은 애플리케이션 장면에서는 전반 볼류메트릭 미디어 데이터를 액세스, 디코딩 및 렌더링할 필요는 없다. 전반 볼류메트릭 미디어 데이터에 대한 무차별적인 액세스 및 처리로 인해, 전송 대역폭 낭비가 발생될 수 있을 뿐만 아니라, 불필요한 처리 복잡도가 초래될 수 있다.
관련 기술에서는, 전반 볼류메트릭 미디어 데이터에 대한 무차별적인 액세스 및 처리로 인해, 전송 대역폭의 낭비가 발생되고, 또한 불필요한 처리 복잡도가 초래되는 과제에 대해, 아직 해결수단을 제시하지 못하고 있다.
본 출원의 실시예는 적어도 관련 기술에서 전반 볼류메트릭 미디어 데이터에 대한 무차별적인 액세스 및 처리로 인해, 전송 대역폭의 낭비가 발생되고, 또한 불필요한 처리 복잡도가 초래되는 과제를 해결하기 위한 볼류메트릭 미디어 처리 방법, 장치, 저장 매체 및 전자 장치를 제공한다.
본 출원의 일 실시예에 따르면, 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하되, 상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응되는 것인 단계;
상기 볼류메트릭 비주얼 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 또한 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득하는 단계;
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 3D 공간 영역을 생성하는 단계; 를 포함하는 볼류메트릭 미디어 처리 방법을 제공한다.
본 출원의 다른 일 실시예에 따르면, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 볼류메트릭 비주얼 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징하는 단계;
상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 따라 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일을 생성하되, 상기 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 하나 또는 복수의 3D 공간 영역에 대응되는 것인 단계; 를 포함하는 볼류메트릭 미디어 처리 방법을 더 제공한다.
본 출원의 다른 일 실시예에 따르면, 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 하나 또는 복수의 아틀라스 타일을 인식하되, 상기 하나 또는 복수의 아틀라스 타일은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응되는 것인 단계;
상기 볼류메트릭 비주얼 아틀라스 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득하는 단계;
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 3D 공간 영역을 생성하는 단계; 를 포함하는 볼류메트릭 미디어 처리 방법을 더 제공한다.
본 출원의 다른 일 실시예에 따르면, 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하도록 구성하되, 상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응되는 것인 제1 인식 모듈;
상기 볼류메트릭 비주얼 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 또한 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득하도록 구성되는 제1 패키지 해제 모듈;
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 3D 공간 영역의 볼류메트릭 비주얼 데이터를 생성하도록 구성되는 제1 디코딩 모듈; 을 포함하는 볼류메트릭 미디어 처리 장치를 더 제공한다.
본 출원의 다른 일 실시예에 따르면, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 볼류메트릭 비주얼 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징하도록 구성되는 패키지 모듈;
상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 따라 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일을 생성하도록 구성하되, 상기 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 하나 또는 복수의 3차원 3D 공간 영역에 대응되는 것인 생성 모듈; 을 포함하는 볼류메트릭 미디어 처리 장치를 더 제공한다.
본 출원의 다른 일 실시예에 따르면, 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 하나 또는 복수의 아틀라스 타일을 인식하도록 구성하되, 상기 하나 또는 복수의 아틀라스 타일은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응되는 것인 제2 인식 모듈;
상기 볼류메트릭 비주얼 아틀라스 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득하도록 구성되는 제2 패키지 해제 모듈;
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 3D 공간 영역을 생성하도록 구성되는 제2 디코딩 모듈; 을 포함하는 볼류메트릭 미디어 처리 장치를 더 제공한다.
본 출원의 또 다른 실시예에 따르면, 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 프로그램을 실행할 시 상술한 어느 한 항의 방법 실시예에서의 단계를 수행하도록 구성되는 컴퓨터 판독가능 저장 매체를 더 제공한다.
본 출원의 또 다른 실시예에 따르면, 메모리 및 프로세서를 포함하는 전자 장치로서, 상기 메모리에는 컴퓨터 프로그램이 저장되어 있고, 상기 프로세서는 상기 컴퓨터 프로그램을 실행하여 상술한 어느 한 항의 방법 실시예에서의 단계를 수행하도록 구성되는 전자 장치를 더 제공한다.
본 출원의 실시예는 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하되, 상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응되고; 상기 볼류메트릭 비주얼 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 또한 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득하며; 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림에 기반하여, 상기 볼류메트릭 미디어의 3D 공간 영역의 볼류메트릭 비주얼 데이터를 생성함으로써, 관련 기술에서 전반 볼류메트릭 미디어 데이터에 대한 무차별적인 액세스 및 처리로 인해, 전송 대역폭의 낭비가 발생되고, 또한 불필요한 처리 복잡도가 초래되는 과제를 해결하여, 수요에 따라 일부분 볼류메트릭 미디어 데이터를 처리함으로써, 전송 대역폭의 낭비를 방지하고, 또한 처리 복잡도를 낮출 수 있다.
도 1은 본 출원의 실시예에 따른 볼류메트릭 미디어 처리 방법의 이동 단말기의 하드웨어 구조 블록도이다.
도 2는 본 출원의 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도1이다.
도 3은 본 출원의 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도2이다.
도 4는 본 출원의 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도3이다.
도 5는 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도1이다.
도 6은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도2이다.
도 7은 본 바람직한 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도1이다.
도 8은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도3이다.
도 9는 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도4이다.
도 10은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도5이다.
도 11은 본 바람직한 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도2이다.
도 12는 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도6이다.
도 13은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도7이다.
도 14는 본 바람직한 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도3이다.
도 15는 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도8이다.
도 16은 본 바람직한 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도5이다.
도 17은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도9이다.
도 18은 본 실시예에 따른 볼류메트릭 미디어 처리 장치의 블록도1이다.
도 19는 본 실시예에 따른 볼류메트릭 미디어 처리 장치의 블록도2이다.
도 20은 본 실시예에 따른 볼류메트릭 미디어 처리 장치의 블록도3이다.
도 2는 본 출원의 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도1이다.
도 3은 본 출원의 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도2이다.
도 4는 본 출원의 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도3이다.
도 5는 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도1이다.
도 6은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도2이다.
도 7은 본 바람직한 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도1이다.
도 8은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도3이다.
도 9는 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도4이다.
도 10은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도5이다.
도 11은 본 바람직한 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도2이다.
도 12는 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도6이다.
도 13은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도7이다.
도 14는 본 바람직한 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도3이다.
도 15는 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도8이다.
도 16은 본 바람직한 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도5이다.
도 17은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도9이다.
도 18은 본 실시예에 따른 볼류메트릭 미디어 처리 장치의 블록도1이다.
도 19는 본 실시예에 따른 볼류메트릭 미디어 처리 장치의 블록도2이다.
도 20은 본 실시예에 따른 볼류메트릭 미디어 처리 장치의 블록도3이다.
이하에서는, 도면을 참조하면서 실시예와 함께 본 출원의 실시예를 상세하게 설명한다.
설명해야 할 것은, 본 출원의 명세서, 특허청구범위 및 상기 도면에서의 "제1", "제2" 등 용어는 유사한 객체를 구분하기 위한 것으로, 특정된 순서 또는 선후순서를 설명하는데 사용되는 것은 아니다.
본 출원의 실시예에서 제공되는 방법 실시예는 이동 단말기, 컴퓨터 단말기 또는 유사한 연산 장치에서 실행될 수 있다. 이동 단말기에서 실행되는 것을 예로 들면, 도 1은 본 출원의 실시예에 따른 볼류메트릭 미디어 처리 방법의 이동 단말기의 하드웨어 구조 블록도이다. 도 1에 도시된 바와 같이, 이동 단말기는 하나 또는 복수(도 1에 하나만 도시됨)의 프로세서(102, 프로세서(102)는 마이크로 프로세서(MCU) 또는 프로그래밍 가능한 로직 디바이스(FPGA) 등의 처리 장치를 포함할 수 있으나 이에 한정되지 않음) 및 데이터를 저장하기 위한 메모리(104)를 포함할 수 있으며, 상기 이동 단말기는 통신 기능을 위한 전송 장치(106) 및 입출력 장치(108)를 더 포함할 수 있다. 당업자가 이해할 수 있는 것은, 도 1에 도시된 구조는 예시일 뿐이며, 상기 이동 단말기의 구조를 한정하는 것은 아니다. 예를 들면, 이동 단말기는 도 1에 도시된 것보다 더 많거나 더 적은 컴포넌트를 더 포함할 수 있거나, 또는 도 1에 도시된 것과 다른 구성을 가질 수 있다.
메모리(104)는, 예를 들면, 본 출원 실시예에서의 볼류메트릭 미디어 처리 방법에 대응되는 컴퓨터 프로그램과 같은 애플리케이션 소프트웨어의 소프트웨어 프로그램 및 모듈 등 컴퓨터 프로그램을 저장하는데 사용될 수 있고, 프로세서(102)는 메모리(104) 내에 저장된 컴퓨터 프로그램을 실행하여, 다양한 기능 애플리케이션 및 서비스 체이닝 주소풀 슬라이스 처리를 수행할 수 있으며, 즉 상기 방법을 실현할 수 있다. 메모리(104)는 고속 랜덤 액세스 메모리를 포함할 수 있으며, 하나 또는 복수의 자기 저장 장치, 플래시 메모리 또는 다른 비휘발성 솔리드 스테이트 메모리와 같은 비휘발성 메모리를 더 포함할 수 있다. 일부 실시예에서는, 메모리(104)는 프로세서(102)에서 원격으로 설치된 메모리를 진일보로 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 이동 단말기에 연결될 수 있다. 상기 네트워크의 실시예는 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 그 조합을 포함하되, 이에 한정되지 않는다.
전송 장치(106)는 하나의 네트워크를 통해 데이터를 송수신시키기 위한 것이다. 상기 네트워크의 구체적인 실시예는 이동 단말기의 통신 공급업체에 의해 제공되는 무선 네트워크를 포함할 수 있다. 하나의 실시예에서는, 전송 장치(106)는 하나의 네트워크 어댑터(Network Interface Controller, NIC로 약칭함)를 포함하며, 이는 기지국을 통해 다른 네트워크 기기와 서로 연결되어 인터넷과 통신할 수 있다. 하나의 실시예에서는, 전송 장치(106)는 무선 주파수(Radio Frequency, RF로 약칭함) 모듈일 수 있으며, 이는 무선 형태로 인터넷과 통신하도록 하기 위한 것이다.
본 실시예에서는 상기 이동 단말기 또는 네트워크 아키텍처에서 실행되는 볼류메트릭 미디어 처리 방법을 제공한다. 도 2는 본 출원의 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도1이다. 도 2에 도시된 바와 같이, 상기 흐름은 하기와 같은 단계 S202, S204 및 S206을 포함한다.
단계 S202에서, 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하되, 상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응된다.
본 실시예에서는, 상기 비디오 코딩 서브 비트스트림은 점유맵 데이터 비트스트림, 지오메트리 데이터 비트스트림, 속성 데이터 비트스트림 및 패키지 비디오 데이터 비트스트림 중의 적어도 하나를 포함한다.
단계 S204에서, 상기 볼류메트릭 비주얼 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 또한 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득한다.
단계 S206에서, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 3D 공간 영역을 생성한다.
상기 단계 S202 내지 S206를 통해, 관련 기술에서 전반 볼류메트릭 미디어 데이터에 대한 무차별적인 액세스 및 처리로 인해, 전송 대역폭의 낭비가 발생되고, 또한 불필요한 처리 복잡도가 초래되는 과제를 해결할 수 있으며, 요구에 따라 일부분의 볼류메트릭 미디어 데이터를 처리함으로써, 전송 대역폭의 낭비를 방지하고, 또한 처리 복잡도를 낮출일 수 있다.
일 실시예에서는, 상기 단계 S202는 구체적으로,
상기 볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 기반하여 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하되, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하고, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하며, 진일보로, 상기 볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 상기 볼류메트릭 비주얼 아틀라스 트랙에 의해 인용되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하는 단계; 또는 상기 볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 의해 인용되는 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 의해 인용되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하는 단계; 를 포함할 수 있다.
다른 일 실시예에서는, 상기 단계 S202는 구체적으로,
볼류메트릭 비주얼 타이밍 메타데이터 트랙에 기반하여 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 기반하여 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하되, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하고, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하며, 진일보로, 타이밍 메타데이터 트랙의 샘플 입구 유형에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙을 인식하며; 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙의 샘플 입구 또는 샘플에서의 요소에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙에 의해 인용되는 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 의해 인용되는 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하는 단계; 또는 타이밍 메타데이터 트랙의 샘플 입구 유형에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙을 인식하며; 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙의 샘플 입구 또는 샘플에서의 요소에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙에 의해 인용되는 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 의해 인용되는 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 인식하며, 또한 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 의해 인용되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하는 단계; 를 더 포함할 수 있다.
일 실시예에서는, 상기 단계 S206은 구체적으로,
상기 볼류메트릭 비주얼 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하고, 진일보로, 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징된 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 디코딩하되, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림은 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림이고, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하며, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계; 또는
하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 패키징된 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림을 디코딩하되, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 포함하고, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계; 를 더 포함할 수 있다.
다른 일 실시예에서는, 상기 단계 S206은 구체적으로,
하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 디코딩하되, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림은 상기 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 포함하고, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하며, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계; 를 더 포함할 수 있다.
예시적인 일 실시예에서는, 상기 패키지 비디오 비트스트림 서브 샘플은 하나의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
예시적인 다른 일 실시예에서는, 상기 패키지 비디오 비트스트림 서브 샘플은 하나의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
본 실시예의 다른 일 측면에서는, 볼류메트릭 미디어 처리 방법을 더 제공한다. 도 3은 본 출원의 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도2이다. 도 3에 도시된 바와 같이, 상기 흐름은 하기와 같은 단계 S302 및 S304를 포함한다.
단계 S302에서, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 볼류메트릭 비주얼 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징한다.
본 실시예에서는, 상기 비디오 코딩 서브 비트스트림은 점유맵 데이터 비트스트림, 지오메트리 데이터 비트스트림, 속성 데이터 비트스트림 및 패키지 비디오 데이터 비트스트림 중의 적어도 하나를 포함한다.
단계 S304에서, 상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 따라 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일을 생성하되, 상기 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 하나 또는 복수의 3D 공간 영역에 대응된다.
상기 단계 S302 내지 S304를 통해, 관련 기술에서 전반 볼류메트릭 미디어 데이터에 대한 무차별적인 액세스 및 처리로 인해, 전송 대역폭의 낭비가 발생되고, 또한 불필요한 처리 복잡도가 초래되는 과제를 해결할 수 있으며, 요구에 따라 일부분의 볼류메트릭 미디어 데이터를 처리함으로써, 전송 대역폭의 낭비를 방지하고, 또한 처리 복잡도를 낮출일 수 있다.
일 실시예에서는, 상기 단계 S302는 구체적으로,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림을 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하되, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하고, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하며, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림은 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림인 것인 단계; 를 포함할 수 있다.
예시적인 일 실시예에서는, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하는 단계는 구체적으로, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하며, 진일보로, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일을 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 패키징하며, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하되, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인용하는 것인 단계를 포함할 수 있다.
예시적인 다른 일 실시예에서는, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하는 단계는 구체적으로, 타이밍 메타데이터 비트스트림을 볼류메트릭 비주얼 타이밍 메타데이터 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하며, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 패키지 비디오 비트스트림 서브 샘플을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하되, 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인용한 것이고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인용한 것인 단계를 포함할 수 있다. 진일보로, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 패키지 비디오 비트스트림 서브 샘플을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하는 단계는 구체적으로, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림의 하나 또는 복수의 아틀라스 타일을 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 패키징하며, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하되, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 인용한 것이고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인용한 것인 단계를 포함할 수 있다.
다른 일 실시예에서는, 상기 단계 S302는, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일을 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 패키지 비디오 비트스트림 서브 샘플을 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하되, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림은 상기 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 포함하고, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하며, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계를 더 포함할 수 있다.
예시적인 일 실시예에서는, 상기 패키지 비디오 비트스트림 서브 샘플은 하나의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
예시적인 일 실시예에서는, 상기 패키지 비디오 비트스트림 서브 샘플은 하나의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
본 실시예의 다른 일 측면에 따르면, 볼류메트릭 미디어 처리 방법을 더 제공한다. 도 4는 본 출원의 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도3이다. 도 4에 도시된 바와 같이, 상기 흐름은 하기와 같은 단계 S402, S404 및 S406를 포함한다.
단계 S402에서, 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 하나 또는 복수의 아틀라스 타일을 인식하되, 상기 하나 또는 복수의 아틀라스 타일은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응된다.
단계 S404에서, 상기 볼류메트릭 비주얼 아틀라스 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득한다.
단계 S406에서, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 3D 공간 영역을 생성한다.
예시적인 일 실시예에서는, 상기 단계 S404는 구체적으로,
상기 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙의 샘플 입구의 요소에는 상기 하나 또는 복수의 아틀라스 타일의 식별자가 포함되는 것인 단계를 포함할 수 있다.
예시적인 다른 일 실시예에서는, 상기 단계 S404는 구체적으로,
상기 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하고, 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙의 샘플 입구의 요소에는 상기 하나 또는 복수의 아틀라스 타일의 식별자가 포함되되, 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계를 포함할 수 있다.
선택적인 일 실시예에서는, 상기 방법은, 상기 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하고, 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙의 서브 샘플 정보 데이터 박스에는 상기 하나 또는 복수의 아틀라스 타일의 식별자가 포함되되, 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계를 더 포함한다.
본 실시예에서는, 상기 단계 S406은 구체적으로,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 상기 하나 또는 복수의 아틀라스 타일 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림에서의 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 디코딩하는 단계를 포함할 수 있다.
상기 패키지 비디오 비트스트림 서브 샘플은 하나의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함하거나; 또는,
상기 패키지 비디오 비트스트림 서브 샘플은 하나의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
본 실시예는 비디오 코딩 볼류메트릭 미디어 처리에 사용될 수 있으며, 볼류메트릭 미디어 데이터는 ISOBMFF(ISO Base Media File Format, ISO 기본 미디어 파일 포맷) 컨테이너 파일에 저장된다. ISO 기본 미디어 파일 포맷은 여러개의 데이터 박스(Box)로 구성되고, 각 데이터 박스는 모두 유형과 길이가 있으며, 하나의 데이터 객체로 간주할 수 있다. 하나의 데이터 박스는 다른 하나의 데이터 박스를 포함할 수 있으며, 컨테이너 데이터 박스라고 칭한다. 하나의 ISO 기본 미디어 파일은 우선 파일 포맷의 플래그로서 파일의 일부 정보를 포함하는 단지 하나의 "ftyp" 유형의 데이터 박스가 있을 수 있다. 다음 단지 하나의 "MOOV" 유형의 데이터 박스(Movie Box)가 있을 수 있으며, 이는 컨테이너 데이터 박스이고, 그의 서브 데이터 박스에는 미디어의 메타데이터 정보가 포함된다. ISO 기본 미디어 파일의 미디어 데이터는 "mdat" 유형의 데이터 박스(Media Data Box)에 포함되며, 상기 "mdat" 유형의 데이터 박스도 컨테이너 데이터 박스이고, 복수개 존재할 수도 있고, 없을 수도 있으며(미디어 데이터가 전부 다른 파일을 인용할 경우), 미디어 데이터의 구성은 메타데이터로 설명한다.
타이밍 메타데이터 트랙은 ISO 기본 미디어 파일 포맷에서 특정 샘플과 연관되는 타이밍 메타데이터를 설정하는 메커니즘이다. 타이밍 메타데이터는 미디어 데이터와의 결합이 적으며, 일반적으로 설명적(descriptive)이다.
일부 실시예에서는, 볼류메트릭 비주얼 비트스트림은 ISO 기본 미디어 파일 단일 트랙에 패키징된다. 하나의 볼류메트릭 비주얼 비트스트림의 샘플은 동일한 프레젠트 시간에 속하는 하나 또는 복수의 볼류메트릭 비주얼 유닛, 즉 하나의 볼류메트릭 비주얼 액세스 유닛을 포함한다. 볼류메트릭 비주얼 유닛 헤드와 볼류메트릭 비주얼 유닛 페이로드 데이터 구성은 비트스트림에 보류될 수 있다.
일부 실시예에서는, 볼류메트릭 비주얼 비트스트림에서의 볼류메트릭 비주얼 유닛은 그 유형에 따라 ISO 기본 미디어 파일의 서로 다른 트랙에 맵핑된다. 볼류메트릭 비주얼 비트스트림의 서로 다른 부분(예를 들면, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 비디오 코딩 점유맵 서브 비트스트림, 지오메트리 서브 비트스트림, 속성 서브 비트스트림, 패키지 비디오 서브 비트스트림)은 ISO 기본 미디어 파일의 서로 다른 트랙에 맵핑된다.
다중 트랙 패키지의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일에는 3가지 유형 트랙, 즉 볼류메트릭 비주얼 아틀라스 트랙, 볼류메트릭 비주얼 아틀라스 타일 트랙 및 볼류메트릭 비주얼 비디오 컴포넌트 트랙이 있다.
볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구(V3CAtlasSampleEntry)의 샘플 입구 유형값은 "v3c1", "v3cg", "v3cb", "v3a1" 또는 "v3ag" 중의 하나이다. 하나의 볼류메트릭 비주얼 아틀라스 트랙에는 복수의 아틀라스에 속하는 네트워크 추상화 계층(Network Abstraction Layer, NAL) 유닛이 포함되어서는 안된다.
볼류메트릭 비주얼 비트스트림에 단일 아틀라스가 포함될 경우, 샘플 입구 유형이 "v3c1" 또는 "v3cg"인 볼류메트릭 비주얼 아틀라스 트랙을 사용해야 한다. 볼류메트릭 비주얼 비트스트림에 복수의 아틀라스가 포함될 경우, 각 아틀라스 서브 비트스트림은 별도의 볼류메트릭 비주얼 아틀라스 트랙으로 저장되어야 한다. 그 중에는, 하나의 샘플 입구 유형이 "v3cb"인 범용 볼류메트릭 비주얼 아틀라스 트랙이 존재하며, 상기 트랙에는 임의의 아틀라스에 대응되는 아틀라스 코딩 NAL 유닛이 포함되어서는 안된다. 다른 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구 유형은 "v3a1" 또는 "v3ag"이다.
볼류메트릭 비주얼 아틀라스 타일 트랙의 샘플 입구(V3CAtlasSampleTileEntry)의 샘플 입구 유형은 "v3t1"이다. 볼류메트릭 비주얼 아틀라스 타일 트랙에는 동일한 아틀라스에 속하는 아틀라스 코딩 NAL 유닛만 포함되어야 한다. 볼류메트릭 비주얼 아틀라스 타일 트랙은 적어도 하나의 아틀라스 타일의 아틀라스 코딩 NAL 유닛에 포함되어야 한다.
볼류메트릭 미디어의 컨테이너 파일에서, 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 제한된 샘플 입구 'resv'를 사용하여 볼류메트릭 비주얼 비디오 컴포넌트를 베어링한 제한된 비디오 코딩 데이터를 나타낸다. 여기서, 제한된 스킴 정보 데이터 박스(RestrictedSchemeInfoBox)는 스킴 유형(scheme_type)이 'vvvc'로 설정된 스킴 유형 데이터 박스(SchemeTypeBox) 및 스킴 정보 데이터 박스(SchemeInformationBox)를 포함한다.
스킴 정보 데이터 박스는 볼류메트릭 비주얼 아틀라스 타일 구성 데이터 박스(V3CAtlasTileConfigurationBox)를 포함하고, 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 대응되는 하나 또는 복수의 아틀라스 타일의 식별자를 표시하며, 하기와 같이 정의된다.
구문
class V3CAtlasTileConfigurationBox extends Box('v3cT') {
unsigned int(16) num_tiles;
for(i=0; i < num_tiles; i++){
unsigned int(16) tile_id;
}
}
시맨틱
num_tiles은 트랙에 포함되는 아틀라스 타일의 개수를 표시한다.
tile_id는 트랙에 포함되는 아틀라스 타일의 식별자를 표시한다.
본 실시예는 볼류메트릭 비주얼 비디오 컴포넌트 트랙의 제한된 샘플 입구에서 볼류메트릭 비주얼 아틀라스 타일 구성 데이터 박스에 지닌 아틀라스 타일 식별자에 따라, 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하고, 상기 하나 또는 복수의 아틀라스 타일은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응된다.
도 5는 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도1이다. 도 5에 도시된 바와 같이, 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일에는 적어도 하나의 볼류메트릭 비주얼 아틀라스 트랙이 포함되야 하며, 상기 트랙은 0개 또는 복수개의 볼류메트릭 비주얼 아틀라스 타일 트랙을 인용하거나, 또는 0개 또는 복수개의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인용한다. 볼류메트릭 비주얼 아틀라스 타일 트랙(존재할 경우)는 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인용한다.
볼류메트릭 비주얼 아틀라스 트랙에 있어서, 상기 트랙의 샘플 입구에는 볼류메트릭 비주얼 파라미터 세트 및 아틀라스 파라미터 세트가 포함된다. 상기 트랙의 샘플에는 아틀라스 서브 비트스트림에서의 NAL 유닛이 포함된다. 볼류메트릭 비주얼 아틀라스 트랙은 비디오 코딩을 베어링하는 볼류메트릭 비주얼 유닛(즉, 유닛 유형이 V3C_OVD，V3C_GVD，V3C_AVD 및 V3C_PVD인 볼류메트릭 비주얼 유닛)의 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 대한 인용을 포함할 수 있고, 볼류메트릭 비주얼 아틀라스 타일 트랙에 대한 인용을 포함할 수 있다.
0개 또는 복수개의 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 있어서, 트랙에서의 샘플은 비디오 코딩 점유맵 데이터 비트스트림의 액세스 유닛(즉, 유형이 V3C_OVD인 볼류메트릭 비주얼 유닛의 페이로드)을 포함한다.
하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 있어서, 트랙에서의 샘플은 비디오 코딩 지오메트리 데이터 비트스트림의 액세스 유닛(즉, 유형이 V3C_GVD인 볼류메트릭 비주얼 유닛의 페이로드)을 포함한다.
0개 또는 복수개의 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 있어서, 트랙에서의 샘플은 비디오 코딩 속성 데이터 비트스트림의 액세스 유닛(즉, 유형이 V3C_AVD인 볼류메트릭 비주얼 유닛의 페이로드)을 포함한다.
0개 또는 복수개의 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 있어서, 트랙에서의 샘플은 패키지 비디오 데이터 비트스트림의 액세스 유닛(즉, 유형이 V3C_PVD인 볼류메트릭 비주얼 유닛의 페이로드)을 포함한다.
종래의 미디어 데이터와는 달리, 볼류메트릭 미디어는 많은 볼류메트릭 비주얼 컴포넌트로 구성되며, 상기 볼류메트릭 미디어는 아틀라스, 점유맵, 지오메트리 및 속성을 포함한다. 재생 단말기는 볼류메트릭 미디어의 서로 다른 볼류메트릭 비주얼 컴포넌트를 동기 획득 및 디코딩하여, 볼류메트릭 미디어 데이터를 재설정 및 프레젠트해야 한다. 상기 과정은 처리 복잡도가 높아, 사용자 단말기 특히는 처리 능력이 제한적인 이동 단말기는 트랜잭션 실현 과정에서 기술적인 어려움에 직면하게 될 것이다. 다른 일 측면에서, 볼류메트릭 미디어는 사용자에게 6자유도(6-DoF)의 몰입형 미디어 체험을 제공할 수 있다. 임의의 주어진 시간에, 사용자 시청 위치 및 방향에 대응하여, 단지 일부분의 볼류메트릭 미디어만 가시적이다. 많은 애플리케이션 장면에서는 전반 볼류메트릭 미디어 데이터를 액세스, 디코딩 및 렌더링할 필요는 없다. 기존의 해결수단이 전반 볼류메트릭 미디어 데이터에 대한 무차별적인 액세스 및 처리로 인해, 전송 대역폭 낭비가 발생될 수 있을 뿐만 아니라, 불필요한 처리 복잡도가 초래될 수 있다. 상기 방법은,
볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 하나 또는 복수의 볼류메트릭 비주얼 트랙 및 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하되, 상기 하나 또는 복수의 볼류메트릭 비주얼 트랙 및 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 볼류메트릭 미디어의 하나 또는 복수의 3차원(3D) 공간 영역에 대응되는 것인 단계;
상기 하나 또는 복수의 볼류메트릭 비주얼 트랙에 패키징된 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 하나 또는 복수의 3D 공간 영역을 생성하는 단계; 를 포함한다.
실시예1: 정적 공간 영역을 포함하는 볼류메트릭 미디어 처리 방법
선택적인 실시형태1: 단일 볼류메트릭 비주얼 아틀라스 트랙
도 6은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도2이다. 도 6에 도시된 바와 같이, 볼류메트릭 비주얼 비트스트림은 ISO 기본 미디어 파일의 볼류메트릭 비주얼 아틀라스 트랙 및 패키지 비디오 컴포넌트 트랙에 패키징된다. 여기서, 볼류메트릭 비주얼 아틀라스 트랙에는 아틀라스 코딩 서브 비트스트림이 포함되고, 패키지 비디오 컴포넌트 트랙에는 볼류메트릭 비주얼 비디오 컴포넌트(예를 들면, 지오메트리 데이터, 속성 데이터 및 점유맵 데이터)의 패키지 비디오 코딩 서브 비트스트림이 포함된다. 볼류메트릭 비주얼 아틀라스 트랙에는 패키지 비디오 컴포넌트 트랙에 대한 인용이 포함된다.
도 7은 본 바람직한 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도1이다. 도 7에 도시된 바와 같이, 상기 방법은 하기와 같은 단계 S702 및 S704를 포함한다.
단계 S702에서, 볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 상기 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하되, 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 하나 또는 복수의 3차원(3D) 공간 영역에 대응된다.
단계 S704에서, 상기 볼류메트릭 비주얼 아틀라스 트랙에 패키징된 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 패키지 비디오 비트스트림 서브 샘플을 디코딩하여, 상기 볼류메트릭 미디어의 하나 또는 복수의 3D 공간 영역을 생성한다.
단계 S702에는 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 볼류메트릭 미디어의 3차원 공간 영역에 대응되는 볼류메트릭 비주얼 아틀라스 트랙 및 패키지 비디오 컴포넌트 트랙을 인식하는 단계가 기재된다. 이하, 선택적인 실시형태와 함께 볼류메트릭 비주얼 아틀라스 트랙 샘플 입구에서의 요소를 설명한다.
볼류메트릭 비주얼 아틀라스 트랙 샘플 입구에는 볼류메트릭 비주얼 공간 영역 데이터 박스(V3CspatialRegionsBox)가 포함되고, 볼류메트릭 미디어에서 정적 3차원 공간 영역 및 그의 연관되는 트랙 정보를 제공하며, 아래에 도시된 바와 같이 정의된다.
Box Types:
'vpsr'
Container:
V3CAtlasSampleEntry ('v3c1' or 'v3cg') or
DynamicVolumetricMetadataSampleEntry
Mandatory:
No
Quantity:
Zero or one
구문
aligned(8) class V3CSpatialRegionsBox extends FullBox('vpsr', 0 ,0) {
bit(1) all_tiles_in_single_track_flag;
bit(1) packed_video_track_flag;
bit(7) reserved = 0;
unsigned int(16) num_regions;
for (i=0; i < num_regions; i++) {
3dSpatialRegionStruct(1);
if (all_tiles_in_single_track_flag) {
if (packed_video_track_flag) {
unsigned int(32) packed_video_track_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16) tile_id;
}
} else {
unsigned int(8) num_track_groups;
for (j=0; j < num_track_groups; j++) {
unsigned int(32) component_track_group_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16) tile_id;
}
}
} else {
unsigned int(8) num_tile_tracks;
for (j=0; j < num_tile_tracks; j++) {
unsigned int(32) tile_track_id;
}
}
}
}
여기서, all_tiles_in_single_track_flag는 아틀라스 코딩 서브 비트스트림의 모든 아틀라스 타일이 볼류메트릭 비주얼 아틀라스 트랙에 패키징되고, 심지어 볼류메트릭 비주얼 아틀라스 타일 트랙에 별도로 패키징되는 것을 표시한다. 값 1은 모든 아틀라스 타일이 볼류메트릭 비주얼 아틀라스 트랙에 패키징되는 것을 나타내고, 값 0은 아틀라스 타일이 별도의 아틀라스 타일 트랙에 패키징되는 것을 나타낸다.
packed_video_track_flag는 볼류메트릭 비주얼 아틀라스 트랙이 패키지 비디오 컴포넌트 트랙을 인용하는지 여부를 표시한다. 값 1은 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 패키지 비디오 컴포넌트 트랙이 존재하는 것을 나타내고, 값 0은 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 패키지 비디오 컴포넌트 트랙이 존재하지 않는 것을 나타낸다.
num_regions는 볼류메트릭 미디어에서 3D 공간 영역의 개수를 표시한다.
packed_video_track_id는 3D 공간 영역과 상호 연관되는 패키지 비디오 컴포넌트 트랙 식별자를 표시한다.
num_tile은 3D 공간 영역과 상호 연관되는 아틀라스 타일의 개수를 표시한다.
tile_id는 3D 공간 영역에 대응되는 아틀라스 타일을 포함하는 아틀라스 코딩 NAL 유닛을 표시한다.
볼류메트릭 미디어 데이터에 대한 액세스 및 처리를 간략화하기 위해, 본 실시예는 볼류메트릭 비주얼 아틀라스 트랙을 위해 볼류메트릭 비주얼 공간 영역 데이터 박스를 정의하고, 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서 볼류메트릭 비주얼 공간 영역 데이터 박스에서의 정보에 기반하여 하나 또는 복수의 아틀라스 타일을 인식하며, 상기 하나 또는 복수의 아틀라스 타일은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응된다.
단계 S704에는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 아틀라스 타일에 대응되는 패키지 비디오 비트스트림 서브 샘플을 디코딩하여, 볼류메트릭 미디어의 3D 공간 영역의 볼류메트릭 비주얼 데이터를 생성하는 단계가 기재된다. 이하, 선택적인 실시형태와 함께 패키지 비디오 컴포넌트 트랙 및 패키지 비디오 비트스트림 서브 샘플을 설명한다.
패키지 비디오는 동일한 아틀라스 타일에 대응되는 각 볼류메트릭 비주얼 비디오 컴포넌트(예를 들면, 지오메트리 데이터, 속성 데이터 및 점유맵 데이터)의 오리지널 비디오 데이터를 하나 또는 복수의 패키지 비디오 프레임에 패키징하여, 하나의 패키지 비디오 데이터 비트스트림으로 코딩한다. 패키지 비디오 프레임을 사용할 경우, 볼류메트릭 미디어를 처리할 시 필요한 비디오 디코더의 개수를 효과적으로 감소할 수 있지만, 볼류메트릭 비주얼 비디오 컴포넌트의 서로 다른 유형(예를 들면, 지오메트리 데이터, 속성 데이터 및 점유맵 데이터)에 따라 패키지 비디오 프레임을 하나 또는 복수의 직사각형 영역으로 구분하여, 이를 하나의 아틀라스 타일에 정확하게 맵핑해야 한다.
패키지 비디오 데이터에 대한 액세스 및 처리를 간략화하기 위해, 본 실시예는 패키지 비디오 컴포넌트 트랙을 위해 패키지 비디오 비트스트림 서브 샘플(packed video bitstream sub-sample)을 정의한다. 패키지 비디오 비트스트림 서브 샘플의 아틀라스 타일 정보는 패키지 비디오 컴포넌트 트랙에서 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 표시하고, 상기 하나 또는 복수의 아틀라스 타일은 볼류메트릭 미디어의 3D 공간 영역에 대응된다.
패키지 비디오 컴포넌트 트랙의 샘플 테이블 데이터 박스(SampleTableBox) 또는 각 무비 프래그먼트 데이터 박스(MovieFragmentBoxes)의 트랙 프래그먼트 데이터 박스에는 하나의 서브 샘플 정보 데이터 박스(SubSampleInformationBox)가 포함되며, 그 중에는 패키지 비디오 비트스트림 서브 샘플이 나열된다.
본 실시예는 서브 샘플 정보 데이터 박스에서 "플래그"(flags) 필드의 값에 따라 패키지 비디오 비트스트림 서브 샘플을 정의한다. 여기서, "플래그" 필드는 데이터 박스에 제공되는 서브 샘플 정보의 유형을 지정하기 위한 것이다.
"플래그" 필드 값이 "0"일 경우, 볼류메트릭 비주얼 유닛에 기반하여 패키지 비디오 비트스트림 서브 샘플을 정의하며, 즉 하나의 서브 샘플에는 단지 하나의 특정 유형의 볼류메트릭 비주얼 유닛(V3C Unit)이 포함된다. 서브 샘플을 나타내는 볼류메트릭 비주얼 유닛의 32비트 유닛 헤드는 서브 샘플 정보 데이터 박스에서 서브 샘플 입구의 32비트 "코덱 특정 파라미터"(codec_specific_parameters) 필드에 복사된다. 각 서브 샘플의 볼류메트릭 비주얼 유닛의 유형은 서브 샘플 정보 뎅터 박스에서 서브 샘플 입구의 "코덱 특정 파라미터" 필드에 대한 분석을 통해 식별된다.
도 8은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도3이다. 도 8에 도시된 바와 같이, 패키지 비디오 컴포넌트 트랙의 샘플 테이블 데이터 박스에는 하나의 서브 샘플 정보 데이터 박스가 포함되며, 그 중에는 패키지 비디오 비트스트림 서브 샘플이 나열된다. 여기서, 하나의 패키지 비디오 비트스트림 서브 샘플은 패키지 비디오 비트스트림에서의 하나의 볼류메트릭 비주얼 유닛을 포함하고, 볼류메트릭 비주얼 유닛의 유형은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
"플래그" 필드 값이 "1"일 경우, 아틀라스 타일에 기반하여 패키지 비디오 비트스트림 서브 샘플을 정의하며, 즉 하나의 서브 샘플은 동일한 아틀라스 타일에 대응되는 하나 또는 복수의 연속되는 볼류메트릭 비주얼 유닛(V3C Unit)을 포함한다.
도 9는 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도4이다. 도 9에 도시된 바와 같이, 패키지 비디오 컴포넌트 트랙의 샘플 테이블 데이터 박스에는 하나의 서브 샘플 정보 데이터 박스가 포함되며, 그 중에는 패키지 비디오 비트스트림 서브 샘플이 나열된다. 여기서, 하나의 패키지 비디오 비트스트림 서브 샘플은 패키지 비디오 비트스트림에서 하나의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 유닛으로 구성되며, 볼류메트릭 비주얼 유닛의 유형은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
본 출원의 일 선택적인 실시형태에 따르면, 상기 서브 샘플 정보 데이터 박스에서의 "코덱 특정 파라미터" 필드는 하기와 같이 정의된다.
if (flags == 0) {
unsigned int(8)
tile_id;
unsigned int(2)
type_id;
if (type_id == 4) {
unsigned int(7)
attrIdx;
bit(15) reserved = 0;
}
else
bit(22) reserved = 0;
} else if (flags == 1) {
unsigned int(8)
tile_id;
bit(24) reserved = 0;
}
여기서, tile_id는 서브 샘플과 상호 연관되는 아틀라스 타일 식별자(ID)를 표시한다.
type_id는 서브 샘플에서 볼류메트릭 비주얼 유닛의 유형을 표시한다.
attrIdx는 서브 샘플에 속성 데이터 볼류메트릭 비주얼 유닛 속성 인덱스가 포함되는 것을 표시한다.
본 실시예는 상기 서브 샘플 정보 데이터 박스에서의 아틀라스 타일의 식별자에 따라, 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 인식하되, 상기 하나 또는 복수의 아틀라스 타일은 볼류메트릭 미디어의 3D 공간 영역에 대응된다.
선택적인 실시형태2: 볼류메트릭 비주얼 아틀라스 타일 트랙
도 10은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도5이다. 도 10에 도시된 바와 같이, 볼류메트릭 비주얼 비트스트림은 ISO 기본 미디어 파일의 볼류메트릭 비주얼 아틀라스 트랙, 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙 및 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된다. 여기서, 볼류메트릭 비주얼 아틀라스 트랙 및 볼류메트릭 비주얼 아틀라스 타일 트랙에는 아틀라스 코딩 서브 비트스트림이 포함되고, 패키지 비디오 컴포넌트 트랙에는 볼류메트릭 비주얼 비디오 컴포넌트(예를 들면, 지오메트리 데이터, 속성 데이터 및 점유맵 데이터)의 패키지 비디오 코딩 서브 비트스트림이 포함된다. 볼류메트릭 비주얼 아틀라스 트랙에는 볼류메트릭 비주얼 아틀라스 타일 트랙에 대한 인용이 포함되고, 볼류메트릭 비주얼 아틀라스 타일 트랙에는 패키지 비디오 컴포넌트 트랙에 대한 인용이 포함된다.
도 11은 본 바람직한 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도2이다. 도 11에 도시된 바와 같이, 상기 방법은 하기와 같은 단계 1102 및 1104를 포함한다.
단계 1102에서, 볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙과 관련되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하되, 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 하나 또는 복수의 3차원(3D) 공간 영역에 대응된다.
단계 1104에서, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 패키징된 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 패키지 비디오 비트스트림 서브 샘플을 디코딩하여, 상기 볼류메트릭 미디어의 하나 또는 복수의 3D 공간 영역을 생성한다.
단계 1102에는 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 볼류메트릭 미디어의 3차원 공간 영역에 대응되는 볼류메트릭 비주얼 아틀라스 타일 트랙 및 패키지 비디오 컴포넌트 트랙을 인식하는 단계가 기재된다. 이하, 선택적인 실시형태와 함께 볼류메트릭 비주얼 아틀라스 트랙 샘플 입구에서의 요소를 설명한다.
볼류메트릭 비주얼 아틀라스 트랙 샘플 입구에는 "볼류메트릭 비주얼 공간 영역 데이터 박스(V3CspatialRegionsBox)"가 포함되고, "볼류메트릭 비주얼 공간 영역 데이터 박스"는 볼류메트릭 미디어에서 정적 3차원 공간 영역 및 그의 연관되는 트랙 정보를 제공하며, 하기와 같이 정의된다.
Box Types:
'vpsr'
Container:
V3CAtlasSampleEntry ('v3c1' or 'v3cg') or
DynamicVolumetricMetadataSampleEntry
Mandatory:
No
Quantity:
Zero or one
구문
aligned(8) class V3CSpatialRegionsBox extends FullBox('vpsr', 0 ,0) {
bit(1) all_tiles_in_single_track_flag;
bit(1) packed_video_track_flag;
bit(7) reserved = 0;
unsigned int(16) num_regions;
for (i=0; i < num_regions; i++) {
3dSpatialRegionStruct(1);
if (all_tiles_in_single_track_flag) {
unsigned int(8) num_track_groups;
for (j=0; j < num_track_groups; j++) {
unsigned int(32) component_track_group_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16) tile_id;
}
}
} else {
unsigned int(8) num_tile_tracks;
for (j=0; j < num_tile_tracks; j++) {
if (packed_video_track_flag) {
unsigned int(32) packed_video_track_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16) tile_id;
}
} else {
unsigned int(32) tile_track_id;
}
}
}
}
}
여기서, all_tiles_in_single_track_flag는 아틀라스 코딩 서브 비트스트림의 모든 아틀라스 타일이 볼류메트릭 비주얼 아틀라스 트랙에 패키징되고, 심지어 볼류메트릭 비주얼 아틀라스 타일 트랙에 별도로 패키징되는 것을 표시한다. 값 1은 모든 아틀라스 타일이 볼류메트릭 비주얼 아틀라스 트랙에 패키징되는 것을 나타내고, 값 0은 아틀라스 타일이 별도의 아틀라스 타일 트랙에 패키징되는 것을 나타낸다.
packed_video_track_flag는 볼류메트릭 비주얼 아틀라스 트랙이 패키지 비디오 컴포넌트 트랙을 인용하는지 여부를 표시한다. 값 1은 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 패키지 비디오 컴포넌트 트랙이 존재하는 것을 나타내고, 값 0은 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 패키지 비디오 컴포넌트 트랙이 존재하지 않는 것을 나타낸다.
num_regions는 볼류메트릭 미디어에서 3D 공간 영역의 개수를 표시한다.
packed_video_track_id는 3D 공간 영역과 상호 연관되는 패키지 비디오 컴포넌트 트랙 식별자를 표시한다.
num_tile은 3D 공간 영역과 상호 연관되는 아틀라스 타일의 개수를 표시한다.
tile_id는 3D 공간 영역에 대응되는 아틀라스 타일을 포함하는 아틀라스 코딩 NAL 유닛을 표시한다.
단계 1104에는 볼류메트릭 비주얼 아틀라스 타일 트랙에 패키징된 아틀라스 코딩 서브 비트스트림에서의 아틀라스 타일 및 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 아틀라스 타일에 대응되는 패키지 비디오 비트스트림 서브 샘플을 디코딩하여, 볼류메트릭 미디어의 3D 공간 영역의 볼류메트릭 비주얼 데이터를 생성하는 단계가 기재된다.
선택적인 실시형태3: 복수의 볼류메트릭 비주얼 아틀라스 트랙
도 12는 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도6이다. 도 12에 도시된 바와 같이, 볼류메트릭 비주얼 비트스트림은 ISO 기본 미디어 파일의 복수의 볼류메트릭 비주얼 아틀라스 트랙(그 중에는, 하나의 범용 볼류메트릭 비주얼 아틀라스 트랙이 존재함) 및 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된다. 여기서, 볼류메트릭 비주얼 아틀라스 트랙에는 아틀라스 코딩 서브 비트스트림이 포함되고, 패키지 비디오 컴포넌트 트랙에는 볼류메트릭 비주얼 비디오 컴포넌트(예를 들면, 지오메트리 데이터, 속성 데이터 및 점유맵 데이터)의 패키지 비디오 코딩 서브 비트스트림이 포함된다. 범용 볼류메트릭 비주얼 아틀라스 트랙에는 다른 볼류메트릭 비주얼 아틀라스 트랙에 대한 인용이 포함되고, 다른 볼류메트릭 비주얼 아틀라스 트랙에는 패키지 비디오 컴포넌트 트랙에 대한 인용이 포함된다.
볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 범용 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 범용 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하되, 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 하나 또는 복수의 3차원(3D) 공간 영역에 대응된다.
볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 범용 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 범용 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 인식하되, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙은 상기 볼류메트릭 미디어의 하나 또는 복수의 3차원(3D) 공간 영역에 대응된다.
이하, 선택적인 실시형태와 함께 범용 볼류메트릭 비주얼 아틀라스 트랙 샘플 입구에서의 요소를 설명한다.
범용 볼류메트릭 비주얼 아틀라스 트랙 샘플 입구에는 "볼류메트릭 비주얼 공간 영역 데이터 박스"(V3CspatialRegionsBox)가 포함되고, "볼류메트릭 비주얼 공간 영역 데이터 박스"는 볼류메트릭 미디어에서 정적 3차원 공간 영역 및 그의 연관되는 트랙 정보를 제공하며, 하기와 같이 정의된다.
Box Types:
'vpsr'
Container:
V3CAtlasSampleEntry ('v3cb') or
DynamicVolumetricMetadataSampleEntry
Mandatory:
No
Quantity:
Zero or one
구문
aligned(8) class V3CSpatialRegionsBox extends FullBox('vpsr', 0 ,0) {
bit(1) all_tiles_in_single atlas_flag;
bit(1) all_tiles_in_single_track_flag;
bit(6) reserved = 0;
unsigned int(16) num_regions;
for (i=0; i < num_regions; i++) {
3dSpatialRegionStruct(1);
if (!all_tiles_in_single atlas_flag) {
unsigned int(8) num_v3c tracks;
for (j=0; j < num v3c tracks; j++) {
bit(1) packed_video_track_flag;
if (packed_video_track_flag) {
unsigned int(32) packed video track_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16) tile_id;
}
}else {
if (all_tiles_in_single_track_flag) {
unsigned int(8) num_track_groups;
for (j=0; j < num_track_groups; j++) {
unsigned int(32) component_track_group_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16) tile_id;
}
}
} else {
unsigned int(8) num_tile_tracks;
for (j=0; j < num_tile_tracks; j++) {
unsigned int(32) tile_track_id;
}
}
}
}
}
}
}
여기서, all_tiles_in_single atlas_flag는 아틀라스 코딩 서브 비트스트림의 모든 아틀라스 타일이 하나의 볼류메트릭 비주얼 아틀라스 트랙에 패키징되고, 심지어 서로 다른 볼류메트릭 비주얼 아틀라스 트랙에 패키징되는 것을 표시한다. 값 1은 모든 아틀라스 타일이 하나의 볼류메트릭 비주얼 아틀라스 트랙에 패키징되는 것을 나타내고, 값 0은 아틀라스 타일이 서로 다른 아틀라스 타일 트랙에 패키징되는 것을 나타낸다.
all_tiles_in_single_track_flag는 아틀라스 코딩 서브 비트스트림의 모든 아틀라스 타일이 볼류메트릭 비주얼 아틀라스 트랙에 패키징되고, 심지어 볼류메트릭 비주얼 아틀라스 타일 트랙에 별도로 패키징되는 것을 표시한다. 값 1은 모든 아틀라스 타일이 볼류메트릭 비주얼 아틀라스 트랙에 패키징되는 것을 나타내고, 값 0은 아틀라스 타일이 별도의 아틀라스 타일 트랙에 패키징되는 것을 나타낸다.
num_regions는 볼류메트릭 미디어에서 3D 공간 영역의 개수를 표시한다.
num_v3c_tracks은 볼류메트릭 미디어에서 3D 공간 영역의 개수를 표시한다.
packed_video_track_flag는 볼류메트릭 비주얼 아틀라스 트랙이 패키지 비디오 컴포넌트 트랙을 인용하는지 여부를 표시한다. 값 1은 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 패키지 비디오 컴포넌트 트랙이 존재하는 것을 나타내고, 값 0은 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 패키지 비디오 컴포넌트 트랙이 존재하지 않는 것을 나타낸다.
packed_video_track_id는 3D 공간 영역과 상호 연관되는 패키지 비디오 컴포넌트 트랙 식별자를 표시한다.
num_tile은 3D 공간 영역과 상호 연관되는 아틀라스 타일의 개수를 표시한다.
tile_id는 3D 공간 영역에 대응되는 아틀라스 타일을 포함하는 아틀라스 코딩 NAL 유닛을 표시한다.
실시예2: 동적 공간 영역을 포함하는 볼류메트릭 미디어 처리 방법
선택적인 실시형태1: 단일 볼류메트릭 비주얼 아틀라스 트랙
도 13은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도7이다. 도 13에 도시된 바와 같이, 본 출원의 선택적인 실시형태로서, 볼류메트릭 비주얼 비트스트림은 ISO 기본 미디어 파일의 볼류메트릭 비주얼 아틀라스 트랙 및 패키지 비디오 컴포넌트 트랙에 패키징된다. 여기서, 볼류메트릭 비주얼 아틀라스 트랙에는 아틀라스 코딩 서브 비트스트림이 포함되고, 패키지 비디오 컴포넌트 트랙에는 볼류메트릭 비주얼 비디오 컴포넌트(예를 들면, 지오메트리 데이터, 속성 데이터 및 점유맵 데이터)의 패키지 비디오 코딩 서브 비트스트림이 포함된다. 볼류메트릭 비주얼 아틀라스 트랙에는 패키지 비디오 컴포넌트 트랙에 대한 인용이 포함된다.
볼류메트릭 비주얼 아틀라스 트랙이 연관되는 타이밍 메타데이터 트랙을 갖고, 또한 그의 샘플 입구 유형이 "dyvm"일 경우, 볼류메트릭 비주얼 아틀라스 트랙에 패키징된 볼류메트릭 미디어에서의 3D 공간 영역은 동적 영역(즉, 공간 영역 정보는 동적으로 변화될 수 있음)으로 간주하게 될 것이다. 아틀라스 비트스트림을 포함하는 볼류메트릭 비주얼 아틀라스 트랙을 인용하기 위해, 연관되는 타이밍 메타데이터 트랙은 하나의 "cdsc" 트랙 인용을 포함해야 한다.
도 14는 본 바람직한 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도3이다. 도 14에 도시된 바와 같이, 상기 방법은 하기와 같은 단계 1402 및 1404를 포함한다.
단계 1402에서, 타이밍 메타데이터 트랙의 샘플 입구 유형에 기반하여 볼류메트릭 비주얼 타이밍 메타데이터 트랙을 인식하고, 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙의 샘플 입구 또는 샘플에서의 요소에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙에 의해 인용되는 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하되, 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 하나 또는 복수의 3차원(3D) 공간 영역에 대응된다.
단계 1404에서, 상기 볼류메트릭 비주얼 아틀라스 트랙에 패키징된 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 패키지 비디오 비트스트림 서브 샘플을 디코딩하여, 상기 볼류메트릭 미디어의 하나 또는 복수의 3D 공간 영역을 생성한다.
단계 1402에는 볼류메트릭 비주얼 타이밍 메타데이터 트랙의 샘플 입구 또는 샘플에서의 요소에 기반하여 볼류메트릭 미디어의 3차원 공간 영역에 대응되는 볼류메트릭 비주얼 아틀라스 트랙 및 패키지 비디오 컴포넌트 트랙을 인식하는 단계가 기재된다. 이하, 선택적인 실시형태와 함께 볼류메트릭 비주얼 타이밍 메타데이터 트랙 샘플 입구 및 샘플에서의 요소를 설명한다.
볼류메트릭 비주얼 타이밍 메타데이터 트랙의 샘플 입구 및 그의 샘플 포맷은 하기와 같이 정의된다.
샘플 입구
aligned(8) class DynamicVolumetricMetadataSampleEntry extends MetaDataSampleEntry('dyvm') {
V3CSpatialRegionsBox();
}
샘플 포맷
구문
aligned(8) class V3CVolumetricMetadataSample() {
bit(1) region_updates_flag;
bit(1) packed_video_track_flag;
bit(6) reserved = 0;
if (region_updates_flag) {
unsigned int(16) num_regions;
for (i=0; i < num_regions; i++) {
3DSpatialRegionStruct(dimensions_included_flag);
bit(1) update_mapping_flag;
bit(7) reserved = 0;
if (update_mapping_flag) {
if (all_tiles_in_single_track_flag) {
if (packed_video_track_flag) {
unsigned int(32) packed_video_track_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16)
tile_id;
}
} else {
unsigned int(8) num_track_groups;
for (j=0; j < num_track_groups; j++) {
unsigned int(32) component_track_group_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16)
tile_id;
}
}
} else {
unsigned int(8) num_tile_tracks;
for (j=0; j < num_tile_tracks; j++) {
unsigned int(32) tile_track_id;
}
}
}
}
}
}
여기서, region_updates_flag는 타이밍 메타데이터 샘플이 3D 공간 영역의 업데이트를 포함하는지 여부를 표시한다.
update_mapping_flag는 공간 영역과 아틀라스 타일 간 맵핑의 업데이트 여부를 표시한다. 값 1은 업데이트가 존재하는 맵핑을 나타내고, 값 0은 업데이트가 없음을 나타낸다.
num_regions은 볼류메트릭 미디어에서 3D 공간 영역의 개수를 표시한다.
packed_video_track_flag는 볼류메트릭 비주얼 아틀라스 트랙이 패키지 비디오 컴포넌트 트랙을 인용하는지 여부를 표시한다. 값 1은 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 패키지 비디오 컴포넌트 트랙이 존재하는 것을 나타내고, 값 0은 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 패키지 비디오 컴포넌트 트랙이 존재하지 않는 것을 나타낸다.
all_tiles_in_single_track_flag는 아틀라스 코딩 서브 비트스트림의 모든 아틀라스 타일이 볼류메트릭 비주얼 아틀라스 트랙에 패키징되고, 심지어 볼류메트릭 비주얼 아틀라스 타일 트랙에 별도로 패키징되는 것을 표시한다. 값 1은 모든 아틀라스 타일이 볼류메트릭 비주얼 아틀라스 트랙에 패키징되는 것을 나타내고, 값 0은 아틀라스 타일이 별도의 아틀라스 타일 트랙에 패키징되는 것을 나타낸다.
packed_video_track_id는 3D 공간 영역과 상호 연관되는 패키지 비디오 컴포넌트 트랙 식별자를 표시한다.
num_tile은 3D 공간 영역과 상호 연관되는 아틀라스 타일의 개수를 표시한다.
tile_id는 3D 공간 영역에 대응되는 아틀라스 타일을 포함하는 아틀라스 코딩 NAL 유닛을 표시한다.
선택적인 실시형태2: 볼류메트릭 비주얼 아틀라스 타일 트랙
도 15는 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도8이다. 도 15에 도시된 바와 같이, 본 출원의 선택적인 실시형태로서, 볼류메트릭 비주얼 비트스트림은 ISO 기본 미디어 파일의 볼류메트릭 비주얼 아틀라스 트랙, 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙 및 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된다. 여기서, 볼류메트릭 비주얼 아틀라스 트랙 및 볼류메트릭 비주얼 아틀라스 타일 트랙에는 아틀라스 코딩 서브 비트스트림이 포함되고, 패키지 비디오 컴포넌트 트랙에는 볼류메트릭 비주얼 비디오 컴포넌트(예를 들면, 지오메트리 데이터, 속성 데이터 및 점유맵 데이터)의 패키지 비디오 코딩 서브 비트스트림이 포함된다. 볼류메트릭 비주얼 아틀라스 트랙에는 볼류메트릭 비주얼 아틀라스 타일 트랙에 대한 인용이 포함되고, 볼류메트릭 비주얼 아틀라스 타일 트랙에는 패키지 비디오 컴포넌트 트랙에 대한 인용이 포함된다.
볼류메트릭 비주얼 아틀라스 트랙이 연관되는 타이밍 메타데이터 트랙을 갖고, 또한 그의 샘플 입구 유형이 "dyvm"일 경우, 볼류메트릭 비주얼 아틀라스 트랙에 패키징된 볼류메트릭 미디어에서의 3D 공간 영역은 동적 영역(즉, 공간 영역 정보는 동적으로 변화될 수 있음)으로 간주하게 될 것이다. 아틀라스 비트스트림을 포함하는 볼류메트릭 비주얼 아틀라스 트랙을 인용하기 위해, 연관되는 타이밍 메타데이터 트랙은 하나의 "cdsc" 트랙 인용을 포함해야 한다.
도 16은 본 바람직한 실시예에 따른 볼류메트릭 미디어 처리 방법의 흐름도5이다. 도 16에 도시된 바와 같이, 상기 방법은 하기와 같은 단계 1602 및 1604를 포함한다.
단계 1602에서, 타이밍 메타데이터 트랙의 샘플 입구 유형에 기반하여 볼류메트릭 비주얼 타이밍 메타데이터 트랙을 인식하고, 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙의 샘플 입구 또는 샘플에서의 요소에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙에 의해 인용되는 볼류메트릭 비주얼 아틀라스 트랙의 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙과 관련되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하되, 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 하나 또는 복수의 3차원(3D) 공간 영역에 대응된다.
단계 1604에서, 상기 볼류메트릭 비주얼 아틀라스 타일 트랙에 패키징된 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 패키지 비디오 비트스트림 서브 샘플을 디코딩하여, 상기 볼류메트릭 미디어의 하나 또는 복수의 3D 공간 영역을 생성한다.
단계 1602에는 볼류메트릭 비주얼 타이밍 메타데이터 트랙의 샘플 입구 또는 샘플에서의 요소에 기반하여 볼류메트릭 미디어의 3차원 공간 영역에 대응되는 볼류메트릭 비주얼 아틀라스 타일 트랙 및 패키지 비디오 컴포넌트 트랙을 인식하는 단계가 기재된다. 이하, 선택적인 실시형태와 함께 볼류메트릭 비주얼 타이밍 메타데이터 트랙 샘플 입구 및 샘플에서의 요소를 설명한다.
볼류메트릭 비주얼 타이밍 메타데이터 트랙의 샘플 입구 및 그의 샘플 포맷은 하기와 같이 정의된다.
샘플 입구
aligned(8) class DynamicVolumetricMetadataSampleEntry extends MetaDataSampleEntry('dyvm') {
V3CSpatialRegionsBox();
}
샘플 포맷
구문
aligned(8) class V3CVolumetricMetadataSample() {
bit(1) region_updates_flag;
bit(1) packed_video_track_flag;
bit(6) reserved = 0;
if (region_updates_flag) {
unsigned int(16) num_regions;
for (i=0; i < num_regions; i++) {
3DSpatialRegionStruct(dimensions_included_flag);
bit(1) update_mapping_flag;
bit(7) reserved = 0;
if (update_mapping_flag) {
if (all_tiles_in_single_track_flag) {
unsigned int(8) num_track_groups;
for (j=0; j < num_track_groups; j++) {
unsigned int(32) component_track_group_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16)
tile_id;
}
}
} else {
unsigned int(8) num_tile_tracks;
for (j=0; j < num_tile_tracks; j++) {
if (packed_video_track_flag) {
unsigned int(32) packed_video_track_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16)
tile_id;
}
} else {
unsigned int(32) tile_track_id;
}
}
}
}
}
}
}
선택적인 실시형태3: 복수의 볼류메트릭 비주얼 아틀라스 트랙
도 17은 본 실시예에 따른 다중 트랙 패키지의 볼류메트릭 비주얼 컨테이너 파일의 예시도9이다. 도 17에 도시된 바와 같이, 본 출원의 선택적인 실시형태로서, 볼류메트릭 비주얼 비트스트림은 ISO 기본 미디어 파일의 복수의 볼류메트릭 비주얼 아틀라스 트랙(그 중에는, 하나의 범용 볼류메트릭 비주얼 아틀라스 트랙이 존재함), 및 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된다. 여기서, 볼류메트릭 비주얼 아틀라스 트랙에는 아틀라스 코딩 서브 비트스트림이 포함되고, 패키지 비디오 컴포넌트 트랙에는 볼류메트릭 비주얼 비디오 컴포넌트(예를 들면, 지오메트리 데이터, 속성 데이터 및 점유맵 데이터)의 패키지 비디오 코딩 서브 비트스트림이 포함된다. 범용 볼류메트릭 비주얼 아틀라스 트랙에는 다른 볼류메트릭 비주얼 아틀라스 트랙에 대한 인용이 포함되고, 다른 볼류메트릭 비주얼 아틀라스 트랙에는 패키지 비디오 컴포넌트 트랙에 대한 인용이 포함된다.
볼류메트릭 비주얼 아틀라스 트랙이 연관되는 타이밍 메타데이터 트랙을 갖고, 또한 그의 샘플 입구 유형이 "dyvm"일 경우, 볼류메트릭 비주얼 아틀라스 트랙에 패키징된 볼류메트릭 미디어에서의 3D 공간 영역은 동적 영역(즉, 공간 영역 정보는 동적으로 변화될 수 있음)으로 간주하게 될 것이다. 아틀라스 비트스트림을 포함하는 볼류메트릭 비주얼 아틀라스 트랙을 인용하기 위해, 연관되는 타이밍 메타데이터 트랙은 하나의 "cdsc" 트랙 인용을 포함해야 한다.
볼류메트릭 비주얼 타이밍 메타 데이터 트랙의 샘플 입구 또는 샘플에서의 요소에 기반하여 볼류메트릭 미디어의 3차원 공간 영역에 대응되는 볼류메트릭 비주얼 아틀라스 트랙 및 패키지 비디오 컴포넌트 트랙을 인식한다.
볼류메트릭 비주얼 타이밍 메타 데이터 트랙의 샘플 입구 또는 샘플에서의 요소에 기반하여 볼류메트릭 미디어의 3차원 공간 영역에 대응되는 볼류메트릭 비주얼 아틀라스 트랙 및 볼류메트릭 비주얼 아틀라스 타일 트랙을 인식한다.
이하, 선택적인 실시형태와 함께 볼류메트릭 비주얼 타이밍 메타데이터 트랙 샘플 입구 및 샘플에서의 요소를 설명한다.
샘플 입구
aligned(8) class DynamicVolumetricMetadataSampleEntry extends MetaDataSampleEntry('dyvm') {
V3CSpatialRegionsBox();
}
샘플 포맷
구문
aligned(8) class V3CVolumetricMetadataSample() {
bit(1) region_updates_flag;
bit(6) reserved = 0;
if (region_updates_flag) {
unsigned int(16) num_regions;
for (i=0; i < num_regions; i++) {
3DSpatialRegionStruct(dimensions_included_flag);
bit(1) update_mapping_flag;
bit(7) reserved = 0;
if (update_mapping_flag) {
if (!all_tiles_in_single atlas_flag) {
unsigned int(8) num_v3c tracks;
for (j=0; j < num v3c tracks; j++) {
bit(1) packed_video_track_flag;
if (packed_video_track_flag) {
unsigned int(32) packed video track_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16) tile_id;
}
}else {
if (all_tiles_in_single_track_flag) {
unsigned int(8) num_track_groups;
for (j=0; j < num_track_groups; j++) {
unsigned int(32) component_track_group_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16)
tile_id;
}
}
} else {
unsigned int(8) num_tile_tracks;
for (j=0; j < num_tile_tracks; j++) {
unsigned int(32) tile_track_id;
}
}
}
}
}
}
}
}
}
여기서, region_updates_flag는 타이밍 메타데이터 샘플이 3D 공간 영역의 업데이트를 포함하는지 여부를 표시한다.
update_mapping_flag는 공간 영역과 아틀라스 타일 간 맵핑의 업데이트 여부를 표시한다. 값 1은 업데이트가 존재하는 맵핑을 나타내고, 값 0은 업데이트가 없음을 나타낸다.
all_tiles_in_single atlas_flag는 아틀라스 코딩 서브 비트스트림의 모든 아틀라스 타일이 하나의 볼류메트릭 비주얼 아틀라스 트랙에 패키징되고, 심지어 서로 다른 볼류메트릭 비주얼 아틀라스 트랙에 패키징되는 것을 표시한다. 값 1은 모든 아틀라스 타일이 하나의 볼류메트릭 비주얼 아틀라스 트랙에 패키징되는 것을 나타내고, 값 0은 아틀라스 타일이 서로 다른 아틀라스 타일 트랙에 패키징되는 것을 나타낸다.
num_regions은 볼류메트릭 미디어에서 3D 공간 영역의 개수를 표시한다.
num_v3c_tracks은 볼류메트릭 미디어에서 3D 공간 영역의 개수를 표시한다.
all_tiles_in_single_track_flag는 아틀라스 코딩 서브 비트스트림의 모든 아틀라스 타일이 볼류메트릭 비주얼 아틀라스 트랙에 패키징되고, 심지어 볼류메트릭 비주얼 아틀라스 타일 트랙에 별도로 패키징되는 것을 표시한다. 값 1은 모든 아틀라스 타일이 볼류메트릭 비주얼 아틀라스 트랙에 패키징되는 것을 나타내고, 값 0은 아틀라스 타일이 별도의 아틀라스 타일 트랙에 패키징되는 것을 나타낸다.
packed_video_track_flag는 볼류메트릭 비주얼 아틀라스 트랙이 패키지 비디오 컴포넌트 트랙을 인용하는지 여부를 표시한다. 값 1은 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 패키지 비디오 컴포넌트 트랙이 존재하는 것을 나타내고, 값 0은 볼류메트릭 비주얼 아틀라스 트랙과 관련되는 패키지 비디오 컴포넌트 트랙이 존재하지 않는 것을 나타낸다.
packed_video_track_id는 3D 공간 영역과 상호 연관되는 패키지 비디오 컴포넌트 트랙 식별자를 표시한다.
num_tile은 3D 공간 영역과 연관되는 아틀라스 타일의 개수를 표시한다.
tile_id는 3D 공간 영역에 대응되는 아틀라스 타일을 포함하는 아틀라스 코딩 NAL 유닛을 표시한다.
본 실시예의 다른 일 측면에 따르면, 볼류메트릭 미디어 처리 장치를 더 제공한다. 도 18은 본 실시예에 따른 볼류메트릭 미디어 처리 장치의 블록도1이다. 도 18에 도시된 바와 같이, 상기 장치는 제1 인식 모듈(182), 제1 패키지 해제 모듈(184) 및 제1 디코딩 모듈(186)을 포함한다.
제1 인식 모듈(182)은, 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하도록 구성하되, 상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응된다.
제1 패키지 해제 모듈(184)은, 상기 볼류메트릭 비주얼 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 또한 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득하도록 구성된다.
제1 디코딩 모듈(186)은, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 3D 공간 영역의 볼류메트릭 비주얼 데이터를 생성하도록 구성된다.
예시적인 일 실시예에서는, 상기 제1 인식 모듈(182)은,
상기 볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 기반하여 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하도록 구성하되, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하고, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것이다.
예시적인 일 실시예에서는, 상기 제1 인식 모듈(182)은, 제1 인식 서브 모듈 또는 제2 인식 서브 모듈을 포함한다.
제1 인식 서브 모듈은, 상기 볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 상기 볼류메트릭 비주얼 아틀라스 트랙에 의해 인용되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하도록 구성된다.
제2 인식 서브 모듈은, 상기 볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 의해 인용되는 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 의해 인용되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하도록 구성된다.
예시적인 일 실시예에서는, 상기 제1 인식 모듈(182)은,
볼류메트릭 비주얼 타이밍 메타데이터 트랙에 기반하여 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 기반하여 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하도록 더 구성하되, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하고, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것이다.
예시적인 일 실시예에서는, 상기 제1 인식 모듈(182)은 제3 인식 서브 모듈 또는 제4 인식 서브 모듈을 포함한다.
제3 인식 서브 모듈은, 타이밍 메타데이터 트랙의 샘플 입구 유형에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙을 인식하며, 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙의 샘플 입구 또는 샘플에서의 요소에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙에 의해 인용되는 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 의해 인용되는 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하도록 구성된다.
제4 인식 서브 모듈은, 타이밍 메타데이터 트랙의 샘플 입구 유형에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙을 인식하며, 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙의 샘플 입구 또는 샘플에서의 요소에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙에 의해 인용되는 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 의해 인용되는 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 인식하며, 또한 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 의해 인용되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하도록 구성된다.
예시적인 일 실시예에서는, 상기 제1 디코딩 모듈(186)은,
상기 볼류메트릭 비주얼 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하도록 더 구성된다.
예시적인 일 실시예에서, 상기 제1 디코딩 모듈(186)은 제1 디코딩 서브 모듈 또는 제2 디코딩 서브 모듈을 포함한다.
제1 디코딩 서브 모듈은, 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징된 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 디코딩하도록 구성하되, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림은 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림이고, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하며, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것이다.
제2 디코딩 서브 모듈은, 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 패키징된 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림을 디코딩하도록 구성하되, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 포함하고, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것이다.
예시적인 일 실시예에서는, 상기 제1 디코딩 모듈(186)은,
하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 디코딩하도록 더 구성하되, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림은 상기 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 포함하고, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하며, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것이다.
예시적인 일 실시예에서는, 상기 패키지 비디오 비트스트림 서브 샘플은 하나의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
예시적인 일 실시예에서는, 상기 패키지 비디오 비트스트림 서브 샘플은 하나의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
예시적인 일 실시예에서는, 상기 비디오 코딩 서브 비트스트림은 점유맵 데이터 비트스트림, 지오메트리 데이터 비트스트림, 속성 데이터 비트스트림 및 패키지 비디오 데이터 비트스트림 중의 적어도 하나를 포함한다.
본 실시예의 다른 일 측면에 따르면, 볼류메트릭 미디어 처리 장치를 더 제공한다. 도 19는 본 실시예에 따른 볼류메트릭 미디어 처리 장치의 블록도2이다. 도 19에 도시된 바와 같이, 상기 장치는 패키지 모듈(192) 및 생성 모듈(194)를 포함한다.
패키지 모듈(192)은, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 볼류메트릭 비주얼 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징하도록 구성된다.
생성 모듈(194)은, 상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 따라 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일을 생성하도록 구성하되, 상기 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 하나 또는 복수의 3D 공간 영역에 대응된다.
예시적인 일 실시예에서는, 상기 패미지 모듈(192)은 제1 패키지 서브 모듈을 포함한다.
제1 패키지 서브 모듈은, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림을 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하도록 구성하되, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하고, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하며, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림은 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림인 것이다.
예시적인 일 실시예에서는, 상기 제1 패키지 서브 모듈은 제1 패키지 유닛을 포함한다.
제1 패키지 유닛은, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하도록 구성된다.
예시적인 일 실시예에서는, 상기 제1 패키지 유닛은,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일을 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 패키징하며, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하도록 더 구성하되, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인용한다.
예시적인 일 실시예에서는, 상기 제1 패키지 서브 모듈은 제2 패키지 유닛을 포함한다.
제2 패키지 유닛은, 타이밍 메타데이터 비트스트림을 볼류메트릭 비주얼 타이밍 메타데이터 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하며, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 패키지 비디오 비트스트림 서브 샘플을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하도록 구성하되, 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인용하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인용한다.
예시적인 일 실시예에서는, 상기 제2 패키지 유닛은,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림의 하나 또는 복수의 아틀라스 타일을 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 패키징하며, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하도록 더 구성하되, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 인용하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인용한다.
예시적인 일 실시예에서는, 상기 패키지 모듈(192)은 제2 패키지 서브 모듈을 포함한다.
제2 패키지 서브 모듈은, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일을 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 패키지 비디오 비트스트림 서브 샘플을 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하도록 구성하되, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림은 상기 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 포함하고, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하며, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하한다.
예시적인 일 실시예에서는, 상기 패키지 비디오 비트스트림 서브 샘플은 하나의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
예시적인 일 실시예에서는, 상기 패키지 비디오 비트스트림 서브 샘플은 하나의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
예시적인 일 실시예에서는, 상기 비디오 코딩 서브 비트스트림은 점유맵 데이터 비트스트림, 지오메트리 데이터 비트스트림, 속성 데이터 비트스트림 및 패키지 비디오 데이터 비트스트림 중의 적어도 하나를 포함한다.
본 실시예의 다른 일 측면에 따르면, 볼류메트릭 미디어 처리 장치를 더 제공한다. 도 20은 본 실시예에 따른 볼류메트릭 미디어 처리 장치의 블록도3이다. 도 20에 도시된 바와 같이, 상기 장치는 제2 인식 모듈(202), 제2 패키지 해제 모듈(204) 및 제2 디코딩 모듈(206)을 포함한다.
제2 인식 모듈(202)은, 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 하나 또는 복수의 아틀라스 타일을 인식하도록 구성하되, 상기 하나 또는 복수의 아틀라스 타일은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응된다.
제2 패키지 해제 모듈(204)은, 상기 볼류메트릭 비주얼 아틀라스 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득하도록 구성된다.
제2 디코딩 모듈(206)은, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 3D 공간 영역을 생성하도록 구성된다.
예시적인 일 실시예에서는, 상기 제2 패키지 해제 모듈(204)은,
상기 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하도록 더 구성하되, 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙의 샘플 입구의 요소에는 상기 하나 또는 복수의 아틀라스 타일의 식별자가 포함한다.
예시적인 다른 일 실시예에서는, 상기 제2 패키지 해제 모듈(204)은,
상기 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하도록 더 구성하되, 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙의 샘플 입구의 요소에는 상기 하나 또는 복수의 아틀라스 타일의 식별자가 포함되고, 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함한다.
예시적인 일 실시예에서는, 상기 장치는 제3 인식 모듈을 더 포함한다.
제3 인식 모듈은, 상기 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하도록 구성하되, 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙의 서브 샘플 정보 데이터 박스에는 상기 하나 또는 복수의 아틀라스 타일의 식별자가 포함되고, 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함한다.
예시적인 일 실시예에서는, 상기 제2 디코딩 모듈(206)은,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 상기 하나 또는 복수의 아틀라스 타일 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림에서의 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 디코딩하도록 더 구성된다.
예시적인 일 실시예에서는, 상기 패키지 비디오 비트스트림 서브 샘플은 하나의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
예시적인 다른 일 실시예에서는, 상기 패키지 비디오 비트스트림 서브 샘플은 하나의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함한다.
본 실시예에서는, 상기 비디오 코딩 서브 비트스트림은 점유맵 데이터 비트스트림, 지오메트리 데이터 비트스트림, 속성 데이터 비트스트림 및 패키지 비디오 데이터 비트스트림 중의 적어도 하나를 포함한다.
본 출원의 실시예는 컴퓨터 판독가능 저장 매체를 더 제공한다. 상기 컴퓨터 판독가능 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램은 실행 시 상술한 어느 한 항의 방법 실시예에서의 단계를 수행하도록 구성된다.
예시적인 일 실시예에서는, 상기 컴퓨터 판독가능 저장 매체는 USB 메모리, 리드 온리 메모리(Read-Only Memory, ROM으로 약칭함), 랜덤 액세스 메모리(Random Access Memory, RAM으로 약칭함), 이동식 하드디스크, 자기 디스크 또는 광 디스크 등 컴퓨터 프로그램을 저장할 수 있는 다양한 매체를 포함할 수 있으며, 이에 한정되지 않는다.
본 출원의 실시예는 전자 장치를 더 제공한다. 상기 전자 장치는 메모리 및 프로세서를 포함하며, 상기 메모리에는 컴퓨터 프로그램이 저장되어 있고, 상기 프로세서는 컴퓨터 프로그램을 실행하여 상술한 어느 한 항의 방법 실시예에서의 단계를 수행하도록 구성된다.
예시적인 일 실시예에서는, 상기 전자 장치는 상기 프로세서와 연결되는 전송 장치 및 상기 프로세서와 연결되는 입출력 장치를 더 포함할 수 있다.
본 실시예에서의 구체적인 예시는 상기 실시예 및 예시적인 실시형태에서 설명된 예시를 참조할 수 있으며, 본 실시예는 여기에서 설명을 생략한다.
자명한 것은, 상기 본 출원의 각 모듈 또는 각 단계는 범용의 컴퓨터 장치로 실현할 수 있으며, 이들은 단일 컴퓨터 장치에 집중되거나, 또는 복수의 컴퓨터 장치로 구성된 네트워크에 분산될 수 있고, 이들은 컴퓨터 장치에서 실행될 수 있는 프로그램 코드로 실현할 수 있으므로, 이들을 저장 장치에 저장하여 컴퓨터 장치에서 실행할 수 있다. 또한 어떤 경우에는, 도시되거나 설명된 단계를 여기에서와 다른 순서로 실행하거나, 또는 이들을 각 집적회로 모듈로 각각 제조하거나, 또는 이들 중의 복수의 모듈 또는 단계를 단일 집적회로 모듈로 제조하여 실현할 수 있음을 당업자는 알아야 한다. 이와 같이, 본 출원은 그 어떤 특정된 하드웨어 및 소프트웨어의 결합에도 한정되지 않는다.
이상은 본 출원의 바람직한 실시예일 뿐, 본 출원을 한정하기 위한 것은 아니며, 본 출원은 당업자에 의해 다양하게 변경 및 변화될 수 있다. 본 출원의 원칙 내에서 진행되는 임의의 수정, 균등교체, 개선 등은 모두 본 출원의 보호범위 내에 포함되어야 한다.
Claims (34)
- 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하되, 상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응되는 것인 단계;
상기 볼류메트릭 비주얼 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 또한 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득하는 단계;
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 3D 공간 영역을 생성하는 단계; 를 포함하는 볼류메트릭 미디어 처리 방법. - 제1항에 있어서,
볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하는 단계는,
상기 볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 기반하여 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하되, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하고, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계를 포함하는 볼류메트릭 미디어 처리 방법. - 제2항에 있어서,
상기 볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 기반하여 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하는 단계는,
상기 볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 상기 볼류메트릭 비주얼 아틀라스 트랙에 의해 인용되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하는 단계; 또는
상기 볼류메트릭 비주얼 트랙의 샘플 입구 유형에 기반하여 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 의해 인용되는 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 의해 인용되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하는 단계; 를 포함하는 볼류메트릭 미디어 처리 방법. - 제1항에 있어서,
볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하는 단계는,
볼류메트릭 비주얼 타이밍 메타데이터 트랙에 기반하여 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 기반하여 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하되, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하고, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계를 포함하는 볼류메트릭 미디어 처리 방법. - 제4항에 있어서,
상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙에 기반하여 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 기반하여 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하는 단계는,
타이밍 메타데이터 트랙의 샘플 입구 유형에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙을 인식하며, 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙의 샘플 입구 또는 샘플에서의 요소에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙에 의해 인용되는 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 의해 인용되는 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하는 단계; 또는,
타이밍 메타데이터 트랙의 샘플 입구 유형에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙을 인식하며, 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙의 샘플 입구 또는 샘플에서의 요소에 기반하여 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙에 의해 인용되는 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 의해 인용되는 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 인식하며, 또한 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 의해 인용되는 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하는 단계; 를 포함하는 볼류메트릭 미디어 처리 방법. - 제1항에 있어서,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하는 단계는,
상기 볼류메트릭 비주얼 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하는 단계를 포함하는 볼류메트릭 미디어 처리 방법. - 제6항에 있어서,
상기 볼류메트릭 비주얼 아틀라스 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 상기 하나 또는 복수의 패키지 비디오 코딩 서브 비트스트림을 디코딩하는 단계는,
하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징된 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 디코딩하되, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림은 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림이고, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하며, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계; 또는,
하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 패키징된 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림을 디코딩하되, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 포함하고, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계; 를 더 포함하는 볼류메트릭 미디어 처리 방법. - 제1항에 있어서,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하는 단계는,
하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일 및 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징된 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 디코딩하되, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림은 상기 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 포함하고, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하며, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계; 를 포함하는 볼류메트릭 미디어 처리 방법. - 제8항에 있어서,
상기 패키지 비디오 비트스트림 서브 샘플은 하나의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함하는 것인 볼류메트릭 미디어 처리 방법. - 제8항에 있어서,
상기 패키지 비디오 비트스트림 서브 샘플은 하나의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함하는 것인 볼류메트릭 미디어 처리 방법. - 제1항 내지 제10항 중의 어느 한 항에 있어서,
상기 비디오 코딩 서브 비트스트림은 점유맵 데이터 비트스트림, 지오메트리 데이터 비트스트림, 속성 데이터 비트스트림 및 패키지 비디오 데이터 비트스트림 중의 적어도 하나를 포함하는 볼류메트릭 미디어 처리 방법. - 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 볼류메트릭 비주얼 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징하는 단계;
상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 따라 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일을 생성하되, 상기 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 하나 또는 복수의 3D 공간 영역에 대응되는 것인 단계; 를 포함하는 볼류메트릭 미디어 처리 방법. - 제12항에 있어서,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 볼류메트릭 비주얼 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징하는 단계는,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림을 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하되, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하고, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하며, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림은 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림인 것인 단계; 를 포함하는 볼류메트릭 미디어 처리 방법. - 제13항에 있어서,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하는 단계는,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하는 단계를 포함하는 볼류메트릭 미디어 처리 방법. - 제14항에 있어서,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하는 단계는,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일을 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 패키징하며, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하되, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인용하는 것인 단계를 포함하는 볼류메트릭 미디어 처리 방법. - 제13항에 있어서,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 상기 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하는 단계는,
타이밍 메타데이터 비트스트림을 볼류메트릭 비주얼 타이밍 메타데이터 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하며, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 패키지 비디오 비트스트림 서브 샘플을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하되, 상기 볼류메트릭 비주얼 타이밍 메타데이터 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 인용한 것이고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인용한 것인 단계를 포함하는 볼류메트릭 미디어 처리 방법. - 제16항에 있어서,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하며, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 패키지 비디오 비트스트림 서브 샘플을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하는 단계는,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림의 하나 또는 복수의 아틀라스 타일을 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙에 패키징하며, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 서브 비트스트림을 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하되, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙을 인용한 것이고, 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 타일 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인용한 것인 단계를 포함하는 볼류메트릭 미디어 처리 방법. - 제12항에 있어서,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 상기 볼류메트릭 비주얼 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징하는 단계는,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 하나 또는 복수의 아틀라스 타일을 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 패키지 비디오 비트스트림 서브 샘플을 하나 또는 복수의 패키지 비디오 컴포넌트 트랙에 패키징하되, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림은 상기 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 포함하고, 상기 볼류메트릭 비주얼 트랙은 상기 하나 또는 복수의 볼류메트릭 비주얼 아틀라스 트랙을 포함하며, 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계를 포함하는 볼류메트릭 미디어 처리 방법. - 제18항에 있어서,
상기 패키지 비디오 비트스트림 서브 샘플은 하나의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함하는 볼류메트릭 미디어 처리 방법. - 제18항에 있어서,
상기 패키지 비디오 비트스트림 서브 샘플은 하나의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함하는 볼류메트릭 미디어 처리 방법. - 제12항 내지 제20항 중의 어느 한 항에 있어서,
상기 비디오 코딩 서브 비트스트림은 점유맵 데이터 비트스트림, 지오메트리 데이터 비트스트림, 속성 데이터 비트스트림 및 패키지 비디오 데이터 비트스트림 중의 적어도 하나를 포함하는 볼류메트릭 미디어 처리 방법. - 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 하나 또는 복수의 아틀라스 타일을 인식하되, 상기 하나 또는 복수의 아틀라스 타일은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응되는 것인 단계;
상기 볼류메트릭 비주얼 아틀라스 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득하는 단계;
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 3D 공간 영역을 생성하는 단계; 를 포함하는 볼류메트릭 미디어 처리 방법. - 제22항에 있어서,
상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득하는 단계는,
상기 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하고, 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙의 샘플 입구의 요소에는 상기 하나 또는 복수의 아틀라스 타일의 식별자가 포함되는 것인 단계를 포함하는 볼류메트릭 미디어 처리 방법. - 제22항에 있어서,
상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 획득하는 단계는,
상기 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하고, 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙의 샘플 입구의 요소에는 상기 하나 또는 복수의 아틀라스 타일의 식별자가 포함되되, 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계를 포함하는 볼류메트릭 미디어 처리 방법. - 제22항에 있어서,
상기 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 인식하고, 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙의 서브 샘플 정보 데이터 박스에는 상기 하나 또는 복수의 아틀라스 타일의 식별자가 포함되되, 상기 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 하나 또는 복수의 패키지 비디오 컴포넌트 트랙을 포함하는 것인 단계를 더 포함하는 볼류메트릭 미디어 처리 방법. - 제22항에 있어서,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하는 단계는,
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에서의 상기 하나 또는 복수의 아틀라스 타일 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림에서의 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 패키지 비디오 비트스트림 서브 샘플을 디코딩하는 단계를 포함하는 볼류메트릭 미디어 처리 방법. - 제26항에 있어서,
상기 패키지 비디오 비트스트림 서브 샘플은 하나의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함하는 것인 볼류메트릭 미디어 처리 방법. - 제26항에 있어서,
상기 패키지 비디오 비트스트림 서브 샘플은 하나의 볼류메트릭 비주얼 유닛을 포함하되, 상기 볼류메트릭 비주얼 유닛은 적어도 지오메트리 데이터, 속성 데이터 및 점유맵 데이터를 포함하는 볼류메트릭 미디어 처리 방법. - 제22항 내지 제28항 중의 어느 한 항에 있어서,
상기 비디오 코딩 서브 비트스트림은 점유맵 데이터 비트스트림, 지오메트리 데이터 비트스트림, 속성 데이터 비트스트림 및 패키지 비디오 데이터 비트스트림 중의 적어도 하나를 포함하는 볼류메트릭 미디어 처리 방법. - 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 인식하되, 상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응되도록 구성되는 제1 인식 모듈;
상기 볼류메트릭 비주얼 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 또한 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 얻도록 구성되는 제1 패키지 해제 모듈;
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 3D 공간 영역의 볼류메트릭 비주얼 데이터를 생성하도록 구성되는 제1 디코딩 모듈; 을 포함하는 볼류메트릭 미디어 처리 장치. - 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 볼류메트릭 비주얼 트랙에 패키징하고, 상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림에 대응되는 하나 또는 복수의 비디오 코딩 서브 비트스트림을 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 패키징하도록 구성되는 패키지 모듈;
상기 볼류메트릭 비주얼 트랙과 상기 볼류메트릭 비주얼 비디오 컴포넌트 트랙에 따라 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일을 생성하되, 상기 볼류메트릭 비주얼 트랙과 볼류메트릭 비주얼 비디오 컴포넌트 트랙은 상기 볼류메트릭 미디어의 하나 또는 복수의 3D 공간 영역에 대응되도록 구성되는 생성 모듈; 을 포함하는 볼류메트릭 미디어 처리 장치. - 볼류메트릭 미디어의 볼류메트릭 비주얼 비트스트림의 컨테이너 파일로부터 볼류메트릭 비주얼 아틀라스 트랙을 인식하고, 상기 볼류메트릭 비주얼 아틀라스 트랙의 샘플 입구에서의 요소에 기반하여 하나 또는 복수의 아틀라스 타일을 인식하되, 상기 하나 또는 복수의 아틀라스 타일은 상기 볼류메트릭 미디어의 3D 공간 영역에 대응되도록 구성되는 제2 인식 모듈;
상기 볼류메트릭 비주얼 아틀라스 트랙을 패키지 해제하여, 하나 또는 복수의 아틀라스 코딩 서브 비트스트림을 획득하고, 상기 하나 또는 복수의 아틀라스 타일에 대응되는 하나 또는 복수의 볼류메트릭 비주얼 비디오 컴포넌트 트랙을 패키지 해제하여, 하나 또는 복수의 비디오 코딩 서브 비트스트림을 얻도록 구성되는 제2 패키지 해제 모듈;
상기 하나 또는 복수의 아틀라스 코딩 서브 비트스트림 및 상기 하나 또는 복수의 비디오 코딩 서브 비트스트림을 디코딩하여, 상기 볼류메트릭 미디어의 3D 공간 영역을 생성하도록 구성되는 제2 디코딩 모듈; 을 포함하는 볼류메트릭 미디어 처리 장치. - 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 저장 매체로서,
상기 컴퓨터 프로그램을 실행할 시 제1항 내지 제11항, 제12항 내지 제21항 및 제22항 내지 제29항 중의 어느 한 항에 따른 방법을 수행하도록 구성되는 컴퓨터 판독가능 저장 매체. - 메모리 및 프로세서를 포함하는 전자 장치로서,
상기 메모리에는 컴퓨터 프로그램이 저장되고, 상기 프로세서는 상기 컴퓨터 프로그램을 실행하여 제1항 내지 제11항, 제12항 내지 제21항 및 제22항 내지 제29항 중의 어느 한 항에 따른 방법을 수행하도록 구성되는 전자 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110098943.2 | 2021-01-25 | ||
| CN202110098943.2A CN112887733A (zh) | 2021-01-25 | 2021-01-25 | 一种容积媒体处理方法、装置、存储介质及电子装置 |
| PCT/CN2021/140959 WO2022156482A1 (zh) | 2021-01-25 | 2021-12-23 | 一种容积媒体处理方法、装置、存储介质及电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230136639A true KR20230136639A (ko) | 2023-09-26 |
Family
ID=76051784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237029095A KR20230136639A (ko) | 2021-01-25 | 2021-12-23 | 볼류메트릭 미디어 처리 방법, 장치, 저장 매체 및 전자 장치 |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP4283996A1 (ko) |
| JP (1) | JP2024504421A (ko) |
| KR (1) | KR20230136639A (ko) |
| CN (1) | CN112887733A (ko) |
| WO (1) | WO2022156482A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112887733A (zh) * | 2021-01-25 | 2021-06-01 | 中兴通讯股份有限公司 | 一种容积媒体处理方法、装置、存储介质及电子装置 |
| CN115618027A (zh) * | 2021-07-12 | 2023-01-17 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、计算机及可读存储介质 |
| CN115623183A (zh) * | 2021-07-12 | 2023-01-17 | 腾讯科技（深圳）有限公司 | 容积媒体的数据处理方法、装置、设备以及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003049450A2 (en) * | 2001-12-04 | 2003-06-12 | Koninklijke Philips Electronics N.V. | Methods for multimedia content repurposing |
| GB2562488A (en) * | 2017-05-16 | 2018-11-21 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| WO2020070379A1 (en) * | 2018-10-03 | 2020-04-09 | Nokia Technologies Oy | Method and apparatus for storage and signaling of compressed point clouds |
| WO2020251154A1 (ko) * | 2019-06-12 | 2020-12-17 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| CN114097241A (zh) * | 2019-07-02 | 2022-02-25 | Vid拓展公司 | 流传输服务中的体积内容分量子比特流的动态适配 |
| KR102292195B1 (ko) * | 2019-07-04 | 2021-08-24 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| CN112887733A (zh) * | 2021-01-25 | 2021-06-01 | 中兴通讯股份有限公司 | 一种容积媒体处理方法、装置、存储介质及电子装置 |
-
2021
- 2021-01-25 CN CN202110098943.2A patent/CN112887733A/zh active Pending
- 2021-12-23 KR KR1020237029095A patent/KR20230136639A/ko unknown
- 2021-12-23 WO PCT/CN2021/140959 patent/WO2022156482A1/zh active Application Filing
- 2021-12-23 EP EP21920856.8A patent/EP4283996A1/en active Pending
- 2021-12-23 JP JP2023544695A patent/JP2024504421A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN112887733A (zh) | 2021-06-01 |
| EP4283996A1 (en) | 2023-11-29 |
| WO2022156482A1 (zh) | 2022-07-28 |
| JP2024504421A (ja) | 2024-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11200701B2 (en) | Method and apparatus for storage and signaling of static point cloud data | |
| KR20230136639A (ko) | 볼류메트릭 미디어 처리 방법, 장치, 저장 매체 및 전자 장치 | |
| US11412267B2 (en) | Storage of multiple atlases from one V-PCC elementary stream in ISOBMFF | |
| CN112534825A (zh) | 用于传输媒体内容的方法、装置和计算机程序 | |
| WO2022068672A1 (zh) | 点云数据处理方法、装置、存储介质及电子装置 | |
| US20240054682A1 (en) | Three-Dimensional Point Cloud Data Processing Method and Apparatus, Storage Medium and Electronic Apparatus | |
| CN115398926A (zh) | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 | |
| WO2023029858A1 (zh) | 点云媒体文件的封装与解封装方法、装置及存储介质 | |
| WO2023207119A1 (zh) | 沉浸媒体的处理方法、装置、设备及存储介质 | |
| US20220215616A1 (en) | File format for point cloud data | |
| CN112771878B (zh) | 处理媒体数据的方法、客户端和服务器 | |
| CN115396647B (zh) | 一种沉浸媒体的数据处理方法、装置、设备及存储介质 | |
| US20220360828A1 (en) | Volumetric media process methods and apparatus | |
| CN114731416A (zh) | 用于对体积视频进行编码、传输和解码的方法和装置 | |
| CN115086635B (zh) | 多视角视频的处理方法、装置、设备及存储介质 | |
| WO2023024839A1 (zh) | 媒体文件封装与解封装方法、装置、设备及存储介质 | |
| WO2023169003A1 (zh) | 点云媒体的解码方法、点云媒体的编码方法及装置 | |
| CN117082262A (zh) | 点云文件封装与解封装方法、装置、设备及存储介质 | |
| KR20220123280A (ko) | 3차원 콘텐츠 프로세싱 방법들 및 장치 |