KR20230002615A - 비디오 기반 포인트 클라우드 스트림들을 위한 isobmff 컨테이너들에서의 부분 액세스 지원 - Google Patents
비디오 기반 포인트 클라우드 스트림들을 위한 isobmff 컨테이너들에서의 부분 액세스 지원 Download PDFInfo
- Publication number
- KR20230002615A KR20230002615A KR1020227039232A KR20227039232A KR20230002615A KR 20230002615 A KR20230002615 A KR 20230002615A KR 1020227039232 A KR1020227039232 A KR 1020227039232A KR 20227039232 A KR20227039232 A KR 20227039232A KR 20230002615 A KR20230002615 A KR 20230002615A
- Authority
- KR
- South Korea
- Prior art keywords
- pcc
- track
- tiles
- spatial region
- atlas
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000013507 mapping Methods 0.000 claims abstract description 35
- 238000005192 partition Methods 0.000 claims abstract description 6
- 238000000638 solvent extraction Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 59
- 230000015654 memory Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 21
- 230000011664 signaling Effects 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 13
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 230000003068 static effect Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 241000760358 Enodes Species 0.000 description 4
- 239000000969 carrier Substances 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 208000037540 Alveolar soft tissue sarcoma Diseases 0.000 description 2
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 208000008524 alveolar soft part sarcoma Diseases 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- WXNXCEHXYPACJF-ZETCQYMHSA-N N-acetyl-L-leucine Chemical group CC(C)C[C@@H](C(O)=O)NC(C)=O WXNXCEHXYPACJF-ZETCQYMHSA-N 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
비디오 기반 포인트 클라우드 스트림들에 대한 ISOBMFF 컨테이너들에서의 부분 액세스 지원을 위한 시스템들, 디바이스들 및 방법들이 본 명세서에서 기술된다. 비디오 인코딩 디바이스는 3D 공간을 제1 공간 영역 및 제2 공간 영역으로 파티셔닝할 수 있다. 비디오 인코딩 디바이스는 제1 공간 영역을 V-PCC 타일들의 제1 세트에 그리고 제2 공간 영역을 V-PCC 타일들의 제2 세트에 맵핑시킬 수 있다. 비디오 인코딩 디바이스는 V-PCC 타일들의 제1 세트에 맵핑되는 제1 공간 영역과 연관된 제1 맵핑 정보를 전달하기 위한 제1 트랙을 결정할 수 있다. 비디오 인코딩 디바이스는 V-PCC 파일들의 제2 세트에 맵핑되는 제2 공간 영역과 연관된 제2 맵핑 정보를 전달하기 위한 제2 트랙을 결정할 수 있다. 비디오 인코딩 디바이스는 타임드 메타데이터 V-PCC 비트스트림으로 제1 트랙 및 제2 트랙을 전송할 수 있다.
Description
관련 출원들에 대한 상호 참조
본 출원은 2020년 4월 14일자로 출원된 미국 특허 가출원 제63/009,931호, 2020년 6월 23일자로 출원된 미국 특허 가출원 제63/042,892호, 2020년 8월 7일자로 출원된 미국 특허 가출원 제63/062,983호, 및 2020년 10월 5일자로 출원된 미국 특허 가출원 제63/087,425호의 이익을 주장하며, 이들의 개시내용은 그 전체가 본 명세서에 참고로 포함된다.
포인트 클라우드는 각각의 포인트의 위치 및 속성들을 나타내는 좌표들을 사용하여 3D 공간에서 표현되는 포인트들의 세트를 포함할 수 있다. 포인트 클라우드들에 기초하여 객체들 및 장면들을 재구성하는 것은 수백만 개의 포인트들을 프로세싱하는 것을 요구할 수 있다. 효율적인 압축은 포인트 클라우드 데이터를 저장 및 송신하는 것에 필수적일 수 있다.
비디오 기반 포인트 클라우드 압축(video-based point cloud compression, V-PCC) 비트스트림들은 V-PCC 유닛들의 시퀀스를 포함할 수 있다. 각각의 V-PCC 유닛은 V-PCC 헤더 및 V-PCC 페이로드를 포함할 수 있다. V-PCC 헤더는 V-PCC 유닛 유형을 설명할 수 있는 반면, V-PCC 페이로드는 V-PCC 유닛 유형과 연관된 데이터를 제공할 수 있다. V-PCC 유닛들의 시퀀스는 V-PCC 비트스트림으로 비디오 디코더로 시그널링될 수 있다. 현재 V-PCC 시그널링은 V-PCC 시퀀스의 소정 유형들의 액세스(예컨대, 부분 액세스)에 적절하지 않을 수 있다.
비디오 기반 포인트 클라우드 스트림들에 대한 ISOBMFF(International Organization for Standardization Base Media File Format) 컨테이너들에서의 부분 액세스 지원을 위한 시스템들, 디바이스들 및 방법들이 본 명세서에서 기술된다. 파일 포맷 구조들은 코딩된 포인트 클라우드 시퀀스의 상이한 부분들(예컨대, ISOBMFF 컨테이너에 캡슐화됨)에 대한 유연한 부분적 액세스를 가능하게 할 수 있다.
비디오 인코딩 디바이스는 3D 공간을 제1 공간 영역 및 제2 공간 영역으로 파티셔닝할 수 있다. 비디오 인코딩 디바이스는 제1 공간 영역을 비디오 기반 포인트 클라우드 압축(V-PCC) 타일들의 제1 세트에 그리고 제2 공간 영역을 V-PCC 타일들의 제2 세트에 맵핑시킬 수 있다. V-PCC 타일들의 제1 세트 및 V-PCC 타일들의 제2 세트의 각각은 아틀라스 프레임과 연관될 수 있다. V-PCC 타일들의 제1 세트 및 V-PCC 타일들의 제2 세트의 각각은 독립적으로 디코딩가능할 수 있다. 제1 공간 영역을 V-PCC 타일들의 제1 세트에 그리고 제2 공간 영역을 V-PCC 타일들의 제2 세트에 각각 맵핑시키는 것은 타일 식별들 및/또는 트랙 식별들에 기초할 수 있다. V-PCC 타일들의 제1 세트는 패치들의 제1 세트와 연관될 수 있고, V-PCC 타일들의 제2 세트는 패치들의 제2 세트와 연관될 수 있다. 비디오 인코딩 디바이스는 V-PCC 타일들의 제1 세트에 맵핑되는 제1 공간 영역과 연관된 제1 맵핑 정보를 전달하기 위한 제1 트랙을 결정할 수 있다. 비디오 인코딩 디바이스는 V-PCC 타일들의 제2 세트에 맵핑되는 제2 공간 영역과 연관된 제2 맵핑 정보를 전달하기 위한 제2 트랙을 결정할 수 있다. 비디오 인코딩 디바이스는 타임드 메타데이터(timed-metadata) V-PCC 비트스트림으로 제1 트랙 및 제2 트랙을 전송할 수 있다. 제1 트랙 및 제2 트랙은 매체 컨테이너 파일로 전송될 수 있다.
비디오 인코딩 디바이스는 업데이트 치수 플래그를 결정할 수 있다. 업데이트 치수 플래그는 제1 공간 영역의 하나 이상의 치수들에 대한 업데이트 또는 제2 공간 영역의 하나 이상의 치수들에 대한 업데이트를 나타낼 수 있다. 비디오 인코딩 디바이스는 타임드 메타데이터 V-PCC 비트스트림으로 업데이트 치수 플래그를 전송할 수 있다.
제1 공간 영역은 제1 객체와 연관될 수 있다. 제2 공간 영역은 제2 객체와 연관될 수 있다. 비디오 인코딩 디바이스는 하나 이상의 객체 플래그들을 결정할 수 있다. 비디오 인코딩 디바이스는 타임드 메타데이터 V-PCC 비트스트림으로 객체 플래그(들)를 전송할 수 있다. 비디오 인코딩 디바이스는 제1 공간 영역과 연관된 제1 객체가 제2 공간 영역과 연관된 제2 객체에 의존함을 나타내는 객체 의존성 플래그를 결정할 수 있고, 타임드 메타데이터 V-PCC 비트스트림으로 객체 의존성 플래그를 전송할 수 있다. 비디오 인코딩 디바이스는 제1 공간 영역과 연관된 제1 객체에 대한 업데이트 또는 제2 공간 영역과 연관된 제2 객체에 대한 업데이트를 나타내는 업데이트 객체 플래그를 결정할 수 있고, 타임드 메타데이터 V-PCC 비트스트림으로 업데이트 객체 플래그를 전송할 수 있다.
도 1a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템을 예시하는 시스템도이다.
도 1b는 실시예에 따라 도 1a에 예시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 송수신 유닛(wireless transmit/receive unit, WTRU)을 예시하는 시스템도이다.
도 1c는 실시예에 따라 도 1a에 예시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 액세스 네트워크(radio access network, RAN) 및 예시적인 코어 네트워크(core network, CN)를 예시하는 시스템도이다.
도 1d는 실시예에 따라 도 1a에 예시된 통신 시스템 내에서 사용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN을 예시하는 시스템도이다.
도 2는 블록 기반 비디오 인코더의 일례를 보여주는 도면이다.
도 3은 비디오 디코더의 일례를 보여주는 도면이다.
도 4는 다양한 태양들 및 예들이 구현될 수 있는 시스템의 일례를 보여주는 도면이다.
도 5는 서버와 클라이언트 사이의 예시적인 인터페이스를 보여주는 도면이다.
도 6은 서버와 클라이언트 사이의 예시적인 인터페이스를 보여주는 도면이다.
도 7은 클라이언트(예컨대, 헤드 마운트 디스플레이(head-mounted display, HMD)에 의해 콘텐츠를 요청하는 일례를 보여주는 도면이다.
도 8은 비디오 기반 포인트 클라우드 압축(V-PCC) 유닛들의 시퀀스로서 V-PCC 비트스트림 구조의 일례를 보여주는 도면이다.
도 9는 아틀라스 프레임의 타일 및 타일 그룹 파티셔닝의 일례를 보여주는 도면이다.
도 10은 다중-트랙 ISOBMFF V-PCC 컨테이너의 예시적인 구조를 보여주는 도면이다.
도 11은 3차원(3D) 공간과 연관된 아틀라스 프레임의 타일 맵핑의 일례를 도시한다.
도 1b는 실시예에 따라 도 1a에 예시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 송수신 유닛(wireless transmit/receive unit, WTRU)을 예시하는 시스템도이다.
도 1c는 실시예에 따라 도 1a에 예시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 액세스 네트워크(radio access network, RAN) 및 예시적인 코어 네트워크(core network, CN)를 예시하는 시스템도이다.
도 1d는 실시예에 따라 도 1a에 예시된 통신 시스템 내에서 사용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN을 예시하는 시스템도이다.
도 2는 블록 기반 비디오 인코더의 일례를 보여주는 도면이다.
도 3은 비디오 디코더의 일례를 보여주는 도면이다.
도 4는 다양한 태양들 및 예들이 구현될 수 있는 시스템의 일례를 보여주는 도면이다.
도 5는 서버와 클라이언트 사이의 예시적인 인터페이스를 보여주는 도면이다.
도 6은 서버와 클라이언트 사이의 예시적인 인터페이스를 보여주는 도면이다.
도 7은 클라이언트(예컨대, 헤드 마운트 디스플레이(head-mounted display, HMD)에 의해 콘텐츠를 요청하는 일례를 보여주는 도면이다.
도 8은 비디오 기반 포인트 클라우드 압축(V-PCC) 유닛들의 시퀀스로서 V-PCC 비트스트림 구조의 일례를 보여주는 도면이다.
도 9는 아틀라스 프레임의 타일 및 타일 그룹 파티셔닝의 일례를 보여주는 도면이다.
도 10은 다중-트랙 ISOBMFF V-PCC 컨테이너의 예시적인 구조를 보여주는 도면이다.
도 11은 3차원(3D) 공간과 연관된 아틀라스 프레임의 타일 맵핑의 일례를 도시한다.
이제, 예시적인 실시예들 대한 상세한 설명이 다양한 도면들을 참조하여 설명될 것이다. 이러한 설명은 가능한 구현들의 상세한 예를 제공하지만, 상세사항들은 예시적인 것으로 의도되고 어떠한 방식으로도 본 출원의 범주를 제한하지 않는다는 것에 유의해야 한다.
도 1a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템(100)을 예시하는 도면이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 방송 등과 같은 콘텐츠를 다수의 무선 사용자에게 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(100)은 다수의 무선 사용자가 무선 대역폭을 포함한 시스템 자원들의 공유를 통해 그러한 콘텐츠에 액세스하는 것을 가능하게 할 수 있다. 예를 들어, 통신 시스템들(100)은 CDMA(code division multiple access), TDMA(time division multiple access), FDMA(frequency division multiple access), OFDMA(orthogonal FDMA), SC-FDMA(single-carrier FDMA), ZT UW DTS-s OFDM(zero-tail unique-word DFT-Spread OFDM), UW-OFDM(unique word OFDM), 자원 블록 필터링된 OFDM, FBMC(filter bank multicarrier) 등과 같은 하나 이상의 채널 액세스 방법들을 채용할 수 있다.
도 1a에 도시된 바와 같이, 통신 시스템(100)은 무선 송수신 유닛(WTRU)들(102a, 102b, 102c, 102d), RAN(104/113), CN(106/115), 공중 교환 전화망(public switched telephone network, PSTN)(108), 인터넷(110) 및 다른 네트워크들(112)을 포함할 수 있지만, 개시된 실시예들은 임의의 수의 WTRU들, 기지국들, 네트워크들 및/또는 네트워크 요소들을 고려한다는 것이 이해될 것이다. WTRU들(102a, 102b, 102c, 102d) 각각은 무선 환경에서 동작하고/하거나 통신하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로서, WTRU들(102a, 102b, 102c, 102d) - 이들 중 임의의 것은 "스테이션(station)" 및/또는 "STA"라고 지칭될 수 있음 - 은 무선 신호들을 송신하도록 그리고/또는 수신하도록 구성될 수 있고, 사용자 장비(user equipment, UE), 이동국, 고정 또는 이동 가입자 유닛, 가입 기반 유닛, 페이저, 셀룰러 전화, PDA(personal digital assistant), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 핫스폿 또는 Mi-Fi 디바이스, 사물 인터넷(Internet of Things, IoT) 디바이스, 시계 또는 다른 웨어러블, HMD(head-mounted display), 차량, 드론, 의료 디바이스 및 응용들(예컨대, 원격 수술), 산업 디바이스 및 응용들(예컨대, 산업 및/또는 자동화된 프로세싱 체인 정황들에서 동작하는 로봇 및/또는 다른 무선 디바이스들), 가전 디바이스, 상업 및/또는 산업 무선 네트워크들 상에서 동작하는 디바이스 등을 포함할 수 있다. WTRU들(102a, 102b, 102c, 및 102d) 중 임의의 것은 UE로 교환가능하게 지칭될 수 있다.
통신 시스템들(100)은 또한 기지국(114a) 및/또는 기지국(114b)을 포함할 수 있다. 기지국들(114a, 114b) 각각은, CN(106/115), 인터넷(110), 및/또는 다른 네트워크들(112)과 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU들(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이싱하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로서, 기지국들(114a, 114b)은 BTS(base transceiver station), 노드 B, eNode B, 홈 노드 B, 홈 eNode B, gNB, NR NodeB, 사이트 제어기, 액세스 포인트(access point, AP), 무선 라우터 등일 수 있다. 기지국들(114a, 114b)은 각각 단일 요소로서 도시되지만, 기지국들(114a, 114b)은 임의의 수의 상호 접속된 기지국들 및/또는 네트워크 요소들을 포함할 수 있음을 알 것이다.
기지국(114a)은 기지국 제어기(base station controller, BSC), 무선 네트워크 제어기(radio network controller, RNC), 중계 노드들 등과 같은 다른 기지국들 및/또는 네트워크 요소들(도시되지 않음)을 또한 포함할 수 있는 RAN(104/113)의 일부일 수 있다. 기지국(114a) 및/또는 기지국(114b)은 하나 이상의 반송파 주파수들 상에서 무선 신호들을 송신하고/하거나 수신하도록 구성될 수 있으며, 이는 셀(도시되지 않음)로 지칭될 수 있다. 이러한 주파수들은 면허 스펙트럼 및 무면허 스펙트럼 또는 면허 스펙트럼과 무면허 스펙트럼의 조합 내에 있을 수 있다. 셀은 비교적 고정될 수 있거나 시간 경과에 따라 변할 수 있는 특정 지리 영역에 대한 무선 서비스를 위한 커버리지를 제공할 수 있다. 셀은 셀 섹터들로 더욱 분할될 수 있다. 예를 들어, 기지국(114a)과 연관된 셀은 3개의 섹터로 분할될 수 있다. 따라서, 일 실시예에서, 기지국(114a)은 3개의 송수신기, 즉 셀의 각각의 섹터에 대해 하나씩을 포함할 수 있다. 일 실시예에서, 기지국(114a)은 다중 입력 다중 출력(multiple-input multiple-output, MIMO) 기술을 채용할 수 있고, 셀의 각각의 섹터를 위해 다수의 송수신기들을 활용할 수 있다. 예를 들어, 신호들을 원하는 공간 방향들로 송신하고/하거나 수신하기 위해 빔포밍(beamforming)이 사용될 수 있다.
기지국들(114a, 114b)은 임의의 적합한 무선 통신 링크(예컨대, RF(radio frequency), 마이크로파, 센티미터파, 마이크로미터파, IR(infrared), UV(ultraviolet), 가시광 등)일 수 있는 에어 인터페이스(air interface)(116)를 통해 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수 있다. 에어 인터페이스(116)는 임의의 적합한 무선 액세스 기술(radio access technology, RAT)을 사용하여 확립될 수 있다.
더 구체적으로, 전술한 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수 있으며, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 스킴을 채용할 수 있다. 예를 들어, RAN(104/113) 내의 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 광대역 CDMA(wideband CDMA, WCDMA)를 사용하여 에어 인터페이스(115/116/117)를 확립할 수 있는 유니버설 이동 통신 시스템(Universal Mobile Telecommunications System, UMTS) 지상 무선 액세스(UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access, HSPA) 및/또는 진화된 HSPA(HSPA+)와 같은 통신 프로토콜들을 포함할 수 있다. HSPA는 고속 다운링크(downlink, DL) 패킷 액세스(HSDPA) 및/또는 고속 업링크(uplink, UL) 패킷 액세스(HSUPA)를 포함할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 예를 들어, LTE(Long Term Evolution) 및/또는 LTE-A(LTE-Advanced) 및/또는 LTE-A Pro(LTE-Advanced Pro)를 사용하여 에어 인터페이스(116)를 확립할 수 있는 E-UTRA(Evolved UMTS Terrestrial Radio Access)와 같은 무선 기술을 구현할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 뉴 라디오(New Radio, NR)를 사용하여 에어 인터페이스(116)를 확립할 수 있는 NR 무선 액세스와 같은 무선 기술을 구현할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 다수의 무선 액세스 기술을 구현할 수 있다. 예를 들어, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 예를 들어, 이중 접속성(dual connectivity, DC) 원리들을 사용하여 LTE 무선 액세스 및 NR 무선 액세스를 함께 구현할 수 있다. 따라서, WTRU들(102a, 102b, 102c)에 의해 활용되는 에어 인터페이스는 다수의 유형들의 무선 액세스 기술들 및/또는 다수의 유형들의 기지국들(예컨대, eNB 및 gNB)로/로부터 전송되는 송신들에 의해 특성화될 수 있다.
다른 실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 IEEE 802.11(즉, WiFi(Wireless Fidelity)), IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS -2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), GSM(Global System for Mobile communications), EDGE(Enhanced Data rates for GSM Evolution), GERAN(GSM EDGE) 등과 같은 무선 기술들을 구현할 수 있다.
도 1a의 기지국(114b)은 예를 들어, 무선 라우터, 홈 Node B, 홈 eNode B, 또는 액세스 포인트일 수 있고, 예를 들어, 사업장, 집, 차량, 캠퍼스, 산업 시설, (예컨대, 드론들에 의한 사용을 위한) 에어 코리도(air corridor), 도로 등과 같은 국부화된 영역에서의 무선 접속성을 용이하게 하기 위해 임의의 적합한 RAT를 이용할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 IEEE 802.11과 같은 무선 기술을 구현하여 무선 근거리 네트워크(wireless local area network, WLAN)를 확립할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 무선 개인 영역 네트워크(wireless personal area network, WPAN)를 확립하기 위해 IEEE 802.15와 같은 무선 기술을 구현할 수 있다. 또 다른 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 피코셀 또는 펨토셀을 확립하기 위해 셀룰러 기반 RAT(예컨대, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR 등)를 활용할 수 있다. 도 1a에 도시된 바와 같이, 기지국(114b)은 인터넷(110)에 대한 직접 접속을 가질 수 있다. 따라서, 기지국(114b)은 CN(106/115)을 통해 인터넷(110)에 액세스하도록 요구되지 않을 수 있다.
RAN(104/113)은 음성, 데이터, 응용들, 및/또는 VoIP(voice over internet protocol) 서비스들을 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상에 제공하도록 구성된 임의의 유형의 네트워크일 수 있는 CN(106/115)과 통신할 수 있다. 데이터는 예를 들어, 상이한 처리량 요건들, 레이턴시 요건들, 에러 허용 한계 요건들, 신뢰성 요건들, 데이터 처리량 요건들, 이동성 요건들 등과 같은 다양한 서비스 품질(quality of service, QoS) 요건들을 가질 수 있다. CN(106/115)은 호출 제어, 과금 서비스들, 이동 위치 기반 서비스들, 선불 통화, 인터넷 접속성, 비디오 배포 등을 제공하고/하거나 사용자 인증과 같은 하이 레벨 보안 기능들을 수행할 수 있다. 도 1a에 도시되지 않지만, RAN(104/113) 및/또는 CN(106/115)은, RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 채용하는 다른 RAN들과 직접 또는 간접 통신할 수 있음이 이해될 것이다. 예를 들어, NR 무선 기술을 이용하는 것일 수 있는 RAN(104/113)에 접속되는 것에 더하여, CN(106/115)은 또한 GSM, UMTS, CDMA 2000, WiMAX, E-UTRA, 또는 WiFi 무선 기술을 채용하는 또 다른 RAN(도시되지 않음)과 통신할 수 있다.
CN(106/115)은 또한 WTRU들(102a, 102b, 102c, 102d)이 PSTN(108), 인터넷(110), 및/또는 다른 네트워크들(112)에 액세스하기 위한 게이트웨이로서 역할을 할 수 있다. PSTN(108)은 POTS(plain old telephone service)를 제공하는 회선 교환 전화망들을 포함할 수 있다. 인터넷(110)은, 송신 제어 프로토콜/인터넷 프로토콜(transmission control protocol/internet protocol, TCP/IP) 일군(suite)에서의 TCP, 사용자 데이터그램 프로토콜(user datagram protocol, UDP) 및/또는 IP와 같은 공통 통신 프로토콜을 사용하는 상호접속된 컴퓨터 네트워크들 및 디바이스들의 글로벌 시스템을 포함할 수 있다. 네트워크들(112)은 다른 서비스 제공자들에 의해 소유되고 그리고/또는 운영되는 유선 및/또는 무선 통신 네트워크들을 포함할 수 있다. 예를 들어, 네트워크들(112)은 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 채용할 수 있는 하나 이상의 RAN에 접속된 또 다른 CN을 포함할 수 있다.
통신 시스템(100) 내의 WTRU들(102a, 102b, 102c, 102d) 중 일부 또는 전부는 다중-모드 능력들을 포함할 수 있다(예컨대, WTRU들(102a, 102b, 102c, 102d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위해 다수의 송수신기를 포함할 수 있다). 예를 들어, 도 1a에 도시된 WTRU(102c)는 셀룰러 기반 무선 기술을 채용할 수 있는 기지국(114a) 및 IEEE 802 무선 기술을 채용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.
도 1b는 예시적인 WTRU(102)를 예시하는 시스템도이다. 도 1b에 도시된 바와 같이, WTRU(102)는 특히 프로세서(118), 송수신기(120), 송수신 요소(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비착탈식 메모리(130), 착탈식 메모리(132), 전원(134), GPS(global positioning system) 칩셋(136), 및/또는 다른 주변기기들(138)을 포함할 수 있다. WTRU(102)는 실시예와 여전히 부합하면서 전술한 요소들의 임의의 하위 조합을 포함할 수 있음을 알 것이다.
프로세서(118)는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 복수의 마이크로프로세서, DSP 코어와 연관된 하나 이상의 마이크로프로세서, 제어기, 마이크로제어기, 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 필드 프로그래밍가능 게이트 어레이(Field Programmable Gate Array, FPGA) 회로, 임의의 다른 유형의 집적 회로(integrated circuit, IC), 상태 기계 등일 수 있다. 프로세서(118)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입출력 프로세싱, 및/또는 WTRU(102)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송수신 요소(122)에 결합될 수 있는 송수신기(120)에 결합될 수 있다. 도 1b는 프로세서(118) 및 송수신기(120)를 별개의 컴포넌트들로서 도시하지만, 프로세서(118) 및 송수신기(120)는 전자 패키지 또는 칩 내에 함께 통합될 수 있다는 것을 알 것이다.
송수신 요소(122)는 에어 인터페이스(116)를 통해 기지국(예를 들어, 기지국(114a))에 신호를 송신하거나 그로부터 신호를 수신하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 송수신 요소(122)는 RF 신호를 송신하도록 그리고/또는 수신하도록 구성된 안테나일 수 있다. 일 실시예에서, 송수신 요소(122)는, 예를 들어, IR, UV, 또는 가시광 신호들을 송신하도록 그리고/또는 수신하도록 구성되는 방출기(emitter)/검출기(detector)일 수 있다. 또 다른 실시예에서, 송수신 요소(122)는 RF 신호 및 광 신호 둘 모두를 송신하도록 그리고/또는 수신하도록 구성될 수 있다. 송수신 요소(122)는 무선 신호들의 임의의 조합을 송신하도록 그리고/또는 수신하도록 구성될 수 있음을 알 것이다.
송수신 요소(122)가 단일 요소로서 도 1b에 도시되지만, WTRU(102)는 임의의 수의 송수신 요소(122)를 포함할 수 있다. 더 구체적으로, WTRU(102)는 MIMO 기술을 채용할 수 있다. 따라서, 일 실시예에서, WTRU(102)는 에어 인터페이스(116)를 통해 무선 신호를 송신 및 수신하기 위한 2개 이상의 송수신 요소(122)(예를 들어, 다수의 안테나)를 포함할 수 있다.
송수신기(120)는 송수신 요소(122)에 의해 송신될 신호를 변조하도록, 그리고 송수신 요소(122)에 의해 수신된 신호를 복조하도록 구성될 수 있다. 전술한 바와 같이, WTRU(102)는 다중 모드 능력을 가질 수 있다. 따라서, 송수신기(120)는, WTRU(102)가, 예를 들면, NR 및 IEEE 802.11과 같은 다수의 RAT를 통해 통신하는 것을 가능하게 하기 위한 다수의 송수신기를 포함할 수 있다.
WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126) 및/또는 디스플레이/터치 패드(128)(예를 들어, 액정 디스플레이(liquid crystal display, LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light-emitting diode, OLED) 디스플레이 유닛)에 결합될 수 있고, 그들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 사용자 데이터를 스피커/마이크로폰(124), 키패드(126) 및/또는 디스플레이/터치 패드(128)에 출력할 수 있다. 또한, 프로세서(118)는 비착탈식 메모리(130) 및/또는 착탈식 메모리(132)와 같은 임의의 유형의 적합한 메모리로부터의 정보에 액세스하고, 그 안에 데이터를 저장할 수 있다. 비착탈식 메모리(130)는 랜덤 액세스 메모리(random-access memory, RAM), 판독 전용 메모리(read-only memory, ROM), 하드 디스크 또는 임의의 다른 유형의 메모리 저장 디바이스를 포함할 수 있다. 착탈식 메모리(132)는 가입자 식별 모듈(subscriber identity module, SIM) 카드, 메모리 스틱, 보안 디지털(secure digital, SD) 메모리 카드 등을 포함할 수 있다. 다른 실시예들에서, 프로세서(118)는 서버 또는 홈 컴퓨터(도시되지 않음)와 같은 WTRU(102) 상에 물리적으로 위치하지 않는 메모리로부터 정보에 액세스하고 그 안에 데이터를 저장할 수 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신할 수 있고, 전력을 WTRU(102) 내의 다른 컴포넌트들에 분배하도록 그리고/또는 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적합한 디바이스일 수 있다. 예를 들어, 전원(134)은 하나 이상의 건전지(예컨대, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 수소화물(NiMH), 리튬 이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.
프로세서(118)는 또한 WTRU(102)의 현재 위치에 관한 위치 정보(예를 들어, 경도 및 위도)를 제공하도록 구성될 수 있는 GPS 칩셋(136)에 결합될 수 있다. GPS 칩셋(136)으로부터의 정보에 더하여 또는 그 대신에, WTRU(102)는 기지국(예를 들어, 기지국들(114a, 114b))으로부터 에어 인터페이스(116)를 통해 위치 정보를 수신하고/하거나, 2개 이상의 인근 기지국으로부터 수신되는 신호들의 타이밍에 기초하여 그의 위치를 결정할 수 있다. WTRU(102)는 실시예와 여전히 부합하면서 임의의 적합한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것을 알 것이다.
프로세서(118)는 추가적인 특징들, 기능 및/또는 유선 또는 무선 접속성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수 있는 다른 주변 기기들(138)에 추가로 결합될 수 있다. 예를 들어, 주변기기들(138)은 가속도계, 전자 나침반, 위성 송수신기, (사진들 및/또는 비디오를 위한) 디지털 카메라, 범용 직렬 버스(universal serial bus, USB) 포트, 진동 디바이스, 텔레비전 송수신기, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(frequency modulated, FM) 무선 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, 가상 현실 및/또는 증강 현실(Virtual Reality/Augmented Reality, VR/AR) 디바이스, 활동 추적기 등을 포함할 수 있다. 주변기기들(138)은 하나 이상의 센서들을 포함할 수 있고, 이 센서들은 자이로스코프, 가속도계, 홀 효과 센서, 자력계, 배향 센서, 근접 센서, 온도 센서, 시간 센서; 지리위치 센서(geolocation sensor); 고도계, 광 센서, 터치 센서, 자력계, 기압계, 제스처 센서, 생체 인식 센서, 및/또는 습도 센서 등 중 하나 이상일 수 있다.
WTRU(102)는 (예를 들어, (예컨대, 송신을 위한) UL 및 (예컨대, 수신을 위한) 다운링크 둘 모두에 대해 특정 서브프레임들과 연관된) 신호들의 일부 또는 전부의 송신 및 수신이 동반적이고 그리고/또는 동시적일 수 있는 전이중 무선 장치(full duplex radio)를 포함할 수 있다. 전이중 무선 장치는 하드웨어(예컨대, 초크(choke))를 통해 또는 프로세서(예컨대, 별개의 프로세서(도시되지 않음) 또는 프로세서(118))를 통한 신호 프로세싱을 통해 자가 간섭(self-interference)을 줄이고 그리고/또는 실질적으로 제거하는 간섭 관리 유닛을 포함할 수 있다. 실시예에서, WTRU(102)는 (예를 들어, (예컨대, 송신을 위한) UL 또는 (예컨대, 수신을 위한) 다운링크에 대해 특정 서브프레임들과 연관된) 신호들의 일부 또는 전부의 송신 및 수신을 위한 반이중 무선 장치(half-duplex radio)를 포함할 수 있다.
도 1c는 실시예에 따른 RAN(104) 및 CN(106)을 예시하는 시스템도이다. 전술한 바와 같이, RAN(104)은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 E-UTRA 무선 기술을 채용할 수 있다. RAN(104)은 또한 CN(106)과 통신할 수 있다.
RAN(104)은 eNode-B(160a, 160b, 160c)를 포함할 수 있지만, RAN(104)은 실시예와 여전히 부합하면서 임의의 수의 eNode-B를 포함할 수 있다는 것이 인식될 것이다. eNode-B들(160a, 160b, 160c) 각각은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 하나 이상의 송수신기를 포함할 수 있다. 일 실시예에서, eNode-B(160a, 160b, 160c)는 MIMO 기술을 구현할 수 있다. 따라서, eNode-B(160a)는 예를 들어, WTRU(102a)에 무선 신호들을 송신하고 그리고/또는 그로부터 무선 신호들을 수신하기 위해 다수의 안테나를 사용할 수 있다.
eNode-B들(160a, 160b, 160c) 각각은 특정 셀(도시되지 않음)과 연관될 수 있고, 무선 자원 관리 결정들, 핸드오버 결정들, UL 및/또는 DL에서의 사용자들의 스케줄링 등을 핸들링하도록 구성될 수 있다. 도 1c에 도시된 바와 같이, eNodeB들(160a, 160b, 160c)은 X2 인터페이스를 통해 서로 통신할 수 있다.
도 1c에 도시된 CN(106)은 이동성 관리 엔티티(mobility management entity, MME)(162), 서빙 게이트웨이(serving gateway, SGW)(164), 및 패킷 데이터 네트워크(packet data network, PDN) 게이트웨이(또는 PGW)(166)를 포함할 수 있다. 전술한 요소들 각각이 CN(106)의 일부로서 묘사되지만, 이들 요소들 중 임의의 것이 CN 운영자 이외의 엔티티에 의해 소유되고 그리고/또는 운영될 수 있다는 것이 이해될 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104) 내의 eNode-B들(162a, 162b, 162c) 각각에 접속될 수 있고 제어 노드로서의 역할을 할 수 있다. 예를 들어, MME(162)는 WTRU들(102a, 102b, 102c)의 사용자들을 인증하는 것, 베어러 활성화/비활성화, WTRU들(102a, 102b, 102c)의 초기 접속(initial attach) 동안 특정의 서빙 게이트웨이를 선택하는 것 등을 책임지고 있을 수 있다. MME(162)는 RAN(104)과, GSM 및/또는 WCDMA와 같은 다른 무선 기술들을 사용하는 다른 RAN들(도시되지 않음) 간에 스위칭하기 위한 제어 평면 기능을 제공할 수 있다.
SGW(164)는 S1 인터페이스를 통해 RAN(104) 내의 eNode B들(160a, 160b, 160c) 각각에 접속될 수 있다. SGW(164)는 일반적으로 WTRU들(102a, 102b, 102c)로/로부터 사용자 데이터 패킷들을 라우팅하고 포워딩할 수 있다. SGW(164)는 인터-eNode B 핸드오버들 동안 사용자 평면들을 앵커링(anchoring)하는 것, WTRU들(102a, 102b, 102c)에 대해 DL 데이터가 이용가능할 때 페이징(paging)을 트리거하는 것, WTRU들(102a, 102b, 102c)의 정황들을 관리하고 저장하는 것 등과 같은 다른 기능들을 수행할 수 있다.
SGW(164)는 WTRU들(102a, 102b, 102c)과 IP 인에이블드 디바이스(IP-enabled device)들 사이의 통신을 용이하게 하기 위해, 예를 들어, 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있는 PGW(166)에 접속될 수 있다.
CN(106)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(106)은 WTRU들(102a, 102b, 102c)과 전통적인 지상선 통신 디바이스들 사이의 통신을 용이하게 하기 위해, PSTN(108)과 같은 회선 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 예를 들어, CN(106)은 CN(106)과 PSTN(108) 사이의 인터페이스로서 역할을 하는 IP 게이트웨이(예컨대, IMS(IP multimedia subsystem) 서버)를 포함할 수 있거나 그와 통신할 수 있다. 또한, CN(106)은 다른 서비스 제공자들에 의해 소유되고 그리고/또는 운영되는 다른 유선 및/또는 무선 네트워크들을 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다.
WTRU가 도 1a 내지 도 1d에서 무선 단말기로서 설명되지만, 특정한 대표적 실시예들에서 그러한 단말기는 통신 네트워크와의 유선 통신 인터페이스들을 (예컨대, 일시적으로 또는 영구적으로) 사용할 수 있다는 것이 고려된다.
대표적 실시예에서, 다른 네트워크(112)는 WLAN일 수 있다.
인프라구조 기본 서비스 세트(Basic Service Set, BSS) 모드의 WLAN은 BSS에 대한 액세스 포인트(AP) 및 AP와 연관된 하나 이상의 스테이션(STA)을 가질 수 있다. AP는 BSS로 그리고/또는 BSS로부터 트래픽을 운반하는 분배 시스템(Distribution System, DS) 또는 또 다른 유형의 유선/무선 네트워크에 대한 액세스 또는 인터페이스를 가질 수 있다. BSS 외부로부터 비롯되는 STA들로의 트래픽은 AP를 통해 도착할 수 있고 STA들에 전달될 수 있다. STA들로부터 비롯되어 BSS 외부의 목적지들로의 트래픽은 각각의 목적지들로 전달되도록 AP에 송신될 수 있다. BSS 내의 STA들 간의 트래픽은 AP를 통해 송신될 수 있는데, 예를 들어, 소스(source) STA는 트래픽을 AP에 송신할 수 있고, AP는 트래픽을 목적지 STA에 전달할 수 있다. BSS 내의 STA들 사이의 트래픽은 피어-투-피어 트래픽(peer-to-peer traffic)으로 간주되고 그리고/또는 지칭될 수 있다. 피어-투-피어 트래픽은 직접 링크 셋업(direct link setup, DLS)을 사용하여 소스 STA와 목적지 STA 사이에서 (예컨대, 그들 사이에서 직접) 송신될 수 있다. 특정 대표적 실시예들에서, DLS는 802.11e DLS 또는 802.11z TDLS(tunneled DLS)를 사용할 수 있다. IBSS(Independent BSS) 모드를 사용하는 WLAN은 AP를 갖지 않을 수 있고, IBSS 내의 또는 IBSS를 사용하는 STA들(예컨대, 모든 STA들)은 서로 직접 통신할 수 있다. IBSS 통신 모드는 때때로 본 명세서에서 "애드혹(ad-hoc)" 통신 모드라고 지칭될 수 있다.
802.11ac 인프라구조 동작 모드 또는 유사한 동작 모드를 사용할 때, AP는 주 채널과 같은 고정 채널 상에서 비콘(beacon)을 송신할 수 있다. 주 채널은 고정된 폭(예컨대, 20 ㎒ 폭의 대역폭) 또는 시그널링을 통한 동적으로 설정된 폭일 수 있다. 주 채널은 BSS의 동작 채널일 수 있으며, STA들에 의해 AP와의 접속을 확립하기 위해 사용될 수 있다. 소정 대표적 실시예들에서, CSMA/CA(Carrier Sense Multiple Access with Collision Avoidance)가 예를 들어, 802.11 시스템들에서 구현될 수 있다. CSMA/CA의 경우, AP를 포함하는 STA들(예컨대, 모든 STA)은 주 채널을 감지할 수 있다. 주 채널이 특정 STA에 의해 사용 중인 것으로 감지/검출 및/또는 결정되면, 특정 STA는 백오프될 수 있다. 하나의 STA(예컨대, 단지 하나의 스테이션)가 주어진 BSS에서 임의의 주어진 시간에 송신할 수 있다.
고처리량(High Throughput, HT) STA들은, 예를 들어 40 ㎒ 폭의 채널을 형성하기 위해 인접하거나 인접하지 않은 20 ㎒ 채널과 주 20 ㎒ 채널의 조합을 통해, 통신을 위한 40 ㎒ 폭의 채널을 사용할 수 있다.
초고처리량(Very High Throughput, VHT) STA들은 20 ㎒, 40 ㎒, 80 ㎒ 및/또는 160 ㎒ 폭의 채널들을 지원할 수 있다. 40 ㎒ 및/또는 80 ㎒ 채널들은 인접한 20 ㎒ 채널들을 조합함으로써 형성될 수 있다. 160 ㎒ 채널은 8개의 인접한 20 ㎒ 채널들을 조합함으로써, 또는 80+80 구성으로 지칭될 수 있는 2개의 비-인접한 80 ㎒ 채널을 조합함으로써 형성될 수 있다. 80+80 구성의 경우, 데이터는 채널 인코딩 후에 데이터를 2개의 스트림으로 분할할 수 있는 세그먼트 파서(segment parser)를 통해 전달될 수 있다. IFFT(Inverse Fast Fourier Transform) 프로세싱 및 시간 도메인 프로세싱이 각각의 스트림에 대해 개별적으로 행해질 수 있다. 스트림들은 2개의 80 ㎒ 채널에 맵핑될 수 있고, 데이터는 송신 STA에 의해 송신될 수 있다. 수신 STA의 수신기에서, 80+80 구성에 대한 전술된 동작이 반전될 수 있고, 조합된 데이터는 매체 액세스 제어(Medium Access Control, MAC)에 송신될 수 있다.
802.11af 및 802.11ah에 의해 서브(sub) 1 ㎓ 동작 모드가 지원된다. 채널 동작 대역폭들 및 반송파들은 802.11n 및 802.11ac에서 사용되는 것들에 비해 802.11af 및 802.11ah에서 감소된다. 802.11af는 TV 백색 공간(TV White Space, TVWS) 스펙트럼에서 5 ㎒, 10 ㎒ 및 20 ㎒ 대역폭들을 지원하고, 802.11ah는 비-TVWS 스펙트럼을 사용하는 1 ㎒, 2 ㎒, 4 ㎒, 8 ㎒ 및 16 ㎒ 대역폭들을 지원한다. 대표적 실시예에 따르면, 802.11ah는 매크로 커버리지 영역 내의 MTC 디바이스들과 같은 미터 유형 제어/기계 유형 통신(Meter Type Control/Machine-Type Communications)을 지원할 수 있다. MTC 디바이스들은 특정 능력들 예를 들어, 특정의 그리고/또는 제한된 대역폭들에 대한 지원(예컨대, 그것들만의 지원)을 포함하는 제한된 능력들을 가질 수 있다. MTC 디바이스들은 (예컨대, 매우 긴 배터리 수명을 유지하기 위해) 임계치를 초과하는 배터리 수명을 갖는 배터리를 포함할 수 있다.
802.11n, 802.11ac, 802.11af 및 802.11ah와 같은 다수의 채널 및 채널 대역폭을 지원할 수 있는 WLAN 시스템들은 주 채널로서 지정될 수 있는 채널을 포함한다. 주 채널은 BSS 내의 모든 STA들에 의해 지원되는 가장 큰 공통 동작 대역폭과 동일한 대역폭을 가질 수 있다. 주 채널의 대역폭은 BSS에서 동작하는 모든 STA들 중에서 가장 작은 대역폭 동작 모드를 지원하는 STA에 의해 설정되고 그리고/또는 제한될 수 있다. 802.11ah의 예에서, 주 채널은 AP 및 BSS 내의 다른 STA들이 2 ㎒, 4 ㎒, 8 ㎒, 16 ㎒ 및/또는 다른 채널 대역폭 동작 모드들을 지원하더라도 1 ㎒ 모드를 지원하는(예컨대, 그것만을 지원하는) STA들(예컨대, MTC 유형 디바이스들)에 대해 1 ㎒ 폭일 수 있다. 반송파 감지 및/또는 네트워크 할당 벡터(Network Allocation Vector, NAV) 설정들은 주 채널의 상태에 의존할 수 있다. 주 채널이, 예를 들어 STA(이는 1 ㎒ 동작 모드만을 지원함)의 AP로의 송신으로 인해 사용 중인 경우, 전체 이용가능 주파수 대역들은 주파수 대역들의 대부분이 유휴 상태로 유지되더라도 사용 중인 것으로 간주될 수 있고 이용가능할 수 있다.
미국에서, 802.11ah에 의해 사용될 수 있는 이용가능 주파수 대역들은 902 ㎒ 내지 928 ㎒이다. 한국에서, 이용가능 주파수 대역들은 917.5 ㎒ 내지 923.5 ㎒이다. 일본에서, 이용가능 주파수 대역들은 916.5 ㎒ 내지 927.5 ㎒이다. 802.11ah에 대해 이용가능한 총 대역폭은 국가 코드에 따라 6 ㎒ 내지 26 ㎒이다.
도 1d는 실시예에 따른 RAN(113) 및 CN(115)을 예시하는 시스템도이다. 위에서 언급된 바와 같이, RAN(113)은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 NR 무선 기술을 채용할 수 있다. RAN(113)은 또한 CN(115)과 통신할 수 있다.
RAN(113)은 gNB들(180a, 180b, 180c)을 포함할 수 있지만, RAN(113)은 실시예와 여전히 부합하면서 임의의 수의 gNB들을 포함할 수도 있다는 것이 이해될 것이다. gNB들(180a, 180b, 180c) 각각은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 송수신기를 포함할 수 있다. 일 실시예에서, gNB들(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 예를 들어, gNB들(180a, 108b)은 gNB들(180a, 180b, 180c)에 신호들을 송신하고 그리고/또는 그들로부터 신호들을 수신하기 위해 빔포밍을 이용할 수 있다. 따라서, gNB(180a)는 예를 들어, WTRU(102a)에 무선 신호들을 송신하고 그리고/또는 그로부터 무선 신호들을 수신하기 위해 다수의 안테나를 사용할 수 있다. 실시예에서, gNB들(180a, 180b, 180c)은 반송파 집성 기술을 구현할 수 있다. 예를 들어, gNB(180a)는 다수의 컴포넌트 반송파를 WTRU(102a)에 송신할 수 있다(도시되지 않음). 이러한 컴포넌트 반송파들의 서브세트는 무면허 스펙트럼 상에 있을 수 있는 반면, 나머지 컴포넌트 반송파들은 면허 스펙트럼 상에 있을 수 있다. 실시예에서, gNB들(180a, 180b, 180c)은 CoMP(Coordinated Multi-Point) 기술을 구현할 수 있다. 예를 들어, WTRU(102a)는 gNB(180a) 및 gNB(180b)(및/또는 gNB(180c))로부터 조정된 송신물들을 수신할 수 있다.
WTRU들(102a, 102b, 102c)은 확장가능 뉴머롤로지(scalable numerology)와 연관된 송신들을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 예를 들어, OFDM 심볼 간격 및/또는 OFDM 부반송파 간격은 상이한 송신들, 상이한 셀들, 및/또는 무선 송신 스펙트럼의 상이한 부분들에 대해 변할 수 있다. WTRU들(102a, 102b, 102c)은 (예컨대, 변하는 수의 OFDM 심볼들 및/또는 지속적인(lasting) 변하는 절대 시간 길이들을 포함하는) 다양한 또는 확장가능 길이들의 서브프레임 또는 송신 시간 간격(transmission time interval, TTI)들을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다.
gNB들(180a, 180b, 180c)은 독립형 구성 및/또는 비독립형 구성에서 WTRU들(102a, 102b, 102c)과 통신하도록 구성될 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 (예컨대, eNodeB들(160a, 160b, 160c)과 같은) 다른 RAN들에 또한 액세스하지 않고 gNB들(180a, 180b, 180c)과 통신할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 이동성 앵커 포인트로서 gNB들(180a, 180b, 180c) 중 하나 이상을 이용할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 무면허 대역 내의 신호들을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 비독립형 구성에서, WTRU들(102a, 102b, 102c)은 예를 들어, eNode-B들(160a, 160b, 160c)과 같은 또 다른 RAN과 또한 통신하면서/그에 접속하면서 gNB들(180a, 180b, 180c)과 통신하면서/그에 접속할 수 있다. 예를 들어, WTRU들(102a, 102b, 102c)은 하나 이상의 gNB(180a, 180b, 180c) 및 하나 이상의 eNode-B(160a, 160b, 160c)와 실질적으로 동시에 통신하기 위해 DC 원리들을 구현할 수 있다. 비독립형 구성에서, eNode-B들(160a, 160b, 160c)은 WTRU들(102a, 102b, 102c)에 대한 이동성 앵커로서 역할을 할 수 있고, gNB들(180a, 180b, 180c)은 WTRU들(102a, 102b, 102c)을 서비스하기 위한 추가적인 커버리지 및/또는 처리량을 제공할 수 있다.
gNB들(180a, 180b, 180c) 각각은 특정 셀(도시되지 않음)과 연관될 수 있고, 무선 자원 관리 결정들, 핸드오버 결정들, UL 및/또는 DL에서의 사용자들의 스케줄링, 네트워크 슬라이싱의 지원, 이중 접속성, NR과 E-UTRA 사이의 연동, 사용자 평면 데이터의 사용자 평면 기능(User Plane Function, UPF)(184a, 184b)으로의 라우팅, 제어 평면 정보의 액세스 및 이동성 관리 기능(Access and Mobility Management Function, AMF)(182a, 182b)으로의 라우팅 등을 핸들링하도록 구성될 수 있다. 도 1d에 도시된 바와 같이, gNB들(180a, 180b, 180c)은 Xn 인터페이스를 통해 서로 통신할 수 있다.
도 1d에 도시된 CN(115)은 적어도 하나의 AMF(182a, 182b), 적어도 하나의 UPF(184a, 184b), 적어도 하나의 세션 관리 기능(Session Management Function, SMF)(183a, 183b), 및 가능하게는 데이터 네트워크(Data Network, DN)(185a, 185b)를 포함할 수 있다. 전술한 요소들 각각이 CN(115)의 일부로서 묘사되지만, 이들 요소들 중 임의의 것이 CN 운영자 이외의 엔티티에 의해 소유되고 그리고/또는 운영될 수 있다는 것이 이해될 것이다.
AMF(182a, 182b)는 N2 인터페이스를 통해 RAN(113) 내의 gNB들(180a, 180b, 180c) 중 하나 이상에 접속될 수 있고, 제어 노드로서 역할을 할 수 있다. 예를 들어, AMF(182a, 182b)는 WTRU들(102a, 102b, 102c)의 사용자들의 인증, 네트워크 슬라이싱(예컨대, 상이한 요건들을 갖는 상이한 PDU 세션들의 핸들링)에 대한 지원, 특정의 SMF(183a, 183b)의 선택, 등록 영역의 관리, NAS 시그널링의 종료, 이동성 관리 등을 담당할 수 있다. 네트워크 슬라이싱은 WTRU들(102a, 102b, 102c)에 의해 이용되는 서비스들의 유형들에 기초하여 WTRU들(102a, 102b, 102c)에 대한 CN 지원을 맞춤화하기 위해 AMF(182a, 182b)에 의해 사용될 수 있다. 예를 들어, URLLC(ultra-reliable low latency) 액세스에 의존하는 서비스들, eMBB(enhanced massive mobile broadband) 액세스에 의존하는 서비스들, 기계 유형 통신(machine type communication, MTC) 액세스에 대한 서비스들 등과 같은 상이한 사용 사례들에 대해 상이한 네트워크 슬라이스들이 확립될 수 있다. AMF(162)는 RAN(113)과, LTE, LTE-A, LTE-A Pro 및/또는 WiFi와 같은 비-3GPP 액세스 기술들과 같은 다른 무선 기술들을 채용하는 다른 RAN들(도시되지 않음) 사이에서 스위칭하기 위한 제어 평면 기능을 제공할 수 있다.
SMF(183a, 183b)는 N11 인터페이스를 통해 CN(115) 내의 AMF(182a, 182b)에 접속될 수 있다. SMF(183a, 183b)는 또한 N4 인터페이스를 통해 CN(115) 내의 UPF(184a, 184b)에 접속될 수 있다. SMF(183a, 183b)는 UPF(184a, 184b)를 선택 및 제어하고, UPF(184a, 184b)를 통한 트래픽의 라우팅을 구성할 수 있다. SMF(183a, 183b)는 UE IP 주소를 관리하고 할당하는 것, PDU 세션들을 관리하는 것, 정책 시행 및 QoS를 제어하는 것, 다운링크 데이터 통지들을 제공하는 것 등과 같은 다른 기능들을 수행할 수 있다. PDU 세션 유형은 IP 기반, 비-IP 기반, 이더넷 기반 등일 수 있다.
UPF(184a, 184b)는 WTRU들(102a, 102b, 102c)과 IP 인에이블드 디바이스들 사이의 통신을 용이하게 하기 위해, 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있는 N3 인터페이스를 통해 RAN(113) 내의 gNB들(180a, 180b, 180c) 중 하나 이상에 접속될 수 있다. UPF(184, 184b)는 패킷들을 라우팅 및 포워딩하는 것, 사용자 평면 정책들을 시행하는 것, 멀티-홈 PDU 세션들을 지원하는 것, 사용자 평면 QoS를 핸들링하는 것, 다운링크 패킷들을 버퍼링하는 것, 이동성 앵커링을 제공하는 것 등과 같은 다른 기능들을 수행할 수 있다.
CN(115)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(115)은 CN(115)과 PSTN(108) 사이의 인터페이스로서 역할을 하는 IP 게이트웨이(예컨대, IP 멀티미디어 서브시스템(IMS) 서버)를 포함할 수 있거나 그와 통신할 수 있다. 덧붙여, CN(115)은 다른 서비스 제공자들에 의해 소유되고/되거나 운영되는 다른 유선 및/또는 무선 네트워크들을 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 하나의 실시예에서, WTRU들(102a, 102b, 102c)은 UPF(184a, 184b)에 대한 N3 인터페이스 및 UPF(184a, 184b)와 로컬 데이터 네트워크(DN)(185a, 185b) 사이의 N6 인터페이스를 경유해 UPF(184a, 184b)를 통해 로컬 DN(185a, 185b)에 접속될 수 있다.
도 1a 내지 도 1d, 및 도 1a 내지 도 1d의 대응하는 설명의 관점에서, WTRU(102a 내지 102d), 기지국(114a, 114b), eNode-B(160a 내지 160c), MME(162), SGW(164), PGW(166), gNB(180a 내지 180c), AMF(182a, 182b), UPF(184a, 184b), SMF(183a, 183b), DN(185a, 185b) 및/또는 본 명세서에 설명된 임의의 다른 디바이스(들) 중 하나 이상과 관련하여 본 명세서에 설명된 기능들 중 하나 이상 또는 전부는 하나 이상의 에뮬레이션 디바이스(emulation device)들(도시되지 않음)에 의해 수행될 수 있다. 에뮬레이션 디바이스들은 본 명세서에 설명된 기능들 중 하나 이상 또는 전부를 에뮬레이션하도록 구성된 하나 이상의 디바이스일 수 있다. 예를 들어, 에뮬레이션 디바이스들은 다른 디바이스들을 테스트하고 그리고/또는 네트워크 및/또는 WTRU 기능들을 시뮬레이션하기 위해 사용될 수 있다.
에뮬레이션 디바이스들은 실험실 환경 및/또는 운영자 네트워크 환경에서 다른 디바이스들의 하나 이상의 테스트를 구현하도록 설계될 수 있다. 예를 들어, 하나 이상의 에뮬레이션 디바이스는 통신 네트워크 내의 다른 디바이스들을 테스트하기 위해 유선 및/또는 무선 통신 네트워크의 일부로서 완전히 또는 부분적으로 구현되고 그리고/또는 배치되면서 하나 이상의 또는 모든 기능들을 수행할 수 있다. 하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 일시적으로 구현/배치되면서 하나 이상의 또는 모든 기능들을 수행할 수 있다. 에뮬레이션 디바이스는 테스트를 위해 다른 디바이스에 직접 결합될 수 있고/있거나 OTA(over-the-air) 무선 통신을 사용하여 테스트를 수행할 수 있다.
하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 구현/배치되지 않으면서 모든 기능들을 포함하는 하나 이상의 기능을 수행할 수 있다. 예를 들어, 에뮬레이션 디바이스들은 하나 이상의 컴포넌트의 테스트를 구현하기 위해 테스트 실험실 및/또는 배치되지 않은(예컨대, 테스트) 유선 및/또는 무선 통신 네트워크에서의 테스트 시나리오에서 이용될 수 있다. 하나 이상의 에뮬레이션 디바이스는 테스트 장비일 수 있다. RF 회로부(예컨대, 이는 하나 이상의 안테나를 포함할 수 있음)를 통한 직접 RF 결합 및/또는 무선 통신이 데이터를 송신하고 그리고/또는 수신하기 위해 에뮬레이션 디바이스들에 의해 사용될 수 있다.
본 출원은 도구들, 특징부들, 예들 또는 실시예들, 모델들, 접근법들 등을 포함하는 다양한 태양들을 설명한다. 이들 태양들 중 많은 것들이 구체적으로 설명되고, 적어도 개별적인 특성들을 보여주기 위해, 제한적인 것으로 들릴 수 있는 방식으로 종종 설명된다. 그러나, 이는 설명의 명확성을 위한 것이며, 그들 태양들의 응용 또는 범주를 제한하지 않는다. 실제로, 상이한 모든 태양들이 조합되고 상호교환되어 추가의 태양들을 제공할 수 있다. 더욱이, 태양들은 이전 출원들에 기술된 태양들과 또한 조합되고 상호교환될 수 있다.
본 출원에서 기술되고 고려되는 태양들은 많은 상이한 형태들로 구현될 수 있다. 본 명세서에서 기술되는 도 1 내지 도 10은 일부 실시예들을 제공할 수 있지만, 다른 실시예들이 고려된다. 도 1 내지 도 10의 논의는 구현예들의 범위를 제한하지 않는다. 태양들 중 적어도 하나의 태양은 대체적으로 비디오 인코딩 및 디코딩에 관한 것이고, 적어도 하나의 다른 태양은 대체적으로 생성되거나 인코딩된 비트스트림을 송신하는 것에 관한 것이다. 이들 및 다른 태양들은, 방법, 장치, 기술된 방법들 중 임의의 것에 따라 비디오 데이터를 인코딩 또는 디코딩하기 위한 명령어들이 저장된 컴퓨터 판독가능 저장 매체, 및/또는 기술된 방법들 중 임의의 것에 따라 생성된 비트스트림이 저장된 컴퓨터 판독가능 저장 매체로서 구현될 수 있다.
본 출원에서, "재구성된"및 "디코딩된"이라는 용어들은 상호교환가능하게 사용될 수 있으며, "픽셀" 및 "샘플"이라는 용어들은 상호교환가능하게 사용될 수 있고, "이미지", "픽처" 및 "프레임"이라는 용어들은 상호교환가능하게 사용될 수 있다.
다양한 방법들이 본 명세서에 기술되고, 각각의 방법은 기술된 방법을 달성하기 위한 하나 이상의 단계들 또는 동작들을 포함한다. 방법의 적절한 동작을 위해 단계들 또는 액션들의 특정 순서가 요구되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 사용은 수정되거나 조합될 수 있다. 추가로, "제1", "제2" 등과 같은 용어들은, 예를 들어, "제1 디코딩" 및 "제2 디코딩"과 같은 요소, 컴포넌트, 단계, 동작 등을 수정하기 위해 다양한 실시예들에서 사용될 수 있다. 그러한 용어들의 사용은, 구체적으로 요구되지 않는 한 수정된 동작들에 대한 순서화를 의미하지 않는다. 따라서, 이러한 예에서, 제1 디코딩은 제2 디코딩 전에 수행될 필요가 없고, 예를 들어, 제2 디코딩 전에, 그 동안, 또는 그와 중첩되는 기간에 발생할 수 있다.
본 출원에서 기술된 다양한 방법들 및 다른 태양들은, 예를 들어, 도 2 및 도 3에 도시된 바와 같이 비디오 인코더(200) 및 디코더(300)의 모듈들을 수정하는 데 사용될 수 있다. 더욱이, 본 명세서에 개시된 주제는 VVC 또는 HEVC로 제한되지 않는 태양들을 제시하고, 표준으로 설명되든 또는 권고사항으로 설명되든, 기존에 있든 또는 미래에 개발되든, 예를 들어, 임의의 유형, 포맷 또는 버전의 비디오 코딩에, 그리고 (예를 들어, VVC 및 HEVC를 포함한) 임의의 그러한 표준들 및 권고사항들의 확장들에 적용될 수 있다. 달리 나타내지 않거나 기술적으로 배제되지 않는 한, 본 출원에 기술된 태양들은 개별적으로 또는 조합하여 사용될 수 있다.
013으로서의 나머지 바이트들의 카운트, 범위들 0 내지 5 및 10 내지 21 내의 nal_unit_type 값 등과 같은 다양한 수치 값들이 본 출원에 기술된 예들에서 사용된다. 이러한 및 다른 특정 값들은 예들을 설명하기 위한 것이고, 기술된 태양들은 이러한 특정 값들로 제한되지 않는다.
도 2는 예시적인 비디오 인코더를 도시하는 도면이다. 예시적인 인코더(200)의 변형들이 고려되지만, 인코더(200)는 모든 예상되는 변형들을 기술하지 않고 명확성을 위해 아래에서 기술된다.
인코딩되기 전에, 비디오 시퀀스는, 예를 들어, 입력 컬러 픽처에 컬러 변환을 적용하거나(예를 들어, RGB 4:4:4로부터 YCbCr 4:2:0으로의 변환), 또는 (예를 들어, 컬러 성분들 중 하나의 성분의 히스토그램 등화를 사용하여) 압축에 더 탄력적인 신호 분포를 얻기 위해 입력 픽처 컴포넌트들의 재맵핑(remapping)을 수행하는, 사전 인코딩 프로세싱(201)을 거칠 수 있다. 메타데이터가 사전-프로세싱과 연관되고 비트스트림에 첨부될 수 있다.
인코더(200)에서 픽처는 후술되는 바와 같이 인코더 요소들에 의해 인코딩된다. 인코딩될 픽처가 파티셔닝되고(202), 예를 들어, 코딩 유닛(CU)들의 유닛으로 프로세싱된다. 각각의 유닛은, 예를 들어 인트라 또는 인터 모드를 사용하여 인코딩된다. 유닛이 인트라 모드에서 인코딩될 때, 그것은 인트라 예측을 수행한다(260). 인터 모드에서는 모션 추정(275) 및 보상(270)이 수행된다. 인코더는 유닛을 인코딩하기 위해 인트라 모드 또는 인터 모드 중 어느 것을 사용할지를 결정하고(205), 예를 들어 예측 모드 플래그에 의해 인트라/인터 결정을 나타낸다. 예측 잔차들은, 예를 들어 원본 이미지 블록에서 예측된 블록을 감산함으로써(210) 계산된다.
이어서, 예측 잔차들은 변환되고(225) 양자화된다(230). 양자화된 변환 계수들뿐만 아니라 모션 벡터들 및 다른 신택스 요소들은 엔트로피 코딩되어(245) 비트스트림을 출력한다. 인코더는 변환을 스킵할 수 있고, 비변환된 잔차 신호에 직접 양자화를 적용할 수 있다. 인코더는 변환 및 양자화 모두를 스킵할 수 있으며, 즉, 잔차는 변환 또는 양자화 프로세스들의 적용 없이 직접 코딩된다.
인코더는 인코딩된 블록을 디코딩하여 추가 예측들을 위한 기준을 제공한다. 양자화된 변환 계수들은 예측 잔차들을 디코딩하기 위해 역양자화되고(240) 역변환된다(250). 디코딩된 예측 잔차들 및 예측된 블록을 조합하여(255) 이미지 블록이 재구성된다. 인루프(in-loop) 필터들(265)이, 예를 들어, 인코딩 아티팩트들을 감소시키기 위해 디블록킹(deblocking)/SAO(샘플 적응적 오프셋) 필터링을 수행하도록 재구성된 픽처에 적용된다. 필터링된 이미지는 기준 픽처 버퍼(280)에 저장된다.
도 3은 비디오 디코더의 일례를 도시하는 도면이다. 예시적인 디코더(300)에서, 비트스트림은 후술되는 바와 같이 디코더 요소들에 의해 디코딩된다. 비디오 디코더(300)는 대체적으로 도 2에 기술된 바와 같이 인코딩 패스에 상반적인 디코딩 패스를 수행한다. 인코더(200)는 또한 대체적으로, 비디오 데이터를 인코딩하는 것의 일부로서 비디오 디코딩을 수행한다.
특히, 디코더의 입력은 비디오 인코더(200)에 의해 생성될 수 있는 비디오 비트스트림을 포함한다. 비트스트림은 변환 계수들, 모션 벡터들, 및 다른 코딩된 정보를 획득하기 위해 먼저 엔트로피 디코딩된다(330). 픽처 파티션 정보는 픽처가 어떻게 파티셔닝되는지를 나타낸다. 따라서, 디코더는 디코딩된 픽처 파티셔닝 정보에 따라 픽처를 분할할 수 있다(335). 변환 계수들은 예측 잔차들을 디코딩하기 위해 역양자화되고(340) 역변환된다(350). 디코딩된 예측 잔차들 및 예측된 블록을 조합하여(355) 이미지 블록이 재구성된다. 예측된 블록은 인트라 예측(360) 또는 모션 보상된 예측(즉, 인터 예측)(375)으로부터 획득될 수 있다(370). 재구성된 이미지에 인루프 필터들(365)이 적용된다. 필터링된 이미지는 기준 픽처 버퍼(380)에 저장된다.
디코딩된 픽처는 사후 디코딩 프로세싱(385), 예를 들어, 사전 인코딩 프로세싱(201)에서 수행된 재맵핑 프로세스의 역을 수행하는 역 재맵핑 또는 역 컬러 변환(예를 들어, YCbCr 4:2:0으로부터 RGB 4:4:4로의 변환)을 추가로 거칠 수 있다. 사후 디코딩 프로세싱은 사전 인코딩 프로세싱에서 도출되고 비트스트림에서 시그널링된 메타데이터를 사용할 수 있다.
도 4는 본 명세서에 기술된 다양한 태양들 및 실시예들이 구현될 수 있는 시스템의 일례를 도시하는 도면이다. 시스템(400)은 후술되는 다양한 컴포넌트들을 포함하는 디바이스로서 구현될 수 있고, 본 문헌에 기술된 태양들 중 하나 이상을 수행하도록 구성된다. 그러한 디바이스들의 예들에는 개인용 컴퓨터들, 랩톱 컴퓨터들, 스마트폰들, 태블릿 컴퓨터들, 디지털 멀티미디어 셋톱 박스들, 디지털 텔레비전 수신기들, 개인용 비디오 녹화 시스템들, 연결형 가전 제품들, 및 서버들과 같은 다양한 전자 디바이스들이 포함되지만, 이들로 제한되지 않는다. 시스템(400)의 요소들은 단일 집적 회로(IC), 다수의 IC들, 및/또는 별개의 컴포넌트들에서, 단독으로 또는 조합되어 구현될 수 있다. 예를 들어, 적어도 하나의 예에서, 시스템(400)의 프로세싱 및 인코더/디코더 요소들은 다수의 IC들 및/또는 별개의 컴포넌트들에 걸쳐 분산된다. 다양한 실시예들에서, 시스템(400)은 예를 들어 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트들을 통해 하나 이상의 다른 시스템들, 또는 다른 전자 디바이스들에 통신가능하게 결합된다. 다양한 실시예들에서, 시스템(400)은 본 문헌에 기술된 태양들 중 하나 이상을 구현하도록 구성된다.
시스템(400)은, 예를 들어 본 문헌에 기술된 다양한 태양들을 구현하기 위해 그 내부에 로딩된 명령어들을 실행하도록 구성된 적어도 하나의 프로세서(410)를 포함한다. 프로세서(410)는 내장된 메모리, 입력 출력 인터페이스, 및 당업계에 알려진 바와 같은 다양한 다른 회로부들을 포함할 수 있다. 시스템(400)은 적어도 하나의 메모리(420)(예컨대, 휘발성 메모리 디바이스, 및/또는 비휘발성 메모리 디바이스)를 포함한다. 시스템(400)은 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 판독 전용 메모리(ROM), 프로그래밍가능 판독 전용 메모리(Programmable Read-Only Memory, PROM), 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 플래시, 자기 디스크 드라이브 및/또는 광학 디스크 드라이브를 포함하지만 이에 제한되지 않는 비휘발성 메모리 및/또는 휘발성 메모리를 포함할 수 있는 저장 디바이스(440)를 포함한다. 저장 디바이스(440)는 비제한적인 예들로서, 내부 저장 디바이스, 부착된 저장 디바이스(분리가능한 저장 디바이스 및 분리가능하지 않은 저장 디바이스를 포함함), 및/또는 네트워크 액세스가능한 저장 디바이스를 포함할 수 있다.
시스템(400)은, 예를 들어, 인코딩된 비디오 또는 디코딩된 비디오를 제공하기 위해 데이터를 프로세싱하도록 구성된 인코더/디코더 모듈(430)을 포함하고, 인코더/디코더 모듈(430)은 자체 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(430)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 나타낸다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 2개 모두를 포함할 수 있다. 또한, 인코더/디코더 모듈(430)은 시스템(400)의 별개의 요소로서 구현될 수 있거나, 또는 당업자에게 알려진 바와 같이 하드웨어와 소프트웨어의 조합으로서 프로세서(410) 내에 통합될 수 있다.
본 문헌에서 기술된 다양한 태양들을 수행하기 위해 프로세서(410) 또는 인코더/디코더(430)에 로딩될 프로그램 코드는 저장 디바이스(440)에 저장될 수 있고 후속적으로 프로세서(410)에 의한 실행을 위해 메모리(420)에 로딩될 수 있다. 다양한 실시예들에 따르면, 프로세서(410), 메모리(420), 저장 디바이스(440), 및 인코더/디코더 모듈(430) 중 하나 이상은 본 문헌에 기술된 프로세스들의 수행 동안 다양한 항목들 중 하나 이상을 저장할 수 있다. 이러한 저장된 항목들은 입력 비디오, 디코딩된 비디오 또는 디코딩된 비디오의 일부들, 비트스트림, 행렬들, 변수들, 및 식들, 공식들, 연산들 및 연산 로직의 프로세싱으로부터의 중간 또는 최종 결과들을 포함할 수 있지만, 이들로 제한되지 않는다.
일부 실시예들에서, 프로세서(410) 및/또는 인코더/디코더 모듈(430) 내부의 메모리는 명령어들을 저장하고, 인코딩 또는 디코딩 동안 필요한 프로세싱을 위한 작업 메모리를 제공하는 데 사용된다. 그러나, 다른 실시예들에서, 프로세싱 디바이스 외부의 메모리(예를 들어, 프로세싱 디바이스는 프로세서(410) 또는 인코더/디코더 모듈(430) 중 어느 하나일 수 있음)는 이러한 기능들 중 하나 이상에 사용된다. 외부 메모리는 메모리(420) 및/또는 저장 디바이스(440), 예를 들어, 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 일부 실시예들에서, 외부 비휘발성 플래시 메모리는 예를 들어, 텔레비전의 운영 체제를 저장하는 데 사용된다. 적어도 하나의 실시예에서, RAM과 같은 고속 외부 동적 휘발성 메모리는, 예를 들어, MPEG-2(MPEG는 Moving Picture Experts Group을 지칭하고, MPEG-2는 또한 ISO/IEC 13818로도 지칭되고, 13818-1은 또한 H.222로도 알려져 있고, 13818-2는 또한 H.262로도 알려져 있음), HEVC(HEVC는 High Efficiency Video Coding을 지칭하고, H.265 및 MPEG-H Part 2로도 알려져 있음), 또는 VVC(Versatile Video Coding, JVET(Joint Video Experts Team)에서 개발 중인 새로운 표준)와 같은 비디오 코딩 및 디코딩 동작들을 위한 작업 메모리로서 사용된다.
시스템(400)의 요소들에 대한 입력은 블록(445)에 나타낸 바와 같은 다양한 입력 디바이스들을 통해 제공될 수 있다. 그러한 입력 디바이스들은, (i) 예를 들어 브로드캐스터(broadcaster)에 의해 무선으로 송신된 무선 주파수(RF) 신호를 수신하는 RF 부분, (ii) 컴포넌트(COMP) 입력 단자(또는 COMP 입력 단자의 세트), (iii) 범용 직렬 버스(USB) 입력 단자, 및/또는 (iv) 고화질 멀티미디어 인터페이스(High Definition Multimedia Interface, HDMI) 입력 단자를 포함하지만, 이들로 제한되지 않는다. 도 4에 도시되지 않은 다른 예들은 복합 비디오(composite video)를 포함한다.
다양한 실시예들에서, 블록(445)의 입력 디바이스들은 당업계에 알려진 바와 같은 연관된 각자의 입력 프로세싱 요소들을 갖는다. 예를 들어, RF 부분은 (i) 원하는 주파수를 선택하고(또한 신호를 선택하거나, 또는 주파수들의 대역에 신호를 대역 제한하는 것으로 지칭됨), (ii) 선택된 신호를 하향변환하고, (iii) 소정 실시예들에서 (예를 들어) 채널로 지칭될 수 있는 신호 주파수 대역을 선택하기 위해 주파수들의 더 좁은 대역으로 다시 대역 제한하고, (iv) 하향변환된 그리고 대역 제한된 신호를 복조하고, (v) 오류 보정을 수행하고, (vi) 데이터 패킷들의 원하는 스트림을 선택하도록 디멀티플렉싱하기에 적합한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 부분은 이러한 기능들을 수행하기 위한 하나 이상의 요소들, 예를 들어 주파수 선택기들, 신호 선택기들, 대역-제한기들, 채널 선택기들, 필터들, 하향변환기들, 복조기들, 오류 보정기들, 및 역다중화기들을 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 근거리 기저대역 주파수)로 또는 기저대역으로 하향변환하는 것을 포함하여 이러한 다양한 기능들을 수행하는 튜너를 포함할 수 있다. 하나의 셋톱 박스 실시예에서, RF 부분 및 그의 연관된 입력 프로세싱 요소는 유선(예를 들어, 케이블) 매체를 통해 전송된 RF 신호를 수신하고, 필터링하고, 하향변환하고 다시 원하는 주파수 대역으로 필터링함으로써 주파수 선택을 수행한다. 다양한 실시예들은 전술한(및 다른) 요소들의 순서를 재배열하고, 이들 요소들 중 일부를 제거하고/하거나 유사하거나 상이한 기능들을 수행하는 다른 요소들을 추가한다. 요소를 추가하는 것은, 예를 들어, 증폭기들 및 아날로그-디지털 변환기를 삽입하는 것과 같이, 기존 요소들 사이에 요소들을 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 부분은 안테나를 포함한다.
또한, USB 및/또는 HDMI 단자들은 시스템(400)을 USB 및/또는 HDMI 접속부들을 통해 다른 전자 디바이스들에 접속하기 위한 각자의 인터페이스 프로세서들을 포함할 수 있다. 입력 프로세싱, 예를 들어, 리드 솔로몬(Reed-Solomon) 에러 보정의 다양한 태양들이, 예를 들어, 필요에 따라, 별개의 입력 프로세싱 IC 내에서 또는 프로세서(410) 내에서 구현될 수 있다는 것이 이해되어야 한다. 유사하게, USB 또는 HDMI 인터페이스 프로세싱의 태양들이, 필요에 따라, 별개의 인터페이스 IC 내에서 또는 프로세서(410) 내에서 구현될 수 있다. 복조되고, 오류 보정되고, 역다중화된 스트림은, 예를 들어, 프로세서(410), 및 메모리 및 저장 요소들과 조합하여 동작하는 인코더/디코더(430)를 포함하는 다양한 프로세싱 요소들에 제공되어, 필요에 따라 출력 디바이스 상의 제시를 위해 데이터 스트림을 프로세싱한다.
시스템(400)의 다양한 요소들이 통합된 하우징 내에 제공될 수 있으며, 통합된 하우징 내에서, 다양한 요소들은 적합한 접속 배열(425), 예를 들어, 인터-IC(I2C) 버스, 배선, 및 인쇄 회로 기판을 포함하는, 당업계에 알려진 바와 같은 내부 버스를 사용하여 상호접속되고 그들 사이에서 데이터를 전송할 수 있다.
시스템(400)은 통신 채널(460)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(450)를 포함한다. 통신 인터페이스(450)는 통신 채널(460)을 통해 데이터를 전송하도록 그리고 수신하도록 구성된 송수신기를 포함할 수 있지만, 이에 제한되지 않는다. 통신 인터페이스(450)는 모뎀 또는 네트워크 카드를 포함할 수 있지만 이에 제한되지 않으며, 통신 채널(460)은 예를 들어 유선 및/또는 무선 매체 내에서 구현될 수 있다.
데이터는, 다양한 실시예들에서, Wi-Fi 네트워크, 예를 들어 IEEE 802.11(IEEE는 전기 전자 기술자 협회(Institute of Electrical and Electronics Engineers)를 지칭함)과 같은 무선 네트워크를 사용하여, 시스템(400)에 스트리밍되거나 또는 달리 제공된다. 이들 실시예들의 Wi-Fi 신호는 Wi-Fi 통신에 대해 적응된 통신 채널(460) 및 통신 인터페이스(450)를 통해 수신된다. 이들 실시예들의 통신 채널(460)은 전형적으로, 스트리밍 응용들 및 다른 오버-더-탑(over-the-top) 통신을 허용하기 위한 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 접속된다. 다른 실시예들은 입력 블록(445)의 HDMI 접속을 통해 데이터를 전달하는 셋톱 박스를 사용하여 스트리밍된 데이터를 시스템(400)에 제공한다. 또 다른 실시예들은 입력 블록(445)의 RF 접속을 사용하여 스트리밍된 데이터를 시스템(400)에 제공한다. 전술한 바와 같이, 다양한 실시예들은 비-스트리밍 방식으로 데이터를 제공한다. 또한, 다양한 실시예들은 Wi-Fi 이외의 무선 네트워크들, 예를 들어 셀룰러 네트워크 또는 블루투스 네트워크를 사용한다.
시스템(400)은 디스플레이(475), 스피커들(485), 및 다른 주변 디바이스들(495)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다양한 실시예들의 디스플레이(475)는, 예를 들어, 터치스크린 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 커브드(curved) 디스플레이, 및/또는 폴더블(foldable) 디스플레이 중 하나 이상을 포함한다. 디스플레이(475)는 텔레비전, 태블릿, 랩톱, 휴대폰(모바일 폰), 또는 다른 디바이스를 위한 것일 수 있다. 디스플레이(475)는 또한 (예를 들어, 스마트 폰에서와 같이) 다른 컴포넌트들과 통합될 수도 있고, 별개일 수도 있다(예를 들어, 랩톱을 위한 외부 모니터). 실시예들의 다양한 예들에서, 다른 주변 디바이스들(495)은 독립형 디지털 비디오 디스크(또는 디지털 다기능 디스크)(두 용어들 모두에 대해, DVR), 디스크 플레이어, 스테레오 시스템 및/또는 조명 시스템 중 하나 이상을 포함한다. 다양한 실시예들은 시스템(400)의 출력에 기초하여 기능을 제공하는 하나 이상의 주변 디바이스들(495)을 사용한다. 예를 들어, 디스크 플레이어는 시스템(400)의 출력을 재생하는 기능을 수행한다.
다양한 실시예들에서, 제어 신호들은, AV.Link, 소비자 전자제품 제어(Consumer Electronics Control, CEC)와 같은 시그널링, 또는 사용자 개입이 있거나 또는 개입 없이 디바이스 대 디바이스 제어를 가능하게 하는 다른 통신 프로토콜들을 사용하여 시스템(400)과 디스플레이(475), 스피커들(485), 또는 다른 주변 디바이스들(495) 사이에서 통신된다. 출력 디바이스들은 각자의 인터페이스들(470, 480, 490)을 통한 전용 접속들을 통해 시스템(400)에 통신가능하게 결합될 수 있다. 대안적으로, 출력 디바이스들은 통신 인터페이스(450)를 통해 통신 채널(460)을 사용하여 시스템(400)에 접속될 수 있다. 디스플레이(475) 및 스피커들(485)은 예를 들어, 텔레비전과 같은 전자 디바이스에서 시스템(400)의 다른 컴포넌트들과 단일 유닛으로 통합될 수 있다. 다양한 실시예들에서, 디스플레이 인터페이스(470)는, 예를 들어 타이밍 제어기(T Con) 칩과 같은 디스플레이 드라이버를 포함한다.
디스플레이(475) 및 스피커들(485)은 대안적으로, 예를 들어, 입력(445)의 RF 부분이 별개의 셋톱 박스의 일부인 경우, 다른 컴포넌트들 중 하나 이상과 별개일 수 있다. 디스플레이(475) 및 스피커들(485)이 외부 컴포넌트들인 다양한 실시예들에서, 출력 신호는 예를 들어 HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 접속들을 통해 제공될 수 있다.
실시예들은 프로세서(410)에 의해 구현되는 컴퓨터 소프트웨어에 의해 또는 하드웨어에 의해, 또는 하드웨어와 소프트웨어의 조합에 의해 수행될 수 있다. 비제한적인 예로서, 실시예들은 하나 이상의 집적 회로들에 의해 구현될 수 있다. 메모리(420)는 기술적 환경에 적절한 임의의 유형일 수 있고, 비제한적인 예들로서, 광학 메모리 디바이스들, 자기 메모리 디바이스들, 반도체 기반 메모리 디바이스들, 고정식 메모리 및 착탈식 메모리와 같은 임의의 적절한 데이터 저장 기술을 사용하여 구현될 수 있다. 프로세서(410)는 기술적 환경에 적합한 임의의 유형일 수 있고, 비제한적인 예들로서, 마이크로프로세서들, 범용 컴퓨터들, 특수 목적 컴퓨터들 및 멀티 코어 아키텍처 기반 프로세서들 중 하나 이상을 포함할 수 있다.
다양한 구현예들이 디코딩을 수반한다. 본 출원에서 사용되는 바와 같이, "디코딩"은 예를 들어, 수신된 인코딩된 시퀀스에 대해 수행되어 디스플레이에 적합한 최종 출력을 생성하는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 이러한 프로세스들은 디코더에 의해 전형적으로 수행되는 프로세스들 중 하나 이상의 프로세스들, 예를 들어, 엔트로피 디코딩, 역양자화, 역변환, 및 차동 디코딩을 포함한다. 다양한 실시예들에서, 그러한 프로세스들은 또한 또는 대안적으로, 코딩된 포인트 클라우드 시퀀스(예컨대, ISOBMFF 컨테이너에 캡슐화됨)에 대한 부분 액세스를 제공하기 위해, 본 출원에 기술된 다양한 구현예들의 디코더에 의해 수행되는 프로세스들, 예를 들어 코딩된 포인트 클라우드 시퀀스(예컨대, 예를 들어 본 명세서에 개시된 바와 같은 하나 이상의 파일 포맷 구조들을 사용하여 ISOBMFF 컨테이너에 캡슐화됨)의 일부분의 디코딩 등을 포함한다.
추가의 실시예들로서, 하나의 예에서, "디코딩"은 단지 엔트로피 디코딩을 지칭하고, 다른 실시예에서 "디코딩"은 단지 차동 디코딩을 지칭하고, 다른 실시예에서 "디코딩"은 엔트로피 디코딩과 차동 디코딩의 조합을 지칭한다. 어구 "디코딩 프로세스"가 동작들의 서브세트를 구체적으로 나타내기 위한 것인지, 또는 일반적으로 보다 광의의 디코딩 프로세스를 나타내기 위한 것인지 여부는 특정 설명들의 맥락에 기초하여 명확할 것이며, 당업자에 의해 잘 이해될 것으로 여겨진다.
다양한 구현예들이 인코딩을 수반한다. "디코딩"에 대한 상기 논의와 유사한 방식으로, 본 출원에서 사용되는 바와 같은 "인코딩"은, 예를 들어 입력 비디오 시퀀스에 대해 수행되어 인코딩된 비트스트림을 생성하는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 이러한 프로세스들은 전형적으로 인코더에 의해 수행되는 프로세스들, 예를 들어, 파티셔닝, 차동 인코딩, 변환, 양자화, 및 엔트로피 인코딩 중 하나 이상을 포함한다. 다양한 실시예들에서, 그러한 프로세스들은 또한, 또는 대안적으로, 본 출원에 기술된 다양한 구현예들의 인코더에 의해 수행되는 프로세스들, 예를 들어, 코딩된 포인트 클라우드 시퀀스(예컨대, ISOBMFF 컨테이너에 캡슐화됨)의 상이한 부분들에 대한 부분 액세스 지원을 제공하기 위해 하나 이상의 파일 포맷 구조들(예컨대, 본 명세서에 개시된 바와 같음)을 포함하는 비디오 기반 포인트 클라우드 비트스트림의 인코딩 등을 포함한다.
추가 예들에서, 하나의 실시예에서, "인코딩"은 단지 엔트로피 인코딩을 지칭하며, 다른 실시예에서 "인코딩"은 단지 차동 인코딩을 지칭하고, 다른 실시예에서 "인코딩"은 차동 인코딩과 엔트로피 인코딩의 조합을 지칭한다. 어구 "인코딩 프로세스"가 동작들의 서브세트를 구체적으로 나타내기 위한 것인지, 또는 일반적으로 보다 광의의 인코딩 프로세스를 나타내기 위한 것인지 여부는 특정 설명들의 맥락에 기초하여 명확할 것이며, 당업자에 의해 잘 이해될 것으로 여겨진다.
본 명세서에서 사용되는 바와 같은 신택스 요소들, 예를 들어, atlas_tile_group_layer_rbsp(), VPCCTileGroupSampleEntry, VolumetricSampleEntry, TrackGroupTypeBox, SpatialRegionGroupBox, TrackGroupTypeBox, DynamicVolumetricMetadataSampleEntry, 3DSpatialRegionStruct, VPCCVolumetricMetadataSample, VPCCAtlasSampleEntry 등이 설명적 용어들이라는 점에 주목한다. 따라서, 이들은 다른 신택스 요소 이름들의 사용을 배제하지 않는다.
도면이 흐름도로서 제시될 때, 그것은 또한 대응하는 장치의 블록도를 제공한다는 것을 이해해야 한다. 유사하게, 도면이 블록도로서 제시될 때, 그것은 또한 대응하는 방법/프로세스의 흐름도를 제공한다는 것을 이해해야 한다.
본 명세서에 기술된 구현예들 및 태양들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수 있다. 구현예의 단일 형태의 맥락에서 논의된다 하더라도(예를 들어, 방법으로서만 논의됨), 논의된 특징들의 구현예는 다른 형태들(예를 들어, 장치 또는 프로그램)에서 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 예를 들어, 방법들은 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 논리 디바이스를 포함하는, 일반적으로 프로세싱 디바이스들을 지칭하는 프로세서에서 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 휴대폰들, 휴대용/개인 디지털 어시스턴트들("PDA들"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.
"하나의 실시예", "일 실시예", "일례", "하나의 구현예"또는 "일 구현예"에 대한 언급은 물론 이들의 다른 변형예들은, 실시예와 관련하여 기술된 특정 특징, 구조, 특성 등이 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, "하나의 실시예에서", "일 실시예에서", "일례에서", "하나의 구현예에서" 또는 "일 구현예에서"라는 어구의 출현뿐만 아니라, 본 출원 전반에 걸쳐 다양한 곳들에 나타나는 임의의 다른 변형들이 반드시 모두 동일한 실시예 또는 예를 지칭하는 것은 아니다.
또한, 본 출원은 다양한 정보들을 "결정하는 것"을 지칭할 수 있다. 정보를 결정하는 것은, 예를 들어 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 메모리로부터 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 획득하는 것은 수신하는 것, 취출하는 것, 구성하는 것, 생성하는 것, 및/또는 결정하는 것을 포함할 수 있다.
또한, 본 출원은 다양한 정보들에 "액세스하는 것"을 지칭할 수 있다. 정보에 액세스하는 것은, 예를 들어 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 이동하는 것, 정보를 복사하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.
또한, 본 출원은 다양한 정보들을 "수신하는 것"을 지칭할 수 있다. 수신하는 것은 "액세스하는 것"과 마찬가지로 광의의 용어인 것으로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것, 또는 (예를 들어, 메모리로부터) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 또한, "수신하는 것"은 전형적으로, 예를 들어 정보를 저장하는 동작, 정보를 프로세싱하는 동작, 정보를 전송하는 동작, 정보를 이동하는 동작, 정보를 복사하는 동작, 정보를 소거하는 동작, 정보를 계산하는 동작, 정보를 결정하는 동작, 정보를 예측하는 동작, 또는 정보를 추정하는 동작 동안 어떤 방식으로든 수반된다.
예를 들어 다음의 "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우들에서 "/", "및/또는", 및 "적어도 하나" 중 임의의 것의 사용은 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 옵션들(A 및 B) 둘 모두의 선택을 포함하도록 의도됨을 이해해야 한다. 또 다른 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나"의 경우들에서, 이러한 어구는 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 제3 열거된 옵션(C) 단독의 선택, 또는 제1 및 제2 열거된 옵션들(A 및 B) 단독의 선택, 또는 제1 및 제3 열거된 옵션들(A 및 C) 단독의 선택, 또는 제2 및 제3 열거된 옵션들(B 및 C) 단독의 선택, 또는 3개의 모든 옵션들(A, B 및 C)의 선택을 포함하도록 의도된다. 이는, 본 명세서에 기술된 바와 같은 많은 항목들에 대해, 본 명세서 및 관련 분야의 당업자에게 명백한 바와 같이 확장될 수 있다.
또한, 본 명세서에 사용된 바와 같이, 용어 "신호"는 특히 대응하는 디코더에게 무언가를 나타내는 것을 지칭한다. 일부 실시예들에서, 인코더는, 예를 들어, V-PCC 파라미터 세트, SEI 메시지들, 메타데이터, 편집 목록, 사후 디코더 요건들, ISOBMFF 컨테이너에 캡슐화된 코딩된 포인트 클라우드 시퀀스의 상이한 부분들에 대한 유연한 부분 액세스를 가능하게 하는 신호들, 각각의 시그널링된 객체에 대한 독립성 목록, 공간 영역에 대한 맵핑, 3D 경계 박스 정보 등을 (예컨대, 인코딩된 비트스트림에서 그리고/또는 ISOBMFF 컨테이너와 같은 캡슐화 파일로) 시그널링할 수 있다. 이러한 방식으로, 일 실시예에서, 동일한 파라미터가 인코더 측 및 디코더 측 둘 모두에서 사용된다. 따라서, 예를 들어, 인코더는 디코더가 동일한 특정 파라미터를 사용할 수 있도록 디코더에 특정 파라미터를 전송할 수 있다(명시적 시그널링). 반대로, 디코더가 이미 특정 파라미터뿐만 아니라 다른 것들을 갖는 경우, 시그널링은, 단순히 디코더가 특정 파라미터를 알고 선택하게 할 수 있도록, 전송 없이 사용될 수 있다(암시적 시그널링). 임의의 실제 함수들의 전송을 피함으로써, 다양한 실시예들에서 비트 절약이 실현된다. 시그널링은 다양한 방식들로 달성될 수 있음을 이해해야 한다. 예를 들어, 하나 이상의 신택스 요소들, 플래그들 등이 다양한 실시예들에서 대응하는 디코더에 정보를 시그널링하는 데 사용된다. 전술된 표현이 단어 "신호"의 동사 형태와 관련되지만, 단어 "신호"는 또한 명사로서 본 명세서에서 사용될 수 있다.
당업자에게 명백한 바와 같이, 구현예들은, 예를 들어 저장되거나 송신될 수 있는 정보를 전달하도록 포맷화된 다양한 신호들을 생성할 수 있다. 예를 들어, 정보는 방법을 수행하기 위한 명령어들, 또는 기술된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 비트스트림을 전달하도록 포맷화될 수 있다. 그러한 신호는, 예를 들어, 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷화될 수 있다. 포맷화는, 예를 들어, 데이터 스트림을 인코딩하는 것, 및 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.
(예컨대, 3D 포인트 클라우드들을 사용하여) 3차원(3D) 이미지들을 캡처하고 렌더링하는 것은 많은 애플리케이션들(예컨대, 원격현실(tele-presence), 가상 현실, 및 대규모 동적 3D 맵들)을 가질 수 있다. 3D 포인트 클라우드들은 몰입형 매체들을 표현하는 데 사용될 수 있다. 3D 포인트 클라우드는 3D 공간에 표현되는 포인트들의 세트를 포함할 수 있다. (예컨대, 각각의) 포인트는 좌표들 및/또는 하나 이상의 속성들을 포함할 수 있다. 좌표들은 (예컨대, 각각의) 포인트의 위치를 나타낼 수 있다. 속성들은 예를 들어, 하기 중 하나 이상을 포함할 수 있다: 각각의 포인트와 연관된 컬러, 투명도, 취득 시간, 레이저의 반사율 또는 재료 특성 등. 포인트 클라우드들은 다수의 방식들로 캡처되거나 배치될 수 있다. 포인트 클라우드는, 예를 들어 (예컨대, 3D 공간을 샘플링하기 위해) 다수의 카메라들 및 깊이 센서들, 라이다(Light Detection and Ranging, LiDAR) 레이저 스캐너 등을 사용하여 캡처되거나 배치될 수 있다. 예를 들어 3D 공간 내의 객체를 샘플링함으로써 (예컨대, 좌표들 및/또는 속성들로 표현되는) 포인트가 생성될 수 있다. 포인트 클라우드들은 복수의 포인트들을 포함할 수 있는데, 이들 각각은 3D 공간에 맵핑되는 좌표들(예컨대, x, y, z 좌표들)의 세트로 표현될 수 있다. 일례에서, 3D 객체 또는 장면은 수백만 또는 수십억 개의 샘플링된 포인트들을 포함하는 포인트 클라우드로 표현되거나 재구성될 수 있다. 3D 포인트 클라우드들은 정적 및/또는 동적(움직이는) 3D 장면들을 표현할 수 있다.
포인트 클라우드 데이터는, 예를 들어 포인트 클라우드 데이터를 (예컨대, 효율적으로) 저장하고/하거나 송신하기 위해, 표현되고/되거나 압축(예컨대, 포인트 클라우드 압축(point cloud compression, PCC))될 수 있다. 기하구조 기반 압축은 정적 포인트 클라우드들을 인코딩하고 디코딩하는 데 활용될 수 있고, 비디오 기반 압축은, 예를 들어, 3D 포인트 클라우드들의 효율적이고 상호운용가능한 저장 및 송신을 지원하기 위해 동적 포인트 클라우드들을 인코딩하고 디코딩하는 데 활용될 수 있다. 포인트 클라우드 샘플링, 표현, 압축, 및/또는 렌더링은 포인트 클라우드의 기하구조 좌표들 및/또는 속성들의 손실 및/또는 무손실 코딩(예컨대, 인코딩 또는 디코딩)을 지원할 수 있다.
도 5는 서버(502) 및 클라이언트(510)를 위한 시스템 인터페이스(500)를 보여주는 도면이다. 서버(502)는 인터넷(504) 및 다른 네트워크들(506)에 접속되는 포인트 클라우드 서버일 수 있다. 클라이언트(510)는 또한, 인터넷(504) 및 다른 네트워크들(506)에 접속되어, 노드들(예컨대, 서버(502)와 클라이언트(510)) 사이의 통신을 가능하게 한다. 각각의 노드는 프로세서, 비일시적 컴퓨터 판독가능 메모리 저장 매체, 및 본 명세서에 개시된 방법들 또는 방법들의 일부분들을 수행하기 위해 프로세서에 의해 실행가능한 저장 매체 내에 포함된 실행가능 명령어들을 포함한다. 하나 이상의 노드들은 하나 이상의 센서들을 추가로 포함할 수 있다. 클라이언트(510)는 (예컨대, 또한) 헤드 마운트 디스플레이(HMD)(508)와 같은 디스플레이를 위해 3D 비디오를 렌더링하기 위한 그래픽 프로세서(512)를 포함할 수 있다. 노드들 중 임의의 것 또는 모두는 도 1a 내지 도 1d와 관련하여 전술된 바와 같이, WTRU를 포함할 수 있고, 네트워크들을 통해 통신할 수 있다.
도 6은 서버(602) 및 클라이언트(604)를 위한 시스템 인터페이스(600)를 보여주는 도면이다. 서버(602)는 포인트 클라우드 콘텐츠 서버(602)일 수 있고, 포인트 클라우드 콘텐츠의 데이터베이스, 세부 레벨을 프로세싱하기 위한 로직, 및 서버 관리 기능을 포함할 수 있다. 일부 예들에서, 세부세항에 대한 프로세싱은, 예컨대 대역폭 제한들로 인해 또는 시청 거리가 감소를 허용하기에 충분하기 때문에 허용되는 대로, 클라이언트(604)(예컨대, 시청 중인 클라이언트(604))로의 송신을 위해 해상도를 감소시킬 수 있다. 포인트 클라우드 콘텐츠 서버(602)는 클라이언트(604)와 통신할 수 있고, 포인트 클라우드 데이터 및/또는 포인트 클라우드 메타데이터는 교환될 수 있다. 일부 예들의 경우, 시청자를 위해 렌더링된 포인트 클라우드 데이터는, 예컨대 (예컨대, 포인트 클라우드 서버(602)로부터 시청 중인 클라이언트(604)에게로 스트리밍되는) 포인트 클라우드 데이터 및/또는 포인트 클라우드 메타데이터로부터, 세부 레벨을 감소시키고/시키거나 증가시키기 위해 데이터 구성의 프로세스를 겪을 수 있다. 포인트 클라우드 서버(602)는, 예컨대 대역폭 제약들 또는 시청 거리 공차들에 순응하기 위해, 공간 캡처링이 제공했거나 일부 실시예들의 경우에 다운-샘플링한 해상도로 포인트 클라우드 데이터를 스트리밍할 수 있다. 포인트 클라우드 서버(602)는 세부 레벨을 동적으로 감소시킬 수 있다. 일부 예들에서, 포인트 클라우드 서버(602)는 (예컨대, 또한) 포인트 클라우드 데이터를 분할할 수 있고, 포인트 클라우드 내의 객체들을 식별할 수 있다. 일부 예들에서, 선택된 객체에 대응하는 포인트 클라우드 데이터 내의 포인트들은 더 낮은 해상도 데이터로 대체될 수 있다.
클라이언트(604)(예컨대, HMD를 갖는 클라이언트(604))는 비트 스트림, 예를 들어, 비디오 기반 포인트 클라우드 압축(V-PCC) 코딩된 비트스트림을 통해 포인트 클라우드 콘텐츠 서버(602)로부터 포인트 클라우드의 일부분들 및/또는 타일들을 요청할 수 있다. 예를 들어, 포인트 클라우드의 일부분들 및/또는 타일들은 HMD의 위치 및/또는 배향에 기초하여 회수될 수 있다.
도 7은 클라이언트(예컨대, HMD)에 의해 콘텐츠를 요청하는 일례(700)를 보여주는 도면이다. HMD 및 클라이언트는, HMD에 의해 수행되는 것으로 기술된 하나 이상의 단계들이 클라이언트에 의해 (예를 들어, HMD를 대신하여) 수행될 수 있도록 상호교환적으로 사용된다는 것이 이해된다. 702에서, HMD의 위치가 결정될 수 있다. 702에서, HMD의 배향이 결정될 수 있다. 수신된 뷰포트들로부터의 일정 뷰포트가 선택될 수 있다. 704에서, 하나 이상의 6DoF 뷰포트들을 나타내는 타임드 메타데이터 트랙이 포인트 클라우드 서버로부터 HMD 및/또는 클라이언트에 의해 수신될 수 있다. 706에서, 하나 이상의 타일 그룹 트랙들이 도 5 또는 도 6의 포인트 클라우드 서버로부터 요청될 수 있다. 708에서, 요청된 타일 그룹 트랙들이 (예컨대, HMD에서) 수신될 수 있다. 타일 그룹 트랙들의 수신된 세트는, 예를 들어 본 명세서에 기술된 바와 같이, 포인트 클라우드 장면 내의 공간 영역들 또는 객체들을 렌더링하기 위한 정보를 전달할 수 있다. 도 1a 내지 도 6에 기초한 시스템들은 본 명세서의 개시내용에 기초하여 구현될 수 있다.
도 8은 비디오 기반 포인트 클라우드 압축(V-PCC) 유닛들의 시퀀스로서 V-PCC 비트스트림 구조의 일례를 보여주는 도면이다. V-PCC 비트스트림은 V-PCC 유닛들의 시퀀스를 포함할 수 있다(예컨대, 도 8의 예에 의해 도시된 바와 같음). V-PCC 유닛(예컨대, 각각의 V-PCC 유닛)은 V-PCC 유닛 헤더 및/또는 V-PCC 유닛 페이로드를 가질 수 있다. V-PCC 유닛 헤더는 V-PCC 유닛 유형을 설명할 수 있다. 표 1은 V-PCC 유닛 유형들의 예들을 보여준다. 속성 비디오 데이터 V-PCC 유닛 헤더는 하나 이상의 속성 유형들 및/또는 인덱스들을 특정할 수 있는데, 이들은 동일한 속성 유형의 다수의 인스턴스들이 지원될 수 있게 할 수 있다. 표 2는 V-PCC 속성 유형들의 예들을 보여준다. 점유도, 기하구조 및/또는 속성 비디오 데이터 유닛 페이로드들(예컨대, 도 8의 예에 의해 도시된 바와 같음)은 비디오 디코더에 의해 디코딩될 수 있는 비디오 데이터 유닛들(예컨대, 네트워크 추상화 계층(network abstraction layer, NAL) 유닛들)에 대응할 수 있다. 비디오 코딩된 컴포넌트 서브비트스트림(예컨대, 점유도, 기하구조, 및/또는 속성 서브스트림과 같은 각각의 비디오 코딩된 컴포넌트 서브비트스트림)에 대응하는 비디오 디코더는 V-PCC 파라미터 세트로 시그널링될 수 있다.
V-PCC 비트스트림 하이-레벨 신택스(high-level syntax, HLS)는 예를 들어, 하나 이상의 아틀라스 프레임들 내의 타일 그룹들(예컨대, 타일들의 세트들)을 지원할 수 있다. 아틀라스 프레임은 타일들 및/또는 타일 그룹들(예컨대, 타일들의 세트들)로 파티셔닝될 수 있다. 아틀라스 프레임은 예를 들어, 하나 이상의 타일 행들 및/또는 하나 이상의 타일 열들로 나뉠 수 있다. 타일은 예를 들어, 아틀라스 프레임의 직사각형 영역일 수 있다. 타일 그룹(예컨대, 타일들의 세트)은 아틀라스 프레임의 하나 이상의 타일들을 포함할 수 있다. 타일 그룹(예컨대, 타일들의 세트) 내의 타일(들)은 독립적으로 디코딩가능할 수 있다. 타일 그룹들 내의 타일들의 수는 달라질 수 있다.
도 9는 (예컨대, 24개의 타일들 및 9개의 타일 그룹들로의) 아틀라스 프레임의 타일 및 타일 그룹 파티셔닝의 일례를 보여주는 도면이다. 도 9는 9개의 타일 그룹들을 구별하기 위해 교번하는 음영으로 도시되어 있다. 예들에서, 직사각형 타일 그룹 파티셔닝(예컨대, 직사각형 타일 그룹 파티셔닝만)이 지원될 수 있다. 타일 그룹은 예를 들어, 아틀라스 프레임의 직사각형 영역을 집합적으로 형성하는 아틀라스 프레임의 다수의 타일들(예컨대, 도 9의 예에 의해 도시된 바와 같이, 타일 그룹당 2개 또는 4개의 타일들)을 포함할 수 있다. 타일 그룹은 아틀라스 프레임과 연관된 V-PCC 타일들의 세트를 포함할 수 있다.
보충 강화 정보(supplemental enhancement information, SEI) 메시지들은, 예를 들어 아틀라스 프레임 내의 패치들 및/또는 볼륨 형상들(예컨대, 직사각형들)을 포인트 클라우드에 의해 표현되는 장면 내의 객체들과 연관시키기 위해 V-PCC 비트스트림으로 시그널링될 수 있다. SEI 메시지들은 하나 이상의 객체들에 대한 주석첨부, 라벨링, 및/또는 특성들의 추가를 가능하게 하고/하거나 지원할 수 있다. 객체들은 현실 객체들(예컨대, 장면 내의 물리적 객체들) 및/또는 개념적 객체들(예컨대, 물리적 또는 다른 특성들과 관련될 수 있는 객체들)에 대응할 수 있다. 객체는 파라미터들 및/또는 특성들(예컨대, 상이한 파라미터들 및/또는 특성들)과 연관될 수 있는데, 이들은 예를 들어, 포인트 클라우드 또는 장면 그래프의 생성 및/또는 편집(예컨대, 생성 및/또는 편집 프로세스(들)) 동안 정보(예컨대, 제공되는 정보)에 대응할 수 있다. 종속성 관계들이 상이한 객체들 사이에 정의될 수 있다. 예를 들어, 객체는 하나 이상의 다른 객체들의 일부일 수 있다.
포인트 클라우드 내의 객체들은 시간적으로 지속적일 수 있거나, 또는 (예컨대, 임의의 시간 및/또는 프레임에서) 업데이트될 수 있다. 연관된 정보(예컨대, 객체와 연관된 정보)는 예를 들어, (예컨대, 업데이트/연관 시그널링에 의해) 업데이트되거나 대체될 때까지, 또는 비트스트림의 끝까지 지속될 수 있다. 하나 이상의 패치들 및/또는 2D 볼륨 직사각형들은 하나 이상의 객체들과 연관될 수 있다. 2D 볼륨 직사각형은 예를 들어, 본 명세서의 도 11에 도시된 바와 같이, 하나 이상의 패치들을 포함할 수 있다.
시간 기반 매체들은 ISO 기본 매체 파일 포맷(ISO Base Media File Format, ISOBMFF)과 같은 하나 이상의 파일 포맷들로 저장될 수 있다. 매체 파일 포맷(예컨대, ISOBFFF)의 파일은, 예를 들어 오디오, 비디오 등과 같은 매체 데이터의 타임드 프리젠테이션들에 대한 구조적 및/또는 매체 데이터 정보를 포함할 수 있다. 파일 포맷(예컨대, ISOBMFF)은 언-타임드(un-timed) 데이터, 예를 들어 파일 구조 내의 상이한 레벨들의 메타데이터를 지원할 수 있다. 파일의 로직 구조는 예를 들어, 시간 병렬 트랙들의 세트를 포함하는 영화일 수 있다. 파일의 시간 구조는 예를 들어, 시간에 따른 샘플들의 시퀀스들을 포함하는 트랙들일 수 있다. 시퀀스들은 영화(예컨대, 전체 영화)의 타임라인에 맵핑될 수 있다. ISOBMFF는 예를 들어, 박스 구조화된 파일(box-structured file)들에 기초할 수 있다. 박스 구조화된 파일은 크기 및 유형을 가질 수 있는 일련의 박스들(예컨대, 원자들)을 포함할 수 있다. (예컨대, 다수의 유형들 중의) 일 유형은 예를 들어 32-비트 값일 수 있다. 유형은 예를 들어, 4-문자 코드(four-character code, 4CC)로 지칭될 수 있는 4개의 인쇄가능한 문자들로 선택되거나 선정될 수 있다. 언-타임드 데이터는 예를 들어, (예컨대, 파일 레벨의, 또는 영화 내에서 트랙들로 지칭될 수 있는 타임드 데이터의 스트림 또는 영화 박스에 부착되는) 메타데이터 박스에 포함될 수 있다.
ISOBMFF 컨테이너는 다수의 상단-레벨 박스들을 포함할 수 있다. 예를 들어, MovieBox('moov')는 ISOBMFF 컨테이너 내의 상단-레벨 박스일 수 있다. 영화박스('moov')는 파일에 존재할 수 있는 연속 매체 스트림들에 대한 메타데이터를 포함할 수 있다. 메타데이터는 영화 박스 내의 박스들의 계층구조 내에서, 예컨대 TrackBox('trak') 내에서 시그널링될 수 있다. 트랙은 매체 스트림(예컨대, 파일에 존재하는 연속 매체 스트림)을 표현할 수 있다. 매체 스트림은 샘플들(예컨대, 기본 매체 스트림의 오디오 및/또는 비디오 액세스 유닛들)의 시퀀스를 포함할 수 있다. 샘플들은 컨테이너의 상단-레벨에 존재할 수 있는 MediaDataBox('mdat') 내에 봉입될 수 있다. 트랙(예컨대, 각각의 트랙)에 대한 메타데이터는 예를 들어, 샘플 설명 엔트리들의 목록을 포함할 수 있다. 샘플 설명 엔트리(예컨대, 각각의 샘플 설명 엔트리)는 예를 들어, 트랙에서 사용될 수 있는 코딩 및/또는 캡슐화 포맷을 제공할 수 있고/있거나 코딩 및/또는 캡슐화 포맷을 프로세싱하기 위한 초기화 데이터를 제공할 수 있다. 샘플(예컨대, 각각의 샘플)은 트랙의 하나 이상의 샘플 설명 엔트리들과 연관될 수 있다. 명시적인 타임라인 맵이, 편집 목록으로 지칭될 수 있는 트랙(예컨대, 각각의 트랙)에 대해 정의될 수 있다. 편집 목록은 예를 들어, EditListBox를 사용하여 시그널링될 수 있는데, 이는 하기의 신택스를 가질 수 있다. 샘플 설명 엔트리(예컨대, 각각의 샘플 설명 엔트리)는 예를 들어, 구성 타임라인의 일부를 맵핑함으로써 그리고/또는 '비어 있음' 시간을 나타냄으로써, 트랙 타임라인의 일부(예컨대, '비어 있음' 편집을 초래하는, 매체 없음에 맵핑되는 프레젠테이션 타임라인의 일부분들)를 정의할 수 있다.
EditListBox에 대한 예시적인 신택스가 하기와 같이 제공될 수 있다:
ISOBMFF는 플레이어 및/또는 렌더러 상에서의 하나 이상의 액션들의 시행을 지원할 수 있다. (예컨대, 비디오 스트림에 대한) 예들에서, 제한된 비디오 스킴 트랙이, 하나 이상의 액션들을 시행하는 데 사용될 수 있다. 예를 들어, 사후-디코더 요건들은 제한된 비디오 스킴 트랙인 비디오 트랙 상에서 시그널링될 수 있다. 트랙은, 예를 들어, 트랙의 샘플 엔트리 코드를 4-문자 코드(4CC)(예컨대, 'resv')로 설정함으로써 그리고 (예컨대, 다른 박스들을 수정하지 않고서) 트랙의 샘플 설명에 RestrictedSchemeInfoBox를 추가함으로써 제한된 비디오 스킴 트랙으로 변환될 수 있다. 스트림을 인코딩하기 위해 사용되는 비디오 코덱에 기초할 수 있는 오리지널 샘플 엔트리 유형은 RestrictedSchemeInfoBox 내의 OriginalFormatBox 내에 저장될 수 있다. RestrictedSchemeInfoBox는 하나 이상의 박스들(예컨대, OriginalFormatBox, SchemeTypeBox, 및 SchemeInformationBox와 같은 3개의 박스들)을 포함할 수 있다. OriginalFormatBox는 오리지널 샘플 엔트리 유형을 저장할 수 있는데, 이는 컴포넌트 스트림을 인코딩하는 데 사용되는 비디오 코덱에 기초할 수 있다. 제한의 성질은 SchemeTypeBox에 정의될 수 있다.
도 10은 다중-트랙 ISOBMFF V-PCC 컨테이너의 예시적인 구조를 보여주는 도면이다. 예들에서, 다중트랙 V-PCC 컨테이너는 예를 들어, 하기 중 하나 이상을 포함할 수 있다: 다중트랙 V-PCC 컨테이너는, 예를 들어 (예컨대, 샘플 엔트리에) V-PCC 파라미터 세트 및/또는 아틀라스 서브비트스트림 파라미터 세트 및/또는 아틀라스 서브비트스트림 NALL 유닛들을 전달할 수 있는 샘플들을 포함하는 V-PCC 트랙(10002)을 포함할 수 있다. V-PCC 및 VPCC는 본 명세서에서 상호교환가능하게 사용된다. 트랙은 예를 들어, 비디오 압축된 V-PCC 유닛들의 페이로드들을 전달할 수 있는 다른 트랙들에 대한 트랙 기준들(예컨대, 유닛 유형들 VPCC_OVD, VPCC_GVD, 및/또는 VPCC_AVD)을 포함할 수 있다. 다중트랙 V-PCC 컨테이너는 예를 들어, 제한된 비디오 스킴 트랙을 포함할 수 있으며, 여기서 샘플들은 점유도 맵 데이터(예컨대, 유형 VPCC_OVD의 V-PCC 유닛들의 페이로드들)에 대한 비디오 코딩된 기본 스트림의 액세스 유닛들을 포함할 수 있다. 다중트랙 V-PCC 컨테이너는 예를 들어, 하나 이상의 제한된 비디오 스킴 트랙들을 포함할 수 있으며, 여기서 샘플들은 기하구조 데이터(예컨대, 유형 VPCC_GVD의 V-PCC 유닛들의 페이로드들)에 대한 비디오 코딩된 기본 스트림들의 액세스 유닛들을 포함할 수 있다. 다중트랙 V-PCC 컨테이너는 예를 들어, 0개 이상의 제한된 비디오 스킴 트랙들을 포함할 수 있으며, 여기서 샘플들은 속성 데이터(예컨대, 유형 VPCC_AVD의 V-PCC 유닛들의 페이로드들)에 대한 비디오 코딩된 기본 스트림들의 액세스 유닛들을 포함할 수 있다.
새로운 매체들(예컨대, VR 및/또는 몰입형 3D 그래픽)에는 관심이 증가하고 있다. 3D 포인트 클라우드들은 몰입형 매체들을 표현할 수 있다. 몰입형 미디어는 가상 세계들과의 새로운 형태들의 상호작용 및 통신을 가능하게 할 수 있다. 3D 포인트 클라우드들은 대량의 정보에 의해 표현될 수 있다. 효율적인 코딩(예컨대, 효율적인 코딩 알고리즘들)은 3D 포인트 클라우드 데이터(예컨대, 동적 3D 포인트 클라우드 데이터)를 저장하고 송신하는 데 수반되는 저장 및/또는 송신 리소스들 및 시간을 감소시킬 수 있다.
포인트 클라우드 시퀀스는 다수의 객체들을 갖는 장면을 표현할 수 있다. 예들에서, 개별 객체들(예컨대, 포인트 클라우드 시퀀스로 표현됨)은, 예를 들어 장면의 다른 부분들을 디코딩하지 않으면서, 액세스(예컨대, 스트리밍 및/또는 렌더링)될 수 있다. 유사하게, 포인트 클라우드에 의해 표현되는 객체(예컨대, 단일 객체)의 하나 이상의 부분들은 전체 포인트 클라우드를 디코딩하지 않고서 액세스될 수 있다.
SEI 메시지들은 예컨대, 패치들 및/또는 볼륨 직사각형들에 주석첨부하고/하거나 라벨링하고/하거나 특성들을 추가할 수 있다. 하나 이상의 SEI 메시지들은 예를 들어, V-PCC 시퀀스의 부분 액세스 및 렌더링을 가능하게 할 수 있다. 아틀라스 서브비트스트림 데이터는 트랙(예컨대, 단일 트랙)으로 전달될 수 있다. 단일 트랙에서 서브비트스트림 데이터를 전달하는 것은 예를 들어, 사용자가 V-PCC 콘텐츠 또는 V-PCC 콘텐츠 내의 아틀라스들의 서브세트 내의 소정 영역들/객체들에 관심을 가질 수 있을 때에도(예컨대, 그들에만 관심을 가질 수 있음), 과도한 아틀라스 정보(예컨대, 모든 아틀라스 정보)를 다운로딩하고 디코딩하기 위해 애플리케이션들을 스트리밍하는 것을 유도할 수 있는데, 이는 예를 들어, 시간 및 계산 리소스들의 과도한 소비를 유도하거나 사용자 경험을 저하시킬 수 있다. 트랙(예컨대, 및 연관된 시그널링)은 뷰포트들의 시그널링에 대해 제한들(예컨대, 지나친 제한들)을 부과할 수 있고/있거나 카메라 파라미터들 및/또는 뷰포트 포지션 SEI 메시지들과 정렬되지 않을 수 있다.
파일 포맷 구조들은 코딩된 포인트 클라우드 시퀀스의 상이한 부분들(예컨대, ISOBMFF 컨테이너에 캡슐화됨)에 대한 유연한 부분적 액세스를 가능하게 할 수 있다.
V-PCC 아틀라스 타일 그룹 트랙들이 제공될 수 있다. 타일 그룹(예컨대, 타일들의 각각의 세트), 또는 타일 그룹들의 그룹은, 예를 들어 V-PCC 비트스트림의 아틀라스 서브스트림이 다수의 타일 그룹들을 포함하는 경우, 별개의 트랙(예컨대, 아틀라스 타일 그룹 트랙으로 불림)에 캡슐화될 수 있다. 아틀라스 타일 그룹 트랙은, 예를 들어 타일 그룹들에 대한 액세스(예컨대, 타일 그룹들에 대한 직접 액세스)를 가능하게 하기 위해, 하나 이상의 아틀라스 타일 그룹들에 대한 atlas_tile_group_layer_rbsp() 페이로드들을 갖는 NAL 유닛들을 전달할 수 있다.
포인트 클라우드 장면 내의 공간 영역들 및/또는 객체들에 대응할 수 있는 아틀라스 프레임 내의 패치들은, 예를 들어 V-PCC 코딩된 스트림들에 대한 ISOBMFF 컨테이너들에서의 부분적 액세스를 지원하기 위해 아틀라스 타일 그룹들에 맵핑될 수 있다. 타일 그룹들은 컨테이너 내의 별개의 아틀라스 타일 그룹 트랙들에서 전달될 수 있다. 플레이어들, 스트리밍 클라이언트들 등은, 예를 들어 타일 그룹들이 컨테이너 내의 별개의 아틀라스 타일 그룹 트랙들에서 전달되는 경우, 포인트 클라우드 장면 내의 선택된 공간 영역들 또는 객체들을 렌더링하기 위한 정보를 전달하는 타일 그룹 트랙들(예컨대, 타일 그룹 트랙들의 세트만)을 식별하고 회수하는 것이 가능해질 수 있다.
V-PCC 트랙(10002)은 4-문자 코드(4CC)(예컨대, 'pcct')를 사용하여 정의된 트랙 기준 유형을 갖는 트랙 기준에 기초하여, 하나 이상의 아틀라스 타일 그룹 트랙들에 링크될 수 있다. 정의된 트랙 기준 유형의 트랙 기준들은 예를 들어, V-PCC 트랙(10002)을 하나 이상의 아틀라스 타일 그룹 트랙들에(예컨대, 각각의 아틀라스 타일 그룹 트랙에) 링크시키는 데 사용될 수 있다. 아틀라스 타일 그룹 트랙(예컨대, 각각의 아틀라스 타일 그룹 트랙)은 (예컨대, ISO/IEC 14496-12 트랙 그룹을 사용하여) 아틀라스 타일 그룹 트랙에서 타일 그룹(들)(예컨대, 타일들의 세트(들))에 대한 컴포넌트 정보를 전달하고 있을 수 있는 하나 이상의 다른 비디오 코딩된 V-PCC 컴포넌트 트랙들과 그룹화될 수 있다. 트랙 그룹 정의는 예를 들어, 트랙 그룹 내의 트랙들과 연관될 수 있는 타일 그룹들의 어드레스들을 포함할 수 있다.
V-PCC 타일 그룹 트랙은 예를 들어, 샘플 설명(예컨대, VPCCTileGroupSampleEntry)에 의해 식별될 수 있다. V-PCC 아틀라스 타일 그룹 트랙에 대한 샘플 엔트리 유형은 예를 들어, 'vpt1'일 수 있다. VPCCTileGroupSampleEntry의 정의는 예를 들어 하기와 같을 수 있다:
샘플 엔트리 유형:
'vpt1'
컨테이너:
샘플 설명 박스('stsd')
필수:
아니오
수량:
0개 이상의 샘플 엔트리들이 존재할 수 있음
샘플 엔트리는 V-PCC 타일 그룹 트랙의 매체 샘플들을 설명할 수 있다. 예들에서, VPCCTileGroupSampleEntry는 VPCCConfigurationBox를 포함하지 않을 수 있다. VPCCConfigurationBox 는 메인 V-PCC 트랙(10002)에 대한 샘플 설명에 포함될 수 있다. 다른 박스들(예컨대, 다른 선택적 박스들)이 포함될 수 있다.
VPCCTileGroupSampleEntry 내의 필드들의 시맨틱들은 예를 들어 하기와 같을 수 있다. 파라미터 compressorname(예컨대, 기본 클래스 VolumetricSampleEntry 내에 있음)은 사용된 압축기의 명칭을 나타낼 수 있다(예컨대, 값 "＼013VPCC Coding"). 첫 번째 바이트는 나머지 바이트들의 카운트를 나타낼 수 있는데, 이는 예를 들어, 문자열(string)의 나머지 부분에서의 바이트 수로서 ＼013(예컨대, 10진수 11인 8진수 13)에 의해 표현될 수 있다.
아틀라스 타일 그룹 트랙 내의 샘플들은 예를 들어, V-PCC 트랙(10002)의 샘플들에 대해 정의된 샘플 포맷(예컨대, 동일한 샘플 포맷)을 가질 수 있다(예컨대, ISO/IEC 23090-10에서 제공된 바와 같음). 아틀라스 타일 그룹 트랙 샘플들에서 전달된 NAL 유닛들은 예를 들어, 다수의 범위들(예컨대, 0 내지 5를 포함하는 범위, 및 10 내지 21을 포함하는 범위) 내의 nal_unit_type 값을 가질 수 있다.
일(예컨대, 추가적인 또는 대안적인) 실시예에서, 아틀라스 프레임들 내의 타일 그룹들(예컨대, 타일들의 세트)의 개수 및/또는 레이아웃은 예를 들어, 컨테이너 파일 내의 트랙들의 개수 증가(예컨대, 폭발적인 증가)를 회피시키기 위해 (예컨대, 코딩된 포인트 클라우드 시퀀스의 전체 듀레이션 동안) 고정될 수 있다.
일(예컨대, 추가적인 또는 대안적인) 실시예에서, 아틀라스 타일 그룹 트랙은 아틀라스 타일 그룹(예컨대, 아틀라스 타일 그룹 트랙에 의해 전달됨)이 속하는 아틀라스에 대한 V-PCC 트랙(10002)에 대한 트랙 기준을 포함할 수 있다. 트랙 기준은 파서(parser)가 아틀라스 타일 그룹 트랙과 연관된 V-PCC 트랙(10002)을 식별할 수 있게 할 수 있다. 예를 들어, 파서는 아틀라스 타일 그룹 트랙에 대한 트랙 식별(ID)에 기초하여 아틀라스 타일 그룹 트랙과 연관된 V-PCC 트랙(10002)을 식별할 수 있다.
아틀라스 타일 그룹 트랙들 및 컴포넌트 트랙들이 그룹화될 수 있다. 아틀라스 타일 그룹 트랙과 연관된 V-PCC 컴포넌트 트랙들(예컨대, 비디오 코딩된 점유도(10004), 기하구조(10006), 및/또는 속성 정보(10008)를 전달할 수 있는 트랙들)은 예를 들어, 'vptg' TrackGroupTypeBox를 갖는 트랙 그룹을 사용하여, 예를 들어 하기와 같이 트랙과 함께 그룹화될 수 있다.
VPCCTileGroupBox의 필드(들)의 시맨틱들은 예를 들어 하기와 같을 수 있다:
num_tile_groups_minus1 + 1은 트랙 그룹과 연관된 V-PCC 타일 그룹들 또는 V-PCC 타일들의 세트들의 개수를 나타낼 수 있고;
tile_group_id는 (예컨대, ISO/IEC 23090-5에서) V-PCC 타일 그룹 또는 타일들의 세트에 대한 ID를 나타낼 수 있고, atgh_address와 동일할 수 있다.
일(예컨대, 추가적인 또는 대안적인) 실시예에서, SpatialRegionGroupBox는 예를 들어, (예컨대, 본 명세서에 기술된 실시예들과 유사하게) 연관된 타일 그룹 식별자들의 목록을 포함하기 위한 SpatialRegionGroupBox의 신택스에 대한 업데이트에 기초하여 아틀라스 타일 그룹 트랙 및 대응하는 컴포넌트 트랙들을 그룹화하는 데 사용될 수 있다.
일(예컨대, 추가적인 또는 대안적인) 실시예에서, VPCCTileGroupBox에 대한 track_group_id를 사용할 수 있는 V-PCC 트랙(10002)으로부터의 단일 트랙 기준은 V-PCC 타일 그룹(예컨대, 타일들의 V-PCC 세트) 또는 V-PCC 타일 그룹들의 세트와 연관될 수 있는 하나 이상의 트랙들(예컨대, 모든 트랙들)을 참조(예컨대, 집합적으로 참조)하는 데 사용될 수 있다. 예들에서, 트랙 기준에 대한 TrackReferenceTypeBox는 그의 track_ID 어레이에, V-PCC 타일 그룹 또는 V-PCC 타일 그룹들의 세트의 트랙 그룹에 대한 track_group_id를 갖는 엔트리를 가질 수 있다. TrackGroupTypeBox의 플래그(들)의 비트(예컨대, 비트 0 또는 최하위 비트)는 예를 들어, track_group_id의 고유성을 나타내는 데 사용될 수 있다. 플래그의 시맨틱들은 예를 들어, 하기와 같이 정의될 수 있다: TrackGroupTypeBox의 플래그(들)의 비트 0(예컨대, 이때 비트 0은 최하위 비트임)은 예를 들어, track_group_id의 고유성을 나타내는 데 사용될 수 있다. 예들에서, 특정 track_group_type의 TrackGroupTypeBox에서의 1과 동일한 (플래그들 & 1)은, 그 TrackGroupTypeBox 내의 track_group_id가 track_ID 값과 동일하지 않고 상이한 track_group_type을 갖는 TrackGroupTypeBox의 track_group_id와 동일하지 않음을 나타낼 수 있다. (플래그들 & 1)은, 예를 들어 (플래그들 & 1)이 track_group_type 및 track_group_id의 특정 값들을 갖는 TrackGroupTypeBox에서의 1과 동일한 경우, track_group_type 및 track_group_id의 (예컨대, 동일한) 값들의 (예컨대, 모든) TrackGroupTypeBoxes에서의 1과 각각 동일할 수 있다.
일(예컨대, 추가적인 또는 대안적인) 실시예에서, VPCCTileGroupBox는 타일 그룹 트랙이 속하는 아틀라스 트랙에 대한 트랙 ID를 포함할 수 있다. VPCCTileGroupBox는 예를 들어, TrackGroupTypeBox 'vptg'를 하기와 같이 확장할 수 있다:
이 경우, VPCCTileGroupBox의 다양한 필드(들)(예컨대, 필드(들)의 시맨틱들)는 하기를 포함할 수 있다:
atls_track_ID - 이는 VPCCTileGroupBox에 의해 표현되는 타일 그룹이 속하는 아틀라스 트랙에 대한 트랙 ID일 수 있음.
num_tile_groups_minus1 + 1 - 이는 트랙 그룹과 연관된 V-PCC 타일 그룹들 또는 V-PCC 타일들의 세트들의 개수일 수 있음.
tile_group_id - 이는 V-PCC 타일 그룹에 대한 ID일 수 있음(예컨대, ISO/IEC 23090-5에서 atgh_address로서 추가적으로 제공됨).
VPCCTileGroupBox는 예를 들어 트랙 ID를 사용하는 것에 대한 대안으로서, 아틀라스 ID를 사용할 수 있다. VPCCTileGroupBox는 VPCCTileGroupBox에 의해 표현되는 타일 그룹이 속하는 아틀라스 서브비트스트림에 대한 아틀라스 ID를 사용할 수 있다. 이 경우, VPCCTileGroupBox는 예를 들어, TrackGroupTypeBox 'vptg'를 하기와 같이 확장할 수 있다:
이 경우, VPCCTileGroupBox의 다양한 필드(들)(예컨대, 필드(들)의 시맨틱들)는 하기를 포함할 수 있다:
atlas_id - 이는 VPCCTileGroupBox에 의해 표현되는 타일 그룹이 속하는 아틀라스에 대한 아틀라스 ID와 동일할 수 있음. atlas_id는 예를 들어, V-PCC 파라미터 세트(V-PCC parameter set, VPS)에서 시그널링될 수 있는 vps_atlas_id 값들 중 하나와 동일할 수 있다.
num_tile_groups_minus1 + 1 - 이는 트랙 그룹과 연관된 V-PCC 타일 그룹들 또는 V-PCC 타일들의 세트들의 개수일 수 있음.
tile_group_id - 이는 V-PCC 타일 그룹에 대한 ID일 수 있음(예컨대, ISO/IEC 23090-5에서 atgh_address로서 추가적으로 제공됨).
볼륨 메타데이터 트랙은 타임드 메타데이터 트랙일 수 있는데, 이는 포인트 클라우드 장면 및/또는 3D 공간 파티셔닝 내의 하나 이상의 객체들(예컨대, 하나 이상의 상이한 객체들)에 관한 정보를 전달할 수 있다. 객체 정보는 트랙의 샘플들로 전달될 수 있다. 타임드 메타데이터 트랙은 예를 들어, 하기와 같이, MetadataSampleEntry를 확장할 수 있는 4CC 'dyvm'을 갖는 정의된 샘플 엔트리(예컨대, DynamicVolumetricMetadataSampleEntry)를 가질 수 있다:
볼륨 메타데이터 트랙은 예를 들어, V-PCC 트랙(10002)에 대한 'cdsc' 트랙 기준을 포함할 수 있다.
볼륨 메타데이터 트랙의 하나 이상의 샘플들은 예를 들어, 하나 이상의 대응하는 객체들에 맵핑되는 V-PCC 타일 그룹들(예컨대, 타일들의 V-PCC 세트들)을 전달하는 하나 이상의 트랙 그룹들에 객체 식별자들을 맵핑시킬 수 있는 테이블을 포함할 수 있다. 하나 이상의 샘플들은 시그널링된 객체(예컨대, 각각의 시그널링된 객체)에 대한 종속성 목록을 포함할 수 있는데, 이는 시그널링된 객체가 의존하는 다른 객체들의 식별자들을 포함할 수 있다. 볼륨 메타데이터 트랙의 샘플들은 예를 들어, 하기와 같이 정의될 수 있다:
여기서 3DSpatialRegionStruct는 예를 들어, 하기와 같이 정의될 수 있다:
VPCCVolumetricMetadataSample 내의 필드들의 시맨틱들은 예를 들어, 하기 중 하나 이상을 포함할 수 있다:
region_updates_flag는 예를 들어, 샘플이 3D 공간 영역들에 대한 업데이트들을 포함하는지의 여부를 나타낼 수 있거나;
object_updates_flag는 예를 들어, 샘플이 포인트 클라우드 장면 객체들에 대한 업데이트들을 포함하는지의 여부를 나타낼 수 있거나;
num_obj_updates는 예를 들어, 샘플에서 업데이트된 포인트 클라우드 장면 객체들의 개수를 나타낼 수 있거나;
obj_index_length[i]는 예를 들어, 샘플의 객체 업데이트 목록 내의 i-번째 객체에 대한 객체 인덱스의 길이(예컨대, 바이트 수 유닛)를 나타낼 수 있거나;
object_index[i]는 예를 들어, 샘플의 객체 업데이트 목록 내의 i-번째 객체의 인덱스를 나타낼 수 있거나;
obj_cancel_flag[i]는 예를 들어, 샘플의 객체 업데이트 목록 내의 i-번째 객체가 취소되는지의 여부를 나타낼 수 있거나;
obj_spatial_region_mapping_flag[i]는 예를 들어, 공간 영역에 대한 맵핑이 샘플의 객체 업데이트 목록 내의 i-번째 객체에 대해 시그널링될 수 있는지의 여부를 나타낼 수 있거나;
obj_depdendencies_present_flag[i]는 예를 들어, 객체 의존성 정보가 샘플의 객체 업데이트 목록 내의 i-번째 객체에 이용가능할 수 있는지의 여부를 나타낼 수 있거나(예컨대, 여기서 값 0은 객체가 다른 객체들에 의존하지 않음을 나타낼 수 있고, 값 1은 객체가 포인트 클라우드 장면 내의 하나 이상의 객체들에 의존함을 나타낼 수 있음);
obj_bounding_box_present_flag[i]는 예를 들어, 3D 경계 박싱 정보가 샘플의 객체 업데이트 목록 내의 i-번째 객체에 이용가능할 수 있는지의 여부를 나타낼 수 있거나(예컨대, 여기서 값 0은 어떠한 경계 박스 정보도 주어지지 않음을 나타낼 수 있고, 값 1은 i-번째 객체에 대한 그 3D 경계 박스 정보가 샘플에서 시그널링될 수 있음을 나타낼 수 있음);
num_spatial_regions[i]는 예를 들어, 샘플의 객체 업데이트 목록 내의 i-번째 객체가 연관될 수 있는 3D 공간 영역들의 개수를 나타낼 수 있거나;
region_id[j][i]는 예를 들어, 샘플의 객체 업데이트 목록 내의 i-번째 객체가 연관될 수 있는 j-번째 공간 영역의 식별자를 나타낼 수 있거나;
num_track_groups[i]는 예를 들어, 샘플의 객체 업데이트 목록 내의 i-번째 객체가 연관될 수 있는 트랙 그룹들의 개수를 나타낼 수 있거나;
track_group_id[j][i]는 예를 들어, 샘플의 객체 업데이트 목록 내의 i-번째 객체가 연관될 수 있는 j-번째 트랙 그룹(예컨대, 타일들의 j-번째 세트)의 식별자를 나타낼 수 있거나;
num_obj_depedencies[i]는 예를 들어, 샘플의 객체 업데이트 목록 내의 i-번째 객체가 의존할 수 있는 객체들의 개수를 나타낼 수 있거나;
obj_dep_index_length[j][i]는 예를 들어, 샘플의 객체 업데이트 목록 내의 i-번째 객체가 의존할 수 있는 j-번째 객체의 인덱스의 길이를 바이트 수 유닛으로 나타낼 수 있거나; 또는
obj_index[j][i]는 예를 들어, 샘플의 객체 업데이트 목록 내의 i-번째 객체가 의존할 수 있는 j-번째 객체의 인덱스를 나타낼 수 있다.
일(예컨대, 추가적인 또는 대안적인) 실시예에서, 볼륨 메타데이터 트랙의 샘플들 내의 업데이트된 객체들은 예를 들어, 하나 이상의 객체들과 연관된 패치들을 포함하는 V-PCC 타일 그룹들(예컨대, 타일들의 V-PCC 세트들)에 맵핑(예컨대, 직접 맵핑)될 수 있다. (예컨대, 이러한 실시예에 대한) 대응하는 샘플 포맷 신택스는 예를 들어, 하기와 같을 수 있다:
샘플 포맷 신택스 내의 필드들에 대한 시맨틱들은 예를 들어, 본 명세서에 기술된 일 실시예에서, 예컨대, 예를 들어 하기 필드들 중 하나 이상을 제외하고서, 샘플 포맷의 필드들에 대한 시맨틱들과 유사할 수 있다:
num_tile_groups[i]는 예를 들어, 샘플의 객체 업데이트 목록 내의 i-번째 객체가 연관될 수 있는 V-PCC 타일 그룹들 또는 V-PCC 타일들의 세트들의 개수를 나타낼 수 있거나; 또는
tile_group_id[j][i]는 예를 들어, 샘플의 객체 업데이트 목록 내의 i-번째 객체가 연관될 수 있는 j-번째 V-PCC 타일 그룹(예컨대, 타일들의 j-번째 V-PCC 세트)의 식별자를 나타낼 수 있다. 예를 들어, 식별자는 V-PCC 타일 그룹에 대한 아틀라스 타일 그룹 헤더 내의 atgh_address의 값과 동일할 수 있다(예컨대, 여기서 atgh_address는 타일 그룹의 타일 그룹 어드레스를 특정할 수 있고; 예를 들어, 존재하지 않는 경우, atgh_address의 값은 0과 동일한 것으로 추론될 수 있음).
볼륨 메타데이터 트랙 내의 샘플(예컨대, 임의의 샘플)이 동기 샘플로서 마킹될 수 있다. 볼륨 메타데이터 트랙 내의 샘플에 대해, 동일한 디코딩 시간을 갖는, 참조된 시각적 볼륨 비디오 기반 코딩(Visual Volumetric Video-based Coding, V3C) 트랙(들) 및 V3C 및 매체 샘플이 참조하는 아틀라스 타일 트랙들 내의 매체 샘플 중 적어도 하나가 동기 샘플인 경우, 샘플은 동기 샘플로서 마킹될 수 있다. 동기 샘플과 동일한 디코딩 시간을 갖지 않는 샘플이 동기 샘플로서 마킹될 수 있다(예컨대, 또는 마킹되지 않을 수 있음). 타임드 메타데이터 트랙 내의 동기화 샘플들은 동기 샘플의 타임스탬프에서 이용가능한 공간 영역들 및/또는 객체들(예컨대, 이용가능한 모든 공간 영역들 및/또는 객체)에 대한 정보를 전달할 수 있다. 타임드 메타데이터 트랙 내의 비동기 샘플들은 제1 선행 동기 샘플에 이르기까지 그리고 이를 포함한 이전 샘플들에 대한 공간 영역 및/또는 3D 객체 정보에 대한 업데이트들(예컨대, 업데이트들만)을 전달할 수 있다.
예들에서, 볼륨 메타데이터 트랙의 샘플들 내의 업데이트된 객체들은, 예를 들어 트랙 그룹화가 동일한 아틀라스 타일 그룹에 속하는 트랙들을 그룹화하는 데 사용되지 않고 아틀라스 타일 그룹 트랙이 (예컨대, 트랙 기준들을 사용하여) 연관된 컴포넌트 트랙들에 링크되는 경우, 업데이트된 객체(들)와 관련된 정보를 전달하는 아틀라스 타일 그룹 트랙들과 연관된 트랙 ID들에 맵핑될 수 있다. 타일 그룹 트랙과 연관된 V-PCC 컴포넌트 트랙들은 예를 들어, 아틀라스 타일 그룹 트랙으로부터의 트랙 기준들을 추종함으로써 식별될 수 있다.
일(예컨대, 추가적인 또는 대안적인) 실시예에서, 볼륨 메타데이터 트랙의 샘플들은 볼륨 주석첨부 SEI 메시지들을 전달할 수 있다.
일(예컨대, 추가적인 또는 대안적인) 실시예에서, 볼륨 메타데이터 트랙은 예를 들어, 포인트 클라우드 장면 내의 3D 공간 영역들 및/또는 객체들에 대한 메타데이터를 전달할 수 있는 일반 트랙으로서 (예컨대, ISO/IEC CD 23090-10에 명시된 바와 같이) 동적 공간 영역 타임드 메타데이터 트랙을 대체할 수 있다(예컨대, 이와 함께 사용될 수 있음).
V-PCC 아틀라스 트랙들이 제공될 수 있다. 아틀라스 서브비트스트림(예컨대, 각각의 아틀라스 서브비트스트림)은 예를 들어, V-PCC 비트스트림이 하나 초과의 아틀라스 서브비트스트림을 갖는 경우, 아틀라스 트랙으로 불리는 별개의 트랙에서 전달될 수 있다. 아틀라스 트랙은 트랙과 연관된 아틀라스 서브비트스트림에 속하는 아틀라스 NAL 유닛들을 전달할 수 있다(예컨대, 그들만을 전달할 수 있음). 하나 이상의 타일 그룹들(예컨대, 타일들의 하나 이상의 세트들)과 연관된 NAL 유닛들은 예를 들어, 아틀라스 트랙과 연관된 아틀라스 서브비트스트림이 다수의 아틀라스 타일 그룹들(예컨대, 타일들의 다수의 아틀라스 세트들)을 포함하는 경우, 별개의 아틀라스 타일 그룹 트랙에서 전달될 수 있다.
V-PCC 비트스트림의 아틀라스 서브비트스트림들은 별도의 아틀라스 트랙들에서 전달될 수 있다. V-PCC 트랙(10002)은 각각의 아틀라스 트랙에 대한 (예컨대, 4CC를 사용하여 정의된 소정 유형의) 트랙 기준들을 포함할 수 있는데, 이는 메인 트랙을 아틀라스 트랙들에 링크시킬 수 있다.
V-PCC 아틀라스 트랙은 예를 들어, VPCCAtlasSampleEntry 샘플 설명에 의해 식별될 수 있다. V-PCC 아틀라스 트랙에 대한 샘플 엔트리 유형은 예를 들어, 'vpa1' 또는 'vpag'일 수 있다. VPCCAtlasSampleEntry의 정의는 예를 들어 하기와 같을 수 있다:
샘플 엔트리 유형:
'vpa1', 'vpag'
컨테이너:
샘플 설명 박스('stsd')
필수:
'vpa1' 또는 'vpag' 샘플 엔트리는 필수임
수량:
1개 이상의 샘플 엔트리들이 존재할 수 있음
샘플 엔트리(예컨대, 본 명세서의 예들에 의해 도시된 바와 같음)는 V-PCC 아틀라스 트랙의 매체 샘플들을 설명할 수 있다. 예들에서, VPCCAtlasSampleEntry는 VPCCConfigurationBox를 포함하지 않을 수 있다. 예를 들어, VPCCConfigurationBox는 메인 V-PCC 트랙의 샘플 설명에 포함될 수 있다. 다른 박스들(예컨대, 다른 선택적 박스들)이 포함될 수 있다.
VPCCAtlasSampleEntry 내의 필드들의 시맨틱들은 예를 들어, 하기 중 하나 이상을 포함할 수 있다:
compressorname(예컨대, 기본 클래스 VolumetricSampleEntry 내에 있음)은 예를 들어, 값(예컨대, "\013VPCC Coding")과 함께 사용되는 압축기의 명칭을 나타내며, 여기서 예를 들어, 첫 번째 바이트는 나머지 바이트들의 카운트일 수 있거나(예컨대, \013에 의해 표현되며, 여기서 13(예컨대, 8진수 13)은 11(예컨대, 10진수 11)과 문자열의 나머지에서의 바이트 수임);
lengthSizeMinusOne + 1은 예를 들어, 구성 기록이 적용되는 아틀라스 스트림에서의 샘플 내의 NALUnitLength 필드의 길이(예컨대, 바이트 유닛)를 나타낼 수 있으며(예컨대, 하나의 바이트의 크기가 0의 값으로 표시될 수 있음), 여기서 필드의 값은 아틀라스 비트스트림의 경우에 sample_stream_nal_header()에서의 ssnh_unit_size_precision_bytes_minus1과 동일할 수 있거나;
numOfSetupUnitArrays는 예를 들어, 표시된 유형(들)의 아틀라스 NAL 유닛들의 어레이들의 개수를 나타낼 수 있거나;
array_completeness는 예를 들어, (예컨대, 1과 동일한 경우) 주어진 유형의 아틀라스 NAL 유닛들(예컨대, 모든 아틀라스 NAL 유닛들)이 다음 어레이 내에 있을 수 있고 어느 것도 스트림에 없음을 나타낼 수 있거나, 또는 (예컨대, 0과 동일한 경우) 표시된 유형의 추가적인 아틀라스 NAL 유닛들이 스트림 내에 있을 수 있음을 나타낼 수 있거나(예컨대, 여기서 디폴트 및 허용된 값들은 샘플 엔트리 명칭에 의해 제약받을 수 있음);
NAL_unit_type은 예를 들어, 다음 어레이 내의 아틀라스 NAL 유닛들의 유형(예컨대, 이는 표시된 유형을 가질 수 있음)을 나타낼 수 있으며, 여기서 NAL_unit_type은 (예컨대, ISO/IEC 23090-5에서 정의된 바와 같이) 일정 값을 가질 수 있고/있거나, NAL_unit_type은 예를 들어, NAL_ASPS, NAL_AFPS, NAL_PREFIX_SEI, 및/또는 NAL_SUFFIX_SEI 아틀라스 NAL 유닛을 나타내는 하나 이상의 값들로 제한될 수 있거나;
numNALUnits는 예를 들어, 구성 기록이 적용될 수 있는 스트림에 대한 구성 기록 내에 포함될 수 있는 표시된 유형의 아틀라스 NAL 유닛들의 개수를 나타낼 수 있으며, 여기서 SEI 어레이는 선언적 특성(declarative nature)의 SEI 메시지들(예컨대, 사용자 데이터 SEI와 같은, 전체로서 스트림에 관한 정보를 제공하는 SEI 메시지들)을 포함할 수 있거나(예컨대, 그들만을 포함할 수 있음);
SetupUnitLength는 setupUnit 필드의 크기(예컨대, 바이트 유닛)를 나타낼 수 있고 - 여기서 길이 필드는 예를 들어, NAL 유닛 헤더 및/또는 NAL 유닛 페이로드의 크기를 나타낼 수 있음-, 예를 들어 길이 필드를 포함하지 않을 수 있거나; 또는
setupUnit은 (예컨대, ISO/IEC 23090-5에서 정의된 바와 같이) 유형 NAL_ASPS, NAL_AFPS, NAL_PREFIX_SEI, 또는 NAL_SUFFIX_SEI의 NAL 유닛을 포함할 수 있으며, 여기서 NAL_PREFIX_SEI 또는 NAL_SUFFIX_SEI(예컨대, setupUnit에 존재하는 경우)는 '선언적' 특성의 SEI 메시지들을 포함할 수 있다.
아틀라스(예컨대, 동일한 아틀라스)에 대한 트랙들이 그룹화될 수 있다. 예들에서, 아틀라스 서브비트스트림(예컨대, 동일한 아틀라스 서브비트스트림)에 속하는 정보를 전달하는 트랙들(예컨대, 모든 트랙들)은 예를 들어, 트랙 그룹화(예컨대, ISO/IEC 14496-12에서 설명된 바와 같음) 및/또는 정의된 트랙 그룹 유형을 사용하여 함께 그룹화될 수 있다. 아틀라스에 대한 트랙 그룹은 예를 들어, 아틀라스 트랙 및 아틀라스 타일 그룹 트랙들, 및 아틀라스와 연관될 수 있는 V-PCC 컴포넌트 트랙들을 포함할 수 있다. 트랙 그룹 유형은 예를 들어, 'vpsg' TrackGroupTypeBox를 사용하여 예를 들어 하기와 같이 정의될 수 있다(예컨대, 여기서 TrackGroupTypeBox는 ISO/IEC 14496-12에서 정의된 track_group_id 필드를 가질 수 있음):
VPCCAtlasGroupBox의 필드(들)의 시맨틱들은 예를 들어 하기를 포함할 수 있다:
atlas_id는 예를 들어, 트랙 그룹 내의 트랙들이 연관될 수 있는 아틀라스의 인덱스를 나타낼 수 있으며, 여기서 예를 들어, 인덱스의 값은 0 내지 63을 포함하는 범위 내에 있을 수 있다.
정적 공간 영역들이 시그널링될 수 있다. 정적 3D 공간 영역들이 V-PCC 콘텐츠에 대해 정의될 수 있다. 아틀라스 타일 그룹들은 별개의 트랙들에서 전달될 수 있다. (예컨대, ISO/IEC 23090-10에서 제공되는 바와 같은) VPCCSpatialRegionsBox는, 타일 그룹들(예컨대, 타일들의 모든 세트들)이 단일 아틀라스 트랙에서 전달되는지 아니면 타일 그룹들 각각(예컨대, 타일들의 세트들 각각)이 아틀라스 타일 그룹 트랙들에서 별개로 전달되는지를 (예컨대, all_tiles_in_single_track_flag와 같은 플래그를 사용하여) 나타내도록 확장될 수 있다. 본 명세서의 예시적인 신택스에서 제공된 바와 같이, 플래그에 기초한 VPCCSpatialRegionsBox는 아틀라스 타일 그룹 트랙에 대응하는 다양한 트랙들(예컨대, 모든 트랙들)의 트랙 그룹에 대한 트랙 그룹 ID를 3D 공간 영역(예컨대, VPCCSpatialRegionsBox에서 시그널링된 3D 공간 영역)과 연관시킬 수 있다.
VPCCSpatialRegionsBox에 대한 예시적인 신택스가 하기와 같이 제공될 수 있다:
VPCCSpatialRegionsBox에 대한 다양한 필드들은 하기를 포함할 수 있다:
all_tiles_in_single_track_flag - 이는 타일들(예컨대, 모든 타일들)이 대응하는 아틀라스에 대한 V3C 트랙에서 전달되는지의 여부 또는 타일들(예컨대, 모든 타일들)이 아틀라스 타일 트랙들에서 개별적으로 전달되는지의 여부를 나타낼 수 있음 -. 1의 값은 예를 들어, 타일들(예컨대, 모든 타일들)이 V3C 트랙에서 전달됨을 나타낼 수 있다. 0의 값은 예를 들어, 타일들이 별개의 아틀라스 타일들에서 전달됨을 나타낼 수 있다;
component_track_group_id - 이는 연관된 3D 공간 영역을 위한 V3C 컴포넌트들을 전달하는 트랙들에 대한 트랙 그룹을 식별할 수 있음 -; 또는
tile_track_group_id - 이는 연관된 3D 공간 영역의 아틀라스 타일 트랙들에 대한 트랙 그룹을 식별할 수 있음.
예들에서, 예를 들어 트랙 그룹화가 아틀라스 타일 그룹(예컨대, 동일한 아틀라스 타일 그룹)에 속하는 트랙들을 그룹화하는 데 사용되지 않고 아틀라스 타일 그룹 트랙이 트랙 기준들을 사용하여 연관된 컴포넌트 트랙들에 링크되는 경우, 3D 공간 영역과 연관된 아틀라스 타일 그룹 트랙들의 트랙 ID들(예컨대, 트랙 ID들만)이 시그널링될 수 있고, 아틀라스 타일 트랙에 대한 컴포넌트 트랙들이 (예컨대, 아틀라스 타일 그룹 트랙으로부터 컴포넌트 트랙들까지의 트랙 기준들을 추종함으로써) 식별될 수 있다.
VPCCSpatialRegionsBox에 대한 예시적인 신택스가 하기와 같을 수 있다:
예들에서, tile_track_id는 3D 공간 영역과 연관된 아틀라스 타일 그룹 트랙에 대한 트랙 ID를 표현할 수 있다.
뷰포트 정보를 시그널링하는 시스템들, 방법들, 및/또는 수단들이 구현될 수 있다. 예들에서, 하나 이상의 카메라 파라미터들이 시그널링될 수 있다. 6자유도(six degrees-of-freedom, 6DoF) 뷰포트는 2개의 유형들의 카메라 파라미터들, 예를 들어 외인성 카메라 파라미터들 및 고유 카메라 파라미터들에 의해 정의될 수 있다. 외인성 카메라 파라미터들은 (예컨대, ExtCameraInfoStruct 데이터 구조를 사용하여) 시그널링될 수 있다.
ExtCameraInfoStruct 데이터 구조에 대한 예시적인 신택스는 하기와 같을 수 있다.
ExtCameraInfoStruct에서 정의된 필드들에 대한 시맨틱들은 하기와 같을 수 있다.
pos_x, pos_y, 및 pos_z는 글로벌 기준 좌표계에서 뷰포트의 포지션의 x, y, 및 z 좌표들(예컨대, 미터 유닛)을 각각 나타낼 수 있다. 좌표들의 값들은 2-16미터의 유닛들일 수 있다.
quat_x, quat_y, 및 quat_z는 4원수 표현(quaternion representation)을 사용하여 뷰포트 영역의 회전의 x, y, 및 z 성분들을 각각 나타낼 수 있다. 좌표들의 값들은 -1 내지 1을 포함하는 범위 내의 부동 소수점 값일 수 있다. 값들은 4원수 표현을 사용하여 글로벌 좌표 축들을 카메라의 로컬 좌표 축들로 변환하기 위해 적용되는 회전들에 대해 x, y 및 z 성분들, 즉 qX, qY 및 qZ를 특정할 수 있다. 4원수의 제4 성분 qW가 하기와 같이 계산될 수 있다:
qW = sqrt(1 - (qX2 + qY2 + qZ2))
포인트(w,x,y,z)는 각도 2*cos ^{-1}(w)=2*sin ^{-1}(sqrt(x^{2}+y^{2}+z^{2}))만큼 벡터(x,y,z)에 의해 지시되는 축 주위의 회전을 표현할 수 있다.
고유 카메라 파라미터들은 예를 들어, IntCameraInfoStruct 데이터 구조를 사용하여 시그널링될 수 있다.
예를 들어 외인성 및 고유 카메라 파라미터들에 기초한, 뷰포트 정보(예컨대, ViewportInfoStruct 데이터 구조를 사용함)가 시그널링될 수 있다.
ViewportInfoStruct 데이터 구조에 대한 예시적인 신택스는 하기와 같을 수 있다.
ViewportInfoStruct에서 정의된 필드들에 대한 시맨틱들은 하기와 같을 수 있다.
center_view_flag는 시그널링된 뷰포트 포지션이 뷰포트의 중심에 그리고/또는 뷰포트의 2개의 스테레오 포지션들 중 하나에 대응하는지의 여부를 나타내는 플래그일 수 있다. 값 1은 시그널링된 뷰포트 포지션이 뷰포트의 중심에 대응함을 나타낼 수 있다. 값 0은 시그널링된 뷰포트 포지션이 뷰포트의 2개의 스테레오 포지션들 중 하나에 대응함을 나타낼 수 있다.
left_view_flag는 시그널링된 뷰포트 정보가 뷰포트의 좌측 스테레오 포지션에 대응하는지 아니면 우측 스테레오 포지션에 대응하는지를 나타내는 플래그일 수 있다. 값 1은 시그널링된 뷰포트 정보가 뷰포트의 좌측 스테레오 포지션에 대응함을 나타낼 수 있다. 값 0은 시그널링된 뷰포트 정보가 뷰포트의 우측 스테레오 포지션들에 대응함을 나타낼 수 있다.
extCamInfo는 뷰포트에 대한 외인성 카메라 파라미터들을 정의하는 ExtCameraInfoStruct의 인스턴스일 수 있다.
intCamInfo는 뷰포트에 대한 고유 카메라 파라미터들을 정의하는 IntCameraInfoStruct의 인스턴스일 수 있다.
뷰포트 타임드 메타데이터 트랙이 구현될 수 있다. 예들에서, 6DoF 뷰포트들을 나타내기 위한 일반 타임드 메타데이터 트랙은 SampleDescriptionBox에 ViewportInfoSampleEntry를 포함할 수 있다. 타임드 메타데이터 트랙에 대한 목적은 트랙 샘플 엔트리 유형에 의해 나타내질 수 있다. 예시적인 ViewportInfoSampleEntry 데이터 구조는 ViewportConfigurationBox 데이터 구조(예컨대, 하나의 ViewportConfigurationBox 데이터 구조)를 포함할 수 있다.
ViewportConfigurationBox 데이터 구조에 대한 예시적인 신택스는 하기와 같을 수 있다.
ViewportConfigurationBox 데이터 구조에서 정의된 필드들에 대한 시맨틱들은 하기와 같을 수 있다.
0과 동일한 dynamic_int_camera_flag는 고유 카메라 파라미터들이 샘플 엔트리를 참조하는 모든 샘플들에 대해 고정됨을 나타낼 수 있다. dynamic_ext_camera_flag가 0과 동일한 경우, dynamic_int_camera_flag는 0과 동일할 수 있다.
0과 동일한 dynamic_ext_camera_flag는 외인성 카메라 파라미터들이 샘플 엔트리를 참조하는 모든 샘플들에 대해 고정됨을 나타낼 수 있다.
뷰포트 메타데이터 트랙(예컨대, 모든 뷰포트 메타데이터 트랙들)의 샘플 포맷은 공통 부분으로 시작할 수 있고, 뷰포트 메타데이터 트랙의 샘플 엔트리에 특정적 수 있는 확장 부분이 이어질 수 있다. 뷰포트 메타데이터 트랙에 대한 샘플 포맷이 구현될 수 있다.
ViewportInfoSample 데이터 구조에 대한 예시적인 신택스는 하기와 같을 수 있다.
ViewportInfoSample에서 정의된 필드들에 대한 시맨틱들은 하기와 같을 수 있다.
num_viewports는 샘플에서 시그널링된 뷰포트들의 개수를 나타낼 수 있다.
viewport_id[i]는 i-번째 뷰포트를 식별하는 데 사용될 수 있는 식별자 번호일 수 있다.
1과 동일한 viewport_cancel_flag[i]는 id viewport_id[i]를 갖는 뷰포트가 취소되었을 수도 있음을 나타낼 수 있다. i-번째 뷰포트에 대한 뷰포트 정보가 이어짐을 나타낸다(예컨대, 이는 플래그 값이 0인 것을 조건으로 할 수 있음).
1과 동일한 int_camera_flag[i]는 고유 카메라 파라미터들이 현재 샘플에 대한 i-번째 뷰포트 카메라 파라미터 세트에 존재함을 나타낼 수 있다.int_camera_flag[i]는, 예컨대 dynamic_int_camera_flag가 0과 동일한 경우, 0과 동일할 수 있다. 게다가, int_camera_flag[i]는, 예컨대 ext_camera_flag가 0과 동일한 경우, 0으로서 설정될 수 있다.
1과 동일한 ext_camera_flag[i]는 외인성 카메라 파라미터들이 현재 샘플에 대한 i-번째 뷰포트 카메라 파라미터 세트에 존재함을 나타낼 수 있다.ext_camera_flag[i]는, 예컨대 dynamic_camera_flag[i]가 0과 동일한 경우, 0과 동일할 수 있다.
뷰포트 타임드 메타데이터 트랙이 존재하는 경우, ExtCameraInfoStruct()에 의해 표현되는 외인성 카메라 파라미터들은, 예를 들어 샘플 엔트리 또는 샘플 레벨에 존재할 수 있다. 하기는 동시에 발생하는 것이 금지될 수 있다: 모든 샘플들에 대해 dynamic_ext_camera_flag가 0과 동일하고, 모든 샘플들에 대해 ext_cam_flag[i]가 0과 동일하다.
타임드 메타데이터 트랙이 'cdsc' 트랙 기준으로 하나 이상의 매체 트랙들에 링크되는 경우, 타임드 메타데이터 트랙은 하나 이상의 매체 트랙들(예컨대, 각각의 매체 트랙)을 개별적으로 설명할 수 있다.
추천된 뷰포트가 구현될 수 있다. 추천된 뷰포트 메타데이터 트랙은 RecommendedViewportSampleEntry 데이터 구조를 포함할 수 있다. RecommendedViewportSampleEntry 데이터 구조는 ViewportInfoSampleEntry 데이터 구조를 확장시킬 수 있고, 추천된 뷰포트 메타데이터 트랙에서 시그널링된 추천된 뷰포트들의 유형을 식별할 수 있는 추가적인 RecommendedViewportInfoBox를 포함할 수 있다.
RecommendedViewportSampleEntry 데이터 구조에 대한 예시적인 신택스는 하기와 같을 수 있다.
RecommendedViewportInfoBox에서 정의된 필드들에 대한 시맨틱들은 하기와 같을 수 있다.
viewport_type은 RecommendedViewportInfoBox를 포함하는 샘플 엔트리를 참조하는 모든 샘플들에 대해, 표 3에 열거된 바와 같이, 뷰포트의 유형을 특정할 수 있다.
viewport_description은 뷰포트 유형의 텍스트 설명을 제공하는 널-종단형 (null-terminated) UTF-8 문자열일 수 있다.
표 3은 뷰포트 유형들의 예들을 보여준다.
뷰포트 메타데이터 트랙 내의 샘플들은 ViewportInfoSample과 동일한 포맷을 가질 수 있다.
초기 뷰포트가 구현될 수 있다. 예들에서, 메타데이터는 예를 들어, 연관된 매체 트랙들을 재생하는 경우, 사용되어야 하는 초기 뷰포트를 나타낼 수 있다.
파일을 재생하는 경우(예컨대, 그리고 파일이 초기 뷰포트 메타데이터 트랙을 포함할 때), 플레이어들은 매체 트랙과 연관된 초기 뷰포트 메타데이터 트랙을 파싱하고 매체 트랙을 렌더링할 때 초기 뷰포트 메타데이터 트랙에 순응할 것으로 예상될 수 있다.
데이터 구조 ViewportInfoSampleEntry는 예를 들어, 초기 뷰포트 메타데이터 트랙에 사용될 수 있는 샘플 엔트리 유형 '6inv'로 구현될 수 있다.
초기 뷰포트 트랙의 샘플들이 구현될 수 있다.
InitialViewportSample 데이터 구조에 대한 예시적인 신택스는 하기의 포맷을 가질 수 있다.
InitialViewportSample에서 정의된 필드들에 대한 시맨틱들은 하기와 같을 수 있다.
0과 동일한 refresh_flag는 예를 들어, 연관된 매체 트랙 내의 시간 병렬 샘플로부터 재생을 시작하는 경우, 시그널링된 뷰포트(들)가 사용되어야 함을 특정할 수 있다.1과 동일한 refresh_flag는 예를 들어, 각각의 연관된 매체 트랙의 시간 병렬 샘플을 렌더링하는 경우, 예컨대 연속 재생 시 그리고 시간-병렬 샘플로부터 재생을 시작할 때 둘 모두에서, 시그널링된 뷰포트(들)가 항상 사용되어야 함을 특정할 수 있다.
공간 확장성이 지원될 수 있다. 예들에서, (예컨대, V3C에서의) 패치들은 패치의 연관된 정보를 코딩하기 전에 상이한 치수들에 걸쳐 패치를 서브샘플링하는 것을 가능하게 하는 특징을 지원할 수 있다. 특징은 세부 레벨(level of detail, LoD) 패치 모드로 지칭될 수 있다. 아틀라스 타일들은 아틀라스를 독립적으로 디코딩가능한 직사각형 영역들로 파티셔닝하는 것을 허용할 수 있다. 일례에서, 독립적으로 디코딩가능한 직사각형 영역들 내의 패치들은 다른 독립적으로 디코딩가능한 직사각형 영역들의 패치들로부터 정보를 사용하도록 허용되지 않을 수 있다. 아틀라스 타일들과 패치 LoD 모드를 조합하는 것은 다양한 응용예들에서 사용하기 위한 다양한 확장성 특징들을 가능하게 할 수 있다.
정적 공간 영역들의 LoD들(세부 레벨들)이 시그널링될 수 있다. 정적 공간 영역들의 LoD들을 시그널링하기 위해, V3CSpatialRegionsBox의 신택스는 추가적인 spatial_scalability_enabled_flag를 도입함으로써 확장될 수 있다. spatial_scalability_enabled_flag는 다수의 LoD들이 전달된 V3C 콘텐츠에 대해 지원되는지의 여부를 시그널링할 수 있다. 플래그가 설정되는 경우, V3CSpatialRegionsBox에서 시그널링된 3D 공간 영역(예컨대, 각각의 3D 공간 영역)은 3D 공간 영역에 이용가능한 LoD들의 개수를 나타내는 추가적인 num_lods 필드를 포함할 수 있다. 공간 영역과 연관된 각각의 LoD에 대해, LoD의 특성들이 시그널링될 수 있다. 일례에서, LoD에 대한 패치들을 포함하는 타일들에 대한 대응하는 타일 ID들에 대한 맵핑이 시그널링될 수 있다.
V3CSpatialRegionsBox 데이터 구조에 대한 예시적인 신택스(예컨대, 다수의 LoD들을 지원하기 위한 확장들)는 하기의 포맷을 가질 수 있다.
상기에서 정의된 필드들에 대한 시맨틱들은 하기와 같을 수 있다.
lod_scale_min_x 및 lod_scale_min_y는 LoD와 연관된 하나 이상의 타일들 내의 하나 이상의 패치들의 로컬 x 및 y 좌표에 대한 최소 LoD 스케일링 인자(예컨대, 각각, LoD에서의 패치들(예컨대, 모든 패치들)에 걸친 최소 pdu_lod_scale_x_minus1 값 및 최소 pdu_lod_scale_y_idc 값)를 나타낼 수 있다.
lod_scale_max_x 및 lod_scale_max_y는 LoD와 연관된 하나 이상의 타일들 내의 하나 이상의 패치들의 로컬 x 및 y 좌표에 대한 최소 LoD 스케일링 인자(예컨대, 각각, LoD에서의 패치들(예컨대, 모든 패치들)에 걸친 최대 pdu_lod_scale_x_minus1 값 및 최대 pdu_lod_scale_y_idc 값)를 나타낼 수 있다.
동적 공간 영역의 LoD들이 시그널링될 수 있다. 동적 공간 영역들의 LoD들을 시그널링하기 위해, 볼륨 메타데이터 트랙의 하나 이상의 샘플들에 대한 샘플 포맷은 샘플(들)에 열거된 공간 영역(예컨대, 각각의 공간 영역)에 대한 LoD들을 시그널링하는 것을 지원할 수 있다. LoD들과 LoD(예컨대, 각각의 LoD)에 대한 패치들을 포함하는 아틀라스 타일들 사이의 맵핑이 시그널링될 수 있다.
VPCCVolumetricMetadataSample 데이터 구조에 대한 예시적인 신택스는 하기의 포맷을 가질 수 있다.
예들에서, object_updates_flag는 추가된 객체들 중 하나 이상 및/또는 제거된 객체들과 연관될 수 있다.
플레이어 거동은 적응적 LoD에 기초하여 구현될 수 있다. 예들에서, 플레이어는 예를 들어, 파일을 파싱하고 DynamicVolumetricMetadataSampleEntry 및 V3C 트랙에 대한 'cdsc' 트랙 기준을 갖는 타임드 메타데이터 트랙을 찾는 경우, 동적 볼륨 메타데이터의 존재를 식별할 수 있다. 예를 들어, 동적 볼륨 메타데이터 트랙이 V3C 콘텐츠에 대한 메인 트랙과 연관되지 않고, V3CSpatialRegionsBox가 메인 트랙에 존재하는 경우, 정적 3D 공간 영역들의 세트는 V3C 콘텐츠와 연관될 수 있다. 재생 동안의 일정 시점(예컨대, 임의의 시점)에, 플레이어는 V3CSpatialRegionsBox에서(예컨대, 정적 공간 영역들의 경우에) 또는 동적 볼륨 메타데이터 트랙의 샘플들에서(예컨대, 동적 공간 영역들의 경우에) 시그널링된 하나 이상의 공간 영역들의 특성들 및 현재 뷰포트에 기초하여 타깃 3D 공간 영역들의 세트를 식별할 수 있다. 예를 들어, 동적 볼륨 메타데이터 트랙 내의 샘플들 또는 V3CSpatialRegionsBox에서 시그널링된 3D 공간 영역들 및/또는 객체들에 대해 확장성이 가능해지는 경우, 플레이어는 하나 이상의 제한들(예컨대, 현재 뷰포트 및/또는 이용가능한 네트워크 대역폭)에 기초하여 타깃 공간 영역들 각각에 대해 원하는 LoD를 결정할 수 있다. 각각의 타깃 공간 영역의 각각의 타깃 LoD에 대해, 플레이어는 동적 볼륨 메타데이터 트랙의 샘플들 또는 V3CSpatialRegionsBox에서의 맵핑에 기초하여 LoD와 연관된 타일들에 대한 타일 ID들을 식별할 수 있다. 플레이어는 (예컨대, 아틀라스 타일 트랙들의 샘플 엔트리 내의 타일 ID들을 체크함으로써) 타깃 LoD들과 연관된 타일들을 전달하는 아트라스 타일 트랙들을 식별할 수 있다. 대응하는 컴포넌트 트랙들은 선택된 아틀라스 타일 트랙들로부터 컴포넌트 트랙들까지의 트랙 기준들을 추종함으로써 식별될 수 있다.
LoD 정보는 아틀라스 타일 트랙들에서 시그널링될 수 있다. LoD들에 대한 효율적인 액세스를 용이하게 하기 위해, 아틀라스 타일 트랙에 의해 전달되는 타일들은 동일한 LoD와 연관된 타일들로 제한될 수 있다. 스트리밍 응용예들의 경우, 이는 플레이어 및/또는 스트리밍 클라이언트가 타깃 LoD를 제공하는 타일 트랙들로부터 데이터를 다운로드할 수 있게 할 수 있다.
AltasTileSampleEntry에 대한 예시적인 신택스는 아틀라스 타일 트랙에 의해 전달되는 타일들에 대한 LoD 정보를 시그널링하는 것을 가능하게 할 수 있다.
상기에서 정의된 필드들에 대한 시맨틱들은 하기와 같을 수 있다.
spatial_scalability_enabled_flag는 LoD 모드가 아틀라스 타일 트랙에 대해 인에이블되는지의 여부를 나타낼 수 있다.
lod_id는 LoD에 대한 식별자일 수 있다.
LoDInfoStruct()는 LoDInfoStruct의 인스턴스일 수 있는데, 이는 LoD 상에서 정보를 전달한다.
예들에서, 아틀라스 타일은 상이한 LoD들과 연관된 타일 트랙들을 포함할 수 있다.
AtlasTileSampleEntry에 대한 예시적인 신택스는 예를 들어, 두 가지 용례들(예컨대, 아틀라스 타일 트랙에 대한 단일 LoD 및 아틀라스 타일 트랙 내의 타일당 다수의 LoD들)을 지원하도록 하기와 같이 제공될 수 있다.
상기에서 개시된 플래그에 대한 시맨틱들은 하기와 같을 수 있다.
single_lod_flag는 아틀라스 타일 트랙에 의해 전달되는 모든 타일들이 동일한 LoD에 속하는지의 여부를 나타낼 수 있다. 값 1은 모든 타일들이 동일한 LoD에 속함을 나타낼 수 있다. 그렇지 않은 경우, 각각의 타일은 상이한 LoD와 연관될 수 있다.
도 11은 3D 공간과 연관된 아틀라스 프레임의 타일 맵핑의 일례를 도시한다. 3D 공간은 V0, V1, V2, V3, 및 V4로서 도 11에 도시된 하나 이상의 공간 영역들로 파티셔닝될 수 있다. 각각의 공간 영역들은 아틀라스 프레임과 연관된 V-PCC 타일들(예컨대, V-PCC 타일 그룹)의 세트에 맵핑될 수 있다. V0, V1, V2, V3, 및 V4는 각각, 타일 그룹들 0, 1, 2, 3 및 4에 맵핑될 수 있다. 타일들의 세트에 공간 영역들 각각을 맵핑시키는 것은 도 10과 관련하여 기술된 바와 같이, 타일 식별들(예컨대, tile_group_id)에 기초할 수 있다.
타일들의 세트에 대한 각각의 공간 영역의 맵핑과 연관된 맵핑 정보는 다수의 트랙들에서 전달될 수 있다. 예를 들어, 타일 그룹 0에 공간 영역 V0을 맵핑시키는 것과 연관된 맵핑 정보는 트랙 0에서 전달될 수 있는 반면, 타일 그룹 1에 공간 영역 V1을 맵핑시키는 것과 연관된 맵핑 정보는 트랙 1에서 전달될 수 있다. 도 10과 관련하여 기술된 바와 같이, 트랙 식별들(예컨대, track_group_id)은 맵핑 정보를 조정하는 데 사용될 수 있다. 트래킹 식별들 및/또는 타일 식별들은 타임드 메타데이터 V-PCC 비트스트림에서 시그널링될 수 있다. 그러한 경우, 시그널링된 트래킹 식별과 연관된 트랙(들)이 디코딩될 수 있고, 타일들의 연관된 세트에 맵핑 정보를 제시할 수 있다.
객체(11000)는 하나 이상의 공간 영역들과 연관될 수 있다. 객체는 사용자가 관심이 있을 수 있는 영역 및/또는 아이템일 수 있다. 하나 이상의 플래그들(예컨대, obj_spatial_region_mapping_flag[i])은 도 10과 관련하여 기술된 바와 같이, 객체가 하나 이상의 공간 영역들과 연관됨을 나타내는 데 사용될 수 있다. 플래그들은 타임드 메타데이터 V-PCC 비트스트림에서 시그널링될 수 있다.
하나 이상의 플래그들은 도 10에서 기술된 바와 같이, 공간 영역(들)과 연관된 변경(예컨대, 업데이트)(예컨대, region_updates_flag) 및/또는 객체(들)(예컨대, object_updates_flag)를 나타내는 데 사용될 수 있다. 플래그(들)는 타일들의 세트들과 연관된 트랙들에서 전달될 수 있다. 플래그를 포함하는 트랙은 디코딩될 수 있고, 맵핑 정보는 예를 들어, 플래그가 없는 트랙들이 디코딩될 필요가 없는 동안 업데이트되었던 공간 영역과 연관된 타일들의 세트에 액세스하는 데 사용될 수 있다.
하나 이상의 패치들은 타일들의 세트와 연관될 수 있다. 예들에서, 패치(들)는 타일들의 세트들(예컨대, 타일 그룹들)에 맵핑될 수 있다. 도 11에 예로서 도시된 바와 같이, 타일 그룹 0은 패치들 P0, P1, P2, P3, 및 P4를 포함할 수 있다. 타일 그룹 1은 패치들 P0 및 P1을 포함할 수 있다. 타일 그룹 2는 패치들 P0, P1, 및 P2를 포함할 수 있고; 타일 그룹 3은 패치 P0을 포함할 수 있다. 타일 그룹 4는 패치들 P1, P2, 및 P3을 포함할 수 있다. 패치들은 공간 영역(들)에 의해 표현되는 객체와 연관된 배향들을 나타낼 수 있다.
비디오 기반 포인트 클라우드 스트림들에 대한 ISOBMFF 컨테이너들에서의 부분 액세스 지원을 위한 시스템들, 디바이스들 및 방법들이 본 명세서에서 기술된다. 파일 포맷 구조들은 코딩된 포인트 클라우드 시퀀스의 상이한 부분들(예컨대, ISOBMFF 컨테이너에 캡슐화됨)에 대한 유연한 부분적 액세스를 가능하게 할 수 있다.
비디오 인코딩 디바이스는 3D 공간을 제1 공간 영역 및 제2 공간 영역으로 파티셔닝할 수 있다. 비디오 인코딩 디바이스는 제1 공간 영역을 V-PCC 타일들의 제1 세트에 그리고 제2 공간 영역을 V-PCC 타일들의 제2 세트에 맵핑시킬 수 있다. V-PCC 타일들의 제1 세트 및 V-PCC 타일들의 제2 세트의 각각은 아틀라스 프레임과 연관될 수 있다. V-PCC 타일들의 제1 세트 및 V-PCC 타일들의 제2 세트의 각각은 독립적으로 디코딩가능할 수 있다. 제1 공간 영역을 V-PCC 타일들의 제1 세트에 그리고 제2 공간 영역을 V-PCC 타일들의 제2 세트에 각각 맵핑시키는 것은 타일 식별들 및/또는 트랙 식별들에 기초할 수 있다. V-PCC 타일들의 제1 세트는 패치들의 제1 세트와 연관될 수 있고, V-PCC 타일들의 제2 세트는 패치들의 제2 세트와 연관될 수 있다. 비디오 인코딩 디바이스는 V-PCC 타일들의 제1 세트에 맵핑되는 제1 공간 영역과 연관된 제1 맵핑 정보를 전달하기 위한 제1 트랙을 결정할 수 있다. 비디오 인코딩 디바이스는 V-PCC 타일들의 제2 세트에 맵핑되는 제2 공간 영역과 연관된 제2 맵핑 정보를 전달하기 위한 제2 트랙을 결정할 수 있다. 비디오 인코딩 디바이스는 타임드 메타데이터 V-PCC 비트스트림으로 제1 트랙 및 제2 트랙을 전송할 수 있다. 제1 트랙 및 제2 트랙은 매체 컨테이너 파일로 전송될 수 있다.
비디오 인코딩 디바이스는 업데이트 치수 플래그를 결정할 수 있다. 업데이트 치수 플래그는 제1 공간 영역의 하나 이상의 치수들에 대한 업데이트 또는 제2 공간 영역의 하나 이상의 치수들에 대한 업데이트를 나타낼 수 있다. 비디오 인코딩 디바이스는 타임드 메타데이터 V-PCC 비트스트림으로 업데이트 치수 플래그를 전송할 수 있다.
제1 공간 영역은 제1 객체와 연관될 수 있다. 제2 공간 영역은 제2 객체와 연관될 수 있다. 비디오 인코딩 디바이스는, 제1 공간 영역이 제1 객체와 연관되고 제2 공간 영역이 제2 객체와 연관됨을 나타내는 하나 이상의 객체 플래그들을 결정할 수 있다. 비디오 인코딩 디바이스는 타임드 메타데이터 V-PCC 비트스트림으로 객체 플래그(들)를 전송할 수 있다. 비디오 인코딩 디바이스는 제1 공간 영역과 연관된 제1 객체가 제2 공간 영역과 연관된 제2 객체에 의존함을 나타내는 객체 의존성 플래그를 결정할 수 있고, 타임드 메타데이터 V-PCC 비트스트림으로 객체 의존성 플래그를 전송할 수 있다. 비디오 인코딩 디바이스는 제1 공간 영역과 연관된 제1 객체에 대한 업데이트 또는 제2 공간 영역과 연관된 제2 객체에 대한 업데이트를 나타내는 업데이트 객체 플래그를 결정할 수 있고, 타임드 메타데이터 V-PCC 비트스트림으로 업데이트 객체 플래그를 전송할 수 있다.
특징들 및 요소들이 특정 조합들로 위에서 설명되었지만, 당업자는 각각의 특징 또는 요소가 단독으로 또는 다른 특징들 및 요소들과의 임의의 조합으로 사용될 수 있다는 것을 알 것이다. 또한, 본 명세서에서 기술된 방법들은 컴퓨터 또는 프로세서에 의한 실행을 위해 컴퓨터 판독가능 매체에 통합된 컴퓨터 프로그램, 소프트웨어 또는 펌웨어로 구현될 수 있다. 컴퓨터 판독 가능 매체들의 예들은 (유선 또는 무선 접속을 통해 송신되는) 전자 신호들 및 컴퓨터 판독 가능 저장 매체들을 포함한다. 컴퓨터 판독 가능 저장 매체들의 예들은 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스들, 내부 하드 디스크들 및 착탈식 디스크들과 같은 자기 매체들, 광자기 매체들, 및 CD-ROM 디스크들 및 디지털 다기능 디스크(DVD)들과 같은 광학 매체들을 포함하지만, 이에 한정되지 않는다. 소프트웨어와 연관된 프로세서는 WTRU, UE, 단말기, 기지국, RNC 또는 임의의 호스트 컴퓨터에서 사용하기 위한 무선 주파수 송수신기를 구현하는 데 사용될 수 있다.
Claims (20)
- 비디오 인코딩 디바이스로서,
프로세서를 포함하고, 상기 프로세서는,
3차원(3D) 공간을 제1 공간 영역 및 제2 공간 영역으로 파티셔닝하도록;
상기 제1 공간 영역을 비디오 포인트 클라우드 코딩(video point cloud coding, V-PCC) 타일들의 제1 세트에 그리고 상기 제2 공간 영역을 V-PCC 타일들의 제2 세트에 맵핑시키도록 - 상기 V-PCC 타일들의 제1 세트 및 상기 V-PCC 타일들의 제2 세트 각각은 아틀라스 프레임과 연관됨 -;
상기 V-PCC 타일들의 제1 세트에 맵핑되는 상기 제1 공간 영역과 연관된 제1 맵핑 정보를 전달하기 위한 제1 트랙을 결정하도록;
상기 V-PCC 타일들의 제2 세트에 맵핑되는 상기 제2 공간 영역과 연관된 제2 맵핑 정보를 전달하기 위한 제2 트랙을 결정하도록; 그리고
타임드 메타데이터(timed-metadata) V-PCC 비트스트림으로 상기 제1 트랙 및 상기 제2 트랙을 전송하도록 구성되는, 비디오 인코딩 디바이스. - 제1항에 있어서, 상기 프로세서는,
상기 제1 공간 영역의 하나 이상의 치수들에 대한 업데이트 또는 상기 제2 공간 영역의 하나 이상의 치수들에 대한 업데이트를 나타내는 업데이트 치수 플래그를 결정하도록; 그리고
상기 타임드 메타데이터 V-PCC 비트스트림으로 상기 업데이트 치수 플래그를 전송하도록 추가로 구성되는, 비디오 인코딩 디바이스. - 제1항에 있어서, 상기 제1 공간 영역을 상기 V-PCC 타일들의 제1 세트에 그리고 상기 제2 공간 영역을 상기 V-PCC 타일들의 제2 세트에 각각 맵핑시키는 것은 타일 식별들 또는 트랙 식별들에 기초하는, 비디오 인코딩 디바이스.
- 제1항에 있어서, 상기 제1 공간 영역은 제1 객체와 연관되고, 상기 제2 공간 영역은 제2 객체와 연관되는, 비디오 인코딩 디바이스.
- 제4항에 있어서, 상기 프로세서는,
하나 이상의 공간 영역들에 대한 맵핑이 시그널링되는지의 여부를 나타내는 객체 플래그를 결정하도록; 그리고
상기 타임드 메타데이터 V-PCC 비트스트림으로 상기 객체 플래그를 전송하도록 추가로 구성되는, 비디오 인코딩 디바이스. - 제4항에 있어서, 상기 프로세서는,
상기 제1 공간 영역과 연관된 상기 제1 객체가 상기 제2 공간 영역과 연관된 상기 제2 객체에 의존함을 나타내는 객체 의존성 플래그를 결정하도록; 그리고
상기 타임드 메타데이터 V-PCC 비트스트림으로 상기 객체 의존성 플래그를 전송하도록 추가로 구성되는, 비디오 인코딩 디바이스. - 제4항에 있어서, 상기 프로세서는,
상기 제1 공간 영역과 연관된 상기 제1 객체에 대한 업데이트 또는 상기 제2 공간 영역과 연관된 상기 제2 객체에 대한 업데이트를 나타내는 업데이트 객체 플래그를 결정하도록; 그리고
상기 타임드 메타데이터 V-PCC 비트스트림으로 상기 업데이트 객체 플래그를 전송하도록 추가로 구성되는, 비디오 인코딩 디바이스. - 제1항에 있어서, 상기 제1 공간 영역 및 상기 제2 공간 영역은 하나의 객체와 연관되는, 비디오 인코딩 디바이스.
- 제8항에 있어서, 상기 프로세서는,
상기 제1 공간 영역 및 상기 제2 공간 영역이 하나의 객체와 연관됨을 나타내는 객체 플래그를 결정하도록; 그리고
상기 타임드 메타데이터 V-PCC 비트스트림으로 상기 객체 플래그를 전송하도록 추가로 구성되는, 비디오 인코딩 디바이스. - 제1항에 있어서, 상기 V-PCC 타일들의 제1 세트는 패치들의 제1 세트와 연관되고, 상기 V-PCC 타일들의 제2 세트는 패치들의 제2 세트와 연관되는, 비디오 인코딩 디바이스.
- 제1항에 있어서, 상기 V-PCC 타일들의 제1 세트 및 상기 V-PCC 타일들의 제2 세트 각각은 독립적으로 디코딩가능한, 비디오 인코딩 디바이스.
- 제1항에 있어서, 상기 제1 트랙 및 상기 제2 트랙은 매체 컨테이너 파일로 전송되는, 비디오 인코딩 디바이스.
- 방법으로서,
3차원(3D) 공간을 제1 공간 영역 및 제2 공간 영역으로 파티셔닝하는 단계;
상기 제1 공간 영역을 비디오 포인트 클라우드 코딩(V-PCC) 타일들의 제1 세트에 그리고 상기 제2 공간 영역을 V-PCC 타일들의 제2 세트에 맵핑시키는 단계 - 상기 V-PCC 타일들의 제1 세트 및 상기 V-PCC 타일들의 제2 세트 각각은 아틀라스 프레임과 연관됨 -;
상기 V-PCC 타일들의 제1 세트에 맵핑되는 상기 제1 공간 영역과 연관된 제1 맵핑 정보를 전달하기 위한 제1 트랙을 결정하는 단계;
상기 V-PCC 타일들의 제2 세트에 맵핑되는 상기 제2 공간 영역과 연관된 제2 맵핑 정보를 전달하기 위한 제2 트랙을 결정하는 단계; 및
타임드 메타데이터 V-PCC 비트스트림으로 상기 제1 트랙 및 상기 제2 트랙을 전송하는 단계를 포함하는, 방법. - 제13항에 있어서,
상기 제1 공간 영역의 하나 이상의 치수들에 대한 업데이트 또는 상기 제2 공간 영역의 하나 이상의 치수들에 대한 업데이트를 나타내는 업데이트 치수 플래그를 결정하는 단계; 및
상기 타임드 메타데이터 V-PCC 비트스트림으로 상기 업데이트 치수 플래그를 전송하는 단계를 추가로 포함하는, 방법. - 제13항에 있어서, 상기 제1 공간 영역을 상기 V-PCC 타일들의 제1 세트에 그리고 상기 제2 공간 영역을 상기 V-PCC 타일들의 제2 세트에 각각 맵핑시키는 것은 타일 식별들 또는 트랙 식별들에 기초하는, 방법.
- 제13항에 있어서, 상기 제1 공간 영역은 제1 객체와 연관되고, 상기 제2 공간 영역은 제2 객체와 연관되는, 방법.
- 제16항에 있어서,
하나 이상의 공간 영역들에 대한 맵핑이 시그널링되는지의 여부를 나타내는 객체 플래그를 결정하는 단계; 및
상기 타임드 메타데이터 V-PCC 비트스트림으로 상기 객체 플래그를 전송하는 단계를 추가로 포함하는, 방법. - 제16항에 있어서,
상기 제1 공간 영역과 연관된 상기 제1 객체가 상기 제2 공간 영역과 연관된 상기 제2 객체에 의존함을 나타내는 객체 의존성 플래그를 결정하는 단계; 및
상기 타임드 메타데이터 V-PCC 비트스트림으로 상기 객체 의존성 플래그를 전송하는 단계를 추가로 포함하는, 방법. - 제16항에 있어서,
상기 제1 공간 영역과 연관된 상기 제1 객체에 대한 업데이트 또는 상기 제2 공간 영역과 연관된 상기 제2 객체에 대한 업데이트를 나타내는 업데이트 객체 플래그를 결정하는 단계; 및
상기 타임드 메타데이터 V-PCC 비트스트림으로 상기 업데이트 객체 플래그를 전송하는 단계를 추가로 포함하는, 방법. - 제13항에 있어서, 상기 제1 공간 영역 및 상기 제2 공간 영역은 하나의 객체와 연관되는, 방법.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063009931P | 2020-04-14 | 2020-04-14 | |
| US63/009,931 | 2020-04-14 | ||
| US202063042892P | 2020-06-23 | 2020-06-23 | |
| US63/042,892 | 2020-06-23 | ||
| US202063062983P | 2020-08-07 | 2020-08-07 | |
| US63/062,983 | 2020-08-07 | ||
| US202063087425P | 2020-10-05 | 2020-10-05 | |
| US63/087,425 | 2020-10-05 | ||
| PCT/US2021/027206 WO2021211665A1 (en) | 2020-04-14 | 2021-04-14 | Partial access support in isobmff containers for video-based point cloud streams |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230002615A true KR20230002615A (ko) | 2023-01-05 |
Family
ID=75787291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227039232A KR20230002615A (ko) | 2020-04-14 | 2021-04-14 | 비디오 기반 포인트 클라우드 스트림들을 위한 isobmff 컨테이너들에서의 부분 액세스 지원 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20230188751A1 (ko) |
| EP (1) | EP4136846A1 (ko) |
| JP (1) | JP2023523393A (ko) |
| KR (1) | KR20230002615A (ko) |
| CN (1) | CN115486076A (ko) |
| IL (1) | IL297255A (ko) |
| TW (1) | TW202205857A (ko) |
| WO (1) | WO2021211665A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4057632A4 (en) * | 2019-12-13 | 2023-01-04 | Sony Group Corporation | IMAGE PROCESSING DEVICE AND METHOD |
| KR20230022165A (ko) * | 2020-06-12 | 2023-02-14 | 소니그룹주식회사 | 정보 처리 장치 및 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3349182A1 (en) * | 2017-01-13 | 2018-07-18 | Thomson Licensing | Method, apparatus and stream for immersive video format |
| WO2020070379A1 (en) * | 2018-10-03 | 2020-04-09 | Nokia Technologies Oy | Method and apparatus for storage and signaling of compressed point clouds |
| KR20220123693A (ko) * | 2020-01-08 | 2022-09-08 | 지티이 코포레이션 | 포인트 클라우드 데이터 프로세싱 |
-
2021
- 2021-04-14 CN CN202180033455.1A patent/CN115486076A/zh active Pending
- 2021-04-14 JP JP2022562611A patent/JP2023523393A/ja active Pending
- 2021-04-14 EP EP21723544.9A patent/EP4136846A1/en active Pending
- 2021-04-14 US US17/919,095 patent/US20230188751A1/en active Pending
- 2021-04-14 TW TW110113356A patent/TW202205857A/zh unknown
- 2021-04-14 KR KR1020227039232A patent/KR20230002615A/ko active Search and Examination
- 2021-04-14 WO PCT/US2021/027206 patent/WO2021211665A1/en unknown
-
2022
- 2022-10-12 IL IL297255A patent/IL297255A/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| TW202205857A (zh) | 2022-02-01 |
| JP2023523393A (ja) | 2023-06-05 |
| IL297255A (en) | 2022-12-01 |
| EP4136846A1 (en) | 2023-02-22 |
| WO2021211665A1 (en) | 2021-10-21 |
| US20230188751A1 (en) | 2023-06-15 |
| CN115486076A (zh) | 2022-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11568573B2 (en) | Methods and apparatus for point cloud compression bitstream format | |
| US20240195999A1 (en) | Dynamic adaptation of volumetric content component sub-bitstreams in streaming services | |
| US20220329923A1 (en) | Video-based point cloud streams | |
| US20230188751A1 (en) | Partial access support in isobmff containers for video-based point cloud streams | |
| US20230281923A1 (en) | Tile tracks for geometry-based point cloud data | |
| US20220239947A1 (en) | Video-based point cloud streams | |
| US20240022773A1 (en) | Mmt signaling for streaming of visual volumetric video-based and geometry-based point cloud media | |
| US20230276053A1 (en) | Adaptive streaming of geometry-based point clouds | |
| TWI845715B (zh) | 在串流服務中立體內容成分次位元串流動態適應 | |
| WO2024006279A1 (en) | Signaling parameter sets for geometry-based point cloud streams | |
| KR20240089338A (ko) | 기하구조 기반 포인트 클라우드의 적응적 스트리밍 | |
| CN116830588A (zh) | 用于基于视觉体积视频（v3c）媒体和基于几何的点云（g-pcc）媒体的流式传输的mmt信令 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |