KR20230028792A - 기하구조 기반 포인트 클라우드들의 적응적 스트리밍 - Google Patents
기하구조 기반 포인트 클라우드들의 적응적 스트리밍 Download PDFInfo
- Publication number
- KR20230028792A KR20230028792A KR1020237002782A KR20237002782A KR20230028792A KR 20230028792 A KR20230028792 A KR 20230028792A KR 1020237002782 A KR1020237002782 A KR 1020237002782A KR 20237002782 A KR20237002782 A KR 20237002782A KR 20230028792 A KR20230028792 A KR 20230028792A
- Authority
- KR
- South Korea
- Prior art keywords
- descriptor
- pcc
- point cloud
- component
- tile
- Prior art date
Links
- 230000003044 adaptive effect Effects 0.000 title description 10
- 230000006978 adaptation Effects 0.000 claims abstract description 168
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000006835 compression Effects 0.000 claims abstract description 15
- 238000007906 compression Methods 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 description 58
- 230000015654 memory Effects 0.000 description 41
- 230000006870 function Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 23
- 238000013507 mapping Methods 0.000 description 19
- 230000011664 signaling Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 14
- 239000012092 media component Substances 0.000 description 11
- 230000003068 static effect Effects 0.000 description 11
- 238000005538 encapsulation Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 230000000153 supplemental effect Effects 0.000 description 7
- 239000000872 buffer Substances 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 241000760358 Enodes Species 0.000 description 4
- 101150030514 GPC1 gene Proteins 0.000 description 4
- 101150097497 GPT1 gene Proteins 0.000 description 4
- 239000000969 carrier Substances 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
- H04N21/4353—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving decryption of additional data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Mobile Radio Communication Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Transducers For Ultrasonic Waves (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
기하구조 기반 포인트 클라우드들과 관련된 콘텐츠를 수신하기 위한 시스템들, 방법들, 및 수단들이 개시된다. 클라이언트 디바이스는 콘텐츠 서버로부터 매체 프리젠테이션 디스크립션(MPD) 파일을 수신할 수 있다. 사전선택 요소들의 세트는 MPD 파일로부터 식별될 수 있다. 사전선택 요소들의 세트 중 적어도 하나의 사전선택 요소와 연관된 하나 이상의 적응 세트들이 식별될 수 있다. 적응 세트(들)는 사전선택 요소들 중 하나의 사전선택 요소와 연관된 속성에 의해 나타내어질 수 있다. 뷰포트와 연관된 기하구조 기반 포인트 클라우드 압축(GPCC) 타일 식별자가 결정될 수 있다. GPCC 타일 식별자는 MPD 파일에서 수신된 제1 디스크립터에 기초하여 결정될 수 있다. 제2 디스크립터를 사용하여 GPCC 타일 식별자와 연관된 하나 이상의 적응 세트들이 선택될 수 있다. 선택된 하나 이상의 적응 세트들과 연관된 포인트 클라우드 컴포넌트가 요청될 수 있다. 포인트 클라우드 컴포넌트가 수신될 수 있다.
Description
관련 출원들에 대한 상호 참조
본 출원은 2020년 6월 22일자로 출원된 미국 가특허 출원 제63/042,481호, 및 2020년 9월 29일자로 출원된 미국 가특허 출원 제63/084,758호의 이익을 주장하며, 이들의 개시내용은 그 전체가 본 명세서에 참고로 포함된다.
비디오 코딩 시스템들은 디지털 비디오 신호들을 압축하는 데, 예를 들어 그러한 신호들에 필요한 저장 및/또는 송신 대역폭을 감소시키는 데 사용될 수 있다. 비디오 코딩 시스템들은, 예를 들어, 웨이블릿 기반 시스템들, 객체 기반 시스템들, 및/또는 블록 기반 하이브리드 비디오 코딩 시스템과 같은 블록 기반 시스템들을 포함할 수 있다. 비디오 코딩 시스템들은 포인트 클라우드들의 코딩 및 저장 태양들을 지원할 수 있다. 그러나, 시스템들은 네트워크를 통해 스트리밍 포인트 클라우드 데이터를 지원하는 적합한 메커니즘들이 부족할 수 있다.
기하구조 기반 포인트 클라우드들과 같은 시각적 매체 콘텐츠의 적응적 스트리밍을 위한 시스템들, 방법들, 및 수단들이 개시된다. 포인트 클라우드 컴포넌트들과 연관된 요소들, 속성들 및 메타데이터는, 예를 들어, 스트리밍 클라이언트들이 매체 프리젠테이션 디스크립터(media presentation descriptor, MPD)에서 포인트 클라우드 스트림들 및 그들의 컴포넌트 서브 스트림들을 식별하는 것을 가능하게 하고, 스트리밍 클라이언트들이, 예를 들어, 클라이언트 지원에 기초하여 포인트 클라우드 및/또는 그의 컴포넌트들의 버전들을 선택하는 것을 가능하게 하도록 시그널링될 수 있다. 예들에서, 스트리밍 클라이언트는 포인트 클라우드 콘텐츠의 상이한 표현들에 관한 결정들을 행하기 위해 안내(예컨대, MPD 파일에서 시그널링된 표시)를 활용할 수 있다. 예를 들어, 표시는, 상이한 포인트 클라우드 컴포넌트들에 걸친 표현들 중 어느 세트가 소정 품질 레벨을 구성하는지를 나타낼 수 있다. 포인트 클라우드 콘텐츠의 컴포넌트들은 다수의 타일들 또는 타일 부분들로 분할될 수 있다. 클라이언트들은, 예를 들어, 대역폭 이용가능성에 기초하여, (예컨대, 모든 포인트 클라우드 데이터를 스트리밍하는 대신) 기하구조 컴포넌트들의 특정 타일 부분(예컨대, 선택된 타일 부분)을 스트리밍할 수 있다. 포인트 클라우드 컴포넌트 타일 비트스트림들은, 예를 들어, 적응 세트(예컨대, 각각의 적응 세트)가 포인트 클라우드 컴포넌트 타일을 표현할 수 있는, 상이한 적응 세트들에서 이용가능할 수 있다.
기하구조 기반 포인트 클라우드 압축(Geometry-based point cloud compression, G-PCC) 컴포넌트들은 HTTP를 통한 동적 스트리밍(dynamic streaming over HTTP, DASH)에서 시그널링될 수 있다. 예를 들어, G-PCC 컴포넌트들은 DASH 매니페스트 파일 또는 MPD 파일을 사용하여 시그널링될 수 있다. 예들에서, G-PCC 컴포넌트(예컨대, 각각의 G-PCC 컴포넌트)는 적응 세트(예컨대, 별개의 적응 세트)로서 DASH MPD 파일로 표현될 수 있다. 적응 세트(예컨대, 메인 적응 세트)는 G-PCC 콘텐츠에 대한 메인 액세스 포인트로서 역할을 할 수 있다. 예들에서, 적응 세트(예컨대, 하나의 적응 세트)는 해상도별 컴포넌트마다 시그널링될 수 있다.
G-PCC 컴포넌트 디스크립터는, 예를 들어, 스트리밍 클라이언트가 적응 세트 및/또는 표현에서 포인트 클라우드 컴포넌트의 유형을 식별하는 것을 가능하게 하도록 시그널링될 수 있다. G-PCC 디스크립터는, 스트리밍 클라이언트가 MPD 파일에 존재하는 상이한 포인트 클라우드 스트림들을 구별하는 것을 가능하게 할 수 있다. 스트리밍 클라이언트는 각자의 포인트 클라우드 스트림들에 대한 컴포넌트 스트림들을 식별할 수 있다.
G-PCC 사전선택은, 예를 들어, 볼류메트릭 매체(volumetric media)에 대한 메인 적응 세트의 식별자(identifier, ID) 및 G-PCC 컴포넌트들에 대응하는 적응 세트들의 ID들을 포함한, ID 목록을 갖고 (예컨대, MPD에서) 시그널링될 수 있다. 사전선택은, 예를 들어, 기간 요소 내의 사전선택 요소를 사용하여 시그널링될 수 있고/있거나 적응 세트 레벨에서 사전선택 디스크립터를 사용하여 시그널링될 수 있다.
G-PCC 매체의 다수의 버전들이 시그널링될 수 있다. 동일한 포인트 클라우드 매체의 다수의 버전들은, 예를 들어, 별개의 사전선택들을 사용하여 시그널링될 수 있다. 동일한 기하구조 기반 포인트 클라우드 매체의 대안적인 버전들을 표현하는 사전선택들은, 예를 들어, 동일한 속성 값을 갖는 G-PCC 디스크립터를 포함할 수 있다.
하나 이상의 G-PCC 타일들이 시그널링될 수 있다. 예를 들어, 기하구조 기반 포인트 클라우드 내에 다수의 타일들이 존재하는 경우, 타일들 경계 박스 정보가 시그널링될 수 있다. 클라이언트는 (예컨대, MPD에서) 타일 인벤토리 경계 박스 정보로부터 타일 ID를 선택하여, 예를 들어, 타일형 G-PCC 컴포넌트들 데이터를 스트리밍할 수 있다.
클라이언트들은, 예를 들어, G-PCC 컴포넌트 디스크립터를 체크함으로써 적응 세트에서 포인트 클라우드 컴포넌트에 대한 타일 ID를 식별할 수 있다. G-PCC 타일 ID 디스크립터는, 예를 들어, 스트리밍 클라이언트가 G-PCC 타일 스트림들을 구별할 수 있게 하도록 시그널링될 수 있다.
예를 들어, 기하구조 기반 볼류메트릭 매체 콘텐츠에서 3D 공간 영역들이 정적인 경우, 공간 영역들의 특성들 및/또는 영역들과 G-PCC 타일들 사이의 맵핑들이 시그널링될 수 있다. 예를 들어, 3D 공간 영역들이 정적이고/이거나 타일 인벤토리 정보가 이용가능하지 않은 경우, 공간 영역들의 특성들 및/또는 영역들과 G-PCC 컴포넌트들의 대응하는 적응 세트들 사이의 맵핑들이 (예컨대, G-PCC 3D 영역들 디스크립터를 사용하여) 시그널링될 수 있다. 공간 영역과 G-PCC 컴포넌트들의 대응하는 적응 세트들 사이의 맵핑이 (예컨대, G-PCC 영역 ID 디스크립터 또는 G-PCC 컴포넌트들 디스크립터에 의해) 시그널링될 수 있다.
시한 메타데이터 트랙(timed-metadata track)(예컨대, 프리젠테이션 타임라인 상의 3D 영역들의 포지션 및/또는 차원들을 나타냄)은, 예를 들어, 표현을 갖는 그리고 메인 G-PCC 적응 세트(들)와 연관된 적응 세트에서 (예컨대, 동적 공간 영역들에 대해) 시그널링될 수 있다.
스트리밍 클라이언트 거동은 시그널링에 기초할 수 있다. DASH 클라이언트는, 예를 들어, MPD에 제공된 정보에 의해 안내될 수 있다.
기하구조 기반 포인트 클라우드들과 관련된 콘텐츠를 수신하기 위한 시스템들, 방법들, 및 수단들이 개시된다. 예들에서, 매체 프리젠테이션 디스크립션(MPD) 파일은, 예를 들어, 콘텐츠 서버로부터 수신될 수 있다. 사전선택 요소들의 세트는 MPD 파일로부터 식별될 수 있다. 사전선택 요소들의 세트 중 적어도 하나의 사전선택 요소와 연관된 하나 이상의 적응 세트들이 식별될 수 있다. 예를 들어, 하나 이상의 적응 세트들은 사전선택 요소들 중 하나의 사전선택 요소와 연관된 속성에 의해 나타내어질 수 있다.
뷰포트와 연관된 기하구조 기반 포인트 클라우드 압축(GPCC) 타일 식별자가 결정될 수 있다. 예를 들어, GPCC 타일 식별자는 MPD 파일에서 수신된 제1 디스크립터에 기초하여 결정될 수 있다. 예들에서, 제1 디스크립터는 3차원(3D) 영역들 디스크립터일 수 있다. 3D 영역들 디스크립터는 3D 영역과 연관된 영역 위치, 하나 이상의 영역 차원들, 및/또는 타일들의 세트를 포함할 수 있다.
제2 디스크립터를 사용하여 GPCC 타일 식별자와 연관된 하나 이상의 적응 세트들이 선택될 수 있다. 예들에서, 제2 디스크립터는 컴포넌트 디스크립터일 수 있다. 컴포넌트 디스크립터는 비트스트림과 연관된 컴포넌트 유형, 속성 유형, 인덱스, 및/또는 타일들의 세트를 포함할 수 있다. 선택된 하나 이상의 적응 세트들과 연관된 포인트 클라우드 컴포넌트가 요청될 수 있다. 예들에서, 포인트 클라우드 컴포넌트가 수신될 수 있다.
본 명세서의 어딘가에 개시된 각각의 특징은 별개로/개별적으로, 그리고 본 명세서에 개시된 임의의 다른 특징과의 그리고/또는 본 명세서에서 암시적으로 또는 명시적으로 참조될 수 있거나 또는 달리 본 명세서에 개시된 주제의 범주 내에 있을 수 있는 다른 어딘가에 개시된 임의의 특징(들)과의 임의의 조합으로 설명되고, 구현될 수 있다.
도 1a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템을 예시하는 시스템도이다.
도 1b는 실시예에 따라 도 1a에 예시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 송수신 유닛(wireless transmit/receive unit, WTRU)을 예시하는 시스템도이다.
도 1c는 실시예에 따라 도 1a에 예시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 액세스 네트워크(radio access network, RAN) 및 예시적인 코어 네트워크(core network, CN)를 예시하는 시스템도이다.
도 1d는 실시예에 따라 도 1a에 예시된 통신 시스템 내에서 사용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN을 예시하는 시스템도이다.
도 2는 예시적인 비디오 인코더를 도시하는 도면이다.
도 3은 비디오 디코더의 일례를 도시하는 도면이다.
도 4는 다양한 태양들 및 예들이 구현될 수 있는 시스템의 일례를 도시하는 도면이다.
도 5는 기하구조 기반 포인트 클라우드 압축(G-PCC)을 위한 비트스트림 구조의 일례를 예시한다.
도 6은 G-PCC 기하구조 및 속성 비트스트림이 단일 트랙에 저장될 때의 샘플 구조의 일례를 예시한다.
도 7은 다중 트랙 G-PCC 컨테이너의 일례를 예시한다.
도 8은 예시적인 매체 프리젠테이션 디스크립션(MPD) 계층적 데이터 모델을 예시한다.
도 9는 사전선택을 사용하여 MPD에서 G-PCC 컴포넌트들을 그룹화하는 일례를 예시한다.
도 10은 사전선택들을 사용하여 MPD에서 G-PCC 컴포넌트들의 다수의 버전들을 그룹화하는 일례를 예시한다.
도 11은 다수의 타일 트랙들을 갖는 G-PCC 콘텐츠의 일례를 예시한다.
도 1b는 실시예에 따라 도 1a에 예시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 송수신 유닛(wireless transmit/receive unit, WTRU)을 예시하는 시스템도이다.
도 1c는 실시예에 따라 도 1a에 예시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 액세스 네트워크(radio access network, RAN) 및 예시적인 코어 네트워크(core network, CN)를 예시하는 시스템도이다.
도 1d는 실시예에 따라 도 1a에 예시된 통신 시스템 내에서 사용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN을 예시하는 시스템도이다.
도 2는 예시적인 비디오 인코더를 도시하는 도면이다.
도 3은 비디오 디코더의 일례를 도시하는 도면이다.
도 4는 다양한 태양들 및 예들이 구현될 수 있는 시스템의 일례를 도시하는 도면이다.
도 5는 기하구조 기반 포인트 클라우드 압축(G-PCC)을 위한 비트스트림 구조의 일례를 예시한다.
도 6은 G-PCC 기하구조 및 속성 비트스트림이 단일 트랙에 저장될 때의 샘플 구조의 일례를 예시한다.
도 7은 다중 트랙 G-PCC 컨테이너의 일례를 예시한다.
도 8은 예시적인 매체 프리젠테이션 디스크립션(MPD) 계층적 데이터 모델을 예시한다.
도 9는 사전선택을 사용하여 MPD에서 G-PCC 컴포넌트들을 그룹화하는 일례를 예시한다.
도 10은 사전선택들을 사용하여 MPD에서 G-PCC 컴포넌트들의 다수의 버전들을 그룹화하는 일례를 예시한다.
도 11은 다수의 타일 트랙들을 갖는 G-PCC 콘텐츠의 일례를 예시한다.
이제, 예시적인 실시예들 대한 상세한 설명이 다양한 도면들을 참조하여 설명될 것이다. 이러한 설명은 가능한 구현들의 상세한 예를 제공하지만, 상세사항들은 예시적인 것으로 의도되고 어떠한 방식으로도 본 출원의 범주를 제한하지 않는다는 것에 유의해야 한다.
도 1a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템(100)을 예시하는 도면이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 방송 등과 같은 콘텐츠를 다수의 무선 사용자에게 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(100)은 다수의 무선 사용자가 무선 대역폭을 포함한 시스템 자원들의 공유를 통해 그러한 콘텐츠에 액세스하는 것을 가능하게 할 수 있다. 예를 들어, 통신 시스템들(100)은 CDMA(code division multiple access), TDMA(time division multiple access), FDMA(frequency division multiple access), OFDMA(orthogonal FDMA), SC-FDMA(single-carrier FDMA), ZT UW DTS-s OFDM(zero-tail unique-word DFT-Spread OFDM), UW-OFDM(unique word OFDM), 자원 블록 필터링된 OFDM, FBMC(filter bank multicarrier) 등과 같은 하나 이상의 채널 액세스 방법들을 채용할 수 있다.
도 1a에 도시된 바와 같이, 통신 시스템(100)은 무선 송수신 유닛(WTRU)들(102a, 102b, 102c, 102d), RAN(104/113), CN(106/115), 공중 교환 전화망(public switched telephone network, PSTN)(108), 인터넷(110) 및 다른 네트워크들(112)을 포함할 수 있지만, 개시된 실시예들은 임의의 수의 WTRU들, 기지국들, 네트워크들 및/또는 네트워크 요소들을 고려한다는 것이 이해될 것이다. WTRU들(102a, 102b, 102c, 102d) 각각은 무선 환경에서 동작하고/하거나 통신하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로서, WTRU들(102a, 102b, 102c, 102d) - 이들 중 임의의 것은 "스테이션(station)" 및/또는 "STA"라고 지칭될 수 있음 - 은 무선 신호들을 송신하도록 그리고/또는 수신하도록 구성될 수 있고, 사용자 장비(user equipment, UE), 이동국, 고정 또는 이동 가입자 유닛, 가입 기반 유닛, 페이저, 셀룰러 전화, PDA(personal digital assistant), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 핫스폿 또는 Mi-Fi 디바이스, 사물 인터넷(Internet of Things, IoT) 디바이스, 시계 또는 다른 웨어러블, HMD(head-mounted display), 차량, 드론, 의료 디바이스 및 응용들(예컨대, 원격 수술), 산업 디바이스 및 응용들(예컨대, 산업 및/또는 자동화된 프로세싱 체인 정황들에서 동작하는 로봇 및/또는 다른 무선 디바이스들), 가전 디바이스, 상업 및/또는 산업 무선 네트워크들 상에서 동작하는 디바이스 등을 포함할 수 있다. WTRU들(102a, 102b, 102c, 및 102d) 중 임의의 것은 UE로 교환가능하게 지칭될 수 있다.
통신 시스템들(100)은 또한 기지국(114a) 및/또는 기지국(114b)을 포함할 수 있다. 기지국들(114a, 114b) 각각은, CN(106/115), 인터넷(110), 및/또는 다른 네트워크들(112)과 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU들(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이싱하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로서, 기지국들(114a, 114b)은 BTS(base transceiver station), 노드 B, eNode B, 홈 노드 B, 홈 eNode B, gNB, NR NodeB, 사이트 제어기, 액세스 포인트(access point, AP), 무선 라우터 등일 수 있다. 기지국들(114a, 114b)은 각각 단일 요소로서 도시되지만, 기지국들(114a, 114b)은 임의의 수의 상호 접속된 기지국들 및/또는 네트워크 요소들을 포함할 수 있음을 알 것이다.
기지국(114a)은 기지국 제어기(base station controller, BSC), 무선 네트워크 제어기(radio network controller, RNC), 중계 노드들 등과 같은 다른 기지국들 및/또는 네트워크 요소들(도시되지 않음)을 또한 포함할 수 있는 RAN(104/113)의 일부일 수 있다. 기지국(114a) 및/또는 기지국(114b)은 하나 이상의 반송파 주파수들 상에서 무선 신호들을 송신하고/하거나 수신하도록 구성될 수 있으며, 이는 셀(도시되지 않음)로 지칭될 수 있다. 이러한 주파수들은 면허 스펙트럼 및 무면허 스펙트럼 또는 면허 스펙트럼과 무면허 스펙트럼의 조합 내에 있을 수 있다. 셀은 비교적 고정될 수 있거나 시간 경과에 따라 변할 수 있는 특정 지리 영역에 대한 무선 서비스를 위한 커버리지를 제공할 수 있다. 셀은 셀 섹터들로 더욱 분할될 수 있다. 예를 들어, 기지국(114a)과 연관된 셀은 3개의 섹터로 분할될 수 있다. 따라서, 일 실시예에서, 기지국(114a)은 3개의 송수신기, 즉 셀의 각각의 섹터에 대해 하나씩을 포함할 수 있다. 실시예에서, 기지국(114a)은 MIMO(multiple-input multiple-output) 기술을 채용할 수 있고, 셀의 섹터마다 다수의 송수신기를 이용할 수 있다. 예를 들어, 신호들을 원하는 공간 방향들로 송신하고/하거나 수신하기 위해 빔포밍(beamforming)이 사용될 수 있다.
기지국들(114a, 114b)은 임의의 적합한 무선 통신 링크(예컨대, RF(radio frequency), 마이크로파, 센티미터파, 마이크로미터파, IR(infrared), UV(ultraviolet), 가시광 등)일 수 있는 에어 인터페이스(air interface)(116)를 통해 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수 있다. 에어 인터페이스(116)는 임의의 적합한 무선 액세스 기술(radio access technology, RAT)을 사용하여 확립될 수 있다.
더 구체적으로, 전술한 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수 있으며, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 스킴을 채용할 수 있다. 예를 들어, RAN(104/113) 내의 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 광대역 CDMA(wideband CDMA, WCDMA)를 사용하여 에어 인터페이스(115/116/117)를 확립할 수 있는 유니버설 이동 통신 시스템(Universal Mobile Telecommunications System, UMTS) 지상 무선 액세스(UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access, HSPA) 및/또는 진화된 HSPA(HSPA+)와 같은 통신 프로토콜들을 포함할 수 있다. HSPA는 고속 다운링크(DL) 패킷 액세스(HSDPA) 및/또는 고속 업링크(UL) 패킷 액세스(HSUPA)를 포함할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 예를 들어, LTE(Long Term Evolution) 및/또는 LTE-A(LTE-Advanced) 및/또는 LTE-A Pro(LTE-Advanced Pro)를 사용하여 에어 인터페이스(116)를 확립할 수 있는 E-UTRA(Evolved UMTS Terrestrial Radio Access)와 같은 무선 기술을 구현할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 뉴 라디오(New Radio, NR)를 사용하여 에어 인터페이스(116)를 확립할 수 있는 NR 무선 액세스와 같은 무선 기술을 구현할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 다수의 무선 액세스 기술을 구현할 수 있다. 예를 들어, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 예를 들어, 이중 접속성(dual connectivity, DC) 원리들을 사용하여 LTE 무선 액세스 및 NR 무선 액세스를 함께 구현할 수 있다. 따라서, WTRU들(102a, 102b, 102c)에 의해 이용되는 에어 인터페이스는 다수의 유형의 무선 액세스 기술들 및/또는 다수의 유형의 기지국들(예컨대, eNB 및 gNB)로/로부터 송신되는 송신물들에 의해 특성화될 수 있다.
다른 실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 IEEE 802.11(즉, WiFi(Wireless Fidelity)), IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS -2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), GSM(Global System for Mobile communications), EDGE(Enhanced Data rates for GSM Evolution), GERAN(GSM EDGE) 등과 같은 무선 기술들을 구현할 수 있다.
도 1a의 기지국(114b)은 예를 들어, 무선 라우터, 홈 Node B, 홈 eNode B, 또는 액세스 포인트일 수 있고, 예를 들어, 사업장, 집, 차량, 캠퍼스, 산업 시설, (예컨대, 드론들에 의한 사용을 위한) 에어 코리도(air corridor), 도로 등과 같은 국부화된 영역에서의 무선 접속성을 용이하게 하기 위해 임의의 적합한 RAT를 이용할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 IEEE 802.11과 같은 무선 기술을 구현하여 무선 근거리 네트워크(wireless local area network, WLAN)를 확립할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 무선 개인 영역 네트워크(wireless personal area network, WPAN)를 확립하기 위해 IEEE 802.15와 같은 무선 기술을 구현할 수 있다. 또 다른 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 피코셀 또는 펨토셀을 확립하기 위해 셀룰러 기반 RAT(예컨대, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR 등)를 활용할 수 있다. 도 1a에 도시된 바와 같이, 기지국(114b)은 인터넷(110)에 대한 직접 접속을 가질 수 있다. 따라서, 기지국(114b)은 CN(106/115)을 통해 인터넷(110)에 액세스하도록 요구되지 않을 수 있다.
RAN(104/113)은 음성, 데이터, 응용들, 및/또는 VoIP(voice over internet protocol) 서비스들을 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상에 제공하도록 구성된 임의의 유형의 네트워크일 수 있는 CN(106/115)과 통신할 수 있다. 데이터는 예를 들어, 상이한 처리량 요건들, 레이턴시 요건들, 에러 허용 한계 요건들, 신뢰성 요건들, 데이터 처리량 요건들, 이동성 요건들 등과 같은 다양한 서비스 품질(quality of service, QoS) 요건들을 가질 수 있다. CN(106/115)은 호출 제어, 과금 서비스들, 이동 위치 기반 서비스들, 선불 통화, 인터넷 접속성, 비디오 배포 등을 제공하고/하거나 사용자 인증과 같은 하이 레벨 보안 기능들을 수행할 수 있다. 도 1a에 도시되지 않지만, RAN(104/113) 및/또는 CN(106/115)은, RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 채용하는 다른 RAN들과 직접 또는 간접 통신할 수 있음이 이해될 것이다. 예를 들어, NR 무선 기술을 이용하는 것일 수 있는 RAN(104/113)에 접속되는 것에 더하여, CN(106/115)은 또한 GSM, UMTS, CDMA 2000, WiMAX, E-UTRA, 또는 WiFi 무선 기술을 채용하는 또 다른 RAN(도시되지 않음)과 통신할 수 있다.
CN(106/115)은 또한 WTRU들(102a, 102b, 102c, 102d)이 PSTN(108), 인터넷(110), 및/또는 다른 네트워크들(112)에 액세스하기 위한 게이트웨이로서 역할을 할 수 있다. PSTN(108)은 POTS(plain old telephone service)를 제공하는 회선 교환 전화망들을 포함할 수 있다. 인터넷(110)은, 송신 제어 프로토콜/인터넷 프로토콜(transmission control protocol/internet protocol, TCP/IP) 일군(suite)에서의 TCP, 사용자 데이터그램 프로토콜(user datagram protocol, UDP) 및/또는 IP와 같은 공통 통신 프로토콜을 사용하는 상호접속된 컴퓨터 네트워크들 및 디바이스들의 글로벌 시스템을 포함할 수 있다. 네트워크들(112)은 다른 서비스 제공자들에 의해 소유되고 그리고/또는 운영되는 유선 및/또는 무선 통신 네트워크들을 포함할 수 있다. 예를 들어, 네트워크들(112)은 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 채용할 수 있는 하나 이상의 RAN에 접속된 또 다른 CN을 포함할 수 있다.
통신 시스템(100) 내의 WTRU들(102a, 102b, 102c, 102d) 중 일부 또는 전부는 다중-모드 능력들을 포함할 수 있다(예컨대, WTRU들(102a, 102b, 102c, 102d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위해 다수의 송수신기를 포함할 수 있다). 예를 들어, 도 1a에 도시된 WTRU(102c)는 셀룰러 기반 무선 기술을 채용할 수 있는 기지국(114a) 및 IEEE 802 무선 기술을 채용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.
도 1b는 예시적인 WTRU(102)를 예시하는 시스템 도면이다. 도 1b에 도시된 바와 같이, WTRU(102)는 특히 프로세서(118), 송수신기(120), 송수신 요소(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비착탈식 메모리(130), 착탈식 메모리(132), 전원(134), GPS(global positioning system) 칩셋(136), 및/또는 다른 주변기기들(138)을 포함할 수 있다. WTRU(102)는 실시예와 여전히 부합하면서 전술한 요소들의 임의의 하위 조합을 포함할 수 있음을 알 것이다.
프로세서(118)는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 복수의 마이크로프로세서, DSP 코어와 연관된 하나 이상의 마이크로프로세서, 제어기, 마이크로제어기, 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 필드 프로그래밍가능 게이트 어레이(Field Programmable Gate Array, FPGA) 회로, 임의의 다른 유형의 집적 회로(integrated circuit, IC), 상태 기계 등일 수 있다. 프로세서(118)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입출력 프로세싱, 및/또는 WTRU(102)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송수신 요소(122)에 결합될 수 있는 송수신기(120)에 결합될 수 있다. 도 1b는 프로세서(118) 및 송수신기(120)를 별개의 컴포넌트들로서 도시하지만, 프로세서(118) 및 송수신기(120)는 전자 패키지 또는 칩 내에 함께 통합될 수 있다는 것을 알 것이다.
송수신 요소(122)는 에어 인터페이스(116)를 통해 기지국(예를 들어, 기지국(114a))에 신호를 송신하거나 그로부터 신호를 수신하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 송수신 요소(122)는 RF 신호를 송신하도록 그리고/또는 수신하도록 구성된 안테나일 수 있다. 실시예에서, 송수신 요소(122)는, 예를 들면, IR, UV, 또는 가시광 신호를 송신하도록 그리고/또는 수신하도록 구성되는 방출기(emitter)/검출기(detector)일 수 있다. 또 다른 실시예에서, 송수신 요소(122)는 RF 신호 및 광 신호 둘 모두를 송신하도록 그리고/또는 수신하도록 구성될 수 있다. 송수신 요소(122)는 무선 신호들의 임의의 조합을 송신하도록 그리고/또는 수신하도록 구성될 수 있음을 알 것이다.
송수신 요소(122)가 단일 요소로서 도 1b에 도시되지만, WTRU(102)는 임의의 수의 송수신 요소(122)를 포함할 수 있다. 더 구체적으로, WTRU(102)는 MIMO 기술을 채용할 수 있다. 따라서, 일 실시예에서, WTRU(102)는 에어 인터페이스(116)를 통해 무선 신호를 송신 및 수신하기 위한 2개 이상의 송수신 요소(122)(예를 들어, 다수의 안테나)를 포함할 수 있다.
송수신기(120)는 송수신 요소(122)에 의해 송신될 신호를 변조하도록, 그리고 송수신 요소(122)에 의해 수신된 신호를 복조하도록 구성될 수 있다. 전술한 바와 같이, WTRU(102)는 다중 모드 능력을 가질 수 있다. 따라서, 송수신기(120)는, WTRU(102)가, 예를 들면, NR 및 IEEE 802.11과 같은 다수의 RAT를 통해 통신하는 것을 가능하게 하기 위한 다수의 송수신기를 포함할 수 있다.
WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126) 및/또는 디스플레이/터치 패드(128)(예를 들어, 액정 디스플레이(liquid crystal display, LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light-emitting diode, OLED) 디스플레이 유닛)에 결합될 수 있고, 그들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 사용자 데이터를 스피커/마이크로폰(124), 키패드(126) 및/또는 디스플레이/터치 패드(128)에 출력할 수 있다. 또한, 프로세서(118)는 비착탈식 메모리(130) 및/또는 착탈식 메모리(132)와 같은 임의의 유형의 적합한 메모리로부터의 정보에 액세스하고, 그 안에 데이터를 저장할 수 있다. 비착탈식 메모리(130)는 랜덤 액세스 메모리(random-access memory, RAM), 판독 전용 메모리(read-only memory, ROM), 하드 디스크 또는 임의의 다른 유형의 메모리 저장 디바이스를 포함할 수 있다. 착탈식 메모리(132)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드 등을 포함할 수 있다. 다른 실시예들에서, 프로세서(118)는 서버 또는 홈 컴퓨터(도시되지 않음)와 같은 WTRU(102) 상에 물리적으로 위치하지 않는 메모리로부터 정보에 액세스하고 그 안에 데이터를 저장할 수 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신할 수 있고, 전력을 WTRU(102) 내의 다른 컴포넌트들에 분배하도록 그리고/또는 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적합한 디바이스일 수 있다. 예를 들어, 전원(134)은 하나 이상의 건전지(예컨대, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 수소화물(NiMH), 리튬 이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.
프로세서(118)는 또한 WTRU(102)의 현재 위치에 관한 위치 정보(예를 들어, 경도 및 위도)를 제공하도록 구성될 수 있는 GPS 칩셋(136)에 결합될 수 있다. GPS 칩셋(136)으로부터의 정보에 더하여 또는 그 대신에, WTRU(102)는 기지국(예를 들어, 기지국들(114a, 114b))으로부터 에어 인터페이스(116)를 통해 위치 정보를 수신하고/하거나, 2개 이상의 인근 기지국으로부터 수신되는 신호들의 타이밍에 기초하여 그의 위치를 결정할 수 있다. WTRU(102)는 실시예와 여전히 부합하면서 임의의 적합한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것을 알 것이다.
프로세서(118)는 추가적인 특징들, 기능 및/또는 유선 또는 무선 접속성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수 있는 다른 주변기기들(138)에 추가로 결합될 수 있다. 예를 들어, 주변기기들(138)은 가속도계, 전자 나침반, 위성 송수신기, (사진들 및/또는 비디오를 위한) 디지털 카메라, 범용 직렬 버스(universal serial bus, USB) 포트, 진동 디바이스, 텔레비전 송수신기, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(frequency modulated, FM) 무선 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, 가상 현실 및/또는 증강 현실(VR/AR) 디바이스, 활동 추적기 등을 포함할 수 있다. 주변기기들(138)은 하나 이상의 센서들을 포함할 수 있고, 이 센서들은 자이로스코프, 가속도계, 홀 효과 센서, 자력계, 배향 센서, 근접 센서, 온도 센서, 시간 센서; 지리위치 센서(geolocation sensor); 고도계, 광 센서, 터치 센서, 자력계, 기압계, 제스처 센서, 생체 인식 센서, 및/또는 습도 센서 등 중 하나 이상일 수 있다.
WTRU(102)는 (예를 들어, (예컨대, 송신을 위한) UL 및 (예컨대, 수신을 위한) 다운링크 둘 모두에 대해 특정 서브프레임들과 연관된) 신호들의 일부 또는 전부의 송신 및 수신이 동반적이고 그리고/또는 동시적일 수 있는 전이중 무선 장치(full duplex radio)를 포함할 수 있다. 전이중 무선 장치는 하드웨어(예컨대, 초크(choke))를 통해 또는 프로세서(예컨대, 별개의 프로세서(도시되지 않음) 또는 프로세서(118))를 통한 신호 프로세싱을 통해 자가 간섭(self-interference)을 줄이고 그리고/또는 실질적으로 제거하는 간섭 관리 유닛을 포함할 수 있다. 실시예에서, WTRU(102)는 (예를 들어, (예컨대, 송신을 위한) UL 또는 (예컨대, 수신을 위한) 다운링크에 대해 특정 서브프레임들과 연관된) 신호들의 일부 또는 전부의 송신 및 수신을 위한 반이중 무선 장치(half-duplex radio)를 포함할 수 있다.
도 1c는 실시예에 따른 RAN(104) 및 CN(106)을 예시하는 시스템도이다. 전술한 바와 같이, RAN(104)은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 E-UTRA 무선 기술을 채용할 수 있다. RAN(104)은 또한 CN(106)과 통신할 수 있다.
RAN(104)은 eNode-B(160a, 160b, 160c)를 포함할 수 있지만, RAN(104)은 실시예와 여전히 부합하면서 임의의 수의 eNode-B를 포함할 수 있다는 것이 인식될 것이다. eNode-B들(160a, 160b, 160c) 각각은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 하나 이상의 송수신기를 포함할 수 있다. 일 실시예에서, eNode-B(160a, 160b, 160c)는 MIMO 기술을 구현할 수 있다. 따라서, eNode-B(160a)는 예를 들어, WTRU(102a)에 무선 신호들을 송신하고 그리고/또는 그로부터 무선 신호들을 수신하기 위해 다수의 안테나를 사용할 수 있다.
eNode-B들(160a, 160b, 160c) 각각은 특정 셀(도시되지 않음)과 연관될 수 있고, 무선 자원 관리 결정들, 핸드오버 결정들, UL 및/또는 DL에서의 사용자들의 스케줄링 등을 핸들링하도록 구성될 수 있다. 도 1c에 도시된 바와 같이, eNodeB들(160a, 160b, 160c)은 X2 인터페이스를 통해 서로 통신할 수 있다.
도 1c에 도시된 CN(106)은 이동성 관리 엔티티(mobility management entity, MME)(162), 서빙 게이트웨이(serving gateway, SGW)(164), 및 패킷 데이터 네트워크(packet data network, PDN) 게이트웨이(또는 PGW)(166)를 포함할 수 있다. 전술한 요소들 각각이 CN(106)의 일부로서 묘사되지만, 이들 요소들 중 임의의 것이 CN 운영자 이외의 엔티티에 의해 소유되고 그리고/또는 운영될 수 있다는 것이 이해될 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104) 내의 eNode-B들(162a, 162b, 162c) 각각에 접속될 수 있고 제어 노드로서의 역할을 할 수 있다. 예를 들어, MME(162)는 WTRU들(102a, 102b, 102c)의 사용자들을 인증하는 것, 베어러 활성화/비활성화, WTRU들(102a, 102b, 102c)의 초기 접속(initial attach) 동안 특정의 서빙 게이트웨이를 선택하는 것 등을 책임지고 있을 수 있다. MME(162)는 RAN(104)과, GSM 및/또는 WCDMA와 같은 다른 무선 기술들을 사용하는 다른 RAN들(도시되지 않음) 간에 스위칭하기 위한 제어 평면 기능을 제공할 수 있다.
SGW(164)는 S1 인터페이스를 통해 RAN(104) 내의 eNode B들(160a, 160b, 160c) 각각에 접속될 수 있다. SGW(164)는 일반적으로 WTRU들(102a, 102b, 102c)로/로부터 사용자 데이터 패킷들을 라우팅하고 포워딩할 수 있다. SGW(164)는 인터-eNode B 핸드오버들 동안 사용자 평면들을 앵커링(anchoring)하는 것, WTRU들(102a, 102b, 102c)에 대해 DL 데이터가 이용가능할 때 페이징(paging)을 트리거하는 것, WTRU들(102a, 102b, 102c)의 정황들을 관리하고 저장하는 것 등과 같은 다른 기능들을 수행할 수 있다.
SGW(164)는 WTRU들(102a, 102b, 102c)과 IP 인에이블드 디바이스(IP-enabled device)들 사이의 통신을 용이하게 하기 위해, 예를 들어, 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있는 PGW(166)에 접속될 수 있다.
CN(106)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(106)은 WTRU들(102a, 102b, 102c)과 전통적인 지상선 통신 디바이스들 사이의 통신을 용이하게 하기 위해, PSTN(108)과 같은 회선 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 예를 들어, CN(106)은 CN(106)과 PSTN(108) 사이의 인터페이스로서 역할을 하는 IP 게이트웨이(예컨대, IMS(IP multimedia subsystem) 서버)를 포함할 수 있거나 그와 통신할 수 있다. 또한, CN(106)은 다른 서비스 제공자들에 의해 소유되고 그리고/또는 운영되는 다른 유선 및/또는 무선 네트워크들을 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다.
WTRU가 도 1a 내지 도 1d에서 무선 단말기로서 설명되지만, 특정한 대표적 실시예들에서 그러한 단말기는 통신 네트워크와의 유선 통신 인터페이스들을 (예컨대, 일시적으로 또는 영구적으로) 사용할 수 있다는 것이 고려된다.
대표적 실시예에서, 다른 네트워크(112)는 WLAN일 수 있다.
인프라구조 기본 서비스 세트(Basic Service Set, BSS) 모드의 WLAN은 BSS에 대한 액세스 포인트(AP) 및 AP와 연관된 하나 이상의 스테이션(STA)을 가질 수 있다. AP는 BSS로 그리고/또는 BSS로부터 트래픽을 운반하는 분배 시스템(Distribution System, DS) 또는 또 다른 유형의 유선/무선 네트워크에 대한 액세스 또는 인터페이스를 가질 수 있다. BSS 외부로부터 비롯되는 STA들로의 트래픽은 AP를 통해 도착할 수 있고 STA들에 전달될 수 있다. STA들로부터 비롯되어 BSS 외부의 목적지들로의 트래픽은 각각의 목적지들로 전달되도록 AP에 송신될 수 있다. BSS 내의 STA들 간의 트래픽은 AP를 통해 송신될 수 있는데, 예를 들어, 소스(source) STA는 트래픽을 AP에 송신할 수 있고, AP는 트래픽을 목적지 STA에 전달할 수 있다. BSS 내의 STA들 사이의 트래픽은 피어-투-피어 트래픽(peer-to-peer traffic)으로 간주되고 그리고/또는 지칭될 수 있다. 피어-투-피어 트래픽은 직접 링크 셋업(direct link setup, DLS)을 사용하여 소스 STA와 목적지 STA 사이에서 (예컨대, 그들 사이에서 직접) 송신될 수 있다. 특정 대표적 실시예들에서, DLS는 802.11e DLS 또는 802.11z TDLS(tunneled DLS)를 사용할 수 있다. IBSS(Independent BSS) 모드를 사용하는 WLAN은 AP를 갖지 않을 수 있고, IBSS 내의 또는 IBSS를 사용하는 STA들(예컨대, 모든 STA들)은 서로 직접 통신할 수 있다. IBSS 통신 모드는 때때로 본 명세서에서 "애드혹(ad-hoc)" 통신 모드라고 지칭될 수 있다.
802.11ac 인프라구조 동작 모드 또는 유사한 동작 모드를 사용할 때, AP는 주 채널과 같은 고정 채널 상에서 비콘(beacon)을 송신할 수 있다. 주 채널은 고정된 폭(예컨대, 20 ㎒ 폭의 대역폭) 또는 시그널링을 통한 동적으로 설정된 폭일 수 있다. 주 채널은 BSS의 동작 채널일 수 있으며, STA들에 의해 AP와의 접속을 확립하기 위해 사용될 수 있다. 소정 대표적 실시예들에서, CSMA/CA(Carrier Sense Multiple Access with Collision Avoidance)가 예를 들어, 802.11 시스템들에서 구현될 수 있다. CSMA/CA의 경우, AP를 포함하는 STA들(예컨대, 모든 STA)은 주 채널을 감지할 수 있다. 주 채널이 특정 STA에 의해 사용 중인 것으로 감지/검출 및/또는 결정되면, 특정 STA는 백오프될 수 있다. 하나의 STA가(예컨대, 하나의 스테이션만이) 주어진 BSS에서 임의의 주어진 시간에 송신할 수 있다.
고처리량(High Throughput, HT) STA들은, 예를 들어 40 ㎒ 폭의 채널을 형성하기 위해 인접하거나 인접하지 않은 20 ㎒ 채널과 주 20 ㎒ 채널의 조합을 통해, 통신을 위한 40 ㎒ 폭의 채널을 사용할 수 있다.
초고처리량(Very High Throughput, VHT) STA들은 20 ㎒, 40 ㎒, 80 ㎒ 및/또는 160 ㎒ 폭의 채널들을 지원할 수 있다. 40 ㎒ 및/또는 80 ㎒ 채널들은 인접한 20 ㎒ 채널들을 조합함으로써 형성될 수 있다. 160 ㎒ 채널은 8개의 인접한 20 ㎒ 채널들을 조합함으로써, 또는 80+80 구성으로 지칭될 수 있는 2개의 비-인접한 80 ㎒ 채널을 조합함으로써 형성될 수 있다. 80+80 구성의 경우, 데이터는 채널 인코딩 후에 데이터를 2개의 스트림으로 분할할 수 있는 세그먼트 파서(segment parser)를 통해 전달될 수 있다. IFFT(Inverse Fast Fourier Transform) 프로세싱 및 시간 도메인 프로세싱이 각각의 스트림에 대해 개별적으로 행해질 수 있다. 스트림들은 2개의 80 ㎒ 채널에 맵핑될 수 있고, 데이터는 송신 STA에 의해 송신될 수 있다. 수신용 STA의 수신기에서, 80+80 구성에 대한 전술된 동작이 반전될 수 있고, 조합된 데이터는 매체 액세스 제어(Medium Access Control, MAC)로 전송될 수 있다.
802.11af 및 802.11ah에 의해 서브(sub) 1 ㎓ 동작 모드가 지원된다. 채널 동작 대역폭들 및 반송파들은 802.11n 및 802.11ac에서 사용되는 것들에 비해 802.11af 및 802.11ah에서 감소된다. 802.11af는 TV 백색 공간(TV White Space, TVWS) 스펙트럼에서 5 ㎒, 10 ㎒ 및 20 ㎒ 대역폭들을 지원하고, 802.11ah는 비-TVWS 스펙트럼을 사용하는 1 ㎒, 2 ㎒, 4 ㎒, 8 ㎒ 및 16 ㎒ 대역폭들을 지원한다. 대표적 실시예에 따르면, 802.11ah는 매크로 커버리지 영역 내의 MTC 디바이스들과 같은 미터 유형 제어/기계 유형 통신(Meter Type Control/Machine-Type Communications)을 지원할 수 있다. MTC 디바이스들은 특정 능력들 예를 들어, 특정의 그리고/또는 제한된 대역폭들에 대한 지원(예컨대, 그것들만의 지원)을 포함하는 제한된 능력들을 가질 수 있다. MTC 디바이스들은 (예컨대, 매우 긴 배터리 수명을 유지하기 위해) 임계치를 초과하는 배터리 수명을 갖는 배터리를 포함할 수 있다.
802.11n, 802.11ac, 802.11af 및 802.11ah와 같은 다수의 채널 및 채널 대역폭을 지원할 수 있는 WLAN 시스템들은 주 채널로서 지정될 수 있는 채널을 포함한다. 주 채널은 BSS 내의 모든 STA들에 의해 지원되는 가장 큰 공통 동작 대역폭과 동일한 대역폭을 가질 수 있다. 주 채널의 대역폭은 BSS에서 동작하는 모든 STA들 중에서 가장 작은 대역폭 동작 모드를 지원하는 STA에 의해 설정되고 그리고/또는 제한될 수 있다. 802.11ah의 예에서, 주 채널은 AP 및 BSS 내의 다른 STA들이 2 ㎒, 4 ㎒, 8 ㎒, 16 ㎒ 및/또는 다른 채널 대역폭 동작 모드들을 지원하더라도 1 ㎒ 모드를 지원하는(예컨대, 그것만을 지원하는) STA들(예컨대, MTC 유형 디바이스들)에 대해 1 ㎒ 폭일 수 있다. 반송파 감지 및/또는 네트워크 할당 벡터(Network Allocation Vector, NAV) 설정들은 주 채널의 상태에 의존할 수 있다. 주 채널이, 예를 들어 STA(이는 1 ㎒ 동작 모드만을 지원함)의 AP로의 송신으로 인해 사용 중인 경우, 전체 이용가능 주파수 대역들은 주파수 대역들의 대부분이 유휴 상태로 유지되더라도 사용 중인 것으로 간주될 수 있고 이용가능할 수 있다.
미국에서, 802.11ah에 의해 사용될 수 있는 이용가능 주파수 대역들은 902 ㎒ 내지 928 ㎒이다. 한국에서, 이용가능 주파수 대역들은 917.5 ㎒ 내지 923.5 ㎒이다. 일본에서, 이용가능 주파수 대역들은 916.5 ㎒ 내지 927.5 ㎒이다. 802.11ah에 대해 이용가능한 총 대역폭은 국가 코드에 따라 6 ㎒ 내지 26 ㎒이다.
도 1d는 실시예에 따른 RAN(113) 및 CN(115)을 예시하는 시스템도이다. 위에서 언급된 바와 같이, RAN(113)은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 NR 무선 기술을 채용할 수 있다. RAN(113)은 또한 CN(115)과 통신할 수 있다.
RAN(113)은 gNB들(180a, 180b, 180c)을 포함할 수 있지만, RAN(113)은 실시예와 여전히 부합하면서 임의의 수의 gNB들을 포함할 수도 있다는 것이 이해될 것이다. gNB들(180a, 180b, 180c) 각각은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 송수신기를 포함할 수 있다. 일 실시예에서, gNB들(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 예를 들어, gNB들(180a, 108b)은 gNB들(180a, 180b, 180c)에 신호들을 송신하고 그리고/또는 그들로부터 신호들을 수신하기 위해 빔포밍을 이용할 수 있다. 따라서, gNB(180a)는 예를 들어, WTRU(102a)에 무선 신호들을 송신하고 그리고/또는 그로부터 무선 신호들을 수신하기 위해 다수의 안테나를 사용할 수 있다. 실시예에서, gNB들(180a, 180b, 180c)은 반송파 집성 기술을 구현할 수 있다. 예를 들어, gNB(180a)는 다수의 컴포넌트 반송파를 WTRU(102a)에 송신할 수 있다(도시되지 않음). 이러한 컴포넌트 반송파들의 서브세트는 무면허 스펙트럼 상에 있을 수 있는 반면, 나머지 컴포넌트 반송파들은 면허 스펙트럼 상에 있을 수 있다. 실시예에서, gNB들(180a, 180b, 180c)은 CoMP(Coordinated Multi-Point) 기술을 구현할 수 있다. 예를 들어, WTRU(102a)는 gNB(180a) 및 gNB(180b)(및/또는 gNB(180c))로부터 조정된 송신물들을 수신할 수 있다.
WTRU들(102a, 102b, 102c)은 확장가능 뉴머롤로지(scalable numerology)와 연관된 송신들을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 예를 들어, OFDM 심볼 간격 및/또는 OFDM 부반송파 간격은 상이한 송신들, 상이한 셀들, 및/또는 무선 송신 스펙트럼의 상이한 부분들에 대해 변할 수 있다. WTRU들(102a, 102b, 102c)은 (예컨대, 변하는 수의 OFDM 심볼들 및/또는 지속적인(lasting) 변하는 절대 시간 길이들을 포함하는) 다양한 또는 확장가능 길이들의 서브프레임 또는 송신 시간 간격(transmission time interval, TTI)들을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다.
gNB들(180a, 180b, 180c)은 독립형 구성 및/또는 비독립형 구성에서 WTRU들(102a, 102b, 102c)과 통신하도록 구성될 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 (예컨대, eNodeB들(160a, 160b, 160c)과 같은) 다른 RAN들에 또한 액세스하지 않고 gNB들(180a, 180b, 180c)과 통신할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 이동성 앵커 포인트로서 gNB들(180a, 180b, 180c) 중 하나 이상을 이용할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 무면허 대역 내의 신호들을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 비독립형 구성에서, WTRU들(102a, 102b, 102c)은 예를 들어, eNode-B들(160a, 160b, 160c)과 같은 또 다른 RAN과 또한 통신하면서/그에 접속하면서 gNB들(180a, 180b, 180c)과 통신하면서/그에 접속할 수 있다. 예를 들어, WTRU들(102a, 102b, 102c)은 하나 이상의 gNB(180a, 180b, 180c) 및 하나 이상의 eNode-B(160a, 160b, 160c)와 실질적으로 동시에 통신하기 위해 DC 원리들을 구현할 수 있다. 비독립형 구성에서, eNode-B들(160a, 160b, 160c)은 WTRU들(102a, 102b, 102c)에 대한 이동성 앵커로서 역할을 할 수 있고, gNB들(180a, 180b, 180c)은 WTRU들(102a, 102b, 102c)을 서비스하기 위한 추가적인 커버리지 및/또는 처리량을 제공할 수 있다.
gNB들(180a, 180b, 180c) 각각은 특정 셀(도시되지 않음)과 연관될 수 있고, 무선 자원 관리 결정들, 핸드오버 결정들, UL 및/또는 DL에서의 사용자들의 스케줄링, 네트워크 슬라이싱의 지원, 이중 접속성, NR과 E-UTRA 사이의 연동, 사용자 평면 데이터의 사용자 평면 기능(User Plane Function, UPF)(184a, 184b)으로의 라우팅, 제어 평면 정보의 액세스 및 이동성 관리 기능(Access and Mobility Management Function, AMF)(182a, 182b)으로의 라우팅 등을 핸들링하도록 구성될 수 있다. 도 1d에 도시된 바와 같이, gNB들(180a, 180b, 180c)은 Xn 인터페이스를 통해 서로 통신할 수 있다.
도 1d에 도시된 CN(115)은 적어도 하나의 AMF(182a, 182b), 적어도 하나의 UPF(184a, 184b), 적어도 하나의 세션 관리 기능(Session Management Function, SMF)(183a, 183b), 및 가능하게는 데이터 네트워크(Data Network, DN)(185a, 185b)를 포함할 수 있다. 전술한 요소들 각각이 CN(115)의 일부로서 묘사되지만, 이들 요소들 중 임의의 것이 CN 운영자 이외의 엔티티에 의해 소유되고 그리고/또는 운영될 수 있다는 것이 이해될 것이다.
AMF(182a, 182b)는 N2 인터페이스를 통해 RAN(113) 내의 gNB들(180a, 180b, 180c) 중 하나 이상에 접속될 수 있고, 제어 노드로서 역할을 할 수 있다. 예를 들어, AMF(182a, 182b)는 WTRU들(102a, 102b, 102c)의 사용자들의 인증, 네트워크 슬라이싱(예컨대, 상이한 요건들을 갖는 상이한 PDU 세션들의 핸들링)에 대한 지원, 특정의 SMF(183a, 183b)의 선택, 등록 영역의 관리, NAS 시그널링의 종료, 이동성 관리 등을 담당할 수 있다. 네트워크 슬라이싱은 WTRU들(102a, 102b, 102c)에 의해 이용되는 서비스들의 유형들에 기초하여 WTRU들(102a, 102b, 102c)에 대한 CN 지원을 맞춤화하기 위해 AMF(182a, 182b)에 의해 사용될 수 있다. 예를 들어, URLLC(ultra-reliable low latency) 액세스에 의존하는 서비스들, eMBB(enhanced massive mobile broadband) 액세스에 의존하는 서비스들, 기계 유형 통신(machine type communication, MTC) 액세스에 대한 서비스들 등과 같은 상이한 사용 사례들에 대해 상이한 네트워크 슬라이스들이 확립될 수 있다. AMF(162)는 RAN(113)과, LTE, LTE-A, LTE-A Pro 및/또는 WiFi와 같은 비-3GPP 액세스 기술들과 같은 다른 무선 기술들을 채용하는 다른 RAN들(도시되지 않음) 사이에서 스위칭하기 위한 제어 평면 기능을 제공할 수 있다.
SMF(183a, 183b)는 N11 인터페이스를 통해 CN(115) 내의 AMF(182a, 182b)에 접속될 수 있다. SMF(183a, 183b)는 또한 N4 인터페이스를 통해 CN(115) 내의 UPF(184a, 184b)에 접속될 수 있다. SMF(183a, 183b)는 UPF(184a, 184b)를 선택 및 제어하고, UPF(184a, 184b)를 통한 트래픽의 라우팅을 구성할 수 있다. SMF(183a, 183b)는 UE IP 주소를 관리하고 할당하는 것, PDU 세션들을 관리하는 것, 정책 시행 및 QoS를 제어하는 것, 다운링크 데이터 통지들을 제공하는 것 등과 같은 다른 기능들을 수행할 수 있다. PDU 세션 유형은 IP 기반, 비-IP 기반, 이더넷 기반 등일 수 있다.
UPF(184a, 184b)는 WTRU들(102a, 102b, 102c)과 IP 인에이블드 디바이스들 사이의 통신을 용이하게 하기 위해, 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있는 N3 인터페이스를 통해 RAN(113) 내의 gNB들(180a, 180b, 180c) 중 하나 이상에 접속될 수 있다. UPF(184, 184b)는 패킷들을 라우팅 및 포워딩하는 것, 사용자 평면 정책들을 시행하는 것, 멀티-홈 PDU 세션들을 지원하는 것, 사용자 평면 QoS를 핸들링하는 것, 다운링크 패킷들을 버퍼링하는 것, 이동성 앵커링을 제공하는 것 등과 같은 다른 기능들을 수행할 수 있다.
CN(115)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(115)은 CN(115)과 PSTN(108) 사이의 인터페이스로서 역할을 하는 IP 게이트웨이(예컨대, IP 멀티미디어 서브시스템(IMS) 서버)를 포함할 수 있거나 그와 통신할 수 있다. 또한, CN(115)은 다른 서비스 제공자들에 의해 소유되고 그리고/또는 운영되는 다른 유선 및/또는 무선 네트워크들을 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 하나의 실시예에서, WTRU들(102a, 102b, 102c)은 UPF(184a, 184b)에 대한 N3 인터페이스 및 UPF(184a, 184b)와 로컬 데이터 네트워크(DN)(185a, 185b) 사이의 N6 인터페이스를 경유해 UPF(184a, 184b)를 통해 로컬 DN(185a, 185b)에 접속될 수 있다.
도 1a 내지 도 1d, 및 도 1a 내지 도 1d의 대응하는 설명의 관점에서, WTRU(102a 내지 102d), 기지국(114a, 114b), eNode-B(160a 내지 160c), MME(162), SGW(164), PGW(166), gNB(180a 내지 180c), AMF(182a, 182b), UPF(184a, 184b), SMF(183a, 183b), DN(185a, 185b) 및/또는 본 명세서에 설명된 임의의 다른 디바이스(들) 중 하나 이상과 관련하여 본 명세서에 설명된 기능들 중 하나 이상 또는 전부는 하나 이상의 에뮬레이션 디바이스(emulation device)들(도시되지 않음)에 의해 수행될 수 있다. 에뮬레이션 디바이스들은 본 명세서에 설명된 기능들 중 하나 이상 또는 전부를 에뮬레이션하도록 구성된 하나 이상의 디바이스일 수 있다. 예를 들어, 에뮬레이션 디바이스들은 다른 디바이스들을 테스트하고 그리고/또는 네트워크 및/또는 WTRU 기능들을 시뮬레이션하기 위해 사용될 수 있다.
에뮬레이션 디바이스들은 실험실 환경 및/또는 운영자 네트워크 환경에서 다른 디바이스들의 하나 이상의 테스트를 구현하도록 설계될 수 있다. 예를 들어, 하나 이상의 에뮬레이션 디바이스는 통신 네트워크 내의 다른 디바이스들을 테스트하기 위해 유선 및/또는 무선 통신 네트워크의 일부로서 완전히 또는 부분적으로 구현되고 그리고/또는 배치되면서 하나 이상의 또는 모든 기능들을 수행할 수 있다. 하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 일시적으로 구현/배치되면서 하나 이상의 또는 모든 기능들을 수행할 수 있다. 에뮬레이션 디바이스는 테스트를 위해 다른 디바이스에 직접 결합될 수 있고/있거나 OTA(over-the-air) 무선 통신들을 사용하여 테스트를 수행할 수 있다.
하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 구현/배치되지 않으면서 모든 기능들을 포함하는 하나 이상의 기능을 수행할 수 있다. 예를 들어, 에뮬레이션 디바이스들은 하나 이상의 컴포넌트의 테스트를 구현하기 위해 테스트 실험실 및/또는 배치되지 않은(예컨대, 테스트) 유선 및/또는 무선 통신 네트워크에서의 테스트 시나리오에서 이용될 수 있다. 하나 이상의 에뮬레이션 디바이스는 테스트 장비일 수 있다. RF 회로부(예컨대, 이는 하나 이상의 안테나를 포함할 수 있음)를 통한 직접 RF 결합 및/또는 무선 통신이 데이터를 송신하고 그리고/또는 수신하기 위해 에뮬레이션 디바이스들에 의해 사용될 수 있다.
본 출원은 도구들, 특징부들, 예들 또는 실시예들, 모델들, 접근법들 등을 포함하는 다양한 태양들을 설명한다. 이들 태양들 중 많은 것들이 구체적으로 설명되고, 적어도 개별적인 특성들을 보여주기 위해, 제한적인 것으로 들릴 수 있는 방식으로 종종 설명된다. 그러나, 이는 설명의 명확성을 위한 것이며, 그들 태양들의 응용 또는 범주를 제한하지 않는다. 실제로, 상이한 모든 태양들이 조합되고 상호교환되어 추가의 태양들을 제공할 수 있다. 더욱이, 태양들은 이전 출원들에 기술된 태양들과 또한 조합되고 상호교환될 수 있다.
본 출원에서 기술되고 고려되는 태양들은 많은 상이한 형태들로 구현될 수 있다. 본 명세서에서 기술되는 도 5 내지 도 8은 일부 실시예들을 제공할 수 있지만, 다른 실시예들이 고려된다. 도 5 내지 도 8의 논의는 구현예들의 범위를 제한하지 않는다. 태양들 중 적어도 하나는 일반적으로 비디오 인코딩 및 디코딩에 관한 것이고, 적어도 하나의 다른 태양은 일반적으로 생성되거나 인코딩된 비트스트림을 전송하는 것에 관한 것이다. 이들 및 다른 태양들은, 방법, 장치, 기술된 방법들 중 임의의 것에 따라 비디오 데이터를 인코딩 또는 디코딩하기 위한 명령어들이 저장된 컴퓨터 판독가능 저장 매체, 및/또는 기술된 방법들 중 임의의 것에 따라 생성된 비트스트림이 저장된 컴퓨터 판독가능 저장 매체로서 구현될 수 있다.
본 출원에서, "재구성된"및 "디코딩된"이라는 용어들은 상호 교환적으로 사용될 수 있으며, "픽셀" 및 "샘플"이라는 용어들은 상호 교환적으로 사용될 수 있고, "이미지", "픽처" 및 "프레임"이라는 용어들은 상호 교환적으로 사용될 수 있다.
다양한 방법들이 본 명세서에 기술되고, 각각의 방법은 기술된 방법을 달성하기 위한 하나 이상의 단계들 또는 동작들을 포함한다. 방법의 적절한 동작을 위해 단계들 또는 액션들의 특정 순서가 요구되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 사용은 수정되거나 조합될 수 있다. 추가로, "제1", "제2" 등과 같은 용어들은, 예를 들어, "제1 디코딩" 및 "제2 디코딩"과 같은 요소, 컴포넌트, 단계, 동작 등을 수정하기 위해 다양한 실시예들에서 사용될 수 있다. 그러한 용어들의 사용은, 구체적으로 요구되지 않는 한 수정된 동작들에 대한 순서화를 의미하지 않는다. 따라서, 이러한 예에서, 제1 디코딩은 제2 디코딩 전에 수행될 필요가 없고, 예를 들어, 제2 디코딩 전에, 그 동안, 또는 그와 중첩되는 기간에 발생할 수 있다.
본 출원에 기술된 다양한 방법들 및 다른 태양들은 도 2 및 도 3에 각각 도시된 바와 같이 비디오 인코더(200) 및 비디오 디코더(300)의 모듈들, 예를 들어, 사전 인코딩 프로세싱(201), 인트라 예측(260), 엔트로피 코딩(245), 및/또는 엔트로피 디코딩 모듈들(330), 인트라 예측(360), 사후 디코딩 프로세싱(385)을 수정할 수 있다(예를 들어, 그들을 수정하는 데 사용될 수 있음). 더욱이, 본 명세서에 개시된 주제는 VVC 또는 HEVC로 제한되지 않는 태양들을 제시하고, 표준으로 설명되든 또는 권고사항으로 설명되든, 기존에 있든 또는 미래에 개발되든, 예를 들어, 임의의 유형, 포맷 또는 버전의 비디오 코딩에, 그리고 (예를 들어, VVC 및 HEVC를 포함한) 임의의 그러한 표준들 및 권고사항들의 확장들에 적용될 수 있다. 달리 나타내지 않거나 기술적으로 배제되지 않는 한, 본 출원에 기술된 태양들은 개별적으로 또는 조합하여 사용될 수 있다.
예를 들어, 최소 값 범위 및 최대 값 범위(예를 들어, 0 내지 1, 0 내지 N 또는 0 내지 255), 표시들 또는 결정들에 대한 비트 값들, 디폴트 값들, ID 번호들(예를 들어, 적응 ID들의 경우) 등과 같은 다양한 수치 값들이 본 출원에 기술된 예들에서 사용된다. 이들 및 다른 특정 값들은 예들을 설명하기 위한 것이고, 기술된 태양들은 이들 특정 값들로 제한되지 않는다.
도 2는 예시적인 비디오 인코더를 도시하는 도면이다. 예시적인 인코더(200)의 변형들이 고려되지만, 인코더(200)는 모든 예상되는 변형들을 기술하지 않고 명확성을 위해 아래에서 기술된다.
인코딩되기 전에, 비디오 시퀀스는, 예를 들어, 입력 컬러 픽처에 컬러 변환을 적용하거나(예를 들어, RGB 4:4:4로부터 YCbCr 4:2:0으로의 변환), 또는 (예를 들어, 컬러 성분들 중 하나의 성분의 히스토그램 등화를 사용하여) 압축에 더 탄력적인 신호 분포를 얻기 위해 입력 픽처 컴포넌트들의 재맵핑(remapping)을 수행하는, 사전 인코딩 프로세싱(201)을 거칠 수 있다. 메타데이터가 사전-프로세싱과 연관되고 비트스트림에 첨부될 수 있다.
인코더(200)에서 픽처는 후술되는 바와 같이 인코더 요소들에 의해 인코딩된다. 인코딩될 픽처가 파티셔닝되고(202), 예를 들어, 코딩 유닛(CU)들의 유닛으로 프로세싱된다. 각각의 유닛은, 예를 들어 인트라 또는 인터 모드를 사용하여 인코딩된다. 유닛이 인트라 모드에서 인코딩될 때, 그것은 인트라 예측을 수행한다(260). 인터 모드에서는 모션 추정(275) 및 보상(270)이 수행된다. 인코더는 유닛을 인코딩하기 위해 인트라 모드 또는 인터 모드 중 어느 것을 사용할지를 결정하고(205), 예를 들어 예측 모드 플래그에 의해 인트라/인터 결정을 나타낸다. 예측 잔차들은, 예를 들어 원본 이미지 블록에서 예측된 블록을 감산함으로써(210) 계산된다.
이어서, 예측 잔차들은 변환되고(225) 양자화된다(230). 양자화된 변환 계수들뿐만 아니라 모션 벡터들 및 다른 신택스 요소들은 엔트로피 코딩되어(245) 비트스트림을 출력한다. 인코더는 변환을 스킵할 수 있고, 비변환된 잔차 신호에 직접 양자화를 적용할 수 있다. 인코더는 변환 및 양자화 모두를 스킵할 수 있으며, 즉, 잔차는 변환 또는 양자화 프로세스들의 적용 없이 직접 코딩된다.
인코더는 인코딩된 블록을 디코딩하여 추가 예측들을 위한 기준을 제공한다. 양자화된 변환 계수들은 예측 잔차들을 디코딩하기 위해 역양자화되고(240) 역변환된다(250). 디코딩된 예측 잔차들 및 예측된 블록을 조합하여(255) 이미지 블록이 재구성된다. 인루프(in-loop) 필터들(265)이, 예를 들어, 인코딩 아티팩트들을 감소시키기 위해 디블록킹(deblocking)/SAO(샘플 적응적 오프셋) 필터링을 수행하도록 재구성된 픽처에 적용된다. 필터링된 이미지는 기준 픽처 버퍼(280)에 저장된다.
도 3은 비디오 디코더의 일례를 도시하는 도면이다. 예시적인 디코더(300)에서, 비트스트림은 후술되는 바와 같이 디코더 요소들에 의해 디코딩된다. 비디오 디코더(300)는 대체적으로 도 2에 기술된 바와 같이 인코딩 패스에 상반적인 디코딩 패스를 수행한다. 인코더(200)는 또한 대체적으로 비디오 데이터를 인코딩하는 것의 일부로서 비디오 디코딩을 수행할 수 있다. 예를 들어, 인코더(200)는 본 명세서에 제시된 비디오 디코딩 단계들 중 하나 이상을 수행할 수 있다. 인코더는, 예를 들어, 다음 중 하나 이상에 대하여 디코더와의 동기화를 유지하기 위해, 디코딩된 이미지들을 재구성한다: 기준 픽처들, 엔트로피 코딩 콘텍스트들, 및 다른 디코더 관련 상태 변수들.
특히, 디코더의 입력은 비디오 인코더(200)에 의해 생성될 수 있는 비디오 비트스트림을 포함한다. 비트스트림은 변환 계수들, 모션 벡터들, 및 다른 코딩된 정보를 획득하기 위해 먼저 엔트로피 디코딩된다(330). 픽처 파티션 정보는 픽처가 어떻게 파티셔닝되는지를 나타낸다. 따라서, 디코더는 디코딩된 픽처 파티셔닝 정보에 따라 픽처를 분할할 수 있다(335). 변환 계수들은 예측 잔차들을 디코딩하기 위해 역양자화되고(340) 역변환된다(350). 디코딩된 예측 잔차들 및 예측된 블록을 조합하여(355) 이미지 블록이 재구성된다. 예측된 블록은 인트라 예측(360) 또는 모션 보상된 예측(즉, 인터 예측)(375)으로부터 획득될 수 있다(370). 재구성된 이미지에 인루프 필터들(365)이 적용된다. 필터링된 이미지는 기준 픽처 버퍼(380)에 저장된다.
디코딩된 픽처는 사후 디코딩 프로세싱(385), 예를 들어, 사전 인코딩 프로세싱(201)에서 수행된 재맵핑 프로세스의 역을 수행하는 역 재맵핑 또는 역 컬러 변환(예컨대, YCbCr 4:2:0으로부터 RGB 4:4:4로의 변환)을 추가로 거칠 수 있다. 사후 디코딩 프로세싱은 사전 인코딩 프로세싱에서 도출되고 비트스트림에서 시그널링된 메타데이터를 사용할 수 있다.
도 4는 본 명세서에 기술된 다양한 태양들 및 실시예들이 구현될 수 있는 시스템의 일례를 도시하는 도면이다. 시스템(400)은 후술되는 다양한 컴포넌트들을 포함하는 디바이스로서 구현될 수 있고, 본 문헌에 기술된 태양들 중 하나 이상을 수행하도록 구성된다. 그러한 디바이스들의 예들은, 다양한 전자 디바이스들, 예컨대 개인용 컴퓨터, 랩톱 컴퓨터, 스마트폰, 태블릿 컴퓨터, 디지털 멀티미디어 셋톱박스, 디지털 TV 수신기, 개인용 비디오 녹화 시스템, 커넥티드 가전, 및 서버를 포함하지만, 이들로 제한되지 않는다. 시스템(400)의 요소들은 단일 집적 회로(IC), 다수의 IC들, 및/또는 별개의 컴포넌트들에서, 단독으로 또는 조합되어 구현될 수 있다. 예를 들어, 적어도 하나의 예에서, 시스템(400)의 프로세싱 및 인코더/디코더 요소들은 다수의 IC들 및/또는 별개의 컴포넌트들에 걸쳐 분산된다. 다양한 실시예들에서, 시스템(400)은 예를 들어 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트들을 통해 하나 이상의 다른 시스템들, 또는 다른 전자 디바이스들에 통신가능하게 결합된다. 다양한 실시예들에서, 시스템(400)은 본 문헌에 기술된 태양들 중 하나 이상을 구현하도록 구성된다.
시스템(400)은, 예를 들어 본 문헌에 기술된 다양한 태양들을 구현하기 위해 그 내부에 로딩된 명령어들을 실행하도록 구성된 적어도 하나의 프로세서(410)를 포함한다. 프로세서(410)는 내장된 메모리, 입력 출력 인터페이스, 및 당업계에 알려진 바와 같은 다양한 다른 회로부들을 포함할 수 있다. 시스템(400)은 적어도 하나의 메모리(420)(예컨대, 휘발성 메모리 디바이스, 및/또는 비휘발성 메모리 디바이스)를 포함한다. 시스템(400)은 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 판독 전용 메모리(ROM), 프로그래밍가능 판독 전용 메모리(Programmable Read-Only Memory, PROM), 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 플래시, 자기 디스크 드라이브 및/또는 광학 디스크 드라이브를 포함하지만 이에 제한되지 않는 비휘발성 메모리 및/또는 휘발성 메모리를 포함할 수 있는 저장 디바이스(440)를 포함한다. 저장 디바이스(440)는 비제한적인 예들로서, 내부 저장 디바이스, 부착된 저장 디바이스(분리가능한 저장 디바이스 및 분리가능하지 않은 저장 디바이스를 포함함), 및/또는 네트워크 액세스가능한 저장 디바이스를 포함할 수 있다.
시스템(400)은, 예를 들어, 인코딩된 비디오 또는 디코딩된 비디오를 제공하기 위해 데이터를 프로세싱하도록 구성된 인코더/디코더 모듈(430)을 포함하고, 인코더/디코더 모듈(430)은 자체 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(430)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 나타낸다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 2개 모두를 포함할 수 있다. 또한, 인코더/디코더 모듈(430)은 시스템(400)의 별개의 요소로서 구현될 수 있거나, 또는 당업자에게 알려진 바와 같이 하드웨어와 소프트웨어의 조합으로서 프로세서(410) 내에 통합될 수 있다.
본 문헌에서 기술된 다양한 태양들을 수행하기 위해 프로세서(410) 또는 인코더/디코더(430)에 로딩될 프로그램 코드는 저장 디바이스(440)에 저장될 수 있고 후속적으로 프로세서(410)에 의한 실행을 위해 메모리(420)에 로딩될 수 있다. 다양한 실시예들에 따르면, 프로세서(410), 메모리(420), 저장 디바이스(440), 및 인코더/디코더 모듈(430) 중 하나 이상은 본 문헌에 기술된 프로세스들의 수행 동안 다양한 항목들 중 하나 이상을 저장할 수 있다. 이러한 저장된 항목들은 입력 비디오, 디코딩된 비디오 또는 디코딩된 비디오의 일부들, 비트스트림, 행렬들, 변수들, 및 식들, 공식들, 연산들 및 연산 로직의 프로세싱으로부터의 중간 또는 최종 결과들을 포함할 수 있지만, 이들로 제한되지 않는다.
일부 실시예들에서, 프로세서(410) 및/또는 인코더/디코더 모듈(430) 내부의 메모리는 명령어들을 저장하고, 인코딩 또는 디코딩 동안 필요한 프로세싱을 위한 작업 메모리를 제공하는 데 사용된다. 그러나, 다른 실시예들에서, 프로세싱 디바이스 외부의 메모리(예를 들어, 프로세싱 디바이스는 프로세서(410) 또는 인코더/디코더 모듈(430) 중 어느 하나일 수 있음)는 이러한 기능들 중 하나 이상에 사용된다. 외부 메모리는 메모리(420) 및/또는 저장 디바이스(440), 예를 들어, 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 일부 실시예들에서, 외부 비휘발성 플래시 메모리는 예를 들어, 텔레비전의 운영 체제를 저장하는 데 사용된다. 적어도 하나의 실시예에서, RAM과 같은 고속 외부 동적 휘발성 메모리는, 예를 들어, MPEG-2(MPEG는 Moving Picture Experts Group을 지칭하고, MPEG-2는 또한 ISO/IEC 13818로도 지칭되고, 13818-1은 또한 H.222로도 알려져 있고, 13818-2는 또한 H.262로도 알려져 있음), HEVC(HEVC는 High Efficiency Video Coding을 지칭하고, H.265 및 MPEG-H Part 2로도 알려져 있음), 또는 VVC(Versatile Video Coding, JVET(Joint Video Experts Team)에서 개발 중인 새로운 표준)와 같은 비디오 코딩 및 디코딩 동작들을 위한 작업 메모리로서 사용된다.
시스템(400)의 요소들에 대한 입력은 블록(445)에 나타낸 바와 같은 다양한 입력 디바이스들을 통해 제공될 수 있다. 그러한 입력 디바이스들은, (i) 예를 들어 브로드캐스터(broadcaster)에 의해 무선으로 송신된 무선 주파수(RF) 신호를 수신하는 RF 부분, (ii) 컴포넌트(COMP) 입력 단자(또는 COMP 입력 단자의 세트), (iii) 범용 직렬 버스(USB) 입력 단자, 및/또는 (iv) 고화질 멀티미디어 인터페이스(High Definition Multimedia Interface, HDMI) 입력 단자를 포함하지만, 이들로 제한되지 않는다. 도 4에 도시되지 않은 다른 예들은 복합 비디오(composite video)를 포함한다.
다양한 실시예들에서, 블록(445)의 입력 디바이스들은 당업계에 알려진 바와 같은 연관된 각자의 입력 프로세싱 요소들을 갖는다. 예를 들어, RF 부분은 (i) 원하는 주파수를 선택하고(또한 신호를 선택하거나, 또는 주파수들의 대역에 신호를 대역 제한하는 것으로 지칭됨), (ii) 선택된 신호를 하향변환하고, (iii) 소정 실시예들에서 (예를 들어) 채널로 지칭될 수 있는 신호 주파수 대역을 선택하기 위해 주파수들의 더 좁은 대역으로 다시 대역 제한하고, (iv) 하향변환된 그리고 대역 제한된 신호를 복조하고, (v) 오류 보정을 수행하고, (vi) 데이터 패킷들의 원하는 스트림을 선택하도록 디멀티플렉싱하기에 적합한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 부분은 이러한 기능들을 수행하기 위한 하나 이상의 요소들, 예를 들어 주파수 선택기들, 신호 선택기들, 대역-제한기들, 채널 선택기들, 필터들, 하향변환기들, 복조기들, 오류 보정기들, 및 역다중화기들을 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 근거리 기저대역 주파수)로 또는 기저대역으로 하향변환하는 것을 포함하여 이러한 다양한 기능들을 수행하는 튜너를 포함할 수 있다. 하나의 셋톱 박스 실시예에서, RF 부분 및 그의 연관된 입력 프로세싱 요소는 유선(예를 들어, 케이블) 매체를 통해 전송된 RF 신호를 수신하고, 필터링하고, 하향변환하고 다시 원하는 주파수 대역으로 필터링함으로써 주파수 선택을 수행한다. 다양한 실시예들은 전술한(및 다른) 요소들의 순서를 재배열하고, 이들 요소들 중 일부를 제거하고/하거나 유사하거나 상이한 기능들을 수행하는 다른 요소들을 추가한다. 요소를 추가하는 것은, 예를 들어, 증폭기들 및 아날로그-디지털 변환기를 삽입하는 것과 같이, 기존 요소들 사이에 요소들을 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 부분은 안테나를 포함한다.
또한, USB 및/또는 HDMI 단자들은 시스템(400)을 USB 및/또는 HDMI 접속부들을 통해 다른 전자 디바이스들에 접속하기 위한 각자의 인터페이스 프로세서들을 포함할 수 있다. 입력 프로세싱, 예를 들어, 리드 솔로몬(Reed-Solomon) 에러 보정의 다양한 태양들이, 예를 들어, 필요에 따라, 별개의 입력 프로세싱 IC 내에서 또는 프로세서(410) 내에서 구현될 수 있다는 것이 이해되어야 한다. 유사하게, USB 또는 HDMI 인터페이스 프로세싱의 태양들이, 필요에 따라, 별개의 인터페이스 IC 내에서 또는 프로세서(410) 내에서 구현될 수 있다. 복조, 에러 정정, 및 역다중화된 스트림은, 예를 들어, 출력 디바이스 상에서의 프리젠테이션을 위해 필요에 따라 데이터 스트림을 프로세싱하도록 메모리 및 저장 요소들과 조합하여 동작하는 프로세서(410), 및 인코더/디코더(430)를 포함한 다양한 프로세싱 요소들에 제공된다.
시스템(400)의 다양한 요소들이 통합된 하우징 내에 제공될 수 있다. 통합된 하우징 내에서, 다양한 요소들은 적합한 접속 배열(425), 예를 들어, 인터-IC(I2C) 버스, 배선, 및 인쇄 회로 기판을 포함하는, 당업계에 알려진 바와 같은 내부 버스를 사용하여 상호접속되고 그들 사이에서 데이터를 전송할 수 있다.
시스템(400)은 통신 채널(460)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(450)를 포함한다. 통신 인터페이스(450)는 통신 채널(460)을 통해 데이터를 전송하도록 그리고 수신하도록 구성된 송수신기를 포함할 수 있지만, 이에 제한되지 않는다. 통신 인터페이스(450)는 모뎀 또는 네트워크 카드를 포함할 수 있지만 이에 제한되지 않으며, 통신 채널(460)은 예를 들어 유선 및/또는 무선 매체 내에서 구현될 수 있다.
데이터는, 다양한 실시예들에서, Wi-Fi 네트워크, 예를 들어 IEEE 802.11(IEEE는 전기 전자 기술자 협회(Institute of Electrical and Electronics Engineers)를 지칭함)과 같은 무선 네트워크를 사용하여, 시스템(400)에 스트리밍되거나 또는 달리 제공된다. 이들 실시예들의 Wi-Fi 신호는 Wi-Fi 통신들에 대해 적응된 통신 채널(460) 및 통신 인터페이스(450)를 통해 수신된다. 이들 실시예들의 통신 채널(460)은 전형적으로, 스트리밍 응용들 및 다른 오버-더-탑(over-the-top) 통신을 허용하기 위한 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 접속된다. 다른 실시예들은 입력 블록(445)의 HDMI 접속을 통해 데이터를 전달하는 셋톱 박스를 사용하여 스트리밍된 데이터를 시스템(400)에 제공한다. 또 다른 실시예들은 입력 블록(445)의 RF 접속을 사용하여 스트리밍된 데이터를 시스템(400)에 제공한다. 전술한 바와 같이, 다양한 실시예들은 비-스트리밍 방식으로 데이터를 제공한다. 또한, 다양한 실시예들은 Wi-Fi 이외의 무선 네트워크들, 예를 들어 셀룰러 네트워크 또는 블루투스 네트워크를 사용한다.
시스템(400)은 디스플레이(475), 스피커들(485), 및 다른 주변 디바이스들(495)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다양한 실시예들의 디스플레이(475)는, 예를 들어, 터치스크린 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 커브드(curved) 디스플레이, 및/또는 폴더블(foldable) 디스플레이 중 하나 이상을 포함한다. 디스플레이(475)는 텔레비전, 태블릿, 랩톱, 휴대폰(모바일 폰), 또는 다른 디바이스를 위한 것일 수 있다. 디스플레이(475)는 또한 (예를 들어, 스마트 폰에서와 같이) 다른 컴포넌트들과 통합될 수도 있고, 별개일 수도 있다(예를 들어, 랩톱을 위한 외부 모니터). 실시예들의 다양한 예들에서, 다른 주변 디바이스들(495)은 독립형 디지털 비디오 디스크(또는 디지털 다기능 디스크)(두 용어들 모두에 대해, DVR), 디스크 플레이어, 스테레오 시스템 및/또는 조명 시스템 중 하나 이상을 포함한다. 다양한 실시예들은 시스템(400)의 출력에 기초하여 기능을 제공하는 하나 이상의 주변 디바이스들(495)을 사용한다. 예를 들어, 디스크 플레이어는 시스템(400)의 출력을 재생하는 기능을 수행한다.
다양한 실시예들에서, 제어 신호들은, AV.Link, 소비자 전자제품 제어(Consumer Electronics Control, CEC)와 같은 시그널링, 또는 사용자 개입이 있거나 또는 개입 없이 디바이스 대 디바이스 제어를 가능하게 하는 다른 통신 프로토콜들을 사용하여 시스템(400)과 디스플레이(475), 스피커들(485), 또는 다른 주변 디바이스들(495) 사이에서 통신된다. 출력 디바이스들은 각자의 인터페이스들(470, 480, 490)을 통한 전용 접속들을 통해 시스템(400)에 통신가능하게 결합될 수 있다. 대안적으로, 출력 디바이스들은 통신 인터페이스(450)를 통해 통신 채널(460)을 사용하여 시스템(400)에 접속될 수 있다. 디스플레이(475) 및 스피커들(485)은 예를 들어, 텔레비전과 같은 전자 디바이스에서 시스템(400)의 다른 컴포넌트들과 단일 유닛으로 통합될 수 있다. 다양한 실시예들에서, 디스플레이 인터페이스(470)는, 예를 들어 타이밍 제어기(T Con) 칩과 같은 디스플레이 드라이버를 포함한다.
디스플레이(475) 및 스피커들(485)은 대안적으로, 예를 들어, 입력(445)의 RF 부분이 별개의 셋톱 박스의 일부인 경우, 다른 컴포넌트들 중 하나 이상과 별개일 수 있다. 디스플레이(475) 및 스피커들(485)이 외부 컴포넌트들인 다양한 실시예들에서, 출력 신호는 예를 들어 HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 접속들을 통해 제공될 수 있다.
실시예들은 프로세서(410)에 의해 구현되는 컴퓨터 소프트웨어에 의해 또는 하드웨어에 의해, 또는 하드웨어와 소프트웨어의 조합에 의해 수행될 수 있다. 비제한적인 예로서, 실시예들은 하나 이상의 집적 회로들에 의해 구현될 수 있다. 메모리(420)는 기술적 환경에 적절한 임의의 유형일 수 있고, 비제한적인 예들로서, 광학 메모리 디바이스들, 자기 메모리 디바이스들, 반도체 기반 메모리 디바이스들, 고정식 메모리 및 착탈식 메모리와 같은 임의의 적절한 데이터 저장 기술을 사용하여 구현될 수 있다. 프로세서(410)는 기술적 환경에 적합한 임의의 유형일 수 있고, 비제한적인 예들로서, 마이크로프로세서들, 범용 컴퓨터들, 특수 목적 컴퓨터들 및 멀티 코어 아키텍처 기반 프로세서들 중 하나 이상을 포함할 수 있다.
다양한 구현예들이 디코딩을 수반한다. 본 출원에서 사용된 바와 같은 "디코딩"은, 예를 들어, 디스플레이에 적합한 최종 출력을 생성하기 위해 수신된 인코딩된 시퀀스 상에서 수행되는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은 디코더에 의해 전형적으로 수행되는 프로세스들 중 하나 이상의 프로세스들, 예를 들어, 엔트로피 디코딩, 역양자화, 역변환, 및 차동 디코딩을 포함할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은 또한, 또는 대안적으로, 본 출원에 기술된 다양한 구현예들의 디코더에 의해 수행되는 프로세스들, 예를 들어, 포인트 클라우드 컴포넌트들과 연관된 요소들, 속성들 및 메타데이터를 나타내는 (예를 들어, 본 명세서에 설명된 바와 같은) 신호들을 수신하고, 디코딩하고, 해석하는 것; 매체 프리젠테이션 디스크립터(MPD) 내에서 포인트 클라우드 스트림들 및 그들의 컴포넌트 서브 스트림들을 식별하는 것; 포인트 클라우드 및/또는 그의 컴포넌트들의 버전들을 식별하는 것; MPD를 디코딩하여, 기하구조 기반 포인트 클라우드 압축(G-PCC) 콘텐츠에서 G-PCC 컴포넌트들을 식별하기 위해 메인 적응 세트 및 다른 적응 세트들을 식별하는 것; MPD를 디코딩하여, 적응 세트 또는 표현에서 포인트 클라우드 컴포넌트의 유형을 식별하는 것; MPD를 디코딩하여, 하나 이상의 사전선택들을 식별하는 것; MPD를 디코딩하여, G-PCC 매체의 하나 이상의 버전들을 식별하는 것; MPD를 디코딩하여, 하나 이상의 G-PCC 타일 그룹들을 식별하는 것; MPD를 디코딩하여, 적응 세트에서 G-PCC 컴포넌트에 대한 하나 이상의 타일 ID들을 식별하는 것; MPD를 디코딩하여, 공간 영역들의 하나 이상의 특성들 및 영역들과 G-PCC 타일들 사이의 맵핑들, 공간 영역들의 특성들 및 영역들과 G-PCC 컴포넌트들의 대응하는 적응 세트들 사이의 맵핑들, 및/또는 공간 영역과 G-PCC 컴포넌트들의 대응하는 적응 세트들 사이의 맵핑을 식별하는 것; MPD를 디코딩하여, 동적 공간 영역들에 대한 시한 메타데이터 트랙을 식별하는 것; 등을 포함한다.
추가의 실시예들로서, 하나의 예에서 디코딩은 엔트로피 디코딩을 지칭할 수 있고, 다른 실시예에서 디코딩은 차동 디코딩을 지칭할 수 있고, 또 다른 실시예에서 디코딩은 엔트로피 디코딩과 차동 디코딩의 조합을 지칭할 수 있다. 어구 "디코딩 프로세스"가 동작들의 서브세트를 구체적으로 나타내기 위한 것인지, 또는 대체적으로 더 광의의 디코딩 프로세스를 나타내기 위한 것인지 여부는 특정 설명들의 맥락에 기초하여 명확할 것이며, 당업자에 의해 잘 이해될 것으로 여겨진다.
다양한 구현예들이 인코딩을 수반할 수 있다. 디코딩에 관한 상기의 논의와 유사한 방식으로, 본 출원에서 사용된 바와 같은 인코딩은 인코딩된 비트스트림을 생성하기 위해, 예를 들어, 입력 비디오 시퀀스 상에서 수행되는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 이러한 프로세스들은 전형적으로 인코더에 의해 수행되는 프로세스들, 예를 들어, 파티셔닝, 차동 인코딩, 변환, 양자화, 및 엔트로피 인코딩 중 하나 이상을 포함한다. 다양한 실시예들에서, 그러한 프로세스들은 또한, 또는 대안적으로, 본 출원에 기술된 다양한 구현예들의 인코더에 의해 수행되는 프로세스들, 예를 들어, 포인트 클라우드 컴포넌트들과 연관된 요소들, 속성들 및 메타데이터를 나타내는 (예를 들어, 본 명세서에 설명된 바와 같은) 신호들을 생성하고, 인코딩하고, 전송하는 것; MPD를 인코딩하여, 포인트 클라우드 스트림들 및 그들의 컴포넌트 서브 스트림들을 나타내는 것; MPD를 인코딩하여, 기하구조 기반 포인트 클라우드 압축(G-PCC) 콘텐츠에서 G-PCC 컴포넌트들의 식별을 지원하기 위해 메인 적응 세트 및 다른 적응 세트들을 나타내는 것; MPD를 인코딩하여, 적응 세트 또는 표현에서 포인트 클라우드 컴포넌트의 유형의 식별을 지원하는 것; MPD를 인코딩하여, 하나 이상의 사전선택들을 식별하는 것; MPD를 인코딩하여, G-PCC 매체의 하나 이상의 버전들의 식별을 지원하는 것; MPD를 인코딩하여, 하나 이상의 G-PCC 타일 그룹들의 식별을 지원하는 것; MPD를 인코딩하여, 적응 세트에서 G-PCC 컴포넌트에 대한 하나 이상의 타일 ID들의 식별을 지원하는 것; MPD를 인코딩하여, 공간 영역들의 하나 이상의 특성들 및 영역들과 G-PCC 타일들 사이의 맵핑들, 공간 영역들의 특성들 및 영역들과 G-PCC 컴포넌트들의 대응하는 적응 세트들 사이의 맵핑들, 및/또는 공간 영역과 G-PCC 컴포넌트들의 대응하는 적응 세트들 사이의 맵핑의 식별을 지원하는 것; MPD를 디코딩하여, 동적 공간 영역들에 대한 시한 메타데이터 트랙을 식별하는 것; 등을 포함한다.
추가의 예들로서, 하나의 실시예에서 인코딩은 엔트로피 인코딩을 지칭할 수 있고, 다른 실시예에서 인코딩은 차동 인코딩을 지칭할 수 있고, 또 다른 실시예에서 인코딩은 차동 인코딩 및 엔트로피 인코딩의 조합을 지칭할 수 있다. 어구 "인코딩 프로세스"가 동작들의 서브세트를 구체적으로 나타내기 위한 것인지, 또는 대체적으로 더 광의의 인코딩 프로세스를 나타내기 위한 것인지 여부는 특정 설명들의 맥락에 기초하여 명확할 것이며, 당업자에 의해 잘 이해될 것으로 여겨진다.
표 1 내지 표 23에 나타내지고 그렇지 않으면 본 명세서에 제시된 논의 또는 도면들에 나타내질 수 있는 신택스 요소들과 같은, 본 명세서에 사용된 바와 같은 신택스 요소들은 설명적인 용어들이라는 것에 유의한다. 이와 같이, 이들은 다른 신택스 요소 명칭들의 사용을 배제하지 않는다.
도면이 흐름도로서 제시될 때, 그것은 또한 대응하는 장치의 블록도를 제공한다는 것을 이해해야 한다. 유사하게, 도면이 블록도로서 제시될 때, 그것은 또한 대응하는 방법/프로세스의 흐름도를 제공한다는 것을 이해해야 한다.
인코딩 프로세스 동안, 계산 복잡성의 제약들을 종종 고려해 볼 때, 레이트와 왜곡 사이의 균형 또는 트레이드 오프(trade-off)가 일반적으로 고려된다. 레이트 왜곡 최적화는 일반적으로 레이트와 왜곡의 가중 합인 레이트 왜곡 함수를 최소화하는 것으로 공식화된다. 레이트 왜곡 최적화 문제를 해결하기 위한 상이한 접근법들이 있다. 예를 들어, 접근법들은, 코딩 및 디코딩 후 재구성된 신호의 코딩 비용 및 관련된 왜곡의 완전한 평가를 이용한, 모든 고려된 모드들 또는 코딩 파라미터들 값들을 포함하는 모든 인코딩 옵션들의 광범위한 테스트에 기초할 수 있다. 특히 재구성된 것이 아니라, 예측 또는 예측 잔차 신호에 기초한 근사화된 왜곡의 계산을 이용하여, 인코딩 복잡성을 줄이기 위해 더 빠른 접근법들이 사용될 수 있다. 예를 들어, 가능한 인코딩 옵션들 중 일부에 대해 근사화된 왜곡을, 그리고 다른 인코딩 옵션들에 대해 완전한 왜곡을 사용함으로써, 이들 2개의 접근법들의 혼합이 사용될 수 있다. 다른 접근법들은 가능한 인코딩 옵션들의 서브세트를 평가할 수 있다. 보다 일반적으로, 많은 접근법들은 최적화를 수행하기 위해 다양한 기술들 중 임의의 기술을 사용하지만, 최적화가 반드시 코딩 비용과 관련된 왜곡 둘 모두에 대한 완전한 평가이지는 않다.
본 명세서에 기술된 구현예들 및 태양들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수 있다. 구현예의 단일 형태의 맥락에서 논의된다 하더라도(예를 들어, 방법으로서만 논의됨), 논의된 특징들의 구현예는 다른 형태들(예를 들어, 장치 또는 프로그램)에서 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 예를 들어, 방법들은 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 논리 디바이스를 포함하는, 일반적으로 프로세싱 디바이스들을 지칭하는 프로세서에서 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 휴대폰들, 휴대용/개인 휴대 정보 단말기들(PDA들), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.
"하나의 실시예", "일 실시예", "일례", "하나의 구현예"또는 "일 구현예"에 대한 언급은 물론 이들의 다른 변형예들은, 실시예와 관련하여 기술된 특정 특징, 구조, 특성 등이 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, "하나의 실시예에서", "일 실시예에서", "일례에서", "하나의 구현예에서" 또는 "일 구현예에서"라는 어구의 출현뿐만 아니라, 본 출원 전반에 걸쳐 다양한 곳들에 나타나는 임의의 다른 변형들이 반드시 모두 동일한 실시예 또는 예를 지칭하는 것은 아니다.
또한, 본 출원은 다양한 정보들을 "결정하는 것"을 지칭할 수 있다. 정보를 결정하는 것은, 예를 들어 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 메모리로부터 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 획득하는 것은 수신하는 것, 취출하는 것, 구성하는 것, 생성하는 것, 및/또는 결정하는 것을 포함할 수 있다.
또한, 본 출원은 다양한 정보들에 "액세스하는 것"을 지칭할 수 있다. 정보에 액세스하는 것은, 예를 들어 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 이동하는 것, 정보를 복사하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.
또한, 본 출원은 다양한 정보들을 "수신하는 것"을 지칭할 수 있다. 수신하는 것은 "액세스하는 것"과 마찬가지로 광의의 용어인 것으로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것, 또는 (예를 들어, 메모리로부터) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 또한, "수신하는 것"은 전형적으로, 예를 들어 정보를 저장하는 동작, 정보를 프로세싱하는 동작, 정보를 전송하는 동작, 정보를 이동하는 동작, 정보를 복사하는 동작, 정보를 소거하는 동작, 정보를 계산하는 동작, 정보를 결정하는 동작, 정보를 예측하는 동작, 또는 정보를 추정하는 동작 동안 어떤 방식으로든 수반된다.
예를 들어 다음의 "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우들에서 "/", "및/또는", 및 "적어도 하나" 중 임의의 것의 사용은 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 옵션들(A 및 B) 둘 모두의 선택을 포함하도록 의도됨을 이해해야 한다. 또 다른 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나"의 경우들에서, 이러한 어구는 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 제3 열거된 옵션(C) 단독의 선택, 또는 제1 및 제2 열거된 옵션들(A 및 B) 단독의 선택, 또는 제1 및 제3 열거된 옵션들(A 및 C) 단독의 선택, 또는 제2 및 제3 열거된 옵션들(B 및 C) 단독의 선택, 또는 3개의 모든 옵션들(A, B 및 C)의 선택을 포함하도록 의도된다. 이는, 본 명세서에 기술된 바와 같은 많은 항목들에 대해, 본 명세서 및 관련 분야의 당업자에게 명백한 바와 같이 확장될 수 있다.
또한, 본 명세서에 사용된 바와 같이, 용어 "신호"는 특히 대응하는 디코더에게 무언가를 나타내는 것을 지칭한다. 예를 들어, 일부 실시예들에서, 인코더는 (예컨대, 디코더로) MPD, 적응 세트, 표현, 사전선택, G-PCC 컴포넌트들, 디스크립터들 중에서 특히, G-PCCComponent 디스크립터, G-PCC 디스크립터 또는 필수 속성 디스크립터, 보충 속성 디스크립터, G-PCC 타일 인벤토리 디스크립터, G-PCC 정적 공간 영역 디스크립터, GPCCTileId 디스크립터, GPCC3DRegionID 디스크립터, 요소들 및 속성들, 메타데이터, 스키마(schema)들 등(예를 들어, 표 1 내지 표 23을 포함하여, 본 명세서에 개시된 바와 같음)을 시그널링한다. 이러한 방식으로, 일 실시예에서, 동일한 파라미터가 인코더 측 및 디코더 측 둘 모두에서 사용될 수 있다. 따라서, 예를 들어, 인코더는, 디코더가 동일한 특정 파라미터를 사용할 수 있도록 특정 파라미터를 디코더로 송신(명시적 시그널링)할 수 있다. 반대로, 디코더가 이미 특정 파라미터뿐만 아니라 다른 것들을 갖는 경우, 시그널링은, 단순히 디코더가 특정 파라미터를 알고 선택하게 할 수 있도록, 송신 없이 사용될 수 있다(암시적 시그널링). 임의의 실제 기능들의 송신을 회피함으로써, 다양한 실시예들에서 비트 절약이 실현된다. 시그널링은 다양한 방식들로 달성될 수 있음을 이해해야 한다. 예를 들어, 하나 이상의 신택스 요소들, 플래그들 등이 다양한 실시예들에서 대응하는 디코더에 정보를 시그널링하는 데 사용된다. 선행하는 것은 단어 "시그널"의 동사 형태와 관련되지만, 단어 "신호"는 명사로서 본 명세서에서 사용될 수 있다.
당업자에게 명백한 바와 같이, 구현예들은, 예를 들어 저장되거나 송신될 수 있는 정보를 전달하도록 포맷화된 다양한 신호들을 생성할 수 있다. 예를 들어, 정보는 방법을 수행하기 위한 명령어들, 또는 기술된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 비트스트림을 전달하도록 포맷화될 수 있다. 그러한 신호는, 예를 들어, 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷화될 수 있다. 포맷화는, 예를 들어, 데이터 스트림을 인코딩하는 것, 및 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.
3D 포인트 클라우드들은 몰입형 매체들을 표현할 수 있다(예컨대, 이들을 표현하는 데 사용될 수 있다). 포인트 클라우드는 3차원(3D) 공간에 표현되는 포인트들의 세트를 포함할 수 있다. 예들에서, 포인트(예컨대, 각각의 포인트)는 포인트의 위치 및/또는 하나 이상의 속성들(예컨대, 포인트 컬러, 투명도, 획득 시간, 레이저의 반사율, 재료 속성 등)을 나타내는 하나 이상의 좌표들과 연관될 수 있다. 포인트 클라우드들은, 예를 들어, 하나 이상의 카메라들, 깊이 센서들, 및/또는 광 검출 및 레인징(light detection and ranging, LiDAR) 레이저 스캐너들을 사용하여 캡처되거나 또는 배치될 수 있다. 포인트 클라우드들은 복수의 포인트들을 포함할 수 있다. 예들에서, 포인트(예컨대, 각각의 포인트)는 3D 공간에서 맵핑되는 한 세트의 좌표들(예를 들어, x, y, z 좌표들)로 표현될 수 있다. 객체의 샘플링에 기초하여 포인트가 생성될 수 있다. 예들에서, 포인트 클라우드 내의 포인트들의 수는 수백만 또는 수십억 정도일 수 있다. 포인트 클라우드는 하나 이상의 객체들 및/또는 장면들을 재구성하는 데 사용될 수 있다. 포인트 클라우드들은, 예를 들어, 포인트 클라우드 데이터를 저장하고/하거나 송신하도록(예컨대, 효율적으로 저장하고/하거나 송신하도록) 표현되고/되거나 압축될 수 있다. 포인트 클라우드 압축은 포인트 클라우드의 기하구조 좌표들 및/또는 속성들의 손실 및/또는 무손실 코딩(예컨대, 인코딩 또는 디코딩)을 지원할 수 있다. 포인트 클라우드들은 다양한 애플리케이션들(예컨대, 텔레 프레젠스(tele-presence), 가상 현실(virtual reality, VR), 및/또는 대규모 동적 3D 맵들)을 지원하도록 배치될 수 있다. 일례에서, 메시 및 포인트 클라우드 압축을 위한 라이브러리들은, 예를 들어, 3D 콘텐츠를 송신하는 효율 및 속도를 개선시키기 위해 정점 포지션들, 정규값들, 컬러들, 텍스처 좌표들, 및 다른 일반적 정점 속성들의 압축을 지원할 수 있다. 그러한 라이브러리의 일례는 GOOGLE™에 의해 개발된 DRACO™이다.
도 5는 기하구조 기반 포인트 클라우드 압축(G-PCC)을 위한 비트스트림 구조의 일례를 예시한다. G-PCC 비트스트림은, 예를 들어 도 5에 도시된 바와 같이, 예를 들어 유형-길이-값(type-length-value, TLV) 캡슐화 구조들로 지칭될 수 있는 G-PCC 유닛들의 세트를 포함할 수 있다. G-PCC 및 GPCC는 본 명세서에서 상호교환가능하게 사용될 수 있다. 도 5에 예시된 바와 같이, G-PCC 유닛은 G-PCC tlv_type 및 G-PCC tlv unit 페이로드에 관한 정보를 포함할 수 있다. 도 5는 다양한 tlv 유닛 페이로드 유형들을 예시한다. 표 1은 G-PCC TLV 유닛 신택스의 일례를 보여준다. 예들에서, G-PCC TLV 유닛(예컨대, 각각의 G-PCC TLV 유닛)은 TLV 유형, G-PCC TLV 유닛 페이로드 길이, 및/또는 G-PCC TLV 유닛 페이로드를 포함할 수 있다. TLV 유형(예컨대, 표 1에 나타낸 바와 같은 tlv_type)은 G-PCC 유닛 유형을 나타낼 수 있다. 표 2는 TLV 유형들(예컨대, 표 1에 나타낸 바와 같은 tlv_type) 및 연관된 데이터 유닛 디스크립션들의 일례를 보여준다. 예를 들어, 유닛 유형 2를 갖는 G-PCC TLV 유닛은 기하구조 데이터 유닛일 수 있고, 유닛 유형 4를 갖는 G-PCC TLV 유닛은 속성 데이터 유닛일 수 있다. 포인트 클라우드는, 예를 들어, 기하구조 데이터 유닛 및 속성 데이터 유닛에 기초하여 재구성될 수 있다. 기하구조 및/또는 속성 G-PCC 유닛 페이로드들은, 예를 들어, G-PCC 디코더에 의해 디코딩될 수 있는 매체 데이터 유닛들(예컨대, TLV 유닛들)에 대응할 수 있다. 기하구조 및 속성 파라미터 세트 G-PCC 유닛들은 대응하는 TLV 유닛들을 디코딩할 G-PCC 디코더를 특정할 수 있다. G-PCC 비트스트림 고레벨 신택스(high-level syntax, HLS)는 기하구조 및 속성 데이터에 대한 슬라이스 및/또는 타일 그룹들을 지원할 수 있다. 프레임은 다수의 타일들 및 슬라이스들로 피티셔닝될 수 있다. 슬라이스는, 인코딩되거나 또는 디코딩될 수 있는(예컨대, 독립적으로 인코딩되거나 또는 디코딩될 수 있는) 포인트들의 세트일 수 있다. 예들에서, 슬라이스는 기하구조 데이터 유닛 및 0개 이상의 속성 데이터 유닛들을 포함할 수 있다. 속성 데이터 유닛들은, 예를 들어, 동일한 슬라이스 내에서, 대응하는 기하구조 데이터 유닛에 의존할 수 있다. 슬라이스 내에서, 기하구조 데이터 유닛은, 임의의 연관된 속성 유닛들 이전에 나타날 수 있다. 슬라이스의 데이터 유닛들은 인접할 수 있다. 프레임 내에서 슬라이스들의 순서화는 특정되지 않을 수 있다. 슬라이스들의 그룹은 공통 타일 식별자에 의해 식별될 수 있다. 타일(예컨대, 각각의 타일)에 대한 경계 박스를 설명하는 타일 인벤토리가 구현될 수 있다. 타일은 경계 박스 내의 다른 타일과 중첩할 수 있다. 각각의 슬라이스는, 슬라이스가 어느 타일에 속하는지를 식별하는 인덱스를 포함할 수 있다. 표 1은 G-PCC TLV 캡슐화 유닛 페이로드 신택스의 일례를 보여주고, 표 2는 G-PCC TLV 유형들 및 데이터 유닛 디스크립션들의 일례를 보여주고, 표 3은 G-PCC TLV 캡슐화 유닛 페이로드 신택스의 일례를 보여준다.
요소들, 속성들, 신택스, 및 시맨틱들의 예들이 본 명세서에 보여지고 설명된다. 요소들은 속성들과 구별된다. 속성들은 속성에 선행하는 "@"에 의해 식별될 수 있다. 요소 사용 값 범위들의 예들은 다음의 포맷으로 제공될 수 있다: <minimum>...<maximum>, 여기서 N의 값은, 값이 제한되지 않음을 나타낼 수 있다. 본 명세서에 기술된 요소들, 속성들, 신택스 및 시맨틱들은 다양한 구현예들에서, 예시적인 사례들을 갖거나 또는 갖지 않고서, 단독으로 또는 다양한 조합들로 구현될 수 있거나 또는 구현되지 않을 수 있는 비제한적 예들이다.
G-PCC 컨테이너 파일 포맷이 구현될 수 있다. 도 6은 G-PCC 기하구조 및 속성 비트스트림이 단일 트랙에 저장될 수 있을 때의 샘플 구조의 일례를 예시한다. 비디오 코딩 디바이스는, 예를 들어, G-PCC 비트스트림이 단일 트랙에서 반송되는 경우, G-PCC 인코딩된 비트스트림이 단일 트랙 선언에 의해 표현되는 것을 요구할 수 있다. G-PCC 데이터의 단일 트랙 캡슐화는, 예를 들어 프로세싱(예컨대, 추가 프로세싱) 없이, 예컨대 단일 트랙에서 G-PCC 비트스트림을 저장함으로써, 단순한 캡슐화, 예를 들어, ISO 기본 매체 파일 포맷(ISO base media file format, ISOBMFF) 캡슐화를 활용할 수 있다. 단일 트랙 내의 샘플(예컨대, 각각의 샘플)(예컨대, 트랙 내의 각각의 샘플)은 하나 이상의 G-PCC 컴포넌트들을 포함할 수 있다. 각각의 샘플은 하나 이상의 TLV 캡슐화 구조들을 포함할 수 있다.
도 7은 다중 트랙(예컨대, ISOBMFF) G-PCC 컨테이너 구조의 일례를 예시한다. 코딩된 G-PCC 기하구조 비트스트림 및 코딩된 G-PCC 속성 비트스트림(들)이 별개의 트랙들에 저장되어 있으면, 트랙 내의 각각의 샘플은 G-PCC 컴포넌트 데이터를 반송하는 적어도 하나의 TLV 캡슐화 구조를 포함할 수 있다.
다중 트랙 G-PCC ISOBMFF 컨테이너는 기하구조 파라미터 세트, 시퀀스 파라미터 세트, 및/또는 기하구조 데이터 TLV 유닛들을 반송하는 기하구조 비트스트림 샘플들을 포함하는 G-PCC 트랙을 포함할 수 있다. G-PCC 트랙은 G-PCC 속성 컴포넌트(들)의 페이로드들을 반송하는 다른 트랙들에 대한 트랙 참조들을 포함할 수 있다. 다중 트랙 G-PCC ISOBMFF 컨테이너는 0개 이상의 G-PCC 트랙들을 포함할 수 있고, 이들 각각은 각자의 속성의 속성 파라미터 세트, 및 속성 데이터 TLV 유닛들을 반송하는 속성 비트스트림 샘플들을 포함한다.
G-PCC 비트스트림이 다수의 트랙들에서 반송될 때, G-PCC 컴포넌트 트랙들 사이를 링크하기 위해 트랙 참조 도구가 사용될 수 있다. 예를 들어, TrackReferenceTypeBoxes는 G-PCC 트랙의 TrackBox 내의 TrackReferencebox에 추가될 수 있다. TrackReferenceTypeBox는, 예를 들어, G-PCC 트랙이 참조하는 트랙들을 지정하는, track_ID들의 어레이를 포함할 수 있다. G-PCC 기하구조 트랙을 G-PCC 속성 트랙에 링크시키기 위해, G-PCC 기하구조 트랙에서 TrackReferenceTypeBox의 reference_type이 연관된 속성 트랙들을 식별하도록 구현될 수 있다. 트랙 참조 유형들의 4CC들은 'gpca'일 수 있다. 예들에서, 참조된 트랙(들)은 G-PCC 속성 데이터의 코딩된 비트스트림을 포함할 수 있다.
G-PCC 비트스트림의 기하구조 스트림이 다수의 타일들을 포함할 때, 각각의 타일 또는 타일들의 그룹은 기하구조 타일 트랙과 같은 별개의 트랙에 캡슐화될 수 있다. 예들에서, 기하구조 타일 트랙은 하나 이상의 기하구조 타일들의 TLV 유닛들을 반송할 수 있으며, 이는 타일들에 대한 직접 액세스를 가능하게 할 수 있다. 다수의 타일들을 포함하는 G-PCC 비트스트림의 속성 스트림(들)은 다수의 속성 타일 트랙들에서 반송될 수 있다.
G-PCC 타일(들) 데이터는 컨테이터 내의 속성 타일 트랙들 및 별개의 기하구조에서 반송될 수 있다. G-PCC 코딩된 스트림들에 대한 ISOBMFF 컨테이너들에서의 부분 액세스가 지원될 수 있다. 포인트 클라우드 장면 내의 공간 영역에 대응하는 타일들은 Dynamic3DSpatialRegionSampleEntry를 갖는 트랙과 같은 시한 메타데이터 트랙의 샘플들에서, 또는 GPCCSpatialRegionInfoBox 박스에서 시그널링될 수 있다. 이것은, 플레이어들 및/또는 스트리밍 클라이언트들이 포인트 클라우드 장면 내에 소정 공간 영역들 또는 타일들을 렌더링하는 데 필요한 정보를 반송하는 타일 트랙들의 세트를 취출하는 것을 가능하게 할 수 있다.
G-PCC 기본 트랙은 TLV 캡슐화 구조들을 반송할 수 있다. TLV 캡슐화 구조들은 시퀀스 파라미터 세트(sequence parameter set, SPS), 기하구조 파라미터 세트(geometry parameter set, GPS), 속성 파라미터 세트(attribute parameter set, APS), 및 타일 인벤토리 정보를 포함할 수 있다(예컨대, 이들만을 포함할 수 있음). G-PCC 기본 트랙을 기하구조 타일 트랙들에 링크시키기 위해, 새로운 트랙 참조 유형을 갖는 트랙 참조가 4-문자 코드(four-character code, 4CC), 즉 'gccg'를 사용하여 정의될 수 있다. 새로운 유형의 트랙 참조들은 G-PCC 기본 트랙을 기하구조 타일 트랙들(예컨대, 기하구조 타일 트랙들 각각)과 링크시키는 데 사용될 수 있다.
기하구조 타일 트랙(예컨대, 각각의 기하구조 타일 트랙)은 트랙 참조 도구를 사용하여 각자의 타일 또는 타일 그룹의 속성 정보를 반송하는 다른 속성(들) G-PCC 타일 트랙들과 링크될 수 있다. 이들 트랙 참조 유형들의 4CC들은 'gpca'일 수 있다.
트랙 대안예들이 대안적인 트랙 메커니즘(예컨대, TrackHeaderBox의 alternate_group 필드)에 의해 나타내질 수 있다. 예들에서, 동일한 alternate_group 값을 포함하는 G-PCC 컴포넌트 타일 트랙들은 동일한 G-PCC 컴포넌트의 상이한 인코딩된 버전들일 수 있다. 볼류메트릭 시각적 장면이 대안예들에서 코딩될 수 있다. 그러한 경우에, 예를 들어, 서로의 대안예들인 G-PCC 트랙들은 그들의 TrackHeaderBox에 동일한 alternate_group 값을 포함할 수 있다.
G-PCC 컴포넌트 타일 트랙들은 대안예들을 포함할 수 있다. 그러한 경우에, 대안적인 그룹에 속하는 G-PCC 컴포넌트 타일 트랙들(예컨대, 모든 G-PCC 컴포넌트 타일 트랙들)은 G-PCC 기본 트랙 및/또는 각자의 G-PCC 기하구조 타일 트랙에 의해 참조될 수 있다. 예들에서, 서로의 대안예들인 G-PCC 컴포넌트 타일 트랙들은 대안적인 그룹화 메커니즘을 사용할 수 있다.
HTTP를 통한 MPEG 동적 적응적 스트리밍(MPEG-DASH)은, 예를 들어, 최종 사용자들에게 비디오 경험(예컨대, 더 좋은 비디오 경험)을 제공하기 위해 네트워크 전달 조건들에서의 변화들에 동적으로 적응할 수 있는 전달 포맷이다.
동적 HTTP 스트리밍은 서버에서 이용가능할 수 있는 하나 이상의 비트레이트들에서 멀티미디어 콘텐츠를 전달할 수 있다. 멀티미디어 콘텐츠는 복수의 매체 컴포넌트들(예컨대, 오디오, 비디오, 및/또는 텍스트 매체 컴포넌트들)을 포함할 수 있다. 상이한 매체 컴포넌트들은 상이한 특성들을 포함할 수 있다. 매체 컴포넌트들의 하나 이상의 특성들은, 예를 들어, 매체 프리젠테이션 디스크립션(MPD)에 의해 설명될 수 있다.
도 8은 예시적인 MPD 계층적 데이터 모델을 예시한다. 도 8에 예시된 바와 같이, MPD는 기간들의 시퀀스(예컨대, 시간 간격들)를 설명할 수 있다. 예를 들어, 매체 콘텐츠 컴포넌트들의 인코딩된 버전들의 세트는 일정 기간 동안 변경되지 않을 수 있다. 기간(예컨대, 각각의 기간)은 시작 시간 및 그와 연관된 지속기간을 가질 수 있다. 기간(예컨대, 각각의 기간)은 하나 이상의 적응 세트들(예컨대, 도 8에 예시된 바와 같은, 적응 세트 1과 같은 AdaptationSet)을 포함할 수 있다. 적응 세트, 적응 셋, AdaptationSet, 및 adaptationset은 본 명세서에서 상호교환가능하게 사용될 수 있다. 일례에서, DASH 스트리밍 클라이언트는, 예를 들어, 도 1a 내지 도 1d와 관련하여 본 명세서에 설명된 바와 같이 WTRU일 수 있다. 다른 예에서, DASH 스트리밍 클라이언트는 헤드 마운트 디바이스, 헤드 마운트 프로젝터, 및/또는 헤드업 디스플레이(head-up display)를 포함할 수 있다. 다른 예에서, DASH 스트리밍 클라이언트는 3D 텔레비전을 포함할 수 있다. 다른 예에서, DASH 스트리밍 클라이언트는 하나 이상의 카메라들(예컨대, 고급 카메라들)을 포함할 수 있다.
적응 세트(예컨대, 적응 세트, 적응 셋, AdaptationSet, 또는 adaptationset)는, 예를 들어, 언어, 매체 유형, 픽처 종횡비(picture aspect ratio), 역할, 액세스가능성, 뷰포인트, 레이팅 속성, 및/또는 등등 중 하나 이상과 같은, 하나 이상의 속성들(예컨대, 동일한 속성들)을 공유하는, 하나 이상의 매체 콘텐츠 컴포넌트들의 인코딩된 버전들의 세트를 표현할 수 있다. 예들에서, AdaptationSet는 멀티미디어 콘텐츠(예컨대, G-PCC 콘텐츠)의 기하구조 및/또는 속성 컴포넌트들에 대한 상이한 비트레이트들을 포함할 수 있다. AdaptationSet는 멀티미디어 콘텐츠(예컨대, 동일한 멀티미디어 콘텐츠)의 오디오 컴포넌트(예컨대, 더 낮은 품질 스테레오 및/또는 더 높은 품질 서라운드 사운드)에 대한 상이한 비트레이트들을 포함할 수 있다. 예들에서, AdaptationSet(예컨대, 각각의 적응 세트)는 다수의 표현들을 포함할 수 있다.
표현은 하나 이상의 매체 컴포넌트들의 전달가능한 인코딩된 버전을 설명할 수 있다. 표현 및 묘사는 본 명세서에서 상호교환가능하게 사용될 수 있다. 표현은, 예를 들어 비트레이트, 해상도, 채널들의 수, 및/또는 다른 특성들에 의해 다른 표현들과 다를 수 있다. 표현(예컨대, 각각의 표현)은 하나 이상의 세그먼트들을 포함할 수 있다. 표현 요소의 속성들(예컨대, @id, @bandwidth, @qualityRanking, 및/또는 @dependencyId)은 표현의 하나 이상의 특성들을 특정할 수 있다(예컨대, 이들을 특정하는 데 사용될 수 있음).
세그먼트는 HTTP 요청으로 취출될 수 있다. 세그먼트(예컨대, 각각의 세그먼트)는 URL(예컨대, 서버 상의 어드레스가능 위치)을 포함할 수 있다. 예들에서, 세그먼트는, 예를 들어, HTTP GET 또는 바이트 범위들을 갖는 HTTP GET를 사용하여 다운로드될 수 있다.
DASH 클라이언트는 MPD XML 문서를 파싱(parsing)할 수 있다. 예를 들어, DASH 클라이언트는, 예를 들어, AdaptationSet의 요소들(예컨대, AdaptationSet의 요소들 각각에 제공된 정보)에 기초하여 AdaptationSets의 집합(예컨대, DASH 클라이언트의 환경에 적합함)을 선택할 수 있다. 클라이언트는 (예컨대, 각각의 AdaptionSet 내에서) AdaptationSet에 대한 표현을 선택할 수 있다. 클라이언트는 예를 들어 @bandwidth 속성의 값, 클라이언트 코딩 능력, 및/또는 클라이언트 렌더링 능력에 기초하여 표현을 선택할 수 있다. 클라이언트는 선택된 표현의 초기화 세그먼트를 다운로드할 수 있다. 클라이언트는 (예컨대, 전체 세그먼트들 또는 바이트 범위들의 세그먼트들을 요청함으로써) 콘텐츠에 액세스할 수 있다. 클라이언트는, 예를 들어, 프리젠테이션이 시작되었다면 또는 프리젠테이션 동안 매체 콘텐츠를 계속해서 소비할 수 있다. 클라이언트는 프리젠테이션 동안 매체 세그먼트들 및/또는 매체 세그먼트들의 부분들을 요청(예컨대, 연속적으로 요청)할 수 있다. 클라이언트는 매체 프리젠테이션 타임라인에 따라 콘텐츠를 재생할 수 있다. 클라이언트는, 예를 들어, 클라이언트의 환경으로부터의 업데이트된 정보에 기초하여 제1 표현으로부터 제2 표현으로 스위칭할 수 있다. 클라이언트는, 예를 들어, 하나 이상의 기간들에 걸쳐 콘텐츠를 연속적으로 재생할 수 있다. 매체 프리젠테이션(예컨대, 세그먼트들에서 클라이언트에 의해 소비되고 있음)이 종료될 수 있고, 기간이 시작될 수 있고, 그리고/또는 MPD가, 예를 들어, 표현에서 발표된 매체의 종료 무렵에 재페칭될 수 있다.
MPEG-DASH 디스크립터들은 매체 콘텐츠에 관한 애플리케이션 특정 정보를 제공할 수 있다. 디스크립터 요소 구조들은 유사할 수 있다. 디스크립터 요소는, 예를 들어, 스킴을 식별하기 위해 URI를 제공할 수 있는 @schemeIdUri 속성, 속성 @value, 및/또는 속성 @id를 포함할 수 있다. 요소 시맨틱들은 채용되는 스킴에 특정될 수 있다. 스킴을 식별하는 URI는, 예를 들어, URN 또는 URL일 수 있다. MPD는 요소들을 사용할 방법에 대한 정보를 제공할 수 있다. DASH 포맷들을 채용하는 애플리케이션은, 예를 들어, 스킴 정보를 이용하여 디스크립션 요소들을 인스턴스화할 수 있다. 요소들(예컨대, 디스크립터 요소들)을 사용하는 DASH 애플리케이션들은 (예컨대, URI의 형태로) 스킴 식별자를 정의(예컨대, 먼저 정의)할 수 있고, 요소에 대한(예컨대, 스킴 식별자가 사용될 때에 대한) 값 공간을 정의할 수 있다. 예들에서, 확장 요소 및/또는 속성은, 예를 들어, 구조화된 데이터를 위해 별개의 명칭공간(namespace)에서 정의될 수 있다. 디스크립터들은 MPD 내의 다수의 레벨들에서 나타날 수 있다. 예를 들어, MPD 레벨에서의 요소의 존재는, 그 요소가 MPD 요소의 차일드(child)임을 나타낼 수 있다. 예를 들어, 적응 세트 레벨에서의 요소의 존재는, 그 요소가 AdaptationSet 요소의 차일드 요소임을 나타낼 수 있다. 예를 들어, 표현 레벨에서의 요소의 존재는, 그 요소가 표현 요소의 차일드 요소임을 나타낼 수 있다.
(예컨대, MPEG-DASH에서) 번들(bundle)은 디코더 인스턴스(예컨대, 단일 디코더 인스턴스)에 의해 공동으로 소비될 수 있는 매체 컴포넌트들의 세트일 수 있다. 번들(예컨대, 각각의 번들)은 디코더 특정 정보를 포함할 수 있고/있거나 디코더를 부트스트랩할 수 있는 매체 컴포넌트(예컨대, 메인 매체 컴포넌트)를 포함할 수 있다. 사전선택은, 예를 들어, 공동으로 소비될 수 있는(예컨대, 공동으로 소비될 것으로 예상될 수 있는) 번들 내의 매체 컴포넌트들의 서브세트를 지칭하고/하거나 식별하고/하거나 정의할 수 있다.
메인 매체 컴포넌트를 포함하는 AdaptationSet는 메인 적응 세트로 지칭될 수 있다. 메인 적응 세트, 주 적응 세트, 및 주 적응 셋(예컨대, 그리고 적응 세트(예컨대, adaptationset)의 대문자 표시 또는 복합어에 기초한 임의의 변형들)는 본 명세서에서 상호교환가능하게 사용될 수 있다. 메인 매체 컴포넌트는 번들과 연관될 수 있는 사전선택에 포함될 수 있다. 번들(예컨대, 각각의 번들)은 하나 또는 다수의 부분 AdaptationSets를 포함할 수 있다. 부분 AdaptationSets는 메인 AdaptationSet와 조합하여 프로세싱될 수 있다.
표 4는 사전선택 요소 시맨틱들의 일례를 보여준다. 사전선택들은, 예를 들어 표 4에 보여진 바와 같이, 예를 들어 사전선택 요소를 통해 정의될 수 있다. 예들에서, 사전선택들의 선택은 사전선택 요소에 포함될 수 있는 속성들 및/또는 요소들에 기초할 수 있다.
가상 현실(VR) 및 몰입형 3D 그래픽들과 같은 멀티미디어 애플리케이션들은 3D 포인트 클라우드들로 구현되거나 또는 이들에 의해 표현될 수 있으며, 이는 업데이트된 형태들의 상호작용 및/또는 하나 이상의 가상 세계들과의 통신을 가능하게 할 수 있다. 정적 및 동적 포인트 클라우드들은 다량의 정보를 생성할 수 있다. 효율적인 코딩 알고리즘들은, 예를 들어, 포인트 클라우드 정보에 의한 저장 및/또는 송신 자원 활용을 감소시키기 위해 포인트 클라우드 정보를 압축하는 데 사용될 수 있다. 예를 들어, 압축된 동적 포인트 클라우드 정보의 비트스트림은 압축되지 않은 정보의 비트스트림보다 더 적은 송신 자원들을 활용할 수 있다.
포인트 클라우드 애플리케이션들은 코딩, 저장, 및/또는 네트워크 자원들(예컨대, 네트워크를 통한 스트리밍 포인트 클라우드 데이터)을 활용할 수 있다. 예들에서, 포인트 클라우드 애플리케이션들은, 예를 들어, 콘텐츠가 어떻게 생성될 수 있는지에 따라, 포인트 클라우드 콘텐츠의 라이브 또는 온-디맨드(on-demand) 스트리밍을 수행할 수 있다. 포인트 클라우드 애플리케이션은 포인트 클라우드들을 표현하는 다량의 정보를 생성하고/하거나, 프로세싱하고/하거나, 전송 또는 수신할 수 있다. 포인트 클라우드 애플리케이션들은, 예를 들어, 네트워크 과부하를 회피하기 위해 그리고/또는, 예를 들어, 가변하는 네트워크 용량 및/또는 다른 동작 조건들과 관련하여 최적화된 관찰 경험들을 제공하기 위해, 적응적 스트리밍 기법들을 지원할 수 있다.
MPEG-DASH는 포인트 클라우드들의 적응적 전달을 제공할 수 있다(예컨대, 이를 제공하는 데 사용될 수 있음). MPEG-DASH는, 예를 들어, 포인트 클라우드 스트림들을 포함한, 포인트 클라우드 매체를 지원하기 위한 시그널링으로 구현될 수 있다. 시그널링 요소들은 스트리밍 클라이언트들이 MPD 파일 내에서 포인트 클라우드 스트림들 및 그들의 컴포넌트 서브 스트림들을 식별하도록 나타낼 수 있거나 또는 식별하는 것을 가능하게 할 수 있다. 시그널링 요소들은, 예를 들어, 스트리밍 클라이언트가 지원하기 위해 구성되거나 또는 구성가능할 수 있는 포인트 클라우드 또는 포인트 클라우드 컴포넌트들의 버전(들)(예컨대, 최상의 버전들)을 스트리밍 클라이언트가 선택하는 것을 가능하게 하기 위해, 스트리밍 클라이언트들이 포인트 클라우드 컴포넌트들과 연관될 수 있는 메타데이터의 하나 이상의 유형들을 식별하도록 나타낼 수 있거나 또는 식별하는 것을 가능하게 할 수 있다.
포인트 클라우드 콘텐츠의 컴포넌트들은 상이한 표현들에서 이용가능할 수 있다. 예들에서, 다수의 표현들(예컨대, 다수의 표현들 각각)은 상이한 품질 레벨을 표현할 수 있다. 스트리밍 클라이언트는 상이한 표현들에 관한 안내(예컨대, MPD 파일에서 시그널링된 표시)를 활용할 수 있다. 예를 들어, 표시는, (예컨대, 적절한 품질 저하를 수행하기 위해) 상이한 컴포넌트들에 걸친 표현들 중 어느 세트가 소정 품질 레벨을 구성하는지를 나타낼 수 있다. 포인트 클라우드 콘텐츠의 컴포넌트들은 다수의 타일들로 분할될 수 있다. 클라이언트들은, 예를 들어, 대역폭 이용가능성에 기초하여, (예컨대, 모든 포인트 클라우드 데이터를 스트리밍하는 대신) 기하구조 컴포넌트들의 특정 타일 부분(예컨대, 선택된 타일 부분)을 스트리밍할 수 있다. G-PCC 컴포넌트 타일 비트스트림들은, 예를 들어, 적응 세트(예컨대, 각각의 적응 세트)가 G-PCC 컴포넌트 타일을 표현할 수 있는, 상이한 적응 세트들에서 이용가능할 수 있다.
G-PCC 매체 콘텐츠는 기하구조 및/또는 속성들과 같은 다수의 컴포넌트들을 포함할 수 있다. 컴포넌트(예컨대, 다수의 컴포넌트들 중 각각의 컴포넌트)는, 예를 들어, G-PCC 비트스트림의 서브 스트림으로서 개별적으로 인코딩될 수 있다. 기하구조 및 속성들과 같은 컴포넌트들은, 예를 들어, G-PCC 인코더를 사용하여 인코딩될 수 있다. 서브 스트림들은, 예를 들어, 포인트 클라우드를 렌더링하기 위해 (예컨대, 메타데이터와 함께) 집합적으로 디코딩될 수 있다.
요소들 및/또는 속성들은, 예를 들어, XML 요소들 및/또는 XML 속성들로서 정의될 수 있다. XML 요소들은, 예를 들어, 별개의 명칭공간(예컨대, "urn:mpeg:mpegI:gpcc:2020")에 정의될 수 있다. 명칭공간 설계자 "gpcc:"는 본 명세서에서, 예를 들어, 별개의 명칭공간을 지칭하는 데 사용될 수 있다.
G-PCC 컴포넌트들은 DASH MPD에서 시그널링될 수 있다. 예들에서, G-PCC 컴포넌트(예컨대, 각각의 G-PCC 컴포넌트)는, 예를 들어, 컴포넌트 적응 세트로 지칭될 수 있는 별개의 AdaptationSet로서 DASH 매니페스트 파일(예컨대, MPD 파일)에서 표현될 수 있다. 기하구조 정보를 포함하는 적응 세트는, 예를 들어, G-PCC 콘텐츠에 대한 액세스 포인트(예컨대, 메인 액세스 포인트)로서 역할을 할 수 있는 메인 적응 세트일 수 있다. 예들에서, 적응 세트(예컨대, 하나의 적응 세트)는 해상도별 컴포넌트마다 시그널링될 수 있다. 예들에서, 메인 적응 세트는 'gpc1'로 설정된 @codecs 속성을 포함할 수 있다.
EssentialProperty 디스크립터는, 예를 들어, 컴포넌트 적응 세트에서 G-PCC 컴포넌트(들)의 유형을 식별하기 위해, "urn:mpeg:mpegI:gpcc:2020:component"와 동일하게 설정된 @schemeIdUri 속성과 함께 사용될 수 있다. EssentialProperty 디스크립터는, 예를 들어, GPCCComponent 디스크립터로 지칭될 수 있다.
예들에서(예컨대, 적응 세트 레벨에서), 적응 세트의 표현들에 존재하는 포인트 클라우드 컴포넌트(예컨대, 각각의 포인트 클라우드 컴포넌트)에 대해 GPCCComponent 디스크립터(예컨대, 하나의 GPCCComponent 디스크립터)가 시그널링될 수 있다.
표 5는 GPCCComponent 디스크립터에 대한 요소들 및 속성들의 일례를 도시한다. 예들에서, GPCCComponent 디스크립터의 @value 속성은 존재하지 않을 수 있다. GPCCComponent 디스크립터는 표 5에 정의된 속성들을 포함할 수 있다.
표 6은 표 5에 대응하는 GPCCComponent 디스크립터에 대한 XML 스키마의 일례를 보여준다.
메인 적응 세트는, 예를 들어, 적응 세트 레벨에서 초기화 세그먼트(예컨대, 단일 초기화 세그먼트)를 또는 표현 레벨에서 다수의 초기화 세그먼트들(예컨대, 각각의 표현에 대한 하나의 초기화 세그먼트)을 포함할 수 있다. 초기화 세그먼트들은 G-PCC 파라미터 세트들을 포함할 수 있으며, 이는 G-PCC 디코더를 초기화할 수 있다(예컨대, 이를 초기화하는 데 사용될 수 있음). 하나 이상의 표현들(예컨대, 모든 표현들)에 대한 G-PCC 파라미터 세트들은, 예를 들어, 초기화 세그먼트(예컨대, 단일 초기화 세그먼트)가 존재하는 경우, 초기화 세그먼트에 포함될 수 있다.
예들에서, 표현(예컨대, 각각의 표현)에 대한 초기화 세그먼트는, 예를 들어, 하나 초과의 표현이 메인 적응 세트에서 시그널링되는 경우, 표현에 대한 G-PCC 파라미터 세트들 및 표현에 대한 기하구조 데이터를 포함할 수 있다. 다른 컴포넌트 적응 세트들(예컨대, 포인트 클라우드의 다른 컴포넌트 적응 세트들)의 표현(들)은, 예를 들어, @dependencyId 속성을 사용하여, 메인 적응 세트로부터 대응하는 표현 식별자들을 열거할 수 있다. 메인 적응 세트에서의 표현들은 G-PCC 컴포넌트들 AdaptationSets에서 대응하는 표현들에 맵핑될 수 있다. 메인 적응 세트의 표현들에 대한 매체 세그먼트들은, 예를 들어, G-PCC 트랙의 하나 이상의 트랙 프래그먼트들을 포함할 수 있다. 컴포넌트 AdaptationSets의 표현들에 대한 매체 세그먼트들은, 예를 들어, (예컨대, 파일 포맷 레벨에서) 대응하는 컴포넌트 트랙의 하나 이상의 트랙 프래그먼트들을 포함할 수 있다.
예들에서, 역할 디스크립터 요소는 G-PCC 컴포넌트들에 대해 정의될 수 있는 값들과 함께 사용될 수 있다. 예를 들어, 하나 이상의 기하구조 컴포넌트들은 gpcc-기하구조의 대응하는 값(들)을 포함할 수 있고/있거나, 하나 이상의 속성 컴포넌트들은 gpcc-속성의 대응하는 값(들)을 포함할 수 있다. EssentialProperty 디스크립터 요소(예컨대, 표 5에 보여진 예에 대해 기술된 EssentialProperty 디스크립터 요소와 유사함)는 적응 세트 레벨에서 시그널링될 수 있다. 예들에서, EssentialProperty 디스크립터 요소는 (예컨대, 적응 세트 레벨에서) component_type 속성을 제외하고 시그널링될 수 있다. EssentialProperty 디스크립터 요소는, 예를 들어, 기하구조 컴포넌트(들) 및/또는 속성 컴포넌트(들)를 식별하기 위해 시그널링될 수 있다.
예들에서, G-PCC 컴포넌트의 다수의 버전들 중 일정 버전(예컨대, 각각의 버전)은, 예를 들어, G-PCC 컴포넌트의 다수의 버전들이 상이한 코덱을 사용하여 인코딩되는 경우, 사용되는 매체 코덱에 따라 @codecs 속성 세트의 값으로 별개의 AdaptationSet에서 시그널링될 수 있다. G-PCC 컴포넌트의 다수의 버전들의 AdaptationSets에 걸친 표현들 사이의 스위칭(예컨대, 심리스(seamless) 스위칭)이 지원될 수 있다. 다수의 적응 세트들 각각은, 예를 들어, G-PCC 컴포넌트의 다수의 버전들의 AdaptationSets에 걸친 표현들 사이의 심리스 스위칭이 지원된다는 것을 나타내기 위해, 예를 들어, urn:mpeg:dash:adaptation-set-switching:2016로 설정된 @schemeIdURI 및/또는 다른 이용가능한 버전들에 대응하는 AdaptationSet ID들의 쉼표로 분리된 목록(comma-separated list)을 포함한 @value를 갖는, SupplementalProperty 디스크립터를 포함할 수 있다. 예들에서, 적응 세트들에 걸친 스위칭을 지원하기 위한 하나 이상의 규칙들이 적용될 수 있다.
G-PCC 타일 트랙들이 시그널링될 수 있다. 다수의 타일 트랙들이 G-PCC 컨테이너에 존재할 때, 메인 적응 세트는 G-PCC 기본 트랙으로부터의 파라미터 세트들 및 타일 인벤토리 정보를 포함할 수 있다(예컨대, 이들만을 포함할 수 있음). 기하구조 데이터 및/또는 속성 데이터는 메인 적응 세트 및 메인 적응 세트의 표현들에 존재하지 않을 수 있다. 예들에서, 메인 적응 세트에 대한 @codecs 속성은, 예를 들어, 적응 세트가 G-PCC 콘텐츠의 SPS, GPS, APS, 및 타일 인벤토리 정보를 포함하는(예컨대, 이들만을 포함함) 기본 트랙 데이터를 포함한다는 것을 나타내는, 'gpcb'로 설정될 수 있다.
컴포넌트 타일 트랙(예컨대, 각각의 컴포넌트 타일 트랙)은 별개의 적응 세트에서 시그널링될 수 있다. 별개의 적응 세트는 타일 컴포넌트 적응 세트로 지칭될 수 있다. 동일한 타일(예컨대, 또는 동일한 타일들 세트)에 대한 컴포넌트의 다수의 버전들이 존재하고/하거나 별개의 타일 트랙들에서 반송될 때, 각각의 버전은 타일 컴포넌트 적응 세트의 표현에서 시그널링될 수 있다. G-PCC 매체 콘텐츠에 대한 컴포넌트 타일 트랙들을 나타내는 타일 컴포넌트 적응 세트들에 대한 @codecs 속성은 'gpt1'로 설정될 수 있다.
타일 컴포넌트 적응 세트 레벨에서, GPCCComponent 디스크립터가 시그널링될 수 있다. 예들에서, GPCCComponent 디스크립터는, 예를 들어, 타일 비트스트림에 존재하는 타일들의 목록을 나타내는, 속성(예컨대, 추가적인 속성) @tile_ids를 포함할 수 있다. GPCCComponent 디스크립터는, 예를 들어, 인클로징(enclosing) 적응 세트에 의해 표현되는 컴포넌트가 G-PCC 속성 컴포넌트인 경우, XML 속성 @attr_index를 포함할 수 있다(예컨대, 조건부로 포함함). @attr_index 속성은 SPS에서의 G-PCC 속성 컴포넌트의 순서를 시그널링할 수 있고/있거나, 예를 들어, 동일한 속성 유형(예컨대, 하나 초과의 컬러 속성)을 갖는 다수의 G-PCC 속성 컴포넌트들이 G-PCC 콘텐츠에 존재하는 경우, G-PCC 속성 컴포넌트들을 구별하는 것을 가능하게 할 수 있다. 타일 컴포넌트 적응 세트 레벨에 존재하는 GPCCComponent 디스크립터는 표 7에 정의된 바와 같은 요소들 및/또는 속성들을 포함할 수 있다.
표 8은 표 7에 대응하는 GPCCComponent 디스크립터에 대한 XML 스키마의 일례를 보여준다.
예들에서, 다수의 타일 트랙들이 컨테이너에 존재할 때, 기하구조 타일 컴포넌트 적응 세트에서의 각각의 표현은, 예를 들어, @dependencyId 속성을 사용하여 메인 적응 세트에서의 대응하는 표현을 지칭할 수 있다. 속성 타일 컴포넌트 적응 세트에서의 각각의 표현은, 예를 들어, @dependencyId 속성을 사용하여, 기하구조 타일 컴포넌트 적응 세트에서의 대응하는 표현을 지칭할 수 있다.
동일한 alternate_group 값을 포함하는 G-PCC 컴포넌트 타일 트랙들은, 예를 들어, 타일 컴포넌트 적응 세트의 표현들로서 MPD에서 시그널링될 수 있다.
G-PCC 디스크립터가 시그널링될 수 있다. 스트리밍 클라이언트는, 예를 들어, 대응하는 요소 내의 GPCCComponent 디스크립터를 체크함으로써, AdaptationSet 및/또는 표현에서 포인트 클라우드 컴포넌트의 유형을 식별할 수 있다(예컨대, 이를 식별하는 것이 가능할 수 있거나 또는 식별하도록 구성될 수 있음). 스트리밍 클라이언트는 MPD 파일에 존재하는 상이한 기하구조 포인트 클라우드 스트림들을 구별할 수 있다.
G-PCC 디스크립터는, 예를 들어, "urn:mpeg:mpegI:gpcc:2020:gpc"와 동일한 @schemeIdUri 속성을 갖는, 예를 들어, SupplementalProperty 요소를 포함할 수 있다. 표 9는 G-PCC 디스크립터에 대한 속성들의 일례를 보여준다. 예들에서, 하나 이상의(예컨대, 최대 하나의) G-PCC 디스크립터들은 G-PCC 매체의 메인 적응 세트에 대한 적응 세트 레벨에 존재할 수 있다.
속성들에 대한 데이터 유형들은, 예를 들어, XML 스키마에서 정의된 바와 같을 수 있다. 표 10은 G-PCC 디스크립터에 대한 XML 스키마의 일례를 보여준다. 스키마는, 예를 들어, 명칭공간 urn:mpeg:mpegI:gpcc:2020을 갖는 XML 스키마에서 표현될 수 있다.
GPCCTileId 디스크립터가 시그널링될 수 있다. 스트리밍 클라이언트는, 예를 들어, GPCCComponent 디스크립터를 체크함으로써, G-PCC 타일 컴포넌트 AdaptationSet에 존재하는 타일 id 또는 타일 id들을 식별할 수 있다. 예들에서, G-PCC 타일의 컴포넌트들 중 하나 이상(예컨대, 컴포넌트들 모두)이 단일 트랙에 저장될 수 있다. 예를 들어, GPCCComponent 디스크립터는 그러한 트랙과 연관된 AdapatationSet에서 시그널링되지 않을 수 있다. 예들에서, 스트리밍 클라이언트는 MPD 파일에 존재할 수 있는 상이한 G-PCC 타일 트랙들을 구별할 수 있다. 예를 들어, 스트리밍 클라이언트는 각자의 타일 스트림들을 식별함으로써 상이한 G-PCC 타일 트랙들을 구별할 수 있다.
예들에서, "urn:mpeg:mpegI:gpcc:2020:tileID"와 동일한 @schemeIdUri 속성을 갖는 SupplementalProperty 요소는 GPCCTileId 디스크립터일 수 있다(예컨대, 이것으로 지칭될 수 있음). GPCCTileId 디스크립터는 상이한 G-PCC 타일 스트림들을 구별하는 데 사용될 수 있다. 예들에서, 하나의(예컨대, 최대 하나의) GPCCTileId 디스크립터는 G-PCC 타일 매체에 대한 적응 세트 레벨에서 시그널링되고/되거나 이에 존재할 수 있다. 예를 들어, GPCCComponent 디스크립터가 적응 세트 레벨에서 이용가능하지 않은 경우(예컨대, 타일 또는 타일들의 그룹의 모든 G-PCC 컴포넌트들 데이터가 하나의 트랙에 있는 경우), 하나의(예컨대, 최대 하나의) GPCCTileId 디스크립터가 적응 세트 레벨에서 시그널링되거나 또는 이에 존재할 수 있다.
예들에서, GPCCTileId 디스크립터의 @value 속성은 존재하지 않을 수 있다. GPCCTileId 디스크립터는 표 11에 예시된 바와 같은 하나 이상의 속성들을 포함할 수 있다.
속성들에 대한 데이터 유형들은 XML 스키마에 제공된 바와 같을 수 있다. 예들에서, GPCCTileId 디스크립터에 대한 XML 스키마는 하기의 예시적인 스키마에 예시된 바와 같을 수 있다. 스키마는 명칭공간 urn:mpeg:mpegI:gpcc:2020을 포함하는 XML 스키마로 표현될 수 있고, 하기 표 12에 예시된 바와 같이 특정될 수 있다.
G-PCC 사전선택이 시그널링될 수 있다. G-PCC 사전선택은, 예를 들어, 볼류메트릭 매체에 대한 메인 적응 세트의 ID 및 (예컨대, 뒤이은) G-PCC 컴포넌트들에 대응하는 AdaptationSets의 ID들을 포함하는, 예를 들어, @preselectionComponents 속성에 대한 식별자(ID) 목록을 갖는, 예를 들어, (예컨대, DASH에 정의된 바와 같은) 사전선택 요소를 사용하여 MPD에서 시그널링될 수 있다. 예들에서, 사전선택에 대한 @codecs 속성은 'gpc1'로 설정될 수 있으며, 이는, 예를 들어, 사전선택 매체가 기하구조 기반 포인트 클라우드인 것을 나타낼 수 있다. 사전선택은, 예를 들어, 기간 요소 내의 사전선택 요소를 사용하여 그리고/또는 적응 세트 레벨에서 사전선택 디스크립터를 사용하여 시그널링될 수 있다.
도 9는 사전선택을 사용하여 MPD에서 G-PCC 컴포넌트들을 그룹화하는 일례를 예시한다. 도 9는 MPEG-DASH MPD 파일 내의 볼류메트릭 매체(예컨대, 단일 볼류메트릭 매체)에 속할 수 있는 G-PCC 컴포넌트들을 그룹화하기 위한 예시적인 DASH 구성을 예시한다.
G-PCC 매체의 다수의 버전들이 시그널링될 수 있다. 예들에서, 동일한 포인트 클라우드 매체의 다수의 버전들은, 예를 들어, 별개의 사전선택들을 사용하여 시그널링될 수 있다. 동일한 기하구조 기반 포인트 클라우드 매체의 대안적인 버전들을 표현하는 사전선택들은, 예를 들어, 동일한 @gpcId 값을 갖는 G-PCC 디스크립터를 포함할 수 있다. 하나 이상의(예컨대, 최대 하나의) G-PCC 디스크립터들이, 예를 들어, 사전선택 레벨에서 존재할 수 있다. 사전선택들은 선택가능한 대안예들일 수 있다. @preselectionComponents 속성의 id 목록은, 예를 들어, @codecs 속성이 'gpc1'로 설정되는 경우, 메인 적응 세트의 ID, 및 뒤이은 나머지 컴포넌트들 적응 세트 ID들을 포함할 수 있다.
도 10은 사전선택을 사용하여 MPD에서 G-PCC 컴포넌트들의 다수의 버전들을 그룹화하는 일례를 예시한다. 도 10은 MPEG-DASH MPD 파일 내의 단일 포인트 클라우드에 속할 수 있는 G-PCC 컴포넌트들의 다수의 버전들을 그룹화하기 위한 DASH 구성의 일례를 예시한다. 그룹화/연관성은, 예를 들어, 사전선택 디스크립터를 사용하여 시그널링될 수 있다. 표 13은 사전선택들을 사용하여 MPD에서 G-PCC 컴포넌트들의 다수의 버전들을 시그널링하는 일례를 예시한다.
예들에서, 포인트 클라우드의 G-PCC 컴포넌트들 AdaptationSets, 또는 적응 세트들의 표현(들)은, 예를 들어, @dependencyId 속성을 사용하여 메인 AdaptionSet들 및/또는 표현들의 식별자들을 열거할 수 있다. 예를 들어, 메인 적응 세트에서의 세그먼트들이 포인트 클라우드를 재구성하기 위해 포인트 클라우드 컴포넌트들의 AdaptationSets로부터의 세그먼트들과 함께 디코딩되는 경우, 의존성(예컨대, 고유의 의존성)이 존재할 수 있다.
예들에서, G-PCC 타일 사전선택들이 구현될 수 있다. G-PCC 콘텐츠가 다수의 타일 트랙들을 사용하여 반송될 때, 메인 적응 세트는 G-PCC 기본 트랙 데이터를 시그널링할 수 있다. 타일 컴포넌트 적응 세트들은 G-PCC 기하구조 및/또는 속성 타일 트랙들 데이터를 시그널링할 수 있다.
본 명세서에 기술된 바와 같은 사전선택 요소를 사용하여 G-PCC 타일 사전선택이 MPD에서 시그널링될 수 있다. 일례에서, 사전선택의 @codecs 속성은, 예를 들어, 사전선택 매체가 기하구조 기반 포인트 클라우드 타일들의 세트임을 나타내는 'gpt1'로 설정될 수 있다. 사전선택은, 본 명세서에 기술된 바와 같이, 기간 요소 내의 사전선택 요소를 사용하여 시그널링될 수 있다. 사전선택은 타일 컴포넌트 적응 세트 레벨에서 사전선택 디스크립터를 사용하여 시그널링될 수 있다.
사전선택 요소는 @preselectionComponents 속성에 대한 ID 목록을 포함할 수 있다. G-PCC 타일 사전선택에 대한 @preselectionComponents 속성 ID 목록은 기하구조 타일 컴포넌트 적응 세트의 ID, 및 뒤이은 대응하는 속성 타일 컴포넌트 적응 세트 ID(들)를 포함할 수 있다. 선택된 기하구조 타일 컴포넌트 적응 세트의 표현에 대응하는 메인 적응 세트의 표현은, 예를 들어, 적응 세트의 표현(들)에서 시그널링된 @dendencyId 속성을 사용하여 식별될 수 있다.
G-PCC 타일 사전선택(예컨대, 각각의 G-PCC 타일 사전선택)은 하나 이상의 GPCCTileId 디스크립터(들)를 포함할 수 있다. 이것은, 각각의 사전선택에서 참조된 타일들의 식별을 허용할 수 있다. GPCCTileId 디스크립터가 존재하지 않을 때, G-PCC 타일 사전선택에 속하는 타일들은 @preselectionComponents 속성의 ID 목록으로부터 기하구조 타일 컴포넌트 적응 세트를 찾고 기하구조 타일 컴포넌트 적응 세트에 존재하는 GPCCComponent 디스크립터로부터 타일 ID들의 목록을 체크함으로써 식별될 수 있다.
도 11은 다수의 타일 트랙들을 갖는 G-PCC 콘텐츠의 일례를 예시한다. 도 11은 예시적인 DASH 구성일 수 있다. G-PCC 콘텐츠는 기하구조 컴포넌트 및 하나 이상의 속성 컴포넌트들(예컨대, 3개의 속성 컴포넌트들)을 포함할 수 있다. 그 예에서, G-PCC 비트스트림은 2개의 타일 세트들로 그룹화되는 6개의 타일들을 포함한다. 제1 타일 세트는 타일들 1, 2, 및 3을 포함하고, 제2 타일 세트는 타일들 4, 5 및 6을 포함한다. 각각의 타일 세트의 컴포넌트들은 2개의 상이한 버전들(예컨대, 상이한 품질들로 인코딩됨)에서 이용가능할 수 있다. 타일 세트에 대한 컴포넌트 버전(예컨대, 각각의 컴포넌트 버전)은 ISOBMFF 컨테이너 파일 내의 별개의 G-PCC 타일 트랙에서 반송될 수 있다. MPD 파일은 2개의 타일 세트들의 각각의 컴포넌트에 대한 타일 컴포넌트 적응 세트를 포함할 수 있다. 타일 컴포넌트 적응 세트(예컨대, 각각의 타일 컴포넌트 적응 세트)는 2개의 표현들(예컨대, 컴포넌트의 각각의 버전에 대해 하나씩)을 포함할 수 있다. 2개의 사전선택들은 G-PCC 비트스트림에 존재하는 2개의 타일 세트들을 시그널링하기 위해 MPD에서 사용될 수 있다.
표 14는 사전선택 디스크립터와 함께 다수의 타일 트랙들을 갖는 G-PCC 콘텐츠를 시그널링하는 DASH MPD 파일의 일례를 예시한다.
예들에서, 매체 데이터는, 예를 들어, 다수의 포인트 클라우드들 매체가 이용가능한 경우, 별개의 사전선택들을 사용하여 시그널링될 수 있다. 기하구조 기반 포인트 클라우드 매체 데이터를 표현하는 사전선택들은 고유한 @gpcId 값을 갖는 G-PCC 디스크립터를 포함할 수 있다. 하나 이상의(예컨대, 최대 하나의) G-PCC 디스크립터가, 예를 들어, 사전선택 레벨에서 존재할 수 있다. 메인 적응 세트의 ID, @preselectionComponents 속성에 대한 적응 세트 ID들의 목록 내의 ID(예컨대, 제1 ID), 및/또는 (예컨대, 뒤이은) 포인트 클라우드 컴포넌트들에 대응하는 AdaptationSets의 ID들이 존재할 수 있다. 포인트 클라우드는, 예를 들어, G-PCC 디스크립터에서 정의될 수 있는 바와 같이, 예를 들어, @gpcId 속성의 고유한 값을 사용하여 식별될 수 있다.
G-PCC 타일 그룹들이 시그널링될 수 있다. 예들에서, 기하구조 기반 포인트 클라우드 내에 다수의 타일들이 존재하는 경우, 타일들 경계 박스 정보가 (예컨대, GPCCTileInventory 디스크립터를 사용하여) 시그널링될 수 있다. GPCCTileInventory 디스크립터는, 예를 들어, (예컨대, "urn:mpeg:mpegI:gpcc:2020:gptl"로 설정된) @schemeIdUri 속성을 갖는 SupplementalProperty 요소일 수 있다. GPCCTileInventory 디스크립터는, 예를 들어, G-PCC 매체가 타일링되는 경우, G-PCC 매체의 메인 적응 세트에 대한 적응 세트 레벨에 존재할 수 있다. 표 15는 GPCCTileInventory 디스크립터에 대한 요소들 및 속성들의 일례를 보여준다.
표 16은 GPCCTileInventory 디스크립터에 대한 XML 스키마의 일례를 예시한다. GPCCTileInventory 디스크립터에 대한 다양한 요소들 및 속성들에 대한 데이터 유형들은, 예를 들어, 표 16에 보여진 예시적인 스키마와 같은 XML 스키마에 따라 정의될 수 있다.
예를 들어, 클라이언트가 서버로부터 타일형 G-PCC 컴포넌트들 데이터를 막 스트리밍하려는 경우, 클라이언트는 MPD에 존재하는 타일 인벤토리 경계 박스 정보로부터 타일 ID를 선택할 수 있다(예컨대, 먼저 선택함). 예들에서, 선택된 tile_id를 갖는 G-PCC 컴포넌트들이 클라이언트로 스트리밍될 수 있다.
동적 G-PCC 타일 인벤토리 정보가 시그널링될 수 있다. 파라미터 세트 데이터 및/또는 타일 인벤토리 정보가 동적으로 변경되는 경우에, 그러한 변경들에 관한 정보는 G-PCC 기본 트랙의 샘플들에서 반송될 수 있다. 예들에서, 기하구조 기반 포인트 클라우드 내의 다수의 타일들이 존재하고, 타일들의 경계 박스 정보가 동적으로 변경되고 있을 때, (예컨대, 파라미터 세트들 데이터와 함께) 타일들 경계 박스 정보가 메인 적응 세트의 표현들의 매체 세그먼트들에서 반송될 수 있다.
공간 영역들은 정적일 수 있다. 예를 들어, 3D 공간 영역들이 정적인 경우, 공간 영역들의 특성들 및/또는 영역들과 G-PCC 타일들 사이의 맵핑들이 (예컨대, GPCC3DRegions 디스크립터를 사용하여) 시그널링될 수 있다. 3D 공간 영역들은, 예를 들어, 영역(예컨대, 각각의 영역)의 포지션 및 차원들이 프리젠테이션 시간에 걸쳐 변경되지 않는 경우 정적일 수 있다. GPCC3DRegions 디스크립터는, 예를 들어, "urn:mpeg:mpegI:gpcc:2020:gpsr"과 동일한 @schemeIdUri 속성을 갖는 SupplementalProperty 요소일 수 있다. GPCC3DRegions 디스크립터(예컨대, 단일 GPCC3DRegions 디스크립터)는, 예를 들어, 적응 세트 레벨 및/또는 메인 G-PCC 트랙에서의 표현 레벨에서, 또는 기하구조 기반 볼류메트릭 매체 콘텐츠에 대한 사전선택 레벨에서 존재할 수 있다.
GPCC3DRegions 디스크립터의 @value 속성은 존재하지 않을 수 있다. GPCC3DRegions 디스크립터는 (예컨대, 표 17에 특정된 바와 같은) 요소들 및/또는 속성들을 포함할 수 있다. 표 17은 GPCC3DRegions 디스크립터와 연관된 요소들 및 속성들의 일례를 보여준다.
GPCC3DRegions 디스크립터에 대한 다양한 요소들 및 속성들에 대한 데이터 유형들은 표 18에 보여진 XML 스키마와 같은 스키마에 의해 정의될 수 있다. 표 18은 GPCC3DRegions 디스크립터에 대한 XML 스키마의 일례를 보여준다.
예들에서, 예를 들어, 3D 공간 영역들이 정적이고 타일 인벤토리 정보가 이용가능하지 않은 경우, 공간 영역들의 특성들 및/또는 공간 영역들과 G-PCC 컴포넌트들의 대응하는 AdaptationSets 사이의 맵핑들이 (예컨대, GPCC3DRegions 디스크립터를 사용하여) 시그널링될 수 있다. GPCC3DRegions 디스크립터는, 예를 들어, "urn:mpeg:mpegI:gpcc:2020:gpsr"과 동일한 @schemeIdUri 속성을 갖는 SupplementalProperty 요소일 수 있다. GPCC3DRegions 디스크립터(예컨대, 단일 GPCC3DRegions 디스크립터)는, 예를 들어, 적응 세트 레벨 및/또는 메인 G-PCC 트랙에서의 표현 레벨에서, 또는 기하구조 기반 볼류메트릭 매체 콘텐츠에 대한 사전선택 레벨에서 존재할 수 있다.
GPCC3DRegions 디스크립터의 @value 속성은 존재하지 않을 수 있다. GPCC3DRegions 디스크립터는 (예컨대, 표 19에 특정된 바와 같은) 요소들 및 속성들을 포함할 수 있다. 표 19는 GPCC3DRegions 디스크립터에 대한 요소들 및 속성들의 일례를 보여준다.
GPCC3DRegions 디스크립터에 대한 다양한 요소들 및 속성들에 대한 데이터 유형들은, 예를 들어, XML 스키마와 같은 스키마에 따라 정의될 수 있다. 표 20은 GPCC3DRegions 디스크립터에 대한 XML 스키마의 일례를 보여준다.
예들에서, 예를 들어, 3D 공간 영역들이 정적인 경우, 공간 영역과 G-PCC 컴포넌트들의 대응하는 AdaptationSets 사이의 맵핑이 GPCC3DRegionId 디스크립터를 사용하여 시그널링될 수 있다. 디스크립터는 "urn:mpeg:mpegI:gpcc:2020:gp3rid"와 동일한 @schemeIdUri 속성을 갖는 SupplementalProperty 요소일 수 있다. 단일 GPCC3DRegionId 디스크립터는 G-PCC 컴포넌트(예컨대, 각각의 G-PCC 컴포넌트)의 적응 세트 레벨에 존재할 수 있다. GPCC3DRegionId는, 예를 들어, gpsr.spatialRegion@asIds 속성이 GPCC3DRegions 디스크립터에 존재하는 경우, 존재하지 않을 수 있다.
GPCC3DRegionId 디스크립터의 @value 속성은 존재하지 않을 수 있다. GPCC3DRegionId 디스크립터는 표 21에 보여진 바와 같은 하나 이상의 속성들을 포함할 수 있다.
속성들에 대한 데이터 유형들은 XML 스키마에 제공된 바와 같을 수 있다. GPCC3DRegionID 디스크립터에 대한 XML 스키마가 하기에 보여진다. 스키마는 명칭공간 urn:mpeg:mpegI:gpcc:2020을 포함하는 XML 스키마로 표현될 수 있고, 표 22에 특정된다.
예들에서, 예를 들어, 3D 공간 영역(들)이 정적인 경우, 공간 영역과 G-PCC 컴포넌트들의 대응하는 AdaptationSets 사이의 맵핑이 GPCCComponents 디스크립터를 사용하여 시그널링될 수 있다. GPCCComponent 디스크립터는 표 23에 정의된 바와 같은 요소들 및 속성들을 포함할 수 있다. GPCC3DRegonID 디스크립터는, 예를 들어, @region_Id 속성이 GPCCComponents 디스크립터에 존재하는 경우, 존재하지 않을 수 있다.
GPCCComponent 디스크립터에 대한 XML 스키마의 일례는 하기 표 24에 예시된 바와 같다.
일례에서, 하나 이상의 공간 영역들은 동적일 수 있다. 동적일 수 있는 3D 파티션들의 경우에, 프리젠테이션 타임라인에 대한 3D 영역(예컨대, 각각의 3D 영역)의 포지션 및/또는 차원들을 시그널링하기 위한 시한 메타데이터 트랙은 단일 표현을 갖는 별개의 AdaptationSet에서 반송될 수 있다. 시한 메타데이터 트랙은 메인 G-PCC 적응 세트(들)와 연관(예컨대, 링크)될 수 있다. 사용된 속성들은, 대응하는 AdaptationSet 또는 표현에 대한 4CC 'gpdr'를 포함하는 @associationId 속성 및 @associationType 값을 포함할 수 있다.
스트리밍 클라이언트 거동은 시그널링, 예를 들어, 하나 이상의 디스크립터들의 시그널링에 기초할 수 있다. DASH 클라이언트는, 예를 들어, MPD에 제공된 정보에 의해 안내될 수 있다. 다음은, 예를 들어, 본 명세서에 개시된 시그널링 예들을 사용하는, 스트리밍 기하구조 기반 포인트 클라우드 압축 콘텐츠에 대한 클라이언트 거동의 일례이다. 예시적인 클라이언트 거동은, 예를 들어, 메인 포인트 클라우드 AdaptationSet에 대한 컴포넌트 AdaptationSets의 연관성이 G-PCC 디스크립터를 사용하여 시그널링된다는 것을 가정할 수 있다.
스트리밍 클라이언트는, 예를 들어, 목적지가 콘텐츠 서버로 설정되어 있는, HTTP 요청을 발행(예컨대, 먼저 발행)할 수 있다. 스트리밍 클라이언트는 콘텐츠 서버로부터 MPD 파일을 다운로드할 수 있다. 클라이언트는, 예를 들어, MPD 파일에서 XML 요소들의 대응하는 인메모리(in-memory) 표현을 생성하기 위해 MPD 파일을 파싱할 수 있다.
스트리밍 클라이언트는, 예를 들어, 일정 기간에서 이용가능한 G-PCC 매체 콘텐츠를 식별하기 위해 기간 레벨(예컨대, 'gpc1' 또는 'gpt1'로 설정된 @codecs 속성을 가짐)에서 사전선택 요소들을 체크할 수 있다.
사전선택 요소에 의해 표현되는 포인트 클라우드 콘텐츠에 속하는 AdaptationSets(예컨대, 모든 AdaptationSets)는, 예를 들어, 사전선택의 @preselectionComponents 속성에서 ID 목록을 체크함으로써 식별될 수 있다. 메인 적응 세트는 목록 내의 제1 ID의 것과 동일한 @id 값을 포함할 수 있다.
스트리밍 클라이언트는, 예를 들어, AdaptationSets의 G-PCC 디스크립터들 및/또는 동일한 콘텐츠의 버전들로서 그들의 G-PCC 디스크립터에서 동일한 @gpcId 값을 갖는 AdaptationSets의 그룹들을 체크함으로써, 고유한 포인트 클라우드의 수를 식별할 수 있다.
(예컨대, @preselectionComponent 속성의 ID 목록에서 참조된 나머지 AdaptionSets의 GPCCComponent 디스크립터들을 체크함으로써) 스트리밍 클라이언트는 포인트 클라우드의 컴포넌트들을 식별할 수 있고, 컴포넌트(예컨대, 각각의 컴포넌트)를 그의 대응하는 AdaptationSet에 맵핑할 수 있다. 예들에서, 하나 초과의 포인트 클라우드 컴포넌트들이 AdaptationSet에 존재할 수 있다.
원하는 콘텐츠에 대응하는 G-PCC 디스크립터에 존재하는 @gpcId 값을 갖는 AdaptationSets의 그룹은, 예를 들어, 사용자가 스트리밍에 관심이 있을 수 있는 포인트 클라우드 콘텐츠에 기초하여, @preselectionComponent 속성의 ID 목록으로부터 선택될 수 있다. 스트리밍 클라이언트는, 예를 들어, 다수의 사전선택 디스크립터들이 동일한 @gpcId 값을 갖고 존재하는 경우, 지원된 버전(예컨대, 지원된 해상도)을 갖는 AdaptationSets 그룹을 선택할 수 있다. 예를 들어, 동일한 @gpcId 값을 갖고 존재하는 다수의 사전선택 디스크립터가 존재하지 않는 경우, 유일한 AdaptationSets 그룹이 선택될 수 있다.
클라이언트는, 예를 들어, G-PCC 디코더를 초기화하기 위한 파라미터 세트들을 포함하는 메인 적응 세트에 대한 초기화 세그먼트를 다운로드함으로써 포인트 클라우드를 스트리밍하기 시작할 수 있다. 코딩된 컴포넌트 스트림들에 대한 초기화 세그먼트들은 메모리에 다운로드되고/되거나 캐싱될 수 있다.
스트리밍 클라이언트는 (예컨대, HTTP를 통해 병렬로) 메인 적응 세트 및/또는 컴포넌트 적응 세트들로부터 시간 정렬된 매체 세그먼트들을 다운로드하기 시작할 수 있다. 예들에서, 다운로드된 세그먼트들은 인메모리 세그먼트 버퍼에 저장될 수 있다. 시간 정렬된 매체 세그먼트들은 그들 각자의 버퍼들로부터 제거되고/되거나 그들 각자의 초기화 세그먼트들과 연접될 수 있다.
매체 컨테이너(예컨대, ISO 기본 매체 파일 포맷(ISOBMFF))는, 예를 들어, 기본적인 스트림 정보 및 구조를 G-PCC 비트스트림으로부터 추출하기 위해 파싱될 수 있고, 비트스트림은 G-PCC 디코더로 패스될 수 있다.
다수의 타일을 갖는 G-PCC 매체를 스트리밍하기 위한 클라이언트 거동은, 본 명세서에 기술된 바와 같이, 예를 들어, MPD 시그널링을 사용하여 구현될 수 있다. 클라이언트(예컨대, 스트리밍 클라이언트)는 HTTP 요청을 발행하고/하거나 콘텐츠 서버로부터 MPD 파일을 다운로드할 수 있다. 클라이언트는 MPD 파일에서 XML 요소들의 대응하는 인메모리 표현을 생성하기 위해 MPD 파일을 파싱할 수 있다.
클라이언트는 'gpcb'로 설정된 @codecs 속성을 갖는 AdaptationSet 요소들을 체크할 수 있고, 기간 레벨에서 'gpt1'로 설정된 @codecs 속성을 갖는 사전선택 요소들을 체크하여, 예를 들어, 일정 기간 내에 이용가능한 G-PCC 타일형 매체 콘텐츠를 식별할 수 있다.
G-PCC 타일형 매체 콘텐츠가 존재할 때, 클라이언트는, 예를 들어, 클라이언트의 현재 뷰포트에 기초하여 포인트 클라우드 비트스트림에서 관심 타일들을 식별할 수 있다. 클라이언트는 GPCC3DRegions 디스크립터를 파싱할 수 있고/있거나 뷰포트 내에 있는 각자의 타일들을 찾을 수 있다. 3D 파티션들이 동적일 때, 프리젠테이션 타임라인 상의 3D 영역(예컨대, 각각의 3D 공간 영역)의 포지션 및/또는 차원들을 반송할 수 있는, 시한 메타데이터 적응 세트의 매체 세그먼트들이 다운로드될 수 있다. 뷰포트 내에 있는 3D 영역들이 식별될 수 있다. 영역들에 속하는 각자의 타일들이 식별될 수 있다.
관심 타일들이 발견되는 경우, 클라이언트는, 예를 들어, 사전선택 요소(예컨대, 각각의 사전선택 요소)에 존재하는 GPCCTileId 디스크립터를 파싱함으로써 타일들을 갖는 사전선택 요소들을 선택할 수 있다. GPCCTileId 디스크립터에서의 @tile_Ids 속성은 이용가능한 타일들을 열거할 수 있다. 관심 타일들을 갖는 사전선택 요소들이 선택될 수 있다. 사전선택들(예컨대, 다른 사전선택들)은 무시될 수 있다.
GPCCTileId 디스크립터가 이용가능하지 않을 때, 예를 들어, @preselectionComponents 속성의 id 목록으로부터 기하구조 타일 컴포넌트 적응 세트를 찾고 기하구조 타일 컴포넌트 적응 세트에 존재하는 GPCCComponent 디스크립터로부터 타일 ID들의 목록을 찾음으로써 사전선택 요소에 존재하는 타일들이 식별될 수 있다. 관심 타일들이 사전선택 요소에 존재하는 경우, 사전선택은 클라이언트에 의해 선택될 수 있다.
선택된 사전선택들로부터, 매체 세그먼트들을 다운로드하기 위해 사용될 타일 컴포넌트 적응 세트들의 그룹은 @preselectionComponent 속성의 ID 목록으로부터 식별될 수 있다. 예들에서, @preselectionComponents 목록은 기하구조 타일 컴포넌트 적응 세트 ID를 포함할 수 있다. @preselectionComponents 목록은 나머지 컴포넌트들 타일 컴포넌트 적응 세트 ID들을 포함할 수 있다. 메인 적응 세트의 ID는 @preselectionComponents 목록에 존재하지 않을 수 있다. 예를 들어, 메인 적응 세트의 ID는 기하구조 타일 컴포넌트 적응 세트의 표현에 존재하는 @dependencyId 속성을 사용하여 식별될 수 있다.
클라이언트는, 예를 들어, 메인 적응 세트로부터 초기화 세그먼트를 다운로드함으로써 포인트 클라우드를 스트리밍하기 시작할 수 있다. 초기화 세그먼트는 G-PCC 디코더를 초기화하기 위한 파라미터 세트들을 포함할 수 있다.
(예컨대, 존재하는 경우) 코딩된 컴포넌트 스트림들에 대한 초기화 세그먼트들은 메모리에 다운로드되고/되거나 캐싱될 수 있다.
스트리밍 클라이언트는 기하구조 타일 컴포넌트 적응 세트 및/또는 연관된 속성 타일 컴포넌트 적응 세트로부터 시간 정렬된 매체 세그먼트들을 다운로드할 수 있다. 다운로드는 HTTP를 통해 병렬로 수행될 수 있고, 다운로드된 세그먼트들은 인메모리 세그먼트 버퍼에 저장될 수 있다.
시간 정렬된 매체 세그먼트들은 그들 각자의 버퍼들로부터 제거되고/되거나 그들 각자의 초기화 세그먼트들과 연접될 수 있다.
매체 컨테이너(예컨대, ISOBMFF)는, 예를 들어, 기본적인 스트림 정보를 추출하기 위해 파싱될 수 있다. 매체 컨테이너는 구조화될 수 있고, 생성된 비트스트림은 G-PCC 디코더로 패스될 수 있다.
많은 실시예들이 본 명세서에 설명된다. 실시예들의 특징부들은 다양한 청구항 카테고리들 및 유형들에 걸쳐 단독으로 또는 임의의 조합으로 제공될 수 있다. 또한, 실시예들은, 예를 들어, 다음 중 임의의 것과 같은 다양한 청구항 카테고리들 및 유형들에 걸쳐, 단독으로 또는 임의의 조합으로, 본 명세서에 설명된 특징부들, 디바이스들, 또는 태양들 중 하나 이상을 포함할 수 있다.
예시적인 디코더(300)와 같은 디코더로서, 상기 디코더는, 포인트 클라우드 컴포넌트들과 연관된 요소들, 속성들, 및 메타데이터를 나타내는 (예를 들어, 본 명세서에 기술된 바와 같은) 신호들을 수신하고, 디코딩하고, 그리고 해석하도록; 매체 프리젠테이션 디스크립터(MPD) 내에서 포인트 클라우드 스트림들 및 그들의 컴포넌트 서브 스트림들을 식별하도록; 포인트 클라우드 및/또는 그의 컴포넌트들의 버전들을 식별하도록; MPD를 디코딩하여, 기하구조 기반 포인트 클라우드 압축(G-PCC) 콘텐츠에서 G-PCC 컴포넌트들을 식별하기 위해 메인 적응 세트 및 다른 적응 세트들을 식별하도록; MPD를 디코딩하여, 적응 세트 또는 표현에서 포인트 클라우드 컴포넌트의 유형을 식별하도록; MPD를 디코딩하여, 하나 이상의 사전선택들을 식별하도록; MPD를 디코딩하여, G-PCC 매체의 하나 이상의 버전들을 식별하도록; MPD를 디코딩하여, 하나 이상의 G-PCC 타일 그룹들을 식별하도록; MPD를 디코딩하여, 적응 세트에서 G-PCC 컴포넌트에 대한 하나 이상의 타일 ID들을 식별하도록; MPD를 디코딩하여, 공간 영역들의 하나 이상의 특성들 및 영역들과 G-PCC 타일들 사이의 맵핑들, 공간 영역들의 특성들 및 영역들과 G-PCC 컴포넌트들의 대응하는 적응 세트들 사이의 맵핑들, 및/또는 공간 영역과 G-PCC 컴포넌트들의 대응하는 적응 세트들 사이의 맵핑을 식별하도록; MPD를 디코딩하여, 동적 공간 영역들에 대한 시한 메타데이터 트랙을 식별하도록; 등을 하도록 구성됨.
디코더에서 본 명세서에 기술된 예들을 가능하게 하기 위해 사용되는 엔트로피 디코딩, 역양자화, 역변환, 및 차동 디코딩 중 하나 이상을 포함하는 디코딩 도구들 및 기법들.
예시적인 인코더(200)와 같은 인코더로서, 상기 인코더는, 예를 들어, 포인트 클라우드 컴포넌트들과 연관된 요소들, 속성들, 및 메타데이터를 나타내는 (예를 들어, 본 명세서에 기술된 바와 같은) 신호들을 생성하고, 인코딩하고, 그리고 전송하도록; MPD를 인코딩하여, 포인트 클라우드 스트림들 및 그들의 컴포넌트 서브 스트림들을 나타내도록; MPD를 인코딩하여, 기하구조 기반 포인트 클라우드 압축(G-PCC) 콘텐츠에서 G-PCC 컴포넌트들의 식별을 지원하기 위해 메인 적응 세트 및 다른 적응 세트들을 나타내도록; MPD를 인코딩하여, 적응 세트 또는 표현에서 포인트 클라우드 컴포넌트의 유형의 식별을 지원하도록; MPD를 인코딩하여, 하나 이상의 사전선택들을 식별하도록; MPD를 인코딩하여, G-PCC 매체의 하나 이상의 버전들의 식별을 지원하도록; MPD를 인코딩하여, 하나 이상의 G-PCC 타일 그룹들의 식별을 지원하도록; MPD를 인코딩하여, 적응 세트에서 G-PCC 컴포넌트에 대한 하나 이상의 타일 ID들의 식별을 지원하도록; MPD를 인코딩하여, 공간 영역들의 하나 이상의 특성들 및 영역들과 G-PCC 타일들 사이의 맵핑들, 공간 영역들의 특성들 및 영역들과 G-PCC 컴포넌트들의 대응하는 적응 세트들 사이의 맵핑들, 및/또는 공간 영역과 G-PCC 컴포넌트들의 대응하는 적응 세트들 사이의 맵핑의 식별을 지원하도록; MPD를 디코딩하여, 동적 공간 영역들에 대한 시한 메타데이터 트랙을 식별하도록; 등을 하도록 구성됨.
인코더에서 본 명세서에 기술된 예들을 가능하게 하기 위해 사용되는 양자화, 엔트로피 코딩, 역양자화, 역변환, 및 차동 코딩 중 하나 이상을 포함하는 인코딩 도구들 및 기법들.
예를 들어, 디코더가 본 명세서에 기술된 예들 중 임의의 것을 수행하는 것과 연관된 표시를 식별할 수 있게 하도록 시그널링에 삽입되는 신택스 요소(들).
예를 들어, 인코더가 본 명세서에 기술된 예들 중 임의의 것을 수행하는 것과 연관된 표시를 생성하거나 또는 인코딩할 수 있게 하도록 시그널링에 삽입되는 신택스 요소(들).
비트스트림 또는 신호는 본 명세서에 기술된 예들 중 임의의 것을 수행하는 것과 연관된 기술된 신택스 요소들 중 하나 이상, 또는 그들의 변형들을 포함할 수 있다.
기술된 신택스 요소들, 또는 이들의 변형들 중 하나 이상을 포함하는 비트스트림 또는 신호를 생성하고 그리고/또는 송신하고 그리고/또는 수신하고 그리고/또는 디코딩하기 위한 방법, 프로세스, 장치, 명령어들을 저장하는 매체, 데이터를 저장하는 매체, 또는 신호.
본 명세서에 기술된 예들 중 어느 하나에 따라, 생성하고 그리고/또는 송신하고 그리고/또는 수신하고 그리고/또는 디코딩하기 위한 방법, 프로세스, 장치, 명령어들을 저장하는 매체, 데이터를 저장하는 매체, 또는 신호.
본 명세서에 기술된 예들 중 어느 하나에 따라, 포인트 클라우드 스트리밍 서비스들에서의 포인트 클라우드 컴포넌트 서브스트림들과 같은, 기하구조 기반 포인트 클라우드들의 적응적 스트리밍을 수행하는 TV, 셋톱 박스, 휴대폰, 태블릿, 또는 다른 전자 디바이스.
본 명세서에 기술된 예들 중 어느 하나에 따라, 포인트 클라우드 스트리밍 서비스들에서의 포인트 클라우드 컴포넌트 서브스트림들과 같은, 기하구조 기반 포인트 클라우드들의 적응적 스트리밍을 수행하는, 그리고 생성된 이미지를 (예를 들어, 모니터, 스크린, 또는 다른 유형의 디스플레이를 사용하여) 디스플레이하는 TV, 셋톱 박스, 휴대폰, 태블릿, 또는 다른 전자 디바이스.
본 명세서에 기술된 예들 중 어느 하나에 따라, 인코딩된 이미지를 포함하는 신호를 수신하기 위한 채널을 (예를 들어, 튜너를 사용하여) 선택하는, 그리고 포인트 클라우드 스트리밍 서비스들에서의 포인트 클라우드 컴포넌트 서브스트림들과 같은, 기하구조 기반 포인트 클라우드들의 적응적 스트리밍을 수행하는 TV, 셋톱 박스, 휴대폰, 태블릿, 또는 다른 전자 디바이스.
본 명세서에 기술된 예들 중 어느 하나에 따라, 인코딩된 이미지를 포함하는 신호를 무선으로 (예를 들어, 안테나를 사용하여) 수신하는, 그리고 포인트 클라우드 스트리밍 서비스들에서의 포인트 클라우드 컴포넌트 서브스트림들과 같은, 기하구조 기반 포인트 클라우드들의 적응적 스트리밍을 수행하는 TV, 셋톱 박스, 휴대폰, 태블릿, 또는 다른 전자 디바이스.
특징들 및 요소들이 특정 조합들로 위에서 설명되었지만, 당업자는 각각의 특징 또는 요소가 단독으로 또는 다른 특징들 및 요소들과의 임의의 조합으로 사용될 수 있다는 것을 알 것이다. 또한, 본 명세서에서 기술된 방법들은 컴퓨터 또는 프로세서에 의한 실행을 위해 컴퓨터 판독가능 매체에 통합된 컴퓨터 프로그램, 소프트웨어 또는 펌웨어로 구현될 수 있다. 컴퓨터 판독 가능 매체들의 예들은 (유선 또는 무선 접속을 통해 송신되는) 전자 신호들 및 컴퓨터 판독 가능 저장 매체들을 포함한다. 컴퓨터 판독 가능 저장 매체들의 예들은 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스들, 내부 하드 디스크들 및 착탈식 디스크들과 같은 자기 매체들, 광자기 매체들, 및 CD-ROM 디스크들 및 디지털 다기능 디스크(DVD)들과 같은 광학 매체들을 포함하지만, 이에 한정되지 않는다. 소프트웨어와 연관된 프로세서는 WTRU, UE, 단말기, 기지국, RNC 또는 임의의 호스트 컴퓨터에서 사용하기 위한 무선 주파수 송수신기를 구현하는 데 사용될 수 있다.
Claims (17)
- 디바이스로서,
프로세서를 포함하고, 상기 프로세서는,
콘텐츠 서버로부터, 매체 프리젠테이션 디스크립션(media presentation description, MPD) 파일을 수신하도록;
상기 MPD 파일로부터, 사전선택 요소들의 세트를 식별하도록;
상기 사전선택 요소들의 세트 중 적어도 하나의 사전선택 요소와 연관된 하나 이상의 적응 세트들을 식별하도록 - 상기 하나 이상의 적응 세트들은 상기 사전선택 요소들 중 하나의 사전선택 요소와 연관된 속성에 의해 나타내어짐 -;
뷰포트와 연관된 기하구조 기반 포인트 클라우드 압축(geometry-based point cloud compression, GPCC) 타일 식별자를 결정하도록 - 상기 GPCC 타일 식별자는 상기 MPD 파일에서 수신된 제1 디스크립터에 기초하여 결정됨 -;
제2 디스크립터를 사용하여 상기 GPCC 타일 식별자와 연관된 하나 이상의 적응 세트들을 선택하도록;
상기 선택된 하나 이상의 적응 세트들과 연관된 포인트 클라우드 컴포넌트를 요청하도록; 그리고
상기 포인트 클라우드 컴포넌트를 수신하도록 구성되는, 디바이스. - 제1항에 있어서, 상기 프로세서는, 상기 사전선택 요소들의 세트로부터, 상기 GPCC 타일 식별자와 연관된 하나 이상의 사전선택 요소들을 선택하도록 추가로 구성되는, 디바이스.
- 제2항에 있어서, 상기 프로세서는 상기 선택된 하나 이상의 사전선택 요소들과 연관된 하나 이상의 적응 세트들을 선택하도록 추가로 구성되는, 디바이스.
- 제1항에 있어서, 상기 제1 디스크립터는 3차원(3D) 영역들 디스크립터이고, 상기 제2 디스크립터는 컴포넌트 디스크립터인, 디바이스.
- 제4항에 있어서, 상기 컴포넌트 디스크립터는 비트스트림과 연관된 컴포넌트 유형, 속성 유형, 인덱스, 또는 타일들의 세트 중 적어도 하나를 포함하는, 디바이스.
- 제4항에 있어서, 상기 3D 영역들 디스크립터는 3D 영역과 연관된 영역 위치, 하나 이상의 영역 차원들, 또는 타일들의 세트 중 적어도 하나를 포함하는, 디바이스.
- 제1항에 있어서, 상기 하나 이상의 적응 세트들 각각은 하나 이상의 표현들을 포함하는, 디바이스.
- 제7항에 있어서, 상기 하나 이상의 표현들은 비트레이트, 해상도, 채널들의 수, 또는 품질 레벨 중 적어도 하나를 포함하는, 디바이스.
- 방법으로서,
콘텐츠 서버로부터, 매체 프리젠테이션 디스크립션(MPD) 파일을 수신하는 단계;
상기 MPD 파일로부터, 사전선택 요소들의 세트를 식별하는 단계;
상기 사전선택 요소들의 세트 중 적어도 하나의 사전선택 요소와 연관된 하나 이상의 적응 세트들을 식별하는 단계 - 상기 하나 이상의 적응 세트들은 상기 사전선택 요소들 중 하나의 사전선택 요소와 연관된 속성에 의해 나타내어짐 -;
뷰포트와 연관된 기하구조 기반 포인트 클라우드 압축(GPCC) 타일 식별자를 결정하는 단계 - 상기 GPCC 타일 식별자는 상기 MPD 파일에서 수신된 제1 디스크립터에 기초하여 결정됨 -;
제2 디스크립터를 사용하여 상기 GPCC 타일 식별자와 연관된 하나 이상의 적응 세트들을 선택하는 단계;
상기 선택된 하나 이상의 적응 세트들과 연관된 포인트 클라우드 컴포넌트를 요청하는 단계; 및
상기 포인트 클라우드 컴포넌트를 수신하는 단계를 포함하는, 방법. - 제9항에 있어서, 상기 사전선택 요소들의 세트로부터, 상기 GPCC 타일 식별자와 연관된 하나 이상의 사전선택 요소들을 선택하는 단계를 추가로 포함하는, 방법.
- 제10항에 있어서, 상기 선택된 하나 이상의 사전선택 요소들과 연관된 하나 이상의 적응 세트들을 선택하는 단계를 추가로 포함하는, 방법.
- 제9항에 있어서, 상기 제1 디스크립터는 3차원(3D) 영역들 디스크립터이고, 상기 제2 디스크립터는 컴포넌트 디스크립터인, 방법.
- 제12항에 있어서, 상기 컴포넌트 디스크립터는 비트스트림과 연관된 컴포넌트 유형, 속성 유형, 인덱스, 또는 타일들의 세트 중 적어도 하나를 포함하는, 방법.
- 제12항에 있어서, 상기 3D 영역들 디스크립터는 3D 영역과 연관된 영역 위치, 하나 이상의 영역 차원들, 또는 타일들의 세트 중 적어도 하나를 포함하는, 방법.
- 제9항에 있어서, 상기 하나 이상의 적응 세트들 각각은 하나 이상의 표현들을 포함하는, 방법.
- 제15항에 있어서, 상기 하나 이상의 표현들은 비트레이트, 해상도, 채널들의 수, 또는 품질 레벨 중 적어도 하나를 포함하는, 방법.
- 제9항에 있어서, 상기 사전선택 요소들의 세트로부터, 다수의 포인트 클라우드 스트림들을 표현하는 하나 이상의 사전선택 요소들을 선택하는 단계를 포함하는, 방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063042481P | 2020-06-22 | 2020-06-22 | |
| US63/042,481 | 2020-06-22 | ||
| US202063084758P | 2020-09-29 | 2020-09-29 | |
| US63/084,758 | 2020-09-29 | ||
| PCT/US2021/038334 WO2021262623A1 (en) | 2020-06-22 | 2021-06-22 | Adaptive streaming of geometry-based point clouds |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230028792A true KR20230028792A (ko) | 2023-03-02 |
Family
ID=76943120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237002782A KR20230028792A (ko) | 2020-06-22 | 2021-06-22 | 기하구조 기반 포인트 클라우드들의 적응적 스트리밍 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20230276053A1 (ko) |
| EP (1) | EP4169260A1 (ko) |
| JP (1) | JP2023531943A (ko) |
| KR (1) | KR20230028792A (ko) |
| CN (1) | CN116134826A (ko) |
| AU (1) | AU2021296280A1 (ko) |
| MX (1) | MX2023000131A (ko) |
| TW (1) | TW202207714A (ko) |
| WO (1) | WO2021262623A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4095561A1 (en) * | 2021-05-27 | 2022-11-30 | Leica Geosystems AG | Reality capture device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020071111A1 (ja) * | 2018-10-02 | 2020-04-09 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
| WO2021258325A1 (en) * | 2020-06-24 | 2021-12-30 | Zte Corporation | Three-dimensional content processing methods and apparatus |
| CN114549778A (zh) * | 2020-11-26 | 2022-05-27 | 腾讯科技（深圳）有限公司 | 非时序点云媒体的处理方法、装置、设备及存储介质 |
| CN112700550A (zh) * | 2021-01-06 | 2021-04-23 | 中兴通讯股份有限公司 | 三维点云数据处理方法、装置、存储介质及电子装置 |
-
2021
- 2021-06-22 TW TW110122733A patent/TW202207714A/zh unknown
- 2021-06-22 JP JP2022579107A patent/JP2023531943A/ja active Pending
- 2021-06-22 AU AU2021296280A patent/AU2021296280A1/en active Pending
- 2021-06-22 KR KR1020237002782A patent/KR20230028792A/ko active Search and Examination
- 2021-06-22 EP EP21742596.6A patent/EP4169260A1/en active Pending
- 2021-06-22 WO PCT/US2021/038334 patent/WO2021262623A1/en unknown
- 2021-06-22 US US18/011,029 patent/US20230276053A1/en active Pending
- 2021-06-22 CN CN202180059837.1A patent/CN116134826A/zh active Pending
- 2021-06-22 MX MX2023000131A patent/MX2023000131A/es unknown
Also Published As
| Publication number | Publication date |
|---|---|
| MX2023000131A (es) | 2023-04-05 |
| CN116134826A (zh) | 2023-05-16 |
| JP2023531943A (ja) | 2023-07-26 |
| AU2021296280A1 (en) | 2023-02-02 |
| TW202207714A (zh) | 2022-02-16 |
| US20230276053A1 (en) | 2023-08-31 |
| EP4169260A1 (en) | 2023-04-26 |
| WO2021262623A1 (en) | 2021-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11568573B2 (en) | Methods and apparatus for point cloud compression bitstream format | |
| US20240195999A1 (en) | Dynamic adaptation of volumetric content component sub-bitstreams in streaming services | |
| US20220329923A1 (en) | Video-based point cloud streams | |
| US20230188751A1 (en) | Partial access support in isobmff containers for video-based point cloud streams | |
| EP4193602A1 (en) | Tile tracks for geometry-based point cloud data | |
| US20230276053A1 (en) | Adaptive streaming of geometry-based point clouds | |
| US20240022773A1 (en) | Mmt signaling for streaming of visual volumetric video-based and geometry-based point cloud media | |
| KR20240089338A (ko) | 기하구조 기반 포인트 클라우드의 적응적 스트리밍 | |
| TWI845715B (zh) | 在串流服務中立體內容成分次位元串流動態適應 | |
| WO2024006279A1 (en) | Signaling parameter sets for geometry-based point cloud streams | |
| WO2023057487A2 (en) | Transform unit partitioning for cloud gaming video coding | |
| CN116830588A (zh) | 用于基于视觉体积视频（v3c）媒体和基于几何的点云（g-pcc）媒体的流式传输的mmt信令 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |