KR20200064989A - 360도 비디오 코딩에서의 면 불연속 처리 - Google Patents
360도 비디오 코딩에서의 면 불연속 처리 Download PDFInfo
- Publication number
- KR20200064989A KR20200064989A KR1020207007921A KR20207007921A KR20200064989A KR 20200064989 A KR20200064989 A KR 20200064989A KR 1020207007921 A KR1020207007921 A KR 1020207007921A KR 20207007921 A KR20207007921 A KR 20207007921A KR 20200064989 A KR20200064989 A KR 20200064989A
- Authority
- KR
- South Korea
- Prior art keywords
- block
- current block
- discontinuity
- decoding
- face
- Prior art date
Links
- 238000012545 processing Methods 0.000 title description 16
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000002123 temporal effect Effects 0.000 claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims description 86
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 14
- 238000012856 packing Methods 0.000 claims description 11
- 239000000523 sample Substances 0.000 description 48
- 238000004891 communication Methods 0.000 description 38
- 239000013598 vector Substances 0.000 description 33
- 230000006870 function Effects 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 23
- 238000009795 derivation Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 241000023320 Luma <angiosperm> Species 0.000 description 8
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 8
- 230000011664 signaling Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 229920000742 Cotton Polymers 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 239000000969 carrier Substances 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 241000700159 Rattus Species 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 241000760358 Enodes Species 0.000 description 2
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
재구성된 샘플들의 배제(discounting) 및/또는 면 불연속(face discontinuities)에 걸친 공간적 이웃들(spatial neighbors)로부터의 정보의 코딩을 위한 시스템들, 방법들 및 수단들이 제공될 수 있다. 현재 블록이 면 불연속에 위치해 있는지의 여부가 결정될 수 있다. 면 불연속은 구형(spherical) 이웃이 아닌 두 개 이상의 인접한 블록들 사이의 면 경계일 수 있다. 현재 블록의 이웃하는 블록의 코딩 가용성(availability)은 예를 들어, 이웃하는 블록이 현재 블록과 면 불연속의 동일한 쪽에 있는지의 여부에 기반하여 결정될 수 있다. 예를 들어, 이웃하는 블록은 현재 블록과 면 불연속의 동일한 쪽에 있다면 현재 블록을 디코딩하는 데 이용 가능한 것으로, 면 불연속의 동일한 쪽에 있지 않다면 이용 불가능한 것으로 결정될 수 있다. 이웃하는 블록은 공간적 이웃 블록 또는 시간적 이웃 블록일 수 있다.
Description
관련 출원에 대한 상호 참조
본 출원은 2017년 9월 20일 출원된 미국 가출원 제62/560,992호, 2018년 1월 26일 출원된 미국 가출원 제62/622,551호, 2018년 2월 2일 출원된 미국 가출원 제62/625,575호 및 2018년 2월 9일 출원된 미국 가출원 제62/628,752호에 대하여 우선권을 주장하며, 이들의 내용은 본 명세서에 참조로 포함된다.
가상 현실(VR; Virtual Reality)은 헬스케어, 교육, 소셜 네트워킹, 산업 디자인/훈련, 게임, 영화, 쇼핑, 엔터테인먼트 등을 포함하지만 이에 제한되지는 않는 많은 응용 분야에 적용되고 있다. VR은 예를 들어, 보는 사람을 둘러싸는 가상 환경을 만들고 보는 사람을 위한 정말 “그 곳에 있는” 느낌을 생성함으로써 보는 사람의 경험을 향상시킬 수 있다. VR 시스템은 자세, 제스처, 시선, 음성 등을 통한 상호작용을 지원할 수 있다. 시스템은 사용자가 VR 환경에서 자연스러운 방식으로 객체와 상호작용할 수 있도록 사용자에게 촉감(haptic) 피드백을 제공할 수 있다.
재구성된 샘플들의 배제(discounting) 및/또는 면 불연속(face discontinuities)에 걸친 공간적 이웃들(spatial neighbors)로부터의 정보의 코딩을 위한 시스템들, 방법들 및 수단들이 제공될 수 있다. 현재 블록이 면 불연속에 위치해 있는 지의 여부가 결정될 수 있다. 면 불연속은 구형(spherical) 이웃이 아닌 두 개 이상의 인접한 블록들 사이의 면 경계일 수 있다. 현재 블록의 이웃하는 블록의 코딩 가용성(availability)은 예를 들어, 이웃하는 블록이 현재 블록과 면 불연속의 동일한 쪽에 있는 지의 여부에 기반하여 결정될 수 있다. 예를 들어, 이웃하는 블록은 현재 블록과 면 불연속의 동일한 쪽에 있다면 현재 블록을 디코딩하는 데 이용 가능한 것으로, 면 불연속의 동일한 쪽에 있지 않다면 이용 불가능한 것으로 결정될 수 있다. 이웃하는 블록은 공간적 이웃 블록 또는 시간적 이웃 블록일 수 있다.
현재 블록이 면 불연속에 위치한다고 결정하는 것은 비트스트림에서의 면 불연속 표시에 기반할 수 있다. 면 불연속 표시는 면 경계가 불연속 면 경계라는 표시일 수 있다. 면 불연속 표시는 면 불연속의 두 개 이상의 종점(endpoint)의 표시일 수 있다. 면 불연속 표시는 프레임 패킹 정보의 표시일 수 있다.
디코딩 기능은 예를 들어 이웃하는 블록의 코딩 가용성에 기반하여, 현재 블록에 대하여 수행될 수 있다. 디코딩 기능은 현재 블록에 대한 병합 모드를 도출하는 것을 포함할 수 있다. 예를 들어, 이웃하는 블록이 이용 가능한 것으로 결정된다면, 이웃하는 블록은 병합 후보 리스트(예를 들어, 후보 블록들의 리스트)에 추가될 수 있다. 이웃하는 블록이 이용 불가능한 것으로 결정된다면 이웃하는 블록은 병합 후보 리스트로부터 제외될 수 있다. 디코딩 기능은, 예를 들어, 인터 예측(inter-prediction), 인트라 예측(intra-prediction), 컴포넌트 간 선형 모델 예측(cross-component linear model prediction), 오버랩된 블록 모션 보상(overlapped block motion compensation), 디블로킹 필터(deblocking filter), 샘플 적응 오프셋 필터(sample adaptive offset filter) 또는 적응 루프 필터(adaptive loop filter)일 수 있다.
재구성된 샘플의 코딩 가용성은 예를 들어, 재구성된 샘플이 현재 블록과 면 불연속의 동일한 쪽에 있는 지의 여부에 기반하여 결정될 수 있다. 예를 들어, 재구성된 샘플은 현재 블록과 면 불연속의 동일한 쪽에 있다면 현재 블록을 디코딩하는 데 이용 가능한 것으로, 면 불연속의 동일한 쪽에 있지 않다면 이용 불가능한 것으로 결정될 수 있다. 이용 불가능한 재구성된 샘플은 하나 이상의 이용 가능한 재구성된 샘플들로 대체될 수 있다. 이용 불가능한 재구성된 샘플을 포함하는 템플릿은 이용 불가능한 것으로 표시될 수 있다.
현재 블록은 면 불연속에 의해 교차될 수 있다. 현재 블록은 두 개 이상의 예측 유닛(PU; Prediction Unit)들로 분할될 수 있다. PU들은 면 불연속에 의해 분리될 수 있다. 모션 보상은 각각의 PU에 대해 개별적으로 수행될 수 있다.
재구성된 샘플의 코딩 가용성에 기반하여 현재 블록에 대하여 디코딩 기능을 수행하는 것은 컴포넌트 간 선형 모델 예측, 오버랩된 블록 모션 보상(OMBC; Cverlapped Block Motion Compensation), 디블로킹 필터(DBF; DeBlocking Filter), 샘플 적응 오프셋(SAO; Sample Adaptive Offset) 필터 및/또는 적응 루프 필터(ALF; Adaptive Loop Filter) 중 하나 이상을 적용하는 것을 포함할 수 있다.
프레임 패킹된(frame-packed) 화상에서의 면 불연속은, 예를 들어 비트스트림에서 시그널링된 면 불연속 표시에 기반하여 식별될 수 있다. 예에서, 면 불연속 표시는 면 불연속에 대응하는 에지를 식별하는 프레임 패킹 정보를 포함할 수 있다. 예에서, 면 불연속 표시는 두 면 사이의 경계가 연속적인지 또는 불연속인지를 포함할 수 있다. 예에서, 면 불연속 표시는 면 불연속의 종점 좌표들의 표시를 포함할 수 있다. 면 불연속의 결정 및/또는 시그널링이 수행될 수 있다.
인트라 및 인터 예측의 경우, 블록이 면 불연속의 오른쪽에 위치한다면, 왼쪽, 왼쪽 위 및 왼쪽 아래의 프레임 패킹된 이웃하는 블록은 면 불연속의 다른 쪽에 위치할 수 있고, 예를 들어 인트라 각형(angular) 프로세스에서 가장 개연성 있는 모드의 도출, 인터 예측에서 병합 모드의 도출 및/또는 모션 벡터 예측과 같은 속성들의 추론에 이용 불가능한 것으로 간주될 것이다. 면 불연속의 왼쪽, 위 및/또는 아래에 위치할 수 있는 현재 블록에 유사한 고려사항이 적용될 수 있다. 면 불연속에서의 공간적 후보들의 코딩 가용성이 결정될 수 있다.
인트라 및 인터 예측의 경우, 블록이 면 불연속의 오른쪽에 위치한다면, 블록의 왼쪽에 위치한 재구성된 샘플들은 면 불연속의 다른 쪽에 위치할 수 있고 현재 블록 샘플들과 상관되지 않을 수 있다. 이러한 경우에, 재구성된 샘플들은 예를 들어, 인트라 예측에서의 DC, 평면형 및/또는 각형 모드, 인터 예측에서의 프레임율 상승 변환(FRUC; Frame Rate Up Conversion) 템플릿 모드 및 로컬 조명 보상(LIC; Local Illumination Compensation) 모드와 같은 하나 이상의 예측 접근법에서 이용 불가능한 것으로 간주될 수 있다. 면 불연속의 왼쪽, 위 및/또는 아래에 위치하는 현재 블록에 유사한 고려사항이 적용될 수 있다. 면 불연속에서의 재구성된 샘플들의 코딩 가용성이 결정될 수 있다.
컴포넌트 간 선형 모델 예측의 경우, 면 불연속에서의 재구성된 샘플들은 현재 블록과 면 불연속의 동일한 쪽에 위치하지 않는다면 폐기될 수 있다. 예를 들어, 블록이 면 불연속의 오른쪽(또는 아래)에 위치한다면, 면 불연속의 왼쪽(또는 위)에 위치한 재구성된 샘플들은 선형 모델의 파라미터들의 추정을 위해 폐기될 수 있다. 선형 모델 파라미터들의 도출이 수행될 수 있다.
면 불연속의 한 쪽의 템플릿은 DIMD 탐색을 위해 폐기될 수 있다. 예를 들어, 블록이 면 불연속의 오른쪽에 또는 그 근처(예를 들어, 아래)에 위치하고, 왼쪽(예를 들어, 위) 템플릿으로부터의 샘플들의 일부 또는 전부 및/또는 왼쪽(예를 들어, 위) 템플릿을 예측하기 위해 사용된 왼쪽(예를 들어, 위) 참조 샘플들로부터의 샘플들의 일부 또는 전부가 면 불연속의 다른 쪽에 위치한다면, 불연속의 다른 쪽의 템플릿은 DIMD 탐색을 위해 폐기될 수 있다. 면 불연속 근처의 위 및 왼쪽의 템플릿들의 DIMD에서의 사용이 결정될 수 있다.
OBMC의 경우, 현재 블록(또는 서브 블록)이 면 불연속의 오른쪽에 위치한다면, 면 불연속의 다른 쪽에 위치한, 오른쪽 블록(또는 서브 블록)의 모션 벡터를 사용하는 현재 블록(또는 서브 블록)의 제1 열들의 조정은 생략될 수 있다. 면 불연속의 왼쪽, 위 및/또는 아래에 위치하는 현재 블록(또는 서브 블록)에 유사한 고려사항이 적용될 수 있다. 면 불연속에서의 블록들(또는 서브 블록들)의 OBMC 기반 조정이 수행될 수 있다.
DBF의 경우, DBF 필터에 사용된 하나 이상의(예를 들어, 모든) 샘플들이 면 불연속의 동일한 쪽에 위치하지 않도록 수직(또는 수평) 블록 경계가 수직(또는 수평) 면 불연속의 가까이에 있다면, DBF는 블록 경계에 걸쳐 비활성화될 수 있다. 면 불연속에 걸친 디블로킹이 수행될 수 있다.
SAO의 경우, 현재 샘플이 면 불연속의 오른쪽에 위치한다면, 에지 오프셋 모드에서의 수평 및 두 개의 대각선 카테고리들은 그 샘플 위치에 대해 비활성화될 수 있는데, 이는 그라디언트 기반 분류에 사용된 샘플이 면 불연속의 다른 쪽에 위치할 수 있고 현재 샘플과 상관되지 않을 수 있기 때문이다. 면 불연속의 왼쪽, 위 및/또는 아래에 위치하는 현재 샘플에 유사한 고려사항이 적용될 수 있다. 면 불연속에서의 SAO 프로세스가 수행될 수 있다.
ALF의 경우, 현재 루마(luma)(또는 크로마(chroma)) 샘플이 면 불연속으로부터의 네 개(또는 두 개)의 샘플들 내에 위치한다면, ALF는 그 샘플 위치에 대해 비활성화될 수 있는데, 이는 9×9(또는 5×5) 마름모 필터에 사용된 하나 이상의 샘플들이 면 불연속의 다른 쪽에 위치할 수 있고 현재 샘플과 상관되지 않을 수 있기 때문이다. ALF는 면 불연속에서 수행될 수 있다.
도 1a는 등방형 투영법(ERP; EquiRectangular Projection)에서의 경도 방향 및 위도 방향을 따른 예시적인 구체(sphere) 샘플링을 도시한다.
도 1b는 ERP에서의 예시적인 2D 평면을 도시한다.
도 1c는 ERP를 사용하여 생성된 예시적인 화상을 도시한다.
도 2a는 큐브맵 투영법(CMP; CubeMap Projection)에서의 예시적인 3D 지오메트리 구조를 도시한다.
도 2b는 3x2 프레임 패킹 및 여섯 개의 면들을 갖는 예시적인 2D 평면을 도시한다.
도 2c는 큐브맵 투영법을 사용하여 생성된 예시적인 화상을 도시한다.
도 3은 예시적인 360도 비디오 프로세싱을 도시한다.
도 4는 예시적인 블록 기반 인코더의 블록 다이어그램을 도시한다.
도 5는 예시적인 블록 기반 디코더의 블록 다이어그램을 도시한다.
도 6은 고효율 비디오 코딩(HEVC; High Efficiency Video Coding) 인트라 예측에서 참조 샘플들을 사용하는 예를 도시한다.
도 7은 HEVC에서의 인트라 예측 방향의 예시적인 표시들을 도시한다.
도 8은 HEVC 인트라 각형 프로세스에서 가장 개연성 있는 모드의 도출을 위해 사용된 공간적 이웃들의 예들을 도시한다.
도 9는 하나의 모션 벡터를 갖는 예시적인 인터 예측(단방향 예측(uni-prediction))을 도시한다.
도 10은 HEVC 병합 프로세스에서 공간적 병합 후보들을 도출하는 데 사용된 공간적 이웃들의 예들을 도시한다.
도 11은 디블로킹 필터(DBF) 온/오프 결정, 필터 선택 및 필터링에 관련된 샘플들의 예들을 도시한다.
도 12는 샘플 적응 오프셋(SAO)에 사용된 그라디언트 패턴들의 예들을 도시한다: (a) 수평; (b) 수직; (c) 대각선; 및 (d) 45°대각선 그라디언트 패턴.
도 13은 컴포넌트 간 선형 모델 예측에서 α 및 β의 도출을 위해 사용된 샘플들의 예시적인 위치들을 도시한다.
도 14는 예시적인 오버랩된 블록 모션 보상을 도시한다.
도 15는 로컬 조명 보상과 연관된 예를 도시한다.
도 16은 적응 루프 필터(ALF) 형태들의 예들을 도시한다: (a) 5×5 마름모; (b) 7×7 마름모; 및 (c) 9×9 마름모 필터 형태.
도 17은 디코더 측 인트라 모드 도출(DIMD; Decoder-side Intra Mode Derivation)에서의 타겟, 템플릿 및 참조 샘플을 갖는 예를 도시한다.
도 18은 예시적인 CMP를 도시한다; (a) 3D 표현; 및 (b) 3×2 프레임 패킹 구성.
도 19는 면 불연속이 현재 블록의 (a) 위; (b) 아래; (c) 왼쪽; 또는 (d) 오른쪽에 위치할 때 공간적 이웃들의 예시적인 가용성을 도시한다.
도 20은 면 불연속이 현재 블록의 (a) 위; (b) 아래; (c) 왼쪽; 또는 (d) 오른쪽에 위치할 때 재구성된 샘플들의 예시적인 가용성을 도시한다.
도 21은 (a) 서브 블록 기반 모션 보상, (b) 서브 블록 병합을 이용한 서브 블록 기반 모션 보상 및 (c) 면 불연속 근처에서의 서브 블록 병합을 이용한 서브 블록 기반 모션 보상의 예시적인 비교를 도시한다.
도 22는 (a) 모션 보상 및 (b) 면 불연속 근처에서의 모션 보상의 예시적인 비교를 도시한다.
도 23은 면 불연속이 현재 블록의 (a) 위; 또는 (b) 왼쪽에 위치할 때 컴포넌트 간 선형 모델 예측을 위해 사용된 재구성된 샘플들의 예시적인 가용성을 도시한다.
도 24는 (a) OBMC 설계, (b) 행/열 기반 서브 블록 병합 및 (c) 면 불연속 근처에서의 서브 블록 병합에 기반한 외부 오버랩된 블록 모션 보상(OBMC) 기반 모션 보상의 예시적인 비교를 도시한다.
도 25a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템을 도시하는 시스템 다이어그램이다.
도 25b는 일 실시예에 따른 도 25a에서 도시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 송신/수신 유닛(WTRU; Wireless Transmit/Receive Unit)을 도시하는 시스템 다이어그램이다.
도 25c는 일 실시예에 따른 도 25a에서 도시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 액세스 네트워크(RAN; Radio Access Network) 및 예시적인 코어 네트워크(CN; Core Network)를 도시하는 시스템 다이어그램이다.
도 25d는 일 실시예에 따른 도 25a에서 도시된 통신 시스템 내에서 사용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN을 도시하는 시스템 다이어그램이다.
도 1b는 ERP에서의 예시적인 2D 평면을 도시한다.
도 1c는 ERP를 사용하여 생성된 예시적인 화상을 도시한다.
도 2a는 큐브맵 투영법(CMP; CubeMap Projection)에서의 예시적인 3D 지오메트리 구조를 도시한다.
도 2b는 3x2 프레임 패킹 및 여섯 개의 면들을 갖는 예시적인 2D 평면을 도시한다.
도 2c는 큐브맵 투영법을 사용하여 생성된 예시적인 화상을 도시한다.
도 3은 예시적인 360도 비디오 프로세싱을 도시한다.
도 4는 예시적인 블록 기반 인코더의 블록 다이어그램을 도시한다.
도 5는 예시적인 블록 기반 디코더의 블록 다이어그램을 도시한다.
도 6은 고효율 비디오 코딩(HEVC; High Efficiency Video Coding) 인트라 예측에서 참조 샘플들을 사용하는 예를 도시한다.
도 7은 HEVC에서의 인트라 예측 방향의 예시적인 표시들을 도시한다.
도 8은 HEVC 인트라 각형 프로세스에서 가장 개연성 있는 모드의 도출을 위해 사용된 공간적 이웃들의 예들을 도시한다.
도 9는 하나의 모션 벡터를 갖는 예시적인 인터 예측(단방향 예측(uni-prediction))을 도시한다.
도 10은 HEVC 병합 프로세스에서 공간적 병합 후보들을 도출하는 데 사용된 공간적 이웃들의 예들을 도시한다.
도 11은 디블로킹 필터(DBF) 온/오프 결정, 필터 선택 및 필터링에 관련된 샘플들의 예들을 도시한다.
도 12는 샘플 적응 오프셋(SAO)에 사용된 그라디언트 패턴들의 예들을 도시한다: (a) 수평; (b) 수직; (c) 대각선; 및 (d) 45°대각선 그라디언트 패턴.
도 13은 컴포넌트 간 선형 모델 예측에서 α 및 β의 도출을 위해 사용된 샘플들의 예시적인 위치들을 도시한다.
도 14는 예시적인 오버랩된 블록 모션 보상을 도시한다.
도 15는 로컬 조명 보상과 연관된 예를 도시한다.
도 16은 적응 루프 필터(ALF) 형태들의 예들을 도시한다: (a) 5×5 마름모; (b) 7×7 마름모; 및 (c) 9×9 마름모 필터 형태.
도 17은 디코더 측 인트라 모드 도출(DIMD; Decoder-side Intra Mode Derivation)에서의 타겟, 템플릿 및 참조 샘플을 갖는 예를 도시한다.
도 18은 예시적인 CMP를 도시한다; (a) 3D 표현; 및 (b) 3×2 프레임 패킹 구성.
도 19는 면 불연속이 현재 블록의 (a) 위; (b) 아래; (c) 왼쪽; 또는 (d) 오른쪽에 위치할 때 공간적 이웃들의 예시적인 가용성을 도시한다.
도 20은 면 불연속이 현재 블록의 (a) 위; (b) 아래; (c) 왼쪽; 또는 (d) 오른쪽에 위치할 때 재구성된 샘플들의 예시적인 가용성을 도시한다.
도 21은 (a) 서브 블록 기반 모션 보상, (b) 서브 블록 병합을 이용한 서브 블록 기반 모션 보상 및 (c) 면 불연속 근처에서의 서브 블록 병합을 이용한 서브 블록 기반 모션 보상의 예시적인 비교를 도시한다.
도 22는 (a) 모션 보상 및 (b) 면 불연속 근처에서의 모션 보상의 예시적인 비교를 도시한다.
도 23은 면 불연속이 현재 블록의 (a) 위; 또는 (b) 왼쪽에 위치할 때 컴포넌트 간 선형 모델 예측을 위해 사용된 재구성된 샘플들의 예시적인 가용성을 도시한다.
도 24는 (a) OBMC 설계, (b) 행/열 기반 서브 블록 병합 및 (c) 면 불연속 근처에서의 서브 블록 병합에 기반한 외부 오버랩된 블록 모션 보상(OBMC) 기반 모션 보상의 예시적인 비교를 도시한다.
도 25a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템을 도시하는 시스템 다이어그램이다.
도 25b는 일 실시예에 따른 도 25a에서 도시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 송신/수신 유닛(WTRU; Wireless Transmit/Receive Unit)을 도시하는 시스템 다이어그램이다.
도 25c는 일 실시예에 따른 도 25a에서 도시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 액세스 네트워크(RAN; Radio Access Network) 및 예시적인 코어 네트워크(CN; Core Network)를 도시하는 시스템 다이어그램이다.
도 25d는 일 실시예에 따른 도 25a에서 도시된 통신 시스템 내에서 사용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN을 도시하는 시스템 다이어그램이다.
예시적인 실시예들의 상세한 설명은 이제 다양한 도면들을 참조하여 설명될 것이다. 비록 이 설명이 가능한 구현들의 상세한 예를 제공할지라도, 세부사항은 예시적인 것으로 의도되며 결코 본 출원의 범위를 제한하지 않음에 유의하여야 한다.
VR 시스템은 하나 이상의 전방향(omnidirectional) 비디오들을 사용할 수 있다. 예를 들어, 하나 이상의 전방향 비디오들은 하나 이상의 360도 비디오들을 포함할 수 있다. 360도 비디오들은 수평 방향으로 360도 각도 그리고 수직 방향으로 180도 각도에서 볼 수 있다. VR 시스템들 및 360도 비디오들은 초고해상도(UHD; Ultra High Definition) 서비스 이상의 미디어 소비에 사용될 수 있다. 프리 뷰 TV(FTV; Free View TV)는 솔루션의 성능을 테스트할 수 있다. 예를 들어, FTV는 360도 비디오(예를 들어, 또는 전방향 비디오) 기반 시스템 및/또는 멀티뷰 기반 시스템의 성능을 테스트할 수 있다.
VR 시스템들은 프로세싱 체인을 포함할 수 있다. 프로세싱 체인은 캡처링, 프로세싱, 디스플레이 및/또는 어플리케이션을 포함할 수 있다. 캡처링과 관련하여, VR 시스템은 상이한 발산 뷰들(예를 들어, 6개 내지 12개의 뷰)로부터 장면들을 캡처하기 위해 하나 이상의 카메라를 사용할 수 있다. 뷰들은 (예를 들어, 4K 또는 8K와 같은 고해상도로) 360도 비디오를 형성하기 위해 함께 연결될(stitched) 수 있다. VR 시스템의 클라이언트 및/또는 사용자 측은 계산(computation) 플랫폼, 헤드 마운트 디스플레이(HMD; Head Mounted Display) 및/또는 하나 이상의 헤드 트래킹 센서들을 포함할 수 있다. 계산 플랫폼은 360도 비디오들을 수신 및/또는 디코딩할 수 있다. 계산 플랫폼은 디스플레이를 위한 뷰포트를 생성할 수 있다. 뷰포트에 대해 두 개의 화상들(예를 들어, 각각의 눈마다 하나씩)이 렌더링될 수 있다. 두 개의 화상들은 스테레오 감상을 위해 HMD에 디스플레이될 수 있다. 하나 이상의 렌즈들이 (예를 들어, 더 나은 감상을 위해) HMD에 디스플레이된 이미지들을 확대하기 위해 사용될 수 있다. 헤드 트래킹 센서들은 보는 사람의 머리 배향을 추적(예를 들어, 지속적으로 추적)할 수 있다. 배향 정보는 그 배향에 대한 뷰포트 화상을 디스플레이하기 위해 VR 시스템에 공급될 수 있다. VR 시스템은 특수한 터치 디바이스를 제공할 수 있다. 예를 들어, 특수한 터치 디바이스는 보는 사람이 가상 세계의 객체들과 상호작용할 수 있게 할 수 있다. VR 시스템은 그래픽 프로세싱 유닛(GPU; Graphic Processing Unit)이 지원되는 워크스테이션에 의해 구동될 수 있다. VR 시스템은 계산 플랫폼, HMD 디스플레이 및/또는 헤드 트래킹 센서로서 모바일 디바이스(예를 들어, 스마트폰)를 사용할 수 있다. HMD의 공간 해상도는, 예를 들어, 2160x1200일 수 있다. 리프레시 속도는, 예를 들어, 90Hz일 수 있다. 시야(FOV; Field Of View)는, 예를 들어, 약 110도일 수 있다. 헤드 트래킹 센서의 샘플링 속도는, 빠른 움직임을 캡처하기 위해, 예를 들어, 1000Hz일 수 있다. VR 시스템은 렌즈 및 카드보드를 포함할 수 있고, 스마트폰에 의해 구동될 수 있다. VR 시스템은 게임에 사용될 수 있다. 하나 이상의 360도 비디오 스트리밍 서비스들이 제공될 수 있다.
VR 시스템은 상호작용성 및/또는 촉감 피드백을 제공할 수 있다. 큰 HMD는 사람이 착용하기에 편리하지 않을 수 있다. (예를 들어, 특정 HMD들에 의해 제공되는 것과 같은) 입체(stereoscopic) 뷰들에 대한 2160x1200의 해상도는 충분하지 않을 수 있고, 일부 사용자들에게는 현기증과 불편함을 유발할 수 있다. 해상도의 증가가 바람직할 수 있다. VR 경험은 VR 시스템의 시각 효과를 현실 세계의 포스 피드백(force feedback)과 결합함으로써 향상될 수 있다. VR 롤러코스터 어플리케이션은 VR 시스템의 시각 효과를 현실 세계의 포스 피드백과 결합하는 예일 수 있다.
360도 비디오들은, 예를 들어, HTTP 동적 적응 스트리밍(DASH; Dynamic Adaptive Streaming over HTTP) 기반 비디오 스트리밍 기법을 사용하여 압축 및/또는 전달될 수 있다. 360도 비디오 컨텐츠는 구체(sphere) 지오메트리 구조로 표현될 수 있다. 예를 들어, 동기화된 다수의 뷰들은 다수의 카메라들에 의해 캡처될 수 있고 구체 상에서 연결될 수 있다. 동기화된 다수의 뷰들은 (예를 들어, 하나의) 통합(integral) 구조로서 구체 상에서 연결될 수 있다. 구체 정보는 지오메트리 변환 프로세스를 통하여 2D 평면 표면 상에 투영될 수 있다. 예를 들어, 구체 정보는 등방형 투영법(ERP)을 사용하여 2D 평면 표면 상에 투영될 수 있다. 도 1a는 경도(
) 및 위도(
)의 예시적인 구체 샘플링을 도시한다. 도 1b는 ERP를 사용하여 2D 평면 상에 투영되는 예시적인 구체를 도시한다. (예를 들어, 항공술에서) [-
, 
] 범위의 경도 
는 요(yaw)로 지칭되고, [-
/2, 
/2] 범위의 위도 
는 피치(pitch)로 지칭될 수 있다. 
는 원의 둘레의 그 지름에 대한 비율일 수 있다. (x, y, z)는 3D 공간에서의 점의 좌표를 나타낼 수 있다. (ue, ve)는 ERP 후 2D 평면에서의 점의 좌표를 나타낼 수 있다. ERP는, 예를 들어, 식 (1) 및/또는 (2)에 나타난 바와 같이, 수학적으로 표현될 수 있다.
ue = (
/(2*
)+0.5)*W
(1)
ve = (0.5 - 
/ð)*H
(2)
여기서 W 및 H는 각각 2D 평면 화상의 폭 및 높이일 수 있다. 도 1a에 도시된 바와 같이, 점 P는 구체 상의 경도 L4와 위도 A1 사이의 교차점일 수 있다. P는 식 (1) 및/또는 식(2)를 사용하여 2D 평면에서 도 1b의 고유 지점 q에 매핑될 수 있다. 도 1b에 도시된 2D 평면에서의 점 q는, 예를 들어 역 투영(inverse projection)을 통하여, 도 1a에 도시된 구체 상의 점 P로 다시 투영될 수 있다. 도 1b의 시야(FOV)는 시야각(viewing angle)이 X축을 따라 약 110도인 2D 평면에 매핑되는 구체의 FOV의 예를 도시한다.
하나 이상의 360도 비디오들은 2D 비디오들에 매핑될 수 있다. 예를 들어, 360도 비디오들은 ERP를 사용하여 2D 비디오들에 매핑될 수 있다. 360도 비디오들은 H.264 또는 고효율 비디오 코딩(HEVC; High Efficiency Video Coding)과 같은 비디오 코덱으로 인코딩될 수 있고, 클라이언트에게 전달될 수 있다. 예를 들어, 360도 비디오들은 2D 비디오에 매핑될 수 있고, 2D 비디오는 인코딩되고 클라이언트에게 전달될 수 있다. 클라이언트 측에서, 비디오들은, 예를 들어 등방형 화상들에서 FOV에 속하는 부분을 HMD 상에 투영하고 디스플레이함으로써, 사용자의 뷰포트에 기반하여 (예를 들어, 등방향 포맷으로) 디코딩되고 렌더링될 수 있다. 등방형 2D 화상의 특성은 비등방형 2D 화상(예를 들어, 직선(rectilinear) 비디오 화상)과 상이할 수 있다. 도 1c는 예시적인 등방형 화상을 도시한다. 도 1c에 도시된 화상의 상단 부분은 북극에 대응할 수 있고, 하단 부분은 남극에 대응할 수 있다. 도 1c에 도시된 바와 같이, 상단 및/또는 하단 부분은 신장될 수 있다. 예를 들어, 상단 및/또는 하단 부분은 적도에 대응하는 화상의 중간 부분에 비하여 신장될 수 있다. 상단 및/또는 하단 부분에서의 신장은 2D 공간 도메인에서의 등방형 샘플링이 고르지 않음을 나타낼 수 있다.
도 1c에 도시된 바와 같이, 각각 북극 및 남극에 대응할 수 있는 ERP 화상의 상단 및 하단 부분은 화상의 중간 부분에 비하여 신장될 수 있다. 구형 샘플링 밀도는 ERP 포맷에 대해 고르지 않을 수 있다. 다양한 기하학적 투영 포맷들이 360도 비디오를 다수의 면들 상에 매핑하는 데 사용될 수 있다. 도 2a는 큐브맵 투영법(CMP) 지오메트리의 예를 도시한다. CMP는 여섯 개의 정사각형 면들을 포함할 수 있고, 이들은 PX, PY, PZ, NX, NY, NZ로 지정될 수 있으며, 여기서 P는 양수를 의미할 수 있고, N은 음수를 의미할 수 있으며 X, Y, Z는 축을 지칭할 수 있다. 이러한 면들은 또한 예를 들어 PX (0), NX (1), PY (2), NY (3), PZ (4), NZ (5)와 같이 숫자 0-5를 사용하여 지정될 수도 있다. 예를 들어 접하는 구의 반지름이 1이라면, 각각의 면의 측면 길이는 2일 수 있다. CMP 포맷의 여섯 개의 면들은 단일한 화상으로 함께 패킹될 수 있다. 예를 들어 이웃하는 면들 간의 연속성을 최대화하기 위해, 일부 면들은 특정 각도로 회전될 수 있다. 도 2b는 여섯 개의 면들을 직사각형 화상에 배치하기 위한 예시적인 패킹 방법을 도시하고, 여기서 (예를 들어, 더 나은 시각화를 위해) 면 인덱스(예를 들어, 각각의 면 인덱스)는 면의 대응하는 회전과 정렬된 방향으로 놓인다. 예를 들어, 면 #3 및 #1은 각각 반시계방향으로 270도 및 180도 회전될 수 있는 반면 다른 면들은 회전되지 않을 수 있다. CMP를 이용한 예시적인 화상이 도 2c에 주어져 있다. 도 2c에 도시된 바와 같이, 세 개의 면들의 상단 행은 3D 지오메트리에서 공간적으로 이웃하는 면들일 수 있고 연속적인 텍스처를 가질 수 있으며, 세 개의 면들의 하단 행은 3D 지오메트리에서 공간적으로 이웃하는 면들일 수 있고 따라서 연속적인 텍스처를 가질 수 있다. 상단 면 행 및 하단 면 행은 3D 지오메트리에서 공간적으로 연속적이지 않을 수 있고, 두 개의 면 행들 사이에 접합선(seam)(예를 들어, 불연속 경계)이 존재할 수 있다. 구형 이웃이 아닌 두 개 이상의 인접하는 블록들 사이의 면 경계는 면 불연속으로 지칭될 수 있다.
CMP에서, 샘플링 밀도가 면(예를 들어, 각각의 면)의 중심에서 1과 같다고 가정할 때, 샘플링 밀도는 가장자리를 향해 증가할 수 있으며, 이는 가장자리 주위의 텍스처가 중앙에서의 텍스처에 비하여 신장될 수 있음을 의미한다. 상이한 큐브맵 기반 투영법들, 예를 들어 등각 큐브맵 투영법(EAC: Equi-Angular Cubemap projection) 및/또는 조정된 큐브맵 투영법(ACP; Adjusted Cubemap Projection)에서, 면(예를 들어, 각각의 면)은 보다 균일한 샘플링 밀도를 달성하기 위해 비선형 워핑(warping) 함수를 사용하여 수직 및/또는 수평 방향으로 조정될 수 있다. EAC에서, 조정은 탄젠트 함수를 사용하여 수행될 수 있는 반면, ACP에서 조정은 2차 다항 함수를 사용하여 수행될 수 있다. 하이브리드 큐브맵 투영법(HCP; Hybrid Cubemap Projection)으로 부를 수 있는 EAC 및 ACP의 일반화가 사용될 수 있다. HCP에서, 조정 함수 및 그 파라미터들은 더 나은 코딩 효율을 제공하기 위해 면(예를 들어, 각각의 면) 및 방향에 대해 개별적으로 튜닝될 수 있다. 큐브 기반 투영은 CMP에 대한 것과 유사한 방식으로 패킹될 수 있다.
도 3은 360도 비디오 프로세싱을 위한 예시적인 작업 흐름을 도시한다. 360도 비디오 캡처는 하나 이상의 카메라들을 사용하여 캡처될 수 있다. 예를 들어, 구형 공간을 커버하는 360도 비디오를 캡처하기 위해 하나 이상의 카메라들이 사용될 수 있다. 비디오들은 함께 연결될 수 있다. 예를 들어 비디오들은 등방형 지오메트리 구조를 사용하여 함께 연결될 수 있다. 등방형 지오메트리 구조는 인코딩(예를 들어, 비디오 코덱을 사용한 인코딩)을 위해 큐브맵 지오메트리와 같은 다른 지오메트리 구조로 변환될 수 있다. 코딩된 비디오는, 예를 들어 동적 스트리밍 및/또는 브로드캐스팅을 통하여 클라이언트에게 전달될 수 있다. 비디오는, 예를 들어 수신기에서, 디코딩될 수 있다. 압축 해제된 프레임은 디스플레이 지오메트리와 같은 디스플레이로 언패킹될 수 있다. 예를 들어, 디스플레이 지오메트리는 등방형 지오메트리일 수 있다. 지오메트리는 렌더링에 사용될 수 있다. 예를 들어, 지오메트리는 사용자의 시야각에 따른 뷰포트 투영을 통한 렌더링에 사용될 수 있다.
도 4는 예시적인 블록 기반 하이브리드 비디오 인코딩 시스템(600)의 블록 다이어그램을 도시한다. 입력 비디오 신호(602)는 블록 단위로 프로세싱될 수 있다. (예를 들어, 코딩 유닛(coding unit) 또는 CU로 지칭되는) 확장된 블록 크기는 고해상도(예를 들어, 1080p 및/또는 그 이상) 비디오 신호들을 압축하기 위해 (예를 들어, HEVC에서) 사용될 수 있다. (예를 들어, HEVC에서) CU는 최대 64x64픽셀들을 가질 수 있다. CU는 별개의 예측이 적용될 수 있는 예측 유닛(prediction unit)들, 즉 PU들로 분할될 수 있다. 입력 비디오 블록(예를 들어, 매크로블록(macroblock, MB) 또는 CU)에 대해, 공간 예측(660) 또는 시간 예측(662)이 수행될 수 있다. 공간 예측(예를 들어, 또는 인트라 예측)은 현재 비디오 블록을 예측하기 위해 동일한 비디오 화상 및/또는 슬라이스에서 이미 코딩된 이웃하는 블록들로부터의 픽셀들을 사용할 수 있다. 공간 예측은 비디오 신호에 내재하는 공간적 중복성을 감소시킬 수 있다. (예를 들어, 인터 예측 또는 모션 보상 예측으로 지칭되는) 시간 예측은 현재 비디오 블륵을 예측하기 위해 이미 코딩된 비디오 화상들로부터의 픽셀들을 사용할 수 있다. 시간 예측은 비디오 신호에 내재하는 시간적 중복성을 감소시킬 수 있다. 주어진 비디오 블록에 대한 시간 예측 신호는 현재 블록과 그 참조 블록 사이의 모션의 양 및/또는 방향을 표시하는 모션 벡터에 의해 시그널링될 수 있다. (예를 들어, H.264/AVC 또는 HEVC에서) 다수의 참조 화상들이 지원된다면, 비디오 블록의 참조 화상 인덱스는 디코더로 시그널링될 수 있다. 참조 인덱스는 참조 화상 저장소(664) 내의 어느 참조 화상으로부터 시간 예측 신호가 올 수 있는지 식별하는 데 사용될 수 있다.
공간 및/또는 시간 예측 후에, 인코더에서의 모드 결정(680)은, 예를 들어 레이트 왜곡 최적화(rate-distortion optimization)에 기반하여 예측 모드를 선택할 수 있다. 예측 블록은 616에서 현재 비디오 블록으로부터 감산될 수 있다. 예측 잔차들(residuals)은 목표 비트레이트(target bit-rate)를 달성하기 위해 변환 모듈(604) 및 양자화 모듈(610)을 사용하여 상관 해제될(de-correlated) 수 있다. 양자화된 잔차 계수들은 재구성된 잔차들을 형성하기 위해 610에서 역양자화되고 612에서 역변환될 수 있다. 재구성된 잔차들은 재구성된 비디오 블록을 형성하기 위해 626에서 예측 블록에 다시 더해질 수 있다. 디블로킹 필터와 같은 인 루프 필터(in-loop filter) 및/또는 적응 루프 필터가 참조 화상 저장소(664)에 넣어지기 전에 666에서 재구성된 비디오 블록에 적용될 수 있다. 참조 화상 저장소(664) 내의 참조 화상들은 미래의 비디오 블록들을 코딩하는 데 사용될 수 있다. 출력 비디오 비트스트림(620)이 형성될 수 있다. 코딩 모드(예를 들어, 인터 또는 인트라), 예측 모드 정보, 모션 정보 및/또는 양자화된 잔차 계수들은 비트스트림(620)을 형성하기 위해 압축되고 패킹되도록 엔트로피 코딩 유닛(608)으로 보내질 수 있다.
도 5는 예시적인 블록 기반 비디오 디코더의 일반적인 블록 다이어그램을 도시한다. 비디오 비트스트림(202)은 엔트로피 디코딩 유닛(208)에서 수신, 언패킹 및/또는 엔트로피 디코딩될 수 있다. 코딩 모드 및/또는 예측 정보는 공간 예측 유닛(260)(예를 들어, 인트라 코딩된 경우) 및/또는 시간 예측 유닛(262)(예를 들어, 인터 코딩된 경우)으로 보내질 수 있다. 예측 블록은 공간 예측 유닛(260) 및/또는 시간 예측 유닛(262)으로 형성될 수 있다. 잔차 변환 계수들은 잔차 블록을 재구성하기 위해 역양자화 유닛(210) 및 역변환 유닛(212)으로 보내질 수 있다. 예측 블록 및 잔차 블록은 226에서 더해질 수 있다. 재구성된 블록은 인 루프 필터링(266)을 거쳐 참조 화상 저장소(264)에 저장될 수 있다. 참조 화상 저장소(264) 내의 재구성된 비디오들은 디스플레이 디바이스의 구동 및/또는 미래의 비디오 블록들의 예측에 사용될 수 있다.
인트라 예측 및/또는 인터 예측은 비디오 코딩에서 수행될 수 있다. 인트라 예측은 이웃하는 재구성된 샘플들로 샘플 값을 예측하는 데 사용될 수 있다. 예를 들어, 현재 변환 유닛(TU; Transform Unit)의 인트라 예측에 사용되는 참조 샘플들이 도 6에 도시되어 있다. 참조 샘플들은 도 6의 음영 처리된 박스에 도시된 바와 같이 왼쪽 및/또는 위의 이웃하는 재구성된 샘플들로부터의 것일 수 있다.
도 7은 각형 인트라 예측 모드들의 예시적인 표시를 도시한다. HEVC는 DC 모드(예를 들어, 모드 1), 평면 모드(예를 들어, 모드 0) 및 33개의 방향 또는 각형 인트라 예측 모드들과 같은 다양한(예를 들어, 35개의) 인트라 예측 모드들을 지원할 수 있다. 평면 예측 모드는 예를 들어, 위 및 왼쪽의 재구성된 샘플들을 사용하여 현재 블록에 대한 1차 근사치를 생성할 수 있다. 각형 예측 모드들은 방향 텍스처를 예측하도록 설계(예를 들어, 특수하게 설계)될 수 있다. 인트라 예측 모드가 (예를 들어, 인코더 측에서) 선택될 수 있다. 예를 들어, 인트라 예측 모드는 인트라 예측 모드(예를 들어, 각각의 인트라 예측 모드)에 의해 생성된 예측과 하나 이상의 원본 샘플들 사이의 왜곡을 최소화함으로써 인코더 측에서 선택될 수 있다. 인트라 예측 모드는 레이트 왜곡 최적화를 사용한 레이트 왜곡치(rate distortion cost)의 최소화에 기반하여 선택될 수 있다. 인트라 예측 모드는, 예를 들어 인트라 코딩에 대한 가장 개연성 있는 모드(MPM; Most Probable Mode)를 사용하여 인코딩될 수 있다. MPM은 공간적으로 이웃하는 PU들의 인트라 각형 모드를 재사용할 수 있다. 도 8은 HEVC 인트라 각형 프로세스에서 MPM들의 도출을 위해 사용된 공간적 이웃들의 예들을 도시한다. 도 8은 HEVC에서 MPM 후보 도출에 사용된 공간적 이웃들(예를 들어, 왼쪽 아래, 왼쪽, 오른쪽 위, 위 및/또는 왼쪽 위)을 도시할 수 있다. 선택된 MPM 후보 인덱스가 코딩될 수 있다. MPM 후보 리스트는 디코더 측에서 (예를 들어, 인코더에서와 동일한 방식으로) 재구성될 수 있다. 시그널링된 MPM 후보 인덱스를 갖는 엔트리는 현재 PU의 인트라 각형 모드로서 사용될 수 있다.
도 9는 하나의 모션 벡터(MV; Motion Vector)를 갖는 예시적인 인터 예측(예를 들어, 단방향 예측(uni-prediction))을 도시한다. 도 9의 참조 화상 내의 블록들 B0' 및 B1'은 각각 블록 BO 및 B1의 참조 블록들일 수 있다. 모션 벡터 정보는, 예를 들어 인터 코딩을 위해 모션 벡터 예측 및/또는 병합 모드를 사용함으로써 인코딩될 수 있다. 모션 벡터 예측은 공간적으로 이웃하는 PU들 또는 시간적으로 병치된(collocated) PU로부터의 모션 벡터들을 현재 MV의 예측자(predictor)로서 사용할 수 있다. 인코더 및/또는 디코더는 동일한 방식으로 모션 벡터 예측자 후보 리스트를 형성할 수 있다. 후보 리스트로부터 선택된 MV 예측자의 인덱스는 코딩되고/되거나 디코더로 시그널링될 수 있다. 디코더는 MV 예측자 리스트를 구성할 수 있고, 시그널링된 인덱스를 갖는 엔트리는 현재 PU의 MV의 예측자로서 사용될 수 있다. 병합 모드는 공간적 및/또는 시간적 이웃의 MV 정보를 재사용할 수 있다. 인코더 및/또는 디코더는 동일한 방식으로 모션 벡터 병합 후보 리스트를 형성할 수 있다. 도 10은 HEVC 병합 프로세스에서 공간적 병합 후보들을 도출하는 데 사용된 공간적 이웃들의 예들을 도시한다. 도 10에 도시된 바와 같이, 공간적 이웃들(예를 들어, 왼쪽 아래, 왼쪽, 오른쪽 위, 위 및/또는 왼쪽 위)은 HEVC에서 병합 후보 도출을 위해 사용될 수 있다. 선택된 병합 후보 인덱스가 코딩될 수 있다. 병합 후보 리스트가 디코더 측에서 (예를 들어, 인코더에서와 동일한 방식으로) 구성될 수 있다. 시그널링된 병합 후보 인덱스를 갖는 엔트리는 현재 PU의 MV로서 사용될 수 있다.
HEVC에서, 하나 이상의(예를 들어, 두 개의) 인 루프 필터들(예를 들어, 샘플 적응 오프셋(SAO) 필터로 이어지는 디블로킹 필터(DBF))이 하나 이상의 재구성된 샘플들에 적용될 수 있다. DBF는 블록 기반 코딩으로 인한 블록화 현상(blocking artifacts)을 감소시키도록 구성될 수 있다. DBF는 화상 경계에서를 제외하고 또는 슬라이스 및/또는 타일 경계에서 비활성화될 때를 제외하고 PU 및/또는 TU 경계에 위치한 샘플들에(예를 들어, 샘플들에만) 적용될 수 있다. 수직 경계에 대해 수평 필터링이 적용(예를 들어, 먼저 적용)될 수 있고, 수평 경계에 대해 수직 필터링이 적용될 수 있다. 도 11은 DBF 온/오프 결정, 필터 선택 및 필터링에 관련된 샘플들의 예들을 도시한다. 두 개의 인접한 블록들 P 및 Q가 주어지면, 필터 강도에 따라, 경계의 각 측에서 최대 세 개의 샘플 열들(또는 행들)이 도 11에 도시된 바와 같이 수평(또는 수직) 필터링으로 필터링될 수 있다. SAO는 인코더에 의해 송신된 룩 업 테이블들 내의 값들에 기반하여, 샘플(예를 들어, 각각의 샘플)에 오프셋 값을 조건부로 더함으로써 디코딩된 샘플들을 변경하는 또다른 인 루프 필터링 프로세스일 수 있다. SAO는 하나 이상의(예를 들어, 두 개의) 동작 모드를 가질 수 있다: 대역 오프셋 및 에지 오프셋 모드. 대역 오프셋 모드에서, 오프셋은 샘플 진폭에 따라 샘플 값에 더해질 수 있다. 전체 샘플 진폭 범위는 32개의 대역으로 나누어질 수 있고, 이들 대역들 중의 네 개에 속하는 샘플 값들은 양 또는 음의 오프셋을 더함으로써 변경될 수 있으며, 이는 각각의 코딩 트리 유닛(CTU; Coding Tree Unit)에 대해 시그널링될 수 있다. 에지 오프셋 모드에서, 수평, 수직 및 두 개의 대각선 그라디언트들은 도 12에 도시된 바와 같이 분류를 위해 사용될 수 있다. 도 12는 SAO에서 사용된 네 개의 그라디언트 패턴들의 예들을 도시한다. 각각의 에지 카테고리에 대해, 오프셋이 CTU 레벨에서 시그널링될 수 있다.
컴포넌트 간 선형 모델 예측이 수행될 수 있다. (예를 들어, 상이한 채널들 간의 상관관계를 감소시키기 위해) RGB-YUV 컬러 변환이 수행될 수 있다. 컴포넌트 간 선형 모델 예측은 선형 모델을 사용하여 대응하는 루마 샘플들로부터 크로마 샘플들을 예측하는 데 사용될 수 있다. 주어진 크로마 샘플 pi,j의 값은, 식 3에 나타난 바와 같이(예를 들어, N×N 샘플들의 크로마 블록을 가정할 때) 대응하는 다운샘플링된(예를 들어, 비디오가 420 또는 422 크로마 포맷인 경우) 재구성된 루마 샘플 값들 L'i,j로부터 예측될 수 있다.
다운샘플링된 루마 샘플들은 식 4에 나타난 바와 같이 계산될 수 있다:
선형 모델의 파라미터들은 위 및 왼쪽의 이웃하는 재구성된 샘플들 간의 회귀 오차(regression error)를 최소화함으로써 도출될 수 있고 식 5 및 6에 나타난 바와 같이 계산될 수 있다:
도 13은 컴포넌트 간 선형 모델 예측에서 α 및 β의 도출을 위해 사용된 샘플들의 예시적인 위치들을 도시한다. 예를 들어, 도 13은 α 및 β의 도출을 위해 사용된 위 및 왼쪽의 이웃하는 재구성된 샘플들의 위치를 제공한다. 이웃하는 재구성된 샘플들은 인코더 및/또는 디코더에서 이용 가능할 수 있다. α 및 β의 값은 동일한 방식으로 인코더 및/또는 디코더에서 도출될 수 있다.
오버랩된 블록 모션 보상이 수행될 수 있다.
오버랩된 블록 모션 보상(OBMC)은 모션 보상 단계에서 하나 이상의 블록화 현상들을 제거하는 데 사용될 수 있다. OBMC는 하나의 블록의 오른쪽 및 아래의 경계를 제외한 하나 이상의(예를 들어, 모든) 블록 간 경계에 대해 수행될 수 있다. 비디오 블록이 서브 블록 모드(예를 들어, 고급 시간 모션 벡터 예측(ATMVP; Advanced Temporal Motion Vector Prediction) 및/또는 공간-시간 모션 벡터 예측(STMVP; Spatial-Temporal Motion Vector Prediction))로 코딩될 때, OBMC는 서브 블록의 경계(예를 들어, 각각의 서브 블록의 경계)에 대해 수행될 수 있다. 도 14는 OBMC의 예시적인 개념을 도시한다. OBMC가 서브 블록(예를 들어, 도 14의 서브 블록 A)에 적용될 때, 현재 서브 블록의 모션 벡터에 더하여, 최대 네 개의 이웃하는 서브 블록들의 모션 벡터들이 현재 서브 블록의 예측 신호를 도출하는 데 사용될 수 있다. 이웃하는 서브 블록들의 모션 벡터들을 사용하는 다수의 예측 블록들은 현재 서브 블록의 최종 예측 신호를 생성하기 위해 평균화될 수 있다.
가중 평균(weighted average)은 블록의 예측 신호를 생성하기 위해 OBMC에서 사용될 수 있다. 이웃하는 서브 블록의 모션 벡터를 사용하는 예측 신호는 PN으로 나타낼 수 있고, 현재 서브 블록의 모션 벡터를 사용하는 예측 신호는 PC로 나타낼 수 있다. OBMC가 적용될 때, PN의 처음/마지막 네 개의 행들/열들의 샘플들은 PC의 동일한 위치에서의 샘플들로 가중 평균화될 수 있다. 가중 평균화가 적용되는 샘플들은, 예를 들어 대응하는 이웃하는 서브 블록의 위치에 따라 결정될 수 있다. 예를 들어, 이웃하는 서브 블록이 위의 이웃(예를 들어, 도 14의 서브 블록 b)일 때, 현재 서브 블록의 처음 네 개의 행들의 샘플들이 조정될 수 있다. 이웃하는 서브 블록이 아래의 이웃(예를 들어, 도 14의 서브 블록 d)일 때, 현재 서브 블록의 마지막 네 개의 행들의 샘플들이 조정될 수 있다. 이웃하는 서브 블록이 왼쪽의 이웃(예를 들어, 도 14의 서브 블록 a)일 때, 현재 블록의 처음 네 개의 열들의 샘플들이 조정될 수 있다. 이웃하는 서브 블록이 오른쪽의 이웃(예를 들어, 도 14의 서브 블록 c)일 때, 현재 서브 블록의 마지막 네 개의 열들의 샘플들이 조정될 수 있다. 현재 블록이 서브 블록 모드에서 코딩되지 않을 때, 하나 이상의 가중 인자들(예를 들어, {1/4, 1/8, 1/16, 1/32})이 PN의 처음 네 개의 행들/열들에 대해 사용될 수 있고, 하나 이상의 가중 인자들(예를 들어, {3/4, 7/8, 15/16, 31/32})이 PC의 처음 네 개의 행들/열들에 대해 사용될 수 있다. 현재 블록이 서브 블록 모드에서 코딩될 때, PN 및 PC의 처음 두 개의 행들/열들이 평균화될 수 있다. 이러한 경우에, 하나 이상의 가중 인자들(예를 들어, {1/4, 1/8})이 PN에 대해 사용될 수 있고, 하나 이상의 가중 인자들(예를 들어, {3/4, 7/8})이 PC에 대해 사용될 수 있다.
로컬 조명 보상이 수행될 수 있다.
조명 보상(IC; Illumination compensation)은, 예를 들어 스케일링 인자 a 및/또는 오프셋 b를 사용하는, 조명 변화에 대한 선형 모델에 기반할 수 있다. IC는 인터 코딩된 블록(예를 들어, 각각의 인터 코딩된 블록)에 대해 적응적으로 활성화/비활성화될 수 있다. 도 15는 IC의 예를 도시한다. 도 15에 도시된 바와 같이, IC가 블록에 적용될 때, (예를 들어, 파라미터들 a 및 b를 도출하기 위해) 최소 평균 제곱 오차(LMSE; Least Mean Square Error) 방법이 이용될 수 있다. 예를 들어, 파라미터들 a 및 b는 현재 블록(예를 들어, 템플릿)의 이웃하는 샘플들과 그들의 시간 참조 화상에서의 대응하는 참조 샘플들 사이의 왜곡을 최소화함으로써 도출될 수 있다. 도 15에 도시된 바와 같이, 템플릿은 서브 샘플링될 수 있고(예를 들어, 2:1 서브 샘플링), 이는 복잡성을 감소시킬 수 있다. 도 15에 도시된 바와 같이, 음영 처리된 샘플들은(예를 들어, 음영 처리된 샘플들만이) a 및 b를 도출하는 데 사용될 수 있다.
적응 루프 필터(ALF)가 사용될 수 있다. 루마 컴포넌트에 대해, 하나 이상의(예를 들어, 최대 세 개의) 마름모 필터 형태가 선택될 수 있다: 예를 들어, 도 16 (a), (b) 및 (c)에 각각 도시된 바와 같이, 5×5, 7×7 및 9×9. 도 16은 예시적인 ALF 필터 형태들을 도시한다. 선택된 필터는 화상 레벨에서 시그널링될 수 있다. 크로마 컴포넌트에 대해, 5×5 마름모 형태가 사용(예를 들어, 항상 사용)될 수 있다. 루마 컴포넌트에 대해, 2×2 블록(예를 들어, 각각의 2×2 블록)은 그 블록에 대한 적절한 필터 계수들을 선택하기 위해 25개의 카테고리들 중 하나로 분류될 수 있다. 크로마 컴포넌트에 대해 분류가 수행되지 않을 수 있으며, 예를 들어, 하나의 계수들의 세트가 하나 이상의(예를 들어, 모든) 크로마 샘플들에 사용될 수 있다. 분류는 각각의 2×2 블록 주위의 이웃에서 그라디언트들의 활동 및 방향성을 분석함으로써 수행될 수 있다. 수평, 수직 및 두 개의 대각선 그라디언트들은 6×6 샘플들의 이웃에서 1-D 라플라시안을 사용하여 계산될 수 있다. 하나 이상의(예를 들어, 세 개의) 필터 계수들의 기하학적 변환, 예를 들어, 대각선, 수직 뒤집기 및/또는 회전이 (예를 들어, 블록의 그라디언트 값들에 따라) 각각의 2×2 블록에 적용될 수 있다. 루마 컴포넌트에 대해, 필터링은, 예를 들어 ALF가 적용되는지 아닌지를 나타내는 플래그를 사용함으로써 CU 레벨에서 제어될 수 있다. 크로마 컴포넌트에 대해, ALF는 전체 화상에 대하여 활성화 또는 비활성화될 수 있다.
디코더 측 인트라 모드 도출(DIMD)이 수행될 수 있다. DIMD는 블록의 이웃하는 샘플들(예를 들어, 하나의 블록의 이웃하는 재구성된 샘플들)로부터 (예를 들어, 인코더 및/또는 디코더에서) 정보를 도출할 수 있다. 도 17은 DIMD를 사용하여 인트라 모드를 (예를 들어, 시그널링 없이) 도출하는 예를 도시한다. 도 17에 도시된 바와 같이, 타겟은 블록을 (예를 들어, N의 블록 크기의) 현재 블록으로 나타낼 수 있다. 현재 블록의 인트라 모드가 추정될 수 있다. (예를 들어, 도 17에서 대각선으로 패턴화된 영역에 의해 표시되는 바와 같은) 템플릿은 샘플들(예를 들어, 이미 재구성된 샘플들)의 세트를 표시할 수 있다. 샘플들은 인트라 모드를 도출하는 데 사용될 수 있다. 템플릿의 크기는, 예를 들어 도 17에 도시된 L과 같이, 타겟 블록의 위 및 왼쪽으로 연장되는 템플릿 내의 샘플들의 수로 표시될 수 있다. (예를 들어, 도 17에서 점선 영역으로 표시된 바와 같은) 템플릿의 참조는 이웃하는 샘플들의 세트일 수 있다. 이웃하는 샘플들은 템플릿의 위 및 왼쪽에 위치할 수 있다. 인트라 예측 모드(예를 들어, 각각의 인트라 예측 모드)에 대해, DIMD는 재구성된 템플릿 샘플들과 그 예측 샘플들 간의 절대차의 합(SAD; Sum of Absolute Differences)을 계산할 수 있다. 예측 샘플들은 템플릿의 참조 샘플들로부터 획득될 수 있다. 최소 SAD를 산출하는 인트라 예측 모드는 블록의 인트라 예측 모드(예를 들어, 타겟 블록의 최종 인트라 예측 모드)로서 선택될 수 있다.
상이한 면들로 구성된 지오메트리들(예를 들어, CMP, 팔면체 투영법(OHP; OctaHedron Projection), 이십면체 투영법(ISP; IcoSahedral Projection) 등)에 대해, (예를 들어, 조밀한 면 배열에 관계 없이) 하나 이상의 불연속이 프레임 패킹된 화상 내의 두 개 이상의 인접한 면들 사이에서 나타날 수 있다. 예를 들어, 도 2c는 예시적인 3x2 CMP를 도시한다. 도 2c에서, 상단 절반의 세 개의 면들은 3D 지오메트리에서 수평으로 연속적일 수 있다. 하단 절반의 세 개의 면들은 3D 지오메트리에서 수평으로 연속적일 수 있다. 상단 절반 및 하단 절반은 3D 지오메트리에서 불연속적일 수 있다. 360도 비디오에 대해, 불연속으로 인하여, 프레임 패킹된 화상에서의 인접하는 블록은 반드시 관련이 있지는 않을 수 있다.
도 18은 CMP의 예를 도시한다. 도 18a는 CMP의 예시적인 3D 표현을 도시한다. 도 18b는 CMP의 예시적인 3x2 프레임 패킹 구성을 도시한다. 도 18a 및/또는 b에 도시된 바와 같이, 블록 D는 블록 A 위에 위치한 프레임 패킹된 이웃일 수 있다. 프레임 패킹된 이웃은 프레임 패킹된 화상에서 현재 블록에 인접하는 블록일 수 있거나 그 블록을 포함할 수 있다. 구형 이웃은 3D 지오메트리에서 현재 블록에 이웃하는 블록일 수 있거나 그 블록을 포함할 수 있다. 프레임 패킹된 이웃은 또한 구형 이웃일 수 있다. 3D 지오메트리를 고려하면, 블록 E는 블록 A 위에 위치한 구형 이웃일 수 있다. 2D 비디오를 위해 설계된 비디오 코덱(들)이 사용된다면, 프레임 패킹된 이웃 D는, 예를 들어 인트라 예측, 인트라 MPM, 병합 모드, 모션 벡터 예측 등의 형태로 현재 블록 A를 예측하는 데 사용될 수 있다. D로부터의 정보는 (예를 들어, D와 A 사이의 고유한 불연속으로 인해) A 를 예측하기에 적절하지 않을 수 있고 코딩 효율을 저하시킬 수 있다. 구형 이웃(예를 들어, 블록 E)은 현재 블록(예를 들어, 블록 A)을 예측하기 위해 관련된 코딩 정보(예를 들어, 인트라 모드, 모션 벡터, 참조 샘플들 등)를 도출할 때 사용될 수 있다.
구형 이웃들이 도출될 수 있다. 예를 들어, 구형 이웃들은 (예를 들어, 인트라 예측 및/또는 컴포넌트 간 선형 모델을 위한 참조 샘플들을 도출하기 위해) 샘플 레벨에서 도출될 수 있다. 2D에서 3D로의 및/또는 3D에서 2D로의 지오메트리 변환이 구형 이웃들을 도출하기 위해 적용될 수 있다. 룩 업 테이블(LUT; Look-Up-Table)이 구형 이웃들의 위치를 사전에 저장하는 데 사용될 수 있다.
현재 화상/슬라이스/타일의 CTU들은 래스터 스캔 순서로 프로세싱될 수 있다. 제한된 수의 프레임 패킹된 이웃 블록들로부터의 정보는 (예를 들어, 캐시를 사용하여) 버퍼링될 수 있다. 구형 이웃들이 고려될 때, 참조 샘플 및/또는 코딩 정보는 래스터 스캔 순서에서 현재 블록으로부터 멀 수 있다. 예를 들어, 도 18b의 블록 E는 래스터 스캔 순서에서 블록들 B,C 및 D보다 A로부터 더 멀 수 있다. 블록 E로부터의 정보는 블록 A가 코딩되기 전에 캐시로부터 제거될 수 있다.
프레임 패킹된 이웃 블록은 프레임 패킹된 이웃 블록이 현재 블록의 구형 이웃인 때(예를 들어, 때에만) 360도 비디오 코딩에서 현재 블록을 예측하는 데 사용될 수 있다. 도 18a-b에 도시된 예에 대해, 블록 B는 블록 A에 대해 프레임 패킹된 구형 이웃일 수 있는 반면, 블록들 C 및 D는 블록 A에 대한 프레임 패킹된 이웃들일 수 있지만 블록 A의 구형 이웃들은 아닐 수 있다. 면 불연속에 걸친 정보 추론은 비활성화될 수 있다.
왼쪽(L), 위(A), 오른쪽 위(AR), 왼쪽 위(AL) 및 왼쪽 아래(BL)의 이웃들은 (예를 들어, 래스터 스캔 프로세싱 때문에) 2D 비디오 코딩에서 정보를 추론하는 데 사용될 수 있다(예를 들어, 도 8 및 도 10을 참조). 현재 블록이 면 불연속의 오른쪽에 위치하는 경우, 왼쪽, 왼쪽 위 및/또는 왼쪽 아래의 프레임 패킹된 이웃 블록들은 면 불연속의 다른 쪽에 위치할 수 있으며 예를 들어 인트라 예측에서 가장 개연성 있는 모드들의 리스트의 도출, 모션 벡터 예측 및/또는 병합 모드에서 모션 벡터 후보들의 도출, OBMC 등과 같은 속성들의 추론에 이용 불가능한 것으로 간주될 수 있다. 면 불연속의 왼쪽, 위 및/또는 아래에 위치할 수 있는 현재 블록에 유사한 고려사항이 적용될 수 있다. 이러한 방식으로, 관련 없는 공간적 후보들은 이웃 블록들로부터 속성들을 추론할 때 제외될 수 있다.
현재 블록의 위 및/또는 왼쪽에 위치한 재구성된 샘플들은 현재 블록의 예측을 위해 (예를 들어, 래스터 스캔 프로세싱 때문에) 2D 비디오 코딩에서 사용될 수 있다(예를 들어, 도 6 및 도 13을 참조). 현재 블록이 면 불연속의 오른쪽에 위치한다면, 블록의 왼쪽에 위치한 재구성된 샘플들, 예를 들어 R0,0 ... R0,2N(예를 들어, 도 6 및 도 13을 참조)은 면 불연속의 다른 쪽에 위치할 수 있고 현재 블록 샘플들과 상관되지 않을 수 있다. 이러한 경우에, 재구성된 샘플들은 예를 들어, 인트라 예측, 컴포넌트 간 선형 모델 예측, OBMC 및/또는 인 루프 필터링에서의 DC, 평면형 및/또는 각형 모드와 같은 하나 이상의 예측 접근법에서 이용 불가능한 것으로 간주될 수 있다. 이러한 방식으로, 이웃하는 재구성된 샘플들을 사용하여 현재 블록을 예측 및/또는 필터링할 때 저조하게 상관된 재구성된 샘플들이 제외될 수 있다.
재구성된 샘플들 및/또는 면 불연속에 걸친 공간적 이웃들로부터의 코딩 정보가 배제될 수 있다.
본 명세서에서 설명된 기법은 면 불연속 및/또는 면 연속, 예를 들어 3D 지오메트리에서도 이웃하는 면들인 프레임 패킹된 화상 내의 두 면들 사이의 경계에 적용될 수 있다.
프레임 패킹된 화상에서의 면 불연속이 결정될 수 있다. 예들에서, 프레임 패킹 정보는 프레임 패킹된 화상 내 하나 이상의 면들(예를 들어, 각각의 면)을 식별하기 위해 비트스트림으로 시그널링될 수 있다. 하나 이상의(예를 들어, 모든) 프레임 패킹된 화상 내 이웃하는 면들의 쌍에 대해, 두 면들이 3D 지오메트리에서 동일한 에지를 공유한다면 공유되는 에지는 연속적인 것으로 정의될 수 있다. 두 면들이 3D 지오메트리에서 동일한 에지를 공유하지 않는다면, 이 에지는 불연속적인 것으로 정의될 수 있다.
예를 들어, 프레임 패킹된 화상은 
개의 면들(예를 들어, 도 2b에서, 
이고 
)을 포함할 수 있고, 
개의 수직 에지들이 화상 내 면들 사이에 존재할 수 있으며, 
개의 수평 에지들이 화상 내 면들 사이에 존재할 수 있다. 예를 들어, 표 1에 나타난 바와 같이, 에지가 연속적인지 아닌지를 특정하기 위해 총 
개의 플래그들이 시그널링될 수 있다. 에지들은 특정한 순서로, 예를 들어 위에서 아래로 그리고 왼쪽에서 오른쪽으로 스캔될 수 있다. 표 1은 이 신택스 요소들의 세트가 비디오 파라미터 세트(Video Parameter Set)에 배치되는 것을 보여줄 수 있다. 화상 파라미터 세트(PPS; Picture Parameter Set) 또는 시퀀스 파라미터 세트(SPS; Sequence Parameter Set)와 같은 다른 시퀀스 레벨 파라미터 세트들이 이 정보를 전달하는 데 사용될 수 있다.
표 1에서, 파라미터 face_discontinuity_param_present_flag는 신택스 요소들 num_face_rows, num_face_columns 및 face_discontinuity_flag[i] 중 하나 이상이 존재하는지 여부를 특정할 수 있다. 파라미터 face_discontinuity_param_present_flag가 비트스트림에 존재하지 않을 때, 파라미터의 값은 면 불연속 파라미터들이 없음을 표시하는 값(예를 들어, 0)인 것으로 추론될 수 있다.
파라미터 num_face_rows는 프레임 패킹된 화상 내의 면 행들의 수를 특정할 수 있다. 파라미터 num_face_rows가 비트스트림에 존재하지 않을 때, 파라미터의 값은 디폴트 값(예를 들어, 1)으로 설정될 수 있다.
파라미터 num_face_columns는 프레임 패킹된 화상 내의 면 열들의 수를 특정할 수 있다. 파라미터 num_face_columns가 비트스트림에 존재하지 않을 때, 파라미터의 값은 디폴트 값(예를 들어, 1)으로 설정될 수 있다.
파라미터들 num_face_rows_minus1 및/또는 num_face_columns_minus1은 신택스 요소들을 코딩하기 위한 비트의 수를 감소시키기 위해 (예를 들어, num_face_rows 및 num_face_columns를 시그널링하는 것 대신에 및/또는 이들을 시그널링하는 것에 더하여) 시그널링될 수 있다.
파라미터 face_discontinuity_flag[i]는 i번째 면 에지가 불연속적인지 여부를 특정할 수 있다.
예들에서, 프레임 패킹된 화상 내 하나 이상의 면 불연속(예를 들어, 각각의 면 불연속)의 두 개의 종점들의 좌표들이 시그널링(예를 들어, 명시적으로 시그널링)될 수 있다. 수평 및/또는 수직 불연속에 대한 종점들이 시그널링될 수 있다. 대각선 불연속에 대한 종점이 시그널링될 수 있다. 대각선 불연속은, 예를 들어 삼각형 기반 지오메트리(예를 들어, OHP 및/또는 ISP)에 사용될 수 있다. 표 2는 비디오 레벨에서의 예시적인 신택스 요소들을 보여준다.
표 2에서, 파라미터 face_discontinuity_param_present_flag는 신택스 요소들 num_face_discontinuities, face_discontinuity_start_point_x, face_discontinuity_start_point_y, face_discontinuity_end_point_x 및/또는 face_discontinuity_end_point_y 중 하나 이상이 존재하는지 여부를 특정할 수 있다. 파라미터 face_discontinuity_param_present_flag가 비트스트림에 존재하지 않을 때, 파라미터의 값은 면 불연속 파라미터들이 없음을 표시하는 값(예를 들어, 0)인 것으로 추론될 수 있다.
파라미터 num_face_discontinuities는 프레임 패킹된 화상 내 면 불연속의 수를 특정할 수 있다. 파라미터 num_face_discontinuities가 비트스트림에 존재하지 않을 때, 파라미터의 값은 디폴트 값(예를 들어, 1)으로 설정될 수 있다. 파라미터 num_face_discontinuities_minus1이 (예를 들어, num_face_discontinuities를 시그널링하는 것 대신에 및/또는 이를 시그널링하는 것에 더하여) 시그널링될 수 있다. 파라미터 num_face_discontinuities_minus1의 값은 프레임 패킹된 화상 내 면 불연속의 수에서 1을 뺀 것일 수 있다.
파라미터 face_discontinuity_start_point_x[i]는 i번째 면 불연속의 시작점의 프레임 패킹된 화상에서 x 좌표를 특정할 수 있다. 파라미터 face_discontinuity_start_point_x[i]의 값은 0 내지 picture_width-1(예를 들어, 이를 포함함)의 범위에 있을 수 있다.
파라미터 face_discontinuity_start_point_y[i]는 i번째 면 불연속의 시작점의 프레임 패킹된 화상에서 y 좌표를 특정할 수 있다. 파라미터 face_discontinuity_start_point_x[i]의 값은 0 내지 picture_width-1(예를 들어, 이를 포함함)의 범위에 있을 수 있다.
파라미터 face_discontinuity_end_point_x[i]는 i번째 면 불연속의 종점의 프레임 패킹된 화상에서 x 좌표를 특정할 수 있다. 파라미터 face_discontinuity_start_point_x[i]의 값은 0 내지 picture_width-1(예를 들어, 이를 포함함)의 범위에 있을 수 있다.
파라미터 face_discontinuity_end_point_y[i]는 i번째 면 불연속의 종점의 프레임 패킹된 화상에서 y 좌표를 특정할 수 있다. 파라미터 face_discontinuity_start_point_x[i]의 값은 0 내지 picture_width-1(예를 들어, 이를 포함함)의 범위에 있을 수 있다.
비디오 레벨에서 정의된 하나 이상의 파라미터들은, 예를 들어 투영 지오메트리 및/또는 프레임 패킹이 비디오 인코딩 동안 변경된다면 시퀀스 및/또는 화상 레벨에서 (예를 들어, 대신에 및/또는 추가적으로) 시그널링될 수 있다. 신택스 요소들의 고정 길이 코딩이 (예를 들어, ue(v) 대신에) 사용될 수 있다. 신택스 요소들의 비트 길이는 ceil(log2(picture_width)) 또는 ceil(log2(picture_height))에 의해 결정될 수 있다.
본 명세서에서 설명된 하나 이상의 예시적인 접근법이 사용된다면, 면 불연속의 리스트가 생성될 수 있다. 예를 들어, 
개의 수직 면 불연속 및 
개의 수평 면 불연속이 식별될 수 있다. 
개의 면 불연속의 리스트는 두 개의 리스트들로 분할될 수 있다: 
로 나타낼 수 있는 
개의 수직 면 불연속의 리스트 및 
로 나타낼 수 있는 
개의 수평 면 불연속의 리스트. 면 불연속 
에 대해, 
및 
로 나타낼 수 있는 그것의 프레임 패킹된 화상에서의 두 개의 종점들이 결정될 수 있다. 블록은 
로 나타낼 수 있는 그것의 왼쪽 위의 좌표, W로 나타낼 수 있는 그것의 폭 및 
로 나타낼 수 있는 그것의 높이로 식별될 수 있다. 수평 불연속이 블록 위에 위치하는지 검사하기 위해, 수평 면 불연속 검사는 표 3에 나타난 바와 같이 수행될 수 있다.
불연속이 블록의 아래, 왼쪽 및/또는 오른쪽에 위치하는지를 결정하기 위해 유사한 접근법이 사용될 수 있다. 불연속이 특정 샘플 위치 근처에 위치하는지 여부를 결정하기 위해 유사한 접근법이 사용될 수 있다.
프레임 패킹 배열은 높은 레벨(예를 들어, 시퀀스 레벨 또는 화상 레벨)에서 결정될 수 있다. 면 불연속은 높은 레벨에서 결정될 수 있고 다수의 화상들을 통해 동일하게 유지될 수 있다. 블록에 대한 불연속이 존재하는지 여부를 저장하기 위해 주어진 입도(granularity)에서 어레이가 미리 계산될 수 있다. 예를 들어, 어레이가 블록 레벨에서 정의된다면, 면 불연속 플래그가 각각의 블록에 대해 계산될 수 있고 어레이 내에 저장될 수 있다. 블록은 미리 결정된 크기, 예를 들어 4x4일 수 있다. 현재 블록에 대한 인코딩/디코딩 동안 불연속이 존재하는지 여부가 결정될 수 있다.
도 2b는 예시적인 3x2 큐브맵 프레임 패킹을 도시한다. 도 2c에서, 화상의 중간에서 수평 불연속이 발생할 수 있고, 수직 불연속은 없을 수 있다. 불연속 라인에 인접하는 블록들 및/또는 불연속 라인의 상단에 있는 샘플들은 불연속 플래그가 참(true)으로 설정되게 할 수 있다. 하나 이상의 다른 블록들(예를 들어, 다른 모든 블록들) 및/또는 샘플들은 불연속 플래그를 거짓(false)으로 설정되게 할 수 있다.
면 경계의 위치(예를 들어, 프레임 패킹된 화상 내의 모든 면 경계의 위치)가 시그널링될 수 있다. 프레임 패킹된 화상 내의 불연속 면 경계의 위치들이 (예를 들어, 위치들만이) 시그널링될 수 있다. 면 경계(예를 들어, 각각의 면 경계)에 대해 플래그가 시그널링될 수 있다. 플래그는 면 경계가 연속적인지 또는 불연속적인지를 표시할 수 있다.
면 불연속에서의 공간적 후보들이 식별될 수 있다.
예를 들어 인트라 예측, 공간-시간 모션 벡터 예측(STMVP), OBMC에서의 가장 개연성 있는 모드 및/또는 인터 예측에서의 병합 모드에 대해, 이웃하는 블록들로부터 정보가 추론될 수 있다. 이웃하는 블록들은 공간적 이웃 블록들 또는 시간적 이웃 블록들일 수 있다. 현재 블록이 면 불연속에 위치하는지 여부가 예를 들어 현재 블록의 위치에 기반하여 결정될 수 있다. 이웃하는 블록의 코딩 가용성이 예를 들어 이웃하는 블록이 현재 블록과 면 불연속의 동일한 쪽에 있는지 여부에 기반하여 결정될 수 있다. 현재 블록의 구형 이웃이 아닌 프레임 패킹된 이웃들(예를 들어, 현재 블록과 면 불연속의 동일한 쪽에 있지 않은 이웃하는 블록들)은 현재 블록을 디코딩하는 데 이용 불가능한 것으로 간주될 수 있다. 현재 블록의 구형 이웃인 프레임 패킹된 이웃들(예를 들어, 현재 블록과 면 불연속의 동일한 쪽에 있는 이웃하는 블록들)은 현재 블록을 디코딩하는 데 이용 가능한 것으로 간주될 수 있다.
디코딩 기능은 예를 들어 이웃하는 블록의 코딩 가용성에 기반하여, 현재 블록에 대하여 수행될 수 있다. 디코딩 기능은 현재 블록에 대한 병합 모드를 도출하는 것을 포함할 수 있다. 예를 들어, 이웃하는 블록이 이용 가능한 것으로 결정된다면, 이웃하는 블록은 병합 후보 리스트(예를 들어, 후보 블록들의 리스트)에 추가될 수 있다. 이웃하는 블록이 이용 불가능한 것으로 결정된다면 이웃하는 블록은 병합 후보 리스트로부터 제외될 수 있다.
도 19는 면 불연속이 현재 블록의 위(예를 들어, 도 19a), 아래(예를 들어, 도 19b), 왼쪽(예를 들어, 도 19c) 및/또는 오른쪽(예를 들어, 도 19d)에 위치할 때 공간적 이웃들의 예시적인 가용성을 도시한다. 도 19a-d에 해칭된(hatched) 패턴을 사용하여 도시된 블록들은 면 불연속의 다른 쪽에 위치할 수 있고 이용 불가능한 것으로 간주될 수 있다(예를 들어, 현재 블록을 디코딩하는 데 이용 불가능한 것으로 결정됨). 예를 들어, 면 불연속이 현재 블록의 위에 위치한다면, 왼쪽 위, 위 및/또는 오른쪽 위의 이웃하는 블록들은 도 19a에 도시된 바와 같이 이용 불가능한 것으로 간주될 수 있다. 면 불연속이 현재 블록의 아래에 위치한다면, 왼쪽 아래의 이웃하는 블록은 도 19b에 도시된 바와 같이 이용 불가능한 것으로 간주될 수 있다. 면 불연속이 현재 블록의 왼쪽에 위치한다면, 왼쪽 위, 왼쪽 및/또는 왼쪽 아래의 이웃하는 블록들은 도 19c에 도시된 바와 같이 이용 불가능한 것으로 간주될 수 있다. 면 불연속이 현재 블록의 오른쪽에 위치한다면, 오른쪽 위의 이웃하는 블록은 도 19d에 도시된 바와 같이 이용 불가능한 것으로 간주될 수 있다.
면 불연속에서 재구성된 샘플들이 현재 블록을 예측하는 데 사용될 수 있는지 여부는 예를 들어 현재 블록의 위치에 기반하여 결정될 수 있다. 현재 블록이 면 불연속에 위치하는지 여부가 결정될 수 있다. 재구성된 샘플의 코딩 가용성은 예를 들어 재구성된 샘플이 현재 블록과 면 불연속의 동일한 쪽에 있는지 여부에 기반하여 결정될 수 있다. 현재 블록이 인접하는 면 불연속의 다른 쪽에 위치하는 하나 이상의 재구성된 샘플들은 이용 불가능한 것으로(예를 들어, 현재 블록을 디코딩하는 데 이용 불가능한 것으로) 간주될 수 있다. 현재 블록이 인접하는 면 불연속의 동일한 쪽에 위치하는 하나 이상의 재구성된 샘플들은 이용 가능한 것으로(예를 들어, 현재 블록을 디코딩하는 데 이용 가능한 것으로) 간주될 수 있다. 이용 불가능한 것으로 간주된 재구성된 샘플들은 이용 가능한 재구성된 샘플들을 사용하여 패딩될 수 있다. 예를 들어, 이용 불가능한 것으로 간주된 재구성된 샘플은 하나 이상의 이용 가능한 재구성된 샘플들로 대체될 수 있다.
도 20은 면 불연속이 현재 블록의 위(예를 들어, 도 20a), 아래(예를 들어, 도 20b), 왼쪽(예를 들어, 도 20c) 및/또는 오른쪽(예를 들어, 도 20d)에 위치할 때 재구성된 샘플들의 예시적인 가용성을 도시한다. 도 20a-d에 해칭된(hatched) 패턴을 사용하여 도시된 재구성된 샘플들은 면 불연속의 다른 쪽에 위치할 수 있고 이용 불가능한 것으로 간주될 수 있다(예를 들어, 현재 블록을 디코딩하는 데 이용 불가능한 것으로 결정됨). 예를 들어, 면 불연속이 현재 블록의 위에 위치한다면, 현재 블록의 위에 위치하는 재구성된 샘플들(예를 들어, R0,0, ... R2N,0)은 도 20a에 도시된 바와 같이 이용 불가능한 것으로 간주될 수 있다. 면 불연속이 현재 블록의 아래에 위치한다면, 현재 블록의 아래에 위치하는 재구성된 샘플들(예를 들어, R0,N+1 ... R0,2N)은 도 20b에 도시된 바와 같이 이용 불가능한 것으로 간주될 수 있다. 면 불연속이 현재 블록의 왼쪽에 위치한다면, 현재 블록의 왼쪽에 위치하는 재구성된 샘플들(예를 들어, R0,0 ... R0,2N)은 도 20c에 도시된 바와 같이 이용 불가능한 것으로 간주될 수 있다. 면 불연속이 현재 블록의 오른쪽에 위치한다면, 현재 블록의 오른쪽에 위치하는 재구성된 샘플들(예를 들어, RN+1,0 ... R2N,0)은 도 20d에 도시된 바와 같이 이용 불가능한 것으로 간주될 수 있다.
두 개 이상의 참조 샘플 라인이 본 명세서에서 설명된 하나 이상의 사례들에서 사용될 수 있으며, 동일한 접근법이 직사각형 블록들에 적용될 수 있다.
사용된 재구성된 샘플들(예를 들어, 모든 재구성된 샘플들)이 동일한 면에 속하지 않는다면 특정 구현(예를 들어, 컴포넌트 간 선형 모델 예측, IC 등)은 비활성화(예를 들어, 완전히 비활성화)될 수 있다. 예를 들어, 면 불연속이 현재 블록을 가로지르고/가로지르거나 현재 블록의 하나 이상의 샘플들이 템플릿의 면과 상이한 면에 속한다면, IC는 비활성화(예를 들어, 완전히 비활성화)될 수 있다. IC를 비활성화하는 것은 상이한 면들에 위치한 재구성된 샘플들을 사용하여 블록을 스케일링 및/또는 오프세팅하는 것을 피할 수 있다.
면 불연속에서 모션 보상이 수행될 수 있다. 인터 예측 모드들(예를 들어, FRUC, 대안적 시간 모션 벡터 예측(ATMVP), 공간-시간 모션 벡터 예측(STMVP) 및/또는 아핀(affine) 모션 보상 예측)은 서브 블록 기반 모션 벡터 예측을 이용할 수 있다. 예를 들어, 서브 블록들의 그룹이 동일한 모션 정보를 갖는다면, 모션 보상은 서브 블록들의 그룹(예를 들어, 서브 블록들의 전체 그룹)에 (예를 들어, 직접) 적용될 수 있다. 하나 이상의 서브 블록들이 더 큰 서브 블록 그룹으로 (예를 들어, 모션 보상 유닛으로) 병합된다면, 동일한 면에 속하는 서브 블록들은 함께 병합될 수 있다.
모션 보상은 개별적으로(예를 들어, 면 불연속의 각각의 측에) 및/또는 공동으로 적용될 수 있다. 도 21a-c에 도시된 바와 같이, 코딩 블록이 면 불연속에 의해 교차되고 블록의 한 쪽의 하나 이상의 서브 블록들(예를 들어, 모든 서브 블록들)이 동일한 모션 정보를 갖는다면, 모션 정보는 개별적으로 적용될 수 있다(예를 들어, 도 21c의 MC0 및 MC1에 대응). 예를 들어, 모션 보상은 면 불연속의 각각의 측의 하나 이상의 그룹들에 개별적으로 적용될 수 있다. 도 21a-c에 도시된 바와 같이, 코딩 블록이 면 불연속에 의해 교차되지 않고, 블록의 한 쪽의 하나 이상의 서브 블록들(예를 들어, 모든 서브 블록들)이 동일한 모션 정보를 갖는다면, 모션 보상은 공동으로 적용될 수 있다(예를 들어, 도 21b의 MC0에 대응). 예를 들어, 모션 보상은 코딩 블록의 각각의 측에 대해 공동으로 적용될 수 있다.
모션 보상은 병합된 서브 블록들이 속하는 면을 고려하여 적용될 수 있다. 예를 들어, 지오메트리 패딩이 사용되는 경우, 대응하는 패딩된 면을 사용하여 모션 보상이 적용될 수 있다. 대응하는 패딩된 면을 사용한 모션 보상은 보간(interpolation)을 위한 하나 이상의 참조 샘플들을 도출할 수 있다.
면 불연속이 블록/서브 블록을 가로지르고 그 블록/서브 블록이 하나의 모션 벡터를 갖는다면, 모션 보상은 둘 이상의 모션 보상 프로세스들로 분할될 수 있다. 예를 들어, 면 기반 지오메트리 패딩이 적용될 때, 모션 보상은 면 불연속의 일측(예를 들어, 각각의 측)에 대해 수행될 수 있다. 이 기법은 코딩 유닛들 및/또는 예측 유닛들에 사용되는 개념과 유사할 수 있다. 예를 들어, 면 불연속이 현재 코딩 유닛(예를 들어, 현재 블록)을 가로지르는지 여부가 결정될 수 있다. 현재 코딩 유닛은 (예를 들어, 면 불연속의 각 측에 하나씩) 하나 이상의 예측 유닛들로 분할될 수 있다. 예측 유닛들은 모션 보상 예측을 수행하는 데 사용될 수 있다. 예를 들어, 모션 보상은 각각의 예측 유닛에 대해 개별적으로 수행될 수 있다. 도 22a 및 b에 도시된 바와 같이, 코딩 유닛이 면 불연속에 의해 교차된다면, 모션 보상은 개별적으로 적용될 수 있다(예를 들어, 도 22b의 MC0 및 MC1에 대응). 예를 들어, 모션 보상은 면 불연속의 각각의 측의 예측 유닛에 개별적으로 적용될 수 있다. 도 22a 및 b에 도시된 바와 같이, 코딩 유닛이 수직 및/또는 수평 면 불연속에 의해 교차되지 않는다면, 모션 보상은 공동으로 적용될 수 있다(예를 들어, 도 22a의 MC0에 대응). 예를 들어, 모션 보상은 예측 유닛의 각각의 측에 대해 공동으로 적용될 수 있다.
면 불연속에 기반하여 파티셔닝이 적용될 수 있다. 예를 들어, 파티셔닝은 암시적 및/또는 명시적일 수 있다. 파티셔닝은 블록 경계를 면 불연속과 정렬할 수 있으며, 이는 블록이 면 불연속에 의해 교차되는 것을 피할 수 있다.
면 불연속에서의 컴포넌트 간 선형 모델 예측(CCLMP)이 수행될 수 있다. CCLMP를 활성화 또는 비활성화할지는 예를 들어 블록의 위치에 기반하여 블록에 대해 결정될 수 있다. 컴포넌트 간 선형 모델 예측을 위해, 재구성된 블록 샘플들과 현재 블록 샘플들 사이의 상관관계가 개선될 수 있다. 예를 들어, 하나 이상의 재구성된 샘플들은 선형 모델의 파라미터를 추정하기 위해 사용될 수 있다. 현재 블록이 인접하는 면 불연속의 다른 쪽에 위치하는 재구성된 샘플들은 폐기될 수 있다.
도 23은 면 불연속이 현재 블록의 위(예를 들어, 도 23a) 또는 왼쪽(예를 들어, 도 23b)에 위치할 때 컴포넌트 간 선형 모델 예측을 위해 사용된 재구성된 샘플들의 예시적인 가용성을 도시한다. 해칭된 패턴을 사용하여 도시된 재구성된 샘플들은 면 불연속의 다른 쪽에 위치할 수 있고 이용 불가능한 것으로 간주될 수 있다(예를 들어, 현재 블록을 디코딩하는 데 이용 불가능한 것으로 결정됨). 예를 들어, 면 불연속이 현재 블록의 위에 위치한다면, 현재 블록의 위에 위치한 재구성된 샘플들은 도 23a에 도시된 바와 같이 폐기될 수 있다(예를 들어, 선형 모델의 파라미터들을 예측하는 데 사용되지 않음). 이러한 경우에, 선형 모델 파라미터들은 식 (7) 및 (8)에 나타난 바와 같이 계산될 수 있다:
면 불연속이 현재 블록의 왼쪽에 위치한다면, 현재 블록의 왼쪽에 위치한 재구성된 샘플들은 도 23b에 도시된 바와 같이 폐기될 수 있다(예를 들어, 선형 모델의 파라미터들을 예측하는 데 사용되지 않음). 이러한 경우에, 선형 모델 파라미터들은 식 (9) 및 (10)에 나타난 바와 같이 계산될 수 있다:
면 불연속이 현재 블록의 위 및/또는 왼쪽에 위치한다면, 현재 블록의 위 및/또는 왼쪽에 위치하는 재구성된 샘플들은 면 불연속의 다른 쪽에 위치할 수 있고, 컴포넌트 간 선형 모델 예측은 그 블록에 대해 비활성화될 수 있다.
본 명세서에서 설명된 원리와 동일한 원리가 (예를 들어, 더 긴 경계를 더 짧은 경계와 동일한 수의 샘플들을 갖도록 서브 샘플링할 필요 없이) 직사각형 블록들에 적용될 수 있다. 본 명세서에서 설명된 컴포넌트 간 선형 모델 예측은 (예를 들어, 샘플 도메인 또는 잔차 도메인에서) 두 개의 크로마 컴포넌트들 사이를 예측하는 데 사용될 수 있다. 하나 이상의 컴포넌트 간 선형 모델들이 사용될 수 있으며, 여기서 컴포넌트 간 선형 모델 예측은 특정 범위의 샘플 값들에 대해 정의되고 본 명세서에서 설명된 바와 같이 적용될 수 있다.
현재 블록이 인접하는 면 불연속의 다른 쪽에 위치하는 재구성된 샘플들은 (예를 들어, 페기되는 대신에) 이용 불가능한 것으로 간주될 수 있고 하나 이상의 이용 가능한 재구성된 샘플들을 사용하여 패딩될 수 있다.
디코더 측 인트라 모드 도출(DIMD)이 면 불연속에서 수행될 수 있다. 템플릿으로부터의 샘플들(예를 들어, 재구성된 샘플들)의 일부 또는 전부 및/또는 템플릿을 예측하는 데 사용된 참조 샘플들의 일부 또는 전부가 현재 블록이 인접하는 면 불연속의 다른 쪽에 위치한다면(예를 들어, 샘플들은 현재 블록을 디코딩하는 데 이용 불가능함) 템플릿은 DIMD 탐색에서 폐기될 수 있다(예를 들어, 이용 불가능한 것으로 마킹됨).
예를 들어, 면 불연속이 현재 블록의 위에 위치한다면, 상단 템플릿으로부터의 재구성된 샘플들 중 하나 이상 및/또는 상단 템플릿의 위에 위치한 참조 샘플들 중 하나 이상은 현재 블록이 인접하는 면 불연속의 다른 쪽에 위치할 수 있다. 상단 템플릿은 DIMD 탐색에서 폐기될 수 있다.
예를 들어, 면 불연속이 현재 블록의 왼쪽에 위치한다면, 왼쪽 템플릿으로부터의 재구성된 샘플들 중 하나 이상 및/또는 왼쪽 템플릿의 왼쪽에 위치한 참조 샘플들 중 하나 이상은 현재 블록이 인접하는 면 불연속의 다른 쪽에 위치할 수 있다. 왼쪽 템플릿은 DIMD 탐색에서 폐기될 수 있다.
템플릿을 예측하는 데 사용될 수 있고 현재 블록이 인접하는 면 불연속의 다른 쪽에 위치할 수 있는 재구성된 샘플들은 이용 불가능한 것으로 간주될 수 있다. 이러한 표시는 템플릿들에 그리고/또는 템플릿들을 예측하는 데 사용될 수 있는 참조 샘플들에 적용될 수 있다. 이용 불가능한 것으로 간주된 재구성된 샘플들은 패딩(예를 들어, 이용 가능한 재구성된 샘플들을 사용하여 패딩)될 수 있다.
재구성된 샘플들은 현재 블록이 인접하는 면 불연속의 다른 쪽에 위치할 수 있다. 프레임 패킹된 이웃들 대신에 하나 이상의 구형 이웃들이 사용될 수 있다. 구형 이웃들은 지오메트리를 전개하고 인접한 면들로부터의 샘플들을 사용함으로써 도출될 수 있다. 이는 면 기반 패딩으로 지칭될 수 있다. 예를 들어, 도 18a 및 18b에 도시된 바와 같이, 블록 A의 상단 템플릿은 그것의 구형 이웃 블록 E로부터 도출될 수 있다. 블록 D는, 예를 들어 블록 A와 블록 D 사이에 면 불연속이 존재한다면, 패딩에 사용되지 않을 수 있다.
DIMD는 면 불연속에 대한 블록의 위치에 기반하여 블록에 대해 비활성화될 수 있다. 예를 들어, DIMD는 다음 중 하나 이상에 대해 비활성화될 수 있다: 위 및 왼쪽의 템플릿의 샘플들이 현재 블록이 속하는 면과 동일한 면에 위치하지 않는 블록들 및/또는 위 및 왼쪽의 템플릿들을 예측하는 데 사용된 참조 샘플들이 현재 블록이 속하는 면과 동일한 면에 위치하지 않는 블록들.
면 불연속에서의 오버랩된 블록 모션 보상이 수행될 수 있다. OBMC에서의 부적합한 샘플들을 사용한 조정을 피하기 위해, 현재 블록(또는 서브 블록)이 인접하는 면 불연속의 다른 쪽에 위치하는 이웃하는 블록들(또는 서브 블록들)에 기반한 조정은 생략될 수 있다. 면 불연속이 현재 블록(또는 서브 블록)의 위에 위치한다면, 면 불연속의 다른 쪽에 위치하는 위의 블록(또는 서브 블록)의 모션 벡터를 사용하는 현재 블록(또는 서브 블록)의 제 1행들의 조정은 생략될 수 있다. 면 불연속이 현재 블록(또는 서브 블록)의 아래에 위치한다면, 면 불연속의 다른 쪽에 위치하는 아래의 블록(또는 서브 블록)의 모션 벡터를 사용하는 현재 블록(또는 서브 블록)의 마지막 행들의 조정은 생략될 수 있다. 면 불연속이 현재 블록(또는 서브 블록)의 왼쪽에 위치한다면, 면 불연속의 다른 쪽에 위치하는 왼쪽의 블록(또는 서브 블록)의 모션 벡터를 사용하는 현재 블록(또는 서브 블록)의 제1 열들의 조정은 생략될 수 있다. 면 불연속이 현재 블록(또는 서브 블록)의 오른쪽에 위치한다면, 면 불연속의 다른 쪽에 위치하는 오른쪽의 블록(또는 서브 블록)의 모션 벡터를 사용하는 현재 블록(또는 서브 블록)의 마지막 열들의 조정은 생략될 수 있다.
블록 또는 서브 블록의 조정은 블록 또는 서브 블록을 가로지르는 면 불연속에 기반하여 생략될 수 있다. 예를 들어, 면 불연속이 현재 블록 또는 서브 블록을 가로지른다면, 면 불연속에 의해 교차되는 블록 또는 서브 블록 경계의 조정은 생략될 수 있다. 수평 면 불연속이 현재 블록 또는 서브 블록을 가로지를 때, 현재 블록 또는 서브 블록의 첫 번째 및/또는 마지막 열들의 조정은 생략될 수 있다. 수직 면 불연속이 현재 블록 또는 서브 블록을 가로지를 때, 현재 블록 또는 서브 블록의 첫 번째 및/또는 마지막 행들의 조정은 생략될 수 있다.
블록 또는 서브 블록의 경계는 면 불연속에 의해 교차될 수 있다. 현재 블록 또는 서브 블록의 경계가 면 불연속에 의해 교차된다면, OBMC가 적용될 수 있다. 예를 들어, OBMC는 면 불연속의 일측(예를 들어, 각각의 측)에 위치할 수 있는 블록 경계의 부분(예를 들어 각각의 부분)에 대해, 예를 들어 경계 세그먼트(예를 들어, 각각의 경계 세그먼트)와 동일한 면에 위치하는 대응하는 이웃하는 MV들을 고려하여, 개별적으로 적용될 수 있다.
서브 블록들의 그룹은 유사한(예를 들어, 동일한) 모션 정보를 제시할 수 있다. OBMC는 예를 들어, 도 21a-b에 도시된 바와 같이 서브 블록들이 동일한 모션 정보를 제시한다면 서브 블록들의 그룹(예를 들어, 서브 블록들의 전체 그룹)에 (예를 들어, 직접) 적용될 수 있다.
서브 블록들은 면 불연속에 대한 그들의 위치에 기반하여 하나 이상의 더 큰 서브 블록 그룹들로 병합될 수 있다. 하나 이상의 서브 블록들이 더 큰 서브 블록 그룹으로 병합된다면, 동일한 면에 속하는 서브 블록들이(예를 들어, 서브 블록들만이) 함께 병합될 수 있다. 예를 들어, 블록이 수평 면 불연속에 의해 교차되고 블록의 왼쪽에 있는 서브 블록들(예를 들어, 모든 서브 블록들)이 동일한 모션 정보를 갖는다면, 인접하는 서브 블록들은 함께 (예를 들어, 두 개의 그룹들로) 그룹화될 수 있다. 함께 그룹화되는 인접하는 서브 블록들은 외부 OBMC 기반 모션 보상을 수행하는 데 사용될 수 있다. 도 24c에 도시된 바와 같이, 이들 서브 블록 그룹들은 모션 보상(예를 들어, 도 24c의 MC2 및 MC3)에 대응할 수 있다. 도 24c에 도시된 바와 같이, 그룹은 면 불연속의 일측에 위치할 수 있다.
OBMC 기반 모션 보상은 서브 블록들이 속하는 면을 고려하여 적용될 수 있다. 예를 들어, 지오메트리 패딩이 수행된다면, OBMC 기반 모션 보상은 대응하는 패딩된 면을 사용하여 적용될 수 있다. OBMC는 면 불연속에 대한 그들의 위치에 기반하여 그룹들 및/또는 서브 블록들에 대해 비활성화될 수 있다. 예를 들어, OBMC는 현재 블록의 왼쪽 위 위치의 면과 상이한 면에 속하는 그룹들 및/또는 서브 블록들에 대해 비활성화될 수 있다. 도 24c에 도시된 예에서, OBMC 기반 모션 보상(예를 들어, 도 24c의 MC3)은 비활성화될 수 있다.
OBMC는 현재 블록 또는 서브 블록에 대한 모션 보상을 수행하기 위해 이웃하는 블록들 또는 서브 블록들의 MV들을 사용할 수 있다. 이웃하는 MV가 현재 블록 또는 서브 블록과 상이한 면으로부터 올 때, OBMC는 그 MV에 대해 비활성화될 수 있다. OBMC는 현재 블록의 최종 예측 신호를 생성하기 위해 이웃하는 MV들을 사용하여 하나 이상의 예측 신호들을 결합할 수 있다. 이웃하는 MV를 사용하여 생성된 예측 신호가 현재 블록 또는 서브 블록의 면과 상이한 면으로부터의 샘플들을 사용한다면, OBMC는 그 MV에 대해 비활성화될 수 있다.
예를 들어, 블록 또는 서브 블록은 면 불연속의 아래에 위치할 수 있다. 블록 또는 서브 블록의 왼쪽 경계가 조정될 수 있다. 예측 신호가 (예를 들어, 현재 블록 또는 서브 블록과 동일한 면으로부터 올 수 있는) 왼쪽의 이웃하는 모션 벡터를 사용하여 생성되고/생성되거나 면 불연속의 위로부터의 샘플들을 사용한다면, OBMC는 왼쪽의 블록 또는 서브 블록 경계에 대해 비활성화될 수 있다.
예들에서, 면 불연속 옆에 위치하는 블록들(또는 서브 블록들)에 대한 OBMC가 비활성화(예를 들어, 완전히 비활성화)될 수 있다. 예들에서, 면 불연속에 의해 교차되는 블록들(또는 서브 블록들)에 대한 OBMC가 비활성화(예를 들어, 완전히 비활성화)될 수 있다.
디블로킹 필터가 면 불연속에 적용될 수 있다.
디블로킹 필터에서 사용된 하나 이상의(예를 들어, 모든) 샘플들이 면 불연속의 동일한 쪽에 위치하지 않을 때 면 불연속의 가까이에 있는 블록 경계의 디블로킹은 생략될 수 있다. 예를 들어, 디블로킹 필터에서 사용된 하나 이상의(예를 들어, 모든) 샘플들이 면 불연속의 동일한 쪽에 위치하지 않도록 수직 블록 경계가 수직 면 불연속의 가까이에 있다면, 디블로킹 필터는 이 블록 경계에 걸쳐 비활성화될 수 있다. 디블로킹 필터에서 사용된 하나 이상의(예를 들어, 모든) 샘플들이 면 불연속의 동일한 쪽에 위치하지 않도록 수평 블록 경계가 수평 면 불연속의 가까이에 있다면, 디블로킹 필터는 이 블록 경계에 걸쳐 비활성화될 수 있다.
샘플 적응 오프셋(SAO) 필터가 면 불연속에 적용될 수 있다. 그라디언트 계산에 사용된 샘플들이 면 불연속의 두 개의 상이한 쪽에 있는 SAO의 에지 오프셋 모드에서의 하나 이상의 카테고리들이 비활성화될 수 있다. 예를 들어, 면 불연속이 현재 샘플 위치의 위 또는 아래에 위치한다면, 수직 및 두 개의 대각선 카테고리들은 그 샘플 위치에 대해 비활성화될 수 있다. 면 불연속의 현재 샘플 위치의 왼쪽 또는 오른쪽에 위치한다면, 수평 및 두 개의 대각선 카테고리들은 그 샘플 위치에 대해 비활성화될 수 있다. 예들에서, SAO에서의 에지 오프셋 모드는 면 불연속 옆에 위치하는 샘플들에 대해 비활성화(예를 들어, 완전히 비활성화)될 수 있다.
적응 루프 필터(ALF)가 면 불연속에 적용될 수 있다. ALF는 가장 큰 필터가 면 불연속을 가로지르는 샘플 위치들을 건너뛸 수 있다. 예를 들어, ALF는 필터링 프로세스에 사용된 샘플들이 면 불연속의 두 개의 상이한 쪽에 있는 샘플 위치들을 건너뛸 수 있다. 최대 9×9 마름모 필터를 사용할 수 있는(예를 들어, 도 16c를 참조) 루마 컴포넌트에 대해, ALF는 면 불연속의 네 개의 샘플들 내에 위치한 샘플들에 대해 비활성화될 수 있다. 5×5 마름모 필터를(예를 들어, 필터만을) 사용할 수 있는(예를 들어, 도 16a를 참조) 크로마 컴포넌트에 대해, ALF는 면 불연속의 두 개의 샘플들 내에 위치한 샘플들에 대해 비활성화될 수 있다.
예들에서, ALF는 면 불연속 옆에 위치하는 블록들 및/또는 면 불연속을 포함하는 블록들에 대해 비활성화(예를 들어, 완전히 비활성화)될 수 있다. ALF를 비활성화하는 것은 디코더가 블록 레벨에서 결정(예를 들어, ALF가 켜져 있는지 꺼져 있는지의 결정)을 수행하게 할 수 있다. ALF는 화상 레벨 및/또는 블록 레벨에서 적응(예를 들어, 켜짐/꺼짐)될 수 있다. 예를 들어 블록이 면 불연속에 의해 영향을 받을 때(예를 들어, 블록이 면 불연속에 의해 교차되거나 면 불연속에 인접할 때) ALF는 주어진 블록에 대해 꺼질 수 있다. 블록 레벨 시그널링이 블록에 대해 생략될 수 있고, ALF는 그 블록에 대해 꺼진 것으로 추론될 수 있다.
ALF 분류 프로세스는 ALF 필터링이 비활성화될 수 있는 하나 이상의 샘플 위치 및/또는 샘플 위치의 블록들을 건너뛸 수 있다. 예를 들어, ALF 분류는 샘플 위치가 면 불연속에 의해 영향을 받기 때문에(예를 들어, 그 샘플 위치에서 분류 프로세스에 사용된 샘플들이 면 불연속의 두 개의 상이한 쪽에 위치) 샘플 위치를 건너뛸 수 있다. 블록 내의 하나 이상의 샘플들이 면 불연속에 의해 영향을 받는다면 ALF 분류는 블록을 건너뛸 수 있다. ALF 분류는 2×2 블록 유닛들에 대해 수행될 수 있다.
도 25a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템(100)을 도시하는 다이어그램이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 방송 등과 같은 컨텐츠를 다수의 무선 사용자들에게 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(100)은 다수의 무선 사용자들이 무선 대역폭을 포함하는 시스템 자원들의 공유를 통하여 이러한 컨텐츠에 액세스할 수 있게 할 수 있다. 예를 들어, 통신 시스템들(100)은 코드 분할 다중 액세스(CDMA; Code Division Multiple Access), 시간 분할 다중 액세스(TDMA; Time Division Multiple Access), 주파수 분할 다중 액세스(FDMA; Frequency Division Multiple Access), 직교 FDMA(OFDMA; Orthogonal FDMA), 단일 캐리어 FDMA(SC-FDMA; Single-Carrier FDMA), 제로-테일 유니크-워드 DFT-스프레드 OFDM(ZT UW DTS-s OFDM; Zero-Tail Unique-Word DFT-Spread OFDM), 유니크 워드 OFDM(UW-OFDM), 자원 블록 필터링된 OFDM, 필터 뱅크 멀티캐리어(FBMC; Filter Bank Multicarrier) 등과 같은 하나 이상의 채널 액세스 방법들을 이용할 수 있다.
도 25a에 도시된 바와 같이, 통신 시스템(100)은 무선 송신/수신 유닛들(WTRU; Wireless Transmit/Receive Unit)(102a, 102b, 102c, 102d), RAN(104/113), CN(106/115), 공중 교환 전화 네트워크(PSTN; Public Switched Telephone Network)(108), 인터넷(110) 및 다른 네트워크들(112)을 포함할 수 있지만, 개시된 실시예들은 임의의 수의 WTRU들, 기지국들, 네트워크들 및/또는 네트워크 구성요소들을 고려함이 이해될 것이다. WTRU들(102a, 102b, 102c, 102d) 각각은 무선 환경에서 동작 및/또는 통신하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로서, WTRU들(102a, 102b, 102c, 102d)은, 이들 중 임의의 것이 “국(station)” 및/또는 “STA”로 지칭될 수 있으며, 무선 신호들을 송신 및/또는 수신하도록 구성될 수 있고 사용자 장비(UE; User Equipment), 이동국, 고정 또는 이동 가입자(subscriber) 유닛, 가입 기반(subscription-based) 유닛, 호출기, 셀룰러 폰, 개인 휴대 정보 단말기(PDA; Personal Digital Assistant), 스마트폰, 랩탑, 넷북, 개인용 컴퓨터, 무선 센서, 핫스팟 또는 Mi-Fi 디바이스, 사물 인터넷(IoT; Internet of Things) 디바이스, 시계 또는 다른 웨어러블, 헤드 마운트 디스플레이(HMD), 차량, 드론, 의료용 디바이스 및 어플리케이션(예를 들어, 원격 수술), 산업용 디바이스 및 어플리케이션(예를 들어, 산업용 및/또는 자동화된 프로세싱 체인 컨텍스트에서 작동하는 로봇 및/또는 다른 무선 디바이스들), 소비자 전자 디바이스, 상업용 및/또는 산업용 무선 네트워크들에서 작동하는 디바이스 등을 포함할 수 있다. WTRU들(102a, 102b, 102c 및 102d) 중 임의의 것이 서로 교체 가능하게 UE로 지칭될 수 있다.
통신 시스템들(100)은 또한 기지국(114a) 및/또는 기지국(114b)을 포함할 수 있다. 기지국들(114a, 114b) 각각은 CN(106/115), 인터넷(110) 및/또는 다른 네트워크들(112)과 같은 하나 이상의 통신 네트워크들로의 액세스를 용이하게 하기 위해 WTRU들(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이스하도록 구성되는 임의의 유형의 디바이스일 수 있다. 예로서, 기지국들(114a, 114b)은 기지 송수신기국(BTS; Base Transceiver Station), 노드B, e노드B, 홈 노드B, 홈 e노드B, gNB, NR 노드B, 사이트 컨트롤러, 액세스 포인트(AP), 무선 라우터 등일 수 있다. 기지국들(114a, 114b)은 각각 단일의 구성요소로서 도시되어 있지만, 기지국들(114a, 114b)은 임의의 수의 상호 연결된 기지국들 및/또는 네트워크 구성요소들을 포함할 수 있음이 이해될 것이다.
기지국(114a)는 RAN(104/113)의 일부일 수 있으며, 이는 또한 기지국 컨트롤러(BSC; Base Station Controller), 무선 네트워크 컨트롤러(RNC; Radio Network Controller), 중계 노드들과 같은 다른 기지국들 및/또는 네트워크 구성요소들(도시되지 않음)을 포함할 수 있다. 기지국(114a) 및/또는 기지국(114b)은 하나 이상의 캐리어 주파수 상에서 무선 신호들을 송신 및/또는 수신하도록 구성될 수 있으며, 이는 셀(도시되지 않음)로 지칭될 수 있다. 이들 주파수는 면허 스펙트럼, 비면허 스펙트럼 또는 면허 및 비면허 스펙트럼의 조합일 수 있다. 셀은 상대적으로 고정될 수 있거나 시간에 따라 변할 수 있는 특정한 지리적 영역에 무선 서비스를 위한 커버리지를 제공할 수 있다. 셀은 셀 섹터들로 더 분할될 수 있다. 예를 들어, 기지국(114a)과 연관된 셀들은 세 개의 섹터들로 분할될 수 있다. 따라서, 일 실시예에서, 기지국(114a)는 세 개의 송수신기들, 즉 셀의 각각의 섹터마다 하나씩을 포함할 수 있다. 일 실시예에서, 기지국(114a)은 다중 입력 다중 출력(MIMO; Multiple Input Multiple Output) 기술을 이용할 수 있고 셀의 각각의 섹터에 대해 다수의 송수신기들을 이용할 수 있다. 예를 들어, 원하는 공간 방향들로 신호들을 송신 및/또는 수신하기 위해 빔포밍(beamforming)이 사용될 수 있다.
기지국들(114a, 114b)은 임의의 적합한 무선 통신 링크(예를 들어, 무선 주파수(RF; Radio Frequency), 마이크로파, 센티미터파, 마이크로미터파, 적외선(IR), 자외선(UV), 가시광선 등)일 수 있는 무선 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수 있다. 무선 인터페이스(116)는 임의의 적합한 무선 액세스 기술(RAT; Radio Access Technology)을 사용하여 구축될 수 있다.
보다 구체적으로, 위에서 언급한 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수 있고 CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식들을 이용할 수 있다. 예를 들어, RAN(104/113) 내의 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 범용 이동 통신 시스템 지상 무선 액세스(UTRA; Universal Mobile Telecommunications System(UMTS) Terrestrial Radio Access)과 같은 무선 기술을 구현할 수 있고, 이는 광대역 CDMA(WCDMA; Wideband CDMA)를 사용하여 무선 인터페이스(115/116/117)를 구축할 수 있다. WCDMA는 고속 패킷 액세스(HSPA: High-Speed Packet Access) 및/또는 진화된 HSPA(HSPA+)와 같은 통신 프로토콜들을 포함할 수 있다. HSPA는 고속 다운링크(DL) 패킷 액세스(HSDPA: High-Speed Downlink Packet Access) 및/또는 고속 UL 패킷 액세스(HSUPA; High-Speed UL Packet Access)를 포함할 수 있다.
일 실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 진화된 UMTS 지상 무선 액세스(E-UTRA; Evolved UMTS Terrestrial Radio Access)과 같은 무선 기술을 구현할 수 있으며, 이는 롱 텀 에볼루션(LTE; Long Term Evolution) 및/또는 LTE 어드밴스드(LTE-A) 및/또는 LTE-어드밴스드 프로(LTE-A Pro)를 사용하여 무선 인터페이스(116)를 구축할 수 있다.
일 실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 NR 무선 액세스와 같은 무선 기술을 구현할 수 있고, 이는 뉴 라디오(NR; New Radio)를 사용하여 무선 인터페이스(116)를 구축할 수 있다.
일 실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)는 다수의 무선 액세스 기술을 구현할 수 있다. 예를 들어, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은, 예를 들어 이중 연결(DC; Dual Connectivity) 원리를 사용하여 LTE 무선 액세스 및 NR 무선 액세스를 함께 구현할 수 있다. 따라서, WTRU들(102a, 102b, 102c)에 의해 이용되는 무선 인터페이스는 다수의 유형의 무선 액세스 기술 및/또는 다수의 유형의 기지국들(예를 들어, eNB 및 gNB)로/로부터 보내지는 송신을 특징으로 할 수 있다.
다른 실시예들에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 IEEE 802.11(즉, 와이파이(WiFi; Wireless Fidelity)), IEEE 802.16(즉, 와이맥스(WiMAX; Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), GSM(Global System for Mobile Communications), EDGE(Enhanced Data rated for GSM Evolution), GSM EDGE(GERAN) 등과 같은 무선 기술을 구현할 수 있다.
도 25a의 기지국(114b)은 예를 들어 무선 라우터, 홈 노드B, 홈 e노드B 또는 액세스 포인트일 수 있고 사업장, 가정, 차량, 캠퍼스, 산업 시설, 항공로(예를 들어, 드론용), 도로 등과 같은 국지적인 영역에서 무선 연결을 용이하게 하기 위해 임의의 적절한 RAT를 이용할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 무선 근거리 통신망(WLAN; Wireless Local Area Network)을 구축하기 위해 IEEE 802.11과 같은 무선 기술을 구현할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 무선 개인 영역 네트워크(WPAN; Wireless Personal Area Network)를 구축하기 위해 IEEE 802.15와 같은 무선 기술을 구현할 수 있다. 또다른 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)는 피코셀 또는 펨토셀을 구축하기 위해 셀룰러 기반 RAT(예를 들어, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A 프로, NR 등)를 이용할 수 있다. 도 25a에 도시된 바와 같이, 기지국(114b)은 인터넷(110)으로의 직접적인 연결을 가질 수 있다. 따라서, 기지국(114b)은 CN(106/115)을 통하여 인터넷(110)에 액세스할 필요가 없을 수 있다.
RAN(104/113)은 CN(106/115)과 통신할 수 있으며, 이는 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상에 음성, 데이터, 어플리케이션 및/또는 VoIP(Voice over Internet Protocol) 서비스를 제공하도록 구성된 임의의 유형의 네트워크일 수 있다. 데이터는 상이한 처리량 요구사항, 지연 요구사항, 오류 허용 요구사항, 신뢰성 요구사항, 데이터 처리량 요구사항, 이동성 요구사항 등과 같은 다양한 서비스 품질(QoS; Quality of Service) 요구사항들을 가질 수 있다. CN(106/115)은 통화 제어, 과금 서비스, 모바일 위치기반 서비스, 선불 통화, 인터넷 연결, 비디오 분배 등을 제공하고/제공하거나 사용자 인증과 같은 높은 수준의 보안 기능을 수행할 수 있다. 비록 도 25a에는 도시되지 않았지만, RAN(104/113) 및/또는 CN(106/115)은 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 이용하는 다른 RAN들과 직접적으로 또는 간접적으로 통신할 수 있음이 이해될 것이다. 예를 들어, NR 무선 기술을 이용할 수 있는 RAN(104/113)에 연결되는 것에 더하여, CN(106/115)은 또한 GSM, UMTS, CDMA 2000, WiMAX, E-UTRA 또는 WiFi 무선 기술을 이용하는 또다른 RAN(도시되지 않음)과 통신할 수 있다.
CN(106/115)은 또한 WTRU들(102a, 102b, 102c, 102d)이 PSTN(108), 인터넷(110) 및/또는 다른 네트워크들(112)에 액세스하기 위한 게이트웨이로서의 역할을 할 수 있다. PSTN(108)은 기존 전화 서비스(POTS; Plain Old Telephone Service)를 제공하는 회선 교환 전화 네트워크들을 포함할 수 있다. 인터넷(110)은 송신 제어 프로토콜(TCP; Transmission Control Protocol), 사용자 데이터그램 프로토콜(UDP; User Datagram Protocol) 및/또는 TCP/IP 인터넷 프로토콜 슈트에서의 인터넷 프로토콜(IP; Internet Protocol)과 같은 공통 통신 프로토콜들을 사용하는 상호 연결된 컴퓨터 네트워크들 및 디바이스들의 글로벌 시스템을 포함할 수 있다. 네트워크들(112)은 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 유선 및/또는 무선 통신 네트워크들을 포함할 수 있다. 예를 들어, 네트워크들(112)은 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 이용할 수 있는 하나 이상의 RAN들에 연결된 또다른 CN을 포함할 수 있다.
통신 시스템(100) 내의 WTRU들(102a, 102b, 102c, 102d)의 일부 또는 전부는 멀티 모드 기능을 포함할 수 있다(예를 들어, WTRU들(102a, 102b, 102c, 102d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위한 다수의 송수신기들을 포함할 수 있음). 예를 들어, 도 25a에 도시된 WTRU(102c)는 셀룰러 기반 무선 기술을 이용할 수 있는 기지국(114a) 및 IEEE 802 무선 기술을 이용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.
도 25b는 예시적인 WTRU(102)를 도시하는 시스템 구성도이다. 도 25b에 도시된 바와 같이, WTRU(102)는 프로세서(118), 송수신기(120), 송신/수신 구성요소(122), 스피커/마이크(124), 키패드(126), 디스플레이/터치패드(128), 비이동식 메모리(130), 이동식 메모리(132), 전원(134), 위성 위치확인 시스템(GPS; Global Positioning System) 칩셋(136) 및/또는 다른 주변 장치들(138) 등을 포함할 수 있다. WTRU(102)는 실시예와 일관성을 유지하면서 전술한 구성요소들의 임의의 하위 조합을 포함할 수 있음이 이해될 것이다.
프로세서(118)는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, 디지털 신호 프로세서(DSP; Digital Signal Processor), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 이상의 마이크로프로세서들, 컨트롤러, 마이크로컨트롤러, 주문형 집적회로(ASIC; Application Specific Integrated Circuit), 필드 프로그램 가능 게이트 어레이(FPGA; Field Programmable Gate Array) 회로, 임의의 다른 유형의 집적 회로(IC; Integrated Cirtuit), 상태 머신 등일 수 있다. 프로세서(118)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입력/출력 프로세싱 및/또는 WTRU(102)가 무선 환경에서 동작할 수 있게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송신/수신 구성요소(122)에 결합될(coupled) 수 있는 트랜시버(120)에 결합될 수 있다. 도 25b가 프로세서(118) 및 송수신기(120)를 별개의 컴포넌트들로 도시하고 있지만, 프로세서(118) 및 트랜시버(120)는 전자 패키지 또는 칩 내에 함께 집적될 수 있음이 이해될 것이다.
송신/수신 구성요소(122)는 무선 인터페이스(116)를 통해 기지국(예를 들어, 기지국(114a))으로 신호들을 송신하거나 기지국으로부터 신호들을 수신하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 송신/수신 구성요소(122)는 RF 신호들을 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 일 실시예에서, 송신/수신 구성요소(12)는 예를 들어 IR, UV 또는 가시광선 신호들을 송신 및/또는 수신하도록 구성된 방출기/검출기일 수 있다. 또다른 실시예에서, 송신/수신 구성요소(122)는 RF 및 광 신호들 모두를 송신 및/또는 수신하도록 구성될 수 있다. 송신/수신 구성요소(122)는 무선 신호들의 임의의 조합을 송신 및/또는 수신하도록 구성될 수 있음이 이해될 것이다.
송신/수신 구성요소(122)가 도 25b에서 단일의 구성요소로 도시되어 있지만, WTRU(102)는 임의의 수의 송신/수신 구성요소들(122)을 포함할 수 있다. 보다 구체적으로, WTRU(102)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시예에서, WTRU(102)는 무선 인터페이스(116)를 통해 무선 신호들을 송신 및 수신하기 위한 둘 이상의 송신/수신 구성요소들(122)(예를 들어, 다수의 안테나들)을 포함할 수 있다.
송수신기(120)는 송신/수신 구성요소(122)에 의해 송신될 신호들을 변조하고 송신/수신 구성요소(122)에 의해 수신될 신호들을 복조하도록 구성될 수 있다. 위에서 언급한 바와 같이, WTRU(102)는 멀티 모드 기능을 가질 수 있다. 따라서, 송수신기(120)는 WTRU(120)가 예를 들어 NR 및 IEEE 802.11과 같은 다수의 RAT들을 통하여 통신할 수 있게 하기 위한 복수의 송수신기들을 포함할 수 있다.
WTRU(120)의 프로세서(118)는 스피커/마이크(124), 키패드(126) 및/또는 디스플레이/터치패드(128)(예를 들어, 액정 디스플레이(LCD; Liquid Crystal Display) 디스플레이 유닛 또는 유기 발광 다이오드(OLED; Organic Light-Emitting Diode) 디스플레이 유닛)에 결합되고 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 스피커/마이크(124), 키패드(126) 및/또는 디스플레이/터치패드(128)로 사용자 데이터를 출력할 수 있다. 또한, 프로세서(118)는 비이동식 메모리(130) 및/또는 이동식 메모리(132)와 같은 임의의 유형의 적합한 메모리로부터 정보에 액세스하고 그에 데이터를 저장할 수 있다. 비이동식 메모리(130)는 랜덤 액세스 메모리(RAM; Random-Access Memory), 판독 전용 메모리(ROM; Read-Only Memory), 하드 디스크 또는 임의의 다른 유형의 메모리 저장 디바이스를 포함할 수 있다. 이동식 메모리(132)는 가입자 식별 모듈(SIM; Subscriber Identity Module) 카드, 메모리 스틱, SD(Secure Digital) 메모리 카드 등을 포함할 수 있다. 다른 실시예들에서, 프로세서(118)는 서버 또는 가정용 컴퓨터 상과 같이(도시되지 않음) WTRU(102) 상에 물리적으로 위치하지 않는 메모리로부터 정보를 액세스하고 그에 데이터를 저장할 수 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신할 수 있고 WTRU(12) 내 다른 컴포넌트들로 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적합한 디바이스일 수 있다. 예를 들어, 전원(134)은 하나 이상의 건전지(예를 들어, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 수소화물(NiMH), 리튬 이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.
프로세서(118)는 또한 WTRU(102)의 현재 위치에 관한 위치 정보(예를 들어, 경도 및 위도)를 제공하도록 구성될 수 있는 GPS 칩셋(136)에 결합될 수 있다. GPS 칩셋(137)으로부터의 정보에 더하여, 또는 그 대신에, WTRU(102)는 무선 인터페이스(116)를 통해 기지국(예를 들어, 기지국들(114a, 114b))으로부터 위치 정보를 수신하고/수신하거나 두 개 이상의 근방의 기지국들로부터 수신되는 신호들의 타이밍에 기반하여 그 위치를 결정할 수 있다. WTRU(102)는 실시예와 일관성을 유지하면서 임의의 적절한 위치 결정 방법에 의해 위치 정보를 획득할 수 있음이 이해될 것이다.
프로세서(118)는 추가적인 특징, 기능 및/또는 유선 또는 무선 연결을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈들을 포함할 수 있는 다른 주변 장치들(138)에 더 결합될 수 있다. 예를 들어 주변 장치들(138)은 가속도계, 전자 나침반(e-compass), 위성 송수신기, (사진 및/또는 비디오용) 디지털 카메라, 범용 직렬 버스(USB; Universal Serial Bus) 포트, 진동 디바이스, 텔레비전 송수신기, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(FM; Frequency Modulated) 무선 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, 가상 현실 및/또는 증강 현실(VR/AR) 디바이스, 활동 추적기 등을 포함할 수 있다. 주변 장치들(138)은 하나 이상의 센서들을 포함할 수 있고, 센서들은 자이로스코프, 가속도계, 홀 효과(hall effect) 센서, 자력계, 배향 센서, 근접 센서, 온도 센서, 시간 센서, 지리위치 센서, 고도계, 광 센서, 터치 센서, 자력계, 기압계, 제스처 센서, 생체 센서 및/또는 습도 센서 중 하나 이상일 수 있다.
WTRU(102)는 (예를 들어, (예를 들어, 송신을 위한) UL 및 (예를 들어, 수신을 위한) 다운링크 모두를 위한 특정한 서프프레임들과 연관된) 신호들의 일부 또는 전부의 송신 및 수신이 공존적 및/또는 동시적일 수 있는 전이중(full duplex) 라디오를 포함할 수 있다. 전이중 라디오는 하드웨어를 통한 자기 간섭(self-interference)(예를 들어, 초크) 또는 프로세서를 통한(예를 들어, 별도의 프로세서(도시되지 않음) 또는 프로세서(118)를 통한) 신호 프로세싱을 감소 및/또는 실질적으로 제거하기 위한 간섭 관리 유닛을 포함할 수 있다. 일 실시예에서, WRTU(102)는 (예를 들어, (예를 들어, 송신을 위한) UL 또는 (예를 들어, 수신을 위한) 다운링크를 위한 특정한 서브프레임들과 연관된) 신호들의 일부 또는 전부의 송신 및 수신을 위한 반이중(half-duplex) 라디오를 포함할 수 있다.
도 25c는 일 실시예에 따른 RAN(104) 및 CN(106)을 도시하는 시스템 다이어그램이다. 위에서 언급한 바와 같이, RAN(104)은 무선 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 E-UTRA 무선 기술을 이용할 수 있다. RAN(104)는 또한 CN(106)과 통신할 수 있다.
RAN(104)은 e노드B들(160a, 160b, 160c)을 포함할 수 있지만, RAN(104)은 실시예와 일관성을 유지하면서 임의의 수의 e노드B들을 포함할 수 있음이 이해될 것이다. e노드B들(160a, 160b, 160c)은 각각 무선 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 송수신기들을 포함할 수 있다. 일 실시예에서, e노드B들(160a, 160b, 160c)은 MIMO 기술을 구현할 수 있다. 따라서, 예를 들어 e노드B(160a)는 WTRU(102a)로 무선 신호들을 송신하고/송신하거나 그로부터 무선 신호들을 수신하기 위해 다수의 안테나들을 사용할 수 있다.
e노드B들(160a, 160b, 160c) 각각은 특정 셀(도시되지 않음)과 연관될 수 있고 무선 자원 관리 결정, 핸드오버 결정, UL 및/또는 DL에서의 사용자들의 스케줄링 등을 처리하도록 구성될 수 있다. 도 25c에 도시된 바와 같이, e노드B들(160a, 160b, 160c)은 X2 인터페이스를 통해 서로 통신할 수 있다.
도 25c에 도시된 CN(106)은 이동성 관리 엔티티(MME; Mobility Management Entity)(162), 서빙 게이트웨이(SGW; Serving Gateway)(164) 및 패킷 데이터 네트워크(PDN; Packet Data Network) 게이트웨이(또는 PGW)(166)를 포함할 수 있다. 앞서 말한 구성요소들 각각이 CN(106)의 일부로서 도시되어 있지만, 이들 구성요소들 중 임의의 것이 CN 운영자 이외의 다른 엔티티에 의해 소유 및/또는 운영될 수 있음이 이해될 것이다.
MME(162)는 S1 인터페이스를 통하여 RAN(104) 내의 e노드B들(162a, 162b, 162c) 각각에 연결될 수 있고 제어 노드로서의 역할을 할 수 있다. 예를 들어, MME(162)는 WTRU들(102a, 102b, 102c)의 사용자들의 인증, 베어러 활성화/비활성화, WTRU들(102a, 102b, 102c)의 초기 부착동안 특정 서빙 게이트웨이의 선택 등을 담당할 수 있다. MME(162)는 RAN(104)과 GSM 및/또는 WCDMA와 같은 다른 무선 기술들을 이용하는 다른 RAN들(도시되지 않음) 사이의 스위칭을 위한 제어 평면 기능을 제공할 수 있다.
SGW(164)는 S1 인터페이스를 통하여 RAN(104) 내의 e노드B들(160a, 160b, 160c) 각각에 연결될 수 있다. SGW(164)는 일반적으로 WTRU들(102a, 102b, 102c)로/로부터 사용자 데이터 패킷들을 라우팅 및 전달할 수 있다. SGW(164)는 e노드B 간 핸드오버 동안 사용자 평면의 앵커링(anchoring), DL 데이터가 WTRU들(102a, 102b, 102c)에 이용 가능할 때 페이징의 트리거링, WTRU들(102a, 102b, 102c)의 컨텍스트의 관리 및 저장 등과 같은 다른 기능들을 수행할 수 있다.
SGW(164)는 WTRU들(102a, 102b, 102c)과 IP 지원 디바이스들 사이의 통신을 용이하게 하기 위해 WTRU들(102a, 102b, 102c)에게 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 제공할 수 있는 PGW(166)에 연결될 수 있다.
CN(106)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(106)은 WTRU들(102a, 102b, 102c)과 전통적인 지상 통신선 통신 디바이스 사이의 통신을 용이하게 하기 위해 WTRU들(102a, 102b, 102c)에게 PSTN(108)과 같은 회로 교환 네트워크들에 대한 액세스를 제공할 수 있다. 예를 들어, CN(106)은 CN(106)과 PSTN(108) 사이의 인터페이스로서의 역할을 하는 IP 게이트웨이(예를 들어, IP 멀티미디어 서브시스템(IPS; IP Multimedia Subsystem) 서버)를 포함하거나 이와 통신할 수 있다. 또한, CN(106)은 WTRU들(102a, 102b, 102c)에게 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 다른 유선 및/또는 무선 네트워크들을 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 제공할 수 있다.
WTRU가 도 20a-d에서 무선 단말기로 설명되어 있지만, 특정한 대표적인 실시예들에서 그러한 단말기가 통신 네트워크와의 (예를 들어, 일시적 또는 영구적) 유선 통신 인터페이스를 사용할 수 있음이 고려된다.
대표적인 실시예들에서, 다른 네트워크(112)는 WLAN일 수 있다.
인프라스트럭처 기본 서비스 세트(BSS; Basic Service Set) 모드의 WLAN은 BSS에 대한 액세스 포인트(AP) 및 AP와 연관된 하나 이상의 국(STA)을 가질 수 있다. AP는 분배 시스템(DS; Distribution System) 또는 BSS 내로/밖으로 트래픽을 운반하는 다른 유형의 유선/무선 네트워크에 대한 액세스 또는 인터페이스를 가질 수 있다. BSS 외부로부터 발생하는 STA들로의 트래픽은 AP를 통해 도착하고 STA들로 전달될 수 있다. STA들로부터 BSS 외부의 목적지로 발신하는 트래픽은 AP로 보내지고 각각의 목적지로 전달될 수 있다. BSS 내의 STA들 사이의 트래픽은 AP를 통해 보내질 수 있는데, 예를 들어 소스 STA는 AP로 트래픽을 보내고 AP는 목적지 STA로 트래픽을 전달할 수 있다. BSS 내의 STA들 사이의 트래픽은 피어 투 피어(peer-to-peer)트래픽으로 간주 및/또는 지칭될 수 있다. 피어 투 피어 트래픽은 직접 링크 설정(DLS; Direct Link Setup)을 사용하여 소스와 목적지 STA들 사이에서 (예를 들어, 직접) 보내질 수 있다. 특정의 대표적인 실시예들에서, DLS는 802.11e DLS 또는 802.11z 터널링 DLS(TDLS; Tunneled DLS)를 사용할 수 있다. 독립 BSS(IBSS; Independent BSS) 모드를 사용하는 WLAN은 AP를 갖지 않을 수 있고, IBSS 내의 또는 IBSS를 사용하는 STA들(예를 들어, 모든 STA들)은 서로 직접 통신할 수 있다. IBSS 통신 모드는 본 명세서에서 때때로 “애드혹(ad-hoc)” 통신 모드로 지칭될 수 있다.
802.11ac 인프라스트럭처 동작 모드 또는 유사한 동작 모드를 사용할 때, AP는 주 채널(primary channel)과 같은 고정 채널 상에서 비콘을 송신할 수 있다. 주 채널은 고정 폭(예를 들어, 20 MHz의 대역폭) 또는 시그널링을 통해 동적으로 설정된 폭일 수 있다. 주 채널은 BSS의 동작 채널일 수 있고 AP와의 연결을 구축하기 위해 STA들에 의해 사용될 수 있다. 특정한 대표적인 실시예들에서, 충돌 회피 캐리어 감지 다중 액세스(CSMA/CA; Carrier Sense Multiple Access with Collision Avoidance)가 예를 들어 802.11 시스템들에서 구현될 수 있다. CSMA/CA의 경우, AP를 포함하는 STA들(예를 들어, 모든 STA)은 주 채널을 감지할 수 있다. 주 채널이 감지/탐지 및/또는 특정 STA에 의해 사용 중인 것으로 결정된다면, 특정 STA는 백 오프될 수 있다. 하나의 STA(예를 들어, 오직 하나의 국)는 주어진 BSS에서 임의의 주어진 시간에 송신할 수 있다.
고속 처리(HT; High Throughput) STA들은, 예를 들어 40 MHz 폭의 채널을 형성하기 위한 20 MHz의 주 채널과 인접한 또는 인접하지 않은 20 MHz 채널의 결합을 통하여, 통신을 위해 40 MHz 폭의 채널을 사용할 수 있다.
초고속 처리(VHT; Very High Throughput) STA들은 20 MHz, 40 MHz, 80 MHz 및/또는 160 MHz 폭의 채널들을 지원할 수 있다. 40 MHz 및/또는 80 MHz 채널들은 인접한 20 MHz 채널들을 결합함으로써 형성될 수 있다. 160 MHz 채널은 여덟 개의 인접한 20 MHz 채널들의 결합에 의하여 또는 80+80 구성으로 지칭될 수 있는 두 개의 인접하지 않은 80 MHz 채널들의 결합에 의하여 형성될 수 있다. 80+80 구성의 경우, 데이터는 채널 인코딩 후 데이터를 두 개의 스트림들로 분할할 수 있는 세그먼트 파서를 통하여 전달될 수 있다. 역 고속 푸리에 변환(IFFT; Inverse Fast Fourier Transform) 프로세싱 및 시간 도메인 프로세싱은 각각의 스트림에 대해 개별적으로 수행될 수 있다. 스트림들은 두 개의 80 MHz 채널들에 매핑될 수 있고, 데이터는 송신 STA에 의해 송신될 수 있다. 수신 STA의 수신기에서, 위에서 설명된 80+80 구성을 위한 동작이 역전될 수 있고, 결합된 데이터는 매체 액세스 제어(MAC; Medium Access Control)로 보내질 수 있다.
서브 1 GHz 작동 모드는 802.11af 및 802.11ah에 의해 지원된다. 채널 작동 대역폭 및 캐리어들은 802.11n 및 802.11ac에서 사용되는 것들에 비해 802.11af 및 802.11ah에서 감소된다. 802.11af는 TV 화이트 스페이스(TVWS; TV White Space) 스펙트럼에서 5 MHz, 10 MHz 및 20 MHz 대역폭을 지원하고, 802.11ah는 비 TVWS 스펙트럼을 사용하여 1 MHz, 2 MHz, 4 MHz, 8 MHz 및 16 MHz 대역폭을 지원한다. 대표적인 실시예에 따르면, 802.11ah는 매크로 커버리지 영역에서의 MTC 디바이스들과 같은 미터 유형 제어(Meter Type Control)/기계 유형 통신(Machine Type Communications)을 지원할 수 있다. MTC 디바이스들은, 예를 들어 특정 및/또는 제한된 대역폭에 대한 지원을(예를 들어, 지원만을) 포함하는 제한된 기능과 같은 특정한 기능을 가질 수 있다. MTC 디바이스들은 (예를 들어, 매우 긴 배터리 수명을 유지하기 위해) 임계치를 초과하는 배터리 수명을 갖는 배터리를 포함할 수 있다.
802.11n, 802.11ac, 802.11af 및 802.11ah와 같은 다수의 채널들 및 채널 대역폭을 지원할 수 있는 WLAN 시스템들은 주 채널로 지정될 수 있는 채널을 포함한다. 주 채널은 BSS 내의 모든 STA들에 의해 지원되는 최대 공통 동작 대역폭과 동일한 대역폭을 가질 수 있다. 주 채널의 대역폭은 최소 대역폭 동작 모드를 지원하는 BSS에서 동작하는 모든 STA들 중의 STA에 의해 설정 및/또는 제한될 수 있다. 802.11ah의 예에서, AP 및 BSS 내의 다른 STA들이 2 MHz, 4 MHz, 8 MHz, 16 MHz 및/또는 다른 채널 대역폭 동작 모드들을 지원한다고 하더라도 주 채널은 1 MHz 모드를(예를 들어, 모드만을) 지원하는 STA들(예를 들어, MTC 유형 디바이스들)에 대해 1 MHz의 폭일 수 있다. 캐리어 감지 및/또는 네트워크 할당 벡터(NAV; Network Allocation Vector) 설정은 주 채널의 상태에 따라 달라질 수 있다. 예를 들어, (오직 1 MHz 동작 모드만을 지원하는) STA로 인해, 주 채널이 AP로의 송신에 사용 중이라면, 대다수의 주파수 대역이 유휴 상태로 유지되고 이용 가능하더라도 이용 가능한 주파수 대역 전체가 사용중인 것으로 간주될 수 있다.
미국에서, 802.11ah에 의해 사용될 수 있는 이용 가능한 주파수 대역은 902 MHz 내지 928 MHz이다. 한국에서, 이용 가능한 주파수 대역은 917.5 MHz 내지 923.5 MHz이다. 일본에서, 이용 가능한 주파수 대역은 916.5 MHz 내지 927.5 MHz이다. 802.11ah에 이용 가능한 총 대역폭은 국가 코드에 따라 6 MHz 내지 26 MHz이다.
도 25d는 일 실시예에 따른 RAN(113) 및 CN(115)를 도시하는 시스템 다이어그램이다. 위에서 언급한 바와 같이, RAN(13)은 무선 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 NR 무선 기술을 이용할 수 있다. RAN(113)은 또한 CN(115)과 통신할 수 있다.
RAN(113)은 gNB들(180a, 180b, 180c)을 포함할 수 있지만, RAN(113)은 실시예와 일관성을 유지하면서 임의의 수의 gNB들을 포함할 수 있음이 이해될 것이다. gNB들(180a, 180b, 180c) 각각은 무선 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 송수신기들을 포함할 수 있다. 일 실시예에서, gNB들(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 예를 들어, gNB들(180a, 180b, 180c)은 gNB들(180a, 180b, 180c)로 신호들을 송신하고/송신하거나 이들로부터 신호들을 수신하기 위해 빔포밍을 이용할 수 있다. 따라서, 예를 들어 gNB(180a)는 WTRU(102a)로 무선 신호들을 송신하고/송신하거나 이로부터 무선 신호들을 수신하기 위해 다수의 안테나들을 사용할 수 있다. 일 실시예에서, gNB들(180a, 180b, 180c)은 캐리어 집성 기술을 구현할 수 있다. 예를 들어, gNB(180a)는 WTRU(102a)(도시되지 않음)로 다수의 컴포넌트 캐리어들을 송신할 수 있다. 이들 컴포넌트 캐리어들의 서브 세트는 비면허 스펙트럼 상에 있을 수 있는 반면 나머지 컴포넌트 캐리어들은 면허 스펙트럼 상에 있을 수 있다. 일 실시예에서, gNB들(180a, 180b, 180c)는 조정된 멀티 포인트(CoMP; Coordinated Multi-Point) 기술을 구현할 수 있다. 예를 들어, WTRU(102a)는 gNB(180a) 및 gNB(180b)(및/또는 gNB(180c)로부터 조정된 송신을 수신할 수 있다.
WTRU들(102a, 102b, 102c)은 확장 가능한 수법(numerology)과 연관된 송신을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 예를 들어, OFDM 심볼 간격 및/또는 OFDM 서브캐리어 간격은 무선 송신 스펙트럼의 상이한 송신들, 상이한 셀들 및/또는 상이한 부분들에 대해 변할 수 있다. WTRU들(102a, 102b, 102c)은 다양한 또는 확장 가능한 길이(예를 들어, 변화하는 수의 OFDM 심볼들 및/또는 지속 가변 길이의 절대 시간을 포함)의 서브프레임 또는 송신 시간 간격(TTI; Transmission Time Interval)을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다.
gNB들(180a, 180b, 180c)는 독립형 구성 및/또는 비독립형 구성으로 WTRU들(102a, 102b, 102c)과 통신하도록 구성될 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 (예를 들어, e노드B들(160a, 160b, 160c)과 같은) 다른 RAN들도 액세스할 필요 없이 gNB들(180a, 180b, 180c)과 통신할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 이동성 앵커 포인트로서 gNB들(180a, 180b, 180c) 중 하나 이상을 이용할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 비면허 대역의 신호들을 사용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 비독립형 구성에서, WTRU들(102a, 102b, 102c)은 e노드B들(160a, 160b, 160c)과 같은 다른 RAN과도 통신/연결하면서 gNB들(180a, 180b, 180c)과 통신/연결할 수 있다. 예를 들어, WTRU들(102a, 102b, 102c)은 하나 이상의 gNB들(180a, 180b, 180c) 및 하나 이상의 e노드B들(160a, 160b, 160c)과 실질적으로 동시에 통신하기 위해 DC 원리를 구현할 수 있다. 비독립형 구성에서, e노드B들(160a, 160b, 160c)은 WTRU들(102a, 102b, 102c)에 대한 이동성 앵커로서의 역할을 할 수 있고 gNB들(180a, 180b, 180c)은 WTRU들(102a, 102b, 102c)을 서비스하기 위한 추가적인 커버리지 및/또는 처리량을 제공할 수 있다.
gNB들(180a, 180b, 180c) 각각은 특정 셀(도시되지 않음)과 연관될 수 있고 무선 자원 관리 결정, 핸드오버 결정, UL 및/또는 EL에서의 사용자들의 스케줄링, 네트워크 슬라이싱 지원, 이중 연결성, NR 및 E-UTRA 간의 연동, 사용자 평면 데이터의 사용자 평면 기능(UPF; User Plane Function)(184a, 180b)로의 라우팅, 제어 평면 정보의 액세스 및 이동성 관리 기능(AMF; Access and Mobility Management Function)(182a, 182b)로의 라우팅 등을 처리하도록 구성될 수 있다. 도 25d에 도시된 바와 같이, gNB들(180a, 180b, 180c)은 Xn 인터페이스를 통해 서로 통신할 수 있다.
도 25d에 도시된 CN(115)은 적어도 하나의 AMF(182a, 182b), 적어도 하나의 UPF(184a, 184b), 적어도 하나의 세션 관리 기능(SMF; Session Management Function)(183a, 183b) 및 가능하게는 데이터 네트워크(DN; Data Network)(185a, 185b)를 포함할 수 있다. 앞서 말한 구성요소들 각각이 CN(115)의 일부로서 도시되어 있지만, 이들 구성요소들 중 임의의 것이 CN 운영자 이외의 엔티티에 의해 소유 및/또는 운영될 수 있음이 이해될 것이다.
AMF(182a, 182b)는 N2 인터페이스를 통하여 RAN(113) 내의 gNB들(180a, 180b, 180c) 중 하나 이상에 연결될 수 있고 제어 노드로서의 역할을 할 수 있다. 예를 들어, AMF(182a, 182b)는 WTRU들(102a, 102b, 102c)의 사용자들의 인증, 네트워크 슬라이싱의 지원(예를 들어, 상이한 요구사항을 갖는 상이한 PDU 세션들의 처리), 특정 SMF(183a, 183b)의 선택, 등록 영역의 관리, NAS 시그널링의 종료, 이동성 관리 등을 담당할 수 있다. 네트워크 슬라이싱은 WTRU들(102a, 102b, 102c)에 이용되는 서비스들의 유형에 기반하여 WTRU들(102a, 102b, 102c)에 대한 CN 지원을 커스터마이징하기 위해 AMF(182a, 182b)에 의해 사용될 수 있다. 예를 들어, 상이한 네트워크 슬라이스들이 초신뢰 저지연(URLLC; Ultra-Reliable Low Latency) 액세스에 의존하는 서비스, 향상된 거대 모바일 광대역(eMBB; enhanced massive Mobile Broadband) 액세스에 의존하는 서비스, 기계 유형 통신(MTC; Machine Type communication) 액세스에 대한 서비스 등과 같은 상이한 사용 사례들에 대해 구축될 수 있다. AMF(162)는 RAN(113)과 LTE, LTE-A, LTE-A 프로 및/또는 WiFi와 같은 비 3GPP 액세스 기술을 이용하는 다른 RAN들(도시되지 않음) 간 스위칭을 위한 제어 평면 기능을 제공할 수 있다.
SMF(183a, 183b)는 N11 인터페이스를 통하여 CN(115) 내의 AMF(182a, 182b)에 연결될 수 있다. SMF(183a, 183b)는 또한 N4 인터페이스를 통하여 CN(115) 내의 UPF(184a, 184b)에 연결될 수 있다. SMF(183a, 183b)는 UPF(184a, 184b)를 선택 및 제어하고 UPF(184a, 184b)를 통해 트래픽의 라우팅을 구성할 수 있다. SMF(183a, 183b)는 UE IP 주소의 관리 및 할당, PDU 세션들의 관리, 정책 실행 및 QoS 제어, 다운링크 데이터 통지의 제공 등과 같은 다른 기능들을 수행할 수 있다. PDU 세션 유형은 IP 기반, 비 IP 기반, 이더넷 기반 등일 수 있다.
UPF(184a, 184b)는 NE 인터페이스를 통하여 RAN(113) 내의 gNB들(180a, 180b, 180c)들 중 하나 이상에 연결될 수 있고, 이는 WTRU들(102a, 102b0, 102c)과 IP 지원 디바이스들 사이의 통신을 용이하게 하기 위해 WTRU들(102a, 102b, 102c)에게 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 제공할 수 있다. UPF(184a, 184b)는 패킷들의 라우팅 및 포워딩, 사용자 평면 정책 실행, 멀티 홈 PDU 세션의 지원, 사용자 평면 QoS의 처리, 다운링크 패킷들의 버퍼링, 이동성 앵커링의 제공 등과 같은 다른 기능들을 수행할 수 있다.
CN(115)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(115)은 CN(115)과 PSTN(108) 사이의 인터페이스로서의 역할을 하는 IP 게이트웨이(예를 들어, IP 멀티미디어 서브시스템(IMS; IP Multimedia Subsystem) 서버)를 포함하거나 이와 통신할 수 있다. 또한, CN(115)은 WTRU들(102a, 102b, 102c)에게 다른 서비스 제공자들에 의해 소유 및/또는 운영되는 다른 유선 및/또는 무선 네트워크들을 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 제공할 수 있다. 일 실시예에서, WTRU들(102a, 102b, 102c)은 UPF(184a, 184b)로의 N3 인터페이스 및 UPF(184a, 184b)와 DN(185a, 185b) 사이의 N6 인터페이스를 통하여 UPF(184a, 184b)를 통해 로컬 데이터 네트워크(DN)(185a, 185b)에 연결될 수 있다.
도 25a-d 및 대응하는 도 25a-d의 설명을 고려하여, 본 명세서에서 설명된 WTRU(102a-d), 기지국(114a-b), e노드B(160a-c), MME(162), SGW(164), PGW(166), gNB(180a-c), AMF(182a-b), UPF(184a-b), SMF(183a-b), DN(185a-b) 및/또는 임의의 다른 디바이스(들)와 관련하여 본 명세서에서 설명된 기능들 중 하나 이상 또는 전부는 하나 이상의 에뮬레이션 디바이스들(도시되지 않음)에 의해 수행될 수 있다. 에뮬레이션 디바이스들은 본 명세서에서 설명된 기능들 중 하나 이상 또는 전부를 에뮬레이션하도록 구성된 하나 이상의 디바이스들일 수 있다. 예를 들어, 에뮬레이션 디바이스들은 다른 디바이스들의 테스트 및/또는 네트워크 및/또는 WTRU 기능들의 시뮬레이션에 사용될 수 있다.
에뮬레이션 디바이스들은 실험실 환경 및/또는 운영자 네트워크 환경에서 하나 이상의 다른 디바이스들의 테스트를 구현하도록 설계될 수 있다. 예를 들어, 하나 이상의 에뮬레이션 디바이스들은 통신 네트워크 내의 다른 디바이스들을 테스트하기 위해 유선 및/또는 무선 통신 네트워크의 일부로서 완전히 또는 부분적으로 구현 및/또는 배치되는 한편 하나 이상의 또는 모든 기능들을 수행할 수 있다. 하나 이상의 에뮬레이션 디바이스들은 유선 및/또는 무선 통신 네트워크의 일부로서 일시적으로 구현/배치되는 한편 하나 이상의 또는 모든 기능들을 수행할 수 있다. 에뮬레이션 디바이스는 테스트의 목적으로 다른 디바이스에 직접 결합될 수 있고 공중 무선 통신을 사용하여 테스트를 수행할 수 있다.
하나 이상의 에뮬레이션 디바이스들은 유선 및/또는 무선 통신 네트워크의 일부로서 구현/배치되지 않는 한편 모든 기능들을 포함하여 하나 이상의 기능들을 수행할 수 있다. 예를 들어, 에뮬레이션 디바이스들은 하나 이상의 컴포넌트들의 테스트를 구현하기 위해 테스트 실험실 및/또는 비배치(예를 들어, 테스트) 유선 및/또는 무선 통신 네트워크에서의 테스트 시나리오에 이용될 수 있다. 하나 이상의 에뮬레이션 디바이스들은 테스트 장비일 수 있다. (예를 들어, 하나 이상의 안테나들을 포함할 수 있는) RF 회로를 통한 직접 RF 결합 및/또는 무선 통신은 데이터를 송신 및/또는 수신하기 위해 에뮬레이션 디바이스들에 의해 사용될 수 있다.
특징들 및 구성요소들이 특정한 조합들로 위에서 설명되었지만, 당업자는 각각의 특징 및 구성요소가 단독으로 또는 다른 특징들 및 구성요소들과의 임의의 조합으로 사용될 수 있음을 이해할 것이다. 또한, 본 명세서에서 설명된 방법들은 컴퓨터 또는 프로세서에 의한 실행을 위해 컴퓨터 판독가능 매체 내에 포함된 컴퓨터 프로그램, 소프트웨어 또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능 매체의 예들은 (유선 또는 무선 연결을 통해 송신되는) 전자 신호들 및 컴퓨터 판독가능 저장 매체를 포함한다. 컴퓨터 판독가능 저장 매체의 예들은 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 내부 하드 디스크 및 이동식 디스크와 같은 자기 매체, 광 자기 매체, CD-ROM 디스크 및 디지털 다기능 디스크(DVD; Digital Versatile Disk)와 같은 광학 매체를 포함하지만 이에 제한되지는 않는다. 소프트웨어와 연관된 프로세서는 WTRU, UE, 단말기, 기지국, RNC 또는 임의의 호스트 컴퓨터에서의 사용을 위한 무선 주파수 송수신기를 구현하는 데 사용될 수 있다.
Claims (15)
- 360도 비디오 컨텐츠를 디코딩하는 방법으로서,
현재 블록이 면 불연속(face discontinuity)에 위치한다고 결정하는 단계;
상기 현재 블록의 이웃하는 블록의 코딩 가용성을 상기 이웃하는 블록이 상기 현재 블록과 상기 면 불연속의 동일한 쪽에 위치하는지의 여부에 기반하여 결정하는 단계 - 상기 이웃하는 블록이 상기 현재 블록과 상기 면 불연속의 상기 동일한 쪽에 위치하는 조건에서, 상기 이웃하는 블록은 상기 현재 블록을 디코딩하는 데 이용 가능한 것으로 결정됨 -; 및
상기 이웃하는 블록의 상기 코딩 가용성에 기반하여 상기 현재 블록에 대해 디코딩 기능을 수행하는 단계를 포함하는 방법. - 제1항에 있어서,
상기 이웃하는 블록이 상기 현재 블록과 상기 면 불연속의 상기 동일한 쪽에 위치하지 않는 조건에서, 상기 이웃하는 블록은 상기 현재 블록을 디코딩하는 데 이용 불가능한 것으로 결정되는 것인, 360도 비디오 컨텐츠를 디코딩하는 방법. - 제1항에 있어서,
상기 현재 블록에 대해 디코딩 기능을 수행하는 단계는 상기 현재 블록에 대한 병합 모드를 도출하는 단계를 포함하고,
상기 이웃하는 블록이 이용 가능한 것으로 결정되는 조건에서, 상기 이웃하는 블록은 병합 후보 리스트에 추가되고, 상기 이웃하는 블록이 이용 불가능한 것으로 결정되는 조건에서, 상기 이웃하는 블록은 상기 병합 후보 리스트로부터 제외되는 것인, 360도 비디오 컨텐츠를 디코딩하는 방법. - 제1항에 있어서,
상기 현재 블록에 대해 디코딩 기능을 수행하는 단계는 후보 블록들의 리스트를 구축하는 단계를 포함하고,
상기 이웃하는 블록이 이용 가능한 것으로 결정되는 조건에서, 상기 이웃하는 블록은 상기 후보 블록들의 리스트에 추가되고, 상기 이웃하는 블록이 이용 불가능한 것으로 결정되는 조건에서, 상기 이웃하는 블록은 상기 후보 블록들의 리스트로부터 제외되는 것인, 360도 비디오 컨텐츠를 디코딩하는 방법. - 제1항에 있어서,
현재 블록이 면 불연속에 위치한다고 결정하는 단계는 비트스트림에서의 면 불연속 표시에 기반하는 것인, 360도 비디오 컨텐츠를 디코딩하는 방법. - 제5항에 있어서,
상기 면 불연속 표시는 면 경계가 불연속 면 경계라는 표시, 상기 면 불연속의 두 개 이상의 종점들의 표시 또는 프레임 패킹 정보의 표시 중 하나 이상을 포함하는 것인, 360도 비디오 컨텐츠를 디코딩하는 방법. - 제1항에 있어서,
상기 이웃하는 블록은 공간적 이웃 블록 또는 시간적 이웃 블록인 것인, 360도 비디오 컨텐츠를 디코딩하는 방법. - 제1항에 있어서,
상기 현재 블록에 대해 디코딩 기능을 수행하는 단계는 상기 현재 블록에 대해 적응 루프 필터링(adaptive loop filtering)을 수행하는 단계를 포함하고,
상기 현재 블록이 면 불연속에 위치하는 조건에서, 상기 현재 블록에 대해 적응 루프 필터링이 비활성화되는 것인, 360도 비디오 컨텐츠를 디코딩하는 방법. - 360도 비디오 컨텐츠를 디코딩하는 방법으로서,
현재 블록이 면 불연속에 위치한다고 결정하는 단계;
제1 재구성된 샘플의 코딩 가용성을 상기 제1 재구성된 샘플이 상기 현재 블록과 상기 면 불연속의 동일한 쪽에 위치하는지의 여부에 기반하여 결정하는 단계 - 상기 제1 재구성된 샘플이 상기 현재 블록과 상기 면 불연속의 상기 동일한 쪽에 위치하는 조건에서, 상기 제1 재구성된 샘플은 상기 현재 블록을 디코딩하는 데 이용 가능한 것으로 결정됨 -; 및
상기 제1 재구성된 샘플의 상기 코딩 가용성에 기반하여 상기 현재 블록에 대해 디코딩 기능을 수행하는 단계를 포함하는 방법. - 제9항에 있어서,
상기 제1 재구성된 샘플이 상기 현재 블록과 상기 면 불연속의 상기 동일한 쪽에 위치하지 않는 조건에서, 상기 제1 재구성된 샘플은 상기 현재 블록을 디코딩하는 데 이용 불가능한 것으로 결정되는 것인, 360도 비디오 컨텐츠를 디코딩하는 방법. - 제10항에 있어서,
상기 제1 재구성된 샘플이 상기 현재 블록을 디코딩하는 데 이용 불가능한 것으로 결정되는 조건에서, 상기 제1 재구성된 샘플을 상기 현재 블록을 디코딩하는 데 이용 가능한 제2 재구성된 샘플 중 하나 이상으로 대체하는 단계를 더 포함하는 것인, 360도 비디오 컨텐츠를 디코딩하는 방법. - 제10항에 있어서,
템플릿을 이용 불가능한 것으로 결정하는 단계를 더 포함하고,
상기 템플릿은 상기 이용 불가능한 제1 재구성된 샘플, 및 제3 재구성된 샘플 중 하나 이상을 포함하는 것인, 360도 비디오 컨텐츠를 디코딩하는 방법. - 360도 비디오 컨텐츠를 디코딩하는 방법으로서,
현재 블록이 면 불연속에 의해 교차된다고 결정하는 단계;
상기 현재 블록을 제1 예측 유닛(PU) 및 제2 PU - 상기 제1 PU 및 제2 PU는 상기 면 불연속에 의해 분리됨 - 로 분할하는 단계;
상기 제1 PU에 대한 모션 보상을 수행하는 단계; 및
상기 제2 PU에 대한 모션 보상을 수행하는 단계를 포함하는 것인, 360도 비디오 컨텐츠를 디코딩하는 방법. - 무선 송신/수신 유닛(WTRU)으로서,
프로세서를 포함하고,
상기 프로세서는,
현재 블록이 면 불연속에 위치한다고 결정하고;
상기 현재 블록의 이웃하는 블록의 코딩 가용성을 상기 이웃하는 블록이 상기 현재 블록과 상기 면 불연속의 동일한 쪽에 위치하는지의 여부에 기반하여 결정하고 - 상기 이웃하는 블록이 상기 현재 블록과 상기 면 불연속의 상기 동일한 쪽에 위치하는 조건에서, 상기 이웃하는 블록은 상기 현재 블록을 디코딩하는 데 이용 가능한 것으로 결정됨 -;
상기 이웃하는 블록의 상기 코딩 가용성에 기반하여 상기 현재 블록에 대해 디코딩 기능을 수행하도록 구성되는 것인, WTRU. - 제14항에 있어서,
상기 현재 블록에 대해 디코딩 기능을 수행하는 것은 인터 예측, 인트라 예측, 컴포넌트 간 선형 모델 예측, 오버랩된 블록 모션 보상, 디블로킹 필터, 샘플 적응 오프셋 필터 또는 적응 루프 필터 중 하나 이상을 적용하는 것을 포함하는 것인, WTRU.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762560992P | 2017-09-20 | 2017-09-20 | |
| US62/560,992 | 2017-09-20 | ||
| US201862622551P | 2018-01-26 | 2018-01-26 | |
| US62/622,551 | 2018-01-26 | ||
| US201862625575P | 2018-02-02 | 2018-02-02 | |
| US62/625,575 | 2018-02-02 | ||
| US201862628752P | 2018-02-09 | 2018-02-09 | |
| US62/628,752 | 2018-02-09 | ||
| PCT/US2018/051798 WO2019060443A1 (en) | 2017-09-20 | 2018-09-19 | HANDLING FACIAL DISCONTINUITIES IN 360-DEGREE VIDEO CODING |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200064989A true KR20200064989A (ko) | 2020-06-08 |
Family
ID=63862200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207007921A KR20200064989A (ko) | 2017-09-20 | 2018-09-19 | 360도 비디오 코딩에서의 면 불연속 처리 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11418816B2 (ko) |
| EP (1) | EP3685585A1 (ko) |
| JP (2) | JP7343487B2 (ko) |
| KR (1) | KR20200064989A (ko) |
| CN (2) | CN111183646B (ko) |
| IL (1) | IL273379A (ko) |
| WO (1) | WO2019060443A1 (ko) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
| US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
| CN111615828B (zh) * | 2017-11-29 | 2023-01-10 | 韩国电子通信研究院 | 采用环内滤波的图像编码/解码方法和装置 |
| EP3777141A1 (en) * | 2018-03-29 | 2021-02-17 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Intra-prediction mode concept for block-wise picture coding |
| EP3629579A1 (en) * | 2018-09-27 | 2020-04-01 | Ateme | Method for image processing and apparatus for implementing the same |
| JP7271672B2 (ja) * | 2018-12-14 | 2023-05-11 | 中興通訊股▲ふん▼有限公司 | 没入型ビデオビットストリーム処理 |
| US11095921B2 (en) * | 2018-12-18 | 2021-08-17 | Tencent America LLC | Method and apparatus for video encoding or decoding |
| US11044473B2 (en) * | 2018-12-21 | 2021-06-22 | Qualcomm Incorporated | Adaptive loop filtering classification in video coding |
| EP3922018A4 (en) * | 2019-03-12 | 2022-06-08 | Zhejiang Dahua Technology Co., Ltd. | SYSTEMS AND METHODS FOR IMAGE CODING |
| US11159791B2 (en) * | 2019-03-16 | 2021-10-26 | Mediatek Inc. | Method and apparatus for signaling adaptive loop filter parameters in video coding |
| WO2020210531A1 (en) * | 2019-04-09 | 2020-10-15 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and apparatuses for signaling of merge modes in video coding |
| US20220201286A1 (en) * | 2019-04-25 | 2022-06-23 | Mediatek Inc. | Method and Apparatus of Encoding or Decoding with Mode Dependent Intra Smoothing Filter in Intra Prediction |
| EP3912341A4 (en) * | 2019-05-21 | 2022-10-19 | Huawei Technologies Co., Ltd. | METHOD AND APPARATUS FOR INTER-COMPONENT PREDICTION |
| CN113994671B (zh) | 2019-06-14 | 2024-05-10 | 北京字节跳动网络技术有限公司 | 基于颜色格式处理视频单元边界和虚拟边界 |
| US11432015B2 (en) * | 2019-07-11 | 2022-08-30 | Qualcomm Incorporated | Adaptive loop filtering across raster-scan slices |
| US11159822B2 (en) * | 2019-07-11 | 2021-10-26 | Qualcomm Incorporated | Intra-prediction according to virtual boundaries for video coding |
| US11234010B2 (en) * | 2019-08-28 | 2022-01-25 | Qualcomm Incorporated | Cross-component adaptive loop filtering for video coding |
| JP7368145B2 (ja) * | 2019-08-28 | 2023-10-24 | シャープ株式会社 | 画像符号化装置、および、画像復号装置 |
| CN114450963A (zh) * | 2019-09-18 | 2022-05-06 | 松下电器（美国）知识产权公司 | 用于视频编码的系统和方法 |
| BR112022005046A2 (pt) | 2019-09-18 | 2022-07-05 | Beijing Bytedance Network Tech Co Ltd | Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador e meio de gravação não transitório legível por computador |
| CN114430902B (zh) | 2019-09-22 | 2023-11-10 | 北京字节跳动网络技术有限公司 | 自适应环路滤波中的填充过程 |
| KR20220063177A (ko) | 2019-09-27 | 2022-05-17 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 상이한 비디오 유닛들 간의 적응적 루프 필터링 |
| CN117956146A (zh) | 2019-10-10 | 2024-04-30 | 北京字节跳动网络技术有限公司 | 自适应环路滤波中不可用样点位置处的填充处理 |
| WO2021083257A1 (en) | 2019-10-29 | 2021-05-06 | Beijing Bytedance Network Technology Co., Ltd. | Cross-component adaptive loop filter |
| MX2022005993A (es) * | 2019-11-18 | 2022-09-07 | Lg Electronics Inc | Dispositivo y metodo de codificacion de imagenes para controlar el filtrado en bucle. |
| JP7393550B2 (ja) | 2019-12-11 | 2023-12-06 | 北京字節跳動網絡技術有限公司 | クロス成分適応ループフィルタリングのためのサンプルパディング |
| MX2022007900A (es) * | 2019-12-23 | 2022-09-23 | Lg Electronics Inc | Aparato y metodo de codificacion de imagenes con base en subimagenes. |
| EP4049448A4 (en) | 2019-12-24 | 2023-03-08 | Telefonaktiebolaget Lm Ericsson (Publ) | VIRTUAL BORDER PROCESSING FOR ADAPTIVE LOOP FILTERING |
| WO2021138143A1 (en) * | 2019-12-30 | 2021-07-08 | Alibaba Group Holding Limited | Methods for signaling virtual boundaries and wrap-around motion compensation |
| CN114830663A (zh) * | 2019-12-31 | 2022-07-29 | Oppo广东移动通信有限公司 | 变换方法、编码器、解码器以及存储介质 |
| EP4087243A4 (en) * | 2019-12-31 | 2023-09-06 | SZ DJI Technology Co., Ltd. | LOOP FILTRATION METHOD AND APPARATUS |
| US11477490B2 (en) * | 2020-01-03 | 2022-10-18 | Mediatek Inc. | Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus |
| WO2021198309A1 (en) * | 2020-04-02 | 2021-10-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Virtual boundary signaling |
| WO2021203381A1 (zh) * | 2020-04-09 | 2021-10-14 | 北京大学 | 一种视频编解码方法、装置以及计算机可读存储介质 |
| CN115516857A (zh) | 2020-05-22 | 2022-12-23 | 阿里巴巴集团控股有限公司 | 用于处理视频内容的方法和装置 |
| JP2023531223A (ja) | 2020-06-30 | 2023-07-21 | 北京字節跳動網絡技術有限公司 | 適応ループフィルタリングのための境界位置 |
| CN117397241A (zh) * | 2021-04-12 | 2024-01-12 | 交互数字Ce专利控股有限公司 | 重叠块运动补偿 |
| US11943432B2 (en) | 2021-04-26 | 2024-03-26 | Tencent America LLC | Decoder side intra mode derivation |
| US20240040142A1 (en) * | 2022-07-26 | 2024-02-01 | Tencent America LLC | Method and apparatus for warp sample selection and grouping |
Family Cites Families (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9094658B2 (en) * | 2010-05-10 | 2015-07-28 | Mediatek Inc. | Method and apparatus of adaptive loop filtering |
| GB2488829A (en) * | 2011-03-10 | 2012-09-12 | Canon Kk | Encoding and decoding image data |
| KR20130034566A (ko) * | 2011-09-28 | 2013-04-05 | 한국전자통신연구원 | 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치 |
| CN102509350B (zh) * | 2011-09-30 | 2013-12-25 | 北京航空航天大学 | 一种基于立方体的体育运动赛事信息可视化方法 |
| US9161046B2 (en) * | 2011-10-25 | 2015-10-13 | Qualcomm Incorporated | Determining quantization parameters for deblocking filtering for video coding |
| US20130107973A1 (en) * | 2011-10-28 | 2013-05-02 | Qualcomm Incorporated | Loop filtering control over tile boundaries |
| US9538200B2 (en) | 2012-01-19 | 2017-01-03 | Qualcomm Incorporated | Signaling of deblocking filter parameters in video coding |
| JP6222576B2 (ja) | 2012-03-21 | 2017-11-01 | サン パテント トラスト | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置 |
| US8983218B2 (en) * | 2012-04-11 | 2015-03-17 | Texas Instruments Incorporated | Virtual boundary processing simplification for adaptive loop filtering (ALF) in video coding |
| US9503702B2 (en) | 2012-04-13 | 2016-11-22 | Qualcomm Incorporated | View synthesis mode for three-dimensional video coding |
| ES2641443T3 (es) * | 2012-04-16 | 2017-11-10 | Hfi Innovation Inc. | Método y aparato para filtración de bucle a través de límites de corte o pieza |
| JP6787667B2 (ja) | 2012-09-21 | 2020-11-18 | ノキア テクノロジーズ オサケユイチア | ビデオコーディングのための方法と装置 |
| JP6290924B2 (ja) | 2013-01-07 | 2018-03-07 | ノキア テクノロジーズ オサケユイチア | ビデオ・コーディングおよびデコーディングのための方法と装置 |
| US9648335B2 (en) * | 2013-07-12 | 2017-05-09 | Qualcomm Incorporated | Bitstream restrictions on picture partitions across layers |
| GB2516824A (en) | 2013-07-23 | 2015-02-11 | Nokia Corp | An apparatus, a method and a computer program for video coding and decoding |
| WO2015101716A1 (en) | 2014-01-03 | 2015-07-09 | Nokia Technologies Oy | Parameter set coding |
| US20150271515A1 (en) | 2014-01-10 | 2015-09-24 | Qualcomm Incorporated | Block vector coding for intra block copy in video coding |
| US10432928B2 (en) | 2014-03-21 | 2019-10-01 | Qualcomm Incorporated | Using a current picture as a reference for video coding |
| US10204658B2 (en) | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
| US9918082B2 (en) | 2014-10-20 | 2018-03-13 | Google Llc | Continuous prediction domain |
| CN106664403B (zh) | 2014-10-20 | 2020-10-16 | 谷歌有限责任公司 | 连续预测域 |
| CN104702963B (zh) * | 2015-02-13 | 2017-11-24 | 北京大学 | 一种自适应环路滤波的边界处理方法及装置 |
| KR102432085B1 (ko) | 2015-09-23 | 2022-08-11 | 노키아 테크놀로지스 오와이 | 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품 |
| WO2017142353A1 (ko) | 2016-02-17 | 2017-08-24 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
| US20170272758A1 (en) * | 2016-03-16 | 2017-09-21 | Mediatek Inc. | Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus |
| US10291923B2 (en) * | 2016-05-24 | 2019-05-14 | Qualcomm Incorporated | Mapping of tile grouping and samples in HEVC and L-HEVC file formats |
| US10368067B2 (en) * | 2016-06-15 | 2019-07-30 | Mediatek Inc. | Method and apparatus for selective filtering of cubic-face frames |
| KR20230051319A (ko) | 2016-07-08 | 2023-04-17 | 브이아이디 스케일, 인크. | 지오메트리 투영을 이용한 360도 비디오 코딩 |
| US20180054613A1 (en) * | 2016-08-22 | 2018-02-22 | Mediatek Inc. | Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus |
| CN109644279B (zh) | 2016-09-02 | 2023-09-22 | Vid拓展公司 | 用于用信号通知360度视频信息的方法和系统 |
| EP3301914A1 (en) | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method and apparatus for encoding and decoding a large field of view video |
| KR20180042098A (ko) * | 2016-10-17 | 2018-04-25 | 에스케이텔레콤 주식회사 | 영상 부호화 또는 복호화하기 위한 장치 및 방법 |
| US20180192074A1 (en) | 2017-01-03 | 2018-07-05 | Mediatek Inc. | Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout |
| RU2019128700A (ru) * | 2017-03-17 | 2021-03-15 | Вид Скейл, Инк. | Прогнозирующее кодирование для 360-градусного видео на основе геометрического дополнения |
| KR20230079466A (ko) | 2017-04-11 | 2023-06-07 | 브이아이디 스케일, 인크. | 면 연속성을 사용하는 360 도 비디오 코딩 |
| EP3729812A1 (en) | 2017-12-19 | 2020-10-28 | VID SCALE, Inc. | Face discontinuity filtering for 360-degree video coding |
-
2018
- 2018-09-19 WO PCT/US2018/051798 patent/WO2019060443A1/en unknown
- 2018-09-19 KR KR1020207007921A patent/KR20200064989A/ko active Search and Examination
- 2018-09-19 JP JP2020516423A patent/JP7343487B2/ja active Active
- 2018-09-19 US US16/648,163 patent/US11418816B2/en active Active
- 2018-09-19 CN CN201880061181.5A patent/CN111183646B/zh active Active
- 2018-09-19 EP EP18786904.5A patent/EP3685585A1/en active Pending
- 2018-09-19 CN CN202310953723.2A patent/CN117061771A/zh active Pending
-
2020
- 2020-03-18 IL IL273379A patent/IL273379A/en unknown
-
2022
- 2022-07-29 US US17/876,708 patent/US20220377385A1/en active Pending
-
2023
- 2023-08-31 JP JP2023141231A patent/JP2023159440A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220377385A1 (en) | 2022-11-24 |
| CN111183646A (zh) | 2020-05-19 |
| JP7343487B2 (ja) | 2023-09-12 |
| EP3685585A1 (en) | 2020-07-29 |
| CN117061771A (zh) | 2023-11-14 |
| WO2019060443A1 (en) | 2019-03-28 |
| IL273379A (en) | 2020-05-31 |
| US20200260120A1 (en) | 2020-08-13 |
| US11418816B2 (en) | 2022-08-16 |
| JP2023159440A (ja) | 2023-10-31 |
| CN111183646B (zh) | 2023-08-04 |
| JP2020534750A (ja) | 2020-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111183646B (zh) | 用于编码的方法和装置、用于解码的方法和装置以及存储介质 | |
| JP7357747B2 (ja) | 面連続性を使用する３６０度ビデオコーディング | |
| CN111713111B (zh) | 用于360度视频译码的面不连续性滤波 | |
| JP7406378B2 (ja) | ３６０度ビデオ符号化のための適応的量子化 | |
| JP2022501905A (ja) | ３６０度ビデオコード化のためのサンプル導出 | |
| TWI797234B (zh) | 360度視訊編碼適應性訊框填裝 | |
| JP7249948B2 (ja) | ジオメトリパディングに基づいた３６０度ビデオのための予測符号化 | |
| US12003770B2 (en) | Face discontinuity filtering for 360-degree video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |