KR20230156790A - 교차 컴포넌트 샘플 적응적 오프셋에서의 코딩 향상 - Google Patents
교차 컴포넌트 샘플 적응적 오프셋에서의 코딩 향상 Download PDFInfo
- Publication number
- KR20230156790A KR20230156790A KR1020237035678A KR20237035678A KR20230156790A KR 20230156790 A KR20230156790 A KR 20230156790A KR 1020237035678 A KR1020237035678 A KR 1020237035678A KR 20237035678 A KR20237035678 A KR 20237035678A KR 20230156790 A KR20230156790 A KR 20230156790A
- Authority
- KR
- South Korea
- Prior art keywords
- component
- samples
- sample
- region
- video
- Prior art date
Links
- 230000003044 adaptive effect Effects 0.000 title description 17
- 238000000034 method Methods 0.000 claims abstract description 90
- 230000004044 response Effects 0.000 claims abstract description 4
- 241000023320 Luma <angiosperm> Species 0.000 claims description 202
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical group COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 202
- 238000012545 processing Methods 0.000 claims description 57
- 238000003860 storage Methods 0.000 claims description 27
- 238000010586 diagram Methods 0.000 description 52
- 230000008569 process Effects 0.000 description 45
- 239000013598 vector Substances 0.000 description 35
- 238000000638 solvent extraction Methods 0.000 description 24
- 239000000872 buffer Substances 0.000 description 22
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 20
- 238000013139 quantization Methods 0.000 description 20
- 238000005192 partition Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 16
- 230000011664 signaling Effects 0.000 description 14
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 5
- 101100520660 Drosophila melanogaster Poc1 gene Proteins 0.000 description 4
- 101100520662 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PBA1 gene Proteins 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003252 repetitive effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 235000009508 confectionery Nutrition 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- TVEXGJYMHHTVKP-UHFFFAOYSA-N 6-oxabicyclo[3.2.1]oct-3-en-7-one Chemical compound C1C2C(=O)OC1C=CC2 TVEXGJYMHHTVKP-UHFFFAOYSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 108010063123 alfare Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000011449 brick Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101150114515 CTBS gene Proteins 0.000 description 1
- 101150055297 SET1 gene Proteins 0.000 description 1
- 101100520663 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) ADD66 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
전자 장치가 비디오 데이터를 디코딩하는 방법을 수행한다. 이 방법은, 비디오 신호로부터, 제1 컴포넌트 및 제2 컴포넌트를 포함하는 픽처 프레임을 수신하는 단계; 제2 컴포넌트의 개개의 샘플과 연관된 제1 컴포넌트의 하나 이상의 샘플의 세트로부터 제2 컴포넌트에 대한 분류기를 결정하는 단계; 분류기에 따라 픽처 프레임의 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 단계; 분류기에 따라 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정하기로 한 결정에 응답하여, 분류기에 따라 제2 컴포넌트의 개개의 샘플에 대한 샘플 오프셋을 결정하는 단계; 및 결정된 샘플 오프셋에 기반하여 제2 컴포넌트의 개개의 샘플의 값을 수정하는 단계를 포함한다.
Description
본 출원은 2021년 3월 18일에 출원되고 명칭이 "교차 컴포넌트 샘플 적응적 오프셋"인 미국 가출원 번호 제63/200,626호 및 2021년 3월 22일에 출원되고 명칭이 "교차 컴포넌트 샘플 적응적 오프셋"인 미국 가출원 번호 제63/164,459호에 대한 우선권을 주장하는 바이며, 이는 원용에 의해 전체적으로 본 명세서에 포함된다.
본 출원은 일반적으로 비디오 코딩 및 압축에 관한 것이며, 보다 구체적으로는 루마(luma) 및 크로마(chroma) 코딩 효율 모두를 개선하는 방법 및 장치에 관한 것이다.
디지털 비디오는 디지털 텔레비전, 랩톱 또는 데스크톱 컴퓨터, 태블릿 컴퓨터, 디지털 카메라, 디지털 기록 디바이스, 디지털 미디어 플레이어, 비디오 게임 콘솔, 스마트폰, 비디오 원격 회의 디바이스, 비디오 스트리밍 디바이스 등과 같은 다양한 전자 디바이스에 의해 지원된다. 전자 디바이스는 비디오 압축/압축 해제 표준을 구현하는 것에 의해 디지털 비디오 데이터를 전송, 수신, 인코딩, 디코딩 및/또는 저장한다. 일부 잘 알려진 비디오 코딩 표준은 ISO/IEC MPEG 및 ITU-T VCEG가 공동으로 개발한, VVC(Versatile Video Coding), HEVC(High Efficiency Video Coding, H.265 또는 MPEG-H Part 2라고도 함) 및 AVC(Advanced Video Coding, H.264 또는 MPEG-4 Part 10 이라고도 함)을 포함한다. AV1(AOMedia Video 1)은 AOM(Alliance for Open Media)에 의해 이전 표준 VP9의 후속 제품으로 개발되었다. 디지털 오디오 및 디지털 비디오 압축 표준으로 지칭되는, AVS(Audio Video Coding)는 오디오 및 비디오 코딩 표준 작업 그룹(Audio and Video Coding Standard Workgroup)에 의해 개발된 다른 비디오 압축 표준 시리즈이다.
비디오 압축은 전형적으로 비디오 데이터에서 내재된 중복성을 감소시키거나 제거하기 위해 공간적(인트라 프레임) 예측 및/또는 시간적(인터 프레임) 예측을 수행하는 것을 포함한다. 블록 기반 비디오 코딩의 경우, 비디오 프레임은 하나 이상의 슬라이스로 파티셔닝되며(partitioned), 각각의 슬라이스는 코딩 트리 유닛(coding tree unit, CTU)이라고도 하는 다수의 비디오 블록을 포함한다. 각각의 CTU는 하나의 코딩 유닛(coding unit, CTU)을 함유하거나(contain) 미리 정의된 최소 CU 크기에 도달할 때까지 더 작은 CU로 재귀적으로 분할될(split) 수 있다. 각각의 CU(리프 CU로 명명됨)는 하나 또는 다수의 변환 유닛(transform unit, TU)을 함유하며, 각각의 CU는 하나 또는 다수의 예측 유닛(prediction unit, PU)도 포함한다. 각각의 CU는 인트라 모드, 인터 모드 또는 IBC 모드로 코딩할 수 있다. 비디오 프레임의 인트라 코딩된(I) 슬라이스의 비디오 블록은 동일한 비디오 프레임 내 인접한 블록의 참조 샘플에 대하여 공간적 예측을 사용하여 인코딩된다. 비디오 프레임의 인터 코딩된(P 또는 B) 슬라이스의 비디오 블록은 동일한 비디오 프레임 내 인접한 블록의 참조 샘플에 대하여 공간적 예측 또는 다른 이전 및/또는 미래 참조 비디오 프레임의 참조 샘플에 대하여 시간적 예측을 사용할 수 있다.
이전에 인코딩된 참조 블록, 예를 들어 인접한 블록에 기반한 공간적 또는 시간적 예측은, 코딩될 현재 비디오 블록에 대한 예측 블록을 초래한다. 참조 블록을 찾는 프로세스는 블록 매칭 알고리즘에 의해 이루어질 수 있다. 코딩될 현재 블록과 예측 블록 사이의 픽셀 차이를 나타내는 잔차(residual) 데이터를 잔차 블록 또는 예측 에러(error)라고 한다. 인터 코딩된 블록은 예측 블록을 형성하는 참조 프레임에서 참조 블록을 가리키는 모션 벡터와 잔차 블록에 따라 인코딩된다. 모션 벡터를 결정하는 프로세스는 일반적으로 모션 추정이라고 한다. 인트라 코딩된 블록은 인트라 예측 모드와 잔차 블록에 따라 인코딩된다. 추가 압축을 위해, 잔차 블록은 픽셀 도메인에서 변환 도메인, 예를 들어 주파수 도메인으로 변환되어, 잔차 변환 계수를 생성하며, 이는 이후에 양자화될 수 있다. 초기에 2차원 어레이로 배열된 양자화된 변환 계수는 스캔되어 변환 계수의 1차원 벡터를 생성하고, 그런 다음 더 많은 압축을 달성하기 위해 비디오 비트스트림으로 엔트로피 인코딩될 수 있다.
인코딩된 비디오 비트스트림은 그런 다음 컴퓨터가 판독 가능한 저장 매체(예: 플래시 메모리)에 저장되어, 디지털 비디오 능력을 가진 다른 전자 디바이스에 의해 액세스되거나 유선 또는 무선으로 전자 디바이스로 직접 전송된다. 전자 디바이스는 예를 들어 인코딩된 비디오 비트스트림을 파싱하여 비트스트림으로부터 신택스 엘리먼트를 획득하고, 비트스트림으로부터 획득된 신택스 엘리먼트에 적어도 부분적으로 기반하여, 인코딩된 비디오 비트스트림으로부터 디지털 비디오 데이터를 원래 형식으로 재구성하는 것에 의해 비디오 압축 해제(위에서 설명한 비디오 압축과 반대 프로세스임)를 수행하고, 재구성된 디지털 비디오 데이터를 전자 디바이스의 디스플레이 상에 렌더링한다.
디지털 비디오 품질이 고화질에서 4K×2K 또는 심지어 8K×4K로 발전함에 따라, 인코딩/디코딩될 비디오 데이터의 양이 기하급수적으로 증가한다. 디코딩된 비디오 데이터의 이미지 품질을 유지하면서 비디오 데이터를 어떻게 보다 효율적으로 인코딩/디코딩할 수 있는지는 지속적인 과제이다.
본 출원은 비디오 데이터 인코딩 및 디코딩에 관련되고, 보다 구체적으로, 루마 컴포넌트와 크로마 컴포넌트 사이의 교차 컴포넌트(cross-component) 관계를 탐색함으로써 코딩 효율을 개선하는 것을 포함하는, 루마 컴포넌트 및 크로마 컴포넌트 모두의 코딩 효율을 개선하는 방법 및 장치에 관련된 구현을 설명한다.
본 출원의 제1 측면에 따르면, 비디오 신호를 디코딩하는 방법은, 비디오 신호로부터, 제1 컴포넌트 및 제2 컴포넌트를 포함하는 픽처 프레임을 수신하는 단계; 제2 컴포넌트의 개개의(respective) 샘플과 연관된 제1 컴포넌트의 하나 이상의 샘플의 세트로부터 제2 컴포넌트에 대한 분류기(classifier)를 결정하는 단계; 분류기에 따라 픽처 프레임의 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 단계; 분류기에 따라 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정하기로 한 결정에 응답하여, 분류기에 따라 제2 컴포넌트의 개개의 샘플에 대한 샘플 오프셋을 결정하는 단계; 및 결정된 샘플 오프셋에 기반하여 제2 컴포넌트의 개개의 샘플의 값을 수정하는 단계를 포함한다. 일부 실시예에서, 영역은 픽처 프레임을 나누는(dividing) 것에 의해 형성된다.
본 출원의 제2 측면에 따르면, 전자 장치는 하나 이상의 처리 유닛, 메모리, 및 메모리에 저장된 복수의 프로그램을 포함한다. 프로그램은 하나 이상의 처리 유닛에 의해 실행될 때, 전자 장치가 위에 설명된 바와 같이 비디오 신호를 코딩하는 방법을 수행하게 한다.
본 출원의 제3 측면에 따르면, 컴퓨터가 판독 가능한 비일시적 저장 매체는 하나 이상의 처리 유닛을 갖는 전자 장치에 의해 실행되는 복수의 프로그램을 저장한다. 프로그램은 하나 이상의 처리 유닛에 의해 실행될 때, 전자 장치가 위에 설명된 바와 같이 비디오 신호를 코딩하는 방법을 수행하게 한다.
본 출원의 제4 측면에 따르면, 컴퓨터가 판독 가능한 저장 매체는 위에 설명된 바와 같은 비디오 코딩 방법에 의해 생성된 비디오 정보를 포함하는 비트스트림을 내부에 저장한다.
전술한 일반적인 설명 및 다음의 상세한 설명은 단지 예일뿐이며 본 개시를 제한하지 않음을 이해해야 한다.
구현에 대한 추가 이해를 제공하기 위해 포함되고 본 명세서에 통합되고 명세서의 일부를 구성하는 첨부 도면은, 기술된 구현을 예시하고(illustrate) 설명과 함께 기본 원리를 설명하는 역할을 한다. 동일한 참조 번호는 대응하는 부분을 지칭한다.
도 1은 본 개시의 일부 구현에 따른 예시적인 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2는 본 개시의 일부 구현에 따른 예시적인 비디오 인코더를 예시하는 블록도이다.
도 3은 본 개시의 일부 구현에 따른 예시적인 비디오 디코더를 예시하는 블록도이다.
도 4a 내지 4e는 본 개시의 일부 구현에 따른 프레임이 서로 다른 크기 및 형상의 다수의 비디오 블록으로 재귀적으로 파티셔닝되는 방법을 예시하는 블록도이다.
도 5는 본 개시의 일부 구현에 따른 SAO(Sample Adaptive Offset)에서 사용되는 4개의 그레이디언트 패턴을 묘사하는 블록도이다.
도 6a는 본 개시의 일부 구현에 따른 크로마 샘플에 적용되고 입력으로서 DBF Y를 사용하는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6b는 본 개시의 일부 구현에 따른 루마 샘플 및 크로마 샘플에 적용되고 입력으로서 DBF Y/Cb/Cr을 사용하는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6c는 본 개시의 일부 구현에 따른 독립적으로 동작할 수 있는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6d는 본 개시의 일부 구현에 따른 동일하거나 서로 다른 오프셋으로 재귀적으로(2 또는 N회) 적용될 수 있는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6e는 본 개시의 일부 구현에 따른 AVS 표준에서 ESAO(Enhanced Sample Adaptive Offset)와 병렬로 적용되는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6f는 본 개시의 일부 구현에 따른 SAO 이후에 적용되는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6g는 본 개시의 일부 구현에 따른 CCSAO의 시스템 및 프로세스가 CCALF 없이 독립적으로 동작할 수 있음을 예시하는 블록도이다.
도 6h는 본 개시의 일부 구현에 따른 CCALF(Cross-Component Adaptive Loop Filter)와 병렬로 적용되는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 7은 본 개시의 일부 구현에 따른 CCSAO를 사용하는 샘플 프로세스를 예시하는 블록도이다.
도 8은 본 개시의 일부 구현에 따른 CCSAO 프로세스가 수직 및 수평 DBF(deblocking filter)에 인터리빙되는 것을 예시하는 블록도이다.
도 9는 본 개시의 일부 구현에 따른 교차 컴포넌트 상관 관계를 사용하여 비디오 신호를 디코딩하는 예시적인 프로세스를 예시하는 흐름도이다.
도 10a는 본 개시의 일부 구현에 따른 C0 분류를 위해 서로 다른 루마(또는 크로마) 샘플 위치를 사용하는 분류기를 도시하는 블록도이다.
도 10b는 본 개시의 일부 구현에 따른, 루마 후보에 대한 서로 다른 형상의 일부 예를 예시한다.
도 11은 본 개시의 일부 구현에 따른 모든 병치된 및 인접한 루마/크로마 샘플이 CCSAO 분류에 공급될 수 있는 것을 예시하는 샘플 프로세스의 블록도이다.
도 12는 본 개시의 일부 구현에 따른 병치된 루마 샘플 값을 병치된 및 인접한 루마 샘플을 가중하여 획득된 값으로 대체하는 것에 의해 예시적인 분류기를 예시한다.
도 13a는 본 개시의 일부 구현에 따른 분류를 위해 사용되는 병치된 및 인접한 루마(크로마) 샘플 중 임의의 것이 현재 픽처 외부에 있으면 CCSAO가 현재 크로마(루마) 샘플에 적용되지 않는 것을 예시하는 블록도이다.
도 13b는 본 개시의 일부 구현에 따른 분류를 위해 사용되는 병치된 및 인접한 루마 또는 크로마 샘플 중 임의의 것이 현재 픽처 외부에 있으면 CCSAO가 현재 루마 또는 크로마 샘플에 적용되는 것을 예시하는 블록도이다.
도 14는 본 개시의 일부 구현에 따른 분류를 위해 사용되는 대응하는 선택된 병치된 또는 인접한 루마 샘플이 VB(virtual boundary)에 의해 정의된 가상 공간 외부에 있으면 CCSAO가 현재 크로마 샘플에 적용되지 않는 것을 예시하는 블록도이다.
도 15는 본 개시의 일부 구현에 따른, 반복 또는 미러 패딩이 가상 경계 외부에 있는 루마 샘플에 적용되는 것을 도시한다.
도 16은 본 개시의 일부 구현에 따른 9개의 병치되고 인접하는 루마 샘플 모두가 분류에 사용되면 추가적인 1 루마 라인 버퍼가 요구됨을 도시한다.
도 17은 본 개시의 일부 구현에 따른 VB를 가로지르는 9개의 루마 후보 CCSAO가 2개의 추가적인 루마 라인 버퍼를 증가시킬 수 있는 AVS의 예시를 도시한다.
도 18a는 본 개시의 일부 구현에 따른 VB를 가로지르는 9개의 루마 후보 CCSAO가 1개의 추가적인 루마 라인 버퍼를 증가시킬 수 있는 VVC의 예시를 도시한다.
도 18b는 본 개시의 일부 구현에 따른, 병치된 또는 인접한 크로마 샘플이 현재 루마 샘플을 분류하는 데 사용될 때, 선택된 크로마 후보가 VB에 걸쳐 있을 수 있고 추가적인 크로마 라인 버퍼를 필요로 할 수 있는 예시를 도시한다.
도 19a 내지 도 19c는 본 개시의 일부 구현에 따른, AVS 및 VVC에서, 크로마 샘플의 루마 후보 중 임의의 것이 VB(현재 크로마 샘플 VB 외부)에 걸쳐 있으면, CCSAO가 크로마 샘플에 대해 디스에이블되는 것을 도시한다.
도 20a 내지 20c는 본 개시의 일부 구현에 따른, AVS 및 VVC에서, 크로마 샘플의 루마 후보 중 임의의 것이 VB(현재 크로마 샘플 VB 외부)에 걸쳐 있으면, 루마 샘플에 대한 반복적인 패딩을 사용하여 CCSAO가 이네이블되는 것을 도시한다.
도 21a 내지 도 21c는 본 개시의 일부 구현에 따른, AVS 및 VVC에서, 크로마 샘플의 루마 후보 중 임의의 것이 VB(현재 크로마 샘플 VB 외부)에 걸쳐 있으면, 크로마 샘플에 대한 미러 패딩을 사용하여 CCSAO가 이네이블되는 것을 도시한다.
도 22a 내지 도 22b는 본 개시의 일부 구현에 따른 서로 다른 CCSAO 샘플 형상에 대해 양면 대칭 패딩을 사용하여 CCSAO가 이네이블되는 것을 도시한다.
도 23은 본 개시의 일부 구현에 따른 분류를 위해 제한된 수의 루마 후보를 사용하는 제한을 도시한다.
도 24는 본 개시의 일부 구현에 따른, CCSAO 적용 영역이 CTB(coding tree block)/CTU(coding tree unit) 경계에 정렬되지 않는 것을 도시한다.
도 25는 본 개시의 일부 구현에 따른, CCSAO 적용 영역 프레임 파티션이 CCSAO 파라미터로 고정될 수 있는 것을 도시한다.
도 26은 본 개시의 일부 구현에 따른, CCSAO 적용 영역이 프레임/슬라이스/CTB 레벨로부터 분할된 BT(Binary-tree)/QT(Quad-tree)/TT(Ternary-tree)일 수 있는 것을 도시한다.
도 27은 본 개시의 일부 구현에 따른 픽처 프레임 내에서 서로 다른 레벨에서 사용되고 전환되는 복수의 분류기를 예시하는 블록도이다.
도 28은 본 개시의 일부 구현에 따른, CCSAO 적용 영역 파티션이 픽처 레벨에서 동적일 수 있고 전환될 수 있는 것을 예시하는 블록도이다.
도 29는 본 개시의 일부 구현에 따른, CCSAO 분류기가 현재 또는 교차 컴포넌트 코딩 정보를 고려할 수 있는 것을 예시하는 도면이다.
도 30은 본 개시의 일부 구현에 따른, 본 개시에 개시된 SAO 분류 방법이 포스트 예측 필터로서 기능하는 것을 예시하는 블록도이다.
도 31은 본 개시의 일부 구현에 따른, 포스트 예측 SAO 필터에 대해, 각각의 컴포넌트가 분류를 위해 현재 및 인접한 샘플을 사용할 수 있는 것을 예시하는 블록도이다.
도 32는 본 개시의 일부 구현에 따른 교차 컴포넌트 상관 관계를 사용하여 비디오 신호를 디코딩하는 예시적인 프로세스를 예시하는 흐름도이다.
도 33은 본 개시의 일부 구현에 따른 사용자 인터페이스와 결합된 컴퓨팅 환경을 예시하는 도면이다.
도 1은 본 개시의 일부 구현에 따른 예시적인 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2는 본 개시의 일부 구현에 따른 예시적인 비디오 인코더를 예시하는 블록도이다.
도 3은 본 개시의 일부 구현에 따른 예시적인 비디오 디코더를 예시하는 블록도이다.
도 4a 내지 4e는 본 개시의 일부 구현에 따른 프레임이 서로 다른 크기 및 형상의 다수의 비디오 블록으로 재귀적으로 파티셔닝되는 방법을 예시하는 블록도이다.
도 5는 본 개시의 일부 구현에 따른 SAO(Sample Adaptive Offset)에서 사용되는 4개의 그레이디언트 패턴을 묘사하는 블록도이다.
도 6a는 본 개시의 일부 구현에 따른 크로마 샘플에 적용되고 입력으로서 DBF Y를 사용하는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6b는 본 개시의 일부 구현에 따른 루마 샘플 및 크로마 샘플에 적용되고 입력으로서 DBF Y/Cb/Cr을 사용하는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6c는 본 개시의 일부 구현에 따른 독립적으로 동작할 수 있는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6d는 본 개시의 일부 구현에 따른 동일하거나 서로 다른 오프셋으로 재귀적으로(2 또는 N회) 적용될 수 있는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6e는 본 개시의 일부 구현에 따른 AVS 표준에서 ESAO(Enhanced Sample Adaptive Offset)와 병렬로 적용되는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6f는 본 개시의 일부 구현에 따른 SAO 이후에 적용되는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6g는 본 개시의 일부 구현에 따른 CCSAO의 시스템 및 프로세스가 CCALF 없이 독립적으로 동작할 수 있음을 예시하는 블록도이다.
도 6h는 본 개시의 일부 구현에 따른 CCALF(Cross-Component Adaptive Loop Filter)와 병렬로 적용되는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 7은 본 개시의 일부 구현에 따른 CCSAO를 사용하는 샘플 프로세스를 예시하는 블록도이다.
도 8은 본 개시의 일부 구현에 따른 CCSAO 프로세스가 수직 및 수평 DBF(deblocking filter)에 인터리빙되는 것을 예시하는 블록도이다.
도 9는 본 개시의 일부 구현에 따른 교차 컴포넌트 상관 관계를 사용하여 비디오 신호를 디코딩하는 예시적인 프로세스를 예시하는 흐름도이다.
도 10a는 본 개시의 일부 구현에 따른 C0 분류를 위해 서로 다른 루마(또는 크로마) 샘플 위치를 사용하는 분류기를 도시하는 블록도이다.
도 10b는 본 개시의 일부 구현에 따른, 루마 후보에 대한 서로 다른 형상의 일부 예를 예시한다.
도 11은 본 개시의 일부 구현에 따른 모든 병치된 및 인접한 루마/크로마 샘플이 CCSAO 분류에 공급될 수 있는 것을 예시하는 샘플 프로세스의 블록도이다.
도 12는 본 개시의 일부 구현에 따른 병치된 루마 샘플 값을 병치된 및 인접한 루마 샘플을 가중하여 획득된 값으로 대체하는 것에 의해 예시적인 분류기를 예시한다.
도 13a는 본 개시의 일부 구현에 따른 분류를 위해 사용되는 병치된 및 인접한 루마(크로마) 샘플 중 임의의 것이 현재 픽처 외부에 있으면 CCSAO가 현재 크로마(루마) 샘플에 적용되지 않는 것을 예시하는 블록도이다.
도 13b는 본 개시의 일부 구현에 따른 분류를 위해 사용되는 병치된 및 인접한 루마 또는 크로마 샘플 중 임의의 것이 현재 픽처 외부에 있으면 CCSAO가 현재 루마 또는 크로마 샘플에 적용되는 것을 예시하는 블록도이다.
도 14는 본 개시의 일부 구현에 따른 분류를 위해 사용되는 대응하는 선택된 병치된 또는 인접한 루마 샘플이 VB(virtual boundary)에 의해 정의된 가상 공간 외부에 있으면 CCSAO가 현재 크로마 샘플에 적용되지 않는 것을 예시하는 블록도이다.
도 15는 본 개시의 일부 구현에 따른, 반복 또는 미러 패딩이 가상 경계 외부에 있는 루마 샘플에 적용되는 것을 도시한다.
도 16은 본 개시의 일부 구현에 따른 9개의 병치되고 인접하는 루마 샘플 모두가 분류에 사용되면 추가적인 1 루마 라인 버퍼가 요구됨을 도시한다.
도 17은 본 개시의 일부 구현에 따른 VB를 가로지르는 9개의 루마 후보 CCSAO가 2개의 추가적인 루마 라인 버퍼를 증가시킬 수 있는 AVS의 예시를 도시한다.
도 18a는 본 개시의 일부 구현에 따른 VB를 가로지르는 9개의 루마 후보 CCSAO가 1개의 추가적인 루마 라인 버퍼를 증가시킬 수 있는 VVC의 예시를 도시한다.
도 18b는 본 개시의 일부 구현에 따른, 병치된 또는 인접한 크로마 샘플이 현재 루마 샘플을 분류하는 데 사용될 때, 선택된 크로마 후보가 VB에 걸쳐 있을 수 있고 추가적인 크로마 라인 버퍼를 필요로 할 수 있는 예시를 도시한다.
도 19a 내지 도 19c는 본 개시의 일부 구현에 따른, AVS 및 VVC에서, 크로마 샘플의 루마 후보 중 임의의 것이 VB(현재 크로마 샘플 VB 외부)에 걸쳐 있으면, CCSAO가 크로마 샘플에 대해 디스에이블되는 것을 도시한다.
도 20a 내지 20c는 본 개시의 일부 구현에 따른, AVS 및 VVC에서, 크로마 샘플의 루마 후보 중 임의의 것이 VB(현재 크로마 샘플 VB 외부)에 걸쳐 있으면, 루마 샘플에 대한 반복적인 패딩을 사용하여 CCSAO가 이네이블되는 것을 도시한다.
도 21a 내지 도 21c는 본 개시의 일부 구현에 따른, AVS 및 VVC에서, 크로마 샘플의 루마 후보 중 임의의 것이 VB(현재 크로마 샘플 VB 외부)에 걸쳐 있으면, 크로마 샘플에 대한 미러 패딩을 사용하여 CCSAO가 이네이블되는 것을 도시한다.
도 22a 내지 도 22b는 본 개시의 일부 구현에 따른 서로 다른 CCSAO 샘플 형상에 대해 양면 대칭 패딩을 사용하여 CCSAO가 이네이블되는 것을 도시한다.
도 23은 본 개시의 일부 구현에 따른 분류를 위해 제한된 수의 루마 후보를 사용하는 제한을 도시한다.
도 24는 본 개시의 일부 구현에 따른, CCSAO 적용 영역이 CTB(coding tree block)/CTU(coding tree unit) 경계에 정렬되지 않는 것을 도시한다.
도 25는 본 개시의 일부 구현에 따른, CCSAO 적용 영역 프레임 파티션이 CCSAO 파라미터로 고정될 수 있는 것을 도시한다.
도 26은 본 개시의 일부 구현에 따른, CCSAO 적용 영역이 프레임/슬라이스/CTB 레벨로부터 분할된 BT(Binary-tree)/QT(Quad-tree)/TT(Ternary-tree)일 수 있는 것을 도시한다.
도 27은 본 개시의 일부 구현에 따른 픽처 프레임 내에서 서로 다른 레벨에서 사용되고 전환되는 복수의 분류기를 예시하는 블록도이다.
도 28은 본 개시의 일부 구현에 따른, CCSAO 적용 영역 파티션이 픽처 레벨에서 동적일 수 있고 전환될 수 있는 것을 예시하는 블록도이다.
도 29는 본 개시의 일부 구현에 따른, CCSAO 분류기가 현재 또는 교차 컴포넌트 코딩 정보를 고려할 수 있는 것을 예시하는 도면이다.
도 30은 본 개시의 일부 구현에 따른, 본 개시에 개시된 SAO 분류 방법이 포스트 예측 필터로서 기능하는 것을 예시하는 블록도이다.
도 31은 본 개시의 일부 구현에 따른, 포스트 예측 SAO 필터에 대해, 각각의 컴포넌트가 분류를 위해 현재 및 인접한 샘플을 사용할 수 있는 것을 예시하는 블록도이다.
도 32는 본 개시의 일부 구현에 따른 교차 컴포넌트 상관 관계를 사용하여 비디오 신호를 디코딩하는 예시적인 프로세스를 예시하는 흐름도이다.
도 33은 본 개시의 일부 구현에 따른 사용자 인터페이스와 결합된 컴퓨팅 환경을 예시하는 도면이다.
첨부된 도면에 그 예가 예시된 특정 구현예에 대해 상세히 참조할 것이다. 다음의 상세한 설명에서, 여기에서 제시된 주제의 이해를 돕기 위해 많은 비제한적 세부 사항이 설명된다. 그러나 청구범위의 범위를 벗어나지 않고 다양한 대안이 사용될 수 있고 주제가 이러한 특정 세부 사항 없이 실시될 수 있다는 것이 당업자에게 명백할 것이다. 예를 들어, 여기에서 제시된 주제가 디지털 비디오 기능을 가진 많은 유형의 전자 디바이스에서 구현될 수 있다는 것이 당업자에게 명백할 것이다.
1세대 AVS 표준은 중국 국가 표준 "정보 기술, 향상된 오디오 비디오 코딩 Part 2: 비디오"(AVS1로 알려짐) 및 "정보 기술, 향상된 오디오 비디오 코딩 Part 16: 무선 텔레비전 비디오"(AVS+로 알려짐)를 포함한다. MPEG-2 표준과 비교하여 동일한 지각 품질에서 약 50%의 비트레이트(bit-rate) 절감을 제공할 수 있다. 2세대 AVS 표준은, 주로 추가 HD TV 프로그램 전송을 목표로 하는 중국 국가 표준 시리즈 "정보 기술, 효율적인 멀티미디어 코딩"(AVS2로 알려짐)를 포함한다. AVS2의 코딩 효율은 AVS+의 두 배이다. 한편, AVS2 표준 비디오 부분은 IEEE(Institute of Electrical and Electronics Engineers)에 의해 하나의 국제 표준으로 신청되었다. AVS3 표준은 HEVC 표준보다 약 30%의 비트레이트 절감을 제공하는 최신 국제 표준 HEVC의 코딩 효율을 능가하는 것을 목표로 하는, UHD 비디오 애플리케이션을 위한 차세대 비디오 코딩 표준 중 하나이다. 2019년 3월 68차 AVS 회의에서, HEVC 표준에 비해 약 30%의 비트레이트 절감을 제공하는 AVS3-P2 기준선이 완료되었다. 현재 HPM(high performance model)이라는 하나의 참조 소프트웨어가 AVS 그룹에서 유지 관리되어 AVS3 표준의 참조 구현을 시연한다. HEVC와 같이, AVS3 표준은 블록 기반 하이브리드 비디오 코딩 프레임워크를 기반으로 한다.
도 1은 본 개시의 일부 구현에 따른 병렬로 비디오 블록을 인코딩 및 디코딩하기 위한 예시적인 시스템(10)을 예시하는(illustrating) 블록도이다. 도 1에 도시된 바와 같이, 시스템(10)은 목적지(destination) 디바이스(14)에 의해 나중에 디코딩될 비디오 데이터를 생성 및 인코딩하는 소스(source) 디바이스(12)를 포함한다. 소스 디바이스(12) 및 목적지 디바이스(14)는, 데스크톱 또는 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트폰, 셋톱 박스, 디지털 텔레비전, 카메라, 디스플레이 디바이스, 디지털 미디어 플레이어, 비디오 게임 콘솔, 비디오 스트리밍 디바이스 등을 포함하는 다양한 전자 디바이스 중 임의의 것을 포함할 수 있다. 일부 구현에서, 소스 디바이스(12)와 목적지 디바이스(14)는 무선 통신 능력을 갖추고 있다.
일부 구현에서, 목적지 디바이스(14)는 링크(16)를 통해, 디코딩될 인코딩된 비디오 데이터를 수신할 수 있다. 링크(16)는 인코딩된 비디오 데이터를 소스 디바이스(12)에서 목적지 디바이스(14)로 이동할 수 있는 임의의 유형의 통신 매체 또는 디바이스를 포함할 수 있다. 일 예에서, 링크(16)는 소스 디바이스(12)가 인코딩된 비디오 데이터를 목적지 디바이스(14)에 실시간으로 직접 전송할 수 있게 하는 통신 매체를 포함할 수 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되어 목적지 디바이스(14)로 전송될 수 있다. 통신 매체는 무선 주파수(radio frequency, RF) 스펙트럼 또는 하나 이상의 물리적 전송 라인과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수 있다. 통신 매체는 로컬 영역 네트워크, 광역 네트워크 또는 인터넷과 같은 글로벌 네트워크와 같은, 패킷 기반 네트워크의 일부를 형성할 수 있다. 통신 매체는 라우터, 스위치, 기지국, 또는 소스 디바이스(12)에서 목적지 디바이스(14)로의 통신을 용이하게 하는 데 유용할 수 있는 임의의 다른 장비를 포함할 수 있다.
일부 다른 구현에서, 인코딩된 비디오 데이터는 출력 인터페이스(22)로부터 저장 디바이스(32)로 전송될 수 있다. 이어서, 저장 디바이스(32)의 인코딩된 비디오 데이터는 입력 인터페이스(28)를 통해 목적지 디바이스(14)에 의해 액세스될 수 있다. 저장 디바이스(32)는 하드 드라이브, 블루레이 디스크, DVD, CD-ROM, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하는 임의의 다른 적합한 디지털 저장 매체(storage media)와 같은, 다양한 분산형 또는 로컬 액세스되는 데이터 저장 매체 중 임의의 것을 포함할 수 있다. 추가 예에서, 저장 디바이스(32)는 소스 디바이스(12)에 의해 생성된 인코딩된 비디오 데이터를 보유할 수 있는 파일 서버 또는 다른 중간 저장 디바이스에 대응할 수 있다. 목적지 디바이스(14)는 스트리밍 또는 다운로드를 통해 저장 디바이스(32)로부터 저장된 비디오 데이터에 액세스할 수 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 인코딩된 비디오 데이터를 목적지 디바이스(14)로 전송할 수 있는 임의의 유형의 컴퓨터일 수 있다. 파일 서버의 예로는 웹 서버(예: 웹 사이트용), FTP 서버, NAS(Network Attached Storage) 디바이스 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스(14)는, 무선 채널(예: Wi-Fi 연결), 유선 연결(예: DSL, 케이블 모뎀 등) 또는 파일 서버에 저장된 인코딩된 비디오 데이터에 액세스하는 데 적합한 이들의 조합을 포함하는, 임의의 표준 데이터 연결을 통해 인코딩된 비디오 데이터에 액세스할 수 있다. 저장 디바이스(32)로부터의 인코딩된 비디오 데이터의 전송은 스트리밍 전송, 다운로드 전송 또는 이들의 조합일 수 있다.
도 1에 도시된 바와 같이, 소스 디바이스(12)는 비디오 소스(18), 비디오 인코더(20), 및 출력 인터페이스(22)를 포함한다. 비디오 소스(18)는 비디오 캡처 디바이스, 예를 들어 비디오 카메라, 이전에 캡처된 비디오를 함유하는 비디오 아카이브, 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드(feed) 인터페이스, 및/또는 소스 디바이스로서 컴퓨터 그래픽 데이터를 생성하기 위한 컴퓨터 그래픽 시스템, 또는 이러한 소스들의 조합과 같은 소스를 포함할 수 있다. 일 예에서, 비디오 소스(18)가 보안 감시 시스템의 비디오 카메라이면, 소스 디바이스(12) 및 목적지 디바이스(14)는 카메라 폰 또는 비디오 폰을 형성할 수 있다. 그러나 본 출원에서 설명된 구현은 일반적으로 비디오 코딩에 적용될 수 있고, 무선 및/또는 유선 애플리케이션에 적용될 수 있다.
캡처된, 사전 캡처된, 또는 컴퓨터 생성된 비디오는 비디오 인코더(20)에 의해 인코딩될 수 있다. 인코딩된 비디오 데이터는 소스 디바이스(12)의 출력 인터페이스(22)를 통해 목적지 디바이스(14)로 직접 전송될 수 있다. 인코딩된 비디오 데이터는 또한(또는 다르게는) 디코딩 및/또는 재생을 위해 목적지 디바이스(14) 또는 다른 디바이스에 의한 추후의 액세스를 위해 저장 디바이스(32)에 저장될 수 있다. 출력 인터페이스(22)는 모뎀 및/또는 송신기(transmitter)를 더 포함할 수 있다.
목적지 디바이스(14)는 입력 인터페이스(28), 비디오 디코더(30), 및 디스플레이 디바이스(34)를 포함한다. 입력 인터페이스(28)는 수신기 및/또는 모뎀을 포함할 수 있고, 링크(16)를 통해 인코딩된 비디오 데이터를 수신할 수 있다. 링크(16)를 통해 통신되거나 저장 디바이스(32)에 제공된 인코딩된 비디오 데이터는, 비디오 데이터를 디코딩할 시 비디오 디코더(30)에 의한 사용을 위해, 비디오 인코더(20)에 의해 생성된 다양한 신택스 엘리먼트(syntax element)를 포함할 수 있다. 이러한 신택스 엘리먼트는 통신 매체를 통해 전송되거나, 저장 매체에 저장되거나, 파일 서버에 저장된, 인코딩된 비디오 데이터 내에 포함될 수 있다.
일부 구현에서, 목적지 디바이스(14)는 통합 디스플레이 디바이스일 수 있는 디스플레이 디바이스(34) 및 목적지 디바이스(14)와 통신하도록 구성된 외부 디스플레이 디바이스를 포함할 수 있다. 디스플레이 디바이스(34)는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, LCD(liquid crystal display), 플라즈마 디스플레이, OLED(organic light emitting diode) 디스플레이 또는 다른 유형의 디스플레이 디바이스와 같은 임의의 다양한 디스플레이 디바이스를 포함할 수 있다.
비디오 인코더(20) 및 비디오 디코더(30)는 VVC, HEVC, MPEG-4, Part 10, AVC(Advanced Video Coding), AVS, 또는 이러한 표준의 확장과 같은 독점 또는 산업 표준에 따라 작동할 수 있다. 본 출원은 특정 비디오 코딩/디코딩 표준에 제한되지 않으며, 다른 비디오 코딩/디코딩 표준에 적용될 수 있음을 이해해야 한다. 소스 디바이스(12)의 비디오 인코더(20)는 이러한 현재 또는 미래의 표준 중 임의의 것에 따라 비디오 데이터를 인코딩하도록 구성될 수 있다고 일반적으로 간주된다. 유사하게, 목적지 디바이스(14)의 비디오 디코더(30)가 이러한 현재 또는 미래의 표준 중 임의의 것에 따라 비디오 데이터를 디코딩하도록 구성될 수 있다고 일반적으로 간주된다.
비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 마이크로프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 주문형 집적 회로(application specific integrated circuit, ASIC), 현장 프로그래밍 가능 게이트 어레이(field programmable gate array, FPGA), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합과 같은, 다양한 적절한 인코더 회로 중 임의의 것으로 구현될 수 있다. 부분적으로 소프트웨어로 구현될 때, 전자 디바이스는 소프트웨어에 대한 명령어를 적절한 컴퓨터가 판독 가능한 비일시적 매체에 저장할 수 있고, 하나 이상의 프로세서를 사용하여 하드웨어에서 명령어를 실행하여, 본 개시에 개시된 비디오 코딩/디코딩 작동을 수행할 수 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수 있으며, 이들 중 어느 하나는 개개의(respective) 디바이스에서 조합된 인코더/디코더(CODEC)의 일부로서 통합될 수 있다.
도 2는 본 출원에서 설명된 일부 구현에 따른 예시적인 비디오 인코더(20)를 예시하는 블록도이다. 비디오 인코더(20)는 비디오 프레임 내의 비디오 블록의 인트라 예측 코딩 및 인터 예측 코딩을 수행할 수 있다. 인트라 예측 코딩은 주어진 비디오 프레임 또는 픽처 내에서 비디오 데이터의 공간적 중복성을 줄이거나 제거하기 위해 공간적 예측에 의존한다. 인터 예측 코딩은 비디오 시퀀스의 인접한(adjacent) 비디오 프레임 또는 픽처 내에서 비디오 데이터의 시간적 중복성을 줄이거나 제거하기 위해 시간적 예측에 의존한다.
도 2에 도시된 바와 같이, 비디오 인코더(20)는 비디오 데이터 메모리(40), 예측 처리 유닛(41), 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(64), 합산기(summer)(50), 변환 처리 유닛(52), 양자화 유닛(54) 및 엔트로피 인코딩 유닛(56)을 포함한다. 예측 처리 유닛(41)은 모션 추정 유닛(42), 모션 보상 유닛(44), 파티션(partition) 유닛(45), 인트라 예측 처리 유닛(46) 및 인트라 블록 복사(block copy, BC) 유닛(48)을 더 포함한다. 일부 구현에서, 비디오 인코더(20)는 또한 비디오 블록 재구성을 위해 역 양자화 유닛(58), 역 변환 처리 유닛(60), 및 합산기(62)를 포함한다. 디블로킹(deblocking) 필터와 같은 인루프(in-loop) 필터(63)는 합산기(62)와 DPB(64) 사이에 위치되어, 블록 경계를 필터링하여 재구성된 비디오로부터 블록 아티팩트(blocky artifact)를 제거할 수 있다. 합산기(62)의 출력을 필터링하기 위해, 디블로킹 필터 이외에 다른 인루프 필터(63)도 사용될 수 있다. 샘플 적응적 오프셋(sample adaptive offset, SAO) 및 적응적 인루프 필터(adaptive in-loop filter, ALF)와 같은 추가적인 인루프 필터링(63)은, 재구성된 CU가 참조 픽처 저장소에 놓이고 미래의 비디오 블록을 코딩하기 위한 참조로서 사용되기 전에 재구성된 CU에 적용될 수 있다. 비디오 인코더(20)는 고정된 또는 프로그래밍 가능한 하드웨어 유닛의 형태를 취할 수 있거나, 예시된 하나 이상의 고정된 또는 프로그래밍 가능한 하드웨어 유닛 사이에서 나뉠 수 있다.
비디오 데이터 메모리(40)는 비디오 인코더(20)의 컴포넌트에 의해 인코딩될 비디오 데이터를 저장할 수 있다. 비디오 데이터 메모리(40)의 비디오 데이터는 예를 들어 비디오 소스(18)로부터 획득될 수 있다. DPB(64)는 (예: 인트라 또는 인터 예측 코딩 모드에서) 비디오 인코더(20)에 의해 비디오 데이터를 인코딩할 시, 사용하기 위한 참조 비디오 데이터를 저장하는 버퍼이다. 비디오 데이터 메모리(40) 및 DPB(64)는 임의의 다양한 메모리 디바이스에 의해 형성될 수 있다. 다양한 예에서, 비디오 데이터 메모리(40)는 비디오 인코더(20)의 다른 컴포넌트들과 함께 온칩(on-chip)일 수 있거나, 이들 컴포넌트들에 대해 오프칩(off-chip)일 수 있다.
도 2에 도시된 바와 같이, 비디오 데이터를 수신한 후, 예측 처리 유닛(41) 내의 파티션 유닛(45)은 비디오 데이터를 비디오 블록으로 파티셔닝한다. 이 파티셔닝은 또한 비디오 데이터와 관련된 쿼드 트리(quad-tree) 구조와 같은 미리 정의된 분할(splitting) 구조에 따라, 비디오 프레임을 슬라이스, 타일 또는 다른 더 큰 코딩 유닛(coding unit, CTU)으로 파티셔닝하는 것을 포함할 수 있다. 비디오 프레임은 다수의 비디오 블록(또는 타일이라고 하는 비디오 블록 세트)으로 나눠질 수 있다. 예측 처리 유닛(41)은 에러 결과(예: 코딩 레이트 및 왜곡 레벨)에 기반하여 현재 비디오 블록에 대해, 복수의 인트라 예측 코딩 모드 중 하나 또는 복수의 인터 예측 코딩 모드 중 하나와 같은 복수의 가능한 예측 코딩 모드 중 하나를 선택할 수 있다. 예측 처리 유닛(41)은 결과적인 인트라 또는 인터 예측 코딩된 블록을 합산기(50)에 제공하여 잔차 블록을 생성하며, 그리고 합산기(62)에 제공하여 이후에 참조 프레임의 일부로서 사용하기 위해 인코딩된 블록을 재구성할 수 있다. 예측 처리 유닛(41)은 또한 모션 벡터, 인트라 모드 지시자(indicator), 파티션 정보, 및 다른 이러한 신택스 정보와 같은 신택스 엘리먼트를 엔트로피 인코딩 유닛(56)에 제공한다.
현재 비디오 블록에 대한 적절한 인트라 예측 코딩 모드를 선택하기 위해, 예측 처리 유닛(41) 내의 인트라 예측 처리 유닛(46)은 코딩될 현재 블록과 동일한 프레임에서 하나 이상의 인접한(neighboring) 블록에 대해 현재 비디오 블록의 인트라 예측 코딩을 수행하여, 공간적 예측을 제공할 수 있다. 예측 처리 유닛(41) 내의 모션 추정 유닛(42) 및 모션 보상 유닛(44)은 하나 이상의 참조 프레임에서 하나 이상의 예측 블록에 대해 현재 비디오 블록의 인터 예측 코딩을 수행하여, 시간적 예측을 제공할 수 있다. 비디오 인코더(20)는 예를 들어 비디오 데이터의 각각의 블록에 대한 적절한 코딩 모드를 선택하기 위해 다수의 코딩 패스(coding pass)를 수행할 수 있다.
일부 구현에서, 모션 추정 유닛(42)은 비디오 프레임 시퀀스 내의 미리 결정된 패턴에 따라, 참조 비디오 프레임 내의 예측 블록에 대한 현재 비디오 프레임 내의 비디오 블록의 예측 유닛(prediction unit, PU)의 변위(displacement)를 지시하는, 모션 벡터를 생성하는 것에 의해 현재 비디오 프레임에 대한 인터 예측 모드를 결정한다. 모션 추정 유닛(42)에 의해 수행되는 모션 추정은 비디오 블록에 대한 모션을 추정하는 모션 벡터를 생성하는 프로세스이다. 모션 벡터는 예를 들어, 현재 비디오 프레임 내에서 코딩되고 있는 현재 블록(또는 다른 코딩된 유닛)에 대한 참조 프레임 내 예측 블록(또는 다른 코딩된 유닛)에 대한, 현재 비디오 프레임 또는 픽처 내 비디오 블록의 PU의 변위를 지시할(indicate) 수 있다. 미리 결정된 패턴은 시퀀스에서의 비디오 프레임을 P 프레임 또는 B 프레임으로 지정할 수 있다. 인트라 BC 유닛(48)은 인터 예측을 위한 모션 추정 유닛(42)에 의한 모션 벡터의 결정과 유사한 방식으로 인트라 BC 코딩을 위한 벡터, 예를 들어 블록 벡터를 결정할 수 있거나, 블록 벡터를 결정하기 위해 모션 추정 유닛(42)을 활용할(utilize) 수 있다.
예측 블록은 절대 차이의 합(sum of absolute difference, SAD), 제곱 차이의 합(sum of square difference, SSD) 또는 기타 차이 메트릭(metric)에 의해 결정될 수 있는 픽셀 차이의 관점에서 코딩될 비디오 블록의 PU와 밀접하게 매칭되는 것으로 간주되는 참조 프레임의 블록이다. 일부 구현에서, 비디오 인코더(20)는 DPB(64)에 저장된 참조 프레임의 서브 정수 픽셀 위치(sub-integer pixel position)에 대한 값을 계산할 수 있다. 예를 들어, 비디오 인코더(20)는 참조 프레임의 1/4 픽셀 위치, 1/8 픽셀 위치, 또는 다른 분수(fractional) 픽셀 위치의 값을 보간할 수 있다. 따라서 모션 추정 유닛(42)은 전체 픽셀 위치 및 분수 픽셀 위치에 대해 모션 검색을 수행하고, 분수 픽셀 정밀도로 모션 벡터를 출력할 수 있다.
모션 추정 유닛(42)은 각각 DPB(64)에 저장된 하나 이상의 참조 프레임을 식별하는 제1 참조 프레임 리스트(리스트 0) 또는 제2 참조 프레임 리스트(리스트 1)로부터 선택된 참조 프레임의 예측 블록의 위치와 PU의 위치를 비교하는 것에 의해, 인터 예측 코딩된 프레임에서의 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 모션 추정 유닛(42)은 계산된 모션 벡터를 모션 보상 유닛(44)으로 송신한(send) 다음 엔트로피 인코딩 유닛(56)으로 송신한다.
모션 보상 유닛(44)에 의해 수행되는 모션 보상은 모션 추정 유닛(42)에 의해 결정된 모션 벡터에 기반하여 예측 블록을 페치(fetch)하거나 생성하는 것을 수반할 수 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 유닛(44)은 참조 프레임 리스트 중 하나에서 모션 벡터가 가리키는 예측 블록을 찾고, DPB(64)로부터 예측 블록을 검색하며, 예측 블록을 합산기(50)로 포워딩할 수 있다. 합산기(50)는 그러면, 코딩되고 있는 현재 비디오 블록의 픽셀 값으로부터 모션 보상 유닛(44)에 의해 제공된 예측 블록의 픽셀 값을 감산하는 것에 의해 픽셀 차이 값의 잔차 비디오 블록을 형성한다. 잔차 비디오 블록을 형성하는 픽셀 차이 값은 루마 차이 컴포넌트 또는 크로마 차이 컴포넌트 또는 둘 모두를 포함할 수 있다. 모션 보상 유닛(44)은 또한 비디오 프레임의 비디오 블록을 디코딩할 시, 비디오 디코더(30)에 의한 사용을 위해, 비디오 프레임의 비디오 블록과 연관된 신택스 엘리먼트를 생성할 수 있다. 신택스 엘리먼트는 예를 들어 예측 블록을 식별하는 데 사용되는 모션 벡터를 정의하는 신택스 엘리먼트, 예측 모드를 지시하는 임의의 플래그(flag), 또는 여기에 설명된 임의의 다른 신택스 정보를 포함할 수 있다. 모션 추정 유닛(42) 및 모션 보상 유닛(44)은 고도로 통합될 수 있지만 개념적 목적을 위해 별도로 예시된다는 점에 유의한다.
일부 구현에서, 인트라 BC 유닛(48)은 모션 추정 유닛(42) 및 모션 보상 유닛(44)과 관련하여 전술한 것과 유사한 방식으로 벡터를 생성하고 예측 블록을 페치할 수 있지만, 예측 블록은 코딩되고 있는 현재 블록과 동일한 프레임에 있으며, 이 벡터는 모션 벡터가 아닌 블록 벡터로 지칭된다. 특히, 인트라 BC 유닛(48)은 현재 블록을 인코딩하는 데 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예에서, 인트라 BC 유닛(48)은 예를 들어 별도의 인코딩 패스 동안 다양한 인트라 예측 모드를 사용하여 현재 블록을 인코딩하고, 레이트-왜곡 분석을 통해 그 성능을 테스트할 수 있다. 다음으로, 인트라 BC 유닛(48)은 다양한 테스트된 인트라 예측 모드 중에서 사용하기에 적합한 인트라 예측 모드를 선택하고 그에 따라 인트라 모드 지시자를 생성할 수 있다. 예를 들어, 인트라 BC 유닛(48)은 다양한 테스트된 인트라 예측 모드에 대해 레이트-왜곡 분석을 사용하여 레이트-왜곡 값을 계산하고, 테스트된 모드 중에서 최상의 레이트-왜곡 특성을 갖는 인트라 예측 모드를 사용할 적절한 인트라 예측 모드로 선택할 수 있다. 레이트-왜곡 분석은 일반적으로 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩되었던 원래의 인코딩되지 않은 블록 사이의 왜곡(또는 에러)의 양과 인코딩된 블록을 생성하는 데 사용되는 비트레이트(즉, 비트수)를 결정할 수 있다. 인트라 BC 유닛(48)은 어떤 인트라 예측 모드가 블록에 대해 최상의 레이트-왜곡 값을 나타내는지를 결정하기 위해 다양한 인코딩된 블록에 대한 비율 및 왜곡으로부터 비율을 계산할 수 있다.
다른 예에서, 인트라 BC 유닛(48)은 모션 추정 유닛(42) 및 모션 보상 유닛(44)을 전체적으로 또는 부분적으로 사용하여, 여기에서 설명된 구현에 따른 인트라 BC 예측을 위한 그러한 기능을 수행할 수 있다. 어느 경우든, 인트라 블록 복사의 경우, 예측 블록은 절대 차이의 합(SAD), 제곱 차이의 합(SSD) 또는 다른 차이 메트릭에 의해 결정될 수 있는 픽셀 차이의 관점에서 코딩될 블록과 밀접하게 매칭되는 것으로 간주되는 블록일 수 있으며, 예측 블록의 식별은 서브 정수 픽셀 위치에 대한 값의 계산을 포함할 수 있다.
예측 블록이 인트라 예측에 따라 동일한 프레임으로부터의 것인지 또는 인터 예측에 따라 서로 다른 프레임으로부터의 것이든지, 비디오 인코더(20)는 코딩되고 있는 현재 블록의 픽셀 값에서 예측 블록의 픽셀 값을 감산하여 잔차 비디오 블록을 형성할 수 있으며, 이는 픽셀 차이 값을 형성한다. 잔차 비디오 블록을 형성하는 픽셀 차이 값은 루마 및 크로마 컴포넌트 차이 모두를 포함할 수 있다.
인트라 예측 처리 유닛(46)은 위에서 설명한 바와 같이, 모션 추정 유닛(42) 및 모션 보상 유닛(44)에 의해 수행되는 인터 예측 또는 인트라 BC 유닛(48)에 의해 수행되는 인트라 블록 복사 예측에 대한 대안으로서, 현재 비디오 블록을 인트라 예측할 수 있다. 특히, 인트라 예측 처리 유닛(46)은 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정할 수 있다. 그렇게 하기 위해, 인트라 예측 처리 유닛(46)은 예를 들어 별도의 인코딩 패스 동안 다양한 인트라 예측 모드를 사용하여 현재 블록을 인코딩할 수 있고, 인트라 예측 처리 유닛(46)(또는 일부 예에서 모드 선택 유닛)은 테스트된 인트라 예측 모드로부터 사용할 적절한 인트라 예측을 선택할 수 있다. 인트라 예측 처리 유닛(46)은 블록에 대해 선택된 인트라 예측 모드를 지시하는 정보를 엔트로피 인코딩 유닛(56)에 제공할 수 있다. 엔트로피 인코딩 유닛(56)은 선택된 인트라 예측 모드를 지시하는 정보를 비트스트림으로 인코딩할 수 있다.
예측 처리 유닛(41)이 인터 예측 또는 인트라 예측을 통해 현재 비디오 블록에 대한 예측 블록을 결정한 후, 합산기(50)는 현재 비디오 블록에서 예측 블록을 감산하여 잔차 비디오 블록을 형성한다. 잔차 블록의 잔차 비디오 데이터는 하나 이상의 변환 유닛(transform unit, TU)에 포함될 수 있으며, 변환 처리 유닛(52)에 제공된다. 변환 처리 유닛(52)은 이산 코사인 변환(discrete cosine transform, DCT) 또는 개념적으로 유사한 변환과 같은 변환을 사용하여 잔차 비디오 데이터를 잔차 변환 계수로 변환한다.
변환 처리 유닛(52)은 결과적인 변환 계수를 양자화 유닛(54)에 송신할 수 있다. 양자화 유닛(54)은 변환 계수를 양자화하여 비트 레이트를 더욱 감소시킨다. 양자화 프로세스는 또한 일부 또는 모든 계수와 관련된 비트 심도(bit depth)를 감소시킬 수 있다. 양자화 정도는 양자화 파라미터를 조정하는 것에 의해 수정될 수 있다. 일부 예에서, 양자화 유닛(54)은 양자화된 변환 계수를 포함하는 행렬의 스캔(scan)을 수행할 수 있다. 다르게는, 엔트로피 인코딩 유닛(56)은 스캔을 수행할 수 있다.
양자화에 이어서, 엔트로피 인코딩 유닛(56)은 예를 들어 콘텍스트 적응 가변 길이 코딩(context adaptive variable length coding, CAVLC), 콘텍스트 적응 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC), 신택스 기반 콘텍스트 적응 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 간격 분할 엔트로피(probability interval partitioning entropy, PIPE) 코딩 또는 다른 엔트로피 인코딩 방법 또는 기술을 사용하여, 양자화된 변환 계수를 비디오 비트스트림으로 엔트로피 인코딩한다. 그런 다음, 인코딩된 비트스트림은 비디오 디코더(30)로 전송되거나, 나중에 비디오 디코더(30)로의 전송 또는 비디오 디코더(30)에 의한 검색을 위해 저장 디바이스(32)에 보관될 수 있다. 엔트로피 인코딩 유닛(56)은 또한 코딩되고 있는 현재 비디오 프레임에 대한 모션 벡터 및 다른 신택스 엘리먼트를 엔트로피 인코딩할 수 있다.
역 양자화 유닛(58) 및 역 변환 처리 유닛(60)은 각각 역 양자화 및 역 변환을 적용하여, 다른 비디오 블록의 예측을 위한 참조 블록을 생성하기 위해 픽셀 도메인에서 잔차 비디오 블록을 재구성한다. 전술한 바와 같이, 모션 보상 유닛(44)은 DPB(64)에 저장된 프레임의 하나 이상의 참조 블록으로부터 모션 보상된 예측 블록을 생성할 수 있다. 모션 보상 유닛(44)은 또한 하나 이상의 보간 필터를 예측 블록에 적용하여, 모션 추정에 사용하기 위한 서브-정수 픽셀 값을 계산할 수 있다.
합산기(62)는 재구성된 잔차 블록을 모션 보상 유닛(44)에 의해 생성된 모션 보상 예측 블록에 추가하여, DPB(64)에 저장하기 위한 참조 블록을 생성한다. 참조 블록은 인트라 BC 유닛(48), 모션 추정 유닛(42), 및 모션 보상 유닛(44)에 의해 후속 비디오 프레임에서 다른 비디오 블록을 인터 예측하기 위한 예측 블록으로서 사용될 수 있다.
도 3은 본 출원의 일부 구현에 따른 예시적인 비디오 디코더(30)를 예시하는 블록도이다. 비디오 디코더(30)는 비디오 데이터 메모리(79), 엔트로피 디코딩 유닛(80), 예측 처리 유닛(81), 역 양자화 유닛(86), 역 변환 처리 유닛(88), 합산기(90), 및 DPB(92)를 포함한다. 예측 처리 유닛(81)은 모션 보상 유닛(82), 인트라 예측 처리 유닛(84), 및 인트라 BC 유닛(85)을 더 포함한다. 비디오 디코더(30)는 일반적으로 도 2와 관련하여 비디오 인코더(20)에 대해 위에서 설명된 인코딩 프로세스와 역방향인 디코딩 프로세스를 수행할 수 있다. 예를 들어, 모션 보상 유닛(82)은 엔트로피 디코딩 유닛(80)으로부터 수신된 모션 벡터에 기반하여 예측 데이터를 생성할 수 있는 반면, 인트라 예측 유닛(84)은 엔트로피 디코딩 유닛(80)으로부터 수신된 인트라 예측 모드 지시자에 기반하여 예측 데이터를 생성할 수 있다.
일부 예에서, 비디오 디코더(30)의 유닛은 본 출원의 구현을 수행하도록 임무를 부여받을 수 있다. 또한, 일부 예에서, 본 개시의 구현은 비디오 디코더(30)의 유닛들 중 하나 이상 사이에서 나눠질 수 있다. 예를 들어, 인트라 BC 유닛(85)은 단독으로, 또는 모션 보상 유닛(82), 인트라 예측 처리 유닛(84) 및 엔트로피 디코딩 유닛(80)과 같은 비디오 디코더(30)의 다른 유닛과 조합하여 본 출원의 구현을 수행할 수 있다. 일부 예에서, 비디오 디코더(30)는 인트라 BC 유닛(85)을 포함하지 않을 수 있으며, 인트라 BC 유닛(85)의 기능은 모션 보상 유닛(82)과 같은 예측 처리 유닛(81)의 다른 컴포넌트에 의해 수행될 수 있다.
비디오 데이터 메모리(79)는 비디오 디코더(30)의 다른 컴포넌트에 의해 디코딩될 인코딩된 비디오 비트스트림과 같은 비디오 데이터를 저장할 수 있다. 비디오 데이터 메모리(79)에 저장된 비디오 데이터는 예를 들어 저장 디바이스(32)로부터, 카메라와 같은 로컬 비디오 소스로부터, 비디오 데이터의 유선 또는 무선 네트워크 통신을 통해, 또는 물리적 데이터 저장 매체(예: 플래시 드라이브 또는 하드 디스크)를 액세스하는 것에 의해 획득될 수 있다. 비디오 데이터 메모리(79)는 인코딩된 비디오 비트스트림으로부터의 인코딩된 비디오 데이터를 저장하는 코딩된 픽처 버퍼(coded picture buffer, CPB)를 포함할 수 있다. 비디오 디코더(30)의 디코딩된 픽처 버퍼(DPB)(92)는 (예: 인트라 또는 인터 예측 코딩 모드에서) 비디오 디코더(30)에 의해 비디오 데이터를 디코딩하는데 사용하기 위한 참조 비디오 데이터를 저장한다. 비디오 데이터 메모리(79) 및 DPB(92)는 동기식 동적 랜덤 액세스 메모리(synchronous dynamic random access memory, SDRAM), 자기 저항 RAM(magneto-resistive RAM, MRAM), 저항성 RAM(resistive RAM, RRAM), 또는 다른 유형의 메모리 디바이스를 포함하는 DRAM과 같은 다양한 메모리 디바이스 중 어느 하나에 의해 형성될 수 있다. 예시를 위해, 비디오 데이터 메모리(79) 및 DPB(92)는 도 3에서 비디오 디코더(30)의 2개의 별개의 컴포넌트로서 묘사된다. 그러나 비디오 데이터 메모리(79) 및 DPB(92)가 동일한 메모리 디바이스 또는 별도의 메모리 디바이스에 의해 제공될 수 있다는 것은 당업자에게 명백할 것이다. 일부 예에서, 비디오 데이터 메모리(79)는 비디오 디코더(30)의 다른 컴포넌트들과 함께 온칩일 수 있거나, 이들 컴포넌트들에 대해 오프칩일 수 있다.
디코딩 프로세스 동안, 비디오 디코더(30)는 인코딩된 비디오 프레임의 비디오 블록 및 연관된 신택스 엘리먼트를 나타내는(represent) 인코딩된 비디오 비트스트림을 수신한다. 비디오 디코더(30)는 비디오 프레임 레벨 및/또는 비디오 블록 레벨에서의 신택스 엘리먼트를 수신할 수 있다. 비디오 디코더(30)의 엔트로피 디코딩 유닛(80)은 비트스트림을 엔트로피 디코딩하여, 양자화된 계수, 모션 벡터 또는 인트라-예측 모드 지시자, 및 다른 신택스 엘리먼트를 생성한다. 엔트로피 디코딩 유닛(80)은 모션 벡터 및 다른 신택스 엘리먼트를 예측 처리 유닛(81)으로 포워딩한다.
비디오 프레임이 인트라 예측 코딩된(I) 프레임으로 코딩되거나 다른 유형의 프레임에서 인트라 코딩된 예측 블록에 대해 코딩될 때, 예측 처리 유닛(81)의 인트라 예측 처리 유닛(84)은 시그널링된 인트라 예측 모드 및 현재 프레임의 이전에 디코딩된 블록으로부터의 참조 데이터에 기반하여, 현재 비디오 프레임의 비디오 블록에 대한 예측 데이터를 생성할 수 있다.
비디오 프레임이 인터 예측 코딩된(즉, B 또는 P) 프레임으로 코딩될 때, 예측 처리 유닛(81)의 모션 보상 유닛(82)은 엔트로피 디코딩 유닛(80)으로부터 수신된 모션 벡터 및 다른 신택스 엘리먼트에 기반하여, 현재 비디오 프레임의 비디오 블록에 대한 하나 이상의 예측 블록을 생성한다 각각의 예측 블록은 참조 프레임 리스트 중 하나 내의 참조 프레임으로부터 생성될 수 있다. 비디오 디코더(30)는 DPB(92)에 저장된 참조 프레임에 기반한 디폴트 구성 기술을 사용하여, 참조 프레임 리스트, 리스트 0 및 리스트 1을 구성할 수 있다.
일부 예에서, 비디오 블록이 여기에서 기술된 인트라 BC 모드에 따라 코딩될 때, 예측 처리 유닛(81)의 인트라 BC 유닛(85)은 엔트로피 디코딩 유닛(80)으로부터 수신된 블록 벡터 및 다른 신택스 엘리먼트에 기반하여, 현재 비디오 블록에 대한 예측 블록을 생성한다. 예측 블록은 비디오 인코더(20)에 의해 정의된 현재 비디오 블록과 동일한 픽처의 재구성된 영역 내에 있을 수 있다.
모션 보상 유닛(82) 및/또는 인트라 BC 유닛(85)은 모션 벡터 및 다른 신택스 엘리먼트를 파싱함으로써 현재 비디오 프레임의 비디오 블록에 대한 예측 정보를 결정하고, 예측 정보를 사용하여, 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록을 생성한다. 예를 들어, 모션 보상 유닛(82)은 수신된 신택스 엘리먼트 중 일부를 사용하여, 비디오 프레임의 비디오 블록을 코딩하는 데 사용되는 예측 모드(예: 인트라 예측 또는 인터 예측), 인터 예측 프레임 유형(예: B 또는 P), 프레임에 대한 참조 프레임 리스트 중 하나 이상에 대한 구성 정보, 프레임의 각각의 인터 예측 인코딩된 비디오 블록에 대한 모션 벡터, 프레임의 각각의 인터 예측 코딩된 비디오 블록에 대한 인터 예측 상태, 및 현재 비디오 프레임에서 비디오 블록을 디코딩하기 위한 기타 정보를 결정한다.
마찬가지로, 인트라 BC 유닛(85)은 현재 비디오 블록이 인트라 BC 모드를 사용하여 예측되었음을 결정하기 위해, 수신된 신택스 엘리먼트 중 일부, 예를 들어 플래그, 프레임의 어떤 비디오 블록이 재구성된 프레임 영역 내에 있고 DBP(92)에 저장되어야 하는지의 구성 정보, 프레임의 각각의 인트라 BC 예측된 비디오 블록에 대한 블록 벡터, 프레임의 각각의 인트라 BC 예측된 비디오 블록에 대한 인트라 BC 예측 상태, 및 현재 비디오 프레임의 비디오 블록을 디코딩하기 위한 기타 정보를 사용할 수 있다.
모션 보상 유닛(82)은 또한 비디오 블록의 인코딩 동안 비디오 인코더(20)에 의해 사용되는 보간 필터를 사용하여 보간을 수행하여, 참조 블록의 서브 정수 픽셀에 대한 보간 값을 계산할 수 있다. 이 경우, 모션 보상 유닛(82)은 수신된 신택스 엘리먼트로부터 비디오 인코더(20)에 의해 사용된 보간 필터를 결정할 수 있고, 보간 필터를 사용하여 예측 블록을 생성할 수 있다.
역 양자화 유닛(86)은 비트스트림에서 제공되면서, 비디오 프레임의 각각의 비디오 블록에 대해 비디오 인코더(20)에 의해 계산된 동일한 양자화 파라미터를 사용하여 엔트로피 디코딩 유닛(80)에 의해 엔트로피 디코딩된, 양자화된 변환 계수를 역양자화하여 양자화 정도를 결정한다. 역 변환 처리 유닛(88)은 역 변환, 예를 들어 역 DCT, 역 정수 변환 또는 개념적으로 유사한 역 변환 프로세스를 변환 계수에 적용하여 픽셀 도메인에서 잔차 블록을 재구성한다.
모션 보상 유닛(82) 또는 인트라 BC 유닛(85)이 벡터 및 다른 신택스 엘리먼트에 기반하여 현재 비디오 블록에 대한 예측 블록을 생성한 후, 합산기(90)는 역 변환 처리 유닛(88)으로부터의 잔차 블록과 모션 보상 유닛(82) 및 인트라 BC 유닛(85)에 의해 생성된 대응하는 예측 블록을 합산함으로써, 현재 비디오 블록에 대한 디코딩된 비디오 블록을 재구성한다. 인루프 필터(91)는 합산기(90)와 DPB(92) 사이에 위치되어, 디코딩된 비디오 블록을 추가로 처리할 수 있다. 디블록킹 필터, 샘플 적응적 오프셋(SAO) 및 적응적 인루프 필터(ALF)와 같은 인루프 필터링(91)이, 재구성된 CU가 참조 픽처 저장소에 놓이기 전에 재구성된 CU에 적용될 수 있다. 주어진 프레임의 디코딩된 비디오 블록은, 다음 비디오 블록의 후속 모션 보상에 사용되는 참조 프레임을 저장하는 DPB(92)에 저장된다. DPB(92) 또는 DPB(92)와 별개의 메모리 디바이스는 또한 도 1의 디스플레이 디바이스(34)와 같은 디스플레이 디바이스에 나중에 제시(presentation)하기 위해 디코딩된 비디오를 저장할 수 있다.
통상적인 비디오 코딩 프로세스에서, 비디오 시퀀스는 일반적으로 프레임 또는 픽처의 순서화된 세트를 포함한다. 각각의 프레임은 SL, SCb 및 SCr로 표시된 3개의 샘플 어레이를 포함할 수 있다. SL은 루마 샘플의 2차원 어레이이다. SCb는 Cb 크로마 샘플의 2차원 어레이이다. SCr은 Cr 크로마 샘플의 2차원 어레이이다. 다른 사례에서, 프레임이 단색일 수 있으므로, 루마 샘플의 2차원 어레이 하나만 포함한다.
HEVC와 같이, AVS3 표준은 블록 기반 하이브리드 비디오 코딩 프레임워크를 기반으로 구축된다. 입력 비디오 신호는 블록(코딩 유닛(coding unit, CU)이라고 함)별로 처리된다. 쿼드 트리만을 기반으로 블록을 파티셔닝하는 HEVC와 달리, AVS3에서는 하나의 코딩 트리 유닛(coding tree unit, CTU)이 쿼드/이진/확장된 쿼드 트리에 기반한 다양한 로컬 특성에 적응하기 위해 CU로 분할된다. 추가적으로, HEVC에서 다수의 파티션 유닛 유형의 개념이 제거되며, 즉, CU, 예측 유닛(prediction unit, PU) 및 변환 유닛(transform unit, TU)의 분리가 AVS3에 존재하지 않는다. 대신에, 각각의 CU는 추가 파티션 없이 항상 예측 및 변환 모두를 위한 기본 유닛(basic unit)으로 사용된다. AVS3의 트리 파티션 구조에서, 먼저 하나의 CTU가 쿼드 트리 구조에 기반하여 파티셔닝된다. 그런 다음 각각의 쿼드 트리 리프 노드는 이진 및 확장된 쿼드 트리 구조를 기반으로 추가로 파티셔닝될 수 있다.
도 4a에 도시된 바와 같이, 비디오 인코더(20)(또는 더 구체적으로 파티션 유닛(45))는 먼저 프레임을 코딩 트리 유닛(coding tree unit, CTU) 세트로 파티셔닝하는 것에 의해 프레임의 인코딩된 표현을 생성한다. 비디오 프레임은 좌측에서 우측으로 그리고 상단(top)에서 하단(bottom)으로 래스터 스캔 순서로 연속적으로 정렬된 정수개의 CTU를 포함할 수 있다. 각각의 CTU는 가장 큰 논리적 코딩 유닛이며, CTU의 폭과 높이는 비디오 시퀀스의 모든 CTU가 128×128, 64×64, 32×32, 및 16×16 중 하나인 동일한 크기를 갖도록, 시퀀스 파라미터 세트에서 비디오 인코더(20)에 의해 시그널링된다. 그러나 본 출원이 반드시 특정한 크기로 제한되는 것은 아니라는 점에 유의해야 한다. 도 4b에 도시된 바와 같이, 각각의 CTU는 루마 샘플의 하나의 코딩 트리 블록(coding tree block, CTB), 크로마 샘플의 2개의 대응하는 코딩 트리 블록, 및 코딩 트리 블록의 샘플을 코딩하는 데 사용되는 신택스 엘리먼트를 포함할 수 있다. 신택스 엘리먼트는 픽셀의 코딩된 블록의 서로 다른 유형의 유닛의 속성과 인터 또는 인트라 예측, 인트라 예측 모드, 모션 벡터 및 기타 파라미터를 포함하여, 비디오 디코더(30)에서 비디오 시퀀스가 어떻게 재구성될 수 있는지를 설명한다. 단색 픽처 또는 3개의 개별 컬러 평면을 갖는 픽처에서, CTU는 단일 코딩 트리 블록 및 코딩 트리 블록의 샘플을 코딩하는 데 사용되는 신택스 엘리먼트를 포함할 수 있다. 코딩 트리 블록은 샘플의 N×N 블록일 수 있다.
더 나은 성능을 달성하기 위해, 비디오 인코더(20)는 CTU의 코딩 트리 블록에 대해 이진 트리 파티셔닝, 삼항 트리 파티셔닝, 쿼드 트리 파티셔닝 또는 이들의 조합과 같은 트리 파티셔닝을 재귀적으로 수행하고, CTU를 더 작은 코딩 유닛(coding unit, CTU)으로 나눌 수 있다. 도 4a에 도시된 바와 같이, 64×64 CTU(400)는 먼저 4개의 더 작은 CU로 나뉘며, 이들 각각은 32×32의 블록 크기를 갖는다. 4개의 작은 CU 중에서, CU(410)와 CU(420)는 각각 블록 크기별로 16×16 크기의 4개의 CU로 나뉜다. 2개의 16×16 CU(430, 440)는 각각 블록 크기별로 8×8의 4개의 CU로 추가로 나뉜다. 도 4d는 도 4c에 도시된 CTU(400)의 파티션 프로세스의 최종 결과를 예시하는 쿼드 트리 데이터 구조를 도시하며, 쿼드 트리의 각 리프 노드는 32×32에서 8×8 범위의 개개의 크기를 갖는 하나의 CU에 대응한다. 도 4b에 도시된 CTU와 유사하게, 각각의 CU는 루마 샘플의 코딩 블록(coding block, CB) 및 동일한 크기의 프레임의 크로마 샘플의 2개의 대응하는 코딩 블록, 및 코딩 블록의 샘플을 코딩하는 데 사용되는 신택스 엘리먼트를 포함할 수 있다. 단색 픽처 또는 3개의 개별 컬러 평면을 갖는 픽처에서, CU는 단일 코딩 블록 및 코딩 블록의 샘플을 코딩하는 데 사용되는 신택스 구조를 포함할 수 있다. 도 4c 및 도 4d에 도시된 쿼드 트리 파티셔닝은 설명을 위한 것일 뿐이며, 하나의 CTU를 CU로 분할하여 쿼드/삼항/이진 트리 파티션을 기반으로 다양한 로컬 특성에 적응할 수 있음을 유의해야 한다. 다중 유형 트리 구조에서, 하나의 CTU는 쿼드 트리 구조로 파티셔닝되고, 각각의 쿼드 트리 리프 CU는 이진 및 삼항 트리 구조로 추가로 파티셔닝될 수 있다. 도 4e에 도시된 바와 같이, AVS3에는 5개의 분할/파티셔닝 유형, 즉 쿼터(quaternary) 파티셔닝, 수평 이진 파티셔닝, 수직 이진 파티셔닝, 수평 확장된 쿼드 트리 파티셔닝, 및 수직 확장된 쿼드 트리 파티셔닝이 있다.
일부 구현에서, 비디오 인코더(20)는 추가로, CU의 코딩 블록을 하나 이상의 M×N 예측 블록(prediction block, PB)으로 파티셔닝할 수 있다. 예측 블록은 동일한 예측, 인터 또는 인트라가 적용되는 샘플의 직사각형(정사각형 또는 비정사각형) 블록이다. CU의 예측 유닛(PU)은 루마 샘플의 예측 블록, 크로마 샘플의 대응하는 2개의 예측 블록, 및 예측 블록을 예측하는 데 사용되는 신택스 엘리먼트를 포함할 수 있다. 단색 픽처 또는 3개의 개별 컬러 평면을 갖는 픽처에서, PU는 단일 예측 블록 및 예측 블록을 예측하는 데 사용되는 신택스 구조를 포함할 수 있다. 비디오 인코더(20)는 CU의 각 PU의 루마 예측 블록, Cb 예측 블록, 및 Cr 예측 블록에 대한 예측 루마 블록, 예측 Cb 블록, 및 예측 Cr 블록을 생성할 수도 있다.
비디오 인코더(20)는 인트라 예측 또는 인터 예측을 사용하여, PU에 대한 예측 블록을 생성할 수 있다. 비디오 인코더(20)가 PU의 예측 블록을 생성하기 위해 인트라 예측을 사용하면, 비디오 인코더(20)는 PU와 연관된 프레임의 디코딩된 샘플에 기반하여 PU의 예측 블록을 생성할 수 있다. 비디오 인코더(20)가 PU의 예측 블록을 생성하기 위해 인터 예측을 사용하면, 비디오 인코더(20)는 PU와 연관된 프레임 이외의 하나 이상의 프레임의 디코딩된 샘플에 기반하여 PU의 예측 블록을 생성할 수 있다.
비디오 인코더(20)가 CU의 하나 이상의 PU에 대한 예측 루마 블록, 예측 Cb 블록, 및 예측 Cr 블록을 생성한 후, 비디오 인코더(20)는 원래의 루마 코딩 블록에서 CU의 예측 루마 블록을 감산하여 CU에 대한 루마 잔차 블록을 생성할 수 있으므로, CU의 루마 잔차 블록의 각 샘플은 CU의 예측 루마 블록 중 하나의 루마 샘플과 CU의 원래 루마 코딩 블록의 대응하는 샘플 간의 차이를 지시한다. 유사하게, 비디오 인코더(20)는 CU의 Cb 잔차 블록의 각 샘플이 CU의 예측 Cb 블록 중 하나의 Cb 샘플과 CU의 원래 Cb 코딩 블록의 대응하는 샘플과의 차이를 지시하고, CU의 Cr 잔차 블록의 각 샘플은 CU의 예측 Cr 블록 중 하나의 Cr 샘플과 CU의 원래 Cr 코딩 블록의 대응하는 샘플 간의 차이를 지시할 수 있도록, CU에 대해 Cb 잔차 블록 및 Cr 잔차 블록을 각각 생성할 수 있다.
또한, 도 4c에 도시된 바와 같이, 비디오 인코더(20)는 CU의 루마 잔차 블록, Cb 잔차 블록, 및 Cr 잔차 블록을 하나 이상의 루마 변환 블록, Cb 변환 블록, 및 Cr 변환 블록으로 분해하기 위해 쿼드 트리 파티셔닝을 사용할 수 있다. 변환 블록은 동일한 변환이 적용되는 샘플의 직사각형(정사각형 또는 비정사각형) 블록이다. CU의 변환 유닛(TU)은 루마 샘플의 변환 블록, 크로마 샘플의 2개의 대응하는 변환 블록, 및 변환 블록 샘플을 변환하는 데 사용되는 신택스 엘리먼트를 포함할 수 있다. 따라서 CU의 각 TU는 루마 변환 블록, Cb 변환 블록, 및 Cr 변환 블록과 연관될 수 있다. 일부 예에서, TU와 연관된 루마 변환 블록은 CU의 루마 잔차 블록의 서브블록일 수 있다. Cb 변환 블록은 CU의 Cb 잔차 블록의 서브블록일 수 있다. Cr 변환 블록은 CU의 Cr 잔차 블록의 서브블록일 수 있다. 단색 픽처 또는 3개의 개별 컬러 평면을 갖는 픽처에서, TU는 단일 변환 블록 및 변환 블록의 샘플을 변환하는 데 사용되는 신택스 구조를 포함할 수 있다.
비디오 인코더(20)는 TU의 루마 변환 블록에 하나 이상의 변환을 적용하여, TU에 대한 루마 계수 블록을 생성할 수 있다. 계수 블록은 변환 계수의 2차원 어레이일 수 있다. 변환 계수는 스칼라 수량(scalar quantity)일 수 있다. 비디오 인코더(20)는 TU의 Cb 변환 블록에 하나 이상의 변환을 적용하여, TU에 대한 Cb 계수 블록을 생성할 수 있다. 비디오 인코더(20)는 TU의 Cr 변환 블록에 하나 이상의 변환을 적용하여, TU에 대한 Cr 계수 블록을 생성할 수 있다.
계수 블록(예: 루마 계수 블록, Cb 계수 블록, 또는 Cr 계수 블록)을 생성한 후, 비디오 인코더(20)는 계수 블록을 양자화할 수 있다. 양자화는 일반적으로 변환 계수를 양자화하여 변환 계수를 표현하는 데 사용되는 데이터의 양을 줄이고 추가적인 압축을 제공하는 프로세스를 지칭한다. 비디오 인코더(20)가 계수 블록을 양자화한 후, 비디오 인코더(20)는 양자화된 변환 계수를 지시하는 신택스 엘리먼트를 엔트로피 인코딩할 수 있다. 예를 들어, 비디오 인코더(20)는 양자화된 변환 계수를 지시하는 신택스 엘리먼트에 대해 콘텍스트 적응적 이진 산술 코딩(Context-Adaptive Binary Arithmetic Coding, CABAC)을 수행할 수 있다. 마지막으로, 비디오 인코더(20)는 저장 디바이스(32)에 저장되거나 목적지 디바이스(14)로 전송되는, 코딩된 프레임 및 관련 데이터의 표현을 형성하는 일련의 비트를 포함하는 비트스트림을 출력할 수 있다.
비디오 인코더(20)에 의해 생성된 비트스트림을 수신한 후, 비디오 디코더(30)는 비트스트림을 파싱하여, 비트스트림으로부터 신택스 엘리먼트를 획득할 수 있다. 비디오 디코더(30)는 비트스트림으로부터 획득된 신택스 엘리먼트에 적어도 부분적으로 기반하여 비디오 데이터의 프레임을 재구성할 수도 있다. 비디오 데이터를 재구성하는 프로세스는 일반적으로 비디오 인코더(20)에 의해 수행되는 인코딩 프로세스와 상호적인 것이다. 예를 들어, 비디오 디코더(30)는 현재 CU의 TU 와 연관된 계수 블록에 대해 역 변환을 수행하여, 현재 CU의 TU와 연관된 잔차 블록을 재구성할 수 있다. 비디오 디코더(30)는 또한 현재 CU의 PU에 대한 예측 블록의 샘플을 현재 CU의 TU의 변환 블록의 대응하는 샘플에 추가하는 것에 의해 현재 CU의 코딩 블록을 재구성한다. 프레임의 각 CU에 대한 코딩 블록을 재구성한 후, 비디오 디코더(30)는 프레임을 재구성할 수 있다.
SAO는 인코더에 의해 전송된 룩업 테이블의 값에 기반하여, 디블로킹 필터를 적용한 후 오프셋 값을 각 샘플에 조건부로 추가하는 것에 의해 디코딩된 샘플을 수정하는 프로세스이다. SAO 필터링은 신택스 엘리먼트 sao-type-idx에 의해 CTB별로 선택된 필터링 유형에 기반하여 영역 기반(region basis)으로 수행된다. sao-type-idx에 대한 0의 값은 SAO 필터가 CTB에 적용되지 않음을 지시하며, 값 1과 2는 각각 대역 오프셋 및 에지 오프셋 필터링 유형의 사용을 시그널링한다(signal). 1과 같은 sao-type-idx로 지정된 대역 오프셋 모드에서, 선택된 오프셋 값은 샘플 진폭(sample amplitude)에 직접적으로 의존한다. 이 모드에서, 전체 샘플 진폭 범위는 대역(band)이라고 하는 32개의 세그먼트로 균일하게 분할되며, 이러한 대역 중 4개(32개 대역 내에서 연속됨)에 속하는 샘플 값은, 양(positive)이거나 음(negative)인, 대역 오프셋으로 표기된 전송된 값을 추가하는 것에 의해 수정된다. 4개의 연속 대역을 사용하는 주된 이유는 밴딩 아티팩트가 나타날 수 있는 부드러운 영역에서, CTB의 샘플 진폭이 일부 대역에만 집중되는 경향이 있기 때문이다. 또한 4개의 오프셋을 사용하는 설계 선택은 4개의 오프셋 값을 사용하는 작동의 에지 오프셋 모드와 통합된다. 2와 같은 sao-type-idx로 지정된 에지 오프셋 모드에서, 0에서 3까지의 값을 갖는 신택스 엘리먼트 sao-eo-class는 수평, 수직 또는 2개의 대각선 그레이디언트 방향 중 하나가 CTB에서의 에지 오프셋 분류에 사용되는지를 지시한다.
도 5는 본 개시의 일부 구현에 따른 SAO에서 사용되는 4개의 그레이디언트 패턴을 도시하는 블록도이다. 4개의 기울기 패턴(502, 504, 506, 508)은 에지 오프셋 모드에서 개개의 sao-eo-class에 대한 것이다. "p" 로 라벨링된 샘플은 고려할 중앙 샘플(center sample)을 지시한다. "n0" 및 "n1"로 라벨링된 두 샘플은 (a) 수평(sao-eo-class = 0), (b) 수직(sao-eo-class = 1), (c) 135°대각선(sao-eo-class = 2), 및 (d) 45°(sao-eo-class = 3) 그레이디언트 패턴을 따라 두개의 인접한 샘플을 지정한다. CTB의 각 샘플은 도 5에 도시된 바와 같이 일부 위치에 있는 샘플 값 p와 인접한 위치에 있는 두 샘플의 값 n0 및 n1을 비교하여 5개의 EdgeIdx 카테고리 중 하나로 분류된다. 이 분류는 디코딩된 샘플 값을 기반으로 각 샘플에 대해 수행되므로, EdgeIdx 분류에 추가 시그널링이 필요하지 않다. 샘플 위치에서의 EdgeIdx 카테고리에 따라, EdgeIdx 카테고리 1~4에 대해, 전송된 룩업 테이블로부터의 오프셋 값이 샘플 값에 추가된다. 오프셋 값은 카테고리 1과 2에 대해 항상 양수이고 카테고리 3과 4에 대해 음수이다. 따라서 필터는 일반적으로 에지 오프셋 모드에서 스무딩(smoothing) 효과가 있다. 아래 표 1은 SAO 에지 클래스에서 샘플 EdgeIdx 카테고리를 예시한다.
| 에지Idx | 조건 | 의미 |
| 0 1 2 3 4 |
아래에 열거되지 않은 클래스 p < n0 및 p < n1 p < n0 및 p = n1 또는 p < n1 및 p = n0 p > n0 및 p = n1 또는 p > n1 및 p = n0 p > n0 및 p > n1 |
단조 에어리어 로컬 min 에지 에지 로컬 Max |
SAO 유형 1 및 유형 2의 경우, 총 4개의 진폭 오프셋 값이 각 CTB에 대해 디코더로 전송된다. 유형 1의 경우, 부호(sign)도 인코딩된다. 오프셋 값 및 관련 신택스 엘리먼트(예: sao-type-idx 및 sao-eo-class)는 일반적으로 레이트-왜곡 성능을 최적화하는 기준을 사용하는 인코더에 의해 결정된다. SAO 파라미터는 시그널링을 효율적으로 만들기 위해 병합 플래그를 사용하여 좌측 또는 위의 CTB로부터 상속되도록 지시될 수 있다. 요약하면. SAO는 재구성된 신호의 추가적인 정제(refinement)를 허용하는 비선형 필터링 작동이며, 부드러운 영역과 주변 에지 모두에서 신호 표현(signal representation)을 향상시킬 수 있다.
일부 실시예에서, 교차 컴포넌트 정보를 도입함으로써 코딩 효율을 개선하거나 SAO(Sample Adaptive Offset)의 복잡도를 감소시키기 위한 방법 및 시스템이 여기에 개시된다. SAO는 HEVC, VVC, AVS2 및 AVS3 표준에서 사용된다. 이하의 설명에서는 HEVC, VVC, AVS2 및 AVS3 표준에서의 기존 SAO 설계를 기본 SAO 방법으로 사용하지만, 비디오 코딩 분야의 당업자에게는 본 개시에서 설명하는 교차 컴포넌트 방법도 유사한 설계 정신을 가진 다른 루프 필터 설계 또는 다른 코딩 도구에 적용될 수 있다. 예를 들어, AVS3 표준에서, SAO는 향상된 샘플 적응적 오프셋(Enhanced Sample Adaptive Offset, ESAO)이라는 코딩 도구로 대체된다. 그러나 여기에 개시된 CCSAO는 ESAO와 병행하여 적용될 수도 있다. 또 다른 예에서, CCSAO는 AV1 표준의 제한된 지향성 향상 필터(Constrained Directional Enhancement Filter, CDEF)와 병렬로 적용될 수 있다.
HEVC, VVC, AVS2 및 AVS3 표준의 기존 SAO 설계에 대해, 루마 Y 샘플 오프셋 값, 크로마 Cb 샘플 오프셋 값, 및 크로마 Cr 샘플 오프셋 값은 독립적으로 결정된다. 즉, 예를 들어, 현재 크로마 샘플 오프셋은 병치된(동일 위치에 있는, collocated) 및 인접한(neighboring) 루마 샘플들을 고려하지 않고, 현재 및 인접한 크로마 샘플 값들에 의해서만 결정된다. 그러나 루마 샘플은 크로마 샘플보다 더 많은 원래 픽처 세부 정보를 보존하며, 현재 크로마 샘플 오프셋의 결정에 도움이 될 수 있다. 또한 크로마 샘플은 일반적으로 RGB에서 YCbCr로 색상 변환 후 또는 양자화 및 디블로킹 필터 후에 고주파 세부 정보를 잃기 때문에, 크로마 오프셋 결정을 위해 보존된 고주파 세부 정보가 있는 루마 샘플을 도입하면 크로마 샘플 재구성에 도움이 될 수 있다. 따라서 예를 들어 교차 컴포넌트 샘플 적응적 오프셋(Cross-Component Sample Adaptive Offset, CCSAO)의 방법 및 시스템을 사용하여 교차 컴포넌트 상관 관계를 탐색하면 추가 이득을 기대할 수 있다. 일부 실시예에서, 여기서 상관 관계는 교차 컴포넌트 샘플 값을 포함할 뿐만 아니라 교차 컴포넌트로부터의 예측/잔차 코딩 모드, 변환 유형, 및 양자화/디블로킹/SAO/ALF 파라미터와 같은 픽처/코딩 정보도 포함한다.
또 다른 예는 SAO에 대한 것으로, 루마 샘플 오프셋은 루마 샘플에 의해서만 결정된다. 그러나 예를 들어 동일한 대역 오프셋(band offset, BO) 분류를 갖는 루마 샘플은 병치된 및 인접한 크로마 샘플들에 의해 추가로 분류될 수 있으며, 이는 보다 효과적인 분류로 이어질 수 있다. SAO 분류는 원래의 픽처와 재구성된 픽처 간의 샘플 차이를 보상하기 위한 지름길로 취해질 수 있다. 따라서 효과적인 분류가 요구된다.
도 6a는 본 개시의 일부 구현에 따른 크로마 샘플에 적용되고 입력으로서 DBF Y를 사용하는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다. 루마 디블로킹 필터 이후의 루마 샘플(DBF Y)은 SAO Cb 및 SAO Cr 이후의 크로마 Cb 및 Cr에 대한 추가 오프셋을 결정하는 데 사용된다. 예를 들어, 현재 크로마 샘플(602)은 먼저 병치된(604) 및 인접한(백색) 루마 샘플(606)을 사용하여 분류되고, 대응하는 클래스의 대응하는 CCSAO 오프셋 값이 현재 크로마 샘플 값에 추가된다. 도 6b는 본 개시의 일부 구현에 따른, 루마 샘플 및 크로마 샘플에 적용되고 입력으로서 DBF Y/Cb/Cr을 사용하는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다. 도 6c는 본 개시의 일부 구현에 따라 독립적으로 작동할 수 있는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다. 도 6d는 본 개시의 일부 구현에 따른, 동일한 코덱 스테이지에서 동일한 또는 서로 다른 오프셋으로 재귀적으로(2 또는 N회) 적용되거나, 서로 다른 스테이지에서 반복될 수 있는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다. 요약하면, 일부 실시예에서, 현재 루마 샘플을 분류하기 위해, 현재 및 인접한 루마 샘플의 정보, 병치된 및 인접한 크로마 샘플(Cb 및 Cr)의 정보가 사용될 수 있다. 일부 실시예에서, 현재 크로마 샘플(Cb 또는 Cr)을 분류하기 위해, 병치된 및 인접한 루마 샘플, 병치된 및 인접한 교차 크로마 샘플, 및 현재 및 인접한 크로마 샘플이 사용될 수 있다. 일부 실시예에서, CCSAO는 (1) DBF Y/Cb/Cr, (2) DBF 전 재구성된 이미지 Y/Cb/Cr, 또는 (3) SAO Y/Cb/Cr 후, 또는 (4) ALF Y/Cb/Cr 후, 이후 캐스케이드될 수 있다.
일부 실시예에서, CCSAO는 또한 다른 코딩 도구, 예를 들어 AVS 표준의 ESAO 또는 AV1 표준의 CDEF와 병행하여 적용될 수 있다. 도 6e는 본 개시의 일부 구현에 따른 AVS 표준에서 ESAO와 병렬로 적용되는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다.
도 6f는 본 개시의 일부 구현에 따른 SAO 이후에 적용되는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다. 일부 실시예에서, 도 6f는 CCSAO의 위치가 SAO 이후, 즉 VVC 표준에서 CCALF(Cross-Component Adaptive Loop Filter)의 위치일 수 있음을 도시한다. 도 6g는 본 개시의 일부 구현에 따른 CCSAO의 시스템 및 프로세스가 CCALF 없이 독립적으로 동작할 수 있음을 예시하는 블록도이다. 일부 실시예에서, SAO Y/Cb/Cr은 예를 들어 AVS3 표준에서 ESAO로 대체될 수 있다.
도 6h는 본 개시의 일부 구현에 따른 CCALF와 병렬로 적용되는 CCSAO의 시스템 및 프로세스를 예시하는 블록도이다. 일부 실시예에서, 도 6h는 CCSAO가 CCALF와 병렬로 적용될 수 있음을 도시한다. 일부 실시예에서, 도 6h에서, CCALF와 CCSAO의 위치는 전환될 수 있다. 일부 실시예에서, 도 6a 내지 도 6h에서 또는 본 개시 전체에서, SAO Y/Cb/Cr 블록은 ESAO Y/Cb/Cr(AVS3에서) 또는 CDEF(AV1에서)로 대체될 수 있다. Y/Cb/Cr은 비디오 코딩 에어리어(area)에서 Y/U/V로 표기될 수도 있음을 유의한다.
일부 실시예에서, 현재의 크로마 샘플 분류는 SAO 유형(에지 오프셋(edge offset, EO) 또는 BO) 클래스 및 병치된 루마 샘플의 카테고리를 재사용하고 있다. 대응하는 CCSAO 오프셋은 시그널링될 수 있거나 디코더 자체에서 도출될 수 있다. 예를 들어, h_Y를 병치된 루마 SAO 오프셋으로 하고, h_Cb 및 h_Cr을 각각 CCSAO Cb 및 Cr 오프셋이라고 한다. h_Cb(또는 h_Cr) = w * h_Y이며, 여기서 w는 제한된 테이블에서 선택될 수 있다. 예를 들어, +-1/4, +-1/2, 0, +-1, +-2, +-4… 등이며, 여기서 |w|는 2의 거듭제곱 값만 포함한다.
일부 실시예에서, 병치된 루마 샘플(Y0)과 인접한 8개의 루마 샘플의 비교 점수(comparison score) [-8, 8]가 사용되며, 이는 총 17개의 클래스를 산출한다.
Initial Class = 0
Loop over neighboring 8 luma samples (Yi, i=1 to 8)
if Y0 > Yi
Class += 1
else if Y0 < Yi
Class -= 1
일부 실시예에서, 위에 언급된 분류 방법이 조합될 수 있다. 예를 들어, SAO BO(32개의 대역 분류)와 조합된 비교 점수가 다양성을 증가시키기 위해 사용되며, 총 17*32개의 클래스를 생성한다. 일부 실시예에서, Cb 및 Cr은 복잡성을 감소시키거나 비트를 절약하기 위해 동일한 클래스를 사용할 수 있다.
도 7은 본 개시의 일부 구현에 따른 CCSAO를 사용하는 샘플 프로세스를 예시하는 블록도이다. 구체적으로, 도 7은 클래스 결정을 단순화하거나 유연성을 증가시키기 위해 CCSAO의 입력이 수직 및 수평 DBF의 입력을 도입할 수 있음을 도시한다. 예를 들어, Y0_DBF_V, Y0_DBF_H 및 Y0이 각각 DBF_V, DBF_H 및 SAO의 입력에서 병치된 루마 샘플이라고 가정한다. Yi_DBF_V, Yi_DBF_H 및 Yi는 각각 DBF_V, DBF_H 및 SAO의 입력에서 인접한 8개의 루마 샘플이며, i = 1~8이다.
Max Y0 = max (Y0_DBF_V, Y0_DBF_H, Y0_DBF)
Max Yi = max (Yi_DBF_V, Yi_DBF_H, Yi_DBF)
CCSAO 분류에 최대 Y0 및 최대 Yi를 입력한다.
도 8은 본 개시의 일부 구현에 따른 CCSAO 프로세스가 수직 및 수평 DBF에 인터리빙되는 것을 예시하는 블록도이다. 일부 실시예에서, 도 6, 도 7 및 도 8의 CCSAO 블록은 선택적일 수 있다. 예를 들어, 제1 CCSAO_V에 대해 Y0_DBF_V 및 Yi_DBF_V를 사용하면, DBF_V 루마 샘플의 입력을 CCSAO 입력으로 사용하면서 도 6에서와 동일한 샘플 처리를 적용한다.
일부 실시예에서, 구현된 CCSAO 신택스는 아래의 표 2에 나와 있다.
| 레벨 | 신택스 엘리먼트 | 의미(Meaning) |
| SPS | cc_sao_enabled_flag | CCSAO가 시퀀스에서 이네이블되는지 여부 |
| SH | slice_cc_sao_cb_flag slice_cc_sao_cr_flag |
CCSAO가 Cb 또는 Cr에 대해 이네이블되는지 여부 |
| CTU | cc_sao_merge_left_flag cc_sao_merge_up_flag |
CCSAO 오프셋이 좌측 또는 위 CTU으로부터 병합되는지 여부 |
| CTU | cc_sao_class_idx | 이 CTU의 CCSAO 클래스 인덱스 |
| CTU | cc_sao_offset_sign_flag cc_sao_offset_abs |
이 CTU 클래스의 CCSAO Cb 및 Cr 오프셋 값 |
일부 실시예에서, CCSAO Cb 및 Cr 오프셋 값을 시그널링하기 위해, 하나의 추가 크로마 오프셋이 시그널링되면, 다른 크로마 컴포넌트 오프셋은 플러스(plus) 또는 마이너스(minus) 부호, 또는 비트 오버헤드를 절약하기 위한 가중치에 의해 도출될 수 있다. 예를 들어, h_Cb 및 h_Cr을 각각 CCSAO Cb 및 Cr의 오프셋이라고 한다. w를 명시적으로 시그널링하며, 제한된 |w| 후보와 함께 w = +- |w|이며, h_Cr은 h_Cr 자체를 명시적으로 시그널링하지 않고 h_Cb로부터 도출될 수 있다.
h_Cr = w * h_Cb
도 9는 본 개시의 일부 구현에 따른 교차 컴포넌트 상관 관계를 사용하여 비디오 신호를 디코딩하는 예시적인 프로세스(900)를 예시하는 흐름도이다.
비디오 디코더(30)는 제1 컴포넌트 및 제2 컴포넌트를 포함하는 비디오 신호를 수신한다(910). 일부 실시예에서, 제1 컴포넌트는 루마 컴포넌트이고, 제2 컴포넌트는 비디오 신호의 크로마 컴포넌트이다.
비디오 디코더(30)는 또한 제2 컴포넌트와 연관된 복수의 오프셋을 수신한다(920).
그 다음, 비디오 디코더(30)는 제1 컴포넌트의 특성 측정치(characteristic measurement)를 활용하여, 제2 컴포넌트와 연관된 분류 카테고리를 획득한다(930). 예를 들어, 도 6에서, 현재 크로마 샘플(602)은 먼저 병치된(604) 및 인접한(백색) 루마 샘플(606)을 사용하여 분류되고, 대응하는 CCSAO 오프셋 값이 현재 크로마 샘플에 추가된다.
비디오 디코더(30)는 추가로, 분류 카테고리에 따라 제2 컴포넌트에 대해 복수의 오프셋으로부터 제1 오프셋을 선택한다(940).
비디오 디코더(30)는 선택된 제1 오프셋에 기반하여 제2 컴포넌트를 추가로 수정한다(950).
일부 실시예에서, 제1 컴포넌트의 특성 측정치를 활용하여 제2 컴포넌트와 연관된 분류 카테고리를 획득하는 것은(930): 제1 컴포넌트의 개개의 샘플을 활용하여 제2 컴포넌트의 개개의 각 샘플의 개개의 분류 카테고리를 획득하는 것 - 제1 컴포넌트의 개개의 샘플은 제2 컴포넌트의 개개의 각 샘플에 대한 제1 컴포넌트의 개개의 병치된 샘플임 -을 포함한다. 예를 들어, 현재 크로마 샘플 분류는 병치된 루마 샘플의 SAO 유형(EO 또는 BO), 클래스 및 카테고리를 재사용하고 있다.
일부 실시예에서, 제1 컴포넌트의 특성 측정치를 활용하여 제2 컴포넌트와 연관된 분류 카테고리를 획득하는 것은(930): 제1 컴포넌트의 개개의 샘플을 활용하여 제2 컴포넌트의 개개의 각 샘플의 개개의 분류 카테고리를 획득하는 것 - 제1 컴포넌트의 개개의 샘플은 블록 해제되기(deblocked) 전에 재구성되거나 블록 해제된 후에 재구성됨 -를 포함한다. 일부 실시예에서, 제1 컴포넌트는 디블로킹 필터(deblocking filter, DBF)에서 블록 해제되고 있다. 일부 실시예에서, 제1 컴포넌트는 루마 디블로킹 필터(DBF Y)에서 블록 해제되고 있다. 예를 들어, 도 6 또는 도 7에 대한 대안으로, CCSAO 입력은 DBF Y 이전일 수도 있다.
일부 실시예에서, 특성 측정치는 제1 컴포넌트의 샘플 값의 범위를 여러 대역으로 나누고 제1 컴포넌트의 샘플의 강도(intensity) 값에 기반하여 대역을 선택하는 것에 의해 도출된다. 일부 실시예에서, 특성 측정치는 대역 오프셋(Band Offset, BO)으로부터 도출된다.
일부 실시예에서, 특성 측정치는 제1 컴포넌트에서 샘플의 에지 정보의 방향 및 세기(strength)에 기반하여 도출된다. 일부 실시예에서, 특성 측정치는 에지 오프셋(Edge Offset, EO)으로부터 도출된다.
일부 실시예에서, 제2 컴포넌트를 수정하는 것(950)은, 선택된 제1 오프셋을 제2 컴포넌트에 직접 추가하는 것을 포함한다. 예를 들어 대응하는 CCSAO 오프셋 값이 현재 크로마 컴포넌트 샘플에 추가된다.
일부 실시예에서, 제2 컴포넌트를 수정하는 것(950)은, 선택된 제1 오프셋을 제2 오프셋에 매핑하고, 매핑된 제2 오프셋을 제2 컴포넌트에 추가하는 것을 포함한다. 예를 들어, CCSAO Cb 및 Cr 오프셋 값을 시그널링하기 위해, 하나의 추가 크로마 오프셋이 시그널링되면, 다른 크로마 컴포넌트 오프셋은 플러스 또는 마이너스 부호를 사용하거나 비트 오버헤드를 절약하기 위한 가중치를 사용하여 도출될 수 있다.
일부 실시예에서, 비디오 신호를 수신하는 것(910)은, CCSAO를 사용하여 비디오 신호를 디코딩하는 방법이 시퀀스 파라미터 세트(Sequence Parameter Set, SPS)의 비디오 신호에 대해 이네이블되는(enabled)지 여부를 지시하는 신택스 엘리먼트를 수신하는 것을 포함한다. 일부 실시예에서, cc_sao_enabled_flag는 CCSAO가 시퀀스 레벨에서 이네이블되는지 여부를 지시한다.
일부 실시예에서, 비디오 신호를 수신하는 것(910)은, CCSAO를 사용하여 비디오 신호를 디코딩하는 방법이 슬라이스 레벨에서 제2 컴포넌트에 대해 이네이블되는지 여부를 지시하는 신택스 엘리먼트를 수신하는 것을 포함한다. 일부 실시예에서, slice_cc_sao_cb_flag 또는 slice_cc_sao_cr_flag는 CCSAO가 Cb 또는 Cr에 대한 개개의 슬라이스에서 이네이블되는지 여부를 지시한다.
일부 실시예에서, 제2 컴포넌트와 연관된 복수의 오프셋을 수신하는 것(920)은, 서로 다른 코딩 트리 유닛(Coding Tree Unit, CTU)에 대한 서로 다른 오프셋을 수신하는 것을 포함한다. 일부 실시예에서, CTU에 대해, cc_sao_offset_sign_flag는 오프셋에 대한 부호를 지시하고, cc_sao_offset_abs는 현재 CTU의 CCSAO Cb 및 Cr 오프셋 값을 지시한다.
일부 실시예에서, 제2 컴포넌트와 연관된 복수의 오프셋을 수신하는 것(920)은, CTU의 수신된 오프셋이 CTU의 인접한 CTU 중 하나의 오프셋과 동일한지 여부를 지시하는 신택스 엘리먼트를 수신하는 것을 포함하며, 인접한 CTU는 좌측 또는 상단 인접한 CTU이다. 예를 들어 cc_sao_merge_up_flag는 CCSAO 오프셋이 좌측 또는 위의 CTU로부터 병합되는지 여부를 지시한다.
일부 실시예에서, 비디오 신호는 제3 컴포넌트를 더 포함하고, CCSAO를 사용하여 비디오 신호를 디코딩하는 방법은, 제3 컴포넌트와 연관된 제2 복수의 오프셋을 수신하는 단계; 제1 컴포넌트의 특성 측정치를 활용하여, 제3 컴포넌트와 연관된 제2 분류 카테고리를 획득하는 단계; 제2 분류 카테고리에 따라 제3 컴포넌트에 대한 제2 복수의 오프셋으로부터 제3 오프셋을 선택하는 단계; 및 선택된 제3 오프셋에 기반하여 제3 컴포넌트를 수정하는 단계를 포함한다.
도 11은 본 개시의 일부 구현에 따른, 모든 병치된 및 인접한(백색) 루마/크로마 샘플이 CCSAO 분류에 공급될 수 있음을 예시하는 샘플 프로세스의 블록도이다. 도 6a, 도 6b, 및 도 11은 CCSAO 분류의 입력을 도시한다. 도 11에서, 현재 크로마 샘플은 1104이고, 교차 컴포넌트 병치된 크로마 샘플은 1102이며, 병치된 루마 샘플은 1106이다.
일부 실시예에서, 분류기 예(classifier example, C0)는 분류를 위해 (도 6b 및 6c에서 Y4/U4/V4) 아래의 도 12에서의 병치된 루마 또는 크로마 샘플 값(Y0)을 사용한다. band_num은 루마 또는 크로마 동적 범위의 균등하게 나눠진 대역의 수이고, bit_depth는 시퀀스 비트 심도라고 하며, 현재 크로마 샘플에 대한 클래스 인덱스의 예는 다음과 같다:
Class (C0) = (Y0 * band_num) >> bit_depth
일부 실시예에서, 분류는 예를 들어 반올림(rounding)을 고려한다:
Class (C0) = ((Y0 * band_num) + (1 << bit_depth)) >> bit_depth
일부 band_num 및 bit_depth 예가 아래 표 3에 나열되어 있다. 표 3은 대역의 수가 각각의 분류 예에 서로 다른 3개의 분류 예를 보여준다.
일부 실시예에서, 분류기는 C0 분류를 위해 서로 다른 루마 샘플 위치를 사용한다. 도 10a는 본 개시의 일부 구현에 따른, C0 분류를 위해 서로 다른 루마(또는 크로마) 샘플 위치를 사용하는, 예를 들어 C0 분류를 위해 Y0이 아닌 인접한 Y7을 사용하는, 분류기를 도시하는 블록도이다.
일부 실시예에서, 서로 다른 분류기는 시퀀스 파라미터 세트(Sequence Parameter Set, SPS)/적응 파라미터 세트(Adaptation parameter set, APS)/픽처 파라미터 세트(Picture parameter set, PPS)/픽처 헤더(Picture header, PH)/슬라이스 헤더(Slice header, SH)/영역/코딩 트리 유닛(Coding tree unit, CTU)/코딩 유닛(coding unit, CTU)/서브 블록/샘플 레벨에서 전환될 수 있다. 예를 들어, 도 10에서, 아래 표 4에 나와 있는 바와 같이, POC0에 Y0을 사용하고 POC1에 Y7을 사용한다.
| POC | 분류기 | C0 band_num | 총 클래스 |
| 0 | Y0 위치를 사용하는 CO | 8 | 8 |
| 1 | Y7 위치를 사용하는 CO | 8 | 8 |
일부 실시예에서, 도 10b는 본 개시의 일부 구현에 따른, 루마 후보에 대한 서로 다른 형상의 일부 예를 예시한다. 예를 들어, 제약(constraint)이 형상에 적용될 수 있다. 일부 사례에서, 루마 후보의 총 수는 도 10b의 (b), (c), (d)에 도시된 바와 같이 2의 거듭제곱이어야 한다. 일부 경우에, 루마 후보의 수는 도 10b의 (a), (c), (d), (e)에 도시된 바와 같이, (중앙에서) 크로마 샘플을 기준으로 수평 및 수직 대칭이어야 한다. 일부 실시예에서, 2의 거듭제곱 제약 및 대칭 제약이 또한 크로마 후보에 적용될 수 있다. 도 6b 및 도 6c의 U/V 부분은 대칭 제약에 대한 예를 도시한다. 일부 실시예에서, 서로 다른 컬러 포맷이 서로 다른 분류기 "제약"을 가질 수 있다. 예를 들어, 420 컬러 포맷은 도 6b 및 도 6c에 도시된 바와 같이 루마/크로마 후보 선택(3×3 형상으로부터 선택된 하나의 후보)을 사용하지만, 444 컬러 포맷은 루마 및 크로마 후보 선택을 위해 도 10b의 (f)를 사용하며, 422 컬러 포맷은 루마(2개의 크로마 샘플은 4개의 루마 후보를 공유함)에 대해 도 10b의 (g) 그리고 크로마 후보에 대해 도 10b의 (f)를 사용한다.
일부 실시예에서, C0 위치 및 C0 band_num은 조합되어 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 전환될 수 있다. 서로 다른 조합은 표 5에 나타낸 바와 같이 서로 다른 분류기일 수 있다.
| POC | 분류기 | C0 band_nddurum | 총 클래스 |
| 0 | Y0 위치를 사용하는 C0 | 16 | 16 |
| 1 | Y7 위치를 사용하는 C0 | 8 | 8 |
일부 실시예에서, 병치된 루마 샘플 값(Y0)은 병치된 및 인접한 루마 샘플을 가중하는 것에 의해 획득된 값(Yp)으로 대체된다. 도 12는 본 개시의 일부 구현에 따른, 병치된 루마 샘플 값을 병치된 및 인접한 루마 샘플들을 가중하는 것에 의해 획득된 값으로 대체함으로써 예시적인 분류기를 예시한다. 병치된 루마 샘플 값(Y0)은 인접한 루마 샘플들을 가중하는 것에 의해 획득된 위상 보정 값(Yp)으로 대체될 수 있다. 서로 다른 Yp는 서로 다른 분류기일 수 있다.
일부 실시예에서, 서로 다른 Yp가 서로 다른 크로마 포맷에 적용된다. 예를 들어, 도 12에서, (a)의 Yp는 420 크로마 포맷에 사용되고, (b)의 Yp는 422 크로마 포맷에 사용되며, Y0은 444 크로마 포맷에 사용된다.
일부 실시예에서, 다른 분류기(C1)는 병치된 루마 샘플(Y0)과 인접한 8개의 루마 샘플의 비교 점수 [-8, 8]이며, 이는 아래에 나타낸 바와 같이 총 17개의 클래스를 산출한다.
Initial Class (C1) = 0, Loop over neighboring 8 luma samples (Yi, i=1 to 8)
if Y0 > Yi
Class += 1
else if Y0 < Yi
Class -= 1
일부 실시예에서, C1 예는 임계값 th가 0인 다음 함수와 같다.
ClassIdx＝Index2ClassTable(f(C, P1)+f(C, P2)+…+f(C, P8))
if x-y > th, f(x, y) = 1; if x-y = th, f(x, y) = 0; if x-y < th, f(x, y) = -1
여기서 Index2ClassTable은 룩업 테이블(look up table, LUT)이고, C는 현재 또는 병치된 샘플이며, P1 내지 P8은 인접한 샘플이다.
일부 실시예에서, C4 분류기와 유사하게, 차이를 분류(양자화)하는 데 도움이 되기 위해, 하나 이상의 임계값이 미리 정의되거나(예: LUT에 보관됨), SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 시그널링될 수 있다.
일부 실시예에서, 변형(variation)(C1')은 비교 점수 [0, 8]만을 카운트하고, 이것은 8개의 클래스를 산출한다. (C1, C1')는 분류기 그룹이며, C1과 C1' 사이를 전환하도록 PH/SH 레벨 플래그가 시그널링될 수 있다.
Initial Class (C1') = 0, Loop over neighboring 8 luma samples (Yi, i=1 to 8)
if Y0 > Yi
Class += 1
일부 실시예에서, 변형(C1s)은 비교 점수를 계산하기 위해 M개의 인접한 샘플 중 인접한 N개를 선택적으로 사용한다. M 비트 비트마스크(bitmask)는 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 시그널링되어, 비교 점수를 계산하기 위해 어떤 인접한 샘플이 선택되는지를 지시할 수 있다. 도 6b를 루마 분류기에 대한 예로 사용하며: 8개의 인접한 루마 샘플이 후보이고, 8비트 비트마스크(01111110)가 PH에서 시그널링되어, Y1에서 Y6까지 6개의 샘플이 선택되었음을 지시하므로, 비교 점수는 [-6, 6]이고, 이는 13개의 오프셋을 산출한다. 선택적 분류기 C1s는 오프셋 시그널링 오버헤드와 분류 그래뉼래러티 사이에서 절충할 수 있는 더 많은 선택을 인코더에 제공한다.
C1s와 유사하게, 변형(C1's)은 비교 점수 [0, +N]만을 카운트하고, 이전의 비트마스크 01111110 예는 [0, 6]에서 비교 점수를 제공하며, 이는 7개의 오프셋을 산출한다.
일부 실시예에서, 일반적인 분류기를 생성하기 위해 서로 다른 분류기가 조합된다. 예를 들어, 서로 다른 픽처(서로 다른 POC 값)에 대해, 아래 표 6과 같이 서로 다른 분류기가 적용된다.
| POC | 분류기 | C0 band_num | 총 클래스 |
| 0 | C0과 C1을 조합 | 16 | 16*17 |
| 1 | C0과 C1'를 조합 | 16 | 16*9 |
| 2 | C0과 C1을 조합 | 7 | 7*17 |
일부 실시예에서, 다른 분류기 예(C3)는 표 7에 도시된 바와 같이 분류를 위해 비트마스크를 사용하고 있다. 분류기를 지시하기 위해, 10비트 비트마스크가 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 시그널링된다. 예를 들어, 비트마스크 11 1100 0000은, 주어진 10비트 루마 샘플 값에 대해, 최상위 비트(most significant bit, MSB): 4비트가 분류에 사용되면서 또한 총 16개의 클래스를 생성함을 의미한다. 또 다른 예인 비트마스크 10 0100 0001은 3비트만 분류에 사용되면서 또한 총 8개의 클래스를 생성함을 의미한다.
일부 실시예에서, 비트마스크 길이(N)는 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 고정되거나 전환될 수 있다. 예를 들어, 10비트 시퀀스의 경우, 4비트 비트마스크 1110은 픽처에서 PH로 시그널링되고, MSB 3비트 b9, b8, b7은 분류에 사용된다. 또 다른 예는 LSB의 4비트 비트마스크 0011이고, b0, b1이 분류에 사용된다. 비트마스크 분류기는 루마 또는 크로마 분류에 적용할 수 있다. 비트마스크 N에 대해 MSB 또는 LSB를 사용할지 여부는 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 고정되거나 전환될 수 있다.
일부 실시예에서, 루마 위치 및 C3 비트마스크는 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 조합 및 전환될 수 있다. 서로 다른 조합은 서로 다른 분류기일 수 있다.
일부 실시예에서, 대응하는 오프셋 수를 제한하기 위해 비트마스크 제한(restriction)의 "1의 최대 수(max number of 1s)"가 적용될 수 있다. 예를 들어 SPS에서 비트마스크의 "1의 최대 수"를 4로 제한하면, 시퀀스의 최대 오프셋이 16이 된다. 서로 다른 POC의 비트마스크는 서로 다를 수 있지만, "1의 최대 수"는 4를 초과할 수 없다(총 클래스는 16을 초과할 수 없음). "1의 최대 수" 값은 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플레벨에서 시그널링 및 전환될 수 있다.
| POC | 분류기 | C3 10비트 비트마스크 | 총 클래스 |
| 0 | Y0 위치를 사용하는 C3 | 11 1100 0000 | 16 |
| 루마 샘플 값 | 클래스 인덱스 | ||
| 00 0000 1111 | 0 (0000) | ||
| 10 1011 0011 | 9 (1010) | ||
| 11 1100 1001 | 15 (1111) | ||
| POC | 분류기 | C3 10비트 비트마스크 | 총 클래스 |
| 1 | Y4 위치를 사용하는 C3 | 10 0100 0001 | 8 |
| 루마 샘플 값 | 클래스 인덱스 | ||
| 00 0000 1111 | 1 (001) | ||
| 10 1011 0011 | 5 (101) | ||
| 11 1100 1001 | 7 (111) |
일부 실시예에서, 도 11에 도시된 바와 같이, 다른 교차 컴포넌트 크로마 샘플, 예를 들어 크로마 샘플(1102) 및 그의 인접한 샘플은 예를 들어, 현재 크로마 샘플(1104)에 대해 CCSAO 분류에 공급될 수도 있다. 예를 들어, Cr 크로마 샘플은 CCSAO Cb 분류에 공급될 수 있다. Cb 크로마 샘플은 CCSAO Cr 분류에 공급될 수 있다. 교차 컴포넌트 크로마 샘플의 분류기는 본 개시에 설명된 바와 같이, 루마 교차 컴포넌트 분류기와 동일하거나, 자체 분류기를 가질 수 있다. 2개의 분류기를 조합하여 현재 크로마 샘플을 분류하는 공동(joint) 분류기를 형성할 수 있다. 예를 들어 교차 컴포넌트 루마 및 크로마 샘플을 조합하는 공동 분류기는 아래 표 8에 나타낸 바와 같이 총 16개의 클래스를 생성한다.
| POC | 분류기 | 클래스 | 총 클래스 | |
| 0 | 조합 | |||
| Y4 위치를 사용하는 C3 | 비트마스크: 1001000001 | 8 | ||
| 교차 크로마 병치된 위치를 사용하는 C0 | C0 band_num:2 | 2 | ||
| 16 |
위에 언급된 모든 분류기(C0, C1, C1', C2, C3)는 조합될 수 있다. 예를 들어 아래 표 9를 참조한다.
| POC | 분류기 | 총 클래스 | ||
| 0 | C0, C1 및 C2를 조합 | C0 band_num: 4 | C2 band_num: 4 | 4*17*4 |
| 1 | C0, C1' 및 C2를 조합 | C0 band_num: 6 | C2 band_num: 4 | 6*9*4 |
| 2 | C1과 C3를 조합 | C3 Number of 1s: 4 | 16*17 |
일부 실시예에서, 분류기 예(C2)는 병치된 및 인접한 루마 샘플의 차이(Yn)를 사용한다. 도 12의 (c)는 비트 심도가 10일 때 [-1024, 1023]의 동적 범위를 갖는, Yn의 예를 도시한다. C2 band_num을 Yn 동적 범위의 균일하게 나눠진 대역의 수라고 하고,
Class (C2) = (Yn + (1 << bit_depth) * band_num) >> (bit_depth + 1)
일부 실시예에서, C0 및 C2는 일반 분류기를 산출하기 위해 조합된다. 예를 들어, 서로 다른 픽처(서로 다른 POC)에 대해, 아래 표 10에 나타낸 바와 같이 서로 다른 분류기가 적용된다.
| POC | 분류기 | C0 band_num | C2 band_num | 총 클래스 |
| 0 | C0 및 C2를 조합 | 16 | 16 | 16*17 |
| 1 | C0 및 C2를 조합 | 8 | 7 | 8*7 |
일부 실시예에서, 위에서 언급된 모든 분류기(C0, C1, C1', C2)가 조합된다. 예를 들어, 서로 다른 픽처(서로 다른 POC)에 대해, 아래 표 11과 같이 서로 다른 분류기가 적용된다.
| POC | 분류기 | C0 band_num | C2 band_num | 총 클래스 |
| 0 | C0, C1 및 C2를 조합 | 4 | 4 | 4*17*4 |
| 1 | C0, C1' 및 C2를 조합 | 6 | 4 | 6*9*4 |
일부 실시예에서, 분류기 예(C4)는 아래의 표 12에 나타낸 바와 같이 분류를 위해, CCSAO 입력 값과 보상될 샘플 값의 차이를 사용한다. 예를 들어, CCSAO가 ALF 스테이지에서 적용되면, 현재 컴포넌트 pre-ALF 샘플 값과 post-ALF 샘플 값의 차이가 분류에 사용된다. 하나 이상의 임계값을 미리 정의하거나(예: LUT(look up table)에 보관됨), SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플레벨에서 시그널링되어, 차이를 분류(양자화)하는 데 도움이 될 수 있다. C4 분류기는 C0 Y/U/V bandNum과 조합하여 공동 분류기를 형성할 수 있다(예를 들어, 표 12에 나타낸 POC1 예).
| POC | 분류기 | 차이 임계값(Th) | bandNum | 총 클래스 |
| 0 | diff를 갖는 C4<-Th? <0? <Th? 그 외 | Th=3 | 4 | |
| 1 | Y0를 사용하는 C4/C0를 조합 | Th=3 | 16 | 48 |
| 2 | diff를 갖는 C4 <Th1? <Th2? 그 외 | Th1=4, Th2=5 | 3 | |
| 3 | diff를 갖는 C4<-Th? <Th? 그 외 | Th=1 | 3 |
일부 실시예에서, 분류기 예(C5)는 서로 다른 코딩 모드가 재구성 이미지에서 서로 다른 왜곡 통계를 도입할 수 있기 때문에, 서브블록 분류를 돕기 위해 "코딩 정보"를 사용한다. CCSAO 샘플은 샘플 이전 코딩 정보에 의해 분류되며, 코딩 정보의 조합은 예를 들어 아래의 표 13에 나타낸 바와 같이 분류기를 형성할 수 있다. 아래의 도 30은 C5에 대한 코딩 정보의 서로 다른 단계의 다른 예를 도시한다.
| POC | 0 | |||
| Comp | Y | U | V | |
| 세트 | 0 | 1 | 0 | 0 |
| Pred info | 3: 인터/인트라/그 외 | 2: 스킵? | 2: 인트라 상속 루마? | 2: CCLM? |
| 변환 info | 2: LFNST? | 2: MTS? | 2: (로컬) 이중 트리? | 2: CTB> 32x32? |
| quant info | 2: dep quant? | 2: dep quant odd? | 3: CU QP >37/27? | 2: 슬라이스 QP < 27? |
| 잔차 코딩 info | 2: 모든 res 0? | 3: 모든 res > 2/3/ow | 3: JCCR 부호 = 1/1/ow | CCP 사용됨? |
| LMCS info | 2: LMCS 적용됨? | 3: map slope >0.5/0.7? | 2: CRS가 적용됨? | 2: CRS가 적용됨? |
| DBF info | 2: 긴 탭 DBF가 사용됨 | 3: 인터/인트라 bdry/ow | 3: DBF H/Vow? | 2: tC 값 !=0? |
| SAO info | 2: BO임? | 3: EO/BO/ow | 5: 4 EO 유형/ow | 2: BO가 대역 0부터 시작? |
| ALF info | 2: 시간적 (APS)가 선택됨? | 4: 전치(transpose) idx | 2: CCALF 적용됨? | 2: 임의의 1 coeff = 0? |
| 오프셋 num | 384 | 1728 | 1080 | 256 |
일부 실시예에서, 분류기 예(C6)는 분류를 위해 YUV 색상 변환된 값을 사용한다. 예를 들어, 현재 Y 컴포넌트를 분류하기 위해, 1/1/1개의 병치된 또는 인접한 Y/U/V 샘플을 선택하여 RGB로 색상 변환되며, C3 bandNum을 사용하여 R 값을 현재 Y 컴포넌트 분류기로 양자화한다.
일부 실시예에서, 현재 컴포넌트 분류를 위해 현재 컴포넌트 정보만을 사용하는 다른 분류기 예가 교차 컴포넌트 분류로서 사용될 수 있다. 예를 들어, 도 5 및 표 1에 도시된 바와 같이, 루마 샘플 정보와 eo-class가 EdgeIdx를 도출하고 현재 크로마 샘플을 분류하는 데 사용된다. 교차 컴포넌트 분류기로도 사용될 수 있는 다른 "비교차 컴포넌트(non-cross-component)" 분류기는 에지 방향, 픽셀 강도, 픽셀 변형, 픽셀 분산(variance), 라플라시안 픽셀 합계(pixel sum-of-Laplacian), 소벨 연산자(sobel operator), 컴퍼스(compass) 연산자, 고역 필터링된 값, 저역 필터링된 값 등을 포함한다.
일부 실시예에서, 복수의 분류기가 동일한 POC에서 사용된다. 현재 프레임은 여러 영역으로 나뉘며, 각 영역은 동일한 분류기를 사용한다. 예를 들어, 3개의 서로 다른 분류기가 POC0에 사용되고, 어떤 분류기(0, 1, 2)가 사용되는지는 아래 표 9에 나타낸 바와 같이 CTU 레벨에서 시그널링된다.
| POC | 분류기 | C0 band_num | 영역 |
| 0 | Y0 위치를 사용하는 C0 | 16 | 0 |
| 0 | Y0 를 사용하는 C0 | 8 | 1 |
| 0 | Y1 위치를 사용하는 C0 | 8 | 2 |
일부 실시예에서, 복수의 분류기(복수의 분류기는 대체 오프셋 세트라고도 불릴 수 있음)의 최대 수는 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 고정되거나 시그널링될 수 있다. 일 예에서, 고정된(사전 정의된) 복수 분류기의 최대 수는 4이다. 이 경우, 4개의 서로 다른 분류기가 POC0에 사용되고, 어떤 분류기(0, 1, 2)가 사용되는지가 CTU 레벨에서 시그널링된다. TU(Truncated-unary) 코드는 각 루마 또는 크로마 CTB에 사용되는 분류기를 지시하는 데 사용될 수 있다. 예를 들어, 아래 표 10에 나타낸 바와 같이, TU 코드가 0일 때: CCSAO가 적용되지 않으며; TU 코드가 10일 때: 세트 0이 적용되고; TU 코드가 110일 때: 세트 1이 적용되며; TU 코드가 1110일 때: 세트 2가 적용되고; TU 코드가 1111일 때: 세트 3이 적용된다. 고정 길이 코드, 골롬-라이스 코드(golomb-rice code), 지수-골롬 코드는 CTB에 대한 분류기(오프셋 세트 인덱스)를 지시하는 데 사용될 수도 있다. 3개의 분류기가 POC1에 사용된다.
| POC | 분류기 | C0 band_num | 영역 | TU 코드 |
| 0 | Y3 위치를 사용하는 C0 | 6 | 0 | 10 |
| 0 | Y3 위치를 사용하는 C0 | 7 | 1 | 110 |
| 0 | Y1 위치를 사용하는 C0 | 3 | 2 | 1110 |
| 0 | Y6 위치를 사용하는 C0 | 6 | 3 | 1111 |
| 1 | Y0 위치를 사용하는 C0 | 16 | 0 | 10 |
| 1 | Y0 위치를 사용하는 C0 | 8 | 1 | 110 |
| 1 | Y1 위치를 사용하는 C0 | 8 | 2 | 1110 |
Cb 및 Cr CTB 오프셋 세트 인덱스의 예가 1280×720 시퀀스 POC0(CTU 크기가 128×128이면 프레임의 CTU의 수는 10×6임)에 대해 제공된다. POC0 Cb는 4개의 오프셋 세트를 사용하고 Cr은 1개의 오프셋 세트를 사용한다. 아래 표 16에 나타낸 바와 같이, 오프셋 세트 인덱스가 0일 때: CCSAO가 적용되지 않으며; 오프셋 세트 인덱스가 1일 때: 세트 0이 적용되고; 오프셋 세트 인덱스가 2일 때: 세트 1이 적용되며; 오프셋 세트 인덱스가 3일 때: 세트 2가 적용되고; 오프셋 세트 인덱스가 4일 때: 세트 3이 적용된다. 유형은 선택한 병치된 루마 샘플(Yi)의 위치를 의미한다. 서로 다른 오프셋 세트는 서로 다른 유형, band_num, 및 대응하는 오프셋을 가질 수 있다.
일부 실시예에서, 분류를 위해 병치된/현재 및 인접한 Y/U/V 샘플을 함께 사용하는 예가 아래의 표 17에 나열되어 있다(각 Y/U/V 컴포넌트에 대해 3 컴포넌트 공동 bandNum 분류). POC0에서, {2,4,1} 오프셋 세트는 각각 {Y, U, V}에 사용된다. 각 오프셋 세트는 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 적응적으로 전환될 수 있다. 서로 다른 오프셋 세트는 서로 다른 분류기를 가질 수 있다. 예를 들어, 도 6a 및 도 6b에서 지시하는 후보 위치(candPos)와 같이, 현재 Y4 루마 샘플을 분류하기 위해, Y set0은 각각, 서로 다른 bandNum {Y, U, V} = {16,1,2}를 갖는, {현재 Y4, 병치된 U4, 병치된 V4}를 후보로서 선택한다. 선택된 {Y, U, V} 후보의 샘플 값으로 {candY, candU, candV}를 사용하면, 총 클래스 수는 32이며, 클래스 인덱스 도출는 다음과 같이 나타낼 수 있다:
bandY = (candY * bandNumY) >> BitDepth;
bandU = (candU * bandNumU) >> BitDepth;
bandV = (candV * bandNumV) >> BitDepth;
classIdx = bandY * bandNumU * bandNumV
+ bandU * bandNumV
+ bandV;
또 다른 예는 POC1 컴포넌트 V set1 분류이다. 이 예에서, bandNum = {4,1,2}인 candPos = {인접한 Y8, 인접한 U3, 인접한 V0}가 사용되며, 이는 8개의 클래스를 생성한다.
일부 실시예에서, 현재 Y/U/V 샘플 분류를 위해, 병치된 및 인접한 Y/U/V 샘플을 공동으로 사용하는 예가, 예를 들어 아래의 표 19에 나타낸 바와 같이 나열된다(각 Y/U/V 컴포넌트에 대해 3 컴포넌트 공동 edgeNum (C1s) 및 bandNum 분류). Edge CandPos는 C1s 분류기에 사용되는 중앙 위치(centered position)이고, edge bitMask는 C1s 인접한 샘플 활성화 지시자(activation indicator)이며, edgeNum은 대응하는 C1s 클래스의 수이다. 이 예에서, C1s는 에지 candPos가 항상 Y4(현재/병치된 샘플 위치)인 Y 분류기에만 적용된다(따라서 edgeNum은 edgeNumY와 같음). 그러나 C1s는 에지 candPos가 인접한 샘플 위치로 있는 Y/U/V 분류기에 적용될 수 있다.
Y C1s의 비교 점수를 나타내는 diff를 사용하여, classIdx 도출은 다음과 같을 수 있다:
bandY = (candY * bandNumY) >> BitDepth;
bandU = (candU * bandNumU) >> BitDepth;
bandV = (candV * bandNumV) >> BitDepth;
edgeIdx = diff + (edgeNum >> 1);
bandIdx = bandY * bandNumU * bandNumV
+ bandU * bandNumV
+ bandV;
classIdx = bandIdx * edgeNum + edgeIdx;
| POC | 0 | |||
| 현재 컴포넌트 | Y | U | ||
| 세트 | 0 | 1 | 2 | 0 |
| 에지 candPos(y) | (Y4) | (Y4) | (Y4) | (Y4) |
| 에지 비트마스크(Y) | 10000001 | 00010000 | 01111110 | 10000000 |
| edgeNum | 5, [-2,2] | 3, [-1,1] | 13, [-6,6] | 3, [-1,1] |
| 대역 candPos(Y,U,V) | (Y4, U4, V4) | (Y4, U0, V2) | (Y4, U1, V2) | (Y8, U3, V0) |
| bandNum(Y,U,V) | (16, 1, 2) | (15, 4, 1) | (2, 1, 1) | (1, 1, 2) |
| 총 클래스 | 5*16*1*2=160 | 3*15*4*1=180 | 13*2*1*1*=26 | 3*1*1*1*2=6 |
| 시그널링된 오프셋 | 160개의 오프셋 값: (3, 3, 2, -1,…) | 180개의 오프셋 값 | 26개의 오프셋 값 | 6개의 오프셋 값 |
| 저장된 세트 Idx | 0 | 1 | 2 | 0 |
| 컴포넌트 | Y | Y | Y | U |
| POC | 1 | ||||
| 현재 컴포넌트 | V | Y | |||
| 세트 | 1 | 2 | 3 | 0 | 0 |
| 에지 candPos(y) | (Y4) | (Y4) | (Y4) | (Y4) | 재사용 |
| 에지 비트마스크(Y) | 00000000 | 00000000 | 10000001 | 00000000 | 재사용 |
| edgeNum | 1, [0] | 1, [0] | 5, [-2,2] | 1, [0] | 재사용 |
| 대역 candPos(Y,U,V) | (Y4, U1, V0) | (Y6, U6, V6) | (Y2, U0, V5) | (Y2, U0, V5) | 재사용 |
| bandNum(Y,U,V) | (15, 2, 2) | (4, 1, 1) | (1, 1, 1) | (1, 1, 1) | 재사용 |
| 총 클래스 | 60 | 4 | 1 | 1 | 160 |
| 시그널링된 오프셋 | 60개의 오프셋 값 | 4개의 오프셋 값: (1, 2, 0, 1) | 1개의 오프셋 값 | 1개의 오프셋 값 | 신호 idxY = 0, 재사용 params & 오프셋 (3, 3, 2, -1, …) |
| 저장된 세트 idx | 1 | 2 | 3 | 0 | |
| 컴포넌트 | U | U | U | V | Y |
| POC | ||||
| 현재 컴포넌트 | U | V | ||
| 세트 | 1 | 0 | 0 | 1 |
| 에지 candPos(y) | (Y4) | 재사용 | (Y4) | (Y4) |
| 에지 비트마스크(Y) | 11111111 | 재사용 | 00000000 | 00000000 |
| edgeNum | 17, [-8,8] | 재사용 | 1, [0] | 1, [0] |
| 대역 candPos(Y,U,V) | (Y4, U1, V2) | 재사용 | (Y8, U3, V0) | (Y8, U3, V0) |
| bandNum(Y,U,V) | (4, 1, 1) | 재사용 | (1, 1, 2) | (4, 1, 2) |
| 총 클래스 | 17*4*1*1=68 | 4 | 2 | 8 |
| 시그널링된 오프셋 | 68개의 오프셋 값 | 신호 idxU = 2, 재사용 params & 오프셋(1, 2, 0, 1) | 2개의 오프셋 값 | 8개의 오프셋 값 |
| 저장된 세트 idx | 3 | |||
| 컴포넌트 | Y | U | V | V |
일부 실시예에서, 최대 band_num(bandNumY, bandNumU, 또는 bandNumV)은 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 고정되거나 시그널링될 수 있다. 예를 들어, 디코더에서 max band_num=16으로 고정하고, 각 프레임에 대해 4비트가 시그널링되어 프레임에서 C0 band_num을 지시한다. 일부 다른 최대 band_num 예는 아래 표 21에 나열되어 있다.
| Band_num_min | Band_num_max | Band_num bit |
| 1 | 1 | 0 |
| 1 | 2 | 1 |
| 1 | 4 | 2 |
| 1 | 8 | 3 |
| 1 | 16 | 4 |
| 1 | 32 | 5 |
| 1 | 64 | 6 |
| 1 | 128 | 7 |
| 1 | 256 | 8 |
일부 실시예에서, 각 세트(또는 추가된 모든 세트)에 대해 클래스 또는 오프셋의 최대 수(다수의 분류기를 공동으로 사용하는 조합, 예를 들어, C1s edgeNum * C1 bandNumY * bandNumU * bandNumV)는 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 고정되거나 시그널링될 수 있다. 예를 들어 class_num=256*4가 추가된 모든 세트에 대해 최대값이 고정되고, 인코더 적합성 검사(encoder conformance check) 또는 디코더 규범 검사(decoder normative check)를 사용하여 제약을 검사할 수 있다.
일부 실시예에서, 제한이 C0 분류에 적용될 수 있으며, 예를 들어 band_num(bandNumY, bandNumU, 또는 bandNumV)이 2 값의 거듭제곱만 되도록 제한한다. band_num을 명시적으로 시그널링하는 대신에, band_num_shift 신택스가 시그널링된다. 디코더는 곱셈을 피하기 위해 시프트 연산을 사용할 수 있다. 서로 다른 컴포넌트에 대해 서로 다른 band_num_shift를 사용할 수 있다.
Class (C0) = (Y0 >> band_num_shift) >> bit_depth
또 다른 작동 예는 에러를 줄이기 위해 반올림을 고려하는 것이다.
Class (C0) = ((Y0 + (1 << (band_num_shift - 1))) >> band_num_shift) >> bit_depth
예를 들어, band_num_max(Y, U 또는 V)가 16이면, 가능한 band_num_shift 후보는 표 22에 나타낸 바와 같이 band_num = 1, 2, 4, 8, 16에 대응하는 0, 1, 2, 3, 4이다.
일부 실시예에서, Cb 및 Cr에 적용되는 분류기는 상이하다. 모든 클래스에 대한 Cb 및 Cr 오프셋은 별도로 시그널링될 수 있다. 예를 들어, 아래의 표 23에 나타낸 바와 같이, 서로 다른 시그널링된 오프셋이 서로 다른 크로마 컴포넌트에 적용된다.
| POC | 컴포넌트 | 분류기 | C0 band_num | 총 클래스 | 시그널링된 오프셋 |
| 0 | Cb | C0 | 16 | 16 | 16 |
| 0 | Cr | C0 | 5 | 5 | 5 |
일부 실시예에서, 최대 오프셋 값은 SPS(Sequence Parameter Set)/APS(Adaptation parameter set)/PPS(Picture parameter set)/PH(Picture header)/SH(Slice header)/영역/CTU/CU/서브 블록/샘플 레벨에서 고정되거나 시그널링된다. 예를 들어, 최대 오프셋은 [-15, 15] 사이이다. 서로 다른 컴포넌트는 서로 다른 최대 오프셋 값을 가질 수 있다.
일부 실시예에서, 오프셋 시그널링은 DPCM(Differential Pulse-Code Modulation)을 사용할 수 있다. 예를 들어, 오프셋 {3, 3, 2, 1, -1}은 {3, 0, -1, -1, -2}로 시그널링될 수 있다.
일부 실시예에서, 오프셋은 다음 픽처/슬라이스 재사용을 위해 APS 또는 메모리 버퍼에 저장될 수 있다. 어떤 저장된 이전 프레임 오프셋이 현재 픽처에 대해 사용되는지를 지시하기 위해 인덱스가 시그널링될 수 있다.
일부 실시예에서, Cb 및 Cr의 분류기가 동일하다. 모든 클래스에 대한 Cb 및 Cr 오프셋은 예를 들어 아래 표 24에 나타낸 바와 같이 공동으로 시그널링될 수 있다.
| POC | 컴포넌트 | 분류기 | C0 band_num | 총 클래스 | 시그널링된 오프셋 |
| 0 | Cb 및 Cr | C0 | 8 | 8 | 8 |
일부 실시예에서, Cb 및 Cr의 분류기는 동일할 수 있다. 모든 클래스에 대한 Cb 및 Cr 오프셋은 예를 들어 아래 표 25에 나타낸 바와 같이 부호 플래그 차이(sign flag difference)와 함께 공동으로 시그널링될 수 있다. 표 25에 따르면, Cb 오프셋이 (3, 3, 2, -1)일 때, 도출된 Cr 오프셋은 (-3, -3, -2, 1)이다.
| POC | 컴포넌트 | 분류기 | C0 band_num | 총 클래스 | 시그널링된 오프셋 | 시그널링된 부호 플래그 |
| 0 | Cb 및 Cr | C0 | 4 | 4 | 4: (3, 3, 2, -1) | 1: (-) |
일부 실시예에서, 부호 플래그는 각각의 클래스에 대해 시그널링될 수 있으며, 예를 들어, 아래 표 26에 나와 있다. 표 26에 따르면, Cb 오프셋이 (3, 3, 2, -1)일 때, 도출된 Cr 오프셋은 개개의 서명된 플래그(signed flag)에 따라 (-3, 3, 2, 1)이다.
| POC | 컴포넌트 | 분류기 | C0 band_num | 총 클래스 | 시그널링된 오프셋 | 시그널링된 부호 플래그 |
| 0 | Cb 및 Cr | C0 | 4 | 4 | 4: (3, 3, 2, -1) | 1: (-, +, +, -) |
일부 실시예에서, Cb 및 Cr의 분류기는 동일할 수 있다. 모든 클래스에 대한 Cb 및 Cr 오프셋은 예를 들어 아래 표 27에 나타낸 바와 같이, 가중치 차이와 함께 공동으로 시그널링될 수 있다. 가중치(w)는 한정된 테이블에서 선택할 수 있으며, 예를 들어, +-1/4, +-1/2, 0, +-1, +-2, +-4, … 등이며, |w|는 2의 거듭제곱 값만 포함한다. 표 27에 따르면, Cb 오프셋이 (3, 3, 2, -1)일 때, 도출된 Cr 오프셋은 개개의 서명된 플래그에 따라 (-6, -6, -4, 2)이다.
| POC | 컴포넌트 | 분류기 | C0 band_num | 총 클래스 | 시그널링된 오프셋 | 시그널링된 가중치 |
| 0 | Cb 및 Cr | C0 | 4 | 4 | 4: (3, 3, 2, -1) | -2 |
일부 실시예에서, 가중치는 각각의 클래스에 대해 시그널링될 수 있으며, 예를 들어, 아래 표 28에 나와 있다. 표 28에 따르면, Cb 오프셋이 (3, 3, 2, -1)일 때, 도출된 Cr 오프셋은 개개의 서명된 플래그에 따라 (-6, 12, 0, -1)이다.
| POC | 컴포넌트 | 분류기 | C0 band_num | 총 클래스 | 시그널링된 오프셋 | 시그널링된 가중치 |
| 0 | Cb 및 Cr | C0 | 4 | 4 | 4: (3, 3, 2, -1) | 4: (-2, 4, 0, 1) |
일부 실시예에서, 복수의 분류기가 동일한 POC에서 사용되면, 서로 다른 오프셋 세트가 개별적으로 또는 공동으로 시그널링된다.
일부 실시예에서, 이전에 디코딩된 오프셋은 향후 프레임의 사용을 위해 저장될 수 있다. 오프셋 시그널링 오버헤드를 줄이기 위해, 어떤 이전에 디코딩된 오프셋 세트가 현재 프레임에 사용되는지를 지시하기 위해 인덱스가 시그널링될 수 있다. 예를 들어, POC0 오프셋은 아래 표 29에 나타낸 바와 같이, 시그널링 오프셋세트 idx = 0를 갖는 POC2에 의해 재사용될 수 있다.
| POC | 컴포넌트 | 분류기 | C0 band_num | 총 클래스 | 시그널링된 오프셋 | 저장된 오프셋 세트 idx |
| 0 | Cb | C0 | 4 | 4 | 4: (3, 3, 2, -1) | 0 |
| 0 | Cr | C0 | 4 | 4 | 4: (-2, 1, 0, 1) | 0 |
| 1 | Cb | C0 | 4 | 4 | 4: (0, 0, 1, -1) | 1 |
| 1 | Cr | C0 | 4 | 4 | 4: (1, 2, 0, 1) | 1 |
| 2 | Cb | C0 | 4 | 4 | 재사용 오프셋(3, 3, 2, -1) | 신호 idx=0 |
| 2 | Cr | C0 | 4 | 4 | 재사용 오프셋(-2, 1, 0, 1) | 신호 idx=0 |
일부 실시예에서, Cb 및 Cr에 대한 재사용 오프셋 세트 idx는 예를 들어 아래의 표 30에 나타낸 바와 같이 상이할 수 있다.
| POC | 컴포넌트 | 분류기 | C0 band_num | 총 클래스 | 시그널링된 오프셋 | 저장된 오프셋 세트 idx |
| 0 | Cb | C0 | 4 | 4 | 4: (3, 3, 2, -1) | 0 |
| 0 | Cr | C0 | 4 | 4 | 4: (-2, 1, 0, 1) | 0 |
| 1 | Cb | C0 | 4 | 4 | 4: (0, 0, 1, -1) | 1 |
| 1 | Cr | C0 | 4 | 4 | 4: (1, 2, 0, 1) | 1 |
| 2 | Cb | C0 | 4 | 4 | 재사용 오프셋(3, 3, 2, -1) | 신호 idx=0 |
| 2 | Cr | C0 | 4 | 4 | 재사용 오프셋(1, 2, 0, 1) | 신호 idx=1 |
일부 실시예에서, 오프셋 시그널링은 시그널링 오버헤드를 줄이기 위해, 시작 및 길이를 포함하는 추가 신택스를 사용할 수 있다. 예를 들어 band_num=256일 때, band_idx=37~44의 오프셋만 시그널링한다. 표 31의 아래 예에서, 시작 및 길이의 신택스 모두는 band_num 비트와 매칭되어야 하는 8비트 고정 길이 코딩된다.
일부 실시예에서, CCSAO가 모든 YUV 3개의 컴포넌트에 적용되면, 병치된 및 인접한 YUV 샘플이 분류를 위해 공동으로 사용될 수 있으며, Cb/Cr에 대한 모든 전술한 오프셋 시그널링 방법이 Y/Cb/Cr로 확장될 수 있다. 일부 실시예에서, 서로 다른 컴포넌트 오프셋 세트는 개별적으로(각 컴포넌트는 자체 저장된 세트를 가짐) 또는 공동으로(각 컴포넌트는 저장된 동일한 것을 공유/재사용함) 저장 및 사용될 수 있다. 별도의 세트 예가 아래 표 32에 나와 있다.
| POC | 현재 컴포넌트 | 오프셋 세트 | 분류기: bandNum (Y, U, V)를 갖는 candPos(Y, U, V) | 총 클래스 (오프셋 수) | 시그널링된 오프셋 | 저장된 오프셋 세트 idx | |
| 0 | Y | 0 | (Y4, U4, V4), (16, 1,2) | 16*1*2=32 | 32개의 오프셋 값 (3, 3, 2, 1, …) | 0 | Y |
| 1 | (Y4, U0, V2), (14, 4,1) | 15*4*1=60 | 60개의 오프셋 값 | 0 | Y | ||
| U | 0 | (Y8, U3, V0), (1,1,2) | 2 | 2개의 오프셋 값 | 0 | U | |
| 1 | (Y4, U1, V0), (15,2,2) | 60 | 60개의 오프셋 값 | 1 | U | ||
| 2 | (Y6, U6, V6), (4,1,1) | 4 | 4개의 오프셋 값 | 2 | U | ||
| 3 | (Y2, U0, V5), (1,1,1) | 1 | 1개의 오프셋 값 | 3 | U | ||
| V | 0 | (Y2, U0, V5), (1,1,1) | 1 | 1개의 오프셋 값 | 0 | V | |
| 1 | Y | 0 | 오프셋 세트 idx 0에 저장된 재사용 Y | 32 | 신호 idx = 0 및 재사용 오프셋(3, 3, 2, -1, …) | Y | |
| U | 0 | 오프셋 세트 idx 2에 저장된 재사용 Y | 4 | 신호 idx = 2 및 재사용 오프셋(1, 2, 0, 1) | U | ||
| V | 0 | (Y8, U3, V0), (1,1,2) | 2 | 2개의 오프셋 값 | V | ||
| 1 | (Y8, U3, V0), (4,1,2) | 8 | 8개의 오프셋 값 | V |
일부 실시예에서, 시퀀스 비트 심도가 10(또는 특정 비트 심도)보다 높으면, 오프셋은 시그널링 전에 양자화될 수 있다. 디코더 측에서, 디코딩된 오프셋은 아래 표 33에 나타낸 바와 같이 적용하기 전에 역양자화된다. 예를 들어, 12비트 시퀀스의 경우, 디코딩된 오프셋은 좌측으로 2만큼 시프트(역양자화)된다.
| 시그널링된 오프셋 | 역양자화되고 적용된 오프셋 |
| 0 | 0 |
| 1 | 4 |
| 2 | 8 |
| 3 | 12 |
| … | |
| 14 | 56 |
| 15 | 60 |
일부 실시예에서, 오프셋은 CcSaoOffsetVal=( 1 - 2 * ccsao_offset_sign_flag ) * (ccsao_offset_abs << ( BitDepth - Min( 10, BitDepth ) ) )로 계산될 수 있다.
일부 실시 예에서, 샘플 처리는 아래에서 설명된다. R(x, y)는 CCSAO 이전의 입력 루마 또는 크로마 샘플 값이고, R'(x, y)는 CCSAO 이후의 출력 루마 또는 크로마 샘플 값이라고 하자:
offset = ccsao_offset [class_index of R(x, y)]
R'(x, y) = Clip3( 0, (1 << bit_depth) - 1, R(x, y) + offset )
위의 수식에 따르면, 각각의 루마 또는 크로마 샘플 값 R(x, y)는 현재 픽처 및/또는 현재 오프셋 세트 idx의 지시된 분류기를 사용하여 분류된다. 도출된 클래스 인덱스의 대응하는 오프셋이 각 루마 또는 크로마 샘플 값 R(x, y)에 추가된다. 클립 함수 Clip 3이 (R(x, y) + offset)에 적용되어, 출력 루마 또는 크로마 샘플 값 R'(x, y)이 비트 심도 동적 범위, 예를 들어, 범위 0 ~ (1 << bit_depth) - 1 내에 있도록 한다.
일부 실시예에서, 경계 처리가 아래에 설명된다. 분류에 사용된 병치된 및 인접한 루마(크로마) 샘플이 현재 픽처 외부에 있으면, CCSAO가 현재 크로마(루마) 샘플에 적용되지 않는다. 도 13a는 본 개시의 일부 구현에 따른, 분류를 위해 사용된 임의의 병치된 및 인접한 루마(크로마) 샘플이 현재 픽처 외부에 있으면, CCSAO가 현재 크로마(루마) 샘플에 적용되지 않는 것을 예시하는 블록도이다. 예를 들어, 도 13a의 (a)에서, 분류기를 사용하면, 현재 픽처의 좌측 1열 크로마 컴포넌트에 CCSAO를 적용하지 않는다. 예를 들어, C1'을 사용하면, 도 13a의 (b)에 도시된 바와 같이, 현재 픽처의 좌측 1열 및 상단 1행 크로마 컴포넌트에 CCSAO가 적용되지 않는다.
도 13b는 본 개시의 일부 구현에 따른, 분류를 위해 사용되는 병치된 및 인접한 루마 또는 크로마 샘플 중 임의의 것이 현재 픽처 외부에 있으면, CCSAO가 현재 루마 또는 크로마 샘플에 적용되는 것을 예시하는 블록도이다. 일부 실시예에서, 변형은, 분류를 위해 사용되는 병치된 및 인접한 루마 또는 크로마 샘플 중 임의의 것이 현재 픽처 외부에 있으면, 누락된(missed) 샘플이 도 13b의 (a)에 도시된 바와 같이 반복적으로 사용되거나, 도 13b의 (b)에 도시된 바와 같이 분류를 위한 샘플을 생성하기 위해 누락된 샘플이 미러 패딩되며, CCSAO가 현재 루마 또는 크로마 샘플에 적용될 수 있는 것이다. 일부 실시예에서, 여기에 개시된 디스에이블/반복/미러 픽처 경계 처리 방법은 또한, 분류를 위해 사용되는 병치된 및 인접한 루마(크로마) 샘플 중 임의의 것이 현재 픽처 서브픽처/슬라이스/타일/패치/CTU/360 가상 경계 외부에 있으면, 서브픽처/슬라이스/타일/CTU/360 가상 경계에 적용될 수 있다.
예를 들어, 픽처는 하나 이상의 타일 행과 하나 이상의 타일 열로 나뉜다. 타일은 픽처의 직사각형 영역을 커버하는 CTU의 시퀀스이다.
슬라이스는 픽처의 타일 내에서 정수개의 완전한 타일 또는 정수개의 연속적인 완전한 CTU 행으로 구성된다.
서브픽처는 픽처의 직사각형 영역을 집합적으로 커버하는 하나 이상의 슬라이스를 포함한다.
일부 실시예에서, 360도 비디오는 구체에서 캡처되고 본질적으로 "경계"가 없으며, 투영된 도메인에서 참조 픽처의 경계 밖에 있는 참조 샘플은 항상 구형 도메인(spherical domain)에서 인접한 샘플로부터 획득될 수 있다. 복수의 면(face)으로 구성된 투영(projection) 포맷의 경우, 어떤 종류의 콤팩트한 프레임 패킹 배열이 사용되는지에 상관없이, 프레임 패킹된 픽처에서 둘 이상의 가까운 면 사이에 불연속성이 나타난다. VVC에서, 인루프 필터링 작동이 디스에이블되는(disabled) 수직 및/또는 수평 가상 경계가 도입되고, 이들 경계의 위치가 SPS 또는 픽처 헤더에서 시그널링된다. 2개의 타일을 사용하는 것과 비교하여, 각 연속적인 면의 세트에 대해 하나씩 360 가상 경계를 사용하면, 면 크기가 CTU 크기의 배수가 될 필요가 없으므로 더 유연하다. 일부 실시예에서, 수직 360 가상 경계의 최대 수는 3이고, 수평 360 가상 경계의 최대 수 또한 3이다. 일부 실시예에서, 2개의 가상 경계 사이의 거리는 CTU 크기보다 크거나 같고, 가상 경계 그래뉼래러티는 8개의 루마 샘플이며, 예를 들어 8×8 샘플 그리드이다.
도 14는 본 개시의 일부 구현에 따른, 분류에 사용되는 대응하는 선택된, 병치된 또는 인접한 루마 샘플이 가상 경계에 의해 정의된 가상 공간 외부에 있으면, CCSAO가 현재 크로마 샘플에 적용되지 않는 것을 예시하는 블록도이다. 일부 실시예에서, 가상 경계(virtual boundary, VB)는 픽처 프레임 내에서 공간을 분리하는 가상 라인이다. 일부 실시예에서, 가상 경계(VB)가 현재 프레임에 적용되면, CCSAO는 가상 경계에 의해 정의된 가상 공간 외부의 대응 루마 위치를 선택한 크로마 샘플에 적용되지 않는다. 도 14는 9개의 루마 위치 후보를 갖는 C0 분류기에 대한 가상 경계를 갖는 예를 도시한다. 각 CTU에 대해, CCSAO는 대응하는 선택된 루마 위치가 가상 경계로 둘러싸인 가상 공간 외부에 있는 크로마 샘플에 적용되지 않는다. 예를 들어, 도 14의 (a)에서, 선택된 Y7 루마 샘플 위치가 프레임의 하단 측으로부터 4개의 픽셀 라인에 위치된 수평 가상 경계(1406)의 다른 측에 있을 때, CCSAO는 크로마 샘플(1402)에 적용되지 않는다. 예를 들어, 도 14의 (b)에서, 선택된 Y5 루마 샘플 위치가 프레임의 우측으로부터 y개의 픽셀 라인에 위치되는 수직 가상 경계(1408)의 다른 쪽에 위치될 때 CCSAO는 크로마 샘플(1404)에 적용되지 않는다.
도 15는 본 개시의 일부 구현에 따른 가상 경계 외부에 있는 루마 샘플에 반복적인 또는 미러 패딩이 적용될 수 있음을 도시한다. 도 15의 (a)는 반복적인 패딩의 예를 도시한다. 원래의 Y7이 VB(1502)의 하단 측에 위치된 분류기로 선택되면, 원래의 Y7 루마 샘플 값 대신에, Y4 루마 샘플 값이 분류에 사용된다(Y7 위치로 복사됨). 도 15의 (b)는 미러 패딩의 예를 도시한다. Y7이 VB(1504)의 하단 측에 위치된 분류기로 선택되면, 원래의 Y7 루마 샘플 대신에, Y0 루마 샘플을 기준으로 Y7 값과 대칭인 Y1 루마 샘플 값이 분류에 사용된다. 패딩 방법은 CCSAO를 적용할 수 있는 더 많은 크로마 샘플 가능성을 제공하므로 더 많은 코딩 이득을 획득할 수 있다.
일부 실시예에서, CCSAO 요구 라인 버퍼를 줄이고 경계 처리 조건 검사를 단순화하기 위해 제한이 적용될 수 있다. 도 16은 본 개시의 일부 구현에 따른, 추가적인 1 루마 라인 버퍼, 즉 현재 VB(1602) 위의 라인 -5의 전체 라인 루마 샘플이, 분류를 위해 9개의 병치된 및 인접한 루마 샘플 모두가 사용되면, 요구될 수 있음을 도시한다. 도 10b의 (a)는 분류를 위해 단지 6개의 루마 후보를 사용하는 예를 도시하며, 이는 도 13a 및 도 13b에서 라인 버퍼를 줄이고 임의의 추가 경계 검사를 필요로 하지 않는다.
일부 실시예에서, CCSAO 분류를 위해 루마 샘플을 사용하는 것은 루마 라인 버퍼를 증가시킬 수 있고, 따라서 디코더 하드웨어 구현 비용을 증가시킬 수 있다. 도 17은 본 개시의 일부 구현에 따른, AVS에서, VB(1702)를 교차하는(crossing) 9개의 루마 후보 CCSAO가 2개의 추가적인 루마 라인 버퍼를 증가시킬 수 있는 예시를 도시한다. 가상 경계(Virtual Boundary, VB)(1702) 위의 루마 및 크로마 샘플들의 경우, DBF/SAO/ALF가 현재 CTU 행에서 처리된다. VB(1702) 아래의 루마 및 크로마 샘플들의 경우, DBF/SAO/ALF는 다음 CTU 행에서 처리된다. AVS 디코더 하드웨어 설계에서, 루마 라인 -4 ~ -1 사전(pre) DBF 샘플, 라인 -5 사전 SAO 샘플, 및 크로마 라인 -3 ~ -1 사전 DBF 샘플, 라인 -4 사전 SAO 샘플은 다음 CTU 행 DBF/SAO/ALF 처리를 위한 라인 버퍼로 저장된다. 다음 CTU 행을 처리할 때, 라인 버퍼에 없는 루마 및 크로마 샘플들을 사용할 수 없다. 그러나 예를 들어 크로마 라인 -3(b) 위치에서, 크로마 샘플은 다음 CTU 행에서 처리되지만, CCSAO는 분류를 위해 사전 SAO 루마 샘플 라인 -7, -6 및 -5를 필요로 한다. 사전 SAO 루마 샘플 라인 -7, -6은 라인 버퍼에 없으므로 이들은 사용될 수 없다. 그리고 사전 SAO 루마 샘플 라인 -7 및 -6을 라인 버퍼에 추가하면 디코더 하드웨어 구현 비용이 증가한다. 일부 예에서, 루마 VB(라인 -4) 및 크로마 VB(라인 -3)는 상이할 수 있다(정렬되지 않음).
도 17과 유사하게, 도 18a는 본 개시의 일부 구현에 따른, VVC에서, VB(1802)를 교차하는 9개의 루마 후보 CCSAO가 1개의 추가적인 루마 라인 버퍼를 증가시킬 수 있는 예시를 도시한다. VB는 서로 다른 표준에서 서로 다를 수 있다. VVC에서, 루마 VB는 라인 -4이고 크로마 VB는 라인 -2이므로, 9개의 후보 CCSAO는 1개의 루마 라인 버퍼를 증가시킬 수 있다.
일부 실시예에서, 제1 솔루션에서, 크로마 샘플의 루마 후보 중 임의의 것이 VB(현재 크로마 샘플 VB 외부)에 걸쳐 있으면(across), CCSAO는 크로마 샘플에 대해 디스에이블된다. 도 19a 내지 도 19c는 본 개시의 일부 구현에 따른, AVS 및 VVC에서, 크로마 샘플의 루마 후보 중 임의의 것이 VB(1902)(현재 크로마 샘플 VB 외부)에 걸쳐 있으면, CCSAO가 크로마 샘플에 대해 디스에이블되는 것을 도시한다. 도 14는 또한 이 구현의 일부 예를 도시한다.
일부 실시예에서, 제2 솔루션에서, "교차 VB" 루마 후보에 대해 VB의 다른 측면에 있으면서 근접한 루마 라인, 예를 들어, 루마 라인-4로부터 CCSAO에 대해 반복적인 패딩이 사용된다. 일부 실시예에서, VB 아래의 루마 최근접 이웃부터의 반복적인 패딩이 "교차 VB" 크로마 후보에 대해 구현된다. 도 20a 내지 도 20c는 본 개시의 일부 구현에 따른, AVS 및 VVC에서, 크로마 샘플의 루마 후보 중 임의의 것이 VB(2002)(현재 크로마 샘플 VB 외부)에 걸쳐 있으면, 크로마 샘플에 대해 반복적인 패딩을 사용하여 CCSAO가 이네이블된다. 도 14의 (a)는 또한 이 구현의 일부 예를 도시한다.
일부 실시예에서, 제3 솔루션에서, "교차 VB" 루마 후보에 대해 루마 VB 아래로부터 CCSAO에 대해 미러 패딩이 사용된다. 도 21a 내지 도 21c는 본 개시의 일부 구현에 따른, AVS 및 VVC에서, 크로마 샘플의 루마 후보 중 임의의 것이 VB(2102)(현재 크로마 샘플 VB 외부)에 걸쳐 있으면, 크로마 샘플에 대해 미러 패딩을 사용하여 CCSAO이 이네이블된다. 도 14의 (b) 및 도 13b의 (b)는 또한 이러한 구현의 일부 예를 도시한다. 일부 실시예에서, 제4 솔루션에서, CCSAO를 적용하기 위해 "양면 대칭 패딩(double sided symmetric padding)"이 사용된다. 도 22a 내지 도 22b는 본 개시의 일부 구현에 따른, 서로 다른 CCSAO 형상(예를 들어, 9개의 루마 후보(도 22a) 및 8개의 루마 후보(도 22b))의 일부 예에 대해 양면 대칭 패딩을 사용하여 CCSAO가 이네이블되는 것을 도시한다. 크로마 샘플의 병치된 중앙 루마 샘플이 있는 루마 샘플 세트의 경우, 루마 샘플 세트의 한 측이 VB(2202) 외부에 있으면, 루마 샘플 세트의 양측에 양면 대칭 패딩이 적용된다. 예를 들어, 도 22a에서, 루마 샘플 Y0, Y1 및 Y2는 VB(2202) 외부에 있으므로, Y0, Y1, Y2와 Y6, Y7, Y8 모두 Y3, Y4, Y5를 사용하여 패딩된다. 예를 들어, 도 22b에서, 루마 샘플 Y0은 VB(2202) 외부에 있으므로, Y0은 Y2를 사용하여 패딩되고 Y7은 Y5를 사용하여 패딩된다.
도 18b는 본 개시의 일부 구현에 따른, 병치된 또는 인접한 크로마 샘플이 현재 루마 샘플을 분류하는 데 사용될 때, 선택된 크로마 후보가 VB에 걸쳐 있을 수 있으며, 추가적인 크로마 라인 버퍼를 필요로 할 수 있는 예시를 도시한다. 위에서 설명한 것과 유사한 솔루션 1~4를 적용하여 이슈(issue)를 처리할 수 있다.
솔루션 1은 임의의 크로마 후보가 VB에 걸쳐 있을 때 루마 샘플에 대해 CCSAO를 디스에이블하는 것이다.
솔루션 2는 "교차 VB" 크로마 후보에 대해 VB 아래의 크로마 최근접 이웃부터 반복적인 패딩을 사용하는 것이다.
솔루션 3은 "교차 VB" 크로마 후보에 대해 크로마 VB 아래부터 미러 패딩을 사용하는 것이다.
솔루션 4는 "양면 대칭 패딩"을 사용하는 것이다. CCSAO 병치된 크로마 샘플을 중심으로 한 후보 세트의 경우, 후보 세트의 한 측이 VB 외부에 있으면, 양측에 양면 대칭 패딩이 적용된다.
이 패딩 방법은 CCSAO를 적용하기 위해 더 많은 루마 또는 크로마 샘플 가능성을 제공하므로 더 많은 코딩 이득이 달성될 수 있다.
일부 실시예에서, 하단 픽처(또는 슬라이스, 타일, 벽돌) 경계 CTU 행에서, VB 아래의 샘플은 현재 CTU 행에서 처리되므로, 위의 특정 핸들링(handling)(솔루션 1, 2, 3, 4)이 하단 픽처(또는 슬라이스, 타일, 벽돌) 경계 CTU 행에서 적용되지 않는다. 예를 들어, 1920×1080의 프레임은 128×128의 CTU로 나뉜다. 프레임에는 15×9 CTU(반올림)가 포함된다. 하단 CTU 행은 15번째 CTU 행이다. 디코딩 프로세스는 CTU 행 단위이며, 각 CTU 행에 대해 CTU 단위이다. 디블로킹은 현재 CTU 행과 다음 CTU 행 사이의 수평 CTU 경계를 따라 적용되어야 한다. 하나의 CTU 내부에, 하단 4/2 루마/크로마 라인에서, DBF 샘플(VVC 케이스)이 다음 CTU 행에서 처리되고 현재 CTU 행에서 CCSAO에 사용할 수 없기 때문에, CTB VB는 각 CTU 행에 적용된다. 그러나 픽처 프레임의 하단 CTU 행에서, 하단 4/2 루마/크로마 라인 DBF 샘플은, 다음 CTU 행이 남아 있지 않고 현재 CTU 행에서 DBF 처리되기 때문에, 현재 CTU 행에서 사용할 수 있다.
일부 실시예에서, 도 13 내지 도 22에 디스플레이된 VB는 서브픽처/슬라이스/타일/패치/CTU/360 가상 경계의 경계로 대체될 수 있다. 일부 실시예에서, 도 13 내지 도 22의 크로마 및 루마 샘플의 위치는 전환될 수 있다. 일부 실시예에서, 도 13 내지 도 22의 크로마 및 루마 샘플의 위치는 제1 크로마 샘플과 제2 크로마 샘플의 위치로 대체될 수 있다. 일부 실시예에서, CTU 내부의 ALF VB는 일반적으로 수평일 수 있다. 일부 실시예에서, 서브픽처/슬라이스/타일/패치/CTU/360 가상 경계의 경계는 수평 또는 수직일 수 있다.
일부 실시예에서, CCSAO 요구 라인 버퍼를 감소시키고 도 16에 설명된 바와 같이 경계 처리 조건 검사를 단순화하기 위해 제한이 적용될 수 있다. 도 23은 본 개시의 일부 구현에 따른, 분류를 위해 제한된 수의 루마 후보를 사용하는 제한을 도시한다. 도 23의 (a)는 분류를 위해 6개의 루마 후보만을 사용하는 제한을 도시한다. 도 23의 (b)는 분류를 위해 4개의 루마 후보만을 사용하는 제한을 도시한다.
일부 실시예에서, 적용 영역(applied region)이 구현된다. CCSAO 적용 영역 유닛은 CTB 기반일 수 있다. 즉, 온/오프 제어, CCSAO 파라미터(분류에 사용되는, 오프셋, 루마 후보 위치, band_num, 비트마스크…등, 오프셋 세트 인덱스)는 하나의 CTB에서 동일하다.
일부 실시예에서, 적용 영역은 CTB 경계에 정렬(aligned)되지 않을 수 있다. 예를 들어 적용 영역은 크로마 CTB 경계에 정렬되지 않고 시프트된다. 신택스(온/오프 제어, CCSAO 파라미터)는 여전히 각 CTB에 대해 시그널링되지만, 실제로 적용 영역은 CTB 경계에 정렬되지 않는다. 도 24는 본 개시의 일부 구현에 따른, CCSAO 적용 영역이 CTB/CTU 경계(2406)에 정렬되지 않는 것을 도시한다. 예를 들어, 적용 영역은 크로마 CTB/CTU 경계(2406)에 정렬되지 않지만 좌측 상단이 VB(2408)로 시프트된(4, 4) 샘플이다. 이 정렬되지 않은 CTB 경계 설계는 동일한 디블로킹 파라미터가 각각의 8×8 디블로킹 프로세스 영역에 사용되기 때문에, 디블로킹 프로세스에 도움이 된다.
일부 실시예에서, CCSAO 적용 영역 유닛(마스크 크기)은 표 34에 나타낸 바와 같이 변형(CTB 크기보다 크거나 작음)일 수 있다. 마스크 크기는 서로 다른 컴포넌트에 대해 서로 다를 수 있다. 마스크 크기는 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 전환할 수 있다. 예를 들어, PH에서, 각 CCSAO 영역 정보를 지시하기 위해 일련의 마스크 온/오프 플래그와 오프셋 세트 인덱스가 시그널링된다.
| POC | 컴포넌트 | CTB 크기 | 마스크 크기 |
| 0 | Cb | 64×64 | 128×128 |
| 0 | Cr | 64×64 | 32×32 |
| 1 | Cb | 64×64 | 16×16 |
| 1 | Cr | 64×64 | 256×256 |
일부 실시예에서, CCSAO 적용 영역 프레임 분할은 고정될 수 있다. 예를 들어, 프레임을 N개의 영역으로 파티셔닝한다. 도 25는 본 개시의 일부 구현에 따른, CCSAO 적용 영역 프레임 파티션이 CCSAO 파라미터로 고정될 수 있음을 도시한다.
일부 실시예에서, 각각의 영역은 자신의 영역 온/오프 제어 플래그 및 CCSAO 파라미터를 가질 수 있다. 또한 영역 크기가 CTB 크기보다 크면, CTB 온/오프 제어 플래그와 영역 온/오프 제어 플래그를 모두 가질 수 있다. 도 25의 (a) 및 (b)는 프레임을 N개의 영역으로 파티셔닝한 예를 도시한다. 도 25의 (a)는 4개 영역의 수직 파티셔닝을 도시한다. 도 25의 (b)는 4개 영역의 정사각형 파티셔닝을 도시한다. 일부 실시예에서, 픽처 레벨 CTB 모두 온 제어 플래그(picture level CTB all on control flag)(ph_cc_sao_cb_ctb_control_flag/ph_cc_sao_cr_ctb_control_flag)와 유사하게, 영역 온/오프 제어 플래그가 오프이면, CTB 온/오프 플래그가 추가로 시그널링될 수 있다. 그렇지 않으면, 추가로 CTB 플래그를 시그널링하지 않고, 이 영역의 모든 CTB에 CCSAO가 적용된다.
일부 실시예에서, 서로 다른 CCSAO 적용 영역은 동일한 영역 온/오프 제어 및 CCSAO 파라미터를 공유할 수 있다. 예를 들어, 도 25의 (c)에서, 영역 0~2는 동일한 파라미터를 공유하고, 영역 3~15는 동일한 파라미터를 공유한다. 도 25의 (c)는 또한 영역 온/오프 제어 플래그 및 CCSAO 파라미터가 힐버트(Hilbert) 스캔 순서로 시그널링될 수 있음을 도시한다.
일부 실시예에서, CCSAO 적용 영역 유닛은 픽처/슬라이스/CTB 레벨로부터 분할된 쿼드 트리/이진 트리/삼항 트리일 수 있다. CTB 분할과 유사하게, 일련의 분할 플래그가 CCSAO 적용 영역 파티션을 지시하기 위해 시그널링된다. 도 26은 본 개시의 일부 구현에 따른, CCSAO 적용 영역이 프레임/슬라이스/CTB 레벨로부터 분할된 이진 트리(Binary-tree, BT)/쿼드 트리(Quad-tree, QT)/삼항 트리(Ternary-tree, TT)일 수 있음을 도시한다.
도 27은 본 개시의 일부 구현에 따른, 픽처 프레임 내에서 서로 다른 레벨에서 사용되고 전환되는 복수의 분류기를 예시하는 블록도이다. 일부 실시예에서, 하나의 프레임에 복수의 분류기가 사용되면, 분류기 세트 인덱스를 적용하는 방법이 SPS/APS/PPS/PH/SH/영역/CTU/CU/서브블록/샘플 레벨에서 전환될 수 있다. 예를 들어, 아래의 표 35에 나타낸 바와 같이, 4개의 분류기 세트가 프레임에서 사용되며, PH에서 전환된다. 도 27의 (a) 및 (c)는 기본(default) 고정된 영역 분류기를 도시한다. 도 27의 (b)는 분류기 세트 인덱스가 마스크/CTB 레벨에서 시그널링되는 것을 도시하며, 0은 이 CTB에 대한 CCSAO 오프를 의미하고, 1~4는 세트 인덱스를 의미한다.
| POC | |
| 0 | 정사각형 파티션 4개의 영역(최대 깊이 1로 분할된 프레임 QT) (a) |
| 1 | CTB 레벨 스위치 분류기 (b) |
| 2 | 수직 파티션 4개의 영역 (c) |
| 3 | 최대 깊이 2로 분할된 프레임 QT |
일부 실시예에서, 기본 영역 케이스에 대해, 이 영역의 CTB가 기본 세트 인덱스를 사용하지 않고(예: 영역 레벨 플래그가 0임) 이 프레임에서 다른 분류기 세트를 사용하면, 영역 레벨 플래그가 시그널링될 수 있다. 예를 들어, 기본 세트 설정된 인덱스를 사용하면, 영역 레벨 플래그는 1이다. 예를 들어 정사각형 파티션 4개의 영역에서, 아래 표 36에 나타낸 바와 같이, 다음 분류기 세트가 사용된다.
| POC | 영역 | 플래그 | 기본 세트 인덱스 사용 |
| 0 | 1 | 1 | 기본 세트:1 사용 |
| 2 | 1 | 기본 세트:2 사용 | |
| 3 | 1 | 기본 세트:3 사용 | |
| 4 | 0 | CTB가 세트 1 ~ 4로 전환 |
도 28은 본 개시의 일부 구현에 따른, CCSAO 적용 영역 파티션이 동적일 수 있고 픽처 레벨에서 전환될 수 있음을 예시하는 블록도이다. 예를 들어, 도 28의 (a)는 3개의 CCSAO 오프셋 세트가 이 POC(set_num = 3)에서 사용되므로, 픽처 프레임은 3개의 영역으로 수직 파티셔닝되는 것을 도시한다. 도 28의 (b)는 4개의 CCSAO 오프셋 세트가 이 POC(set_num = 4)에서 사용되므로, 픽처 프레임이 4개의 영역으로 수평 파티셔닝되는 것을 도시한다. 도 28의 (c)는 3개의 CCSAO 오프셋 세트가 이 POC(set_num = 3)에서 사용되므로, 픽처 프레임이 3개의 영역으로 래스터 파티셔닝되는 것을 도시한다. 각 영역은 CTB 온/오프 제어 비트당 저장하기 위해 자체 영역 모두 온 플래그를 가질 수 있다. 영역의 수는 시그널링된 픽처 set_num에 따라 다르다.
CCSAO 적용 영역은 블록 내부의 코딩 정보(샘플 위치, 샘플 코딩된 모드, 루프 필터 파라미터 등)에 따라 특정 영역일 수 있다. 예를 들어, 1) CCSAO 적용 영역은 샘플이 스킵 모드 코딩될 때에만 적용될 수 있거나, 2) CCSAO 적용 영역은 CTU 경계를 따라 N개의 샘플만을 포함하거나, 3) CCSAO 적용 영역은 프레임에서 8×8 그리드 상에서 샘플만을 포함하거나, 4) CCSAO 적용 영역은 DBF 필터링된 샘플만 포함하거나, 5) CCSAO 적용 영역은 CU의 상단 M개의 행과 좌측 N개의 행만 포함한다. 서로 다른 적용 영역은 서로 다른 분류기를 사용할 수 있다. 서로 다른 적용 영역은 서로 다른 분류기를 사용할 수 있다. 예를 들어 CTU에서, 스킵 모드는 C1을 사용하고, 8×8 그리드는 C2를 사용하며, 스킵 모드와 8×8 그리드는 C3을 사용한다. 예를 들어, CTU에서, 스킵 모드 코딩된 샘플은 C1을 사용하고, CU 중앙의 샘플은 C2를 사용하며, CU 중앙에서 스킵 모드 코딩된 샘플은 C3를 사용한다. 도 29는 본 개시의 일부 구현에 따른, CCSAO 분류기가 현재 또는 교차 컴포넌트 코딩 정보를 고려할 수 있음을 예시하는 도면이다. 예를 들어, 서로 다른 코딩 모드/파라미터/샘플 위치는 서로 다른 분류기를 형성할 수 있다. 서로 다른 코딩 정보를 조합하여 공동 분류기를 형성할 수 있다. 서로 다른 에어리어는 서로 다른 분류기를 사용할 수 있다. 도 29는 또한 적용 영역의 다른 예를 도시한다.
일부 실시예에서, 구현된 CCSAO 신택스는 아래의 표 37에 나타나 있다. 일부 예에서, 각 신택스 엘리먼트의 이진화는 변경될 수 있다. AVS3에서, 패치(patch)라는 용어는 슬라이스와 유사하고, 패치 헤더는 슬라이스 헤더와 유사하다. FLC는 고정 길이 코드(fixed length code)를 나타낸다. TU는 잘린 단항 코드(truncated unary code)를 나타낸다. EGk는 차수가 k인 지수 골롬 코드(exponential-golomb code)를 나타내며, k는 고정될 수 있다. SVLC는 서명된 EG0을 나타낸다. UVLC는 서명되지 않은(unsigned) EG0을 나타낸다.
| 레벨 | 신택스 엘리먼트 | 이진화 | 의미 |
| SPS | cc_sao_enabled_flag | FLC | chromaFormat가 CHROMA_400일 때, 이 시퀀스에서 CCSAO가 이네이블되는지 여부가 오프(디스에이블 상태)로 추론될 수 있음 |
| PH/SH | ph_cc_sao_y_flag ph_cc_sao_cb_flag ph_cc_sao_cr_flag |
FLC | chromaFormat가 CHROMA_400일 때, Y/Cb/Cr에 대해 이 픽처/슬라이스에서 CCSAO가 이네이블되는지 여부가 오프(디스에이블 상태)로 추론될 수 있음 |
| PH/SH | ph_cc_sao_stored_offsets_set_idx | FLC | 이전에 디코딩된 오프셋 세트가 사용되며, Y/U/V 오프셋 세트가 분리되거나 공유될 수 있음 |
| PH/SH | ph_cc_sao_y_ctb_control_flag ph_cc_sao_cb_ctb_control_flag ph_cc_sao_cr_ctb_control_flag |
FLC | CTB 레벨에서 Y/Cb/Cr 온/오프 제어를 이네이블할지 여부 |
| PH/SH | ph_cc_sao_y_set_num_minus1 ph_cc_sao_cb_set_num_minus1 ph_cc_sao_cb_set_num_minus1 |
UVLC | 픽처/슬라이스에서 사용되는 대안적 세트의 수 |
| SPS/APS/PPS/PH/SH/CTU | ph_cc_sao_y_class_y_enabled_flag ph_cc_sao_y_class_u_enabled_flag ph_cc_sao_y_class_v_enabled_flag ph_cc_sao_cb_class_y_enabled_flag ph_cc_sao_cb_class_u_enabled_flag ph_cc_sao_cb_class_v_enabled_flag ph_cc_sao_cr_class_y_enabled_flag ph_cc_sao_cr_class_u_enabled_flag ph_cc_sao_cr_class_v_enabled_flag |
FLC | 현재 컴포넌트가 분류를 위해 다른 컴포넌트를 사용할 수 있는지 여부 예를 들어, ph_cc_sao_y_class_u_enabled_flag = 0이면 컴포넌트 Y는 분류를 위해 Cb 샘플을 사용할 수 없으며, bandNumU와 같은 분류 파라미터는 시그널링될 필요가 없음. 그렇지 않고, 플래그가 1이면, Cb가 현재 Y를 분류하는 데 사용됨. |
| SPS/APS/PPS/PH/SH/CTU | ph_cc_sao_y_band_num_y_minus1 ph_cc_sao_y_band_num_u_minus1 ph_cc_sao_y_band_num_v_minus1 ph_cc_sao_cb_band_num_y_minus1 ph_cc_sao_cb_band_num_u_minus1 ph_cc_sao_cb_band_num_v_minus1 ph_cc_sao_cr_band_num_y_minus1 ph_cc_sao_cr_band_num_u_minus1 ph_cc_sao_cr_band_num_v_minus1 |
FLC | 분류를 위해 적응적으로 변경된 대역 수. 예를 들어, ph_cc_sao_cb_band_num_y_minus1 ph_cc_sao_cb_band_num_u_minus1 ph_cc_sao_cb_band_num_v_minus1 컴포넌트 Cb 분류를 위해 지시하며, 3개의 공동 bandNum 분류를 위해 사용되는 Y/U/V의 bandNum |
| SPS/APS/PPS/PH/SH/CTU | ph_cc_sao_y_cand_pos_y ph_cc_sao_y_cand_pos_u ph_cc_sao_y_cand_pos_v ph_cc_sao_cb_cand_pos_y ph_cc_sao_cb_cand_pos_u ph_cc_sao_cb_cand_pos_v ph_cc_sao_cr_cand_pos_y ph_cc_sao_cr_cand_pos_u ph_cc_sao_cr_cand_pos_v |
FLC | 분류기 후보 위치를 지시함. 예를 들어, ph_cc_sao_y_cand_pos_y ph_cc_sao_y_cand_pos_u ph_cc_sao_y_cand_pos_v 컴포넌트 Cb 분류를 위해 지시하며, Y/U/V 후보의 위치는 3개의 공동 bandNum 분류로서 선택됨 |
| SPS/APS/PPS/PH/SH/CTU | cc_sao_y_offset_sign_flag cc_sao_y_offset_abs cc_sao_cb_offset_sign_flag cc_sao_cb_offset_abs cc_sao_cr_offset_sign_flag cc_sao_cr_offset_abs |
FLC TU 또는 EGk FLC TU 또는 EGk |
각 클래스의 CCSAO Y, Cb 및 Cr 오프셋 값 |
| CTU | ctb_cc_sao_y_flag ctb_cc_sao_cb_flag ctb_cc_sao_cr_flag |
CABAC, 1 또는 2 (up & left)콘텍스트 | Cb 또는 Cr CTB에 대해 CCSAO가 이네이블되는지 여부 |
| CTU | ctb_cc_sao_y_set_idx ctb_cc_sao_cb_set_idx ctb_cc_sao_cr_set_idx |
TU 또는 EGk | Y, Cb 또는 Cr CTB에 대해 CCSAO가 이네이블되는지 여부(CCSAO가 이네이블됨) |
| CTU | cc_sao_y_merge_left_flag cc_sao_y_merge_up_flag cc_sao_cb_merge_left_flag cc_sao_cb_merge_up_flag cc_sao_cr_merge_left_flag cc_sao_cr_merge_up_flag |
CABAC | 좌측 또는 위 CTU 로부터 CCSAO 오프셋이 병합되는지 여부 |
상위 레벨 플래그가 오프이면, 하위 레벨 플래그는 이 플래그의 오프 상태로부터 추론될 수 있고 시그널링될 필요가 없다. 예를 들어, 이 픽처에서 ph_cc_sao_cb_flag가 거짓(false)이면, ph_cc_sao_cb_band_num_minus1, ph_cc_sao_cb_luma_type, cc_sao_cb_offset_sign_flag, cc_sao_cb_offset_abs, ctb_cc_sao_cb_flag, cc_sao_cb_merge_left_flag, 및 cc_sao_cb_merge_up_flag는 존재하지 않으며 거짓으로 추론된다.
일부 실시예에서, SPS ccsao_enabled_flag는 아래의 표 38에 나타낸 바와 같이 SPS SAO 이네이블된 플래그에 따라 조정된다.
| sps_sao_enabled_flag | u(1) |
| if( sps_sao_enabled_flag && ChromaArrayType != 0 ) | |
| sps_ccsao_enabled_flag | u(1) |
| sps_alf_enabled_flag | u(1) |
| if( sps_alf_enabled_flag && ChromaArrayType != 0 ) | |
| sps_ccalf_enabled_flag | u(1) |
일부 실시예에서, ph_cc_sao_cb_ctb_control_flag, ph_cc_sao_cr_ctb_control_flag는 Cb/Cr CTB 온/오프 제어 그래뉼래러티를 이네이블할지 여부를 지시한다. ph_cc_sao_cb_ctb_control_flag 및 ph_cc_sao_cr_ctb_control_flag가 이네이블되면, ctb_cc_sao_cb_flag 및 ctb_cc_sao_cr_flag가 추가로 시그널링될 수 있다. 그렇지 않으면, CCSAO가 현재 픽처에 적용되는지 여부는, CTB 레벨에서 ctb_cc_sao_cb_flag 및 ctb_cc_sao_cr_flag를 추가로 시그널링하지 않고, ph_cc_sao_cb_flag, ph_cc_sao_cr_flag에 따라 달라진다.
일부 실시예에서, ph_cc_sao_cb_type 및 ph_cc_sao_cr_type에 대해, 중앙 병치된 루마 위치가 비트 오버헤드를 줄이기 위해 크로마 샘플에 대한 분류를 위해 사용되는지(도 10에서 Y0 위치)를 구별하기 위해 플래그가 추가로 시그널링될 수 있다. 마찬가지로, cc_sao_cb_type 및 cc_sao_cr_type이 CTB 레벨에서 시그널링되면, 동일한 메커니즘으로 플래그가 추가로 시그널링될 수 있다. 예를 들어, C0 루마 위치 후보의 수가 9이면, 아래 표 39에 나타낸 바와 같이, 중앙 병치된 루마 위치를 사용하는지를 구별하기 위해 cc_sao_cb_type0_flag를 추가로 시그널링한다. 중앙 병치된 루마 위치가 사용되지 않으면, cc_sao_cb_type_idc는 나머지 8개의 인접한 루마 위치 중 어느 것이 사용되는지를 지시하는 데 사용된다.
| ctb_cc_sao_cb_flag | u(1) |
| if( ctb_cc_sao_cb_flag ) | |
| cc_sao_cb_type0_flag | u(1), 콘텍스트 코딩될 수 있음 |
| if( !cc_sao_cb_type0_flag ) | |
| cc_sao_cb_type_idc | u(3), 콘텍스트 코딩될 수 있음 |
다음 표 40은 단일(set_num = 1) 또는 복수(set_num >) 분류기가 프레임에서 사용되는 AVS에서의 예를 도시한다. 신택스 표기법은 위에서 사용된 표기법에 매핑될 수 있다.
각 영역이 고유한 세트를 갖는 도 25 또는 도 27을 조합하면, 신택스 예는 아래의 표 41에 나타낸 바와 같이, 온/오프 제어 플래그(picture_ccsao_lcu_control_flag[compIdx][setIdx])를 포함할 수 있다.
일부 실시예에서, 인트라 및 인터 포스트(post) 예측 SAO 필터에 대한 확장이 아래에서 추가로 예시된다. 일부 실시예에서, 본 개시에서 개시된 SAO 분류 방법은 포스트 예측 필터로서 역할을 할 수 있고, 예측은 인트라, 인터 또는 인트라 블록 복사와 같은 다른 예측 도구일 수 있다. 도 30은 본 개시의 일부 구현에 따른, 본 개시에 개시된 SAO 분류 방법이 포스트 예측 필터로서 역할하는 것을 예시하는 블록도이다.
일부 실시예에서, 각각의 Y, U 및 V 컴포넌트에 대해, 대응하는 분류기가 선택된다. 그리고 각 컴포넌트 예측 샘플에 대해, 먼저 분류하고 대응하는 오프셋을 추가한다. 예를 들어 각 컴포넌트는 분류를 위해 현재 및 인접한 샘플을 사용할 수 있다. 아래 표 42에 나타낸 바와 같이, 분류를 위해, Y는 현재 Y 및 인접한 Y 샘플을 사용하고, U/V는 현재 U/V 샘플을 사용한다. 도 31은 본 개시의 일부 구현에 따른, 포스트 예측 SAO 필터에 대해, 각 컴포넌트가 분류를 위해 현재 및 인접한 샘플을 사용할 수 있음을 예시하는 블록도이다.
| POC | 컴포넌트 | 분류기 | C0 band_num | 총 클래스 | 현재 컴포넌트로부터 도출된 오프셋 |
| 0 | Y | C0과 C1을 조합 | 16 | 16*17 | h_Y[i] |
| 0 | U | U0 위치를 사용하는 C0 | 8 | 8 | h_U[i] |
| 0 | V | V0 위치를 사용하는 C0 | 32 | 32 | h_V[i] |
일부 실시예에서, 정제된 예측 샘플(Ypred', Upred', Vpred')은 대응하는 클래스 오프셋을 추가함으로써 업데이트되고, 이후 인트라, 인터 또는 다른 예측에 사용된다.
Ypred' = clip3(0, (1 << bit_depth)-1, Ypred + h_Y[i])
Upred' = clip3(0, (1 << bit_depth)-1, Upred + h_U[i])
Vpred' = clip3(0, (1 << bit_depth)-1, Vpred + h_V[i])
일부 실시예에서, 크로마 U 및 V 컴포넌트에 대해, 현재 크로마 컴포넌트 외에, 교차 컴포넌트(Y)가 추가 오프셋 분류를 위해 사용될 수 있다. 추가 교차 컴포넌트 오프셋(h'_U, h'_V)은 예를 들어 아래 표 43에 나타낸 바와 같이, 현재 컴포넌트 오프셋(h_U, h_V)에 추가될 수 있다.
| POC | 컴포넌트 | 분류기 | C0 band_num | 총 클래스 | 현재 컴포넌트로부터 도출된 오프셋 |
| 0 | U | Y4 위치를 사용하는 C0 | 16 | 16 | h'_U[i] |
| 0 | V | Y1 위치를 사용하는 C0 | 7 | 7 | h'_V[i] |
일부 실시예에서, 정제된 예측 샘플(Upred", Vpred")은 대응하는 클래스 오프셋을 추가함으로써 업데이트되고, 이후에 인트라, 인터 또는 다른 예측을 위해 사용된다.
Upred" = clip3(0, (1 << bit_depth)-1, Upred' + h'_U[i])
Vpred" = clip3(0, (1 << bit_depth)-1, Vpred' + h'_V[i])
일부 실시예에서, 인트라 및 인터 예측은 서로 다른 SAO 필터 오프셋을 사용할 수 있다.
도 32는 본 개시의 일부 구현에 따라 교차 컴포넌트 상관 관계를 사용하여 비디오 신호를 디코딩하는 예시적인 프로세스(3200)를 예시하는 흐름도이다.
비디오 디코더(30)(도 3에 도시됨)는 비디오 신호로부터 제1 컴포넌트 및 제2 컴포넌트를 포함하는 픽처 프레임을 수신한다(3210).
비디오 디코더(30)는 제2 컴포넌트의 개개의 샘플과 연관된 제1 컴포넌트의 하나 이상의 샘플의 세트로부터 제2 컴포넌트에 대한 분류기를 결정한다(3220).
비디오 디코더(30)는 분류기에 따라 픽처 프레임의 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정한다(3230). 일부 실시예에서, 영역은 픽처 프레임을 나누는 것에 의해 형성된다.
비디오 디코더(30)는 분류기에 따라 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정하기로 한 결정에 응답하여, 분류기에 따라 제2 컴포넌트의 개개의 샘플에 대한 샘플 오프셋을 결정한다(3240).
비디오 디코더(30)는 결정된 샘플 오프셋에 기반하여 제2 컴포넌트의 개개의 샘플의 값을 수정한다(3250).
일부 실시예에서, 제1 컴포넌트는 루마 컴포넌트이고 제2 컴포넌트는 제1 크로마 컴포넌트이며, 또는 제1 컴포넌트는 제1 크로마 컴포넌트이고 제2 컴포넌트는 루마 컴포넌트이며, 또는 제1 컴포넌트는 제1 크로마 컴포넌트이고 제2 컴포넌트는 제2 크로마 컴포넌트이다.
일부 실시예에서, 영역은 서브픽처, 슬라이스, 타일, 패치, 코딩 트리 유닛(coding tree unit, CTU), 및 360 가상 경계로 구성된 그룹으로부터 선택된 하나이다.
일부 실시예에서, 영역의 경계는 CTU 경계와 정렬된다.
일부 실시예에서, 영역의 경계는 픽처 프레임의 8×8 샘플 그리드의 경계에 정렬된다.
일부 실시예에서, 영역은 제1 컴포넌트의 제1 경계 및 제2 컴포넌트의 제2 경계를 포함하는 영역 경계를 포함한다.
일부 실시 예에서, 제1 경계는 제2 경계와 정렬되지 않는다.
일부 실시예에서, 제1 경계는 제2 경계와 정렬된다.
일부 실시예에서, 분류기에 따라 픽처 프레임의 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 것(3230)은: 제2 컴포넌트의 개개의 샘플과 연관된 제1 컴포넌트의 하나 이상의 샘플의 세트의 임의의 하나의 샘플이, 제2 컴포넌트의 개개의 샘플을 기준으로 영역 경계의 상이한 측에 위치된다는 결정에 따라, 분류기에 따라 픽처 프레임 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정하지 않기로 결정하는 것을 포함한다.
일부 실시예에서, 분류기에 따라 픽처 프레임의 영역 내의 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 것(3230)은: 제2 컴포넌트의 개개의 샘플과 연관된 제1 컴포넌트의 하나 이상의 샘플의 세트의 제1 서브세트가 제2 컴포넌트의 개개의 샘플을 기준으로 영역 경계의 상이한 측에 위치되고, 제2 컴포넌트의 개개의 샘플과 연관된 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트가 제2 컴포넌트의 개개의 샘플을 기준으로 영역 경계의 동일한 측에 위치된다는 결정에 따라, 제1 서브세트를 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트로부터의 제2 서브세트로 대체하여 제1 서브세트를 대체하는 것; 및 분류기에 따라 픽처 프레임의 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정하기로 결정하는 것을 포함한다.
일부 실시예에서, 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트로부터의 제2 서브세트는, 나머지 서브세트에서의 제1 컴포넌트의 샘플들 중 제1 서브세트에 가장 가까운 행 또는 열로부터의 것이다.
일부 실시예에서, 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트로부터의 제2 서브세트는, 제1 서브세트에 대해 제2 컴포넌트의 개개의 샘플 또는 영역 경계의 대칭 위치에 위치된다.
일부 실시예에서, 분류기에 따라 픽처 프레임의 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 것(3230)은: 제2 컴포넌트의 개개의 샘플과 연관된 제1 컴포넌트의 하나 이상의 샘플의 세트가 제2 컴포넌트의 개개의 샘플을 기준으로 영역 경계의 상이한 측에 위치된다는 결정에 따라,
제1 컴포넌트의 하나 이상의 샘플의 세트를, 제2 컴포넌트의 개개의 샘플을 기준으로 영역 경계의 동일한 측에 있는 제1 컴포넌트의 샘플의 제2 세트로 대체하여, 제1 컴포넌트의 하나 이상의 샘플의 세트를 대체하는 것; 및 분류기에 따라 픽처 프레임의 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정하기로 결정하는 것을 포함한다.
일부 실시예에서, 제2 컴포넌트의 개개의 샘플을 기준으로 영역 경계의 동일한 측에 있는 샘플의 제2 세트는, 제2 컴포넌트의 개개의 샘플을 기준으로 영역 경계의 동일한 측에 있는 제1 컴포넌트의 샘플들 중, 제1 컴포넌트의 하나 이상의 샘플의 세트에 가장 가까운 행 또는 열로부터의 것이다.
일부 실시예에서, 제2 컴포넌트의 개개의 샘플을 기준으로 영역 경계의 동일한 측에 있는 샘플의 제2 세트는, 제1 컴포넌트의 하나 이상의 샘플의 세트에 대해 제2 컴포넌트의 개개의 샘플 또는 영역 경계의 대칭 위치에 위치된다.
일부 실시예에서, 분류기에 따라 픽처 프레임의 영역 내의 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 것(3230)은: 제2 컴포넌트의 개개의 샘플과 연관된 제1 컴포넌트의 하나 이상의 샘플의 세트의 제1 서브세트가 제2 컴포넌트의 개개의 샘플을 기준으로 영역 경계의 상이한 측에 위치되고, 제2 컴포넌트의 개개의 샘플과 연관된 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트가 제2 컴포넌트의 개개의 샘플을 기준으로 영역 경계의 동일한 측에 위치된다는 결정에 따라, 제1 서브세트를, 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트로부터 하나 이상의 중앙 서브세트의 제2 서브세트로 대체하는 것; 및 제1 컴포넌트의 하나 이상의 샘플의 세트의 경계 위치에서 나머지 서브세트의 제3 서브세트를, 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트로부터의 하나 이상의 중앙 서브세트의 제4 서브세트 또는 제2 서브세트로 대체하는 것; 및 분류기에 따라 픽처 프레임의 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정하기로 결정하는 것을 포함한다.
일부 실시예에서, 제3 서브세트와 제1 서브세트는 제1 컴포넌트의 하나 이상의 샘플의 세트 내에서 대칭적으로 위치된다.
일부 실시예에서, 분류기에 따라 픽처 프레임의 영역 내의 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 것(3230)은: 비디오 신호의 크로마 포맷이 4:0:0이라는 결정에 따라, 분류기에 따라 픽처 프레임의 영역 내에서 제2 컴포넌트의 개개의 샘플의 값을 수정하지 않기로 결정하는 것을 포함한다.
도 33은 사용자 인터페이스(3350)와 조합된 컴퓨팅 환경(3310)을 도시한다. 컴퓨팅 환경(3310)은 데이터 처리 서버의 일부일 수 있다. 컴퓨팅 환경(3310)은 프로세서(3320), 메모리(3330) 및 입력/출력(I/O) 인터페이스(3340)를 포함한다.
프로세서(3320)는 일반적으로 디스플레이, 데이터 수집, 데이터 통신 및 이미지 처리와 연관된 작동과 같은 컴퓨팅 환경(3310)의 전반적인 작동을 제어한다. 프로세서(3320)는 전술한 방법의 단계 전부 또는 일부를 수행하기 위한 명령어를 실행하는 하나 이상의 프로세서를 포함할 수 있다. 더욱이, 프로세서(3320)는 프로세서(3320)와 다른 컴포넌트 사이의 상호 작용을 용이하게 하는 하나 이상의 모듈을 포함할 수 있다. 프로세서는 CPU(Central Processing Unit), 마이크로프로세서, 단일 칩 머신, GPU(Graphical Processing Unit) 등일 수 있다.
메모리(3330)는 컴퓨팅 환경(3310)의 작동을 지원하기 위해 다양한 유형의 데이터를 저장하도록 구성된다. 메모리(3330)는 미리 결정된 소프트웨어(3332)를 포함할 수 있다. 그러한 데이터의 예는 컴퓨팅 환경(3310), 비디오 데이터세트, 이미지 데이터 등에서 작동되는 임의의 애플리케이션 또는 방법에 대한 명령어를 포함한다. 메모리(3330)는 SRAM(Static Random Access Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), EPROM(Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), ROM(Read-Only Memory), 자기 메모리, 플래시 메모리, 자기 또는 광학 디스크와 같은 임의의 유형의 휘발성 또는 비휘발성 메모리 디바이스 또는 이들의 조합을 이용하여 구현될 수 있다.
I/O 인터페이스(3340)는 프로세서(3320)와 키보드, 클릭 휠, 버튼 등과 같은 주변 인터페이스 모듈 사이의 인터페이스를 제공한다. 버튼은 홈 버튼, 스캔 시작 버튼 및 스캔 중지 버튼을 포함할 수 있으나 이에 한정되지 않는다. I/O 인터페이스(3340)는 인코더 및 디코더와 결합될 수 있다.
일 실시예에서, 예를 들어, 위의 설명된 방법을 수행하기 위해, 컴퓨팅 환경(3310)에서 프로세서(3320)에 의해 실행 가능한 메모리(3330) 내의 복수의 프로그램을 포함하는, 컴퓨터가 판독 가능한 비일시적 저장 매체가 또한 제공된다. 다르게는, 컴퓨터가 판독 가능한 비일시적 저장 매체는 예를 들어, 비디오 데이터를 디코딩할 때 디코더(예를 들어, 도 3의 비디오 디코더(30))에 의한 사용을 위해 전술한 인코딩 방법을 사용하여 인코더(예를 들어, 도 2의 비디오 인코더(20))에 의해 생성된 인코딩된 비디오 정보(예를 들어, 하나 이상의 신택스 엘리먼트를 포함하는 비디오 정보)를 포함하는 비트스트림 또는 데이터 스트림을 저장한다. 컴퓨터가 판독 가능한 비일시적 저장 매체는, 예를 들어, ROM, RAM(Random Access Memory), CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 디바이스 등일 수 있다.
일 실시예에서, 하나 이상의 프로세서(예를 들어, 프로세서(3320)); 및 하나 이상의 프로세서에 의해 실행 가능한 복수의 프로그램을 저장한 컴퓨터가 판독 가능한 비일시적 저장 매체 또는 메모리(3330)를 포함하는 컴퓨팅 디바이스가 제공되며, 하나 이상의 프로세서는 복수의 프로그램의 실행에 따라, 전술한 방법을 수행하도록 구성된다.
일 실시예에서, 전술한 방법을 수행하기 위해, 예를 들어, 컴퓨팅 환경(3310)에서 프로세서(3320)에 의해 실행 가능한 메모리(3330) 내의 복수의 프로그램을 포함하는 컴퓨터 프로그램 제품이 또한 제공된다. 예를 들어, 컴퓨터 프로그램 제품은 컴퓨터가 판독 가능한 비일시적 저장 매체를 포함할 수 있다.
일 실시예에서, 컴퓨팅 환경(3310)은 하나 이상의 ASIC, DSP, DSPD(Digital Signal Processing Device), PLD(Programmable Logic Device), FPGA, GPU, 컨트롤러, 마이크로 컨트롤러, 마이크로프로세서 또는 위의 방법을 수행하기 위한 기타 전자 컴포넌트로 구현될 수 있다.
추가 실시예는 또한 다양한 다른 실시예에서 조합되거나 그렇지 않으면 재배열된, 전술한 실시예의 다양한 서브세트를 포함한다.
하나 이상의 예에서, 설명된 기능은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다. 소프트웨어로 구현되면, 기능은 하나 이상의 명령어 또는 코드로서, 컴퓨터가 판독 가능한 매체에 저장되거나 전송될 수 있으며 하드웨어 기반 처리 디바이스에 의해 실행될 수 있다. 컴퓨터가 판독 가능한 매체는 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터가 판독 가능한 저장 매체, 또는 예를 들어 통신 프로토콜에 따라 한 장소에서 다른 장소로 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터가 판독 가능한 매체는 일반적으로 (1) 비일시적인, 유형의 컴퓨터가 판독 가능한 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는 본 출원에 설명된 구현의 구현을 위한 명령어, 코드 및/또는 데이터 구조를 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터가 판독 가능한 매체를 포함할 수 있다.
여기에서 구현의 설명에 사용된 용어는 특정 구현을 설명하기 위한 것이며 청구범위를 제한하려는 의도가 아니다. 구현 및 첨부된 청구범위의 설명에 사용된 바와 같이, 단수형 "a", "an" 및 "상기(the)"는 문맥상 명백하게 달리 지시하지 않는 한 복수형도 포함하는 것으로 의도된다. 또한, 여기에서 사용된 "및/또는"이라는 용어는 관련된 나열된 항목 중 하나 이상의 임의의 및 모든 가능한 조합을 지칭하고 포함하는 것으로 이해될 것이다. "포함하다" 및/또는 "포함하는"이라는 용어는 본 명세서에서 사용될 때, 명시된 특징, 엘리먼트 및/또는 컴포넌트의 존재를 지정하지만, 하나 이상의 다른 특징, 엘리먼트, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것이 더 이해될 것이다.
또한, 제1, 제2 등의 용어가 여기에서 다양한 엘리먼트를 설명하기 위해 사용될 수 있지만, 이러한 엘리먼트는 이러한 용어에 의해 제한되지 않아야 한다는 것이 이해될 것이다. 이 용어는 한 엘리먼트를 다른 엘리먼트와 구별하는 데에만 사용된다. 예를 들어, 구현의 범위를 벗어나지 않고, 제1 전극은 제2 전극으로 명명될 수 있고, 유사하게 제2 전극도 제1 전극으로 명명될 수 있다. 제1 전극과 제2 전극은 모두 전극이지만, 동일한 전극은 아니다.
본 명세서 전반에 걸쳐 단수 또는 복수의 "일 예", "예", "예시적인 예" 등에 대한 언급은, 예와 관련하여 설명된 하나 이상의 특정 특징, 구조 또는 특성이 본 개시의 적어도 하나의 예에 포함되는 것을 의미한다. 따라서 본 명세서 전반에 걸쳐 여러 곳에서 단수 또는 복수의 "일 예에서" 또는 "예에서", "예시적인 예에서" 등의 문구의 출현이 반드시 모두 동일한 예를 지칭하는 것은 아니다. 또한, 하나 이상의 예에서 특정한 특징, 구조 또는 특성은 임의의 적절한 방식으로 조합되는 것을 포함할 수 있다.
본 출원의 설명은 예시 및 설명의 목적으로 제공되었으며, 개시된 형태에서 본 발명을 포함하거나 제한하려는 의도가 아니다. 전술한 설명 및 관련 도면에서 제시된 교시의 이점을 갖는 당업자에게는 많은 수정, 변형 및 대체 구현이 명백할 것이다. 실시예는 본 발명의 원리, 실제 적용을 가장 잘 설명하고, 당업자가 다양한 구현을 위해 본 개시를 이해하고, 고려되는 특정 용도에 접합한 다양한 수정으로 기본 원리 및 다양한 구현을 가장 잘 활용할 수 있도록 하기 위해 선택되고 설명되었다. 따라서 청구항의 범위는 개시된 구현의 특정 예에 제한되지 않으며, 수정 및 다른 구현이 첨부된 청구항의 범위 내에 포함되도록 의도됨을 이해해야 한다.
Claims (21)
- 비디오 신호를 디코딩하는 방법으로서,
상기 비디오 신호로부터 제1 컴포넌트 및 제2 컴포넌트를 포함하는 픽처 프레임을 수신하는 단계;
상기 제2 컴포넌트의 개개의 샘플과 연관된 상기 제1 컴포넌트의 하나 이상의 샘플의 세트로부터 상기 제2 컴포넌트에 대한 분류기를 결정하는 단계;
상기 분류기에 따라 상기 픽처 프레임의 영역 내에서 상기 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 단계;
상기 분류기에 따라 상기 영역 내에서 상기 제2 컴포넌트의 개개의 샘플의 값을 수정하기로 한 결정에 응답하여, 상기 분류기에 따라 제2 상기 컴포넌트의 개개의 샘플에 대한 샘플 오프셋을 결정하는 단계; 및
상기 결정된 샘플 오프셋에 기반하여 상기 제2 컴포넌트의 개개의 샘플의 값을 수정하는 단계
를 포함하고,
상기 영역은 상기 픽처 프레임을 나누는 것에 의해 형성되는, 디코딩하는 방법. - 제1항에 있어서,
상기 제1 컴포넌트는 루마 컴포넌트이고 상기 제2 컴포넌트는 제1 크로마 컴포넌트이며, 또는
상기 제1 컴포넌트는 제1 크로마 컴포넌트이고 상기 제2 컴포넌트는 루마 컴포넌트이며, 또는
상기 제1 컴포넌트는 제1 크로마 컴포넌트이고 상기 제2 컴포넌트는 제2 크로마 컴포넌트인, 디코딩하는 방법. - 제1항에 있어서,
상기 영역은 서브픽처, 슬라이스, 타일, 패치, 코딩 트리 유닛(coding tree unit, CTU) 및 360 가상 경계로 구성된 그룹으로부터 선택된 하나인, 디코딩하는 방법. - 제3항에 있어서,
상기 영역의 경계는 CTU 경계와 정렬되는, 디코딩하는 방법. - 제3항에 있어서,
상기 영역의 경계는 상기 픽처 프레임에서 8×8 샘플 그리드의 경계와 정렬되는, 디코딩하는 방법. - 제1항에 있어서,
상기 영역은 상기 제1 컴포넌트의 제1 경계 및 상기 제2 컴포넌트의 제2 경계를 포함하는 영역 경계를 포함하는, 디코딩하는 방법. - 제6항에 있어서,
상기 제1 경계는 상기 제2 경계와 정렬되지 않는, 디코딩하는 방법. - 제6항에 있어서,
상기 제1 경계는 상기 제2 경계와 정렬되는, 디코딩하는 방법. - 제6항에 있어서,
상기 분류기에 따라 상기 픽처 프레임의 영역 내에서 상기 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 단계는,
상기 제2 컴포넌트의 개개의 샘플과 연관된 상기 제1 컴포넌트의 하나 이상의 샘플의 세트의 임의의 하나의 샘플이, 상기 제2 컴포넌트의 개개의 샘플을 기준으로 상기 영역 경계의 상이한 측에 위치된다는 결정에 따라,
상기 분류기에 따라 상기 픽처 프레임의 영역 내에서 상기 제2 컴포넌트의 개개의 샘플의 값을 수정하지 않기로 결정하는 단계
를 포함하는, 디코딩하는 방법. - 제6항에 있어서,
상기 분류기에 따라 상기 픽처 프레임의 영역 내에서 상기 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 단계는,
상기 제2 컴포넌트의 개개의 샘플과 연관된 상기 제1 컴포넌트의 하나 이상의 샘플의 세트의 제1 서브세트가 상기 제2 컴포넌트의 개개의 샘플을 기준으로 상기 영역 경계의 상이한 측에 위치되고, 상기 제2 컴포넌트의 개개의 샘플과 연관된 상기 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트는 상기 제2 컴포넌트의 개개의 샘플을 기준으로 상기 영역 경계의 동일한 측에 위치된다는 결정에 따라,
상기 제1 서브세트를 상기 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트 중 제2 서브세트로 교체하는 단계; 및
상기 분류기에 따라 상기 픽처 프레임의 영역 내에서 상기 제2 컴포넌트의 개개의 샘플의 값을 수정하기로 결정하는 단계
를 포함하는, 디코딩하는 방법. - 제10항에 있어서,
상기 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트 중 상기 제2 서브세트는, 상기 나머지 서브세트에서 상기 제1 컴포넌트의 샘플들 중 상기 제1 서브세트에 가장 가까운 행 또는 열로부터의 것인, 디코딩하는 방법. - 제10항에 있어서,
상기 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트 중 상기 제2 서브세트는, 상기 제1 서브세트에 대해 상기 제2 컴포넌트의 개개의 샘플 또는 상기 영역 경계의 대칭 위치에 위치되는, 디코딩하는 방법. - 제6항에 있어서,
상기 분류기에 따라 상기 픽처 프레임의 영역 내에서 상기 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 단계는,
상기 제2 컴포넌트의 개개의 샘플과 연관된 상기 제1 컴포넌트의 하나 이상의 샘플의 세트가 상기 제2 컴포넌트의 개개의 샘플을 기준으로 상기 영역 경계의 상이한 측에 위치된다는 결정에 따라,
상기 제1 컴포넌트의 하나 이상의 샘플의 세트를 상기 제2 컴포넌트의 개개의 샘플을 기준으로 상기 영역 경계의 동일한 측에 있는 상기 제1 컴포넌트의 샘플의 제2 세트로 대체하는 단계; 및
상기 분류기에 따라 상기 픽처 프레임의 영역 내에서 상기 제2 컴포넌트의 개개의 샘플의 값을 수정하기로 결정하는 단계
를 포함하는, 디코딩하는 방법. - 제13항에 있어서,
상기 제2 컴포넌트의 개개의 샘플을 기준으로 상기 영역 경계의 동일 측에 있는 샘플의 제2 세트는, 상기 제2 컴포넌트의 개개의 샘플을 기준으로 상기 영역 경계의 동일한 측에 있는 상기 제1 컴포넌트의 샘플들 중 상기 제1 컴포넌트의 하나 이상의 샘플의 세트에 가장 가까운 행 또는 열로부터의 것인, 디코딩하는 방법. - 제13항에 있어서,
상기 제2 컴포넌트의 개개의 샘플을 기준으로 상기 영역 경계의 동일한 측에 있는 샘플의 제2 세트는, 상기 제1 컴포넌트의 하나 이상의 샘플의 세트에 대해 상기 제2 컴포넌트의 개개의 샘플 또는 상기 영역 경계의 대칭 위치에 위치되는, 디코딩하는 방법. - 제6항에 있어서,
상기 분류기에 따라 상기 픽처 프레임의 영역 내에서 상기 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 단계는,
상기 제2 컴포넌트의 개개의 샘플과 연관된 상기 제1 컴포넌트의 하나 이상의 샘플의 세트의 제1 서브세트가 상기 제2 컴포넌트의 개개의 샘플을 기준으로 상기 영역 경계의 상이한 측에 위치되고, 상기 제2 컴포넌트의 개개의 샘플과 연관된 상기 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트는 상기 제2 컴포넌트의 개개의 샘플을 기준으로 상기 영역 경계의 동일한 측에 위치된다는 결정에 따라,
상기 제1 서브세트를 상기 제1 컴포넌트의 하나 이상의 샘플의 세트의 나머지 서브세트 중에서 하나 이상의 중앙 서브 세트의 제2 서브세트로 대체하는 단계; 및
상기 제1 컴포넌트의 하나 이상의 샘플의 세트의 경계 위치에서 상기 나머지 서브세트의 제3 서브세트를, 상기 제1 컴포넌트의 하나 이상의 샘플의 세트의 상기 나머지 서브세트 중에서 상기 하나 이상의 중앙 서브세트의 제4 서브세트 또는 상기 제2 서브세트로 대체하는 단계; 및
상기 분류기에 따라 상기 픽처 프레임의 영역 내에서 상기 제2 컴포넌트의 개개의 샘플의 값을 수정하기로 결정하는 단계
를 포함하는, 디코딩하는 방법. - 제16항에 있어서,
상기 제3 서브세트와 상기 제1 서브세트는 상기 제1 컴포넌트의 하나 이상의 샘플 세트 내에 대칭적으로 위치되는, 디코딩하는 방법. - 제1항에 있어서,
상기 분류기에 따라 상기 픽처 프레임의 영역 내에서 상기 제2 컴포넌트의 개개의 샘플의 값을 수정할지를 판정하는 단계는,
상기 비디오 신호의 크로마 포맷이 4:0:0이라는 결정에 따라,
상기 분류기에 따라 상기 픽처 프레임의 영역 내에서 상기 제2 컴포넌트의 개개의 샘플의 값을 수정하지 않기로 결정하는 단계
를 포함하는, 디코딩하는 방법. - 전자 장치로서,
하나 이상의 처리 유닛;
상기 하나 이상의 처리 유닛에 결합된 메모리; 및
상기 메모리에 저장된 복수의 프로그램
을 포함하고,
상기 복수의 프로그램은 상기 하나 이상의 처리 유닛에 의해 실행될 때, 상기 전자 장치가 제1항 내지 제18항 중 어느 한 항의 방법을 수행하게 하는, 전자 장치. - 제1항 내지 제18항 중 어느 한 항에 따른 비디오 신호를 디코딩하는 방법에 의해 생성된 비디오 정보를 포함하는 비트스트림이 저장된, 컴퓨터가 판독 가능한 저장 매체.
- 하나 이상의 처리 유닛을 갖는 전자 장치에 의한 실행을 위한 복수의 프로그램을 저장하는, 컴퓨터가 판독 가능한 비일시적 저장 매체로서,
상기 복수의 프로그램은 상기 하나 이상의 처리 유닛에 의해 실행될 때, 상기 전자 장치가 제1항 내지 제18항 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터가 판독 가능한 비일시적 저장 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163200626P | 2021-03-18 | 2021-03-18 | |
| US63/200,626 | 2021-03-18 | ||
| US202163164459P | 2021-03-22 | 2021-03-22 | |
| US63/164,459 | 2021-03-22 | ||
| PCT/US2022/020538 WO2022197794A1 (en) | 2021-03-18 | 2022-03-16 | Coding enhancement in cross-component sample adaptive offset |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230156790A true KR20230156790A (ko) | 2023-11-14 |
Family
ID=83320971
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237035678A KR20230156790A (ko) | 2021-03-18 | 2022-03-16 | 교차 컴포넌트 샘플 적응적 오프셋에서의 코딩 향상 |
| KR1020237030321A KR20230144050A (ko) | 2021-03-18 | 2022-03-16 | 교차-성분 샘플 적응적 오프셋에서의 코딩 향상 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237030321A KR20230144050A (ko) | 2021-03-18 | 2022-03-16 | 교차-성분 샘플 적응적 오프셋에서의 코딩 향상 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US20240007662A1 (ko) |
| EP (2) | EP4309364A1 (ko) |
| JP (2) | JP2024513160A (ko) |
| KR (2) | KR20230156790A (ko) |
| MX (2) | MX2023010325A (ko) |
| WO (2) | WO2022197794A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024074752A1 (en) * | 2022-10-06 | 2024-04-11 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107426579B (zh) * | 2011-06-24 | 2020-03-10 | Lg 电子株式会社 | 图像信息编码和解码方法 |
| JP6175505B2 (ja) * | 2012-09-28 | 2017-08-02 | ヴィド スケール インコーポレイテッド | ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング |
| US10708588B2 (en) * | 2013-06-19 | 2020-07-07 | Apple Inc. | Sample adaptive offset control |
| BR112021026341A2 (pt) * | 2019-06-24 | 2022-02-08 | Sharp Kk | Sistemas e métodos para reduzir um erro de reconstrução na codificação de vídeo com base em uma correlação entre componentes |
| KR20220036977A (ko) * | 2019-07-25 | 2022-03-23 | 에이치에프아이 이노베이션 인크. | 비디오 코딩을 위한 가상 경계를 사용한 교차 성분 적응적 루프 필터링의 방법 및 장치 |
-
2022
- 2022-03-16 EP EP22772120.6A patent/EP4309364A1/en active Pending
- 2022-03-16 JP JP2023557382A patent/JP2024513160A/ja active Pending
- 2022-03-16 MX MX2023010325A patent/MX2023010325A/es unknown
- 2022-03-16 WO PCT/US2022/020538 patent/WO2022197794A1/en active Application Filing
- 2022-03-16 WO PCT/US2022/020588 patent/WO2022197828A1/en active Application Filing
- 2022-03-16 EP EP22772144.6A patent/EP4309365A1/en active Pending
- 2022-03-16 JP JP2023552481A patent/JP2024509801A/ja active Pending
- 2022-03-16 KR KR1020237035678A patent/KR20230156790A/ko active Search and Examination
- 2022-03-16 MX MX2023010914A patent/MX2023010914A/es unknown
- 2022-03-16 KR KR1020237030321A patent/KR20230144050A/ko active Search and Examination
-
2023
- 2023-09-18 US US18/469,472 patent/US20240007662A1/en active Pending
- 2023-09-18 US US18/469,409 patent/US20240007652A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4309364A1 (en) | 2024-01-24 |
| US20240007662A1 (en) | 2024-01-04 |
| WO2022197828A1 (en) | 2022-09-22 |
| US20240007652A1 (en) | 2024-01-04 |
| JP2024513160A (ja) | 2024-03-22 |
| EP4309365A1 (en) | 2024-01-24 |
| MX2023010325A (es) | 2023-09-14 |
| JP2024509801A (ja) | 2024-03-05 |
| KR20230144050A (ko) | 2023-10-13 |
| WO2022197794A1 (en) | 2022-09-22 |
| MX2023010914A (es) | 2023-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230388509A1 (en) | Chroma coding enhancement in cross-component sample adaptive offset | |
| US20230396781A1 (en) | Coding enhancement in cross-component sample adaptive offset | |
| US20230308652A1 (en) | Chroma coding enhancement in cross-component sample adaptive offset with virtual boundary | |
| US20240007662A1 (en) | Coding enhancement in cross-component sample adaptive offset | |
| US20230336785A1 (en) | Coding enhancement in cross-component sample adaptive offset | |
| CN115989675A (zh) | 交叉分量样本自适应偏移中的色度编码增强 | |
| CN115956362A (zh) | 跨分量样点自适应偏移中的色度编码增强 | |
| US20230379480A1 (en) | Chroma coding enhancement in cross-component sample adaptive offset | |
| KR20230170072A (ko) | 교차-컴포넌트 샘플 적응적 오프셋에서의 코딩 강화 | |
| US20230262235A1 (en) | Chroma coding enhancement in cross-component sample adaptive offset with virtual boundary | |
| KR20240011197A (ko) | 교차 성분 샘플 적응 오프셋에서의 코딩 향상 | |
| CN117203962A (zh) | 跨分量样本自适应偏移中的编解码增强 | |
| CN117413516A (zh) | 跨分量样本自适应偏移中的编解码增强 | |
| CN116965017A (zh) | 在跨分量样点自适应偏移中的色度编解码增强 | |
| KR20240039168A (ko) | 크로스-컴포넌트 샘플 적응적 오프셋에서의 코딩 강화 | |
| CN116569551A (zh) | 交叉分量样本自适应偏移中的色度编码增强 | |
| CN117917074A (zh) | 跨分量样点自适应偏移中的编解码增强 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |