KR20220046686A

KR20220046686A - 비디오 코딩을 위한 제약된 교차 성분 적응형 루프 필터링 방법 및 장치

Info

Publication number: KR20220046686A
Application number: KR1020227009502A
Authority: KR
Inventors: 칭-예 첸; 올레나 추바흐; 쯔-데르 추앙; 치-웨이 수; 유-웬 후앙
Original assignee: 에이치에프아이 이노베이션 인크.
Priority date: 2019-09-16
Filing date: 2020-09-16
Publication date: 2022-04-14
Also published as: US20210084295A1; WO2021052361A1; CN116389736A; EP4026325A4; TWI751703B; TW202114416A; EP4026325A1; CN114430903B; US11202068B2; CN114430903A

Abstract

재구성된 비디오의 교차 색상 루프 필터 처리를 위한 방법 및 장치가 개시된다. 한 방법에 따르면, 하나 이상의 후보 교차 색상 루프 필터 각각에 대한 필터 계수의 합은 고정 값이 되도록 제약된다. 필터 세트에서 후보 필터의 총수와 관련된 값을 나타내는 하나 이상의 신택스 요소는 적응 파라미터 세트(Adaptation Parameter Set; APS)에서 시그널링되거나 파싱된다.

Description

비디오 코딩을 위한 제약된 교차 성분 적응형 루프 필터링 방법 및 장치

관련 출원에 대한 상호 참조

본 발명은 2019년 9월 16일에 출원된 미국 특허 가출원 제62/900,702호, 2019년 11월 26일에 출원된 미국 특허 가출원 제62/940,321호, 2019년 12월 27일에 출원된 미국 특허 가출원 제62/954,024호, 및 2020년 1월 2일에 출원된 미국 특허 가출원 제62/956,356호에 대한 우선권을 주장한다. 상기 미국 특허 가출원들은 인용에 의해 그 전부가 본원에 통합된다.

본 발명은 비디오 코딩 시스템에서 적응형 루프 필터(adaptive loop filter; ALF) 처리에 관한 것이다. 특히, 본 발명은 비디오 인코더 또는 디코더에서 교차 성분 ALF 처리를 제약하는 것에 관한 것이다.

모션 추정은 비디오 시퀀스에서 시간적 중복성을 활용하기 위한 효과적인 프레임 간 코딩 기술이다. 모션 보상 프레임 간 코딩은 다양한 국제 비디오 코딩 표준에서 널리 사용되었다. 다양한 코딩 표준에서 채택된 모션 추정은 종종 블록 기반 기술이며, 예를 들어, 코딩 모드 및 모션 벡터와 같은 모션 정보는 각각의 매크로 블록 또는 유사한 블록 구성에 대해 결정된다. 또한, 임의의 다른 화상을 참조하지 않고 화상이 처리되는 인트라 코딩도 적응적으로 적용된다. 인터 예측 또는 인트라 예측된 잔차는 일반적으로 변환, 양자화, 및 엔트로피 코딩에 의해 추가 처리되어 압축된 비디오 비트스트림을 생성한다. 인코딩 프로세스 동안, 특히 양자화 프로세스에서 코딩 아티팩트가 도입된다. 코딩 아티팩트를 완화하기 위해, 재구성된 비디오에 추가 처리가 적용되어 최신 코딩 시스템에서 화질을 향상시켰다. 추가 처리는 종종 인루프 동작(in-loop operation)으로 구성되어 인코더 및 디코더가 개선된 시스템 성능을 달성하기 위해 동일한 참조 화상을 유도할 수 있다.

도 1a는 적응형 루프 필터(adaptive loop filter; ALF)를 포함하는 인루프 처리를 통합하는 예시적인 적응형 인터/인트라 비디오 코딩 시스템을 도시한다. 인터-예측을 위해, 모션 추정(Motion Estimation; ME)/모션 보상(Motion Compensation; MC)(112)은 다른 화상 또는 화상들로부터의 비디오 데이터에 기초한 예측 데이터를 제공하기 위해 사용된다. 스위치(114)는 인트라 예측(110) 또는 인터-예측 데이터를 선택하고 선택된 예측 데이터는 가산기(116)에 공급되어 잔차라고도 하는 예측 오류를 형성한다. 그 후, 예측 오류는 변환(T)(118)에 이어 양자화(Q)(120)에 의해 처리된다. 그 후, 변환되고 양자화된 잔차는 엔트로피 인코더(122)에 의해 코딩되어 압축된 비디오 데이터에 대응하는 비디오 비트스트림을 형성한다. 변환 계수와 연관된 비트스트림은 예를 들어, 모션, 모드, 및 이미지 영역과 연관된 다른 정보와 같은 부가 정보로 채워진다(packed). 부가 정보는 필요한 대역폭을 줄이기 위해 엔트로피 코딩을 거칠(subject to) 수도 있다. 따라서, 부가 정보와 연관된 데이터는 도 1a에 도시된 바와 같이 엔트로피 인코더(122)에 제공된다. 인터 예측 모드가 사용하는 경우 인코더 단(encoder end)에서도 참조 화상 또는 화상들이 재구성되어야 한다. 결과적으로, 변환되고 양자화된 잔차는 역양자화(Inverse Quantization; IQ)(124) 및 역변환(Inverse Transformation; IT)(126)에 의해 처리되어 잔차를 복구한다. 그 후, 잔차는 비디오 데이터를 재구성하기 위해 재구성(REC)(128)에서 예측 데이터(136)에 다시 추가된다. 재구성된 비디오 데이터는 참조 화상 버퍼(134)에 저장되고 다른 프레임의 예측을 위해 사용될 수 있다.

도 1a에 도시된 바와 같이, 유입 비디오 데이터는 인코딩 시스템에서 일련의 처리를 거친다. REC(128)로부터 재구성된 비디오 데이터는 일련의 처리로 인해 다양한 손상을 받을 수 있다. 따라서, 재구성된 비디오 데이터가 비디오 품질 향상을 위해 참조 화상 버퍼(134)에 저장되기 전에 다양한 인루프 처리가 적용된다. 비디오 코딩 시스템에서는, 예를 들어, 디블록킹 필터(Deblocking Filter; DF)(130), 샘플 적응형 오프셋(Sample Adaptive Offset; SAO)(131), 및 적응형 루프 필터(Adaptive Loop Filter; ALF)(132)와 같은 다양한 인루프 필터가 화질을 향상시키는 데 사용되었다.

도 1a의 인코더에 대해 대응하는 디코더가 도 1b에 도시되어 있다. 비디오 비트스트림은 변환되고 양자화된 잔차를 복구하기 위해 엔트로피 디코더(142)에 의해 디코딩된다. 디코더 측에서는 ME/MC 대신 모션 보상(Motion Compensation; MC)(113)만 수행된다. 디코딩 프로세스는 인코더 측의 재구성 루프와 유사하다. 복원된 변환 및 양자화된 잔차, SAO/ALF 정보 및 다른 시스템 정보는 비디오 데이터를 재구성하는 데 사용된다. 재구성된 비디오는 최종 향상된 디코딩된 비디오를 생성하기 위해 DF(130), SAO(131) 및 ALF(132)에 의해 추가로 처리된다.

교차 성분 ALF 처리

문헌 [JVET-O0636(Kiran Misra, et al., "Cross-Component Adaptive Loop Filter for chroma", Joint Video Experts Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 15th Meeting: Gothenburg, SE, 3-12 July 2019, Document: JVET-O0636)]에서, 교차 성분 적응형 루프 필터(Cross-Component Adaptive Loop Filter; CC-ALF)가 제안된다. CC-ALF는 루마 샘플 값을 사용하여 각 크로마 성분을 리파인(refine)한다. 도 2a는 JVET-O0636에 따른 다른 루프 필터에 대한 CC-ALF의 구조를 도시한다. 도 2a에서, ALF 처리는 각각의 SAO(210, 212, 및 214) 이후에 수행된다. 기존의 비디오 코딩 시스템에서는, ALF 루마(220)와 ALF 크로마(230)만이 사용된다. JVET-O0636에서, 2개의 추가 ALF 필터, 즉, CC ALF Cb(222) 및 CC ALF Cr(224)은 각각 가산기(240 및 242)를 사용하여 ALF 처리된 Cb 및 Cr에 추가할 조정 신호를 유도하는 데 사용된다.

CC-ALF는 JVET-O0636에 따라 도 2b에서와 같이 각 크로마 성분에 대한 루마 채널에 선형 다이아몬드 형상 필터를 적용하여 동작한다. 필터 계수는 APS에서 송신되고 2¹⁰배의 비율로 조정되며 고정 소수점 표시를 위해 반올림된다. 필터의 적용은 가변 블록 크기에서 제어되고 샘플의 각 블록에 대해 수신된 컨텍스트 코딩된 플래그에 의해 시그널링된다. CC-ALF 활성화 플래그(enabling flag)와 함께 블록 크기는 각 크로마 성분에 대한 슬라이스 레벨에서 수신된다. CC-ALF에 대한 신택스 및 시맨틱스는 JVET-O0636에도 개시되어 있다.

위에서 언급했듯이 CC-ALF는 각 크로마 성분에 대한 루마 채널에 선형 다이아몬드 형상 필터를 적용하여 동작한다. 도 2c는 루마 샘플에 대한 CC-ALF(250)의 배치의 예를 도시한다. 기호의 범례(260)가 도시되어 있으며, 여기서 빈 원은 루마 샘플을 나타냈고 빗금 친 선으로 채워진 원은 크로마 샘플을 나타낸다. 예를 들어, 다이아몬드 형상 필터(253 및 255)는 크로마 샘플(252 및 254) 각각에 대해 보여진다. 필터 계수 동적 범위는 6비트 유부호(signed) 값으로 제한된다. 필터 선택은 최대 4개의 필터를 지원하는 CTU 수준에서 수행된다. 대칭 라인 선택은 (ALF와 더 잘 조화되도록) 가상 경계에서 사용된다. 임시 레이어 계수 버퍼는 (APS 개념과 더 잘 조화되도록) 사용되지 않는다. 잔차 출력은 -2BitDepthC-1 이상 2bitDepthC-1-1 이하로 클리핑된다.

필터의 적용은 가변 블록 크기에서 제어되고 샘플의 각 블록에 대해 수신된 컨텍스트 코딩된 플래그에 의해 시그널링된다. CC-ALF 활성화 플래그(enabling flag)와 함께 블록 크기는 각 크로마 성분에 대한 슬라이스 레벨에서 수신된다. CC-ALF에 대한 신택스 및 시맨틱스는 부록에 제공된다. 그 기고문에서, (크로마 샘플에서) 다음 블록 크기가 지원되었다: 16x16, 32x32, 64x64, 128x128.

라인 버퍼 사용을 줄이기 위한 가상 경계

SAO 및 ALF의 라인 버퍼 요건을 제거하기 위해, 우리는 가상 경계(virtual boundary; VB) 개념을 도입한다. 도 3에 도시된 바와 같이, VB는 N개의 라인만큼 상향 시프트된 수평 최대 코딩 단위(largest coding unit; LCU) 경계이다. 각 LCU에 대해, SAO 및 ALF는 하부 LCU가 오기 전에 VB 위의 라인을 처리할 수 있지만 DF에 의해 야기되는 하부 LCU가 올 때까지 VB 아래의 라인을 처리할 수 없다. HM-4.0에서 DF를 고려하여, 제안된 VB와 수평 LCU 경계 사이의 공간은 루마에 대해 3개의 라인(즉, 도 3에서 N=3)과 크로마에 대해 1개의 라인(즉, 도 3에서 N=1)로서 설정된다. SAO 및 ALF는 임의의 추가 라인 버퍼를 사용하지 않고 데이터를 제때에 사용할 수 있는 경우가 아니면 VB의 한 쪽에서 처리될 모든 위치가 VB의 다른 쪽에서 임의의 데이터 액세스를 요구하지 않도록 수정된다.

JVET 11차 회의에서는, 차세대 비디오 코딩 표준인 다용도 비디오 코딩(Versatile Video Coding; VVC)의 초안에 4x4 블록 기반 적응을 갖는 ALF가 채택되었다. 하나의 4x4 블록의 경우, 블록 속성을 계산하는 데 하나의 8x8 윈도우가 필요하며 필터 풋프린트는 루마를 위한 하나의 7x7 다이아몬드 필터와 크로마를 위한 하나의 5x5 다이아몬드 필터이다. 따라서 가상 경계가 없는 요구되는 라인 버퍼는 4개의 루마 DF 라인 버퍼와 2개의 크로마 DF 라인 버퍼 위의 추가적인 7개의 루마 라인 버퍼와 3개의 크로마 라인 버퍼이다. 가상 경계의 개념은 여전히 VVC에 적용되어 라인 버퍼 사용을 줄일 수 있다. 위의 설명에서, 최대 코딩 단위(largest coding unit; LCU)는 VVC에서 코딩 트리 단위(coding tree unit; CTU)로서 개명(rename)되었다. 그러나 현재 ALF 설계의 피처(features)에 맞게 일부 수정이 제안된다.

비선형 ALF 동작

VTM3.0(다용도 비디오 코딩(Versatile Video Coding; VVC) 테스트 모델 버전 3.0)에서, 적응형 루프 필터의 필터링 프로세스는 다음과 같이 수행된다:

위의 수학식에서 샘플

은 입력 샘플이고,

는 필터링된 출력 샘플(즉, 필터 결과)이며,

는 필터 계수를 나타낸다. ALF는 재구성된 샘플에 적용되기 때문에, 샘플

은 재구성된 샘플에 대응한다. ALF 처리의 중심 위치에서 재구성된 중심 위치는 (i, j) =(0, 0), 즉, I(i, j)에 대응한다. 실제로, VTM3.0에서는 고정 소수점 정밀도 계산을 위해 정수 산술을 사용하여 구현된다:

위의 수학식에서, L은 필터 길이를 나타내며

는 고정 소수점 정밀도의 필터 계수이다.

수학식 1은 코딩 효율성에 영향을 미치지 않고 다음 식으로 다시 공식화될 수 있다:

위의 수학식에서,

는

을 제외하고는 수학식 1에서와 동일한 필터 계수인데,

은 수학식 3에서 1과 같은 반면에

은 수학식 1에서

와 같다.

위의 수학식 3의 필터 공식을 사용하여, 우리는 이웃 샘플 값

이 필터링되고 있는 현재 샘플 값

과 매우 다른 경우, 간단한 클리핑 함수를 사용하여 이웃 샘플 값의 영향을 감소시키도록 ALF를 보다 효율적으로 만들기 위해 비선형성을 쉽게 도입할 수 있다

문헌 [JVET-M0385((J. Taquet, et al., "Non-Linear Adaptive Loop Filter", in Joint Video Exploration Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 13th Meeting: Marrakech, MA, 9-18 Jan. 2019, Document: JVET- M0385))]에서, 비선형 ALF가 개시된다. 이 문헌은 테스트 소프트웨어 VTM3.0에서 적응형 루프 필터의 입력 샘플 값에 적응형 클리핑 동작을 도입한다. 이 적응형 클리핑의 목표는 필터링될 입력 샘플 값과 필터의 다른 이웃 입력 샘플 값 사이의 차이를 제한하기 위해 일부 비선형성을 도입하는 것이다.

JVET-M0385에 따르면 ALF 필터 동작은 다음과 같이 수정된다:

위의 수학식에서, O'(x,y)는 수정된 ALF 필터 출력에 대응하고, I(x,y)는 ALF 이전의 샘플에 대응하고,

는 클리핑 함수이고,

는 (i, j)에서 필터 계수에 의존하는 클리핑 파라미터이다. 인코더는 최상의

을 찾기 위해 최적화를 수행한다.

JVET-M0385에 따른 구현에서, 클리핑 파라미터

는 필터 계수당 하나의 클리핑 값이 시그널링되는 각 ALF 필터에 대해 명시된다. 이는 루마 필터당 12개의 클리핑 값이 비트스트림에서 시그널링되고 크로마 필터에 대해 6개의 클리핑 값이 시그널링됨을 의미한다.

시그널링 비용과 인코더 복잡성을 제한하기 위해, 클리핑 값은 JVET-M0385에서 가능한 값의 작은 세트로 제한된다. 또한, 인터 슬라이스에 대해 4개의 가능한 값만 사용되고 인트라 슬라이스에 대해 3개의 가능한 값만이 사용된다.

로컬 차이의 분산이 크로마에 대해서 보다 루마에 대해서 더 높기 때문에, 루마 필터 및 크로마 필터에 대해 2개의 상이한 세트들이 사용된다. 또한, 각 세트에는 최대 샘플 값이 포함되어 있어, 필요하지 않은 경우 클리핑이 비활성화될 수 있다.

JVET-M0385에 따라 제안된 클리핑 값 세트는 표 1에 제공된다.

	인트라	인터
루마	{ 10, 102, 1024 }	{ 6, 32, 181, 1024 }
크로마	{ 4, 24, 1024 }	{ 4, 25, 161, 1024 }

표 1. 허용되는 클리핑 값

클리핑 값은 이 세트의 클리핑 값의 인덱스에 대응하는 골롬 인코딩(Golomb encoding)을 사용하여 슬라이스 헤더에 인코딩된다.

가상 경계를 사용하여 ALF에 대한 감소된 버퍼 요건

문헌 [JVET-M0301((A. Kotra, et al., "Non-CE: Loop filter line buffer reduction", in Joint Video Exploration Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 13th Meeting: Marrakech, MA, 9-18 Jan. 2019, Document: JVET- M0301)]에서, 적응형 루프 필터(ALF)의 라인 버퍼 요건을 감소시키는 메커니즘이 개시된다. 이 기고문은 "N"개의 샘플만큼 위쪽으로 시프트된 수평 CTU 경계인 가상 경계(VB)의 개념을 사용한다. 수정된 ALF 블록 분류 및 수정된 ALF 필터링은 필요한 라인 버퍼의 수를 줄이기 위해 가상 경계에 가까운 샘플에 적용된다. 수정된 ALF 블록 분류는 VB 위에 있는 샘플만 사용하여 VB 위에 있는 주어진 4 x 4 블록을 분류한다. 유사하게 VB 아래의 4 x 4 블록의 분류를 위해, VB 아래 라인에 속하는 샘플이 사용된다. 수정된 ALF 필터링은 원래 ALF 필터의 조건부 비활성화 및 절단된 버전(conditional disabling and truncated versions)의 조합을 사용한다.

가상 경계에서 절단된 ALF 필터링

절단된 버전의 필터는 가상 경계에 가까운 라인에 속하는 루마 샘플을 필터링하는 데 사용된다. 이러한 절단된 버전의 필터는 N=4 및 N=6 경우 모두에 사용될 수 있다. 유사하게, 필터의 절단된 버전은 크로마 ALF 필터링에도 사용된다.

절단된 ALF의 경우, 계수는 정규화되어야 하는데, 즉, 나머지 계수의 합은 원래 계수의 합과 같아야 한다. 도 4a 내지 도 4f는 가상 경계에서 절단된 루마 ALF 필터 처리를 위한 계수 정규화의 예를 도시한다. 도 4a는 상단 위치(즉, 위치 c0)가 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다. 계수 c2는 c2'로 수정되며, 여기서 c2' = c2 + c0이다. 도 4b는 하단 위치(즉, c0)가 가상 경계 외부에 있는 경우를 도시한다. 도 4c는 상단 2개의 행(즉, 위치 c0, c1, c2 및 c3)이 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다. 따라서, 계수 c5, c6 및 c7은 c5', c6' 및 c7'로 수정되며, 여기서 c5' = c5 + c1, c6' = c6 + c2 + c0이고, c7' = c7 + c3이다. 도 4d는 하단 2개의 행(즉, 위치 c0, c1, c2 및 c3)이 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다. 도 4e는 상단 3개의 행(즉, 위치 c0 내지 c8)이 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다. 따라서, 계수 c10, c11 및 c12는 c10', c11' 및 c12'로 수정되며, 여기서 c10' = c10 + c4 + c8, c11' = c11 + c5 + c7 + c1 + c3이고 c12' = c12 + 2*c6 + 2*c2 + 2*c0이다. 도 4f는 하단 3개의 행(즉, 위치 c0 내지 c8)이 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다.

도 5a 내지 도 5d는 가상 경계에서 절단된 크로마 ALF 필터 처리의 예를 도시한다. 도 5a는 상단 위치(즉, 위치 c0)가 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다. 계수 c2는 c2'로 수정되며, 여기서 c2'= c2 + c0이다. 도 5b는 하단 위치(즉, c0)가 가상 경계 외부에 있는 경우를 도시한다. 도 5c는 상단 2개 행(즉, 위치 c0, c1, c2 및 c3)이 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다. 따라서 계수 c5 및 c6은 c5' 및 c6'으로 수정되며, 여기서 c5' = c5 + c1 + c3이고 c6' = c6 + 2*c2 + 2*c0이다. 도 5d는 하단 2개의 행(즉, 위치 c0, c1, c2 및 c3)이 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다.

이 출원에서는 다양한 다른 ALF 경계 문제가 해결되고 성능을 개선하고 여러 시스템을 통합하거나 ALF 경계 프로세스를 단순화하기 위한 솔루션이 개시된다.

재구성된 비디오의 루프 필터 처리를 위한 방법 및 장치가 개시된다. 한 방법에 따르면, 재구성된 샘플이 수신된다. 타겟 교차 색상 적응형 루프 필터(Cross-Colour Adaptive Loop Filter; CCALF)가 결정되고, 타겟 CCALF는 하나 이상의 후보 필터를 포함하는 필터 세트에 속하며, 상기 하나 이상의 후보 필터에서 각 후보 필터에 대한 필터 계수의 합은 고정 값(fixed value)이 되도록 제약된다. 타겟 CCALF는 타겟 재구성된 크로마 샘플에 대한 CCALF 필터링된 크로마 샘플을 생성하기 위해 관련된 재구성된 루마 샘플에 적용된다. CCALF 필터링된 크로마 샘플과 일반(regular) ALF 필터링된 크로마 샘플을 결합하여 최종 필터링된 크로마 샘플이 생성되며, 최종 필터링된 크로마 샘플은 비디오 디코딩 출력으로 사용되거나 추가 비디오 인코딩 프로세스 또는 디코딩 프로세스에 사용된다.

일 실시예에서, 고정 값은 0과 같다. 또 다른 실시예에서, 각 후보 필터에 대한 고유 필터 계수의 수가 M과 같은 경우, 각각의 후보 필터에 대한 (M-1)개의 필터 계수만이 디코더 측에서 디코딩되고, M은 1보다 큰 정수이다. 일 실시예에서, (M-1)개의 필터 계수 이외의 하나의 필터 계수는 디코더 측에서 디코딩되지 않거나 인코더 측에서 인코딩되지 않으며, 디코딩되지 않은 필터 계수는 각각의 후보 필터에 대한 고유 필터 계수들 중에서 임의의 선택된 계수에 대응한다.

또 다른 방법에 따라, 인코더 측에서 비디오 비트스트림의 적응 파라미터 세트(APS)에서 하나 이상의 신택스 요소가 시그널링되거나 디코더 측에서 비디오 비트스트림의 APS에서 하나 이상의 신택스 요소가 파싱되며, 상기 하나 이상의 신택스 요소는 필터 세트에 있는 후보 필터의 총수와 관련된 값을 나타낸다. 타겟 교차 색상 적응형 루프 필터(CCALF)가 결정되고, 타겟 CCALF는 하나 이상의 후보 필터를 포함하는 필터 세트에 속하고, 상기 하나 이상의 후보 필터 각각에 대한 필터 계수의 합은 고정 값이 되도록 제약된다. 타겟 CCALF는 타겟 재구성된 크로마 샘플에 대한 CCALF 필터링된 크로마 샘플을 생성하기 위해 관련된 재구성된 루마 샘플에 적용된다. CCALF 필터링된 크로마 샘플과 일반(regular) ALF 필터링된 크로마 샘플을 결합하여 최종 필터링된 크로마 샘플이 생성되며, 최종 필터링된 크로마 샘플은 비디오 디코딩 출력으로서 사용되거나 추가 비디오 인코딩 프로세스 또는 비디오 디코딩 프로세스에 사용된다.

일 실시예에서, 하나의 신택스 요소는 각 색상 성분에 대해 시그널링되거나 파싱된다. 일 실시예에서, 상기 하나 이상의 신택스 요소는 필터 세트 내의 후보 필터의 총 수에서 1을 뺀 값에 대응하는 값을 포함한다.

도 1a는 DF, SAO 및 ALF 인루프 처리를 통합하는 예시적인 적응형 인터/인트라 비디오 인코딩 시스템을 도시한다.
도 1b는 DF, SAO 및 ALF 인루프 처리를 통합하는 예시적인 적응형 인터/인트라 비디오 디코딩 시스템을 도시한다.
도 2a는 JVET-O0636에 따른 다른 루프 필터에 대한 CC-ALF의 구조를 도시하며, 여기서 각각의 SAO 후에 ALF 처리가 수행된다.
도 2b는 JVET-O0636에 따라 각 크로마 성분에 대한 루마 채널에 적용된 다이아몬드 형상의 필터를 도시한다.
도 2c는 루마 샘플에 대한 CC-ALF(250)의 배치의 예를 도시한다.
도 3은 수평 LCU 경계를 N 라인만큼 상향 시프트함으로써 VB의 예를 도시한다.
도 4a 내지 도 4f는 가상 경계에서 절단된 루마 ALF 필터 처리를 위한 계수 정규화의 예를 도시하며, 여기서 도 4a는 상단 위치가 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다; 도 4b는 하단 위치가 가상 경계 외부에 있는 경우를 도시한다; 도 4c는 상단 2개의 행이 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다; 도 4d는 하단 2개의 행이 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다; 도 4e는 상단 3개의 행이 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다; 그리고 도 4f는 하단 3개의 행이 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다.
도 5a 내지 도 5d는 가상 경계에서 절단된 크로마 ALF 필터 처리의 예를 도시하며, 여기서 도 5a는 상단 위치가 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다; 도 5b는 하단 위치가 가상 경계 외부에 있는 경우를 도시한다; 도 5c는 상단 2개의 행이 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다; 도 5d는 하단 2개의 행이 가상 경계 외부에 있는 경우에 대한 수정된 ALF 계수를 도시한다.
도 6은 계수가 c0에서 c6인 3x4 다이아몬드 형상 CCALF의 예를 도시한다.
도 7은 본 발명의 실시예에 따른 재구성된 비디오의 예시적인 ALF 처리의 흐름도를 도시하며, 여기서 하나 이상의 후보 필터 각각에 대한 필터 계수의 합은 고정 값이 되도록 제약된다.
도 8은 본 발명의 실시예에 따른 재구성된 비디오의 예시적인 ALF 처리의 흐름도이며, 여기서 필터 세트의 후보 필터의 총수와 관련된 값을 나타내는 하나 이상의 신택스 요소는 적응 파라미터 세트(Adaptation Parameter Set; APS)에서 시그널링되거나 파싱된다.

이하에서는 본 발명의 최상으로 예상되는 실행 모드를 설명한다. 이 설명은 본 발명의 일반적인 원리를 예시하기 위한 것이고 제한하는 의도로 해석되지 않아야 한다. 발명의 범위는 첨부된 특허 청구항들을 참고하여 최상으로 결정된다.

방법 1: CC-ALF에서의 대응 루마 샘플

CC-ALF에서 크로마 성분에 대해 하나의 추가 필터가 추가되고 필터링된 출력은 원래 크로마 필터와 추가 필터의 가중화된 합이 될 것이다. 비디오 형식이 YUV444 또는 RGB444인 경우, 처리될 크로마 샘플의 대응 루마 샘플은 상이한 색상 성분에서 동일한 공간적 위치를 사용하여 잘 정의된다. 그러나 비디오 형식이 YUV420 또는 YUV444인 경우, CC-ALF에서 대응 루마 샘플의 정의는 하나의 문제이다. 일 실시예에서, 대응하는 루마 샘플은 YUV 포맷 또는 크로마의 샘플링 위치에 따라 다운 샘플링된다. 예를 들어, 비디오 형식이 YUV420이고 크로마의 샘플링 위치가 루마 위치 측면에서 (0, 0.5)인 경우, 대응 루마 샘플은 4개의 루마 샘플 중 하나일 수 있다. 또 다른 예에서, 대응하는 루마 샘플은 좌측 2개의 루마 샘플의 평균일 수 있다. 또 다른 예에서, 대응하는 루마 샘플은 좌측(우측) 상단 및 하단 루마 샘플의 평균일 수 있다. 또 다른 경우에, 대응하는 루마 샘플은 4개의 루마 샘플의 평균일 수 있다. 필터 풋프린트는 크로마 위치 또는 루마 위치의 측면에서 정의될 수 있다. 필터 풋프린트가 크로마 샘플 위치의 측면에서 정의되면, CC-ALF 필터링 프로세스의 입력은 위에서 언급된 대응 루마 샘플이다. 필터 풋프린트가 루마 샘플 위치의 측면에서 정의되면, CC-ALF에서 필터 형상의 중심 위치는 처리될 크로마 샘플의 대응 루마 샘플에 의해 정의된다. 일 실시예에서, 대응하는 루마 샘플의 정의는 비디오 포맷 또는 크로마 성분의 샘플링 위치에 의존한다.

또 다른 실시예에서, 비선형 클리핑 동작이 CC-ALF에 적용될 수 있다. 또 다른 실시예에서, 이웃 샘플과 처리될 샘플 사이의 차이는 이웃 샘플을 직접 사용하는 대신 필터링 프로세스에서 사용된다. 처리될 샘플은 크로마 성분의 샘플 값이거나 CC-ALF의 대응 루마 샘플의 샘플 값일 수 있다.

현재 설계에서, 크로마 ALF의 출력은 하나의 유효한 범위(예컨대, 10비트 비디오 압축의 경우 [0, 1023], 그리고 8비트 비디오 압축의 경우 [0, 255])로 클리핑될 것이다. 이 클리핑된 값 위에 CCALF 의 출력이 추가될 것이고 유효한 범위 내에서 최종 출력을 보장하기 위해 클리핑 동작이 다시 수행될 것이다. 따라서 2개의 클리핑 동작이 있다. 하나는 크로마 ALF의 출력에 적용되고, 다른 하나는 CCALF의 출력에 적용된다. 일 실시예에서, 크로마 ALF 프로세스에서 유효 범위 내에서 출력 값을 제약하는 데 사용되는 클리핑 동작은 CC-ALF가 적용될 때 폐기될 수 있으므로, 클리핑 동작은 CC-ALF 출력이 크로마 ALF의 출력에 추가된 후에만 적용된다.

또 다른 실시예에서, CC-ALF의 추가 필터에서 필터 계수의 정밀도는 원래 ALF 설계와 정렬된다.

일 실시예에서, CC-ALF의 필터 형상은 루마 ALF 필터의 필터 형상과 정렬된다. 일 실시예에서, CC-ALF 필터는 23개의 계수를 갖는 25개의 탭(tap)을 가질 수 있으며, 여기서 최상위 및 최하위 계수는 동일하고 최좌측 및 최우측 계수는 동일하다. 일 실시예에서, CC-ALF 필터는 22개의 계수를 갖는 25개의 탭을 가질 수 있으며, 여기서 최상위 계수, 최하위 계수, 최좌측 계수, 및 최우측 계수는 모두 동일하다. 일 실시예에서, CC-ALF 필터는 대칭이 ALF 필터 대칭에 정렬된다. 일 실시예에서, CCALF와 루마 ALF의 필터 형상이 동일할 때, ALF 가상 경계 프로세스, 슬라이스 경계/브릭 경계/타일 경계/360개의 페이스 가상 경계(360 face virtual boundaries)/부화상 경계/화상 경계에서의 ALF 경계 프로세스를 포함하는 CCALF의 경계 프로세스는 루마 ALF의 경계 프로세스와 동일하다.

일 실시예에서, CC-ALF의 필터 형상은 크로마 ALF 필터의 필터 형상과 정렬될 수 있다. 일 실시예에서, CC-ALF 필터는 11개의 계수를 갖는 13개의 탭을 가질 수 있으며, 여기서 상단 계수와 하단 계수는 동일하고 좌측 계수와 우측 계수는 동일하다. 일 실시예에서, CC-ALF 필터는 10개의 계수를 갖는 13개의 탭을 가질 수 있으며, 여기서 상단 계수, 하단 계수, 좌측 계수, 및 우측 계수는 모두 동일하다. 일 실시예에서, CC-ALF 필터는 ALF 필터와 유사하게 대칭적이며, 따라서 13개의 탭과 7개의 계수만을 포함한다. 일 실시예에서, CCALF와 크로마 ALF의 필터 형상이 동일할 때, ALF 가상 경계 프로세스, 슬라이스 경계/브릭 경계/타일 경계/360개의 페이스 가상 경계/부화상 경계/화상 경계에서의 ALF 경계 프로세스를 포함하는 CCALF의 경계 프로세스는 크로마 ALF의 경계 프로세스와 동일하다.

일 실시예에서, CC-ALF 필터는 크로마 U 색상 성분과 크로마 V 색상 성분 사이에서 공유된다. 일 실시예에서, 단 하나의 alf_crosscomponent_cbcr_filter_signal_flag가 APS에 존재한다. 한 예에서, 이 플래그가 존재하면, CC-ALF 계수가 APS에 존재하고 디코딩될 수 있다.

일 실시예에서, 크로마 U에 대한 CC-ALF 계수는 루마 성분으로부터 정의되고, 크로마 V에 대해 재사용될 수 있다. 일 실시예에서, 크로마 V에 대한 CC-ALF 계수는 루마 성분으로부터 정의되고, 크로마 U에 대해 재사용될 수 있다. 일 실시예에서, 크로마 V에 대한 CC-ALF 계수는 부호 및/또는 비트-시프트 정보의 추가 코딩에 의해 크로마 U에 대한 CC-ALF 계수로부터 획득될 수 있다. 일 실시예에서, 크로마 U에 대한 CC-ALF 계수는 부호 및/또는 비트 시프트의 추가 코딩에 의해 크로마 V에 대한 CC-ALF 계수로부터 획득될 수 있다.

일 실시예에서, CC-ALF는 크로마 성분들 중 하나에만 적용될 수 있다. 일 예에서, 플래그는 CTB 레벨, CU 레벨, 또는 블록 레벨에서 명시적으로 시그널링되어 크로마 성분들 중 하나 또는 둘 모두가 CC-ALF를 사용하는지 여부를 표시할 수 있다. 일 실시예에서, 시그널링되지 않으면, CC-ALF 계수는 0과 같은 것으로 추론된다.

일 실시예에서, slice_cross_component_alf_cb_reuse_temporal_layer_filter는 결코 슬라이스 헤더에서 시그널링되지 않으며, 이는 CC-ALF의 필터 선택이 CCALF가 활성화될 때 각 슬라이스에 대해 항상 시그널링되어야 함을 의미한다. 일 실시예에서, APS에 저장된 CCALF 필터 계수만이 상이한 슬라이스들 또는 화상들에 의해 참조될 수 있다. 즉, 상이한 슬라이스들 또는 상이한 화상들 간에 CCALF 필터 계수의 데이터 종속성이 없다.

또 다른 실시예에서, 다수의 CC-ALF 필터가 하나의 슬라이스/브릭/타일/화상에서 사용될 수 있다. 다수의 CC-ALF 필터가 사용되는 경우, 다수의 CC-ALF 필터의 선택은 CTB 레벨, 또는 CU 레벨, 또는 블록 레벨에서 명시적으로 시그널링될 수 있다. 또 다른 실시예에서, 다수의 CC-ALF 필터의 선택은 다수의 크로마 필터의 선택에 따라 암시적으로 유도될 수 있다. 다수의 CC-ALF 필터가 사용되는 경우, 이들은 하나의 APS에서 독립적으로 시그널링되거나 다수의 크로마 필터와 결합될 수 있다. 예를 들어, 다수의 필터의 2개의 세트, 즉, CC-ALF를 위한 하나의 세트와 크로마 필터를 위한 다른 하나의 세트가 하나의 APS에서 개별적으로 시그널링된다. 또는 또 다른 경우에, 하나의 APS에서 다수의 필터의 하나의 세트만 시그널링되고, 이 세트의 각 후보는 적어도 크로마 필터 및 CC-ALF 필터 중 하나를 포함한다.

또 다른 실시예에서, 크로마 ALF 필터와 CC-ALF 필터는 동시에 사용될 수 없다. 즉, 각각의 처리될 크로마 샘플에 대해, 크로마 ALF 필터와 CC-ALF 필터 중 최대 하나만 적용될 수 있다. 일 실시예에서, 이들 2개의 필터의 필터 형상은 더욱 통합될 수 있다. 또 다른 실시예에서, 하나의 온/오프 플래그가 시그널링되고 온/오프 플래그가 크로마 ALF 필터 및 CC-ALF 필터 중 하나가 적용되는 것을 나타낸 후에, 필터 유형이 크로마 ALF 필터 또는 CC-ALF 필터인지를 나타내기 위해 각 필터에 대해 하나의 플래그가 시그널링된다. 일 실시예에서, 크로마 ALF 필터가 활성화됨을 나타내기 위해 사용된 하나의 플래그가 먼저 시그널링되고, 이 플래그가 1과 같으면 크로마 ALF 필터가 적용된다. 이 플래그가 거짓이면, CCALF 필터가 활성화되었는지 여부를 나타내는 데 사용되는 하나의 추가 플래그가 시그널링된다. 플래그가 참이면, CCALF 필터가 사용된다. 그렇지 않으면, 필터가 적용되지 않는다. 또 다른 실시예에서, CC-ALF 필터가 활성화됨을 나타내기 위해 사용된 하나의 플래그가 먼저 시그널링되고, 이 플래그가 1과 같으면 CC-ALF 필터가 적용된다. 이 플래그가 거짓이면, 크로마 ALF 필터가 활성화되었는지 여부를 나타내는 데 사용되는 하나의 추가 플래그가 시그널링된다. 플래그가 참이면 크로마 ALF 필터가 사용된다. 그렇지 않으면, 필터가 적용되지 않는다. 위의 실시예에서, 크로마 ALF 필터 또는 CC-ALF 필터의 선택은 슬라이스 레벨, 화상 레벨, 시퀀스 레벨, CTB 레벨, 또는 블록 레벨일 수 있다.

또 다른 실시예에서, 제안된 방법은 루마 ALF에 적용된다. 즉, 루마 성분에 대한 ALF 출력도 대응 크로마 샘플의 영향을 받는다. 한 예에서 두 개의 필터가 추가되고, 한 필터의 입력은 Cb 성분이고 다른 필터의 입력은 Cr 성분이다. 그리고 ALF 출력은 이 두 개의 추가 필터의 출력과 원래 필터 출력의 가중화된 합이다. 또 다른 경우에서, 하나의 필터만 추가되지만 이 필터의 입력은 Cb, Cr 및 Cb와 Cr의 평균을 포함하는 조합 중 하나이다.

방법 2: 제약된 CCALF - CCALF 계수의 합은 0과 같음

이 방법에 따르면 CCALF 계수의 합이 제약된다. 이러한 제약으로 인해, CCALF 계수들 간의 데이터 중복성이 도입되고 일부 정보는 송신될 필요가 없다. 따라서, 이 방법은 코딩 효율을 향상시킬 수 있다.

CC-ALF에서, 선형 필터는 루마 샘플 값을 필터링하고 함께 배치된 필터링된 출력으로부터 크로마 채널에 대한 잔차 정정을 생성하는 데 사용된다.

본 발명의 일 실시예에서, 모든 필터의 필터 계수의 합은 특정 수 N에 의해 제한된다. 일 실시예에서, 크로마에 어떠한 심각한 색상 변화를 도입하지 않고 Cb 성분 및 Cr 성분의 크로마 평균값을 유지하기 위해, 각 CCALF 필터의 필터 탭의 합이 0과 같도록 제안된다. 따라서 CCALF 필터는 DC에서 0의 응답을 가질 것이며 모든 크로마 평균을 제거할 것이다.

일 실시예에서, 모든 필터 계수가 고유할 때, 모든 고유 계수(N)의 합과 디코더에서 고유 필터 계수(M)의 수를 알면, 필터의 마지막 고유 계수가 결정될 수 있다. 따라서 M-1개의 고유 필터 계수만 디코딩되면 된다. 필터 계수가 고유할 때 필터 계수의 값이 다르다는 점에 유의해야 한다.

일 실시예에서, CCALF 필터의 고유 필터 계수(M)의 수는 필터의 계수의 총수보다 적다. 도 6은 c0 내지 c6의 7개(M=7)의 고유 계수를 갖는 3x4 다이아몬드 형상 CCALF의 예를 도시한다. 필터 계수의 총수는 8이다. 일 실시예에서, 모든 필터 계수의 합 N을 알면, 6, 즉, (M-1=6)개의 계수 c0 내지 c5만이 디코딩되어야 하고, 계수 c6은 다음과 같이 디코더에서 정의될 수 있다:

.

일 실시예에서, 마지막 고유 계수뿐만 아니라 고유 계수들 중 임의의 하나가 스킵(skip)될 수 있다. 일 실시예에서, 계수 c2는 스킵되고 디코더에서 정의된다. 또 다른 실시예에서, 계수 c5는 스킵되고 디코더에서 정의된다.

일 실시예에서, k번째 교차 성분 Cb 필터 계수 CcAlfApsCoeffCb[　adaptation_parameter_set_id　][　k　][　7　]의 마지막 계수가 [-32, 31] 범위에 있어야 하는 것이 비트스트림 적합성의 요건이다.

일 실시예에서, 이 요건은 k번째 교차 성분 Cb 필터 계수 CcAlfApsCoeffCb[ adaptation_parameter_set_id ][ k ][ i ]의 임의의 하나의 계수에 적용되며, 여기서 i는 0 내지 k번째 교차 성분 Cb 필터의 계수의 수 -1이다.

일 실시예에서, k번째 교차 성분 Cr 필터 계수 CcAlfApsCoeffCr[ adaptation_parameter_set_id ][ k ][ 7 ]의 마지막 계수가 [-32, 31] 범위에 있어야 하는 것이 비트스트림 적합성의 요건이다.

일 실시예에서, 이 요건은 k번째 교차 성분 Cr 필터 계수 CcAlfApsCoeffCr[ adaptation_parameter_set_id ][ k ][ i ]의 임의의 하나의 계수에 적용되며, 여기서 i는 0 내지 k번째 교차 성분 Cr 필터의 계수의 수 - 1이다.

일 실시예에서, 이 요건은 k번째 교차 성분 Cb/Cr 필터 계수 CcAlfApsCoeffCb[ adaptation_parameter_set_id ][ k ][ i ]의 모든 계수에 적용되며, 여기서 i는 0 내지 k번째 교차 성분 Cb/Cr 필터의 계수의 수이다.

방법 3: 제약된 CCALF - 무손실 및 거의 무손실 코딩의 경우 CCALF 비활성화

HEVC에서, CU가 무손실 또는 거의 무손실 모드(4:4:4 콘텐츠에 사용되는 팔레트 모드 포함)를 사용하여 코딩된 경우, 모든 루프 필터(즉, SAO, ALF, DF(Deblocking Filter))가 비활성화된다.

VVC의 현재 버전에서, CU가 무손실 모드로 코딩될 때, 인코더 설정에 의해 모든 루프 필터가 비활성화된다. 동시에 팔레트 모드를 사용하여 CU가 코딩되면 인코더와 디코더 모두에서 SAO, ALF 및 DF가 비활성화된다.

본 발명의 일 실시예에서, CU가 무손실 또는 거의 무손실 모드(4:4:4 콘텐츠에 사용되는 팔레트 모드 포함)를 사용하여 코딩될 때, 모든 루프 필터는 인코더 및 디코더 모두에서 비활성화되어야 한다.

일 실시예에서, CCALF는 무손실 또는 거의 무손실 모드(4:4:4 콘텐츠에 사용되는 팔레트 모드 포함)로 코딩된 CU에 대한 인코더 및 디코더 모두에서 비활성화될 것이다.

일 실시예에서, 이중 트리가 코딩 트리 노드를 분할하는 데 사용될 때(treeType은 DUAL_TREE_LUMA 또는 DUAL_TREE_CHROMA와 동일함), 모든 루프 필터는 루마 및 크로마에 대해 개별적으로 비활성화될 수 있다(즉, 루마 및 크로마에 대해 상이한 솔루션들이 만들어질 수 있음).

일 실시예에서, 이중 트리가 코딩 트리 노드를 분할하는데 사용될 때, treeType은 DUAL_TREE_CHROMA와 동일하고, CU(크로마 CU 또는 이 크로마 CU에 대응하는 루마 CU) 중 적어도 하나가 무손실 모드를 사용하여 코딩되면, CCALF는 크로마 CU에 대해 자동으로 비활성화된다.

일 실시예에서, 이중 트리가 코딩 트리 노드를 분할하는데 사용되지 않을 때(즉, treeType이 SINGLE_TREE와 동일함), CU(크로마 CU 또는 이 크로마 CU에 대응하는 루마 CU) 중 적어도 하나가 무손실 모드를 사용하여 코딩되면, CCALF는 크로마 CU에 대해 자동으로 비활성화된다.

일 실시예에서, 이중 트리가 코딩 트리 노드를 분할하는데 사용될 때, treeType은 DUAL_TREE_CHROMA와 동일하고, 크로마 CU가 무손실 모드를 사용하여 코딩되면, CCALF는 이 크로마 CU에 대해 자동으로 비활성화된다.

일 실시예에서, 이중 트리가 코딩 트리 노드를 분할하는 데 사용되지 않을 때(treeType이 SINGLE_TREE와 동일함), 크로마 CU가 무손실 모드를 사용하여 코딩되면, CCALF 는 이 크로마 CU에 대해 자동으로 비활성화된다.

일 실시예에서, 이중 트리가 코딩 트리 노드를 분할하는 데 사용될 때(treeType은 DUAL_TREE_CHROMA와 동일함), 크로마 CU 및 대응하는 루마 CU가 모두 무손실 모드를 사용하여 코딩되면, CCALF는 크로마 CU에 대해 자동으로 비활성화된다.

일 실시예에서, 이중 트리가 코딩 트리 노드를 분할하는 데 사용되지 않을 때(treeType이 SINGLE_TREE와 동일함), 크로마 CU 및 대응하는 루마 CU가 모두 무손실 모드를 사용하여 코딩되면, CCALF는 크로마 CU에 대해 자동으로 비활성화된다.

일 실시예에서, 크로마 성분 Cb 및 Cr 둘 다에 대한 잔차 샘플이 단일 변환 블록으로서 코딩되고(예컨대, tu_joint_cbcr_residual_flag[ xC ][ yC ] == 1), CU(Cb 또는 Cr) 중 적어도 하나가 무손실 모드를 사용해 코딩되면, CCALF는 두 크로마 CU에 대해 자동으로 비활성화된다.

일 실시예에서, 크로마 성분 Cb 및 Cr 모두에 대한 잔차 샘플이 단일 변환 블록으로서 코딩되고(예컨대, tu_joint_cbcr_residual_flag[ xC ][ yC ] == 1), CU(Cb 또는 Cr) 중 적어도 하나가 무손실 모드를 사용하여 코딩되면, 대응 크로마 CU에 대해 CCALF가 자동으로 비활성화된다.

방법 4: CCALF의 필터의 수를 시그널링

CCALF 필터의 수를 알기 위해서는 추가적인 신택스 요소가 시그널링되어야 한다. 종래의 접근법에서, 이 추가 신택스 요소는 슬라이스 헤더(slice header; SH)에서 시그널링된다. 문헌 [JVET-P1008(K. Misra, et al., "CE5-related: On the design of CC-ALF", Joint Video Experts Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 16th Meeting: Geneva, CH, 1-11 October 2019, JVET-P1008-v2)]에 개시된 또 다른 종래의 접근법에 따르면, 이 접근법은 문헌 [VVC Draft 6(J. Chen, et al., "Cross-Component Adaptive Loop Filter for chroma", Joint Video Experts Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 15th Meeting: Gothenburg, SE, 3-12 July 2019, Document: JVET-O2001-vE)]에 기초해 수정된 CCALF에서 필터의 수를 시그널링하기 위한 신택스 설계를 개시한다. JVET-P1008에 따르면 신택스 요소 alf_ctb_cross_component_cb_idc[ ][ ] 및 alf_ctb_cross_component_cr_idc[ ][ ]는 CTU 수준에서 시그널링된다. 신택스 요소 alf_ctb_cross_component_cb_idc[ ][ ]는 교차 성분 Cb 필터가 Cb 색상 성분 샘플의 블록에 적용되는지 여부를 나타낸다. 신택스 요소 alf_ctb_cross_component_cr_idc[ ][ ]는 교차 성분 Cr 필터가 Cr 색상 성분 샘플의 블록에 적용되는지 여부를 나타낸다. 두 신택스 요소는 다음 표에 보여진 바와 같이 절단된 라이스(truncated Rice; TR) 코드를 사용하여 이진화된다.

신택스 구조	신택스 요소	이진화
		프로세스	입력 파라미터
coding_tree_unit()	alf_ctb_cross_component_ cb_idc[　][　]	TR	cMax = ( slice_cross_component_ cb_filters_signalled_minus1 + 1　), cRiceParam　=　0
	alf_ctb_cross_component_ cr_idc[　][　]	TR	cMax　= (　slice_cross_component_ cr_filters_signalled_minus1 + 1　), cRiceParam　=　0

표 2에서 cMax 및 cRiceParam은 절단된 라이스를 사용하여 alf_ctb_cross_component_cb_idc[ ][ ] 및 alf_ctb_cross_component_cr_idc[ ][ ]의 이진화 프로세스에 제공되는 두 개의 입력이다. 이진화 프로세스에 대한 자세한 내용은 JVET-O2001-vE에 설명되어 있다. 신택스 요소 slice_cross_component_cb_filters_signalled_minus1 및 slice_cross_component_cr_filters_signalled_minus1은 슬라이스 헤더(SH)에서 시그널링된다.

JVET-P1008에서, 다음과 같이 간략하게 검토된 일부 신택스 요소가 도입되었다. slice_cross_component_alf_cb_enabled_flag는 교차 성분 Cb 필터가 Cb 색상 성분에 적용되는지 여부를 명시한다. slice_cross_component_alf_cb_enabled_flag가 존재하지 않는 경우, 0과 동일한 것으로 추론된다.

slice_cross_component_alf_cb_enabled_flag가 1과 같을 때, 현재 화상의 모든 슬라이스에 대해 slice_cross_component_alf_cb_aps_id에 의해 참조되는 ALF APS가 동일해야 하는 것이 비트스트림 적합성의 요건이다. slice_cross_component_cb_filters_signalled_minus1　+　1은 교차 성분 Cb 필터의 수를 명시한다. slice_cross_component_cb_filters_signalled_minus1의 수는 0 내지 3의 범위에 있어야 한다.

slice_cross_component_alf_cb_enabled_flag가 1과 같을 때, slice_cross_component_cb_filters_signalled_minus1은 현재 슬라이스의 slice_cross_component_alf_cb_aps_id에 의해 참조되는 ALF APS의 alf_cross_component_cb_filters_signalled_minus1의 값보다 작거나 같아야 한다는 것이 비트스트림 적합성의 요건이다.

slice_cross_component_alf_cr_enabled_flag는 교차 성분 Cr 필터가 Cr 색상 성분에 적용되는지 여부를 명시한다. slice_cross_component_alf_cr_enabled_flag가 없으면 0과 같은 것으로 추론된다.

slice_cross_component_alf_cr_aps_id는, 슬라이스의 Cr 색상 성분이 참조하는 것을 제외하고는, slice_cross_component_alf_cb_aps_id와 동일하게 명시한다. slice_cross_component_alf_cr_enabled_flag가 1과 같을 때, 현재 화상의 모든 슬라이스에 대해 slice_cross_component_alf_cr_aps_id에 의해 참조되는 ALF APS가 동일해야 하는 것은 비트스트림 적합성의 요건이다.

slice_cross_component_cr_filters_signalled_minus1　+ 1은 교차 성분 Cr 필터의 수를 명시한다. slice_cross_component_cr_filters_signalled_minus1의 수는 0 내지 3의 범위에 있어야 한다.

slice_cross_component_alf_cr_enabled_flag가 1과 같을 때, slice_cross_component_cr_filters_signalled_minus1은 현재 슬라이스의 slice_cross_component_alf_cr_aps_id에 의해 참조되는, 참조되는 ALF APS에서 alf_cross_component_cr_filters_signalled_minus1의 값보다 작거나 같아야 하는 것은 비트스트림 적합성의 요건이다.

본 발명의 일 실시예에서, pic_cross_component_cb_filters_signalled_minus1, pic_cross_component_cr_filters_signalled_minus1, slice_cross_component_cb_filters_signalled_minus1 및 slice_cross_component_cr_filters_signalled_minus1은 CC-ALF 신택스에 존재하지 않고, alf_ctb_cross_component_cb_idc[ ][ ] 및 alf_ctb_cross_component_cr_idc[ ][ ]는 다음과 같이 표 3에 코딩된다:

alf_ctb_cross_component_cb_idc[　][　]	TR	cMax　= (　alf_cross_component_cb_filters_ signalled_minus1　+　1　), cRiceParam　=　0
alf_ctb_cross_component_cr_idc[　][　]	TR	cMax　= (　alf_cross_component_cr_filters_signalled_minus1 +　1　), cRiceParam　=　0

제안된 신택스 설계에 따라, 표 2의 신택스 slice_cross_component_cb_filters_signalled_minus1 및 slice_cross_component_cr_filters_signalled_minus1은 표 3에서 각각 alf_cross_component_cb_filters_signalled_minus1 및 alf_cross_component_cr_filters_signalled_minus1로 대체된다. 즉, 슬라이스 헤더에서 시그널링되는 신택스 요소를 사용하는 대신, 필터의 수가 ALF APS에서 시그널링되고, CC-ALF에 대해 코딩된 필터의 수를 정의하기 위해 직접 참조된다. 따라서 CC-ALF 설계는 기존의 신택스 및 시그널링과는 달리 ALF 설계와 정렬된다. 또한, 화상 내의 상이한 슬라이스들은 상이한 ALF APS들을 참조할 수 있으므로, ALF APS에 CC-ALF 필터의 수가 존재한다면, 슬라이스당 4 비트(색상 성분당 2 비트)가 절약될 수 있다.

전술한 제안된 방법 중 임의의 것이 인코더 및/또는 디코더에서 구현될 수 있다. 예를 들어, 제안된 방법들 중 임의의 방법은 인코더 및/또는 디코더의 인루프 필터링 방법에서 구현될 수 있다. 대안적으로, 제안된 방법들 중 임의의 방법은 인코더 및/또는 디코더의 인루프 필터링 모듈에 결합된 회로로서 구현될 수 있다.

도 7은 본 발명의 실시예에 따른 재구성된 비디오의 예시적인 ALF 처리의 흐름도를 도시하며, 여기서 하나 이상의 후보 필터 각각에 대한 필터 계수의 합은 고정 값이 되도록 제약된다. 흐름도에 도시된 단계들은 인코더 측에서 하나 이상의 프로세서(예컨대, 하나 이상의 CPU) 상에서 실행 가능한 프로그램 코드로서 구현될 수 있다. 흐름도에 도시된 단계는 또한 흐름도의 단계를 수행하도록 배열된 하나 이상의 전자 디바이스 또는 프로세서와 같은 하드웨어에 기초하여 구현될 수 있다. 이 방법에 따르면, 재구성된 샘플은 단계(710)에서 수신된다. 타겟 교차 색상 적응형 루프 필터(Cross-Colour Adaptive Loop Filter; CCALF)가 단계(720)에서 결정되고, 타겟 CCALF는 하나 이상의 후보 필터를 포함하는 필터 세트에 속하며, 상기 하나 이상의 후보 필터에서 각 후보 필터에 대한 필터 계수의 합은 고정 값이 되도록 제약된다. 타겟 CCALF는 단계(730)에서 타겟 재구성된 크로마 샘플에 대한 CCALF 필터링된 크로마 샘플을 생성하기 위해 관련된 재구성된 루마 샘플에 적용된다. 단계(740)에서 CCALF 필터링된 크로마 샘플과 일반 ALF 필터링된 크로마 샘플을 결합하여 최종 필터링된 크로마 샘플이 생성되며, 최종 필터링된 크로마 샘플은 비디오 디코딩 출력으로서 사용되거나 추가 비디오 인코딩 프로세스 또는 디코딩 프로세스에 사용된다.

도 8은 본 발명의 실시예에 따른 재구성된 비디오의 예시적인 ALF 처리의 흐름도이며, 여기서 필터 세트의 후보 필터의 총수와 관련된 값을 나타내는 하나 이상의 신택스 요소는 적응 파라미터 세트(Adaptation Parameter Set; APS)에서 시그널링되거나 파싱된다. 이 방법에 따르면, 재구성된 샘플은 단계(810)에서 수신된다. 단계(820)에서 하나 이상의 신택스 요소가 인코더 측에서 비디오 비트스트림의 적응 파라미터 세트(APS)에서 시그널링되거나 상기 하나 이상의 신택스 요소가 디코더 측에서 비디오 비트스트림의 APS에서 파싱되며, 여기서 상기 하나 이상의 신택스 요소는 필터 세트에 있는 후보 필터의 총수와 관련된 값을 나타낸다. 타겟 교차 색상 적응형 루프 필터(CCALF)가 단계(830)에서 결정되고, 타겟 CCALF는 하나 이상의 후보 필터를 포함하는 필터 세트에 속하며, 상기 하나 이상의 후보 필터 각각에 대한 필터 계수의 합은 고정 값이 되도록 제약된다. 타겟 CCALF는 단계(840)에서 타겟 재구성된 크로마 샘플에 대한 CCALF 필터링된 크로마 샘플을 생성하기 위해 관련된 재구성된 루마 샘플에 적용된다. 단계(850)에서 CCALF 필터링된 크로마 샘플과 일반 ALF 필터링된 크로마 샘플을 결합하여 최종 필터링된 크로마 샘플이 생성되며, 최종 필터링된 크로마 샘플은 비디오 디코딩 출력으로서 사용되거나 추가 비디오 인코딩 프로세스 또는 디코딩 프로세스에 사용된다.

도시된 흐름도는 본 발명에 따른 비디오 코딩의 예를 도시하도록 의도된다. 당업자는 본 발명의 사상에서 벗어나지 않고 본 발명을 실시하기 위해 각 단계를 수정하거나, 단계들을 재배열하거나, 단계를 분할하거나, 단계들을 결합할 수 있다. 본 개시에서 특정 신택스 및 시맨틱스는 본 발명의 실시예를 구현하는 예를 설명하기 위해 사용되었다. 당업자라면 본 발명의 정신으로부터 벗어나지 않고 신택스 및 시맨틱스를 등가적인 신택스 및 시맨틱스로 대체하여 본 발명을 실시할 수 있다.

전술된 설명은 당업자가 특정 응용 및 그 요건과 관련하여 제공된 대로 본 발명을 실시할 수 있게 하기 위해 제시된다. 당업자에게는 설명된 실시예에 대한 각종 수정이 명백할 것이고, 여기에서 규정된 일반 원리는 다른 실시예에 적용될 수 있다. 따라서, 본 발명은 도시되고 설명된 특정 실시예로 제한되도록 의도되지 않고, 여기에 개시된 원리 및 신규한 피처와 일치하는 가장 넓은 범위에 부합되어야 한다. 위의 상세한 설명에서는 본 발명에 대한 완전한 이해를 제공하기 위해 다양한 특정 세부 사항이 예시되었다. 그럼에도 불구하고, 본 발명이 실시될 수 있다는 것은 당업자에 의해 이해될 것이다.

상술된 바와 같은 본 발명의 실시예는 다양한 하드웨어, 소프트웨어 코드 또는 둘 모두의 조합으로 구현될 수 있다. 예를 들어, 본 발명의 실시예는 여기에 설명된 처리를 수행하기 위해 비디오 압축 칩에 통합된 하나 이상의 회로 또는 비디오 압축 소프트웨어에 통합된 프로그램 코드일 수 있다. 본 발명의 실시예는 또한 여기에 설명된 처리를 수행하기 위해 디지털 신호 프로세서(Digital Signal Processor; DSP)에서 실행될 프로그램 코드일 수 있다. 본 발명은 또한 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로 프로세서, 또는 FPGA(Field Programmable Gate Array)에 의해 수행될 다수의 기능을 수반할 수 있다. 이들 프로세서는 본 발명에 의해 구현된 특정 방법을 정의하는 기계 판독 가능 소프트웨어 코드 또는 펌웨어 코드를 실행함으로써 본 발명에 따른 특정 작업을 수행하도록 구성될 수 있다. 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어들 및 상이한 형식들 또는 스타일들로 개발될 수 있다. 소프트웨어 코드는 다른 타겟 플랫폼용으로 또한 컴파일될 수 있다. 그러나 소프트웨어 코드의 다른 코드 포맷, 스타일 및 언어, 및 본 발명에 따른 작업을 수행하도록 코드를 구성하는 다른 수단은 본 발명의 정신 및 범위로부터 벗어나지 않을 것이다.

본 발명은 그 정신 또는 본질적인 특성에서 벗어나지 않고 다른 특정 형태로 구체화될 수 있다. 설명된 예는 모든 양상에서 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다. 따라서, 본 발명의 범위는 전술한 설명보다는 첨부된 청구항들에 의해 표시된다. 청구항들과 동등한 의미 및 범위 내에 있는 모든 변경은 그 범위 내에 포함되어야한다.

Claims

비디오 코딩을 위한 방법에 있어서,
색상 화상(colour picture)에서 재구성된 크로마 샘플 및 관련된 재구성된 루마 샘플을 수신하는 단계;
타겟 교차 색상 적응형 루프 필터(Cross-Colour Adaptive Loop Filter; CCALF)를 결정하는 단계 - 상기 타겟 CCALF는 하나 이상의 후보 필터를 포함하는 필터 세트에 속하고, 상기 하나 이상의 후보 필터에서 각각의 후보 필터에 대한 필터 계수의 합은 고정 값이 되도록 제약됨 -;
타겟 재구성된 크로마 샘플에 대한 CCALF 필터링된 크로마 샘플을 생성하기 위해 상기 타겟 CCALF를 상기 관련된 재구성된 루마 샘플에 적용하는 단계; 및
상기 CCALF 필터링된 크로마 샘플과 일반(regular) ALF 필터링된 크로마 샘플을 결합하여 최종 필터링된 크로마 샘플을 생성하는 단계
를 포함하고, 상기 최종 필터링된 크로마 샘플은 비디오 디코딩 출력으로서 사용되거나 추가 비디오 인코딩 또는 디코딩 프로세스에 사용되는 것인, 비디오 코딩을 위한 방법.
제1항에 있어서,
상기 고정 값은 0과 같은 것인, 비디오 코딩을 위한 방법.
제1항에 있어서,
각 후보 필터에 대한 필터 계수의 수가 M과 같은 경우, 각각의 후보 필터에 대한 (M-1)개의 필터 계수만이 디코더 측에서 디코딩되고, M은 1보다 큰 정수인 것인, 비디오 코딩을 위한 방법.
제3항에 있어서,
상기 (M-1)개의 필터 계수 이외의 하나의 필터 계수는 디코더 측에서 디코딩되지 않거나 인코더 측에서 인코딩되지 않으며, 상기 하나의 필터 계수는 각각의 후보 필터에 대한 상기 필터 계수들 중의 임의의 선택된 계수에 대응하는 것인, 비디오 코딩을 위한 방법.
비디오 코딩 장치에 있어서,
하나 이상의 전자 회로 또는 프로세서를 포함하고, 상기 하나 이상의 전자 회로 또는 상기 프로세서는,
색상 화상에서 재구성된 크로마 샘플 및 관련된 재구성된 루마 샘플을 수신하고;
타겟 교차 색상 적응형 루프 필터(Cross-Colour Adaptive Loop Filter; CCALF)를 결정하고 - 상기 타겟 CCALF는 하나 이상의 후보 필터를 포함하는 필터 세트에 속하고, 상기 하나 이상의 후보 필터 각각에 대한 필터 계수의 합은 고정 값이 되도록 제약됨 -;
타겟 재구성된 크로마 샘플에 대한 CCALF 필터링된 크로마 샘플을 생성하기 위해 상기 타겟 CCALF를 상기 관련된 재구성된 루마 샘플에 적용하며;
상기 CCALF 필터링된 크로마 샘플과 일반(regular) ALF 필터링된 크로마 샘플을 결합하여 최종 필터링된 크로마 샘플을 생성하도록
배열되고, 상기 최종 필터링된 크로마 샘플은 비디오 디코딩 출력으로서 사용되거나 추가 비디오 인코딩 또는 디코딩 프로세스에 사용되는 것인, 비디오 코딩 장치.
비디오 코딩을 위한 방법에 있어서,
색상 화상에서 재구성된 크로마 샘플 및 관련된 재구성된 루마 샘플을 수신하는 단계;
인코더 측에서 비디오 비트스트림의 적응 파라미터 세트(Adaptation Parameter Set; APS)에서 하나 이상의 신택스 요소를 시그널링하거나 디코더 측에서 상기 비디오 비트스트림의 상기 APS에서 상기 하나 이상의 신택스 요소를 파싱하는 단계 - 상기 하나 이상의 신택스 요소는 필터 세트에 있는 후보 필터의 총수와 관련된 값을 나타냄 -;
타겟 교차 색상 적응형 루프 필터(Cross-Colour Adaptive Loop Filter; CCALF)를 결정하는 단계 - 상기 타겟 CCALF는 상기 필터 세트에 속함 -;
타겟 재구성된 크로마 샘플에 대한 CCALF 필터링된 크로마 샘플을 생성하기 위해 상기 타겟 CCALF를 상기 관련된 재구성된 루마 샘플에 적용하는 단계; 및
상기 CCALF 필터링된 크로마 샘플과 일반 ALF 필터링된 크로마 샘플을 결합하여 최종 필터링된 크로마 샘플을 생성하는 단계
를 포함하고, 상기 최종 필터링된 크로마 샘플은 비디오 디코딩 출력으로서 사용되거나 추가 비디오 인코딩 또는 디코딩 프로세스에 사용되는 것인, 비디오 코딩을 위한 방법.
제6항에 있어서,
상기 하나 이상의 신택스 요소는 각각의 색상 성분에 대해 시그널링되거나 파싱되는 것인, 비디오 코딩을 위한 방법.
제6항에 있어서,
상기 하나 이상의 신택스 요소는 상기 필터 세트의 후보 필터의 총수에서 1을 뺀 값에 대응하는 값을 포함하는 것인, 비디오 코딩을 위한 방법.
비디오 코딩 장치에 있어서,
하나 이상의 전자 회로 또는 프로세서를 포함하고, 상기 하나 이상의 전자 회로 또는 상기 프로세서는,
색상 화상에서 재구성된 크로마 샘플 및 관련된 재구성된 루마 샘플을 수신하고;
인코더 측에서 비디오 비트스트림의 적응 파라미터 세트(Adaptation Parameter Set; APS)에서 하나 이상의 신택스 요소를 시그널링하거나 디코더 측에서 상기 비디오 비트스트림의 상기 APS에서 상기 하나 이상의 신택스 요소를 파싱하고 - 상기 하나 이상의 신택스 요소는 필터 세트에 있는 후보 필터의 총수와 관련된 값을 나타냄 -;
타겟 교차 색상 적응형 루프 필터(Cross-Colour Adaptive Loop Filter; CCALF)를 결정하고 - 상기 타겟 CCALF는 상기 필터 세트에 속함 -;
타겟 재구성된 크로마 샘플에 대한 CCALF 필터링된 크로마 샘플을 생성하기 위해 상기 타겟 CCALF를 상기 관련된 재구성된 루마 샘플에 적용하고;
상기 CCALF 필터링된 크로마 샘플과 일반 ALF 필터링된 크로마 샘플을 결합하여 최종 필터링된 크로마 샘플을 생성하도록
배열되며, 상기 최종 필터링된 크로마 샘플은 비디오 디코딩 출력으로서 사용되거나 추가 비디오 인코딩 또는 디코딩 프로세스에 사용되는 것인, 비디오 코딩 장치.