KR102632259B1

KR102632259B1 - 교차-성분 선형 모델을 사용하는 비디오 코딩

Info

Publication number: KR102632259B1
Application number: KR1020237000724A
Authority: KR
Inventors: 이-원 천; 샹린 왕; 샤오위 슈
Original assignee: 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Priority date: 2019-01-09
Filing date: 2020-01-08
Publication date: 2024-02-01
Also published as: US20220329784A1; US11405609B2; CN114125439A; US20210337188A1; KR102487528B1; JP7311689B2; EP3895421A4; EP3895421A1; CN113475064A; US20220256142A1; KR20220104076A; JP2022516808A; WO2020146553A1; US11843770B2; JP7119236B2; MX2021008391A; JP2023126950A; KR20230010065A; US11924411B2; KR20210094126A

Abstract

비디오 코딩을 위한 방법 및 컴퓨팅 장치가 제공된다. 방법은 미리 결정된 수의 인접하는 재구성된 루마 샘플 및 CU의 크로마 샘플을 사용함으로써 CCLM 모드에 대한 파라미터 α 및 파라미터 β를 유도하는 단계; 및 파라미터 α 및 파라미터 β를 사용하여 CU의 크로마 샘플에 대한 최종 크로마 예측자를 생성하는 단계를 포함한다.

Description

교차-성분 선형 모델을 사용하는 비디오 코딩{VIDEO CODING USING CROSS-COMPONENT LINEAR MODEL}

본 출원은 2019년 1월 9일에 출원된 미국 가출원 번호 62/790,459의 이익을 주장한다. 전술한 출원의 그 전문은 참조로 여기에 포함된다.

본 개시는 일반적으로 비디오 코딩 및 압축에 관한 것이다. 보다 구체적으로, 본 개시는 교차 성분 선형 모델을 사용하여 비디오 코딩을 수행하기 위한 시스템 및 방법에 관한 것이다. 특정 예시적인 실시예에서, 코딩 유닛의 크로마 샘플에 대한 최종 크로마 예측자가 사용되는 방법이 설명된다.

이 섹션은 본 개시와 관련된 배경 정보를 제공한다. 이 섹션에 포함된 정보는 반드시 선행 기술로 해석되어서는 안 된다.

다양한 비디오 코딩 기술이 비디오 데이터를 압축하는데 사용될 수도 있다. 비디오 코딩은 하나 이상의 비디오 코딩 표준에 따라 수행된다. 예를 들어, 비디오 코딩 표준에는 다목적 비디오 코딩(versatile video coding, VVC), 공동 탐색 테스트 모델(joint exploration test coding, JEM), 고효율 비디오 코딩(H.265/HEVC), 고급 비디오 코딩(H.264/AVC), 동영상 전문가 그룹(MPEG) 코딩 등이 포함된다. 비디오 코딩은 일반적으로 비디오 이미지 또는 시퀀스에 존재하는 중복성을 사용하는 예측 방법(예를 들어, 인터 예측, 인트라 예측 등)을 사용한다. 비디오 코딩 기술의 중요한 목표는 비디오 품질 저하를 피하거나 최소화하면서 더 낮은 비트 전송률을 사용하는 포맷으로 비디오 데이터를 압축하는 것이다. 끊임없이 진화하는 비디오 서비스가 가능해짐에 따라 더 나은 압축 효율성을 가진 코딩 기술이 필요하다.

이 섹션은 공개에 대한 일반적인 요약을 제공하며 전체 범위 또는 모든 기능에 대한 포괄적인 공개는 아니다.

본 개시의 제1 관점에 따르면, 비디오 코딩 방법은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행될 복수의 프로그램을 저장하는 메모리를 갖는 컴퓨팅 장치에서 수행된다. 방법은 코딩 단위(CU)에서 미리 결정된 수의 인접하는 재구성된 루마 샘플 및 크로마 샘플을 사용하여 교차 성분 선형 모델(CCLM) 모드에 대한 제1 파라미터 α 및 제2 파라미터 β를 유도하는 단계; 및 상기 제1 파라미터(α) 및 상기 제2 파라미터(β)를 사용하여 상기 CU의 크로마 샘플들에 대한 최종 크로마 예측자를 생성하는 단계를 포함한다.

본 개시의 제2 관점에 따르면, 컴퓨팅 장치가 제공된다. 컴퓨팅 장치는 적어도 하나의 프로세서; 하나 이상의 프로세서에 연결된 비일시적 스토리지; 및 비 일시적 스토리지에 저장된 복수의 프로그램을 포함하며, 상기 복수의 프로그램은 상기 프로세서에 의해 실행될 때, 상기 컴퓨팅 장치가 코딩 단위(CU)에서 미리 결정된 수의 인접하는 재구성된 루마 샘플 및 크로마 샘플을 사용하여 교차 성분 선형 모델(CCLM) 모드에 대한 제1 파라미터 α 및 제2 파라미터 β를 유도하는 단계; 및 상기 제1 파라미터(α) 및 상기 제2 파라미터(β)를 사용하여 상기 CU의 크로마 샘플들에 대한 최종 크로마 예측자를 생성하는 단계를 포함하는 작동을 수행하게 한한다.

이하, 본 개시의 예시적이고 비제한적인 실시예의 세트가 첨부 도면과 함께 설명될 것이다. 구조, 방법 또는 기능의 변형은 여기에 제시된 예에 기초하여 관련 기술 분야의 통상의 지식을 가진 자에 의해 구현될 수 있으며, 이러한 변형은 모두 본 개시의 범위 내에 포함된다. 충돌이 존재하지 않는 경우, 상이한 실시예의 교시가 서로 결합될 수 있지만 반드시 그럴 필요는 없다.
도 1은 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 인코더를 설명하는 블록도이다.
도 2는 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 디코더를 설명하는 블록도이다.
도 3은 비디오 코딩 방법의 흐름도이다.
도 4는 루마/크로마 픽셀 샘플링 그리드의 예이다.
도 5는 α 및 β의 유도에 사용된 샘플의 위치를 나타낸다.
도 6은 최소-최대 방법을 사용한 α 및 β의 직선 유도를 보여준다.
도 7은 LM_A 모드를 나타낸다.
도 8은 LM_L 모드를 나타낸다.
도 9는 YUV 4:2:2 포맷에 대한 루마/크로마 픽셀 샘플링 그리드이다.
도 10은 YUV 4:4:4 포맷에 대한 루마/크로마 픽셀 샘플링 그리드이다.
도 11은 MMLM에 대한 다중 인접을 나타낸다.
도 12는 3개의 샘플 쌍의 예의 위치를 도시한다.
도 13은 3개의 샘플 쌍의 다른 예의 위치를 도시한다.
도 14는 4개의 샘플 쌍의 예의 위치를 보여준다.
도 15는 4개의 샘플 쌍의 다른 예의 위치를 보여준다.

본 발명에서 사용된 용어는 본 발명을 한정하려는 것이 아니라 특정한 예를 설명하기 위해 사용된 것이다. 본 명세서 및 첨부된 특허청구범위에서 사용된 단수형 "a" "an" 및 "the"는 문맥상 다른 의미가 명확히 포함되지 않는 한 복수형을 지칭한다. 본 명세서에 사용된 "및/또는"이라는 용어는 하나 이상의 연관된 나열된 항목의 임의의 또는 모든 가능한 조합을 지칭하는 것으로 이해되어야 한다.

"제1", "제2", "제3" 등의 용어가 다양한 정보를 설명하기 위해 본 명세서에서 사용될 수 있지만, 정보는 이러한 용어에 의해 제한되어서는 안 된다는 것을 이해해야 한다. 이러한 용어는 정보의 한 범주를 다른 범주와 구별하는 데만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 정보는 제2 정보로 지칭될 수 있고; 유사하게, 제2 정보는 또한 제1 정보로 지칭될 수 있다. 본 명세서에 사용된 바와 같이, "만약"이라는 용어는 문맥에 따라 "때" 또는 "시에" 또는 "에 응답하여"를 의미하는 것으로 이해될 수 있다.

본 명세서 전반에 걸쳐 단수 또는 복수의 "일 실시예", "실시예", "다른 실시예" 등에 대한 언급은 실시예와 관련하여 설명된 하나 이상의 특정 특징, 구조, 또는 특성이 다음과 같다는 것을 의미한다. 본 개시의 적어도 하나의 실시예에 포함된다. 따라서, 본 명세서 전반에 걸쳐 다양한 곳에서 "일 실시예에서" 또는 "실시예에서", "다른 실시예에서" 등의 표현이 반드시 동일한 실시예를 지칭하는 것은 아니다. 또한, 하나 이상의 실시예에서 특정 특징, 구조, 또는 특성은 임의의 적절한 방식으로 조합될 수 있다.

개념적으로, 배경 섹션에서 이전에 언급된 것들을 포함하여 많은 비디오 코딩 표준이 유사하다. 예를 들어, 거의 모든 비디오 코딩 표준은 블록 기반 처리를 사용하고 유사한 비디오 코딩 블록 다이어그램을 공유하여 비디오 압축을 달성한다.

도 1은 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 인코더(100)의 블록도를 도시한다. 인코더(100)에서, 비디오 프레임은 처리를 위해 복수의 비디오 블록으로 분할된다. 각각의 주어진 비디오 블록에 대해, 인터 예측 접근법 또는 인트라 예측 접근법에 기초하여 예측이 형성된다. 인터 예측에서는 이전에 재구성된 프레임의 픽셀을 기반으로 모션 추정 및 모션 보상을 통해 하나 이상의 예측자가 형성된다. 인트라 예측에서는 현재 프레임에서 재구성된 픽셀을 기반으로 예측자가 형성된다. 모드 결정을 통해 현재 블록을 예측하기 위한 최상의 예측자가 선택될 수 있다.

현재 비디오 블록과 그 예측자 사이의 차이를 나타내는 예측 잔차는 변환 회로(102)로 전송된다. 변환 계수는 엔트로피 감소를 위해 변환 회로(102)에서 양자화 회로(104)로 전송된다. 양자화된 계수는 압축된 비디오 비트스트림을 생성하기 위해 엔트로피 코딩 회로(106)에 공급된다. 도 1에 도시된 바와 같이, 비디오 블록 파티션 정보, 모션 벡터, 참조 픽처 인덱스 및 인트라 예측 모드와 같은 인터 예측 회로 및/또는 인트라 예측 회로(112)로부터의 예측 관련 정보(110)도 엔트로피 코딩 회로(106)를 통해 공급되고 압축된 비디오 비트스트림(114)에 저장된다.

인코더(100)에서, 예측을 목적으로 픽셀을 재구성하기 위해 디코더 관련 회로도 또한 필요하다. 먼저, 예측 잔차가 역양자화(116) 및 역변환 회로(118)를 통해 재구성된다. 이 재구성된 예측 잔차는 현재 비디오 블록에 대한 필터링되지 않은 재구성된 픽셀을 생성하기 위해 블록 예측자(120)와 결합된다.

코딩 효율 및 화질을 향상시키기 위해 인-루프 필터가 일반적으로 사용된다. 예를 들어, 디블로킹 필터는 AVC, HEVC 및 현재 버전의 VVC에서 사용할 수 있다. HEVC에서는 코딩 효율성을 더욱 향상시키기 위해 샘플 적응 오프셋(sample adaptive offset, SAO)라는 추가 인-루프 필터(in-loop filter)가 정의된다. 현재 버전의 VVC 표준에서는 적응 루프 필터(adaptive loop filter, ALF)라는 또 다른 인-루프 필터가 활발히 연구되고 있으며 최종 표준에 포함될 가능성이 높다.

이러한 인-루프 필터 동작은 선택 사항이다. 이러한 작업을 수행하면 코딩 효율성과 시각적 품질을 개선하는 데 도움이 된다. 그것들은 또한 계산 복잡성을 줄이기 위해 인코더(100)에 의해 렌더링된 결정으로서 턴 오프될 수 있다.

인트라 예측은 일반적으로 필터링되지 않은 재구성된 픽셀을 기반으로 하는 반면 인터 예측은 이러한 필터 옵션이 인코더(100)에 의해 턴 온되면 필터링된 재구성된 픽셀을 기반으로 한다는 점에 유의해야 한다.

도 2는 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 디코더(200)를 설명하는 블록도이다. 이 디코더(200)는 도 1의 인코더(100)에 상주하는 재구성 관련 섹션과 유사하다. 디코더(200)(도 2)에서, 들어오는 비디오 비트스트림(201)은 양자화된 계수 레벨 및 예측 관련 정보를 유도하기 위해 엔트로피 디코딩(202)을 통해 먼저 디코딩된다. 그런 다음 양자화된 계수 레벨은 역 양자화(204) 및 역 변환(206)을 통해 처리되어 재구성된 예측 잔차를 획득한다. 인트라/인터 모드 선택기(212)에서 구현되는 블록 예측자 메커니즘은 디코딩된 예측 정보에 기초하여 인트라 예측(208) 또는 모션 보상(210)을 수행하도록 구성된다. 필터링되지 않은 재구성된 픽셀 세트는 합산기(214)를 사용하여 역변환(206)으로부터 재구성된 예측 잔차와 블록 예측자 메커니즘에 의해 생성된 예측 출력을 합산함으로써 획득된다. 인-루프 필터가 턴 온된 상황에서 필터링 출력을 위한 최종 재구성된 비디오를 유도하기 위해 이러한 재구성된 픽셀에 대해 연산이 수행된다.

교차 성분 중복성(cross-component redundancy)을 줄이기 위해 VVC에서 교차 성분 선형 모델(cross-component linear model, CCLM) 예측 모드가 사용된다. YUV 포맷 4:2:0은 VVC를 개발하는 동안 공통 테스트 조건에서 사용되며 YUV 포맷 4:2:0에 대한 루마 샘플 및 크로마 샘플의 샘플링 그리드는 도 4에 도시되어 있다. 루마 샘플 및 크로마 샘플의 좌표(다운샘플링된 루마 샘플)도 도 4에 예시되어 있다. RecL'[x,y]는 다운샘플링된 상단 및 좌측 인접 재구성 루마 샘플을 나타내고, RecC'[x,y]는 상단 및 좌측 인접 재구성 크로마 샘플을 나타내며, x 및 y는 도면에 도시된 바와 같이 픽셀 인덱스이다. 본 개시에서, CCLM 파라미터의 유도의 복잡성을 줄이기 위한 몇 가지 방법을 제안한다.

본 개시는 일반적으로 비디오 데이터를 코딩(예를 들어, 인코딩 및 디코딩)하는 것에 관한 것이다. 보다 구체적으로, 본 개시는 비디오 코딩 방법에 대한 교차 성분 중복성을 감소시키기 위한 비디오 코딩 방법 및 컴퓨팅 장치에 관한 것이다. 동일한 CU의 재구성된 루마 샘플을 기반으로 크로마 샘플이 예측되는 CCLM 예측자 모드가 사용된다. 컴퓨팅 장치는: 적어도 하나의 프로세서; 하나 이상의 프로세서에 연결된 비일시적 스토리지; 및 프로세서에 의해 실행될 때 컴퓨팅 장치가 비디오 코딩 방법을 수행하도록 하는 비일시적 저장소에 저장된 복수의 프로그램을 포함한다.

도 3에 도시된 바와 같이, 비디오 코딩 방법은 적어도 다음 단계를 포함한다:

단계 10: CU에서 미리 결정된 수의 인접하는 재구성된 루마 샘플 및 크로마 샘플을 사용하여 CCLM 모드에 대한 제1 파라미터 α 및 제2 파라미터 β를 유도한다.

단계 20: 제1 파라미터 α 및 제2 파라미터 β를 사용하여 CU의 크로마 샘플에 대한 최종 크로마 예측자를 생성한다.

단계 20에서 다음 식을 사용하여 CU의 크로마 샘플에 대한 최종 크로마 예측자를 생성한다.

(1)

여기서 는 CU의 크로마 샘플에 대한 최종 크로마 예측자이고, 는 CU의 다운샘플링된 재구성된 루마 샘플이고, x는 행 인덱스를 나타내고, y는 열 인덱스를 나타낸다.

루마 샘플과 크로마 샘플(다운샘플링된 루마 샘플)의 좌표는 도 5에 도시되어 있다.

파라미터 α 및 파라미터 β는 다음 식으로 유도된다(이하의 섹션에서는 최소-최대 방법이라고 한다).

(2)

각 크로마 샘플과 해당 루마 샘플을 샘플 쌍이라고 한다. 여기서 y_B는 최대 샘플 쌍의 크로마 샘플 값이고, y_A는 최소 샘플 쌍의 크로마 샘플 값이고, x_B는 최대 샘플 쌍의 루마 샘플 값이고, x_A는 최소 샘플 쌍의 루마 샘플 값이다.

2개의 포인트(루마 및 크로마의 커플)(A, B)는 도 6에 도시된 바와 같이 인접하는 루마 샘플 세트 내부의 최솟값 및 최댓값이다. 도 6은 선형 모델 파라미터 α와 파라미터 β가 식 (2)에 따라 획득되는 최소 및 최대 루마 값 사이의 직선의 예시이다.

도 5에서, Rec_L'[x,y]는 다운샘플링된 상단 및 좌측 인접 재구성된 루마 샘플을 나타내고, Rec_C [x,y]는 상단 및 좌측 인접 재구성 크로마 샘플을 나타내고, x는 행 인덱스를 나타내고, y는 열 인덱스를 나타낸다. 도 5에서의 정사각형 블록은 도 4에 도시된 루마 샘플의 위치에 대응하는 재구성된 루마 샘플이고; 도 5에서의 원은 도 4에 도시된 크로마 샘플 또는 다운샘플링된 루마 샘플의 위치에 대응한다는 것에 주목한다. 정사각형 모양의 코딩 블록의 경우 최소-최대 방법이 직접 적용된다. 비정방형 코딩 블록의 경우, 더 긴 경계의 인접 샘플이 더 짧은 경계와 동일한 샘플 수를 갖도록 먼저 서브샘플링된다. 도 5는 CCLM 모드에 포함된 좌측 및 상위 샘플의 위치와 현재 블록의 샘플을 나타낸다.

최소-최대 방법 계산(min-Max method computation)은 디코딩 프로세스의 일부로 수행되며 인코더 검색 작업으로서만 수행되는 것은 아니다. 결과적으로, 파라미터 α 및 파라미터 β 값을 디코더에 전달하기 위해 신택스가 사용되지 않는다. 현재, 식/필터(3)는 다운샘플링된 루마 샘플을 생성하기 위한 루마 다운샘플링 필터로 사용된다. 그러나 다른 식/필터를 선택하여 식 (3) 내지 식 (19)에 나타난 것처럼 다운샘플링된 루마 샘플을 생성할 수 있다. 식 (5) 내지 식 (10)은 다운샘플링 과정 없이 직접 취하는 샘플로 간주될 수 있음에 유의한다.

(3)

(4)

(5)

(6)

(7)

(8)

(9)

(10)

(11)

(12)

(13)

(14)

(15)

(16)

(17)

(18)

(19)

상단 템플릿과 좌측 템플릿은 선형 모델 계수를 함께 계산하는 데 사용할 수 있는 것 외에도 각각 LM_A 및 LM_L 모드라고 하는 다른 2개의 LM 모드에서 대안적으로 사용할 수 있다. 도 7에 도시된 바와 같이, LM_A 모드에서 상단 템플릿은 선형 모델 계수를 계산하는 데 사용된다. 더 많은 샘플을 얻으려면 상단 템플릿을 (W+H)로 확장한다. 도 8에 도시된 바와 같이, LM_L 모드에서는 좌측 템플릿만 선형 모델 계수를 계산하는 데 사용된다. 더 많은 샘플을 얻으려면 좌측 템플릿을 (H+W)로 확장한다. 정사각형이 아닌 블록의 경우 상단 템플릿은 W+W로 확장되고 좌측 템플릿은 H+H로 확장된다. 상단/좌측 템플릿을 사용할 수 없는 경우 LM_A/LM_L 모드를 확인하거나 신호를 보내지 않는다. 사용 가능한 샘플이 충분하지 않으면 최우측(상단 템플릿의 경우) 샘플 또는 최하단(좌측 템플릿의 경우) 샘플을 가장 가까운 log2 숫자로 복사하여 템플릿이 채워질 것이다. 4:2:0 YUV 포맷 외에 코덱은 4:2:2(도 9에 도시된 바와 같이) 및 4:4:4 포맷(도 10에 도시된 바와 같이) 역시 지원할 수 있다.

LM 모드를 개선하기 위한 몇 가지 방법이 아래에 설명된 바와 같이 JVET 회의에서 제안된다.

MMLM 모드: MMLM은 크로마 샘플 예측을 유도하기 위해 2개의 선형 모델이 사용되는 다중 모델 LM 모드를 나타낸다. 재구성된 루마 값은 두 가지 범주로 분할된다. 각 범주에 대해 하나의 모델이 적용된다. 각 모델에 대한 α 및 β 파라미터의 유도는 CCLM 모드에서와 같이 수행된다. 여기서 파라미터를 유도하는 데 사용되는 재구성된 루마(다운샘플링)도 그에 따라 각 모델에 대해 분할된다.

MFLM 모드: MFLM은 다중 필터 LM 모드를 나타내며, 여기서 예측 모델에 사용된 재구성된 루마 샘플을 다운샘플링하기 위해 서로 다른 필터가 사용된다. 이러한 4개의 필터가 사용되며 사용된 특정 필터는 비트스트림에 표시/시그널링된다.

LM 각도 예측: 이 모드에서, MMLM 모드와 비-LM 모드는 두 모드에 의해 얻은 예측 샘플을 평균화하여 결합된다.

다중 인접 기반 선형 모델(Multiple Neighbor-based Linear Model, MNLM)은 MMLM 유도를 위해 다중 인접 세트를 사용하여 CU의 루마 샘플과 크로마 샘플 사이의 다양한 선형 관계를 커버한다. 도 11에 도시된 바와 같이, MNLM에서 서로 다른 인접 세트를 갖는 3개의 MMLM이 제안된다:

MMLM: A, B, C, D(상단 및 좌측 인접 포함)

Above-MMLM: C, D, F, H(상단만 인접 포함)

Left-MMLM: A, B, E, G(좌측만 인접 포함)

도 11에 도시된 바와 같이, A는 제2 좌측 인접이다. B는 제1 좌측 인접이다. C는 제1 상단 인접이다. D는 제2 상단 인접이다. E는 제3 좌측 인접이다. F는 제3 상단 인접이다. G는 제4 좌측 인접이다. H는 제4 상단 인접이다.

MNLM의 다양한 CCLM 예측 모드는 아래 표에 나열되어 있다.

모드 0, 모드 1, 모드 2 및 모드 3은 동일한 다운샘플링 필터를 사용하지만 LM 및 MMLM 유도에 대해 서로 다른 인접 세트를 사용한다.

CCLM 파라미터 도출의 복잡성을 줄이기 위해, 제1 실시예에서, 3개의 샘플 쌍이 파라미터 α 및 파라미터 β를 도출하기 위해 사용된다. 도 12에 도시된 바와 같이, 샘플 쌍은 다음을 포함한다: 좌측 인접 샘플의 상단 샘플(), 좌측 인접 샘플의 하부 샘플(), 상부 인접 샘플 중 최우측 샘플(). W 및 H는 크로마 블록의 폭과 높이를 나타낸다.

다른 실시예에서, 도 13에 도시된 바와 같이, 샘플 쌍은 다음을 포함한다: 상부 인접 샘플의 최좌측 샘플(), 좌측 인접 샘플의 하단 샘플(), 및 상부 인접 샘플의 최우측 샘플().

샘플 쌍 선택은 언급된 실시예에 제한되지 않는다는 점에 유의한다. 3개의 샘플 쌍은 상단 또는 좌측의 재구성된 인접 샘플로부터 선택된 임의의 3개의 샘플 쌍일 수 있으며 인접 샘플은 상단의 한 라인 또는 좌측의 한 라인에만 제한되지 않는다.

일 실시예에서, 최대 루마 샘플 값, 중간 샘플 값 및 최소 루마 샘플 값을 각각 갖는 샘플 쌍은 루마 샘플 비교를 통해 식별된다. 최대 및 중간 샘플 쌍의 루마 샘플 값의 가중 평균을 (식 (20)에 나타난 바와 같이) x_B로 표시하고 최대 및 중간 샘플 쌍의 크로마 샘플 값의 가중 평균을 (식 (22)에 나타난 바와 같이) y_B로 표하고; 중간 및 최소 샘플 쌍의 루마 샘플 값의 가중 평균을 (식 (21)에 나타난 바와 같이) x_A로 표시하고 중간 및 최소 샘플 쌍의 크로마 샘플 값의 가중 평균을 (식 (23)에 나타난 바와 같이) y_A로 표시한다. 그런 다음 파라미터 α 및 파라미터 β는 식 (2)를 사용하여 계산된다.

； (20)

；（21）

；（22）

；（23）

여기서 x_max는 최대 샘플 쌍의 루마 샘플 값이고, x_mid는 중간 샘플 쌍의 루마 샘플 값이고, x_min은 최소 샘플 쌍의 루마 샘플 값이고, y_max는 최대 샘플 쌍의 크로마 샘플 값이고, y_mid는 중간 샘플 쌍의 크로마 샘플 값이고, y_min은 최소 샘플 쌍의 크로마 샘플 값이며; w1+w2=(1<<N1), offset1=1<<(N1-1); w3+w4=(1<<N2), offset2=1<<(N2-1)이다.

여기서 w1은 제1 가중 인자이고, w2는 제2 가중 인자이고, w3은 제3 가중 인자이고, w4는 제4 가중 인자이고; N1은 제1 평균값이고 N2는 제2 평균값이고; offset1은 제1 오프셋 인자이고 offset2는 제2 오프셋 인자이다.

동일한 가중치가 적용되는 한 예에서, w1=1, w2=1, w3=1, w4=1; N1=1, N2=1 및 offset1=1, offset2=1이다.

또 다른 예에서, w1=3, w2=1, w3=1, w4=3; N1=2, N2=2 및 offset1=2, offset2=2이다.

또 다른 실시예에서, 3개의 샘플 쌍에 대한 인덱스로서 i, j, k를 사용하여, luma_i와 luma_j 사이, luma_i와 luma_k 사이에 2개의 비교만이 수행된다. 두 가지 비교를 통해 세 개의 샘플 쌍을 루마 값으로 완전히 정렬하거나 두 그룹으로 나눌 수 있다. 하나는 두 개의 큰 값을 포함하고 다른 하나는 하나의 작은 값을 포함하거나 그 반대의 경우도 마찬가지이다. 값이 완전히 정렬되면 이전 섹션에서 설명한 방법을 사용할 수 있다. 샘플 쌍을 두 그룹으로 나눌 때 동일한 그룹의 루마 및 크로마 샘플은 각각 가중 평균된다(그룹의 단일 샘플 쌍은 실제로 가중 평균을 수행할 필요가 없다). 예를 들어, 한 그룹에 두 개의 샘플 쌍이 있는 경우 한 그룹의 두 루마 값은 동일한 가중치로 평균화되고 두 채도 값도 동일한 가중치로 평균화된다. 여기서 가중 평균값은 (2)를 사용하여 CCLM 파라미터를 도출하기 위해 x_A, x_B, y_A 및 y_B로서 사용된다.

또 다른 실시예에서, 루마 샘플 값이 가장 큰 샘플 쌍과 루마 샘플 값이 가장 작은 샘플 쌍은 루마 샘플 비교를 통해 식별된다. 최대 샘플 쌍의 루마 샘플 값은 x_B로 표시되고 최대 샘플 쌍의 크로마 샘플 값은 y_B로 표시된다. 최소 샘플 쌍의 루마 샘플 값은 x_A로 표시되고 최소 샘플 쌍의 크로마 샘플 값은 y_A로 표시된다. 그런 다음 파라미터 α 및 파라미터 β는 식 (2)를 사용하여 계산된다.

CCLM 파라미터에 대한 유도 방법은 언급된 실시예에 제한되지 않는다는 점에 유의한다. 선택된 3개의 샘플 쌍은 CCLM 파라미터를 유도하기 위해 어떤 방식으로든 사용될 수 있다.

제2 실시예에서, CCLM 파라미터 유도의 복잡성을 줄이기 위해 4개의 샘플 쌍을 사용하여 파라미터 α 및 파라미터 β를 유도한다. 도 14에 도시된 바와 같이, 샘플 쌍은 다음을 포함한다: 좌측 인접 샘플의 상단 샘플(), 상기 인접 샘플의 최좌측 샘플(), 좌측 인접 샘플의 하단 샘플(), 및 상부 인접 샘플의 최우측 샘플().

다른 실시예에서, 도 15에 도시된 바와 같이, 샘플 쌍은 다음을 포함한다: 상부 인접 샘플의 최좌측 샘플의 폭의 1/4(), 좌측 인접 샘플의 상단 샘플의 높이의 1/4(), 좌측 인접 샘플의 하단 샘플(), 및 상부 인접 샘플의 최우측 샘플().

샘플 쌍 선택은 언급된 실시예로 제한되지 않는다는 점에 유의한다. 4개의 샘플 쌍은 상부 또는 좌측의 재구성된 인접 샘플로부터 선택된 임의의 4개의 샘플 쌍일 수 있고 인접 샘플은 상부의 한 라인 또는 좌측의 한 라인으로 제한되지 않는다. 예를 들어, 하나의 샘플 쌍 세트는 다음을 포함한다: 상부 인접 샘플의 최좌측 샘플의 폭의 1/4, 좌측 인접 샘플의 상단 샘플의 높이의 1/4, 상부 인접 샘플의 최좌측 샘플의 폭의 3/4 샘플, 좌측 인접 샘플의 상단 샘플의 높이의 3/4.

대안적으로, 다른 샘플 쌍 세트는 다음을 포함한다: 상부 인접 샘플의 최좌측 샘플의 폭의 1/8, 상부 인접 샘플의 최좌측 샘플의 폭의 3/8, 상부 인접 샘플의 최좌측 샘플의 폭의 5/8, 상부 인접 샘플의 최좌측 샘플의 폭의 7/8.

대안적으로, 다른 샘플 쌍 세트는 다음을 포함한다: 좌측 인접 샘플의 상단 샘플의 높이의 1/8, 좌측 인접 샘플의 상단 샘플의 높이의 3/8, 좌측 인접 샘플의 상단 샘플의 높이의 5/8, 좌측 인접 샘플의 상단 샘플의 높이의 7/8.

일 실시예에서, 2 개의 더 큰 루마 샘플 값 및 2 개의 더 작은 루마 샘플 값을 각각 갖는 샘플 쌍은 루마 샘플 비교를 통해 식별된다. 두 개의 더 큰 샘플 쌍의 루마 샘플 값은 x_B0, x_B1로 표시되고 두 개의 더 큰 샘플 쌍의 크로마 샘플 값은 y_B0, y_B1로 표시된다. 2개의 더 작은 샘플 쌍의 루마 샘플 값은 x_A0, x_A1로 표시되고 2개의 더 작은 샘플 쌍의 크로마 샘플 값은 y_A0, y_A1로 표시된다. 아래의 식 (24) 내지 식 (27)에 예시된 바와 같이 x_A, x_B, y_A 및 y_B는 x_A0, x_A1, x_B0, x_B1, y_A0, y_A1 및 y_B0, y_B1의 가중 평균으로 도출된다. 그런 다음 파라미터 α 및 파라미터 β는 식 (2)를 사용하여 계산된다.

(24)

(25)

(26)

(27)

여기서 w1+w2=(1<<N1), offset1=1<<(N1-1); w3+w4=(1<<N2), offset2=1<<(N2-1).

동일한 가중치가 적용되는 일 예에서, w1=1, w2=1, w3=1, w4=1; N1=1, N2=1 및 offset1=1, offset2=1이다.

다른 실시예에서, 각각 가장 큰 루마 샘플 값 및 가장 작은 루마 샘플 값을 갖는 샘플 쌍은 루마 샘플 비교를 통해 식별된다. 최대 샘플 쌍의 루마 샘플 값은 x_B로 표시되고 최대 샘플 쌍의 크로마 샘플 값은 y_B로 표시된다. 최소 샘플 쌍의 루마 샘플 값은 x_A로 표시되고 최소 샘플 쌍의 크로마 샘플 값은 y_A로 표시된다. 그런 다음 파라미터 α 및 파라미터 β는 식 (2)를 사용하여 계산된다.

CCLM 파라미터에 대한 유도 방법은 언급된 실시예에 제한되지 않는다는 점에 유의한다. 4개의 선택된 샘플 쌍은 CCLM 파라미터를 유도하기 위해 어떤 방식으로든 사용될 수 있다.

본 발명의 다른 실시예는 여기에 개시된 본 발명의 명세서 및 실시를 고려함으로써 당업자에게 명백할 것이다. 본 출원은 본 발명의 일반 원리에 따라 본 발명의 임의의 변형, 사용 또는 개조를 포함하도록 의도되며, 당해 기술 분야에서 공지된 또는 통상적인 관행 내에 있는 본 개시으로부터의 이러한 이탈을 포함한다. 명세서 및 실시예는 단지 예시적인 것으로 간주되어야 하며, 본 발명의 진정한 범위 및 정신은 다음의 청구범위에 의해 지시된다.

본 발명은 전술하고 첨부된 도면에 예시된 정확한 실시예에 제한되지 않으며, 본 발명의 범위를 벗어나지 않고 다양한 수정 및 변경이 이루어질 수 있음을 이해할 것이다. 본 발명의 범위는 첨부된 청구범위에 의해서만 제한되는 것으로 의도된다.

하나 이상의 예에서, 설명된 기능은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능은 컴퓨터 판독 가능 매체에 하나 이상의 명령 또는 코드로서 저장되거나 이를 통해 전송될 수 있고 하드웨어 기반 처리 장치에 의해 실행될 수 있다. 컴퓨터 판독 가능 매체는 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독 가능 저장 매체, 또는 예를 들어, 통신 프로토콜에 따라 컴퓨터 프로그램을 한 장소에서 다른 장소로 전송하는 것을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터 판독 가능 매체는 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독 가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는 본 출원에서 설명된 구현의 구현을 위한 명령어, 코드 및/또는 데이터 구조를 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 사용 가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 매체를 포함할 수 있다.

또한, 상기 방법은 하나 이상의 회로를 포함하는 장치를 사용하여 구현될 수 있으며, 하나 이상의 회로는 주문형 집적 회로(application specific integrated circuits, ASIC), 디지털 신호 프로세서(digital signal processor, DSP), 디지털 신호 처리 장치(digital signal processing device, DSPD), 프로그래밍 가능한 논리 장치(programmable logic device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로컨트롤러, 마이크로프로세서 또는 기타 전자 컴포넌트를 포함한다. 장치는 위에서 설명된 방법을 수행하기 위해 다른 하드웨어 또는 소프트웨어 구성요소와 조합하여 회로를 사용할 수 있다. 위에 개시된 각각의 모듈, 서브-모듈, 유닛, 또는 서브-유닛은 하나 이상의 회로를 사용하여 적어도 부분적으로 구현될 수 있다.

본 발명은 위에서 설명되고 첨부된 도면에 예시된 정확한 실시예에 제한되지 않으며, 본 발명의 범위를 벗어남이 없이 다양한 수정 및 변경이 이루어질 수 있음을 이해할 것이다. 본 발명의 범위는 첨부된 청구범위에 의해서만 제한되는 것으로 의도된다.

Claims

비디오 인코딩 방법으로서,
코딩 단위(Coding Unit, CU)의 4 개의 인접하는 다운샘플링된 루마 샘플(luma sample)과 4 개의 대응하는 크로마 샘플(chroma sample)을 사용하여 교차 성분 선형 모델(cross-component linear model, CCLM) 모드에 대한 제1 파라미터 α 및 제2 파라미터 β를 유도하는 단계 - 여기서 각 다운샘플링된 루마 샘플과 그 대응하는 크로마 샘플은 동일한 행(row) 인덱스와 동일한 열(column) 인덱스에 대응함 - ; 및
상기 제1 파라미터 α 및 상기 제2 파라미터 β를 사용하여 상기 CU의 예측된 크로마 샘플을 생성하는 단계
를 포함하고,
상기 4 개의 인접하는 다운샘플링된 루마 샘플 및 4 개의 대응하는 크로마 샘플은 다음의 세트:
좌측 인접 샘플의 상단 샘플, 상부 인접 샘플의 최좌측 샘플, 좌측 인접 샘플의 하단 샘플 및 상부 인접 샘플의 최우측 샘플;
상부 인접 샘플의 최좌측 샘플의 폭의 1/4, 좌측 인접 샘플의 상단 샘플의 폭의 1/4, 좌측 인접 샘플의 하단 샘플 및 상부 인접 샘플의 최우측 샘플;
상부 인접 샘플의 최좌측 샘플의 폭의 1/4, 좌측 인접 샘플의 상단 샘플의 폭의 1/4, 상부 인접 샘플의 최좌측 샘플의 폭의 3/4, 좌측 인접 샘플의 상단 샘플의 폭의 3/4;
상부 인접 샘플의 최좌측 샘플의 폭의 1/8, 상부 인접 샘플의 최좌측 샘플의 폭의 3/8, 상부 인접 샘플의 최좌측 샘플의 폭의 5/8, 상부 인접 샘플의 최좌측 샘플의 폭의 7/8; 및
좌측 인접 샘플의 상단 샘플의 높이의 1/8, 좌측 인접 샘플의 상단 샘플의 높이의 3/8, 좌측 인접 샘플의 상단 샘플의 높이의 5/8, 좌측 인접 샘플의 상단 샘플의 높이의 7/8
중 하나를 포함하는, 비디오 인코딩 방법.
제1항에 있어서,
상기 예측된 크로마 샘플을 생성하는 단계는:
다음 식을 사용하여 예측된 크로마 샘플을 획득하는 단계

를 포함하며,
여기서 는 상기 예측된 크로마 샘플이고, 는 상기 CU의 다운샘플링된 재구성된 루마 샘플이고, x는 행 인덱스를 나타내고, y는 열 인덱스를 나타내는, 비디오 인코딩 방법.
제1항에 있어서,
4 개의 인접하는 다운샘플링된 루마 샘플과 4 개의 대응하는 크로마 샘플을 사용하여 제1 파라미터 α 및 제2 파라미터 β를 유도하는 단계는:
다음 식을 사용하여 제1 파라미터 α와 제2 파라미터 β를 획득하는 단계
를 포함하며,

여기서 x_A 및 x_B 각각은 상기 4 개의 인접하는 다운샘플링된 루마 샘플 중의 2 개의 대응하는 루마 샘플에 가중 평균을 수행함으로써 유도되고, y_A 및 y_B 각각은 상기 4 개의 대응하는 크로마 샘플 중의 2 개의 대응하는 크로마 샘플에 가중 평균을 수행함으로써 유도되는, 비디오 인코딩 방법.
제1항에 있어서,
상기 4 개의 인접하는 다운샘플링된 루마 샘플 및 4 개의 대응하는 크로마 샘플을 사용하여 제1 파라미터 α 및 제2 파라미터 β를 유도하는 단계는:
상기 4 개의 인접하는 다운샘플링된 루마 샘플로부터의 2 개의 더 작은 루마 샘플 x_A0, x_A1의 가중 평균 루마 값 x_A, 상기 4 개의 인접하는 다운샘플링된 루마 샘플로부터의 2 개의 더 큰 루마 샘플 x_B0, x_B1의 가중 평균 루마 값 x_B, 상기 2 개의 더 작은 루마 샘플에 대응하는 2 개의 크로마 샘플 y_A0, y_A1의 가중 평균 크로마 값 y_A, 및 상기 2 개의 더 큰 루마 샘플에 대응하는 2 개의 크로마 샘플 y_B0, y_B1의 가중 평균 크로마 값 y_B를 사용하여 제1 파라미터 α 및 제2 파라미터 β를 획득하는 단계
를 포함하며,
여기서 x_A, x_B, y_A, 및 y_B는 다음 식을 사용하여 획득되며:
;
;
;
;
여기서 w1+w2=(1<<N1), offset1=1<<(N1-1), w3+w4=(1<<N2), offset2=1<<(N2-1)이고,
여기서 w1은 제1 가중 인자이고, w2는 제2 가중 인자이고, w3은 제3 가중 인자이고, w4는 제4 가중 인자이고; N1은 제1 시프트 값이고 N2는 제2 시프트 값이고, offset1은 제1 오프셋 인자이고 offset2는 제2 오프셋 인자인, 비디오 인코딩 방법.
컴퓨팅 장치로서,
적어도 하나의 프로세서;
상기 적어도 하나의 프로세서에 결합된 비 일시적 스토리지; 및
상기 비 일시적 스토리지에 저장된 복수의 프로그램
을 포함하며, 상기 복수의 프로그램은 상기 프로세서에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금 제1항 내지 제4항 중 어느 한 항의 방법을 수행하도록 하는, 컴퓨팅 장치.
제1항 내지 제4항 중 어느 한 항의 방법에 따라 생성된 비트스트림을 저장하는 컴퓨터 판독 가능형 저장 매체.
컴퓨터 판독 가능형 저장 매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램이, 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제4항 중 어느 한 항의 방법을 수행하게 하는 적어도 하나의 명령을 포함하는, 컴퓨터 프로그램.