KR20220045045A

KR20220045045A - 비디오 신호의 행렬 가중된 인트라 예측

Info

Publication number: KR20220045045A
Application number: KR1020227009022A
Authority: KR
Inventors: 신웨이 리; 루-링 랴오; 야메이 첸; 지에 첸; 얀 예; 지안콩 루오
Original assignee: 알리바바 그룹 홀딩 리미티드
Priority date: 2019-08-30
Filing date: 2020-07-28
Publication date: 2022-04-12
Also published as: EP3991416A1; US20210067803A1; US11838541B2; JP2022546170A; EP3991416A4; CN114145016A; WO2021040941A1

Abstract

본 개시는 단순화된 행렬 가중된 인트라 예측을 수행하기 위한 방법을 제공한다. 방법은 타겟 블록의 분류를 결정하는 단계; 및 분류를 기초로, 행렬 가중된 인트라 예측(MIP) 신호를 생성하는 단계를 포함하고, 타겟 블록의 분류를 결정하는 단계는 타겟 블록이 4×4의 크기를 갖는다는 것에 응답하여, 타겟 블록이 제1 클래스에 속하는 것으로 결정하는 단계; 또는 타겟 블록이 8×8, 4×N 또는 N×4 - N은 8과 64 사이의 정수임 -의 크기를 갖는다는 것에 응답하여, 타겟 블록이 제2 클래스에 속하는 것으로 결정하는 단계를 포함한다.

Description

비디오 신호의 행렬 가중된 인트라 예측

연관된 출원에 대한 상호 참조

본 개시는 2019년 8월 30일자로 출원된 미국 가출원 제62/894,489호에 대한 우선권의 이익을 주장하며, 이는 그 전체가 본원에 참조로 통합된다.

기술분야

본 개시는 일반적으로 비디오 처리에 관한 것이고, 보다 구체적으로 비디오 신호의 단순화된 행렬 가중된 인트라 예측을 수행하기 위한 방법 및 시스템에 관한 것이다.

비디오는 시각적 정보를 캡처하는 정적 픽처(또는 "프레임")의 세트이다. 저장 메모리 및 송신 대역폭을 감소시키기 위해, 비디오는 저장 또는 송신 이전에 압축되고, 디스플레이 전에 압축 해제될 수 있다. 압축 프로세스는 보통 인코딩으로 지칭되고, 압축 해제 프로세스는 보통 디코딩으로 지칭된다. 가장 일반적으로 예측, 변환, 양자화, 엔트로피 코딩(entropy coding) 및 인-루프 필터링(in-loop filtering)을 기초로 하는, 표준화된 비디오 코딩 기술을 사용하는 다양한 비디오 코딩 포맷이 있다. 특정 비디오 코딩 포맷을 지정하는 고효율 비디오 코딩(High Efficiency Video Coding, HEVC/H.265) 표준, 다용도 비디오 코딩(Versatile Video Coding, VVC/H.266) 표준 AVS 표준과 같은 비디오 코딩 표준은 표준화 기구에서 개발한다. 점점 더 많은 진보된 비디오 코딩 기술이 비디오 표준에 채택되고 있고, 새로운 비디오 코딩 표준의 코딩 효율성은 점점 더 높아지고 있다.

본 개시의 실시예는 단순화된 행렬 가중된 인트라 예측을 수행하기 위한 방법을 제공한다. 방법은 타겟 블록의 분류를 결정하는 단계; 및 분류를 기초로, 행렬 가중된 인트라 예측(matrix-weighted intra prediction, MIP) 신호를 생성하는 단계를 포함하고, 타겟 블록의 분류를 결정하는 단계는: 타겟 블록이 4×4의 크기를 갖는다는 것에 응답하여, 타겟 블록이 제1 클래스에 속하는 것으로 결정하는 단계; 또는 타겟 블록이 8×8, 4×N 또는 N×4 - N은 8과 64 사이의 정수임 -의 크기를 갖는다는 것에 응답하여, 타겟 블록이 제2 클래스에 속하는 것으로 결정하는 단계를 포함한다.

본 개시의 실시예는 또한 단순화된 행렬 가중된 인트라 예측을 수행하기 위한 시스템을 제공한다. 시스템은 명령어의 세트를 저장하기 위한 메모리; 및 시스템으로 하여금: 타겟 블록의 분류를 결정하는 것; 및 분류를 기초로, 행렬-가중된 인트라 예측(MIP) 신호를 생성하는 것을 수행하게 하기 위한 명령어의 세트를 실행하도록 구성된 적어도 하나의 프로세서를 포함할 수 있고, 타겟 블록의 분류를 결정하는 것은: 타겟 블록이 4×4의 크기를 갖는다는 것에 응답하여, 타겟 블록이 제1 클래스에 속하는 것으로 결정하는 것; 또는 타겟 블록이 8×8, 4×N 또는 N×4 - N은 8과 64 사이의 정수임 -의 크기를 갖는다는 것에 응답하여, 타겟 블록이 제2 클래스에 속하는 것으로 결정하는 것을 포함한다.

본 개시의 실시예는 또한, 컴퓨터 시스템으로 하여금 비디오 콘텐츠를 처리하기 위한 방법을 수행하게 하기 위해 컴퓨터 시스템의 적어도 하나의 프로세서에 의해 실행 가능한 명령어의 세트를 저장하는 비일시적 컴퓨터 판독가능 매체를 제공한다. 방법은 타겟 블록의 분류를 결정하는 단계; 및 분류를 기초로, 행렬 가중된 인트라 예측(MIP) 신호를 생성하는 단계를 포함하고, 타겟 블록의 분류를 결정하는 단계는: 타겟 블록이 4×4의 크기를 갖는다는 것에 응답하여, 타겟 블록이 제1 클래스에 속하는 것으로 결정하는 단계; 또는 타겟 블록이 8×8, 4×N 또는 N×4 - N은 8과 64 사이의 정수임 -의 크기를 갖는다는 것에 응답하여, 타겟 블록이 제2 클래스에 속하는 것으로 결정하는 단계를 포함한다.

본 개시의 실시예 및 다양한 양상은 다음의 상세한 설명 및 첨부 도면에 예시된다. 도면에 도시된 다양한 피처(feature)는 축척대로 도시된 것은 아니다.
도 1은 본 개시의 실시예와 일치하는 본 개시의 실시예와 일치하는, 예시적인 비디오 시퀀스의 구조를 예시한다.
도 2a는 본 개시의 실시예와 일치하는, 하이브리드 비디오 코딩 시스템에 의해 수행되는 예시적인 인코딩 프로세스의 개략도를 예시한다.
도 2b는 본 개시의 실시예와 일치하는, 하이브리드 비디오 코딩 시스템에 의해 수행되는 다른 예시적인 인코딩 프로세스의 개략도를 예시한다.
도 3a는 본 개시의 실시예와 일치하는, 하이브리드 비디오 코딩 시스템에 의해 수행되는 예시적인 디코딩 프로세스의 개략도를 예시한다.
도 3b는 본 개시의 실시예와 일치하는, 하이브리드 비디오 코딩 시스템에 의해 수행되는 다른 예시적인 디코딩 프로세스의 개략도를 예시한다.
도 4는 본 개시의 실시예와 일치하는, 비디오를 인코딩하거나 또는 디코딩하기 위한 예시적인 장치의 블록도이다.
도 5는 본 개시의 실시예와 일치하는, 행렬 가중된 인트라 예측의 예시적인 개략도를 예시한다.
도 6은 본 개시의 실시예와 일치하는, 행렬 가중된 인트라 예측에서 사용되는 세 개의 예시적인 클래스를 포함하는 테이블을 예시한다.
도 7은 본 개시의 실시예와 일치하는, 오프셋 "sO"를 결정하기 위한 예시적인 룩업 테이블을 예시한다.
도 8은 본 개시의 실시예와 일치하는, 시프트 "sW"를 결정하기 위한 예시적인 룩업 테이블을 예시한다.
도 9는 본 개시의 실시예와 일치하는, 예시적인 제외 연산(leaving-out operation)을 도시하는 예시적인 행렬을 예시한다.
도 10 본 개시의 실시예와 일치하는, 다른 예시적인 제외 연산을 도시하는 다른 예시적인 행렬을 예시한다.
도 11은 본 개시의 실시예와 일치하는, 비디오 콘텐츠를 처리하기 위한 예시적인 방법의 흐름도이다.

이제 예시적인 실시예에 대한 참조가 상세히 이루어질 것이며, 이의 예시는 첨부 도면에 예시된다. 다음 설명은 달리 표시되지 않는 한 상이한 도면에서 동일한 번호가 동일하거나 유사한 요소를 나타내는 첨부 도면을 참조한다. 예시적인 실시예의 다음 설명에서 제시된 구현은 본 발명과 일치하는 모든 구현을 나타내는 것은 아니다. 대신에, 이들은 첨부된 청구범위에서 인용된 본 발명에 관련된 양상과 일치하는 장치 및 방법의 예시일 뿐이다. 달리 구체적으로 언급되지 않는 한, "또는"이란 용어는 실행 불가능한 경우를 제외하고 모든 가능한 조합을 포함한다. 예를 들어, 구성요소가 A 또는 B가 포함될 수 있다고 명시되어 있으면, 달리 구체적으로 명시되지 않거나 실행 불가능한 경우를 제외하고, 구성요소는 A 또는 B, 또는 A 및 B를 포함할 수 있다. 제2 예시로서, 구성요소가 A, B 또는 C를 포함할 수 있으면, 달리 구체적으로 명시되지 않거나 실행 불가능한 경우를 제외하고, 구성요소는 A 또는 B 또는 C, 또는 A 및 B, 또는 A 및 C, 또는 B 및 C, 또는 A 및 B 및 C를 포함할 수 있다.

비디오 코딩 시스템은 예를 들어, 소비되는 저장 공간을 감소시키거나 이러한 신호와 연관된 송신 대역폭 소비를 감소시키기 위해 디지털 비디오 신호를 압축하는 데 종종 사용된다. (예를 들어, 1920×1080 픽셀의 해상도를 갖는) 고화질(HD) 비디오가 온라인 비디오 스트리밍, 화상 회의 또는 비디오 모니터링과 같은 비디오 압축의 다양한 응용에서 인기를 얻으면서, 비디오 데이터의 압축 효율성을 높일 수 있는 비디오 코딩 도구를 개발하려는 지속적인 요구가 있다.

예를 들어, 비디오 모니터링 응용은 다수의 응용 시나리오(예를 들어, 보안, 트래픽, 환경 모니터링 등)에서 점점 더 광범위하게 사용되며, 모니터링 디바이스의 수 및 해상도는 계속 빠르게 증가하고 있다. 다수의 비디오 모니터링 응용 시나리오는 사용자에게 HD 비디오를 제공하여 더 많은 정보를 캡처하는 것을 선호하며, 이는 이러한 정보를 캡처하기 위해 프레임당 더 많은 픽셀을 갖는다. 하지만, HD 비디오 비트스트림은 송신을 위한 높은 대역폭 및 저장을 위한 큰 공간을 요구하는 높은 비트레이트를 가질 수 있다. 예를 들어, 평균 1920×1080 해상도를 갖는 모니터링 비디오 스트림은 실시간 송신을 위해 4Mbps의 높은 대역폭을 요구할 수 있다. 또한, 비디오 모니터링은 일반적으로, 7×24를 연속적으로 모니터링하며, 이는 비디오 데이터가 저장되어야 하는 경우 저장 시스템에 큰 과제가 될 수 있다. 그러므로, HD 비디오의 높은 대역폭 및 큰 저장에 대한 요구는 비디오 모니터링에서 그의 대규모 전개에 대한 주요 제약이 된다.

비디오는 시각적 정보를 저장하기 위해 시간적인 시퀀스로 배열된 정적 픽처(또는 "프레임")의 세트이다. 비디오 캡처 디바이스(예를 들어, 카메라)는 이 픽처를 시간적인 시퀀스로 캡처하고 저장하는데 사용될 수 있고, 비디오 재생 디바이스(예를 들어, 디스플레이의 기능을 갖는 텔레비전, 컴퓨터, 스마트폰, 태블릿 컴퓨터, 비디오 플레이어 또는 임의의 최종-사용자 단말기)는 이러한 픽처를 시간적인 시퀀스로 디스플레이하기 위해 사용될 수 있다. 또한, 일부 응용에서, 비디오 캡처링 디바이스는 모니터링, 회의 또는 실시간 방송과 같이 캡처된 비디오를 비디오 재생 디바이스(예를 들어, 모니터를 갖는 컴퓨터)에 실시간으로 송신할 수 있다.

이러한 응용에 의해 필요한 저장 공간 및 송신 대역폭을 감소시키기 위해, 비디오는 저장 또는 송신 이전에 압축되고, 디스플레이 전에 압축 해제될 수 있다. 압축 및 압축 해제는 프로세서(예를 들어, 일반 컴퓨터의 프로세서) 또는 특수 하드웨어에 의해 실행되는 소프트웨어에 의해 구현될 수 있다. 압축을 위한 모듈은 일반적으로 "인코더"로 지칭되고, 압축 해제를 위한 모듈은 일반적으로 "디코더"로 지칭된다. 인코더 및 디코더를 집합적으로 "코덱(codec)"으로 지칭될 수 있다. 인코더 및 디코더는 임의의 다양한 적합한 하드웨어, 소프트웨어, 또는 이들의 조합 중 임의의 것으로 구현될 수 있다. 예를 들어, 인코더 및 디코더의 하드웨어 구현은 하나 이상의 마이크로프로세서, 디지털 신호 프로세서(DSP), 애플리케이션-특정 집적 회로(application-specific integrated circuits, ASIC), 필드 프로그램 가능 게이트 어레이(Field-Programmable Gate Array, FPGA), 이산 로직 또는 이의 임의의 조합과 같은 회로를 포함할 수 있다. 인코더 및 디코더의 소프트웨어 구현은 컴퓨터 판독 가능 매체에 고정된 프로그램 코드, 컴퓨터-실행가능 명령어, 펌웨어 또는 임의의 적합한 컴퓨터 구현 알고리즘 또는 프로세스를 포함할 수 있다. 비디오 압축 및 압축 해제는 MPEG-1, MPEG-2, MPEG-4, H.26x 시리즈 등과 같은 다양한 알고리즘 또는 표준에 의해 구현될 수 있다. 일부 응용에서, 코덱은 제1 코딩 표준으로부터 비디오를 압축 해제하고 제2 코딩 표준을 사용하여 압축해제된 비디오를 재압축할 수 있으며, 이 경우 코덱은 "트랜스코더(transcoder)"로 지칭될 수 있다.

비디오 인코딩 프로세스는 픽처를 재구성하는 데 사용될 수 있는 유용한 정보를 식별하고 유지할 수 있고, 재구성에 중요하지 않은 정보를 폐기할 수 있다. 폐기되고 중요하지 않은 정보가 완전히 재구성될 수 없는 경우, 이러한 인코딩 프로세스는 "손실이 있는 것(lossy)"으로 지칭될 수 있다. 그렇지 않으면, 이는 "무손실"로 지칭될 수 있다. 대부분의 인코딩 프로세스는 손실이 있고, 이는 필요한 저장 공간 및 송신 대역폭을 감소시키기 위한 절충안이다.

인코딩되는 픽처(현재 픽처로 지칭됨)의 유용한 정보는 참조 픽처(예를 들어, 이전에 인코딩되거나 재구성된 픽처)에 대한 변경을 포함할 수 있다. 이러한 변경은 픽셀의 위치 변경, 광도 변경 또는 색상 변경을 포함할 수 있으며, 그 중 위치 변경이 주로 관련된다. 객체를 나타내는 픽셀의 그룹의 위치 변경은 참조 픽처와 현재 픽처 사이의 객체의 움직임을 반영할 수 있다.

참조 픽처가 현재 픽처 그 자체인지 또는 다른 픽처인지에 의존하여, 현재 픽처의 인코딩은 "인터 예측" 및 "인트라 예측"으로 분류될 수 있다. 인트라 예측은 이미 코딩된 픽셀로부터 외삽을 통해 예측 값을 계산함으로써 공간 중복성(예를 들어, 하나의 프레임 내의 픽셀 간의 상관관계)을 이용할 수 있다. 인터 예측은 이웃 프레임(예를 들어, 참조 프레임 및 타겟 프레임) 간의 시간적인 차이(예를 들어, 움직임 벡터)를 이용할 수 있으며, 타겟 프레임의 코덱을 가능하게 할 수 있다. 본 개시는 인트라 예측을 위해 사용되는 기법에 관련된다.

본 개시는 비디오 신호의 단순화된 행렬 가중된 인트라 예측을 수행하기 위한 방법, 장치 및 시스템을 제공한다. MIP 예측 프로세스에서 행렬의 추가적인 제외 연산(leaving out operations)을 제거함으로써, 상이한 크기를 갖는 블록에 대한 예측 프로세스가 통합될 수 있고, 계산 프로세스 또한 단순화될 수 있다.

도 1은 본 개시의 실시예와 일치하는, 예시적인 비디오 시퀀스(100)의 구조를 예시한다. 비디오 시퀀스(100)는 실시간 비디오 또는 캡처되고 보관되는 비디오일 수 있다. 비디오(100)는 실제 비디오, 컴퓨터-생성된 비디오(예를 들어, 컴퓨터 게임 비디오)또는 이들의 조합(예를 들어, 증강-현실 효과를 갖는 실제 비디오)일 수 있다. 비디오 시퀀스(100)는 비디오 캡처 디바이스(예를 들어, 카메라), 이전에 캡처된 비디오를 포함하는 비디오 보관(예를 들어, 저장 디바이스에 저장된 비디오 파일), 또는 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스(예를 들어, 비디오 브로드캐스트 트랜시버)로부터 입력될 수 있다.

도 1에 도시된 바와 같이, 비디오 시퀀스(100)는 픽처(102, 104, 106 및 108)를 포함하는, 시간선을 따라 시간적으로 배열된 일련의 픽처를 포함할 수 있다. 픽처(102 내지 106)는 연속적이고, 픽처(106)와 픽처(108) 사이에 더 많은 픽처가 있다. 도 1에서, 픽처(102)는 I-픽처이고, 이의 참조 픽처는 픽처(102) 그 자체이다. 픽처(104)는 P-픽처이고, 이의 참조 픽처는 화살표로 나타난 바와 같이 픽처(102)이다. 픽처(106)는 B-픽처이고, 이의 참조 픽처는 화살표로 나타난 바와 같이 픽처(104 및 108)이다. 일부 실시예에서, 픽처(예를 들어, 픽처(104))의 참조 픽처는 픽처 직전 또는 직후가 아닐 수 있다. 예를 들어, 픽처(104)의 참조 픽처는 픽처(102)에 선행하는 픽처일 수 있다. 픽처(102 내지 106)의 참조 픽처는 단지 예시이며, 본 개시는 도 1에 도시된 예시로서 참조 픽처의 실시예를 제한하지 않는다는 것이 유의되어야 한다.

전형적으로, 비디오 코덱은 이러한 태스크(task)의 연산 복잡성에 기인하여 전체의 픽처를 동시에 인코딩하거나 또는 디코딩하지 않는다. 오히려, 이는 픽처를 기본 세그먼트로 분할할 수 있고, 픽처를 세그먼트별로 인코딩하거나 또는 디코딩할 수 있다. 이러한 기본 세그먼트는 본 개시에서 기본 처리 유닛(basic processing units, BPU)으로 지칭된다. 예를 들어, 도 1에서의 구조(110)는 비디오 시퀀스(100)의 픽처(예를 들어, 픽처(102 내지 108) 중 임의의 것)의 예시적인 구조를 도시한다. 구조(110)에서, 픽처는 4Х4 기본 처리 유닛으로 분할되고, 이의 경계는 점선으로 도시된다. 일부 실시예에서, 기본 처리 유닛은 일부 비디오 코딩 표준(예를 들어, MPEG 패밀리, H.261, H.263, 또는 H.264/AVC)에서 "매크로블록"으로 지칭될 수 있거나, 일부 다른 비디오 코딩 표준(예를 들어, H.265/HEVC 또는 H.266/VVC)에서 "코딩 트리 유닛"("CTU")으로 지칭될 수 있다. 기본 처리 유닛은 128×128, 64×64, 32×32, 16×16, 4×8, 16×32와 같은 픽처에서의 가변적인 크기, 또는 픽셀의 어느 임의의 형태 및 크기를 가질 수 있다. 기본 처리 유닛의 크기 및 형태는 기본 처리 유닛에서 유지될 세부사항의 코딩 효율 및 레벨의 밸런스를 기초로 픽처에 대해 선택될 수 있다.

기본 처리 유닛은 컴퓨터 메모리에 (예를 들어, 비디오 프레임 버퍼에) 저장된 상이한 타입의 비디오 데이터의 그룹을 포함할 수 있는 논리적 유닛일 수 있다. 예를 들어, 컬러 픽처의 기본 처리 유닛은 무색의 밝기 정보를 나타내는 루마 성분(Y), 색상 정보를 나타내는 하나 이상의 크로마 성분(예를 들어, Cb 및 Cr) 및 연관된 신택스 요소를 포함할 수 있고, 여기서 루마 및 크로마 성분은 기본 처리 유닛과 동일한 크기를 가질 수 있다. 루마 및 크로마 구성요소는 일부 비디오 코딩 표준(예를 들어, H.265/HEVC 또는 H.266/VVC)에서 "코딩 트리 블록"("CTB")으로 지칭될 수 있다. 기본 처리 유닛에 대해 수행된 임의의 동작은 그의 루마 및 크로마 성분의 각각에 대해 반복적으로 수행될 수 있다.

비디오 코딩은 다수의 동작 스테이지를 가지며, 이의 예시는 도 2a-2b 및 3a-3b에서 상세히 설명될 것이다. 각 스테이지에 대해, 기본 처리 유닛의 크기는 처리하기에 여전히 너무 클 수 있으며, 따라서 본 개시에서 기본 처리 서브-유닛으로 지칭되는 세그먼트로 더 분할될 수 있다. 일부 실시예에서, 기본 처리 서브-유닛은 일부 비디오 코딩 표준(예를 들어, MPEG 패밀리, H.261, H.263, 또는 H.264/AVC)에서 "블록"으로 지칭될 수 있거나, 일부 다른 비디오 코딩 표준(예를 들어, H.265/HEVC 또는 H.266/VVC)에서 "코딩 유닛"("CU")으로 지칭될 수 있다. 기본 처리 서브-유닛은 기본 처리 유닛과 동일하거나 더 작은 크기를 가질 수 있다. 기본 처리 유닛과 유사하게, 기본 처리 서브-유닛은 또한, 논리적 유닛이며, 이는 컴퓨터 메모리에 (예를 들어, 비디오 프레임 버퍼에) 저장된 상이한 타입의 비디오 데이터(예를 들어, Y, Cb, Cr 및 연관된 신택스 요소)의 그룹을 포함할 수 있다. 기본 처리 서브-유닛에 대해 수행된 임의의 동작은 그의 루마 및 크로마 성분의 각각에 대해 반복적으로 수행될 수 있다. 이러한 분할은 처리 요구에 의존하는 추가적인 레벨로 수행될 수 있다는 것이 유의되어야 한다. 또한, 상이한 스테이지가 상이한 체계를 사용하여 기본 처리 유닛을 분할할 수 있다는 것이 유의되어야 한다.

예를 들어, 모드 결정 스테이지(그의 예시가 도 2b에서 상세히 설명될 것임)에서, 인코더는 기본 처리 유닛에 사용하기 위한 어떤 예측 모드(예를 들어, 인트라-픽처 예측 또는 인터-픽처 예측)를 결정할 수 있으며, 이는 이러한 결정을 하기엔 너무 클 수 있다. 인코더는 기본 처리 유닛을 다수의 기본 처리 서브-유닛(예를 들어, H.265/HEVC 또는 H.266/VVC에서와 같이 CU)으로 분할할 수 있으며, 각 개별적인 기본 처리 서브-유닛에 대해 예측 타입을 결정할 수 있다.

다른 예시로서, 예측 스테이지(그의 예시가 도 2a에서 상세히 설명됨)에서, 인코더는 기본 처리 서브-유닛(예를 들어, CU)의 레벨에서 예측 동작을 수행할 수 있다. 하지만, 일부 경우에서, 기본 처리 서브-유닛은 처리하기에 여전히 너무 클 수 있다. 인코더는 예측 동작이 수행될 수 있는 레벨에서, 기본 처리 서브-유닛을 더 작은 세그먼트(예를 들어, H.265/HEVC 또는 H.266/VVC에서 "예측 블록" 또는 "PB"로 지칭됨)로 더 분할할 수 있다.

다른 예시에 대해, 변환 스테이지(그의 예시가 도 2a에서 상세히 설명됨)에서, 인코더는 잔차 기본 처리 서브-유닛(예를 들어, CU)에 대한 변환 동작을 수행할 수 있다. 하지만, 일부 경우에서, 기본 처리 서브-유닛은 처리하기에 여전히 너무 클 수 있다. 인코더는 변환 동작이 수행될 수 있는 레벨에서, 기본 처리 서브-유닛을 더 작은 세그먼트(예를 들어, H.265/HEVC 또는 H.266/VVC에서 "변환 블록" 또는 "TB"로 지칭됨)로 더 분할할 수 있다. 동일한 기본 처리 서브-유닛의 분할 체계는 예측 스테이지 및 변환 스테이지에서 상이할 수 있다는 것이 유의되어야 한다. 예를 들어, H.265/HEVC 또는 H.266/VVC에서, 동일한 CU의 예측 블록 및 변환 블록은 상이한 크기 및 개수를 가질 수 있다.

도 1의 구조(110)에서, 기본 처리 유닛(112)은 그의 경계가 점선으로 도시된, 3Х3 기본 처리 서브-유닛으로 더 분할된다. 동일한 픽처의 상이한 기본 처리 유닛이 상이한 체계에서 기본 처리 서브-유닛으로 분할될 수 있다.

일부 구현에서, 비디오 인코딩 및 디코딩에 대한 병렬 처리 및 오류 복원의 능력을 제공하기 위해, 픽처는 픽처의 영역에 대해, 인코딩 또는 디코딩 프로세스가 픽처의 임의의 다른 영역으로부터의 정보에 의존하지 않도록, 처리를 위한 영역으로 분할될 수 있다. 다시 말해, 픽처의 각 영역은 독립적으로 처리될 수 있다. 이렇게 함으로써, 코덱은 픽처의 상이한 영역을 병렬로 처리할 수 있으며, 따라서 코딩 효율을 증가시킨다. 또한, 영역의 데이터가 처리에서 훼손되거나 또는 네트워크 송신에서 분실될 때, 코덱은 훼손되거나 또는 분실된 데이터에 대한 의존(reliance) 없이, 동일한 픽처의 다른 영역을 올바르게 인코딩 또는 디코딩할 수 있으며, 따라서 오류 복원의 능력을 제공한다. 일부 비디오 코딩 표준에서, 픽처는 상이한 타입의 영역으로 분할될 수 있다. 예를 들어, H.265/HEVC 및 H.266/VVC는 두 개의 타입의 영역: "슬라이스" 및 "타일"을 제공한다. 또한, 비디오 시퀀스(100)의 상이한 픽처가 픽처를 영역으로 분할하기 위한 상이한 파티션 체계를 가질 수 있다는 것이 유의되어야 한다.

예를 들어, 도 1에서, 구조(110)는 그의 경계가 구조(110) 내에서 실선으로 도시된 세 개의 영역(114, 116 및 118)으로 분할된다. 영역(114)은 네 개의 기본 처리 유닛을 포함한다. 영역(116 및 118)의 각각은 여섯 개의 기본 처리 유닛을 포함한다. 도 1에서 구조(110)의 기본 처리 유닛, 기본 처리 서브-유닛 및 영역은 단지 예시이며, 본 개시는 이의 실시예를 제한하지 않는다는 것이 유의되어야 한다.

도 2a는 본 개시의 실시예와 일치하는, 예시적인 인코딩 프로세스(200A)의 개략도를 예시한다. 인코더는 프로세스(200A)에 따라 비디오 시퀀스(202)를 비디오 비트스트림(228)으로 인코딩할 수 있다. 도 1에서의 비디오 시퀀스(100)와 유사하게, 비디오 시퀀스(202)는 시간적인 순서로 배열된 픽처("원본 픽처"로 지칭됨)의 세트를 포함할 수 있다. 도 1에서의 구조(110)와 유사하게, 비디오 시퀀스(202)의 각 원본 픽처는 인코더에 의해 기본 처리 유닛, 기본 처리 서브-유닛 또는 처리를 위한 영역으로 분할될 수 있다. 일부 실시예에서, 인코더는 비디오 시퀀스(202)의 각 원본 픽처에 대한 기본 처리 유닛의 레벨에서 프로세스(200A)를 수행할 수 있다. 예를 들어, 인코더는 프로세스(200A)를 반복 방식으로 수행할 수 있으며, 여기서 인코더는 프로세스(200A)의 하나의 반복으로 기본 처리 유닛을 인코딩할 수 있다. 일부 실시예에서, 인코더는 비디오 시퀀스(202)의 각 원본 픽처의 영역(예를 들어, 영역(114-118))에 대해 프로세스(200A)를 병렬로 수행할 수 있다.

도 2a에서, 인코더는 예측 데이터(206) 및 예측된 BPU(208)를 생성하기 위해 비디오 시퀀스(202)의 원본 픽처의 기본 처리 유닛("원본 BPU"로 지칭됨)을 예측 스테이지(204)로 공급할 수 있다. 인코더는 잔차 BPU(210)를 생성하기 위해 원본 BPU로부터 예측된 BPU(208)를 감산할 수 있다. 인코더는 양자화된 변환 계수(216)를 생성하기 위해, 잔차 BPU(210)를 변환 스테이지(212) 및 양자화 스테이지(214)에 공급할 수 있다. 인코더는 비디오 비트스트림(228)을 생성하기 위해, 예측 데이터(206) 및 양자화된 변환 계수(216)를 이진 코딩 스테이지(226)에 공급할 수 있다. 구성요소(202, 204, 206, 208, 210, 212, 214, 216, 226 및 228)는 "순방향 경로(forward path)"로서 지칭될 수 있다. 프로세스(200A) 동안, 양자화 스테이지(214) 이후에, 인코더는 재구성된 잔차 BPU(222)를 생성하기 위해, 양자화된 변환 계수(216)를 역양자화 스테이지(218) 및 역변환 스테이지(220)에 공급할 수 있다. 인코더는 프로세스(200A)의 다음 반복을 위해 예측 스테이지(204)에서 사용되는 예측 참조(224)를 생성하기 위해, 재구성된 잔차 BPU(222)를 예측된 BPU(208)에 더할 수 있다. 프로세스(200A)의 구성요소(218, 220, 222 및 224)는 "재구성 경로"로서 지칭될 수 있다. 재구성 경로는 인코더 및 디코더 둘 모두가 예측을 위해 동일한 참조를 사용하는 것을 보장하도록 사용될 수 있다.

인코더는 (순방향 경로에서) 원본 픽처의 각각의 원본 BPU를 인코딩하고, (재구성 경로에서) 원본 픽처의 다음 원본 BPU를 인코딩하기 위한 예측된 참조(224)를 생성하기 위해 프로세스(200A)를 반복적으로 수행할 수 있다. 원본 픽처의 모든 원본 BPU를 인코딩한 이후에, 인코더는 비디오 시퀀스(202)에서 다음 픽처를 인코딩하도록 진행할 수 있다.

프로세스(200A)를 참조하면, 인코더는 비디오 캡처링 디바이스(예를 들어, 카메라)에 의해 생성되는 비디오 시퀀스(202)를 수신할 수 있다. 본원에서 사용된 "수신하다"라는 용어는 수신, 입력, 취득, 검색, 획득, 판독, 액세스 또는 데이터를 입력하기 위한 임의의 방식에서의 임의의 동작을 지칭할 수 있다.

현재 반복에서의 예측 스테이지(204)에서, 인코더는 원본 BPU 및 예측 참조(224)를 수신할 수 있고, 예측 데이터(206) 및 예측된 BPU(208)를 생성하기 위해 예측 동작을 수행할 수 있다. 예측 참조(224)는 프로세스(200A)의 이전의 반복의 재구성 경로로부터 생성될 수 있다. 예측 스테이지(204)의 목적은 예측 데이터(206) 및 예측 참조(224)로부터 원본 BPU를 예측된 BPU(208)로서 재구성하기 위해 사용될 수 있는 예측 데이터(206)를 추출함으로써 정보 리던던시(information redundancy)를 감소시키는 것이다.

이상적으로, 예측된 BPU(208)는 원본 BPU와 동일할 수 있다. 하지만, 비-이상적 예측 및 재구성 동작에 기인하여, 예측된 BPU(208)는 일반적으로 원본 BPU와는 약간 상이하다. 이러한 차이를 기록하기 위해, 예측된 BPU(208)를 생성한 이후에, 인코더는 잔차 BPU(210)를 생성하기 위해, 원본 BPU로부터 이를 감산할 수 있다. 예를 들어, 인코더는 원본 BPU의 대응하는 픽셀의 값으로부터 예측된 BPU(208)의 픽셀의 값(예를 들어, 그레이스케일 값 또는 RGB 값)을 감산할 수 있다. 잔차 BPU(210)의 각 픽셀은 원본 BPU 및 예측된 BPU(208)의 대응하는 픽셀 사이에서 이러한 감산의 결과로서 잔차 값을 가질 수 있다. 원본 BPU와 비교하여, 예측 데이터(206) 및 잔차 BPU(210)는 더 적은 수의 비트를 가질 수 있지만, 이들은 현저한 품질 저하 없이 원본 BPU를 재구성하는데 사용될 수 있다. 따라서, 원본 BPU가 압축된다.

잔차 BPU(210)를 더 압축하기 위해, 변환 스테이지(212)에서, 인코더는 이를 2차원 "기본 패턴" - 각 기본 패턴은 "변환 계수와 연관됨 -으로 분해함으로써 잔차 BPU의 공간 과잉을 저감할 수 있다. 기본 패턴은 동일한 크기(예를 들어, 잔차 BPU(210)의 크기)를 가질 수 있다. 각 기본 패턴은 잔차 BPU(210)의 변동 주파수(variation frequency)(예를 들어, 밝기 변동의 주파수) 성분을 나타낼 수 있다. 기본 패턴 중 어느 것도 임의의 다른 기본 패턴의 임의의 조합(예를 들어, 선형 조합)으로부터 재생성될 수 없다. 다시 말해, 분해는 잔차 BPU(210)의 변동을 주파수 도메인으로 분해할 수 있다. 이러한 분해는 함수의 이산 푸리에 변환과 유사하며, 여기서 기본 패턴은 이산 푸리에 변환의 기본 함수(예를 들어, 삼각 함수)와 유사하고 변환 계수는 기본 함수와 연관된 계수와 유사하다.

상이한 변환 알고리즘이 상이한 기본 패턴을 사용할 수 있다. 다양한 변환 알고리즘은 예를 들어, 이산 코사인 변환, 이산 사인 변환 등과 같은 변환 스테이지(212)에서 사용될 수 있다. 변환 스테이지(212)에서의 변환은 역으로 이루어진다(invertible). 즉, 인코더는 변환의 역동작("역변환"으로 지칭됨)에 의해 잔차 BPU(210)를 복원할 수 있다. 예를 들어, 잔차 BPU(210)의 픽셀을 복원하기 위해, 역변환은 기본 패턴의 대응하는 픽셀의 값을 각각의 연관된 계수를 곱하고, 그 결과 값을 더하여 가중합을 생성할 수 있다. 비디오 코딩 표준에 대해, 인코더 및 디코더 둘 모두는 동일한 변환 알고리즘(따라서, 동일한 기본 패턴)을 사용할 수 있다. 따라서, 인코더는 변환 계수만을 기록할 수 있고, 이로부터 디코더는 인코더로부터 기본 패턴을 수신하지 않으면서, 잔차 BPU(210)를 재구성할 수 있다. 잔차 BPU(210)와 비교하여, 변환 계수는 더 적은 수의 비트를 가질 수 있지만, 이들은 현저한 품질 저하 없이 잔차 BPU(210)를 재구성하는데 사용될 수 있다. 따라서, 잔차 BPU(210)가 더 압축된다.

인코더는 양자화 스테이지(214)에서 변환 계수를 더 압축할 수 있다. 변환 프로세스에서, 상이한 기본 패턴이 상이한 변동 주파수(예를 들어, 밝기 변동 주파수)를 나타낼 수 있다. 인간의 눈은 일반적으로 낮은-주파수 변화를 더 잘 인식하기 때문에, 인코더는 디코딩에서 현저한 품질 저하를 초래하지 않으면서 높은-주파수 변동의 정보를 무시할 수 있다. 예를 들어, 양자화 스테이지(214)에서, 인코더는 각 변환 계수를 정수 값("양자화 파라미터"로 지칭됨)으로 나누고, 몫을 그의 가장 가까운 정수로 반올림함으로써, 양자화된 변환 계수(216)를 생성할 수 있다. 이러한 동작 이후에, 고주파수 기본 패턴의 일부 변환 계수는 0으로 변환될 수 있고, 저주파수 기본 패턴의 변환 계수는 더 작은 정수로 변환될 수 있다. 인코더는 0-값 양자화된 변환 계수(216)를 무시할 수 있으며, 이에 의해 변환 계수는 더 압축된다. 또한, 양자화 프로세스는 역으로 이루어지고, 여기서 양자화된 변환 계수(216)는 양자화의 역동작("역양자화"로 지칭됨)에서 변환 계수로 재구성될 수 있다.

인코더가 반올림 연산에서 이러한 나눗셈의 나머지를 무시하기 때문에, 양자화 스테이지(214)는 손실이 있을 수 있다. 전형적으로, 양자화 스테이지(214)는 프로세스(200A)에서 최대 정보 손실에 기여할 수 있다. 정보 손실이 크면 클수록, 양자화된 변환 계수(216)가 더 적은 비트를 필요로 할 수 있다. 상이한 레벨의 정보 손실을 획득하기 위해, 인코더는 양자화 파라미터의 상이한 값 또는 양자화 프로세스의 임의의 다른 파라미터를 사용할 수 있다.

이진 코딩 스테이지(226)에서, 인코더는 예를 들어, 엔트로피 코딩, 가변 길이 코딩, 산술 코딩, 허프만 코딩(Huffman coding), 컨텍스트-적응적 이진 산술 코딩(context-adaptive binary arithmetic coding) 또는 임의의 다른 무손실 또는 손실 압축 알고리즘과 같은 이진 코딩 기술을 사용하여 예측 데이터(206) 및 양자화된 변환 계수(216)를 인코딩할 수 있다. 일부 실시예에서, 예측 데이터(206) 및 양자화된 변환 계수(216) 이외에, 인코더는 예를 들어, 예측 스테이지(204)에서 사용되는 예측 모드, 예측 동작의 파라미터, 변환 스테이지(212)에서의 변환 타입, 양자화 프로세스의 파라미터(예를 들어, 양자화 파라미터), 인코더 제어 파라미터(예를 들어, 비트레이트 제어 파라미터) 등과 같은 이진 코딩 스테이지(226)에서의 다른 정보를 인코딩할 수 있다. 인코더는 비디오 비트스트림(228)을 생성하기 위해 이진 코딩 스테이지(226)의 출력 데이터를 사용할 수 있다. 일부 실시예에서, 비디오 비트스트림(228)은 네트워크 송신을 위해 더 패킷화될 수 있다.

프로세스(200A)의 재구성 경로를 참고하면, 역양자화 스테이지(218)에서, 인코더는 재구성된 변환 계수를 생성하기 위해 양자화된 변환 계수(216)에 역양자화를 수행할 수 있다. 역변환 스테이지(220)에서, 인코더는 재구성된 변환 계수를 기초로, 재구성된 잔차 BPU(222)를 생성할 수 있다. 인코더는 프로세스(200A)의 다음 반복에서 사용될 예측 참조(224)를 생성하기 위해, 재구성된 잔차 BPU(222)를 예측된 BPU(208)에 더할 수 있다.

프로세스(200A)의 다른 변형은 비디오 시퀀스(202)를 인코딩하기 위해 사용될 수 있다는 것이 유의되어야 한다. 일부 실시예에서, 프로세스(200A)의 스테이지는 인코더에 의해 상이한 순서로 수행될 수 있다. 일부 실시예에서, 프로세스(200A)의 하나 이상의 스테이지는 단일 스테이지로 결합될 수 있다. 일부 실시예에서, 프로세스(200A)의 단일 스테이지는 다수의 스테이지로 분할될 수 있다. 예를 들어, 변환 스테이지(212) 및 양자화 스테이지(214)가 단일 스테이지로 결합될 수 있다. 일부 실시예에서, 프로세스(200A)는 추가적인 스테이지를 포함할 수 있다. 일부 실시예에서, 프로세스(200A)는 도 2a에서의 하나 이상의 스테이지를 생략할 수 있다.

도 2b는 본 개시의 실시예와 일치하는, 다른 예시적인 인코딩 프로세스(200B)의 개략도를 예시한다. 프로세스(200B)는 프로세스(200A)로부터 수정될 수 있다. 예를 들어, 프로세스(200B)는 하이브리드 비디오 인코딩 표준(예를 들어, H.26x 시리즈)을 따르는 인코더에 의해 사용될 수 있다. 프로세스(200A)에 비해, 프로세스(200B)의 순방향 경로는 모드 결정 스테이지(230)를 추가적으로 포함하고, 예측 스테이지(204)를 공간 예측 스테이지(2042) 및 시간 예측 스테이지(2044)로 분할한다. 프로세스(200B)의 재구성 경로는 루프 필터 스테이지(232) 및 버퍼(234)를 추가적으로 포함한다.

일반적으로, 예측 기술은 두 개의 타입: 공간 예측 및 시간 예측으로 카테고리화될 수 있다. 공간 예측(예를 들어, 인트라-픽처 예측 또는 "인트라 예측")은 현재 BPU를 예측하기 위해, 동일한 픽처에서 하나 이상의 이미 코딩된 이웃하는 BPU로부터의 픽셀을 사용할 수 있다. 즉, 공간 예측에서의 예측 참조(224)는 이웃하는 BPU를 포함할 수 있다. 공간 예측은 픽처의 내재적인 공간 리던던시를 감소시킬 수 있다. 시간 예측(예를 들어, 인터-픽처 예측 또는 "인터 예측")은 현재 BPU를 예측하기 위해 하나 이상의 이미 코딩된 픽처로부터의 영역을 사용할 수 있다. 즉, 시간 예측에서의 예측 참조(224)는 코딩된 픽처를 포함할 수 있다. 시간 예측은 픽처의 내재적인 시간 과잉을 저감할 수 있다.

프로세스(200B)를 참조하면, 순방향 경로에서, 인코더는 공간 예측 스테이지(2042) 및 시간 예측 스테이지(2044)에서 예측 동작을 수행한다. 예를 들어, 공간 예측 스테이지(2042)에서, 인코더는 인트라 예측을 수행할 수 있다. 인코딩되는 픽처의 원본 BPU에 대해, 예측 참조(224)는 동일한 픽처에서 (순방향 경로에서) 인코딩되고 (재구성 경로에서) 재구성되는 하나 이상의 이웃하는 BPU를 포함할 수 있다. 인코더는 이웃하는 BPU를 외삽함으로써 예측된 BPU(208)를 생성할 수 있다. 외삽 기법은 예를 들어, 선형 외삽(linear extrapolation) 또는 내삽(interpolation), 다항식 외삽 또는 내삽 등을 포함할 수 있다. 일부 실시예에서, 인코더는 가령, 예측된 BPU(208)의 각 픽셀에 대해 대응하는 픽셀의 값을 외삽함으로써, 픽셀 레벨에서 외삽을 수행할 수 있다. 외삽을 위해 사용된 이웃하는 BPU는 (예를 들어, 원본 BPU의 상부에서) 수직 방향, (예를 들어, 원본 BPU의 좌측에서) 수평 방향, (예를 들어, 원본 BPU의 좌측-하단, 우측-하단, 좌측-상단 또는 우측-상단에서) 대각선 방향, 또는 사용된 비디오 코딩 표준에서 정의된 임의의 방향에서와 같은 다양한 방향으로부터 원본 BPU에 대해 위치될 수 있다. 인트라 예측에 대해, 예측 데이터(206)는 예를 들어, 원본 BPU에 대한 사용된 이웃하는 BPU의 위치(예를 들어, 좌표), 사용된 이웃하는 BPU의 크기, 외삽의 파라미터, 사용된 이웃하는 BPU의 방향 등을 포함할 수 있다.

다른 예시에 대해, 시간 예측 스테이지(2044)에서, 인코더는 인터 예측을 수행할 수 있다. 현재 픽처의 원본 BPU에 대해, 예측 참조(224)는 (순방향 경로에서) 인코딩되고 (재구성된 경로에서) 재구성된 하나 이상의 픽처("참조 픽처"로 지칭됨)를 포함할 수 있다. 일부 실시예에서, 참조 픽처는 BPU별로 인코딩되고 재구성될 수 있다. 예를 들어, 인코더는 재구성된 BPU를 생성하기 위해, 재구성된 잔차 BPU(222)를 예측된 BPU(208)에 더할 수 있다. 동일한 픽처의 모든 재구성된 BPU가 생성될 때, 인코더는 재구성된 픽처를 참조 픽처로서 생성할 수 있다. 인코더는 참조 픽처의 범주("검색 윈도우"으로 지칭됨)에서 매칭 영역을 검색하기 위해, "움직임 추정"의 동작을 수행할 수 있다. 참조 픽처에서 검색 윈도우의 위치는 현재 픽처에서 원본 BPU의 위치를 기초로 결정될 수 있다. 예를 들어, 검색 윈도우는 현재 픽처에서 원본 BPU와 참조 픽처에서 동일한 좌표를 갖는 위치에 중심이 맞춰질 수 있고, 미리 결정된 거리에 대해 확장될 수 있다. 인코더가 검색 윈도우에서 원본 BPU와 유사한 영역을 (예를 들어, 픽셀-순환 알고리즘(pel-recursive algorithm), 블록-매칭 알고리즘 등을 사용함으로써) 식별할 때, 인코더는 이러한 영역을 매칭 영역으로서 결정할 수 있다. 매칭 영역은 원본 BPU로부터 상이한 치수(예를 들어, 그보다 작거나, 이와 동일하거나, 그보다 크거나 또는 상이한 형태인)를 가질 수 있다. 참조 픽처 및 현재 픽처가 (예를 들어, 도 1에 도시된 바와 같이) 시간선에서 시간적으로 분리되기 때문에, 시간이 지남에 따라, 매칭 영역이 원본 BPU의 위치로 "이동하는" 것으로 여겨질 수 있다. 인코더는 "움직임 벡터"로서 이러한 움직임의 방향 및 거리를 기록할 수 있다. (예를 들어, 도 1에서의 픽처(106)와 같이) 다수의 참조 픽처가 사용될 때, 인코더는 매칭 영역을 검색하고, 각 참조 픽처에 대해 그의 연관된 움직임 벡터를 결정할 수 있다. 일부 실시예에서, 인코더는 각각의 매칭 참조 픽처의 매칭 영역의 픽셀값에 대해 가중치를 할당할 수 있다.

움직임 추정은 예를 들어, 병진(translation), 회전, 주밍(zooming) 등과 같은 다양한 타입의 움직임을 식별하기 위해 사용될 수 있다. 인터 예측에 대해, 예측 데이터(206)는 예를 들어, 매칭 영역의 위치(예를 들어, 좌표), 매칭 영역과 관련된 움직임 벡터, 참조 픽처의 개수, 참조 픽처와 연관된 가중치 등을 포함할 수 있다.

예측된 BPU(208)를 생성하기 위해, 인코더는 "움직임 보상"의 동작을 수행할 수 있다. 움직임 보상은 예측 데이터(206)(예를 들어, 움직임 벡터) 및 예측 참조(224)를 기초로 예측된 BPU(208)를 재구성하는데 사용될 수 있다. 예를 들어, 인코더는 움직임 벡터에 따라 참조 픽처의 매칭 영역을 이동시킬 수 있으며, 여기서 인코더는 현재 픽처의 원본 BPU를 예측할 수 있다. 다수의 참조 픽처가 (예를 들어, 도 1에서의 픽처로서) 사용될 때, 인코더는 매칭 영역의 각각의 움직임 벡터 및 평균 픽셀 값에 따라 참조 픽처의 매칭 영역을 이동시킬 수 있다. 일부 실시예에서, 인코더가 각각의 매칭 참조 픽처의 매칭 영역의 픽셀값에 가중치를 할당한 경우, 인코더는 이동된 매칭 영역의 픽셀값의 가중치 합을 더할 수 있다.

일부 실시예에서, 인터 예측은 단방향 또는 양방향일 수 있다. 단방향 인터 예측은 현재 픽처에 대해 동일한 시간 방향으로 하나 이상의 참조 픽처를 사용할 수 있다. 예를 들어, 도 1에서의 픽처(104)는 참조 픽처(즉, 픽처(102))가 픽처(104)에 선행하는 단방향 인터-예측된 픽처이다. 양방향 인터 예측은 현재 픽처에 대해 시간 방향 둘 모두에서 하나 이상의 참조 픽처를 사용할 수 있다. 예를 들어, 도 1에서의 픽처(106)는 참조 픽처(즉, 픽처(104 및 108))가 픽처(104)에 대해 시간 방향 둘 모두에 있는 양방향 인터-예측된 픽처이다.

프로세스(200B)의 순방향 경로를 다시 참조하면, 공간 예측 스테이지(2042) 및 시간 예측 스테이지(2044) 이후에, 모드 결정 스테이지(230)에서, 인코더는 프로세스(200B)의 현재 반복에 대해 예측 모드(예를 들어, 인트라 예측 또는 인터 예측 중 하나)를 선택할 수 있다. 예를 들어, 인코더는 레이트-왜곡 최적화 기술(rate-distortion optimization technique)을 수행할 수 있으며, 여기서 인코더는 후보 예측 모드의 비트레이트 및 후보 예측 모드 하에서 재구성된 참조 픽처의 왜곡에 의존하여, 비용 함수의 값을 최소화하기 위해 예측 모드를 선택할 수 있다. 선택된 예측 모드에 의존하여, 인코더는 대응하는 예측된 BPU(208) 및 예측된 데이터(206)를 생성할 수 있다.

프로세스(200B)의 재구성 경로에서, 순방향 경로에서 인트라 예측 모드가 선택된 경우, 예측 참조(224)(예를 들어, 현재 픽처에서 인코딩되고 재구성된 현재 BPU)를 생성한 이후에, 인코더는 차후 사용을 위해(예를 들어, 현재 픽처의 다음 BPU의 외삽을 위해), 예측 참조(224)를 공간 예측 스테이지(2042)로 직접적으로 공급할 수 있다. 순방향 경로에서 인터 예측 모드가 선택된 경우에, 예측 참조(224)(예를 들어, 모든 BPU가 인코딩되고 재구성된 현재 픽처)를 생성한 이후에, 인코더는 인터 예측에 의해 도입된 왜곡(예를 들어, 블로킹 아티팩트(blocking artifacts))을 감소시키거나 제거하기 위해 예측 참조(224)에 루프 필터를 적용할 수 있는 루프 필터 스테이지(232)에 예측 참조(224)를 공급할 수 있다. 인코더는 예를 들어, 디블록킹(deblocking), 샘플 적응적 오프셋, 적응적 루프 필터 등과 같은 루프 필터 스테이지(232)에 다양한 루프 필터 기법을 적용할 수 있다. 루프-필터링된 참조 픽처는 차후 사용을 위해(예를 들어, 비디오 시퀀스(202)의 향후 픽처에 대한 인터-예측 참조 픽처로서 사용되기 위해) 버퍼(234)(또는 "디코딩된 픽처 버퍼")에 저장될 수 있다. 인코더는 시간 예측 스테이지(2044)에서 사용되도록 버퍼(234)에 하나 이상의 참조 픽처를 저장할 수 있다. 일부 실시예에서, 인코더는 양자화된 변환 계수(216), 예측 데이터(206) 및 다른 정보와 함께, 이진 코딩 스테이지(226)에서 루프 필터의 파라미터(예를 들어, 루프 필터 강도)를 인코딩할 수 있다.

도 3a는 본 개시의 실시예와 일치하는 예시적인 디코딩 프로세스(300A)의 개략도를 예시한다. 프로세스(300A)는 도 2a에서의 압축 프로세스(200A)에 대응하는 압축해제 프로세스일 수 있다. 일부 실시예에서, 프로세스(300A)는 프로세스(200A)의 재구성 경로와 유사할 수 있다. 디코더는 프로세스(300A)에 따라 비디오 비트스트림(228)을 비디오 스트림(304)으로 디코딩할 수 있다. 비디오 스트림(304)은 비디오 시퀀스(202)와 매우 유사할 수 있다. 하지만, 압축 및 압축해제 프로세스(예를 들어, 도 2a-2b에서의 양자화 스테이지(214))에서의 정보 손실에 기인하여, 일반적으로 비디오 스트림(304)은 비디오 시퀀스(202)와 동일하지 않다. 도 2a-2b에서의 프로세스(200A 및 200B)와 유사하게, 디코더는 비디오 비트스트림(228)에서 인코딩된 각 픽처에 대해 기본 처리 유닛(BPU)의 레벨에서 프로세스(300A)를 수행할 수 있다. 예를 들어, 디코더는 반복적인 방식으로 프로세스(300A)를 수행할 수 있으며, 여기서 디코더는 프로세스(300A)의 한 번의 반복으로 기본 처리 유닛을 디코딩할 수 있다. 일부 실시예에서, 디코더는 비디오 비트스트림(228)에서 인코딩된 각 픽처의 영역(예를 들어, 영역(114 내지 118))에 대해 병렬로 프로세스(300A)를 수행할 수 있다.

도 3a에서, 디코더는 인코딩된 픽처의 기본 처리 유닛("인코딩된 BPU"로 지칭됨)과 연관된 비디오 비트스트림(228)의 부분을 이진 디코딩 스테이지(302)로 공급할 수 있다. 이진 디코딩 스테이지(302)에서, 디코더는 그 부분을 예측 데이터(206) 및 양자화된 변환 계수(216)로 디코딩할 수 있다. 디코더는 재구성된 잔차 BPU(222)를 생성하기 위해 양자화된 변환 계수(216)를 역양자화 스테이지(218) 및 역변환 스테이지(220)에 공급할 수 있다. 디코더는 예측된 BPU(208)를 생성하기 위해 예측 데이터(206)를 예측 스테이지(204)로 공급할 수 있다. 디코더는 예측된 참조(224)를 생성하기 위해 재구성된 잔차 BPU(222)를 예측된 BPU(208)에 더할 수 있다. 일부 실시예에서, 예측된 참조(224)는 버퍼(예를 들어, 컴퓨터 메모리에서 디코딩된 픽처 버퍼)에 저장될 수 있다. 디코더는 프로세스(300A)의 다음 반복에서 예측 동작을 수행하기 위해, 예측된 참조(224)를 예측 스테이지(204)에 공급할 수 있다.

디코더는 인코딩된 픽처의 각 인코딩된 BPU를 디코딩하고, 인코딩된 픽처의 다음 인코딩된 BPU를 인코딩하기 위해 예측된 참조(224)를 생성하도록, 프로세스(300A)를 반복적으로 수행할 수 있다. 인코딩된 픽처의 모든 인코딩된 BPU를 디코딩한 이후에, 디코더는 디스플레이를 위해 픽처를 비디오 스트림(304)에 출력하고, 비디오 비트스트림(228)에서 다음 인코딩된 픽처를 디코딩하도록 진행할 수 있다.

이진 디코딩 스테이지(302)에서, 디코더는 인코더에 의해 사용된 이진 코딩 기법(예를 들어, 엔트로피 코딩, 가변 길이 코딩, 산술 코딩, 허프만 코딩, 컨텍스트-적응적 이진 산술 코딩 또는 임의의 다른 무손실 압축 알고리즘)의 역동작을 수행할 수 있다. 일부 실시예에서, 예측 데이터(206) 및 양자화된 변환 계수(216) 이외에, 디코더는 예를 들어, 예측 모드, 예측 동작의 파라미터, 변환 타입, 양자화 프로세스의 파라미터(예를 들어, 양자화 파라미터), 인코더 제어 파라미터(예를 들어, 비트레이트 제어 파라미터) 등과 같은 이진 디코딩 스테이지(302)에서 다른 정보를 디코딩할 수 있다. 일부 실시예에서, 비디오 비트스트림(228)이 네트워크를 통해 패킷으로 송신되는 경우, 디코더는 이를 이진 디코딩 스테이지(302)에 공급하기 전에, 비디오 비트스트림(228)을 디패킷화(depacketize)할 수 있다.

도 3b는 본 개시의 일부 실시예와 일치하는 다른 예시적인 디코딩 프로세스(300B)의 개략도를 예시한다. 프로세스(300B)는 프로세스(300A)로부터 수정될 수 있다. 예를 들어, 프로세스(300B)는 하이브리드 비디오 코딩 표준(예를 들어, H.26x 시리즈)에 따르는 디코더에 의해 사용될 수 있다. 프로세스(300A)와 비교하면, 프로세스(300B)는 예측 스테이지(204)를 공간 예측 스테이지(2042) 및 시간 예측 스테이지(2044)로 추가적으로 분할하고, 루프 필터 스테이지(232) 및 버퍼(234)를 추가적으로 포함한다.

프로세스(300B)에서, 디코딩되는 인코딩된 픽처("현재 픽처"로 지칭됨)의 인코딩된 기본 처리 유닛("현재 BPU"로 지칭됨)에 대해, 디코더에 의해 이진 디코딩 스테이지(302)로부터 디코딩된 예측 데이터(206)는 인코더에 의해 현재 BPU를 인코딩하는 데 어느 예측 모드가 사용된 것인지에 의존하여, 다양한 타입의 데이터를 포함할 수 있다. 예를 들어, 현재 BPU를 인코딩하기 위해, 인코더에 의해 인트라 예측이 사용된 경우, 예측 데이터(206)는 인트라 예측을 나타내는 예측 모드 표시자(예를 들어, 플래그 값), 인트라 예측 동작의 파라미터 등을 포함할 수 있다. 인트라 예측 동작의 파라미터는 예를 들어, 참조로서 사용된 하나 이상의 이웃하는 BPU의 위치(예를 들어, 좌표), 이웃하는 BPU의 크기, 외삽의 파라미터, 원본 BPU에 대한 이웃하는 BPU의 방향 등을 포함할 수 있다. 다른 예시에 대해, 현재 BPU를 인코딩하기 위해, 인코더에 의해 인터 예측이 사용되는 경우, 예측 데이터(206)는 인터 예측을 나타내는 예측 모드 표시자(예를 들어, 플래그 값), 인터 예측 동작의 파라미터 등을 포함할 수 있다. 인터 예측 동작의 파라미터는 예를 들어, 현재 BPU와 연관된 참조 픽처의 개수, 참조 픽처와 각각 연관된 가중치, 각각의 참조 픽처에서의 하나 이상의 매칭 영역의 위치(예를 들어, 좌표), 매칭 영역과 각각 연관된 하나 이상의 움직임 벡터 등을 포함할 수 있다.

예측 모드 표시자를 기초로, 디코더는 공간 예측 스테이지(2042)에서 공간 예측(예를 들어, 인트라 예측)을 수행할지, 또는 시간 예측 스테이지(2044)에서 시간 예측(예를 들어, 인터 예측)을 수행할 지를 결정할 수 있다. 이러한 공간 예측 또는 시간 예측을 수행하는 것에 대한 세부사항이 도 2b에서 설명되고, 이하에서는 반복되지 않을 것이다. 이러한 공간 예측 또는 시간 예측을 수행한 이후에, 디코더는 예측된 BPU(208)를 생성할 수 있다. 도 3a에서 설명된 바와 같이, 디코더는 예측 참조(224)를 생성하기 위해 예측된 BPU(208) 및 재구성된 잔차 BPU(222)를 더한다.

프로세스(300B)에서, 디코더는 프로세스(300B)의 다음 반복에서 예측 동작을 수행하기 위해, 예측된 참조(224)를 공간 예측 스테이지(2042) 또는 시간 예측 스테이지(2044)에 공급할 수 있다. 예를 들어, 현재 BPU가 공간 예측 스테이지(2042)에서 인트라 예측을 사용하여 디코딩되는 경우, 예측 참조(224)(예를 들어, 디코딩된 현재 BPU)를 생성한 이후에, 디코더는 차후 사용을 위해(예를 들어, 현재 픽처의 다음 BPU의 외삽을 위해) 예측 참조(224)를 공간 예측 스테이지(2042)에 직접적으로 공급할 수 있다. 현재 BPU가 시간 예측 스테이지(2044)에서 인터 예측을 사용하여 디코딩되는 경우, 예측 참조(224)(예를 들어, 모든 BPU가 디코딩된 참조 픽처)를 생성한 이후에, 인코더는 왜곡(예를 들어, 블로킹 아티팩트)을 감소시키거나 제거하기 위해, 예측 참조(224)를 루프 필터 스테이지(232)에 공급할 수 있다. 도 2b에 설명된 방식으로, 디코더는 루프 필터를 예측 참조(224)에 적용할 수 있다. 루프-필터링된 참조 픽처는 차후 사용을 위해(예를 들어, 비디오 비트스트림(228)의 향후 인코딩된 픽처에 대한 인터-예측 참조 픽처로서 사용되도록) 버퍼(234)(예를 들어, 컴퓨터 메모리에서 디코딩된 픽처 버퍼)에 저장될 수 있다. 디코더는 시간 예측 스테이지(2044)에서 사용되도록 버퍼(234)에 하나 이상의 참조 픽처를 저장할 수 있다. 일부 실시예에서, 예측 데이터(206)의 예측 모드 표시자가 인터 예측이 현재 BPU를 인코딩하는데 사용된 것을 나타낼 때, 예측 데이터는 루프 필터의 파라미터(예를 들어, 루프 필터 강도)를 더 포함할 수 있다.

도 4는 본 개시의 일부 실시예와 일치하는, 비디오를 인코딩하거나 또는 디코딩하기 위한 예시적인 장치(400)의 블록도이다. 도 4에 도시된 바와 같이, 장치(400)는 프로세서(402)를 포함할 수 있다. 프로세서(402)가 본원에서 설명된 명령어를 실행할 때, 장치(400)는 비디오 인코딩 또는 디코딩을 위한 특별화된 기계가 될 수 있다. 프로세서(402)는 정보를 조작하거나 또는 처리할 수 있는 임의의 타입의 회로일 수 있다. 예를 들어, 프로세서(402)는 중앙 처리 유닛(또는 "CPU"), 그래픽 처리 유닛(또는 "GPU"), 신경 처리 유닛(neural processing unit, "NPU"), 마이크로컨트롤러 유닛(microcontroller unit, "MCU"), 광학 프로세서, 프로그래머블 로직 컨트롤러, 마이크로컨트롤러, 마이크로프로세서, 디지털 신호 프로세서, 지적 재산권(intellectual property, IP) 코어, 프로그래머블 로직 어레이(Programmable Logic Array, PLA), 프로그래머블 어레이 로직(Programmable Array Logic, PAL), 일반 어레이 로직(Generic Array Logic, GAL), 복합 프로그래머블 논리 소자(Complex Programmable Logic Device, CPLD), 현장 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA), 시스템 온 칩(System On Chip, SoC), 애플리케이션-특정 집적 회로(Application-Specific Integrated Circuit, ASIC) 등의 임의의 개수의 임의의 조합을 포함할 수 있다. 일부 실시예에서, 프로세서(402)는 또한, 단일 로직 구성요소로서 그룹화되는 프로세서의 세트일 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 프로세서(402)는 프로세서(402a), 프로세서(402b) 및 프로세서(402n)를 포함하는 다수의 프로세서를 포함할 수 있다.

장치(400)는 또한, 데이터(예를 들어, 명령어의 세트, 컴퓨터 코드, 중간 데이터 등)를 저장하도록 구성되는 메모리(404)를 포함할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 저장된 데이터는 프로그램 명령어(예를 들어, 프로세스(200A, 200B, 300A 또는 300B)에서의 스테이지를 구현하기 위한 프로그램 명령어) 및 처리를 위한 데이터(예를 들어, 비디오 시퀀스(202), 비디오 비트스트림(228) 또는 비디오 스트림(304))를 포함할 수 있다. 프로세서(402)는 프로그램 명령어 및 처리를 위한 데이터에 (예를 들어, 버스(410)를 통해) 액세스할 수 있고, 처리를 위한 데이터에 대한 동작 또는 조작을 수행하기 위해 프로그램 명령어를 실행할 수 있다. 메모리(404)는 고속 랜덤 액세스 저장 디바이스 또는 비-휘발성 저장 디바이스를 포함할 수 있다. 일부 실시예에서, 메모리(404)는 랜덤-액세스 메모리(random-access memory, RAM), 읽기-전용 메모리(ROM), 광학 디스크, 자기 디스크, 하드 드라이브, 솔리드-스테이트 드라이브(solid-state drive), 플래시 드라이브, 보안 디지털(SD) 카드, 메모리 스틱, 콤팩트 플래시(compact flash, CF) 카드 등의 임의의 개수의 임의의 조합을 포함할 수 있다. 메모리(404)는 또한, 단일 로직 구성요소로서 그룹화되는 메모리의 그룹(도 4에 미도시됨)일 수 있다.

버스(410)는 내부 버스(예를 들어, CPU-메모리 버스), 외부 버스(예를 들어, 통합 직렬 버스 포트(universal serial bus port,), 주변 구성요소 상호연결 고속 포트(peripheral component interconnect express port)) 등과 같은, 장치(400) 내의 구성요소 사이에서 데이터를 전송하는 통신 디바이스일 수 있다.

모호성을 야기하지 않으면서 설명의 용이함을 위해, 프로세서(402) 및 다른 데이터 처리 회로는 본 개시에서, 집합적으로 "데이터 처리 회로"로 지칭된다. 데이터 처리 회로는 전체적으로 하드웨어로 구현되거나, 또는 소프트웨어, 하드웨어 또는 펌웨어의 조합으로 구현될 수 있다. 덧붙여, 데이터 처리 회로는 단일 독립 모듈이거나, 또는 장치(400)의 임의의 다른 구성요소로 전체적으로 또는 부분적으로 결합될 수 있다.

장치(400)는 네트워크(예를 들어, 인터넷, 인트라넷, 근거리 통신망, 모바일 통신 네트워크 등)와의 유선 통신 또는 무선 통신을 제공하기 위해 네트워크 인터페이스(406)를 더 포함할 수 있다. 일부 실시예에서, 네트워크 인터페이스(406)는 네트워크 인터페이스 컨트롤러(network interface controller, NIC), 무선 주파수(radio frequency, RF) 모듈, 트랜스폰더(transponder), 트랜시버, 모뎀, 라우터, 게이트웨이, 유선 네트워크 어댑터, 무선 네트워크 어댑터, 블루투스 어댑터, 적외선 어댑터, 근거리 통신("NFC") 어댑터, 셀룰러 네트워크 칩 등의 임의의 개수의 임의의 조합을 포함할 수 있다.

일부 실시예에서, 선택적으로, 장치(400)는 하나 이상의 주변 디바이스에 대한 연결을 제공하기 위한 주변 인터페이스(408)를 더 포함할 수 있다. 도 4에 도시된 바와 같이, 주변 디바이스는 커서 제어 디바이스(예를 들어, 마우스, 터치패드 또는 터치스크린), 키보드, 디스플레이(예를 들어, 음극선관 디스플레이, 액정 디스플레이 또는 발광 다이오드 디스플레이), 비디오 입력 디바이스(예를 들어, 비디오 아카이브(video archive)에 결합된 카메라 또는 입력 인터페이스) 등을 포함할 수 있지만, 이에 제한되지 않는다.

비디오 코덱(예를 들어, 프로세스(200A, 200B, 300A 또는 300B)를 수행하는 코덱)이 장치(400)에서 임의의 소프트웨어 또는 하드웨어 모듈의 임의의 조합으로 구현될 수 있다는 것이 유의되어야 한다. 예를 들어, 프로세스(200A, 200B, 300A 또는 300B)의 일부 또는 모든 스테이지는 메모리(404)에 로딩될 수 있는 프로그램 명령어와 같은 장치(400)의 하나 이상의 소프트웨어 모듈로서 구현될 수 있다. 다른 예시에 대해, 프로세스(200A, 200B, 300A 또는 300B)의 일부 또는 모든 스테이지는 특수화된 데이터 처리 회로(예를 들어, FPGA, ASIC, NPU 등)와 같은 장치(400)의 하나 이상의 하드웨어 모듈로서 구현될 수 있다.

본 개시는 행렬 가중된 인트라 예측(MIP)을 단순화하기 위해 인코더 및/또는 디코더에 의해 수행될 수 있는 방법을 제공한다. MIP 방법은 VVC에서 새롭게 추가된 인트라 예측 기법이다. MIP 모드는 종횡비 max(폭, 높이)/min(폭, 높이)가 4 이하인 블록에 적용된다. 더욱이, 이는 루마 구성요소에만 적용된다. MIP 플래그는 인트라 서브-파티션 모드, 다수의 참조 라인 인트라 예측 모드 또는 가장 가능성 있는(probable) 모드와 병렬로 시그널링된다.

MIP 모드를 사용하여 블록이 코딩될 때, 종래의 인트라 예측 모드와 유사하게 블록의 좌측 상의 재구성된 이웃하는 경계 샘플의 하나의 라인 및 블록의 상부 상의 재구성된 이웃하는 경계 샘플의 하나의 라인이 블록을 예측하기 위해 입력으로서 사용된다. 재구성된 이웃하는 경계 샘플이 이용 가능하지 않을 때, 이는 종래의 인트라 예측에서와 같이 생성될 수 있다. 루마 샘플을 예측하기 위해, 재구성된 이웃하는 경계 샘플은 감소된 경계 벡터 neighbor _red 를 생성하기 위해 먼저 평균화되고, neighbor _red [0]은 감소된 경계 벡터의 제1 요소를 나타낸다. 그 후, 입력 벡터 input _red 는 행렬 백터 곱셈 프로세스를 위해 감소된 경계 벡터 neighbor _red 를 사용하여 생성되고, 감소된 예측 신호 pred _red 가 획득될 수 있다. 마지막으로, MIP 예측 신호 pred의 출력을 생성하기 위해, 이중선형 보간(bilinear interpolation)이 감소된 예측 신호 pred _red 에 적용된다. MIP 예측 프로세스의 예시가 도 5에 도시된다.

MIP 블록은 블록 폭(W) 및 높이(H)에 따라 세 개의 클래스로 분류된다:

Class0: W=H=4의 경우(즉, 4×4 블록);

Class1: max{W,H}=8의 경우(즉, 4Х8, 8Х4, 8Х8 블록); 및

Class2: max{W,H}>8의 경우.

도 6의 테이블 6에 도시된 바와 같이, 세 개의 클래스 간의 차이는 모드의 수, 행렬의 수, 행렬의 크기, 입력 벡터 input _red (행렬 벡터 곱셈 프로세스의 입력)의 크기 및 감소된 예측 신호 pred _red (행렬 벡터 곱셈 프로세스의 출력)의 크기이다.

다음의 설명에서, Class0, Class1 및 Class2는 각각 S ₀ , S ₁ 및 S ₂ 로 표기된다. N _i 는 행렬 세트 S _i (i=0,1,2)에서 행렬의 수를 나타낸다. MIP 모드 k에 대해, 행렬

는 행렬 곱셈 프로세스에서 사용되며, 여기서

는 행렬 세트 S _i 에서 j번째 행렬을 나타내고, j는 아래 수학식 1을 사용하여 도출된다.

[수학식 1]

MIP 모드 k가 N _i 이상일 때, 감소된 경계 벡터 neighbor _red 및 감소된 예측 신호 pred _red 를 각각 생성하는 단계에서 스왑 연산(swap operation) 및 전치 연산(transpose operation)이 수행된다는 것이 유의된다. 이 두 개의 연산의 세부사항은 위에서 설명된다. 게다가, 스왑 연산 또는 전치 연산이 필요한지를 결정하기 위해 다음의 수학식 2 및 3이 사용된다.

[수학식 2]

[수학식 3]

앞서 언급된 바와 같이, 현재 블록에 대한 출력 예측 신호 pred의 생성은 평균화, 행렬 벡터 곱셈 및 선형 보간인 세 개의 단계를 기초로 한다. 이 단계의 세부사항은 아래에 설명된다.

경계 샘플 중에서, Class0에 대한 네 개의 샘플 및 Class1 및 Class2에 대한 여덟 개의 샘플이 평균화에 의해 추출된다. 예를 들어, 감소된 경계 벡터 neighbor _red 는 다음 규칙에 따라 재구성된 이웃하는 경계 샘플을 평균화함으로써 생성될 수 있다.

Class0: 두 개의 샘플 마다 평균화된다. 감소된 경계 벡터 neighbor _red 의 크기는 4×1이다.

Class1 및 Class2: 현재 블록 위에 재구성된 이웃하는 경계 샘플의 경우, W/4 샘플마다 평균화된다. 현재 블록의 좌측에 있는 재구성된 이웃하는 경계 샘플의 경우, H/4 샘플마다 평균화된다. 감소된 경계 벡터 neighbor _red 의 크기는 8×1이다.

감소된 경계 벡터 neighbor _red 는 현재 블록 위의 재구성된 이웃하는 경계 샘플을 평균화함으로써 획득된 벡터

및 현재 블록의 좌측에 있는 재구성된 이웃하는 경계 샘플을 평균화함으로써 획득된 벡터

의 연결(concatenation)이다. 위에서 설명된 바와 같이, N _i 이상의 MIP 모드 k에 대해, 스왑 연산이 수행된다. 예를 들어, 두 개의 벡터

및

를 연결하는 순서가 수학식 4에 도시된 바와 같이 스왑될 수 있다.

[수학식 4]

그러면, 행렬 벡터 곱셈을 위한 입력 벡터 input _red 가 다음과 같이 생성된다.

Class0 및 Class1의 경우:

[수학식 5]

Class2의 경우:

[수학식 6]

위의 수학식 5 및 6에서, neighbor _red [0]은 벡터 neighbor _red 의 제1 요소를 나타낸다. 수학식 5 및 6에 따라, Class0, Class1 및 Class2에 대한 input _red 의 크기 inSize는 각각 4, 8 및 7이다.

행렬 벡터 곱셈은 입력으로서 벡터 input _red 로 수행된다. 결과는 현재 블록에서 샘플의 서브-샘플링된 세트 상에서 감소된 예측 신호 pred _red 이다. 예를 들어, 감소된 입력 벡터 input _red 중에서, 폭 W _red , 높이 H _red 의 다운샘플링된 블록 상의 신호인, 감소된 예측 신호 pred _red 가 생성될 수 있다. 여기서, W _red 및 W _red 는 아래의 수학식 7, 8로 정의된다.

[수학식 7]

[수학식 8]

위에서 언급된 바와 같이, 변수 "isTransposed"가 1과 동일할 때, 감소된 예측 신호 pred _red 가 전치된다. 최종 감소된 예측 신호 pred _red 의 크기가 W _red ×W _red , 전치되지 않은

의 크기라고 가정하면, W' _red ×H' _red 는 다음의 수학식 9 및 10으로 도출된다:

[수학식 9]

[수학식 10]

감소된 예측 신호의 벡터 pred' _red 는 아래의 수학식 11에 따라 행렬 벡터 곱을 계산함으로써 계산된다:

[수학식 11]

그러면, 벡터 pred' _red 는 래스터 스캔 순서(raster scan order)에 따라 크기 4×4, 4×8, 8×4 및 8×8의 행렬 pred _red 에 배열된다. 크기 4×4의 행렬 pred _red 에서 크기 16×1의 벡터 pred' _red 를 배열하는 예시가 아래에 도시된다.

다시 말해, 행렬 pred _red 는 x=0...W' _red -1 및 y=0...H' _red -1에 대해 다음과 같이 수학식 12를 사용하여 계산될 수 있다.

[수학식 12]

위의 수학식 12에서, 변수 "inSize"는 위에서 설명된 바와 같이 입력 벡터 input _red 의 크기이고, 생성된 예측 신호 pred _red 를 생성하기 위해 사용된 행렬 M은 블록 크기 분류 및 MIP 모드 k에 따라 세 개의 행렬 세트 S ₀ , S ₁ 및 S ₂ 중 하나로부터 획득된다.

변수 oW 및 sW는 행렬 벡터 곱셈에 사용되는 행렬에 의존하여 두 개의 미리 정의된 값이다. 변수 oW는 행렬에서의 각 요소의 정밀도를 7 비트로 제한하는 데 사용되고, 모든 요소가 0 이상이도록 사용된다. 예를 들어, 인자 oW는 다음 수학식 13으로 정의될 수 있다:

[수학식 13]

위의 수학식 13에서, sO는 오프셋이고, 룩업 테이블로부터 도출된다. 예를 들어, 도 7의 테이블 7은 일부 개시된 실시예에 따른, sO에 대한 예시적인 룩업 테이블을 도시한다.

더욱이, 변수 "sW"는 다른 룩업 테이블을 사용하여 도출된다. 도 8의 테이블 8은 일부 개시된 실시예에 따른 sW에 대한 예시적인 룩업 테이블을 도시한다.

수학식 오류! 참조 원본을 찾을 수 없습니다.에서, 4×16 및 16×4 블록에 대한 행렬의 행의 절반을 제외하는데 사용되는 두 개의 변수 "inch" 및 "incW"는 다음 수학식 14 및 15와 같이 정의된다:

[수학식 14]

[수학식 15]

위의 수학식 15에서, 변수 predC는 감소된 예측 신호 pred _red 를 W' _red × H' _red 의 행렬로 배열하는데 사용되며, 다음의 수학식 16으로 정의된다:

[수학식 16]

7과 동일한 크기 inSize를 갖는 입력 벡터 input _red 및 64개의 행 및 7개의 열을 갖는 행렬은 Class2에 속하는 블록에 대해 사용되며 64-요소 벡터가 생성된다. 하지만, 4×16 및 16×4 블록에 대해서는 수학식에 따라 32개의 요소만이 필요하다.

[수학식]

[수학식]

이는 Class2에 대한 감소된 예측 신호 pred _red 가 4×16 또는 16×4 블록의 짧은 측을 초과하는 8×8로 배열될 수 있기 때문이다. 그러므로, 제외 연산이 수행된다.

도 9는 일부 개시된 실시예에 따른 예시적인 제외 연산을 예시한다. 도 9에 도시된 바와 같이, isTransposed=0인 4×16 블록 및 isTransposed=1인 16×4 블록의 경우, 두 개의 행마다 두 번째 행은 행렬로부터 제외된다. 그러므로, 감소된 예측 신호 pred _red 는 32개의 요소를 포함하며, 이 요소는 4×8의 크기로 배열된다.

도 10은 일부 개시된 실시예에 따른 예시적인 제외 연산을 예시한다. 도 10에 도시된 바와 같이, isTransposed=0인 16×4 블록 및 isTransposed=1인 4×16 블록의 경우, 16개의 행마다 마지막 8개의 행이 행렬로부터 제외된다. 그러므로, 감소된 예측 신호 pred _red 는 32개의 요소를 포함하며, 이 요소는 8×4 크기로 배열된다.

나머지 위치에서 출력 예측 신호는 각 방향으로의 단일 단계 선형 보간인, 선형 보간에 의해 서브샘플링된 세트 pred _red 상에서 감소된 예측 신호로부터 생성된다.

위에서 설명된 바와 같이, MIP 모드의 예측은 이웃하는 재구성된 샘플의 평균화, 행렬 벡터 곱셈 및 이중선형 보간을 포함하는 세 개의 단계를 사용하여 생성된다. MIP 모드의 예측 프로세스는 종래의 인트라 예측 모드의 프로세스와 상이하다. MIP 모드가 코딩 효율을 향상시키지만, 다음의 두 개의 양상에서 설계가 복잡할 수 있다.

제1 양상에 관련하여, 행렬 벡터 곱셈 프로세스에서 4×16 및 16×4 블록에 대한 제외 연산은 다음 세 개의 이유로 문제가 될 수 있다. 첫째, 제외 연산이 16×4 및 4×16 블록에만 적용되기 때문에, 제외 연산은 추가적인 연산을 추가할 뿐만 아니라 예측 과정이 균일하지 않게 한다. 둘째, 16×4 및 4×16 블록의 경우, 감소된 예측 신호 pred _red 의 크기는 전치 전후에 상이할 수 있다. 그러므로, 전치되지 않은 감소된 예측 신호(예를 들어, W' _red 및 T' _red )의 크기에 대한 추가적인 도출이 요구된다. 셋째, 감소된 예측 신호 pred _red 의 크기는 아래 수학식 17에 도시된 바와 같이 16×4 및 4×16 블록에 대해 상이할 수 있다.

[수학식 17]

제2 양상에 관련하여, 행렬에서의 각 요소의 정밀도를 7 비트로 제한하고 모든 요소가 음수가 아닌 것을 보장하기 위해, 오프셋 sO는 행렬 곱셈 프로세스에서 감소된 예측 신호에 추가된다. 하지만, 이는 다음 세 개의 이유로 불필요하고 복잡할 수 있다. 첫째, 오프셋 sO의 테이블을 저장하기 위해 추가적인 메모리가 필요하다. 테이블은 각각 7 비트인 총 34개의 요소를 포함한다. 그러므로, 총 238 비트에서의 메모리가 필요하다. 둘째, 클래스 인덱스 및 행렬 번호를 사용하여 sO의 값을 결정하기 위해 룩업 테이블 연산이 필요하다. 셋째, 감소된 예측 신호 pred _red 를 생성하기 위해 추가적인 곱셈 및 덧셈 연산이 요구된다. 행렬 M과 입력 벡터 input _red 간의 행렬 벡터 곱셈을 계산하는 것에 부가하여, sO와 입력 벡터 input _red 간의 곱셈이 더 수행된다. 4×4 블록의 경우, 예측 신호를 생성하는 데 필요한 샘플당 곱셈의 총 수가 5로 증가된다.

본 개시는 비트레이트에 영향을 미치지 않고 이 문제를 해결하는 방법을 제공한다. 일부 예시적인 방법에서, 행렬을 저장하는 데 7 비트 대신 8 비트가 사용된다. 그러면, 수학식 오류! 참조 원본을 찾을 수 없습니다.는 다음 수학식 18과 같이 다시 표현될 수 있다.

[수학식 18]

위의 수학식 18에서 행렬에서의 모든 요소는 오프셋 sO만큼 감산된다. 행렬-벡터 곱셈의 저장 및 계산의 앞서 언급된 방법은 비트-동일한 결과를 생성할 수 있다. 하지만, 행렬을 저장하기 위한 비트의 수는 4882(즉, 5120×1-34×7) 비트만큼 증가되고, 곱셈 연산을 위한 비트-폭은 8비트로 확대된다.

제외 연산 및 sO에 대한 룩업 테이블을 제거하는 방법이 아래에 설명된다.

MIP 예측 프로세스에서 행렬의 추가적인 제외 연산을 제거하기 위해, 두 개의 방법이 제공된다. 제외 연산을 제거하기 위한 제1 방법은, 생성된 감소된 예측 신호 pred _red 가 짧은-측 제한을 초과하지 않도록, 4×16 및 16×4 블록을 Class2로부터 Class1로 이동시킴으로써 종래의 MIP 방식에서의 불합리한 분류 방법이 수정될 수 있다.

예시적인 실시예에서, MIP 분류의 규칙은 다음과 같이 수정된다:

Class0: 4×4;

Class1: 4×N, 8×8 및 N×4 - N은 8과 64 사이의 정수임 -; 및

Class2: 기타.

이 수정을 통해, 8×8, 4×8, 4×16, 4×32, 4×64, 8×4, 16×4, 32×4 또는 64×4의 크기를 갖는 블록은 Class2로부터 Class1로 이동될 수 있다. 그러므로, 8×8, 4×8, 4×16, 4×32, 4×64, 8×4, 16×4, 32×4 또는 64×4의 크기를 갖는 블록은, 각각 행렬 곱셈 프로세스에서 16개의 행 및 8개의 열을 갖는 세트 S ₁ 에서의 행렬을 사용할 수 있다. 이러한 방식으로, 16개의 요소만이 4×4 감소된 예측 신호 pred _red 를 형성하기 위해 생성되어, 제외 연산이 제거될 수 있다. 이 수정은 이중 취소선 또는 기울임꼴로 강조 표시된 변경으로 다음과 같이 표현될 수 있다.

cbWidth 및 cbHeight 모두가 4와 동일한 경우, MipSizeId[ x ][ y ]는 0과 동일하게 설정된다.

그렇지 않고,

cbWidth* cbHeight 가 64 이하인 경우, MipSizeId[ x ][ y ]가 1과 동일하게 설정된다.

그렇지 않으면, MipSizeId[ x ][ y ]는 2와 동일하게 설정된다.

이 해결책의 적어도 세 개의 이점이 있다.

첫째, 행렬 곱셈 프로세스가 단순화되고 통합된다. 크기 4×16 또는 16×4의 블록에 대해, 제외 연산이 제거된다. 그러므로, 제외 연산을 수행할지 및 두 개의 변수 "inch" 및 "incW"를 검사하는 것이 삭제될 수 있다. 더욱이, 모든 블록은 행렬 벡터 곱셈 프로세스 중에 행렬에 대한 추가적인 연산을 요구하지 않는다. 그러므로, 행렬 곱셈 프로세스가 통합된다.

둘째, 행렬 곱셈 프로세스에서 4×16 블록 및 16×4 블록의 곱셈과 덧셈의 수가 감소된다. 일부 실시예에서, 크기 4×16 또는 16×4의 블록에 대해, 32×7 행렬은 행렬 벡터 곱셈을 수행하는 데 사용될 수 있는 한편, 16×8 행렬은 제공된 실시예에서 사용될 수 있다. 그러므로, 4×16 또는 16×4 블록의 곱셈과 덧셈의 수가 감소될 수 있다.

셋째, pred _red 의 도출이 단순화되고 통합된다. 모든 블록에 대해, 감소된 예측 신호 pred _red 의 크기는 전치 전후에 일관된다. 따라서 W' _red 및 T' _red 에 대한 추가적인 도출이 제거된다. 예를 들어, pred _red 의 크기의 도출은 다음 수학식 19 및 20과 같이 단순화될 수 있다.

[수학식 19]

[수학식 20]

그리고, 감소된 예측 신호 pred _red 의 크기는 다음 수학식 21에 의해 통합된다.

[수학식 21]

제외 연산을 제거하기 위한 제2 방법에 따라, MIP 분류의 규칙이 다음과 같이 수정된다.

Class0: 4×4;

Class1: 4×8, 8×4, 4×16 및 16×4; 및

Class2: 기타.

4×16 및 16×4 블록(위의 수정된 MIP 분류에서 기울임꼴로 표시됨)은 Class1로 이동되고 8×8 블록은 Class2로 이동된다. 이 수정을 통해, 제외 연산이 제거되고, MIP 분류의 규칙이 더욱 단순화된다. 일부 실시예에서, 이 수정은 이중 취소선 또는 이탤릭체로 강조 표시된 변경으로 아래에 표현될 수 있다.

그렇지 않고,

Min(cbWidth, cbHeight)가 4와 동일한 경우, MipSizeId[ x ][ y ]가 1과 동일하게 설정된다.

그렇지 않으면, MipSizeId[ x ][ y ]가 2와 동일하게 설정된다.

오프셋 sO의 테이블을 제거하기 위해, 본 개시의 실시예는 룩업 테이블 없이 행렬 M 및 오프셋 sO의 값을 수정하기 위한 방법을 제공한다.

제1 예시적인 실시예에서, 오프셋 sO는 Class0에 대한 행렬

의 제1 요소, Class1에 대한 행렬

M_1^j(j=0...9)의 제1 요소 및 Class2에 대한 행렬

의 제7 요소로 대체된다. 행렬에서의 i번째 요소는 래스터 스캔 순서로 카운팅하고, 행렬의 왼쪽 상단 코너로부터 시작하는 i번째 숫자를 나타낸다. 이렇게 함으로써, 도 7의 테이블 7에 도시된 클래스 인덱스 및 행렬 번호에 의존하여, 오프셋 sO의 룩업 테이블이 제거될 수 있다. 그러면, 238비트 메모리 공간이 절약될 수 있다.

제2 예시적인 실시예에서, 오프셋 sO는 모든 클래스에 대한 각 행렬에서의 제1 요소로 대체된다. 덧붙여, Class2에 사용된 행렬

의 제1 요소가 도 7의 테이블 7에서 대응하는 sO와 상대적으로 더 큰 차이를 갖기 때문에, 제1 요소 이외의 요소는 x = 0...6, y = 0...63에 대해 아래의 수학식 22를 사용하여 수정된다.

[수학식 22]

수정된 행렬은 원래 행렬 대신에 저장되며, 인코딩 및 디코딩 프로세스 동안 추가적인 연산이 추가되지 않는다. 아래와 같이 적어도 두 개의 이점이 있다. 먼저, 238 비트 메모리 공간이 절약될 수 있도록, 클래스 인덱스 및 행렬 번호에 의존하여 오프셋 sO 테이블이 제거된다. 둘째, 행렬로부터 오프셋을 추출하는 프로세스가 모든 클래스에 대해 통합되어 있다.

제3 예시적인 실시예에서, 각 행렬의 제1 요소는 도 7의 테이블 7에 따라 대응하는 오프셋 sO으로 대체된다. 따라서 sO의 테이블이 제거될 수 있다. 행렬 벡터 곱셈을 수행할 때, 오프셋은 각 행렬의 제1 요소로부터 도출된다. 수정된 행렬은 원래 행렬 대신에 저장되며, 인코딩 및 디코딩 프로세스 동안 추가적인 연산이 추가되지 않는다.

제4 예시적인 실시예에서, 오프셋 sO는 고정된 값으로 대체된다. 따라서 오프셋에 대한 임의의 도출 프로세스 없이 룩업 테이블이 제거될 수 있다. 일 예시에서, 고정된 값은 66이며, 이는 모든 행렬 중에서 가장 작은 값이다. 모든 행렬은 다음과 같이 수정된다.

[수학식 23]

위의 수학식 23에서, sO는 테이블 7(도 7)로부터 도출된다. 그러면, 수학식 12에서의 행렬 벡터 곱셈 프로세스는 다음과 같이 수정될 수 있다.

[수학식 24]

수정된 행렬 M'은 원래 행렬 대신 저장되며, 인코딩 및 디코딩 프로세스 동안 추가적인 연산이 추가되지 않는다.

다른 예시로서, 고정된 값은 64이다. 모든 행렬은 다음과 같이 수정된다.

[수학식 25]

위의 수학식 25에서, sO는 테이블 7로부터 도출된다. 그러면, 행렬 벡터 곱셈 프로세스는 다음과 같이 수정될 수 있다.

[수학식 26]

덧붙여, 수정된 행렬에서의 음수는 0으로 수정되어야 한다. 본 개시의 실시예를 구현할 때, -2로부터 0으로 하나의 값만이 변경된다. 수정된 행렬 M'은 원래 행렬 대신 저장되며, 인코딩 및 디코딩 프로세스 동안 추가적인 동작이 추가되지 않는다. 64를 곱한 연산은 시프트 연산으로 대체될 수 있다. 그러므로, sO와 입력 벡터 input _red 사이의 곱셈은 좌측 시프트 연산으로 대체될 수 있다. 4×4 블록의 경우, 예측 신호를 생성하는 데 필요한 샘플당 곱셈의 총 수는 5로부터 4로 감소된다.

제3 예시에서, 고정 값은 128이다. 모든 행렬은 다음과 같이 수정된다.

[수학식 27]

위의 수학식 27에서, sO는 테이블 7로부터 도출된다. 그러면, 행렬 벡터 곱셈 프로세스는 다음과 같이 수정될 수 있다.

[수학식 28]

수정된 행렬 M'은 원래 행렬 대신 저장되며, 인코딩 및 디코딩 프로세스 동안 추가적인 동작이 추가되지 않는다. 룩업 테이블이 제거되고 오프셋과 입력 벡터 사이의 곱셈이 좌측 시프트 연산으로 대체된다. 4×4 블록의 경우, 예측 신호를 생성하는 데 필요한 샘플당 곱셈의 총 수는 4로 감소된다. 게다가, 코딩 성능은 변경되지 않는다.

도 11은 본 개시의 실시예와 일치하는, 비디오 콘텐츠를 처리하기 위한 예시적인 방법의 흐름도이다. 방법(1100)은 코덱(예를 들어, 도 2a-2b의 인코딩 프로세스(200A 또는 200B)를 사용하는 인코더, 또는 도 3a-3b의 디코딩 프로세스(300A 또는 300B)를 사용하는 디코더)에 의해 수행될 수 있다. 예를 들어, 코덱은 비디오 시퀀스를 인코딩 또는 트랜스코딩하기 위한 장치(예를 들어, 장치(400))의 하나 이상의 소프트웨어 또는 하드웨어 구성요소로서 실현될 수 있다. 일부 실시예에서, 비디오 시퀀스는 압축해제된 비디오 시퀀스(예를 들어, 비디오 시퀀스(202)) 또는 디코딩되는 압축된 비디오 시퀀스(예를 들어, 비디오 스트림(304))일 수 있다. 일부 실시예에서, 비디오 시퀀스는 상기 장치의 프로세서(예를 들어, 프로세서(402))와 관련된 모니터링 장치(예를 들어, 도 4의 비디오 입력 장치)에 의해 포착될 수 있는 모니터링 비디오 시퀀스일 수 있다. 비디오 시퀀스는 다수의 픽처를 포함할 수 있다. 상기 장치는 픽처의 레벨에서 방법(1100)을 수행할 수 있다. 예를 들어, 상기 장치는 방법(1100)에서 하나의 픽처를 동시에 처리할 수 있다. 다른 예에 대해, 상기 장치는 방법(1100)에서 복수의 픽처를 동시에 처리할 수 있다. 방법(1100)은 아래와 같은 단계들을 포함할 수 있다.

단계 1102에서, 타겟 블록의 분류가 결정될 수 있다. 일부 실시예에서, 분류는 제1 클래스(예를 들어, Class0), 제2 클래스(예를 들어, Class1) 및 제3 클래스(예를 들어, Class2)를 포함할 수 있다. 주어진 블록에 대해, 주어진 블록의 분류는 주어진 블록의 크기를 기초로 결정될 수 있다. 예를 들어, 제1 클래스는 4×4 크기에서의 블록과 연관될 수 있고, 제2 클래스는 8×8, 4×N 또는 N×4 크기의 블록과 연관될 수 있고, N은 8과 64 사이의 정수일 수 있다. 예를 들어, N은 8, 16, 32 또는 64와 동일하다. 즉, 제2 클래스는 8×8, 4×8, 4×16, 4×32, 4×64, 8×4, 16×4, 32×4 또는 64×4 크기의 블록을 포함할 수 있다. 그리고 제3 클래스는 블록의 나머지와 연관될 수 있다.

일부 실시예에서, 4×4, 8×8, 4×N 또는 N×4 이외의 크기를 갖는 타겟 블록에 응답하여, 타겟 블록이 제3 클래스에 속하는 것으로 결정될 수 있다.

단계 1104에서, 분류를 기초로 행렬-가중된 인트라 예측(MIP) 신호가 생성될 수 있다. 일부 실시예에서, 타겟 블록에 대한 제1 인트라 예측 신호는 입력 벡터, 행렬 및 타겟 블록의 분류를 기초로 생성될 수 있고, MIP 신호를 생성하기 위해 제1 인트라 예측 신호를 사용하여 타겟 블록에 대해 이중선형 보간이 수행될 수 있다.

예를 들어, 입력 벡터를 생성하기 위해 타겟 블록의 이웃하는 재구성된 샘플은 타겟 블록의 분류에 따라 평균화될 수 있다. 위에서 논의된 바와 같이, 제1 클래스의 블록에 대해, 블록의 두 개의 이웃하는 재구성된 샘플 마다 입력 벡터로서 감소된 경계 벡터를 생성하기 위해 평균화될 수 있다. 예를 들어, 입력 벡터의 크기는 제1 클래스의 경우 4×1, 제2 클래스의 경우 8×1, 제3 클래스의 경우 7×1일 수 있다. 그리고 제2 클래스 또는 제3 클래스의 블록(예를 들어, M×N 크기를 갖는)에 대해 블록 위의 M/4개의 이웃하는 재구성 샘플마다 및 블록의 좌측 상의 N/4개의 이웃 재구성 샘플 마다 평균화될 수 있다.

입력 벡터와 다르게, 타겟 블록의 분류 및 MIP 모드 인덱스에 따라 행렬의 세트(예를 들어, 행렬 세트 S₀, S₁ 또는 S₂)로부터 행렬이 선택될 수 있다.

그러면, 행렬 및 입력 벡터에 대해 행렬 벡터 곱셈을 수행함으로써 제1 인트라 예측 신호가 생성될 수 있다. 일부 실시예에서, 제1 인트라 예측 신호는 제1 오프셋 및 제2 오프셋과 더 연관된다. 예를 들어, 수학식 12에서 논의된 바와 같이, 감소된 예측 신호는 제1 오프셋(예를 들어, oW) 및 제2 오프셋(예를 들어, oS)에 의해 더 바이어싱될 수 있다. 일부 실시예에서, 제1 오프셋 및 제2 오프셋은 행렬의 세트에서의 행렬 인덱스에 기초하여 결정될 수 있다. 예를 들어, 제1 오프셋 및 제2 오프셋은 각각 테이블 7 및 테이블 8을 참조함으로써 결정될 수 있다.

타겟 블록의 분류는 또한 제1 인트라 예측 신호의 크기에 관련된다. 예를 들어, 타겟 블록이 제1 클래스 또는 제2 클래스에 속한다는 것에 응답하여, 제1 인트라 예측 신호가 4×4의 크기를 갖는 것으로 판단하는 단계; 및 타겟 블록이 제3 클래스에 속한다는 것에 응답하여, 제1 인트라 예측 신호가 8×8의 크기를 갖는 것으로 결정하는 단계.

일부 실시예에서, 명령어를 포함하는 비일시적 컴퓨터 판독가능 저장 매체가 또한 제공되고, 명령어는 상술한 방법을 수행하기 위한 (개시된 인코더 및 디코더와 같은) 디바이스에 의해 실행될 수 있다. 비일시적 매체의 일반적인 형태는 예를 들어, 플로피 디스크, 플렉서블 디스크(flexible disk), 하드 디스크, 솔리드 스테이트 드라이브(solid state drive), 자기 테이프 또는 임의의 다른 자기 데이터 저장 매체, CD-ROM, 임의의 다른 광학 데이터 저장 매체, 구멍의 패턴을 갖는 임의의 물리적 매체, RAM, PROM 및 EPROM, FLASH-EPROM 또는 임의의 다른 플래시 메모리, NVRAM, 캐시, 레지스터, 임의의 다른 메모리 칩 또는 카트리지 및 이들의 네트워크화된 버전을 포함한다. 디바이스는 하나 이상의 프로세서(CPU), 입/출력 인터페이스, 네트워크 인터페이스 및/또는 메모리를 포함할 수 있다.

실시예는 다음 조항을 사용하여 더 설명될 수 있다.

1. 비디오 콘텐츠를 처리하기 위한 컴퓨터 구현된 방법으로서,

타겟 블록의 분류를 결정하는 단계; 및

분류를 기초로, 행렬-가중된 인트라 예측(MIP) 신호를 생성하는 단계를 포함하고,

타겟 블록의 분류를 결정하는 단계는:

타겟 블록이 4×4의 크기를 갖는다는 것에 응답하여, 타겟 블록이 제1 클래스에 속하는 것으로 결정하는 단계; 또는

타겟 블록이 8×8, 4×N 또는 N×4의 크기를 갖는다는 것에 응답하여 - N은 8과 64 사이의 정수임 -, 타겟 블록이 제2 클래스에 속하는 것으로 결정하는 단계를 포함하는, 방법.

2. 조항 1에 있어서, MIP 신호를 생성하는 단계는:

타겟 블록에 대한 제1 인트라 예측 신호를 생성하는 단계 - 제1 인트라 예측 신호를 생성하는 단계는 입력 벡터, 행렬 및 타겟 블록의 분류에 기초함 -; 및

MIP 신호를 생성하기 위해, 제1 인트라 예측 신호를 사용하여 타겟 블록에 대해 이중선형 보간을 수행하는 단계를 포함하는, 방법.

3. 조항 1 또는 2에 있어서,

타겟 블록의 분류에 따라, 입력 벡터를 생성하기 위해 타겟 블록의 이웃하는 재구성된 샘플을 평균화하는 단계를 더 포함하는, 방법.

4. 조항 2 또는 3에 있어서, 입력 벡터는 타겟 블록이 제1 클래스에 속할 때 4×1의 크기를 갖거나, 또는 타겟 블록이 제2 블록에 속할 때 8×1의 크기를 갖는, 방법.

5. 조항 2-4 중 어느 하나에 있어서, 행렬은 타겟 블록의 분류 및 MIP 모드 인덱스에 따라 행렬의 세트로부터 선택되는, 방법.

6. 조항 5에 있어서, 제1 인트라 예측 신호는 행렬 및 입력 벡터에 대해 행렬 벡터 곱셈을 수행함으로써 생성되는, 방법.

7. 조항 6에 있어서, 제1 인트라 예측 신호는 행렬과 연관된 하나 이상의 오프셋에 기초하여 생성되는, 방법.

8. 조항 7에 있어서, 하나 이상의 오프셋은 룩업 테이블에서의 행렬의 인덱스에 기초하여 결정되는, 방법.

9. 조항 1-8 중 어느 하나에 있어서, 타겟 블록의 분류를 결정하는 단계는:

타겟 블록이 4×4, 8×N, 4×N 및 N×4 이외의 크기를 갖는다는 것에 응답하여, 타겟 블록이 제3 클래스에 속하는 것으로 결정하는 단계를 더 포함하는, 방법.

10. 조항 9에 있어서, 타겟 블록에 대한 제1 인트라 예측 신호를 생성하는 단계는:

타겟 블록이 제1 클래스 또는 제2 클래스에 속한다는 것에 응답하여, 제1 인트라 예측 신호가 4×4의 크기를 갖는 것으로 결정하는 단계; 및

타겟 블록이 제3 클래스에 속한다는 것에 응답하여, 제1 인트라 예측 신호가 8×8의 크기를 갖는 것으로 결정하는 단계를 포함하는, 방법.

11. 조항 1-10 중 어느 하나에 있어서, N은 8, 16, 32 또는 64와 동일한, 방법.

12. 비디오 콘텐츠를 처리하기 위한 시스템으로서,

명령어의 세트를 저장하기 위한 메모리; 및

시스템으로 하여금,

타겟 블록의 분류를 결정하는 것; 및

분류를 기초로, 행렬-가중된 인트라 예측(MIP) 신호를 생성하는 것을 수행하게 하기 위한 명령어의 세트를 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,

타겟 블록의 분류를 결정하는 것에 있어서, 적어도 하나의 프로세서는 시스템으로 하여금:

타겟 블록이 4×4의 크기를 갖는다는 것에 응답하여, 타겟 블록이 제1 클래스에 속하는 것으로 결정하는 것; 또는

타겟 블록이 8×8, 4×N 또는 N×4의 크기를 갖는다는 것에 응답하여 - N은 4보다 큼 -, 타겟 블록이 제2 클래스에 속하는 것으로 결정하는 것을 더 수행하게 하기 위한 명령어의 세트를 실행하도록 더 구성되는, 시스템.

13. 조항 12에 있어서, MIP 신호를 생성하는 것에서, 적어도 하나의 프로세서는 시스템으로 하여금:

타겟 블록에 대한 제1 인트라 예측 신호를 생성하는 것 - 제1 인트라 예측 신호를 생성하는 것은 입력 벡터, 행렬 및 타겟 블록의 분류에 기초함 -; 및

MIP 신호를 생성하기 위해, 제1 인트라 예측 신호를 사용하여 타겟 블록에 대해 이중선형 보간을 수행하는 것을 더 수행하게 하기 위한 명령어의 세트를 실행하도록 더 구성되는, 시스템.

14. 조항 12 또는 13에 있어서, 적어도 하나의 프로세서는 시스템으로 하여금:

타겟 블록의 분류에 따라, 입력 벡터를 생성하기 위해 타겟 블록의 이웃하는 재구성된 샘플을 평균화하는 것을 더 수행하게 하기 위한 명령어의 세트를 실행하도록 더 구성되는, 시스템.

15. 조항 13 또는 14에 있어서, 입력 벡터는 타겟 블록이 제1 클래스에 속할 때 4×1의 크기를 갖거나, 또는 타겟 블록이 제2 블록에 속할 때 8×1의 크기를 갖는, 시스템.

16. 조항 13 내지 15 중 어느 하나에 있어서, 행렬은 타겟 블록의 분류 및 MIP 모드 인덱스에 따라 행렬의 세트로부터 선택되는, 시스템.

17. 조항 16에 있어서, 제1 인트라 예측 신호는 행렬 및 입력 벡터에 대해 행렬 벡터 곱셈을 수행함으로써 생성되는, 시스템.

18. 조항 17에 있어서, 제1 인트라 예측 신호는 행렬과 연관된 하나 이상의 오프셋에 기초하여 생성되는, 시스템.

19. 조항 18에 있어서, 하나 이상의 오프셋은 룩업 테이블에서의 행렬의 인덱스에 기초하여 결정되는, 시스템.

20. 컴퓨터 시스템으로 하여금 비디오 콘텐츠를 처리하기 위한 방법을 수행하게 하기 위해 컴퓨터 시스템의 적어도 하나의 프로세서에 의해 실행 가능한 명령어의 세트를 저장하는 비일시적 컴퓨터 판독가능 매체로서, 방법은:

타겟 블록의 분류를 결정하는 단계; 및

타겟 블록의 분류를 결정하는 단계는:

타겟 블록이 8×8, 4×N 또는 N×4의 크기를 갖는다는 것에 응답하여 - N은 8과 64 사이의 정수임 -, 타겟 블록이 제2 클래스에 속하는 것으로 결정하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 매체.

본원에서 "제1" 및 "제2"와 같은 관계 용어는 엔티티 또는 동작을 다른 엔티티 또는 동작과 구분하기 위해서만 사용되며, 이러한 엔티티 또는 동작 간의 실제 관계 또는 시퀀스를 요구하거나 암시하지 않는다. 더욱이, 포함하는(comprising), "갖는(having)", "포함하는(containing)" 및 "포함하는(including)"이라는 단어 및 다른 형태는 그 의미가 동등하고, 이러한 단어 중 어느 하나를 따르는 항목 또는 항목들이 이러한 항목 또는 항목들의 철저한 열거(exhaustive listing)를 의미하지 않거나 또는 열거된 항목 또는 항목만으로 제한되는 것을 의미하지 않는다는 점에서, 제약을 두지 않는 것으로(open-ended) 의도된다.

본원에서 사용된 바와 같이, 달리 구체적으로 언급되지 않는 한, "또는"이란 용어는 실행 불가능한 경우를 제외하고 모든 가능한 조합을 포함한다. 예를 들어, 데이터베이스가 A 또는 B가 포함될 수 있다고 명시되어 있으면, 달리 구체적으로 명시되지 않거나 실행 불가능한 경우를 제외하고, 데이터베이스는 A 또는 B, 또는 A 및 B를 포함할 수 있다. 제2 예시로서, 데이터베이스가 A, B 또는 C를 포함할 수 있으면, 달리 구체적으로 명시되지 않거나 실행 불가능한 경우를 제외하고, 데이터베이스는 A 또는 B 또는 C, 또는 A 및 B, 또는 A 및 C, 또는 B 및 C, 또는 A 및 B 및 C를 포함할 수 있다.

상술한 실시예는 하드웨어 또는 소프트웨어(프로그램 코드), 또는 하드웨어 및 소프트웨어의 조합에 의해 구현될 수 있다는 것이 인식된다. 소프트웨어로 구현되는 경우, 이는 상술한 컴퓨터 판독 가능 매체에 저장될 수 있다. 소프트웨어는 프로세서에 의해 실행될 때 개시된 방법을 수행할 수 있다. 본 개시에서 설명된 컴퓨팅 유닛 및 다른 기능 유닛은 하드웨어 또는 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합에 의해 구현될 수 있다. 통상의 기술자는 또한 위에서 설명된 모듈/유닛 중 다수가 하나의 모듈/유닛으로 결합될 수 있고, 위에서 설명된 모듈/유닛 각각이 복수의 서브-모듈/서브-유닛으로 더 분할될 수 있음을 이해할 것이다.

전술한 명세서에서, 실시예는 구현마다 다를 수 있는 수많은 특정 세부사항을 참조로 설명되었다. 설명된 실시예의 특정 적응 및 수정이 이루어질 수 있다. 다른 실시예는 본원에 개시된 본 발명의 명세서 및 실시를 고려하여 통상의 기술자에게 명백할 수 있다. 명세서 및 예시는 단지 예시적인 것으로 간주되어야 하는 것으로 의도되며, 본 발명의 진정한 범주 및 사상은 다음 청구범위에 의해 나타난다. 또한, 도면에 도시된 단계의 시퀀스는 단지 예시의 목적이며, 단계의 임의의 특정 시퀀스로 제한되도록 의도되지 않는다. 이와 같이, 통상의 기술자는 이러한 단계가 동일한 방법을 구현하면서 상이한 순서로 수행될 수 있음을 인식할 수 있다.

도면 및 명세서에서, 예시적인 실시예가 개시된다. 하지만, 이들 실시예에 대해 다수의 변형 및 수정이 이루어질 수 있다. 따라서, 특정한 용어가 이용되더라도, 제한의 목적이 아닌 일반적이고 설명적인 의미로 사용된다.

Claims

비디오 콘텐츠를 처리하기 위한 컴퓨터 구현된 방법으로서,
타겟 블록의 분류를 결정하는 단계; 및
상기 분류를 기초로, 행렬-가중된 인트라 예측(matrix-weighted intra prediction, MIP) 신호를 생성하는 단계를 포함하고,
상기 타겟 블록의 상기 분류를 결정하는 단계는:
상기 타겟 블록이 4×4의 크기를 갖는다는 것에 응답하여, 상기 타겟 블록이 제1 클래스에 속하는 것으로 결정하는 단계; 또는
상기 타겟 블록이 8×8, 4×N 또는 N×4의 크기를 갖는다는 것에 응답하여 - N은 8과 64 사이의 정수임 -, 상기 타겟 블록이 제2 클래스에 속하는 것으로 결정하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 MIP 신호를 생성하는 단계는:
상기 타겟 블록에 대한 제1 인트라 예측 신호를 생성하는 단계 - 상기 제1 인트라 예측 신호의 생성은 입력 벡터, 행렬 및 상기 타겟 블록의 상기 분류에 기초함 -; 및
상기 MIP 신호를 생성하기 위해, 상기 제1 인트라 예측 신호를 사용하여 상기 타겟 블록에 대해 이중선형 보간(bilinear interpolation)을 수행하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 타겟 블록의 상기 분류에 따라, 상기 입력 벡터를 생성하기 위해 상기 타겟 블록의 이웃하는 재구성된 샘플을 평균화하는 단계를 더 포함하는, 방법.
제2항에 있어서, 상기 입력 벡터는 상기 타겟 블록이 상기 제1 클래스에 속할 때 4×1의 크기를 갖거나, 또는 상기 타겟 블록이 상기 제2 블록에 속할 때 8×1의 크기를 갖는, 방법.
제2항에 있어서, 상기 행렬은 상기 타겟 블록의 상기 분류 및 MIP 모드 인덱스에 따라 행렬의 세트로부터 선택되는, 방법.
제5항에 있어서, 상기 제1 인트라 예측 신호는 상기 행렬 및 상기 입력 벡터에 대해 행렬 벡터 곱셈을 수행함으로써 생성되는, 방법.
제6항에 있어서, 상기 제1 인트라 예측 신호는 상기 행렬과 연관된 하나 이상의 오프셋에 기초하여 생성되는, 방법.
제7항에 있어서, 상기 하나 이상의 오프셋은 룩업 테이블에서의 상기 행렬의 인덱스에 기초하여 결정되는, 방법.
제1항에 있어서, 상기 타겟 블록의 상기 분류를 결정하는 단계는:
상기 타겟 블록이 4×4, 8×8, 4×N 및 N×4 이외의 크기를 갖는다는 것에 응답하여, 상기 타겟 블록이 제3 클래스에 속하는 것으로 결정하는 단계를 더 포함하는, 방법.
제9항에 있어서, 상기 타겟 블록에 대한 상기 제1 인트라 예측 신호를 생성하는 단계는:
상기 타겟 블록이 상기 제1 클래스 또는 상기 제2 클래스에 속한다는 것에 응답하여, 상기 제1 인트라 예측 신호가 4×4의 크기를 갖는 것으로 결정하는 단계; 및
상기 타겟 블록이 상기 제3 클래스에 속한다는 것에 응답하여, 상기 제1 인트라 예측 신호가 8×8의 크기를 갖는 것으로 결정하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 N은 8, 16, 32 또는 64와 동일한, 방법.
비디오 콘텐츠를 처리하기 위한 시스템으로서,
명령어의 세트를 저장하기 위한 메모리; 및
상기 시스템으로 하여금:
타겟 블록의 분류를 결정하는 것; 및
상기 분류를 기초로, 행렬-가중된 인트라 예측(MIP) 신호를 생성하는 것을 수행하게 하기 위한 상기 명령어의 세트를 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
상기 타겟 블록의 상기 분류를 결정하는 것에 있어서, 상기 적어도 하나의 프로세서는 상기 시스템으로 하여금:
상기 타겟 블록이 4×4의 크기를 갖는다는 것에 응답하여, 상기 타겟 블록이 제1 클래스에 속하는 것으로 결정하는 것; 또는
상기 타겟 블록이 8×8, 4×N 또는 N×4의 크기를 갖는다는 것에 응답하여 - N은 8과 64 사이의 정수임 -, 상기 타겟 블록이 제2 클래스에 속하는 것으로 결정하는 것을 더 수행하게 하기 위한 상기 명령어의 세트를 실행하도록 더 구성되는, 시스템.
제12항에 있어서, 상기 MIP 신호를 생성하는 것에서, 상기 적어도 하나의 프로세서는 상기 시스템으로 하여금:
상기 타겟 블록에 대한 제1 인트라 예측 신호를 생성하는 것 - 상기 제1 인트라 예측 신호의 생성은 입력 벡터, 행렬 및 상기 타겟 블록의 상기 분류에 기초함 -; 및
상기 MIP 신호를 생성하기 위해, 상기 제1 인트라 예측 신호를 사용하여 상기 타겟 블록에 대해 이중선형 보간을 수행하는 것을 더 수행하게 하기 위한 상기 명령어의 세트를 실행하도록 더 구성되는, 시스템.
제12항에 있어서, 상기 적어도 하나의 프로세서는 상기 시스템으로 하여금:
상기 타겟 블록의 상기 분류에 따라, 상기 입력 벡터를 생성하기 위해 상기 타겟 블록의 이웃하는 재구성된 샘플을 평균화하는 것을 더 수행하게 하기 위한 상기 명령어의 세트를 실행하도록 더 구성되는, 시스템.
제13항에 있어서, 상기 입력 벡터는 상기 타겟 블록이 상기 제1 클래스에 속할 때 4×1의 크기를 갖거나, 또는 상기 타겟 블록이 상기 제2 블록에 속할 때 8×1의 크기를 갖는, 시스템.
제11항에 있어서, 상기 행렬은 상기 타겟 블록의 상기 분류 및 MIP 모드 인덱스에 따라 행렬의 세트로부터 선택되는, 시스템.
제16항에 있어서, 상기 제1 인트라 예측 신호는 상기 행렬 및 상기 입력 벡터에 대해 행렬 벡터 곱셈을 수행함으로써 생성되는, 시스템.
제17항에 있어서, 상기 제1 인트라 예측 신호는 상기 행렬과 연관된 하나 이상의 오프셋에 기초하여 생성되는, 시스템.
제18항에 있어서, 상기 하나 이상의 오프셋은 룩업 테이블에서의 상기 행렬의 인덱스에 기초하여 결정되는, 시스템.
컴퓨터 시스템으로 하여금 비디오 콘텐츠를 처리하기 위한 방법을 수행하게 하기 위해 상기 컴퓨터 시스템의 적어도 하나의 프로세서에 의해 실행 가능한 명령어의 세트를 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 방법은:
타겟 블록의 분류를 결정하는 단계; 및
상기 분류를 기초로, 행렬-가중된 인트라 예측(MIP) 신호를 생성하는 단계를 포함하고,
상기 타겟 블록의 상기 분류를 결정하는 단계는:
상기 타겟 블록이 4×4의 크기를 갖는다는 것에 응답하여, 상기 타겟 블록이 제1 클래스에 속하는 것으로 결정하는 단계; 또는
상기 타겟 블록이 8×8, 4×N 또는 N×4의 크기를 갖는다는 것에 응답하여 - N은 4보다 큼 -, 상기 타겟 블록이 제2 클래스에 속하는 것으로 결정하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 매체.