KR20210099142A

KR20210099142A - 비트스트림 디코딩

Info

Publication number: KR20210099142A
Application number: KR1020217022226A
Authority: KR
Inventors: 고살라 쿨루파나; 안드레 세이샤스 디아스; 사베리오 블라시
Original assignee: 브리티쉬브로드캐스팅코퍼레이션
Priority date: 2018-12-19
Filing date: 2019-12-19
Publication date: 2021-08-11
Also published as: US20230164310A1; GB2580036B; GB201820724D0; CN113196778A; US20210409696A1; GB2580036A; WO2020128492A1; PH12021551168A1; EA202191421A1; BR112021011651A2; EP3900355A1; US11616950B2

Abstract

본 발명은 디코더에서, 이미지를 나타내는 비트스트림을 디코딩하는 방법에 관한 것으로, 상기 비트스트림은 복수의 레지듀얼 샘플 블록을 포함하고, 상기 이미지의 하나 이상의 재구성된 이미지 프레임은 각각의 레지듀얼 샘플 블록을 결합된 가설 인트라-예측 블록에 가산함으로써 획득되고, 상기 결합된 가설 인트라-예측 블록은 다음의 단계를 포함하는 방법을 적용함으로써 형성되며, 상기 방법은: 비트스트림을 수신하는 단계; 레지듀얼 샘플들의 각각의 블록에 대해, 결합된 인트라-예측 가설이 상기 비트스트림으로부터 표시 및/또는 추론되는지의 여부를 결정하는 단계; 상기 표시 및/또는 추론되면, 결합된 인트라-예측 가설이 표시 및/또는 추론되는 블록의 레지듀얼 샘플들의 각각의 블록에 대해, 상기 비트스트림으로부터 추출된 정보로부터 제1 인트라-예측 모드를 결정하는 단계; 적어도 다른 제2 인트라-예측 모드를 결정하거나 추론하는 단계; 제1 가설 예측 샘플을 형성하기 위해 적어도 하나의 참조 샘플에 상기 제1 인트라-예측 모드를 적용하는 단계; 제2 가설 예측 샘플을 형성하기 위해 상기 적어도 하나의 참조 샘플에 상기 적어도 하나의 제2 인트라-예측 모드를 적용하는 단계; 및 상기 블록에 대해 형성된 제1 및 제2 가설 예측 샘플들을 결합함으로써 결합된 가설 예측 블록을 형성하는 단계를 포함한다.

Description

비트스트림 디코딩

본 발명은 이미지 인코딩 및 디코딩에 관한 것으로, 특히 본 발명은 이미지를 획득하기 위해 비트스트림을 디코딩하는 방법에 관한 것이다.

이미지 또는 비디오 코덱 내에서, 공간 중복성을 활용하면 이미지를 보다 효율적으로 인코딩할 수 있다. 가장 성공적인 인트라-예측(intra-prediction) 방식 중 하나는 소위 방향성 인트라-예측을 수행하는 것이다. 각각의 예측은 하나 이상의 참조 샘플의 가중 평균으로 형성된다. 그러한 사용할 참조 샘플의 선택과 그러한 평균 계산에 적용되는 가중치는 특정 인트라-예측 방향에 따라 다르다. 인트라-예측의 비-방향성 예측 모드도 있다. 본 개시는 인트라-예측에 관한 것이며, 용어 "예측" 등의 다음 사용은 그에 따라 이해되어야 한다.

본 발명은 이미지를 획득하기 위해 비트스트림을 디코딩하는 방법을 제공하기 위한 것이다.

본 발명의 제1 관점에 따르면, 디코더에서, 이미지를 나타내는 비트스트림을 디코딩하는 방법이 제공되며, 여기서, 상기 비트스트림은 복수의 레지듀얼 샘플(residual sample) 블록을 포함하고, 상기 이미지의 하나 이상의 재구성된 이미지 프레임은 각각의 레지듀얼 샘플 블록을 결합된 가설 인트라-예측 블록에 가산함으로써 획득되고, 상기 결합된 가설 인트라-예측 블록은 다음의 단계를 포함하는 방법을 적용함으로써 형성되며, 상기 방법은:

상기 비트스트림을 수신하는 단계;

레지듀얼 샘플들의 각각의 블록에 대해, 결합된 인트라-예측 가설이 상기 비트스트림으로부터 표시 및/또는 추론되는지의 여부를 결정하는 단계;

상기 표시 및/또는 추론되면, 결합된 인트라-예측 가설이 표시 및/또는 추론되는 블록의 레지듀얼 샘플들의 각각의 블록에 대해,

상기 비트스트림으로부터 추출된 정보로부터 제1 인트라-예측 모드를 결정하는 단계;

적어도 다른 제2 인트라-예측 모드를 결정하거나 추론하는 단계;

제1 가설 예측 샘플을 형성하기 위해 적어도 하나의 참조 샘플에 상기 제1 인트라-예측 모드를 적용하는 단계;

제2 가설 예측 샘플을 형성하기 위해 상기 적어도 하나의 참조 샘플에 상기 적어도 하나의 제2 인트라-예측 모드를 적용하는 단계; 및

상기 블록에 대해 형성된 제1 및 제2 가설 예측 샘플들을 결합함으로써 결합된 가설 예측 블록을 형성하는 단계를 포함한다.

본 발명의 일부 예시적인 구현 예에서, 결합된 인트라-예측 가설이 표시 및/또는 추론되는 블록의 하나 이상의 레지듀얼 샘플 블록에 대해, 결합된 가설 인트라-예측 블록을 형성하는 방법은, 블록의 각각의 레지듀얼 샘플에 대해, 제1 인트라-예측 모드를 참조 샘플에 적용하는 단계, 제2 인트라-예측 모드를 상기 동일한 참조 샘플에 적용하는 단계, 및 결합된 가설 예측 샘플을 형성하기 위해 결과적인 제1 및 제2 가설 인트라-예측 샘플들을 결합하는 단계를 포함하며, 상기 방법은 결합된 가설 인트라-예측 블록을 형성하기 위해 상기 블록에 대해 획득된 결합된 가설 예측 샘플들을 결합하는 단계를 더 포함한다.

본 발명의 다른 예시적인 구현 예에서, 결합된 인트라-예측 가설이 표시 및/또는 추론되는 하나 이상의 레지듀얼 샘플 블록에 대해, 결합된 가설 인트라-예측 블록을 형성하는 방법은 복수의 제1 가설 예측 샘플을 형성하기 위해 상기 블록의 모든 참조 샘플에 제1 인트라-예측 모드를 적용하는 단계, 복수의 제2 가설 예측 샘플을 형성하기 위해 상기 블록의 모든 참조 샘플에 제2 인트라-예측 모드를 적용하는 단계, 및 결합된 가설 인트라-예측 블록을 형성하기 위해 상기 제1 및 제2 가설 예측 샘플들을 결합하는 단계를 포함한다.

선택적으로, 제2 인트라-예측 모드를 결정하는 단계는 제1 인트라-예측 모드에 기초하여 상기 제2 인트라-예측 모드를 추론하는 단계를 포함한다. 이 경우, 제2 인트라-예측 모드를 추론하는 단계는 제1 인트라-예측 모드가 평면 인트라-예측 모드가 아닌 경우 상기 제2 인트라-예측 모드가 평면 인트라-예측 모드라고 추론하는 단계를 포함할 수 있다.

상기 제2 인트라-예측 모드는 비트스트림 내의 표시자에 기초하여 결정될 수 있다.

일부의 구현 예의 방법은 제1 인트라-예측 모드가 평면 인트라-예측 모드인지를 결정하는 단계; 및 제1 인트라-예측 모드가 평면 예측 모드가 아닌 경우에만 결합된 인트라-예측 가설을 추론하는 단계를 더 포함할 수 있다.

일부의 구현 예에서, 상기 결합된 가설 예측 블록을 형성하기 위해 제1 및 제2 결합된 가설 인트라-예측 샘플을 결합하는 단계는 각각의 레지듀얼 샘플에 제1 및 제2 가설 예측 샘플들을 가산하는 단계를 포함할 수 있다. 일부의 구현 예에서, 상기 결합된 가설 예측 블록을 형성하기 위해 제1 및 제2 가설 인트라-예측 샘플들을 결합하는 단계는 제1 및 제2 결합된 가설 인트라-예측 샘플들의 가중 평균을 계산하는 단계를 포함할 수 있다.

일부의 구현 예에서, 상기 결합된 가설 예측 블록을 형성하기 위해 제1 및 제2 가설 인트라-예측 샘플들을 결합하는 단계는 상기 결합된 가설 예측 블록을 형성하기 위해 이들을 결합하는 제1 및/또는 제2 가설 샘플에 적용될 가중치를 결정하는 단계를 포함할 수 있다. 일부 구현 예에서, 제1 및 제2 가설 인트라-예측 샘플들을 결합하는 단계는 각각의 레지듀얼 샘플에 그 가중 조합을 가산하는 단계를 포함한다. 제1 및/또는 제2 가설 인트라-예측 샘플들에 적용된 가중치는 선택적으로 비트스트림 내의 비트 값에 기초하거나 룩업 테이블을 조회함으로써 결정될 수 있거나, 또는 이웃하는 블록으로부터 추출된 정보를 사용하여 적어도 부분적으로 추론될 수 있다.

선택적으로, 제1 인트라-예측 모드 및 제2 인트라-예측 모드 중 적어도 하나는 평면 인트라-예측 모드 또는 DC 인트라-예측 모드 또는 방향성 인트라-예측 모드일 수 있다.

일부의 구현 예에서, 비트스트림은 제2 방향성 인트라-예측 모드가 적용될지의 여부를 표시하는 하나 이상의 비트를 포함할 수 있다. 일부의 구현 예에서, 비트스트림은 적용될 제1 인트라-예측 모드 및/또는 제2 인트라-예측 모드를 표시하는 하나 이상의 비트를 포함할 수 있다. 이 경우, 제1 인트라-예측 모드 및/또는 제2 인트라-예측 모드를 결정하는 단계는 선택적으로 룩업 테이블을 조회하는 단계를 포함할 수 있다.

일부 예시적인 구현 예에서, 상기 방법은 결합된 인트라-예측 가설이 표시 및/또는 추론되는 블록에 대해, 제3 인트라-예측 모드를 결정하는 단계; 및 제3 가설 인트라-예측 샘플을 형성하기 위해 하나 이상의 참조 샘플에 제3 인트라-예측 모드를 적용하고, 결합된 가설 예측 블록을 생성하기 위해, 블록에 대해 형성된 제1, 제2 및 제3 가설 예측 샘플을 결합하는 단계를 포함한다.

본 발명의 다른 관점에 따르면, 실질적으로 프로그램 가능 장치가 상술한 바와 같은 방법을 구현하게 하도록 구성된 컴퓨터 프로그램 제품이 제공된다.

본 발명의 다른 관점에 따르면, 실질적으로 상술한 바와 같은 방법을 사용하여 비디오스트림 내의 이미지를 디코딩하는 방법이 제공된다.

본 발명의 또 다른 관점에 따르면, 다음 단계들을 포함하는 비디오 비트스트림을 디코딩하는 방법이 제공된다:

레지듀얼 샘플 블록을 나타내는 비트스트림, 및 예측 샘플들을 형성하는 데 사용된 인트라-예측 가설들을 나타내는 데이터를 수신하는 단계;

각각의 예측 샘플 블록을 형성하기 위해 상기 인트라-예측 가설들을 나타내는 상기 데이터를 사용하는 단계; 및

이미지들을 재구성하기 위해 상기 예측 샘플 블록을 각각의 레지듀얼 샘플 블록에 가산하는 단계를 포함하며,

상기 블록에 대해 형성된 제1 및 제2 가설 예측 샘플들을 결합함으로써 결합된 가설 예측 블록을 형성하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 관점에 따르면, 다음 단계들을 포함하는 비디오 비트스트림을 인코딩하는 방법이 제공된다:

인트라-예측 블록 및 재구성된 이미지 샘플들을 사용하여 예측 샘플 블록을 형성하는 단계;

레지듀얼 샘플 블록을 형성하기 위해 이미지 샘플 블록으로부터 예측 샘플 블록을 감산하는 단계; 및

각각의 예측 샘플을 형성하기 위해 사용된 인트라-예측의 블록을 나타내는 데이터 및 레지듀얼 샘플 블록을 나타내는 비트스트림을 형성하는 단계를 포함하며,

여기서, 상기 예측 샘플 블록 중 적어도 하나는:

제1 예측 샘플들 및 복수의 각각의 제1 레지듀얼 샘플들을 형성하기 위해 각각의 블록의 재구성된 이미지 샘플들에 제1 인트라-예측 모드를 적용하는 단계;

제2 예측 샘플들 및 복수의 각각의 제2 레지듀얼 샘플들을 형성하기 위해 각각의 블록의 재구성된 이미지 샘플들에 다른 제2 인트라-예측 모드를 적용하는 단계; 및

제1 및 제2 레지듀얼 샘플들을 결합하여 레지듀얼 샘플 블록을 형성하는 단계;에 의해 형성된 결합된 가설 예측 블록을 사용하여 형성된다.

본 개시의 일 관점의 임의의 특징은 임의의 적절한 조합으로 본 개시의 다른 관점에 적용될 수 있다. 특히, 방법 관점은 장치 관점에 적용될 수 있으며, 그 반대의 경우도 마찬가지이다.

또한, 하드웨어에서 구현된 기능은 소프트웨어로 구현될 수 있으며, 그 반대의 경우도 마찬가지이다. 본원의 소프트웨어 및 하드웨어 특징들에 대한 언급은 이에 따라 해석되어야 한다.

본원에 설명된 임의의 장치 특징은 또한 방법 특징으로서 제공될 수 있으며, 그 반대의 경우도 마찬가지이다. 본원에 사용되는 바와 같이, 수단 플러스 기능 특징은 적절하게 프로그래밍된 프로세서 및 관련 메모리와 같은 대응하는 구조의 관점에서 대안적으로 표현될 수 있다.

또한, 본 개시의 임의의 관점들에서 설명되고 규정된 다양한 특징들의 특정 조합들이 독립적으로 구현 및/또는 공급 및/또는 사용될 수 있음을 인식해야 한다.

본 개시는 또한 데이터 처리 장치에서 실행될 때 이들의 임의의 또는 모든 구성 단계를 포함하여 본원에 기술된 임의의 방법들을 수행하도록 구성된 소프트웨어 코드를 포함하는 컴퓨터 프로그램 및 컴퓨터 프로그램 제품을 제공한다.

본 개시는 또한 데이터 처리 장치에서 실행될 때 본원에 설명된 장치 특징들 중 임의의 것을 포함하는 소프트웨어 코드를 포함하는 컴퓨터 프로그램 및 컴퓨터 프로그램 제품을 제공한다.

본 개시는 또한 본원에 설명된 방법들 중 임의의 것을 수행하기 위한 및/또는 본원에 설명된 임의의 장치 특징들을 구현하기 위한 컴퓨터 프로그램을 지원하는 운영 체제를 갖는 컴퓨터 프로그램 및 컴퓨터 프로그램 제품을 제공한다.

본 개시는 또한 상술한 바와 같은 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 매체를 제공한다.

본 개시는 또한 상술한 바와 같은 컴퓨터 프로그램을 이송하는 신호 및 그러한 신호를 전송하는 방법을 제공한다.

본 개시는 첨부된 도면을 참조하여 본원에 실질적으로 설명된 방법 및/또는 장치로 확장된다.

본 발명에 따르면, 이미지를 획득하기 위해 비트스트림을 디코딩하는 방법을 제공할 수 있다.

본 발명은 첨부된 도면을 참조하여 예로서 설명될 것이다:
도 1은 비디오 비트스트림 디코더를 나타내고;
도 2의 (a)-(b)는 단일 인트라-예측 모드를 사용한 예시적인 블록 예측을 나타내고;
도 3은 다중 인트라-예측 모드를 사용하는 예시적인 블록 예측을 나타내고;
도 4는 2개의 인트라-예측 모드를 사용하는 방법에 대한 흐름도이고;
도 5는 제2 인트라-예측 모드를 추론하는 상세한 예시적인 방법에 대한 흐름도이며;
도 6은 비디오 인코더를 나타낸다.

도 1에는 비디오 이미지를 나타내는 비트스트림이 수신되고 비디오스트림을 획득하기 위해 처리되는 통상적인 디코더가 나타나 있다. 그러한 디코더는 엔트로피(entropy) 디코딩 단계(102), 역 양자화 단계(104), 및 역 변환 단계(106)를 포함하며, 이를 통해, 수신된 비트스트림이 일반적으로 레지듀얼(residual)을 획득하기 위해 순차적으로 처리된다.

상기 레지듀얼은 출력 비디오스트림을 형성하는 출력 이미지를 획득하기 위해 각각의 예측에 가산된다.

인터-예측(inter-prediction)의 경우, 디코딩된 픽처 버퍼(110)에서 이용 가능한 이전 이미지 또는 이미지들은 비트스트림으로부터 추출된 정보에 따라 지정된 움직임 정보를 사용하여 움직임 보상(112)을 거친다. 예를 들어, 움직임 벡터는 비트스트림에서 시그널링될 수 있다. 그러나, 그와 같은 움직임 정보는 당업자에게 알려진 바와 같이 다양한 대안적인 방식으로 계산될 수 있다.

인트라-예측의 경우, 현재 프레임으로부터 추출한 이전에 재구성된 샘플들을 사용하여 예측을 형성한다.

본 개시는, 도 2를 참조하여 더 상세히 설명되는 바와 같이, 비트스트림으로부터 추출된 정보를 사용하여 지정된 인트라-예측 모드를 통상적으로 사용하는 인트라-예측 블록(108)에 관한 것이다.

도 2는 단일 인트라-예측 모드의 사용을 나타낸다. 블록 내 각각의 샘플의 값들은 통상적으로(항상 그런 것은 아니지만) 참조 샘플 버퍼로부터 추출된 참조 샘플의 가중 평균으로 예측된다. 사용할 참조 샘플의 선택과 각각의 참조 샘플에 적용되는 가중치는 비트스트림으로부터 추출된 정보를 사용하여 지정된 인트라-예측 모드에 따라 다르다. 도 2의 (a)에서 사용된 예측 모드는 방향성 인트라-예측 모드이다. 도 2의 (b)에 사용된 예측 모드는 '평면' 예측 모드이다. 설명을 위해, '평면' 인트라-예측을 사용할 때, 블록 내 각각의 샘플을 예측하는 데 4개의 참조 샘플이 사용된다. 2개의 이중선형 보간은 각각 두 쌍의 참조 샘플을 사용하여 계산되며, 여기서 그러한 보간에 사용되는 가중치는 블록 내 각각의 샘플의 위치에 따라 달라진다. 이후, 상기 2개의 보간으로 얻은 값들은 함께 평균을 내어 최종 예측 샘플을 형성한다.

다양한 다른 방향성 모드, 예컨대 고효율 비디오 코딩(HEVC) 표준의 DC 모드와 같은 순수 수평, 및/또는 비-방향성 인트라-예측 모드도 사용될 수 있다. 사용할 모드를 올바르게 선택하는 데 필요한 정보는 각각의 블록과 관련된 비트스트림에서 시그널링된다. 위에서 언급한 예측 모드들은 주로 다음과 관련된다:

· 현재 블록의 맨 위에 있는 행과 왼쪽에 있는 열 상의 이웃하는 샘플로부터 추출된 두 쌍의 샘플 간 2개의 이중선형 보간의 평균으로 각각의 참조 샘플을 획득하는 것으로 구성되는 평면 예측;

· 현재 블록 주변에서 이용 가능한 참조 샘플들의 평균으로 블록의 샘플들을 예측하는 것으로 구성되는 DC 예측; 및

· 이중선형 보간을 통해 예측 블록 내부의 샘플을 외삽하는 것으로 구성된 방향성 예측, 여기서, 사용된 가중치와 샘플은 예측 "방향"에 따라 달라진다.

보다 구체적인 예로서, 도 2의 (a)의 현재 블록의 샘플 X는 참조 샘플 A와 B의 가중 평균을 사용하여 예측되며, 이러한 예에서는 현재 블록 위의 블록으로부터 취해진다. 인트라-예측 모드에 의해 지정된 방향에 따라, 샘플 A는 예측에 더 큰 영향을 미칠 수 있는 데, 즉 평균을 계산할 때 B에 적용된 가중치보다 가중치가 더 커질 것이다.

여기에서 참조 샘플들은 현재 블록 위의 단일 행과 그 왼쪽의 단일 열로부터 취해지는 것으로 나타나 있다. 일부의 구현 예에서, 참조 샘플 세트는 더 클 수 있으며, 예를 들어 2개 이상의 기준 행 또는 열이 있을 수 있다. 일부의 구현 예에서, 상기 참조 샘플 세트는 인트라-예측에 사용되기 전에 미리 규정된 필터링 동작을 사용하여 필터링될 수 있다. 참조 샘플들은 통상적으로 디코더에서 이미 재구성된 블록으로부터 획득되므로 현재 블록을 예측하는 데 이용할 수 있다. 그와 같은 블록들은 일반적으로 현재 블록의 위 또는 왼쪽에 표시된다. 이것은 다른 블록 스캐닝 방식에서의 동작 또는 병렬 동작 정도를 배제하지 않는다.

기존의 인트라-예측은 현재 블록을 예측하기 위해 참조 샘플들에 적용되는 단일 모드를 사용하여, 예를 들어 그 예측이 도 2의 (a) 및 2의 (b)에 나타낸 예측 X 중 하나가 되게 한다. 이들 각각의 예측은 블록의 실제 내용과 실질적으로 다르며, 도 2의 (a) 및 2의 (b)는 다수의 상이한 단일 모드 중 어느 하나를 사용하여 획득할 수 있는 다수의 상이한 예측 X 중 2개만을 나타낸다.

일부의 경우에, 종래의 시스템에서, 단일 인트라-예측 모드를 사용하는 것은 블록의 콘텐츠의 최적 예측을 제공하지 못할 수 있다. 본 발명의 관점에 따르면, 이러한 문제는 다양한 상이한 인트라-예측 가설을 사용한 다음 이들 가설을 함께 결합하여 결합된 가설 인트라-예측 블록을 형성함으로써 처리하고자 하며, 이는 각각의 인트라-예측 모드를 분리하여 이용하는 종래의 방법들을 사용하여 획득할 수 있는 것보다 비트스트림의 적어도 일부의 블록의 좀더 정확한 예측을 제공할 수 있다.

도 3은 블록 내 값들을 예측하기 위해 2개의 상이한 예측 모드가 결합되는 인트라-예측의 방법을 나타낸다. 이러한 방법은 실제 블록 값들의 더 양호한 예측을 획득하기 위해 사용될 수 있다. 바람직하게, 이러한 조합을 수행하는 데 필요한 파라미터는 이미지 압축을 개선하기 위해 비트스트림으로부터 적어도 부분적으로 추출된다. 이러한 예에서, 도 2의 (b)를 참조하여 설명한 수직 및 평면 모드가 결합되어 단독으로 사용되는 이들 모드보다 더 양호한 예측을 획득한다.

도 4는 결합된 예측을 획득하기 위해 다중 인트라-예측 모드를 적용하는 방법을 예시하는 흐름도이다.

제1 단계(402)에서, 제1 인트라-예측 모드가 검출된다. 이러한 구현 예에서, 이것은 비트스트림 내에 지정된 인트라-예측 모드를 검출하는 것을 포함한다.

제2 단계(404)에서, 제2 인트라-예측 모드가 검출된다. 상이한 구현 예들에서, 이러한 제2 인트라-예측 모드는 비트스트림 내에서 시그널링된 표시자로부터 및/또는 제1 인트라-예측 모드와 같은 비트스트림의 특징으로부터의 추론에 의해 검출될 수 있다. 제2 인트라-예측 모드를 추론하는 방법은 도 5를 참조하여 설명한다.

제3 단계(406)에서, 제1 검출 모드 및 제2 검출 모드의 적용으로부터 확인된 예측을 결합하는 데 사용할 수 있는 가중치가 결정된다. 다양한 구현 예에서, 각각의 예측 모드를 사용하여 획득한 예측들은, 예컨대 간단한 평균화(가중치가 각각 0.5인)에 의해, 또는 가중치 예측과 같은 파라미터 변환에 의해 단일 예측으로 결합된다. 일부의 구현 예에서, 선형 또는 2차 보간과 같은 상이한 파라미터 변환이 사용될 수 있으며, 여기서 그러한 보간의 계수는 비트스트림으로부터 추출되고 그리고/또 추론 프로세스에 의해 추론될 수 있다. 예를 들어, 가중치와 같은 변환의 파라미터는 비트스트림으로부터 적어도 부분적으로 추출될 수 있고, 사용된 인트라-예측 모드에 의해 설정될 수 있거나, 디코더 내에서 미리 설정될 수 있다.

일부의 구현 예에서, 사용할 가중치 및/또는 결합 방법은 룩업 테이블을 사용하여 결정되고, 여기서 이러한 룩업 테이블을 참조하는 데 사용될 인덱스는 비트스트림 내에 표시된다. 사용될 룩업 테이블은 일부의 구현 예에서 사용되는 예측 모드에 의존한다.

제 4 단계(408)에서, 각각의 예측 모드를 사용하여 확인된 예측들은 결정된 가중치들을 사용하여 결합된다. 이들 예측은 비트스트림으로부터 추출된 레지듀얼 값들과 결합되어 재구성된 이미지 샘플들을 획득할 수 있다. 통상적으로, 프레임이 재구성된 후, 일부의 필터가 적용된다(예컨대, 디블로킹(deblocking), 디블러링(deblurring) 등). 그 후, 이러한 재구성된 샘플들을 기반으로 이미지가 출력된다. 비디오 디코딩의 경우, 이러한 이미지는 비디오 내의 프레임이다.

따라서, 본 발명의 관점에 따르면, 결합된 예측들이 레지듀얼 값들에 가산되기 전에 예측들이 결합된다.

도 5는 제2 인트라-예측 모드 및 이 제2 인트라-예측 모드의 사용이 상기 제1 인트라-예측 모드로부터 추론되는 본 발명의 예시적인 구현 예에 따른 방법을 예시한다.

제1 단계(402)에서, 제1 인트라-예측 모드가 검출된다.

제2 단계(502)에서, 상기 제1 인트라-예측 모드가 평면인지의 여부가 결정된다.

상기 제1 인트라-예측 모드가 평면이 아닌 경우, 제3 단계(504)에서 다중 인트라-예측 모드 플래그가 설정되었는지의 여부가 결정된다.

상기 다중 인트라-예측 모드 플래그가 설정된 경우, 제 4 단계(505)에서 상기 제2 인트라-예측 모드는 상기 제1 인트라-예측 모드와는 다른 미리-지정된 인트라-예측 모드로 추론된다. 이러한 예시적인 구현 예에서, 상기 제1 인트라-예측 모드가 평면이 아니고 다중(또는 결합된) 인트라-예측 플래그가 설정된 경우, 상기 제2 인트라-예측 모드는 평면인 것으로 추론된다. 이어서, 단계 506에서, 상술한 바와 같이 결합된 가설 인트라-예측 방법이 수행된다.

상기 제1 인트라-예측 모드가 평면이거나 상기 다중 인트라-예측 플래그가 설정되지 않은 경우, 대안 단계(512)에서 상기 검출된 제1 인트라-예측 모드를 사용하여 기존의 인트라-예측이 수행된다.

이러한 구현 예에서, 상기 제2 인트라-예측 모드로서 평면 인트라-예측 모드의 추론이 설명되었지만, 유사한 모드들이 또한 추론될 수 있다. 유사하게, 이러한 구현 예에서, 플래그가 상기 제2 단계(502)에서 체크되었지만, 상기 제1 인트라-예측 모드가 평면이 아닌 경우, 다른 구현 예들에서, 상기 다중 인트라-예측 모드 플래그가 체크되어야 하는지의 여부를 결정하기 위해 다른 모드들이 사용될 수 있다.

일부의 구현 예에서, 평면과 같은 특정 모두가 아닌 것으로 결정되는 상기 제1 인트라-예측 모드는 제2 예측 모드를 직접적으로 추론하는 데 사용된다. 즉, 상기 제3 단계(504)는 사실상 생략된다. 보다 일반적으로, 제1 인트라-예측 모드의 타입(예컨대, 평면, 방향, 수직-왼쪽)의 결정은 상기 제2 인트라-예측 모드가 사용되어야 하는지의 여부 또는 사용되어야 하는 상기 제2 인트라-예측 모드의 타입을 추론하는 데 사용될 수 있다.

일부의 구현 예에서, 각각의 제1 인트라-예측 모드에 대해 가능한 또는 바람직한 제2 인트라-예측 모드 또는 다수의 가능한 또는 바람직한 인트라-예측 모드가 있다. 실제로, 상기 제2 인트라-예측 모드는 상기 제1 인트라-예측 모드 및 추가적인 비트스트림 정보의 존재에 기초하여 추론될 수 있다(예를 들어, 방향성인 제1 모드 및 설정되는 플래그는 평면 제2 모드를 의미할 수 있고, 반면 DC인 제1 모드 및 설정되는 플래그는 '수직-왼쪽' 제2 모드를 의미할 수 있다). 보다 일반적으로, 사용된 룩업 테이블이 제1 예측 모드에 의존할 수 있는 제2 예측 모드를 결정하는 데 사용할 수 있는 룩업 테이블 또는 다른 참조 수단이 있을 수 있다. 일부의 구현 예에서, 제2 예측 모드는 제1 인트라-예측 모드를 추출하는 데 사용되는 프로세스와 유사하거나 동일한 프로세스에 의해 비트스트림으로부터 직접 추출될 수 있다.

일부의 구현 예에서, 사용되는 인코딩 방법은 제1 예측 모드에 따라 다르며, 여기서, 제2 예측 모드를 표시하는 데 필요한 코딩 길이가 제2 예측 모드가 최적 예측 모드가 될 가능성과 관련이 있도록 Huffman 코딩과 유사한 코딩 형식이 사용된다(이러한 가능성은 디코더/인코더가 구축되기 전에 미리 결정된다).

바람직한 구현 예에서, 모드들 중 하나는 평면 모드 또는 DC 모드이며, 여기서, 특히 이들 모드 중 하나가 제1 예측 모드가 아니라는 시그널링은, 일부의 구현 예에서, 다른 모드의 사용을 제2 예측 모드로 추론하는 데 사용된다. 그러나, 이것은 결코 필수적인 것은 아니다. 일부의 구현 예에서, 비트스트림은 단순히 2개(또는 그 이상)의 상이한 인트라-예측 모드를 추출하는 데 필요한 정보와 각각의 레지듀얼 샘플(들)에 가산될 단일(결합된) 예측을 형성하기 위해 상기 정보에 의해 획득된 2개의 예측을 함께 결합하는 명령을 포함할 수 있다.

모든 경우에, 결합된 예측을 형성하는 프로세스는 다수의 상이한 방식으로 수행될 수 있다. 예를 들어, 샘플 단위로 수행될 수 있다. 이러한 경우, 제1 인트라-예측 모드를 사용하여 주어진 샘플에 대해 제1 예측이 형성되고, 다음으로 다른 제2 인트라-예측 모드를 사용하여 동일한 레지듀얼 샘플에 대해 제2 예측이 형성된다. 마지막으로, 제1 및 제2 예측을 결합하여 해당 레지듀얼 샘플에 대해 결합된 예측이 형성되고, 프로세스가 블록의 다음 레지듀얼 샘플로 이동하여 프로세스가 반복된다. 대안적인 구현 예들에서, 상기 프로세스는 블록 단위로 수행될 수 있다. 이러한 경우, 상기 제1 인트라-예측 모드가 블록의 모든 레지듀얼 샘플에 적용되어 제1 예측 블록을 형성하고, 다음으로 상기 제2 인트라-예측 모드가 동일한 블록의 모든 레지듀얼 샘플에 적용되어 제2 예측 블록을 형성한다. 마지막으로, 상기 제1 및 제2 예측 블록이 함께 결합되어 단일의 결합된 가설 예측 블록을 형성하고, 이러한 블록이 블록의 레지듀얼 샘플에 가산되어 이미지 데이터를 재구성한다.

도 6은 도 1을 참조하여 설명된 디코더(1)에 의해 판독 가능한 비트스트림을 획득하기 위해 사용될 수 있는 인코더(6)를 나타낸다.

입력 비디오스트림은 공간적 및/또는 시간적 중복성을 식별하는 인트라-예측 추정(602) 및/또는 움직임 추정(606)을 갖는다. 이들은 인트라-예측(604) 및 움직임 예측(608)으로 이어지며, 그러한 움직임 예측은 인코더(6)에 의해 인코딩된 이전 프레임과 동등한 픽처를 유지하는 픽처 버퍼(610)로부터의 픽처에 의존한다.

상기 인트라-예측(604) 및/또는 움직임 예측(608)은 입력 비디오와 결합된 다음 변환(612), 양자화(614), 및 엔트로피 코딩(616)되어 비트스트림을 획득한다. 상기 변환(612) 및 양자화(614)된 데이터 스트림은 통상적으로 역 양자화(618) 및 역변환(620)을 거쳐 후속 프레임에 대해 픽처 버퍼(610)에 의해 사용되는 기준 프레임을 획득하지만, 일부의 구현 예에서, 이들 단계 중 하나 또는 둘 모두가 필수적이지 않을 수 있다.

다양한 구현 예에서, 인트라-예측 단계는 다음 중 하나 이상을 포함한다: 다중 인트라-예측 모드가 사용되는지의 여부를 지정하는 비트; 사용할 제1 및 제2 예측 모드 중 적어도 하나를 표시하는 섹션; 제1 및 제2 예측 모드의 가중치를 표시하는 섹션. 사용할 모드 및/또는 사용할 가중치들의 표시는, 일부의 구현 예에서, 룩업 테이블의 인덱스에 대한 참조이다. 사용할 룩업 테이블은 현재 프레임(예컨대, 현재 블록 또는 이전 블록) 또는 이전 프레임의 특성에 의해 결정되는 것이 바람직하다.

인코더 내에서, 가능한 인트라-예측 모드들의 목록이 고려되며, 여기서 가장 낮은 레지듀얼 값을 생성하는 모드들의 조합이 사용되거나, 또는 이것이 가장 낮은 레지듀얼을 달성하는 경우 단일 모드가 사용된다. 일부의 구현 예에서, 제한된 수의 가능한 모드가 고려되며, 예를 들어 다중 예측 모드 중 하나는 항상 평면일 수 있다. 일부의 구현 예에서, 다중 인트라-예측 모드가 사용되기 전에 단일 예측 모드를 사용하는 것에 대한 특정 개선이 필요하다.

유사하게, 상기 가중치는 미리 결정된 방법, 예를 들어 가중치를 선택하여 최소 레지듀얼 값을 생성하는 결정 프로세스를 사용하여 결정된다. 다른 결정 프로세스가 사용될 수 있다는 것은 당업자에 의해 인식될 것이다.

대안 및 수정

다양한 구현 예에서, 여기서 사용되는 블록은, 예를 들어 2018년 2월 13일의 HEVC/H.265 버전 5 표준에 규정된 바와 같은 예측 단위(PU), 코딩 단위(CU) 및/또는 변환 단위(TU)와 관련된다. 보다 일반적으로, 블록은 임의의 픽셀 그룹과 관련될 수 있다. 바람직하게, 블록은 이들이 공간적으로 연결될 수 있는 연결된 픽셀 그룹과 관련된다.

일부의 구현 예들에서, 블록은 인트라-예측을 위해 공통 참조 샘플들을 공유하는 픽셀 그룹과 관련된다. 이것은 블록 내의 각각의 픽셀 값을 참조 샘플들로부터 직접 예측할 필요가 없다. 일부의 구현 예들에서, 블록 내의 픽셀 값들은 동일한 블록 내의 다른 픽셀 값들을 사용하여 예측될 수 있으며, 이러한 다른 픽셀 값들은 공통 참조 샘플을들 사용하여 예측된다. 이들 구현 예에서, 그러한 예측된 픽셀 값들은 각각 참조 샘플들로부터 유도되는 것으로 간주될 수 있다.

상기 방법이 비디오스트림 내의 프레임에 대한 사용과 관련하여 설명되었지만, JPEG(Joint Photographic Experts Group)의 표준을 준수하는 것과 같은 스틸 이미지에도 유사하게 사용될 수 있다.

그 상세한 설명은 주로 2개의 예측 모드의 사용과 관련이 있지만, 이러한 방법은 임의의 수(2개 이상)의 예측 모드에 유사하게 적용될 수 있으며, 여기서 사용된 모드의 수 및/또는 사용된 모드들은 관련 비트스트림에 포함된 정보로 표시될 수 있다.

본 발명은 순전히 예로서 설명되었으며, 본 발명의 범위 내에서 세부 사항의 수정이 이루어질 수 있음을 이해할 것이다.

청구범위에 나타나는 참조 번호들은 단지 예시를 위한 것이며, 청구범위의 범위를 제한하지 않는다.

Claims

디코더에서, 이미지를 나타내는 비트스트림을 디코딩하는 방법으로서, 상기 비트스트림은 복수의 레지듀얼 샘플 블록을 포함하고, 상기 이미지의 하나 이상의 재구성된 이미지 프레임은 각각의 레지듀얼 샘플 블록을 결합된 가설 인트라-예측 블록에 가산함으로써 획득되고, 상기 결합된 가설 인트라-예측 블록은 다음의 단계를 포함하는 방법을 적용함으로써 형성되며, 상기 방법은:
상기 비트스트림을 수신하는 단계;
레지듀얼 샘플들의 각각의 블록에 대해, 결합된 인트라-예측 가설이 상기 비트스트림으로부터 표시 및/또는 추론되는지의 여부를 결정하는 단계;
상기 표시 및/또는 추론되면, 결합된 인트라-예측 가설이 표시 및/또는 추론되는 블록의 레지듀얼 샘플들의 각각의 블록에 대해,
상기 비트스트림으로부터 추출된 정보로부터 제1 인트라-예측 모드를 결정하는 단계;
적어도 다른 제2 인트라-예측 모드를 결정하거나 추론하는 단계;
제1 가설 예측 샘플을 형성하기 위해 적어도 하나의 참조 샘플에 상기 제1 인트라-예측 모드를 적용하는 단계;
제2 가설 예측 샘플을 형성하기 위해 상기 적어도 하나의 참조 샘플에 상기 적어도 하나의 제2 인트라-예측 모드를 적용하는 단계; 및
상기 블록에 대해 형성된 제1 및 제2 가설 예측 샘플들을 결합함으로써 결합된 가설 예측 블록을 형성하는 단계를 포함하는, 비트스트림을 디코딩하는 방법.
청구항 1에 있어서,
결합된 인트라-예측 가설이 표시 및/또는 추론되는 블록의 하나 이상의 레지듀얼 샘플 블록에 대해, 결합된 가설 인트라-예측 블록을 형성하는 방법은, 블록의 각각의 레지듀얼 샘플에 대해, 제1 인트라-예측 모드를 참조 샘플에 적용하는 단계, 제2 인트라-예측 모드를 상기 동일한 참조 샘플에 적용하는 단계, 및 결합된 가설 예측 샘플을 형성하기 위해 결과적인 제1 및 제2 가설 인트라-예측 샘플들을 결합하는 단계를 포함하며, 상기 방법은 결합된 가설 인트라-예측 블록을 형성하기 위해 상기 블록에 대해 획득된 결합된 가설 예측 샘플들을 결합하는 단계를 더 포함하는, 비트스트림을 디코딩하는 방법.
청구항 1에 있어서,
결합된 인트라-예측 가설이 표시 및/또는 추론되는 하나 이상의 레지듀얼 샘플 블록에 대해, 결합된 가설 인트라-예측 블록을 형성하는 방법은 복수의 제1 가설 예측 샘플을 형성하기 위해 상기 블록의 모든 참조 샘플에 제1 인트라-예측 모드를 적용하는 단계, 복수의 제2 가설 예측 샘플을 형성하기 위해 상기 블록의 모든 참조 샘플에 제2 인트라-예측 모드를 적용하는 단계, 및 결합된 가설 인트라-예측 블록을 형성하기 위해 상기 제1 및 제2 가설 예측 샘플들을 결합하는 단계를 포함하는, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
제2 인트라-예측 모드를 결정하는 단계는 제1 인트라-예측 모드에 기초하여 상기 제2 인트라-예측 모드를 추론하는 단계를 포함하는, 비트스트림을 디코딩하는 방법.
청구항 4에 있어서,
제2 인트라-예측 모드를 추론하는 단계는 제1 인트라-예측 모드가 평면 인트라-예측 모드가 아닌 경우 상기 제2 인트라-예측 모드가 평면 인트라-예측 모드라고 추론하는 단계를 포함하는, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
제2 인트라-예측 모드는 비트스트림 내의 표시자에 기초하여 결정되는, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
제1 인트라-예측 모드가 평면 인트라-예측 모드인지를 결정하는 단계; 및 제1 인트라-예측 모드가 평면 예측 모드가 아닌 경우에만 결합된 인트라-예측 가설을 추론하는 단계를 더 포함하는, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
결합된 가설 예측 블록을 형성하기 위해 제1 및 제2 결합된 가설 인트라-예측 샘플들을 결합하는 단계는 각각의 레지듀얼 샘플에 제1 및 제2 가설 예측 샘플들을 가산하는 단계를 포함하는, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
결합된 가설 예측 블록을 형성하기 위해 제1 및 제2 가설 인트라-예측 샘플들을 결합하는 단계는 제1 및 제2 결합된 가설 인트라-예측 샘플들의 가중 평균을 계산하는 단계를 포함하는, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
결합된 가설 예측 블록을 형성하기 위해 제1 및 제2 가설 인트라-예측 샘플들을 결합하는 단계는 결합된 가설 인트라-예측 블록을 형성하기 위해 이들을 결합하는 제1 및/또는 제2 가설 샘플들에 적용될 가중치를 결정하는 단계를 포함하는, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
제1 및 제2 가설 인트라-예측 샘플들을 결합하는 단계는 각각의 레지듀얼 샘플에 그 가중 조합을 가산하는 단계를 포함하는, 비트스트림을 디코딩하는 방법.
청구항 10 또는 11에 있어서,
제1 및/또는 제2 가설 인트라-예측 샘플들에 적용된 가중치는 비트스트림 내의 비트 값에 기초하여 결정되는, 비트스트림을 디코딩하는 방법.
청구항 10 내지 12 중 어느 한 항에 있어서,
제1 및/또는 제2 가설 인트라-예측 샘플들에 적용된 가중치는 룩업 테이블을 조회함으로써 획득되는, 비트스트림을 디코딩하는 방법.
청구항 10 내지 13 중 어느 한 항에 있어서,
제1 및/또는 제2 가설 인트라-예측 샘플들에 적용된 가중치는 이웃하는 블록으로부터 추출된 정보를 사용하여 적어도 부분적으로 추론되는, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
제1 인트라-예측 모드 및 제2 인트라-예측 모드 중 적어도 하나는 평면 인트라-예측 모드인, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
제1 인트라-예측 모드 및 제2 인트라-예측 모드 중 적어도 하나는 DC 인트라-예측 모드인, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
제1 인트라-예측 모드 및 제2 인트라-예측 모드 중 적어도 하나는 방향성 인트라-예측 모드인, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
비트스트림은 제2 방향성 인트라-예측 모드가 적용될지의 여부를 표시하는 하나 이상의 비트를 포함하는, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
비트스트림은 적용될 제1 인트라-예측 모드 및/또는 제2 인트라-예측 모드를 표시하는 하나 이상의 비트를 포함하는, 비트스트림을 디코딩하는 방법.
청구항 19에 있어서,
제1 인트라-예측 모드 및/또는 제2 인트라-예측 모드를 결정하는 단계는 룩업 테이블을 조회하는 단계를 포함하는, 비트스트림을 디코딩하는 방법.
선행 청구항 중 어느 한 항에 있어서,
결합된 인트라-예측 가설이 표시 및/또는 추론되는 블록에 대해, 제3 인트라-예측 모드를 결정하는 단계; 및 제3 가설 인트라-예측 샘플을 형성하기 위해 하나 이상의 참조 샘플에 상기 제3 인트라-예측 모드를 적용하고, 결합된 가설 예측 블록을 생성하기 위해, 블록에 대해 형성된 제1, 제2 및 제3 가설 예측 샘플들을 결합하는 단계를 더 포함하는, 비트스트림을 디코딩하는 방법.
프로그램 가능 장치가 선행 청구항 중 어느 한 항에 따른 방법을 구현하게 하도록 구성된 컴퓨터 프로그램 제품.
청구항 22의 컴퓨터 프로그램 제품을 실행하도록 구성된 장치.
청구항 1 내지 21 중 어느 한 항의 방법을 사용하여 비디오스트림 내의 이미지를 디코딩하는 방법.
비디오 비트스트림을 디코딩하는 방법으로서,
레지듀얼 샘플 블록을 나타내는 비트스트림, 및 예측 샘플들을 형성하는 데 사용된 인트라-예측 가설들을 나타내는 데이터를 수신하는 단계;
각각의 예측 샘플 블록을 형성하기 위해 상기 인트라-예측 가설들을 나타내는 상기 데이터를 사용하는 단계; 및
이미지들을 재구성하기 위해 상기 예측 샘플 블록을 각각의 레지듀얼 샘플 블록에 가산하는 단계를 포함하며,
레지듀얼 샘플들의 각각의 블록에 대해, 결합된 인트라-예측 가설이 상기 비트스트림으로부터 표시 및/또는 추론되는지의 여부를 결정하는 단계;
상기 표시 및/또는 추론되면, 결합된 인트라-예측 가설이 표시 및/또는 추론되는 블록의 레지듀얼 샘플들의 각각의 블록에 대해,
상기 비트스트림으로부터 추출된 정보로부터 제1 인트라-예측 모드를 결정하는 단계;
적어도 다른 제2 인트라-예측 모드를 결정하거나 추론하는 단계;
제1 가설 예측 샘플을 형성하기 위해 적어도 하나의 참조 샘플에 상기 제1 인트라-예측 모드를 적용하는 단계;
제2 가설 예측 샘플을 형성하기 위해 상기 적어도 하나의 참조 샘플에 상기 적어도 하나의 제2 인트라-예측 모드를 적용하는 단계; 및
상기 블록에 대해 형성된 제1 및 제2 가설 예측 샘플들을 결합함으로써 결합된 가설 예측 블록을 형성하는 단계를 포함하는 것을 특징으로 하는, 비디오 비트스트림을 디코딩하는 방법.
비디오 비트스트림을 인코딩하는 방법으로서,
인트라-예측 블록 및 재구성된 이미지 샘플들을 사용하여 예측 샘플 블록을 형성하는 단계;
레지듀얼 샘플 블록을 형성하기 위해 이미지 샘플 블록으로부터 예측 샘플 블록을 감산하는 단계; 및
각각의 예측 샘플을 형성하기 위해 사용된 인트라-예측의 블록을 나타내는 데이터 및 레지듀얼 샘플 블록을 나타내는 비트스트림을 형성하는 단계를 포함하며,
여기서, 상기 예측 샘플 블록 중 적어도 하나는:
제1 예측 샘플들 및 복수의 각각의 제1 레지듀얼 샘플들을 형성하기 위해 각각의 블록의 재구성된 이미지 샘플들에 제1 인트라-예측 모드를 적용하는 단계;
제2 예측 샘플들 및 복수의 각각의 제2 레지듀얼 샘플들을 형성하기 위해 각각의 블록의 재구성된 이미지 샘플들에 다른 제2 인트라-예측 모드를 적용하는 단계; 및
제1 및 제2 레지듀얼 샘플들을 결합하여 레지듀얼 샘플 블록을 형성하는 단계;에 의해 형성된 결합된 가설 예측 블록을 사용하여 형성되는, 비디오 비트스트림을 인코딩하는 방법.
첨부된 도면을 참조하여 실질적으로 여기에 설명 및/또는 예시된 방법.
첨부된 도면을 참조하여 실질적으로 여기에 설명 및/또는 예시된 장치.