KR20170044686A

KR20170044686A - 픽쳐 예측 방법 및 관련 장치

Info

Publication number: KR20170044686A
Application number: KR1020177007259A
Authority: KR
Inventors: 리 리; 허우창 리; 줘이 뤼; 시신 린
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드; 중국과학기술대학
Priority date: 2014-09-30
Filing date: 2015-04-15
Publication date: 2017-04-25
Also published as: JP6546277B2; JP7252282B2; CN112087629B; JP7123863B2; KR20190143496A; EP3836547A1; EP3197165A4; EP3197165A1; KR20190014590A; WO2016050051A1; JP2021182752A; US20210006818A1; JP2017535162A; CN112087630B; CN104539966B; BR122020019754B1; BR112017006018B1; CN107734335A; JP2019198092A; CN112087630A

Abstract

본 발명의 실시예는 픽쳐 예측 방법 및 관련 장치를 개시한다. 픽쳐 예측 방법은, 현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정하는 단계 - K는 1보다 큰 정수이고, K개의 화소 샘플은 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플을 포함하며, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자는 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득되고, 공간적으로 인접한 제1 픽쳐 블록은 제1 꼭지각 화소 샘플과 공간적으로 인접함 -; 및 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행하는 단계를 포함한다. 본 발명의 실시예의 해결수단은 비-병진 움직임 모델에 기반한 픽쳐 예측의 계산 복잡도를 감소시키는 데 도움이 된다.

Description

이미지 예측 방법 및 관련 장치{IMAGE PREDICTION METHOD AND RELEVENT DEVICE}

본 출원은 중국 특허청에 2014년 9월 30일에 출원된 중국 특허출원 제201410526608.8호("PICTURE PREDICTION METHOD AND RELATED APPARATUS")에 대해 우선권을 주장하는 바이며, 그 전체 내용이 원용에 의해 본 명세서에 포함된다.

본 발명은 픽쳐 처리 기술 분야에 관한 것으로, 상세하게는 픽쳐 예측 방법 및 관련 장치에 관한 것이다.

광전 획득 기술(photoelectric acquisition technology)이 발전하고 고화질 디지털 비디오에 대한 수요가 지속적으로 증가함에 따라, 비디오 데이터의 양이 점점 더 커지고 있다. 제한된 이종의 전송 대역폭 및 다양화된 비디오 애플리케이션으로 인해, 비디오 코딩 효율에 대한 요구사항이 지속적으로 강요되고 있다. 이러한 요구사항에 따라 고효율 비디오 코딩(high efficiency video coding, HEVC) 표준을 개발하는 작업이 시작되었다.

비디오 압축 코딩의 기본 원리는 가능한 한 중복(redundancy)을 제거하기 위해 공간 영역, 시간 영역, 및 코드워드 간의 상호 연관관계를 이용하는 것이다. 현재, 블록 기반의 하이브리드 비디오 코딩 프레임워크를 이용하여 예측(프레임 내 예측(intra-frame prediction) 및 프레임 간 예측(inter-frame prediction)을 포함하고 있음), 변환, 양자화, 엔트로피 코딩 등의 단계를 수행함으로써 비디오 압축 코딩을 구현하는 것이 일반적이다. 이러한 코딩 프레임워크는 실행 가능성(viability)이 높고, 따라서 HEVC가 블록 기반의 하이브리드 비디오 코딩 프레임워크를 여전히 사용하고 있다.

다양한 비디오 코딩/디코딩 해결수단에서는, 움직임 추정 또는 움직임 보상이 코딩/디코딩 효율에 영향을 미치는 핵심 기법이다. 다양한 종래의 비디오 코딩/디코딩 해결수단에서는, 객체의 움직임이 병진 움직임(translational motion)을 항상 만족하며, 전체 객체의 모든 부분의 움직임이 동일한 것으로 추정된다. 기본적으로, 모든 종래의 움직임 추정 또는 움직임 보상 알고리즘은 병진 움직임 모델에 기초하여 구축되는 블록 움직임 보상 알고리즘이다. 하지만, 실제 세계에서의 움직임은 다양하며, 스케일 조절 업/다운(scaling up/down), 회전, 또는 포물선 움직임과 같은 불규칙 움직임이 보편적(ubiquitous)이다. 1990년대 이후, 비디오 코딩 전문가들은 불규칙 움직임이 보편적이라는 것을 이해하였고, 비디오 코딩 효율을 개선하기 위해 불규칙 움직임 모델(아핀 움직임 모델, 회전 움직임 모델, 또는 스케일 조절 움직임 모델과 같은 비-병진 움직임 모델)을 도입하기를 희망했다. 하지만, 비-병진 움직임 모델에 기초하여 수행되는 종래의 픽쳐 예측의 계산 복잡도가 일반적으로 상당히 높다.

본 발명의 실시형태는 비-병진 움직임 모델에 기반한 픽쳐 예측의 계산 복잡도를 감소시키기 위한 픽쳐 예측 방법 및 관련 장치를 제공한다.

본 발명의 제1 양태는 픽쳐 예측 방법을 제공한다. 상기 픽쳐 예측 방법은,

현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자(motion vector predictor)를 결정하는 단계 - K는 1보다 큰 정수이고, 상기 K개의 화소 샘플은 상기 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플(vertex angle pixel sample)을 포함하며, 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자는 상기 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득되고, 상기 공간적으로 인접한 제1 픽쳐 블록은 상기 제1 꼭지각 화소 샘플과 공간적으로 인접함 -; 및

비-병진 움직임 모델(non-translational motion model) 및 상기 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여 상기 현재 픽쳐 블록에 대해 화소 값 예측을 수행하는 단계를 포함한다.

제1 양태를 참조하여, 제1 양태의 제1 가능한 구현 방식에서, 상기 K개의 화소 샘플은 상기 현재 픽쳐 블록 내의 좌측 상부 화소 샘플, 또는 우측 상부 화소 샘플, 또는 좌측 하부 화소 샘플 중 적어도 2개의 화소 샘플을 포함하고;

상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플은 상기 현재 픽쳐 블록의 좌측 상부 꼭지점에 있거나 또는 상기 현재 픽쳐 블록 내에 있으면서 상기 현재 픽쳐 블록의 좌측 상부 꼭지점을 포함하는 화소 블록이고, 상기 현재 픽쳐 블록 내의 상기 좌측 하부 화소 샘플은 상기 현재 픽쳐 블록의 좌측 하부 꼭지점에 있거나 또는 상기 현재 픽쳐 블록 내에 있으면서 상기 현재 픽쳐 블록의 좌측 하부 꼭지점을 포함하는 화소 블록이며, 상기 현재 픽쳐 블록 내의 상기 우측 상부 화소 샘플은 상기 현재 픽쳐 블록의 우측 상부 꼭지점에 있거나 또는 상기 현재 픽쳐 블록 내에 있으면서 상기 현재 픽쳐 블록의 우측 상부 꼭지점을 포함한다.

제1 양태의 제1 가능한 구현 방식을 참조하여, 제1 양태의 제2 가능한 구현 방식에서, 상기 공간적으로 인접한 제1 픽쳐 블록은 픽쳐 블록 X1, 픽쳐 블록 X2, 또는 픽쳐 블록 X3이고;

상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플의 움직임 벡터 예측자는 상기 픽쳐 블록 X1의 움직임 벡터에 기초하여 획득되고, 상기 픽쳐 블록 X1은 상기 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이며, 상기 픽쳐 블록 X1은 상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플과 공간적으로 인접하고;

상기 현재 픽쳐 블록 내의 상기 우측 상부 화소 샘플의 움직임 벡터 예측자는 상기 픽쳐 블록 X2의 움직임 벡터에 기초하여 획득되고, 상기 픽쳐 블록 X2는 상기 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이며, 상기 픽쳐 블록 X2는 상기 현재 픽쳐 블록 내의 상기 우측 상부 화소 샘플과 공간적으로 인접하고;

상기 현재 픽쳐 블록 내의 상기 좌측 하부 화소 샘플의 움직임 벡터 예측자는 상기 픽쳐 블록 X3의 움직임 벡터에 기초하여 획득되고, 상기 픽쳐 블록 X3은 상기 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이며, 상기 픽쳐 블록 X3은 상기 현재 픽쳐 블록 내의 상기 좌측 하부 화소 샘플과 공간적으로 인접한다.

제1 양태의 제2 가능한 구현 방식을 참조하여, 제1 양태의 제3 가능한 구현 방식에서,

상기 제1 꼭지각 화소 샘플은 상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플이고, 상기 공간적으로 인접한 제1 픽쳐 블록은 상기 픽쳐 블록 X1이며, 상기 픽쳐 블록 X1은 상기 현재 픽쳐 블록의 좌측 상부에서 공간적으로 인접한 픽쳐 블록이다.

제1 양태의 제3 가능한 구현 방식을 참조하여, 제1 양태의 제4 가능한 구현 방식에서,

상기 픽쳐 블록 X2는 상기 현재 픽쳐 블록의 위에서 공간적으로 인접한 픽쳐 블록이거나; 또는

상기 픽쳐 블록 X2의 움직임 벡터 절대값과 상기 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값이 상기 픽쳐 블록 X5의 움직임 벡터 절대값과 상기 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값보다 크거나 같고, 상기 픽쳐 블록 X5는 상기 우측 상부 꼭지점과 공간적으로 인접한 상기 현재 픽쳐 블록 중의 픽쳐 블록으로서, 상기 픽쳐 블록 X2를 제외한 공간적으로 인접한 나머지 적어도 일부의 픽쳐 블록 중 하나이다.

제1 양태의 제3 가능한 구현 방식 또는 제1 양태의 제4 가능한 구현 방식을 참조하여, 제1 양태의 제5 가능한 구현 방식에서,

상기 픽쳐 블록 X3은 상기 현재 픽쳐 블록의 좌측에서 공간적으로 인접한 픽쳐 블록이거나; 또는

상기 픽쳐 블록 X3의 움직임 벡터 절대값과 상기 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값이 상기 픽쳐 블록 X6의 움직임 벡터 절대값과 상기 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값보다 크거나 같고, 상기 픽쳐 블록 X6은 상기 좌측 하부 꼭지점과 공간적으로 인접한 상기 현재 픽쳐 블록 중의 픽쳐 블록으로서, 상기 픽쳐 블록 X3을 제외한 공간적으로 인접한 나머지 적어도 일부의 픽쳐 블록 중 하나이다.

제1 양태, 또는 제1 양태의 제1 내지 제5 가능한 구현 방식 중 어느 하나를 참조하여, 제1 양태의 제6 가능한 구현 방식에서, 상기 비-병진 움직임 모델 및 상기 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여 상기 현재 픽쳐 블록에 대해 화소 값 예측을 수행하는 단계는,

상기 K개의 화소 샘플 중 K1개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임(reference frame)이 참조 프레임 Y1이 아닌 경우, 상기 K개의 화소 샘플의 움직임 벡터를 획득하기 위해, 상기 K1개의 화소 샘플의 움직임 벡터 예측자를 상기 참조 프레임 Y1로 스케일 조절하고, K2개의 화소 샘플의 움직임 벡터 예측자 및 상기 K개의 화소 샘플의 움직임 벡터 예측자로서, 상기 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용하여 상기 K개의 화소 샘플에 대해 움직임 추정을 수행하며, 상기 비-병진 움직임 모델 및 상기 K개의 화소 샘플의 움직임 벡터를 이용하여 상기 현재 픽쳐 블록에 대해 화소 값 예측을 수행하는 단계를 포함한다. 여기서, 상기 K2개의 화소 샘플은 상기 K개의 화소 샘플 중에서 상기 K1개의 화소 샘플을 제외한 나머지 화소 샘플이고, K1 및 K2는 양의 정수이다.

제1 양태의 제6 가능한 구현 방식을 참조하여, 제1 양태의 제7 가능한 구현 방식에서, 화소 샘플 i는 상기 K개의 화소 샘플 중에서 상기 제1 꼭지각 화소 샘플을 제외한 임의의 화소 샘플이고, 상기 화소 샘플 i의 움직임 벡터 예측자에 대응하는 예측 방향이 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 예측 방향과 다르면 상기 화소 샘플 i의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스가 0이다.

제1 양태의 제7 가능한 구현 방식을 참조하여, 제1 양태의 제8 가능한 구현 방식에서, 상기 참조 프레임 Y1은 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이고, 상기 화소 샘플 i의 움직임 벡터 예측자가 상기 참조 프레임 Y1로 스케일 조절된다는 것은, 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스와 상기 화소 샘플 i에 대응하는 참조 프레임 인덱스가 서로 다르면 상기 화소 샘플 i의 움직임 벡터 예측자가 상기 참조 프레임 Y1로 스케일 조절된다는 것을 포함한다.

제1 양태의 제6 가능한 구현 방식 또는 제1 양태의 제7 가능한 구현 방식 또는 제1 양태의 제8 가능한 구현 방식을 참조하여, 제1 양태의 제9 가능한 구현 방식에서, 상기 K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K2개의 화소 샘플의 움직임 벡터 예측자 및 상기 K개의 화소 샘플의 움직임 벡터 예측자로서, 상기 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용하여 상기 K개의 화소 샘플에 대해 움직임 추정을 수행하는 것은,

상기 K개의 화소 샘플의 움직임 벡터를 획득하기 위해, 상기 K2개의 화소 샘플의 움직임 벡터 예측자 및 상기 K개의 화소 샘플의 움직임 벡터 예측자로서, 상기 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용함으로써 반복 검색 알고리즘에 기초하여 상기 K개의 화소 샘플에 대해 움직임 추정을 수행하는 것을 포함한다.

제1 양태, 또는 제1 양태의 제1 내지 제9 가능한 구현 방식 중 어느 하나를 참조하여, 제1 양태의 제10 가능한 구현 방식에서, 상기 비-병진 움직임 모델은 아핀 변환 모델(affine transformation model), 또는 포물선 움직임 모델, 또는 회전 움직임 모델, 또는 원근 움직임 모델(perspective motion model), 또는 전단 움직임 모델(shearing motion model), 또는 스케일러블 움직임 모델(scalable motion model) 중 하나이다.

제1 양태, 또는 제1 양태의 제1 내지 제10 가능한 구현 방식 중 어느 하나를 참조하여, 제1 양태의 제11 가능한 구현 방식에서,

상기 픽쳐 예측 방법은 비디오 코딩 프로세스에 적용되거나, 또는 상기 픽쳐 예측 방법은 비디오 디코딩 프로세스에 적용된다.

본 발명의 제1 양태는 픽쳐 예측 장치를 제공한다. 상기 픽쳐 예측 장치는,

현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정하도록 구성된 결정 유닛 - K는 1보다 큰 정수이고, 상기 K개의 화소 샘플은 상기 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플을 포함하며, 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자는 상기 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득되고, 상기 공간적으로 인접한 제1 픽쳐 블록은 상기 제1 꼭지각 화소 샘플과 공간적으로 인접함 -; 및

비-병진 움직임 모델 및 상기 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여 상기 현재 픽쳐 블록에 대해 화소 값 예측을 수행하도록 구성된 예측 유닛을 포함한다.

상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플은 상기 현재 픽쳐 블록의 좌측 상부 꼭지점에 있거나 또는 상기 현재 픽쳐 블록 내에 있으면서 상기 현재 픽쳐 블록의 좌측 상부 꼭지점을 포함하는 화소 블록이고, 상기 현재 픽쳐 블록 내의 상기 좌측 하부 화소 샘플은 상기 현재 픽쳐 블록의 좌측 하부 꼭지점에 있거나 또는 상기 현재 픽쳐 블록 내에 있으면서 상기 현재 픽쳐 블록의 좌측 하부 꼭지점을 포함하는 화소 블록이며, 상기 현재 픽쳐 블록 내의 상기 우측 상부 화소 샘플은 상기 현재 픽쳐 블록의 우측 상부 꼭지점에 있거나 또는 상기 현재 픽쳐 블록 내에 있으면서 상기 현재 픽쳐 블록의 우측 상부 꼭지점을 포함하는 화소 블록이다.

제1 양태, 또는 제1 양태의 제1 내지 제5 가능한 구현 방식 중 어느 하나를 참조하여, 제1 양태의 제6 가능한 구현 방식에서, 상기 예측 유닛은 구체적으로, 상기 K개의 화소 샘플 중 K1개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이 아닌 경우, 상기 K개의 화소 샘플의 움직임 벡터를 획득하기 위해, 상기 K1개의 화소 샘플의 움직임 벡터 예측자를 상기 참조 프레임 Y1로 스케일 조절하고, K2개의 화소 샘플의 움직임 벡터 예측자 및 상기 K개의 화소 샘플의 움직임 벡터 예측자로서, 상기 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용하여 상기 K개의 화소 샘플에 대해 움직임 추정을 수행하며, 상기 비-병진 움직임 모델 및 상기 K개의 화소 샘플의 움직임 벡터를 이용하여 상기 현재 픽쳐 블록에 대해 화소 값 예측을 수행하도록 구성된다. 여기서, 상기 K2개의 화소 샘플은 상기 K개의 화소 샘플 중에서 상기 K1개의 화소 샘플을 제외한 나머지 화소 샘플이며, K1 및 K2는 양의 정수이다.

제1 양태의 제6 가능한 구현 방식을 참조하여, 제1 양태의 제7 가능한 구현 방식에서, 상기 참조 프레임 Y1은 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이고, 상기 예측 유닛은 구체적으로, 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스와 상기 화소 샘플 i에 대응하는 참조 프레임 인덱스가 서로 다르면 상기 화소 샘플 i의 움직임 벡터 예측자를 상기 참조 프레임 Y1로 스케일링하도록 구성된다.

제1 양태의 제6 가능한 구현 방식 또는 제1 양태의 제7 가능한 구현 방식 또는 제1 양태의 제8 가능한 구현 방식을 참조하여, 제1 양태의 제9 가능한 구현 방식에서, 상기 비-병진 움직임 모델은 아핀 변환 모델, 또는 포물선 움직임 모델, 또는 회전 움직임 모델, 또는 원근 움직임 모델, 또는 전단 움직임 모델, 또는 스케일러블 움직임 모델 중 하나이다.

제1 양태, 또는 제1 양태의 제1 내지 제9 가능한 구현 방식 중 어느 하나를 참조하여, 제1 양태의 제10 가능한 구현 방식에서, 상기 픽쳐 예측 장치는 비디오 코딩 장치에 적용되거나, 또는 상기 픽쳐 예측 장치는 비디오 디코딩 장치에 적용된다.

본 발명의 실시형태의 해결수단에서, 현재 픽쳐 블록에 대해 화소 값 예측이 수행되는 동안 결정되는 K개의 화소 샘플의 움직임 벡터 예측자가 비-병진 움직임 모델에 기초하여 참조된다는 것을 알 수 있을 것이다. 상기 K개의 화소 샘플은 상기 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플을 포함한다. 상기 K개의 화소 샘플의 움직임 벡터 예측자가 예측을 위해 직접 사용되고, 상기 K개의 화소 샘플 내의 제1 꼭지각 화소 샘플의 움직임 벡터 예측자가 상기 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득되며, 상기 K개의 화소 샘플의 움직임 벡터 예측자를 위한 단 하나의 선택적인 경우만이 존재한다. 따라서, 종래의 기술에서 사용되는, K개의 화소 샘플의 움직임 벡터 예측자가 상기 K개의 화소 샘플의 다수의 선택적인 움직임 벡터 예측자 세트로부터 대규모 계산에 의하여 선택되는 메커니즘이 포기된다. 이렇게 함으로써, 비트스트림 내의 움직임 정보 예측자의 선택 정보를 전달하는 것을 방지하는 데 도움이 되고, 코딩 효율을 높이는 데 도움이 되며, 또한 비-병진 움직임 모델에 기반하는 픽쳐 예측의 계산 복잡도를 감소시키는 데 도움이 된다.

도 1a는 본 발명의 일 실시형태에 따른 프레임 내 예측에 대응하는 예측 단위 분할 방식의 개략도이다.
도 1b는 본 발명의 일 실시형태에 따른 프레임 간 예측에 대응하는 여러 예측 단위 분할 방식의 개략도이다.
도 1c는 본 발명의 일 실시형태에 따른 픽쳐 예측 방법의 개략적인 흐름도이다.
도 2는 본 발명의 일 실시형태에 따른 현재 픽쳐 블록의 가능한 인접 참조 블록의 개략도이다.
도 3a는 본 발명의 일 실시형태에 따른 다른 픽쳐 예측 방법의 개략적인 흐름도이다.
도 3b는 본 발명의 일 실시형태에 따른 현재 픽쳐 블록의 가능한 인접 참조 블록의 다른 개략도이다.
도 3c는 본 발명의 일 실시형태에 따른 현재 픽쳐 블록의 참조 프레임의 개략도이다.
도 3d는 본 발명의 일 실시형태에 따른 현재 픽쳐 블록의 개략도이다.
도 3e는 본 발명의 일 실시형태에 따른 픽쳐 블록의 아핀 변환의 개략도이다.
도 4a는 본 발명의 일 실시형태에 따른 또 다른 픽쳐 예측 방법의 개략적인 흐름도이다.
도 4b는 본 발명의 일 실시형태에 따른 현재 픽쳐 블록의 인접한 참조 블록의 또 다른 개략도이다.
도 5는 본 발명의 일 실시형태에 따른 또 다른 픽쳐 예측 방법의 개략적인 흐름도이다.
도 6은 본 발명의 일 실시형태에 따른 또 다른 픽쳐 예측 방법의 개략적인 흐름도이다.
도 7은 본 발명의 일 실시형태에 따른 비디오 디코딩 방법의 개략적인 흐름도이다.
도 8은 본 발명의 일 실시형태에 따른 다른 픽쳐 예측 장치의 개략도이다.
도 9는 본 발명의 일 실시형태에 따른 또 다른 픽쳐 예측 장치의 개략도이다.
도 10은 본 발명의 일 실시형태에 따른 또 다른 픽쳐 예측 장치의 개략도이다.

이하, 당업자가 본 발명의 과제 해결수단을 더 잘 이해할 수 있도록, 본 발명의 실시형태의 첨부 도면을 참조하여 본 발명의 실시형태의 과제 해결수단에 대해 명확하고 완전하게 설명한다. 명백히, 설명되는 실시형태는 본 발명의 실시형태의 일부일 뿐 전부가 아니다. 당업자가 창조적 노력 없이 본 발명의 실시형태에 기초하여 획득하는 모든 다른 실시형태는 본 발명의 보호 범위 내에 있게 된다.

이하, 상세한 설명을 별도로 제공한다.

본 발명의 명세서, 특허 청구 범위, 및 첨부 도면에서, "제1", "제2", "제3", "제4" 등의 용어는 서로 다른 대상을 구별하기 위한 것으로, 특정한 순서를 나타내지는 않는다. 또한, "포함하다", "가지고 있다" 및 이들의 임의의 다른 변형은 비배타적으로 포함하는 것을 포괄하도록 의도된다. 예를 들어, 일련의 단계 또는 유닛을 포함하는 프로세스, 방법, 시스템, 제품, 또는 장치는 열거된 단계 또는 유닛에 제한되지 않고, 열거되지 않은 단계 또는 유닛을 선택적으로 더 포함하거나, 또는 프로세스, 방법, 제품, 또는 장치의 다른 고유한 단계 또는 유닛을 선택적으로 더 포함한다.

이하, 본 발명의 실시형태에 포함될 수 있는 몇몇 개념에 대해 먼저 설명한다.

대부분의 코딩 프레임워크에서는, 비디오 시퀀스가 일련의 픽쳐(picture)를 포함하고, 픽쳐는 슬라이스(slice)로 추가적으로 분할되고, 슬라이스는 블록(block)으로 추가적으로 분할된다. 비디오 코딩은, 블록을 단위로서 이용하여 픽쳐의 좌측 상부 모서리 위치에서 시작해서 좌측에서 우측으로 또한 최상부 행에서 최하부 행까지 코딩 처리를 수행하는 것이다. 일부 새로운 비디오 코딩 표준에서는, 이러한 블록의 개념이 더 확장되었다. H.264 표준에서는 매크로블록(macro block, MB)이 있고, MB는 예측 코딩에 사용될 수 있는 복수의 예측 블록(partition)으로 더 분할될 수 있다. HEVC 표준에서는, 코딩 단위(coding unit, CU), 예측 단위(prediction unit, PU), 및 변환 단위(transform unit, TU)과 같은 기본적인 개념이 사용되고, 복수의 단위가 기능에 따라 분류되며, 설명을 위해 완전히 새로운 트리 기반 구조가 사용된다. 예를 들어, 쿼드트리(quadtree) 구조를 형성하기 위해, CU가 쿼드트리에 따라 더 작은 CU로 분할될 수 있고, 더 작은 CU는 추가적으로 분할될 수 있다. PU 및 TU도 또한 유사한 트리 구조를 가지고 있다. 유닛이 CU, PU, 또는 TU인지 여부에 관계없이, 이러한 유닛은 본질적으로 블록의 개념에 속해 있다. CU는 매크로블록(macroblock, MB) 또는 코딩 블록과 유사하며, 코딩 픽쳐를 분할하고 코딩하기 위한 기본 단위이다. PU는 예측 블록에 대응할 수 있고, 예측 코딩을 위한 기본 단위이다. CU는 분할 모드에 따라 복수의 PU로 추가적으로 분할된다. TU는 변환 블록에 대응할 수 있고, 예측 잔차(prediction residual)를 변환하기 위한 기본 단위이다. 고효율 비디오 코딩(high efficiency video coding, HEVC) 표준에서, CU, PU, 및 TU는 집합적으로 코딩 트리 블록(coding tree block, CTB) 등으로 지칭될 수 있다.

HEVC 표준에서는, 코딩 단위의 크기가 4개의 레벨, 즉 64×64, 32×32, 16×16, 및 8×8을 포함할 수 있다. 코딩 단위는 각각의 레벨에서 프레임 내 예측 및 프레임 간 예측에 따라 서로 다른 크기의 예측 단위로 분할될 수 있다. 예를 들어, 도 1a 및 도 1b에 도시된 바와 같이, 도 1a는 프레임 내 예측에 대응하는 예측 단위 분할 방식의 예를 도시하고 있다. 도 1b는 프레임 간 예측에 대응하는 다수의 예측 단위 분할 방식의 예를 도시하고 있다.

비디오 코딩 기술이 발전하고 진화하는 동안, 비디오 코딩 전문가들은 코딩 효율을 향상시키기 위해 인접한 코딩/디코딩 블록 간의 시간적 및 공간적 상호 연관관계를 이용하는 다양한 방법을 파악해 왔다. H264/AVC(advanced video coding, AVC) 표준에서, 스킵 모드(skip mode) 및 다이렉트 모드(direct mode)는 코딩 효율을 향상시키기 위한 효과적인 툴이 된다. 비트 레이트가 낮은 경우에 사용되는 2가지 코딩 모드의 블록이 전체 코딩 시퀀스의 절반 이상을 차지할 수 있다. 스킵 모드가 사용되는 경우에, 현재 픽쳐 블록의 움직임 벡터가 단지 스킵 모드 플래그를 비트 스트림에 추가함으로써 근처의 움직임 벡터를 이용하여 도출될 수 있고, 참조 블록의 값이 현재 픽쳐 블록의 재구성된 값으로서 움직임 벡터에 따라 직접 복사된다. 또한, 다이렉트 모드가 사용되는 경우에, 인코더가 인접한 움직임 벡터를 이용하여 현재 픽쳐 블록의 움직임 벡터를 도출하고, 현재 픽쳐 블록의 예측자로서의 움직임 벡터에 따라 참조 블록의 값을 직접 복사하며, 인코더에서 예측자를 이용하여 현재 픽쳐 블록에 대해 예측 코딩을 수행할 수 있다. 고효율 비디오 코딩(high efficiency video coding, HEVC) 표준에서, 비디오 코딩 효율을 추가로 향상시키기 위해 일부 새로운 코딩 툴이 도입되었다. 병합 코딩(병합) 모드 및 고급 움직임 벡터 예측(advanced motion vector prediction, AVMP) 모드는 2가지 중요한 프레임 간 예측 툴이다. 병합 코딩(병합) 중에, 후보 움직임 정보 세트가 현재 코딩 블록의 인접한 코딩된 블록의 움직임 정보(예측 방향, 움직임 벡터, 및 참조 프레임 인덱스를 포함)를 이용하여 구성되고, 비교에 의하여 코딩 효율이 가장 높을 수 있는 후보 움직임 정보가 현재 코딩 블록의 움직임 정보로서 선택될 수 있으며, 현재 코딩 블록의 예측자가 참조 프레임에서 발견되고, 예측 코딩이 현재 코딩 블록에 대해 수행되며, 움직임 정보가 선택되는 인접한 코딩된 블록을 나타내는 인덱스 값이 비트스트림에 기입된다. 고급 움직임 벡터 예측(AVMP) 모드가 사용되는 경우, 인접한 코딩된 블록의 움직임 벡터가 현재 코딩 블록의 움직임 벡터 예측자로서 사용되고, 코딩 효율이 가장 높을 수 있게 하는 움직임 벡터가 현재 코딩 블록의 움직임 벡터를 예측하기 위해 선택될 수 있으며, 선택된 인접한 움직임 벡터를 나타내는 인덱스 값이 비디오 비트스트림에 기입될 수 있다.

이하, 본 발명의 실시형태의 과제 해결수단에 대해 추가적으로 설명한다.

다음, 본 발명의 실시형태에서 제공되는 픽쳐 예측 방법에 대해 설명한다. 본 발명의 실시형태에서 제공되는 픽쳐 예측 방법은 비디오 코딩 장치 또는 비디오 디코딩 장치에 의해 실행된다. 비디오 코딩 장치 또는 비디오 디코딩 장치는 비디오를 출력하거나 저장할 필요가 있는 임의의 장치, 예를 들어 랩탑 컴퓨터, 태블릿 컴퓨터, 개인용 컴퓨터, 휴대폰, 또는 비디오 서버일 수 있다.

본 발명에서의 픽쳐 예측 방법의 실시형태에서, 픽쳐 예측 방법은, 현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자(motion vector predictor, MVP)를 결정하는 단계 - K는 1보다 큰 정수이고, K개의 화소 샘플은 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플을 포함하며, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자는 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득되고, 공간적으로 인접한 제1 픽쳐 블록은 제1 꼭지각 화소 샘플과 공간적으로 인접함 -; 및 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행하는 단계를 포함한다.

도 1c을 참조하면, 도 1c는 본 발명의 일 실시형태에 따른 픽쳐 예측 방법의 개략적인 흐름도이다. 도 1c의 예에 도시된 바와 같이, 본 발명의 본 실시형태에서 제공되는 픽쳐 예측 방법은 다음의 단계를 포함할 수 있다.

101. 현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정한다.

K는 1보다 큰 정수이고, K개의 화소 샘플은 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플을 포함하며, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자는 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득된다. 공간적으로 인접한 제1 픽쳐 블록은 제1 꼭지각 화소 샘플과 공간적으로 인접한다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자가 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득된다. 구체적으로, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자는 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터와 동일할 수 있거나(즉, 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터가 제1 꼭지각 화소 샘플의 움직임 벡터 예측자로서 사용되거나); 또는 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 대해 사전 결정된 병진 움직임을 수행하여 획득되는 움직임 벡터 예측자가 제1 꼭지각 화소 샘플의 움직임 벡터 예측자로서 사용될 수 있다.

102. 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행한다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 비-병진 움직임 모델은 아핀 변환 모델(affine transformation model), 또는 포물선 움직임 모델, 또는 회전 움직임 모델, 또는 원근 움직임 모델(perspective motion model), 또는 전단 움직임 모델(shearing motion model), 또는 스케일러블 움직임 모델(scalable motion model) 중 하나이다. 또한, 비-병진 움직임 모델도 전술한 특정 예에 한정되지 않는다고 이해할 수 있을 것이다.

본 실시형태의 과제 해결수단에서, 현재 픽쳐 블록에 대해 화소 값 예측이 수행되는 동안, K개의 화소 샘플의 결정되는 움직임 벡터 예측자가 비-병진 움직임 모델에 기초하여 참조된다는 것을 알 수 있을 것이다. K개의 화소 샘플은 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플을 포함한다. K개의 화소 샘플의 움직임 벡터 예측자가 예측을 위해 직접 사용되고, K개의 화소 샘플 내의 제1 꼭지각 화소 샘플의 움직임 벡터 예측자가 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득되며, K개의 화소 샘플의 움직임 벡터 예측자를 위한 단 하나의 선택적인 경우만이 존재한다. 따라서, 종래의 기술에서 사용되는, K개의 화소 샘플의 움직임 벡터 예측자가 K개의 화소 샘플의 다수의 선택적인 움직임 벡터 예측자 세트로부터 대규모 계산에 의하여 선택되는 메커니즘이 포기된다. 이렇게 함으로써, 비트스트림 내의 움직임 정보 예측자의 선택 정보를 전달하는 것을 방지하는 데 도움이 되고, 코딩 효율을 높이는 데 도움이 되며, 또한 비-병진 움직임 모델에 기반하는 픽쳐 예측의 계산 복잡도를 감소시키는 데 도움이 된다.

또한, 공간적으로 인접한 제1 픽쳐 블록은 제1 꼭지각 화소 샘플과 공간적으로 인접하며, 현재 픽쳐 블록과 공간적으로 인접한 제1 픽쳐 블록이 사전 결정된다(즉, 현재 픽쳐 블록과 공간적으로 인접한 제1 픽쳐 블록이 미리 협의되거나 설정된다고 간주될 수 있다). 이렇게 함으로써, K개의 화소 샘플의 움직임 벡터 예측자를 빠르게 결정하는 데 도움이 된다. 또한, 픽쳐 블록 간의 공간적 상관관계를 최대한 이용하여 중복(redundancy)을 제거하므로, 코딩 효율을 향상시키는 데 도움이 된다.

K개의 화소 샘플을 선택하는 다양한 방식이 있을 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, K개의 화소 샘플은 현재 픽쳐 블록 내의 좌측 상부 화소 샘플, 우측 상부 화소 샘플, 좌측 하부 화소 샘플, 또는 우측 하부 화소 샘플 중 적어도 2개의 화소 샘플을 포함한다.

화소 샘플이 화소 블록이면, 화소 블록의 크기는 예를 들어, 2×2, 1×2, 4×2, 4×4이거나, 또는 다른 크기이다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 현재 픽쳐 블록 내의 좌측 상부 화소 샘플은 현재 픽쳐 블록의 좌측 상부 꼭지점에 있거나 또는 현재 픽쳐 블록 내에 있으면서 현재 픽쳐 블록의 좌측 상부 꼭지점을 포함하는 화소 블록이다. 현재 픽쳐 블록 내의 좌측 하부 화소 샘플은 현재 픽쳐 블록의 좌측 하부 꼭지점에 있거나 또는 현재 픽쳐 블록 내에 있으면서 현재 픽쳐 블록의 좌측 하부 꼭지점을 포함하는 화소 블록이다. 현재 픽쳐 블록 내의 우측 상부 화소 샘플은 현재 픽쳐 블록의 우측 상부 꼭지점에 있거나 또는 현재 픽쳐 블록 내에 있으면서 현재 픽쳐 블록의 우측 상부 꼭지점을 포함하는 화소 블록이다. 현재 픽쳐 블록 내의 우측 하부 화소 샘플은 현재 픽쳐 블록의 우측 하부 꼭지점에 있거나 또는 현재 픽쳐 블록 내에 있으면서 현재 픽쳐 블록의 우측 하부 꼭지점을 포함하는 화소 블록이다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, K개의 화소 샘플은 현재 픽쳐 블록 내의 중심 화소 샘플을 더 포함할 수 있다. 현재 픽쳐 블록 내의 중심 화소 샘플은 현재 픽쳐 블록 내의 중심 화소이거나 또는 현재 픽쳐 블록 내에 있으면서 현재 픽쳐 블록 내의 중심 화소를 포함하는 화소 블록일 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 공간적으로 인접한 제1 픽쳐 블록은 픽쳐 블록 X1, 픽쳐 블록 X2, 픽쳐 블록 X3, 또는 픽쳐 블록 X4일 수 있다.

현재 픽쳐 블록 내의 좌측 상부 화소 샘플의 움직임 벡터 예측자는 픽쳐 블록 X1의 움직임 벡터에 기초하여 획득될 수 있고, 픽쳐 블록 X1은 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이며, 픽쳐 블록 X1은 현재 픽쳐 블록 내의 좌측 상부 화소 샘플과 공간적으로 인접한다.

현재 픽쳐 블록 내의 우측 상부 화소 샘플의 움직임 벡터 예측자는 픽쳐 블록 X2의 움직임 벡터에 기초하여 획득될 수 있고, 픽쳐 블록 X2는 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이며, 픽쳐 블록 X2는 현재 픽쳐 블록 내의 우측 상부 화소 샘플과 공간적으로 인접한다.

현재 픽쳐 블록 내의 좌측 하부 화소 샘플의 움직임 벡터 예측자는 픽쳐 블록 X3의 움직임 벡터에 기초하여 획득될 수 있고, 픽쳐 블록 X3은 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이며, 픽쳐 블록 X3은 현재 픽쳐 블록 내의 좌측 하부 화소 샘플과 공간적으로 인접한다.

현재 픽쳐 블록 내의 우측 하부 화소 샘플의 움직임 벡터 예측자는 픽쳐 블록 X4의 움직임 벡터에 기초하여 획득될 수 있고, 픽쳐 블록 X4는 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이고, 픽쳐 블록 X4는 현재 픽쳐 블록 내의 우측 하부 화소 샘플 공간적으로 인접한다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 제1 꼭지각 화소 샘플은 현재 픽쳐 블록 내의 좌측 상부 화소 샘플일 수 있고, 공간적으로 인접한 제1 픽쳐 블록은 픽쳐 블록 X1일 수 있다. 픽쳐 블록 X1은 현재 픽쳐 블록의 좌측 상부에서 공간적으로 인접한 픽쳐 블록이거나, 또는 픽쳐 블록 X1은 현재 픽쳐 블록의 좌측에서 공간적으로 인접한 픽쳐 블록이거나, 또는 픽쳐 블록 X1은 현재 픽쳐 블록의 위에서 공간적으로 인접한 픽쳐 블록이다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 픽쳐 블록 X2는 현재 픽쳐 블록의 위에서 공간적으로 인접한 픽쳐 블록이거나, 또는 픽쳐 블록 X2는 현재 픽쳐 블록의 우측 상부에서 공간적으로 인접한 픽쳐 블록이거나, 또는 픽쳐 블록 X2는 현재 픽쳐 블록의 우측에서 공간적으로 인접한 픽쳐 블록이다. 또한 선택적으로, 픽쳐 블록 X2의 움직임 벡터 절대값과 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값이 픽쳐 블록 X5의 움직임 벡터 절대값과 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값보다 크거나 같고, 픽쳐 블록 X5는 우측 상부 꼭지점과 공간적으로 인접한 현재 픽쳐 블록 중의 픽쳐 블록으로서, 픽쳐 블록 X2를 제외한 공간적으로 인접한 나머지 적어도 일부의 픽쳐 블록 중 하나이다. 즉, 픽쳐 블록 X2의 위치가 특정 정책에 기초하여 결정될 수 있거나, 또는 픽쳐 블록 X2의 위치가 직접 합의될 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 픽쳐 블록 X3은 현재 픽쳐 블록의 좌측에서 공간적으로 인접한 픽쳐 블록이거나, 또는 픽쳐 블록 X3은 현재 픽쳐 블록의 좌측 하부에서 공간적으로 인접한 픽쳐 블록이거나, 또는 픽쳐 블록 X3은 현재 픽쳐 블록의 아래에서 공간적으로 인접한 픽쳐 블록이다. 또한 선택적으로, 픽쳐 블록 X3의 움직임 벡터 절대값과 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값이 픽쳐 블록 X6의 움직임 벡터 절대값과 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값보다 크거나 같고, 픽쳐 블록 X6은 좌측 하부 꼭지점과 공간적으로 인접한 현재 픽쳐 블록 중의 픽쳐 블록으로서, 픽쳐 블록 X3을 제외한 공간적으로 인접한 나머지 적어도 일부의 픽쳐 블록 중 하나이다. 즉, 픽쳐 블록 X3의 위치가 특정 정책에 기초하여 결정될 수 있거나, 또는 픽쳐 블록 X3의 위치가 직접 합의될 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 픽쳐 블록 X4는 현재 픽쳐 블록의 우측에서 공간적으로 인접한 픽쳐 블록이거나, 또는 픽쳐 블록 X4는 현재 픽쳐 블록의 우측 하부에서 공간적으로 인접한 픽쳐 블록이거나, 또는 픽쳐 블록 X4는 현재 픽쳐 블록의 아래에서 공간적으로 인접한 픽쳐 블록이다. 또한 선택적으로, 픽쳐 블록 X4의 움직임 벡터 절대값과 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값이 픽쳐 블록 X7의 움직임 벡터 절대값과 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값보다 크거나 같고, 픽쳐 블록 X7은 좌측 하부 꼭지점과 공간적으로 인접한 현재 픽쳐 블록 중의 픽쳐 블록으로서, 픽쳐 블록 X4를 제외한 공간적으로 인접한 나머지 적어도 일부의 픽쳐 블록 중 하나이다.

도 2를 참조하면, 도 2는 픽쳐 블록 X1, 픽쳐 블록 X2, 픽쳐 블록 X3, 및 픽쳐 블록 X4의 몇몇 가능한 위치의 예를 나타낸다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여, 현재 픽쳐 블록에 대해 화소 값 예측을 수행하는 단계는 구체적으로, K개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이면, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K개의 화소 샘플의 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행하고, 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터를 이용하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행하는 단계를 포함할 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여, 현재 픽쳐 블록에 대해 화소 값 예측을 수행하는 단계는 구체적으로, K개의 화소 샘플 중 K1개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임(reference frame)이 참조 프레임 Y1이 아닌 경우, K1개의 화소 샘플의 움직임 벡터 예측자를 참조 프레임 Y1로 스케일 조절하고; K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K2개의 화소 샘플의 움직임 벡터 예측자 및 K개의 화소 샘플의 움직임 벡터 예측자로서, 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행하며; 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터를 이용하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행하는 단계를 포함할 수 있다. 여기서, K2개의 화소 샘플은 K개의 화소 샘플 중에서 K1개의 화소 샘플을 제외한 나머지 화소 샘플이고, K1 및 K2는 양의 정수이다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 참조 프레임 Y1은 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임일 수 있거나, 또는 참조 프레임 Y1은 K개의 화소 샘플 내의 다른 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임일 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 화소 샘플 i는 K개의 화소 샘플 중에서 제1 꼭지각 화소 샘플을 제외한 임의의 화소 샘플이고, 화소 샘플 i의 움직임 벡터 예측자에 대응하는 예측 방향이 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 예측 방향과 다르면 화소 샘플 i의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스가 0이다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 화소 샘플 i의 움직임 벡터 예측자가 참조 프레임 Y1로 스케일 조절된다는 것은, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스와 화소 샘플 i에 대응하는 참조 프레임 인덱스가 서로 다르면 화소 샘플 i의 움직임 벡터 예측자가 참조 프레임 Y1로 스케일 조절된다는 것을 포함할 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K2개의 화소 샘플의 움직임 벡터 예측자 및 K개의 화소 샘플의 움직임 벡터 예측자로서, 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행하는 것은, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K2개의 화소 샘플의 움직임 벡터 예측자 및 K개의 화소 샘플의 움직임 벡터 예측자로서, 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용함으로써 반복 검색 알고리즘(또는 다른 타입의 움직임 추정 알고리즘)에 기초하여 K개의 화소 샘플에 대해 움직임 추정을 수행하는 것을 포함할 수 있다.

물론, 몇몇 다른 가능한 적용 시나리오에서, K개의 화소 샘플에 대해 움직임 추정을 수행하는 단계가 생략될 수도 있다. 심지어, 정규화(normalization) 단계도 생략될 수 있다. 즉, K개의 화소 샘플 내의 K1개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이 아닌 경우, K1개의 화소 샘플의 움직임 벡터 예측자가 참조 프레임 Y1로 스케일 조절되는 단계가 생략될 수 있다.

본 실시형태에서 제공되는 전술한 픽쳐 예측 방법 중 하나는 비디오 코딩 프로세스 또는 비디오 디코딩 프로세스에 적용될 수 있다는 것을 이해할 수 있을 것이다.

이하, 본 발명의 실시형태에서의 전술한 해결수단을 더 잘 이해하고 구현하기 위해, 더 구체적인 적용 시나리오를 참조하여 추가적으로 설명한다.

도 3a를 참조하면, 도 3a는 본 발명의 다른 실시형태에 따른 다른 픽쳐 예측 방법의 개략적인 흐름도이다. 도 3a의 예에서 도시된 바와 같이, 본 발명의 다른 실시형태에서 제공되는 다른 픽쳐 예측 방법은 다음의 단계를 포함할 수 있다.

301. 현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정한다.

본 실시형태의 예에서, K=3이다.

본 실시형태에서, K개의 화소 샘플은 현재 픽쳐 블록의 좌측 상부 꼭지점, 우측 상부 꼭지점, 및 좌측 하부 꼭지점을 포함한다.

도 3b의 예에 도시된 바와 같이, 현재 픽쳐 블록의 좌측 상부 꼭지점의 움직임 벡터 예측자는 현재 픽쳐 블록의 좌측 상부에서 인접한 픽쳐 블록 A의 움직임 벡터와 같다. 현재 픽쳐 블록의 우측 상부 꼭지점의 움직임 벡터 예측자는 현재 픽쳐 블록의 위에서 인접한 픽쳐 블록 B의 움직임 벡터와 같거나, 또는 현재 픽쳐 블록의 우측 상부 꼭지점의 움직임 벡터 예측자는 현재 픽쳐 블록의 우측 상부에서 인접한 픽쳐 블록의 움직임 벡터 C와 같을 수 있다. 현재 픽쳐 블록의 좌측 하부 꼭지점의 움직임 벡터 예측자는 현재 픽쳐 블록의 좌측 하부에서 인접한 픽쳐 블록의 움직임 벡터 E와 같을 수 있거나, 또는 현재 픽쳐 블록의 좌측 하부 꼭지점의 움직임 벡터 예측자는 현재 픽쳐 블록의 좌측에서 인접한 픽쳐 블록의 움직임 벡터 D와 같을 수 있다.

예를 들어, 우측 상부 꼭지점 및 현재 픽쳐 블록의 좌측 하부 꼭지점의 움직임 벡터 예측자는 다음의 수식에 기초하여 결정될 수 있다:

(수식 1)

(수식 2)

전술한 수식 (1) 및 수식 (2)에서,

는 픽쳐 블록 A의 움직임 벡터(motion vector, MV)를 나타낸다.

전술한 수식 (1)에서,

은 현재 픽쳐 블록의 우측 상부 꼭지점의 MV를 나타내고,

는 픽쳐 블록 B의 MV를 나타내며,

는 픽쳐 블록 C의 MV를 나타낸다. 전술한 수식 (2)에서,

는 현재 픽쳐 블록의 우측 상부 꼭지점의 MVP를 나타내고,

는 픽쳐 블록 D의 MV를 나타내며,

는 픽쳐 블록 E의 MV를 나타낸다.

즉, 우측 상부 꼭지점의 MVP의 경우, 블록 A의 움직임 벡터 절대값과 더 큰 차이를 가진 픽쳐 블록이 공간적으로 인접한 픽쳐 블록 B 및 픽쳐 블록 C로부터 선택된다. 좌측 하부 꼭지점의 MVP의 경우, 블록 A의 움직임 벡터 절대값과 더 큰 차이를 가진 픽쳐 블록이 공간적으로 인접한 픽쳐 블록 D 및 픽쳐 블록 E로부터 선택된다.

302. K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K개의 화소 샘플의 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행한다.

K개의 화소 샘플 중 K1개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이 아닌 경우, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K1개의 화소 샘플의 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행하는 것은, K1개의 화소 샘플의 움직임 벡터 예측자를 참조 프레임 Y1로 스케일 조절하고(즉, K1개의 화소 샘플의 움직임 벡터 예측자에 대해 정규화 처리를 수행하고); K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K2개의 화소 샘플의 움직임 벡터 예측자 및 K개의 화소 샘플의 움직임 벡터 예측자로서, 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행하는 것을 포함한다.

K1개의 화소 샘플의 움직임 벡터 예측자에 대해 정규화 처리가 수행되기 전에, 화소 샘플 i의 참조 프레임 인덱스가 먼저 수정될 수 있다. 화소 샘플 i는 K개의 화소 샘플 중에서 현재 픽쳐 블록의 좌측 상부 꼭지점을 제외한 임의의 화소 샘플(예를 들어, 좌측 하부 꼭지점 또는 우측 상부 꼭지점)이다. 화소 샘플 i의 움직임 벡터 예측자에 대응하는 예측 방향이 좌측 상부 꼭지점의 움직임 벡터 예측자에 대응하는 예측 방향과 다르면(예를 들어, 화소 샘플 i의 움직임 벡터 예측자에 대응하는 예측 방향이 포워드 예측이고, 좌측 상부 꼭지점의 움직임 벡터 예측자에 대응하는 예측 방향이 백워드 예측이거나; 또는 화소 샘플 i의 움직임 벡터 예측자에 대응하는 예측 방향이 백워드 예측이고, 좌측 상부 꼭지점의 움직임 벡터 예측자에 대응하는 예측 방향은 포워드 예측이면), 화소 샘플 i의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스가 0이다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 움직임 벡터 예측자를 참조 프레임으로 스케일 조절하기 위한 방법은 다음과 같을 수 있다: 현재 코딩 프레임 인덱스가 CurPoc이고, 픽쳐 블록 A의 참조 프레임(즉, 좌측 상부 꼭지점의 MVP에 대응하는 참조 프레임)이 목적지 참조 프레임이라고 추정된다. 목적지 참조 프레임 인덱스가 DesPoc이고, 우측 상부 꼭지점의 MVP 또는 좌측 하부 꼭지점에 대응하는 참조 프레임이 소스 참조 프레임이며, 소스 참조 프레임 인덱스는 SrcPoc이고, 우측 상부 꼭지점 또는 좌측 하부 꼭지점에 대응하는 움직임 벡터 예측자가 MVP이며, 우측 상부 꼭지점 또는 좌측 하부 꼭지점의 움직임 벡터 예측자로서, 스케일 조절 이후에 획득되는 움직임 벡터 예측자가 MV_S이다. 도 3c에 도시된 바와 같이, MV_S가 다음의 수식을 이용하여 계산에 의해 획득될 수 있다:

특히, K개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이면, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K1개의 화소 샘플의 움직임 벡터 예측자에 대해 정규화 처리가 수행되지 않고(K1개의 화소 샘플의 움직임 벡터 예측자가 정규화된 상태에 있었으므로), K1개의 화소 샘플의 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정이 직접 수행될 수 있다.

선택적으로, K개의 화소 샘플의 움직임 벡터를 획득하기 위해 K개의 화소 샘플에 대해 움직임 추정이 수행된다는 것은, K개의 화소 샘플의 움직임 벡터를 획득하기 위해 반복 검색 알고리즘에 기초하여 K개의 화소 샘플에 대해 움직임 추정이 수행된다는 것을 포함할 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, K개의 화소 샘플의 움직임 벡터를 획득하기 위해 반복 검색 알고리즘의 각각의 반복에 기초하여 K개의 화소 샘플에 대해 움직임 추정이 수행된다는 것은, 다음의 단계를 포함할 수 있다.

S1. 수식 (3), (3), 및 (5)에 따라 각각의 화소의

를 계산한다.

에서, k=1, 2, 3이다.

도 3d에 도시된 바와 같이, 현재 픽쳐 블록 X의 크기가 S1×S2이고, 현재 픽쳐 블록 X 내의 각각의 화소 p의 좌표가 (x, y)라고 추정된다.

수식 (3)

수식 (4)

수식 (5)

S2. 방식

및

를 계산한다.

및

는 방향 x 및 방향 y에서 현재 픽쳐 블록 X 내의 각각의 화소 p의 도함수(derivative)를 각각 나타낸다. 본 실시형태의 예에서, 미분은 소벨(Sobel) 연산자를 이용하여 계산된다. 다른 연산자(예를 들어, 가우시안 연산)이 사용될 수 있다. 수식 (6)과 수식 (7)의 예는 소벨(Sobel) 연산자의 템플릿을 나타낸다.

수식 (6)

수식 (7)

현재 화소 p의 좌표가 (x, y)라고 가정하면, 수식 (8) 및 수식 (9)의 예는

및

의 계산 공식을 나타낸다. 여기서, pred[x][y]는 현재 픽쳐 블록 X 내에 있고 좌표가 (x, y)인 화소의 예측된 화소 값을 나타낸다.

수식 (8)

수식 (9)

현재 픽쳐 블록 X의 가장자리 위에 위치하는 화소의 인접한 화소는 존재하지 않을 수도 있고,

및

는 현재 픽쳐 블록 X의 가장자리 위에 위치하는 화소와 인접한 화소의 대응하는 값으로 대체될 수 있다.

S3. 예측 에러

를 계산한다.

현재 화소 p의 좌표가 (x, y)라고 추정된다.

수식 (10)

여기서,

및

는 원래의 화소 값 및 현재 픽쳐 블록 X 내에 있고 좌표가 (x, y)인 화소의 예측된 화소 값을 각각 나타낸다.

S4.

,

, 및

가 각각 현재 픽쳐 블록 X의 3개의 꼭지점의 방향 x 및 방향 y로의 움직임 벡터 변화라고 가정하면, 선형 수식 세트 (11)를 풀어서 계산에 의해

,

, 및

을 획득한다.

수식 세트 (11)

여기서,

이고;

이며;

;

이고;

;

이며;

이고;

이며;

이고;

이다.

전술한 단계 S1 내지 S4에 기초하여, 이 반복에서 현재 픽쳐 블록 내의 3개의 화소 샘플 각각의 방향 x로의 움직임 벡터 변화

및 화소 샘플 각각의 방향 y로의 움직임 벡터 변화

가 움직임 추정에 의하여 획득될 수 있다.

현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터가 움직임 추정에 의하여 획득될 수 있도록, 하나 이상의 반복이 전술한 단계 S1 내지 S4 내의 반복적인 방식에 기초하여 수행된다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, K개의 화소 샘플의 움직임 벡터 차(motion vector difference, MVD)를 얻기 위해 움직임 추정과 대응하는 MVP에 의하여 획득되는 K개의 화소 샘플의 움직임 벡터 간에는 차감이 추가적으로 수행될 수 있고, K개의 화소 샘플의 MVD가 비디오 비트스트림에 기입될 수 있다.

또한, 구문 엘리먼트(syntactic element) affine_no_MVD_flag가 화소 샘플에 대응하는 MVD를 비디오 비트스트림에 기입할지 여부를 나타내기 위해 사용될 수 있다. 예를 들어, 전술한 K개의 화소 샘플에 대응하는 MVD가 모두 0이면, affine_no_MVD_flag가 참(true)으로 설정될 수 있고, 어떠한 MVD도 비디오 비트스트림에 기입되지 않거나; 또는 전술한 K개의 화소 샘플에 대응하는 MVD가 모두 0인 것이 아니라면, affine_no_MVD_flag가 거짓(false)로 설정될 수 있고, K개의 화소 샘플에 대응하는 MVD가 비디오 비트스트림에 기입된다.

303. 아핀 변환 모델 및 K개의 화소 샘플의 움직임 벡터에 기초하여, 현재 픽쳐 블록 내의 각각의 화소의 움직임 벡터를 계산한다.

현재 예측 단위 X의 크기가 S1×S2라고 추정된다. 좌표가

,

, 및

인 3개의 꼭지점의 움직임 벡터

,

, 및

가 단계 301 및 단계 302를 수행하여 계산된다.

3개의 꼭지점의 좌표 및 움직임 벡터를 아핀 변환 수식 (12)에 대입함으로써, 현재 픽쳐 블록 내의 각각의 화소의 움직임 벡터를 계산할 수 있다. 아핀 변환의 개략도가 도 3e에 도시되어 있다.

좌표가 (x, y)인 화소의 움직임 벡터가 다음과 같이 계산된다:

수식 (12)

또한, 현재 픽쳐 블록 내의 각각의 화소의 움직임 정보가 다른 픽쳐 블록에 대한 움직임 벡터 예측을 위해 사용될 수 있기 때문에, 각각의 4×4 블록에 대해서 하나의 움직임 정보가 저장될 수 있고, 각각의 4×4 블록의 움직임 벡터가 좌측 상부 모서리 또는 4×4 블록 내의 임의의 다른 화소 상에 화소의 움직임 정보로서 저장된다.

본 실시형태에서, 아핀 변환 모델이 설명을 위한 비-병진 움직임 모델의 예로서 주로 사용되고, 다른 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터에 기초하여 현재 픽쳐 블록 내의 각각의 화소의 움직임 벡터를 계산하기 위한 메커니즘도 유사한 원리를 가지고 있지만, 본 실시형태에서 사용되는 공식과는 다른 공식이 이 메커니즘에서 사용될 수 있다는 것을 유의해야 한다. 본 명세서에서는 예를 하나씩 열거하지 않는다.

304. 현재 픽쳐 블록 내의 각각의 화소의 계산된 움직임 벡터에 기초하여, 현재 픽쳐 블록에 대해 화소 값 예측을 수행한다.

또한, 비디오 코딩 중에, 현재 픽쳐 블록의 잔차(residual)가 현재 픽쳐 블록의 원래의 화소 값 및 화소 값 예측에 의하여 획득되는 현재 픽쳐 블록의 예측된 화소 값을 이용하여 획득될 수 있고, 현재 픽쳐 블록의 잔차가 비디오 비트스트림에 기입될 수 있다.

본 실시형태의 과제 해결수단에서, 현재 픽쳐 블록에 대해 화소 값 예측이 수행되는 동안, K개의 화소 샘플의 결정된 움직임 벡터 예측자가 비-병진 움직임 모델에 기초하여 참조된다는 것을 알 수 있을 것이다. K개의 화소 샘플은 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플을 포함한다. K개의 화소 샘플의 움직임 벡터 예측자가 예측을 위해 직접 사용되고, K개의 화소 샘플 내의 제1 꼭지각 화소 샘플의 움직임 벡터 예측자가 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득되며, K개의 화소 샘플의 움직임 벡터 예측자를 위한 단 하나의 선택적인 경우만이 존재한다. 따라서, 종래의 기술에서 사용되는, K개의 화소 샘플의 움직임 벡터 예측자가 K개의 화소 샘플의 다수의 선택적인 움직임 벡터 예측자 세트로부터 대규모 계산에 의하여 선택되는 메커니즘이 포기된다. 이렇게 함으로써, 비트스트림 내의 움직임 정보 예측자의 선택 정보를 전달하는 것을 방지하는 데 도움이 되고, 코딩 효율을 높이는 데 도움이 되며, 또한 비-병진 움직임 모델에 기반하는 픽쳐 예측의 계산 복잡도를 감소시키는 데 도움이 된다.

또한, 현재 픽쳐 블록 내의 K개의 화소 샘플의 MVP의 예측 방향이 정규화되고, 참조 프레임 인덱스가 처리되며, K개의 화소 샘플의 MVP의 움직임 벡터가 참조 프레임 인덱스에 따라 스케일 조절되어 동일한 참조 프레임에 매핑된다. 또한, 현재 픽쳐 블록 내의 각각의 화소의 움직임 벡터가, 아핀 변환 공식을 이용하여 K개의 화소 샘플의 최적의 움직임 벡터에 따라 계산될 수 있다. 전술한 해결수단은, 비디오가 비-병진 특징의 컨텐츠, 예를 들어 렌즈 주밍(lens zooming), 물체 변형(object deformation), 또는 이동 물체 회전(moving object rotation)을 포함하는 경우 현재 비디오 코딩 표준에서 프레임 간 예측 정확도가 낮다는 문제를 해결하는 데 도움이 된다. 또한, 종래 기술에서 제안된 아핀 변환 기술이 다중 방향의 예측 및 복수의 참조 프레임 기반의 예측에 거의 적용되지 않는 불리한 점이 극복되며, 이로 인해 일시적인 중복을 제거하기 위해 비디오 시퀀스 간의 임시 상호 연관관계를 충분히 이용하는 데 도움이 됨으로써, 코딩 효율을 향상시킨다.

도 4a를 참조하면, 도 4a는 본 발명의 다른 실시형태에 따른 또 다른 픽쳐 예측 방법의 개략적인 흐름도이다. 도 4a의 예에 도시된 바와 같이, 본 발명의 다른 실시형태에서 제공되는 또 다른 픽쳐 예측 방법은 다음의 단계를 포함할 수 있다.

401. 현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정한다.

본 실시형태의 예에서, K=3이다.

도 4b의 예에 도시된 바와 같이, 현재 픽쳐 블록의 좌측 상부 꼭지점의 움직임 벡터 예측자는 현재 픽쳐 블록의 좌측 상부와 인접한 픽쳐 블록 A의 움직임 벡터와 같다. 현재 픽쳐 블록의 우측 상부 꼭지점의 움직임 벡터 예측자는 현재 픽쳐 블록의 위에서 인접한 픽쳐 블록 B의 움직임 벡터와 같다. 현재 픽쳐 블록의 좌측 하부 꼭지점의 움직임 벡터 예측자는 현재 픽쳐 블록의 좌측에서 인접한 픽쳐 블록의 움직임 벡터 D와 같을 수 있다.

402. K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K개의 화소 샘플의 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행한다.

K개의 화소 샘플 중 K1개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이 아닌 경우, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K1개의 화소 샘플의 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행하는 것은, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K1개의 화소 샘플의 움직임 벡터 예측자를 참조 프레임 Y1로 스케일 조절하고(즉, K1개의 화소 샘플의 움직임 벡터 예측자에 대해 정규화 처리를 수행하고); K2개의 화소 샘플의 움직임 벡터 예측자 및 K개의 화소 샘플의 움직임 벡터 예측자로서, 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행하는 것을 포함한다.

K1개의 화소 샘플의 움직임 벡터 예측자에 대해 정규화 처리가 수행되기 전에, 화소 샘플 i의 참조 프레임 인덱스가 먼저 수정될 수 있다. 화소 샘플 i는 K개의 화소 샘플 중에서 현재 픽쳐 블록의 좌측 상부 꼭지점을 제외한 임의의 화소 샘플(예를 들어, 좌측 하부 꼭지점 또는 우측 상부 꼭지점)이다. 화소 샘플 i의 움직임 벡터 예측자에 대응하는 예측 방향이 좌측 상부 꼭지점의 움직임 벡터 예측자에 대응하는 예측 방향과 다르면(예를 들어, 화소 샘플 i의 움직임 벡터 예측자에 대응하는 예측 방향이 포워드 예측이고, 좌측 상부 꼭지점의 움직임 벡터 예측자에 대응하는 예측 방향이 백워드 예측이거나; 또는 화소 샘플 i의 움직임 벡터 예측자에 대응하는 예측 방향이 백워드 예측이고, 좌측 상부 꼭지점의 움직임 벡터 예측자에 대응하는 예측 방향이 포워드 예측이면), 화소 샘플 i의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스가 0이다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 움직임 벡터 예측자를 참조 프레임으로 스케일 조절하기 위한 방법은 다음과 같을 수 있다: 현재 코딩 프레임 인덱스가 CurPoc이고, 픽쳐 블록 A의 참조 프레임(즉, 좌측 상부 꼭지점의 MVP에 대응하는 참조 프레임)이 목적지 참조 프레임이라고 추정된다. 목적지 참조 프레임 인덱스가 DesPoc이고, 우측 상부 꼭지점의 MVP 또는 좌측 하부 꼭지점에 대응하는 참조 프레임가 소스 참조 프레임이며, 소스 참조 프레임 인덱스가 SrcPoc이고, 우측 상부 꼭지점 또는 좌측 하부 꼭지점에 대응하는 움직임 벡터 예측자가 MVP이며, 우측 상부 꼭지점 또는 좌측 하부 꼭지점의 움직임 벡터 예측자로서, 스케일 조절 이후에 획득되는 움직임 벡터 예측자가 MV_S이다. MV_S는 다음의 수식을 이용하여 계산에 의해 획득될 수 있다:

선택적으로, K개의 화소 샘플의 움직임 벡터를 획득하기 위해 K개의 화소 샘플에 대해 움직임 추정이 수행된다는 것은, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, 반복 검색 알고리즘에 기초하여 K개의 화소 샘플에 대해 움직임 추정이 수행된다는 것을 포함할 수 있다. 특정 반복 검색 알고리즘의 경우, 전술한 실시형태에서의 관련 설명을 참조하라. 여기서는 세부사항에 대해 다시 설명하지 않는다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, K개의 화소 샘플의 MVD를 획득하기 위해, 움직임 추정 및 대응하는 MVP에 의하여 획득되는 K개의 화소 샘플의 움직임 벡터 사이에는 차감이 추가적으로 수행될 수 있고, K개의 화소 샘플의 MVD가 비디오 비트스트림에 기입될 수 있다.

또한, 구문 엘리먼트 affine_no_MVD_flag가 화소 샘플에 대응하는 MVD를 비디오 비트스트림에 기입할지 여부를 나타내기 위해 사용될 수 있다. 예를 들어, 전술한 K개의 화소 샘플에 대응하는 MVD가 모두 0이면, affine_no_MVD_flag가 참으로 설정될 수 있고, 어떠한 MVD도 비디오 비트스트림에 기입되지 않거나; 또는 전술한 K개의 화소 샘플에 대응하는 MVD가 모두 0인 것이 아니라면, affine_no_MVD_flag가 거짓으로 설정될 수 있고, K개의 화소 샘플에 대응하는 MVD가 비디오 비트스트림에 기입된다.

403. 아핀 변환 모델 및 K개의 화소 샘플의 움직임 벡터에 기초하여, 현재 픽쳐 블록 내의 각각의 화소의 움직임 벡터를 계산한다.

또한, 현재 픽쳐 블록 내의 각각의 화소의 움직임 정보가 다른 픽쳐 블록에 대한 움직임 벡터 예측을 위해 사용될 수 있기 때문에, 각각의 4×4(또는 8×8) 블록에 대해서 하나의 움직임 정보가 저장될 수 있고, 각각의 4×4(또는 8×8) 블록의 움직임 벡터가 좌측 상부 모서리 또는 4×4 블록 내의 임의의 다른 화소 상에 화소의 움직임 정보로서 저장된다.

움직임 정보는 움직임 벡터, 움직임 벡터에 대응하는 예측 방향, 및 움직임 벡터에 대응하는 참조 프레임 인덱스를 포함할 수 있다.

본 실시형태에서, 아핀 변환 모델이 설명을 위한 비-병진 움직임 모델의 예로서 주로 사용되고, 다른 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터에 기초하여 현재 픽쳐 블록 내의 각각의 화소의 움직임 벡터를 계산하기 위한 메커니즘도 유사한 원리를 가지고 있지만, 본 실시형태에서 사용되는 공식과는 다른 공식이 이 메커니즘에 사용될 수 있다는 것을 유의해야 한다. 본 명세서에서는 예를 하나씩 열거하지 않는다.

404. 현재 픽쳐 블록 내의 각각의 화소의 계산된 움직임 벡터에 기초하여, 현재 픽쳐 블록에 대해 화소 값 예측을 수행한다.

또한, 비디오 코딩 중에, 현재 픽쳐 블록의 잔차가 현재 픽쳐 블록의 원래의 화소 값 및 화소 값 예측에 의하여 획득되는 현재 픽쳐 블록의 예측된 화소 값을 이용하여 획득될 수 있고, 현재 픽쳐 블록의 잔차가 비디오 비트스트림에 기입될 수 있다.

또한, 현재 픽쳐 블록 내의 K개의 화소 샘플의 MVP의 예측 방향이 정규화되고, 참조 프레임 인덱스가 처리되며, K개의 화소 샘플의 MVP의 움직임 벡터가 참조 프레임 인덱스에 따라 스케일 조절되어 동일한 참조 프레임에 매핑된다. 또한, 현재 픽쳐 블록 내의 각각의 화소의 움직임 벡터가, 아핀 변환 공식을 이용하여 K개의 화소 샘플의 최적의 움직임 벡터에 따라 계산될 수 있다. 전술한 해결수단은, 비디오가 비-병진 특징의 컨텐츠, 예를 들어 렌즈 주밍, 물체 변형, 또는 이동 물체 회전을 포함하는 경우 현재 비디오 코딩 표준에서 프레임 간 예측 정확도가 낮다는 문제를 해결하는 데 도움이 된다. 또한, 종래 기술에서 제안된 아핀 변환 기술이 다중 방향의 예측 및 복수의 참조 프레임 기반의 예측에 거의 적용되지 않는 불리한 점이 극복되며, 이로 인해 일시적인 중복을 제거하기 위해 비디오 시퀀스 간의 임시 상호 연관관계를 충분히 이용하는 데 도움이 됨으로써, 코딩 효율을 향상시킨다.

도 5를 참조하면, 도 5는 본 발명의 다른 실시형태에 따른 또 다른 픽쳐 예측 방법의 개략적인 흐름도이다. 도 5의 예에 도시된 바와 같이, 본 발명의 다른 실시형태에서 제공되는 또 다른 픽쳐 예측 방법은 다음의 단계를 포함할 수 있다.

501. 현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정한다.

본 실시형태의 예에서, K=3이다.

단계 501에서 현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정하는 구체적인 방식에 대해서는, 전술한 실시형태의 임의의 방식을 참조하라.

502. 전술한 K개의 화소 샘플의 움직임 벡터 예측자를 전술한 K개의 화소 샘플의 움직임 벡터로서 이용하고, 아핀 변환 모델 및 K개의 화소 샘플의 움직임 벡터에 기초하여 현재 픽쳐 블록 내의 각각의 화소의 움직임 벡터를 계산한다.

503. 현재 픽쳐 블록 내의 각각의 화소의 계산된 움직임 벡터에 기초하여, 현재 픽쳐 블록에 대해 화소 값 예측을 수행한다.

또한, 현재 픽쳐 블록 내의 K개의 화소 샘플의 MVP의 예측 방향이 정규화되고, 참조 프레임 인덱스가 처리되며, K개의 화소 샘플의 MVP의 움직임 벡터가 참조 프레임 인덱스에 따라 스케일 조절되어 동일한 참조 프레임에 매핑된다. 전술한 해결수단은, 비디오가 비-병진(예를 들어 렌즈 주밍, 물체 변형, 또는 이동 물체 회전) 특징의 컨텐츠를 포함하는 경우 현재 비디오 코딩 표준에서 프레임 간 예측 정확도가 낮다는 문제를 해결하는 데 도움이 된다. 또한, 종래 기술에서 제안된 아핀 변환 기술이 다중 방향의 예측 및 복수의 참조 프레임 기반의 예측에 거의 적용되지 않는 불리한 점이 극복되며, 이로 인해 일시적인 중복을 제거하기 위해 비디오 시퀀스 간의 임시 상호 연관관계를 충분히 이용하는 데 도움이 됨으로써, 코딩 효율을 향상시킨다.

도 6을 참조하면, 도 6은 본 발명의 다른 실시형태에 따른 또 다른 픽쳐 예측 방법의 개략적인 흐름도이다. 도 6의 예에 도시된 바와 같이, 본 발명의 다른 실시형태에서 제공되는 또 다른 픽쳐 예측 방법은 다음의 단계를 포함할 수 있다.

601. 현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정한다.

본 실시형태의 예에서, K=3이다.

단계 601에서 현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정하는 구체적인 방식에 대해서는, 전술한 실시형태의 임의의 방식을 참조하라.

602. K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K개의 화소 샘플의 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행한다.

선택적으로, K개의 화소 샘플의 움직임 벡터를 획득하기 위해 K개의 화소 샘플에 대해 움직임 추정이 수행된다는 것은, K개의 화소 샘플의 움직임 벡터를 획득하기 위해 반복 검색 알고리즘에 기초하여 K개의 화소 샘플에 대해 움직임 추정이 수행된다는 것을 포함할 수 있다. 특정 반복 검색 알고리즘의 경우, 전술한 실시형태에서의 관련 설명을 참조하라. 여기서는 세부사항에 대해 다시 설명하지 않는다.

603. 아핀 변환 모델 및 K개의 화소 샘플의 움직임 벡터에 기초하여, 현재 픽쳐 블록 내의 각각의 화소의 움직임 벡터를 계산한다.

또한, 현재 픽쳐 블록 내의 각각의 화소의 움직임 정보가 다른 픽쳐 블록에 대한 움직임 벡터 예측을 위해 사용될 수 있기 때문에, 각각의 4×4(또는 8×8) 블록에 대해서 하나의 움직임 정보가 저장될 수 있고, 각각의 4×4(또는 8×8) 블록의 움직임 벡터가 좌측 상부 모서리 또는 4×블록 내의 임의의 다른 화소 상에 화소의 움직임 정보로서 저장된다.

604. 현재 예측 단위에 대한, 아핀 변환-기반 프레임 간 예측 모드(단계 601 내지 단계 603)를 이용하는 레이트-왜곡 비용을 계산하고, 레이트-왜곡 비용을 HEVC 프레임 간 예측 모드를 이용하는 계산된 레이트-왜곡 비용과 비교한다.

아핀 변환-기반 프레임 간 예측 모드를 이용하는 레이트-왜곡 비용이 HEVC 프레임 간 예측 모드를 이용하는 레이트-왜곡 비용보다 작으면, 현재 픽쳐 블록의 최적 프레임 간 예측 모드는 아핀 변환 기반의 프레임 간 예측 모드로 설정된다. 구체적으로, 현재 픽쳐 블록의 최적 프레임 간 예측 모드가 아핀 변환-기반 프레임 간 예측 모드라는 것을 나타내기 위해, 구문 엘리먼트 affine_MC_flag가 참으로 설정될 수 있다. 아핀 변환-기반 프레임 간 예측 모드를 이용하는 레이트-왜곡 비용이 HEVC 프레임 간 예측 모드를 이용하는 레이트-왜곡 비용보다 작지 않으면, 현재 픽쳐 블록의 최적 프레임 간 예측 모드가 HEVC 프레임 간 예측 모드라는 것을 나타내기 위해, 구문 엘리먼트 affine_MC_flag가 거짓으로 설정된다.

605. 현재 픽쳐 블록 내의 각각의 화소의 계산된 움직임 벡터에 기초하여, 현재 픽쳐 블록에 대해 화소 값 예측을 수행한다.

예를 들어, 루미넌스 컴포넌트(luminance component)의 경우, 화소의 움직임 벡터가 1/4 화소 정밀도이면, 각각의 화소의 예측된 화소 값이 HEVC 보간 필터를 이용하여 획득될 수 있거나; 또는 화소의 움직임 벡터가 1/4 화소 정밀도보다 크면, 화소로부터 가장 짧은 거리에 있는 4개의 1/4개의 화소의 예측된 화소 값이 HEVC 보간 필터를 이용하여 먼저 획득된 다음, 이선형 보간(bilinear interpolation)이 수행되어 예측된 화소 값을 획득한다. 크로미넌스 컴포넌트(chrominance component)의 경우, 예측된 화소 값이 HEVC 보간 필터를 이용하여 획득된다.

또한, 비디오 코딩 중에, 현재 픽쳐 블록의 잔차가 현재 픽쳐 블록의 원래의 화소 값 및 화소 값 예측에 의하여 획득되는 현재 픽쳐 블록의 예측된 화소 값을 이용하여 획득될 수 있고, 현재 픽쳐 블록의 잔차가 비디오 비트스트림에 기입된다. 구체적으로, 현재 예측 단위의 잔차가 병진운동, 양자화, 및 엔트로피 인코딩을 거친 다음, 비디오 비트스트림에 기입된다.

도 7을 참조하면, 도 7은 본 발명의 일 실시형태에 따른 비디오 디코딩 방법의 개략적인 흐름도이다. 도 7의 예에 도시된 바와 같이, 본 발명의 본 실시형태에서 제공되는 비디오 디코딩 방법은 다음의 단계를 포함할 수 있다.

701. 아핀 변환-기반 프레임 간 예측 모드가 현재 픽쳐 블록에 사용되는지 여부를 판정하기 위해, 디코더가 비디오 비트스트림 내의 구문 엘리먼트 affine_MC_flag를 디코딩한다.

702. 아핀 변환-기반 프레임 간 예측 모드가 현재 픽쳐 블록에 사용되면, 디코더가 현재 픽쳐 블록에 사용되는 프레임 간 예측 방향을 결정하기 위해 비디오 비트스트림 내의 구문 엘리먼트 affine_inter_dir_flag를 디코딩한다.

703. 디코더가 구문 엘리먼트 affine_inter_dir_flag에 따라 현재 픽쳐 블록 내의 K개의 화소 샘플의 MVP를 결정한다.

현재 픽쳐 블록 내의 K개의 화소 샘플은 전술한 실시형태 중 하나에서 설명된 현재 픽쳐 블록 내의 K개의 화소 샘플 일 수 있다.

704. 디코더가 현재 픽쳐 블록에 대응하고 있고 비디오 비트스트림 내에 있는 구문 엘리먼트 affine_no_MVD_flag를 디코딩함으로써 현재 픽쳐 블록 내의 K개의 화소 샘플에 대응하는 MVD가 0인지 여부를 결정한다. affine_no_MVD_flag가 참이면, 현재 픽쳐 블록 내의 K개의 화소 샘플에 대응하는 MVD가 모두 0이고, K개의 화소 샘플의 획득된 MVP의 움직임 벡터가 K개의 화소 샘플의 움직임 벡터로서 이용될 수 있다는 것을 나타낸다. affine_no_MVD_flag가 거짓이면, K개의 화소 샘플에 대응하는 MVD가 모두 0인 것은 아니고, K개의 화소 샘플에 대응하는 MVD가 별도의 디코딩에 의하여 획득되며, 각각의 화소 샘플에 대응하는 MVD 및 대응하는 MVP가 화소 샘플의 움직임 벡터를 획득하기 위해 추가된다는 것을 나타낸다.

705. 디코더가 현재 픽쳐 블록의 잔차 계수를 디코딩하고, 현재 픽쳐 블록 내의 잔차 화소를 획득하기 위해 역양자화 및 역변환을 수행한다.

706. 디코더가 아핀 변환 모델 및 K개의 화소 샘플의 움직임 벡터에 기초하여 현재 픽쳐 블록 내의 각각의 화소의 움직임 벡터를 계산하고, 현재 픽쳐 블록의 예측된 화소 값을 획득하기 위해 현재 픽쳐 블록 내의 각각의 화소의 계산된 움직임 벡터에 기초하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행한다.

아핀 변환 모델이 설명을 위한 비-병진 움직임 모델의 예로서 주로 사용되고, 다른 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터에 기초하여 현재 픽쳐 블록 내의 각각의 화소의 움직임 벡터를 계산하기 위한 메커니즘도 유사한 원리를 가지고 있지만, 본 실시형태에서 사용되는 공식과는 다른 공식이 이 메커니즘에 사용될 수 있다는 것을 유의해야 한다. 본 명세서에서는 예를 하나씩 열거하지 않는다.

707. 디코더가 현재 픽쳐 블록 내의 잔차 화소 및 현재 픽쳐 블록의 예측된 화소 값에 따라 현재 픽쳐 블록을 재구성한다.

최신 비디오 코딩 표준(HEVC)의 인코더 HM11.0 상에서, 본 실시형태에서 제공되는 일부 해결수단에 대해 에뮬레이션 테스트가 수행된다. 예를 들어, 2가지 구성으로 테스트가 수행되는데, 본 발명의 실시형태의 해결수단의 낮은 지연(LDB)과 랜덤 액세스(RA), 및 성능이 HM11.0 해결수단의 성능과 비교된다. 테스트를 위해 아핀 특징이 비교적 명백한 6개의 테스트 시퀀스가 선택된다. 이 테스트 시퀀스가 표 1에 열거되어 있고, 표 2는 에뮬레이션 결과를 보여준다.

(표 1)

(표 2)

성능 카운터 BD-레이트는 QP가 22, 27, 32, 및 37인 4개의 포인트의 결과를 이용하여 계산에 의해 획득될 수 있고, 3개의 컴포넌트 Y, U, 및 V의 피크 신호 대 잡음비(peak signal to noise ratio, PSNR)가 각각 계산된다.

본 발명의 실시형태의 해결수단의 경우, LDB 구성에서는 평균 BD-레이트(Y) 성능이 4.5% 증가하고, RA 구성에서는 평균 BD-레이트(Y) 성능이 5.0% 증가하며 심지어 17.8% 증가한다는 것을 알 수 있을 것이다. 즉, PSNR 품질이 동일한 경우, HM11.0 방법과 비교하여, 본 실시형태에서의 해결수단은 최대 17.8%의 비트 레이트를 감소시킬 수 있다.

이하, 다른 일부 움직이지 않는 모델(non-motion model)에 대해 설명한다.

아핀 변환 모델은 다음의 모델을 만족하는 움직임 모델이다:

여기서, a, b, c, d, e, 및 f는 상수 파라미터이고, (x, y)는 화소의 원래 좌표이며, (

,

)는 화소에 대해 아핀 변환이 수행된 후에 획득된 좌표이고, Vx는 x-축 방향의 움직임 벡터이고, 표는 y-축 방향의 움직임 벡터이다.

회전 움직임 모델은 다음과 같이 나타낼 수 있다:

여기서,

는 회전 각도이고, a 및 b는 파라미터이다.

원근 움직임 모델은 다음과 같이 나타낼 수 있다.

여기서,

는 원근 행렬(perspective matrix)이다.

전단 움직임 모델은 다음과 같이 나타낼 수 있다.

여기서,

는 전단 행렬이고, 다른 것은 상수 파라미터이다.

스케일러블 운동 모델은 다음과 같이 나타낼 수 있다.

여기서,

,

, 및

은 상수 파라미터이다.

2차 움직임 모델은 다음과 같이 나타낼 수 있다.

여기서, u 및 v는 원래의 좌표를 나타내고, x 및 y는 병진운동 후 획득된 좌표이며, 나머지는 상수 파라미터이다.

전술한 예는 다양한 움직임 모델 중 일부 가능한 표현 형태의 예일 뿐이고, 물론 다양한 움직임 모델은 다른 형태를 가질 수 있다고 이해할 수 있을 것이다.

다음에서는 전술한 해결수단을 구현하기 위한 관련 장치를 추가로 제공한다.

도 8을 참조하면, 본 발명의 일 실시형태는 픽쳐 예측 장치(800)를 더 제공하며, 픽쳐 예측 장치(800)는 이하를 포함할 수 있다:

현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정하도록 구성된 결정 유닛(810) - K는 1보다 큰 정수이고, K개의 화소 샘플은 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플을 포함하며, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자는 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터 예측자에 기초하여 획득되고, 공간적으로 인접한 제1 픽쳐 블록은 제1 꼭지각 화소 샘플과 공간적으로 인접함 -; 및

비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행하도록 구성된 예측 유닛(820).

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자가 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득된다. 구체적으로, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자가 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터와 같을 수 있거나(즉, 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터가 제1 꼭지각 화소 샘플의 움직임 벡터 예측자로서 사용되거나); 또는 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 대해 사전 결정된 병진 움직임을 수행하여 획득되는 움직임 벡터 예측자가 제1 꼭지각 화소 샘플의 움직임 벡터 예측자로서 사용될 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 비-병진 움직임 모델은 아핀 변환 모델, 또는 포물선 움직임 모델, 또는 회전 움직임 모델, 또는 원근 움직임 모델, 또는 전단 움직임 모델, 또는 스케일러블 움직임 모델 중 하나이다. 또한, 비-병진 움직임 모델도 전술한 특정 예에 제한되지 않는다고 이해할 수 있을 것이다.

K개의 화소 샘플을 선택하는 다양한 방식이 있을 수 있다.

도 2를 참조하면, 도 2는 픽쳐 블록 X1, 픽쳐 블록 X2, 픽쳐 블록 X3, 및 픽쳐 블록 X4의 몇몇 가능한 위치의 예를 도시하고 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 예측 유닛(820)은, K개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이면, K개의 화소 샘플의 움직임 벡터를 획득하기 위해 K개의 화소 샘플의 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행하고; 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터를 이용하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행하도록 구성될 수 있다.

선택적으로, 예측 유닛(820) 구체적으로, K개의 화소 샘플 중 K1개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이 아닌 경우, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K1개의 화소 샘플의 움직임 벡터 예측자를 참조 프레임 Y1로 스케일 조절하고, K2개의 화소 샘플의 움직임 벡터 예측자 및 K개의 화소 샘플의 움직임 벡터 예측자로서, 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행하며, 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터를 이용하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행하도록 구성될 수 있다. 여기서, K2개의 화소 샘플은 K개의 화소 샘플 중에서 K1개의 화소 샘플을 제외한 나머지 화소 샘플이고, K1 및 K2는 양의 정수이다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스와 화소 샘플 i에 대응하는 참조 프레임 인덱스가 서로 다르면, 예측 유닛(820)은 화소 샘플 i의 움직임 벡터 예측자를 참조 프레임 Y1로 스케일 조절할 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K2개의 화소 샘플의 움직임 벡터 예측자 및 K개의 화소 샘플의 움직임 벡터 예측자로서, 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행하는 것은, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K2개의 화소 샘플의 움직임 벡터 예측자 및 K개의 화소 샘플의 움직임 벡터 예측자로서, 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용함으로써 반복 검색 알고리즘에 기초하여 K개의 화소 샘플에 대해 움직임 추정을 수행하는 것을 포함한다.

픽쳐 예측 장치(800)는 비디오 코딩 장치에 적용되거나, 또는 픽쳐 예측 장치(800)는 비디오 디코딩 장치에 적용된다.

본 실시형태에서의 픽쳐 예측 장치(800) 내의 모든 기능적인 모듈의 기능이 전술한 방법 실시형태의 방법에 따라 구체적으로 구현될 수 있다는 것이 이해될 수 있을 것이다. 구체적인 구현 프로세스에 대해서는, 전술한 방법 실시형태에서의 관련된 설명을 참조하고, 여기서는 세부사항에 대해 다시 설명하지 않는다. 픽쳐 예측 장치(800)는 비디오를 출력하고 재생할 필요가 있는 임의의 장치, 예를 들어 랩탑 컴퓨터, 태블릿 컴퓨터, 개인용 컴퓨터, 또는 휴대폰일 수 있다.

또한, 공간적으로 인접한 제1 픽쳐 블록은 제1 꼭지각 화소 샘플과 공간적으로 인접하고, 현재 픽쳐 블록과 공간적으로 인접한 제1 픽쳐 블록이 사전 결정된다(즉, 현재 픽쳐 블록과 공간적으로 인접한 제1 픽쳐 블록이 미리 협의되거나 설정된다고 간주될 수 있다). 이렇게 함으로써, K개의 화소 샘플의 움직임 벡터 예측자를 빠르게 결정하는 데 도움이 된다. 또한, 픽쳐 블록 간의 공간적 상관관계를 최대한 이용하여 중복을 제거하므로, 코딩 효율을 향상시키는 데 도움이 된다.

도 9를 참조하면, 도 9는 본 발명의 일 실시형태에 따른 픽쳐 예측 장치(900)의 개략도이다. 픽쳐 예측 장치(900)는 적어도 하나의 버스(901), 버스(901)에 연결된 적어도 하나의 프로세서(902), 및 버스(901)에 연결된 적어도 하나의 메모리(903)를 포함할 수 있다.

프로세서(902)는 버스(901)를 이용하여 메모리(903)에 저장된 코드를 호출함으로써, 현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정하고 - 여기서, K는 1보다 큰 정수이고, K개의 화소 샘플은 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플을 포함하며, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자는 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득되고, 공간적으로 인접한 제1 픽쳐 블록은 제1 꼭지각 화소 샘플과 공간적으로 인접함 -; 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행한다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 비-병진 움직임 모델은 아핀 변환 모델, 또는 포물선 움직임 모델, 또는 회전 움직임 모델, 또는 원근 움직임 모델, 또는 전단 움직임 모델, 또는 스케일러블 움직임 모델 중 하나이다. 또한 비-병진 움직임 모델도 전술한 특정 예에 제한되지 않는다고 이해할 수 있을 것이다.

K개의 화소 샘플을 선택하는 다양한 방식이 있을 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 픽쳐 블록 X3은 현재 픽쳐 블록의 좌측에서 공간적으로 인접한 픽쳐 블록이거나, 또는 픽쳐 블록 X3은 현재 픽쳐 블록의 좌측 하부에서 공간적으로 인접한 픽쳐 블록이거나, 또는 픽쳐 블록 X3은 현재 픽쳐 블록의 아래에서 공간적으로 인접한 픽쳐 블록이다. 또한 선택적으로, 픽쳐 블록 X3의 움직임 벡터 절대값과 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값이 픽쳐 블록 X6의 움직임 벡터 절대값과 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값보다 크거나 같고, 픽쳐 블록 X6은 좌측 하부 꼭지점과 공간적으로 인접한 현재 픽쳐 블록 중의 픽쳐 블록으로서, 픽쳐 블록 X3을 제외한 공간적으로 인접한 나머지 적어도 일부의 픽쳐 블록 중 하나이다. 즉, 픽쳐 블록 X3의 위치는 특정 정책에 기초하여 결정될 수 있거나, 또는 픽쳐 블록 X3의 위치는 직접 합의될 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 프로세서(902)는, K개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이면, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K개의 화소 샘플의 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행하고; 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터를 이용하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행하도록 구성될 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 프로세서(902)는, K개의 화소 샘플 중 K1개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이 아닌 경우, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K1개의 화소 샘플의 움직임 벡터 예측자를 참조 프레임 Y1로 스케일 조절하고, K2개의 화소 샘플의 움직임 벡터 예측자 및 K개의 화소 샘플의 움직임 벡터 예측자로서, 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용함으로써 K개의 화소 샘플에 대해 움직임 추정을 수행하며, 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터를 이용하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행하도록 구성될 수 있다. 여기서, K2개의 화소 샘플은 K개의 화소 샘플 중에서 K1개의 화소 샘플을 제외한 나머지 화소 샘플이고, K1 및 K2는 양의 정수이다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스와 화소 샘플 i에 대응하는 참조 프레임 인덱스가 서로 다르면, 프로세서(902)는 화소 샘플 i의 움직임 벡터 예측자를 참조 프레임 Y1로 스케일 조절하도록 구성될 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 프로세서(902)는, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K2개의 화소 샘플의 움직임 벡터 예측자 및 K개의 화소 샘플의 움직임 벡터 예측자로서, 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용함으로써 반복 검색 알고리즘(또는 다른 타입의 움직임 추정 알고리즘)에 기초하여 K개의 화소 샘플에 대해 움직임 추정을 수행하도록 구성될 수 있다.

본 실시형태에서의 픽쳐 예측 장치(900) 내의 모든 기능적인 모듈의 기능이 전술한 방법 실시형태의 방법에 따라 구체적으로 구현될 수 있다는 것이 이해될 수 있을 것이다. 구체적인 구현 프로세스에 대해서는, 전술한 방법 실시형태에서의 관련된 설명을 참조하고, 여기서는 세부사항에 대해 다시 설명하지 않는다. 픽쳐 예측 장치(900)는 비디오를 출력하고 재생할 필요가 있는 임의의 장치, 예를 들어 랩탑 컴퓨터, 태블릿 컴퓨터, 개인용 컴퓨터, 또는 휴대폰일 수 있다.

도 10을 참조하면, 도 10은 본 발명의 다른 실시형태에 따른 픽쳐 예측 장치(1000)의 구조적인 블록도이다. 픽쳐 예측 장치(1000)는 적어도 하나의 프로세서(1001), 적어도 하나의 네트워크 인터페이스(1004)나 다른 사용자 인터페이스(1003), 메모리(1005), 및 적어도 하나의 통신 버스(1002)를 포함할 수 있다. 통신 버스(1002)는 이러한 컴포넌트 간의 연결 및 통신을 구현하도록 구성된다. 픽쳐 예측 장치(1000)는 디스플레이(예를 들어, 터치 스크린, LCD, 홀로그래픽 이미징(Holographic), CRT, 또는 영사(Projector)), 클릭 장치(예를 들어, 마우스, 트랙볼(trackball), 터치패드, 또는 터치 스크린), 및 카메라 및/또는 픽업 장치 등을 포함하는 사용자 인터페이스(1003)를 선택적으로 포함할 수 있다.

메모리(1005)는 읽기 전용 메모리 및 랜덤 액세스 메모리를 포함할 수 있고, 프로세서(1001)를 위한 명령 및 데이터를 제공한다. 메모리(1005) 중 일부는 비휘발성 램(NVRAM)를 더 포함할 수 있다.

일부 구현 방식에서, 메모리(1005)는 실행 가능한 모듈이나 데이터 구조, 또는 그 서브세트, 또는 그 확장 세트인 다음의 엘리먼트를 저장한다:

다양한 시스템 프로그램을 포함하고, 다양한 기본 서비스 및 프로세스 하드웨어 기반 작업을 구현하기 위해 사용되는 운영 체제(10051); 및

다양한 응용 프로그램을 포함하고, 다양한 응용 서비스를 구현하기 위해 사용되는 응용 프로그램 모듈(10052).

본 발명의 본 실시형태에서, 메모리(1005)에 저장된 프로그램 또는 명령을 호출함으로써, 프로세서(1001)는, 현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정하고 - 여기서, K는 1보다 큰 정수이고, K개의 화소 샘플은 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플을 포함하며, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자는 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득되고, 공간적으로 인접한 제1 픽쳐 블록은 제1 꼭지각 화소 샘플과 공간적으로 인접함 -; 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행하도록 구성된다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 비-병진 움직임 모델은 아핀 변환 모델, 또는 포물선 움직임 모델, 또는 회전 움직임 모델, 또는 원근 움직임 모델, 또는 전단 움직임 모델, 또는 스케일러블 움직임 모델 중 하나이다. 비-병진 움직임 모델도 전술한 특정 예에 제한되지 않는다고 이해할 수 있을 것이다.

K개의 화소 샘플을 선택하는 다양한 방식이 있을 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 프로세서(1001)는, K개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이면, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K개의 화소 샘플의 움직임 벡터 예측자를 이용하여 K개의 화소 샘플에 대해 움직임 추정을 수행하고; 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터를 이용하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행하도록 구성될 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 프로세서(1001)는, K개의 화소 샘플 중 K1개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이 아닌 경우, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K1개의 화소 샘플의 움직임 벡터 예측자를 참조 프레임 Y1로 스케일 조절하고, K2개의 화소 샘플의 움직임 벡터 예측자 및 K개의 화소 샘플의 움직임 벡터 예측자로서, 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용함으로써 K개의 화소 샘플에 대해 움직임 추정을 수행하며, 비-병진 움직임 모델 및 K개의 화소 샘플의 움직임 벡터를 이용하여 현재 픽쳐 블록에 대해 화소 값 예측을 수행하도록 구성될 수 있다. 여기서, K2개의 화소 샘플은 K개의 화소 샘플 중에서 K1개의 화소 샘플을 제외한 나머지 화소 샘플이고, K1 및 K2는 양의 정수이다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스와 화소 샘플 i에 대응하는 참조 프레임 인덱스가 서로 다르면, 프로세서(1001)는 화소 샘플 i의 움직임 벡터 예측자를 참조 프레임 Y1로 스케일 조절하도록 구성될 수 있다.

선택적으로, 본 발명의 일부 가능한 구현 방식에서, 프로세서(1001)는, K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K2개의 화소 샘플의 움직임 벡터 예측자 및 K개의 화소 샘플의 움직임 벡터 예측자로서, 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용함으로써 반복 검색 알고리즘(또는 다른 타입의 움직임 추정 알고리즘)에 기초하여 K개의 화소 샘플에 대해 움직임 추정을 수행하도록 구성될 수 있다.

본 실시형태에서의 픽쳐 예측 장치(1000) 내의 모든 기능적인 모듈의 기능이 전술한 방법 실시형태에서의 방법에 따라 구체적으로 구현될 수 있다는 것이 이해될 수 있을 것이다. 구체적인 구현 프로세스에 대해서는, 전술한 방법의 실시형태의 관련된 설명을 참조하고, 여기서는 세부사항에 대해 다시 설명하지 않는다. 픽쳐 예측 장치(1000)는 비디오를 출력하고 재생할 필요가 있는 임의의 장치, 예를 들어 랩탑 컴퓨터, 태블릿 컴퓨터, 개인용 컴퓨터, 또는 휴대폰일 수 있다.

설명의 편의를 위해 전술한 방법 실시형태는 일련의 동작으로서 표현된다는 것을 유의해야 한다. 하지만, 본 발명에 따르면, 일부 단계가 다른 순서로 수행되거나 또는 동시에 수행될 수 있기 때문에, 본 발명이 전술한 동작 순서에 한정되지 않는다는 것을 당업자는 이해할 것이다. 또한, 명세서에 기재된 모든 실시형태는 실시형태의 예이고, 관련된 동작 및 모듈은 반드시 본 발명에 필수적인 것은 아니라는 것을 당업자는 이해해야 한다.

전술한 실시형태에서, 모든 실시형태는 설명의 중점사항을 가지고 있다. 실시형태에서 자세히 설명되지 않은 부분에 대해서는, 다른 실시형태에서의 관련된 설명을 참조하라.

본 출원에서 제공되는 실시형태에서, 개시된 장치가 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 예를 들어, 전술한 장치 실시형태는 단지 예일 뿐이다. 예를 들어, 유닛 구분은 단지 논리적 기능 구분일 뿐이고 실제 구현에서는 이와 다르게 구분될 수 있다. 예를 들어, 복수의 유닛 또는 콤포넌트는 다른 시스템으로 결합되거나 통합될 수 있거나, 또는 몇몇 특징은 무시되거나 수행되지 않을 수도 있다. 또한, 표시되거나 서술되는 상호 커플링 또는 직접 커플링 또는 통신 연결은 몇몇 인터페이스를 통해서 구현될 수 있다. 장치들 또는 유닛들 간의 간접적인 커플링 또는 통신 연결은 전자적인 형태 또는 다른 형태로 구현될 수 있다.

별도의 부분으로 설명된 유닛은 물리적으로 분리되거나 또는 분리되지 않을 수 있고, 유닛으로서 표시되는 부분은 물리적 유닛이거나 또는 물리적 유닛이 아닐 수 있으며, 하나의 위치에 놓여 있을 수 있거나, 또는 복수의 네트워크 유닛 상에 분산되어 있을 수 있다. 유닛 중 일부 또는 전부가 실시형태에서 해결수단의 목적을 달성하기 위한 실제 필요에 따라 선택될 수 있다.

또한, 본 발명의 실시형태의 기능 유닛은 하나의 처리 유닛으로 통합될 수 있거나, 또는 각각의 유닛이 물리적으로 단독으로 존재할 수도 있거나, 또는 2개 이상의 유닛이 하나의 유닛으로 통합될 수 있다. 통합 유닛은 하드웨어의 형태로 구현될 수 있고, 또는 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.

전술한 통합 유닛이 구현된 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용되는 경우, 통합 유닛은 컴퓨터로 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해를 바탕으로, 본질적으로 본 발명의 과제 해결수단, 또는 종래 기술에 기여하는 부분, 또는 과제 해결수단 중 전부나 일부가 소프트웨어 제품의 형태로 구현될 수 있다. 이 소프트웨어 제품은 저장 매체 내에 저장되고, 본 발명의 실시형태에서 설명되는 방법의 단계의 전부 또는 일부를 수행하도록 컴퓨터 장치(개인용 컴퓨터, 서버, 또는 네트워크 장치일 수 있음)에 지시하기 위한 명령을 포함한다. 전술한 저장 매체는 프로그램 코드를 저장할 수 있는 임의의 저장 매체, 예를 들어 USB 플래쉬 드라이브, 읽기 전용 메모리, 랜덤 액세스 메모리, 착탈식 하드디스크, 자기 디스크, 또는 광 디스크를 포함한다.

전술한 실시형태는 본 발명의 과제 해결수단을 설명하기 위한 것일 뿐이며, 본 발명을 제한하려고 하는 것이 아니다. 본 발명을 전술한 실시형태를 참조하여 설명하였으나, 당업자라면 본 발명의 실시형태의 과제 해결수단의 사상 및 범위에서 벗어나지 않고도 전술한 실시형태에서 설명된 과제 해결수단에 대해 여전히 변경이 이루어질 수 있거나 또는 과제 해결수단의 일부 기술적인 특징에 대해 등가의 대체가 이루어질 수 있다는 것을 이해해야 한다.

Claims

픽쳐 예측 방법(picture prediction method)으로서,
현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자(motion vector predictor)를 결정하는 단계 - K는 1보다 큰 정수이고, 상기 K개의 화소 샘플은 상기 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플(vertex angle pixel sample)을 포함하며, 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자는 상기 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득되고, 상기 공간적으로 인접한 제1 픽쳐 블록은 상기 제1 꼭지각 화소 샘플과 공간적으로 인접함 -; 및
비-병진 움직임 모델(non-translational motion model) 및 상기 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여 상기 현재 픽쳐 블록에 대해 화소 값 예측을 수행하는 단계
를 포함하는 픽쳐 예측 방법.
제1항에 있어서,
상기 K개의 화소 샘플은 상기 현재 픽쳐 블록 내의 좌측 상부 화소 샘플, 또는 우측 상부 화소 샘플, 또는 좌측 하부 화소 샘플 중 적어도 2개의 화소 샘플을 포함하고;
상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플은 상기 현재 픽쳐 블록의 좌측 상부 꼭지점에 있거나 또는 상기 현재 픽쳐 블록 내에 있으면서 상기 현재 픽쳐 블록의 좌측 상부 꼭지점을 포함하는 화소 블록이고, 상기 현재 픽쳐 블록 내의 상기 좌측 하부 화소 샘플은 상기 현재 픽쳐 블록의 좌측 하부 꼭지점에 있거나 또는 상기 현재 픽쳐 블록 내에 있으면서 상기 현재 픽쳐 블록의 좌측 하부 꼭지점을 포함하는 화소 블록이며, 상기 현재 픽쳐 블록 내의 상기 우측 상부 화소 샘플은 상기 현재 픽쳐 블록의 우측 상부 꼭지점에 있거나 또는 상기 현재 픽쳐 블록 내에 있으면서 상기 현재 픽쳐 블록의 우측 상부 꼭지점을 포함하는 화소 블록인, 픽쳐 예측 방법.
제2항에 있어서,
상기 공간적으로 인접한 제1 픽쳐 블록은 픽쳐 블록 X1, 픽쳐 블록 X2, 또는 픽쳐 블록 X3이고;
상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플의 움직임 벡터 예측자는 상기 픽쳐 블록 X1의 움직임 벡터에 기초하여 획득되고, 상기 픽쳐 블록 X1은 상기 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이며, 상기 픽쳐 블록 X1은 상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플과 공간적으로 인접하고;
상기 현재 픽쳐 블록 내의 상기 우측 상부 화소 샘플의 움직임 벡터 예측자는 상기 픽쳐 블록 X2의 움직임 벡터에 기초하여 획득되고, 상기 픽쳐 블록 X2는 상기 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이며, 상기 픽쳐 블록 X2는 상기 현재 픽쳐 블록 내의 상기 우측 상부 화소 샘플과 공간적으로 인접하고;
상기 현재 픽쳐 블록 내의 상기 좌측 하부 화소 샘플의 움직임 벡터 예측자는 상기 픽쳐 블록 X3의 움직임 벡터에 기초하여 획득되고, 상기 픽쳐 블록 X3은 상기 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이며, 상기 픽쳐 블록 X3은 상기 현재 픽쳐 블록 내의 상기 좌측 하부 화소 샘플과 공간적으로 인접한, 픽쳐 예측 방법.
제3항에 있어서,
상기 제1 꼭지각 화소 샘플은 상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플이고, 상기 공간적으로 인접한 제1 픽쳐 블록은 상기 픽쳐 블록 X1이며, 상기 픽쳐 블록 X1은 상기 현재 픽쳐 블록의 좌측 상부에서 공간적으로 인접한 픽쳐 블록인, 픽쳐 예측 방법.
제4항에 있어서,
상기 픽쳐 블록 X2는 상기 현재 픽쳐 블록의 위에서 공간적으로 인접한 픽쳐 블록이거나; 또는
상기 픽쳐 블록 X2의 움직임 벡터 절대값과 상기 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값이 상기 픽쳐 블록 X5의 움직임 벡터 절대값과 상기 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값보다 크거나 같고, 상기 픽쳐 블록 X5는 상기 우측 상부 꼭지점과 공간적으로 인접한 상기 현재 픽쳐 블록 중의 픽쳐 블록으로서, 상기 픽쳐 블록 X2를 제외한 공간적으로 인접한 나머지 적어도 일부의 픽쳐 블록 중 하나인, 픽쳐 예측 방법.
제4항 또는 제5항에 있어서,
상기 픽쳐 블록 X3은 상기 현재 픽쳐 블록의 좌측에서 공간적으로 인접한 픽쳐 블록이거나; 또는
상기 픽쳐 블록 X3의 움직임 벡터 절대값과 상기 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값이 상기 픽쳐 블록 X6의 움직임 벡터 절대값과 상기 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값보다 크거나 같고, 상기 픽쳐 블록 X6은 상기 좌측 하부 꼭지점과 공간적으로 인접한 상기 현재 픽쳐 블록 중의 픽쳐 블록으로서, 상기 픽쳐 블록 X3을 제외한 공간적으로 인접한 나머지 적어도 일부의 픽쳐 블록 중 하나인, 픽쳐 예측 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 비-병진 움직임 모델 및 상기 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여 상기 현재 픽쳐 블록에 대해 화소 값 예측을 수행하는 단계는,
상기 K개의 화소 샘플 중 K1개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임(reference frame)이 참조 프레임 Y1이 아닌 경우, 상기 K개의 화소 샘플의 움직임 벡터를 획득하기 위해, 상기 K1개의 화소 샘플의 움직임 벡터 예측자를 상기 참조 프레임 Y1로 스케일 조절하고, K2개의 화소 샘플의 움직임 벡터 예측자 및 상기 K개의 화소 샘플의 움직임 벡터 예측자로서, 상기 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용하여 상기 K개의 화소 샘플에 대해 움직임 추정을 수행하며, 상기 비-병진 움직임 모델 및 상기 K개의 화소 샘플의 움직임 벡터를 이용하여 상기 현재 픽쳐 블록에 대해 화소 값 예측을 수행하는 단계를 포함하고, 상기 K2개의 화소 샘플은 상기 K개의 화소 샘플 중에서 상기 K1개의 화소 샘플을 제외한 나머지 화소 샘플이며, K1 및 K2는 양의 정수인, 픽쳐 예측 방법.
제7항에 있어서,
화소 샘플 i는 상기 K개의 화소 샘플 중에서 상기 제1 꼭지각 화소 샘플을 제외한 임의의 화소 샘플이고, 상기 화소 샘플 i의 움직임 벡터 예측자에 대응하는 예측 방향이 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 예측 방향과 다르면 상기 화소 샘플 i의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스가 0인, 픽쳐 예측 방법.
제8항에 있어서,
상기 참조 프레임 Y1은 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이고,
상기 화소 샘플 i의 움직임 벡터 예측자가 상기 참조 프레임 Y1로 스케일 조절된다는 것은, 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스와 상기 화소 샘플 i에 대응하는 참조 프레임 인덱스가 서로 다르면 상기 화소 샘플 i의 움직임 벡터 예측자가 상기 참조 프레임 Y1로 스케일 조절된다는 것을 포함하는, 픽쳐 예측 방법.
제7항 내지 제9항 중 어느 한 항에 있어서,
상기 K개의 화소 샘플의 움직임 벡터를 획득하기 위해, K2개의 화소 샘플의 움직임 벡터 예측자 및 상기 K개의 화소 샘플의 움직임 벡터 예측자로서, 상기 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용하여 상기 K개의 화소 샘플에 대해 움직임 추정을 수행하는 것은,
상기 K개의 화소 샘플의 움직임 벡터를 획득하기 위해, 상기 K2개의 화소 샘플의 움직임 벡터 예측자 및 상기 K개의 화소 샘플의 움직임 벡터 예측자로서, 상기 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용함으로써 반복 검색 알고리즘에 기초하여 상기 K개의 화소 샘플에 대해 움직임 추정을 수행하는 것
을 포함하는, 픽쳐 예측 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 비-병진 움직임 모델은 아핀 변환 모델(affine transformation model), 또는 포물선 움직임 모델, 또는 회전 움직임 모델, 또는 원근 움직임 모델(perspective motion model), 또는 전단 움직임 모델(shearing motion model), 또는 스케일러블 움직임 모델(scalable motion model) 중 하나인, 픽쳐 예측 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 픽쳐 예측 방법은 비디오 코딩 프로세스에 적용되거나, 또는 상기 픽쳐 예측 방법은 비디오 디코딩 프로세스에 적용되는, 픽쳐 예측 방법.
픽쳐 예측 장치로서,
현재 픽쳐 블록 내의 K개의 화소 샘플의 움직임 벡터 예측자를 결정하도록 구성된 결정 유닛 - K는 1보다 큰 정수이고, 상기 K개의 화소 샘플은 상기 현재 픽쳐 블록 내의 제1 꼭지각 화소 샘플을 포함하며, 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자는 상기 현재 픽쳐 블록과 공간적으로 인접한 사전 설정된 제1 픽쳐 블록의 움직임 벡터에 기초하여 획득되고, 상기 공간적으로 인접한 제1 픽쳐 블록은 상기 제1 꼭지각 화소 샘플과 공간적으로 인접함 -; 및
비-병진 움직임 모델 및 상기 K개의 화소 샘플의 움직임 벡터 예측자에 기초하여 상기 현재 픽쳐 블록에 대해 화소 값 예측을 수행하도록 구성된 예측 유닛
을 포함하는 픽쳐 예측 장치.
제13항에 있어서,
상기 K개의 화소 샘플은 상기 현재 픽쳐 블록 내의 좌측 상부 화소 샘플, 또는 우측 상부 화소 샘플, 또는 좌측 하부 화소 샘플 중 적어도 2개의 화소 샘플을 포함하고;
상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플은 상기 현재 픽쳐 블록의 좌측 상부 꼭지점에 있거나 또는 상기 현재 픽쳐 블록 내에 있으면서 상기 현재 픽쳐 블록의 좌측 상부 꼭지점을 포함하는 화소 블록이고, 상기 현재 픽쳐 블록 내의 상기 좌측 하부 화소 샘플은 상기 현재 픽쳐 블록의 좌측 하부 꼭지점에 있거나 또는 상기 현재 픽쳐 블록 내에 있으면서 상기 현재 픽쳐 블록의 좌측 하부 꼭지점을 포함하는 화소 블록이며, 상기 현재 픽쳐 블록 내의 상기 우측 상부 화소 샘플은 상기 현재 픽쳐 블록의 우측 상부 꼭지점에 있거나 또는 상기 현재 픽쳐 블록 내에 있으면서 상기 현재 픽쳐 블록의 우측 상부 꼭지점을 포함하는 화소 블록인, 픽쳐 예측 장치.
제14항에 있어서,
상기 공간적으로 인접한 제1 픽쳐 블록은 픽쳐 블록 X1, 픽쳐 블록 X2, 또는 픽쳐 블록 X3이고;
상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플의 움직임 벡터 예측자는 상기 픽쳐 블록 X1의 움직임 벡터에 기초하여 획득되고, 상기 픽쳐 블록 X1은 상기 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이며, 상기 픽쳐 블록 X1은 상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플과 공간적으로 인접하고;
상기 현재 픽쳐 블록 내의 상기 우측 상부 화소 샘플의 움직임 벡터 예측자는 상기 픽쳐 블록 X2의 움직임 벡터에 기초하여 획득되고, 상기 픽쳐 블록 X2는 상기 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이며, 상기 픽쳐 블록 X2는 상기 현재 픽쳐 블록 내의 상기 우측 상부 화소 샘플과 공간적으로 인접하고;
상기 현재 픽쳐 블록 내의 상기 좌측 하부 화소 샘플의 움직임 벡터 예측자는 상기 픽쳐 블록 X3의 움직임 벡터에 기초하여 획득되고, 상기 픽쳐 블록 X3은 상기 현재 픽쳐 블록과 공간적으로 인접한 픽쳐 블록이며, 상기 픽쳐 블록 X3은 상기 현재 픽쳐 블록 내의 상기 좌측 하부 화소 샘플과 공간적으로 인접한, 픽쳐 예측 장치.
제15항에 있어서,
상기 제1 꼭지각 화소 샘플은 상기 현재 픽쳐 블록 내의 상기 좌측 상부 화소 샘플이고, 상기 공간적으로 인접한 제1 픽쳐 블록은 상기 픽쳐 블록 X1이며, 상기 픽쳐 블록 X1은 상기 현재 픽쳐 블록의 좌측 상부에서 공간적으로 인접한 픽쳐 블록인, 픽쳐 예측 장치.
제16항에 있어서,
상기 픽쳐 블록 X2는 상기 현재 픽쳐 블록의 위에서 공간적으로 인접한 픽쳐 블록이거나; 또는
상기 픽쳐 블록 X2의 움직임 벡터 절대값과 상기 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값이 상기 픽쳐 블록 X5의 움직임 벡터 절대값과 상기 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값보다 크거나 같고, 상기 픽쳐 블록 X5는 상기 우측 상부 꼭지점과 공간적으로 인접한 상기 현재 픽쳐 블록 중의 픽쳐 블록으로서, 상기 픽쳐 블록 X2를 제외한 공간적으로 인접한 나머지 적어도 일부의 픽쳐 블록 중 하나인, 픽쳐 예측 장치.
제16항 또는 제17항에 있어서,
상기 픽쳐 블록 X3은 상기 현재 픽쳐 블록의 좌측에서 공간적으로 인접한 픽쳐 블록이거나; 또는
상기 픽쳐 블록 X3의 움직임 벡터 절대값과 상기 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값이 상기 픽쳐 블록 X6의 움직임 벡터 절대값과 상기 픽쳐 블록 X1의 움직임 벡터 절대값 간의 차이의 절대값보다 크거나 같고, 상기 픽쳐 블록 X6은 상기 좌측 하부 꼭지점과 공간적으로 인접한 상기 현재 픽쳐 블록 중의 픽쳐 블록으로서, 상기 픽쳐 블록 X3을 제외한 공간적으로 인접한 나머지 적어도 일부의 픽쳐 블록 중 하나인, 픽쳐 예측 장치.
제13항 내지 제18항 중 어느 한 항에 있어서,
상기 예측 유닛은 구체적으로, 상기 K개의 화소 샘플 중 K1개의 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이 참조 프레임 Y1이 아닌 경우, 상기 K개의 화소 샘플의 움직임 벡터를 획득하기 위해, 상기 K1개의 화소 샘플의 움직임 벡터 예측자를 상기 참조 프레임 Y1로 스케일 조절하고, K2개의 화소 샘플의 움직임 벡터 예측자 및 상기 K개의 화소 샘플의 움직임 벡터 예측자로서, 상기 참조 프레임 Y1로 스케일 조절된 움직임 벡터 예측자를 이용하여 상기 K개의 화소 샘플에 대해 움직임 추정을 수행하며, 상기 비-병진 움직임 모델 및 상기 K개의 화소 샘플의 움직임 벡터를 이용하여 상기 현재 픽쳐 블록에 대해 화소 값 예측을 수행하도록 구성되고, 상기 K2개의 화소 샘플은 상기 K개의 화소 샘플 중에서 상기 K1개의 화소 샘플을 제외한 나머지 화소 샘플이며, K1 및 K2는 양의 정수인, 픽쳐 예측 장치.
제19항에 있어서,
화소 샘플 i는 상기 K개의 화소 샘플 중에서 상기 제1 꼭지각 화소 샘플을 제외한 임의의 화소 샘플이고, 상기 화소 샘플 i의 움직임 벡터 예측자에 대응하는 예측 방향이 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 예측 방향과 다르면 상기 화소 샘플 i의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스가 0인, 픽쳐 예측 장치.
제20항에 있어서,
상기 참조 프레임 Y1은 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임이고,
상기 예측 유닛은 구체적으로, 상기 제1 꼭지각 화소 샘플의 움직임 벡터 예측자에 대응하는 참조 프레임 인덱스와 상기 화소 샘플 i에 대응하는 참조 프레임 인덱스가 서로 다르면 상기 화소 샘플 i의 움직임 벡터 예측자를 상기 참조 프레임 Y1로 스케일링하도록 구성되는, 픽쳐 예측 장치.
제13항 내지 제21항 중 어느 한 항에 있어서,
상기 비-병진 움직임 모델은 아핀 변환 모델, 또는 포물선 움직임 모델, 또는 회전 움직임 모델, 또는 원근 움직임 모델, 또는 전단 움직임 모델, 또는 스케일러블 움직임 모델 중 하나인, 픽쳐 예측 장치.
제13항 내지 제22항 중 어느 한 항에 있어서,
상기 픽쳐 예측 장치는 비디오 코딩 장치에 적용되거나, 또는 상기 픽쳐 예측 장치는 비디오 디코딩 장치에 적용되는, 픽쳐 예측 장치.