KR101865011B1 - 모션 예측 방법 - Google Patents

Abstract

본 발명은 모션 예측 방법을 제공한다. 첫번째로, 현재 프레임의 현재 유닛에 대응하는 복수의 후보 유닛들이 결정된다. 그런 후 후보 유닛들의 복수의 모션 벡터들이 획득된다. 그런 후 현재 프레임과 모션 벡터들의 복수의 참조 프레임들간의 복수의 시간적 거리들에 따라 후보 유닛들의 복수의 시간적 스케일링 인자들이 계산된다. 그런 후 후보 유닛들의 모션 벡터들은 시간적 스케일링 인자들에 따라 스케일링되어 복수의 스케일링된 모션 벡터들이 획득된다. 마지막으로, 그 후 스케일링된 모션 벡터들에 따라 현재 유닛의 모션 예측을 위한 모션 벡터 예측자가 후보 유닛들로부터 선택된다.

Description

모션 예측 방법{MOTION PREDICTION METHOD}

본 출원은 2010년 1월 18일에 출원된 미국 가특허 출원 제61/295,810호 및 2010년 4월 22일에 출원된 미국 가특허 출원 제61/326,731호의 우선권을 청구하며, 이 가특허 출원의 내용들은 참조로서 본 명세서내에 병합된다.

본 발명은 비디오 프로세싱에 관한 것이며, 보다 구체적으로는 비디오 데이터의 모션 예측에 관한 것이다.

새롭게 다가오는 H.264 압축 표준은 서브픽셀 정확도 및 다중 참조와 같은 특징들을 채용함으로써 이전 표준들보다 실질적으로 낮은 비트 레이트들로 양호한 비디오 퀄리티를 제공할 수 있다. 비디오 압축 프로세스는 일반적으로 다섯 개 부분들, 즉 인터 예측/인트라 예측(inter-prediction/intra-prediction), 변환/역변환, 양자화/역양자화, 루프 필터, 및 엔트로피 인코딩으로 분할될 수 있다. 블루레이 디스크, DVB 브로드캐스팅 서비스, 다이렉트 브로드캐스트 위성 텔레비젼 서비스, 케이블 텔레비젼 서비스, 및 실시간 화상회의와 같은 다양한 응용들에서 H.264가 이용된다.

비디오 데이터스트림은 일련의 프레임들을 포함한다. 각각의 프레임은 비디오 프로세싱을 위한 복수의 코딩 유닛들(예컨대, 매크로블록들 또는 확장된 매크로블록들)로 분할된다. 각각의 코딩 유닛은 쿼드 트리 파티션(quad-tree partition)들로 세그먼트화될 수 있고, 리프 코딩 유닛(leaf coding unit)을 예측 유닛이라고 부른다. 예측 유닛은 쿼드 트리 파티션들로 더욱 세그먼트화될 수 있고, 각각의 파티션에는 모션 파라미터가 할당된다. 방대한 양의 모션 파라미터들을 전송하는 비용을 감소시키기 위해, 인접한 코딩된 블록들을 참조하여 각각의 파티션에 대한 모션 벡터 예측자(motion vector predictor; MVP)가 계산되고, 이에 따라 인접한 블록들의 모션은 높은 공간적 상관을 가지려는 경향이 있으므로 코딩 효율성은 향상될 수 있다.

도 1을 참조하면, 현재 유닛(100)과 복수의 이웃 유닛들(A, B, C, D)의 개략도가 도시된다. 이 예시에서, 현재 유닛(100)과 이웃 유닛들(A, B, C, D)은 모두 동일한 크기를 갖지만, 이 유닛들은 동일한 크기일 필요는 없다. 이웃 유닛들(A, B, C)의 모션 벡터들에 따라, 또는 유닛(C)이 이용가능하지 않는 경우에는 유닛들(A, B, D)의 모션 벡터들에 따라, 현재 유닛(100)의 모션 벡터 예측자(MVP)가 예측된다. 현재 유닛(100)이 16×16 블록이고 이웃 유닛(C)의 모션 벡터가 존재하는 경우, 이웃 유닛들(A, B, C)의 모션 벡터들의 중간치(medium)가 현재 유닛(100)의 MVP가 되도록 결정된다. 현재 유닛(100)이 16×16 블록이고 이웃 유닛(C)의 모션 벡터가 존재하지 않는 경우, 이웃 유닛들(A, B, D)의 모션 벡터들의 중간치가 현재 유닛(100)의 MVP가 되도록 결정된다. 현재 유닛(100)이 16×16 블록의 좌측 절반에 있는 8×16 파티션인 경우, 이웃 유닛(A)의 모션 벡터가 현재 유닛(100)의 MVP가 되도록 결정된다. 현재 유닛(100)이 16×16 블록의 우측 절반에 있는 8×16 파티션인 경우, 이웃 유닛(C)의 모션 벡터가 현재 유닛(100)의 MVP가 되도록 결정된다. 현재 유닛(100)이 16×16 블록의 윗쪽 절반에 있는 16×8 파티션인 경우, 이웃 유닛(B)의 모션 벡터가 현재 유닛(100)의 MVP가 되도록 결정된다. 현재 유닛(100)이 16×16 블록의 아래쪽 절반에 있는 16×8 파티션인 경우, 이웃 유닛(A)의 모션 벡터가 현재 유닛(100)의 MVP가 되도록 결정된다.

이웃 유닛들(A, B, C, D)의 모션 벡터들에 따라 현재 유닛의 MVP가 예측될 때, 이웃 유닛들(A, B, C, D)의 모션 벡터들은 적절하게 시간적 스케일링되지 않는다. 예를 들어, 이웃 유닛들(A, B, C)의 참조 프레임은 상이하며, 이웃 유닛들(A, B, C)의 모션 벡터들은 참조 프레임들에 각각 대응한다. 참조 프레임들 각각과 현재 프레임간의 시간적 거리들은 상이하다. 그러므로 이웃 유닛들(A, B, C)의 모션 벡터들에 따라 현재 유닛(100)의 MVP를 예측하기 전에, 이웃 유닛들(A, B, C)의 모션 벡터들은 시간적 거리들에 따라 시간적 스케일링되어야 한다.

현재 유닛(100)의 MVP는 단지 이웃 유닛들(A, B, C, D)의 모션 벡터들에 따라 예측된다. 보다 많은 후보 MVP들이 고려되고 후보 MVP들 중에서 최상의 MVP가 레이트 왜곡 최적화에 의해 선택된다면 MVP의 예측 정확도는 더욱 향상될 수 있다. 예를 들어, 시퀀스 레벨로 규정된 미리정의된 후보 세트로부터 최상의 MVP를 선택하기 위해 모션 벡터 경쟁(motion vector competition; MVC)이 제안된다. 미리정의된 후보 세트는 H.264 표준 예측자(예컨대, 이웃 유닛들의 중간값 MV), 현재 유닛의 위치와 동일한 참조 프레임내 위치에 있는 콜로케이트 유닛의 MV, 및 이웃 유닛들의 MV들을 포함할 수 있다. 미리정의된 후보 세트에 있는 MVP들의 권장하는 갯수는 두 개이다. 모션 벡터 경쟁 방법에 따른, 미리정의된 후보 세트는 비디오 시퀀스 레벨로 고정된다.

본원 발명은 모션 예측 방법을 제공한다. 먼저, 현재 프레임의 현재 유닛에 대응하는 복수의 후보 유닛들이 결정된다. 후보 유닛들은, 적어도 상기 현재 유닛의 이웃 유닛과 적어도 현재 유닛의 콜로케이트 유닛(collocated unit)과 관련된 참조 유닛을 포함할 수 있다. 콜로케이트 유닛과 관련된 참조 유닛은 콜로케이트 유닛의 우측 하단 방향의 라인상에 있는 유닛을 포함할 수 있다. 그런 후, 후보 유닛들의 복수의 모션 벡터들이 획득된다. 그런 후 모션 벡터들의 복수의 참조 프레임들에 의존하는 복수의 개별 시간적 거리들(temporal distances)에 따라 후보 유닛들의 복수의 스케일링 인자들이 계산된다. 그런 후 복수의 스케일링된 모션 벡터들을 획득하기 위해 스케일링 인자들에 따라 후보 유닛들의 모션 벡터들이 스케일링된다. 그런 후 스케일링된 모션 벡터들이 등급화(ranking)된다. 그런 후 후보 세트 내에 포함되는 복수의 스케일링된 모션 벡터들 중 가장 높은 등급의 모션 벡터들의 서브 세트이 식별된다. 그런 후 후보 세트로부터 현재 유닛의 모션 예측을 위한 모션 벡터 예측자이 선택된다.

본원 발명은 또한 비디오 코딩 장치를 제공한다. 프로세싱 회로는 현재 프레임의 현재 유닛에 대응하는 복수의 후보 유닛들을 결정하도록 구성된다. 후보 유닛들은, 적어도 현재 유닛의 이웃 유닛과 적어도 현재 유닛의 콜로케이트 유닛(collocated unit)과 관련된 참조 유닛을 포함할 수 있다. 콜로케이트 유닛과 관련된 참조 유닛은 콜로케이트 유닛의 우측 하단 방향의 라인상에 있는 유닛을 포함할 수 있다. 프로세싱 회로는 또한 후보 유닛들의 복수의 모션 벡터들을 획득하고, 모션 벡터들의 복수의 참조 프레임들에 의존하는 복수의 개별 시간적 거리들(temporal distances)에 따라 후보 유닛들의 복수의 스케일링 인자들을 계산하고, 복수의 스케일링된 모션 벡터들을 획득하기 위해 스케일링 인자들에 따라 후보 유닛들의 모션 벡터들을 스케일링하고, 스케일링된 모션 벡터들을 등급화(ranking)하고, 후보 세트 내에 포함되는 복수의 스케일링된 모션 벡터들 중 가장 높은 등급의 모션 벡터들의 서브 세트를 식별하고, 후보 세트로부터 현재 유닛의 모션 예측을 위한 모션 벡터 예측자를 선택하고, 선택된 모션 벡터 예측자에 기초하여 비디오를 인코딩 또는 디코딩하도록 구성된다.

첨부 도면들을 참조하여 상세한 설명이 아래의 실시예들에서 주어진다.

본 발명은 첨부된 도면들을 참조하면서 후속하는 상세한 설명과 예시들을 판독함으로써 보다 완전하게 이해될 수 있다.
도 1은 현재 코딩 유닛과 복수의 이웃 코딩 유닛들의 개략도이다.
도 2는 본 발명에 따른 비디오 인코더의 블록도이다.
도 3은 두 개의 후보 유닛들의 모션 벡터의 스케일링의 개략도이다.
도 4는 시간적 차이 조정을 갖는 모션 예측 방법의 흐름도이다.
도 5는 본 발명의 실시예에 따른 현재 유닛의 모션 예측을 위한 복수의 후보 유닛들의 개략도이다.
도 6a 및 도 6b는 본 발명의 실시예에 따라 후보 유닛들이 적응적으로 선정되는 모션 예측 방법의 흐름도를 도시한다.
도 7은 본 발명의 실시예에 따른 후보 유닛들 및 상이한 코딩 유닛들에 대응하는 테이블 기록 모션 차이값들의 개략도이다.

이하의 설명은 본 발명을 수행하기 위한 최상의 구상 모드에 관한 것이다. 본 설명은 본 발명의 일반적인 원리들을 설명할 목적으로 기술된 것이며, 본 발명의 범위를 한정하는 의미로 받아들여서는 안된다. 본 발명의 범위는 첨부된 청구항들에 대한 참조에 의해 최상으로 결정된다.

도 2를 참조하면, 비디오 인코더(200)의 블록도가 도시된다. 일 실시예에서, 비디오 인코더(200)는 모션 예측 모듈(202), 감산 모듈(204), 변환 모듈(206), 양자화 모듈(208), 및 엔트로피 코딩 모듈(210)을 포함한다. 비디오 인코더(200)는 비디오 입력을 수신하고 비트스트림을 출력으로서 생성한다. 모션 예측 모듈(202)은 비디오 입력에 대한 모션 예측을 수행하여 예측된 샘플들 및 예측 정보를 생성한다. 그런 후 감산 모듈(204)은 비디오 입력으로부터 예측된 샘플들을 감산하여 레지듀들을 획득하고, 이로써 비디오 입력의 데이터량으로부터 비디오 데이터량을 레지듀들의 데이터량으로 감소시킨다. 그런 후 레지듀들은 변환 모듈(206) 및 양자화 모듈(208)로 순차적으로 보내진다. 변환 모듈(206)은 레지듀들에 대해 이산 코사인 변환(discrete cosine transform; DCT)을 수행하여 변환된 레지듀들이 획득된다. 그런 후 양자화 모듈(208)은 변환된 레지듀들을 양자화하여 양자화된 레지듀들이 획득된다. 그런 후 엔트로피 코딩 모듈(210)은 양자화된 레지듀들 및 예측 정보에 대해 엔트로피 코딩을 수행하여 비디오 출력으로서 비트스트림이 획득된다.

모션 예측 모듈(202)은 복수의 후보 유닛들의 모션 벡터들에 따라 현재 프레임의 현재 유닛의 모션 벡터 예측자(MVP)를 예측한다. 일 실시예에서, 후보 유닛들은 현재 유닛에 이웃해 있는 이웃 유닛들이다. 모션 예측 모듈(202)이 현재 유닛의 MVP를 예측하기 전에, 현재 프레임과 후보 유닛들의 참조 프레임들간의 시간적 거리들이 계산되며, 후보 유닛들의 모션 벡터들이 시간적 거리들에 따라 스케일링된다. 도 3을 참조하면, 두 개의 후보 유닛들(310, 320)의 모션 벡터의 스케일링의 개략도가 도시된다. 현재 프레임 k는 현재 유닛(300)의 모션 예측을 위한 두 개의 후보 유닛들(310, 320)을 포함한다. 제1 후보 유닛(310)은 참조 프레임 i를 참조하는 모션 벡터 MV₁을 가지며, 참조 프레임 i와 현재 프레임 k간의 제1 시간적 차이 D_ik가 계산된다. 제2 후보 유닛(320)은 참조 프레임 l을 참조하는 모션 벡터 MV₂를 가지며, 참조 프레임 l과 현재 프레임 k간의 제2 시간적 차이 D_lk가 계산된다.

그런 후 타겟 검색 프레임 j와 현재 프레임 k간의 타겟 시간적 거리 D_jk가 계산된다. 타겟 검색 프레임 j는 선택된 참조 프레임이다. 그런 후 타겟 시간적 거리 D_jk를 제1 시간적 거리 D_ik로 나눔으로써 제1 시간적 스케일링 인자가 계산되고, 제1 후보 유닛(310)의 모션 벡터 MV₁은 제1 시간적 스케일링 인자(D_jk/D_ik)와 곱해져서 제1 후보 유닛(310)에 대응하는 스케일링된 모션 벡터 MV₁’가 획득된다. 그런 후 타겟 시간적 거리 D_jk를 제2 시간적 거리 D_lk로 나눔으로써 제2 시간적 스케일링 인자가 계산되고, 제2 후보 유닛(320)의 모션 벡터 MV₂는 제2 시간적 스케일링 인자(D_jk/D_lk)와 곱해져서 제2 후보 유닛(320)에 대응하는 스케일링된 모션 벡터 MV₂’가 획득된다. 따라서, 스케일링된 모션 벡터들 MV₁’ 및 MV₂’은 모두 타겟 검색 프레임 j를 참조하여 측정되고, 이에 따라 시간적 거리 차이 인자는 스케일링된 모션 벡터들 MV₁’ 및 MV₂’로부터 제거된다. 그런 후 모션 예측 모듈(202)이 후보 유닛들(310, 320)의 스케일링된 모션 벡터들 MV₁’ 및 MV₂’에 따라 현재 프레임(300)의 MVP를 예측할 수 있다.

도 4를 참조하면, 시간적 차이 조정을 갖는 모션 예측 방법(400)의 흐름도가 도시된다. 첫번째로, 현재 프레임의 현재 유닛의 모션 예측을 위한 복수의 후보 유닛들이 결정된다(단계 402). 후보 유닛들과 현재 유닛은 동일하거나 또는 상이한 크기들을 갖는 블록들이며, 이러한 유닛들 각각은 코딩 유닛, 예측 유닛, 또는 예측 유닛 파티션일 수 있다. 일 실시예에서, 후보 유닛들은 현재 유닛의 좌측상에 있는 좌측 유닛(A), 현재 유닛의 상단부상에 있는 상측 유닛(B), 현재 유닛의 우측 상단 방향의 라인상에 있는 우측 상단 유닛(C), 현재 유닛의 좌측 상단 방향의 라인상에 있는 좌측 상단 유닛(D)을 포함한다. 그런 후 후보 유닛들의 복수의 모션 벡터들이 획득된다(단계 404). 그런 후 현재 프레임과 후보 유닛들의 참조 프레임들간의 시간적 거리들에 따라 후보 유닛들의 복수의 시간적 스케일링 인자들이 계산된다(단계 406). 일 실시예에서, 현재 프레임과 후보 유닛들의 참조 프레임들간의 복수의 시간적 거리들이 제일먼저 계산되고, 또한 현재 프레임과 타겟 검색 프레임간의 타겟 시간적 거리가 계산되며, 그런 후 타겟 시간적 거리는 후보 유닛들에 대응하는 시간적 거리들로 각각 나눠져서, 도 3에서 도시된 바와 같은, 후보 유닛들에 대응하는 복수의 시간적 스케일링 인자들이 획득된다.

그런 후 후보 유닛들의 모션 벡터들은 시간적 스케일링 인자들에 따라 스케일링되어 복수의 스케일링된 모션 벡터들이 획득된다(단계 408). 일 실시예에서, 후보 유닛들의 모션 벡터들은 후보 유닛들의 시간적 스케일링 인자들로 각각 곱해져서, 도 3에서 도시된 바와 같은, 후보 유닛들의 스케일링된 모션 벡터들이 획득된다. 그런 후, 스케일링된 모션 벡터들에 따라 현재 유닛의 모션 벡터 예측자가 후보 유닛들로부터 선택된다(단계 410). 일 실시예에서, 스케일링된 모션 벡터들은 정렬(sort)되고, 그런 후 중간치 스케일링된 모션 벡터가 현재 유닛의 MVP로서 스케일링된 모션 벡터들로부터 선택된다.

모션 예측 모듈(202)이 모션 벡터 경쟁 방법에 따라 현재 유닛의 MVP를 결정할 때, 일반적으로는, 시퀀스 레벨로 결정된 두 개의 후보 유닛들의 모션 벡터들만이 현재 유닛의 MVP를 결정하기 위한 후보 세트 내에 포함된다. 이에 더하여, 후보 세트는 현재 유닛의 특성들에 따라 적응적으로 결정되지 않는다. 후보 세트가 현재 유닛의 특성들에 따라 적응적으로 결정된다면 모션 예측의 성능은 향상될 수 있다.

도 5를 참조하면, 본 발명의 실시예에 따른 현재 유닛(512)의 모션 예측을 위한 복수의 후보 유닛들의 개략도가 도시된다. 이 실시예에서, 현재 유닛(512) 및 후보 유닛들은 상이한 크기들을 갖는 블록들이며, 예컨대 현재 유닛(512)은 16×16 블록이고 후보 유닛들은 4×4 블록들이다. 또다른 실시예에서, 현재 유닛과 후보 유닛들의 크기는 동일하거나 상이할 수 있으며, 그 크기는 4×4, 8×8, 8×16, 16×8, 16×16, 32×32, 또는 64×64일 수 있다. 이 실시예에서는, 현재 프레임(502)의 네 개의 후보 유닛들(A, B, C, D)의 모션 벡터들이 현재 유닛(512)의 MVP를 결정하기 위한 후보들로서 취해질 수 있다. 또한, 콜로케이트(collocated) 유닛(514)은 현재 프레임(502) 내에서의 현재 유닛(512)의 위치와 동일한 참조 프레임(504) 내 위치를 가지며, 콜로케이트 유닛(514)에 이웃해 있거나 또는 콜로케이트 유닛(514) 내의 복수의 후보 유닛들(a~j)의 모션 벡터들이 또한 현재 유닛(512)의 MVP를 결정하기 위한 후보들로서 취해질 수 있다.

현재 프레임(502) 내의 후보 유닛(A)은 현재 유닛(512)의 좌측상에 있는 파티션이고, 현재 프레임(502) 내의 후보 유닛(B)은 현재 유닛(512)의 상단부상에 있는 파티션이고, 현재 프레임(502) 내의 후보 유닛(C)은 현재 유닛(512)의 우측 상단 방향의 라인상에 있는 파티션이며, 현재 프레임(502) 내의 후보 유닛(D)은 현재 유닛(512)의 좌측 상단 방향의 라인상에 있는 파티션이다. 참조 프레임(504) 내의 후보 유닛(a)은 콜로케이트 유닛(514)의 좌측상에 있는 파티션이고, 참조 프레임(504) 내의 후보 유닛(b)은 콜로케이트 유닛(514)의 상단부상에 있는 파티션이고, 참조 프레임(504) 내의 후보 유닛(c)은 콜로케이트 유닛(514)의 우측 상단 방향의 라인상에 있는 파티션이며, 참조 프레임(504) 내의 후보 유닛(d)은 콜로케이트 유닛(514)의 좌측 상단 방향의 라인상에 있는 파티션이다. 또한, 참조 프레임(504) 내의 후보 유닛(e)은 콜로케이트 유닛(514) 내부에 있는 파티션이고, 참조 프레임(504) 내의 후보 유닛들(f, g)은 콜로케이트 유닛(514)의 우측상에 있는 파티션들이고, 참조 프레임(504) 내의 후보 유닛(h)은 콜로케이트 유닛(514)의 좌측 하단 방향의 라인상에 있는 파티션이고, 참조 프레임(504) 내의 후보 유닛(i)은 콜로케이트 유닛(514)의 하단부상에 있는 파티션이며, 참조 프레임(504) 내의 후보 유닛(j)은 콜로케이트 유닛(514)의 우측 하단 방향의 라인상에 있는 파티션이다. 일 실시예에서, 현재 유닛(512)의 MVP를 결정하기 위한 후보 세트는 계산된 모션 벡터들을 더 포함하는데, 예컨대 후보 유닛들(A, B, C)의 모션 벡터들의 중간치와 동등한 모션 벡터, 후보 유닛들(A, B, D)의 모션 벡터들의 중간치와 동등한 모션 벡터, 및 도 4와 유사한 방법에 의해 유도된 스케일링된 MVP를 더 포함한다.

현재 유닛(512)에 대응하는 복수의 모션 벡터들이 후보 세트 내에 포함되도록 결정된 후, 적어도 하나의 모션 벡터가 현재 유닛(512)의 모션 예측을 위한 후보 세트로부터 적응적으로 선택된다. 도 6을 참조하면, 후보 세트를 적응적으로 결정하는 모션 예측 방법(600)의 흐름도가 도시된다. 현재 유닛(512)에 대한 후보 세트는 현재 유닛(512)에 대응하는 복수의 모션 벡터들로부터 선택된다(단계 602). 모션 벡터들은 동일 프레임 내의 코딩된 파티션들/블록들의 모션 벡터들, 계산된 모션 벡터들, 및 참조 프레임(들) 내의 모션 벡터들의 하나 이상의 조합을 포함할 수 있다. 일 실시예에서, 도 5에서 도시된 현재 유닛(512)에 대응하는 후보 세트는 현재 프레임(502) 내의 유닛들(A, B, C, D)의 모션 벡터들 및 참조 프레임(504) 내의 유닛(e)의 모션 벡터를 포함한다. 후보 세트는 이전 통계치, 이웃 정보, 현재 유닛의 형상, 및 현재 유닛의 위치 중 하나 이상에 따라 결정될 수 있다. 예를 들어, 현재 유닛(512)에 대응하는 복수의 모션 벡터들은 이웃 정보에 따라 등급화되며, 처음 세 개의 모션 벡터들이 후보 세트 내에 포함되도록 선택된다. 최종적인 MVP는 모션 벡터 경쟁 방법 또는 몇몇의 다른 선택 방법들에 의해 후보 세트로부터 선택될 수 있다. 몇몇의 실시예들에서, 복수의 모션 벡터들은 선택 순서에 따라 등급화되며, 선택 순서는 모션 차이들의 가중화 합에 의해 결정된다. 후보 유닛들의 대응하는 디코딩된 모션 벡터들(즉, 실제 모션 벡터들)과 각각의 모션 벡터 예측자들간의 모션 차이들이 계산된다. 가중치들은 현재 유닛의 형상 및 위치에 의해 결정될 수 있거나, 또는 가중치들은 이웃 블록들의 형상 및 위치에 의해 결정될 수 있다.

도 7을 참조하면, 본 발명에 따른 후보 유닛들 및 상이한 코딩 유닛들에 대응하는 테이블 기록 모션 차이값들의 개략도가 도시된다. 예를 들어, 유닛(A)이 타겟 코딩 유닛이 되도록 선택되는 것을 가정한다. 유닛(A)의 모션 벡터들과 유닛(A)의 좌측상의 후보 유닛(A_A)간의 모션 차이값(D_A,A)이 계산된다. 유닛(A)의 모션 벡터들과 유닛(A)의 상단부상의 후보 유닛(B_A)간의 모션 차이값(D_B,A)이 또한 계산된다. 유닛(A)의 모션 벡터들과 유닛(A)의 우측 상단 방향의 라인상에 있는 후보 유닛(C_A)간의 모션 차이값(D_C,A)이 또한 계산된다. 유닛(A)의 모션 벡터들과 유닛(A)의 좌측 상단 방향의 라인상에 있는 후보 유닛(D_A)간의 모션 차이값(D_D,A)이 또한 계산된다. 유닛(A)의 모션 벡터들과 유닛(A)에 대응하는 콜로케이트 유닛의 좌측상의 후보 유닛(a_A)간의 모션 차이값(D_a,A)이 또한 계산된다. 마찬가지로, 코딩 유닛(A)에 대응하는 모션 차이값들(D_b,A, …, D_j,A)이 또한 계산된다. 그런 후 타겟 코딩 유닛(A)에 대응하는 계산된 모션 차이값들(D_A,A, D_B,A, D_C,A, D_D,A, D_a,A, D_b,A, …, D_j,A)이 도 7의 테이블에 기록된다. 그런 후 또다른 타겟 코딩 유닛(B)이 코딩 유닛들로부터 선택되고(단계 604), 그런 후 타겟 코딩 유닛(B)에 대응하는 모션 차이값들(D_A,B, D_B,B, D_C,B, D_D,B, D_a,B, D_b,B, …, D_j,B)이 계산되어 도 7의 테이블에 기록된다(단계 606). 모든 코딩 유닛들(A, B, C, D, e)이 타겟 코딩 유닛이 되도록 선택되며 코딩 유닛들(A, B, C, D, e)에 대응하는 모션 차이값들이 계산될 때 까지 단계(604)와 단계(606)는 반복된다(단계 608).

코딩 유닛들(A, B, C, D, e)에 대응하는 모든 모션 차이들이 계산된 후, 복수의 모션 벡터들의 선택 순서가 모션 차이들의 가중화 합에 의해 결정된다(단계 610). 예를 들어, 후보 유닛(A)이 타겟 후보 유닛으로서 선택되면, 타겟 후보 유닛(A)에 대응하는 모션 차이값들(D_A,A, D_A,B, D_A,C, D_A,D, D_A,e)은 일련의 가중치들(W_A, W_B, W_C, W_D, W_e)에 따라 합산되어 타겟 후보 유닛(A)에 대응하는 가중화된 합 S_A = [(D_A,A×W_A)+(D_A,B×W_B)+(D_A,C×W_C)+(D_A,D×W_D)+(D_A,e×W_e)]이 획득되며, 가중치들(W_A, W_B, W_C, W_D, W_e)은 코딩 유닛들(A, B, C, D, e) 중 하나의 코딩 유닛에 각각 대응한다. 그런 후 다른 후보 유닛들(B, C, D, e, …., i, j)이 타겟 후보 유닛이 되도록 순차적으로 선택되고, 그런 후 후보 유닛들(B, C, D, e, …., i, j)에 대응하는 가중화된 합들(S_B, S_C, S_D, S_e, …, S_i, S_j)이 순차적으로 계산된다(단계 610 및 단계 612).

모든 후보 유닛들이 타겟 후보 유닛이 되도록 선택되고 모든 후보 유닛들(A, B, C, D, e, …., i, j)에 대응하는 가중화된 합들(S_A, S_B, S_C, S_D, S_e, …, S_i, S_j)이 계산될 때(단계 614), 현재 유닛의 모션 예측을 위한 적어도 하나의 선정되는 후보 유닛은 후보 유닛들(A, B, C, D, e, …., i, j)에 대응하는 가중화된 합들(S_A, S_B, S_C, S_D, S_e, …, S_i, S_j)에 따라 후보 유닛들(A, B, C, D, e, …., i, j)로부터 선택된다(단계 616). 일 실시예에서, 가중화된 합들(S_A, S_B, S_C, S_D, S_e, …, S_i, S_j)은 그 크기들에 따라 정렬되고, 가장 작은 가중화된 합에 대응하는 후보 유닛이 선정되는 후보 유닛이 되도록 결정된다. 마지막으로, 현재 유닛(512)의 모션 벡터가 선정된 후보 유닛의 모션 벡터에 따라 예측된다.

본 발명을 바람직한 실시예의 측면에서 예를 들어 설명해왔지만, 본 발명은 이들 실시예로 한정되지 않는다는 것을 이해하여야 한다. 이와는 달리, 본 발명은 (본 발명분야의 당업자에게 자명할) 다양한 변형들과 유사한 구성들을 커버하도록 의도된다. 그러므로, 첨부된 청구항들의 범위는 이와 같은 변형들과 유사 구성들을 모두 망라하도록 하는 광범위 해석과 일치되어야 한다.

Claims (20)

1. 모션 예측 방법에 있어서,
   현재 프레임의 현재 유닛에 대응하는 복수의 후보 유닛들을 결정하는 단계로서, 상기 후보 유닛들은, 적어도 상기 현재 유닛의 이웃 유닛과 적어도 상기 현재 유닛의 콜로케이트 유닛(collocated unit)과 관련된 참조 유닛을 포함하고, 상기 콜로케이트 유닛과 관련된 참조 유닛은 상기 콜로케이트 유닛의 우측 하단 방향의 라인상에 있는 유닛을 포함하는, 상기 복수의 후보 유닛들을 결정하는 단계;
   상기 후보 유닛들의 복수의 모션 벡터들을 획득하는 단계;
   상기 모션 벡터들의 복수의 참조 프레임들에 의존하는 복수의 개별 시간적 거리들(temporal distances)에 따라 상기 후보 유닛들의 복수의 스케일링 인자들을 계산하는 단계;
   복수의 스케일링된 모션 벡터들을 획득하기 위해 상기 스케일링 인자들에 따라 상기 후보 유닛들의 모션 벡터들을 스케일링하는 단계;
   상기 스케일링된 모션 벡터들을 등급화(ranking)하는 단계;
   후보 세트 내에 포함되는 상기 복수의 스케일링된 모션 벡터들 중 가장 높은 등급의 모션 벡터들의 서브 세트를 식별하는 단계; 및
   상기 후보 세트로부터 상기 현재 유닛의 모션 예측을 위한 모션 벡터 예측자를 선택하는 단계를 포함하는, 모션 예측 방법.
2. 제1항에 있어서, 상기 모션 벡터 예측자의 모션 벡터에 따라 상기 현재 유닛의 모션 벡터를 예측하는 단계를 더 포함하는, 모션 예측 방법.
3. 제1항에 있어서, 상기 스케일링 인자들을 계산하는 단계는,
   상기 모션 벡터들의 참조 프레임들과 후보 유닛이 위치한 프레임간의 개별 시간적 거리들을 계산하는 단계를 포함하는 것인, 모션 예측 방법.
4. 제1항에 있어서, 상기 스케일링 인자들을 계산하는 단계는,
   상기 후보 유닛들의 모션 벡터들의 참조 프레임들과 후보 유닛이 위치한 프레임간의 개별 시간적 거리들을 계산하는 단계;
   타겟 검색 프레임과 상기 현재 프레임간의 타겟 시간적 거리를 계산하는 단계; 및
   상기 스케일링 인자들을 획득하기 위해 상기 타겟 시간적 거리를 상기 개별 시간적 거리들 각각으로 나누는 단계를 포함하는 것인, 모션 예측 방법.
5. 제4항에 있어서, 상기 후보 유닛들의 모션 벡터들을 스케일링하는 단계는,
   상기 후보 유닛들의 스케일링된 모션 벡터들을 획득하기 위해, 상기 후보 유닛들의 모션 벡터들을 각각 상기 후보 유닛들의 스케일링 인자들과 곱하는 단계를 포함하는 것인, 모션 예측 방법.
6. 제1항에 있어서, 상기 후보 유닛들은, 상기 현재 유닛의 좌측 상의 좌측 유닛(left unit), 상기 현재 유닛의 상측 상의 상측 유닛(upper unit), 상기 현재 유닛의 우측 상단 방향의 직선상에 있는 우상측 유닛(upper-right unit), 및 상기 현재 유닛의 좌측 상단 방향의 직선상에 있는 좌상측 유닛(upper-left unit) 중 적어도 하나를 포함하는 것인, 모션 예측 방법.
7. 제1항에 있어서, 상기 콜로케이트 유닛과 관련된 참조 유닛은, 상기 콜로케이트 유닛 내부에 있는 적어도 하나의 내부 유닛을 더 포함하는 것인, 모션 예측 방법.
8. 제1항에 있어서, 상기 현재 유닛은 예측 유닛인 것인, 모션 예측 방법.
9. 제1항에 있어서, 상기 후보 유닛들 중 적어도 하나의 후보 유닛은 예측 유닛 또는 예측 유닛 파티션인 것인, 모션 예측 방법.
10. 제1항에 있어서, 상기 모션 벡터 예측자는 비트 스트림 내의 예측 정보에 기초하여 상기 후보 세트로부터 명시적으로(explicitly) 선택되는 것인, 모션 예측 방법.
11. 제1항에 있어서, 상기 후보 세트로부터 상기 현재 유닛의 모션 예측을 위한 모션 벡터 예측자를 선택하는 단계는 인코더에서의 레이트 왜곡 최적화(rate-distortion optimization)에 기초하고, 상기 후보 세트로부터 상기 현재 유닛의 모션 예측을 위한 모션 벡터 예측자를 선택하는 단계는 디코더에서의 코딩된 정보에 기초하는 것인, 모션 예측 방법.
12. 제1항에 있어서, 상기 스케일링된 모션 벡터들을 등급화하는 단계는, 이웃 정보, 상기 현재 유닛의 형태, 및 상기 현재 유닛의 위치 중 하나 또는 그 조합에 기초하여 수행되는 것인, 모션 예측 방법.
13. 제1항에 있어서, 상기 스케일링된 모션 벡터들을 등급화하는 단계는, 선택 순서에 기초하는 것인, 모션 예측 방법.
14. 제1항에 있어서, 상기 모션 벡터들의 서브 세트의 사이즈는 미리 결정되는 것인, 모션 예측 방법.
15. 제14항에 있어서, 상기 모션 벡터들의 서브 세트의 사이즈는 2인 것인, 모션 예측 방법.
16. 제1항에 있어서, 상기 모션 벡터들의 서브 세트의 사이즈는 5인 것인, 모션 예측 방법.
17. 제1항에 있어서, 상기 모션 벡터들의 서브 세트는 적응형 사이즈를 갖는 것인, 모션 예측 방법.
18. 비디오 코딩 장치에 있어서,
    프로세싱 회로를 포함하고, 상기 프로세싱 회로는,
    현재 프레임의 현재 유닛에 대응하는 복수의 후보 유닛들을 결정 - 상기 후보 유닛들은, 적어도 상기 현재 유닛의 이웃 유닛과 적어도 상기 현재 유닛의 콜로케이트 유닛(collocated unit)과 관련된 참조 유닛을 포함하고, 상기 콜로케이트 유닛과 관련된 참조 유닛은 상기 콜로케이트 유닛의 우측 하단 방향의 라인상에 있는 유닛을 포함함 - 하고;
    상기 후보 유닛들의 복수의 모션 벡터들을 획득하고;
    상기 모션 벡터들의 복수의 참조 프레임들에 의존하는 복수의 개별 시간적 거리들(temporal distances)에 따라 상기 후보 유닛들의 복수의 스케일링 인자들을 계산하고;
    복수의 스케일링된 모션 벡터들을 획득하기 위해 상기 스케일링 인자들에 따라 상기 후보 유닛들의 모션 벡터들을 스케일링하고;
    상기 스케일링된 모션 벡터들을 등급화(ranking)하고;
    후보 세트 내에 포함되는 상기 복수의 스케일링된 모션 벡터들 중 가장 높은 등급의 모션 벡터들의 서브 세트를 식별하고;
    상기 후보 세트로부터 상기 현재 유닛의 모션 예측을 위한 모션 벡터 예측자를 선택하며; 그리고
    상기 선택된 모션 벡터 예측자에 기초하여 비디오를 인코딩 또는 디코딩하도록 구성되는 것인, 비디오 코딩 장치.
19. 제18항에 있어서, 상기 프로세싱 회로는 또한, 상기 복수의 스케일링 인자들을 계산할 때,
    상기 후보 유닛들의 모션 벡터들의 참조 프레임들과 후보 유닛이 위치한 프레임간의 개별 시간적 거리들을 계산하고;
    타겟 검색 프레임과 상기 현재 프레임간의 타겟 시간적 거리를 계산하며; 그리고
    상기 스케일링 인자들을 획득하기 위해 상기 타겟 시간적 거리를 상기 개별 시간적 거리들 각각으로 나누도록 구성되는 것인, 비디오 코딩 장치.
20. 제18항에 있어서, 상기 프로세싱 회로는,
    이웃 정보, 상기 현재 유닛의 형태, 및 상기 현재 유닛의 위치 중 하나 또는 그 조합에 기초하여 상기 스케일링된 모션 벡터들을 등급화하도록 구성되는 것인, 비디오 코딩 장치.

Images