KR20150029627A

KR20150029627A - 비디오 신호 처리 방법 및 장치

Info

Publication number: KR20150029627A
Application number: KR1020147033877A
Authority: KR
Inventors: 성재원; 예세훈; 구문모; 허진; 김태섭; 정지욱; 손은용
Original assignee: 엘지전자 주식회사
Priority date: 2012-05-10
Filing date: 2013-05-09
Publication date: 2015-03-18
Also published as: JP2015519835A; CN104365102A; EP2849441A1; US10341677B2; JP6039793B2; EP2849441B1; CN104365102B; KR20160075753A; EP2849441A4; KR101626759B1; JP6309593B2; US20150098509A1; WO2013169031A1; JP2017022789A

Abstract

본 발명에 따른 비디오 신호 처리 방법은 현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자들 간의 우선순위를 고려하여 상기 인터뷰 모션 벡터 후보자 중 어느 하나로부터 상기 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하고, 유도된 인터뷰 모션 벡터를 이용하여 현재 텍스쳐 블록에 대해 시점 간 인터 예측을 수행한다. 본 발명은 다양한 인터뷰 모션 벡터 후보자 중에서 보다 정확한 인터뷰 모션 벡터 예측을 가능하게 하고, 이로써 전송되는 레지듀얼 데이터의 양을 줄임으로써 코딩 효율을 향상시킬 수 있다.

Description

비디오 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNALS}

본 발명은 비디오 신호의 코딩 방법 및 장치에 관한 것이다.

압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 다시점 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성 및 시점간 중복성을 지니고 있는 점에 특징이 있다.

본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.

본 발명은 공간적/시간적 이웃 블록의 인터뷰 모션 벡터 및 변이 벡터 중 적어도 에 기초하여 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 것을 특징으로 한다.

본 발명은 공간적/시간적 이웃 블록 및 변이 벡터 중 적어도 하나를 포함한 후보자 간의 우선순위를 고려하여 인터뷰 모션 벡터를 유도하는 것을 특징으로 한다.

본 발명에 따른 공간적 이웃 블록은 좌측하단, 좌측, 우측상단, 상단, 좌측상단에 인접한 이웃 블록 중 적어도 하나를 포함하고, 공간적 이웃 블록들 간의 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색하여 공간적 인터뷰 모션 벡터를 획득하는 것을 특징을 한다.

본 발명에 따른 시간적 이웃 블록은 동일 위치의 블록, 동일 위치의 블록에 인접한 이웃 블록 및 동일 위치의 블록을 포함한 코딩 블록 중 적어도 하나를 포함하고, 시간적 이웃 블록들 간의 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색하여 시간적 인터뷰 모션 벡터를 획득하는 것을 특징으로 한다.

본 발명은 변이 벡터 맵을 이용하여 현재 픽쳐의 변이 벡터를 획득함과 동시에 변이 벡터 오프셋을 이용하여 변이 벡터 맵에 저장된 변이 벡터를 보정하는 것을 특징으로 한다.

본 발명은 인터뷰 모션 벡터 후보자들 간의 고정된 우선순위를 설정하고, 고정된 우선순위에 따라 인터뷰 모션 벡터 후보자로부터 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 것을 특징으로 한다.

본 발명은 공간적/시간적 이웃 블록 중 시점 간 인터 예측으로 코딩된 블록의 인터뷰 모션 벡터뿐만 아니라 시간적 인터 예측으로 코딩된 블록의 인터뷰 모션 벡터를 후보자를 이용하는 것을 특징으로 한다.

본 발명은 복수개의 우선순위 테이블을 정의하고, 우선순위 테이블 인덱스에 기초하여 선택적으로 우선순위 테이블을 이용하는 것을 특징으로 한다.

본 발명은 이전에 코딩된 블록의 상태 변수에 기초하여 현재 코딩되는 블록의 인터뷰 모션 벡터 후보자 간의 우선순위를 결정하는 것을 특징으로 한다.

본 발명은 인터뷰 모션 벡터를 이용한 시점 간 인터 예측을 수행함으로써, 시점 간의 상관 관계를 활용하여 비디오 데이터 예측의 정확성을 높일 수 있다. 또한, 인터뷰 모션 벡터는 공간적/시간적 이웃 블록의 인터뷰 모션 벡터 또는 변이 벡터 중 어느 하나를 선택적으로 이용함으로써, 정확인 인터뷰 모션 벡터를 유도함으로써 시점 간 인터 예측의 정확성을 높일 수 있고, 전송되는 레지듀얼 데이터의 양을 줄임으로써 코딩 효율을 향상시킬 수 있다. 또한, 공간적/시간적 이웃 블록 중 시점 간 인터 예측으로 코딩된 블록뿐만 아니라 시간적 인터 예측으로 코딩된 블록인 경우에도 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터를 후보자로 이용하도록 함으로써, 정확한 인터뷰 모션 벡터를 예측할 수 있다. 한편, 다수의 인터뷰 모션 벡터 후보자에 대해서 우선순위를 결정하고, 해당 우선순위에 따라 순차적으로 시점 간 인터 예측으로 코딩된 블록을 탐색함으로써, 인터뷰 모션 벡터를 유도하는 과정의 복잡도를 줄일 수도 있다.

도 1은 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 모션 벡터 리스트 생성부(710)의 개략적인 구성을 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 공간적 모션 벡터를 결정하는 과정을 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 공간적 이웃 블록의 예를 도시한 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 시간적 이웃 블록의 예를 도시한 것이다.
도 6은 본 발명이 적용되는 일실시예로서, 동일 위치의 블록을 포함한 코딩 블록이 시간적 이웃 블록으로 이용되는 경우, 코딩 블록 내에 포함된 블록들 간의 우선순위를 도시한 것이다.
도 7은 본 발명이 적용되는 일실시예로서, 뎁스 데이터를 이용하여 현재 텍스쳐 블록의 변이 벡터를 유도하는 방법을 도시한 것이다.
도 8은 본 발명이 적용되는 일실시예로서, 현재 픽쳐 내의 인터 예측된 블록에 대한 변이 벡터 맵을 업데이트하는 과정을 도시한 것이다.
도 9는 본 발명이 적용되는 일실시예로서, 기설정된 우선순위에 기초하여 시점 간 인터 예측으로 코딩된 이웃 블록으로부터 인터뷰 모션 벡터를 유도하는 방법을 도시한 것이다.
도 10은 본 발명이 적용되는 일실시예로서, 기설정된 우선순위에 기초하여 시간적 인터 예측으로 코딩된 이웃 블록 및 시점 간 인터 예측으로 코딩된 이웃 블록으로부터 인터뷰 모션 벡터를 유도하는 방법을 도시한 것이다.
도 11은 본 발명이 적용되는 일실시예로서, 공간적 이웃 블록이 사용한 인터뷰 모션 벡터의 빈도수를 고려하여 우선순위 테이블을 선택하는 방법을 도시한 것이다.
도 12는 본 발명이 적용되는 일실시예로서, 공간적 이웃 블록의 인터뷰 모션 벡터 타입을 고려하여 우선순위 테이블을 선택하는 방법을 도시한 것이다.
도 13은 본 발명이 적용되는 일실시예로서, 상태 변수를 이용하여 우선순위를 결정하는 방법을 도시한 것이다.

발명의 실시를 위한 최선의 형태

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 처리 방법은 현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자들 간의 우선순위를 고려하여 상기 인터뷰 모션 벡터 후보자 중 어느 하나로부터 상기 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하고, 상기 유도된 인터뷰 모션 벡터를 이용하여 현재 텍스쳐 블록에 대해 시점 간 인터 예측을 수행할 수 있다.

본 발명에 따르면, 상기 공간적 이웃 블록의 인터뷰 모션 벡터는 상기 시간적 이웃 블록의 인터뷰 모션 벡터보다 높은 우선순위를 가지고, 상기 시간적 이웃 블록의 인터뷰 모션 벡터는 상기 변이 벡터보다 높은 우선순위를 가질 수 있다.

본 발명에 따르면, 최우선순위를 가진 상기 공간적 이웃 블록에 대해서 시점 간 인터 예측으로 코딩된 블록을 탐색하고, 시점 간 인터 예측으로 코딩된 블록이 존재하는 경우, 상기 공간적 이웃 블록의 인터뷰 모션 벡터로부터 상기 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하며, 시점 간 인터 예측으로 코딩된 블록이 존재하지 않는 경우, 차우선순위를 가진 시간적 이웃 블록에 대해서 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다.

본 발명에 따르면, 상기 공간적 이웃 블록은 상기 현재 텍스쳐 블록의 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록 및 좌측상단 이웃 블록 중 적어도 하나를 포함할 수 있다.

본 발명에 따르면, 상기 공간적 이웃 블록 간의 우선순위에 따른 순서에 기초하여 시점 간 인터 예측으로 코딩된 블록을 탐색하되, 상기 공간적 이웃 블록 간의 우선순위는 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 낮은 우선순위를 가질 수 있다.

본 발명에 따르면, 상기 시간적 이웃 블록은 동일 위치의 블록, 동일 위치의 블록에 인접한 이웃 블록 및 동일 위치의 블록을 포함한 코딩 블록 중 적어도 하나를 포함할 수 있다.

본 발명에 따르면, 상기 시간적 이웃 블록 간의 우선순위에 따른 순서에 기초하여 시점 간 인터 예측으로 코딩된 블록을 탐색하되, 상기 시간적 이웃 블록 간의 우선순위는 동일 위치의 블록, 동일 위치의 블록에 인접한 이웃 블록, 동일 위치의 블록을 포함한 코딩 블록 순으로 낮은 우선순위를 가질 수 있다.

발명의 실시를 위한 형태

다시점 비디오 신호 데이터를 압축 부호화 또는 복호화하는 기술은 공간적 중복성, 시간적 중복성 및 시점간 존재하는 중복성을 고려하고 있다. 또한, 다시점 영상의 경우, 3차원 영상을 구현하기 위해 2개 이상의 시점에서 촬영된 다시점 텍스쳐 영상을 코딩할 수 있다. 또한, 필요에 따라 다시점 텍스쳐 영상에 대응하는 뎁스 데이터를 더 코딩할 수도 있다. 뎁스 데이터를 코딩함에 있어서, 공간적 중복성, 시간적 중복성 또는 시점간 중복성을 고려하여 압축 코딩할 수 있음은 물론이다. 뎁스 데이터는 카메라와 해당 화소 간의 거리 정보를 표현한 것이며, 본 명세서 내에서 뎁스 데이터는 뎁스 정보, 뎁스 영상, 뎁스 픽쳐, 뎁스 시퀀스, 뎁스 비트스트림 등과 같이 뎁스에 관련된 정보로 유연하게 해석될 수 있다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.

도 1은 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.

도 1을 참조하면, 비디오 디코더는 NAL 파싱부(100), 엔트로피 디코딩부(200), 역양자화/역변환부(300), 인트라 예측부(400), 인-루프 필터부(500), 복호 픽쳐 버퍼부(600), 인터 예측부(700)를 포함할 수 있다. NAL 파싱부 (100)는 다시점 텍스쳐 데이터를 포함한 비트스트림을 수신할 수 있다. 또한, 뎁스 데이터가 텍스쳐 데이터의 코딩에 필요한 경우, 인코딩된 뎁스 데이터를 포함한 비트스트림을 더 수신할 수도 있다. 이 때 입력되는 텍스쳐 데이터와 뎁스 데이터는 하나의 비트스트림으로 전송될 수 있고, 또는 별개의 비트스트림으로 전송될 수도 있다. NAL 파싱부(100)는 입력된 비트스트림을 복호화하기 위해 NAL 단위로 파싱을 수행할 수 있다. 입력된 비트스트림이 다시점 관련 데이터(예를 들어, 3-Dimensional Video)인 경우, 입력된 비트스트림은 카메라 파라미터를 더 포함할 수 있다. 카메라 파라미터에는 고유의 카메라 파라미터 (intrinsic camera parameter) 및 비고유의 카메라 파라미터 (extrinsic camera parameter)가 있을 수 있고, 고유의 카메라 파라미터는 초점 거리(focal length), 가로세로비(aspect ratio), 주점(principal point) 등을 포함할 수 있고, 비고유의 카메라 파라미터는 세계 좌표계에서의 카메라의 위치정보 등을 포함할 수 있다.

엔트로피 디코딩부(200)는 엔트로피 디코딩을 통하여 양자화된 변환 계수, 텍스쳐 픽쳐의 예측을 위한 코딩 정보 등을 추출할 수 있다. 역양자화/역변환부(300)에서는 양자화된 변환 계수에 양자화 파라미터를 적용하여 변환 계수를 획득하고, 변환 계수를 역변환하여 텍스쳐 데이터 또는 뎁스 데이터를 복호화할 수 있다. 여기서, 복호화된 텍스쳐 데이터 또는 뎁스 데이터는 예측 처리에 따른 레지듀얼 데이터를 포함할 수 있다. 또한, 뎁스 블록에 대한 양자화 파라미터는 텍스쳐 데이터의 복잡도를 고려하여 설정될 수 있다. 예를 들어, 뎁스 블록에 대응하는 텍스쳐 블록이 복잡도가 높은 영역인 경우에는 낮은 양자화 파라미터를 설정하고, 복잡도가 낮은 영역인 경우에는 높은 양자화 파라미터를 설정할 수 있다. 텍스쳐 블록의 복잡도는 수학식 1과 같이 복원된 텍스쳐 픽쳐 내에서 서로 인접한 픽셀들 간의 차분값에 기초하여 결정될 수 있다.

수학식 1에서 E는 텍스쳐 데이터의 복잡도를 나타내고, C는 복원된 텍스쳐 데이터를 의미하며, N은 복잡도를 산출하고자 하는 텍스쳐 데이터 영역 내의 픽셀 개수를 의미할 수 있다. 수학식 1을 참조하면, 텍스쳐 데이터의 복잡도는 (x,y) 위치에 대응하는 텍스쳐 데이터와 (x-1,y) 위치에 대응하는 텍스쳐 데이터 간의 차분값 및 (x,y) 위치에 대응하는 텍스쳐 데이터와 (x+1,y) 위치에 대응하는 텍스쳐 데이터 간의 차분값을 이용하여 산출될 수 있다. 또한, 복잡도는 텍스쳐 픽쳐와 텍스쳐 블록에 대해서 각각 산출될 수 있고, 이를 이용하여 아래 수학식 2와 같이 양자화 파라미터를 유도할 수 있다.

수학식 2를 참조하면, 뎁스 블록에 대한 양자화 파라미터는 텍스쳐 픽쳐의 복잡도와 텍스쳐 블록의 복잡도의 비율에 기초하여 결정될 수 있다. α 및 β는 디코더에서 유도되는 가변적인 정수일 수 있고, 또는 디코더 내에서 기 결정된 정수일 수 있다.

인트라 예측부(400)는 현재 텍스쳐 픽쳐 내의 복원된 텍스쳐 데이터를 이용하여 화면 내 예측을 수행할 수 있다. 뎁스 픽쳐에 대해서도 텍스쳐 픽쳐와 동일한 방식으로 화면 내 예측이 수행될 수 있다. 예를 들어, 텍스쳐 픽쳐의 화면 내 예측을 위해 이용되는 코딩 정보를 텝스 픽쳐에서도 동일하게 이용할 수 있다. 여기서, 화면 내 예측을 위해 이용되는 코딩 정보는 인트라 예측 모드, 인트라 예측의 파티션 정보를 포함할 수 있다.

인-루프 필터부(500)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 블록에 인-루프 필터를 적용할 수 있다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 픽쳐의 화질을 향상시킬 수 있다. 필터링을 거친 텍스쳐 픽쳐 또는 뎁스 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(600)에 저장될 수 있다. 한편, 텍스쳐 데이터의 특성과 뎁스 데이터의 특성이 서로 상이하기 때문에 동일한 인-루프 필터를 사용하여 텍스쳐 데이터와 뎁스 데이터의 코딩을 수행할 경우, 코딩 효율이 떨어질 수 있다. 따라서, 뎁스 데이터를 위한 별도의 인-루프 필터를 정의할 수도 있다. 이하, 뎁스 데이터를 효율적으로 코딩할 수 있는 인-루프 필터링 방법으로서, 영역 기반의 적응적 루프 필터 (region-based adaptive loop filter)와 트라일래터럴 루프 필터 (trilateral loop filter)를 살펴 보기로 한다.

영역 기반의 적응적 루프 필터의 경우, 뎁스 블록의 변화량 (variance)에 기초하여 영역 기반의 적응적 루프 필터를 적용할 지 여부를 결정할 수 있다. 여기서, 뎁스 블록의 변화량은 뎁스 블록 내에서 최대 픽셀값과 최소 픽셀값 간의 차분으로 정의될 수 있다. 뎁스 블록의 변화량과 기결정된 문턱값 간의 비교를 통해서 필터 적용 여부를 결정할 수 있다. 예를 들어, 뎁스 블록의 변화량이 기결정된 문턱값보다 크거나 같은 경우, 뎁스 블록 내의 최대 픽셀값과 최소 픽셀값 간의 차이가 큰 것을 의미하므로 영역 기반의 적응적 루프 필터를 적용하는 것으로 결정할 수 있다. 반대로, 뎁스 변화량이 기결정된 문턱값보다 작은 경우에는 영역 기반의 적응적 루프 필터를 적용하지 아니하는 것으로 결정할 수 있다. 상기 비교 결과에 따라 필터를 적용하는 경우, 필터링된 뎁스 블록의 픽셀값은 소정의 가중치를 이웃 픽셀값에 적용하여 유도될 수 있다. 여기서, 소정의 가중치는 현재 필터링되는 픽셀과 이웃 픽셀 간의 위치 차이 및/또는 현재 필터링되는 픽셀값과 이웃 픽셀값 간의 차분값에 기초하여 결정될 수 있다. 또한, 이웃 픽셀값은 뎁스 블록 내에 포함된 픽셀값 중에서 현재 필터링되는 픽셀값을 제외한 어느 하나를 의미할 수 있다.

본 발명에 따른 트라일래터럴 루프 필터는 영역 기반의 적응적 루프 필터와 유사하나, 텍스쳐 데이터를 추가적으로 고려한다는 점에서 차이가 있다. 구체적으로, 트라일래터럴 루프 필터는 다음의 세가지 조건을 비교하여, 이를 만족하는 이웃 픽셀의 뎁스 데이터를 추출할 수 있다.

조건 1은 뎁스 블록 내의 현재 픽셀(p)와 이웃 픽셀(q) 간의 위치 차이를 기결정된 매개변수 과 비교하는 것이고, 조건 2는 현재 픽셀(p)의 뎁스 데이터와 이웃 픽셀(q)의 뎁스 데이터 간의 차분을 기결정된 매개변수 와 비교하는 것이며, 조건 3은 현재 픽셀(p)의 텍스쳐 데이터와 이웃 픽셀(q)의 텍스쳐 데이터 간의 차분을 기결정된 매개변수 과 비교하는 것이다.

상기 세가지 조건을 만족하는 이웃 픽셀들을 추출하고, 이들 뎁스 데이터의 중간값 또는 평균값으로 현재 픽셀(p)을 필터링할 수 있다.

복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면 간 예측을 수행하기 위해서 이전에 코딩된 텍스쳐 픽쳐 또는 뎁스 픽쳐를 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(600)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용할 수 있다. 나아가, 뎁스 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 뎁스 픽쳐와 다른 시점에 있는 뎁스 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 뎁스 픽쳐의 시점을 식별하는 시점 식별 정보를 이용할 수도 있다. 복호 픽쳐 버퍼부(600)는 보다 유연하게 화면 간 예측을 실현하기 위하여 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method) 등을 이용하여 참조 픽쳐를 관리할 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 뎁스 코딩에 있어서, 뎁스 픽쳐들은 복호 픽쳐 버퍼부 내에서 텍스쳐 픽쳐들과 구별하기 위하여 별도의 표시로 마킹될 수 있고, 상기 마킹 과정에서 각 뎁스 픽쳐를 식별해주기 위한 정보가 이용될 수 있다.

인터 예측부(700)는 복호 픽쳐 버퍼부(600)에 저장된 참조 픽쳐와 모션 정보를 이용하여 현재 블록의 모션 보상을 수행할 수 있다. 본 명세서에서 모션 정보라 함은 모션 벡터, 레퍼런스 인덱스 정보를 포함하는 광의의 개념으로 이해될 수 있다. 또한, 인터 예측부(700)는 모션 보상을 수행하기 위해 시간적 인터 예측을 수행할 수 있다. 시간적 인터 예측이라 함은 현재 텍스쳐 블록과 동일 시점 및 다른 시간대에 위치한 참조 픽쳐 및 현재 텍스쳐 블록의 모션 정보를 이용한 인터 예측을 의미할 수 있다. 또한, 복수 개의 카메라에 의해 촬영된 다시점 영상의 경우, 시간적 인터 예측뿐만 아니라 시점 간 인터 예측을 더 수행할 수도 있다. 시점 간 인터 예측이라 함은 현재 텍스쳐 블록과 다른 시점에 위치한 참조 픽쳐와 현재 텍스쳐 블록의 모션 정보를 이용한 인터 예측을 의미할 수 있다. 한편, 이해 편의를 위하여 시점 간 예측에 이용되는 모션 정보를 인터뷰 모션 벡터, 인터뷰 레퍼런스 인덱스 정보라 부르기로 한다. 따라서, 본 명세서에서 모션 정보는 인터뷰 모션 벡터와 인터뷰 레퍼런스 인덱스 정보를 포함하는 개념으로 유연하게 해석될 수 있다. 이하, 인터 예측부(700)에서 현재 텍스쳐 블록의 모션 정보 특히, 모션 벡터를 유도하는 방법에 대해서 살펴 보기로 한다.

도 2는 본 발명이 적용되는 일실시예로서, 모션 벡터 리스트 생성부(710)의 개략적인 구성을 도시한 것이다.

본 발명의 모션 벡터 리스트 생성부 (710)는 디코더의 인터 예측부(700)에 포함될 수 있다. 모션 벡터 리스트 생성부(710)는 크게 리스트 초기화부(720)와 리스트 수정부(730)로 구성될 수 있다. 리스트 초기화부(720)는 모션 벡터 후보자들로 구성된 모션 벡터 리스트를 생성할 수 있다. 여기서, 모션 벡터 후보자는 현재 텍스쳐 블록의 모션 벡터 또는 예측된 모션 벡터로 이용 가능한 모션 벡터의 집합을 의미할 수 있다. 본 발명의 모션 벡터 후보자는 공간적 모션 벡터, 시간적 모션 벡터 및 참조 뷰 모션 벡터 중 적어도 하나를 포함할 수 있다. 본 발명의 모션 벡터 후보자에 포함된 공간적 모션 벡터, 시간적 모션 벡터 및 참조 뷰 모션 벡터는 모션 벡터 리스트 초기화부 (720)에 포함된 공간적 모션 벡터 결정부(740), 시간적 모션 벡터 결정부(750) 및 참조 뷰 모션 벡터 결정부(760)에서 각각 획득된다. 먼저, 공간적 모션 벡터 결정부(740)는 현재 텍스쳐 블록에 공간적으로 인접한 이웃 블록의 모션 벡터로부터 공간적 모션 벡터를 유도할 수 있다. 공간적 모션 벡터를 결정하는 방법에 대해서는 도 3을 참조하여 구체적으로 살펴 보기로 한다. 시간적 모션 벡터 결정부(750)는 현재 텍스쳐 블록에 시간적으로 인접한 이웃 블록의 모션 벡터로부터 시간적 모션 벡터를 유도할 수 있다. 예를 들어, 시간적으로 인접한 이웃 블록은 현재 텍스쳐 블록과 동일 시점 및 다른 시간대에 위치한 참조 픽쳐 내에서 현재 텍스쳐 블록과 동일한 위치에 있는 블록(collocated block)에 해당할 수 있다. 여기서, 참조 픽쳐는 상기 동일 위치의 블록을 포함하고 있는 픽쳐의 레퍼런스 인덱스 정보에 의해서 특정될 수 있다. 참조뷰 모션 벡터 결정부(760)는 현재 텍스쳐 블록과 다른 시점에 위치한 대응 블록의 모션 벡터로부터 참조 뷰 모션 벡터를 유도할 수 있다. 여기서, 대응 블록은 현재 텍스쳐 블록의 인터뷰 모션 벡터에 의해 지시된 블록일 수 있다. 예를 들어, 현재 텍스쳐 블록의 인터뷰 모션 벡터를 이용하여 참조 시점 내의 참조 블록을 특정하고, 특정된 참조 블록의 모션 벡터를 현재 텍스쳐 블록의 참조뷰 모션 벡터로 설정할 수 있다. 한편, 참조뷰 모션 벡터를 결정할 때 이용되는 인터뷰 모션 벡터 역시 현재 텍스쳐 블록의 모션 벡터 후보자에 포함되어 모션 벡터 리스트를 구성할 수도 있다. 이 경우, 인터뷰 모션 벡터는 현재 텍스쳐 블록의 참조 픽쳐가 동일 시점에 위치하는지, 아니면 다른 시점에 위치하는지를 고려하여 모션 벡터 리스트에 포함될 수 있다. 예를 들어, 현재 텍스쳐 블록의 참조 픽쳐가 현재 텍스쳐 블록과 다른 시점을 가지는 경우에 모션 벡터 리스트에 추가할 수 있다. 또는, 현재 텍스쳐 블록의 레퍼런스 인덱스 정보가 시점 간 예측을 위한 참조 픽쳐를 나타내는 경우에 인터뷰 모션 벡터를 모션 벡터 리스트에 추가할 수도 있다. 한편, 본 발명에 따른 인터뷰 모션 벡터를 유도하는 방법에 대해서는 도 4 내지 도 13을 참조하여 살펴 보기로 한다.

리스트 초기화부(720)에서 생성된 모션 벡터 리스트는 현재 텍스쳐 블록의 모션 벡터를 유도하기 위한 최종적인 모션 벡터 리스트로 이용될 수도 있고, 모션 벡터 후보자 간의 중복성 제거 등을 위하여 리스트 수정부(730)를 거쳐 수정될 수도 있다. 예를 들어, 리스트 수정부(730)는 리스트 초기화부(720)에서 생성된 모션 벡터 리스트에서 공간적 모션 벡터들 간의 동일 여부를 확인할 수 있다. 확인 결과, 동일한 공간적 모션 벡터들이 존재하는 경우, 둘 중의 어느 하나를 모션 벡터 리스트로부터 제거할 수 있다. 나아가, 모션 벡터 리스트 내에서 모션 벡터 후보자 간의 중복성을 제거한 이후에 모션 벡터 리스트에 남아있는 모션 벡터 후보자의 개수가 2개 미만인 경우에는 제로 모션 벡터(zero motion vector)를 추가할 수 있다. 반면, 모션 벡터 후보자 간의 중복성을 제거한 이후에도 모션 벡터 리스트에 남아있는 모션 벡터 후보자의 개수가 2개를 초과하는 경우에는 2개의 모션 벡터 후보자를 제외한 나머지 모션 벡터 후보자를 모션 벡터 리스트에서 제거할 수 있다. 여기서, 모션 벡터 리스트에 남아있는 2개의 모션 벡터 후보자는 모션 벡터 리스트 내에서 상대적으로 작은 리스트 식별 인덱스를 가진 후보자일 수 있다. 여기서, 리스트 식별 인덱스는 모션 벡터 리스트에 포함된 모션 벡터 후보자에 각각 할당된 것으로서, 모션 벡터 리스트에 포함된 각각의 모션 벡터 후보자를 식별하기 위한 정보를 의미할 수 있다.

도 3은 본 발명이 적용되는 일실시예로서, 공간적 모션 벡터를 결정하는 과정을 도시한 것이다.

본 발명의 공간적 모션 벡터는 현재 텍스쳐 블록에 공간적으로 인접한 이웃 블록의 모션 벡터로부터 유도될 수 있다. 공간적으로 인접한 이웃 블록은 현재 텍스쳐 블록의 좌측, 상단, 좌측하단, 좌측상단, 우측상단에 각각 위치한 블록 중 어느 하나를 의미할 수 있다. 공간적 모션 벡터를 결정함에 있어서, 현재 텍스쳐 블록과 이웃 블록 간의 참조 픽쳐 동일 여부를 확인할 수 있다(S300). 예를 들어, 현재 텍스쳐 블록과 이웃 블록 간의 참조 픽쳐 동일 여부를 판단하기 위하여 양자의 레퍼런스 인덱스 정보가 동일한지를 비교할 수 있다. 또는, 현재 텍스쳐 블록의 참조 픽쳐에 할당된 POC(Picture Order Count) 정보와 이웃 블록의 참조 픽쳐에 할당된 POC 정보가 동일한지를 비교할 수도 있다. 만일, 현재 텍스쳐 블록과 이웃 블록이 이용하는 참조 픽쳐 리스트가 상이한 경우에도 각각의 참조 픽쳐에 할당된 POC 정보를 비교함으로써 참조 픽쳐의 동일 여부를 확인할 수 있다. POC 정보는 픽쳐의 출력 순서 또는 시간적 순서를 나타내는 정보이고, 출력 순서는 각 픽쳐의 고유의 값이기 때문이다. 또한, 참조 픽쳐 동일 여부를 확인하는 과정은 공간적으로 인접한 이웃 블록을 2개의 그룹으로 나누어 수행할 수 있다. 예를 들어, 현재 텍스쳐 블록의 좌측과 좌측하단 이웃 블록을 제 1그룹으로, 현재 텍스쳐 블록의 상단, 좌측상단, 우측상단 이웃 블록을 제 2그룹으로 각각 나눌 수 있다. 이 경우, 현재 텍스쳐 블록은 제 1그룹에 포함된 이웃 블록 중 적어도 하나와 참조 픽쳐의 동일 여부를 확인할 수 있고, 제 2 그룹에 포함된 이웃 블록 중 적어도 하나와 참조 픽쳐의 동일 여부를 확인할 수 있다. 또한, 참조 픽쳐 동일 여부에 대한 확인은 기 결정된 순서대로 현재 텍스쳐 블록과 이웃 블록을 비교하여 수행될 수 있다. 예를 들어, 제 1그룹의 경우, 좌측하단 이웃 블록, 좌측 이웃 블록 순으로 참조 픽쳐 동일 여부를 비교할 수 있고, 제 2그룹의 경우, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 참조 픽쳐 동일 여부를 비교할 수 있다. S300에 따라 현재 텍스쳐 블록과 이웃 블록의 참조 픽쳐가 동일하다고 판단되는 경우, 동일한 참조 픽쳐를 가진 이웃 블록의 모션 벡터는 모션 벡터 리스트에 추가될 수 있다(S310). 반면, 현재 텍스쳐 블록과 이웃 블록의 참조 픽쳐가 동일하지 아니하다고 판단되는 경우, 이웃 블록의 모션 벡터에 소정의 스케일링 팩터 (scaling factor)를 적용할 수 있다(S320). 스케일링 팩터는 현재 텍스쳐 블록을 포함한 현재 픽쳐와 현재 텍스쳐 블록의 참조 픽쳐 간의 시간적 거리를 고려하여 결정될 수 있다. 예를 들어, 현재 픽쳐에 할당된 POC 정보와 현재 텍스쳐 블록의 참조 픽쳐에 할당된 POC 정보 간의 차분값을 고려하여 결정될 수 있다. 또한, 현재 픽쳐와 이웃 블록의 참조 픽쳐 간의 시간적 거리를 더 고려할 수도 있다. 예를 들어, 현재 픽쳐에 할당된 POC 정보와 이웃 블록의 참조 픽쳐에 할당된 POC 정보 간의 차분값을 고려하여 결정될 수 있다. 스케일링된 이웃 블록의 모션 벡터는 모션 벡터 리스트에 추가될 수 있다(S330).

도 2 및 도 3을 참조하여, 모션 벡터 리스트를 생성하는 방법에 대해서 살펴보았으며, 이하 인터 예측부(700)에서 모션 벡터 리스트로부터 현재 텍스쳐 블록의 모션 벡터를 유도하는 방법에 대해서 살펴보기로 한다.

먼저, 현재 텍스쳐 블록에 대한 모션 벡터 식별 정보를 비트스트림으로부터 추출할 수 있다. 모션 벡터 식별 정보는 현재 텍스쳐 블록의 모션 벡터 또는 예측된 모션 벡터로 이용되는 모션 벡터 후보자를 특정하는 정보일 수 있다. 즉, 추출된 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자를 모션 벡터 리스트로부터 추출하고, 이를 현재 텍스쳐 블록의 모션 벡터 또는 예측된 모션 벡터로 설정할 수 있다. 또한, 상기 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자가 현재 텍스쳐 블록의 예측된 모션 벡터로 설정되는 경우, 현재 텍스쳐 블록의 모션 벡터를 복원하기 위해 모션 벡터 차분값이 이용될 수 있다. 여기서, 모션 벡터 차분값은 디코딩된 모션 벡터와 예측된 모션 벡터 간의 차분 벡터를 의미할 수 있다. 따라서, 모션 벡터 리스트로부터 획득된 예측된 모션 벡터와 비트스트림으로부터 추출된 모션 벡터 차분값을 이용하여 현재 텍스쳐 블록의 모션 벡터를 디코딩할 수 있다. 디코딩된 모션 벡터 및 참조 픽쳐 리스트를 이용하여 현재 텍스쳐 블록의 픽셀값을 예측할 수 있다. 여기서, 참조 픽쳐 리스트는 시간적 인터 예측을 위한 참조 픽쳐뿐만 아니라 시점 간 인터 예측을 위한 참조 픽쳐를 포함할 수 있다.

도 2에서 살펴본 인터뷰 모션 벡터는 공간적 인터뷰 모션 벡터, 시간적 인터뷰 모션 벡터 및 변이 벡터 중에서 선택된 어느 하나로부터 유도될 수 있다. 본 발명의 공간적 인터뷰 모션 벡터는 현재 텍스쳐 블록에 공간적으로 인접한 이웃 블록 중에서 시점 간 인터 예측으로 코딩된 이웃 블록의 모션 벡터로부터 유도될 수 있다. 다시 말해, 공간적 인터뷰 모션 벡터는 현재 텍스쳐 블록의 공간적 이웃 블록 중 인터뷰 모션 벡터를 가진 이웃 블록을 이용하여 유도될 수 있으며, 이는 도 4를 참조하여 살펴 보기로 한다. 본 발명의 시간적 인터뷰 모션 벡터는 현재 텍스쳐 블록의 시간적 이웃 블록 중에서 시점 간 인터 예측으로 코딩된 이웃 블록의 모션 벡터로부터 유도될 수 있다. 다시 말해, 시간적 인터뷰 모션 벡터는 현재 텍스쳐 블록의 시간적 이웃 블록 중 인터뷰 모션 벡터를 가진 이웃 블록을 이용하여 유도될 수 있다. 여기서, 시간적 이웃 블록은 현재 텍스쳐 블록을 포함한 현재 픽쳐와 동일 시점을 가진 참조 픽쳐 내에서 현재 텍스쳐 블록과 동일 위치 및/또는 인접 위치에 있는 블록을 의미할 수 있으며, 이는 도 5를 참조하여 살펴 보기로 한다. 한편, 본 발명의 변이 벡터는 다시점 영상에 있어서의 시점 간 변이를 나타낼 수 있다. 다시점 영상의 경우, 카메라 위치에 따른 시점 간 변이가 발생할 수 있고, 변이 벡터는 이러한 시점 간 변이를 보상해 줄 수도 있다. 변이 벡터를 유도하는 방법에 대해서는 도 6을 참조하여 살펴 보기로 한다.

도 4는 본 발명이 적용되는 일실시예로서, 공간적 이웃 블록의 예를 도시한 것이다.

도 4(a)를 참조하면, 공간적 이웃 블록은 좌측하단 이웃 블록 (A0), 좌측 이웃 블록 (A1), 우측상단 이웃 블록 (B0), 상단 이웃 블록 (B1), 좌측상단 이웃 블록 (B2) 중 적어도 하나를 포함할 수 있다. 먼저, 상기 언급한 공간적 이웃 블록들 중에서 시점 간 인터 예측으로 코딩된 블록을 탐색하고, 시점 간 인터 예측으로 코딩된 이웃 블록의 인터뷰 모션 벡터를 현재 텍스쳐 블록의 인터뷰 모션 벡터로 설정할 수 있다. 한편, 공간적 이웃 블록들 간의 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다. 시점 간 인터 예측으로 코딩된 블록을 탐색함에 있어서, 공간적 이웃 블록들 간의 우선순위가 표 1과 같이 설정되어 있다고 가정하자.

표 1을 참조하면, 우선순위의 값이 작을수록 높은 우선순위를 의미한다. 따라서, 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 시점 간 인터 예측으로 코딩된 블록을 찾을 때까지 탐색을 수행할 수 있다. 예를 들어, 좌측하단 이웃 블록이 시점 간 인터 예측으로 코딩된 블록인 경우, 좌측하단 이웃 블록의 인터뷰 모션 벡터를 현재 텍스쳐 블록의 인터뷰 모션 벡터로 설정하고, 탐색을 종료할 수 있다. 그러나, 탐색 결과, 좌측하단 이웃 블록이 시점 간 인터 예측으로 코딩되지 아니한 경우에는 좌측 이웃 블록이 시점 간 인터 예측으로 코딩되어 있는지 확인할 수 있다. 또는, 좌측 이웃 블록, 상단 이웃 블록, 우측상단 이웃 블록, 좌측하단 이웃 블록, 좌측상단 이웃 블록 순으로 시점 간 인터 예측으로 코딩된 블록을 찾을 때까지 탐색을 수행할 수도 있다. 다만, 공간적 이웃 블록들 간의 우선순위는 상기 실시예에 한정되지 아니한다.

한편, 시점 간 인터 예측으로 코딩되는지 여부를 판별하는 방법에 대해서 살펴 보기로 한다. 일실시예로서, 시점 간 인터 예측으로 코딩되는지 여부는 해당 이웃 블록이 시점 간 참조 픽쳐 리스트를 이용하는지에 기초하여 판별할 수 있다. 시점 간 참조 픽쳐 리스트는 해당 이웃 블록의 시점과 다른 시점에 위치한 참조 픽쳐로 구성된 리스트를 의미할 수 있다. 또는, 해당 이웃 블록의 레퍼런스 인덱스 정보에 기초하여 판별할 수도 있다. 예를 들어, 해당 이웃 블록의 레퍼런스 인덱스 정보가 해당 이웃 블록의 시점과 다른 시점에 위치한 참조 픽쳐를 특정하는 경우, 해당 이웃 블록은 시점 간 인터 예측으로 코딩됨을 특정할 수 있다. 또는, 해당 이웃 블록을 포함한 픽쳐의 POC와 해당 이웃 블록의 참조 픽쳐의 POC 간의 동일 여부에 기초하여 판별할 수도 있다. POC는 출력 순서 정보이며, 동일 액세스 유닛 (access unit) 내의 픽쳐들은 동일한 POC를 가질 수 있다. 따라서, 양자의 POC가 동일하다는 것은 해당 이웃 블록을 포함한 픽쳐와 참조 픽쳐가 서로 상이한 시점에 위치함을 의미할 것이고, 이 경우 해당 이웃 블록은 시점 간 인터 예측으로 코딩되는 것으로 특정할 수 있다.

도 4(b)는 공간적 이웃 블록의 후보자를 확장한 예이다. 좌측 이웃 블록 (A1)의 크기가 현재 텍스쳐 블록의 크기보다 작은 경우, 현재 텍스쳐 블록은 적어도 하나 이상의 좌측 이웃 블록을 더 가질 수 있다. 예를 들어, 도 4(b)와 같이, 본 발명의 공간적 이웃 블록은 좌측 이웃 블록 (A1)과 좌측상단 이웃 블록 (B4) 사이에 위치한 좌측 이웃 블록 (A2, A3)을 더 포함할 수 있다. 동일한 방식으로 상단 이웃 블록 (B1)의 크기가 현재 텍스쳐 블록의 크기보다 작은 경우, 본 발명의 공간적 이웃 블록은 상단 이웃 블록 (B1)과 좌측상단 이웃 블록 (B4) 사이에 위치한 상단 이웃 블록 (B2, B3)을 더 포함할 수 있다. 이 경우에도 공간적 이웃 블록들 간의 우선순위 (예를 들어, A0 -> A1 -> A2 -> A3 -> B0 -> B1 -> B2 -> B3 -> B4)를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있음은 물론이다. 이와 같이 현재 텍스쳐 블록의 인터뷰 모션 벡터로 유도하기 위한 공간적 이웃 블록의 후보자를 확장함으로써, 현재 텍스쳐 블록의 인터뷰 모션 벡터를 획득할 수 있는 확률을 높일 수 있다.

도 5는 본 발명이 적용되는 일실시예로서, 시간적 이웃 블록의 예를 도시한 것이다.

도 5를 참조하면, 시간적 이웃 블록은 현재 텍스쳐 블록의 참조 픽쳐 내에서 현재 텍스쳐 블록과 동일한 위치에 있는 블록 (이하, 동일 위치의 블록이라 한다.)을 의미할 수 있다. 여기서, 참조 픽쳐는 현재 텍스쳐 블록을 포함한 현재 픽쳐와 동일 시점 및 다른 시간대에 위치한 픽쳐를 의미할 수 있다. 본 발명의 동일 위치의 블록은 도 5에 도시된 바와 같이 2가지 방법으로 정의될 수 있다. 도 5(a)를 참조하면, 동일 위치의 블록은 현재 텍스쳐 블록의 중심 픽셀의 위치 (C)에 대응하는 참조 픽쳐 내에서의 C위치를 포함하는 블록으로 정의될 수 있다. 또는, 도 5(b)를 참조하면, 동일 위치의 블록은 현재 텍스쳐 블록의 좌측상단 픽셀의 위치 (X)에 대응하는 참조 픽쳐 내에서의 X위치를 포함하는 블록으로 정의될 수도 있다.

한편, 본 발명의 시간적 이웃 블록은 동일 위치의 블록에 한정되지 아니하며, 상기 동일 위치의 블록에 인접한 이웃 블록을 의미할 수도 있다. 도 5(a)에 도시된 바와 같이, 동일 위치의 블록에 인접한 이웃 블록으로 좌측하단 이웃 블록 (A0), 좌측 이웃 블록 (A1), 우측상단 이웃 블록 (B0), 상단 이웃 블록 (B1), 좌측상단 이웃 블록 (B2) 중 적어도 어느 하나를 이용할 수 있다. 나아가, 참조 픽쳐는 현재 픽쳐 이전에 이미 디코딩이 되어 있으므로, 동일 위치의 블록의 하단 및 우측에 인접한 이웃 블록도 시간적 이웃 블록으로 이용될 수 있다. 예를 들어, 도 5(a)에 도시된 바와 같이, 시간적 이웃 블록으로 우측하단 이웃 블록 (C0), 하단 이웃 블록 (C1), 우측 이웃 블록 (C2)이 이용될 수도 있다.

또한, 본 발명의 시간적 이웃 블록은 동일 위치의 블록을 포함하는 코딩 블록을 의미할 수도 있다. 코딩 블록은 비디오 신호의 처리 과정 (예를 들어, 인트라/인터 예측, 변환, 양자화, 엔트로피 코딩 등)에서 영상을 처리하기 위한 기본 단위를 의미할 수 있다. 하나의 코딩 블록은 다시 복수 개의 코딩 블록으로 분할될 수 있다. 예를 들어, 2N x 2N 크기를 가지는 하나의 코딩 블록은 다시 네 개의 NxN 크기를 가지는 코딩 블록으로 분할될 수 있다. 이러한 코딩 블록의 분할은 재귀적으로 이루어질 수 있다. 시간적 이웃 블록이 동일 위치의 블록을 포함하는 코딩 블록으로 정의되는 경우, 해당 코딩 블록에 포함된 블록으로서, 시점 간 인터 예측으로 코딩된 블록의 인터뷰 모션 벡터는 현재 텍스쳐 블록의 인터뷰 모션 벡터의 후보자가 될 수 있다. 이 경우, 해당 코딩 블록 내에 포함된 블록들 간의 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있고, 이는 도 6을 참조하여 살펴 보기로 한다. 도 6은 본 발명이 적용되는 일실시예로서, 동일 위치의 블록을 포함한 코딩 블록이 시간적 이웃 블록으로 이용되는 경우, 코딩 블록 내에 포함된 블록들 간의 우선순위를 도시한 것이다.

도 6(a)를 참조하면, 코딩 블록 내에 포함된 블록들 간의 우선순위는 래스터 스캔 (raster scan) 순서에 따라 결정될 수 있다. 래스터 스캔은 좌측에서 우측으로 라인별로 스캔하는 방식을 의미할 수 있다. 따라서, 래스터 스캔 순서에 따라 시점 간 인터 예측으로 코딩된 블록을 탐색하고, 시점 간 인터 예측으로 코딩된 블록을 찾은 경우에는 해당 블록의 인터뷰 모션 벡터를 현재 텍스쳐 블록의 인터뷰 모션 벡터로 설정할 수 있다. 또는, 도 6(b)에 도시된 바와 같이, 코딩 블록의 안쪽에 위치한 블록에서 바깥쪽에 위치한 블록으로 시계 방향 또는 반시계 방향의 스캔 순서에 따라 우선순위를 결정할 수도 있다.

한편, 시간적 이웃 블록의 후보자로 언급한 a) 동일 위치의 블록, b) 동일 위치의 블록에 인접한 이웃 블록, c) 동일 위치의 블록을 포함한 코딩 블록 간에도 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다. 즉, 최우선순위를 가진 시간적 이웃 블록이 시점 간 인터 예측으로 코딩된 블록인지 여부를 판별하고, 최우선순위를 가진 시간적 이웃 블록이 시점 간 인터 예측으로 코딩되지 아니한 경우에는 차우선순위를 가진 시간적 이웃 블록이 시점 간 인터 예측으로 코딩된 블록인지 여부를 판별할 것이다. 이는 시점 간 인터 예측으로 코딩된 블록을 찾을 때까지 수행할 수 있다. 예를 들어, 시간적 이웃 블록들 간의 우선순위가 표 2와 같이 설정되어 있다고 가정하자. 다만, 이는 일실시예에 불과하며, 본 발명은 이에 한정되지 아니한다.

표 2를 참조하면, 우선순위의 값이 작을수록 높은 우선순위를 의미한다. 따라서, 최우선순위를 가진 동일 위치의 블록이 시점 간 인터 예측으로 코딩된 블록인지 판별하고, 시점 간 인터 예측으로 코딩된 블록인 경우에는 동일 위치의 블록의 인터뷰 모션 벡터를 현재 텍스쳐 블록의 인터뷰 모션 벡터로 설정하고 탐색을 중지할 수 있다. 다만, 시점 간 인터 예측으로 코딩된 블록이 아닌 경우에는 동일 위치의 블록에 인접한 이웃 블록, 동일 위치의 블록을 포함한 코딩 블록 순으로 시점 간 인터 예측으로 코딩된 블록을 찾을 때까지 탐색을 수행할 것이다.

현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도함에 있어서, 시간적 이웃 블록은 시간적 모션 플래그 정보에 기초하여 선택적으로 이용될 수 있다. 시간적 모션 플래그 정보는 시간적 이웃 블록이 현재 픽쳐의 모션 벡터 또는 인터뷰 모션 벡터를 유도할 때 이용되는지 여부를 특정하는 정보를 의미할 수 있다. 즉, 인코더는 시간적 이웃 블록의 인터뷰 모션 벡터를 현재 픽쳐의 인터뷰 모션 벡터의 후보자로 이용하는 것이 효율적인 경우에는 시간적 모션 플래그 정보를 1로 코딩하고, 그렇지 아니한 경우에는 0으로 코딩하여 디코더로 전송할 수 있다. 디코더는 현재 픽쳐에 대한 시간적 모션 플래그 정보에 따라 시간적 이웃 블록이 이용되는 경우에 한해 현재 픽쳐에 포함된 각 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 때 시간적 이웃 블록을 후보자로 이용할 수 있다. 이와 같이 시간적 모션 플래그 정보를 이용하여 시간적 이웃 블록을 제한적으로 이용하게 함으로써, 참조 픽쳐의 코딩 정보에 대한 접근을 제한할 수 있고, 그에 따라 디코딩 과정의 복잡도를 줄이고 참조 픽쳐가 저장된 메모리를 참조하는 횟수도 줄일 수 있다. 이하, 도 현재 텍스쳐 블록의 인터뷰 모션 벡터로 이용 가능한 변이 벡터를 획득하는 방법에 대해서 살펴 보기로 한다.

도 7은 본 발명이 적용되는 일실시예로서, 뎁스 데이터를 이용하여 현재 텍스쳐 블록의 변이 벡터를 유도하는 방법을 도시한 것이다.

도 7을 참조하면, 현재 픽쳐의 현재 텍스쳐 블록의 위치 정보에 기초하여 이에 대응하는 뎁스 픽쳐 내의 뎁스 블록 (이하, 현재 뎁스 블록이라 한다.)의 위치 정보를 획득할 수 있다(S700). 현재 뎁스 블록의 위치는 뎁스 픽쳐와 현재 픽쳐 간의 공간 해상도를 고려하여 결정될 수 있다. 예를 들어, 뎁스 픽쳐와 현재 픽쳐가 동일한 공간 해상도로 코딩된 경우, 현재 뎁스 블록의 위치는 현재 픽쳐의 현재 텍스쳐 블록과 동일 위치의 블록으로 결정될 수 있다. 한편, 현재 픽쳐와 뎁스 픽쳐가 상이한 공간 해상도로 코딩될 수도 있다. 카메라와 객체 간의 거리 정보를 나타내는 뎁스 정보의 특성상, 공간 해상도를 낮춰서 코딩하더라도 코딩 효율이 크게 떨어지지 아니할 수 있기 때문이다. 따라서, 뎁스 픽쳐의 공간 해상도가 현재 픽쳐보다 낮게 코딩된 경우, 디코더는 현재 뎁스 블록의 위치 정보를 획득하기 전에 뎁스 픽쳐에 대한 업샘플링 과정을 수반할 수 있다. 또한, 업샘플링된 뎁스 픽쳐와 현재 픽쳐 간의 화면비율 (aspect ratio)이 정확히 일치하지 아니하는 경우, 업샘플링된 뎁스 픽쳐 내에서 현재 뎁스 블록의 위치 정보를 획득함에 있어서 오프셋 정보를 추가적으로 고려할 수 있다. 여기서, 오프셋 정보는 상단 오프셋 정보, 좌측 오프셋 정보, 우측 오프셋 정보, 하단 오프셋 정보 중 적어도 하나를 포함할 수 있다. 상단 오프셋 정보는 업샘플링된 뎁스 픽쳐의 상단에 위치한 적어도 하나의 픽셀과 현재 픽쳐의 상단에 위치한 적어도 하나의 픽셀 간의 위치 차이를 나타낼 수 있다. 좌측, 우측, 하단 오프셋 정보 역시 동일한 방식으로 각각 정의될 수 있다.

현재 뎁스 블록의 위치 정보에 해당하는 뎁스 데이터를 획득할 수 있다(S710). 현재 뎁스 블록 내에 복수 개의 픽셀이 존재하는 경우, 현재 뎁스 블록의 코너 픽셀 (corner pixel)에 대응하는 뎁스 데이터가 이용될 수 있다. 또는, 현재 뎁스 블록의 중앙 픽셀 (center pixel)에 대응하는 뎁스 데이터가 이용될 수도 있다. 또는, 복수 개의 픽셀에 대응하는 복수 개의 뎁스 데이터 중에서 최대값, 최소값, 최빈값 중 어느 하나가 선택적으로 이용될 수 있고, 복수 개의 뎁스 데이터 간의 평균값이 이용될 수도 있다. 획득된 뎁스 데이터와 카메라 파라미터를 이용하여 현재 텍스쳐 블록의 변이 벡터를 유도할 수 있다(S720). 구체적인 유도 방법은 수학식 3 및 4를 토대로 살펴보기로 한다.

수학식 3을 참조하면, Z는 해당 픽셀의 카메라로부터의 거리를 의미하며, D는 Z를 양자화한 값으로서, 본 발명의 뎁스 데이터에 대응된다. Znear 및 Zfar 는 뎁스 픽쳐가 속한 시점에 대해서 정의된 Z의 최소값 및 최대값을 각각 의미한다. 또한, Znear 및 Zfar 는 시퀀스 파라미터 세트, 슬라이스 헤더 등을 통하여 비트스트림으로부터 추출될 수 있고, 디코더 내에 미리 정의된 정보일 수도 있다. 따라서, 해당 픽셀의 카메라로부터의 거리 Z를 256레벨로 양자화한 경우, 수학식 3과 같이 뎁스 데이터, Znear 및 Zfar 를 이용하여 Z를 복원할 수 있다. 그런 다음, 복원된 Z를 이용하여 수학식 4와 같이 현재 텍스쳐 블록에 대한 변이 벡터를 유도할 수 있다.

수학식 4에서, f는 카메라의 초점 거리를 의미하고, B는 카메라 간의 거리를 의미한다. f 및 B는 모든 카메라에 대해서 동일하다고 가정할 수 있고, 따라서 디코더에 미리 정의된 정보일 수 있다.

한편, 다시점 영상에 대해서 텍스쳐 데이터만을 코딩하는 경우에는 카메라 파라미터에 관한 정보를 이용할 수 없기 때문에 뎁스 데이터로부터 변이 벡터를 유도하는 방법을 사용할 수 없다. 따라서, 다시점 영상의 텍스쳐 데이터만 코딩하는 경우에는 변이 벡터를 저장한 변이 벡터 맵 (disparity vector map)을 이용할 수 있다. 변이 벡터 맵은 수평 성분과 수직 성분으로 구성된 변이 벡터가 2차원 배열로 저장된 맵일 수 있다. 본 발명의 변이 벡터 맵은 다양한 크기로 표현될 수 있다. 예를 들어, 하나의 픽쳐마다 하나의 변이 벡터만을 사용하는 경우에는 1x1의 크기를 가질 수 있고, 픽쳐 내의 4x4 블록마다 변이 벡터를 사용하는 경우에는 픽쳐 크기에 대비해서 1/4의 너비와 높이를 가지므로 변이 벡터 맵은 픽쳐의 1/16 크기를 가질 수도 있다. 또한, 하나의 픽쳐 내에서 현재 텍스쳐 블록의 크기는 적응적으로 결정될 수 있고, 해당 텍스쳐 블록마다 변이 벡터를 저장할 수도 있다.

현재 픽쳐는 이에 대응하는 변이 벡터 맵으로부터 추출된 변이 벡터를 이용하여 디코딩을 수행할 수 있다. 한편, 현재 픽쳐의 디코딩 결과에 기초하여 현재 픽쳐에 대응하는 변이 벡터 맵을 업데이트할 수 있다. 업데이트된 변이 벡터 맵은 현재 픽쳐 이후에 코딩되는 픽쳐의 변이 벡터 맵으로 이용될 수 있다. 이하, 도 8을 참조하여 변이 벡터 맵을 업데이트하는 방법에 대해서 살펴 보기로 한다.

도 8은 본 발명이 적용되는 일실시예로서, 현재 픽쳐 내의 인터 예측된 블록에 대한 변이 벡터 맵을 업데이트하는 과정을 도시한 것이다.

도 8을 참조하면, 비트스트림으로부터 현재 텍스쳐 블록의 예측 모드 정보를 추출할 수 있다(S800). 예측 모드 정보는 현재 블록이 인트라 예측으로 코딩되는지, 아니면 인터 예측으로 코딩되는지를 나타내는 정보를 의미할 수 있다. 추출된 예측 모드 정보에 따라 현재 텍스쳐 블록이 인터 예측으로 코딩되는 경우, 현재 텍스쳐 블록의 L0 방향 및 L1 방향에 대한 예측이 시간적 인터 예측인지, 시점 간 인터 예측인지 판별할 수 있다(S810). L0 방향에 대한 예측이라 함은 일방향의 인터 예측을 위한 참조 픽쳐 리스트 0를 이용한 예측을 의미하며, L1 방향에 대한 예측이라 함은 양방향의 인터 예측을 위한 참조 픽쳐 리스트 0 및 참조 픽쳐 리스트 1 중 참조 픽쳐 리스트 1을 이용한 예측을 의미할 수 있다. 시점 간 인터 예측인지 여부를 판별하는 방법으로는 a) 시점 간 참조 픽쳐 리스트를 이용하는 방법, b) 레퍼런스 인덱스 정보를 이용하는 방법, c) 현재 텍스쳐 블록을 포함한 픽쳐의 POC와 현재 텍스쳐 블록의 참조 픽쳐의 POC 간의 동일성을 이용하는 방법 등이 이용될 수 있으며, 이는 도 4에서 상술한 바와 같다. S810에서의 판별 결과에 따라 현재 텍스쳐 블록의 L0 방향 및 L1 방향의 예측 중 적어도 하나가 시점 간 인터 예측인 경우에는 시점 간 인터 예측에 사용된 인터뷰 모션 벡터를 변이 벡터 맵에 기록할 수 있다(S820). 이때, L0 방향 및 L1 방향의 예측 모두 시점 간 인터 예측인 경우에는 시점 간 인터 예측에 이용된 2개의 인터뷰 모션 벡터의 평균값을 변이 벡터 맵에 기록할 수도 있다. 또는, 시점 간 인터 예측에 이용된 인터뷰 모션 벡터에서 수평 성분만을 변이 벡터 맵에 기록할 수도 있다. 반면, 현재 텍스쳐 블록의 L0 방향 및 L1 방향의 예측 중 어느 하나도 시점 간 인터 예측이 아닌 경우에는 현재 텍스쳐 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도된 것인지 확인할 수 있다(S830). 참조뷰 모션 벡터는 앞서 살펴본 바와 같이 현재 텍스쳐 블록의 인터뷰 모션 벡터에 의해 특정된 블록이 사용한 모션 벡터를 의미할 수 있다. S830의 확인 결과, 현재 텍스쳐 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도된 경우에는 병합 모드 플래그 정보에 기초하여 현재 텍스쳐 블록이 병합 모드로 코딩되는지 여부를 판별할 수 있다(S840). 병합 모드 플래그 정보는 해당 블록이 병합 모드로 코딩되는지 여부를 지시하는 정보이며, 병합 모드라 함은 해당 블록의 모션 벡터가 공간적 모션 벡터, 시간적 모션 벡터, 참조뷰 모션 벡터 및 인터뷰 모션 벡터 중 어느 하나로부터 유도되고, 모션 벡터 차분값을 수반하지 아니하는 방식을 의미한다. 반면, 넌-병합 모드는 해당 블록의 모션 벡터가 정보가 공간적 모션 벡터, 시간적 모션 벡터, 참조뷰 모션 벡터 및 인터뷰 모션 벡터 중 어느 하나로부터 유도되나, 유도된 모션 벡터는 예측된 모션 벡터로 이용되므로, 모션 벡터를 복원하기 위해 모션 벡터 차분값을 수반하는 방식이다.

S840의 판별 결과, 현재 텍스쳐 블록이 병합 모드로 코딩된 경우에는 상기 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터를 변이 벡터 맵에 기록할 수 있다(S850). 다만, S840의 판별 결과, 현재 텍스쳐 블록이 병합 모드로 코딩되지 아니한 경우에는 현재 텍스쳐 블록의 모션 벡터 차분값과 임계값을 비교할 수 있다(S860). 본 발명의 임계값은 기결정된 정수값으로 설정될 수 있다. 예를 들어, 수직 성분의 임계값은 2 픽셀, 수평 성분의 임계값은 2 픽셀로 설정될 수 있다. 비교 결과, 모션 벡터 차분값이 임계값 이하이면, 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터를 변이 벡터 맵에 기록할 수 있다(S850). 그러나, 모션 벡터 차분값이 임계값보다 큰 경우에는 현재 텍스쳐 블록의 모션 벡터를 이용하여 변이 벡터 맵에 대해서 모션 보상을 수행할 수 있다(S870). 즉, 참조 픽쳐의 변이 벡터 맵에서 현재 텍스쳐 블록의 모션 벡터에 의해 특정되는 변이 벡터를 추출하고, 이를 현재 픽쳐의 변이 벡터 맵에 기록할 수 있다.

또한, S830의 확인 결과, 현재 텍스쳐 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도되지 아니한 경우에도 현재 텍스쳐 블록의 모션 벡터를 이용하여 변이 벡터 맵에 대해서 모션 보상을 수행하여 현재 픽쳐의 변이 벡터 맵을 업데이트할 수 있다(S850).

인코더는 변이 벡터 맵에 저장된 변이 벡터 중에서 가장 높은 빈도수를 가진 변이 벡터를 추출하고, 이에 대한 변이 벡터 오프셋을 산출하여 디코더로 전송할 수 있다. 디코더는 변이 벡터 맵에 저장된 변이 벡터 중에서 가장 높은 빈도수를 가진 변이 벡터를 추출하고, 비트스트림으로부터 획득된 변이 벡터 오프셋을 이용하여 추출된 변이 벡터를 보정할 수 있다.

또는, 인코더는 변이 벡터 맵에 저장된 변이 벡터 중에서 가장 높은 빈도수를 가지는 순서로 K개의 변이 벡터를 추출하고, 각각의 변이 벡터에 대한 변이 벡터 오프셋을 산출하여 디코더로 전송할 수도 있다. 또한, 인코더는 디코더로 전송되는 변이 벡터 오프셋의 개수를 나타내는 오프셋 개수 정보를 더 코딩하여 디코더로 전송할 수도 있다. 따라서, 디코더는 비트스트림으로부터 오프셋 개수 정보를 추출하고, 오프셋 개수 정보에 따른 개수만큼 변이 벡터 오프셋을 비트스트림으로부터 추출할 수 있다. 또한, 변이 벡터 맵에서 가장 높은 빈도수를 가진 순서로 오프셋 개수 정보에 따른 개수만큼의 변이 벡터를 추출할 수 있다. 그런 다음, 추출된 변이 벡터에 상기 변이 벡터 오프셋을 적용하여 변이 벡터를 보정할 수 있다.

또는, 인코더는 변이 벡터 맵에 저장된 변이 벡터 중 최대값과 최소값을 추출하고, 이를 이용하여 변이 벡터 맵에 저장된 변이 벡터의 범위를 산출할 수 있다. 상기 변이 벡터의 범위를 N개의 구간으로 나누고, 각 구간에 대응하는 변이 벡터 오프셋을 코딩하여 디코더로 전송할 수 있다. 또한, 인코더는 인코더에서 결정한 구간의 개수 정보를 코딩하여 디코더로 전송할 수 있다. 따라서, 디코더는 비트스트림으로부터 구간의 개수 정보를 추출하고, 구간의 개수 정보에 따른 개수만큼 변이 벡터 오프셋을 추출할 수 있다. 그런 다음, 해당 구간에 속한 변이 벡터에 해당 구간에 대응하는 변이 벡터 오프셋을 더하여 변이 벡터를 보정할 수 있다.

한편, 앞서 살펴본 최빈도수를 가지는 K개의 변이 벡터를 보정하는 방법과 변이 벡터의 범위를 N개의 구간으로 나누어 변이 벡터를 보정하는 방법은 선택적으로 이용될 수도 있다. 이를 위해 최빈도수를 가지는 K개의 변이 벡터를 보정할 것인지, 아니면 N개의 구간별로 변이 벡터를 보정할 것인지를 나타내는 오프셋 타입 정보를 정의할 수 있다. 따라서, 오프셋 타입 정보에 따라 최빈도수를 가지는 K개의 변이 벡터를 추출하고, 이에 대해 변이 벡터 오프셋을 적용할 수 있고, 아니면 변이 벡터의 범위를 N개의 구간으로 나누고 각 구간별 변이 벡터 오프셋을 이용하여 해당 구간의 변이 벡터를 보정할 수도 있다.

현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자에는 공간적 인터뷰 모션 벡터, 시간적 인터뷰 모션 벡터 및 변이 벡터가 있으며, 이 중에서 선택된 어느 하나로부터 현재 텍스쳐 블록의 인터뷰 모션 벡터가 유도될 수 있음을 살펴 보았다. 이하, 인터뷰 모션 벡터 후보자로부터 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 방법에 대해서 살펴 보기로 한다.

현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자들 간의 우선순위를 고려하여 인터뷰 모션 벡터를 획득할 수 있다. 인터뷰 모션 벡터 후보자들 간의 우선순위는 아래 표 3과 같이 설정될 수 있다.

표 3에서 우선순위 값이 작을수록 높은 우선순위를 의미한다. 즉, 공간적 인터뷰 모션 벡터가 최우선순위를 가지고, 다음으로 시간적 인터뷰 모션 벡터, 변이 벡터 순으로 우선순위가 설정될 수 있다. 표 3과 같이 후보자들 간의 우선순위가 설정된 경우에 인터뷰 모션 벡터를 유도하는 방법을 도 9를 참조하여 살펴 보기로 한다. 다만, 표 3은 일실시예에 불과하며, 본 발명은 이에 한정되지 아니한다. 예를 들어, 시간적 인터뷰 모션 벡터, 공간적 인터뷰 모션 벡터, 변이 벡터 순으로 우선순위가 설정될 수도 있고, 또는 변이 벡터, 공간적 인터뷰 모션 벡터, 시간적 인터뷰 모션 벡터 순으로 우선순위가 설정될 수도 있다. 또는 일정 카테고리만을 가지고 이들 간의 우선순위를 설정할 수도 있다. 예를 들어, 공간적 인터뷰 모션 벡터와 시간적 인터뷰 모션 벡터 간의 우선순위를 설정할 수도 있고, 또는 공간적 인터뷰 모션 벡터와 변이 벡터 간의 우선순위를 설정할 수도 있다.

도 9는 본 발명이 적용되는 일실시예로서, 기설정된 우선순위에 기초하여 시점 간 인터 예측으로 코딩된 이웃 블록으로부터 인터뷰 모션 벡터를 유도하는 방법을 도시한 것이다.

도 9를 참조하면, 공간적 이웃 블록들 중 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다(S900). 도 4에서 살펴본 바와 같이 시점 간 인터 예측으로 코딩된 블록을 탐색하는 과정에서도 공간적 이웃 블록들 간의 우선순위를 고려할 수 있다. 예를 들어, 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다. 또한, 시점 간 인터 예측인지 여부를 판별하는 방법과 관련하여, a) 시점 간 참조 픽쳐 리스트를 이용하는 방법, b) 레퍼런스 인덱스 정보를 이용하는 방법, c) 공간적 이웃 블록을 포함한 픽쳐의 POC와 공간적 이웃 블록의 참조 픽쳐의 POC 간의 동일성을 이용하는 방법 등이 이용될 수 있다. 이에 대해서는 도 4에서 상술한 바 있고, 본 실시예에도 동일하게 적용될 수 있는바, 자세한 설명은 생략하기로 한다.

S900의 탐색 결과, 공간적 이웃 블록 중 시점 간 인터 예측으로 코딩된 블록이 존재하는 경우, 해당 공간적 이웃 블록의 인터뷰 모션 벡터로부터 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다(S910). 그러나, S900의 탐색 결과 공간적 이웃 블록 중 시점 간 인터 예측을 코딩된 블록이 존재하지 아니하는 경우, 시간적 이웃 블록 중 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다(S920). 시간적 이웃 블록의 후보자는 a) 동일 위치의 블록, b) 동일 위치의 블록에 인접한 이웃 블록, c) 동일 위치의 블록을 포함한 코딩 블록 중 적어도 하나를 포함할 수 있고, 앞서 살펴본 바와 같이 시간적 이웃 블록의 후보자들 간의 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있음은 물론이다.

S920의 탐색 결과 시간적 이웃 블록 중 시점 간 인터 예측으로 코딩된 블록이 존재하는 경우에는 해당 시간적 이웃 블록의 인터뷰 모션 벡터를 이용하여 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다(S930). 반면, 시간적 이웃 블록 중 시점 간 인터 예측으로 코딩된 블록이 존재하지 않는 경우에는 현재 텍스쳐 블록의 변이 벡터를 이용하여 인터뷰 모션 벡터를 유도할 수 있다(S940).

한편, 공간적 또는 시간적 이웃 블록이 시점 간 인터 예측으로 코딩되지 아니한 경우 즉, 시간적 인터 예측으로 코딩된 경우라도 해당 이웃 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도된 경우에는 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터 역시 현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자로 이용될 수도 있다. 이하, 인터뷰 모션 벡터 후보자가 표 3과 같은 우선순위를 가진다는 전제로, 시간적 인터 예측으로 코딩된 이웃 블록을 이용하여 인터뷰 모션 벡터를 유도하는 방법을 살펴 보기로 한다.

도 10은 본 발명이 적용되는 일실시예로서, 기설정된 우선순위에 기초하여 시간적 인터 예측으로 코딩된 이웃 블록 및 시점 간 인터 예측으로 코딩된 이웃 블록으로부터 인터뷰 모션 벡터를 유도하는 방법을 도시한 것이다.

도 10을 참조하면, 공간적 이웃 블록이 시간적 인터 예측으로 코딩된 블록인지, 시점 간 인터 예측으로 코딩된 블록인지 확인할 수 있다(S1000). 공간적 이웃 블록들 간의 우선순위에 따라 순차적으로 시간적 또는 시점 간 인터 예측으로 코딩된 블록인지 확인할 수 있다. 확인 과정은 시간적 또는 시점 간 인터 예측으로 코딩된 블록을 찾을 때까지 수행할 수 있다. S1000의 확인 결과 공간적 이웃 블록이 시점 간 인터 예측으로 코딩된 경우에는 해당 공간적 이웃 블록의 인터뷰 모션 벡터를 이용하여 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다(S1010). 그러나, 공간적 이웃 블록이 시간적 인터 예측으로 코딩된 경우에는 공간적 이웃 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도된 것인지 확인할 수 있다(S1020). 만일 해당 공간적 이웃 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도되지 아니한 경우에는 해당 공간적 이웃 블록이 가장 늦은 우선순위를 가지는지 확인할 수 있다(S1030). 확인 결과 해당 공간적 이웃 블록이 가장 늦은 우선순위를 가지지 아니하는 경우에는 다음우선 순위를 가진 공간적 이웃 블록에 대해서 시간적 또는 시점 간 인터 예측으로 코딩된 블록인지 확인할 것이다(S1000). 그러나, 해당 공간적 이웃 블록이 가장 늦은 우선순위를 가진 경우에는 더 이상 공간적 이웃 블록으로부터 인터뷰 모션 벡터를 유도할 수 없는 바, 우선순위에 따라 시간적 이웃 블록 또는 변이 벡터로부터 인터뷰 모션 벡터를 유도하는 과정을 수행할 것이다.

S1020의 확인 결과, 해당 공간적 이웃 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도된 경우에는 공간적 이웃 블록이 병합 모드로 코딩된 것인지 확인할 수 있다(S1040). 이는 공간적 이웃 블록의 병합 모드 플래그 정보에 기초하여 판단할 수 있다. S1040의 확인 결과, 공간적 이웃 블록이 병합 모드로 코딩된 경우에는 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터를 이용하여 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다(S1050). 그러나, 공간적 이웃 블록이 병합 모드로 코딩되지 아니한 경우에는 공간적 이웃 블록의 모션 벡터 차분값과 문턱값을 비교할 수 있다(S1060). 여기서, 문턱값은 기결정된 정수값으로 설정될 수 있다. 예를 들어, 수직 성분의 문턱값은 2 픽셀, 수평 성분의 문턱값은 2 픽셀로 설정될 수 있다. 상기 S1060의 비교 결과 모션 벡터 차분값이 문턱값 이하인 경우에는 공간적 이웃 블록의 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터로부터 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다(S1050). 그러나, 모션 벡터 차분값이 문턱값보다 큰 경우에는 공간적 이웃 블록의 참조뷰 모션 벡터의 오차가 크다는 것을 의미할 수 있다. 따라서, 이 경우에는 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터를 유효하지 않은 값으로 설정할 수 있다(S1070).

본 발명은 기결정된 하나의 우선순위를 이용하는 것에 한정되지 아니하며, 아래 표 4와 같이 복수개의 우선순위 테이블을 정의하고, 이를 선택적으로 이용할 수도 있다.

이하, 복수개의 우선순위 테이블 중에서 어느 하나를 선택적으로 이용하는 방법에 대해서 살펴 보기로 한다.

본 발명의 일실시예로서, 인코더는 가장 효율이 좋은 우선순위 테이블을 선택하고, 이에 대응하는 우선순위 테이블 인덱스를 코딩하여 디코더로 전송할 수 있다. 따라서, 디코더는 비트스트림으로부터 우선순위 테이블 인덱스를 추출하여 대응하는 우선순위 테이블을 선택할 수 있다.

또한, 현재 텍스쳐 블록 이전에 코딩된 블록이 사용한 인터뷰 모션 벡터를 고려하여 우선순위 테이블을 선택할 수도 있으며, 이는 도 11 및 도 12를 참조하여 살펴 보기로 한다.

도 11은 본 발명이 적용되는 일실시예로서, 공간적 이웃 블록이 사용한 인터뷰 모션 벡터의 빈도수를 고려하여 우선순위 테이블을 선택하는 방법을 도시한 것이다.

도 11을 참조하면, 공간적 이웃 블록의 인터뷰 모션 벡터를 유도할 수 있다(S1100). 앞서 살펴본 바와 같이, 공간적 이웃 블록의 인터뷰 모션 벡터 역시 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 방법으로 유도될 수 있다. 따라서, 공간적 이웃 블록의 인터뷰 모션 벡터는 공간적 인터뷰 모션 벡터, 시간적 인터뷰 모션 벡터 및 변이 벡터 중 어느 하나로부터 유도될 수 있다. 그런 다음, 공간적 이웃 블록의 인터뷰 모션 벡터가 공간적 인터뷰 모션 벡터로부터 유도된 것인지, 시간적 인터뷰 모션 벡터로부터 유도된 것인지, 또는 변이 벡터로부터 유도된 것인지에 따라 공간적 이웃 블록을 분류할 수 있다(S1110). 상기 분류 과정을 통해서 공간적 인터뷰 모션 벡터, 시간적 인터뷰 모션 벡터 및 변이 벡터 중에서 최대 빈도로 이용되는 벡터를 결정할 수 있다(S1120). 최대 빈도로 이용되는 벡터에 따라 현재 텍스쳐 블록을 위한 우선순위 테이블을 선택할 수 있다(S1130). 예를 들어, 공간적 이웃 블록들의 인터뷰 모션 벡터를 유도함에 있어서 공간적 인터뷰 모션 벡터가 최대 빈도로 이용된 경우, 현재 텍스쳐 블록은 공간적 인터뷰 모션 벡터가 최우선순위를 가진 테이블을 선택할 수 있다. 그러나, 그렇지 아니한 경우, 현재 텍스쳐 블록은 시간적 인터뷰 모션 벡터가 최우선순위를 가진 테이블을 선택할 수 있다.

도 12는 본 발명이 적용되는 일실시예로서, 공간적 이웃 블록의 인터뷰 모션 벡터 타입을 고려하여 우선순위 테이블을 선택하는 방법을 도시한 것이다.

도 12를 참조하면, 공간적 이웃 블록의 인터뷰 모션 벡터 타입을 확인할 수 있다(S1200). 다시 말해, 인터뷰 모션 벡터가 공간적 인터뷰 모션 벡터로부터 유도된 것인지, 시간적 인터뷰 모션 벡터로부터 유도된 것인지, 아니면 변이 벡터로부터 유도된 것인지를 확인할 수 있다. 공간적 이웃 블록의 인터뷰 모션 벡터 타입에 따라 각 공간적 이웃 블록에 대한 벡터 타입 인덱스를 결정할 수 있다(S1210). 벡터 타입 인덱스는 공간적 이웃 블록의 인터뷰 모션 벡터가 공간적 인터뷰 모션 벡터로부터 유도된 것인지, 시간적 인터뷰 모션 벡터로부터 유도된 것인지, 아니면 변이 벡터로부터 유도된 것인지를 나타내는 정보일 수 있다. 예를 들어, 공간적 인터뷰 모션 벡터로부터 유도된 경우에는 해당 공간적 이웃 블록에 대한 벡터 타입 인덱스를 0으로 결정할 수 있고, 시간적 인터뷰 모션 벡터로부터 유도된 경우에는 벡터 타입 인덱스를 1로 결정할 수 있으며, 변이 벡터로부터 유도된 경우에는 벡터 타입 인덱스를 2로 설정할 수 있다. 상기 결정된 공간적 이웃 블록의 벡터 타입 인덱스에 기초하여 현재 텍스쳐 블록의 우선순위 테이블을 결정할 수 있다(S1220). 예를 들어, 표 5와 같이 공간적 이웃 블록의 벡터 타입 인덱스와 이에 대응하는 우선순위 테이블 인덱스로 구성된 테이블을 이용할 수 있다. 한편, 표 5에서 이해 편의를 위하여 공간적 이웃 블록으로 좌측 이웃 블록과 상단 이웃 블록만을 예로 들었으나, 이에 한정되지 아니하며, 우선순위 테이블 인덱스는 표 4를 기반으로 한 것이다.

공간적 이웃 블록 중 좌측 이웃 블록의 인터뷰 모션 벡터가 공간적 인터뷰 모션 벡터로부터 유도된 경우, 좌측 이웃 블록에 대한 벡터 타입 인덱스는 0으로 결정될 수 있다. 또한, 상단 이웃 블록 역시 공간적 인터뷰 모션 벡터로부터 유도된 경우, 상단 이웃 블록에 대한 벡터 타입 인덱스는 0으로 결정될 수 있다. 표 5를 참조하면, 좌측 이웃 블록과 상단 이웃 블록의 벡터 타입 인덱스가 각각 0인 경우, 현재 텍스쳐 블록의 우선순위 테이블 인덱스는 0으로 결정된다. 따라서, 현재 텍스쳐 블록은 공간적 인터뷰 모션 벡터를 최우선순위로 가진 테이블을 이용할 수 있다.

또는, 좌측 이웃 블록의 인터뷰 모션 벡터가 변이 벡터로부터 유도된 경우, 좌측 이웃 블록에 대한 벡터 타입 인덱스는 2로 결정될 수 있다. 상단 이웃 블록의 인터뷰 모션 벡터가 시간적 인터뷰 모션 벡터로부터 유도된 경우, 상단 이웃 블록에 대한 벡터 타입 인덱스는 1로 결정될 수 있다. 이 경우, 현재 텍스쳐 블록의 우선순위 테이블 인덱스는 2로 결정된다. 즉, 현재 텍스쳐 블록은 변이 벡터를 최우선순위로 가진 테이블을 이용할 수 있다.

S1220에서 결정된 우선순위 테이블에 따른 우선순위를 고려하여 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다(S1230).

도 13은 본 발명이 적용되는 일실시예로서, 상태 변수를 이용하여 우선순위를 결정하는 방법을 도시한 것이다.

도 13을 참조하면, 현재 텍스쳐 블록 이전에 코딩된 블록에 대한 상태 변수를 결정할 수 있다(S1300). 여기서, 상태 변수는 현재 텍스쳐 블록 이전에 코딩된 블록의 인터뷰 모션 벡터가 공간적 인터뷰 모션 벡터로부터 유도되는지, 시간적 인터뷰 모션 벡터로부터 유도되는지를 나타내는 변수를 의미할 수 있다. 예를 들어, 이전에 코딩된 블록의 인터뷰 모션 벡터가 공간적 이웃 블록의 인터뷰 모션 벡터로부터 유도된 경우에는 이전에 코딩된 블록의 상태 변수를 0으로 설정할 수 있고, 시간적 이웃 블록의 인터뷰 모션 벡터로부터 유도된 경우에는 상태 변수를 1로 설정할 수 있다. 또는, 역으로 공간적 이웃 블록의 인터뷰 모션 벡터로부터 유도된 경우에는 0으로, 시간적 이웃 블록의 인터뷰 모션 벡터로부터 유도된 경우에는 1로 상태 변수를 각각 설정할 수도 있다.

상기 결정된 이전에 코딩된 블록의 상태 변수에 기초하여 현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자들 간의 우선순위를 결정할 수 있다(S1310). 예를 들어, 이전에 코딩된 블록의 상태 변수가 공간적 인터뷰 모션 벡터로부터 유도됨을 나타내는 값으로 설정된 경우, 현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자 중에서 공간적 인터뷰 모션 벡터에 높은 우선순위를 부여할 수 있다. 반면, 이전에 코딩된 블록의 상태 변수가 시간적 인터뷰 모션 벡터로부터 유도됨을 나타내는 값으로 설정된 경우에는 시간적 인터뷰 모션 벡터에 높은 우선순위를 부여할 수 있다. 또는, 표 4에서 살펴본 바와 같이 복수개의 우선순위 테이블을 정의하는 경우에는 아래 표 6과 같이 상태 변수와 그에 대응하는 우선순위 테이블 인덱스로 구성된 테이블을 이용하여 인터뷰 모션 벡터 후보자 간의 우선순위를 결정할 수도 있다.

표 6을 살펴보면, 이전에 코딩된 블록의 상태 변수가 0인 경우, 다시 말해 이전에 코딩된 블록의 인터뷰 모션 벡터가 공간적 인터뷰 모션 벡터로부터 유도된 경우, 현재 텍스쳐 블록의 우선순위 테이블 인덱스는 0으로 결정되고, 그에 따라 현재 텍스쳐 블록은 공간적 인터뷰 모션 벡터가 최우선순위를 가진 테이블을 이용할 수 있다. 반면, 이전에 코딩된 블록의 상태 변수가 1인 경우에는 현재 텍스쳐 블록의 우선순위 테이블 인덱스는 1로 결정되고, 그에 따라 현재 텍스쳐 블록은 시간적 인터뷰 모션 벡터가 최우선순위를 가진 테이블을 이용할 수 있다.

상기 결정된 우선순위에 기초하여 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다(S1320). 한편, 현재 텍스쳐 블록의 상태 변수는 이후에 코딩되는 블록의 우선순위를 결정할 때 이용될 것이다. 따라서, S1320에 따라 유도된 인터뷰 모션 벡터에 기초하여 현재 텍스쳐 블록에 대한 상태 변수를 업데이트할 필요가 있다. 이를 위해, 현재 텍스쳐 블록의 인터뷰 모션 벡터 타입과 이전에 코딩된 블록의 인터뷰 모션 벡터 타입을 비교할 수 있다(S1330). 예를 들어, 이전에 코딩된 블록의 인터뷰 모션 벡터가 공간적 인터뷰 모션 벡터로부터 유도됨에 따라 상태 변수가 0으로 설정되고, 그에 따라 현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자 중에서 공간적 인터뷰 모션 벡터에 높은 우선순위를 부여한다고 가정하자. 이 경우, 현재 텍스쳐 블록은 최우선순위를 가진 공간적 이웃 블록에 대해서 인터뷰 모션 벡터가 존재하는지를 탐색할 것이고, 그에 따라 공간적 이웃 블록의 인터뷰 모션 벡터로부터 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다. 이러한 경우는 현재 텍스쳐 블록의 인터뷰 모션 벡터 타입과 이전에 코딩된 블록의 인터뷰 모션 벡터 타입이 동일하다고 볼 수 있다. 그러나, 공간적 이웃 블록이 이용 가능하지 않다고 판단되는 경우, 현재 텍스쳐 블록은 차우선순위를 가진 후보자 (예를 들어, 시간적 이웃 블록)에 대해서 인터뷰 모션 벡터가 존재하는지를 탐색할 것이고, 그에 따라 현재 텍스쳐 블록은 차우선순위를 가진 후보자의 인터뷰 모션 벡터로부터 인터뷰 모션 벡터를 유도할 수 있다. 이러한 경우는 양자의 인터뷰 모션 벡터 타입이 상이하다고 볼 수 있다. S1330의 비교 결과, 양자의 인터뷰 모션 벡터 타입이 상이하다고 판단되는 경우에는 S1320에서 유도된 현재 텍스쳐 블록의 인터뷰 모션 벡터 타입에 기초하여 상태 변수를 업데이트할 수 있다(S1340). 예를 들어, 이전에 코딩된 블록의 인터뷰 모션 벡터가 공간적 인터뷰 모션 벡터로부터 유도됨에 따라 상태 변수가 0으로 설정되었으나, 현재 텍스쳐 블록의 인터뷰 모션 벡터가 시간적 인터뷰 모션 벡터로부터 유도된 경우에는 상태 변수를 1로 업데이트할 수 있다. 반면, 양자의 인터뷰 모션 벡터 타입이 동일한 경우에는 이전에 코딩된 블록의 상태 변수가 동일하게 유지될 수 있다.

앞서 살펴본 인터뷰 모션 벡터 후보자들을 입력으로 하는 통계 함수를 이용하여 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다. 예를 들어, 인터뷰 모션 벡터 후보자들의 중간값 (median), 최빈값, 평균값 등으로부터 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다. 이때 통계 함수에 입력된 후보자는 공간적 인터뷰 모션 벡터, 시간적 인터뷰 모션 벡터 및 변이 벡터를 모두 포함할 수 있다. 또는, 각 카테고리 별로 우선순위에 따라 탐색하여 가장 먼저 획득된 인터뷰 모션 벡터만을 통계 함수의 입력으로 사용할 수도 있다. 또는, 특정 카테고리에 속하는 후보자만을 이용하는 것으로 제한할 수도 있다. 예를 들어, a) 공간적 인터뷰 모션 벡터 및 시간적 인터뷰 모션 벡터, b) 공간적 인터뷰 모션 벡터 및 변이 벡터, c) 시간적 인터뷰 모션 벡터 및 변이 벡터와 같이 특정 카테고리 간의 조합에 속한 후보자만을 통계 함수의 입력으로 사용할 수 있다.

하나의 현재 텍스쳐 블록에 대해 두 개 이상의 인터뷰 모션 벡터를 유도할 수도 있다. 즉, 인터뷰 모션 벡터 후보자 중에서 두 개 이상의 인터뷰 모션 벡터를 결정하고, 현재 텍스쳐 블록의 모션 벡터를 유도할 때 이들을 모션 벡터 리스트에 포함시켜서 활용할 수도 있다. 복수 개의 인터뷰 모션 벡터를 유도하는 방법에 대해서 살펴보면, 각 카테고리 별로 적어도 하나 이상의 인터뷰 모션 벡터를 획득할 수 있다. 예를 들어, 공간적 이웃 블록으로부터 적어도 하나의 인터뷰 모션 벡터를 획득하고, 시간적 이웃 블록으로부터 적어도 하나의 인터뷰 모션 벡터를 획득할 수 있다. 또한, 공간적 이웃 블록을 좌측하단 이웃 블록과 좌측 이웃 블록을 포함한 제 1그룹과 우측상단 이웃 블록, 상단 이웃 블록 및 좌측상단 이웃 블록을 포함한 제 2그룹으로 나누고, 각 그룹 별로 인터뷰 모션 벡터를 획득할 수도 있다. 또한, 각 그룹 별로 기결정된 우선순위에 따라 인터뷰 모션 벡터를 획득할 수 있고, 가장 먼저 획득된 인터뷰 모션 벡터를 각 그룹의 인터뷰 모션 벡터 대표값으로 설정할 수도 있다.

한편, 복수 개의 인터뷰 모션 벡터를 유도할 경우, 동일한 값을 가진 인터뷰 모션 벡터들이 존재할 수 있다. 따라서, 현재 텍스쳐 블록의 모션 벡터 리스트에 포함시킬 때 중복되는 인터뷰 모션 벡터를 제거하는 과정을 수반할 수는 있다.

이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.

이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 디코딩하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.

또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.

본 발명은 비디오 신호를 코딩하는데 이용될 수 있다.

Claims

현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자들 간의 우선순위를 고려하여 상기 인터뷰 모션 벡터 후보자 중 어느 하나로부터 상기 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 단계;여기서, 인터뷰 모션 벡터 후보자는 공간적 이웃 블록의 인터뷰 모션 벡터, 시간적 이웃 블록의 인터뷰 모션 벡터 및 변이 벡터 중 적어도 하나를 포함함; 및
상기 유도된 인터뷰 모션 벡터를 이용하여 현재 텍스쳐 블록에 대해 시점 간 인터 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
제 1항에 있어서, 상기 공간적 이웃 블록의 인터뷰 모션 벡터는 상기 시간적 이웃 블록의 인터뷰 모션 벡터보다 높은 우선순위를 가지고, 상기 시간적 이웃 블록의 인터뷰 모션 벡터는 상기 변이 벡터보다 높은 우선순위를 가지는 것을 특징으로 하는 비디오 신호 처리 방법.
제 2항에 있어서, 최우선순위를 가진 상기 공간적 이웃 블록에 대해서 시점 간 인터 예측으로 코딩된 블록을 탐색하는 단계;
시점 간 인터 예측으로 코딩된 블록이 존재하는 경우, 상기 공간적 이웃 블록의 인터뷰 모션 벡터로부터 상기 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 단계; 및
시점 간 인터 예측으로 코딩된 블록이 존재하지 않는 경우, 차우선순위를 가진 시간적 이웃 블록에 대해서 시점 간 인터 예측으로 코딩된 블록을 탐색하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
제 3항에 있어서, 상기 공간적 이웃 블록은 상기 현재 텍스쳐 블록의 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록 및 좌측상단 이웃 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
제 4항에 있어서, 상기 공간적 이웃 블록 간의 우선순위에 따른 순서에 기초하여 시점 간 인터 예측으로 코딩된 블록을 탐색하되,
상기 공간적 이웃 블록 간의 우선순위는 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 낮은 우선순위를 가지는 것을 특징으로 하는 비디오 신호 처리 방법.
제 3항에 있어서, 상기 시간적 이웃 블록은 동일 위치의 블록, 동일 위치의 블록에 인접한 이웃 블록 및 동일 위치의 블록을 포함한 코딩 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
제 6항에 있어서, 상기 시간적 이웃 블록 간의 우선순위에 따른 순서에 기초하여 시점 간 인터 예측으로 코딩된 블록을 탐색하되,
상기 시간적 이웃 블록 간의 우선순위는 동일 위치의 블록, 동일 위치의 블록에 인접한 이웃 블록, 동일 위치의 블록을 포함한 코딩 블록 순으로 낮은 우선순위를 가지는 것을 특징으로 하는 비디오 신호 처리 방법.
현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자들 간의 우선순위를 고려하여 상기 인터뷰 모션 벡터 후보자 중 어느 하나로부터 상기 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 인터 예측부;여기서, 인터뷰 모션 벡터 후보자는 공간적 이웃 블록의 인터뷰 모션 벡터, 시간적 이웃 블록의 인터뷰 모션 벡터 및 변이 벡터 중 적어도 하나를 포함함; 및
상기 유도된 인터뷰 모션 벡터를 이용하여 현재 텍스쳐 블록에 대해 시점 간 인터 예측을 수행하는 상기 인터 예측부를 포함하는 것을 특징으로 하는 비디오 신호 처리 장치.
제 8항에 있어서, 상기 공간적 이웃 블록의 인터뷰 모션 벡터는 상기 시간적 이웃 블록의 인터뷰 모션 벡터보다 높은 우선순위를 가지고, 상기 시간적 이웃 블록의 인터뷰 모션 벡터는 상기 변이 벡터보다 높은 우선순위를 가지는 것을 특징으로 하는 비디오 신호 처리 장치.
제 9항에 있어서, 최우선순위를 가진 상기 공간적 이웃 블록에 대해서 시점 간 인터 예측으로 코딩된 블록을 탐색하고, 시점 간 인터 예측으로 코딩된 블록이 존재하는 경우, 상기 공간적 이웃 블록의 인터뷰 모션 벡터로부터 상기 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하며, 시점 간 인터 예측으로 코딩된 블록이 존재하지 않는 경우, 차우선순위를 가진 시간적 이웃 블록에 대해서 시점 간 인터 예측으로 코딩된 블록을 탐색하는 상기 인터 예측부를 더 포함하는 것을 특징으로 하는 비디오 신호 처리 장치.
제 10항에 있어서, 상기 공간적 이웃 블록은 상기 현재 텍스쳐 블록의 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록 및 좌측상단 이웃 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 신호 처리 장치.
제 11항에 있어서, 상기 인터 예측부는 상기 공간적 이웃 블록 간의 우선순위에 따른 순서에 기초하여 시점 간 인터 예측으로 코딩된 블록을 탐색하되,
상기 공간적 이웃 블록 간의 우선순위는 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 낮은 우선순위를 가지는 것을 특징으로 하는 비디오 신호 처리 장치.
제 10항에 있어서, 상기 시간적 이웃 블록은 동일 위치의 블록, 동일 위치의 블록에 인접한 이웃 블록 및 동일 위치의 블록을 포함한 코딩 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 신호 처리 장치.
제 13항에 있어서, 상기 인터 예측부는 상기 시간적 이웃 블록 간의 우선순위에 따른 순서에 기초하여 시점 간 인터 예측으로 코딩된 블록을 탐색하되,
상기 시간적 이웃 블록 간의 우선순위는 동일 위치의 블록, 동일 위치의 블록에 인접한 이웃 블록, 동일 위치의 블록을 포함한 코딩 블록 순으로 낮은 우선순위를 가지는 것을 특징으로 하는 비디오 신호 처리 장치.