KR20200006194A

KR20200006194A - 움직임 벡터의 예측 부호화 방법, 예측 부호화 장치, 및 예측 부호화 프로그램, 그리고 움직임 벡터의 예측 복호 방법, 예측 복호 장치, 및 예측 복호 프로그램

Info

Publication number: KR20200006194A
Application number: KR1020207000716A
Authority: KR
Inventors: 아키라 후지바야시; 요시노리 스즈키; 충셍 분
Original assignee: 가부시키가이샤 엔.티.티.도코모
Priority date: 2011-01-07
Filing date: 2011-12-20
Publication date: 2020-01-17
Also published as: JP2017108433A; RU2697738C1; CA2823880C; EP4120686B1; DK3826306T3; TWI660623B; EP3826306B1; PT2663077T; CN106878741B; HUE063372T2; CA3079646C; US20170150169A1; EP2938082B1; KR102066543B1; RU2731026C1; JP5859691B2; CN105812821B; JP6246962B2; RU2580090C2; CN105812821A

Abstract

일 실시예의 움직임 벡터의 예측 부호화 방법은, (a) 부호화 대상의 프레임 화상 내의 대상 구획의 움직임 벡터를 구하는 단계; (b) 대상 구획의 왼쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터 하나의 제1 예측 움직임 벡터 후보를 결정하는 단계; (c) 대상 구획의 위쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터 하나의 제2 예측 움직임 벡터 후보를 결정하는 단계; (d) 제1 예측 움직임 벡터 후보와 제2 예측 움직임 벡터 후보를 포함하는 하나 이상의 예측 움직임 벡터 후보와 대상 구획의 움직임 벡터의 비교에 기초하여, 최적 예측 움직임 벡터를 선택하고, 선택한 최적 예측 움직임 벡터를 특정하기 위한 예측 움직임 벡터 지시 정보를 출력하는 단계; 및 (e) 예측 움직임 벡터 지시 정보를 부호화하는 단계를 포함한다.

Description

움직임 벡터의 예측 부호화 방법, 예측 부호화 장치, 및 예측 부호화 프로그램, 그리고 움직임 벡터의 예측 복호 방법, 예측 복호 장치, 및 예측 복호 프로그램 {PREDICTION ENCODING METHOD, PREDICTION ENCODING DEVICE, AND PREDICTION ENCODING PROGRAM FOR MOTION VECTOR, AS WELL AS PREDICTION DECODING METHOD, PREDICTION DECODING DEVICE, AND PREDICTION DECODING PROGRAM FOR MOTION VECTOR}

본 발명의 실시예는 움직임 벡터의 예측 부호화 방법, 예측 부호화 장치, 및 예측 부호화 프로그램, 그리고 움직임 벡터의 예측 복호 방법, 예측 복호 장치, 및 예측 복호 프로그램에 관한 것이다.

동화상 부호화 및 동화상 복호에 있어서는, 움직임 보상 예측 기술이 사용되는 경우가 있다. 움직임 보상 기술에 있어서는, 동화상에서의 처리 대상의 프레임이 복수의 구획으로 분할된다. 이들 복수의 구획은 처리 대상의 구획(대상 구획)으로서 순차적으로 선택된다. 그리고, 대상 구획의 움직임 벡터가 구해진다. 또한, 움직임 보상 예측 기술에 있어서는, 대상 구획의 인접 구획의 움직임 벡터를 사용하여 예측 움직임 벡터를 구하고, 그 대상 구획의 움직임 벡터를 예측 부호화 또는 예측 복호하는 경우가 있다.

도 1a 및 도 1b는, 움직임 보상 예측에 사용되는 인접 직사각형 구획을 예시하는 도면이다. 도 1a에서는, 대상 구획(BT)의 형상과 인접 구획(BL, BA, BRA)의 형상은 동일하다. 왼쪽 인접 구획(BL)은 대상 구획(BT) 내의 왼쪽 위의 화소에 대하여 왼쪽에 존재하는 인접 화소를 포함하고 있고, 위쪽 인접 구획(BA)은 대상 구획(BT) 내의 왼쪽 위의 화소에 대하여 위쪽에 존재하는 인접 화소를 포함하고 있고, 오른쪽 위 인접 구획(BRA)은 대상 구획(BT) 내의 오른쪽 위의 화소에 대하여 오른쪽 위에 존재하는 인접 화소를 포함하고 있다. 종래 기술의 H.264/AVC에서는, 왼쪽 인접 구획(BL), 위쪽 인접 구획(BA), 및 오른쪽 위 인접 구획(BRA)의 움직임 벡터의 수평 성분 및 수직 성분의 중간값(median ｖalue)을 가지는 예측 움직임 벡터가 사용되고 있다.

한편, 도 1b는, 대상 구획(BT)의 형상과 다른 형상을 가지는 복수의 인접 구획이 존재하는 경우를 예시하고 있다. 도 1b의 복수의 인접 구획은, 왼쪽 인접 구획(BL), 위쪽 인접 구획(BA), 오른쪽 위 인접 구획(BRA)에 더하여, 인접 구획 BL1, BL2, BA1, BA2, BD, BE를 포함하고 있다. 특허문헌 1에 기재된 기술에 의하면, 복수의 인접 구획이 미리 정해진 공간적 순서로 탐색되고, 대상 구획의 화소 신호에 대하여 최선의 공간 유사도를 가지는 인접 구획을 가지는 인접 구획이 특정되고, 특정된 인접 구획의 움직임 벡터가 예측 움직임 벡터로서 이용된다. 특허문헌 1의 기술에서는, 공간적 유사도로서, 대상 구획의 화소 신호와 인접 구획의 화소 신호의 절대값 차분의 합(Sum of Absolute Difference, SAD)이 사용되고 있다.

<선행기술문헌>

특허문헌 1: 일본 공표특허공보 제2010-515399호

전술한 특허문헌 1의 기술은 복수의 인접 구획을 소정의 순서로 탐색하면서 공간적 유사도를 계산하므로, 예측 움직임 벡터의 결정에 많은 연산이 필요할 수 있다.

따라서, 본 기술 분야에 있어서는, 예측 움직임 벡터의 결정에 필요한 연산량을 감소시킬 것이 요청되고 있다.

본 발명의 일 측면은 움직임 벡터의 예측 부호화 기술에 관한 것이다.

본 발명의 일 측면에 따른 움직임 벡터의 예측 부호화 방법은, 복수의 프레임 화상의 시간 계열로 구성되는 동화상의 움직임 보상 예측에 사용되는 움직임 벡터를 예측 부호화하는 방법으로서, (a) 상기 동화상의 부호화 대상의 프레임 화상 내의 대상 구획의 움직임 벡터를 구하는 단계; (b) 상기 대상 구획에 대하여 왼쪽에 위치하는 왼쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 하나의 제1 예측 움직임 벡터 후보를 결정하는 단계; (c) 상기 대상 구획에 대하여, 위쪽에 위치하는 위쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 하나의 제2 예측 움직임 벡터 후보를 결정하는 단계; (d) 상기 제1 예측 움직임 벡터 후보와 상기 제2 예측 움직임 벡터 후보를 포함하는 하나 이상의 예측 움직임 벡터 후보와 상기 대상 구획의 상기 움직임 벡터의 비교에 기초하여, 최적 예측 움직임 벡터를 선택하고, 선택한 최적 예측 움직임 벡터를 특정하기 위한 예측 움직임 벡터 지시 정보를 출력하는 단계; 및 (e) 상기 예측 움직임 벡터 지시 정보를 부호화하는 단계를 포함하고 있다.

또한, 본 발명의 일 측면에 따른 움직임 벡터의 예측 부호화 장치는, 복수의 프레임 화상의 시간 계열로 구성되는 동화상의 움직임 보상 예측에 사용되는 움직임 벡터를 예측 부호화하는 장치로서, 상기 동화상의 부호화 대상의 프레임 화상 내의 대상 구획의 움직임 벡터를 구하는 움직임 검출 수단; 상기 대상 구획에 대하여 왼쪽에 위치하는 왼쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 하나의 제1 예측 움직임 벡터 후보를 결정하는 제1 예측 움직임 벡터 후보 결정 수단; 상기 대상 구획에 대하여, 위쪽에 위치하는 위쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 하나의 제2 예측 움직임 벡터 후보를 결정하는 제2 예측 움직임 벡터 후보 결정 수단; 상기 제1 예측 움직임 벡터 후보와 상기 제2 예측 움직임 벡터 후보를 포함하는 하나 이상의 예측 움직임 벡터 후보와 상기 대상 구획의 상기 움직임 벡터의 비교에 기초하여, 최적 예측 움직임 벡터를 선택하고, 선택한 최적 예측 움직임 벡터를 특정하기 위한 예측 움직임 벡터 지시 정보를 출력하는 예측 움직임 벡터 결정 수단; 및 상기 예측 움직임 벡터 지시 정보를 부호화하는 부호화 수단을 포함하고 있다.

또한, 본 발명의 일 측면에 따른 움직임 벡터의 예측 부호화 프로그램은, 복수의 프레임 화상의 시간 계열로 구성되는 동화상의 움직임 보상 예측에 사용되는 움직임 벡터를 예측 부호화하는 장치로서 컴퓨터를 동작시키는 프로그램으로서, 상기 컴퓨터를, 전술한 움직임 검출 수단, 제1 예측 움직임 벡터 후보 결정 수단, 제2 예측 움직임 벡터 후보 결정 수단, 예측 움직임 벡터 결정 수단, 및 부호화 수단으로서 기능하게 한다.

전술한 본 발명의 일 측면에 따른 움직임 벡터의 예측 부호화 기술에 의하면, 예측 움직임 벡터 후보를 좁힌 후에, 대상 구획의 움직임 벡터와 예측 움직임 벡터 후보의 비교에 기초하여, 예측 움직임 벡터가 결정된다. 따라서, 예측 움직임 벡터의 결정에 필요한 연산량을 삭감할 수 있다.

일 실시예에서는, 대상 구획의 화소 신호의 예측 신호는, 참조 화면 리스트 식별 번호 및 참조 화면 번호에 의해 특정되는 프레임 번호를 가지는 참조 프레임을 참조함으로써 생성되고, 대상 구획용의 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호와 일치하는 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호를 가지는 왼쪽 인접 영역의 구획의 움직임 벡터로부터, 제1 예측 움직임 벡터 후보가 결정되고, 대상 구획용의 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호와 일치하는 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호를 가지는 위쪽 인접 영역의 구획의 움직임 벡터로부터, 제2 예측 움직임 벡터 후보가 결정되어도 된다.

일 실시예에서는, 예측 움직임 벡터 지시 정보는, 예측 움직임 벡터 후보의 수에 따른 비트 수의 부호화 데이터로 부호화되어도 된다. 예를 들면, 예측 움직임 벡터 지시 정보는, 예측 움직임 벡터 후보의 수에 따른 최소수의 비트의 부호화 데이터로 부호화되어도 된다. 이 예에 의하면, 예측 움직임 벡터 지시 정보의 부호화 데이터의 부호량을 감소시킬 수 있다.

일 실시예에서는, 왼쪽 인접 영역은, 대상 구획의 왼쪽 아래의 인접 구획을 포함해도 된다. 이 왼쪽 아래의 인접 구획은, 대상 구획 내의 왼쪽 아래의 화소에 대하여 왼쪽 아래에 존재하는 인접 화소를 포함하는 구획이다. 이 예는, 왼쪽 아래의 인접 구획의 움직임 벡터를 독립된 예측 움직임 벡터 후보로 하지 않고, 왼쪽 아래의 인접 구획을 왼쪽 인접 영역에 포함하여 상기 왼쪽 인접 영역으로부터 제1 예측 움직임 벡터 후보를 결정한다. 이로써, 예측 움직임 벡터 후보의 수를 감소시킬 수 있다. 그 결과, 예측 움직임 벡터 지시 정보의 부호화 데이터의 부호량을 감소시킬 수 있다.

일 실시예에서는, 위쪽 인접 영역은, 대상 구획의 오른쪽 위의 인접 구획을 포함해도 된다. 이 오른쪽 위의 인접 구획은, 대상 구획 내의 오른쪽 위의 화소에 대하여 오른쪽 위에 존재하는 인접 화소를 포함하는 구획이다. 이 예는, 오른쪽 위의 인접 구획의 움직임 벡터를 독립된 예측 움직임 벡터 후보로 하지 않고, 오른쪽 위의 인접 구획을 위쪽 인접 영역에 포함하여 상기 위쪽 인접 영역으로부터 제2 예측 움직임 벡터 후보를 결정한다. 이로써, 예측 움직임 벡터 후보의 수를 감소시킬 수 있다. 그 결과, 예측 움직임 벡터 지시 정보의 부호화 데이터의 부호량을 감소시킬 수 있다.

일 실시예에서는, 왼쪽 인접 영역 또는 위쪽 인접 영역 중 어느 한쪽이, 대상 구획의 왼쪽 위의 인접 구획을 포함해도 된다. 이 왼쪽 위의 인접 구획은, 대상 구획 내의 왼쪽 위의 화소에 대하여 왼쪽 위에 존재하는 인접 화소를 포함하는 구획이다. 이 예는, 왼쪽 위의 인접 구획의 움직임 벡터를 독립된 예측 움직임 벡터 후보로 하지 않고, 왼쪽 위의 인접 구획을 왼쪽 인접 영역 또는 위쪽 인접 영역에 포함하여 예측 움직임 벡터 후보를 결정한다. 이로써, 예측 움직임 벡터 후보의 수를 감소시킬 수 있다. 그 결과, 예측 움직임 벡터 지시 정보의 부호화 데이터의 부호량을 감소시킬 수 있다.

일 실시예에서는, 왼쪽 인접 영역 내에 포함되는 하나 이상의 구획을 아래쪽에서 위쪽 방향으로 스캔함으로써, 상기 하나 이상의 구획의 움직임 벡터로부터 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터를 제1 예측 움직임 벡터 후보로 결정해도 된다. 또한, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터가 검출되었을 때, 이후의 왼쪽 인접 영역의 스캔을 정지해도 된다. 본 발명자가 다수의 동화상에 대하여 행한 조사에 기초한 지견(知見)에 의하면, 왼쪽 인접 영역의 구획 중 대상 구획의 움직임 벡터와의 오차가 적은 움직임 벡터를 가지는 구획은, 왼쪽 인접 영역 내에 있어서 아래쪽에 존재하는 경향이 있다. 따라서, 이러한 스캔 순서로 왼쪽 인접 영역을 스캔함으로써, 대상 구획의 움직임 벡터와의 오차가 적은 제1 예측 움직임 벡터 후보를 효율적으로 구할 수 있다.

일 실시예에서는, 위쪽 인접 영역 내에 포함되는 하나 이상의 구획을 오른쪽에서 왼쪽 방향으로 스캔함으로써, 상기 하나 이상의 구획의 움직임 벡터로부터 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터를 제2 예측 움직임 벡터 후보로 결정해도 된다. 또한, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터가 검출되었을 때, 이후 위쪽 인접 영역의 스캔을 정지해도 된다. 본 발명자가 다수의 동화상에 대하여 행한 조사에 기초한 지견에 의하면, 위쪽 인접 영역의 구획 중 대상 구획의 움직임 벡터와의 오차가 적은 움직임 벡터를 가지는 구획은, 위쪽 인접 영역 내에 있어서 오른쪽에 존재하는 경향이 있다. 따라서, 이러한 스캔 순서로 위쪽 인접 영역을 스캔함으로써, 대상 구획의 움직임 벡터와의 오차가 적은 제2 예측 움직임 벡터 후보를 효율적으로 구할 수 있다.

일 실시예에서는, 제1 예측 움직임 벡터 후보를 결정하기 위해 왼쪽 인접 영역 내에 포함되는 하나 이상의 구획을 스캔하는 방향을 나타내는 제1 스캔 방향 지시 정보를 결정하고, 제2 예측 움직임 벡터 후보를 결정하기 위해 위쪽 인접 영역 내에 포함되는 하나 이상의 구획을 스캔하는 방향을 나타내는 제2 스캔 방향 지시 정보를 결정하고, 제1 스캔 방향 지시 정보 및 제2 스캔 방향 지시 정보를 또한 부호화해도 된다. 이 예에서는, 왼쪽 인접 영역 내에 있어서 상하 양 방향으로 스캔이 행해지고, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터가 선택된다. 상하 양 방향에 있어서 선택된 움직임 벡터 중, 최적인 움직임 벡터가 제1 예측 움직임 벡터 후보가 되고, 상기 제1 예측 움직임 벡터 후보가 탐색된 스캔 방향을 나타내는 정보가 제1 스캔 방향 지시 정보가 된다. 또한, 위쪽 인접 영역 내에 있어서 좌우 양 방향으로 스캔이 행해지고, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터가 선택된다. 좌우 양 방향에 있어서 선택된 움직임 벡터 중, 최적인 움직임 벡터가 제2 예측 움직임 벡터 후보가 되고, 상기 제2 예측 움직임 벡터 후보가 탐색된 방향을 나타내는 정보가 제2 스캔 방향 지시 정보가 된다. 이러한 예에 의하면, 부호화 효율을 더욱 향상시킬 수 있는 제1 예측 움직임 벡터 후보 및 제2 예측 움직임 벡터 후보를 결정할 수 있다.

일 실시예에서는, 하나 이상의 예측 움직임 벡터 후보의 수가 3 이하라도 된다. 이 예에 의하면, 예측 움직임 벡터 지시 정보의 부호화 데이터의 부호량을 더욱 감소시킬 수 있다.

일 실시예에서는, 대상 구획의 움직임 벡터와 최적 예측 움직임 벡터 사이의 잔차 신호(residual signal)를 부호화하지 않고, 최적 예측 움직임 벡터를 대상 구획의 움직임 벡터로서 사용해도 된다. 이러한 예에서는, 움직임 벡터의 잔차 신호가 부호화되지 않으므로, 부호화 효율을 더욱 향상시킬 수 있다.

본 발명의 다른 일 측면은 움직임 벡터의 예측 복호 기술에 관한 것이다.

본 발명의 일 측면에 따른 움직임 벡터를 예측 복호하는 방법은, 복수의 프레임 화상의 시간 계열로 구성되는 동화상을 복원하는 움직임 보상 예측에 사용되는 움직임 벡터의 예측 복호 방법으로서, (a) 복호 대상의 프레임 화상 내의 대상 구획에 대하여 왼쪽에 위치하는 왼쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 하나의 제1 예측 움직임 벡터 후보를 결정하는 단계; (b) 상기 대상 구획에 대하여, 위쪽에 위치하는 위쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 하나의 제2 예측 움직임 벡터 후보를 결정하는 단계; (c) 부호화 데이터를 복호하여, 상기 대상 구획용의 최적 예측 움직임 벡터를 특정하기 위한 예측 움직임 벡터 지시 정보를 복원하는 단계; 및 (d) 적어도 상기 제1 예측 움직임 벡터 후보와 상기 제2 예측 움직임 벡터 후보를 포함하는 하나 이상의 예측 움직임 벡터 후보로부터, 상기 예측 움직임 벡터 지시 정보에 의해 특정되는 최적 예측 움직임 벡터를 선택하는 단계를 포함하고 있다.

또한, 본 발명의 일 측면에 따른 움직임 벡터를 예측 복호하는 장치는, 복수의 프레임 화상의 시간 계열로 구성되는 동화상을 복원하는 움직임 보상 예측에 사용되는 움직임 벡터를 예측 복호하는 장치로서, 복호 대상의 프레임 화상 내의 대상 구획에 대하여 왼쪽에 위치하는 왼쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 하나의 제1 예측 움직임 벡터 후보를 결정하는 제1 예측 움직임 벡터 후보 결정 수단; 상기 대상 구획에 대하여, 위쪽에 위치하는 위쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 하나의 제2 예측 움직임 벡터 후보를 결정하는 제2 예측 움직임 벡터 후보 결정 수단; 부호화 데이터를 복호하여, 상기 대상 구획용의 최적 예측 움직임 벡터를 특정하기 위한 예측 움직임 벡터 지시 정보를 복원하는 복호 수단; 및 적어도 상기 제1 예측 움직임 벡터 후보와 상기 제2 예측 움직임 벡터 후보를 포함하는 하나 이상의 예측 움직임 벡터 후보로부터, 상기 예측 움직임 벡터 지시 정보에 의해 특정되는 최적 예측 움직임 벡터를 선택하는 최적 예측 벡터 결정 수단을 포함하고 있다.

또한, 본 발명의 일 측면에 따른 움직임 벡터를 예측 복호하는 프로그램은, 컴퓨터를, 복수의 프레임 화상의 시간 계열로 구성되는 동화상을 복원하는 움직임 보상 예측에 사용되는 움직임 벡터를 예측 복호하는 장치로서 동작시키는 프로그램으로서, 상기 컴퓨터를, 전술한 제1 예측 움직임 벡터 후보 결정 수단, 제2 예측 움직임 벡터 후보 결정 수단, 복호 수단, 및 최적 예측 벡터 결정 수단으로서 기능하게 한다.

전술한 본 발명의 일 측면에 따른 움직임 벡터의 예측 복호 기술에 의하면, 예측 움직임 벡터 좁힌 후에, 대상 구획의 움직임 벡터와 예측 움직임 벡터 후보의 비교에 기초하여 예측 움직임 벡터가 결정된다. 따라서, 예측 움직임 벡터의 결정에 필요한 연산량을 삭감할 수 있다.

일 실시예에서는, 대상 구획의 화상 신호의 예측 신호는, 참조 화면 리스트 식별 번호 및 참조 화면 번호에 의해 특정되는 프레임 번호를 가지는 참조 프레임을 참조함으로써 생성되고, 대상 구획용의 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호와 일치하는 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호를 가지는 왼쪽 인접 영역의 구획의 움직임 벡터로부터, 제1 예측 움직임 벡터 후보가 결정되고, 대상 구획용의 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호와 일치하는 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호를 가지는 위쪽 인접 영역의 구획의 움직임 벡터로부터, 제2 예측 움직임 벡터 후보가 결정되어도 된다.

일 실시예에서는, 예측 움직임 벡터 지시 정보의 부호화 데이터의 비트 수는, 예측 움직임 벡터 후보의 수에 따른 비트 수라도 된다. 예를 들면, 예측 움직임 벡터 지시 정보의 부호화 데이터의 비트 수는, 예측 움직임 벡터 후보의 수에 따른 최소수의 비트 수라도 된다. 이 예에 의하면, 예측 움직임 벡터 지시 정보의 부호화 데이터의 부호량을 감소시킬 수 있다.

일 실시예에서는, 왼쪽 인접 영역이, 대상 구획의 왼쪽 아래의 인접 구획을 포함해도 된다. 이 형태는, 왼쪽 아래의 인접 구획의 움직임 벡터를 독립된 예측 움직임 벡터 후보로 하지 않고, 왼쪽 아래의 인접 구획을 왼쪽 인접 영역에 포함하여 상기 왼쪽 인접 영역으로부터 제1 예측 움직임 벡터 후보를 결정한다. 이로써, 예측 움직임 벡터 후보의 수를 감소시킬 수 있다. 그 결과, 예측 움직임 벡터 지시 정보의 부호화 데이터의 부호량을 감소시키고, 부호화 데이터로부터 예측 움직임 벡터 지시 정보를 복원하는 복호 처리의 연산량을 삭감할 수 있다.

일 실시예에서는, 위쪽 인접 영역이, 대상 구획의 오른쪽 위의 인접 구획을 포함해도 된다. 이 형태는, 오른쪽 위의 인접 구획의 움직임 벡터를 독립된 예측 움직임 벡터 후보로 하지 않고, 오른쪽 위의 인접 구획을 위쪽 인접 영역에 포함하여 상기 위쪽 인접 영역으로부터 제2 예측 움직임 벡터 후보를 결정한다. 이로써, 예측 움직임 벡터 후보의 수를 감소시킬 수 있다. 그 결과, 예측 움직임 벡터 지시 정보의 부호화 데이터의 부호량을 감소시키고, 부호화 데이터로부터 예측 움직임 벡터 지시 정보를 복원하는 복호 처리의 연산량을 삭감할 수 있다.

일 실시예에서는, 왼쪽 인접 영역 또는 위쪽 인접 영역 중 어느 한쪽이, 대상 구획의 왼쪽 위의 인접 구획을 포함해도 된다. 이 예는, 왼쪽 위의 인접 구획의 움직임 벡터를 독립된 예측 움직임 벡터 후보로 하지 않고, 왼쪽 위의 인접 구획을 왼쪽 인접 영역 또는 위쪽 인접 영역에 포함하여 예측 움직임 벡터 후보를 결정한다. 이로써, 예측 움직임 벡터 후보의 수를 감소시킬 수 있다. 그 결과, 예측 움직임 벡터 지시 정보의 부호화 데이터의 부호량을 감소시키고, 부호화 데이터로부터 예측 움직임 벡터 지시 정보를 복원하는 복호 처리의 연산량을 삭감할 수 있다.

일 실시예에서는, 왼쪽 인접 영역 내에 포함되는 하나 이상의 구획을 아래쪽에서 위쪽 방향으로 스캔함으로써, 상기 하나 이상의 구획의 움직임 벡터로부터 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터를 제1 예측 움직임 벡터 후보로 결정해도 된다. 또한, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터가 검출되었을 때, 이후의 왼쪽 인접 영역의 스캔을 정지해도 된다. 이러한 스캔 순서로 왼쪽 인접 영역을 스캔함으로써, 대상 구획의 움직임 벡터와의 오차가 적은 제1 예측 움직임 벡터 후보를 효율적으로 구할 수 있다.

일 실시예에서는, 위쪽 인접 영역 내에 포함되는 하나 이상의 구획을 오른쪽에서 왼쪽 방향으로 스캔함으로써, 상기 하나 이상의 구획의 움직임 벡터로부터 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터를 제2 예측 움직임 벡터 후보로 결정해도 된다. 또한, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터가 검출되었을 때, 이후 위쪽 인접 영역의 스캔을 정지해도 된다. 이러한 스캔 순서로 위쪽 인접 영역을 스캔함으로써, 대상 구획의 움직임 벡터와의 오차가 적은 제2 예측 움직임 벡터 후보를 효율적으로 구할 수 있다.

일 실시예에서는, 부호화 데이터를 복호하여, 왼쪽 인접 영역 내에 포함되는 하나 이상의 구획을 스캔하는 방향을 특정하기 위한 제1 스캔 방향 지시 정보, 및 위쪽 인접 영역 내에 포함되는 하나 이상의 구획을 스캔하는 방향을 특정하기 위한 제2 스캔 방향 지시 정보를 복원하여, 제1 스캔 방향 지시 정보에 의해 특정되는 방향으로 왼쪽 인접 영역에 포함되는 하나 이상의 구획을 스캔하여, 제1 예측 움직임 벡터 후보를 결정하고, 제2 스캔 방향 지시 정보에 의해 특정되는 방향으로 위쪽 인접 영역에 포함되는 하나 이상의 구획을 스캔하여, 제2 예측 움직임 벡터 후보를 결정해도 된다. 이러한 예에 의하면, 대상 구획의 움직임 벡터에 대한 오차가 더욱 적은 제1 예측 움직임 벡터 후보 및 제2 예측 움직임 벡터 후보를 결정할 수 있다.

일 실시예에서는, 하나 이상의 예측 움직임 벡터 후보의 수가 3 이하라도 된다. 이 형태에 의하면, 예측 움직임 벡터 지시 정보의 부호량을 더욱 감소시킬 수 있다.

일 실시예에서는, 최적 예측 움직임 벡터를 대상 구획의 움직임 벡터로서 사용해도 된다. 이러한 형태에서는, 움직임 벡터의 잔차 신호가 부호화되지 않으므로, 부호화 데이터의 데이터량을 감소시킬 수 있다.

이상 설명한 바와 같이, 본 발명의 여러 측면 및 실시예에 따르면, 예측 움직임 벡터의 결정에 필요한 연산량을 감소시킬 수 있는 움직임 벡터의 예측 부호화 방법, 예측 부호화 장치, 및 예측 부호화 프로그램, 그리고 움직임 벡터의 예측 복호 방법, 예측 복호 장치, 및 예측 복호 프로그램이 제공될 수 있다.

도 1a는 움직임 보상 예측에 사용되는 인접 직사각형 구획을 예시하는 도면이다.
도 1b는 움직임 보상 예측에 사용되는 인접 직사각형 구획을 예시하는 도면이다.
도 2는 일 실시예에 따른 동화상 부호화 장치의 구성을 나타낸 도면이다.
도 3은 움직임 벡터의 예측 부호화 방법의 일 실시예를 나타낸 흐름도이다.
도 4는 움직임 보상 예측에 사용되는 인접 직사각형 구획을 예시하는 도면이다.
도 5는 도 3의 단계 S302의 처리의 제1 실시예를 상세하게 나타낸 흐름도이다.
도 6은 도 3의 단계 S303의 처리의 제1 실시예를 상세하게 나타낸 흐름도이다.
도 7은 일 실시예에 따른 동화상 복호 장치의 구성을 나타낸 도면이다.
도 8은 움직임 벡터의 예측 복호 방법의 일 실시예를 나타낸 흐름도이다.
도 9는 제2 실시예의 움직임 벡터의 예측 부호화 방법에서의 예측 움직임 벡터 후보의 결정 처리를 나타낸 흐름도이다.
도 10은 제2 실시예의 움직임 벡터의 예측 복호 방법을 나타낸 흐름도이다.
도 11은 일 실시예에 따른 동화상 부호화 프로그램의 구성을 나타낸 도면이다.
도 12는 일 실시예에 따른 동화상 복호 프로그램의 구성을 나타낸 도면이다.
도 13은 일 실시예에 따른 컴퓨터의 하드웨어 구성을 나타낸 도면이다.
도 14는 일 실시예에 따른 컴퓨터를 나타낸 사시도이다.

이하, 도면을 참조하여 각종 실시예에 대하여 상세하게 설명한다. 그리고, 각 도면에서 동일 또는 상당하는 부분에 대해서는 동일한 부호를 부여하기로 한다.

도 2는 일 실시예에 따른 동화상 부호화 장치의 구성을 나타낸 도면이다. 도 2에 나타낸 동화상 부호화 장치(20)는 본 발명의 일 측면에 따른 움직임 벡터를 예측 부호화하는 장치의 일례이다.

동화상 부호화 장치(20)에 입력되는 동화상은, 프레임 화상의 시간 계열로 구성된다. 이하, 부호화 처리 대상의 프레임 화상 신호를 "현(現) 프레임"이라고 한다. 동화상 부호화 장치(20)에서는, 현 프레임은 가변 사이즈의 직사각형의 구획으로 분할되고, 구획 단위로 이하에 설명하는 처리가 행해진다.

동화상 부호화 장치(20)는, 예측 모드로서, 화면 간 예측 모드와 복수의 화면 내 예측 모드를, 구획마다 전환하여 사용할 수 있다. 예를 들면, 동화상 부호화 장치(20)에서는, 구획마다, 화면 간 예측 모드 및 복수의 화면 내 예측 모드 중 부호화 효율이 양호한 예측 모드가 선택된다. 여기서, "화면 간 예측 모드"란, 프레임 화상 신호와 시간적으로 상이한, 복수의 부호화 완료된 프레임 화상 신호(참조 프레임 화상 신호)를 참조하여 움직임 벡터를 검출함으로써, 움직임 보상 프레임 간 예측을 행하는 모드이다. 또한, "화면 내 예측 모드"란, 동일 공간상의 부호화 완료된 근방의 영역의 화소값을 사용한 공간 예측을 행하는 모드이다. 그리고, "화면 간 예측 모드"에 있어서는, 예를 들면, N×N화소의 구획을 임의 사이즈(예를 들면, N/2 화소×N 라인이나 N/4 화소×N/4 라인)로 더욱 분할한 소구획마다 움직임 검출, 움직임 예측, 및 움직임 보상의 각각의 처리를 행할 수 있다.

도 2에 나타낸 바와 같이, 동화상 부호화 장치(20)는, 입력기(201), 움직임 검출기(202), 예측 움직임 벡터 후보 결정기(203), 예측 움직임 벡터 결정기(204), 움직임 벡터 차분기(205), 움직임 보상기(206), 메모리(207), 공간 예측기(208), 예측 방법 결정기(209), 감산기(210), 변환기(211), 양자화기(212), 엔트로피 부호화기(213), 역양자화기(214), 역변환기(215), 및 가산기(216)를 구비할 수 있다.

입력기(201)는 외부로부터 입력되는 동화상 신호로서의 입력 영상 신호를 수신하고, 그 동화상 신호를 프레임 화상 신호로 분해한다. 입력기(201)는 프레임 화상 신호를, 라인(L201a, L201b)을 통하여, 감산기(210) 및 움직임 검출기(202)에 출력한다.

메모리(207)는 과거에 부호화 완료된 프레임 화상 신호 및 그 예측에 사용된 정보(움직임 벡터, 참조 화면 리스트 식별 번호, 참조 화면 번호) 등을 기억시켜 두는 부분이다.

움직임 검출기(202)는 움직임 벡터의 검출을 행한다. 더욱 구체적으로는, 움직임 검출기(202)는 라인(L207a)을 경유하여 메모리(207)로부터 입력되는 참조 프레임 화상 신호를 사용하여, 그 참조 프레임 내의 소정의 탐색 범위 내에서, 라인(L201a)을 경유하여 입력되는 현 프레임 내의 대상 구획의 화상 신호 패턴과 유사한 화상 신호 패턴을 탐색한다. 움직임 검출기(202)는, 대상 구획과 탐색한 화상 신호 패턴 사이의 공간적인 변위량인 움직임 벡터, 그리고 이용한 참조 프레임의 프레임 번호를 특정하기 위한 참조 화면 리스트 식별 번호 및 참조 화면 번호를 검출한다. 검출된 움직임 벡터, 참조 화면 리스트 식별 번호, 및 참조 화면 번호는, 라인(L202a)을 경유하여 움직임 보상기(206)에, 또한 라인(L202c)을 경유하여 움직임 벡터 차분기(205)에 출력된다. 또한, 움직임 검출기(202)는 검출한 참조 화면 리스트 식별 번호 및 참조 화면 번호를, 라인(L202b)을 경유하여, 예측 움직임 벡터 후보 결정기(203)에 출력한다. 그리고, 동화상 부호화 장치(20)에서는, 참조 프레임 화상 신호를 특정하는 프레임 번호를 리스트 형식으로 관리할 수 있다. 프레임 번호를 특정하기 위해서는, 리스트를 특정하기 위한 참조 화면 리스트 식별 번호(Reference Picutre List), 및 리스트 내에서의 프레임 번호의 인덱스가 되는 참조 화면 번호(Reference Index)가 사용된다. 이러한 기술은 H.264/AVC 등에 의해 공지의 기술이다.

예측 움직임 벡터 후보 결정기(203)는 라인(L207b)을 경유하여 입력되는 부호화 완료된 복수의 인접 구획의 움직임 벡터를 사용하여, 예측 움직임 벡터 후보를 결정한다. 이 예측 움직임 벡터 후보의 결정에 관한 자세한 것은 후술한다. 예측 움직임 벡터 후보 결정기(203)는 결정한 예측 움직임 벡터 후보를 라인(L203)을 경유하여 예측 움직임 벡터 결정기(204)에 출력한다.

예측 움직임 벡터 결정기(204)는, 라인(L203)을 경유하여 입력된 예측 움직임 벡터 후보로부터 최적 예측 움직임 벡터(예측 움직임 벡터값)를 결정한다. 더욱 구체적으로는, 예측 움직임 벡터 결정기(204)는, 예측 움직임 벡터 후보 중, 라인(L202c)을 경유하여 입력된 대상 구획의 움직임 벡터에 대한 차분이 가장 작은 예측 움직임 벡터 후보를 최적 예측 움직임 벡터 PMVopt로 결정한다. 결정된 최적 예측 움직임 벡터 PMVopt는 라인(L204a)을 경유하여 움직임 벡터 차분기(205)에 전송된다. 또한, 예측 움직임 벡터 후보의 수, 및 예측 움직임 벡터 후보로부터 최적 예측 움직임 벡터 PMVopt를 특정하기 위한 예측 움직임 벡터 지시 정보가 라인(L204b)을 경유하여 엔트로피 부호화기(213)에 전송된다.

그리고, 본 실시예에서는, 대상 구획의 움직임 벡터에 대한 차분이 가장 작아지는 예측 움직임 벡터 후보가, 최적 예측 움직임 벡터 PMVopt로 선택되어 있지만, 예측 움직임 벡터 결정기(204)는 산출되는 움직임 벡터 차분에 대하여 할당되는 부호량이 가장 작은 예측 움직임 벡터 후보를 최적 예측 움직임 벡터 PMVopt로 선택해도 된다.

또한, 본 실시예에서는, 대상 구획의 움직임 검출의 후에 최적 예측 움직임 벡터를 결정했지만, 움직임 검출 전에 최적 예측 움직임 벡터가 검출되어도 된다. 구체적으로는, 아래의 식에 나타낸 바와 같이, 실제로 산출된 각 예측 움직임 벡터 후보를 사용하여 움직임 보상을 행했을 때의 예측 화상 신호와 대상 화상 신호의 절대값 차분의 합(SADpmｖ), 및 그 예측 움직임 벡터 후보를 부호화한 경우의 부호량 Rpmｖ와 부호량에 대한 가중치인 λ을 사용한 비용 함수에 기초하여 최적 예측 움직임 벡터가 산출되어도 된다. 이 경우에는, 도 2의 예측 움직임 벡터 결정기(204)에 대하여 라인(L201a)으로부터 대상 구획의 화상 신호가 입력되고, 라인(L207a)으로부터 참조 프레임 화상 신호가 입력되면 된다.

[수학식 1]

움직임 벡터 차분기(205)는, 라인(L202c)을 경유하여 입력된 움직임 벡터와 라인(L204a)을 경유하여 입력된 최적 예측 움직임 벡터의 차분 정보인 움직임 벡터 차분값을 산출한다. 움직임 벡터 차분기(205)는, 산출한 움직임 벡터 차분값과 참조 화면 리스트 식별 번호 및 참조 화면 번호를 포함하는 신호를 예측 정보로서 라인(L205a)을 경유하여 엔트로피 부호화기(213)에 전송한다. 또한, 움직임 벡터 차분기(205)는, 라인(L205b)을 경유하여 움직임 벡터와 참조 화면 리스트 식별 번호 및 참조 화면 번호를 포함하는 신호를 메모리(207)에 송신한다.

움직임 보상기(206)는, 움직임 검출기(202)로부터 수취한 참조 화면 리스트 식별 번호 및 참조 화면 번호에 의해 특정되는 프레임 번호의 참조 프레임 화상 신호를 참조하고, 움직임 검출기(202)로부터 수취한 움직임 벡터를 사용하여, 대상 구획의 예측 화상 신호를 생성한다. 이 예측 화상 신호는 예측 방법 결정기(209)에 출력된다.

공간 예측기(208)는 라인(L207a)을 경유하여 입력되는 부호화 완료된 근방의 영역의 화상 신호(참조 프레임 화상 신호)를 참조하여, 예측 화상 신호를 생성한다. 공간 예측기(208)는 생성한 예측 화상 신호를 예측 방법 결정기(209)에 출력한다.

예측 방법 결정기(209)는, 움직임 보상기(206) 및 공간 예측기(208)로부터 수신한 예측 화상 신호를 비교하여, 어느 한쪽의 예측 화상 신호를 선택하고, 선택한 예측 화상 신호를 감산기(210)에 출력한다. 또한, 예측 방법 결정기(209)는 선택한 예측 화상 신호를 생성한 예측 방법을 나타내는 예측 모드 정보를, 라인(L209b)을 경유하여 엔트로피 부호화기(213)에 출력한다.

감산기(210)는 라인(L201b)을 경유하여 입력되는 프레임 화상 신호와 라인(L209a)을 경유하여 입력되는 예측 화상 신호의 차분값(예측 잔차 신호)을 생성하고, 그 예측 잔차 신호를 변환기(211)에 출력한다.

변환기(211)는 라인(L210)을 경유하여 입력되는 예측 잔차 신호를 직교 변환함으로써, 직교 변환계수를 생성하여, 그 직교 변환계수를 양자화기(212)에 출력한다. 양자화기(212)는 라인(L211)을 경유하여 입력되는 직교 변환계수를 양자화함으로써, 양자화 직교 변환계수를 생성하고, 양자화 직교 변환계수를 엔트로피 부호화기(213) 및 역양자화기(212)에 전송한다.

엔트로피 부호화기(213)는 라인(L212)을 경유하여 입력되는 양자화 직교 변환계수와, 예측 방법 결정기(209)로부터 받은 예측 모드 정보와, 움직임 벡터 차분기(205)로부터 송신된 예측 정보와, 예측 움직임 벡터 결정기(204)로부터 출력된 예측 움직임 벡터 지시 정보에 대하여 엔트로피 부호화를 행하여, 생성한 부호화 데이터를 압축 스트림에 다중화하여, 그 압축 스트림을 외부로 전송한다.

역양자화기(214)는 라인(L212)을 경유하여 입력되는 양자화 직교 변환계수를 역양자화함으로써 직교 변환계수를 생성하고, 그 직교 변환계수를 역직교 변환기(215)에 전송한다. 그리고, 역직교 변환기(215)는 라인(L214)을 경유하여 입력되는 직교 변환계수에 대하여 역직교 변환을 적용함으로써, 예측 잔차 신호를 생성하고, 그 예측 잔차 신호를 가산기(216)에 전송한다.

가산기(216)는 라인(L215)을 경유하여 입력되는 예측 잔차 신호와 라인(L209a)을 경유하여 입력되는 예측 화상 신호를 가산하여 프레임 화상 신호를 생성하고, 그 프레임 화상 신호를 메모리(207)에 전송한다. 이 프레임 화상 신호는 메모리(207)에 저장되고, 이후의 부호화 처리에 의해, 참조 프레임 화상 신호로서 사용된다. 또한, 메모리(207)에는, 라인(L205b)을 경유하여 입력된 움직임 벡터나 참조 화면 리스트 식별 번호 및 참조 화면 번호 등도 참조 프레임 화상 신호와 관련지어져 저장된다.

이하, 동화상 부호화 장치(20)에 의해 사용될 수 있는 움직임 벡터의 예측 부호화 방법의 일 실시예에 대하여 설명한다.

먼저, 도 1b를 참조하여, 대상 구획에 인접하는 구획에 대하여 설명한다. 구획(BL, BL1, BL2)은 대상 구획(BT)의 왼쪽 경계에 접하는 구획이다. 구획(BD)은 대상 구획(BT) 내의 왼쪽 아래의 화소에 대하여 왼쪽 아래에 존재하는 인접 화소를 포함하는 구획이다. 또한, 구획(BE)는, 대상 구획(BT) 내의 왼쪽 위의 화소에 대하여 왼쪽 위에 존재하는 인접 화소를 포함하는 구획이다. 구획(BA, BA1, BA2)은 대상 구획(BT)의 위쪽 경계에 접하는 구획이다. 구획(BRA)는 대상 구획(BT) 내의 오른쪽 위의 화소에 대하여 오른쪽 위에 존재하는 인접 화소를 포함하는 구획이다. 그리고, 대상 구획에 인접하는 구획은, 도 1a에 나타낸 바와 같이, 대상 구획(BT)과 동일한 사이즈의 구획이라도 된다.

다음에, 도 3을 참조한다. 도 3은 움직임 벡터의 예측 부호화 방법의 일 실시예를 나타낸 흐름도이다. 도 3에 나타낸 바와 같이, 일 실시예의 움직임 벡터의 예측 부호화 방법에 있어서는, 먼저, 예측 움직임 벡터 후보 결정기(203)에, 참조 화면 리스트 식별 번호 및 참조 화면 번호가 입력된다(단계 S301).

다음에, 예측 움직임 벡터 후보 결정기(203)가, 대상 구획(BT)의 왼쪽 인접 영역에 포함되는 하나 이상의 구획의 움직임 벡터로부터 예측 움직임 벡터 후보 PMV1을 결정한다(단계 S302). 예측 움직임 벡터 후보 PMV1의 결정 방법에 대한 자세한 것은 후술한다.

다음에, 예측 움직임 벡터 후보 결정기(203)는, 대상 구획(BT) 위쪽 인접 영역에 포함되는 하나 이상의 구획의 움직임 벡터로부터 예측 움직임 벡터 후보 PMV2를 결정한다(단계 S303). 예측 움직임 벡터 후보 PMV2의 결정 방법에 대한 자세한 것은 후술한다.

다음에, 예측 움직임 벡터 후보 결정기(203)는, 예측 움직임 벡터 후보 PMV3를 결정한다(단계 S304). 본 실시예에서는, 참조 프레임 내의 구획이고 대상 구획과 공간적으로 동일 위치의 구획의 움직임 벡터가, 예측 움직임 벡터 후보 PMV3으로 결정된다.

그리고, 예측 움직임 벡터 후보 PMV3으로서는, 참조 프레임 내의 대상 구획과 동일 위치의 구획의 움직임 벡터 대신에, 그 외의 공간적으로 인접하는 구획의 움직임 벡터가 사용되어도 된다. 또한, 예측 움직임 벡터 후보 PMV1과 예측 움직임 벡터 후보 PMV2에 기초하여 계산되는 평균값 등이, 예측 움직임 벡터 후보 PMV3으로서 사용되어도 된다.

또한, 예측 움직임 벡터 후보의 수는 3 이상이라도 된다. 이 경우에, 왼쪽 인접 영역 및 위쪽 인접 영역 각각으로부터 상이한 방법으로 복수의 예측 움직임 벡터 후보가 결정되어도 된다. 더욱 구체적으로는, 왼쪽 인접 영역 및 위쪽 인접 영역 각각에 있어서, 복수의 상이한 스캔 방향으로 각 영역 내의 구획을 탐색함으로써 복수의 예측 움직임 벡터 후보를 결정해도 된다. 또한, 그 외의 인접 영역의 움직임 벡터가 예측 움직임 벡터 후보로서 사용되어도 된다.

도 3으로 돌아가서, 이어서, 예측 움직임 벡터 후보 결정기(203)는, 예측 움직임 벡터 후보 PMV1, 예측 움직임 벡터 후보 PMV2, 및 예측 움직임 벡터 후보 PMV3 중, 동일하지는 않은 예측 움직임 벡터 후보만을 최종적인 예측 움직임 벡터 후보로 결정한다(단계 S305). 구체예를 나타내면, 예측 움직임 벡터 후보 PMV1과 예측 움직임 벡터 후보 PMV3이 동일한 경우에는, 예측 움직임 벡터 후보로서 PMV1과 PMV2만이 선택된다. 또한, 단계 S302 내지 S304에서 조건을 만족시키는 예측 움직임 벡터 후보가 결정되지 않은 경우에는, 영(零) 움직임 벡터가 예측 움직임 벡터 후보가 된다.

이어서, 예측 움직임 벡터 결정기(204)가, 예측 움직임 벡터 후보 결정기(203)에 의해 결정된 예측 움직임 벡터 후보로부터, 전술한 바와 같이 최적 예측 움직임 벡터를 결정한다(단계 S306).

이어서, 부호화기(213)가, 최적 예측 움직임 벡터가 예측 움직임 벡터 후보 중 어느 것인지를 특정하기 위한 예측 움직임 벡터 지시 정보를 부호화한다(단계 S307).

일 실시예에서는, 예측 움직임 벡터 지시 정보는, 예측 움직임 벡터 결정기(204)에 의해 선택된 예측 움직임 벡터 후보의 수에 따른 비트 수의 부호화 데이터로 부호화될 수 있다. 예를 들면, 예측 움직임 벡터 후보의 수가 0이나 1인 경우에는, 예측 움직임 벡터 지시 정보는 부호화되지 않고 전송되지 않는다. 또한, 예측 움직임 벡터 후보의 수가 2나 3인 경우에는, 예측 움직임 벡터 지시 정보는 최대 2비트로 부호화된다.

그리고, 예측 움직임 벡터 후보의 수와는 관계없이 고정된 부호화 테이블에 기초하여 예측 움직임 벡터 지시 정보가 부호화되어도 된다. 이 경우에는, 이하의 부호화 테이블을 사용하여, 예측 움직임 벡터 지시 정보가 부호화될 수 있다.

＜표 1. 부호화 테이블＞

비트값 최적 예측 움직임 벡터

0········예측 움직임 벡터 후보 1(PMV1)

10······· 예측 움직임 벡터 후보 2(PMV2)

11······· 예측 움직임 벡터 후보 3(PMV3)

일 실시예에서는, 예측 움직임 벡터 후보 PMV1, 예측 움직임 벡터 후보 PMV2, 예측 움직임 벡터 후보 PMV3의 결정 순서는 변경되어도 된다. 예를 들면, 대상 구획을 복수의 소구획으로 분할하여 소구획마다 부호화 처리를 행할 때, 이 예를 이용할 수 있다. 구체적으로는, 대상 구획을 상하로 2 분할한 경우의 아래쪽의 소구획 및 대상 구획을 좌우로 2 분할한 경우의 왼쪽의 소구획을 대상 구획으로 하는 경우에는, 왼쪽 인접 영역, 위쪽 인접 영역, 그 외의 영역(예를 들면, 대상 구획과 동일 위치의 참조 프레임 내의 구획)의 순으로, 예측 움직임 벡터 후보를 결정할 수 있다. 한편, 대상 구획을 상하로 2 분할한 경우의 위쪽의 소구획 및 대상 구획을 좌우로 2 분할한 경우의 오른쪽의 소구획을 대상 구획으로 하는 경우에는, 이들 대상 구획에 대해서는, 위쪽 인접 영역, 왼쪽 인접 영역, 그 외의 영역(예를 들면, 대상 구획과 동일 위치의 참조 프레임 내의 구획)의 순으로, 예측 움직임 벡터 후보를 결정할 수 있다.

이하, 일 실시예에 따른 예측 움직임 벡터 후보의 결정 처리에 관한 제1 실시예에 대하여 상세하게 설명한다. 먼저, 도 1b, 도 4, 및 도 5를 참조하여, 도 3의 단계 S302의 처리의 제1 실시예에 대하여 설명한다. 도 1b에 나타낸 바와 같이, 여기서는, 대상 구획에 대하여 왼쪽 아래의 인접 구획(BD) 및 대상 구획에 대하여 왼쪽에 인접하는 구획(BL, BL1, BL2)가 왼쪽 인접 영역을 구성하는 것으로 한다. 또한, 도 4의 (a)에 나타낸 인덱스 i의 오름차순으로 왼쪽 인접 영역 내의 구획이 스캔되는 것으로 한다. 즉, 왼쪽 인접 영역 내의 구획이 아래쪽에서부터 위쪽으로 차례로 스캔되는 것으로 한다.

그리고, 왼쪽 아래의 인접 구획(BD)은, 왼쪽 인접 영역에 포함되어 있지 않아도 된다. 또한, 왼쪽 아래의 인접 구획(BD)보다 더 아래쪽의 구획이 왼쪽 인접 영역에 포함되어 있어도 된다. 또한, 구획(BE)이나 구획(BE)보다 위쪽에 위치하는 구획이 왼쪽 인접 영역에 포함되어 있어도 된다. 또한, 대상 구획의 왼쪽에 위치하고 그 대상 구획으로부터 일정 거리 떨어진 구획이 왼쪽 인접 영역에 포함되어 있어도 된다.

도 4의 (a) 및 도 5로 돌아가서, 단계 S302의 처리에 있어서는, 먼저, 예측 움직임 벡터 후보 결정기(203)는 인덱스 i를 0으로 설정한다(단계 S501). 예측 움직임 벡터 후보 결정기(203)는 계속되는 단계 S502에서, 인덱스 i를 1만큼 증분한다.

이어서, 예측 움직임 벡터 후보 결정기(203)는, 스캔 순서로 i 번째의 구획이 왼쪽 인접 영역에 존재하고, 또한 그 구획이 움직임 벡터를 가지는지의 여부를 판정한다(단계 S503). i 번째의 구획이 왼쪽 인접 영역에 존재하고, 또한 그 구획이 움직임 벡터를 가지는 경우에는, 계속되는 단계 S504에서, 예측 움직임 벡터 후보 결정기(203)는, i 번째의 구획과 대상 구획이 동일한 참조 화면 리스트 식별 번호 및 참조 화면 번호를 가지는지의 여부를 판정한다. 단계 S504의 판정 조건이 충족되는 경우에는, 계속되는 단계 S505에서, 예측 움직임 벡터 후보 결정기(203)는 i 번째의 구획의 움직임 벡터를 예측 움직임 벡터 후보 PMV1로 결정하고, 계속되는 단계 S506에서, 예측 움직임 벡터 후보 PMV1을 출력하고, 처리를 종료한다.

한편, 단계 S503의 판정 조건이 충족되지 않은 경우, 또는 단계 S504의 판정 조건이 충족되지 않은 경우에는, 처리는 단계 S507로 이행한다. 단계 S507에서는, 예측 움직임 벡터 후보 결정기(203)는, 인덱스 i가 왼쪽 인접 영역의 구획의 개수 N를 넘었는지의 여부를 판정한다. 단계 S507의 판정 조건이 충족되지 않은 경우, 예측 움직임 벡터 후보 결정기(203)는, 단계 S502에서부터의 처리를 속행한다. 한편, 단계 S507의 판정 조건이 충족된 경우, 예측 움직임 벡터 후보 결정기(203)는 처리를 종료한다.

그리고, 도 4의 (a)에 나타낸 예에서는, 왼쪽 인접 영역의 구획이 아래쪽에서부터 차례로 스캔 되지만, 일 실시예에서는, 도 4의 (c)에 나타낸 바와 같이, 위쪽에서부터 차례로 스캔되어도 된다.

또한, 일 실시예에서는, 도 4의 (a)에 나타낸 스캔 순서와 도 4의 (c)에 나타낸 스캔 순서가 적응적으로 선택되어도 된다. 예를 들면, 인접 구획의 움직임 벡터의 관계에 기초하여, 스캔 순서가 결정되어도 된다. 구체적으로는, 도 1b의 구획(BL)의 움직임 벡터와 구획(BA)의 움직임 벡터의 절대값 차분 α와 구획(BRA)의 움직임 벡터와 구획(BD)의 움직임 벡터의 절대값 차분 β를 비교하고, 절대값 차분 α가 절대값 차분 β보다 작은 경우에는, 도 4의 (c)의 스캔 순서가 선택되어도 된다. 한편, 반대의 경우에는, 도 4의 (a)의 스캔 순서가 선택되어도 된다.

또한, 일 실시예에서는, 단계 S502에서, 인덱스 i를 2 이상의 수치로 증분함으로써, 스캔하는 구획을 건너뛰어도 된다.

이하, 도 1b, 도 4, 및 도 6을 참조하여, 도 3의 단계 S303의 처리의 제1 실시예에 대하여 상세하게 설명한다. 도 1b에 나타낸 바와 같이, 여기서는, 대상 구획에 대하여 왼쪽 위의 인접 구획(BE) 및 대상 구획에 대하여 위쪽에 인접하는 구획(BA, BA1, BA2)이 위쪽 인접 영역을 구성하는 것으로 한다. 또한, 도 4의 (a)에 나타낸 인덱스 j의 오름차순으로 위쪽 인접 영역 내의 구획이 스캔되는 것으로 한다. 즉, 위쪽 인접 영역 내의 구획이 오른쪽에서부터 왼쪽으로 차례로 스캔되는 것으로 한다.

그리고, 왼쪽 위의 인접 구획(BE)은 위쪽 인접 영역에 포함되어 있지 않아도 된다. 또한, 왼쪽 위의 인접 구획(BE)보다 더욱 왼쪽의 구획이 위쪽 인접 영역에 포함되어 있어도 된다. 또한, 대상 구획 위쪽에 위치하고 그 대상 구획으로부터 일정 거리 떨어진 구획이 위쪽 인접 영역에 포함되어 있어도 된다.

도 4의 (a) 및 도 6으로 돌아가서, 단계 S303의 처리에서는, 먼저, 예측 움직임 벡터 후보 결정기(203)는 인덱스 j를 0으로 설정한다(단계 S601). 예측 움직임 벡터 후보 결정기(203)는, 계속되는 단계 S602에서, 인덱스 j를 1만큼 증분한다.

이어서, 예측 움직임 벡터 후보 결정기(203)는, 스캔 순서로 j 번째의 구획이 위쪽 인접 영역에 존재하고, 또한 그 구획이 움직임 벡터를 가지는지의 여부를 판정한다(단계 S603). j 번째의 구획이 위쪽 인접 영역에 존재하고, 또한 그 구획이 움직임 벡터를 가지는 경우에는, 계속되는 단계 S604에서, 예측 움직임 벡터 후보 결정기(203)는, j 번째의 구획과 대상 구획이 동일한 참조 화면 리스트 식별 번호 및 참조 화면 번호를 가지는지의 여부를 판정한다. 단계 S604의 판정 조건이 충족되는 경우에는, 계속되는 단계 S605에서, 예측 움직임 벡터 후보 결정기(203)는, j 번째의 구획의 움직임 벡터가 예측 움직임 벡터 후보 PMV1과 동일한지 여부를 판정한다. j 번째의 구획의 움직임 벡터가 예측 움직임 벡터 후보 PMV1과 다른 경우에는, 계속되는 단계 S606에서, 예측 움직임 벡터 후보 결정기(203)는 j 번째의 구획의 움직임 벡터를 예측 움직임 벡터 후보 PMV2로 결정하고, 계속되는 단계 S607에서, 예측 움직임 벡터 후보 PMV2를 출력하고, 처리를 종료한다.

한편, 단계 S603의 판정 조건이 충족되지 않은 경우, 단계 S604의 판정 조건이 충족되지 않은 경우, 또는 단계 S605의 판정 조건이 충족되는 경우에는, 처리는, 단계 S608로 이행한다.

단계 S608에서는, 예측 움직임 벡터 후보 결정기(203)는, 인덱스 j가 위쪽 인접 영역의 구획의 개수 M를 넘었는지의 여부를 판정한다. 단계 S608의 판정 조건이 충족되지 않은 경우, 예측 움직임 벡터 후보 결정기(203)는, 단계 S602에서부터의 처리를 속행한다. 한편, 단계 S608의 판정 조건이 충족된 경우, 예측 움직임 벡터 후보 결정기(203)는 처리를 종료한다.

그리고, 도 4의 (a)에 나타낸 예에서는, 위쪽 인접 영역의 구획이 오른쪽에서부터 차례로 스캔 되지만, 일 실시예에서는, 도 4의 (c)에 나타낸 바와 같이, 왼쪽에서부터 차례로 스캔되어도 된다.

또한, 일 실시예에서는, 도 4의 (a)에 나타낸 스캔 순서와 도 4의 (c)에 나타낸 스캔 순서가 적응적으로 선택되어도 된다. 예를 들면, 인접 구획의 움직임 벡터의 관계에 기초하여, 스캔 순서가 결정되어도 된다. 구체적으로는, 도 1b의 구획(BL)의 움직임 벡터와 구획(BA)의 움직임 벡터의 절대값 차분 α와, 구획(BRA)의 움직임 벡터와 구획(BD)의 움직임 벡터의 절대값 차분 β를 비교하고, 절대값 차분 α가 절대값 차분 β보다 작은 경우에는, 도 4의 (c)의 스캔 순서가 선택되어도 된다. 한편, 반대의 경우에는, 도 4의 (a)의 스캔 순서가 선택되어도 된다.

또한, 전술한 실시예에서는, 구획(BE)를 위쪽 인접 영역에 포함하고 있지만, 구획(BE)를 왼쪽 인접 영역에 포함해도 된다. 또한, 구획(BE)를 위쪽 인접 영역 및 왼쪽 인접 영역과는 독립된 영역으로 하고, 구획(BE)의 움직임 벡터를 별개의 예측 움직임 벡터 후보로서 취급해도 된다.

또한, 전술한 실시예에서는, 인접 영역의 구획의 움직임 벡터를 예측 움직임 벡터 후보로서 선택하기 위한 판정 조건에, 참조 화면 리스트 식별 번호 및 참조 화면 번호의 양쪽을 사용하고 있지만, 이에 한정되는 것은 아니다. 예를 들면, 그 판정 조건에, 참조 화면 리스트 식별 번호 및 참조 화면 번호 중 한쪽이 사용되어도 된다. 또한, 참조 화면 번호를 사용하지 않는 경우에는, 참조 프레임과 대상 프레임 사이의 거리에 따라 인접 영역의 구획의 움직임 벡터의 스케일링을 행해도 된다. 또한, 그 외의 화면 내 예측의 정보를 사용해도 된다. 구체적으로는, 대상 구획의 크기와 인접 구획의 크기를 전술한 판정 조건의 하나로 해도 된다. 구체적으로는 대상 구획의 사이즈가 N×N 화소인 경우, 인접 영역 내의 구획의 사이즈가 N×N 화소인 것을 판정 조건으로 하거나, 또는 N/2×N/2 화소에서 2N×2N 화소인 사이즈의 구획인 것을 판정 조건이라도 된다.

또한, 전술한 실시예에서는, 왼쪽 인접 영역의 예측 움직임 벡터 후보 PMV1가 산출된 후에, 위쪽 인접 영역의 예측 움직임 벡터 후보 PMV2의 산출이 행해지고 있지만, 이에 한정되는 것은 아니다. 왼쪽 인접 영역의 예측 움직임 벡터 후보 PMV1의 결정보다 먼저 위쪽 인접 영역의 예측 움직임 벡터 후보 PMV2가 결정되어도 된다. 이 경우, 왼쪽 인접 영역의 예측 움직임 벡터 후보 PMV1를 결정하는 처리에 있어서, 왼쪽 인접 영역에 포함되는 구획의 움직임 벡터가 위쪽 인접 영역의 예측 움직임 벡터 후보 PMV2와 동일함을 판정하는 처리를 행할 수 있다.

또한, 전술한 실시예에서는, 단계 S605에서, 위쪽 인접 영역의 j 번째의 구획의 움직임 벡터가 왼쪽 인접 영역의 예측 움직임 벡터 후보 PMV1과 동일한지의 여부가 판정되고 있지만, 이 판정은 실시되지 않아도 된다. 이 경우, 단계 S604의 판정 조건이 충족되는 경우에, 직접 단계 S606의 처리를 행하면 된다.

또한, 일 실시예에서는, 단계 S602에서, 인덱스 j를 2 이상의 수치로 증분함으로써, 스캔하는 구획을 건너뛰어도 된다.

이하, 동화상 부호화 장치(20)에 의해 생성된 압축 스트림을 복호하여 동화상을 복원하는 동화상 복호 장치에 대하여 설명한다. 도 7은 일 실시예에 따른 동화상 복호 장치의 구성을 나타낸 도면이다. 도 7에 나타낸 동화상 복호 장치(30)는, 본 발명의 일 측면에 따른 움직임 벡터를 예측 복호하는 장치의 일례이다.

도 7에 나타낸 바와 같이, 동화상 복호 장치(30)는 엔트로피 복호기(301), 예측 움직임 벡터 후보 결정기(302), 예측 움직임 벡터 결정기(303), 움직임 벡터 가산기(304), 움직임 보상기(305), 프레임 메모리(306), 공간 예측기(307), 예측 방법 결정기(308), 역양자화기(309), 역직교 변환기(310), 및 가산기(311)를 구비할 수 있다.

엔트로피 복호기(301)는, 압축 스트림을 수신한 후, 그 압축 스트림에 있어서 각 프레임의 선두를 나타내는 동기 워드를 검출한 후, 분할 구획 단위로, 그 압축 스트림 내의 부호화 데이터로부터 예측 모드 정보와 양자화 직교 변환계수를 복원한다. 또한, 예측 모드 정보에 의해 특정되는 예측 모드가 "화면 간 예측 모드"인 경우에는, 엔트로피 복호기(301)는, 압축 스트림 내의 부호화 데이터를 복호하여, 움직임 벡터 차분 값, 참조 화면 리스트 식별 번호, 및 참조 화면 번호의 복원도 행한다.

엔트로피 복호기(301)는 복원한 양자화 직교 변환계수를 라인(L301a)을 경유하여 역양자화기(309)에 전송한다. 또한, 엔트로피 복호기(301)는 예측 모드 정보, 참조 화면 리스트 식별 번호, 및 참조 화면 번호를 라인(L301b)을 경유하여 예측 움직임 벡터 후보 결정기(302)에 전송한다. 또한, 엔트로피 복호기(301)는 복원한 움직임 벡터 차분값을 라인(L301d)을 경유하여 움직임 벡터 가산기(304)에 전송한다. 또한, 엔트로피 복호기(301)는 복원한 예측 모드 정보를 라인(L301e)을 경유하여 예측 방법 결정기(308)에 전송한다.

예측 움직임 벡터 후보 결정기(302)는, 수취한 예측 모드 정보에 의해 특정되는 예측 모드가 "화면 간 예측 모드"인 경우에, 복호 완료된 인접 구획의 움직임 벡터에서 예측 움직임 벡터 후보를 결정한다. 예측 움직임 벡터 후보 결정기(302)에 의해 행해지는 예측 움직임 벡터 후보의 결정에 관한 처리는, 예측 움직임 벡터 후보 결정기(203)에 대하여 전술한 처리와 동일하므로, 여기서는, 그 설명을 생략한다. 이 예측 움직임 벡터 후보 결정기(302)는, 결정한 예측 움직임 벡터 후보를 라인(L302b)을 경유하여 예측 움직임 벡터 결정기(303)에 출력한다. 또한, 예측 움직임 벡터 후보 결정기(302)는, 예측 움직임 벡터 후보의 수를 라인(L302a)을 경유하여 엔트로피 복호기(301)에 출력한다.

엔트로피 복호기(301)는 라인(L302a)을 경유하여 예측 움직임 벡터 후보의 수를 수취하면, 그 수에 따라 압축 스트림 내의 부호화 데이터를 복호하여, 예측 움직임 벡터 지시 정보를 복원한다. 엔트로피 복호기(301)는 복원한 예측 벡터 지시 정보를 예측 움직임 벡터 결정기(303)에 전송한다. 더욱 구체적으로는, 예측 움직임 벡터 후보의 수가 0이나 1인 경우에는, 예측 움직임 벡터 지시 정보는 전송되어 오지 않기 때문에, 복원 처리는 행해지지 않는다. 또한, 예측 움직임 벡터 후보의 수가 2나 3인 경우에는, 최대 2비트의 부호화 데이터를 엔트로피 복호화함으로써, 예측 움직임 벡터 지시 정보가 복원된다.

그리고, 엔트로피 복호기(301)는 예측 움직임 벡터 후보 결정기(302)에 의해 선택된 예측 움직임 벡터 후보의 수에 따라 부호화 데이터를 복호함으로써 예측 움직임 벡터 지시 정보의 복원을 행하고 있지만, 이에 한정되는 것은 아니다. 예를 들면, 예측 움직임 벡터 후보의 수와는 관계없이 전술한 표 1의 고정된 부호화 테이블을 사용하여 예측 움직임 벡터 지시 정보가 복원되어도 된다. 그리고, 고정 부호화 테이블의 설정은 이에 한정되는 것은 아니다. 또한, 예측 움직임 벡터 후보의 산출 전에, 예측 움직임 벡터 지시 정보가 복원되어도 된다.

예측 움직임 벡터 결정기(303)는 라인(L302b)을 경유하여 입력된 예측 움직임 벡터 후보 중에서, 라인(L301c)을 경유하여 입력되는 예측 움직임 벡터 지시 정보에 기초하여, 최적 예측 움직임 벡터 PMVopt를 결정한다. 결정된 최적 예측 움직임 벡터 PMVopt는 라인(L303)을 경유하여 움직임 벡터 가산기(304)에 전송된다.

움직임 벡터 가산기(304)는, 엔트로피 복호기(301)로부터 송신된 움직임 벡터 차분값과 예측 움직임 벡터 결정기(303)로부터 송신된 최적 예측 움직임 벡터 PMVopt를 가산하여, 움직임 벡터를 복원한다. 움직임 벡터 가산기(304)는 복원한 움직임 벡터를 포함하는 신호를 라인(L304)을 경유하여 움직임 보상기(305)에 전송한다.

움직임 보상기(305)는, 움직임 벡터 가산기(304)로부터 전송된 움직임 벡터와 라인(L301d)을 경유하여 엔트로피 복호기(301)로부터 송신되는 예측 모드 정보, 참조 화면 리스트 식별 번호, 및 참조 화면 번호에 기초하여, 메모리(306) 내의 참조 프레임 화상 신호를 선택하고, 선택한 참조 프레임 화상 신호를 사용하여, 예측 화상 신호를 생성한다. 움직임 보상기(305)는 라인(L305a)을 경유하여, 예측 화상 신호를 예측 방법 결정기(308)에 전송한다. 또한, 움직임 보상기(305)는 예측 화상 신호의 생성에 이용한 예측 모드 정보, 참조 화면 리스트 식별 번호, 및 참조 화면 번호를 라인(L305b)을 경유하여 메모리(306)에 출력한다. 그리고, 메모리(306)에는, 과거에 복호 완료된 프레임 화상 신호, 예측 모드 정보, 참조 화면 리스트 식별 번호, 및 참조 화면 번호가 저장되어 있다.

또한, 공간 예측기(307)는 라인(L301e)을 경유하여 입력되는 예측 모드 정보에 의해 특정되는 예측 모드가 "화면 내 예측 모드"인 경우에, 복호 완료된 근방 블록의 화상 신호(참조 프레임 화상 신호)를 참조하여 예측 화상 신호를 생성하고, 그 예측 화상 신호를 예측 방법 결정기(308)에 전송한다.

예측 방법 결정기(308)는 엔트로피 복호기(301)로부터 송신된 예측 모드 정보에 기초하여, 화면 간 예측에 의해 생성된 예측 화상 신호 및 화면 내 예측에 의해 생성된 예측 화상 신호 중 어느 하나를 선택하고, 선택한 예측 화상 신호를 라인(L308)을 경유하여 가산기(311)에 전송한다.

역양자화기(309)는 엔트로피 복호기(301)에 의해 송신된 양자화 직교 변환계수를 역양자화하여, 직교 변환계수를 복원한다. 역양자화기(309)는 복원한 직교 변환계수를 라인(L309)을 경유하여 역직교 변환기(310)에 전송한다.

역직교 변환기(310)는 수취한 직교 변환계수에 역직교 변환을 적용하여, 예측 잔차 신호를 복원한다. 역직교 변환기(310)는 복원한 예측 잔차 신호를 라인(L310)을 경유하여 가산기(311)에 전송한다.

가산기(311)는 예측 방법 결정기(308)로부터 송신된 예측 화상 신호와, 역직교 변환기(310)로부터 송신된 예측 잔차 신호를 가산하여, 프레임 화상 신호를 복원한다.

복원된 프레임 화상 신호는 소정의 표시 타이밍에서 표시 디바이스(도시하지 않음)에 출력되고, 입력 영상 신호(동화상 신호)가 재생될 수 있다. 또한, 프레임 화상 신호는, 이후의 복호화 처리에 사용되므로, 참조 프레임 화상 신호로서 메모리(306)에 저장된다. 여기서, 프레임 화상 신호는, 동화상 부호화 장치(20)에서의 동일 번호의 프레임 화상 신호와 동일한 값이 될 수 있다. 또한, 움직임 벡터나 참조 프레임 번호에 관한 정보도 참조 프레임 화상 신호와 관련지어 동시에 저장된다.

이하, 동화상 복호 장치(30)에 의해 사용되는 움직임 벡터의 예측 복호 방법의 일 실시예에 대하여, 도 8을 참조하여 설명한다. 도 8은 움직임 벡터의 예측 복호 방법의 일 실시예를 나타낸 흐름도이다.

도 8에 나타낸 바와 같이, 일 실시예에 따른 예측 움직임 벡터의 예측 복호 방법에 있어서는, 먼저, 예측 움직임 벡터 후보 결정기(302)에, 참조 화면 리스트 식별 번호 및 참조 화면 번호가 입력된다(단계 S801).

다음에, 예측 움직임 벡터 후보 결정기(302)가, 대상 구획(BT)의 왼쪽 인접 영역에 포함되는 하나 이상의 구획의 움직임 벡터로부터 예측 움직임 벡터 후보 PMV1을 결정한다(단계 S302).

다음에, 예측 움직임 벡터 후보 결정기(302)는, 대상 구획(BT)의 위쪽 인접 영역에 포함되는 하나 이상의 구획의 움직임 벡터로부터 예측 움직임 벡터 후보 PMV2를 결정한다(단계 S303).

다음에, 예측 움직임 벡터 후보 결정기(302)는 예측 움직임 벡터 후보 PMV3을 결정한다(단계 S304). 그리고, 도 8에서의 단계 S302∼단계 S304의 처리는, 도 3에서의 단계 S302∼단계 S304의 처리와 동일하다.

다음에, 단계 S805에서, 예측 움직임 벡터 후보 결정기(302)는 예측 움직임 벡터 후보 PMV1, 예측 움직임 벡터 후보 PMV2, 예측 움직임 벡터 후보 PMV3 중, 동일하지 않은 예측 움직임 벡터 후보만을 예측 움직임 벡터 후보로 한다. 구체예를 나타내면, 예측 움직임 벡터 후보 PMV1과 예측 움직임 벡터 후보 PMV3이 동일한 경우에는, 예측 움직임 벡터 후보로서 예측 움직임 벡터 후보 PMV1과 예측 움직임 벡터 후보 PMV2만이 선택된다. 또한, 단계 S805까지의 처리에 의해 유효한 예측 움직임 벡터 후보가 결정되지 않은 경우에는, 영 움직임 벡터가 예측 움직임 벡터 후보가 된다.

단계 S806에서, 전술한 바와 같이, 복호기(301)가 예측 움직임 벡터 후보의 수에 기초하여 예측 움직임 벡터 지시 정보를 복원한다. 이어서, 단계 S807에서, 예측 움직임 벡터 결정기(303)가 예측 움직임 벡터 지시 정보에 기초하여, 예측 움직임 벡터 후보로부터 최적 예측 움직임 벡터를 선택한다.

이하, 움직임 벡터의 예측 부호화 방법의 제2 실시예에 대하여 설명한다. 도 9는 제2 실시예의 움직임 벡터의 예측 부호화 방법에서의 예측 움직임 벡터 후보의 결정 처리를 나타낸 흐름도이다. 제2 실시예의 움직임 벡터의 예측 부호화 방법에서는, 도 3의 단계 S302∼단계 S304 대신에, 도 9에 나타낸 흐름이 사용된다.

먼저, 본 실시예에서는, 단계 S901에서, 예측 움직임 벡터 후보 결정기(203)는, 대상 구획의 왼쪽 인접 영역에 포함되는 구획을 아래쪽 방향으로 스캔하여, 이들 구획의 움직임 벡터로부터 예측 움직임 벡터 후보 PMVa를 결정한다. 단계 S901에서는, 예측 움직임 벡터 후보 결정기(203)는, 도 4의 (c)에 나타낸 왼쪽 인접 영역의 스캔 순서에 따라서 제1 실시예에서 설명한 예측 움직임 벡터 후보 PMV1의 결정 방법(단계 S302)을 행함으로써, 예측 움직임 벡터 후보 PMVa를 검출할 수 있다. 그리고, 예측 움직임 벡터 후보 PMVa의 결정을 위해, 예측 움직임 벡터 후보 결정기(203)는, 제1 실시예와 마찬가지로, 입력되는 참조 화면 리스트 식별 번호 및 참조 화면 번호를 사용할 수 있다.

다음에, 단계 S902에서, 예측 움직임 벡터 후보 결정기(203)는 대상 구획의 왼쪽 인접 영역에 포함되는 구획을 위쪽 방향으로 스캔하여, 이들 구획의 움직임 벡터로부터 예측 움직임 벡터 후보 PMVb를 결정한다. 단계 S902에서는, 예측 움직임 벡터 후보 결정기(203)는, 도 4의 (a)에 나타낸 왼쪽 인접 영역의 스캔 순서에 따라서 제1 실시예에서 설명한 예측 움직임 벡터 후보 PMV1의 결정 방법(단계 S302)을 행함으로써, 예측 움직임 벡터 후보 PMVb를 검출할 수 있다. 그리고, 예측 움직임 벡터 후보 PMVb의 결정에도, 예측 움직임 벡터 후보 결정기(203)는 참조 화면 리스트 식별 번호 및 참조 화면 번호를 사용할 수 있다.

다음에, 단계 S903에서, 예측 움직임 벡터 후보 결정기(203)는 예측 움직임 벡터 후보 PMVa 및 예측 움직임 벡터 후보 PMVb로부터 왼쪽 인접 영역의 예측 움직임 벡터 후보 PMVX를 선택한다. 또한, 예측 움직임 벡터 후보 결정기(203)는 선택한 예측 움직임 벡터 후보를 구하기 위해 사용한 스캔 방향 X를 나타낸 스캔 방향 지시 정보를 생성한다. 구체적으로는, 예측 움직임 벡터 후보 결정기(203)는 예측 움직임 벡터 후보 PMVa 및 예측 움직임 벡터 후보 PMVb 중, 대상 구획의 예측 움직임 벡터에 대한 오차가 가장 작은 예측 움직임 벡터 후보를, 예측 움직임 벡터 후보 PMVX로 결정한다. 또한, 예측 움직임 벡터 후보 결정기(203)는 예측 움직임 벡터 후보 PMVX로 예측 움직임 벡터 후보 PMVa가 선택된 경우에는, 아래쪽 방향을 나타내는 스캔 방향 지시 정보를 생성하고, 예측 움직임 벡터 후보 PMVb가 선택되어 있는 경우에는, 위쪽 방향을 나타내는 스캔 방향 지시 정보를 생성한다.

다음에, 단계 S904에서, 예측 움직임 벡터 후보 결정기(203)는 대상 구획의 위쪽 인접 영역에 포함되는 구획을 오른쪽 방향으로 스캔하여, 이들 구획의 움직임 벡터로부터 예측 움직임 벡터 후보 PMVc를 결정한다. 단계 S904에서는, 예측 움직임 벡터 후보 결정기(203)는 도 4의 (c)에 나타낸 위쪽 인접 영역의 스캔 순서에 따라서 제1 실시예에서 설명한 예측 움직임 벡터 후보 PMV2의 결정 방법(단계 S303)을 행함으로써, 예측 움직임 벡터 후보 PMVc를 검출할 수 있다. 그리고, 예측 움직임 벡터 후보 PMVc의 결정을 위해, 예측 움직임 벡터 후보 결정기(203)는, 제1 실시예와 마찬가지로, 입력되는 참조 화면 리스트 식별 번호 및 참조 화면 번호를 사용할 수 있다.

다음에, 단계 S905에서, 예측 움직임 벡터 후보 결정기(203)는 대상 구획의 위쪽 인접 영역에 포함되는 구획을 왼쪽 방향으로 스캔하여, 이들 구획의 움직임 벡터로부터 예측 움직임 벡터 후보 PMVd를 결정한다. 단계 S905에서는, 예측 움직임 벡터 후보 결정기(203)는 도 4의 (a)에 나타낸 위쪽 인접 영역의 스캔 순서에 따라서 제1 실시예에서 설명한 예측 움직임 벡터 후보 PMV2의 결정 방법(단계 S303)을 행함으로써, 예측 움직임 벡터 후보 PMVd를 검출할 수 있다. 그리고, 예측 움직임 벡터 후보 PMVd의 결정에도, 예측 움직임 벡터 후보 결정기(203)는 참조 화면 리스트 식별 번호 및 참조 화면 번호를 사용할 수 있다.

다음에, 단계 S906에서, 예측 움직임 벡터 후보 결정기(203)는, 예측 움직임 벡터 후보 PMVc 및 예측 움직임 벡터 후보 PMVd로부터 위쪽 인접 영역의 예측 움직임 벡터 후보 PMVY를 선택한다. 또한, 예측 움직임 벡터 후보 결정기(203)는 선택한 예측 움직임 벡터 후보를 구하기 위해 사용한 스캔 방향 Y를 나타낸 스캔 방향 지시 정보를 생성한다. 구체적으로는, 예측 움직임 벡터 후보 결정기(203)는 예측 움직임 벡터 후보 PMVc 및 예측 움직임 벡터 후보 PMVd 중, 대상 구획의 예측 움직임 벡터에 대한 오차가 가장 작은 예측 움직임 벡터 후보를, 예측 움직임 벡터 후보 PMVY로 결정한다. 또한, 예측 움직임 벡터 후보 결정기(203)는 예측 움직임 벡터 후보 PMVY로서 예측 움직임 벡터 후보 PMVc가 선택된 경우에는, 오른쪽 방향을 나타내는 스캔 방향 지시 정보를 생성하고, 예측 움직임 벡터 후보 PMVd가 선택되어 있는 경우에는, 왼쪽 방향을 나타내는 스캔 방향 지시 정보를 생성한다.

다음에, 단계 S907에서, 예측 움직임 벡터 후보 결정기(203)는, 단계 S304의 처리와 마찬가지로, 대상 구획과 공간적으로 동일 위치의 참조 프레임 내의 구획의 예측 움직임 벡터 후보 PMVZ를 취득한다. 이 단계 S907에서의 처리는, 제1 실시예의 단계 S304의 처리의 전술한 변형 형태와 동일하여도 된다.

다음에, 단계 S908에서, 예측 움직임 벡터 후보 결정기(203)는 예측 움직임 벡터 후보 PMVX, 예측 움직임 벡터 후보 PMVY, 예측 움직임 벡터 후보 PMVZ 중, 동일하지는 않은 예측 움직임 벡터 후보만을 예측 움직임 벡터 후보로 한다. 그리고, 예측 움직임 벡터 후보 결정기(203)는 예측 움직임 벡터 후보, 예측 움직임 벡터 후보의 수, 및 스캔 방향 지시 정보를 출력한다. 구체예를 나타내면, 예측 움직임 벡터 후보 PMVX와 예측 움직임 벡터 후보 PMVZ가 동일한 경우에는, 예측 움직임 벡터 후보로서 예측 움직임 벡터 후보 PMVX와 예측 움직임 벡터 후보 PMVY만이 선택된다. 또한, 단계 S901∼단계 S907에서 유효한 예측 움직임 벡터 후보가 결정되지 않은 경우, 영 움직임 벡터가 예측 움직임 벡터 후보가 된다.

이어서, 제2 실시예에서는, 제1 실시예의 단계 S306과 동일한 처리가 행해진다. 마지막으로, 단계 S307에서, 부호화기(213)가, 최적 예측 움직임 벡터가 예측 움직임 벡터 후보 중 어느 것인지를 특정하기 위한 예측 움직임 벡터 지시 정보를 부호화한다. 그리고, 제2 실시예에서는, 단계 S307에서, 부호화기(213)는 스캔 방향 지시 정보도 부호화한다.

그리고, 제2 실시예에서도, 왼쪽 인접 영역을 구성하는 구획, 및 위쪽 인접 영역을 구성하는 구획은, 제1 실시예에 대하여 전술한 바와 같이 변경되어도 된다. 또한, 예측 움직임 벡터의 개수에 대해서도, 제1 실시예에 대하여 전술한 바와 같이 변경되어도 된다. 또한, 제1 실시예에 대하여 전술한 바와 같이, 예측 움직임 벡터 후보 PMVX, PMVY, PMVZ의 결정 순서를, 대상 구획을 소구획으로 분할하는 태양 및 그 소구획의 위치에 기초하여, 변경해도 된다.

이하, 제2 실시예의 움직임 벡터의 예측 복호 방법에 대하여 설명한다. 도 10은 제2 실시예의 움직임 벡터의 예측 복호 방법을 나타낸 흐름도이다. 도 10에 나타낸 예측 복호 방법은, 제2 실시예의 움직임 벡터의 예측 부호화 방법에 의해 생성된 부호화 데이터로부터 움직임 벡터를 예측하는 것이다.

도 10에 나타낸 바와 같이, 본 실시예에서는, 먼저, 단계 S1001에서, 예측 움직임 벡터 후보 결정기(302)에, 복원된 참조 화면 리스트 식별 번호, 참조 화면 번호, 스캔 방향 지시 정보(스캔 방향 X, 스캔 방향 Y)가 입력된다.

다음에, 단계 S1002에서, 예측 움직임 벡터 후보 결정기(302)가 참조 화면 리스트 식별 번호, 참조 화면 번호, 및 스캔 방향 X를 특정하기 위한 스캔 방향 지시 정보에 따라, 왼쪽 인접 영역의 예측 움직임 벡터 후보 PMVX를 결정한다. 예측 움직임 벡터 후보 PMVX는, 스캔 방향 지시 정보에 의해 특정되는 스캔 방향 X에 왼쪽 인접 영역 내의 구획을 순차적으로 스캔함으로써, 제1 실시예의 예측 움직임 벡터 후보 PMV1의 결정과 동일한 처리에 의해 결정된다.

다음에, 단계 S1003에서, 예측 움직임 벡터 후보 결정기(302)는 참조 화면 리스트 식별 번호, 참조 화면 번호, 및 스캔 방향 Y를 특정하기 위한 스캔 방향 지시 정보에 따라, 위쪽 인접 영역의 예측 움직임 벡터 후보 PMVY를 결정한다. 예측 움직임 벡터 후보 PMVY는, 스캔 방향 지시 정보에 의해 특정되는 스캔 방향 Y로 위쪽 인접 영역 내의 구획을 순차적으로 스캔함으로써, 제1 실시예의 예측 움직임 벡터 후보 PMV2의 결정과 동일한 처리에 의해 결정된다.

이어서, 단계 S1004에서, 예측 움직임 벡터 후보 결정기(302)는 대상 구획과 공간적으로 동일한 참조 프레임 내의 구획의 예측 움직임 벡터 후보 PMVZ를 결정한다. 단계 S1004의 처리는, 단계 S304의 처리와 동일하다.

이어서, 단계 S1005에서, 예측 움직임 벡터 후보 결정기(302)는 예측 움직임 벡터 후보 PMVX, 예측 움직임 벡터 후보 PMVY, 예측 움직임 벡터 후보 PMVZ 중, 동일하지는 않은 예측 움직임 벡터 후보만을 예측 움직임 벡터 후보로 한다. 구체예를 나타내면, 예측 움직임 벡터 후보 PMVX와 예측 움직임 벡터 후보 PMVZ가 동일한 경우에는, 예측 움직임 벡터 후보로서 예측 움직임 벡터 후보 PMVX와 예측 움직임 벡터 후보 PMVY만이 선택된다. 또한, 단계 S1005까지의 처리에 의해 유효한 예측 움직임 벡터 후보가 결정되지 않은 경우에는, 영 움직임 벡터가 예측 움직임 벡터 후보가 된다.

이어서, 단계 S1006에서, 복호기(301)가 예측 움직임 벡터 후보의 수에 기초하여 예측 움직임 벡터 지시 정보를 복원한다. 이어서, 단계 S1007에서, 예측 움직임 벡터 결정기(303)가 예측 움직임 벡터 지시 정보에 기초하여, 예측 움직임 벡터 후보로부터 최적 예측 움직임 벡터를 선택한다.

그리고, 제2 실시예에서도, 제1 실시예에 대하여 전술한 바와 같이, 예측 움직임 벡터 후보 PMVX, PMVY, PMVZ의 결정 순서를, 대상 구획을 소구획으로 분할하는 태양 및 그 소구획의 위치에 기초하여, 변경해도 된다.

이상, 설명한 동화상 부호화 장치(20) 및 동화상 복호 장치(30)에 의하면, 예측 움직임 벡터의 후보를 좁힌 후에, 이들 예측 움직임 벡터 후보로부터 최적 예측 움직임 벡터가 검출된다. 따라서, 최적 예측 움직임 벡터의 결정에 필요한 연산량을 삭감할 수 있다. 또한, 최적 예측 움직임 벡터를 특정하기 위한 예측 움직임 벡터 지시 정보를 적은 비트 수로 부호화할 수 있다.

또한, 제2 실시예의 예측 부호화 및 예측 복호를 사용하는 동화상 부호화 장치(20) 및 동화상 복호 장치(30)에 의하면, 대상 구획의 움직임 벡터로부터의 오차가 보다 적은 예측 움직임 벡터 후보를 구할 수 있다.

이하, 컴퓨터를 동화상 부호화 장치(20)로서 기능하게 하기 위한 동화상 부호화 프로그램(1000)과, 컴퓨터를 전술한 동화상 복호 장치(30)로서 기능하게 하기 위한 동화상 복호 프로그램(1100)에 대하여 설명한다.

도 11은 일 실시예에 따른 동화상 부호화 프로그램의 구성을 나타낸 도면이다. 도 12는 일 실시예에 따른 동화상 복호 프로그램의 구성을 나타낸 도면이다. 도 13은 일 실시예에 따른 컴퓨터의 하드웨어 구성을 나타낸 도면이다. 도 14는 일 실시예에 따른 컴퓨터를 나타낸 사시도이다.

도 11에 나타낸 동화상 부호화 프로그램(1000)은, 기록 매체(SM)에 저장되어 제공될 수 있다. 또한, 도 12에 나타낸 동화상 복호 프로그램(1100)도 기록 매체(SM)에 저장되어 제공될 수 있다. 그리고, 기록 매체(SM)로서는, 플로피 디스크, CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다.

도 13에 나타낸 바와 같이, 컴퓨터(C10)는 플로피 디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(C12)와, 운영체제( operating system)를 상주시킨 작업용 메모리(RAM)(14)와, 기록 매체(SM)에 기억된 프로그램을 기억하는 메모리(C16)와, 디스플레이 등의 표시 장치(C18)와, 입력 장치인 마우스(C20) 및 키보드(C22)와, 데이터 등의 송수신을 행하기 위한 통신 장치(C24)와, 프로그램의 실행을 제어하는 CPU(C26)를 구비할 수 있다.

컴퓨터(C10)는, 기록 매체(SM)가 판독 장치(C12)에 삽입되면, 판독 장치(C12)로부터 기록 매체(SM)에 저장된 동화상 부호화 프로그램(1000)에 액세스 가능하게 되고, 그 동화상 부호화 프로그램(1000)에 의해, 동화상 부호화 장치(20)로서 동작하는 것이 가능하게 된다.

또한, 컴퓨터(C10)는, 기록 매체(SM)가 판독 장치(C12)에 삽입되면, 판독 장치(C12)로부터 기록 매체(SM)에 저장된 동화상 복호 프로그램(1100)에 액세스 가능하게 되고, 그 동화상 복호 프로그램(1100)에 의해, 동화상 복호 장치(30)로서 동작하는 것이 가능하게 된다.

도 11에 나타낸 바와 같이, 동화상 부호화 프로그램(1000)은 처리를 총괄하는 메인 모듈(1001), 입력 모듈(1002), 움직임 검출 모듈(1003), 예측 움직임 벡터 후보 결정 모듈(1004), 예측 움직임 벡터 결정 모듈(1005), 움직임 벡터 차분 모듈(1006), 움직임 보상 모듈(1007), 공간 예측 모듈(1008), 예측 방법 결정 모듈(1009), 감산 모듈(1010), 직교 변환 모듈(1011), 양자화 모듈(1012), 엔트로피 부호화 모듈(1013), 역양자화 모듈(1014), 역직교 변환 모듈(1015), 및 가산 모듈(1016)을 구비하고 있다. 입력 모듈(1002), 움직임 검출 모듈(1003), 예측 움직임 벡터 후보 결정 모듈(1004), 예측 움직임 벡터 결정 모듈(1005), 움직임 벡터 차분 모듈(1006), 움직임 보상 모듈(1007), 공간 예측 모듈(1008), 예측 방법 결정 모듈(1009), 감산 모듈(1010), 직교 변환 모듈(1011), 양자화 모듈(1012), 엔트로피 부호화 모듈(1013), 역양자화 모듈(1014), 역직교 변환 모듈(1015), 가산 모듈(1016)이 컴퓨터에게 행하게 하는 기능은, 전술한 입력기(201), 움직임 검출기(202), 예측 움직임 벡터 후보 결정기(203), 예측 움직임 벡터 결정기(204), 움직임 벡터 차분기(205), 움직임 보상기(206), 공간 예측기(208), 예측 방법 결정기(209), 감산기(210), 직교 변환기(211), 양자화기(212), 엔트로피 부호화기(213), 역양자화기(214), 역직교 변환기(215), 가산기(216)의 기능과, 각각 동일하다.

도 12에 나타낸 바와 같이, 동화상 복호 프로그램(1100)은, 처리를 총괄하는 메인 모듈(1101), 엔트로피 복호 모듈(1102), 예측 움직임 벡터 후보 결정 모듈(1103), 예측 움직임 벡터 결정 모듈(1104), 움직임 벡터 가산 모듈(1105), 움직임 보상 모듈(1106), 공간 예측 모듈(1107), 예측 방법 결정 모듈(1108), 역양자화 모듈(1109), 역직교 변환 모듈(1110), 및 가산 모듈(1111)을 구비한다. 엔트로피 복호 모듈(1102), 예측 움직임 벡터 후보 결정 모듈(1103), 예측 움직임 벡터 결정 모듈(1104), 움직임 벡터 가산 모듈(1105), 움직임 보상 모듈(1106), 공간 예측 모듈(1107), 예측 방법 결정 모듈(1108), 역양자화 모듈(1109), 역직교 변환 모듈(1110), 가산 모듈(1111)이 컴퓨터에게 실현시키는 기능은, 전술한 엔트로피 복호기(301), 예측 움직임 벡터 후보 결정기(302), 예측 움직임 벡터 결정기(303), 움직임 벡터 가산기(304), 움직임 보상기(305), 공간 예측기(307), 예측 방법 결정기(308), 역양자화기(309), 역직교 변환기(310), 가산기(311)의 기능과, 각각 동일하다.

이상, 각종 실시예에 대하여 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고 각종 변형이 가능하다. 예를 들면, 전술한 실시예에서는, 대상 구획의 움직임 벡터와 예측 움직임 벡터(최적 예측 움직임 벡터) 사이의 차분인 움직임 벡터 차분값의 부호화 데이터가 부호화 장치로부터 복호 장치에 송신되고 있지만, 부호화 장치로부터 복호 장치에 송신 움직임 벡터 차분값의 부호화 데이터를 송신하지 않고, 최적 예측 움직임 벡터를 대상 구획의 움직임 벡터로서 채용해도 된다.

또한, 예측 움직임 벡터 후보 PMVX의 결정에 있어서는, 예측 움직임 벡터 후보 PMVa 및 PMVb를 사용하여 예측 화상 신호를 작성하고, 예측 움직임 벡터 후보 PMVa 및 PMVb 중, 예측 화상 신호와 대상 구획의 화상 신호 사이의 절대값 차분의 합(SAD)을 더 작게 하는 예측 움직임 벡터 후보를 예측 움직임 벡터 후보 PMVX로서 채용해도 된다. 또한, 예측 움직임 벡터 후보 PMVY의 결정에 있어서는, 예측 움직임 벡터 후보 PMVc 및 PMVd를 사용하여 예측 화상 신호를 작성하고, 예측 움직임 벡터 후보 PMVc 및 PMVd 중, 예측 화상 신호와 대상 구획의 화상 신호 사이의 절대값 차분의 합(SAD)을 더 작게 하는 예측 움직임 벡터 후보를 예측 움직임 벡터 후보 PMVY로서 채용해도 된다. 또한, SAD 대신에, 차분 절대값의 합(SATD) 또는 차분 제곱의 합(Sum of Squared Difference, SSD)이 사용되어도 된다.

20: 동화상 부호화 장치, 30: 동화상 복호 장치, 201: 입력기, 202: 검출기, 203: 예측 움직임 벡터 후보 결정기, 204: 예측 움직임 벡터 결정기, 205: 움직임 벡터 차분기, 206: 움직임 보상기, 207: 메모리, 208: 공간 예측기, 209: 예측 방법 결정기, 210: 감산기, 211: 변환기, 212: 양자화기, 213: 엔트로피 부호화기, 214: 역양자화기, 215: 역변환기, 216: 가산기, 301: 엔트로피 복호기, 302: 예측 움직임 벡터 후보 결정기, 303: 예측 움직임 벡터 결정기, 304: 움직임 벡터 가산기, 305: 움직임 보상기, 306: 프레임 메모리, 307: 공간 예측기, 308: 예측 방법 결정기, 309: 역양자화기, 310: 역직교 변환기, 311: 가산기.

Claims

복수의 프레임 화상의 시간 계열로 구성되는 동화상을 복원하는 움직임 보상 예측에 사용되는 움직임 벡터를 예측 복호하는 움직임 벡터의 예측 복호 방법으로서,
복호 대상의 프레임 화상 내의 대상 구획에 대하여 왼쪽에 위치하는 왼쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 하나의 제1 예측 움직임 벡터 후보를 결정하는 단계;
상기 대상 구획에 대하여, 위쪽에 위치하는 위쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 하나의 제2 예측 움직임 벡터 후보를 결정하는 단계;
부호화 데이터를 복호하여, 상기 대상 구획용의 최적 예측 움직임 벡터를 특정하기 위한 예측 움직임 벡터 지시 정보를 복원하는 단계; 및
적어도 상기 제1 예측 움직임 벡터 후보와 상기 제2 예측 움직임 벡터 후보를 포함하는 하나 이상의 예측 움직임 벡터 후보로부터, 상기 예측 움직임 벡터 지시 정보에 의해 특정되는 최적 예측 움직임 벡터를 선택하는 단계
를 포함하고,
상기 왼쪽 인접 영역이 상기 대상 구획의 왼쪽 아래의 인접 구획을 포함하고;
상기 위쪽 인접 영역이 상기 대상 구획의 오른쪽 위의 인접 구획을 포함하고;
상기 위쪽 인접 영역이 상기 대상 구획의 왼쪽 위의 인접 구획을 포함하고;
상기 제1 예측 움직임 벡터 후보를 결정하는 단계에서, 상기 왼쪽 인접 영역 내에 포함되는 하나 이상의 구획을 아래쪽에서 위쪽 방향으로 스캔함으로써, 상기 하나 이상의 구획의 움직임 벡터로부터 상기 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터를 상기 제1 예측 움직임 벡터 후보로 결정하고;
상기 제2 예측 움직임 벡터 후보를 결정하는 단계에서, 상기 위쪽 인접 영역 내에 포함되는 하나 이상의 구획을 오른쪽에서 왼쪽 방향으로 스캔함으로써, 상기 하나 이상의 구획의 움직임 벡터로부터 상기 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터를 상기 제2 예측 움직임 벡터 후보로 결정하고,
상기 대상 구획의 예측 신호는, 참조 화면 리스트 식별 번호 및 참조 화면 번호에 의해 특정되는 프레임 번호를 가지는 참조 프레임을 참조함으로써 생성되고,
상기 제1 예측 움직임 벡터 후보를 결정하는 단계에서는, 상기 대상 구획용의 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호와 일치하는 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호를 가지는 상기 왼쪽 인접 영역의 구획의 움직임 벡터로부터, 상기 제1 예측 움직임 벡터 후보가 결정되고,
상기 제2 예측 움직임 벡터 후보를 결정하는 단계에서는, 상기 대상 구획용의 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호와 일치하는 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호를 가지는 상기 위쪽 인접 영역의 구획의 움직임 벡터로부터, 상기 제2 예측 움직임 벡터 후보가 결정되는, 움직임 벡터의 예측 복호 방법.
제1항에 있어서,
상기 예측 움직임 벡터 지시 정보의 상기 부호화 데이터의 비트 수는, 상기 예측 움직임 벡터 후보의 수에 따른 비트 수인, 움직임 벡터의 예측 복호 방법.
제2항에 있어서,
상기 예측 움직임 벡터 지시 정보의 상기 부호화 데이터의 비트 수는, 상기 예측 움직임 벡터 후보의 수에 따른 최소수의 비트 수인, 움직임 벡터의 예측 복호 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
부호화 데이터를 복호하여, 상기 제1 예측 움직임 벡터 후보를 결정하는 단계에서 상기 왼쪽 인접 영역 내에 포함되는 하나 이상의 구획을 스캔하는 방향을 특정하기 위한 제1 스캔 방향 지시 정보, 및 상기 제2 예측 움직임 벡터 후보를 결정하는 단계에서 상기 위쪽 인접 영역 내에 포함되는 하나 이상의 구획을 스캔하는 방향을 특정하기 위한 제2 스캔 방향 지시 정보를 복원하는 단계를 더 포함하고,
상기 제1 예측 움직임 벡터 후보를 결정하는 단계에서, 상기 제1 스캔 방향 지시 정보에 의해 특정되는 방향으로 상기 왼쪽 인접 영역에 포함되는 하나 이상의 구획을 스캔하여, 상기 제1 예측 움직임 벡터 후보를 결정하고,
상기 제2 예측 움직임 벡터 후보를 결정하는 단계에서, 상기 제2 스캔 방향 지시 정보에 의해 특정되는 방향으로 상기 위쪽 인접 영역에 포함되는 하나 이상의 구획을 스캔하여, 상기 제2 예측 움직임 벡터 후보를 결정하는, 움직임 벡터의 예측 복호 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 하나 이상의 예측 움직임 벡터 후보의 수가 3 이하인, 움직임 벡터의 예측 복호 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 최적 예측 움직임 벡터를 상기 대상 구획의 움직임 벡터로서 사용하는, 움직임 벡터의 예측 복호 방법.
복수의 프레임 화상의 시간 계열로 구성되는 동화상을 복원하는 움직임 보상 예측에 사용되는 움직임 벡터를 예측 복호하는 움직임 벡터의 예측 복호 장치로서,
복호 대상의 프레임 화상 내의 대상 구획에 대하여 왼쪽에 위치하는 왼쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 하나의 제1 예측 움직임 벡터 후보를 결정하는 제1 예측 움직임 벡터 후보 결정 수단;
상기 대상 구획에 대하여, 위쪽에 위치하는 위쪽 인접 영역에 속하는 하나 이상의 구획의 움직임 벡터로부터, 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 하나의 제2 예측 움직임 벡터 후보를 결정하는 제2 예측 움직임 벡터 후보 결정 수단;
부호화 데이터를 복호하여, 상기 대상 구획용의 최적 예측 움직임 벡터를 특정하기 위한 예측 움직임 벡터 지시 정보를 복원하는 복호 수단; 및
적어도 상기 제1 예측 움직임 벡터 후보와 상기 제2 예측 움직임 벡터 후보를 포함하는 하나 이상의 예측 움직임 벡터 후보로부터, 상기 예측 움직임 벡터 지시 정보에 의해 특정되는 최적 예측 움직임 벡터를 선택하는 최적 예측 벡터 결정 수단
을 포함하고,
상기 왼쪽 인접 영역이 상기 대상 구획의 왼쪽 아래의 인접 구획을 포함하고;
상기 위쪽 인접 영역이 상기 대상 구획의 오른쪽 위의 인접 구획을 포함하고;
상기 위쪽 인접 영역이 상기 대상 구획의 왼쪽 위의 인접 구획을 포함하고;
상기 제1 예측 움직임 벡터 후보 결정 수단에서, 상기 왼쪽 인접 영역 내에 포함되는 하나 이상의 구획을 아래쪽에서 위쪽 방향으로 스캔함으로써, 상기 하나 이상의 구획의 움직임 벡터로부터 상기 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터를 상기 제1 예측 움직임 벡터 후보로 결정하고;
상기 제2 예측 움직임 벡터 후보 결정 수단에서, 상기 위쪽 인접 영역 내에 포함되는 하나 이상의 구획을 오른쪽에서 왼쪽 방향으로 스캔함으로써, 상기 하나 이상의 구획의 움직임 벡터로부터 상기 소정의 예측 움직임 벡터 후보 결정 기준을 만족시키는 움직임 벡터를 상기 제2 예측 움직임 벡터 후보로 결정하고,
상기 대상 구획의 예측 신호는, 참조 화면 리스트 식별 번호 및 참조 화면 번호에 의해 특정되는 프레임 번호를 가지는 참조 프레임을 참조함으로써 생성되고,
상기 제1 예측 움직임 벡터 후보를 결정하는 단계에서는, 상기 대상 구획용의 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호와 일치하는 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호를 가지는 상기 왼쪽 인접 영역의 구획의 움직임 벡터로부터, 상기 제1 예측 움직임 벡터 후보가 결정되고,
상기 제2 예측 움직임 벡터 후보를 결정하는 단계에서는, 상기 대상 구획용의 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호와 일치하는 참조 화면 리스트 식별 번호 및/또는 참조 화면 번호를 가지는 상기 위쪽 인접 영역의 구획의 움직임 벡터로부터, 상기 제2 예측 움직임 벡터 후보가 결정되는,
움직임 벡터의 예측 복호 장치.