KR100947689B1 - 움직임 벡터 부호화 방법 및 움직임 벡터 복호화 방법 - Google Patents

Abstract

본 발명은, 블록이 다수의 움직임 벡터를 이용하여 부호화되어 있는 경우에, 움직임 벡터의 부호화 효율을 향상시킨다. 움직임 벡터 부호화부(117)에서는, 움직임 벡터 검출부(108)로부터 입력된 움직임 벡터의 부호화를 행한다. 각 블록의 움직임 벡터는, 이미 부호화가 완료된 주변 블록의 움직임 벡터로부터 구한 예측값과의 차분값에 의해 부호화된다. 예측값의 생성시에는, 동일 픽처를 참조하는 움직임 벡터를 참조하거나, 미리 정한 순서로 나열한 움직임 벡터 순서에 따라서 참조하는 움직임 벡터를 결정하거나, 2번째 이후의 움직임 벡터는 그 이전의 움직임 벡터를 참조값으로 하거나, 다른 픽처를 참조하는 움직임 벡터를 참조하는 경우에는, 픽처간 거리의 차이에 따른 스케일링을 행하는 등의 처리를 행한다.

Description

움직임 벡터 부호화 방법 및 움직임 벡터 복호화 방법{MOTION VECTOR CODING METHOD AND MOTION VECTOR DECODING METHOD}

본 발명은, 픽처간 예측 부호화를 이용하여 부호화 및 복호화를 행할 때의 움직임 벡터 정보의 부호화 및 복호화를 행하는 방법에 관한 것이다.

동화상 부호화에서는, 일반적으로 동화상이 갖는 공간 방향 및 시간 방향의 용장성(冗長性)을 이용하여 정보량의 압축을 행한다. 여기서, 시간 방향의 용장성을 이용하는 방법으로서, 픽처간 예측 부호화가 이용된다. 픽처간 예측 부호화에서는, 어느 픽처를 부호화할 때에, 시간적으로 전방 또는 후방에 있는 픽처를 참조 픽처로 한다. 그리고, 그 참조 픽처로부터의 움직임 양을 검출하여, 움직임 보상을 행한 픽처와 부호화 대상의 픽처의 차분값에 대해서 공간 방향의 용장도를 제거함으로써 정보량의 압축을 행한다.

비 특허 문헌 1(MPEG-4 규격서(1999년, ISO/IEC 14496-2 : 1999 Information technology-Coding of audio-visual objects--Part2 : Visual) pp. 146-148, 이하 MPEG-4라고 부름) 등의 종래의 동화상 부호화 방식에서는, 픽처간 예측 부호화를 행하지 않는, 즉 픽처내 부호화를 행하는 픽처를 I 픽처라고 부른다. 또, 시간적 으로 전방에 있는 픽처를 참조하여 픽처간 예측 부호화하는 픽처를 P 픽처라고 부르고, 시간적으로 전방 및 후방에 있는 I 픽처 또는 P 픽처의 양쪽을 참조하여 픽처간 예측 부호화하는 픽처를 B 픽처라고 부른다. 도 15에 상기의 동화상 부호화 방식에서의 각 픽처의 예측 관계를 도시한다. 도 15에서, 세로선은 1장의 픽처를 도시하고 있고, 각 픽처의 오른쪽 아래에 픽처 타입(I, P, B)을 도시하고 있다. 또 도 15 내의 화살표는, 화살표의 종단에 있는 픽처가, 화살표의 시단에 있는 픽처를 참조 픽처로서 이용하여 픽처간 예측 부호화하는 것을 도시하고 있다. 예를 들면, 선두로부터 2장째의 B 픽처는, 선두의 I 픽처와 선두로부터 4장째의 P 픽처를 참조 화상으로서 이용함으로써 부호화한다.

또, 상기의 비 특허 문헌 1에서는, 움직임 벡터의 부호화시에, 주변 블록의 움직임 벡터로부터 구한 예측값과 부호화 대상 블록의 움직임 벡터의 차분값을 부호화한다. 대부분의 경우에는, 근방의 블록의 움직임 벡터는, 공간 좌표 상에서 동일한 방향 및 크기를 갖기 때문에, 주변 블록의 움직임 벡터와의 차분값을 취함으로써, 움직임 벡터의 부호량의 삭감을 도모할 수 있다. MPEG-4에서의 움직임 벡터의 부호화 방법에 대해서, 도 16을 이용하여 설명한다. 도 16에서, 굵은 테두리로 도시한 블록은 16 ×16 화소의 매크로 블록을 도시하고 있고, 그 중에 8 ×8 화소의 블록이 4개 존재한다. 도 16(a)∼도 16(d)에서, 각 블록의 움직임 벡터(MV)는, 3개의 주변 블록의 움직임 벡터(MV1, MV2, MV3)로부터 구한 예측값과의 차분값에 의해 부호화된다. 여기서 예측값은, 3개의 움직임 벡터(MV1, MV2, MV3)의 수평 성분, 수직 성분마다 구한 중앙값(메디안)을 이용한다. 단, 주변 블록이 움직임 벡터를 갖지 않는 경우도 있다. 예를 들면, 인트라 블록으로서 처리되어 있는 경우나, B 픽처에서 다이렉트 모드로서 처리되어 있는 경우이다. 주변 블록에, 이와 같은 블록이 1개 존재하는 경우에는, 그 블록의 움직임 벡터를 0으로 하여 처리를 행한다. 또, 2개 존재하는 경우에는, 나머지 1개의 블록의 움직임 벡터를 예측값으로서 이용한다. 또한, 3개 전부가 움직임 벡터를 갖지 않은 블록인 경우에는, 예측값은 0으로 하여 움직임 벡터 부호화의 처리를 행한다.

한편, 현재 표준 규격화 작업 중인 H.26L 방식에서는, B 픽처에 대해서 새로운 부호화가 제안되어 있다. 종래 B 픽처에서는, 참조 픽처로서 이미 부호화가 완료된 전방 1장과 후방 1장의 픽처를 이용하고 있지만, 새롭게 제안된 B 픽처에서는, 이미 부호화가 완료된 전방 2장의 픽처, 또는 후방 2장의 픽처, 또는 전방 1장과 후방 1장의 픽처를 이용함으로써, 부호화를 행한다.

상기 종래의 움직임 벡터의 부호화 방법에서는, B 픽처에서 주변 블록이 2개의 움직임 벡터를 가질 수 있고, 또한 이것들이 함께 전방 참조 픽처를 참조하고 있거나, 또는 함께 후방 참조 픽처를 참조하고 있는 경우에, 어느쪽의 움직임 벡터를 예측값으로서 이용하면 좋은지를 통일적으로 결정하는 방법, 또 이 때에 효율적으로 부호화하는 방법이 없다.

본 발명은 상기 문제점을 해결하는 것으로, B 픽처에서, 움직임 벡터의 부호화에서의 예측값 결정 방법의 통일성을 갖게 할 수 있고, 또한 예측 능력을 향상시킬 수 있는, 움직임 벡터 부호화 방법 및 움직임 벡터 복호화 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해서, 본 발명의 움직임 벡터 부호화 방법은, 부호화 대상 블록의 움직임 벡터와 그 예측값을 생성하여, 움직임 벡터와 예측값의 차분을 부호화하고, 동화상을 나타내는 부호열에 기술하는 움직임 벡터 부호화 방법으로서, 상기 부호화 대상 블록의 주변에 있는 다수의 부호화 완료된 각 블록 중, 적어도 1 이상의 블록이 표시 시간축 상에서 동일 방향의 참조 픽처를 참조하는 2개의 움직임 벡터를 갖는 경우에, 상기 부호화가 완료된 블록마다 움직임 벡터에 식별자를 부여하는 부여 단계와, 상기 다수의 부호화가 완료된 블록의 움직임 벡터 중, 동일한 식별자를 갖는 움직임 벡터에 기초하여, 상기 부호화 대상 블록의 움직임 벡터의 예측값을 생성하는 생성 단계를 갖는다.

여기서, 상기 부여 단계에서, 또한, 상기 부호화 대상 블록의 움직임 벡터에 식별자를 부여하고, 상기 생성 단계에서, 상기 다수의 부호화가 완료된 블록의 움직임 벡터 중, 상기 부호화 대상 블록에 부여된 식별자와 동일한 식별자를 갖는 움직임 벡터에 기초하여, 상기 부호화 대상 블록의 움직임 벡터의 예측값을 생성하도 록 해도 된다.

또, 상기 부여 단계에서, 상기 부호화가 완료된 블록마다 2개의 움직임 벡터에 대해서, 상기 부호열에서의 기술 순서에 기초하여 식별자를 부여하도록 해도 된다.

여기서, 상기 부여 단계에서, 상기 부호화가 완료된 블록마다 2개의 움직임 벡터에 대해서, 상기 움직임 벡터가 참조하는 참조 픽처의 먼 순서와 가까운 순서 중 어느 하나에 기초하여 식별자를 부여하도록 해도 된다.

여기서, 상기 생성 단계에서, 상기 동일한 식별자를 갖는 움직임 벡터로부터, 부호화 대상 블록의 움직임 벡터와 동일 참조 픽처를 참조하는 움직임 벡터를 선택하고, 선택한 움직임 벡터에 기초하여 예측값을 생성하도록 해도 된다.

여기서, 상기 생성 단계에서, 선택된 움직임 벡터의 중앙값을 예측값으로서 생성하도록 해도 된다.

또, 본 발명의 동화상 부호화 방법, 움직임 벡터 복호화 방법, 동화상 복호화 방법, 움직임 벡터 부호화 장치, 움직임 벡터 복호화 장치, 및 이것들의 프로그램에 대해서도 상기와 동일하게 구성되어 있다.

또, 본 발명의 움직임 벡터 부호화 방법은, 각 블록의 움직임 벡터를 부호화할 때에, 이미 부호화가 완료된 주변 블록의 움직임 벡터를 예측값으로서 이용하고, 그 예측값과 현재 블록의 움직임 벡터의 차분값을 이용하여 움직임 벡터의 부호화를 행한다. 이 예측값의 생성시에는, 동일 방향(전(前) 방향 또는 후(後) 방향)에 다수의 움직임 벡터를 갖는 경우에, 동일 픽처를 참조하는 움직임 벡터를 참 조하여, 미리 정한 순서로 나열한 움직임 벡터 순서에 따라 참조하는 움직임 벡터를 결정하거나, 2번째 이후의 움직임 벡터는 그 이전의 움직임 벡터를 참조값으로 하거나, 다른 픽처를 참조하는 움직임 벡터를 참조하는 경우에는, 픽처간 거리의 차이에 따른 스케일링을 행하는 등의 처리를 행하여, 예측값을 생성한다.

이것에 의해, 움직임 벡터의 부호화에서, 동일 방향(전 방향 또는 후 방향)에 다수의 움직임 벡터를 갖는 경우에도, 통일적으로 움직임 벡터의 부호화를 행하는 방법을 정의할 수 있고, 또한 움직임 벡터의 부호화 효율을 향상시킬 수 있다.

또, 본 발명의 움직임 벡터 복호화 방법은, 각 블록의 움직임 벡터를 복호화 할 때에, 이미 복호화가 완료된 주변 블록의 움직임 벡터를 예측값으로서 이용하고, 그 예측값과 현재 블록의 부호화된 움직임 벡터와 가산함으로써, 움직임 벡터의 복호화를 행한다. 이 예측값의 생성시에는, 동일 방향(전 방향 또는 후 방향)에 다수의 움직임 벡터를 갖는 경우에, 동일 픽처를 참조하는 움직임 벡터를 참조하거나, 미리 정한 순서로 나열한 움직임 벡터 순서에 기초하여 참조하는 움직임 벡터를 결정하거나, 2번째 이후의 움직임 벡터는 그 이전의 움직임 벡터를 참조값으로 하거나, 다른 픽처를 참조하는 움직임 벡터를 참조하는 경우에는, 픽처간 거리의 차이에 따른 스케일링을 행하는 등의 처리를 행하여, 예측값을 생성한다.

이것에 의해, 본 발명의 움직임 벡터 부호화 방법에 의해 부호화가 행해진 움직임 벡터를 정확하게 복호화할 수 있다.

본 발명의 동화상 부호화 방법 혹은 동화상 복호화 방법은 후술되는 어느 하 나의 기기 ·시스템에 이용하는 것이 가능하고, 그렇게 함으로써, 하기의 실시 형태에서 설명한 효과를 얻을 수 있다.

(제1 실시 형태)

본 발명의 제1 실시 형태에 대해서, 도면을 참조하여 설명한다. 도 1은, 프레임 메모리(101), 차분 연산부(102), 예측 오차 부호화부(103), 부호열 생성부(104), 예측 오차 복호화부(105), 가산 연산부(106), 프레임 메모리(107), 움직임 벡터 검출부(108), 모드 선택부(109), 부호화 제어부(110), 스위치(111∼115), 움직임 벡터 기억부(116), 움직임 벡터 부호화부(117)로 구성되는 화상 부호화 장치의 블록도이고, 화상 부호화의 일부로서 움직임 벡터 부호화를 행한다.

입력 화상은 시간순으로 픽처 단위로 프레임 메모리(101)에 입력된다. 프레임 메모리(101)에 입력되는 픽처의 순서를 도 2(a)에 도시한다. 도 2(a)에서, 세로선은 픽처를 나타내고, 각 픽처의 우측 아래에 도시하는 기호는, 1문자째의 알파벳이 픽처 타입(P는 P 픽처, B는 B 픽처)을 나타내며, 2문자째 이후의 숫자가 표시 시간순의 픽처 번호를 나타내고 있다. 프레임 메모리(101)에 입력된 각 픽처는, 부호화 순으로 재배열된다. 부호화 순으로의 재배열은, 픽처간 예측 부호화에서의 참조 관계에 기초하여 행해지고, 참조 픽처로서 이용되는 픽처가, 참조 픽처로서 이용하는 픽처보다도 먼저 부호화되도록 재배열된다. 예를 들면, 픽처(B8, B9)의 각 픽처의 참조 관계는, 도 2(a)에 도시하는 화살표와 같아진다. 도 2(a)에서, 화살표의 시점은 참조되는 픽처를 나타내고, 화살표의 종점은 참조하는 픽처를 나타 내고 있다. 이 경우, 도 2(a)의 픽처를 재배열한 결과는 도 2(b)와 같이 된다.

프레임 메모리(101)에서 재배열이 행해진 각 픽처는, 매크로 블록의 단위로 독출되는 것으로 한다. 여기에서는, 매크로 블록은 수평 16 ×수직 16 화소의 크기인 것으로 한다. 또, 움직임 보상은 블록 단위(여기에서는 8 ×8 화소의 크기로 함)로 행하는 것으로 한다. 이하에서는, 픽처(B8)의 부호화 처리에 대해서 순서대로 설명한다.

픽처(B8)는 B 픽처이고, 전방 참조 픽처로서 픽처(P1, P4, P7), 후방 참조 픽처로서 픽처(P10, P13)를 참조 픽처로 하고, 매크로 블록 단위나 블록 단위로, 5개의 참조 픽처 중, 최대 2개의 참조 픽처를 이용하여 부호화하는 것으로 한다. 이들 참조 픽처는, 이미 부호화가 종료되어 있고, 로컬한 복호화 화상이 프레임 메모리(107)에 축적되어 있다.

B 픽처의 부호화에서는, 부호화 제어부(110)는, 스위치(113)를 온으로 한다. 또, B 픽처가 다른 픽처의 참조 픽처로서 이용되는 경우에는, 스위치(114, 115)가 온이 되도록 각 스위치를 제어한다. 다른 픽처의 참조 픽처로서 이용되지 않는 경우에는, 스위치(114, 115)는 오프가 되도록 각 스위치를 제어한다. 따라서, 프레임 메모리(101)로부터 독출된 픽처(B8)의 매크로 블록은, 먼저 움직임 벡터 검출부(108), 모드 선택부(109), 차분 연산부(102)에 입력된다.

움직임 벡터 검출부(108)에서는, 프레임 메모리(107)에 축적된 픽처(P1, P4, P7)의 복호화 화상 데이터를 전방 참조 픽처로서 이용하고, 픽처(P10, P13)의 복호화 화상 데이터를 후방 참조 픽처로서 이용함으로써, 매크로 블록에 포함되는 각 블록의 전방 움직임 벡터와 후방 움직임 벡터의 검출을 행한다.

모드 선택부(109)에서는, 움직임 벡터 검출부(108)에서 검출한 움직임 벡터를 이용하여, 매크로 블록의 부호화 모드를 결정한다. 여기서, B 픽처에서의 각 블록의 부호화 모드는, 예를 들면, 픽처내 부호화, 전방 1장 참조에 의한 픽처간 예측 부호화, 전방 2장 참조에 의한 픽처간 예측 부호화, 후방 1장 참조에 의한 픽처간 예측 부호화, 후방 2장 참조에 의한 픽처간 예측 부호화, 쌍방향 움직임 벡터를 이용한 픽처간 예측 부호화 중에서 선택할 수 있는 것으로 한다. 여기서, 전방 2장 참조에 의한 픽처간 예측 부호화, 후방 2장 참조에 의한 픽처간 예측 부호화, 쌍방향 움직임 벡터(전방, 후방 1장씩의 참조)를 이용한 픽처간 예측 부호화의 경우에는, 얻어진 2개의 참조 화상을 평균하여 얻어지는 화상을 움직임 보상 화상으로서 이용한다. 그 일례를 도 5를 이용하여 설명한다. 현재, 픽처(B8)에 있는 블록(X)을 전방 참조 픽처인 픽처(P7)의 블록(Y)과, 픽처(P4)의 블록(Z)을 이용하여 움직임 보상하는 경우, 블록(Y)과 블록(Z)의 평균값 화상을 블록(X)의 움직임 보상 화상으로 한다.

모드 선택부(109)에서 결정된 부호화 모드는 부호열 생성부(104)에 대해서 출력된다. 또, 모드 선택부(104)에서 결정된 부호화 모드에 기초한 참조 화상이 차분 연산부(102)와 가산 연산부(106)에 출력된다. 단, 픽처내 부호화가 선택된 경우에는, 참조 화상은 출력되지 않는다. 또, 모드 선택부(109)에서 픽처내 부호화가 선택된 경우에는, 스위치(111)는 a에, 스위치(112)는 c에 접속하도록 제어하고, 픽처간 예측 부호화가 선택된 경우에는, 스위치(111)는 b에, 스위치(112)는 d 에 접속하도록 제어한다. 이하에서는, 모드 선택부(109)에서 픽처간 예측 부호화가 선택된 경우에 대해서 설명한다.

차분 연산부(102)에는, 모드 선택부(109)로부터 참조 화상이 입력된다. 차분 연산부(102)에서는, 픽처(B8)의 매크로 블록과 참조 화상의 차분을 연산하며, 예측 오차 화상을 생성하여 출력한다.

예측 오차 화상은 예측 오차 부호화부(103)에 입력된다. 예측 오차 부호화부(103)에서는, 입력된 예측 오차 화상에 대해서 주파수 변환이나 양자화 등의 부호화 처리를 행함으로써, 부호화 데이터를 생성하여 출력한다. 예측 오차 부호화부(103)로부터 출력된 부호화 데이터는 부호열 생성부(104)에 입력된다.

또, 모드 선택부(109)에서 선택한 부호화 모드로 이용하는 움직임 벡터가 움직임 벡터 기억부(116)와 움직임 벡터 부호화부(117)에 출력된다.

움직임 벡터 기억부(116)에서는, 모드 선택부(109)로부터 입력된 움직임 벡터를 기억한다. 즉, 움직임 벡터 기억부(116)에서는, 이미 부호화가 완료된 블록에서 이용한 움직임 벡터를 기억한다.

움직임 벡터 부호화부(117)에서는, 모드 선택부(109)로부터 입력된 움직임 벡터의 부호화를 행한다. 이 동작을 도 3을 이용하여 설명한다. 도 3에서, 굵은 테두리로 도시한 블록은 16 ×16 화소의 매크로 블록을 나타내고 있고, 그 중에 8 ×8 화소의 블록이 4개 존재한다. 도 3(a)∼도 3(d)에서, 블록(A)이 부호화 중의 블록을 나타내고 있고, 블록(A)의 움직임 벡터는, 이미 부호화가 완료된 3개의 주변 블록(B, C, D)의 움직임 벡터로부터 구한 예측값과의 차분값에 의해 부호화된 다. 주변 블록의 움직임 벡터는, 움직임 벡터 기억부(116)로부터 얻는다.

예측값을 구하는 방법을 도 4를 이용하여 설명한다. 도 4에서는, 블록(A∼D)이 갖는 움직임 벡터를 도시하고 있다. 제1 움직임 벡터를 MV1, 제2 움직임 벡터를 MV2로서 나타내고 있다. 여기서, 움직임 벡터가「전방」인 경우는, 전방 참조 움직임 벡터인 것을 나타낸다. 또, 그 때의 괄호 내의 기호 및 숫자는, 참조 픽처를 나타내고 있다.

제1 예측값을 구하는 방법에서는, 참조 픽처가 동일한 것만을 선택하여, 예측값을 생성한다. 도 4(a)의 경우, 블록(A)의 MV1에 대한 예측값은 블록(B, C, D)의 MV1의 중앙값이 되고, 블록(A)의 MV2에 대한 예측값은 블록(B, C, D)의 MV2의 중앙값이 된다. 또, 도 4(b)의 경우, 블록(A)의 MV1에 대한 예측값은 블록(B, C, D)의 MV1의 중앙값이 되고, 블록(A)의 MV2에 대한 예측값은 블록(C)의 MV2의 값 그 자체가 된다. 또, 도 4(c)의 경우, 블록(A)의 MV1에 대한 예측값은, 블록(B)의 MV1, MV2, 블록(C)의 MV1, 블록(D)의 MV1, MV2의 중앙값이 되고, 블록(A)의 MV2에 대한 예측값은 C의 MV2의 값 그 자체가 된다. 이 경우, 블록(A)의 MV1에 대한 예측값은, 블록(B)의 MV1, MV2의 평균값, 블록(C)의 MV1, 블록(D)의 MV1, MV2의 평균값의 3개의 값의 중앙값으로 해도 된다. 이 때, 블록(B)의 MV1, MV2의 평균값을 구하는 경우에는, 평균값을 움직임 벡터의 정밀도(예를 들면 1/2 화소 정밀도, 1/4 화소 정밀도, 1/8 화소 정밀도 등)로 사사 오입한다. 이 움직임 벡터의 정밀도는, 블록 단위, 픽처 단위, 시퀀스 단위로 결정되어 있는 것으로 한다. 이상의 경우에서, 주변 블록 중에 동일 참조 픽처를 참조하고 있는 움직임 벡터가 존재하지 않는 경우에는, 예측값은 0으로 하면 된다. 여기서 중앙값은, 수평 성분, 수직 성분마다 구하는 것으로 한다.

제2 예측값을 구하는 방법에서는, 참조 픽처에 관계없이, MV1, MV2로 독립하여 예측값을 작성한다. 이 경우, 각 블록에서의 MV1, MV2의 나열 방법은, 소정의 방법에 의해 결정해 두면 좋다. 예를 들면, 참조 픽처의 가까운 것부터 순서대로 나열하거나, 참조 픽처의 먼 것부터 순서대로 나열하거나, 전방, 후방의 순으로 나열하거나, 부호화 순(부호열에의 기술 순)으로 나열하는 등의 나열 방법이 있다. 예를 들면, 참조 픽처를 가까운 것 또는 먼 것부터 순서대로 나열함으로써, 부호화 대상 블록의 움직임 벡터가 참조하는 참조 픽처와, 예측값으로서 선택한 움직임 벡터의 참조 픽처가, 시간적으로 가까운 참조 픽처가 될 확률이 높아져, 움직임 벡터의 부호화 효율의 향상을 도모할 수 있다. 또, 전방, 후방의 순서대로 나열함으로써, 부호화 대상 블록의 전방 움직임 벡터는, 주변 블록의 전방 움직임 벡터로부터 생성한 예측값을 이용하여 부호화하고, 부호화 대상 블록의 후방 움직임 벡터는, 주변 블록의 후방 움직임 벡터로부터 생성한 예측값을 이용하여 부호화할 확률이 높아지기 때문에, 움직임 벡터의 부호화 효율의 향상을 도모할 수 있다. 또, 부호화 순으로 나열함으로써, 예측값 생성시의 주변 블록의 관리 방법을 간이화할 수 있다. 도 4(a)의 경우, 블록(A)의 MV1에 대한 예측값은 예측 블록(B, C, D)의 MV1의 중앙값이 되고, 블록(A)의 MV2에 대한 예측값은 블록(B, C, D)의 MV2의 중앙값이 된다. 또, 도 4(b), 도 4(c)의 경우도, 블록(A)의 MV1에 대한 예측값은 블록(B, C, D)의 MV1의 중앙값이 되고, 블록(A)의 MV2에 대한 예측값은 블록(B, C, D)의 MV2의 중앙값이 된다. 또한 이 때에, 블록(A)의 움직임 벡터가 참조하는 픽처와, 블록(A)의 예측값으로서 이용하는 블록(B, C, D)의 움직임 벡터가 참조하는 픽처가 다른 경우에는, 블록(B, C, D)의 움직임 벡터에 대해서 스케일링을 실시해도 된다. 이 스케일링은, 픽처간의 시간적 거리로 정해지는 값에 의해서 행해도 되고, 미리 정해진 값에 의해서 행해도 된다.

제3 예측값을 구하는 방법에서는, MV1에서는 주변 블록으로부터 예측값을 생성하여, 값으로서 이용한다. MV2의 예측값으로서 MV1를 이용하는 경우, MV1의 값을 그대로 예측값으로서 이용해도 되고, MV1를 스케일링한 것을 예측값으로서 이용해도 된다. 스케일링하여 이용하는 경우에는, 픽처(B8)에서 MV1의 참조 픽처까지의 시간적 거리와, 픽처(B8)에서 MV2의 참조 픽처까지의 시간적 거리를 일치시키는 방법을 생각할 수 있다. 그 예를 도 6을 이용하여 설명한다. 도 6에서, 픽처(B8)의 블록(A)이 움직임 벡터(MV1, MV2)를 갖고 있는 것으로 하고, 각각의 참조 픽처는 각각 픽처(P7, P4)인 것으로 한다. 이 경우, 움직임 벡터(MV2)는, MV1을 픽처(P4)까지 스케일링하여 얻어지는 MV1'(이 경우에는, MV1의 수평 성분, 수직 성분을 각각 4배한 것이 됨)을 MV2의 예측값으로 한다. 또 다른 스케일링의 방법으로서, 미리 정해진 값을 이용하여 스케일링을 행해도 된다. 또, 각 블록에서의 MV1, MV2의 나열 방법은, 소정의 방법에 의해 결정해 두면 된다. 예를 들면, 참조 픽처가 가까운 것부터 순서대로 나열하거나, 참조 픽처의 먼 것부터 순서대로 나열하거나, 전방, 후방의 순으로 나열하거나, 부호화 순으로 나열하는 등의 나열 방법이 있다.

이상의 예에서는, 블록(B∼D)이 전부 움직임 벡터를 갖는 경우에 대해서 설명하였지만, 이들 블록이 인트라 블록이나 다이렉트 모드로서 처리되어 있는 경우에는, 예외적인 처리를 행해도 된다. 예를 들면, 블록(B∼D) 중에 그와 같은 블록이 1개 존재하는 경우에는, 그 블록의 움직임 벡터를 0으로서 처리를 행한다. 또, 2개 존재하는 경우에는, 나머지 블록의 움직임 벡터를 예측값으로서 이용한다. 또한, 3개 전부가 움직임 벡터를 갖지 않은 블록인 경우에는, 예측값은 0으로서 움직임 벡터 부호화의 처리를 행하는 방법이 있다.

부호열 생성부(104)에서는, 입력된 부호화 데이터에 대해서, 가변 길이 부호화 등을 실시하고, 또한 움직임 벡터 부호화부(117)로부터 입력된 움직임 벡터, 모드 선택부(109)로부터 입력된 부호화 모드, 헤더 정보 등의 정보를 부가함으로써 부호열을 생성하여 출력한다.

동일한 처리에 의해, 픽처(B8)의 나머지의 매크로 블록에 대해서, 부호화 처리가 행해진다.

이상과 같이, 본 발명의 움직임 벡터 부호화 방법은, 각 블록의 움직임 벡터를 부호화할 때에, 이미 부호화가 완료된 주변 블록의 움직임 벡터를 예측값으로서 이용하고, 그 예측값과 현재 블록의 움직임 벡터의 차분값을 이용하여 움직임 벡터의 부호화를 행한다. 이 예측값의 생성시에는, 동일 방향(전 방향 또는 후 방향)으로 다수의 움직임 벡터를 갖는 경우에, 동일 픽처를 참조하는 움직임 벡터를 참조하거나, 미리 정한 순서로 나열한 움직임 벡터 순서에 따라서 참조하는 움직임 벡터를 결정하거나, 2번째 이후의 움직임 벡터는 그 이전의 움직임 벡터를 참조값 으로 하거나, 다른 픽처를 참조하는 움직임 벡터를 참조하는 경우에는, 픽처간 거리에 따른 스케일링을 행하는 등의 처리를 행하여, 예측값을 생성한다.

또한 구체적으로, 본 발명의 움직임 벡터 부호화 방법은, 부호화 대상 블록의 움직임 벡터와 그 예측값을 생성하여, 움직임 벡터와 예측값의 차분을 부호화하는 움직임 벡터 부호화 방법으로서, 상기 부호화 대상 블록의 주변에 있는 다수의 부호화가 완료된 각 블록 중, 적어도 1 이상의 블록이 표시 시간축 상에서 동일 방향의 참조 픽처를 참조하는 2개의 움직임 벡터를 갖는 경우에, 상기 부호화가 완료된 블록마다 움직임 벡터에 식별자를 부여하는 부여 단계와, 상기 다수의 부호화가 완료된 블록의 움직임 벡터 중, 동일한 식별자를 갖는 움직임 벡터에 기초하여, 상기 부호화 대상 블록의 움직임 벡터의 예측값을 생성하는 생성 단계를 갖는다. 여기서, 상기의 부여 단계, 생성 단계는 다음 (a) 또는 (b)로 할 수 있다.

(a) 상기 부여 단계에서, 또한, 상기 부호화 대상 블록의 움직임 벡터에 식별자를 부여하고, 상기 생성 단계에서, 상기 다수의 부호화가 완료된 블록의 움직임 벡터 중, 상기 부호화 대상 블록에 부여된 식별자와 동일한 식별자를 갖는 움직임 벡터에 기초하여, 상기 부호화 대상 블록의 움직임 벡터의 예측값을 생성한다.

(b) 상기 부여 단계에서, 또한, 상기 부호화 대상 블록의 움직임 벡터에 식별자를 부여하고, 상기 생성 단계는, 상기 다수의 부호화가 완료된 블록의 움직임 벡터 중, 상기 부호화 대상 블록에 부여된 식별자와 동일한 식별자를 갖는 움직임 벡터에 기초하여 식별자마다 예측값 후보를 생성하는 생성 서브 단계와, 상기 부호화 대상 블록의 움직임 벡터의 식별자마다 상기 예측값 후보를 대응시키는 대응 부 여 서브 단계를 갖는다.

이것에 의해, 움직임 벡터의 부호화에서, 동일 방향(전 방향 또는 후 방향)으로 다수의 움직임 벡터를 갖는 경우에도, 통일적으로 움직임 벡터의 부호화를 행하는 방법을 정의할 수 있고, 또한 움직임 벡터의 부호화 효율을 향상시킬 수 있다.

또한, 본 실시 형태에는, 매크로 블록은 수평 16 ×수직 16 화소의 단위로, 움직임 보상은 8 ×8 화소의 블록 단위로, 블록 예측 오차 화상의 부호화는 수평 8 ×수직 8 화소의 단위로 처리하는 경우에 대해서 설명하였지만, 이들 단위는 다른 화소 수이어도 된다.

또, 본 실시 형태에서는, 3개의 부호화가 완료된 주변 블록의 움직임 벡터를 이용하여, 그 중앙값을 예측값으로서 이용하는 경우에 대해서 설명하였지만, 이 주변 블록 수, 예측값의 결정 방법은, 다른 값이나 다른 방법이어도 된다. 예를 들면, 좌측 옆 블록의 움직임 벡터를 예측값으로서 이용하는 방법 등이 있다.

또, 본 실시 형태에서는, 도 3을 이용하여, 움직임 벡터의 부호화에서의 예측 블록의 위치를 설명하였지만, 이것은 다른 위치이어도 된다.

예를 들면, 본 실시 형태에서는 블록의 크기가 8 ×8 화소인 것으로 하였지만, 이 이외 크기의 블록도 혼재하는 경우에는, 부호화 대상 블록(A)에 대해서, 이하의 블록을 부호화가 완료된 주변 블록(B, C, D)으로서 이용해도 된다. 이 경우, 블록(B)은 블록(A)에서의 좌측 상단의 화소의 왼쪽에 인접하는 화소를 포함하는 블록으로 하고, 블록(C)은 블록(A)에서의 좌측 상단의 화소의 위에 인접하는 화소를 포함하는 블록으로 하며, 블록(D)은 블록(A)에서의 우측 상단의 화소의 경사진 오른쪽 위에 인접하는 화소를 포함하는 블록으로 결정하면 된다.

또, 본 실시 형태에서는, 부호화 대상 블록의 움직임 벡터와, 주변 블록의 움직임 벡터로부터 얻어진 예측값과의 차분을 취함으로써 움직임 벡터의 부호화를 행하는 경우에 대해서 설명하였지만, 이것은 차분 이외의 방법에 의해 움직임 벡터의 부호화를 행해도 된다.

또, 본 실시 형태에서는, 움직임 벡터 부호화의 예측값의 생성 방법으로서, 제1∼제3 예측값의 생성 방법에 대해서 설명하였지만, 이들 방법을 혼합하여 이용해도 된다.

그 일례를 도 7에 도시한다. 이 도면은, 제1 예측값의 생성 방법과 제2 예측값의 생성 방법을 혼합한 예이고, 도 3(a)∼도 3(d)에 도시한 블록(A)을 부호화 대상 블록으로 하고, 주변의 블록(B∼D)의 각 블록의 2개의 움직임 벡터가 함께 동일 방향(전 방향 또는 후 방향)의 참조 블록을 가리키고 있는 경우의 예측값을 생성하는 처리를 도시하는 플로 차트이다. 이 도면에서 단계 S115∼단계 S118는 이미 설명한 제1 예측값의 생성 방법이다. 또 단계 S111∼단계 S114는 이미 설명한 제2 예측값의 생성 방법에서의 주변의 각 블록의 나열 방법을 결정하는 부분이다.

S112에서의 소정의 순서는, 참조 픽처의 가까운 순서나, 먼 순서나, 부호화의 순서 등으로 된다. 여기서 부호화의 순서는, 도 8에 도시하는 바와 같이 부호열에서의 기술 순서이다. 이 도면에서는 부호열 중, 1장의 픽처에 상당하는 픽처 데이터를 나타내고 있다. 픽처 데이터는 헤더에 계속해서 각 블록의 부호화 데이 터를 포함한다. 움직임 벡터는 블록의 부호화 데이터 내에 기술된다. 이 도면의 예에서는, 블록(B, C)의 움직임 벡터에 대해서, 부호화가 빠른 순으로 하고 있다.

S113에서는, 소정 순서로 나열한 움직임 벡터에 대해서, 동일 순위의 것을 MV1, MV2로 분류하고 있다. 이와 같이 주변 블록의 움직임 벡터를 분류함으로써, 처리를 간이하게 하고 있다. 결국, 분류하지 않으면 최대 6개(2개의 움직임 벡터×3개의 주변 블록)의 움직임 벡터의 중앙값을 구하게 된다.

보다 구체적으로는, 루프 1의 처리에서, 먼저, 주변 블록(B)의 2개의 움직임 벡터가 상기의 소정 순서로 나열되고(S112), 이 순서로 식별자(예를 들면 0, 1이나, 1, 2나, MV1, MV2 등으로 됨)가 부여된다(S113). 동일하게 하여 주변 블록(C, D)에 대해서도, 각각의 움직임 벡터에 식별자(예를 들면 0, 1이나, 1, 2나, MV1, MV2 등으로 됨)가 부여된다. 이 때, 부호화 대상의 블록(A)의 2개의 움직임 벡터에 대해서도, 동일하게 식별자가 부여된다.

또한, 루프 2의 처리에서, 먼저, 주변 블록(B∼D)의 움직임 벡터 중, 동일한 식별자(예를 들면 0 또는 1)를 갖는 움직임 벡터가 선택되고(S116), 선택된 움직임 벡터의 중앙값을, 부호화 대상 블록(A)의 움직임 벡터의 예측값으로 한다(S117). 동일하게 하여, 또 1개의 움직임 벡터의 예측값도 구해진다.

또한, 루프 2에서, 블록(A)의 움직임 벡터의 식별자와는 관계없이, 2개의 상기 중앙값을 예측값의 후보로서 산출해 두고, 블록(A)의 움직임 벡터의 식별자마다, 후보 중 어느 하나를 선택(혹은 대응시킴)하도록 해도 된다. 또, 루프 1에서의 식별자의 부여는, 블록(A)의 예측값의 생성시가 아니어도 되고, 주변 블록(B, C, D)의 움직임 벡터 검출시에 행해도 된다. 또, 부여된 식별자는, 움직임 벡터와 함께 움직임 벡터 기억부(116)에 기억된다.

또, 제2 예측값의 생성 방법과, 제3 예측값의 생성 방법을 혼합하는 경우에는, 도 7의 S115∼S118 대신에 제3 예측값의 생성 방법을 실행하도록 하면 된다.

또, 본 실시 형태에서는, 움직임 벡터 부호화의 예측값의 생성 방법도 역시, 전방 참조 움직임 벡터만을 갖는 경우를 예로서 들었지만, 후방 참조 픽처가 포함되어 있어도 동일하게 생각하면 된다.

또, 본 실시 형태에서는, 움직임 벡터 부호화의 예측값을 생성하는 경우에, 주변 블록이 전부 2개의 움직임 벡터를 갖고 있는 경우에 대해서 설명하였지만, 주변 블록이 1개밖에 움직임 벡터를 갖고 있지 않은 경우에는, 그 움직임 벡터를 제1 또는 제2 움직임 벡터로서 취급하면 된다.

또, 본 실시 형태에서는, 최대 참조 픽처 수가 2인 경우에 대해서 설명하였지만, 이것은 3 이상의 값이어도 된다.

또, 본 실시 형태에서의 움직임 벡터 기억부(116)에서의 움직임 벡터의 기억 관리 방법으로서는, 1. 주변 블록의 움직임 벡터와 그 순서(제1 움직임 벡터인지, 제2 움직임 벡터인지를 나타내는 식별자)를 보존함으로써, 주변 블록의 움직임 벡터를 움직임 벡터 기억부(116)로부터 취득할 때에, 식별자를 이용하여 제1 또는 제2 움직임 벡터를 취득하는 방법, 2. 주변 블록의 제1 움직임 벡터와 제2 움직임 벡터를 기억하는 위치를 미리 결정해 두고, 주변 블록의 움직임 벡터를 움직임 벡터 기억부(116)로부터 취득할 때에, 그 메모리 위치에 액세스함으로써, 제1 또는 제2 움직임 벡터를 취득하는 방법 등의 관리 방법이 있다.

(제2 실시 형태)

본 발명의 제2 실시 형태에 대해서, 도 9를 이용하여 설명한다. 도 9는, 부호열 해석부(701), 예측 오차 복호화부(702), 모드 복호부(703), 움직임 보상 복호부(705), 움직임 벡터 기억부(706), 프레임 메모리(707), 가산 연산부(708), 스위치(709, 710), 움직임 벡터 복호화부(711)로 구성되는 화상 복호화 장치의 블록도이고, 화상 복호화의 일부로서 움직임 벡터 복호화를 행한다.

입력되는 부호열 중의 픽처의 순서는, 도 2(b)와 같이 한다. 이하에서는, 픽처(B8)의 복호화 처리에 대해서 순서대로 설명한다.

픽처(B8)의 부호열은 부호열 해석부(701)에 입력된다. 부호열 해석부(701)에서는, 입력된 부호열로부터 각종 데이터의 추출을 행한다. 여기서 각종 데이터란, 모드 선택의 정보나 움직임 벡터 정보 등이다. 추출된 모드 선택의 정보는, 모드 복호부(703)에 대해서 출력된다. 또, 추출된 움직임 벡터 정보는, 움직임 벡터 복호화부(711)에 대해서 출력된다. 또한, 예측 오차 부호화 데이터는 예측 오차 복호화부(702)에 대해서 출력된다.

모드 복호부(703)에서는, 부호열로부터 추출된 모드 선택의 정보를 참조하여, 스위치(709와 710)의 제어를 행한다. 모드 선택이 픽처내 부호화인 경우에는, 스위치(709)는 a에, 스위치(710)는 c에 접속하도록 제어한다. 또, 모드 선택이 픽처간 예측 부호화인 경우에는, 스위치(709)는 b에, 스위치(710)는 d에 접속하도록 제어한다.

또 모드 복호부(703)에서는, 모드 선택의 정보를 움직임 보상 복호부(705), 움직임 벡터 복호화부(711)에 대해서도 출력한다. 이하에서는, 모드 선택이 픽처간 예측 부호화인 경우에 대해서 설명한다.

예측 오차 복호화부(702)에서는, 입력된 예측 오차 부호화 데이터의 복호화를 행하여, 예측 오차 화상을 생성한다. 생성된 예측 오차 화상은 스위치(709)에 대해서 출력된다. 여기에서는, 스위치(709)는 b에 접속되어 있기 때문에, 예측 오차 화상은 가산 연산부(708)에 대해서 출력된다.

움직임 벡터 복호화부(711)는, 부호열 해석부(701)로부터 입력된, 부호화된 움직임 벡터에 대해서, 복호화 처리를 행한다. 움직임 벡터의 복호화는, 복호화가 완료된 주변 블록의 움직임 벡터를 이용하여 행한다. 이 동작에 대해서, 도 3을 이용하여 설명한다. 복호화 중의 블록(A)의 움직임 벡터(MV)는, 이미 복호화가 완료된 3개의 주변 블록(B, C, D)의 움직임 벡터로부터 구한 예측값과, 부호화된 움직임 벡터의 가산값으로서 구한다. 주변 블록의 움직임 벡터는, 움직임 벡터 기억부(706)로부터 얻는다.

예측값을 구하는 방법을 도 4를 이용하여 설명한다. 도 4에서는, 블록(A∼D)이 갖는 움직임 벡터를 도시하고 있다. 제1 움직임 벡터를 MV1, 제2 움직임 벡터를 MV2로서 나타내고 있다. 여기서, 움직임 벡터가「전방」인 경우는, 전방 참조 움직임 벡터인 것을 나타낸다. 또, 그 때의 괄호 안의 기호 및 숫자는 참조 픽처를 나타내고 있다.

제1 예측값을 구하는 방법에서는, 참조 픽처가 동일한 것만을 선택하여, 예 측값을 생성한다. 도 4(a)의 경우, 블록(A)의 MV1에 대한 예측값은 블록(B, C, D)의 MV1의 중앙값이 되고, 블록(A)의 MV2에 대한 예측값은 블록(B, C, D)의 MV2의 중앙값이 된다. 또, 도 4(b)의 경우, 블록(A)의 MV1에 대한 예측값은 블록(B, C, D)의 MV1의 중앙값이 되고, 블록(A)의 MV2에 대한 예측값은 블록(C)의 MV2의 값 그 자체가 된다. 또, 도 4(c)의 경우, 블록(A)의 MV1에 대한 예측값은, 블록(B)의 MV1, MV2, 블록(C)의 MV1, 블록(D)의 MV1, MV2의 중앙값이 되고, 블록(A)의 MV2에 대한 예측값은 C의 MV2의 값 그 자체가 된다. 이 경우, 블록(A)의 MV1에 대한 예측값은, 블록(B)의 MV1, MV2의 평균값, 블록(C)의 MV1, 블록(D)의 MV1, MV2의 평균값의 3개의 값의 중앙값으로 해도 된다. 이 때, 블록(B)의 MV1, MV2의 평균값을 구하는 경우에는, 평균값을 움직임 벡터의 정밀도(예를 들면 1/2 화소 정밀도, 1/4 화소 정밀도, 1/8 화소 정밀도 등)에 사사 오입한다. 이 움직임 벡터의 정밀도는, 블록 단위, 픽처 단위, 시퀀스 단위로 결정되어 있는 것으로 한다. 이상의 경우에 있어서, 주변 블록 중에 동일 참조 픽처를 참조하고 있는 움직임 벡터가 존재하지 않는 경우에는, 예측값은 0으로 하면 된다. 여기서 중앙값은, 수평 성분, 수직 성분마다 구하는 것으로 한다.

제2 예측값을 구하는 방법에서는, 참조 픽처에 관계없이, MV1, MV2로 독립하여 예측값을 작성한다. 이 경우, 각 블록에서의 MV1, MV2의 나열 방법은, 소정의 방법에 의해 결정해 두면 된다. 예를 들면, 참조 픽처가 가까운 것부터 순서대로 나열하거나, 참조 픽처의 먼 것부터 순서대로 나열하거나, 전방, 후방의 순으로 나열하거나, 복호화순(부호열에서의 기술순)으로 나열하는 등의 나열 방법이 있다. 도 4(a)의 경우, 블록(A)의 MV1에 대한 예측값은 예측 블록(B, C, D)의 MV1의 중앙값이 되고, 블록(A)의 MV2에 대한 예측값은 블록(B, C, D)의 MV2의 중앙값이 된다. 또, 도 4(b), 도 4(c)의 경우도, 블록(A)의 MV1에 대한 예측값은 블록(B, C, D)의 MV1의 중앙값이 되고, 블록(A)의 MV2에 대한 예측값은 블록(B, C, D)의 MV2의 중앙값이 된다. 또한 이 때에, 블록(A)의 움직임 벡터가 참조하는 픽처와, 블록(A)의 예측값으로서 이용하는 블록(B, C, D)의 움직임 벡터가 참조하는 픽처가 다른 경우에는, 블록(B, C, D)의 움직임 벡터에 대해서 스케일링을 실시해도 된다. 이 스케일링은, 픽처간의 시간적 거리로 정해지는 값에 의해서 행해도 되고, 미리 정해진 값에 의해서 행해도 된다.

제3 예측값을 구하는 방법에서는, MV1에서는 주변 블록으로부터 예측값을 생성하여 값으로서 이용한다. MV2의 예측값으로서 MV1를 이용하는 경우, MV1의 값을 그대로 예측값으로서 이용해도 되고, MV1를 스케일링한 것을 예측값으로 해도 좋다. 스케일링하여 이용하는 경우에는, 픽처(B8)에서 MV1의 참조 픽처까지의 시간적 거리와, 픽처(B8)에서 MV2의 참조 픽처까지의 시간적 거리를 일치시키는 방법을 생각할 수 있다. 그 예를 도 6을 이용하여 설명한다. 도 6에서, 픽처(B8)의 블록(A)이 움직임 벡터(MV1, MV2)를 갖고 있는 것으로 하고, 각각의 참조 픽처는 각각 픽처(P7, P4)인 것으로 한다. 이 경우, 움직임 벡터(MV2)는, MV1을 픽처(P4)까지 스케일링하여 얻어지는 MV1'(이 경우에는, MV1의 수평 성분, 수직 성분을 각각 4배한 것이 됨)을 MV2의 예측값으로 한다. 또 다른 스케일링의 방법으로서, 미리 정해진 값을 이용하여 스케일링을 행해도 된다. 또, 각 블록에서의 MV1, MV2의 나 열 방법은, 소정의 방법에 의해 결정해 두면 된다. 예를 들면, 참조 픽처가 가까운 것부터 순서대로 나열하거나, 참조 픽처의 먼 것부터 순서대로 나열하거나, 전방, 후방의 순으로 나열하거나, 복호화순으로 나열하는 등의 나열 방법이 있다.

이상의 예에서는, 블록(B∼D)이 전부 움직임 벡터를 갖는 경우에 대해서 설명하였지만, 이들 블록이 인트라 블록이나 다이렉트 모드로서 처리되어 있는 경우에는, 예외적인 처리를 행해도 된다. 예를 들면, 블록(B∼D) 중에 그와 같은 블록이 1개 존재하는 경우에는, 그 블록의 움직임 벡터를 0으로 하여 처리를 행한다. 또, 2개 존재하는 경우에는, 나머지 블록의 움직임 벡터를 예측값으로서 이용한다. 또한, 3개 전부가 움직임 벡터를 갖지 않은 블록인 경우에는, 예측값은 0으로 하여 움직임 벡터 복호화의 처리를 행하는 방법이 있다.

그리고, 복호화된 움직임 벡터는 움직임 보상 복호부(705)와 움직임 벡터 기억부(706)에 출력된다.

움직임 보상 복호부(705)에서는, 입력된 움직임 벡터에 기초하여, 프레임 메모리(707)로부터 움직임 보상 화상을 취득한다. 이렇게 하여 생성된 움직임 보상 화상은 가산 연산부(708)에 대해서 출력된다.

움직임 벡터 기억부(706)에서는, 입력된 움직임 벡터를 기억한다. 즉, 움직임 벡터 기억부(706)에서는, 복호화가 완료된 블록의 움직임 벡터를 기억한다.

가산 연산부(708)에서는, 입력된 예측 오차 화상과 움직임 보상 화상을 가산하여, 복호화 화상을 생성한다. 생성된 복호화 화상은 스위치(710)를 통해서 프레임 메모리(707)에 대해서 출력된다.

이상과 같이 하여, 픽처(B8)의 매크로 블록이 순서대로 복호화된다.

이상과 같이, 본 발명의 움직임 벡터 복호화 방법은, 각 블록의 움직임 벡터를 복호화할 때에, 이미 복호화가 완료된 주변 블록의 움직임 벡터를 예측값으로서 이용하고, 그 예측값과 현재 블록의 부호화된 움직임 벡터를 가산함으로써, 움직임 벡터의 복호화를 행한다. 이 예측값의 생성시에는, 동일 방향(전 방향 또는 후 방향)으로 다수의 움직임 벡터를 갖는 경우에, 동일 픽처를 참조하는 움직임 벡터를 참조하거나, 미리 정한 순서로 나열한 움직임 벡터 순서에 따라서 참조하는 움직임 벡터를 결정하거나, 2번째 이후의 움직임 벡터는 그 이전의 움직임 벡터를 참조값으로 하거나, 다른 픽처를 참조하는 움직임 벡터를 참조하는 경우에는, 픽처간 거리의 차이에 따른 스케일링을 행하는 등의 처리를 행하여, 예측값을 생성한다.

또한 구체적으로, 본 발명의 움직임 벡터 복호화 방법은, 복호화 대상 블록의 예측값을 생성하고, 예측값을 이용하여 부호화된 움직임 벡터를 복호화하는 움직임 벡터 복호화 방법으로서, 상기 복호화 대상 블록의 주변에 있는 다수의 복호화가 완료된 각 블록 중, 적어도 1 이상이 표시 시간축 상에서 동일 방향의 참조 픽처를 참조하는 움직임 벡터를 갖는 경우에, 상기 복호화가 완료된 블록마다 움직임 벡터에 식별자를 부여하는 부여 단계와, 상기 다수의 복호화가 완료된 블록의 움직임 벡터 중, 동일한 식별자를 갖는 움직임 벡터에 기초하여, 상기 복호화 대상 블록의 움직임 벡터의 예측값을 생성하는 생성 단계를 갖고 있다. 여기서 상기 생성 단계는 다음 (a) 또는 (b)로 할 수 있다.

(a) 상기 생성 단계에서 생성되는 예측값은, 상기 복호화 대상 블록의 움직 임 벡터와 동일한 식별자를 갖는 상기 다수의 복호화가 완료된 블록의 움직임 벡터에 기초하여 생성된다.

(b) 상기 생성 단계에서 생성되는 예측값은, 상기 복호화가 완료된 블록의 움직임 벡터 중, 동일하게 식별된 움직임 벡터마다 생성된 예측값 후보와, 상기 복호화 대상 블록의 움직임 벡터를 대응시켜서 생성된다.

상기 복호화가 완료된 블록이 갖는 움직임 벡터의 식별은, 상기 움직임 벡터가 참조하는 참조 픽처의 먼 순서와 가까운 순서 중 어느 하나에 기초하여 식별한다.

이것에 의해, 제1 실시 형태와 같은 방법으로 부호화가 행해진 움직임 벡터를 정확하게 복호화 할 수 있다.

또한, 본 실시 형태에서는, 3개의 복호화가 완료된 주변 블록의 움직임 벡터를 이용하여, 그 중앙값을 예측값으로서 이용하는 경우에 대해서 설명하였지만, 이 주변 블록 수, 예측값의 결정 방법은, 다른 값이나 다른 방법이어도 된다. 예를 들면, 좌측 옆의 블록의 움직임 벡터를 예측값으로서 이용하는 방법 등이 있다.

예를 들면, 본 실시 형태에서는 블록의 크기가 8 ×8 화소인 것으로 하였지만, 이 이외의 크기의 블록도 혼재하는 경우에는, 부호화 대상 블록(A)에 대해서, 이하의 블록을 복호화가 완료된 주변 블록(B, C, D)으로서 이용해도 된다. 즉, 블록(B)은 블록(A)에서의 좌측 상단의 화소의 왼쪽에 인접하는 화소를 포함하는 블록으로 하고, 블록(C)은 블록(A)에서의 좌측 상단의 화소의 위에 인접하는 화소를 포함하는 블록으로 하며, 블록(D)은 블록(A)에서의 우측 상단의 화소의 경사진 오른 쪽 위에 인접하는 화소를 포함하는 블록으로 결정하면 된다.

또, 본 실시 형태에서는, 도 3을 이용하여, 움직임 벡터의 복호화에서의 예측 블록의 위치를 설명하였지만, 이것은 다른 위치이어도 된다.

또, 본 실시 형태에서는, 복호화 대상 블록의 움직임 벡터와, 주변 블록의 움직임 벡터로부터 얻어진 예측값과의 가산을 행함으로써 움직임 벡터의 복호화를 행하는 경우에 대해서 설명하였지만, 이것은 가산 이외의 방법에 의해 움직임 벡터의 복호화를 행해도 된다.

또, 본 실시 형태에서는, 움직임 벡터 복호화의 예측값의 생성 방법으로서, 제1∼제3 예측값의 생성 방법에 대해서 설명하였지만, 이들 방법을 혼합하여 이용해도 된다.

예를 들면, 제1 예측값의 생성 방법과 제2 예측값의 생성 방법을 혼합하는 경우에는, 도 7에 도시한 흐름에 의해 예측값을 생성하면 된다. 또, 제2 예측값의 생성 방법과, 제3 예측값의 생성 방법을 혼합하는 경우에는, 도 7의 S115∼S118 대신에 제3 예측값의 생성 방법을 실행하도록 하면 된다.

또, 본 실시 형태에서는, 움직임 벡터 부호화의 예측값의 생성 방법도 역시, 전방 참조 움직임 벡터만을 갖는 경우를 예로써 들었지만, 후방 참조 픽처가 포함되어 있어도 동일하게 생각하면 된다.

또, 본 실시 형태에서는, 최대 참조 픽처 수가 2인 경우에 대해서 설명하였지만, 이것은 3 이상의 값이어도 된다.

또, 본 실시 형태에서의 움직임 벡터 기억부(706)에서의 움직임 벡터의 기억 관리 방법으로서는, 1. 주변 블록의 움직임 벡터와 그 순서(제1 움직임 벡터인지, 제2 움직임 벡터인지를 나타내는 식별자)를 보존함으로써, 주변 블록의 움직임 벡터를 움직임 벡터 기억부(706)로부터 취득할 때에, 식별자를 이용하여 제1 또는 제2 움직임 벡터를 취득하는 방법, 2. 주변 블록의 제1 움직임 벡터와 제2 움직임 벡터를 기억하는 위치를 미리 결정해 두고, 주변 블록의 움직임 벡터를 움직임 벡터 기억부(706)로부터 취득할 때에, 그 메모리 위치에 액세스함으로써, 제1 또는 제2 움직임 벡터를 취득하는 방법 등의 관리 방법이 있다.

또한, 상기 실시 형태에서 나타낸 움직임 벡터 부호화 방법, 이것을 포함하는 화상 부호화 방법, 움직임 벡터 복호화 방법 또는 이것을 포함하는 화상 복호화 방법의 구성을 실현하기 위한 프로그램을, 플렉시블 디스크 등의 기억 매체에 기록하도록 함으로써, 상기 실시 형태 1에서 나타낸 처리를, 독립한 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다.

도 10은, 상기 프로그램을 격납한 플렉시블 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.

도 10(b)는, 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 도시하고, 도 10(a)는, 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시하고 있다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고, 이 디스크의 표면에는, 동심원 형상으로 외주로부터는 내주를 향해서 다수의 트랙(Tr)이 형성되며, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 격납한 플렉시블 디스크에서는, 상기 플렉시블 디스크(FD) 상에 할당된 영역에, 상기 프로그램으로서의 화상 부호화 방법이 기록되어 있다.

또, 도 10(c)는, 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다. 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우에는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램으로서의 화상 부호화 방법 또는 화상 복호화 방법을 플렉시블 디스크 드라이브를 통해서 기입한다. 또, 플렉시블 디스크 내의 프로그램에 의해 상기 화상 부호화 방법을 컴퓨터 시스템 중에 구축하는 경우에는, 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 독출하여 컴퓨터 시스템에 전송한다.

또한, 상기 설명에서는, 기록 매체로서 플렉시블 디스크를 이용하여 설명을 행하였지만, 광 디스크를 이용해도 동일하게 행할 수 있다. 또, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.

도 11 내지 도 14는, 상기 실시 형태 1에서 나타낸 부호화 처리 또는 복호화 처리를 행하는 기기 및 이 기기를 이용한 시스템을 설명하는 도면이다.

도 11은, 콘텐츠 배송 서비스를 실현하는 콘텐츠 공급 시스템(ex100)의 전체 구성을 도시하는 블록도이다. 통신 서비스의 제공 영역을 소망의 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.

이 콘텐츠 공급 시스템(ex100)은, 예를 들면, 인터넷(ex101)에 인터넷 서비스 프러바이더(ex102) 및 전화망(ex104), 및 기지국(ex107∼ex110)을 통해서, 컴퓨터(ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대 전 화(ex114), 카메라가 부착된 휴대 전화(ex115) 등의 각 기기가 접속된다.

그러나, 콘텐츠 공급 시스템(ex100)은 도 11과 같은 조합에 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 된다. 또, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다.

카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또, 휴대 전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 혹은 GSM(Global System for Mobile Communications) 방식의 휴대 전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이라도 상관없다.

또, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망 (ex104)을 통해서 접속되어 있고, 카메라(ex113)를 이용하여 사용자가 송신하는 부호화 처리된 데이터에 기초한 라이브 배송 등이 가능하게 된다. 촬영한 데이터의 부호화 처리는 카메라(ex113)에서 행해도, 데이터의 송신 처리를 하는 서버 등에서 행해도 된다. 또, 카메라(ex116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해서 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)에서 행해도 컴퓨터(ex111)에서 행해도 어느쪽이어도 된다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또한, 화상 부호화 ·복호화용의 소프트웨어를 컴퓨터(ex111) 등에서 독출 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등) 에 장착해도 된다. 또한, 카메라가 부착된 휴대 전화(ex115)에서 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대 전화(ex115)가 갖는 LSI에서 부호화 처리된 데이터이다.

이 콘텐츠 공급 시스템(ex100)에서는, 사용자가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 콘텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시 형태와 동일하게 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있었던 클라이언트에 대해서 상기 콘텐츠 데이터를 스트림 배송한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등이 있다. 이와 같이 함으로써 콘텐츠 공급 시스템(ex100)은, 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하여 복호화하여, 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다.

이 시스템을 구성하는 각 기기의 부호화, 복호화에는 상기 각 실시 형태에서 나타낸 동화상 부호화 장치 혹은 동화상 복호화 장치를 사용하도록 하면 된다.

그 일례로서 휴대 전화에 대해서 설명한다.

도 12는, 상기 실시 형태에서 설명한 동화상 부호화 방법과 동화상 복호화 방법을 이용한 휴대 전화(ex115)를 도시하는 도면이다. 휴대 전화(ex115)는, 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 촬영하는 것이 가능한 카메라부(ex203), 카메라부(ex203)에서 촬 영한 영상, 안테나(ex201)에서 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대 전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 고쳐쓰기나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 격납한 것이다.

또한, 휴대 전화(ex115)에 대해서 도 13을 이용하여 설명한다. 휴대 전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(ex311)에 대해서, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해서 서로 접속되어 있다.

전원 회로부(ex310)는, 사용자의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대해서 전력을 공급함으로써 카메라가 부착된 디지털 휴대 전화(ex115)를 동작 가능한 상태로 기동시킨다.

휴대 전화(ex115)는, CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(ex311)의 제어에 기초하여, 음성 통화 모드시에 음성 입력부(ex205)에서 집음(集音)한 음성 신호를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하며, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 송신한다. 또 휴대 전화기(ex115)는, 음성 통화 모드시에 안테나(ex201)에서 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변복조 회로부(ex306)에서 스펙트럼 역 확산 처리하며, 음성 처리부(ex305)에 의해서 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex208)를 통해서 출력한다.

또한, 데이터 통신 모드시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해서 주 제어부(ex311)에 송출된다. 주 제어부(ex311)는, 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하며, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 기지국(ex110)으로 송신한다.

데이터 통신 모드시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬영된 화상 데이터를 카메라 인터페이스부(ex303)를 통해서 화상 부호화부(ex312)에 공급한다. 또, 화상 데이터를 송신하지 않는 경우에는, 카메라부(ex203)에서 촬영한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해서 표시부(ex202)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex312)는, 본원 발명에서 설명한 화상 부호화 장치를 구비한 구성으로, 카메라부(ex203)로부터 공급된 화상 데이터를 상기 실시 형태에서 나타낸 화상 부호화 장치에 이용한 부호화 방법에 의해서 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex308)에 송출한다. 또, 이 때 동시에 휴대 전화기(ex115)는, 카메라부(ex203)에서 촬영 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해서 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.

다중 분리부(ex308)는, 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하며, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 송신한다.

데이터 통신 모드시에 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해서 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역 확산 처리하고, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.

또, 안테나(ex201)를 통해서 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는, 다중화 데이터를 분리함으로써 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누고, 동기 버스(ex313)를 통해서 상기 부호 화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.

다음에, 화상 복호화부(ex309)는, 본원 발명에서 설명한 화상 복호화 장치를 구비한 구성으로, 화상 데이터의 비트 스트림을 상기 실시 형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하고, 이것을 LCD 제어부(ex302)를 통해서 표시부(ex202)에 공급하고, 이것에 의해, 예를 들면, 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex208)에 공급하고, 이것에 의해, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 14에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시 형태의 적어도 화상 부호화 장치 또는 화상 복호화 장치 중 어느 하나를 장착할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 비트 스트림이 전파를 통해서 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은, 방송용의 전파를 발신하고, 이 전파를 위성 방송 수신 설비를 갖춘 가정의 안테나(ex406)에서 수신하여, 텔레비전(수신기)(ex401) 또는 셋탑박스(STB)(ex407) 등의 장치에 의해 비트 스트림을 복호화하여 이것을 재생한다. 또, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 비트 스트림을 독출하여, 복호화하는 재생 장치(ex403)에도 상기 실시 형태에서 나타낸 화상 복호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또, 케이블 텔레비전용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑박스(ex407) 내에 화상 복호화 장치를 실장하고, 이것을 텔레비전의 모니터(ex408)에서 재생하는 구성도 생각할 수 있다. 이 때 셋탑박스가 아니라, 텔레비전 내에 화상 복호화 장치를 장착해도 된다. 또, 안테나(ex411)를 갖는 차(ex412)에서 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 내비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.

또한, 화상 신호를 상기 실시 형태에서 나타낸 화상 부호화 장치에서 부호화하여, 기록 매체에 기록할 수도 있다. 구체예로서는, DVD 디스크에 화상 신호를 기록하는 DVD 리코더나, 하드 디스크에 기록하는 디스크 리코더 등의 리코더(ex420)가 있다. 또한 SD 카드(ex422)에 기록할 수도 있다. 리코더(ex420)가 상기 실시 형태에서 나타낸 화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)에서 표시할 수 있다.

또한, 카 내비게이션(ex413)의 구성은 예를 들면 도 13에 도시하는 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있고, 동일한 것이 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등에서도 생각될 수 있다.

또, 상기 휴대 전화(ex114) 등의 단말은, 부호화기 ·복호화기 모두를 가지 는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3종류의 실장 형식을 생각할 수 있다.

이와 같이, 상기 실시 형태에서 나타낸 동화상 부호화 방법 혹은 동화상 복호화 방법을 상술한 어느 하나의 기기 ·시스템에 이용하는 것이 가능하고, 그렇게 함으로써, 상기 실시 형태에서 설명한 효과를 얻을 수 있다.

또, 본 발명은 이러한 상기 실시 형태에 한정되는 것이 아니라, 본 발명의 범위를 일탈하는 않는 한, 다양한 변형 또는 수정이 가능하다.

본 발명은, 부호화 대상 블록의 움직임 벡터와 그 예측값을 생성하고, 움직임 벡터와 예측값의 차분을 부호화하여, 동화상을 나타내는 부호열에 기술하는 움직임 벡터 부호화 장치, 동화상 부호화 장치, 및 상기 부호열을 복호화하는 움직임 벡터 복호 장치, 동화상 복호화 장치에 이용된다.

도 1은 본 발명의 실시 형태 1에서의 화상 부호화 장치의 구성을 도시하는 블록도,

도 2(a)는 프레임 메모리에 입력되는 픽처의 순서를 도시하는 도면,

도 2(b)는 픽처의 부호화의 순서를 도시하는 도면,

도 3(a)은 부호화 대상 블록(매크로 블록 좌측 위)과 부호화가 완료된 주변 블록을 도시하는 도면,

도 3(b)는 부호화 대상 블록(매크로 블록 우측 위)과 부호화가 완료된 주변 블록을 도시하는 도면,

도 3(c)는 부호화 대상 블록(매크로 블록 좌측 아래)과 부호화가 완료된 주변 블록을 도시하는 도면,

도 3(d)는 부호화 대상 블록(매크로 블록 우측 아래)과 부호화가 완료된 주변 블록을 도시하는 도면,

도 4(a)는 부호화 대상 블록과 부호화가 완료된 주변 블록의 움직임 벡터가 참조하는 참조 픽처를 도시하는 도면,

도 4(b)는 부호화 대상 블록과 부호화가 완료된 주변 블록의 움직임 벡터가 참조하는 참조 픽처를 도시하는 도면,

도 4(c)는 부호화 대상 블록과 부호화가 완료된 주변 블록의 움직임 벡터가 참조하는 참조 픽처를 도시하는 도면,

도 5는 참조 픽처가 2장 모두 전방에 있는 경우의 움직임 보상을 설명하기 위한 도면,

도 6은 움직임 벡터를 스케일링하는 경우의 설명도,

도 7은 제1 예측값의 생성 방법과 제2 예측값의 생성 방법을 혼합한 경우의 예측값 생성 방법을 도시하는 플로 차트,

도 8은 부호열에 기술된 움직임 벡터의 순서를 도시하는 도면,

도 9는 본 발명의 실시 형태 2에서의 화상 복호화 장치의 구성을 도시하는 블록도,

도 10(a)는 플렉시블 디스크의 물리 포맷을 도시하는 도면,

도 10(b)는 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크 본체를 도시하는 도면,

도 10(c)는 플렉시블 디스크에 프로그램의 기입 및 독출을 행하는 장치의 외관을 도시하는 도면,

도 11은 콘텐츠 공급 시스템의 전체 구성을 도시하는 블록도,

도 12는 동화상 부호화 방법과 동화상 복호화 방법을 이용한 휴대 전화를 도시하는 도면,

도 13은 휴대 전화의 구성을 도시하는 블록도,

도 14는 디지털 방송용 시스템을 도시하는 도면,

도 15는 종래 기술에서의 픽처 참조 관계를 도시하는 도면,

도 16은 예측값의 생성에 이용하는 주변 블록을 도시하는 도면이다.

Claims (5)

1. 복호화될 현재 블록에 대한 예측 움직임 벡터를 생성하고 상기 예측 움직임 벡터를 이용하여 상기 현재 블록의 부호화된 움직임 벡터를 복호화하는 움직임 벡터 복호화 방법으로서,

   복호화될 현재 블록의 주변에 위치하고 이미 복호화되어 있는 주변 블록을 지정하는 단계와,

   상기 주변 블록 중 적어도 하나의 블록이 상기 현재 블록을 포함하는 픽처로부터 표시 순서에서 동일 방향에 위치한 참조 픽처를 참조하는 2개의 움직임 벡터를 갖는 경우에, 각각의 부호화된 블록의 부호화된 움직임 벡터가 비트스트림에서 나타나는 순서에 따라 블록 단위로 상기 주변 블록의 각 움직임 벡터에 식별자를 부여하는 단계, 및

   상기 주변 블록의 움직임 벡터 중 상기 현재 블록의 각 움직임 벡터에 부여된 것과 동일한 식별자를 갖는 움직임 벡터를 이용하여 상기 현재 블록의 각 움직임 벡터마다 예측 움직임 벡터를 도출하는 단계를 포함하며,

   상기 예측 움직임 벡터를 도출하는 단계는,

   상기 현재 블록의 움직임 벡터에 부여된 식별자와 동일한 식별자를 갖는 상기 주변 블록의 움직임 벡터 중에서, 상기 현재 블록의 움직임 벡터에 의해 참조되는 것과 동일한 참조 픽처를 참조하는 움직임 벡터를 선택하는 단계, 및

   상기 주변 블록의 선택된 움직임 벡터가 하나뿐인 경우, 상기 선택된 하나의 움직임 벡터를 상기 현재 블록의 예측 움직임 벡터로서 도출하는 단계를 포함하는, 움직임 벡터 복호화 방법.
2. 삭제
3. 복호화될 현재 블록에 대한 예측 움직임 벡터를 생성하고 상기 예측 움직임 벡터를 이용하여 상기 현재 블록의 부호화된 움직임 벡터를 복호화하는 움직임 벡터 복호화 장치로서,

   복호화될 현재 블록의 주변에 위치하고 이미 복호화되어 있는 주변 블록을 지정하는 주변 블록 지정 유닛과,

   상기 주변 블록 중 적어도 하나의 블록이 상기 현재 블록을 포함하는 픽처로부터 표시 순서에서 동일 방향에 위치한 참조 픽처를 참조하는 2개의 움직임 벡터를 갖는 경우에, 각각의 부호화된 블록의 부호화된 움직임 벡터가 비트스트림에서 나타나는 순서에 따라 블록 단위로 상기 주변 블록의 각 움직임 벡터에 식별자를 부여하는 부여 유닛, 및

   상기 주변 블록의 움직임 벡터 중 상기 현재 블록의 각 움직임 벡터에 부여된 것과 동일한 식별자를 갖는 움직임 벡터를 이용하여 상기 현재 블록의 각 움직임 벡터마다 예측 움직임 벡터를 도출하는 도출 유닛을 포함하며,

   상기 도출 유닛은,

   상기 현재 블록의 움직임 벡터에 부여된 식별자와 동일한 식별자를 갖는 상기 주변 블록의 움직임 벡터 중에서, 상기 현재 블록의 움직임 벡터에 의해 참조되는 것과 동일한 참조 픽처를 참조하는 움직임 벡터를 선택하고,

   상기 주변 블록의 선택된 움직임 벡터가 하나뿐인 경우, 상기 선택된 하나의 움직임 벡터를 상기 현재 블록의 예측 움직임 벡터로서 도출하는, 움직임 벡터 복호화 장치.
4. 삭제
5. 픽처에 포함된 블록의 부호화된 움직임 벡터의 복호화를 위해 사용되는 프로그램이 저장된 컴퓨터 판독 가능한 데이터 저장 매체로서,

   상기 프로그램은 컴퓨터로 하여금 움직임 벡터 복호화 방법에 의해 복호화를 실행하도록 한 것이며,

   상기 움직임 벡터 복호화 방법은,

   복호화될 현재 블록의 주변에 위치하고 이미 복호화되어 있는 주변 블록을 지정하는 단계와,

   상기 주변 블록 중 적어도 하나의 블록이 상기 현재 블록을 포함하는 픽처로부터 표시 순서에서 동일 방향에 위치한 참조 픽처를 참조하는 2개의 움직임 벡터를 갖는 경우에, 각각의 부호화된 블록의 부호화된 움직임 벡터가 비트스트림에서 나타나는 순서에 따라 블록 단위로 상기 주변 블록의 각 움직임 벡터에 식별자를 부여하는 단계, 및

   상기 주변 블록의 움직임 벡터 중 상기 현재 블록의 각 움직임 벡터에 부여된 것과 동일한 식별자를 갖는 움직임 벡터를 이용하여 상기 현재 블록의 각 움직임 벡터마다 예측 움직임 벡터를 도출하는 단계를 포함하며,

   상기 예측 움직임 벡터를 도출하는 단계는,

   상기 현재 블록의 움직임 벡터에 부여된 식별자와 동일한 식별자를 갖는 상기 주변 블록의 움직임 벡터 중에서, 상기 현재 블록의 움직임 벡터에 의해 참조되는 것과 동일한 참조 픽처를 참조하는 움직임 벡터를 선택하는 단계, 및

   상기 주변 블록의 선택된 움직임 벡터가 하나뿐인 경우, 상기 선택된 하나의 움직임 벡터를 상기 현재 블록의 예측 움직임 벡터로서 도출하는 단계를 포함하는, 컴퓨터 판독 가능한 데이터 저장 매체.

Images