WO2003090473A1

WO2003090473A1 - Procede de calcul de vecteurs de mouvement

Info

Publication number: WO2003090473A1
Application number: PCT/JP2003/004805
Authority: WO
Inventors: Satoshi Kondo; Shinya Kadono; Makoto Hagai; Kiyofumi Abe
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2002-04-19
Filing date: 2003-04-16
Publication date: 2003-10-30
Also published as: EP1411729A4; KR20100005233A; EP1411729A1; US8958480B2; KR20040099100A; HUE045566T2; US20170048544A1; HUE053922T2; US7940845B2; US9693074B2; AU2003231356B2; EP1441537A1; US10440386B2; US20100202539A1; US20190014341A1; PT3525465T; HUE044739T2; HUE044582T2; US20170324976A1; ES2742799T3

Description

明細書動きべクトル計算方法技術分野

本発明は、動画像の符号化方法および復号化方法に関するものであり、特に既に符号化済みの表示時間順で前方にある複数のピクチャもしくは表示時間順で後方にある複数のピクチャもしくは表示時間順で前方および後方の両方にある複数のピクチャを参照して予測符号化を行う方法に関するものである。背景技術

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してプロック単位で動きの検出および動き補償を行い、得られた予測画像と現在のピクチャとの差分値に対して符号化を行う。

現在標準化中の動画像符号化方法である H . 2 6 Lでは、ピクチャ内予測符号化をのみを行うピクチャ（ I ピクチャ）、および 1 枚のピクチャを参照してピクチャ間予測符号化を行うピクチャ（以下、 Pピクチャ）、さらに表示時間順で前方にある 2枚のピクチャもしくは表示時間順で後方にある 2枚のピクチャもしくは表示時間順で前方および後方にあるそれぞれ 1 枚ずつのピクチャを参照してピクチャ間予測符号化を行うピクチヤ（以下、 Bピクチャ）が提案されている。

図 1 は上記の動画像符号化方法における各ピクチャと、それによつて参照されるピクチャとの参照関係の例を示す図である。ピクチャ I 1 は参照ピクチャを持たずピクチャ内予測符号化を行い、ピクチャ P 1 0は表示時間順で前方にある P 7を参照しピクチャ間予測符号化を行っている。また、ピクチャ B 6は表示時間順で前方にある 2 つのピクチャを参照し、ピクチャ B 1 2は表示時間順で後方にある 2つのピクチャを参照し、ピクチャ B 1 8は表示時間順で前方および後方にあるそれぞれ 1 枚ずつのピクチャを参照しピクチャ間予測符号化を行つている。

表示時間順で前方および後方にあるそれぞれ 1枚ずつのピクチャを参照しピクチャ間予測符号化を行う 2方向予測の 1 つの予測モードとして直接モードがある。直接モードでは符号化対象のブロックに直接には動きべクトルを持たせず、表示時間順で近傍にある符号化済みピクチャ内の同じ位置にあるブロックの動きべクトルを参照することによって、実際に動き補償を行うための 2つの動きベクトルを算出し予測画像を作成する。

図 2は直接モードにおいて動きべクトルを决定するために参照した符号化済みのピクチャが、表示時間順で前方にある 1 枚のピクチャのみを參照する動きべクトルを持っていた場合の例を示したものである。同図において、垂直方向の線分で示す「 P Jはピクチャタイプとは関係なく、単なるピクチャを示している。同図では、例えば、ピクチャ P 8 3が現在符号化の対象とされているピクチャでありピクチャ P 8 2およびピクチヤ P 8 4を参照ピクチャとして 2方向予測を行う。このピクチャ P 8 3において符号化を行うブロックをブロック M B 8 1 とすると、ブロック M B 8 1 の動きべクトルは、符号化済みの後方参照ピクチャであるピクチャ P 8 4の同じ位置にあるブロック M B 8 2の持つ動きべクトルを用いて決定される。このブロック M B 8 2は動きベクトルとして動きべクトル M V 8 1 の 1 つだけを有するため、求める 2つの動きべクトル M V 8 2および動きベクトル MV 8 3は式 1 ( a ) および（ b ) に基づいて直接、動きべクトル M V 8 1 および時間間隔 T R 8 1 に対してスケーリングを適用することによって算出される。

M V 8 2 =MV 8 1 /T R 8 1 X T R 8 2 ■■ ·.式 1 ( a )

MV 8 3 =— MV 8 1 ZT R 8 1 X T R 8 3 …-式 1

( b )

なお、このとき時間間隔 T R 8 1 はピクチャ P 8 4からピクチャ P 8 2まで、つまり、ピクチャ P 84から、動きべク卜ル MV 8 1 が指し示す参照ピクチャまでの時間の間隔を示している。さらに、時間間隔 T R 8 2は、ピクチャ Ρ 8 3から、動きベクトル MV 8 2が指し示す参照ピクチャまでの時間の間隔を示している。さらに、時間間隔 T R 8 3は、ピクチャ Ρ 8 3から、動きべクトル MV 8 3が指し示す参照ピクチャまでの時間の間隔を示している。

また、直接モードには、すでに説明した時間的予測と、空間的予測との 2つの方法があるが、以下では、空間的予測について説明する。直接モードの空間的予測では、例えば、 1 6画素 X 1 6画素で構成されるマクロブロックを単位として符号化を行い、符号化対象マクロブロックの周辺 3マクロブロックの動きべクトルのうち、符号化対象ピクチヤから表示時間順で最も近い距離にあるピクチャを参照して求められた動きべクトルの 1 つを選択し、選択された動きべクトルを符号化対象マクロブロックの動きべクトルとする。 3つの動きべクトルがすべて同じピクチャを参照している場合はそれらの中央値を選択する。 3つのうち 2つが符号化対象ピクチャから表示時間順で最も近い距離にあるピクチャを参照している場合には残りの 1 つを「 0 J べクトルとみなして、それらの中央値を選択する。また、 1 つだけが符号化対象ピクチヤから表示時間順で最も近い距離にあるピクチャを参照している場合にはその動きべクトルを選択する。このように直接モードでは、符号化対象のマクロプロックに対して動きべクトルを符号化せず、他のマクロブロックが有する動きべクトルを用いて動き予測を行う。

図 3 ( a ) は、従来の直接モードの空間的予測方法を用い、 Bピクチャにおいて表示時間順で前方のピクチャを参照する場合の動きベクトル予測方法の一例を示す図である。同図において、 Pは Pピクチヤ、 Bは Bピクチャを示し、右側 4ピクチャのピクチャタイプに付されている数字は各ピクチャが符号化された順番を示している。ここでは、ピクチャ B 4において斜線を付したマクロブロックが符号化対象となっているものとする。符号化対象マクロブロックの動きべクトルを、直接モードの空間的予測方法を用いて計算する場合、まず、符号化対象マクロブロックの周辺から、 3つの符号化済みのマクロブロック（破線部）を選択する。ここでは、周辺 3マクロブロックの選択方法は説明を省略する。符号化済みの 3マクロブロックの動きべクトルはすでに計算され保持されている。この動きべクトルは同一ピクチャ中のマクロブロックであっても、マクロブロックごとに異なるピクチャを参照して求められている場合がある。この周辺 3マクロブロックが、それぞれどのピクチャを参照したかは、各マクロブロックを符号化する際に用いた参照ピクチャの参照インデックスによって知ることができる。参照インデックスについての詳細は後述する。

さて、例えば、図 3 ( a ) に示した符号化対象マクロブロックに対して、周辺 3マクロブロックが選択され、各符号化済みマクロブロックの動きべクトルがそれぞれ動きべクトル a、動きベクトル bおよび動きべクトル cであったとする。これにおいて、動きべクトル a と動きべクトル b とはピクチャ番号 1 1 が Γ 1 1 Jの Pピクチャを参照して求められ、動きベクトル cはピクチャ番号 1 1 が「 8」の Pピクチヤを参照して求められていたとする。この場合、これらの動きベクトル a 、 bおよび c のうち、符号化対象ピクチャから表示時間順で最も近い距離にあるピクチヤを参照した動きべクトルである動きべクトル a、 bの 2つが符号化対象マクロブロックの動きベクトルの候補となる。この場合、動きべクトル cを「 0 J とみなし、動きベクトル a、動きベクトル bおよび動きべクトル cの 3つのうちの中央値を選択し、符号化対象マクロブロックの動きべクトルとする。

ただし、 M P E G - 4などの符号化方式では、ピクチャ内の各マクロブロックを、インタレースを行うフィールド構造で符号化してもよいし、インタレースを行わないフレーム構造で符号化を行ってもよい。従って、 M P E G - 4などでは、参照フレーム 1 フレーム中には、フィールド構造で符号化されたマクロブロックと、フレーム構造で符号化されたマクロブロックとが混在する場合が生じる。このような場合でも、符号化対象マクロブロックの周辺 3マクロブロックがいずれも符号化対象マクロブロックと同じ構造で符号化されていれば、前述の直接モードの空間的予測方法を用いて問題なく符号化対象マクロブロックの動きベクトルを 1 つ導出することができる。すなわち、フレーム構造で符号化される符号化対象マクロブロックに対して、周辺 3マクロブロックもまたフレーム構造で符号化されている場合、または、フィールド構造で符号化される符号化対象マクロブロックに対して、周辺 3マクロブロックもまたフィ一ルド構造で符号化されている場合である。前者の場合は、すでに説明した通りである。また、後者の場合は、符号化対象マクロブロックのトップフィールドに対応しては、周辺 3マクロブロックのトップフィールドに対応した 3つの動きベクトルを用いることにより、また、符号化対象マクロブロックのボトムフィールドに対応しては、周辺 3マクロブロックのボトムフィールドに対応した 3つの動きベクトルを用いることにより、トップフィールドとボトムフィールドとのそれぞれについて、前述の方法で、符号化対象マクロブロックの動きべクトルを導出することができる。

しかしながら、直接モードの時間的予測の場合、ピクチャ間予測符号化を行うブロックが直接モードによって動き補償を行う際に、動きべクトルを参照されるブロックが図 1 の B 6のような Bピクチヤに属していたとき、前記ブロックは複数の動きべクトルを有するため式 1 に基づいたスケーリングによる動きベクトルの算出を直接適用することができないという問題が発生する。また、動きベクトルの算出後に除算演算を行うことから、動きベクトル値の精度（例えば 1 Z 2画素や 1 4画素精度）が、予め定められた精度に一致しない場合が生じる。

また、空間的予測の場合、符号化対象マクロブロックと周辺マクロブ口ックのいずれかが異なる構造で符号化されている場合、符号化対象マクロブロックをフィールド構造およびフレーム構造のいずれの構造で符号化するかは規定されておらず、また、フィールド構造で符号化されたものとフレーム構造で符号化されたものとが混在するような周辺マク口ブロックの動きべクトルのうちから、符号化対象マクロブロックの動きべクトルを選択する方法も規定されていない。

本発明の第 1 の目的は、動きべクトルを参照されるプロックが Bピクチヤに属するブロックである場合でも、直接モードにおける精度の良い時間方向の動きベクトル予測方法を提供することである。

また、本発明の第 2の目的は、動きべクトルを参照されるブロックが B ピクチャに属するブロックである場合でも、直接モードにおける精度の良い空間方向の動きべクトル予測方法を提供することである。発明の開示

上記目的を達成するために本発明の動きべクトル計算方法は、複数のピクチャを参照してピクチャ間予測を行う際の動きべクトルの計算方法であって、表示時間順で前方にある複数のピクチャもしくは表示時間順で後方にある複数のピクチャもしくは表示時間順で前方および後方の両方にある複数のピクチャを参照することができる参照ステップと、ピクチヤ間予測を行うブロックが属するピクチャとは別のピクチャの前記ブロックと同じ位置にあるブロックの動きべクトルを参照して、前記ピクチヤ間予測を行うブロックの動き補償を行う場合に、前記動きべクトルを参照されるブロックに対してすでに求められている動きべクトルのうち、所定の条件を満足する少なくとも 1 つの動きべクトルを用いて前記ピクチャ間予測を行うブロックの動きベクトルを計算する動き補償ステップとを含む。従って、本発明の動きベクトル計算方法によると、ピクチヤ間予測符号化を行うプロックが符号化済みの別のピクチャの同じ位置にあるブロックの動きベクトルを参照して動き補償を行う際に、動きべクトルを参照されるブロックが複数の動きべクトルを有していた場合前記複数の動きべクトルからスケーリングに用いるための 1 つの動きべクトルを生成することによって、前記動き補償を矛盾無く実現することを可能とする。

また、本発明の前記動きベクトル計算方法において、前記参照ステツプでは、表示時間順で前方にあるピクチャを優先して識別番号を昇順で付与された第 1 のピクチャの並びと、表示時間順で後方にあるピクチャを優先して識別番号を昇順で付与された第 2のピクチャの並びとから、それぞれ 1 つのピクチャを参照することができ、前記動き補償ステツプでは、前記動きべクトルを参照されるブロックにおいて前記第 1 の並びにあるピクチャを参照する動きべクトルを用いるとしてもよい。これにおいて、動きベクトルを参照されるプロックが前記 Bピクチャに属するブロックである場合でも、前記ピクチャ間予測を行うブロックの動き補償を行う場合に用いるべき 1 つを、前記第 1 の並びにあるピクチャを参照する動きべクトルと定め、スケーリングによる動きべクトルの算出を適用することができる。

さらに、本発明の他の動きベクトル計算方法は、記憶部に格納されている複数の符号化済ピクチャから符号化対象ピクチャ上のブロックを動き補償により求めるときに参照する第 1 の参照ピクチャと第 2の参照ピクチャのうち少なくとも一方の参照ピクチャを選択するときに用いる第 1 参照ィンデックスまたは第 2参照ィンデックスを前記符号化済ピクチャに対して付与する付与ステップと、前記符号化対象ピクチャ上のプロックを動き補償するときに、前記符号化対象ピクチャ上のブロックの周囲にある周辺ブロックの動きベクトルのうち第 1参照インデックスを有する動きべクトルが複数あるとき、それらの中央値を示す動きべクトルを選択する第 1 選択ステップと、前記第 1選択ステップで選択された動きべクトルを用いて前記符号化対象ピクチャより表示時間順で、前方にあるピクチャまたは後方にあるピクチャまたは前方と後方にあるピクチャを参照する動きべクトルを導出する導出ステップとを含む。従って、前記符号化対象ピクチャ上のブロックを動き補償するときに、前記符号化対象ピクチャ上のブロックの周囲にある周辺ブロックの動きべクトルのうち第 1参照インデックスを有する動きべクトルが複数あるとき、それらの中央値を示す動きべクトルを用いて、前記符号化対象ピクチャ上のブロックの動きべクトルを導出することができる。

また、本発明の前記動きベクトル計算方法において、前記第 1選択ステツプでは、第 1 参照インデックスを有する動きベクトルのうち、さらに、第 1参照ィンデックスの値が最小のものの中央値を示す動きべク卜ルを選択するとしてもよい。

なお、この明細書は、前の日本国特許出願 Γ特願 2 00 2 - 1 1 8 5 9 8 J、「特願 2 0 0 2 - 1 2 1 0 5 3 J、「待願 2 0 0 2 - 1 5 6 2 6 6」、 Γ特願 2 0 0 2 - 1 7 7 8 8 9」、 Γ特願 20 0 2 - 1 9 3 0 27」、 Γ特願 2 00 2 - 2 0 47 1 3 J、 Γ特願 2 0 02 - 2 6 2 1 5 "I J、 I "特願 2 0 0 2 - 2 9 0 5 4 2」、!"特願 2 00 2— 3 2 3 0 9 6 J、米国仮出願「 6 0/ 3 7 8 6 4 3 J および「 6 0ノ 3 7 8 9 54 J の内容を取り込む。図面の簡単な説明

図 1 は、従来例のピクチャの参照関係を説明するための模式図である。図 2は、従来例の直接モードの動作を説明するための模式図である。図 3 ( a ) は、従来の直接モードの空間的予測方法を用い、 Bピクチャにおいて時間的前方ピクチャを参照する場合の動きベクトル予測方法の一例を示す図である。

図 3 ( b ) は、各符号化対象ピクチャに作成される参照リストの一例を示す図である。

図 4は、ピクチャ番号と参照インデックスの説明図である。

図 5は、従来の画像符号化装置による画像符号化信号フォーマツトの概念を示す図である。

図 6は、本発明の実施の形態 1 および実施の形態 2による符号化の動作を説明するためのブロック図である。

図 7は、直接モードにおいて動きべクトルを参照されるブロックが表示時間順で前方を参照する 2つの動きベクトルを持っていた場合の動作を説明するための模式図である。

図 8は、表示の順番および符号化の順番におけるピクチャの参照関係を比較するための模式図である。図 9は、直接モードにおいて動きべクトルを参照されるブロックが表示時間順で後方を参照する 2つの動きべクトルを持っていた場合の動作を説明するための模式図である。

図 1 0は、表示の順番および符号化の順番におけるピクチャの参照関係を比較するための模式図である。

図 1 1 は、本発明の実施の形態 5および実施の形態 6による復号化の動作を説明するためのブロック図である。

図 1 2は、直接モードにおいて動きべク卜ルを参照されるブロックが表示時間順で前方を参照する 2つの動きべク。トルを持っていた場合の動作を説明するための模式図である。

図 1 3は、直接モードにおいて動きベクトルを参照されるブロックが表示時間順で後方を参照する 2つの動きベクトルを持っていた場合の動作を説明するための模式図である。

図 1 4は、直接モードにおいて動きベクトルを参照されるブロックが表示時間順で後方を参照する 2つの動きべクトルを持っていた場合の動作を説明するための模式図である。

図 1 5は、直接モードにおいて動きベクトルを参照されるブロックが表示時間順で前方を参照する 2つの動きベクトルを持っていた場合の動作を説明するための模式図である。

図 1 6は、直接モードにおいて動きべクトルを参照されるブロックが表示時間順で前方を参照する 2つの動きベクトルを持っていた場合の動作を説明するための模式図である。

図 1 7は、直接モードにおいて動きベクトルを参照されるブロックが表示時間順で前方を参照する 2つの動きべク卜ルを持っていた場合の動作を説明するための模式図である。

図 1 8は、直接モードにおいて動きベクトルを参照されるブロックが表示時間順で前方を参照する 2つの動きベクトルを持っていた場合の動作を説明するための模式図である。

図 1 9は、直接モードにおいて動きベクトルを参照されるブロックが表示時間順で後方を参照する 2つの動きベクトルを持っていた場合の動作を説明するための模式図である。

図 2 0は、直接モードにおいて動きべクトルを参照されるブロックが表示時間順で後方を参照する 2つの動きベクトルを持っていた場合の動作を説明するための模式図である。

図 2 1 は、直接モードにおいて動きべクトルを参照されるブロックが表示時間順で後方を参照する 2つの動きべクトルを持っていた場合の動作を説明するための模式図である。

図 2 2は、直接モードにおいて動きべクトルを参照されるブロックが表示時間順で後方を参照する 1 つの動きべクトルを持っていた場合の動作を説明するための模式図である。

図 2 3は、直接モードにおいて周辺ブロックの動きべクトルを参照する場合の動作を説明するための模式図である。

図 2 4は、符号化列を示す図である。

図 2 5は、符号化対象ブロックと符号化対象ブロックの周囲のブロックとの関係を示す図である。

図 2 6は、符号化対象ブロックの周囲のブロックが有する動きべク卜ルを示す図である。

図 2 7は、符号化対象ブロックの周囲のブロックが有する動きべク卜ルを示す図である。

図 2 8は、符号化対象ブロックの周囲のブロックが有する動きべクトルを示す図である。

図 2 9は、符号化対象ブロックの周囲のブロックが有する動きべクトルを示す図である。

図 3 0は、符号化対象ブロックの周囲のブロックが有する動きべクトルを示す図である。

図 3 1 は、符号化対象ブロックの周囲のブロックが有する動きべクトルを示す図である。

図 3 2は、符号化対象ブロックの周囲のブロックが有する動きべクトルを示す図である。

図 3 3は、符号化対象ブロックの周囲のブロックが有する動きべクトルを示す図である。

図 3 4は、直接モードにおいて使用する動きベクトルを決定する手順を示す図である。

図 3 5は、符号化対象ブロックと符号化対象ブロックの周囲のブロックとの関係を示す図である。

図 3 6は、参照インデックスの値によって符号化対象ブロックの動きべクトルを決定する手順を示す図である。

図 3 7は、長時間メモリに保存されているピクチャを參照する動きべクトルカ《 1 つだけの場合の直接モードにおける 2方向予測を示す図である。

図 3 8は、長時間メモリに保存されているピクチャを参照する動きべクトルが 2つある場合の直接モードにおける 2方向予測を示す図である, 図 3 9は、動きべクトル計算方法の処理の流れを示す図である。

図 4 0は、本発明の実施形態 1 1 に係る動画像符号化装置 1 0 0の構成を示すブロック図である。

図 4 1 ( _a ) は、動画像符号化装置 1 0 0に時間順にピクチャ単位で入力されるフレームの順序を示す図である。

図 4 1 ( b ) は、図 4 1 ( a ) に示したフレームの並びを符号化の順に並び替えた場合の順序を示す図である。

図 4 2は、第 1 の実施の形態を説明するための、参照ピクチャリストの構造を示す図である。

図 4 3は、（ a ) は、フィールド構造で符号化されるマクロブロックべァとフレーム構造で符号化されるマクロブロックペアとが混在する場合の直接モード空間的予測方法を用いた動きべクトル計算手順の一例を示すフローチヤ一トである。

図 4 3 ( b ) は、符号化対象マクロブロックペアがフレーム構造で符号化される場合において本発明が適用される周辺マクロブロックペアの配置の一例を示す図である。

図 4 3 ( c ) は、符号化対象マクロブロックペアがフィールド構造で符号化される場合において本発明が適用される周辺マクロブロックペアの配置の一例を示す図である。

図 4 4は、フレーム構造で符号化する場合のマクロブロックペアのデ —タ構成とフィールド構造で符号化する場合のマクロブロックペアのデータ構成とを示す図である。

図 4 5は、図 4 3に示したステップ S 3 0 2における、より詳細な処理手順を示すフローチヤ一トである。

図 4 6は、参照フィールドインデックスと参照フレームインデックスとの関係を示す関係表示図である。

図 4 7は、図 4 3に示したステップ S 3 0 3における、より詳細な処理手順を示すフローチヤ一卜である。

図 4 8は、第 1 の実施の形態を説明するための、符号化対象マクロブロックペアと周辺マクロブロックペアの位置関係を示す図である。

図 4 9は、第 1 の実施の形態を説明するための、符号化対象マクロブロックペアと周辺マクロブロックペアの位置関係を示す図である。図 5 0は、符号列生成部 1 0 4によって生成される符号列 7 0 0のデータ構成の一例を示す図である。

図 5 1 は、図 5 0に示した符号列 7 0 0を復号化する動画像復号化装置 8 0 0の構成を示すブロック図である。

図 5 2 ( a ) は、記録媒体本体であるフレキシブルディスクの物理フォーマツ卜の例を示す図である。

図 5 2 ( b ) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す図である。

図 5 2 ( c ) は、フレキシブルディスク F Dに上記プログラムの記録再生を行うための構成を示す図である。

図 5 3は、コンテンツ配信サービスを実現するコンテンツ供給システ厶の全体構成を示すプロック図である。

図 5 4は、携帯電話の外観の一例を示す図である。

図 5 5は、携帯電話の構成を示すブロック図である。

図 5 6は、上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。発明を実施するための最良の形態

本発明は従来の技術の問題点を解決するものであり、直接モードにおいて、動きベクトルを参照するブロックが Bピクチャに属する場合でも矛盾無く動き補償に用いる動きベクトルを決定することを可能とする動画像の符号化方法および復号化方法を提案することを目的とする。ここで、まず参照インデックスについて説明する。

図 3 ( b ) は、各符号化対象ピクチャに作成される参照ピクチャリスト 1 0の一例を示す図である。図 3 ( b ) に示す参照ピクチャリス卜 1 0には、 1 つの Bピクチャを中心として、時間的にその前後に表示され、その Bピクチャが参照可能な周辺ピクチャと、それらのピクチャタイプ、ピクチャ番号 1 1 、第 1参照インデックス 1 2および第 2参照インデックス 1 3が示されている。ピクチャ番号 1 1 は、例えば、各ピクチャが符号化された順序を示す番号である。第 1参照インデックス 1 2は、符号化対象ピクチャに対する周辺ピクチャの相対的位置関係を示す第 1 のィンデックスであって、例えば主に符号化対象ピクチャが表示時間順で前方のピクチャを参照する場合のインデックスとして用いられる。この第 1 参照インデックス 1 2のリストは、 Γ参照インデックスリスト 0 ( I i stO)」または Γ第 1 参照インデックスリスト」と呼ばれる。また、参照インデックスは相対インデックスとも呼ばれる。図 3 ( b ) の参照ピクチャリス卜 1 0では、第 1参照インデックス 1 2の値には、まず、符号化対象ピクチャより前の表示時刻を持つ参照ピクチャに対し、符号化対象ピクチャに表示時間順で近い順より「 0」から「 1 」ずつ繰り上がる整数値が割り当てられる。符号化対象ピクチャよリ前の表示時刻を持つ参照ピクチャすベてに対して「0」から「 1 」ずつ繰り上がる値が割リ当てられたら、次に符号化対象ピクチャよリ後の表示時刻を持つ参照ピクチャに対し、符号化対象ピクチャに表示時間順で近い順から続きの値が割リ当てられる。

第 2参照インデックス 1 3は、符号化対象ピクチャに対する周辺ピクチヤの相対的位置関係を示す第 2のインデックスであって、例えば主に符号化対象ピクチャが表示時間順で後方のピクチャを参照する場合のィンデックスとして用いられる。この第 2参照インデックス 1 3のリス卜は、「参照インデックスリスト 1 ( I i st 1 )」または Γ第 2参照インデックスリスト」と呼ばれる。第 2参照インデックス 1 3の値には、まず、符号化対象ピクチャより後の表示時刻を持つ参照ピクチャに対し、符号化対象ピクチャに表示時間順で近い順よリ、 Γ 0」から Γ 1 j ずつ繰り上が 03

る整数値が割リ当てられる。符号化対象よリ後の表示時刻を持つ参照ピクチャすべてに対し「 0 J から「 1 」ずつ繰り上がる値が割り当てられたら、次に符号化対象ピクチャよリ前の表示時刻を持つ参照ピクチャに対し、符号化対象ピクチャに表示時間順で近い順から続きの値が割リ当てられる。従って、この参照ピクチャリスト 1 0をみれば、第 1 参照ィンデックス 1 2、第 2参照インデックス 1 3は、参照インデックスの値が小さい参照ピクチャほど符号化対象ピクチャに表示時間順で近接していることがわかる。以上では、参照インデックスの初期状態での番号の割リ当て方について説明したが、参照ィンデックスの番号の割リ当て方はピクチャ単位やスライス単位で変更することが可能である。参照インデックスの番号の割り当て方は、例えば、表示時間順で離れたピクチャに対して小さい番号を割リ当てることもできるが、そのような参照ィンデックスは、例えば、表示時間順で離れたピクチャを参照する方が、符号化効率が向上するような場合に用いられる。すなわち、ブロック中の参照インデックスは可変長符号語により表現され、値が小さいほど短い符号長のコ一ドが割リ当てられているので、参照することにより符号化効率が向上するピクチャに対して、より小さな参照インデックスを割り当てることにより、参照インデックスの符号量を減らし、さらに符号化効率の向上を行うものである。

図 4はピクチャ番号と参照インデックスの説明図である。図 4は参照ピクチャリストの例を示しており、中央の Bピクチャ（破線のもの）を符号化する際に用いる参照ピクチャおよびそのピクチャ番号と参照インデックスを示したものである。図 4 ( A ) は、図 3を用いて説明した、初期状態での参照インデックスの割り当て方により、参照インデックスを割り当てた場合を示している。

図 5は従来の画像符号化装置による画像符号化信号フォーマツトの概念図である。 Pictureは 1 ピクチャ分の符号化信号、 Headerはピクチャ先頭に含まれるへッダ符号化信号、 Blockl は直接モードによるブロックの符号化信号、 B I ock2は直接モード以外の補間予測によるブロックの符号化信号、 RidxO, Ridxl はそれぞれ第 1参照インデックスと第 2参照ィンデックス、 MV0， MV1 はそれぞれ第 1 動きべクトルと第 2動きべクトルを示す。符号化プロック Block2では、補間に使用する 2つの参照ピクチャを示すため 2つの参照インデックス RidxO, Ridxl を符号化信号中にこの順で有する。また、符号化ブロック B I ock2の第 1動きべクトル MV0 と、第 2動きべクトル MV1 とは符号化ブロック Block2の符号化信号内にこの順で符号化される。参照インデックス RidxO, Ridxl のいずれを使用するかは Pr edTypeにより判断することができる。また、第 1動きべク卜ル MV0が参照するピクチャ（第 1参照ピクチャ）を第 1 参照インデックス RidxOで示し、第 2動きべクトル MV1 が参照するピクチャ（第 2参照ピクチャ）を第 2参照インデックス Ridxl で示す。例えば、動きべクトル醫と MV1 の 2方向でピクチャを参照することが示される場佘は

RidxOと Ridxl が用いられ、動きべクトル MV0または MV1 のいずれか 1 方向でピクチャを参照することが示される場合は、その動きべクトルに応じた参照インデックスである R i dxOまたは R ί dx1 が用いられ、直接モードが示されている場合は RidxO、 Ridxl ともに用いられない。第 1 参照ピクチャは、第 1参照インデックスにより指定され、一般的には符号化対象ピクチャより前の表示時刻を持つピクチャであり、第 2参照ピクチャは、第 2参照インデックスにより指定され、一般的には符号化対象ピクチャより後の表示時刻を持つピクチャである。ただし、図 4の参照ィンデックスの付与方法例からわかるように、第 1参照ピクチャが符号化対象ピクチャより後の表示時刻を持つピクチャであり、第 2参照ピクチャが符号化対象ピクチャより前の表示時刻を持つピクチャである場合もある。第 1参照インデックス R i dxOは、ブロック B l ock2の第 1 動きべクトル MV0が参照した第 1参照ピクチャを示す参照インデックスであり、第 2参照インデックス R i dx 1 は、ブロック B I ock2の第 2動きべクトル V1 が参照した第 2参照ピクチャを示す参照ィンデックスである。

一方、符号化信号中のバッファ制御信号（図 5 Heade r内の RPSL) を用いて明示的に指示することにより、参照ィンデックスに対する参照ピクチャの割り当てを任意に変更することができる。この割り当ての変更により、第 2参照インデックが「 0」の参照ピクチャを任意の参照ピクチャにすることも可能で、例えば、図 4 (B)に示すようにピクチャ番号に対する参照インデックスの割り当てを変更することができる。

このように、参照インデックスに対する参照ピクチャの割り当てを任意に変更することができるため、また、この参照インデックスに対する参照ピクチャの割り当ての変更は、通常、参照ピクチャとして選択することにより符号化効率が高くなるピクチャに対してより小さい参照ィンデックスを割り当てるため、動きベクトルが参照する参照ピクチャの参照インデックスの値が一番小さくなる動きベクトルを直接モードにおいて使用する動きベクトルとすると符号化効率を高めることができる。 (実施の形態 1 )

本発明の実施の形態 1 の動画像符号化方法を図 6に示したブロック図を用いて説明する。

符号化対象となる動画像は時間順にピクチャ単位でフレームメモリ 1 0 1 に入力され、さらに符号化が行われる順に並び替えられる。各々のピクチャはプロックと呼ばれる、例えば水平 1 6 X垂直 1 6画素のグループに分割され、ブロック単位で以降の処理が行われる。

フレームメモリ 1 0 1から読み出されたブロックは動きべクトル検出部 1 0 6に入力される。ここではフレームメモリ 1 0 5に蓄積されている符号化済みのピクチャを復号化した画像を参照ピクチャとして用いて符号化対象としているブロックの動きべクトル検出を行う。このときモ —ド選択部 1 0 7では、動きベクトル検出部 1 0 6で得られた動きべクトルや、動きべクトル記憶部 1 0 8に記憶されている符号化済みのピクチヤで用いた動きべクトルを参照しつつ、最適な予測モードを決定する。モード選択部 1 0 7で得られた予測モードとその予測モードで用いる動きべクトルによって決定された予測画像が差分演算部 1 0 9に入力され. 符号化対象のブロックとの差分をとることにより予測残差画像が生成され、予測残差符号化部 1 0 2において符号化が行われる。また、モード選択部 1 0 7で得られた予測モードで用いる動きベクトルは、後のプロックゃピクチャの符号化で利用するために、動きべク卜ル記憶部 1 0 8 に記憶される。以上の処理の流れは、ピクチャ間予測符号化が選択された場合の動作であつたが、スィッチ 1 1 1 によってピクチャ内予測符号化との切り替えがなされる。最後に、符号列生成部 1 0 3によって、動きべクトル等の制御情報および予測残差符号化部 1 0 2から出力される画像情報等に対し、可変長符号化を施し最終的に出力される符号列が生成される。

以上符号化の流れの概要を示したが、動きべクトル検出部 1 0 6およびモード選択部 1 0 7における処理の詳細について以下で説明する。動きベクトルの検出は、ブロックごともしくはブロックを分割した領域ごとに行われる。符号化の対象としている画像に対して表示時間順で前方および後方に位置する符号化済みのピクチャを参照ピクチャとし、そのピクチャ内の探索領域において最適と予測される位置を示す動きべクトルおよび予測モードを決定することにより予測画像を作成する。表示時間順で前方および後方にある 2枚のピクチャを参照し、ピクチャ間予測符号化を行う 2方向予測の 1 つとして、直接モードがある。直 W

接モードでは符号化対象のブロックに、直接には動きべクトルを持たせず、表示時間順で近傍にある符号化済みピクチャ内の同じ位置にあるブロックの動きべクトルを参照することによって、実際に動き補償を行うための 2つの動きべクトルを算出し、予測画像を作成する。

図 7は、直接モードにおいて動きベクトルを決定するために参照した符号化済みのブロックが、表示時間順で前方にある 2枚のピクチャを参照する 2つの動きベクトルを持っていた場合の動作を示したものである, ピクチャ P 2 3が現在符号化の対象としているピクチャであり、ピクチャ P 2 2およぴピクチャ P 24を参照ピクチャとして 2方向予測を行うものである。符号化を行うブロックをブロック M B 2 1 とすると、このとき必要とされる 2つの動きべクトルは符号化済みの後方参照ピクチャ (第 2参照インデックスで指定される第 2参照ピクチャ）であるピクチ P 24の同じ位置にあるブロック M B 2 2の持つ動きべクトルを用いて決定される。このブロック M B 2 2は動きべクトルとして動きべクトル MV 2 1 および動きべクトル MV 2 2の 2つを有するため、求める 2 つの動きべクトル MV 2 3および動きべクトル MV 24を式 1 と同様に直接スケーリングを適用することによって算出することはできない。そこで式 2のように、スケーリングを適用する動きべクトルとして動きべクトル MV—R E Fをブロック M B 2 2の持つ 2つの動きべクトルの平均値から算出し、その時の時間間隔 T R— R E Fを同様に平均値から算出する。そして、式 3に基づいて動きベクトル MV— R E Fおよび時間間隔 T R— R E Fに対してスケーリングを適用することによって動きべクトル MV 2 3および動きべクトル MV 24を算出する。このとき時間間隔 T R 2 1 はピクチャ P 24からピクチャ P 2 1 まで、つまり動きべクトル M V 2 1 が参照するピクチャまでの時間の間隔を示し、時間間隔 T R 2 2は動きべクトル M V 2 2が参照するピクチャまでの時間の間隔を示している。また、時間間隔 T R 2 3は動きベクトル M V 2 3が参照するピクチヤまでの時間の間隔を示し、時間間隔 T R 2 4は動きべク卜ル M V 2 4が参照するピクチャまでの時間の間隔を示している。これらのピクチャ間の時間間隔は、例えば各ピクチャに付される表示時間や表示順序を示す情報、またはその情報の差に基づいて決定することができる。なお、図 7の例では符号化の対象とするピクチャは隣のピクチャを参照しているが、隣でないピクチャを参照した場合でも同様に扱うことが可能である。

M V_R E F = ( V 2 1 + M V 2 2 ) / 2 …'式 2 ( a )

T R_ R E F = ( T R 2 1 + T R 2 2 ) / 2 式 2

( b )

M V 2 3 = M V— R E F T R— R E F X T R 2 3 式 3

( a )

M V 2 4 = - M V_ R E F / T R_R E F X T R 2 4 式 3

( )

以上のように上記実施の形態では、直接モードにおいて動きべクトルを参照されるブロックが表示時間順で前方にあるピクチャを参照する複数の動きべクトルを有する場合に、前記複数の動きべクトルを用いて 1 つの動きベクトルを生成し、スケーリングを適用して実際に動き補償に使用するための 2つの動きべクトルを決定することにより、直接モードにおいて動きベクトルを參照されるブロックが Bピクチャに属する場合においても矛盾無く直接モードを用いたピクチャ間予測符号化を可能とする符号化方法を示した。

なお、図 7における 2つの動きベクトル M V 2 3および動きベクトル M V 2 4を求める際に、スケーリングを施す対象となる動きべクトル M V— R E Fおよび時間間隔 T R— R E Fを算出するために、動きべクトル MV 2 1 と動きべクトル MV 2 2との平均値および時間間隔 T R 2 1 と時間間隔 T R 2 2との平均値をとる方法として、式 2の替わりに式 4 を用いることも可能である。まず、式 4 ( a ) のように動きベクトル M V 2 1 に対して時間間隔が動きべクトル M V 2 2と同じになるようにスケーリングを施し動きべク卜ル MV 2 1 'を算出する。そして動きべクトル MV 2 1 ' と動きべク卜レ MV 2 2との平均をとることにより動きべクトル MV— R E Fが決定される。このとき時間間隔 T R— R E Fは時間間隔 T R 2 2をそのまま用いることになる。なお、動きベクトル M V 2 1 に対してスケーリングを施して動きべクトル M V 2 1 'とする替わりに動きべクトル MV 2 2に対してスケーリングを施して動きべク卜ル M V 2 2'とする場合も同様に扱うことが可能である。

MV 2 1 ' =M V 2 1 / T R 2 1 X T R 2 2 ■■■■式 4

( a )

M V_R E F = (MV 2 1 ' +M V 2 2 ) / 2 …'式 4

( b )

T R一 R E F = T R 2 2 …'式 4

( c )

なお、図 7における 2つの動きべクトル MV 2 3および動きべクトル MV 24を算出する際に、スケーリングを施す対象となる動きベクトル MV— R E Fおよび時間間隔 T R— R E Fとして、式 2のように 2つの動きべクトルの平均値を用いる替わりに、式 5のように動きべク卜ルを参照するピクチャ P 2 4に対する時間間隔の短い方のピクチャ P 2 2を参照する動きべクトル M V 2 2および時間間隔 T R 2 2を直接用いることも可能である。同様に、式 6のように時間間隔の長い方のピクチャ P 2 1 を参照する動きべクトル M V 2 1 および時間間隔 T R 2 1 を動きべクトル MV— R E Fおよび時間間隔 T R— R E Fとして直接用いることも可能である。この方法より、動きベクトルを参照されるピクチャ P 2 4に属するそれぞれのブロックは、 2つの動きべクトルのうちの片方のみを記憶しておくことで動き補償を実現することができるため、符号化装置における動きべク卜ル記憶部の容量を小さく抑えることが可能となる。

V_R E F = MV 2 2 …'式 5

( a )

T R— R E F = T R 2 2 …'式 5

( b )

MV_R E F =MV 2 1 …'式 6

( a )

T R一 R E F = T R 2 1 .■ ·■式 6

( b )

なお、図 7における 2つの動きべクトル MV 2 3および動きべクトル MV 24を算出する際に、スケーリングを施す対象となる動きべクトル MV_R E Fおよび時間間隔 T R— R E Fとして、式 2のように 2つの動きべクトルの平均値を用いる替わりに、符号化される順番が先であるピクチャを参照する動きべクトルを直接用いることも可能である。図 8 ( a ) は図 7 と同じように動画像として表示される順番でのピクチャの並び方における参照関係を示したものであり、図 8 ( b ) では図 6のフレームメモリ 1 0 1 において符号化される順番に並び替えられた一例を示している。なお、ピクチャ P 2 3が直接モードによって符号化を行うピクチャ、ピクチャ P 24がそのときに動きべクトルを参照されるピクチヤを示している。図 8 ( b ) のように並び替えたとき、符号化される順番が先であるピクチャを参照する動きベクトルを直接用いることから. 式 5のように動きベクトル MV— R E Fおよび時間間隔 T R— R E Fとして動きべクトル M V 2 2および時間間隔 T R 2 2が直接適用される。同様に、符号化される順番が後であるピクチャを参照する動きべクトルを直接用いることも可能である。この場合は、式 6のように動きべクトル MV— R E Fおよび時間間隔 T R— R E Fとして動きべクトル MV 2 1^3よび時間間隔 T R 2 1 が直接適用される。この方法により、動きべクトルを参照されるピクチャ P 24に属するそれぞれのブロックは、 2 つの動きベクトルのうちの片方のみを記憶しておくことで動き補償を実現することができるため、符号化装置における動きべクトル記憶器の容量を小さく抑えることが可能となる。

なお、本実施の形態においては、参照する動きべクトルに対してピクチヤ間の時間的距離を用いてスケ一リングすることにより、直接モードにおいて用いる動きべクトルを計算する場合について説明したが、これは参照する動きべクトルを定数倍して計算しても良い。ここで、定数倍に使用される定数は、複数ブロック単位または複数ピクチャ単位で符号化または復号化する場合に、変更可能としても良い。

なお、式 2 ( a ) または式 4 ( b ) において、動きベクトル MV_R E Fを計算する際には、式 2 ( a ) または式 4 ( b ) の右辺を計算した後、所定の動きベクトルの精度（例えば、 1 Z 2画素精度の動きべクトルであれば、 0. 5画素単位の値）に丸めても良い。動きベクトルの精度としては、 1 Z 2画素精度に限るものではない。またこの動きべクトルの精度は、例えば、ブロック単位、ピクチャ単位、シーケンス単位で決定することができる。また、式 3 ( a )、式 3 ( b )、式 4 ( a ) において、動きべクトル MV 2 3、動きべクトル MV 2 4、動きべクトル M V 2 1 'を計算する際には、式 3 ( a )、式 3 ( b )、式 4 ( a ) のお辺を計算した後、所定の動きべクトルの精度に丸めても良い。 (実施の形態 2 )

図 6に基づいた符号化処理の概要は実施の形態 1 と全く同等である。ここでは直接モードにおける 2方向予測の動作について図 9を用いてその詳細を説明する。

図 9は直接モードにおいて動きべクトルを決定するために参照したブロックが、表示時間順で後方にある 2枚のピクチャを参照する 2つの動きべクトルを持っていた場合の動作を示したものである。ピクチャ P 4 3が現在符号化の対象としているピクチャでありピクチャ P 4 2およびピクチャ P 4 4を参照ピクチャとして 2方向予測を行うものである。符号化を行うブロックをブロック M B 4 1 とすると、このとき必要とされる 2つの動きべクトルは符号化済みの後方参照ピクチャ（第 2参照インデックスで指定される第 2参照ピクチャ）であるピクチャ P 4 4の同じ位置にあるブロック M B 4 2の持つ動きべクトルを用いて決定される。このブロック M B 4 2は動きべクトルとして動きべクトル M V 4 5および動きべクトル M V 4 6の 2つを有するため、求める 2つの動きべク卜ル M V 4 3および動きべクトル M V 4 4を式 1 と同様に直接スケーリングを適用することによって算出することはできない。そこで式 7のように、スケーリングを適用する動きべクトルとして動きべクトル M V— R E Fをブロック M B 4 2の持つ 2つの動きべクトルの平均値から決定し. その時の時間間隔 T R— R E Fを同様に平均値から決定する。そして、式 8に基づいて動きべクトル M V— R E Fおよび時間間隔 T R— R E F に対してスケーリングを適用することによって動きべクトル M V 4 3および動きべクトル M V 4 4を算出する。このとき時間間隔 T R 4 5はピクチャ P 4 4からピクチャ P 4 5まで、つまり動きべクトル M V 4 5が参照するピクチャまでの時間の間隔を示し、時間間隔 T R 4 6は動きべクトゾレ MV 4 6が参照するピクチャまでの時間の間隔を示している。また、時間間隔 T R 4 3は動きベクトル M V 4 3が参照するピクチャまでの時間の間隔を示し、時間間隔 T R 4 4は時間間隔 M V 4 4が参照するピクチャまでの時間の間隔を示すものである。これらのピクチャ間の時間間隔は、実施の形態 1 で説明したのと同様に、例えば各ピクチャに付される表示時間や表示順序を示す情報、またはその情報の差に基づいて決定することができる。なお、図 9の例では符号化の対象とするピクチャは隣のピクチャを参照しているが、隣でないピクチャを参照した場合でも同様に扱うことが可能である。

M V_R E F = (M V 4 5 +M V 4 6 ) / 2 …'式 7 ( a )

T R_R E F = ( T R 4 5 + T R 4 6 ) / 2. …'式 7

( b )

M V 4 3 = - M V_R E F / T R_R E F X T R 4 3 .. ·■式 8

( a )

M V 4 4 = M V_R E F/ T R_R E F X T R 4 4 …-式 8

( b )

以上のように上記実施の形態では、直接モードにおいて動きべクトルを参照されるブロックが表示時間順で後方にあるピクチャを参照する複数の動きべクトルを有する場合に、前記複数の動きべクトルを用いて 1 つの動きベクトルを生成し、スケーリングを適用して実際に動き補償に使用するための 2つの動きべクトルを決定することにより、直接モードにおいて動きべク卜ルを参照されるブロックが Bピクチャに属する場合においても矛盾無く直接モードを用いたピクチャ間予測符号化を可能とする符号化方法を示した。

なお、図 9における 2つの動きべクトル M V 4 3および動きべクトル M V 4 4を求める際に、スケーリングを施す対象となる動きべクトル M V— R E Fおよび時間間隔 T R_R E Fを算出するために、動きべクトル M V 4 5と動きベクトル M V 4 6との平均値および時間間隔 T R 4 5 と時間間隔 T R 4 6との平均値をとる方法として、式 7の替わりに式 9 を用いることも可能である。まず、式 9 ( a ) のように動きベクトル M V 4 6に対して時間間隔が動きべクトル M V 4 5と同じになるようにスケ一リングを施し動きべクトル M V 4 6 'を算出する。そして動きべクトル M V 4 6 'と動きベクトル M V 4 5 との平均をとることにより動きべクトル M V— R E Fが決定される。このとき時間間隔 T R— R E Fは時間間隔 T R 4 1 をそのまま用いることになる。なお、動きベクトル M V 4 6に対してスケーリングを施して動きべクトル M V 4 6 ' とする替わりに動きべクトル M V 4 5に対してスケーリングを施して動きべクトル M V 4 5 ' とする場合も同様に扱うことが可能である。

V 4 6 ' = M V 4 6 / T R 4 6 X T R 4 5 ■■■■式 9

( a )

M V__R E F = (M V 4 6 ' +M V 4 5 ) / 2. ·■ '.式 9

( b )

T R_R E F = T R 4 5 …'式 9

( c )

なお、図 9における 2つの動きべクトル M V 4 3および動きべクトル MV 4 4を算出する際に、スケーリングを施す対象となる動きベクトル MV— R E Fおよび時間間隔 T R— R E Fとして、式 7のように 2つの動きべクトルの平均値を用いる替わりに、式 1 0のように動きべクトルを参照するピクチャ P 4 4に対して時間間隔の短い方のピクチャ P 4 5 を参照する動きべクトル M V 4 5および時間間隔 T R 4 5を直接用いることも可能である。同様に、式 1 1 のように時間間隔の長い方のピクチャ P 4 6を参照する動きベクトル M V 4 6および時間間隔 T R 4 6を動きべクトル M V— R E Fおよび時間間隔 T R— R E Fとして直接用いることも可能である。この方法により、動きベクトルを参照されるピクチャ P 4 4に属するそれぞれのブロックは、 2つの動きべクトルのうちの片方のみを記憶しておくことで動き補償を実現することができるため、符号化装置における動きべクトル記憶器の容量を小さく抑えることが可能となる。

M V_R E F =M V 4 5 式 1 0

( a )

T R_R E F = T R 4 5 '…式 1 0 ( b )

M V_R E F =M V 4 6 ——式 1 1

( a )

T R_R E F = T R 4 6 ——式 1 1

( b )

なお、図 9における 2つの動きベクトル M V 4 3および動きベクトル M V 4 4を算出する際に、スケーリングを施す対象となる動きべクトル M V— R E Fおよび時間間隔 T R— R E Fとして、式 7のように 2つの動きべクトルの平均値を用いる替わりに、符号化される順番が先であるピクチャを参照する動きべクトルを直接用いることも可能である。図 1 0 ( a ) は図 9 と同じように動画像として表示される順番でのピクチャの並び方における参照関係を示したものであり、図 1 0 ( b ) では図 6 のフレームメモリ 1 0 1 において符号化される順番に並び替えられた一例を示している。なお、ピクチャ P 4 3が直接モードによって符号化を行うピクチャ、ピクチャ P 4 4がそのときに動きべクトルを参照されるピクチャを示している。図 1 0 ( b ) のように並び替えたとき、符号化される順番が先であるピクチャを参照する動きベクトルを直接用いることから、式 1 1 のように動きベクトル MV_R E Fおよび時間間隔 T R — R E Fとして動きべクトル MV 4 6および時間間隔 T R 4 6が直接適用される。同様に、符号化される順番が後であるピクチャを參照する動きべクトルを直接用いることも可能である。この場合は、式 1 0のように動きべクトル MV— R E Fおよび時間間隔 T R— R E Fとして動きべクトル MV 4 5および時間間隔 T R 4 5が直接適用される。この方法により、動きべクトルを参照されるピクチャ P 44に属するそれぞれのブロックは、 2つの動きべクトルのうちの片方のみを記憶しておくことで動き補償を実現することができるため、符号化装置における動きべクトル記憶器の容量を小さく抑えることが可能となる。

なお、直接モードにおいて動きべクトルを決定するために参照したピクチャが表示時間順で後方にある 2枚のピクチヤを参照する 2つの動きべクトルを持っていた場合、求める 2つの動きべクトル MV 4 3および動きべクトル MV 4 4を「 0」として動き補償を行うことも可能である。この方法により、動きベクトルを参照されるピクチャ P 44に属するそれぞれのプロックは、動きべクトルを記憶しておく必要が無いため符号化装置における動きべクトル記憶器の容量を小さく抑えることが可能となり、さらに動きべクトル算出のための処理を省略することが可能となる。

なお、直接モードにおいて動きベクトルを決定するために参照したピクチャが表示時間順で後方にある 2枚のピクチャを参照する 2つの動きベクトルを持っていた場合、動きベクトルの参照を禁止し、直接モード以外の予測符号化のみを適用させることも可能である。図 9のピクチャ P 4 4のように表示時間順で後方にある 2枚のピクチャを参照する場合は、表示時間順で前方にあるピクチャとの相関が低い可能性が考えられるため、直接モードを禁止し別の予測方法を選択することにより、より正確な予測画像を生成することが可能となる。

なお、本実施の形態においては、参照する動きべクトルに対してピクチヤ間の時間的距離を用いてスケーリングすることにより、直接モードにおいて用いる動きべクトルを計算する場合について説明したが、これは参照する動きべクトルを定数倍して計算しても良い。ここで、定数倍に使用される定数は、複数ブロック単位または複数ピクチャ単位で符号化または復号化する場合に、変更可能としても良い。

なお、式 7 ( a )、式 9 ( b ) において、動きべクトル MV一 R E Fを計算する際には、式 7 ( a )、式 9 ( b ) の右辺を計算した後、所定の動きベクトルの精度に丸めても良い。動きベクトルの精度としては、 1 Z 2画素、 1 / 3画素、 1 4画素精度等がある。またこの動きベクトルの精度は、例えば、ブロック単位、ピクチャ単位、シーケンス単位で決定することができる。また、式 8 ( a )、式 8 ( b )、式 9 ( a ) において、動きべクトル MV 4 3、動きべクトル MV 44、動きべクトル MV 4 6 'を計算する際には、式 8 ( a )、式 8 ( b )、式 9 ( a ) の右辺を計算した後、所定の動きべクトルの精度に丸めても良い。

(実施の形態 3 )

本発明の実施の形態 3の動画像復号化方法を図 1 1 に示したプロック図を用いて説明する。ただし、実施の形態 1 の動画像符号化方法で生成された符号列が入力されるものとする。

まず入力された符号列から符号列解析器 60 1 によって予測モード、動きべクトル情報および予測残差符号化データ等の各種の情報が抽出される。

予測モードや動きべクトル情報は予測モード動きべクトル復号化部 6 0 8に対して出力され、予測残差符号化データは予測残差復号化部 6 0 2に出力される。予測モード/動きベクトル復号化部 6 0 8では、予測モードの復号化と、その予測モードで用いる動きべクトルの復号化とを行う。動きべクトルの復号化の際には、動きベクトル記憶部 6 0 5に記憶されている復号化済みの動きべクトルを利用する。復号化された予測モードおよび動きべクトルは、動き補償復号部 6 0 4に対して出力される。また、復号化された動きべクトルは、後のブロックの動きべク卜ルの復号化で利用するために、動きべクトル記憶部 6 0 5に記憶される。動き補償復号部 6 0 4ではフレームメモリ 6 0 3に蓄積されている復号化済みのピクチャの復号化画像を参照ピクチャとし、入力された予測モードゃ動きべクトル情報に基づいて予測画像を生成する。このようにして生成された予測画像は加算演算部 6 0 6に入力され、予測残差復号化部 6 0 2において生成された予測残差画像との加算を行うことによリ復号化画像が生成される。以上の実施の形態はピクチャ間予測符号化がなされている符号列に対する動作であつたが、スィッチ 6 0 7によってピクチャ内予測符号化がなされている符号列に対する復号化処理との切り替えがなされる。

以上復号化の流れの概要を示したが、動き補償復号部 6 0 4における処理の詳細について以下で説明する。

動きべクトル情報はブロックごともしくはブロックを分割した領域ごとに付加されている。復号化の対象としているピクチャに対して表示時間順で前方および後方に位置する復号化済みのピクチャを参照ピクチャとし、復号化された動きべクトルによってそのピクチャ内から動き補償を行うための予測画像を作成する。

表示時間順で前方および後方にあるそれぞれ 1枚ずつのピクチャを参照しピクチャ間予測符号化を行う 2方向予測の 1 つとして直接モードがある。直接モードでは復号化対象のブロックが動きべクトルを直接持たない符号列を入力とするため、表示時間順で近傍にある復号化済みピクチヤ内の同じ位置にあるブロックの動きベクトルを参照することによつて、実際に動き補償を行うための 2つの動きベクトルを算出し予測画像を作成する。

図 7は直接モードにおいて動きベクトルを決定するために参照した復号化済みのピクチャが、表示時間順で前方にある 2枚のピクチャを参照する 2つの動きベクトルを持っていた場合の動作を示したものである。ピクチャ P 2 3が現在復号化の対象としているピクチャであり、ピクチャ P 2 2およびピクチャ P 24を参照ピクチャとして 2方向予測を行うものである。復号化を行うブロックをブロック M B 2 1 とすると、このとき必要とされる 2つの動きべク卜ルは復号化済みの後方参照ピクチャ (第 2参照インデックスで指定される第 2参照ピクチャ）であるピクチャ P 24の同じ位置にあるブロック M B 2 2の持つ動きベクトルを用いて決定される。このブロック MB 2 2は動きべクトルとして動きべク卜ル MV 2 1 および動きべクトル MV 2 2の 2つを有するため、求める 2 つの動きべクトル M V 2 3および動きべクトル MV 24を式 1 と同様に直接スケーリングを適用することによって算出することはできない。そこで式 2のように、スケーリングを適用する動きべク卜ルとして動きべクトル M V_R E Fをブロック M B 2 2の持つ 2つの動きべクトルの平均値から算出し、その時の時間間隔 T R— R E Fを同様に平均値から算出する。そして、式 3に基づいて動きベクトル MV— R E Fおよび時間間隔 T R— R E Fに対してスケーリングを適用することによって動きべクトル MV 2 3および動きべクトル MV 24を算出する。このとき時間間隔 T R 2 1 はピクチャ P 24からピクチャ P 2 1 まで、つまり動きべクトル M V 2 1 が参照するピクチャまでの時間の間隔を示し、時間間隔 T R 2 2は動きべクトル M V 2 2が参照するピクチャまでの時間の間隔を示している。また、時間間隔 T R 2 3は動きベクトル M V 23が参照するピクチャまでの時間の間隔を示し、時間間隔 T R 2 4は動きべク卜ル M V 24が参照するピクチャまでの時間の間隔を示している。これらのピクチャ間の時間間隔は、例えば各ピクチャに付される表示時間や表示順序を示す情報、またはその情報の差に基づいて決定することができる。なお、図 7の例では復号化の対象とするピクチャは隣のピクチャを参照しているが、隣でないピクチャを参照した場合でも同様に扱うことが可能である。

以上のように上記実施の形態では、直接モードにおいて動きべクトルを参照されるブロックが表示時間順で前方にあるピクチャを参照する複数の動きべクトルを有する場合に、前記複数の動きべクトルを用いて 1 つの動きべクトルを生成し、スケーリングを適用して実際に動き補償に使用するための 2つの動きべクトルを決定することにより、直接モードにおいて動きベクトルを参照されるブロックが Bピクチャに属する場合においても矛盾無く直接モードを用いたピクチャ間予測復号化を可能とする復号化方法を示した。

なお、図 7における 2つの動きべクトル MV 2 3および動きべクトル MV 2 4を求める際に、スケーリングを施す対象となる動きべクトル M

V— R E Fおよび時間間隔 T R— R E Fを算出するために、動きべクトル MV 2 1 と動きべクトル MV 2 2との平均値および時間間隔 T R 2 1 と時間間隔 T R 2 2との平均値をとる方法として、式 2の替わりに式 4 を用いることも可能である。まず、式 4 ( a ) のように動きベクトル M

V 2 1 に対して時間間隔が動きべクトル M V 2 2と同じになるようにスケーリングを施し動きべクトル MV 2 1 'を算出する。そして動きべク卜ル M V 2 1 ' と動きべクトル MV 2 2 との平均をとることにより動きべクトル MV— R E Fが決定される。このとき時間間隔 T R— R E Fは時間間隔 T R 2 2をそのまま用いることになる。なお、動きベクトル MV 2 1 に対してスケーリングを施して動きべクトル MV 2 1 ' とする替わりに動きべク卜ル MV 2 2に対してスケーリングを施して動きべク卜ル MV 2 2 'とする場合も同様に扱うことが可能である。

なお、図 7における 2つの動きべクトル MV 2 3および動きべクトル MV 24を算出する際に、スケーリングを施す対象となる動きベクトル MV— R E Fおよび時間間隔 T R— R E Fとして、式 2のように 2つの動きべクトルの平均値を用いる替わりに、式 5のように動きべクトルを参照するピクチャ P 2 4に対して時間間隔の短い方のピクチャ P 2 2を参照する動きべクトル MV 2 2および T R 2 2を直接用いることも可能である。同様に、式 6のように時間間隔の長い方のピクチャ P 2 1 を参照する動きべクトル M V 2 1 および時間間隔 T R 2 1 を動きべクトル M V— R E Fおよび時間間隔 T R— R E Fとして直接用いることも可能である。この方法により、動きベクトルを参照されるピクチャ P 2 4に属するそれぞれのブロックは、 2つの動きべクトルのうちの片方のみを記憶しておくことで動き補償を実現することができるため、復号化装置における動きべクトル記憶部の容量を小さく抑えることが可能となる。なお、図 7における 2つの動きべク卜ル MV 2 3および動きべク卜ル MV 24を算出する際に、スケーリングを施す対象となる動きべクトル MV— R E Fおよび時間間隔 T R— R E Fとして、式 2のように 2つの動きベクトルの平均値を用いる替わりに、復号化される順番が先であるピクチャを参照する動きべクトルを直接用いることも可能である。図 8 ( a ) は図 7 と同じように動画像として表示される順番でのピクチャの並び方における参照関係を示したものであり、図 8 ( b ) では入力された符号列の順番、つまリ復号化される順番の一例を示している。なお、ピクチャ P 2 3が直接モードによって復号化を行うピクチャ、ピクチャ P 2 4がそのときに動きべク卜ルを参照されるピクチャを示している。図 8 ( b ) のような並び順を考えたとき、復号化される順番が先であるピクチャを参照する動きべクトルを直接用いることから、式 5のように動きベクトル M V— R E Fおよび時間間隔 T R— R E Fとして動きべクトル M V 2 2および時間間隔 T R 2 2が直接適用される。同様に、復号化される順番が後であるピクチャを参照する動きべクトルを直接用いることも可能である。この場合は、式 6のように動きべクトル M V— R E Fおよび時間間隔 T R— R E 「として動きべクトル M V 2 1 および時間間隔 T R 2 1 が直接適用される。この方法によリ、動きべクトルを参照されるピクチャ P 2 4に属するそれぞれのブロックは、 2つの動きべクトルのうちの片方のみを記憶しておくことで動き補償を実現することができるため、復号化装置における動きべクトル記憶部の容量を小さく抑えることが可能となる。

なお、本実施の形態においては、参照する動きベクトルに対してピクチヤ間の時間的距離を用いてスケーリングすることにより、直接モードにおいて用いる動きベクトルを計算する場合について説明したが、これは参照する動きベクトルを定数倍して計算しても良い。ここで、定数倍に使用される定数は、複数ブロック単位または複数ピクチャ単位で符号化または復号化する場合に、変更可能としても良い。

(実施の形態 4 )

図 1 1 に基づいた復号化処理の概要は実施の形態 3と全く同等である, ここでは直接モードにおける 2方向予測の動作について図 9を用いてその詳細を説明する。ただし、実施の形態 2の動画像符号化方法で生成された符号列が入力されるものとする。

図 9は直接モードにおいて動きベクトルを決定するために参照したピクチャが、表示時間順で後方にある 2枚のピクチャを参照する 2つの動きべクトルを持っていた場合の動作を示したものである。ピクチャ P 4 3が現在復号化の対象としているピクチャであり、ピクチャ P 4 2およぴピクチャ P 4 4を参照ピクチャとして 2方向予測を行うものである。復号化を行うブロックをブロック M B 4 1 とすると、このとき必要とされる 2つの動きべク卜ルは復号化済みの後方参照ピクチャ（第 2参照ィンデックスで指定される第 2参照ピクチャ）であるピクチャ P 4 4の同じ位置にあるブロック M B 4 2の持つ動きベクトルを用いて決定される, このブロック M B 4 2は動きべクトルとして動きべクトル M V 4 5および動きべクトル M V 4 6の 2つを有するため、求める 2つの動きべク卜ル M V 4 3および動きべクトル M V 4 4を式 1 と同様に直接スケーリングを適用することによって算出することはできない。そこで式 7のように、スケーリングを適用する動きべクトルとして動きべクトル M V— R E Fを動きべクトル M B 4 2の持つ 2つの動きべクトルの平均値から決定し、その時の時間間隔 T R—R E Fを同様に平均値から決定する。そして、式 8に基づいて動きべクトル M V— R E Fおよび時間間隔 T R— R E Fに対してスケーリングを適用することによって動きべクトル M V 4 3および動きべクトル M V 4 4を算出する。このとき時間間隔 T R 4 5はピクチャ P 4 4からピクチャ P 4 5まで、つまり動きべクトル M V 4 5が参照するピクチャまでの時間の間隔を、時間間隔 T R 4 6は動きべクトル M V 4 6が参照するピクチャまでの時間の間隔を、時間間隔 T R 4 3は動きべクトル M V 4 3が参照するピクチャまでの時間の間隔を時間間隔 T R 4 4は動きべクトル M V 4 4が参照するピクチャまでの時間の間隔を示すものである。なお、図 9の例では復号化の対象とするピクチャは隣のピクチャを参照しているが、隣でないピクチャを参照した場合でも同様に扱うことが可能である。

以上のように上記実施の形態では、直接モードにおいて動きベクトルを参照されるプロックが表示時間順で後方にあるピクチャを参照する複数の動きべクトルを有する場合に、前記複数の動きべクトルを用いて 1 つの動きべクトルを生成し、スケーリングを適用して実際に動き補償に使用するための 2つの動きべクルを決定することにより、直接モードにおいて動きベクトルを参照されるブロックが Bピクチャに属する場合においても矛盾無く直接モードを用いたピクチャ間予測復号化を可能とする復号化方法を示した。

なお、図 9における 2つの動きべクトル MV 4 3および動きべクトル MV 4 4を求める際に、スケーリングを施す対象となる動きべクトル M

V— R E Fおよび時間間隔 T R_R E Fを算出するために、動きべク卜ル MV 4 5と動きべクトル MV 4 6との平均値および時間間隔 T R 45 と時間間隔 T R 4 6との平均値をとる方法として、式 7の替わりに式 9 を用いることも可能である。まず、式 9 ( a ) のように動きベクトル M

V 4 6に対して時間間隔が動きべクトル M V 4 5と同じになるようにスケ一リングを施し動きべクトル MV 4 6 'を算出する。そして動きべクトル M V 4 6 ' と動きべクトル MV 4 5 との平均をとることにより動きべクトル MV— R E Fが決定される。このとき時間間隔 T R— R E Fは時間間隔 T R 4 5をそのまま用いることになる。なお、動きベクトル M V 4 6に対してスケ一リングを施して動きべクトル M V 4 6 'とする替わりに動きべクトル MV 45に対してスケーリングを施して動きべクトル MV 4 5 'とする場合も同様に扱うことが可能である。

なお、図 9における 2つの動きべク卜ル MV 4 3および動きべクトル MV 4 4を算出する際に、スケーリングを施す対象となる動きべクトル MV— R E Fおよび時間間隔 T R— R E Fとして、式 7のように 2つの動きべクトルの平均値を用いる替わりに、式 1 0のように動きべクトルを参照するピクチャ P 44に対して時間間隔の短い方のピクチャ P 4 5 を参照する動きベクトル M V 45および時間間隔 T R 4 5を直接用いることも可能である。同様に、式 1 1 のように時間間隔の長い方のピクチャ P 4 6を参照する動きベクトル M V 4 6および時間間隔 T R 4 6を動きベクトル M V— R E Fおよび時間間隔 T R— R E Fとして直接用いることも可能である。この方法により、動きベクトルを参照されるピクチャ P 4 4に属するそれぞれのブロックは、 2つの動きベクトルのうちの片方のみを記憶しておくことで動き補償を実現することができるため、復号化装置における動きべクトル記憶部の容量を小さく抑えることが可能となる。

なお、図 9における 2つの動きべクトル M V 4 3および動きべクトル M V 4 4を算出する際に、スケーリングを施す対象となる動きベクトル M V— R E Fおよび時間間隔 T R— R E Fとして、式 7のように 2つの動きべクトルの平均値を用いる替わりに、復号化される順番が先であるピクチャを参照する動きべクトルを直接用いることも可能である。図 1 0 ( a ) は図 9と同じように動画像として表示される順番でのピクチャの並び方における参照関係を示したものであり、図 1 0 ( b ) では入力された符号列の順番、つまリ復号化される順番の一例を示している。なお、ピクチャ P 4 3が直接モードによって符号化を行うピクチャ、ピクチヤ p 4 4がそのときに動きべクトルを参照されるピクチャを示している。図 1 0 ( b ) のような並び順を考えたとき、復号化される順番が先であるピクチャを参照する動きべクトルを直接用いることから、式 1 1 のように動きべクトル M V— R E Fおよび時間間隔 T R— R E 「として動きべクトル M V 4 6および時間間隔 T R 4 6が直接適用される。同様に、復号化される順番が後であるピクチャを参照する動きべクトルを直接用いることも可能である。この場合は、式 1 0のように動きべクトル M V— R E Fおよび時間間隔 T R— R E Fとして動きべクトル M V 4 5 および時間間隔 T R 4 5が直接適用される。この方法により、動きべクトルを参照されるピクチャ P 4 4に属するそれぞれのブロックは、 2つの動きべクトルのうちの片方のみを記憶しておくことで動き補償を実現することができるため、復号化装置における動きべクトル記憶部の容量を小さく抑えることが可能となる。

なお、直接モードにおいて動きベクトルを決定するために参照したブ口ックが表示時間順で後方にある 2枚のピクチャを参照する 2つの動きべクトルを持っていた場合、求める 2つの動きべクトル M V 4 3および動きベクトル M V 4 4を「 0」として動き補償を行うことも可能である。この方法により、動きべクトルを参照されるピクチャ P 4 4に属するそれぞれのプロックは、動きべクトルを記憶しておく必要が無いため復号化装置における動きべクトル記憶部の容量を小さく抑えることが可能となり、さらに動きべクトル算出のための処理を省略することが可能となる。

なお、本実施の形態においては、参照する動きベクトルに対してピクチヤ間の時間的距離を用いてスケーリングすることにより、直接モードにおいて用いる動きべクトルを計算する場合について説明したが、これは参照する動きベクトルを定数倍して計算しても良い。ここで、定数倍に使用される定数は、複数ブロック単位または複数ピクチャ単位で符号化または復号化する場合に、変更可能としても良い。

(実施の形態 5 )

上記実施の形態 1 から実施の形態 4までに示した符号化方法または復号化方法に限らず、以下に示す動きべクトル計算方法を用いて符号化方法または復号化方法を実現することができる。

図 1 2は直接モードにおいて動きべクトルを計算するために参照する符号化済みのブロックまたは復号化済みのブロックが、表示時間順で前方にある 2枚のピクチャを参照する 2つの動きベクトルを持っていた場合の動作を示したものである。ピクチャ P 2 3が現在符号化または復号化の対象としているピクチャである。符号化または復号化を行うブロックをブロック M B 1 とすると、このとき必要とされる 2つの動きべクトルは符号化済みのまたは復号化済みの後方参照ピクチャ（第 2参照ィンデックスで指定される第 2参照ピクチャ） P 2 4の同じ位置にあるプロック M B 2の持つ動きベクトルを用いて決定される。なお、図 1 2において、ブロック M B 1 が処理対象ブロックであり、ブロック M B 1 とブロック M B 2とはピクチャ上で互いに同位置にあるブロックであり、動きべクトル M V 2 1 と動きべク卜ル M V 2 2とはブロック M B 2を符号化または復号化するときに用いた動きベクトルであり、それぞれピクチャ P 2 1 、ピクチャ P 2 2を参照している。また、ピクチャ P 2 1 、ピクチャ P 2 2、ピクチャ P 2 4は符号化済みピクチャまたは復号化済みピクチャである。また、時間間隔 T R 2 1 はピクチャ P 2 1 とピクチャ P 2 4との間の時間間隔、時間間隔 T R 2 2はピクチャ P 2 2とピクチャ P 2 4との間の時間間隔、時間間隔 T R 2 1 'はピクチャ P 2 1 とピクチヤ P 2 3との間の時間間隔、時間間隔 T R 2 4 'はピクチャ P 2 3とピクチャ P 2 4との間の時間間隔を示す。

動きべクトル計算方法としては、図 1 2に示すように参照ピクチャ P 2 4におけるブロック M B 2の動きべクトルのうち先に符号化または復号化された前方向動きべクトル（第 1 動きべクトル） M V 2 1 のみを用い、ブロック M B 1 の動きベクトル M V 2 1 '、動きベクトル M V 2 4 ' は以下の式により計算される。

M V 2 1 ' = M V 2 1 X T R 2 1 ' / T R 2 1

M V 2 4 ' = - M V 2 1 X T R 2 4 ' T R 2 1

そして動きべクトル M V 2 1 '、動きべクトル M V 2 4 'を用いてピクチヤ P 2 1 、ピクチャ P 2 4から 2方向予測を行う。なお、動きべクトル M V 2 1 のみを用いてブロック M B 1 の動きべクトル M V 2 1 ' と動きべク卜ル M V 2 4 'とを計算する代わりに、参照ピクチャ P 2 4におけるブロック M B 2の動きベクトルのうち後に符号化または復号化された動きベクトル（第 2動きベクトル） M V 2 2のみを用いてブロック M B 1 の動きべクトルを計算してもよい。また、実施の形態 1 から実施の形態 4で示したように、動きべクトル M V 2 1 と動きべクトル M V 2 2との両者を用いて、ブロック M B 1 の動きベクトルを決定しても良い。いずれも動きべクトル M V 2 1 と動きべクトル M V 2 2とのいずれか一方を選択する場合に、いずれを選択するかは、時間的に先に符号化または復号化されたブロックの動きべクトルを選択するようにしてもよいし、符号化装置、復号化装置でいずれを選択するかあらかじめ任意に設定しておいてもよい。また、ピクチャ P 2 1 が短時間メモリ（Short Term Buffer) にあっても長時間メモリ（Long Term Buffer) にあっても、どちらでも動き補償することは可能である。短時間メモリ、長時間メモリについては、後述する。

図 1 3は直接モードにおいて動きべクトルを計算するために参照する符号化済みのプロックまたは復号化済みのプロックが、表示時間順で後方にある 2枚のピクチャを参照する 2つの動きベクトルを持っていた場合の動作を示したものである。ピクチャ P 2 2が現在符号化または復号化の対象としているピクチャである。符号化または復号化を行うブロックをブロック M B 1 とすると、このとき必要とされる 2つの動きべクトルは符号化済みのまたは復号化済みの後方参照ピクチャ（第 2参照ピクチヤ） P 2 3の同じ位置にあるブロック M B 2の持つ動きべクトルを用いて決定される。なお、図 1 3において、ブロック M B 1 が処理対象ブロックであり、ブロック M B 1 とブロック M B 2とはピクチャ上で互いに同位置にあるブロックであり、動きべクトル M V 2 4と動きべクトル M V 2 5はブロック M B 2を符号化または復号化するときに用いた動きベクトルであり、それぞれピクチャ P 2 4、ピクチャ P 2 5を参照している。また、ピクチャ P 2 1 、ピクチャ P 2 3、ピクチャ P 2 4、ピクチヤ P 2 5は符号化済みピクチャまたは復号化済みピクチャである。また、時間間隔 T R 2 4はピクチャ P 2 3 とピクチャ P 2 4との間の時間間隔、時間間隔 T R 2 5はピクチャ P 2 3とピクチャ P 2 5との間の時間間隔、時間間隔 T R 2 4 'はピクチャ P 2 2とピクチャ P 2 4との間の時間間隔、時間間隔 T R 2 1 'はピクチャ P 2 1 とピクチャ P 2 2との間の時間間隔を示す。

動きべクトル計算方法としては、図 1 3に示すように参照ピクチャ P 2 3におけるブロック M B 2のピクチャ P 2 4への動きベクトル M V 2 4のみを用い、ブロック M B 1 の動きべクトル M V 2 1 '、動きべクトル M V 2 4 'は以下の式により計算される。

M V 2 1 ' = - M V 2 4 X T R 2 1 ' / T R 2 4

M V 2 4 ' = M V 2 4 x T R 2 4 ' / T R 2 4

そして動きべク卜ル M V 2 1 '、動きべクトル M V 2 4 'を用いてピクチヤ P 2 1 、ピクチャ P 2 4から 2方向予測を行う。

なお、図 1 4に示すように参照ピクチャ P 2 3におけるブロック M B 2のピクチャ P 2 5への動きべクトル M V 2 5のみを用いた場合、プロック M B 1 の動きベクトル M V 2 1 '、動きべクトル M V 2 5 'は以下の式により計算される。なお、時間間隔 T R 2 4はピクチャ P 2 3 とピクチヤ P 2 4との間の時間間隔、時間間隔 T R 2 5はピクチャ P 2 3とピクチャ P 2 5との間の時間間隔、時間間隔 T R 2 5 'はピクチャ P 2 2とピクチャ P 2 5との間の時間間隔、時間間隔 T R 2 1 'はピクチャ P 2 1 とピクチャ P 2 2との間の時間間隔を示す。

M V 2 1 ' = - M V 2 5 X T R 2 1 ' / T R 2 5 M V 2 5 ' = M V 2 5 x T R 2 5 ' / T R 2 5

そして動きべクトル M V 2 1 '、動きべク卜ル M V 2 5 'を用いてピクチヤ P 2 1 、ピクチャ P 2 4から 2方向予測を行う。

図 1 5は直接モ一ドにおいて動きべクトルを計算するために参照する符号化済みのブロックまたは復号化済みのブロックが、表示時間順で前方にある 1 枚のピクチャを参照する 2つの動きべクトルを持っていた場合の動作を示したものである。ピクチャ P 2 3は、現在符号化または復号化の対象としているピクチャである。符号化または復号化を行うプロックをブロック M B 1 とすると、このとき必要とされる 2つの動きべクトルは符号化済みのまたは復号化済みの後方参照ピクチャ（第 2参照ィンデックスで指定される第 2参照ピクチャ） P 2 4の同じ位置にあるブロック M B 2の持つ動きべクトルを用いて決定される。なお、図 1 5において、ブロック M B 1 が処理対象ブロックであり、ブロック M B 1 とブロック M B 2とはピクチャ上で互いに同位置にあるブロックである。動きべクトル M V 2 1 Aと動きべクトル M V 2 1 Bとはブロック M B 2 を符号化または復号化するときに用いた前方向動きべクトルであり、共にピクチャ P 2 1 を参照している。また、ピクチャ P 2 1 、ピクチャ P 2 2、ピクチャ P 2 4は符号化済みピクチャまたは復号化済みピクチャである。また、時間間隔 T R 2 1 A、時間間隔 T R 2 1 Bはピクチャ P 2 1 とピクチャ P 2 4との間の時間間隔、時間間隔 T R 2 1 'はピクチャ P 2 1 とピクチャ P 2 3との間の時間間隔、時間間隔 T R 2 4 'はピクチャ P 2 3 とピクチャ P 2 4との間の時間間隔を示す。

動きベクトル計算方法としては、図 1 5に示すように参照ピクチャ P 2 4におけるブロック M B 2のピクチャ P 2'1 への前方向動きベクトル M V 2 1 Aのみを用い、ブロック M B 1 の動きべクトル M V 2 1 A'、 M V 2 4 'は以下の式により計算される。 M V 2 1 A ' = M V 2 1 A x T R 2 1 ' / T R 2 1 A

M V 2 4 ' = - V 2 1 A x T R 2 4 ' / T R 2 1 A

そして動きべクトル M V 2 1 A'、動きべクトル M V 2 4 'を用いてピクチャ P 2 1 、ピクチャ P 2 4から 2方向予測を行う。

なお、参照ピクチャ P 2 4におけるブロック M B 2のピクチャ P 2 1 への前方向動きべクトル M V 2 1 Bのみを用い、ブロック M B 1 の動きべクトルを計算してもよい。また、実施の形態 1 から実施の形態 4で示したように、前方向動きべク卜ル M V 2 1 Aと前方向動きべクトル M V 2 1 Bとの両者を用いて、ブロック M B 1 に対する動きべクトルを決定しても良い。いずれも前方向動きベクトル M V 2 1 Aと前方向動きべクトル M V 2 1 Bとのいずれか一方を選択する場合に、いずれを選択するかは、時間的に先に符号化または復号化されている（符号列中に先に記述されている）動きべクトルを選択するようにしてもよいし、符号化装置、復号化装置で任意に設定してもよい。ここで、時間的に先に符号化または復号化されている動きべクトルとは、第 1動きベクトルのことを意味する。また、ピクチャ P 2 1 が短時間メモリ（Short Term Buffer) にあっても長時間メモリ（Long Term Buffer) にあっても、どちらでも動き補償することは可能である。短時間メモリ、長時間メモリについては、後述する。

なお、上記の動きベクトル M V 2 1 '、動きベクトル M V 2 4 '、動きべクトル M V 2 5 'および動きべクトル M V 2 1 A'の計算式においては. 各式のお辺を計算した後、所定の動きべクトルの精度に丸めても良い。動きベクトルの精度としては、 1 2画素、 1 3画素、 1 4画素精度等がある。またこの動きベクトルの精度は、例えば、ブロック単位、ピクチャ単位、シーケンス単位で決定することができる。

(実施の形態 6 )

本実施の形態 6においては、直接モードにおいて対象動きべクトルを決定するために用いた参照ピクチャが表示時間順で前方にある 2枚のピクチャを参照する 2つの前方向動きべクトルを持っている場合に、 2つの前方向動きべクトルのうち一方のみをスケーリングして対象動きべクトルを計算することができる方法について図 1 6から図 1 8を用いて説明する。なお、ブロック M B 1 が処理対象ブロックであり、ブロック M B 1 とブロック M B 2とはヒ°クチャ上で互いに同位置にあるブロックであり、動きべクトル M V 2 1 と動きべクトル M V 2 2とはブロック M B 2を符号化または復号化するときに用いた前方向動きべクトルであり、それぞれピクチャ P 2 1 、ピクチャ P 2 2を参照している。また、ピクチヤ P 2 1 、ピクチャ P 2 2、ピクチャ P 2 4は符号化済みピクチャまたは復号化済みピクチャである。また、時間間隔 T R 2 1 はピクチャ P 2 1 とピクチャ P 2 4との間の時間間隔、時間間隔 T R 2 2はピクチャ P 2 2とピクチャ P 2 4との間の時間間隔、時間間隔 T R 2 1 'はピクチャ P 2 1 とピクチャ P 2 3 との間の時間間隔、時間間隔 T R 2 2 'はピクチヤ P 2 2とピクチャ P 2 3との間の時間間隔を示す。

第 1 の方法としては、図 1 6に示すように参照ピクチャ P 2 4におけるブロック M B 2が、ピクチャ P 2 1 への前方向動きべクトル M V 2 1 と、ピクチャ P 2 2への前方向動きベクトル M V 2 2との 2つの前方向動きべクトルを有するとき、対象ピクチャ P 2 3に表示時間順で近いピクチャ P 2 2への動きべクトル MV 2 2のみを用い、ブロック MB 1 の動きべクトル MV 2 2'は以下の式により計算される。

M V 2 2 ' = M V 2 2 x T R 2 2 'ノ T R 2 2

そして動きべクトル MV 2 2 'を用いてピクチャ P 2 2から動き補償を行う。

第 2の方法としては、図 1 7に示すように参照ピクチャ P 24におけるブロック M B 2がピクチャ P 2 1 への前方向動きべクトル MV 2 1 とピクチャ P 2 2への前方向動きベクトル MV 2 2 との 2つの前方向動きべクトルを有するとき、対象ピクチャ P 23に表示時間順で遠いピクチャ P 2 1 への動きベクトル MV 2 1 のみを用い、ブロック M B 1 の動きべクトル MV 2 1 'は以下の式により計算される。

M V 2 1 ' = M V 2 1 X T R 2 1 ' / T R 2 1

そして動きべクトル MV 2 1 'を用いてピクチャ P 2 1 から動き補償を行う。

これら第 1 、第 2の方法により、動きべクトルを参照される参照ピクチヤ P 2 4に属するブロック M B 2は、 2つの動きべクトルのうちの片方のみを記憶しておくことで動き補償を実現することができるため、動きべクトル記憶部の容量を小さく抑えることが可能となる。

なお、前方向動きべクトル M V 2 1 を用いながら、実施の形態 1 と同様に表示時間順で近傍のピクチャであるピクチャ P 2 2から動き補償を行うこともできる。その時に用いる動きべクトル MV N (図示せず）は以下の式によリ計算される。

M V N = M V 2 1 X T R 2 2 '/T R 2 1

なお、第 3の方法として、図 1 8に示すように上記で求めた動きべクトル MV 2 1 'と動きべクトル MV 2 2'とを用いてそれぞれピクチャ P 2 1 とピクチャ P 2 2とから動き補償ブロックを取得し、その平均画像を動き補償における補間画像とする。

この第 3の方法により、計算量は増加するが、動き補償の精度は向上する。

さらに、上記動きべクトル M V Nと動きべクトル M V 2 2 'とを用いてピクチャ P 2 2から動き補償ブロックを取得し、その平均画像を動き補償における補間画像とすることもできる。

なお、本実施の形態においては、参照する動きべクトルに対してピクチヤ間の時間的距離を用いてスケ一リングすることにより、直接モードにおいて用いる動きべクトルを計算する場合について説明したが、これは参照する動きベクトルを定数倍して計算しても良い。ここで、定数倍に使用される定数は、複数ブロック単位または複数ピクチャ単位で符号化または復号化する場合に、変更可能としても良い。

なお、上記の動きベクトル M V 2 1 '、動きベクトル M V 2 2 '、動きべクトル M V Nの計算式においては、各式の右辺を計算した後、所定の動きベクトルの精度に丸めても良い。動きベクトルの精度としては、 1 2画素、 1 Z 3画素、 1 4画素精度等がある。またこの動きべクトルの精度は、例えば、ブロック単位、ピクチャ単位、シーケンス単位で決定することができる。

(実施の形態 7 )

上記実施の形態 6では直接モードにおいて符号化または復号化対象ブロックの動きべクトルを決定するために用いた参照ピクチャが、表示時間順で前方にある 2枚のピクチャを参照する 2つの前方向動きベクトルを持っている場合について述べたが、表示時間順で後方にある 2枚のピクチャを参照する 2つの後方向動きべクトル（第 2参照インデックスで参照ピクチャが指定される第 2動きベクトル）を持っている場合についても同様に、 2つの後方向動きべクトルのうち一方のみをスケーリングして対象動きベクトルを計算することができる。以下、図 1 9から図 2 2を用いて説明する。なお、ブロック M B 1 が処理対象ブロックであり、ブロック M B 1 とブロック M B 2とはピクチャ上で互いに同位置にあるブロックであり、動きべクトル MV 24と動きべクトル MV 2 5とは、動きべクトル M B 2を符号化または復号化するときに用いた後方向動きべクトル（第 2参照インデックスで参照ピクチヤが指定される第 2動きベクトル）である。また、ピクチャ P 2 1 、ピクチャ P 2 3、ピクチャ P 2 4およぴピクチャ P 2 5は符号化済みピクチャまたは復号化済みピクチャである。また、時間間隔 T R 24はピクチャ P 2 3とピクチャ P 24との間の時間間隔、時間間隔 T R 2 5はピクチャ P 2 3とピクチャ P 2 5との間の時間間隔、時間間隔 T R 2 4 'はピクチャ P 2 2とピクチ P 2 4との間の時間間隔、時間間隔 T R 25 'はピクチャ P 2 2とピクチヤ P 2 5との間の時間間隔を示す。

第 1 の方法としては、図 1 9に示すように参照ピクチャ P 23におけるブロック M B 2がピクチャ P 24への後方向動きべクトル MV 24とピクチャ P 2 5への後方向動きべクトル MV 2 5との 2つの後方向動きべクトルを有するとき、対象ピクチャ P 2 2に表示時間順で近いピクチャ P 24への後方向動きべクトル MV 24のみを用い、ブロック MB 1 の動きベクトル MV 2 4 'は以下の式により計算される。

M V 24 ' = M V 2 4 x T R 2 4'ノ T R 2 4

そして動きべクトル M V 2 4 'を用いてピクチャ P 2 4から動き補償を行う。

なお、後方向動きベクトル M V 2 4を用いながら、実施の形態 1 と同様に表示時間順で近傍のピクチャであるピクチャ P 2 3から動き補償を行うこともできる。その時に用いる動きベクトル MV N 1 (図示せず）は以下の式により計算される。 M V N 1 = M V 2 4 x T R N 1 /T R 24

第 2の方法としては、図 20に示すように参照ピクチャ P 2 3におけるブロック M B 2がピクチャ P 2 4への後方向動きべクトル MV 2 4とピクチャ P 2 5への後方向動きべク卜ル MV 2 5との 2つの後方向動きベクトルを有するとき、対象ピクチャ P 2 3に表示時間順で遠いピクチャ P 2 5への後方向動きべクトル MV 2 5のみを用い、ブロック M B 1 の動きべクトル MV 2 5 'は以下の式により計算される。

M V 2 5 ' = M V 2 5 x T R 2 5 'ZT R 2 5

そして動きべクトル MV 2 5 'を用いてピクチャ P 2 5から動き補償を行う。

これら第 1 、第 2の方法により、動きベクトルを参照される参照ピクチヤ P 2 3に属するブロック M B 2は、 2つの動きべクトルのうちの片方のみを記憶しておくことで動き補償を実現することができるため、動きべクトル記憶部の容量を小さく抑えることが可能となる。

なお、後方向動きべクトル M V 2 5を用いながら、実施の形態 1 と同様に表示時間順で近傍のピクチャであるピクチャ P 2 3から動き補償を行うこともできる。その時に用いる動きベクトル MV N 2 (図示せず）は以下の式によリ計算される。

M V N 2 = M V 2 5 X T R N 1 /T R 2 5

さらに、第 3の方法として、図 2 1 に示すように上記で求めた動きべクトル M V 2 4 'と動きべクトル MV 2 5 ' を用いてそれぞれピクチャ P 24とピクチャ P 2 5とから動き補償ブロックを取得し、その平均画像を動き補償における補間画像とする。

この第 3の方法によリ、計算量は増加するが、対象ピクチャ P 2 2の精度は向上する。

なお、上記動きべクトル MV N 1 と動きべクトル MV N 2とを用いてピクチャ P 2 4から動き補償ブロックを取得し、その平均画像を動き補償における補間画像とすることもできる。

また、図 2 2に示すように直接モードにおいて対象動きべク卜ルを決定するために用いた参照ピクチャが表示時間順で後方にある 1枚のピクチヤを参照する 1 つの後方向動きべクトルを持っている場合は、例えば以下の式により動きべクトル MV 2 4 'は計算される。

M V 2 4 ' = M V 2 4 x T R 2 4 ' / T R 2 4

そして動きベクトル M V 2 4 'を用いてピクチャ P 2 4から動き補償を行う。

なお、後方向動きべクトル M V 2 5を用いながら、実施の形態 1 と同様に表示時間順で近傍のピクチャであるピクチャ P 2 3から動き補償を行うこともできる。その時に用いる動きべクトル M V N 3 (図示せず）は以下の式によリ計算される。

M V N 3 = M V 2 4 X T R N 1 /T R 2 4

なお、本実施の形態においては、図 1 9から図 2 2を用いて、表示時間順で後方にある 2枚のピクチャを参照する 2つの後方向動きベクトルを持っている場合、および表示時間順で後方にある 1 枚のピクチャを参照する 1 つの後方向動きべクトルを持っている場合に、その後方向動きべクトルをスケーリングして対象動きべクトルを計算する場合について説明したが、これは後方動きベクトルを用いず、同一ピクチャ内の周辺ブロックの動きべクトルを参照して対象動きべクトルを計算しても良いし、ピクチャ内符号化が行われている場合に同一ピクチャ内の周辺プロックの動きべクトルを参照して対象動きべクトルを計算しても良い。まず、第 1 の計算方法について述べる。図 2 3は、その際に参照する動きべクトルと対象ブロックとの位置関係を示したものである。ブロック M B 1 が対象ブロックであり、 A、 B、 Cの位置関係にある 3つの画素を含むブロックの動きべクトルを参照する。ただし、画素 Cの位置が画面外であったリ、符号化ノ復号化が済んでいない状態であったりして参照不可となる場合には、画素 Cを含むブロックの代わりに画素 Dを含むブロックの動きべクトルを用いるものとする。参照の対象となった A、 B、 Cの画素を含む 3つのブロックが持つ動きベクトルの中央値を取ることによって、実際に直接モードにおいて使用する動きベクトルとする。

3つのブロックが持つ動きべクトルの中央値を取ることにより、 3つの動きべクトルのうちどの動きべクトルを選択したかという付加情報を符号列中に記述する必要がなく、かつブロック M B 1 の実際の動きに近い動きを表現する動きべクトルを得ることができる。この場合、決定した動きベクトルを用いて、前方参照（第 1 参照ピクチャへの参照）のみで動き補償しても良いし、その決定した動きべクトルと平行な動きべク卜ルを用いて、 2方向参照（第 1参照ピクチャおよび第 2参照ピクチャへの参照）で動き補償しても良い。

次に、第 2の計算方法について述べる。

第 2の計算方法では第 1 の計算方法のように中央値を取らずに、参照の対象となった A、 B、 Cの画素を含む 3つのブロックが持つ動きべクトルの中から、符号化効率が一番高くなる動きべクトルを取ることによつて実際に直接モードにおいて使用する動きベクトルとする。この場合、決定した動きべクトルを用いて、前方参照（第 1参照ピクチャへの参照）のみで動き補償しても良いし、その決定した動きべクトルと平行な動きベクトルを用いて、 2方向参照（第 1参照ピクチャと第 2参照ピクチャとを用いた参照）で動き補償しても良い。符号化効率の一番高い動きべクトルを示す情報は、例えば図 2 4 ( a ) に示すように、モード選択部 1 0 7から出力される直接モードを示す情報とともに、符号列生成部 1 0 3によって生成される符号列におけるプロックのヘッダ領域に付加される。なお、図 2 4 ( b ) に示すように符号化効率の一番高いベクトルを示す情報はマクロブロックのヘッダ領域に付加してもよい。また、符号化効率の一番高い動きべクトルを示す情報とは、例えば、参照の対象となった画素を含むブロックを識別する番号であって、ブロック毎に与えられる識別番号である。また、識別番号でプロックが識別されるとき、ブロック毎に与えた識別番号を 1 つだけ用いて、その 1 つの識別番号に対応するブロックを符号化したときに用いた動きベクトルのうち一方のみを用いて符号化効率が一番高くなる動きベクトルを示すようにしても. 動きべクトルが複数あるときに複数の動きべクトルを用いて符号化効率が一番高くなる動きベクトルを示すようにしてもよい。または、 2方向参照（第 1 参照ピクチャおよび第 2参照ピクチャへの参照）のそれぞれの動きべクトル毎にブロック毎に与えられた識別番号を用いて、符号化効率が一番高くなる動きべクトルを示すようにしてもよい。このような動きべクトルの選択方法を用いることにより、必ず符号化効率が一番高くなる動きべクトルを取ることができる。ただし、どの動きべクトルを選択したかを示す付加情報を符号列中に記述しなければならないため、そのための符号量は余分に必要となる。さらに、第 3の計算方法について述べる。

第 3の計算方法では、動きべクトルが参照する参照ピクチャの参照ィンデックスの値が一番小さくなる動きべクトルを直接モードにおいて使用する動きべクトルとする。参照インデックスが最小であるということは、一般的には表示時間順で近いピクチャを参照している、または符号化効率が最も高くなる動きベクトルである。よって、このような動きべクトルの選択方法を用いることにより、表示時間順で最も近い、または符号化効率が最も高くなるピクチャを参照する動きべクトルを用いて、直接モードで用いる動きべクトルを生成することになリ、符号化効率の向上を図ることができる。

なお、 3本の動きべクトルのうち 3本とも同一の参照ピクチャを参照している場合は、 3本の動きべクトルの中央値をとるようにすればよいまた、 3本の動きべクトルのうち参照インデックスの値が一番小さい参照ピクチャを参照する動きベクトルが 2本ある場合は、例えば、 2本の動きべクトルのうち、どちらか一方を固定的に選択するようにすればよい。図 2 3を用いて例を示すとすれば、画素 Α、画素 Βおよび画素 Cを含む 3つのブロックが持つ動きべクトルのうち、画素 Αおよび画素 Βを含む 2つのブロックが参照インデックスの値が一番小さく、かつ同一の参照ピクチャを参照する場合、画素 Aを含むブロックが持つ動きべクトルをとるようにするとよい。ただし、それぞれ画素 A、画素 B、画素 C を含む 3つのブロックが持つ動きベクトルのうち、画素 A、画素 Cを含む 2つのプロックが参照ィンデックスの値が一番小さく、かつ同一の参照ピクチャを参照する場合、ブロック B L 1 に位置関係で近い画素 Aを含むブロックが持つ動きべクトルをとるようにするとよい。

なお、上記中央値は、各動きべクトルの水平方向成分と垂直方向成分それぞれに対して中央値をとるようにしてもよいし、各動きべクトルの大きさ（絶対値）に対して中央値をとるようにしてもよい。

また、動きべクトルの中央値は図 2 5に示すような場合、後方の参照ピクチャにおいてブロック B L 1 と同位置にあるブロックと、画素 A , 画素 B、画素 Cそれぞれを含むブロックと、さらに図 2 5に示す画素 D を含むブロック、これら合計 5つのブロックが有する動きべクトルの中央値を取るようにしてもよい。このように符号化対象画素の周囲に近い、後方の参照ピクチャにおいてブロック B L 1 と同位置にあるブロックを用いたときには、ブロック数を奇数にするために画素 Dを含むブロックを用いると、動きべクトルの中央値を算出する処理を簡単にすることができる。なお、後方の参照ピクチャにおいてブロック B L 1 と同位置にある領域に複数のプロックがまたがっている場合、この複数のブロックのうちブロック B L 1 と重なる領域が最も大きいブロックにおける動きべクトルを用いてブロック B L 1 の動き補償をしてもよいし、あるいはブロック B L 1 を後方の参照ピクチャにおける複数のプロックの領域に対応して分けて、分けたブロック毎にブロック B L 1 を動き補償するようにしてもよい。

さらに、具体的な例を挙げて説明する。

図 2 6や図 2 7に示すように画素 A，画素 B, 画素 Cを含むブロック全てが符号化対象ピクチャより前方のピクチャを参照する動きべクトルの場合、上記第 1 の計算方法から第 3の計算方法まで、いずれを用いてもよい。

同様に、図 2 8や図 2 9に示すように画素 A, 画素 B, 画素 Cを含むプロック全てが符号化対象ピクチャよリ後方のピクチャを参照する動きベクトルの場合、上記第 1 の計算方法から第 3の計算方法まで、いずれを用いてもよい。

次に、図 3 0に示す場合について説明する。図 3 0は、画素 A，画素 B, 画素 Cそれぞれを含むブロック全てが符号化対象ピクチャより前方と後方のピクチャを参照する動きベクトルを 1 本ずつ有する場合を示す, 上記第 1 の計算方法によれば、ブロック B L 1 の動き補償に用いる前方の動きべクトルは動きべクトル MV A f 、動きべクトル MV B f 、動きべクトル MV C f の中央値により選択され、ブロック B L 1 の動き補償に用いる後方の動きべクトルは動きべクトル MV A b、動きべクトル MV B b、動きベクトル M V C bの中央値により選択される。なお、動きべクトル MV A f は画素 Aを含むブロックの前方向動きべクトル、動きべクトル M V A bは画素 Aを含むブロックの後方向動きべクトル、動きべク卜ル M V B f は画素 Bを含むブロックの前方向動きべク卜ル、動きべク卜ル M V B bは画素 Bを含むブロックの後方向動きべクトル、動きべクトル M V C f は画素 Cを含むブロックの前方向動きべクトル、動きべクトル M V C bは画素 Cを含むブロックの後方向動きべクトルである。また、動きべクトル M V A f 等は、図示するようなピクチャを参照する場合に限られない。これらは以下の説明でも同様である。

上記第 2の計算方法によれば、動きベクトル M V A f 、動きベクトル M V B f 、動きべクトル M V C f の前方参照の動きべクトルの中から符号化効率が一番高くなる動きベクトルと、動きベクトル M V A b、動きべクトル M V B b、動きべクトル M V C bの後方参照の動きべクトルの中から符号化効率が一番高くなる動きベクトルとを取ることによって実際に直接モードにおいて使用する動きベクトルとする。この場合、動きべクトル M V A f 、動きべクトル M V B f 、動きべクトル M V C f の前方参照の動きべクトルの中から符号化効率が一番高くなる動きべクトルを用いて、前方参照のみで動き補償しても良いし、その決定した動きべクトルと平行な動きべクトルを用いて、 2方向参照で動き補償しても良い。なお、符号化効率が一番高くなるように、前方参照と後方参照の動きベクトルそれぞれについて選択せず、 1 つのブロックを選択し、そのブロックが有する前方参照と後方参照の動きベクトルを用いて動き補償しても良い。このとき、符号化効率が一番高くなるように選択された前方参照の動きべクトルを有する画素を有するブロックと、符号化効率が一番高くなるように選択された後方参照の動きベクトルを有する画素を有するブロックとを示す情報を選択する場合に比べて、選択を示す情報が少なくて済むため、符号化効率を向上させることができる。また、この 1 つのプロックの選択は、 ①前方参照の動きべクトルが参照するピクチヤの参照インデックスの値が一番小さくなる動きベクトルを有する画素を含むブロックとする、 ②各画素を有するプロックの前方参照の動きべクトルが参照するピクチャの参照ィンデックスの値と、後方参照の動きべクトルが参照するピクチャの参照ィンデックスの値とを加算し、加算した値が最小となるプロックとする、 ③前方参照の動きべクトルが参照するピクチャの参照インデックスの中央値をとリ、中央値を有する前方参照の動きべクトルを有する画素を含むブロックとし、後方参照の動きべクトルは、このブロックの有する後方参照の動きべクトルとする、 ④後方参照の動きべクトルが参照するピクチャの参照ィンデックスの中央値をとリ、中央値を有する後方参照の動きべクトルを有する画素を含むブロックとし、前方参照の動きベクトルは、このブロックの有する前方参照の動きべクトルとする、のいずれかを採用すればよい。なお、後方参照の動きべクトルが全て同一のピクチャを参照している場合は、上記①と③のプロックの選択方法が適している。

上記第 3の計算方法では、動きべクトル M V A f 、動きべクトル M V B f 、動きべクトル M V C f の前方参照の動きべクトルが参照する参照ピクチャの参照インデックスの値が一番小さくなる動きベクトルを直接モードにおいて使用する前方参照（第 1 の参照）の動きベクトルとする。または、動きべクトル M V A b、動きべクトル M V B b、動きべクトル M V C bの後方参照の動きベクトルが参照する参照ピクチャの参照インデックスの値が一番小さくなる動きべクトルを直接モードにおいて使用する後方参照（第 2の参照）の動きべクトルとする。なお、第 3の計算方法では、参照ピクチャの参照ィンデックスの値が一番小さくなる前方参照の動きべクトルをブロック B L 1 の前方参照の動きべクトルとし、参照ピクチャの参照ィンデックスの値が一番小さくなる後方参照の動きべクトルをブロック B L 1 の後方参照の動きべクトルとしたが、参照ピクチャの参照インデックスの値が一番小さくなる前方または後方のいずれか一方を用いてブロック B L 1 の 2つの動きべクトルを導出し、導出された動きべクトルを用いてブロック B L 1 を動き補償しても良い。次に、図 3 1 に示す場合について説明する。図 3 1 は、画素 Aが前方と後方のピクチャを参照する動きべクトルを 1本ずつ有し、画素 Bが前方のピクチャを参照する動きべクトルのみを有し、画素 Cが後方のピクチヤを参照する動きべクトルのみを有する場合を示す。

このように一方のピクチャを参照する動きベクトルのみ有する画素を含むブロックがあるとき、このブロックの他方のピクチャを参照する動きべクトルが 0であるとして、動き補償するために上記図 3 0での計算方法を用いれば良い。具体的には、図 3 0での第 1 の計算方法または第 3の計算方法を用い、 MV C f = M V B b = 0として計算すればよい。すなわち、第 1 の計算方法では、ブロック B L 1 の前方向動きべクトルを計算するときには、画素 Cが前方のピクチャを参照する動きべクトル MV C f を MV C f = 0として、動きベクトル MV A f 、動きベクトル MV B f および動きべクトル MV C f の中央値を計算する。また、プロック B L 1 の後方向動きべクトルを計算するときには、画素 Bが後方のピクチャを参照する動きべクトル MV B bを MV B b = 0として、動きべクトル MV A b、動きべクトル M V B bおよび動きべクトル M V C b の中央値を計算する。

第 3の計算方法では、画素 Cが前方のピクチャを参照する動きべクトル MV C f と画素 Bが後方のピクチャを参照する動きべクトル M V B b とを MV C f =MV B b = 0として、ブロック B L 1 の動きべクトルカ参照する参照ピクチャの参照ィンデックスの値が一番小さくなる動きべクトルを計算する。例えば、画素 Aを含むプロックが第 1 参照ィンデックス「 0」のピクチャを参照し、画素 Bを含むブロックが第 1参照インデックス「 1 」のピクチャを参照している場合、最小の第 1参照インデックスの値は「 0」である。従って、画素 Bを含むブロックの前方のピりチャを参照する動きべクトル M V B f だけが、最小の第 1参照ィンデックスを有するピクチャを参照しているので、動きべクトル M V B f をブロック B L 1 の前方向動きベクトルとする。また、例えば、画素 A、画素 Cのいずれもが第 2参照インデックスが最小の、例えば、第 2参照インデックスが「 0」の後方ピクチャを参照している場合、画素 Bが後方のピクチャを参照する動きべクトル M V B bを MV B b = 0として、動きべク卜ル M V A b、動きべク卜ル M V B bおよび動きべク卜ル M V C bの中央値を計算する。計算の結果得られた動きべクトルをブロック B L 1 の後方向動きベクトルとする。

次に、図 3 2に示す場合について説明する。図 3 2は、画素 Aが前方と後方のピクチャを参照する動きべクトルを 1 本ずつ有し、画素 Bが前方のピクチャを参照する動きべク卜ルのみを有し、画素 Cが動きべク卜ルを有さず、画面内符号化される場合を示す。

このように、参照対象となった画素 Cを含むブロックが画面内符号化されているとき、このブロックの前方と後方のピクチャを参照する動きべクトルを共に「 0」であるとして、動き補償するために上記図 3 0での計算方法を用いれば良い。具体的には、 M V C f = M V C b = 0として計算すればよい。なお、図 3 0の場合は、 M V B b = 0である。

最後に、図 3 3に示す場合について説明する。図 3 3は、画素 Cが直接モードによって符号化されている場合について示している。

このように、参照対象となった画素に、直接モードによって符号化されているブロックがあるとき、直接モードによって符号化されているブロックが符号化されるときに用いられた動きべクトルを用いた上で、上記図 3 0での計算方法を用いてブロック B L 1 の動き補償をするとよいなお、動きべクトルが前方参照と後方参照のどちらかであるかは、参照されるピクチャと符号化されるピクチャ、それぞれのピクチャが有する時間情報によって決まる。よって、前方参照と後方参照を区別した上で、動きべクトルを導出する場合は、それぞれのブロックが有する動きべクトルが、前方参照と後方参照のどちらかであるかを、それぞれのピクチャが有する時間情報によって判断する。

さらに、上記で説明した計算方法を組み合わせた例について説明する。図 3 4は直接モードにおいて使用する動きべクトルを決定する手順を示す図である。図 3 4は参照インデックスを用いて動きべクトルを決定する方法の一例である。なお、図 3 4に示す R i dxO、 R i dx 1 は上記で説明した参照インデックスである。図 3 4 ( a ) は第 1 参照インデックス R i dxO によって動きベクトルを決定する手順を示しており、図 3 4 ( ) は第 2参照インデックス R i dx l によって動きベクトルを決定する手順を示している。まず、図 3 4 ( a ) について説明する。

ステップ S3701 において画素 Aを含むブロック、画素 Bを含むブロックおよび画素 Cを含むブロックのうち、第 1参照インデックス R i dxOを用いてピクチャを参照するブロックの数を計算する。

ステップ S3701 において計算されたプロックの数が Γ 0 J であれば、さらにステップ S3702において第 2参照インデックス R ί dx 1 を用いてピクチャを参照するブロックの数を計算する。ステップ S3702において計算されたブロックの数が「0」であれば、 S3703 において符号化対象ブロックの動きべクトルを「 0」として符号化対象ブロックを 2方向で動き補償をする。一方ステツプ S3702において計算されたプロックの数が Γ 1 」以上であれば、 S3704において第 2参照インデックス R i dx 1 が存在するブロックの数によって符号化対象ブロックの動きベクトルを決定する。例えば、第 2参照インデックス R i dx l が存在するブロックの数によって決定された動きベクトルを用いて符号化対象ブロックの動き補償を行う。

ステップ S3701 において計算されたブロックの数が Γ 1 j であれば、 S3705 において第 1参照ィンデックス RidxO が存在するプロックの動きべクトルを使用する。

ステップ S3701 において計算されたブロックの数が Γ 2 J であれば、 S3706 において第 1参照ィンデックス RidxO が存在しないブロックについて仮に第 1参照インデックス R i dxOに MV=0の動きべクトルがあるものとして、 3本の動きべクトルの中央値にあたる動きべクトルを使用する。ステップ S3701 において計算されたブロックの数が「 3」であれば、 S3707 において 3本の動きべクトルの中央値にあたる動きべクトルを使用する。なお、ステップ S3704.における動き補償は、 1 本の動きべクトルを用いて 2方向の動き補償をしてもよい。ここでの 2方向の動き補償は、 1 本の動きべクトルと同一方向の動きべクトルと反対方向の動きべクトルとをこの 1本の動きべクトルを例えばスケーリングすることによつて求めた上で行ってもよいし、あるいは 1 本の動きベクトルと同一方向の動きべクトルと動きべクトルが「 0」の動きべクトルとを用いて行つてもよい。次に、図 3 4 ( b ) について説明する。

ステップ S3711 において第 2参照ィンデックス Ridxl が存在するプロックの数を計算する。

ステップ S3711 において計算されたブロックの数が Γ 0 J であれば、さらにステップ S3712において第 1参照ィンデックス RidxOが存在するブロックの数を計算する。ステップ S3712において計算されたプロックの数が「 0」であれば、 S3713 において符号化対象ブロックの動きべクトルを「 0」として符号化対象ブロックを 2方向で動き補償する。一方ステップ S3712において計算されたブロックの数が Γ 1 」以上であれば、 S3714において第 1参照ィンデックス RidxOが存在するプロックの数によって符号化対象ブロックの動きベクトルを決定する。例えば、第 1参照インデックス R i dxOが存在するプロックの数によって決定された動きべクトルを用いて符号化対象ブロックの動き補償を行う。

ステップ S371 1 において計算されたブロックの数が Γ 1 j であれば、 S371 5 において第 2参照インデックス R ί dx 1 が存在するブロックの動きベクトルを使用する。

ステップ S371 1 において計算されたプロックの数が Γ 2 J であれば、 S371 6 において第 2参照ィンデックス R i dx l が存在しないプロックについて仮に第 2参照インデックス R i dxlに MV=0の動きべクトルがあるものとして、 3本の動きべクトルの中央値にあたる動きべクトルを使用する。ステップ S371 1 において計算されたプロックの数が Γ 3 j であれば、 S371 7 において 3本の動きべクトルの中央値にあたる動きべクトルを使用する。なお、ステップ S371 4における動き補償は、 1 本の動きべクトルを用いて 2方向の動き補償をしてもよい。ここでの 2方向の動き補償は、 1 本の動きベクトルと同一方向の動きベクトルと反対方向の動きべクトルとをこの 1 本の動きべクトルを例えばスケーリングすることによつて求めた上で行ってもよいし、あるいは 1 本の動きべクトルと同一方向の動きべクトルと動きべクトルが「 0」の動きべクトルとを用いて行つてもよい。

なお、図 3 4 ( a ) と図 3 4 ( b ) それぞれについて説明したが、両方の処理を用いてもよいし、一方の処理のみを用いても良い。ただし、 —方の処理を用いる場合、例えば、図 3 4 ( a ) に示すステップ S3701 から始まる処理を行う場合で、さらにステップ S3704の処理に至る場合は、図 3 4 ( b ) に示す S371 1 の処理以下を行うと良い。また、このように、 S3704の処理に至る場合は、ス亍ップ S371 1 以下の処理のうちステツプ S371 2以下の処理を行うことが無いため、動きべクトルを一意に决定することができる。また、図 3 4 ( a ) と図 3 4 ( b ) の両方の処理を用いる場合、どちらの処理を先にしてもよく、また併せて行っても良い。また、符号化対象ブロックの周囲にあるブロックが直接モードによって符号化されているブロックであるとき、直接モードによって符号化されているブロックが符号化されたときに用いられた動きべクトルカ参照していたピクチャの参照インデックスを、直接モードによって符号化されているブロックであって符号化対象ブロックの周囲にあるブロックが有しているものとしてもよい。

以下、具体的なブロックの例を用いて動きべクトルの決定方法について詳しく説明する。図 3 5は符号化対象ブロック B L 1 が参照するプロックそれぞれが有する動きベクトルの種類を示す図である。図 35 ( a ) において、画素 Aを有するブロックは画面内符号化されるブロックであリ、画素 Bを有するブロックは動きベクトルを 1本有し、この 1本の動きべクトルで動き補償されるブロックであり、画素 Cを有するブロックは動きべクトルを 2本有して 2方向で動き補償されるブロックである。また、画素 Bを有するブロックは第 2参照インデックス R i dx l に示される動きべクトルを有している。画素 Aを有するブロックは画面内符号化されるブロックであるため、動きベクトルを有さず、すなわち参照インデックスも有さない。

ステップ S3701 において第 1参照インデックス R i dxOが存在するプロックの数を計算する。図 35 に示すように第 1参照インデックス R i dxO が存在するブロックの数は 2本であるため、ステップ S3706において第 1参照ィンデックス R i dxOが存在しないプロックについて仮に第 1参照インデックス R i dxOに MV=0の動きべクトルがあるものとして、 3本の動きベクトルの中央値にあたる動きベクトルを使用する。この動きべクトルのみを用いて符号化対象プロックを 2方向の動き補償をしてもよいし, または、以下に示すように第 2参照インデックス R i dx1 を用いて別の動きベクトルを用いて、 2方向の動き補償をしてもよい。

ステップ S3711 において第 2参照インデックス Ridxl が存在するプロックの数を計算する。図 35 に示すように第 2参照インデックス Ridxl が存在するブロックの数は 1 本であるため、ステップ S3715において第 2参照インデックス Ridxl が存在するブロックの動きべクトルを使用する。

さらに、上記で説明した計算方法を組み合わせた別の例について説明する。図 3 6は画素 A、 B、 Cそれぞれを有するブロックが有する動きベクトルが参照するピクチャを示す参照インデックスの値によって、符号化対象ブロックの動きべクトルを決定する手順を示す図である。図 3 6 ( a ) ( b ) は第 1 参照インデックス RidxOを基準に動きべクトルを决定する手順を示す図であり、図 3 6 ( c ) ( d ) は第 2参照インデックス Ridxl を基準に動きべクトルを決定する手順を示す図である。また、図 3 6 ( a ) が第 1参照インデックス RidxOを基準にした手順を示しているところを図 3 6 ( c ) は第 2参照インデックス Ridxl を基準にした手順を示しており、図 3 6 ( b ) が第 1参照インデックス Ri dxOを基準にした手順を示しているところを図 3 6 ( d ) は第 2参照インデックス Ridxl を基準にした手順を示しているため、以下の説明では図 3 6 ( a ) と図 3 6 ( b ) のみについて説明する。まず図 3 6 ( a ) について説明する。

ステップ S3801 において有効な第 1参照インデックス R i dxOの中で最小の第 1参照ィンデックス RidxOを 1 つ選択できるか判断する。

ステツプ S3801 において有効な第 1参照ィンデックス RidxOの中で最小の第 1参照ィンデックス RidxOを 1 つ選択できる場合、ステツプ S3802 において選択された動きべクトルを使用する。ステップ S3801 において有効な第 1参照ィンデックス RidxOの中で最小の第 1参照インデックス R i dxOが複数ある場合、ステップ S3803において優先順位によって選択されたブロックが有する動きベクトルを使用する。ここで、優先順位とは、例えば画素 Aを有するブロック、画素 B を有するブロック、画素 Cを有するブロックの順で符号化対象ブロックの動き補償に使用する動きべクトルを決定する。

ステップ S3801 において有効な第 1参照ィンデックス RidxOがない場合、ステップ S3804において S3802や S3803とは違う処理を行う。例えば、図 3 4 ( b ) で説明したステップ S3711 以下の処理をすればよい。次に、図 3 6 ( b ) について説明する。図 3 6 ( b ) が図 3 6 ( a ) と異なる点は、図 3 6 ( a ) におけるステップ S3803 とステップ S3804における処理を図 3 6 ( b ) に示すステップ S3813とした点である。

ステップ S3811 において有効な第 1 参照インデックス R i dxOの中で最小の第 1参照ィンデックス RidxOを 1 つ選択できるか判断する。

ステップ S3811 において有効な第 1 参照インデックス R ί dxOの中で最小の第 1参照インデックス RidxOを 1 つ選択できる場合、ステップ S3812 において選択された動きべクトルを使用する。

ステップ S3811 において有効な第 1 参照ィンデックス RidxOがない場合、ステップ S3813において S3812 とは違う処理を行う。例えば、図 3 4 ( b ) で説明したステップ S3711 以下の処理をすればよい。

なお、上記で示した有効な第 1 参照インデックス RidxO とは図 3 5 ( b ) で Γ〇」が記されている第 1 参照インデックス R i dxOのことであリ、動きべクトルを有していることが示されている参照インデックスのことである。また、図 3 5 ( b ) 中、「 xj が記されているところは、参照インデックスが割り当てられていないことを意味する。また、図 3 6 ( c ) におけるステップ S3824、図 3 6 ( d ) におけるステップ S3833 では、図 3 4 ( a )で説明したステップ S 3701 以下の処理をすればよい。以下、具体的なブロックの例を用いて動きべクトルの決定方法について図 3 5を用いて詳しく説明する。

ステツプ S3801 において有効な第 1 参照ィンデックス RidxOの中で最小の第 1 参照ィンデックス RidxOを 1 つ選択できるか判断する。

図 3 5に示す場合、有効な第 1参照インデックス RidxOは 2つあるが、ステップ S3801 において有効な第 1参照ィンデックス RidxOの中で最小の第 1参照ィンデックス RidxO を 1 つ選択できる場合、ステップ S3802 において選択された動きべクトルを使用する。

ステップ S3801 において有効な第 1参照インデックス R i dxOの中で最小の第 1 参照インデックス RidxOが複数ある場合、ステップ S3803において優先順位によって選択されたプロックが有する動きべクトルを使用する。ここで、優先順位とは、例えば画素 Aを有するブロック、画素 B を有するブロック、画素 Cを有するブロックの順で符号化対象ブロックの動き補償に使用する動きべクトルを決定する。画素 Bを有するブロックと画素 Cを有するブロックとで同一の第 1 参照インデックス RidxOを有する場合、優先順位によリ画素 Bを有するプロックにおける第 1参照インデックス RidxOが採用され、この画素 Bを有するブロックにおける第 1参照インデックス RidxOに対応した動きベクトルを用いて符号化対象ブロック BL1 の動き補償がされる。このとき、決定された動きべクトルのみを用いて符号化対象ブロック BL1 を 2方向で動き補償してもよいし、以下に示すように第 2参照インデックス Ridxl を用いて別の動きべクトルを用いて、 2方向の動き補償をしてもよい。

ステップ S3821 において有効な第 2参照インデックス Ridxl の中で最小の第 2参照ィンデックス Ridxl を 1 つ選択できるか判断する。

図 3 5に示す場合、有効な第 2参照インデックス Ridxl は 1 つであるため、ステップ S3822において画素 Cを有するブロックにおける第 2参照インデックス R i dx1 に対応した動きべク卜ルを使用する。

なお、上記で参照インデックスを有さないブロックについて、動きべクトルの大きさが「 0」の動きベクトルを有しているものとして、合計 3つの動きベクトルの中央値をとるようにした点に関しては、動きべクトルの大きさが「 0」の動きべクトルを有しているものとして、合計 3 つの動きべクトルの平均値をとるようにしても、参照インデックスを有するブロックが有する動きべクトルの平均値をとるようにしてもよい。なお、上記で説明した優先順位を、例えば画素 Bを有するブロック、画素 Aを有するブロック、画素 Cを有するブロックの順とし、符号化対象ブロックの動き補償に使用する動きベクトルを決定するようにしてもよい。

このように、参照インデックスを用いて符号化対象ブロックを動き補償をするときに用いる動きべクトルを決定することにより、動きべク卜ルを一意に決定することができる。また、上述の例に拠れば、符号化効率の向上も図ることが可能である。また、時刻情報を用いて動きべクトルが前方参照か後方参照かを判断する必要が無いため、動きべクトルを決定するための処理を簡略させることができる。また、ブロック毎の予測モード、動き補償で用いられる動きべクトル等を考慮すると多くのパターンが存在するが、上述のように一連の流れによって処理することができ有益である。

なお、本実施の形態においては、参照する動きべクトルに対してピクチヤ間の時間的距離を用いてスケーリングすることによリ、直接モードにおいて用いる動きべクトルを計算する場合について説明したが、これは参照する動きベクトルを定数倍して計算しても良い。ここで、定数倍に使用される定数は、複数ブロック単位または複数ピクチャ単位で符号化または復号化する場合に、変更可能としても良い。

なお、参照インデックス R i dx0, R i dx 1 を用いた動きべクトルの計算方法は、中央値を用いた計算方法だけでなく、他の計算方法と組み合わせてもよい。例えば、前述の第 3の計算方法において、それぞれ画素 A、画素 B、画素 Cを含むブロックのうち、参照インデックスが最小となる同じピクチャを参照する動きべクトルが複数ある場合に、必ずしもそれらの動きべクトルの中央値を計算する必要はなく、それらの平均値を計算し、得られた動きベクトルを、ブロック B L 1 の直接モードにおいて用いる動きベクトルとしてもよい。あるいは、参照インデックスが最小となる複数の動きべク小ルの中から、例えば、符号化効率が最も高くなる動きべクトルを 1 つ選択するとしてもよい。

また、ブロック B L 1 の前方向動きべクトルと後方向動きべクトルとをそれぞれ独立して計算してもよいし、関連付けて計算してもよい。例えば、前方向動きべクトルと後方向動きべクトルとを同じ動きべクトルから計算してもよい。

また、計算の結果得られた前方向動きべクトルと後方向動きべクトルとのいずれか一方をブロック B L 1 の動きべクトルとしてもよい。 (実施の形態 8 )

本実施の形態では、参照ピクチャの参照ブロック M Bが、長時間メモリに保存されている参照ピクチャを第 1参照ピクチャとして参照する前方向（第 1 ) 動きベクトルと、短時間メモリに保存されている参照ピクチヤを第 2参照ピクチャとして参照する後方向（第 2 ) 動きベクトルとを有している。

図 3 7は長時間メモリに参照ピクチャが 1 つだけ保存されている場合の直接モードにおける 2方向予測を示す図である。

実施の形態 8がこれまでの複数の実施の形態と異なる点は、参照ピクチヤのブロック MB2の前方向（第 1 ) 動きべクトル MV21 が長時間メモリに保存されている参照ピクチャを参照している点である。

短時間メモリは、一時的に参照ピクチャを保存するためのメモリであリ、例えぱピクチャがメモリに保存された順番（すなわち符号化または復号化の順序）でピクチャが保存されている。そして、ピクチャを短時間メモリに新しく保存する際にメモリ容量が足りない場合には、最も古くメモリに保存されたピクチャから順に削除する。

長時間メモリでは、必ずしも短時間メモリのように時刻の順番でピクチヤが保存されているとは限らない。例えば、画像を保存する順番としては画像の時刻の順番を対応させても良いし、画像が保存されているメモリのアドレスの順番を対応させても良い。したがって、長時間メモリに保存されているピクチャを参照する動きべクトル M21 を時間間隔に基づいてスケ一リングすることはできない。

長時間メモリは短期間メモリのように一時的に参照ピクチャを保存するためのものではなく、継続的に参照ピクチャを保存するためのものである。したがって、長時間メモリに保存されている動きべクトルに対応する時間間隔は、短時間メモリに保存されている動きべクトルに対応する時間間隔より相当大きい。

図 3 7において、長時間メモリと短時間メモリの境界は図示した通り、縦の点線で示されており、これより左のピクチャに関する情報は長時間メモリに保存され、これよリ右のピクチャに対する情報は短時間メモリに保存される。ここでピクチャ P 2 3のブロック M B 1 が対象ブロックである。また、ブロック M B 2はブロック M B 1 と参照ピクチャ P 2 4 内において同じ位置にある参照ブロックである。参照ピクチャ P 2 4のブロック MB2 の動きべクトルのうち前方向（第 1 ) 動きべクトル MV21 は長時間メモリに保存されているピクチャ P 2 1 を第 1 参照ピクチャとして参照する第 1動きべクトルであり、後方向（第 2 )動きべクトル MV25 は短時間メモリに保存されているピクチャ P 2 5を第 2参照ピクチャとして参照する第 2動きべクトルである。

前述の通り、ピクチャ P 2 1 とピクチャ P 2 4との時間間隔 TR21 は、長時間メモリに保存されているピクチャを参照する動きべクトル MV21 に対応し、ピクチャ P 2 4とピクチャ P 2 5 との時間間隔 TR25は、短時間メモリに保存されているピクチャを参照する動きベクトル MV25 に対応し、ピクチャ P 2 1 とピクチャ P 2 4との時間間隔 TR21 は、ピクチャ P 2 4とピクチャ P 2 5との時間間隔 TR25より相当大きいか、不定となることがある。

したがって、これまでの実施の形態のように参照ピクチャ P 2 4のブロック MB2の動きべクトルをスケーリングして対象ピクチャ P 2 3のブロック MB 1 の動きべクトルを求めるのではなく、以下のような方法で対象ピクチャ P 2 3のブロック MB 1 の動きべク卜ルを計算する。

MV21 = MV21 '

MV24' = 0

上の式は、参照ピクチャ P 2 4のブロック MB2の動きべクトルのうち長時間メモリに保存されている第 1 動きべクトル MN21 をそのまま対象ピクチャの第 1 動きベクトル MV21 'とするということを表している。下の式は、短時間メモリに保存されているピクチャ P 2 4への、対象ピクチャ P23のブロック MB1 の第 2動きべクトル MV24'は、第 1 動きべクトル MV21 'よリも十分小さいので、無視できるということを表している。第 2動きべクトル MV24'は" 0 "として扱われる。

以上のようにして、長時間メモリに保存されている参照ピクチャを第 1 参照ピクチャとして参照する 1 つの動きべクトルと短時間メモリに保存されている参照ピクチャを第 2の参照ピクチャとして参照する 1 つの動きべクトルとを参照ブロック M Bが有する場合、参照ピクチャのプロックの動きべクトルのうち、長時間メモリに保存された動きべクトルをそのまま使用して対象ピクチャのブロックの動きベクトルとして 2方向予測をする。

なお、長時間メモリに保存された参照ピクチャは、第 1 参照ピクチャまたは第 2ピクチャのいずれのピクチャであってもよく、長時間メモリに保存された参照ピクチャを参照する動きべクトル M V 2 1 は後方向動きべクトルであってもよい。また、第 2参照ピクチャが長時間メモリに保存され、第 1参照ピクチャが短時間メモリに保存されている場合には、第 1 参照ピクチャを参照する動きベクトルにスケーリングを適用し、対象ピクチャの動きべクトルを計算する。

これにより、長時間メモリの相当大きい、または不定となる時間を用いないで 2方向予測の処理を行うことができる。

なお、参照する動きべク卜ルをそのまま使用するのではなく、その動きベクトルを定数倍して 2方向予測をしても良い。

また、定数倍に使用される定数は、複数ブロック単位または複数ピクチヤ単位で符号化または復号化する場合に、変更可能としても良い。 (実施の形態 9 )

本実施の形態では、参照ピクチャの参照ブロック M Bが、長時間メモリに保存されている参照ピクチャを参照する 2つの前方向動きべクトルを有している場合の直接モードにおける 2方向予測を示す。

図 3 8は、参照プロック M Bが長時間メモリに保存された参照ピクチャを参照する 2つの動きベクトルを有する場合の直接モードにおける 2 方向予測を示す図である。

実施の形態 9が実施の形態 8と異なる点は、参照ピクチャのブロック MB2の動きべクトル MV21 と動きべクトル MV22両方が長時間メモリに保存されているピクチャを参照する点である。

図 3 8において、長時間メモリと短時間メモリの境界は図示した通り、縦の点線で示されており、これよリ左のピクチャに関する情報は長時間メモリに保存され、これより右のピクチャに対する情報は短時間メモリに保存される。参照ピクチャ P24 のブロック MB2 の動きべクトル MV21 及び動きべクトル MV22は、 2つとも長時間メモリに保存されたピクチャを参照している。参照ピクチャ P21 には動きべクトル MB21 が対応し、参照ピクチャ P22には動きべクトル MV22が対応している。

長時間メモリに保存されているピクチャ P22を参照する動きべクトル MV22 に対応してピクチャ P22 と P24 との時間間隔 TR22は、短時間メモリに保存されているピクチャ P24とピクチャ P25との時間間隔 TR25よリ相当大きい、または不定となることがある。

図 3 8において、動きべクトル MV22に対応するピクチャ P22、動きべクトル MV21 に対応するピクチャ P21 の順で順香が割り当てられて、ピクチヤ P21、ピクチャ P22が長時間メモリに保存されている。図 3 8では以下のように対象ピクチャのブロック MB 1 の動きべクトルを計算する。

MV22 ' = V22

V24' = 0

上の式は、参照ピクチャ P24のブロック MB2の動きべクトルのうち、最も割リ当てられた順番が小さいピクチャ P21 を参照する動きべクトル圖 22をそのまま対象ピクチャ P23のブロック MB 1 の動きべクトル MV22 ' とするということを表している。

下の式は、短時間メモリに保存されている対象ピクチャ P23のプロック MB 1の後方向動きべクトル MV24'は動きべクトル MV21 'よりも十分小さいので、無視できるということを表している。後方向動きべクトル MV24' は〃 0 "として扱われる。 W

以上のようにして、長時間メモリに保存された参照ピクチャのブロックの動きベクトルのうち最も割り当てられた順番が小さいピクチャを参照する動きベクトルをそのまま使用して対象ピクチャのブロックの動きベクトルとすることで、長時間メモリの相当大きい、または不定となる時間を用いないで 2方向予測の処理を行うことができる。

なお、参照する動きべクトルをそのまま使用するのではなく、その動きべクトルを定数倍して 2方向予測をしても良い。

また、定数倍に使用される定数は、複数ブロック単位または複数ピクチヤ単位で符号化または復号化する場合に、変更可能としても良い。さらに、参照ピクチヤのブロック MB2の動きベクトル MV21 と動きべクトル MV22 との両方が長時間メモリに保存されているピクチャを参照する場合、第 1 参照ピクチャを参照する動きべクトルを選択するとしてもよい。例えば、 MV21 が第 1参照ピクチャを参照する動きベクトルであり、 V22が第 2参照ピクチャを参照する動きべクトルである場合、ブロック M B 1 の動きベクトルはピクチャ P 2 1 に対する動きベクトル M V 2 1 とピクチャ P 2 4に対する動きベクトル " 0 " とを用いることになる。 (実施の形態 1 0 )

本実施の形態では、実施の形態 5から実施の形態 9に記載された直接モードにおける動きべクトル計算方法について説明を行う。この動きべクトル計算方法は、画像の符号化または復号化の際いずれにも適用される。ここでは、符号化または復号化の対象のブロックを対象ブロック M Bという。また、対象ブロック M Bの参照ピクチャ中において対象プロックと同じ位置にあるブロックを参照ブロックという。

図 3 9は、本実施の形態に係る動きべクトル計算方法の処理の流れを示す図である。

まず、対象ブロック M Bの後方の参照ピクチャ中の参照ブロック M B が動きベクトルを有するか否かが判定される（ステップ S 1 )。参照ブロック M Bが動きべクトルを有していなければ（ステップ S 1 ； N o )、動きベクトルが 0 "として 2方向予測されて（ステップ S 2 ) 動きべクトルを計算する処理が終了する。

参照ブロック M Bが動きベクトルを有していれば（ステップ S 1 ； Y e s )、参照プロック M Bが前方向動きべクトルを有するか否かが判定される（ステップ S 3 )。

参照ブロック M Bが前方向動きべクトルを有しない場合（ステップ S

3 ； N o )、参照ブロック M Bは後方向動きべクトルしか有していないので、その後方向動きべクトルの数が判定される（ステップ S 1 4 )。参照ブロック M Bの後方向動きべクトルの数が〃 2〃の場合、図 1 9、図 2 0、図 2 1 および図 2 2で記載されたいずれかの計算方法にしたがってスケーリングされた 2つの後方向動きべクトルを用いて 2方向予測が行われる（ステップ S 1 5 )。

一方、参照ブロック M Bの後方向動きべクトルの数が" 1 "の場合、参照ブロック M Bが有する唯一の後方向動きベクトルをスケーリングして. スケーリングされた後方向動きベクトルを用いて動き補償が行われる (ステップ S 1 6 )。ステップ S 1 5またはステップ S 1 6の 2方向予測が終了すると、動きべクトルの計算方法の処理が終了する。

また、参照ブロック M Bが前方向動きべクトルを有する場合（ステツプ S 3 ； Y e s )、参照ブロック M Bの前方向動きべクトルの数が判定される（ステップ S 4 )。

参照プロック M Bの前方向動きべクトルの数が〃 1 "の場合、参照プロック M Bの前方向動きベクトルに対応する参照ピクチャが長時間メモリまたは短時間メモリいずれに保存されているかが判定される（ステップ

S 5 )。参照ブロック M Bの前方向動きべクトルに対応する参照ピクチャが短時間メモリに保存されている場合、参照ブロック M Bの前方向動きべクトルをスケーリングして、スケーリングされた前方向動きべクトルを用いて 2方向予測が行われる（ステップ S 6 )。

参照ブロック M Bの前方向動きべクトルに対応する参照ピクチャが長時間メモリに保存されている場合、図 3 フに示された動きべクトル計算方法にしたがって、参照ブロック M Bの前方向動きべクトルがスケ一リングされずずにそのまま用いられ、後方向動きべクトルゼロとして 2方向予測が行われる（ステップ S 7 )。ステップ S 6またはステップ S 7の 2方向予測が終了すると、動きベクトルの計算方法の処理が終了する。参照プロック M Bの前方向動きべクトルの数が" 2 "の場合、参照プロック M Bの前方向動きべクトルの内、長時間メモリに保存されている参照ピクチャに対応する前方向動きべクトルの数が判定される（ステップ S 8 )。

長時間メモリに保存されている参照ピクチャに対応する前方向動きべクトルの数がステップ S 8において" 0〃の場合、図 1 6に示した動きべクトル計算方法にしたがって、対象プロック M Bが属する対象ピクチャに表示時間順で近い動きべクトルをスケーリングして、スケーリングされた動きべクトルを用いて 2方向予測が行われる（ステップ S 9 )。長時間メモリに保存されている参照ピクチャに対応する前方向動きべクトルの数がステツプ S 8において" 1〃の場合、短時間メモリに保存されたピクチャを動きべクトルをスケーリングして、スケーリングされた動きベクトルを用いて 2方向予測が行われる（ステップ S 1 0 )。

長時間メモリに保存されている参照ピクチャに対応する前方向動きべクトルの数がステップ S 8において〃 2〃の場合、 2つの前方向動きべクトル両方によって、長時間メモリ内の同じピクチャが参照されているかが判定される（ステップ S 1 1 )。 2つの前方向動きべクトル両方によつて長時間メモリ内の同じピクチャが参照されている場合（ステップ S 1 1 ； Y e s )、図 1 5に記載した動きべクトル計算方法にしたがって、長時間メモリ内の 2つの前方向動きベクトルに参照されているピクチャの内で先に符号化または復号化された動きべクトルを用いて 2方向予測が行われる（ステップ S 1 2 )。

2つの前方向動きベクトル両方によって長時間メモリ内の同じピクチャが参照されていない場合（ステップ S 1 1 ； N o ) , 図 3 8に記載された動きべクトル計算方法にしたがって、長時間メモリに保存されたピクチヤに割リ当てられた順番が小さいピクチャに対応する前方向動きべクトルを用いて 2方向予測が行われる（ステップ S 1 3 )。長時間メモリでは実際の画像の時刻とは関係なく参照ピクチャが保存されているので、各参照ピクチャに割リ当てられた順番にしたがって 2方向予測に用いられるべき前方向動きべクトルが選択されるようになっている。また、長時間メモリに保存される参照ピクチャの順番は画像の時刻と一致する場合もあるが、単にメモリのァドレスの順番と一致させても良い。つまリ、長時間メモリに保存される画像の順序は必ずしも画像の時刻と一致していなくてもよい。ステップ S 1 2、 1 3の 2方向予測が終了すると、動きべクトルの計算方法の処理が終了する。

(実施の形態 1 1 )

以下、本発明の実施の形態 1 1 について図面を用いて詳細に説明する。図 4 0は、本発明の実施形態 1 1 に係る動画像符号化装置 1 0 0の構成を示すブロック図である。動画像符号化装置 1 0 0は、フィールド構瑋で符号化されたプロックとフレーム構造で符号化されたプロックとが混在する場合にも直接モードの空間的予測方法を適用して動画像の符号化を行うことができる動画像符号化装置であって、フレームメモリ 1 0 1 、差分演算部 1 0 2、予測誤差符号化部 1 0 3、符号列生成部 1 0 4、予測誤差復号化部 1 0 5、加算演算部 1 0 6、フレームメモリ 1 0 7、動きべクトル検出部 1 0 8、モード選択部 1 0 9、符号化制御部 1 1 0、スィッチ 1 1 1 、スィッチ 1 1 2、スィッチ 1 1 3、スィッチ 1 1 4、スィッチ 1 1 5および動きべクトル記憶部 1 1 6を備える。

フレームメモリ 1 0 1 は、入力画像をピクチャ単位で保持する画像メモリである。差分演算部 1 0 2は、フレームメモリ 1 0 1 からの入力画像と、動きべクトルに基づいて復号化画像から求められた参照画像との差分である予測誤差を求めて出力する。予測誤差符号化部 1 0 3は、差分演算部 1 0 2で求められた予測誤差に周波数変換を施し、量子化して出力する。符号列生成部 1 0 4は、予測誤差符号化部 1 0 3からの符号化結果を可変長符号化した後、出力用の符号化ビットストリームのフォ —マツ卜に変換し、符号化された予測誤差の関連情報を記述したヘッダ情報などの付加情報を付して符号列を生成する。予測誤差復号化部 1 0 5は、予測誤差符号化部 1 0 3からの符号化結果を可変長復号化し、逆量子化した後、 I D C T変換などの逆周波数変換を施し、予測誤差に復号化する。加算演算部 1 0 6は、復号化結果である予測誤差に前記参照画像を加算して、符号化および復号化を経た画像データで入力画像と同じ 1 ピクチャの画像を表した参照画像を出力する。フレームメモリ 1 0 7は、参照画像をピクチャ単位で保持する画像メモリである。

動きべクトル検出部 1 0 8は、符号化対象フレームの符号化単位ごとに、動きべクトルを検出する。モード選択部 1 0 9は、動きべクトルを直接モードで計算するか他のモードで計算するかを選択する。符号化制御部 1 1 0は、フレームメモリ 1 0 1 に入力された時間順で格納されている入力画像のピクチャを、符号化される順に入れ替える。さらに、符号化制御部 1 1 0は、符号化対象フレームの所定の大きさの単位ごとに、フィールド構造で符号化を行うか、フレーム構造で符号化を行うかを判定する。ここでは、所定の大きさの単位はマクロブロック（例えば水平 1 6画素、垂直 1 6画素）を縦方向に 2つ連結したもの（以下ではマクロブロックペアと呼ぶ）とする。フィールド構造で符号化するのであればフレームメモリ 1 0 1 からインタレースに対応して 1 水平走査線おきに画素値を読み出し、フレーム単位で符号化するのであればフレームメモリ 1 0 1 から順次、入力画像の各画素値を読み出して、読み出された各画素値がフィールド構造またはフレーム構造に対応した符号化対象マクロプロックペアを構成するようにメモリ上に配置する。動きべクトル記憶部 1 1 6は、符号化済みマクロブロックの動きべクトルと、その動きべクトルが参照するフレームの参照インデックスとを保持する。参照インデックスについては、符号化済みマクロブロックペア中の各マクロプロックのそれぞれについて保持する。

次に、以上のように構成された動画像符号化装置 1 0 0の動作について説明する。入力画像は時間順にピクチャ単位でフレームメモリ 1 0 1 に入力される。図 4 1 ( a ) は、動画像符号化装置 1 0 0に時間順にピクチャ単位で入力されるフレームの順序を示す図である。図 4 1 ( b ) は、図 4 1 ( a ) に示したピクチャの並びを符号化の順に並び替えた場合の順序を示す図である。図 4 1 ( a ) において、縦線はピクチャを示し、各ピクチャの右下に示す記号は、一文字目のアルファべッ卜力《ピクチヤタイプ（ I 、 Pまたは B ) を示し、 2文字目以降の数字が時間順のピクチャ番号を示している。また、図 4 2は、実施の形態 1 1 を説明するための、参照フレームリスト 3 0 0の構造を示す図である。フレームメモリ 1 0 1 に入力された各ピクチャは、符号化制御部 1 1 0によって符号化順に並び替えられる。符号化順への並び替えは、ピクチャ間予測符号化における参照関係に基づいて行われ、参照ピクチヤとして用いられるピクチャが、参照ピクチヤとして用いるピクチャよりも先に符号化されるように並び替えられる。

例えば、 Pピクチャは、表示時間順で前方にある近傍の 1 または Pピクチャ 3枚のうち 1枚を参照ピクチャとして用いるとする。また、 Bピクチャは、表示時間順で前方にある近傍の I または Pピクチャ 3枚のうち 1 枚と、表示時間順で後方にある近傍の I または Pピクチャの 1枚とを参照ピクチャとして用いるものとする。具体的には、図 4 1 ( a ) ではピクチャ B 5およぴピクチャ B 6の後方に入力されていたピクチャ P 7は、ピクチャ B 5およびピクチャ B 6によって参照されるため、ピクチヤ B 5およぴピクチャ B 6の前に並び替えられる。同様に、ピクチャ B 8およびピクチャ B 9の後方に入力されていたピクチャ P 1 0はピクチヤ B 8およびピクチャ B 9の前方に、ピクチャ B 1 1 およぴピクチャ B 1 2の後方に入力されていたピクチャ P 1 3はピクチャ B 1 1 およびピクチャ B 1 2の前方に並び替えられる。これにより、図 4 1 ( a ) のピクチャを並び替えた結果は、図 4 1 ( b ) のようになる。

フレームメモリ 1 0 1 で並び替えが行われた各ピクチャは、マクロブロックを垂直方向に 2つ連結したマクロブロックペアの単位で読み出されるものとし、各マクロブロックは水平 1 6画素 X垂直 1 6画素の大きさであるとする。従って、マクロブロックペアは、水平 1 6画素 X垂直 3 2画素の大きさとなる。以下、ピクチャ B 1 1 の符号化処理について説明する。なお、本実施の形態における参照インデックスの管理、すなわち参照フレームリス卜の管理は符号化制御部 1 1 0において行うものとする。

ピクチャ B 1 1 は Bピクチヤであるので、 2方向参照を用いたピクチャ間予測符号化を行う。ピクチャ B 1 1 は表示時間順で前方にあるピクチヤ P 1 0、 P 7、 P 4と表示時間順で後方にあるピクチャ P I 3のうちの 2つのピクチャを参照ピクチャとして用いるものとする。これらの 4つのピクチャのうち、いずれの 2つのピクチャを選択するかは、マクロブロック単位で指定することができるとする。また、ここでは、参照インデックスは初期状態の方法で割り当てるものとする。すなわちピクチヤ B 1 1 の符号化時における参照フレームリスト 3 0 0は図 4 2に示す通りとなる。この場合の参照画像は、第 1 の参照ピクチャは図 4 2の第 1参照インデックスにより指定し、第 2の参照ピクチャは図 4 2の第 2参照インデックスにより指定するものとなる。

ピクチャ B 1 1 の処理においては、符号化制御部 1 1 0は、スィッチ 1 1 3がオン、スィッチ 1 1 4とスィッチ 1 1 5とがオフになるように各スィッチを制御するものとする。よって、フレームメモリ 1 0 1 から読み出されたピクチャ B 1 1 のマクロブロックペアは、動きベクトル検出部 1 0 8、モード選択部 1 0 9および差分演算部 1 0 2に入力される。動きべクトル検出部 1 0 8では、フレームメモリ 1 0 7に蓄積されたピクチャ P 1 0、ピクチャ P 7、ピクチャ P 4およびピクチャ P I 3の復号化画像データを参照ピクチャとして用いることにより、マクロブロックペアに含まれる各マクロブロックの第 1 の動きベクトルと第 2の動きべクトルとの検出を行う。モード選択部 1 0 9では、動きべクトル検出部 1 0 8で検出された動きべクトルを用いてマクロブロックペアの符号化モードを決定する。ここで、 Bピクチャの符号化モードは、例えば、ピクチャ内符号化、一方向動きベクトルを用いたピクチャ間予測符号化、二方向動きベクトルを用いたピクチャ間予測符号化および直接モードから選択することができるものとする。また、直接モード以外の符号化モ —ドを選択する場合には、マクロブロックペアをフレーム構造で符号化するか、フィールド構造で符号化するかも併せて決定する。

ここでは、直接モードの空間的予測方法を用いて動きべクトルを計算する方法について説明する。図 4 3 ( a ) は、フィールド構造で符号化されるマクロブロックペアとフレーム構造で符号化されるマクロブロックペアとが混在する場合の直接モード空間的予測方法を用いた動きべクトル計算手順の一例を示すフローチャートである。図 4 3 ( b ) は、符号化対象マクロブロックペアがフレーム構造で符号化される場合において本発明が適用される周辺マクロブロックペアの配置の一例を示す図である。図 4 3 ( c ) は、符号化対象マクロブロックペアがフィールド構造で符号化される場合において本発明が適用される周辺マクロブロックペアの配置の一例を示す図である。図 4 3 ( b ) および図 4 3 ( c ) に斜線で示すマクロブロックペアは、符号化対象マクロブロックペアである。

符号化対象マクロブ口ックペアが直接モードの空間的予測を用いて符号化される場合、当該符号化対象マクロブロックペアの周辺の 3つの符号化済みマクロブロックペアが選択される。この場合、符号化対象マクロブロックペアは、フィールド構造またはフレーム構造のいずれで符号化されてもよい。従って、符号化制御部 1 1 0は、まず、符号化対象マクロブロックペアをフィールド構造で符号化するか、フレーム構造で符号化するかを決定する。例えば、周辺マクロブロックペアのうちフィールド構造で符号化されたものが多い場合、符号化対象マクロブロックべァをフィールド構造で符号化し、フレーム構造で符号化されたものが多い場合、フレーム構造で符号化する。このように、符号化対象マクロブロックペアをフレーム構造で符号化するか、フィールド構造で符号化するかを、周辺ブロックの情報を用いて決定することにより、符号化対象マクロブロックペアをいずれの構造で符号化したかを示す情報を符号列中に記述する必要がなくなり、かつ周囲のマクロブロックペアから構造を予測しているため、適した構造を選択することができる。次いで、動きべクトル検出部 1 0 8は、符号化制御部 1 1 0の決定に従って、符号化対象マクロブロックペアの動きべクトルを計算する。まず、動きべクトル検出部 1 0 8は、符号化制御部 1 1 0がフィールド構造で符号化すると決定したのか、フレーム構造で符号化すると決定したのかを調べ（S 3 0 1 )、フレーム構造で符号化すると決定されている場合は、符号化対象マクロブロックペアの動きべクトルをフレーム構造で検出し（S 3 0 2 )、フィールド構造で符号化すると決定されている場合は、符号化対象マクロブロックペアの動きべクトルをフィールド構造で検出する（S 3 0 3 )。

図 4 4は、フレーム構造で符号化する場合のマクロブロックペアのデータ構成とフィールド構造で符号化する場合のマクロブロックペアのデータ構成とを示す図である。同図において、白丸は奇数水平走査線上の画素を示し、斜線でハッチングした黒丸は偶数水平走査線上の画素を示している。入力画像を表す各フレームからマクロブロックペアを切り出した場合、図 4 4中央に示すように、奇数水平走査線上の画素と偶数水平走査線上の画素とは垂直方向に交互に配置されている。このようなマクロブロックペアをフレーム構造で符号化する場合、当該マクロブロックペアは 2つのマクロブロック M B 1 およびマクロブロック M B 2毎に処理され、マクロブロックペアを構成する 2つのマクロブロック M B 1 とマクロブロック M B 2とのそれぞれについて動きべクトルが求められる。また、フィールド構造で符号化する場合、当該マクロブロックペアは、水平走査線方向にインタレースした場合のトップフィールドを表すマクロブロック T Fとボトムフィールドを表すマクロブロック B Fとに分けられ、その動きベクトルは、マクロブロックペアを構成する 2つのフィールドにそれぞれ 1 つ求められる。

このようなマクロブロックペアを前提として、図 4 3 ( b ) に示すように、符号化対象マクロブロックペアをフレーム構造で符号化する場合について説明する。図 4 5は、図 4 3に示したステップ S 3 0 2における、より詳細な処理手順を示すフローチャートである。なお、同図において、マクロブロックペアを M B P、マクロブロックを M Bと表記する。モード選択部 1 0 9は、まず、符号化対象マクロブロックペアを構成する 1 つのマクロブロック M B 1 (上部のマクロブロック）について、 1 つの動きベクトルを直接モードの空間的予測を用いて計算する。まず、モード選択部 1 0 9は、周辺マクロブロックペアが参照するピクチャのインデックスのうちの最小値を第 1 動きべクトルと第 2動きべクトルのインデックスのそれぞれについて求める（S 5 0 1 )。ただしこの場合、周辺マクロブロックペアがフレーム構造で符号化されている場合には、符号化対象マクロブロックに隣接するマクロブロックのみを用いて決定する。次に、周辺マクロブロックペアがフィールド構造で符号化されているか否かを調べ（S 5 0 2 )、フィールド構造で符号化されている場合にはさらに、当該周辺マクロブロックペアを構成する 2つのマクロプロックによつて参照されたフィールドのうち、いくつのフィールドが最小のインデックスが付されたフィールドであるかを、図 4 2の参照フレームリス卜から調べる（S 5 0 3 )。

ステップ S 5 0 3において調べた結果、 2つのマクロブロックによつて参照されたフィールドがいずれも最小のインデックス（すなわち同じインデックス）が付されたフィールドである場合には、 2つのマクロブロックの動きべクトルの平均値を求め、当該周辺マクロブロックペアの動きべクトルとする（S 5 0 4 )。これはインタレース構造で考えた場合、フレ一厶構造の符号化対象マクロブロックには、フィールド構造の周辺マクロブロックペアの 2つのマクロブロックが隣接するためである。ステップ S 5 0 3において調べた結果、 1 つのマクロブロックによつて参照されたフィールドのみが最小のインデックスが付されたフィ一ルドである場合には、その 1 つのマクロブロックの動きべクトルを当該周辺マクロブロックペアの動きベクトルとする（S 5 0 4 A)。いずれも、参照されたフィールドが最小のインデックスが付されていないフィールドである場合には、当該周辺マクロブロックペアの動きべクトルを「 0」とする（ S 5 0 5 )。

上記において、周辺マクロブロックの動きべクトルのうち、参照するフィールドが最小のインデックスが付されているフィールドの動きべクトルのみを用いることにより、より符号化効率の高い動きべクトルを選択することができる。 S 5 0 5の処理は、予測に適した動きべクトルがないと判断していることを示している。

ステップ S 5 0 2において調べた結果、当該周辺マクロブロックペアがフレーム構造で符号化されている場合には、当該周辺マクロブロックペアのうち、符号化対象マクロブロックに隣接するマクロブロックの動きベクトルを当該周辺マクロブロックペアの動きベクトルとする（S 5 0 6 )。

モード選択部 1 0 9は、上記ステップ S 5 0 1 からステップ S 5 0 6 までの処理を、選択された 3つの周辺マクロブロックペアについて繰り返す。この結果、符号化対象マクロブロックペア内の 1 つのマクロプロック、例えば、マクロブロック M B 1 について、 3つの周辺マクロブロックペアの動きべクトルがそれぞれ 1 つずつ求められたことになる。次いで、モード選択部 1 0 9は、 3つの周辺マクロブロックペアのうち、インデックスが最小のフレームまたはそのフレーム内のフィールドを参照しているものが 1 つであるか否かを調べる（ S 5 0 7 )。

この場合、モード選択部 1 0 9は、 3つの周辺マクロブロックペアの参照インデックスを参照フレームインデックスまたは参照フィールドィンデックスのいずれかに統一して比較する。図 4 2に示した参照フレームリス卜には、フレームごとに参照インデックスが付されているだけであるが、この参照フレームインデックスと、フィールドごとにインデックスが付されている参照フィールドインデックスとは一定の関係にあるので、参照フレームリストまたは参照フィールドリストの一方から計算によって他方の参照インデックスに変換することができる。

この図 4 6に示すように、参照フィールドリストには、第 1 フィールド f 1 及び第 2フィールド f 2により示されるフレームが時系列に沿つて幾つか存在し、各フレームには、符号化対象ブロックを含むフレーム (図 4 6中ので示すフレーム）を基準に、 0 , 1 ， 2 , …といった参照フレームインデックスが割り当てられている。また、各フレームの第 1 フィールド f 1及び第 2フィールド f 2には、符号化対象プロックを含むフレームの第 1 フィールド f 1 を基準に（第 1 フィールドが符号化対象フィールドである場合）、 0， 1 ， 2 , …といった参照フィールドインデックスが割り当てられている。なお、この参照フィールドインデックスは、符号化対象フィールドに近いフレームの第 1 フィールド f 1 及び第 2 フィールド f 2から、符号化対象プロックが第 1 フィールド f 1 であれば第 1 フィールド f 1 を優先させて、符号化対象ブロックが第 2フィールド f 2であれば第 2フィールド f 2を優先させて割り当てられる, 例えば、フレーム構造で符号化された周辺マク口プロックが参照フレ —ムインデックス「 1 」のフレームを参照しており、フィールド構造で符号化された周辺ブロックが参照フィールドインデックス Γ 2 J の第 1 フィールド f 1 を参照しているときには、上記周辺マクロブロックはいずれも同一ピクチャを参照しているとして扱われる。すなわち、 1 つの周辺マクロブロックによって参照されるフレームの参照フレームインデックスが、他の 1 つの周辺マクロブロックの参照フィールドに割り当てられた参照フィールドインデックスの二分の一の値に等しい（小数点以下は切り捨て）という前提条件を満たすときに、その周辺マクロブロックは同一のピクチャを参照しているとして扱われる。

例えば、図 4 6中の厶で示す第 1 フィールド f 1 に含まれる符号化対象ブロックが参照フィールドインデックス Γ 2 J の第 1 フィールド f 1 を参照しておリ、フレーム構造である周辺マクロブ口ックが参照フレームインデックス「 1 j のフレームを参照しているときには、上記前提条件を満たすため、上記周辺ブロックは同一のピクチャを参照しているとして扱われる。一方、ある周辺マクロブロックが参照フィールドインデックス Γ 2」の第 1 フィールドを参照しており、他の周辺マクロブロックが参照フレームインデックス「 3」のフレームを参照しているときには、上記前提条件を満たさないため、その周辺ブロックは同一のピクチャを参照していないとして扱われる。

上記のように、ステップ S 5 0 7において調べた結果、 1 つであれば、インデックスが最小のフレームまたはそのフレーム内のフィールドを参照した周辺マクロブロックペアの動きべクトルを、符号化対象マクロブロックの動きベクトルとする（S 5 0 8 )。ステップ S 5 0 7で調べた結果、 1 つでなければ、さらに、 3つの周辺マクロブロックペアのうち、インデックスが最小のフレームまたはそのフレーム内のフィールドを参照した周辺マクロブロックペアが 2つ以上あるか否かを調べ（S 5 0 9 ) , 2つ以上あれば、その中でさらにインデックスが最小のフレームまたはそのフレーム内のフィールドを参照していない周辺マクロブロックペアがあればその動きべクトルを「0」とした上（S 5 1 0 )、周辺マクロブロックペアの 3つの動きベクトルの中央値を符号化対象マクロブロックの動きべクトルとする（S 5 1 1 )。また、ステップ S 5 0 9で調べた結果、 2つ未満であれば、インデックスが最小のフレームまたはそのフレーム内のフィールドを参照した周辺マクロブロックペアの数は Γ 0 J なので、符号化対象マクロブロックの動きベクトルを「 0」とする（S 5 1 2 )。

以上の処理の結果、符号化対象マクロブロックペアを構成する 1 つのマクロブロック例えば、 M B 1 について、 1 つの動きベクトル M V 1 が計算結果として得られる。モード選択部 1 0 9は、上記処理を、第 2の参照インデックスを有する動きべクトルについても行い、得られた 2つの動きべクトルを用いて 2方向予測により動き補償を行う。ただし、周辺マクロブロックペアのうち、第 1 または第 2の動きべクトルを有する周辺マクロブロックが存在しない場合には、その方向の動きべクトルは用いず、 1 方向のみの動きベクトルによリ動き補償を行う。また、符号化対象マクロブロックペア内のもう 1 つのマクロブロック、例えば、マクロブロック. M B 2についても同じ処理を繰り返す。この結果、 1 つの符号化対象マクロブロックペアにおける 2つの各マクロブロックについて、直接モードによる動き補償を行ったことになる。

次に、図 4 3 ( c ) のように、符号化対象マクロブロックペアをフィ一ルド構造で符号化する場合について説明する。図 4 7は、図 4 3に示したステップ S 3 0 3における、より詳細な処理手順を示すフローチヤートである。モード選択部 1 0 9は、符号化対象マクロブロックペアを構成する 1 つのマクロブロック、例えば、当該マクロブロックペアのトップフィールドに対応するマクロブロック T 「について、 1 つの動きべク卜ル M V t を直接モードの空間的予測を用いて計算する。まず、モ一ド選択部 1 0 9は、周辺マクロブロックペアが参照するピクチャのインデックスのうち最小値を求める（S 6 0 1 )。ただし、周辺マクロブロックペアがフィールド構造で処理されている場合には、符号化対象マクロブロックと同一フィールド（トップフィールドまたはボトムフィールド）のマクロブロックについてのみ考える。次いで、周辺マクロブロックぺァがフレーム構造で符号化されているか否かを調べ（S 6 0 2 )、フレーム構造で符号化されている場合にはさらに、当該周辺マクロブロックぺァ内の 2つのマクロブロックによって參照されたフレームがいずれも最小のインデックスが付されたフレームであるか否かを、参照フレームリスト 3 0 0によって各フレームに付与されたインデックスの値を基に判断する（ S 6 0 3 )。

ステップ S 60 3において調べた結果、 2つのマクロブロックによつて参照されたフレームがいずれも最小のインデックスである場合には、 2つのマクロブロックの動きべクトルの平均値を求め、当該周辺マクロブロックペアの動きべクトルとする（ S 6 0 4)。ステップ S 6 0 3において調べた結果、一方または両方とも、参照したフレームが最小のインデックスを有しないフレームである場合には、さらに、いずれかのマクロブロックによって参照されたフレームが最小のインデックスを有しているか否かを調べ（ S 6 05 )、調べた結果、いずれか一方のマクロプロックが参照したフレームに最小のインデックスが付されている場合にはそのマクロブロックの動きベクトルを当該周辺マクロブロックペアの動きべクトルとし（S 60 6 )、ステップ S 6 0 5で調べた結果、いずれのマクロブロックも、参照したフレームに最小のインデックスが付されていない場合には、当該周辺マクロブロックペアの動きベクトルを r oj とする（ S 6 0 7 )。上記において、周辺マクロブロックの動きべクトルのうち、参照するフレームが最小のインデックスが付されているフレームの動きベクトルのみを用いることにより、より符号化効率の高い動きべクトルを選択することができる。 S 6 07の処理は、予測に適した動きベクトルがないと判断していることを示している。

また、ステップ S 6 0 2において調べた結果、当該周辺マクロブロックペアがフィールド構造で符,号化されている場合には、当該周辺マクロブロックペア全体の動きべクトルを、当該周辺マクロブロックペアにおいて、符号化対象マクロブロックペア内の対象マクロブロックに対応するマクロブロックの動きべクトルとする（S 6 0 8 )。モード選択部 1 0 9は、上記ステップ S 6 0 1 からステップ S 6 0 8までの処理を、選択された 3つの周辺マクロブロックペアについて繰り返す。この結果、符号化対象マクロブロックペア内の 1 つのマクロブロック、例えば、マクロブロック T Fについて、 3つの周辺マクロブロックペアの動きべク卜ルがそれぞれ 1 つずつ求められたことになる。

次いで、動きベクトル検出部 1 0 8は、 3つの周辺マクロブロックべァのうち、インデックスが最小のフレームを参照しているものが 1 つであるか否かを調べ（S 6 0 9 )、 1 つであれば、インデックスが最小のフレームを参照した周辺マクロブロックペアの動きベクトルを、符号化対象マクロブロックの動きべクトルとする（S 6 1 0 )。ステップ S 6 0 9 で調べた結果、 1 つでなければ、さらに、 3つの周辺マクロブロックべァのうち、インデックスが最小のフレームを参照した周辺マクロブロックペアが 2つ以上あるか否かを調べ（S 6 1 1 )、 2つ以上あれば、その中でさらにインデックスが最小のフレームを参照していない周辺マクロブロックペアの動きべクトルを「 0」とした上（S 6 1 2 )、周辺マクロブロックペアの 3つの動きベクトルの中央値を符号化対象マクロブロックの動きべクトルとする（S 6 1 3 )。また、ステップ S 6 1 1 で調べた結果、 2つ未満であれば、インデックスが最小のフレームを参照した周辺マクロブロックペアの数は「 0」なので、符号化対象マクロブロックの動きベクトルを「 0」とする（S 6 1 4 )。以上の処理の結果、符号化対象マクロブロックペアを構成する 1 つのマクロブロック例えば、トップフィールドに対応するマクロブロック T Fについて、 1 つの動きベクトル M V tが計算結果として得られる。モ —ド選択部 1 0 9は、上記処理を、第 2の動きベクトル（第 2の参照ィンデックスに対応）についても繰り返す。これにより、マクロブロック T Fについて 2つの動きべクトルが得られ、これらの動きべクトルを用いて 2方向予測による動き補償を行う。ただし、周辺マクロブロックぺァのうち、第 1 または第 2の動きべクトルを有する周辺マクロブロックが存在しない場合には、その方向の動きベクトルは用いず、 1方向のみの動きベクトルにより動き補償を行う。これは、周辺マクロブロックべァが一方向のみしか参照していないということは、符号化対象マク口ブ口ックについても一方向のみを参照する方が、符号化効率が高くなると考えられるからである。

また、符号化対象マクロブロックペア内のもう 1 つのマクロブロック、例えば、ボトムフィールドに対応するマクロブロック B Fについても同じ処理繰り返す。この結果、 1 つの符号化対象マクロブロックペアにおける 2つの各マクロブロック、例えば、マクロブロック T Fとマクロブロック B Fとについて、直接モードによる処理を行ったことになる。なお、ここでは符号化対象マクロブロックペアの符号化構造と周辺マクロブロックペアの符号化構造とが異なる場合には、周辺マクロブロックペア内の 2つのマクロプロックの動きべクトルの平均値を求めるなどの処理を行って計算したが、本発明はこれに限定されず、例えば、符号化対象マクロブロックペアと周辺マクロプロックペアとで符号化構造が同じ場合にのみ、その周辺マクロブロックペアの動きべクトルを用い、符号化対象マクロブロックペアと周辺マクロブロックペアとで符号化構造が異なる場合には、符号化構造が異なる周辺マクロブ口ックペアの動きベクトルを用いないとしてもよい。より具体的には、まず、 ①符号化対象マクロブロックペアがフレーム構造で符号化される場合、フレーム構造で符号化されている周辺マクロブロックペアの動きベクトルのみを用いる。この際に、フレーム構造で符号化されている周辺マクロブロックペアの動きべクトルのうち、インデックスが最小のフレームを参照したものがない場合、符号化対象マクロブロックペアの動きべクトルを「 0」とする。また、周辺マクロブロックペアがフィールド構造で符号化されている場合、その周辺マクロブロックペアの動きべクトルを「 0」とする。次に②符号化対象マクロブ口ックペアがフィールド構造で符号化される場合、フィールド構造で符号化されている周辺マクロブロックペアの動きベクトルのみを用いる。この際に、フィールド構造で符号化されている周辺マクロブロックペアの動きべクトルのうち、インデックスが最小のフレームを参照したものがない場合、符号化対象マクロブ口ックペアの動きベクトルを「 0」とする。また、周辺マクロブロックぺァがフレーム構造で符号化されている場合、その周辺マクロブロックぺァの動きべク卜ルを「 0」とする。このようにして各周辺マクロブロックペアの動きべクトルを計算した後、 ③これらの動きべクトルのうち、最小のインデックスを有するフレームまたはそのフィールドを參照して得られたものが 1 つだけの場合は、その動きべクトルを直接モードにおける符号化対象マクロブロックペアの動きベクトルとし、そうでない場合には、 3つの動きべクトルの中央値を直接モードにおける符号化対象マクロブロックペアの動きべクトルとする。

また、上記説明では、符号化対象マクロブロックペアをフィールド構造で符号化するかフレーム構造で符号化するかを、符号化済みの周辺マクロブロックペアの符号化構造の多数決で決定したが、本発明はこれに限定されず、例えば、直接モードでは、必ずフレーム構造で符号化する、または必ずフィ一ルド構造で符号化するというように固定的に定めておいてもよい。この場合、例えば、符号化対象となるフレームごとにフィ —ルド構造で符号化するかまたはフレーム構造で符号化するかを切り替える場合には、符号列全体のヘッダまたはフレームごとのフレームへッダなどに記述するとしてもよい。切り替えの単位は、例えば、シーゲンス、 G O P、ピクチャ、スライスなどであってもよく、この場合には、それぞれ符号列中の対応するヘッダなどに記述しておけばよい。このようにした場合でも、符号化対象マクロブロックペアと周辺マクロブロックペアとで符号化構造が同じ場合にのみ、その周辺マクロブロックペアの動きべクトルを用いる方法で、直接モードにおける符号化対象マクロブロックペアの動きベクトルを計算することができることはいうまでもない。更に、パケット等で伝送する場合はヘッダ部とデータ部を分離して別に伝送してもよい。その場合は、ヘッダ部とデータ部が 1 つのビッ卜ストリームとなることはない。しかしながら、パケットの場合は、伝送する順序が多少前後することがあっても、対応するデータ部に対応するヘッダ部が別のバケツ卜で伝送されるだけであり、 1 つのビットス卜リームとなっていなくても同じである。このように、フレーム構造を用いるのかフィールド構造を用いるのかを固定的に定めることにより、周辺ブロックの情報を用いて構造を決定する処理がなくなリ、処理の簡略化を図ることができる。

またさらには、直接モードにおいて、符号化対象マクロブロックペアをフレーム構造とフィールド構造の両者で処理し、符号化効率が高い構造を選択する方法を用いてもよい。この場合、フレーム構造とフィールド構造のいずれを選択したかは、符号列中のマクロブロックペアのへッダ部に記述すればよい。このようにした場合でも、符号化対象マクロブロックペアと周辺マクロブロックペアとで符号化構造が同じ場合にのみその周辺マクロブロックペアの動きべクトルを用いる方法で、直接モードにおける符号化対象マクロブロックペアの動きベクトルを計算することができることはいうまでもない。このような方法を用いることにより、フレーム構造とフィールド構造のいずれを選択したかを示す情報が符号列中に必要となるが、動き補償の残差信号をより削減することが可能となり、符号化効率の向上を図ることができる。

また上記の説明においては、周辺マクロブロックペアはマクロブロックの大きさを単位として動き補償されている場合について説明したが、これは異なる大きさを単位として動き補償されていてもよい。この場合、図 4 8 ( a )、 ( b ) に示すように、符号化対象マクロブロックペアのそれぞれのマクロブロックに対して、 a、 b、 cに位置する画素を含むブロックの動きべクトルを周辺マクロブロックペアの動きべクトルとする, ここで図 4 8 ( a ) は、上部のマクロブロックを処理する場合を示し、図 4 8 ( b ) は下部のマクロブロックを処理する場合を示している。ここで、符号化対象マクロブロックペアと周辺マクロブロックペアとのフレームノフィールド構造が異なる場合、図 4 9 ( a )、 ( b ) に示すような a、 b、 cの位置の画素を含むブロックと位置 a '、 b '、 c 'の画素を含むブロックとを用いて処理を行う。ここで位置 a '、 b '、 c 'は、画素 a、 b、 cの位置に対応する同一マクロブロックペア内のもう一方のマクロブロックに含まれるブロックである。例えぱ図 4 9 ( a ) の場合、符号化対象マクロブロックペアと周辺マクロブロックペアとのフレームフィールド構造が異なる場合、上部の符号化対象マクロブロックの左側のブロックの動きべクトルは、 B L 1 と B L 2の動きべクトルを用いて決定する。また、図 4 9 ( b ) の場合、符号化対象マクロブロックべァと周辺マクロブロックペアとのフレーム/フィールド構造が異なる場合、上部の符号化対象マクロブロックの左側のブロックの動きべクトルは、 B L 3と B L 4の動きベクトルを用いて決定する。このような処理方法を用いることにより、周辺マクロブロックがマクロブロックの大きさとは異なる単位で動き補償されている場合でも、フレーム，フィールドの差を考慮した直接モ一ドの処理を行うことが可能となる。

また、周辺マクロブロックペアがマクロブロックの大きさとは異なる大きさを単位として動き補償されている場合には、マクロブロックに含まれるブロックの動きべクトルの平均値を求めることにより、そのマクロブロックの動きべクトルとしても良い。周辺マクロブロックがマクロブロックの大きさとは異なる単位で動き補償されている場合でも、フレーム ' フィールドの差を考慮した直接モードの処理を行うことが可能となる。

さて、上記のように、動きべクトルが検出され、検出され動きべクトルに基づいてピクチャ間予測符号化が行われた結果、動きべクトル検出部 1 0 8によって検出された動きベクトル、符号化された予測誤差画像は、マクロブロックごとに符号列中に格納される。ただし、直接モードで符号化されたマクロブロックの動きべクトルについては、単に直接モ一ドで符号化されたことが記述されるだけで、動きべクトルおよび参照ィンデックスは符号列に記述されない。図 5 0は、符号列生成部 1 0 4 によって生成される符号列 7 0 0のデータ構成の一例を示す図である。同図のように、符号列生成部 1 0 4によって生成された符号列 7 0 0には、ピクチャ P i ctu r eごとにヘッダ Heade rが設けられている。このへッダ Heade r には、例えば、参照フレームリスト 1 0の変更を示す項目 RPSL および当該ピクチャのピクチャタイプを示す図示しない項目などが設けられており、項目 RPSLに-は、参照フレームリスト 1 0の第 1参照インデックス 1 2および第 2参照インデックス 1 3の値の割り当て方に初期設定から変更があった場合、変更後の割り当て方が記述される。 —方、符号化された予測誤差は、マクロブロックごとに記録される。例えば、あるマクロプロックが直接モードの空間的予測を用いて符号化されている場合には、そのマクロブロックに対応する予測誤差を記述する項目 B l ock l において、当該マクロブロックの動きベクトルは記述されず、当該マクロブロックの符号化モードを示す項目 Pr edType に符号化モードが直接モードであることを示す情報が記述される。また、当該マクロブロックペアがフレーム構造またはフィ一ルド構造のいずれで符号化するかを前述の符号化効率の観点から選択するような場合には、フレーム構造またはフィールド構造のいずれが選択されたかを示す情報が記述される。これに続いて、符号化された予測誤差が項目 CodedResに記述される。また、別のマクロブロックがピクチャ間予測符号化モードで符号化されたマクロブロックである場合、そのマクロブロックに対応する予測誤差を記述する項目 B l ock2 の中の符号化モードを示す項目 Pr edType に、当該マクロブロックの符号化モードがピクチャ間予測符号化モードであることが記述される。この場合、符号化モードのほか、さらに、当該マクロブロックの第 1参照インデックス 1 2が項目 R i dxOに、第 2参照インデックス 1 3が項目 R i dxl に書き込まれる。ブロック中の参照ィンデックスは可変長符号語によリ表現され、値が小さいほど短い符号長のコードが割り当てられている。また、続いて、当該マクロブロックの前方フレーム参照時の動きベクトルが項目 MV0に、後方フレーム参照時の動きべクトルが項目 MV 1 に記述される。これに続いて、符号化された予測誤差が項目 CodedResに記述される。

図 5 1 は、図 5 0に示した符号列 7 0 0を復号化する動画像復号化装置 8 0 0の構成を示すブロック図である。動画像復号化装置 8 0 0は、直接モードで符号化されたマクロブロックを含んだ予測誤差が記述されている符号列 7 0 0を復号化する動画像復号化装置であって、符号列解析部 7 O 1 、予測誤差復号化部 7 0 2、モ一ド復号部 7 0 3、動き補償復号部 7 0 5、動きベクトル記憶部 7 0 6、フレームメモリ 7 0 7、加算演算部 7 0 8、スィッチ 7 0 9及びスィツチ 7 1 0、動きべクトル復号化部 7 1 1 を備える。符号列解析部 7 0 1 は、入力された符号列 7 0 0から各種データを抽出する。ここでいう各種データとは、符号化モードの情報および動きべクトルに関する情報などである。抽出された符号化モードの情報は、モード復号部 7 0 3に出力される。また、抽出された動きべクトル情報は、動きべクトル復号化部 7 1 1 に出力される。さらに、抽出された予測誤差符号化データは、予測誤差復号化部 7 0 2に対して出力される。予測誤差復号化部 7 0 2は、入力された予測誤差符号化データの復号化を行い、予測誤差画像を生成する。生成された予測誤差画像はスィッチ 7 0 9に対して出力される。例えば、スィッチ 7 0 9が端子 bに接続されているときには、予測誤差画像は加算器 7 0 8に対して出力される。

モード復号部 7 0 3は、符号列から抽出された符号化モード情報を参照し、スィッチ 7 0 9とスィッチ 7 1 0との制御を行う。符号化モードがピクチャ内符号化である場合には、スィッチ 7 0 9を端子 aに接続し、スィッチ 7 1 0を端子 cに接続するように制御する。

符号化モードがピクチャ間符号化である場合には、スィッチ 7 0 9を端子 bに接続し、スィッチ 7 1 0を端子 dに接続するように制御する。さらに、モード復号部 7 0 3では、符号化モードの情報を動き補償復号部 7 0 5と動きべク卜ル復号化部 7 1 1 に対しても出力する。動きべクトル復号化部 7 1 1 は、符号列解析部 7 0 1 から入力された、符号化された動きべクトルに対して、復号化処理を行う。復号化された参照ピクチャ番号と動きべクトルは、動きべクトル記憶部 7 0 6に保持されると同時に、動き補償復号部 7 0 5に対して出力される。符号化モードが直接モードである場合には、モード復号部 7 0 3は、スィッチ 7 0 9を端子 bに接続し、スィッチ 7 1 0を端子 dに接続するように制御する。さらに、モード復号部 7 0 3では、符号化モードの情報を動き補償復号部 7 0 5と動きべクトル復号化部 7 1 1 に対しても出力する。動きべクトル復号化部 7 1 1 は、符号化モードが直接モードである場合、動きべクトル記憶部 7 0 6に記憶されている周辺マクロプロックペアの動きべクトルと参照ピクチャ番号とを用いて、直接モードで用いる動きベクトルを決定する。この動きベクトルの決定方法は、図 4 0のモード選択部 1 0 9の動作で説明した内容と同様であるので、ここでは説明は省略する。

復号化された参照ピクチャ番号と動きべクトルとに基づいて、動き補償復号部 7 0 5は、フレームメモリ 7 0 7からマクロブロックごとに動き補償画像を取得する。取得された動き補償画像は加算演算部 7 0 8に出力される。フレームメモリ 7 0 7は、復号化画像をフレームごとに保持するメモリである。加算演算部 7 0 8は、入力された予測誤差画像と動き補償画像とを加算し、復号化画像を生成する。生成された復号化画像は、フレームメモリ 7 0 7に対して出力される。

以上のように、本実施の形態によれば、直接モードの空間的予測方法において、符号化対象マクロブロックペアに対する符号化済み周辺マクロブロックペアに、フレーム構造で符号化されたものとフィールド構造で符号化されたものとが混在する場合においても、容易に動きべクトルを求めることができる。

なお、上記の実施の形態においては、各ピクチャはマクロブロックを垂直方向に 2つ連結したマクロブロックペアの単位で、フレーム構造またはフィールド構造のいずれかを用いて処理される場合について説明したが、これは、異なる単位、例えばマクロブロック単位でフレーム構造またはフィールド構造を切り替えて処理しても良い。

また、上記の実施の形態においては、 Bピクチャ中のマクロブロックを直接モ一ドで処理する場合について説明したが、これは Pピクチャでも同様の処理を行うことができる。 Pピクチャの符号化 ■ 復号化時においては、各ブロックは 1 つのピクチャからのみ動き補償を行い、また参照フレームリストは 1 つしかない。そのため、 Pピクチャでも本実施の形態と同様の処理を行うには、本実施の形態において符号化 ■ 復号化対象ブロックの 2つの動きべクトル（第 1 の参照フレームリストと第 2の参照フレームリスト）を求める処理を、 1 つの動きベクトルを求める処理とすれば良い。

また、上記の実施の形態においては、 3つの周辺マクロブロックペアの動きべク卜ルを用いて、直接モードで用いる動きべク卜ルを予測生成する場合について説明したが、用いる周辺マクロブロックペアの数は異なる値であっても良い。例えば、左隣の周辺マクロブロックペアの動きベクトルのみを用いるような場合が考えられる。

(実施の形態 1 2 )

さらに、上記各実施の形態で示した画像符号化方法および画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図 5 2は、上記実施の形態 1 から実施の形態 1 1 の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。

図 5 2 ( b ) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図 5 2 ( a ) は、記録媒体本体であるフレキシブルディスクの物理フォーマツ卜の例を示している。フレキシブルディスク F Dはケース F内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラック T rが形成され、各トラックは角度方向に 1 6のセクタ S eに分割されている。従つて、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスク F D上に割り当てられた領域に、上記プログラムとしての画像符号化方法および画像復号化方法が記録されている。

また、図 5 2 ( c ) は、フレキシブルディスク F Dに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルデイスク F Dに記録する場合は、コンピュータシステム C sから上記プログラムとしての画像符号化方法および画像復号化方法をフレキシブルデイスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムによリ上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによ y プログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、 GD-R0M、メモリカード、 R O Mカセット等、プログラムを記録できるものであれば同様に実施することができる。さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。

図 5 3は、コンテンツ配信サービスを実現するコンテンツ供給システム ex l 0 0の全体構成を示すブロック図である。通信サービスの提供ェリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局 ex 1 0 7 ~ ex 1 1 0が設置されている。このコンテンツ供給システム ex 1 0 0は、例えば、インターネッ卜 ex 1 0 1 にインターネットサービスプロバイダ ex 1 0 2およぴ電話網 ex 1 04、および基地局 ex1 07〜ex1 1 0を介して、コンピュータ ex 1 1 1 、 P D A (personal digital assistant) ex 1 1 2、カメラ ex1 1 3、携帯電話 exl 1 4、カメラ付きの携帯電話 e x 1 1 5などの各機器が接続される。

しかし、コンテンツ供給システム exl 00は図 5 3のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 ex 1 0 7〜ex 1 1 0を介さずに、各機器が電話網 ex 1 0 4に直接接続されてもよい。

カメラ ex 1 1 3はディジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、 P D C (Personal Di ital Communications) 方式、 C DM A (Code Di ision Multiple Access) 方式、 W— C DM A (Wideband-Code Division Multiple Access ) 方式、若しくは G S M (Global System for Mobi le Communications) 方式の携帯電話機、または P H S (Personal Handyphone System) 等であり、いずれでも構わない。

また、ストリ一ミングサーバ ex 1 0 3は、カメラ ex 1 1 3から基地局 ex 1 0 9、電話網 ex 1 04を通じて接続されておリ、カメラ ex 1 1 3を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理は力メラ exl 1 3で行つても、データの送信処理をするサーバ等で行ってもよい。また、カメラ ex 1 1 6で撮影した動画データはコンピュータ exl 1 1 を介してストリーミングサーバ ex 1 0 3に送信されてもよい。カメラ ex 1 1 6はディジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラ exl 1 6で行ってもコンピュータ exl 1 1 で行ってもどちらでもよい。また、符号化処理はコンピュータ ex l 1 1 やカメラ ex l 1 6が有する L S I ex 1 1 7において処理するこどになる。なお、画像符号化 '復号化用のソフトウェアをコンピュータ ex l 1 1 等で読み取り可能な記録媒体である何らかの蓄積メディア（C D— R O M、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話 ex 1 1 5で動画データを送信してもよい。このときの動画データは携帯電話 ex 1 1 5が有する L S I で符号化処理されたデータである。

このコンテンツ供給システム ex 1 0 0では、ユーザがカメラ ex 1 1 3 . カメラ ex l 1 6等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバ ex 1 0 3に送信する一方で、ストリーミングサーバ ex 1 0 3は要求のあったクライアン卜に対して上記コンテンツデータをストリー厶配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータ ex 1 1 1 、 P D A ex 1 1 2、カメラ ex 1 1 3、携帯電話 ex l 1 4等がある。このようにすることでコンテンツ供給システム ex l 0 0は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイ厶で受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。

図 5 4は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話 ex l 1 5を示す図である。携帯電話 ex l 1 5は、基地局 ex 1 1 0との間で電波を送受信するためのアンテナ ex 2 0 1 、 C C Dカメラ等の映像、静止画を撮ることが可能なカメラ部 ex 2 0 3、カメラ部 ex 2 0 3で撮影した映像、アンテナ ex 2 0 1 で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部 ex2 0 2、操作キ一 e X 2 0 4群から構成される本体部、音声出力をするためのスピ一力等の音声出力部 ex 2 0 8、音声入力をするためのマイク等の音声入力部 ex 2 0 5、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディア ex 2 0 7、携帯電話 ex 1 1 5に記録メディア ex 2 0 7を装着可能とするためのスロット部 ex2 0 6を有している。記録メディア ex 2 0 7は S Dカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリである E E P R O M ( E I ectr ical ly Erasable and Programmab I e Read On I y Memory) の一種であるフラッシュメモリ素子を格納したものである < さらに、携帯電話 ex 1 1 5について図 5 5を用いて説明する。携帯電話 ex1 1 5は表示部 ex 2 0 2及び操作キー e x 2 0 4を備えた本体部の各部を統括的に制御するようになされた主制御部 ex 3 1 1 に対して、電源回路部 ex 3 1 0、操作入力制御部 ex3 0 4、画像符号化部 ex 3 1 2、カメラインターフェース部 ex 3 0 3、 L C D (Liquid Crystal Display) 制御部 ex3 0 2、画像復号化部 ex3 0 9、多重分離部 ex 3 0 8、記録再生部 ex3 0 7、変復調回路部 ex3 0 6及び音声処理部 ex3 0 5が同期バス ex3 1 3を介して互いに接続されている。

電源回路部 ex3 1 0は、ユーザの操作によリ終話及び電源キーがオン状態にされると、パッテリパックから各部に対して電力を供給することによリカメラ付ディジタル携帯電話 ex 1 1 5を動作可能な状態に起動する。携帯電話 ex 1 1 5は、 C P U、 R O M及び R A M等でなる主制御部 ex 3 1 1 の制御に基づいて、音声通話モード時に音声入力部 ex 20 5で集音した音声信号を音声処理部 ex 3 0 5によってディジタル音声データに変換し、これを変復調回路部 ex 3 0 6でスぺク卜ラム拡散処理し、送受信回路部 ex3 0 1 でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex2 0 1 を介して送信する。また携帯電話機 ex 1 1 5は、音声通話モード時にアンテナ ex 2 0 1 で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部 ex 3 0 6でスペクトラム逆拡散処理し、音声処理部 ex 30 5 によってアナログ音声データに変換した後、これを音声出力部 ex 208 を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キー e X 2 04の操作によって入力された電子メールのテキストデ —タは操作入力制御部 ex30 4を介して主制御部 ex 3 1 1 に送出される。主制御部 ex 3 1 1 は、テキストデータを変復調回路部 ex 30 6でスぺクトラ厶拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して基地局 ex 1 1 0へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部 ex 203 で撮像された画像データをカメラインターフヱース部 ex 3 03を介して画像符号化部 ex3 1 2に供給する。また、画像データを送信しない場合には、カメラ部 ex 2 0 3で撮像した画像データをカメラインターフエース部 ex 3 0 3及び L C D制御部 ex 30 2を介して表示部 ex 2 0 2に直接表示することも可能である。

画像符号化部 ex3 1 2は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部 ex 20 3から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によつて圧縮符号化することにより符号化画像データに変換し、これを多重分離部 ex 3 08 に送出する。また、このとき同時に携帯電話機 ex 1 1 5は、カメラ部 ex 2 0 3で撮像中に音声入力部 ex20 5で集音した音声を音声処理部 ex 3 0 5を介してディジタルの音声データとして多重分離部 ex3 0 8に送出する。

多重分離部 ex3 0 8は、画像符号化部 ex 3 1 2から供給された符号化画像データと音声処理部 ex 3 0 5から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部 ex 3 0 6でスぺクトラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルァナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナ ex 2 0 1 を介して基地局 ex1 1 0から受信した受信データを変復調回路部 ex3 0 6でスぺクトラ厶逆拡散処理し、その結果得られる多重化データを多重分離部 ex 3 0 8に送出する。

また、アンテナ ex 2 0 1 を介して受信された多重化データを復号化するには、多重分離部 ex3 0 8は、多重化データを分離することによリ画像データのビットストリームと音声データのビットストリームとに分け同期バス ex3 1 3を介して当該符号化画像データを画像復号化部 ex3 0 9に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給する。

次に、画像復号化部 ex 3 09は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリ一ムを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これを L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部 ex 3 0 5は、音声データをアナログ音声データに変換した後、これを音声出力部 ex 2 0 8に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっておリ、図 5 6に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局 ex 4 0 9では映像情報のビットストリームが電波を介して通信または放送衛星 ex 4 1 0に伝送される。これを受けた放送衛星 ex 4 1 0は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信し、テレビ（受信機） ex 4 0 1 またはセットトツプボックス ( S T B ) ex 4 0 7などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体である CDや DVD等の蓄積メディア ex 4 0 2に記録したビットストリー厶を読み取り、復号化する再生装置 ex 4 0 3にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタ ex 4 0 4に表示される。また、ケーブルテレビ用のケーブル ex 4 0 5または衛星地上波放送のアンテナ ex 4 0 6に接続されたセットトップボックス ex 4 0 7内に画像復号化装置を実装し、これをテレビのモニタ ex 4 0 8で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナ ex 4 1 1 を有する車 ex 4 1 2で衛星 ex 4 1 0からまたは基地局 ex 1 0 7等から信号を受信し、車 ex 4 1 2が有するカーナビゲ一シヨン ex 4 1 3等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、 DVD ディスク e X 4 2 1 に画像信号を記録する DVD レコーダや、ハードディスクに記録するディスクレコーダなどのレコーダ e X 4 2 0がある。更に SDカード e X 4 2 2に記録することもできる。レコーダ e x 4 2 0が上記実施の形態で示した画像復号化装置を備えていれば、 DVD ディスク e X 4 2 1や SDカード e x 4 2 2に記録した画像信号を再生し、モニタ e x 4 0 8で表示することができる。

なお、カーナビゲーシヨン ex4 1 3の構成は例えば図 5 5に示す構成のうち、カメラ部 ex 2 0 3 とカメラインタ一フェース部 ex 3 0 3、画像符号化部 e X 3 1 2を除いた構成が考えられ、同様なことがコンビユータ ex1 1 1 やテレビ（受信機） ex40 1等でも考えられる。

また、上記携帯電話 ex 1 1 4等の端末は、符号化器■復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器 ■ システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。産業上の利用の可能性

本発明に係る画像符号化装置は、通信機能を備えるパーソナルコンビユータ、 P D A、ディジタル放送の放送局および携帯電話機などに備えられる画像符号化装置として有用である。

また、本発明に係る画像復号化装置は、通信機能を備えるパーソナルコンピュータ、 P D A、ディジタル放送を受信する S T Bおよび携帯電話機などに備えられる画像復号化装置として有用である。

Claims

請求の範囲

1 . 複数のピクチャを参照してピクチャ間予測を行う際の動きべク卜ルの計算方法であって、

表示時間順で前方にある複数のピクチャもしくは表示時間順で後方にある複数のピクチャもしくは表示時間順で前方および後方の両方にある複数のピクチャを参照することができる参照ステップと、

ピクチャ間予測を行うブロックが属するピクチャとは別のピクチャの前記ブロックと同じ位置にあるブロックの動きベクトルを参照して、前記ピクチャ間予測を行うブロックの動き補償を行う場合に、前記動きベクトルを参照されるブロックに対してすでに求められている動きべクトルのうち、所定の条件を満足する少なくとも 1 つの動きべクトルを用いて前記ピクチャ間予測を行うブロックの動きベクトルを計算する動き補償ステップとを含む

ことを特徴とする動きべクトル計算方法。

2 . 前記参照ステップでは、表示時間順で前方にあるピクチャを優先して識別番号を昇順で付与された第 1 のピクチャの並びと、表示時間順で後方にあるピクチャを優先して識別番号を昇順で付与された第 2のピクチャの並ぴとから、それぞれ 1 つのピクチャを参照することができ、前記動き補償ステップでは、前記動きべクトルを参照されるブロックにおいて前記第 1 の並びにあるピクチャを参照する動きべクトルを用いる

ことを特徴とする請求の範囲 1記載の動きベクトル計算方法。

3 . 前記動き補償ステップでは、前記第 2の並びにあるピクチャのうち最小の識別番号を有するピクチャを前記別のピクチャとし、前記ピクチヤ間予測を行うブロックの動きベクトルを計算する

ことを特徴とする請求の範囲 2記載の動きベクトル計算方法。

4 . 前記動き補償ステップでは、前記動きベクトルを参照されるプロックが、長時間メモリに保存されるピクチャを参照する動きべクトルを複数有する時、ピクチャ間予測を行うブロックの動きべクトルとして、前記長時間メモリに保存されるピクチャを参照する動きべクトルのうち前記第 1 の並びにあるピクチャを参照する動きべクトルを用いる

ことを特徴とする請求の範囲 2記載の動きべクトル計算方法。

5 . 前記動き補償ステップでは、前記動きべクトルを参照されるプロックにおいて表示時間順で前方にあるピクチャを参照する動きベクトルのうち、少なくとも 1 つを用いて前記ピクチャ間予測を行うブロックの動きべクトルを計算する

ことを特徴とする請求の範囲 1 記載の動きべクトル計算方法。

6 . 前記動き補償ステップでは、前記動きべクトルを参照されるプロックが 1 または複数の動きべクトルを有する時、先に符号化または復号化された動きべクトル、または先に符号列に記述された動きべクトルを用いて前記ピクチャ間予測を行うブロックの動きベクトルを計算することを特徴とする請求の範囲 1 記載の動きベクトル計算方法。

7 . 前記動き補償ステップでは、前記動きベクトルを参照されるプロックが、表示時間順で前方または後方にあるピクチャを参照する複数の動きべクトルを有する時、前記複数の動きべクトルのうちの少なくとも 1 つを用いて前記ピクチャ間予測を行うブロックの 1 つの動きべクトルを計算する

8 . 前記動き補償ステップでは、前記動きベクトルを参照されるプロックが表示時間順で前方または後方にあるピクチャを参照する複数の動きべクトルを有する場合に、前記複数の動きべクトルのうちピクチャ間予測を行うピクチャに表示時間順で近いピクチャを参照する 1 つの動きべクトルまたは表示時間順で遠いピクチャを参照する 1 つの動きべクトルを用いて、動き補償を行うための動きべクトルを計算する

9 . 前記動き補償ステップでは、前記動きべクトルを参照されるプロックが、長時間メモリに保存されているピクチャを参照する動きべクトルを 1 つ有する時、前記ピクチャ間予測を行うブロックの動きべクトルとして、前記長時間メモリに保存されているピクチャを参照する動きべクトルを割り当てる

ことを特徴とする請求の範囲 1 ~ 8のいずれか 1 項に記載の動きべクトル計算方法。

1 0 . 前記動き補償ステップでは、

前記動きべクトルを参照されるブロックが、長時間メモリに保存されているピクチャを参照する動きべクトルを少なくとも 1 つ有する時、前記長時間メモリに保存されているピクチャを参照する動きべクトルが、前記動きべクトルを参照されるプロックのピクチャよリ表示時間順で前方にあるピクチャを参照する動きべクトルである場合、その動きべクトルを前記ピクチャ間予測を行うブロックの動きベクトルとすることを特徴とする請求の範囲 1 ~ 8のいずれか 1項に記載の動きべクトル計算方法。

1 1 . 前記動き補償ステップでは、さらに、前記ピクチャ間予測を行うブロックの動きべクトルの計算を行う途中段階、または最終結果に対して、所定の動きベクトルの精度への丸め演算を行う

ことを特徴とする請求の範囲 1 〜 8のいずれか 1項に記載の動きべク卜ル計算方法。

1 2 . 複数のピクチャを参照してピクチャ間予測を行う際の動きべクトルの計算方法であって、

記憶部に格納されている複数の符号化済ピクチャから符号化対象ピクチヤ上のブロックを動き補償により求めるときに参照する第 1 の参照ピクチャと第 2の参照ピクチャのうち少なくとも一方の参照ピクチャを選択するときに用いる第 1参照インデックスまたは第 2参照インデックスを前記符号化済ピクチャに対して付与する付与ステップと、

前記符号化対象ピクチャ上のブロックを動き補償するときに、前記符号化対象ピクチャ上のブロックの周囲にある周辺ブロックの動きべクトルのうち第 1参照インデックスを有する動きべクトルが複数あるとき、それらの中央値を示す動きベクトルを選択する第 1選択ステップと、前記第 1 選択ステップで選択された動きべクトルを用いて前記符号化対象ピクチャより表示時間順で、前方にあるピクチャまたは後方にあるピクチャまたは前方と後方にあるピクチャを参照する動きベクトルを導出する導出ステップと

を含むことを特徴とする動きべクトル計算方法。

1 3 . 前記第 1選択ステップでは、第 1参照インデックスを有する動きべクトルのうち、さらに、第 1参照インデックスの値が最小のものの中央値を示す動きべクトルを選択する

ことを特徴とする請求の範囲 1 2記載の動きべクトル計算方法。

1 4 . 前記第 1選択ステップは、さらに、前記符号化対象ピクチャ上のブロックの周囲にある周辺ブロックの動きべク卜ルのうち第 2参照ィンデックスを有する動きべクトルが複数あるとき、それらの中央値を示す動きべクトルを選択する第 2選択ステップを含む

ことを特徴とする請求の範囲 1 3記載の動きべクトル計算方法。

1 5 . 前記第 2選択ステップでは、第 2参照インデックスを有する動きべクトルのうち、さらに、第 2参照インデックスの値が最小のものの中央値を示す動きべクトルを選択する

ことを特徴とする請求の範囲 1 4記載の動きべクトル計算方法。

1 6 . 前記導出ステップでは、前記第 1選択ステップにおいて選択された動きべクトルを、前記符号化対象ピクチャ上のブロックが前記符号化対象ピクチャょリ表示時間順で前方にあるピクチャを参照する際の動きべクトルとし、前記第 2選択ステップにおいて選択された動きべクトルを、前記符号化対象ピクチャ上のブロックが前記符号化対象ピクチャより表示時間順で後方にあるピクチャを参照する際の動きベクトルとする

ことを特徴とする請求の範囲 1 5記載の動きべクトル計算方法。

1 7 . 前記導出ステップでは、前記第 1選択ステップにおいて選択された動きべクトルを、前記符号化対象ピクチャ上のブロックが前記第 1 の参照ピクチャを参照する際の動きべクトルとし、前記第 2選択ステツプにおいて選択された動きべクトルを、前記符号化対象ピクチャ上のブロックが前記第 2の参照ピクチャを参照する際の動きべクトルとすることを特徴とする請求の範囲 1 5記載の動きべクトル計算方法。

1 8 . 前記周辺プロックが他のプロックが有する動きべクトルを用いて符号化する直接モードのブロックであるとき、前記他のブロックを符号化または復号化するときに実質的に用いた動きべクトルを前記直接モードのブロックの動きべクトルとする

1 9 . 前記動きべクトル計算方法では、前記第 1 選択ステツプに代えて、

前記符号化対象ピクチャ上のブロックを動き補償するときに、前記符号化対象ピクチャ上のブロックの周囲にある周辺ブロックの動きべク卜ルのうち最小の第 1参照インデックスを有する動きベクトルの数に応じて動きベクトルの導出方法を決定する判断ステップを含み、

前記導出ステップでは、前記選択された動きべクトルの代わりに、決定された動きベクトル導出方法を用いて前記符号化対象ピクチャより表示時間順で前方にあるピクチャまたは後方にあるピクチャまたは前方と後方にあるピクチャを参照する動きべクトルを導出すると

を含むことを特徴とする請求の範囲 1 2記載の動きべクトル計算方法,