WO2004012459A1

WO2004012459A1 - 動画像符号化方法、動画像復号化方法および記録媒体

Info

Publication number: WO2004012459A1
Application number: PCT/JP2003/007640
Authority: WO
Inventors: Satoshi Kondo; Shinya Kadono; Makoto Hagai; Kiyofumi Abe
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2002-07-26
Filing date: 2003-06-17
Publication date: 2004-02-05
Also published as: AU2003241696A1; US7822120B2; EP1422946A4; EP1422946A1; US20040264570A1

Abstract

他のピクチャの参照ピクチャとして用いられるピクチャの符号化においては、ピクチャ間予測符号化で用いられる動きベクトルを動きベクトル記憶部（１１６）に格納する。ただし、この動きベクトルの記憶動作は、符号化制御部（１１０）により、参照ピクチャ数よりも少ないピクチャ数の動きベクトルを動きベクトル記憶部（１１６）に格納するように制御される。Ｂピクチャの符号化において直接モードで符号化する場合には、直接モードにおいて参照すべき動きベクトルが、動きベクトル記憶部（１１６）に保持されていると、その動きベクトルを利用して符号化を行う。また、動きベクトル記憶部（１１６）に保持されていない場合には、動きベクトル「０」として、または周辺ブロックの動きベクトルを利用して符号化を行う。

Description

明細書動画像符号化方法、動画像復号化方法および記録媒体技術分野

本発明は、動画像を効率良く圧縮する画像符号化方法とそれを正しく復号化する画像復号化方法に関し、特に直接モードを使用して処理を行う画像符号化方法と画像復号化方法に関する。背景技術

近年、音声，画像，その他のデータを統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジォ，電話等の情報を人に伝達する手段がマルチメディアの対象として取リ上げられるようになつてきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合 1 文字当たりの情報量は 1 〜 2バイ卜であるのに対し、音声の場合 1 秒当たリ 64Kb its (電話品質）、さらに動画については 1 秒当たリ 100Mbits (現行テレビ受信品質）以上の情報量が必要となリ、上記情報メディァでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、 64Kbit/s 〜 1.5Mbits/s の伝送速度を持つサービス総合ディジタル網（ ISDN ： Integrated Services Digital Network) によってすでに実用ィ匕されてし、るが、テレビ-カメラの映像をそのまま ISDNで送ることは不可能である。そこで、必要となつてくるのが情報の圧縮技術であリ、例えば、テレビ電話の場合、 ιτυ- T (国際電気通信連合電気通信標準化部門）で国際標準化された H.261 や H.263規格の動画圧縮技術が用いられている。また、 MPEG- 1 規格の情報圧縮技術によると、通常の音楽用 CD (コンパクト■ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、 MPEG (Moving Picture Experts Group) とは、動画像信号圧縮の国際規格であり、 MPEG- 1 は、動画像信号を 1 . 5 Mbps まで、つまリテレビ信号の情報を約 1 0 0分の 1 にまで圧縮する規格である。また、 MPEG - 1規格を対象とする伝送速度が主として約 1 . 5 Mbps に制限されていることから、さらなる高画質化の要求をみたすべく規格化された MPEG- 2では、動画像信号が 2 ~ 1 5 Mbps に圧縮される。さらに現状では、 MPEG- 1 , MPEG-2 と標準化を進めてきた作業グループ（ IS0/IEG JTG1/SC29/WG11) によって、MPEG- 1 , MPEG-2を上回る圧縮率を達成し、更に物体単位で符号化 ■ 復号化 ■ 操作を可能とし、マルチメディア時代に必要な新しい機能を実現する MPEG- 4が規格化された。 MPEG-4では、当初、低ビットレー卜の符号化方法の標準化を目指して進められたが、現在はィンタレース画像などの高ビッ卜レートも含む、よリ汎用的な符号化に拡張されている。

M P E G— 4や H . 2 6 L等の動画像符号化方式では、 Bピクチャ（なお、以下では、動画中の一画面である静止画が「フレーム」であっても「フィールド」であってもよい場合、 Γピクチャ」という。）の符号化において、直接モードという符号化モードを選択することができる。（M P E G — 4 ビジュアル規格書（ 1 9 9 9 年、 I SO/ 1 EG 14496 - 2： 1999 Information technology -- Coding of aud i o-v i sua I objects -- Part2： Visual, p.154)。図 1 は、従来の直接モードにおけるピクチャ間予測方法の一例を示す図である。直接モードにおけるピクチャ間予測方法を、図 1 を用いて説明する。今、ピクチャ B 3のブロック aを直接モードで符号化ノ復号化するとする。この場合、 H . 2 6 L方式においては、ピクチャ B 3を符号化/復号化する際に、第 2参照インデックス（参照ィンデックスは「相対インデックス j ともいう。参照インデックスについては後述する。）が Γ 0 J である参照ピクチャ中のブロック aと同じ位置にあるブロックの動きべクトルを利用する。ここでは、ピクチャ P 4がピクチャ B 3に対して第 2参照インデックスが Γ 0 J の参照ピクチャであるとする。この場合には、ピクチャ P 4中のブロック bの動きべクトル cを利用する。動きベクトル cは、ブロック bが符号化 Z復号化された際に用いられた動きベクトルであり、ピクチャ P 1 を参照している。ブロック aは、動きベクトル cと平行な動きベクトルを用いて、参照ピクチャであるピクチャ P 1 とピクチャ P 4とから双方向予測を行う。この場合のブロック aを符号化復号化する際に用いる動きべクトルは、ピクチャ P 1 に対しては動きべクトル d、ピクチャ P 4に対しては動きベクトル e となる。

図 2は、入力された各ピクチャに対するピクチャ番号および参照インデックスの付与の一例を示す説明図である。ピクチャ番号 ■ 参照ィンデックスは参照ピクチャ用メモリに格納された参照ピクチャを一意に識別するための番号である。参照画像としてメモリに蓄積されるピクチャ毎に Γ 1 j 増加する値がピクチャ番号として割り当てられる。

図 3は、従来の動画像符号化方法.、動画像復号化方法における画像符号化信号のフォーマツトを示す概念図である。 P i ctur e は 1 ピクチャ分の符号化信号、 Header はピクチャ先頭に含まれるヘッダ符号化信号、 B l ockl は直接モードによるブロックの符号化信号、 B l ock2は直接モード以外の補間（動き補償）予測によるブロックの符号化信号、 R l dxO, R l dx l は参照ィンデックス、 MV0. MV1 は動きべクトルを示す。補間（動き補償）予測ブロック B I ock2では、補間（動き補償）に使用する 2つの参照ピクチヤ（第 1 参照ピクチャおよび第 2参照ピクチャ）を示すため 2つの参照インデックス Rldx0， Rldx1 を符号化信号中にこの順で有する。参照ィンデックス RldxO， Rldx1いずれを使用するかは PredTypeによリ判断することができる。例えば、 PredTypeにより双方向でピクチャを参照することが示される場合は RldxOと Rldxl が用いられ、片方向でピクチャを参照することが示される場合は R I dxOまたは R I dx1 が用いられ、直接モードが示されている場合は R I dxO、 R I dx1 ともに用いられない。第 1参照ピクチャを示す参照インデックス RldxOを第 1 参照インデックス、第 2参照ピクチャを示す参照インデックス Rldxl を第 2参照インデックスと呼ぷ。第 1参照ピクチャと第 2参照ピクチャとは符号化ストリーム中のデータ位置で決まる。

以下、第 1 参照インデックス、第 2参照インデックスの付与方法について図 2 ( a ) を用いて説明する。

第 1参照インデックスの値には、まず、符号化/復号化対象ピクチャより前の表示時刻を持つ参照ピクチャに対し、符号化 Z復号化対象ピクチヤに近い順より「 0」から始まる値が割り当てられる。符号化/復号化対象より前の表示時刻を持つ参照ピクチャ全てに対し Γ 0」から始まる値が割リ当てられたら、次に符号化復号化対象ピクチャよリ後の表示時刻を持つ参照ピクチャに対し、符号化復号化対象ピクチャに近い順から続きの値が割リ当てられる。

第 2参照インデックスの値には、まず、符号化/復号化対象ピクチャより後の表示時刻を持つ参照ピクチャに対し、符号化ノ復号化対象ピクチヤに近い順より「 0」から始まる値が割り当てられる。符号化ノ復号化対象より後の表示時刻を持つ参照ピクチャ全てに対し Γ 0 J から始まる値が割リ当てられたら、次に符号化/復号化対象ピクチャよリ前の表示時刻を持つ参照ピクチャに対し、符号化/復号化対象ピクチャに近い順から続きの値が割リ当てられる。

図 2 ( a ) における第 1 参照ィンデックス R l dxOが Γ 0 J で第 2参照インデックス R I dx 1 が Γ 1 」の場合、図 2に示すように、第 1参照ピクチヤはピクチャ番号「 1 4 J の Bピクチャであり、第 2参照ピクチャはピクチャ番号「 1 3 J の Bピクチヤである。

プロック中の参照インデックスは可変長符号語によリ表現され、値が小さいほど短い符号長のコードが割り当てられている。通常、ピクチャ間予測の参照ピクチャとして符号化復号化対象ピクチャに最も近いピクチャが選択される可能性が高いため、上記のように符号化/復号化対象ピクチャに近い順に参照ィンデックス値を割リ当てれば符号化効率は高くなる。

一方、符号化信号中のバッファ制御信号（図 3の Heade r 内の RPSL) を用いて参照インデックスの割り当て変更（リマッピング）を明示することにより、参照インデックスに対する参照ピクチャの割り当てを任意に変更することができる。従って、この割り当ての変更により、第 2参照インデックスが Γ 0 J の参照ピクチャを、ピクチャメモリ内のどの参照ピクチャに定めてもよいということになる。例えば、図 2 ( b ) に示すように、第 2参照インデックスが「 0」の参照ピクチャが、符号化/ 復号化対象ピクチャの直前の表示時刻を持つ参照ピクチャとなるようにピクチャ番号に対する参照インデックスの割り当てを変更することもできる。

また、図 2 ( a ) および図 2 ( b ) に示した例では、 Bピクチャが他のピクチャの符号化ノ復号化の際に参照される場合を示したが、一般的には、以下の条件の下に符号化が行われる場合が多い。

( 1 ) Bピクチャは、他のピクチャに参照されない。 ( 2 ) Bピクチャの各ブロックは、表示順で前方にある直近の N ( N は正の整数）枚の P ピクチャ（または I ピクチャ）と、表示順で後方にある直近の 1 枚の Pピクチャ（または I ピクチャ）とのうちから任意の 2枚を参照して動き補償を行う。

図 4 ( a ) は、 Bピクチャが前方 4枚（ N = 4 ) および後方 1 枚の P ピクチャを参照ピクチャとして符号化される場合における符号化対象ピクチャ B 1 1 に対する参照インデックスの初期設定の一例を示す図である。図 4 ( a ) において、図 2 ( a ) に示した例と異なる点は、 Bピクチヤが他のピクチャに参照されないので、 Bピクチャには参照ィンデックスは割り当てられず、 Pピクチャ（と I ピクチャと）にのみ参照インデックスが割り当てられる。例えば、ピクチャ B 1 1 は、表示順で前方にある直近 4枚の Pピクチャと後方にある直近 1 枚の Pピクチャとを参照することができるので、ピクチャ P 0、ピクチャ P 1 、ピクチャ P 4、ピクチャ P 7およびピクチャ P 1 0にだけ参照ィンデックスが付されている。

図 4 ( a ) に示した例では、ピクチャ B 1 1 に対して第 1 参照インデックスが Γ 0 J である参照ピクチャは、ピクチャ P 7であり、第 2参照インデックスが Γ 0」である参照ピクチャは、ピクチャ P 1 0である。ピクチャ P 1 0は、ピクチャ B 1 1 に対して表示順で後方にあり、ピクチヤ B 1 1 に対して最も近傍にある Pピクチャである。上記の条件下においても、参照インデックスに対する参照ピクチャの割り当ては、自由に変更することができる。図 4 ( b ) は、図 4 ( a ) に示した参照インデックスに対して、リマッビングが行われた場合におけるピクチャ B 1 1 の参照インデックスの一例を示す図である。図 4 ( b )に示すように、 H . 2 6 L方式では、初期設定でピクチャ P 7に割り当てられていた第 1参照インデックスの値 Γ 0 J を、ピクチャ P 1 に割り当て直したり、初期設定でピクチャ P 1 0に割り当てられていた第 2参照インデックスの値 Γ 0 J を、ピクチャ P 0に割り当て直したり、当該 Bピクチャの符号化効率などに応じて、自由にリマッピングすることができる。

このように、参照インデックスに対する参照ピクチャの割り当ては、自由に変更することができるため、通常、参照ピクチャとして選択することにより符号化対象ピクチャの符号化効率が高くなるピクチャに対してより小さい参照インデックスが割リ当てられるように変更される。すなわち、ブロック中の参照インデックスは可変長符号語により表現され、値が小さいほど短い符号長のコ一ドが割リ当てられているので、参照することにより符号化効率が向上するピクチャに対して、より小さな参照インデックスを割り当てることにより、参照インデックスの符号量を減らし、さらに符号化効率の向上を行うものである。

上記従来の方法においては、 Bピクチャのブロックを直接モードによつて処理する場合、第 2参照インデックスが Γ θ _1 である参照ピクチャの動きベクトルを利用する。そのため、 Bピクチャの符号化/復号化処理の際には、第 2参照インデックスが Γ 0」である参照ピクチャの動きべクトルを記憶しておかなければならない。しかしながら、特に復号化処理の際には、復号化対象の Bピクチャの符号列を処理し始めるまで、どの参照ピクチャが第 2参照インデックス Γ 0 J のピクチャであるかがわからない。これは、バッファ制御信号（図 3の Header内の RPSL) を用いて明示的に指示することにより、参照インデックスに対する参照ピクチャの割り当てを任意に変更することができるためである。したがつて、 Bピクチャの符号化/復号化処理の際には、すべての参照ピクチャに対する動きべクトルを記憶しておかなければならない。よって従来の方法においては、画像サイズが大きくなるに従い、また、参照ピクチャ数が多くなるに従い、動きべクトルを格納するためのメモリ量が爆発的に増大するという問題がある。

本発明は、上記問題を解決するためのものであり、直接モード用に格納する動きべクトルのメモリ量を低減することを可能とする動画像符号化方法および動画像復号化方法を提供することを目的とする。発明の開示

この課題を解決するために、本発明の動画像符号化方法は、複数のブロックから構成されるピクチャの並びである動画像を符号化する方法であって、動きべクトルを用いた動き補償を行いながら動画像をブロック単位で符号化し、符号列を生成するステップと、動き補償に用いる動きべクトルの記憶に関する制限を示す制限情報を生成するステップと、生成された前記制限情報を符号化するステップとを有することを特徴とする。これにより、複数のブロックを有するピクチャ中の符号化対象プロックの動き補償を行うときに用いる動きベクトルの記憶の制限を示すことができる。

また、本発明の他の動画像符号化方法は、複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら符号化する方法であって、符号化対象ブロックの符号化モードを決定する決定ステップと、前記符号化対象プロックの符号化モードが直接モードである場合に、参照インデックスで特定される符号化済ピクチャの動きべクトルが記憶部に格納されているかどうかを判断する判断ステップと、前記参照ィンデックスで特定される符号化済フレームの動きべクトルが、記憶部に格納されていないと判断された場合に、前記符号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記符号化対象ブロックの周辺にあるブロックを符号化するときに用いられた動きべクトルを用いて前記符号化対象プロックの動き補償を行う導出ステツプとを有し、前記直接モードは、符号化済ピクチャ中のブロックが符号化されたときに用いられた動きベクトルを用いて前記符号化対象ブ口ックの動き補償を行う符号化モードであり、前記参照ィンデックスは、記憶部に格納されている複数の符号化済ピクチャから、前記符号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記符号化済ピクチャに対して付与されたインデックスであることを特徴とする。これにより、直接モードで動き補償を行うために必要な動きべクトルが記憶部になくても符号化対象プロックの動き補償を行うことができる。

また、前記動画像符号化方法は、さらに、前記参照インデックスで特定される符号化済フレームの動きべクトルが、記憶部に格納されていないと判断された場合に、前記符号化対象ブロックの動きベクトルを Γ Ο J として前記符号化対象ブロックの動き補償を行う別の導出ステップを有するとしてもよい。これにより、直接モードで動き補償を行うために必要な動きべクトルが記憶部になくても符号化対象ブロックの動き補償を行うことができる。

前記動画像符号化方法は、さらに、前記参照インデックスで特定される符号化済フレームを符号化するときに用いた動きベクトルが記憶部に格納されていると判断された場合に、記憶部に格納されている前記動きべクトルを用いて前記符号化対象ブロックの動き補償を行う別の導出ステツプを有するとしてもよい。これにより、直接モードで動き補償を行うために必要な動きべクトルがあるかないかの判断に基づいて符号化対象ブロックの動き補償をすることができる。

また、本発明のさらに他の動画像符号化方法は、複数のブロックから構成されるピクチャの並びである動画像を符号化する方法であって、動きベクトルを用いた動き補償を行いながら動画像をブロック単位で符号化し、符号列を生成するステップと、動き補償に用いる動きべクトルの記憶に関する制限を示す制限情報を生成する第一の出力ステップと、前記符号化対象ブロックが参照するピクチャが Bピクチャである場合に、前記 Bピクチャを符号化するときに用いた動きベクトルを記憶しないことを示す保存情報を生成する第二の出力ステップと、生成された前記制限情報と前記保存情報とを符号化するステップとを有し、前記 Bピクチャは、プロック毎に最大 2枚のピクチャを参照して動き補償を行うピクチヤであることを特徴とする。これにより、複数のブロックを有するピクチャ中の符号化対象プロックの動き補償を行うときに用いる動きべクトルの記憶の制限を示し、ピクチャタイプにより保存しない動きべクトルを示すことができる。

前記動画像符号化方法は、前記制限情報と前記保存情報とを符号化するステツプでは、前記制限情報と前記保存情報とを前記符号列中のへッダ情報として符号化するとしてもよい。前記動画像符号化方法は、さらに、前記保存情報に基づき前記 Bピクチャを符号化するときに用いた動きべクトルを記憶領域に格納せず、符号化順で、前記符号化対象ブロックを有するピクチャの直前に符号化された Pピクチャの動きべクトルを記憶領域に格納するステップを有し、前記 Pピクチャは、ブロック毎に既に符号化済みのピクチャを最大 1 枚参照して予測符号化を行うピクチャであるとしてもよい。これにより、複数のブロックを有するピクチャ中の符号化対象ブロックの動き補償を行うときに用いる動きベクトルの記憶の制限を示し、ピクチャタイプにより保存しない動きべクトルを示すことができる。

本発明のさらに他の動画像符号化方法は、複数のプロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら符号化する方法であって、符号化対象のピクチヤがトップフィールドとポトムフィールドとからなるインタレース画像のいずれかのフィールドである場合に、前記符号化対象のピクチャが前記トップフィ —ルドであるか前記ボトムフィールドであるかを判断するステップと、前記符号化対象のピクチャが前記トップフィールドであると判断された場合に、符号化対象ピクチャの動き補償に用いた動きべクトルをトップフィ一ルド用の記憶領域に格納し、前記符号化対象のピクチャが前記ポトムフィールドであると判断された場合に、符号化対象ピクチャの動き補償に用いた動きべクトルをボトムフィールド用の記憶領域に格納するステップとを有することを特徴とする。これにより、フィールドのパリティ毎に動きベクトルを格納することができる。

前記動画像符号化方法は、前記トップフィ一ルド用の記憶領域に格納する動きべクトルと、前記ポトムフィールド用の記憶領域に格納する動きべクトルとは、同一フレームに属するトップフィールドとボトムフィ一ルドを符号化するときに用いた動きべクトルであるとしてもよい。これにより、同一フレームに属するフィールドを符号化するときに用いた動きべクトルを保存することができる。

前記動画像符号化方法は、さらに、符号化対象のピクチャをフレーム構造で符号化する場合に、前記符号化対象ピクチャの動き補償に用いた動きべクトルを、トップフィールド用の記憶領域とボトムフィールド用の記憶領域とに格納するステップを有するとしてもよい。これにより、トップフィールド用の記憶領域とボトムフィールド用の記憶領域との両方に、フレーム構造の符号化対象のピクチャにおいて動き補償を行うときに用いた動きべクトルを記憶できる。

上記課題を解決するために、本発明の動画像復号化方法は、複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する方法であって、復号化対象プロックの動き補償に用いる動きべクトルの記憶に関する制限を示す制限情報を有する符号化列を入力するステップと、前記符号化列を復号化し前記制限情報を抽出するステップと、前記制限情報に基づいて動きべクトルを記憶領域に格納するステップとを有することを特徴とする。これにより、複数のブロックを有するピクチャ中の符号化対象ブロックの動き補償を行うときに用いる動きベクトルの記憶の制限をすることができる, また、本発明の他の動画像復号化方法は、複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら復号化する方法であって、復号化対象ブロックの符号化モードを示す符号化モード情報を有する符号化列を入力するステップと、前記符号化列を復号化し前記符号化モード情報を抽出するステップと、前記符号化モ一ド情報が直接モ一ドを示している場合に、参照インデックスで特定される復号化済ピクチャを復号化するときに用いた動きべクトルが記憶部に格納されているかどうかを判断する判断ステップと、前記参照インデックスで特定される復号化済ピクチャの動きべクトルが、記憶部に格納されていないと判断された場合に、前記復号化対象プロックを有するピクチャと同一のピクチャ内にあり前記復号化対象プロックの周辺にあるブロックを復号化するときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う導出ステップとを有し、前記直接モードは、参照するピクチャ中において前記復号化対象ブロックと同じ位置にあるプロックが復号化されたときに用いられた動きべクトルを用いて前記復号化対象ブロックの動き補償を行う符号化モードであリ、前記参照インデックスは、記憶部に格納されている複数の復号化済ピクチャから、前記復号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記復号化済ピクチャに対して付与されたインデックスであることを特徴とする。これにより、直接モードで動き補償を行うために必要な動きベクトルが記憶部になくても復号化対象ブロックの動き補償を行うことができる。

また、さらに、前記参照インデックスで特定される復号化済ピクチャの動きべクトルが、記憶部に格納されていないと判断された場合に、前記復号化対象ブロックの動きベクトルを「0 J 'として前記復号化対象ブロックの動き補償を行う別の導出ステップを有するとしてもよい。これにより、直接モードで動き補償を行うために必要な動きべクトルが記憶部になくても復号化対象ブロックの動き補償を行うことができる。

前記動画像復号化方法は、さらに、前記参照インデックスで特定される復号化済ピクチャを復号化するときに用いた動きべクトルが記憶部に格納されていると判断された場合に、記憶部に格納されている前記動きベクトルを用いて前記復号化対象ブロックの動き補償を行う別の導出ステツプを有するとしてもよい。これにより、直接モードで動き補償を行うために必要な動きべクトルがあるかないかの判断に基づいて復号化対象ブロックのき補償をすることができる。

本発明のさらに他の動画像復号化方法は、複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら復号化する方法であって、復号化対象プロックの動き補償に用いる動きべクトルの記憶に関する制限を示す制限情報と、前記復号化対象ブロックが参照するピクチャが Bピクチャであるときに、前記 Bピクチャを復号化するときに用いた動きベクトルを記憶部に格納しないことを示す保存情報とを有する符号化列を入力する入力ステップと、前記符号化列を復号化し前記制限情報と前記保存情報とを抽出する抽出ステップと、前記制限情報に基づいて動きベクトルを記憶部に格納し、さらに前記保存情報に基づいて Bピクチャを復号化するときに用いた動きべクトルを記憶部に格納しない格納ステップとを有し、前記 Bピクチャは、ブロック毎に最大 2枚の復号化済みピクチャを参照して動き補償を行うピクチャであることを特徴とする。これにより、抽出された制限情報と保存情報とにより、動きべクトルを保存すべきかどうかを決めることができる。

さらに、前記格納ステップにおいて、前記保存情報に基づき前記 Bピクチャを復号化するときに用いた動きべクトルを記憶部に格納せず、復号化順で、前記復号化対象プロックを有するピクチャの直前に復号化された Pピクチヤの動きべクトルを記憶部に格納し、前記 Pピクチャは、ブロック毎に既に復号化済みのピクチャを最大 1 枚參照して動き補償を行うピクチャであるとしてもよい。これにより、抽出された制限情報と保存情報とにより、動きべクトルを保存すべきかどうかを決めることができる。

また、本発明のさらに他の動画像復号化方法は、複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら復号化する方法であって、復号化対象のピクチャが卜ップフィ一ルドとポトムフィールドとからなるインタレース画像のいずれかのフィ一ルドである場合に、前記復号化対象のピクチャが前記トップフィールドであるか前記ボトムフィールドであるかを判断するステツプと、前記復号化対象のピクチャが前記卜ップフィールドであると判断された場合に、復号化対象ピクチャの動き補償に用いた動きべクトルをトップフィールド用の記憶領域に格納し、前記復号化対象のピクチャが前記ボトムフィールドであると判断された場合に、復号化対象ピクチャの動き補償に用いた動きべクトルをボトムフィールド用の記憶領域に格納するステップとを有することを特徴とする。これにより、フィールドのパリティ毎に動きべクトルを格納することができる。

以上の様に、本発明の動画像符号化方法および動画像復号化方法によれぱ、直接モードで必要となる動きべクトルを格納するためのメモリ量を削減しつつ、より符号化効率の高い符号列を生成することができ、その実用的価値が高い。図面の簡単な説明

図 1 は、従来の直接モードにおけるピクチャ間予測方法の一例を示す図である。

図 2は、入力された各ピクチャに対するピクチャ番号および参照インデックスの付与の一例を示す説明図である。

図 3は、従来の動画像符号化方法、動画像復号化方法における画像符号化信号のフォーマツトを示す概念図である。

図 4 ( a ) は、 Bピクチャが前方 4枚および後方 1 枚の Pピクチャを参照ピクチャとして符号化される場合における符号化対象ピクチャ B 1 1 に対する参照インデックスの初期設定の一例を示す図である。

図 4 ( b ) は、図 4 ( a ) に示した参照インデックスに対して、リマッビングが行われた場合におけるピクチャ B 1 1 の参照ィンデックスの —例を示す図である。

図 5は、本発明の実施の形態 1 の動画像符号化装置の構成を示すプロック図である。

図 6 ( a ) は、図 5の動画像符号化装置に入力画像として入力されるピクチャの順序を示す図である。

図 6 ( b ) は、図 6 ( a ) に示したピクチャの順序を符号化順に並べ替えた場合のピクチャの順序を示す図である。

図 7は、図 5に示した符号列生成部によって生成される符号列の一例を示す図である。

図 7 ( a ) は、動きベクトルの記憶量に関する情報がシーケンスへッダに記述された符号列の一例を示す図である。

図 7 ( b ) は、動きベクトルの記憶量に関する情報が G O P (G roup of P i ctur es)ヘッダに記述された符号列の一例を示す図である。

図 7 ( c ) は、動きベクトルの記憶量に関する情報がピクチャヘッダに記述された符号列の一例を示す図である。

図 7 ( d ) は、動きベクトルの記憶量に関する情報がスライスヘッダに記述された符号列の一例を示す図である。

図 8は、対象ブロックの動きベクトルを、直接モードを用いて計算する場合の計算方法の一例を示す図である。

図 9は、 Bピクチャを直接モードで符号化する際に第 2参照インデックスが Γ 0」の参照ピクチャの動きべクトルを利用できない場合の 2方向予測の一例を示す図である。

図 1 0は、 Bピクチャを直接モードで符号化する際に第 2参照インデックスが Γ 0」の参照ピクチャの動きベクトルを利用できない場合の 2 方向予測の他の例を示す図である。

図 1 1 は、実施の形態 2の動画像復号化装置の構成を示すブロック図である。

図 1 2 ( a ) は、符号列中に含まれるピクチャの順序を示すである。図 1 2 ( b ) は、図 1 2 ( a ) に示したピクチャの並びを復号化順に並べ替えた場合のピクチャの順序を示す図である。

図 1 3は、記録媒体からのデータの再生を管理するための管理情報と、符号化された A Vデータとを D V Dなどの記録媒体に記録する記録装置の概略的構成を示すブロック図である。

図 1 4は、図 1 3に示したシステム符号化部によって生成された管理情報と A V (Aud i o V i deo)ストリームとが記録された D V Dなどの記録媒体の一例を示す図である。図 1 5は、図 1 3に示した記録装置に備えられる動画像符号化装置の構成を示すブロック図である。

図 1 6 ( a ) は、表示順に入力されたピクチャとそれらの符号化の順を示す図である。

図 1 6 ( b ) は、従来の M P E G— 4符号化方式において、各ピクチャの符号化に伴ってメモリ内に格納される参照ピクチャと動きベクトルとを示す図である。

図 1 7 ( a ) は、表示順に入力されたピクチャとそれらの符号化の順を示す図である。

図 1 7 ( b ) は、図 1 5に示した動画像符号化装置において、各ピクチヤの符号化に伴ってメモリ内に格納される参照ピクチャと動きべクトルとを示す図である。

図 1 8は、デジタルテレビ放送で送信されるデータストリームの一例を示す図である。

図 1 9は、実施の形態 4の再生装置の概略的構成を示すブロック図である。

図 2 0は、図 1 9に示したビデオ復号化部に相当する動画像復号化装置の構成を示すプロック図である。

図 2 1 は、符号化または復号化の対象ピクチャがフィールド構造である場合のピクチャ間の参照関係の一例を示す図である。

図 2 2は、符号化または復号化の対象ピクチャがフレームである場合についてピクチャ間の参照関係の一例を示す図である。

図 2 3は、動画像を符号化または復号化する際の、各フレームの時間的並びを示す図である。

図 2 4 ( a ) は、動きべクトルを保存するメモリアドレスが 1 ピクチャ分である場合のメモリの動作を説明するための模式図である。図 2 4 ( b ) は、トップフィールドの動きベクトルとボトムフィールドの動きベクトルとを 2フィールド分ずつ格納する場合のメモリの動作を説明するための模式図である。

図 2 5 ( a ) は、記録媒体本体であるフレキシブルディスクの物理フォ一マットの例を示している。

図 2 5 ( b ) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す。

図 2 5 ( c ) は、フレキシブルディスク F Dに上記プログラムの記録再生を行うための構成を示す。

図 2 6は、コンテンツ配信サービスを実現するコンテンツ供給システム ex 1 0 0の全体構成を示すブロック図である。

図 2 7は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話 ex 1 1 5を示す図である。

図 2 8は、携帯電話の構成を示すブロック図である。

図 2 9は、ディジタル放送用システムの一例を示す図である。発明を実施するための最良の形態

以下、本発明の実施の形態について、図 5から図 2 9を用いて説明する。

(実施の形態 1 )

図 5は、本発明の実施の形態 1 の動画像符号化装置 1 0 0の構成を示すブロック図である。動画像符号化装置 1 0 0は、各ピクチャの符号化の際に、符号化対象ピクチャの直前に符号化された参照ピクチャで検出された動きべクトルだけをメモリ内に格納しておき、 Bピクチャを直接モードで符号化する際に参照すべき動きべクトルがメモリ内に格納されていない場合には、従来の直接モードとは異なる方法で符号化する動画像符号化装置であって、フレームメモリ 1 0 1 、差分演算部 1 0 2、予測残差符号化部 1 0 3、符号列生成部 1 0 4、予測残差復号化部 1 0 5、加算演算部 1 0 6、フレームメモリ 1 0 7、動きべクトル検出部 1 0 8、モード選択部 1 0 9、符号化制御部 1 1 0、スィッチ 1 1 1 〜 1 1 5、動きべクトル記憶部 1 1 6を備える。フレームメモリ 1 0 1 は、入力画像をピクチャ単位で保持する画像メモリで、入力画像として表示順に入力されるピクチャを、符号化順に並べ替えるための記憶領域を提供する。差分演算部 1 0 2は、フレームメモリ 1 0 1 内のピクチャからブロック単位で読み出された画像と、フレームメモリ 1 0 7内の参照ピクチャから動きべクトルに基づいて読み出された 1 ブロックの画像との差分である予測残差を求めて出力する。予測残差符号化部 1 0 3は、差分演算部 "1 0 2で求められた予測残差に周波数変換を施し、量子化して出力する。この予測残差符号化部 1 0 3による量子化においては、除算結果の丸めなどによって非可逆となる処理が含まれる場合がある。符号列生成部 1 0 4は、予測残差符号化部 1 0 3からの量子化結果を可変長符号化した後、出力用の符号化ビットストリームのフォーマットに変換し、符号化された予測残差の関連情報を記述したへッダ情報などの付加情報を付して符号列を生成する。予測残差復号化部 1 0 5は、予測残差符号化部 1 0 3からの符号化結果を可変長復号化し、逆量子化した後、逆周波数変換を施し、復号化された予測残差を出力する。加算演算部 1 0 6は、予測残差復号化部 1 0 5の復号化結果である予測残差のプロックに前記参照画像のプロックを加算して、復号化された 1 ブロック分の画像を出力する。フレームメモリ 1 0 7は、復号化された各プロックの画像を蓄積し、参照画像をピクチャ単位で保持する画像メモリである。

動きべクトル検出部 1 0 8は、対象ピクチャの動きベクトルを、所定の大きさのブロックを単位として検出する。モード選択部 1 0 9は、フレームメモリ 1 0 1 から読み出された対象ブロックとそれに対して検出される動きべクトルとを参照して、対象ブロックの動きべクトルを直接モードで計算するか他のモードで計算するかを選択する。直接モードを選択した場合、モード選択部 1 0 9は、動きべクトル記憶部 1 1 6に格納されている、符号化対象ピクチャより表示順で後方にある参照ピクチャの動きべクトルを用いて対象ブロックの動きべクトルを計算する。モード選択部 1 0 9は、計算の結果である動きべクトルによって示される参照画像のブロックを、フレームメモリ 1 0 7から読み出して差分演算部 1 0 2と加算演算部 1 0 6 とに出力する。符号化制御部 1 1 0は、フレームメモリ 1 0 1 に表示順で格納されている入力画像のピクチャを、符号化される順に入れ替え、符号化の対象となるピクチャから符号化の順に、符号化処理の単位となるブロックを読み出す。また、符号化制御部 1 1 0は、参照ピクチャごとに参照インデックスを割り当て、割リ当てた参照インデックスの一覧である参照インデックスリストを管理する, さらに、符号化制御部 1 1 0は、符号化対象ピクチャの直前に符号化された参照ピクチヤの動きべクトルだけを動きべクトル記憶部 1 1 6に格納し、動きべクトル記憶部 1 1 6に格納される動きべクトルの記憶量を示す情報を作成する。動きべクトル記憶部 1 1 6は、符号化対象のピクチヤの直前に符号化された参照ピクチャにおいて.得られている動きべクトルを保存するための記憶領域を提供する。

以下では、上記のように構成された動画像符号化装置 1 0 0の動作について説明する。図 5に示した動画像符号化装置 1 0 0の入力画像は、表示時間順にピクチャ単位でフレームメモリ 1 0 1 に入力される。図 6 ( a ) は、図 5の動画像符号化装置 1 0 0に入力画像として入力されるピクチャの順序示す図である。フレームメモリ 1 0 1 に入力されるピクチャの順序を図 6 ( a ) に示す。図 6 ( a ) において、縦線はピクチャを示し、各ピクチャの右下に示す記号は、 1 文字目のアルファベットがピクチャタイプ（ I 、 Pまたは B ) を示し、 2文字目以降の数字が表示順のピクチヤ番号を示している。フレームメモリ 1 0 1 に入力された各ピクチャは、符号化順に並び替えられる。符号化順への並び替えは、ピクチャ間予測符号化における参照関係に基づいて行われ、参照ピクチャとして用いられるピクチャが、符号化対象ピクチャよリも先に符号化されるように並び替える。図 6 ( b ) は、図 6 ( a ) に示したピクチャの順序を符号化順に並べ替えた場合のピクチャの順序を示す図である。例えば、 P ピクチャは、表示順で前方にある近傍 3枚の I ピクチャまたは Pピクチヤを参照ピクチャとする。すなわち、符号化対象の Pピクチャにおいて符号化対象となる各ブロックは、表示順で.前方にある 1枚の参照ピクチャを参照して動き補償を行うのであるが、ブロックごとにこの 1 枚を表示順で前方にある近傍 3枚の I ピクチャまたは Pピクチャの中から任意に選択することができる。また、 Bピクチャは、表示順で前方にある近傍 3枚の I ピクチャまたは Pピクチャと、表示順で後方にある近傍 1 枚の I ピクチャまたは Pピクチャとを参照ピクチャとして用いるものとする。従って、符号化対象の Bピクチャにおいて符号化対象となる各ブロックは、 2枚の参照ピクチャを参照して動き補償を行うのであるが、ブロックごとにこの 2枚を、表示順で前方にある近傍 3枚の I ピクチャまたは Pピクチャと、表示順で後方にある近傍 1枚の I ピクチヤまたは Pピクチャとの中から任意に選択することができる。このため、 Bピクチャの符号化より前の時点で、当該 Bピクチャより表示順で後方にある近傍 1枚の I ピクチャまたは Pピクチャを符号化しておかなくてはならない。この場合、図 6 ( a ) のピクチャを並び替えた結果は図 6 ( b ) のようになる。例えば、 Bピクチャであるピクチャ B 5に注目すると、ピクチャ B 5より表示順で後方にある（ I ピクチャまたは） Pピクチャであって、かつ、ピクチャ B 5の最も近傍にあるピクチャ P 7が、ピクチャ B 5を符号化する前に符号化される。

フレームメモリ 1 0 1 で並び替えが行われた各ピクチャは、マクロブロックの単位で読み出されるとする。ここでは、マクロブロックは水平 1 6画素 X垂直 1 6画素の大きさであるとする。また、動き補償はプロック単位（ここでは 8画素 X 8画素の大きさとする）単位で行うものとする。以下では、ピクチャ P 1 3、ピクチャ B 1 1 の符号化処理について順に説明する。なお、本実施の形態における参照インデックスの管理は符号化制御部 1 1 0において行うものとする。

<ピクチャ P 1 3の符号化処理 >

ピクチャ P 1 3は Pピクチヤであるので、前方参照を用いたピクチャ間予測符号化を行う。この場合の参照ピクチャはピクチャ P 1 0、ピクチヤ P 7、ピクチャ P 4となる。これらの参照ピクチャは、既に符咢化が終了しておリ、復号化画像がフレームメモリ 1 0 7に蓄積されている。符号化制御部 1 1 0は、入力されたピクチャをどのタイプのピクチャ ( 1 、 Pまたは Bピクチャ）で符号化するかを決定し、そのピクチャタイブにより、スィッチスィッチ 1 1 3、スィッチ 1 1 4、スィッチ 1 1 5を制御する。ここで、ピクチャタイプの決定は、例えば、周期的にピクチャタイプを割り当てる方法が一般的に用いられる。ピクチャタイプの決定により、フレームメモリ 1 0 1 内でピクチャの符号化順序の入れ替えが行われる。

Pピクチャの符号化においては、符号化制御部 1 1 0は、スィッチ 1 1 3、スィッチ 1 1 4、スィッチ 1 1 5がオンになるように各スィッチを制御する。したがって、フレームメモリ 1 0 1 から読み出されたピクチヤ P 1 3のマクロブロックは、まず動きべクトル検出部 1 0 8、モード選択部 1 0 9、差分演算部 1 0 2に入力される,。動きべクトル検出部 1 0 8では、フレームメモリ 1 0 7に蓄積されたピクチャ P 1 0の復号化画像データを参照ピクチャとして用い、マクロブロック内の各ブロックに対して、動きベクトルの検出を行う。検出された動きべクトルは、モード選択部 1 0 9に対して出力される。

モード選択部 1 0 9では、動きべクトル検出部 1 0 8で検出した動きベクトルを用いて、マクロブロックの符号化モードを決定する。ここで符号化モードとは、マクロブロックをどのような方法で符号化するかを示すものである。例えば、 Pピクチャの場合には、ピクチャ内符号化、動きべクトルを用いたピクチャ間予測符号化、動きべクトルを用いない (動きべクトルを「 0」として扱う、または、周囲ブロックの動きべクトルから選択する）ピクチャ間予測符号化の中から、いずれの方法で符号化するかを決めることができるとする。符号化モードの決定においては、一般的には、少ないビット量でより符号化誤差が小さくなる方法を選択する。

モード選択部 1 0 9で決定された符号化モードは、符号列生成部 1 0 4に対して出力される。また、現ピクチャが、他のピクチャの符号化時に参照ピクチャとして用いられるピクチャであり、モード選択部 1 0 9 で決定された符号化モードがピクチャ間予測符号化である場合には、モード選択部 1 0 9は、そのピクチャ間予測符号化で用いられる動きべクトルを動きべクトル記憶部 1 1 6に格納する。ただし、動きべクトル記憶部 1 1 6への動きべクトルの格納動作は、後述するように符号化制御部 1 1 0により制御される。また、動きベクトルは、モード選択部 1 0 9から符号列生成部 1 0 4に対して出力される。

さて、以下では、モード選択部 1 0 9による動きべクトル記憶部 1 1 6への動きべクトル格納動作について説明する。動きべクトル記憶部 1 1 6に格納される動きべクトルの数は、符号化制御部 1 1 0により指定される。 Pピクチャは、前方の 3つのピクチャを参照ピクチャとして用いて符号化されるが、ここでは参照ピクチャ数よりも少ないピクチャ数の動きべクトルを、動きべクトル記憶部 1 1 6に格納する。例えば、ここでは 1 つのピクチャのみの動きべクトルを格納するとする。この場合、格納する動きベクトルとしては、参照ピクチャのうち符号化順で現ピクチヤの直前に符号化された参照ピクチャの動きベクトルを格納する方法がある。ここで、すでに動きべクトル記憶部 1 1 6に記憶されている動きべクトルは、現ピクチャの符号化の開始時に消去しても良いし、符号化モードが決定される度に、動きべクトルを符号化されるブロックの順に上書きしても良い。なお、格納する動きべクトルの量としては、復号化装置が有する動きベクトルを格納する領域（メモリ）の大きさをもとに決めても良い。また、動きべクトル記憶部 1 1 6に格納する動きべクトルとしては、 I ピクチャのみ、 P ピクチャのみ、または I ピクチャと Pピクチャのみにするようにしても良い。さらに、これらに加えて、符号化中のピクチャにおいて、対象ブロックよりも前に直接モード以外のピクチャ間予測を用いて符号化されている所定数のブロックまたは全ブロックの動きベクトルが格納されるようにしてもよい。ここで、 I ピクチヤに関して格納される動きべクトルの情報としては、動きべクトルが格納されていないことを示す情報のことである（ I ピクチャは動き補償されないため）。また、動きべクトル記憶部 1 1 6に格納する動きべクトルとしては、表示順で符号化対象ピクチャに近いものから数ピクチャを保存するようにしても、符号化の順番（ストリーム順序）で符号化対象ピクチャに近いピクチャから（ストリーム順序で後のピクチャから）数ピクチャを保存するようにしても、いずれでも構わない。 Bピクチャが後方の 2枚の Pピクチャを参照する場合、符号化（または復号化）の順番では近くても、時間的に離れているため、画像としては近い画像ではない（動き補償に.適した画像ではない）可能性が高い。よって、 Bピクチヤが後方の複数の Pピクチャを参照する場合には、表示順で符号化対象ピクチャに近いものから動きベクトルを保存するとよい場合がある。一方、符号化の順番（ストリーム順序）で符号化対象ピクチャに近いピクチャから（ストリ一ム順序で後のピクチャから）動きべクトルを保存すると、メモリの管理を簡略化できる利点がある。

またさらに、符号化制御部 1 1 0によリ指定された、動きべクトル記憶部 1 1 6に格納される動きべクトルの数（例えば、参照ピクチャ数、マクロブロック数）は、符号列生成部 1 0 4に対して出力される。

次に、図 5に示したように、モード選択部 1 0 9で決定された符号化モードに基づいた参照画像が、差分演算部 1 0 2と加算演算部 1 0 6とに出力される。ただし、ピクチャ内符号化が選択された場合には、参照画像は出力されない。また、モード選択部 1 0 9でピクチャ内符号化が選択された場合には、符号化制御部 1 1 0は、スィッチ 1 1 1 を端子 a に、スィッチ 1 1 2を端子 cに接続するように制御し、ピクチャ間予測符号化が選択された場合には、スィッチ 1 1 1 を端子 bに、スィッチ 1 1 2を端子 dに接続するように制御する。

以下では、モード選択部 1 0 9でピクチャ間予測符号化が選択された場合について説明する。

差分演算部 1 0 2には、マクロブロックの画像データ以外に、モード選択部 1 0 9から参照画像が入力される。差分演算部 1 0 9では、マクロブ口ックの画像データと参照画像との差分を演算し、予測残差画像を生成し出力する。

予測残差画像は予測残差符号化部 1 0 3に入力される。予測残差符号化部 1 0 3では、入力された予測残差画像に対して周波数変換や量子化等の符号化処理を施すことにより、符号化データを生成して出力する。ここで例えば、周波数変換や量子化の処理は、水平 8画素 X垂直 8画素の単位で行うことができる。予測残差符号化部 1 0 3から出力された符号化データは、符号列生成部 1 0 4と予測残差復号化部 1 0 5とに入力される。

符号列生成部 1 0 4では、入力された符号化データに対して、可変長符号化等を施し、さらにモード選択部 1 0 9から入力された動きべクトルの情報、符号化モードの情報、その他のヘッダ情報、等を付加することにより符号列を生成する。この場合、ヘッダ情報には、符号化制御部 1 1 0により決定された、動きベクトルの記憶量に関する情報（例えば、参照ピクチャ数、マクロブロック数）が記述される。この記述は、符号列全体のヘッダ（シーケンスヘッダ）、複数ピクチヤから構成される G O Pのヘッダ（ G O Pヘッダ）、ピクチャヘッダ、スライスヘッダ等に記述すれば良い。また、符号化装置と復号化装置とで動きべクトルの記憶量に関する情報を予め共有しているような場合には、動きべクトルの記憶量に関する情報は、符号化されてもされなくてもよい。図 7は、図 5に示した符号列生成部 1 0 3によつて生成される符号列の一例を示す図である。以下の図において、斜線部は、それぞれヘッダを示す。図 7 ( a ) は、動きべクトルの記憶量に関する情報がシーケンスヘッダに記述された符号列の一例を示す図である。図 7 ( b ) は、動きべクトルの記憶量に関する情報が G O P (G roup of P i ctur es)へッダに記述された符号列の一例を示す図である。図 7 ( c ) は、動きベクトルの記憶量に関する情報がピクチャヘッダに記述された符号列の一例を示す図である。図 7 ( d ) は、動きベクトルの記憶量に関する情報がスライスヘッダに記述された符号列の一例を示す図である。また、この記述は符号列全体のへッダに 1 つだけ記述するようにしてもよいし、 G O Pのヘッダ（ G O P ヘッダ）、ピクチャヘッダ、およびスライスヘッダ等に同一の情報を繰り返し記述するようにしてもよい。

また、上記の動きべクトルの記憶量に関する情報は、参照ピクチャ数またはマクロブロック数などに限らず、例えば、単に、動きベクトルの記憶量に制限が設けられていることを示す情報またはメモリに格納されるデータに制限が設けられていることを示す情報などであってもよい。予測残差復号化部 1 0 5では、入力された符号化データに対して、逆量子化や逆周波数変換等の復号化処理を施し、復号化差分画像を生成して出力する。復号化差分画像は加算演算部 1 0 6において、予測画像と加算されることによリ復号化画像となリ、フレームメモリ 1 0 7に蓄積される。

同様の処理により、ピクチャ P 1 3の残りのマクロブロックに対して、符号化処理が行われる。そして、ピクチャ P 1 3のすベてのマクロプロックについて処理が終わると、次にピクチャ B 1 1 の符号化処理が行われる。

<ピクチャ B 1 1 の符号化処理 >

ピクチャ B 1 1 は Bピクチヤであるので、 2方向参照を用いたピクチャ間予測符号化を行う。この場合の参照画像は、表示順で前方にある参照ピクチャがピクチャ P 1 0、ピクチャ P 7、ピクチャ P 4、表示順で後方にある参照ピクチャがピクチャ P 1 3となる。ピクチャ B 1 1 の符号化処理においては、符号化制御部 1 1 0は、スィッチ 1 1 3がオン、スィッチ 1 1 4、スィッチ 1 1 5がオフになるように各スィッチを制御するものとする。よって、フレームメモリ 1 0 1 から読み出されたピクチヤ B 1 1 のマクロブロックは、動きベクトル検出部 1 0 8、モード選択部 1 0 9、差分演算部 1 0 2に入力される。

動きべクトル検出部 1 0 8では、フレームメモリ 1 0 7に蓄積されたピクチャ P 1 0、ピクチャ P 7、ピクチャ P 4の復号化画像データを前方参照ピクチャとして、ピクチャ P 1 3の復号化画像データを後方参照ピクチャとして用いることにより、マクロブロックに含まれる各ブロックの前方動きべクトルと後方動きべクトルの検出を行う。

モード選択部 1 0 9では、動きべクトル検出部 1 0 8で検出した動きべクトルを用いて、マクロブロックの符号化モードを決定する。ここで、 Bピクチャの符号化モードは、例えば、ピクチャ内符号化、前方動きべクトルを用いたピクチャ間予測符号化、後方動きべクトルを用いたピクチヤ間予測符号化、双方向動きべクトルを用いたピクチャ間予測符号化、直接モードから選択することができるものとする。

ここで、直接モードで符号化を行う場合について説明する。図 8は、対象ブロックの動きべクトルを、直接モードを用いて計算する場合の計算方法の一例を示す図である。図 8において、符号化対象ブロックがピクチャ B 1 1 内のブロック aであるとする。ブロック aを直接モードで符号化する場合には、ピクチャ B 1 1 に対して第 2参照インデックスが Γ 0 J である参照ピクチャ中の、ブロック a と同じ位置にあるブロックの動きべクトルを利用する。

まず、ピクチャ B 1 1 に対して第 2参照インデックスが Γ 0 J の参照ピクチャが、ピクチャ P 1 3である場合について説明する。動きべクトル記憶部 1 1 6に格納されている動きべクトルは、その動きべクトルがどのピクチャのものであるかを特定するために、ピクチャ番号と対応付けて格納されている。モード選択部 1 0 9は、ピクチャ B 1 1 に対して第 2参照インデックスが Γ 0 J である参照ピクチャのピクチャ番号 Γ 1 3 J をピクチャ B 1 1 の参照インデックスリストから調べ、ピクチャ番号「 1 3」の参照ピクチャの動きべクトルが動きべクトル記憶部 1 1 6 に格納されているか否かを判断する。ピクチャ P 1 3は、符号化順序でピクチャ B 1 1 に最も近く符号化された参照ピクチャであるので、ピクチャ 1 3の各ブロックを符号化した際の動きべクトルは、動きべクトル記憶部 1 1 6に保持されている。よって、ブロック aを直接モードで符号化する際には、ピクチャ P 1 3のブロック bの動きベクトルを利用することになる。動きベクトル cは、ブロック bが符号化された際に用いられた動きべクトルであり、動きべクトル記憶部 1 1 6に記憶されている。この動きベクトル cは、ピクチャ P 1 0を参照している。ブロック aは、動きべクトル cから生成した動きべク卜ルを用いて、参照ピクチヤであるピクチャ P 1 0とピクチャ P 1 3とから 2方向予測が行われる。この場合のブロック aを符号化する際に用いる動きベクトルは、ピクチャ P 1 0に対しては動きべクトル d、ピクチャ P 1 3に対しては動きべクトル eとなる。

ここで、動きべクトル cからブロック aの動きべクトルを生成する第 1 の方法としては、ピクチャ間の時間的距離を用いてスケーリングを施す方法がある。今、前方向動きべクトルである動きべクトル dの大きさを M V F、後方向動きべクトルである動きべクトル eの大きさを M V B、動きベクトル cの大きさを M V P、現在のピクチャ（ピクチャ B 1 1 ) の第 2参照インデックスが Γ 0 J である参照ピクチャ（ピクチャ P 1 3 ) と、その参照ピクチャ（ピクチャ P 1 3 ) のブロックが参照しているピクチャ（ピクチャ P 1 0 ) との時間的距離を T R D、現在のピクチャ（ピクチャ B 1 1 ) と参照ピクチャ（ピクチャ P 1 3 ) のブロックが参照しているピクチャ（ピクチャ P 1 0 ) との時間的距離を T R Bとすると、動きべクトル M V F、動きべクトル M V Bは、それぞれ（数式 1 )、（数式 2 ) で求められる。

(数式 1 ) M V F = M V P X T R B Z T R D

(数式 2 ) M V B = ( T R B— T R D ) x M V / T R D

ここで、 M V F、 M V Bはそれぞれ、動きベクトルの水平成分、垂直成分を合成して表現しているものとする。

また、動きべクトル cからブロック aの動きべクトルを生成する第 2 の方法としては、予め定めたスケーリング係数を用いて、動きベクトル cに対してスケーリングを行う方法がある。ここで使用されるスケーリング係数は、複数ブロック単位または複数ピクチャ単位で、変更可能としても良い。また、このスケーリング係数は、システムで一意に決定し、符号化側と復号化側とで共有しても良いし、符号列中にヘッダ情報として記述することによリ、符号化側と復号化側とで共有しても良い。

次に、第 2参照インデックスが Γ 0」の参照ピクチャが、ピクチャ P 1 3以外の参照ピクチャである場合について説明する。例えば、ピクチャ P 1 0、ピクチャ P 7、ピクチャ P 4のいずれかが、ピクチャ B 1 1 に対して第 2参照インデックスが Γ 0 J の参照ピクチャである場合が考えられる。ピクチャ P 1 3以外の参照ピクチャは、符号化順序でピクチャ B 1 1 に最も近く符号化された参照ピクチャではないので、それらのピクチャの各ブロックを符号化した際の動きべクトルは、動きべクトル記憶部 1 1 6に保持されていない。よって、ブロック aを直接モードで符号化しょうとしても、第 2参照インデックスが「 0」の参照ピクチャの動きべクトルを利用することができない。

この場合における、直接モードの処理の第 1 の方法としては、動きべクトルを「 0」として 2方向予測する方法がある。この場合の参照ピクチヤは、例えば、ピクチャ B 1 1 に対して第 1参照インデックスが Γ 0 J であるピクチャと、第 2参照インデックスが Γ 0 J であるピクチャとを用いることができる。図 9は、 Bピクチャを直接モードで符号化する際に第 2参照インデックスが Γ 0」の参照ピクチャの動きべクトルを利用できない場合の 2方向予測の一例を示す図である。例えば、第 1参照ィンデックスが Γ 0 J であるピクチャがピクチャ P 7であり、第 2参照ィンデックスが Γ 0 J であるピクチャがピクチャ P 1 0である場合、図 9 のようにブロック aに対して 2方向予測を行うことができる。ブロック aは、ピクチャ P 7 とピクチャ P 1 0においてブロック a と同じ位置にあるブロックを参照して動き補償を行う。

また、直接モードの処理の第 2の方法としては、同一ピクチャ内の周辺ブロックの動きベクトルを利用する方法がある。ただし、この場合、対象ブロックの周辺にあるブロックの動きべクトルは、モード選択部 1 0 9により、動きべクトル記憶部 1 1 6に格納されているものとする。この方法では、例えば図 1 0に示すように、ブロック B Lを直接モードで符号化する場合には、 3つの周辺ブロック B L 1 、ブロック B L 2、ブロック B L 3を符号化する際に用いた動きべクトルを利用して、プロック B Lを符号化する際に用いる動きべクトルを決定する。この動きべクトルの決定方法としては、例えば前方向動きべクトルと後方向動きべクトルとのそれぞれについて、 3つの周辺ブロックの動きべクトルの中央値ゃ平均値を求める方法、第 1参照ピクチャを参照する動きべクトルと第 2参照ピクチャを参照する動きべクトルとのそれぞれについて、 3 つの周辺ブロックの動きベクトルの中央値や平均値を求める方法等が考えられる。

さて、図 5に示したように、モード選択部 1 0 9で決定された符号化モードは符号列生成部 1 0 4に対して出力される。また、モード選択部 1 0 4で決定された符号化モードに基づいた参照画像が差分演算部 1 0 2と加算演算部 1 0 6に出力される。ただし、ピクチャ内符号化が選択された場合には、参照画像は出力されない。また、モード選択部 1 0 9 でピクチャ内符号化が選択された場合には、符号化制御部 1 1 0は、スイッチ 1 1 1 を端子 aに、スィッチ 1 1 2を端子 cに接続するように制御し、ピクチャ間予測符号化が選択された場合には、スィッチ 1 1 1 を端子 bに、スィッチ 1 1 2を端子 dに接続するように制御する。以下では、モード選択部 1 0 9でピクチャ間予測符号化が選択された場合について説明する。

差分演算部 1 0 2には、モ一ド選択部 1 0 9から参照画像が入力される。差分演算部 1 0 9では、ピクチャ B 1 1 のマクロブロックと参照画像との差分を演算し、予測残差画像を生成し出力する。

予測残差画像は予測残差符号化部 1 0 3に入力される。予測残差符号化部 1 0 3では、入力された予測残差画像に対して周波数変換や量子化等の符号化処理を施すことにより、符号化データを生成して出力する。予測残差符号化部 1 0 3から出力された符号化データは、符号列生成部 1 0 4に入力される。

符号列生成部 1 0 4では、入力された符号化データに対して、可変長符号化等を施し、さらにモード選択部 1 0 9から入力された動きべクトルの情報、符号化モードの情報、その他のヘッダ情報、等を付加することにより符号列を生成する。ただし、直接モードで符号化されたマクロブロックについては、動きべクトルの情報は符号列に付加されない。同様の処理により、ピクチャ B 1 1 の残りのマクロブロックに対して、符号化処理が行われる。そして、ピクチャ B 1 1 のすベてのマクロプロックについて処理が終わると、次にピクチャ B 1 2の符号化処理が行われる。

以上のように、本発明の動画像符号化方法は、直接モードで符号化を行う際に利用する動きベクトルについて、どれだけ（例えば何ピクチャ分）の動きべクトルを記憶すべきかに対して制限を設ける。そして、その制限を加えていることを示す情報（請求の範囲でいう制限情報および保存情報）を符号列のヘッダ情報として記述する。また、直接モードで符号化を行う際に、利用すべき動きべクトルがメモリ上に存在する場合には、その動きベクトルを利用する。一方、利用すべき動きベクトルがメモリ上に存在しない場合には、対象ブロックの動きべクトルを Γ 0 J として符号化するか、または同一ピクチャ内において符号化対象ブロックの周辺にある符号化済みブロックを符号化する際に用いた動きべクトルを利用して符号化を行う。

このような動作により、直接モードのために記憶しておくべき動きべクトルの記憶量を削減することができ、ハードウエアゃソフトウ Iァにおけるメモリ量の削減を行うことができる。さらに、直接モードにおいて利用すべき動きべクトルがない場合であっても、代替的な方法により直接モードを実施することができる。また本発明は、上記で説明したように、第 2参照インデックスが「 0」となるピクチャに関わらず実施することができるため、第 2参照インデックスが「 0」となるピクチャの設定方法を新たに定義する必要がなく、設計上の煩雑さを招くことを防ぐことができる。

なお、本実施の形態においては、マクロブロックは水平 1 6画素 X垂直 1 6画素の単位で、動き補償は 8画素 X 8画素のブロック単位で、ブロック予測残差画像の符号化は水平 8画素 X垂直 8画素の単位で処理する場合について説明したが、これらの単位は別の画素数でも良い。

また、本実施の形態においては、図 1 0を用いた説明において、符号化済みの 3つの周辺ブロックの動きべクトルを用い、直接モードにおいて用いる動きべクトルを決定する方法について説明したが、この周辺ブロック数、予測値の決定方法、は他の値や他の方法であっても良い。例えば、左隣のブロックの動きベクトルを予測値として用いる方法、等がまた、本実施の形態においては、 Pピクチャは、表示順で前方にある近傍 3枚の I ピクチャまたは Pピクチャを参照ピクチャとし、 Bピクチャは表示順で前方にある近傍 3枚の I ピクチャまたは Pピクチャを前方参照ピクチャ、表示順で後方にある近傍 1 枚の I ピクチャまたは Pピクチヤを後方参照ピクチャとして用いる場合について説明したが、これらの参照ピクチャ数は異なる値であっても良い。

また、本実施の形態においては、 Bピクチャを参照ピクチヤとしては用いない場合について説明したが、これは Bピクチヤを参照ピクチャとして用いた場合であっても良い。 Bピクチャを参照ピクチャとして用いる場合、 Bピクチャを局所復号化した後のピクチャを参照ピクチャとしてフレームメモリ 1 0 7に保存する必要があるため、符号化制御部 1 1 0によるスィッチ 1 1 4、スィッチ 1 1 5の制御は本実施の形態における P ピクチヤの符号化の場合と同じとなる。また、 Bピクチャが参照ピクチャとして用いられる場合であっても、 Bピクチャが他のピクチャに対して第 2参照ィンデックスが Γ 0 Jのピクチャとなることがない場合、 Bピクチャを符号化した際の動きべクトルを動きべクトル記憶部 1 1 6 に格納しなくても良い。これは、 Bピクチャが第 2参照インデックス Γ Ο J のピクチャとなることがない場合、第 2参照インデックスが Γ 0 J となるピクチャは I ピクチャまたは Pピクチャのみとなるからである。したがってこのような場合、 I ピクチャまたは Pピクチャを符号化する際に用いた動きべクトルのみを動きべクトル記憶部 1 1 6に格納すればよい, これにより、直接モードにおいて、符号化対象ピクチャに対して第 2参照インデックスが「0」となるピクチャを符号化した際に用いた動きべクトルを利用することができ、符号化効率の向上を図ることができる。ここで、 Bピクチャを符号化する際に用いた動きべクトルを動きべク卜ル記憶部 1 1 6に格納するかどうかは、符号化装置側と復号化装置側で予め決定しておくこともできるし、符号化装置側で決定し、その情報を符号列中のへッダ部に記述しておくこともできる。符号化装置側で決定する場合には、符号化制御部 1 1 0で決定を行い、その情報を符号列生成部 1 0 4でヘッダ中に記述すればよい。

また、ピクチャを符号化する際に用いた動きべクトルを動きべクトル記憶部 1 1 6に格納するかどうかを、符号化装置側と復号化装置側で予め決定し、その情報を符号列生成部 1 0 4でヘッダ中に記述しなくてもいいようにしてもよい。

また、本実施の形態においては、直接モード用に記憶しておく動きべクトルを、符号化順で直前に符号化された 1 つの参照ピクチャを符号化する際に用いた動きベクトルを記憶しておく場合について説明したが、これとは異なる参照ピクチャ数の動きべクトルを記憶しておいても良い, また、動きべクトルのうち、記憶すべきものと記憶しないものとを直接復号化装置に対して指定してもよい。これは例えば、動きべクトルの記憶の有無を指定されるピクチャのヘッダ中や、他のピクチャのヘッダ中において、動きべクトルの記憶の有無を指定されるピクチャのピクチャ番号等を指定することにより、どのピクチャの動きベクトルが記憶され、どのピクチャの動きベクトルが記憶されていないかを、復号化装置に指示することができる。例えば、ピクチャ B 1 1 の符号化の際に、第 2参照インデックスが Γ 0 J である参照ピクチャがピクチャ P 1 0となることがわかっている場合、ピクチャ P 1 0の動きべクトルは記憶し、ピクチャ P 1 3の動きべクトルは記憶しないように指示する。これによリ、ピクチャ B 1 1 の符号化の際には、ピクチャ P 1 0 (第 2参照インデックスが Γ 0 J である参照ピクチャ）の動きベクトルが動きベクトル記憶部 1 1 6に保存されていることになリ、直接モードにおいて、第 2 参照インデックスが Γ 0」である参照ピクチャの動きべク卜ルを利用することができる。ここで、どの動きベクトルを保持しておくかを指定する情報は、符号列中のへッダ情報として記述すればよし、。一例としては、ピクチャ毎に動きべクトルを保存するかどうかを示す情報（例えば、 Γ 0 J または Γ 1 J )を符号列中のヘッダの中に記述しておく。別の例としては、動きベクトルを保存する期間を示す情報（例えば、保存しなければ Γ 0」、所定のピクチャにおいて 3 ピクチャ後のピクチャで新たに保存しなおすのであれば所定のピクチャの付随情報として「 3 J ) を記述しておく。このような方法を用いることにより、より柔軟な動きべクトルの記憶管理を行うことが可能となり、また符号化効率の向上を図ることができる。

(実施の形態 2 )

以下では、本発明の第 2の実施の形態の動画像復号化装置 7 0 0について、図 1 1 を用いて説明する。図 1 1 は、実施の形態 2の動画像復号化装置 7 0 0の構成を示すプロック図である。動画像復号化装置 7 0 0 は、符号列中のヘッダ情報に記述されている動きべクトルの格納方法にしたがって、参照ピクチャの動きべクトルをメモリに格納し、復号化対象ピクチャの復号化を行う動画像復号化装置であって、符号列解析部 7 0 1 、予測残差復号化部 7 0 2、モード復号部 7 0 3、動き補償復号部 7 0 5、動きベクトル記憶部 7 0 6、フレームメモリ 7 0 7、加算演算部 7 0 8、スィッチ 7 0 9およびスィッチ 7 1 0を有する。

図 1 2 ( a ) は、符号列中に含まれるピクチャの順序を示すである。図 1 2 ( b ) は、図 1 2 ( a ) に示したピクチャの並びを復号化順に並ベ替えた場合のピクチャの順序を示す図である。動画像復号化装置 7 0 0に入力される符号列中のピクチャの順序は、図 1 2 ( a ) に示す通りであるとする。ここで、 Pピクチャは、表示順で前方にある近傍 3枚の I ピクチャまたは Pピクチャを参照ピクチャとし、 Bピクチャは表示順で前方にある近傍 3枚の I ピクチャまたは Pピクチャと、表示順で後方にある近傍 1 枚の I ピクチャまたは Pピクチャとを参照ピクチャとして用いて、符号化されているものとする。以下では、 Pピクチャ、 Bピクチヤの復号化処理の代表例として、ピクチャ P 1 3、ピクチャ B 1 1 の復号化処理について順に説明する。なお、本実施の形態における参照ィンデックスの管理は符号列解析部 7 0 1 において行うものとする。

<ピクチャ P 1 3の復号化処理 >

動画像復号化装置 7 0 0の入力である符号列は、まず符号列解析部 7 0 1 に入力される。符号列解析部 7 0 1 では、入力された符号列から、各種データの抽出を行う。ここで各種データとは、モード選択の情報や符号化された動きべクトルを表す動きべクトル情報等である。抽出されたモード選択の情報は、モード復号部 7 0 3に対して出力される。また、抽出された動きベクトル情報は、動き補償復号部 7 0 5に対して出力される。さらに、予測残差符号化データは、予測残差復号化部 7 0 2に対して出力される。

モード復号部 7 0 3では、符号列から抽出されたモード選択の情報を参照し、スィッチ 7 0 9とスィッチ 7 1 0の制御を行う。モード選択がピクチャ内符号化である場合には、スィッチ 7 0 9は端子 aに、スイツチ 7 1 0は端子 cに接続されるように制御する。また、モード選択がピクチャ間予測符号化である場合には、スィッチ 7 0 9は端子 bに、スィツチ 7 1 0は端子 dに接続されるように制御する。

またモード復号部 7 0 3では、モード選択の情報を動き補償復号部 7 0 5に対しても出力する。以下では、モード選択がピクチャ間予測符号化である場合について説明する。

予測残差復号化部 7 0 2では、入力された予測残差符号化データの復号化を行い、予測残差画像を生成する。生成された予測残差画像は、スイッチ 7 0 9に対して出力される。ここでは、スィッチ 7 0 9は端子 b に接続されているので、予測残差画像は加算演算部 7 0 8に対して出力される。動き補償復号部 7 0 5は、符号列解析部 7 0 1 から入力された、符号化された動きべクトルである動きべクトル情報に対して、復号化処理を行う。そして、復号化された参照ピクチャ番号と動きベクトルとに基づいて、フレームメモリ 7 0 7から動き補償画像（ブロック）を取得する。このようにして生成された動き補償画像は加算演算部 7 0 8に対して出力される。

また、動き補償復号部 7 0 5では、他のピクチャの復号化時に参照ピクチャとして用いられるピクチャの復号化を行う場合には、動きべク卜ルを動きベクトル記憶部 7 0 6に格納する。ここでは、 Pピクチャが参照ピクチャとして用いられるので、ピクチャ P 1 3を復号化する際に得られた動きベクトルは、動きベクトル記憶部 7 0 6に格納される。ただし、動きべクトル記憶部 7 0 6への動きべクトルの記憶は、符号列のへッダ情報によリ制御される。

さて、動きベクトル記憶部 7 0 6の動作について説明する。動きべクトル記憶部 7 0 6に格納される動きべクトル数は、符号列のヘッダ中に記述されている。このへッダ情報は、符号列解析部 7 0 1 で抽出されて、動き補償復号部 7 0 5に対して出力される。ここでは 1 ピクチャのみの動きべクトルを格納するとヘッダ中に記述されているとする。この場合、格納する動きべクトルの量としては、符号化順で最近に復号化した参照ピクチャの動きべクトルを格納する方法がある。ここで、すでに動きべクトル記憶部 7 0 6に記憶されている動きべクトルは、現ピクチャの復号化の開始時に消去しても良いし、ブロックを復号化して動きべクトルが得られる度に、動きべクトルを順に上書きしても良い。

加算演算部 7 0 8では、入力された予測残差画像と動き補償画像とを加算し、復号化画像を生成する。生成された復号化画像はスィッチ 7 1 0を介してフレームメモリ 7 0 7に対して出力される。以上のようにして、ピクチャ P 1 3のマクロブロックが順に復号化される。ピクチャ P 1 6のマクロブロックがすべて復号化されると、ピクチヤ B 1 1 の復号化が行われる。

<ピクチャ B 1 1 の復号化処理 >

符号列解析部 7 0 1 とモ一ド復号部 7 0 3、予測残差復号化部 7 0 2 の動作は、ピクチャ P 1 6の復号化処理の際と同様であるので、説明は省略する。

動き補償復号部 7 0 5は、符号列解析部 7 0 1 から入力された、符号化された動きべクトルに対して、復号化処理を行う。そして、復号化された動きベクトルに基づいて、フレームメモリ 7 0 7から動き補償画像 (ブロック）を取得する。

ここでは、モード復号部 7 0 3で得られた符号化モードが、直接モードである場合について説明する。図 8は、ピクチャ P 1 0から P 1 3までの各ピクチャを時間順に並べた図であリ、復号化対象プロックがプロック aであるとする。ブロック aを直接モードで復号化する場合には、第 2参照インデックスが Γ 0 J である参照ピクチャ中の、ブロック aと同じ位置にあるブロックの動きべクトルを利用する。

まず、第 2参照インデックスが Γ 0 J の参照ピクチャが、ピクチャ P 1 3である場合について説明する。上記ピクチャ B 1 3の復号化処理で示したように、ここでは 1 ピクチャのみの動きベクトルを格納するとへッダ中に記述されておリ、参照ピクチャのうち復号化順で直前に復号化された参照ピクチャの動きベクトルが記憶されている。また、ピクチャ P 1 3は、復号化順でピクチャ B 1 1 に最も近く復号化された参照ピクチヤであるので、ピクチャ P 1 3の各ブロックを復号化した際の動きべクトルは、動きべクトル記憶部 7 0 6に保持されている。よって、プロック aを直接モードで復号化する際には、ピクチャ P 1 3のブロック b の動きベクトルを利用することになる。動きベクトル cは、ブロック b が符号化された際に用いられた動きべクトルであり、動きべクトル記憶部 7 0 6に記憶されている。この動きベクトル cは、ピクチャ P 1 0を参照している。ブロック aは、動きベクトル cから生成した動きべクトルを用いて、参照ピクチャであるピクチャ P 1 0とピクチャ P 1 3とから 2方向予測が行われる。この場合のプロック aを符号化する際に用いる動きベクトルは、ピクチャ P 1 0に対しては動きベクトル d、ピクチ P 1 3に対しては動きべクトル e となる。

ここで、動きべクトル cからブロック aの動きべクトルを生成する第 1 の方法としては、ピクチャ間の時間的距離を用いてスケーリングを施す方法がある。今、前方向動きべクトルである動きべクトル dの大きさを M V F、後方向動きべクトルである動きべクトル eの大きさを M V B、動きベクトル cの大きさを M V P、現在のピクチャ（ピクチャ B 1 1 ) の第 2参照インデックスが Γ 0 J である参照ピクチャ（ピクチャ P 1 3 ) と、その第 2参照インデックスが「 0」である参照ピクチャのブロックが参照しているピクチャ（ピクチャ P 1 0 ) との時間的距離を T R D、現在のピクチャ（ピクチャ B 1 1 ) と第 2参照インデックスが「 0」である参照ピクチャのブロックが参照しているピクチャ（ピクチャ P 1 0 ) との時間的距離を T R Bとすると、動きベクトル MV F、動きベクトル M V Bは、それぞれ（数式 1 )、（数式 2 ) で求められる。

また、動きベクトル cからブロック a の動きベクトルを生成する第 2 の方法としては、予め定めたスケーリング係数を用いて、動きベクトル cに対してスケーリングを行う方法がある。ここで使用されるスケーリング係数は、複数ブロック単位または複数ピクチャ単位で、変更可能としても良い。また、このスケーリング係数は、システムで一意に決定し、符号化側と復号化側とで共有しても良いし、符号列中にヘッダ情報として記述されているものを符号列解析部 7 0 1 で抽出することにより使用しても良い。

次に、第 2参照インデックスが Γ 0 J の参照ピクチャが、ピクチャ P 1 3以外の参照ピクチャである場合について説明する。例えば、ピクチャ P "I 0、 P 7 、 P 4のいずれかが、第 2参照インデックスが Γ 0 J の参照ピクチャである場合が考えられる。ピクチャ P 1 3以外の参照ピクチヤは、復号化順序でピクチャ B 1 1 に最も近く復号化された参照ピクチヤではないので（動きベクトル記憶部 1 1 6に記憶されている動きべクトルがどのピクチャのものであるか、さらに第 2参照インデックスが Γ 0」のピクチャがどのピクチャのものであるかをそれぞれピクチャ番号で得て、得られたピクチャ番号をそれぞれ比較することによって判断する）、それらのピクチャの各ブロックを復号化した際の動きベクトルは動きベクトル記憶部 7 0 6に保持されていない。よって、ブロック aを直接モードで符号化する際には、第 2参照インデックスが「 0」の参照ピクチャの動きべクトルを利用することができない。

この場合における、直接モードの処理の第 1 の方法としては、動きべクトルを 0として 2方向予測する方法がある。この場合の参照ピクチャは、例えば、第 1参照インデックスが Γ 0 J であるピクチャと、第 2参照インデックスが Γ 0 J であるピクチャとを用いることができる。例えば、参照インデックスが Γ 0 J であるピクチャがピクチャ P 7であり、第 2参照インデックスが Γ 0 J であるピクチャがピクチャ P 1 0である場合、図 9のようにブロック aに対して 2方向予測を行うことができる。また、直接モードの処理の第 2の方法としては、同一ピクチャ内の周辺ブロックの動きべクトルを利用する方法がある。この場合、例えば図 1 0に示すように、ブロック B Lを直接モードで復号化する場合には、 3つの周辺ブロック B L 1 、 B L 2、 B L 3を復号化する際に用いた動きべクトルを利用して、ブロック B Lを復号化する際に用いる動きべクトルを決定する方法が考えられる。ここでの復号化に用いる動きべクトルの決定方法としては、例えば前方向動きべクトル、後方向動きべク卜ル毎に 3つの周辺ブロックの動きベクトルの中央値や平均値を求める方法、等が考えられる。また、この場合の周辺ブロックの動きべクトルは、動き補償部 7 0 5により、動きべクトル記憶部 7 0 6に記憶されているとする。

このようにして生成された動き補償画像は加算演算部 7 0 8に対して出力される。

加算演算部 7 0 8では、入力された予測残差画像と動き補償画像とを加算し、復号化画像を生成する。生成された復号化画像はスィッチ 7 1 0を介してフレームメモリ 7 0 7に対して出力される。

以上のようにして、ピクチャ B 1 1 のマクロブロックが順に復号化される。ピクチャ B 1 1 のマクロブロックがすべて復号化されると、ピクチヤ B 1 2の復号化が行われる。また、復号化されたピクチャは図 1 2 ( b ) に示すように、順次出力画像としてフレームメモリ 7 0 7から出力される。

以上のように、本発明の動画像復号化方法は、直接モードで符号化を行う際に利用する動きベクトルについて、どれだけ（例えば何ピクチャ分）の動きベクトルを記憶すべきかに対して制限を設けて符号化が行われた符号列を入力とし、その符号列を復号化する。そしてその復号化の際には、制限を加えていることを示す情報を符号列のヘッダ情報から抽出し、抽出された情報に基づいて復号化を行う。また、直接モードで復号化を行う際に、利用すべき動きべクトルがメモリ上に存在する場合には、その動きべクトルを利用し、メモリ上に存在しない場合には、動きべクトルを 0として復号化するか、同一ピクチャ内の周辺ブロックを復号化する際に用いた動きベクトルを利用して復号化を行う。

このような動作によリ、直接モ一ドで符号化を行う際に利用する動きべクトルについて制限を設けて符号化が行われた符号列を正しく復号化することができ、また直接モードのために記憶すべき動きべクトルの記憶量を削減することができ、ハードウェアやソフトウェアにおけるメモリ量の削減を行うことができる。さらに、直接モードにおいて利用すベき動きべクトルがない場合であっても、代替的な方法により直接モードを実施することができる。また本発明は、上記で説明したように、第 2 参照インデックスが Γ 0 J となるピクチャに関わらず実施することができるため、第 2参照インデックスが「 0」となるピクチャの設定方法を新たに定義する必要がなく、設計上の煩雑さを招くことを防ぐことができる。

なお、本実施の形態においては、図 1 0を用いた説明において、復号化済みの 3つの周辺ブロックの動きべクトルを用い、直接モードにおいて用いる動きベクトルを決定する方法について説明したが、この周辺ブロック数、予測値の決定方法、は他の値や他の方法であっても良い。例えば、左隣のブロックの動きベクトルを予測値として用いる方法、等が foる。

また、本実施の形態においては、 Pピクチャは、表示順で前方にある近傍 3枚の I ピクチャまたは Pピクチャを参照ピクチャとし、 Bピクチャは表示順で前方にある近傍 3枚の I ピクチャまたは Pピクチャを前方参照ピクチャ、表示順で後方にある近傍 1 枚の I ピクチャまたは Pピクチヤを後方参照ピクチャとして用いる場合について説明したが、これらの参照ピクチャ数は異なる値であっても良い。また、 Bピクチャを参照ピクチャとして用いていても良い。

また、本実施の形態においては、 Bピクチャを参照ピクチャとしては用いない場合について説明したが、これは Bピクチャを参照ピクチャとして用いた場合であっても良い。 Bピクチャを参照ピクチャとして用いる場合、 Bピクチャを復号化した後のピクチャを参照ピクチャとしてフレームメモリ 7 0 7に保存する。また、 Bピクチャが参照ピクチャとして用いられる場合であっても、 Bピクチャを復号化した際の動きべク卜ルは動きべクトル記憶部 7 0 6には記憶しなくても良い。 Bピクチャを復号化する際に用いた動きべクトルを動きべクトル記憶部 7 0 6に格納するかどうかは、符号化装置側と復号化装置側で予め決定しておくこともできるし、符号化装置側で決定され、符号列中のヘッダ部に記述された情報を抽出することにより判断することもできる。

また、本実施の形態においては、直接モード用に格納する動きべクトルを、復号化順で直前に復号化された 1 つの参照ピクチャを復号化する際に用いた動きべクトルを格納する場合について説明したが、これは異なる参照ピクチャ数の動きベクトルを記憶しても良い。

また、動きベクトルのうち、記憶すべきものと記憶しないものとが直接指定されていてもよい。これは例えば、記憶の有無を指定されるピクチヤのヘッダ中や、他のピクチャのヘッダ中で記憶の有無を指定されるピクチャのピクチャ番号等を指定することによりどのピクチャの動きべクトルを記憶し、どのピクチャの動きべクトルを記憶しないかがヘッダ中に指示されているとする。したがって、これらの指示情報は、符号列中のヘッダ情報から抽出すればよい。今、ピクチャ P 1 0の動きべク卜ルは記憶し、ピクチャ P 1 3の動きべクトルは記憶しないように指定されている場合、ピクチャ B 1 1 の復号化の時点では、動きべクトル記憶部 7 0 6には、ピクチャ P 1 0の動きベクトルが記憶されていることになる。ここで、ピクチャ B 1 1 の復号化において、第 2参照インデックスが Γ 0」である参照ピクチャがピクチャ P 1 0であるとすると、直接モードにおいて、第 2参照インデックスが「 0」である参照ピクチャを復号化した際に用いた動きべクトルを利用することができる。このような方法を用いることにより、より柔軟な動きべクトルの記憶管理を行うことが可能となる。

また、上記のように復号化対象ブロックを有するピクチャが参照する参照ピクチャのうちストリーム順で、つまり符号化装置において符号化順で直前に符号化された Pピクチャを復号化装置で復号化するときに用いた動きべクトルを格納する以外に、復号化対象ブロックを有するピクチヤが参照する参照ピクチヤのうち表示順で直前の Pピクチャまたは表示順で前の P ピクチャを復号化するときに用いた動きべクトルを格納するようにしてもよい。復号化されたピクチャは順次出力画像としてフレームメモリ 7 0 7から出力するが、その出力はフレームメモリ 7 0 7に記憶されているピクチャが有する時刻をもとに表示時刻順に並び替えられた上での出力である。また、それぞれのピクチャが有する時刻は、例えばピクチャをバケツト等の伝送路で伝送するためのシステムが出力する時刻情報から取得してもよいし、あるいは、ビデオストリームとォ一ディォス卜リームとを多重化するためのフォーマツ卜中の時刻情報から取得してもよく、あるいは、ビデオストリームのフォーマット中の時刻情報から取得してもよい。また、これらはピクチャ毎に時刻がわかる絶対時刻であっても、ピクチャ間で時間の前後がわかる相対時刻であってもどちらでもよい。

このように復号化対象ブロックを有するピクチャが参照する参照ピクチヤのうち表示順で直前の Pピクチャまたは表示順で前の Pピクチャを復号化するときに用いた動きべクトルを格納するようにし、復号化対象ブロックを有するピクチャに時間的に近い参照ピクチャを復号化するときに用いた動きべクトルを格納することにより、動き補償の精度を向上させる可能性をあげることができる。

(実施の形態 3 )

上記実施の形態 1 においては、動きべクトルの記憶量に関する情報を、符号列中のへッダに記述する場合について説明したが、符号列中のへッダに記述する場合に限らず、例えば、符号列中には含まれない管理情報中に記述するようにしてもよい。以下では、図 1 3〜図 1 7を用いて、本発明の実施の形態 3の動画像符号化装置および記録装置について説明する。図 1 3は、記録媒体からのデータの再生を管理するための管理情報と、符号化された A Vデータとを D V Dなどの記録媒体に記録する記録装置 5 0 0の概略的構成を示すブロック図である。記録装置 5 0 0は、音声を伴う映像データを符号化して記録媒体に記録する記録装置であつて、ビデオ符号化部 5 0 1 、オーディオ符号化部 5 0 2およびシステム符号化部 5 0 3を備える。ビデオ符号化部 5 0 1 は、入力された映像データを符号化する動画像符号化装置である。オーディオ符号化部 5 0 2 は、入力されたオーディオデータを符号化するオーディオ符号化装置である。システム符号化部 5 0 3は、ビデオストリームとオーディオストリームとを多重化して A Vストリームを生成し、記録媒体に記録する。また、システム符号化部 5 0 3は、 A Vストリームの記録後、図示しない入力部などからの入力に従って管理情報を生成し、生成された管理情報を記録媒体中の A Vストリームが記録されている領域とは異なる領域に記録する。

以下では、上記のように構成された記録装置 5 0 0の動作について説明する。記録装置 5 0 0に入力された映像データは、ビデオ符号化部 5 0 1 に入力され、入力されたオーディオデータは、オーディオ符号化部 5 0 2に出力される。ビデオ符号化部 5 0 1 に入力された映像データと、オーディオ符号化部 5 0 2に入力されたオーディオデータとは、ビデオ符号化部 5 0 1 とオーディオ符号化部 5 0 2との間で同期を取リながらリアルタイムで符号化される。ビデオ符号化部 50 1 によって生成された符号列は、ビデオストリームとしてシステム符号化部 5 03に出力される。オーディオ符号化部 50 2によって符号化された符号列は、ォーディォストリームとしてシステム符号化部 5 0 3に出力される。シス亍ム符号化部 5 0 3は、ビデオ符号化部 5 0 1 から入力されたビデオストリームと、オーディオ符号化部 5 0 2から入力されたオーディオストリ —ムとを多重化して A Vストリ一ムを生成し、生成された A Vストリームをリアルタィムで記録媒体に記録する。記録媒体への A Vストリームの記録が完了すると、システム符号化部 5 0 3は、ビデオ符号化部 50 1 によつて生成された制御コードをビデオ符号化部 5 0 1 から読み出し. 読み出された制御コ一ドを含む管理情報を生成し、生成された管理情報を、 A Vストリームが記録されている領域とは異なる記録媒体中の領域に記録する。図 1 4は、図 1 3に示したシステム符号化部 5 0 3によつて生成された管理情報と A V (Audio Video)ストリームとが記録された D V Dなどの記録媒体 4 00の一例を示す図である。図 1 4に示すように、記録媒体 4 0 0には、同心円状にデータが記録され、管理情報 40 1 と、 A Vデータ 402とがそれぞれ記録媒体 400上の異なる領域に記録される。一般に、 A Vデータ 4 0 2は記録媒体 4 0 0の外周側の領域に記録され、管理情報 4 0 1 は記録媒体 4 0 0の内周側の領域に記録される。

図 1 5は、図 1 3に示した記録装置 5 00に備えられる動画像符号化装置 9 00の構成を示すプロック図である。動画像符号化装置 9 0 0は、図 1 3に示したビデオ符号化部 5 0 1 に相当する。動画像符号化装置 9 0 0は、動きベクトル記憶部内に格納されるデータに制限が設けられていることを示す制御コード（請求の範囲でいう制御情報）を、前記符号列とは別のデータとして別のタイミングで出力する動画像符号化装置であって、フレームメモリ 1 0 1 、差分演算部 1 0 2、予測残差符号化部 1 0 3、予測残差復号化部 1 0 5、加算演算部 1 0 6、フレームメモリ 1 0 7、動きべクトル検出部 1 0 8、モード選択部 1 0 9、スィッチ 1 1 "！〜 1 1 5、動きべクトル記憶部 1 1 6、符号列生成部 9 0 4および符号化制御部 9 1 0を備える。同図において、図 5に示した動画像符号化装置 1 0 0と同じ構成要素についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。ただし、ここでは、動きベクトル検出部 1 0 8は、実施の形態 1 と異なり、 Bピクチャを符号化する際に、表示順で符号化対象ピクチャの前方にある 4枚の I ピクチャまたは Pピクチャおよび表示順で符号化対象ピクチャの後方にある 1 枚の I ピクチャまたは Pピクチャを参照ピクチャとして動きベクトルの探索を行う。符号列生成部 9 0 4は、予測残差符号化部 1 0 3からの量子化結果を可変長符号化した後、出力用の符号化ビットストリームのフォーマットに変換し、符号化された予測残差の関連情報を記述したヘッダ情報などの付加情報を付して符号列を生成する。さらに、符号列生成部 9 0 4は、符号化制御部 9 1 0によつて生成された制御コードを符号列に対応付けて保持し、その制御コードを符号列とは異なるタイミングで出力する。具体的には、外部（例えば、図 1 3に示した記録装置 5 0 0のシステム符号化部 5 0 3など）からの出力指示に従って、制御コードを出力する。符号化制御部 9 1 0には、オーディオ符号化部 5 0 2と同期を取りながら、映像データとオーディオデータとをリアルタイムで符号化するために、同期を取るための制御信号が外部から入力される。符号化制御部 9 1 0は、符号化対象ピクチャに対して表示順で直後にある、すなわち、符号化対象ピクチャの直前に符号化された参照ピクチャの動きべクトルだけが動きべクトル記憶部 1 1 6に格納されるようモード選択部 1 0 9 を制御し、メモリに保存されるデータに何らかの制限が加えられていることを示す制御コ一ドを生成する。符号化制御部 9 1 0による制御コード生成のタイミングは、いつでもよいが、符号化処理の開始時または終了直後が好ましい。また、符号化制御部 9 1 0は、制御コードをあらかじめ内部に記憶しておいてもよい。

以下では、上記のように構成された動画像符号化装置 9 00の符号化処理におけるメモリへの参照ピクチャおよび動きベクトルの格納動作に付いて、従来の M P E G— 4符号化方式と比較しながら説明する。図 1 6 ( a ) は、表示順に入力されたピクチャとそれらの符号化の順を示す図である。図 1 6 ( b ) は、従来の M P E G— 4符号化方式において、各ピクチャの符号化に伴ってメモリ内に格納される参照ピクチャと動きべクトルとを示す図である。図 1 7 ( a ) は、表示順に入力されたピクチヤとそれらの符号化の順を示す図である。図 1 7 ( b ) は、図 1 5に示した動画像符号化装置 9 00において、各ピクチャの符号化に伴ってメモリ内に格納される参照ピクチャと動きベクトルとを示す図である。ここで、いずれの場合も、 Bピクチャは他のピクチャに参照されず、 I ピクチャと Pピクチャとだけが他のピクチャに参照されるものとする。すなわち、 I ピクチャと Pピクチャとは他のピクチャの参照ピクチャとなるが、 Bピクチャは他のピクチャの参照ピクチャとならない。なお、図 1 7 ( a ) と図 1 6 ( a ) とは同じ図である。

図 1 7 ( a ) と図 1 6 ( a ) とにおいて、入力画像に含まれる各ピクチヤを縦線で示し、他のピクチヤに参照されない Bピクチャを破線で示している。また、各ピクチャに付されている Γ B J および Γ P j は、各ピクチャのピクチャタイプを示し、その右に付されている数字は、各ピクチャに対して符号化順に付されたピクチャ番号を示している。すなわち、図 1 6 ( a ) および図 1 7 ( a ) に示すように、入力画像内のピクチヤは I 0→Β 2→Β 3→ Ρ 1 -→Β 5→ Β 6→ Ρ 4→Β 8 ·→ Β 9→ Ρ 7 → B 1 1 →B 1 2→ P 1 0の順に入力され、この順で表示される。これに対し、 Bピクチャは表示順で後方にあるピクチャを参照するため、 B ピクチャの符号化前に Bピクチャよりも表示順で後方にある I ピクチャまたは Pピクチャが符号化されていなければならない。従って、入力画像内のピクチャは I 0→ P 1 →B 2 -→B 3 -→ P 4→B 5→ B 6→ P 7→ B 8→ B 9→ P 1 0 -→ B 1 1 -→ B 1 2の順に符号化される。表示順でピクチャ I 0の前方に Bピクチャがあつたとすれば、ピクチャ I 0の符号化後、ピクチャ P 1 の符号化前に符号化される。

従来の M P E G— 4では、符号化対象ピクチャの直前に符号化された 2枚の参照ピクチャの画素値と、その参照ピクチャで動き補償に用いられた動きベクトルとをメモリ内に保存する。一般的には、図 1 6 ( b ) に示すように、符号化対象ピクチャの直前に符号化された 2枚の参照ピクチャの画素値と、 2枚の参照ピクチャのうち、より後で符号化された方の 1 枚の動きべクトルとをメモリ内に保存している。また、 M P E G 一 4では、 Pピクチャは、表示順で前方にある直前の 1 枚の参照ピクチャを参照し、 Bピクチャは、符号化対象ピクチャに対して表示順で直前の前方 1 枚、直後の後方 1 枚の 2枚の参照ピクチャを参照して符号化される。例えば、符号化対象ピクチャがピクチャ B 6であるとき、符号化対象ピクチャの直前に符号化された 2枚の参照ピクチャとはピクチャ P 1 とピクチャ P 4であり、よリ後で符号化された方の参照ピクチャは、ピクチャ P 4である。従って、符号化対象ピクチャがピクチャ B 6であるとき、メモリ内には、ピクチャ P 1 およぴピクチャ P 4の画素値と、ピクチャ P 4で求められた動きべクトルとが格納されている。ピクチャ B 6は、メモリ内に格納されているピクチャ P 1 とピクチャ P 4とを参照して符号化される。ピクチャ P 1 は表示順でピクチャ B 6の直前にある参照ピクチャであり、ピクチャ P 4は表示順でピクチャ B 6の直後にある参照ピクチャである。また、ピクチャ B 6内の符号化対象ブロックが直接モードで符号化されるときには、表示順でピクチャ B 6の直後にある参照ピクチャ（すなわち、ピクチャ P 4 ) において符号化対象プロックと同じ位置にあるブロックの動きべクトルはメモリ内に格納されており、これを用いて動き補償が行われる。ただし、ピクチャ B 6は、他のピクチャに参照されないので、画素値おょぴ動きべクトルはメモリ内に保存されず、メモリの更新は起こらない。

ピクチャ P 7が符号化対象ピクチャのときには、メモリ内に保存されているピクチャ P 1 またはピクチャ P 4のいずれかを参照して符号化が行われる。ピクチャ P 7は、他のピクチャに参照されるので、メモリ内に画素値と動きベクトルとが保存される。この際には、ピクチャ P 7の符号化/復号化に従って、メモリ内の画素値および動きべクトルが更新される。ピクチャ P 7の符号化前にメモリ内に格納されていたピクチャ P 1 およびピクチャ P 4の画素値のうち、古いほうのピクチャ P 1 の画素値がメモリから追い出され、新たにピクチャ P 7の画素値が格納される。また、メモリ内に格納されていたピクチャ P 4の動きベクトルがメモリから追い出され、新たにピクチャ P 7の動きべクトルが格納される。ピクチャ B 8が符号化されるときには、表示順でピクチャ B 8の前方にあるピクチャ P 4と後方にあるピクチャ P 7 との 2枚が参照される。ピクチャ B 8内の対象ブロックが直接モードで符号化されるときには、表示順でピクチャ B 8の直後にある参照ピクチャ（ピクチャ P 7 ) において対象ブロックと同じ位置にあるブロックの動きベクトルを用いて動き補償が行われる。メモリ内には、ピクチャ B 8に参照される 2枚の参照ピクチャ（ピクチャ P 4およびピクチャ P 7 ) の画素値が格納されており、また、直接モードで用いられるピクチャ P 7の動きベクトルが格納されている。また、ピクチャ B 8は他のピクチャに参照されないのでメモリ内のデータは更新されない。

ピクチャ B 9が符号化されるときも、ピクチャ B 8が符号化されるときと同様に、メモリ内に格納されている 2枚のピクチャを参照して符号化が行われる。また、ピクチャ B 9内の対象ブロックが直接モードで符号化されるときも、メモリ内に格納されているピクチャ P 7の動きべクトルを用いて符号化される。

このように、従来の M P E G— 4では、メモリ内に 2枚の参照ピクチャの画素値と、参照ピクチャ 2枚のうちの後方の参照ピクチャ分の動きベクトルとを格納しておくことにより、 Bピクチャ内の対象ブロックを直接モードで符号化する際にも、問題なく符号化を行うことができる。しかし、 M P E G— 4では、参照ピクチャが決められているかまたは数が少ないため、符号化対象プロックに対して符号化効率がよリ高くなる参照ブロックを探す探索範囲が限られてしまう。この結果、符号化効率が頭打ちとなり、低ビットレートで高画質の動画像を伝送したいという要求に答えることが難しい。このために、 H . 2 6 Lでは、探索範囲となる参照ピクチャの数を増やし、各対象プロックが実際に参照した参照ピクチャを、参照インデックスで特定することに定めている。そして、図 3に示したように、 Bピクチャでは対象ブロックごとに、参照した参照ピクチャを特定するための第 1 参照インデックスと第 2参照インデックスとを符号列中に記述するよう定めている。一方、各参照ピクチャに対する参照インデックスの割り当ては、すでに説明したように、表示順で前方と後方とに向かって、それぞれ、符号化対象ピクチャに最も近い参照ピクチャに「 0」が割り当てられ、符号化対象ピクチヤから遠ざかるにつれて昇順で番号が割り当てられるように初期設定されている。この初期設定では、対象ブロックを含むピクチャに近い参照ピクチャほど、より小さな値の参照インデックスで特定することができる。しかし、対象ブロックを含むピクチャから遠い参照ピクチャほど、参照ピクチャを特定するための参照インデックスの値が大きくなつてしまう。この結果、対象ブロックを含むピクチャから遠い参照ピクチヤが多くの対象ブロックに参照されるような場合、初期設定のままだと、大きな値の参照インデックスが多数のブロックで符号列中に記述されることになり、符号列のデータ量が増加するので好ましくない。従って、参照ィンデックスは、ピクチャごとに符号化効率がより高くなる参照ピクチャに対してよリ小さい値を割り当てることができるよう、リマッピングが認められている。本実施の形態では、 Pピクチャは、表示順で符号化対象ピクチャの前方にある 4枚の I ピクチャまたは P ピクチャを参照ピクチャとし、 Bピクチャは、表示順で符号化対象ピクチャの前方にある 4枚の I ピクチャまたは Pピクチャと、表示順で符号化対象ピクチャの後方にある 1 枚の I ピクチャまたは Pピクチャとを参照ピクチャとする。図 1 7 ( b ) に示すように、本実施の形態では、 Bピクチャの符号化のために、各ピクチヤの直前に符号化された 5枚の参照ピクチャの画素値をメモリ内に保存し、符号化対象ピクチャの直前に符号化された 1枚の参照ピクチヤの動きべクトルだけを保存する。例えば、モード選択部 1 0 9は、符号化対象ピクチャの各対象ブロックに対し、動きベクトル検出部 1 0 6によつて動きべクトルが検出される都度、検出された動きべクトルを、すでに動きべクトル記億部 1 0 8に格納されている動きべクトルとは別の記憶領域に一時的に格納する。当該符号化対象ピクチャが Pピクチャである場合、モード選択部 1 0 9は、別の記憶領域に一時的に格納されていた動きべクトルで、それ以前に格納されていた動きべクトルを上書きする。また、次の符号化対象ピクチャの符号化を開始する際には、直前に符号化されたピクチャの動きベクトルが一時的に格納されていた記憶領域に、新たな符号化対象ピクチャの動きべクトルを上書きし、上書きされた動きべクトルを一時的に格納する。しかし、当該符号化対象ピクチャが Pピクチャでない場合、モード選択部 1 0 9は、動きべクトル記憶部 1 0 8に一時的に格納された動きベクトルを、例えば、符号化対象ピクチャの全ブロックを符号化した後に、動きべクトル記憶部 1 0 8内から削除する。一時的に格納された動きべクトルを動きべクトル記憶部 1 0 8内から削除する方法は、一時的に格納された動きべクトルを動きべクトル記憶部 1 0 8内から消去する方法であってもよいし、動きべクトルを一時的に格納する記憶領域に、そのまま次の符号化対象ピクチャの動きべクトルを上書きする方法であってもよい。モード選択部 1 0 9は、このような方法で、動きベクトル記憶部 1 0 8に格納される動きべクトルの格納量を制御する。なお、 Bピクチャの直接モードによる符号化においては、第 2参照インデックスが Γ 0 J の参照ピクチャの動きべクトルがメモリ内に格納されていない場合、実施の形態 1 ですでに説明した方法を用いて動き補償を行う。

図 1 7 ( b ) において、例えば、符号化対象ピクチャがピクチャ B 6 である場合、ピクチャ B 6よりも前にピクチャ 1 0、ピクチャ P 1 およぴピクチャ P 4が符号化されている。従って、ピクチャ B 6の符号化時には、メモリ内には、ピクチャ I 0、ピクチャ P 1 およびピクチャ P 4 の画素値が格納されている。さらに、ピクチャ I 0よりも前に符号化されている I ピクチャまたは Pピクチャがあれば、ピクチャ I 0の直前に符号化された 2枚の画素値がメモリ内に格納されている。ピクチャ B 4 は、メモリ内に格納されている参照ピクチヤのうち、 2枚を参照して符号化される。さらに、メモリ内には、ピクチャ B 6の直前に符号化された参照ピクチャであるピクチャ P 4の動きべクトルが格納されている。モード選択部 1 0 9は、ピクチャ B 6内の対象ブロックを直接モードで W

符号化する場合、ピクチャ B 6に対して第 2参照インデックスが「 0」の参照ピクチャがピクチャ P 4であれば、メモリ内に格納されている動きベクトルを用いて対象ブロックの動き補償を行う。また、第 2参照ィンデックスが Γ 0 jの参照ピクチャがピクチャ P 4でなければ、例えば、対象ブロックの動きベクトルを「 0」とし、ピクチャ B 6に対して第 1 参照インデックスが「 0」の参照ピクチャと、ピクチャ B 6に対して第 2参照インデックスが「 0」の参照ピクチャとを参照して、 2方向で動き補償を行う。

符号化対象ピクチャが P 7であるとき、ピクチャ P 7は、直前に符号化され、メモリ内に格納されている 3枚の参照ピクチャ（ピクチャ I 0、ピクチャ P 1 およびピクチャ P 4 ) を参照して符号化される。ピクチャ P 7は、他のピクチャに参照されるので、ピクチャ P 7の符号化ノ復号化に従って、メモリ内に最も古く格納されている参照ピクチャ 1 枚の画素値がメモリから追い出され、新たにピクチャ P 7の画素値が格納される。また、メモリ内に格納されていたピクチャ P 4の動きベクトルがメモリから追い出され、新たにピクチャ P 7で求められた動きべクトルカ格納される。

次に、ピクチャ B 8が符号化されるときには、ピクチャ B 8は、メモリ内に格納されている 5枚の参照ピクチャのうちの 2枚を参照して符号化される。また、ピクチャ B 8内の対象ブロックが直接モードで符号化される場合、モード選択部 1 0 9は、ピクチャ B 8に対して第 2参照ィンデックスが Γ 0」のピクチャがピクチャ P 7であれば、メモリ内に格納されているピクチャ P 7の動きべクトルを用いて対象ブロックの動き補償を行う。ピクチャ B 8に対して第 2参照インデックスが Γ 0 J のピクチャがピクチャ P 7でなければ、対象ブロックの動きべクトルを Γ 0 J として、ピクチャ B 8に対し第 1參照インデックスが「 0 J および第 2 参照インデックスが Γ 0 J の 2枚の参照ピクチャ（ピクチャ P 4およびピクチャ P 7 )を参照して、 2方向の動き補償を行う。ピクチャ B 8は、他のピクチャに参照されないので、メモリには保存されず、メモリ内でのデータの更新は行われない。ピクチャ B 9が符号化される場合も、ピクチャ B 8が符号化された場合と同様にして符号化が行われる。 . このように、本実施の形態 3によれば、 Bピクチャの直接モードによる符号化を行うためにメモリ内に保存する動きべクトルを、 Bピクチャの直前に符号化された 1 枚の参照ピクチャの動きベクトルに限定することにより、動画像の符号化に要するメモリ容量を抑制しつつ、符号化効率を向上することができる動画像符号化装置を提供することができる。なお、上記実施の形態 3では、動画像符号化装置 9 0 0は、記録媒体 4 0 0に記録されるビデオデータおよび制御コードを生成したが、記録媒体に記録される場合に限らず、例えば、デジタルテレビ放送等で配信されるビデオストリームと、ビデオストリームの再生を管理するための管理情報とを生成するとしても良い。図 1 8は、デジタルテレビ放送で送信される放送用パケットの一例を示す図である。同図において、「S J、「A J、「V」で示す各部分は、それぞれ、管理情報、オーディオデータおよびビデオデータのパケットを示している。デジタルテレビ放送では、ビデオストリームおよびオーディオストリームなどの符号化データは、適当なデータ長でパケットに区切られ（例えば M P E G— 2のトランスポートストリ一ムでは 1 8 8バイト）、このバケツトを単位として送信される。そして、オーディオデータのパケットおよびビデオデータのパケッ卜の随所に管理情報のバケツトが揷入されて送信される。動画像符号化装置 9 0 0によって生成された符号列は、このようなビデオデータのバケツトとして送信される。また、符号化制御部 9 1 0によって生成された制御コ一ドは、管理情報に記述され管理情報のバケツトとして送信される。このように、動画像符号化装置 9 0 0によって生成された符号列をビデオデータのパケットとして送信し、符号化制御部 9 1 0によつて生成された制御コードを管理情報のパケットとして送信することによつて、デジタルテレビ放送を受信して映像データを再生する S T Bおよびデジタルテレビなどの再生装置においても、メモリの使用量を節約しつつ、符号化効率の高い高画質の動画像を再生することができる。なお、上記実施の形態 3では、制御コードが、メモリに保存されるデ —タに何らかの制限が加えられていることを示す情報であるとして説明したが、本発明はこれに限定されず、制御コードは、単に、生成された符号列が何らかの制限の下に符号化されていることのみを示す情報であつてもよい。また、この制御コードは、例えば、値が Γ 0」のとき「制限なし」を示し、値が Γ 1 j のとき「制限あり」を示すフラグなどであつてもよい。また、この制御コードは、管理情報内の特定の場所に記述されていれば「制限あり」を示し、記述されていなければ「制限なし」を示すコードであってもよい。もちろん、この制御コードは、あらかじめメモリに記憶されているテーブルを参照することによって、メモリに保存されるデータに何らかの制限が加えられていることや、符号化対象ピクチャの直前に符号化された何枚の Pピクチャの動きベクトルをメモリ内に格納するかなどの複数種類の処理内容を特定することができるコ — ドであってもよいことは言うまでもない。

(実施の形態 4 )

以下では、記録媒体に記録されている A Vストリームを再生する再生装置およびその再生装置に備えられる動画像復号化装置について説明する。図 1 9は、実施の形態 4の再生装置 1 5 0 0の概略的構成を示すブロック図である。再生装置 1 5 0 0は、図 1 4に示した記録媒体 4 0 0 から符号化された A Vス卜リームと、 A Vストリームの再生を管理するための管理情報とを読み取り、音声を伴う映像データを再生する再生装置であって、ビデオ復号化部 1 5 0 1 、オーディオ復号化部 1 5 0 2、システム復号化部 1 5 0 3、モニタ 1 5 1 1 およびスピーカ 1 5 1 2を備える。システム復号化部 1 5 0 3は、記録媒体から管理情報と符号化された A Vストリームとを読み出し、管理情報から制御コードを抽出してビデオ復号化部 1 5 0 1 に出力する。また、読み出したビデオストリームとオーディオストリ一ムとを分離して、それぞれビデオ復号化部 1 5 0 1 とオーディオ復号化部 1 5 0 2とに出力する。ビデオ復号化部 1 5 0 1 は、システム復号化部 1 5 0 3から受け取った制御コードに、メモリに格納されるデータに制限が設けられていることが示されている場合には、システム復号化部 1 5 0 3から受け取ったビデオストリームを復号化する際に、復号化対象ピクチャの直前に復号化された参照ピクチャ 1枚分の動きべクトルをメモリに格納して、復号化対象ピクチャを復号化する。ビデオ復号化部 1 5 0 1 は、ビデオストリームに含まれる各ピクチャを復号化して復号化された各ピクチャを表示順に出力し、動画像を表す映像信号をモニタ 1 5 1 1 に出力する。オーディオ復号化部 1 5 0 2は、システム復号化部 1 5 0 3から受け取ったオーディオストリ一ムを復号化してオーディオ信号を生成し、生成したオーディオ信号をスピーカ 1 5 1 2に出力する。モニタ 1 5 1 1 は、ビデオ復号化部 1 5 0 1 によって生成された映像信号を表示する。スピーカ 1 5 1 2は、ォ一ディォ復号化部 1 5 0 2によって生成されたオーディオ信号を音声として再生する。

図 2 0は、図 1 9に示したビデオ復号化部 1 5 0 1 に相当する動画像復号化装置 1 6 0 0の構成を示すブロック図である。動画像復号化装置 1 6 0 0は、外部から入力された制御コードに、メモリに格納されるデータに制限が設けられていることが示されている場合には、復号化対象ピクチャの直前に復号化された参照ピクチャ 1 枚分の動きべクトルをメモリに格納し、符号列を復号化する動画像復号化装置であって、予測残差復号化部 7 0 2、動き補償復号部 7 0 5、動きべクトル記憶部 7 0 6、フレームメモリ 7 0 7、加算演算部 7 0 8、スィッチ 7 09、スィッチ 7 1 0、符号列解析部 1 6 0 1 およびモード復号部 1 6 03を備える。同図において、図 1 1 に示した動画像復号化装置 7 00と同様の構成要素については既に説明しているので、同一の参照符号を付し、説明を省略する。符号列解析部 1 6 0 1 は、外部から入力された制御コードを、モ一ド復号部 1 60 3に出力する。符号列解析部 1 60 1 は、入力された符号列から、モード選択の情報や動きベクトル情報等を抽出し、抽出したモード選択の情報をモ一ド復号部 7 0 3に、抽出した動きベクトル情報を動き補償復号部 7 0 5に、さらに、予測残差符号化データを予測残差復号化部 7 0 2に出力する。モード復号部 7 0 3は、符号列解析部 1 6 0 1 から入力された制御コードに、メモリに格納されるデータに制限が設けられていることが示されている場合または入力されたビデオストリ一ムが何らかの制限の下に符号化されていることが示されている場合には、復号化対象ピクチャの直前に復号化された参照ピクチャ 1枚分の動きべクトルを動きベクトル記憶部 7 0 6に格納するよう、動き補償復号化部 7 0 5を制御する。

動画像復号化装置 1 6 00において、動きべクトル記憶部 7 0 6に格納される動きべクトルの数と、フレームメモリ 7 0 7に格納される画素値の数とは、図 1 7 ( b ) に示した例と同様である。

以上のように、本実施の形態 4の動画像復号化装置 1 6 00によれば、記録媒体に記録されているビデオストリームを復号化する場合においても、動画像復号化装置のメモリ資源を節約し、かつ、符号化効率の高い符号列を復号化することができるという効果がある。なお、上記実施の形態 4では、動画像復号化装置 1 6 0 0が記録媒体に記録されているビデオストリームを復号化する場合について説明したが、本発明はこれに限定されず、本発明の動画像復号化装置は、デジタル亍レビ放送等で配信される放送用バケツト中のビデオストリームを復号化するとしてもよい。この場合、動画像復号化装置 1 6 0 0は、例えば、デジタルテレビ放送を受信する D T V (デジタルテレビ）や S T B などに備えられる。図 1 8に示した放送用パケットは、 D T Vや S T B などにおいて受信され、管理情報、オーディオデータおよびビデオデータの各パケットに分離される。分離された管理情報からは、さらに、メモリに格納されるデータに何らかの制限が加えられていることを示す制御コードが抽出され、動画像復号化装置 1 6 0 0に入力される。また、各バケツ卜から抽出されたビデオストリームとオーディオストリームとは、動画像復号化装置 1 6 0 0とオーディオ復号化装置とに入力され、同期をとりながらリアルタイムに復号化される。この動画像復号化装置 1 6 0 0の構成および動作は、図 2 0に示した動画像復号化装置 1 6 0 0と同様であるので、説明を省略する。

以上のように、本実施の形態の動画像復号化装置 1 6 0 0によれば、デジタルテレビ放送等で配信される放送用パケット中のビデオストリームを復号化する場合においても、動画像復号化装置のメモリ資源を節約しつつ、符号化効率の高い符号列を復号化することができるという効果がある。

また、上記実施の形態 4においても、制御コードは、メモリに格納されるデータに制限が設けられていることを示す場合に限定されず、単に、生成された符号列が何らかの制限の下に符号化されていることのみを示す情報であってもよい。また、この制御コードは、例えば、値が「 0」のとき「制限なし j を示し、値が Γ 1 j のとき「制限あり j を示すフラグなどであってもよい。また、この制御コードは、管理情報内の特定の場所に記述されていれば「制限あり」を示し、記述されていなければ「制限なし」を示すコードであってもよい。もちろん、この制御コードは、あらかじめメモリに記憶されているテーブルを参照することによって、メモリに保存されるデータに何らかの制限が加えられていることや、符号化対象ピクチャの直前に符号化された何枚の Pピクチャの動きべクトルをメモリ内に格納するかなどを特定することができるコードであってもよいことは言うまでもない。

(実施の形態 5 )

動画像を構成するピクチャはフレームおよびフィールドの両者を包含する 1 つの符号化の単位を意味する。上記実施の形態 1 〜実施の形態 4 では、ピクチャが全てフレーム構造の場合について説明したが、ピクチャをフィールド単位で扱った場合でも、上記で説明した発明を適用して、同様の効果を得ることができる。以下、上記実施の形態で説明した方法をインタレース画像に適用する場合で、上記実施の形態 1 〜実施の形態 4とは異なる実施の形態について考える。ここで、インタレース画像とは、 1 つのフレームが時刻（タイムスタンプ）の異なる 2つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、 1 つのフレームをフレームのまま処理したり、 2つのフィ一ルドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィ一ルド構造として処理したりすることができる。

なお、各ピクチャをフレーム構造で符号化するか、またはフィールド構造で符号化するかは、例えば図 5に示す符号化制御部 1 1 0により適応的に決定することができる。フレーム構造とフィ一ルド構造のいずれで符号化するかは、例えば、ピクチャ内の画素値の分散をフレーム構造とフィールド構造とで求め、分散の小さい方を選択する方法がある。また、各ピクチャをブロック単位でフレーム構造またはフィールド構造のいずれかで符号化する方法も考えられるが、ここではピクチャ単位でフレーム構造またはフィールド構造を切り替える場合について説明する。まず、動画像にフィ一ルド構造のピクチャが含まれる場合のピクチャ番号と参照インデックスの振られ方について説明し、それから本実施の形態 5の具体的な説明をする。

図 2において動画像を構成するピクチャが全てフレームの場合についてのピクチャ番号と参照インデックスについて示したが、図 2 1 および図 2 2を用いて、動画像を構成するピクチャにフレームとフィールドとが混在する場合について説明する。

図 2 1 は、符号化または復号化の対象ピクチャがフィールド構造である場合のピクチャ間の参照関係の一例を示す図である。以下、フレームの奇数番目のラインから構成されるフィールドをトップフィールド、フレームの偶数番目のラインから構成されるフィールドをボトムフィールドと呼ぶ。また、本実施の形態においては、トップフィールドがフィールド構造のピクチャの表示順で前方のフィールド、ボトムフィールドが表示順で後方のフィールドとなる場合について説明するが、これらの順序が入れ替わっても本発明と同様の動作により、同様の効果を得ることができる。符号化または復号化の対象ピクチャがフィールド構造である場合、参照ピクチャは全てフィールド構造として扱う。図 2 1 はピクチャ B 3をフィールド構造で符号化または復号化する場合にフィ一ルド B 3 2が符号化または復号化対象ピクチャである場合を示しておリ、ピクチヤ P 1 、 B 3、 P 4はフィールド構造、ピクチャ B 2はフレーム構造で符号化または復号化される場合、フレーム構造である参照ピクチャ B 2は 2つのフィールド B 2 1 、 B 2 2として扱われる。そして、ピクチャ番号は符号化または復号化される順番で振られる。第 1 参照インデックスはデフォルトでは、符号化または復号化の対象ピクチャよりも表示時間順で前にあるピクチャ、符号化または復号化の対象ピクチヤから表示時間順で近いピクチャ、符号化または復号化の対象ピクチャと同一パリティをもつピクチャの優先順で割り振られる。図 2 1 を用いて具体的に説明すると、まずフィールド B 3 2よりも表示時間順で前方にあり、同一パリティで、かつ、符号化または復号化の順番でフィールド B 3 2 に最も近いフィールド B 2 2に参照インデックスとして Γ θ」が振られ、次にフィ一ルド B 3 2よりも表示時間順で前方にあリ、違うパリティであるが、符号化または復号化の順番ではフィールド B 3 2に最も近いフィールド B 3 1 に参照インデックスとして Γ 1 j が振られる。

ここでパリティとは第 1 ( トップ）フィールド、第 2 (ボトム）フィールドのいずれであるかを示す値であリ、パリティの情報は動画像の符号列において例えばスライス単位で符号化され、あるいは復号化される。図 2 2は、符号化または復号化の対象ピクチャがフレームである場合についてピクチャ間の参照関係の一例を示す図である。符号化または復号化の対象ピクチャがフレームである場合、参照ピクチャは全てフレームとして扱う。図 2 2のように、ピクチャ B 2、 P 4はフィールド構造、ピクチャ P 1 、 B 3はフレーム構造で符号化または復号化されている場合、フィールド構造で符号化または復号化されたフィールド B 2 1 、 B 2 2、 P 4 1 、 P 4 2は 2つの参照フレーム B 2、 B 4として扱われる。なお、ピクチャ番号と参照インデックスの振られ方は、図 2で説明した通りである。

図 2 3は、動画像を符号化または復号化する際の、各フレームの時間的並びを示す図である。図 2 3において、フレーム P 1 、 P 4は Pピクチヤとして処理され、フレーム B 2、 B 3は Bピクチヤとして処理される。また、 1 つのフレームは 2つのフィールドとして扱うことができる。例えば、フレーム P I はフィールド P I 1 、 P I 2として、フレーム B 2はフィールド B 2 1 、 B 2 2 として、フレーム B 3はフィールド B 3 1 、 B 3 2として、フレーム P 4はフィールド P 4 1 、 P 4 2として扱うことができる。さらに、各フレームは、フレーム構造またはフィールド構造のいずれかの形式で適応的に符号化、復号化処理がなされるものとする。

以下、具体的に本実施の形態 5について説明する。実施の形態 5が上記実施の形態 1 〜実施の形態 4と異なる点は、直接モードのために記憶すべき動きべクトルの記憶量を削減する方法として、パリティ毎に動きベクトルを格納する点である。

図 2 3において、ピクチャを示す記号のうち、上段の記号が振られている単位で符号化と復号化の処理が行われる。例えば、図 2 3においては、すべてのピクチャがフィールド単位で処理される。まず、図 2 3を用いて動画像を構成するピクチャをフィールド構造で扱う場合における直接モードについて説明する。

現在の処理対象ピクチャが、フィールド B 3 1であるとする。すなわち、フレーム B 3はフィールド構造で処理される。またフィールド B 3 1 は参照ピクチャとしてフィールド P 1 1 、フィールド P 1 2、フィールド P 4 1 またはフィールド P 4 2を用いるとする。これらの参照ピクチヤは、すでに符号化または復号化処理が完了している。また、フレーム P 1 、フレーム P 4はフィールド単位で処理がなされているものとする。

今、フィールド B 3 1 のブロック aを直接モードで処理する場合を考える。この場合、第 2参照インデックスが Γ 0 J である参照ピクチャ（ここではデフォルトで参照インデックスが割り振られているとする）であるフィールド P 4 1 中の、ブロック a と同一位置にあるブロック bの動きベクトルを利用する。以下では、この動きベクトルを r参照動きべクトル」と呼ぶ。

ここでは、図 2 3のように、ブロックが、動きベクトル Aを用いて処理されており、この動きベクトル Aは、フィールド P 1 1 を参照している場合について説明する。この場合、ブロック aは、参照動きべクトル Aから所定の方法により計算して得られる動きべクトルを用いて、前方参照フィールドであるフィールド P 1 1 (参照動きベクトル Aが指しているフィールド）と後方参照フィールドであるフィールド P 4 1 (ブロック bが属するフィールド）とから動き補償を行う。この場合にブロック aを処理する際に用いる動きべクトルは、フィールド P 1 1 に対しては動きべクトル B、フィールド P 4 1 に対しては動きべクトル Cになるとする。この際、動きベクトル Aの大きさを M V 1 、動きベクトル B の大きさを M V f 1 、動きべクトル Cの大きさを M V b 1 とすると、 M V f 1 、 M V b 1 はそれぞれ式 3、式 4によって得られる。

(式 3 ) M V f 1 = N 1 X M V 1 / D 1

(式 4 ) M V b 1 =— M 1 MV 1 / D 1

以下ではこれら N 1 、 M 1 、 D 1 の値をスケーリング係数と呼ぶとする。スケーリング係数は、フィールド単位で設定された値であるとする。例えばこの場合、スケーリング係数は、各フィールド間の時間的距離から設定することができる。例えばフィールド P 1 1 からフィールド P 4 1 の時間的距離を D 1 、フィールド P 1 1 からフィールド B 3 1 の時間的距離を N 1 、フィールド B 3 1 からフィールド P 4 1 の時間的距離を M l と設定すれば、 M V f 1 と M V b 1 は M Vに平行な動きべクトルとなる。ここで、スケーリング係数の値の決定方法としては、符号化側と復号化側で同じ規則によリ生成する（例えば時間情報（タイムスタンプ）から生成する）方法や、符号化時に設定して関連情報等として符号列中または符号列の付属情報として記述し、復号化時にスケーリング係数を符号列中または符号列の付属情報から取得する方法がある。そして直接モードにより符号化されているブロックを復号化する際には、式 3、式 4を用いて M V f 1 、 M V b 1 を計算すれば良い。

さて、動きべクトル記憶部 1 1 6の動作について説明する。動きべクトル記憶部 1 1 6に格納される動きべクトル数は符号化制御部 1 1 0により指定される。また、ここではトップフィールドの動きベクトルとボトムフィールドの動きべクトルを 1 フィールド分ずつ格納するとする。この場合、格納する動きベクトルとしては、参照ピクチャのうち符号化または復号化の順で直前に符号化または復号化された参照ピクチャの動きべクトルを格納する方法がある。ここで、すでに動きべクトル記憶部 1 1 6に記憶されている動きべクトルは、符号化モードが決定される度に、動きべクトルを順に上書きすれば良い。

具体的には図 2 4 ( a ) に示すように、動きベクトル記憶部 1 0 6を先入れ先出し方式（ F I F O ) のメモリと同様に制御し、新規のものが格納されると記憶した時刻が古い記憶内容が順に破棄され、常に最新のピクチャが保存されるようにする。また、図 2 4 ( a ) では I ピクチャまたは Pピクチャが符号化または復号化されるときに用いられた動きべクトルのみを保存する場合について示す。これは直接モードが用いられる Bピクチャが 1 ピクチャまたは P ピクチャのみを参照する場合を前提としているためである。 Bピクチャが他の Bピクチャを参照するような場合には、参照ピクチャとして用いられる Bピクチャを符号化または復号化されるときに用いられた動きベクトルも保存すれば良い。

フィールド B 3 1 の符号化または復号化においては、メモリアドレス M 1 にはフィールド P 4 1 を符号化または復号化したときの動きべク卜ルが記憶されており、メモリアドレス M 1 に記憶されている動きべクトル Aを用いて動きべクトル Bおよび動きべクトル Cを導出することが可能である。なお、メモリアドレス M 2にはフィールド P 4 2を符号化または復号化したときの動きべクトルが記憶されている。

動きベクトル記憶部 1 0 6の別の例としては図 2 4 ( b ) に示すように、トップフィールドの動きベクトルとポトムフィールドの動きべクトルとを 2フィールド分ずつ格納することができるものが考えられる。この場合、動きベクトル記憶部 1 0 6を先入れ先出し方式（ F I F O ) のメモリと同様に制御し、メモリアドレス M 1 1 に記憶されている動きべクトルは新たに動きべクトルが格納されることになればメモリアドレス M 1 2に移動し、メモリアドレス M 1 2に記憶されている動きべクトルは削除される。メモリアドレス M 2 1 、 M 2 2についても同様である。なお、パリティごとに複数のピクチャに対する動きべクトルの記憶領域がある場合、特に不要な画像については、明示的に開放することも可能である。また、使用するメモリの物理的な配置は、連続する配置である必要はなく、 F I F O的な動作によってメモリ領域の使用の有無が決定されるようにすればよい。

また、図 2 4における説明では符号化または復号化の対象となるピクチヤが全てフィールドの場合について述べたが、符号化または復号化の対象となるピクチャがフレームである場合、その符号化または復号化の対象となるフレームを動き補償するときに用いた動きべクトルは、図 2 4 ( a ) ではメモリアドレス M 1 、メモリアドレス M 2 ともに格納するようにしてもよい。図 2 4 ( b ) においても同様に、メモリアドレス M 1 1 、メモリアドレス M 2 1 ともに格納するようにしてもよい。符号化または復号化対象のピクチャがフィールドであり、参照ピクチャがフレームである場合、参照ピクチャをフィールドとして扱う。そして、直接モードにおいては、第 2参照インデックスが Γ 0」である参照フィールドの動きベクトルを利用するが、この場合、第 2参照インデックスが Γ ο J である参照フィールドが元々フレーム構造で処理されていると、そのフレームに含まれる 2つのフィールドは、フレーム構造の動きべクトルと同じ動きベクトルを有していると考える。よって、フレーム構造で処理された動きべクトルをメモリアドレス M 1 と M 2の両者に格納することにより、参照ピクチャがフィ一ルド構造とフレーム構造のいずれで処理されているかを意識することなく、直接モードにおいて利用する動きべク卜ルを取得することができる。

一方、このように参照ピクチヤであるフレームと同一のピクチャがトップフィールドとボトムフィールドの両者にあるものとして扱わない場合、つまり、例えばトップフィールド用のメモリアドレスに参照ピクチャであるフレームが符号化または復号化対象であったときにこのフレームを動き補償するときに用いた動きべクトルを保存する場合、参照インデックスの再付与によって（参照インデックスは変更（リマッピング）可能であるため）、参照する動きべクトルを誤る可能性がある。なお、このように参照ピクチャであるフレームと同一のピクチャがトップフィールドとボトムフィールドの両者にあるものとして扱わない場合でも、図 2 4 ( a ) に示すように動きベクトルを保存するメモリアドレスが 1 ピクチャ分であれば、参照インデックスの再付与が生じても、参照する動きべクトルが誤るという問題は起こりにくい。

このように、フィールドのパリティごとに動きべクトルを格納するように制御することで、フィールド構造でピクチャを処理する場合であつても、直接モードにおいて必要となる動きべクトルを上書きすることがない。

さらに、上記実施の形態 1 と実施の形態 2で説明した本願発明とフィ一ルドのパリティごとに動きベクトルを格納するように制御することとを適応的に組み合わせることが可能である。そして、フィールドのパリティごとに動きべクトルを格納するように制御することで、動きべクトルを格納する量を制限してメモリ量の削減を図ることができ、かつフィ —ルド構造でピクチャを処理する場合であっても、直接モードにおいて必要となる動きベクトルを上書きすることがない。また、同一フレームに属する 2つのフィールド（トップフィールドとボトムフィールド）を符号化または復号化するときに用いた動きベクトルを 1 組として格納するようにするとよい。同一フレームに属するかどうかは、例えばピクチャ番号の連続性とパリティを示す情報とによって判断することができる, あるいは、フレーム P 1 、フレーム B 2、フレーム B 3、およびフレーム P 4の連続性を示す情報から判断することができる。また、本実施の形態のおいては、ピクチャ単位でフレーム構造とフィールド構造のいずれで符号化または復号化するかを切リ替える場合について説明したが、これはピクチャ内のブロック単位でフレーム構造とフィールド構造のいずれで符号化または復号化するかを切り替えても良い。この場合、フレーム構造で処理したブロックの動きべクトルは、トップフィールド用の動きべクトルメモリとポ卜ムフィールド用の動きべクトルメモリの両者に保持し、フィールド構造でブロックの動きベクトルは、該当するパリティの動きべクトルメモリに保持すれば良い。

(実施の形態 6 )

さらに、上記各実施の形態で示した動画像符号化方法および動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図 2 5は、上記実施の形態 1 から実施の形態 5の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。

図 2 5 ( b ) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図 2 5 ( a ) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスク F Dはケース F内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラック T rが形成され、各トラックは角度方向に 1 6のセクタ S eに分割されている。従つて、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスク F D上に割り当てられた領域に、上記プログラムとしての動画像符号化方法および動画像復号化方法が記録されている。

また、図 2 5 ( c ) は、フレキシブルディスク F Dに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルデイスク F Dに記録する場合は、コンピュータシステム C sから上記プログラムとしての動画像符号化方法および動画像復号化方法を、フレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムによリ上記動画像符号化方法および動画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンビュ —タシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、 GD - R0M、メモリカード、 R O Mカセット等、プログラムを記録できるものであれば同様に実施することができる。

(実施の形態 7 )

さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。

図 26は、コンテンツ配信サービスを実現するコンテンツ供給システム ex1 00の全体構成を示すブロック図である。通信サービスの提供ェリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局 ex 1 0 7 ~ex 1 1 0が設置されている。

このコンテンツ供給システム ex 1 0 0は、例えば、インターネット ex 1 0 1 にインターネットサービスプロバイダ ex1 0 2および電話網 ex 1 0 4、および基地局 exl 0 7〜ex1 1 0を介して、コンピュータ ex 1 1 1 、 P D A (persona I digital assistant) ex 1 1 2、カメラ exl 1 3、携帯電話 ex 1 1 4、カメラ付きの携帯電話 e x 1 1 5などの各機器が接続される。

しかし、コンテンツ供給システム ex 1 0 0は図 2 6のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 ex 1 0 7〜ex1 1 0を介さずに、各機器が電話網 exl 04に直接接続されてもよい。

カメラ ex l 1 3はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、 P D C (Persona I D i gi ta I Communications) 方式、 C DM A (Code Division Multiple Access) 方式、 W— C DM A ( Wi deband— Code Division Multiple Access) 方式、若しくは G S M (Global System for Mobi le Communications) 方式の携帯電話機、または P H S (Personal Handyphone System) 等であり、 Ι ずれでも構わない。

また、ス卜リ一ミングサーバ ex 1 0 3は、カメラ ex 1 1 3から基地局 ex 1 09、電話網 ex 1 04を通じて接続されており、カメラ ex 1 1 3を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理は力メラ exl 1 3で行つても、データの送信処理をするサーバ等で行ってもよい。また、カメラ e 1 1 6で撮影した動画データはコンピュータ ex l 1 1 を介してストリーミングサーバ ex 1 0 3に送信されてもよし、。カメラ ex 1 1 6はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラ ex l 1 6で行ってもコンピュータ ex l 1 1 で行ってもどちらでもよい。また、符号化処理はコンピュータ ex 1 1 1 やカメラ ex 1 1 6が有する L S I ex 1 1 7において処理することになる。なお、動画像符号化 '復号化用のソフトウェアをコンピュータ ex l 1 1 等で読み取り可能な記録媒体である何らかの蓄積メディァ（C D— R O M、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話 ex l 1 5で動画データを送信してもよい < このときの動画データは携帯電話 ex l 1 5が有する L S I で符号化処理されたデータである。

このコンテンツ供給システム ex l 0 0では、ユーザがカメラ ex l 1 3 , カメラ ex l 1 6等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバ ex 1 0 3に送信する一方で、ストリーミングサーバ ex 1 0 3は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータ ex 1 1 1 、 P D A ex 1 1 2、カメラ ex 1 1 3、携帯電話 ex 1 1 4等がある。このようにすることでコンテンツ供給システム ex l 0 0は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイ厶で受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形 200

態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。

図 2 7は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話 ex 1 1 5を示す図である。携帯電話 ex 1 1 5は. 基地局 ex 1 1 0との間で電波を送受信するためのアンテナ ex2 0 1 、 C C Dカメラ等の映像、静止画を撮ることが可能なカメラ部 ex 2 0 3、力メラ部 ex 2 0 3で撮影した映像、アンテナ ex 2 0 1 で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部 ex2 0 2、操作キー e x 2 0 4群から構成される本体部、音声出力をするためのスピ一力等の音声出力部 ex 2 0 8、音声入力をするためのマイク等の音声入力部 ex 2 0 5、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデ —タまたは復号化されたデータを保存するための記録メディア ex 2 0 7、携帯電話 ex l 1 5に記録メディア ex2 0 7を装着可能とするためのスロッ卜部 ex 2 0 6を有している。記録メディア ex 2 0 7は S Dカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリである E E P R O M(EI ectr i ca I I y Erasab I e and Programmab I e Read Only Memory) の一種であるフラッシュメモリ素子を格納したものである, さらに、携帯電話 ex 1 1 5について図 2 8を用いて説明する。携帯電話 ex l 1 5は表示部 ex2 0 2及び操作キー e x 2 0 4を備えた本体部の各部を統括的に制御するようになされた主制御部 ex 3 1 1 に対して、電源回路部 ex 3 1 0、操作入力制御部 ex 3 0 4、画像符号化部 ex 3 1 2、カメラインタ一フェース部 ex 3 0 3 、 L C D (Liquid Crystal Display) 制御部 ex3 0 2、画像復号化部 ex3 0 9、多重分離部 ex 3 0 8、記録再生部 ex 3 0 7、変復調回路部 ex 3 0 6及び音声処理部 ex 3 0 5が同期バス ex 3 1 3を介して互いに接続されている。

電源回路部 ex 3 1 0は、ユーザの操作によリ終話及び電源キーがオン状態にされると、パッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話 ex1 1 5を動作可能な状態に起動する。

携帯電話 ex 1 1 5は、 C P U、 R OM及び R AM等でなる主制御部 ex 3 1 1 の制御に基づいて、音声通話モード時に音声入力部 ex 2 0 5で集音した音声信号を音声処理部 ex3 0 5によってディジタル音声データに変換し、これを変復調回路部 ex 3 0 6でスぺクトラ厶拡散処理し、送受信回路部 ex3 0 1 でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex20 1 を介して送信する。また携帯電話機 ex 1 1 5は、音声通話モード時にアンテナ ex2 0 1 で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部 ex 3 0 6でスぺクトラム逆拡散処理し、音声処理部 ex 3 0 5 によってアナログ音声データに変換した後、これを音声出力部 ex2 08 を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キ一 e X 204の操作によって入力された電子メールのテキストデ —タは操作入力制御部 ex304を介して主制御部 ex3 1 1 に送出される。主制御部 ex 3 1 1 は、テキストデータを変復調回路部 ex 3 06でスぺクトラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex2 0 1 を介して基地局 ex 1 1 0へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部 ex 2 03 で撮像された画像データをカメラインターフェース部 ex 3 0 3を介して画像符号化部 ex 3 1 2に供給する。また、画像データを送信しない場合には、カメラ部 ex 20 3で撮像した画像データをカメラインターフエース部 ex 3 03及ぴ L C D制御部 ex30 2を介して表示部 ex 2 0 2に直接表示することも可能である。

画像符号化部 ex 3 1 2は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部 ex2 0 3から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部 ex 3 0 8 に送出する。また、このとき同時に携帯電話機 ex 1 1 5は、カメラ部 ex 2 0 3で撮像中に音声入力部 ex20 5で集音した音声を音声処理部 ex 3 0 5を介してディジタルの音声データとして多重分離部 ex 3 0 8に送出— 3 る。

多重分離部 ex3 0 8は、画像符号化部 ex3 1 2から供給された符号化画像データと音声処理部 ex 3 0 5から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部 ex 3 0 6でスぺクトラ厶拡散処理し、送受信回路部 ex 30 1 でディジタルァナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナ ex 20 1 を介して基地局 ex 1 1 0から受信した受信データを変復調回路部 ex3 0 6でスぺクトラム逆拡散処理し、その結果得られる多重化データを多重分離部 ex3 08に送出する。

また、アンテナ ex20 1 を介して受信された多重化データを復号化するには、多重分離部 ex3 0 8は、多重化データを分離することによリ画像データのビットストリ一厶と音声データのビットス卜リームとに分け. 同期バス ex 3 1 3を介して当該符号化画像データを画像復号化部 ex 3 0 9に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給する。

次に、画像復号化部 ex 3 0 9は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビッ卜ストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することによリ再生動画像データを生成し、これを L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部 ex 3 0 5は、音声データをアナログ音声データに変換した後、これを音声出力部 ex 2 0 8に供給し、これによリ、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となつておリ、図 2 9に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局 ex 4 0 9では映像情報のビットストリームが電波を介して通信または放送衛星 ex 4 1 0に伝送される。これを受けた放送衛星 ex 4 1 0は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信し、テレビ（受信機） ex 4 0 1 またはセットトップポックス（ S T B ) ex 4 0 7などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体である GD や DVD 等の蓄積メディア ex 4 0 2に記録したビットストリームを読み取リ、復号化する再生装置 ex 4 0 3にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタ ex 4 0 4に表示される。また、ケーブルテレビ用のケーブル ex 4 0 5または衛星地上波放送のアンテナ ex 4 0 6に接続されたセットトツプボックス ex 4 0 7内に動画像復号化装置を実装し、これをテレビのモニタ ex4 0 8で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。また、アンテナ ex 4 1 1 を有する車 ex 4 1 2で衛星 ex 4 1 0からまたは基地局 ex 1 0 7等から信号を受信し、車 ex 4 1 2が有するカーナビゲ一シヨン ex 4 1 3等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、 DVD ディスク e X 4 2 1 に画像信号を記録する DVD レコーダや、ハードディスクに記録するディスクレコーダなどのレコーダ e X4 2 0がある。更に SDカード e X 4 2 2に記録することもできる。レコーダ e x 4 2 0が上記実施の形態で示した動画像復号化装置を備えていれば、 DVD ディスク _{e X} 4 2 1 や SDカード e X 4 2 2に記録した画像信号を再生し、モニタ e x 408 で表示することができる。

なお、カーナビゲーシヨン ex4 1 3の構成は例えば図 2 8に示す構成のうち、カメラ部 ex 2 0 3とカメラインタ一フェース部 ex 30 3、画像符号化部 e X 3 1 2を除いた構成が考えられ、同様なことがコンビユータ exl 1 1 やテレビ（受信機） ex 4 0 1等でも考えられる。

また、上記携帯電話 ex 1 1 4等の端末は、符号化器■復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器 ' システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。産業上の利用の可能性

本発明に係る動画像符号化装置は、通信機能を備えるパーソナルコンピュータ、 P D A、ディジタル放送の放送局および携帯電話機などに備えられる動画像符号化装置として有用である。

また、本発明に係る動画像復号化装置は、通信機能を備えるパーソナルコンピュータ、 P D A、ディジタル放送を受信する S T Bおよび携帯電話機などに備えられる動画像復号化装置として有用である。

Claims

請求の範囲

1 . 複数のプロックから構成されるピクチャの並びである動画像を符号化する方法であって、

動きべクトルを用いた動き補償を行いながら動画像をブロック単位で符号化し、符号列を生成するステップと、

動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を生成するステップと、

生成された前記制限情報を符号化するステップと

を有することを特徴とする動画像符号化方法。

2 . さらに、前記動き補償を行う際に用いた動きべクトルのうち、他のピクチャ内のブロックが直接モードで符号化されるとき、そのブロックによって参照される可能性がある動きべクトルを記憶領域に格納するステップと、

前記記憶領域に格納されている動きべクトルのうち、所定の条件を満たす動きべクトル以外の動きべクトルを前記記憶領域から削除する削除ステップとを有し、

前記直接モードは、符号化済みピクチャで動き補償に用いられた動きべクトルを参照して、符号化されるピクチャ内のブロックの動き補償を行う符号化モードである

ことを特徴とする請求の範囲；！記載の動画像符号化方法。

3 . 複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら符号化する方法であって、符号化対象のピクチャがトップフィールドとボトムフィールドとからなるインタレース画像のいずれかのフィールドである場合に、前記符号化対象のピクチャが前記トップフィールドであるか前記ポトムフィールドであるかを判断するステップと、

前記符号化対象のピクチャが前記トップフィールドであると判断された場合に、符号化対象ピクチャの動き補償に用いた動きベクトルをトツプフィールド用の記憶領域に格納し、前記符号化対象のピクチャが前記ボトムフィールドであると判断された場合に、符号化対象ピクチャの動き補償に用いた動きべクトルをボトムフィールド用の記憶領域に格納するステップと

を有することを特徴とする動画像符号化方法。

4 . 前記トップフィールド用の記憶領域に格納する動きべクトルと、前記ボトムフィールド用の記憶領域に格納する動きべクトルとは、同一フレームに属するトップフィールドとボトムフィールドを符号化するときに用いた動きベクトルである

ことを特徴とする請求の範囲 3記載の動画像符号化方法。

5 . さらに、符号化対象のピクチャをフレーム構造で符号化する場合に、前記符号化対象ピクチャの動き補償に用いた動きベクトルを、トツプフィールド用の記憶領域とポトムフィールド用の記憶領域とに格納するステップ

を有することを特徴とする請求の範囲 3記載の動画像符号化方法。

6 . さらに、前記符号化対象のピクチャの動き補償に用いる動きべクトルの記憶に関する制限を示す制限情報を生成するステップと、生成された前記制限情報を符号化するステップとを有することを特徴とする請求の範囲 3記載の動画像符号化方法。

7 . 前記制限情報を符号化するステップでは、前記制限情報を動画像の符号列中のへッダ情報として符号化する

ことを特徴とする請求の範囲 1 又は請求の範囲 6記載の動画像符号化方法。

8 . 前記ヘッダ情報は、符号列全体のヘッダに付されるヘッダ情報、ピクチャ単位のヘッダに付されるヘッダ情報、またはスライス単位のへッダに付されるヘッダ情報のうち、いずれか 1 つのヘッダ情報であることを特徴とする請求の範囲 7記載の動画像符号化方法。

9 . 前記制限情報を符号化するステップでは、前記制限情報を動画像の符号列とは異なる情報である管理情報として符号化する

1 0 . さらに、前記制限情報に基づいて動きべクトルを記憶領域に格納するステップ

を有することを特徴とする請求の範囲 1又は請求の範囲 6に記載の動画像符号化方法。

1 1 . 前記制限情報はピクチャの枚数またはマクロブロック数を示す情報である

1 2 . 前記制限情報はピクチャを符号化する順番またはピクチャを表示する順番を基準に前記符号化対象ブロックを有するピクチャから何枚前までのピクチャの動きべクトルを記憶領域に格納するかを示した情報である

1 3 . さらに、前記符号化対象のピクチャが前記トップフィールドであるか前記ポトムフィールドであるかを示すフィールド情報を符号化するステップ

1 4 . 複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら符号化する方法であって、符号化対象ブロックの符号化モードを決定する決定ステップと、前記符号化対象ブロックの符号化モードが直接モードである場合に、参照インデックスで特定される符号化済ピクチャの動きベクトルが記憶部に格納されているかどうかを判断する判断ステップと、

前記参照インデックスで特定される符号化済フレームの動きべクトルが、記憶部に格納されていないと判断された場合に、前記符号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記符号化対象プロックの周辺にあるブロックを符号化するときに用いられた動きベクトルを用いて前記符号化対象プロックの動き補償を行う導出ステツプとを有し、

前記直接モードは、符号化済ピクチャ中のプロックが符号化されたときに用いられた動きベクトルを用いて前記符号化対象ブロックの動き補償を行う符号化モードであり、

前記参照インデックスは、記憶部に格納されている複数の符号化済ピクチャから、前記符号化対象プロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記符号化済ピクチャに対して付与されたインデックスである

ことを特徴とする動画像符号化方法。

1 5 . さらに、前記参照インデックスで特定される符号化済フレームの動きべクトルが、記憶部に格納されていないと判断された場合に、前記符号化対象ブロックの動きベクトルを「0」として前記符号化対象ブロックの動き補償を行う別の導出ステップ

を有することを特徴とする請求の範囲 1 4記載の動画像符号化方法。

1 6 . さらに、前記参照インデックスで特定される符号化済フレームを符号化するときに用いた動きべクトルが記憶部に格納されていると判断された場合に、記憶部に格納されている前記動きべクトルを用いて前記符号化対象ブロックの動き補償を行う別の導出ステップ

1 7 . 複数のブロックから構成されるピクチャの並びである動画像を符号化する方法であって、

動きベクトルを用いた動き補償を行いながら動画像をブロック単位で符号化し、符号列を生成するステップと、

動き補償に用いる動きべクトルの記憶に関する制限を示す制限情報を生成する第一の出力ステップと、前記符号化対象ブロックが参照するピクチャが Bピクチャである場合に、前記 Bピクチャを符号化するときに用いた動きべク卜ルを記憶しないことを示す保存情報を生成する第二の出力ステップと、

生成された前記制限情報と前記保存情報とを符号化するステップとを有し、

前記 Bピクチャは、ブロック毎に最大 2枚のピクチャを参照して動き補償を行うピクチャである

ことを特徴とする動画像符号化方法。

1 8 . 前記制限情報と前記保存情報とを符号化するステップでは、前記制限情報と前記保存情報とを前記符号列中のへッダ情報として符号化する

ことを特徴とする請求の範囲 1 7記載の動画像符号化方法。

1 9 . 前記ヘッダ情報は、符号列全体のヘッダに付されるヘッダ情報、ピクチャ単位のヘッダに付されるヘッダ情報、またはスライス単位のへッダに付されるヘッダ情報のうち、いずれか 1 つのヘッダ情報であることを特徴とする請求の範囲 1 8記載の動画像符号化方法。

2 0 . 前記制限情報と前記保存情報とを符号化するステップでは、前記制限情報と前記保存情報とを前記符号列とは異なる情報である管理情報として符号化する

ことを特徴とする請求の範囲 1 7記載の動画像符号化方法。

2 1 . さらに、前記保存情報に基づき前記 Bピクチャを符号化するときに用いた動きべクトルを記憶領域に格納せず、符号化順で、前記符号化対象ブロックを有するピクチャの直前に符号化された Pピクチャの動きべクトルを記憶領域に格納するステップを有し、

前記 Pピクチャは、ブロック毎に既に符号化済みのピクチャを最大 1 枚参照して予測符号化を行うピクチャである

ことを特徴とする請求の範囲 1 7記載の動画像符号化方法。

2 2 . さらに、前記保存情報に基づき前記 Bピクチャを符号化するときに用いた動きべクトルを記憶領域に格納せず、表示順で、前記符号化対象ブロックを有するピクチャの直前に表示される Pピクチヤの動きべクトルを記憶領域に格納するステップを有し、

前記 Pピクチャは、プロック毎に既に符号化済みのピクチャを最大 1 枚参照して予測符号化を行うピクチャである

ことを特徴とする請求の範囲 1 7記載の動画像符号化方法。

2 3 . 前記制限情報はピクチャの枚数またはマクロブロック数を示す情報である

ことを特徴とする請求の範囲 1 7記載の動画像符号化方法。

2 4 . 前記制限情報はピクチャを符号化する順番またはピクチャを表示する順番を基準に前記符号化対象ブロックを有するピクチャから何枚前までのピクチャの動きべクトルを記憶領域に格納するかを示した情報である

ことを特徴とする請求の範囲 1 7記載の動画像符号化方法。

2 5 . 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する方法であって、復号化対象プロックの動き補償に用いる動きべクトルの記憶に関する制限を示す制限情報を有する符号化列を入力するステップと、

前記符号化列を.復号化し前記制限情報を抽出するステップと、前記制限情報に基づいて動きベクトルを記憶領域に格納するステップを有することを特徴とする動画像復号化方法。

2 6 . 前記制限情報はピクチャの枚数またはマクロブ口ック数を示す情報である

ことを特徴とする請求の範囲 2 5記載の動画像復号化方法。

2 7 . 前記制限情報はピクチャを復号化する順番またはピクチャを表示する順番を基準に前記符号化対象ブロックを有するピクチャから何枚前までのピクチャの動きべクトルを記憶領域に格納するかを示した情報である

ことを特徴とする請求の範囲 2 5記載の動画像復号化方法。

2 8 . 前記制限情報は前記符号化列のヘッダ情報中にあり、前記へッダ情報は、符号列全体のヘッダに付されるヘッダ情報、ピクチャ単位のヘッダに付されるヘッダ情報、またはスライス単位のヘッダに付されるヘッダ情報のうち、いずれか 1 つのヘッダ情報である

ことを特徴とする請求の範囲 2 5記載の動画像復号化方法。

2 9 . 複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら復号化する方法であって、復号化対象のピクチャがトップフィールドとボトムフィールドとからなるインタレース画像のいずれかのフィールドである場合に、前記復号化対象のピクチャが前記トップフィールドであるか前記ポトムフィールドであるかを判断するステップと、

前記復号化対象のピクチャが前記トップフィールドであると判断された場合に、復号化対象ピクチャの動き補償に用いた動きベクトルをトツプフィールド用の記憶領域に格納し、前記復号化対象のピクチャが前記ボトムフィールドであると判断された場合に、復号化対象ピクチャの動き補償に用いた動きべクトルをボトムフィ一ルド用の記憶領域に格納するステップと

を有することを特徴とする動画像復号化方法。

3 0 . 前記トップフィ一ルド用の記憶領域に格納する動きべクトルと、前記ボトムフィールド用の記憶領域に格納する動きべクトルとは、同一フレームに属するトップフィールドとポトムフィールドを復号化するときに用いた動きベクトルである

ことを特徴とする請求の範囲 2 9記載の動画像復号化方法。

3 1 . さらに、復号化対象のピクチャがフレーム構造で符号化されたピクチャである場合に、前記復号化対象ピクチャの動き補償に用いた動きベクトルを、トップフィールド用の記憶領域とボトムフィールド用の記憶領域とに格納するステツプ

を有することを特徴とする請求の範囲 2 9記載の動画像復号化方法。

3 2 . さらに、前記復号化対象のピクチャの動き補償に用いる動きべクトルの記憶に関する制限を示す制限情報と、前記復号化対象のピクチャが前記トップフィールドであるか前記ボトムフィールドであるかを示すフィールド情報とを有する符号化列から前記制限情報とフィールド情報とを抽出するステップを有し、

前記動きべクトルを記憶ステップにおいて、前記制限情報と前記フィ —ルド情報とに基づいて動きべクトルを記憶領域に格納する

ことを特徴とする請求の範囲 2 9記載の動画像復号化方法。

3 3 . 前記制限情報はピクチャの枚数またはマク口.プロック数を示す情報である

ことを特徴とする請求の範囲 3 2記載の動画像復号化方法。

3 4 . 前記制限情報はピクチャを復号化する順番またはピクチャを表示する順番を基準に前記符号化対象ブロックを有するピクチャから何枚前までのピクチャの動きベクトルを記憶領域に格納するかを示した情報である

ことを特徴とする請求の範囲 3 2記載の動画像復号化方法。

3 5 . 前記制限情報は前記符号化列のべッダ情報中にあり、前記へッダ情報は、符号列全体のヘッダに付されるヘッダ情報、ピクチャ単位のヘッダに付されるへッダ情報、またはスライス単位のへッダに付されるヘッダ情報のうち、いずれか 1 つのヘッダ情報である

ことを特徴とする請求の範囲 3 2記載の動画像復号化方法。

3 6 . 複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら復号化する方法であって、復号化対象プロックの符号化モードを示す符号化モード情報を有する符号化列を入力するステップと、前記符号化列を復号化し前記符号化モード情報を抽出するステップと前記符号化モード情報が直接モードを示している場合に、参照インデックスで特定される復号化済ピクチャを復号化するときに用いた動きべクトルが記憶部に格納されているかどうかを判断する判断ステップと、前記参照インデックスで特定される復号化済ピクチャの動きべクトルが、記憶部に格納されていないと判断された場合に、前記復号化対象ブロックを有するピクチャと同一のピクチャ内にあリ前記復号化対象プロックの周辺にあるプロックを復号化するときに用いられた動きべクトルを用いて前記復号化対象ブロックの動き補償を行う導出ステップとを有し、

前記直接モードは、参照するピクチャ中において前記復号化対象プロックと同じ位置にあるプロックが復号化されたときに用いられた動きべクトルを用いて前記復号化対象プロックの動き補償を行う符号化モードであり、

前記参照インデックスは、記憶部に格納されている複数の復号化済ピクチャから、前記復号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記復号化済ピクチャに対して付与されたインデックスである

ことを特徴とする動画像復号化方法。

3 7 . さらに、前記参照インデックスで特定される復号化済ピクチャの動きべクトルが、記憶部に格納されていないと判断された場合に、前記復号化対象ブロックの動きベクトルを「 0」として前記復号化対象ブロックの動き補償を行う別の導出ステップ

を有することを特徴とする請求の範囲 3 6記載の動画像復号化方法。

3 8 . さらに、前記参照インデックスで特定される復号化済ピクチャを復号化するときに用いた動きべクトルが記憶部に格納されていると判断された場合に、記憶部に格納されている前記動きべクトルを用いて前記復号化対象ブロックの動き補償を行う別の導出ステップ

3 9 . 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する方法であって、復号化対象ブロックの動き補償に用いる動きべクトルの記憶に関する制限を示す制限情報と、前記復号化対象ブロックが参照するピクチャが Bピクチャであるときに、前記 Bピクチャを復号化するときに用いた動きベクトルを記憶部に格納しないことを示す保存情報とを有する符号化列を入力する入力ステップと、

前記符号化列を復号化し前記制限情報と前記保存情報とを抽出する抽出ステップと、

前記制限情報に基づいて動きべクトルを記憶部に格納し、さらに前記保存情報に基づいて Bピクチャを復号化するときに用いた動きベクトルを記憶部に格納しない格納ステップとを有し、

前記 Bピクチャは、プロック毎に最大 2枚の復号化済みピクチャを参照して動き補償を行うピクチャである

ことを特徴とする動画像復号化方法。

4 0 . さらに、前記格納ステップにおいて、前記保存情報に基づき前記 Bピクチャを復号化するときに用いた動きベクトルを記憶部に格納せず、複号化順で、前記復号化対象ブロックを有するピクチャの直前に復号化された Pピクチャの動きベクトルを記憶部に格納し、前記 Pピクチャは、プロック毎に既に復号化済みのピクチャを最大 1 枚参照して動き補償を行うピクチャである

ことを特徴とする請求の範囲 3 9記載の動画像復号化方法。

4 1 . さらに、前記格納ステップにおいて、前記保存情報に基づき前記 Bピクチャを復号化するときに用いた動きベクトルを記憶部に格納せず、表示順で、前記復号化対象ブロックを有するピクチャの直前に表示される Pピクチャの動きべクトルを記憶部に格納し、

前記 Pピクチャは、ブロック毎に既に復号化済みのピクチャを最大 1 枚参照して動き補償を行うピクチャである

ことを特徴とする請求の範囲 3 9記載の動画像復号化方法。

4 2 . 前記制限情報はピクチャの枚数またはマクロブロック数を示す情報である

ことを特徴とする請求の範囲 3 9記載の動画像復号化方法。

4 3 . 前記制限情報はピクチャを復号化する順番またはピクチャを表示する順番を基準に前記復号化対象ブロックを有するピクチャから何枚前までのピクチャの動きべクトルを記憶領域に格納するかを示した情報である

ことを特徴とする請求の範囲 3 9記載の動画像復号化方法。

4 4 . 前記制限情報は前記符号化列のヘッダ情報中にあり、前記へッダ情報は、符号列全体のヘッダに付されるヘッダ情報、ピクチャ単位のヘッダに付されるヘッダ情報、またはスライス単位のヘッダに付されるヘッダ情報のうち、いずれか 1 つのヘッダ情報であることを特徴とする請求の範囲 3 9記載の動画像復号化方法。

4 5 . 複数のブロックから構成されるピクチャの並びである動画像を符号化する動画像符号化装置であって、

動きべクトルを用いた動き補償を行いながら動画像をブロック単位で符号化し、符号列を生成する手段と、

動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を生成する手段と、

生成された前記制限情報を符号化する手段と

を備えることを特徴とする動画像符号化装置。

4 6 . 複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら符号化する動画像符号化装置であって、

直接モードは、符号化済ピクチャ中のブロックが符号化されたときに用いられた動きベクトルを用いて前記符号化対象ブロックの動き補償を行う符号化モードであり、参照インデックスは、記憶部に格納されている複数の符号化済ピクチャから、前記符号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記符号化済ピクチャに対して付与されたインデックスであるとした場合に、符号化対象ブロックの符号化モードを決定する決定手段と、

前記符号化対象プロックの符号化モードが前記直接モードである場合に、前記参照インデックスで特定される符号化済ピクチャの動きべクトルが記憶部に格納されているかどうかを判断する判断手段と、

前記参照ィンデックスで特定される符号化済ピクチャの動きべクトルが、記憶部に格納されていないと判断された場合に、前記符号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記符号化対象プロックの周辺にあるブロックを符号化するときに用いられた動きベクトルを用いて前記符号化対象ブロックの動き補償を行う導出手段と

を備えることを特徴とする動画像符号化装置。

4 7 . 複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら復号化する動画像復号化装置であって、

動き補償に用いる動きべクトルの記憶に関する制限を示す制限情報を有する符号化列を入力する手段と、

前記符号化列を復号化し前記制限情報を抽出する手段と、

前記制限情報に基づいて動きべクトルを記憶領域に格納する手段とを備えることを特徴とする動画像復号化装置。

4 8 . 複数のブロックから構成されるピクチャの並びである動画像を'、動きべクトルを用いた動き補償を行いながら復号化する動画像復号化装置であって、

直接モードは、復号化済ピクチャ中のブロックが復号化されたときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う符号化モードであり、参照インデックスは、記憶部に格納されている複数の復号化済ピクチャから、前記復号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記復号化済ピクチャに対して付与されたインデックスであるとした場合に、復号化対象ブロックの符号化モードを示す符号化モード情報を有する符号化列を入力する手段と、

前記符号化列を復号化し前記符号化モード情報を抽出する手段と、前記符号化モード情報が直接モードを示している場合に、参照インデックスで特定される復号化済ピクチャを復号化するときに用いた動きべクトルが記憶部に格納されているかどうかを判断する判断手段と、前記参照ィンデックスで特定される復号化済ピクチャの動きべクトルが、記憶部に格納されていないと判断された場合に、前記復号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記復号化対象プロックの周辺にあるブロックを復号化するときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う導出手段と

を備えることを特徴とする動画像復号化装置。

4 9 . 複数のブロックから構成されるピクチャの並びである動画像を符号化するためのプログラムであって、

動き補償に用いる動きべクトルの記憶に関する制限を示す制限情報を生成するステップと、

生成された前記制限情報を符号化するステップと

をコンピュータに行わせるプログラム。

5 0 . 複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら符号化するためのプログラ厶であって、

直接モードは、符号化済ピクチャ中のブロックが符号化されたときに用いられた動きベクトルを用いて前記符号化対象ブロックの動き補償を行う符号化モードであり、参照インデックスは、記憶部に格納されている複数の符号化済ピクチャから、前記符号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記符号化済ピクチャに対して付与されたインデックスであるとした場合に、符号化対象ブロックの符号化モードを決定する決定ステップと、前記符号化対象ブロックの符号化モードが前記直接モードである場合に、前記参照インデックスで特定される符号化済ピクチャの動きべクトルが記憶部に格納されているかどうかを判断する判断ステップと、前記参照インデックスで特定される符号化済ピクチャの動きベクトルが、記憶部に格納されていないと判断された場合に、前記符号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記符号化対象プロックの周辺にあるブロックを符号化するときに用いられた動きべクトルを用いて前記符号化対象ブロックの動き補償を行う導出ステップとをコンピュータに行わせるプログラム。

5 1 . 複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら復号化するためのプロダラムであって、

動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を有する符号化列を入力するステップと、

前記符号化列を復号化し前記制限情報を抽出するステップと、前記制限情報に基づいて動きべクトルを記憶領域に格納するステップをコンピュータに行わせるプログラム。

5 2 . 複数のブロックから構成されるピクチャの並びである動画像を、動きべクトルを用いた動き補償を行いながら復号化するためのプログラムであって、直接モードは、復号化済ピクチャ中のプロックが復号化されたときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う符号化モードであり、参照インデックスは、記憶部に格納されている複数の復号化済ピクチャから、前記復号化対象プロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記復号化済ピクチャに対して付与されたインデックスであるとした場合に、復号化対象ブロックの符号化モードを示す符号化モード情報を有する符号化列を入力するステップと、

前記符号化列を復号化し前記符号化モード情報を抽出するステップと前記符号化モード情報が前記直接モードを示している場合に、前記参照インデックスで特定される復号化済ピクチャを復号化するときに用いた動きベクトルが記憶部に格納されているかどうかを判断する判断ステップと、

前記参照インデックスで特定される復号化済ピクチャの動きベクトルが、記憶部に格納されていないと判断された場合に、前記復号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記復号化対象プロックの周辺にあるブロックを復号化するときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う導出ステップ <!：をコンピュータに行わせるプログラム。

5 3 . 動きベクトルを用いた動き補償を行いながら、複数のブロックから構成されるピクチャの並びである動画像がプロック単位で符号化された符号列と、前記動き補償に用いる動きべクトルの記憶に関する制限を示す制御情報と

が記録されていることを特徴とする記録媒体。

5 4 . 前記制限情報は前記符号列中のへッダ情報として記録されている

ことを特徴とする請求の範囲 5 3記載の記録媒体。

5 5 . 前記制限情報は、前記符号列とは異なる情報である管理情報として記録されている

ことを特徴とする請求の範囲 5 3記載の記録媒体。