JP5658390B2 - 動画像符号化装置及びその方法 - Google Patents

Description

本発明は、動画像符号化装置及びその方法に関し、特に、トップフィールドとボトムフィールドとを含むフレームの画像データを格納することが可能な複数のメモリ領域を有する動画像符号化装置に関する。

動画像は、映像技術や映像会議からＤＶＤやデジタルテレビにいたる範囲にわたって増大しつつある数多くのアプリケーションに採用されている。動画像を伝送するためには、有効周波数帯域が限られた従来の伝送路を介してかなりの量のデータを伝送することが必要とされる。限られた伝送帯域でデジタルデータを伝送するためには、伝送データの量を圧縮又は削減することが不可欠となる。

異なる製造会社によってアプリケーション用に設計された複数のシステム間における相互利用が可能となるように、共通の方法で映像データの量を圧縮する映像符号化規格が策定されている。映像符号化規格は、ＩＴＵのＨ．２６１、Ｈ．２６３とＩＳＯ／ＩＥＣのＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４である。

その多くの規格における基本となる符号化のアプローチは、以下の主要なステージからなる。

１．映像を構成するピクチャの処理をブロックレベルで行うことが可能となるように、各ピクチャをピクセルからなるブロックに分割する。ピクチャとは、フレームもしくはフィールドを表す。

２．１つのブロックの映像データに、変換、量子化及びエントロピー符号化を施すことで、ピクチャの空間的な冗長性を減少させる。

３．連続するピクチャ間の相関を利用し、連続するフレーム間の差分を符号化する。

これは、動き予測及び補償の技術によって達成される。各ブロック毎にフレーム間で相関の強い予測画像データを示す動きベクトルを決定するために、エンコーダでは符号化されたフレーム内で相関の強い画像データ位置を検索する動き検出が行われる。更に、エンコーダ及びデコーダでは動きベクトルに対応する予測画像データを抽出する動き補償が実行される。

従来の映像エンコーダ（動画像符号化装置）の構成例は、図１５に示される通りである（たとえば、特許文献１参照）。図示された映像エンコーダは、空間映像データを周波数領域に変換する変換部１３と、変換部１３で得られた変換係数を量子化する量子化部１４と、量子化された変換係数をエントロピー符号化する可変長符号化部１５と、可変ビットレートの圧縮映像データを伝送レートにあわせて伝送路に供給するための映像バッファ１７と、デコーダ１６と、動き予測部１９とを備える。

図１５に示されるエンコーダの映像データ１０は、ＰＣＭ（パルス符号変調）で画素値が入力される。差分器１１は、映像データ１０と、動き補償画像１２の差分値を計算する。動き補償画像１２は、既に符号化された画像を復号化し、動き補償することによって得られる（「対象の復号化画像」）。これは、映像エンコーダに対応するデコーダ１６によって行われる。デコーダ１６は、符号化手順を逆に行う、つまり、デコーダ１６は、逆量子化部（Ｑ−１）と、逆変換部（ＩＤＣＴ）と、復号化された差分を動き補償画像と加算することによって復号側で得られるものと同様の前画像を生成する加算器とから構成される。

動き補償符号化においては、対象ピクチャの動き補償データは、そのピクチャと復号化したピクチャとの間での動きの予測に基づいて、対応する復号化したピクチャのピクチャデータから生成される。動きの予測値は、復号化したピクチャと対象ピクチャとの間のピクセルの変位を示す２次元動きベクトルで表現される。通常、動き予測は、ブロック単位で行われる。すなち、復号化したピクチャで、対象フレームのブロックと最も相関が強いブロックが動き補償画像とされる。この動き予測を行う動き予測部１９と、動きベクトルに対応して復号化したピクチャから動き補償画像を生成する動き補償部ＭＣがエンコーダに組み込まれる。

図１５に示される映像エンコーダは、次のように動作する。映像信号１０の映像画像は、通常、マクロブロックと呼ばれる、ある個数の小さなブロック群に分割される。たとえば、図１６に示された映像画像２０は、複数のマクロブロック２１に分割される。各マクロブロックは、通常、１６×１６の画素サイズをもっている。

さらに、ピクチャは、ある個数のスライス２２に分割される。各スライスは、複数のマクロブロックからなり、データ喪失時の同期復帰の単位である。なお、１つのスライスを構成するマクロブロックの配列は、図１６に示されるように同じ行のマクロブロックのみで構成される必要は無く、複数の行のマクロブロックを包含したり、行の途中で異なるスライスの区切りがあってもよい。

画像中の空間的な冗長性を減少させることだけによって映像の画像データを符号化したときには、その結果得られるピクチャは、Ｉピクチャと呼ばれる。Ｉピクチャは、ピクチャ内の画素値のみを参照して符号化される。符号化されたＩピクチャは、データ量を削減するための時間的な情報が利用できないために、その符号化されたデータのサイズが大きい。

連続するピクチャ間に存在する時間的な冗長性を利用して効率的な圧縮を行うために、動き予測及び補償に基づいて、連続するピクチャ間での予測符号化が行われる。動き予測において選択された参照ピクチャが既に符号化し復号化された１つのピクチャである場合には、Ｐピクチャと呼ばれる。また、参照ピクチャが２つ（通常は表示順序が対象ピクチャに対し前方と後方）の場合には、Ｂピクチャと呼ばれる。

現在策定中の画像符号化方式であるＨ．２６Ｌ規格では、各１６×１６マクロブロックにおける動き補償は、異なるブロックサイズを用いて行うことができる。個々の動きベクトルは、動き補償のブロックサイズである４×４、４×８、８×４、８×８、８×１６、又は、１６×１６画素のブロックに対して、決定することができる。小さい動き補償ブロックにすることの有用性は、細かい動きを記述することができるということである。

動き予測処理の結果に基づいて、動き補償処理は、決定された動きベクトルに基づく予測を行う。そして、予測されたブロックから得られる予測誤差ブロックに含まれる情報は、変換部１３において、変換係数に変換される。一般に、２次元ＤＣＴ（離散コサイン変換）がよく用いられる。得られた変換係数は、量子化され、最後に、エントロピー符号化部１５において、エントロピー符号化（ＶＬＣ）が行われる。なお、動き予測部１９で算出された動きベクトルは、動き補償に用いられるとともに、可変長符号化部１５及び映像バッファ１７を経て、圧縮映像データ１８に組み込まれて出力される。

圧縮映像データ１８の伝送ストリームはデコーダ（動画像復号化装置）に送信され、そこで、受信データに基づいて、符号化された映像画像のシーケンスが再生される。デコーダの構成は、図１５に示された映像エンコーダが備えるデコーダ１６の構成に対応している。

新しい映像符号化方式では、より効率的な画像の符号化を可能にするために、ピクチャ間の複数参照ピクチャをもつことができる。そのために、動き予測部及び動き補償部は、様々な参照ピクチャを提供するためのマルチフレームバッファを備える。動きベクトルには、個々の参照画像を示す情報が付加される。

マルチフレームバッファの内部構成は、図１７に示される通りであり、参照符号３０が全体を示している。マルチフレームバッファは、映像信号のフレームを格納する複数のメモリ領域３１、３２から構成される。マルチフレームバッファ３０のメモリ領域は、２つの異なる種類のメモリ領域、つまり、主として短時間だけ参照画像として使われる参照ピクチャが格納される短時間領域３３、及び、主として長時間に渡って使われる参照ピクチャが格納される長時間領域３４に分割される。

マルチフレームバッファは、特別な画像を符号化又は復号化するために、適宜選択された参照ピクチャを格納する。参照ピクチャの格納手順は、２つの処理ステージ、つまり、（１）参照ピクチャの並び替え、及び、（２）参照ピクチャのバッファリングに分割される。

（１）参照ピクチャは、スライスレイヤーで送信されてくる参照ピクチャ順序情報に基づいて、並べられる。参照ピクチャの順序づけは、１つのスライスに含まれるマクロブロック群の符号化又は復号化処理だけに影響する。この処理の目的は、頻繁に参照されるピクチャに小さい番号を割り当て、小さい番号ほど短い符号長の符号を割り当てることで、動き補償の際に参照する参照画像を示す情報のビット数を削減することである。

（２）参照ピクチャのバッファリングでは、各符号化／復号化処理のためにマルチフレームバッファに格納された参照ピクチャを更新するときに、符号化又は復号化対象のピクチャのバッファリングを制御する。

参照ピクチャのバッファリングのために、２つの異なるメモリ管理制御モードの１つ、つまり、「シフト窓バッファリングモード」又は「適応的メモリ制御バッファリングモード」を用いることができる。

シフト窓バッファリングモードでは、対象の各符号化又は復号化画像は、マルチフレームバッファに追加して格納される。マルチフレームバッファの短時間領域のピクチャは、先入れ先出し（ＦＩＦＯ）方式で、新たな画像によって周期的に置き換えられていく。バッファが十分な容量の未使用メモリ領域を持っている限り、現在処理されている画像の画像データを格納するためにいかなる画像データも消去する必要がない。もし、マルチフレームバッファの未使用領域が既に処理された新たな画像データで満杯になったときには、最も早く格納された画像データが現在符号化／復号化された新しい画像の画像データに置き換えられていく。

適応的メモリ制御バッファリングモードにおいては、マルチフレームバッファに追加して格納される、又は、そこから削除される各画像は明示的に選択される。符号化及び復号化側での対応するメモリ管理制御を確実にするメモリ管理制御処理パラメータに従って、メモリ制御が行われる。このような画像の置換処理を行うために、各メモリ領域には、明示的に対象ピクチャを指定するための固有の識別番号が割り当てられている。なお、各メモリ領域には、上記（１）の参照ピクチャの並べ替えを行った後の順序を示すインデックスが割り当てられており、これを参照インデックスと呼ぶ。

特開平５−２３６４５６号公報

以上のメモリ管理制御モードには、いくつかの問題が残されている。従来のメモリ管理制御モードでは、特に、インターレース映像データを効率的に扱うことができない。インターレース映像データは、各フレームが時間及び垂直方向の空間位置が異なる２つのフィールド（トップフィールド及びボトムフィールド）で構成され、フィールド単位で符号化され得るので、メモリ管理が複雑になってしまうという問題がある。

そこで、本発明は、インターレース映像データに対する符号化における画像メモリの管理を効率的に行うことが可能な動画像符号化装置等を提供することを目的とする。

上記目的を達成するために、本発明に係る動画像符号化装置の一形態は、動画像を符号化する動画像符号化装置であって、トップフィールドの画像データ、ボトムフィールドの画像データ、あるいは、トップフィールドとボトムフィールドとを含むフレームの画像データを格納することが可能なメモリ領域を複数有する記憶手段と、前記メモリ領域に格納された画像データをフレーム単位のみで参照するか、フィールド単位のみで参照するか、又は、フレーム単位とフィールド単位との混在で参照することによって動き予測と動き補償を行いながら入力画像をフレーム単位のみで符号化するか、フィールド単位のみで符号化するか、又は、フレーム単位とフィールド単位との混在で符号化する符号化手段と、前記符号化手段が前記入力画像をフレーム単位のみで符号化する場合、フィールド単位のみで符号化する場合、又は、フレーム単位とフィールド単位との混在で符号化する場合のいずれの場合であっても、前記複数のメモリ領域をフレーム単位で管理するメモリ管理手段と、前記符号化手段により符号化された画像データを復号化し、復号化した画像データを前記メモリ管理手段による管理の下で前記複数のメモリ領域のいずれかに格納する格納手段とを備え、前記メモリ管理手段は、前記メモリ領域にフレーム、トップフィールド又はボトムフィールドの画像データが格納された場合に、当該メモリ領域に対応する管理状態を「使用」状態とし、前記メモリ領域に画像データが格納されていない場合、あるいは、格納されているフレームが不要となった場合、あるいは、格納されているトップフィールド及びボトムフィールドの両方が不要となった場合に、当該メモリ領域に対応する管理状態を「未使用」状態とし、「未使用」状態にある前記メモリ領域にトップフィールド、又は、ボトムフィールドの画像データが格納され、当該メモリ領域に対応する管理状態が「使用」状態にある場合、(１)前記メモリ領域に格納されているトップフィールド、又は、ボトムフィールドと同一のフレームを構成するボトムフィールド、又は、トップフィールドの画像データについては、前記メモリ領域に格納されているトップフィールド、又は、ボトムフィールドと同一のメモリ領域に格納することを許可し、（２）前記メモリ領域に格納されているトップフィールド、又は、ボトムフィールドと異なるフレームを構成するボトムフィールド、又は、トップフィールドの画像データについては、前記メモリ領域に格納することを禁止し、前記メモリ領域とは別のメモリ領域に格納することを許可する。

また、本発明に係る動画像符号化方法の一形態は、動画像を符号化する動画像符号化方法であって、トップフィールドの画像データ、ボトムフィールドの画像データ、あるいは、トップフィールドとボトムフィールドとを含むフレームの画像データを格納することが可能なメモリ領域を複数有する記憶ステップと、前記メモリ領域に格納された画像データをフレーム単位のみで参照するか、フィールド単位のみで参照するか、又は、フレーム単位とフィールド単位との混在で参照することによって動き予測と動き補償を行いながら入力画像をフレーム単位のみで符号化するか、フィールド単位のみで符号化するか、又は、フレーム単位とフィールド単位との混在で符号化する符号化ステップと、前記符号化ステップで前記入力画像をフレーム単位のみで符号化する場合、フィールド単位のみで符号化する場合、又は、フレーム単位とフィールド単位との混在で符号化する場合のいずれの場合であっても、前記複数のメモリ領域をフレーム単位で管理するメモリ管理ステップと、前記符号化ステップにより符号化された画像データを復号化し、復号化した画像データを前記メモリ管理ステップによる管理の下で前記複数のメモリ領域のいずれかに格納する格納ステップとを有し、前記メモリ管理ステップでは、前記メモリ領域にフレーム、トップフィールド又はボトムフィールドの画像データが格納された場合に、当該メモリ領域に対応する管理状態を「使用」状態とし、前記メモリ領域に画像データが格納されていない場合、あるいは、格納されているフレームが不要となった場合、あるいは、格納されているトップフィールド及びボトムフィールドの両方が不要となった場合に、当該メモリ領域に対応する管理状態を「未使用」状態とし、「未使用」状態にある前記メモリ領域にトップフィールド、又は、ボトムフィールドの画像データが格納され、当該メモリ領域に対応する管理状態が「使用」状態にある場合、（１）前記メモリ領域に格納されているトップフィールド、又は、ボトムフィールドと同一のフレームを構成するボトムフィールド、又は、トップフィールドの画像データについては、前記メモリ領域に格納されているトップフィールド、又は、ボトムフィールドと同一のメモリ領域に格納することを許可し、（２）前記メモリ領域に格納されているトップフィールド、又は、ボトムフィールドと異なるフレームを構成するボトムフィールド、又は、トップフィールドの画像データについては、前記メモリ領域に格納することを禁止し、前記メモリ領域とは別のメモリ領域に格納することを許可する。

なお、本発明は、動画像符号化装置およびその方法として実現できるだけでなく、以下のように、メモリ管理装置、動画像復号化装置及びその方法、それらの方法を実行するプロセッサとして実現することもできる。

つまり、本発明に係るメモリ管理装置は、ピクチャデータのメモリへの格納を管理するメモリ管理装置であって、１フレーム分のデータを格納できる領域であるメモリ領域を複数有するメモリと、データを前記メモリに格納する格納手段と、前記メモリ領域毎に、データの格納が禁止された状態であるか、あるいはデータの格納が可能な状態であるかを管理するメモリ管理手段とを有し、前記メモリ管理手段は、データの格納が可能な状態である第１のメモリ領域に第１のフィールドデータが書き込まれたときに、前記第１のフィールドデータと対になる第２のフィールドデータが書き込まれる場合を除き、前記第１のメモリ領域へのさらなるデータの書き込みを禁止してもよい。

また、本発明に係る動画像符号化装置は、トップフィールドとボトムフィールドとを含むフレームの画像データを格納することが可能な複数のメモリ領域を有する記憶手段と、前記メモリ領域に格納された画像データをフィールド単位で参照することによって動き予測と動き補償を行いながら入力画像をフィールド単位で符号化する符号化手段と、前記複数のメモリ領域をフレーム単位で管理するメモリ管理手段と、前記符号化手段により符号化されたフィールドの画像データを復号化し、復号化したフィールドの画像データを前記メモリ管理手段による管理の下で前記複数のメモリ領域のいずれかに格納する格納手段とを備えてもよい。

また、本発明に係る動画像復号化装置は、トップフィールドとボトムフィールドとを含むフレームの画像データを格納することが可能な複数のメモリ領域を有する記憶手段と、前記メモリ領域に格納された画像データをフィールド単位で参照することによって動き補償を行いながら入力画像をフィールド単位で復号化する復号化手段と、前記複数のメモリ領域をフレーム単位で管理するメモリ管理手段と、前記復号化手段により復号化されたフィールドの画像データを前記メモリ管理手段による管理の下で前記複数のメモリ領域のいずれかに格納する格納手段とを備えてもよい。

さらに、本発明に係るメモリ管理装置は、動画像を符号化又は復号化する装置におけるメモリ管理装置であって、トップフィールドとボトムフィールドとを含むフレームの画像データを格納することが可能な複数のメモリ領域を有する記憶手段と、前記複数のメモリ領域をフレーム単位で管理する管理手段と、前記管理手段による管理の下で、フィールドの画像データを前記複数のメモリ領域のいずれかに格納及びフィールドの画像データを前記複数のメモリ領域のいずれかから読み出すメモリアクセス手段とを備えてもよい。

これらの動画像符号化装置、動画像復号化装置及びメモリ管理装置によれば、１つのフレームデータ、又は、２つのフィールドデータ（トップフィールドデータ及びボトムフィールドデータ）を格納することが可能な各メモリ領域への画像データの格納及び各メモリ領域からの画像データの読み出しがフレーム単位及びフィールド単位のいずれで行われても、メモリ管理については常にフレーム単位で行われるので、インターレース映像データに対する符号化及び復号化におけるメモリ管理が簡素化され、効率化される。特に、インターレース映像データがフレーム単位で符号化されるピクチャとフィールド単位で符号化されるピクチャとが混在する場合は、統一されたフレーム単位でのメモリ管理だけで済むので、効率的なメモリ管理が実現される。

ここで、前記メモリ管理手段は、前記複数のメモリ領域それぞれについて、画像データの格納が可能か否かをフレーム単位で管理し、前記格納手段は、前記メモリ管理手段により格納が可能と管理されているメモリ領域に前記フィールドの画像データを格納してもよい。つまり、前記メモリ管理手段は、前記複数のメモリ領域それぞれに対応づけた格納許可フラグを「使用」又は「未使用」にセットすることによって、前記メモリ領域を管理し、前記格納手段は、前記格納許可フラグが「未使用」を示すメモリ領域に前記フィールドの画像データを格納してもよい。たとえば、前記メモリ管理手段は、前記メモリ領域にフレーム、トップフィールド又はボトムフィールドの画像データが格納された場合に、当該メモリ領域に対応する格納許可フラグを「使用」にセットし、前記メモリ領域に画像データが格納されていない場合、格納されているフレームが不要となった場合、又は、格納されているトップフィールド及びボトムフィールドの両方が不要となった場合に、当該メモリ領域に対応する格納許可フラグを「未使用」にセットする。これによって、２つのフィールドデータを格納するメモリ領域に対して１ビットの格納許可フラグが割り当てられ、その１ビットの格納許可フラグの状態を判断したり変更したりするだけで各メモリ領域への画像データの格納許否に関する管理が可能となり、管理に係る処理が簡素化されるとともに、管理のためのメモリ容量が小さくて済む。

また、前記メモリ管理手段は、前記複数のメモリ領域それぞれについて、短時間参照のための「短時間領域」か長時間参照のための「長時間参照」かをフレーム単位で管理してもよい。つまり、前記メモリ管理手段は、前記複数のメモリ領域それぞれに対応づけた長時間フラグを「短時間領域」又は「長時間領域」にセットすることによって、前記メモリ領域を管理してもよい。例えば、前記メモリ管理手段は、前記長時間フラグが「短時間領域」にセットされたメモリ領域に格納されているフレーム、トップフィールド又はボトムフィールドの画像データを長時間参照用に変更する場合に、当該長時間フラグを「長時間領域」にセットする。これによって、これによって、２つのフィールドデータを格納するメモリ領域に対して１ビットの長時間フラグが割り当てられ、その１ビットの長時間フラグの状態を判断したり変更したりするだけで各メモリ領域の参照属性（「短時間参照用」か「長時間参照用」か）に関する管理が可能となり、管理に係る処理が簡素化されるとともに、管理のためのメモリ容量が小さくて済む。さらに、長時間フラグを「短時間領域」から「短時間領域」に変更するだけで、「短時間領域」に格納されている画像データを「長時間領域」に移動させることができる。

なお、本発明は、上記のような動画像符号化装置、動画像復号化装置及びメモリ管理装置として実現することができるだけでなく、動画像符号化方法、動画像復号化方法及びメモリ管理方法として実現したり、プログラムとして実現したり、プログラムが記録されたコンピュータ読み取り可能な記録媒体として実現したりすることもできる。

本発明に係る動画像符号化装置及びその方法によれば、インターレース映像データに対する符号化におけるメモリ管理が簡素化され、効率化される。特に、インターレース映像データがフレーム単位で符号化されるピクチャとフィールド単位で符号化されるピクチャとが混在する場合は、統一されたフレーム単位でのメモリ管理だけで済むので、効率的なメモリ管理が実現される。

また、２つのフィールドデータを格納するメモリ領域に対して１ビットの格納許可フラグが割り当てられた場合には、その１ビットの格納許可フラグの状態を判断したり変更したりするだけで各メモリ領域への画像データの格納許否に関する管理が可能となり、管理に係る処理が簡素化されるとともに、管理のためのメモリ容量が小さくて済む。

また、２つのフィールドデータを格納するメモリ領域に対して１ビットの長時間フラグが割り当てられた場合には、その１ビットの長時間フラグの状態を判断したり変更したりするだけで各メモリ領域の参照属性（「短時間参照用」か「長時間参照用」か）に関する管理が可能となり、管理に係る処理が簡素化されるとともに、管理のためのメモリ容量が小さくて済む。さらに、長時間フラグを「短時間領域」から「短時間領域」に変更するだけで、「短時間領域」に格納されている画像データを「長時間領域」に移動させることができる。

１つのメモリ領域に関連づけて格納されているデータを示す。 動き予測／動き補償部のブロック図である。 マルチフレームバッファの制御方法の例を示す。 実施の形態２における映像エンコーダの構成を示すブロック図である。 入力される映像信号又は符号化の単位の種類を示す図であり、（ａ）はフレーム単位で符号化される映像信号の例を示し、（ｂ）はフィールド単位で符号化される映像信号の例を示し、（ｃ）はフレームとフィールドが混在した状態で符号化される映像信号の例を示す。 メモリ管理部の動作手順を示すフローチャートである。 メモリ管理部によるメモリ管理の例を示すテーブルであり、（ａ）は図５（ａ）に対応したメモリ管理の例を示し、（ｂ）は図５（ｂ）に対応したメモリ管理の例を示し、（ｃ）は図５（ｃ）に対応したメモリ管理の例を示す。 バッファにおける参照画像の格納状態を示す図であり、（ａ）は入力される映像信号がフレーム単位で符号化される場合におけるバッファの格納状態を示し、（ｂ）は入力される映像信号がフィールド単位で符号化される場合におけるバッファの格納状態を示し、（ｃ）は入力される映像信号がフレームとフィールドが混在した状態で符号化される場合におけるバッファの格納状態を示す。 本発明に係る映像デコーダの構成を示すブロック図である。 本発明に係る映像エンコーダ及び映像デコーダをコンピュータシステムにより実現するためのプログラムを格納する記録媒体についての説明図である。 本発明に係るコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 本発明に係る携帯電話の一例を示す図である。 同携帯電話の構成を示すブロック図である。 本発明に係るディジタル放送用システムの構成を示す図である。 動き補償されたＤＰＣＭ映像エンコーダのブロック図である。 符号化及び復号化処理のための映像画像の副次的な分割を示す。 動き予測及び動き補償に用いられるマルチフレームバッファの全体構成を示す。

（実施の形態１）
以下、本発明の実施の形態１における映像エンコーダ（動画像符号化装置）について図面を参照しながら説明する。なお、本実施の形態における映像エンコーダは、図１５に示される構成を備えるとともに、後述する図２に示される特徴的なメモリ管理機能を備える。以下、従来の映像エンコーダと異なる点を中心に説明する。

上述したように、図１７には、マルチフレームバッファの全体構成が示されている。マルチフレームバッファ３０は、２つのフィールド、つまり、トップフィールド及びボトムフィールドからなる参照画像を格納する複数のメモリ領域３１、３２を備える。メモリ領域３１、３２のそれぞれに格納されたデータは、図１に示される通りである。各メモリ領域４１は、トップフィールド４２及びボトムフィールド４３を格納するのに用いられ、そこで、各フィールドデータが独立して書き込まれたり、読み出されたりする。

動き予測及び動き補償のための適切な参照画像を生成することは、図２に示されたメモリ制御部５３によって行われる。各画像の符号化又は復号化が終了すると、メモリ部（マルチフレームバッファ）５２は、メモリ制御情報に従って更新される。新たな画像、例えば、符号化又は復号化の対象となる画像データを格納するのに用いられるメモリ領域は、各メモリ領域に１つずつ割り当てられた格納許可フラグ４４をセットすることでマーク付けされる。一連の画像の動き予測又は動き補償のために必要となる参照画像は、格納許可フラグを解除することで、フレームバッファに保持される。メモリ部（マルチフレームバッファ）５２から画像を削除するときには、格納許可フラグ４４を「未使用」状態にセットする。フレームの片方のフィールド、両フィールド、フレームのいずれが格納されていても、格納許可フラグ４４が使用状態になる。格納許可フラグ４４はフレームの状態を示すが、何が格納されているかは各メモリ（フィールド）単位で管理されており、トップフィールドもしくはボトムフィールドの一方のフィールドのみが格納されている場合は、他方のフィールドが格納可能であることも示すことができる。

格納許可フラグは、メモリ部（マルチフレームバッファ）５２、又は、それに替えて、マルチフレームの対応するメモリ領域に関連づけたメモリ制御部５３内に格納しておくことができる。トップ及びボトムフィールド対ごとに１つの格納許可フラグ４４を対応させるだけで、インターレース映像データを扱うためのハードウェアの付加が不要となる。

さらに、１つの長時間フラグ４５を各メモリ領域４１に割り当ててもよい。このフラグ４５は、メモリ部（マルチフレームバッファ）５２又は各メモリ領域に関連づけられたメモリ制御部５３内に格納される。この長時間フラグ４５を用いることで、各メモリ領域は、長時間参照画像に格納されていることが示される。このように、長時間フラグ４５をセットすることで、短時間領域３３から長時間領域３４への画像のシフト処理（移動）が実現される。

なお、本発明の実施の形態では、長時間メモリ領域３４は、トップ及びボトムフィールド位置４２、４３のいずれかにトップ又はボトムフィールドを格納するようになっており、それによって、長時間画像データの効率的な格納を改善している。これは、各フィールド位置が「未使用」を示すことを可能にするような各長時間メモリ領域用の２つの格納許可フラグを設けることで達成される。

メモリ管理制御の方法の例は、図３に示される。ステップ６１における画像の符号化又は復号化処理が終了すると、ステップ６２に示されるように、マルチフレームバッファのためのメモリ制御の処理が開始される。ステップ６３において、まず、後のフィールド処理で必要とはならない２つのフィールドを格納しているメモリ領域が選択され、続いて、ステップ６４において、格納許可フラグ４４が「未使用」にセットされる。なお、同一フレームを構成する一方のフィールドデータが格納されているメモリ領域があり、そのメモリ領域の他方のフィールド領域が未使用であれば、その未使用のフィールド領域に他方のフィールドデータを格納してもよい。例えば、同じフレームのトップフィールドデータがメモリ領域に格納済みでボトムフィールドデータが未格納であれば、そのメモリ領域の未格納のボトムフィールド領域にボトムフィールドを格納してもよい。

このようにして、未使用のフィールド対のメモリ空間ごとに、新しい画像データの書き込みが可能となる。この選択は、映像エンコーダから送られてきたメモリ制御情報に基づいて行われる。映像エンコーダは、採用されている符号化規格での定義に基づく制御情報を生成することができる。

さらに、メモリ制御情報は、長時間画像データを持つメモリ領域を選択する（ステップ６５）。そして、ステップ６６で、これらのメモリ領域の長時間フラグ４５がセットされる。

ステップ６７において、メモリ制御パラメータに従って、処理対象のフィールドは、メモリ領域の各「未使用」フィールド位置に格納され、その後、ステップ６８において、符号化又は復号化処理が再開される。

以上のように、本発明は、複数の参照画像を用いる動き予測及び動き補償部に関し、複数の参照画像は、各参照画像のメモリ領域を持つメモリ部に格納される。各メモリ領域は、トップフィールド及びボトムフィールドを含む１つのフレームの映像データを格納するようになっている。メモリ部への映像データの格納は、メモリ制御部によって制御される。２つの連続するフィールドの画像データを１つのメモリ領域に格納することを許可する１つの格納許可フラグが各メモリ領域に割り当てられている。これによって、映像信号がインターレース映像データである場合には、画像の符号化・復号化・動き予測・動き補償はフィールド単位もしくはフレーム単位で行われるが、メモリ部の管理（「使用」／「未使用」の管理等）については常にフレーム単位で行われるので、メモリ管理のための管理処理が簡単化される。

なお、実施の形態１で格納許可フラグ４４と長時間フラグ４５を同時に説明したが、いずれか一方のみを使用し、他方を使用しない若しくは他の方法で代用しても構わない。

（実施の形態２）
次に、本発明の実施の形態２における映像エンコーダ及び映像デコーダについて説明する。本実施の形態は、実施の形態１を詳細化したものに相当し、メモリ管理をフレーム単位で行う点で、実施の形態１と共通する。

図４は、実施の形態２における映像エンコーダ７０の構成を示すブロック図である。この映像エンコーダ７０は、入力された映像信号１０の構造及び符号化の単位がフレーム単位、フィールド単位及びそれらの混在であってもマルチフレームバッファに対するメモリ管理をフレーム単位で行う点に特徴を有し、差分器１１、変換部１３、量子化部１４、可変長符号化部１５、映像バッファ１７、デコーダ１６、動き予測部１９及びメモリ管理部７１を備える。デコーダ１６は、逆量子化部１６ａ、逆離散コサイン変換部１６ｂ、バッファ１６ｃ及び動き補償部１６ｄを備える。なお、図１５に示される従来の映像エンコーダ及び実施の形態１における映像エンコーダと同様の構成要素には同一の符号を付し、その説明を省略する。

本実施の形態の映像エンコーダ７０は、特徴的なメモリ管理部７１を備える。このメモリ管理部７１は、入力された映像信号１０の画像がいかなる単位（フレーム単位、フィールド単位、あるいは、それらの混在）で符号化されたかを示す外部情報に基づいて、その単位と同一の処理単位となるように動き補償部１６ｄ及び動き予測部１９に指示するとともに、フレーム単位で、マルチフレームバッファ、つまり、バッファ１６ｃに格納される参照画像の管理を行う。具体的には、図５（ａ）に示されるように、入力された映像信号１０のピクチャがＧＯＰ（Group Of Picture、又は、シーケンス）等においてフレーム単位で符号化される場合には、動き補償部１６ｄ及び動き予測部１９での処理がフレーム単位で行われるように制御するとともにメモリ管理についてはフレーム単位で行い、一方、図５（ｂ）に示されるように、入力された映像信号１０のピクチャがＧＯＰ（又は、シーケンス）等においてフィールド単位で符号化される場合には、動き補償部１６ｄ及び動き予測部１９での処理がフィールド単位で行われるように制御するとともにメモリ管理についてはフレーム単位で行い、さらに一方、図５（ｃ）に示されるように、入力された映像信号１０のピクチャがピクチャあるいはＧＯＰ（又は、シーケンス）等ごとにフレームとフィールドが混在して符号化される場合には、その符号化単位に対応するように動き補償部１６ｄ及び動き予測部１９での処理がフレーム単位又はフィールド単位で行われるように制御するとともにメモリ管理についてはフレーム単位で行う。

なお、メモリ管理の内容は、基本的には実施の形態１と同様であり、ここでは、１つのフレームデータ又は２つのフィールドデータ（トップフィールドデータ及びボトムフィールドデータ）を格納する単位であるメモリ領域ごとに１ビットの格納許可フラグ及び１ビットの長時間フラグを割り当て、画像データごと（本実施の形態では、フレームごと、又は、トップフィールドとボトムフィールドとの対ごと）に、「使用」／「未使用」のいずれの状態であるか、保存領域が「長時間」／「短時間」領域のいずれであるかを判断したり、記録したりする。これらのフラグは、バッファ１６ｃ又はメモリ管理部７１内に設けられる。なお、「未使用」及び「使用」は、それぞれ、対応するメモリ領域に画像データ（フレームデータ、トップフィールドデータ又はボトムフィールドデータ）を格納することが可能であること、及び、格納することが禁止されていることを示す。また、「長時間領域」及び「短時間領域」は、それぞれ、バッファ１６ｃを２種類の記憶領域に分類した場合における各領域、つまり、主に長期間参照のための格納領域及び主に短期間参照のための格納領域に相当する。

図６は、メモリ管理部７１の動作手順を示すフローチャートである。メモリ管理部７１は、入力された外部情報に基づいて、入力される映像信号１０の符号化の単位を判断し（ステップＳ７０）、映像信号１０のピクチャがフレーム単位で符号化される場合には（ステップＳ７０で「フレーム単位」）、動き補償部１６ｄによる動き補償及び動き予測部１９による動き予測についてはフレーム単位となるように制御するとともに、フレーム単位でバッファ１６ｃへの参照画像の格納／除去及び長時間領域／短時間領域への格納を行い（ステップＳ７１）、一方、映像信号１０のピクチャがフィールド単位で符号化される場合には（ステップＳ７０で「フィールド単位」）、動き補償部１６ｄによる動き補償及び動き予測部１９による動き予測についてはフィールド単位となるように制御するとともに、フレーム単位でバッファ１６ｃへの参照画像の格納／除去及び長時間領域／短時間領域への格納を行う（ステップＳ７２）。

図７は、メモリ管理部７１によるメモリ管理の例を示すテーブルである。メモリ管理部７１は、入力された映像信号１０がフレーム単位で符号化される場合には、図７（ａ）に示されるように、フレーム（つまり、メモリ領域）ごとに対応させた格納許可フラグ及び長時間フラグ等を用いることで、フレームごとに、「使用」／「未使用」のいずれの状態にあるか、及び、「長時間」／「短時間」領域のいずれの領域に格納されているかを記録したり、参照したり、更新したりする。

一方、入力された映像信号１０がフィールド単位で符号化される場合には、メモリ管理部７１は、図７（ｂ）に示されるように、トップフィールドとボトムフィールドとの対（つまり、メモリ領域）ごとに対応させた格納許可フラグ及び長時間フラグ等を用いることで、対ごとに、つまり、フレーム単位で、「使用」／「未使用」のいずれの状態にあるか、及び、「長時間」／「短時間」領域のいずれの領域に格納されているかを記録したり、参照したり、更新したりする。この詳細な手順は、実施の形態１における図３のフローチャートに示される通りである。

さらに、入力された映像信号１０がフレーム単位とフィールド単位とが混在する状態で符号化される場合には、メモリ管理部７１は、図７（ｃ）に示されるように、フレームに対してはフレームごとに対応させた格納許可フラグ及び長時間フラグ等を用い、フィールドに対してはトップフィールドとボトムフィールドとの対ごとに対応させた格納許可フラグ及び長時間フラグ等を用いることで、フレームごと、又は、トップフィールドとボトムフィールドの対ごとに、つまり、フレーム単位で、「使用」／「未使用」のいずれの状態にあるか、及び、「長時間」／「短時間」領域のいずれの領域に格納されているかを記録したり、参照したり、更新したりする。

ここで、格納許可フラグの具体的な制御手順は次の通りである。つまり、メモリ領域に画像データが未だ格納されていない場合、メモリ領域に格納されているフレームデータが不要となった場合（使用しないことが確定した場合）、又は、メモリ領域に格納されているトップフィールドデータ及びボトムフィールドデータの両方が不要となった場合（いずれのフィールドデータも使用しないことが確定した場合）に、そのメモリ領域に対応する格納許可フラグを「未使用」にセットする。これによって、そのメモリ領域への新たなフレームデータあるいはフィールドデータの格納が可能になる。

一方、「未使用」のメモリ領域に新たなフレームデータ、トップフィールドデータ又はボトムフィールドデータを格納した場合には、そのメモリ領域に対応する格納許可フラグを「使用」にセットする。これによって、そのメモリ領域への他のフレームデータあるいはフィールドデータの格納が禁止され、既に格納されているフレームデータあるいはフィールドデータがメモリ領域に保持されることが確保される。なお、「未使用」のメモリ領域にトップフィールドデータ又はボトムフィールドデータを格納した場合には、そのメモリ領域に対応する格納許可フラグを「使用」にセットするが、同一フレームを構成するボトムフィールド又はトップフィールドのデータについては、そのメモリ領域の他方のフィールド領域に格納することができるものとして制御する。

また、長時間フラグの具体的な制御手順は次の通りである。つまり、メモリ領域に格納された画像データ（フレームデータが格納されている場合には当該フレームデータ、トップフィールドデータだけが格納されている場合には当該トップフィールドデータ、ボトムフィールドデータだけが格納されている場合には当該ボトムフィールドデータ、トップフィールドデータとボトムフィールドデータの両方が格納されている場合には当該トップフィールドデータとボトムフィールドデータの両方）を短時間の参照用として用いる場合に、そのメモリ領域に対応する長時間フラグを「短時間領域」にセットする。これによって、他の「短時間領域」のメモリ領域とともに、ＦＩＦＯのバッファメモリとして使用することが可能となる。

一方、メモリ領域に格納された画像データ（フレームデータが格納されている場合には当該フレームデータ、トップフィールドデータだけが格納されている場合には当該トップフィールドデータ、ボトムフィールドデータだけが格納されている場合には当該ボトムフィールドデータ、トップフィールドデータとボトムフィールドデータの両方が格納されている場合には当該トップフィールドデータとボトムフィールドデータの両方）を長時間の参照用として用いる場合に、そのメモリ領域に対応する長時間フラグを「長時間領域」にセットする。これによって、その画像データが明示的にメモリ領域から削除（「未使用」となる）まで、メモリ領域に保持されることが確保される。また、長時間フラグが「短時間領域」にセットされたメモリ領域に格納されているフレーム、トップフィールド又はボトムフィールドの画像データを長時間参照用に変更する場合には、その長時間フラグを「長時間領域」にセットする。これによって、簡単に、画像データを「短時間領域」から「長時間領域」に移動させることができる。

図８は、バッファにおける参照画像の格納状態を示す図である。図８（ａ）は、入力される映像信号１０がフレーム単位で符号化される場合におけるバッファ１６ｃの格納状態を示し、図８（ｂ）は、入力される映像信号１０がフィールド単位で符号化される場合におけるバッファ１６ｃの格納状態を示し、図８（ｃ）は、入力される映像信号１０がフレームとフィールドが混在した状態で符号化される場合におけるバッファ１６ｃの格納状態を示す。

以上のように、本実施の形態における映像エンコーダ７０によれば、入力された映像信号１０の符号化単位がフレーム単位、フィールド単位及びそれらの混在のいずれであっても、メモリ管理についてはフレーム単位で行われる。したがって、フレーム単位とフィールド単位とが混在する複雑なメモリ管理方式に比べ、メモリ管理のための処理負荷や回路規模が削減される。

なお、本実施の形態におけるメモリ管理部７１は、映像エンコーダだけでなく、映像デコーダ（動画像復号化装置）にも適用することができる。図９は、上述のメモリ管理部７１と同一機能をもつメモリ管理部１０９を備える映像デコーダ１００の構成を示すブロック図である。映像デコーダ１００は、入力された符号化映像信号１０１を一時的に保持する入力バッファ１０２と、映像エンコーダ７０が備える可変長符号化部１５による符号化に対応する復号化を行う可変長復号器１０３と、映像エンコーダ７０が備える量子化部１４による量子化に対応する逆量子化を行う逆量子化部１０４と、映像エンコーダ７０が備える変換部１３による変換の逆変換を行う逆離散コサイン変換部１０５と、画像の加算を行って映像信号１１０を出力する加算器１０６と、参照画像を格納するマルチフレームバッファとしてのバッファ１０７と、符号化映像信号１０１に含まれる動きベクトルを可変長復号器１０３を介して取得し、その動きベクトルを用いて、バッファ１０７に格納された参照画像に対して動き補償を行う動き補償部１０８と、メモリ管理部１０９とを備える。

メモリ管理部１０９は、入力された符号化映像信号１０１のピクチャがいかなる単位（フレーム単位／フィールド単位）で符号化されているか示す外部情報に基づいて、その単位と同一の処理単位となるように動き補償部１０８に指示するとともに、フレーム単位で、マルチフレームバッファ、つまり、バッファ１０７に格納される参照画像の管理を行う。具体的には、入力された符号化映像信号１０１のピクチャがＧＯＰ（又は、シーケンス）等においてフレーム単位で符号化されている場合には、動き補償部１０８での処理がフレーム単位で行われるように制御するとともにメモリ管理についてはフレーム単位で行い、一方、入力された符号化映像信号１０１のピクチャがＧＯＰ（又は、シーケンス）等においてフィールド単位で符号化されている場合には、動き補償部１０８での処理がフィールド単位で行われるように制御するとともにメモリ管理についてはフレーム単位で行う。なお、この映像デコーダ１００におけるメモリ管理の詳細については、入力された符号化映像信号１０１に含まれる動きベクトルを用いて動き補償が行われる点を除いて、映像エンコーダ７０におけるメモリ管理と同一である。

以上、本発明に係る動画像符号化装置、動画像復号化装置及びメモリ管理について、２つの実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。

本実施の形態のように、格納許可フラグ４４と長時間フラグ４５を同時に備える必要は無く、いずれか一方のみを使用し、他方を使用しない若しくは他の方法で代用しても構わない。

更に、メモリ制御の簡易化よりも、メモリ管理の高機能化及びバッファフレームの使用効率の向上を重視するならば、メモリ管理をフレーム単位で固定的に行うのではなく、フレーム単位とフィールド単位とを混在させてもよい。例えば、各メモリ領域に１ビットの格納許可フラグと２ビットの長時間フラグを割り当てることで、「使用」／「未使用」の管理についてはフレーム単位で行い、「短時間領域」／「長時間領域」の管理についてはフィールド単位で行ってもよい。

なお、上記実施の形態では、メモリ管理（「使用」／「未使用」、「長時間領域」／「短時間領域」）は、ピクチャ（フレーム又はフィールド）に対応するフラグによって実現されたが、本発明は、フラグを用いたメモリ管理に限定されるものではない。たとえば、バッファに格納されているピクチャのうち、「使用」（あるいは、「未使用」）状態にあるピクチャの番号（あるいは参照インデックス、あるいはバッファの各領域を示す番号）を記録した管理テーブルを設けたり、「短時間領域」（あるいは、「長時間領域」）に格納されているピクチャの番号（あるいは参照インデックス、あるいはバッファの各領域を示す番号）を記録した管理テーブルを設けることで、同様のメモリ管理を行ってもよい。

また、上記実施の形態で示したメモリ管理機能を備える映像エンコーダ及び映像デコーダをプログラムとして実現することもできる。そのようなプログラムをフレキシブルディスク等の記録媒体に記録して流通させることで、あらゆる場所に置かれた汎用のコンピュータを本発明に係る映像エンコーダ又は映像デコーダとして機能させることができる。

図１０は、上記実施の形態の映像エンコーダ及び映像デコーダをコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。図１０（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。図１０（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての映像エンコーダ及び映像デコーダが記録されている。また、図１０（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての映像エンコーダ及び映像デコーダをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記映像エンコーダ及び映像デコーダをコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。なお、プログラムを格納する記録媒体は、フレキシブルディスクだけに限られず、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の光ディスクやメモリカード、ＲＯＭカセット等であってもよい。

また、本発明に係る映像エンコーダ及び映像デコーダは、様々な機器やシステムに適用することができる。以下、上記実施の形態における映像エンコーダ及び映像デコーダの応用例を説明する。

図１１は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２及び電話網ｅｘ１０４、及び基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５等の各機器が接続される。なお、コンテンツ供給システムｅｘ１００は図１１のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ
Ａｃｃｅｓｓ）方式、若しくはＧＳＭ(登録商標)（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、又はＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク等）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態と同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した映像エンコーダあるいは映像デコーダを用いるようにすればよい。

その一例として携帯電話について説明する。図１２は、上記実施の形態で説明した映像エンコーダと映像デコーダを用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータ又は復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１５について図１３を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。

電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。

携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。

画像符号化部ｅｘ３１２は、本願発明で説明した映像エンコーダを備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した映像エンコーダに用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。

また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。

画像復号化部ｅｘ３０９は、上記実施の形態で説明した映像デコーダを備えた構成を有し、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１４に示すようにディジタル放送用システムにも上記実施の形態の少なくとも映像エンコーダ又は映像デコーダのいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信又は放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１又はセットトップボックス（ＳＴＢ）ｅｘ４０７等の装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した映像デコーダを実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５又は衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に映像デコーダを実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に映像デコーダを組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０から又は基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。

さらに、画像信号を上記実施の形態で示した映像エンコーダで符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダ等のレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した映像デコーダを備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションｅｘ４１３の構成は例えば図１３に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。

また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した映像エンコーダあるいは映像デコーダを上述のいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

さらに、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。

本発明に係る動画像符号化装置、動画像復号化装置及びメモリ管理装置等は、ＬＳＩ等の電子回路又はコンピュータ上で実行されるソフトウェアで実現される映像エンコーダ及び映像デコーダ等として利用することができる。例えば、動画像を符号化したり、符号化された動画像を復号化して再生するコンピュータ、ＰＤＡ、デジタル放送送信機及び携帯電話機等に備えられる映像エンコーダ及び映像デコーダ等として有用である。

１０ 映像信号
１１ 差分器
１２ 補償画像
１３ 離散コサイン変換部
１４ 量子化部
１５ 可変長符号化部
１６ デコーダ
１６ａ 逆量子化部
１６ｂ 逆離散コサイン変換部
１６ｃ バッファ
１６ｄ 動き補償部
１７ バッファ
１８ 圧縮映像データ
１９ 動き予測部
２０ 映像画像
２１ マクロブロック
２２ スライス
３０ マルチフレームバッファ
３１、３２ メモリ領域
３３ 短時間領域
３４ 長時間領域
４１ メモリ領域
４２ トップフィールド
４３ ボトムフィールド
４４ 格納許可フラグ
４５ 長時間フラグ
５１ 動き予測部／動き補償部
５２ メモリ部
５３ メモリ制御部
７０ 映像エンコーダ
７１ メモリ管理部
１００ 映像デコーダ
１０１ 符号化映像信号
１０２ 入力バッファ
１０３ 可変長復号器
１０４ 逆量子化部
１０５ 逆離散コサイン変換部
１０６ 加算器
１０７ バッファ
１０８ 動き補償部
１０９ メモリ管理部
１１０ 映像信号

Claims (2)

1. 動画像を符号化する動画像符号化装置であって、
   トップフィールドの画像データ、ボトムフィールドの画像データ、あるいは、トップフィールドとボトムフィールドとを含むフレームの画像データを格納することが可能なメモリ領域を複数有する記憶手段と、
   前記メモリ領域に格納された画像データをフレーム単位のみで参照するか、フィールド単位のみで参照するか、又は、フレーム単位とフィールド単位との混在で参照することによって動き予測と動き補償を行いながら入力画像をフレーム単位のみで符号化するか、フィールド単位のみで符号化するか、又は、フレーム単位とフィールド単位との混在で符号化する符号化手段と、
   前記符号化手段が前記入力画像をフレーム単位のみで符号化する場合、フィールド単位のみで符号化する場合、又は、フレーム単位とフィールド単位との混在で符号化する場合のいずれの場合であっても、前記複数のメモリ領域をフレーム単位で管理するメモリ管理手段と、
   前記符号化手段により符号化された画像データを復号化し、復号化した画像データを前記メモリ管理手段による管理の下で前記複数のメモリ領域のいずれかに格納する格納手段とを備え、
   前記メモリ管理手段は、
   前記メモリ領域にフレーム、トップフィールド又はボトムフィールドの画像データが格納された場合に、当該メモリ領域に対応する管理状態を「使用」状態とし、前記メモリ領域に画像データが格納されていない場合、あるいは、格納されているフレームが不要となった場合、あるいは、格納されているトップフィールド及びボトムフィールドの両方が不要となった場合に、当該メモリ領域に対応する管理状態を「未使用」状態とし、
   「未使用」状態にある前記メモリ領域にトップフィールド、又は、ボトムフィールドの画像データが格納され、当該メモリ領域に対応する管理状態が「使用」状態にある場合、
   (１)前記メモリ領域に格納されているトップフィールド、又は、ボトムフィールドと同一のフレームを構成するボトムフィールド、又は、トップフィールドの画像データについては、前記メモリ領域に格納されているトップフィールド、又は、ボトムフィールドと同一のメモリ領域に格納することを許可し、
   （２）前記メモリ領域に格納されているトップフィールド、又は、ボトムフィールドと異なるフレームを構成するボトムフィールド、又は、トップフィールドの画像データについては、前記メモリ領域に格納することを禁止し、前記メモリ領域とは別のメモリ領域に格納することを許可する、
   ことを特徴とする動画像符号化装置。
2. 動画像を符号化する動画像符号化方法であって、
   トップフィールドの画像データ、ボトムフィールドの画像データ、あるいは、トップフィールドとボトムフィールドとを含むフレームの画像データを格納することが可能なメモリ領域を複数有する記憶ステップと、
   前記メモリ領域に格納された画像データをフレーム単位のみで参照するか、フィールド単位のみで参照するか、又は、フレーム単位とフィールド単位との混在で参照することによって動き予測と動き補償を行いながら入力画像をフレーム単位のみで符号化するか、フィールド単位のみで符号化するか、又は、フレーム単位とフィールド単位との混在で符号化する符号化ステップと、
   前記符号化ステップで前記入力画像をフレーム単位のみで符号化する場合、フィールド単位のみで符号化する場合、又は、フレーム単位とフィールド単位との混在で符号化する場合のいずれの場合であっても、前記複数のメモリ領域をフレーム単位で管理するメモリ管理ステップと、
   前記符号化ステップにより符号化された画像データを復号化し、復号化した画像データを前記メモリ管理ステップによる管理の下で前記複数のメモリ領域のいずれかに格納する格納ステップとを有し、
   前記メモリ管理ステップでは、
   前記メモリ領域にフレーム、トップフィールド又はボトムフィールドの画像データが格納された場合に、当該メモリ領域に対応する管理状態を「使用」状態とし、前記メモリ領域に画像データが格納されていない場合、あるいは、格納されているフレームが不要となった場合、あるいは、格納されているトップフィールド及びボトムフィールドの両方が不要となった場合に、当該メモリ領域に対応する管理状態を「未使用」状態とし、
   「未使用」状態にある前記メモリ領域にトップフィールド、又は、ボトムフィールドの画像データが格納され、当該メモリ領域に対応する管理状態が「使用」状態にある場合、
   （１）前記メモリ領域に格納されているトップフィールド、又は、ボトムフィールドと同一のフレームを構成するボトムフィールド、又は、トップフィールドの画像データについては、前記メモリ領域に格納されているトップフィールド、又は、ボトムフィールドと同一のメモリ領域に格納することを許可し、
   （２）前記メモリ領域に格納されているトップフィールド、又は、ボトムフィールドと異なるフレームを構成するボトムフィールド、又は、トップフィールドの画像データについては、前記メモリ領域に格納することを禁止し、前記メモリ領域とは別のメモリ領域に格納することを許可する、
   ことを特徴とする動画像符号化方法。

Images