JP4194311B2 - 動画像符号化装置及び動画像復号装置並びにそれらの方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像データの符号化又は復号を好適に行う動画像符号化装置及び動画像復号装置並びにそれらの方法に関する。
【０００２】
【従来の技術】
従来、動画像データは、種々の制約からインターレース画像として取り扱われることが一般的であった。しかしながら、撮像デバイス、記憶デバイス、表示デバイス等の高性能化による従来からの制約の解消と、動画像データの高画質化の要求の高まりに伴って、プログレッシブ（ノンインターレース）画像として取り扱われることが多くなってきている。例えば、一般に、パーソナルコンピュータのモニタはプログレッシブ表示を行うため、パーソナルコンピュータで動画像を取り扱う場合にはプログレッシブ画像が適しているという事実もその要因の一つであろう。
【０００３】
一般に、動画像データの符号化方式は、フレーム間の相関を利用するものとしないものとに大別することができる。それぞれの方式には長所及び短所が存在し、どちらの方式が適しているかということは使用するアプリケーション次第である。例えば、Motion JPEGは、動画像データの各フレームを一枚の静止画像としてとらえて独立に符号化する方式であり、フレーム間の相関を用いない符号化方式の一例である。フレーム毎に独立に符号化することによって、復号側の処理能力に応じて復号フレーム数を選択して復号することが可能であるという利点がある。
【０００４】
近年、動画像データをフレーム毎独立に符号化する符号化方式において、各フレームをウェーブレット変換とビットプレーン符号化とを組み合わせて符号化する方式が注目を集めている。このような動画像符号化方式には、ウェーブレット変換におけるサブバンド分解の仕組みを利用して空間解像度を段階的に変えた復号が可能であること、また、復号ビットプレーン数を変えることにより、復号画素精度を段階的に変更することが可能である等の大きな特徴がある。
【０００５】
一方、ISO/IEC JTC1/SC29/WG1で標準化作業が進められている画像符号化方式であるJPEG2000(ISO／IEC 15444)もウェーブレット変換とビットプレーン符号化との組み合わせにより構成されている。同標準のPart3では、動画像の各フレームの符号化に適用した場合のファイルフォーマットの規定を行っている。
【０００６】
図１１は、ウェーブレット変換とビットプレーン符号化とを組み合わせた符号化方式を使用した従来の画像符号化装置の構成を示すブロック図である。図１１を用いて、従来の画像符号化装置における符号化処理の流れについて簡単に説明する。図１１に示すように、従来の画像符号化装置は、画像入力部２０１、離散ウェーブレット変換部２０２、係数量子化部２０３、ビットプレーン符号化部２０４、符号列形成部２０５及び符号出力部２０６を備えている。
【０００７】
まず、符号化対象となる画像データが画像入力部２０１から本装置に入力される。入力された符号化対象となる画像データは、離散ウェーブレット変換部２０２で複数の周波数帯域（サブバンド）に分割される。画像データのウェーブレット変換の方法としては、まず１次元の変換処理を水平、垂直方向にそれぞれに適用して４つのサブバンドに分割する方法が用いられる。そして、低周波サブバンド（サブバンドＬＬ）のみを繰り返して分割する方法が一般的である。
【０００８】
次に、係数量子化部２０３は、各サブバンドの係数をサブバンド毎に定めた量子化ステップで量子化する。さらに、ビットプレーン符号化部２０４では、量子化された各サブバンドの変換係数を矩形の小領域（以下、「コードブロック」と称す。）に分割し、コードブロック毎に変換係数の上位ビットから下位ビットへとビットプレーン方向を優先して符号化を行う。尚、ビットプレーン中の各ビットを符号化する際には、符号化済みの情報からいくつかの状態（コンテクスト）に分類し、それぞれ異なる出現確率予測モデルで符号化する。
【０００９】
その後、符号列形成部２０５では、ビットプレーン符号化部２０４で生成されたコードブロック符号化データを所定の順序で並べて符号列が生成される。生成された符号列は、符号出力部２０６から画像符号化装置外部へと出力される。
【００１０】
一方、離散ウェーブレット変換部２０２において２次元のウェーブレット変換を２回施し、低周波サブバンドＬＬから高周波サブバンドＨＨ２へと順々に各サブバンドの係数を符号化して画像復号装置に伝送した場合、復号側ではサブバンドＬＬの係数を受信した段階で元の１／４の解像度の復元画像を得ることができる。また、サブバンドＬＬ、ＬＨ１、ＨＬ１、ＨＨ１の係数を受信した段階で元の１／２の解像度の復元画像を得ることができる。さらに、サブバンドＬＨ２、ＨＬ２、ＨＨ２までの係数を受信した場合には、元の解像度の復元画像を得ることができるというように、徐々に解像度を上げて画像を復号することができる。
【００１１】
また、ビットプレーン符号化部２０４で得られる各コードブロックのビットプレーン符号化データを上位のビットから下位のビットへと伝送した場合、復号側では徐々に精度を上げて各サブバンドの変換係数を復元することができる。これによって、伝送の初期状態では荒い画質で復号することが可能であり、伝送が進むにつれて高画質に改善するように復号することが可能である。
【００１２】
【発明が解決しようとする課題】
しかしながら、依然として、動画像データをプログレッシブ画像として扱うことに対応していないテレビでの画像表示要求がある。この場合は、プログレッシブ画像からインターレース画像を生成して出力することが求められる。
【００１３】
このような場合、上述した従来の画像符号化及び画像復号方式では、一旦、１フレーム分のデータを復号した後で、偶数ライン又は奇数ラインをフィールドとして取り出して出力する必要があり、出力する必要のないラインのデータも復号しなければならないという問題があった。
【００１４】
本発明は、このような事情を考慮してなされたものであり、プログレッシブ画像の符号化データから効率よくインターレース画像を復号することができる動画像符号化装置及び動画像復号装置並びにそれらの方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記課題を解決するため、本発明の動画像符号化装置は以下の構成を備える。すなわち、
ノンインターレースの動画像データを符号化する動画像符号化装置であって、
ノンインターレースの動画像データを入力する入力手段と、
該入力手段で入力した動画像データ中の互いに連続する第１のフレームデータと第２のフレームデータを合成し、新たな画像データを生成する生成手段と、
前記新たな画像データを周波数変換して複数のサブバンドに分解するサブバンド分解手段と、
複数のサブバンドに分解された画像データを符号化する符号化手段と、
符号化された画像データを出力する出力手段とを備え、
前記生成手段は、前記第１のフレームデータの第ｉ番目のラインのデータと前記第２のフレームデータの第ｉ番目のラインのデータとが垂直方向に連続するように配置し、前記ｉが奇数の場合には、前記第１のフレームの第ｉ番目のラインのデータを、前記第２のフレームの第ｉ番目のラインのデータより先に配置し、前記ｉが偶数の場合には、前記第２のフレームの第ｉ番目のラインのデータを、前記第１のフレームの第ｉ番目のラインのデータより先に配置することを特徴とする。
【００１６】
また、本発明に係る動画像符号化装置は、前記サブバンド分解手段が、２次元離散ウェーブレット変換を用いて前記画像データを複数のサブバンドに分解することを特徴とする。
【００１８】
さらにまた、本発明に係る動画像符号化装置は、前記２枚のフレームのうち一方のフレームのラインデータを一時的に記憶する記憶手段をさらに備え、前記生成手段が、前記動画像データのうち直接入力される一方のフレームのラインデータと、前記記憶手段に記憶されたフレームのラインデータとを用いて新たな画像データを生成することを特徴とする。
【００１９】
さらにまた、本発明に係る動画像符号化装置は以下の構成を備える。すなわち、
ノンインターレースの動画像データを符号化する動画像符号化装置であって、
ノンインターレースの動画像データを入力する入力手段と、
該入力手段で入力した動画像データ中の互いに連続する第１のフレームデータと第２のフレームデータを合成し、新たな画像データを生成する生成手段と、
前記新たな画像データを周波数変換して複数のサブバンドに分解するサブバンド分解手段と、
複数のサブバンドに分解された画像データを符号化する符号化手段と、
符号化された画像データを出力する出力手段とを備え、
前記生成手段は、
前記第１のフレームデータ、前記第２のフレームデータ、及び、前記新たな画像データそれぞれの水平方向の座標ｘ、垂直方向の座標ｙの画素値をＰ１（ｘ、ｙ）、Ｐ２（ｘ、ｙ）、Ｐ（ｘ、ｙ）と表わし、共に１以上の整数のｉ，ｊに対し、
Ｐ（２ｉ−１、２ｊ−１）としてＰ１（ｉ，２ｊ−１）を用い、
Ｐ（２ｉ，２ｊ）としてＰ１（ｉ，２ｊ）を用い、
Ｐ（２ｉ，２ｊ−１）としてＰ２（ｉ，２ｊ）を用い、
Ｐ（２ｉ−１，２ｊ）としてＰ２（ｉ，２ｊ−１）を用いて
前記新たな画像データを生成することを特徴とする。
【００２０】
さらにまた本発明の動画像復号装置は以下の構成を備える。すなわち、
上記動画像符号化装置で符号化された動画像を復号する動画像復号装置であって、
インタレース又はノンインタレースのいずれで復号するのかを選択する選択手段と、
該選択手段によってインタレースでの復号が選択された場合、符号化された画像データの垂直方向の１／２の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力し、
前記選択手段によってノンインタレースでの復号が選択された場合、全周波数成分のサブバンドの符号化データを入力する入力手段と、
該入力手段で入力したサブバンドの符号化データを復号するサブバンド復号手段と、
復号したサブバンドを合成して画像データを復元するサブバンド合成手段と、
前記選択手段でインタレースの復号が選択された場合、復元された画像データの奇数番目のラインで構成される画像を奇数フィールド、復元された画像データの偶数番目のラインで構成される画像を偶数フィールドとして分解し、
前記選択手段でノンインタレースの復号が選択された場合、復元された画像データには、連続する２つの第１、第２のフレームのデータが格納されているものとし、前記第１、第２のフレームデータを分解する分解手段と、
該分解手段で分解したデータを出力する出力手段とを備え、
前記分解手段は、前記選択手段でノンインタレースの復号が選択された場合、前記サブバンド合成手段で復元された画像データには、前記第１のフレームデータの第ｉ番目のラインのデータと前記第２のフレームデータの第ｉ番目のラインのデータとが垂直方向に連続するように配置され、且つ、前記ｉが奇数の場合には、前記第１のフレームの第ｉ番目のラインのデータを、前記第２のフレームの第ｉ番目のラインのデータより先に配置し、前記ｉが偶数の場合には、前記第２のフレームの第ｉ番目のラインのデータを、前記第１のフレームの第ｉ番目のラインのデータより先に配置されているものとし、前記第１、第２のフレームに分解することを特徴とする。
【００２１】
さらにまた本発明の動画像復号装置は以下の構成を備える。すなわち、
上記動画像符号化装置で符号化された動画像を復号する動画像復号装置であって、
インタレース又はノンインタレースのいずれで復号するのかを選択する選択手段と、
該選択手段によってインタレースでの復号が選択された場合、符号化された画像データの垂直方向の１／２の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力し、
前記選択手段によってノンインタレースでの復号が選択された場合、全周波数成分のサブバンドの符号化データを入力する入力手段と、
該入力手段で入力したサブバンドの符号化データを復号するサブバンド復号手段と、
復号したサブバンドを合成して画像データを復元するサブバンド合成手段と、
前記選択手段でインタレースの復号が選択された場合、復元された画像データの各ライン中の奇数番目の画素を奇数フィールド、偶数番目の画素を偶数フィールドとして分解し、
前記選択手段でノンインタレースの復号が選択された場合、復元された画像データには、連続する２つの第１、第２のフレームのデータが格納されているものとし、前記第１、第２のフレームデータを分解する分解手段と、
該分解手段で分解したデータを出力する出力手段とを備え、
前記分解手段は、前記選択手段でノンインタレースの復号が選択された場合、前記第１のフレームデータ、前記第２のフレームデータ、及び、前記サブバンド合成手段で得られた画像データそれぞれの水平方向の座標ｘ、垂直方向の座標ｙの画素値をＰ１（ｘ、ｙ）、Ｐ２（ｘ、ｙ）、Ｐ（ｘ、ｙ）と表わし、共に１以上の整数のｉ，ｊに対し、
Ｐ１（ｉ、２ｊ−１）としてＰ（２ｉ−１，２ｊ−１）を用い、
Ｐ１（ｉ，２ｊ）としてＰ（２ｉ，２ｊ）を用い、
Ｐ２（ｉ，２ｊ）としてＰ（２ｉ，２ｊ−１）を用い、
Ｐ２（ｉ，２ｊ−１）としてＰ（２ｉ−１，２ｊ）を用いることで、
前記第１のフレームデータ、及び、前記第２のフレームデータに分解することを特徴とする。
【００２２】
【発明の実施の形態】
以下、図面を参照して、本発明の一実施形態による動画像符号化装置及び動画像復号装置について説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。図１に示すように、第１の実施形態に係る動画像符号化装置は、動画像データ入力部１０１、スイッチ１０２、ラインインターリーブ処理部１０３、離散ウェーブレット変換部１０４、係数量子化部１０５、ビットプレーン符号化部１０６、符号列形成部１０７、二次記憶装置１０８及びフレームバッファ１０９を備えている。
【００２４】
次に、図１に示される第１の実施形態における動画像符号化装置の各構成要素の動作について詳細に説明する。尚、本実施形態では、１秒あたり６０フレームであって、１画素の輝度値が８ビットのモノクロ動画像データを４秒分（合計２４０フレーム）が動画像符号化装置に取り込まれ、符号化されるものとして説明する。すなわち、本実施形態による動画像符号化装置では、動画像データ入力部１０１から入力される１秒あたり６０フレームの動画像データをフレーム単位として符号化し、最終的に二次記憶装置１０８に符号データ列を格納するものである。
【００２５】
まず、動画像データ入力部１０１から１秒あたり６０フレームであって、４秒分の動画像データが入力される。動画像データ入力部１０１は、例えばディジタルカメラ等の撮像部分であって、ＣＣＤ等の撮像デバイスとガンマ補正、シェーディング補正等の各種画像調整回路とによって実現することが可能である。動画像データ入力部１０１は、入力された動画像データを１フレームずつスイッチ１０２に送る。尚、以降の説明において、便宜上各フレームデータには、入力された順に１から番号を与えて、例えばフレーム１、フレーム２、…というような番号で各フレームを識別するようにする。また、各フレームにおける水平方向の位置（座標）をｘ、垂直方向の位置をｙ、位置（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）で表す。
【００２６】
スイッチ１０２は、動画像データ入力部１０１から入力されたフレームデータを、フレームの番号に応じて接続を切り替えることにより、フレームバッファ１０９又は直接ラインインターリーブ処理部１０３のいずれかに送る。本実施形態では、スイッチ１０２は、入力されたフレームが奇数フレームの場合にはフレームバッファ１０９に接続し、偶数フレームの場合にはラインインターリーブ処理部１０３へ接続するものとする。奇数フレームのデータは、フレームバッファ１０９に格納される。
【００２７】
ラインインターリーブ処理部１０３では、フレームバッファ１０９に格納される奇数フレームのデータとスイッチ１０２を経由して入力される偶数フレームのデータとが１ライン毎交互に並べられる。このとき、各フレームの奇数番目のラインについては奇数フレームのラインを先、偶数フレームのラインを後に配置し、偶数番目のラインについては偶数フレームのラインを先、奇数フレームのラインを後に配置する。これによって、垂直方向に元の画像の倍のライン数を有する画像を生成し、その画像データを離散ウェーブレット変換部１０４へ出力する。
【００２８】
すなわち、本発明は、連続する２枚のフレームのうち一方のフレームのラインデータをフレームバッファ１０９に一時的に記憶させる記憶工程をさらに有し、ラインインターリーブ処理部１０３が、前記動画像データのうち直接入力される一方のフレームのラインデータと、フレームバッファ１０９に記憶されたフレームのラインデータとを用いて新たな画像データを生成することを特徴とする。
【００２９】
図２は、奇数フレームデータ及び偶数フレームデータによるラインインターリーブ処理結果を説明するための図である。図２において、実線は奇数フレームデータの１ラインを表し、点線は偶数フレームデータの１ラインを表す。また、ラインの左端の数値は奇数フレーム、偶数フレームそれぞれにおけるラインの番号を示している。尚、ライン番号はフレームの先頭ラインを１として最終ラインをNとしている。また、ラインインターリーブ処理部１０３で生成される画像データの水平方向の位置（座標）をｘ、垂直方向の位置をｙとし、座標（ｘ，ｙ）における画素値をＰ’（ｘ，ｙ）と表す。
【００３０】
すなわち、本発明は、ラインインターリーブ処理部１０９が、連続する２枚のフレームのそれぞれのラインデータを順番を代えながら交互に並べて新たな画像データを生成することを特徴とする。
【００３１】
ラインインターリーブ処理部１０３により生成された画像データは、離散ウェーブレット変換部１０４でそれぞれ不図示の内部バッファに適宜格納され、２次元離散ウェーブレット変換が行われる。２次元離散ウェーブレット変換は、１次元の離散ウェーブレット変換を水平及び垂直方向それぞれに適用することにより実現するものである。図３は、２次元離散ウェーブレット変換によって処理される符号化対象画像のサブバンドを説明するための図である。
【００３２】
すなわち、図３（ａ）に示されるような符号化対象画像に対して、まず垂直方向に１次元離散ウェーブレット変換を適用し、図３（ｂ）に示されるように低周波サブバンドＬと高周波サブバンドＨとに分解する。次に、それぞれのサブバンドに対して水平方向の１次元離散ウェーブレット変換を適用することにより、図３（ｃ）に示されるようなＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分解する。
【００３３】
本実施形態における離散ウェーブレット変換部１０４では、上述した２次元離散ウェーブレット変換により得られたサブバンドＬＬに対して、繰り返し２次元離散ウェーブレット変換を適用する。これによって、符号化対象画像をＬＬ、ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２の７つのサブバンドに分解することができる。図４は、２回の２次元離散ウェーブレット変換によって得られる７つのサブバンドを説明するための図である。すなわち、本発明は、離散ウェーブレット変換部１０４が、２次元離散ウェーブレット変換を用いて画像データを複数のサブバンドに分解することを特徴とする。
【００３４】
尚、本実施形態では、各サブバンド内の係数をＣ（Ｓ，ｘ，ｙ）と表す。ここで、Ｓはサブバンドの種類を表し、ＬＬ、ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２のいずれかである。また、（ｘ，ｙ）は各サブバンド内の左上隅の係数位置を（０，０）としたときの水平方向及び垂直方向の係数位置（座標）を表す。
【００３５】
本実施形態では、離散ウェーブレット変換部１０４におけるＮ個の１次元信号ｘ（ｎ）に対する１次元離散ウェーブレット変換は、式（１）、（２）を用いて行われる。
【００３６】

但し、ｎは０〜Ｎ−１の整数とする。
【００３７】
また、ｈ（ｎ）は高周波サブバンドの係数、ｌ（ｎ）は低周波サブバンドの係数、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を表す。尚、式（１）、（２）の計算において必要となる１次元信号ｘ（ｎ）の両端（ｎ＜０及びｎ＞Ｎ−１）におけるｘ（ｎ）は、公知の方法により１次元信号ｘ（ｎ）（ｎ＝０〜Ｎ−１）の値から求めておく。
【００３８】
また、係数量子化部１０５では、離散ウェーブレット変換部１０４により生成される各サブバンドの係数Ｃ（Ｓ，ｘ，ｙ）が、各サブバンド毎に定めた量子化ステップｄｅｌｔａ（Ｓ）を用いて量子化される。ここで、量子化された係数値をＱ（Ｓ，ｘ，ｙ）と表す場合、係数量子化部１０５で行われる量子化処理は式（３）により表すことができる。
【００３９】

ここで、ｓｉｇｎ｛Ｉ｝は整数Ｉの正負符号を表す関数であり、Ｉが正の場合は１を、負の場合は−１を返すものとする。また、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を表す。
【００４０】
また、ビットプレーン符号化部１０６は、係数量子化部１０５において量子化された係数値Ｑ（Ｓ，ｘ，ｙ）を符号化する。尚、各サブバンドの係数をブロック分割し、別々に符号化することによりランダムアクセスを容易にする方法など符号化手法として様々な手法が提案されているが、ここでは説明を簡単にするためにサブバンド単位に符号化することとする。
【００４１】
各サブバンドの量子化された係数値Ｑ（Ｓ，ｘ，ｙ）（以降、単に「係数値」と称す。）の符号化は、サブバンド内の係数値Ｑ（Ｓ，ｘ，ｙ）の絶対値を自然２進数で表現し、上位の桁から下位の桁へとビットプレーン方向を優先して二値算術符号化することにより行われる。各サブバンドの係数値Ｑ（Ｓ，ｘ，ｙ）を自然２進表記した場合の下からｎ桁目のビットをＱｎ（ｘ，ｙ）と表記して説明する。尚、２進数の桁を表す変数ｎをビットプレーン番号と呼ぶこととし、ビットプレーン番号ｎはＬＳＢ（最下位ビット）を０桁目とする。
【００４２】
図５は、ビットプレーン符号化部１０６でサブバンドＳを符号化する処理手順を説明するためのフローチャートである。図５に示すように、まず、符号化対象となるサブバンドＳ内の係数の絶対値を調べ、その最大値Ｍａｂｓ（Ｓ）を求める（ステップＳ６０１）。次に、サブバンド内の係数の絶対値を表すためにＭａｂｓ（Ｓ）を２進数で表現する場合に必要となる桁数Ｎ_ＢＰ（Ｓ）を式（４）を用いて求める（ステップＳ６０２）。
【００４３】
Ｎ_ＢＰ（Ｓ）＝ｃａｉｌ｛ｌｏｇ_２（Ｍａｂｓ（Ｓ））｝ （４）
但し、ｃｅｉｌ｛Ｒ｝は実数Ｒに等しい、又はそれ以上の最小の整数値を表すものとする。
【００４４】
次に、ビットプレーン番号ｎに有効桁数Ｎ_ＢＰ（Ｓ）を代入する（ステップＳ６０３）。そして、ビットプレーン番号ｎから１を引いてｎ−１を求めてｎに代入する（ステップＳ６０４）。
【００４５】
さらに、ｎ桁目のビットプレーンを二値算術符号を用いて符号化する（ステップＳ６０５）。本実施形態においては、使用する算術符号としてMQ-Coderを用いることとする。このMQ-Coderを用いて、ある状態（コンテクスト）Ｓで発生した二値シンボルを符号化する手順、或いは、算術符号化処理のための初期化手順、終端手順については、静止画像の国際標準ISO/IEC15444-1勧告等に詳細に説明されているのでここでは説明を省略する。
【００４６】
また、本実施形態では、各ビットプレーンの符号化の開始時に算術符号化器を初期化し、終了時に算術符号化器の終端処理を行うものとする。また、個々の係数の最初に符号化される「１」の直後に、その係数の正負符号を０、１で表し、算術符号化する。ここでは、正の場合は０、負の場合は１とする。例えば、係数が−５で、この係数の属するサブバンドＳの有効桁数Ｎ_ＢＰ（Ｓ）が６の場合、係数の絶対値は２進数０００１０１で表され、各ビットプレーンの符号化により上位桁から下位桁へと符号化される。そして、２番目のビットプレーンの符号化時（この場合、上から４桁目）に最初の「１」が符号化され、この直後に正負符号「１」を算術符号化する。
【００４７】
次に、ビットプレーン番号ｎが０であるか否かを判定する（ステップＳ６０６）。その結果、ｎが０、すなわちステップＳ６０５においてＬＳＢプレーンの符号化を行った場合（ＹＥＳ）、サブバンドの符号化処理を終了する。また、それ以外の場合（ＮＯ）、ステップＳ６０４に処理を移す。
【００４８】
上述した処理によって、サブバンドＳの全係数を符号化することができ、各ビットプレーンｎに対応する符号列ＣＳ（Ｓ，ｎ）を生成する。生成した符号列ＣＳ（Ｓ，ｎ）は、符号列形成部１０７に送られ、符号列形成部１０７内の不図示のバッファに一時的に格納される。
【００４９】
符号列形成部１０７では、ビットプレーン符号化部１０６により全サブバンドの係数の符号化が終了して全符号列が内部バッファに格納されると、所定の順序で内部バッファに格納される符号列を読み出す。そして、必要な付加情報を挿入して、１枚のフレームに対応する符号列を形成し、二次記憶装置１０８に格納する。
【００５０】
符号列形成部１０７で生成される最終的な符号列は、ヘッダと、レベル０、レベル１及びレベル２の３つに階層化された符号化データとにより構成される。ここで、レベル０の符号化データは、サブバンドＬＬの係数を符号化して得られるＣＳ（ＬＬ，Ｎ_ＢＰ（ＬＬ）−１）からＣＳ（ＬＬ，０）の符号列で構成される。
【００５１】
また、レベル１は、ＬＨ１、ＨＬ１、ＨＨ１の各サブバンドの係数を符号化して得られる符号列ＣＳ（ＬＨ１，Ｎ_ＢＰ（ＬＨ１）−１）からＣＳ（ＬＨ１，０）、ＣＳ（ＨＬ１，Ｎ_ＢＰ（ＨＬ１）−１）からＣＳ（ＨＬ１，０）、及びＣＳ（ＨＨ１，Ｎ_ＢＰ（ＨＨ１）−１）からＣＳ（ＨＨ１，０）で構成される。さらに、レベル２は、ＬＨ２、ＨＬ２、ＨＨ２の各サブバンドの係数を符号化して得られる符号列ＣＳ（ＬＨ２，Ｎ_ＢＰ（ＬＨ２）−１）からＣＳ（ＬＨ２，０）、ＣＳ（ＨＬ２，Ｎ_ＢＰ（ＨＬ２）−１）からＣＳ（ＨＬ２，０）、及びＣＳ（ＨＨ２，Ｎ_ＢＰ（ＨＨ２）−１）からＣＳ（ＨＨ２，０）で構成される。図６は、符号列形成部１０７において生成される１枚のフレームデータに対応する符号列の細部構造を示す図である。
【００５２】
すなわち、本発明は、ノンインターレースの動画像データを符号化する動画像符号化に関する発明であって、まず、ノンインターレースの動画像データにおける互いに連続する２枚のフレームのそれぞれのラインデータを所定ラインずつ交互に並べて新たな画像データを生成する。次いで、画像データを周波数変換して複数のサブバンドに分解し、複数のサブバンドに分解された画像データを符号化することを特徴とする。
【００５３】
また、二次記憶装置１０８は、符号列形成部１０７で生成された各フレームの符号列を格納する。この二次記憶装置１０８は、例えば、ハードディスクやメモリといった記憶装置で実現することが可能である。図７は、二次記憶装置１０８に格納される各フレームの符号列の一例を示す図である。図７に示すように、二次記憶装置１０８に符号列を格納する方法としては、各フレームの順番に並べて１つのファイルとして格納してもよいし、各フレームの符号化データを別々のファイルとして格納してもよい。
【００５４】
しかしながら、本発明はこれに限らず、４ビット、１０ビット、１２ビット等の８ビット以外のビット数で輝度値を表現している場合や、各画素をＲＧＢ、ＹＣｒＣｂ、ＣＭＹＫ等の複数の色成分で表現するカラー画像データを用いてもよい。また、画像領域の各画素の状態を示す多値情報を符号化し、また復号する場合、例えば、各画素の色についてカラーテーブルへのインデックス値で示し、これを符号化し、また復号する場合にも適用することができる。また、取り込み時間や１秒あたりの取り込みフレーム数についても、上述した実施形態に限定されるものではない。
【００５５】
＜第２の実施形態＞
図８は、上述した本発明に係る第１の実施形態の動画像符号化装置により生成した符号化データを復号する動画像復号装置の構成を示すブロック図である。図８において、図１に示す動画像符号化装置のブロック図と共通する部分（二次記憶装置１０８）については同じ符号で示し、その説明を省略する。図８に示すように、本実施形態における動画像復号装置は、符号列読み出し部９０１、ビットプレーン復号部９０２、係数逆量子化部９０３、スイッチ９０４、逆離散ウェーブレット変換部９０５、フレームバッファ９０６、ラインデインターリーブ処理部９０９、動画像データ出力部９０７、信号線９０８及び二次記憶装置１０８とを備える。
【００５６】
以下、図８を参照して、本実施形態による動画像符号化装置により生成した符号化データを復号する動画像復号装置の動作手順について説明する。
【００５７】
本実施形態による動画像復号装置は、信号線９０８を通じて装置外部から入力されるインターレース／プログレッシブ（ノンインターレース）切り替え制御信号により、インターレース画像、プログレッシブ画像のいずれかを選択して再生することが可能である。本実施形態では、信号線９０８から入力される信号値は「０」又は「１」のいずれかであって、例えば、「０」が入力された場合はインターレースの画像を出力し、「１」が入力された場合はプログレッシブの画像を出力するものとする。
【００５８】
動画像データの復号は、符号化データ中のフレームを単位に行われる。そこで、符号列読み出し部９０１は、二次記憶装置１０８に格納されている符号化データから着目するフレームの符号化データを読み出して不図示の内部バッファに格納する。このとき、信号線９０８を介して受信されるインターレース／プログレッシブ切り替え制御信号が「０」である場合、すなわちインターレース画像の出力が選択されている場合には、フレームの符号化データのうち、サブバンドＬＨ２、ＨＨ２の符号化データの読み出しを行わないようにする。
【００５９】
すなわち、本発明は、互いに連続する２枚のフレームのラインデータが所定の順番に並べられた画像データの符号化データをインターレース又はノンインターレースのいずれかで復号するかを指示し、インターレースで復号する指示がされた場合、所定の高周波成分を含まない符号化データのみを用いてサブバンドを復号し、ノンインターレースで復号する指示がされた場合、すべての周波数成分に関する符号化データを用いてサブバンドを復号することを特徴とする。
【００６０】
ビットプレーン復号部９０２は、符号列読み出し部９０１の内部バッファに格納される符号化データをサブバンド順に読み出して、量子化された変換係数データＱ（Ｓ，ｘ，ｙ）を復号する。ビットプレーン復号部９０２における処理は、図１に示されるビットプレーン符号化部１０６と対をなすものである。
【００６１】
すなわち、ビットプレーン符号化部１０６では、上位のビットプレーンから下位のビットプレーンへと係数の絶対値の各ビットを所定のコンテクストにより二値算術符号化した。これに対しビットプレーン復号部９０２では、同様に上位のビットプレーンから下位のビットプレーンへと復号時と同じコンテクストにより二値算術符号化データの復号を行い、係数の各ビットを復元する。また、係数の正負符号については符号化時と同じタイミングで、同じコンテクストを用いて算術符号の復号を行うようにする。
【００６２】
係数逆量子化部９０３では、各サブバンド毎に定めた量子化ステップｄｅｌｔａ（Ｓ）とビットプレーン復号部９０２で復号された量子化された係数値をＱ（Ｓ，ｘ，ｙ）とから、各サブバンドの係数Ｃ（Ｓ，ｘ，ｙ）を復元する。
【００６３】
逆離散ウェーブレット変換部９０５では、それぞれ図１における離散ウェーブレット変換部１０４でのウェーブレット変換処理の逆変換が行われ、フレームのデータを復元する。このとき、信号線９０８から入力される制御信号が「１」の場合、まずサブバンドＬＬ、ＨＬ１、ＬＨ１、ＨＨ１の係数から図２（ｃ）に示されるサブバンドＬＬを復元し、このサブバンドＬＬとサブバンドＬＨ２、ＨＬ２及びＨＨ２から、図２（ｂ）を経て、図２（ａ）に示すように元のフレームデータと同じ大きさで復元する。
【００６４】
一方、信号線９０８から入力される制御信号が「０」の場合は、同様にサブバンドＬＬ、ＬＨ１、ＨＬ１、ＨＨ１の係数からＬＬサブバンドを復元した後、このサブバンドＬＬとＨＬ２から元のフレームデータに比べて垂直方向のライン数が半分の画像を復元する。図９は、信号線９０８からの制御信号が「０」であってインターレース画像を出力する場合の逆変換過程を説明するための図である。
【００６５】
また、ラインデインターリーブ処理部９０９は、逆離散ウェーブレット変換部９０５により復元されたラインインターリーブされたデータを、信号線９０８からの制御信号に応じてライン単位に２つに分解し、スイッチ９０４又はフレームバッファ９０６へ出力する。すなわち、信号線９０８からの制御信号が「０」である場合（インターレース画像が要求されている場合）、奇数ラインのデータをスイッチ９０４に出力する。そして、偶数ラインのデータをフレームバッファ９０６に格納する。
【００６６】
一方、信号線９０８からの制御信号が「１」である場合（プログレッシブ画像が要求されている場合）、ライン単位にスイッチ９０４への出力とフレームバッファ９０６への格納を交互に繰り返す。この処理は第１の実施形態の動画像符号化装置におけるラインインターリーブ処理部１０３での奇数フレームと偶数フレームのインターリーブ処理の逆の処理に相当し、２ライン単位にスイッチ９０４への出力とフレームバッファ９０６への格納の順番が切り替わる。例えば、ラインｍのデータをスイッチ９０４に出力、ラインｍ＋１のデータをフレームバッファ９０６に格納した後、順番を変えてラインｍ＋２のデータをフレームバッファ９０６に格納、ラインｍ＋３のデータをスイッチ９０４へと出力するといった具合である。これによって、奇数フレームのデータがスイッチ９０４へ出力され、偶数フレームのデータがフレームバッファ９０６へ格納される。
【００６７】
また、スイッチ９０４は出力するフレーム番号に応じて接続を切り替え、奇数フレームについてはラインデインターリーブ処理部９０９に接続し、偶数フレームについてはフレームバッファ９０４に接続する。
【００６８】
そして、動画像データ出力部９０７は、逆離散ウェーブレット変換部９０５又は９０６から出力される復元画像データを装置外部へと出力する。動画像データ出力部９０７は、例えば、ハードディスクやメモリといった記憶装置と、ネットワーク回線や表示デバイスへのインタフェース等によって実現することが可能である。
【００６９】
信号線９０８の制御信号が「０」である場合、すなわち、インターレース画像の出力が選択されている場合には、復号対象となる符号化データの１つのフレームから復号されるデータが、インターレース画像における１つのフィールドに相当する。従って、この場合、図７に示される符号化データのフレーム１，２符号化データから、本動画像復号装置の出力する動画像データの第１フレームにおける奇数フィールドと偶数フィールドが得られることになる。
【００７０】
すなわち、本発明は、互いに連続する２枚のフレームのそれぞれのラインデータを所定の順番で並べられた画像データの符号化データから、インターレース画像データを復号する動画像復号に関する発明であって、符号化データから所定のサブバンドを復号する。次いで、復号されたサブバンドを合成して画像データを復元し、復元された画像データを奇数フィールドと偶数フィールドとに分解することを特徴とする。
【００７１】
上述したように、符号化の過程で互いに連続する２枚のフレームのそれぞれのラインデータを所定の順番で並べて新たな画像データを構成し、これをサブバンドに分解して符号化することで復号側で全符号化データを復号することなく符号化データの一部の符号化データを復号することで１秒あたり３０フレームのインターレース画像を再生することができ、また、全てのサブバンドの符号化データを復号することにより１秒あたり６０フレームのプログレッシブ画像を再生することができる。
【００７２】
＜第３の実施形態＞
第１の実施形態では、ラインインターリーブ処理部１０３において偶数フレームと奇数フレームとを順番を代えて交互に配置することによりフレームの合成を行ったが、他のインターリーブ方法を用いても同様の効果を得ることができる。そこで、本実施形態では、ラインインターリーブ処理部１０３によるラインインターリーブ処理の方法を変更した場合の一例について説明する。尚、本実施形態における画像符号化装置は、第１の実施形態における画像符号化装置と同一の構成をしたものであるとし、ラインインターリーブ処理部１０３の動作のみ異なっているものとする。
【００７３】
ラインインターリーブ処理部１０３では、フレームバッファ１０９に格納される奇数フレームのデータとスイッチ１０２を経由して入力される偶数フレームのデータから、水平方向に倍のライン数の画像を生成し、離散ウェーブレット変換部１０４へ出力する。そして、インターリーブ後の画像データの奇数ラインは、入力される奇数フレームの奇数ラインと偶数フレームの偶数ラインのデータを画素単位に交互に並べて生成する。同様に偶数ラインは、入力される奇数フレームの偶数ラインと偶数フレームの奇数ラインのデータを画素単位に交互に並べて生成する。すなわち、本発明は、奇数フレームの奇数ラインと偶数フレームの偶数ラインとを同一ラインに配置し、奇数フレームの偶数ラインと偶数フレームの奇数ラインとを同一ラインに配置することを特徴とする。
【００７４】
図１０は、第３の実施形態における奇数フレームデータ及び偶数フレームデータのラインインターリーブ処理結果を説明するための図である。図１０において、丸は奇数フレーム又は偶数フレームの１つの画素を示し、パターン無しは奇数ラインの画素を、斜線パターンは偶数ラインの画素を表す。また、偶数フレームのデータについては太線とした。また、ラインの左端の数値は奇数フレーム、偶数フレーム、およびインターリーブ後の画像データのラインの番号を示している。尚、ライン番号は、フレームの先頭ラインを１として最終ラインをＮとしている。また、ラインインターリーブ処理部１０３で生成される画像データの水平方向の位置をｘ、垂直方向の位置をｙ、座標（ｘ，ｙ）での画素値をＰ’（ｘ，ｙ）とする。以降、第１の実施形態と同様にして、インターリーブ後の画像データＰ'（ｘ，ｙ）を符号化する。
【００７５】
以下、本実施の形態で生成した符号化データを復号する動画像復号装置について説明する。本実施の形態における動画像復号装置のブロック図は第２の実施の形態の動画像復号装置のブロック図である図９と同じであり、ラインデインターリーブ処理部９０９の動作のみ異なる。
【００７６】
ラインデインターリーブ処理部９０９は、逆離散ウェーブレット変換部９０５により復元されたラインインターリーブされたデータを、信号線９０８からの制御信号に応じて２つに分解し、スイッチ９０４又はフレームバッファ９０６へ出力する。すなわち、信号線９０８からの制御信号が「０」の場合（インターレース画像が要求されている場合）、各ラインの奇数番目のデータ（左端を１番目とする）をスイッチ９０４に出力し、偶数番目のデータをフレームバッファ９０６に格納する。
【００７７】
一方、信号線９０８からの制御信号が「１」の場合（プログレッシブ画像が要求されている場合）、図１０で行ったラインインターリーブ処理の逆に奇数フレームのデータと偶数フレームのデータを生成し、奇数フレームのデータをスイッチ９０４へ出力し、偶数フレームのデータをフレームバッファ９０６へ格納する。
【００７８】
上述したように、奇数フレームと偶数フレームとをインターリーブして符号化した符号化データから、一部のサブバンドの符号化データを取り出して復号することで１秒当たり３０フレームのインターレース画像を再生することができる。また、全てのサブバンドの符号化データを復号することにより、１秒当たり６０フレームのプログレッシブ画像を再生することができる。
【００７９】
＜その他の実施形態＞
本発明は、上述した実施形態に限定されるものではない。例えば、上述した第１から第３の実施形態においては、サブバンドを単位にビットプレーン符号化を行ったが、サブバンドをブロックに分割し、ブロックごとにビットプレーン符号化を行ってもよい。また、一つのビットプレーンを複数のパスで符号化するようにしても構わない。
【００８０】
また、二値算術符号化の方法としてMQ-Coderを用いる例について述べたが、上述の実施形態に限定されるものではなく、例えば、QM-Coder等、MQ-Coder以外の算術符号化方法を適用しても構わないし、マルチコンテクストの情報源を符号化するに適する方式であればその他の２値符号化方式を適用しても構わない。
【００８１】
さらに、復号画素精度を段階的に変更する必要のない場合には、サブバンドの係数をビットプレーン符号化ではなく、多値のままエントロピー符号化する方法を用いてもよい。また、サブバンド分解のためのフィルタは上述の実施の形態に限定されるものではなく、その他のフィルタを使用しても構わない。さらに、その適用回数についても上述の実施形態に限定されるものではない。上述の実施の形態では水平方向、垂直方向に同回数の１次元離散ウェーブレット変換を施したが、同一回数でなくてもよい。
【００８２】
また、奇数フレームと偶数フレームのデータのインターリーブ方法は、サブバンド分解により生成される複数サブバンドの一部からインターレース画像データが再生される方法であれば上述した実施形態で説明したインターリーブ方法でなくてもよい。例えば、上述の実施形態では、奇数フレームの奇数ラインと偶数フレームの偶数ラインを、インターリーブ後の画像の奇数ラインに置き、最初に適用される垂直方向のサブバンド分解によりインターレース画像再生に必要なデータと不要なデータを分離したが、奇数番目に配置することによって水平方向のサブバンド分解により分離する構成としてもよい。
【００８３】
また、符号列の構造についても上述の実施の形態に限定されるものではなく、ＩＳＯ／ＩＥＣ１５４４４−１に規定されるＪＰＥＧ２０００の符号列、あるいはＩＳＯ／ＩＥＣ１５４４４−３に規定されるＭｏｔｉｏｎ ＪＰＥＧ２０００の符号列などのように、符号列の順序、付加情報の格納形態など、変えても構わない。
【００８４】
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００８５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８６】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８７】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００８８】
【発明の効果】
以上説明したように、本発明によれば、プログレッシブ画像の符号化データから効率よくインターレース画像又はプログレッシブ画像を復号することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図２】奇数フレームデータ及び偶数フレームデータによるラインインターリーブ処理結果を説明するための図である。
【図３】２次元離散ウェーブレット変換によって処理される符号化対象画像のサブバンドを説明するための図である。
【図４】２回の２次元離散ウェーブレット変換によって得られる７つのサブバンドを説明するための図である。
【図５】ビットプレーン符号化部１０６でサブバンドＳを符号化する処理手順を説明するためのフローチャートである。
【図６】符号列形成部１０７において生成される１枚のフレームデータに対応する符号列の細部構造を示す図である。
【図７】二次記憶装置１０８に格納される各フレームの符号列の一例を示す図である。
【図８】本発明に係る第１の実施形態の動画像符号化装置により生成した符号化データを復号する動画像復号装置の構成を示すブロック図である。
【図９】信号線９０８からの制御信号が「０」であってインターレース画像を出力する場合の逆変換過程を説明するための図である。
【図１０】第３の実施形態における奇数フレームデータ及び偶数フレームデータのラインインターリーブ処理結果を説明するための図である。
【図１１】ウェーブレット変換とビットプレーン符号化とを組み合わせた符号化方式を使用した従来の画像符号化装置の構成を示すブロック図である。
【符号の説明】
１０１ 動画像データ入力部
１０２、９０４ スイッチ
１０３ ラインインターリーブ処理部
１０４ 離散ウェーブレット変換部
１０５ 係数量子化部
１０６ ビットプレーン符号化部
１０７ 符号列形成部
１０８ 二次記憶装置
１０９、９０６ フレームバッファ
９０１ 符号列読み出し部
９０２ ビットプレーン復号部
９０３ 係数逆量子化部
９０５ 逆離散ウェーブレット変換部
９０７ 動画像データ出力部
９０８ 信号線
９０９ ラインデインターリーブ処理部

Claims (17)

1. ノンインターレースの動画像データを符号化する動画像符号化装置であって、
   ノンインターレースの動画像データを入力する入力手段と、
   該入力手段で入力した動画像データ中の互いに連続する第１のフレームデータと第２のフレームデータを合成し、新たな画像データを生成する生成手段と、
   前記新たな画像データを周波数変換して複数のサブバンドに分解するサブバンド分解手段と、
   複数のサブバンドに分解された画像データを符号化する符号化手段と、
   符号化された画像データを出力する出力手段とを備え、
   前記生成手段は、前記第１のフレームデータの第ｉ番目のラインのデータと前記第２のフレームデータの第ｉ番目のラインのデータとが垂直方向に連続するように配置し、前記ｉが奇数の場合には、前記第１のフレームの第ｉ番目のラインのデータを、前記第２のフレームの第ｉ番目のラインのデータより先に配置し、前記ｉが偶数の場合には、前記第２のフレームの第ｉ番目のラインのデータを、前記第１のフレームの第ｉ番目のラインのデータより先に配置する
   ことを特徴とする動画像符号化装置。
2. ノンインターレースの動画像データを符号化する動画像符号化装置であって、
   ノンインターレースの動画像データを入力する入力手段と、
   該入力手段で入力した動画像データ中の互いに連続する第１のフレームデータと第２のフレームデータを合成し、新たな画像データを生成する生成手段と、
   前記新たな画像データを周波数変換して複数のサブバンドに分解するサブバンド分解手段と、
   複数のサブバンドに分解された画像データを符号化する符号化手段と、
   符号化された画像データを出力する出力手段とを備え、
   前記生成手段は、
   前記第１のフレームデータ、前記第２のフレームデータ、及び、前記新たな画像データそれぞれの水平方向の座標ｘ、垂直方向の座標ｙの画素値をＰ１（ｘ、ｙ）、Ｐ２（ｘ、ｙ）、Ｐ（ｘ、ｙ）と表わし、共に１以上の整数のｉ，ｊに対し、
   Ｐ（２ｉ−１、２ｊ−１）としてＰ１（ｉ，２ｊ−１）を用い、
   Ｐ（２ｉ，２ｊ）としてＰ１（ｉ，２ｊ）を用い、
   Ｐ（２ｉ，２ｊ−１）としてＰ２（ｉ，２ｊ）を用い、
   Ｐ（２ｉ−１，２ｊ）としてＰ２（ｉ，２ｊ−１）を用いて
   前記新たな画像データを生成する
   ことを特徴とする動画像符号化装置。
3. 前記サブバンド分解手段が、２次元離散ウェーブレット変換を用いて前記新たな画像データを複数のサブバンドに分解することを特徴とする請求項１又は２記載の動画像符号化装置。
4. 前記第１、第２のフレームデータのうち一方のフレームのラインデータを一時的に記憶する記憶手段をさらに備え、
   前記生成手段が、前記動画像データのうち直接入力される一方のフレームのラインデータと、前記記憶手段に記憶されたフレームのラインデータとを用いて新たな画像データを生成することを特徴とする請求項１又は２に記載の動画像符号化装置。
5. 請求項１に記載の動画像符号化装置で符号化された動画像を復号する動画像復号装置であって、
   インタレース又はノンインタレースのいずれで復号するのかを選択する選択手段と、
   該選択手段によってインタレースでの復号が選択された場合、符号化された画像データの垂直方向の１／２の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力し、
   前記選択手段によってノンインタレースでの復号が選択された場合、全周波数成分のサブバンドの符号化データを入力する入力手段と、
   該入力手段で入力したサブバンドの符号化データを復号するサブバンド復号手段と、
   復号したサブバンドを合成して画像データを復元するサブバンド合成手段と、
   前記選択手段でインタレースの復号が選択された場合、復元された画像データの奇数番目のラインで構成される画像を奇数フィールド、復元された画像データの偶数番目のラインで構成される画像を偶数フィールドとして分解し、
   前記選択手段でノンインタレースの復号が選択された場合、復元された画像データには、連続する２つの第１、第２のフレームのデータが格納されているものとし、前記第１、第２のフレームデータを分解する分解手段と、
   該分解手段で分解したデータを出力する出力手段とを備え、
   前記分解手段は、前記選択手段でノンインタレースの復号が選択された場合、前記サブバンド合成手段で復元された画像データには、前記第１のフレームデータの第ｉ番目のラインのデータと前記第２のフレームデータの第ｉ番目のラインのデータとが垂直方向に連続するように配置され、且つ、前記ｉが奇数の場合には、前記第１のフレームの第ｉ番目のラインのデータを、前記第２のフレームの第ｉ番目のラインのデータより先に配置し、前記ｉが偶数の場合には、前記第２のフレームの第ｉ番目のラインのデータを、前記第１のフレームの第ｉ番目のラインのデータより先に配置されているものとし、前記第１、第２のフレームに分解する
   ことを特徴とする動画像復号装置。
6. 請求項２に記載の動画像符号化装置で符号化された動画像を復号する動画像復号装置であって、
   インタレース又はノンインタレースのいずれで復号するのかを選択する選択手段と、
   該選択手段によってインタレースでの復号が選択された場合、符号化された画像データの垂直方向の１／２の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力し、
   前記選択手段によってノンインタレースでの復号が選択された場合、全周波数成分のサブバンドの符号化データを入力する入力手段と、
   該入力手段で入力したサブバンドの符号化データを復号するサブバンド復号手段と、
   復号したサブバンドを合成して画像データを復元するサブバンド合成手段と、
   前記選択手段でインタレースの復号が選択された場合、復元された画像データの各ライン中の奇数番目の画素を奇数フィールド、偶数番目の画素を偶数フィールドとして分解し、
   前記選択手段でノンインタレースの復号が選択された場合、復元された画像データには、連続する２つの第１、第２のフレームのデータが格納されているものとし、前記第１、第２のフレームデータを分解する分解手段と、
   該分解手段で分解したデータを出力する出力手段とを備え、
   前記分解手段は、前記選択手段でノンインタレースの復号が選択された場合、前記第１のフレームデータ、前記第２のフレームデータ、及び、前記サブバンド合成手段で得られた画像データそれぞれの水平方向の座標ｘ、垂直方向の座標ｙの画素値をＰ１（ｘ、ｙ）、Ｐ２（ｘ、ｙ）、Ｐ（ｘ、ｙ）と表わし、共に１以上の整数のｉ，ｊに対し、
   Ｐ１（ｉ、２ｊ−１）としてＰ（２ｉ−１，２ｊ−１）を用い、
   Ｐ１（ｉ，２ｊ）としてＰ（２ｉ，２ｊ）を用い、
   Ｐ２（ｉ，２ｊ）としてＰ（２ｉ，２ｊ−１）を用い、
   Ｐ２（ｉ，２ｊ−１）としてＰ（２ｉ−１，２ｊ）を用いることで、
   前記第１のフレームデータ、及び、前記第２のフレームデータに分解することを特徴とする動画像復号装置。
7. ノンインターレースの動画像データを符号化する動画像符号化方法であって、
   ノンインターレースの動画像データを入力する入力工程と、
   該入力工程により入力された動画像データ中の互いに連続する第１のフレームデータと第２のフレームデータを合成し、新たな画像データを生成する生成工程と、
   前記新たな画像データを周波数変換して複数のサブバンドに分解するサブバンド分解工程と、
   複数のサブバンドに分解された画像データを符号化する符号化工程と、
   符号化された画像データを出力する出力工程とを備え、
   前記生成工程は、前記第１のフレームデータの第ｉ番目のラインのデータと前記第２のフレームデータの第ｉ番目のラインのデータとが垂直方向に連続するように配置し、前記ｉが奇数の場合には、前記第１のフレームの第ｉ番目のラインのデータを、前記第２のフレームの第ｉ番目のラインのデータより先に配置し、前記ｉが偶数の場合には、前記第２のフレームの第ｉ番目のラインのデータを、前記第１のフレームの第ｉ番目のラインのデータより先に配置する
   ことを特徴とする動画像符号化方法。
8. ノンインターレースの動画像データを符号化する動画像符号化方法であって、
   ノンインターレースの動画像データを入力する入力工程と、
   該入力工程により入力された動画像データ中の互いに連続する第１のフレームデータと第２のフレームデータを合成し、新たな画像データを生成する生成工程と、
   前記新たな画像データを周波数変換して複数のサブバンドに分解するサブバンド分解工程と、
   複数のサブバンドに分解された画像データを符号化する符号化工程と、
   符号化された画像データを出力する出力工程とを備え、
   前記生成工程は、
   前記第１のフレームデータ、前記第２のフレームデータ、及び、前記新たな画像データそれぞれの水平方向の座標ｘ、垂直方向の座標ｙの画素値をＰ１（ｘ、ｙ）、Ｐ２（ｘ、ｙ）、Ｐ（ｘ、ｙ）と表わし、共に１以上の整数のｉ，ｊに対し、
   Ｐ（２ｉ−１、２ｊ−１）としてＰ１（ｉ，２ｊ−１）を用い、
   Ｐ（２ｉ，２ｊ）としてＰ１（ｉ，２ｊ）を用い、
   Ｐ（２ｉ，２ｊ−１）としてＰ２（ｉ，２ｊ）を用い、
   Ｐ（２ｉ−１，２ｊ）としてＰ２（ｉ，２ｊ−１）を用いて
   前記新たな画像データを生成する
   ことを特徴とする動画像符号化方法。
9. 前記サブバンド分解工程が、２次元離散ウェーブレット変換を用いて前記新たな画像データを複数のサブバンドに分解することを特徴とする請求項７又は８に記載の動画像符号化方法。
10. 前記第１、第２のフレームデータのうち一方のフレームのラインデータを一時的に記憶させる記憶工程をさらに備え、
    前記生成工程が、前記動画像データのうち直接入力される一方のフレームのラインデータと、前記記憶工程によって記憶されたフレームのラインデータとを用いて新たな画像データを生成することを特徴とする請求項７又は８に記載の動画像符号化方法。
11. 請求項１に記載の動画像符号化装置で符号化された動画像を復号する動画像復号方法であって、
    インタレース又はノンインタレースのいずれで復号するのかを選択する選択工程と、
    該選択工程によってインタレースでの復号が選択された場合、符号化された画像データの垂直方向の１／２の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力し、
    前記選択工程によってノンインタレースでの復号が選択された場合、全周波数成分のサブバンドの符号化データを入力する入力工程と、
    該入力工程で入力したサブバンドの符号化データを復号するサブバンド復号工程と、
    復号したサブバンドを合成して画像データを復元するサブバンド合成工程と、
    前記選択工程でインタレースの復号が選択された場合、復元された画像データの奇数番目のラインで構成される画像を奇数フィールド、復元された画像データの偶数番目のラインで構成される画像を偶数フィールドとして分解し、
    前記選択工程でノンインタレースの復号が選択された場合、復元された画像データには、連続する２つの第１、第２のフレームのデータが格納されているものとし、前記第１、第２のフレームデータを分解する分解工程と、
    該分解工程で分解したデータを出力する出力工程とを備え、
    前記分解工程は、前記選択工程でノンインタレースの復号が選択された場合、前記サブバンド合成工程で復元された画像データには、前記第１のフレームデータの第ｉ番目のラインのデータと前記第２のフレームデータの第ｉ番目のラインのデータとが垂直方向に連続するように配置され、且つ、前記ｉが奇数の場合には、前記第１のフレームの第ｉ番目のラインのデータを、前記第２のフレームの第ｉ番目のラインのデータより先に配置し、前記ｉが偶数の場合には、前記第２のフレームの第ｉ番目のラインのデータを、前記第１のフレームの第ｉ番目のラインのデータより先に配置されているものとし、前記第１、第２のフレームに分解する
    ことを特徴とする動画像復号方法。
12. 請求項２に記載の動画像符号化装置で符号化された動画像を復号する動画像復号方法であって、
    インタレース又はノンインタレースのいずれで復号するのかを選択する選択工程と、
    該選択工程によってインタレースでの復号が選択された場合、符号化された画像データの垂直方向の１／２の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力し、
    前記選択工程によってノンインタレースでの復号が選択された場合、全周波数成分のサブバンドの符号化データを入力する入力工程と、
    該入力工程で入力したサブバンドの符号化データを復号するサブバンド復号工程と、
    復号したサブバンドを合成して画像データを復元するサブバンド合成工程と、
    前記選択工程でインタレースの復号が選択された場合、復元された画像データの各ライン中の奇数番目の画素を奇数フィールド、偶数番目の画素を偶数フィールドとして分解し、
    前記選択工程でノンインタレースの復号が選択された場合、復元された画像データには、連続する２つの第１、第２のフレームのデータが格納されているものとし、前記第１、第２のフレームデータを分解する分解工程と、
    該分解工程で分解したデータを出力する出力工程とを備え、
    前記分解工程は、前記選択工程でノンインタレースの復号が選択された場合、前記第１のフレームデータ、前記第２のフレームデータ、及び、前記サブバンド合成工程で得られた画像データそれぞれの水平方向の座標ｘ、垂直方向の座標ｙの画素値をＰ１（ｘ、ｙ）、Ｐ２（ｘ、ｙ）、Ｐ（ｘ、ｙ）と表わし、共に１以上の整数のｉ，ｊに対し、
    Ｐ１（ｉ、２ｊ−１）としてＰ（２ｉ−１，２ｊ−１）を用い、
    Ｐ１（ｉ，２ｊ）としてＰ（２ｉ，２ｊ）を用い、
    Ｐ２（ｉ，２ｊ）としてＰ（２ｉ，２ｊ−１）を用い、
    Ｐ２（ｉ，２ｊ−１）としてＰ（２ｉ−１，２ｊ）を用いることで、
    前記第１のフレームデータ、及び、前記第２のフレームデータに分解することを特徴とする動画像復号方法。
13. コンピュータが読込み実行することで、前記コンピュータを、ノンインターレースの動画像データを符号化する動画像符号化装置として機能させるコンピュータプログラムであって、
    ノンインターレースの動画像データを入力する入力手段と、
    該入力手段で入力した動画像データ中の互いに連続する第１のフレームデータと第２のフレームデータを合成し、新たな画像データを生成する生成手段と、
    前記新たな画像データを周波数変換して複数のサブバンドに分解するサブバンド分解手段と、
    複数のサブバンドに分解された画像データを符号化する符号化手段と、
    符号化された画像データを出力する出力手段として機能させ、
    前記生成手段は、前記第１のフレームデータの第ｉ番目のラインのデータと前記第２のフレームデータの第ｉ番目のラインのデータとが垂直方向に連続するように配置し、前記ｉが奇数の場合には、前記第１のフレームの第ｉ番目のラインのデータを、前記第２のフレームの第ｉ番目のラインのデータより先に配置し、前記ｉが偶数の場合には、前記第２のフレームの第ｉ番目のラインのデータを、前記第１のフレームの第ｉ番目のラインのデータより先に配置する
    ことを特徴とするコンピュータプログラム。
14. コンピュータが読込み実行することで、前記コンピュータを、ノンインターレースの動画像データを符号化する動画像符号化装置として機能させるコンピュータプログラムであって、
    ノンインターレースの動画像データを入力する入力手段と、
    該入力手段で入力した動画像データ中の互いに連続する第１のフレームデータと第２のフレームデータを合成し、新たな画像データを生成する生成手段と、
    前記新たな画像データを周波数変換して複数のサブバンドに分解するサブバンド分解手段と、
    複数のサブバンドに分解された画像データを符号化する符号化手段と、
    符号化された画像データを出力する出力手段として機能させ、
    前記生成手段は、
    前記第１のフレームデータ、前記第２のフレームデータ、及び、前記新たな画像データそれぞれの水平方向の座標ｘ、垂直方向の座標ｙの画素値をＰ１（ｘ、ｙ）、Ｐ２（ｘ、ｙ）、Ｐ（ｘ、ｙ）と表わし、共に１以上の整数のｉ，ｊに対し、
    Ｐ（２ｉ−１、２ｊ−１）としてＰ１（ｉ，２ｊ−１）を用い、
    Ｐ（２ｉ，２ｊ）としてＰ１（ｉ，２ｊ）を用い、
    Ｐ（２ｉ，２ｊ−１）としてＰ２（ｉ，２ｊ）を用い、
    Ｐ（２ｉ−１，２ｊ）としてＰ２（ｉ，２ｊ−１）を用いて
    前記新たな画像データを生成する
    ことを特徴とするコンピュータプログラム。
15. コンピュータが読込み実行することで、前記コンピュータを、請求項１に記載の動画像符号化装置で符号化された動画像を復号する動画像復号装置として機能させるコンピュータプログラムであって、
    インタレース又はノンインタレースのいずれで復号するのかを選択する選択手段と、
    該選択手段によってインタレースでの復号が選択された場合、符号化された画像データの垂直方向の１／２の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力し、
    前記選択手段によってノンインタレースでの復号が選択された場合、全周波数成分のサブバンドの符号化データを入力する入力手段と、
    該入力手段で入力したサブバンドの符号化データを復号するサブバンド復号手段と、
    復号したサブバンドを合成して画像データを復元するサブバンド合成手段と、
    前記選択手段でインタレースの復号が選択された場合、復元された画像データの奇数番目のラインで構成される画像を奇数フィールド、復元された画像データの偶数番目のラインで構成される画像を偶数フィールドとして分解し、
    前記選択手段でノンインタレースの復号が選択された場合、復元された画像データには、連続する２つの第１、第２のフレームのデータが格納されているものとし、前記第１、第２のフレームデータを分解する分解手段と、
    該分解手段で分解したデータを出力する出力手段として機能させ、
    前記分解手段は、前記選択手段でノンインタレースの復号が選択された場合、前記サブバンド合成手段で復元された画像データには、前記第１のフレームデータの第ｉ番目のラインのデータと前記第２のフレームデータの第ｉ番目のラインのデータとが垂直方向に連続するように配置され、且つ、前記ｉが奇数の場合には、前記第１のフレームの第ｉ番目のラインのデータを、前記第２のフレームの第ｉ番目のラインのデータより先に配置し、前記ｉが偶数の場合には、前記第２のフレームの第ｉ番目のラインのデータを、前記第１のフレームの第ｉ番目のラインのデータより先に配置されているものとし、前記第１、第２のフレームに分解する
    ことを特徴とするコンピュータプログラム。
16. コンピュータが読込み実行することで、前記コンピュータを、請求項２に記載の動画像符号化装置で符号化された動画像を復号する動画像復号装置として機能させるコンピュータプログラムであって、
    インタレース又はノンインタレースのいずれで復号するのかを選択する選択手段と、
    該選択手段によってインタレースでの復号が選択された場合、符号化された画像データの垂直方向の１／２の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力し、
    前記選択手段によってノンインタレースでの復号が選択された場合、全周波数成分のサブバンドの符号化データを入力する入力手段と、
    該入力手段で入力したサブバンドの符号化データを復号するサブバンド復号手段と、
    復号したサブバンドを合成して画像データを復元するサブバンド合成手段と、
    前記選択手段でインタレースの復号が選択された場合、復元された画像データの各ライン中の奇数番目の画素を奇数フィールド、偶数番目の画素を偶数フィールドとして分解し、
    前記選択手段でノンインタレースの復号が選択された場合、復元された画像データには、連続する２つの第１、第２のフレームのデータが格納されているものとし、前記第１、第２のフレームデータを分解する分解手段と、
    該分解手段で分解したデータを出力する出力手段として機能させ、
    前記分解手段は、前記選択手段でノンインタレースの復号が選択された場合、前記第１のフレームデータ、前記第２のフレームデータ、及び、前記サブバンド合成手段で得られた画像データそれぞれの水平方向の座標ｘ、垂直方向の座標ｙの画素値をＰ１（ｘ、ｙ）、Ｐ２（ｘ、ｙ）、Ｐ（ｘ、ｙ）と表わし、共に１以上の整数のｉ，ｊに対し、
    Ｐ１（ｉ、２ｊ−１）としてＰ（２ｉ−１，２ｊ−１）を用い、
    Ｐ１（ｉ，２ｊ）としてＰ（２ｉ，２ｊ）を用い、
    Ｐ２（ｉ，２ｊ）としてＰ（２ｉ，２ｊ−１）を用い、
    Ｐ２（ｉ，２ｊ−１）としてＰ（２ｉ−１，２ｊ）を用いることで、
    前記第１のフレームデータ、及び、前記第２のフレームデータに分解することを特徴とするコンピュータプログラム。
17. 請求項１３乃至１６のいずれか１項に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images