JP4688164B2 - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Description

本発明は、符号データから解像度又は画質が徐々に向上する画像データを生成する画像処理装置、及び、解像度又は画質が徐々に向上する画像の符号データを生成する画像処理装置に関する。

一般に画像の符号化（圧縮）は、「画像データの色空間変換→周波数変換→サブバンド係数の量子化→量子化係数（又はその必要なビットプレーン）のエントロピー符号化→符号形成」という手順で行われることが多い。

近年国際標準化されたＪＰＥＧ２０００も、このような符号化方式（サブバンド符号化方式）の一種であるが、周波数変換にウェーブレット変換を用い、エントロピー符号化にＭＱ符号化と呼ばれる算術符号化を用いる。そして、このＪＰＥＧ２０００の符号データは、独立に処理可能なパケット呼ばれる部分符号の集合から構成される。

本発明はＪＰＥＧ２０００を利用する場合に好適であるが、独立に処理可能な部分符号の集合からなる符号データを生成する他のサブバンド符号化方式を利用する場合にも本発明を適用し得る。

後述する本発明の実施形態ではＪＰＥＧ２０００が利用されるので、ここで本発明の理解に必要な限度でＪＰＥＧ２０００の概要を説明する。

図１はＪＰＥＧ２０００の概要を説明するための概略ブロック図である。また、図２にＪＰＥＧ２０００の基本的な符号化処理フローの概略を、図３にＪＰＥＧ２０００の基本的な復号処理フローの概略をそれぞれ示す。

まず符号化処理について説明する。画像は矩形のタイルに分割されて処理される(分割数≧１)。各タイルは、色空間変換部／逆色空間変換部１の色空間変換部によって輝度Ｙ及び色差Ｃｂ，Ｃｒの各コンポ−ネントへ変換される（ステップ１１）。ＲＧＢ画像データなどの場合には、ステップ１１において、色空間変換に先立ってダイナミックレンジの半分を減ずるＤＣレベルシフトが施される。

色空間変換後の各コンポ−ネント（タイルコンポ−ネント）は、ウェーブレット変換部／逆ウェーブレット変換部２のウェーブレット変換部でウェーブレット変換が適用されサブバンドに分割される（ステップ１２）。

図４にデコンポジションレベル数が３の場合のサブバンド分割の様子を示す。図４において、（ａ）のタイルコンポーネントに対して１回目の２次元ウェーブレット変換が適用されることにより（ｂ）に示すサブバンド(1LL,1HL,1LH,1HH)に分割される。このデコンポジションレベル１の低周波成分である１LLサブバンドの係数に対して２回目の２次元ウェーブレット変換が適用されることにより、（ｃ）に示すサブバンド(2LL,2HL,2LH,2HH)に分割される。このデコンポジションレベル２の2LLサブバンドの係数に対して３回目の２次元ウェーブレット変換が適用されることにより、（ｄ）に示すデコンポジションレベル３のサブバンド(3LL,3HL,3LH,3HH)に分割される。なお、（ｄ）の各サブバンド内の括弧で囲まれた数字は解像度レベルを示す。

再び図１及び図２を参照する。ＪＰＥＧ２０００では、ウェーブレット変換として可逆の５×３変換と非可逆の９×７変換が規定されている。９×７変換が用いられる場合には、量子化部／逆量子化部３の量子化部によってウェーブレット係数に対しサブバンド毎に線形量子化が施される（ステップ１３）。

次に、エントロピー符号化部／エントロピー復号化部４のエントロピー符号化部によって、各サブバンド係数のエントロピー符号化が行われる（ステップ１４）。より詳しくは、図５に例示するように、各サブバンドはプレシンクトと呼ばれる重複しない矩形領域に分割される。同じデコンポジションレベルのＬＨ，ＨＬ，ＨＨサブバンドの空間的に一致した３つの矩形領域が１つのプレシンクトとして扱われる。ただし、ＬＬサブバンドは１つの矩形領域が１つのプレシンクトとして扱われる。プレシンクトは大まかには画像領域の位置を表すものである。プレシンクトをさらに矩形に分割したものがコードブロックであり、エントロピー符号化の単位である。ＪＰＥＧ２０００では、ウェーブレット係数に対し、コードブロック毎にＭＱエンコーダと呼ばれる算術符号化器を用いてビットプレーン符号化を行う。

次に、タグ処理部５において、不要なエントロピー符号を破棄し、必要なエントロピー符号をまとめてパケットを生成する（ステップ１５）。パケットとは、プレシンクトに含まれる全てのコードブロックの符号の一部を集めたもの（例えばプレシンクト内の全てのコードブロックのＭＳＢから３枚目までのビットプレーンの符号を集めたもの）に、パケットヘッダを付けたものである。各パケットは独立に扱うことができる符号の単位である。ＪＰＥＧ２０００の符号データは、独立に扱うことが可能な部分符号であるパケットの集合からなる。

パケットは、コンポーネント番号（色成分）、解像度レベル、プレシンクト番号、レイヤー番号の４種類のインデックス（タイル番号を含めれば５種類のインデックス）を有する。ただし、パケットヘッダには当該パケットに含まれる符号に関する情報（後述）が含まれるが、該パケットがどのようなインデックスを持つものであるかはパケットヘッダからは分からない。

さて、レイヤーであるが、全てのプレシンクト（＝全てのコードブロック＝全てのサブバンド）のパケットを集めると、タイルコンポーネント全域の符号の一部（例えば、タイルコンポーネント全域のウェーブレット係数の、ＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤーと呼ぶ。

デコンポジションレベル数＝２、プレシンクトのサイズ＝サブバンドのサイズ、としたときのレイヤー分割例を図６の上段に示す。レイヤーに含まれるパケットの例を図６の下段に太枠で囲んで示す。

最後に、タグ処理部５において、生成したパケットを、そのインデックスに従って階層的に配列するとともに必要なタグ又はタグ情報を付加することにより、ＪＰＥＧ２０００の符号データ（コードストリーム）を形成する（ステップ１６）。このパケットの配列順をプログレッションオーダと呼び、ＪＰＥＧ２０００では５通りのプログレッションオーダが規定されている。

次に復号処理について説明する。タグ処理部５において符号データのタグ情報を解析し、符号データをパケットに分割し（ステップ２１）、パケットの符号をコードブロック毎に分割する（ステップ２２）。エントロピー符号化部／エントロピー復号化部４のエントロピー復号化部において、コードブロック毎に符号のエントロピー復号を行う（ステップ２３）。このエントロピー復号は、ＭＱデコーダと呼ばれる算術復号器を用いたビットプレーン復号である。符号化時に線形量子化が行われた符号データの場合、エントロピー復号によって得られたウェーブレット係数の量子化係数に対し、量子化部／逆量子化部３の逆量子化部によりサブバンド毎に逆線形量子化が施される（ステップ２４）。次にウェーブレット変換部／逆ウェーブレット変換部２の逆ウェーブレット変換部によってタイル毎に逆ウェーブレット変換が行われ（ステップ２５）、生成されたタイルコンポーネントに対し色空間変換部／逆色空間変換部１の逆色空間変換部によって逆色変換が施される（ステップ２６）。符号化時にＤＣレベルシフトが行われている場合にはＤＣ逆レベルシフトも施される（ステップ２６）。

符号化処理時におけるパケットの配列と、復号処理時におけるパケットの属性を解釈は、次に述べるようなプログレッションオーダに対応したｆｏｒループにより行われる。

例えば、ＲＬＣＰプログレッションオーダの場合、次のようなｆｏｒループ
for(解像度)｛
for(レイヤ)｛
for(コンポ−ネント)｛
for(プレシンクト)｛
符号化処理時：パケットを配置
復号処理時：パケットの属性を解釈
｝
｝
｝
｝
により、各タイルのパケットの配列（符号化処理時）又は属性の解釈（復号処理時）がなされる。

同様に、ＬＲＣＰプログレッションオーダの場合、次のようなｆｏｒループ
for(レイヤ)｛
for(解像度)｛
for(コンポ−ネント)｛
for(プレシンクト)｛
符号化処理時：パケットを配置
復号処理時：パケットの属性を解釈
｝
｝
｝
｝
により、各タイルのパケットの配列（符号化処理時）又は属性の解釈（復号処理時）がなされる。

さて、各パケットのパケットヘッダには、
・そのパケットが空かどうか、
・そのパケットにどのコードブロックが含まれるか、
・そのパケットに含まれる各コードブロックのゼロビットプレーン数、
・そのパケットに含まれる各コードブロック符号のコーディングパス数（ビットプレーン数）、
・そのパケットに含まれる各コードブロックの符号長、
が記載されている。しかし、前述のように、レイヤー番号や解像度レベル等のインデックスはパケットヘッダに一切記載されていない。復号処理時に、そのパケットがどのレイヤーのどの解像度レベルのものかを判別するには、メインヘッダ中のＣＯＤマーカセグメント等に記載されたプログレッションオーダから上記のようなｆｏｒループを構成し、そのパケットに含まれる各コードブロックの符号長の和からパケット長を求めることによってパケットの切れ目を判別し、各パケットがｆｏｒループ内のどの位置でハンドリングされたかを見ればよい。これは、パケットヘッダ中の符号長さえ読み出せば、パケットデータ（エントロピー符号）をデコードしなくとも、次のパケットを検出できることをも意味する。

図７に、画像サイズ＝１００×１００画素、タイル分割無し（１タイル）、２レイヤー（０，１）、解像度レベル数＝３（０〜２）、３コンポ−ネント（０〜２）、プレシンクトサイズ＝３２×３２、ＲＬＣＰプログレッションオーダの場合における３６個のパケットの配列を示す。

図８に、画像サイズ＝１００×１００画素、タイル分割無し（１タイル）、２レイヤー（０，１）、解像度レベル数＝３（０〜２）、３コンポ−ネント（０〜２）、プレシンクトトサイズ＝３２×３２、ＬＲＣＰプログレッションオーダの場合における３６個のパケットの配列を示す。

なお、ここまでは説明しなかったが、各タイルの符号は１以上の部分に分割され、各分割部分はタイルパートと呼ばれる。したがって、ＪＰＥＧ２０００の符号データは、先頭にメインヘッダと呼ばれるタグ情報が置かれ、その後に各タイルについての１以上のタイルパートが並ぶ形となる。そして、各タイルパートの先頭にタイルパートヘッダと呼ばれるタグ情報が挿入される。また、ＪＰＥＧ２０００の符号データにおいては、メインヘッダ中で規定されたデフォルトのプログレッションオーダを途中で変更することができる。このプログレッションオーダの変更は、メインヘッダ又は各タイルの最初のタイルパートのタイルパートヘッダに挿入されるＰＯＣマーカセグメントにより指定される。

以上に述べたＪＰＥＧ２０００に関しては多くの先行技術文献が存在するが、例えば処理の高速化に関連するものとして特許文献１を挙げることができる。

また、特許文献２に、固定長圧縮のための第１の符号化部と、可変長圧縮のための第２の符号化部を有し、第１の符号化部において、画像のブロック毎に輝度Ｙ，色差Ｃｂ，Ｃｒへの色変換を行い、各成分をサブバンド変換し、変換係数を固定のビット数に量子化し、第２の符号化部において、固定長圧縮された低域係数のみを対象に適応算術符号化等による可変長圧縮処理を施し、固定長圧縮された高域係数はそのまま出力する画像符号化装置が記載されている。

特開２００４−４０３８８号公報 特開２００１−９４９８５号公報

ＪＰＥＧ２０００の符号データから１回目の復号処理によって低解像度又は低画質の画像を再生して表示し、２回目の復号処理によって、より高解像度又は高画質の画像を再生して表示するといった、解像度又は画質に関するプログレッシブ画像表示を行いたい場合がある。しかし、このような解像度／画質プログレッシブ画像表示のための処理を行う従来の画像処理装置では、各回の復号処理に前回の復号処理の結果が利用されず、同じパケットについて復号処理が繰り返されるため処理効率が悪いという問題があった。

また、画像データに対する１回目の符号化処理によって低解像度又は低画質の符号データを生成し、２回目の符号化処理によって、より高解像度又は高画質の符号データを生成するというように、解像度又は画質を徐々に向上させた符号データの生成を行いたい場合がある。例えば、サーバ側で低解像度の符号データを生成してクライアントへ送信し、クライアント側で符号データを復号して画像を表示することにより早い段階で画像の概要を確認し、その後に自動的に又はクライアントからの要求に応じて、サーバから高解像度の符号データをクライアントへ送信し、クライアント側で符号データを復号して高精細な画像を表示するような場合である。しかし、このような複数回の符号化処理によって解像度又は画質を徐々に向上させた符号データの生成を行う従来の画像処理装置では、各回の符号化処理に前回の符号化処理の結果が利用されず、同じパケットについて符号化処理が繰り返されるため処理効率が悪いという問題があった。

よって、本発明の目的は、ＪＰＥＧ２０００の符号データ、あるいは、それと同様な独立に処理可能な部分符号から構成された他のサブバンド符号化方式による符号データから、効率的な処理によって、解像度又は画質を徐々に向上させた画像データを生成する画像処理装置又は画像処理方法を提供することにある。本発明のもう１つの目的は、画像データから、効率的な処理により、解像度又は画質を徐々に向上させたＪＰＥＧ２０００又は他のサブバンド符号化方式の符号データを生成する画像処理装置又は画像処理方法を提供することにある。

請求項１記載の発明は、
処理対象画像データに対しＪＰＥＧ２０００の符号化処理を複数回に分けて実行する符号化処理手段と、
前記符号化処理手段より第１回の符号化処理時に出力される符号データをそのまま出力符号データとして生成し、前記符号化処理手段より第２回以降の各回の符号化処理時に出力される符号データを前回の符号化処理時に生成済みの出力符号データと合成した新たな出力符号データを生成する出力符号生成処理手段と、
前記符号化処理手段及び前記出力符号生成処理手段を制御する制御手段とを有し、
前記符号化処理手段は、ＪＰＥＧ２０００の符号化処理の、ウェーブレット係数又はその量子化係数を生成するまでの処理（以下、第１符号化処理と記す）を実行するための第１符号化処理手段、ＪＰＥＧ２０００の符号化処理の第１符号化処理より後の処理（以下、第２符号化処理と記す）を実行するための第２符号化処理手段、及び、前記第１符号化処理手段により生成されるウェーブレット係数又はその量子化係数（以下、結果データと記す）を保存するための記憶手段を含み、
前記制御手段は、前記符号化処理手段による各回の符号化処理時に前記出力符号生成処理手段により生成される出力符号データの解像度又は画質が前回の符号化処理時に生成された出力符号データの解像度又は画質より向上するように、前記出力符号生成処理手段により最終的に生成されるべき出力符号データを構成するパケットの範囲内で、前記符号化処理手段による各回の符号化処理時の処理対象として指定するパケットを決定し、
前記符号化処理手段は、第１回の符号化処理時に、前記制御手段よって処理対象として指定されたパケットに関連した、前記処理対象画像データの画像領域についてのみ前記第１符号化処理手段で第１符号化処理を実行し、その結果データを前記記憶手段に保存し、前記前記第２符号化処理手段で前記記憶手段に保存されている結果データを用い当該指定されたパケットを生成するための第２符号化処理を実行することにより、当該指定されたパケットを含む符号データを出力し、
前記符号化処理手段は、第２回以降の各回の符号化処理時に、前記制御手段によって処理対象として指定されたパケットに関連した、前記処理対象画像データの画像領域であって前回までの符号化処理で未処理の画像領域についてのみ前記第１符号化処理手段で第１符号化処理を実行し、その結果データを前記記憶手段に保存し、前記第２符号化処理手段で前記記憶手段に保存されている結果データを用い当該指定されたパケットを生成するための第２符号化処理を実行することにより当該指定されたパケットを含む符号データを出力する、ことを特徴とする画像処理装置である。

請求項２記載の発明は、
処理対象画像データに対しＪＰＥＧ２０００の符号化処理を複数回に分けて実行する符号化処理工程と、
前記符号化処理工程より第１回の符号化処理時に出力される符号データをそのまま出力符号データとして生成し、前記符号化処理工程より第２回以降の各回の符号化処理時に出力される符号データを前回の符号化処理時に生成済みの出力符号データと合成した新たな出力符号データを生成する出力符号生成処理工程と、
前記符号化処理工程及び前記出力符号生成処理工程を制御する制御工程とを有し、
前記符号化処理工程は、ＪＰＥＧ２０００の符号化処理の、ウェーブレット係数又はその量子化係数を生成するまでの処理（以下、第１符号化処理と記す）を実行するための第１符号化処理工程、ＪＰＥＧ２０００の符号化処理の第１符号化処理より後の処理（以下、第２符号化処理と記す）を実行するための第２符号化処理工程、及び、前記第１符号化処理工程により生成されるウェーブレット係数又はその量子化係数（以下、結果データと記す）を記憶手段に保存する保存工程を含み、
前記制御工程は、前記符号化処理工程による各回の符号化処理時に前記出力符号生成処理工程により生成される出力符号データの解像度又は画質が前回の符号化処理時に生成された出力符号データの解像度又は画質より向上するように、前記出力符号生成処理工程により最終的に生成されるべき出力符号データを構成するパケットの範囲内で、前記符号化処理工程による各回の符号化処理時の処理対象として指定するパケットを決定し、
前記符号化処理工程において、第１回の符号化処理時に、前記制御工程よって処理対象として指定されたパケットに関連した、前記処理対象画像データの画像領域についてのみ前記第１符号化処理工程で第１符号化処理を実行し、その結果データを前記保存工程で前記記憶手段に保存し、前記第２符号化処理工程で前記記憶手段に保存されている結果データを用い当該指定されたパケットを生成するための第２符号化処理を実行することにより、当該指定されたパケットを含む符号データを出力し、
前記符号化処理工程において、第２回以降の各回の符号化処理時に、前記制御工程によって処理対象として指定されたパケットに関連した、前記処理対象画像データの画像領域であって前回までの符号化処理で未処理の画像領域についてのみ前記第１符号化処理工程で第１符号化処理を実行し、その結果データを前記保存工程で前記記憶手段に保存し、前記第２符号化処理工程で前記記憶手段に保存されている結果データを用い当該指定されたパケットを生成するための第２符号化処理を実行することにより当該指定されたパケットを含む符号データを出力する、ことを特徴とする画像処理方法である。

請求項３記載の発明は、
処理対象画像データに対しＪＰＥＧ２０００の符号化処理を複数回に分けて実行する符
号化処理手段と、
前記符号化処理手段より第１回の符号化処理時に出力される符号データをそのまま出力符号データとして生成し、前記符号化処理手段より第２回以降の各回の符号化処理時に出力される符号データを前回の符号化処理時に生成済みの出力符号データと合成した新たな出力符号データを生成する出力符号生成処理手段と、
前記符号化処理手段及び前記出力符号生成処理手段を制御する制御手段とを有し、
前記符号化処理手段は、ＪＰＥＧ２０００の符号化処理の、ウェーブレット係数又はその量子化係数を生成するまでの処理（以下、第１符号化処理と記す）を実行するための第１符号化処理手段、ＪＰＥＧ２０００の符号化処理の第１符号化処理より後の処理（以下、第２符号化処理と記す）を実行するための第２符号化処理手段、及び、前記第１符号化処理手段により生成されるウェーブレット係数又はその量子化係数（以下、結果データと記す）を保存するための記憶手段を含み、
前記制御手段は、前記符号化処理手段による各回の符号化処理時に前記出力符号生成処理手段により生成される出力符号データの解像度又は画質が前回の符号化処理時に生成された出力符号データの解像度又は画質より向上するように、前記出力符号生成処理手段により最終的に生成されるべき出力符号データを構成するパケットの範囲内で、前記符号化処理手段による各回の符号化処理時の処理対象として指定するパケットを決定し、
前記符号化処理手段は、第１回の符号化処理時に、前記制御手段よって処理対象として指定されたパケットに関連した、前記処理対象画像データの画像領域についてのみ前記第１符号化処理手段で第１符号化処理を実行し、その結果データを前記記憶手段に保存し、前記前記第２符号化処理手段で前記記憶手段に保存されている結果データを用い当該指定されたパケットを生成するための第２符号化処理を実行することにより、当該指定されたパケットを含む符号データを出力し、
前記符号化処理手段は、第２回以降の各回の符号化処理時に、前記制御手段によって処理対象として指定されたパケットに関連した、前記処理対象画像データの画像領域であって前回までの符号化処理で未処理の画像領域についてのみ前記第１符号化処理手段で第１符号化処理を実行し、その結果データを前記記憶手段に保存し、前記第２符号化処理手段で前記記憶手段に保存されている結果データを用い当該指定されたパケットを生成するための第２符号化処理を実行することにより当該指定されたパケットを含む符号データを出力する、ことを特徴とする画像処理装置としてコンピュータを動作させるため、前記各手段としてコンピュータを機能させるプログラムである。

請求項４記載の発明は、請求項３記載の発明に係るプログラムが記録されたコンピュータが読み取り可能な情報記録媒体である。

請求項１，２記載の発明に係る画像処理装置又は画像処理方法によれば、第１回の符号化処理によって、低解像度又は低画質のＪＰＥＧ２０００の符号データを生成し、第２回以降の各回の符号化処理によって、前回より高解像度又は高画質の符号データを生成することができる。そして、第２回以降の各回の符号化処理において、第１符号化処理及び第２符号化処理のいずれも前回までに処理済みのパケットについては再度実行されないため、処理の重複が減り効率的な処理が可能である。

請求項３，４記載の発明に係るプログラム又は情報記録媒体に記録されたプログラムをコンピュータにロードすることにより、コンピュータを請求項１記載の発明に係る画像処理装置として動作させることができる。

以下、本発明の２つの実施形態について説明する。いずれの実施形態においても、符号化方式としてＪＰＥＧ２０００が用いられる。

＜第１の実施形態＞
図９は本発明の第１の実施形態に係る画像処理装置１００のブロック図である。この画像処理装置１００は、ＪＰＥＧ２０００の符号データに対し復号処理を２回以上に分けて順次実行することにより、解像度又は画質が徐々に向上するようなプログレッシブ画像表示のための表示画像データを生成するものである。

図９において、１０１は処理対象のＪＰＥＧ２０００の符号データを記憶するための記憶手段である。１０２は符号データに対する復号処理を２回以上に分けて実行する復号処理手段である。１０３は復号処理手段１０２の処理結果を用いてディスプレイに表示するための表示画像データを生成する表示画像生成処理手段である。１０４は表示画像データを記憶するための記憶手段である。１０５は復号処理手段１０２及び表示画像生成処理手段１０３を制御する制御手段である。

復号処理手段１０２は、ＪＰＥＧ２０００の復号化処理を、その処理の流れに沿って第１復号処理と第２復号処理と２分割し、それぞれを第１復号処理手段１０６と第２復号処理手段１０８とで実行する構成である。復号処理手段１０２には、ＪＰＥＧ２０００の復号処理の中間結果データである第１復号処理の結果データ等を記憶するための記憶手段１０７も含まれる。

本実施形態の第１の実施例では、第１復号処理の結果データはウェーブレット係数である。すなわち、第１の実施例では、ＪＰＥＧ２０００の復号処理は、その逆量子化処理までを第１復号処理に含め、逆ウェーブレット変換処理以降を第２復号処理に含めるように分割される。したがって、図１に示した機能ブロック構成と対照するならば、第１の実施例においては、図９の中段に示すように、第１復号処理手段１０６にタグ処理部１１１、エントロピー復号部１１２及び逆量子化部１１３が含まれ、一方、第２復号処理手段１０８に逆ウェーブレット変換部１１４と逆色空間変換部１１５が含まれる。

本実施形態の第２の実施例では、第１復号処理の結果データはウェーブレット係数の量子化係数である。すなわち、第２の実施例では、ＪＰＥＧ２０００の復号処理は、エントロピー復号処理までを第１復号処理に含め、逆量子化処理以降を第２復号処理に含めるように分割される。したがって、図１に示した機能ブロック構成と対照するならば、第２の実施例においては、図９の下段に示すように、第１復号処理手段１０６にタグ処理部１１１とエントロピー復号部１１２が含まれ、一方、第２復号処理手段１０８に逆量子化部１１３、逆ウェーブレット変換部１１４及び逆色空間変換部１１５が含まれる。

本実施形態に係る画像処理装置１００は、例えば図１３に示すＣＰＵ３０１、メインメモリ３０２、ハードディスク装置３０３、ディスプレイ３０４、ディスプレイコントローラ３０５、入力装置（キーボードやマウス等のポインティングデバイス）、ネットワーク・インターフェース３０７等をバス３０８に接続したようなコンピュータを利用してプログラムにより実現される。そのためのプログラム、すなわち、図９に示す画像処理装置１００を構成する各手段としてコンピュータを機能させるプログラムが、例えばハードディスク装置３０３よりメインメモリ３０２にロードされ、ＣＰＵ３０１で実行されることにより、コンピュータは画像処理装置１００として動作する。

このようなプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子等のコンピュータが読み取り可能な各種情報記録（記憶）媒体も本発明に包含される。

なお、画像処理装置１００の記憶手段１０１，１０４，１０７として、メインメモリ３０２上に割り当てられたメモリ領域が用いられる。

処理される符号データは、例えばハードディスク装置３０３より読み出されてメインメモリ３０２上の記憶手段１０１に書き込まれる。あるいは、ネットワーク・インターフェース３０７を介しネットワーク経由で符号データが取り込まれ、メインメモリ３０２上の記憶手段１０１に書き込まれる。後者の場合、符号データの一部が取り込まれた段階で復号処理を開始すること、つまり符号データの取り込みと復号処理を並行して実行することも可能であり、かかる態様も本実施形態に包含される。

図１０は、画像処理装置１００の動作を説明するための概略フローチャートである。以下、このフローチャートに沿って画像処理装置１００の動作を説明する。

第１復号処理手段１０６は、記憶手段１０１より符号データのメインヘッダを読み込みタグ処理部１１１で解析する（ステップＳ１）。

制御手段１０５は、メインヘッダの解析結果に基づいて符号テーブルを記憶手段１０７上に作成する（ステップＳ２）。この符号テーブルは、符号データを構成する各パケットについて、処理の対象であるか否かの指定と、その処理が済んだか否かのフラグとを記憶するためのもので、パケットの属性を決定付ける５種類のインデックス（タイル番号、プレシンクト番号、コンポーネント番号、解像度レベル、レイヤー番号）により、対応した属性を持つパケットの情報を検索可能な５次元テーブルである。なお、タイル別に符号テーブルを作成することも可能であり、この場合、各タイルの符号テーブルは４種類のインデックス（プレシンクト番号、コンポーネント番号、解像度レベル、レイヤー番号）により検索可能な４次元テーブルとすればよい。

制御手段１０５は、復号条件を設定する（ステップＳ３）。その設定方法であるが、例えば、メインヘッダの解析により得られた原画像のサイズ、解像度レベル数、レイヤー数、コンポーネント数やプログレッションオーダ等と、ディスプレイ３０４の画面上の画像表示ウィンドウのサイズや解像度等に基づいて、領域（タイル番号、プレシンクト番号）、解像度（解像度レベル）、画質（レイヤー番号）、色（コンポーネント番号）に関する復号条件を決定する。ただし、これは一例であり、例えばユーザがディスプレイ画面を利用したユーザ・インターフェースを通じて、そのような復号条件を直接的に指定するようにしてもよい。

このような復号条件の設定により、最終的に復号すべきパケットの範囲が決まる。そして、画像処理装置１００は、それらパケットについての復号処理を２回以上に分けて順次実行することにより、解像度や画質等に関するプログレッシ画像表示のための表示画像データを生成する。

さて、制御手段１０５は、最終的に復号すべきパケットの範囲内において、１回目の復号処理の対象となるパケットを決定し、その指定情報を符号テーブルに書き込み（ステップＳ５）、復号処理手段１０２に１回目の処理の開始を指示する。

ここでは説明を簡易にするため、図７に示したパケット列からなる１タイルの符号データの全パケットを最終的に復号すべき範囲とし、１回目の復号処理で解像度レベル１までのパケット（パケット０〜１１）を処理し、２回目の復号処理で解像度レベル２までのパケット（パケット０〜３５）を処理することにより、解像度プログレッシブ画像表示のための表示画像データを生成する例を想定して説明する。したがって、当該例では、１回目の復号処理の対象としてパケット０〜１１を指定する情報が符号テーブルに書き込まれることになる。

復号処理手段１０２は符号データのパケットを先頭のものから順に読み込む（ステップＳ７）。タグ処理部１１１は、前述したようなプログレッションオーダに対応したｆｏｒループによって、読み込まれたパケットの属性を認識し、その属性に対応したインデックスを用いて符号テーブルを検索することにより、当該パケットが処理の対象であるか否かの判定を行う（ステップＳ８）。なお、２回目以降の復号処理の場合、処理対象として指定されたパケットであっても、それに対する処理済みフラグがＯＮに設定されている場合は、当該パケットは処理対象でないと判定する。

処理対象でないと判定されときには、直ちに次のパケットの読み込み処理に進む。なお、前述したように、パケットヘッダに記録されている各コードブロックの符号長を合計することによりパケット長を求めることができるため、パケットデータ（符号）を復号することなく次のパケットを容易にアクセス可能である。したがって、ステップＳ７ではパケットヘッダのみ読み込むようにし、パケットデータの読み込みをステップＳ９で行うようにしてもよい。

第１復号処理手段１０６は、読み込んだパケットを処理対象であると判定したたときには、当該パケットの処理を行い（ステップＳ９）、その結果データを記憶手段１０７に書き込むとともに符号テーブルの当該パケットの処理済みフラグをＯＮに設定する（ステップＳ１０）。すなわち、タグ処理部１１１で当該パケットの符号（パケットデータ）をコードブロックに分割し、エントロピー復号部１１２でコードブロック毎に符号のエントロピー復号を行う。第２実施例の場合、エントロピー復号により得られたウェーブレット係数の量子化係数を結果データとして記憶手段１０７に書き込む。第１の実施例の場合、エントロピー復号で得られた量子化係数を逆量子化部１１３で逆量子化し、得られたウェーブレット係数を結果データとして記憶手段１０７に書き込む。各パケットについての結果データへのポインタを記録するためのポインタテーブルが予め制御手段１０５により記憶手段１０７上に作成されているが、第１復号処理手段１０６は、１つのパケットの第１復号処理の結果データを記憶手段１０７に書き込んだ時に、その結果データへのポインタを該ポインタテーブルに記録する。このようにして１回目の第１復号処理が処理対象パケットについて順次実行される。

なお、第１復号処理手段１０６は、ステップＳ１０において、エントロピー復号部１１２の処理終了時の「内部状態」も記憶手段１０７に書き込む。この内部状態とは、エントロピー復号部１１２の算術復号器により処理される各係数の優位性の状態（Significantフラグ）と算術復号器のレジスタの状態である。また、第１復号処理手段１０６は、ステップＳ９において、最上位レイヤー以外のレイヤーのパケットのエントロピー復号処理を行う場合には、処理に先立って、記憶手段１０７に保存されている「内部状態」を読み込んで、エントロピー復号部１１２を以前の上位レイヤー・パケットの処理時の状態に復旧させる制御を行う。このようにな制御を行うことによって、最上位レイヤーのパケットからエントロピー復号を再度行うことなく、下位レイヤーのパケットのエントロピー復号を行うことが可能になる。本実施形態では「内部状態」を記憶手段１０７に保存したが、第１復号処理手段１０６の内部に「内部状態」保存のための記憶手段を備えてもよい。

第１復号処理手段１０６による１回目の処理が完了すると（ステップＳ６，Ｙｅｓ）、制御手段１０５は第２復号処理手段１０８に対し１回目の処理の開始を指示する。

第２復号処理手段１０８は、ポインタテーブルを利用し、前述したようなｆｏｒループに従って各パケットの第１復号処理の結果データを記憶手段１０７より順次読み込み（ステップＳ１２）、符号テーブルを参照して該結果データが処理対象であるか判定する（ステップＳ１３）。第２復号処理手段１０８は、該結果データを処理対象であると判定したときには、当該結果データに対し第２復号処理を実行する（ステップＳ１４）。すなわち、第１の実施例の場合、記憶手段１０７より読み込んだウェーブレット係数に対し逆ウェーブレット変換部１１４で逆ウェーブレット変換を行うことにより各コンポーネントのデータを生成し、これに対し逆色空間変換部１１５で逆色空間変換（必要ならばＤＣレベル逆シフトも）を行うことにより画像データを生成する。第２の実施例の場合には、記憶手段１０７より読み込んだウェーブレット係数の量子化係数に対し逆量子化部１１３で逆量子化を施し、得られたウェーブレット係数に対し逆ウェーブレット変換部１１４で逆ウェーブレット変換を行い、その結果に対し逆色空間変換部１１５で逆色空間変換（必要ならばＤＣレベル逆シフトも）を行う。

第２復号処理手段１０８において、処理対象のパケットについて同様の処理が繰り返される。当該例の場合、１回目の復号処理で解像度レベル１までのパケット０〜１１が処理される結果、解像度レベル１の画像データが出力される。表示画像生成処理手段１０３は、第２復号処理手段１０８より出力される画像データ、又は、該画像データを設定された復号条件に応じて変倍処理した画像データを表示画像データとして記憶手段１０４に書き込む。

処理対象の全パケットについて第２復号処理が完了すると（ステップＳ１１，Ｙｅｓ）制御手段１０５は、２回目の処理の対象として追加するパケットを決定して符号テーブルにその指定情報を書き込み（ステップＳ５）、第１復号処理手段１０６の処理を開始させる。当該例の場合、解像度レベル２のパケット１２〜３５が処理の対象として追加され、これらパケットに対し第１復号処理手段１０６により処理が実行され、その結果データが記憶手段１０７に書き込まれることになる（ステップＳ６〜Ｓ１０）。１回目の復号処理で処理されたパケット０〜１１については符号テーブルの処理済みフラグがＯＮに設定されているため、今回の処理の対象から除外される。このように、第１復号処理については同じパケットが重複して処理されることはないため、効率的な復号処理が可能である。

さて、２回目の第１復号処理が完了すると、制御手段１０５からの指示で第２復号処理手段１０８が２回目の処理を実行する（ステップＳ１１〜Ｓ１４）。当該例の場合、１回目の第１復号処理によって得られたパケット０〜１１のウェーブレット係数又はその量子化係数、及び今回の第１復号処理によって得られたパケット１２〜３５のウェーブレット係数又はその量子化係数が処理される結果、解像度レベル２の画像データが第２復号処理手段１０８より出力される。表示画像生成処理手段１０３は、この解像度レベル２の画像データ、あるいは設定された復号条件に応じて変倍処理した画像データを、表示画像データとして記憶手段１０４内の前回の表示画像データに上書きする。当該例では、２回目の復号処理の終了により処理を完了する（ステップＳ４，Ｙｅｓ）。

ここで、図１０との関連で復号処理手段１０２の構成についてさらに述べれば、第１復号処理手段１０６はステップＳ６，Ｓ７，Ｓ８，Ｓ９，Ｓ１０のそれぞれに対応した機能を有する手段から構成され、第２復号処理手段１０８はステップＳ１１，Ｓ１２，Ｓ１３，Ｓ１４のそれぞれに対応した機能を有する手段から構成される。そして、本実施形態では、それら手段の機能は、図１３に示したようなコンピュータを利用しプログラムにより実現される。

以上、図７に示したようなＲＬＣＰプログレッションオーダの符号データを復号し、解像度プログレッシブ画像表示を行う例について説明したが、これは一例にすぎない。

例えば、図８に示したようなＬＲＣＰプログレッションオーダの符号データについて、画質プログレッシブ画像表示を行うこともできる。この場合、例えば、１回目にレイヤー０のパケット０〜１７を処理対象として指定し、その復号処理を行って低画質の表示画像データを生成し、２回目にレイヤー１のパケット１８〜３５を処理対象として追加指定し、それらパケットに対する第１復号処理を実行し、その結果データと１回目の第１復号処理の結果データを用いて第２復号処理を実行することにより、高画質の表示画像データを生成することができる。なお、この例のように上位レイヤーのパケットに対する第１復号処理と下位レイヤーに対する第１復号処理を分けて行う場合に、ステップＳ１０で、インデックス（コンポーネント番号、解像度レベル、プレシンクト番号、タイル番号）が同一の上位レイヤーのパケットと下位レイヤーのパケットより復号されたウェーブレット係数又はその量子化係数のビットプレーンを連結した形で記憶手段１０７に記憶させるようにしてもよい。

なお、ＪＰＥＧ２０００の符号データと同様な独立に処理可能な部分符号の集合から構成される、他のサブバンド符号化方式による符号データを対象として、同様の復号処理を実行する画像処理装置は、以上の説明から容易に実現可能であろう。この場合、そのサブバンド符号化方式による復号処理の、サブバンド係数又はその量子化係数を生成する処理までを第１復号処理手段１０６で実行し、それより後の処理を第２復号処理手段１０８で実行する構成とすればよい。そして、１回目の復号処理時に低解像度又は低画質のインデックスを持つ部分符号を処理対象として指定し、２回目以降の各回の復号処理時に、前回より高解像度又は高画質のインデックスを持つ部分符号を処理対象として追加指定することにより、解像度又は画質に関するプログレッシブ画像表示のための表示画像データを生成することが可能である。

＜第２の実施形態＞
図１１は本発明の第２の実施形態に係る画像処理装置２００のブロック図である。

例えば、サーバ側で画像データの符号化処理を実行し符号データを生成してクライアントへ送信し、クライアント側で符号データを復号し画像を表示するようなシステムにおいて、まずサーバから低解像度（低画質）の符号データをクライアントへ送信し、クライアント側で早い段階で画像の内容を把握できるようにし、その後、サーバから高解像度（高画質）の符号データをクライアントへ送信し、クライアント側で高解像度（高画質）の画像を表示できるようにしたい場合がある。この画像処理装置２００は、そのような場合の符号データ生成処理を効率よく行うことができる。

図１１において、２０１は処理対象の画像データを記憶するための記憶手段である。２０２はＪＰＥＧ２０００の符号化処理を実行する符号化処理手段である。２０３は符号化処理手段２０２の処理結果を用いて出力符号データ（ＪＰＥＧ２０００のコードストリーム）を生成する出力符号生成処理手段である。２０４は出力符号データを記憶するための記憶手段である。２０５は符号化処理等を制御するための制御手段である。

符号化処理手段２０２は、ＪＰＥＧ２０００の符号化処理を、その処理の流れに沿って第１符号化処理と第２符号化処理とに分け、それぞれを第１符号化処理手段２０６と第２符号化処理手段２０８とで実行する構成である。符号化処理手段２０２には、ＪＰＥＧ２０００の符号化処理の中間結果データである第１符号化処理の結果データ等を記憶するための記憶手段２０７も含まれる。

本実施形態の第１の実施例では、第１符号化処理の結果データはウェーブレット係数の量子化係数である。すなわち、第１の実施例では、ＪＰＥＧ２０００の符号化処理は、その量子化処理までを第１符号化処理に含め、エントロピー符号化処理以降を第２符号化処理に含めるように分割される。したがって、図１に示した機能ブロック構成と対照するならば、第１の実施例においては、図１１の中段に示すように、第１符号化処理手段２０６には色空間変換部２１１、ウェーブレット変換部２１２及び量子化部２１３が含まれ、一方、第２符号化処理手段２０８にはエントロピー符号化部２１４とタグ処理部２１５が含まれる。

本実施形態の第２の実施例では、第１符号化処理の結果データはウェーブレット係数である。すなわち、第２の実施例では、ＪＰＥＧ２０００の符号化処理は、ウェーブレット変換処理までを第１符号化処理に含め、量子化処理以降を第２符号化処理に含めるように分割される。したがって、図１に示した機能ブロック構成と対照するならば、第２の実施例においては、図１１の下段に示すように、第１符号化処理手段２０６には色空間変換部部２１１１とウェーブレット変換部２１２が含まれ、第２符号化処理手段２０８には量子化部２１３、エントロピー符号化部２１４及びタグ処理部２１５が含まれる。

本実施形態に係る画像処理装置２００は、例えば図１３に示すＣＰＵ３０１、メインメモリ３０２、ハードディスク装置３０３、ディスプレイ３０４、ディスプレイコントローラ３０５、入力装置（キーボードやマウス等のポインティングデバイス）、ネットワーク・インターフェース３０７等をバス３０８に接続したようなコンピュータを利用してプログラムにより実現される。そのためのプログラム、すなわち、図１１に示す画像処理装置２００を構成する各手段としてコンピュータを機能させるプログラムが、例えばハードディスク装置３０３よりメインメモリ３０２にロードされ、ＣＰＵ３０１で実行されることにより、コンピュータは画像処理装置２００として動作する。このようなプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種情報記録（記憶）媒体も本発明に包含される。

なお、画像処理装置２００の記憶手段２０１，２０４，２０７として、メインメモリ３０２上に割り当てられたメモリ領域が用いられる。処理される画像データは、例えばハードディスク装置３０３より読み出されてメインメモリ３０２上の記憶手段２０１に書き込まれる。

図１２は、画像処理装置２００の動作を説明するための概略フローチャートである。以下、このフローチャートに沿って画像処理装置２００の動作を説明する。

制御手段２０５は、符号化条件を設定する（ステップＳ２１）。設定される符号化条件とは、例えば、画像サイズ、タイルサイズ、プレシンクトサイズ、解像度レベル数、レイヤー数、コンポーネント数やプログレッションオーダ等である。

この符号化条件の設定により、最終的にどのような構造の符号データを生成するかが決まる。そして、画像処理装置２００は、そのような構造の符号データを生成するための符号化処理を２回以上に分けて順次実行する。

次に、制御手段２０５は、符号テーブルを記憶手段２０７上に作成する（ステップＳ２２）。この符号テーブルは、最終的に生成すべき符号データを構成する各パケット毎に、符号化処理の対象であるか否かの指定情報と、その処理が済んだか否かのフラグとを記憶するためのもので、パケットの属性を決定付ける５種類のインデックス（タイル番号、プレシンクト番号、コンポーネント番号、解像度レベル、レイヤー番号）により、対応した属性を持つパケットの情報を検索可能な５次元テーブルである。なお、タイル別に符号テーブルを作成することも可能であり、この場合、各タイルの符号テーブルは４種類のインデックス（プレシンクト番号、コンポーネント番号、解像度レベル、レイヤー番号）によりパケットの情報を検索可能な４次元テーブルとすればよい。

さて、制御手段２０５は、最終的に生成すべき符号データを構成するパケットの範囲内で、１回目の符号化処理の対象となるパケットを決定し、その指定情報を符号テーブルに書き込み（ステップＳ２４）、１回目の処理の開始を第１符号化処理手段２０６に指示する。例えば、解像度レベル０〜２のパケットからなる符号データを最終的に生成したい場合に、１回目の符号化処理で解像度レベル０，１のパケットのみからなる符号データを生成したいときには、解像度レベル０，１の属性を持つパケットを１回目の符号化処理の対象として指定する。

第１符号化処理手段２０６は、記憶手段２０１に記憶されている画像データを符号化条件で指定されたタイルサイズでタイル分割し、タイル番号０のタイルより順にタイルを選び、選んだタイルの画像データをプレシンクト単位で順に読み込む（ステップＳ２６）。第１符号化処理手段２０６は、符号テーブルを参照することにより、読み込んだプレシンクトの画像データが処理の対象であるか否かを判定する（ステップＳ２７）。符号テーブルにおいて、そのプレシンクト番号及びタイル番号を持つ１つ以上のパケットが処理対象に指定されていて、かつ、それらパケットに対する第１符号化処理のフラグがＯＦＦ（未処理）であるときに、該プレシンクトの画像データを処理対象と判断する。

第１符号処理手段２０６は、処理対象と判定したプレシンクトの画像データに対し第１符号化処理を行い（ステップＳ２８）、その結果データをパケットに対応させて記憶手段２０７に書き込む（ステップＳ２９）。すなわち、第１の実施例の場合には、色空間変換部２１１により色空間変換（必要ならばＤＣレベルシフトも）を行い、各コンポーネントのデータにウェーブレット変換部２１２でウェーブレット変換を行い、得られたウェーブレット係数に量子化部２１３で量子化を施し、その量子化係数を結果データとして記憶手段２０７に書き込む。第２の実施例の場合は、ウェーブレット変換までの処理を行い、得られたウェーブレット係数を結果データとして記憶手段２０７に書き込む。ステップＳ２９において、第１符号化処理手段２０６は、処理したプレシンクトに対応したプレシンクト番号及びタイル番号を持つ全てのパケットについて、符号テーブル上の第１符号化処理のフラグをＯＮ（処理済み）に設定する処理も行う。

以上の処理が各タイルに対して繰り返され、最後のタイルの最後のプレシンクトの画像データまで処理されると、１回目の符号化処理の第１符号化処理は終了したと判断され（ステップＳ２５）、制御手段２０５は第２符号化処理手段２０８に１回目の処理の開始を指示する。

第２符号化処理手段２０８は、符号化条件として指定されたプログレッションオーダに対応した前述したようなｆｏｒループに従って、各パケットに対応した第１符号化処理の結果データ（ウェーブレット係数又はその量子化係数）を記憶手段２０７より順次読み込み（ステップＳ３１）、符号テーブルにおいて該パケットが処理対象として指定されていて、かつ、該パケットの第２符号化処理のフラグがＯＦＦ（未処理）であるならば処理対象であると判断し（ステップＳ３２，Ｙｅｓ）、該パケットに関する第２符号化処理を実行し、この際、該パケットの第２符号化処理のフラグをＯＮ（処理済み）に設定する（ステップＳ３３）。すなわち、第１の実施例の場合、記憶手段２０７よりウェーブレット係数の量子化係数を読み込み、これに対しエントロピー符号化部２１４でエントロピー符号化を行い、その符号からタグ処理部２１５でパケットを生成する。なお、ＪＰＥＧ２０００の符号データに必要なメインヘッダ、タイルパートヘッダ等のタグ情報やタグもタグ処理部２１５で生成される。

なお、第２符号化処理手段２０８は、ステップＳ３３において、エントロピー符号化部２１４の処理終了時の「内部状態」を記憶手段２０７に保存する。この内部状態とは、エントロピー符号化部２１４の算術符号化器に処理される各係数の優位性の状態（Significantフラグ）と算術符号化器のレジスタの状態である。また、第２符号化処理手段２０８は、ステップＳ３３において、最上位レイヤー以外のレイヤーのパケットのエントロピー符号化処理を行う場合には、処理に先立って、記憶手段２０７に保存されている「内部状態」を読み込んで、エントロピー符号化部２１４を以前の上位レイヤー・パケットの処理時の状態に復旧させる制御を行う。このような制御を行うことにより、最上位レイヤーのパケットからエントロピー符号化を再度行うことなく、下位レイヤーのパケットのエントロピー符号化を行うことが可能となる。本実施形態では「内部状態」を記憶手段２０７に保存したが、第２符号化処理手段２０８の内部に「内部状態」を保存するための記憶手段を備えてもよいことは当然である。

第２符号化処理手段２０８の同様の処理が繰り返されることにより、１回目の符号化処理の対象として指定されたパケット（例えば解像度レベル０，１のパケット）が指定されたプログレッションオーダの順に生成され、メインヘッダやタイルパートヘッダ、その他のタグを付加されて順次出力される。出力符号生成処理手段２０３は、第２符号化処理手段２０８より出力されたパケット、タグ情報、タグを記憶手段２０４に順次記憶させる処理を行う。

以上の１回目の第２符号化処理が完了すると（ステップＳ３０，Ｙｅｓ）、上記例の場合、出力符号データとして、解像度レベル０，１のパケットからなるＪＰＥＧ２０００の符号データが記憶手段２０４上に生成される。

次に、制御手段２０５は、最終的に生成すべき符号データを構成するパケットの範囲内で、２回目の符号化処理の対象として追加するパケットを決定し、その指定情報を符号テーブルに書き込み（ステップＳ２４）、２回目の処理の開始を第１符号化処理手段２０６に指示する。上記例の場合、解像度レベル２の属性を持つパケットを処理対象として追加指定する。

第１符号化処理手段２０６は１回目の処理時と同様の処理を実行する。上記例のように、特定の領域（タイル、プレシンクト）を除外しない符号化条件での符号化処理の場合、生成すべき全てのパケットに関連したタイル、プレシンクトの画像データについての第１符号化処理は１回目の処理時に終了しており、全てのパケットに対する第１符号化処理フラグがＯＮに設定済みとなっている。したがって、全てのプレシンクトの画像データについてステップＳ２７で処理対象でないと判定される結果、実際にはプレシンクト単位で画像データが読み捨てされ、同じパケットについて第１符号化処理が重複して実行されることはない。

第１符号化処理手段２０６の２回目の処理が終了すると（ステップＳ２５，Ｙｅｓ）、制御手段２０５は第２符号化処理手段２０８に２回目の処理の開始を指示する。第２符号化処理手段２０８は１回目と同様の処理を行うが、第２符号化処理のフラグがＯＮ（処理済み）のパケットを処理対象から除外し（ステップＳ３２）、符号化処理対象として指定されたパケットのうち１回目で処理されなかったパケットについてのみ第２符号化処理（ステップＳ３３）を実行する。つまり、上記例の場合であれば、解像度レベル０〜２のパケット群のうち、解像度レベル２のパケットについてのみ第２符号化処理が実行される。したがって、２回目の符号化処理対象として指定されたパケットが生成され、第２符号化処理手段２０８より、これらパケットと必要なタイルパートヘッダが順次出力され、最後に更新されたメインヘッダが出力される。出力符号生成処理手段２０３は、第２符号化処理手段２０８より出力されるパケットやタイルパートヘッダ等を、記憶手段２０４内に１回目の符号化処理時に生成済みの出力符号データに結合する形で順次書き込み、最後に更新されたメインヘッダが入力されると、該メインヘッダにより旧メインヘッダを書き替える。かくして、上記例の場合、解像度レベル０〜２のパケットからなる、より高い解像度の出力符号データとして記憶手段２０４上に生成される。すなわち、出力符号生成処理手段２０３は、１回目の符号化処理時においては、符号化処理手段２０２から出力された符号データをそのまま出力符号データとして記憶手段２０４に生成し、２回目（それ以降の各回）の符号化処理時においては、符号化処理手段２０２より出力された符号データと、生成済みの出力符号データとを合成することにより新しい出力符号データを生成するわけである。

そして、上記例の場合、２回目の処理が終了すると（ステップＳ３０，Ｙｅｓ）、処理は完了したと判断される（ステップＳ２３，Ｙｅｓ）。符号化処理を３回以上に分けて実行する場合には、３回目以降の同様の処理が繰り返される。

以上のように、本実施形態においては、符号化処理は複数回に分けて実行されるが、第１符号化処理及び第２符号化処理のいずれにおいても同一パケットに関し処理が重複して行われることはない。したがって、符号化処理全体を単純に繰り返し実行する方法に比べ、処理を効率的に行うことができる。

ここで、図１２との関連で符号化処理手段２０２の構成についてさらに述べれば、第１符号化処理手段２０６はステップＳ２５，Ｓ２６，Ｓ２７，Ｓ２８，Ｓ２９それぞれに対応した機能を有する手段から構成され、第２符号化処理手段２０８はステップＳ３０，Ｓ３１，Ｓ３２，Ｓ３３それぞれに対応した機能を有する手段から構成される。そして、本実施形態では、それら手段の機能は、図１３に示したようなコンピュータを利用しプログラムにより実現される。

さて、上記例では、１回目の処理で低解像度の出力符号データを生成し、２回目の処理でより高解像度の出力符号データを生成した。したがって、低解像度の出力符号データが生成された時点で、それをクライアントへ送信し、その後、高解像度の出力符号データが生成された時点でそれをクライアントへ送信するならば、クライアント側では、早い段階で低解像度画像を表示させて画像の内容を確認することができ、その後に精細な画像を表示させることができる。

なお、複数レイヤーの符号データを生成する処理を２回以上に分割して行い、１回目の処理で上位レイヤーのみのパケットからなる低画質の出力符号データを生成し、２回目以降の処理で、より下位レイヤーのパケットを含む、より高画質の出力符号データを生成することもできる。

以上に説明した画像処理装置２００は、請求項１に係る発明の一実施形態であり、また画像処理装置２００としてコンピュータを動作させるためのプログラムは請求項３に係る発明の一実施形態である。また、画像処理装置２００による画像処理手順は請求項２に係る発明の一実施形態でもある。

また、ＪＰＥＧ２０００の符号データと同様な独立に処理可能な部分符号の集合から構成される符号データを生成する、他のサブバンド符号化方式を利用し、同様の符号化処理を実行する画像処理装置は、以上の説明から容易に実現可能であろう。この場合、そのサブバンド符号化方式による符号化処理の、サブバンド係数又はその量子化係数を生成する処理までを第１符号化処理手段２０６で実行し、それより後の処理を第２符号化処理手段２０８で実行する構成とすればよい。そして、１回目の符号化処理時に低解像度又は低画質のインデックスを持つ部分符号を処理対象として指定し、２回目以降の各回の符号化処理時に、前回より高解像度又は高画質のインデックスを持つ部分符号を処理対象として追加指定することにより、解像度又は画質を徐々に向上させた符号データを生成することが可能である。

ＪＰＥＧ２０００の概要を説明するための概略ブロック図である。 ＪＰＥＧ２０００の符号化処理フローの説明図である。 ＪＰＥＧ２０００の復号処理フローの説明図である。 ウェーブレット変換によるサブバンド分割の例を示す図である。 画像、タイル、プレシンクト、コードブロックの説明図である。 レイヤー分割とレイヤーを構成するパケットの例を示す図である。 ＲＬＣＰプログレッションオーダによるパケット配列の例を示す図である。 ＬＲＣＰプログレッションオーダによるパケット配列の例を示す図である。 本発明の第１の実施形態に係る画像処理装置の構成を説明するためのブロック図である。 第１の実施形態に係る画像処理装置の動作を説明するためのフローチャートである。 本発明の第２の実施形態に係る画像処理装置の構成を説明するためのブロック図である。 第２の実施形態に係る画像処理装置の動作を説明するためのフローチャートである。 本発明の各実施形態に係る画像処理装置の実現のために利用可能なコンピュータの構成例を示すブロック図である。

符号の説明

１００ 画像処理装置
１０１ 記憶手段
１０２ 復号処理手段
１０３ 表示画像生成処理手段
１０４ 記憶手段
１０５ 制御手段
１０６ 第１復号処理手段
１０７ 記憶手段
１０８ 第２復号処理手段
２００ 画像処理装置
２０１ 記憶手段
２０２ 符号化処理手段
２０３ 出力符号生成処理手段
２０４ 記憶手段
２０５ 制御手段
２０６ 第１符号化処理手段
２０７ 記憶手段
２０８ 第２符号化処理手段

Claims (4)

1. 処理対象画像データに対しＪＰＥＧ２０００の符号化処理を複数回に分けて実行する符号化処理手段と、
   前記符号化処理手段より第１回の符号化処理時に出力される符号データをそのまま出力符号データとして生成し、前記符号化処理手段より第２回以降の各回の符号化処理時に出力される符号データを前回の符号化処理時に生成済みの出力符号データと合成した新たな出力符号データを生成する出力符号生成処理手段と、
   前記符号化処理手段及び前記出力符号生成処理手段を制御する制御手段とを有し、
   前記符号化処理手段は、ＪＰＥＧ２０００の符号化処理の、ウェーブレット係数又はその量子化係数を生成するまでの処理（以下、第１符号化処理と記す）を実行するための第１符号化処理手段、ＪＰＥＧ２０００の符号化処理の第１符号化処理より後の処理（以下、第２符号化処理と記す）を実行するための第２符号化処理手段、及び、前記第１符号化処理手段により生成されるウェーブレット係数又はその量子化係数（以下、結果データと記す）を保存するための記憶手段を含み、
   前記制御手段は、前記符号化処理手段による各回の符号化処理時に前記出力符号生成処理手段により生成される出力符号データの解像度又は画質が前回の符号化処理時に生成された出力符号データの解像度又は画質より向上するように、前記出力符号生成処理手段により最終的に生成されるべき出力符号データを構成するパケットの範囲内で、前記符号化処理手段による各回の符号化処理時の処理対象として指定するパケットを決定し、
   前記符号化処理手段は、第１回の符号化処理時に、前記制御手段よって処理対象として指定されたパケットに関連した、前記処理対象画像データの画像領域についてのみ前記第１符号化処理手段で第１符号化処理を実行し、その結果データを前記記憶手段に保存し、前記前記第２符号化処理手段で前記記憶手段に保存されている結果データを用い当該指定されたパケットを生成するための第２符号化処理を実行することにより、当該指定されたパケットを含む符号データを出力し、
   前記符号化処理手段は、第２回以降の各回の符号化処理時に、前記制御手段によって処理対象として指定されたパケットに関連した、前記処理対象画像データの画像領域であって前回までの符号化処理で未処理の画像領域についてのみ前記第１符号化処理手段で第１符号化処理を実行し、その結果データを前記記憶手段に保存し、前記第２符号化処理手段で前記記憶手段に保存されている結果データを用い当該指定されたパケットを生成するための第２符号化処理を実行することにより当該指定されたパケットを含む符号データを出力する、ことを特徴とする画像処理装置。
2. 処理対象画像データに対しＪＰＥＧ２０００の符号化処理を複数回に分けて実行する符号化処理工程と、
   前記符号化処理工程より第１回の符号化処理時に出力される符号データをそのまま出力符号データとして生成し、前記符号化処理工程より第２回以降の各回の符号化処理時に出力される符号データを前回の符号化処理時に生成済みの出力符号データと合成した新たな出力符号データを生成する出力符号生成処理工程と、
   前記符号化処理工程及び前記出力符号生成処理工程を制御する制御工程とを有し、
   前記符号化処理工程は、ＪＰＥＧ２０００の符号化処理の、ウェーブレット係数又はその量子化係数を生成するまでの処理（以下、第１符号化処理と記す）を実行するための第１符号化処理工程、ＪＰＥＧ２０００の符号化処理の第１符号化処理より後の処理（以下、第２符号化処理と記す）を実行するための第２符号化処理工程、及び、前記第１符号化処理工程により生成されるウェーブレット係数又はその量子化係数（以下、結果データと記す）を記憶手段に保存する保存工程を含み、
   前記制御工程は、前記符号化処理工程による各回の符号化処理時に前記出力符号生成処理工程により生成される出力符号データの解像度又は画質が前回の符号化処理時に生成された出力符号データの解像度又は画質より向上するように、前記出力符号生成処理工程により最終的に生成されるべき出力符号データを構成するパケットの範囲内で、前記符号化処理工程による各回の符号化処理時の処理対象として指定するパケットを決定し、
   前記符号化処理工程において、第１回の符号化処理時に、前記制御工程よって処理対象として指定されたパケットに関連した、前記処理対象画像データの画像領域についてのみ前記第１符号化処理工程で第１符号化処理を実行し、その結果データを前記保存工程で前記記憶手段に保存し、前記第２符号化処理工程で前記記憶手段に保存されている結果データを用い当該指定されたパケットを生成するための第２符号化処理を実行することにより、当該指定されたパケットを含む符号データを出力し、
   前記符号化処理工程において、第２回以降の各回の符号化処理時に、前記制御工程によって処理対象として指定されたパケットに関連した、前記処理対象画像データの画像領域であって前回までの符号化処理で未処理の画像領域についてのみ前記第１符号化処理工程で第１符号化処理を実行し、その結果データを前記保存工程で前記記憶手段に保存し、前記第２符号化処理工程で前記記憶手段に保存されている結果データを用い当該指定されたパケットを生成するための第２符号化処理を実行することにより当該指定されたパケットを含む符号データを出力する、ことを特徴とする画像処理方法。
3. 処理対象画像データに対しＪＰＥＧ２０００の符号化処理を複数回に分けて実行する符号化処理手段と、
   前記符号化処理手段より第１回の符号化処理時に出力される符号データをそのまま出力符号データとして生成し、前記符号化処理手段より第２回以降の各回の符号化処理時に出力される符号データを前回の符号化処理時に生成済みの出力符号データと合成した新たな出力符号データを生成する出力符号生成処理手段と、
   前記符号化処理手段及び前記出力符号生成処理手段を制御する制御手段とを有し、
   前記符号化処理手段は、ＪＰＥＧ２０００の符号化処理の、ウェーブレット係数又はその量子化係数を生成するまでの処理（以下、第１符号化処理と記す）を実行するための第１符号化処理手段、ＪＰＥＧ２０００の符号化処理の第１符号化処理より後の処理（以下、第２符号化処理と記す）を実行するための第２符号化処理手段、及び、前記第１符号化処理手段により生成されるウェーブレット係数又はその量子化係数（以下、結果データと記す）を保存するための記憶手段を含み、
   前記制御手段は、前記符号化処理手段による各回の符号化処理時に前記出力符号生成処理手段により生成される出力符号データの解像度又は画質が前回の符号化処理時に生成された出力符号データの解像度又は画質より向上するように、前記出力符号生成処理手段により最終的に生成されるべき出力符号データを構成するパケットの範囲内で、前記符号化処理手段による各回の符号化処理時の処理対象として指定するパケットを決定し、
   前記符号化処理手段は、第１回の符号化処理時に、前記制御手段よって処理対象として指定されたパケットに関連した、前記処理対象画像データの画像領域についてのみ前記第１符号化処理手段で第１符号化処理を実行し、その結果データを前記記憶手段に保存し、前記前記第２符号化処理手段で前記記憶手段に保存されている結果データを用い当該指定されたパケットを生成するための第２符号化処理を実行することにより、当該指定されたパケットを含む符号データを出力し、
   前記符号化処理手段は、第２回以降の各回の符号化処理時に、前記制御手段によって処理対象として指定されたパケットに関連した、前記処理対象画像データの画像領域であって前回までの符号化処理で未処理の画像領域についてのみ前記第１符号化処理手段で第１符号化処理を実行し、その結果データを前記記憶手段に保存し、前記第２符号化処理手段で前記記憶手段に保存されている結果データを用い当該指定されたパケットを生成するための第２符号化処理を実行することにより当該指定されたパケットを含む符号データを出力する、ことを特徴とする画像処理装置としてコンピュータを動作させるため、前記各手段としてコンピュータを機能させるプログラム。
4. 請求項３記載のプログラムが記録されたコンピュータが読み取り可能な情報記録媒体。

Images