JP4360379B2 - 画像処理装置及び画像処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、入力画像をフィルタバンクによって帯域分析し、複数のサブバンドに分割し、複数のサブバンドに分割された画像をフィルタバンクによって帯域合成する画像処理装置及び画像処理方法、プログラム及び記録媒体に関する。

従来の代表的な画像圧縮方式として、ＩＳＯ（International Standards Organization）によって標準化されたＪＰＥＧ（Joint Photographic Experts Group）方式がある。これは、離散コサイン変換（Descrete Cosine Transform；ＤＣＴ）を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像及び復号画像を供することが知られている。しかし、ある程度以上に符号化ビット数を少なくすると、ＤＣＴ変換特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。

一方、近年ではフィルタバンクと呼ばれる低域フィルタと高域フィルタとを組み合わせたフィルタによって画像を複数の帯域（サブバンド）に分割し、サブバンド毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、ＤＣＴ変換のように高圧縮でブロック歪みが顕著になるという欠点がないことから、ＤＣＴ変換に代わる新たな技術として有力視されている。

２００１年１月に国際標準化が完了したＪＰＥＧ２０００方式は、このウェーブレット変換と、高能率なエントロピー符号化（ビットプレーン単位のビットモデリングと算術符号化）とを組み合わせた方式を採用しており、ＪＰＥＧ方式に比べて符号化効率の大きな改善を実現している。

C. Chrysafis and A. Ortega,"Line Based, Reduced Memory, Wavelet Image Compression.", IEEE Trans. Image Processing, Vol.9, pp.378-389, March 2000

ところで、ウェーブレット変換は、基本的に画像全体に対して分析フィルタリングを行うものであるため、画像全体の画素数と同程度のウェーブレット変換係数を記憶・保持しておく必要がある。したがって、画像の解像度が大きいと高容量のメモリが必要になり、ハードウェア開発等で大きな制約となる。

この問題に対して、省メモリのウェーブレット変換方法が幾つか提案されているが、その中でもラインベース・ウェーブレット変換は有力な方法の１つである（例えば、非特許文献１を参照）。この非特許文献１に記載された技術によれば、画像の入力ライン数が所定数になり次第、ウェーブレット変換を施すため、画像全体に対してウェーブレット変換を施す場合と全く同じウェーブレット変換係数を得ながら、必要なメモリ容量を大幅に削減することができ、且つウェーブレット変換を開始するまでの遅延時間を短くすることができる。

しかしながら、例えばリアルタイムに画像を符号化して伝送すると共に、受信して復号するような装置を実現するには、画像の符号化から、符号化コードストリームを復号して画像を復元するまでの遅延時間をさらに短くすることが必要であり、また、ハードウェア開発においてはさらなる省メモリ化が望まれている。

本発明は、このような従来の実情に鑑みて提案されたものであり、省メモリ且つ低遅延で画像の帯域分析・帯域合成を行い、そのような帯域分析・帯域合成を行いながら画像を符号化・復号する画像処理装置及びその方法、プログラム及び記録媒体を提供することを目的とする。

上述した目的を達成するために、本発明に係る画像処理装置は、画像データに対して、水平方向の分析フィルタリングをライン毎に行い、周波数成分の係数を生成する水平分析フィルタリング手段と、上記水平分析フィルタリング手段によって生成された周波数成分の係数に対して、垂直方向の分析フィルタリングを行い、複数のサブバンドの係数データを生成する垂直分析フィルタリング手段と、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとで構成されたラインブロック毎に量子化ステップサイズを設定して、上記垂直分析フィルタリング手段によって生成された複数のサブバンドの係数データを量子化する量子化手段とを備える。

また、本発明に係る画像処理装置は、画像データに対して水平方向の分析フィルタリングと垂直方向の分析フィルタリングとを行うことにより生成された複数のサブバンドの係数データを量子化されて生成された量子化係数データを、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとで構成されたラインブロック毎に逆量子化して、複数のサブバンドの係数データを生成する逆量子化手段と、上記逆量子化手段により生成されたサブバンドの係数データに対して、垂直方向の合成フィルタリングを行い、周波数成分の係数を生成する垂直合成フィルタリング手段と、上記垂直合成フィルタリング手段によって生成された周波数成分の係数に対して、水平方向の合成フィルタリングを行い、複数のサブバンドを合成する水平合成フィルタリング手段とを備える。

また、本発明に係る画像処理装置は、画像データに対して、水平方向の分析フィルタリングをライン毎に行い、周波数成分の係数を生成する水平分析フィルタリング手段と、上記水平分析フィルタリング手段によって生成された周波数成分の係数に対して、垂直方向の分析フィルタリングを行い、複数のサブバンドの係数データを生成する垂直分析フィルタリング手段と、上記垂直フィルタリング処理を行いながら、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとでラインブロックを構成する構成手段とを備える。

また、本発明に係る画像処理装置は、画像データに対して水平方向の分析フィルタリングと垂直方向の分析フィルタリングとを行うことにより生成された複数のサブバンドの係数データに対して、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとでラインブロックを構成する構成手段と、サブバンドの係数データに対して、垂直方向の合成フィルタリングを行い、周波数成分の係数を生成する垂直合成フィルタリング手段と、上記垂直合成フィルタリング手段によって生成された周波数成分の係数に対して、水平方向の合成フィルタリングを行い、複数のサブバンドを合成する水平合成フィルタリング手段とを備える。

また、本発明に係るプログラムは、上述した帯域分析処理、帯域合成処理、画像符号化処理、画像復号処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。

本発明によれば、省メモリ且つ低遅延で画像データの帯域分析・帯域合成を行うことができ、また、そのような帯域分析・帯域合成を行いながら画像データを符号化・復号することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

（第１の実施の形態）
第１の実施の形態では、入力されたビデオ信号を分析フィルタバンクによって帯域分析し、複数のサブバンドに分割する帯域分析装置について説明する。

第１の実施の形態における帯域分析装置の概略構成を図１に示す。図１に示すように、帯域分析装置１０は、画像ライン入力部１１と、コラムバッファ部１２と、水平分析フィルタ部１３と、垂直分析フィルタ部１４とから構成されている。

画像ライン入力部１１は、ビデオ信号Ｄ１０をライン毎に入力し、画像ラインのデータ列Ｄ１１をコラムバッファ部１２に供給する。

ビデオ信号は通常規格で定められており、例えば現在我々が視聴しているテレビジョン放送の規格はＮＴＳＣ（National Television Standards Committee）方式である。また、ＨＤＴＶ（High Definition TeleVision）方式は、米国の規格化団体ＳＭＰＴＥ（The Society of Motion Picture and Television Engineers）によってＳＭＰＴＥ２７４Ｍという規格番号で標準化されている。ここではＨＤＴＶ方式（１９２０×１０８０の解像度）を例に取って説明する。

ＨＤＴＶ方式のビデオ信号のデータの構成要素を図２（Ａ）に示す。輝度信号Ｙの実サンプルデータ数は１ライン当り１９２０サンプルであり、Ｙの実サンプルデータの前に、ＥＡＶ（End of Active Video）、ＳＡＶ（Start of Active Video）のサンプルデータが置かれる。これらは計２８０サンプル存在することになっている。この構成は色差信号Ｃｂ，Ｃｒについても同様であるが、４：２：２フォーマットであり、Ｃｂ，Ｃｒの実サンプルデータ数は各々Ｙの半分であるため、ＣｂとＣｒとを合わせてＹと同数になる。このＹとＣｂ，Ｃｒとを多重化すると、図２（Ｂ）に示すように、ＥＡＶ及びＳＡＶで計５６０サンプル、Ｙ，Ｃｂ，Ｃｒで計３８４０サンプルのデータが生成される。

したがって、ＨＤＴＶ方式のＳＭＰＴＥ２７４Ｍ規格（通称ＨＤ−ＳＤＩ規格）の信号をビデオ信号Ｄ１０として入力した場合、画像ラインのデータ列Ｄ１１は、図２（Ｂ）の多重化されたサンプルデータになる。以降、これを前提として説明を続ける。

コラムバッファ部１２は、画像ラインのデータ列Ｄ１１をコラム（列）毎に記憶・保持し、図３及び図４に示すように、Ｍコラム分だけ記憶するまで、これを継続する。このＭの値は、水平フィルタリングのタップ数に対応しており、タップ数が大きければその分だけＭの値は大きくなる。

水平分析フィルタ部１３は、Ｍコラム分のコラムデータＤ１２を順次読み出し、水平方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この水平フィルタリングにより、図５に示すように、水平分割結果の低域成分（Ｌ）及び高域成分（Ｈ）Ｄ１３が生成される。

垂直分析フィルタ部１４は、図３及び図５に示すように、低域成分及び高域成分Ｄ１３のライン数がＮラインになり次第、垂直方向の低域分析フィルタリングと高域分析フィルタリングとを行う。このＮの値は、垂直フィルタリングのタップ数に対応しており、タップ数が大きければその分だけＮの値は大きくなる。この垂直フィルタリングにより、図３及び図６に示すように、垂直分割結果の低域成分（１ＬＬ）Ｄ１４と、高域成分（１ＨＬ、１ＬＨ、１ＨＨ）Ｄ１５とが生成される。なお、図３及び図６における“Ｌ”及び“Ｈ”の順序は、前側が水平フィルタリングを行った結果の帯域を示し、後側が垂直フィルタリングを行った結果の帯域を示す。また、“Ｌ”及び“Ｈ”の前の数字は分割レベルを示す。

以上が分割レベル＝１の分析フィルタリングであり、この結果、垂直分析フィルタ部１４において低域成分（１ＬＬ）Ｄ１４と、高域成分（１ＨＬ、１ＬＨ、１ＨＨ）Ｄ１５とが生成される。

ここで、ウェーブレット変換において、分析フィルタリングの過程で生成された高域成分は通常それ以上に分析されない。そこで、本実施の形態においても、高域成分（１ＨＬ、１ＬＨ、１ＨＨ）Ｄ１５は、さらに分析されることなく外部に出力されることとする。一方、低域成分（１ＬＬ）Ｄ１４は、さらに分析フィルタバンクによって分析するため、コラムバッファ部１２に供給される。そして、コラムバッファ部１２において再び水平方向の分析フィルタリングが可能になるだけのコラム数がバッファリングされた時点で、直ちに分割レベル＝２の分析フィルタリングが行われる。このように、低域成分が繰り返し分析されるのは、画像信号のエネルギの大部分が低域成分に集中しているためである。

分割レベル＝２の分析フィルタリングでは、水平分析フィルタ部１３は、Ｍコラム分のコラムデータＤ１２を順次読み出し、水平方向の低域分析フィルタリングと高域分析フィルタリングとを行う。そして、垂直分析フィルタ部１４は、図６に示すように、低域成分及び高域成分Ｄ１３のライン数がＮ／２ラインになり次第、垂直方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この垂直フィルタリングにより、図７に示すように、低域成分（２ＬＬ）と、高域成分（２ＨＬ、２ＬＨ、２ＨＨ）とが生成される。図７から分かるように、分割レベル＝１の１ＬＬのサブバンドが、２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨの４つのサブバンドに分割されている。

さらに分割レベル数を増やす場合には、低域成分に対して繰り返し分析フィルタリングを行えばよい。実際の画像を分析フィルタリングによって分割レベル＝３まで帯域分割した例を図８に示す。

上述した分析フィルタリングで最も一般的な演算方法は、畳み込み演算と呼ばれる方法である。この畳み込み演算は、デジタルフィルタの最も基本的な実現手段であり、フィルタのタップ係数に実際の入力データを畳み込み乗算するものである。しかしながら、この畳み込み演算では、タップ長が長いとその分計算負荷が増えるという問題がある。

これを解決する方法として、論文「W. Swelden,“The lifting scheme: A custom-design construction of Biorthogonal wavelets.”, Appl. Comput. Harmon. Anal., vol.3, no.2, pp.186-200, 1996」で紹介されたウェーブレット変換のリフティング技術が知られている。

ＪＰＥＧ２０００規格でも採用されている５×３分析フィルタのリフティング構成を図９に示す。５×３分析フィルタに対してリフティング技術を適用したときの分析フィルタリングについて、この図９を用いて概略的に説明する。

図９において、最上段部、中段部及び最下段部は、入力画像の画素列、高域成分出力及び低域成分出力を示す。最上段部は、入力画像の画素列に限らず、先の分析フィルタリングで得られた係数であってもよい。ここでは、最上段部が入力画像の画素列であるものとし、四角印（■）が偶数番目の画素又はライン、丸印（●）が奇数番目の画素又はラインとする。

先ず第１段階として、下記式（１）のように入力画素列から高域成分の係数ｄ_ｉ ^１を生成する。
ｄ_ｉ ^１＝ｄ_ｉ ^０−１／２（ｓ_ｉ ^０＋ｓ_ｉ＋１ ^０） ・・・(1)
次に第２段階として、この生成された高域成分の係数と、入力画素列の奇数番目の画素とを用いて、下記式（２）のように低域成分の係数ｓ_ｉ ^１を生成する。
ｓ_ｉ ^１＝ｓ_ｉ ^０＋１／４（ｄ_ｉ−１ ^１＋ｄ_ｉ ^１） ・・・(2)
分析フィルタリングでは、このように先ず高域成分を生成した後に低域成分を生成する。この際に用いる２種類のフィルタバンクは、Ｚ変換表現すれば、Ｐ（ｚ）＝（１＋ｚ^−１）／２、Ｕ（ｚ）＝（１＋ｚ^−１）／４という、僅か２タップのフィルタになる。つまり、本来５タップ必要なフィルタが２タップで済むことになり、計算量を大幅に低減することができる。そこで、帯域分析装置１０においても、水平フィルタリング及び垂直フィルタリングに、このリフティング技術を適用することが好ましい。

ここで、画像ラインのデータ列Ｄ１１は、上述したように輝度信号Ｙと色差信号Ｃｂ，Ｃｒとが多重化されたものである。この場合、各コンポーネント（Ｙ，Ｃｂ，Ｃｒ）のサンプリングレートを利用することで、分析フィルタリングを効果的に実現することができる。すなわち、図１０に示すように、Ｙは２サイクルに１度の割合でデータが入力されるのに対して、Ｃｂ、Ｃｒは４サイクルに１度の割合でしかデータが入力されない。したがって、Ｙ，Ｃｂ，Ｃｒの入力データの時間差を使って、順次分析フィルタリングを行うことにより、１個の分析フィルタバンクだけで、Ｙ，Ｃｂ，Ｃｒのフィルタリングを遅延なく実行することが可能となる。

また、上述した分析フィルタリングは、ビデオ信号を構成するピクチャ（フィールド、フレーム）単位で行われるため、ピクチャの終端を検知し、分析フィルタリングの動作を停止してリセットする必要がある。

ここで、ピクチャの終端を検知するには、ビデオ信号の垂直同期信号を検出する手段を画像ライン入力部１１に内蔵すればよい。一例として、ＳＭＰＴＥ２７４Ｍ規格の信号のうち、インタレース信号の信号分布図を図１１に示す。この図１１において、上段は第１フィールド、下段は第２フィールドを示す。図１１に示すように、第１フィールドの先頭には２２ライン分の垂直同期信号が存在し、第２フィールドの先頭には２３ラインの垂直同期信号が存在している。したがって、これらの垂直同期信号により、容易にピクチャの終端を検出することができ、検出次第、分析フィルタリングの動作を停止することができる。

ところで、前述したように、既存のウェーブレット変換方法としては、非特許文献１に記載されたようなラインベース・ウェーブレット変換が知られている。

このラインベース・ウェーブレット変換を実現する帯域分析装置の概略構成を図１２に示す。図１２に示すように、帯域分析装置１００は、画像ライン入力部１０１と、ラインバッファ部１０２と、垂直分析フィルタ部１０３と、水平分析フィルタ部１０４とから構成されている。

画像ライン入力部１０１は、ビデオ信号Ｄ１００をライン毎に入力し、画像ラインのデータ列Ｄ１０１をラインバッファ部１０２に供給する。

ラインバッファ部１０２は、画像ラインのデータ列Ｄ１０１をライン毎に記憶・保持し、図１３に示すように、Ｎライン分だけ記憶するまで、これを継続する。

垂直分析フィルタ部１０３は、図１３に示すように、Ｎライン分のラインデータＤ１０２を順次読み出し、垂直方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この垂直フィルタリングにより、垂直分割結果の低域成分（Ｌ）及び高域成分（Ｈ）Ｄ１０３が生成される。

水平分析フィルタ部１０４は、図１３に示すように、低域成分及び高域成分Ｄ１０３のコラム数がＭコラムになり次第、水平方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この水平フィルタリングにより、水平分割結果の低域成分（１ＬＬ）Ｄ１０４と、高域成分（１ＨＬ、１ＬＨ、１ＨＨ）Ｄ１０５とが生成される。

このように、非特許文献１に記載されたラインベース・ウェーブレット変換と、上述した帯域分析装置１０におけるウェーブレット変換とでは、結果的に生成されるサブバンドは全く同じである。

しかしながら、ラインベース・ウェーブレット変換では、図１３に示したように、画像の水平サイズ×Ｎライン分のバッファリングが必要になる。また、これだけのバッファリングを完了した後でないと垂直フィルタリングを行えないため、垂直フィルタリングを開始するまでの時間が遅延時間となる。

これに対して、帯域分析装置１０におけるウェーブレット変換では、図３に示したように、コラムバッファに必要な容量は１ライン×Ｍコラムだけでよいため、ラインバッファに比べて大幅にメモリ容量を削減することができる。しかも、このコラムバッファ分のデータが入力され次第、水平方向の分析フィルタリングが開始できるため、ラインベース・ウェーブレット変換に比べて、ウェーブレット変換を開始するまでの遅延時間を大幅に短縮することができる。

（第２の実施の形態）
上述した第１の実施の形態では、ウェーブレット変換を行ってビデオ信号を複数のサブバンドに分割する帯域分析装置１０について説明したが、ウェーブレット変換は、通常、画像圧縮の前処理として多用されている。そこで、第２の実施の形態では、ウェーブレット変換により生成される係数データを圧縮符号化する画像符号化装置について説明する。

第２の実施の形態における画像符号化装置の概略構成を図１４に示す。図１４に示すように、画像符号化装置２０は、分析フィルタバンク部２１と、量子化部２２と、エントロピー符号化部２３と、レート制御部２４とから構成されている。

分析フィルタバンク部２１は、図１に示した帯域分析装置１０と同様の構成とされる。すなわち、分析フィルタバンク部２１は、入力したビデオ信号Ｄ２０に対して分析フィルタリングを行い、分析後の係数データＤ２１を量子化部２２に供給する。例えば、分割レベル＝２の分析フィルタリングでは、図８のように分割レベル＝１の分析フィルタリングで生成される１ＬＬの４ラインをウェーブレット変換することで、２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨの２ラインが得られる。分割レベル＝３の分析フィルタリングでは、２ＬＬの２ラインをウェーブレット変換することで、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨの１ラインが得られる。分割レベル＝３が最終の分析フィルタリングであった場合には、３ＬＬが最低域になる。

量子化部２２は、分析フィルタバンク部２１によって生成される係数データＤ２１を例えば量子化ステップサイズで除算することにより量子化し、量子化係数データＤ２２を生成する。

この際、量子化部２２は、生成されたサブバンドの最低域（上述の場合は３ＬＬ）の１ライン分と、この１ラインを生成するために必要になった他のサブバンドの複数ラインとから構成される単位をラインブロックとし、このラインブロック毎に量子化ステップサイズを設定することができる。このラインブロックは、ある画像領域の全てのサブバンド（図８では３ＬＬ〜１ＨＨまでの１０個のサブバンド）の係数を包含しているため、ラインブロック毎に量子化を行えば、ウェーブレット変換の特徴である多重解像度分析の利点を活かすことができる。また、全画面でラインブロック数だけを決めればよいため、画像符号化装置の負荷も小さくて済む。

さらに、画像信号のエネルギは一般的に低域成分に集中しており、また、人間の視覚上、低域成分の劣化が目立ちやすいという特性があるため、量子化に際しては、低域成分のサブバンドでの量子化ステップサイズが結果的に小さな値になるように、重み付けを行うことが有効である。この重み付けにより、低域成分には相対的に多くの情報量が割り当てられるようになり、全体の主観的な画質が向上する。

エントロピー符号化部２３は、量子化部２２で生成された量子化係数データＤ２２を情報源符号化し、圧縮された符号化コードストリームＤ２３を生成する。情報源符号化としては、例えばＪＰＥＧ方式やＭＰＥＧ（Moving Picture Experts Group）方式で用いられているハフマン符号化や、ＪＰＥＧ２０００方式で用いられているさらに高精度な算術符号化を用いることができる。

ここで、エントロピー符号化をどの範囲の係数に対して行うかは、圧縮効率に直接関係する非常に重要な要素になる。例えば、ＪＰＥＧ方式やＭＰＥＧ方式では、８×８のブロックに対してＤＣＴ変換を施し、生成された６４個のＤＣＴ変換係数に対してハフマン符号化を行うことで、情報を圧縮している。すなわち、６４個のＤＣＴ変換係数がエントロピー符号化の範囲になる。

分析フィルタバンク部２１では、８×８ブロックに対するＤＣＴ変換とは異なり、ライン単位でウェーブレット変換を施しているため、エントロピー符号化部２３では、各サブバンドを独立に、且つ各サブバンド内をＰライン毎に情報源符号化する。

Ｐは１ラインが最低であるが、ライン数が少ない場合には参照情報が少なくて済み、メモリ容量を減らすことができる。逆に、ライン数が多い場合には情報量がその分増えるため、符号化効率が向上させることができる。しかしながら、Ｐが各サブバンド内のラインブロックのライン数を超えた値になると、次のラインブロックのラインまで必要になる。このため、このラインブロックの量子化係数データがウェーブレット変換及び量子化によって生成されるまで待たなければならず、この時間が遅延時間となってしまう。したがって、低遅延のためには、Ｐはラインブロックのライン数以下である必要がある。例えば、図８の例では、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨのサブバンドについては、ラインブロックのライン数＝１ラインであるためＰ＝１となる。また、２ＨＬ、２ＬＨ、２ＨＨのサブバンドについては、ラインブロックのライン数＝２ラインであるためＰ＝１又は２となる。

レート制御部２４は、最終的に目標のビットレート又は圧縮率に合わせるための制御を行い、レート制御後の符号化コードストリームＤ２４を外部に出力する。例えば、このレート制御部２４は、ビットレートを上げる場合には量子化ステップサイズを小さくし、ビットレートを下げる場合には量子化ステップサイズを大きくするように、量子化部２２に対して制御信号Ｄ２５を送信する。

（第３の実施の形態）
第３の実施の形態では、第１の実施の形態における帯域分析装置１０に対応した帯域合成装置について説明する。なお、この第３の実施の形態では、図８のように分割レベル＝３まで帯域分割された画像について合成フィルタリングを行うものとして説明する。

第３の実施の形態における帯域合成装置の概略構成を図１５に示す。図１５に示すように、帯域合成装置３０は、ラインバッファ部３１と、垂直合成フィルタ部３２と、コラムバッファ部３３と、水平合成フィルタ部３４と、垂直同期信号挿入部３５とから構成されている。

ラインバッファ部３１は、低域成分（３ＬＬ）Ｄ３０及び高域成分（３ＨＬ、３ＬＨ、３ＨＨ）Ｄ３１をライン毎に記憶・保持し、Ｎライン分だけ記憶するまで、これを継続する。なお、ラインバッファ部３１に低域成分Ｄ３０が入力されるのは最低域の３ＬＬについてのみであり、以降は合成フィルタリングによって生成された低域成分Ｄ３５が水平合成フィルタ部３４から供給される。

垂直合成フィルタ部３２は、Ｎライン分のラインデータＤ３２を順次読み出し、垂直方向の低域合成フィルタリングと高域合成フィルタリングとを行う。この垂直フィルタリングにより、垂直合成結果の低域成分及び高域成分Ｄ３３が生成される。

コラムバッファ３３は、垂直合成結果の低域成分及び高域成分Ｄ３３をコラム毎に記憶・保持し、Ｍコラム分だけ記憶するまで、これを継続する。

水平合成フィルタ部３４は、Ｍコラム分のコラムデータＤ３４を順次読み出し、水平方向の低域合成フィルタリングと高域合成フィルタリングとを行う。この水平フィルタリングにより、水平合成結果の低域成分（２ＬＬ）Ｄ３５が生成される。

以上が分割レベル＝３の合成フィルタリング処理であり、この結果、水平合成フィルタ部３４において低域成分（２ＬＬ）が生成される。

同様に、分割レベル＝２の合成フィルタリングでは、低域成分（２ＬＬ）Ｄ３５と高域成分（２ＨＬ、２ＬＨ、２ＨＨ）Ｄ３１とから低域成分（１ＬＬ）Ｄ３５が生成され、分割レベル＝１の合成フィルタリングでは、低域成分（１ＬＬ）Ｄ３５と高域成分（１ＨＬ、１ＬＨ、１ＨＨ）Ｄ３１とから画像データ列Ｄ３５が生成される。この画像データ列Ｄ３５は、垂直同期信号挿入部３５に供給される。

垂直同期信号挿入部３５は、図１１に示したように、画像データ列Ｄ３５に対して所定のタイミングで垂直同期信号を挿入し、生成したビデオ信号Ｄ３６を外部に出力する。

ここで、上述した合成フィルタリングにおいては、上述と同様にリフティング技術を適用することができる。

ＪＰＥＧ２０００規格でも採用されている５×３合成フィルタのリフティング構成を図１６に示す。５×３合成フィルタに対してリフティング技術を適用したときの合成フィルタリングについて、この図１６を用いて概略的に説明する。

図１６において、最上段部は、ウェーブレット変換により生成された係数であり、丸印（●）が高域成分の係数を示し、四角印（■）が低域成分の係数を示す。

先ず第１段階として、下記式（３）のように、入力された低域成分及び高域成分の係数から、偶数番目（最初を０番目とする）の係数ｓ_ｉ ^０を生成する。
ｓ_ｉ ^０＝ｓ_ｉ ^１−１／４（ｄ_ｉ−１ ^１＋ｄ_ｉ ^１） ・・・(3)
次に第２段階として、下記式（４）のように、第１段階で生成された偶数番目の係数ｓ_ｉ ^０と、入力された高域成分の係数ｄ_ｉ ^１とから、奇数番目の係数ｄ_ｉ ^０を生成する。
ｄ_ｉ ^０＝ｄ_ｉ ^１−１／２（ｓ_ｉ ^０＋ｓ_ｉ＋１ ^０） ・・・(4)
合成フィルタリングでは、このように先ず偶数番目の係数を生成した後に奇数番目の係数を生成する。この合成フィルタリングに用いる２種類のフィルタバンクは２タップであり、本来必要な５タップよりも短いため、計算量を大幅に低減することができる。

（第４の実施の形態）
第４の実施の形態では、第２の実施の形態における画像符号化装置２０に対応した画像復号装置について説明する。

第４の実施の形態における画像復号装置の概略構成を図１７に示す。図１７に示すように、画像復号装置４０は、エントロピー復号部４１と、逆量子化部４２と、合成フィルタバンク部４３とから構成されている。

エントロピー復号部４１は、入力した符号化コードストリームＤ４０を情報源復号し、量子化係数データＤ４１を生成する。情報源復号としては、上述したように、ハフマン復号や高効率な算術復号などを用いることができる。なお、上述のように、画像符号化装置においてＰライン毎に情報源符号化されている場合には、エントロピー復号部４１においても同様に、各サブバンドを独立に、且つ各サブバンド内をＰライン毎に情報源復号する。

逆量子化部４２は、量子化係数データＤ４１に量子化ステップサイズを乗算することにより逆量子化し、係数データＤ４２を生成する。この量子化ステップサイズは、通常、符号化コードストリームのヘッダなどに記述されている。なお、上述のように、画像符号化装置においてラインブロック毎に量子化ステップサイズが設定されている場合には、逆量子化部４２においても同様に、ラインブロック毎に逆量子化ステップサイズを設定して逆量子化する。

合成フィルタバンク部４３は、図１５に示した帯域合成装置３０と同様の構成とされる。すなわち、合成フィルタバンク部４３は、係数データＤ４２に対して合成フィルタリングを行って画像データ列を生成し、さらに垂直同期信号を挿入して、生成したビデオ信号Ｄ４３を外部に出力する。

以上、本発明を実施するための最良の形態について説明したが、本発明は上述した第１〜第４の実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述した実施の形態では、ビデオ信号について帯域分析や帯域合成を行うものとして説明したが、本発明は、動画像に限らず静止画像に対しても適用可能である。

また、上述した実施の形態では、ハードウェアの構成として説明したが、一連の処理をソフトウェアにより実行するようにしても構わない。この場合、そのソフトウェアを構成するプログラムをコンピュータの専用ハードウェア、例えばＲＯＭ（Read Only Memory）やハードディスクに予め組み込むようにしてもよく、また、各種プログラムをインストールすることで各種機能を実行することが可能な汎用のパーソナルコンピュータなどに対して、ネットワークや記録媒体を介してインストールするようにしてもよい。記録媒体としては、例えば磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）及びＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（商標）を含む）、或いは半導体メモリなどのパッケージメディアが利用可能である。

以上説明した本発明は、動画像や静止画像を圧縮して伝送し、受信して伸長する装置に好適に適用することができる。具体的には、モバイル通信機、テレビジョン会議システム、監視カメラ・レコーダシステム、医用遠隔医療診断、放送局内のビデオ圧縮・伝送、ライブ映像の配信、生徒と教師間のインタラクティブ通信、無線での画像伝送、対話型ゲームアプリケーション等に適用可能である。

第１の実施の形態における帯域分析装置の概略構成を示す図である。 ＨＤＴＶ規格ビデオ信号のデータの構成要素を示す図である。 上記帯域分析装置において、水平フィルタリングの後に垂直フィルタリングを行う様子を示す図である。 Ｍコラム毎にバッファリングする様子を示す図である。 分割レベル＝１の分析フィルタリングにおける水平フィルタリングを説明する図である。 分割レベル＝１の分析フィルタリングにおける垂直フィルタリングを説明する図である。 分割レベル＝２まで分析フィルタリングを行った結果を示す図である。 実際の画像に対して分割レベル＝３まで分析フィルタリングを行った結果を示す図である。 ５×３分析フィルタのリフティング構成を示す図である。 多重化されたＹ，Ｃｂ，Ｃｒのデータ列と、分析フィルタリングのタイミングとを説明するための図である。 ＳＭＰＴＥ２７４Ｍ規格の信号のうちインタレース信号の信号分布図と、垂直同期信号の挿入位置とを示す図である。 従来の帯域分析装置の概略構成を示す図である。 従来の帯域分析装置において、垂直フィルタリングの後に水平フィルタリングを行う様子を示す図である。 第２の実施の形態における画像符号化装置の概略構成を示す図である。 第３の実施の形態における帯域合成装置の概略構成を示す図である。 ５×３合成フィルタのリフティング構成を示す図である。 第４の実施の形態における画像復号装置の概略構成を示す図である。

符号の説明

１０ 帯域分析装置、１１ 画像ライン入力部、１２ コラムバッファ部、１３ 水平分析フィルタ部、１４ 垂直分析フィルタ部、２０ 画像符号化装置、２１ 分析フィルタバンク部、２２ 量子化部、２３ エントロピー符号化部、２４ レート制御部、３０ 帯域合成装置、３１ ラインバッファ部、３２ 垂直合成フィルタ部、３３ コラムバッファ部、３４ 水平合成フィルタ部、３５ 垂直同期信号挿入部、４０ 画像復号装置、４１ エントロピー復号部、４２ 逆量子化部、４３ 合成フィルタバンク部

Claims (26)

1. 画像データに対して、水平方向の分析フィルタリングをライン毎に行い、周波数成分の係数を生成する水平分析フィルタリング手段と、
   上記水平分析フィルタリング手段によって生成された周波数成分の係数に対して、垂直方向の分析フィルタリングを行い、複数のサブバンドの係数データを生成する垂直分析フィルタリング手段と、
   最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとで構成されたラインブロック毎に量子化ステップサイズを設定して、上記垂直分析フィルタリング手段によって生成された複数のサブバンドの係数データを量子化する量子化手段と
   を備える画像処理装置。
2. 上記量子化手段は、ラインブロック毎に設定した量子化ステップサイズに、サブバンドの位置に応じた重み付けを行う請求項１記載の画像処理装置。
3. 上記量子化手段は、低域のサブバンドほど量子化ステップサイズが小さくなり、高域のサブバンドほど量子化ステップサイズが大きくなるように、ラインブロック毎の量子化ステップサイズに重み付けを行う請求項２記載の画像処理装置。
4. 上記量子化手段により生成された量子化係数データをエントロピー符号化して、符号化ストリームを生成するエントロピー符号化手段を更に備える請求項１記載の画像処理装置。
5. 上記エントロピー符号化手段は、各サブバンドを独立に、且つ各ラインブロックのライン数を超えないライン数毎に、上記量子化係数データをエントロピー符号化する請求項４記載の画像処理装置。
6. 上記水平分析フィルタリング手段により水平分析フィルタリングが行われる際に必要となるコラム数（Ｍ）分の画像データを記憶するバッファを更に備え、
   上記水平分析フィルタリング手段は、上記バッファに記憶された画像データを読み出して水平方向の分析フィルタリングを行う請求項１記載の画像処理装置。
7. 上記Ｍは、水平分析フィルタリングのタップ数に対応した数である請求項６記載の画像処理装置。
8. 上記水平分析フィルタリング手段及び上記垂直分析フィルタリング手段は、ウェーブレット変換のリフティング演算である請求項１記載の画像処理装置。
9. 上記画像データは、ビデオ信号であり、
   上記ビデオ信号の垂直同期信号を検出することにより各ピクチャの終端を検知する検知手段をさらに備え、
   上記水平分析フィルタリング手段及び上記垂直分析フィルタリング手段は、ピクチャ毎に分析フィルタリングを行う請求項１記載の画像処理装置。
10. 画像データに対して、水平方向の分析フィルタリングをライン毎に行い、周波数成分の係数を生成する水平分析フィルタリング工程と、
    上記水平分析フィルタリング工程によって生成された周波数成分の係数に対して、垂直方向の分析フィルタリングを行い、複数のサブバンドの係数データを生成する垂直分析フィルタリング工程と、
    最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとで構成されたラインブロック毎に量子化ステップサイズを設定して、上記垂直分析フィルタリング工程によって生成された複数のサブバンドの係数データを量子化する量子化工程と
    を有する画像処理方法。
11. 画像データに対して、水平方向の分析フィルタリングをライン毎に行い、周波数成分の係数を生成する水平分析フィルタリング工程と、
    上記水平分析フィルタリング工程によって生成された周波数成分の係数に対して、垂直方向の分析フィルタリングを行い、複数のサブバンドの係数データを生成する垂直分析フィルタリング工程と、
    最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとで構成されたラインブロック毎に量子化ステップサイズを設定して、上記垂直分析フィルタリング工程によって生成された複数のサブバンドの係数データを量子化する量子化工程と
    を有する画像処理をコンピュータに実行させるプログラム。
12. 画像データに対して、水平方向の分析フィルタリングをライン毎に行い、周波数成分の係数を生成する水平分析フィルタリング工程と、
    上記水平分析フィルタリング工程によって生成された周波数成分の係数に対して、垂直方向の分析フィルタリングを行い、複数のサブバンドの係数データを生成する垂直分析フィルタリング工程と、
    最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとで構成されたラインブロック毎に量子化ステップサイズを設定して、上記垂直分析フィルタリング工程によって生成された複数のサブバンドの係数データを量子化する量子化工程と
    を有する画像処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体。
13. 画像データに対して水平方向の分析フィルタリングと垂直方向の分析フィルタリングとを行うことにより生成された複数のサブバンドの係数データを量子化されて生成された量子化係数データを、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとで構成されたラインブロック毎に逆量子化して、複数のサブバンドの係数データを生成する逆量子化手段と、
    上記逆量子化手段により生成されたサブバンドの係数データに対して、垂直方向の合成フィルタリングを行い、周波数成分の係数を生成する垂直合成フィルタリング手段と、
    上記垂直合成フィルタリング手段によって生成された周波数成分の係数に対して、水平方向の合成フィルタリングを行い、複数のサブバンドを合成する水平合成フィルタリング手段と
    を備える画像処理装置。
14. 上記逆量子化手段は、ラインブロック毎に設定された量子化ステップサイズで逆量子化する請求項１３記載の画像処理装置。
15. 上記量子化係数データをエントロピー符号化して生成された符号化ストリームをエントロピー復号して複数のサブバンドの量子化係数データを生成するエントロピー復号手段を更に備え、
    上記逆量子化手段は、上記エントロピー復号手段により生成された量子化係数データを逆量子化する請求項１３記載の画像処理装置。
16. 画像データに対して水平方向の分析フィルタリングと垂直方向の分析フィルタリングとを行うことにより生成された複数のサブバンドの係数データを量子化されて生成された量子化係数データを、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとで構成されたラインブロック毎に逆量子化して、複数のサブバンドの係数データを生成する逆量子化工程と、
    上記逆量子化工程により生成されたサブバンドの係数データに対して、垂直方向の合成フィルタリングを行い、周波数成分の係数を生成する垂直合成フィルタリング工程と、
    上記垂直合成フィルタリング工程によって生成された周波数成分の係数に対して、水平方向の合成フィルタリングを行い、複数のサブバンドを合成する水平合成フィルタリング工程と
    を有する画像処理方法。
17. 画像データに対して水平方向の分析フィルタリングと垂直方向の分析フィルタリングとを行うことにより生成された複数のサブバンドの係数データを量子化されて生成された量子化係数データを、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとで構成されたラインブロック毎に逆量子化して、複数のサブバンドの係数データを生成する逆量子化工程と、
    上記逆量子化工程により生成されたサブバンドの係数データに対して、垂直方向の合成フィルタリングを行い、周波数成分の係数を生成する垂直合成フィルタリング工程と、
    上記垂直合成フィルタリング工程によって生成された周波数成分の係数に対して、水平方向の合成フィルタリングを行い、複数のサブバンドを合成する水平合成フィルタリング工程と
    を有する画像処理をコンピュータに実行させるプログラム。
18. 画像データに対して水平方向の分析フィルタリングと垂直方向の分析フィルタリングとを行うことにより生成された複数のサブバンドの係数データを量子化されて生成された量子化係数データを、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとで構成されたラインブロック毎に逆量子化して、複数のサブバンドの係数データを生成する逆量子化工程と、
    上記逆量子化工程により生成されたサブバンドの係数データに対して、垂直方向の合成フィルタリングを行い、周波数成分の係数を生成する垂直合成フィルタリング工程と、
    上記垂直合成フィルタリング工程によって生成された周波数成分の係数に対して、水平方向の合成フィルタリングを行い、複数のサブバンドを合成する水平合成フィルタリング工程と
    を有する画像処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体。
19. 画像データに対して、水平方向の分析フィルタリングをライン毎に行い、周波数成分の係数を生成する水平分析フィルタリング手段と、
    上記水平分析フィルタリング手段によって生成された周波数成分の係数に対して、垂直方向の分析フィルタリングを行い、複数のサブバンドの係数データを生成する垂直分析フィルタリング手段と、
    上記垂直フィルタリング処理を行いながら、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとでラインブロックを構成する構成手段と
    を備える画像処理装置。
20. 画像データに対して、水平方向の分析フィルタリングをライン毎に行い、周波数成分の係数を生成する水平分析フィルタリング工程と、
    上記水平分析フィルタリング工程によって生成された周波数成分の係数に対して、垂直方向の分析フィルタリングを行い、複数のサブバンドの係数データを生成する垂直分析フィルタリング工程と、
    上記垂直フィルタリング処理を行いながら、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとでラインブロックを構成する工程と
    を有する画像処理方法。
21. 画像データに対して、水平方向の分析フィルタリングをライン毎に行い、周波数成分の係数を生成する水平分析フィルタリング工程と、
    上記水平分析フィルタリング工程によって生成された周波数成分の係数に対して、垂直方向の分析フィルタリングを行い、複数のサブバンドの係数データを生成する垂直分析フィルタリング工程と、
    上記垂直フィルタリング処理を行いながら、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとでラインブロックを構成する工程と
    を有する画像処理をコンピュータに実行させるプログラム。
22. 画像データに対して、水平方向の分析フィルタリングをライン毎に行い、周波数成分の係数を生成する水平分析フィルタリング工程と、
    上記水平分析フィルタリング工程によって生成された周波数成分の係数に対して、垂直方向の分析フィルタリングを行い、複数のサブバンドの係数データを生成する垂直分析フィルタリング工程と、
    上記垂直フィルタリング処理を行いながら、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとでラインブロックを構成する工程と
    を有する画像処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体。
23. 画像データに対して水平方向の分析フィルタリングと垂直方向の分析フィルタリングとを行うことにより生成された複数のサブバンドの係数データに対して、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとでラインブロックを構成する構成手段と、
    サブバンドの係数データに対して、垂直方向の合成フィルタリングを行い、周波数成分の係数を生成する垂直合成フィルタリング手段と、
    上記垂直合成フィルタリング手段によって生成された周波数成分の係数に対して、水平方向の合成フィルタリングを行い、複数のサブバンドを合成する水平合成フィルタリング手段と
    を備える画像処理装置。
24. 画像データに対して水平方向の分析フィルタリングと垂直方向の分析フィルタリングとを行うことにより生成された複数のサブバンドの係数データに対して、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとでラインブロックを構成する工程と、
    サブバンドの係数データに対して、垂直方向の合成フィルタリングを行い、周波数成分の係数を生成する垂直合成フィルタリング工程と、
    上記垂直合成フィルタリング工程によって生成された周波数成分の係数に対して、水平方向の合成フィルタリングを行い、複数のサブバンドを合成する水平合成フィルタリング工程と
    を有する画像処理方法。
25. 画像データに対して水平方向の分析フィルタリングと垂直方向の分析フィルタリングとを行うことにより生成された複数のサブバンドの係数データに対して、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとでラインブロックを構成する工程と、
    サブバンドの係数データに対して、垂直方向の合成フィルタリングを行い、周波数成分の係数を生成する垂直合成フィルタリング工程と、
    上記垂直合成フィルタリング工程によって生成された周波数成分の係数に対して、水平方向の合成フィルタリングを行い、複数のサブバンドを合成する水平合成フィルタリング工程と
    を有する画像処理をコンピュータに実行させるプログラム。
26. 画像データに対して水平方向の分析フィルタリングと垂直方向の分析フィルタリングとを行うことにより生成された複数のサブバンドの係数データに対して、最低域のサブバンドの１ラインと該１ラインを生成するために必要となった他のサブバンドの複数ラインとでラインブロックを構成する工程と、
    サブバンドの係数データに対して、垂直方向の合成フィルタリングを行い、周波数成分の係数を生成する垂直合成フィルタリング工程と、
    上記垂直合成フィルタリング工程によって生成された周波数成分の係数に対して、水平方向の合成フィルタリングを行い、複数のサブバンドを合成する水平合成フィルタリング工程と
    を有する画像処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images