JP3906630B2 - 画像符号化装置及び方法並びに画像復号装置及び方法 - Google Patents

Description

【０００１】
【発明が属する技術分野】
本発明は、ウェーブレット変換を用いて静止画または動画像を高能率に符号化する画像符号化装置及び方法並びに画像復号装置及び方法に関する。
【０００２】
【従来の技術】
従来の代表的な画像圧縮方式としては、ＩＳＯ（国際標準化機構：International Organization for Standardization）によって標準化されたＪＰＥＧ（Joint Photographic Coding Experts Group） 方式がある。このＪＰＥＧ方式とは、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform） を用いて主に静止画を圧縮符号化する方式であり、比較的高いビットが割り当てられる場合には、良好な符号化・復号画像を供することが知られている。ただしこの方式においては、ある程度符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
これとは別に、最近においては、画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタを組み合わせたフィルタによって複数の帯域に分割し、それらの帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット符号化は、ＤＣＴで問題とされた高圧縮でブロック歪みが顕著になる、という欠点が無いことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００４】
また、動画像符号化ではＭＰＥＧ（Moving Picture image coding Exparts Group） 方式があり、現在のところＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４が知られているが、特にＭＰＥＧ−２は、ＤＶＤ（Dgital Versatile Disc） のビデオ圧縮等に広く使われている。これらＪＰＥＧ、ＭＰＥＧの符号化手段としては、ＤＣＴの処理単位である８×８のブロック数個から構成されるマクロブロック（通常１６×１６）毎に符号化制御が行なわれている。
【０００５】
現在、電子スチルカメラやビデオムービ等の製品では、圧縮符号化にＪＰＥＧ方式やＭＰＥＧ方式、あるいはいわゆるＤＶ（Digital Video） 方式を採用するものが多く、これらの圧縮符号化方式はいずれも変換方式にＤＣＴを用いている。今後ウェーブレット変換をベースにした上記製品が市場に出現するものと推測されるが、符号化方式の効率向上のための検討は、各研究機関で盛んに行われている。実際、ＪＰＥＧの後継とも言える次世代の静止画国際標準方式として期待されているJPEG2000（ＪＰＥＧと同じ組織であるISO/IEC/JTC1SC29/WG1によって作業中）は、2000年１２月にPart-1の標準化勧告が出される予定のフォーマットである。このJPEG2000では、画像圧縮の基本である変換方式として、既存のＪＰＥＧのＤＣＴに代わり、ウェーブレット変換を採用することが決まっている。
【０００６】
【発明が解決しようとする課題】
ところで、ウェーブレット変換を用いて、静止画のみならず動画像でも高品質な符号化画像を得ようとする場合には、次に述べるような問題点を解決することが重要である。すなわち、
(1) JPEG-2000のPart-1 のＦＣＤ（Final Committee Draft） において、2000年７月現在規定されているウェーブレット変換のフィルタは２つある。１つは可逆変換用の整数型（Integer）5x3フィルタであり、もう１つは非可逆の浮動小数点型（Float）7x9フィルタである。
(2) 整数型（Integer）5x3フィルタに比べて、浮動小数点型（Float）7x9フィルタの構成上の複雑度は高く、両者を併用してハードウェア化するには問題がある。しかも後者の浮動小数点精度まで保証する場合には、専用の浮動小数点演算器が必要になり、さらにハードウェアの回路規模の増大に繋がる問題がある。
(3) 他方、実験の結果、上記整数型（Integer）5x3フィルタの固定小数点精度化である固定小数点型（Fixed-point）5x3フィルタは、符号化効率が上記浮動小数点型（Float）7x9フィルタと遜色がない優れた性能を有しているだけでなく、整数型（Integer）5x3フィルタと内部の演算器の共通部分が多い。従って、両者を備えることによって、符号化効率も犠牲にせず、ハードウェア化の増加を最小限に抑えることができる効果がある。
(4) JPEG-2000のPart-1 ＦＣＤでは、上記整数型（Integer）5x3フィルタの演算式が記述されており、この手順に従えばウェーブレット変換係数を生成することができる。しかし、固定小数点型（Fixed-point）5x3フィルタの演算手段については記述が無く、両者の互換を取ることは前記回路の共通化とも関係し、非常に重要である。
【０００７】
本発明は、上述のような実情に鑑みて提案されたものであって、ウェーブレット変換のハードウェア構成を増加させることなく画質や圧縮率の選択の自由度を高め得るような画像符号化装置及び方法並びに画像復号装置及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像符号化装置は、入力画像データを所定の領域だけメモリに読み出し蓄積するメモリ手段と、メモリ手段から読み出された所定の領域にウェーブレット変換を施すウェーブレット変換手段と、ウェーブレット変換手段から出力されたウェーブレット変換係数に符号化処理を施す符号化手段とを有する画像符号化装置であって、上記ウェーブレット変換手段は、ビットシフト器とウェーブレット変換器とで構成される固定小数点型ウェーブレット変換手段と、ウェーブレット変換器で構成される整数型ウェーブレット変換手段とを備え、上記整数型ウェーブレット変換手段のウェーブレット変換器と上記固定小数点型ウェーブレット変換手段のウェーブレット変換器とは、同じ構成を有することを特徴とするものである。
また、本発明に係る画像符号化方法は、入力画像データを所定の領域だけメモリに読み出し蓄積する工程と、メモリから読み出された所定の領域にウェーブレット変換を施すウェーブレット変換工程と、ウェーブレット変換工程にて出力されたウェーブレット変換係数に符号化処理を施す符号化工程とを有する画像符号化方法であって、上記ウェーブレット変換工程では、ビットシフト処理とウェーブレット変換処理とを有する固定小数点型ウェーブレット変換工程と、ウェーブレット変換処理を有する整数型ウェーブレット変換工程とのいずれかを選択し、上記整数型ウェーブレット変換工程のウェーブレット変換処理と上記固定小数点型ウェーブレット変換工程のウェーブレット変換処理とは、同じ処理とすることを特徴とするものである。
【０００９】
ここで、上記ウェーブレット変換器は、乗算器またはシフト演算器、加減算器、レジスタを備える。
【００１０】
ここで、整数精度型ウェーブレット変換手段は、整数精度の画素または変換係数を入力して、これらをウェーブレット変換して、整数精度の変換係数を出力する。また、固定小数点精度型ウェーブレット変換手段は、固定小数点精度の画素または変換係数を入力して、これらをウェーブレット変換して、固定小数点精度の変換係数を出力する。
【００１１】
また、本発明に係る画像復号装置は、上述の課題を解決するために、入力された符号化画像データを所定の領域だけに復号処理を施す復号手段と、上記復号手段より出力されたウェーブレット変換係数にウェーブレット逆変換を施すウェーブレット逆変換手段とを備える画像復号装置において、上記ウェーブレット逆変換手段は、ウェーブレット逆変換器とビットシフト器を備える固定小数点型ウェーブレット逆変換手段と、ウェーブレット逆変換器を備える整数型ウェーブレット逆変換手段とを備え、上記固定小数点型ウェーブレット逆変換手段のウェーブレット逆変換器と上記整数型ウェーブレット逆変換手段のウェーブレット逆変換器とは、同じ構成を有することを特徴とするものである。
また、本発明に係る画像復号方法は、入力された符号化画像データを所定の領域だけに復号処理を施す復号工程と、上記復号工程より得られたウェーブレット変換係数にウェーブレット逆変換を施すウェーブレット逆変換工程とを備える画像復号方法において、上記ウェーブレット逆変換工程は、ウェーブレット逆変換処理とビットシフト処理とを有する固定小数点型ウェーブレット逆変換工程と、ウェーブレット逆変換処理を有する整数型ウェーブレット逆変換工程とのいずれかを選択し、上記固定小数点型ウェーブレット逆変換工程のウェーブレット逆変換処理と上記整数型ウェーブレット逆変換工程のウェーブレット逆変換処理とは、同じ処理とすることを特徴とするものである。
【００１２】
【発明の実施の形態】
以下、本発明に係る画像符号化装置及び方法並びに復号装置及び方法の実施の形態について、図面を参照しながら説明する。以下の実施の形態では、特に、画像符号化装置に用いられるウェーブレット変換装置、及び画像復号装置に用いられるウェーブレット逆変換装置について詳細に説明する。
【００１３】
第１の実施の形態
本発明の第１の実施の形態となる画像符号化装置に用いられるウェーブレット変換装置の構成例を図１に示す。
【００１４】
この図１において、入力画像データ１００を所定の領域だけメモリに読み出し蓄積するデータ読み出しメモリ部１と、このデータ読み出しメモリ部１にデータが蓄積され次第これら画像領域に対し水平または垂直方向のウェーブレット変換フィルタをかけるウェーブレット変換部５とを有している。ウェーブレット変換部５は、固定小数点型ウェーブレット変換部３と、整数型ウェーブレット変換部４とを有し、データ読み出しメモリ部１からの出力を切り替え部２で切り替えてこれらの固定小数点型ウェーブレット変換部３、又は整数型ウェーブレット変換部４に送るような構成としている。
【００１５】
次に、この図１の構成を有する第１の実施の形態の動作を説明する。
先ず、入力画像データ１００を最上位ラインから順番に１ライン毎、またはある特定の領域だけ読み出して、データ読み出しメモリ部１に入力する。データ読み出しメモリ部１に所定のデータが蓄積された時点で、ウェーブレット変換部５で水平・垂直方向へのウェーブレット変換フィルタ処理が施される。通常は、ウェーブレット変換のフィルタリングを行うのに用いるフィルタは複数タップのフィルタであり、このフィルタリングに必要なだけライン数が蓄積されれば、直ちに上記ウェーブレット変換フィルタ処理が実行できる。
【００１６】
ウェーブレット変換部５内で、固定小数点型ウェーブレット変換部３が選択された場合には、切り替え部２は被選択端子ａ側に切換接続され、データ読み出しメモリ部１からの出力データ１０１は、入力データ１０２として固定小数点型ウェーブレット変換部３に送られ、この固定小数点型ウェーブレット変換部３でウェーブレット変換処理が施され、変換係数１０７が出力される。他方、整数型ウェーブレット変換部４が選択された場合には、切り替え部２は被選択端子ｂ側に切換接続され、データ読み出しメモリ部１からの出力データ１０１は、入力データ１０３として整数型ウェーブレット変換部４に送られてウェーブレット変換処理が施され、変換係数１０８が出力される。
【００１７】
なお、第１の実施の形態を示す図１においては、固定小数点型ウェーブレット変換部３と整数型ウェーブレット変換部４とは、それぞれ独立した構成として図示しているが、実際には、両者は構成の多くを共通化することができる。この構成の共通化については後で説明する。
【００１８】
第２の実施の形態
本発明の第２の実施の形態は、上記第１の実施の形態で説明した固定小数点型ウェーブレット変換部３を具体化したものであり、この固定小数点型ウェーブレット変換部３の構成の一例を図２に示す。
【００１９】
すなわち、図２は、上記図１の構成における固定小数点型ウェーブレット変換部３の構成例を示すものであり、この図２の固定小数点型ウェーブレット変換部３は、ビットシフト器６とウェーブレット変換器７とを有して構成されている。ビットシフト器６は、入力画像データに対して１回使用されるものであり、例えば図３の（Ａ）に示すように、入力データを固定小数点精度のデータにビットシフト処理する。この図３の（Ａ）中の点Ｐが固定小数点の位置を示し、この点Ｐより上位側（図中左側）のビットが整数部、下位側（図中右側）のビットが小数部となる。図３の（Ａ）の例では、小数部が６ビットあるので、１／２⁶ ＝１／６４の精度で固定小数点精度が確保できることになる。また、図３の（Ａ）の例では、整数部が８ビットのデータを取り扱うものとし、全体として１６ビットの計算を行うもの（演算精度が１６ビット）としており、最上位側（図中左端側）に２ビットのガードビット（Guard-bit） を備えているが、この内の１ビットは符号（＋／−）を示し、もう１ビットはオーバーフロー（Overflow）回避のためのビットとして用意したものである。
【００２０】
これに対して、図３の（Ｂ）は、整数精度の計算の例を示し、最下位（図中右端）のビットまでが整数部として用いられるので、上記小数点を示す点Ｐは右端（最下位側）に存在する。また、この整数精度の計算では、上記符号（＋／−）を示すビットだけを備える。
【００２１】
再び図２に戻って、動作を説明する。
この図２のビットシフト器６は、入力データ１０２が画像データのとき、すなわち、最初にウェーブレット変換を施す前の画像データに対して動作し、それ以降は動作することは無い。すなわち、複数段のウェーブレット変換を施すとき、既に少なくとも１回の（１段の）ウェーブレット変換が施されたウェーブレット変換係数としてのデータ１０２がそのままウェーブレット変換器入力１０９として用いられるように、ビットシフト器６を通過する構成になっている。
【００２２】
また、上記図１の整数型ウェーブレット変換部４は、図２のビットシフト器６を持たない、ウェーブレット変換器７のみから構成される。
【００２３】
ここで、一般的なウェーブレット変換・逆変換の構成及び動作の一例について、図面を参照しながら説明する。
【００２４】
先ず、通常のウェーブレット変換部の構成として、図４が挙げられる。この図４の例は、幾つかある手法の中で最も一般的なウェーブレット変換であるオクターブ分割を複数レベルに亘って行う構成例を示している。なお、この図４の場合は、レベル数が３（レベル１〜レベル３）であり、画像信号を低域と高域に分割し、且つ低域成分のみを階層的に分割する構成を取っている。また図４では、便宜上１次元の信号（例えば画像の水平成分）についてのウェーブレット変換を例示しているが、これを２次元に拡張することで２次元画像信号に対応することができる。
【００２５】
図４に示すウェーブレット変換部への入力画像信号２２０は、まずローパスフィルタ２１（伝達関数Ｈ₀(ｚ)）とハイパスフィルタ２２（伝達関数Ｈ₁(ｚ)）とによって帯域分割され、得られた低域成分と高域成分は、それぞれ対応するダウンサンプラ２３ａ、２３ｂによって、解像度がそれぞれ２分の１倍に間引かれる（レベル１）。この時の出力がＬ成分２２１とＨ成分２２６の２つである。ここで、上記ＬはLow で低域、ＨはHighで高域を示す。この図４のローパスフィルタ２１、ハイパスフィルタ２２、及び２個のダウンサンプラ２３ａ、２３ｂによってレベル１の回路部２０１が構成されている。
【００２６】
上記ダウンサンプラ２３ａ、２３ｂによりそれぞれ間引かれた信号の内の低域成分、すなわちダウンサンプラ２３ａからの信号のみが、さらに、レベル２の回路部２０２のローパスフィルタ及びハイパスフィルタによって帯域分割され、それぞれ対応するダウンサンプラによって、解像度をそれぞれ２分の１倍に間引かれる（レベル２）。これらのレベル２のローパスフィルタ、ハイパスフィルタ及びダウンサンプラから成る回路部２０２としては、上記レベル１のローパスフィルタ２１、ハイパスフィルタ２２及びダウンサンプラ２３ａ、２３ｂから成る回路部２０１と同様な構成が用いられる。
【００２７】
このような処理を所定のレベルまで行うことで、低域成分を階層的に帯域分割した帯域成分が順次生成されていくことになる。レベル２で生成された帯域成分は、LL成分２２２とLH成分２２５である。図４はレベル３まで帯域分割する例が示されており、レベル２の回路部２０２のローパスフィルタ側のダウンサンプラからの出力が、上記回路部２０１と同様な構成のレベル３の回路部２０３に供給されている。このようにレベル３まで帯域分割した結果、LLL成分２２３、LLH成分２２４、LH成分２２５、Ｈ成分２２６が生成されている。
【００２８】
次に図５は、この図４に示すウェーブレット変換部に対して逆の動作を行うウェーブレット逆変換部の具体的な構成例を示している。
【００２９】
すなわち、上記図４で説明したウェーブレット変換部２の出力である各帯域成分２２３、２２４、２２５、２２６は、図５のウェーブレット逆変換部に入力されると、まず上記LLL成分２２３及びLLH成分２２４が、それぞれアップサンプラ２４ａ、２４ｂによって２倍の解像度にアップサンプルされる。引き続いて低域成分はローパスフィルタ２５、高域成分はハイパスフィルタ２６によってフィルタリングされて、加算器２７において、両者の帯域成分は合成される。ここまでの回路部２０６により、上記図４のレベル３の回路部２０３での変換の逆の処理としての逆変換が完了して、レベル２の低域側の帯域成分であるLL成分２２７が得られる。この処理を以後レベル１まで繰り返すことで、最終的な逆変換後の復号画像２２９が出力されることになる。すなわち、レベル２の回路部２０７及びレベル１の回路部２０８は、上記レベル３の回路部２０６と同様な構成を有し、レベル３の回路部２０６の出力がレベル２の回路部２０７の低域側の入力として、また、レベル２の回路部２０７の出力がレベル１の回路部２０８の低域側の入力として、それぞれ送られる。以上が、通常のウェーブレット逆変換部の基本構成である。
【００３０】
ここで図６は、レベル３まで２次元画像を帯域分割した結果得られる帯域成分を図示したものである。この図６でのＬ及びＨの表記法は、１次元信号を扱った図４、図５でのＬ及びＨの表記法とは異なる。すなわち図６では、先ずレベル１の帯域分割（水平・垂直方向）により４つの成分LL、LH、HL、HHに分かれる。ここでLLは水平・垂直成分が共にＬであること、LHは水平成分がＨで垂直成分がＬであることを意味している。次に、LL成分は再度帯域分割されて、LLLL、LLHL、LLLH、LLHHが生成される。さらに、LLLL成分は再度帯域分割されて、LLLLLL、LLLLHL、LLLLLH、LLLLHHが生成される。なお、図６のＴ_LLLLLL、Ｔ_LLLLHL、Ｔ_LLLLLH、Ｔ_LLLLHH、Ｔ_LLHL、Ｔ_LLLH、Ｔ_LLHH、Ｔ_LH、Ｔ_HL、Ｔ_HHは、各サブバンド毎の重み係数を示している。また、図６のように、低域成分を階層的に分割する以外に、全帯域を均等に分割することも行われる。
【００３１】
第３の実施の形態
次に、本発明の第３の実施の形態について説明する。この第３の実施の形態は、上記図１の整数型ウェーブレット変換部３と固定小数点型ウェーブレット変換部４とについて、内部のウェーブレット変換器の構成を同じにするものである。以下、整数型ウェーブレット変換と固定小数点型ウェーブレット変換とのそれぞれの具体的な演算について説明する。
【００３２】
先ず、図７を用いて、JPEG-2000 Part-1のＦＣＤ（Final Committee Draft） で規定されている整数精度型5x3 フィルタ（分析側）による整数型ウェーブレット変換演算について説明する。図７は、整数精度型の5x3 フィルタの演算を説明するための図であり、１次元のウェーブレット変換を行い、図中左端の入力画像データを低域成分ｓと高域成分ｄとに変換する動作を示している。以下、同図を用いて詳細動作を説明する。ここで、ｄ_m ⁿをウェーブレット変換のレベルがｎのｍ番目の高域成分係数であるとする。同様に、ｓ_m ⁿをウェーブレット変換のレベルがｎのｍ番目の低域成分係数であるとする。なお、ｎ＝０の場合は、図７にも示すように、入力画像そのものである。
【００３３】
この図７に示すように、低域成分係数ｓの算出式は、一般的に、
ｓ_m+1 ⁿ⁺¹ ＝ ｓ_m+1 ⁿ＋((ｄ_m ⁿ⁺¹＋ｄ_m+1 ⁿ⁺¹＋２)／４)・・・・・（１）
で与えられる。ここで、式中の１／４の演算は、ビットシフトによって実現でき、２ビット右シフトを「>>２」で表記するとき、上記式（１）は、
ｓ_m+1 ⁿ⁺¹ ＝ ｓ_m+1 ⁿ＋((ｄ_m ⁿ⁺¹＋ｄ_m+1 ⁿ⁺¹＋２) >>２) ・・・・（１'）
のように表せる。なお、上記式（１）の括弧内の＋２は、右シフトの際に生じる丸め誤差に対する補償を行うためのものである。
【００３４】
また、高域成分係数ｄの算出式は、一般的に、
ｄ_m ⁿ⁺¹ ＝ ｄ_m ⁿ−((ｓ_m ⁿ＋ｓ_m+1 ⁿ)／２） ・・・（２）
あるいは、１ビット右シフトを「>>１」で表して、
ｄ_m ⁿ⁺¹ ＝ ｄ_m ⁿ−((ｓ_m ⁿ＋ｓ_m+1 ⁿ) >>１） ・・・（２'）
で与えられる。
【００３５】
ここで、図７の例では、入力画像データに対して初段のウェーブレット変換係数、すなわち、レベルｎ＝１の低域成分係数及び高域成分係数を計算しており、この場合の入力画像データのｓ、ｄは、低域成分係数、高域成分係数を表すものではない。また、画面の端部に相当する位置では、画面外部に相当するデータを画面外部のデータの折り返しで用いている。例えば、図７中のデータｓ₀ ¹を求めるためには、ｓ₀ ⁰と、ｄ₀ ¹と、さらにｄ₀ ¹の折り返しとしての同じｄ₀ ¹とを用いている。またｄ₇ ¹を求めるためにｓ₇ ⁰を２つ用いるのも同様である。
【００３６】
図７中の破線で囲った部分ＳＰは、上記式（１）におけるｎ＝０，ｍ＝１に相当する低域成分係数ｓ₂ ¹を求めている部分であり、
ｓ₂ ¹ ＝ ｓ₂ ⁰＋((ｄ₁ ¹＋ｄ₂ ¹＋２)／４)
の計算が行われている。また、図７中の破線で囲った部分ＤＰは、上記式（２）のｎ＝０，ｍ＝０に相当する高域成分係数ｄ₀ ¹を求めている部分であり、
ｄ₀ ¹ ＝ ｄ₀ ⁰−((ｓ₀ ⁰＋ｓ₁ ⁰)／２）
の計算が行われている。ここで、１／４乗算は２ビット右シフト「>>２」により、また１／２乗算は１ビット右シフト「>>１」によりそれぞれ実現できることは、上述した通りである。
【００３７】
上述した式（１）、（２）を計算するために要する演算量は、乗算を上記シフト演算で実現するとして、乗算０、加減算５、シフト演算２となる。この動作を上から下まで同様に行うことですべての係数を算出することができる。なお、既に述べたように、画像のような２次元信号に対しては、１次元方向（例えば垂直方向）のウェーブレット変換で生成された係数群に対して、もう１方向（例えば水平方向）に、上記と同様にウェーブレット変換を施せば良い。
【００３８】
次に、図８を用いて、固定小数点精度の5x3 フィルタを用いた分析側の固定小数点型ウェーブレット変換演算について説明する。図８は、１次元のウェーブレット変換を行い、左端の入力画像データを低域成分ｓと高域成分ｄとに変換する動作を示している。以下、同図を用いて詳細動作を説明する。ここで、ｄ_m ⁿをウェーブレット変換のレベルがｎのｍ番目の高域成分係数であるとする。ｎ＝０の場合は、図より入力画像であることは明らかである。同様に、ｓ_m ⁿをウェーブレット変換のレベルがｎのｍ番目の低域成分係数であるとする。
【００３９】
この図８から明らかなように、低域成分係数ｓの算出式は、一般的に、
ｓ_m+1 ⁿ⁺¹ ＝ ｓ_m+1 ⁿ＋β×(ｄ_m ⁿ⁺¹＋ｄ_m+1 ⁿ⁺¹＋２) ・・・（３ａ）
または、
ｓ_m+1 ⁿ⁺¹ ＝ ｓ_m+1 ⁿ＋β×(ｄ_m ⁿ⁺¹＋ｄ_m+1 ⁿ⁺¹) ・・・（３ｂ）
で与えられる。
【００４０】
同様に、高域成分係数ｄの算出式は、一般的に、
ｄ_m ⁿ⁺¹ ＝ ｄ_m ⁿ−α×(ｓ_m ⁿ＋ｓ_m+1 ⁿ） ・・・（４）
で与えられる。
【００４１】
ここでα＝0.5、β＝0.25 となり、高域成分にあたるｄは分析側ではNyquist gain＝２なので、Nyquist gain＝１になるようにゲイン調整する。これが高域成分係数ｄに、S_H＝−0.5 を乗算する理由である。また、前述の整数精度5x3 フィルタの場合は、ゲイン調整をすると、可逆変換が保証されないため、ゲイン調整をしなくてよい。なお、この周辺の技術については、一般のデジタル信号処理技術として知られていることである。
【００４２】
なお、画面端部の位置のデータを算出する際に、画面外部のデータが必要になるとき、隣接する画面内部のデータを折り返して用いる（例えば図８のｓ₀ ¹を求めるためのｄ₀ ¹）ことは前述の図７の場合と同様であり、後述する図９、図１０でも同様である。
【００４３】
次に、上記式（３ａ）と（３ｂ）との違いについて述べる。固定小数点精度の5x3 フィルタでは、整数精度に比べて高精度になるので、整数精度の5x3 フィルタで説明した＋２の丸めを行う場合の式（３ａ）（互換）と、＋２を付けない式（３ｂ）（非互換）の両方が考えられる。
【００４４】
この固定小数点精度の5x3 フィルタと、上述した整数精度の5x3 フィルタとの間で、演算手段の構成を共通化する場合には、上記式（３ａ）を用いることが必要である。すなわち、固定小数点精度の5x3 フィルタに用いられるウェーブレット変換器として、上記式（３ａ）の演算を行う構成を用いる場合は、上記整数精度の5x3 フィルタに用いられるウェーブレット変換器としても共通に使用することができる。
【００４５】
このような図８と共に説明した固定小数点精度の5x3 フィルタにおいて、低域成分、高域成分の１組の係数を生成するのに要する演算量は、乗算３、加減算５（互換）、または加減算４（非互換）となる。
【００４６】
第４の実施の形態
次に、本発明の第４の実施の形態を説明する。この第４の実施の形態は、上記第３の実施の形態が、ウェーブレット変換の分析フィルタに関する内容であったのに対し、合成側のウェーブレット逆変換フィルタ（合成フィルタ）を具体化したものである。先ず、図９を用いて、JPEG-2000 のPart-１のＦＣＤで規定されている整数精度型5x3 フィルタ（合成側）の演算について説明する。
【００４７】
図９は、整数精度型の5x3 合成フィルタの演算を説明するための図であり、１次元のウェーブレット変換を行い、図中左端の低域成分ｓと中央部の高域成分ｄとから、図中右端の出力画像データを算出する様子を示している。この図９において、ｄ_m ⁿをウェーブレット変換のレベルがｎのｍ番目の高域成分係数であるとする。同様に、ｓ_m ⁿをウェーブレット変換のレベルがｎのｍ番目の低域成分係数であるとする。ここで、ｎ＝０の場合は、図９にも示すように出力画像となるものである。
【００４８】
この図９にも示すように、１つ下位レベルの低域成分係数ｓの算出式は、一般的に、
ｓ_m+1 ⁿ ＝ ｓ_m+1 ⁿ⁺¹−((d_m ⁿ⁺¹＋ｄ_m+1 ⁿ⁺¹＋２)／４) ・・・（５）
で与えられる。ここで、この式（５）中の１／４の乗算をビットシフトで実現し、２ビット右シフトを「>>２」で表記するとき、上記式（５）は、
ｓ_m+1 ⁿ ＝ ｓ_m+1 ⁿ⁺¹−((d_m ⁿ⁺¹＋ｄ_m+1 ⁿ⁺¹＋２)>>２) ・・・（５'）
のように表せる。式（５）あるいは（５'） の括弧内の＋２は、右シフトの際に生じる丸め誤差に対するものであるが、これは既に上記第３の実施の形態で述べた分析側の丸め処理と表裏一体のものである。この丸め処理が分析・合成側で一致していることが、可逆性を保持するために必要となることは勿論である。
【００４９】
同様に、高域成分係数ｄの算出式は、一般的に、
ｄ_m ⁿ ＝ ｄ_m ⁿ⁺¹＋((ｓ_m ⁿ＋ｓ_m+1 ⁿ)／２） ・・・（６）
あるいは、１ビット右シフトを「>>１」で表して、
ｄ_m ⁿ ＝ ｄ_m ⁿ⁺¹＋((ｓ_m ⁿ＋ｓ_m+1 ⁿ) >>１） ・・・（６'）
で与えられる。
【００５０】
ここで、図９中の破線で囲った部分ＳＰは、上記式（５）におけるｎ＝０，ｍ＝１に相当する低域成分係数ｓ₂ ⁰を求めている部分であり、
ｓ₂ ⁰ ＝ ｓ₂ ¹−((ｄ₁ ¹＋ｄ₂ ¹＋２)／４)
の計算が行われている。また、図７中の破線で囲った部分ＤＰは、上記式（２）のｎ＝０，ｍ＝０に相当する高域成分係数ｄ₀ ⁰を求めている部分であり、
ｄ₀ ⁰ ＝ ｄ₀ ¹＋((ｓ₀ ⁰＋ｓ₁ ⁰)／２）
の計算が行われている。ここで、１／４乗算は２ビット右シフト「>>２」により、また１／２乗算は１ビット右シフト「>>１」によりそれぞれ実現できることは、上述した通りである。
【００５１】
上述した式（５）、（６）、特に、シフト演算を用いた式（５'）、（６'）を計算するために要する演算量、すなわち、偶数番目・奇数番目の係数の１組を生成するのに要する演算量は、乗算０、加減算５、シフト演算２となる。この動作を上から下まで同様に行うことですべての係数を算出することができる。なお、既に述べたように、画像のような２次元信号に対しては、１次元方向（例えば垂直方向）のウェーブレット逆変換（合成フィルタ処理）で生成された係数群に対して、もう１方向（例えば水平方向）に、上記と同様にウェーブレット逆変換を施せば良い。
【００５２】
次に、図１０を用いて、固定小数点精度の5x3 フィルタを用いた合成側の固定小数点型ウェーブレット逆変換演算について説明する。図１０は、１次元のウェーブレット変換（逆変換）を行い、図中左端の低域成分ｓと高域成分ｄとを図中右端の出力画素に変換する動作を示している。以下、同図を用いて詳細動作を説明する。ここで、ｄ_m ⁿをウェーブレット変換のレベルがｎのｍ番目の高域成分係数であるとする。同様に、ｓ_m ⁿをウェーブレット変換のレベルがｎのｍ番目の低域成分係数であるとする。なお、ｎ＝０のときは、ｓ、ｄはそれぞれ奇数番目、偶数番目の画素となる。
【００５３】
この図１０から明らかなように、図中右端の奇数番目の画素ｓ、あるいは低域成分係数ｓの算出式は、一般的に、
ｓ_m+1 ⁿ ＝ ｓ_m+1 ⁿ⁺¹−β×(ｄ_m ⁿ⁺¹＋ｄ_m+1 ⁿ⁺¹＋２) ・・・（７ａ）
または、
ｓ_m+1 ⁿ ＝ ｓ_m+1 ⁿ⁺¹−β×(ｄ_m ⁿ⁺¹＋ｄ_m+1 ⁿ⁺¹) ・・・（７ｂ）
で与えられる。
【００５４】
同様に、図中右端の偶数番目の画素ｄ、あるいは高域成分係数ｄの算出式は、一般的に、
ｄ_m ⁿ ＝ ｄ_m ⁿ⁺¹＋α×(ｓ_m ⁿ＋ｓ_m+1 ⁿ） ・・・（８）
で与えられる。
【００５５】
ここでα＝0.5、β＝0.25 となる。上記第３の実施の形態で述べたように、高域成分にあたるｄは分析側ではNyquist gain＝２なので、Nyquist gain＝１になるようにゲイン調整しており、分析側では高域成分係数ｄに、S_H＝−0.5 を乗算していたが、これに対して、合成側では、Nyquist gainを１から２に戻すようにする必要がある。このために、高域係数ｄにS_H＝−2.0 を乗算した後に、上記式（８）の演算を施すようにしている。
【００５６】
次に、上記式（７ａ）と（７ｂ）との違いについて述べる。固定小数点精度の5x3 フィルタでは、整数精度に比べて高精度になるので、上述した分析側フィルタでの丸め処理と同様に、＋２の丸めを行う場合の式（７ａ）（互換）と、＋２を付けない式（７ｂ）（非互換）の両方が考えられる。
【００５７】
この固定小数点精度の5x3 フィルタと、上述した整数精度の5x3 フィルタとの間で、演算手段の構成を共通化する場合には、上記式（７ａ）を用いることが必要である。
【００５８】
このような図１０と共に説明した固定小数点精度の5x3 フィルタにおいて、低域成分、高域成分の１組の係数を生成するのに要する演算量は、乗算３、加減算５（互換）、または加減算４（非互換）となる。
【００５９】
第５の実施の形態
本発明の第５の実施の形態は、上記整数型ウェーブレット変換部４のウェーブレット変換器と上記固定小数点型ウェーブレット変換部３のウェーブレット変換器とについて、構成要素である乗算器またはシフト演算器、加減算器、レジスタを全て共通化したものである。ここで、上述したように、ウェーブレット変換器は、乗算器またはシフト演算器、加減算器から構成されることは明らかであり、実際にハードウェア化する際には、データを一時的に記憶するレジスタが必要になる。また、ウェーブレット逆変換器（合成フィルタ）についても、整数型フィルタと固定小数点型フィルタの構成を共通化できる。
【００６０】
図１１、図１２は、合成側の高域・低域成分の係数を算出するためのハードウェア構成の一例を示している。先ず、低域成分の係数値または画素値（レベル０の場合）を算出するための構成について図１１を参照しながら説明する。ここでは説明の便宜上、Ｒｍ、Ｒｎ、Ｒｄの３つのレジスタと、図中＋、＋２、−でそれぞれ示される各加算器６１、６２、６５と、×0.25の演算をする乗算器６３と、floor で示される丸め器６４とを有して構成されているものとする。またＲｍ、Ｒｎ、Ｒｄの各レジスタは、それぞれ例えばｘ、ｙ、ｚ、ｗの４つの値を格納できる構成になっており、レジスタに格納された係数値に対して、既に述べた所定のフィルタリングの演算を施すことで、１つ下位レベルの係数値または画素値（レベル０の場合）を算出する。
【００６１】
すなわち、レジスタＲｍからの４つの値（例えばｄ₀ ¹，ｄ₀ ¹，ｄ₁ ¹，ｄ₂ ¹）と、レジスタＲｎからの４つの値（例えばｄ₀ ¹，ｄ₁ ¹，ｄ₂ ¹，ｄ₃ ¹）とを、加算器６１でそれぞれ加算し、各加算結果に対して加算器６２でそれぞれ２を加算し、加算器６２からの４つの出力値に対して乗算器６３でそれぞれ0.25を乗算（あるいは２ビット右シフト）し、丸め器６４でそれぞれ丸め処理を行って得られた４つの値を加算器６５に送り、これらの４つの値をレジスタＲｄからの４つの値（例えばｓ₀ ¹，ｓ₁ ¹，ｓ₂ ¹，ｓ₃ ¹）からそれぞれ減算することで、１つ下位レベルの低域成分の係数値または画素値（例えばｓ₀ ⁰，ｓ₁ ⁰，ｓ₂ ⁰，ｓ₃ ⁰）を算出している。
【００６２】
また、例えばあるビット長の整数レジスタを設ければ、既に述べた整数精度のフィルタリングを実行でき、あるビット長の固定小数点レジスタにすれば、既に述べた固定小数点精度のフィルタリングを実行できる。しかも、レジスタの精度以外では、ハードウェア構成を全く変える必要もなく、実現できる。このようにして、ハードウェア構成要素の共通化が実現できる。
【００６３】
図１１の具体例の構成では、レジスタＲｄに低域成分を格納して置き、レジスタＲｍとＲｎには高域成分を格納し、演算結果を新たにレジスタＲｄに格納している。こうすることにより、既に使用して不要になった係数に上書きするので余分のレジスタを使わないで済み、効率的である。またハードウェアの縮小にも貢献する。
【００６４】
図１１中でfloor で示される丸め器６４の丸め処理の具体例であるが、floor による切捨ては、小数点以下の切り捨てではなく、値として小さい方の整数に丸める処理を行うように定義しておく。この定義によれば、例えば、
＋２．３ → ＋２ （正の値）
−２．３ → −３ （負の値）
になる。
【００６５】
次に、高域成分の係数値または画素値（レベル０の場合）を算出するための構成について図１２を参照しながら説明する。ここでは説明の便宜上、Ｒｍ、Ｒｎ、Ｒｄの３つのレジスタと、各加算器７１、７５と、×0.５の演算をする乗算器７２と、floor で示される丸め器７３とを有して構成されているものとする。またＲｍ、Ｒｎ、Ｒｄの各レジスタは、それぞれ例えばｘ、ｙ、ｚ、ｗの４つの値を格納できる構成になっており、レジスタに格納された係数値に対して、既に述べた所定のフィルタリングの演算を施すことで、１つ下位レベルの係数値または画素値（レベル０の場合）を算出する。
【００６６】
すなわち、レジスタＲｎからの４つの値（例えばｓ₀ ⁰，ｓ₁ ⁰，ｓ₂ ⁰，ｓ₃ ⁰）と、レジスタＲｍからの４つの値（例えばｓ₁ ⁰，ｓ₂ ⁰，ｓ₃ ⁰，ｓ₄ ⁰）とを、加算器７１でそれぞれ加算し、各加算結果に対して乗算器７２でそれぞれ0.５を乗算（あるいは１ビット右シフト）し、丸め器７３でそれぞれ丸め処理を行って得られた４つの値を加算器７４に送り、これらの４つの値をレジスタＲｄからの４つの値（例えばｄ₀ ¹，ｄ₀ ¹，ｄ₁ ¹，ｄ₂ ¹）から減算することで、１つ下位レベルの高域成分の係数値または画素値（例えばｄ₀ ⁰，ｄ₁ ⁰，ｄ₂ ⁰，ｄ₃ ⁰）を算出している。ここで、レジスタＲｄの４つの値（ｄ₀ ¹，ｄ₀ ¹，ｄ₁ ¹，ｄ₂ ¹）の内、ｄ₀ ¹を２つ用いているのは、上述したように、画面の端部で画面外部に位置するデータを、画面内部の隣接データで補っている（図９のｄ₀ ¹とその折り返しとなる破線丸印参照）からである。
【００６７】
この図１２の具体例の場合も、上記図１１の具体例と同様に、各レジスタＲｍ、Ｒｎ、Ｒｄを整数レジスタとして使用するか、固定小数点レジスタとして使用するかだけで、ハードウェア構成を全く変えずに、整数型フィルタと固定小数点型フィルタの構成を共通化できる。また、図１２中でfloor で示される丸め器７３の丸め処理も、上記図１１の丸め器６４と同様に、小数点以下の切り捨てではなく、値として小さい方の整数に丸める処理を行うように定義しておく。また、図１２の具体例では、レジスタＲｍとＲｎに低域成分を格納して置き、レジスタＲｄには高域成分を格納し、演算結果を新たにＲｄのレジスタに格納する。このように既に使用して不要になった係数に上書きするので余分のレジスタを使わないで済み、効率的である。またハードウェアの縮小にも貢献する。なお、これらのレジスタの使い方はこれ以外にも存在することは自明であり、レジスタが大きければそれだけ格納できるデータ量が増えるので、同時にフィルタリングできる量も増え、処理の高速化に寄与することができる。
【００６８】
ところで、上記図１１、図１２の乗算器６３、７２はシフト演算器で代用することができる。具体的に、図１１の×0.25の乗算器６３は右２ビットシフト、図１２の×0.５の乗算器７２は右１ビットシフトに相当することは明らかである。一般に、乗算器よりもシフト演算器の方が、ハードウェア化が軽減されることが知られており、効率的である。
【００６９】
第６の実施の形態
本発明の第６の実施の形態は、上記図１に示したように整数精度型ウェーブレット変換と固定小数点精度型ウェーブレット変換とが切り替え可能な構成において、可逆符号化を行う際には、上記整数型ウェーブレット変換手段を選択し、非可逆符号化を行う際には、上記固定小数点型ウェーブレット変換手段を選択するようにしたものである。
【００７０】
すなわち、上記第５の実施の形態でも説明したように、整数精度型ウェーブレット変換と固定小数点精度型ウェーブレット変換とは、ビット精度以外では共通化ができる。しかし、固定小数点精度型では図３で示したように、小数点部分の精度のためのビットを必要とするために、整数精度型よりも大きなレジスタを要する。これはハードウェア化の増大に繋がる。ここで、JPEG-2000 Part-1のＦＤＣでもサポートされている可逆符号化（Lossless）のために必要な可逆型ウェーブレット変換を行わせようとする場合には、前述のように、分析側と合成側とで丸め処理の統一が取られていれば、整数精度型ウェーブレット変換でも、固定小数点精度型ウェーブレット変換でも問題なく実現できることを考慮して、少ないハードウェアという点で整数精度型ウェーブレット変換を選択するのが好ましいことになる。他方、非可逆符号化（Lossy） では、高精度が要求される場合が多いので、固定小数点精度型ウェーブレット変換を選択するのが得策である。
【００７１】
以上の点を考慮して、ロスレス（Lossless）の可逆符号化を選択する場合には上記整数型ウェーブレット変換に切り替え、ロッシィ（Lossy） の非可逆符号化を選択する場合には上記固定小数点型ウェーブレット変換に切り替えることにより、それぞれの符号化に最適のウェーブレット変換を実現できる。
【００７２】
第７の実施の形態
本発明の第７の実施の形態としては、上記図１に示したように整数精度型ウェーブレット変換と固定小数点精度型ウェーブレット変換とが切り替え可能な構成において、画質重視の符号化を行う場合には、上記固定小数点型ウェーブレット変換手段を選択し、ハードウェアの削減、消費電力の省力化、低ビットレート符号化を行う際には上記整数型ウェーブレット変換手段を選択するようにしたものが挙げられる。
【００７３】
これは、高精度（高画質）を目的とする場合には、精度が整数精度よりも高く維持できる固定小数点型ウェーブレット変換を選択するのが通例であることを考慮したものである。また、ハードウェアの削減、消費電力の省力化、高圧縮（低ビットレート符号化）を重視する際には、整数型ウェーブレット変換手段を選択する方が得策となる。ビット精度を高くするためにビット長の長いレジスタを必要とする固定小数点型ウェーブレット変換の方が、ハードウェアの規模が大きくなることは当然であり、それに伴い加算器等の演算器の規模も増大するからである。
【００７４】
また、圧縮率、すなわちビットレートに関しては、ウェーブレット変換後の処理としての量子化処理による影響が大きい。この量子化処理における量子化法としては、最も単純には下記の式（９）に示すように、ウェーブレット変換係数値ｘを量子化インデックス値Δで割り算して、得られた値を量子化係数Ｑとしている。すなわち、
Ｑ ＝ ｘ／Δ ・・・（９）
ｘはウェーブレット変換係数値、Δは量子化インデックス値
である。
【００７５】
ここで、量子化インデックス値あるいは量子化ステップサイズを大きく取ればウェーブレット変換係数値を割り算して得られる量子化係数が小さくなるので圧縮率は高くなり、画質は劣化する。逆に量子化ステップサイズを小さくすればウェーブレット変換係数値を割り算して得られる量子化係数が大きくなるので圧縮率は低くなり、画質は向上する。従ってこの量子化インデックス値を制御することで、所定の圧縮率または画質を得ることができる。
【００７６】
高圧縮（低ビットレート符号化）の際には、式（９）でわかる通り、ウェーブレット変換係数値ｘは、大きめの量子化インデックス値Δで除算されるので、出力される量子化係数では元のウェーブレット変換係数の精度の差異が少なくなってしまう。つまり、固定小数点精度のウェーブレット変換係数と整数精度のウェーブレット変換係数との差が非常に小さくなってしまうことになる。
【００７７】
以上の理由より、高圧縮（低ビットレート符号化）の際には、整数型ウェーブレット変換手段を選択する方が得策である。
【００７８】
第８の実施の形態
本発明の第８の実施の形態としては、上述したような画像の符号化装置側あるいは分析側のウェーブレット変換部に対して、復号装置側あるいは合成側でのウェーブレット逆変換部を提示するものである。すなわち、図１３は、上記図１に示す画像符号化装置のウェーブレット変換装置に対応する画像復号装置のウェーブレット逆変換装置の構成を示す図である。
【００７９】
この図１３において、ウェーブレット逆変換部８は、上記図１のウェーブレット変換部５に対応するものであり、図１の固定小数点型ウェーブレット変換部３からの変換係数１０７が図１３の変換係数１１１として固定小数点型ウェーブレット逆変換部９に供給され、図１の整数型ウェーブレット変換部４からの変換係数１０８が図１３の変換係数１１２として整数型ウェーブレット逆変換部１０に供給される。固定小数点型ウェーブレット逆変換部９からの出力１１３は切り替え部１１の被選択端子ａに送られ、整数型ウェーブレット逆変換部１０からの出力１１４は切り替え部１１の被選択端子ｂに送られ、この切り替え部１１からの出力１１５がデータ書き出しメモリ部１２に送られている。
【００８０】
次に動作について説明する。ウェーブレット逆変換部８は、固定小数点型ウェーブレット逆変換部９と整数型ウェーブレット逆変換部１０とを備えており、固定小数点精度のウェーブレット変換係数１１１が入力されて来た際には、固定小数点型ウェーブレット逆変換器９で逆変換を行い、復号画像１１３を出力する。
【００８１】
他方、整数精度のウェーブレット変換係数１１２が入力されて来た際には、整数型ウェーブレット逆変換器１０で逆変換を行い、復号画像１１４を出力する。復号画像１１３もしくは復号画像１１４は、切り替え部１１のスイッチでいずれか一方が選択されて、出力１１５としてデータ書き出しメモリ部１２に入力される。このデータ書き出しメモリ部１２では、復号画像の領域分だけの画像がメモリ内に書き込まれる。
【００８２】
図１４は、固定小数点型ウェーブレット逆変換部９の構成例を示し、ウェーブレット逆変換器１３とビットシフト器１４とから構成されている。固定小数点精度については、既に図３で整数精度との差異について述べたが、分析側で左にビットシフトしているので、本実施の形態の合成側では、逆に右ビットシフトを行い、値を元のレベルまで戻す動作を行う。またビットシフトが必要なのは、最終的な復号画像（レベル０）を求めた後のみである。すなわち、ウェーブレット逆変換器１３からの出力１１６がレベル１までの変換係数のときは、ビットシフト器１４を介さず、ウェーブレット逆変換器１３からの出力１１６が最終的な復号画像（レベル０）となるときのみ、ビットシフト器１４によりビットシフト処理を行う。
【００８３】
なお、固定小数点型ウェーブレット逆変換部と、整数型ウェーブレット逆変換部での逆変換の手段については、既に図９、図１０を用いて説明したので、本実施の形態では説明を省略する。
【００８４】
第９の実施の形態
本発明の第９の実施の形態は、上記図１４のウェーブレット逆変換器１３の具体例を提示するものであり、このウェーブレット逆変換器１３は、乗算器またはシフト演算器、加減算器、レジスタから構成されているものである。このようなウェーブレット逆変換器のハードウェア構成については、上記第５の実施の形態において、図１１、図１２を参照しながら既に説明した通りである。また、合成側の整数型ウェーブレット逆変換部のウェーブレット逆変換器と固定小数点型ウェーブレット逆変換部のウェーブレット逆変換器との構成を共通化できることも、上述した通りである。さらに、合成側の演算手段が固定小数点精度と整数精度とで違わないことも既に説明した通りである。
【００８５】
第１０の実施の形態
本発明の第１０の実施の形態は、符号化側のウェーブレット変換部と復号側のウェーブレット逆変換部との間の送受信に関するものであり、整数型ウェーブレット変換手段及び／又は固定小数点型ウェーブレット変換手段を備えた符号化装置で生成された符号化ビットストリームを、整数型ウェーブレット逆変換手段及び固定小数点型ウェーブレット逆変換手段を備えた復号装置で復号する場合に、該復号装置では、符号化ビットストリームより整数型又は固定小数点型のいずれのウェーブレット変換手段で変換したかを示す情報を検知する手段を備え、整数型であった際には、高域成分係数のゲイン調整と、逆変換後のビットシフトを行うことなく、復号画像を出力し、固定小数点型であった際には、高域成分係数のゲイン調整手段と、逆変換後のビットシフト手段を行うことで、復号画像を出力するする手段を備えて成るものである。
【００８６】
図１５は、この第１０の実施の形態の要部の概略構成を示し、ビット精度検出部３１、スイッチ３２、ゲイン調整部３３、ウェーブレット逆変換器３４、ビットシフト器３５とを有して構成されている。
【００８７】
すなわち、この図１５において、符号化ビットストリーム１３０を受信したビット精度検出部３１は、該符号化ビットストリーム１３０の中から、符号化器のウェーブレット変換器においてどのビット精度でウェーブレット変換が行われたかを示すコードまたは情報を検出する。検出された情報を元に、ビット精度検出部３１からは、スイッチ３２に対して制御信号１３７が送られる。
【００８８】
この時、整数精度の変換であったことを検知した際には、スイッチ３２は被選択端子ａ側に切換接続され、逆に固定小数点精度であったことを検知した場合には、被選択端子ｂ側に切換接続される。前者の場合は、ウェーブレット逆変換器３４を経て、復号画像１３４が出力される。
【００８９】
他方、後者（固定小数点精度）の場合には、変換係数の内、高域成分の係数に対してはゲイン調整部３３でゲイン調整処理を行い、他の低域係数はそのまま通過させて出力１３３を得る。この出力１３３は、次にウェーブレット逆変換器３４で逆変換され、逆変換出力１３５は最後の復号画像（レベル０）がビットシフト部３５に送られて右ビットシフトされることにより、最終的な復号画像１３６が得られる。
【００９０】
第１１の実施の形態
本発明の第１１の実施の形態は、上述した第１０の実施の形態においてビット精度検出を行わせるための情報の一例を提示するものである。すなわち、上記図１５と共に説明した第１０の実施の形態では、復号装置内のビット精度検出部３１において、符号化ビットストリーム１３０から、符号化側のウェーブレット変換装置においてどのビット精度でウェーブレット変換が行われたかを示すコードまたは情報を検出する手段を備える手段について述べたが、実際には該符号化ビットストリーム１３０中に、そのコードまたは情報を埋め込む仕組みが無ければならない。
【００９１】
図１６は、符号化ビットストリーム中の、ウェーブレット変換の種類あるいはビット精度を示す情報の一例を示すものであり、この図１６に示す表は、上述したJPEG-2000 Part-１ ＦＤＣのTable A-19として記載されているものに、新たに"0000 0010" (5-3 irreversible wavelet transform)のコードを付加したものである。これにより、上記各実施の形態で説明した整数精度型5x3 フィルタと、固定小数点精度型5x3 フィルタとの識別が行える。
【００９２】
すなわち、図１６では、ウェーブレット変換のタイプ（Transform Type）として、８ビットコード"0000 0000" の9-7 irreversible wavelet transform（浮動小数点精度型9x7 フィルタ）と、"0000 0001" の5-3 reversible wavelet transform（整数精度型5x3 フィルタ）に加えて、"0000 0010" の5-3 irreversible wavelet transform（固定小数点精度型5x3 フィルタ）のコードを付加している。このウェーブレット変換のタイプを表す８ビットコードを、上記図１５のビット精度検出部３１で検出し識別することにより、上述したようなスイッチ３２以降でのビット精度に適合した復号処理あるいはウェーブレット逆変換処理を行わせることができる。
【００９３】
第１２の実施の形態
本発明の第１２の実施の形態は、整数精度型ウェーブレット逆変換手段のみを備えている復号装置あるいはウェーブレット逆変換装置の場合に、符号化側で固定小数点精度のウェーブレット変換が施された符号化ビットストリームが入力されたことを検出した際に、全ての復号動作を中断して復号不可能の状態になる手段または、復号不可能の状態表示を外部に対して発する手段を備えて成るものである。
【００９４】
すなわち、上記第１０の実施の形態で説明したように、復号装置側に高域成分係数のゲイン調整手段と、逆変換後のビットシフト手段を予め備えておけば、正しく逆変換と復号ができるが、本第１２の実施の形態のように、これらの手段を有していない場合には、全ての復号動作を中断して復号不可能の状態にするか、または復号不可能の状態表示を外部に対して発することが現実的である。
【００９５】
以上説明した本発明の第１〜第１２の実施の形態は、ウェーブレット変換を用いて、静止画のみならず動画像でも高品質な符号化画像を供するための問題点を、ウェーブレット変換手段の点から解決することを主眼に置いている。すなわち、上述したJPEG-2000 Part-1のＦＣＤ（Final Committee Draft） で規定されているInteger 5x3 フィルタの固定小数点精度化であるFixed-point 5x3 フィルタは、同じくＦＤＣで規定されているFloat 7x9 フィルタと比べても、符号化効率の点で遜色がない優れた性能を有しているだけでなく、Integer 5x3 フィルタと内部の演算器の共通部分が多い。従って、両者の回路または演算手段を共通化することで、符号化効率も犠牲にせず、ハードウェア化の増加を最小限に抑えるようにしている。また、本発明の実施の形態では、例えばJPEG-2000 におけるInteger 5x3 フィルタとFixed-point 5x3 フィルタを共通化して実現するようにしているが、本発明はJPEG-2000以外にも適用可能であることは言うまでもない。
【００９６】
本発明の実施の形態の構成としては、入力画像をウェーブレット変換に必要なだけ読み出してバッファリングする手段と、固定小数点精度のウェーブレット変換手段と、整数精度のウェーブレット変換手段とを備える。固定小数点精度のウェーブレット変換手段はさらに、整数精度のウェーブレット変換手段と共有化可能なウェーブレット変換器と、それ以外にはビットシフト器を備える。上記共有化可能なウェーブレット変換器は更に、乗算器またはシフト演算器、加減算器、レジスタを有して構成される。
【００９７】
このような構成の本発明の実施の形態によれば、固定小数点型ウェーブレット変換手段と、整数精度型ウェーブレット変換手段とを共通の構成で実現することで、全体のハードウェア構成の増加を抑えるという効果がある。また、画質または圧縮率に応じて、両者の選択を制御することで、常に最適なウェーブレット変換手段を実現出来る。従って、携帯電話やPDA等のモーバイル端末では狭帯域回線を用いた低ビットレートでの画像伝送を余儀なくされることから、省電力化の点で優れる整数精度型ウェーブレット変換手段を用いれば、圧縮率を犠牲にすることなく、長時間の運用が出来るという効果がある。
【００９８】
なお、本発明は、上述の実施の形態に限定されるものではなく、例えばウェーブレット変換のフィルタのタップ数は５×３に限定されず、また、適用される規格もJPEG-2000 に限定されない。
【００９９】
【発明の効果】
本発明によれば、入力画像データを所定の領域だけメモリに読み出し蓄積し、データが蓄積され次第これら画像領域に対し水平または垂直方向のウェーブレット変換フィルタをかける画像符号化の際に、上記ウェーブレット変換は、固定小数点型ウェーブレット変換と、整数型ウェーブレット変換とのいずれかを選択することにより、整数型ウェーブレット変換と同程度のハードウェア構成により、より高精度の固定小数点型ウェーブレット変換を実現できる。
【０１００】
また、固定小数点型ウェーブレット変換手段と、整数精度型ウェーブレット変換手段との構成を共通化することにより、全体のハードウェア構成の増加を抑えることができる。
【０１０１】
また、画質または圧縮率に応じて、両者の選択を制御することにより、常に最適なウェーブレット変換手段を実現できる。例えば、携帯電話やＰＤＡ等のモーバイル端末では、狭帯域回線を用いた低ビットレートでの画像伝送を余儀なくされることから、省電力化の点で優れる整数精度型ウェーブレット変換手段を用いれば、圧縮率を犠牲にすることなく、長時間の運用が可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態となる画像符号化装置に用いられるウェーブレット変換装置の概略構成を示すブロック図である。
【図２】図１の固定小数点型ウェーブレット変換部３の構成例を示すブロック図である。
【図３】固定小数点精度と整数精度の計算語長の例を示す図である。
【図４】通常のウェーブレット変換部の概略構成（レベル３まで）を示すブロック図である。
【図５】通常のウェーブレット逆変換部の概略構成（レベル３まで）を示すブロック図である。
【図６】２次元画像の帯域分割（分割レベル＝３）を説明するための図である。
【図７】分析側の整数精度型ウェーブレット変換フィルタの演算を説明するための図である。
【図８】分析側の固定小数点精度型ウェーブレット変換フィルタの演算を説明するための図である。
【図９】合成側の整数精度型ウェーブレット逆変換フィルタの演算を説明するための図である。
【図１０】合成側の固定小数点精度型ウェーブレット逆変換フィルタの演算を説明するための図である。
【図１１】合成側の低域成分の係数または画素値（レベル０の場合）を算出するためのハードウェア構成の一例を示す図である。
【図１２】合成側の高域成分の係数または画素値（レベル０の場合）を算出するためのハードウェア構成の一例を示す図である。
【図１３】画像復号装置のウェーブレット逆変換装置の構成の一例を示すブロック図である。
【図１４】図１３の固定小数点型ウェーブレット逆変換部９の構成の一例を示すブロック図である。
【図１５】画像復号装置のウェーブレット逆変換装置の他の構成例を示すブロック図である。
【図１６】符号化ビットストリーム中のウェーブレット変換のタイプを示す情報の一例を説明するための図である。
【符号の説明】
１ データ読み出しメモリ部、 ２，１１ 切り替え部、 ３ 固定小数点型ウェーブレット変換部、 ４ 整数型ウェーブレット変換部、 ５ ウェーブレット変換部、 ６，１４，３５ ビットシフト器、 ７ ウェーブレット変換器、 ８ ウェーブレット逆変換部、 ９ 固定小数点型ウェーブレット逆変換部、 １０ 整数型ウェーブレット逆変換部、 １２ データ書き出しメモリ部、１３，３４ ウェーブレット逆変換器、 ３１ ビット精度検出部、 ３３ ゲイン調整部

Claims (8)

1. 入力画像データを所定の領域だけメモリに読み出し蓄積するメモリ手段と、
   上記メモリ手段から読み出された上記所定の領域にウェーブレット変換を施すウェーブレット変換手段と、
   上記ウェーブレット変換手段から出力されたウェーブレット変換係数に符号化処理を施す符号化手段とを有する画像符号化装置であって、
   上記ウェーブレット変換手段は、ビットシフト器とウェーブレット変換器とで構成される固定小数点型ウェーブレット変換手段と、ウェーブレット変換器で構成される整数型ウェーブレット変換手段とを備え、
   上記整数型ウェーブレット変換手段のウェーブレット変換器と上記固定小数点型ウェーブレット変換手段のウェーブレット変換器とは、同じ構成を有することを特徴とする画像符号化装置。
2. 上記ウェーブレット変換器は、乗算器またはシフト演算器、加減算器、レジスタから構成されていることを特徴とする請求項１記載の画像符号化装置。
3. 可逆符号化を行う際には、上記整数型ウェーブレット変換手段を選択し、非可逆符号化を行う場合には、上記固定小数点型ウェーブレット変換手段を選択することを特徴とする請求項１記載の画像符号化装置。
4. 入力画像データを所定の領域だけメモリに読み出し蓄積する工程と、
   上記メモリから読み出された上記所定の領域にウェーブレット変換を施すウェーブレット変換工程と、
   上記ウェーブレット変換工程にて出力されたウェーブレット変換係数に符号化処理を施す符号化工程とを有する画像符号化方法であって、
   上記ウェーブレット変換工程では、ビットシフト処理とウェーブレット変換処理とを有する固定小数点型ウェーブレット変換工程と、ウェーブレット変換処理を有する整数型ウェーブレット変換工程とのいずれかを選択し、
   上記整数型ウェーブレット変換工程のウェーブレット変換処理と上記固定小数点型ウェーブレット変換工程のウェーブレット変換処理とは、同じ処理とすること
   を特徴とする画像符号化方法。
5. 入力された符号化画像データを所定の領域だけに復号処理を施す復号手段と、
   上記復号手段より出力されたウェーブレット変換係数にウェーブレット逆変換を施すウェーブレット逆変換手段とを備える画像復号装置において、
   上記ウェーブレット逆変換手段は、ウェーブレット逆変換器とビットシフト器を備える固定小数点型ウェーブレット逆変換手段と、ウェーブレット逆変換器を備える整数型ウェーブレット逆変換手段とを備え、
   上記固定小数点型ウェーブレット逆変換手段のウェーブレット逆変換器と上記整数型ウェーブレット逆変換手段のウェーブレット逆変換器とは、同じ構成を有することを特徴とする画像復号装置。
6. 上記ウェーブレット逆変換器は、乗算器またはシフト演算器、加減算器、レジスタから構成されていることを特徴とする請求項５記載の画像復号装置。
7. 上記入力された符号化画像データのウェーブレット変換係数が上記整数型か上記固定小数点型かを検知する検知手段を更に備え、
   整数型であった際には、高域成分係数のゲイン調整と、ウェーブレット逆変換後のビットシフトを行うことなく、復号画像を出力し、固定小数点型であった際には、高域成分係数のゲイン調整と、ウェーブレット逆変換後のビットシフトを行うことで、復号画像を出力することを特徴とする請求項５記載の画像復号装置。
8. 入力された符号化画像データを所定の領域だけに復号処理を施す復号工程と、
   上記復号工程より得られたウェーブレット変換係数にウェーブレット逆変換を施すウェ ーブレット逆変換工程とを備える画像復号方法において、
   上記ウェーブレット逆変換工程は、ウェーブレット逆変換処理とビットシフト処理とを有する固定小数点型ウェーブレット逆変換工程と、ウェーブレット逆変換処理を有する整数型ウェーブレット逆変換工程とのいずれかを選択し、
   上記固定小数点型ウェーブレット逆変換工程のウェーブレット逆変換処理と上記整数型ウェーブレット逆変換工程のウェーブレット逆変換処理とは、同じ処理とすることを特徴とする画像復号方法。

Images