JP4017112B2 - 符号化データ生成装置及び方法、プログラム並びに情報記録媒体 - Google Patents
符号化データ生成装置及び方法、プログラム並びに情報記録媒体 Download PDFInfo
- Publication number
- JP4017112B2 JP4017112B2 JP2003125667A JP2003125667A JP4017112B2 JP 4017112 B2 JP4017112 B2 JP 4017112B2 JP 2003125667 A JP2003125667 A JP 2003125667A JP 2003125667 A JP2003125667 A JP 2003125667A JP 4017112 B2 JP4017112 B2 JP 4017112B2
- Authority
- JP
- Japan
- Prior art keywords
- inverse
- encoded data
- transform
- subband
- square root
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 150
- 238000013139 quantization Methods 0.000 claims description 187
- 230000000007 visual effect Effects 0.000 claims description 116
- 230000035945 sensitivity Effects 0.000 claims description 112
- 238000006243 chemical reaction Methods 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 30
- 206010042618 Surgical procedure repeated Diseases 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 50
- 238000007906 compression Methods 0.000 description 33
- 230000006835 compression Effects 0.000 description 32
- 230000009466 transformation Effects 0.000 description 23
- 230000002441 reversible effect Effects 0.000 description 12
- 230000007704 transition Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
- G10L19/0216—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation using wavelet decomposition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像等の信号の変換符号化の分野に係り、より詳細には、変換符号化による符号化データの生成と、変換符号化による符号化データの符号状態での再圧縮に関する。
【０００２】
【従来の技術】
画像の変換符号化に関して、ウェーブレット変換を利用する変換符号化において、ウェーブレット係数の線形量子化に視覚特性を反映させるために、低周波サブバンドほど量子化ステップ数を小さくし，高周波サブバンドほど量子化ステップ数を大きくする技術が特許文献１に記載されている。
【０００３】
また、変換符号化による符号を復号して得られるサブバンドの逆周波数変換後の信号に生じる誤差の二乗平均を最小にするため、符号化の際の各サブバンドの線形量子化に用いる量子化ステップ数として、サブバンドゲインの平方根の逆数（又はその整数倍の値）を用いる技術が非特許文献２に記載されている。
【０００４】
視覚特性に関しては、視覚感度の測定例が非特許文献２に記載されている。また、ＪＰＥＧ２０００（例えば非特許文献１参照）においては、その標準書で視覚感度に基づきサブバンドの重みを例示しているが、その詳細が非特許文献３に記載されている。
【０００５】
【特許文献１】
特開平6-326990号公報
【非特許文献１】
野水泰之、「次世代画像符号化方式ＪＰＥＧ２０００」、株式会社トリケップス、２００１年２月１３日
【非特許文献２】
J.Katto and Y.Yasuda,“Performance evaluation of subband coding and optimization of its filter coefficients,”Journal of Visual Communication and Image Representation,vol.2,pp.303-313,Dec.1991
【非特許文献３】
Marcus J.Nadenau and Julien Reichel,”Opponent color,human vision and wavelets for image compression.Proceedings of the Seventh Color Imaging Conference,pp.237‐242,Scottsdale,Arizona,November16-19 1999.IS&T
【非特許文献４】
Marcus J.Nadenau,Julien Reichel,and Murat Kunt,“Wavelet-based color image compression:Exploiting the contrast sensitivity function,”IEEE Transactions on Image Processing,2000
【０００６】
【発明が解決しようとする課題】
一般に、変換符号化では、
［原信号のサブバンドへの周波数変換］→［サブバンドを構成する「周波数領域の係数」の量子化］→［量子化後の係数のエントロピー符号化］
という手順（手順１００）をとる。ここで、サブバンドとは周波数帯域ごとに分類された「周波数領域の係数」の集合である。「周波数領域の係数（以下、周波数係数又は係数とも呼ぶ）」とは、前記周波数変換がＤＣＴ（離散コサイン変換）であればＤＣＴ係数，前記変換がウェーブレット変換であればウェーブレット係数である。また、上記量子化は，周知のごとくデータの圧縮率を向上させるために行うものであり、その代表例は係数を量子化ステップ数と呼ばれる定数で除算する線形量子化である。このような手順による変換符号化の典型例が前記特許文献１に記載されている。
【０００７】
さて、手順１００のように周波数係数を量子化してからエントロピー符号化する方式では、例えば符号化後に更に圧縮率を上げたい場合（再圧縮時）には、
［エントロピー符号の復号］→［復号された周波数係数の逆量子化］→［逆量子化後の周波数係数の再量子化］→［エントロピー符号化］
という手順（手順１０１）をとらざるを得ない。この手順は、その冗長さの問題に加えて、逆量子化時の誤差が再量子化時に影響を与え、累積的な誤差を生じるという問題がある。
【０００８】
そこで近年、符号化後に、復号を経ることなく、エントロピー符号状態で不要な符号を破棄することにより、前記累積誤差を生じさせることなく再圧縮が可能な符号化方式（いわゆる「ポスト量子化」が可能な方式）が提案されている。その代表例の１つがＪＰＥＧ２０００である。このような再圧縮可能な符号化方式においては、最初に、ロスレス（あるいは、ほとんどロスレス）の符号化データを生成して保存しておき、その後、必要に応じて不要な符号を破棄することにより所望の圧縮率に再圧縮された符号化データを得ることができる。
【０００９】
このような符号の破棄による再圧縮を可能とするために、周波数係数をビットプレーンに分解し、各ビットプレーンを独立に符号化する「ビットプレーン符号化」と呼ばれる方式が用いられる。ビットプレーン符号化においては、
（i）必要な上位ビットプレーンのみをエントロピー符号化する。
あるいは
（ii）必要以上の（典型的には全ての）ビットプレーンをエントロピー符号化し、その後，不要な下位ビットプレーンのエントロピー符号を破棄する。
等の手段によって、最終的に必要な上位ビットプレーンの符号のみを出力し、原データに対する圧縮率を向上させることができる。
【００１０】
上記（ii）のプロセスは、最終的に必要な上位ビットプレーンの符号のみを出力するものであり、再圧縮そのものである。ビットプレーン符号化においては、基本的に係数の線形量子化ではなく、ビットプレーンあるいはビットプレーンのエントロピー符号の破棄によって圧縮を行うのである。また、以上から明らかなように、ポスト量子化は、１つの符号化プロセス中で行うことも、一度符号化を終了し、時間が経過した後に改めて行うことも可能である。本明細書においては、ポスト量子化はその両方の意味で用いる。
【００１１】
さて、上記（i）,（ii）のどちらの場合においても、必要な上位ビットプレーン（換言すれば、不要な下位ビットプレーン）を、目的（数学的量子化誤差を最小にする、主観画質を最適にする等）に応じてどのようにして決定するかが問題である。その手法もしくは手段を提供することが、本発明の解決しようとする課題である。これについて、さらに詳しく論じる。
【００１２】
まず、「一定の圧縮率で数学的な量子化誤差（誤差の二乗平均値）を最小にする」ように、必要な上位ビットプレーン（不要な下位ビットプレーン）を決定することを考える。
【００１３】
エントロピー符号が復号される場合は、前記手順１００が逆に辿られ、量子化された周波数係数は逆量子化、逆周波数変換を経て信号値に戻る。ここで、逆周波数変換においては、サブバンドごとに「周波数係数値が信号値に逆変換された場合の倍率」が異なり、この倍率の二乗をサブバンドゲイン（Gsと表記）という。量子化によって周波数係数に生じた誤差△eは、信号への逆変換によってサブバンドゲインの平方根倍され、√Gs・△eとなる。
【００１４】
前記非特許文献２に記載されているように、一般に、ある圧縮率において、逆変換後の信号（＝複数の信号値で構成される）に生じた誤差の二乗平均を最小にするためには、符号化の際に各サブバンドをサブバンドゲインの平方根の逆数(の定数倍の値)で線形量子化するのが簡易な方法である。したがって、ビットプレーン符号化を用いない通常の符号化方式においては、サブバンドゲインの平方根の大きさに反比例した量子化ステップ数(の定数倍)で係数を量子化すれば、誤差の二乗平均は最小となる。
【００１５】
さて、JPEG2000において、5x3ウェーブレット変換を使用する場合の代表的な処理の流れの１つは、
［原信号のサブバンドへのウェーブレット変換］→［ウェーブレット係数を、サブバンドごとに、必要な上位ビットプレーン（または上位サブビットプレーン）のみ符号化］
である（手順１０２）。ここで、サブビットプレーンとは、１つのビットプレーンの部分集合である。
【００１６】
このように、5x3ウェーブレット変換を用いる方法では線形量子化は行われないため、逆変換後の信号に生じる二乗誤差を最小にするための、線形量子化を前提とした手法ないし手段は適用できない。つまり、二乗誤差を最小にするように必要な上位ビットプレーン（不要な下位ビットプレーン）を決定する手法もしくは手段は明らかでなく、ましてや、ビットプレーンがさらに複数の部分集合（サブビットプレーン）に分割され、サブビットプレーンごとに符号化される場合の、その手法もしくは手段は明らかでない。本発明は、その手法もしくは手段を提供するものである。
【００１７】
また、JPEG2000における、9x7ウェーブレット変換を使用する場合の代表的な処理の流れの１つは、
［原信号のサブバンドへのウェーブレット変換］→［ウェーブレット係数をサブバンドごとに線形量子化］→［量子化後のウェーブレット係数を、サブバンドごとに、必要な上位ビットプレーン（または上位サブビットプレーン）のみ符号化］
である（手順１０３）。
【００１８】
この場合には、「サブバンドゲインの平方根の大きさに反比例した量子化ステップ数で係数を線形量子化」することはできる。しかし、符号化の段階で線形量子化を行ってしまうのでは、「ロスレス（あるいはほとんどロスレス）の符号化データを生成・保存しておき、その後、必要に応じて不要な符号を破棄し，所望の圧縮率の符号化データを得る」という目的には適さない。9x7ウェーブレット変換を使用する場合においても、符号化段階での量子化は最小限にし、その後にポスト量子化を行うのが望ましいが、その際にも、逆変換後の信号に生じる二乗誤差を最小にするための手法もしくは手段は明らかではなく、ましてやサブビットプレーンごとに符号化される場合の、その手法もしくは手段は明らかでない。本発明は、その手法もしくは手段を提供するものである。
【００１９】
次に、「一定の圧縮率で視覚的に最適な画質を得る」ことを考える。
【００２０】
前記特許文献１にも記載されているように、人間の視覚特性は低周波数領域に敏感で高周波数領域で鈍感であるため、低周波サブバンドの量子化誤差には敏感で、高周波サブバンドの量子化誤差には鈍感であることとなる。したがって、前記特許文献１に記載のように、ウェーブレット係数の線形量子化の際に視覚特性を量子化ステップ数に反映させるべく，低周波サブバンドほど量子化ステップ数を小さくし、高周波サブバンドほど量子化ステップ数を大きくする方法は有効である。
【００２１】
同様の方法は、ＪＰＥＧ２０００で5×3ウェーブレット変換を使用する場合には適用できないが、9x7ウェーブレット変換を使用する場合には、「サブバンドの周波数に対応した視覚感度の大きさに反比例したステップ数で係数を量子化」することで適用できる。しかしながら、「ロスレス（あるいは、ほとんどロスレス）の符号化データを生成・保存しておき，その後に必要に応じて不要な符号を破棄し，所望の圧縮率の符号を得る」という目的には適さない。9x7ウェーブレット変換を使用する場合においても、符号化段階の量子化は最小限にし、その後にポスト量子化を行うのが望ましいが、そのポスト量子化の際に、視覚的に最適な画質を得られるように、必要な上位ビットプレーン又は上位サブビットプレーン（不要な下位ビットプレーンもしくは下位サブビットプレーン）を決定するための手法もしくは手段は明らかではない。本発明は、そのための手法もしくは手段を提供するものである。
【００２２】
なお、上記視覚特性は「（周波数変換係数の誤差ではなく）画素の量子化誤差に対する人間の視覚の敏感さ」であるから、ポスト量子化に際しては、視覚感度とサブバンドゲインの平方根の両方を考慮することが望ましい。付言すれば、ビットプレーン符号化において、下位ビットプレーンｎ枚分の符号（や周波数係数）を破棄することは、２のn乗で周波数係数を線形量子化するのと同様な効果を有し、これがポスト量子化と呼ばれる所以である。
【００２３】
【課題を解決するための手段】
請求項１の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより符号化データを生成する符号化データ生成装置であって、
各サブバンドに関する、(i)前記周波数変換の逆変換のゲインの平方根の逆数、(ii)視覚感度の逆数、(iii)前記逆変換のゲインの平方根と視覚感度の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００２４】
また、請求項５の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成装置であって、
各サブバンドに関する、(i)前記周波数変換の逆変換のゲインの平方根の逆数、(ii)視覚感度の逆数、(iii)前記逆変換のゲインの平方根と視覚感度の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００２５】
請求項１６の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより符号化データを生成する符号化データ生成方法であって、
各サブバンドに関する、(i)前記周波数変換の逆変換のゲインの平方根の逆数、(ii)視覚感度の逆数、(iii)前記逆変換のゲインの平方根と視覚感度の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００２６】
請求項２０の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成方法であって、
各サブバンドに関する、(i)前記周波数変換の逆変換のゲインの平方根の逆数、(ii)視覚感度の逆数、(iii)前記逆変換のゲインの平方根と視覚感度の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００２７】
請求項１及び１６の発明によれば、信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化する符号化プロセスを採用する場合において、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な符号化データを生成することができる。請求項５及び２０の発明によれば、そのような符号化プロセスによる符号化データから、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な再圧縮符号化データを生成することができる。
【００２８】
請求項２の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化することにより符号化データを生成する符号化データ生成装置であって、
各サブバンドに関する、（i）前記周波数変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記量子化の量子化ステップ数の積の逆数、（iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００２９】
請求項６の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成装置であって、
各サブバンドに関する、（i）前記周波数変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記量子化の量子化ステップ数の積の逆数、（iii）前記逆変換のゲインの平方根と視覚感度と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００３０】
請求項１７の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化することにより符号化データを生成する符号化データ生成方法であって、
各サブバンドに関する、（i）前記周波数変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記量子化の量子化ステップ数の積の逆数、（iii）前記逆変換のゲインの平方根と視覚感度と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００３１】
請求項２１の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成方法であって、
各サブバンドに関する、（i）前記周波数変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記量子化の量子化ステップ数の積の逆数、（iii）前記逆変換のゲインの平方根と視覚感度と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００３２】
請求項２及び１７の発明によれば、信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化する符号化プロセスを採用する場合において、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な符号化データを生成することができる。請求項６及び２１の発明によれば、そのような符号化プロセスによる符号化データから、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な再圧縮符号化データを生成することができる。
【００３３】
さて、符号化対象の信号が、カラー画像のように複数のコンポーネントから成る場合、一般に
［原信号のコンポーネント変換（色変換）］→［コンポーネント毎のサブバンドへの周波数変換］→［サブバンドを構成する周波数領域の係数の量子化］→［量子化後の係数のエントロピー符号化］
という手順をとる。ここで、コンポーネント変換の例としては，JPEG2000で採用されている可逆のＲＣＴ(Reversible multiple component transformation)と非可逆のＩＣＴ(Irreversible multiple component transformation)を挙げることができる。
【００３４】
ＲＣＴの順変換と逆変換は次式で表される。
順変換
Y０(x,y)=floor((I０(x,y)+2*(I１(x,y)+I２(x,y))/4)
Y１(x,y)=I２(x,y)-I１(x,y)
Y２(x,y)=I０(x,y)-I１(x,y)
逆変換
I１(x,y)=Y０(x,y)-floor((Y２(x,y)+Y１(x,y))/4)
I０(x,y)=Y２(x,y)+I１(x,y)
I２(x,y)=Y１(x,y)+I１(x,y)
（１）
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号を例にすれば、Ｉ信号において、０＝Ｒ，１＝Ｇ，２＝Ｂとすれば、Ｙ信号は、０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。
【００３５】
ＩＣＴの順変換と逆変換は次式で表される。
順変換
Y０(x,y)=0.299*I０(x,y)+0.587*I１(x,y)+0.144*I２(x,y)
Y１(x,y)=-0.16875*I０(x,y)-0.33126*I１(x,y)+0.5*I２(x,y)
Y２(x,y)=0.5*I０(x,y)-0.41869*I１(x,y)-0.08131*I２(x,y)
逆変換
I０(x,y)=Y０(x,y)+1.402*Y２(x,y)
I１(x,y)=Y０(x,y)-0.34413*Y１(x,y)-0.71414*Y２(x,y)
I２(x,y)=Y０(x,y)+1.772*Y１(x,y)
（２）
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号を例にすれば、Ｉ信号において、０＝Ｒ，１＝Ｇ，２＝Ｂとすれば、Ｙ信号は、０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。
【００３６】
前記（１）式、（２）式から明らかなように，各コンポーネント値が原信号値に逆コンポーネント変換された場合に、各コンポーネント値に生じた誤差によって原信号値に生じる誤差の倍率はコンポーネント毎に異なる。この倍率の二乗をコンポーネント変換の逆変換のゲイン（逆コンポーネント変換ゲインGcと表記）という。量子化によって周波数係数に生じた誤差△eは、逆コンポーネント変換によって逆コンポーネント変換ゲインの平方根倍され、√Gc・△eとなり、ちょうど前記サブバンドゲインと同様の影響が生じる。
【００３７】
このような逆コンポーネント変換ゲインの影響を考慮し、請求項３の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドをビットプレーン符号化することにより符号化データを生成する符号化データ生成装置であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００３８】
また、請求項７の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドをビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成装置であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００３９】
また、請求項１８の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより符号化データを生成する符号化データ生成方法であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいコンポーネントのサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００４０】
また、請求項２２の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドをビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成方法であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００４１】
請求項３及び１８の発明によれば、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドをビットプレーン符号化する符号化プロセスを採用する場合に、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な符号化データを生成することができる。請求項７及び２２の発明によれば、そのような符号化プロセスによる符号化データから、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な再圧縮符号化データを生成することができる。
【００４２】
また、請求項４の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化することにより符号化データを生成する符号化データ生成装置であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００４３】
また、請求項８の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成装置であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００４４】
また、請求項１９の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化することにより符号化データを生成する符号化データ生成方法であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００４５】
請求項２３の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成方法であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００４６】
請求項４及び１９の発明によれば、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化する符号化プロセスを採用する場合に、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な符号化データを生成することができる。請求項８及び２３の発明によれば、そのような符号化プロセスによる符号化データから、復号した信号に生じる二乗誤差が少なく、また主観画質が良好な再圧縮符号化データを生成することができる。
【００４７】
請求項９の発明は、請求項１乃至８のいずれかの発明による符号化データ生成装置において、前記値(a)と、符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が比例関係にあることを特徴とするものであり、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な符号化データ又は再圧縮符号化データを生成することができる。
【００４８】
請求項１０の発明は、請求項１乃至８のいずれか１項の発明による符号化データ生成装置において、
前記選択手段は、前記値(a)が最大の値をとるサブバンドのビットプレーンを最下位ビット側から１枚選択し、該最大の値をその２分の１の値に置換する手順の繰り返しにより決定される、符号を出力させない下位ビットプレーンの組み合わせパターンに従って、符号を出力させない下位ビットプレーンを選択することを特徴とするものである。このような構成によれば、復号した信号に生じる二乗誤差が小さく、また主観画質の良好な、様々な圧縮率の符号化データまたは再圧縮符号化データを生成することができる。
【００４９】
なお、前記手順により決定される符号を出力させない下位ビットプレーンの組み合わせパターンは、その全てのパターンのみならず、そのサブセットをも指す。さらに、そのパターンを、符号化データ生成プロセス中で決定する態様も、予め決定してテーブルなどとして用意して態様もとり得る。以上の２点は請求項１１，１２の発明においても同様である。
【００５０】
請求項１０の発明における手順は、出力させない下位ビットプレーンの組み合わせパターンを決定するものであるが、１枚のビットプレーンをｎ個のサブビットプレーンに分割して符号化する場合にも拡張可能である。この場合、ｎ個のサブビットプレーンには、概念的には、ｎ枚のビットプレーンがあるのと同様に、上位サブビットプレーン、下位サブビットプレーンの関係が生じる。通常、このｎ個のサブビットプレーンをｎ枚のサブビットプレーンと呼ぶが、拡張する場合には、ｎ枚のサブビットプレーンを平等に扱うのが簡易である。請求項１１の発明では、そのような扱いをする。
【００５１】
すなわち、請求項１１の発明は、請求項１乃至８のいずれか１項の発明による符号化データ生成装置において、前記ビットプレーン符号化では各ビットプレーンがｎ個のサブビットプレーンに分割されて符号化され、前記選択手段は、前記値(a)が最大の値をとるサブバンドのサブビットプレーンを最下位ビット側から１枚選択し、該最大の値を２１／ｎで除算した値に置換する手順の繰り返しにより決定される、符号を出力させない下位サブビットプレーンの組み合わせパターンに従って、符号を出力させない下位サブビットプレーンを選択することを特徴とするものである。請求項１１の発明によれば、符号の出力をサブビットプレーン単位でより細かく制御し、復号した信号に生じる二乗誤差が小さく、また主観画質の良好な、様々な圧縮率の符号化データまたは再圧縮符号化データを生成することができる。
【００５２】
また、ｎ枚のサブビットプレーンを平等に扱わずに、上位、下位に応じて差をつけても扱うこともできる。ビットプレーンをｎ枚のサブビットプレーンに分割する場合、「あるサブビットプレーンを符号化しないことによる量子化誤差の増加量/そのサブビットプレーンを符号化しないことによる符号の減少量」の比(レートディストーションスロープと呼ぶ)は、どのサブビットプレーンでも等しいとは限らず、一般的な符号化方式では、下位サブビットプレーンほどレートディストーションスロープの絶対値が小さくなるように設計されている。ビットプレーン符号化においては、下位ビットプレーンから順に符号を破棄するが、符号の破棄にともなってレートディストーションスロープの絶対値が単調に増えていくことが符号化特性としては望ましいからである。
【００５３】
請求項１２の発明は、このようなレートディストーションスロープを考慮したものであり、請求項１乃至８のいずれか１項の発明による符号化データ生成装置において、前記ビットプレーン符号化では各ビットプレーンがｎ個のサブビットプレーンに分割されて符号化され、前記選択手段は、ΣEｊ=1(総和は全てのjに対してとる)かつEｊ≦Eｊ＋１となる数列Eｊ(0≦j＜n)をサブバンド毎に定義し，サブバンドｉの前記EｊをEｉｊとしたときに、前記値(a)が最大の値をとるサブバンドｉのサブビットプレーンを最下位ビット側から１枚選択し、該最大の値を２Ｅｉｊで除算した値に置換し、jをインクリメントする(ただしj=n-1のときはj=0とする) 手順を繰り返すことにより決定される、符号を出力させないサブビットプレーンの組み合わせパターンに従って、符号を出力させない下位サブビットプレーンを選択することを特徴とする。
【００５４】
JPEG2000ではビットプレーンを３枚のサブビットプレーンに分割して符号化することができる。このようにビットプレーンが３枚のサブビットプレーンに分割して符号化される場合を想定したものが請求項１３の発明であり、その特徴は、請求項１２の発明による符号化データ生成装置において、ｎ＝３、Ｅｉ０＝５／１８、Ｅｉ１＝６／１８、Ｅｉ２＝７／１８であることにある。
【００５５】
さて，符号を出力させない下位ビットプレーンまたは下位サブビットプレーンを決定する際に、複数のサブバンドで前記値(a)が最大の値をとるケースもあり得る。これは、サブバンドゲインや視覚感度や量子化ステップ数が複数のサブバンドで等しい場合があるからであり、また、符号化対象の信号がカラー画像等の様に複数のコンポーネントから成る場合には、複数のサブバンドで逆コンポーネント変換のゲインが等しい場合もあるからである。請求項１４及び１５の発明は、そのようなケースに対応するものである。
【００５６】
すなわち、請求項１４の発明は、請求項１０乃至１３のいずれか１項の発明による符号化データ生成装置において、前記手順において、前記値(a)が最大の値をとるサブバンドが複数ある場合に、それらサブバンド中の最も周波数の高いサブバンドが、前記値(a)が最大のサブバンドとして扱われることを特徴とするものである。また、請求項１５の発明は、請求項１０乃至１３のいずれか１項の発明による符号化データ生成装置において、前記手順において、前記値(a)が最大の値をとるサブバンドが複数ある場合に、それらサブバンド中の視覚感度が最も低いコンポーネントのサブバンドが、前記値(a)が最大のサブバンドとして扱われることを特徴とするものである。
【００５７】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００５８】
本発明は、符号化方式としてＪＰＥＧ２０００を用いる場合に好適に適用可能であるので、ＪＰＥＧ２０００を利用することを前提として以下説明する。ただし、ＪＰＥＧ２０００以外の符号化方式に対しても本発明を適用し得ることは以上の説明から明白であろう。
【００５９】
図１に、ＪＰＥＧ２０００の基本的な符号化処理の流れ示すブロック図である。画像はタイルと呼ばれる重複しない矩形領域毎に処理される。
【００６０】
図１において、ブロック１００はＤＣレベルシフトとコンポーネント変換（色変換）を行う処理ブロックである。ＤＣレベルシフトについては後述する。コンポーネント変換としては、前記（１）式によるＲＣＴ又は前記（２）式によるＩＣＴが用いられる。このブロック１００はコンポーネントが１つのモノクロ画像の場合には利用されない。ブロック１０１は、周波数変換である離散ウェーブレット変換を行う処理ブロックである。ＪＰＥＧ２０００では、可逆の５×３変換と呼ばれる可逆ウェーブレット変換と９×７変換と呼ばれる非可逆ウェーブレット変換が用いられる。ブロック１０２は、ウェーブレット係数をサブバンド毎に線形量子化する処理ブロックである。この線形量子化が適用されるのは、９×７ウェーブレット変換が用いられる場合のみである。ブロック１０３は、線形量子化されたウェーブレット係数又は線形量子化されないウェーブレット係数をサブバンド毎に上位ビットプレーンから下位ビットプレーンに向かってビットプレーン符号化する処理ブロックである。ＪＰＥＧ２０００では、各ビットプレーンを３つのサブビットプレーンに分割して符号化することが可能であるが、これについては後述する。ブロック１０４はビットプレーン符号化により得られた符号（エントロピー符号）をまとめてパケットを生成する処理ブロックである。ブロック１０５は、パケットを所定の順番に並べ必要なタグ情報を付加することにより所定フォーマットの符号化データを作成する処理ブロックである。
【００６１】
ＪＰＥＧ２０００の符号化データの復号処理は、上に述べた符号化処理と逆の処理となる。符号化データは、そのタグ情報に基づいて各コンポーネントの各タイルの符号列に分解される。この符号列がエントロピー復号されることによりウェーブレット係数に戻される。符号化の際に９×７ウェーブレット変換が用いられた場合には、復号されたウェーブレット係数は逆量子化される。その後、ウェーブレット係数に逆ウェーブレット変換が施されることにより、各コンポーネントの各タイル画像が再生される。符号化時にコンポーネント変換が行われている場合には、各タイル画像に逆コンポーネント変換が施される。
【００６２】
このようなＪＰＥＧ２０００を前提とした場合、請求項１の発明による符号化データ生成装置は、図２に示すような構成とすることができる。図２において、ブロック２００はウェーブレット変換の手段である。ブロック２０１は各サブバンドの係数のビットプレーン符号化を行い、その符号をまとめてパケットを生成する手段である。ブロック２０２は生成されたパケットを並べて符号化データを作成する手段である。ブロック２０１は、ビットプレーン符号化手段２０３とパケット生成手段２０４とともに、符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段２０５を含む。この選択手段２０５で選択された下位ビットプレーン又は下位サブビットプレーンについては、ビットプレーン変換手段２０３で符号化の対象から除外され、その符号が生成されないか、あるいは、その符号は生成されるがパケット生成手段２０４で破棄されてパケット生成に用いられず、したがって、選択された下位ビットプレーン又は下位サブビットプレーンの符号は符号化データには出力されない。
【００６３】
請求項１６の発明による符号化データ生成方法は、図２に示した各手段に対応した処理ステップを含む構成とすることができる。
【００６４】
また、請求項２の発明による符号化データ生成装置は、図３に示すような構成とすることができる。図３において、ブロック２１０はウェーブレット変換の手段である。ブロック２１１は各サブバンドの係数を線形量子化する手段である。ブロック２１２は量子化後の各サブバンドの係数のビットプレーン符号化を行ってパケットを生成する手段である。ブロック２１３は生成されたパケットを並べて符号化データを作成する手段である。ブロック２１２は、ビットプレーン符号化手段２１４とパケット生成手段２１５とともに、符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段２１６を含む。この選択手段２１６で選択された下位ビットプレーン又は下位サブビットプレーンについては、ビットプレーン変換手段２１４で符号化の対象から除外され、その符号が生成されないか、あるいは、その符号は生成されるがパケット生成手段２１５で破棄されパケット生成に用いられない。
【００６５】
請求項１７の発明による符号化データ生成方法は、図３に示した各手段に対応した処理ステップを含む構成とすることができる。
【００６６】
また、請求項３の発明による符号化データ生成装置は、図４に示すような構成とすることができる。図４において、ブロック２２０はＤＣレベルシフトとコンポーネント変換を行う手段、ブロック２２１はウェーブレット変換の手段である。ブロック２２２は各サブバンドの係数のビットプレーン符号化を行ってパケットを生成する手段である。ブロック２２３は生成されたパケットを並べて符号化データを作成する手段である。ブロック２２２は、ビットプレーン符号化手段２２４とパケット生成手段２２５とともに、符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段２２６を含む。この選択手段２２６で選択された下位ビットプレーン又は下位サブビットプレーンについては、ビットプレーン変換手段２２４で符号化の対象から除外され、その符号が生成されないか、あるいは、その符号は生成されるがパケット生成手段２２５で破棄されパケット生成に用いられない。
【００６７】
請求項１８の発明による符号化データ生成方法は、図４に示した各手段に対応した処理ステップを含む構成とすることができる。
【００６８】
また、請求項４の発明による符号化データ生成装置は、図５に示すような構成とすることができる。図５において、ブロック２３０はＤＣレベルシフトとコンポーネント変換を行う手段、ブロック２３１はウェーブレット変換の手段である。ブロック２３２は各サブバンドの係数を線形量子化する手段である。ブロック２３３は量子化後の各サブバンドの係数のビットプレーン符号化を行ってパケットを生成する手段である。ブロック２３４は生成されたパケットを並べて符号化データを作成する手段である。ブロック２３３は、ビットプレーン符号化手段２３５とパケット生成手段２３６とともに、符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段２３７を含む。この選択手段２３７で選択された下位ビットプレーン又は下位サブビットプレーンについては、ビットプレーン変換手段２３５で符号化の対象から除外され、その符号が生成されないか、あるいは、その符号は生成されるがパケット生成手段２３６で破棄されパケット生成に用いられない。
【００６９】
請求項１９の発明による符号化データ生成方法は、図５に示した各手段に対応した処理ステップを含む構成とすることができる。
【００７０】
ＪＰＥＧ２０００の符号化データは、符号状態のままで符号を廃棄することにより再圧縮することができる。請求項５乃至８の発明による符号化データ生成装置は、図６に示すような構成とすることができる。図６において、ブロック２４０は、ＪＰＥＧ２０００のロスレス又はロスレスに近い符号化データを取り込み解析する手段である。ブロック３４１は、符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段２４３と、入力された符号化データ中の、選択手段２４３で選択された下位ビットプレーン又は下位サブビットプレーンの符号を破棄し、残った符号から新たなパケットを生成する手段２４２からなる。ブロック２４４は、生成されたパケットを並べ、タグ情報をつけ直すことにより、再圧縮された符号化データを作成する手段である。
【００７１】
請求項２０乃至２３の発明による符号化データ生成方法は、図６に示した各手段に対応した処理ステップを含む構成とすることができる。
【００７２】
以上に述べたたような請求項１乃至８の発明による符号化データ生成装置及び請求項１６乃至２３の発明による符号化データ生成方法、並びに、請求項９乃至１５記載の発明による符号化データ生成装置は、ハードウェアのみで実現することも可能であるが、パソコンやマイクロコンピュータなどのコンピュータを利用し、ソフトウェア処理により実現することも可能である。
【００７３】
図７は、ソフトウェア処理により実現する形態を説明するための模式的なブロック図である。図７において、２５０はＣＰＵ、２５１はＲＡＭ、２５２はハードディスク装置であり、これらはシステムバス２５３でデータ及び制御情報をやりとり可能である。上に述べたような本発明の符号化データ生成装置又は方法のための手段又は処理ステップを実現するためのプログラムは、例えばハードディスク装置２５２からＲＡＭ２５１へロードされてＣＰＵ２５０に実行される。
【００７４】
請求項１乃至４の発明による符号化データ生成装置又は請求項１６乃至１９の発明による符号化データ生成方法の場合には、画像データがハードディスク装置２５２からＲＡＭ２５１上の領域２５４へ読み込まれる。この画像データがＣＰＵ２５０に読み込まれて処理されることにより符号化データが生成される。この符号化データは、ＲＡＭ２５１の領域２１５に一旦書き込まれた後、ハードディスク装置２５２へ転送されて格納される。
【００７５】
請求項５乃至８の発明による符号化データ生成装置又は請求項２０乃至２３の発明による符号化データ生成方法の場合には、符号化データがハードディスク装置２５２からＲＡＭ２５１上の領域２５４へ読み込まれる。この符号化データがＣＰＵ２５０に読み込まれて処理されることにより再圧縮された符号化データが生成される。この再圧縮後の符号化データは、ＲＡＭ２５１の領域２５５に一旦書き込まれた後、ハードディスク装置２５２へ転送されて格納される。
【００７６】
つぎに、ＪＰＥＧ２０００におけるウェーブレット変換とその逆変換について説明する。
【００７７】
図８乃至図１１は、16×16画素のモノクロの画像に対して、JPEG2000で採用されている５x３変換と呼ばれるウェーブレット変換を２次元(垂直方向および水平方向)で施す過程を説明するための図である。図８の様にＸＹ座標をとり、あるＸ座標について、Ｙ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。
【００７８】
JPEG2000では、まず垂直方向（Y座標方向）に、Ｙ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得る。次に、Ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのＸ座標について行う)。ここで、ハイパスフィルタとローパスフィルタは、順に下記の（３）式と（４）式で表される。式中のfloor(x)は、ｘのフロア関数（実数ｘを、ｘを越えずかつｘに最も近い整数に置換する関数）を示している。なお、画像の端部においては、中心となる画素に対して隣接画素が存在しないことがあり、この場合は所定ルールによって適宜画素値を補うことになるが、その説明は割愛する。
C(2i+1)=P(2i+1)−floor((P(2i)+P(2i+2))/2) [step1] (３)
C(2i)=P(2i)+floor（(C(2i-1)+C(2i+1)+2)/4) [step2] (４)
【００７９】
簡単のため、ハイパスフィルタで得られる係数をH，ローパスフィルタで得られる係数をLと表記すれば、前記垂直方向の変換によって図８の画像は図９のようなL係数，H係数の配列へと変換される。
【００８０】
続いて，今度は図９の係数配列に対して、水平方向に、Ｘ座標が奇数（ｘ=2i+1）の係数を中心にハイパスフィルタを施し，次にｘ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す(これを全てのｙについて行う．この場合、前記（３）式，（４）式のP(2i)等は係数値を表すものと読み替える)。
【００８１】
簡単のため、前記L係数を中心にローパスフィルタを施して得られる係数をLL、前記L係数を中心にハイパスフィルタを施して得られる係数をHL，前記H係数を中心にローパスフィルタを施して得られる係数をLH、前記H係数を中心にハイパスフィルタを施して得られる係数をHHと表記すれば、図９の係数配列は図１０の様な係数配列へと変換される。ここで同一の記号を付した係数群はサブバンドと呼ばれ、図１０は４つのサブバンドで構成される。
【００８２】
以上で１回のウェーブレット変換（１回のデコンポジション（分解））が終了し、上記LL係数だけを集めると（図１１の様にサブバンド毎に集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の“画像”が得られる（このように、サブバンド毎に分類することをデインターリーブするといい、図１０のような状態に配置することをインターリーブするという）。
【００８３】
２回目のウェーブレット変換は、該LLサブバンドを原画像と見なして上記と同様の変換を行えばよい。この場合、並べ替えを行うと、模式的な図１２が得られる。図１１，図１２の係数の接頭の１や２は、何回のウェーブレット変換で該係数が得られたかを示しており、デコンポジションレベルと呼ばれる。なお、以上の議論において、１次元のみのウェーブレット変換をしたい場合には、いずれかの方向だけの処理を行えばよい。
【００８４】
このような５×３ウェーブレット変換の逆変換においては、図１０の様なインターリーブされた係数の配列に対して、まず水平方向に、Ｘ座標が偶数（ｘ=2i）の係数を中心に逆ローパスフィルタを施し、次にＸ座標が奇数（ｘ=2i+1）の係数を中心に逆ハイパスフィルタを施す(これを全てのＹ座標について行う)。ここで、逆ローパスフィルタと逆ハイパスフィルタは順に下記の（５）式と（６）式で表される。順変換の場合と同様、画像の端部においては中心となる係数に対して隣接係数が存在しないことがあり、この場合は所定ルールによって適宜係数値を補うことになるが，その説明は割愛する。
P(2i)=C(2i)−floor（(C(2i-1)+C(2i+1)+2)/4） [step1] (５)
P(2i+1)=C(2i+1)＋floor（(P(2i)+P(2i+2))/2） [step2] (６)
【００８５】
これにより、図１０の係数配列は図９のような係数配列に変換（逆変換）される。続いて、垂直方向に、Ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次にＹ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施せば(これを全てのＸ座標について行う)、１回のウェーブレット逆変換が終了し、図８の画像に戻る(再構成される)。ウェーブレット変換が複数回施されている場合は、図８をLLサブバンドとみなし、HL等の他の係数を利用して同様の逆変換を繰り返せばよい。
【００８６】
このような５×３ウェーブレットが適用される場合には、前述したように、サブバンドを構成する係数に対する量子化は行われない。ＪＰＥＧ２０００では、９×７変換と呼ばれるウェーブレット変換を用いることもできるが、この場合には各サブバンドごとに線形量子化が行われる（その量子化ステップ数の例は後述する）。
【００８７】
以上に述べたウェーブレット変換により得られた係数は、ビットプレーン符号化される。JPEG2000においては、ウェーブレット係数は、サブバンドごとに、上位ビット(MSB)から下位ビット(LSB)へ向かって、サブビットプレーン単位で符号化することが可能である。
今、図１２の２LLサブバンドの係数が図１３のような値をとるとする。これらの値を二進数で表現し、各bitごとに分けたものがビットプレーンであり、図１３の係数は図１４のような４枚のビットプレーンに分けることができる。１０進の１５の二進表現は1111であるから、図１３の値１５に対応する位置には全てのビットプレーンに１が立つことになる。
【００８８】
JPEG2000においては、１つのビットプレーンを３つのサブビットプレーン（処理パス又はコーディングパスとも言う）に分類し、各サブビットプレーン毎に符号化する。より詳しくは、サブビットプレーン（コーディングパス）として、
significance propagation pass（有意な係数が周囲にある、有意でない係数を符号化するパス）、
magnitude refinement pass（有意な係数を符号化するパス）、
cleanup pass（以上のパスに該当しない残りのビットを符号化するパス）
がある。
【００８９】
ただし、分類の結果、１のビットプレーンないで特定のサブビットプレーン（コーディングパス）に属するビットがない場合もあり、この場合には空のサブビットプレーンが生じることになる。最上位のビットプレーンは常にcleanup passのみとなる。
【００９０】
図１３に示した２ＬＬサブバンドの場合、その各ビットプレーンは、図１５に示すようなサブビットプレーン（コーディングパス）に分類されて符号化される。
【００９１】
ここで、「有意である」とは、これまでの符号化処理において注目係数が０でないとわかっている状態のこと、言い換えれば、すでに１のビットを符号化済みであることを意味する。「有意でない」とは、係数値が０であるか、０の可能性がある状態、言い換えれば、未だ１のビットを符号化していない状態のことを意味する。
【００９２】
符号化では、まずビットプレーンのＭＳＢより走査を行い、ビットプレーン中に有意でない係数（０でないビット）が存在するか判定する。有意である係数が出現するまでは３つのコーディングパスは実行されない。有意でない係数のみで構成されるビットプレーンは、そのビットプレーン数がパケットヘッダに記述される。この値は復号時に利用され、有意でないビットプレーンを形成するために利用されるが、係数のダイナミックレンジを復元するためにも必要である。有意であるビットが最初に出現したビットプレーンから実際の符号化が開始され、そのビットプレーンは、まずcleanup passで処理される。その後、下位のビットプレーンに対して順次３つのコーディングパスを用いて処理が進められる。
【００９３】
さて、サブビットプレーンは上位から下位に向けて符号化されるため、図１６のような構成の符号列の生成が可能である。この例は、符号が２ＬＬサブバンドから始まって１ＨＨサブバンドで終わることを示している。また、図１６の例は全てのサブビットプレーンを符号化した例であるが、例えば着色したサブビットプレーンの符号の出力が不要であると判断された場合、当該サブビットプレーンの符号化そのものを省略し、あるいは、符号化は行い、その後に当該サブビットプレーンの符号を破棄することができる。前述のように、本発明は、この着色したようなビットプレーン又はサブビットプレーンの選択手法に係るものである。上に述べた符号化の省略や符号の破棄の最小単位はサブビットプレーンであるが、これを簡易に行いたいときには、ビットプレーン単位での符号化の省略や符号の破棄を選択することも多い。
【００９４】
次に、サブバンドゲインについて説明する。５×３逆ウェーブレット変換の場合について論じる。前記（５）式及び（６）のフロア関数をはずして次の近似式を得る。
P(2i)=C(2i)−1/4・C(2i-1)−1/4・C(2i+1)−1/2 (７）
P(2i+1)=C(2i+1)＋P(2i)/2+P(2i+2)/2
＝−1/8・C(2i-1)＋1/2・C(2i)＋3/4・C(2i+1)
＋1/2・C(2i+2)−1/8・C(2i+3)−1/2 (８)
この（７）式、（８）式から下の５つの式を得る。
P(2i-1)=−1/8・C(2i-3)＋1/2・C(2i-2)＋3/4・C(2i-1)
＋1/2・C(2i)−1/8・C(2i+1)−1/2
P(2i) =C(2i)−1/4・C(2i-1)−1/4・C(2i+1)−1/2
P(2i+1)=−1/8・C(2i-1)＋1/2・C(2i)＋3/4・C(2i+1)
＋1/2・C(2i+2)−1/8・C(2i+3)−1/2
P(2i+2)=C(2i+2)−1/4・C(2i+1)−1/4・C(2i+3)−1/2
P(2i+3)=−1/8・C(2i+1)＋1/2・C(2i+2)＋3/4・C(2i+3)
＋1/2・C(2i+4)−1/8・C(2i+5)−1/2
【００９５】
今、奇数位置のハイパス係数C(2i+1)に量子化誤差１が生じた場合、上の５つの式は、該誤差がP(2i-1)からP(2i+3)の５画素に影響を及ぼすことを示し、これら５つの誤差が独立であると仮定すると、該５画素に生じる誤差のRMSエラー値は
√｛(-1/8)２＋(-1/4)２＋(3/4)２＋(-1/4)２＋(-1/8)２｝＝0.85
である。つまり、ハイパス係数の誤差１が画素値のRMSエラー0.85に変換されるのである。これが逆ハイパスフィルタ１回分のゲインの平方根である。
【００９６】
同様に、偶数位置のローパス係数C(2i)に量子化誤差１が生じた場合、上式は該誤差がP(2i-1)からP(2i+1)の３画素に影響を及ぼすことを示し、該３画素に生じる誤差のRMSエラー値は
√｛(1/2)２＋1２＋(1/2)２｝＝1.1
である。つまり、ローパス係数の誤差１が，画素値のRMSエラー1.1に変換されるのである。これが、逆ローパスフィルタ１回分のゲインの平方根である。
【００９７】
２次元の逆ウェーブレット変換では、LL係数の逆変換には逆ローパスフィルタを２回かける必要があるため、LL係数に量子化誤差１が生じた場合、画素に生じる誤差のRMSエラー値は1.1×1.1となる。HL係数の逆変換には逆ローパスフィルタ、逆ハイパスフィルタを１回ずつかける必要があるため、HL係数に量子化誤差１が生じた場合、画素に生じる誤差のRMSエラー値は1.1×0.85となる。
【００９８】
同様の計算を行うと、デコンポジションレベル２の場合、各サブバンドの係数に生じた単位量子化誤差が画素に与えるRMSエラー値（サブバンドゲインの平方根）は図１７の通りとなる。図１７はモノクロ画像にデコンポジションレベル２までの5x3ウェーブレット変換を施した場合の逆変換時の例である。図１７に示した値の逆数を図１８に示す。
【００９９】
前述のように、逆変換後の信号に生じた誤差の二乗平均を最小にするためには、各サブバンドをサブバンドゲインの平方根の逆数(の定数倍の値)で線形量子化するのが簡易な方法である。したがって、ビットプレーン符号化において、図１８から、符号を出力させない（符号化を省略する、又は符号を破棄する）下位ビットプレーン数又は下位サブビットプレーン数を求めればよい。
【０１００】
符号を出力させない下位ビットプレーン数は、サブバンドゲインの平方根の逆数を1/√Gs、kを任意の定数として、
ビットプレーン数＝k*log２（1/√Gs） （９）
により求められる（ただし、ビットプレーン数なので算出値を四捨五入等で整数に丸める必要がある）。ｋ＝５とした場合の符号を出力させない下位ビットプレーン数の例を図１９に示す。
【０１０１】
また、符号を出力させない下位サブビットプレーン数は、サブバンドゲインの平方根の逆数を1/√Gs、kを任意の定数として、
サブビットプレーン数＝k*log２＾１／３（1/√Gs） （１０）
により求められる（サブビットプレーン数なので算出値を整数に丸める必要がある）。なお、（１０）式の対数の底は2１／３である。
【０１０２】
ｋ＝５とした場合の符号を出力させない下位サブビットプレーン数の例を図２０に示す。
【０１０３】
なお、（９）式、（１０）式における定数ｋが大きいほど圧縮率は高くなる。つまり、所望の圧縮率に応じて定数ｋを選ぶことができる。
【０１０４】
一実施例によれば、図２の選択手段２０５（又は対応処理ステップ）は、図１９に示すビットプレーン数分の下位サブビットプレーン、又は、図２０に示すサブビットプレーン数分の下位サブビットプレーンを、符号を出力させない下位ビットプレーン又は下位サブビットプレーンとして選択する。
【０１０５】
次に、視覚感度について説明する。図２１は前記非特許文献３に記載されている視覚感度の測定例を示すもので、横軸は縞の周波数（cycle/degree）、縦軸はその周波数で人間が関知する最小のコントラストの逆数（＝コントラストに対する感度、相対値）である。縞は，輝度Y，色差Cb，色差Crの各々について測定される。この測定例から、人間の視覚が低い空間周波数でコントラストの変化に対し敏感である一方、高域で鈍感であること、またＹコンポーネントに対して最も敏感で、Cbコンポーネントに最も鈍感であることが分かる。したがって、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を、高域のサブバンドほど多く、低域のサブバンドほど少なくしてよいことが分かる。
【０１０６】
JPEG2000では、その標準書で、この視覚感度に基づき図２２のような定数（重み）を例示している。各サブバンドの重みは、当該サブバンドが占める周波数帯域における前記視覚感度曲線の積分値として求められ、その詳細は前記非特許文献４に記載されている。これらの値は、量子化ステップ数を除算するために求められたものであり（重みが小さいほど除算後の量子化ステップ数は大きくなる）、上記視覚感度に概ね比例したものとして求められている。
【０１０７】
なお、視覚感度の測定方法によっては、逆コンポーネント変換のゲインが含まれた視覚感度が得られる。このような視覚感度は、本来の視覚感度と逆コンポーネント変換のゲインの平方根の積とみなして扱う必要がある。図２２（及び後記の図３４，図３５）に示す重みは、逆コンポーネント変換のゲインは含まれない視覚感度に対応する値である。
【０１０８】
したがって、視覚感度の逆数に基づいて符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求める場合には、図２２に示した値を視覚感度とみなし、その逆数を前記（９）式、（１０）式の(1/√Gs)の代わりに用いることにより、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求めることができる（計算例は省略する）。一実施例によれば、図２の選択手段２０５（又は対応処理ステップ）は、そのようにして計算されたビットプレーン数分の下位ビットプレーン又はサブビットプレーン数分の下位サブビットプレーンを、符号を出力させない下位ビットプレーン又は下位サブビットプレーンとして選択する。
【０１０９】
また、「視覚感度とサブバンドゲインの平方根の積」の逆数から、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求める場合には、視覚感度として図２２に示した値を用いることができる。この場合の「視覚感度とサブバンドゲインの平方根の積」の逆数の計算値を図２３に示す。そして、この値を前記（９）式及び（１０）式の（１／√Gs)として用いて計算した、符号を出力させない下位ビットプレーン数を図２４に、符号を出力させない下位サブビットプレーン数を図２５にそれぞれ示す。なお、ｋ＝５としている。
【０１１０】
一実施例によれば、図２の選択手段２０５（又は対応処理ステップ）は、図２４又は図２５に示すような枚数分の下位サブビットプレーン又は下位サブビットプレーンを選択する。
【０１１１】
JPEG2000では、９ｘ７ウェーブレット変換を用いる場合、サブバンドごとに線形量子化が可能である。この線形量子化の量子化ステップ数の例を図２８に示す。また、９ｘ７逆ウェーブレット変換のサブバンドゲインの平方根とその逆数を図２６と図２７にそれぞれ示す。いずれの値もモノクロ画像をデコンポジションレベル２までウェーブレット変換する場合の値である。
【０１１２】
したがって、９×７ウェーブレット変換を用いるが線形量子化を行わないで符号化を行う場合に、サブバンドゲインの平方根の逆数に基づいて符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求めるためには、図２７に示す値を前記（９）式又は（１０）式の（1/√Gs）として用いればよい（計算例は省略）。
【０１１３】
また、９×７ウェーブレット変換と線形量子化を行って符号化を行う場合に、サブバンドゲインの平方根と量子化ステップ数の積の逆数に基づいて、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求めるためには、図２６の値と図２８の値の積の逆数を求め、その値を前記（９）式又は（１０）式の（1/√Gs）として用いればよい（計算例は省略）。一実施例によれば、図３の選択手段２１６（又は対応処理ステップ）は、そのようにして計算した枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１１４】
図２６の値と図２２の値と図２８の値の積の逆数を図２９に示す。図２９の値を前記（９）式又は（１０）式の（1/√Gs）として用いて計算した、符号を出力させない下位ビットプレーン数と下位サブビットプレーン数を図３０と図３１にそれぞれ示す（ただし、ｋ＝２５とした）。すなわち、それらの値は、９×７ウェーブレット変換と線形量子化を行って符号化を行う場合に、サブバンドゲインの平方根と視覚感度と量子化ステップ数の積の逆数に基づいて求められた、符号を出力させない下位ビットプレーン数と下位サブビットプレーン数である。一実施例によれば、図３の選択手段２１６（又は対応処理ステップ）は、図３０又は図３１に示す枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１１５】
また、９×７ウェーブレット変換と線形量子化を行って符号化を行う場合に、視覚感度と量子化ステップ数の積の逆数に基づいて、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求めるためには、図２２の値と図２８の値の積の逆数を求め、その値を（９）式又は（１０）式の（1/√Gs）として用いればよい（計算例は省略）。一実施例によれば、図３の選択手段２１６（又は対応処理ステップ）は、そのようにして計算された枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１１６】
次に，逆コンポーネント変換（逆RCTや逆ICT）のゲインについて説明する。このゲインとは、各コンポーネントに生じた単位誤差によるRGB値のエラーの二乗和である。サブバンドゲインの導出過程およびRCTやICTの逆変換式から明らかなように、逆ICTのゲインの平方根と逆RCTのゲインの平方根は図３２と図３３に示すような値となる。
【０１１７】
したがって、コンポーネント変換（ＩＣＴ又はＲＣＴ）を行って符号化する場合に、逆コンポーネント変換のゲインの平方根とサブバンドゲインの平方根の積の逆数、又は、逆コンポーネント変換のゲインの平方根とサブバンドゲインの平方根と量子化ステップ数の積の逆数に基づいて、符号を出力させない下位ビットプレーン数又は下位サブビット数を求めるためには、逆コンポーネント変換のゲインの平方根として図３２又は図３３の値を用いて、その逆数を計算し、その値を前記（９）式又は（１０）式の（1/√Gs）として用いればよい（計算例は省略）。一実施例によれば、図４の選択手段２２６（又は対応処理ステップ）は、逆ＲＣＴのゲインの平方根を用い、そのようにして計算された枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。一実施例によれば、図５の選択手段２３７（又は対応処理ステップ）は、逆ＩＣＴのゲインの平方根を用い、そのようにして計算された枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１１８】
JPEG2000では、その標準書で、図２２に示したＹコンポーネントの重みと同様に、図３４と図３５に示すようなＣｂコンポーネントとＣｒコンポーネントの重みを例示している。
【０１１９】
視覚感度と逆コンポーネント変換の平方根の積の逆数、又は、サブバンドの平方根と逆コンポーネント変換のゲインの平方根と視覚感度の積の逆数に基づいて、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求めるためには、図２２、図３４，図３０の値をＹ，Ｃｂ，Ｃｒの視覚感度として用いて、その逆数を計算し、その値を前記（９）式又は（１０）式の（1/√Gs）として用いればよい（計算例は省略）。一実施例によれば、図４の選択手段２２６（又は対応処理ステップ）は、そのようにして計算した枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１２０】
コンポーネント変換としてＩＣＴを用い、９×７ウェーブレット変換と線形量子化を行う場合、サブバンドゲインの平方根と視覚感度と量子化ステップ数と逆コンポーネント変換のゲインの平方根のゲインの積の逆数を各コンポーネントについて計算すると、図３６に示すような値となる。この逆数の値を前記（９）式、（１０）式の（1/√Gs）として用いて計算した、符号を出力させない下位ビットプレーン数と下位サブビットプレーン数を図３７と図３８にそれぞれ示す。一実施例によれば、図５の選択手段２３７（又は対応処理ステップ）は、図３７又は図３８に示すような枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１２１】
同様にして、サブバンドゲインの平方根と逆コンポーネント変換のゲインの平方根と量子化ステップ数の積の逆数、又は、視覚感度と量子化ステップ数と逆コンポーネント変換のゲインの平方根のゲインの積の逆数に基づいて、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を計算できることは明らかである（計算例は省略）。一実施例によれば、図５の選択手段２３７（又は対応処理ステップ）は、そのようにして計算した枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１２２】
一実施例によれば、図６の選択手段２４３は、入力される符号化データの符号化プロセスの違いに応じて、図２の選択手段２０５，図３の選択手段２１６、図４の選択手段２２６、あるいは、図５の選択手段２３７と同様の方法で決定される枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１２３】
ここまでは、（９）式又は（１０）式により求めた枚数分の下位ビットプレーン又は下位サブビットプレーンを、符号を出力させない下位ビットプレーン又は下位サブビットプレーンとして選択した。つまり、符号を出力させない下位ビットプレーン又は下位サブビットプレーンの組み合わせパターンは１つだけであった。勿論、（９）式又は（１０）の定数ｋとして異なったいくつかの値を選び、それぞれの値で計算した下位ビットプレーン数又は下位サブビットプレーン数に対応した、符号を出力させない下位ビットプレーン又は下位サブビットプレーンの組み合わせパターンを用意しておき、その中から希望する圧縮率に近い圧縮率を得られるパターンを選ぶことも可能である。
【０１２４】
しかし、圧縮率をより細かく制御するには、請求項１０乃至１２に記載の「手順」により、いくつかの組み合わせパターンを決定しておき、その中から希望する圧縮率に近いパターンを選び、そのパターンに従って、符号を出力させない下位ビットプレーン又は下位サブビットパターンを選択するようにすると効果的である。
【０１２５】
まず、図２３に示したサブバンドゲインの平方根と視覚感度の積の逆数を値(a)として用い、請求項１０に記載した手順で、符号を出力させない下位ビットプレーンの組み合わせパターンを順次決定する場合について説明する。図３９の左表は、値(a)つまり「サブバンドゲインの平方根と視覚感度の積の逆数」の最大値を２で割る、という手順を繰り返したときの値(a)の遷移の様子を示しており、２で割られたサブバンド位置に着色されている。各遷移ごとに値(a)が最大の値をとったサブバンドの下位ビットプレーン数を１枚ずつ加算していくと、図３９の右表のようになる。図４０は、この手順の概略フローである。
【０１２６】
図３９の右表の各行は、符号を出力させない下位ビットプレーンの組み合わせパターンに対応し、各行につけられた番号はパターン番号である。パターン１は１ＨＨサブバンドの１枚の下位ビットプレーンのみ符号を出力させないことを意味し、パターン２は１ＨＨ，１ＬＨ各サブバンドの１枚の下位ビットプレーンのみ符号を出力させないことを意味し、パターン３は１ＨＨ，１ＨＬ，１ＬＨ各サブバンドの１枚の下位ビットプレーンのみ符号を出力させないことを意味する。パターン番号が大きくなるほど、符号を出力させない下位ビットプレーン数が増加し、圧縮率も単調に増大する。したがって、十分に多くのパターンを決定しておき、その中からパターンを選ぶことにより、二乗誤差や主観画質の条件を満たしつつ希望する圧縮率に近い圧縮率を得ることができる。
【０１２７】
なお、遷移状態が１から２に移る場合、１HL，1LHの２つのサブバンドで値(a)が最大の値(1.27)をとるが、ここに示す例では、請求項１４の発明を適用し1LH（横エッジを表す係数）を値(a)が最大の値をとるサブバンドとして扱っている。また、遷移状態が５から６に移る場合、４つのサブバンドで値(a)が最大の値(0.64)をとるが、ここでも請求項１４の発明を適用し1HLを最大の値をとるサブバンドとして扱っている。
【０１２８】
図３６に示すＹ，Ｃｂ，Ｃｒの「サブバンドゲインの平方根と視覚感度と量子化ステップ数と逆コンポーネント変換のゲインの積の逆数を値(a)として用いて、同じ手順により符号を出力させない下位ビットプレーンの組み合わせパターンを決定する例を図４１に示す。図４１の上側の表は、値(a)の遷移の様子を示しており、２で割られたサブバンド位置に着色されている。下側の表はパターンを示す。ただし、この例では、値(a)が最大の値をとるサブバンドが複数ある場合には、請求項１５の発明を適用し、視覚感度が低いサブバンドを選ぶ（すなわち、Ｃｂ，Ｃｒ，Ｙの順に選ぶ）。
【０１２９】
このような手順は、他の値(a)を用いる場合にも同様に適用されることは明らかである。一実施例によれば、図２乃至図６の選択手段２０５，２１６，２２６，２３７，２４３（又は対応処理ステップ）は、このような手順で予め決定されたパターンを例えばテーブルとして持ち、指定された圧縮率に最も近い圧縮率を得られるパターンを選び、そのパターンに従って、符号を出力させない下位ビットプレーンを選択する。
【０１３０】
つぎに、図２３に示したサブバンドゲインの平方根と視覚感度の積の逆数を値(a)として用い、請求項１１に記載した手順で、符号を出力させない下位サブビットプレーンの組み合わせパターンを順次決定する場合について説明する。図４２の左表は、値(a)つまり「サブバンドゲインの平方根と視覚感度の積の逆数」の最大値を２１／ｎで割る、という手順を繰り返したときの値(a)の遷移の様子を示しており、２１／ｎで割られたサブバンド位置に着色されている。各遷移ごとに値(a)が最大の値をとったサブバンドの下位サブビットプレーン数を１枚ずつ加算していくと、図４２の右表のようになる。だだし、ここでｎ＝３としている。右表の各行は、符号を出力させない下位ビットプレーンの組み合わせパターンに対応し、各行につけられた番号はパターン番号である。パターン番号が大きくなるほど、符号を出力させない下位ビットプレーン数が増加し圧縮率も単調に増大する。したがって、十分に多くのパターンを決定しておき、その中からパターンを選ぶことにより、二乗誤差や主観画質の条件を満たしつつ希望する圧縮率に近い圧縮率を得ることができる。
【０１３１】
図４３は、この手順の概略フローである。この例でも、値(a)が最大の値をとるサブバンドが複数ある場合には、請求項１４の発明を適用しサブバンドの選択が行われる。
【０１３２】
この手順は、サブバンドゲインの平方根と視覚感度の積の逆数以外の値(a)を用いる場合にも同様に適用されることは明らかである。一実施例によれば、図２乃至図６の選択手段２０５，２１６，２２６，２３７，２４３（又は対応処理ステップ）は、この手順で予め決定されたパターンを例えばテーブルとして持ち、指定された圧縮率に最も近い圧縮率を得られるパターンを選び、そのパターンに従って、符号を出力させない下位サブビットプレーンを選択する。
【０１３３】
次に請求項１２に記載された手順の例として、ｎ＝３の場合、つまり請求項１３に記載された手順を、図２３に示したサブバンドゲインの平方根と視覚感度の積の逆数を値(a)として用い、符号を出力させない下位サブビットプレーンの組み合わせパターンを順次決定する例について説明する。図４４の左表は、値(a)の遷移の様子を示しており、値(a)が最大の値をとると判断されたサブバンド位置に着色されている。各遷移ごとに値(a)が最大の値をとったサブバンドの下位サブビットプレーン数を１枚ずつ加算していくと、図４４の右表のようになる。図４５は、この手順の概略フローである。前述したように、ビットプレーン符号化においては下位サブビットプレーンから順に符号を破棄するが、符号の破棄にともなってレートディストーションスロープの絶対値が単調に増えていくことが符号化特性としては望ましい。これは、１枚のビットプレーンを構成するサブビットプレーン相互間では、概ね下位サブビットプレーンほど量子化誤差が生じない傾向を意味する。そしてこれは、量子化ステップ数の観点から言えば、下位サブビットプレーンほど量子化ステップ数が小さいことを意味する。よって、この手順では、サブビットプレーンが３枚ある場合に、各々のサブビットプレーンの符号の破棄を2１／３の量子化相当として扱うのではなく、差を設けるのである。
【０１３４】
この手順は、サブバンドゲインの平方根と視覚感度の積の逆数以外の値(a)を用いる場合にも同様に適用されることは明らかである。一実施例によれば、図２乃至図６の選択手段２０５，２１６，２２６，２３７，２４３（又は対応処理ステップ）は、この手順で予め決定されたパターンを例えばテーブルとして持ち、指定された圧縮率に最も近い圧縮率を得られるパターンを選び、そのパターンに従って、符号を出力させない下位サブビットプレーンを選択する。
【０１３５】
本発明は、符号化データを復号する装置にも応用可能である。図４６は、そのような復号装置の一例を示すブロック図である。
【０１３６】
図４６において、ブロック３００はＪＰＥＧ２０００のロスレスの符号化データを取り込み解析する手段である。ブロック３０１は入力された符号のビットプレーン復号を行ってウェーブレット係数に戻す手段であるが、例えば図４４の右表のようなパターンに従って下位サブビットプレーンを選択する手段３０２を含み、この手段により選択された下位サブビットプレーンの符号は復号対象から除外する。このように不要なサブビットプレーンの符号を復号対象から除外するため、復号速度を高速化することができる。ブロック３０３は、復号されたウェーブレット係数を画像に戻すための処理（逆ウェーブレット変換、必要に応じて逆量子化及び／又は逆コンポーネント変換）を行う手段である。
【０１３７】
なお、以上説明した符号化データ生成装置をコンピュータを利用して実現するためのプログラム、以上に説明した符号化データ生成方法の処理、図４０，図４３，図４５に示すような手順によってパターンを生成する処理をコンピュータで実行するためのプログラム、並びに、それらプログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、各種半導体メモリなどの、コンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に包含される。
【０１３８】
なお、ＪＰＥＧ２０００におけるＤＣレベルシフトは、ＲＧＢ信号値のような正の数である場合に、順変換では各信号値から信号のダイナミックレンジの半分を減算するレベルシフトを、逆変換では各信号値に信号のダイナミックレンジの半分を加算するレベルシフトを行うものであり、その変換式を（１１）式に示す。なお、このレベルシフトはＹＣｂＣｒ信号のＣｂ，Ｃｒ信号のような符号付き整数には適用されない。
【０１３９】
I(x,y) ← I(x,y)-2Ｓｓｉｚ（ｉ） 順変換
I(x,y) ← I(x,y)+2Ｓｓｉｚ（ｉ） 逆変換 （１１）
ただし、Ｓsiz(i)は原画像の各コンポーネントｉ（ＲＧＢ画像ならｉ０，１，２）のビット深さである。
【０１４０】
また、９×７ウェーブレット変換のためのフィルタを示す。
順変換
C(2n+1)=P(2n+1)+α*(P(2n)+P(2n+2)) [step1]
C(2n)=P(2n)+β*(C(2n-1)+C(2n+1)) [step2]
C(2n+1)=C(2n+1)+γ*(C(2n)+C(2n+2)) [step3]
C(2n)=C(2n)+δ*(C(2n-1)+C(2n+1)) [step4]
C(2n+1)=K*C(2n+1) [step5]
C(2n)=(1/K)*C(2n) [step6]
逆変換
P(2n)=K*C(2n) [step1]
P(2n+1)=(1/K)*C(2n+1) [step2]
P(2n)=X(2n)-δ*(P(2n-1)+P(2n+1)) [step3]
P(2n+1)=P(2n+1)-γ*(P(2n)+P(2n+2)) [step4]
P(2n)=P(2n)-β*(P(2n-1)+P(2n+2)) [step5]
P(2n)=P(2n+1)-α*(P(2n)+P(2n+2)) [step6] （１２）
ただし、α＝-1.586134342059924
β＝-0.052980118572961
γ＝0.882911075530934
δ＝0.443506852043971
Ｋ＝1.230174104914001
【０１４１】
また、前述のように、ＪＰＥＧ２０００で９×７ウェーブレット変換を選択した場合には、各サブバンド毎に、ウェーブレット係数を線形（スカラー）量子化することができる。同一のサブバンド内では共通の量子化ステップ数が用いられる。量子化式を（１３）式に、量子化ステップ数（Δb）を（１４）式にそれぞれ示す。
qｂ(u,v)=sign(aｂ(u,v))*floor(|aｂ(u,v)|/Δb) （１３）
ただし、aｂ(u,v)はサブバンドｂにおける係数
qｂ(u,v)はサブバンドｂにおける係数
Δbはサブバンドｂにおける量子化ステップ
Δb=２Ｒｂ−εｂ*floor(1+μｂ/2１１) （１４）
ただし、Rｂはサブバンドｂにおけるダイナミックレンジ
εｂはサブバンドｂにおける量子化の指数
μｂはサブバンドｂにおける量子化の仮数
指数εｂと仮数μｂは、各デコンポジションレベルにおけるすべてのサブバンドを規定する方式と、最下位のデコンポジションレベルにおけるＬＬサブバンドのみ規定し、残りのサブバンドは予め定められている式を用いて規定する方式の２種類がある。前者を明示的な量子化(expounded quantizationもしくはexplicit quantization)、後者を暗黙的な量子化(derived quantizationもしくはimplicit quantization)と呼ぶ。暗黙的な量子化の指数と仮数の組(εｂ,μｂ)は（１５）式で決定される。
(εｂ,μｂ)=(ε０-NＬ+nｂ,μ０) （１５）
ただし、nｂはデコンポジションレベル数
【０１４２】
逆量子化式を（１６）式に示す。
Rqｂ(u,v)=(qｂ(u,v)+r*2Ｍｂ−Ｎｂ（ｕ，ｖ）)*Δb qｂ(u,v)>0のとき
=(qｂ(u,v)-r*2Ｍｂ−Ｎｂ（ｕ，ｖ）)*Δb qｂ(u,v)<0のとき
=0 qｂ(u,v)=0のとき
（１６）
【０１４３】
また、混同しやすいデコンポジションレベルと解像度レベルの関係は図４７に示す通りである。
【０１４４】
【発明の効果】
以上に説明したように、本発明によれば、ＪＰＥＧ２０００などの符号化プロセス又は符号化データの再圧縮プロセスにおいて、符号を省略もしくは破棄する下位ビットプレーン又は下位サブビットプレーンを適切に選択することによって、復号した際に信号の二乗誤差が少なく、かつ／又は、主観画質が良好な、符号化データ又は再圧縮符号化データを生成することができ、また、そのような条件を満たしつつ、圧縮率の細かな制御を容易に行うことができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図２】 本発明による符号化データ生成装置及び方法の実施の形態を説明するためのブロック図である。
【図３】 本発明による符号化データ生成装置及び方法の実施の形態を説明するためのブロック図である。
【図４】 本発明による符号化データ生成装置及び方法の実施の形態を説明するためのブロック図である。
【図５】 本発明による符号化データ生成装置及び方法の実施の形態を説明するためのブロック図である。
【図６】 本発明による符号化データ生成装置及び方法の実施の形態を説明するためのブロック図である。
【図７】 コンピュータを利用して本発明を実施する形態を説明するためのブロック図である。
【図８】 原画像の例を示す図である。
【図９】 原画像に対し垂直方向にウェーブレット変換を適用することにより得られる係数配列を示す図である。
【図１０】 図９の係数配列に対し水平方向にウェーブレット変換を適用することにより得られる係数配列を示す図である。
【図１１】 図１０の係数配列をデインターリーブした係数配列を示す図である。
【図１２】 原画像に２回の二次元ウェーブレット変換を適用することにより得られる係数をデインターリーブした係数配列を示す図である。
【図１３】 ２ＬＬサブバンドの係数値の例を示す図である。
【図１４】 図１３の２ＬＬサブバンドのビットプレーンを示す図である。
【図１５】 図１４に示したビットプレーンのサブビットプレーン分割を示す図である。
【図１６】 生成される符号列の例を示す図である。
【図１７】 ５×３逆ウェーブレット変換のサブバンドゲインの平方根の例を示す図である。
【図１８】 ５×３逆ウェーブレット変換のサブバンドゲインの平方根の逆数の例を示す図である。
【図１９】 図１８に示す値に基づいて求められた、符号を出力させない下位ビットプレーン数の例を示す図である。
【図２０】 図１８に示す値に基づいて求められた、符号を出力させない下位サブビットプレーン数の例を示す図である。
【図２１】 視覚感度の測定例を示すグラフである。
【図２２】 ＪＰＥＧ２０００の標準書に例示された視覚感度に基づいた各サブバンドの重みを示す図である。
【図２３】 サブバンドゲインの平方根と視覚感度の積の逆数の例を示す図である。
【図２４】 図２３に示した値に基づいて求められた、符号を出力させない下位ビットプレーン数の例を示す図である。
【図２５】 図２３に示した値に基づいて求められた、符号を出力させない下位サブビットプレーン数の例を示す図である。
【図２６】 ９×７逆ウェーブレット変換のサブバンドゲインの平方根の例を示す図である。
【図２７】 図２６に示した値の逆数を示す図である。
【図２８】 各サブバンドに適用される量子化ステップ数の例を示す図である。
【図２９】 ９×７逆ウェーブレット変換のサブバンドゲインの平方根と視覚感度と量子化ステップ数の積の逆数の例を示す図である。
【図３０】 図２９に示した値に基づいて求められた、符号を出力させない下位ビットプレーン数の例を示す図である。
【図３１】 図２９に示した値に基づいて求められた、符号を出力させない下位サブビットプレーン数の例を示す図である。
【図３２】 逆ＩＣＴのゲインの平方根を示す図である。
【図３３】 逆ＲＣＴのゲインのへいほうこんを示す図である。
【図３４】 ＪＰＥＧ２０００の標準書に例示された視覚感度に基づくＣｂコンポーネントの各サブバンドの重みを示す図である。
【図３５】 ＪＰＥＧ２０００の標準書に例示された視覚感度に基づくＣｒコンポーネントの各サブバンドの重みを示す図である。
【図３６】 Ｙ，Ｃｂ，Ｃｒの各コンポーネントについて、９×７逆ウェーブレット変換のサブバンドゲインの平方根と視覚感度と量子化ステップと逆ＩＣＴ変換のゲインの平方根の積の逆数の例を示す図である。
【図３７】 図３６に示した値に基づいて求められた、各コンポーネントの符号を出力させない下位ビットプレーン数の例を示す図である。
【図３８】 図３６に示した値に基づいて求められた、各コンポーネントの符号を出力させない下位サブビットプレーン数の例を示す図である。
【図３９】 符号を出力させない下位ビットプレーンの組み合わせパターンの例とその生成手順を説明するための図である。
【図４０】 図３９に対応した手順の概略処理フローを示す図である。
【図４１】 Ｙ，Ｃｂ，Ｃｒ各コンポーネントがある場合における、符号を出力させない下位ビットプレーンの組み合わせパターンの例と、その生成手順を説明するための図である。
【図４２】 符号を出力させない下位サブビットプレーンの組み合わせパターンの例と、その生成手順を説明するための図である。
【図４３】 図４３に対応した手順の概略処理フローを示す図である。
【図４４】 符号を出力させない下位サブビットプレーンの組み合わせパターンの例と、その生成手順を説明するための図である。
【図４５】 図４４に対応した手順の概略処理フローを示す図である。
【図４６】 本発明を応用した復号装置を示すブロック図である。
【図４７】 デコンポジションレベルと解像度レベルの関係を示す図である。
【符号の説明】
200,210,221,231 ウェーブレット変換の手段
202,213,223,234,244 符号形成の手段
203,214,224,235 ビットプレーン符号化の手段
204,215,225,236,244 パケット生成の手段
205,216,226,235,243 符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する手段
211,232 量子化の手段
220,230 ＤＣレベルシフト及びコンポーネント変換の手段
【発明の属する技術分野】
本発明は、画像等の信号の変換符号化の分野に係り、より詳細には、変換符号化による符号化データの生成と、変換符号化による符号化データの符号状態での再圧縮に関する。
【０００２】
【従来の技術】
画像の変換符号化に関して、ウェーブレット変換を利用する変換符号化において、ウェーブレット係数の線形量子化に視覚特性を反映させるために、低周波サブバンドほど量子化ステップ数を小さくし，高周波サブバンドほど量子化ステップ数を大きくする技術が特許文献１に記載されている。
【０００３】
また、変換符号化による符号を復号して得られるサブバンドの逆周波数変換後の信号に生じる誤差の二乗平均を最小にするため、符号化の際の各サブバンドの線形量子化に用いる量子化ステップ数として、サブバンドゲインの平方根の逆数（又はその整数倍の値）を用いる技術が非特許文献２に記載されている。
【０００４】
視覚特性に関しては、視覚感度の測定例が非特許文献２に記載されている。また、ＪＰＥＧ２０００（例えば非特許文献１参照）においては、その標準書で視覚感度に基づきサブバンドの重みを例示しているが、その詳細が非特許文献３に記載されている。
【０００５】
【特許文献１】
特開平6-326990号公報
【非特許文献１】
野水泰之、「次世代画像符号化方式ＪＰＥＧ２０００」、株式会社トリケップス、２００１年２月１３日
【非特許文献２】
J.Katto and Y.Yasuda,“Performance evaluation of subband coding and optimization of its filter coefficients,”Journal of Visual Communication and Image Representation,vol.2,pp.303-313,Dec.1991
【非特許文献３】
Marcus J.Nadenau and Julien Reichel,”Opponent color,human vision and wavelets for image compression.Proceedings of the Seventh Color Imaging Conference,pp.237‐242,Scottsdale,Arizona,November16-19 1999.IS&T
【非特許文献４】
Marcus J.Nadenau,Julien Reichel,and Murat Kunt,“Wavelet-based color image compression:Exploiting the contrast sensitivity function,”IEEE Transactions on Image Processing,2000
【０００６】
【発明が解決しようとする課題】
一般に、変換符号化では、
［原信号のサブバンドへの周波数変換］→［サブバンドを構成する「周波数領域の係数」の量子化］→［量子化後の係数のエントロピー符号化］
という手順（手順１００）をとる。ここで、サブバンドとは周波数帯域ごとに分類された「周波数領域の係数」の集合である。「周波数領域の係数（以下、周波数係数又は係数とも呼ぶ）」とは、前記周波数変換がＤＣＴ（離散コサイン変換）であればＤＣＴ係数，前記変換がウェーブレット変換であればウェーブレット係数である。また、上記量子化は，周知のごとくデータの圧縮率を向上させるために行うものであり、その代表例は係数を量子化ステップ数と呼ばれる定数で除算する線形量子化である。このような手順による変換符号化の典型例が前記特許文献１に記載されている。
【０００７】
さて、手順１００のように周波数係数を量子化してからエントロピー符号化する方式では、例えば符号化後に更に圧縮率を上げたい場合（再圧縮時）には、
［エントロピー符号の復号］→［復号された周波数係数の逆量子化］→［逆量子化後の周波数係数の再量子化］→［エントロピー符号化］
という手順（手順１０１）をとらざるを得ない。この手順は、その冗長さの問題に加えて、逆量子化時の誤差が再量子化時に影響を与え、累積的な誤差を生じるという問題がある。
【０００８】
そこで近年、符号化後に、復号を経ることなく、エントロピー符号状態で不要な符号を破棄することにより、前記累積誤差を生じさせることなく再圧縮が可能な符号化方式（いわゆる「ポスト量子化」が可能な方式）が提案されている。その代表例の１つがＪＰＥＧ２０００である。このような再圧縮可能な符号化方式においては、最初に、ロスレス（あるいは、ほとんどロスレス）の符号化データを生成して保存しておき、その後、必要に応じて不要な符号を破棄することにより所望の圧縮率に再圧縮された符号化データを得ることができる。
【０００９】
このような符号の破棄による再圧縮を可能とするために、周波数係数をビットプレーンに分解し、各ビットプレーンを独立に符号化する「ビットプレーン符号化」と呼ばれる方式が用いられる。ビットプレーン符号化においては、
（i）必要な上位ビットプレーンのみをエントロピー符号化する。
あるいは
（ii）必要以上の（典型的には全ての）ビットプレーンをエントロピー符号化し、その後，不要な下位ビットプレーンのエントロピー符号を破棄する。
等の手段によって、最終的に必要な上位ビットプレーンの符号のみを出力し、原データに対する圧縮率を向上させることができる。
【００１０】
上記（ii）のプロセスは、最終的に必要な上位ビットプレーンの符号のみを出力するものであり、再圧縮そのものである。ビットプレーン符号化においては、基本的に係数の線形量子化ではなく、ビットプレーンあるいはビットプレーンのエントロピー符号の破棄によって圧縮を行うのである。また、以上から明らかなように、ポスト量子化は、１つの符号化プロセス中で行うことも、一度符号化を終了し、時間が経過した後に改めて行うことも可能である。本明細書においては、ポスト量子化はその両方の意味で用いる。
【００１１】
さて、上記（i）,（ii）のどちらの場合においても、必要な上位ビットプレーン（換言すれば、不要な下位ビットプレーン）を、目的（数学的量子化誤差を最小にする、主観画質を最適にする等）に応じてどのようにして決定するかが問題である。その手法もしくは手段を提供することが、本発明の解決しようとする課題である。これについて、さらに詳しく論じる。
【００１２】
まず、「一定の圧縮率で数学的な量子化誤差（誤差の二乗平均値）を最小にする」ように、必要な上位ビットプレーン（不要な下位ビットプレーン）を決定することを考える。
【００１３】
エントロピー符号が復号される場合は、前記手順１００が逆に辿られ、量子化された周波数係数は逆量子化、逆周波数変換を経て信号値に戻る。ここで、逆周波数変換においては、サブバンドごとに「周波数係数値が信号値に逆変換された場合の倍率」が異なり、この倍率の二乗をサブバンドゲイン（Gsと表記）という。量子化によって周波数係数に生じた誤差△eは、信号への逆変換によってサブバンドゲインの平方根倍され、√Gs・△eとなる。
【００１４】
前記非特許文献２に記載されているように、一般に、ある圧縮率において、逆変換後の信号（＝複数の信号値で構成される）に生じた誤差の二乗平均を最小にするためには、符号化の際に各サブバンドをサブバンドゲインの平方根の逆数(の定数倍の値)で線形量子化するのが簡易な方法である。したがって、ビットプレーン符号化を用いない通常の符号化方式においては、サブバンドゲインの平方根の大きさに反比例した量子化ステップ数(の定数倍)で係数を量子化すれば、誤差の二乗平均は最小となる。
【００１５】
さて、JPEG2000において、5x3ウェーブレット変換を使用する場合の代表的な処理の流れの１つは、
［原信号のサブバンドへのウェーブレット変換］→［ウェーブレット係数を、サブバンドごとに、必要な上位ビットプレーン（または上位サブビットプレーン）のみ符号化］
である（手順１０２）。ここで、サブビットプレーンとは、１つのビットプレーンの部分集合である。
【００１６】
このように、5x3ウェーブレット変換を用いる方法では線形量子化は行われないため、逆変換後の信号に生じる二乗誤差を最小にするための、線形量子化を前提とした手法ないし手段は適用できない。つまり、二乗誤差を最小にするように必要な上位ビットプレーン（不要な下位ビットプレーン）を決定する手法もしくは手段は明らかでなく、ましてや、ビットプレーンがさらに複数の部分集合（サブビットプレーン）に分割され、サブビットプレーンごとに符号化される場合の、その手法もしくは手段は明らかでない。本発明は、その手法もしくは手段を提供するものである。
【００１７】
また、JPEG2000における、9x7ウェーブレット変換を使用する場合の代表的な処理の流れの１つは、
［原信号のサブバンドへのウェーブレット変換］→［ウェーブレット係数をサブバンドごとに線形量子化］→［量子化後のウェーブレット係数を、サブバンドごとに、必要な上位ビットプレーン（または上位サブビットプレーン）のみ符号化］
である（手順１０３）。
【００１８】
この場合には、「サブバンドゲインの平方根の大きさに反比例した量子化ステップ数で係数を線形量子化」することはできる。しかし、符号化の段階で線形量子化を行ってしまうのでは、「ロスレス（あるいはほとんどロスレス）の符号化データを生成・保存しておき、その後、必要に応じて不要な符号を破棄し，所望の圧縮率の符号化データを得る」という目的には適さない。9x7ウェーブレット変換を使用する場合においても、符号化段階での量子化は最小限にし、その後にポスト量子化を行うのが望ましいが、その際にも、逆変換後の信号に生じる二乗誤差を最小にするための手法もしくは手段は明らかではなく、ましてやサブビットプレーンごとに符号化される場合の、その手法もしくは手段は明らかでない。本発明は、その手法もしくは手段を提供するものである。
【００１９】
次に、「一定の圧縮率で視覚的に最適な画質を得る」ことを考える。
【００２０】
前記特許文献１にも記載されているように、人間の視覚特性は低周波数領域に敏感で高周波数領域で鈍感であるため、低周波サブバンドの量子化誤差には敏感で、高周波サブバンドの量子化誤差には鈍感であることとなる。したがって、前記特許文献１に記載のように、ウェーブレット係数の線形量子化の際に視覚特性を量子化ステップ数に反映させるべく，低周波サブバンドほど量子化ステップ数を小さくし、高周波サブバンドほど量子化ステップ数を大きくする方法は有効である。
【００２１】
同様の方法は、ＪＰＥＧ２０００で5×3ウェーブレット変換を使用する場合には適用できないが、9x7ウェーブレット変換を使用する場合には、「サブバンドの周波数に対応した視覚感度の大きさに反比例したステップ数で係数を量子化」することで適用できる。しかしながら、「ロスレス（あるいは、ほとんどロスレス）の符号化データを生成・保存しておき，その後に必要に応じて不要な符号を破棄し，所望の圧縮率の符号を得る」という目的には適さない。9x7ウェーブレット変換を使用する場合においても、符号化段階の量子化は最小限にし、その後にポスト量子化を行うのが望ましいが、そのポスト量子化の際に、視覚的に最適な画質を得られるように、必要な上位ビットプレーン又は上位サブビットプレーン（不要な下位ビットプレーンもしくは下位サブビットプレーン）を決定するための手法もしくは手段は明らかではない。本発明は、そのための手法もしくは手段を提供するものである。
【００２２】
なお、上記視覚特性は「（周波数変換係数の誤差ではなく）画素の量子化誤差に対する人間の視覚の敏感さ」であるから、ポスト量子化に際しては、視覚感度とサブバンドゲインの平方根の両方を考慮することが望ましい。付言すれば、ビットプレーン符号化において、下位ビットプレーンｎ枚分の符号（や周波数係数）を破棄することは、２のn乗で周波数係数を線形量子化するのと同様な効果を有し、これがポスト量子化と呼ばれる所以である。
【００２３】
【課題を解決するための手段】
請求項１の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより符号化データを生成する符号化データ生成装置であって、
各サブバンドに関する、(i)前記周波数変換の逆変換のゲインの平方根の逆数、(ii)視覚感度の逆数、(iii)前記逆変換のゲインの平方根と視覚感度の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００２４】
また、請求項５の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成装置であって、
各サブバンドに関する、(i)前記周波数変換の逆変換のゲインの平方根の逆数、(ii)視覚感度の逆数、(iii)前記逆変換のゲインの平方根と視覚感度の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００２５】
請求項１６の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより符号化データを生成する符号化データ生成方法であって、
各サブバンドに関する、(i)前記周波数変換の逆変換のゲインの平方根の逆数、(ii)視覚感度の逆数、(iii)前記逆変換のゲインの平方根と視覚感度の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００２６】
請求項２０の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成方法であって、
各サブバンドに関する、(i)前記周波数変換の逆変換のゲインの平方根の逆数、(ii)視覚感度の逆数、(iii)前記逆変換のゲインの平方根と視覚感度の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００２７】
請求項１及び１６の発明によれば、信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化する符号化プロセスを採用する場合において、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な符号化データを生成することができる。請求項５及び２０の発明によれば、そのような符号化プロセスによる符号化データから、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な再圧縮符号化データを生成することができる。
【００２８】
請求項２の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化することにより符号化データを生成する符号化データ生成装置であって、
各サブバンドに関する、（i）前記周波数変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記量子化の量子化ステップ数の積の逆数、（iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００２９】
請求項６の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成装置であって、
各サブバンドに関する、（i）前記周波数変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記量子化の量子化ステップ数の積の逆数、（iii）前記逆変換のゲインの平方根と視覚感度と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００３０】
請求項１７の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化することにより符号化データを生成する符号化データ生成方法であって、
各サブバンドに関する、（i）前記周波数変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記量子化の量子化ステップ数の積の逆数、（iii）前記逆変換のゲインの平方根と視覚感度と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００３１】
請求項２１の発明は、信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成方法であって、
各サブバンドに関する、（i）前記周波数変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記量子化の量子化ステップ数の積の逆数、（iii）前記逆変換のゲインの平方根と視覚感度と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００３２】
請求項２及び１７の発明によれば、信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化する符号化プロセスを採用する場合において、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な符号化データを生成することができる。請求項６及び２１の発明によれば、そのような符号化プロセスによる符号化データから、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な再圧縮符号化データを生成することができる。
【００３３】
さて、符号化対象の信号が、カラー画像のように複数のコンポーネントから成る場合、一般に
［原信号のコンポーネント変換（色変換）］→［コンポーネント毎のサブバンドへの周波数変換］→［サブバンドを構成する周波数領域の係数の量子化］→［量子化後の係数のエントロピー符号化］
という手順をとる。ここで、コンポーネント変換の例としては，JPEG2000で採用されている可逆のＲＣＴ(Reversible multiple component transformation)と非可逆のＩＣＴ(Irreversible multiple component transformation)を挙げることができる。
【００３４】
ＲＣＴの順変換と逆変換は次式で表される。
順変換
Y０(x,y)=floor((I０(x,y)+2*(I１(x,y)+I２(x,y))/4)
Y１(x,y)=I２(x,y)-I１(x,y)
Y２(x,y)=I０(x,y)-I１(x,y)
逆変換
I１(x,y)=Y０(x,y)-floor((Y２(x,y)+Y１(x,y))/4)
I０(x,y)=Y２(x,y)+I１(x,y)
I２(x,y)=Y１(x,y)+I１(x,y)
（１）
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号を例にすれば、Ｉ信号において、０＝Ｒ，１＝Ｇ，２＝Ｂとすれば、Ｙ信号は、０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。
【００３５】
ＩＣＴの順変換と逆変換は次式で表される。
順変換
Y０(x,y)=0.299*I０(x,y)+0.587*I１(x,y)+0.144*I２(x,y)
Y１(x,y)=-0.16875*I０(x,y)-0.33126*I１(x,y)+0.5*I２(x,y)
Y２(x,y)=0.5*I０(x,y)-0.41869*I１(x,y)-0.08131*I２(x,y)
逆変換
I０(x,y)=Y０(x,y)+1.402*Y２(x,y)
I１(x,y)=Y０(x,y)-0.34413*Y１(x,y)-0.71414*Y２(x,y)
I２(x,y)=Y０(x,y)+1.772*Y１(x,y)
（２）
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号を例にすれば、Ｉ信号において、０＝Ｒ，１＝Ｇ，２＝Ｂとすれば、Ｙ信号は、０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。
【００３６】
前記（１）式、（２）式から明らかなように，各コンポーネント値が原信号値に逆コンポーネント変換された場合に、各コンポーネント値に生じた誤差によって原信号値に生じる誤差の倍率はコンポーネント毎に異なる。この倍率の二乗をコンポーネント変換の逆変換のゲイン（逆コンポーネント変換ゲインGcと表記）という。量子化によって周波数係数に生じた誤差△eは、逆コンポーネント変換によって逆コンポーネント変換ゲインの平方根倍され、√Gc・△eとなり、ちょうど前記サブバンドゲインと同様の影響が生じる。
【００３７】
このような逆コンポーネント変換ゲインの影響を考慮し、請求項３の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドをビットプレーン符号化することにより符号化データを生成する符号化データ生成装置であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００３８】
また、請求項７の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドをビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成装置であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００３９】
また、請求項１８の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより符号化データを生成する符号化データ生成方法であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいコンポーネントのサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００４０】
また、請求項２２の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドをビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成方法であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００４１】
請求項３及び１８の発明によれば、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドをビットプレーン符号化する符号化プロセスを採用する場合に、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な符号化データを生成することができる。請求項７及び２２の発明によれば、そのような符号化プロセスによる符号化データから、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な再圧縮符号化データを生成することができる。
【００４２】
また、請求項４の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化することにより符号化データを生成する符号化データ生成装置であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００４３】
また、請求項８の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成装置であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置を提供する。
【００４４】
また、請求項１９の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化することにより符号化データを生成する符号化データ生成方法であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００４５】
請求項２３の発明は、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成方法であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法を提供する。
【００４６】
請求項４及び１９の発明によれば、複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化する符号化プロセスを採用する場合に、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な符号化データを生成することができる。請求項８及び２３の発明によれば、そのような符号化プロセスによる符号化データから、復号した信号に生じる二乗誤差が少なく、また主観画質が良好な再圧縮符号化データを生成することができる。
【００４７】
請求項９の発明は、請求項１乃至８のいずれかの発明による符号化データ生成装置において、前記値(a)と、符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が比例関係にあることを特徴とするものであり、復号した信号に生じる二乗誤差が少なく、また、主観画質が良好な符号化データ又は再圧縮符号化データを生成することができる。
【００４８】
請求項１０の発明は、請求項１乃至８のいずれか１項の発明による符号化データ生成装置において、
前記選択手段は、前記値(a)が最大の値をとるサブバンドのビットプレーンを最下位ビット側から１枚選択し、該最大の値をその２分の１の値に置換する手順の繰り返しにより決定される、符号を出力させない下位ビットプレーンの組み合わせパターンに従って、符号を出力させない下位ビットプレーンを選択することを特徴とするものである。このような構成によれば、復号した信号に生じる二乗誤差が小さく、また主観画質の良好な、様々な圧縮率の符号化データまたは再圧縮符号化データを生成することができる。
【００４９】
なお、前記手順により決定される符号を出力させない下位ビットプレーンの組み合わせパターンは、その全てのパターンのみならず、そのサブセットをも指す。さらに、そのパターンを、符号化データ生成プロセス中で決定する態様も、予め決定してテーブルなどとして用意して態様もとり得る。以上の２点は請求項１１，１２の発明においても同様である。
【００５０】
請求項１０の発明における手順は、出力させない下位ビットプレーンの組み合わせパターンを決定するものであるが、１枚のビットプレーンをｎ個のサブビットプレーンに分割して符号化する場合にも拡張可能である。この場合、ｎ個のサブビットプレーンには、概念的には、ｎ枚のビットプレーンがあるのと同様に、上位サブビットプレーン、下位サブビットプレーンの関係が生じる。通常、このｎ個のサブビットプレーンをｎ枚のサブビットプレーンと呼ぶが、拡張する場合には、ｎ枚のサブビットプレーンを平等に扱うのが簡易である。請求項１１の発明では、そのような扱いをする。
【００５１】
すなわち、請求項１１の発明は、請求項１乃至８のいずれか１項の発明による符号化データ生成装置において、前記ビットプレーン符号化では各ビットプレーンがｎ個のサブビットプレーンに分割されて符号化され、前記選択手段は、前記値(a)が最大の値をとるサブバンドのサブビットプレーンを最下位ビット側から１枚選択し、該最大の値を２１／ｎで除算した値に置換する手順の繰り返しにより決定される、符号を出力させない下位サブビットプレーンの組み合わせパターンに従って、符号を出力させない下位サブビットプレーンを選択することを特徴とするものである。請求項１１の発明によれば、符号の出力をサブビットプレーン単位でより細かく制御し、復号した信号に生じる二乗誤差が小さく、また主観画質の良好な、様々な圧縮率の符号化データまたは再圧縮符号化データを生成することができる。
【００５２】
また、ｎ枚のサブビットプレーンを平等に扱わずに、上位、下位に応じて差をつけても扱うこともできる。ビットプレーンをｎ枚のサブビットプレーンに分割する場合、「あるサブビットプレーンを符号化しないことによる量子化誤差の増加量/そのサブビットプレーンを符号化しないことによる符号の減少量」の比(レートディストーションスロープと呼ぶ)は、どのサブビットプレーンでも等しいとは限らず、一般的な符号化方式では、下位サブビットプレーンほどレートディストーションスロープの絶対値が小さくなるように設計されている。ビットプレーン符号化においては、下位ビットプレーンから順に符号を破棄するが、符号の破棄にともなってレートディストーションスロープの絶対値が単調に増えていくことが符号化特性としては望ましいからである。
【００５３】
請求項１２の発明は、このようなレートディストーションスロープを考慮したものであり、請求項１乃至８のいずれか１項の発明による符号化データ生成装置において、前記ビットプレーン符号化では各ビットプレーンがｎ個のサブビットプレーンに分割されて符号化され、前記選択手段は、ΣEｊ=1(総和は全てのjに対してとる)かつEｊ≦Eｊ＋１となる数列Eｊ(0≦j＜n)をサブバンド毎に定義し，サブバンドｉの前記EｊをEｉｊとしたときに、前記値(a)が最大の値をとるサブバンドｉのサブビットプレーンを最下位ビット側から１枚選択し、該最大の値を２Ｅｉｊで除算した値に置換し、jをインクリメントする(ただしj=n-1のときはj=0とする) 手順を繰り返すことにより決定される、符号を出力させないサブビットプレーンの組み合わせパターンに従って、符号を出力させない下位サブビットプレーンを選択することを特徴とする。
【００５４】
JPEG2000ではビットプレーンを３枚のサブビットプレーンに分割して符号化することができる。このようにビットプレーンが３枚のサブビットプレーンに分割して符号化される場合を想定したものが請求項１３の発明であり、その特徴は、請求項１２の発明による符号化データ生成装置において、ｎ＝３、Ｅｉ０＝５／１８、Ｅｉ１＝６／１８、Ｅｉ２＝７／１８であることにある。
【００５５】
さて，符号を出力させない下位ビットプレーンまたは下位サブビットプレーンを決定する際に、複数のサブバンドで前記値(a)が最大の値をとるケースもあり得る。これは、サブバンドゲインや視覚感度や量子化ステップ数が複数のサブバンドで等しい場合があるからであり、また、符号化対象の信号がカラー画像等の様に複数のコンポーネントから成る場合には、複数のサブバンドで逆コンポーネント変換のゲインが等しい場合もあるからである。請求項１４及び１５の発明は、そのようなケースに対応するものである。
【００５６】
すなわち、請求項１４の発明は、請求項１０乃至１３のいずれか１項の発明による符号化データ生成装置において、前記手順において、前記値(a)が最大の値をとるサブバンドが複数ある場合に、それらサブバンド中の最も周波数の高いサブバンドが、前記値(a)が最大のサブバンドとして扱われることを特徴とするものである。また、請求項１５の発明は、請求項１０乃至１３のいずれか１項の発明による符号化データ生成装置において、前記手順において、前記値(a)が最大の値をとるサブバンドが複数ある場合に、それらサブバンド中の視覚感度が最も低いコンポーネントのサブバンドが、前記値(a)が最大のサブバンドとして扱われることを特徴とするものである。
【００５７】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００５８】
本発明は、符号化方式としてＪＰＥＧ２０００を用いる場合に好適に適用可能であるので、ＪＰＥＧ２０００を利用することを前提として以下説明する。ただし、ＪＰＥＧ２０００以外の符号化方式に対しても本発明を適用し得ることは以上の説明から明白であろう。
【００５９】
図１に、ＪＰＥＧ２０００の基本的な符号化処理の流れ示すブロック図である。画像はタイルと呼ばれる重複しない矩形領域毎に処理される。
【００６０】
図１において、ブロック１００はＤＣレベルシフトとコンポーネント変換（色変換）を行う処理ブロックである。ＤＣレベルシフトについては後述する。コンポーネント変換としては、前記（１）式によるＲＣＴ又は前記（２）式によるＩＣＴが用いられる。このブロック１００はコンポーネントが１つのモノクロ画像の場合には利用されない。ブロック１０１は、周波数変換である離散ウェーブレット変換を行う処理ブロックである。ＪＰＥＧ２０００では、可逆の５×３変換と呼ばれる可逆ウェーブレット変換と９×７変換と呼ばれる非可逆ウェーブレット変換が用いられる。ブロック１０２は、ウェーブレット係数をサブバンド毎に線形量子化する処理ブロックである。この線形量子化が適用されるのは、９×７ウェーブレット変換が用いられる場合のみである。ブロック１０３は、線形量子化されたウェーブレット係数又は線形量子化されないウェーブレット係数をサブバンド毎に上位ビットプレーンから下位ビットプレーンに向かってビットプレーン符号化する処理ブロックである。ＪＰＥＧ２０００では、各ビットプレーンを３つのサブビットプレーンに分割して符号化することが可能であるが、これについては後述する。ブロック１０４はビットプレーン符号化により得られた符号（エントロピー符号）をまとめてパケットを生成する処理ブロックである。ブロック１０５は、パケットを所定の順番に並べ必要なタグ情報を付加することにより所定フォーマットの符号化データを作成する処理ブロックである。
【００６１】
ＪＰＥＧ２０００の符号化データの復号処理は、上に述べた符号化処理と逆の処理となる。符号化データは、そのタグ情報に基づいて各コンポーネントの各タイルの符号列に分解される。この符号列がエントロピー復号されることによりウェーブレット係数に戻される。符号化の際に９×７ウェーブレット変換が用いられた場合には、復号されたウェーブレット係数は逆量子化される。その後、ウェーブレット係数に逆ウェーブレット変換が施されることにより、各コンポーネントの各タイル画像が再生される。符号化時にコンポーネント変換が行われている場合には、各タイル画像に逆コンポーネント変換が施される。
【００６２】
このようなＪＰＥＧ２０００を前提とした場合、請求項１の発明による符号化データ生成装置は、図２に示すような構成とすることができる。図２において、ブロック２００はウェーブレット変換の手段である。ブロック２０１は各サブバンドの係数のビットプレーン符号化を行い、その符号をまとめてパケットを生成する手段である。ブロック２０２は生成されたパケットを並べて符号化データを作成する手段である。ブロック２０１は、ビットプレーン符号化手段２０３とパケット生成手段２０４とともに、符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段２０５を含む。この選択手段２０５で選択された下位ビットプレーン又は下位サブビットプレーンについては、ビットプレーン変換手段２０３で符号化の対象から除外され、その符号が生成されないか、あるいは、その符号は生成されるがパケット生成手段２０４で破棄されてパケット生成に用いられず、したがって、選択された下位ビットプレーン又は下位サブビットプレーンの符号は符号化データには出力されない。
【００６３】
請求項１６の発明による符号化データ生成方法は、図２に示した各手段に対応した処理ステップを含む構成とすることができる。
【００６４】
また、請求項２の発明による符号化データ生成装置は、図３に示すような構成とすることができる。図３において、ブロック２１０はウェーブレット変換の手段である。ブロック２１１は各サブバンドの係数を線形量子化する手段である。ブロック２１２は量子化後の各サブバンドの係数のビットプレーン符号化を行ってパケットを生成する手段である。ブロック２１３は生成されたパケットを並べて符号化データを作成する手段である。ブロック２１２は、ビットプレーン符号化手段２１４とパケット生成手段２１５とともに、符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段２１６を含む。この選択手段２１６で選択された下位ビットプレーン又は下位サブビットプレーンについては、ビットプレーン変換手段２１４で符号化の対象から除外され、その符号が生成されないか、あるいは、その符号は生成されるがパケット生成手段２１５で破棄されパケット生成に用いられない。
【００６５】
請求項１７の発明による符号化データ生成方法は、図３に示した各手段に対応した処理ステップを含む構成とすることができる。
【００６６】
また、請求項３の発明による符号化データ生成装置は、図４に示すような構成とすることができる。図４において、ブロック２２０はＤＣレベルシフトとコンポーネント変換を行う手段、ブロック２２１はウェーブレット変換の手段である。ブロック２２２は各サブバンドの係数のビットプレーン符号化を行ってパケットを生成する手段である。ブロック２２３は生成されたパケットを並べて符号化データを作成する手段である。ブロック２２２は、ビットプレーン符号化手段２２４とパケット生成手段２２５とともに、符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段２２６を含む。この選択手段２２６で選択された下位ビットプレーン又は下位サブビットプレーンについては、ビットプレーン変換手段２２４で符号化の対象から除外され、その符号が生成されないか、あるいは、その符号は生成されるがパケット生成手段２２５で破棄されパケット生成に用いられない。
【００６７】
請求項１８の発明による符号化データ生成方法は、図４に示した各手段に対応した処理ステップを含む構成とすることができる。
【００６８】
また、請求項４の発明による符号化データ生成装置は、図５に示すような構成とすることができる。図５において、ブロック２３０はＤＣレベルシフトとコンポーネント変換を行う手段、ブロック２３１はウェーブレット変換の手段である。ブロック２３２は各サブバンドの係数を線形量子化する手段である。ブロック２３３は量子化後の各サブバンドの係数のビットプレーン符号化を行ってパケットを生成する手段である。ブロック２３４は生成されたパケットを並べて符号化データを作成する手段である。ブロック２３３は、ビットプレーン符号化手段２３５とパケット生成手段２３６とともに、符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段２３７を含む。この選択手段２３７で選択された下位ビットプレーン又は下位サブビットプレーンについては、ビットプレーン変換手段２３５で符号化の対象から除外され、その符号が生成されないか、あるいは、その符号は生成されるがパケット生成手段２３６で破棄されパケット生成に用いられない。
【００６９】
請求項１９の発明による符号化データ生成方法は、図５に示した各手段に対応した処理ステップを含む構成とすることができる。
【００７０】
ＪＰＥＧ２０００の符号化データは、符号状態のままで符号を廃棄することにより再圧縮することができる。請求項５乃至８の発明による符号化データ生成装置は、図６に示すような構成とすることができる。図６において、ブロック２４０は、ＪＰＥＧ２０００のロスレス又はロスレスに近い符号化データを取り込み解析する手段である。ブロック３４１は、符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段２４３と、入力された符号化データ中の、選択手段２４３で選択された下位ビットプレーン又は下位サブビットプレーンの符号を破棄し、残った符号から新たなパケットを生成する手段２４２からなる。ブロック２４４は、生成されたパケットを並べ、タグ情報をつけ直すことにより、再圧縮された符号化データを作成する手段である。
【００７１】
請求項２０乃至２３の発明による符号化データ生成方法は、図６に示した各手段に対応した処理ステップを含む構成とすることができる。
【００７２】
以上に述べたたような請求項１乃至８の発明による符号化データ生成装置及び請求項１６乃至２３の発明による符号化データ生成方法、並びに、請求項９乃至１５記載の発明による符号化データ生成装置は、ハードウェアのみで実現することも可能であるが、パソコンやマイクロコンピュータなどのコンピュータを利用し、ソフトウェア処理により実現することも可能である。
【００７３】
図７は、ソフトウェア処理により実現する形態を説明するための模式的なブロック図である。図７において、２５０はＣＰＵ、２５１はＲＡＭ、２５２はハードディスク装置であり、これらはシステムバス２５３でデータ及び制御情報をやりとり可能である。上に述べたような本発明の符号化データ生成装置又は方法のための手段又は処理ステップを実現するためのプログラムは、例えばハードディスク装置２５２からＲＡＭ２５１へロードされてＣＰＵ２５０に実行される。
【００７４】
請求項１乃至４の発明による符号化データ生成装置又は請求項１６乃至１９の発明による符号化データ生成方法の場合には、画像データがハードディスク装置２５２からＲＡＭ２５１上の領域２５４へ読み込まれる。この画像データがＣＰＵ２５０に読み込まれて処理されることにより符号化データが生成される。この符号化データは、ＲＡＭ２５１の領域２１５に一旦書き込まれた後、ハードディスク装置２５２へ転送されて格納される。
【００７５】
請求項５乃至８の発明による符号化データ生成装置又は請求項２０乃至２３の発明による符号化データ生成方法の場合には、符号化データがハードディスク装置２５２からＲＡＭ２５１上の領域２５４へ読み込まれる。この符号化データがＣＰＵ２５０に読み込まれて処理されることにより再圧縮された符号化データが生成される。この再圧縮後の符号化データは、ＲＡＭ２５１の領域２５５に一旦書き込まれた後、ハードディスク装置２５２へ転送されて格納される。
【００７６】
つぎに、ＪＰＥＧ２０００におけるウェーブレット変換とその逆変換について説明する。
【００７７】
図８乃至図１１は、16×16画素のモノクロの画像に対して、JPEG2000で採用されている５x３変換と呼ばれるウェーブレット変換を２次元(垂直方向および水平方向)で施す過程を説明するための図である。図８の様にＸＹ座標をとり、あるＸ座標について、Ｙ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。
【００７８】
JPEG2000では、まず垂直方向（Y座標方向）に、Ｙ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得る。次に、Ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのＸ座標について行う)。ここで、ハイパスフィルタとローパスフィルタは、順に下記の（３）式と（４）式で表される。式中のfloor(x)は、ｘのフロア関数（実数ｘを、ｘを越えずかつｘに最も近い整数に置換する関数）を示している。なお、画像の端部においては、中心となる画素に対して隣接画素が存在しないことがあり、この場合は所定ルールによって適宜画素値を補うことになるが、その説明は割愛する。
C(2i+1)=P(2i+1)−floor((P(2i)+P(2i+2))/2) [step1] (３)
C(2i)=P(2i)+floor（(C(2i-1)+C(2i+1)+2)/4) [step2] (４)
【００７９】
簡単のため、ハイパスフィルタで得られる係数をH，ローパスフィルタで得られる係数をLと表記すれば、前記垂直方向の変換によって図８の画像は図９のようなL係数，H係数の配列へと変換される。
【００８０】
続いて，今度は図９の係数配列に対して、水平方向に、Ｘ座標が奇数（ｘ=2i+1）の係数を中心にハイパスフィルタを施し，次にｘ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す(これを全てのｙについて行う．この場合、前記（３）式，（４）式のP(2i)等は係数値を表すものと読み替える)。
【００８１】
簡単のため、前記L係数を中心にローパスフィルタを施して得られる係数をLL、前記L係数を中心にハイパスフィルタを施して得られる係数をHL，前記H係数を中心にローパスフィルタを施して得られる係数をLH、前記H係数を中心にハイパスフィルタを施して得られる係数をHHと表記すれば、図９の係数配列は図１０の様な係数配列へと変換される。ここで同一の記号を付した係数群はサブバンドと呼ばれ、図１０は４つのサブバンドで構成される。
【００８２】
以上で１回のウェーブレット変換（１回のデコンポジション（分解））が終了し、上記LL係数だけを集めると（図１１の様にサブバンド毎に集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の“画像”が得られる（このように、サブバンド毎に分類することをデインターリーブするといい、図１０のような状態に配置することをインターリーブするという）。
【００８３】
２回目のウェーブレット変換は、該LLサブバンドを原画像と見なして上記と同様の変換を行えばよい。この場合、並べ替えを行うと、模式的な図１２が得られる。図１１，図１２の係数の接頭の１や２は、何回のウェーブレット変換で該係数が得られたかを示しており、デコンポジションレベルと呼ばれる。なお、以上の議論において、１次元のみのウェーブレット変換をしたい場合には、いずれかの方向だけの処理を行えばよい。
【００８４】
このような５×３ウェーブレット変換の逆変換においては、図１０の様なインターリーブされた係数の配列に対して、まず水平方向に、Ｘ座標が偶数（ｘ=2i）の係数を中心に逆ローパスフィルタを施し、次にＸ座標が奇数（ｘ=2i+1）の係数を中心に逆ハイパスフィルタを施す(これを全てのＹ座標について行う)。ここで、逆ローパスフィルタと逆ハイパスフィルタは順に下記の（５）式と（６）式で表される。順変換の場合と同様、画像の端部においては中心となる係数に対して隣接係数が存在しないことがあり、この場合は所定ルールによって適宜係数値を補うことになるが，その説明は割愛する。
P(2i)=C(2i)−floor（(C(2i-1)+C(2i+1)+2)/4） [step1] (５)
P(2i+1)=C(2i+1)＋floor（(P(2i)+P(2i+2))/2） [step2] (６)
【００８５】
これにより、図１０の係数配列は図９のような係数配列に変換（逆変換）される。続いて、垂直方向に、Ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次にＹ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施せば(これを全てのＸ座標について行う)、１回のウェーブレット逆変換が終了し、図８の画像に戻る(再構成される)。ウェーブレット変換が複数回施されている場合は、図８をLLサブバンドとみなし、HL等の他の係数を利用して同様の逆変換を繰り返せばよい。
【００８６】
このような５×３ウェーブレットが適用される場合には、前述したように、サブバンドを構成する係数に対する量子化は行われない。ＪＰＥＧ２０００では、９×７変換と呼ばれるウェーブレット変換を用いることもできるが、この場合には各サブバンドごとに線形量子化が行われる（その量子化ステップ数の例は後述する）。
【００８７】
以上に述べたウェーブレット変換により得られた係数は、ビットプレーン符号化される。JPEG2000においては、ウェーブレット係数は、サブバンドごとに、上位ビット(MSB)から下位ビット(LSB)へ向かって、サブビットプレーン単位で符号化することが可能である。
今、図１２の２LLサブバンドの係数が図１３のような値をとるとする。これらの値を二進数で表現し、各bitごとに分けたものがビットプレーンであり、図１３の係数は図１４のような４枚のビットプレーンに分けることができる。１０進の１５の二進表現は1111であるから、図１３の値１５に対応する位置には全てのビットプレーンに１が立つことになる。
【００８８】
JPEG2000においては、１つのビットプレーンを３つのサブビットプレーン（処理パス又はコーディングパスとも言う）に分類し、各サブビットプレーン毎に符号化する。より詳しくは、サブビットプレーン（コーディングパス）として、
significance propagation pass（有意な係数が周囲にある、有意でない係数を符号化するパス）、
magnitude refinement pass（有意な係数を符号化するパス）、
cleanup pass（以上のパスに該当しない残りのビットを符号化するパス）
がある。
【００８９】
ただし、分類の結果、１のビットプレーンないで特定のサブビットプレーン（コーディングパス）に属するビットがない場合もあり、この場合には空のサブビットプレーンが生じることになる。最上位のビットプレーンは常にcleanup passのみとなる。
【００９０】
図１３に示した２ＬＬサブバンドの場合、その各ビットプレーンは、図１５に示すようなサブビットプレーン（コーディングパス）に分類されて符号化される。
【００９１】
ここで、「有意である」とは、これまでの符号化処理において注目係数が０でないとわかっている状態のこと、言い換えれば、すでに１のビットを符号化済みであることを意味する。「有意でない」とは、係数値が０であるか、０の可能性がある状態、言い換えれば、未だ１のビットを符号化していない状態のことを意味する。
【００９２】
符号化では、まずビットプレーンのＭＳＢより走査を行い、ビットプレーン中に有意でない係数（０でないビット）が存在するか判定する。有意である係数が出現するまでは３つのコーディングパスは実行されない。有意でない係数のみで構成されるビットプレーンは、そのビットプレーン数がパケットヘッダに記述される。この値は復号時に利用され、有意でないビットプレーンを形成するために利用されるが、係数のダイナミックレンジを復元するためにも必要である。有意であるビットが最初に出現したビットプレーンから実際の符号化が開始され、そのビットプレーンは、まずcleanup passで処理される。その後、下位のビットプレーンに対して順次３つのコーディングパスを用いて処理が進められる。
【００９３】
さて、サブビットプレーンは上位から下位に向けて符号化されるため、図１６のような構成の符号列の生成が可能である。この例は、符号が２ＬＬサブバンドから始まって１ＨＨサブバンドで終わることを示している。また、図１６の例は全てのサブビットプレーンを符号化した例であるが、例えば着色したサブビットプレーンの符号の出力が不要であると判断された場合、当該サブビットプレーンの符号化そのものを省略し、あるいは、符号化は行い、その後に当該サブビットプレーンの符号を破棄することができる。前述のように、本発明は、この着色したようなビットプレーン又はサブビットプレーンの選択手法に係るものである。上に述べた符号化の省略や符号の破棄の最小単位はサブビットプレーンであるが、これを簡易に行いたいときには、ビットプレーン単位での符号化の省略や符号の破棄を選択することも多い。
【００９４】
次に、サブバンドゲインについて説明する。５×３逆ウェーブレット変換の場合について論じる。前記（５）式及び（６）のフロア関数をはずして次の近似式を得る。
P(2i)=C(2i)−1/4・C(2i-1)−1/4・C(2i+1)−1/2 (７）
P(2i+1)=C(2i+1)＋P(2i)/2+P(2i+2)/2
＝−1/8・C(2i-1)＋1/2・C(2i)＋3/4・C(2i+1)
＋1/2・C(2i+2)−1/8・C(2i+3)−1/2 (８)
この（７）式、（８）式から下の５つの式を得る。
P(2i-1)=−1/8・C(2i-3)＋1/2・C(2i-2)＋3/4・C(2i-1)
＋1/2・C(2i)−1/8・C(2i+1)−1/2
P(2i) =C(2i)−1/4・C(2i-1)−1/4・C(2i+1)−1/2
P(2i+1)=−1/8・C(2i-1)＋1/2・C(2i)＋3/4・C(2i+1)
＋1/2・C(2i+2)−1/8・C(2i+3)−1/2
P(2i+2)=C(2i+2)−1/4・C(2i+1)−1/4・C(2i+3)−1/2
P(2i+3)=−1/8・C(2i+1)＋1/2・C(2i+2)＋3/4・C(2i+3)
＋1/2・C(2i+4)−1/8・C(2i+5)−1/2
【００９５】
今、奇数位置のハイパス係数C(2i+1)に量子化誤差１が生じた場合、上の５つの式は、該誤差がP(2i-1)からP(2i+3)の５画素に影響を及ぼすことを示し、これら５つの誤差が独立であると仮定すると、該５画素に生じる誤差のRMSエラー値は
√｛(-1/8)２＋(-1/4)２＋(3/4)２＋(-1/4)２＋(-1/8)２｝＝0.85
である。つまり、ハイパス係数の誤差１が画素値のRMSエラー0.85に変換されるのである。これが逆ハイパスフィルタ１回分のゲインの平方根である。
【００９６】
同様に、偶数位置のローパス係数C(2i)に量子化誤差１が生じた場合、上式は該誤差がP(2i-1)からP(2i+1)の３画素に影響を及ぼすことを示し、該３画素に生じる誤差のRMSエラー値は
√｛(1/2)２＋1２＋(1/2)２｝＝1.1
である。つまり、ローパス係数の誤差１が，画素値のRMSエラー1.1に変換されるのである。これが、逆ローパスフィルタ１回分のゲインの平方根である。
【００９７】
２次元の逆ウェーブレット変換では、LL係数の逆変換には逆ローパスフィルタを２回かける必要があるため、LL係数に量子化誤差１が生じた場合、画素に生じる誤差のRMSエラー値は1.1×1.1となる。HL係数の逆変換には逆ローパスフィルタ、逆ハイパスフィルタを１回ずつかける必要があるため、HL係数に量子化誤差１が生じた場合、画素に生じる誤差のRMSエラー値は1.1×0.85となる。
【００９８】
同様の計算を行うと、デコンポジションレベル２の場合、各サブバンドの係数に生じた単位量子化誤差が画素に与えるRMSエラー値（サブバンドゲインの平方根）は図１７の通りとなる。図１７はモノクロ画像にデコンポジションレベル２までの5x3ウェーブレット変換を施した場合の逆変換時の例である。図１７に示した値の逆数を図１８に示す。
【００９９】
前述のように、逆変換後の信号に生じた誤差の二乗平均を最小にするためには、各サブバンドをサブバンドゲインの平方根の逆数(の定数倍の値)で線形量子化するのが簡易な方法である。したがって、ビットプレーン符号化において、図１８から、符号を出力させない（符号化を省略する、又は符号を破棄する）下位ビットプレーン数又は下位サブビットプレーン数を求めればよい。
【０１００】
符号を出力させない下位ビットプレーン数は、サブバンドゲインの平方根の逆数を1/√Gs、kを任意の定数として、
ビットプレーン数＝k*log２（1/√Gs） （９）
により求められる（ただし、ビットプレーン数なので算出値を四捨五入等で整数に丸める必要がある）。ｋ＝５とした場合の符号を出力させない下位ビットプレーン数の例を図１９に示す。
【０１０１】
また、符号を出力させない下位サブビットプレーン数は、サブバンドゲインの平方根の逆数を1/√Gs、kを任意の定数として、
サブビットプレーン数＝k*log２＾１／３（1/√Gs） （１０）
により求められる（サブビットプレーン数なので算出値を整数に丸める必要がある）。なお、（１０）式の対数の底は2１／３である。
【０１０２】
ｋ＝５とした場合の符号を出力させない下位サブビットプレーン数の例を図２０に示す。
【０１０３】
なお、（９）式、（１０）式における定数ｋが大きいほど圧縮率は高くなる。つまり、所望の圧縮率に応じて定数ｋを選ぶことができる。
【０１０４】
一実施例によれば、図２の選択手段２０５（又は対応処理ステップ）は、図１９に示すビットプレーン数分の下位サブビットプレーン、又は、図２０に示すサブビットプレーン数分の下位サブビットプレーンを、符号を出力させない下位ビットプレーン又は下位サブビットプレーンとして選択する。
【０１０５】
次に、視覚感度について説明する。図２１は前記非特許文献３に記載されている視覚感度の測定例を示すもので、横軸は縞の周波数（cycle/degree）、縦軸はその周波数で人間が関知する最小のコントラストの逆数（＝コントラストに対する感度、相対値）である。縞は，輝度Y，色差Cb，色差Crの各々について測定される。この測定例から、人間の視覚が低い空間周波数でコントラストの変化に対し敏感である一方、高域で鈍感であること、またＹコンポーネントに対して最も敏感で、Cbコンポーネントに最も鈍感であることが分かる。したがって、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を、高域のサブバンドほど多く、低域のサブバンドほど少なくしてよいことが分かる。
【０１０６】
JPEG2000では、その標準書で、この視覚感度に基づき図２２のような定数（重み）を例示している。各サブバンドの重みは、当該サブバンドが占める周波数帯域における前記視覚感度曲線の積分値として求められ、その詳細は前記非特許文献４に記載されている。これらの値は、量子化ステップ数を除算するために求められたものであり（重みが小さいほど除算後の量子化ステップ数は大きくなる）、上記視覚感度に概ね比例したものとして求められている。
【０１０７】
なお、視覚感度の測定方法によっては、逆コンポーネント変換のゲインが含まれた視覚感度が得られる。このような視覚感度は、本来の視覚感度と逆コンポーネント変換のゲインの平方根の積とみなして扱う必要がある。図２２（及び後記の図３４，図３５）に示す重みは、逆コンポーネント変換のゲインは含まれない視覚感度に対応する値である。
【０１０８】
したがって、視覚感度の逆数に基づいて符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求める場合には、図２２に示した値を視覚感度とみなし、その逆数を前記（９）式、（１０）式の(1/√Gs)の代わりに用いることにより、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求めることができる（計算例は省略する）。一実施例によれば、図２の選択手段２０５（又は対応処理ステップ）は、そのようにして計算されたビットプレーン数分の下位ビットプレーン又はサブビットプレーン数分の下位サブビットプレーンを、符号を出力させない下位ビットプレーン又は下位サブビットプレーンとして選択する。
【０１０９】
また、「視覚感度とサブバンドゲインの平方根の積」の逆数から、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求める場合には、視覚感度として図２２に示した値を用いることができる。この場合の「視覚感度とサブバンドゲインの平方根の積」の逆数の計算値を図２３に示す。そして、この値を前記（９）式及び（１０）式の（１／√Gs)として用いて計算した、符号を出力させない下位ビットプレーン数を図２４に、符号を出力させない下位サブビットプレーン数を図２５にそれぞれ示す。なお、ｋ＝５としている。
【０１１０】
一実施例によれば、図２の選択手段２０５（又は対応処理ステップ）は、図２４又は図２５に示すような枚数分の下位サブビットプレーン又は下位サブビットプレーンを選択する。
【０１１１】
JPEG2000では、９ｘ７ウェーブレット変換を用いる場合、サブバンドごとに線形量子化が可能である。この線形量子化の量子化ステップ数の例を図２８に示す。また、９ｘ７逆ウェーブレット変換のサブバンドゲインの平方根とその逆数を図２６と図２７にそれぞれ示す。いずれの値もモノクロ画像をデコンポジションレベル２までウェーブレット変換する場合の値である。
【０１１２】
したがって、９×７ウェーブレット変換を用いるが線形量子化を行わないで符号化を行う場合に、サブバンドゲインの平方根の逆数に基づいて符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求めるためには、図２７に示す値を前記（９）式又は（１０）式の（1/√Gs）として用いればよい（計算例は省略）。
【０１１３】
また、９×７ウェーブレット変換と線形量子化を行って符号化を行う場合に、サブバンドゲインの平方根と量子化ステップ数の積の逆数に基づいて、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求めるためには、図２６の値と図２８の値の積の逆数を求め、その値を前記（９）式又は（１０）式の（1/√Gs）として用いればよい（計算例は省略）。一実施例によれば、図３の選択手段２１６（又は対応処理ステップ）は、そのようにして計算した枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１１４】
図２６の値と図２２の値と図２８の値の積の逆数を図２９に示す。図２９の値を前記（９）式又は（１０）式の（1/√Gs）として用いて計算した、符号を出力させない下位ビットプレーン数と下位サブビットプレーン数を図３０と図３１にそれぞれ示す（ただし、ｋ＝２５とした）。すなわち、それらの値は、９×７ウェーブレット変換と線形量子化を行って符号化を行う場合に、サブバンドゲインの平方根と視覚感度と量子化ステップ数の積の逆数に基づいて求められた、符号を出力させない下位ビットプレーン数と下位サブビットプレーン数である。一実施例によれば、図３の選択手段２１６（又は対応処理ステップ）は、図３０又は図３１に示す枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１１５】
また、９×７ウェーブレット変換と線形量子化を行って符号化を行う場合に、視覚感度と量子化ステップ数の積の逆数に基づいて、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求めるためには、図２２の値と図２８の値の積の逆数を求め、その値を（９）式又は（１０）式の（1/√Gs）として用いればよい（計算例は省略）。一実施例によれば、図３の選択手段２１６（又は対応処理ステップ）は、そのようにして計算された枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１１６】
次に，逆コンポーネント変換（逆RCTや逆ICT）のゲインについて説明する。このゲインとは、各コンポーネントに生じた単位誤差によるRGB値のエラーの二乗和である。サブバンドゲインの導出過程およびRCTやICTの逆変換式から明らかなように、逆ICTのゲインの平方根と逆RCTのゲインの平方根は図３２と図３３に示すような値となる。
【０１１７】
したがって、コンポーネント変換（ＩＣＴ又はＲＣＴ）を行って符号化する場合に、逆コンポーネント変換のゲインの平方根とサブバンドゲインの平方根の積の逆数、又は、逆コンポーネント変換のゲインの平方根とサブバンドゲインの平方根と量子化ステップ数の積の逆数に基づいて、符号を出力させない下位ビットプレーン数又は下位サブビット数を求めるためには、逆コンポーネント変換のゲインの平方根として図３２又は図３３の値を用いて、その逆数を計算し、その値を前記（９）式又は（１０）式の（1/√Gs）として用いればよい（計算例は省略）。一実施例によれば、図４の選択手段２２６（又は対応処理ステップ）は、逆ＲＣＴのゲインの平方根を用い、そのようにして計算された枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。一実施例によれば、図５の選択手段２３７（又は対応処理ステップ）は、逆ＩＣＴのゲインの平方根を用い、そのようにして計算された枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１１８】
JPEG2000では、その標準書で、図２２に示したＹコンポーネントの重みと同様に、図３４と図３５に示すようなＣｂコンポーネントとＣｒコンポーネントの重みを例示している。
【０１１９】
視覚感度と逆コンポーネント変換の平方根の積の逆数、又は、サブバンドの平方根と逆コンポーネント変換のゲインの平方根と視覚感度の積の逆数に基づいて、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を求めるためには、図２２、図３４，図３０の値をＹ，Ｃｂ，Ｃｒの視覚感度として用いて、その逆数を計算し、その値を前記（９）式又は（１０）式の（1/√Gs）として用いればよい（計算例は省略）。一実施例によれば、図４の選択手段２２６（又は対応処理ステップ）は、そのようにして計算した枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１２０】
コンポーネント変換としてＩＣＴを用い、９×７ウェーブレット変換と線形量子化を行う場合、サブバンドゲインの平方根と視覚感度と量子化ステップ数と逆コンポーネント変換のゲインの平方根のゲインの積の逆数を各コンポーネントについて計算すると、図３６に示すような値となる。この逆数の値を前記（９）式、（１０）式の（1/√Gs）として用いて計算した、符号を出力させない下位ビットプレーン数と下位サブビットプレーン数を図３７と図３８にそれぞれ示す。一実施例によれば、図５の選択手段２３７（又は対応処理ステップ）は、図３７又は図３８に示すような枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１２１】
同様にして、サブバンドゲインの平方根と逆コンポーネント変換のゲインの平方根と量子化ステップ数の積の逆数、又は、視覚感度と量子化ステップ数と逆コンポーネント変換のゲインの平方根のゲインの積の逆数に基づいて、符号を出力させない下位ビットプレーン数又は下位サブビットプレーン数を計算できることは明らかである（計算例は省略）。一実施例によれば、図５の選択手段２３７（又は対応処理ステップ）は、そのようにして計算した枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１２２】
一実施例によれば、図６の選択手段２４３は、入力される符号化データの符号化プロセスの違いに応じて、図２の選択手段２０５，図３の選択手段２１６、図４の選択手段２２６、あるいは、図５の選択手段２３７と同様の方法で決定される枚数分の下位ビットプレーン又は下位サブビットプレーンを選択する。
【０１２３】
ここまでは、（９）式又は（１０）式により求めた枚数分の下位ビットプレーン又は下位サブビットプレーンを、符号を出力させない下位ビットプレーン又は下位サブビットプレーンとして選択した。つまり、符号を出力させない下位ビットプレーン又は下位サブビットプレーンの組み合わせパターンは１つだけであった。勿論、（９）式又は（１０）の定数ｋとして異なったいくつかの値を選び、それぞれの値で計算した下位ビットプレーン数又は下位サブビットプレーン数に対応した、符号を出力させない下位ビットプレーン又は下位サブビットプレーンの組み合わせパターンを用意しておき、その中から希望する圧縮率に近い圧縮率を得られるパターンを選ぶことも可能である。
【０１２４】
しかし、圧縮率をより細かく制御するには、請求項１０乃至１２に記載の「手順」により、いくつかの組み合わせパターンを決定しておき、その中から希望する圧縮率に近いパターンを選び、そのパターンに従って、符号を出力させない下位ビットプレーン又は下位サブビットパターンを選択するようにすると効果的である。
【０１２５】
まず、図２３に示したサブバンドゲインの平方根と視覚感度の積の逆数を値(a)として用い、請求項１０に記載した手順で、符号を出力させない下位ビットプレーンの組み合わせパターンを順次決定する場合について説明する。図３９の左表は、値(a)つまり「サブバンドゲインの平方根と視覚感度の積の逆数」の最大値を２で割る、という手順を繰り返したときの値(a)の遷移の様子を示しており、２で割られたサブバンド位置に着色されている。各遷移ごとに値(a)が最大の値をとったサブバンドの下位ビットプレーン数を１枚ずつ加算していくと、図３９の右表のようになる。図４０は、この手順の概略フローである。
【０１２６】
図３９の右表の各行は、符号を出力させない下位ビットプレーンの組み合わせパターンに対応し、各行につけられた番号はパターン番号である。パターン１は１ＨＨサブバンドの１枚の下位ビットプレーンのみ符号を出力させないことを意味し、パターン２は１ＨＨ，１ＬＨ各サブバンドの１枚の下位ビットプレーンのみ符号を出力させないことを意味し、パターン３は１ＨＨ，１ＨＬ，１ＬＨ各サブバンドの１枚の下位ビットプレーンのみ符号を出力させないことを意味する。パターン番号が大きくなるほど、符号を出力させない下位ビットプレーン数が増加し、圧縮率も単調に増大する。したがって、十分に多くのパターンを決定しておき、その中からパターンを選ぶことにより、二乗誤差や主観画質の条件を満たしつつ希望する圧縮率に近い圧縮率を得ることができる。
【０１２７】
なお、遷移状態が１から２に移る場合、１HL，1LHの２つのサブバンドで値(a)が最大の値(1.27)をとるが、ここに示す例では、請求項１４の発明を適用し1LH（横エッジを表す係数）を値(a)が最大の値をとるサブバンドとして扱っている。また、遷移状態が５から６に移る場合、４つのサブバンドで値(a)が最大の値(0.64)をとるが、ここでも請求項１４の発明を適用し1HLを最大の値をとるサブバンドとして扱っている。
【０１２８】
図３６に示すＹ，Ｃｂ，Ｃｒの「サブバンドゲインの平方根と視覚感度と量子化ステップ数と逆コンポーネント変換のゲインの積の逆数を値(a)として用いて、同じ手順により符号を出力させない下位ビットプレーンの組み合わせパターンを決定する例を図４１に示す。図４１の上側の表は、値(a)の遷移の様子を示しており、２で割られたサブバンド位置に着色されている。下側の表はパターンを示す。ただし、この例では、値(a)が最大の値をとるサブバンドが複数ある場合には、請求項１５の発明を適用し、視覚感度が低いサブバンドを選ぶ（すなわち、Ｃｂ，Ｃｒ，Ｙの順に選ぶ）。
【０１２９】
このような手順は、他の値(a)を用いる場合にも同様に適用されることは明らかである。一実施例によれば、図２乃至図６の選択手段２０５，２１６，２２６，２３７，２４３（又は対応処理ステップ）は、このような手順で予め決定されたパターンを例えばテーブルとして持ち、指定された圧縮率に最も近い圧縮率を得られるパターンを選び、そのパターンに従って、符号を出力させない下位ビットプレーンを選択する。
【０１３０】
つぎに、図２３に示したサブバンドゲインの平方根と視覚感度の積の逆数を値(a)として用い、請求項１１に記載した手順で、符号を出力させない下位サブビットプレーンの組み合わせパターンを順次決定する場合について説明する。図４２の左表は、値(a)つまり「サブバンドゲインの平方根と視覚感度の積の逆数」の最大値を２１／ｎで割る、という手順を繰り返したときの値(a)の遷移の様子を示しており、２１／ｎで割られたサブバンド位置に着色されている。各遷移ごとに値(a)が最大の値をとったサブバンドの下位サブビットプレーン数を１枚ずつ加算していくと、図４２の右表のようになる。だだし、ここでｎ＝３としている。右表の各行は、符号を出力させない下位ビットプレーンの組み合わせパターンに対応し、各行につけられた番号はパターン番号である。パターン番号が大きくなるほど、符号を出力させない下位ビットプレーン数が増加し圧縮率も単調に増大する。したがって、十分に多くのパターンを決定しておき、その中からパターンを選ぶことにより、二乗誤差や主観画質の条件を満たしつつ希望する圧縮率に近い圧縮率を得ることができる。
【０１３１】
図４３は、この手順の概略フローである。この例でも、値(a)が最大の値をとるサブバンドが複数ある場合には、請求項１４の発明を適用しサブバンドの選択が行われる。
【０１３２】
この手順は、サブバンドゲインの平方根と視覚感度の積の逆数以外の値(a)を用いる場合にも同様に適用されることは明らかである。一実施例によれば、図２乃至図６の選択手段２０５，２１６，２２６，２３７，２４３（又は対応処理ステップ）は、この手順で予め決定されたパターンを例えばテーブルとして持ち、指定された圧縮率に最も近い圧縮率を得られるパターンを選び、そのパターンに従って、符号を出力させない下位サブビットプレーンを選択する。
【０１３３】
次に請求項１２に記載された手順の例として、ｎ＝３の場合、つまり請求項１３に記載された手順を、図２３に示したサブバンドゲインの平方根と視覚感度の積の逆数を値(a)として用い、符号を出力させない下位サブビットプレーンの組み合わせパターンを順次決定する例について説明する。図４４の左表は、値(a)の遷移の様子を示しており、値(a)が最大の値をとると判断されたサブバンド位置に着色されている。各遷移ごとに値(a)が最大の値をとったサブバンドの下位サブビットプレーン数を１枚ずつ加算していくと、図４４の右表のようになる。図４５は、この手順の概略フローである。前述したように、ビットプレーン符号化においては下位サブビットプレーンから順に符号を破棄するが、符号の破棄にともなってレートディストーションスロープの絶対値が単調に増えていくことが符号化特性としては望ましい。これは、１枚のビットプレーンを構成するサブビットプレーン相互間では、概ね下位サブビットプレーンほど量子化誤差が生じない傾向を意味する。そしてこれは、量子化ステップ数の観点から言えば、下位サブビットプレーンほど量子化ステップ数が小さいことを意味する。よって、この手順では、サブビットプレーンが３枚ある場合に、各々のサブビットプレーンの符号の破棄を2１／３の量子化相当として扱うのではなく、差を設けるのである。
【０１３４】
この手順は、サブバンドゲインの平方根と視覚感度の積の逆数以外の値(a)を用いる場合にも同様に適用されることは明らかである。一実施例によれば、図２乃至図６の選択手段２０５，２１６，２２６，２３７，２４３（又は対応処理ステップ）は、この手順で予め決定されたパターンを例えばテーブルとして持ち、指定された圧縮率に最も近い圧縮率を得られるパターンを選び、そのパターンに従って、符号を出力させない下位サブビットプレーンを選択する。
【０１３５】
本発明は、符号化データを復号する装置にも応用可能である。図４６は、そのような復号装置の一例を示すブロック図である。
【０１３６】
図４６において、ブロック３００はＪＰＥＧ２０００のロスレスの符号化データを取り込み解析する手段である。ブロック３０１は入力された符号のビットプレーン復号を行ってウェーブレット係数に戻す手段であるが、例えば図４４の右表のようなパターンに従って下位サブビットプレーンを選択する手段３０２を含み、この手段により選択された下位サブビットプレーンの符号は復号対象から除外する。このように不要なサブビットプレーンの符号を復号対象から除外するため、復号速度を高速化することができる。ブロック３０３は、復号されたウェーブレット係数を画像に戻すための処理（逆ウェーブレット変換、必要に応じて逆量子化及び／又は逆コンポーネント変換）を行う手段である。
【０１３７】
なお、以上説明した符号化データ生成装置をコンピュータを利用して実現するためのプログラム、以上に説明した符号化データ生成方法の処理、図４０，図４３，図４５に示すような手順によってパターンを生成する処理をコンピュータで実行するためのプログラム、並びに、それらプログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、各種半導体メモリなどの、コンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に包含される。
【０１３８】
なお、ＪＰＥＧ２０００におけるＤＣレベルシフトは、ＲＧＢ信号値のような正の数である場合に、順変換では各信号値から信号のダイナミックレンジの半分を減算するレベルシフトを、逆変換では各信号値に信号のダイナミックレンジの半分を加算するレベルシフトを行うものであり、その変換式を（１１）式に示す。なお、このレベルシフトはＹＣｂＣｒ信号のＣｂ，Ｃｒ信号のような符号付き整数には適用されない。
【０１３９】
I(x,y) ← I(x,y)-2Ｓｓｉｚ（ｉ） 順変換
I(x,y) ← I(x,y)+2Ｓｓｉｚ（ｉ） 逆変換 （１１）
ただし、Ｓsiz(i)は原画像の各コンポーネントｉ（ＲＧＢ画像ならｉ０，１，２）のビット深さである。
【０１４０】
また、９×７ウェーブレット変換のためのフィルタを示す。
順変換
C(2n+1)=P(2n+1)+α*(P(2n)+P(2n+2)) [step1]
C(2n)=P(2n)+β*(C(2n-1)+C(2n+1)) [step2]
C(2n+1)=C(2n+1)+γ*(C(2n)+C(2n+2)) [step3]
C(2n)=C(2n)+δ*(C(2n-1)+C(2n+1)) [step4]
C(2n+1)=K*C(2n+1) [step5]
C(2n)=(1/K)*C(2n) [step6]
逆変換
P(2n)=K*C(2n) [step1]
P(2n+1)=(1/K)*C(2n+1) [step2]
P(2n)=X(2n)-δ*(P(2n-1)+P(2n+1)) [step3]
P(2n+1)=P(2n+1)-γ*(P(2n)+P(2n+2)) [step4]
P(2n)=P(2n)-β*(P(2n-1)+P(2n+2)) [step5]
P(2n)=P(2n+1)-α*(P(2n)+P(2n+2)) [step6] （１２）
ただし、α＝-1.586134342059924
β＝-0.052980118572961
γ＝0.882911075530934
δ＝0.443506852043971
Ｋ＝1.230174104914001
【０１４１】
また、前述のように、ＪＰＥＧ２０００で９×７ウェーブレット変換を選択した場合には、各サブバンド毎に、ウェーブレット係数を線形（スカラー）量子化することができる。同一のサブバンド内では共通の量子化ステップ数が用いられる。量子化式を（１３）式に、量子化ステップ数（Δb）を（１４）式にそれぞれ示す。
qｂ(u,v)=sign(aｂ(u,v))*floor(|aｂ(u,v)|/Δb) （１３）
ただし、aｂ(u,v)はサブバンドｂにおける係数
qｂ(u,v)はサブバンドｂにおける係数
Δbはサブバンドｂにおける量子化ステップ
Δb=２Ｒｂ−εｂ*floor(1+μｂ/2１１) （１４）
ただし、Rｂはサブバンドｂにおけるダイナミックレンジ
εｂはサブバンドｂにおける量子化の指数
μｂはサブバンドｂにおける量子化の仮数
指数εｂと仮数μｂは、各デコンポジションレベルにおけるすべてのサブバンドを規定する方式と、最下位のデコンポジションレベルにおけるＬＬサブバンドのみ規定し、残りのサブバンドは予め定められている式を用いて規定する方式の２種類がある。前者を明示的な量子化(expounded quantizationもしくはexplicit quantization)、後者を暗黙的な量子化(derived quantizationもしくはimplicit quantization)と呼ぶ。暗黙的な量子化の指数と仮数の組(εｂ,μｂ)は（１５）式で決定される。
(εｂ,μｂ)=(ε０-NＬ+nｂ,μ０) （１５）
ただし、nｂはデコンポジションレベル数
【０１４２】
逆量子化式を（１６）式に示す。
Rqｂ(u,v)=(qｂ(u,v)+r*2Ｍｂ−Ｎｂ（ｕ，ｖ）)*Δb qｂ(u,v)>0のとき
=(qｂ(u,v)-r*2Ｍｂ−Ｎｂ（ｕ，ｖ）)*Δb qｂ(u,v)<0のとき
=0 qｂ(u,v)=0のとき
（１６）
【０１４３】
また、混同しやすいデコンポジションレベルと解像度レベルの関係は図４７に示す通りである。
【０１４４】
【発明の効果】
以上に説明したように、本発明によれば、ＪＰＥＧ２０００などの符号化プロセス又は符号化データの再圧縮プロセスにおいて、符号を省略もしくは破棄する下位ビットプレーン又は下位サブビットプレーンを適切に選択することによって、復号した際に信号の二乗誤差が少なく、かつ／又は、主観画質が良好な、符号化データ又は再圧縮符号化データを生成することができ、また、そのような条件を満たしつつ、圧縮率の細かな制御を容易に行うことができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図２】 本発明による符号化データ生成装置及び方法の実施の形態を説明するためのブロック図である。
【図３】 本発明による符号化データ生成装置及び方法の実施の形態を説明するためのブロック図である。
【図４】 本発明による符号化データ生成装置及び方法の実施の形態を説明するためのブロック図である。
【図５】 本発明による符号化データ生成装置及び方法の実施の形態を説明するためのブロック図である。
【図６】 本発明による符号化データ生成装置及び方法の実施の形態を説明するためのブロック図である。
【図７】 コンピュータを利用して本発明を実施する形態を説明するためのブロック図である。
【図８】 原画像の例を示す図である。
【図９】 原画像に対し垂直方向にウェーブレット変換を適用することにより得られる係数配列を示す図である。
【図１０】 図９の係数配列に対し水平方向にウェーブレット変換を適用することにより得られる係数配列を示す図である。
【図１１】 図１０の係数配列をデインターリーブした係数配列を示す図である。
【図１２】 原画像に２回の二次元ウェーブレット変換を適用することにより得られる係数をデインターリーブした係数配列を示す図である。
【図１３】 ２ＬＬサブバンドの係数値の例を示す図である。
【図１４】 図１３の２ＬＬサブバンドのビットプレーンを示す図である。
【図１５】 図１４に示したビットプレーンのサブビットプレーン分割を示す図である。
【図１６】 生成される符号列の例を示す図である。
【図１７】 ５×３逆ウェーブレット変換のサブバンドゲインの平方根の例を示す図である。
【図１８】 ５×３逆ウェーブレット変換のサブバンドゲインの平方根の逆数の例を示す図である。
【図１９】 図１８に示す値に基づいて求められた、符号を出力させない下位ビットプレーン数の例を示す図である。
【図２０】 図１８に示す値に基づいて求められた、符号を出力させない下位サブビットプレーン数の例を示す図である。
【図２１】 視覚感度の測定例を示すグラフである。
【図２２】 ＪＰＥＧ２０００の標準書に例示された視覚感度に基づいた各サブバンドの重みを示す図である。
【図２３】 サブバンドゲインの平方根と視覚感度の積の逆数の例を示す図である。
【図２４】 図２３に示した値に基づいて求められた、符号を出力させない下位ビットプレーン数の例を示す図である。
【図２５】 図２３に示した値に基づいて求められた、符号を出力させない下位サブビットプレーン数の例を示す図である。
【図２６】 ９×７逆ウェーブレット変換のサブバンドゲインの平方根の例を示す図である。
【図２７】 図２６に示した値の逆数を示す図である。
【図２８】 各サブバンドに適用される量子化ステップ数の例を示す図である。
【図２９】 ９×７逆ウェーブレット変換のサブバンドゲインの平方根と視覚感度と量子化ステップ数の積の逆数の例を示す図である。
【図３０】 図２９に示した値に基づいて求められた、符号を出力させない下位ビットプレーン数の例を示す図である。
【図３１】 図２９に示した値に基づいて求められた、符号を出力させない下位サブビットプレーン数の例を示す図である。
【図３２】 逆ＩＣＴのゲインの平方根を示す図である。
【図３３】 逆ＲＣＴのゲインのへいほうこんを示す図である。
【図３４】 ＪＰＥＧ２０００の標準書に例示された視覚感度に基づくＣｂコンポーネントの各サブバンドの重みを示す図である。
【図３５】 ＪＰＥＧ２０００の標準書に例示された視覚感度に基づくＣｒコンポーネントの各サブバンドの重みを示す図である。
【図３６】 Ｙ，Ｃｂ，Ｃｒの各コンポーネントについて、９×７逆ウェーブレット変換のサブバンドゲインの平方根と視覚感度と量子化ステップと逆ＩＣＴ変換のゲインの平方根の積の逆数の例を示す図である。
【図３７】 図３６に示した値に基づいて求められた、各コンポーネントの符号を出力させない下位ビットプレーン数の例を示す図である。
【図３８】 図３６に示した値に基づいて求められた、各コンポーネントの符号を出力させない下位サブビットプレーン数の例を示す図である。
【図３９】 符号を出力させない下位ビットプレーンの組み合わせパターンの例とその生成手順を説明するための図である。
【図４０】 図３９に対応した手順の概略処理フローを示す図である。
【図４１】 Ｙ，Ｃｂ，Ｃｒ各コンポーネントがある場合における、符号を出力させない下位ビットプレーンの組み合わせパターンの例と、その生成手順を説明するための図である。
【図４２】 符号を出力させない下位サブビットプレーンの組み合わせパターンの例と、その生成手順を説明するための図である。
【図４３】 図４３に対応した手順の概略処理フローを示す図である。
【図４４】 符号を出力させない下位サブビットプレーンの組み合わせパターンの例と、その生成手順を説明するための図である。
【図４５】 図４４に対応した手順の概略処理フローを示す図である。
【図４６】 本発明を応用した復号装置を示すブロック図である。
【図４７】 デコンポジションレベルと解像度レベルの関係を示す図である。
【符号の説明】
200,210,221,231 ウェーブレット変換の手段
202,213,223,234,244 符号形成の手段
203,214,224,235 ビットプレーン符号化の手段
204,215,225,236,244 パケット生成の手段
205,216,226,235,243 符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する手段
211,232 量子化の手段
220,230 ＤＣレベルシフト及びコンポーネント変換の手段
Claims (26)
- 信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより符号化データを生成する符号化データ生成装置であって、
各サブバンドに関する、(i)前記周波数変換の逆変換のゲインの平方根の逆数、(ii)視覚感度の逆数、(iii)前記逆変換のゲインの平方根と視覚感度の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置。 - 信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化することにより符号化データを生成する符号化データ生成装置であって、
各サブバンドに関する、（i）前記周波数変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記量子化の量子化ステップ数の積の逆数、（iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置。 - 複数のコンポー ネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドをビットプレーン符号化することにより符号化データを生成する符号化データ生成装置であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置。 - 複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化することにより符号化データを生成する符号化データ生成装置であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置。 - 信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成装置であって、
各サブバンドに関する、(i)前記周波数変換の逆変換のゲインの平方根の逆数、(ii)視覚感度の逆数、(iii)前記逆変換のゲインの平方根と視覚感度の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置。 - 信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成装置であって、
各サブバンドに関する、（i）前記周波数変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記量子化の量子化ステップ数の積の逆数、（iii）前記逆変換のゲインの平方根と視覚感度と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置。 - 複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドをビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成装置であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置。 - 複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成装置であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する選択手段を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成装置。 - 請求項１乃至８のいずれか１項記載の符号化データ生成装置において、前記値(a)と、符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が比例関係にあることを特徴とする符号化データ生成装置。
- 請求項１乃至８のいずれか１項記載の符号化データ生成装置において、
前記選択手段は、前記値(a)が最大の値をとるサブバンドのビットプレーンを最下位ビット側から１枚選択し、該最大の値をその２分の１の値に置換する手順の繰り返しにより決定される、符号を出力させない下位ビットプレーンの組み合わせパターンに従って、符号を出力させない下位ビットプレーンを選択することを特徴とする符号化データ生成装置。 - 請求項１乃至８のいずれか１項記載の符号化データ生成装置において、
前記ビットプレーン符号化では各ビットプレーンがｎ個のサブビットプレーンに分割されて符号化され、
前記選択手段は、前記値(a)が最大の値をとるサブバンドのサブビットプレーンを最下位ビット側から１枚選択し、該最大の値を２１／ｎで除算した値に置換する手順の繰り返しにより決定される、符号を出力させない下位サブビットプレーンの組み合わせパターンに従って、符号を出力させない下位サブビットプレーンを選択することを特徴とする符号化データ生成装置。 - 請求項１乃至８のいずれか１項記載の符号化データ生成装置において、
前記ビットプレーン符号化では各ビットプレーンがｎ個のサブビットプレーンに分割されて符号化され、
前記選択手段は、ΣEｊ=1(総和は全てのjに対してとる)かつEｊ≦Eｊ＋１となる数列Eｊ(0≦j＜n)をサブバンド毎に定義し、サブバンドｉの前記EｊをEｉｊとしたときに、前記値(a)が最大の値をとるサブバンドｉのサブビットプレーンを最下位ビット側から１枚選択し、該最大の値を２Ｅｉｊで除算した値に置換し、jをインクリメントする(ただしj=n-1のときはj=0とする) 手順を繰り返すことにより決定される、符号を出力させないサブビットプレーンの組み合わせパターンに従って、符号を出力させない下位サブビットプレーンを選択することを特徴とする符号化データ生成装置。 - 請求項１２記載の符号化データ生成装置において、ｎ＝３、Ｅｉ０＝５／１８、Ｅｉ１＝６／１８、Ｅｉ２＝７／１８であることを特徴とする符号化データ生成装置。
- 請求項１０乃至１３のいずれか１項記載の符号化データ生成装置において、
前記手順において、前記値(a)が最大の値をとるサブバンドが複数ある場合に、それらサブバンド中の最も周波数の高いサブバンドが、前記値(a)が最大のサブバンドとして扱われることを特徴とする符号化データ生成装置。 - 請求項１０乃至１３のいずれか１項記載の符号化データ生成装置において、
前記手順において、前記値(a)が最大の値をとるサブバンドが複数ある場合に、それらサブバンド中の視覚感度が最も低いコンポーネントのサブバンドが、前記値(a)が最大のサブバンドとして扱われることを特徴とする符号化データ生成装置。 - 信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより符号化データを生成する符号化データ生成方法であって、
各サブバンドに関する、(i)前記周波数変換の逆変換のゲインの平方根の逆数、(ii)視覚感度の逆数、(iii)前記逆変換のゲインの平方根と視覚感度の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法。 - 信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化することにより符号化データを生成する符号化データ生成方法であって、
各サブバンドに関する、（i）前記周波数変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記量子化の量子化ステップ数の積の逆数、（iii）前記逆変換のゲインの平方根と視覚感度と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法。 - 複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより符号化データを生成する符号化データ生成方法であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいコンポーネントのサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法。 - 複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化することにより符号化データを生成する符号化データ生成方法であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法。 - 信号を複数のサブバンドに周波数変換し、各サブバンドをビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成方法であって、
各サブバンドに関する、(i)前記周波数変換の逆変換のゲインの平方根の逆数、(ii)視覚感度の逆数、(iii)前記逆変換のゲインの平方根と視覚感度の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法。 - 信号を複数のサブバンドに周波数変換し、各サブバンドを量子化した後にビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成方法であって、
各サブバンドに関する、（i）前記周波数変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記量子化の量子化ステップ数の積の逆数、（iii）前記逆変換のゲインの平方根と視覚感度と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法。 - 複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドをビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成方法であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法。 - 複数のコンポーネントから成る信号をコンポーネント変換した後に複数のサブバンドに周波数変換し、各コンポーネントの各サブバンドを量子化した後にビットプレーン符号化することにより得られた符号化データを入力として、それを再圧縮した符号化データを生成する符号化データ生成方法であって、
各コンポーネントの各サブバンドに関する、(i）前記周波数変換の逆変換のゲインの平方根と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、（ii）視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、(iii）前記周波数変換の逆変換のゲインの平方根と視覚感度と前記コンポーネント変換の逆変換のゲインの平方根と前記量子化の量子化ステップ数の積の逆数、のうちのいずれか１つの値(a)に基づいて、再圧縮後の符号化データに符号を出力させない下位ビットプレーン又は下位サブビットプレーンを選択する処理を含み、
前記値(a)が大きいサブバンドほど、再圧縮後の符号化データに符号を出力させない下位ビットプレーン数または下位サブビットプレーン数が多いことを特徴とする符号化データ生成方法。 - 請求項１６乃至２３のいずれか１項記載の符号化データ生成方法に従って符号化データを生成する処理をコンピュータに実行させるプログラム。
- 請求項１０，１１または１２記載の手順に従って符号を出力させない下位ビットプレーン又は下位サブビットプレーンの組み合わせパターンを決定する処理をコンピュータに実行させるプログラム。
- 請求項２４又は２５記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003125667A JP4017112B2 (ja) | 2003-04-30 | 2003-04-30 | 符号化データ生成装置及び方法、プログラム並びに情報記録媒体 |
| US10/837,446 US7373007B2 (en) | 2003-04-30 | 2004-04-30 | Encoded data generation apparatus and a method, a program, and an information recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003125667A JP4017112B2 (ja) | 2003-04-30 | 2003-04-30 | 符号化データ生成装置及び方法、プログラム並びに情報記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004336162A JP2004336162A (ja) | 2004-11-25 |
| JP4017112B2 true JP4017112B2 (ja) | 2007-12-05 |
Family
ID=33502863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003125667A Expired - Fee Related JP4017112B2 (ja) | 2003-04-30 | 2003-04-30 | 符号化データ生成装置及び方法、プログラム並びに情報記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7373007B2 (ja) |
| JP (1) | JP4017112B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4443165B2 (ja) * | 2003-08-20 | 2010-03-31 | 株式会社リコー | 画像圧縮装置及び画像圧縮方法 |
| JP4911557B2 (ja) * | 2004-09-16 | 2012-04-04 | 株式会社リコー | 画像表示装置、画像表示制御方法、プログラム及び情報記録媒体 |
| JP4618676B2 (ja) * | 2005-04-28 | 2011-01-26 | 株式会社リコー | 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体 |
| GB2429593A (en) | 2005-08-26 | 2007-02-28 | Electrosonic Ltd | Data compressing using a wavelet compression scheme |
| GB0600141D0 (en) * | 2006-01-05 | 2006-02-15 | British Broadcasting Corp | Scalable coding of video signals |
| JP4789192B2 (ja) | 2006-04-12 | 2011-10-12 | 株式会社リコー | 符号処理装置、プログラム及び情報記録媒体 |
| JP5142491B2 (ja) * | 2006-07-31 | 2013-02-13 | 株式会社リコー | 画像表示装置、画像表示方法及び画像表示プログラム |
| JP5167944B2 (ja) * | 2008-05-15 | 2013-03-21 | 株式会社リコー | 情報処理装置、情報処理方法、プログラム及び記録媒体 |
| JP2010004142A (ja) * | 2008-06-18 | 2010-01-07 | Hitachi Kokusai Electric Inc | 動画像符号化装置、復号化装置、符号化方法及び復号化方法 |
| JP5245853B2 (ja) * | 2009-01-19 | 2013-07-24 | セイコーエプソン株式会社 | 画像形成装置 |
| JP5114462B2 (ja) * | 2009-08-28 | 2013-01-09 | 京セラドキュメントソリューションズ株式会社 | 画像圧縮装置及び画像圧縮プログラム |
| US8934725B1 (en) * | 2010-08-30 | 2015-01-13 | Accusoft Corporation | Image coding and decoding methods and apparatus |
| US8983213B1 (en) | 2010-08-30 | 2015-03-17 | Accusoft Corporation | Image coding and decoding methods and apparatus |
| JP2013187692A (ja) * | 2012-03-07 | 2013-09-19 | Sony Corp | 画像処理装置及び画像処理方法 |
| US9450601B1 (en) * | 2015-04-02 | 2016-09-20 | Microsoft Technology Licensing, Llc | Continuous rounding of differing bit lengths |
| US9992252B2 (en) | 2015-09-29 | 2018-06-05 | Rgb Systems, Inc. | Method and apparatus for adaptively compressing streaming video |
| JP2024074521A (ja) | 2022-11-21 | 2024-05-31 | 株式会社リコー | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3491906B2 (ja) | 1992-02-10 | 2004-02-03 | キヤノン株式会社 | 通信制御方法、マルチメディア通信システム及びマルチメディア通信装置 |
| US6865291B1 (en) * | 1996-06-24 | 2005-03-08 | Andrew Michael Zador | Method apparatus and system for compressing data that wavelet decomposes by color plane and then divides by magnitude range non-dc terms between a scalar quantizer and a vector quantizer |
| US6792153B1 (en) * | 1999-11-11 | 2004-09-14 | Canon Kabushiki Kaisha | Image processing method and apparatus, and storage medium |
-
2003
- 2003-04-30 JP JP2003125667A patent/JP4017112B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-30 US US10/837,446 patent/US7373007B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US7373007B2 (en) | 2008-05-13 |
| US20050015247A1 (en) | 2005-01-20 |
| JP2004336162A (ja) | 2004-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4017112B2 (ja) | 符号化データ生成装置及び方法、プログラム並びに情報記録媒体 | |
| JP3743384B2 (ja) | 画像符号化装置及び方法、並びに画像復号装置及び方法 | |
| JP4273996B2 (ja) | 画像符号化装置及び方法、並びに画像復号装置及び方法 | |
| US7483575B2 (en) | Picture encoding apparatus and method, program and recording medium | |
| Grgic et al. | Image compression using wavelets | |
| JP2001501783A (ja) | 適応ビット割当てとハイブリッド可逆エントロピー符号化を使用したデータ圧縮 | |
| WO2002051157A9 (en) | Adaptive transforms | |
| Kumar et al. | A review: DWT-DCT technique and arithmetic-Huffman coding based image compression | |
| JP4229323B2 (ja) | 符号化装置、符号化方法及びプログラム | |
| JP2004304656A (ja) | 画像圧縮装置、画像圧縮方法、プログラム及び記録媒体 | |
| Yadav et al. | A hybrid image compression technique for medical images | |
| JP4449400B2 (ja) | 画像符号化装置及び方法、並びにプログラム及び記録媒体 | |
| JP4003628B2 (ja) | 画像符号化装置及び方法、並びにプログラム | |
| Mohammed et al. | Efficient hybrid transform scheme for medical image compression | |
| JP4219303B2 (ja) | 符号化装置、符号化制御方法、プログラム及び記録媒体 | |
| Hussain et al. | A pixel based method for image compression | |
| Abdul-Wahed et al. | Compression of image using multi-wavelet techniques | |
| Rahman et al. | Efficient Image Compression Technique using JPEG2000 with Adaptive Threshold | |
| Raju et al. | Image compression using self organizing map and discrete wavelet transform with error correction | |
| JPH0965334A (ja) | 画像符号化装置および画像復号化装置 | |
| Tu et al. | A new compression algorithm for medical images using wavelet transform | |
| Humaidan | Image Compression Schemes Incorporating Modified Contrast Sensitivities of Human Visual System | |
| HARTAWAN et al. | HEXAGONAL IMAGE COMPRESSION BASED ON WAVELET-GLOBAL THRESHOLDING | |
| Rani et al. | A Study of Various Video Compression Techniques | |
| Thanoon | Using wavelet transform, DPCM and adaptive run-length coding to compress images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050707 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070913 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |