JP4189957B2 - 画像データ生成装置及び画像データ生成方法 - Google Patents
画像データ生成装置及び画像データ生成方法 Download PDFInfo
- Publication number
- JP4189957B2 JP4189957B2 JP2003065785A JP2003065785A JP4189957B2 JP 4189957 B2 JP4189957 B2 JP 4189957B2 JP 2003065785 A JP2003065785 A JP 2003065785A JP 2003065785 A JP2003065785 A JP 2003065785A JP 4189957 B2 JP4189957 B2 JP 4189957B2
- Authority
- JP
- Japan
- Prior art keywords
- wavelet
- inverse
- coefficient
- coefficients
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 114
- 230000009466 transformation Effects 0.000 claims description 41
- 238000000354 decomposition reaction Methods 0.000 claims description 38
- 230000001131 transforming effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 78
- 238000006243 chemical reaction Methods 0.000 description 62
- 235000019557 luminance Nutrition 0.000 description 38
- 238000010586 diagram Methods 0.000 description 36
- 238000001914 filtration Methods 0.000 description 31
- 238000013139 quantization Methods 0.000 description 19
- 230000002441 reversible effect Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000004040 coloring Methods 0.000 description 6
- 230000006837 decompression Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
Description
【０００１】
【発明の属する技術分野】
本発明は、原画像の縮小画像を生成するための画像データ生成装置に関する。
本発明は、そのアプリケーションプログラムや、プリンタドライバ等のデバイスドライバ、その他画像を扱う機器に応用可能である。
【０００２】
【従来の技術】
ＪＰＥＧ（Joint Photographic Coding Experts group）で採用されているＤＣＴ（離散コサイン変換）に代わる周波数変換として、近年ウェーブレット変換の採用が増加している。その代表例は、２００１年に国際標準になった、ＪＰＥＧ後継の画像圧縮伸長方式ＪＰＥＧ２０００である。
【０００３】
ウェーブレット変換の特徴は、高圧縮率時での画質に優れることと同時に、該変換が画像を複数の解像度成分に分解する性質を有し、原画像よりも低い解像度の画像を生成することにある。
【０００４】
しかしながら、従来から、原画像から低解像度画像を生成する際には次のような制限が課せられていた。従来の解像度変換を伴ったウェーブレット復号化では、その性質上、２のべき乗分の１でしか解像度を縮小することができない。これは、通常のウェーブレット変換が２分割フィルタバンクを用いていることに起因している。従って、復号化過程における合成フィルタバンクでは、２のべき乗分の１でしか低域成分を合成できないことになり、このため、復号画像の縮小率は２のべき乗分の１に制限されている。
【０００５】
一方で、原画像の解像度が大きくなると、２のべき乗分の１以外の解像度でデコードする要求も増えて来ると考えられる。すなわち、２のべき乗分の１だけでなくそれ以外も含む任意有理数の解像度でデコード（復号化）することができるようになれば、端末側の制約条件に左右されることが無くなるため、非常に用途が広まると考えられる。
【０００６】
この解像度変換に関し、特許文献１及び特許文献２（以下、順に従来技術１，従来技術２と呼ぶ）には、上述のごとき解像度変換の問題点を示した上で、変換方式にウェーブレット変換を用いて圧縮符号化がなされた画像信号を、端末側の制約条件に左右されること無く、任意有理数の解像度でデコード（復号化）可能とし、その結果として、例えば電子スチルカメラやプリンタ等で多用されている所謂サムネイル画像や原画像を解像度変換した画像（縮小又は拡大した画像）の記憶・表示を効率的に行えるようにし、各種の製品への使用用途を大幅に広げることを可能とする「ウェーブレット復号化装置及び方法」が記載されている。
【０００７】
従来技術１のウェーブレット復号化装置は、符号化ビットストリームをエントロピー復号化するエントロピー復号化部と、量子化係数を逆量子化して変換係数を送出する逆量子化部と、変換係数を所定の方法でスキャニングして変換係数を並び換える変換係数逆スキャニング部と、並び換えられた変換係数を逆変換して復号画像を供するウェーブレット逆変換部とを備え、ウェーブレット逆変換部は、解像度変換倍率に応じて変換係数の帯域制限を行う手段を有し、アップサンプラ、ダウンサンプラ、合成フィルタを適応的に配置する構成をもつことを特徴としている。
【０００８】
また、従来技術２のウェーブレット復号化装置は、符号化ビットストリームをエントロピー復号化するエントロピー復号化部と、量子化係数を逆量子化して変換係数を送出する逆量子化部と、変換係数を所定の方法でスキャニングして変換係数を並び換える変換係数逆スキャニング部と、並び換えられた変換係数を逆変換して復号画像を供するウェーブレット逆変換部とを備え、ウェーブレット逆変換部は、解像度変換倍率に応じてアップサンプラ、ダウンサンプラ、合成フィルタを適応的に配置する構成をもつことを特徴としている。
【０００９】
図３３は、従来技術２の公報に記載された、原画像の１／３の解像度を得る場合のウェーブレット逆変換部の構成を示す図である。帯域制限により、「原画像の１／３の解像度」よりも高い解像度成分１１１，１１２の係数は用いないが、低い解像度成分の係数（出力１２３）に対しては、全て逆変換を施して原画像の１／２の解像度の画像（信号１１４）を得、さらに逆変換を施して原画像と同じ解像度の画像（信号１１７）までもを得、最後にダウンサンプラ１３４によって１／３に間引き、所望の画像（信号１１８）を得ている。なお、図３３において１０９はＬＬＬ信号、１１０はＬＬＨ信号、１１１はＬＨ信号、１１２はＨ信号、１１９，１２１，１２４，１２６，１２９，１３１は２倍のアップサンプラ、１２０，１２５，１３０は合成用ローパスフィルタ、１２２，１２７，１３２は合成用ハイパスフィルタであり、従来技術２の発明では破線で示す構成要素を必要としない。
【特許文献１】
特開２０００−１２５２９３号公報
【特許文献２】
特開２０００−１２５２９４号公報
【００１０】
【発明が解決しようとする課題】
従来技術１及び従来技術２のいずれの発明においても、「適応的に配置する構成」の意味するところが不明確であるが、それらの発明の実施の形態においては、帯域制限後逆ウェーブレット変換を行って復号画像を得た後、最終段にダウンサンプラを配置して、その復号画像を間引くことで縮小画像を生成している。かかる構成では、最終的には除かれてしまう画素をも逆ウェーブレット変換を施して復号せざるを得ず、効率的ではない。
【００１１】
なお、その他の発明としては、本出願人による特願２０００−３４４３９１号，２０００−３４４１５５号，２００１−１９５９３７号，２００１−１４２９４２号に記載の変換符号の画像伸張方法（装置）が挙げられるが、これらの発明では、まず所望のサイズに近い解像度レベルまでのウェーブレット係数を取り出し、逆ウェーブレット変換を行って復号画像を生成した後、変倍処理を加えて所望のサイズの画像を得ることを特徴としている。これらの発明においては変倍処理が必要となる。
【００１２】
本発明は、上述のごとき実状に鑑みてなされたものであり、ウェーブレット係数が本来画素位置との対応関係を有するものであることに着目し、ウェーブレット係数と画素位置との対応関係を利用して、最終的に得たい画素に関係する係数のみに対して逆ウェーブレット変換を施すことにより、より少ない処理量で、所望解像度の復号画像データ、すなわち所望の縮小画像データの生成が可能な、画像データ生成装置を提供することをその目的とする。
【００１３】
また、従来技術１及び従来技術２の発明におけるウェーブレット係数に帯域制限を設ける手法は、高速化にある程度有効であるが、エントロピー復号化部で、帯域制限にかからないウェーブレット係数の符号を全て復号する構成を前提としており、効率的とはいえない。
【００１４】
本発明は、ウェーブレット係数の符号の部分的復号を適時実行することにより、復号速度と復号画質のバランスをとりながら、所望解像度の復号画像データ（所望の縮小画像データ）の生成が可能な、画像データ生成装置を提供することを他の目的とする。
【００１５】
【課題を解決するための手段】
請求項１の発明は、ウェーブレット係数を逆ウェーブレット変換する逆ウェーブレット変換手段を有し、原画像を縮小した縮小画像のデータを生成する画像データ生成装置において、同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数（ただし、当該逆ウェーブレット変換を行うウェーブレット係数は、同一サブバンドに含まれる全てのウェーブレット係数ではなく、かつ、１つ以上のウェーブレット係数である）を選択する係数選択手段を有し、前記逆ウェーブレット変換手段は、前記同一サブバンド中のウェーブレット係数に関しては、前記係数選択手段で選択されたウェーブレット係数のみを逆ウェーブレット変換することを特徴としたものである。
【００１６】
請求項２の発明は、請求項１の発明において、前記係数選択手段は、少なくとも前記生成する縮小画像の画素に関係するウェーブレット係数の全てを選択する手段を有することを特徴としたものである。
【００１７】
請求項３の発明は、請求項１の発明において、前記係数選択手段は、前記生成する縮小画像の画素に関係するウェーブレット係数のみを選択する手段を有することを特徴としたものである。
【００１８】
請求項４の発明は、請求項２の発明において、前記係数選択手段は、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記生成する縮小画像の画素位置に当たるウェーブレット係数を含み、前記逆ウェーブレット変換のうち最後に施される方向の直線上に位置するウェーブレット係数を、全て選択する手段を有することを特徴としたものである。
【００１９】
請求項５の発明は、請求項２の発明において、前記逆ウェーブレット変換は２次元でなされるものとし、前記係数選択手段は、前記逆ウェーブレット変換のうち最初に施される方向の逆変換に係わる選択を行う際には、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記生成する縮小画像の画素位置に当たるウェーブレット係数及び該画素位置を前記逆変換で求めるのに必要な画素位置に当たる係数を含み、前記逆ウェーブレット変換のうち最初に施される方向に垂直な直線上に位置するウェーブレット係数を、全て選択する手段を有することを特徴としたものである。
【００２０】
請求項６の発明は、請求項１乃至５のいずれか１の発明において、前記係数選択手段は、前記生成すべき縮小画像に満たない範囲で最大の解像度を有するＬＬサブバンドを逆ウェーブレット変換して求めるよう、該ＬＬサブバンドのデコンポジションレベルより高い同一デコンポジションレベルのサブバンド中のウェーブレット係数を全て選択する手段を有することを特徴としたものである。
【００２１】
請求項７の発明は、請求項１乃至６のいずれか１の発明において、前記逆ウェーブレット変換のタップ長がハイパスフィルタとローパスフィルタで異なるものとし、ｄを前記逆ウェーブレット変換の次元数、ｎを縮小画像の画素数、Ｔｌｏｗをローパスフィルタのタップ長、Ｔｈｉｇｈをハイパスフィルタのタップ長として、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を「ｄ・ｎ（Ｔｌｏｗ＋Ｔｈｉｇｈ）／２」未満としたことを特徴としたものである。
【００２２】
請求項８の発明は、請求項１乃至７のいずれか１の発明において、前記逆ウェーブレット変換は、複数のコンポーネント毎に施し、且つ少なくとも１つのコンポーネントに対し他のコンポーネントと解像度を異ならして施すことを特徴としたものである。
【００２９】
請求項９の発明は、ウェーブレット係数を逆ウェーブレット変換する逆ウェーブレット変換ステップを有し、原画像を縮小した縮小画像のデータを生成する画像データ生成方法において、同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数（ただし、当該逆ウェーブレット変換を行うウェーブレット係数は、同一サブバンドに含まれる全てのウェーブレット係数ではなく、かつ、１つ以上のウェーブレット係数である）を選択する係数選択ステップを有し、前記逆ウェーブレット変換ステップは、前記同一サブバンド中のウェーブレット係数に関しては、前記係数選択ステップで選択されたウェーブレット係数のみを逆ウェーブレット変換することを特徴としたものである。
【００３０】
請求項１０の発明は、請求項９の発明において、前記係数選択ステップは、少なくとも前記生成する縮小画像の画素に関係するウェーブレット係数の全てを選択するステップを有することを特徴としたものである。
【００３１】
請求項１１の発明は、請求項９の発明において、前記係数選択ステップは、前記生成する縮小画像の画素に関係するウェーブレット係数のみを選択するステップを有することを特徴としたものである。
【００３２】
請求項１２の発明は、請求項１０の発明において、前記係数選択ステップは、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記生成する縮小画像の画素位置に当たるウェーブレット係数を含み、前記逆ウェーブレット変換のうち最後に施される方向の直線上に位置するウェーブレット係数を、全て選択するステップを有することを特徴としたものである。
【００３３】
請求項１３の発明は、請求項１０の発明において、前記逆ウェーブレット変換は２次元でなされるものとし、前記係数選択ステップは、前記逆ウェーブレット変換のうち最初に施される方向の逆変換に係わる選択を行う際には、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記生成する縮小画像の画素位置に当たるウェーブレット係数及び該画素位置を前記逆変換で求めるのに必要な画素位置に当たる係数を含み、前記逆ウェーブレット変換のうち最初に施される方向に垂直な直線上に位置するウェーブレット係数を、全て選択するステップを有することを特徴としたものである。
【００３４】
請求項１４の発明は、請求項９乃至１３のいずれか１の発明において、前記係数選択ステップは、前記生成すべき縮小画像に満たない範囲で最大の解像度を有するＬＬサブバンドを逆ウェーブレット変換して求めるよう、該ＬＬサブバンドのデコンポジションレベルより高い同一デコンポジションレベルのサブバンド中のウェーブレット係数を全て選択するステップを有することを特徴としたものである。
【００３５】
請求項１５の発明は、請求項９乃至１４のいずれか１の発明において、前記逆ウェーブレット変換のタップ長がハイパスフィルタとローパスフィルタで異なるものとし、ｄを前記逆ウェーブレット変換の次元数、ｎを縮小画像の画素数、Ｔｌｏｗをローパスフィルタのタップ長、Ｔｈｉｇｈをハイパスフィルタのタップ長として、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を、「ｄ・ｎ（Ｔｌｏｗ＋Ｔｈｉｇｈ）／２」未満としたことを特徴としたものである。
【００３６】
請求項１６の発明は、請求項９乃至１５のいずれか１の発明において、前記逆ウェーブレット変換は、複数のコンポーネント毎に施し、且つ少なくとも１つのコンポーネントに対し他のコンポーネントと解像度を異ならして施すことを特徴としたものである。
【００４３】
【発明の実施の形態】
本発明に関し、ウェーブレット係数が画素位置との対応関係を有することに着目し、最終的に得たい画素に関係する係数のみに対して逆ウェーブレット変換を施すことにより、より少ない処理量で所望解像度の復号画像が生成可能である理由について説明する。
【００４４】
図１乃至図４は、１６×１６のモノクロの画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を２次元（垂直方向及び水平方向）で施す過程の例を説明するための図である。図１は原画像と座標系を、図２は垂直方向へのフィルタリング後の係数の配列を、図３は水平方向へのフィルタリング後の係数の配列を、図４は並べ替えた係数の配列を、それぞれ示す図である。なお、ＪＰＥＧ２０００で規定されているウェーブレット変換には、５×３ウェーブレット変換及び９×７ウェーブレット変換の２種類があり、ウェーブレット変換に関し５×３ウェーブレット変換のみを例として説明するが、９×７ウェーブレット変換や他のウェーブレット変換にも適用可能である。
【００４５】
図１に示すように、画像１の左上端に原点とし、水平方向をＸ軸、垂直方向をＹ軸とするＸＹ座標をとり、あるＸ座標値ｘについて、Ｙ座標がｙである画素の画素値をＰ（ｙ）（０≦ｙ≦１５）と表す。ＪＰＥＧ２０００では、まず垂直方向（Ｙ軸正方向）に、ｙが奇数（ｙ＝２ｉ＋１）の画素を中心にハイパスフィルタを施して係数Ｃ（２ｉ＋１）を得、次にｙが偶数（ｙ＝２ｉ）の画素を中心にローパスフィルタを施して係数Ｃ（２ｉ）を得る（これを全てのｘについて行う）。ここで、ハイパスフィルタ，ローパスフィルタは、順に次式（１），（２）で表される。ここで、記号|_ｘ_|はｘのフロア関数（実数ｘを、ｘを越えず且つｘに最も近い整数に置換する関数）を示している。なお、画像の端部においては、中心となる画素に対して隣接画素が存在しないことがあり、この場合は所定ルールによって適宜画素値を補うことになるが、本発明の本質とは関係しないため詳述しない。
【００４６】
C(2i+1)=P(2i+1)-|_(P(2i)+P(2i+2))/2_| …（１）
C(2i)=P(2i)+|_(C(2i-1)+C(2i+1)+2)/4_| …（２）
【００４７】
簡単のため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬと表記すると、前述の垂直方向の変換によって図１の画像の係数配列１は図２のようなＬ係数，Ｈ係数の配列２へと変換される。
【００４８】
続いて、今度は図２の係数配列２に対して、水平方向に、ｘが奇数（ｘ＝２ｉ＋１）の係数を中心にハイパスフィルタを施し、次にｘが偶数（ｘ＝２ｉ）の係数を中心にローパスフィルタを施す（これを全てのｙについて行う）。この場合、上式（１），（２）のＰ（２ｉ）等は係数値を表すものと読み替える。
【００４９】
簡単のため、
前記Ｌ係数を中心にローパスフィルタを施して得られる係数をＬＬ、
前記Ｌ係数を中心にハイパスフィルタを施して得られる係数をＨＬ、
前記Ｈ係数を中心にローパスフィルタを施して得られる係数をＬＨ、
前記Ｈ係数を中心にハイパスフィルタを施して得られる係数をＨＨ、
と表記すると、図２の係数配列２は、図３に示すような係数配列３へと変換される。ここで同一の記号（ＬＬ等）を付した係数群はサブバンドと呼ばれ、図３は４つのサブバンドで構成される。
【００５０】
以上で、１回のウェーブレット変換（１回のデコンポジション（分解））が終了する。ここで上述のＬＬ係数だけを集める、すなわち図４に示す係数配列４のようにサブバンド毎（ＬＬサブバンド４１，ＨＬサブバンド４２，ＬＨサブバンド４３，ＨＨサブバンド４４）に集めＬＬサブバンド４１だけ取り出すと、ちょうど原画像の１／２の解像度の”画像”が得られる。なお、このように、サブバンド毎に分類することをデインターリーブと呼び、図３のような状態に配置することを、インターリーブすると表現する。なお、前述した従来技術においてはこれを「スキャニングして並べ換える」と表現している。また、２回目のウェーブレット変換は、そのＬＬサブバンド（例えばＬＬサブバ４１）を原画像と見なして、上述と同様の変換を行えばよい。この場合、並べ替えを行うと、図５に示す模式的な係数配列５（ＬＬサブバンド５１，ＨＬサブバンド５２，ＬＨサブバンド５３，ＨＨサブバンド５４，ＨＬサブバンド４２，ＬＨサブバンド４３，ＨＨサブバンド４４）が得られる。図５の場合、２ＬＬ〜１ＨＨまで、計７種類のサブバンドが存在する。なお、図４及び図５における係数の接頭の１や２は、何回のウェーブレット変換でその係数が得られたかを示しており、デコンポジションレベルと呼ばれる。図３３中のレベルは、デコンポジションレベルのことであり、デコンポジションレベルが高いサブバンドほど、解像度が低いことになる。
なお、以上の議論において、１次元のみのウェーブレット変換をしたい場合には、いずれかの方向だけの処理を行えばよい。
【００５１】
一方、ウェーブレット逆変換は、図３に示すようなインターリーブされた係数の配列３に対して、まず水平方向に、ｘが偶数（ｘ＝２ｉ）の係数を中心に逆ローパスフィルタを施し、次にｘが奇数（ｘ＝２ｉ＋１）の係数を中心に逆ハイパスフィルタを施す（これを全てのｙについて行う）。ここで逆ローパスフィルタ、逆ハイパスフィルタは、順に次式（３），（４）で表される。先と同様、画像の端部においては、中心となる係数に対して隣接係数が存在しないことがあり、この場合は所定ルールによって適宜係数値を補うことになるが、本発明の本質とは関係しないため詳述しない。
【００５２】
P(2i)=C(2i)-|_(C(2i-1)+C(2i+1)+2)/4_| …（３）
P(2i+1)=C(2i+1)+|_(P(2i)+P(2i+2))/2_| …（４）
【００５３】
これにより、図３の係数配列３は図２のような係数配列２に変換、すなわち逆変換される。続いて同様に、垂直方向に、ｙが偶数（ｙ＝２ｉ）の係数を中心に逆ローパスフィルタを施し、次にｙが奇数（ｙ＝２ｉ＋１）の係数を中心に逆ハイパスフィルタを施せば（これを全てのｘについて行う）、１回のウェーブレット逆変換が終了し、図１の画像の係数配列１に戻る、すなわち再構成されることになる。なお、ウェーブレット変換が複数回施されている場合は、やはり図１をＬＬサブバンドとみなし、ＨＬ等の他の係数を利用して同様の逆変換を繰り返せばよい。なお、ウェーブレット変換及び逆ウェーブレット変換によって、各サブバンドが生成される様子及び再構成される様子については後述する（図９参照）。
【００５４】
ここで、逆ローパスフィルタの結果が「フィルタ中心の係数（すなわちフィルタリングしたい係数）」を含めた３つの係数から求められること、及び、逆ハイパスフィルタの結果が「フィルタ中心の係数」と「隣接する２つの逆ローパスフィルタの結果」から求められることが理解できる。後者に関し、２つの逆ローパスフィルタの結果はフィルタ中心の係数を含む５つの係数から計算されるため、結局は５つの係数から求められることとなる。これらの理解から明らかなように、１つの画素を得るためには、その画素を中心とした逆ウェーブレット変換をすればよく、その逆変換に関係しない他の画素に対してまで逆変換を施す必要はない。したがって、逆変換によって、間引かれる画素までも求めるのではなく、同一サブバンド中の係数のうち、最終的に得たい画素を求めるのに必要な係数だけを用いて逆ウェーブレット変換を施すことにより、より少ない処理量で所望解像度の復号画像の生成が可能なのである。
【００５５】
図６は、本発明の一実施形態に係る画像データ生成装置の構成を説明するための図である。
本実施形態に係る画像データ生成装置１０は、原画像（原画像に色変換やその他の変換を行った後の画像も該当する）をもとに１又は複数回ウェーブレット変換を施すことにより得られたウェーブレット係数を、逆ウェーブレット変換する逆ウェーブレット変換手段１１を有し、原画像を縮小した縮小画像のデータを生成する装置であり、係数選択手段１２を有するものとする。
【００５６】
係数選択手段１２では、同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数を選択する。ここで、選択前のウェーブレット係数の全体は、換言すると１つのＬＬサブバンド（原画像データの場合も含む；このＬＬサブバンドよりデコンポジションレベルが１つ高い４つのサブバンドともいえる）内のウェーブレット係数の全体であるとも云える。ただし、ここでの選択は従来技術のように例えば２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨを選択するが１ＨＬ，１ＬＨ，１ＨＨは選択しない（つまり逆変換しない）、といった選択ではない。実際には、後述するように選択前の係数はインターリーブされたものである方が選択処理が簡単になる。逆ウェーブレット変換手段１１は、上述の同一サブバンド中のウェーブレット係数に関しては、係数選択手段１２で選択されたウェーブレット係数のみを逆ウェーブレット変換する。この逆ウェーブレット変換により縮小画像のデータを生成することとなる。なお、例えば本発明の選択的逆変換を利用して２ＬＬサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨサブバンド）内の係数から選択した係数を逆変換するのであれば、その前処理で必要に応じて求めるべき３ＬＬサブバンド（４ＬＬ，４ＨＬ，４ＬＨ，４ＨＨサブバンドからなり、係数選択手段１２を経ずに処理させるもの）内の係数など、その他の処理（前処理等）に係わるウェーブレット係数を、逆ウェーブレット変換手段１１で逆変換してもよいことは言及するまでもない。本実施形態に係る画像データ生成装置１０は、上述したように、同一（１つ）のサブバンド（ただし原画像全体もサブバンドとみなす場合も含む）中の係数を選択的に逆ウェーブレット変換する手段を有するとも云える。なお、本明細書中においては、逆ウェーブレット変換手段１１により逆変換する係数をウェーブレット係数又は単に係数と呼ぶこととし、逆変換後、再度逆変換する係数をもウェーブレット係数又は係数と呼ぶこととする。２次元の逆ウェーブレット変換であれば、両方向への逆変換を施す係数や、さらには一方向への逆変換を施す係数をもウェーブレット係数又は係数と呼ぶこととする。
【００５７】
図７は、図１の原画像を５×３ウェーブレット変換した後の全ての係数を、逆ウェーブレット変換することにより生成された１６×１６画像を示す図である。今、原画サイズを１６画素×１６画素とし、前述した従来技術１，２の実施例のように、この原画像から縦横１／３のサイズの画像（１６は３で割り切れないため、５×５画素の画像）を生成することを考える。図７は、全ての係数を逆変換（水平方向，垂直方向の順とする）することによって生成した１６×１６の画像の係数配列の様子（図１と同じもの）を示しているが、５×５の画像を生成するためには、図７中の係数のうち下線を引いた５×５画素を中心とした逆ウェーブレット変換だけを行えばよい。本例では、５×３変換を採用しており、垂直方向の逆ハイパスフィルタが「フィルタ中心の係数」と「隣接する２つの逆ローパスフィルタの結果」から求められることから、最終的に図７で色付けした４５画素分だけの逆変換（垂直方向）をすれば足りることになる。これは、全画像の１８％未満の画素だけを選択し、逆変換時の垂直方向へのフィルタリングにより２５画素の係数を求めればよいことを意味する。なお、ここで色付けして示した４５画素は、垂直方向の逆変換前には図７に示した係数値を持たず、図７で例示した各画素位置における係数値はあくまで逆ウェーブレット変換後（水平及び垂直方向）の値である。本実施形態によれば、少ない計算量で縮小画像を生成することが可能となる。
【００５８】
本発明の他の実施形態として、係数選択手段１２は、少なくとも生成する（最終的に得たい）縮小画像の画素に関係するウェーブレット係数の全てを選択する手段を有するようにしてもよい。さらに他の実施形態として、係数選択手段１２は、生成する（最終的に得たい）縮小画像の画素に関係するウェーブレット係数のみを選択する手段を有するようにしてもよい。すなわち、最終的に得たい縮小画像の画素に関係する係数のみに対して逆ウェーブレット変換を施すようにしてもよい。ここで「関係」とはウェーブレット変換の性質による関係などを指し、その例としては上式（１）〜（４）により導かれる関係（図７の下線画素に対する色付け画素など）が挙げられる。本実施形態によれば、最も少ない計算量で縮小画像を生成することが可能となる。
【００５９】
なお、ここで確認しておきたいのは、最終的に得たい縮小画像の画素に関係する係数のみに対して逆ウェーブレット変換を施した場合、最終的に得られる画像は、全てのウェーブレット係数を逆変換して得られた画像に間引きを加えて生成した縮小画像と数学的に等価なものであるということである。ウェーブレット係数自体を間引き、該間引いた係数に対して逆ウェーブレット変換を施した場合、サイズとしては同じ縮小画像が得られることにはなる。しかし、係数自体を間引いてしまった場合には、正変換で得られた係数とは異なる係数を用いて逆変換を行うことになるため、得られた縮小画像は、もはや数学的な根拠を失ったものとなるのである。
一方本発明の場合は、数学的に根拠のある、全く等価な画像が得られるのである。
【００６０】
なお、上述のごとく、図７の下線の２５画素を求めるためには、逆変換時の垂直方向のフィルタリングが終わった状態の係数として、その２５画素の他に、色付けで示すその周辺の画素をも求めておく必要がある。当該画素が、この「周辺の画素」に相当するか否かを判断するのが煩雑な場合は、下線の画素を含む垂直方向の直線上に位置する画素を全て求めてしまい、その後必要に応じて画素を間引く構成も考えられる。ここで「必要に応じて」と述べたのは、原画像とは縦横比が異なる縮小画像を要求された場合には、間引きの必要がない場合もあるからである。
【００６１】
したがって、本発明の他の実施形態として、生成したい縮小画像の画素位置に当たる係数を含んだ一方向（逆ウェーブレット変換のうち最後に逆変換が施される方向）の直線上に位置する係数を全て求めるようにしてもよい。本実施形態における係数選択手段１２は、上述の同一サブバンド中のウェーブレット係数（インターリーブされた状態）のうち、生成したい縮小画像の画素位置に当たるウェーブレット係数を含み、逆ウェーブレット変換のうち最後に施される方向（上述の例では垂直方向）の直線上に位置するウェーブレット係数を全て選択する手段を有するようにする。このような選択により、これらのウェーブレット係数全てが逆ウェーブレット変換手段１１で逆変換され、その逆変換の結果として、生成したい縮小画像の画素位置の係数を含む上述の直線上に位置する係数が全て求まることとなる。求まった係数全てからなる画素群から、上述のごとく必要に応じて間引き処理を施すことにより、所望の縮小画像が生成される。本実施形態によれば、縮小画像生成に際し、実装を簡易にすることが可能となる。
【００６２】
ここまでは、最後に施す方向の逆変換時における係数選択について説明した。
次に、逆変換を二次元で行う場合に、最初に施す方向の逆変換時における係数選択について説明する。
【００６３】
図８は、図１の原画像を５×３ウェーブレット変換した後の全ての係数に対し、逆変換時の水平方向のフィルタリングを施すことにより生成された１６×１６画像を示す図である。図８中の係数配列７は図２に相当するものとなる。
図７の色付け画素位置の係数を求めるためには、逆変換時の水平方向のフィルタリング前の状態の係数として、図８に示す色付け部分の画素が選択されている必要がある。選択された係数は、その後、水平方向の逆変換を施されるため、図７の色付け画素位置の係数を求めるためには、図８に示す色付け部分の係数が逆変換される必要がある。なお、ここで色付けして示した１２６画素は、水平方向の逆変換前には図８に示した係数値を持たず、図８で例示した各画素位置における係数値はあくまで逆変換時の水平方向のフィルタリング後の値である。先と同様、図８の例においても「周辺の画素」を判定しない方が、実装上簡易な場合もある。
【００６４】
したがって、本発明の他の実施形態として、逆ウェーブレット変換は２次元でなされるものとし、縮小画像の画素位置とその位置に係わる位置に当たる係数にを含み、該逆変換のうち最初に施される方向に垂直な直線上に位置する係数を全て求めるようにしてもよい。本実施形態における係数選択手段１２は、上述の同一サブバンド中のウェーブレット係数（インターリーブされた状態）のうち、逆ウェーブレット変換のうち最初に施される方向（上述の例では水平方向）の逆変換に係わる選択を行う際には、生成する縮小画像の画素位置に当たる係数及び該画素位置をその逆変換で求めるのに必要な画素位置に当たる係数を含み、その逆変換のうち最初に施される方向に垂直な直線上に位置する全てのウェーブレット係数を選択する手段を有するようにする。この手段を利用した結果、選択された係数に対し最初の方向の逆変換を実施し、他の方向の逆変換及び必要に応じて間引き処理を施すことにより生成したい縮小画像の画素位置の係数を求めるようにしている。本実施形態によれば、縮小画像生成に際し、実装を簡易にすることが可能となる。
【００６５】
なお、従来技術２における図３３においては、原画像と同じ解像度の画像を生成してからこれを１／３に間引いている。しかし、本来は、原画像の１／２の解像度の画像を元に、１／３の画像を求める方が高速である。図９は、本発明を利用して解像度１／３の画像を生成する場合の構成を、ウェーブレット変換・逆ウェーブレット変換の流れに沿って示したものである。解像度１／３の画像を生成する場合には、１／４の解像度、すなわち求める解像度よりも小さな解像度のＬＬ係数（２ＬＬ）を逆ウェーブレット変換で求めればよく、そして求めた２ＬＬの係数を（２ＨＬ，２ＬＨ，２ＨＨサブバンドの係数を利用して）、選択的に逆ウェーブレット変換を行うことにより、最終的に１／３の解像度の画像を得ることができる。
【００６６】
したがって、本発明の他の実施形態として、直近の解像度までは全係数逆変換するようにしてもよい。すなわち、本実施形態における係数選択手段１２は、生成すべき縮小画像に満たない範囲で最大の解像度を有するＬＬサブバンドを逆ウェーブレット変換して求めるために、そのＬＬサブバンドのデコンポジションレベルより高い同一デコンポジションレベルのサブバンド中のウェーブレット係数を全て選択する手段を有するものとする。
【００６７】
なお、図７の網掛け部の通り、先の５×３逆変換では、最終的に求めたい下線で示す画素が奇数位置にあるか偶数位置にあるかで、求めるべき隣接画素の数が異なる。これは、先に述べたとおり、ローパスフィルタとハイパスフィルタのタップ長の違いに由来するものである。よってこの場合、最終的に求めたい画素が、なるべく偶数位置にくるように選べば、求めるべき隣接画素の数を最小にでき、処理を高速にできる。最終的に求めたい画素が偶数位置にくるように選ぶには、最終的に求めたい画素群の頂点の画素、図７でいう値−３の画素を偶数位置にすればよい。また、下線で示す画素群を格子状に規則的に配置しない方法もある。
【００６８】
よって、本発明の他の実施形態として、フィルタのタップ長の総和が短くなるような位置にある画素の係数を選択するようにしてもよい。図７において、ｘ，ｙともに偶数座標であるような位置を選択した場合，逆変換時のフィルタのタップ長は、一方向あたりＴｌｏｗで最小となる。逆に、ｘ，ｙともに奇数座標であるような位置を選択した場合、逆変換時のフィルタのタップ長は一方向あたりＴｈｉｇｈで最大となる。従って、演算量を減らしたい場合には、平均的に、一方向あたりのフィルタのタップ長がこれらの平均値未満、すなわち「（Ｔｈｉｇｈ＋Ｔｌｏｗ）／２」未満となるように座標を選択してやるのが効果的である。本実施形態では、逆ウェーブレット変換のタップ長がハイパスフィルタとローパスフィルタで異なるものとし、ｄを逆ウェーブレット変換の次元数、ｎを縮小画像の画素数、Ｔｌｏｗをローパスフィルタのタップ長、Ｔｈｉｇｈをハイパスフィルタのタップ長として、上述の同一サブバンド中のウェーブレット係数（インターリーブされた状態）のうち、生成縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を「ｄ・ｎ（Ｔｌｏｗ＋Ｔｈｉｇｈ）／２」未満とする。本実施形態によれば、逆ウェーブレット変換での縮小画像生成に際し、高速な処理を実現することが可能となる。逆ウェーブレット変換が２次元の場合には、同一（１つの）サブバンド中の係数を選択的に逆変換するステップと、その変換のタップ長がハイパスフィルタとローパスフィルタで異なり、インターリーブされた状態の係数のうち、縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を、ｎ（Ｔｌｏｗ＋Ｔｈｉｇｈ）未満とするステップを備えていればよいこととなる。２次元逆ウェーブレット変換での縮小画像生成に際しても、高速な処理を実現することが可能となる。
【００６９】
上述した各実施形態を適時に利用することにより、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨのサブバンドに分割されたウェーブレット係数から、原画像の１／３の解像度をもつ縮小画像を生成する場合には、本発明の選択的逆変換を適用した主たるものとして、次の（１）〜（３）の処理手順が実行可能となる。なお、例えば２次元のウェーブレット係数に対しては水平方向，垂直方向の逆変換処理で、本発明の選択的逆変換を適用するか否かを異ならせてもよい。
【００７０】
（１）２ＬＬサブバンドの係数、すなわちデコンポジションレベル３の４つのサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）の係数に対し、従来の、すなわち本発明の選択的逆変換を用いない逆ウェーブレット変換（換言すると全ての係数を選択した変換）を施し、２ＬＬを求め、１ＬＬサブバンドの係数、すなわちデコンポジションレベル２の４つのサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）の係数をインターリーブした状態で選択的に逆ウェーブレット変換し、変換後の係数を取り出すことで縮小画像を得る。
（２）２ＬＬサブバンドの係数、すなわちデコンポジションレベル３の４つのサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）の係数から、インターリーブした状態で、２回の逆変換を加味して係数を選択し、２回の逆ウェーブレット変換を施し（２ＨＬ，２ＬＨ，２ＨＨの係数も利用）、変換後の係数を取り出すことで縮小画像を得る。
（３）上記（１），（２）において、係数の選択を簡略化し、変換後に不要に残った係数を間引きし、縮小画像を得る。
【００７１】
さて、原画像が例えばＲＧＢという３コンポーネントからなるカラー画像であって、その画像に圧縮を施す場合、圧縮率をあげるために、ＲＧＢに色変換を施して１つの輝度と２つの色差の３つの新たなコンポーネントに変換し、変換後のコンポーネントに対して個々にウェーブレット変換を施すのが通常である。
【００７２】
先のＪＰＥＧ２０００で採用されている色変換の例としては、ＲＣＴ(reversible Component Transform)と呼ばれる下記変換がある。
輝度Ｙ＝|_（Ｒ＋２Ｇ＋Ｂ）／４_|
色差Ｕ＝Ｒ−Ｇ
色差Ｖ＝Ｂ−Ｇ …（５）
であり、その逆変換は、
Ｒ＝Ｇ＋Ｕ
Ｇ＝Ｙ−|_（Ｕ＋Ｖ）／４_|
Ｂ＝Ｖ＋Ｇ …（６）
となる。
【００７３】
図１０は、本発明の他の実施形態に係る画像データ生成装置を説明するためのブロック図で、ＪＰＥＧ２０００におけるＤＷＴ方式の画像圧縮／伸張アルゴリズムを説明するための図である。
ＪＰＥＧ２０００は、２００１年に国際標準になったＪＰＥＧ後継の画像圧縮伸張方式であり、図１０のように、２次元ウェーブレット変換・逆変換部２２、量子化・逆量子化部２３、エントロピー符号化・復号化部２４等で構成されている。このうち本発明に関する部分は、２次元ウェーブレット逆変換部（本明細書中では主に逆ウェーブレット変換手段として説明）である。色空間変換・逆変換部（色変換・逆変換部）２１からの入力又は色空間変換・逆変換部２１への出力として、さらにはタグ処理部２５からの入力又はタグ処理部２５への出力として、２次元ウェーブレット変換・逆変換部２２，量子化・逆量子化部２３，エントロピー符号化・復号化部２４のそれぞれが備えられている。各部は正逆方向で別構成としても良いことは言及するまでもないが、各部における処理はコンポーネント毎に実行するような構成としてもよい。図１０に示すＪＰＥＧ２０００での圧縮・伸張の処理としては、伸張時には、エントロピー復号、逆量子化を経て得られたコンポーネント毎のウェーブレット係数に対して、逆ウェーブレット変換が施され、その後逆色変換がなされてＲＧＢの画素値に戻るといった流れになる。
【００７４】
ここで、各コンポーネントが及ぼす画質への影響を考えた場合、一般に輝度による影響の方が色差による影響よりも大きいことから、図１０の量子化過程においては、輝度よりも色差の方をより量子化するのが通常である。これを縮小画像の生成に適用し、輝度に比べ、色差の解像度を低く抑えて逆変換し、その分色差成分は（仮想的に）補間する等して逆色変換を行えば、画質への影響を抑えながら、縮小画像の生成を高速に行うことが可能である。また、画質への影響度はＵとＶの例でも全く等しくはない。画像の色合いによって、常に成立するとは限らないが、例えば本発明者の理論計算ではＵの方がＶより影響が少ない結果が得られていることから、色差間で解像度を変えることも可能である。
【００７５】
したがって、本発明の他の実施形態として、複数のコンポーネントのウェーブレット係数を逆ウェーブレット変換し、原画像の縮小画像を生成する装置において、コンポーネントを異なる解像度まで逆変換する手段を有するようにし、コンポーネントごとに逆変換する解像度を変えるようにしてもよい。すなわち、コンポーネント間の解像度に差を設けたウェーブレット逆変換を施すようにしてもよい。本実施形態に係る画像データ生成装置は、複数のコンポーネントのウェーブレット係数を逆ウェーブレット変換する逆ウェーブレット変換手段を有し、原画像を縮小した縮小画像のデータを生成する装置であり、この逆ウェーブレット変換手段は、逆ウェーブレット変換を、複数のコンポーネントのそれぞれ毎に施し、且つ少なくとも１つのコンポーネントに対し他のコンポーネントと解像度を異ならして施すようにする。本実施形態によれば、複数のコンポーネントからなる縮小画像を、コンポーネント間の特性を利用して処理量を低減させ、高速に生成することが可能となる。
また、上述した選択的逆変換に係わる各実施形態の画像データ生成装置に、本実施形態の特徴部分を併せて適用すると、更なる高速化や実装の簡易化が可能である。
【００７６】
また、他の実施形態として、複数のコンポーネントのウェーブレット係数輝度成分及び色差成分の各々について、上述の解像度に満たない範囲で最大の解像度を有するＬＬサブバンドの係数を求めるようにしてもよい。本実施形態によれば、複数のコンポーネントからなる縮小画像を、より高速にかつ簡易に生成することが可能となる。
【００７７】
また、本発明の他の実施形態に係る画像データ生成装置においては、上述のコンポーネントが輝度成分及び色差成分であり、輝度成分を、色差成分よりも高い解像度まで逆変換するようにする。結果として色差は低解像度となる。本実施形態によれば、輝度，色差のコンポーネントからなる縮小画像を、画質への影響を抑えながら処理量を低減させ、より高速に生成することが可能となる。
【００７８】
また、他の実施形態として、上述のコンポーネントが２つの色差成分を有するものとし、この２つの色差成分を異なる解像度まで逆変換するようにしてもよい。本実施形態によれば、複数のコンポーネントからなる縮小画像を、色差成分間の特性を利用して色差の一方をさらに低解像度とすることで、より高速に生成することが可能となる。
【００７９】
また、他の実施形態として、色差成分の解像度を、輝度成分の解像度の１／２としてもよい。これは、ちょうど色差を輝度の１／４にサブサンプリングすることに相当し、一般に画質と処理速度のバランスにすぐれた組合せである。本実施形態によれば、複数のコンポーネントからなる縮小画像を、画質と処理速度のバランスのとれた状態で生成することが可能となる。
【００８０】
以上、本発明の画像データ生成装置を中心に各実施形態を説明してきたが、本発明は、それらの装置における処理ステップからなる画像データ生成方法としても、或いは、コンピュータをそれら装置として又はそれらの装置の各手段として機能させるための、又はコンピュータにそれら方法を実行させるためのプログラム（それらの処理内容が実装されているコンピュータプログラム）としても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（それらの処理内容が記録されているコンピュータ読み取り可能な情報記録媒体）としての形態も可能である。後述する実施例からも明らかなように、この方法により、少ない計算量で縮小画像を生成することやコンポーネント間の特性を利用して縮小画像を高速に生成することが可能となる。また、このプログラムにより、上述の各実施形態に対応した処理によって、少ない計算量で縮小画像を生成することや、高画質な縮小画像を簡易に生成すること、コンポーネント間の特性を利用して縮小画像を高速に生成することが可能なシステムを提供することができる。また、この記録媒体により、上述の各実施形態に対応した構成で、少ない計算量で縮小画像を生成することや、高画質な縮小画像を簡易に生成すること、コンポーネント間の特性を利用して縮小画像を高速に生成することが可能なシステムを提供することができる。これらのプログラムや記録媒体は、上述した実施形態に加え、後述する実施例を元に容易に実施できることは明らかである。
【００８１】
本発明による画像データ生成の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態を説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態に係る機能をコンピュータに実行させ、画像データ生成の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる画像データ生成の機能を実行することができる。
【００８２】
以下、本発明の実施形態をより具体的に説明する。
図１１は、本発明の一実施形態に係る画像データ生成装置の構成例を示す図である。
ここで説明する画像データ生成装置は、データバス３３を介して、ＲＡＭ３１，ＣＰＵ３２，ＨＤＤ３４が接続された構成となっており、以下の流れで、原解像度の圧縮画像から縮小画像が生成され、ＨＤＤ３４に保存されることとなる。
【００８３】
ＨＤＤ３４上に記録された原解像度の圧縮画像データが、ＣＰＵ３２からの命令によってＲＡＭ３１上に読み込まれる（ｉ）。次に、ＣＰＵ３２はＲＡＭ３１上の圧縮された画像データを所定解像度分だけ読み込み、ウェーブレット係数を求め、本発明に係る処理を適用して縮小画像を生成する（ｉｉ）。ＣＰＵ３２は、生成された縮小画像をＲＡＭ３１上の別の領域に書き込む（ｉｉｉ）。ＣＰＵ３２からの命令によって、縮小画像がＨＤＤ３４上に記録される（ｉｖ）。
【００８４】
図１２は、本発明の一実施形態に係る画像データ生成装置の他の構成例を示す図である。
ここで説明する画像データ生成装置は、データバス３７を介して、ＰＣ内のＲＡＭ３５，ＰＣ内のＣＰＵ３６，ＨＤＤ３８，モニタ（ＣＲＴ，ＬＣＤモニタ等）３９が接続された構成となっている。ユーザからの指示により、原解像度の画像データから縮小画像が高速に生成され、モニタ３９に表示される。
【００８５】
ＨＤＤ３８上に記録された原解像度の圧縮画像データが、ＣＰＵ３６からの命令によってＲＡＭ３５上に読み込まれる（i）。次に、ＣＰＵ３６はＲＡＭ３５上の圧縮された画像データを所定解像度分だけ読み込み、ウェーブレット係数を求め、本発明に係る処理を適用して縮小画像を生成する（ii）。ＣＰＵ３６は、生成された縮小画像をＲＡＭ３５上の別の領域に書き込む（iii）。ＣＰＵ３６からの命令によって、縮小画像がモニタ３９に送信され、表示がなされる（iv）。
【００８６】
図１３は、本発明の画像データ生成装置における処理の一実施例を説明するためのフロー図で、本発明を適用した縮小画像生成の基本的な流れを説明するためのフロー図である。また、図１４は本発明の一実施例における符号の構成例を示す図、図１５はデコンポジションレベルと解像度レベルの関係を示す図である。本実施例の画像データ生成装置に関し、上述のごとき装置構成のもと、式（５）による色変換及び５×３変換を使用したＪＰＥＧ２０００フォーマットによって圧縮された縦横偶数画素数の画像データを元に、縮小画像を生成する例を説明する。
【００８７】
本実施例における縮小画像の生成処理においては、まず、ユーザから指定された解像度（１／ｋとする）に基づいて生成する縮小画像の解像度レベルｒをセットする（ステップＳ１）。ユーザが所望の解像度を指定できる手段を備えておくとよい。次にｉ＝０にセットし（ステップＳ２）、ｉがｒになるまでｉをインクリメントし（ステップＳ３，Ｓ５）、その間、解像度レベルｉについて全コンポーネントのエントロピー符号を復号する（ステップＳ４）。なお、エントロピー符号の復号（可変長符号の復号であり、ＪＰＥＧ２０００ではＭＱ符号器が使用される）は、本実施形態の主旨には無関係であるため、ここでの説明は省略する。
【００８８】
図１４においては解像度０（最小解像度）のコンポーネント０（輝度），コンポーネント１（色差Ｖ），コンポーネント２（色差Ｕ）、解像度１のコンポーネント０，１，２、解像度２のコンポーネント０，１，２，．．．の順に並んだ符号を示しており、公知のようにＪＰＥＧ２０００においては、図１４に示したように、全てのコンポーネントの符号を、解像度順に並べた状態に構成することができるため、最も低解像度から所望の解像度までだけのウェーブレット係数を容易にとりだすことができる（ステップＳ１〜Ｓ５）。
【００８９】
これまでの議論及び本明細書中において、しばしば１／３の「解像度」という表現を使ったが、ＪＰＥＧ２０００では、解像度に類似した量として「解像度レベル」と呼ぶ量を使用する。最も低い解像度レベルが０、その次の解像度レベルは１となり、デコンポジションレベルと解像度レベルの関係は図１５に示すようになる。なお、この関係はＬＬのみ例外的な値となる。すなわち、３ＬＬは解像度レベル０、３ＨＬ，３ＬＨ，３ＨＨは解像度レベル１、２ＨＬ，２ＬＨ，２ＨＨは解像度レベル２、１ＨＬ，１ＬＨ，１ＨＨは解像度レベル３というようになる。また、２ＬＬは解像度レベル１、１ＬＬは解像度レベル２となる。
【００９０】
解像度レベルｒが原画像の何分の１の解像度かは、デコンポジションレベルの最大値によることになる。デコンポジションレベルの最大値をｄとすると、解像度レベルがｒ（ｒ＞０）であるウェーブレット係数（サブバンド）の、原画像に対する解像度は１／２^（ｄ−ｒ＋１）になる。よって、原画像の１／ｋの縮小画像を生成するために、ステップＳ１においてセットすべきｒの値は、
ｒ＝ｄ−（ｌｏｇ２ｋ−１） …（７）
となる。よって、ユーザによって、原画像に対する所望の解像度（１／ｋ）が与えられると、式（７）によって解像度レベルｒが算出され、ステップＳ１でセットされる。
【００９１】
ウェーブレット係数は、通常量子化されており、逆ウェーブレット変換前には逆量子化しておく必要がある。そこで、解像度レベルｒ未満の解像度ｉにおける処理が終了すると（ステップＳ３でＮＯ）、復号した全てのウェーブレット係数を逆量子化する（ステップＳ６）。その後、選択的逆ウェーブレット変換処理を実行する（ステップＳ７）。ステップＳ７で示した選択的ウェーブレット逆変換処理は、本発明の主要部をなし、これは図１６の「全コンポーネントに対するＬＬ生成処理」、図１８の「全コンポーネントに対する水平画素位置決定及び水平方向フィルタリング処理」、図２０の「全コンポーネントに対する垂直画素位置決定及び垂直方向フィルタリング処理」からなり、後述する。コンポーネントが複数ある場合には、逆色変換を行う（ステップＳ８）。
【００９２】
図１６は全コンポーネントに対するＬＬ生成処理を説明するためのフロー図、図１７は図１６の処理内容を詳細に説明するためのフロー図で、生成する縮小画像の解像度に満たない解像度を有するＬＬサブバンドの係数を求める処理を説明するためのフロー図である。
本実施例における全コンポーネントに対するＬＬ生成処理は、まず、輝度についてのＬＬ生成処理を施し（ステップＳ１１）、次にｒを１つ下げて（ｒ＝ｒ−１）色差ＶについてＬＬ生成処理を施し（ステップＳ１２）、さらにｒを１つ下げて（ｒ＝ｒ−２）色差ＵについてＬＬ生成処理を施す（ステップＳ１３）という手順で行われる。
【００９３】
図１７は、図１６の内容を詳細に示したものであり、４つのサブバンドのウェーブレット係数を利用して、１つ低いデコンポジションレベルのＬＬ係数（新たなＬＬ係数）を生成することを示している。これを再帰的に繰り返して、所望の解像度レベルｒ未満の範囲で最大の解像度を有するＬＬ係数が全て得られる。すなわち、全コンポーネントのＬＬ生成処理は、まずｉ＝０にセットし（ステップＳ１４）、ｉがｒになるまでｉをインクリメントし（ステップＳ１５，Ｓ１７）、その間、解像度レベルｉについて、指定されたコンポーネントについてＬＬと解像度レベルｉの３つのサブバンドＨＬ，ＬＨ，ＨＨとを使用し、逆ウェーブレット変換を行って新たなＬＬを生成する（ステップＳ１６）。解像度レベルｒ未満の解像度ｉにおける処理が終了すると（ステップＳ１５でＮＯ）、新たなＬＬの縦画素数ＬＬｈｅｉｇｈｔ及び新たなＬＬの横画素数ＬＬｗｉｄｔｈを保持し（ステップＳ１８）、終了する（ステップＳ１９）。生成する縮小画像の解像度に満たない解像度を有するＬＬサブバンドの係数が全て求まることとなる。
【００９４】
ここでステップＳ１２で説明した通り、色差Ｖについては、輝度よりも１つ低い解像度レベルまでのサブバンドを利用してＬＬを生成し、色差Ｕについては、色差Ｖよりもさらに１つ低い解像度レベルまでのサブバンドを利用してＬＬを生成している。なお、図１６で示す例では色差Ｕは輝度の１／４の解像度としているが、他の実施例としてこれをＶと同じ１／２の解像度にするには、ステップＳ１３においてｒ＝ｒとすればよいのは明らかである。同様に、輝度の解像度が原画像の１／ｋである場合、色差Ｕ，Ｖのそれらは順に１／２ｋ，１／４ｋとなる。従って、後述する図１９、図２１におけるｋは、色差Ｕ，Ｖに関しては、それぞれ２ｋ，４ｋとして処理される。
【００９５】
図１８は全コンポーネントに対する水平画素位置決定及び水平方向フィルタリング処理を説明するためのフロー図、図１９は図１８の処理内容を詳細に説明するためのフロー図である。
【００９６】
全コンポーネントに対する水平画素位置決定及び水平方向フィルタリング処理は、まず、輝度についての水平画素位置決定及び水平方向フィルタリング処理を施し（ステップＳ２１）、次に色差Ｖについて水平画素位置決定及び水平方向フィルタリング処理を施し（ステップＳ２２）、さらに色差Ｕについて水平画素位置決定及び水平方向フィルタリング処理を施す（ステップＳ２３）という手順で行われる。
【００９７】
図１９は、図１８の内容を詳細に示したものであり、ｋを越えない２のべき乗値の最大値ｐを求め、ｋ／ｐを単位として、前述した「最終的に求めたい画素」の水平位置を求める処理（「水平位置決定処理」）及び、その水平位置については、水平方向のフィルタを全ての垂直方向の位置について実施する処理を示している。全ての垂直方向の位置についてフィルタリングを行っても、「水平位置決定処理」を行っているため、ウェーブレット係数は選択的に求められ、結果としてウェーブレット係数が選択的に逆ウェーブレット変換されることとなる。すなわち、水平画素位置決定及び水平方向フィルタリング処理では、まずユーザからの指定解像度ｋをもとに、ｋを越えない２のべき乗値の最大値ｐを求める（ステップＳ２４）。次にｉ＝０にセットし（ステップＳ２５）、ｘｓ＝|_ｉｋ／ｐ_|とすることにより水平位置を決定し（ステップＳ２６）、ｘｓが２×ＬＬｗｉｄｔｈになるまでｉをインクリメントしてステップＳ２６に戻り（ステップＳ２７，Ｓ２８）、その間、ｘ座標がｘｓである列について水平方向のフィルタを全ての垂直方向について実施する（ステップＳ２９）。なお、ステップＳ２７でＮＯであれば処理を終了することとなる。
またここで、各々のコンポーネントの、“最終的に求めたい画素群の頂点の画素”として図１でいう（０，０）、すなわち水平垂直ともに偶数位置をまず選択するようにすることにより、求めるべき隣接画素の数を少なくすることができる。
【００９８】
図２０は全コンポーネントに対する垂直画素位置決定及び垂直方向フィルタリング処理を説明するためのフロー図、図２１は図２０の処理内容を詳細に説明するためのフロー図である。
【００９９】
全コンポーネントに対する垂直画素位置決定及び垂直方向フィルタリング処理は、まず、輝度についての垂直画素位置決定及び垂直方向フィルタリング処理を施し（ステップＳ３１）、次に色差Ｖについて垂直画素位置決定及び垂直方向フィルタリング処理を施し（ステップＳ３２）、さらに色差Ｕについて垂直画素位置決定及び垂直方向フィルタリング処理を施す（ステップＳ３３）という手順で行われる。
【０１００】
また、図２１は、図１９と類似の「垂直画素位置決定及び垂直方向フィルタリング処理」を示したものであり、垂直方向のフィルタリングに関しては、必要な画素位置のみについて行う。先の通り、必要な画素位置は、その画素位置の垂直方向の奇遇に依存する。すなわち、垂直画素位置決定及び垂直方向フィルタリング処理は、まずｉ＝ｊ＝０にセットし（ステップＳ４１）、ｘｓ＝|_ｉｋ／ｐ_|とし（ステップＳ４２）、ｘｓが２×ＬＬｗｉｄｔｈになるまで（ステップＳ４３でＹＥＳの場合）ｉをインクリメントし（ステップＳ４６）、その間に以下の処理を施し、ステップＳ４３においてｘｓが２×ＬＬｗｉｄｔｈ以上になれば（ステップＳ４３でＮＯ）、処理を終了する。その間の処理とは、まず、ｙｓ＝|_ｊｋ／ｐ_|とし（ステップＳ４４）、ｙｓが２×ＬＬｈｅｉｇｈｔになるまで（ステップＳ４５でＹＥＳの場合）、ステップＳ４８，Ｓ４９の処理を行い、ｙｓが２×ＬＬｈｅｉｇｈｔ以上となれば（ステップＳ４５でＮＯの場合）ステップＳ４６に進み、ｉをインクリメントしｊ＝０としてステップＳ４２に戻る。ステップＳ４８では、ｙ座標がｙｓである画素位置のみについて垂直方向のフィルタを実施する。また、ステップＳ４９では、フィルタ後の画素値を縮小コンポーネント用バッファの位置（ｉ，ｊ）に保存する。次にｊをインクリメントして（ステップＳ４７）、ステップＳ４４に戻る。なお、他の実施例としては、図２１においてｘｓを求める処理をやめ、全ての水平方向について、「垂直方向フィルタリング処理」をすればよい。
【０１０１】
図２２は、逆色変換処理を説明するためのフロー図である。
デコンポジションレベルの最大値や、原画像の縦横の画素数（順にｈｅｉｇｈｔ，ｗｉｄｔｈとする）等は、符号のヘッダから読みとることができ、最終的に生成すべき縮小画像の縦横の画素数は、縦が|_ｈｅｉｇｈｔ／ｋ_|、横が|_ｗｉｄｔｈ／ｋ_|により与えられ、逆色変換処理において使用される。ここで、色差コンポーネントに関しては、輝度コンポーネントよりも１つ以上低い解像度までしか逆ウェーブレット変換しないため、生成すべき"縮小画像"の画素数は以下のようになる。
【０１０２】
色差Ｖ：
縦 |_ｈｅｉｇｈｔ／２ｋ_|、横 |_ｗｉｄｔｈ／２ｋ_|
色差Ｕ：
縦 |_ｈｅｉｇｈｔ／４ｋ_|、横 |_ｗｉｄｔｈ／４ｋ_|
【０１０３】
逆色変換処理では、ｉ，ｊがそれぞれ|_ｈｅｉｇｈｔ／ｋ_|，|_ｗｉｄｔｈ／ｋ_|より小さいときに後述のステップＳ５５〜Ｓ５９の処理を行う。すなわち、まずｉ＝ｊ＝０にセットし（ステップＳ５１）、ｉが|_ｈｅｉｇｈｔ／ｋ_|になるまで（ステップＳ５２でＹＥＳの場合）ｉをインクリメントしｊ＝０として（ステップＳ５４）、その間に以下の処理を施し、ステップＳ５２においてｉが|_ｈｅｉｇｈｔ／ｋ_|以上になれば（ステップＳ５２でＮＯ）、処理終了する。その間の処理とは、まず、ｊが_Bｗｉｄｔｈ／ｋB_になるまで（ステップＳ５３でＹＥＳの場合）、ステップＳ５５〜Ｓ５９の処理を行い、ｊが|_ｗｉｄｔｈ／ｋ_|以上となれば（ステップＳ５３でＮＯの場合）ステップＳ５４に進み、ｉをインクリメントし、ｊ＝０にセットしてステップＳ５２に戻る。ステップＳ５５では、輝度についてＹを輝度の縮小コンポーネント用バッファの位置（ｉ，ｊ）の値とし、ステップＳ５６では、色差ＶについてＶを色差Ｖの縮小コンポーネント用バッファの位置（ｉ／２，ｊ／２）の値とし、ステップＳ５７では、色差ＵについてＵを色差Ｕの縮小コンポーネント用バッファの位置（ｉ／４，ｊ／４）の値とする。次の処理であるステップＳ５８では、式（６）により逆色変換を施し、ステップＳ５９ではＲＧＢ値を縮小画像用バッファの位置（ｉ，ｊ）へ保存する。
【０１０４】
また、先に述べたとおり、原画像の１／３の解像度の画像を得る場合、インターリーブ後に原画像の１／２の解像度（画素数）となるまでのＬＬサブバンド（及びＨＬ，ＬＨ，ＨＨサブバンド）を求め、本発明に係る処理によってインターリーブ後の係数の２／３の解像度の画像を生成する。
【０１０５】
図２３は、インターリーブ後の係数の２／３の解像度の画像を生成する場合に求めるべき画素（逆変換時の水平方向フィルタリング後の状態を色付けで表示）の例を示す図、図２４は、インターリーブ後の係数の２／３の解像度の画像を生成する場合に求めるべき画素（逆変換時の垂直方向フィルタリング後の状態を色付けで表示）の例を示す図である。また、図７などと同様に、求めるべき画素を下線を引いて示している。図７，図８に準じ、この場合の「求めるべき係数位置」を、図２３の係数配置８，図２４の係数配置９に、それぞれ逆変換時の水平方向フィルタリング後の状態，垂直方向フィルタリング後の状態として色付けすることで示す。図２３，図２４の係数値はそれぞれ図２，図１に対応している。ただし原画像の画素数は図７及び図８とは異なるものとする。
【０１０６】
以上、本発明に係る選択的逆変換処理に関して説明してきたが、以下、縮小画像の生成に際し、エントロピー復号化部でウェーブレット係数の符号を部分的に復号することにより、復号速度と復号画質のバランスをとりながら、所望解像度の復号画像データ（所望の縮小画像データ）の生成を行う画像データ生成装置、方法、プログラム、及び記録媒体に関する様々な実施の形態を説明する。
【０１０７】
デコードによって縮小画像を生成する場合は、画面の小さな表示装置に表示することを目的とすることが多い。かかる場合、表示装置の表現能力が限られることから、縮小画像自体の画質は厳しく問われないことがあり、むしろ復号時間の方が問題とされることがある。或いは、前記表現能力が限られるために、縮小画像にデータ的に劣化していても、視覚的には劣化が観察されないことが多いのである。
【０１０８】
ここで例えばＪＰＥＧ２０００の様な、エントロピー復号化部において、解像度（帯域）だけでなく復号する符号の割合も選択できるような方式の場合、該割合を制限することによって、ウェーブレット係数のエントロピー復号を高速に行うことができる。ＪＰＥＧ２０００の場合、ウェーブレット係数の二進数表示を、上位ビットから下位ビットにかけて１ｂｉｔずつ符号化するため、どのｂｉｔまで復号するのかを適切に選ぶことによって、復号画質と復号速度の最適化が図れるのである。先述のように、表示能力の限られた装置に表示する場合等には、全ての符号を復号する必要はないことが多いのである。
【０１０９】
図２５は、本発明の他の実施形態に係る画像データ生成装置の構成を説明するための図である。
本実施形態に係る画像データ生成装置４０は、符号化されたウェーブレット係数を復号する係数復号手段４１を有し、原画像を縮小した縮小画像のデータを生成する装置であり、符号省略手段４２を有するものとする。
【０１１０】
符号省略手段４２では、同一サブバンド中の符号のうち、復号を行わない符号を省略する。係数復号手段４１では、符号省略手段４２で省略された符号以外の符号を復号する。すなわち係数復号手段４１では、同一サブバンドの符号を部分的に復号することとなる。本実施形態に係る画像データ生成装置４０では、例えば後述するようにレイヤを部分的に復号化してその復号データをもとに縮小画像を得ることも可能となる。本実施形態によれば、復号速度と復号画質のバランスをとりながら、縮小画像を生成することが可能となる。なお、ここでの「部分的」とは、全く復号しない場合を含まない。全く復号しない場合は、帯域制限によって復号を省く場合と同じだからである。
【０１１１】
さて、かかる最適化を図る場合には、画質への影響を抑えながら、復号する符号量を削減することが重要となるが、ウェーブレット変換の場合、サブバンド（ＬＬ〜ＨＨ）ごとに、係数に生じた量子化誤差が画質へ与える影響が異なることが知られている。画質への影響が最も大きいのはＬＬサブバンドであり、また同一デコンポジションレベルで比較した場合、一般に該影響はＨＬ ＬＨ＞ＨＨである。よってＬＬサブバンド程量子化を抑え、ＨＨサブバンド程量子化を行うのが通常である。また前記ＪＰＥＧ２０００の例のように、上位ビットプレーン（後述）のいくつかのみ復号し、残りの下位ビットプレーンの復号をしないことは、量子化によって下位ｂｉｔが失われたことに等しく、これはＬＬサブバンド程復号する符号の割合を多くし、ＨＨサブバンド程該割合を小さくする、といったことが可能なことを意味する。
【０１１２】
また、ウェーブレット変換の場合、デコンポジションレベルによっても、係数に生じた量子化誤差が画質へ与える影響が異なることが知られており、デコンポジションレベルが高いほど該影響は大きい。
【０１１３】
したがって、本発明の他の実施形態として、サブバンド間で復号する割合を変えるようにしてもよい。すなわち、符号省略手段４２にて省略される（復号を省略する）符号の量又は割合が、サブバンド間において異なる場合があるようにする。本実施形態によれば、サブバンド毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１１４】
また、本発明の他の実施形態として、ＬＬ〜ＨＨの間で復号する割合を変えるようにしてもよい。符号省略手段４２にて省略される符号の量又は割合が、同一デコンポジションレベルのサブバンド間において異なる場合があるようにする。本実施形態によれば、同一デコンポジションレベルのサブバンド毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１１５】
また、本発明の他の実施形態として、デコンポジションレベル間で復号する割合を変えるようにしてもよい。符号省略手段４２にて省略される符号の量又は割合が、デコンポジションレベル間で異なる場合があるようにする。本実施形態によれば、デコンポジションレベル毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１１６】
さて、原画像が例えばＲＧＢという３コンポーネントからなるカラー画像であって、該画像に圧縮を施す場合、圧縮率をあげるために、ＲＧＢに色変換を施して１つの輝度と２つの色差の３つの新たなコンポーネントに変換し、該変換後のコンポーネントに対して個々にウェーブレット変換を施すのが通常である。
【０１１７】
先のＪＰＥＧ２０００で採用されている色変換の例としては、ＲＣＴ(Reversible Component Transform)と呼ばれる下記変換がある。
輝度Ｙ＝|_（Ｒ＋２Ｇ＋Ｂ）／４_|
色差Ｃｒ＝Ｒ−Ｇ
色差Ｃｂ＝Ｂ−Ｇ …（８）
であり、その逆変換は、
Ｒ＝Ｇ＋Ｃｒ
Ｇ＝Ｙ−|_（Ｃｒ＋Ｃｂ）／４_|
Ｂ＝Ｃｂ＋Ｇ …（９）
となる。ここで記号|_ｘ_|は、ｘのフロア関数（実数ｘを、ｘを越えず且つｘに最も近い整数に置換する関数）を示している。
【０１１８】
かかる場合、コンポーネント間においても、係数に生じた量子化誤差が画質へ与える影響が異なることが知られており、輝度・色差系の場合は、輝度の影響が最も大きい。また該影響は、色差間でも異なることが知られている。なお、上記色変換をしない場合には、その影響はＧが一番大きい。
【０１１９】
よって、本発明の他の実施形態として、複数のコンポーネントのウェーブレット係数を復号する装置において、コンポーネント間で復号する割合を変えるようにしてもよい。すなわち、復号は複数のコンポーネント毎に施し、且つ、前記符号省略手段にて省略される符号の量又は割合がコンポーネント間で異なる場合があるようにする。本実施形態によれば、コンポーネント毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２０】
また、本発明の他の実施形態として、復号を省略する符号の量又は割合がＬＬサブバンドで最小であるようにしてもよい。本実施形態によれば、ＬＬサブバンドによる画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２１】
また、本発明の他の実施形態として、復号を省略する符号の量又は割合がＨＨサブバンドで最大であるようにしてもよい。本実施形態によれば、ＨＨサブバンドによる画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２２】
また、本発明の他の実施形態として、デコンポジションレベルが高いほど復号を省略する符号の量又は割合が低いようにしてもよい。本実施形態によれば、デコンポジションレベルによる画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２３】
また、本発明の他の実施形態として、輝度コンポーネントを復号する装置において、復号を省略する符号の量又は割合が輝度コンポーネントで最小であるようにしてもよい。本実施形態によれば、輝度による画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２４】
また、本発明の他の実施形態として、複数の色差コンポーネントを復号する装置において、復号を省略する符号の量又は割合が色差間で異なるようにしてもよい。本実施形態によれば、色差毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２５】
また、本発明の他の実施形態として、輝度Ｙ及び２つの色差コンポーネントＣｂ、Ｃｒを復号する装置において、復号を省略する符号の量又は割合がＹ＜Ｃｒ＜Ｃｂであるようにしてもよい。人間の視覚特性上、Ｃｒによる影響よりもＣｂによる影響の方が小さいことが実験的に知られており、画像の色合いによっては効果がない場合もあるが、本実施形態によれば、Ｃｂ，Ｃｒ毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２６】
また、任意サイズの縮小画像を生成するためには、所望サイズよりも大きめのサイズに復号して逆ウェーブレット変換後間引くか、或いは小さめに復号して補間するのが通常である。なおこの場合、（両方の場合で復号される）同一デコンポジションレベルで比較した場合、補間する場合の方が、間引く場合よりも、復号する割合を高くする必要がある。
【０１２７】
したがって、本発明の他の実施形態として、所望の画像サイズ以下のサイズのサブバンドだけを復号する手段を有するようにしてもよい。換言すると、ＬＬサイズで抜き出すようにする。本実施形態によれば、復号するサブバンドのサイズを制限することによって、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２８】
また、本発明の他の実施形態として、所望の画像サイズ未満のサイズのサブバンドだけを復号する手段と、間引き手段を有するようにしてもよい。本実施形態によれば、復号するサブバンドのサイズを制限することによって、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２９】
また、本発明の他の実施形態として、所望の画像サイズを越えない最大サイズのサブバンドまでを復号する手段と、補間手段を有するようにしてもよい。本実施形態によれば、復号するサブバンドのサイズを制限することによって、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１３０】
以上、本発明の部分的復号処理を行う画像データ生成装置を中心に各実施形態を説明してきたが、本発明は、それらの装置における処理ステップからなる画像データ生成方法としても、或いは、コンピュータをそれら装置として又はそれらの装置の各手段として機能させるための、又はコンピュータにそれら方法を実行させるためのプログラム（それらの処理内容が実装されているコンピュータプログラム）としても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（それらの処理内容が記録されているコンピュータ読み取り可能な情報記録媒体）としての形態も可能である。後述する実施例からも明らかなように、この方法により、復号速度と復号画質のバランスをとりながら或いは最適化を図りながら、縮小画像を生成することができる。また、このプログラムにより、上述の各実施形態に対応した処理によって、復号速度と復号画質のバランスをとりながら或いは最適化を図りながら、縮小画像を生成することが可能なシステムを提供することができる。また、この記録媒体により、上述の各実施形態に対応した構成で、復号速度と復号画質のバランスをとりながら或いは最適化を図りながら、縮小画像を生成することが可能なシステムを提供することができる。これらのプログラムや記録媒体は、上述した実施形態に加え、後述する実施例を元に容易に実施できることは明らかである。
【０１３１】
本発明による画像データ生成の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態を説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態に係る機能をコンピュータに実行させ、画像データ生成の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる画像データ生成の機能を実行することができる。
【０１３２】
以下、本発明の部分的復号処理を具体的に説明する。
なお後述するが、本発明の部分的復号処理における復号を省略する符号の量や割合とは、例えば、「復号を省略したビットプレーン数」や「符号化されている総ビットプレーン数に対する復号を省略したビットプレーンの数」を意味する。
【０１３３】
本発明の実施例の装置構成は、図１１及び図１２を参照して説明したものと同様であり説明を省略する。
【０１３４】
また以下の実施例は、５×３変換を選択したＪＰＥＧ２０００での適用例であるため、まずＪＰＥＧ２０００の処理の概要について説明する。もちろん、本発明の適用範囲がＪＰＥＧ２０００に限られないことは言及するまでもない。
【０１３５】
図１０を再度参照すると、ＪＰＥＧ２０００における符号化・復号化処理の流れにおいて、→方向が符号化（圧縮）、←方向が復号化（伸長）であり、復号時には、エントロピー復号、（必要に応じて）逆量子化を経て得られたコンポーネント毎のウェーブレット係数に対して、逆ウェーブレット変換が施され、その後逆色変換がなされてＲＧＢの画素値に戻ることを示している。
【０１３６】
色変換部については既述したため、ここではサブバンド及びデコンポジションレベルの定義も兼ねて、ウェーブレット変換・逆変換について説明する。
ウェーブレット変換・逆変換そのものについては、図１乃至図５、図９、図１０、及び図１５を参照して前述したので省略する。
各サブバンドごとのウェーブレット係数の符号化について説明すると、公知のように、ＪＰＥＧ２０００においては、サブバンドごとに、係数を上位ビット（ＭＳＢ）から下位ビット（ＬＳＢ）まで、ビットプレーン単位で符号化することが可能である。なお、厳密には各ビットプレーンをさらに細分化して符号化するが、その説明は省略する。
【０１３７】
図２６は、２ＬＬサブバンドの係数例を示す図で、図２６（Ａ）は２ＬＬサブバンドの係数例を、図２６（Ｂ）はその係数をビットプレーンに分割したものを示す図である。また、図２７は、本発明の一実施例における符号の構成例を示す図で、図中、符号は紙面上から下の方向の順番で並ぶよう構成可能であることを表している。
今、図５の２ＬＬサブバンドの係数が、図２６（Ａ）のような値をとったとする。これらの値を二進数で表現し、各ｂｉｔごとに分けたものがビットプレーンであり、図２６（Ａ）の係数は、図２６（Ｂ）のような４枚のビットプレーンにわけることができる。１５の二進表現は１１１１であるから、ビットプレーン中で、図５の値１５に対応する位置には全て１が立つ事になる。
【０１３８】
そしてＪＰＥＧ２０００においては、これらのビットプレーンを個々に符号化する。すなわち、図２７のような構成の符号生成が可能であり、図２７は、符号が２ＬＬサブバンドから始まって、１ＨＨサブバンドで終わることを示している。また、各ビットプレーンは、最上位ｂｉｔから順に符号化されており、復号器は、符号化されているビットプレーンの総数を知ることができるため、最下位ビットプレーンの復号を省略したり、最下位から数えて２枚目までのビットプレーンの復号を省略したり、といったことを容易に行うことができる。
【０１３９】
以上のもと、本発明の部分的復号処理を適用した縮小画像生成の基本的な流れを説明する。
図２８は、本発明の画像データ生成装置における処理の一実施例を説明するためのフロー図で、本発明の部分的復号処理を適用した縮小画像生成の基本的な流れを説明するためのフロー図である。また、図２９乃至図３１は、図２８の処理における部分的復号処理を詳細に説明するためのフロー図で、それぞれ輝度Ｙ，色差Ｃｒ，色差Ｃｂコンポーネントにおける部分的復号処理の流れを説明するためのフロー図である。
【０１４０】
本実施例の画像データ生成装置に関し、図１１及び図１２で説明した装置構成のもと、図２８乃至図３１を参照し、式（８）による色変換及び５×３変換を使用してロスレスに圧縮された画像データを元に縮小画像を生成する例を説明する。ロスレス圧縮であるから、全てのサブバンドの全てのビットプレーンが符号化されていることになる。
【０１４１】
本実施例における縮小画像の生成処理においては、まず、ユーザから指定された解像度（１／ｋとする）に基づいて生成する縮小画像の解像度レベルｒをセットする（ステップＳ７１）。次にｉ＝０にセットし、同時にｒから１を減じ（ステップＳ７２）、ｉ≦ｒを満たす間ｉをインクリメントし（ステップＳ７３，Ｓ７５）、その間、解像度レベルｉについて全コンポーネントのエントロピー符号を部分的に復号する（ステップＳ７４）。
【０１４２】
図２７においては解像度０（最小解像度）のコンポーネント０（輝度），コンポーネント１（色差Ｖ），コンポーネント２（色差Ｕ）、解像度１のコンポーネント０，１，２、解像度２のコンポーネント０，１，２、．．．の順に並んだ符号を示しており、公知のようにＪＰＥＧ２０００においては、図２７に示したように、全てのコンポーネントの符号を、解像度順に並べた状態に構成することができるため、最も低解像度から所望の解像度までだけのウェーブレット係数を容易にとりだすことができる（ステップＳ７１〜Ｓ７５）。
【０１４３】
これまでの議論及び本明細書中において、しばしば１／３の「解像度」という表現を使ったが、ＪＰＥＧ２０００では、解像度に類似した量として「解像度レベル」と呼ぶ量を使用する。最も低い解像度レベルが０、その次の解像度レベルは１となり、デコンポジションレベルと解像度レベルの関係は図１５に示すようになる。なお、この関係はＬＬのみ例外的な値となる。すなわち、３ＬＬは解像度レベル０、３ＨＬ，３ＬＨ，３ＨＨは解像度レベル１、２ＨＬ，２ＬＨ，２ＨＨは解像度レベル２、１ＨＬ，１ＬＨ，１ＨＨは解像度レベル３というようになる。また、２ＬＬは解像度レベル１、１ＬＬは解像度レベル２となる。
【０１４４】
解像度レベルｒが原画像の何分の１の解像度かは、デコンポジションレベルの最大値によることになる。デコンポジションレベルの最大値をｄとすると、解像度レベルがｒ（ｒ＞０）であるウェーブレット係数（サブバンド）の、原画像に対する解像度は１／２＾（ｄ−ｒ＋１）になる。よって、原画像の１／Nの縮小画像を生成するために、ステップＳ７１でセットすべきｒの値は、
ｒ＝ｄ−（ｌｏｇ２ｋ−１） …（７）
となる。よって、ユーザによって、原画像に対する所望の解像度（１／ｋ）が与えられると、式（７）によって解像度レベルｒが算出され、ステップＳ７１でセットされる。
【０１４５】
ウェーブレット係数は、通常量子化されており、逆ウェーブレット変換前には逆量子化しておく必要がある。そこで、解像度レベルｒ以下の解像度ｉにおける処理が終了すると（ステップＳ７３でＮＯ）、復号した全てのウェーブレット係数を逆量子化する（ステップＳ７６）。その後、逆ウェーブレット変換処理を実行する（ステップＳ７７）。ステップＳ７７で示した逆ウェーブレット変換処理として、前述した選択的ウェーブレット逆変換処理を適用してもよい。次に、解像度ｉがｒと同じかを判定し（ステップＳ７８）、同じでなければ間引き処理を施す（ステップＳ７９）。コンポーネントが複数の場合には、ｉ＝ｒのとき（ステップＳ７８でＹＥＳ）及び間引き処理（ステップＳ７９）の後、逆色変換を施して（ステップＳ８０）、処理を終了する。
【０１４６】
本発明の一特徴である部分的復号は、ステップＳ７４における処理であり、本実施例では解像度レベルｉの値によって（デコンポジションレベルによって）、以下のように各成分の符号を部分的に復号して輝度のウェーブレット係数を得る。
【０１４７】
図２９を参照すると、コンポーネントが輝度Ｙであるかを判定し（ステップＳ８１）、他のコンポーネントであれば図３０及び図３１の処理に移行する。輝度Ｙに対しては（ステップＳ８１でＹＥＳ）、ステップＳ８２でｉ≦ｒ−２を満たすかを判定し、ステップＳ８４でｉ≦ｒ−１を満たすかを判定し、それらの判定により、輝度Ｙの符号を部分的に復号して、輝度のウェーブレット係数を得ることとなる。
【０１４８】
ｉ≦ｒ−２のとき（ステップＳ８２でＹＥＳ）、全てのサブバンドについて全ビットプレーンの符号を復号する（ステップＳ８３）。ＬＬサブバンドは解像度レベル０にのみ存在するので、ステップＳ８３の結果、ＬＬサブバンドの符号は全て復号され、復号を省略する量としては最小となる。
【０１４９】
ｒ−２＜ｉ≦ｒ−１のとき（ステップＳ８２でＮＯ、ステップＳ８４でＹＥＳ）、ＨＬ及びＬＨサブバンドに対しては最下位から２枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から３枚目までのビットプレーンの復号を省略して、復号を行う（ステップＳ８５）。
【０１５０】
ｒ−１＜ｉ≦ｒのとき（ステップＳ８２でＮＯ、ステップＳ８４でＮＯ）、ＨＬ及びＬＨサブバンドに対しては最下位から３枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から４枚目までのビットプレーンの復号を省略して、復号を行う（ステップＳ８６）。
【０１５１】
また、色差Ｃｒの符号については、図３０を参照すると、コンポーネントが色差Ｃｒであるかを判定し（ステップＳ９１）、他のコンポーネントであれば図３１（及び図２９）の処理に移行する。色差Ｃｒに対しては（ステップＳ９１でＹＥＳ）、ステップＳ９２でｉ≦ｒ−３を満たすかを判定し、ステップＳ９４でｉ≦ｒ−２を満たすかを判定し、ステップＳ９６でｉ≦ｒ−１を満たすかを判定し、それらの判定により、色差Ｃｒの符号を部分的に復号して、色差Ｃｒのウェーブレット係数を得ることとなる。色差Ｃｒに対しては、輝度Ｙよりもさらに１枚分のビットプレーンの復号を省略してウェーブレット係数を得る。
【０１５２】
ｉ≦ｒ−３のとき（ステップＳ９２でＹＥＳ）、全てのサブバンドについて全ビットプレーンの符号を復号する（ステップＳ９３）。
【０１５３】
ｒ−３＜ｉ≦ｒ−２のとき（ステップＳ９２でＮＯ、ステップＳ９４でＹＥＳ）、ＨＬ及びＬＨサブバンドに対しては最下位から２枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から３枚目までのビットプレーンの復号を省略して、復号を行う（ステップＳ９５）。
【０１５４】
ｒ−２＜ｉ≦ｒ−１のとき（ステップＳ９２でＮＯ、ステップＳ９４でＮＯ、ステップＳ９６でＹＥＳ）、ＨＬ及びＬＨサブバンドに対しては最下位から３枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から４枚目までのビットプレーンの復号を省略して、復号する（ステップＳ９７）。
【０１５５】
ｒ−１＜ｉ≦ｒのとき（ステップＳ９２，Ｓ９４，Ｓ９６でＮＯ）、ＨＬ及びＬＨサブバンドに対しては最下位から４枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から５枚目までのビットプレーンの復号を省略し、復号する（ステップＳ９８）。
【０１５６】
また、色差Ｃｂの符号については、図３１を参照すると、コンポーネントが色差Ｃｂであるかを判定し（ステップＳ１０１）、他のコンポーネントであれば図２９及び図３０の処理に移行する。色差Ｃｂに対しては（ステップＳ１０１でＹＥＳ）、ステップＳ１０２でｉ≦ｒ−３を満たすかを判定し、ステップＳ１０４でｉ≦ｒ−２を満たすかを判定し、ステップＳ１０６でｉ≦ｒ−１を満たすかを判定し、それらの判定により、色差Ｃｂの符号を部分的に復号して、色差Ｃｂのウェーブレット係数を得ることとなる。色差Ｃｂに対しては、色差Ｃｒよりもさらに１枚分のビットプレーンの復号を省略して色差Ｃｂのウェーブレット係数を得る。
【０１５７】
ｉ≦ｒ−３のとき（ステップＳ１０２でＹＥＳ）、全てのサブバンドについて全ビットプレーンの符号を復号する（ステップＳ１０３）。
【０１５８】
ｒ−３＜ｉ≦ｒ−２のとき（ステップＳ１０２でＮＯ、ステップＳ１０４でＹＥＳ）、ＨＬ及びＬＨサブバンドに対しては最下位から３枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から４枚目までのビットプレーンの復号を省略して、復号を行う（ステップＳ１０５）。
【０１５９】
ｒ−２＜ｉ≦ｒ−１のとき（ステップＳ１０２でＮＯ、ステップＳ１０４でＮＯ、ステップＳ１０６でＹＥＳ）、ＨＬ及びＬＨサブバンドに対しては最下位から４枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から５枚目までのビットプレーンの復号を省略して、復号する（ステップＳ１０７）。
【０１６０】
ｒ−１＜ｉ≦ｒのとき（ステップＳ１０２，Ｓ１０４，Ｓ１０６でＮＯ）、ＨＬ及びＬＨサブバンドに対しては最下位から５枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から６枚目までのビットプレーンの復号を省略し、復号する（ステップＳ１０８）。
【０１６１】
このように、復号を省略する量が、コンポーネント間でＹ＜Ｃｒ＜Ｃｂとなっており、またデコンポジションレベルが高いほど、少なくなっている。また、符号化されている総ビットプレーン数が、各サブバンドで等しい場合には、「省略する量の多寡」はそのまま「省略する割合の多寡」となる。
【０１６２】
なお、ＪＰＥＧ２０００の場合、エントロピー符号器はＭＱコーダが使用されるが、本発明の部分的復号処理においては、復号を部分的に省略できるような符号構成であることが重要であり、エントロピー符号器の詳細はその本質とは直接関係しないため省略する。
【０１６３】
そして、ｉ＝ｒ＋１の場合（ステップＳ７８でＹＥＳ）は、ユーザが指定した解像度と、ウェーブレット変換の解像度レベルが一致しているため、逆量子化、逆ウェーブレット変換後、間引き処理を経ずして逆色変換が成され、所望の縮小画像が生成される。一方、そうでない場合（ステップＳ７８でＮＯ）には、ウェーブレット変換の解像度レベルは、ユーザが指定した解像度よりも大きめとなるため、逆量子化、逆ウェーブレット変換後、Ｙ，Ｃｂ，Ｃｒの各々が公知の間引き処理によって所望のサイズに変換される。本実施例では、処理量低減のため、逆色変換したＲＧＢ値を間引くのではなく、逆色変換前に間引き処理を行う構成としている。
【０１６４】
なお、最下位ビットプレーンの復号を１枚省略することは、ウェーブレット係数を２で除算（量子化）することに等しく、最下位からｎ枚目までのビットプレーンの復号を省略することは、該係数を２＾ｎで量子化することに等しい。よってビットプレーンの復号を省略した場合には、復号されたウェーブレット係数に２＾ｎを乗じてやれば、逆量子化を行ったことになる。
【０１６５】
なお、本実施例では、ＹＣｂＣｒの算出に式（８）を使用したが、ＣＣＩＲ６０１で規定されている周知の式でＹＣｂＣｒを算出した場合でも、本実施例の手法は適用可能である。また、間引き処理法の例としては、例えば広く使用されている最近傍法があげられる。間引き処理法自体のアルゴリズムは、本発明の部分的復号処理の主題には影響を与えないため、詳しいアルゴリズムの説明は省略するが、例えば「田村秀行著、コンピュータ画像処理入門（総研出版）」を参照されたい。
【０１６６】
図３２は、本発明の画像データ生成装置における処理の他の実施例を説明するためのフロー図で、本発明の部分的復号処理を適用した縮小画像生成の基本的な流れを説明するためのフロー図である。
【０１６７】
先の実施例では、ステップＳ７３の条件式が「ｉ≦ｒ」であったため、抽出されたウェーブレット変換の解像度レベルは、ユーザが指定した解像度に等しいか１つ大きいかであった、しかし、これを「ｉ＜ｒ」とすれば、ユーザが指定した解像度よりも１周り小さい解像度レベルが抽出され、逆ウェーブレット変換後、Ｙ，Ｃｂ，Ｃｒの各々が公知の補間処理によって所望のサイズに変換される。
【０１６８】
図３２を参照して説明すると、本実施例における縮小画像の生成処理においては、まず、ユーザから指定された解像度（１／ｋとする）に基づいて生成する縮小画像の解像度レベルｒをセットする（ステップＳ１１１）。次にｉ＝０にセットし、ｒ＝ｒ−１とし（ステップＳ１１２）、ｉ＜ｒを満たす間ｉをインクリメントし（ステップＳ１１３，Ｓ１１５）、その間、解像度レベルｉについて全コンポーネントのエントロピー符号を部分的に復号する（ステップＳ１１４）。また、ＹＣｂＣｒ間での部分的な復号処理（ステップＳ１１４）に関しては、先と同様、図２９乃至図３１で説明した処理が適用可能である。
【０１６９】
ウェーブレット係数は、通常量子化されており、逆ウェーブレット変換前には逆量子化しておく必要がある。そこで、解像度レベルｒ未満の解像度ｉにおける処理が終了すると（ステップＳ１１３でＮＯ）、復号した全てのウェーブレット係数を逆量子化する（ステップＳ１１６）。その後、逆ウェーブレット変換処理を実行する（ステップＳ１１７）。次に、補間処理を行う（ステップＳ１１８）。補間処理法の例としては、例えば広く使用されている最近傍法が挙げられる。詳しいアルゴリズムの説明は、上記「コンピュータ画像処理入門」を参照されたい。コンポーネントが複数の場合には、逆色変換を施して（ステップＳ１１９）、処理を終了する。
【０１７０】
【発明の効果】
本発明によれば、ウェーブレット係数を逆ウェーブレット変換し、原画像の縮小画像を生成する際に、同一サブバンド中の係数を選択的に逆変換するので、少ない計算量で縮小画像を生成することが可能となる。
【図面の簡単な説明】
【図１】 １６×１６のモノクロの画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を２次元（垂直方向及び水平方向）で施す過程の例を説明するための図である。
【図２】 １６×１６のモノクロの画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を２次元（垂直方向及び水平方向）で施す過程の例を説明するための図である。
【図３】 １６×１６のモノクロの画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を２次元（垂直方向及び水平方向）で施す過程の例を説明するための図である。
【図４】 １６×１６のモノクロの画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を２次元（垂直方向及び水平方向）で施す過程の例を説明するための図である。
【図５】 ２回のウェーブレット変換して並べ替えた後の模式的な係数配列を示す図である。
【図６】 本発明の一実施形態に係る画像データ生成装置の構成を説明するための図である。
【図７】 図１の原画像を５×３ウェーブレット変換した後の全ての係数を、逆ウェーブレット変換することにより生成された１６×１６画像を示す図である。
【図８】 図１の原画像を５×３ウェーブレット変換した後の全ての係数に対し、逆変換時の水平方向のフィルタリングを施すことにより生成された１６×１６画像を示す図である。
【図９】 本発明を利用して解像度１／３の画像を生成する場合の構成を、ウェーブレット変換・逆ウェーブレット変換の流れに沿って示した図である。
【図１０】 本発明の他の実施形態に係る画像データ生成装置を説明するためのブロック図である。
【図１１】 本発明の一実施形態に係る画像データ生成装置の構成例を示す図である。
【図１２】 本発明の一実施形態に係る画像データ生成装置の他の構成例を示す図である。
【図１３】 本発明の画像データ生成装置における処理の一実施例を説明するためのフロー図である。
【図１４】 本発明の一実施例における符号の構成例を示す図である。
【図１５】 デコンポジションレベルと解像度レベルの関係を示す図である。
【図１６】 全コンポーネントに対するＬＬ生成処理を説明するためのフロー図である。
【図１７】 図１６の処理内容を詳細に説明するためのフロー図である。
【図１８】 全コンポーネントに対する水平画素位置決定及び水平方向フィルタリング処理を説明するためのフロー図である。
【図１９】 図１８の処理内容を詳細に説明するためのフロー図である。
【図２０】 全コンポーネントに対する垂直画素位置決定及び垂直方向フィルタリング処理を説明するためのフロー図である。
【図２１】 図２０の処理内容を詳細に説明するためのフロー図である。
【図２２】 逆色変換処理を説明するためのフロー図である。
【図２３】 インターリーブ後の係数の２／３の解像度の画像を生成する場合に求めるべき画素の例を示す図である。
【図２４】 インターリーブ後の係数の２／３の解像度の画像を生成する場合に求めるべき画素の例を示す図である。
【図２５】 本発明の他の実施形態に係る画像データ生成装置の構成を説明するための図である。
【図２６】 ２ＬＬサブバンドの係数例を示す図である。
【図２７】 本発明の一実施例における符号の構成例を示す図である。
【図２８】 本発明の画像データ生成装置における処理の一実施例を説明するためのフロー図である。
【図２９】 図２８の処理における部分的復号処理を詳細に説明するためのフロー図である。
【図３０】 図２８の処理における部分的復号処理を詳細に説明するためのフロー図である。
【図３１】 図２８の処理における部分的復号処理を詳細に説明するためのフロー図である。
【図３２】 本発明の画像データ生成装置における処理の他の実施例を説明するためのフロー図である。
【図３３】 従来技術２の公報に記載された、原画像の１／３の解像度を得る場合のウェーブレット変換部の構成を示す図である。
【符号の説明】
１…画像、 ２，３，４，５，６，７，８，９…係数配列、
１０，４０…画像データ生成装置、 １１…逆ウェーブレット変換手段、
１２…係数選択手段、 ２１…色空間変換・逆変換部、
２２…２次元ウェーブレット変換・逆変換部、 ２３…量子化・逆量子化部、
２４…エントロピー符号化・復号化部、 ２５…タグ処理部、
３１，３５…ＲＡＭ、 ３２，３６…ＣＰＵ、 ３３，３７…データバス、
３４，３８…ＨＤＤ、 ３９…モニタ、 ４１…係数復号手段、 ４２…符号省略手段
【発明の属する技術分野】
本発明は、原画像の縮小画像を生成するための画像データ生成装置に関する。
本発明は、そのアプリケーションプログラムや、プリンタドライバ等のデバイスドライバ、その他画像を扱う機器に応用可能である。
【０００２】
【従来の技術】
ＪＰＥＧ（Joint Photographic Coding Experts group）で採用されているＤＣＴ（離散コサイン変換）に代わる周波数変換として、近年ウェーブレット変換の採用が増加している。その代表例は、２００１年に国際標準になった、ＪＰＥＧ後継の画像圧縮伸長方式ＪＰＥＧ２０００である。
【０００３】
ウェーブレット変換の特徴は、高圧縮率時での画質に優れることと同時に、該変換が画像を複数の解像度成分に分解する性質を有し、原画像よりも低い解像度の画像を生成することにある。
【０００４】
しかしながら、従来から、原画像から低解像度画像を生成する際には次のような制限が課せられていた。従来の解像度変換を伴ったウェーブレット復号化では、その性質上、２のべき乗分の１でしか解像度を縮小することができない。これは、通常のウェーブレット変換が２分割フィルタバンクを用いていることに起因している。従って、復号化過程における合成フィルタバンクでは、２のべき乗分の１でしか低域成分を合成できないことになり、このため、復号画像の縮小率は２のべき乗分の１に制限されている。
【０００５】
一方で、原画像の解像度が大きくなると、２のべき乗分の１以外の解像度でデコードする要求も増えて来ると考えられる。すなわち、２のべき乗分の１だけでなくそれ以外も含む任意有理数の解像度でデコード（復号化）することができるようになれば、端末側の制約条件に左右されることが無くなるため、非常に用途が広まると考えられる。
【０００６】
この解像度変換に関し、特許文献１及び特許文献２（以下、順に従来技術１，従来技術２と呼ぶ）には、上述のごとき解像度変換の問題点を示した上で、変換方式にウェーブレット変換を用いて圧縮符号化がなされた画像信号を、端末側の制約条件に左右されること無く、任意有理数の解像度でデコード（復号化）可能とし、その結果として、例えば電子スチルカメラやプリンタ等で多用されている所謂サムネイル画像や原画像を解像度変換した画像（縮小又は拡大した画像）の記憶・表示を効率的に行えるようにし、各種の製品への使用用途を大幅に広げることを可能とする「ウェーブレット復号化装置及び方法」が記載されている。
【０００７】
従来技術１のウェーブレット復号化装置は、符号化ビットストリームをエントロピー復号化するエントロピー復号化部と、量子化係数を逆量子化して変換係数を送出する逆量子化部と、変換係数を所定の方法でスキャニングして変換係数を並び換える変換係数逆スキャニング部と、並び換えられた変換係数を逆変換して復号画像を供するウェーブレット逆変換部とを備え、ウェーブレット逆変換部は、解像度変換倍率に応じて変換係数の帯域制限を行う手段を有し、アップサンプラ、ダウンサンプラ、合成フィルタを適応的に配置する構成をもつことを特徴としている。
【０００８】
また、従来技術２のウェーブレット復号化装置は、符号化ビットストリームをエントロピー復号化するエントロピー復号化部と、量子化係数を逆量子化して変換係数を送出する逆量子化部と、変換係数を所定の方法でスキャニングして変換係数を並び換える変換係数逆スキャニング部と、並び換えられた変換係数を逆変換して復号画像を供するウェーブレット逆変換部とを備え、ウェーブレット逆変換部は、解像度変換倍率に応じてアップサンプラ、ダウンサンプラ、合成フィルタを適応的に配置する構成をもつことを特徴としている。
【０００９】
図３３は、従来技術２の公報に記載された、原画像の１／３の解像度を得る場合のウェーブレット逆変換部の構成を示す図である。帯域制限により、「原画像の１／３の解像度」よりも高い解像度成分１１１，１１２の係数は用いないが、低い解像度成分の係数（出力１２３）に対しては、全て逆変換を施して原画像の１／２の解像度の画像（信号１１４）を得、さらに逆変換を施して原画像と同じ解像度の画像（信号１１７）までもを得、最後にダウンサンプラ１３４によって１／３に間引き、所望の画像（信号１１８）を得ている。なお、図３３において１０９はＬＬＬ信号、１１０はＬＬＨ信号、１１１はＬＨ信号、１１２はＨ信号、１１９，１２１，１２４，１２６，１２９，１３１は２倍のアップサンプラ、１２０，１２５，１３０は合成用ローパスフィルタ、１２２，１２７，１３２は合成用ハイパスフィルタであり、従来技術２の発明では破線で示す構成要素を必要としない。
【特許文献１】
特開２０００−１２５２９３号公報
【特許文献２】
特開２０００−１２５２９４号公報
【００１０】
【発明が解決しようとする課題】
従来技術１及び従来技術２のいずれの発明においても、「適応的に配置する構成」の意味するところが不明確であるが、それらの発明の実施の形態においては、帯域制限後逆ウェーブレット変換を行って復号画像を得た後、最終段にダウンサンプラを配置して、その復号画像を間引くことで縮小画像を生成している。かかる構成では、最終的には除かれてしまう画素をも逆ウェーブレット変換を施して復号せざるを得ず、効率的ではない。
【００１１】
なお、その他の発明としては、本出願人による特願２０００−３４４３９１号，２０００−３４４１５５号，２００１−１９５９３７号，２００１−１４２９４２号に記載の変換符号の画像伸張方法（装置）が挙げられるが、これらの発明では、まず所望のサイズに近い解像度レベルまでのウェーブレット係数を取り出し、逆ウェーブレット変換を行って復号画像を生成した後、変倍処理を加えて所望のサイズの画像を得ることを特徴としている。これらの発明においては変倍処理が必要となる。
【００１２】
本発明は、上述のごとき実状に鑑みてなされたものであり、ウェーブレット係数が本来画素位置との対応関係を有するものであることに着目し、ウェーブレット係数と画素位置との対応関係を利用して、最終的に得たい画素に関係する係数のみに対して逆ウェーブレット変換を施すことにより、より少ない処理量で、所望解像度の復号画像データ、すなわち所望の縮小画像データの生成が可能な、画像データ生成装置を提供することをその目的とする。
【００１３】
また、従来技術１及び従来技術２の発明におけるウェーブレット係数に帯域制限を設ける手法は、高速化にある程度有効であるが、エントロピー復号化部で、帯域制限にかからないウェーブレット係数の符号を全て復号する構成を前提としており、効率的とはいえない。
【００１４】
本発明は、ウェーブレット係数の符号の部分的復号を適時実行することにより、復号速度と復号画質のバランスをとりながら、所望解像度の復号画像データ（所望の縮小画像データ）の生成が可能な、画像データ生成装置を提供することを他の目的とする。
【００１５】
【課題を解決するための手段】
請求項１の発明は、ウェーブレット係数を逆ウェーブレット変換する逆ウェーブレット変換手段を有し、原画像を縮小した縮小画像のデータを生成する画像データ生成装置において、同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数（ただし、当該逆ウェーブレット変換を行うウェーブレット係数は、同一サブバンドに含まれる全てのウェーブレット係数ではなく、かつ、１つ以上のウェーブレット係数である）を選択する係数選択手段を有し、前記逆ウェーブレット変換手段は、前記同一サブバンド中のウェーブレット係数に関しては、前記係数選択手段で選択されたウェーブレット係数のみを逆ウェーブレット変換することを特徴としたものである。
【００１６】
請求項２の発明は、請求項１の発明において、前記係数選択手段は、少なくとも前記生成する縮小画像の画素に関係するウェーブレット係数の全てを選択する手段を有することを特徴としたものである。
【００１７】
請求項３の発明は、請求項１の発明において、前記係数選択手段は、前記生成する縮小画像の画素に関係するウェーブレット係数のみを選択する手段を有することを特徴としたものである。
【００１８】
請求項４の発明は、請求項２の発明において、前記係数選択手段は、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記生成する縮小画像の画素位置に当たるウェーブレット係数を含み、前記逆ウェーブレット変換のうち最後に施される方向の直線上に位置するウェーブレット係数を、全て選択する手段を有することを特徴としたものである。
【００１９】
請求項５の発明は、請求項２の発明において、前記逆ウェーブレット変換は２次元でなされるものとし、前記係数選択手段は、前記逆ウェーブレット変換のうち最初に施される方向の逆変換に係わる選択を行う際には、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記生成する縮小画像の画素位置に当たるウェーブレット係数及び該画素位置を前記逆変換で求めるのに必要な画素位置に当たる係数を含み、前記逆ウェーブレット変換のうち最初に施される方向に垂直な直線上に位置するウェーブレット係数を、全て選択する手段を有することを特徴としたものである。
【００２０】
請求項６の発明は、請求項１乃至５のいずれか１の発明において、前記係数選択手段は、前記生成すべき縮小画像に満たない範囲で最大の解像度を有するＬＬサブバンドを逆ウェーブレット変換して求めるよう、該ＬＬサブバンドのデコンポジションレベルより高い同一デコンポジションレベルのサブバンド中のウェーブレット係数を全て選択する手段を有することを特徴としたものである。
【００２１】
請求項７の発明は、請求項１乃至６のいずれか１の発明において、前記逆ウェーブレット変換のタップ長がハイパスフィルタとローパスフィルタで異なるものとし、ｄを前記逆ウェーブレット変換の次元数、ｎを縮小画像の画素数、Ｔｌｏｗをローパスフィルタのタップ長、Ｔｈｉｇｈをハイパスフィルタのタップ長として、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を「ｄ・ｎ（Ｔｌｏｗ＋Ｔｈｉｇｈ）／２」未満としたことを特徴としたものである。
【００２２】
請求項８の発明は、請求項１乃至７のいずれか１の発明において、前記逆ウェーブレット変換は、複数のコンポーネント毎に施し、且つ少なくとも１つのコンポーネントに対し他のコンポーネントと解像度を異ならして施すことを特徴としたものである。
【００２９】
請求項９の発明は、ウェーブレット係数を逆ウェーブレット変換する逆ウェーブレット変換ステップを有し、原画像を縮小した縮小画像のデータを生成する画像データ生成方法において、同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数（ただし、当該逆ウェーブレット変換を行うウェーブレット係数は、同一サブバンドに含まれる全てのウェーブレット係数ではなく、かつ、１つ以上のウェーブレット係数である）を選択する係数選択ステップを有し、前記逆ウェーブレット変換ステップは、前記同一サブバンド中のウェーブレット係数に関しては、前記係数選択ステップで選択されたウェーブレット係数のみを逆ウェーブレット変換することを特徴としたものである。
【００３０】
請求項１０の発明は、請求項９の発明において、前記係数選択ステップは、少なくとも前記生成する縮小画像の画素に関係するウェーブレット係数の全てを選択するステップを有することを特徴としたものである。
【００３１】
請求項１１の発明は、請求項９の発明において、前記係数選択ステップは、前記生成する縮小画像の画素に関係するウェーブレット係数のみを選択するステップを有することを特徴としたものである。
【００３２】
請求項１２の発明は、請求項１０の発明において、前記係数選択ステップは、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記生成する縮小画像の画素位置に当たるウェーブレット係数を含み、前記逆ウェーブレット変換のうち最後に施される方向の直線上に位置するウェーブレット係数を、全て選択するステップを有することを特徴としたものである。
【００３３】
請求項１３の発明は、請求項１０の発明において、前記逆ウェーブレット変換は２次元でなされるものとし、前記係数選択ステップは、前記逆ウェーブレット変換のうち最初に施される方向の逆変換に係わる選択を行う際には、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記生成する縮小画像の画素位置に当たるウェーブレット係数及び該画素位置を前記逆変換で求めるのに必要な画素位置に当たる係数を含み、前記逆ウェーブレット変換のうち最初に施される方向に垂直な直線上に位置するウェーブレット係数を、全て選択するステップを有することを特徴としたものである。
【００３４】
請求項１４の発明は、請求項９乃至１３のいずれか１の発明において、前記係数選択ステップは、前記生成すべき縮小画像に満たない範囲で最大の解像度を有するＬＬサブバンドを逆ウェーブレット変換して求めるよう、該ＬＬサブバンドのデコンポジションレベルより高い同一デコンポジションレベルのサブバンド中のウェーブレット係数を全て選択するステップを有することを特徴としたものである。
【００３５】
請求項１５の発明は、請求項９乃至１４のいずれか１の発明において、前記逆ウェーブレット変換のタップ長がハイパスフィルタとローパスフィルタで異なるものとし、ｄを前記逆ウェーブレット変換の次元数、ｎを縮小画像の画素数、Ｔｌｏｗをローパスフィルタのタップ長、Ｔｈｉｇｈをハイパスフィルタのタップ長として、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を、「ｄ・ｎ（Ｔｌｏｗ＋Ｔｈｉｇｈ）／２」未満としたことを特徴としたものである。
【００３６】
請求項１６の発明は、請求項９乃至１５のいずれか１の発明において、前記逆ウェーブレット変換は、複数のコンポーネント毎に施し、且つ少なくとも１つのコンポーネントに対し他のコンポーネントと解像度を異ならして施すことを特徴としたものである。
【００４３】
【発明の実施の形態】
本発明に関し、ウェーブレット係数が画素位置との対応関係を有することに着目し、最終的に得たい画素に関係する係数のみに対して逆ウェーブレット変換を施すことにより、より少ない処理量で所望解像度の復号画像が生成可能である理由について説明する。
【００４４】
図１乃至図４は、１６×１６のモノクロの画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を２次元（垂直方向及び水平方向）で施す過程の例を説明するための図である。図１は原画像と座標系を、図２は垂直方向へのフィルタリング後の係数の配列を、図３は水平方向へのフィルタリング後の係数の配列を、図４は並べ替えた係数の配列を、それぞれ示す図である。なお、ＪＰＥＧ２０００で規定されているウェーブレット変換には、５×３ウェーブレット変換及び９×７ウェーブレット変換の２種類があり、ウェーブレット変換に関し５×３ウェーブレット変換のみを例として説明するが、９×７ウェーブレット変換や他のウェーブレット変換にも適用可能である。
【００４５】
図１に示すように、画像１の左上端に原点とし、水平方向をＸ軸、垂直方向をＹ軸とするＸＹ座標をとり、あるＸ座標値ｘについて、Ｙ座標がｙである画素の画素値をＰ（ｙ）（０≦ｙ≦１５）と表す。ＪＰＥＧ２０００では、まず垂直方向（Ｙ軸正方向）に、ｙが奇数（ｙ＝２ｉ＋１）の画素を中心にハイパスフィルタを施して係数Ｃ（２ｉ＋１）を得、次にｙが偶数（ｙ＝２ｉ）の画素を中心にローパスフィルタを施して係数Ｃ（２ｉ）を得る（これを全てのｘについて行う）。ここで、ハイパスフィルタ，ローパスフィルタは、順に次式（１），（２）で表される。ここで、記号|_ｘ_|はｘのフロア関数（実数ｘを、ｘを越えず且つｘに最も近い整数に置換する関数）を示している。なお、画像の端部においては、中心となる画素に対して隣接画素が存在しないことがあり、この場合は所定ルールによって適宜画素値を補うことになるが、本発明の本質とは関係しないため詳述しない。
【００４６】
C(2i+1)=P(2i+1)-|_(P(2i)+P(2i+2))/2_| …（１）
C(2i)=P(2i)+|_(C(2i-1)+C(2i+1)+2)/4_| …（２）
【００４７】
簡単のため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬと表記すると、前述の垂直方向の変換によって図１の画像の係数配列１は図２のようなＬ係数，Ｈ係数の配列２へと変換される。
【００４８】
続いて、今度は図２の係数配列２に対して、水平方向に、ｘが奇数（ｘ＝２ｉ＋１）の係数を中心にハイパスフィルタを施し、次にｘが偶数（ｘ＝２ｉ）の係数を中心にローパスフィルタを施す（これを全てのｙについて行う）。この場合、上式（１），（２）のＰ（２ｉ）等は係数値を表すものと読み替える。
【００４９】
簡単のため、
前記Ｌ係数を中心にローパスフィルタを施して得られる係数をＬＬ、
前記Ｌ係数を中心にハイパスフィルタを施して得られる係数をＨＬ、
前記Ｈ係数を中心にローパスフィルタを施して得られる係数をＬＨ、
前記Ｈ係数を中心にハイパスフィルタを施して得られる係数をＨＨ、
と表記すると、図２の係数配列２は、図３に示すような係数配列３へと変換される。ここで同一の記号（ＬＬ等）を付した係数群はサブバンドと呼ばれ、図３は４つのサブバンドで構成される。
【００５０】
以上で、１回のウェーブレット変換（１回のデコンポジション（分解））が終了する。ここで上述のＬＬ係数だけを集める、すなわち図４に示す係数配列４のようにサブバンド毎（ＬＬサブバンド４１，ＨＬサブバンド４２，ＬＨサブバンド４３，ＨＨサブバンド４４）に集めＬＬサブバンド４１だけ取り出すと、ちょうど原画像の１／２の解像度の”画像”が得られる。なお、このように、サブバンド毎に分類することをデインターリーブと呼び、図３のような状態に配置することを、インターリーブすると表現する。なお、前述した従来技術においてはこれを「スキャニングして並べ換える」と表現している。また、２回目のウェーブレット変換は、そのＬＬサブバンド（例えばＬＬサブバ４１）を原画像と見なして、上述と同様の変換を行えばよい。この場合、並べ替えを行うと、図５に示す模式的な係数配列５（ＬＬサブバンド５１，ＨＬサブバンド５２，ＬＨサブバンド５３，ＨＨサブバンド５４，ＨＬサブバンド４２，ＬＨサブバンド４３，ＨＨサブバンド４４）が得られる。図５の場合、２ＬＬ〜１ＨＨまで、計７種類のサブバンドが存在する。なお、図４及び図５における係数の接頭の１や２は、何回のウェーブレット変換でその係数が得られたかを示しており、デコンポジションレベルと呼ばれる。図３３中のレベルは、デコンポジションレベルのことであり、デコンポジションレベルが高いサブバンドほど、解像度が低いことになる。
なお、以上の議論において、１次元のみのウェーブレット変換をしたい場合には、いずれかの方向だけの処理を行えばよい。
【００５１】
一方、ウェーブレット逆変換は、図３に示すようなインターリーブされた係数の配列３に対して、まず水平方向に、ｘが偶数（ｘ＝２ｉ）の係数を中心に逆ローパスフィルタを施し、次にｘが奇数（ｘ＝２ｉ＋１）の係数を中心に逆ハイパスフィルタを施す（これを全てのｙについて行う）。ここで逆ローパスフィルタ、逆ハイパスフィルタは、順に次式（３），（４）で表される。先と同様、画像の端部においては、中心となる係数に対して隣接係数が存在しないことがあり、この場合は所定ルールによって適宜係数値を補うことになるが、本発明の本質とは関係しないため詳述しない。
【００５２】
P(2i)=C(2i)-|_(C(2i-1)+C(2i+1)+2)/4_| …（３）
P(2i+1)=C(2i+1)+|_(P(2i)+P(2i+2))/2_| …（４）
【００５３】
これにより、図３の係数配列３は図２のような係数配列２に変換、すなわち逆変換される。続いて同様に、垂直方向に、ｙが偶数（ｙ＝２ｉ）の係数を中心に逆ローパスフィルタを施し、次にｙが奇数（ｙ＝２ｉ＋１）の係数を中心に逆ハイパスフィルタを施せば（これを全てのｘについて行う）、１回のウェーブレット逆変換が終了し、図１の画像の係数配列１に戻る、すなわち再構成されることになる。なお、ウェーブレット変換が複数回施されている場合は、やはり図１をＬＬサブバンドとみなし、ＨＬ等の他の係数を利用して同様の逆変換を繰り返せばよい。なお、ウェーブレット変換及び逆ウェーブレット変換によって、各サブバンドが生成される様子及び再構成される様子については後述する（図９参照）。
【００５４】
ここで、逆ローパスフィルタの結果が「フィルタ中心の係数（すなわちフィルタリングしたい係数）」を含めた３つの係数から求められること、及び、逆ハイパスフィルタの結果が「フィルタ中心の係数」と「隣接する２つの逆ローパスフィルタの結果」から求められることが理解できる。後者に関し、２つの逆ローパスフィルタの結果はフィルタ中心の係数を含む５つの係数から計算されるため、結局は５つの係数から求められることとなる。これらの理解から明らかなように、１つの画素を得るためには、その画素を中心とした逆ウェーブレット変換をすればよく、その逆変換に関係しない他の画素に対してまで逆変換を施す必要はない。したがって、逆変換によって、間引かれる画素までも求めるのではなく、同一サブバンド中の係数のうち、最終的に得たい画素を求めるのに必要な係数だけを用いて逆ウェーブレット変換を施すことにより、より少ない処理量で所望解像度の復号画像の生成が可能なのである。
【００５５】
図６は、本発明の一実施形態に係る画像データ生成装置の構成を説明するための図である。
本実施形態に係る画像データ生成装置１０は、原画像（原画像に色変換やその他の変換を行った後の画像も該当する）をもとに１又は複数回ウェーブレット変換を施すことにより得られたウェーブレット係数を、逆ウェーブレット変換する逆ウェーブレット変換手段１１を有し、原画像を縮小した縮小画像のデータを生成する装置であり、係数選択手段１２を有するものとする。
【００５６】
係数選択手段１２では、同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数を選択する。ここで、選択前のウェーブレット係数の全体は、換言すると１つのＬＬサブバンド（原画像データの場合も含む；このＬＬサブバンドよりデコンポジションレベルが１つ高い４つのサブバンドともいえる）内のウェーブレット係数の全体であるとも云える。ただし、ここでの選択は従来技術のように例えば２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨを選択するが１ＨＬ，１ＬＨ，１ＨＨは選択しない（つまり逆変換しない）、といった選択ではない。実際には、後述するように選択前の係数はインターリーブされたものである方が選択処理が簡単になる。逆ウェーブレット変換手段１１は、上述の同一サブバンド中のウェーブレット係数に関しては、係数選択手段１２で選択されたウェーブレット係数のみを逆ウェーブレット変換する。この逆ウェーブレット変換により縮小画像のデータを生成することとなる。なお、例えば本発明の選択的逆変換を利用して２ＬＬサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨサブバンド）内の係数から選択した係数を逆変換するのであれば、その前処理で必要に応じて求めるべき３ＬＬサブバンド（４ＬＬ，４ＨＬ，４ＬＨ，４ＨＨサブバンドからなり、係数選択手段１２を経ずに処理させるもの）内の係数など、その他の処理（前処理等）に係わるウェーブレット係数を、逆ウェーブレット変換手段１１で逆変換してもよいことは言及するまでもない。本実施形態に係る画像データ生成装置１０は、上述したように、同一（１つ）のサブバンド（ただし原画像全体もサブバンドとみなす場合も含む）中の係数を選択的に逆ウェーブレット変換する手段を有するとも云える。なお、本明細書中においては、逆ウェーブレット変換手段１１により逆変換する係数をウェーブレット係数又は単に係数と呼ぶこととし、逆変換後、再度逆変換する係数をもウェーブレット係数又は係数と呼ぶこととする。２次元の逆ウェーブレット変換であれば、両方向への逆変換を施す係数や、さらには一方向への逆変換を施す係数をもウェーブレット係数又は係数と呼ぶこととする。
【００５７】
図７は、図１の原画像を５×３ウェーブレット変換した後の全ての係数を、逆ウェーブレット変換することにより生成された１６×１６画像を示す図である。今、原画サイズを１６画素×１６画素とし、前述した従来技術１，２の実施例のように、この原画像から縦横１／３のサイズの画像（１６は３で割り切れないため、５×５画素の画像）を生成することを考える。図７は、全ての係数を逆変換（水平方向，垂直方向の順とする）することによって生成した１６×１６の画像の係数配列の様子（図１と同じもの）を示しているが、５×５の画像を生成するためには、図７中の係数のうち下線を引いた５×５画素を中心とした逆ウェーブレット変換だけを行えばよい。本例では、５×３変換を採用しており、垂直方向の逆ハイパスフィルタが「フィルタ中心の係数」と「隣接する２つの逆ローパスフィルタの結果」から求められることから、最終的に図７で色付けした４５画素分だけの逆変換（垂直方向）をすれば足りることになる。これは、全画像の１８％未満の画素だけを選択し、逆変換時の垂直方向へのフィルタリングにより２５画素の係数を求めればよいことを意味する。なお、ここで色付けして示した４５画素は、垂直方向の逆変換前には図７に示した係数値を持たず、図７で例示した各画素位置における係数値はあくまで逆ウェーブレット変換後（水平及び垂直方向）の値である。本実施形態によれば、少ない計算量で縮小画像を生成することが可能となる。
【００５８】
本発明の他の実施形態として、係数選択手段１２は、少なくとも生成する（最終的に得たい）縮小画像の画素に関係するウェーブレット係数の全てを選択する手段を有するようにしてもよい。さらに他の実施形態として、係数選択手段１２は、生成する（最終的に得たい）縮小画像の画素に関係するウェーブレット係数のみを選択する手段を有するようにしてもよい。すなわち、最終的に得たい縮小画像の画素に関係する係数のみに対して逆ウェーブレット変換を施すようにしてもよい。ここで「関係」とはウェーブレット変換の性質による関係などを指し、その例としては上式（１）〜（４）により導かれる関係（図７の下線画素に対する色付け画素など）が挙げられる。本実施形態によれば、最も少ない計算量で縮小画像を生成することが可能となる。
【００５９】
なお、ここで確認しておきたいのは、最終的に得たい縮小画像の画素に関係する係数のみに対して逆ウェーブレット変換を施した場合、最終的に得られる画像は、全てのウェーブレット係数を逆変換して得られた画像に間引きを加えて生成した縮小画像と数学的に等価なものであるということである。ウェーブレット係数自体を間引き、該間引いた係数に対して逆ウェーブレット変換を施した場合、サイズとしては同じ縮小画像が得られることにはなる。しかし、係数自体を間引いてしまった場合には、正変換で得られた係数とは異なる係数を用いて逆変換を行うことになるため、得られた縮小画像は、もはや数学的な根拠を失ったものとなるのである。
一方本発明の場合は、数学的に根拠のある、全く等価な画像が得られるのである。
【００６０】
なお、上述のごとく、図７の下線の２５画素を求めるためには、逆変換時の垂直方向のフィルタリングが終わった状態の係数として、その２５画素の他に、色付けで示すその周辺の画素をも求めておく必要がある。当該画素が、この「周辺の画素」に相当するか否かを判断するのが煩雑な場合は、下線の画素を含む垂直方向の直線上に位置する画素を全て求めてしまい、その後必要に応じて画素を間引く構成も考えられる。ここで「必要に応じて」と述べたのは、原画像とは縦横比が異なる縮小画像を要求された場合には、間引きの必要がない場合もあるからである。
【００６１】
したがって、本発明の他の実施形態として、生成したい縮小画像の画素位置に当たる係数を含んだ一方向（逆ウェーブレット変換のうち最後に逆変換が施される方向）の直線上に位置する係数を全て求めるようにしてもよい。本実施形態における係数選択手段１２は、上述の同一サブバンド中のウェーブレット係数（インターリーブされた状態）のうち、生成したい縮小画像の画素位置に当たるウェーブレット係数を含み、逆ウェーブレット変換のうち最後に施される方向（上述の例では垂直方向）の直線上に位置するウェーブレット係数を全て選択する手段を有するようにする。このような選択により、これらのウェーブレット係数全てが逆ウェーブレット変換手段１１で逆変換され、その逆変換の結果として、生成したい縮小画像の画素位置の係数を含む上述の直線上に位置する係数が全て求まることとなる。求まった係数全てからなる画素群から、上述のごとく必要に応じて間引き処理を施すことにより、所望の縮小画像が生成される。本実施形態によれば、縮小画像生成に際し、実装を簡易にすることが可能となる。
【００６２】
ここまでは、最後に施す方向の逆変換時における係数選択について説明した。
次に、逆変換を二次元で行う場合に、最初に施す方向の逆変換時における係数選択について説明する。
【００６３】
図８は、図１の原画像を５×３ウェーブレット変換した後の全ての係数に対し、逆変換時の水平方向のフィルタリングを施すことにより生成された１６×１６画像を示す図である。図８中の係数配列７は図２に相当するものとなる。
図７の色付け画素位置の係数を求めるためには、逆変換時の水平方向のフィルタリング前の状態の係数として、図８に示す色付け部分の画素が選択されている必要がある。選択された係数は、その後、水平方向の逆変換を施されるため、図７の色付け画素位置の係数を求めるためには、図８に示す色付け部分の係数が逆変換される必要がある。なお、ここで色付けして示した１２６画素は、水平方向の逆変換前には図８に示した係数値を持たず、図８で例示した各画素位置における係数値はあくまで逆変換時の水平方向のフィルタリング後の値である。先と同様、図８の例においても「周辺の画素」を判定しない方が、実装上簡易な場合もある。
【００６４】
したがって、本発明の他の実施形態として、逆ウェーブレット変換は２次元でなされるものとし、縮小画像の画素位置とその位置に係わる位置に当たる係数にを含み、該逆変換のうち最初に施される方向に垂直な直線上に位置する係数を全て求めるようにしてもよい。本実施形態における係数選択手段１２は、上述の同一サブバンド中のウェーブレット係数（インターリーブされた状態）のうち、逆ウェーブレット変換のうち最初に施される方向（上述の例では水平方向）の逆変換に係わる選択を行う際には、生成する縮小画像の画素位置に当たる係数及び該画素位置をその逆変換で求めるのに必要な画素位置に当たる係数を含み、その逆変換のうち最初に施される方向に垂直な直線上に位置する全てのウェーブレット係数を選択する手段を有するようにする。この手段を利用した結果、選択された係数に対し最初の方向の逆変換を実施し、他の方向の逆変換及び必要に応じて間引き処理を施すことにより生成したい縮小画像の画素位置の係数を求めるようにしている。本実施形態によれば、縮小画像生成に際し、実装を簡易にすることが可能となる。
【００６５】
なお、従来技術２における図３３においては、原画像と同じ解像度の画像を生成してからこれを１／３に間引いている。しかし、本来は、原画像の１／２の解像度の画像を元に、１／３の画像を求める方が高速である。図９は、本発明を利用して解像度１／３の画像を生成する場合の構成を、ウェーブレット変換・逆ウェーブレット変換の流れに沿って示したものである。解像度１／３の画像を生成する場合には、１／４の解像度、すなわち求める解像度よりも小さな解像度のＬＬ係数（２ＬＬ）を逆ウェーブレット変換で求めればよく、そして求めた２ＬＬの係数を（２ＨＬ，２ＬＨ，２ＨＨサブバンドの係数を利用して）、選択的に逆ウェーブレット変換を行うことにより、最終的に１／３の解像度の画像を得ることができる。
【００６６】
したがって、本発明の他の実施形態として、直近の解像度までは全係数逆変換するようにしてもよい。すなわち、本実施形態における係数選択手段１２は、生成すべき縮小画像に満たない範囲で最大の解像度を有するＬＬサブバンドを逆ウェーブレット変換して求めるために、そのＬＬサブバンドのデコンポジションレベルより高い同一デコンポジションレベルのサブバンド中のウェーブレット係数を全て選択する手段を有するものとする。
【００６７】
なお、図７の網掛け部の通り、先の５×３逆変換では、最終的に求めたい下線で示す画素が奇数位置にあるか偶数位置にあるかで、求めるべき隣接画素の数が異なる。これは、先に述べたとおり、ローパスフィルタとハイパスフィルタのタップ長の違いに由来するものである。よってこの場合、最終的に求めたい画素が、なるべく偶数位置にくるように選べば、求めるべき隣接画素の数を最小にでき、処理を高速にできる。最終的に求めたい画素が偶数位置にくるように選ぶには、最終的に求めたい画素群の頂点の画素、図７でいう値−３の画素を偶数位置にすればよい。また、下線で示す画素群を格子状に規則的に配置しない方法もある。
【００６８】
よって、本発明の他の実施形態として、フィルタのタップ長の総和が短くなるような位置にある画素の係数を選択するようにしてもよい。図７において、ｘ，ｙともに偶数座標であるような位置を選択した場合，逆変換時のフィルタのタップ長は、一方向あたりＴｌｏｗで最小となる。逆に、ｘ，ｙともに奇数座標であるような位置を選択した場合、逆変換時のフィルタのタップ長は一方向あたりＴｈｉｇｈで最大となる。従って、演算量を減らしたい場合には、平均的に、一方向あたりのフィルタのタップ長がこれらの平均値未満、すなわち「（Ｔｈｉｇｈ＋Ｔｌｏｗ）／２」未満となるように座標を選択してやるのが効果的である。本実施形態では、逆ウェーブレット変換のタップ長がハイパスフィルタとローパスフィルタで異なるものとし、ｄを逆ウェーブレット変換の次元数、ｎを縮小画像の画素数、Ｔｌｏｗをローパスフィルタのタップ長、Ｔｈｉｇｈをハイパスフィルタのタップ長として、上述の同一サブバンド中のウェーブレット係数（インターリーブされた状態）のうち、生成縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を「ｄ・ｎ（Ｔｌｏｗ＋Ｔｈｉｇｈ）／２」未満とする。本実施形態によれば、逆ウェーブレット変換での縮小画像生成に際し、高速な処理を実現することが可能となる。逆ウェーブレット変換が２次元の場合には、同一（１つの）サブバンド中の係数を選択的に逆変換するステップと、その変換のタップ長がハイパスフィルタとローパスフィルタで異なり、インターリーブされた状態の係数のうち、縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を、ｎ（Ｔｌｏｗ＋Ｔｈｉｇｈ）未満とするステップを備えていればよいこととなる。２次元逆ウェーブレット変換での縮小画像生成に際しても、高速な処理を実現することが可能となる。
【００６９】
上述した各実施形態を適時に利用することにより、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨのサブバンドに分割されたウェーブレット係数から、原画像の１／３の解像度をもつ縮小画像を生成する場合には、本発明の選択的逆変換を適用した主たるものとして、次の（１）〜（３）の処理手順が実行可能となる。なお、例えば２次元のウェーブレット係数に対しては水平方向，垂直方向の逆変換処理で、本発明の選択的逆変換を適用するか否かを異ならせてもよい。
【００７０】
（１）２ＬＬサブバンドの係数、すなわちデコンポジションレベル３の４つのサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）の係数に対し、従来の、すなわち本発明の選択的逆変換を用いない逆ウェーブレット変換（換言すると全ての係数を選択した変換）を施し、２ＬＬを求め、１ＬＬサブバンドの係数、すなわちデコンポジションレベル２の４つのサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）の係数をインターリーブした状態で選択的に逆ウェーブレット変換し、変換後の係数を取り出すことで縮小画像を得る。
（２）２ＬＬサブバンドの係数、すなわちデコンポジションレベル３の４つのサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）の係数から、インターリーブした状態で、２回の逆変換を加味して係数を選択し、２回の逆ウェーブレット変換を施し（２ＨＬ，２ＬＨ，２ＨＨの係数も利用）、変換後の係数を取り出すことで縮小画像を得る。
（３）上記（１），（２）において、係数の選択を簡略化し、変換後に不要に残った係数を間引きし、縮小画像を得る。
【００７１】
さて、原画像が例えばＲＧＢという３コンポーネントからなるカラー画像であって、その画像に圧縮を施す場合、圧縮率をあげるために、ＲＧＢに色変換を施して１つの輝度と２つの色差の３つの新たなコンポーネントに変換し、変換後のコンポーネントに対して個々にウェーブレット変換を施すのが通常である。
【００７２】
先のＪＰＥＧ２０００で採用されている色変換の例としては、ＲＣＴ(reversible Component Transform)と呼ばれる下記変換がある。
輝度Ｙ＝|_（Ｒ＋２Ｇ＋Ｂ）／４_|
色差Ｕ＝Ｒ−Ｇ
色差Ｖ＝Ｂ−Ｇ …（５）
であり、その逆変換は、
Ｒ＝Ｇ＋Ｕ
Ｇ＝Ｙ−|_（Ｕ＋Ｖ）／４_|
Ｂ＝Ｖ＋Ｇ …（６）
となる。
【００７３】
図１０は、本発明の他の実施形態に係る画像データ生成装置を説明するためのブロック図で、ＪＰＥＧ２０００におけるＤＷＴ方式の画像圧縮／伸張アルゴリズムを説明するための図である。
ＪＰＥＧ２０００は、２００１年に国際標準になったＪＰＥＧ後継の画像圧縮伸張方式であり、図１０のように、２次元ウェーブレット変換・逆変換部２２、量子化・逆量子化部２３、エントロピー符号化・復号化部２４等で構成されている。このうち本発明に関する部分は、２次元ウェーブレット逆変換部（本明細書中では主に逆ウェーブレット変換手段として説明）である。色空間変換・逆変換部（色変換・逆変換部）２１からの入力又は色空間変換・逆変換部２１への出力として、さらにはタグ処理部２５からの入力又はタグ処理部２５への出力として、２次元ウェーブレット変換・逆変換部２２，量子化・逆量子化部２３，エントロピー符号化・復号化部２４のそれぞれが備えられている。各部は正逆方向で別構成としても良いことは言及するまでもないが、各部における処理はコンポーネント毎に実行するような構成としてもよい。図１０に示すＪＰＥＧ２０００での圧縮・伸張の処理としては、伸張時には、エントロピー復号、逆量子化を経て得られたコンポーネント毎のウェーブレット係数に対して、逆ウェーブレット変換が施され、その後逆色変換がなされてＲＧＢの画素値に戻るといった流れになる。
【００７４】
ここで、各コンポーネントが及ぼす画質への影響を考えた場合、一般に輝度による影響の方が色差による影響よりも大きいことから、図１０の量子化過程においては、輝度よりも色差の方をより量子化するのが通常である。これを縮小画像の生成に適用し、輝度に比べ、色差の解像度を低く抑えて逆変換し、その分色差成分は（仮想的に）補間する等して逆色変換を行えば、画質への影響を抑えながら、縮小画像の生成を高速に行うことが可能である。また、画質への影響度はＵとＶの例でも全く等しくはない。画像の色合いによって、常に成立するとは限らないが、例えば本発明者の理論計算ではＵの方がＶより影響が少ない結果が得られていることから、色差間で解像度を変えることも可能である。
【００７５】
したがって、本発明の他の実施形態として、複数のコンポーネントのウェーブレット係数を逆ウェーブレット変換し、原画像の縮小画像を生成する装置において、コンポーネントを異なる解像度まで逆変換する手段を有するようにし、コンポーネントごとに逆変換する解像度を変えるようにしてもよい。すなわち、コンポーネント間の解像度に差を設けたウェーブレット逆変換を施すようにしてもよい。本実施形態に係る画像データ生成装置は、複数のコンポーネントのウェーブレット係数を逆ウェーブレット変換する逆ウェーブレット変換手段を有し、原画像を縮小した縮小画像のデータを生成する装置であり、この逆ウェーブレット変換手段は、逆ウェーブレット変換を、複数のコンポーネントのそれぞれ毎に施し、且つ少なくとも１つのコンポーネントに対し他のコンポーネントと解像度を異ならして施すようにする。本実施形態によれば、複数のコンポーネントからなる縮小画像を、コンポーネント間の特性を利用して処理量を低減させ、高速に生成することが可能となる。
また、上述した選択的逆変換に係わる各実施形態の画像データ生成装置に、本実施形態の特徴部分を併せて適用すると、更なる高速化や実装の簡易化が可能である。
【００７６】
また、他の実施形態として、複数のコンポーネントのウェーブレット係数輝度成分及び色差成分の各々について、上述の解像度に満たない範囲で最大の解像度を有するＬＬサブバンドの係数を求めるようにしてもよい。本実施形態によれば、複数のコンポーネントからなる縮小画像を、より高速にかつ簡易に生成することが可能となる。
【００７７】
また、本発明の他の実施形態に係る画像データ生成装置においては、上述のコンポーネントが輝度成分及び色差成分であり、輝度成分を、色差成分よりも高い解像度まで逆変換するようにする。結果として色差は低解像度となる。本実施形態によれば、輝度，色差のコンポーネントからなる縮小画像を、画質への影響を抑えながら処理量を低減させ、より高速に生成することが可能となる。
【００７８】
また、他の実施形態として、上述のコンポーネントが２つの色差成分を有するものとし、この２つの色差成分を異なる解像度まで逆変換するようにしてもよい。本実施形態によれば、複数のコンポーネントからなる縮小画像を、色差成分間の特性を利用して色差の一方をさらに低解像度とすることで、より高速に生成することが可能となる。
【００７９】
また、他の実施形態として、色差成分の解像度を、輝度成分の解像度の１／２としてもよい。これは、ちょうど色差を輝度の１／４にサブサンプリングすることに相当し、一般に画質と処理速度のバランスにすぐれた組合せである。本実施形態によれば、複数のコンポーネントからなる縮小画像を、画質と処理速度のバランスのとれた状態で生成することが可能となる。
【００８０】
以上、本発明の画像データ生成装置を中心に各実施形態を説明してきたが、本発明は、それらの装置における処理ステップからなる画像データ生成方法としても、或いは、コンピュータをそれら装置として又はそれらの装置の各手段として機能させるための、又はコンピュータにそれら方法を実行させるためのプログラム（それらの処理内容が実装されているコンピュータプログラム）としても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（それらの処理内容が記録されているコンピュータ読み取り可能な情報記録媒体）としての形態も可能である。後述する実施例からも明らかなように、この方法により、少ない計算量で縮小画像を生成することやコンポーネント間の特性を利用して縮小画像を高速に生成することが可能となる。また、このプログラムにより、上述の各実施形態に対応した処理によって、少ない計算量で縮小画像を生成することや、高画質な縮小画像を簡易に生成すること、コンポーネント間の特性を利用して縮小画像を高速に生成することが可能なシステムを提供することができる。また、この記録媒体により、上述の各実施形態に対応した構成で、少ない計算量で縮小画像を生成することや、高画質な縮小画像を簡易に生成すること、コンポーネント間の特性を利用して縮小画像を高速に生成することが可能なシステムを提供することができる。これらのプログラムや記録媒体は、上述した実施形態に加え、後述する実施例を元に容易に実施できることは明らかである。
【００８１】
本発明による画像データ生成の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態を説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態に係る機能をコンピュータに実行させ、画像データ生成の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる画像データ生成の機能を実行することができる。
【００８２】
以下、本発明の実施形態をより具体的に説明する。
図１１は、本発明の一実施形態に係る画像データ生成装置の構成例を示す図である。
ここで説明する画像データ生成装置は、データバス３３を介して、ＲＡＭ３１，ＣＰＵ３２，ＨＤＤ３４が接続された構成となっており、以下の流れで、原解像度の圧縮画像から縮小画像が生成され、ＨＤＤ３４に保存されることとなる。
【００８３】
ＨＤＤ３４上に記録された原解像度の圧縮画像データが、ＣＰＵ３２からの命令によってＲＡＭ３１上に読み込まれる（ｉ）。次に、ＣＰＵ３２はＲＡＭ３１上の圧縮された画像データを所定解像度分だけ読み込み、ウェーブレット係数を求め、本発明に係る処理を適用して縮小画像を生成する（ｉｉ）。ＣＰＵ３２は、生成された縮小画像をＲＡＭ３１上の別の領域に書き込む（ｉｉｉ）。ＣＰＵ３２からの命令によって、縮小画像がＨＤＤ３４上に記録される（ｉｖ）。
【００８４】
図１２は、本発明の一実施形態に係る画像データ生成装置の他の構成例を示す図である。
ここで説明する画像データ生成装置は、データバス３７を介して、ＰＣ内のＲＡＭ３５，ＰＣ内のＣＰＵ３６，ＨＤＤ３８，モニタ（ＣＲＴ，ＬＣＤモニタ等）３９が接続された構成となっている。ユーザからの指示により、原解像度の画像データから縮小画像が高速に生成され、モニタ３９に表示される。
【００８５】
ＨＤＤ３８上に記録された原解像度の圧縮画像データが、ＣＰＵ３６からの命令によってＲＡＭ３５上に読み込まれる（i）。次に、ＣＰＵ３６はＲＡＭ３５上の圧縮された画像データを所定解像度分だけ読み込み、ウェーブレット係数を求め、本発明に係る処理を適用して縮小画像を生成する（ii）。ＣＰＵ３６は、生成された縮小画像をＲＡＭ３５上の別の領域に書き込む（iii）。ＣＰＵ３６からの命令によって、縮小画像がモニタ３９に送信され、表示がなされる（iv）。
【００８６】
図１３は、本発明の画像データ生成装置における処理の一実施例を説明するためのフロー図で、本発明を適用した縮小画像生成の基本的な流れを説明するためのフロー図である。また、図１４は本発明の一実施例における符号の構成例を示す図、図１５はデコンポジションレベルと解像度レベルの関係を示す図である。本実施例の画像データ生成装置に関し、上述のごとき装置構成のもと、式（５）による色変換及び５×３変換を使用したＪＰＥＧ２０００フォーマットによって圧縮された縦横偶数画素数の画像データを元に、縮小画像を生成する例を説明する。
【００８７】
本実施例における縮小画像の生成処理においては、まず、ユーザから指定された解像度（１／ｋとする）に基づいて生成する縮小画像の解像度レベルｒをセットする（ステップＳ１）。ユーザが所望の解像度を指定できる手段を備えておくとよい。次にｉ＝０にセットし（ステップＳ２）、ｉがｒになるまでｉをインクリメントし（ステップＳ３，Ｓ５）、その間、解像度レベルｉについて全コンポーネントのエントロピー符号を復号する（ステップＳ４）。なお、エントロピー符号の復号（可変長符号の復号であり、ＪＰＥＧ２０００ではＭＱ符号器が使用される）は、本実施形態の主旨には無関係であるため、ここでの説明は省略する。
【００８８】
図１４においては解像度０（最小解像度）のコンポーネント０（輝度），コンポーネント１（色差Ｖ），コンポーネント２（色差Ｕ）、解像度１のコンポーネント０，１，２、解像度２のコンポーネント０，１，２，．．．の順に並んだ符号を示しており、公知のようにＪＰＥＧ２０００においては、図１４に示したように、全てのコンポーネントの符号を、解像度順に並べた状態に構成することができるため、最も低解像度から所望の解像度までだけのウェーブレット係数を容易にとりだすことができる（ステップＳ１〜Ｓ５）。
【００８９】
これまでの議論及び本明細書中において、しばしば１／３の「解像度」という表現を使ったが、ＪＰＥＧ２０００では、解像度に類似した量として「解像度レベル」と呼ぶ量を使用する。最も低い解像度レベルが０、その次の解像度レベルは１となり、デコンポジションレベルと解像度レベルの関係は図１５に示すようになる。なお、この関係はＬＬのみ例外的な値となる。すなわち、３ＬＬは解像度レベル０、３ＨＬ，３ＬＨ，３ＨＨは解像度レベル１、２ＨＬ，２ＬＨ，２ＨＨは解像度レベル２、１ＨＬ，１ＬＨ，１ＨＨは解像度レベル３というようになる。また、２ＬＬは解像度レベル１、１ＬＬは解像度レベル２となる。
【００９０】
解像度レベルｒが原画像の何分の１の解像度かは、デコンポジションレベルの最大値によることになる。デコンポジションレベルの最大値をｄとすると、解像度レベルがｒ（ｒ＞０）であるウェーブレット係数（サブバンド）の、原画像に対する解像度は１／２^（ｄ−ｒ＋１）になる。よって、原画像の１／ｋの縮小画像を生成するために、ステップＳ１においてセットすべきｒの値は、
ｒ＝ｄ−（ｌｏｇ２ｋ−１） …（７）
となる。よって、ユーザによって、原画像に対する所望の解像度（１／ｋ）が与えられると、式（７）によって解像度レベルｒが算出され、ステップＳ１でセットされる。
【００９１】
ウェーブレット係数は、通常量子化されており、逆ウェーブレット変換前には逆量子化しておく必要がある。そこで、解像度レベルｒ未満の解像度ｉにおける処理が終了すると（ステップＳ３でＮＯ）、復号した全てのウェーブレット係数を逆量子化する（ステップＳ６）。その後、選択的逆ウェーブレット変換処理を実行する（ステップＳ７）。ステップＳ７で示した選択的ウェーブレット逆変換処理は、本発明の主要部をなし、これは図１６の「全コンポーネントに対するＬＬ生成処理」、図１８の「全コンポーネントに対する水平画素位置決定及び水平方向フィルタリング処理」、図２０の「全コンポーネントに対する垂直画素位置決定及び垂直方向フィルタリング処理」からなり、後述する。コンポーネントが複数ある場合には、逆色変換を行う（ステップＳ８）。
【００９２】
図１６は全コンポーネントに対するＬＬ生成処理を説明するためのフロー図、図１７は図１６の処理内容を詳細に説明するためのフロー図で、生成する縮小画像の解像度に満たない解像度を有するＬＬサブバンドの係数を求める処理を説明するためのフロー図である。
本実施例における全コンポーネントに対するＬＬ生成処理は、まず、輝度についてのＬＬ生成処理を施し（ステップＳ１１）、次にｒを１つ下げて（ｒ＝ｒ−１）色差ＶについてＬＬ生成処理を施し（ステップＳ１２）、さらにｒを１つ下げて（ｒ＝ｒ−２）色差ＵについてＬＬ生成処理を施す（ステップＳ１３）という手順で行われる。
【００９３】
図１７は、図１６の内容を詳細に示したものであり、４つのサブバンドのウェーブレット係数を利用して、１つ低いデコンポジションレベルのＬＬ係数（新たなＬＬ係数）を生成することを示している。これを再帰的に繰り返して、所望の解像度レベルｒ未満の範囲で最大の解像度を有するＬＬ係数が全て得られる。すなわち、全コンポーネントのＬＬ生成処理は、まずｉ＝０にセットし（ステップＳ１４）、ｉがｒになるまでｉをインクリメントし（ステップＳ１５，Ｓ１７）、その間、解像度レベルｉについて、指定されたコンポーネントについてＬＬと解像度レベルｉの３つのサブバンドＨＬ，ＬＨ，ＨＨとを使用し、逆ウェーブレット変換を行って新たなＬＬを生成する（ステップＳ１６）。解像度レベルｒ未満の解像度ｉにおける処理が終了すると（ステップＳ１５でＮＯ）、新たなＬＬの縦画素数ＬＬｈｅｉｇｈｔ及び新たなＬＬの横画素数ＬＬｗｉｄｔｈを保持し（ステップＳ１８）、終了する（ステップＳ１９）。生成する縮小画像の解像度に満たない解像度を有するＬＬサブバンドの係数が全て求まることとなる。
【００９４】
ここでステップＳ１２で説明した通り、色差Ｖについては、輝度よりも１つ低い解像度レベルまでのサブバンドを利用してＬＬを生成し、色差Ｕについては、色差Ｖよりもさらに１つ低い解像度レベルまでのサブバンドを利用してＬＬを生成している。なお、図１６で示す例では色差Ｕは輝度の１／４の解像度としているが、他の実施例としてこれをＶと同じ１／２の解像度にするには、ステップＳ１３においてｒ＝ｒとすればよいのは明らかである。同様に、輝度の解像度が原画像の１／ｋである場合、色差Ｕ，Ｖのそれらは順に１／２ｋ，１／４ｋとなる。従って、後述する図１９、図２１におけるｋは、色差Ｕ，Ｖに関しては、それぞれ２ｋ，４ｋとして処理される。
【００９５】
図１８は全コンポーネントに対する水平画素位置決定及び水平方向フィルタリング処理を説明するためのフロー図、図１９は図１８の処理内容を詳細に説明するためのフロー図である。
【００９６】
全コンポーネントに対する水平画素位置決定及び水平方向フィルタリング処理は、まず、輝度についての水平画素位置決定及び水平方向フィルタリング処理を施し（ステップＳ２１）、次に色差Ｖについて水平画素位置決定及び水平方向フィルタリング処理を施し（ステップＳ２２）、さらに色差Ｕについて水平画素位置決定及び水平方向フィルタリング処理を施す（ステップＳ２３）という手順で行われる。
【００９７】
図１９は、図１８の内容を詳細に示したものであり、ｋを越えない２のべき乗値の最大値ｐを求め、ｋ／ｐを単位として、前述した「最終的に求めたい画素」の水平位置を求める処理（「水平位置決定処理」）及び、その水平位置については、水平方向のフィルタを全ての垂直方向の位置について実施する処理を示している。全ての垂直方向の位置についてフィルタリングを行っても、「水平位置決定処理」を行っているため、ウェーブレット係数は選択的に求められ、結果としてウェーブレット係数が選択的に逆ウェーブレット変換されることとなる。すなわち、水平画素位置決定及び水平方向フィルタリング処理では、まずユーザからの指定解像度ｋをもとに、ｋを越えない２のべき乗値の最大値ｐを求める（ステップＳ２４）。次にｉ＝０にセットし（ステップＳ２５）、ｘｓ＝|_ｉｋ／ｐ_|とすることにより水平位置を決定し（ステップＳ２６）、ｘｓが２×ＬＬｗｉｄｔｈになるまでｉをインクリメントしてステップＳ２６に戻り（ステップＳ２７，Ｓ２８）、その間、ｘ座標がｘｓである列について水平方向のフィルタを全ての垂直方向について実施する（ステップＳ２９）。なお、ステップＳ２７でＮＯであれば処理を終了することとなる。
またここで、各々のコンポーネントの、“最終的に求めたい画素群の頂点の画素”として図１でいう（０，０）、すなわち水平垂直ともに偶数位置をまず選択するようにすることにより、求めるべき隣接画素の数を少なくすることができる。
【００９８】
図２０は全コンポーネントに対する垂直画素位置決定及び垂直方向フィルタリング処理を説明するためのフロー図、図２１は図２０の処理内容を詳細に説明するためのフロー図である。
【００９９】
全コンポーネントに対する垂直画素位置決定及び垂直方向フィルタリング処理は、まず、輝度についての垂直画素位置決定及び垂直方向フィルタリング処理を施し（ステップＳ３１）、次に色差Ｖについて垂直画素位置決定及び垂直方向フィルタリング処理を施し（ステップＳ３２）、さらに色差Ｕについて垂直画素位置決定及び垂直方向フィルタリング処理を施す（ステップＳ３３）という手順で行われる。
【０１００】
また、図２１は、図１９と類似の「垂直画素位置決定及び垂直方向フィルタリング処理」を示したものであり、垂直方向のフィルタリングに関しては、必要な画素位置のみについて行う。先の通り、必要な画素位置は、その画素位置の垂直方向の奇遇に依存する。すなわち、垂直画素位置決定及び垂直方向フィルタリング処理は、まずｉ＝ｊ＝０にセットし（ステップＳ４１）、ｘｓ＝|_ｉｋ／ｐ_|とし（ステップＳ４２）、ｘｓが２×ＬＬｗｉｄｔｈになるまで（ステップＳ４３でＹＥＳの場合）ｉをインクリメントし（ステップＳ４６）、その間に以下の処理を施し、ステップＳ４３においてｘｓが２×ＬＬｗｉｄｔｈ以上になれば（ステップＳ４３でＮＯ）、処理を終了する。その間の処理とは、まず、ｙｓ＝|_ｊｋ／ｐ_|とし（ステップＳ４４）、ｙｓが２×ＬＬｈｅｉｇｈｔになるまで（ステップＳ４５でＹＥＳの場合）、ステップＳ４８，Ｓ４９の処理を行い、ｙｓが２×ＬＬｈｅｉｇｈｔ以上となれば（ステップＳ４５でＮＯの場合）ステップＳ４６に進み、ｉをインクリメントしｊ＝０としてステップＳ４２に戻る。ステップＳ４８では、ｙ座標がｙｓである画素位置のみについて垂直方向のフィルタを実施する。また、ステップＳ４９では、フィルタ後の画素値を縮小コンポーネント用バッファの位置（ｉ，ｊ）に保存する。次にｊをインクリメントして（ステップＳ４７）、ステップＳ４４に戻る。なお、他の実施例としては、図２１においてｘｓを求める処理をやめ、全ての水平方向について、「垂直方向フィルタリング処理」をすればよい。
【０１０１】
図２２は、逆色変換処理を説明するためのフロー図である。
デコンポジションレベルの最大値や、原画像の縦横の画素数（順にｈｅｉｇｈｔ，ｗｉｄｔｈとする）等は、符号のヘッダから読みとることができ、最終的に生成すべき縮小画像の縦横の画素数は、縦が|_ｈｅｉｇｈｔ／ｋ_|、横が|_ｗｉｄｔｈ／ｋ_|により与えられ、逆色変換処理において使用される。ここで、色差コンポーネントに関しては、輝度コンポーネントよりも１つ以上低い解像度までしか逆ウェーブレット変換しないため、生成すべき"縮小画像"の画素数は以下のようになる。
【０１０２】
色差Ｖ：
縦 |_ｈｅｉｇｈｔ／２ｋ_|、横 |_ｗｉｄｔｈ／２ｋ_|
色差Ｕ：
縦 |_ｈｅｉｇｈｔ／４ｋ_|、横 |_ｗｉｄｔｈ／４ｋ_|
【０１０３】
逆色変換処理では、ｉ，ｊがそれぞれ|_ｈｅｉｇｈｔ／ｋ_|，|_ｗｉｄｔｈ／ｋ_|より小さいときに後述のステップＳ５５〜Ｓ５９の処理を行う。すなわち、まずｉ＝ｊ＝０にセットし（ステップＳ５１）、ｉが|_ｈｅｉｇｈｔ／ｋ_|になるまで（ステップＳ５２でＹＥＳの場合）ｉをインクリメントしｊ＝０として（ステップＳ５４）、その間に以下の処理を施し、ステップＳ５２においてｉが|_ｈｅｉｇｈｔ／ｋ_|以上になれば（ステップＳ５２でＮＯ）、処理終了する。その間の処理とは、まず、ｊが_Bｗｉｄｔｈ／ｋB_になるまで（ステップＳ５３でＹＥＳの場合）、ステップＳ５５〜Ｓ５９の処理を行い、ｊが|_ｗｉｄｔｈ／ｋ_|以上となれば（ステップＳ５３でＮＯの場合）ステップＳ５４に進み、ｉをインクリメントし、ｊ＝０にセットしてステップＳ５２に戻る。ステップＳ５５では、輝度についてＹを輝度の縮小コンポーネント用バッファの位置（ｉ，ｊ）の値とし、ステップＳ５６では、色差ＶについてＶを色差Ｖの縮小コンポーネント用バッファの位置（ｉ／２，ｊ／２）の値とし、ステップＳ５７では、色差ＵについてＵを色差Ｕの縮小コンポーネント用バッファの位置（ｉ／４，ｊ／４）の値とする。次の処理であるステップＳ５８では、式（６）により逆色変換を施し、ステップＳ５９ではＲＧＢ値を縮小画像用バッファの位置（ｉ，ｊ）へ保存する。
【０１０４】
また、先に述べたとおり、原画像の１／３の解像度の画像を得る場合、インターリーブ後に原画像の１／２の解像度（画素数）となるまでのＬＬサブバンド（及びＨＬ，ＬＨ，ＨＨサブバンド）を求め、本発明に係る処理によってインターリーブ後の係数の２／３の解像度の画像を生成する。
【０１０５】
図２３は、インターリーブ後の係数の２／３の解像度の画像を生成する場合に求めるべき画素（逆変換時の水平方向フィルタリング後の状態を色付けで表示）の例を示す図、図２４は、インターリーブ後の係数の２／３の解像度の画像を生成する場合に求めるべき画素（逆変換時の垂直方向フィルタリング後の状態を色付けで表示）の例を示す図である。また、図７などと同様に、求めるべき画素を下線を引いて示している。図７，図８に準じ、この場合の「求めるべき係数位置」を、図２３の係数配置８，図２４の係数配置９に、それぞれ逆変換時の水平方向フィルタリング後の状態，垂直方向フィルタリング後の状態として色付けすることで示す。図２３，図２４の係数値はそれぞれ図２，図１に対応している。ただし原画像の画素数は図７及び図８とは異なるものとする。
【０１０６】
以上、本発明に係る選択的逆変換処理に関して説明してきたが、以下、縮小画像の生成に際し、エントロピー復号化部でウェーブレット係数の符号を部分的に復号することにより、復号速度と復号画質のバランスをとりながら、所望解像度の復号画像データ（所望の縮小画像データ）の生成を行う画像データ生成装置、方法、プログラム、及び記録媒体に関する様々な実施の形態を説明する。
【０１０７】
デコードによって縮小画像を生成する場合は、画面の小さな表示装置に表示することを目的とすることが多い。かかる場合、表示装置の表現能力が限られることから、縮小画像自体の画質は厳しく問われないことがあり、むしろ復号時間の方が問題とされることがある。或いは、前記表現能力が限られるために、縮小画像にデータ的に劣化していても、視覚的には劣化が観察されないことが多いのである。
【０１０８】
ここで例えばＪＰＥＧ２０００の様な、エントロピー復号化部において、解像度（帯域）だけでなく復号する符号の割合も選択できるような方式の場合、該割合を制限することによって、ウェーブレット係数のエントロピー復号を高速に行うことができる。ＪＰＥＧ２０００の場合、ウェーブレット係数の二進数表示を、上位ビットから下位ビットにかけて１ｂｉｔずつ符号化するため、どのｂｉｔまで復号するのかを適切に選ぶことによって、復号画質と復号速度の最適化が図れるのである。先述のように、表示能力の限られた装置に表示する場合等には、全ての符号を復号する必要はないことが多いのである。
【０１０９】
図２５は、本発明の他の実施形態に係る画像データ生成装置の構成を説明するための図である。
本実施形態に係る画像データ生成装置４０は、符号化されたウェーブレット係数を復号する係数復号手段４１を有し、原画像を縮小した縮小画像のデータを生成する装置であり、符号省略手段４２を有するものとする。
【０１１０】
符号省略手段４２では、同一サブバンド中の符号のうち、復号を行わない符号を省略する。係数復号手段４１では、符号省略手段４２で省略された符号以外の符号を復号する。すなわち係数復号手段４１では、同一サブバンドの符号を部分的に復号することとなる。本実施形態に係る画像データ生成装置４０では、例えば後述するようにレイヤを部分的に復号化してその復号データをもとに縮小画像を得ることも可能となる。本実施形態によれば、復号速度と復号画質のバランスをとりながら、縮小画像を生成することが可能となる。なお、ここでの「部分的」とは、全く復号しない場合を含まない。全く復号しない場合は、帯域制限によって復号を省く場合と同じだからである。
【０１１１】
さて、かかる最適化を図る場合には、画質への影響を抑えながら、復号する符号量を削減することが重要となるが、ウェーブレット変換の場合、サブバンド（ＬＬ〜ＨＨ）ごとに、係数に生じた量子化誤差が画質へ与える影響が異なることが知られている。画質への影響が最も大きいのはＬＬサブバンドであり、また同一デコンポジションレベルで比較した場合、一般に該影響はＨＬ ＬＨ＞ＨＨである。よってＬＬサブバンド程量子化を抑え、ＨＨサブバンド程量子化を行うのが通常である。また前記ＪＰＥＧ２０００の例のように、上位ビットプレーン（後述）のいくつかのみ復号し、残りの下位ビットプレーンの復号をしないことは、量子化によって下位ｂｉｔが失われたことに等しく、これはＬＬサブバンド程復号する符号の割合を多くし、ＨＨサブバンド程該割合を小さくする、といったことが可能なことを意味する。
【０１１２】
また、ウェーブレット変換の場合、デコンポジションレベルによっても、係数に生じた量子化誤差が画質へ与える影響が異なることが知られており、デコンポジションレベルが高いほど該影響は大きい。
【０１１３】
したがって、本発明の他の実施形態として、サブバンド間で復号する割合を変えるようにしてもよい。すなわち、符号省略手段４２にて省略される（復号を省略する）符号の量又は割合が、サブバンド間において異なる場合があるようにする。本実施形態によれば、サブバンド毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１１４】
また、本発明の他の実施形態として、ＬＬ〜ＨＨの間で復号する割合を変えるようにしてもよい。符号省略手段４２にて省略される符号の量又は割合が、同一デコンポジションレベルのサブバンド間において異なる場合があるようにする。本実施形態によれば、同一デコンポジションレベルのサブバンド毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１１５】
また、本発明の他の実施形態として、デコンポジションレベル間で復号する割合を変えるようにしてもよい。符号省略手段４２にて省略される符号の量又は割合が、デコンポジションレベル間で異なる場合があるようにする。本実施形態によれば、デコンポジションレベル毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１１６】
さて、原画像が例えばＲＧＢという３コンポーネントからなるカラー画像であって、該画像に圧縮を施す場合、圧縮率をあげるために、ＲＧＢに色変換を施して１つの輝度と２つの色差の３つの新たなコンポーネントに変換し、該変換後のコンポーネントに対して個々にウェーブレット変換を施すのが通常である。
【０１１７】
先のＪＰＥＧ２０００で採用されている色変換の例としては、ＲＣＴ(Reversible Component Transform)と呼ばれる下記変換がある。
輝度Ｙ＝|_（Ｒ＋２Ｇ＋Ｂ）／４_|
色差Ｃｒ＝Ｒ−Ｇ
色差Ｃｂ＝Ｂ−Ｇ …（８）
であり、その逆変換は、
Ｒ＝Ｇ＋Ｃｒ
Ｇ＝Ｙ−|_（Ｃｒ＋Ｃｂ）／４_|
Ｂ＝Ｃｂ＋Ｇ …（９）
となる。ここで記号|_ｘ_|は、ｘのフロア関数（実数ｘを、ｘを越えず且つｘに最も近い整数に置換する関数）を示している。
【０１１８】
かかる場合、コンポーネント間においても、係数に生じた量子化誤差が画質へ与える影響が異なることが知られており、輝度・色差系の場合は、輝度の影響が最も大きい。また該影響は、色差間でも異なることが知られている。なお、上記色変換をしない場合には、その影響はＧが一番大きい。
【０１１９】
よって、本発明の他の実施形態として、複数のコンポーネントのウェーブレット係数を復号する装置において、コンポーネント間で復号する割合を変えるようにしてもよい。すなわち、復号は複数のコンポーネント毎に施し、且つ、前記符号省略手段にて省略される符号の量又は割合がコンポーネント間で異なる場合があるようにする。本実施形態によれば、コンポーネント毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２０】
また、本発明の他の実施形態として、復号を省略する符号の量又は割合がＬＬサブバンドで最小であるようにしてもよい。本実施形態によれば、ＬＬサブバンドによる画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２１】
また、本発明の他の実施形態として、復号を省略する符号の量又は割合がＨＨサブバンドで最大であるようにしてもよい。本実施形態によれば、ＨＨサブバンドによる画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２２】
また、本発明の他の実施形態として、デコンポジションレベルが高いほど復号を省略する符号の量又は割合が低いようにしてもよい。本実施形態によれば、デコンポジションレベルによる画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２３】
また、本発明の他の実施形態として、輝度コンポーネントを復号する装置において、復号を省略する符号の量又は割合が輝度コンポーネントで最小であるようにしてもよい。本実施形態によれば、輝度による画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２４】
また、本発明の他の実施形態として、複数の色差コンポーネントを復号する装置において、復号を省略する符号の量又は割合が色差間で異なるようにしてもよい。本実施形態によれば、色差毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２５】
また、本発明の他の実施形態として、輝度Ｙ及び２つの色差コンポーネントＣｂ、Ｃｒを復号する装置において、復号を省略する符号の量又は割合がＹ＜Ｃｒ＜Ｃｂであるようにしてもよい。人間の視覚特性上、Ｃｒによる影響よりもＣｂによる影響の方が小さいことが実験的に知られており、画像の色合いによっては効果がない場合もあるが、本実施形態によれば、Ｃｂ，Ｃｒ毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２６】
また、任意サイズの縮小画像を生成するためには、所望サイズよりも大きめのサイズに復号して逆ウェーブレット変換後間引くか、或いは小さめに復号して補間するのが通常である。なおこの場合、（両方の場合で復号される）同一デコンポジションレベルで比較した場合、補間する場合の方が、間引く場合よりも、復号する割合を高くする必要がある。
【０１２７】
したがって、本発明の他の実施形態として、所望の画像サイズ以下のサイズのサブバンドだけを復号する手段を有するようにしてもよい。換言すると、ＬＬサイズで抜き出すようにする。本実施形態によれば、復号するサブバンドのサイズを制限することによって、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２８】
また、本発明の他の実施形態として、所望の画像サイズ未満のサイズのサブバンドだけを復号する手段と、間引き手段を有するようにしてもよい。本実施形態によれば、復号するサブバンドのサイズを制限することによって、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１２９】
また、本発明の他の実施形態として、所望の画像サイズを越えない最大サイズのサブバンドまでを復号する手段と、補間手段を有するようにしてもよい。本実施形態によれば、復号するサブバンドのサイズを制限することによって、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【０１３０】
以上、本発明の部分的復号処理を行う画像データ生成装置を中心に各実施形態を説明してきたが、本発明は、それらの装置における処理ステップからなる画像データ生成方法としても、或いは、コンピュータをそれら装置として又はそれらの装置の各手段として機能させるための、又はコンピュータにそれら方法を実行させるためのプログラム（それらの処理内容が実装されているコンピュータプログラム）としても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（それらの処理内容が記録されているコンピュータ読み取り可能な情報記録媒体）としての形態も可能である。後述する実施例からも明らかなように、この方法により、復号速度と復号画質のバランスをとりながら或いは最適化を図りながら、縮小画像を生成することができる。また、このプログラムにより、上述の各実施形態に対応した処理によって、復号速度と復号画質のバランスをとりながら或いは最適化を図りながら、縮小画像を生成することが可能なシステムを提供することができる。また、この記録媒体により、上述の各実施形態に対応した構成で、復号速度と復号画質のバランスをとりながら或いは最適化を図りながら、縮小画像を生成することが可能なシステムを提供することができる。これらのプログラムや記録媒体は、上述した実施形態に加え、後述する実施例を元に容易に実施できることは明らかである。
【０１３１】
本発明による画像データ生成の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態を説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態に係る機能をコンピュータに実行させ、画像データ生成の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる画像データ生成の機能を実行することができる。
【０１３２】
以下、本発明の部分的復号処理を具体的に説明する。
なお後述するが、本発明の部分的復号処理における復号を省略する符号の量や割合とは、例えば、「復号を省略したビットプレーン数」や「符号化されている総ビットプレーン数に対する復号を省略したビットプレーンの数」を意味する。
【０１３３】
本発明の実施例の装置構成は、図１１及び図１２を参照して説明したものと同様であり説明を省略する。
【０１３４】
また以下の実施例は、５×３変換を選択したＪＰＥＧ２０００での適用例であるため、まずＪＰＥＧ２０００の処理の概要について説明する。もちろん、本発明の適用範囲がＪＰＥＧ２０００に限られないことは言及するまでもない。
【０１３５】
図１０を再度参照すると、ＪＰＥＧ２０００における符号化・復号化処理の流れにおいて、→方向が符号化（圧縮）、←方向が復号化（伸長）であり、復号時には、エントロピー復号、（必要に応じて）逆量子化を経て得られたコンポーネント毎のウェーブレット係数に対して、逆ウェーブレット変換が施され、その後逆色変換がなされてＲＧＢの画素値に戻ることを示している。
【０１３６】
色変換部については既述したため、ここではサブバンド及びデコンポジションレベルの定義も兼ねて、ウェーブレット変換・逆変換について説明する。
ウェーブレット変換・逆変換そのものについては、図１乃至図５、図９、図１０、及び図１５を参照して前述したので省略する。
各サブバンドごとのウェーブレット係数の符号化について説明すると、公知のように、ＪＰＥＧ２０００においては、サブバンドごとに、係数を上位ビット（ＭＳＢ）から下位ビット（ＬＳＢ）まで、ビットプレーン単位で符号化することが可能である。なお、厳密には各ビットプレーンをさらに細分化して符号化するが、その説明は省略する。
【０１３７】
図２６は、２ＬＬサブバンドの係数例を示す図で、図２６（Ａ）は２ＬＬサブバンドの係数例を、図２６（Ｂ）はその係数をビットプレーンに分割したものを示す図である。また、図２７は、本発明の一実施例における符号の構成例を示す図で、図中、符号は紙面上から下の方向の順番で並ぶよう構成可能であることを表している。
今、図５の２ＬＬサブバンドの係数が、図２６（Ａ）のような値をとったとする。これらの値を二進数で表現し、各ｂｉｔごとに分けたものがビットプレーンであり、図２６（Ａ）の係数は、図２６（Ｂ）のような４枚のビットプレーンにわけることができる。１５の二進表現は１１１１であるから、ビットプレーン中で、図５の値１５に対応する位置には全て１が立つ事になる。
【０１３８】
そしてＪＰＥＧ２０００においては、これらのビットプレーンを個々に符号化する。すなわち、図２７のような構成の符号生成が可能であり、図２７は、符号が２ＬＬサブバンドから始まって、１ＨＨサブバンドで終わることを示している。また、各ビットプレーンは、最上位ｂｉｔから順に符号化されており、復号器は、符号化されているビットプレーンの総数を知ることができるため、最下位ビットプレーンの復号を省略したり、最下位から数えて２枚目までのビットプレーンの復号を省略したり、といったことを容易に行うことができる。
【０１３９】
以上のもと、本発明の部分的復号処理を適用した縮小画像生成の基本的な流れを説明する。
図２８は、本発明の画像データ生成装置における処理の一実施例を説明するためのフロー図で、本発明の部分的復号処理を適用した縮小画像生成の基本的な流れを説明するためのフロー図である。また、図２９乃至図３１は、図２８の処理における部分的復号処理を詳細に説明するためのフロー図で、それぞれ輝度Ｙ，色差Ｃｒ，色差Ｃｂコンポーネントにおける部分的復号処理の流れを説明するためのフロー図である。
【０１４０】
本実施例の画像データ生成装置に関し、図１１及び図１２で説明した装置構成のもと、図２８乃至図３１を参照し、式（８）による色変換及び５×３変換を使用してロスレスに圧縮された画像データを元に縮小画像を生成する例を説明する。ロスレス圧縮であるから、全てのサブバンドの全てのビットプレーンが符号化されていることになる。
【０１４１】
本実施例における縮小画像の生成処理においては、まず、ユーザから指定された解像度（１／ｋとする）に基づいて生成する縮小画像の解像度レベルｒをセットする（ステップＳ７１）。次にｉ＝０にセットし、同時にｒから１を減じ（ステップＳ７２）、ｉ≦ｒを満たす間ｉをインクリメントし（ステップＳ７３，Ｓ７５）、その間、解像度レベルｉについて全コンポーネントのエントロピー符号を部分的に復号する（ステップＳ７４）。
【０１４２】
図２７においては解像度０（最小解像度）のコンポーネント０（輝度），コンポーネント１（色差Ｖ），コンポーネント２（色差Ｕ）、解像度１のコンポーネント０，１，２、解像度２のコンポーネント０，１，２、．．．の順に並んだ符号を示しており、公知のようにＪＰＥＧ２０００においては、図２７に示したように、全てのコンポーネントの符号を、解像度順に並べた状態に構成することができるため、最も低解像度から所望の解像度までだけのウェーブレット係数を容易にとりだすことができる（ステップＳ７１〜Ｓ７５）。
【０１４３】
これまでの議論及び本明細書中において、しばしば１／３の「解像度」という表現を使ったが、ＪＰＥＧ２０００では、解像度に類似した量として「解像度レベル」と呼ぶ量を使用する。最も低い解像度レベルが０、その次の解像度レベルは１となり、デコンポジションレベルと解像度レベルの関係は図１５に示すようになる。なお、この関係はＬＬのみ例外的な値となる。すなわち、３ＬＬは解像度レベル０、３ＨＬ，３ＬＨ，３ＨＨは解像度レベル１、２ＨＬ，２ＬＨ，２ＨＨは解像度レベル２、１ＨＬ，１ＬＨ，１ＨＨは解像度レベル３というようになる。また、２ＬＬは解像度レベル１、１ＬＬは解像度レベル２となる。
【０１４４】
解像度レベルｒが原画像の何分の１の解像度かは、デコンポジションレベルの最大値によることになる。デコンポジションレベルの最大値をｄとすると、解像度レベルがｒ（ｒ＞０）であるウェーブレット係数（サブバンド）の、原画像に対する解像度は１／２＾（ｄ−ｒ＋１）になる。よって、原画像の１／Nの縮小画像を生成するために、ステップＳ７１でセットすべきｒの値は、
ｒ＝ｄ−（ｌｏｇ２ｋ−１） …（７）
となる。よって、ユーザによって、原画像に対する所望の解像度（１／ｋ）が与えられると、式（７）によって解像度レベルｒが算出され、ステップＳ７１でセットされる。
【０１４５】
ウェーブレット係数は、通常量子化されており、逆ウェーブレット変換前には逆量子化しておく必要がある。そこで、解像度レベルｒ以下の解像度ｉにおける処理が終了すると（ステップＳ７３でＮＯ）、復号した全てのウェーブレット係数を逆量子化する（ステップＳ７６）。その後、逆ウェーブレット変換処理を実行する（ステップＳ７７）。ステップＳ７７で示した逆ウェーブレット変換処理として、前述した選択的ウェーブレット逆変換処理を適用してもよい。次に、解像度ｉがｒと同じかを判定し（ステップＳ７８）、同じでなければ間引き処理を施す（ステップＳ７９）。コンポーネントが複数の場合には、ｉ＝ｒのとき（ステップＳ７８でＹＥＳ）及び間引き処理（ステップＳ７９）の後、逆色変換を施して（ステップＳ８０）、処理を終了する。
【０１４６】
本発明の一特徴である部分的復号は、ステップＳ７４における処理であり、本実施例では解像度レベルｉの値によって（デコンポジションレベルによって）、以下のように各成分の符号を部分的に復号して輝度のウェーブレット係数を得る。
【０１４７】
図２９を参照すると、コンポーネントが輝度Ｙであるかを判定し（ステップＳ８１）、他のコンポーネントであれば図３０及び図３１の処理に移行する。輝度Ｙに対しては（ステップＳ８１でＹＥＳ）、ステップＳ８２でｉ≦ｒ−２を満たすかを判定し、ステップＳ８４でｉ≦ｒ−１を満たすかを判定し、それらの判定により、輝度Ｙの符号を部分的に復号して、輝度のウェーブレット係数を得ることとなる。
【０１４８】
ｉ≦ｒ−２のとき（ステップＳ８２でＹＥＳ）、全てのサブバンドについて全ビットプレーンの符号を復号する（ステップＳ８３）。ＬＬサブバンドは解像度レベル０にのみ存在するので、ステップＳ８３の結果、ＬＬサブバンドの符号は全て復号され、復号を省略する量としては最小となる。
【０１４９】
ｒ−２＜ｉ≦ｒ−１のとき（ステップＳ８２でＮＯ、ステップＳ８４でＹＥＳ）、ＨＬ及びＬＨサブバンドに対しては最下位から２枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から３枚目までのビットプレーンの復号を省略して、復号を行う（ステップＳ８５）。
【０１５０】
ｒ−１＜ｉ≦ｒのとき（ステップＳ８２でＮＯ、ステップＳ８４でＮＯ）、ＨＬ及びＬＨサブバンドに対しては最下位から３枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から４枚目までのビットプレーンの復号を省略して、復号を行う（ステップＳ８６）。
【０１５１】
また、色差Ｃｒの符号については、図３０を参照すると、コンポーネントが色差Ｃｒであるかを判定し（ステップＳ９１）、他のコンポーネントであれば図３１（及び図２９）の処理に移行する。色差Ｃｒに対しては（ステップＳ９１でＹＥＳ）、ステップＳ９２でｉ≦ｒ−３を満たすかを判定し、ステップＳ９４でｉ≦ｒ−２を満たすかを判定し、ステップＳ９６でｉ≦ｒ−１を満たすかを判定し、それらの判定により、色差Ｃｒの符号を部分的に復号して、色差Ｃｒのウェーブレット係数を得ることとなる。色差Ｃｒに対しては、輝度Ｙよりもさらに１枚分のビットプレーンの復号を省略してウェーブレット係数を得る。
【０１５２】
ｉ≦ｒ−３のとき（ステップＳ９２でＹＥＳ）、全てのサブバンドについて全ビットプレーンの符号を復号する（ステップＳ９３）。
【０１５３】
ｒ−３＜ｉ≦ｒ−２のとき（ステップＳ９２でＮＯ、ステップＳ９４でＹＥＳ）、ＨＬ及びＬＨサブバンドに対しては最下位から２枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から３枚目までのビットプレーンの復号を省略して、復号を行う（ステップＳ９５）。
【０１５４】
ｒ−２＜ｉ≦ｒ−１のとき（ステップＳ９２でＮＯ、ステップＳ９４でＮＯ、ステップＳ９６でＹＥＳ）、ＨＬ及びＬＨサブバンドに対しては最下位から３枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から４枚目までのビットプレーンの復号を省略して、復号する（ステップＳ９７）。
【０１５５】
ｒ−１＜ｉ≦ｒのとき（ステップＳ９２，Ｓ９４，Ｓ９６でＮＯ）、ＨＬ及びＬＨサブバンドに対しては最下位から４枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から５枚目までのビットプレーンの復号を省略し、復号する（ステップＳ９８）。
【０１５６】
また、色差Ｃｂの符号については、図３１を参照すると、コンポーネントが色差Ｃｂであるかを判定し（ステップＳ１０１）、他のコンポーネントであれば図２９及び図３０の処理に移行する。色差Ｃｂに対しては（ステップＳ１０１でＹＥＳ）、ステップＳ１０２でｉ≦ｒ−３を満たすかを判定し、ステップＳ１０４でｉ≦ｒ−２を満たすかを判定し、ステップＳ１０６でｉ≦ｒ−１を満たすかを判定し、それらの判定により、色差Ｃｂの符号を部分的に復号して、色差Ｃｂのウェーブレット係数を得ることとなる。色差Ｃｂに対しては、色差Ｃｒよりもさらに１枚分のビットプレーンの復号を省略して色差Ｃｂのウェーブレット係数を得る。
【０１５７】
ｉ≦ｒ−３のとき（ステップＳ１０２でＹＥＳ）、全てのサブバンドについて全ビットプレーンの符号を復号する（ステップＳ１０３）。
【０１５８】
ｒ−３＜ｉ≦ｒ−２のとき（ステップＳ１０２でＮＯ、ステップＳ１０４でＹＥＳ）、ＨＬ及びＬＨサブバンドに対しては最下位から３枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から４枚目までのビットプレーンの復号を省略して、復号を行う（ステップＳ１０５）。
【０１５９】
ｒ−２＜ｉ≦ｒ−１のとき（ステップＳ１０２でＮＯ、ステップＳ１０４でＮＯ、ステップＳ１０６でＹＥＳ）、ＨＬ及びＬＨサブバンドに対しては最下位から４枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から５枚目までのビットプレーンの復号を省略して、復号する（ステップＳ１０７）。
【０１６０】
ｒ−１＜ｉ≦ｒのとき（ステップＳ１０２，Ｓ１０４，Ｓ１０６でＮＯ）、ＨＬ及びＬＨサブバンドに対しては最下位から５枚目までのビットプレーンの復号を省略し、ＨＨサブバンドに対しては最下位から６枚目までのビットプレーンの復号を省略し、復号する（ステップＳ１０８）。
【０１６１】
このように、復号を省略する量が、コンポーネント間でＹ＜Ｃｒ＜Ｃｂとなっており、またデコンポジションレベルが高いほど、少なくなっている。また、符号化されている総ビットプレーン数が、各サブバンドで等しい場合には、「省略する量の多寡」はそのまま「省略する割合の多寡」となる。
【０１６２】
なお、ＪＰＥＧ２０００の場合、エントロピー符号器はＭＱコーダが使用されるが、本発明の部分的復号処理においては、復号を部分的に省略できるような符号構成であることが重要であり、エントロピー符号器の詳細はその本質とは直接関係しないため省略する。
【０１６３】
そして、ｉ＝ｒ＋１の場合（ステップＳ７８でＹＥＳ）は、ユーザが指定した解像度と、ウェーブレット変換の解像度レベルが一致しているため、逆量子化、逆ウェーブレット変換後、間引き処理を経ずして逆色変換が成され、所望の縮小画像が生成される。一方、そうでない場合（ステップＳ７８でＮＯ）には、ウェーブレット変換の解像度レベルは、ユーザが指定した解像度よりも大きめとなるため、逆量子化、逆ウェーブレット変換後、Ｙ，Ｃｂ，Ｃｒの各々が公知の間引き処理によって所望のサイズに変換される。本実施例では、処理量低減のため、逆色変換したＲＧＢ値を間引くのではなく、逆色変換前に間引き処理を行う構成としている。
【０１６４】
なお、最下位ビットプレーンの復号を１枚省略することは、ウェーブレット係数を２で除算（量子化）することに等しく、最下位からｎ枚目までのビットプレーンの復号を省略することは、該係数を２＾ｎで量子化することに等しい。よってビットプレーンの復号を省略した場合には、復号されたウェーブレット係数に２＾ｎを乗じてやれば、逆量子化を行ったことになる。
【０１６５】
なお、本実施例では、ＹＣｂＣｒの算出に式（８）を使用したが、ＣＣＩＲ６０１で規定されている周知の式でＹＣｂＣｒを算出した場合でも、本実施例の手法は適用可能である。また、間引き処理法の例としては、例えば広く使用されている最近傍法があげられる。間引き処理法自体のアルゴリズムは、本発明の部分的復号処理の主題には影響を与えないため、詳しいアルゴリズムの説明は省略するが、例えば「田村秀行著、コンピュータ画像処理入門（総研出版）」を参照されたい。
【０１６６】
図３２は、本発明の画像データ生成装置における処理の他の実施例を説明するためのフロー図で、本発明の部分的復号処理を適用した縮小画像生成の基本的な流れを説明するためのフロー図である。
【０１６７】
先の実施例では、ステップＳ７３の条件式が「ｉ≦ｒ」であったため、抽出されたウェーブレット変換の解像度レベルは、ユーザが指定した解像度に等しいか１つ大きいかであった、しかし、これを「ｉ＜ｒ」とすれば、ユーザが指定した解像度よりも１周り小さい解像度レベルが抽出され、逆ウェーブレット変換後、Ｙ，Ｃｂ，Ｃｒの各々が公知の補間処理によって所望のサイズに変換される。
【０１６８】
図３２を参照して説明すると、本実施例における縮小画像の生成処理においては、まず、ユーザから指定された解像度（１／ｋとする）に基づいて生成する縮小画像の解像度レベルｒをセットする（ステップＳ１１１）。次にｉ＝０にセットし、ｒ＝ｒ−１とし（ステップＳ１１２）、ｉ＜ｒを満たす間ｉをインクリメントし（ステップＳ１１３，Ｓ１１５）、その間、解像度レベルｉについて全コンポーネントのエントロピー符号を部分的に復号する（ステップＳ１１４）。また、ＹＣｂＣｒ間での部分的な復号処理（ステップＳ１１４）に関しては、先と同様、図２９乃至図３１で説明した処理が適用可能である。
【０１６９】
ウェーブレット係数は、通常量子化されており、逆ウェーブレット変換前には逆量子化しておく必要がある。そこで、解像度レベルｒ未満の解像度ｉにおける処理が終了すると（ステップＳ１１３でＮＯ）、復号した全てのウェーブレット係数を逆量子化する（ステップＳ１１６）。その後、逆ウェーブレット変換処理を実行する（ステップＳ１１７）。次に、補間処理を行う（ステップＳ１１８）。補間処理法の例としては、例えば広く使用されている最近傍法が挙げられる。詳しいアルゴリズムの説明は、上記「コンピュータ画像処理入門」を参照されたい。コンポーネントが複数の場合には、逆色変換を施して（ステップＳ１１９）、処理を終了する。
【０１７０】
【発明の効果】
本発明によれば、ウェーブレット係数を逆ウェーブレット変換し、原画像の縮小画像を生成する際に、同一サブバンド中の係数を選択的に逆変換するので、少ない計算量で縮小画像を生成することが可能となる。
【図面の簡単な説明】
【図１】 １６×１６のモノクロの画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を２次元（垂直方向及び水平方向）で施す過程の例を説明するための図である。
【図２】 １６×１６のモノクロの画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を２次元（垂直方向及び水平方向）で施す過程の例を説明するための図である。
【図３】 １６×１６のモノクロの画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を２次元（垂直方向及び水平方向）で施す過程の例を説明するための図である。
【図４】 １６×１６のモノクロの画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を２次元（垂直方向及び水平方向）で施す過程の例を説明するための図である。
【図５】 ２回のウェーブレット変換して並べ替えた後の模式的な係数配列を示す図である。
【図６】 本発明の一実施形態に係る画像データ生成装置の構成を説明するための図である。
【図７】 図１の原画像を５×３ウェーブレット変換した後の全ての係数を、逆ウェーブレット変換することにより生成された１６×１６画像を示す図である。
【図８】 図１の原画像を５×３ウェーブレット変換した後の全ての係数に対し、逆変換時の水平方向のフィルタリングを施すことにより生成された１６×１６画像を示す図である。
【図９】 本発明を利用して解像度１／３の画像を生成する場合の構成を、ウェーブレット変換・逆ウェーブレット変換の流れに沿って示した図である。
【図１０】 本発明の他の実施形態に係る画像データ生成装置を説明するためのブロック図である。
【図１１】 本発明の一実施形態に係る画像データ生成装置の構成例を示す図である。
【図１２】 本発明の一実施形態に係る画像データ生成装置の他の構成例を示す図である。
【図１３】 本発明の画像データ生成装置における処理の一実施例を説明するためのフロー図である。
【図１４】 本発明の一実施例における符号の構成例を示す図である。
【図１５】 デコンポジションレベルと解像度レベルの関係を示す図である。
【図１６】 全コンポーネントに対するＬＬ生成処理を説明するためのフロー図である。
【図１７】 図１６の処理内容を詳細に説明するためのフロー図である。
【図１８】 全コンポーネントに対する水平画素位置決定及び水平方向フィルタリング処理を説明するためのフロー図である。
【図１９】 図１８の処理内容を詳細に説明するためのフロー図である。
【図２０】 全コンポーネントに対する垂直画素位置決定及び垂直方向フィルタリング処理を説明するためのフロー図である。
【図２１】 図２０の処理内容を詳細に説明するためのフロー図である。
【図２２】 逆色変換処理を説明するためのフロー図である。
【図２３】 インターリーブ後の係数の２／３の解像度の画像を生成する場合に求めるべき画素の例を示す図である。
【図２４】 インターリーブ後の係数の２／３の解像度の画像を生成する場合に求めるべき画素の例を示す図である。
【図２５】 本発明の他の実施形態に係る画像データ生成装置の構成を説明するための図である。
【図２６】 ２ＬＬサブバンドの係数例を示す図である。
【図２７】 本発明の一実施例における符号の構成例を示す図である。
【図２８】 本発明の画像データ生成装置における処理の一実施例を説明するためのフロー図である。
【図２９】 図２８の処理における部分的復号処理を詳細に説明するためのフロー図である。
【図３０】 図２８の処理における部分的復号処理を詳細に説明するためのフロー図である。
【図３１】 図２８の処理における部分的復号処理を詳細に説明するためのフロー図である。
【図３２】 本発明の画像データ生成装置における処理の他の実施例を説明するためのフロー図である。
【図３３】 従来技術２の公報に記載された、原画像の１／３の解像度を得る場合のウェーブレット変換部の構成を示す図である。
【符号の説明】
１…画像、 ２，３，４，５，６，７，８，９…係数配列、
１０，４０…画像データ生成装置、 １１…逆ウェーブレット変換手段、
１２…係数選択手段、 ２１…色空間変換・逆変換部、
２２…２次元ウェーブレット変換・逆変換部、 ２３…量子化・逆量子化部、
２４…エントロピー符号化・復号化部、 ２５…タグ処理部、
３１，３５…ＲＡＭ、 ３２，３６…ＣＰＵ、 ３３，３７…データバス、
３４，３８…ＨＤＤ、 ３９…モニタ、 ４１…係数復号手段、 ４２…符号省略手段
Claims (16)
- ウェーブレット係数を逆ウェーブレット変換する逆ウェーブレット変換手段を有し、原画像を縮小した縮小画像のデータを生成する画像データ生成装置において、同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数（ただし、当該逆ウェーブレット変換を行うウェーブレット係数は、同一サブバンドに含まれる全てのウェーブレット係数ではなく、かつ、１つ以上のウェーブレット係数である）を選択する係数選択手段を有し、前記逆ウェーブレット変換手段は、前記同一サブバンド中のウェーブレット係数に関しては、前記係数選択手段で選択されたウェーブレット係数のみを逆ウェーブレット変換することを特徴とする画像データ生成装置。
- 前記係数選択手段は、少なくとも前記生成する縮小画像の画素に関係するウェーブレット係数の全てを選択する手段を有することを特徴とする請求項１記載の画像データ生成装置。
- 前記係数選択手段は、前記生成する縮小画像の画素に関係するウェーブレット係数のみを選択する手段を有することを特徴とする請求項１記載の画像データ生成装置。
- 前記係数選択手段は、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記生成する縮小画像の画素位置に当たるウェーブレット係数を含み、前記逆ウェーブレット変換のうち最後に施される方向の直線上に位置するウェーブレット係数を、全て選択する手段を有することを特徴とする請求項２記載の画像データ生成装置。
- 前記逆ウェーブレット変換は２次元でなされるものとし、前記係数選択手段は、前記逆ウェーブレット変換のうち最初に施される方向の逆変換に係わる選択を行う際には、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記生成する縮小画像の画素位置に当たるウェーブレット係数及び該画素位置を前記逆変換で求めるのに必要な画素位置に当たる係数を含み、前記逆ウェーブレット変換のうち最初に施される方向に垂直な直線上に位置するウェーブレット係数を、全て選択する手段を有することを特徴とする請求項２記載の画像データ生成装置。
- 前記係数選択手段は、前記生成すべき縮小画像に満たない範囲で最大の解像度を有するＬＬサブバンドを逆ウェーブレット変換して求めるよう、該ＬＬサブバンドのデコンポジションレベルより高い同一デコンポジションレベルのサブバンド中のウェーブレット係数を全て選択する手段を有することを特徴とする請求項１乃至５のいずれか１記載の画像データ生成装置。
- 前記逆ウェーブレット変換のタップ長がハイパスフィルタとローパスフィルタで異なるものとし、ｄを前記逆ウェーブレット変換の次元数、ｎを縮小画像の画素数、Ｔｌｏｗをローパスフィルタのタップ長、Ｔｈｉｇｈをハイパスフィルタのタップ長として、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を、「ｄ・ｎ（Ｔｌｏｗ＋Ｔｈｉｇｈ）／２」未満としたことを特徴とする請求項１乃至６のいずれか１記載の画像データ生成装置。
- 前記逆ウェーブレット変換は、複数のコンポーネント毎に施し、且つ少なくとも１つのコンポーネントに対し他のコンポーネントと解像度を異ならして施すことを特徴とする請求項１乃至７のいずれか１記載の画像データ生成装置。
- ウェーブレット係数を逆ウェーブレット変換する逆ウェーブレット変換ステップを有し、原画像を縮小した縮小画像のデータを生成する画像データ生成方法において、同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数（ただし、当該逆ウェーブレット変換を行うウェーブレット係数は、同一サブバンドに含まれる全てのウェーブレット係数ではなく、かつ、１つ以上のウェーブレット係数である）を選択する係数選択ステップを有し、前記逆ウェーブレット変換ステップは、前記同一サブバンド中のウェーブレット係数に関しては、前記係数選択ステップで選択されたウェーブレット係数のみを逆ウェーブレット変換することを特徴とする画像データ生成方法。
- 前記係数選択ステップは、少なくとも前記生成する縮小画像の画素に関係するウェーブレット係数の全てを選択するステップを有することを特徴とする請求項９記載の画像データ生成方法。
- 前記係数選択ステップは、前記生成する縮小画像の画素に関係するウェーブレット係数のみを選択するステップを有することを特徴とする請求項９記載の画像データ生成方法。
- 前記係数選択ステップは、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記生成する縮小画像の画素位置に当たるウェーブレット係数を含み、前記逆ウェーブレット変換のうち最後に施される方向の直線上に位置するウェーブレット係数を、全て選択するステップを有することを特徴とする請求項１０記載の画像データ生成方法。
- 前記逆ウェーブレット変換は２次元でなされるものとし、前記係数選択ステップは、前記逆ウェーブレット変換のうち最初に施される方向の逆変換に係わる選択を行う際には、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記生成する縮小画像の画素位置に当たるウェーブレット係数及び該画素位置を前記逆変換で求めるのに必要な画素位置に当たる係数を含み、前記逆ウェーブレット変換のうち最初に施される方向に垂直な直線上に位置するウェーブレット係数を、全て選択するステップを有することを特徴とする請求項１０記載の画像データ生成方法。
- 前記係数選択ステップは、前記生成すべき縮小画像に満たない範囲で最大の解像度を有するＬＬサブバンドを逆ウェーブレット変換して求めるよう、該ＬＬサブバンドのデコンポジションレベルより高い同一デコンポジションレベルのサブバンド中のウェーブレット係数を全て選択するステップを有することを特徴とする請求項９乃至１３のいずれか１記載の画像データ生成方法。
- 前記逆ウェーブレット変換のタップ長がハイパスフィルタとローパスフィルタで異なるものとし、ｄを前記逆ウェーブレット変換の次元数、ｎを縮小画像の画素数、Ｔｌｏｗをローパスフィルタのタップ長、Ｔｈｉｇｈをハイパスフィルタのタップ長として、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を、「ｄ・ｎ（Ｔｌｏｗ＋Ｔｈｉｇｈ）／２」未満としたことを特徴とする請求項９乃至１４のいずれか１記載の画像データ生成方法。
- 前記逆ウェーブレット変換は、複数のコンポーネント毎に施し、且つ少なくとも１つのコンポーネントに対し他のコンポーネントと解像度を異ならして施すことを特徴とする請求項９乃至１５のいずれか１記載の画像データ生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003065785A JP4189957B2 (ja) | 2002-03-15 | 2003-03-11 | 画像データ生成装置及び画像データ生成方法 |
| EP20030005481 EP1345169A3 (en) | 2002-03-15 | 2003-03-17 | Method and apparatus for image reduction |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002072696 | 2002-03-15 | ||
| JP2002-72696 | 2002-03-15 | ||
| JP2003065785A JP4189957B2 (ja) | 2002-03-15 | 2003-03-11 | 画像データ生成装置及び画像データ生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003338932A JP2003338932A (ja) | 2003-11-28 |
| JP4189957B2 true JP4189957B2 (ja) | 2008-12-03 |
Family
ID=27767243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003065785A Expired - Fee Related JP4189957B2 (ja) | 2002-03-15 | 2003-03-11 | 画像データ生成装置及び画像データ生成方法 |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP1345169A3 (ja) |
| JP (1) | JP4189957B2 (ja) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6545687B2 (en) * | 1997-01-09 | 2003-04-08 | Canon Kabushiki Kaisha | Thumbnail manipulation using fast and aspect ratio zooming, compressing and scaling |
| FR2805640B1 (fr) * | 2000-02-28 | 2002-07-19 | Canon Kk | Procede et dispositif de generation d'une image reduite a partir d'une image stockee sous forme compressee dans une base de donnees |
-
2003
- 2003-03-11 JP JP2003065785A patent/JP4189957B2/ja not_active Expired - Fee Related
- 2003-03-17 EP EP20030005481 patent/EP1345169A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003338932A (ja) | 2003-11-28 |
| EP1345169A3 (en) | 2006-05-17 |
| EP1345169A2 (en) | 2003-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7577308B2 (en) | Image data generation with reduced amount of processing | |
| JP4204165B2 (ja) | 画像圧縮装置 | |
| JP5017555B2 (ja) | 画像符号化装置及び画像復号化装置 | |
| US7302105B2 (en) | Moving image coding apparatus, moving image decoding apparatus, and methods therefor | |
| JP2001326936A (ja) | 画像符号化装置及び方法 | |
| US20080285874A1 (en) | Method and apparatus for processing image data | |
| EP1218824A1 (en) | System and method for transmitting a digital image over a communication network | |
| JP2003179759A (ja) | 静止画像伸長装置 | |
| JP4449400B2 (ja) | 画像符号化装置及び方法、並びにプログラム及び記録媒体 | |
| US7630568B2 (en) | System and method for low-resolution signal rendering from a hierarchical transform representation | |
| JP2005110185A (ja) | 画像符号化装置及び方法 | |
| JP4726040B2 (ja) | 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体 | |
| JP4189956B2 (ja) | 画像データ生成装置及び画像データ生成方法 | |
| US8150184B2 (en) | Method and apparatus for encoding/decoding image, computer-readable program therefore, and information recording medium storing same program | |
| JP4189957B2 (ja) | 画像データ生成装置及び画像データ生成方法 | |
| JP3973089B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP5191013B2 (ja) | 画像符号化装置及び画像復号化装置 | |
| JP4636547B2 (ja) | 符号化装置、プログラム及び情報記録媒体 | |
| JP2002369202A (ja) | 画像圧縮装置、画像伸長装置、画像圧縮方法、画像伸長方法、プログラム、及び該プログラムを記録した記録媒体 | |
| JP4379527B2 (ja) | 符号化装置及び方法 | |
| JP4688164B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JP4194311B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 | |
| JP4446445B2 (ja) | 符号化装置及び符号化方法 | |
| JP2005065230A (ja) | 符号化装置、符号化制御方法、プログラム及び記録媒体 | |
| JP5412901B2 (ja) | 復号化装置、画像処理装置、復号化方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050629 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080819 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080910 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080911 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |