JP7419044B2 - 符号化装置、撮像装置、制御方法、およびプログラム - Google Patents

Description

本発明は、画素データに対する量子化および符号化を実行する符号化装置、撮像装置、制御方法、およびプログラムに関する。

従来の撮像装置は、撮像素子を用いて撮像した生の画像（ＲＡＷ画像）を、デベイヤー処理（デモザイク処理）によって変換した輝度と色差とを示す信号に対して、ノイズ除去、光学的な歪補正、画像の適正化を含む現像処理を実行する。そして、以上の撮像装置は、現像処理した輝度信号および色差信号を圧縮符号化して記録媒体に記録する。

他の従来の撮像装置は、撮像素子を用いて撮像した未現像のデータ（ＲＡＷ画像）を記録媒体に格納する。ＲＡＷ画像は、撮像素子によって取得された色情報を損なうこと無く色階調数を維持したまま記録媒体に記録されるから、自由度の高い編集が可能である。しかしながら、ＲＡＷ画像のデータ量は現像された画像のデータ量と比較して大きいから、記録媒体の容量を圧迫するというデメリットも存在する。したがって、ＲＡＷ画像に対しても圧縮符号化を実行してデータ量を削減すると好適である。

ＲＡＷ画像のデータ（ＲＡＷデータ）を符号化する技術においては、ＲＡＷデータから生成した複数のカラーチャネルに２次元のウェーブレット変換を実行して複数のサブバンドを生成し、各サブバンドを量子化して符号化する（例えば、特許文献１、２）。

特開２０１９－ ４４２８号公報 特開２０１９－ ２９８０２号公報

特許文献１の技術では、水平方向に亘って存在する画素ライン単位のサブバンド係数に基づいて量子化パラメータが生成される。したがって、量子化パラメータの生成、ひいては符号化において、水平方向の特徴は考慮されるが垂直方向の特徴は考慮されない。

特許文献２の技術では、垂直方向に亘るサブバンド係数も考慮して量子化パラメータが生成される。しかしながら、以上の構成では、垂直方向の特徴を特定するのに用いるサブバンド係数が取得されるまで量子化および符号化を実行できない。すなわち、量子化パラメータが生成されるまでサブバンド係数を保持しておくためのラインバッファを設けることが必要なので、符号化装置の回路規模が肥大化する。

以上の事情に鑑み、本発明は、垂直方向に亘る画像の特徴を考慮した符号化と回路規模の抑制とを両立できる符号化装置、撮像装置、制御方法、およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明の符号化装置は、入力される画素データを一時的に保持するバッファ手段と、前記画素データに対してウェーブレット変換を実行して複数のサブバンド係数を生成する変換手段と、量子化パラメータに従って前記サブバンド係数を量子化する量子化手段と、前記量子化パラメータを決定する量子化制御手段と、を有し、前記量子化制御手段は、前記バッファ手段に保持された、前記量子化手段により量子化されるサブバンド係数に対応する画素データと、当該サブバンド係数の垂直方向に位置するサブバンド係数に対応する画素データとに基づいて、前記量子化パラメータを決定する、ことを特徴とする。

本発明によれば、垂直方向に亘る画像の特徴を考慮した効率のよい符号化と回路規模の抑制とを両立できる。

符号化装置の構成を示すブロック図である。 ベイヤー配列の画像データ（ＲＡＷデータ）を示す図である。 ウェーブレット変換によるサブバンド分割の説明図である。 サブバンド係数を用いた特徴情報の生成手法の説明図である。 サブバンド係数を用いた垂直エッジの検出方法の説明図である。 サブバンド係数を用いた水平エッジの検出方法の説明図である。 明度情報と複雑度情報を用いた特徴分類の基本概念の説明図である。 エッジ情報に基づいて特徴分類を変更する手法の説明図である。 ＤＷＴ変換によってＤＷＴ係数が出力されるタイミングの説明図である。 画面の端部（左端）におけるＤＷＴ変換の実行手法の説明図である。 垂直ＤＷＴ変換におけるラインバッファの状態の説明図である。 垂直ＤＷＴ変換におけるラインバッファの状態の説明図である。 垂直ＤＷＴ変換におけるラインバッファの状態の説明図である。 垂直ＤＷＴ変換におけるラインバッファの状態の説明図である。 垂直ＤＷＴ変換におけるラインバッファの状態の説明図である。 垂直ＤＷＴ変換におけるラインバッファの状態の説明図である。 垂直ＤＷＴ変換におけるラインバッファの状態の説明図である。 符号化装置の詳細構成を示すブロック図である。 符号化装置における処理の時系列を示すタイミングチャートである。 本発明の第１実施形態における水平エッジの検出方法の説明図である。 本発明の第１実施形態に係る符号化装置の構成を示すブロック図である。 本発明の第１実施形態に係る符号化装置における処理の時系列を示すタイミングチャートである。 本発明の第１実施形態におけるサブバンド係数と画素データとの対応を示す図である。 本発明の第１実施形態におけるサブバンド係数と画素データとの対応を示す図である。 サブバンド係数を用いた暗部の検出手法の説明図である。 本発明の第１実施形態における２×２画素の画素平均値を用いた暗部の検出手法の説明図である。 本発明の第１実施形態におけるエッジ情報に基づいて特徴分類を変更する手法の説明図である。 本発明の第２実施形態における水平エッジの検出方法の説明図である。 本発明の第２実施形態に係る符号化装置の構成を示すブロック図である。 本発明の第２実施形態に係る符号化装置における処理の時系列を示すタイミングチャートである。 本発明の第２実施形態におけるサブバンド係数と画素データとの対応を示す図である。 本発明の第２実施形態におけるサブバンド係数と画素データとの対応を示す図である。

本発明の実施形態の説明に先立って実施形態の前提となる符号化装置１００の構成および符号化装置１００が実行する処理について説明する。以下の説明において、符号化装置１００は、水平方向および垂直方向におけるサブバンド係数の特徴を考慮して生成した量子化パラメータに基づいて符号化を実行する。

図１は、符号化装置１００の構成を示すブロック図である。符号化装置１００は、撮像部１０１、プレーン変換部１０２、ウェーブレット変換部１０３、特徴情報生成部１０４、量子化制御部１０５、量子化部１０６、エントロピー符号化部１０７、および記録媒体１０８を含む。

撮像部１０１は、光学レンズ、絞り、フォーカス制御部、およびレンズ駆動部を含み光学ズーム可能なレンズ光学系と、レンズ光学系を介して入射した光情報を電気信号に変換する撮像素子とを含む。したがって、本例の符号化装置１００は、撮像装置として機能する。撮像素子は、例えば、ＣＣＤイメージセンサーまたはＣＭＯＳセンサーであって、水平方向２画素×垂直方向２画素の４画素を繰り返し単位とするベイヤー配列のカラーフィルタを有する。撮像素子は、電気信号（アナログ信号）をディジタル信号に変換したＲＡＷデータを、プレーン変換部１０２に出力する。本明細書における非限定的な例示として、ＲＡＷデータは、図２に示すベイヤー配列のＲ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）の４つの色要素で構成される。

プレーン変換部１０２は、撮像部１０１から入力されるＲＡＷデータを読み出して、４つの独立したプレーンデータに変換する。以上のように変換して取得された４つのプレーンデータは、プレーン変換部１０２からウェーブレット変換部１０３に出力される。４つの色要素（Ｒ、Ｇ１、Ｇ２、Ｂ）で構成されるＲＡＷデータからプレーンデータへの変換は、以下の４つの式を含む式（１）に従って実行される。式（１）によって、ＲＡＷデータが、輝度プレーン（Ｙ）とその他のプレーン（Ｃ０、Ｃ１、Ｃ２）に近似的に変換される。

Ｙ ＝（Ｒ＋Ｇ１＋Ｇ２＋Ｂ）／４
Ｃ０＝Ｒ－Ｂ
Ｃ１＝（Ｇ１＋Ｇ２）／２－（Ｒ＋Ｂ）／２
Ｃ２＝Ｇ１－Ｇ２ ……式（１）

なお、ＲＡＷデータとプレーンデータとの変換式は、以上の式（１）に限定されず、例えば、ＲＡＷデータをＲ、Ｇ１、Ｇ２、Ｂに分離してプレーンデータとしてもよい。

ウェーブレット変換部１０３は、プレーン変換部１０２から入力されるプレーンデータを読み出して、ウェーブレット変換を施して変換係数（サブバンド係数）を取得する。変換係数は、対象データ（すなわち、プレーンデータ）とウェーブレットとの相関を示す値である。取得された変換係数は、特徴情報生成部１０４および量子化部１０６に出力される。

図３を参照して、上記のウェーブレット変換によるサブバンド分割を例示的に説明する。図３は、プレーンデータに対して垂直方向の１回のウェーブレット変換および水平方向の１回のウェーブレット変換を施して取得された、分解レベル１に相当するサブバンドを示している。図３において、サブバンドＬＬは低周波成分を示し、他のサブバンドＬＨ、ＨＬ、ＨＨは高周波成分を示す。

特徴情報生成部１０４は、ウェーブレット変換部１０３から入力されるＹプレーンのサブバンド係数を用いて、明度、複雑度、およびエッジ有無を含む３つの特徴情報を生成する。生成された特徴情報の各々は、特徴情報生成部１０４から量子化制御部１０５に出力される。特徴情報の生成手法については後述される。

量子化制御部１０５は、特徴情報生成部１０４から入力される特徴情報に対応する量子化パラメータを生成して量子化部１０６に出力する。特徴情報と量子化パラメータとの関係性については後述される。

量子化部１０６は、ウェーブレット変換部１０３から入力されるサブバンドデータに対して、量子化制御部１０５から入力される量子化パラメータを用いて変換係数（サブバンド係数）の量子化を実行する。量子化された変換係数は、量子化部１０６からエントロピー符号化部１０７に出力される。

エントロピー符号化部１０７は、量子化部１０６において量子化された変換係数（サブバンド係数）を符号化して符号化データを取得する。以上の圧縮符号化は、例えば、ゴロム符号化等のエントロピー符号化である。符号化データは、エントロピー符号化部１０７から記録媒体１０８に出力される。

記録媒体１０８は、例えば、不揮発性メモリによって構成される記録メディアであって、エントロピー符号化部１０７から入力される符号化データを格納する。

プレーン変換部１０２からエントロピー符号化部１０７までの機能ブロックは、符号化装置１００が有する１つ以上のＣＰＵ等のプロセッサが、不揮発性メモリに格納されたプログラムを揮発性メモリに展開して実行することによって実現される。

次いで、特徴情報と量子化パラメータとの関係性について、以下に説明する。前述したように、特徴情報として、明度を示す特徴情報、複雑度を示す特徴情報、およびエッジ有無を示す特徴情報が例示される。

明度は、ＲＡＷデータの輝度レベルを示す。量子化処理においては、輝度レベルが低い領域（暗部領域）に対して粗い量子化（量子化ビット数の小さい量子化）を施すと、量子化後の係数が０になりやすい。すなわち、暗部領域に対して粗い量子化を施すと微細な情報が失われやすい。また、ＲＡＷデータに対して、データ記録後の処理（ポスト処理）においてガンマ補正やトーンカーブ補正のような輝度レベル調整が実行される。以上の輝度レベル調整においては、一般的に、暗部領域の輝度レベルが増大されると共に明部領域の輝度レベルが低減される。そのため、同一の量子化パラメータを用いて暗部領域と明部領域との双方の量子化を行うと、輝度レベルが大きく増大される暗部領域では、量子化歪みの増幅度も大きいので画質劣化が目立ちやすい。一方で、輝度レベルが低減される明部領域では、量子化歪みの増幅度が小さいので画質劣化が目立ちにくい。以上の傾向に基づき、画質劣化が目立ちやすい暗部領域では量子化歪みが小さくなるように細かく量子化し、画質劣化が目立ちにくい明部領域では符号量が増大しないように粗く量子化すると好適である。

複雑度は、ＲＡＷデータの空間周波数の高さを示す。エッジ有無は、輝度レベルが急激に変化する部分であるエッジの存在を示す。ＲＡＷデータにおいて、空間周波数が低いほど平坦な領域であり、空間周波数が高いほど複雑な領域である。一般的に、画像圧縮においては、平坦領域の情報を削減すると視覚的な劣化が目立ちやすい一方、複雑領域の情報を削減しても視覚的な劣化は目立ちにくい。ただし、複雑領域（空間周波数が高い領域）であっても、輝度レベルが急激に変化する部分であるエッジを含む領域は、情報を削減すると視覚的な劣化が目立ちやすい。以上の傾向に基づき、視覚的な劣化が目立ちやすい平坦領域や含エッジ領域では細かく量子化し、視覚的な劣化が目立ちにくい複雑領域では粗く量子化すると好適である。

次いで、各々の特徴情報の生成手法について、図４から図６を参照して以下に説明する。特徴情報生成部１０４は、Ｙプレーンのサブバンド係数を特徴量として、明度、複雑度、およびエッジ有無をそれぞれ示す特徴情報を所定のブロック単位で生成する。

図４を参照して、水平方向に亘る特徴情報の生成について説明する。本例では、分解レベル１のサブバンドにおいて水平方向に連続する４つの変換係数（水平４係数）を用いて、特徴情報の生成単位であるブロック４０１～４０４ごとに特徴情報を生成する。分解レベル１のサブバンド形成図４００において、ブロック４０１～４０４はそれぞれ同一の空間座標を指している。

前述のように、明度の特徴情報は、ＲＡＷデータの輝度レベルを示す。したがって、明度Ｐ１は、画像のＤＣ成分である１ＬＬサブバンド係数のブロック４０１を用いて生成することができる。明度Ｐ１は、ブロック４０１内の係数Ａ０、Ａ１、Ａ２、Ａ３を用いて、以下の式（２）によって表される。

Ｐ１＝（Ａ０＋Ａ１＋Ａ２＋Ａ３＋２）＞＞２ ……式（２）

また、複雑度の特徴情報（複雑度Ｐ２）は、画像のＡＣ成分である１ＨＬサブバンド係数のブロック４０２、１ＬＨサブバンド係数のブロック４０３、および１ＨＨサブバンド係数のブロック４０４に基づいて生成することができる。複雑度Ｐ２は、ブロック４０２について生成される中間評価値ＰＨＬ、ブロック４０３について生成される中間評価値ＰＬＨ、およびブロック４０４について生成される中間評価値ＰＨＨのうちの最大値であって、以下の式（３）によって表される。

Ｐ２＝ＭＡＸ（ＰＨＬ，ＰＬＨ，ＰＨＨ） ……式（３）

式（３）における中間評価値ＰＨＬは、ブロック４０２内の係数Ｂ０、Ｂ１、Ｂ２、Ｂ３を用いて以下の式（４）によって表される。同様に、中間評価値ＰＬＨは、ブロック４０３内の係数Ｃ０、Ｃ１、Ｃ２、Ｃ３を用いて以下の式（５）によって表され、中間評価値ＰＨＨは、ブロック４０４内の係数Ｄ０、Ｄ１、Ｄ２、Ｄ３を用いて以下の式（６）によって表される。式（４）～式（６）において、ＡＢＳは絶対値変換処理を示している。

ＰＨＬ＝｛ＡＢＳ（Ｂ０）＋ＡＢＳ（Ｂ１）＋ＡＢＳ（Ｂ２）＋ＡＢＳ（Ｂ３）＋２｝＞＞２ ……式（４）
ＰＬＨ＝｛ＡＢＳ（Ｃ０）＋ＡＢＳ（Ｃ１）＋ＡＢＳ（Ｃ２）＋ＡＢＳ（Ｃ３）＋２｝＞＞２ ……式（５）
ＰＨＨ＝｛ＡＢＳ（Ｄ０）＋ＡＢＳ（Ｄ１）＋ＡＢＳ（Ｄ２）＋ＡＢＳ（Ｄ３）＋２｝＞＞２ ……式（６）

図５を参照して、上記した水平４係数に垂直方向のエッジ（垂直エッジ）が含まれるか否かを検出する処理について説明する。図５（ａ）は、本例における垂直エッジの検出に用いられる周波数成分（水平４係数（ｎ～ｎ＋３））を例示している。水平方向に対する周波数成分に関するＨＬサブバンドの係数を用いて検出処理を実行することで、水平方向に対する高周波成分である垂直エッジを検出することができる。本例の検出処理においては、各係数が、所定の閾値を上回る場合に「振幅値大」と判定される一方、所定の閾値以下である場合に「振幅値小」と判定される。そして、以上の判定値（「振幅値大」または「振幅値小」）の配列に従って、垂直エッジが水平４係数に含まれるか否か判定される。

図５（ｂ）は、垂直エッジが含まれると判定される水平４係数の配列を例示している。図５（ｂ）における水平軸上の水平座標位置（ｎ～ｎ＋３）は、図５（ａ）の水平４係数（ｎ～ｎ＋３）に対応している。図５（ｂ）における垂直軸は、各水平座標位置における係数値に相当する。図示の通り、水平座標位置における判定値は、それぞれ、ｎ＝振幅値小、ｎ＋１＝振幅値小、ｎ＋２＝振幅値大、ｎ＋３＝振幅値小であって、水平座標位置がｎからｎ＋３に変化する際に閾値を跨ぐ振幅値（係数値）の変化が生じている。以上のように閾値を跨ぐ振幅値の変化が生じていることは、水平４係数に相当する箇所において画像の水平方向の連続性が破れていることを示すので、垂直エッジが存在すると判定される。

図６を参照して、垂直方向に連続する３つの変換係数（垂直３係数）に水平方向のエッジ（水平エッジ）が含まれるか否かを検出する処理について説明する。図６（ａ）は、本例における水平エッジの検出に用いられる周波数成分（垂直３係数（ｍ－１～ｍ＋１））を例示している。垂直方向に対する周波数成分に関するＬＨサブバンドの係数を用いて検出処理を実行することで、垂直方向に対する高周波成分である水平エッジを検出することができる。本例の検出処理においては、各係数が、所定の閾値を上回る場合に「振幅値大」と判定される一方、所定の閾値以下である場合に「振幅値小」と判定される。そして、以上の判定値（同前）の配列に従って、水平エッジが垂直３係数に含まれるか否か判定される。

図６（ｂ）は、水平エッジが含まれると判定される垂直３係数の配列を例示している。図６（ｂ）における水平軸上の垂直座標位置（ｍ－１～ｍ＋１）は、図６（ａ）の垂直３係数（ｍ－１～ｍ＋１）に対応している。図６（ｂ）における垂直軸は、各垂直座標位置における係数値に相当する。図示の通り、垂直座標位置における判定値は、それぞれ、ｍ－１＝振幅値小、ｍ＝振幅値大、ｍ＋１＝振幅値小であって、垂直座標位置がｍ－１からｍ＋１に変化する際に閾値を跨ぐ振幅値（係数値）の変化が生じている。以上のように閾値を跨ぐ振幅値の変化が生じていることは、垂直３係数に相当する箇所において画像の垂直方向の連続性が破れていることを示すので、水平エッジが存在すると判定される。

図７を参照して、量子化制御部１０５が実行する特徴分類の基本概念について説明する。図７に示される特徴分類表において、閾値ＴＨ０は、輝度Ｐ１を低輝度と中輝度とのいずれかに分類する閾値であり、閾値ＴＨ１は、輝度Ｐ１を中輝度と高輝度とのいずれかに分類する閾値である。また、閾値ＴＨ２は、空間周波数を示す複雑度Ｐ２を低周波と中周波とのいずれかに分類する閾値であり、閾値ＴＨ３は、複雑度Ｐを中周波と高周波とのいずれかに分類する閾値である。以上の４つの閾値ＴＨ０～ＴＨ３は、それぞれ、画像のビット深度等の条件に応じて任意に設定可能なパラメータである。以上の４つの閾値ＴＨ０～ＴＨ３と輝度Ｐ１、複雑度Ｐ２との大小関係に応じて各ブロックの特徴が分類される。

補正量Ｑ０～Ｑ８は、閾値ＴＨ０～ＴＨ３に基づいて分類された特徴情報（輝度Ｐ１、複雑度Ｐ２）に適用すべき量子化パラメータの補正量である。なお、補正量Ｑ０～Ｑ８を適用すべき領域を、それぞれ、同じ符号を用いて領域Ｑ０～Ｑ８と称することがある。補正量Ｑ０～Ｑ８の大小関係を以下の式（７）に例示する。

Ｑ０＜Ｑ１≦Ｑ３≦Ｑ２≦Ｑ４≦Ｑ６＜Ｑ５≦Ｑ７＜Ｑ８ ……式（７）

量子化パラメータは、視覚特性を考慮して、輝度が低く平坦な領域Ｑ０において最も小さくなり、輝度が高く複雑な領域Ｑ８において最も大きくなるように重み付けされると好適である。式（７）における補正量の大小関係は、領域Ｑ０から他の各領域Ｑ１～Ｑ７までの距離に基づいて設定されている。

図８を参照して、エッジの存在を考慮した特徴分類について説明する。前述した垂直エッジおよび水平エッジの判定においてエッジが存在すると判定された場合、図７に示される特徴分類表が図８に示すように変更される。例えば、量子化制御部１０５は、領域Ｑ３、Ｑ６（領域８０１）に分類される要素を、領域Ｑ０（領域８０２）に分類されるように変更する。同様に、量子化制御部１０５は、領域Ｑ４、Ｑ７（領域８０３）に分類される要素を領域Ｑ１（領域８０４）に、領域Ｑ５、Ｑ８（領域８０５）に分類される要素を領域Ｑ２（領域８０６）に分類されるように変更する。以上の構成によれば、視覚的な劣化が目立ちやすいエッジ領域の量子化パラメータを低く維持することができる。

次いで、ウェーブレット変換のタイミングとラインバッファについて、図９から図１１を参照して以下に説明する。以下の例においては、ウェーブレット変換部１０３において、可逆５－３タップフィルタを用いたウェーブレット変換（以下、ＤＷＴ変換と称する）が実行される。

図９を参照して、ウェーブレット係数（以下、ＤＷＴ係数と称する）が出力されるタイミングを説明する。本例のＤＷＴ係数（サブバンド係数）は、リフティング構造を用いたＤＷＴ変換によって取得される。図９（ａ）の状態が図９（ｂ）の状態および図９（ｃ）の状態に遷移するに従って、画素データが逐次に追加されている。

図９（ａ）において、入力される画素データａ～ｅは、水平方向に連続的に配置された画素に対応している。ＤＷＴ係数ｂ_Ｈは、画素データａ、ｂ、ｃを用いて以下の式（８－１）に従って生成された分解レベル１の高周波成分の係数である。ＤＷＴ係数ｄ_Ｈは、画素データｃ、ｄ、ｅを用いて以下の式（８－２）に従って生成された分解レベル１の高周波成分の係数である。ＤＷＴ係数ｃ_ＬはＤＷＴ係数ｂ_Ｈ、ＤＷＴ係数ｄ_Ｈ、および画素データｃを用いて以下の式（８－３）に従って生成された分解レベル１の低周波成分の係数である。

ｂ_Ｈ＝ｂ－（ａ＋ｃ）／２ ……式（８－１）
ｄ_Ｈ＝ｄ－（ｃ＋ｅ）／２ ……式（８－２）
ｃ_Ｌ＝ｃ＋（ｂ_Ｈ＋ｄ_Ｈ＋２）／４ ……式（８－３）

図９（ｂ）は、図９（ａ）の状態に対して、水平方向に画素データｆが新たに入力された状態を示す。図９（ｂ）から理解されるように、１つの画素データｆが追加されても新たなＤＷＴ変換を実行するには画素データ数が不足しているので、新たなＤＷＴ係数は出力されない。

図９（ｃ）は、図９（ｂ）の状態に対して、水平方向に画素データｇが新たに入力された状態を示す。図９（ｃ）から理解されるように、図９（ａ）と比較して２つの画素データｆ、ｇが追加されているので、新たなＤＷＴ変換を実行することができる。結果として、高周波成分のＤＷＴ係数ｆ_Ｈおよび低周波成分のＤＷＴ係数ｅ_Ｌが出力される。

以上のように、水平方向に２画素分の画素データが入力されるごとに１回の水平方向におけるＤＷＴ変換（以下、水平ＤＷＴ変換と称する）が実行される。以上の関係性は垂直方向においても同様であって、垂直方向に２画素分の画素データが入力されるごとに１回の垂直方向におけるＤＷＴ変換（以下、垂直ＤＷＴ変換と称する）が実行される。

画素データの数に関して、図３に示すように、分解レベル１の各サブバンドのサイズは水平方向および垂直方向の各々において入力画素データの半分である。したがって、各サブバンド係数の数は、オリジナル画像の画素数の１／４である。

図１０を参照して、画面の端部（左端）におけるＤＷＴ変換の実行手法について説明する。図１０において、入力される３つの画素データａ、ｂ、ｃは、画面左端から水平方向に連続的に配置された画素に対応している。図１０に示すように、画面の左端で水平ＤＷＴ変換を実行する場合、左端に最も近い画素データａを基準に左右対称となるように画素データｂ、ｃをコピーすることによって、不足する画素データ（左端よりも左に位置すべき画素データ）を拡張する。以上のデータ拡張によって、左端においても水平ＤＷＴ変換を実行することができる。なお、右端においても同様に水平ＤＷＴ変換を実行することができる。さらに、上端および下端においても同様に垂直ＤＷＴ変換を実行することができる。

図１１Ａから図１１Ｇを参照して、リフティング構造を用いた垂直ＤＷＴ変換について説明する。本例のＤＷＴ変換においては、１ライン分の画素データが順次に入力される。図１１Ａから図１１Ｇにおける画素データａ～ｇは、１ライン分の入力画素データを示す。図１１Ａから図１１Ｇまでの時系列において、画素データａ～ｇが入力されるのに伴って、画素ラインバッファおよび垂直ＤＷＴラインバッファに格納されるデータが変化していく。画素ラインバッファは、低周波成分のＤＷＴ係数および高周波成分のＤＷＴ係数を算出するために１ライン分の画素データをバッファリングする。垂直ＤＷＴラインバッファは、低周波成分のＤＷＴ係数を算出するために１ライン分の高周波成分のＤＷＴ係数をバッファリングする。

図１１Ａに示すように、ウェーブレット変換部１０３は、１ライン分の画素データａが入力されると、画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０に画素データａを格納する。

図１１Ｂに示すように、ウェーブレット変換部１０３は、次の１ライン分の画素データｂが入力されると、画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ１に画素データｂを格納する。

図１１Ｃに示すように、ウェーブレット変換部１０３は、次の１ライン分の画素データｃが入力されると、画素データｃと画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０、１の画素データａ、ｂとを用いて分解レベル１の高周波成分のＤＷＴ係数ｂ_Ｈを算出する。さらに、ウェーブレット変換部１０３は、算出されたＤＷＴ係数ｂ_Ｈと画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０に格納されている画素データａとを用いて分解レベル１の低周波成分のＤＷＴ係数ａ_Ｌを算出する。ウェーブレット変換部１０３は、ＤＷＴ係数ａ_Ｌを算出した後、画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０の画像データａを画像データｃで上書きする。ウェーブレット変換部１０３は、算出したＤＷＴ係数ａ_Ｌを、水平方向のＤＷＴ変換を実行する水平ＤＷＴ変換部へ出力する。ウェーブレット変換部１０３は、算出したＤＷＴ係数ｂ_Ｈを、水平ＤＷＴ変換部に出力すると共に、垂直ＤＷＴラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ２に格納する。

図１１Ｄに示すように、ウェーブレット変換部１０３は、次の１ライン分の画素データｄが入力されると、画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ１の画像データｂを画像データｄで上書きする。

図１１Ｅに示すように、ウェーブレット変換部１０３は、次の１ライン分の画素データｅが入力されると、画素データｅと画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０、１の画素データｃ、ｄとを用いて分解レベル１の高周波成分のＤＷＴ係数ｄ_Ｈを算出する。さらに、ウェーブレット変換部１０３は、算出されたＤＷＴ係数ｄ_Ｈと画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０の画素データｃと垂直ＤＷＴラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ２のＤＷＴ係数ｂ_Ｈとを用いて分解レベル１の低周波成分のＤＷＴ係数ｃ_Ｌを算出する。ウェーブレット変換部１０３は、ＤＷＴ係数ｃ_Ｌを算出した後、画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０の画像データｃを画像データｅで上書きする。ウェーブレット変換部１０３は、算出したＤＷＴ係数ｃ_Ｌを水平ＤＷＴ変換部へ出力する。ウェーブレット変換部１０３は、算出したＤＷＴ係数ｄ_Ｈを、水平ＤＷＴ変換部に出力すると共に、垂直ＤＷＴラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ３に格納する。

図１１Ｆに示すように、ウェーブレット変換部１０３は、次の１ライン分の画素データｆが入力されると、画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ１の画像データｄを画像データｆで上書きする。

図１１Ｇに示すように、ウェーブレット変換部１０３は、次の１ライン分の画素データｇが入力されると、画素データｇと画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０、１の画素データｅ、ｆとを用いて分解レベル１の高周波成分のＤＷＴ係数ｆ_Ｈを算出する。さらに、ウェーブレット変換部１０３は、算出されたＤＷＴ係数ｆ_Ｈと画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０の画素データｅと垂直ＤＷＴラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ２のＤＷＴ係数ｄ_Ｈとを用いて分解レベル１の低周波成分のＤＷＴ係数ｅ_Ｌを算出する。ウェーブレット変換部１０３は、ＤＷＴ係数ｅ_Ｌを算出した後、画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０の画像データｅを画像データｇで上書きする。ウェーブレット変換部１０３は、算出したＤＷＴ係数ｅ_Ｌを水平ＤＷＴ変換部へ出力する。ウェーブレット変換部１０３は、算出したＤＷＴ係数ｆ_Ｈを、水平ＤＷＴ変換部に出力すると共に、垂直ＤＷＴラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ２に格納されているＤＷＴ係数ｂ_Ｈに上書きする。

以降、ウェーブレット変換部１０３は、同様の処理を、最終ラインの画素データに至るまで繰り返して実行する。以上から理解されるように、本例の垂直ＤＷＴ変換を実行するには、少なくとも、２ラインの画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０、１と２ラインの垂直ＤＷＴラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ２、３とが必要である。

図１２は、プレーン変換後の上記した処理を実行可能な符号化装置１００の詳細構成を例示するブロック図である。符号化装置１００は、ウェーブレット変換部１２００、特徴情報生成部１２０１、量子化制御部１２０２、量子化部１２０３、およびエントロピー符号化部１２０４を有する。以上の要素は、それぞれ、図１のウェーブレット変換部１０３、特徴情報生成部１０４、量子化制御部１０５、量子化部１０６、およびエントロピー符号化部１０７に対応している。図１２において不図示の要素は、図１と同様に構成されると好適である。

ウェーブレット変換部１２００は、分解レベル１のＤＷＴ変換に用いられる画素ラインバッファ１２０５、垂直ＤＷＴ変換部１２０６、垂直ＤＷＴラインバッファ１２０７、水平ＤＷＴ変換部１２０８、および水平ＤＷＴラインバッファ１２０９を有する。特徴情報生成部１２０１は、水平エッジの判定に用いられる水平エッジ判定ラインバッファ１２１０を有する。

図１３は、図１２に示す符号化装置１００において実行されるＤＷＴ変換、特徴情報生成、並びに量子化およびエントロピー符号化の時系列を示すタイミングチャートである。本例では、符号化装置１００が、ラスタ順に入力されたプレーン変換後の画素データに対して分解レベル１まで垂直ＤＷＴ変換および水平ＤＷＴ変換を実行する。

図１３の横軸は時間の推移を示している。期間ｔ０～ｔ１０において、それぞれ、１ライン分の画素データａ～ｋが入力される。画像データの入力は期間ｔ０から開始する。以下、各行に示される矩形バー（以下、単に「バー」と称する）について説明する。

「画素データ」行に示されるバーａ～ｋは、対応期間において画素ラインバッファ１２０５に入力される１ライン分の画素データａ～ｋを示す。図示の通り、全期間に亘って「画素データ」行にバーが示されているので、全期間に亘って１ライン分の画素データが画素ラインバッファ１２０５に入力される。例えば、期間ｔ０において、１ライン分の画素データａが画素ラインバッファ１２０５に入力される。また、期間ｔ１において、１ライン分の画素データｂが画素ラインバッファ１２０５に入力される。

「画素ラインバッファ」行に示されるバーａ～ｊは、入力された１ライン分の画素データが、対応期間において画素ラインバッファ１２０５に一時的に保持されていることを示す。例えば、期間ｔ１において、画素データａが画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０に保持されている。また、期間ｔ２において、画素データａ、ｂが、それぞれ画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０、１に保持されている。

「垂直ＤＷＴ変換」行（「Ｌｅｖ１－Ｌ」行および「Ｌｅｖ１－Ｈ」行）に示されるバーａ_Ｌ～ｉ_Ｌ、ｂ_Ｈ～ｊ_Ｈは、対応期間において垂直ＤＷＴ変換部１２０６が分解レベル１の垂直ＤＷＴ変換を実行することを示す。以上の垂直ＤＷＴ変換後のＤＷＴ係数データは、垂直ＤＷＴラインバッファ１２０７または水平ＤＷＴ変換部１２０８に出力される。例えば、期間ｔ１において、垂直ＤＷＴ変換は実行されない。また、期間ｔ２において、分解レベル１の垂直ＤＷＴ変換が実行され、ＤＷＴ係数ａ_Ｌ、ｂ_Ｈが出力される。

「垂直ＤＷＴラインバッファ」行に示されるバーｂ_Ｈ、ｄ_Ｈ、ｆ_Ｈ、ｈ_Ｈは、垂直ＤＷＴ変換部１２０６からのＤＷＴ係数が、対応期間において垂直ＤＷＴラインバッファ１２０７に一時的に保持されていることを示す。例えば、期間ｔ３において、１ライン分のＤＷＴ係数ｂ_Ｈが垂直ＤＷＴラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ２に保持される。また、期間ｔ５において、１ライン分のＤＷＴ係数ｂ_Ｈが垂直ＤＷＴラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ２に保持され、１ライン分のＤＷＴ係数ｄ_Ｈが垂直ＤＷＴラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ３に保持される。

「水平ＤＷＴ変換」行（「Ｌｅｖ１－ＬＬ」行、「Ｌｅｖ１－ＨＬ」行、「Ｌｅｖ１－ＬＨ」行、「Ｌｅｖ１－ＨＨ」行）に示されるバーａ_ＸＸ～ｊ_ＸＸ（Ｘは、ＬまたはＨ）は、対応期間において分解レベル１の水平ＤＷＴ変換が実行されることを示す。以上の水平ＤＷＴ変換は、水平ＤＷＴ変換部１２０８によって実行される。水平ＤＷＴ変換後のＤＷＴ係数データは、水平ＤＷＴラインバッファ１２０９に出力される。例えば、期間ｔ０、ｔ１において、水平ＤＷＴ変換は実行されない。また、期間ｔ２において、分解レベル１の水平ＤＷＴ変換が実行され、ＤＷＴ係数ａ_ＬＬ、ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨが水平ＤＷＴラインバッファ１２０９に出力される。

「水平ＤＷＴラインバッファ」行に示されるバーａ_ＸＸ～ｈ_ＸＸは、水平ＤＷＴ変換部１２０８からのＤＷＴ係数が、対応期間において水平ＤＷＴラインバッファ１２０９に一時的に保持されていることを示す。例えば、期間ｔ３～ｔ４において、０．５ライン分のＤＷＴ係数ａ_ＬＬ、ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨが水平ＤＷＴラインバッファ１２０９に保持される。また、期間ｔ５～ｔ６において、０．５ライン分のＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨが水平ＤＷＴラインバッファ１２０９に保持される。

「水平エッジ判定ラインバッファ」行に示されるバーｂ_ＬＨ、ｄ_ＬＨ、ｆ_ＬＨは、水平ＤＷＴラインバッファ１２０９からのＤＷＴ係数のＬＨ成分が、対応期間において水平エッジ判定ラインバッファ１２１０に一時的に保持されていることを示す。例えば、期間ｔ５～ｔ６において、０．５ライン分のＤＷＴ係数ｂ_ＬＨが水平エッジ判定ラインバッファ１２１０に保持される。また、期間ｔ７～ｔ８において、０．５ライン分のＤＷＴ係数ｄ_ＬＨが水平エッジ判定ラインバッファ１２１０に保持される。

「量子化・エントロピー符号化」行に示されるバーａ_ＸＸ～ｈ_ＸＸは、水平ＤＷＴ変換後のＤＷＴ係数データを、対応期間において量子化部１２０３およびエントロピー符号化部１２０４が量子化および符号化することを示す。例えば、期間ｔ４において、水平ＤＷＴ変換後のＤＷＴ係数ａ_ＬＬ、ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨが量子化およびエントロピー符号化される。また、期間ｔ６において、水平ＤＷＴ変換後のＤＷＴ係数データｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨが量子化およびエントロピー符号化される。

図１２に示す符号化装置１００が図１３に示す期間において実行する符号化処理を以下に時系列的に説明する。

期間ｔ０において、１ライン分の画素データａが、ウェーブレット変換部１２００の画素ラインバッファ１２０５に入力される。期間ｔ１において、１ライン分の画素データｂが画素ラインバッファ１２０５に入力される。以上の期間ｔ０、ｔ１では、垂直ＤＷＴ変換を実行するのに必要なライン数の画素データがウェーブレット変換部１２００に入力されていない。したがって、入力された画素データａ、ｂは画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０、１に保持されるが、垂直ＤＷＴ変換は実行されない。

期間ｔ２において、垂直ＤＷＴ変換部１２０６は、画素ラインバッファ１２０５内の画素データａ、ｂおよび入力された画素データｃを用いてＤＷＴ係数ｂ_Ｈを算出する。算出されたＤＷＴ係数ｂ_Ｈは、垂直ＤＷＴラインバッファ１２０７（Ｌｉｎｅ＿Ｂｕｆｆｅｒ２）と水平ＤＷＴ変換部１２０８とに出力される。また、垂直ＤＷＴ変換部１２０６は、画素ラインバッファ１２０５内の画素データａと算出されたＤＷＴ係数ｂ_Ｈとを用いてＤＷＴ係数ａ_Ｌを算出し、水平ＤＷＴ変換部１２０８に出力する。水平ＤＷＴ変換部１２０８は、入力されるＤＷＴ係数ａ_Ｌ、ｂ_Ｈに水平ＤＷＴ変換を実行して、ＤＷＴ係数ａ_ＬＬ、ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨを算出し水平ＤＷＴラインバッファ１２０９へ出力する。なお、画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０の画像データａは、ＤＷＴ係数ａ_Ｌの算出後に画素データｃで上書きされる。

期間ｔ３において、１ライン分の画素データｄが、画素データｂを保持している画素ラインバッファ１２０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ１）に上書きされる。期間ｔ０～ｔ１と同様、垂直ＤＷＴ変換を実行するのに必要なライン数の画素データがウェーブレット変換部１２００に入力されていないので、垂直ＤＷＴ変換は実行されない。

期間ｔ４において、垂直ＤＷＴ変換部１２０６は、画素ラインバッファ１２０５内の画素データｃ、ｄおよび入力された画素データｅを用いてＤＷＴ係数ｄ_Ｈを算出する。算出されたＤＷＴ係数ｄ_Ｈは、垂直ＤＷＴラインバッファ１２０７（Ｌｉｎｅ＿Ｂｕｆｆｅｒ３）と水平ＤＷＴ変換部１２０８とに出力される。また、垂直ＤＷＴ変換部１２０６は、画素ラインバッファ１２０５内の画素データｃと算出されたＤＷＴ係数ｄ_Ｈとを用いてＤＷＴ係数ｃ_Ｌを算出し、水平ＤＷＴ変換部１２０８に出力する。水平ＤＷＴ変換部１２０８は、入力されるＤＷＴ係数ｃ_Ｌ、ｄ_Ｈに水平ＤＷＴ変換を実行して、ＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨを算出する。同時に、水平ＤＷＴラインバッファ１２０９は、保持しているＤＷＴ係数ａ_ＬＬ、ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨを特徴情報生成部１２０１に出力する。特徴情報生成部１２０１は、ＤＷＴ係数ａ_ＬＬを用いて明度を生成し、ＤＷＴ係数ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨを用いて複雑度を生成し、ＤＷＴ係数ａ_ＨＬを用いて垂直エッジ情報を生成し、量子化制御部１２０２に出力する。量子化制御部１２０２は、特徴情報生成部１２０１からの特徴情報（明度、複雑度、エッジ情報）に対応する量子化パラメータを生成して量子化部１２０３に出力する。量子化部１２０３は、量子化制御部１２０２から入力された量子化パラメータを用いて、水平ＤＷＴラインバッファ１２０９に保持されているＤＷＴ係数ａ_ＬＬ、ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨを量子化する。量子化されたＤＷＴ係数ａ_ＬＬ、ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨは、量子化部１２０３からエントロピー符号化部１２０４に出力される。

なお、画像の上端部分を処理する際には、上端より上側に位置するラインのＤＷＴ係数が存在しないので、図６を参照して説明した水平エッジの判定は実行されずに量子化パラメータが生成される。画像の下端部分を処理する際も、下端より下側に位置するラインのＤＷＴ係数が存在しないので、同様に水平エッジの判定は実行されない。

上述のように、水平ＤＷＴ変換部１２０８は、ＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨを出力し、水平ＤＷＴラインバッファ１２０９に格納する。下ラインに対応するＤＷＴ係数ｆ_ＬＨが未算出であるので、ＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨを用いた水平エッジ判定はまだ実行できない。量子化およびエントロピー符号化に用いられ不要となったＤＷＴ係数ａ_ＬＬ、ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨは、水平ＤＷＴ変換部１２０８が出力するＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨによって上書きされる。ＤＷＴ係数ｂ_ＬＨは、以上の上書き前に水平エッジ判定ラインバッファ１２１０に格納される。画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０の画像データｃは、ＤＷＴ係数ｃ_Ｌの算出後に画素データｅで上書きされる。

期間ｔ５において、１ライン分の画素データｆが、画素データｄを保持している画素ラインバッファ１２０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ１）に上書きされる。期間ｔ０～ｔ１、ｔ３と同様、垂直ＤＷＴ変換を実行するのに必要なライン数の画素データがウェーブレット変換部１２００に入力されていないので、垂直ＤＷＴ変換は実行されない。

期間ｔ６において、垂直ＤＷＴ変換部１２０６は、画素ラインバッファ１２０５内の画素データｅ、ｆおよび入力された画素データｇを用いてＤＷＴ係数ｆ_Ｈを算出する。算出されたＤＷＴ係数ｆ_Ｈは、垂直ＤＷＴラインバッファ１２０７（Ｌｉｎｅ＿Ｂｕｆｆｅｒ２）と水平ＤＷＴ変換部１２０８とに出力される。また、垂直ＤＷＴ変換部１２０６は、画素ラインバッファ１２０５内の画素データｅと算出されたＤＷＴ係数ｆ_Ｈとを用いてＤＷＴ係数ｅ_Ｌを算出し、水平ＤＷＴ変換部１２０８に出力する。水平ＤＷＴ変換部１２０８は、入力されるＤＷＴ係数ｅ_Ｌ、ｆ_Ｈに水平ＤＷＴ変換を実行して、ＤＷＴ係数ｅ_ＬＬ、ｅ_ＨＬ、ｆ_ＬＨ、ｆ_ＨＨを算出する。ＤＷＴ係数ｆ_ＬＨは特徴情報生成部１２０１に出力される。同時に、水平ＤＷＴラインバッファ１２０９は、保持しているＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨを特徴情報生成部１２０１に出力する。加えて、水平エッジ判定ラインバッファ１２１０は、保持しているＤＷＴ係数ｂ_ＬＨを特徴情報生成部１２０１に出力する。特徴情報生成部１２０１は、ＤＷＴ係数ｃ_ＬＬを用いて明度を生成し、ＤＷＴ係数ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨを用いて複雑度を生成し、ＤＷＴ係数ｃ_ＨＬを用いて垂直エッジ情報を生成し、量子化制御部１２０２に出力する。加えて、特徴情報生成部１２０１は、ＤＷＴ係数ｂ_ＬＨ、ｄ_ＬＨ、ｆ_ＬＨを用いて水平エッジ情報を生成し、量子化制御部１２０２に出力する。量子化制御部１２０２は、特徴情報生成部１２０１からの特徴情報（明度、複雑度、エッジ情報）に対応する量子化パラメータを生成して量子化部１２０３に出力する。量子化部１２０３は、量子化制御部１２０２から入力された量子化パラメータを用いて、水平ＤＷＴラインバッファ１２０９に保持されているＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨを量子化する。量子化されたＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨは、量子化部１２０３からエントロピー符号化部１２０４に出力される。

上述のように、水平ＤＷＴ変換部１２０８は、ＤＷＴ係数ｅ_ＬＬ、ｅ_ＨＬ、ｆ_ＬＨ、ｆ_ＨＨを出力し、水平ＤＷＴラインバッファ１２０９に格納する。下ラインに対応するＤＷＴ係数ｈ_ＬＨが未算出であるので、ＤＷＴ係数ｅ_ＬＬ、ｅ_ＨＬ、ｆ_ＬＨ、ｆ_ＨＨを用いた水平エッジ判定はまだ実行できない。量子化およびエントロピー符号化に用いられ不要となったＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨは、水平ＤＷＴ変換部１２０８が出力するＤＷＴ係数ｅ_ＬＬ、ｅ_ＨＬ、ｆ_ＬＨ、ｆ_ＨＨによって上書きされる。ＤＷＴ係数ｄ_ＬＨは、以上の上書き前に水平エッジ判定ラインバッファ１２１０（ＤＷＴ係数ｂ_ＬＨが格納されている箇所）に上書きされ格納される。画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０の画像データｅは、ＤＷＴ係数ｅ_Ｌの算出後に画素データｇで上書きされる。

以降、同様にして最終ラインの画像データまで処理が繰り返し実行される。

以上の構成、特に、図１２および図１３の構成から理解されるように、下ラインに対応するＤＷＴ係数（例えば、ｈ_ＬＨ）が算出されるまでは量子化パラメータを決定することができない。したがって、下ラインに対応するＤＷＴ係数が算出されるまでは、水平ＤＷＴラインバッファ１２０９にＤＷＴ係数（例えば、ｅ_ＬＬ、ｅ_ＨＬ、ｆ_ＬＨ、ｆ_ＨＨ）を保持しておく必要がある。つまり、サブバンドごとに合計２ライン分のラインバッファが必要であるから、以上のような構成では、符号化装置１００の回路規模が肥大化してしまう。以上の課題を解決可能な本発明の実施形態を、以下に説明する。

以下に説明される各実施形態は、本発明を実現可能な構成の一例に過ぎない。以下の各実施形態は、本発明が適用される装置の構成や各種の条件に応じて適宜に修正または変更することが可能である。したがって、本発明の範囲は、以下の各実施形態に記載される構成によって限定されるものではない。例えば、相互に矛盾のない限りにおいて実施形態内に記載された複数の構成を組み合わせた構成も採用可能である。

＜第１実施形態＞
上記した例では、ＬＨサブバンド係数に基づいて水平エッジの判定が実行される。本発明の第１実施形態では、画素値（画素平均値）に基づいて水平エッジの判定が実行される。詳細は以下の通りである。

図３等を参照して上記したように、分解レベル１の各サブバンドのサイズは水平方向および垂直方向の各々において入力画素データの半分である。各サブバンド係数の数はオリジナル画像の画素数の１／４である。すなわち、１つのサブバンド係数は、水平方向２画素×垂直方向２画素に対応する。そこで、本発明の第１実施形態においては、１つのサブバンド係数に対応する２×２画素（水平方向２画素×垂直方向２画素）に基づいて水平エッジの判定を実行する。

図１４を参照して、本発明の第１実施形態の水平エッジの検出手法について説明する。図１４（ａ）は、サブバンド係数を用いた上記例（左側）による検出手法と、２×２画素値を用いた本実施形態の検出手法（右側）とを対比している。２×２画素を含む画素群１４０４は、座標ｍ－１のサブバンド係数１４０１に対応する。同様に、画素群１４０５は座標ｍのサブバンド係数１４０２に対応し、画素群１４０６は座標ｍ＋１のサブバンド係数１４０３に対応する。

本実施形態では、上記例におけるサブバンド係数に代えて、２×２画素の画素平均値を用いて水平エッジを判定する。本実施形態の検出処理においては、各画素平均値が、所定の閾値を上回る場合に「振幅値大」と判定される一方、所定の閾値以下である場合に「振幅値小」と判定される。そして、以上の判定値（「振幅値大」または「振幅値小」）の配列に従って、水平エッジが垂直３係数に含まれるか否か判定される。

図１４（ｂ）は、水平エッジが含まれると判定される判定値の配列を例示している。図１４（ｂ）における水平軸上の垂直座標位置（ｍ－１～ｍ＋１）は、図１４（ａ）の３つの画素群（ｍ－１～ｍ＋１）に対応している。図１４（ｂ）における垂直軸は、各垂直座標位置における画素平均値に相当する。図示の通り、垂直座標位置における判定値は、それぞれ、ｍ－１＝振幅値小、ｍ＝振幅値大、ｍ＋１＝振幅値小であって、垂直座標位置がｍ－１からｍ＋１に変化する際に閾値を跨ぐ振幅値（画素平均値）の変化が生じている。以上のように閾値を跨ぐ振幅値の変化が生じていることは、３つの画素群に相当する箇所において画像の垂直方向の連続性が破れていることを示すので、水平エッジが存在すると判定される。

図１５は、上記した判定処理を実行可能な本実施形態に係る符号化装置１５０の構成を例示するブロック図である。符号化装置１５０は、ウェーブレット変換部１５００、特徴情報生成部１５０１、量子化制御部１５０２、量子化部１５０３、およびエントロピー符号化部１５０４を有する。以上の要素は、それぞれ、図１２のウェーブレット変換部１２００、特徴情報生成部１２０１、量子化制御部１２０２、量子化部１２０３、およびエントロピー符号化部１２０４に対応している。図１５において不図示の要素、特にプレーン変換部以前の要素は、図１および図１２と同様に構成されると好適である。したがって、本実施形態の符号化装置１５０は、撮像部を有する撮像装置として機能する。

ウェーブレット変換部１５００は、分解レベル１のＤＷＴ変換に用いられる画素ラインバッファ１５０５、垂直ＤＷＴ変換部１５０６、垂直ＤＷＴラインバッファ１５０７、および水平ＤＷＴ変換部１５０８を有する。なお、上記例と異なり、ウェーブレット変換部１５００は水平ＤＷＴラインバッファを有さない。特徴情報生成部１５０１は、水平エッジの判定に用いられる水平エッジ判定ラインバッファ１５０９を有する。

上記例と同様、符号化装置１５０が有する機能ブロックは、符号化装置１５０が有する１つ以上のＣＰＵ等のプロセッサが、不揮発性メモリに格納されたプログラムを揮発性メモリに展開して実行することによって実現される。

図１６は、図１５に示す符号化装置１５０において実行されるＤＷＴ変換、特徴情報生成、並びに量子化およびエントロピー符号化の時系列を示すタイミングチャートである。本実施形態では、符号化装置１５０が、ラスタ順に入力されたプレーン変換後の画素データに対して分解レベル１まで垂直ＤＷＴ変換および水平ＤＷＴ変換を実行する。

図１６は、上記例の図１３に対応しているが、少なくとも以下の点において相違する。図１６の「水平エッジ判定ラインバッファ」行に示されるバーは、画素ラインバッファ１５０５から出力される２×２画素ごとの画素平均値Ｍが、対応期間において水平エッジ判定ラインバッファ１５０９に一時的に保持されていることを示す。例えば、期間ｔ４～ｔ５において、画素データａ、ｂに基づいた０．５ライン分の２×２画素ごとの画素平均値Ｍ（ａ＋ｂ）が水平エッジ判定ラインバッファ１５０９に保持される。また、期間ｔ６～ｔ７において、画素データｃ、ｄに基づいた０．５ライン分の２×２画素ごとの画素平均値Ｍ（ｃ＋ｄ）が水平エッジ判定ラインバッファ１５０９に保持される。なお、各図においては、上線（オーバーライン）を用いて画素平均値Ｍが表される。

図１５に示す符号化装置１５０が図１６に示す期間において実行する符号化処理を以下に時系列的に説明する。

期間ｔ０、ｔ１、ｔ２において、それぞれ、画素データａ、ｂ、ｃが画素ラインバッファ１５０５に入力される。入力された画素データａ、ｂ、ｃは、それぞれ、画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０、１、２に保持されるが、垂直ＤＷＴ変換は実行されない。

期間ｔ３において、垂直ＤＷＴ変換部１５０６は、画素ラインバッファ１５０５内の画素データａ、ｂ、ｃを用いてＤＷＴ係数ｂ_Ｈを算出する。算出されたＤＷＴ係数ｂ_Ｈは、垂直ＤＷＴラインバッファ１５０７（Ｌｉｎｅ＿Ｂｕｆｆｅｒ３）と水平ＤＷＴ変換部１５０８とに出力される。また、垂直ＤＷＴ変換部１５０６は、画素ラインバッファ１５０５内の画素データａと算出されたＤＷＴ係数ｂ_Ｈとを用いてＤＷＴ係数ａ_Ｌを算出し、水平ＤＷＴ変換部１５０８に出力する。水平ＤＷＴ変換部１５０８は、入力されるＤＷＴ係数ａ_Ｌ、ｂ_Ｈに水平ＤＷＴ変換を実行して、ＤＷＴ係数ａ_ＬＬ、ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨを算出し、特徴情報生成部１５０１および量子化部１５０３に出力する。

特徴情報生成部１５０１は、ＤＷＴ係数ａ_ＬＬを用いて明度を生成し、ＤＷＴ係数ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨを用いて複雑度を生成し、ＤＷＴ係数ａ_ＨＬを用いて垂直エッジ情報（第１特徴情報）を生成し、量子化制御部１５０２に出力する。量子化制御部１５０２は、特徴情報生成部１５０１からの特徴情報（明度、複雑度、エッジ情報）に対応する量子化パラメータを生成して量子化部１５０３に出力する。量子化部１５０３は、量子化制御部１５０２から入力された量子化パラメータを用いて、水平ＤＷＴ変換部１５０８から入力されたＤＷＴ係数ａ_ＬＬ、ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨを量子化し、エントロピー符号化部１５０４に出力する。図６の例と同様、図１４の構成においても、画像の上端部分または下端部分を処理する際には水平エッジの判定が実行されない。

水平エッジ判定ラインバッファ１５０９は、画素ラインバッファ１５０５に格納されている画素データａ、ｂに基づいた画素平均値Ｍ（ａ＋ｂ）を格納する。なお、２×２画素ごとに算出された画素平均値に対する閾値判定（図１４）によって取得された判定結果を１ビットのフラグ情報として保持することで、ラインバッファへの複数ビットの格納を回避してもよい。画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０の画像データａは画素データｄで上書きされる。

期間ｔ４において、画素データｅが、画素データｂを保持している画素ラインバッファ１５０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ１）に上書きされる。垂直ＤＷＴ変換は実行されない。

期間ｔ５において、垂直ＤＷＴ変換部１５０６は、画素ラインバッファ１５０５内の画素データｃ、ｄ、ｅを用いてＤＷＴ係数ｄ_Ｈを算出する。算出されたＤＷＴ係数ｄ_Ｈは、垂直ＤＷＴラインバッファ１５０７（Ｌｉｎｅ＿Ｂｕｆｆｅｒ４）と水平ＤＷＴ変換部１５０８とに出力される。また、垂直ＤＷＴ変換部１５０６は、算出されたＤＷＴ係数ｄ_Ｈと画素ラインバッファ１５０５内の画素データｃと垂直ＤＷＴラインバッファ１５０７内のＤＷＴ係数ｂ_Ｈとを用いてＤＷＴ係数ｃ_Ｌを算出し、水平ＤＷＴ変換部１５０８に出力する。水平ＤＷＴ変換部１５０８は、入力されるＤＷＴ係数ｃ_Ｌ、ｄ_Ｈに水平ＤＷＴ変換を実行して、ＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨを算出し、特徴情報生成部１５０１および量子化部１５０３に出力する。

同時に、画素データａ、ｂの２×２画素ごとの画素平均値Ｍ（ａ＋ｂ）、画素データｃ、ｄの２×２画素ごとの画素平均値Ｍ（ｃ＋ｄ）、および画素データｅ、ｆの２×２画素ごとの画素平均値Ｍ（ｅ＋ｆ）が特徴情報生成部１５０１に出力される。画素平均値Ｍ（ａ＋ｂ）は水平エッジ判定ラインバッファ１５０９に保持されている。画素データｃ、ｄは画素ラインバッファ１５０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ２、０）に保持されている。画素データｅは、画素ラインバッファ１５０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ１）に保持され、画素データｆは期間ｔ５で入力されたものである。

特徴情報生成部１５０１は、期間ｔ３と同様に、ＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨを用いて明度、複雑度、およびエッジ情報を生成して量子化制御部１５０２に出力する。本実施形態において、水平エッジ情報（第２特徴情報）は、図１７の右側に示すように、領域１７０４の画素平均値Ｍ（ａ＋ｂ）、領域１７０５の画素平均値Ｍ（ｃ＋ｄ）、および領域１７０６の画素平均値Ｍ（ｅ＋ｆ）を用いて生成される。なお、図１７の左側は、前述例（図１２、図１３等）における１ＬＨのサブバンド係数１７０１～１７０３を用いた水平エッジ情報の生成を対比的に示している。量子化制御部１５０２は、期間ｔ３と同様に量子化パラメータを生成して量子化部１５０３に出力する。量子化部１５０３は、量子化制御部１５０２から入力された量子化パラメータを用いて、水平ＤＷＴ変換部１５０８から入力されたＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨを量子化し、エントロピー符号化部１５０４に出力する。

水平エッジ判定ラインバッファ１５０９は、画素ラインバッファ１５０５に格納されている画素データｃ、ｄに基づいた画素平均値Ｍ（ｃ＋ｄ）を、画素平均値Ｍ（ａ＋ｂ）に上書きして格納する。画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ２の画像データｃは画素データｆで上書きされる。

期間ｔ６において、画素データｇが、画素データｄを保持している画素ラインバッファ１５０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ０）に上書きされる。垂直ＤＷＴ変換は実行されない。

期間ｔ７において、垂直ＤＷＴ変換部１５０６は、画素ラインバッファ１５０５内の画素データｅ、ｆ、ｇを用いてＤＷＴ係数ｆ_Ｈを算出する。算出されたＤＷＴ係数ｆ_Ｈは、垂直ＤＷＴラインバッファ１５０７（Ｌｉｎｅ＿Ｂｕｆｆｅｒ３）と水平ＤＷＴ変換部１５０８とに出力される。また、垂直ＤＷＴ変換部１５０６は、算出されたＤＷＴ係数ｆ_Ｈと画素ラインバッファ１５０５内の画素データｅと垂直ＤＷＴラインバッファ１５０７内のＤＷＴ係数ｄ_Ｈとを用いてＤＷＴ係数ｅ_Ｌを算出し、水平ＤＷＴ変換部１５０８に出力する。水平ＤＷＴ変換部１５０８は、入力されるＤＷＴ係数ｅ_Ｌ、ｆ_Ｈに水平ＤＷＴ変換を実行して、ＤＷＴ係数ｅ_ＬＬ、ｅ_ＨＬ、ｆ_ＬＨ、ｆ_ＨＨを算出し、特徴情報生成部１５０１および量子化部１５０３に出力する。

同時に、画素データｃ、ｄの２×２画素ごとの画素平均値Ｍ（ｃ＋ｄ）、画素データｅ、ｆの２×２画素ごとの画素平均値Ｍ（ｅ＋ｆ）、および画素データｇ、ｈの２×２画素ごとの画素平均値Ｍ（ｇ＋ｈ）が特徴情報生成部１５０１に出力される。画素平均値Ｍ（ｃ＋ｄ）は水平エッジ判定ラインバッファ１５０９に保持されている。画素データｅ、ｆは画素ラインバッファ１５０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ１、２）に保持されている。画素データｇは、画素ラインバッファ１５０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ０）に保持され、画素データｈは期間ｔ７で入力されたものである。

特徴情報生成部１５０１は、期間ｔ３、ｔ５と同様に、ＤＷＴ係数ｅ_ＬＬ、ｅ_ＨＬ、ｆ_ＬＨ、ｆ_ＨＨを用いて明度、複雑度、およびエッジ情報を生成して量子化制御部１５０２に出力する。本実施形態において、水平エッジ情報は、図１８の右側に示すように、領域１８０４の画素平均値Ｍ（ｃ＋ｄ）、領域１８０５の画素平均値Ｍ（ｅ＋ｆ）、および領域１８０６の画素平均値Ｍ（ｇ＋ｈ）を用いて生成される。なお、図１８の左側は、前述例（図１２、図１３等）における１ＬＨのサブバンド係数１８０１～１８０３を用いた水平エッジ情報の生成を対比的に示している。量子化制御部１５０２は、期間ｔ３、ｔ５と同様に量子化パラメータを生成して量子化部１５０３に出力する。なお、量子化制御部１５０２は、水平エッジまたは垂直エッジが存在すると判定された場合、図８を参照して前述したように特徴分類を変更する。量子化部１５０３は、量子化制御部１５０２から入力された量子化パラメータを用いて、水平ＤＷＴ変換部１５０８から入力されたＤＷＴ係数ｅ_ＬＬ、ｅ_ＨＬ、ｆ_ＬＨ、ｆ_ＨＨを量子化し、エントロピー符号化部１５０４に出力する。

水平エッジ判定ラインバッファ１５０９は、画素ラインバッファ１５０５に格納されている画素データｅ、ｆに基づいた画素平均値Ｍ（ｅ＋ｆ）を、画素平均値Ｍ（ｃ＋ｄ）に上書きして格納する。画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ１の画像データｅは画素データｈで上書きされる。

以降、同様にして最終ラインの画像データまで処理が繰り返し実行される。

上記した本実施形態の構成によれば、図１２および図１３等を参照して前述した構成と比較して、垂直方向に亘る画像の特徴を考慮した効率のよい符号化と回路規模の抑制とを両立できる。より具体的には、本実施形態の構成では、前述した構成と比較して、１ライン分の画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ２を追加的に要するものの、２ライン分の水平ＤＷＴラインバッファ１２０９を削減できる。すなわち、本実施形態の構成の合計ラインバッファ数は、前述した構成の合計ラインバッファ数よりも１ライン少ない。したがって、本実施形態の構成では、前述した構成と同様に垂直方向に亘る画像の特徴を考慮した量子化パラメータの生成が可能である上に、前述した構成と比較してラインバッファ数を削減することができる。

なお、上記した本実施形態の構成では、垂直方向に亘る画素値を用いたエッジ判定が実行されているが、垂直方向に亘る画像の特徴の考慮は以上に限定されない。例えば、垂直方向に亘る画素値を用いて暗部検出が実行されてもよい。

以下、さらに、本実施形態の構成における暗部検出（暗部情報の生成）について説明する。まず、図１９を参照して、垂直方向に連続する３つの変換係数（垂直３係数）に暗部が含まれるか否かを検出する処理について説明する。図１９（ａ）は、本例における暗部検出に用いられる低周波成分を示す。輝度レベルを示す低周波成分のＬＬサブバンドの係数を用いて検出処理を実行することで、暗部を検出することができる。本例の検出処理においては、各係数が、所定の閾値を上回る場合に「明部」と判定される一方、所定の閾値以下である場合に「暗部」と判定される。

図１９（ｂ）は、暗部であると判定される例を示している。図１９（ｂ）における水平軸上の垂直座標位置（ｍ－１～ｍ＋１）は、図１９（ａ）の垂直３係数（ｍ－１～ｍ＋１）に対応している。図１９（ｂ）における垂直軸は、各垂直座標位置における係数値に相当する。図示の通り、垂直座標位置における判定値は、それぞれ、ｍ－１＝暗部、ｍ＝明部、ｍ＋１＝明部である。以上のように、所定の閾値に基づいて各係数が明部であるか暗部であるかを判定できる。

しかしながら、前述したように、垂直方向のサブバンド係数に基づいて量子化パラメータを決定する構成では回路規模が肥大化してしまう。そこで、本実施形態では、サブバンド係数に代えて画素値を用いて暗部判定を実行する。

図２０を参照して、本発明の第１実施形態の暗部の検出手法について説明する。図２０（ａ）は、サブバンド係数を用いた上記例（左側）による検出手法と、２×２画素値を用いた本実施形態の検出手法（右側）とを対比している。２×２画素を含む画素群２００４は、座標ｍ－１のサブバンド係数２００１に対応する。同様に、画素群２００５は座標ｍのサブバンド係数２００２に対応し、画素群２００６は座標ｍ＋１のサブバンド係数２００３に対応する。

本実施形態では、上記例におけるサブバンド係数に代えて、２×２画素の画素平均値を用いて暗部を判定する。本実施形態の検出処理においては、各画素平均値が、所定の閾値を上回る場合に「明部」と判定される一方、所定の閾値以下である場合に「暗部」と判定される。

図２０（ｂ）は、暗部であると判定される本実施形態の例を示している。図２０（ｂ）における水平軸上の垂直座標位置（ｍ－１～ｍ＋１）は、図２０（ａ）の３つの画素群（ｍ－１～ｍ＋１）に対応している。図２０（ｂ）における垂直軸は、各垂直座標位置における画素平均値に相当する。図示の通り、垂直座標位置における判定値は、それぞれ、ｍ－１＝暗部、ｍ＝明部、ｍ＋１＝明部である。以上のように、所定の閾値に基づいて各画素平均値が明部であるか暗部であるかを判定できる。

図２１を参照して、暗部の存在を考慮した特徴分類について説明する。前述した暗部検出において暗部が存在すると判定された場合、図７に示される特徴分類表が図２１に示すように変更される。例えば、量子化制御部１５０２は、領域Ｑ１、Ｑ２（領域２１０１）に分類される要素を、領域Ｑ０（領域２１０２）に分類されるように変更する。同様に、量子化制御部１５０２は、領域Ｑ４、Ｑ５（領域２１０３）に分類される要素を領域Ｑ３（領域２００４）に、領域Ｑ７、Ｑ８（領域２１０５）に分類される要素を領域Ｑ６（領域２１０６）に分類されるように変更する。以上の構成によれば、視覚的な劣化が目立ちやすい暗部領域の量子化パラメータを低く維持することができる。

＜第２実施形態＞
以下、本発明の第２実施形態について説明する。なお、以下に例示する各実施形態において、作用、機能が前提例または第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の説明を適宜に省略する。

第１実施形態では、１つのサブバンド係数に対応する２×２画素の画素平均値を用いて水平エッジ判定が実行される。第２実施形態では、水平２画素×垂直１画素（以下、２×１画素と称する場合がある）の画素平均値を併用して水平エッジ判定が実行される。

図２２を参照して、本発明の第２実施形態の水平エッジの検出手法について説明する。図２２（ａ）は、サブバンド係数を用いた上記例（左側）による検出手法と、２×１画素値および２×２画素値を用いた本実施形態の検出手法（右側）とを対比している。２×１画素を含む画素群２２０４は、座標ｍ－１のサブバンド係数２２０１に対応する。同様に、２×２画素を含む画素群２２０５は座標ｍのサブバンド係数２２０２に対応し、２×１画素を含む画素群２２０６は座標ｍ＋１のサブバンド係数２２０３に対応する。

本実施形態では、２×１画素値の画素平均値および２×２画素の画素平均値を用いて水平エッジを判定する。本実施形態の検出処理においては、各画素平均値が、所定の閾値を上回る場合に「振幅値大」と判定される一方、所定の閾値以下である場合に「振幅値小」と判定される。そして、以上の判定値（「振幅値大」または「振幅値小」）の配列に従って、水平エッジが存在するか否かが判定される。

図２２（ｂ）は、水平エッジが含まれると判定される判定値の配列を例示している。図２２（ｂ）における水平軸上の垂直座標位置（ｍ－１～ｍ＋１）は、図２２（ａ）の３つの画素群（ｍ－１～ｍ＋１）に対応している。図２２（ｂ）における垂直軸は、各垂直座標位置における２×１画素または２×２画素の画素平均値に相当する。図示の通り、垂直座標位置における判定値は、それぞれ、ｍ－１＝振幅値小、ｍ＝振幅値大、ｍ＋１＝振幅値小であって、垂直座標位置がｍ－１からｍ＋１に変化する際に閾値を跨ぐ振幅値（画素平均値）の変化が生じている。以上のように閾値を跨ぐ振幅値の変化が生じていることは、３つの画素群に相当する箇所において画像の垂直方向の連続性が破れていることを示すので、水平エッジが存在すると判定される。

図２３は、上記した判定処理を実行可能な本実施形態に係る符号化装置２３０の構成を例示するブロック図である。符号化装置２３０は、ウェーブレット変換部２３００、特徴情報生成部２３０１、量子化制御部２３０２、量子化部２３０３、およびエントロピー符号化部２３０４を有する。以上の要素は、それぞれ、図１５のウェーブレット変換部１５００、特徴情報生成部１５０１、量子化制御部１５０２、量子化部１５０３、およびエントロピー符号化部１５０４に対応している。図２３において不図示の要素、特にプレーン変換部以前の要素は、第１実施形態と同様に構成されると好適である。したがって、本実施形態の符号化装置２３０は、撮像部を有する撮像装置として機能する。

ウェーブレット変換部２３００は、分解レベル１のＤＷＴ変換に用いられる画素ラインバッファ２３０５、垂直ＤＷＴ変換部２３０６、垂直ＤＷＴラインバッファ２３０７、および水平ＤＷＴ変換部２３０８を有する。第１実施形態と同様に、ウェーブレット変換部２３００は水平ＤＷＴラインバッファを有さない。第２実施形態の画素ラインバッファ２３０５（２ライン）は、第１実施形態の画素ラインバッファ１５０５（３ライン）よりも１ライン少ない。特徴情報生成部２３０１は、水平エッジの判定に用いられる水平エッジ判定ラインバッファ２３０９を有する。

第１実施形態と同様、符号化装置２３０が有する機能ブロックは、符号化装置２３０が有する１つ以上のＣＰＵ等のプロセッサが、不揮発性メモリに格納されたプログラムを揮発性メモリに展開して実行することによって実現される。

図２４は、図２３に示す符号化装置２３０において実行されるＤＷＴ変換、特徴情報生成、並びに量子化およびエントロピー符号化の時系列を示すタイミングチャートである。本実施形態では、符号化装置２３０が、第１実施形態と同様に垂直ＤＷＴ変換および水平ＤＷＴ変換を実行する。

図２４は、第１実施形態の図１６に対応しているが、少なくとも以下の点において相違する。図２４の「水平エッジ判定ラインバッファ」行に示されるバーは、画素ラインバッファ２３０５から出力される２×１画素ごとの画素平均値が、対応期間において水平エッジ判定ラインバッファ２３０９に一時的に保持されていることを示す。例えば、期間ｔ３～ｔ４において、画素データｂに基づいた０．５ライン分の２×１画素ごとの画素平均値Ｍ（ｂ）が水平エッジ判定ラインバッファ２３０９に保持される。また、期間ｔ５～ｔ６において、画素データｄに基づいた０．５ライン分の２×１画素ごとの画素平均値Ｍ（ｄ）が水平エッジ判定ラインバッファ２３０９に保持される。

図２３に示す符号化装置２３０が図２４に示す期間において実行する符号化処理を以下に時系列的に説明する。

期間ｔ０、ｔ１において、それぞれ、画素データａ、ｂが画素ラインバッファ２３０５に入力される。以上の期間ｔ０、ｔ１では、垂直ＤＷＴ変換を実行するのに必要なライン数の画素データがウェーブレット変換部２３００に入力されていない。したがって、入力された画素データａ、ｂは、それぞれ、画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０、１に保持されるが、垂直ＤＷＴ変換は実行されない。

期間ｔ２において、垂直ＤＷＴ変換部２３０６は、画素ラインバッファ２３０５内の画素データａ、ｂおよび入力された画素データｃを用いてＤＷＴ係数ｂ_Ｈを算出する。算出されたＤＷＴ係数ｂ_Ｈは、垂直ＤＷＴラインバッファ２３０７（Ｌｉｎｅ＿Ｂｕｆｆｅｒ２）と水平ＤＷＴ変換部２３０８とに出力される。また、垂直ＤＷＴ変換部２３０６は、画素ラインバッファ２３０５内の画素データａと算出されたＤＷＴ係数ｂ_Ｈとを用いてＤＷＴ係数ａ_Ｌを算出し、水平ＤＷＴ変換部２３０８に出力する。水平ＤＷＴ変換部２３０８は、入力されるＤＷＴ係数ａ_Ｌ、ｂ_Ｈに水平ＤＷＴ変換を実行して、ＤＷＴ係数ａ_ＬＬ、ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨを算出し、特徴情報生成部２３０１および量子化部２３０３に出力する。

特徴情報生成部２３０１は、ＤＷＴ係数ａ_ＬＬを用いて明度を生成し、ＤＷＴ係数ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨを用いて複雑度を生成し、ＤＷＴ係数ａ_ＨＬを用いて垂直エッジ情報（第１特徴情報）を生成し、量子化制御部２３０２に出力する。量子化制御部２３０２は、特徴情報生成部２３０１からの特徴情報に対応する量子化パラメータを生成して量子化部２３０３に出力する。量子化部２３０３は、量子化制御部２３０２から入力された量子化パラメータを用いて、水平ＤＷＴ変換部２３０８から入力されたＤＷＴ係数ａ_ＬＬ、ａ_ＨＬ、ｂ_ＬＨ、ｂ_ＨＨを量子化し、エントロピー符号化部２３０４に出力する。

画素ラインバッファ２３０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ１）から画素データｂに基づく２×１画素ごとの画素平均値Ｍ（ｂ）が水平エッジ判定ラインバッファ２３０９に出力され格納される。なお、画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０の画像データａは、ＤＷＴ係数ａ_Ｌの算出後に画素データｃで上書きされる。

期間ｔ３において、画素データｄが、画素データｂを保持している画素ラインバッファ２３０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ１）に上書きされる。期間ｔ０～ｔ１と同様、垂直ＤＷＴ変換を実行するのに必要なライン数の画素データがウェーブレット変換部２３００に入力されていないので、垂直ＤＷＴ変換は実行されない。

期間ｔ４において、垂直ＤＷＴ変換部２３０６は、画素ラインバッファ２３０５内の画素データｃ、ｄおよび入力された画素データｅを用いてＤＷＴ係数ｄ_Ｈを算出する。算出されたＤＷＴ係数ｄ_Ｈは、垂直ＤＷＴラインバッファ２３０７（Ｌｉｎｅ＿Ｂｕｆｆｅｒ３）と水平ＤＷＴ変換部２３０８とに出力される。また、垂直ＤＷＴ変換部２３０６は、算出されたＤＷＴ係数ｄ_Ｈと画素ラインバッファ２３０５内の画素データｃと垂直ＤＷＴラインバッファ２３０７内のＤＷＴ係数ｂ_Ｈとを用いてＤＷＴ係数ｃ_Ｌを算出し、水平ＤＷＴ変換部２３０８に出力する。水平ＤＷＴ変換部２３０８は、入力されるＤＷＴ係数ｃ_Ｌ、ｄ_Ｈに水平ＤＷＴ変換を実行して、ＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨを算出し、特徴情報生成部２３０１および量子化部２３０３に出力する。

同時に、画素データｂの２×１画素ごとの画素平均値Ｍ（ｂ）、画素データｃ、ｄの２×２画素ごとの画素平均値Ｍ（ｃ＋ｄ）、および画素データｅの２×１画素ごとの画素平均値Ｍ（ｅ）が特徴情報生成部２３０１に出力される。画素平均値Ｍ（ｂ）は水平エッジ判定ラインバッファ２３０９に保持されている。画素データｃ、ｄは画素ラインバッファ２３０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ０、１）に保持されている。画素データｅは期間ｔ４で入力されたものである。

特徴情報生成部２３０１は、期間ｔ２と同様に、ＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨを用いて明度、複雑度、およびエッジ情報を生成して量子化制御部２３０２に出力する。本実施形態において、水平エッジ情報（第２特徴情報）は、図２５の右側に示すように、領域２５０４の画素平均値Ｍ（ｂ）、領域２５０５の画素平均値Ｍ（ｃ＋ｄ）、および領域２５０６の画素平均値Ｍ（ｅ）を用いて生成される。なお、図２５の左側は、前述例（図１２、図１３等）における１ＬＨのサブバンド係数２５０１～２５０３を用いた水平エッジ情報の生成を対比的に示している。量子化制御部２３０２は、期間ｔ２と同様に量子化パラメータを生成して量子化部２３０３に出力する。量子化部２３０３は、量子化制御部２３０２から入力された量子化パラメータを用いて、水平ＤＷＴ変換部２３０８から入力されたＤＷＴ係数ｃ_ＬＬ、ｃ_ＨＬ、ｄ_ＬＨ、ｄ_ＨＨを量子化し、エントロピー符号化部２３０４に出力する。

水平エッジ判定ラインバッファ２３０９は、画素ラインバッファ２３０５に格納されている画素データｄに基づいた画素平均値Ｍ（ｄ）を、画素平均値Ｍ（ｂ）に上書きして格納する。画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０の画像データｃは、ＤＷＴ係数ｃ_Ｌの算出後に画素データｅで上書きされる。

期間ｔ５において、画素データｆが、画素データｄを保持している画素ラインバッファ２３０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ１）に上書きされる。期間ｔ５では、期間ｔ０、ｔ１、ｔ３と同様、垂直ＤＷＴ変換を実行するのに必要なライン数の画素データがウェーブレット変換部２３００に入力されていないので、垂直ＤＷＴ変換は実行されない。

期間ｔ６において、垂直ＤＷＴ変換部２３０６は、画素ラインバッファ２３０５内の画素データｅ、ｆおよび入力された画素データｇを用いてＤＷＴ係数ｆ_Ｈを算出する。算出されたＤＷＴ係数ｆ_Ｈは、垂直ＤＷＴラインバッファ２３０７（Ｌｉｎｅ＿Ｂｕｆｆｅｒ２）と水平ＤＷＴ変換部２３０８とに出力される。また、垂直ＤＷＴ変換部２３０６は、算出されたＤＷＴ係数ｆ_Ｈと画素ラインバッファ２３０５内の画素データｅと垂直ＤＷＴラインバッファ２３０７内のＤＷＴ係数ｄ_Ｈとを用いてＤＷＴ係数ｅ_Ｌを算出し、水平ＤＷＴ変換部２３０８に出力する。水平ＤＷＴ変換部２３０８は、入力されるＤＷＴ係数ｅ_Ｌ、ｆ_Ｈに水平ＤＷＴ変換を実行して、ＤＷＴ係数ｅ_ＬＬ、ｅ_ＨＬ、ｆ_ＬＨ、ｆ_ＨＨを算出し、特徴情報生成部２３０１および量子化部２３０３に出力する。

同時に、画素データｄの２×１画素ごとの画素平均値Ｍ（ｄ）、画素データｅ、ｆの２×２画素ごとの画素平均値Ｍ（ｅ＋ｆ）、および画素データｇの２×１画素ごとの画素平均値Ｍ（ｇ）が特徴情報生成部２３０１に出力される。画素平均値Ｍ（ｄ）は水平エッジ判定ラインバッファ２３０９に保持されている。画素データｅ、ｆは画素ラインバッファ２３０５（Ｌｉｎｅ＿Ｂｕｆｆｅｒ０、１）に保持されている。画素データｇは期間ｔ６で入力されたものである。

特徴情報生成部２３０１は、期間ｔ２、ｔ４と同様に、ＤＷＴ係数ｅ_ＬＬ、ｅ_ＨＬ、ｆ_ＬＨ、ｆ_ＨＨを用いて明度、複雑度、およびエッジ情報を生成して量子化制御部２３０２に出力する。本実施形態において、水平エッジ情報は、図２６の右側に示すように、領域２６０４の画素平均値Ｍ（ｄ）、領域２６０５の画素平均値Ｍ（ｅ＋ｆ）、および領域２６０６の画素平均値Ｍ（ｇ）を用いて生成される。なお、図２６の左側は、前述例（図１２、図１３等）における１ＬＨのサブバンド係数２６０１～２６０３を用いた水平エッジ情報の生成を対比的に示している。量子化制御部２３０２は、期間ｔ２、ｔ４と同様に量子化パラメータを生成して量子化部２３０３に出力する。量子化部２３０３は、量子化制御部２３０２から入力された量子化パラメータを用いて、水平ＤＷＴ変換部２３０８から入力されたＤＷＴ係数ｅ_ＬＬ、ｅ_ＨＬ、ｆ_ＬＨ、ｆ_ＨＨを量子化し、エントロピー符号化部２３０４に出力する。

水平エッジ判定ラインバッファ２３０９は、画素ラインバッファ２３０５に格納されている画素データｆに基づいた画素平均値Ｍ（ｆ）を、画素平均値Ｍ（ｄ）に上書きして格納する。画素ラインバッファＬｉｎｅ＿Ｂｕｆｆｅｒ０の画像データｅは、ＤＷＴ係数ｅ_Ｌの算出後に画素データｇで上書きされる。

以降、同様にして最終ラインの画像データまで処理が繰り返し実行される。

上記した本実施形態の構成によれば、第１実施形態と同様の技術的効果が奏される。加えて、第１実施形態と比較して、１ライン分の画素ラインバッファをさらに削減することができる。

＜その他の実施形態＞
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

以上の実施形態においては、符号化装置１００、１５０、２３０が撮像部１０１を有する撮像装置として構成されているが、以上のような撮像部を有さず、外部からＲＡＷデータが供給されるＰＣ等の情報処理装置が本発明に係る符号化装置として機能してよい。すなわち、以上の実施形態における撮像部１０１および記録媒体１０８は、本発明に係る符号化装置に必須の構成要素ではない。

また、例えば、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現できる。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００、１５０、２３０ 符号化装置
１０３、１２００、１５００、２３００ ウェーブレット変換部（変換手段）
１０４、１２０１、１５０１、２３０１ 特徴情報生成部（特徴情報生成手段）
１０５、１２０２、１５０２、２３０２ 量子化制御部（量子化制御手段）
１０６、１２０３、１５０３、２３０３ 量子化部（量子化手段）
１０７、１２０４、１５０４、２３０４ エントロピー符号化部
１２０５、１５０５、２３０５ 画素ラインバッファ（バッファ手段）
１２０７、１５０７、２３０７ 垂直ＤＷＴラインバッファ（バッファ手段）

Claims (12)

1. 入力される画素データを一時的に保持するバッファ手段と、
   前記画素データに対してウェーブレット変換を実行して複数のサブバンド係数を生成する変換手段と、
   量子化パラメータに従って前記サブバンド係数を量子化する量子化手段と、
   前記量子化パラメータを決定する量子化制御手段と、を備え、
   前記量子化制御手段は、前記バッファ手段に保持された、前記量子化手段により量子化されるサブバンド係数に対応する画素データと、当該サブバンド係数の垂直方向に位置するサブバンド係数に対応する画素データとに基づいて、前記量子化パラメータを決定する、ことを特徴とする符号化装置。
2. 前記量子化制御手段は、前記量子化手段により量子化されるサブバンド係数に基づく第１の特徴情報と、前記バッファ手段に保持された、前記量子化手段により量子化されるサブバンド係数に対応する画素データと、当該サブバンド係数の垂直方向に位置するサブバンド係数に対応する画素データとに基づく第２の特徴情報と、に基づいて、量子化パラメータを決定することを特徴とする請求項１に記載の符号化装置。
3. 前記バッファ手段は、前記量子化手段により量子化される前記サブバンド係数に対応する前記画素データと、当該サブバンド係数の垂直方向に位置する前記サブバンド係数に対応する複数のラインの画素データのうち１ラインの画素データと、を一時的に保持する、ことを特徴とする請求項２に記載の符号化装置。
4. 前記バッファ手段は、前記画素データに関しての所定の閾値に基づく判定結果を保持する、ことを特徴とする請求項２または請求項３に記載の符号化装置。
5. 前記量子化制御手段は、画像の上端部分または下端部分においては前記第１の特徴情報のみに基づいて前記量子化パラメータを生成する、ことを特徴とする請求項２から請求項４のいずれか１項に記載の符号化装置。
6. 前記特徴情報は、エッジの存在を示すエッジ情報を含む、ことを特徴とする請求項２から請求項５のいずれか１項に記載の符号化装置。
7. 前記量子化制御手段は、前記エッジ情報が前記エッジの存在を示す場合に、前記エッジが存在しない場合よりも、前記量子化パラメータの値を小さく設定する、ことを特徴とする請求項６に記載の符号化装置。
8. 前記特徴情報は、暗部領域の存在を示す暗部情報を含む、ことを特徴とする請求項２から請求項７のいずれか１項に記載の符号化装置。
9. 前記量子化制御手段は、前記暗部情報が前記暗部領域の存在を示す場合に、前記暗部領域が存在しない場合よりも、前記量子化パラメータの値を小さく設定する、ことを特徴とする請求項８に記載の符号化装置。
10. 請求項１から請求項９のいずれか１項に記載の符号化装置と、
    レンズ光学系および撮像素子を備える撮像手段と、を有することを特徴とする撮像装置。
11. 入力される画素データを一時的に保持するバッファ手段を備える符号化装置の制御方法であって、
    前記画素データに対してウェーブレット変換を実行して複数のサブバンド係数を生成することと、
    量子化パラメータに従って前記サブバンド係数を量子化することと、
    前記バッファ手段に保持された、量子化されるサブバンド係数に対応する画素データと、当該サブバンド係数の垂直方向に位置するサブバンド係数に対応する画素データとに基づいて、前記量子化パラメータを決定する、ことを特徴とする制御方法。
12. コンピュータを、請求項１から請求項９のいずれか１項に記載された符号化装置の各手段として機能させるためのプログラム。

Images