JP4663489B2 - 画像処理装置、デタイル方法、プログラム及び情報記録媒体 - Google Patents

Description

本発明は、画像が重複しない矩形ブロック（本明細書では、このような矩形ブロックをタイルと総称する）に分割され、タイル毎にその各コンポーネントが階層的に周波数変換される符号化方式により生成された符号化データを復号する装置に係り、特に、周波数変換時のミラリングの影響によるタイル境界境界歪みを抑制するデタイル技術に関する。

本発明を適用可能な符号化方式の例としてＪＰＥＧ２０００がある。ＪＰＥＧ２０００では、画像をタイル分割し、タイル単位で処理を実行することにより、少ないメモリ環境下でも圧縮伸長処理が可能となっている。しかし、圧縮率の高い条件で圧縮伸長処理を行った場合、伸張画像においてタイル境界の不連続（タイル境界歪み）が目立つという問題がある。

このようなタイル境界歪みの抑制（デタイル）の方法として、復号画像データのタイル境界部分の画素に対しタイル境界に直交する方向のローパスフィルタを適用してタイル境界を平滑化する方法が提案されている。このような実空間でのデタイルに関する先行技術文献としては、例えば特許文献１がある。

また、符号化データの復号過程において、隣接したタイルのローパス係数とハイパス係数を利用し、ウェーブレット変換時のミラリングの影響を受けたタイル境界部のハイパス係数を補正することによりタイル境界歪みを抑制する方法も提案されている。このようなウェーブレット係数空間でのデタイルに関する先行技術文献としては、例えば特許文献２がある。

本発明は、このようなウェーブレット係数空間での（より一般的には周波数変換係数空間での）係数補正によるデタイル技術に関するものである。

特開２００４−０６４１８９号公報 特開２００１−２５７５９６号公報

特許文献２に記載されているような周波数変換係数空間での係数補正によるデタイル手法は、圧縮率などの符号化条件によらず優れたデタイル効果を得られる利点を有する反面、処理量が大きいことが難点である。

よって、本発明の目的は、周波数変換係数空間でのデタイル処理をより効率的に実行することができるようにし、また、色差コンポーネントのサブサンプリングフォーマットや周波数変換の適用方法の違いに柔軟に対応したデタイル処理を実行できるようにすることにある。

請求項１記載の発明は、画像をタイル分割し、タイル毎にその各コンポーネントを階層的に周波数変換する符号化方式によって生成された符号化データを復号する画像処理装置であって、前記符号化データの復号の過程において、各コンポーネントの周波数変換係数に対し、その上位の階層から下位の階層へ向かって順に、前記周波数変換の際のミラリングの影響により生じたタイル境界歪みを抑制するためにタイル境界付近の特定のハイパス係数を補正するデタイル処理を施すデタイル処理手段を有し、前記デタイル処理手段はデタイル処理を施す最も低い階層（以下、デタイル最低階層と記す）をコンポーネント別に制御するデタイル処理制御手段を含むことを特徴とする画像処理装置である。

請求項２記載の発明は、請求項１記載の発明に係る画像処理装置であって、前記デタイル処理制御手段は色差コンポーネントについてのデタイル最低階層を輝度コンポーネントについてのデタイル最低階層より上位の階層とすることを特徴とする画像処理装置である。

請求項３記載の発明は、請求項１記載の発明に係る画像処理装置であって、前記デタイル処理制御手段は、少なくとも色差コンポーネントについて、水平方向に関するデタイル最低階層と垂直方向に関するデタイル最低階層とを別々に制御することを特徴とする画像処理装置である。

請求項４記載の発明は、請求項３記載の発明に係る画像処理装置であって、前記デタイル処理制御手段は水平方向又は垂直方向に間引かれている色差コンポーネントについて、間引かれている方向に関するデタイル最低階層を間引かれていない方向に関するデタイル最低階層より上位の階層とすることを特徴とする画像処理装置である。

請求項５記載の発明は、請求項３記載の発明に係る画像処理李装置であって、前記デタイル制御手段は最下位階層の水平方向又は垂直方向の周波数変換がなされていない色差コンポーネントについて、その周波数変換がなされていない方向に関するデタイル最低階層を最下位階層より上位の階層とすることを特徴とする画像処理装置である。

請求項６記載の発明は、請求項１乃至５のいずれか１項記載の発明に係る画像処理装置であって、前記符号化方式はＪＰＥＧ２０００に準拠した符号化方式であり、符号化データから、符号が破棄されたビットプレーン数（以下、トランケート数と記す）を取得する手段と、該手段により取得されたトランケート数に基づいてウェーブレット係数の量子化区間を決定する量子化区間決定手段とをさらに有し、前記デタイル処理における補正後のハイパス係数に対するクリッピング処理に、該ハイパス係数に関し前記量子化区間決定手段によって決定された量子化区間が用いられることを特徴する画像処理装置である。

請求項７記載の発明は、画像をタイル分割し、タイル毎にその各コンポーネントを階層的に周波数変換することによって生成された各コンポーネントの周波数変換係数に対し、その上位の階層から下位の階層へ向かって順に、前記周波数変換の際のミラリングの影響により生じたタイル境界歪みを抑制するためにタイル境界付近の特定のハイパス係数を補正するデタイル処理を施すデタイル方法において、デタイル処理を施す最も低い階層（以下、デタイル最低階層と記す）をコンポーネント別に制御することを特徴とするデタイル処理方法である。

請求項８記載の発明は、請求項７記載の発明に係るデタイル方法であって、色差コンポーネントについてのデタイル最低階層を輝度コンポーネントについてのデタイル最低階層より上位の階層とすることを特徴とするデタイル方法である。

請求項９記載の発明は、請求項７記載の発明に係るデタイル方法であって、少なくとも色差コンポーネントについて、水平方向に関するデタイル最低階層と垂直方向に関するデタイル最低階層とを別々に制御することを特徴とするデタイル方法である。

請求項１０記載の発明は、請求項９記載の発明に係るデタイル方法であって、水平方向又は垂直方向に間引かれている色差コンポーネントについて、間引かれている方向に関するデタイル最低階層を間引かれていない方向に関するデタイル最低階層より上位の階層とすることを特徴とするデタイル方法である。

請求項１１記載の発明は、請求項９記載の発明に係るデタイル方法であって、最下位階層の水平方向又は垂直方向の周波数変換がなされていない色差コンポーネントについて、その周波数変換がなされていない方向に関するデタイル最低階層を最下位階層より上位の階層とすることを特徴とするデタイル方法である。

請求項１２記載の発明は、画像をタイル分割し、タイル毎にその各コンポーネントを階層的に周波数変換する符号化方式によって生成された符号化データを復号する画像処理装置としてコンピュータを動作させるためのプログラムであって、前記符号化データの復号の過程において、各コンポーネントの周波数変換係数に対し、その上位の階層から下位の階層へ向かって順に、前記周波数変換の際のミラリングの影響により生じたタイル境界歪みを抑制するためにタイル境界付近の特定のハイパス係数を補正するデタイル処理を施すデタイル処理手段、及び、前記デタイル処理手段によりデタイル処理を施す最も低い階層（以下、デタイル最低階層と記す）をコンポーネント別に制御する、前記デタイル処理手段に含まれるデタイル処理制御手段としてコンピュータを機能させることを特徴とするプログラムである。

請求項１３記載の発明は、請求項１２記載の発明に係るプログラムであって、前記デタイル処理制御手段は色差コンポーネントについてのデタイル最低階層を輝度コンポーネントについてのデタイル最低階層より上位の階層とすることを特徴とするプログラムである。

請求項１４記載の発明は、請求項１２記載の発明に係るプログラムであって、前記デタイル処理制御手段は、少なくとも色差コンポーネントについて、水平方向に関するデタイル最低階層と垂直方向に関するデタイル最低階層とを別々に制御することを特徴とするプログラムである。

請求項１５記載の発明は、請求項１４記載の発明に係るプログラムであって、前記デタイル制御手段は、水平方向又は垂直方向に間引かれている色差コンポーネントについて、間引かれている方向に関するデタイル最低階層を間引かれていない方向に関するデタイル最低階層より上位の階層とすることを特徴とするプログラムである。

請求項１６記載の発明は、請求項１４記載の発明に係るプログラムであって、前記デタイル制御手段は最下位階層の水平方向又は垂直方向の周波数変換がなされていない色差コンポーネントについて、その周波数変換がなされていない方向に関するデタイル最低階層を最下位階層より上位の階層とすることを特徴とするプログラムである。

請求項１７記載の発明は、請求項１２乃至１６のいずれか１項記載の発明に係るプログラムが記録されたコンピュータが読み取り可能な情報記録媒体である。

本発明によれば次のような効果を得られる。まず、コンポーネント毎にデタイル最低階層を適切に制御することができ（請求項１，７）、したがって、例えば、輝度コンポーネントに比べデタイル処理による画質改善効果が小さい色差コンポーネントに対するデタイル処理を、輝度コンポーネントに対するデタイル処理より上位の階層で打ち切ることにより（請求項３，９）、デタイル効果を殆ど損なうことなく、デタイルのための処理量を削減することができる。また、少なくとも色差コンポーネントについて、水平方向に関するデタイル最低階層と垂直方向に関するデタイル最低階層とを別々に適切に制御することができ（請求項３，９）、したがって、色差コンポーネントのサブサンプリングフォーマットの違いや周波数変換の適用方法の違いに柔軟に対応し効率的にデタイル処理を行うことができる。例えば、タイル境界歪みがもともと発生しにくい間引かれた方向に関するデタイル処理を、間引かれなかった方向のデタイル処理より上位の階層で打ち切ることにより、デタイル効果を殆ど損なうことなく、デタイルのための処理量を削減することができ（請求項４，１０）、また、後述するような色差コンポーネントに簡易ウェーブレット変換が適用された符号化データなどに対しても適切にデタイル処理を実行することができる（請求項５，１１）。

後述の本発明の実施形態では、ＪＰＥＧ２０００の符号化データの復号過程においてウェーブレット係数空間でのデタイル処理が実行される。このような実施形態の理解を容易にするため、ＪＰＥＧ２０００の概要と、ウェーブレット係数空間でのデタイル方法の原理について説明する。

＜ＪＰＥＧ２０００の概要＞
図２１はＪＰＥＧ２０００の圧縮・伸長アルゴリズムを説明するためのブロック図である。

まず圧縮（符号化）処理について説明する。画像は重複しないタイルに分割され、タイル毎に処理される。各タイルの画像はＤＣレベルシフト・逆シフト部１によりＤＣレベルシフトを施され、次に色空間変換・逆変換部２により例えばＲＧＢ色空間からＹＣｒＣｂ（もしくはＹＵＶ）色空間へ変換される。この色空間変換後のタイルの各コンポーネント画像に対し、２次元ウェーブレット変換・逆変換部３により２次元ウェーブレット変換（順変換）処理が行われる。ＪＰＥＧ２０００では、ウェーブレット変換として可逆の５×３変換又は非可逆の９×７変換が用いられる。９×７変換が用いられる場合には、ウェーブレット係数は量子化・逆量子化部４でサブバンド毎に線形量子化を施される。次に、エントロピー符号化・復号化部５で、ウェーブレット係数はサブバンド毎にビットプレーン単位でのエントロピー符号化が行われる（より正確には各ビットプレーンは３つのサブビットプレーンに分割されて符号化される）。この際、量子化・逆量子化部４で、符号化対象ビットの周辺ビットの並びからコンテキストが生成され、これがエントロピー符号化・復号化部５に与えられる。そして、符号形成・タグ処理部６において、必要なエントロピー符号をまとめてパケットが生成され、パケットが所要の順序に従って並べられとともに必要なタグ及びタグ情報が付加されることにより、１本のコードストリーム（JPEG2000の符号化データ）が形成される。

エントロピー符号化及び符号形成についてさらに説明する。サブバンドはプリシンクトと呼ばれる矩形領域に分割され、プリシンクトはさらにコードブロックと呼ばれる矩形領域に分割される。プリシンクトは、大まかには画像中の位置（Position）を表すものであり、インプリメンテーションでメモリを効率的に使うために導入されたものである。プリシンクトは、ＨＬ，ＬＨ，ＨＨの３つのサブバンドにおいて空間的に一致している。つまり、プリシンクトは３つで１つのまとまりを成すものである。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１つのまとまりを成す。このようなプリシンクトは、サブバンドと同じサイズにすることも可能である。コードブロックはエントロピー符号化の基本単位となる。

プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックの最上位ビットから３枚目までのビットプレーンの符号を集めたもの）がパケットである。パケットは符号とヘッダ（パケットヘッダ）からなる。全てのプリシンクト（すなわち、全てのコードブロック、全てのサブバンド）のパケットを集めると、タイル画像全域の符号の一部（例えば、タイル画像全域のウェーブレット係数の最上位ビットから３枚目までのビットプレーンの符号）ができるが、これをレイヤとよぶ。レイヤは、大まかにはタイル画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がる。レイヤはいわば画質の単位である。

なお、ＪＰＥＧ２０００には符号の破棄（トランケーション）を行うポスト量子化の機能がある。可逆の５×３ウェーブレット変換が用いられる場合には、ウェーブレット係数に対する線形量子化は行わないため、ポスト量子化のみが用いられる。ポスト量子化による符号破棄については後述する。

ＪＰＥＧ２０００のコードストリームの伸長（復号）処理は圧縮処理と丁度逆の処理となる。すなわち、符号形成・タグ処理部６において、コードストリーム中のタグ情報を解釈することにより、コードストリームは各コンポーネントの各タイルのコードストリームに分解され、また、各コンポーネント内のタグ情報に基づいた順番で復号対象ビットの位置が定められる。量子化・逆量子化部４で、その対象ビット位置の周辺ビット(復号済み)の並びからコンテキストが生成される。このコンテキストとコードストリームからエントロピー符号化・復号化部５で確率推定によってエントロピー復号が行われて対象ビットが生成され、これが対象ビットの位置に書き込まれる。このようにして復号されたウェーブレット係数に対し（９×７ウェーブレット変換が用いられる場合には量子化・逆量子化部５で逆量子化を施された後）、２次元ウェーブレット変換・逆変換部３で２次元逆ウェーブレット変換処理が行われることにより、各タイルの各コンポーネントの画像データが生成され、これは色空間逆変換・逆変換部２で元の色空間へ戻され、さらにＤＣレベルシフト・逆シフト部１でＤＣレベル逆シフトを施される。

次に、ＪＰＥＧ２０００における２次元ウェーブレット変換（順変換）について説明する。図２２〜図２６は、16×16画素のモノクロ画像に対して、５x３変換と呼ばれるウェーブレット変換を２次元に(垂直方向および水平方向の順)施す過程の説明図である。

まず垂直方向にウェーブレット変換を施す。図２２の様にＸＹ座標をとり、あるｘについて、Ｙ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。ＪＰＥＧ２０００では、まず垂直方向（Ｙ座標方向）に、Ｙ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得た後、Ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのｘについて行う)。ここで、ハイパスフィルタは式（１）、ローパスフィルタは式（２）で表される。式中の記号|_ｘ_|は、ｘのフロア関数（実数ｘを、ｘを越えず、かつ、ｘに最も近い整数に置換する関数）を示している。
式(1) C(2i+1)=P(2i+1)−|_(P(2i)+P(2i+2))/2_|
式(2) C(2i)=P(2i)+|_(C(2i-1)+C(2i+1)+2)/4_|

画像の端部又はタイルの境界部においては、中心となる画素に対して隣接画素群又は隣接係数群が存在しないことがある。この場合、図２７に示した「ミラリング」と呼ばれる手法によって画素値又は係数値を補うことになる。ミラリングは、文字通り、画像の端又はタイル境界を中心として画素値又は係数値を線対称に折り返し、折り返した値を隣接画素群又は係数群の値とみなす処理である。

ここで、簡単のため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬと表記すれば、前記垂直方向の変換によって図２２の画像は図２３のようなＬ係数とＨ係数の配列へと変換される。

続いて、図２３の係数配列に対して、水平方向にウェーブレット変換を施す。すなわち、水平方向に、Ｘ座標が奇数（x=2i+1）の係数を中心にハイパスフィルタを施し、次にＸ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す(これを全てのｙについて行う。この場合、式（１），式（２）のP(2i)等は係数値を表すものと読み替える）。

簡単のため、
前記Ｌ係数を中心にローパスフィルタを施して得られる係数をLL、
前記Ｌ係数を中心にハイパスフィルタを施して得られる係数をHL、
前記Ｈ係数を中心にローパスフィルタを施して得られる係数をLH、
前記Ｈ係数を中心にハイパスフィルタを施して得られる係数をHH、
と表記すれば、図２３の係数配列は図２４の様な係数配列へと変換される。ここで、同一の記号を付した係数群はサブバンドと呼ばれる。図２４の係数配列は４つのサブバンドの係数からなる。

以上で、１回の２次元ウェーブレット変換（１回のデコンポジション（分解））が終了し、LL係数だけを集めると（図８の様に係数をサブバンド毎に集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の“画像”が得られる（このように、サブバンド毎に係数を分類することをデインターリーブと呼び、これに対し図７のような状態に係数を配置することをインターリーブと呼ぶ）。

２回目のウェーブレット変換は、LLサブバンドを原画像と見なして、上に述べたと同様に行われる。そして得られたサブバンド係数をデインターリーブすると、図２６に示す様な係数配列となる。これで２階層の２次元ウェーブレット変換が行われたことになる。

なお、図２５、図２６中の係数の接頭の１や２は、その係数が何回のウェーブレット変換で得られたかを示し、デコンポジションレベルと呼ばれる。図２６の例では、デコンポジションレベル２の各サブバンド係数が最上位階層のウェーブレット係数である。

以上は順変換であるが、２次元逆ウェーブレット変換処理は順変換と丁度逆の処理となる。図２４の様なインターリーブされた係数の配列に対して、まず順変換時とは逆に水平方向に逆ウェーブレット変換が施される。すなわち、水平方向に、Ｘ座標が偶数（ｘ=2i）の係数を中心に逆ローパスフィルタを施し、次にＸ座標が奇数（ｘ=2i+1）の係数を中心に逆ハイパスフィルタを施す（これを全てのｙについて行う）。ここで、逆ローパスフィルタは式（３）で、逆ハイパスフィルタは式（４）で表される。この際も、画像の端部又はタイル境界部においては中心となる係数に対して隣接係数群が存在しないことがあり、この場合も図２７のミラリングによって適宜係数値を補うことになる。
式(３) P(2i)=C(2i)−|_(C(2i-1)+C(2i+1)+2)/4_|
式(４) P(2i+1)=C(2i+1)＋|_(P(2i)+P(2i+2))/2_|

このようにして図２４の係数配列は図２３のような係数配列に変換（逆変換）される。続いて、垂直方向に逆ウェーブレット変換が施される。すなわち、垂直方向に、Ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次にＹ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施せば（これを全てのｘについて行う）、１回の２次元ウェーブレット逆変換が終了し、図２２の画像に戻る(再構成される)ことになる。複数階層の２次元ウェーブレット変換が施されている場合は、図２２をLLサブバンドとみなし、HL等の他のサブバンド係数を利用して同様の逆変換を繰り返すことになる。

＜ウェーブレット係数空間でのデタイル処理の原理＞
ウェーブレット係数空間でのデタイル処理では、水平方向及び垂直方向に隣接したタイルの境界部のハイパス係数に対しデタイルのための補正が施されることにより、図２８に模式的に示すように隣接したタイルの境界部分の画素値が補正される。

前記特許文献２に記載の発明では、
（１）タイル境界歪みが生じるのは圧縮率が高い場合であり、タイリングの有無に関わらず、全てのハイパス係数は０に量子化される。
（２）タイリングした場合のローパス係数はタイリングしない場合のローパス係数に等しい。
という２つの近似を採用し、
「(０に量子化されたが)補正されたハイパス係数を用いて逆ウェーブレット変換をした場合の、タイル境界の画素値＝ハイパス係数が０の場合の、タイリングをせずに逆ウェーブレット変換をした場合の同じ位置の画素値」
という式から、ハイパス係数の補正値を算出している（０に量子化されたハイパス係数に対し、０でない補正値を算出する過程は画像復元である）。

このような係数補正のための補正式を、５×３変換を例に説明する。前述のように、５x３変換と呼ばれるウェーブレット変換の逆変換の場合、L,H,L,Hの順にインターリーブした係数列に対し、
偶数位置中心に逆ローパスフィルタを、
奇数位置中心に逆ハイパスフィルタを、
をかける。

前記式（１）〜（４）のフロア関数を省略して展開すれば明らかなように、順変換と逆変換とではフィルタのタップ数は逆転し、またフィルタ係数もインターリーブされる。このため、順変換のフィルタ係数が
HIGH
-0.5，1，-0.5
LOW -0.125，0.25，0.75，0.25，-0.125
の場合、逆変換のフィルタ係数は
LOW -0.25，1，-0.25
HIGH -0.125，0.5，0.75，0.5，-0.125
となる（ここでは、フロア関数部分を考慮せずにフィルタ係数を表現している）。

「タイリングしない場合で、かつ、ハイパス係数が全て０のとき(近似１)」、インターリーブされた係数列
L1 H1 L2 H2 L3 H3
において、H2位置中心に逆ハイパスフィルタをかけた値は以下の通りである。
式(i) -0.125H1+0.5L2+0.75H2+0.5L3-0.125H3=0.5L2+0.5L3
一方、上記係数が、２つのタイルに分割されてから算出されたものであり、タイル境界はH2とL3の間にあるとする。この場合、L1,H1,L2,H2は左側（又は上側）のタイルの係数、L3,H3は右側（又は下側）のタイルの係数になる。ここで、H2は順変換（３タップのハイパスフィルタ）時にミラリングの影響を受けており、補正の対象となる係数である。タイリングは、各タイル内の画素だけを用いてウェーブレット変換を行う処理、あるいは各タイル内の係数だけを用いて逆ウェーブレット変換を行う処理であるため、上記ミラリングによって左タイル（又は上タイル）の係数
L1 H1 L2 H2
を右タイル（又は下タイル）に補った場合
L1 H1 L2 H2 L2 H1
となる。

よって、H2位置中心に逆ハイパスフィルタをかけた値は、
式(ii) -0.125H1+0.5L2+0.75H2+0.5L2-0.125H1=-0.25H1+L2+0.75H2
となる。

式(i)＝式(ii)を狙うため、次式
式(iii) H2=1/3H1-2/3L2+2/3L3
を得る。これがタイル境界に隣接し、順変換時にミラリングの影響を受けたハイパス係数の補正式である。ただし、補正値の算出時にはタイリングした係数しか存在しないため、L2は左（上）タイルの係数、L3は右（下）タイルの係数を使用する(近似２)。

タイル境界に隣接するローパス係数（L3）に関しても同様な立式が可能であり、その結果、左側又は上側のタイル境界近傍のハイパス係数H３の補正式として
式（iv） H3＝０
を得ることができる。ただし、デコンポジションレベル１の場合、H3はミラリングの誤差を含まないため補正不要である（デコンポジションレベル２以上の場合は、H3に隣接するL3自体がデコンポジションレベル１でミラリングの影響を受けているため補正が必要である）。

９×７ウェーブレット変換の場合も同様な考え方で補正式を算出できる。すなわち、インターリーブされた係数列
H0 L1 H1 L2 H2 L3 H3 L4 H4
において、H2とL3の間がタイル境界である場合、
式（v） H2=
(-0.0535H0+0.15644H1+0.09127L1-0.59127L2+0.59127L3-0.09127L4)/0.60295
式（vi） H3=(0.05754L2-0.05754L4+0.03372H4)/0.53372
が得られる。ただし、９×７変換の場合には、デコンポジションレベル１でもH3係数を補正してよい。

次に、２階層（デコンポジションレベル数＝２）の２次元ウェーブレット変換が行われたウェーブレット係数の場合を例に、前記特許文献２の教えるウェーブレット係数空間でのデタイル処理をウェーブレット変換の手順を逆に辿りながら忠実に行うデタイル処理の手順について説明する。図２９〜図３６は処理説明のための係数配列図である（便宜、４タイルとしている）。

図２９は最上位階層であるデコンポジションレベル２のインターリーブされた係数を示している。まず、水平方向のデタイルのための係数補正が行われる。補正の対象となる係数は、図３０に示す列Ａの係数(2HL,2HH)と列Ｂの係数(2HL,2HH)である。列Ａの係数は上に論じたＨ２係数に対応し、列Ｂの係数は上に論じたＨ３係数に対応する。５×３変換の場合、列Ａの係数に対する補正式として前記式（iii）が、列Ｂの係数に対する補正式として前記式（iv）が用いられる。９ｘ７変換の場合には、列Ａの係数は前記式（v）により補正され、列Ｂの係数は前記式（vi）により補正される。そして、係数の補正値に対するクリッピング処理が行われる。

図１７はクリッピング処理の説明図である。図１７に示すように、補正前の係数値が量子化区間（Q〜2Q）にあるときにデタイルのための係数補正により-1/2Qに補正されたとする。この場合、係数値は、その量子化区間の端Ｑに戻される。つまり、クリッピング処理は、係数の補正値が、補正前の係数値が属していた量子化区間をはみ出したきときに、元の量子化区間の端（補正値に近い側）の値（クリップ値）に修正する処理である。

係数の補正値が量子化区間からはみ出た場合、そのままにしておくと、タイル境界をまたぐエッジがタイル境界付近でなまるという副作用が生じる恐れがある。クリッピング処理を行う目的は、このような副作用を回避するためである。

次に、デコンポジションレベル２のウェーブレット係数に対し水平方向の逆ウェーブレット変換が行われ、図３１に示すような係数配列となる。この係数配列に対し、垂直方向のデタイルのための係数補正が行われる。すなわち、図３２に示す行Ｃの係数(2H)と行Ｄの係数(2H)を対象としての係数補正が行われる。行Ｃの係数は上に論じたＨ２係数に対応し、行Ｄの係数は上に論じたＨ３係数に対応する。５ｘ３変換の場合、行Ｃの係数は前記式（iii）で補正され、行Ｄの係数は前記式（iv）で補正される。９ｘ７変換の場合、行Ｃの係数は前記式（v）で補正され、行Ｄの係数は前記式（vi）で補正される。このように水平方向に逆ウェーブレット変換した後のハイパス係数とローパス係数を垂直方向のデタイルに用いる理由は、それら係数が符号化時の順ウェーブレット変換でミラーリングの影響を直接受けた係数だからである。

このような補正後に、水平方向のウェーブレット変換（順変換）が行われ、図２９に示すような係数の状態に戻される。この順変換を行うのは、符号破棄は図２９のような状態の係数の符号について行われたものであり、本来は、図３２に示すような中間状態の係数に対しては量子化区間が定まらないからである。そして、行Ｃ（図３２参照）に対応した係数（2LH,2HH）及び行Ｄ（図３２参照）に対応した係数（2LH,2HH）の補正値に対するクリッピング処理が行われる。

次に、デコンポジションレベル２の係数に対し、水平方向の逆ウェーブレット変換と垂直方向の逆ウェーブレット変換が順に行われる。この逆変換により、図３３に示すデコンポジションレベル１の係数が得られる。

次に、図３４のようにインターリーブしたデコンポジションレベル１の係数に対し水平方向のデタイルのための係数補正が行われる。５×３変換の場合には、図３５に示す列Ｅの係数（HL,HH）を前記式（iii）で補正する（デコンポジションレベル１では、列Ｆの係数はミラリングの誤差を含まないため補正は不要である）。９ｘ７変換の場合には、列Ｅの係数を前記式（v）で補正し、また、列Ｆの係数(HL,HH)を前記式（vi）で補正する。そして、補正された係数値のクリッピング処理が行われる。

次に、水平方向の逆ウェーブレット変換が行われる。この逆ウェーブレット変換後の係数に対し、垂直方向のデタイルのための係数補正が行われる。すなわち、５ｘ３変換の場合は図３６に示す行Ｇの係数を前記式（iii）で補正する。９ｘ７変換の場合、図３６に示す行Ｇの係数を前記式（v）で補正し、行Ｈの係数を前記式（vi）で補正する。

この補正後の係数に対し、水平方向のウェーブレット変換（順変換）が行われ、図３４に示す係数の状態に戻す。そして、行Ｇ，Ｈの係数（５×３変換の場合は行Ｇの係数のみ）に関しクリッピング処理が行われる。

最後に、水平方向の逆ウェーブレット変換、垂直方向の逆ウェーブレット変換が順に行われ、タイル境界歪みの除去された画像データが生成される。

＜本発明の実施形態の説明＞
図１は本発明の実施形態を説明するためのブロック図である。本実施形態に係る画像処理装置は、ＪＰＥＧ２０００の符号化データを処理するもので、タグ処理部１０１、エントロピー復号部１０２、逆量子化部１０３、ウェーブレット逆変換部１０４、色空間逆変換部１０５及びＤＣレベル逆シフト部１０６を備える。これら各部はＪＰＥＧ２０００のデコーダが一般的に備える手段であり、その基本的な作用は図２１に関連して説明した通りである。

この画像処理装置は、ウェーブレット係数空間でのデタイル処理を行うための手段としてのデタイル処理部１１１を備える。ウェーブレット係数空間でのデタイル処理は逆ウェーブレット変換と密接に関連するため、デタイル処理部１１１はウェーブレット逆変換部１０４に含まれる形で示されている。

デタイル処理部１１１は、タイル境界付近に位置する特定のハイパス係数を補正するための係数補正手段１１２と、この係数補正手段１１２による係数の補正値に対するクリッピング処理のためのクリッピング手段１１３と、デタイル処理の流れの制御のためのデタイル処理制御手段１１４とからなる。

この画像処理装置は、ＪＰＥＧ２０００の符号化データがポスト量子化により符号の破棄が行われている場合にも適切なクリッピング処理を可能にするため、符号が破棄されたビットプレーン数（トランケート数）を取得するトランケート数取得手段１１６と、このトランケート数に基づいて量子化区間を決定する手段である量子化区間決定部１１５を備える。なお、トランケート数取得手段１１６に相当する手段は、ＪＰＥＧ２０００のデコーダのエントロピー復号化部にもともと備わっているものであるので、本実施形態においてはトランケート数取得手段１１６はエントロピー復号部１０２の一部として表されている。

また、符号化の際に、色差コンポーネントが水平方向及び／又は垂直方向に予め間引かれることがある。また、色差コンポーネントが間引かれた場合に、全てのデコンポジションレベル（階層）で垂直・水平両方向のウェーブレット変換が行われる場合（これを通常ウェーブレット変換と呼ぶ）と、特定のデコンポジションレベルでの水平方向及び／又は垂直方向のウェーブレット変換が省かれる場合（これを簡易ウェーブレット変換と呼ぶ）とがある。本実施形態に係る画像処理装置は、入力される符号化データについて、色差コンポーネントの間引きの有無や通常／簡易ウェーブレット変換の別に関する情報を取得するための手段１１７を備える。ここでは、このような情報は符号化データ中のメインヘッダ（又はタイルパートヘッダ）に含めることが可能なＣＯＭ（コメント）マーカセグメントに記述されているものとして説明する。タグ処理部１１７にはもともとＣＯＭマーカセグメントを解釈する機能が備わっているため、情報取得のための手段１１７はタグ処理部１０１の一部として表されている。ただし、色差コンポーネントの間引きの有無や通常／簡易ウェーブレットの別が予め分かっている場合には、それに関する情報を取得する手段１１７を省くことも可能であり、また、そのような情報をユーザが直接的に入力するような構成とすることも可能である。

この画像処理装置の処理の流れは次の通りである。入力されたＪＰＥＧ２０００の符号化データをタグ処理部１０１、エントロピー復号部１０２及び逆量子化部１０３により処理することにより、ウェーブレット係数が復号される。つまり、タグ処理部１０１から逆量子化部１０３までは全体として、符号化データからウェーブレット係数を復号する手段を構成していると言うことができる。タグ処理部１０１、エントロピー復号部１０２及び逆量子化部１０３の処理内容については図２１に関連して説明した通りであるので、これ以上の説明は省略するが、エントロピー復号部１０２におけるエントロピー復号の際に、トランケート数取得手段１１６によりサブバンド毎のトランケート数が算出される。その詳細については後述する。また、情報取得手段１１７によりＣＯＭマーカセグメントに記述されている色差コンポーネントの間引きの有無や通常／簡易ウェーブレット変換の別が解釈され、その情報がデタイル処理部１１１へ通知される。この情報は後述のようにデタイル処理制御手段１１４の制御に利用される。

ウェーブレット逆変換部１０４において、復号された各コンポーネントのウェーブレット係数に対し最上位階層（最高のデコンポジションレベル）から逆ウェーブレット変換処理が行われるが、この過程でデタイル処理１１１によるデタイル処理が実行される。このデタイル処理中の係数補正値に対するクリッピング処理に必要な量子化区間は、量子化区間決定部１１５より与えられる。なお、符号化時に線形量子化が適用された符号化データの場合でも、ウェーブレット逆変換部１０４に入力されるウェーブレット係数は逆量子化部１０３で逆線形量子化が施されたものであるので、クリッピング処理ではポスト量子化（符号破棄）についての量子化区間のみを考慮すればよい。

ウェーブレット逆変換部１０４からタイル境界歪みが抑制されたタイル画像の各コンポーネントデータが出力され、これは色空間逆変換部１０５により符号化時の色空間変換と逆の変換が施され、さらにＤＣレベル逆シフト部１０６でＤＣレベル逆シフトを施されることにより、元の表色系（例えばＲＧＢ表色系）のタイル画像データに戻される。

ここで、符号の破棄（トランケーション）とトランケート数の算出、及び、トランケート数と量子化区間の関係について説明する。

ＪＰＥＧ２０００には符号の破棄（トランケーション）を行うポスト量子化の機能がある。ポスト量子化は量子化テーブルを用いて実行される。これについて図１８により説明する。

図１８において、（ａ）はポスト量子化前の符号を模式的に示している。本例では３つのコンポーネントC0,C1,C2があり、ここでは、その１つのコンポーネントC0を示している。また、階層数(デコンポジションレベル数）は３であり、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨのサブバンドからなり、深さ方向に８つのビットプレーンで構成された符号の例である。

（ｂ）はポスト量子化のための量子化テーブルの一例である。各コンポーネント、各サブバンド毎に符号が破棄されるビットプレーンの枚数（トランケート数）が記述されている。

（ｃ）はコンポーネントC0のトランケーション例である。コンポーネントC0に関しては、３ＬＬサブバンドはトランケート数は１であるので、８枚のビットプレーン中、最下位の１枚が破棄される。１ＨＨサブバンドについては、トランケート数は７であるので、８枚のビットプレーンのうち下位の７枚が破棄される。このようにして、すべてのサブバンドについて、量子化テーブルの値に従って符号を破棄した後の符号が（ｄ）に模式的に示されている。

図１９は、このようなポスト量子化のトランケート数（符号が破棄されたビットプレーン数）と量子化区間の関係を示している。１枚のビットプレーンの破棄は、係数を２で除した（１ビット分シフトした）ことに相当する。図示のように、トランケート数ｍの場合のポスト量子化の量子化区間の大きさは２^m（２のｍ乗）、トランケート数ｎの場合の量子化区間の大きさは２^nであり、トランケート数が大きいほど量子化区間が広くなる。このように、トランケート数が分かれば量子化区間の大きさが分かる。このようなポスト量子化によるトランケート数から各サブバンド係数の量子化区間（の大きさ）を決定する手段が前記量子化区間決定部１１５である。

次に、トランケート数の算出方法について説明する。図２０はその説明図である。図２０の上段の図に示すように、トランケーションを行う前の総ビットプレーン数は、元データ（色空間変換前画像）のビットプレーン数（桁数）と、色変換で増えるビットプレーン数（桁数）と、ウェーブレット変換で増えるビットプレーン数（桁数）との和である。一方、下段の図に示すように、ゼロビットプレーン数（コーディングされなかったビットプレーン数）と、コーディングされたビットプレーン数と、トランケート（符号破棄）されたビットプレーン数の和が総ビットプレーン数である。

このことから、トランケート数は、総ビットプレーン数からゼロビットプレーン数とコーディングされたビットプレーン数を差し引くことにより求まることが分かる。そして、ゼロビットプレーン数は、ＪＰＥＧ２０００の符号化データを構成するパケットのヘッダ（パケットヘッダ）に記述されている。また、パケットヘッダに記述されているコーディングパス数から、コーディングされたビットプレーン数を計算することができる。

次に、デタイル処理に関し、いくつかの実施例を挙げて詳細に説明する。

図２は、本実施例におけるデタイル処理の流れを説明するためのフローチャートである。ここでは輝度コンポーネント（コンポーネント番号０）と色差Ｃｂ，Ｃｒコンポーネント（コンポーネント番号１，２）の３コンポーネントからなる符号化データを想定している。符号化データのメインヘッダ（又はタイルパートヘッダ）にコンポーネント数が記述されており、タグ処理部１０１によってコンポーネント数がウェーブレット逆変換部１０４に通知される。ウェーブレット変換のデコンポジションレベル数（階層数）も同様である。これらは一般的なＪＰＥＧ２０００デコーダと同様である。

デタイル処理制御手段１１４は、輝度コンポーネントと色差コンポーネントのそれぞれについてデタイル処理を施す最低のデコンポジションレベル（デタイル最低階層）ＫＹ，ＫＣを設定する（ｓｔｅｐ２００）。後述のように、処理は最上位デコンポジションレベルから下位のデコンポジションレベルへ向かって進行するが、輝度コンポーネントについてはデコンポジションレベルＫＹまでがデタイル処理の対象となり、それより下のデコンポジションレベルはデタイル処理の対象とならない。同様に、色差コンポーネントについては、デコンポジションレベルＫＣまでがデタイル処理の対象となり、それより下のデコンポジションレベルはデタイル処理の対象とならない。

この最低デコンポジションレベル（デタイル最低階層）ＫＹ，ＫＣは、ＫＹ＜ＫＣの関係に選ばれる（例えば、ＫＹ＝１、ＫＣ＝２）。このように色差コンポーネントに対するデタイル処理を輝度コンポーネントより上のデコンポジションレベルで打ち切るように設定することにより、デタイル処理全体の処理量・処理時間を効果的に削減することができる。しかも、デタイル処理の効果は色差コンポーネントに比べ輝度コンポーネントの方が顕著であるため、色差コンポーネントのデタイル処理を輝度コンポーネントより上のデコンポジションレベルで打ち切っても画質に及ぼす影響はわずかである。

デタイル処理制御手段１１４は、コンポーネント番号を０（輝度分）に設定し（ｓｔｅｐ２０１）、処理デコンポジションレベルを最高レベルに設定する（ｓｔｅｐ２０２）。最初の処理コンポーネントは輝度コンポーネントで、デコンポジションレベルは最高レベル（≧ＫＹ）であるため（ｓｔｅｐ２０３，Ｎｏ）、デタイル制御手段１１４は、輝度コンポーネントの最高デコンポジションレベルのウェーブレット係数に対する水平方向デタイル処理と垂直方向デタイル処理を係数補正手段１１２及びクリッピング手段１１３で実行させる（ｓｔｅｐ２０４，２０５）。デタイル処理制御手段１１４は、水平・垂直デタイル処理後のウェーブレット係数に対する２次元逆ウェーブレット変換をウェーブレット逆変換部１０４で実行させ（ｓｔｅｐ２０７）、処理デコンポジションレベルを１レベル下げる（ｓｔｅｐ２０８）。このデコンポジションレベルがＫＹ以上ならば（ｓｔｅｐ２０７，Ｎｏ）、当該デコンポジションレベルのウェーブレット係数に対する水平方向デタイル処理及び垂直方向デタイル処理を実行させる（ｓｔｅｐ２０４，２０５）。

デコンポジションレベルＫＹまで同様の処理を繰り返し、処理デコンポジションレベルがＫＹより低いレベルとなると（ｓｔｅｐ２０３，Ｙｅｓ）、ｓｔｅｐ２０４，２０５をスキップさせ、当該デコンポジションレベルについての２次元逆ウェーブレット変換を実行させ（ｓｔｅｐ２０７）、処理デコンポジションレベルを１レベル下げる（ｓｔｅｐ２０８）。デコンポジションレベル１のウェーブレット係数に対する２次元逆ウェーブレット変換が実行され、デコンポジションレベルが０となると（ｓｔｅｐ２０９，Ｙｅｓ）、輝度コンポーネントに対する処理を終わる。

デタイル処理制御手段１１４は、コンポーネント番号を１にインクリメントする（ｓｔｅｐ２１０）。コンポーネント番号が１のコンポーネントは色差（Ｃｂ）コンポーネントである。デタイル処理制御手段１１４は、処理デコンポジションレベルを最高レベルに設定し（ｓｔｅｐ２０２）、当該色差コンポーネントのウェーブレット係数に対する水平方向及び垂直方向のデタイル処理を実行させ（ｓｔｅｐ２０４，２０５）、次に２次元逆ウェーブレット変換を実行させ（ｓｔｅｐ２０７）、処理デコンポジションレベルを１レベル下げる（ｓｔｅｐ２０８）。デコンポジションレベルＫＣまで同様の処理が繰り返される。処理デコンポジションレベルがＫＣより低いレベルでは（ｓｔｅｐ２０３，Ｙｅｓ）、ｓｔｅｐ２０４，２０５をスキップし、ｓｔｅｐ２０７，２０８を繰り返す。

デコンポジションレベル１に対する処理を終わり、デコンポジションレベルが０となると（ｓｔｅｐ２０６，Ｙｅｓ）、色差（Ｃｂ）コンポーネントに対する処理を終わり、コンポーネント番号が２にインクリメントされ（ｓｔｅｐ２１０）、色差（Ｃｒ）コンポーネントに対する同様の処理が実行される。その処理が終了すると（ｓｔｅｐ２０６，Ｙｅｓ、ｓｔｅｐ２０９，Ｙｅｓ）、デタイル処理及び逆ウェーブレット変換処理を処理を完了する。

図３は、水平方向デタイル処理（ｓｔｅｐ２０３）及び垂直方向デタイル処理（ｓｔｅｐ２０５）のフローチャートである。

水平方向デタイル処理の場合、ｓｔｅｐ２２０で図１４に示すタイル境界に隣接したハイパス係数に対するデタイルのための補正が係数補正手段１１２で実行され、ｓｔｅｐ２２３で図１４に示すタイル境界に隣接しない境界近傍のハイパス係数に対するデタイルのための補正が係数補正手段１１２で実行される。ただし、図１４中のＬはＬＬ係数又はＬＨ係数を意味し、ＨはＨＬ係数又はＨＨ係数を意味する。

垂直方向デタイル処理の場合、ｓｔｅｐ２２０で図１５に示すタイル境界に隣接したハイパス係数に対するデタイル処理のための補正が係数補正手段１１２で実行され、ｓｔｅｐ２２３で図１５に示すタイル境界に隣接しない境界近傍のハイパス係数に対するデタイル処理のための補正が係数補正手段１１２で実行される。ただし、図１５中のＬはＬＬ係数又はＨＬ係数を意味し、ＨはＨＨ係数又はＬＨ係数を意味する。

クリッピング手段１１３において、ｓｔｅｐ２２０，２２５で、補正後の係数値が当該係数に関し量子化区間決定部１１５より与えられた量子化区間からはみ出たか否かをチェックし、量子化区間からはみ出た係数値を該量子化区間の近い側の端の値に補正するクリッピング処理を実行する。

５×３ウェーブレット変換が用いられている場合、ｓｔｅｐ２２０での係数補正式として前記式（iii）が用いられ、ｓｔｅｐ２２３での係数補正式として前記式（iv）が用いられる。９×７ウェーブレット変換が用いられている場合、ｓｔｅｐ２２０での係数補正式として前記式（v）が用いられ、ｓｔｅｐ２２３での係数補正式として前記式（vi）が用いられる。また、５×３ウェーブレット変換が用いられている場合、デコンポジションレベル１ではｓｔｅｐ２２３〜２２５はスキップされる。

なお、垂直方向デタイル処理は、図２９〜図３４に関連して説明したウェーブレット変換手順に忠実に沿った手順で実行することも可能である。すなわち、垂直方向デタイル処理を図４に示すような手順で実行することも可能である。図４に示す手順では、水平方向の逆ウェーブレット変換処理（ｓｔｅｐ２３０）、ハイパス係数補正処理（ｓｔｅｐ２３１，２３２）、水平方向の順ウェーブレット変換処理（ｓｔｅｐ２２３）、クリッピング処理（ｓｔｅｐ２３５）が順に実行される。したがって、ウェーブレット逆変換部１０４は水平方向の順ウェーブレット変換の機能を備える必要がある。

図３と図４を比較すれば明らかなように、図３に示した垂直方向デタイル処理の手順は、図４に示した手順における水平方向の逆ウェーブレット変換と順逆ウェーブレット変換のステップが省かれているため、より高速な処理が可能である。

しかも、図３の手順によっても、図４に示した手順と同等のデタイル効果を達成できる。違いがあるとすれば、水平方向の逆ウェーブレット変換時又は順ウェーブレット変換時のフローティング誤差であり、問題となるような誤差を生じない。これについて図１６により説明する。

図４に示す手順による垂直方向デタイル処理では、図１６の上段に示すように、水平方向の逆ウェーブレット変換でLH係数はＨ係数に変換され、LL係数はＬ係数に変換される。垂直方向のタイル境界に隣接するＨ係数を近傍のＨ係数とＬ係数で補正してから水平方向の順ウェーブレット変換を行った後の、タイル境界に隣接する係数の補正値LH2は、５×３変換の場合、
LH2'＝(2/3)*(LL3-LL2)＋(1/3)LH1
となる。

一方、図３の手順では垂直方向のタイル境界に隣接するLH係数をそのまま補正するので、その補正値LH2"は、
LH2"＝(2/3)＊(LL3-LL2)＋(1/3)LH1
となる。

このようにLH2'＝LH2"となる。誤差が生じるとしても、水平方向の逆ウェーブレット変換時と水平方向の順ウェーブレット変換時のフロア−関数の中であるため、その誤差は概算でせいぜい１程度であるため実用上問題にならない。

図５及び図６は、本実施例におけるデタイル処理の流れを説明するためのフローチャートである。ここでは輝度コンポーネント（コンポーネント番号０）と色差Ｃｂ，Ｃｒコンポーネント（コンポーネント番号１，２）の３コンポーネントからなる符号化データを想定している。

本実施例では、色差コンポーネントが水平方向及び／又は垂直方向に間引かれた符号化データが入力される場合を考慮している。例えば、４：２：２と呼ばれる色差コンポーネントのサブサンプリングフォーマットでは、色差コンポーネントが水平方向に１／２サブサンプリングされる。４：１：１と呼ばれる色差コンポーネントのサブサンプリングフォーマットでは、色差コンポーネントが水平方向及び垂直方向に１／２サブサンプリングされている。なお、色差コンポーネントの間引きがなされないフォーマットは４：４：４と呼ばれる。

ただし、本実施例では、色差コンポーネントが間引かれている場合であっても、色差コンポーネントに対し前記通常ウェーブレット変換が適用されているものとする。

まず、デタイル処理制御手段１１４は、輝度コンポーネントに対する垂直方向及び水平方向のデタイル処理を施す最低のデコンポジションレベルＫＹを設定する（ｓｔｅｐ２４０）。次に、デタイル制御手段１１４は、情報取得手段１１７より与えられた情報に基づき色差（Ｃｂ，Ｃｒ）コンポーネントが垂直方向に間引かれているか否かをチェックし（ｓｔｅｐ２４１）、間引かれていないならば色差の垂直方向デタイル処理の最低デコンポジションレベルをＫＣに設定し（ｓｔｅｐ２４２）、間引かれているならば該最低デコンポジションレベルをＫＶに設定する。次にデタイル制御手段は、情報取得手段１１７より与えられた情報に基づき色差コンポーネントが水平方向に間引かれているか否かをのチェックし（ｓｔｅｐ２４４）、間引かれていないならば色差の水平方向デタイル処理の最低デコンポジションレベルをＫＣに設定し（ｓｔｅｐ２４５）、間引かれているならば該最低デコンポジションレベルをＫＨに設定する。

ＫＹ，ＫＣ，ＫＨ，ＫＶの関係であるが、ＫＨ＝ＫＶ＞ＫＣ＞ＫＹに選ばれる。色差コンポーネントの間引きが行われた場合、間引かれた方向の濃度勾配が間引きのないばあいに比べて急峻になり、その方向のタイル境界歪みがもともと発生しにくいため、ＫＨ＝ＫＶ＞ＫＣの関係に設定し、間引き方向に対して、非間引き方向に比べ上のデコンポジションレベルでデタイル処理を打ち切ってもデタイル効果に殆ど差違がなく、かつ、デタイルのための処理量を削減できる。また、ＫＣ＞ＫＹの関係に選ばれるが、その理由は前記実施例１に関連して述べた通りである。ただし、色差コンポーネントに対するデタイル効果を特に高めたい場合には、ＫＣ＝ＫＹに選ぶことも可能である。

図６を参照する。デタイル処理制御手段１１４は、コンポーネント番号を０（輝度コンポーネント）に設定し（ｓｔｅｐ２４７）、処理デコンポジションレベルを最高レベルに設定する（ｓｔｅｐ２４８）。この最高デコンポジションレベルは、タグ処理部１０１によるヘッダ解析で得られることは前述した通りである。

最初は輝度コンポーネントであるので、デタイル処理制御手段１１４は、係数補正手段１１２及びクリッピング手段１１３により、輝度コンポーネントの処理デコンポジションレベルの係数に対する水平方向デタイル処理及び垂直方向デタイル処理を実行させ（ｓｔｅｐ２５１，２５２）、次にウェーブレット逆変換部１０４で２次元逆ウェーブレット変換を実行させ（ｓｔｅｐ２５４）、処理デコンポジションレベルを１レベル下げ（ｓｔｅｐ２５５）、同様の処理を実行させる。デコンポジションレベルＫＹまで同様の処理が繰り返される。ＫＹより下のデコンポジションレベルに対してはｓｔｅｐ２５１，２５２をスキップさせ、２次元逆ウェーブレット変換だけを実行させる。

最下位階層のデコンポジションレベル１に対する処理が終わると（ｓｔｅｐ２５３，Ｙｅｓ）、デタイル処理制御手段１１４はコンポーネント番号を１にインクリメントし（ｓｔｅｐ２５７）、処理デコンポジションレベルを最高レベルに設定し（ｓｔｅｐ２４９）、色差（Ｃｂ）コンポーネントに対する処理を開始させる。当該色差（Ｃｂ）コンポーネントの水平方向の間引きが無くかつ処理デコンポジションレベルがＫＣ以上であるか、又は、水平方向の間引きが有りかつ処理デコンポジションレベルがＫＨ以上であるならば（ｓｔｅｐ２５８，Ｎｏ）、係数補正手段１１２及びクリッピング手段１１３によって処理デコンポジションレベルに対する水平方向のデタイル処理を実行させる（ｓｔｅｐ２５９）。次に、当該色差（Ｃｂ）コンポーネントの垂直方向の間引きが無くかつ処理デコンポジションレベルがＫＣ以上であるか、又は、垂直方向の間引きが有りかつ処理デコンポジションレベルがＫＶ以上であるならば（ｓｔｅｐ２６０，Ｎｏ）、係数補正手段１１２及びクリッピング手段１１３によって処理デコンポジションレベルに対する垂直方向のデタイル処理を実行させる（ｓｔｅｐ２６１）。その後、ウェーブレット逆変換部１０４で２次元逆ウェーブレット変換を実行させ（ｓｔｅｐ２５４）、処理デコンポジションレベルを１レベル下げ（ｓｔｅｐ２５５）、次のデコンポジションレベルに対する処理を実行させる。

デコンポジションレベル１までの処理が終わると（ｓｔｅｐ２５３，Ｙｅｓ）、コンポーネント番号を２にインクリメントさせ（ｓｔｅｐ２５７）、色差（Ｃｒ）コンポーネントに対する処理を開始させる。色差（Ｃｒ）コンポーネントに対する処理は色差（Ｃｂ）コンポーネントと同様である。そして、この処理がデコンポジションレベル１まで終わると（ｓｔｅｐ２５３，Ｙｅｓ）、ここでは３コンポーネントの符号化データを想定しているため、ｓｔｅｐ２５６で終了と判定され、一連の処理が完了する。

なお、ｓｔｅｐ２５１，２５２，２５９，２６１のデタイル処理は図３に示す手順で実行される。なお、処理量は増加するが、ｓｔｅｐ２５２，２６１の垂直方向のデタイル処理を図４に示す手順で実行することも可能である。

図７は、本実施例におけるデタイル処理の全体的な流れを説明するためのフローチャートである。ここでも輝度コンポーネント（コンポーネント番号０）と色差Ｃｂ，Ｃｒコンポーネント（コンポーネント番号１，２）の３コンポーネントからなる符号化データを想定している。

デタイル処理制御手段１１４は、色差コンポーネントのサンプリングフォーマット（４：４：４、４：２：２又は４：１：１）に応じて処理フローを切り替える（ｓｔｅｐ２７０）。すなわち、色差コンポーネントの間引きが行われていない４：４：４フォーマットならばｓｔｅｐ２７１の処理に移行する。色差コンポーネントが水位方向にのみ間引かれている４：２：２フォーマットならば、通常ウェーブレット変換と簡易ウェーブレット変換のいずれが適用されているかによって処理の流れをｓｔｅｐ２７３又はｓｔｅｐ２７６へ進める（ｓｔｅｐ２７２）。色差コンポーネントが水平方向及び垂直方向に間引かれている４：１：１フォーマットならば、通常ウェーブレット変換と簡易ウェーブレット変換のいずれが適用されているかによって、処理の流れをｓｔｅｐ２７５又はｓｔｅｐ２７６へ進める（ｓｔｅｐ２７４）。このような色差のサンプリングフォーマットの種類及び通常／簡易ウェーブレット変換の別を判断するための情報は情報取得手段１１７より与えられることは前述の通りである。

ｓｔｅｐ２７１では図２に示した手順に従ったデタイル処理が実行される。この処理内容は前記実施例１に関連して説明した通りである。

ｓｔｅｐ２７６では図５及び図６に示した手順に従ったデタイル処理が実行される。この処理内容は前記実施例２の場合と同様であるが説明を補足する。４：２：２フォーマットで通常ウェーブレット変換の場合、ｓｔｅｐ２４１の判定結果はＮｏとなるのでｓｔｅｐ２４２で色差の垂直方向デタイル処理の最低デコンポジションレベルはＫＣに設定され、ｓｔｅｐ２４４の判定結果はＹｅｓとなるのでｓｔｅｐ２４６で色差の水平方向デタイル処理の最低デコンポジションレベルはＫＨに設定される。４：１：１フォーマットで通常ウェーブレット変換の場合、ｓｔｅｐ２４１の判定結果はＹｅｓとなるのでｓｔｅｐ２４３で色差の垂直方向デタイル処理の最低デコンポジションレベルはＫＨに設定され、ｓｔｅｐ２４４の判定結果はＹｅｓとなるのでｓｔｅｐ２４６で色差の水平方向デタイル処理の最低デコンポジションレベルはＫＨに設定される。

次にｓｔｅｐ２７３の処理内容について説明する。まず、図１０と図１１を参照し説明する。

図１０は４：２：２フォーマットにおける簡易ウェーブレット変換の説明図である。図１０の上段に示すように、４：２：２フォーマットでは、色差（Ｃｂ，Ｃｒ）コンポーネントが水平方向に１／２サブサンプリングされる。符号化時において、デコンポジションレベル１の順ウェーブレット変換は、図１０中段に示すように、輝度コンポーネントに対しては垂直方向及び水平方向に適用されるが、色差コンポーネントに対しては垂直方向にのみ適用される。すなわち、色差コンポーネントの間引き方向には順ウェーブレット変換は適用されない。デコンポジションレベル２以上の順ウェーブレット変換は、図１０の下段に示すように輝度コンポーネント、色差コンポーネントともに垂直方向及び水平方向に適用される。

図１１は、４：２：２フォーマット・簡易ウェーブレット変換の符号化データの復号時におけるデタイル処理の説明図である。デコンポジションレベル２以上では、輝度コンポーネント及び色差コンポーネントに対し、水平方向及び垂直方向のデタイル処理が適用される。デコンポジションレベル１では、図１１の中段に示すように、輝度コンポーネントに対しては水平方向及び垂直方向のデタイル処理が施されるが、色差コンポーネントに対しては垂直方向のデタイル処理のみ施される。色差コンポーネントの場合、デコンポジションレベル１では水平方向の順ウェーブレット変換が適用されていないため、水平方向のミラリングによるタイル境界歪みは生じていないからである。なお、デコンポジションレベル１の色差コンポーネントの逆ウェーブレット変換は垂直方向についてのみ適用されることは当然である。

図８はｓｔｅｐ２７３における処理手順を示すフローチャートである。デタイル処理制御手段１１４はコンポーネント番号を０（輝度コンポーネント）に設定し（ｓｔｅｐ２８０）、処理デコンポジションレベルを最高レベルに設定する（ｓｔｅｐ２８１）。そして、処理デコンポジションレベルの輝度コンポーネントのウェーブレット係数に対する水平方向及び垂直方向のデタイル処理を係数補正手段１１２及びクリッピング手段１１３により実行させ（ｓｔｅｐ２８３，２８４）、次にウェーブレット逆変換部１０４に２次元逆ウェーブレット変換を実行させる（ｓｔｅｐ２８６）。そして処理デコンポジションレベルを１レベル下げ（ｓｔｅｐ２８７）、同様の処理を実行させる。

輝度コンポーネントのデコンポジションレベル１まで処理が終わると（ｓｔｅｐ２８５，Ｙｅｓ）、デタイル処理制御手段１１４はコンポーネント番号を１（色差Ｃｂ）にインクリメントし（ｓｔｅｐ２８９）、処理デコンポジションレベルを最高レベルに設定する（ｓｔｅｐ２８１）。色差（Ｃｂ）コンポーネントの処理デコンポジションレベルのウェーブレット係数に対し水平方向及び垂直方向のデタイル処理を実行させ（ｓｔｅｐ２９０，２９１）、２次元逆ウェーブレット変換を実行させ（ｓｔｅｐ２９３）、処理デコンポジションレベルを１レベル下げ（ｓｔｅｐ２９４）、処理デコンポジションレベルのウェーブレット係数に対し水平方向及び垂直方向のデタイル処理を実行させる（ｓｔｅｐ２９０，２９１）。

このような処理が繰り返され、デコンポジションレベル２が処理デコンポジションとなり、そのウェーブレット係数に対する水平方向及び垂直方向のデタイル処理が終わると、デタイル処理制御手段１１４はｓｔｅｐ２９２よりｓｔｅｐ２９５へ処理の流れを変える。すなわち、２次元逆ウェーブレット変換を実行させ（ｓｔｅｐ２９５）、処理デコンポジションレベルを１レベル下げ（ｓｔｅｐ２９６）、処理デコンポジションレベルすなわちデコンポジションレベル１のウェーブレット係数に対し垂直方向のデタイル処理を実行させる（ｓｔｅｐ２９７）。ただし、このデタイル処理ではタイル境界に隣接したハイパス係数（１Ｈ）のみ補正するだけでよい。最後に垂直方向の逆ウェーブレット変換を実行させ（ｓｔｅｐ２９８）、色差（Ｃｂ）コンポーネントの画像データを復元する。

なお、ｓｔｅｐ２９８の後で、必要ならば、色差（Ｃｂ）コンポーネントの画像データに対し水平方向に間引かれた画素を補間するためのアップサンプリングをウェーブレット逆変換部１０４あるいは色空間逆変換部１０５で実行させるようにしてもよい。

このようにして色差（Ｃｂ）コンポーネントに対する処理を終わると、コンポーネント番号を２にインクリメントし（ｓｔｅｐ２８９）、色差（Ｃｒ）コンポーネントに対し色差（Ｃｂ）コンポーネントと同様のデタイル処理を実行させる。

なお、ｓｔｅｐ２８３，２８４，２９０，２９１，２９７の水平方向又は垂直方向のデタイル処理の手順は図３に示す手順と同様である。ただし、ｓｔｅｐ２９７では、上に述べたように、タイル境界に隣接したハイパス係数のみ補正する。処理量は増加するが、垂直方向デタイル処理に図４に示す手順と同様の手順を用いることも可能である。

次にｓｔｅｐ２７５の処理内容について説明する。まず、図１２と図１３を参照し説明する。

図１２は４：１：１フォーマットにおける簡易ウェーブレット変換の説明図である。図１２の上段に示すように、４：１：１フォーマットでは、色差（Ｃｂ，Ｃｒ）コンポーネントが水平方向及び垂直方向にそれぞれ１／２サブサンプリングされる。符号化時において、デコンポジションレベル１の順ウェーブレット変換は、図１２中段に示すように、輝度コンポーネントに対しては垂直方向及び水平方向に適用されるが、色差コンポーネントに対しては適用されない。デコンポジションレベル２以上の順ウェーブレット変換は、図１２の下段に示すように輝度分、色差コンポーネントともに垂直方向及び水平方向に適用される。

図１３は、４：１：１フォーマット・簡易ウェーブレット変換の符号化データの復号時におけるデタイル処理の説明図である。デコンポジションレベル２以上では、輝度コンポーネント及び色差コンポーネントに対し、水平方向及び垂直方向のデタイル処理が適用される。デコンポジションレベル１では、図１３の中段に示すように、輝度コンポーネントに対してのみ水平方向及び垂直方向のデタイル処理が施される。色差コンポーネントの場合、デコンポジションレベル１では順ウェーブレット変換が適用されていないため、ミラリングによるタイル境界歪みは生じていないからである。なお、色差コンポーネントに対してはデコンポジションレベル１の逆ウェーブレット変換は適用されないことは当然である。

図９はｓｔｅｐ２７５における処理手順を示すフローチャートである。デタイル処理制御手段１１４はコンポーネント番号を０（輝度コンポーネント）に設定し（ｓｔｅｐ３００）、処理デコンポジションレベルを最高レベルに設定する（ｓｔｅｐ３０１）。そして、処理デコンポジションレベルの輝度コンポーネントのウェーブレット係数に対する水平方向及び垂直方向のデタイル処理を係数補正手段１１２及びクリッピング手段１１３により実行させ（ｓｔｅｐ３０３，３０４）、次にウェーブレット逆変換部１０４に２次元逆ウェーブレット変換を実行させる（ｓｔｅｐ３０６）。そして処理デコンポジションレベルを１レベル下げ（ｓｔｅｐ３０７）、同様の処理を実行させる。

輝度コンポーネントのデコンポジションレベル１まで処理が終わると（ｓｔｅｐ３０５，Ｙｅｓ）、デタイル処理制御手段１１４はコンポーネント番号を１（色差Ｃｂ）にインクリメントし（ｓｔｅｐ３０９）、処理デコンポジションレベルを最高レベルに設定する（ｓｔｅｐ３０１）。色差（Ｃｂ）コンポーネントの処理デコンポジションレベルのウェーブレット係数に対し水平方向及び垂直方向のデタイル処理を実行させ（ｓｔｅｐ３１０，３１１）、２次元逆ウェーブレット変換を実行させ（ｓｔｅｐ３１３）、処理デコンポジションレベルを１レベル下げ（ｓｔｅｐ３１４）、処理デコンポジションレベルのウェーブレット係数に対し水平方向及び垂直方向のデタイル処理を実行させる（ｓｔｅｐ３１０，３１１）。このような処理が繰り返され、デコンポジションレベル２が処理デコンポジションとなり、そのウェーブレット係数に対する水平方向及び垂直方向のデタイル処理が終わると、デタイル処理制御手段１１４はｓｔｅｐ３１２よりｓｔｅｐ３１５へ処理の流れを変え２次元逆ウェーブレット変換を実行させ、色差（Ｃｂ）コンポーネントの画像データを復元する。

なお、ｓｔｅｐ３１５の後で、必要ならば、色差（Ｃｂ）コンポーネントの画像データに対し水平方向及び垂直方向に間引かれた画素を補間するためのアップサンプリングをウェーブレット逆変換部１０４あるいは色空間逆変換部１０５で実行させるようにしてもよい。

このようにして色差（Ｃｂ）コンポーネントに対する処理を終わると、コンポーネント番号を２にインクリメントし（ｓｔｅｐ３０９）、色差（Ｃｒ）コンポーネントに対し色差（Ｃｂ）コンポーネントと同様のデタイル処理を実行させる。

ｓｔｅｐ３０３，３０４，３１０，３１１の水平方向又は垂直方向のデタイル処理の手順は図３に示す手順と同様である。処理量は増加するが、垂直方向デタイル処理に図４に示す手順を用いることも可能である。

なお、以上の各実施例において、全てのコンポーネントについて最上位階層よりデタイル処理を開始したが、最上位階層より下位の階層よりデタイル処理を開始するようにすることも可能である。

また、トランケート数取得についてであるが、高圧縮率の符号化データなどでは、デタイルのために補正されるハイパス係数に関するトランケート数が取得できない場合があり得る。この場合、該ハイパス係数の量子化区間の決定に、他のハイパス係数（例えば同じサブバンドの隣接コードブロックのハイパス係数）に関し取得されたトランケート数を用いることができる。

以上に説明した本発明の画像処理装置におけるデタイル処理部１１１の処理手順は本発明のデタイル方法の処理手順でもあることは明らかである。よって、本発明のデタイル方法についての説明は繰り返さない。

図１に示したような本発明の画像処理装置は、パソコンなどの汎用のコンピュータや各種機器に内蔵されたマイクロコンピュータなどのコンピュータを利用して実現することも可能である。このような実現形態について図３７により簡単に説明する。

図３７において、４０１は中央演算処理ユニット（ＣＰＵ）、４０２はメインメモリ、４０３はハードディスク装置、４０４はモニタ、４０５はバスである。このようなコンピュータを画像処理装置を構成する各手段として機能させるための１以上のプログラムは、例えばハードディスク装置４０３よりメインメモリ４０２にロードされ、ＣＰＵ４０１により実行されることになる。

処理は例えば次のような流れで行われる。
（１）ハードディスク装置４０３に記憶されているJPEG2000の符号データが、ＣＰＵ４０１からの命令によってメインメモリ４０２に読み込まれる。
（２）ＣＰＵ４０１は、メインメモリ４０２上の符号データを読み込んで復号処理を行い、その処理過程で各コンポーネントのウェーブレット係数に対するデタイル処理（係数補正及びクリッピング処理）を行う。
（３）ＣＰＵ４０１は、再生した画像データをメインメモリ３０２上の別の領域に書き込む。
（４）そして、例えば、ＣＰＵ４０１からの命令によって、再生画像データがモニタ４０４に画像として表示される。

このようにコンピュータを本発明の画像処理装置の各手段として機能させるプログラム（アプリケーションプログラム、デバイスドライバなど）、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子など、コンピュータが読み取り可能な各種情報記録（記憶）媒体も本発明に包含される。

なお、コンピュータにハードウェアのJPEG2000デコーダが備えられている場合には、画像処理装置のデタイル処理部１１１及び量子化区間決定部１１５をプログラムによって実現し、それ以外の部分の機能はデコーダの機能を利用するような形態をとることも可能である。かかる実現形態も本発明に包含される。

以上に説明した本発明の実施形態ではJPEG2000の符号データが用いられたが、タイル単位の階層的ウェーブレット変換を利用するJPEG2000以外の符号化方式による符号化データを処理する画像処理装置に対しても、さらには、タイル単位でウェーブレット変換以外の階層的周波数変換を用いる符号化方式による符号化データを扱う画像処理装置に対しても、本発明を同様に適用し得るものである。また、以上の説明から明らかなように、タイル単位の階層的ウェーブレット変換処理により生成されたウェーブレット係数、さらには、タイル単位の他の階層的周波数変換処理により生成された周波数変換係数を入力され、それを処理する画像処理装置に対しても本発明を適用可能である。

本発明の実施形態に係る画像処理装置のブロック図である。 実施例１におけるデタイル処理を説明するためのフローチャートである。 水平方向及び垂直方向のデタイル処理の手順を示すフローチャートである。 垂直方向デタイル処理の別の手順を示すフローチャートである。 実施例２におけるデタイル処理を説明するためのフローチャートである。 実施例２におけるデタイル処理を説明するためのフローチャートである。 実施例３におけるデタイル処理を説明するためのフローチャートである。 図７中のｓｔｅｐ２７３の処理を説明するためのフローチャートである。 図７中のｓｔｅｐ２７５の処理を説明するためのフローチャートである。 ４：２：２フォーマットの簡易ウェーブレット変換を説明するための図である。 ４：２：２フォーマット・簡易ウェーブレット変換のウェーブレット係数に対する処理を説明するための図である。 ４：１：１フォーマットの簡易ウェーブレット変換を説明するための図である。 ４：１：１フォーマット・簡易ウェーブレット変換のウェーブレット係数に対する処理を説明するための図である。 水平方向デタイル処理で補正されるタイル境界付近のハイパス係数の説明図である。 垂直方向デタイル処理で補正されるタイル境界付近のハイパス係数の説明図である。 水平方向逆ウェーブレット変換を行わずに垂直方向デタイル処理を行う場合の誤差の説明図である。 クリッピング処理の説明図である。 JPEG2000における符号破棄（ポスト量子化）の説明図である。 トランケート数と量子化区間の大きさの関係の説明図である。 トランケート数の算出方法の説明図である。 JPEG2000の圧縮・伸長アルゴリズム説明するためのブロック図である。 タイル画像と座標系を示す図である。 図２２のタイル画像に対し垂直方向のウェーブレット変換を行った後の係数配列を示す図である。 図２３の係数配列に対し水平方向のウェーブレット変換を行った後の係数配列を示す図である。 図２４の係数をデインターリーブした係数配列を示す図である。 ２回目の２次元ウェーブレット変換後のデインターリーブした係数配列を示す図である。 ミラリングの説明図である。 デタイル処理により補正されるタイル境界付近の画素を模式的に示す図である。 ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。 ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。 ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。 ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。 ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。 ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。 ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。 ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。 本発明に係る画像処理装置をコンピュータを利用して実現する形態を説明するためのブロック図である。

符号の説明

１０１ タグ処理部
１０２ エントロピー復号部
１０３ 逆量子化部
１０４ ウェーブレット逆変換部
１０５ 色空間逆変換部
１０６ ＤＣレベル逆シフト部
１１１ デタイル処理部
１１２ 係数補正手段
１１３ クリッピング手段
１１４ デタイル処理制御手段
１１５ 量子化区間決定部
１１６ トランケート数取得手段
１１７ 情報取得手段

Claims (17)

1. 画像をタイル分割し、タイル毎にその各コンポーネントを階層的に周波数変換する符号化方式によって生成された符号化データを復号する画像処理装置であって、
   前記符号化データの復号の過程において、各コンポーネントの周波数変換係数に対し、その上位の階層から下位の階層へ向かって順に、前記周波数変換の際のミラリングの影響により生じたタイル境界歪みを抑制するためにタイル境界付近の特定のハイパス係数を補正するデタイル処理を施すデタイル処理手段を有し、
   前記デタイル処理手段はデタイル処理を施す最も低い階層（以下、デタイル最低階層と記す）をコンポーネント別に制御するデタイル処理制御手段を含むことを特徴とする画像処理装置。
2. 前記デタイル処理制御手段は色差コンポーネントについてのデタイル最低階層を輝度コンポーネントについてのデタイル最低階層より上位の階層とすることを特徴とする請求項１記載の画像処理装置。
3. 前記デタイル処理制御手段は、少なくとも色差コンポーネントについて、水平方向に関するデタイル最低階層と垂直方向に関するデタイル最低階層とを別々に制御することを特徴とする請求項１記載の画像処理装置。
4. 前記デタイル処理制御手段は水平方向又は垂直方向に間引かれている色差コンポーネントについて、間引かれている方向に関するデタイル最低階層を間引かれていない方向に関するデタイル最低階層より上位の階層とすることを特徴とする請求項３記載の画像処理装置。
5. 前記デタイル制御手段は最下位階層の水平方向又は垂直方向の周波数変換がなされていない色差コンポーネントについて、その周波数変換がなされていない方向に関するデタイル最低階層を最下位階層より上位の階層とすることを特徴とする請求項３記載の画像処理装置。
6. 前記符号化方式はＪＰＥＧ２０００に準拠した符号化方式であり、
   符号化データから、符号が破棄されたビットプレーン数（以下、トランケート数と記す）を取得する手段と、該手段により取得されたトランケート数に基づいてウェーブレット係数の量子化区間を決定する量子化区間決定手段とをさらに有し、
   前記デタイル処理における補正後のハイパス係数に対するクリッピング処理に、該ハイパス係数に関し前記量子化区間決定手段によって決定された量子化区間が用いられることを特徴する請求項１乃至５のいずれか１項記載の画像処理装置。
7. 画像をタイル分割し、タイル毎にその各コンポーネントを階層的に周波数変換することによって生成された各コンポーネントの周波数変換係数に対し、その上位の階層から下位の階層へ向かって順に、前記周波数変換の際のミラリングの影響により生じたタイル境界歪みを抑制するためにタイル境界付近の特定のハイパス係数を補正するデタイル処理を施すデタイル方法において、
   デタイル処理を施す最も低い階層（以下、デタイル最低階層と記す）をコンポーネント別に制御することを特徴とするデタイル処理方法。
8. 色差コンポーネントについてのデタイル最低階層を輝度コンポーネントについてのデタイル最低階層より上位の階層とすることを特徴とする請求項７記載のデタイル方法。
9. 少なくとも色差コンポーネントについて、水平方向に関するデタイル最低階層と垂直方向に関するデタイル最低階層とを別々に制御することを特徴とする請求項７記載のデタイル方法。
10. 水平方向又は垂直方向に間引かれている色差コンポーネントについて、間引かれている方向に関するデタイル最低階層を間引かれていない方向に関するデタイル最低階層より上位の階層とすることを特徴とする請求項９記載のデタイル方法。
11. 最下位階層の水平方向又は垂直方向の周波数変換がなされていない色差コンポーネントについて、その周波数変換がなされていない方向に関するデタイル最低階層を最下位階層より上位の階層とすることを特徴とする請求項９記載のデタイル方法。
12. 画像をタイル分割し、タイル毎にその各コンポーネントを階層的に周波数変換する符号化方式によって生成された符号化データを復号する画像処理装置としてコンピュータを動作させるためのプログラムであって、
    前記符号化データの復号の過程において、各コンポーネントの周波数変換係数に対し、その上位の階層から下位の階層へ向かって順に、前記周波数変換の際のミラリングの影響により生じたタイル境界歪みを抑制するためにタイル境界付近の特定のハイパス係数を補正するデタイル処理を施すデタイル処理手段、
    前記デタイル処理手段によりデタイル処理を施す最も低い階層（以下、デタイル最低階層と記す）をコンポーネント別に制御する、前記デタイル処理手段に含まれるデタイル処理制御手段、
    としてコンピュータを機能させることを特徴とするプログラム。
13. 前記デタイル処理制御手段は色差コンポーネントについてのデタイル最低階層を輝度コンポーネントについてのデタイル最低階層より上位の階層とすることを特徴とする請求項１２記載のプログラム。
14. 前記デタイル処理制御手段は、少なくとも色差コンポーネントについて、水平方向に関するデタイル最低階層と垂直方向に関するデタイル最低階層とを別々に制御することを特徴とする請求項１２記載のプログラム。
15. 前記デタイル制御手段は、水平方向又は垂直方向に間引かれている色差コンポーネントについて、間引かれている方向に関するデタイル最低階層を間引かれていない方向に関するデタイル最低階層より上位の階層とすることを特徴とする請求項１４記載のプログラム。
16. 前記デタイル制御手段は最下位階層の水平方向又は垂直方向の周波数変換がなされていない色差コンポーネントについて、その周波数変換がなされていない方向に関するデタイル最低階層を最下位階層より上位の階層とすることを特徴とする請求項１４記載のプログラム。
17. 請求項１２乃至１６のいずれか１項記載のプログラムが記録されたコンピュータが読み取り可能な情報記録媒体。

Images