JP4753297B2

JP4753297B2 - 画像処理装置、デタイル処理方法、プログラム及び情報記録媒体

Info

Publication number: JP4753297B2
Application number: JP2005344212A
Authority: JP
Inventors: 亨水納
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2005-11-29
Filing date: 2005-11-29
Publication date: 2011-08-24
Anticipated expiration: 2025-11-29
Also published as: JP2007150864A

Description

本発明は、画像が重複しない矩形ブロック（本明細書では、このような矩形ブロックをタイルと総称する）に分割され、タイル毎にその各コンポーネントが階層的に周波数変換される符号化方式により生成された符号化データを復号する装置に係り、特に、周波数変換時のミラリングの影響によるタイル境界境界歪みを抑制するデタイル技術に関する。

本発明を適用可能な符号化方式の例としてＪＰＥＧ２０００がある。ＪＰＥＧ２０００では、画像をタイル分割し、タイル単位で処理を実行することにより、少ないメモリ環境下でも圧縮伸長処理が可能となっている。しかし、圧縮率の高い条件で圧縮伸長処理を行った場合、伸張画像においてタイル境界の不連続（タイル境界歪み）が目立つという問題がある。

このようなタイル境界歪みの抑制（デタイル）の方法として、復号画像データのタイル境界部分の画素に対しタイル境界に直交する方向のローパスフィルタを適用してタイル境界を平滑化する方法が提案されている。このような実空間でのデタイルに関する先行技術文献としては、例えば特許文献１がある。

また、符号化データの復号過程において、隣接したタイルのローパス係数とハイパス係数を利用し、ウェーブレット変換時のミラリングの影響を受けたタイル境界部のハイパス係数を補正することによりタイル境界歪みを抑制する方法も提案されている。このようなウェーブレット係数空間でのデタイルに関する先行技術文献としては、例えば特許文献２がある。

本発明は、このようなウェーブレット係数空間での（より一般的には周波数変換係数空間での）係数補正によるデタイル技術に関するものである。

特開２００４−０６４１８９号公報特開２００１−２５７５９６号公報

特許文献２に記載されているような周波数変換係数空間での係数補正によるデタイル手法は、圧縮率などの符号化条件によらず優れたデタイル効果を得られる利点を有する反面、処理量が大きいことが難点である。また、本願発明者の研究によれば、輝度コンポーネントに比べ色差コンポーネントのデタイル処理による画質改善効果は小さいこと、高い階層のデタイル処理で副作用が生じやすいこと、特に色差コンポーネントにおける副作用は復号画像上のタイル境界近辺の色変わり等として目立ちやすいことが確認された。

本発明の目的は、以上の点を考慮し、周波数変換係数空間でのデタイル処理をより効率的に実行することができるようにし、かつ、デタイル処理の副作用による悪影響を抑えることにある。

請求項１記載の発明は、画像をタイル分割、色空間変換し、タイル毎に、輝度成分及び色差成分の各コンポーネントを階層的に周波数変換する符号化方式によって生成された符号化データを復号する画像処理装置であって、前記符号化データの復号の過程において、輝度成分及び色差成分の各コンポーネントの周波数変換係数に対し、上位の階層から下位の階層へ向かって順に、前記周波数変換の際のミラリングの影響により生じたタイル境界歪みを抑制するためにタイル境界付近の特定のハイパス係数を補正するデタイル処理を施すデタイル処理手段を有し、前記デタイル処理手段は、色差成分のコンポーネントについて、輝度成分のコンポーネントよりも下位の階層からデタイル処理を開始することを特徴とする画像処理装置である。

請求項２記載の発明は、請求項１記載の発明に係る画像処理装置であって、前記デタイル処理手段は、輝度成分のコンポーネントについて、最上位階層よりも下位の階層からデタイル処理を開始することを特徴とする画像処理装置である。

請求項３記載の発明は、請求項１又は２記載の発明に係る画像処理装置であって、前記周波数変換はウェーブレット変換であることを特徴とする画像処理装置である。

請求項４記載の発明は、請求項１又は２記載の発明に係る画像処理装置であって、前記符号化方式はＪＰＥＧ２０００に準拠した符号化方式であり、符号化データから、符号が破棄されたビットプレーン数（以下、トランケート数と記す）を取得するトランケート数取得手段と、該トランケート数取得手段により取得されたトランケート数に基づいてウェーブレット係数の量子化区間を決定する量子化区間決定手段とをさらに有し、前記デタイル処理は、前記量子化区間決定手段によって決定された量子化区間をもとに、補正後のハイパス係数に対してクリッピング処理を施すことを特徴する画像処理装置である。

請求項５記載の発明は、画像をタイル分割、色空間変換し、タイル毎に、輝度成分及び色差成分の各コンポーネントを階層的に周波数変換することによって生成された前記輝度成分及び色差成分の各コンポーネントの周波数変換係数に対し、その上位の階層から下位の階層へ向かって順に、前記周波数変換の際のミラリングの影響により生じたタイル境界歪みを抑制するためにタイル境界付近の特定のハイパス係数を補正するデタイル処理を施すデタイル処理方法において、色差成分のコンポーネントについて、輝度成分のコンポーネントよりも下位の階層からデタイル処理を開始することを特徴とするデタイル処理方法である。

請求項６記載の発明は、請求項５記載の発明に係るデタイル処理方法であって、輝度成分のコンポーネントについて、最上位階層より下位の階層からデタイル処理を開始することを特徴とするデタイル処理方法である。

請求項７記載の発明は、請求項５又は６記載の発明に係るデタイル処理方法であって、前記周波数変換はウェーブレット変換であることを特徴とするデタイル処理方法である。

請求項８記載の発明は、請求項５、６又は７記載のデタイル処理方法をコンピュータに実行させるためのプログラムである。

請求項９記載の発明は、請求項５，６又は７記載のデタイル処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば次のような効果を得られる。輝度コンポーネントに比べデタイル処理による画質改善効果が小さい色差コンポーネントに対するデタイル開始階層を、輝度コンポーネントについてのデタイル開始階層より下位の階層とすることにより、デタイル効果を殆ど損なうことなく、デタイルのための処理時間を削減し、しかもタイル境界付近の色変わり等の副作用の発生を抑えることができる。また、符号破棄が行われた符号化データに対しても、デタイル処理において係数補正値に適切なクリッピング処理を施すことによりデタイル処理によりタイル境界をまたぐエッジがなまるような副作用を抑えることができる。

後述の本発明の実施形態では、ＪＰＥＧ２０００の符号化データの復号過程においてウェーブレット係数空間でのデタイル処理が実行される。このような実施形態の理解を容易にするため、ＪＰＥＧ２０００の概要と、ウェーブレット係数空間でのデタイル方法の原理について説明する。

＜ＪＰＥＧ２０００の概要＞
図１３はＪＰＥＧ２０００の圧縮・伸長アルゴリズムを説明するためのブロック図である。

まず圧縮（符号化）処理について説明する。画像は重複しないタイルに分割され、タイル毎に処理される。各タイルの画像はＤＣレベルシフト・逆シフト部１によりＤＣレベルシフトを施され、次に色空間変換・逆変換部２により例えばＲＧＢ色空間からＹＣｒＣｂ（もしくはＹＵＶ）色空間へ変換される。この色空間変換後のタイルの各コンポーネント画像に対し、２次元ウェーブレット変換・逆変換部３により２次元ウェーブレット変換（順変換）処理が行われる。ＪＰＥＧ２０００では、ウェーブレット変換として可逆の５×３変換又は非可逆の９×７変換が用いられる。９×７変換が用いられる場合には、ウェーブレット係数は量子化・逆量子化部４でサブバンド毎に線形量子化を施される。次に、エントロピー符号化・復号化部５で、ウェーブレット係数はサブバンド毎にビットプレーン単位でのエントロピー符号化が行われる（より正確には各ビットプレーンは３つのサブビットプレーンに分割されて符号化される）。この際、量子化・逆量子化部４で、符号化対象ビットの周辺ビットの並びからコンテキストが生成され、これがエントロピー符号化・復号化部５に与えられる。そして、符号形成・タグ処理部６において、必要なエントロピー符号をまとめてパケットが生成され、パケットが所要の順序に従って並べられとともに必要なタグ及びタグ情報が付加されることにより、１本のコードストリーム（JPEG2000の符号化データ）が形成される。

エントロピー符号化及び符号形成についてさらに説明する。サブバンドはプリシンクトと呼ばれる矩形領域に分割され、プリシンクトはさらにコードブロックと呼ばれる矩形領域に分割される。プリシンクトは、大まかには画像中の位置（Position）を表すものであり、インプリメンテーションでメモリを効率的に使うために導入されたものである。プリシンクトは、ＨＬ，ＬＨ，ＨＨの３つのサブバンドにおいて空間的に一致している。つまり、プリシンクトは３つで１つのまとまりを成すものである。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１つのまとまりを成す。このようなプリシンクトは、サブバンドと同じサイズにすることも可能である。コードブロックはエントロピー符号化の基本単位となる。

プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックの最上位ビットから３枚目までのビットプレーンの符号を集めたもの）がパケットである。パケットは符号とヘッダ（パケットヘッダ）からなる。全てのプリシンクト（すなわち、全てのコードブロック、全てのサブバンド）のパケットを集めると、タイル画像全域の符号の一部（例えば、タイル画像全域のウェーブレット係数の最上位ビットから３枚目までのビットプレーンの符号）ができるが、これをレイヤとよぶ。レイヤは、大まかにはタイル画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がる。レイヤはいわば画質の単位である。

なお、ＪＰＥＧ２０００には符号の破棄（トランケーション）を行うポスト量子化の機能がある。可逆の５×３ウェーブレット変換が用いられる場合には、ウェーブレット係数に対する線形量子化は行わないため、ポスト量子化のみが用いられる。ポスト量子化による符号破棄については後述する。

ＪＰＥＧ２０００のコードストリームの伸長（復号）処理は圧縮処理と丁度逆の処理となる。すなわち、符号形成・タグ処理部６において、コードストリーム中のタグ情報を解釈することにより、コードストリームは各コンポーネントの各タイルのコードストリームに分解され、また、各コンポーネント内のタグ情報に基づいた順番で復号対象ビットの位置が定められる。量子化・逆量子化部４で、その対象ビット位置の周辺ビット(復号済み)の並びからコンテキストが生成される。このコンテキストとコードストリームからエントロピー符号化・復号化部５で確率推定によってエントロピー復号が行われて対象ビットが生成され、これが対象ビットの位置に書き込まれる。このようにして復号されたウェーブレット係数に対し（９×７ウェーブレット変換が用いられる場合には量子化・逆量子化部５で逆量子化を施された後）、２次元ウェーブレット変換・逆変換部３で２次元逆ウェーブレット変換処理が行われることにより、各タイルの各コンポーネントの画像データが生成され、これは色空間逆変換・逆変換部２で元の色空間へ戻され、さらにＤＣレベルシフト・逆シフト部１でＤＣレベル逆シフトを施される。

次に、ＪＰＥＧ２０００における２次元ウェーブレット変換（順変換）について説明する。図１４〜図１８は、16×16画素のモノクロ画像に対して、５x３変換と呼ばれるウェーブレット変換を２次元に(垂直方向および水平方向の順)施す過程の説明図である。

まず垂直方向にウェーブレット変換を施す。図１４の様にＸＹ座標をとり、あるｘについて、Ｙ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。ＪＰＥＧ２０００では、まず垂直方向（Ｙ座標方向）に、Ｙ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得た後、Ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのｘについて行う)。ここで、ハイパスフィルタは式（１）、ローパスフィルタは式（２）で表される。式中の記号|_ｘ_|は、ｘのフロア関数（実数ｘを、ｘを越えず、かつ、ｘに最も近い整数に置換する関数）を示している。
式(1) C(2i+1)=P(2i+1)−|_(P(2i)+P(2i+2))/2_|
式(2) C(2i)=P(2i)+|_(C(2i-1)+C(2i+1)+2)/4_|

画像の端部又はタイルの境界部においては、中心となる画素に対して隣接画素群又は隣接係数群が存在しないことがある。この場合、図１９に示した「ミラリング」と呼ばれる手法によって画素値又は係数値を補うことになる。ミラリングは、文字通り、画像の端又はタイル境界を中心として画素値又は係数値を線対称に折り返し、折り返した値を隣接画素群又は係数群の値とみなす処理である。

ここで、簡単のため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬと表記すれば、前記垂直方向の変換によって図１４の画像は図１５のようなＬ係数とＨ係数の配列へと変換される。

続いて、図１５の係数配列に対して、水平方向にウェーブレット変換を施す。すなわち、水平方向に、Ｘ座標が奇数（x=2i+1）の係数を中心にハイパスフィルタを施し、次にＸ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す(これを全てのｙについて行う。この場合、式（１），式（２）のP(2i)等は係数値を表すものと読み替える）。

簡単のため、
前記Ｌ係数を中心にローパスフィルタを施して得られる係数をLL、
前記Ｌ係数を中心にハイパスフィルタを施して得られる係数をHL、
前記Ｈ係数を中心にローパスフィルタを施して得られる係数をLH、
前記Ｈ係数を中心にハイパスフィルタを施して得られる係数をHH、
と表記すれば、図１５の係数配列は図１６の様な係数配列へと変換される。ここで、同一の記号を付した係数群はサブバンドと呼ばれる。図１６の係数配列は４つのサブバンドの係数からなる。

以上で、１回の２次元ウェーブレット変換（１回のデコンポジション（分解））が終了し、LL係数だけを集めると（図１７の様に係数をサブバンド毎に集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の“画像”が得られる（このように、サブバンド毎に係数を分類することをデインターリーブと呼び、これに対し図１６のような状態に係数を配置することをインターリーブと呼ぶ）。

２回目のウェーブレット変換は、LLサブバンドを原画像と見なして、上に述べたと同様に行われる。そして得られたサブバンド係数をデインターリーブすると、図１８に示す様な係数配列となる。これで２階層の２次元ウェーブレット変換が行われたことになる。

なお、図１７、図１８中の係数の接頭の１や２は、その係数が何回のウェーブレット変換で得られたかを示し、デコンポジションレベルと呼ばれる。図１８の例では、デコンポジションレベル２の各サブバンド係数が最上位階層のウェーブレット係数である。

以上は順変換であるが、２次元逆ウェーブレット変換処理は順変換と丁度逆の処理となる。図１６の様なインターリーブされた係数の配列に対して、まず順変換時とは逆に水平方向に逆ウェーブレット変換が施される。すなわち、水平方向に、Ｘ座標が偶数（ｘ=2i）の係数を中心に逆ローパスフィルタを施し、次にＸ座標が奇数（ｘ=2i+1）の係数を中心に逆ハイパスフィルタを施す（これを全てのｙについて行う）。ここで、逆ローパスフィルタは式（３）で、逆ハイパスフィルタは式（４）で表される。この際も、画像の端部又はタイル境界部においては中心となる係数に対して隣接係数群が存在しないことがあり、この場合も図１９のミラリングによって適宜係数値を補うことになる。
式(３) P(2i)=C(2i)−|_(C(2i-1)+C(2i+1)+2)/4_|
式(４) P(2i+1)=C(2i+1)＋|_(P(2i)+P(2i+2))/2_|

このようにして図１６の係数配列は図１５のような係数配列に変換（逆変換）される。続いて、垂直方向に逆ウェーブレット変換が施される。すなわち、垂直方向に、Ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次にＹ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施せば（これを全てのｘについて行う）、１回の２次元ウェーブレット逆変換が終了し、図１４の画像に戻る(再構成される)ことになる。複数階層の２次元ウェーブレット変換が施されている場合は、図１４をLLサブバンドとみなし、HL等の他のサブバンド係数を利用して同様の逆変換を繰り返すことになる。

＜ウェーブレット係数空間でのデタイル処理の原理＞
ウェーブレット係数空間でのデタイル処理では、水平方向及び垂直方向に隣接したタイルの境界部のハイパス係数に対しデタイルのための補正が施されることにより、図２０に模式的に示すように隣接したタイルの境界部分の画素値が補正される。

前記特許文献２に記載の発明では、
（１）タイル境界歪みが生じるのは圧縮率が高い場合であり、タイリングの有無に関わらず、全てのハイパス係数は０に量子化される。
（２）タイリングした場合のローパス係数はタイリングしない場合のローパス係数に等しい。
という２つの近似を採用し、
「(０に量子化されたが)補正されたハイパス係数を用いて逆ウェーブレット変換をした場合の、タイル境界の画素値＝ハイパス係数が０の場合の、タイリングをせずに逆ウェーブレット変換をした場合の同じ位置の画素値」
という式から、ハイパス係数の補正値を算出している（０に量子化されたハイパス係数に対し、０でない補正値を算出する過程は画像復元である）。

ここで、高いデコンポジションレベルにおいては、ハイパス係数は０に量子化されることが少ない、つまり上記（１）の近似が成り立たないことが多い。よって、上記（１）の近似を前提としたデタイル処理は、解決すべき課題に関連して述べたように、高い階層で副作用を生じやすいのである。

さて、上記の係数補正のための補正式を、５×３変換を例に説明する。前述のように、５x３変換と呼ばれるウェーブレット変換の逆変換の場合、L,H,L,Hの順にインターリーブした係数列に対し、
偶数位置中心に逆ローパスフィルタを、
奇数位置中心に逆ハイパスフィルタを、
をかける。

前記式（１）〜（４）のフロア関数を省略して展開すれば明らかなように、順変換と逆変換とではフィルタのタップ数は逆転し、またフィルタ係数もインターリーブされる。このため、順変換のフィルタ係数が
HIGH -0.5，1，-0.5
LOW -0.125，0.25，0.75，0.25，-0.125
の場合、逆変換のフィルタ係数は
LOW -0.25，1，-0.25
HIGH -0.125，0.5，0.75，0.5，-0.125
となる（ここでは、フロア関数部分を考慮せずにフィルタ係数を表現している）。

「タイリングしない場合で、かつ、ハイパス係数が全て０のとき(近似１)」、インターリーブされた係数列
L1 H1 L2 H2 L3 H3
において、H2位置中心に逆ハイパスフィルタをかけた値は以下の通りである。
式(i) -0.125H1+0.5L2+0.75H2+0.5L3-0.125H3=0.5L2+0.5L3
一方、上記係数が、２つのタイルに分割されてから算出されたものであり、タイル境界はH2とL3の間にあるとする。この場合、L1,H1,L2,H2は左側（又は上側）のタイルの係数、L3,H3は右側（又は下側）のタイルの係数になる。ここで、H2は順変換（３タップのハイパスフィルタ）時にミラリングの影響を受けており、補正の対象となる係数である。タイリングは、各タイル内の画素だけを用いてウェーブレット変換を行う処理、あるいは各タイル内の係数だけを用いて逆ウェーブレット変換を行う処理であるため、上記ミラリングによって左タイル（又は上タイル）の係数
L1 H1 L2 H2
を右タイル（又は下タイル）に補った場合
L1 H1 L2 H2 L2 H1
となる。

よって、H2位置中心に逆ハイパスフィルタをかけた値は、
式(ii) -0.125H1+0.5L2+0.75H2+0.5L2-0.125H1=-0.25H1+L2+0.75H2
となる。

式(i)＝式(ii)を狙うため、
式(iii) H2=1/3H1-2/3L2+2/3L3
を得る。これがタイル境界に隣接し、順変換時にミラリングの影響を受けたハイパス係数の補正式である。ただし、補正値の算出時にはタイリングした係数しか存在しないため、L2は左（上）タイルの係数、L3は右（下）タイルの係数を使用する(近似２)。

タイル境界に隣接するローパス係数（L3）に関しても同様な立式が可能であり、その結果、左側又は上側のタイル境界近傍のハイパス係数H３の補正式として
式（iv） H3＝０
を得ることができる。ただし、デコンポジションレベル１の場合、H3はミラリングの誤差を含まないため補正不要である（デコンポジションレベル２以上の場合は、H3に隣接するL3自体がデコンポジションレベル１でミラリングの影響を受けているため補正が必要である）。

９×７ウェーブレット変換の場合も同様な考え方で補正式を算出できる。すなわち、インターリーブされた係数列
H0 L1 H1 L2 H2 L3 H3 L4 H4
において、H2とL3の間がタイル境界である場合、
式（v） H2=
(-0.0535H0+0.15644H1+0.09127L1-0.59127L2+0.59127L3-0.09127L4)/0.60295
式（vi） H3=(0.05754L2-0.05754L4+0.03372H4)/0.53372
が得られる。ただし、９×７変換の場合には、デコンポジションレベル１でもH3係数を補正してよい。

次に、２階層（デコンポジションレベル数＝２）の２次元ウェーブレット変換が行われたウェーブレット係数の場合を例に、前記特許文献２の教えるウェーブレット係数空間でのデタイル処理をウェーブレット変換の手順を逆に辿りながら忠実に行うデタイル処理の手順について説明する。図２１〜図２８は処理説明のための係数配列図である（便宜、４タイルとしている）。

図２１は最上位階層であるデコンポジションレベル２のインターリーブされた係数を示している。まず、水平方向のデタイルのための係数補正が行われる。補正の対象となる係数は、図２２に示す列Ａの係数(2HL,2HH)と列Ｂの係数(2HL,2HH)である。列Ａの係数は上に論じたＨ２係数に対応し、列Ｂの係数は上に論じたＨ３係数に対応する。５×３変換の場合、列Ａの係数に対する補正式として前記式（iii）が、列Ｂの係数に対する補正式として前記式（iv）が用いられる。９ｘ７変換の場合には、列Ａの係数は前記式（v）により補正され、列Ｂの係数は前記式（vi）により補正される。そして、係数の補正値に対するクリッピング処理が行われる。

図９はクリッピング処理の説明図である。図９に示すように、補正前の係数値が量子化区間（Q〜2Q）にあるときにデタイルのための係数補正により-1/2Qに補正されたとする。この場合、係数値は、その量子化区間の端Ｑに戻される。つまり、クリッピング処理は、係数の補正値が、補正前の係数値が属していた量子化区間をはみ出したきときに、元の量子化区間の端（補正値に近い側）の値（クリップ値）に修正する処理である。

係数の補正値が量子化区間からはみ出た場合、そのままにしておくと、タイル境界をまたぐエッジがタイル境界付近でなまるという副作用が生じる恐れがある。クリッピング処理を行う目的は、このような副作用を回避するためである。

次に、デコンポジションレベル２のウェーブレット係数に対し水平方向の逆ウェーブレット変換が行われ、図２３に示すような係数配列となる。この係数配列に対し、垂直方向のデタイルのための係数補正が行われる。すなわち、図２４に示す行Ｃの係数(2H)と行Ｄの係数(2H)を対象としての係数補正が行われる。行Ｃの係数は上に論じたＨ２係数に対応し、行Ｄの係数は上に論じたＨ３係数に対応する。５ｘ３変換の場合、行Ｃの係数は前記式（iii）で補正され、行Ｄの係数は前記式（iv）で補正される。９ｘ７変換の場合、行Ｃの係数は前記式（v）で補正され、行Ｄの係数は前記式（vi）で補正される。このように水平方向に逆ウェーブレット変換した後のハイパス係数とローパス係数を垂直方向のデタイルに用いる理由は、それら係数が符号化時の順ウェーブレット変換でミラーリングの影響を直接受けた係数だからである。

このような補正後に、水平方向のウェーブレット変換（順変換）が行われ、図２１に示すような係数の状態に戻される。この順変換を行うのは、符号破棄は図２１のような状態の係数の符号について行われたものであり、本来は、図２４に示すような中間状態の係数に対しては量子化区間が定まらないからである。そして、行Ｃ（図２４参照）に対応した係数（2LH,2HH）及び行Ｄ（図２４参照）に対応した係数（2LH,2HH）の補正値に対するクリッピング処理が行われる。

次に、デコンポジションレベル２の係数に対し、水平方向の逆ウェーブレット変換と垂直方向の逆ウェーブレット変換が順に行われる。この逆変換により、図２５に示すデコンポジションレベル１の係数が得られる。

次に、図２６のようにインターリーブしたデコンポジションレベル１の係数に対し水平方向のデタイルのための係数補正が行われる。５×３変換の場合には、図２７に示す列Ｅの係数（HL,HH）を前記式（iii）で補正する（デコンポジションレベル１では、列Ｆの係数はミラリングの誤差を含まないため補正は不要である）。９ｘ７変換の場合には、列Ｅの係数を前記式（v）で補正し、また、列Ｆの係数(HL,HH)を前記式（vi）で補正する。そして、補正された係数値のクリッピング処理が行われる。

次に、水平方向の逆ウェーブレット変換が行われる。この逆ウェーブレット変換後の係数に対し、垂直方向のデタイルのための係数補正が行われる。すなわち、５ｘ３変換の場合は図２８に示す行Ｇの係数を前記式（iii）で補正する。９ｘ７変換の場合、図２８に示す行Ｇの係数を前記式（v）で補正し、行Ｈの係数を前記式（vi）で補正する。

この補正後の係数に対し、水平方向のウェーブレット変換（順変換）が行われ、図２６に示す係数の状態に戻す。そして、行Ｇ，Ｈの係数（５×３変換の場合は行Ｇの係数のみ）に関しクリッピング処理が行われる。

最後に、水平方向の逆ウェーブレット変換、垂直方向の逆ウェーブレット変換が順に行われ、タイル境界歪みの除去された画像データが生成される。

＜本発明の実施形態の説明＞
図１は本発明の実施形態を説明するためのブロック図である。本実施形態に係る画像処理装置は、ＪＰＥＧ２０００の符号化データを処理するもので、タグ処理部１０１、エントロピー復号部１０２、逆量子化部１０３、ウェーブレット逆変換部１０４、色空間逆変換部１０５及びＤＣレベル逆シフト部１０６を備える。これら各部はＪＰＥＧ２０００のデコーダが一般的に備える手段であり、その基本的な作用は図１３に関連して説明した通りである。

この画像処理装置は、ウェーブレット係数空間でのデタイル処理を行うための手段としてのデタイル処理部１１１を備える。ウェーブレット係数空間でのデタイル処理は逆ウェーブレット変換と密接に関連するため、デタイル処理部１１１はウェーブレット逆変換部１０４に含まれる形で示されている。

デタイル処理部１１１は、タイル境界付近に位置する特定のハイパス係数を補正するための係数補正手段１１２と、この係数補正手段１１２による係数の補正値に対するクリッピング処理のためのクリッピング手段１１３と、デタイル処理の制御のためのデタイル処理制御手段１１４とからなる。

この画像処理装置は、ＪＰＥＧ２０００の符号化データがポスト量子化により符号の破棄が行われている場合にも適切なクリッピング処理を可能にするため、符号が破棄されたビットプレーン数（トランケート数）を取得するトランケート数取得手段１１６と、このトランケート数に基づいて量子化区間を決定する手段である量子化区間決定部１１５を備える。なお、トランケート数取得手段１１６に相当する手段は、ＪＰＥＧ２０００のデコーダのエントロピー復号部にもともと備わっているものであるので、トランケート数取得手段１１６はエントロピー復号部１０２の一部として表されている。

この画像処理装置の処理の流れは次の通りである。入力されたＪＰＥＧ２０００の符号化データをタグ処理部１０１、エントロピー復号部１０２及び逆量子化部１０３により処理することにより、ウェーブレット係数が復号される。つまり、タグ処理部１０１から逆量子化部１０３までは全体として、符号化データからウェーブレット係数を復号する手段を構成していると言うことができる。タグ処理部１０１、エントロピー復号部１０２及び逆量子化部１０３の処理内容については図１３に関連して説明した通りであるので、これ以上の説明は省略するが、エントロピー復号部１０２におけるエントロピー復号の際に、トランケート数取得手段１１６によりサブバンド毎のトランケート数が算出される。その詳細については後述する。

ウェーブレット逆変換部１０４において、復号された各コンポーネントのウェーブレット係数に対し最上位階層（最高のデコンポジションレベル）から逆ウェーブレット変換処理が行われるが、この過程でデタイル処理１１１によるデタイル処理が実行される。このデタイル処理中の係数補正値に対するクリッピング処理に必要な量子化区間は、量子化区間決定部１１５より与えられる。なお、符号化時に線形量子化が適用された符号化データの場合でも、ウェーブレット逆変換部１０４に入力されるウェーブレット係数は逆量子化部１０３で逆線形量子化が施されたものであるので、クリッピング処理ではポスト量子化（符号破棄）についての量子化区間のみを考慮すればよい。

ウェーブレット逆変換部１０４からタイル境界歪みが抑制されたタイル画像の各コンポーネントデータが出力され、これは色空間逆変換部１０５により符号化時の色空間変換と逆の変換が施され、さらにＤＣレベル逆シフト部１０６でＤＣレベル逆シフトを施されることにより、元の表色系（例えばＲＧＢ表色系）のタイル画像データに戻される。

ここで、符号の破棄（トランケーション）とトランケート数の算出、及び、トランケート数と量子化区間の関係について説明する。

ＪＰＥＧ２０００には符号の破棄（トランケーション）を行うポスト量子化の機能がある。ポスト量子化は量子化テーブルを用いて実行される。これについて図１０により説明する。

図１０において、（ａ）はポスト量子化前の符号を模式的に示している。本例では３つのコンポーネントC0,C1,C2があり、ここでは、その１つのコンポーネントC0を示している。また、階層数(デコンポジションレベル数）は３であり、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨのサブバンドからなり、深さ方向に８つのビットプレーンで構成された符号の例である。

（ｂ）はポスト量子化のための量子化テーブルの一例である。各コンポーネント、各サブバンド毎に符号が破棄されるビットプレーンの枚数（トランケート数）が記述されている。

（ｃ）はコンポーネントC0のトランケーション例である。コンポーネントC0に関しては、３ＬＬサブバンドはトランケート数は１であるので、８枚のビットプレーン中、最下位の１枚の符号が破棄される。１ＨＨサブバンドについては、トランケート数は７であるので、８枚のビットプレーンのうち下位の７枚の符号が破棄される。このようにして、すべてのサブバンドについて、量子化テーブルの値に従って符号を破棄した後の符号が（ｄ）に模式的に示されている。

図１１は、このようなポスト量子化のトランケート数（符号が破棄されたビットプレーン数）と量子化区間の関係を示している。１枚のビットプレーンの破棄は、係数を２で除した（１ビット分シフトした）ことに相当する。図示のように、トランケート数ｍの場合のポスト量子化の量子化区間の大きさは２^m（２のｍ乗）、トランケート数ｎの場合の量子化区間の大きさは２^nであり、トランケート数が大きいほど量子化区間が広くなる。このように、トランケート数が分かれば量子化区間の大きさが分かる。このようなポスト量子化によるトランケート数から各サブバンド係数の量子化区間（の大きさ）を決定する手段が前記量子化区間決定部１１５である。

次に、トランケート数の算出方法について説明する。図１２はその説明図である。図１２の上段の図に示すように、トランケーションを行う前の総ビットプレーン数は、元データ（色空間変換前画像）のビットプレーン数（桁数）と、色空間変換で増えるビットプレーン数（桁数）と、ウェーブレット変換で増えるビットプレーン数（桁数）との和である。一方、下段の図に示すように、ゼロビットプレーン数（コーディングされなかったビットプレーン数）と、コーディングされたビットプレーン数と、トランケート（符号破棄）されたビットプレーン数の和が総ビットプレーン数である。

このことから、トランケート数は、総ビットプレーン数からゼロビットプレーン数とコーディングされたビットプレーン数を差し引くことにより求まることが分かる。そして、ゼロビットプレーン数は、ＪＰＥＧ２０００の符号化データを構成するパケットのヘッダ（パケットヘッダ）に記述されている。また、パケットヘッダに記述されているコーディングパス数から、コーディングされたビットプレーン数を計算することができる。

次に、デタイル処理について詳細に説明する。図２は、デタイル処理の流れを説明するためのフローチャートである。ここでは輝度コンポーネント（コンポーネント番号０）と色差Ｃｂ，Ｃｒコンポーネント（コンポーネント番号１，２）の３コンポーネントからなる符号化データを想定している。符号化データのメインヘッダ（又はタイルパートヘッダ）にコンポーネント数が記述されており、タグ処理部１０１によってコンポーネント数がウェーブレット逆変換部１０４に通知される。ウェーブレット変換のデコンポジションレベル数（階層数）も同様である。これらは一般的なＪＰＥＧ２０００デコーダと同様である。

デタイル処理制御手段１１４は、コンポーネント数ｎｃｏｍｐに、ヘッダより取得されたコンポーネント数を設定する（ｓｔｅｐ２００）。ここでは３コンポーネントの符号化データを想定しているので、ｎｃｏｍｐ＝３に設定されることになる。

次に、輝度コンポーネントと色差コンポーネントのそれぞれについてデタイル開始レベル（デタイル開始階層）ＫＹ，ＫＣを設定する（ｓｔｅｐ２０１）。このように、コンポーネント別にデタイル開始レベルを制御することができる。後述のように、処理は最上位デコンポジションレベルから下位のデコンポジションレベルへ向かって進行するが、輝度コンポーネントについてはデタイル開始レベルＫＹ以下のデコンポジションレベルがデタイル処理の対象となり、それより上位デコンポジションレベルはデタイル処理の対象とならない。同様に、色差コンポーネントについては、デタイル開始レベルＫＣ以下のデコンポジションレベルがデタイル処理の対象となり、それより上位のデコンポジションレベルはデタイル処理の対象とならない。

デタイル開始レベルＫＹ，ＫＣは、ＫＹ＞ＫＣの関係に選ばれる。このようにすることにより、色差コンポーネントについてのデタイル処理の対象となるデコンポジションレベル数が少なくなる分だけデタイルのための処理時間が削減される。しかも、デタイル処理による画質改善効果は、色差コンポーネントに比べ輝度コンポーネントの方が顕著であるため、ＫＹ＞ＫＣの関係に設定しても、画質に及ぼす影響はわずかであり、むしろ、上位のデコンポジションレベルがデタイル処理の対象から除外されることによりタイル境界近辺の色変わり等の副作用が発生しにくくなるという効果を得られる。

デタイル処理制御手段１１４は、コンポーネント番号ｃｏｍｐを０（輝度分）に設定し（ｓｔｅｐ２０２）、次に処理デコンポジションレベルを最高レベル（ヘッダより取得されたデコンポジションレベル数に等しい）に設定する（ｓｔｅｐ２０３）。

ｃｏｍｐ＝０（輝度）であるため、処理デコンポジションレベルがデタイル開始レベルＫＹより上位レベルならば（ｓｔｅｐ２０４，Ｎｏ）、デタイル処理制御手段１１４はデタイル処理を実行させることなく、ウェーブレット逆変換部１０４で２次元逆ウェーブレット変換を実行させ（ｓｔｅｐ２０７）、処理デコンポジションレベルを１レベル下げ（ｓｔｅｐ２０８）。処理デコンポジションレベルがデタイル開始レベルＫＹより上位レベルである間は同様に、デタイル処理を施すことなく２次元逆ウェーブレット変換を実行させる。

デタイル開始レベルＫＹ以下のデコンポジションレベルが処理デコンポジションレベルとなると（ｓｔｅｐ２０４，Ｙｅｓ）、デタイル制御手段１１４は、処理デコンポジションレベルの輝度コンポーネントのウェーブレット係数に対する水平方向デタイル処理と垂直方向デタイル処理を係数補正手段１１２及びクリッピング手段１１３で実行させ（ｓｔｅｐ２０５，２０６）、水平・垂直方向デタイル処理後のウェーブレット係数に対する２次元逆ウェーブレット変換をウェーブレット逆変換部１０４で実行させ（ｓｔｅｐ２０７）、処理デコンポジションレベルを１レベル下げる（ｓｔｅｐ２０８）。同様にして最下位のデコンポジションレベル１までの各レベルのウェーブレット係数に対し、デタイル処理及び２次元逆ウェーブレット変換を順次実行させる。

デコンポジションレベル１まで処理され、処理デコンポジションレベルが０となると（ｓｔｅｐ２０９，Ｙｅｓ）、輝度コンポーネントに対する処理を終わる。

デタイル処理制御手段１１４は、コンポーネント番号ｃｏｍｐを１にインクリメントする（ｓｔｅｐ２１１）。コンポーネント番号が１のコンポーネントは色差（Ｃｂ）コンポーネントである。デタイル処理制御手段１１４は、処理デコンポジションレベルを最高レベルに設定し（ｓｔｅｐ２０３）、最上位のデコンポジションレベルより当該色差コンポーネントのウェーブレット係数に対する処理を開始する。処理デコンポジションレベルがデタイル処理開始レベルＫＹより上のレベルである間は水平方向及び垂直方向のデタイル処理（ｓｔｅｐ２０５，２０６）を行わせることなく２次元逆ウェーブレット変換を実行させ（ｓｔｅｐ２０７）、処理デコンポジションレベルを１レベル下げ、同様の処理を続ける。

デタイル開始レベルＫＣ以下のデコンポジションレベルが処理デコンポジションレベルとなると（ｓｔｅｐ２０４，Ｙｅｓ）、デタイル制御手段１１４は、処理デコンポジションレベルの当該色差コンポーネントのウェーブレット係数に対する水平方向デタイル処理と垂直方向デタイル処理を係数補正手段１１２及びクリッピング手段１１３で実行させ（ｓｔｅｐ２０５，２０６）、水平・垂直方向デタイル処理後のウェーブレット係数に対する２次元逆ウェーブレット変換をウェーブレット逆変換部１０４で実行させ（ｓｔｅｐ２０７）、処理デコンポジションレベルを１レベル下げる（ｓｔｅｐ２０８）。同様にして最下位のデコンポジションレベル１までの各レベルのウェーブレット係数に対し、デタイル処理及び２次元逆ウェーブレット変換を順次実行させる。

デコンポジションレベル１まで処理され、処理デコンポジションレベルが０となると（ｓｔｅｐ２０９，Ｙｅｓ）、当該色差コンポーネントに対する処理を終わる。

デタイル処理制御手段１１４は、コンポーネント番号ｃｏｍｐを２にインクリメントする（ｓｔｅｐ２１１）。コンポーネント番号が２のコンポーネントは色差（Ｃｒ）コンポーネントである。デタイル処理制御手段１１４は、処理デコンポジションレベルを最高レベルに設定し（ｓｔｅｐ２０３）、最上位のデコンポジションレベルより当該色差コンポーネントのウェーブレット係数に対する処理を開始する。処理デコンポジションレベルがデタイル処理開始レベルＫＹより上のレベルである間は水平方向及び垂直方向のデタイル処理（ｓｔｅｐ２０５，２０６）を行わせることなく２次元逆ウェーブレット変換を実行させ（ｓｔｅｐ２０７）、処理デコンポジションレベルを１レベル下げ、同様の処理を続ける。

デコンポジションレベル１まで処理され、処理デコンポジションレベルが０となると（ｓｔｅｐ２０９，Ｙｅｓ）、当該色差コンポーネントに対する処理を終わる。この時はｃｏｍｐ＝２であり、ｎｃｏｍｐ−１の値と一致するため（ｓｔｅｐ２１０，Ｙｅｓ）、ウェーブレット逆変換部１０４での処理は終了する。

図３は、水平方向デタイル処理（ｓｔｅｐ２０５）及び垂直方向デタイル処理（ｓｔｅｐ２０６）のフローチャートである。

水平方向デタイル処理の場合、ｓｔｅｐ２２０で図６に示すタイル境界に隣接したハイパス係数に対するデタイルのための補正が係数補正手段１１２で実行され、ｓｔｅｐ２２３で図６に示すタイル境界に隣接しない境界近傍のハイパス係数に対するデタイルのための補正が係数補正手段１１２で実行される。ただし、図６中のＬはＬＬ係数又はＬＨ係数を意味し、ＨはＨＬ係数又はＨＨ係数を意味する。

垂直方向デタイル処理の場合、ｓｔｅｐ２２０で図７に示すタイル境界に隣接したハイパス係数に対するデタイル処理のための補正が係数補正手段１１２で実行され、ｓｔｅｐ２２３で図７に示すタイル境界に隣接しない境界近傍のハイパス係数に対するデタイル処理のための補正が係数補正手段１１２で実行される。ただし、図７中のＬはＬＬ係数又はＨＬ係数を意味し、ＨはＨＨ係数又はＬＨ係数を意味する。

クリッピング手段１１３において、ｓｔｅｐ２２２，２２５で、補正後の係数値が当該係数に関し量子化区間決定部１１５より与えられた量子化区間からはみ出たか否かをチェツクし、量子化区間からはみ出た係数値を該量子化区間の近い側の端の値に補正するクリッピング処理を実行する。

５×３ウェーブレット変換が用いられている場合、ｓｔｅｐ２２０での係数補正式として前記式（iii）が用いられ、ｓｔｅｐ２２３での係数補正式として前記式（iv）が用いられる。９×７ウェーブレット変換が用いられている場合、ｓｔｅｐ２２０での係数補正式として前記式（v）が用いられ、ｓｔｅｐ２２３での係数補正式として前記式（vi）が用いられる。また、５×３ウェーブレット変換が用いられている場合、デコンポジションレベル１ではｓｔｅｐ２２３，２２５はスキップされる。

なお、垂直方向デタイル処理は、図２１〜図２８に関連して説明したウェーブレット変換手順に忠実に沿った手順で実行することも可能である。すなわち、垂直方向デタイル処理を図４に示すような手順で実行することも可能である。図４に示す手順では、水平方向の逆ウェーブレット変換処理（ｓｔｅｐ２３０）、ハイパス係数補正処理（ｓｔｅｐ２３１，２３２）、水平方向の順ウェーブレット変換処理（ｓｔｅｐ２２３）、クリッピング処理（ｓｔｅｐ２３５）が順に実行される。したがって、ウェーブレット逆変換部１０４は水平方向の順ウェーブレット変換の機能を備える必要がある。

図３と図４を比較すれば明らかなように、図３に示した垂直方向デタイル処理の手順は、図４に示した手順における水平方向の逆ウェーブレット変換と順逆ウェーブレット変換のステップが省かれているため、より高速な処理が可能である。

しかも、図３の手順によっても、図４に示した手順と同等のデタイル効果を達成できる。違いがあるとすれば、水平方向の逆ウェーブレット変換時又は順ウェーブレット変換時のフローティング誤差であり、問題となるような誤差を生じない。これについて図８により説明する。

図４に示す手順による垂直方向デタイル処理では、図８の上段に示すように、水平方向の逆ウェーブレット変換でLH係数はＨ係数に変換され、LL係数はＬ係数に変換される。垂直方向のタイル境界に隣接するＨ係数を近傍のＨ係数とＬ係数で補正してから水平方向の順ウェーブレット変換を行った後の、タイル境界に隣接する係数の補正値LH2は、５×３変換の場合、
LH2'＝(2/3)*(LL3-LL2)＋(1/3)LH1
となる。

一方、図３の手順では垂直方向のタイル境界に隣接するLH係数をそのまま補正するので、その補正値LH2"は、
LH2"＝(2/3)＊(LL3-LL2)＋(1/3)LH1
となる。

このようにLH2'＝LH2"となる。誤差が生じるとしても、水平方向の逆ウェーブレット変換時と水平方向の順ウェーブレット変換時のフロア−関数の中であるため、その誤差は概算でせいぜい１程度であり実用上問題にならない。

さて、色差コンポーネントについてのデタイル開始レベルＫＣを最下位のデコンポジションレベル１より低いレベル、例えば０に設定することにより、色差コンポーネントに対するデタイル処理を抑止することができる。この場合の実質的な処理フローは図５のように表すことができる。このように色差コンポーネントに対するデタイル処理を抑止するならば、デタイルのための処理時間が大幅に削減される。そして、輝度コンポーネントに比べ色差コンポーネントのデタイル処理による画質改善効果は小さいため、画質的にそれほどの不利益はなく、また、タイル境界近辺の色変わり等の副作用を確実に抑制することができる。

なお、図５に示した処理フローに従った処理のみを実行するようにデタイル処理部１１１を構成することも可能であり、かかる態様も本発明に包含される。

なお、全てのコンポーネントについてデタイル開始レベルから最下位レベルまでをデタイル処理の対象とするものとして説明したが、最下位レベルより上のレベルでデタイル処理を打ち切るようにすることも可能である。

また、トランケート数取得についてであるが、高圧縮率の符号化データなどでは、デタイルのために補正されるハイパス係数に関するトランケート数が取得できない場合があり得る。この場合、該ハイパス係数の量子化区間の決定に、他のハイパス係数（例えば同じサブバンドの隣接コードブロックのハイパス係数）に関し取得されたトランケート数を用いることができる。

以上に説明した本発明の画像処理装置におけるデタイル処理部１１１の処理手順は本発明のデタイル方法の処理手順でもあることは明らかである。よって、本発明のデタイル方法についての説明は繰り返さない。

図１に示したような本発明の画像処理装置は、パソコンなどの汎用のコンピュータや各種機器に内蔵されたマイクロコンピュータなどのコンピュータを利用して実現することも可能である。このような実現形態について図２９により簡単に説明する。

図２９において、４０１は中央演算処理ユニット（ＣＰＵ）、４０２はメインメモリ、４０３はハードディスク装置、４０４はモニタ、４０５はバスである。このようなコンピュータを画像処理装置を構成する各手段として機能させるための１以上のプログラムは、例えばハードディスク装置４０３よりメインメモリ４０２にロードされ、ＣＰＵ４０１により実行されることになる。

処理は例えば次のような流れで行われる。
（１）ハードディスク装置４０３に記憶されているJPEG2000の符号データが、ＣＰＵ４０１からの命令によってメインメモリ４０２に読み込まれる。
（２）ＣＰＵ４０１は、メインメモリ４０２上の符号化データを読み込んで復号処理を行い、その処理過程で各コンポーネントのウェーブレット係数に対するデタイル処理（係数補正及びクリッピング処理）を行う。
（３）ＣＰＵ４０１は、再生した画像データをメインメモリ３０２上の別の領域に書き込む。
（４）そして、例えば、ＣＰＵ４０１からの命令によって、再生画像データがモニタ４０４に画像として表示される。

このようにコンピュータを本発明の画像処理装置の各手段として機能させるプログラム（アプリケーションプログラム、デバイスドライバなど）、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子など、コンピュータが読み取り可能な各種情報記録（記憶）媒体も本発明に包含される。

なお、コンピュータにハードウェアのJPEG2000デコーダが備えられている場合には、画像処理装置のデタイル処理部１１１及び量子化区間決定部１１５をプログラムによって実現し、それ以外の部分の機能はデコーダの機能を利用するような形態をとることも可能である。かかる実現形態も本発明に包含される。

以上に説明した本発明の実施形態ではJPEG2000の符号化データが用いられたが、タイル単位の階層的ウェーブレット変換を利用するJPEG2000以外の符号化方式による符号化データを処理する画像処理装置に対しても、さらには、タイル単位でウェーブレット変換以外の階層的周波数変換を用いる符号化方式による符号化データを扱う画像処理装置に対しても、本発明を同様に適用し得るものである。また、以上の説明から明らかなように、タイル単位の階層的ウェーブレット変換処理により生成されたウェーブレット係数、さらには、タイル単位の他の階層的周波数変換処理により生成された周波数変換係数を入力され、それを処理する画像処理装置に対しても本発明を適用可能である。

本発明の実施形態に係る画像処理装置のブロック図である。デタイル処理を説明するためのフローチャートである。水平方向及び垂直方向のデタイル処理の手順を示すフローチャートである。垂直方向デタイル処理の別の手順を示すフローチャートである。色差コンポーネントに対するデタイル処理を抑止した場合の処理フローを示すフローチャートである。水平方向デタイル処理で補正されるタイル境界付近のハイパス係数の説明図である。垂直方向デタイル処理で補正されるタイル境界付近のハイパス係数の説明図である。水平方向逆ウェーブレット変換を行わずに垂直方向デタイル処理を行う場合の誤差の説明図である。クリッピング処理の説明図である。 JPEG2000における符号破棄（ポスト量子化）の説明図である。トランケート数と量子化区間の大きさの関係の説明図である。トランケート数の算出方法の説明図である。 JPEG2000の圧縮・伸長アルゴリズム説明するためのブロック図である。タイル画像と座標系を示す図である。図１４のタイル画像に対し垂直方向のウェーブレット変換を行った後の係数配列を示す図である。図１５の係数配列に対し水平方向のウェーブレット変換を行った後の係数配列を示す図である。図１６の係数をデインターリーブした係数配列を示す図である。２回目の２次元ウェーブレット変換後のデインターリーブした係数配列を示す図である。ミラリングの説明図である。デタイル処理により補正されるタイル境界付近の画素を模式的に示す図である。ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理手順を説明するための係数配列図である。本発明に係る画像処理装置をコンピュータを利用して実現する形態を説明するためのブロック図である。

符号の説明

１０１タグ処理部
１０２エントロピー復号部
１０３逆量子化部
１０４ウェーブレット逆変換部
１０５色空間逆変換部
１０６ＤＣレベル逆シフト部
１１１デタイル処理部
１１２係数補正手段
１１３クリッピング手段
１１４デタイル処理制御手段
１１５量子化区間決定部
１１６トランケート数取得手段

Claims

画像をタイル分割、色空間変換し、タイル毎に、輝度成分及び色差成分の各コンポーネントを階層的に周波数変換する符号化方式によって生成された符号化データを復号する画像処理装置であって、
前記符号化データの復号の過程において、輝度成分及び色差成分の各コンポーネントの周波数変換係数に対し、上位の階層から下位の階層へ向かって順に、前記周波数変換の際のミラリングの影響により生じたタイル境界歪みを抑制するためにタイル境界付近の特定のハイパス係数を補正するデタイル処理を施すデタイル処理手段を有し、
前記デタイル処理手段は、色差成分のコンポーネントについて、輝度成分のコンポーネントよりも下位の階層からデタイル処理を開始することを特徴とする画像処理装置。
前記デタイル処理手段は、輝度成分のコンポーネントについて、最上位階層よりも下位の階層からデタイル処理を開始することを特徴とする請求項１記載の画像処理装置。
前記周波数変換はウェーブレット変換であることを特徴とする請求項１又は２記載の画像処理装置。
前記符号化方式はＪＰＥＧ２０００に準拠した符号化方式であり、
符号化データから、符号が破棄されたビットプレーン数（以下、トランケート数と記す）を取得するトランケート数取得手段と、該トランケート数取得手段により取得されたトランケート数に基づいてウェーブレット係数の量子化区間を決定する量子化区間決定手段とをさらに有し、
前記デタイル処理手段は、前記量子化区間決定手段によって決定された量子化区間をもとに、補正後のハイパス係数に対してクリッピング処理を施すことを特徴する請求項１又は２記載の画像処理装置。
画像をタイル分割、色空間変換し、タイル毎に、輝度成分及び色差成分の各コンポーネントを階層的に周波数変換することによって生成された前記輝度成分及び色差成分の各コンポーネントの周波数変換係数に対し、上位の階層から下位の階層へ向かって順に、前記周波数変換の際のミラリングの影響により生じたタイル境界歪みを抑制するためにタイル境界付近の特定のハイパス係数を補正するデタイル処理を施すデタイル処理方法において、
色差成分のコンポーネントについて、輝度成分のコンポーネントよりも下位の階層からデタイル処理を開始することを特徴とするデタイル処理方法。
輝度成分のコンポーネントについて、最上位階層よりも下位の階層からデタイル処理を開始することを特徴とする請求項５記載のデタイル処理方法。
前記周波数変換はウェーブレット変換であることを特徴とする請求項５又は６記載のデタイル処理方法。
請求項５、６又は７記載のデタイル処理方法をコンピュータに実行させるためのプログラム。
請求項５、６又は７記載のデタイル処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。