JP4117886B2 - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Description

本発明は、画像が重複しないタイルに分割されタイル単位に周波数変換された符号データの処理に係り、特に、この種の符号データの復号処理過程において周波数係数空間上でタイル境界歪みを抑制するための処理を行う装置及び方法に関する。

近年、画像入出力技術の進歩により、画像に対する高精細化の流れはとどまるところを知らず、高精細画像を容易に圧縮・伸長できる技術への要求も強いものがある。

こうした要求を満たす符号化方式の一つとして、高精細画像を小さい単位に分割して処理でき、高圧縮率でも高画質な画像を復号可能なＪＰＥＧ２０００がある。ＪＰＥＧ２０００においては、画像を重複しない矩形領域(タイル)に分割し、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となる。

このように画像を重複しないタイルに分割し、タイル毎に処理を行う方法は、省メモリ化・高速化に有効な手法であるが、圧縮率の高い符号データ（コードストリーム）を伸長した画像において、タイルの境界が不連続となるという問題がある。

このタイル境界歪みは、見かけ上、離散コサイン変換（ＤＣＴ）におけるブロック歪みに類似したものである。このＤＣＴのブロック歪みの除去に関しては、従来、（ａ）ブロック分割された画像のDCT成分からブロック境界を抽出し、ブロック境界に垂直な一次元ローパスフィルタをかける方法（特許文献１参照）、（ｂ）ブロック境界の方向とエッジの方向との関係からブロック歪みがあるか否かを判定し、ブロック歪みがある画素に対してローパスフィルタをかける方法（特許文献２参照）、（ｃ）ブロック歪みを検出し、検出されたブロック歪みに対しローパスフィルタをかける方法（特許文献３参照）などが知られている。

これらはいずれも、ブロック境界の方向とエッジ度に応じて画素値に適応的なローパスフィルタをかけることにより、ブロック境界の歪みは平滑化しつつも、ブロック境界に位置する真のエッジへの平滑化は避けることを意図している。しかし、こうしたローパスフィルタ的手法は、それがいかに適応的であっても、「歪み自体の平滑化(予定した作用)と、真のエッジの平滑化(予定しない副作用)」のトレードオフに悩まされることになる。

一方、本出願人は、ウェーブレット変換を用いる圧縮伸長システムにおいて、ウェーブレット係数空間でタイル境界歪みを抑制する方法を提案している（特許文献４参照）。

特開平05-316361号公報 特許第2839987号公報 特開平09-307855号公報 特開2001−257596号公報

本発明の目的は、ＪＰＥＧ２０００の符号データのような、画像が重複しないタイルを単位として周波数変換された符号データのタイル境界歪み抑制のための処理を、その復号処理過程において周波数係数空間上で効率的に行う新規な画像処理装置及び方法を提供することにある。

請求項１の発明は、画像が重複しないタイルに分割されタイル単位でウェーブレット変換された符号データを復号する画像処理装置であって、
符号データの復号処理過程における、第１、第２のタイル間のタイル境界に隣接した前記第１のタイルに属する高周波係数、及び、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す係数補正手段を有し、
前記係数補正手段は、前記タイル境界に隣接した前記第１のタイルに属する高周波係数を常に補正の対象とし、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の属するサブバンドの量子化ステップ数に応じて適応的に補正の対象から除外することを特徴とする画像処理装置である。

請求項３の発明は、請求項２の発明による画像処理装置であって、前記係数補正手段が、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の属するサブバンドの量子化ステップ数が所定値以下のときにタイル境界歪み抑制のための補正の対象から除外することを特徴とする画像処理装置である。

請求項３の発明は、画像が重複しないタイルに分割されタイル単位でウェーブレット変換された符号データを復号する画像処理装置であって、
符号データの復号処理過程における、第１、第２のタイル間のタイル境界に隣接した前記第１のタイルに属する高周波係数、及び、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す係数補正手段を有し、
前記係数補正手段は、前記タイル境界に隣接した前記第１のタイルに属する高周波係数を常に補正の対象とし、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の値及び当該高周波係数の属するサブバンドの量子化ステップ数に応じて適応的に補正の対象から除外することを特徴とする画像処理装置である。

請求項４の発明は、請求項３の発明による画像処理装置であって、前記係数補正手段が、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の値が０であるとき及び当該高周波係数の属するサブバンドの量子化ステップ数が所定値以下のときに補正の対象から除外することを特徴とする画像処理装置である。

請求項５の発明は、画像が重複しないタイルに分割されタイル単位でウェーブレット変換された符号データを復号する画像処理装置であって、
符号データの復号処理過程における、第１、第２のタイル間のタイル境界に隣接した前記第１のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す第１の補正モードと、前記タイル境界に隣接した前記第１のタイルに属する高周波係数、及び、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す第２の補正モードを有する係数補正手段と、
前記係数補正手段に対し前記第１の補正モード又は前記第２の補正モードを指定する補正モード指定手段と、
を有し、
前記係数補正手段は、前記第２の補正モードにおいて、前記タイル境界に隣接した前記第１のタイルに属する高周波係数を常に補正の対象とし、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の属するサブバンドの量子化ステップ数に応じて適応的に補正の対象から除外することを特徴とする画像処理装置である。

請求項６の発明は、画像が重複しないタイルに分割されタイル単位でウェーブレット変換された符号データを復号する画像処理装置であって、
符号データの復号処理過程における、第１、第２のタイル間のタイル境界に隣接した前記第１のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す第１の補正モードと、前記タイル境界に隣接した前記第１のタイルに属する高周波係数、及び、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す第２の補正モードを有する係数補正手段と、
前記係数補正手段に対し前記第１の補正モード又は前記第２の補正モードを指定する補正モード指定手段と、
を有し、
前記係数補正手段は、前記第２の補正モードにおいて、前記タイル境界に隣接した前記第１のタイルに属する高周波係数を常に補正の対象とし、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の値及び当該高周波係数の属するサブバンドの量子化ステップ数に応じて適応的に補正の対象から除外することを特徴とする画像処理装置である。

請求項７の発明は、請求項１乃至６のいずれか１項の発明による画像処理装置であって、符号データはＪＰＥＧ２０００の符号データであることを特徴とする画像処理装置である。

請求項８の発明は、ＪＰＥＧ２０００の符号データの復号処理過程における、第１、第２のタイル間のタイル境界に隣接した前記第１のタイルに属する高周波係数、及び、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す係数補正工程を含み、
前記係数補正工程において、前記タイル境界に隣接した前記第１のタイルに属する高周波係数を常に補正の対象とし、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の値及び当該高周波係数の属するサブバンドの量子化ステップ数に応じて適応的に補正の対象から除外することを特徴とする画像処理方法である。

請求項９の発明は、請求項１乃至７のいずれか１項に記載の画像処理装置の少なくとも係数補正手段としてコンピュータを機能させるプログラムである。

請求項１０の発明は、請求項１乃至７のいずれか１項に記載の画像処理装置の少なくとも係数補正手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

実施の形態に関連して詳細に説明するように、本発明の画像処理装置及び方法によれば、ＪＰＥＧ２０００の符号データのような、タイル単位で周波数変換された符号データの復号処理過程において、周波数係数空間上での効率的な係数補正処理によってタイル境界歪みを抑制することができ、また、タイル境界歪み抑制の程度やタイル境界歪み抑制のための処理を含めた復号処理の速度をユーザ側で制御することができる。また、本発明に係るプログラム及び情報記録媒体によれば、本発明に係る画像処理装置をコンピュータを利用し容易に実現することができる。

図１は、本発明の実施の形態を説明するためのブロック図である。ここに示す画像処理装置は、ＪＰＥＧ２０００のコードストリーム（符号データ）を復号して画像データを生成する復号化機能と、画像データをＪＰＥＧ２０００のアルゴリズムにより符号化してコードストリームを生成する符号化機能の両方を有するが、符号化機能は必ずしも備えなくともよい。この画像処理装置の特徴は、符号データの復号処理過程において、タイル境界歪み抑制のための係数補正の機能を備えることである。

図１において、色変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、符号形成・タグ処理部１０５は、符号化機能及び復号化機能のための基本的構成要素である。すなわち、これらの要素は符号化処理手段及び復号化処理手段である。

係数補正部１１０は、復号処理時に、復号化処理手段に含まれる、ウェーブレット順変換及び逆変換の手段である２次元ウェーブレット変換・逆変換部１０２と協動して、ウェーブレット係数空間上でタイル境界歪み抑制のための係数補正を行う手段である。この係数補正部１１０は、タイル境界に隣接しない（タイル境界に直接接しない）タイル境界近傍の高周波係数を補正の対象にするか否かを、同係数の値や量子化ステップ数などに応じて適応的に制御するための補正制御手段１１１を含むことができる。このような適応的な制御を行わない実施の形態では、補正制御手段１１１を省くことができる。

また、この画像処理装置は、補正モード指定部１２０を含むことができる。この補正モード指定部１２０は、係数補正部１１０に対し係数補正処理に関する動作モード（補正モード）をユーザが指定するための手段である。この補正モード指定部１２０は、ユーザにより補正モードを指定可能な実施の形態においてのみ必要なもであり、その指定を行わない実施の形態では省くことができる。

この画像処理装置における符号化処理動作は次の通りである。例えばＲ，Ｇ，Ｂの３コンポーネントからなるカラー画像の場合、各コンポーネントのデータは重複しない矩形のタイルに分割される（これをタイリングと呼ぶ）。分割されたタイルを単位として符号化処理が実行される。

各タイルの各コンポーネントのデータは、まず、色変換・逆変換部１０１によりＹ，Ｃｂ，Ｃｒ（又はＹ，Ｕ，Ｖ）のコンポーネントへの色空間変換を施される。次に、各コンポーネントはタイル単位で２次元ウェーブレット変換・逆変換部１０２により２次元ウェーブレット変換(順変換)が適用されて周波数帯域（サブバンド）に空間分割される。

ウェーブレット係数は、サブバンド毎に、必要に応じて量子化・逆量子化部１０３によって線形量子化された後、エントロピー符号化・復号化部１０４でエントロピー符号化される。ウェーブレット変換係数をそのまま符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるため、通常、係数値を「ビットプレーン」単位に分解して符号化する（より詳細にはビットプレーンは３つのサブビットプレーンに分割されて符号化される）。この符号化では、指定された符号化の順番に従って符号化の対象となるビットが定められ、量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成され、このコンテキストと対象ビットから確率推定によって符号が決定される。そして、符号形成・タグ処理部１０５で、不要な符号を破棄し、必要な符号をまとめてパケットを生成し、パケットを所定の順序に並べるとともに必要なタグ又はタグ情報を挿入することにより、所定のフォーマットのコードストリームを形成し出力する。

ここまでの説明から理解されるように、ＪＰＥＧ２０００のコードストリームは、画像が重複しないタイルを単位として周波数変換（２次元ウェーブレット変換）された符号データの一種である。

次に復号化処理動作の流れについて説明する。符号形成・タグ処理部１０５で、外部より入力したコードストリームに付加されたタグ情報が解釈され、コードストリームは各コンポーネントの各タイルのコードストリームに分解される。そして、分解された各コンポーネントの各タイルのコードストリーム毎に復号化の処理が行われる。

コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストとコードストリームとから確率推定によって対象ビットが生成され、それが対象ビットの位置に書き込まれる。

このようにして復号されたウェーブレット変換係数は、量子化・逆量子化部１０３で必要な逆量子化を施された後、２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換が適用されることにより、各タイルの各コンポーネントの画像データが復元される。この２次元ウェーブレット逆変換の段階で係数補正部１１０によりタイル境界歪み抑制のための係数補正が行われるが、これについては後述する。復元された画像データは色変換・逆変換部１０１によって元の表色系のデータに戻される。

図１に示したような本発明に係る画像処理装置は、独立した装置として実現される形態と、パソコンなどの汎用コンピュータ、デジタルカメラ、携帯電話機、携帯情報端末、医療用画像処理装置、インターネット上のウェブサーバやＬＡＮ上のファイルサーバのようなネットワーク機器、画像データ又はその符号データを扱う各種機器の組み込み装置として実現される形態のいずれもとり得るものであり、また、ハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせにより実現し得るものである。

パソコンなどの汎用コンピュータやマイクロコンピュータなどのコンピュータ上でプログラムにより本発明の動画像処理装置を実現する場合について、図２により簡単に説明する。

図２において、２０１は中央演算処理ユニット（ＣＰＵ）、２０２は実行プログラムやデータなどを一時的に記憶するためのメインメモリ、２０３はプログラムやデータを蓄積するためのハードディスク装置などの補助記憶装置、２０４は画像等の表示のためのモニタ装置、２０５はＰＥＧ２０００準拠のコーデック（エンコーダ・デコーダ）であり、以上の各部はバス２０６に接続されている。ただし、コーデック２０５は必須ではない。

このようなコンピュータを、図１に示す各部１０１〜１１０として機能させるためのプログラムは、例えば補助記憶装置２０３よりメインメモリ２０２にロードされ、ＣＰＵ２０１でその命令の解釈・実行を行うことより各部１０１〜１１０，１２０の機能が実現される。なお、コーデック２０５が備えられているコンピュータでは、係数補正部１１０及び補正モード指定部１２０以外の要素１０１〜１０５としてコーデック２０５の持つ対応機能を利用し、補正モード指定部１２０及び係数補正部１１０の機能並びに係数補正に関連したウェーブレット順変換及び逆変換の制御を行う機能だけをプログラムにより実現することもできる。

処理の流れは次の通りである。処理対象となる画像データ又は符号データは、例えば補助記憶装置２０３からメインメモリ２０２に読み込まれて符号化処理又は復号化処理を施される。復号化処理の場合には、その処理過程でタイル境界歪み抑制のための係数の補正が行われ、メインメモリ２０２上に復元された画像データは例えばモニタ装置２０４に画面表示される。符号化処理の場合には、メインメモリ２０２上に符号データが生成され、これは例えば補助記憶装置２０３に保存される。

このような本発明に係る画像処理装置の構成要素（少なくとも係数補正部１１０）をコンピュータ上で実現するためのプログラム（アプリケーションプログラム、デバイスドライバなど）、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などのコンピュータが読み取り可能な各種情報記録（記憶）媒体も本発明に含まれる。

次に、係数補正部１１０によるウェーブレット係数空間上でのタイル境界歪み抑制のための係数補正の原理について説明するが、その説明にはウェーブレット変換の理解が必要である。

図３〜図８は、16×16画素のモノクロ画像に対して、５×３変換と呼ばれるウェーブレット変換を２次元に(垂直方向および水平方向の順)施す過程の説明図である。

図３の様に画像のＸＹ座標をとり、Ｘ座標のあるｘについて、Ｙ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。ＪＰＥＧ２０００では、まず垂直方向（Ｙ座標方向）に、Ｙ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得た後、Ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのｘについて行う)。ここでハイパスフィルタは式（１）、ローパスフィルタは式（２）で表される。式中の記号|_ｘ_|は、ｘのフロア関数（実数ｘを、ｘを越えず、かつ、ｘに最も近い整数に置換する関数）を示している。

C(2i+1)=P(2i+1)−|_(P(2i)+P(2i+2))/2_| 式(1)
C(2i)=P(2i)+|_(C(2i-1)+C(2i+1)+2)/4_| 式(2)。

画像の端部（又はタイルの境界部）では、中心となる画素に対して隣接画素群（又は隣接係数群）が存在しないことがある。この場合、図８に示した「ミラリング」と呼ばれる手法によって適宜画素値（又は係数値）が補われる。ミラリングは、文字通り、画像の端（又はタイル境界）を中心として画素値（又は係数値）を線対称に折り返し、折り返した値を隣接画素（係数）群の値とみなす処理である。このミラリングが、タイル境界歪みの主因である。

ここで、簡単のため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬと表記すれば、前記垂直方向の変換によって図３の画像は図４のようなＬ係数とＨ係数の配列へと変換される。

続いて、図４の係数配列に対して、水平方向に、Ｘ座標が奇数（x=2i+1）の係数を中心にハイパスフィルタを施し、次にＸ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す(これを全てのｙについて行う）。この場合、式（１），式（２）のP(2i)等は係数値を表すものと読み替える。

簡単のため、
前記Ｌ係数を中心にローパスフィルタを施して得られる係数をLL、
前記Ｌ係数を中心にハイパスフィルタを施して得られる係数をHL、

前記Ｈ係数を中心にローパスフィルタを施して得られる係数をLH、
前記Ｈ係数を中心にハイパスフィルタを施して得られる係数をHH、
と表記すれば、図４の係数配列は図５の様な係数配列へと変換される。ここで、同一の記号を付した係数群はサブバンドと呼ばれる。図５の場合は４つのサブバンドの係数からなる。

以上で、１回の２次元ウェーブレット変換（１回のデコンポジション（分解））が終了し、LL係数だけを集めると（図６の様に係数をサブバンド毎に集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の“画像”が得られる（このように、サブバンド毎に係数を分類することをデインターリーブと呼び、これに対し図５のような状態に係数を配置することをインターリーブすると呼ぶ）。

２回目のウェーブレット変換は、LLサブバンドを原画像と見なして、上に述べたと同様に行われる。そして得られたサブバンド係数をデインターリーブすると、図７に示す様な係数配列となる（図６、図７中の係数の接頭の１や２は、その係数が何回のウェーブレット変換で得られたかを示し、デコンポジションレベルと呼ばれる）。

このようにウェーブレット変換は、低周波係数に対し変換を再帰的に繰り返す階層的な周波数変換の一種である。そして、ＬＬサブバンド係数は低周波係数であり、ＬＨ，ＨＬ，ＨＨサブバンドの係数が高周波係数である。また、デコンポジションレベルは階層レベルに相当する。

以上は順変換であるが、２次元ウェーブレット逆変換は丁度逆の処理となる。すなわち、図５の様なインターリーブされた係数の配列に対して、まず水平方向に、Ｘ座標が偶数（ｘ=2i）の係数を中心に逆ローパスフィルタを施し、次にＸ座標が奇数（ｘ=2i+1）の係数を中心に逆ハイパスフィルタを施す（これを全てのｙについて行う）。ここで、逆ローパスフィルタは式（３）、逆ハイパスフィルタは式（４）で表される。この際も、画像の端部（又はタイル境界部）においては中心となる係数に対して隣接係数群が存在しないことがあり、この場合も図８のミラリングによって適宜係数値を補うことになる。

P(2i)=C(2i)−|_(C(2i-1)+C(2i+1)+2)/4_| 式(３)
P(2i+1)=C(2i+1)＋|_(P(2i)+P(2i+2))/2_| 式(４)。

このようにして図５の係数配列は図４のような係数配列に変換（逆変換）される。続いて、垂直方向に、Ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次にＹ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施せば（これを全てのｘについて行う）、１回の２次元ウェーブレット逆変換が終了し、図３の画像に戻る(再構成される)ことになる。ウェーブレット変換が複数回施されている場合は、図３をLLサブバンドとみなし、HL等の他のサブバンド係数を利用して同様の逆変換を繰り返せばよい。

このような５×３変換が用いられたＪＰＥＧ２０００の符号データを例に、その復号処理過程における周波数係数空間（ウェーブレット係数空間）でのタイル境界歪み抑制のための係数補正の原理について説明する。以下の説明中、ハイパス係数は高周波係数に、ローパス係数は低周波係数に相当する。

画像復元では、失われた情報を復元するために、ある経験的な拘束条件を採用し、その条件に基づいて復元すべき解を算出する。前記特許文献４の方法では、
「タイル境界が生じるのは圧縮率が高い場合であり、タイリングの有無に関わらず、全てのハイパス係数は０に量子化される」（近似１）、
「タイリングした場合のローパス係数はタイリングしない場合のローパス係数に等しい」（近似２）
という２つの近似を採用し、
「(０に量子化されたが)補正されたハイパス係数を用いて逆ウェーブレット変換をした場合の、タイル境界の画素値＝ハイパス係数が０の場合の、タイリングをせずに逆ウェーブレット変換をした場合の同じ位置の画素値」
という式から、ハイパス係数の補正値を算出している（０に量子化されたハイパス係数に対し、０でない補正値を算出する過程は画像復元である）。

５×３変換の場合について、このような係数補正のための補正式を導出する。図３〜図８を参照して説明したように、５x３変換の逆変換では、L,H,L,Hの順にインターリーブした係数列に対し、
偶数位置中心に逆ローパスフィルタを、
奇数位置中心に逆ハイパスフィルタを、
をかける。

前記式（１）〜（４）を、そのフロア関数を省略して展開すれば明らかなように、順変換と逆変換とではフィルタのタップ数は逆転し、またフィルタ係数もインターリーブされる。このため、順変換のフィルタ係数が
HIGH
-0.5，1，-0.5
LOW -0.125，0.25，0.75，0.25，-0.125
の場合、逆変換のフィルタ係数は
LOW -0.25，1，-0.25
HIGH -0.125，0.5，0.75，0.5，-0.125
となる（ここでは、フロア関数部分を考慮せずにフィルタ係数を表現している）。

「タイリングしない場合で、かつ、ハイパス係数が全て０のとき(近似１)」、インターリーブされた係数列
L1 H1 L2 H2 L3 H3
において、H2位置中心に逆ハイパスフィルタをかけた値は、
-0.125H1+0.5L2+0.75H2+0.5L3-0.125H3=0.5L2+0.5L3‥‥式(i)
となる。

一方、上記係数が、２つのタイルに分割されてから算出されたものであり、タイル境界はH2とL3の間にあるとする。この場合、L1,H1,L2,H2は左側（又は上側）のタイルの係数、L3,H3は右側（又は下側）のタイルの係数になる。ここで、H2は順変換（３タップのハイパスフィルタ）時にミラリングの影響を受けており、補正の対象となる係数である。タイリングは、各タイル内の画素だけを用いてウェーブレット変換を行う処理、あるいは各タイル内の係数だけを用いて逆ウェーブレット変換を行う処理であるため、上記ミラリングによって左タイル（又は上タイル）の係数
L1 H1 L2 H2
を右タイル（又は下タイル）に補った場合
L1 H1 L2 H2 L2 H1
となる。

よって、H2位置中心に逆ハイパスフィルタをかけた値は、
-0.125H1+0.5L2+0.75H2+0.5L2-0.125H1=-0.25H1+L2+0.75H2‥‥式(ii)
となる。

補正では式(i)＝式(ii)を狙うため、次式
H2=1/3H1-2/3L2+2/3L3‥‥式(iii)
を得る。これがタイル境界に隣接し、正変換時にミラリングの影響を受けたハイパス係数の補正式である。ただし、補正値の算出時にはタイリングした係数しか存在しないため、L2は左（上）タイルの係数、L3は右（下）タイルの係数を使用する(近似２)。

タイル境界に隣接するローパス係数（L3）に関しても同様な立式が可能であり、その結果、タイル境界に隣接しない境界近傍のハイパス係数H３の補正式として
H3＝０‥‥式（iv）
を得ることができる。ただし、デコンポジションレベル１の場合、H3はミラリングの誤差を含まないため補正不要である（デコンポジションレベル２以上の場合は、H3に隣接するL3自体がデコンポジションレベル１でミラリングの影響を受けているため補正が必要である）。

以上は５×３ウェーブレット変換の場合である。ＪＰＥＧ２０００では９×７変換と呼ばれるウェーブレット変換も規定されている。この９×７ウェーブレット変換の場合も、同様な考え方で補正式を導出できる。すなわち、インターリーブされた係数列
H0 L1 H1 L2 H2 L3 H3 L4 H4
において、H2とL3の間がタイル境界である場合、
H2=(-0.0535H0+0.15644H1+0.09127L1-0.59127L2+0.59127L3-0.09127L4)/0.60295
‥‥式（v）
H3=(0.05754L2-0.05754L4+0.03372H4)/0.53372‥‥式（vi）
が得られる。９×７変換の場合には、デコンポジションレベル１でもH3係数は補正対象である。

ここまでの説明から理解されるように、タイル境界に隣接するハイパス係数H2を、５×３変換の場合には式(iii)により、９×７変換の場合には式(v)によりそれぞれ補正し、タイル境界に隣接しないタイル境界近傍のハイパス係数H3を、５×３変換の場合には式(iv)により、９×７変換の場合には式(vi)によりそれぞれ補正することにより、タイル境界歪みを抑制することができる。このようなタイル境界に隣接するハイパス係数、及び、タイル境界に隣接しないタイル境界近傍のハイパス係数に対する補正は、要するに、タイル境界に隣接する係数を中心としたウェーブレット逆変換により得られる係数の値を、タイリングしない場合のローパスのみを用いたウェーブレット逆変換により得られる係数の値に近づけようとするものである。

図９に、３×３にタイリングした場合において、以上に述べた補正の対象となるハイパス係数（H2,H3）の位置関係を模式的に示す。ＪＰＥＧ２０００では符号化時に垂直方向にウェーブレット順変換が、次に水平方向にウェーブレット順変換が適用されるため、タイル境界歪み抑制のための係数補正は、まず水平方向のタイル境界に関して行い、次に水平方向のウェーブレット逆変換を行ってから垂直方向のタイル境界に関して行うが、この様子をやや詳しく示した図が図１０及び図１１である。

以上、タイル境界歪み抑制のための係数補正の原理について説明した。しかし、本発明に係る画像処理装置において、係数補正部１１０は、タイル境界に隣接しない境界近傍のハイパス係数（H3）に関しては、処理効率の向上を図るため、必ずしも原理通りの補正を行うわけではない。すなわち、図１０及び図１１に付記したように、タイル境界に隣接するハイパス係数(H2)は、タイル境界歪みの発生に大きな影響を与えるため常に係数補正部１１０で補正される。一方、タイル境界歪みの発生にさほど大きな影響を与えないタイル境界に隣接しないタイル境界近傍のハイパス係数(H3)に対しては、補正の対象から除外されるか、あるいは、その係数値、その量子化ステップ数、又は、その係数値及びその量子化ステップ数に応じて適応的に補正の対象から除外される。

ここに示す実施例においては、係数補正部１１０は、タイル境界に隣接するハイパス係数(H2)のみを対象として補正処理を行う。すなわち、タイル境界に隣接しないタイル境界近傍のハイパス係数(H3)は常に補正の対象から除外される。したがって、本実施例に係る係数補正部１１０は補正制御手段１１１を備える必要はない。

５×３変換の場合、ハイパス係数(H3)の補正は一律に値を０にするだけであるから、この補正自体は比較的短時間に行うことができる。しかし、係数を補正したときには必ずクリッピング処理も行う必要がある。つまり、係数補正の処理にはクリッピング処理も含まれる。このクリッピング処理の時間を含めると、ハイパス係数(H3)の補正のための処理時間はタイル境界に隣接するハイパス係数(H2)の補正処理時間と大きな差はない。したがって、ハイパス係数(H3)を補正対象から除外することは、それを補正対象に含めた場合に比べ、係数補正のための処理時間を略半減し、タイル境界歪み抑制のための係数補正処理を含めた復号処理全体の高速化に大きく寄与する。

なお、ハイパス係数(H3)の補正を行わないため、その補正を行った場合に比べタイル境界歪み抑制の効果は一般に低下する。しかし、ハイパス係数(H3)はタイル境界に隣接するハイパス係数(H2)に比べタイル境界歪みの発生にそれほど大きな影響を及ぼさないため、ハイパス係数(H3)の補正を省略する影響は小さく、特に圧縮率の小さい符号データを処理する場合には、その影響は極めて軽微である。

図１２は、量子化ステップ数（Ｑ）が小さい場合のハイパス係数(H3)の補正前の値、補正後の値及びクリップ値との関係の説明図である。一般に圧縮率が小さいときには量子化ステップ数が小さい。よって、図１２は圧縮率が小さい場合の説明図でもある。

図示のように、符号化時の量子化前の係数(H3)の値（図中の原信号）が2Qと3Qの間にあるとき、この係数の復号化時に逆量子化された値（補正前の係数値）は、2Q+(3/8)Qとなる（ＪＰＥＧ２０００に規定されたリコンストラクションパラメータを3/8とした場合）。５×３ウェーブレット変換の場合、この係数を補正したとすると、その補正値は一律に０になる。この補正値は、クリッピング処理により、元の係数値が含まれていた量子化区間［２Ｑ〜３Ｑ］の近い側の端に対応するクリップ値に戻される。９×７ウェーブレット変換の場合においても、補正値は０又は０に近い値となるため同様に考えることが可能である。

符号データの圧縮率が小さく、量子化ステップ数Ｑが十分に小さい場合には、係数(H3)の補正前の値とクリップ値との差［(3/8)Q］は十分に小さい。すなわち、係数(H3)の補正を行った場合との差違はわずかであり、したがって、係数(H3)の補正を行わないことによる影響は小さい。

図１５は、本実施例における２次元ウェーブレット変換・逆変換部１０２及び係数補正部１１０による処理を説明するためのフローチャートである。この処理は、量子化・逆量子化部１０３による逆量子化が終わった後に、最も上位のデコンポジションレベル（階層）から下位のデコンポジションレベルへと順に実行される。

係数補正部１１０において、現在のデコンポジションレベルに関し、まず水平方向のタイル境界に隣接するハイパス係数(H2)の補正処理（クリッピング処理を含む）が行われる（ｓｔｅｐ１０１）。５×３ウェーブレット変換の場合には補正式として式(iii)が、９×７ウェーブレット変換の場合には補正式として式(v)が用いられることは前述した通りである。

２次元ウェーブレット変換・逆変換部１０２により、水平方向のウェーブレット逆変換が行われる（ｓｔｅｐ１０２）。この水平方向逆変換後の係数に対し、係数補正部１１０で垂直方向のタイル境界に隣接するハイパス係数(H2)の補正が行われる（ｓｔｅｐ１０３）。この中間的な係数に対する量子化ステップ数は分からないためクリッピング処理を行うことができない。したがって、２次元ウェーブレット変換・逆変換部１０２で水平方向のウェーブレット順変換を行った後、係数補正部１１０で垂直方向のタイル境界に隣接するハイパス係数(H2)に対するクリッピング処理を行う（ｓｔｅｐ１０４，ｓｔｅｐ１０５）。

次に、２次元ウェーブレット変換・逆変換部１０２により、水平方向及び垂直方向のウェーブレット逆変換が順に行われ（ｓｔｅｐ１０６）、１つ下のデコンポジションレベルのＬＬサブバンド係数が生成される。そして、このデコンポジションレベルの係数について、ｓｔｅｐ１０１〜ｓｔｅｐ１０６の処理が繰り返される。

デコンポジションレベル１まで同様の処理が行われて画像データが復元されると（ｓｔｅｐ１０８，ＮＯ）、処理は終了する。

図１６〜図２３を参照し、２×２にタイリングされた符号データを例に、デコンポジションレベル２，１の係数に対する係数補正処理の内容をより具体的に説明する。

図１６は、デコンポジションレベル２のインターリーブされた係数配列を示す。まず、水平方向のタイル境界に隣接するハイパス係数(H2)、すなわち図１７に示す列Ａの係数(2HL,2HH)の補正（クリッピング処理を含む）を行う。タイル境界近傍のハイパス係数(H3)、すなわち図１７に示す列Ｂの係数は本実施例では補正対象外である。

次に、デコンポジションレベル２のウェーブレット係数に対し水平方向のウェーブレット逆変換が行われる。図１８は、この水平方向の逆変換後の係数配列を示す。

次に、垂直方向のタイル境界に隣接するハイパス係数、すなわち図１９に示す行Ｃの係数(2H)を補正する。タイル境界近傍の係数である行Ｄの係数は補正対象外である。

水平方向のウェーブレット順変換を行い、図１６に示す係数状態に戻してから行Ｃ（図１９参照）に対応する係数（2LH,2HH）のクリッピング処理を行う。

次に、水平方向のウェーブレット逆変換と垂直方向のウェーブレット逆変換を順に行い、図２０に示すデコンポジションレベル１の係数を得る。

次に、図２１のようにインターリーブした係数に対し、図２２に示す列Ｅの係数（HL,HH）の補正とクリッピング処理を行い、水平方向のウェーブレット逆変換を行う。この逆変換後の図２３に示す係数配列中の行Ｇの係数を補正する。次に、水平方向のウェーブレット順変換を行い、図２１に示す係数状態に戻し、行Ｇ（図２３参照）に対応する係数のクリッピング処理を行う。最後に、水平方向及び垂直方向のウェーブレット逆変換が順に行われ、画像データが生成される。

図１２に関連して既に説明したように、符号データの圧縮率が小さい場合には、一般に量子化ステップ数が小さいため、タイル境界に隣接しないタイル境界近傍のハイパス係数(H3)は、補正前の値とクリップ値の差は小さく、したがって補正を行わなくとも画質への影響は小さい。しかし、量子化ステップ数はサブバンド毎に異なるのが通常であるので、全体として圧縮率の小さい符号データの場合であっても、特定のサブバンドの量子化ステップ数が大きいこともあり得る。ハイパス係数(H3)に対する量子化ステップ数が予期したより大きい場合には、その補正を行わないとタイル境界歪みが目立つおそれがある。

このような不都合を避けつつ係数補正処理の効率を向上させるため、ここに述べる実施例においては、タイル境界に隣接しないタイル境界近傍のハイパス係数(H3)に対する量子化ステップ数は、所定の閾値ｔｈを越えるときには補正の対象とされるが、閾値ｔｈ以下のときには補正対象から除外される。すなわち、本実施例においては、タイル境界に隣接しないタイル境界近傍のハイパス係数(H3)を補正の対象とするか否かを、当該係数に対する量子化ステップ数に応じて適応的に制御する。この制御は、係数補正部１１０内の補正制御手段１１１により行われる。

図２４は、本実施例における２次元ウェーブレット変換・逆変換部１０２及び係数補正部１１０による処理を説明するためのフローチャートである。この処理は、量子化・逆量子化部１０３による逆量子化が終わった後に、最も上位のデコンポジションレベル（階層）から実行される。

まず、補正制御手段１１１において、現在のデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドのそれぞれについて、量子化ステップ数と予め設定した閾値との比較判定を行い、その結果により各サブバンドに対応したフラグを設定する（ｓｔｅｐ１２１）。ここでは、量子化ステップ数が閾値を超えたサブバンドのフラグのみオン状態に設定するものとする。

係数補正部１１０において、水平方向のタイル境界に隣接するハイパス係数(H2)及びタイル境界に隣接しないタイル境界近傍のハイパス係数(H3)の補正（クリッピング処理を含む）が行われる（ｓｔｅｐ１２２）。この際、補正制御手段１１１は、ｓｔｅｐ１２１で設定されたフラグを参照し、ハイパス係数(H3)に対応するフラグがオン状態ならば同係数を補正対象として選択するが（同係数は補正される）、そのフラグがオフ状態ならば補正対象から除外する（同係数は補正されない）。なお、ハイパス係数(H3)の補正式として、５×３変換の場合は式(iv)が、９×７変換の場合は式(vi)が用いられることは前述した通りである。

２次元ウェーブレット変換・逆変換部１０２により、水平方向のウェーブレット逆変換が行われる（ｓｔｅｐ１２３）。

この水平方向逆変換後の係数に対し、係数補正部１１０において垂直方向のタイル境界に隣接するハイパス係数(H2)及びタイル境界近傍のハイパス係数(H3)の補正（クリッピング処理を含まない）が行われる（ｓｔｅｐ１２４）。この際、補正制御手段１１１は、ｓｔｅｐ１２１で設定されたフラグを参照し、ハイパス係数(H3)に対応するフラグがオン状態ならば同係数を補正対象として選択し、そのフラグがオフ状態ならば補正対象から除外する。

次に、２次元ウェーブレット変換・逆変換部１０２で水平方向のウェーブレット順変換が行われ（ｓｔｅｐ１２５）、係数補正部１１０でｓｔｅｐ１２４で補正された係数(H2,H3)に対するクリッピング処理が行われる（ｓｔｅｐ１２６）。

次に、２次元ウェーブレット変換・逆変換部１０２により、水平方向及び垂直方向のウェーブレット逆変換が順に行われ（ｓｔｅｐ１２７）、１つ下のデコンポジションレベルのＬＬサブバンド係数が生成される。そして、このデコンポジションレベルの係数について、ｓｔｅｐ１２１〜ｓｔｅｐ１２７の処理が繰り返される。デコンポジションレベル１まで同様の処理が行われて画像データが復元されると（ｓｔｅｐ１２８，ＮＯ）、処理は終了する。

なお、５×３変換が用いられた符号データの場合、デコンポジションレベル１の処理において、ｓｔｅｐ１２１で全てのサブバンドのフラグはオフ状態に設定される。したがって、ｓｔｅｐ１２２及びｓｔｅｐ１２４において全てのハイパス係数(H3)は補正対象から除外される。

図１３に示すように、符号化時の量子化前の係数（原信号）が０とＱの間にあるとき（Ｑは量子化ステップ数）、この係数は復号化時に０に逆量子化される。圧縮率が大きく量子化ステップ数が大きい場合には、このように０に逆量子化される係数がほとんどである。５×３ウェーブレット変換の場合、タイル境界近傍のハイパス係数(H3)の逆量子化された値つまり補正前の値が０であると、それを補正した値も０となり、そのクリップ値も０となる。つまり、補正を行っても行わなくとも結果は同じとなる。９×７ウェーブレット変換の場合においても、このような係数の値及びその補正値は０又は０に近い値をとり、そのクリップ値は０となることが多い。

このように、タイル境界近傍のハイパス係数(H3)の補正前の値が０の場合は、補正を行いクリッピングした値と補正前の値との差は０であるか、０に近い小さな値になるため、補正を行う必要性がない。これに鑑み、ここに示す実施例においては、係数補正部１１０の補正制御手段１１１で、タイル境界近傍のハイパス係数(H3)について、その補正前の値が０であるか否かを調べ、０であるならばその係数を補正対象から除外する制御を行う。すなわち、ハイパス係数(H3)を、その係数値に応じて適応的に補正対象から除外する制御を行うことにより、タイル境界歪みの抑制効果の低下を避けつつ係数補正処理の効率を向上させるわけである。

図２５は、本実施例における２次元ウェーブレット変換・逆変換部１０２及び係数補正部１１０の処理例を説明するためのフローチャートである。この処理は、量子化・逆量子化部１０３による逆量子化が終わった後に、最も上位のデコンポジションレベル（階層）から開始する。

まず、補正制御手段１１１において、現在のデコンポジションレベルの水平方向及び垂直方向のタイル境界近傍のハイパス係数(H3)それぞれについて０判定を行い、係数対応のフラグを設定する（ｓｔｅｐ１３１）。ここでは、係数値（補正前の値）が０でない係数のフラグのみオン状態に設定するものとする。

係数補正部１１０において、水平方向のタイル境界に隣接するハイパス係数(H2)及びタイル境界近傍のハイパス係数(H3)の補正（クリッピング処理を含む）が行われる（ｓｔｅｐ１３２）。この際、補正制御手段１１１は、ｓｔｅｐ１３１で設定されたフラグを参照し、フラグがオン状態のハイパス係数(H3)は補正対象とし、フラグがオフ状態のハイパス係数(H3)は補正対象から除外する制御を行う。

２次元ウェーブレット変換・逆変換部１０２により、水平方向のウェーブレット逆変換が行われる（ｓｔｅｐ１３３）。この水平方向逆変換後に、係数補正部１１０において垂直方向のタイル境界に隣接するハイパス係数(H2)及びタイル境界近傍のハイパス係数(H3)の補正が行われる（ｓｔｅｐ１３４）。この際、補正制御手段１１１により、ハイパス係数(H3)に関しｓｔｅｐ１３２と同様の制御が行われる。

次に、２次元ウェーブレット変換・逆変換部１０２で水平方向のウェーブレット順変換が行われ（ｓｔｅｐ１３５）、係数補正部１１０でｓｔｅｐ１３４で補正されたハイパス係数(H2，H3）に対するクリッピング処理が行われる（ｓｔｅｐ１３６）。

次に、２次元ウェーブレット変換・逆変換部１０２により、水平方向及び垂直方向のウェーブレット逆変換が順に行われ（ｓｔｅｐ１３７）、１つ下のデコンポジションレベルのＬＬサブバンド係数が生成される。そして、このデコンポジションレベルについて、ｓｔｅｐ１３１〜ｓｔｅｐ１３７の処理が繰り返される。デコンポジションレベル１まで同様の処理が行われて画像データが復元されると（ｓｔｅｐ１３８，ＮＯ）、処理は終了する。

５×３ウェーブレット変換が用いられた符号データの場合、デコンポジションレベル１の処理において、ｓｔｅｐ１３１で全てのタイル境界近傍のハイパス係数(H3)のフラグはオフ状態に設定される。したがって、ｓｔｅｐ１３２及びｓｔｅｐ１３４において全てのタイル境界近傍ハイパス係数(H3)は補正対象から除外される。

なお、ｓｔｅｐ１３１を省き、ｓｔｅｐ１３２の処理前の係数を保存しておき、ｓｔｅｐ１３２及びｓｔｅｐ１３４において、補正制御手段１１１で保存されているハイパス係数(H3)の０判定を行い、その結果によりハイパス係数(H3)を補正対象とするか否かの制御を行うことも可能である。かかる態様も本実施例に含まれる。

図１２に関連して説明したように、タイル境界近傍のハイパス係数(H3)に対する量子化ステップ数が小さい場合には、その補正を省略することが可能である。また、図１３に関連して説明したように、ハイパス係数(H3)の補正前の値が０の場合にも、その補正を省略することが可能である。

しかし、ハイパス係数(H3)の補正前の値が０でなく、かつ、その量子化ステップ数が大きい場合には、補正の必要性が高い。例えば、図１４に示すように、タイル境界近傍のハイパス係数(H3)の符号化時の量子化前の値（図の原信号）がＱと２Ｑの間にあると、このハイパス係数(H3)は、復号化時にQ+(3/8)Q
の位置に逆量子化される（リコンストラクションパラメータが3/8の場合）。５×３ウェーブレット変換の場合、この係数は０に補正され、次にクリッピングによりＱの位置に戻される。量子化ステップ数Ｑが小さいときには、係数の補正前の値とクリップ値の差(3/8)Qは小さいので、係数の補正を省略し得る。しかし、符号データの圧縮率が大きく、その量子化ステップ数Ｑが大きいと、補正前の値とクリップ値の差(3/8)Qはかなり大きな値となるため、補正を行わないとタイル境界歪みが目立ってしまう。以上は５×３ウェーブレット変換の場合として説明したが、９×７ウェーブレット変換の場合にも同様のことが言える。

以上に鑑み、ここに述べる実施例に係る係数補正部１１０において、その補正制御手段１１１は、タイル境界近傍のハイパス係数(H3)に関し、量子化ステップ数と予め定めて閾値との比較判定と、補正前の係数値（逆量子化後の値）の０判定とを行い、補正前の値が０であるとき、及び、量子化ステップ数が所定の閾値以下のときに、ハイパス係数(H3)を補正の対象から除外し、補正前の係数値が０でなく、かつ、量子化ステップ数が閾値を超えるときにハイパス係数(H3)を補正の対象とするように制御する。すなわち、ハイパス係数(H3)を補正の対象とするか否かを補正前の係数値及び量子化ステップ数に応じて適応的に制御することにより、タイル境界歪みの抑制効果の低下を避けつつ、係数補正処理の効率を向上させる。

図２６は、本実施例における２次元ウェーブレット変換・逆変換部１０２及び係数補正部１１０による処理を説明するためのフローチャートである。この処理は、量子化・逆量子化部１０３による逆量子化が終わった後に、最も上位のデコンポジションレベル（階層）から開始する。

まず、補正制御手段１１１において、現在のデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドのそれぞれについて、量子化ステップ数を予め設定した閾値と比較し、タイル境界に隣接しないタイル境界近傍のハイパス係数(H3)に対応するフラグのうち、量子化ステップ数が閾値以下のサブバンドに属するハイパス係数(H3)のフラグのみオン状態に設定する（ｓｔｅｐ１４１）。

次に、補正制御手段１１１において、水平方向及び垂直方向のタイル境界近傍のハイパス係数(H3)それぞれについて０判定を行い、値が０のハイパス係数(H3)のフラグをオン状態に設定する（ｓｔｅｐ１４２）。

次に係数補正部１１０において、水平方向のタイル境界に隣接するハイパス係数(H2)及びタイル境界近傍のハイパス係数(H3)の補正（クリッピング処理を含む）が行われる（ｓｔｅｐ１４３）。この際、補正制御手段１１１は、各ハイパス係数(H3)のフラグを参照し、フラグがオン状態のハイパス係数(H3)を補正対象から除外する制御を行う。

２次元ウェーブレット変換・逆変換部１０２により、水平方向のウェーブレット逆変換が行われる（ｓｔｅｐ１４４）。この水平方向逆変換後に、係数補正部１１０において垂直方向のタイル境界に隣接するハイパス係数(H2)及びタイル境界近傍のハイパス係数(H3)の補正（クリッピング処理を含まない）が行われる（ｓｔｅｐ１４５）。この際、補正制御手段１１１によりハイパス係数(H3)に関しｓｔｅｐ１４３と同様の制御が行われる。

次に、２次元ウェーブレット変換・逆変換部１０２で水平方向のウェーブレット順変換が行われ（ｓｔｅｐ１４６）、係数補正部１１０でｓｔｅｐ１４５で補正されたハイパス係数(H2，H3）に対するクリッピング処理が行われる（ｓｔｅｐ１４７）。

次に、２次元ウェーブレット変換・逆変換部１０２により、水平方向及び垂直方向のウェーブレット逆変換が順に行われ（ｓｔｅｐ１４８）、１つ下のデコンポジションレベルのＬＬサブバンド係数が生成される。そして、このデコンポジションレベルについて、ｓｔｅｐ１４１〜ｓｔｅｐ１４８の処理が繰り返される。デコンポジションレベル１まで同様の処理が行われて画像データが復元されると（ｓｔｅｐ１４９，ＮＯ）、処理は終了する。

５×３ウェーブレット変換が用いられた符号データの場合、図２６には明示されていないが、デコンポジションレベル１では、ｓｔｅｐ１４１，１４２はスキップされ、ｓｔｅｐ１４３の直前で全てのハイパス係数(H3)のフラグはオン状態に設定される。したがって、ｓｔｅｐ１４３及びｓｔｅｐ１４５において全てのハイパス係数(H3)は補正対象から除外される。

ここに示す実施例に係る画像処理装置においては、図１に示す補正モード指定部１２０を備える。係数補正部１１０は、タイル境界歪み抑制のための補正モードを複数持ち、補正モード指定部１２０により指定された補正モードを実行する。

補正モード指定部１２０は、ハードウェア、ファームウェア、ソフトウェア又はその組み合わせとして実現可能である。例えば、本実施例に係る画像処理装置がパソコンや携帯情報端末などのプログラム制御の機器にハードウェアもしくはファームウェア又はプログラムとして組み込まれた場合には、補正モード指定部１２０はアプリケーションプログラム又はオペレーティングシステムの一部として実現されるのが典型的な形態であろう。そして、ユーザは、モニタ装置の画面を介して対話的に補正モードを指定するのが実際的であろう。そのような例について図２７により説明する。

図２７に示す例においては、例えばマウスなどのポインティングデバイスを利用して、画面上に表示されているメニュー項目の一つである「ファイル」２０１を選択すると、そのプルダウンメニュー２０２が表示される。このプルダウンメニュー２０２中の「開く」２０６を選択することによりＪＰＥＧ２０００の圧縮ファイルを開くことができるが、その前に「プロパティ」２０３を選択することにより、どのような画質でファイルの内容を表示するか指定することができる。

すなわち、「プロパティ」２０３を選択すると、そのメニュー２０４が表示される。このメニュー２０４の１つの項目として「タイル境界歪み抑制機能」２０５がある。この「タイル境界歪み抑制機能」２０５の「無し」ボタンを選択すると、タイル境界歪み抑制のための係数補正を行わない「非補正モード」を指定したことになる。つまり、最も低い画質で表示したいときには「無し」を選択し、その後に「開く」２０６を選択すればよい。この場合は、指定されたＪＰＥＧ２０００の圧縮ファイルは、タイル境界歪み抑制のための係数補正処理を行うことなく復号され、その画像が表示されることになる。

一方、タイル境界歪みの目立たない画像として表示したい場合、ユーザは、図示のように「タイル境界歪み抑制機能」２０５の「有り」ボタンを選択する。この選択によりメニュー２０４内の、それまで非アクティブな状態であった「高品質モード」ボタンと「高速モード」ボタンがアクティブになり、ユーザはそのどちらかのモードを指定することができる。このような補正モード指定を行った後に、プルダウンメニュー２０２中の「開く」２０６を選択し、ＪＰＥＧ２０００の圧縮ファイルを指定すると、その指定されたファイルが復号されるが、その際に指定された補正モードによりタイル境界歪み抑制のための係数補正処理が行われる。

すなわち、「高速モード」が指定された場合は、図１５のフローチャートに示すように、タイル境界に隣接するハイパス係数(H2)のみを対象として係数補正が行われる。

一方、「高品質モード」が指定された場合は、タイル境界に隣接するハイパス係数(H2)及びタイル境界に隣接しない境界近傍のハイパス係数(H3)に対しタイル境界歪み抑制のための補正が行われる。例えば、ハイパス係数(H2)のみならずハイパス係数(H3)も常に補正される（この場合、図１５中のｓｔｅｐ１０１，１０３でハイパス係数(H3)の補正も行うような処理フローとなる）。

なお、「高品質モード」が指定された場合に、図２４、図２５又は図２６のフローチャートに示すように、タイル境界に隣接しない境界近傍のハイパス係数(H3)に関し、量子化ステップ数、補正前の係数値、又は、量子化ステップ数及び補正前係数値に応じて適応的に補正対象から除外する制御を行うような処理とすること可能であり、かかる態様も本実施例に含まれる。

これと逆に、「高速モード」が指定された場合に、図２４、図２５又は図２６のフローチャートに示すような係数補正処理を行い、「高品質モード」が指定された場合に、タイル境界に隣接しない境界近傍のハイパス係数(H3)を常に補正する係数補正処理を行うようにすることも可能であり、かかる態様も本実施例に含まれる。

また、「高品質モード」「高速モード」に加えて「中品質モード」を指定できるようにし、「高品質モード」が指定された場合にタイル境界のハイパス係数(H2)及び境界近傍のハイパス係数(H3)の補正を行い、「中品質モード」が指定された場合に図２４、図２５又は図２６のフローチャートに示すような係数補正を行い、「高速モード」が指定された場合に図１５のフローチャートに示すような係数補正を行うことも可能である。かかる態様も本実施例に含まれる。

また、図２７に示す例では、ファイルを開く際のタイル境界歪み抑制機能をプルダウンメニューの形で指定するようにしているが、タイル境界歪み抑制機能を、復号する階層数、コンポーネント、位置（タイル、プレシンクト）などの、ファイルを開く際の各種パラメータの一つとしてタブ形式で表示し、タブを選択することでタイル境界歪み抑制のための補正モードの指定を行うようにすることも可能である。かかる態様も本実施例に含まれる。

以上の説明においては、コードストリームの全階層について復号処理を行うものとしたが、モニタ画面の解像度などの関係から、例えばデコンポジションレベル数が５の場合にデコンポジションレベル２まで復号する、というように一部の階層のみを復号することも可能であり、例えば、メニュー２０４などで「復号する階層数（デコンポジションレベル数）」を指定できるようにしてもよい。そして、階層数を指定した場合には、最上位の階層から指定階層数だけ復号処理を行い、その復号階層に対してのみ必要な係数補正を行うことになる。この場合、図１５のｓｔｅｐ１０７、図２４のｓｔｅｐ１２８、図２５のｓｔｅｐ１３８、又は、図２６のｓｔｅｐ１４９において、指定された最も下の階層まで処理が終わったかを判断することになる。図示しないが、前記各実施例において、このような復号階層数を指定可能とした態様も本発明に包含されることは明らかである。

また、復号される階層中の一部の階層に対してのみ、タイル境界歪み抑制のための係数補正を行わせることも可能である。この場合、図示しないが、前記各実施例のフローチャートの処理ループ内で、係数補正の必要な階層であるか否かを判定し、係数補正の必要な階層に対してのみ係数補正を実行し、それ以外の階層では２次元ウェーブレット逆変換のみを行わせればよいことは明らかである。このような一部の階層に対してのみ係数補正を行う態様も本発明に含まれる。

また、前記実施例５のように補正モードを指定できる場合に、指定された補正モードに応じて、復号される全ての階層に対し、あるいは、復号される一部の階層のみに対し、タイル境界歪み抑制のための係数補正を行わせることも可能である。復号される一部の階層のみに対し係数補正を行うならば、復号される全階層に対し係数補正を行う場合に比べ処理時間を短縮できる。かかる態様も本発明に含まれる。

以上、本発明に係る画像処理装置について説明したが、その処理内容の説明は、そのまま本発明に係る画像処理方法の処理の手順及び内容の説明でもあることは明らかである。よって、画像処理方法としての説明は繰り返さない。

また、以上においてはＪＰＥＧ２０００の符号データを扱う場合を例にして本発明を説明した。しかし、画像を重複しないタイル（ブロック）に分割し、タイル単位でウェーブレット変換その他の周波数変換を行い、その際にタイル境界部の不足する画素値又は係数値を、隣接タイルから補うのではなく、同じタイル内からミラリング等の手法で補うような、ＪＰＥＧ２０００以外の符号化方式による符号データを扱う場合にも、本発明を適用し得ることは明らかである。

本発明の実施の形態を説明するためのブロック図である。 本発明に係る画像処理装置をコンピュータを利用して実現する形態を説明するためのブロック図である。 原画像と座標系を示す図である。 図３の原画像に対し垂直方向のウェーブレット変換を行った後の係数配列を示す図である。 図４の係数に対し水平方向のウェーブレット変換を行った後の係数配列を示す図である。 図５の係数をデインターリーブした係数配列を示す図である。 ２回目の２次元ウェーブレット変換を行った後のインターリーブした係数配列を示す図である。 ミラリングの説明図である。 タイル境界歪み抑制のために補正される係数の位置関係を模式的に示す図である。 タイル境界歪み抑制のために補正される水平方向のタイル境界隣接係数及びタイル境界近傍係数を示す図である。 タイル境界歪み抑制のために補正される垂直方向のタイル境界隣接係数及びタイル境界近傍係数を示す図である。 タイル境界近傍係数の補正の要否の説明のための図である。 タイル境界近傍係数の補正の要否の説明のための図である。 タイル境界近傍係数の補正の要否の説明のための図である。 実施例１における係数補正に関連した処理内容を説明するためのフローチャートである。 デコンポジションレベル２のインターリーブ状態の係数配列を示す図である。 デコンポジションレベル２における水平方向の係数補正に係る係数を示す図である。 上記係数補正後の係数を水平方向にウェーブレット逆変換した後の係数配列を示す図である。 図１８の係数に対する垂直方向の係数補正に係る係数を示す図である。 デコンポジションレベル１のデインターリーブ状態の係数配列を示す図である。 デコンポジションレベル１のインターリーブ状態の係数配列を示す図である。 デコンポジションレベル１における水平方向の係数補正に係る係数を示す図である。 上記水平方向の係数補正後の係数を水平方向にウェーブレット逆変換した後の係数に対する係数補正に係る係数を示す図である。 実施例２における係数補正に関連した処理内容を説明するためのフローチャートである。 実施例３における係数補正に関連した処理内容を説明するためのフローチャートである。 実施例４における係数補正に関連した処理内容を説明するためのフローチャートである。 実施例５においてディスプレイ画面上で補正モードを指定する方法の一例を説明するための図である。

符号の説明

１０１ 色変換・逆変換部
１０２ ２次元ウェーブレット変換・逆変換部
１０３ 量子化・逆量子化部
１０４ エントロピー符号化・復号化部
１０５ 符号形成・タグ処理部
１１０ 係数補正部
１１１ 補正制御手段
１２０ 補正モード指定部

Claims (10)

1. 画像が重複しないタイルに分割されタイル単位でウェーブレット変換された符号データを復号する画像処理装置であって、
   符号データの復号処理過程における、第１、第２のタイル間のタイル境界に隣接した前記第１のタイルに属する高周波係数、及び、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す係数補正手段を有し、
   前記係数補正手段は、前記タイル境界に隣接した前記第１のタイルに属する高周波係数を常に補正の対象とし、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の属するサブバンドの量子化ステップ数に応じて適応的に補正の対象から除外することを特徴とする画像処理装置。
2. 前記係数補正手段は、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の属するサブバンドの量子化ステップ数が所定値以下のときにタイル境界歪み抑制のための補正の対象から除外することを特徴とする請求項１に記載の画像処理装置。
3. 画像が重複しないタイルに分割されタイル単位でウェーブレット変換された符号データを復号する画像処理装置であって、
   符号データの復号処理過程における、第１、第２のタイル間のタイル境界に隣接した前記第１のタイルに属する高周波係数、及び、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す係数補正手段を有し、
   前記係数補正手段は、前記タイル境界に隣接した前記第１のタイルに属する高周波係数を常に補正の対象とし、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の値及び当該高周波係数の属するサブバンドの量子化ステップ数に応じて適応的に補正の対象から除外することを特徴とする画像処理装置。
4. 前記係数補正手段は、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の値が０であるとき及び当該高周波係数の属するサブバンドの量子化ステップ数が所定値以下のときに補正の対象から除外することを特徴とする請求項３に記載の画像処理装置。
5. 画像が重複しないタイルに分割されタイル単位でウェーブレット変換された符号データを復号する画像処理装置であって、
   符号データの復号処理過程における、第１、第２のタイル間のタイル境界に隣接した前記第１のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す第１の補正モードと、前記タイル境界に隣接した前記第１のタイルに属する高周波係数、及び、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す第２の補正モードを有する係数補正手段と、
   前記係数補正手段に対し前記第１の補正モード又は前記第２の補正モードを指定する補正モード指定手段と、
   を有し、
   前記係数補正手段は、前記第２の補正モードにおいて、前記タイル境界に隣接した前記第１のタイルに属する高周波係数を常に補正の対象とし、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の属するサブバンドの量子化ステップ数に応じて適応的に補正の対象から除外することを特徴とする画像処理装置。
6. 画像が重複しないタイルに分割されタイル単位でウェーブレット変換された符号データを復号する画像処理装置であって、
   符号データの復号処理過程における、第１、第２のタイル間のタイル境界に隣接した前記第１のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す第１の補正モードと、前記タイル境界に隣接した前記第１のタイルに属する高周波係数、及び、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す第２の補正モードを有する係数補正手段と、
   前記係数補正手段に対し前記第１の補正モード又は前記第２の補正モードを指定する補正モード指定手段と、
   を有し、
   前記係数補正手段は、前記第２の補正モードにおいて、前記タイル境界に隣接した前記第１のタイルに属する高周波係数を常に補正の対象とし、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の値及び当該高周波係数の属するサブバンドの量子化ステップ数に応じて適応的に補正の対象から除外することを特徴とする画像処理装置。
7. 符号データはＪＰＥＧ２０００の符号データであることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. ＪＰＥＧ２０００の符号データの復号処理過程における、第１、第２のタイル間のタイル境界に隣接した前記第１のタイルに属する高周波係数、及び、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数に対し、タイル境界歪み抑制のための補正を施す係数補正工程を含み、
   前記係数補正工程において、前記タイル境界に隣接した前記第１のタイルに属する高周波係数を常に補正の対象とし、前記タイル境界に隣接しない、前記タイル境界近傍の前記第２のタイルに属する高周波係数を、当該高周波係数の値及び当該高周波係数の属するサブバンドの量子化ステップ数に応じて適応的に補正の対象から除外することを特徴とする画像処理方法。
9. 請求項１乃至７のいずれか１項に記載の画像処理装置の少なくとも係数補正手段としてコンピュータを機能させるプログラム。
10. 請求項１乃至７のいずれか１項に記載の画像処理装置の少なくとも係数補正手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images