JP4201163B2

JP4201163B2 - 画像処理装置、方法、プログラムおよび記録媒体

Info

Publication number: JP4201163B2
Application number: JP2002216319A
Authority: JP
Inventors: 亨水納
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-07-25
Filing date: 2002-07-25
Publication date: 2008-12-24
Anticipated expiration: 2022-07-25
Also published as: JP2004064189A

Description

【０００１】
【発明の属する技術分野】
本発明は、タイル境界歪みを抑制した画像処理装置に関し、例えば携帯電話、デジタルカメラ、インターネット、医療用画像、衛星通信用画像などの画像を扱う機器、アプリケーションプログラム、プリンタドライバ等のデバイスドライバに好適な技術である。
【０００２】
【従来の技術】
高精細画像の取扱いを容易にする画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００がある。ＪＰＥＧ２０００では、画像を矩形領域(タイル) に分割することにより、少ないメモリ環境下で圧縮伸張処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作をタイル毎に独立に行うことができる。
【０００３】
このような分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、「J. X. Wei, M. R. Pickering, M. R. Frater and J. F. Arnold, "A New Method for Reducing Boundary Artifacts in Block-Based Wavelet Image Compression," in VCIP 2000, K. N. Ngan, T. Sikora, M-T Sun Eds., Proc. of SPIE Vol. 4067, pp. 1290-1295, 20-23 June 2000, Perth, Australia」にも記載されているように、圧縮率の高い条件で圧縮伸長処理を行った場合、伸長後の画像においてタイルの境界が不連続となるという問題がある。
【０００４】
そこで、従来、このタイル境界歪みを解決するために、隣接するタイル同士で境界を互いにオーバーラップさせて処理する手法が提案されている。ただし、ＪＰＥＧ２０００の基本仕様では、隣接するタイル境界を重複させないよう規定されている。
【０００５】
また、他の方法として、タイル境界の画素にローパスフィルタをかけて平滑化する方法がある。さらに、本出願人によって、タイル境界からの距離に応じてローパスフィルタの平滑化度を制御する手法、タイル境界からの距離が大きくなるにつれてローパスフィルタの平滑化度を徐々に弱くする手法、タイル境界の近傍の画素に対してエッジ量を算出し、エッジ量に応じてローパスフィルタの平滑化度を制御する手法、エッジ量が大きくなるにつれてローパスフィルタの平滑化度を徐々に弱くする手法、さらに、タイル境界からの距離とその画素でのエッジ量に応じてローパスフィルタを制御する手法、つまり、タイル境界から離れるにつれて、また、エッジ量が大きくなるにつれてローパスフィルタの平滑化度を弱くする手法が提案されている。
【０００６】
これらの処理により、タイル境界歪みが抑制される。また、タイル境界にローパスフィルタをかけると画像のエッジ部がタイル境界をまたぐような場合に、帯状の劣化（つまり、タイル境界付近が帯状に平滑化されることによるエッジ画像の帯状のぼやけ）が発生してしまうが、上記したようにエッジ量に応じてローパスフィルタの平滑化度を制御することにより、エッジ量が大きい場合でも帯状のぼやけた画像の発生を抑制することができる。
【０００７】
【発明が解決しようとする課題】
ところで、利用者によっては、多少のタイル境界歪みがあっても復号画像の表示時間を短縮したいという人や、表示に多少の時間がかかっても高画質の復号画像を得たいという人もいる。上記した従来技術では、高画質を追求するあまり、処理時間については考慮していなかった。
【０００８】
本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、タイル境界歪み抑制方法として、画質を優先した方法と、処理速度を優先した方法を用い、利用者がその何れかを選択できる構成を採ることにより、多数の利用者が満足できるタイル境界歪み方式を実現した画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【０００９】
本発明の他の目的は、復号画像の表示速度を優先する利用者のために、タイル境界歪み抑制機能のＯＮ／ＯＦＦを利用者が指定できる構成にした画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【００１０】
また、利用者によっては、画質調整操作が煩わしくても高画質の伸張画像を望む人もいるし、細かな調整操作が面倒な人もいる。そこで、本発明の他の目的は、画質調整機能が豊富な適応的ポストフィルタ方式と画質調整操作が不要な方式を搭載した画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【００１１】
本発明のさらに他の目的は、ＲＯＩ領域内のみに適応的ローパスフィルタを施すことにより、タイル境界歪み抑制に要する処理時間を短縮した画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
本発明では、画質優先のタイル境界歪み抑制方法としてタイル境界からの距離とエッジ量に応じた適応的ポストフィルタ方式を用い、処理速度優先のタイル境界歪み抑制方法として、一様なポストフィルタ方式を用い、利用者が何れかの方式を選択できる構成を採ることにより、より幅広い利用者が満足するタイル境界歪み方式を実現する。
【００１３】
本発明では、画像をブロックに分割し、ブロック毎に圧縮・伸張を行う手段と、２つ以上のブロック歪み抑制手段を有し、どのブロック歪み抑制手段を用いるかを選択でき、また、ブロック歪み抑制手段を用いるか否かを選択（デタイルのＯＮ／ＯＦＦを利用者が指定）できる。
【００１４】
本発明では、ブロック歪み抑制手段として、画質優先のブロック歪み抑制手段と処理速度優先のブロック歪み抑制手段を有し、画質優先デタイルか速度優先デタイルかを選択する。
【００１５】
本発明の画質優先のブロック歪み抑制手段は、伸張後の画像のブロック境界近傍画素にローパスフィルタをかける方式であり、該画素のブロック境界からの距離と該画素におけるエッジ量に応じてローパスフィルタの強度を適応的に制御する。
【００１６】
本発明の速度優先のブロック歪み抑制手段は、伸張後の画像のブロック境界近傍画素に一様なローパスフィルタをかける方式である。
【００１７】
本発明では、画質の高いブロック歪み抑制手段（画質の高いデタイル）と画質の低いブロック歪み抑制手段（画質の低いデタイル）を有し、画質の高いデタイルか画質の低いデタイルかを選択する。
【００１８】
本発明では、高速なブロック歪み抑制手段（高速なデタイル）と低速なブロック歪み抑制手段（低速なデタイル）を有し、高速なデタイルか低速なデタイルかを選択する。
【００１９】
本発明では、画像信号を輝度と色差に分けた場合、高速なデタイル方式は輝度のみにブロック歪み除去手段を施すのに対し、低速なデタイル方式は輝度と色差にブロック歪み除去手段を施す。
【００２０】
本発明では、どのブロック歪み抑制手段を用いるかを利用者が指定できる（選択主体は利用者である）。
【００２１】
本発明では、領域毎にタイル境界歪み抑制のためのローパスフィルタのＯＮ／ＯＦＦを指定する。
【００２２】
本発明では、ブロック境界の近傍で適応的ローパスフィルタを施す領域はＲＯＩ領域内部である。
【００２３】
本発明では、ＲＯＩ領域の境界からの距離に応じてＲＯＩ領域の境界近傍にかけるローパスフィルタの強度を制御する。
【００２４】
本発明では、ＲＯＩ領域の境界からの距離とＲＯＩ境界近傍の画素におけるエッジ量に応じてＲＯＩ領域の境界近傍の画素にかけるローパスフィルタの強度を制御する。
【００２５】
【発明の実施の形態】
以下、本発明の実施例を図面を用いて具体的に説明する。
本発明を説明する前に、ＪＰＥＧ２０００についてその概要を説明する。
【００２６】
図１は、ＪＰＥＧ２０００アルゴリズムの基本を説明するための図である。ＪＰＥＧ２０００アルゴリズムは、色空間変換・逆変換部１１１、２次元ウエーブレット変換・逆変換部１１２、量子化・逆量子化部１１３、エントロピー符号化・復号化部１１４、タグ処理部１１５で構成されている。
【００２７】
図２は、タイル分割されたカラー画像の各コンポーネントの例を示す。カラー画像は、一般に、図２に示すように、原画像の各コンポーネント２０１、２０２、２０３（ここではＲＧＢ原色系）が、矩形領域（タイル）に分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００２８】
符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換部１１１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部１１２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００２９】
図３は、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０（３００））に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１（３０１）に示すサブ・バンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２（３０２）に示すサブ・バンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３（３０３）に示すサブ・バンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。更に図３では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。例えば、デコンポジション・レベル数を３とした時、グレーで示したサブ・バンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
【００３０】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化部１１３で対象ビット周辺のビットからコンテキストが生成される。
【００３１】
量子化処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図５に示すように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００３２】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。図６は、その手順を簡単に示す。この例では、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられる。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジションレベル１のウェーブレット係数値を求めている。また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤー」についての概念図をも併せて示している。レイヤーの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤーは任意の数のビットプレーンから構成される。この例では、レイヤー０、１、２、３は、各々、１、３、１、３つのビットプレーンから成っている。そして、ＬＳＢに近いビットプレーンを含むレイヤー程、先に量子化の対象となり、逆に、ＭＳＢに近いレイヤーは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤーから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００３３】
エントロピー符号化部１１４（図１参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部１１５は、エントロピー符号化部１１４からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。
【００３４】
図４は、コードストリームの構造を簡単に示す。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
【００３５】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部１１５は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部１１３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部１１４で、このコンテキストとコード・ストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部１１２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部１１１によって元の表色系のデータに変換される。
【００３６】
（実施例１）
図７は、本発明の実施例１に係る伸長部の構成を示す。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。本実施例では、タイル境界歪み除去方式選択部（以下、デタイル方式選択部）６と、画質優先方式のタイル境界平滑化部７と、速度優先方式のタイル境界平滑化部８が設けられている。
【００３７】
利用者が、後述する圧縮伸張画像表示ツールを用いてデタイル方式を指定し、指定された情報が図示しないＣＰＵからデタイル方式選択部６に入力される。デタイル方式選択部６では、画質優先方式が指定されたとき、色空間逆変換部５で逆変換されたＲＧＢデータをタイル境界平滑化部７に入力し、タイル境界の近傍の画素に平滑化を行い、処理速度優先方式が指定されたとき、色空間逆変換部５で逆変換されたＲＧＢデータをタイル境界平滑化部８に入力し、タイル境界の近傍の画素に平滑化を行う。
【００３８】
図８は、圧縮伸張画像表示ツールを示す。利用者が「表示ツール」のタイル境界を指定すると（ａ）、「タイル境界」のポップアップウィンドウが現れる（ｂ）。「タイル境界」ポップアップウィンドウ上で、利用者はデタイル方式を選択できる。ここでは、「画質優先モード」と「速度優先モード」と「デタイル（タイル境界歪み除去）ＯＦＦ」を選択できる構成になっている。「画質優先モード」と「速度優先モード」が選択された場合には、利用者は必要に応じて調整項目で調整できる。調整項目はこの例では、「圧縮率」「階層数」「表示倍率」がある。また、利用者が「デタイルＯＦＦ」を選択した場合には、調整項目は非アクティブになる。
【００３９】
図９は、タイル境界平滑化部７（画質優先モードのデタイル方式）の具体例を示し、タイル境界の近傍の画素（図９（ａ）の灰色の領域の画素（例えば境界を挟んだ計８画素））に対してローパスフィルタをかける。
【００４０】
図９（ｂ）は、縦方向タイル境界におけるローパスフィルタの一例を示す。（ｂ）に示すように、タイル境界に垂直なローパスフィルタをかけることにより、縦方向のタイル境界歪みを抑制する。本実施例では、１次元の横長のフィルタ（５画素×１画素）の例で説明したが、横方向の周波数成分を除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。
【００４１】
図９（ｃ）は、横方向タイル境界におけるローパスフィルタの一例を示す。（ｃ）に示すように、タイル境界に垂直なローパスフィルタをかけることにより、横方向のタイル境界歪みを抑制する。本実施例では、１次元の縦長のフィルタ（１画素×５画素）の例で説明したが、縦方向の周波数成分を除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。
【００４２】
図９（ｄ）は、タイル境界とタイル境界の交点の近傍におけるローパスフィルタの一例を示す。（ｄ）に示すように、十字型のローパスフィルタをかけることにより、タイル境界交点付近のタイル境界歪みを抑制する。本実施例では、十字型のフィルタの例で説明したが、縦方向と横方向の周波数成分をともに除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。
【００４３】
図１０は、タイル境界平滑化部８（処理速度優先モードのデタイル方式）の具体例を示し、タイル境界の近傍の画素（図１０（ａ）の灰色の領域の画素（例えば境界を挟んだ計８画素））に対してローパスフィルタをかける。
【００４４】
（ｂ）、（ｃ）、（ｄ）に示すように、タイル境界近傍の画素に均一に十字型のローパスフィルタをかけることにより、タイル境界歪みを抑制する。本実施例では、十字型のフィルタの例で説明したが、縦方向と横方向の周波数成分をともに除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。
【００４５】
上記したように、本実施例では、処理速度優先モードが指定された場合に適用されるタイル境界平滑化部８の方が、画質優先モードが指定された場合に適用されるタイル境界平滑化部７よりも計算量が少ない。これは、タイル境界平滑化部８ではタイル境界の方向（縦、横方向）を判定する必要がないためである。なお、タイル境界の方向は符号化データに含まれる情報により取得する。
【００４６】
これに対し、画質を優先するタイル境界平滑化部７では、タイル境界の方向毎にきめ細かい制御ができるので、無駄な部分を平滑化することなく、また副作用（帯状のぼやけ）がなく、良好にタイル境界歪みを除去することができる。また、図９（ａ）、（ｂ）、（ｃ）のフィルタの中央の係数（値４）が、図１０（ａ）、（ｂ）、（ｃ）のフィルタの中央の係数（値８）より小さくなっているが、これは画質優先モードの方が処理速度優先モードよりもローパスフィルタの平滑化度が大きいことを意味し、画質優先モードでは処理速度優先モードよりも一層タイル境界歪みが抑制され、画質が向上する。
【００４７】
また、画質優先モードを高画質、処理速度優先モードを低画質にそれぞれ置き換え、タイル境界平滑化部７を高画質用とし、タイル境界平滑化部７を低画質用として上記実施例を変更できる。
【００４８】
このように、本実施例では、利用者が好みに応じて上記した２種類のデタイル方式を使い分けることができる。
【００４９】
なお、カラー画像における処理速度優先モードの変形例として、カラー画像を輝度信号と色差信号に分離し、輝度信号のみに一様なローパスフィルタをかける、高速処理用のタイル境界平滑化部８ａと、輝度信号と色差信号に一様なローパスフィルタをかける、低速処理用のタイル境界平滑化部８ｂを設け（画質優先のタイル境界平滑化部７を設けない）、選択部６でその何れかを選択する構成にしてもよい。
【００５０】
（実施例２）
図１１は、本発明の実施例２に係る伸長部の構成を示す。本実施例では、さらに、距離／エッジ量算出部９が設けられている。タイル境界平滑化部８（処理速度優先モード）の構成は、実施例１と同様である。また、タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００５１】
まず、本実施例では、タイル境界からの画素間距離に応じてタイル境界平滑化部７（画質優先モード）のローパスフィルタ強度を切り換える。
【００５２】
図１２は、タイル境界からの距離の算出方法を説明する図である。各画素において、上下左右のタイル境界からの距離が算出される。それらの最小値を該画素におけるタイル境界からの距離とする。なお、タイル境界の位置、タイル境界の方向は符号化データに含まれる情報により取得する。
【００５３】
図１３に示すように、本実施例では縦方向のタイル境界の近傍の画素に対しては、１次元の横方向のローパスフィルタを用いる（図１３（ａ））。横方向のタイル境界の近傍の画素に対しては、１次元の縦方向のローパスフィルタを用いる（図１３（ｂ））。タイル境界の交点の近傍画素に対しては、十字型のローパスフィルタを用いる（図１３（ｃ））。実施例１と同様に、これは一例であり、縦方向のタイル境界近傍の画素には横方向の周波数成分を除去するようなフィルタであればいかなるフィルタであってもよいし、同様に、横方向のタイル境界近傍の画素には縦方向の周波数成分を除去するようなフィルタならばいかなるフィルタであってもよいし、タイル境界の交点近傍の画素には縦方向周波数成分と横方向の周波数成分をともに除去するようなフィルタであればいかなるフィルタであってもよい。
【００５４】
本実施例では、タイル境界からの画素間距離を用いて図１３のローパスフィルタを適応的に処理する。すなわち、この例では、ローパスフィルタは注目画素の位置の係数（フィルタの中央の係数ｍ）のみ変化させる。画素間距離が大きくなるにつれて、徐々に係数ｍの値を大きくする。
図１３の例では、中央の係数ｍは、
ｍ＝４＋６４＊ｄ
で算出される。ここでｄは画素間距離を表す。これは、タイル境界からの画素間距離が大きくなるにつれて施すローパスフィルタの平滑化度を弱くすることを意味する。
【００５５】
また、本実施例では、タイル境界からの画素間距離とタイル境界近傍の画素のエッジ量に応じて、タイル境界平滑化部７のローパスフィルタ強度を切り換える処理も行う。図１４は、タイル境界からの画素間距離とエッジ量によるローパスフィルタ制御を説明する図である。
【００５６】
距離／エッジ量算出部９はタイル境界近傍の画素に対し、
（１）タイル境界からの画素間距離（図１４（ａ））
（２）エッジ量算出フィルタ（図１４（ｂ））でエッジ量
を算出する。また、タイル境界の方向は符号化データに含まれる情報により取得する。
【００５７】
本実施例では、タイル境界が縦方向の近傍画素ならば、図１４（ｃ）に示すような横長のローパスフィルタをかける。タイル境界が横方向の近傍画素ならば、図１４（ｄ）に示すような縦長のローパスフィルタをかける。タイル境界の交点近傍の画素ならば、図１４（ｅ）に示すような十字型のローパスフィルタをかける。これは一例であり、縦方向のタイル境界近傍の画素には横方向の周波数成分を除去するようなフィルタであればいかなるフィルタであってもよいし、横方向のタイル境界近傍の画素には縦方向の周波数成分を除去するようなフィルタならばいかなるフィルタであってもよいし、タイル境界の交点近傍の画素には縦方向周波数成分と横方向の周波数成分をともに除去するようなフィルタであればいかなるフィルタであってもよい。
【００５８】
そして、算出された画素間距離と斜め方向のエッジ量に応じて、タイル境界平滑部７のローパスフィルタ強度を制御する。なお、エッジ量として斜め方向のエッジ量を算出する理由は、縦、横方向のタイル境界をエッジとして検出しないためである。
【００５９】
本実施例では、画素間距離が大きいほど、またエッジ量の絶対値が大きいほど、ローパスフィルタの中央値ｍを大きくする。図１４（ｃ）〜（ｅ）に示す適応的ローパスフィルタの例では、中央の係数値をｍとし、画素間距離をｄとし、上記したエッジ量をＥとするとき、

によって、中央の係数値ｍを算出する。
【００６０】
これは、タイル境界からの画素間距離ｄが大きいほど、タイル境界近傍の画素のエッジ量の絶対値ａｂｓ（Ｅ）が大きいほど、施すローパスフィルタの平滑化度を小さくする、ということを意味する。ｄ＝０の場合のみ独立に制御した理由は、タイル境界の最近傍の画素に対してはある程度平滑化度の強いローパスフィルタを施さないと、タイル境界が目立ってしまうからである。
【００６１】
上記したように、本実施例においても、実施例１と同様に、処理速度優先モードが指定された場合に適用されるタイル境界平滑化部８の方が、画質優先モードが指定された場合に適用されるタイル境界平滑化部７よりも計算量が少ない。これは、タイル境界平滑化部８ではタイル境界の方向の判定やタイル境界からの距離やタイル境界近傍画素のエッジ量を算出する必要がないためである。これに対し、タイル境界平滑化部７では、タイル境界の距離やタイル境界近傍の画素のエッジ量やタイル境界の方向に応じてきめ細かい平滑化制御ができるので、副作用（帯状のぼやけ）が起こりそうな部分を平滑化することなく、極めて良好にタイル境界歪みを除去することができる。これにより、利用者は好みに応じて上記した２種類のデタイル方式を使い分けることができる。
【００６２】
なお、実施例１と同様に、本実施例でも、カラー画像における処理速度優先モードの変形例として、カラー画像を輝度信号と色差信号に分け、輝度信号のみに一様なローパスフィルタをかける高速方式と、輝度信号と色差信号に一様なローパスフィルタをかける低速方式を用いてもよい。
【００６３】
（実施例３）
図１５は、本発明の実施例３に係る伸長部の構成を示す。タグ処理部１から色空間逆変換部５（５ａ、５ｂ）までの処理は前述したＪＰＥＧ２０００と同様である。
【００６４】
利用者が、後述する圧縮伸張画像表示ツールを用いてデタイル方式を指定し、指定された情報が図示しないＣＰＵからデタイル方式選択部６ａに入力される。デタイル方式選択部６ａで画質優先方式が指定されたとき、復号化されたデータは２次元ウェーブレット逆変換部４ａに入力され、色空間逆変換部５ａを経て、タイル境界平滑化部７に送られる。タイル境界平滑化部７は前述した実施例１のタイル境界平滑化部７または実施例２のタイル境界平滑化部７で実現され、タイル境界の近傍の画素に平滑化を行う。
【００６５】
デタイル方式選択部６ａで汎用性優先モードが指定されたとき、復号化されたデータは２次元ウェーブレット逆変換部４ｂに入力されてから、色空間逆変換部５ｂに送られる。汎用性優先モードでは、タイル境界近傍画素の平滑化を行わない。
【００６６】
なお、色空間逆変換部５ａと色空間逆変換部５ｂは輝度色差信号をＲＧＢ信号に変換する部分であり、動作は同じである。
【００６７】
図１６は、圧縮伸張画像表示ツールを示す。利用者が「表示ツール」のタイル境界を指定すると（ａ）、「タイル境界」のポップアップウィンドウが現れる（ｂ）。「タイル境界」ポップアップウィンドウで、利用者はデタイル方式を選択できる。「画質優先モード」を選択した場合には、調整項目がアクティブになる。調整項目には例えば、「圧縮率」「階層数」「表示倍率」などがある。利用者がこれらを調整することにより最適な画質の伸張画像を表示することができる。また、利用者が「汎用性優先モード」を選択した場合、調整項目は非アクティブになる。また、利用者が「デタイルＯＦＦ」を選択した場合も、調整項目は非アクティブになる。なお、汎用性優先モードでは、２次元ウェーブレット逆変換部４ｂのウェーブレット逆変換中に、ポストフィルタリングに相当する処理が行われる。
【００６８】
（実施例４）
図１７は、本発明の実施例４に係る伸長部の構成を示す。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００６９】
本実施例では、補正タイル境界限定部１０を設け、すべてのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみに、実施例１と同様にして、タイル境界平滑化部１１でローパスフィルタをかける。図１８、図１９はその例を示し、ＲＯＩ領域内のタイル境界の近傍画素のみにローパスフィルタをかける。ＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【００７０】
図１８は、ＲＯＩ領域がタイル境界に沿った領域である場合の例である。図のようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図の右側の点線部とする。
【００７１】
図１９は、ＲＯＩ領域がタイル境界に沿っていない領域である場合の例である。図のようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図の右側の点線部のようにする。タイル境界近傍の画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界近傍の画素がＲＯＩ内部であればその画素にローパスフィルタをかける。該タイル境界近傍の画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかけない構成にする。
【００７２】
また、実施例２と同様に、ＲＯＩ領域の境界からの距離とＲＯＩ領域のタイル境界近傍画素におけるエッジ量に応じてＲＯＩ領域内のタイル境界近傍の画素にかけるローパスフィルタの強度を制御する。
【００７３】
上記した各実施例ではＪＰＥＧ２０００の圧縮伸長方式を例にして説明したが、圧縮伸長方式はこれに限定されず、圧縮符号にブロック境界位置情報が含まれるような圧縮伸長方式であれば、いかなる圧縮伸長方式を用いても良い。
【００７４】
また、上記したように本発明はハードウェアによって実施できるが、汎用のコンピュータシステムを利用し、ソフトウェアによっても実施できることは言うまでもない。ソフトウェアで実施する場合には、本発明の画像処理装置の各手段（ブロック分割、圧縮伸長、ブロック境界歪み抑制など）として、コンピュータを機能（動作）させるためのプログラムが記録媒体などに記録されていて、該記録媒体などからプログラムがコンピュータシステムに読み込まれてＣＰＵによって実行されることにより、本発明が実施される。
【００７５】
【発明の効果】
以上、説明したように、本発明によれば、以下のような効果が得られる。
（１）画質優先のタイル境界歪み抑制方法として適応的ポストフィルタ方式を用い、処理速度優先のタイル境界歪み抑制方法として一様なポストフィルタ方式を用い、利用者が何れかの方式を選択できるように構成しているので、多数の利用者の要求を満たすタイル境界歪み方式が実現できる。
（２）タイル境界歪み抑制機能のＯＮ／ＯＦＦを利用者が指定できるので、より処理速度優先の利用者に対しても満足できる表示速度で復号画像を表示することができる。
（３）画質の高低、処理速度の高低によりタイル境界歪み方式を選択できるので、最適なタイル境界歪み抑制を用いることにより、利用者にとって最適な再生画像を得ることができる。
（４）画質調整機能が豊富な適応的ポストフィルタ方式と画質調整操作が不要な方式を搭載することにより、画質調整操作が煩わしくても高画質な伸張画像を望むユーザと、細かな調整操作が面倒なユーザに対しても、満足な復号画像が再生できる。
（５）ＲＯＩ領域内のみに適応的ローパスフィルタを施すことにより、タイル境界歪み抑制に要する処理時間を短縮することができる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００アルゴリズムの基本を説明するための図である。
【図２】タイル分割されたカラー画像の各コンポーネントの例を示す。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示す。
【図４】コードストリームの構造を示す。
【図５】プレシンクトとコード・ブロックの関係を説明する図である。
【図６】ウエーブレット係数値をビットプレーンに順位付けする手順を示す。
【図７】本発明の実施例１に係る伸長部の構成を示す。
【図８】圧縮伸張画像表示ツールを示す。
【図９】タイル境界平滑化部７の具体例を示す。
【図１０】タイル境界平滑化部８の具体例を示す。
【図１１】本発明の実施例２に係る伸長部の構成を示す。
【図１２】タイル境界からの距離の算出方法を説明する図である。
【図１３】画素間距離によるローパスフィルタ制御を説明する図である。
【図１４】タイル境界からの距離とエッジ量によるローパスフィルタ制御を説明する図である。
【図１５】本発明の実施例３に係る伸長部の構成を示す。
【図１６】圧縮伸張画像表示ツールの他の例を示す。
【図１７】本発明の実施例４に係る伸長部の構成を示す。
【図１８】補正タイル境界限定部でローパスフィルタをかけるタイル境界を限定する第１の例を示す。
【図１９】補正タイル境界限定部でローパスフィルタをかけるタイル境界を限定する第２の例を示す。
【符号の説明】
１タグ処理部
２エントロピー復号化部
３逆量子化部
４２次元ウェーブレット逆変換部
５色空間逆変換部
６タイル境界歪み除去方式選択部
７画質優先モードのタイル境界平滑化部
８処理速度優先モードのタイル境界平滑化部

Claims

画像をブロックに分割し、ブロック毎に圧縮伸長する手段と、ブロック境界の歪みを抑制する手段とを備え、前記抑制する手段は、所定の領域毎にブロック境界歪み抑制のためのローパスフィルタのオン／オフを制御し、前記ローパスフィルタを施す領域は、ブロック境界近傍のＲＯＩ領域内部であることを特徴とする画像処理装置。
前記ＲＯＩ領域のブロック境界からの距離に応じてＲＯＩ領域内のタイル境界近傍の画素にかけるローパスフィルタの強度を制御することを特徴とする請求項１記載の画像処理装置。
前記ＲＯＩ領域のブロック境界からの距離とＲＯＩ領域のタイル境界近傍画素におけるエッジ量に応じてＲＯＩ領域内のタイル境界近傍の画素にかけるローパスフィルタの強度を制御することを特徴とする請求項１記載の画像処理装置。
画像をブロックに分割し、ブロック毎に圧縮伸長する工程と、ブロック境界の歪みを抑制する工程とを備え、前記抑制する工程は、所定の領域毎にブロック境界歪み抑制のためのローパスフィルタのオン／オフを制御し、前記ローパスフィルタを施す領域は、ブロック境界近傍のＲＯＩ領域内部であることを特徴とする画像処理方法。
請求項４記載の画像処理方法をコンピュータに実現させるためのプログラム。
請求項４記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。