JP4123356B2 - 画像処理装置、画像処理プログラム、記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、入力されたデジタル画像をプリンタやディスプレイ装置などへ印刷出力または表示出力する際の画質を改善する技術に関するものである。
【０００２】
【従来の技術】
近年、デジタルカメラ、スキャナ、電子文書、ＨＴＭＬ文書などのデジタル情報の流通により、デジタル画像（以下、単に画像と呼ぶ）を高品質に表示したり印刷することが求められている。これらの画像には、ボケ、ジャギー、ノイズなどといった多くの劣化成分が含まれており、そのような画像を高画質に表示、印刷する際には、ボケの補正、アンチエイリアス（ジャギー補正）、ノイズ除去などの画質改善処理が必要となる。例えば、デジタルカメラの画像には、光学限界から派生するボケ、ジャギー、ノイズが含まれている場合がある。また、多く利用されているＪＰＥＧ圧縮が施された画像などの場合、更にモスキートノイズやブロックノイズと呼ばれる、画像処理に起因するノイズが発生する。そのため、これらを除去する処理が必要である。また、文字認識や画像診断（医用画像）などの分野では、認識の前にノイズの除去やボケの修正などの処理が必要となる。
【０００３】
画質を改善する技術として、エッジ強調処理、アンチエイリアス処理、ノイズ除去処理などがある。これらの画質改善処理は従来から多数開示されている。一例を示すと、次のようなものがある。
【０００４】
エッジ強調処理としては、例えば、特許文献１には、ブロック内の最小値と最大値を検出し、これらの値の範囲内に制限して２次微分フィルタを用いて画素値を変換し、エッジ強調を行う方法が記載されている。また特許文献２には、異なる間引き間隔で間引いた複数の画像から最大値か最小値を選択することで予測理想エッジ強調画素値を求める方法が記載されている。
【０００５】
また、アンチエイリアス（ジャギーの補正）処理としては、例えば特許文献３には、２値画像の注目ドットを含む所定範囲のドットパターンを所定のパターンと比較し、比較結果に基づいてドットのデータを変更して欠落ドット或いは突き出しドットを生成する手法が記載されている。また特許文献４には、ジャギー部の突き出た三角形を、凹んだ部分に移動させてエッジを滑らかにし、ローパスフィルタを施すという方法が記載されている。
【０００６】
さらに、ノイズ除去処理としては、例えば特許文献５には、符号化時の圧縮ブロックの境界周囲の画素に対して、画素値の平均変動とブロック境界画素の変動を元にブロックノイズ部を選定し、これらの変動を元にして得られた定数を重畳して、平均変動とブロック境界変動値を一致させてブロックノイズを低減し、更にエッジ強調処理を行う方法が記載されている。また特許文献６に記載されているように、Ｘ線医用画像について線状陰影の存在確率が高い画素には、フィルタのスムージング効果を低く抑えてコントラストの低下を防ぎ、一方、線状陰影の存在確率が低く、背景ノイズである確率が高い画素に対しては、フィルタのスムージング効果を高くしてノイズを効果的に低減するという方法もある。
【０００７】
しかしながら、これらの従来の画質改善処理を用いる場合、主に個別には画質上の問題点を解決できるものの、総合的に画質を改善しようとする場合には、ボケ部、ジャギー部、ノイズ部をそれぞれ認識し、それぞれ異なる手法を同時に、あるいは順番に使用して高画質化する必要がある。そのため、処理が複雑となったり、画質が一定でないなどの問題がある。また、異なる手法を組み合わせて使用する場合、処理が切り替わる境界部分での段差が不自然に変化して目立つという問題がある。更に、各部分の認識の際に誤認識されて処理された場合には、原画像の劣化成分よりも更に劣化してしまう場合がある、という問題がある。
【０００８】
画質改善技術の関わる別の側面として、前記のデジタルカメラ、スキャナ、電子文書、ＨＴＭＬ文書を拡大して出力する場合や、更には、ＨＤＴＶ（高解像度テレビ）、ＮＴＳＣ方式のテレビ、電子スティルカメラ、医用画像システム、印刷用画像システムなどの解像度の異なるメディアを結ぶ場合には、画像拡大（解像度変換）技術が必要となる。画像は様々な解像度を持っており、また、印刷したり、ディスプレイに表示する際に使用するプリンタや表示装置などの出力装置はそれぞれ固有の解像度を有している。そのため、相互の解像度間での解像度変換が必要である。具体的には、例えばディスプレイ上で閲覧するための７５ｄｐｉの画像を６００ｄｐｉのプリンタに出力するためには８倍の拡大が必要となる。こうした拡大処理の一例として、特願２００１−３４１４３２号や、特願２００２−０７９３８８号の拡大手法が挙げられる。これらの拡大処理の手法を用いることによって、原画像を忠実に保ちながら高画質な拡大処理を行うことができる。
【０００９】
しかしながら、画像を拡大する際には、その画像に上述のようなボケ、ジャギー、ノイズなどの劣化成分が含まれている場合、仮に拡大アルゴリズムでエッジが滑らかに拡大されたとしても、その効果以上に、劣化成分がそのまま拡大されることによる画質低下が目立つ場合があり、こうした場合には拡大アルゴリズムの効果を充分に享受することができない。また、上記した従来の画質改善処理を前処理として使用して、劣化成分を予め除去してから拡大したとしても、画像拡大処理との整合性がないと、効果を充分に享受することができない。
【００１０】
以上を総合すると、従来技術ではボケ部、ジャギー部、ノイズ部を単一の手法で処理することはできない。そのため、例えばボケ部、ジャギー部、ノイズ部を認識し、それぞれ異なる手法を使用して高画質化する必要があり、処理が複雑となったり、画質が一定でないなどの問題がある。また、異なる手法を組み合わせて使用する場合、処理が切り替わる境界部分での段差が不自然に変化して目立つという問題がある。更に、各部分の認識の際に誤認識されて処理された場合には、原画像の劣化成分よりも更に劣化してしまう場合がある。また、これらの画質改善処理は、その後で画像拡大を行うことを前提としていないため、拡大アルゴリズムにおいて高画質に拡大できるように画質が改善されない場合があるという問題がある。
【００１１】
【特許文献１】
特開平７−６６９７７号公報
【特許文献２】
特開２０００−２００３４９号公報
【特許文献３】
特開平５−２７６３８２号公報
【特許文献４】
特開平７−２８８６９３号公報
【特許文献５】
特開平１０−２２９５４６号公報
【特許文献６】
特開平１０−２２９５４６号公報
【００１２】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、画像のボケ、ジャギー、ノイズなどの劣化成分を、単一の手法で総合的に高品質に改善し、更に、画像拡大を行う際に、高画質に拡大できるように、これらの劣化成分を改善する画像処理装置、画像処理プログラムと、その画像処理プログラムを格納した記憶媒体を提供することを目的とするものである。
【００１３】
【課題を解決するための手段】
本発明は、多数の画素で表現された原画像を処理して改善画像を得る画像処理装置であって、原画像から第１のブロック単位Ｄの大きさでドメインブロック画像をドメインブロック抽出手段で抽出し、第２のブロック単位Ｒでレンジブロック画像をレンジブロック抽出手段で抽出する。さらに、抽出されたレンジブロック画像を第１のブロック単位の大きさに縮小し、ドメインブロック画像と縮小されたレンジブロック画像との類似度として縮小されたレンジブロック画像を一次式ａｚ＋ｂで対応するドメインブロック画像に最小二乗近似した際の最小二乗係数ａ、ｂを類似度判定手段で求め、その最小二乗係数ａ、ｂを用いて、縮小されたレンジブロック画像の画素値を一次式ａｚ＋ｂで変換することにより改良ドメインブロック作成手段で改良ドメインブロック画像を作成する。このようにして作成された改良ドメインブロック画像を用いて、画質改善画像を得ることができる。
【００１４】
上記構成において、さらにドメインブロック画像の画素値の標準偏差と凹凸度に応じてドメインブロックを分類するドメインブロック分類手段を設け、予め定めた種類に分類されたドメインブロック画像以外はそのままドメインブロック画像を改良ドメインブロック画像として出力して処理を省略することができる。分類する種類としては、平坦部、ステップエッジ部、ノイズ部、テクスチュア部とすることができ、予め定めた種類としては、ステップエッジ部あるいはノイズ部またはその両方とすることができる。
【００１５】
レンジブロック抽出手段は、ドメインブロック抽出手段で抽出されたドメインブロック画像を含むように、レンジブロック画像を抽出する。また、１つのドメインブロック画像に対して複数のレンジブロック画像を抽出し、それぞれのレンジブロック画像について縮小を行い、複数の縮小されたレンジブロック画像のうちドメインブロック画像と最も類似度が高いと判定された縮小されたレンジブロック画像を選択して改良ドメインブロック画像を作成するように構成することができる。このとき、類似度判定手段は、縮小されたレンジブロック画像の画素値ｚを一次式ａｚ＋ｂによりドメインブロック画像の画素値に最小二乗近似した際に、最小二乗誤差が最も小さい縮小されたレンジブロック画像を最も類似度が高い最類似縮小レンジブロック画像であると判定することができる。
【００１６】
改良ドメインブロック作成手段は、抽出されたレンジブロック画像を第１のブロック単位の大きさに縮小したレンジブロック画像とドメインブロック画像との関係（例えば類似関係）、及びドメインブロックの分類結果に基づいて、改良ドメインブロックを作成する。例えば類似度判定手段において得られた最類似縮小レンジブロック画像に対応する最小二乗係数ａ、ｂを用いて、最類似縮小レンジブロック画像の画素値を一次式ａｚ＋ｂで変換することにより、改良ドメインブロック画像を作成することができる。
【００１７】
さらに上記構成において、改良ドメインブロック画像内の画素値の最大値と最小値の関係及び改良ドメインブロック画像のエッジ度とから、改良ドメインブロック画像に対してエッジ強調手段でエッジ強調処理を行うことができる。このエッジ強調処理は、例えばドメインブロック画像がステップエッジ部に分類された場合に施すように構成することができる。エッジ強調の処理は、改良ドメインブロック画像内の最大画素値と最小画素値の平均値を取り、エッジ強調の強度に従い、平均値よりも大きい画素値を平均値との距離に応じてより大きく変換し、平均値よりも小さい画素値を平均値との距離に応じてより小さく変換するように行うことができる。この時のエッジ強調の強度は、ドメインブロック画像中の画素値の標準偏差の値が小さい場合には強く、標準偏差の値が大きい場合には弱くなるように設定することができる。
【００１８】
さらにまた、ドメインブロック画像を原画像上で共通部分を有するように抽出し、それぞれのドメインブロック画像に対応する改良ドメインブロック画像が重複する画素について平均値を平均値演算手段で演算するように構成することができる。
【００１９】
また、原画像がカラー画像の場合、原画像の各色成分について相対的に同一の位置からレンジブロック画像を抽出するように構成することができる。
【００２０】
また本発明は、上述のような画像の画質改善処理を行う画像処理をコンピュータに実行させる画像処理プログラムを提供するものである。さらに、このような画像処理プログラムを格納した記憶媒体を提供するものである。
【００２１】
【発明の実施の形態】
図１は、本発明の実施の一形態を含むシステムの一例を示すブロック図である。図中、１は画像入力部、２はメモリ部、３は画質改善処理部、４は画像出力部、５は制御部、３１はドメインブロック抽出部、３２はドメインブロック分類部、３３はレンジブロック抽出部、３４は縮小レンジブロック作成部、３５は類似度判定部、３６は改良ドメインブロック作成部、３７はエッジ強調処理部、３８は平均値演算部である。
【００２２】
画像入力部１は、図１に示したシステムの外部からデジタル化された画像データを入力し、メモリ部２に転送する。メモリ部２は、画像入力部１から入力された画像データや、画質改善後の画像データ、さらに画質改善処理に用いられる各種の途中演算結果や処理パラメータなどを保持する。画質改善処理部３は、メモリ部２に保持された処理対象の画像に対して画質改善処理を施す。画像出力部４は、画質改善処理部３により画質が改善された画像データなどを、図１に示したシステムの外部に出力する。制御部５は、各部の処理を制御する。
【００２３】
画質改善処理部３は、ドメインブロック抽出部３１、ドメインブロック分類部３２、レンジブロック抽出部３３、縮小レンジブロック作成部３４、類似度判定部３５、改良ドメインブロック作成部３６、エッジ強調処理部３７、平均値演算部３８などを含んで構成されている。画質改善処理部３から出力される改良ドメインブロック画像はメモリ部２に書き込まれるが、このとき、同じ画素について先に書き込まれている値に対して新たな改良ドメインブロック画像の画素値を加算して値を更新してゆく。以下、各部の概要を説明する。なお、詳細については後述する。
【００２４】
ドメインブロック抽出部３１は、原画像から第１のブロック単位の大きさでドメインブロック画像を抽出する。このとき、それぞれのドメインブロック画像が重ならないように原画像を分割するほか、原画像上で共通部分を有するようにドメインブロック画像を抽出することもできる。また、原画像がカラー画像である場合には、原画像の各色成分について、相対的に同一の位置からレンジブロック画像を抽出する。
【００２５】
ドメインブロック分類部３２は、ドメインブロック抽出部３１で抽出したドメインブロック画像の種類を分類する。分類は、例えばドメインブロック画像の標準偏差及び凹凸度などに基づいて行うことができる。分類する種類としては、例えば平坦部、ステップエッジ部、ノイズ部、テクスチュア部などに分類することができる。なお、画像のボケやジャギーなどの画質劣化は主にステップエッジ部に発生し、またノイズはノイズ部において発生している。従って、ステップエッジ部及びノイズ部に対して画質改善のための処理を行えば全体として画質の向上を図ることが可能である。そのため、例えばステップエッジ部及びノイズ部などの所定の種類以外、例えば平坦部やテクスチュア部などでは、以下の処理を行わずに原画像のドメインブロック画像をそのまま改良ドメインブロック画像として出力するように制御し、処理時間を短縮することが可能である。また、例えば画像のボケやジャギーなどの画質劣化のみを改善するのであればステップエッジ部のみについて以下の画質改善を行えばよいし、例えばノイズのみを改善するのであればノイズ部のみについて以下の画質改善を行えばよい。なお、このようなドメインブロック画像の分類による処理の制御を行わず、また後述するエッジ強調処理部３７によるエッジ強調処理を行わなければ、このドメインブロック分類部３２を設けずに構成することも可能である。
【００２６】
レンジブロック抽出部３３は、ドメインブロック分類部３２で抽出したドメインブロック画像について、第１のブロック単位よりも大きな第２のブロック単位で原画像からレンジブロック画像を抽出する。なお、ドメインブロック分類部３２から一部の種類、例えばステップエッジ部またはノイズ部あるいはその両方の種類のドメインブロック画像が渡される場合には、それらのドメインブロック画像についてのみ、レンジブロック画像の抽出を行うことになる。また、抽出するレンジブロック画像は、ドメインブロック画像を含むように抽出する。このとき、１つのドメインブロック画像に対して複数のレンジブロック画像を抽出してもよい。
【００２７】
縮小レンジブロック作成部３４は、レンジブロック抽出部３３で抽出したレンジブロック画像を、ドメインブロック画像と同じ第１のブロック単位の大きさに縮小し、縮小レンジブロック画像を作成する。縮小方法は任意である。なお、レンジブロック抽出部３３で複数のレンジブロック画像を抽出している場合には、それぞれのレンジブロック画像について縮小を行う。
【００２８】
類似度判定部３５は、縮小レンジブロック作成部３４により縮小した縮小レンジブロック画像と、ドメインブロック抽出部３１で抽出したドメインブロック画像との類似度を判定し、類似度に関する情報を改良ドメインブロック作成部３６に渡す。類似度の判定は任意であるが、例えば、縮小レンジブロック画像の画素値ｚを一次式ａｚ＋ｂによりドメインブロック画像の画素値に最小二乗近似した際の最小二乗誤差を用いることができる。この時の最小二乗係数ａ，ｂを改良ドメインブロック作成部３６に渡すように構成することができる。なお、レンジブロック画像が複数抽出されている場合、ドメインブロック画像と最も類似度が高い縮小レンジブロック画像を選択する。上述のような最小二乗誤差を用いる場合、その最小二乗誤差が最小の縮小レンジブロック画像を最類似縮小レンジブロック画像として選択すればよい。
【００２９】
改良ドメインブロック作成部３６は、縮小レンジブロック作成部３４で作成された縮小レンジブロック画像に対して、類似度判定部３５で得られた類似度に関する情報を元に画素値の変換を行い、画素値変換の結果を改良ドメインブロック画像として出力する。例えば類似度判定部３５で最小二乗誤差を計算している場合、そのとき得られた最小二乗係数ａ、ｂを用いて縮小レンジブロック画像（最類似縮小レンジブロック画像）の画素値を一次式ａｚ＋ｂで変換することにより改良ドメインブロック画像を作成する。
【００３０】
エッジ強調処理部３７は、ドメインブロック分類部３２においてステップエッジ部に分類されたドメインブロック画像に対応する改良ドメインブロック画像に対して、改良ドメインブロック画像内の画素値の最大値と最小値の関係及び前記改良ドメインブロック画像のエッジ度とからエッジ強調処理を行う。具体的には、改良ドメインブロック画像内の最大画素値と最小画素値の平均値を取り、エッジ強調の強度に従い、平均値よりも大きい画素値を平均値との距離に応じてより大きく変換し、平均値よりも小さい画素値を平均値との距離に応じてより小さく変換することができる。このときのエッジ強調の強度は、ドメインブロック画像中の画素値の標準偏差の値が小さい場合には強く、標準偏差の値が大きい場合には弱くなるように設定することができる。
【００３１】
平均値演算部３８は、ドメインブロック抽出部３１でドメインブロック画像を抽出する際に原画像上で重なりをもって抽出されている場合に、改良ドメインブロック画像が重複する画素について平均値を演算する。この演算は、メモリ部２への書き込み前に重複する回数によって除算を行ってから、先にメモリ２に書き込まれている値と加算したり、あるいは、メモリ２に順次加算しながら改良ドメインブロック画像が書き込まれた後に、除算を行ってもよい。
【００３２】
以下、本発明の主要部である画質改善処理部３について、図を参照しながらいくつかの例について詳細に説明してゆく。まず第１の例として、２５６階調グレー画像を画質改善する具体的な処理について説明する。図２は、本発明の実施の一形態における画質改善処理部３の動作の一例を示すフローチャート、図３は、同じく模式図である。動作を開始する前の準備として、画質改善処理の対象となる原画像と同サイズの画質改善後の画像を記憶するためのメモリ領域をメモリ部２中に確保し、０で初期化しておく。これは、画質改善処理部３から出力される改良ドメインブロック画像（エッジ強調処理を行ったものを含む）を加算して書き込んでゆくために行うものである。
【００３３】
Ｓ６１において、ドメインブロック抽出部３１により原画像の中からドメインブロック画像を抽出する。図４は、ドメインブロック抽出部３１で抽出されるドメインブロック画像の一例の説明図である。ここでは第１のブロック単位の大きさを３×３画素とし、３×３画素の大きさのドメインブロック画像を抽出している。なお、図３（Ａ）においても、３×３画素のドメインブロック画像を太線で示している。ここでは、原画像の端から１画素ずつずらした３×３画素の大きさのドメインブロック画像を順次抽出してゆく。そして、抽出したドメインブロック画像を処理対象とし、以下の処理によって画質を改善し、作成される改良ドメインブロック画像をメモリ部２内のドメインブロック画像に対応する位置に加算して書き込んでゆく。以下の説明では、１つのドメインブロック画像についての処理を説明してゆく。
【００３４】
Ｓ６２では、ドメインブロック分類部３２により、Ｓ６１で抽出したドメインブロック画像の種類を分類する。図５は、ドメインブロック分類部３２におけるドメインブロック画像の分類処理の一例を示すフローチャートである。まずＳ８１において、ドメインブロック画像内の画素値｛ｄ_ij｜ｉ，ｊ＝１，２，３｝について、画素平均値Ｄｖ＝Σｄ_ij／９並びに画素標準偏差ＶＤｖ＝Σ（ｄ_ij−Ｄｖ）² を求める。Ｓ８２において、Ｓ８１で得られた画素値標準偏差Ｖｄｖが、予め定めたノイズ部判定用閾値Ｓｖ１、Ｓｖ２に対して、Ｓｖ１＜Ｖｄｖ＜Ｓｖ２を満たしているか否かを判定し、満たしていた場合にはＳ８３でドメインブロック画像をノイズ部に分類する。満たしていない場合には、更にＳ８４において、予め定めたエッジ部判定用閾値Ｓｖ３に対して、Ｖｄｖ＜Ｓｖ３を満たしているか否かを判定し、満たしている場合にはＳ８５においてドメインブロック画像を平坦部に分類する。
【００３５】
更にＳ８４の条件も満たさない場合には、Ｓ８６においてテクスチュア判定計算を行い、テクスチュア部かエッジ部に分類する。ここで、テクスチュア判定計算としては、例えば次の方法を取ることができる。まず、ドメインブロック画像を中央位置に含むように原画像から５×５ブロックを選択し、その５×５ブロック画素値｛ｐ_ij｜ｉ，ｊ＝１，２，３，４，５｝に対して、横方向凹凸度Ｗｈ、縦方向凹凸度Ｗｖを、
Ｗｈ＝Σ_j=1 ⁵Σ_i=1 ³ｓｉｇｎ((ｐ_ij−ｐ_i+1j)×(ｐ_i+1j−ｐ_i+2j))
Ｗｖ＝Σ_i=1 ⁵Σ_j=1 ³ｓｉｇｎ((ｐ_ij−ｐ_ij+1)×(ｐ_ij+1−ｐ_ij+2))
で定める。ここで、関数ｓｉｇｎは、入力された値が０よりも小さければ１を返し、それ以外の場合には０を返す関数である。次に、予め定めたテクスチュア判定用閾値Ｓｖ４に対して、Ｗｈ＋Ｗｖ＜Ｓｖ４を満たしているか否かを判定し、満たしていればＳ８７においてエッジ部として分類し、そうでないならばＳ８８でテクスチュア部として分類する。
【００３６】
横方向凹凸度Ｗｈ、縦方向凹凸度Ｗｖは、５×５ブロック内の全ての連続する３画素に対して、その３画素が凹か凸の形をしているか否かを逐一判定して総和を取ったものであり、Ｗｈ＋Ｗｖ値が大きいほどブロック内に凹凸があることを意味している。
【００３７】
上述の判定用閾値Ｓｖ１〜Ｓｖ４は、最適なものを選択して固定しておいても良いし、ＪＰＥＧ画像など、ノイズの成分が画像によって変化する場合には、例えばＳｖ１、Ｓｖ２を画像毎に可変最適化しても良い。可変とする場合には、例えばＪＰＥＧ画像のヘッダ部からＪＰＥＧの圧縮品質を表すＱファクタを読み取り、その値に応じて閾値を取ることもできる。また、Ｓｖ３≦Ｖｄｖとなった場合、ドメインブロック画像はエッジ部またはテクスチュア部に分類されるが、Ｓｖ３を若干小さ目に取ることによって、ボケたエッジ部が平坦部に分類されずにエッジ部と認識されるようにすることができる。すなわちこの場合には、ジャギーの強いエッジ部とボケの強いエッジ部は同じ「エッジ部」として分類することになる。なお、テクスチュア部とエッジ部の分類手法は、ここに述べた限りではなく、その他の手法を使用しても良い。例えば、Ｗｈ＋Ｗｖの代わりにＷｈ、Ｗｖのうちの最大値ｍａｘ｛Ｗｈ、Ｗｖ｝を使用しても良いし、新たに斜め方向の凹凸度を導入し、それを加味しても良い。
【００３８】
図２に戻り、Ｓ６３において、ドメインブロック画像の分類結果がエッジ部あるいはノイズ部であるか否かを判定する。分類結果がエッジ部あるいはノイズ部であったドメインブロック画像については、以下の画質改善処理を行う。また、分類結果がエッジ部あるいはノイズ部以外、すなわち平坦部あるいはテクスチュア部であると判定されたドメインブロック画像については、画質改善処理を行わずにＳ７０に進み、ドメインブロック画像をそのまま改良ドメインブロック画像として、メモリ部２の画質改善後の画像を記憶するためのメモリ領域へ加算書き込みを行う。
【００３９】
Ｓ６４では、レンジブロック抽出部３３により原画像からドメインブロック画像を含むレンジブロック画像を抽出する。ここでは一例として、第２のブロック単位として４×４画素とする。図６は、レンジブロック抽出部３３で抽出するレンジブロック画像の一例の説明図である。レンジブロック画像の大きさを４×４画素とし、５×５画素の範囲をレンジブロック画像の抽出範囲とした場合、３×３画素の大きさのドメインブロック画像を含むレンジブロック画像としては、図６（Ａ）〜（Ｄ）に示すような４つのレンジブロック画像の抽出が可能である。なお、図３（Ａ）では図６（Ｂ）に示した例を記載している。
【００４０】
Ｓ６５では、Ｓ６４で抽出したすべてのレンジブロック画像について、縮小レンジブロック作成部３４によりドメインブロック画像と同じ大きさにそれぞれ縮小する。上述のように、ここではドメインブロック画像のサイズを３×３画素としているので、４×４画素のレンジブロック画像を３×３画素の縮小レンジブロック画像に縮小することになる。縮小方法としては任意であるが、ここでは一例として投影法を用いることとする。なお、特に投影法を用いた場合には、隣り合う画素値を面積比に応じて加重加算して縮小するため、本発明におけるアンチエイリアス処理（ジャギーの補正）、ノイズ除去処理を特に効果的に行うことができる。
【００４１】
図７は、縮小レンジブロック作成部３４における投影法による縮小処理の一例の説明図である。ここでの投影法による縮小処理は、例えば図７（Ａ）に一部示すように、４×４画素の画像を３×３画素の画像に投影した際の領域比率に基づいて、画素値を加重加算することによって行う。図７（Ｂ）に示す４×４サイズの画素値を｛Ｐ_ij｜ｉ，ｊ＝１，２，３，４｝、図７（Ｃ）に示す縮小後の３×３サイズの画素値を｛Ｑ_ij｜ｉ，ｊ＝１，２，３｝とした場合に、各Ｑ_ijは、
Ｑ₁₁＝（９×Ｐ₁₁＋３×Ｐ₂₁＋３×Ｐ₁₂＋１×Ｐ₂₂）／１６
Ｑ₂₁＝（６×Ｐ₂₁＋６×Ｐ₃₁＋２×Ｐ₂₂＋２×Ｐ₃₂）／１６
Ｑ₃₁＝（３×Ｐ₃₁＋３×Ｐ₄₂＋９×Ｐ₄₁＋１×Ｐ₃₂）／１６
Ｑ₁₂＝（６×Ｐ₁₂＋６×Ｐ₁₃＋２×Ｐ₂₂＋２×Ｐ₂₃）／１６
Ｑ₂₂＝（４×Ｐ₂₂＋４×Ｐ₃₂＋４×Ｐ₂₃＋４×Ｐ₃₃）／１６
Ｑ₃₂＝（６×Ｐ₄₂＋６×Ｐ₄₃＋２×Ｐ₃₂＋２×Ｐ₃₃）／１６
Ｑ₁₃＝（９×Ｐ₁₄＋３×Ｐ₁₃＋３×Ｐ₂₄＋１×Ｐ₂₃）／１６
Ｑ₂₃≡（２×Ｐ₂₃＋２×Ｐ₃₃＋６×Ｐ₂₄＋６×Ｐ₃₄）／１６
Ｑ₃₃＝（３×Ｐ₄₃＋３×Ｐ₃₄＋９×Ｐ₄₄＋１×Ｐ₃₃）／１６
で与えられる。
【００４２】
一般にドメインブロック画像と、そのドメインブロック画像を含むレンジブロック画像とは類似していることが予想される。このような仮定が成り立つ場合には、縮小の処理によってノイズは周囲の画素との加重加算によって除去される。また、画素数の減少によって階調の段差は顕在化し、エッジ部分が強調されて、ボケはある程度軽減される。さらに強いエッジ部に現出するジャギーは加重加算によってある程度軽減される。しかし、これはドメインブロック画像とレンジブロック画像とが類似していることが前提である。そのため、次のステップでドメインブロック画像に類似しているレンジブロック画像を選択する。
【００４３】
図２に戻り、Ｓ６６では、類似度判定部３５において、Ｓ６５でそれぞれのレンジブロック画像から作成した縮小レンジブロック画像とドメインブロック画像との類似度を判断する。ここでは、縮小レンジブロック画像に対して画素値変換を行うことにより、ドメインブロック画像と最も類似した画素値及びパターンを持つ縮小レンジブロック画像の選出と、そのとき得られる類似度に関する情報の取得を行う。まず、全ての縮小レンジブロック画像の画素値｛ｒ_ijk ｜ｉ，ｊ＝１，２，３，ｋ＝１，…，４｝について、それぞれ画素平均値Ｒｖ_k ＝Σｒ_ijk ／９、並びに、画素標準偏差ＶＲｖ_k ＝Σ（ｒ_ijk −Ｒｖ_k ）² を求める。次に、縮小レンジブロック画像の画素値ｚをそれぞれ一次変換ａｚ＋ｂで対応するドメインブロック画像の画素値に最小二乗近似した際の変換係数ａ_k とｂ_k 、並びに変換誤差Ｅ_k ＝Σ（ｄ_ij−ａ_k ×ｒ_ijk −ｂ_k ）² を求める。最小二乗法において、ａ_k 、ｂ_k 、Ｅ_k は以下の計算式で直接求めることができる。なお、Ｄｖ、Ｖｄｖは、ドメインブロック分類部３２で計算したものを使うことができる。
ａ_k ＝（Σ（ｒ_ijk −Ｒｖ_k ）×（ｄ_ij−Ｄｖ））／ＶＲｖ_k
ｂ_k ＝Ｄｖ−ａ_k ×Ｒｖ_k
Ｅ_k ＝ＶＤｖ−ａ_k ×ａ_k ×ＶＲｖ_k
【００４４】
ここで、ａ_k の値に制限を設ける。ここでは、以下のような条件式を用いる。
−１０≦ａ_k ≦１０
各ａ_k （ｋ＝１，…，４）に対して、ａ_k が上記の許容される範囲に含まれるか否かをチェックし、含まれるもののみを集めて集合Ｇとする。次に、Ｅ＝ｍｉｎ｛Ｅ_k ｜ｋ∈Ｇ｝とおき、Ｅ＝Ｅ_k なるｋに対して、ａ＝ａ_k 、ｂ＝ｂ_k とおく。このｋが指し示す縮小レンジブロック画像が最もドメインブロック画像と類似したものとなる。なお、実際にはｂ_k はＥ_k の決定に必要ないので、Ｅ_k が最小となるｋが求まり、最終的にａ_k が決まった後にｂ_k を計算すれば良い。
【００４５】
Ｓ６７では、改良ドメインブロック作成部３６により、類似度判定部３５において選択された３×３サイズの縮小レンジブロック画像の全画素ｚに対して、類似度判定部３５において求められた変換係数ａ、ｂによって画素値変換ａｚ＋ｂを施す。この結果を図３（Ｄ）に示すように３×３画素のドメインブロック画像の改良ドメインブロック画像とする。
【００４６】
このような処理において、得られた改良ドメインブロック画像はレンジブロック画像から作成されたものである。しかし、上述のようにドメインブロック画像とレンジブロック画像が類似していれば、縮小レンジブロック画像はノイズが軽減され、ボケやジャギーが存在していればある程度軽減された画像である。さらに、改良ドメインブロック作成部３６で作成した改良ドメインブロック画像では、画素値変換によってドメインブロック画像に類似させた（最小二乗近似させた）画像となっている。従って、改良ドメインブロック画像は、ドメインブロック画像について画質を改良した画像であると言うことができる。
【００４７】
上述の処理はエッジ部とノイズ部に一律に処理を施した。さらにエッジ部の画質を向上させるため、エッジ強調処理部３７によるエッジ強調処理を施すことができる。Ｓ６８で対応するドメインブロック画像の種類がエッジ部であるか否かを判定し、エッジ部である場合には、Ｓ６９において、エッジ強調処理部３７により改良ドメインブロック画像に対してエッジ強調処理を行う。ここでは、改良ドメインブロック画像内の画素値の中間値ａｖに対して、ａｖよりも大きな画素値はより大きく、ａｖよりも小さい画素値はより小さくすることによってエッジ強調処理を行う。
【００４８】
図８は、エッジ強調処理部３７におけるエッジ強調処理の一例の説明図である。図８（Ａ）に示す３×３画素の改良ドメインブロック画像ｐ_ij（ｉ，ｊ＝１，２，３）に対して、画素最小値ｍｉｎｐ及び画素最大値ｍａｘｐを
ｍｉｎｐ＝ｍｉｎ｛ｐ_ij｝
ｍａｘｐ＝ｍａｘ｛ｐ_ij｝
とおき、更に
ａｖ＝（ｍａｘｐ＋ｍｉｎｐ）／２
ｌ＝（ｍａｘｐ−ｍｉｎｐ）／２
とおく。
【００４９】
このとき、以下の演算によって図８（Ｃ）に示すエッジ強調画素値ｑ_ij（ｉ，ｊ＝１，２，３）が得られる。
ｑ_ij＝ａｖ＋ｆ（（ｐ_ij−ａｖ）／ｌ）・ｌ
ここで、エッジ強調関数ｆとしては、図８（Ｂ）に示したように原点（０，０）を中心にＳ字型をした関数を用いる。例えば、
ｆ（ｘ）＝ｘ（１−ｘ² ）・α＋ｘ （α＝０．０〜３．０）
などの関数を使用することができる。変数αはエッジ強調の強度を規定するパラメータであり、この場合は０．０〜３．０の値を取ることができる。なお、α＞０．５の場合には、関数が単調増加でなくなるため、オーバーシュート／アンダーシュートが発生しやすくなるという欠点があるものの、エッジ強調の効果を大きくすることができる。α＝０．０とした場合には、実質上エッジ強調がなされず、α値が大きいほど強いエッジ強調効果が与えられる。α値は固定にしておいても良いし、エッジ部の強度に対応する画素値標準偏差ＶＤｖ値の逆数に比例するように可変にしても良い。このようにすると、ボケた部分（すなわち標準偏差が小さい部分）には強めのエッジ強調が掛かり、もともとシャープな部分（すなわち標準偏差が大きい部分）には弱めにエッジ強調が掛かるように調整することができる。もちろん、ｆ（ｘ）として、この他の関数を使用することもでき、エッジ強調のパラメータは各関数固有に定めることができる。例えばエッジ強調を行うか否かを切り替えるような構成も可能である。
【００５０】
Ｓ７０では、以上のようにしてエッジ強調処理を施した改良ドメインブロック画像を、メモリ部２中の画質改善画像用領域に対して加算書き込みを行う（図２（Ｆ））。エッジ強調処理を行わない場合には、改良ドメインブロック作成部３４で作成された改良ドメインブロック画像自体を、また分類された種別がエッジ部及びノイズ部以外のテクスチュア部や平坦部であった場合にはドメインブロック抽出部３１で抽出したドメインブロック画像自体を、メモリ部２中の画質改善用領域に加算書き込みを行う。加算書き込みは、書き込む領域の画素値をメモリ部２から読み出し、読み出した画素値と得られた改良ドメインブロック画像等の画素値とを加算し、改めて同じ位置に書き込むことによって行われる。
【００５１】
Ｓ７１において、ドメインブロック抽出部３１で抽出すべきすべてのドメインブロック画像について処理を行ったか否かを判定し、未処理のドメインブロック画像が存在する場合にはＳ６１へ戻り、処理を繰り返す。
【００５２】
すべてのドメインブロック画像について処理を終えたら、Ｓ７２で平均値演算部３８においてメモリ部２中の画質改善用領域に書き込まれた画像について平均値を算出する処理を行う。図９は、平均値演算部３８における平均値演算処理の一例の説明図である。上述のようなドメインブロック画像に対する処理を行うと、原画像におけるドメインブロック画像の重複量（加算回数）は図９に示すような値となる。従って、平均値演算部３８では、メモリ部２の画質改善画像用領域に格納されている値を、この重複値で除算した結果得られる画像を、画質改善画像メモリに再度書き込み、画素値を更新する。この際に、画素値が０以下になっている場合には、その画素値を０に置き換え、最大値（例えば２５５）を越える場合には、最大値（例えば２５５）に置き換える。以上によって、画質改善処理が終了する。
【００５３】
なお、この平均値演算部３８による平均化処理は、重複計算が全て終了した画素に対しては順次行って出力しても良く、そのようにすることで省メモリ化を図ることができる。また、メモリ部２への加算書き込み前に、書き込む位置に応じて予め平均値演算部３８で重複値により除算してから加算書き込みを行うように構成してもよい。
【００５４】
上述の処理は、ノイズ部及びエッジ部に対して局所コラージュ処理を行って画質を改善している。つまり、３×３画素のドメインブロック画像を含む４×４画素のレンジブロック画像を選択し、その４×４画素を３×３画素に縮小して輝度合わせを行い、エッジ強調後にドメインブロック画像に置き換えている。４×４画素を３×３画素に縮小すると、上述のようにノイズ部は平均化されノイズが消え、ジャギーの目立つエッジ部も平均化されて多少のボケが加わってアンチエイリアスされ、ボケの目立つ部分は平均化されて若干シャープになる。更にエッジ強調処理によって、ボケの部分は一層シャープ化される。局所コラージュ処理という単一の手法によって、これらの問題は全て解決することが可能である。
【００５５】
また、従来の画質改善手法では、平坦部／ノイズ部／エッジ部で、それぞれ手法やパラメータを切り替えていたので、その境界部分での段差、あるいは誤認識された場合の画質低下の問題が解決できていなかった。これに対して、本発明における上述の処理では、ドメインブロック画像を平坦部、テクスチュア部、ノイズ部、エッジ部に分類し、ノイズ部とエッジ部に対して局所コラージュ手法で画質改善を行っている。局所コラージュの手法を、仮に平坦部に適用した場合には、改善前後でほとんど変化がない。従って、テクスチュア部のみ正確に分類し、処理を行わないようにしさえすれば、残りの部分については、エッジ強調処理以外は全く同じ処理で対応しているといえる。
【００５６】
また、エッジ強調処理は、パラメータを弱くすればほとんどエッジが強調されないので、パラメータの強度はブロックの分類以前に、ブロックの標準偏差値から決定することも可能である。つまり、本発明における上述の処理は、平坦部、ノイズ部、エッジ部に対して同じ手法を用いて画質改善を行うことができ、その境界部分の段差が現れず、またドメインブロック画像の分類処理において多少の誤認織が発生したとしても、画質低下を起こさず、一定した高画質を得ることができる。
【００５７】
さらに、本発明のこのような性質から、エッジ＋ノイズ部画像（エッジ部にノイズが乗っているような画像、例えば高圧縮されたＪＰＥＧ画像など）などにおいては、エッジのジャギー補正が行われると同時に、ノイズ成分の除去が行われる。このように、従来技術では、ノイズ成分を一旦除去した後にエッジ強調を行うという工程を取る必要があるような画像が、本発明では上述のような局所コラージュ処理のみで解決することができる。
【００５８】
なお、上述の説明における具体例では、ドメインブロック画像の分類は、平坦部、エッジ部、ノイズ部、テクスチュア部としたが、例えば、ノイズの心配のない画像であるならば、ノイズ部の分類を行わずに平坦部に分類し、エッジ部のみ局所コラージュ処理を行うようにしても良い。このように本発明は部分的に効果を得たい場合にも有効である。
【００５９】
さらに、ドメインブロック画像、レンジブロック画像の形状は共に正方形としたが、もちろんどちらか片方、あるいは両方を長方形にしても良い。例えば、ドメインブロック画像のサイズを２×３画素とし、これに対してレンジブロック画像のサイズを３×４画素としても良いし、ドメインブロック画像のサイズを２×３画素とし、これに対するレンジブロック画像のサイズを４×４画素としても良い。以下にレンジブロック画像のサイズを変更した例として、第２の例を説明する。
【００６０】
第２の例について説明する。上述の第１の例では、レンジブロック画像のサイズを４×４画素としたが、この第２の例では５×５画素とした例について説明してゆく。なお、ここでも原画像はグレー２５６色画像であり、ドメインブロック画像のサイズは３×３画素とする。さらに、この第２の例では、レンジブロック画像の探索処理を行わず、ドメインブロック画像に対して常に同じ位置からレンジブロック画像を１つ選択するものとして説明する。
【００６１】
この第２の例において、上述の第１の例と異なるのは、レンジブロック抽出部３３、縮小レンジブロック作成部３４、類似度判定部３５の処理、すなわち図２に示した処理のうちのＳ６４〜Ｓ６６の処理である。以下、その部分について具体的に説明する。
【００６２】
ドメインブロック分類部３２によってドメインブロック画像を分類した結果、ドメインブロック画像がノイズ部、またはエッジ部に分類された場合、レンジブロック抽出部３３により原画像からレンジブロック画像を抽出する。図１０は、レンジブロック作成部３４におけるレンジブロック画像抽出処理の別の例の説明図である。この第２の例では、図１０に示すようにドメインブロック画像を中央位置に含むように５×５ブロックを選択する。この場合、レンジブロック画像は１つのみが抽出される。もちろん、レンジブロック画像の抽出範囲を広げれば複数のレンジブロック画像を検索することができるが、上述のようにこの例では図１０に示すように１つのレンジブロック画像を固定的に抽出する。レンジブロック画像の抽出に際して、画像の緑の部分では、３×３画素のドメインブロック画像を中央に含むように５×５画素のレンジブロック画像を取れない。このような場合には、例えば１画素分ずらした位置からレンジブロック画像を選択すれば良い。
【００６３】
なお、ドメインブロック画像が平坦部、テクスチュア部に分類された場合はレンジブロック画像の抽出を行わず、ドメインブロック画像自身を改良ドメインブロック画像として選択し、例えば図２におけるＳ７０へ移行し、メモリ部２への加算書き込みを行う。
【００６４】
次に、抽出した５×５画素サイズのレンジブロック画像を、縮小レンジブロック作成部３４により３×３サイズの縮小レンジブロックに縮小する。ここでの縮小方法も投影法を用いる。図１１は、縮小レンジブロック作成部３４における投影法による縮小処理の別の例の説明図である。投影法による縮小処理は、例えば図１１（Ａ）に一部示したように、５×５画素サイズの画像を３×３画素サイズの画像に投影した際の領域比率に基づいて画素値を加重加算して行う。図１１（Ｂ）に示すように５×５画素サイズのレンジブロック画像の画素値が｛Ｐ_ij｜ｉ，ｊ＝１，２，３，４，５｝、図１１（Ｃ）に示すように縮小後の３×３画素サイズの縮小レンジブロック画像の画素値を｛Ｑ_ij｜ｉ，ｊ＝１，２，３｝とした場合に、各Ｑ_ijは、
Ｑ₁₁＝（９×Ｐ₁₁＋６×Ｐ₂₁＋６×Ｐ₁₂＋４×Ｐ₂₂）／２５
Ｑ₂₁＝（３×Ｐ₂₁＋３×Ｐ₄₁＋２×Ｐ₂₂＋２×Ｐ₄₂＋６×Ｐ₃₂＋９×Ｐ₃₁）／２５
Ｑ₃₁＝（６×Ｐ₃₁＋６×Ｐ₄₂＋９×Ｐ₄₁＋４×Ｐ₃₂）／２５
Ｑ₁₂＝（３×Ｐ₁₂＋３×Ｐ₁₄＋２×Ｐ₂₂＋２×Ｐ₂₃＋６×Ｐ₂₃＋９×Ｐ₁₃）／２５
Ｑ₂₂＝（１×Ｐ₂₂＋１×Ｐ₄₂＋１×Ｐ₂₄＋１×Ｐ₄₄＋３×Ｐ₃₂＋３×Ｐ₂₃＋３×Ｐ₄₃＋３×Ｐ₄₄＋９×Ｐ₃₃）／２５
Ｑ₃₂＝（３×Ｐ₅₂＋３×Ｐ₅₄＋２×Ｐ₄₂＋２×Ｐ₄₄＋６×Ｐ₄₃＋９×Ｐ₅₃）／２５
Ｑ₁₃＝（９×Ｐ₁₅＋６×Ｐ₁₄＋６×Ｐ₂₅＋４×Ｐ₂₄）／２５
Ｑ₂₃＝（３×Ｐ₂₅＋３×Ｐ₄₅＋２×Ｐ₂₄＋２×Ｐ₄₄＋６×Ｐ₃₄＋９×Ｐ₃₅）／２５
Ｑ₃₃＝（６×Ｐ₅₄＋６×Ｐ₄₅＋９×Ｐ₅₅＋４×Ｐ₄₄）／２５
で与えられる。
【００６５】
次に類似度判定部３５で類似度の判定処理を行うが、この第２の例ではレンジブロック画像を一つだけしか選択していないため、最類似縮小レンジブロック画像を選択するという処理は、実用上は必要ない。つまり、縮小レンジブロック作成部３４で作成した縮小レンジブロック画像自身を最類似縮小レンジブロック画像として選択すれば良い。まず、全ての縮小レンジブロック画像の画素値｛ｒ_ij｜ｉ，ｊ＝１，２，３｝について、それぞれ画素平均値Ｒｖ＝Σｒ_ij／９及び画素標準偏差ＶＲｖ＝Σ（ｒ_ij−Ｒｖ）² を求める。次に、縮小レンジブロック画素値をそれぞれ一次変換ａｚ＋ｂで対応するドメインブロック画像画素値に最小二乗近似した際の変換係数ａ、ｂを以下の式から求める。
【００６６】
ａ＝（Σ（ｒ_ij−Ｒｖ）×（ｄ_ij−Ｄｖ））／ＶＲｖ
ｂ＝Ｄｖ−ａ×Ｒｖ
この第２の例では、最類似縮小レンジブロック画像を選択する処理が必要ないので、上述の第１の例で行っている最小二乗誤差の計算は不要である。
【００６７】
以降の改良ドメインブロック作成部３６、エッジ強調処理部３７、平均値演算部３８の処理については上述の第１の例と同様であるので、ここでは説明を省略する。
【００６８】
この第２の例では、上述の第１の例で４×４画素としていたレンジブロック画像のサイズを５×５画素に変更した例を示した。５×５画素から３×３画素に縮小した場合、４×４から３×３に縮小するよりもノイズ除去効果、アンチエイリアス効果、シャープ効果が高い。従って、この第２の例では第１の例に比べて、よりノイズ部、エッジ部の改善効果が高く、良好な処理画像を得ることができる。また、レンジブロック画像を探索せずに、３×３ブロックを中央位置に含む５×５ブロックを最類似縮小レンジブロック画像として選択しているため、探索処理を行わない分だけ高速化できる。このように５×５ブロックを選択した場合、特にテクスチュア部において、必ずしもドメインブロック画像との類似度は高くない。しかし、上述のようにドメインブロック分類部３２で分類されたノイズ部とエッジ部のみに対して処理を行っており、それらの部分では充分な類似度を得ることができる。また、ブロックを重複させて最後に平均化することによって、微妙なエッジの凹凸は平均化によって滑らかにすることができる。
【００６９】
次に第３の例について説明する。以上述べてきた第１、第２の例ではグレー画像に関しての画質改善処理について説明した。この第３の例では、カラー画像に適用する場合について説明する。カラー画像に上述のような画質改善処理を適用する場合、例えばＲＧＢ画像の場合には、Ｒ、Ｇ、Ｂそれぞれ２５６階調のグレー分版画像を作成し、それぞれを画質改善して最後に合版することができるし、あるいは、画素単位でＲ、Ｇ、Ｂの色成分について並行して処理することもできる。
【００７０】
また、第１の例のようにレンジブロック画像の探索を行う場合、Ｒ、Ｇ、Ｂで異なるレンジブロック位置を使用すると、エッジ部などにおいて、微妙にＲ、Ｇ、Ｂのエッジ位置がずれる場合があり、Ｒ、Ｇ、Ｂまたはこれらの混合色のノイズが発生する場合がある。この問題は、ドメインブロック画像のＲ、Ｇ、Ｂの分版画像のそれぞれにおいて、同じレンジブロック位置を採用することで緩和することができる。そのため、例えばＲＧＢ信号のうち、最もドメインブロック画像の標準偏差値Ｄｖの値が大きい信号（例えばＧ信号）に対して、レンジブロック画像の探索処理を行い、残りの２信号（例えばＲ、Ｂ信号）に対しては探索処理を省略し、Ｇ信号で選択したのと相対的に同じ位置にあるＲ、Ｂ信号のレンジブロック画像をそれぞれ抽出すればよい。その後、Ｒ、Ｇ、Ｂでそれぞれ抽出され、縮小された縮小レンジブロック画像とドメインブロック画像との間で最小二乗近似を行うようにする。また、最類似縮小レンジブロック画像の選択も、Ｒ、Ｇ、Ｂにおいて相対的に同じ位置の縮小レンジブロック画像を選択すると良い。このような処理を行うことによって、エッジ位置のずれによるノイズがほとんど現れないようにすることができる。
【００７１】
なお、ドメインブロック分類部３２においてＲ、Ｇ、Ｂのそれぞれの色成分で異なる分類がなされる場合がある。その場合、分類結果に応じてそれぞれ異なる処理を行えば良い。例えば、青色のエッジがあった場合、Ｂはエッジ部として認識されるが、Ｒ、Ｇ成分は平坦部として認識される。この場合にはＢ成分のドメインブロック画像には局所コラージュ処理を行い、Ｒ、Ｇ成分のドメインブロック画像には処理を行わずに、ドメインブロック自身を改良ドメインブロック画像として選択すればよい。
【００７２】
以上のようにして、カラー画像に対しても本発明により良好な画質改善を行うことができる。
【００７３】
次に、第４の例について説明する。この第４の例では、２値画像を多値化した際にアンチエイリアス処理してジャギーを補正する例を述べる。この第４の例では、上述の第２の例と同様の処理を行うものとし、第２の例と異なる部分のみ説明する。２値画像にはボケの要素は存在せず、また、ノイズ部とテクスチュア部は分離できない。そのため、ドメインブロック分類部３２で分類する種類は、平坦部、エッジ部、テクスチュア部のみとする。従って、実際に局所コラージュ処理を行うのはエッジ部のみである。また、２値画像はエッジが際立った画像であるので、エッジ部はジャギーが非常に目立ってしまう。そのため、エッジ強調処理は行わない。あるいは、強調パラメータを０としてもよい。
【００７４】
まず準備として、与えられた２値画像の黒ドットを０に、白ドットを多値化した時の最大値（ここでは２５５とする）にセットする。これによって２値画像は多値画像に変換される。次に、局所コラージュ処理を行うが、ドメインブロック抽出部３１によるドメインブロック画像の抽出処理は上述の第２の例と同様である。
【００７５】
ドメインブロック分類部３２によるドメインブロックの分類処理は、基本的には上述の第２の例と同様であるが、上述のようにノイズ部か否かの判断、例えば図５に示した分類処理の例ではＳ８２及びＳ８３の処理を行わない。すなわち、抽出したドメインブロック画像に対して、ドメインブロック画像の画素平均値Ｄｖ＝Σｄ_ij／９並びに画素標準偏差ＶＤｖ＝Σ（ｄ_ij−Ｄｖ）² を求める。次に、画素値標準偏差Ｖｄｖが、Ｖｄｖ＜Ｓｖ３を満たした場合に、ドメインブロック画像を平坦部に分類する。これを満たさない場合には、横方向凹凸度Ｗｈ、縦方向凹凸度Ｗｖと、テクスチュア判定用閾値Ｓｖ４に対して、Ｗｈ＋Ｗｖ＜Ｓｖ４ならばエッジ部、そうでないならばテクスチュア部に分類する。
【００７６】
以後、レンジブロック抽出部３３におけるレンジブロック画像の抽出処理、縮小レンジブロック作成部３４による縮小レンジブロック画像の作成処理、類似度判定部３５における類似度判定処理、改良ドメインブロック作成部３６による改良ドメインブロック画像の作成処理、平均値演算部３８による平均値演算処理は、いずれも上述の第２の例と同様である。なお、上述のようにエッジ強調処理部３７によるエッジ強調処理は行わないか、あるいは、エッジ強調パラメータを０としてエッジ強調処理を行う。いずれにしても、実質的にエッジ強調の処理は改良ドメインブロック画像に施されない。
【００７７】
このように、第４の例によれば、２値画像を一度多値化し、局所コラージュ処理することによって、２値画像を多値化した際のジャギーを適度にアンチエイリアスすることが可能となる。もちろん、その他１６色画像など、階調数を増加する場合においても、この第４の例と同様に処理を行うことが可能である。また、カラー、限定色混在画像の場合には、例えばエッジ部に分類されたブロックに対してのみ、３×３ドメインブロック画像内の総色数を数え、色数が少ないほどエッジ強調パラメータを弱くする、という方法を用いることもできる。自然画（２４ビット画像、２５６グレー画像）の場合、エッジ部の３×３ドメインブロック画像内の総色数は多くの場合５色以上になるが、カラーマップ付き限定色画像の場合にはそれ以下になることが多い。従って、色数が少ないほどエッジ強調パラメータを小さくして、エッジ強調を弱めて、アンチエイリアスの効果を高め、一方、５色以上の場合には自然画とみなし、第３の例と同様に処理すればよい。このように、エッジ強調パラメータを標準偏差値だけではなく、ブロック内総色数を用いて判定することによって、カラー、限定色混在画像の場合でも問題なく処理することができる。
【００７８】
なお、この第４の例では、エッジ強調処理を行わないが、これは２値画像のエッジ強度がもともと高いからであり、このような画像に対しては、局所コラージュによるアンチエイリアス効果でエッジ部を滑らかにするだけで良い。
【００７９】
次に第５の例について説明する。図１２は、本発明の第５の例における処理ブロック図である。図中、６は拡大処理部である。この第５の例では、本発明の画質改善処理と拡大技術を組み合わせて使用する例を説明する。原画像として、例えばデジタルカメラで撮影したＶＧＡ画像（６４０×４８０ピクセル、ＪＰＥＧ圧縮）を使用する。このような画像をＡ４用紙一杯にプリント出力する場合、出力解像度を３００ｄｐｉとすれば４．９６倍の画像拡大が必要となる。その画像拡大のための構成として拡大処理部６を設けている。
【００８０】
拡大処理部６の処理としては、例えば、特願２００１−３４１４３２号や、特願２００２−０７９３８８号に記載されている方法を適用することができる。この方法では、本願発明と類似しているが、ドメインブロック画像と、そのドメインブロック画像を含むレンジブロック画像を縮小した縮小レンジブロック画像との類似度を判定し、レンジブロック画像あるいはドメインブロック画像を拡大して類似度に応じた変換処理を施す。これによって高画質の拡大画像を得ることができる。
【００８１】
しかし、この方法では上述のように画像の情報を忠実かつ高画質に拡大する方法であるため、ＪＰＥＧ圧縮に起因する、ノイズ、ジャギー、ボケなどの劣化成分が原画像に存在する場合、それらの劣化成分についても忠実に拡大してしまう。そのため、上述の拡大方法による画質向上の効果以上に、劣化成分が拡大されたことによって画質劣化が生じ、劣化成分の視認性が高まってしまうという問題がある。
【００８２】
そこで、拡大処理部６によって拡大処理を行う前に、画質改善処理部３において本発明の例えば第２、第３の例で説明したような処理を行って画質改善を行う。これによって、ノイズ、ジャギー、ボケが総合的に改善することが可能である。この理由について概略を述べると、本発明において行っている局所コラージュ処理では、ドメインブロック画像を、そのドメインブロック画像を含むさらに広い領域のレンジブロック画像から作成した改良ドメインブロック画像に置き換えている。これによって、置き換えた領域は周囲の画像との類似性が高められる。ここで、「理想的な画像は、ドメインブロック画像と類似のレンジブロック画像は、そのごく近辺に同じ向きに存在する。また、その類似度（最小二乗法での変換パラメータａ）は、スケールに依存しない。」という、画像の局所連続性を仮定すると、本発明によって処理が施された画像は、この局所連続性を満たす画像である。なぜなら、本発明の局所コラージュ処理は、ドメインブロック画像を含むドメインブロック画像と類似するレンジブロック画像を選択して改良ドメインブロック画像を作成しているし、その改良ドメインブロック画像を作成する際に、類似度を用いて変換処理を行っているからである。逆に言えば、本発明では局所連続性を満たすように画像を修正しているのである。このように局所連続性を満たすように画像を修正することによって、仮定した「理想的な画像」を得ることができ、視覚的に良好になるということができる。このような特徴は、上述の第１乃至第４の例においても同様である。
【００８３】
さらに、このような「理想的な画像」は、上述の例えば特願２００１−３４１４３２号や、特願２００２−０７９３８８号に記載されている方法を適用して拡大処理部６で拡大処理を行った場合でも、劣化成分が少ないことによって拡大による画質劣化が非常に低減される。すなわち、上述のように特願２００１−３４１４３２号や、特願２００２−０７９３８８号に記載されている方法では、本発明と同様に周囲との関係、つまり局所連続性を利用して拡大処理を行っている。従って、本発明によって局所連続性を満たすように画像を修正しておくことによって、上述の方法によって拡大処理を行った場合でも周囲との連続性が維持され、高画質の拡大画像を得ることができる。
【００８４】
なお、上述の第４の例のように２値画像を多値画像として局所コラージュ処理を施し、その後、拡大処理部６によって例えば上述の特願２００１−３４１４３２号や特願２００２−０７９３８８号に記載されている方法などにより拡大処理を行い、再び２値化することで、結果的に２値画像の拡大を行うことができる。この場合も、高画質の２値拡大画像を得ることができる。
【００８５】
図１３は、本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。図中、１０１はプログラム、１０２はコンピュータ、１１１は光磁気ディスク、１１２は光ディスク、１１３は磁気ディスク、１１４はメモリ、１２１は光磁気ディスク装置、１２２は光ディスク装置、１２３は磁気ディスク装置である。
【００８６】
上述の本発明の実施の一形態の説明及び第１乃至第５の例として示した画質改善処理部の機能あるいはさらに第５の例で示した拡大処理部６等を含めた機能は、コンピュータにより実行可能なプログラム１０１によっても実現することが可能である。その場合、そのプログラム１０１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク１１１，光ディスク１１２、磁気ディスク１１３，メモリ１１４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【００８７】
これらの記憶媒体にプログラム１０１を格納しておき、例えばコンピュータ１０２の光磁気ディスク装置１２１，光ディスク装置１２２，磁気ディスク装置１２３，あるいは図示しないメモリスロットにこれらの記憶媒体を装着することによって、コンピュータからプログラム１０１を読み出し、本発明の画像処理装置の機能または画像処理方法を実行することができる。あるいは、予め記憶媒体をコンピュータ１０２に装着しておき、例えばネットワークなどを介してプログラム１０１をコンピュータ１０２に転送し、記憶媒体にプログラム１０１を格納して実行させてもよい。
【００８８】
もちろん、本発明の一部の機能についてハードウェアによって構成することもできるし、あるいは、すべてをハードウェアで構成してもよい。
【００８９】
【発明の効果】
以上の説明から明らかなように、本発明によれば、ドメインブロック画像より大きなレンジブロック画像を抽出し、縮小処理及びドメインブロック画像との類似度に応じた変換処理を施して改良ドメインブロック画像として置き換えるという単一の局所コラージュ処理によって、ノイズの低減（ノイズ除去処理）、ジャギーの低減（アンチエイリアス処理）、ボケの低減（シャープ処理）をそれぞれ同時に行うことができ、結果として画像を総合的に高画質化することができる。また、各劣化部分に単一の同じ処理を行っているため段差が起こらず、ブロックの分類を誤認識した場合の画質低下も起こらない。更に、画像の局所連続性を満たす画像への画質改善を行っているので、画質改善後に画像を拡大する場合には、より高画質の拡大画像を得ることができるという効果がある。
【図面の簡単な説明】
【図１】 本発明の実施の一形態を含むシステムの一例を示すブロック図である。
【図２】 本発明の実施の一形態における画質改善処理部３の動作の一例を示すフローチャートである。
【図３】 本発明の実施の一形態における画質改善処理部３の動作の一例を示す模式図である。
【図４】 ドメインブロック抽出部３１で抽出されるドメインブロック画像の一例の説明図である。
【図５】 ドメインブロック分類部３２におけるドメインブロック画像の分類処理の一例を示すフローチャートである。
【図６】 レンジブロック抽出部３３で抽出するレンジブロック画像の一例の説明図である。
【図７】 縮小レンジブロック作成部３４における投影法による縮小処理の一例の説明図である。
【図８】 エッジ強調処理部３７におけるエッジ強調処理の一例の説明図である。
【図９】 平均値演算部３８における平均値演算処理の一例の説明図である。
【図１０】 レンジブロック作成部３４におけるレンジブロック画像抽出処理の別の例の説明図である。
【図１１】 縮小レンジブロック作成部３４における投影法による縮小処理の別の例の説明図である。
【図１２】 本発明の第５の例における処理ブロック図である。
【図１３】 本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。
【符号の説明】
１…画像入力部、２…メモリ部、３…画質改善処理部、４…画像出力部、５…制御部、６…拡大処理部、３１…ドメインブロック抽出部、３２…ドメインブロック分類部、３３…レンジブロック抽出部、３４…縮小レンジブロック作成部、３５…類似度判定部、３６…改良ドメインブロック作成部、３７…エッジ強調処理部、３８…平均値演算部、１０１…プログラム、１０２…コンピュータ、１１１…光磁気ディスク、１１２…光ディスク、１１３…磁気ディスク、１１４…メモリ、１２１…光磁気ディスク装置、１２２…光ディスク装置、１２３…磁気ディスク装置。

Claims (18)

1. 画像の画質改善処理を行う画像処理装置において、原画像から第１のブロック単位の大きさでドメインブロック画像を抽出するドメインブロック抽出手段と、前記ドメインブロック画像に関して前記第１のブロック単位よりも大きな第２のブロック単位で前記原画像からレンジブロック画像を抽出するレンジブロック抽出手段と、抽出した前記レンジブロック画像を前記第１のブロック単位の大きさに縮小する縮小レンジブロック作成手段と、前記縮小レンジブロック作成手段により縮小された前記レンジブロック画像と前記ドメインブロック画像との類似度を判定する類似度判定手段と、前記縮小レンジブロック作成手段で作成された縮小された前記レンジブロック画像に対して前記類似度判定手段で得られた類似度を元に画素値変換した結果を改良ドメインブロック画像として出力する改良ドメインブロック作成手段を有し、前記類似度判定手段は前記縮小レンジブロック作成手段で作成された縮小された前記レンジブロック画像を一次式ａｚ＋ｂで対応する前記ドメインブロック画像に最小二乗近似した際の最小二乗係数ａ、ｂを求め、前記改良ドメインブロック作成手段は、前記類似度判定手段において得られた前記最小二乗係数ａ、ｂを用いて縮小された前記レンジブロック画像の画素値を一次式ａｚ＋ｂで変換することにより前記改良ドメインブロック画像を作成することを特徴とする画像処理装置。
2. さらに、前記ドメインブロック抽出手段で抽出した前記ドメインブロック画像の種類を分類するドメインブロック分類手段を有し、予め定めた種類に分類された前記ドメインブロック画像以外はそのまま前記改良ドメインブロック画像として出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記ドメインブロック分類手段は、前記ドメインブロック画像の標準偏差及び凹凸度から前記ドメインブロック画像を平坦部、ステップエッジ部、ノイズ部、テクスチュア部に分類することを特徴とする請求項２に記載の画像処理装置。
4. 前記レンジブロック抽出手段は、前記ドメインブロック分類手段でステップエッジ部に分類された前記ドメインブロック画像に対して前記第１のブロック単位よりも大きな第２のブロック単位で前記原画像からレンジブロック画像を抽出することを特徴とする請求項３に記裁の画像処理装置。
5. 前記レンジブロック抽出手段は、前記ドメインブロック分類手段でノイズ部に分類された前記ドメインブロック画像に対して前記第１のブロック単位よりも大きな第２のブロック単位で前記原画像からレンジブロック画像を抽出することを特徴とする請求項３に記載の画像処理装置。
6. 前記レンジブロック抽出手段は、前記ドメインブロック分類手段でステップエッジ部またはノイズ部に分類された前記ドメインブロック画像に対して前記第１のブロック単位よりも大きな第２のブロック単位で前記原画像からレンジブロック画像を抽出することを特徴とする請求項３に記裁の画像処理装置。
7. 前記レンジブロック抽出手段は、前記レンジブロック画像として前記ドメインブロック抽出手段にて抽出された前記ドメインブロック画像を含むように抽出することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
8. 前記レンジブロック抽出手段は、１つの前記ドメインブロック画像に対して複数の前記レンジブロック画像を抽出し、前記縮小レンジブロック作成手段は、複数の前記レンジブロック画像についてそれぞれ縮小を行い、前記類似度判定手段は、複数の縮小された前記レンジブロック画像のうち前記ドメインブロック画像と最も類似度が高いと判定された縮小されたレンジブロック画像を選択することを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
9. 前記類似度判定手段は、縮小された前記レンジブロック画像の画素値ｚを一次式ａｚ＋ｂにより前記ドメインブロック画像の画素値に最小二乗近似した際に、最小二乗誤差が最も小さい縮小された前記レンジブロック画像を最も類似度が高い最類似縮小レンジブロック画像であると判定することを特徴とする請求項８に記載の画像処理装置。
10. 前記改良ドメインブロック作成手段は、前記類似度判定手段において得られた前記最類似縮小レンジブロック画像に対応する最小二乗係数ａ、ｂを用いて、前記最類似縮小レンジブロック画像の画素値を一次式ａｚ＋ｂで変換することにより前記改良ドメインブロック画像を作成することを特徴とする請求項９に記載の画像処理装置。
11. さらに、前記改良ドメインブロック画像内の画素値の最大値と最小値の関係及び前記改良ドメインブロック画像のエッジ度とから前記改良ドメインブロック画像に対してエッジ強調処理を行うエッジ強調手段を有することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像処理装置。
12. さらに、前記改良ドメインブロック画像内の画素値の最大値と最小値の関係及び前記改良ドメインブロック画像のエッジ度とから前記改良ドメインブロック画像に対してエッジ強調処理を行うエッジ強調手段を有し、前記エッジ強調手段は、前記ドメインブロック分類手段においてステップエッジ部に分類された前記ドメインブロック画像に対応する前記改良ドメインブロック画像のみに対して行うことを特徴とする請求項３、請求項４、請求項６のいずれか１項に記載の画像処理装置。
13. 前記エッジ強調手段は、前記改良ドメインブロック画像内の最大画素値と最小画素値の平均値を取り、エッジ強調の強度に従い、平均値よりも大きい画素値を平均値との距離に応じてより大きく変換し、平均値よりも小さい画素値を平均値との距離に応じてより小さく変換することを特徴とする請求項１１または請求項１２に記載の画像処理装置。
14. 前記エッジ強調手段におけるエッジ強調の強度は、前記ドメインブロック画像中の画素値の標準偏差の値が小さい場合には強く、標準偏差の値が大きい場合には弱くなるように設定することを特徴とする請求項１３に記載の画像処理装置。
15. 前記ドメインブロック抽出手段は、原画像上で共通部分を有するように前記ドメインブロック画像を抽出するものであり、さらに、複数の前記改良ドメインブロック画像が重複する画素について平均値を演算する平均値演算手段を有することを特徴とする請求項１乃至請求項１４のいずれか１項に記載の画像処理装置。
16. 前記原画像はカラー画像であり、前記レンジブロック抽出手段は、前記原画像の各色成分について相対的に同一の位置から前記レンジブロック画像を抽出することを特徴とする請求項１乃至請求項１５のいずれか１項に記載の画像処理装置。
17. 画像の画質改善処理を行う画像処理をコンピュータに実行させる画像処理プログラムであって、請求項１ないし請求項１６のいずれか１項に記載の画像処理装置の機能をコンピュータに実行させることを特徴とする画像処理プログラム。
18. 画像の画質改善処理を行う画像処理をコンピュータに実行させるプログラムを格納したコンピュータ読取可能な記憶媒体において、請求項１ないし請求項１６のいずれか１項に記載の画像処理装置の機能をコンピュータに実行させるプログラムを格納したことを特徴とするコンピュータが読取可能な記憶媒体。

Images