JP3750776B2 - Image sharpness estimation method and apparatus - Google Patents
Image sharpness estimation method and apparatus Download PDFInfo
- Publication number
- JP3750776B2 JP3750776B2 JP7863098A JP7863098A JP3750776B2 JP 3750776 B2 JP3750776 B2 JP 3750776B2 JP 7863098 A JP7863098 A JP 7863098A JP 7863098 A JP7863098 A JP 7863098A JP 3750776 B2 JP3750776 B2 JP 3750776B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- frequency
- vertical
- low frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の鮮鋭度を推定する鮮鋭度推定方法および装置に関するものである。
【０００２】
【従来の技術】
画像を表す画像データを得、この画像データに適切な画像処理を施した後、画像を再生することが種々の分野で行われている。このような画像を再生する出力装置は、システムとして接続された入力装置の特性と出力装置の特性とに応じて、画像データを補正するなどの画像処理を施して画像を再生している。ここで、出力装置に入力装置が１台のみしか接続されていない場合は、出力装置において行われる画像処理はその入力装置の特性に対応したもののみを行えばよく、出力装置に複数の入力装置が接続されている場合は、各入力装置の特性に応じた画像処理を画像データに対して施せばよい。
【０００３】
しかしながら、複数の入力装置と出力装置とを接続した場合、入力装置は種々変更される場合があり、また、出力装置に入力される画像データはいずれの入力装置において得られたものであるかが特定できないため、入力装置の特性と画像処理の内容とを対応させて最適な画像処理を行うことは困難である。このため、例えば特許第2660170号においては、入力装置から入力された画像データについては全て汎用的な階調となるように画像データを変換し、出力装置においては自らの出力特性のみを補正して適正な再生画像を得るようにした画像処理装置が提案されている。
【０００４】
また、入力装置において得られる画像は、その装置に応じて鮮鋭度も種々異なるものとなっている。このため、得られた画像データに対して入力装置の鮮鋭度特性に応じて鮮鋭度強調処理を施して、より高画質の画像を再生することが行われている。また、画像データを補間することにより画像を拡大、縮小して再生する場合もあり、この場合も入力装置の鮮鋭度に応じて、鮮鋭度を重視した補間演算（例えばCubic スプライン補間演算）、滑らかさを重視した補間演算（例えばＢスプライン補間演算）を施している。
【０００５】
一方、上述した画像データを処理するための方法として、画像を複数の周波数帯域毎の多重解像度画像に変換し、各周波数帯域の画像に対して所定の処理を行って、再度これを逆多重解像度変換することにより、最終的な処理済み画像を得るための多重解像度変換なる方法が提案されている。この場合の所定の処理としては、具体的には、ノイズ除去のための高周波の分離、さらにはノイズの多い周波数帯域のデータを削減することによる圧縮処理などが挙げられる。この多重解像度変換の方法としてはウェーブレット変換、ラプラシアンピラミッドあるいはフーリエ変換等の方法が知られている。とくに、ウェーブレット変換は、信号の周波数解析方法の１つであるが、同じく周波数解析方法として広く用いられているフーリエ変換に比べ、信号の局所的な変化情報を検出しやすいという点で優れていることから、近年あらゆる信号処理の分野で脚光を浴びている（OLIVIER RIOUL and MARTIN VETTERLI;Wavelets and Signal Processing,IEEE SP MAGAZINE,P.14-38,OCTOBER 1991、Stephane Mallat;Zero-Crossings of a Wavelet Transform,IEEE TRANSACTIONS ON INFORMATION THEORY,VOL.37,NO.4,P.1019-1033,JULY 1991 、特開平6-350989号、同6-350990号、同7-23228号、同7-23229号、同7-79350号、特願平8-14510号など）。
【０００６】
【発明が解決しようとする課題】
ところで、近年のコンピュータネットワークの進歩により、画像の出力装置には種々の入力装置が接続され、さらにネットワーク上を様々な処理が施された画像データが転送されている。このため、出力装置に入力される画像データはいずれの入力装置において得られたものであるか、さらにその画像データの鮮鋭度や階調について画像処理が施されているのか否かが全く分からない状態でデータがやり取りされている。このような場合、上記特許第2660170号に記載された画像処理装置を用いれば、入力装置の種類に拘わらず汎用的な階調となるように画像データに対して画像処理を施すことができる。
【０００７】
しかしながら、画像データにより表される画像の鮮鋭度については、画像データがいずれの入力装置により得られたものであるかが不明であると、その入力装置の特性に最適な鮮鋭度強調処理、補間演算などの画像処理を行うことができない。この場合、適当に定めた１つの手法により全ての画像データに対して同一の鮮鋭度に関する画像処理を施すことが考えられる。しかしながら、画像によってはその画像処理が最適ではなく、例えば鮮鋭度強調の程度が不足したぼけた画像となったり、元々鮮鋭度が高いにも拘わらずさらに鮮鋭度が強調されてオーバーシュート、アンダーシュートなどのアーチファクトが発生した画像となるおそれがある。とくに、複数の画像を合成して再生する場合にこの手法を用いると、合成に用いる画像データがそれぞれ異なる鮮鋭度を有するものであっても同一の画像処理が施されてしまうため、合成された画像は、部分毎に鮮鋭度のバランスが異なって見た目に違和感のあるものとなってしまう。また、一旦画像を再生し、オペレータがその画像を観察しながら人為的に画像データを修正することも考えられるが、非常に手間がかかり、オペレータの負担が大きい。
【０００８】
本発明は上記事情に鑑みなされたものであり、画像データから画像の鮮鋭度を推定することができる画像の鮮鋭度推定方法および装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明による画像の鮮鋭度推定方法は、原画像を表す原画像データを多重解像度空間に変換することにより、該原画像データを帯域が重ならない複数の周波数帯域毎の画像を表す画像データに分解し、
前記複数の周波数帯域毎の画像のうち、最も周波数が高い最高周波数帯域画像よりも低い周波数帯域の低周波数帯域画像において、各画素の画素値を所定の閾値と比較し、
該所定の閾値よりも値が大きい画素の画素値と、該画素に対応する前記最高周波数帯域画像の画素の画素値との比を算出し、
該比に基づいて前記原画像の鮮鋭度の高低を推定することを特徴とするものである。
【００１０】
ここで、「低周波数帯域画像」とは、最高周波数帯域画像よりも１段階周波数帯域が低い画像のみならず、２段階あるいはそれよりも周波数帯域が低い画像をも含むものである。
【００１１】
また、「比に基づいて」とは、比の大小に基づいての意である。
【００１２】
なお、本発明による画像の鮮鋭度推定方法においては、前記多重解像度空間への変換を、該原画像の縦方向および横方向にそれぞれフィルタリング処理を施して縦方向高周波横方向低周波画像、縦方向低周波横方向高周波画像および縦横方向低周波画像を得、
該縦横方向低周波画像に対してさらに前記フィルタリング処理を施し、
該フィルタリング処理により得られる縦横方向低周波画像に対して前記フィルタリング処理を順次繰り返し行うことにより、前記複数の周波数帯域毎の縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像を得、
前記閾値との比較を、前記低周波数帯域における縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像について行い、
前記比を、前記縦方向高周波横方向低周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比、および前記縦方向低周波横方向高周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比のいずれか大きい方の値として算出することが好ましい。
【００１３】
ここで、「フィルタリング処理により得られる縦横方向低周波画像に対してフィルタリング処理を順次繰り返し行う」とは、フィルタリング処理毎に得られる縦横方向低周波画像に対してフィルタリング処理を行うことをいう。
【００１４】
さらに、本発明の画像の鮮鋭度推定方法においては、前記多重解像度空間への変換、前記所定の閾値との比較および前記比の算出を、前記低周波数帯域画像および前記最高周波数帯域画像において選択された領域についてのみ行うことが好ましい。
【００１５】
ここで、「選択された領域」とは、主要被写体が含まれる可能性が高い画像の中央領域の他、画像中の任意の領域を含むものである。
【００１６】
また、本発明においては、前記多重解像度空間への変換を、ウェーブレット変換により行うことが好ましいが、上述したラプラシアンピラミッド、フーリエ変換など種々の多重解像度変換を適用することができる。
【００１７】
さらに、上述したウェーブレット変換などの多重解像度変換においては、変換を施す毎に画素を間引いているため、周波数帯域が低くなるほど原画像を縮小したような画像となるが、本発明においては、多重解像度空間への変換を、前記複数の周波数帯域毎の画像の画素を間引くことなく行うことが好ましい。
【００１８】
本発明による画像の鮮鋭度推定装置は、原画像を表す原画像データを多重解像度空間に変換することにより、該原画像データを帯域が重ならない複数の周波数帯域毎の画像を表す画像データに分解する多重解像度変換手段と、
前記複数の周波数帯域毎の画像のうち、最も周波数が高い最高周波数帯域画像よりも低い周波数帯域の低周波数帯域画像において、各画素の画素値を所定の閾値と比較する比較手段と、
該所定の閾値よりも値が大きい画素の画素値と、該画素に対応する前記最高周波数帯域画像の画素の画素値との比を算出する比算出手段と、
該比に基づいて前記原画像の鮮鋭度の高低を推定する推定手段とを備えたことを特徴とするものである。
【００１９】
なお、本発明の画像の鮮鋭度推定装置においては、前記多重解像度変換手段は、前記多重解像度空間への変換を、該原画像の縦方向および横方向にそれぞれフィルタリング処理を施して縦方向高周波横方向低周波画像、縦方向低周波横方向高周波画像および縦横方向低周波画像を得、
該縦横方向低周波画像に対してさらに前記フィルタリング処理を施し、
該フィルタリング処理により得られる縦横方向低周波画像に対して前記フィルタリング処理を順次繰り返し行うことにより、前記複数の周波数帯域毎の縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像を得る手段であり、
前記比較手段は、前記閾値との比較を、前記低周波数帯域における縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像について行う手段であり、
前記比算出手段は、前記比を、前記縦方向高周波横方向低周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比、および前記縦方向低周波横方向高周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比のいずれか大きい方の値として算出する手段であることが好ましい。
【００２０】
また、本発明による画像の鮮鋭度推定装置においては、前記多重解像度変換手段、前記比較手段および前記比算出手段は、前記多重解像度空間への変換、前記所定の閾値との比較および前記比の算出を、前記原画像において選択された領域についてのみ行う手段であることが好ましい。
【００２１】
さらに、前記多重解像度変換手段は、前記多重解像度空間への変換を、ウェーブレット変換により行う手段であることが好ましい。
【００２２】
また、前記多重解像度変換手段は、前記多重解像度空間への変換を、前記複数の周波数帯域毎の画像の画素を間引くことなく行う手段であることが好ましい。
【００２３】
【発明の効果】
本発明による画像の鮮鋭度推定方法および装置は、まず、ウェーブレット変換などにより原画像データを多重解像度空間に変換して、複数の周波数帯域毎の画像データを得る。次いで、これらの周波数帯域毎の画像のうち最高周波数帯域画像よりも低い周波数帯域の低周波数帯域画像において、各画素の画素値を所定の閾値と比較する。ここで、原画像に含まれるエッジなど、原画像の鮮鋭度推定の基準となる部分は画素値として比較的高い値を有し、低周波数帯域画像においても高い値を有する。逆に低周波数帯域画像において画素値の値が低ければそこにエッジなどの鮮鋭度推定の基準となるものが存在しないと考えることができる。したがって、低周波数帯域画像における画素値と所定の閾値との比較の結果により、所定の閾値よりも値が大きい画素を鮮鋭度推定の基準となる画素と見なし、この画素の画素値とこの画素に対応する最高周波数帯域画像の画素の画素値との比を求める。
【００２４】
ここで、最高周波数帯域画像は、原画像における最高周波成分を担持することから比較的狭い範囲の信号の変化量を表し、低周波数帯域画像は低周波成分を担持することから最高周波数帯域画像よりも広い範囲の信号の変化量を表すものとなる。例えば、図４（ａ）に示すように、非常に急峻なエッジにおいては、狭い範囲Ａにおいても広い範囲Ｂにおいても、その信号の変化量ΔＡ，ΔＢは同一となる。これに対し、図４（ｂ）に示すように、なだらかに信号が変化している部分においては、周波数成分としては急峻なエッジよりも低い周波数帯域のものとなるため、狭い範囲Ａにおける信号の変化量ΔＡよりも広い範囲Ｂにおける信号の変化量ΔＢの方が大きくなる。したがって、図４（ａ）に示す急峻なエッジにおいては、エッジ部分に対応する画素の画素値は最高周波数帯域画像と低周波数帯域画像とにおいて略同一の値となり、図４（ｂ）に示すなだらかに信号が変化している部分においては、信号変化位置に対応する画素の画素値は、最高周波数帯域画像よりも低周波数帯域画像の方が大きな値となる。
【００２５】
このため、低周波数帯域画像の画素の画素値と最高周波数帯域画像の画素の画素値との比は、急峻なエッジすなわち鮮鋭度が高い部分ほどその値は１に近くなり、信号の変化が滑らかな部分すなわち鮮鋭度が低い部分ほどその値は１から外れることとなる。したがって、求めた比の値に応じて、原画像の鮮鋭度の高低を推定することができる。
【００２６】
このように、本発明の画像の鮮鋭度推定方法および装置によれば、原画像を表す画像データから原画像の鮮鋭度の高低を推定できるため、この推定結果を用いて画像処理装置においてその鮮鋭度の高低に応じたシャープネス強調処理、補間演算などを原画像データに対して施すことができる。例えば、原画像における鮮鋭度が高いと推定された部分にはそれほど鮮鋭度を強調せず、鮮鋭度が低いと推定された部分には鮮鋭度をより強調するようにシャープネス強調処理を施すことができる。また、画像全体として鮮鋭度が高いときに原画像を拡大、縮小する場合は滑らかさを重視したＢスプライン補間演算を行い、鮮鋭度が低いときには鮮鋭度を重視したCubic スプライン補間演算を行うことができる。そしてこれにより、その原画像がいずれの入力装置から入力されたものであるか、すでに画像処理が施されものであるかが不明な場合であっても、その原画像に最適な鮮鋭度に関する画像処理を施すことができる。
【００２７】
また、原画像の縦横両方向にそれぞれフィルタリング処理を繰り返し施して多重解像度変換を行い、低周波数帯域における縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像の双方について各画素の画素値を所定の閾値と比較し、縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像における対応する画素の比のうちいずれか大きい方を鮮鋭度を推定するための比として求めることにより、原画像に含まれるエッジなどの方向性に依存することなく鮮鋭度の高低を推定することができる。
【００２８】
さらに、多重解像度空間への変換、所定の閾値との比較および比の算出を、選択された領域についてのみ行うことにより、演算量を低減して鮮鋭度の高低の推定を高速に行うことができる。
【００２９】
さらに、多重解像度空間への変換を複数の周波数帯域毎の画像の画素を間引くことなく行うことにより、低周波数帯域画像の画素と最高周波数帯域画像の画素との対応付けを正確に行うことができる。
【００３０】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００３１】
図１は本発明の実施形態による鮮鋭度推定装置を内包する画像処理装置の構成を示す概略ブロック図である。図１に示すように本実施形態による画像処理装置１は、画像入力手段２から入力された原画像データＳにより表される画像の鮮鋭度の高低を推定する鮮鋭度推定手段７と、鮮鋭度推定手段７において推定された鮮鋭度の高低に基づいて、画像処理手段５における画像処理方法の選択および／または画像処理のパラメータの設定を行う画像処理方法選択および／またはパラメータ設定手段４と、画像処理方法選択および／またはパラメータ設定手段４において設定された画像処理方法および／またはパラメータにしたがって、原画像データＳに対して画像処理を施して処理済み画像データＳ′を得る画像処理手段５と、処理済み画像データＳ′をプリンタ、ＣＲＴあるいはネットワーク上に出力する画像出力手段６とを備えてなる。
【００３２】
図２は鮮鋭度推定手段７の構成を示す概略ブロック図である。図２に示すように鮮鋭度推定手段７は、原画像データＳに対してウェーブレット変換を施して、原画像データＳにより表される原画像を多重解像度変換し、複数の周波数帯域毎の画像を表す画像データを得るウェーブレット変換手段３０と、ウェーブレット変換手段３０において得られた画像データＨＬ１，ＬＨ１（詳細は後述する）をそれぞれ所定の閾値と比較する比較手段３１と、比較手段３１による比較結果に基づいて、画像データＨＬ１，ＬＨ１と画像データＨＬ０，ＬＨ０における画素の画素値の比Ｃを算出する比算出手段３２と、算出された比Ｃに基づいて原画像データＳにより表される画像の鮮鋭度の高低を推定する推定手段３３とを備える。
【００３３】
ウェーブレット変換手段３０においては、以下のようにして原画像データＳに対してウェーブレット変換が施される。図３は原画像データＳをウェーブレット変換する状態を模式的に示す図である。なお、本実施形態においては、図３に示すように紙面に対する横方向をｘ方向、縦方向をｙ方向として説明する。本実施形態のウェーブレット変換においては、下記に示すHaar-Wavelet基底を使用するとともに、ウェーブレット変換において通常行われている画素の間引き（サブサンプリング）を実施せず、ウェーブレット変換により得られる多重解像度画像の解像度を原画像と同一とする。
【００３４】
Haar-Wavelet：h(x)=-1,1
g(x)=1/2,1/2
ここで、h(x)はｘ方向について高周波成分を抽出するウェーブレット基底であり、g(x)はｘ方向について低周波成分を抽出するウェーブレット基底である。
【００３５】
まず、原画像データＳに対してｘ方向にh(x)を畳み込み演算し、画像データＨ０を得る。
【００３６】
Ｈ０(x,y)＝h(x)＊Ｓ(x,y)（(x,y)は画素の位置）
なお、通常のウェーブレット変換においては、ここで画像データＨ０のｘ方向について画素数を１／２に間引くが、本実施形態においては間引かないものとする。
【００３７】
次に画像データＨ０に対してｙ方向にh(y)を畳み込み演算してｘ方向ｙ方向ともに最高周波数帯域の画像を表す画像データＨＨ０を得る。
【００３８】
ＨＨ０(x,y)＝h(y)＊Ｈ０(x,y)
以下、同様にして下記の演算により、画像データＨ０にg(y)を畳み込み演算した画像データＨＬ０、原画像データＳにg(x)を畳み込み演算した画像データＬ０にh(y)を畳み込み演算した画像データＬＨ０、および画像データＬ０にg(y)を畳み込み演算した画像データＬＬ１を求める。
【００３９】
ＨＬ０(x,y)＝g(y)＊Ｈ０(x,y)
Ｌ０(x,y)＝g(x)＊Ｓ(x,y)
ＬＨ０(x,y)＝h(y)＊Ｌ０(x,y)
ＬＬ１(x,y)＝g(y)＊Ｌ０(x,y)
ここで、画像データＨＬ０、画像データＬＨ０および画像データＬＬ１は、それぞれ原画像の最高周波数帯域におけるｘ方向高周波ｙ方向低周波画像、ｘ方向低周波ｙ方向高周波画像およびｘ方向ｙ方向ともに低周波画像を表すものとなる。
【００４０】
さらに、次の階層のHaar-Wavelet基底であるh(x)′=-1,0,1およびg(x)′＝1/2,0,1/2を使用し、画像データＬＬ１にh(x)′およびh(y)′を畳み込み演算した画像データＨＨ１、画像データＬＬ１にh(x)′およびg(y)′を畳み込み演算した画像データＨＬ１、画像データＬＬ１にg(x)′およびh(y)′を畳み込み演算した画像データＬＨ１を求める。ここで、画像データＬＬ１を求める際に画素を間引いていれば、ウェーブレット基底として上述したh(x)=-1,1およびg(x)=1/2,1/2を用いればよいが、本実施形態においては画素を間引いていないため、間引きに相当する数の値０を挿入したものである。
【００４１】
ＨＨ１(x,y)＝h(y)′＊｛h(x)′＊ＬＬ１(x,y)｝
ＨＬ１(x,y)＝g(y)′＊｛h(x)′＊ＬＬ１(x,y)｝
ＬＨ１(x,y)＝h(y)′＊｛g(x)′＊ＬＬ１(x,y)｝
ここで、画像データＨＨ１、画像データＨＬ１および画像データＬＨ１は、それぞれ原画像の最高周波数帯域の次の周波数帯域におけるｘ方向ｙ方向ともに高周波画像、ｘ方向高周波ｙ方向低周波画像およびｘ方向低周波ｙ方向高周波画像を表すものとなる。
【００４２】
なお、この後ウェーブレット変換を繰り返すことにより、さらに低周波数帯域の画像データを求めることができるが、本実施形態においては画像データＨＬ０，ＬＨ０，ＨＬ１，ＬＨ１のみを用いるため、ここで演算を終了する。また、本実施形態においては、ウェーブレット変換を行う際に画素を間引いていないため、画像データＨＨ０，ＨＬ０，ＬＨ０，ＬＬ０，ＨＨ１，ＨＬ１，ＬＨ１，ＬＬ２により表される画像は図３に示すように原画像と同一の解像度を有するものとなる。ここで、ＬＬ２は画像データＬＬ１にg(x)′およびg(y)′を畳み込み演算した画像データである。
【００４３】
比較手段３１においては、画像データＨＬ１，ＬＨ１の画素値が閾値Ｔｈ１，Ｔｈ２と比較され、ＨＬ１(x,y)＞Ｔｈ１かつＬＨ１(x,y)＞Ｔｈ２の２条件を満たす画素(x,y)が抽出される。
【００４４】
比算出手段３２は、比較手段３１において抽出された画素(x,y)の画素値と、この画素(x,y)に対応する画像データＨＬ０，ＬＨ０の画素値との比のうちいずれか大きい方の比Ｃを下記の式（１）により算出する。なお、本実施形態においては、図３に示すように各画像データＨＬ０，ＬＨ０，ＨＬ１，ＬＨ１の解像度は同一であるため、画素(x,y)の対応付けを正確かつ簡易に行うことができる。
【００４５】
Ｃ(x,y)＝ｍａｘ（ＨＬ０／ＨＬ１，ＬＨ０／ＬＨ１） （１）
ここで、原画像に含まれるエッジなど、原画像の鮮鋭度推定の基準となる部分は画素値として比較的高い値を有し、低周波数帯域画像を表す画像データＨＬ１，ＬＨ１においても高い値を有する。逆に低周波数帯域画像を表す画像データＨＬ１，ＬＨ１において画素値の値が低ければそこにエッジなどの鮮鋭度推定の基準となるものが存在しないと考えることができる。したがって、低周波数帯域画像における画素値と閾値Ｔｈ１，Ｔｈ２との比較の結果により、閾値Ｔｈ１，Ｔｈ２よりも値が大きい画素を鮮鋭度推定の基準となる画素と見なし、この画素の画素値とこの画素に対応する最高周波数帯域画像を表す画像データＨＬ０，ＬＨ０の画素の画素値との比を求める。
【００４６】
ここで、最高周波数帯域画像は、原画像における最高周波成分を担持することから比較的狭い範囲の信号の変化量を表し、低周波数帯域画像は最高周波数帯域画像よりも低周波成分を担持することから広い範囲の信号の変化量を表すものとなる。例えば、図４（ａ）に示すように、非常に急峻なエッジにおいては、狭い範囲Ａにおいても広い範囲Ｂにおいても、その信号の変化量ΔＡ，ΔＢは同一となる。これに対し、図４（ｂ）に示すように、なだらかに信号が変化している部分においては、周波数成分としては急峻なエッジよりも低い周波数帯域のものとなるため、狭い範囲Ａにおける信号の変化量ΔＡよりも広い範囲Ｂにおける信号の変化量ΔＢの方が大きくなる。したがって、図４（ａ）に示す急峻なエッジにおいては、エッジ部分に対応する画素の画素値は最高周波数帯域画像と低周波数帯域画像とにおいて略同一の値となり、図４（ｂ）に示すなだらかに信号が変化している部分においては、信号変化位置に対応する画素の画素値は、最高周波数帯域画像よりも低周波数帯域画像の方が大きな値となる。
【００４７】
このため、上記式（１）により求められる低周波数帯域画像の画素の画素値に対する最高周波数帯域画像の画素の画素値の比Ｃは、急峻なエッジすなわち鮮鋭度が高い部分ほどその値は１に近くなり、信号の変化が滑らかな部分すなわち鮮鋭度が低い部分ほどその値は１よりも小さくなる。
【００４８】
したがって、推定手段３３は比算出手段３２において算出された比Ｃを１と比較し、Ｃ＝１のとき（または１に近いとき）その部分は鮮鋭度が高いと推定し、Ｃ＜＜１のときその部分は鮮鋭度が低いと推定する。そして、この推定結果を画像処理方法選択および／またはパラメータ設定手段４に出力する。
【００４９】
画像処理方法選択および／またはパラメータ設定手段４は、推定手段３３による原画像の鮮鋭度の高低の推定結果に基づいて、原画像を拡大、縮小するために、鮮鋭度が高いと推定された場合には、滑らかさを重視したＢスプライン補間演算を選択するとともにこれのパラメータを決定する。一方、鮮鋭度が低いと推定された場合には、鮮鋭度重視のCubic スプライン補間演算を選択する。
【００５０】
ここで、Cubic スプライン補間演算およびＢスプライン補間演算について説明する。本実施形態において使用される原画像データＳは、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）Ｘk-2，Ｘk-1，Ｘk，Ｘk+1，Ｘk-2…に対応したデジタル画像データ（Ｓk-2，Ｓk-1，Ｓk，Ｓk+1 ，Ｓk+2…）であるとする。
【００５１】
Cubic スプライン補間演算は、オリジナルのサンプリング点（画素）Ｘk〜Ｘk+1間に設けられた補間点Ｘpの補間データＹ′を表す３次のCubic スプライン補間演算式（２）における補間データＹk-1，Ｙk，Ｙk+1，Ｙk+2にそれぞれ対応する補間係数ｃk-1，ｃk，ｃk+1，ｃk+2を、下記にそれぞれ示す演算により求めるものである。
【００５２】
Ｙ′＝ｃk-1Ｙk-1＋ｃkＹk＋ｃk+1Ｙk+1＋ｃk+2Ｙk+2 （２）
ｃk-1＝（−ｔ3＋２ｔ2−ｔ）／２
ｃk＝（３ｔ3−５ｔ2＋２）／２
ｃk+1＝（−３ｔ3＋４ｔ2＋ｔ）／２
ｃk+2＝（ｔ3−ｔ2）／２
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘkを基準としたときの補間点Ｘpの画素Ｘk+1方向への位置を示す。）
Ｂスプライン補間演算は、オリジナルのサンプリング点Ｘk〜Ｘk+1間に設けられた補間点Ｘpの補間データＹ′を表す３次のＢスプライン補間演算式（３）における補間データＹk-1、Ｙk、Ｙk+1、Ｙk+2にそれぞれ対応する補間係数ｂk-1，ｂk，ｂk+1，ｂk+2を、下記にそれぞれ示す演算により求めるものである。
【００５３】
Ｙ′＝ｂk-1Ｙk-1＋ｂkＹk＋ｂk+1Ｙk+1＋ｂk+2Ｙk+2 （３）
ｂk-1＝（−ｔ3＋３ｔ2−３ｔ＋１）／６
ｂk＝（３ｔ3−６ｔ2＋４）／６
ｂk+1＝（−３ｔ3＋３ｔ2＋３ｔ＋１）／６
ｂk+2＝ｔ3／６
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘkを基準としたときの補間点Ｘpの画素Ｘk+1方向への位置を示す。）そして、画像処理選択および／またはパラメータ設定手段４においては、ｃk-1，ｃk，ｃk+1，ｃk+2あるいはｂk-1，ｂk，ｂk+1，ｂk+2がパラメータとして設定される。
【００５４】
画像処理手段５は、画像処理方法選択および／またはパラメータ設定手段４において設定された補間演算のパラメータに基づいて、補間演算を原画像データＳに対して施して処理済み画像データＳ′を得る。
【００５５】
次いで、本実施形態の動作について説明する。画像入力手段２から入力された原画像データＳは、鮮鋭度推定手段７に入力され、ウェーブレット変換により原画像データＳが複数の周波数帯域毎の画像を表す画像データに分解され、上述した式（１）により比Ｃが算出され、原画像の鮮鋭度の高低が推定される。画像処理方法選択および／またはパラメータ設定手段４は、鮮鋭度の推定結果に基づいて画像処理手段５において原画像を拡大、縮小するための補間演算の種類を選択するとともに補間演算のパラメータを設定する。画像処理手段５は画像処理方法選択および／またはパラメータ設定手段４において設定された補間演算のパラメータにより、補間演算を原画像データＳに対して施して処理済み画像データＳ′を得る。処理済み画像データＳ′は画像出力手段６よりプリンタ、ＣＲＴに出力されて可視像として再生されるか、またはネットワーク上に転送される。
【００５６】
このように、本実施形態においては、原画像を表す原画像データＳから原画像の鮮鋭度の高低を推定できるため、この推定結果を用いて画像処理手段５においてその鮮鋭度に応じた補間演算などの画像処理を原画像データＳに対して施すことができる。これにより、その原画像がいずれの入力装置から入力されたものであるか、すでに画像処理が施されものであるかが不明な場合であっても、その原画像に最適な鮮鋭度に関する画像処理を施すことができる。
【００５７】
また、原画像のｘｙ両方向にそれぞれウェーブレット基底h(x),g(x)により畳み込み演算を繰り返し施して多重解像度変換を行い、低周波数帯域におけるｘ方向高周波ｙ方向低周波画像（画像データＨＬ１）およびｘ方向低周波ｙ方向高周波画像（画像データＬＨ１）の双方について各画素の画素値を閾値Ｔｈ１，Ｔｈ２と比較し、ｘ方向高周波ｙ方向低周波画像（画像データＨＬ０）およびｘ方向低周波ｙ方向高周波画像（画像データＬＨ０）のそれぞれについて上記比を求め、いずれか大きい方を鮮鋭度の高低を推定するための比Ｃとして求めることにより、原画像に含まれるエッジなどの方向性に依存することなく鮮鋭度の高低を推定することができる。
【００５８】
次いで、本発明の他の実施形態について説明する。
【００５９】
図６は図１に示す画像処理装置１の他の実施形態を適用した画像合成装置の構成を示す概略ブロック図である。図６に示す画像合成装置は、複数の原画像データＳを画像処理装置１に入力し、原画像データＳのそれぞれについて画像処理を施し、編集指示入力手段２１から入力された指示に基づいて、画像合成手段２０において処理が施された原画像データＳ′を合成して合成画像データＧを得、この合成画像データＧを画像出力手段６からプリンタなどに出力するものである。
【００６０】
ここで、複数の原画像を合成する場合に、本実施形態による鮮鋭度推定装置により各原画像データＳの鮮鋭度の高低を推定し、推定された鮮鋭度の高低に基づいて各原画像データＳに対してアンシャープマスキング処理を施すことにより、それぞれ鮮鋭度に関する最適な画像処理が施された処理済み画像データＳ′を得ることができる。例えば、画像処理装置１に入力される各原画像データＳにより表される原画像の鮮鋭度が高いと推定された部分にはその鮮鋭度をそれほど強調しないような処理が施され、鮮鋭度が低いと推定された部分には鮮鋭度が強調される処理が施される。また、画像全体として鮮鋭度が高いときに原画像を拡大、縮小する場合は滑らかさを重視したＢスプライン補間演算を行い、鮮鋭度が低いときには鮮鋭度を重視したCubic スプライン補間演算を行うことができる。したがって、処理済み画像データＳ′により表される各画像は、いずれの画像においても鮮鋭度が最適に補正されたものとなる。このため、画像合成手段２０において処理済み画像データＳ′を合成して得られる合成画像データＧを再生することにより、全ての原画像データに対して同一の鮮鋭度強調処理を施した場合に生じる、部分毎の鮮鋭度バランスの崩れをなくすことができ、これにより見た目に違和感のない画像を得ることができる。
【００６１】
なお、上記他の実施形態においては、編集指示入力手段２１からの指示を画像合成手段２０に入力しているが、画像処理装置１にも入力し、指示された領域についてのみ画像処理を施すようにしてもよい。
【００６２】
また、上記各実施形態においては、原画像データＳの全画素についてウェーブレット変換を施しているが、主要な被写体が含まれる可能性の高い原画像の中央部分のみ、あるいは任意に選択された領域についてのみウェーブレット変換を施して、演算時間を短縮するようにしてもよい。
【００６３】
また、上記各実施形態においては、ウェーブレット変換を施す際に画素を間引いていないが、画素を間引いて低周波数帯域ほど縮小された画像となるようにウェーブレット変換を施すようにしてもよい。
【００６４】
さらに、上記各実施形態においては、ウェーブレット変換を用いて原画像を多重解像度空間に変換しているが、ラプラシアンピラミッドあるいはフーリエ変換を用いてもよい。
【００６５】
さらにまた、上記各実施形態においては、比較手段３１において、最高周波数帯域画像を表す画像データＨＬ０，ＬＨ０よりも１段階低周波数帯域の画像データＨＬ１，ＬＨ１と閾値Ｔｈ１，Ｔｈ２とを比較しているが、ウェーブレット変換手段３０においてさらに低周波数帯域の画像を表す画像データを求め、この画像データと閾値Ｔｈ１，Ｔｈ２とを比較するようにしてもよい。
【図面の簡単な説明】
【図１】 本発明の実施形態による鮮鋭度推定装置を適用した画像処理装置の構成を示す概略ブロック図
【図２】 本発明の実施形態による鮮鋭度推定装置の構成を示す概略ブロック図
【図３】 ウェーブレット変換の状態を示す図
【図４】 高周波数帯域画像と低周波数帯域画像とにおける信号値の大小を説明するための図
【図５】 強調係数Skを設定するための関数を示すグラフ
【図６】 本発明の他の実施形態による画像処理装置の構成を示す概略ブロック図
【符号の説明】
１ 画像処理装置
２ 画像入力手段
４ 画像処理方法選択および／またはパラメータ設定手段
５ 画像処理手段
６ 画像出力手段
７ 鮮鋭度推定手段
２０ 画像合成手段
２１ 編集指示入力手段
３０ ウェーブレット変換手段
３１ 比較手段
３２ 比算出手段
３３ 推定手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a sharpness estimation method and apparatus for estimating the sharpness of an image.
[0002]
[Prior art]
In various fields, image data representing an image is obtained, the image is subjected to appropriate image processing, and then the image is reproduced. Such an output device that reproduces an image reproduces an image by performing image processing such as correcting image data in accordance with the characteristics of an input device connected as a system and the characteristics of the output device. Here, when only one input device is connected to the output device, the image processing performed in the output device only needs to correspond to the characteristics of the input device, and a plurality of input devices are included in the output device. Are connected, image processing corresponding to the characteristics of each input device may be performed on the image data.
[0003]
However, when a plurality of input devices and output devices are connected, the input devices may be variously changed, and in which input device the image data input to the output device is obtained. Since it cannot be specified, it is difficult to perform optimum image processing in correspondence with the characteristics of the input device and the content of the image processing. For this reason, for example, in Japanese Patent No. 2660170, image data input from the input device is converted so that all of the image data has a general-purpose gradation, and the output device corrects only its own output characteristics. There has been proposed an image processing apparatus capable of obtaining an appropriate reproduced image.
[0004]
In addition, the image obtained by the input device varies in sharpness depending on the device. For this reason, sharpness enhancement processing is performed on the obtained image data in accordance with the sharpness characteristics of the input device to reproduce a higher quality image. In some cases, the image may be enlarged and reduced for reproduction by interpolating the image data. In this case as well, depending on the sharpness of the input device, interpolation calculation that emphasizes sharpness (for example, Cubic spline interpolation calculation), smooth Interpolation calculation (for example, B-spline interpolation calculation) is performed with an emphasis on accuracy.
[0005]
On the other hand, as a method for processing the above-described image data, the image is converted into a multi-resolution image for each of a plurality of frequency bands, a predetermined process is performed on the image of each frequency band, and this is again subjected to inverse multi-resolution. A method of multi-resolution conversion has been proposed for obtaining a final processed image by conversion. Specific examples of the predetermined processing in this case include high-frequency separation for noise removal, and compression processing by reducing data in a frequency band with a lot of noise. As this multi-resolution conversion method, a wavelet transform, a Laplacian pyramid, a Fourier transform, or the like is known. In particular, the wavelet transform is one of the signal frequency analysis methods, but is superior in that it is easy to detect local change information of the signal as compared to the Fourier transform widely used as the frequency analysis method. In recent years, it has been in the spotlight in all signal processing fields (OLIVIER RIOUL and MARTIN VETTERLI; Wavelets and Signal Processing, IEEE SP MAGAZINE, P.14-38, OCTOBER 1991, Stephane Mallat; Zero-Crossings of a Wavelet Transform , IEEE TRANSACTIONS ON INFORMATION THEORY, VOL.37, NO.4, P.1019-1033, JULY 1991, JP-A-6-350989, 6-350990, 7-23228, 7-23229, 7-79350, Japanese Patent Application No. 8-14510).
[0006]
[Problems to be solved by the invention]
By the way, with recent advances in computer networks, various input devices are connected to an image output device, and image data subjected to various processes is transferred over the network. For this reason, it is impossible to know at which input device the image data input to the output device has been obtained, and whether or not image processing has been performed for the sharpness and gradation of the image data. Data is exchanged in a state. In such a case, if the image processing apparatus described in the above-mentioned Japanese Patent No. 2660170 is used, it is possible to perform image processing on the image data so as to obtain a general gradation regardless of the type of the input apparatus.
[0007]
However, with regard to the sharpness of the image represented by the image data, if it is unclear which input device the image data was obtained from, the sharpness enhancement processing and interpolation optimum for the characteristics of the input device Image processing such as computation cannot be performed. In this case, it is conceivable to perform image processing relating to the same sharpness on all the image data by one method determined appropriately. However, depending on the image, the image processing is not optimal, for example, a blurred image with insufficient degree of sharpness enhancement, or even though the sharpness is originally high, the sharpness is further enhanced and overshoot, undershoot There is a risk that an image with artifacts such as the above will occur. In particular, if this method is used when multiple images are combined and played back, the same image processing is performed even if the image data used for the combination has different sharpness. The image is uncomfortable when the balance of sharpness differs from part to part. It is also conceivable that the image is reproduced once and the operator manually corrects the image data while observing the image. However, it takes a lot of time and burden on the operator.
[0008]
The present invention has been made in view of the above circumstances, and an object thereof is to provide an image sharpness estimation method and apparatus capable of estimating the image sharpness from image data.
[0009]
[Means for Solving the Problems]
According to the image sharpness estimation method of the present invention, original image data representing an original image is converted into a multi-resolution space, whereby the original image data is decomposed into image data representing an image for each of a plurality of frequency bands whose bands do not overlap. And
In the low frequency band image of the frequency band lower than the highest frequency band image having the highest frequency among the images for each of the plurality of frequency bands, the pixel value of each pixel is compared with a predetermined threshold value,
Calculating a ratio between a pixel value of a pixel having a value larger than the predetermined threshold and a pixel value of a pixel of the highest frequency band image corresponding to the pixel;
The The level of sharpness of the original image is estimated based on the ratio.
[0010]
Here, the “low frequency band image” includes not only an image having a lower frequency band than the highest frequency band image but also an image having a lower frequency band than two stages.
[0011]
“Based on the ratio” means based on the magnitude of the ratio.
[0012]
In the image sharpness estimation method according to the present invention, the conversion to the multi-resolution space is subjected to filtering processing in the vertical direction and the horizontal direction of the original image, respectively, so that the vertical high-frequency horizontal low-frequency image and the vertical direction Obtain low-frequency lateral high-frequency images and vertical and horizontal low-frequency images,
Further performing the filtering process on the vertical and horizontal low frequency images,
By sequentially repeating the filtering process on the vertical and horizontal low frequency images obtained by the filtering process, a vertical high frequency horizontal low frequency image and a vertical low frequency horizontal high frequency image for each of the plurality of frequency bands are obtained. ,
Comparison with the threshold is performed for the vertical high frequency horizontal low frequency image and the vertical low frequency horizontal high frequency image in the low frequency band,
The ratio is a ratio between a pixel value of a pixel having a value larger than the predetermined threshold in the vertical high frequency horizontal low frequency image and a pixel value of a pixel of the highest frequency band image corresponding to the pixel, and the vertical Calculated as the larger of the ratio of the pixel value of the pixel having a value larger than the predetermined threshold in the direction low frequency lateral high frequency image and the pixel value of the pixel of the highest frequency band image corresponding to the pixel. It is preferable.
[0013]
Here, “sequentially repeating the filtering process on the vertical and horizontal low frequency images obtained by the filtering process” means performing the filtering process on the vertical and horizontal low frequency images obtained for each filtering process.
[0014]
Further, in the image sharpness estimation method of the present invention, conversion to the multi-resolution space, comparison with the predetermined threshold value, and calculation of the ratio are selected in the low frequency band image and the highest frequency band image. It is preferable to carry out only for the region.
[0015]
Here, the “selected region” includes an arbitrary region in the image in addition to the central region of the image that is likely to include the main subject.
[0016]
In the present invention, the conversion to the multi-resolution space is preferably performed by wavelet transform, but various multi-resolution transforms such as the Laplacian pyramid and Fourier transform described above can be applied.
[0017]
Furthermore, in the multi-resolution conversion such as the wavelet transform described above, pixels are thinned out every time conversion is performed, so that the original image is reduced as the frequency band is lowered. It is preferable that the conversion into space is performed without thinning out pixels of the image for each of the plurality of frequency bands.
[0018]
An image sharpness estimation apparatus according to the present invention converts original image data representing an original image into a multi-resolution space, thereby decomposing the original image data into image data representing an image for each of a plurality of frequency bands whose bands do not overlap. Multi-resolution conversion means,
Comparison means for comparing the pixel value of each pixel with a predetermined threshold in the low frequency band image of the frequency band lower than the highest frequency band image having the highest frequency among the images for each of the plurality of frequency bands,
Ratio calculating means for calculating a ratio between a pixel value of a pixel having a value larger than the predetermined threshold and a pixel value of the pixel of the highest frequency band image corresponding to the pixel;
The And an estimation means for estimating the level of sharpness of the original image based on the ratio.
[0019]
In the image sharpness estimation apparatus according to the present invention, the multi-resolution conversion means performs conversion into the multi-resolution space by performing a filtering process in the vertical direction and the horizontal direction of the original image, respectively. Direction low frequency image, vertical low frequency horizontal high frequency image and vertical and horizontal low frequency image,
Further performing the filtering process on the vertical and horizontal low frequency images,
By sequentially repeating the filtering process on the vertical and horizontal low frequency images obtained by the filtering process, a vertical high frequency horizontal low frequency image and a vertical low frequency horizontal high frequency image for each of the plurality of frequency bands are obtained. Means,
The comparison means is a means for performing comparison with the threshold for a vertical high frequency horizontal low frequency image and a vertical low frequency horizontal high frequency image in the low frequency band,
The ratio calculating means calculates the ratio as a pixel value of a pixel having a value larger than the predetermined threshold in the vertical high frequency horizontal low frequency image and a pixel value of a pixel of the highest frequency band image corresponding to the pixel. And the ratio of the pixel value of the pixel having a value larger than the predetermined threshold in the vertical low frequency horizontal high frequency image and the pixel value of the pixel of the highest frequency band image corresponding to the pixel is larger. It is preferable that the means be calculated as one of the two values.
[0020]
In the image sharpness estimation apparatus according to the present invention, the multi-resolution conversion means, the comparison means, and the ratio calculation means convert to the multi-resolution space, compare with the predetermined threshold value, and calculate the ratio. It is preferable that the processing is performed only for a region selected in the original image.
[0021]
Further, it is preferable that the multi-resolution conversion means is means for performing conversion to the multi-resolution space by wavelet conversion.
[0022]
The multi-resolution conversion means is preferably means for performing conversion into the multi-resolution space without thinning out pixels of the image for each of the plurality of frequency bands.
[0023]
【The invention's effect】
The image sharpness estimation method and apparatus according to the present invention first converts original image data into a multi-resolution space by wavelet transform or the like to obtain image data for a plurality of frequency bands. Next, the pixel value of each pixel is compared with a predetermined threshold in the low frequency band image of the frequency band lower than the highest frequency band image among the images for each frequency band. Here, a portion that is a reference for estimating the sharpness of the original image, such as an edge included in the original image, has a relatively high value as a pixel value, and also has a high value in a low frequency band image. On the contrary, if the pixel value is low in the low frequency band image, it can be considered that there is no sharpness estimation reference such as an edge. Therefore, as a result of the comparison between the pixel value in the low frequency band image and the predetermined threshold value, a pixel having a value larger than the predetermined threshold value is regarded as a pixel serving as a reference for sharpness estimation. A ratio with the pixel value of the pixel of the corresponding highest frequency band image is obtained.
[0024]
Here, the highest frequency band image represents the amount of change in the signal in a relatively narrow range because it carries the highest frequency component in the original image, and the lower frequency band image has a lower frequency component than the highest frequency band image. Also represents the amount of change in a wide range of signals. For example, as shown in FIG. 4A, at very steep edges, the signal variations ΔA and ΔB are the same in both the narrow range A and the wide range B. On the other hand, as shown in FIG. 4B, in the portion where the signal is gently changing, the frequency component is in a frequency band lower than the steep edge. The change amount ΔB of the signal in a wider range B is larger than the change amount ΔA. Therefore, at the steep edge shown in FIG. 4A, the pixel values of the pixels corresponding to the edge portion are substantially the same in the highest frequency band image and the low frequency band image, and the gentle values shown in FIG. In the portion where the signal is changed, the pixel value of the pixel corresponding to the signal change position is larger in the low frequency band image than in the highest frequency band image.
[0025]
For this reason, the ratio between the pixel value of the pixel of the low frequency band image and the pixel value of the pixel of the highest frequency band image is closer to 1 as the sharp edge, that is, the sharpness is higher, and the signal change is smoother. That is, the lower the sharpness, the more the value deviates from 1. Therefore, depending on the ratio value obtained, the sharpness of the original image High and low Can be estimated.
[0026]
Thus, according to the image sharpness estimation method and apparatus of the present invention, the sharpness of the original image can be obtained from the image data representing the original image. High and low Therefore, it is possible to estimate the sharpness of the image processing apparatus using this estimation result. High and low Sharpness emphasis processing, interpolation calculation, and the like can be applied to the original image data. For example, sharpness enhancement processing may be performed so that sharpness is not emphasized so much in a portion where the sharpness is estimated to be high in the original image, and sharpness is emphasized more in a portion where the sharpness is estimated to be low. it can. Also, when the original image is high in sharpness, the original image is enlarged or reduced, and B-spline interpolation calculation that emphasizes smoothness is performed. When the sharpness is low, Cubic spline interpolation calculation that emphasizes sharpness is performed. it can. Thus, even if it is unclear whether the original image is input from which input device or has already been subjected to image processing, an image relating to the optimum sharpness for the original image Processing can be performed.
[0027]
Also, multiple resolution conversion is performed by repeatedly performing filtering processing in both the vertical and horizontal directions of the original image, and the pixel value of each pixel for both the vertical high-frequency horizontal low-frequency image and the vertical low-frequency horizontal high-frequency image in the low frequency band Is compared with a predetermined threshold, and the larger one of the ratios of corresponding pixels in the vertical high-frequency horizontal low-frequency image and the vertical low-frequency horizontal high-frequency image is obtained as a ratio for estimating the sharpness. , Sharpness without depending on the directionality of edges etc. included in the original image High and low Can be estimated.
[0028]
Furthermore, by converting to multi-resolution space, comparing with a predetermined threshold, and calculating a ratio only for the selected area, the amount of calculation is reduced and sharpness is reduced. High and low Can be estimated at high speed.
[0029]
Furthermore, by performing conversion to the multi-resolution space without thinning out pixels of the image for each of the plurality of frequency bands, it is possible to accurately associate the pixels of the low frequency band image with the pixels of the highest frequency band image. .
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0031]
FIG. 1 is a schematic block diagram showing a configuration of an image processing apparatus including a sharpness estimation apparatus according to an embodiment of the present invention. As shown in FIG. 1, the
[0032]
FIG. 2 is a schematic block diagram showing the configuration of the sharpness estimation means 7. As shown in FIG. 2, the sharpness estimation means 7 performs wavelet transform on the original image data S, multi-resolution transforms the original image represented by the original image data S, and obtains images for a plurality of frequency bands. Wavelet transform means 30 for obtaining image data to be represented, comparison means 31 for comparing image data HL1 and LH1 (details will be described later) obtained by the wavelet transform means 30 with predetermined threshold values, and comparison results by the comparison means 31 Based on the calculated ratio C, the ratio calculating means 32 calculates the ratio C of the pixel values of the pixels in the image data HL1, LH1 and the image data HL0, LH0. Image represented by Sharpness of High and low And estimating means 33 for estimating.
[0033]
In the
[0034]
Haar-Wavelet: h (x) =-1,1
g (x) = 1 / 2,1 / 2
Here, h (x) is a wavelet basis for extracting a high frequency component in the x direction, and g (x) is a wavelet basis for extracting a low frequency component in the x direction.
[0035]
First, h (x) is convolved with the original image data S in the x direction to obtain image data H0.
[0036]
H0 (x, y) = h (x) * S (x, y) ((x, y) is the pixel position)
In the normal wavelet transform, the number of pixels is thinned out to ½ in the x direction of the image data H0. However, in this embodiment, it is not thinned out.
[0037]
Next, h (y) is convolved with the image data H0 in the y direction to obtain image data HH0 representing an image in the highest frequency band in both the x and y directions.
[0038]
HH0 (x, y) = h (y) * H0 (x, y)
In the same manner, the image data HL0 obtained by convolving g (y) with the image data H0 and the image data L0 obtained by convolving g (x) with the original image data S are convolved with the image data H0 by the following operation. The obtained image data LH0 and the image data LL1 obtained by convolving g (y) with the image data L0 are obtained.
[0039]
HL0 (x, y) = g (y) * H0 (x, y)
L0 (x, y) = g (x) * S (x, y)
LH0 (x, y) = h (y) * L0 (x, y)
LL1 (x, y) = g (y) * L0 (x, y)
Here, the image data HL0, the image data LH0, and the image data LL1 are respectively an x direction high frequency y direction low frequency image, an x direction low frequency y direction high frequency image, and a low frequency image in the x direction y direction in the highest frequency band of the original image. It represents.
[0040]
Further, h (x) ′ = − 1,0,1 and g (x) ′ = 1 / 2,0,1 / 2 which are Haar-Wavelet bases of the next hierarchy are used, and h ( x) ′ and h (y) ′ are convolutionally calculated image data HH1, image data LL1 is h (x) ′ and g (y) ′ are convolutionally calculated image data HL1, and image data LL1 is g (x) ′ and Image data LH1 obtained by convolving h (y) ′ is obtained. Here, if pixels are thinned out when obtaining the image data LL1, h (x) =-1,1 and g (x) = 1 / 2,1 / 2 may be used as the wavelet base. In the present embodiment, since pixels are not thinned, a value 0 corresponding to the number of thinnings is inserted.
[0041]
HH1 (x, y) = h (y) '* {h (x)' * LL1 (x, y)}
HL1 (x, y) = g (y) '* {h (x)' * LL1 (x, y)}
LH1 (x, y) = h (y) '* {g (x)' * LL1 (x, y)}
Here, the image data HH1, the image data HL1, and the image data LH1 are respectively a high frequency image, an x direction high frequency y direction low frequency image, and an x direction low frequency in the x direction y direction in the frequency band next to the highest frequency band of the original image. It represents a y-direction high frequency image.
[0042]
Note that image data in a lower frequency band can be obtained by repeating the wavelet transform thereafter. However, since only the image data HL0, LH0, HL1, and LH1 are used in this embodiment, the calculation ends here. . In the present embodiment, since pixels are not thinned out when performing wavelet transform, the images represented by the image data HH0, HL0, LH0, LL0, HH1, HL1, LH1, and LL2 are as shown in FIG. It has the same resolution as the original image. Here, LL2 is image data obtained by convolving g (x) ′ and g (y) ′ with the image data LL1.
[0043]
In the comparison means 31, the pixel values of the image data HL1 and LH1 are compared with threshold values Th1 and Th2, and pixels (x, y) satisfying the two conditions of HL1 (x, y)> Th1 and LH1 (x, y)> Th2. ) Is extracted.
[0044]
The
[0045]
C (x, y) = max (HL0 / HL1, LH0 / LH1) (1)
Here, a portion that is a reference for estimating the sharpness of the original image such as an edge included in the original image has a relatively high value as a pixel value, and the image data HL1 and LH1 representing the low frequency band image also have a high value. Have. On the contrary, in the image data HL1 and LH1 representing the low frequency band image, if the value of the pixel value is low, it can be considered that there is no standard for sharpness estimation such as an edge. Therefore, as a result of the comparison between the pixel value in the low-frequency band image and the threshold values Th1 and Th2, a pixel having a value larger than the threshold values Th1 and Th2 is regarded as a pixel serving as a reference for sharpness estimation. A ratio of the pixel values of the image data HL0 and LH0 representing the highest frequency band image corresponding to the pixel is obtained.
[0046]
Here, since the highest frequency band image carries the highest frequency component in the original image, it represents the change amount of the signal in a relatively narrow range, and the low frequency band image carries the lower frequency component than the highest frequency band image. It represents the amount of change in a wide range of signals. For example, as shown in FIG. 4A, at very steep edges, the signal variations ΔA and ΔB are the same in both the narrow range A and the wide range B. On the other hand, as shown in FIG. 4B, in the portion where the signal is gently changing, the frequency component is in a frequency band lower than the steep edge. The change amount ΔB of the signal in a wider range B is larger than the change amount ΔA. Therefore, at the steep edge shown in FIG. 4A, the pixel values of the pixels corresponding to the edge portion are substantially the same in the highest frequency band image and the low frequency band image, and the gentle values shown in FIG. In the portion where the signal is changed, the pixel value of the pixel corresponding to the signal change position is larger in the low frequency band image than in the highest frequency band image.
[0047]
For this reason, the ratio C of the pixel value of the pixel of the highest frequency band image to the pixel value of the pixel of the low frequency band image obtained by the above formula (1) is set to 1 as the sharp edge, that is, the portion with higher sharpness. The value is smaller than 1 in a portion where the signal changes more smoothly, that is, in a portion where the sharpness is lower, that is, a portion where the sharpness is lower.
[0048]
Therefore, the estimating means 33 compares the ratio C calculated by the ratio calculating means 32 with 1, and when C = 1 (or close to 1), the portion is estimated to have high sharpness, and C << 1 Sometimes that part is estimated to have low sharpness. Then, the estimation result is output to the image processing method selection and / or parameter setting means 4.
[0049]
The image processing method selection and / or parameter setting means 4 is the sharpness of the original image by the estimation means 33. High and low Estimation result On the basis of the, Enlarging or reducing the original image for When it is estimated that the sharpness is high, a B-spline interpolation calculation that emphasizes smoothness is selected and its parameters are determined. On the other hand, when it is estimated that the sharpness is low, the Cubic spline interpolation calculation that emphasizes the sharpness is selected.
[0050]
Here, the Cubic spline interpolation calculation and the B spline interpolation calculation will be described. The original image data S used in the present embodiment has sampling points (pixels) X arranged in one direction sampled at equal intervals. k-2 , X k-1 , X k , X k + 1 , X k-2 Digital image data (S k-2 , S k-1 , S k , S k + 1 , S k + 2 ...).
[0051]
Cubic spline interpolation operation is the original sampling point (pixel) X k ~ X k + 1 Interpolation point X provided between p Cubic spline interpolation formula (3) representing the interpolation data Y ' 2 Interpolation data Y) k-1 , Y k , Y k + 1 , Y k + 2 Interpolation coefficient c corresponding to each k-1 , C k , C k + 1 , C k + 2 Are obtained by the operations shown below.
[0052]
Y '= c k-1 Y k-1 + C k Y k + C k + 1 Y k + 1 + C k + 2 Y k + 2 ( 2 )
c k-1 = (-T Three + 2t 2 -T) / 2
c k = (3t Three -5t 2 +2) / 2
c k + 1 = (-3t Three + 4t 2 + T) / 2
c k + 2 = (T Three -T 2 ) / 2
(However, t (0 ≦ t ≦ 1) is 1 for the lattice spacing and k Interpolation point X with reference to p Pixel X k + 1 Indicates the position in the direction. )
The B-spline interpolation operation uses the original sampling point X k ~ X k + 1 Interpolation point X provided between p A cubic B-spline interpolation formula () 3 Interpolation data Y) k-1 , Y k , Y k + 1 , Y k + 2 Interpolation coefficient b respectively corresponding to k-1 , B k , B k + 1 , B k + 2 Are obtained by the operations shown below.
[0053]
Y '= b k-1 Y k-1 + B k Y k + B k + 1 Y k + 1 + B k + 2 Y k + 2 ( 3 )
b k-1 = (-T Three + 3t 2 -3t + 1) / 6
b k = (3t Three -6t 2 +4) / 6
b k + 1 = (-3t Three + 3t 2 + 3t + 1) / 6
b k + 2 = T Three / 6
(However, t (0 ≦ t ≦ 1) is 1 for the lattice spacing and k Interpolation point X with reference to p Pixel X k + 1 Indicates the position in the direction. In the image processing selection and / or parameter setting means 4, c k-1 , C k , C k + 1 , C k + 2 Or b k-1 , B k , B k + 1 , B k + 2 Is set as a parameter.
[0054]
The image processing means 5 is set in the image processing method selection and / or parameter setting means 4 Interpolation calculation parameters On the basis of the, Interpolation calculation Is applied to the original image data S to obtain processed image data S ′.
[0055]
Next, the operation of this embodiment will be described. The original image data S input from the image input means 2 is input to the sharpness estimation means 7, and the original image data S is decomposed into image data representing images in a plurality of frequency bands by wavelet transform, and the above-described formula ( The ratio C is calculated by 1), and the sharpness of the original image High and low Is estimated. Image processing method selection and / or parameter setting means 4 Sharpness estimation result In the image processing means 5 based on Original image Zoom in and out for Select the type of interpolation calculation and set parameters for interpolation calculation. The image processing means 5 is set in the image processing method selection and / or parameter setting means 4 Interpolation calculation parameters Thus, an interpolation operation is performed on the original image data S to obtain processed image data S ′. The processed image data S ′ is output from the image output means 6 to a printer or CRT and reproduced as a visible image or transferred over a network.
[0056]
Thus, in the present embodiment, the sharpness of the original image is obtained from the original image data S representing the original image. High and low Therefore, the image processing means 5 uses the estimation result according to the sharpness. Interpolation calculation Such image processing can be performed on the original image data S. As a result, even if it is unknown whether the original image is input from which input device or has already been subjected to image processing, image processing relating to the optimum sharpness for the original image Can be applied.
[0057]
In addition, a multi-resolution conversion is performed by repeatedly performing convolution operations in both xy directions of the original image using wavelet bases h (x) and g (x), respectively, and an x direction high frequency y direction low frequency image (image data HL1) in a low frequency band. And the x-direction low frequency y-direction high-frequency image (image data LH1), the pixel value of each pixel is compared with threshold values Th1 and Th2, and the x-direction high-frequency y-direction low-frequency image (image data HL0) and the x-direction low-frequency y are compared. The above ratio is obtained for each of the direction high-frequency images (image data LH0), and the larger one is the sharpness. High and low By obtaining the ratio C for estimating the sharpness without depending on the directionality of edges or the like included in the original image High and low Can be estimated.
[0058]
Next, another embodiment of the present invention will be described.
[0059]
FIG. 6 shows the
[0060]
here When combining a plurality of original images, the sharpness of each original image data S is determined by the sharpness estimation device according to the present embodiment. High and low Estimate the estimated sharpness High and low For each original image data S Unsharp masking process By performing the above, it is possible to obtain processed image data S ′ that has been subjected to the optimum image processing relating to the sharpness. For example The portion of the original image represented by each original image data S input to the
[0061]
In the above-described other embodiments, the instruction from the editing
[0062]
In each of the above embodiments, wavelet transform is performed on all pixels of the original image data S. However, only the central portion of the original image that is likely to include the main subject or an arbitrarily selected region. Only the wavelet transform may be applied to shorten the calculation time.
[0063]
Further, in each of the above embodiments, pixels are not thinned out when performing wavelet transformation, but wavelet transformation may be performed so as to obtain an image that is thinned out and reduced in the low frequency band.
[0064]
Further, in each of the above embodiments, the original image is converted into a multi-resolution space using wavelet transform, but a Laplacian pyramid or Fourier transform may be used.
[0065]
Furthermore, in each of the embodiments described above, the
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing a configuration of an image processing apparatus to which a sharpness estimation apparatus according to an embodiment of the present invention is applied.
FIG. 2 is a schematic block diagram showing a configuration of a sharpness estimation apparatus according to an embodiment of the present invention.
FIG. 3 is a diagram showing the state of wavelet transform
FIG. 4 is a diagram for explaining the magnitude of signal values in a high frequency band image and a low frequency band image
FIG. 5 is a graph showing a function for setting the enhancement coefficient Sk.
FIG. 6 is a schematic block diagram showing the configuration of an image processing apparatus according to another embodiment of the present invention.
[Explanation of symbols]
1 Image processing device
2 Image input means
4 Image processing method selection and / or parameter setting means
5 Image processing means
6 Image output means
7 Sharpness estimation means
20 Image composition means
21 Editing instruction input means
30 Wavelet transform means
31 Comparison means
32 Ratio calculation means
33 Estimation means
Claims (10)
前記複数の周波数帯域毎の画像のうち、最も周波数が高い最高周波数帯域画像よりも低い周波数帯域の低周波数帯域画像において、各画素の画素値を所定の閾値と比較し、
該所定の閾値よりも値が大きい画素の画素値と、該画素に対応する前記最高周波数帯域画像の画素の画素値との比を算出し、
該比に基づいて前記原画像の鮮鋭度の高低を推定することを特徴とする画像の鮮鋭度推定方法。By converting the original image data representing the original image into a multi-resolution space, the original image data is decomposed into image data representing an image for each of a plurality of frequency bands in which the bands do not overlap,
In the low frequency band image of the frequency band lower than the highest frequency band image having the highest frequency among the images for each of the plurality of frequency bands, the pixel value of each pixel is compared with a predetermined threshold value,
Calculating a ratio between a pixel value of a pixel having a value larger than the predetermined threshold and a pixel value of a pixel of the highest frequency band image corresponding to the pixel;
Sharpness estimation method of an image and estimating the level of sharpness of the original image based on the ratio.
該縦横方向低周波画像に対してさらに前記フィルタリング処理を施し、
該フィルタリング処理により得られる縦横方向低周波画像に対して前記フィルタリング処理を順次繰り返し行うことにより、前記複数の周波数帯域毎の縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像を得、
前記閾値との比較を、前記低周波数帯域における縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像について行い、
前記比を、前記縦方向高周波横方向低周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比、および前記縦方向低周波横方向高周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比のいずれか大きい方の値として算出することを特徴とする請求項１記載の画像の鮮鋭度推定方法。The conversion to the multi-resolution space is subjected to filtering processing in the vertical direction and the horizontal direction of the original image, respectively, to obtain a vertical high frequency horizontal low frequency image, a vertical low frequency horizontal high frequency image, and a vertical horizontal low frequency image. ,
Further performing the filtering process on the vertical and horizontal low frequency images,
By sequentially repeating the filtering process on the vertical and horizontal low frequency images obtained by the filtering process, a vertical high frequency horizontal low frequency image and a vertical low frequency horizontal high frequency image for each of the plurality of frequency bands are obtained. ,
Comparison with the threshold is performed for the vertical high frequency horizontal low frequency image and the vertical low frequency horizontal high frequency image in the low frequency band,
The ratio is a ratio between a pixel value of a pixel having a value larger than the predetermined threshold in the vertical high frequency horizontal low frequency image and a pixel value of a pixel of the highest frequency band image corresponding to the pixel, and the vertical Calculated as the larger of the ratio of the pixel value of the pixel having a value larger than the predetermined threshold in the direction low frequency lateral high frequency image and the pixel value of the pixel of the highest frequency band image corresponding to the pixel. The method for estimating the sharpness of an image according to claim 1.
前記複数の周波数帯域毎の画像のうち、最も周波数が高い最高周波数帯域画像よりも低い周波数帯域の低周波数帯域画像において、各画素の画素値を所定の閾値と比較する比較手段と、
該所定の閾値よりも値が大きい画素の画素値と、該画素に対応する前記最高周波数帯域画像の画素の画素値との比を算出する比算出手段と、
該比に基づいて前記原画像の鮮鋭度の高低を推定する推定手段とを備えたことを特徴とする画像の鮮鋭度推定装置。Multi-resolution conversion means for converting the original image data representing the original image into a multi-resolution space, thereby decomposing the original image data into image data representing an image for each of a plurality of frequency bands whose bands do not overlap;
Comparison means for comparing the pixel value of each pixel with a predetermined threshold in the low frequency band image of the frequency band lower than the highest frequency band image having the highest frequency among the images for each of the plurality of frequency bands,
Ratio calculating means for calculating a ratio between a pixel value of a pixel having a value larger than the predetermined threshold and a pixel value of the pixel of the highest frequency band image corresponding to the pixel;
Sharpness estimation apparatus of an image, characterized in that a estimating means for estimating the level of sharpness of the original image based on the ratio.
該縦横方向低周波画像に対してさらに前記フィルタリング処理を施し、
該フィルタリング処理により得られる縦横方向低周波画像に対して前記フィルタリング処理を順次繰り返し行うことにより、前記複数の周波数帯域毎の縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像を得る手段であり、
前記比較手段は、前記閾値との比較を、前記低周波数帯域における縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像について行う手段であり、
前記比算出手段は、前記比を、前記縦方向高周波横方向低周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比、および前記縦方向低周波横方向高周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比のいずれか大きい方の値として算出する手段であることを特徴とする請求項６記載の画像の鮮鋭度推定装置。The multi-resolution conversion means performs conversion processing to the multi-resolution space in a vertical direction and a horizontal direction of the original image, respectively, so that a vertical high-frequency horizontal low-frequency image, a vertical low-frequency horizontal high-frequency image, and Obtain low and high frequency images
Further performing the filtering process on the vertical and horizontal low frequency images,
By sequentially repeating the filtering process on the vertical and horizontal low frequency images obtained by the filtering process, a vertical high frequency horizontal low frequency image and a vertical low frequency horizontal high frequency image for each of the plurality of frequency bands are obtained. Means,
The comparison means is a means for performing comparison with the threshold for a vertical high frequency horizontal low frequency image and a vertical low frequency horizontal high frequency image in the low frequency band,
The ratio calculating means calculates the ratio as a pixel value of a pixel having a value larger than the predetermined threshold in the vertical high frequency horizontal low frequency image and a pixel value of a pixel of the highest frequency band image corresponding to the pixel. And the ratio of the pixel value of the pixel having a value larger than the predetermined threshold in the vertical low frequency horizontal high frequency image and the pixel value of the pixel of the highest frequency band image corresponding to the pixel is larger. 7. The image sharpness estimation device according to claim 6, wherein the image sharpness estimation device is a means for calculating the value of the image.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7863098A JP3750776B2 (en) | 1998-03-26 | 1998-03-26 | Image sharpness estimation method and apparatus |
| US09/276,470 US6801339B1 (en) | 1998-03-26 | 1999-03-25 | Image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7863098A JP3750776B2 (en) | 1998-03-26 | 1998-03-26 | Image sharpness estimation method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11272853A JPH11272853A (en) | 1999-10-08 |
| JP3750776B2 true JP3750776B2 (en) | 2006-03-01 |
Family
ID=13667206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7863098A Expired - Fee Related JP3750776B2 (en) | 1998-03-26 | 1998-03-26 | Image sharpness estimation method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3750776B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4502303B2 (en) * | 2001-07-05 | 2010-07-14 | 株式会社リコー | Image processing device |
| JP2004127064A (en) * | 2002-10-04 | 2004-04-22 | Konica Minolta Holdings Inc | Image processing method, image processor, image processing program and image recording device |
| JP4656383B2 (en) * | 2004-11-01 | 2011-03-23 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3133795B2 (en) * | 1991-10-04 | 2001-02-13 | 富士通株式会社 | Pattern matching device |
| JP4004561B2 (en) * | 1995-07-27 | 2007-11-07 | 富士フイルム株式会社 | Image processing method and apparatus |
| JPH0998293A (en) * | 1995-09-29 | 1997-04-08 | Fuji Photo Film Co Ltd | Image processing method and device |
-
1998
- 1998-03-26 JP JP7863098A patent/JP3750776B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11272853A (en) | 1999-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8107765B2 (en) | Block-based image restoration system and method | |
| EP1168243B1 (en) | Image processing method and apparatus | |
| JP3995854B2 (en) | Image processing method and apparatus, and recording medium | |
| US6754398B1 (en) | Method of and system for image processing and recording medium for carrying out the method | |
| CN105844590A (en) | Image super-resolution reconstruction method and system based on sparse representation | |
| JPH0944657A (en) | Method and device for processing image | |
| JP4244094B2 (en) | Image processing method and apparatus, and recording medium | |
| US6801339B1 (en) | Image processing method and apparatus | |
| CN101719268A (en) | Generalized Gaussian model graph denoising method based on improved Directionlet region | |
| JP2001167264A (en) | Method and device for image processing and recording medium | |
| JP3999432B2 (en) | Image processing method and apparatus, and recording medium | |
| JP3750776B2 (en) | Image sharpness estimation method and apparatus | |
| CN104883579A (en) | Space-frequency-domain-combination-based video image up-sampling method | |
| JPH1063839A (en) | Image processing method and device therefor | |
| JP3759310B2 (en) | Image processing apparatus and image composition apparatus | |
| JP4004561B2 (en) | Image processing method and apparatus | |
| JP4081926B2 (en) | Image enlargement device | |
| JP2002074356A (en) | Method and device for processing picture and recording medium | |
| JP3481124B2 (en) | Image graininess estimation method and apparatus | |
| JP4014671B2 (en) | Multi-resolution conversion method and apparatus | |
| KR101025569B1 (en) | Apparatus and method for reducing noise of image based on discrete wavelet transform | |
| JP2001056856A (en) | Method and device for image processing and recording medium | |
| JP3669452B2 (en) | Image processing method and apparatus | |
| JP2001167261A (en) | Method and device for processing image and recording medium | |
| JP4030655B2 (en) | Gradation conversion method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040119 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040212 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040217 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051130 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081216 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081216 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081216 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121216 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |