JP3750164B2 - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP3750164B2 JP3750164B2 JP28771095A JP28771095A JP3750164B2 JP 3750164 B2 JP3750164 B2 JP 3750164B2 JP 28771095 A JP28771095 A JP 28771095A JP 28771095 A JP28771095 A JP 28771095A JP 3750164 B2 JP3750164 B2 JP 3750164B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frequency data
- frequency
- sharpening
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、鮮明な画像を得ることのできる画像処理方法および画像処理装置、さらには、画像の拡大縮小処理を行う場合において鮮明な拡大・縮小画像を得ることができ、また、データ圧縮処理を行う場合においても、鮮明な画像を得ることを可能とした画像処理処理方法および画像処理装置に関する。
【０００２】
【従来の技術】
画像データベース、高精細画像印刷等の分野において、高品質な画像処理技術が求められており、その画像処理技術として、画像の鮮明化処理がある。
【０００３】
従来、画像の鮮明化処理方法としては、おもにエッジ強調フィルタ、アンシャープマスクにより処理が行われていた。図１９はエッジ強調フィルタの一例を示すもので、同図（ａ）は、エッジが水平方向、垂直方向および４５度方向に存在する場合のエッジ強調が可能なフィルタであり、同図（ｂ）はエッジが水平方向、垂直方向に存在する場合のエッジ強調が可能なフィルタである。たとえば、図２０に示すように、各画素Ｇ０，Ｇ１，・・・，Ｇ８の画素値（この場合、輝度）がｃ０，ｃ１，・・・，ｃ８である画像データがあって、この画像データを図１９（ａ）のようなフィルタを用いて、画素Ｇ０のエッジ強調処理を行うと、当該画素Ｇ０におけるエッジ強調後の画素値Ｃ０は〔１〕式のようになる。
【０００４】
【数１】
【０００５】
また、アンシャープマスクも処理対象とする画素および周りの画素を用いて鮮明化するものでる。
【０００６】
同様に拡大・縮小した画像においても同様に鮮明な画像が求められている。従来、拡大・縮小した画像の鮮明化は、補間する画像に近いサンプル画素の距離比を用いて補間値を決定する線形補間法や、最も近いサンプルの値を補間値とするニアレストネイバ法（nearest neighbor method）、ＦＦＴ（高速フーリエ変換）やＤＣＴ（ディスクリートコサイン変換）などの直交変換を用いて、実空間の画像データ（人間の見たままの画像データ）を、周波数空間の画像データに変換したのちに拡大する方法（特開平２−７６４７２、特開平５−１６７９２０）等による画像の拡大・縮小処理を行った後に、上記エッジ強調フィルタ、アンシャープマスクによる画像の鮮明化を行うという２段階の処理により行っていた。
【０００７】
さらに、たとえばＪＰＥＧ（Ｊoint Ｐhotographic Ｅxpert Ｇroup）など、直交変換を用いた画像の圧縮・展開処理においては、高周波データを落とすため、圧縮・展開前の画像と比べると、ぼやけた画像となるため、展開後の画像に対して、前記エッジ強調フィルタ、アンシャープマスクによる画像の鮮明化を行うという２段階の処理を行うことにより対処していた。
【０００８】
【発明が解決しようとする課題】
しかし、前述したエッジ強調フィルタやアンシャープマスクによる鮮明化は、図１９に示すフィルタ例に見られるように局所的な情報に基づき鮮明化処理が行われるため、エッジ部分において色が白く抜ける現象である偽輪郭が生じるという問題がある。また、偽輪郭が生じるのを防止するためには、例えば図１９中の係数値を変えることにより可能であるが、このために試行錯誤が必要とされるという問題もある。
【０００９】
さらに、拡大・縮小画像に対する鮮明化処理においては、一度拡大・縮小処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題がある。
【００１０】
またＪＰＥＧ等の直交変換を用いた画像の圧縮・展開処理において、展開後の画像に対して、エッジ強調フィルタ、アンシャープマスクによる画像の鮮明化を行うという２段階の処理を行わなければならないという問題がある。
【００１１】
そこで、本発明は、前記従来の問題を解決すべくなされたもので、偽輪郭が生じず、かつ偽輪郭が生じないようにするための試行錯誤を必要としないで、鮮明な画像を得ることのできる画像処理方法および画像処理装置を提供することを目的とする。また、拡大・縮小画像、あるいはＪＰＥＧ等の直交変換を用いた圧縮展開画像の鮮明化において、拡大・縮小処理の後に、あるいは圧縮・展開処理後に鮮明化処理を行うという２段階の処理を踏まずに、１度の処理過程で拡大・縮小、あるいは圧縮・展開と鮮明化処理が可能な画像処理方法および画像処理装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の画像処理方法は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を鮮明化処理する画像鮮明化工程を有する画像処理方法において、前記画像鮮明化工程は、直交変換工程、周波数データ変更工程、逆直交変換工程を有し、前記画像入力手段により入力された画像データを前記直交変換工程により直交変換し、前記原画像を周波数領域に変換したのち、前記周波数データ変更工程により、前記直交変換工程で直交変換された周波数領域の周波数データの平均値を求め、周波数データと前記平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行い、その変更後の周波数データを前記逆直交変換工程により逆直交変換して、前記原画像の鮮明化を行うようにしている。
【００１３】
このように、原画像を周波数領域に変換するためにＮ×Ｎのブロックを単位として原画像の直交変換を行い、直交変換された周波数領域の周波数データの変更を行い、変更された周波数領域の周波数データの逆直交変換を行い、原画像を鮮明化するようにしているので、Ｎ×Ｎというある程度広い範囲を参照するため、エッジ強調フィルタやアンシャープマスクによる鮮明化のように局所的な情報に基づく鮮明化処理のために生じるエッジ部分において色が白く抜ける現象である偽輪郭が生じるという問題が生じない。また、固定の定数で自然に鮮明化が行えるので、エッジ強調フィルタやアンシャープマスクによる鮮明化を行う際の偽輪郭が生じるのを防止するための係数値を変えるという試行錯誤が必要とされることがない効果を有する。
また、このように、平均値を用いることにより周波数データの分布を考慮した変更が可能となり、より鮮明な画像となる。
【００１７】
また、本発明の画像処理方法は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を鮮明化処理する画像鮮明化工程を有する画像処理方法において、前記画像鮮明化工程は、直交変換工程、周波数データ変更工程、逆直交変換工程を有し、前記画像入力手段により入力された画像データを前記直交変換工程により直交変換し、前記原画像を周波数領域に変換したのち、前記周波数データ変更工程により、前記直交変換工程で直交変換された周波数領域の周波数データの平均値を求め、処理する周波数データと前記平均値の差に対して周期ごとに予め準備されている値を掛けることにより周波数データの変更を行い、その変更後の周波数データを前記逆直交変換工程により逆直交変換して、前記原画像の鮮明化を行うようにしている。
このように、原画像を周波数領域に変換するためにＮ×Ｎのブロックを単位として原画像の直交変換を行い、直交変換された周波数領域の周波数データの変更を行い、変更された周波数領域の周波数データの逆直交変換を行い、原画像を鮮明化するようにしているので、Ｎ×Ｎというある程度広い範囲を参照するため、エッジ強調フィルタやアンシャープマスクによる鮮明化のように局所的な情報に基づく鮮明化処理のために生じるエッジ部分において色が白く抜ける現象である偽輪郭が生じるという問題が生じない。また、固定の定数で自然に鮮明化が行えるので、エッジ強調フィルタやアンシャープマスクによる鮮明化を行う際の偽輪郭が生じるのを防止するための係数値を変えるという試行錯誤が必要とされることがない効果を有する。
また、このように、平均値を用いることにより周波数データの分布を考慮した変更が可能となり、かつ、高周波ほど予め準備している値を大きくしているため、高周波部分における周波数データの変更を大きくでき、ピントずれ等によりややぼやけた画像における高周波情報の復元が可能となるので、さらに鮮明な画像を得ることができるようになる。
【００１８】
そして、前記周波数データ変更工程は、直流成分である周波数データを変更の対象としないようにする。これにより、変更後の周波数データを逆直交変換し画像領域に戻しても処理した画像の輝度変化が生じることなく画像の鮮明化が可能である。
【００１９】
また、本発明の画像処理方法は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を所定の倍率に拡大・縮小し、鮮明化処理する画像拡大鮮明化工程を有する画像処理方法において、前記画像拡大鮮明化工程は、直交変換工程、領域拡張工程、周波数データ変更工程、逆直交変換工程を有し、前記画像入力手段により入力された画像データを前記直交変換工程により直交変換し、前記原画像を周波数領域に変換したのち、前記領域拡張工程により拡大率に応じた周波数領域を用意し、その周波数領域の拡大・縮小を行い、前記周波数データ変更工程により、前記領域拡張工程で作成された周波数領域の周波数データの平均値を求め、周波数データと前記平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行い、前記逆直交変換工程により前記変更後の周波数データの逆直交変換を行い、前記原画像を拡大・縮小するとともに鮮明化を行うようにしている。
【００２０】
このように、原画像を周波数領域に変換するために直交変換工程により原画像の直交変換を行い、拡大率に応じた周波数領域を用意し周波数領域における拡大・縮小を行い、作成された周波数領域の周波数データの変更を行い、変更後の周波数領域の周波数データの逆直交変換を行なって、原画像を拡大・縮小するとともに鮮明化された画像を得るようにしているので、従来の拡大・縮小画像に対する鮮明化処理のように一度拡大・縮小処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題が解決でき、１度の処理で拡大・縮小および鮮明化処理が可能となる。
また、このように、平均値を用いることにより周波数データの分布を考慮した変更が可能となり、より鮮明な拡大・縮小画像となる。
【００２４】
また、本発明の画像処理方法は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を所定の倍率に拡大・縮小し、鮮明化処理する画像拡大鮮明化工程を有する画像処理方法において、前記画像拡大鮮明化工程は、直交変換工程、領域拡張工程、周波数データ変更工程、逆直交変換工程を有し、前記画像入力手段により入力された画像データを前記直交変換工程により直交変換し、前記原画像を周波数領域に変換したのち、前記領域拡張工程により拡大率に応じた周波数領域を用意し、その周波数領域の拡大・縮小を行い、前記周波数データ変更工程により、前記領域拡張工程で作成された周波数領域の周波数データの平均値を求め、処理する周波数データと前記平均値の差に対して周期ごとに予め準備されている値を掛けることにより周波数データの変更を行い、前記逆直交変換工程により前記変更後の周波数データの逆直交変換を行い、前記原画像を拡大・縮小するとともに鮮明化を行うようにしている。
このように、原画像を周波数領域に変換するために直交変換工程により原画像の直交変換を行い、拡大率に応じた周波数領域を用意し周波数領域における拡大・縮小を行い、作成された周波数領域の周波数データの変更を行い、変更後の周波数領域の周波数データの逆直交変換を行なって、原画像を拡大・縮小するとともに鮮明化された画像を得るようにしているので、従来の拡大・縮小画像に対する鮮明化処理のように一度拡大・縮小処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題が解決でき、１度の処理で拡大・縮小および鮮明化処理が可能となる。
また、このように、平均値を用いることにより周波数データの分布を考慮した変更が可能となり、かつ、高周波ほど予め準備している値を大きくしているため、高周波部分における周波数データの変更を大きくでき、ピントずれ等によりややぼやけた画像における高周波情報の復元が可能となるので、さらに鮮明な拡大・縮小画像を得ることができるようになる。
【００２５】
そして、前記周波数データ変更工程は、直流成分である周波数データを変更の対象としないようにする。これにより、変更後の周波数データを逆直交変換し画像領域に戻しても処理した画像の輝度変化が生じることなく画像の鮮明化が可能である。
【００２６】
また、本発明の画像処理方法は、画像入力手段により入力された画像データを直交変換を用いて圧縮・展開し、鮮明化処理する圧縮展開画像鮮明化工程を有する画像処理方法において、前記圧縮展開画像鮮明化工程は、画像データを直交変換後に圧縮処理を行う圧縮処理工程と、圧縮データを展開処理後に逆直交変換行う展開処理工程を有し、さらに、前記圧縮・展開処理工程のいずれか一方に周波数データの変更を行う周波数データ変更工程を加えて成り、前記画像入力手段により入力された画像データを直交変換し、前記原画像を周波数領域に変換したのち、前記周波数データ変更工程により、前記周波数領域の周波数データの平均値を求め、周波数データと前記平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行い、その変更後の周波数データを前記逆直交変換工程により逆直交変換して、前記原画像を圧縮・展開するとともに鮮明化を行うことを特徴とする。
【００２７】
このように、直交変換を用いた圧縮・展開処理において、直交変換後の周波数領域における周波数データの変更を行い、変更後の周波数領域の周波数データを展開処理して逆直交変換を行なうことで、画像データの圧縮・展開処理をおこなうとともに、鮮明化された画像を得るようにしているので、従来の圧縮・展開画像に対する鮮明化処理のように一度圧縮・展開処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題が解決でき、１度の処理で圧縮・展開および鮮明化処理が可能となる。
また、このように、平均値を用いることにより周波数データの分布を考慮した変更が可能となり、より鮮明な画像となる。
【００３１】
また、本発明の画像処理方法は、画像入力手段により入力された画像データを直交変換を用いて圧縮・展開し、鮮明化処理する圧縮展開画像鮮明化工程を有する画像処理方法において、前記圧縮展開画像鮮明化工程は、画像データを直交変換後に圧縮処理を行う圧縮処理工程と、圧縮データを展開処理後に逆直交変換行う展開処理工程を有し、さらに、前記圧縮・展開処理工程のいずれか一方に周波数データの変更を行う周波数データ変更工程を加えて成り、前記画像入力手段により入力された画像データを直交変換し、前記原画像を周波数領域に変換したのち、前記周波数データ変更工程により、前記周波数領域の周波数データの平均値を求め、処理する周波数データと前記平均値の差に対して周期ごとに予め準備されている値を掛けることにより周波数データの変更を行い、その変更後の周波数データを前記逆直交変換工程により逆直交変換して、前記原画像を圧縮・展開するとともに鮮明化を行うことを特徴とする。
このように、直交変換を用いた圧縮・展開処理において、直交変換後の周波数領域における周波数データの変更を行い、変更後の周波数領域の周波数データを展開処理して逆直交変換を行なうことで、画像データの圧縮・展開処理をおこなうとともに、鮮明化された画像を得るようにしているので、従来の圧縮・展開画像に対する鮮明化処理のように一度圧縮・展開処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題が解決でき、１度の処理で圧縮・展開および鮮明化処理が可能となる。
また、このように、平均値を用いることにより周波数データの分布を考慮した変更が可能となり、かつ、高周波ほど予め準備している値を大きくしているため、高周波部分における周波数データの変更を大きくでき、ピントずれ等によりややぼやけた画像における高周波情報の復元が可能となるので、さらに鮮明な画像を得ることができるようになる。
【００３２】
また、前記周波数データ変更工程は、展開処理工程にて行い、展開処理を行うために掛ける係数を考慮した値を掛けることによって周波数データの変更を行うようにする。このように、展開処理工程において周波数データの変更処理を行うので、画像の圧縮率の低下を生じることなく、また、展開処理を周波数データ変更処理に含めて２つの処理を同時に行うようにしたので、処理速度の低下を招くことがなくなる。
【００３３】
また、前記周波数データ変更工程は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないようにする。これにより、変更後の周波数データを逆直交変換し画像領域に戻しても処理した画像の輝度変化が生じることなく画像の鮮明化が可能である。
【００３４】
また、本発明の画像処理装置は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を鮮明化処理する画像鮮明化工程を有する画像処理装置において、前記画像鮮明化手段は、前記原画像を周波数領域に変換するために原画像の直交変換を行なう直交変換手段と、前記前記直交変換手段で直交変換された周波数領域の周波数データを、前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段と、前記周波数データ変更手段により変更された周波数領域における周波数データの逆直交変換を行なう逆直交変換手段とを有し、前記周波数データ変更手段は、前記直交変換手段で直交変換された周波数領域における周波数データの平均値を求め、前記周波数データと前記求められた平均値の差に対して予め準備されている定数を掛けることにより前記周波数データの変更を行うことを特徴とする。なお、本発明の画像処理装置における作用効果については、前記画像処理方法において説明したので省略する。
【００３８】
また、本発明の画像処理装置は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を鮮明化処理する画像鮮明化工程を有する画像処理装置において、前記画像鮮明化手段は、前記原画像を周波数領域に変換するために原画像の直交変換を行なう直交変換手段と、前記前記直交変換手段で直交変換された周波数領域の周波数データを、前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段と、前記周波数データ変更手段により変更された周波数領域における周波数データの逆直交変換を行なう逆直交変換手段とを有し、前記周波数データ変更手段は、前記直交変換手段で直交変換された周波数領域における周波数データの平均値を求め、処理対象の周波数データと前記平均値の差に対して、前記処理対象の周波数データの周期ごとに予め準備されている値を掛けることにより前記周波数データの変更を行うことを特徴とする。なお、本発明の画像処理装置における作用効果については、前記画像処理方法において説明したので省略する。
【００３９】
そして、前記周波数データ変更手段は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないようにする。
【００４０】
また、本発明の画像処理装置は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を所定の倍率に拡大・縮小し、鮮明化処理する画像拡大鮮明化手段を有する画像処理装置において、前記画像拡大鮮明化手段は、前記原画像を周波数領域に変換するために原画像の直交変換を行なう直交変換手段と、拡大率に応じた周波数領域を用し、周波数領域における領域の拡大・縮小を行う領域拡張手段と、前記領域拡張手段により作成された周波数領域における周波数データを、前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段と、前記変更後の周波数領域における周波数データの逆直交変換を行なう逆直交変換手段とを有し、前記周波数データ変更手段は、前記領域拡張手段で作成された周波数領域における周波数データの平均値を求め、前記周波数データと前記求められた平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行うことを特徴とする。
【００４４】
また、本発明の画像処理装置は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を所定の倍率に拡大・縮小し、鮮明化処理する画像拡大鮮明化手段を有する画像処理装置において、前記画像拡大鮮明化手段は、前記原画像を周波数領域に変換するために原画像の直交変換を行なう直交変換手段と、拡大率に応じた周波数領域を用し、周波数領域における領域の拡大・縮小を行う領域拡張手段と、前記領域拡張手段により作成された周波数領域における周波数データを、前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段と、前記変更後の周波数領域における周波数データの逆直交変換を行なう逆直交変換手段とを有し、前記周波数データ変更手段は、前記領域拡張手段で作成された周波数領域の周波数データの平均値を求め、処理対象の周波数データと前記平均値の差に対して、前記処理対象の周波数データの周期ごとに予め準備されている値を掛けることにより周波数データの変更を行うことを特徴とする。
【００４５】
そして、前記周波数データ変更手段は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないようにする。
【００４６】
また、本発明の画像処理装置は、画像入力手段により入力された画像を直交変換を用いて圧縮・展開し、鮮明化処理する圧縮展開画像鮮明化手段を有する画像処理装置において、前記圧縮展開画像鮮明化手段は、直交変換手段により直交変換された周波数領域における周波数データを用いて圧縮処理を行う圧縮処理手段と、前記圧縮処理手段により圧縮された圧縮データを展開処理後に逆直交変換行う展開処理手段とを有し、前記直交変換後の周波数データを前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段を、前記圧縮・展開処理手段のいずれか一方に設け、前記周波数データ変更手段は、前記周波数領域の周波数データの平均値を求め、周波数データと前記平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行うことを特徴とする。
【００５０】
また、本発明の画像処理装置は、画像入力手段により入力された画像を直交変換を用いて圧縮・展開し、鮮明化処理する圧縮展開画像鮮明化手段を有する画像処理装置において、前記圧縮展開画像鮮明化手段は、直交変換手段により直交変換された周波数領域における周波数データを用いて圧縮処理を行う圧縮処理手段と、前記圧縮処理手段により圧縮された圧縮データを展開処理後に逆直交変換行う展開処理手段とを有し、前記直交変換後の周波数データを前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段を、前記圧縮・展開処理手段のいずれか一方に設け、前記周波数データ変更手段は、前記周波数領域の周波数データの平均値を求め、処理する周波数データと前記平均値の差に対して周期ごとに予め準備されている値を掛けることにより周波数データの変更を行うことを特徴とする。
このように、平均値を用いることにより周波数データの分布を考慮した変更が可能である。
また、前記周波数データ変更手段は、展開処理手段に設け、展開処理を行うために掛ける係数を考慮した値を掛けることによって周波数データの変更を行うようにする。
【００５１】
また、前記周波数データ変更手段は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないようにする。
【００５２】
【発明の実施の形態】
（第１の実施の形態）
以下、本発明の第１の実施の形態を説明する。
【００５３】
図１は、第１の実施の形態を説明するブロック図である。１０は画像処理装置１内に設けられた画像鮮明化部であり、処理対象となる実空間の画像の領域（以下、実領域という）を周波数空間の画像の領域（以下、周波数領域という）へ変換するために、直交変換を行う直交変換部１１、周波数領域に変換された周波数データの変更を行うことにより画像の鮮明化を行う周波数データ変更部１２、周波数データ変更部１２で変更された周波数領域の周波数データを実領域に変換する逆直交変換部１３、およびこれら各処理部を接続するためのバス１４より構成される。また、１５は処理対象となる原画像の入力を行うための画像入力装置１５であり、光学的な画像入力を行う場合は光学的画像入力装置（たとえばスキャナ）や通信による入力装置、あるいは画像デ−タを蓄える記憶装置などである。
【００５４】
また、前記各処理部は、ハードロジックにより構成されるものであっても、さらにＣＰＵを付加することによりソフト的な処理により実現されるものであってもよい。
【００５５】
次に画像鮮明化部１０全体の概略的な処理の流れについて説明する。図２はそのフローチャートである。
【００５６】
まず、図３（ａ）のように原画像１０１をある大きさ、例えばＮ×Ｎ画素の大きさに分割したものを１つのブロック（ブロックＢ１，Ｂ２，・・・）とし、そのＮ×Ｎ画素（以下では「Ｎ×Ｎ」のように記載し、「画素」を省略する）のブロックを１つの単位として、直交変換部１１により実領域から周波数領域へ変換を行うために直交変換を行う（ステップｓ１）。
【００５７】
そして、周波数データ変更部１２により周波数領域の周波数データに変更を加えることにより周波数領域における画像の鮮明化処理を行う（ステップｓ２）。
【００５８】
次に、逆直交変換部１３により周波数データ変更部１２で変更された周波数領域の周波数データを実領域へ逆直交変換を行い、１つのブロックの処理が終了する（ステップｓ３）。この処理によりＮ×Ｎの部分画像が鮮明化されることになる。
【００５９】
そして、分割された全ブロックの処理が終了しているか否かの判断を行い、全ブロックの処理が終了していなければ、次のブロックの処理を行ない、全ブロックの処理が終了していれば、処理を終了する（ステップｓ４）。
【００６０】
ここで、ブロックサイズが問題となるが、これは任意であり、縦横の大きさが違っていてもよく、また画像全体を１つのブロックとしてもよい。ただし、処理時間はブロックサイズが小さいほど早くなるため、処理速度と処理精度との関係から一般には４画素〜１６画素程度のブロックサイズで処理を行うのが都合がよい。
【００６１】
なお、画像をブロックに分割することにより拡大画像においてブロックの境界部分に歪みが生じる場合があるが、図３（ｂ）のように、隣合うブロックの一部分が重なるようなブロックの分割を行い、逆直交変換後の画像において重なりのある部分については、画素単位での画素値（たとえば輝度値）の平均を求めることによりブロック歪みの低減を図ることができる。
【００６２】
すなわち、図３（ａ）において、それぞれ隣接するブロックＢ１，Ｂ２，Ｂ３，Ｂ４を例にとると、これらのブロックＢ１，Ｂ２，Ｂ３，Ｂ４を同図（ｂ）に示すように、それぞれの１部が重なり合うようにブロック分割する。そして、たとえば、ブロックＢ１とＢ２との重なり部分ｗ１に存在する画素については、逆直交変換後の実領域におけるブロックＢ１での画素値とブロックＢ２での画素値との平均を各画素単位で求め、その平均値を当該画素の画素値とする。また、ブロックＢ１，Ｂ２，Ｂ３，Ｂ４がすべて重なった部分ｗ２に存在する画素については、逆直交変換後の実領域におけるブロックＢ１〜Ｂ４での画素値の平均を各画素単位で求め、その平均値を当該画素の画素値とする。
【００６３】
次に、前述した各処理部について説明する。まず、直交変換部１１について説明する。直交変換部１１は実領域から周波数領域へ変換を行うために直交変換を行う。直交変換の方法としては高速フーリエ変換（ＦＦＴ）、ディスクリート・コサイン変換（ＤＣＴ）、アダマール（Hadamard）変換、画像の傾斜成分を効率良く表現するために考案されたスラント（Slant ）変換、変換の行列要素として＋１，０，−１を含み、アダマール変換とほぼ同様の効果が得られるハール（Haar）変換等がある。変換方法の一例として、Ｍ×Ｎのブロックサイズに対するディスクリート・コサイン変換を下記〔２〕式に、アダマール変換を下記〔３〕式に示す。なお、〔３〕式にはブロックサイズがＮ＝４の場合の変換ベクトルの例も合わせて示してある。
【００６４】
【数２】
【００６５】
【数３】
【００６６】
なお直交変換方法はどれを用いてもよい。
【００６７】
次に周波数データ変更部１２について述べる。周波数データ変更部１２は、周波数領域の周波数データに変更を加えることにより周波数領域における画像の鮮明化のための処理を行う。
【００６８】
まず、直交変換部１１により変換された周波数領域の周波数データ（変換係数値）について図４を用いて説明する。ここで、周波数領域のブロックサイズはＮ×Ｎであるものとする。なお、以下では特に示す場合を除くほか、処理するブロックサイズはＮ×Ｎであるものとする。
【００６９】
図４において、周波数領域の左上に低周波数のデータが、そして右下に向かうほど高周波数のデータが存在するものとする。またｘ１軸方向に向かって周波数が０からＮ−１まで変化するものとし、ｙ１軸方向に向かっても同様に周波数が０からＮ−１まで変化するものとする。なお、以下では、ｘ１軸方向の周波数がｎで、ｙ１軸方向の周波数がｍにおけるの周波数データを「周波数データ（ｎ，ｍ）」と示し、単に「周波数データ」とした場合には、断わりがない限り周波数領域のすべての周波数データ（０≦ｎ≦Ｎ−１、０≦ｍ≦Ｎ−１）を示すこととする。また図４のＣ１に示す周波数データ（０，０）は、特に「直流成分」と呼ぶものとする。
【００７０】
さらに、周波数データ（ｉ，０）（０≦ｉ≦Ｎ−１）のＮ個の周波数データ群を周波数データＨ0と呼び、周波数データ（ｉ，１）（０≦ｉ≦Ｎ−１）のＮ個の周波数データ群を周波数データＨ1と呼ぶ。同様にしてＨ0からＨn-1までｘ１軸方向における周波数データ群があるものとする。同様に垂直方向についても、周波数データ（０，ｊ）（０≦ｊ≦Ｎ−１）のＮ個の周波数データ群を周波数データＶ0と呼び、周波数データ（１，ｊ）（０≦ｊ≦Ｎ−１）のＮ個の周波数データ群を周波数データＶ1と呼ぶ。同様にしてＶ0からＶn-1までｙ１軸方向における周波数データ群があるものとする。
【００７１】
始めに、周波数領域における鮮明化についての概要を図５を用いて説明する。図５は、図４における周波数データＨ0を示したものである。なお、ここではＮ＝８であるものとする。図において横軸は周波数を、縦軸は周波数データＨ0のそれぞれの係数の値を示す。図中、実線で示すｄ１は、ピントずれ等によりややぼやけた画像の直交変換後の周波数データＨ0を示すもので、点線で示すｄ２は、同一の画像においてピントのあった鮮明な画像の直交変換後の周波数データＨ0を示すものである。図から分かるように、鮮明な画像の方が各周波数において絶対値が大きいことがわかる。図５では周波数データＨ0のみを示しているが、周波数領域の周波数データ全体に同様な傾向が見られる。そこで、周波数領域における画像の鮮明化は、周波数データの絶対値を大きくするように変更することで実現する。具体的な方法は、以下のようにして行う。
【００７２】
周波数データ変更部１２を実現する第１の方法は、周波数データを予め準備されている定数α1倍することにより実現する。この方法は演算が簡単で高速な処理を実現できるという利点がある。なおここでは、直流成分は処理の対処としないものとする。なぜならば、直流成分はＮ×Ｎのブロックにおける輝度を代表する値であり、変更すると逆直交変換部１３における変換後の実画像の輝度情報が大きく変わってしまうからである。処理は、変更前の周波数データ（ｎ，ｍ）をａ(n,m)、予め準備されている定数α1変更後の周波数データ（ｎ，ｍ）をＡ(n,m)とすると、式〔４〕のようになる。
【００７３】
【数４】
【００７４】
なお、定数α1の値は、1.0から2.0の範囲での設定でよく、実験によると1.4前後の数値において、不自然なことなく鮮明化ができることが分かった。
【００７５】
周波数データ変更部１２を実現する第１の方法による周波数データの変更例を図６に示す。図６は図５の処理対象となるややぼやけた画像の直交変換後の周波数データＨ0であるｄ１に第１の方法による周波数データの変更を行った後の周波数データＨ0であるｄ３を示したものである。この処理により、例えば変更前の周波数データａ(4,0)は変更後にはＡ(4,0)（＝ａ(4,0)×α1）に、ａ(6,0)はＡ(6,0)（＝ａ(6,0)×α1）に変更される。
【００７６】
この方法は、処理ブロックがＮ×Ｎであることからある程度広い範囲を参照するため、エッジ強調フィルタやアンシャープマスクによる鮮明化のように局所的な情報に基づく鮮明化処理のために生じるエッジ部分において色が白く抜ける現象である偽輪郭が生じるという問題が生じない。また、固定の定数で自然に鮮明化が行えるので、エッジ強調フィルタやアンシャープマスクによる鮮明化を行う際の偽輪郭が生じるのを防止するための係数値を変えるという試行錯誤が必要とされることがない効果を有する。
【００７７】
周波数データ変更部１２を実現する第１の方法においては、周波数データの値が０を中心として、周波数データの変更処理を行っていた。しかし、周波数データの分布は、０が中心となるとは限らず、周波数データの分布を考慮した変更とならない。そのため逆直交変換後における画像は十分に鮮明な画像とはならない。そこで、以下では周波数データの分布を考慮した周波数データの変更を行うことにより、より鮮明な画像が得られるような周波数データ変更部１２を実現する第２の方法について説明する。
【００７８】
周波数データ変更部１２を実現する第２の方法とは、周波数データの分布を平均値を用いることにより周波数データの分布の考慮を行う。すなわち、平均値を中心として周波数データに予め準備されている定数α2を掛けることにより周波数データの変更を行う。
【００７９】
具体例を図７、図８を用いて説明する。図７は、図５に示すややぼやけた画像の直交変換後の周波数データＨ0であるｄ１を第２の方法で処理した周波数データＨ0であるｄ４を示したものであり、図８は処理の流れを示すフローチャートである。
【００８０】
まず、周波数データの分布を考慮すべく周波数データの平均値ｂを求める（ステップｓ１１）。なお、平均値を求める際は直流成分を除いた周波数データを用いて行う。なぜならば、直流成分は処理対象とせず、一般に他の周波数データとの絶対値が大きく違うからである。
【００８１】
次に、直流成分を除いた周波数データａから平均値ｂを引いた値に対して予め準備されている定数α2を掛け、それに平均値ｂを加えることにより、新たな周波数データＡを求める（ステップｓ１２）。例えば、図７を例にすると、周波数データａ(4,0)は、この変更により
Ａ(4,0)＝ｂ＋（ａ(4,0)−ｂ）×α２ ・・・ 〔５〕
〔５〕式のようになり、周波数データａ(6,0)は、この変更により
Ａ(3,0)＝ｂ＋（ａ(6,0)−ｂ）×α２ ・・・ 〔６〕
〔６〕式のようになる。
【００８２】
なお、平均値を求め、周波数データの変更を行う単位としては、直流成分を除く周波数領域の全周波数データを単位とする。
【００８３】
また、別な処理単位としては図５に示す周波数データ群であるＨ0からＨn-1、Ｖ0からＶn-1を単位としてもよい。この場合、Ｈ0からＨn-1の処理を行ない、続いてＶ0からＶn-1の処理を行う。なぜならば、処理対象とする画像のサンプリングは直角に行われているため、水平あるいは垂直の周波数データ群間での関係が強いからである。なお、この場合も直流成分は処理の対象とせず、平均値ｂの算出においても除かれる。
【００８４】
なお、周波数領域の全周波数データを単位とする処理を行う場合の定数α2の値は、１．０から２．０の範囲での設定でよく、実験によると１．４前後の数値において、不自然なことなく鮮明化ができることが分かった。また、周波数データ群であるＨ0からＨn-1、Ｖ0からＶn-1を単位する処理においては、周波数領域の全周波数データを単位とする処理を行う場合の定数α2の平方根をとった値を用いる。なぜならば、横方向、縦方向で２度の処理が行われるためである。すなわち、図４において周波数データａ(1,0)に注目すると、Ｈ0での処理、およびＶ1で処理が行われ、２回変更が行われる。
【００８５】
このように周波数データ変更部１２を実現する第２の方法を用いることにより、周波数データの分布を考慮した変更が可能となり、周波数データの分布を考慮しない第１の方法に比べ、逆直交変換後における画像は、より鮮明な画像となる。
【００８６】
ピントずれ等によりややぼやけた画像は、どのような部分においてぼけるかというと、画像のエッジ部分が特にぼける。すなわち、画像における物と物との境が不明瞭になる。ところで、画像のエッジ部分とは、高周波に該当する部分である。よって、図５からも分かるように、ピントずれ等によりややぼやけた画像の直交変換後の周波数データＨ0を示すｄ１と、点線で示す同一の画像においてピントのあった鮮明な画像の直交変換後の周波数データＨ0を示すｄ２とを比較すると、周波数データ値の差は特に周波数が大きな部分において生じている。そこで、周波数データを実現する第３の方法として、周波数による違いを考慮した周波数データの変更方法を以下に説明する。
【００８７】
図９は、周波数による違いを考慮すべく、変換のために値α3を周波数毎に変えた場合の値α3を示した図である。すなわち、図５に示すようにぼけた画像と鮮明な画像とでは高周波において差が大きくなることから、高周波部分における値α3を大きくすることにより、高周波部分における周波数データの変更を大きくする。
【００８８】
なお、値α3は、〔７〕式のように定義することができる。
【００８９】
【数５】
【００９０】
ここで、ｎは周波数を表し、βは予め定められた定数を表す。また、βは〔８〕式のように定義する。
【００９１】
【数６】
【００９２】
βの値をこのように定義することで、α3は１から２の間で変化し、高周波ほど大きな値をとることになる。なお、〔７〕式〔８〕式は、値α3の一例でありこれに限定されるものではない。
【００９３】
周波数データ変更部１２を実現する第３の方法による周波数データの変更例を図１０に示す。図１０は図５の処理対象となるややぼやけた画像の直交変換後の周波数データＨ0であるｄ１に周波数データ変更部１２を実現する第３の方法による周波数データの変更を行った後の周波数データＨ0であるｄ５を示したものである。この処理により、例えば変更前の周波数データａ(4,0)は変更後にはＡ(4,0)（＝ａ(4,0)×α3(4)）に、ａ(6,0)はＡ(6,0)（＝ａ(6,0)×α3(6)）に変更される。
【００９４】
なお、直交変換部１１により変換された周波数領域の周波数データ全体に対する処理においては、周波数データ（ｎ，ｍ）をａ(n,m)、予め準備されている値α3(k)を用いた変更後の周波数データ（ｎ，ｍ）をＡ(n,m)とすると、式〔９〕のようになる。ここで、max(n,m)はｎ、ｍのうち大きい方の値を選択する関数である。
【００９５】
【数７】
【００９６】
なお、〔７〕式に定義する値α3を用いる場合、直流成分におけるα3(0,0)の値は１であるので、周波数データ変更部１２を実現する第１あるいは第２の方法のように処理対象外とする必要はない。ただし、直流成分におけるα3(0,0)の値が１以外の場合は処理対象とする。これは変換後の画像の輝度変化が大きく変化しないようにするためである。
【００９７】
周波数データ変換部１２を実現する第３の方法は周波数データの変更のための値α3を高周波部分において大きくしているので、高周波部分における周波数データの変更を大きくしている。そのため、ピントずれ等によりややぼやけた画像における高周波情報を多くすることができ、より鮮明な画像を得ることができるようになる。
【００９８】
周波数データ変更部１２を実現する第３の方法は、ピントのずれ等によりややぼけた画像等の特性を考慮して高周波部分における周波数データの変更を大きくできるような値α3を予め準備しているので、鮮明な画像を得ることが可能となる。しかし、周波数データ変更部１２を実現する第３の方法においては、周波数データの値が０を中心として、周波数データの変更処理を行っているが、周波数データの分布は、必ずしも０が中心となるとは限らず、周波数データの分布を考慮した変更とは言えない。そのため、逆直交変換後における画像は十分に鮮明な画像とはならない。そこで、ピントのずれ等によりややぼけた画像等の特性を考慮するとともに、周波数データの分布を考慮した周波数データの変更を行うことにより、より鮮明な画像が得られるような周波数データ変更部１２を実現する第４の方法について以下に説明する。
【００９９】
周波数データ変更部１２を実現する第４の方法とは、周波数データの分布を平均値を用いることにより周波数データの分布の考慮を行う。すなわち、平均値を中心として周波数データに予め準備されている値α4を掛けることにより周波数データの変更を行う。なお、値α4は〔７〕式に示した値α3を使うものとする。
【０１００】
具体例を図１１、図１２を用いて説明する。図１１は、図５に示すややぼやけた画像の直交変換後の周波数データＨ0であるｄ１を周波数データ変更部１２を実現する第４の方法で処理した周波数データＨ0であるｄ６を示したものであり、図１２は処理の流れを示すフローチャートである。
【０１０１】
まず、周波数データの分布を考慮すべく周波数データの平均値ｂをもとめる（ステップｓ２１）。なお、平均値を求める際は直流成分を除いた周波数データを用いて行う。直流成分は処理対象としないからである。
【０１０２】
次に、直流成分を除いた処理対象とする周波数データａ(n,m)から平均値ｂを引いた値に対して予め準備されている値α4（max(n,m)）を掛け、それに平均値ｂを加えることにより、新たな周波数データＡ(n,m)を求める（ステップｓ２２）。例えば、図１１を例にすると、周波数データａ(4,0)はこの変更により、
Ａ(4,0)＝ｂ＋（ａ(4,0)−ｂ）×α4（max(4,0)） ・・・ 〔１０〕
〔１０〕式のようになり、周波数データａ(6,0)はこの変更により、
Ａ(6,0)＝ｂ＋（ａ(6,0)−ｂ）×α4（max(6,0)） ・・・ 〔１１〕
〔１１〕式のようになる。
【０１０３】
なお、上記例では、平均値を求め周波数データの変更を行う単位として、直流成分を除く周波数領域の全周波数データを単位としている。
【０１０４】
別な処理単位として、図５に示す周波数データ群であるＨ0からＨn-1、Ｖ0からＶn-1を単位としてもよい。この場合、Ｈ0からＨn-1の処理を行った後に、続いてＶ0からＶn-1の処理を行う様にする。なぜならば、処理対象とする画像のサンプリングは直角に行われているため、水平あるいは垂直の周波数データ群間での関係が強いからである。なお、この場合も直流成分は処理の対象としない。
【０１０５】
また、周波数データ群であるＨ0からＨn-1、Ｖ0からＶn-1を単位する処理においては、周波数領域の全周波数データを単位とする処理を行う場合の値α4の平方根をとった値をとして用いる。なぜならば、横方向、縦方向で２度の処理が行われるためである。
【０１０６】
このように周波数データ変更部１２を実現する第４の方法を用いることにより、ピントのずれ等によりややぼけた画像等の特性を考慮するとともに、周波数データの分布を考慮した周波数データの変更を行える。そのため、より鮮明な画像が得られるようになる。また、図５のピントの合った鮮明な画像の周波数データＨ0であるｄ２と図１１に示した処理後のｄ６を比較するとより近い値に変更されていることが分かる。
【０１０７】
次に、逆直交変換部１３について説明する。逆直交変換部１３は周波数データ変更部１２にて処理された周波数領域を実領域へと逆変換を行う処理をする。逆直交変換方法は、直交変換部１１での直交変換方法と同じ種類の変換方法を用いて行なう。すなわち、直交変換部１１でＤＣＴ変換を用いた場合は逆ＤＣＴ変換、直交変換部１１でアダマール変換を用いた場合は逆アダマール変換とする。一例として、Ｍ×Ｎのブロックサイズの逆ＤＣＴ変換式を〔１２〕式に示す。なお、アダマール変換の場合は、周波数領域への変換も実領域への変換も〔３〕式により実現できる。すなわち、アダマール変換は正変換、逆変換とも同じ方法により実現できる。
【０１０８】
【数８】
【０１０９】
なお、周波数データ変更部１２の処理により、逆直交変換後の実領域におけるデータ値が本来表せるデータ範囲を越える場合がある。例えば、実領域におけるデータ値（この場合「輝度値」等がこれに相当する）が０から２５５までの範囲をとるものとすると、逆直交変換後のデータ値が、−１０や２６０等になる場合がある。その場合は、０以下のデータ値であれば０に、２５５以上のデータ値であれば、２５５に修正する処理を逆直交変換部１３は行うものとする。
【０１１０】
第１の実施の形態における画像処理方法および画像処理装置は、Ｎ×Ｎという範囲を参照した鮮明化処理を行うため、エッジ強調フィルタやアンシャープマスクによる鮮明化のように局所的な情報に基づく鮮明化処理のために生じるエッジ部分において色が白く抜ける現象である偽輪郭が生じるという問題が生じず、かつ固定の定数で自然に鮮明化が行えるので、エッジ強調フィルタやアンシャープマスクによる鮮明化を行う際の偽輪郭が生じるのを防止するための係数値を変えるという試行錯誤が必要とされることがないという効果を有する。
【０１１１】
（第２の実施の形態）
以下、本発明の第２の実施の形態を説明する。第２の実施の形態は画像の拡大・縮小を行うと共に画像の鮮明化を同時に行なうことを可能とした画像処理方法および装置に関する。
【０１１２】
図１３は、第２の実施の形態の構成を説明するブロック図である。２０は画像処理装置２内に設けられた画像拡大鮮明化部である。画像拡大処理部２０は画像の拡大・縮小とも可能であるが、ここでは単に「画像拡大鮮明化部」とする。画像拡大鮮明化部２０は処理対象となる実空間の画像の領域を周波数空間の領域へ変換するために、直交変換を行う直交変換部１１、拡大・縮小率に合わせた周波数領域を準備する領域拡張部２１、周波数領域に変換された周波数データの変更を行うことにより画像の鮮明化を行う周波数データ変更部１２、周波数データ変更部１２で変更された周波数領域の周波数データを実領域に変換を行う逆直交変換部１３、およびこれら各処理部を接続するためのバス１４より構成される。また、１５は処理対象となる原画像の入力を行うための画像入力装置１５であり、光学的な画像入力を行う場合は光学的画像入力装置（たとえばスキャナ）や通信による入力装置、あるいは画像デ−タを蓄える記憶装置などである。なお、第１の実施の形態において説明した図１に示す画像処理装置１と同一の構成部分は同一の番号を用いている。
【０１１３】
また、前記各処理部は、ハードロジックにより構成されるものであっても、さらにＣＰＵを付加することによりソフト的な処理により実現されるものであってもよい。
【０１１４】
次に画像拡大鮮明化部２０全体の概略的な処理の流れについて説明する。図１４はそのフローチャートである。
【０１１５】
まず、図３（ａ）のように原画像１０１をある大きさ、例えばＮ×Ｎ画素の大きさに分割したものを１つのブロック（ブロックＢ１，Ｂ２，・・・）とし、そのＮ×Ｎ画素のブロックを１つの単位として、直交変換部１１により実領域から周波数領域へ変換を行うために直交変換を行う（ステップｓ３１）。
【０１１６】
次に拡大率γに合わせて、周波数領域の周波数領域の準備を行うとともに、周波数領域における画像の拡大処理を行う（ステップｓ３２）。
【０１１７】
そして、周波数データ変換部１２により周波数領域の周波数データに変更を加えることにより周波数領域における画像の鮮明化処理を行う（ステップｓ３３）。
【０１１８】
次に、逆直交変換部１３により周波数データ変更部１２で変更された周波数領域の周波数データを数領域を実領域へ逆直交変換を行い、１つのブロックの処理が終了する（ステップｓ３４）。この処理により（γ×Ｎ）×（γ×Ｎ）の拡大・縮小画像が得られると共に画像の鮮明化がされることになる。
【０１１９】
そして、分割された全ブロックの処理が終了しているか否かの判断を行い、全ブロックの処理が終了していなければ、次のブロックの処理を行ない、全ブロックの処理が終了していれば、処理を終了する（ステップｓ３５）。
【０１２０】
ここで、ブロックサイズが問題となるが、これは任意であり、縦横の大きさが違っていてもよく、また画像全体を１つのブロックとしてもよい。ただし、処理時間はブロックサイズが小さいほど早くなるため、処理速度と処理精度との関係から一般には４画素〜１６画素程度のブロックサイズで処理を行うのが都合がよい。
【０１２１】
なお、画像をブロックに分割することにより拡大画像においてブロックの境界部分に歪みが生じる場合があるが、図３（ｂ）のように、隣合うブロックの一部分が重なるようなブロックの分割を行い、逆直交変換後の画像において重なりのある部分については、画素単位での画素値（たとえば濃度値）の平均を求めることによりブロック歪みの低減を図ることができることは、第１の実施の形態で説明した通りである。
【０１２２】
次に、前記した各処理部について図１５を用いて説明する。まず、直交変換部１１は第１の実施の形態で説明した内容と同じであるのでここでは省略する。なお、直交変換部１１によりＮ×Ｎの実領域の画像図１５（ａ）が、Ｎ×Ｎの周波数領域の周波数データ図１５（ｂ）に変換される。
【０１２３】
次に領域拡張部２１により拡大率γに応じた周波数領域の準備を行う。準備する周波数領域の大きさは（γ×Ｎ）×（γ×Ｎ）である。なお、拡大処理の場合はγは１以上となり、Ｎ×Ｎより大きな領域が準備されることとなり、縮小処理の場合はγは１以下となり、Ｎ×Ｎより小さな領域が準備されることとなる。
【０１２４】
さらに領域拡張部２１は、このように準備された領域に、直交変換部１１により変換された周波数領域を図１５（ｃ）に示すように直流成分を一致させてコピーを行う。なお、拡大処理においては、コピーされない領域ができるが、この部分は図１５（ｃ）に示すように「ゼロ」を埋める。また、縮小処理においては、直交変換部１１により変換された周波数領域の全ての部分がコピーされないこととなるが、この部分はコピーを行わず破棄する。
【０１２５】
なお、領域拡張部２１は、拡大処理においてコピーされない領域に「ゼロ」を埋める代わりに特開平６−５４１７２に示すような高周波成分の復元処理を行うものであってもよい。
【０１２６】
そして周波数データ変更部１２により周波数領域における鮮明化処理を行うべく周波数データの変更を行う。なお、周波数データ変更部１２の処理内容は処理する周波数領域の大きさがＮ×Ｎではなく（γ×Ｎ）×（γ×Ｎ）である点に相違があるだけで実施例１で説明した内容と同様であり、周波数データ変更部１２を実現する第１から第４のいずれの方法を用いてもよい。なお、周波数データ変更部１２におけるそれぞれの処理内容については第１の実施の形態にて詳細に説明したので、ここではその説明は省略する。
【０１２７】
最後に、逆直交変換部１３により周波数データ変更部１２により変更された周波数領域を実画像領域に戻すべく逆直交変換を行う。なお、逆直交変換部１３の処理内容は処理する周波数領域の大きさがＮ×Ｎではなく（γ×Ｎ）×（γ×Ｎ）である点、直交変換部１１と変換する領域の大きさが異なることによる全エネルギーに相違があるだけで、第１の実施の形態で説明した内容と同様でありここではその処理内容の説明を省略する。
【０１２８】
以上第２の実施の形態で説明した画像処理方法および画像処理装置を用いることにより、従来の拡大・縮小画像に対する鮮明化処理のように一度拡大・縮小処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題が解決でき、一度の処理で拡大・縮小および鮮明化処理が可能となる。
【０１２９】
（第３の実施の形態）
以下、本発明の第３の実施の形態を説明する。この第３の実施の形態は、直交変換を用いた画像の圧縮・展開方法において、圧縮・展開処理とともに、鮮明化処理を同時に行なうものである。なお、この第３の実施の形態では、直交変換を用いた画像の圧縮・展開の例として、入力されたカラー画像を前記したＪＰＥＧを用いて圧縮・展開する例について説明する。
【０１３０】
まず、直交変換を用いた圧縮・展開の一例であるＪＰＥＧの処理について図１６のフローチャートを参照しながら簡単に説明する。図１６（ａ）は圧縮の流れ、同図（ｂ）は展開の流れを示している。
【０１３１】
ＪＰＥＧにおいては、８×８（画素）のブロックを処理単位とする。これは、ＪＰＥＧに用いられる直交変換はディスクリート・コサイン変換（ＤＣＴ）であり、このＤＣＴにおいては、８×８（画素）単位で直交変換処理（および逆直交変換処理）を行うためである。
【０１３２】
以下、図１６（ａ）により、圧縮処理について説明する。まず、色変換処理（ステップｓ４１）を行う。この色変換処理は、ある色空間、例えばＲＧＢ色空間を輝度（Ｙ）・彩度（Ｕ，Ｖ）の色空間であるＹＵＶ色空間に変換する。これは、人間の視覚特性を考慮したもので、人間は輝度（Ｙ）の変換には敏感であるが、彩度（Ｕ，Ｖ）にはあまり敏感でないため、この色空間に変換し、彩度情報を落とす、つまり、彩度情報を間引いて情報量を減らすことにより、画像データの圧縮率を高めるためである。
【０１３３】
この色変換処理を行ったのち、直交変換処理を行う（ステップｓ４２）。この直交変換処理は、ＤＣＴが用いられ、８×８（画素）を処理単位として直交変換を行う。この直交変換処理は、前記したように、実空間の画像データを周波数空間の画像データに変換する処理である。このように周波数空間の画像データに変換されることにより、次のステップｓ４３の量子化処理において、高周波成分のデータ量を落としやすくすることができる。なお、高周波成分のデータ量を落とすのは、画像データの高周波成分は低周波成分に比べてデータ量を多少間引いても画像の劣化が目立ちにくいためである。この直交変換以下の処理はＹ，Ｕ，Ｖそれぞれ独立に行われる。
【０１３４】
前記量子化処理（ステップｓ４３）は、情報量を落とす処理として、周波数空間に変換された８×８（画素）のブロックに対して、そのブロック内の各要素ごとに定められたある値で割ることにより量子化を行う。なお、高周波成分ほど大きな値で量子化される。この量子化処理を行ったのち、符号化処理を行う（ステップｓ４４）。
【０１３５】
符号か処理は、量子化された８×８（画素）で構成されるブロックを、相関が高いと考えられる１次元配列に変換し符号化処理を行う。符号化方式はＤＣ成分がＤＰＣＭ（Differential PCM）、ＡＣ成分がランレングス・ハフマン符号化により行われる。そして、すべてのブロックが終了したか否かを判断して（ステップｓ４５）、すべてのブロック処理が終了すると処理を終える。
【０１３６】
以上が圧縮処理であり、次に、図１６（ｂ）によって展開処理（圧縮された画像データを展開する処理）について説明する。
【０１３７】
図１６（ｂ）において、復号化処理（ステップｓ５１）は、圧縮データの復号化を行い、復号化された１次元の配列を８×８（画素）のブロックにする。次に、逆量子化処理（ステップｓ５２）を行い、前記量子化処理で割った値を掛けることにより逆量子化を行う。そして、逆直交変換処理（ステップｓ５３）により、ＩＤＣＴ（Inverse DCT）を用いて、逆直交変換を行たのち、色変換処理（ステップｓ５４）により、ＹＵＶ色空間を必要とする色空間、例えばＲＧＢ色空間に変換する。そして、全ブロック終了か否かを判断して（ステップｓ５５）、すべてのブロック処理が終了すると処理を終える。
【０１３８】
以上が直交変換を用いたＪＰＥＧの処理の概略である。このような直交変換を用いた圧縮・展開処理においては、高周波成分のデータを量子化処理により落とすために、展開後の画像は一般にぼやけたものとなる。そこで、周波数空間に変換された周波数領域において、前記第１、第２の実施の形態で説明したように、周波数データの変更を行うことにより、画像のぼやけを解消し、画像の鮮明化を図る。
【０１３９】
これを実現するための実施の形態を本発明の第３の実施の形態として以下に説明する。
【０１４０】
図１７は第３の実施の形態の構成を説明するブロック図である。なお、ここでは、直交変換を用いた画像の圧縮・展開の例として、ＪＰＥＧを用いた例について説明する。
【０１４１】
図１７において、３０は画像処理装置３内に設けられた圧縮展開画像鮮明化部である。この圧縮展開画像鮮明化部３０は、大きく分けると、圧縮処理部３１と展開処理部３２によって構成される。圧縮処理部３１は、色変換部３１１、量子化部３１２、符号化部３１３、さらに、図１、図２に示した直交変換部１１などにより構成されている。一方、展開処理部３２は、復号化部３２１、逆量子化部３２２、色変換部３２３、さらに、図１、図２に示した周波数データ変更部１２、逆直交変換部１３などから構成されている。その他、図１、図２と同様、各処理部を接続するためのバス１４、画像入力装置１５が設けられ、これら図１、図２と同一符号が付されたものは、図１、図２で示したものと同様の機能を有するものである。なお、この場合、ＪＰＥＧ処理であるので、直交変換部１１はＤＣＴであり、逆直交変換部はＩＤＣＴ（Ｉnverse ＤＣＴ）である。
【０１４２】
なお、前記各処理部は、ハードロジックにより構成されるものであっても、さらにＣＰＵを付加することによりソフト的な処理により実現されるものであってもよい。
【０１４３】
このような構成において、画像のぼやけを解消するための処理の流れを図１８により説明する。図１８は画像の展開処理において画像の鮮明化処理を施した例を示している。図１８が図１６（ｂ）と異なるのは、逆量子化処理後に、「周波数データの変更」を行っている点にある。つまり、図１８において、復号化処理（ステップｓ６１）によって、圧縮データの復号化を行い、復号化された１次元の配列を８×８（画素）のブロックにする。次に、逆量子化処理（ステップｓ６２）を行い、前記量子化処理で割った値を掛けることにより逆量子化を行う。そして、周波数データの変更処理（ステップｓ６３）を行ったのち、逆直交変換処理（ステップｓ６４）により、ＩＤＣＴ（Inverse DCT）を用いて逆直交変換を行い、その後、色変換処理（ステップｓ６５）により、ＹＵＶ色空間を必要とする色空間に変換する。そして、全ブロック終了か否かを判断して（ステップｓ６６）、すべてのブロック処理が終了すると処理を終える。
【０１４４】
このように、逆量子化処理（ステップｓ６２）の後に、周波数データ変更処理（ステップｓ６３）を行うことにより、画像のぼやけを解消し、鮮明な画像とすることができる。なお、周波数データの変更処理は、第１の実施の形態で説明した第１の方法から第４の方法と同様の方法により行われる。したがって、ここでは、これらの周波数データの変更処理については説明を省略する。
【０１４５】
ところで、逆量子化処理は、ある係数を掛ける処理であり、周波数データの変更処理もある係数を掛ける処理である。そこで、逆量子化処理において周波数データの変更処理をも考慮した係数を掛けることで、逆量子化処理と周波数データの変更処理を同時に行うことができる。
【０１４６】
すなわち、あらかじめ逆量子化において掛ける係数Ｋ１（Ｋ１は８画素×８画素で構成されるブロックの各要素によって決まる値）と周波数データの変更処理において掛ける係数Ｋ２（Ｋ２は前記第１の実施の形態で説明したα１，α２，α３，α４のいずれかに相当する値であって、８画素×８画素で構成されるブロックの各要素に共通の場合もあるが、各要素によって異なる場合もある）をそれぞれ掛け合わせた係数Ｋ３（Ｋ３(i,j)＝Ｋ１(i,j)×Ｋ２(i,j)、0≦i,j≦７）をあらかじめ用意し、これを新たに逆量子化における係数とすることにより、逆量子化処理を周波数データの変更処理に含めることが可能となる。また、係数Ｋ３をあらかじめ準備できる場合には、処理速度の低下を招くことがない。たとえば、前記第１の実施の形態にて説明した第１の方法のように、予め準備したα１を周波数データに掛け算（〔１〕式参照）して周波数データの変更処理を行う場合には、前記係数Ｋ３は予め準備しておくことができる。これに対して、第２の方法のように、周波数データの平均値を求めてこの平均値を中心として周波数データに定数α２を掛け算するというような処理を行う場合は、平均値を求めるという処理が必要であるため、前記係数Ｋ３を予め準備しておくということはできない。
【０１４７】
なお、前記周波数データの変更処理は、以上の説明では、展開処理側にて行う場合を説明したが、図１６（ａ）における圧縮処理において、直交変換の後、量子化処理の前に周波数データ変更処理を行うことも考えられるが、前記周波数データ変更処理は、高周波成分を増やすことになるので、圧縮率の低下を招くことになる。また、図１６において、同図（ａ）の量子化における係数と、同図（ｂ）の逆量子化における係数を変えることによっても、周波数データの変更が実現できる。このようにすれば、展開処理側で周波数データの変更を行う場合と同様の効果を有して圧縮処理側での周波数データの変更が可能となる。
【０１４８】
以上説明したように、この第３の実施の形態によれば、画像の展開処理とともに、周波数データの変更処理を行うので、画像の圧縮率の低下を生じることなく、画像のぼやけを解消し、鮮明な画像を得ることができる。また、逆量子化処理を周波数データの変更処理に含めることも可能であり、これにより、処理速度の低下を招くことがない。
【０１４９】
なお、前記した例では、直交変換を用いた圧縮・展開の例としてＪＰＥＧについて説明したが、これに限らず、直交変換を用いる他の圧縮・展開にも用いることができるのは言うまでもない。また、ＪＰＥＧは静止画像に対する圧縮方式であるが、直交変換を用いた動画に対する圧縮・展開、例えばＭＰＥＧ（Moving Picture Expert Group）においても応用可能である。
【０１５０】
また、以上説明した本発明の処理を行うプログラムはフロッピィディスクなどの記憶媒体に記憶させておくことが可能であり、本発明は、その処理プログラムが記憶された記憶媒体をも含むものである。
【０１５１】
【発明の効果】
以上説明したように本発明によれば、原画像を周波数領域に変換するために予め大きさが決められた処理ブロックに対して原画像の直交変換を行い、直交変換された周波数領域の周波数データを周波数領域での特性を考慮して予め用意された定数を用いて周波数データの変更を行い、変更された周波数領域の周波数データの逆直交変換を行い原画像を鮮明化するようにしているので、従来の鮮明化処理であるエッジ強調フィルタやアンシャープマスクによる局所的な情報に基づく処理において生じるエッジ部分において色が白く抜ける現象である偽輪郭が生じるという問題が生じることがない。また、従来例における偽輪郭が生じるのを防止するための係数値を変えるという試行錯誤も必要とない。
【０１５２】
また、本発明は原画像を予め大きさが決められた処理ブロックに対して原画像の直交変換を行い、拡大率に応じた周波数領域を用意し周波数領域における拡大・縮小を行い、作成された周波数領域の周波数データを周波数領域での特性を考慮して予め用意された定数を用いて周波数データの変更を行い、変更後の周波数領域の周波数データの逆直交変換を行い、原画像を拡大・縮小するとともに鮮明化するようにしているので、拡大・縮小処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行うことなく、一度の処理過程で拡大・縮小および鮮明化処理が可能となる。
【０１５３】
さらに、本発明は、直交変換を用いた圧縮・展開処理において、直交変換後の周波数領域における周波数データの変更を行い、変更後の周波数領域の周波数データを展開処理して逆直交変換を行なうことで、画像データの圧縮・展開処理をおこなうとともに、鮮明化された画像を得るようにしているので、従来の圧縮・展開画像に対する鮮明化処理のように一度圧縮・展開処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題が解決でき、一度の処理で圧縮・展開および鮮明化処理が可能となる。また、前記周波数データ変更を、展開処理工程にて行い、展開処理を行うために掛ける係数を考慮した値を掛けることによって周波数データの変更を行うようにすれば、画像の圧縮率の低下を生じることなく、また、展開処理を周波数データ変更処理に含めて２つの処理を同時に行うことができることから、処理速度の低下を招くことがなくなり、圧縮・展開処理における画像の鮮明化処理全体を高速化することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を説明するブロック図。
【図２】第１の実施の形態の全体的な処理を説明するフローチャート。
【図３】原画像をブロックに分割する例を説明する図。
【図４】周波数領域を説明するための図。
【図５】周波数領域における鮮明化処理の概念を説明するための図。
【図６】第１の方法による鮮明化処理を説明するための図。
【図７】第２の方法による鮮明化処理を説明するための図。
【図８】第２の方法による鮮明化処理を説明するフローチャート。
【図９】第３の方法による鮮明化処理における値α3を示した図。
【図１０】第３の方法による鮮明化処理を説明するための図。
【図１１】第４の方法による鮮明化処理を説明するための図。
【図１２】第４の方法による鮮明化処理を説明するフローチャート。
【図１３】本発明の第２の実施の形態の構成を説明するブロック図。
【図１４】第２の実施の形態の全体的な処理を説明するフローチャート。
【図１５】第２の実施の形態の処理内容を説明するための図。
【図１６】本発明の第３の実施の形態を説明するためにＪＰＥＧによる一般的な圧縮・展開の全体的な処理を説明するフローチャート。
【図１７】本発明の第３の実施の形態の構成を説明するブロック図。
【図１８】第３の実施の形態の処理の一例を説明するフローチャート。
【図１９】エッジ強調処理に用いられるフィルタ例を示す図。
【図２０】図１９に示すフィルタを用いてエッジ強調処理を行おうとする画像データ例を示す図。
【符号の説明】
１，２，３・・・画像処理装置
１０・・・画像鮮明化部
１１・・・直交変換部
１２・・・周波数データ変更部
１３・・・逆直交変換部
２０・・・画像拡大鮮明化部
２１・・・領域拡張部
３０・・・圧縮展開画像鮮明化部
３１・・・圧縮処理部
３２・・・展開処理部
３１１・・・色変換部
３１２・・・量子化部
３１３・・・符号化部
３２１・・・復号化部
３２２・・・逆量子化部
３２３・・・色変換部
【発明の属する技術分野】
本発明は、鮮明な画像を得ることのできる画像処理方法および画像処理装置、さらには、画像の拡大縮小処理を行う場合において鮮明な拡大・縮小画像を得ることができ、また、データ圧縮処理を行う場合においても、鮮明な画像を得ることを可能とした画像処理処理方法および画像処理装置に関する。
【０００２】
【従来の技術】
画像データベース、高精細画像印刷等の分野において、高品質な画像処理技術が求められており、その画像処理技術として、画像の鮮明化処理がある。
【０００３】
従来、画像の鮮明化処理方法としては、おもにエッジ強調フィルタ、アンシャープマスクにより処理が行われていた。図１９はエッジ強調フィルタの一例を示すもので、同図（ａ）は、エッジが水平方向、垂直方向および４５度方向に存在する場合のエッジ強調が可能なフィルタであり、同図（ｂ）はエッジが水平方向、垂直方向に存在する場合のエッジ強調が可能なフィルタである。たとえば、図２０に示すように、各画素Ｇ０，Ｇ１，・・・，Ｇ８の画素値（この場合、輝度）がｃ０，ｃ１，・・・，ｃ８である画像データがあって、この画像データを図１９（ａ）のようなフィルタを用いて、画素Ｇ０のエッジ強調処理を行うと、当該画素Ｇ０におけるエッジ強調後の画素値Ｃ０は〔１〕式のようになる。
【０００４】
【数１】
また、アンシャープマスクも処理対象とする画素および周りの画素を用いて鮮明化するものでる。
【０００６】
同様に拡大・縮小した画像においても同様に鮮明な画像が求められている。従来、拡大・縮小した画像の鮮明化は、補間する画像に近いサンプル画素の距離比を用いて補間値を決定する線形補間法や、最も近いサンプルの値を補間値とするニアレストネイバ法（nearest neighbor method）、ＦＦＴ（高速フーリエ変換）やＤＣＴ（ディスクリートコサイン変換）などの直交変換を用いて、実空間の画像データ（人間の見たままの画像データ）を、周波数空間の画像データに変換したのちに拡大する方法（特開平２−７６４７２、特開平５−１６７９２０）等による画像の拡大・縮小処理を行った後に、上記エッジ強調フィルタ、アンシャープマスクによる画像の鮮明化を行うという２段階の処理により行っていた。
【０００７】
さらに、たとえばＪＰＥＧ（Ｊoint Ｐhotographic Ｅxpert Ｇroup）など、直交変換を用いた画像の圧縮・展開処理においては、高周波データを落とすため、圧縮・展開前の画像と比べると、ぼやけた画像となるため、展開後の画像に対して、前記エッジ強調フィルタ、アンシャープマスクによる画像の鮮明化を行うという２段階の処理を行うことにより対処していた。
【０００８】
【発明が解決しようとする課題】
しかし、前述したエッジ強調フィルタやアンシャープマスクによる鮮明化は、図１９に示すフィルタ例に見られるように局所的な情報に基づき鮮明化処理が行われるため、エッジ部分において色が白く抜ける現象である偽輪郭が生じるという問題がある。また、偽輪郭が生じるのを防止するためには、例えば図１９中の係数値を変えることにより可能であるが、このために試行錯誤が必要とされるという問題もある。
【０００９】
さらに、拡大・縮小画像に対する鮮明化処理においては、一度拡大・縮小処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題がある。
【００１０】
またＪＰＥＧ等の直交変換を用いた画像の圧縮・展開処理において、展開後の画像に対して、エッジ強調フィルタ、アンシャープマスクによる画像の鮮明化を行うという２段階の処理を行わなければならないという問題がある。
【００１１】
そこで、本発明は、前記従来の問題を解決すべくなされたもので、偽輪郭が生じず、かつ偽輪郭が生じないようにするための試行錯誤を必要としないで、鮮明な画像を得ることのできる画像処理方法および画像処理装置を提供することを目的とする。また、拡大・縮小画像、あるいはＪＰＥＧ等の直交変換を用いた圧縮展開画像の鮮明化において、拡大・縮小処理の後に、あるいは圧縮・展開処理後に鮮明化処理を行うという２段階の処理を踏まずに、１度の処理過程で拡大・縮小、あるいは圧縮・展開と鮮明化処理が可能な画像処理方法および画像処理装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の画像処理方法は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を鮮明化処理する画像鮮明化工程を有する画像処理方法において、前記画像鮮明化工程は、直交変換工程、周波数データ変更工程、逆直交変換工程を有し、前記画像入力手段により入力された画像データを前記直交変換工程により直交変換し、前記原画像を周波数領域に変換したのち、前記周波数データ変更工程により、前記直交変換工程で直交変換された周波数領域の周波数データの平均値を求め、周波数データと前記平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行い、その変更後の周波数データを前記逆直交変換工程により逆直交変換して、前記原画像の鮮明化を行うようにしている。
【００１３】
このように、原画像を周波数領域に変換するためにＮ×Ｎのブロックを単位として原画像の直交変換を行い、直交変換された周波数領域の周波数データの変更を行い、変更された周波数領域の周波数データの逆直交変換を行い、原画像を鮮明化するようにしているので、Ｎ×Ｎというある程度広い範囲を参照するため、エッジ強調フィルタやアンシャープマスクによる鮮明化のように局所的な情報に基づく鮮明化処理のために生じるエッジ部分において色が白く抜ける現象である偽輪郭が生じるという問題が生じない。また、固定の定数で自然に鮮明化が行えるので、エッジ強調フィルタやアンシャープマスクによる鮮明化を行う際の偽輪郭が生じるのを防止するための係数値を変えるという試行錯誤が必要とされることがない効果を有する。
また、このように、平均値を用いることにより周波数データの分布を考慮した変更が可能となり、より鮮明な画像となる。
【００１７】
また、本発明の画像処理方法は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を鮮明化処理する画像鮮明化工程を有する画像処理方法において、前記画像鮮明化工程は、直交変換工程、周波数データ変更工程、逆直交変換工程を有し、前記画像入力手段により入力された画像データを前記直交変換工程により直交変換し、前記原画像を周波数領域に変換したのち、前記周波数データ変更工程により、前記直交変換工程で直交変換された周波数領域の周波数データの平均値を求め、処理する周波数データと前記平均値の差に対して周期ごとに予め準備されている値を掛けることにより周波数データの変更を行い、その変更後の周波数データを前記逆直交変換工程により逆直交変換して、前記原画像の鮮明化を行うようにしている。
このように、原画像を周波数領域に変換するためにＮ×Ｎのブロックを単位として原画像の直交変換を行い、直交変換された周波数領域の周波数データの変更を行い、変更された周波数領域の周波数データの逆直交変換を行い、原画像を鮮明化するようにしているので、Ｎ×Ｎというある程度広い範囲を参照するため、エッジ強調フィルタやアンシャープマスクによる鮮明化のように局所的な情報に基づく鮮明化処理のために生じるエッジ部分において色が白く抜ける現象である偽輪郭が生じるという問題が生じない。また、固定の定数で自然に鮮明化が行えるので、エッジ強調フィルタやアンシャープマスクによる鮮明化を行う際の偽輪郭が生じるのを防止するための係数値を変えるという試行錯誤が必要とされることがない効果を有する。
また、このように、平均値を用いることにより周波数データの分布を考慮した変更が可能となり、かつ、高周波ほど予め準備している値を大きくしているため、高周波部分における周波数データの変更を大きくでき、ピントずれ等によりややぼやけた画像における高周波情報の復元が可能となるので、さらに鮮明な画像を得ることができるようになる。
【００１８】
そして、前記周波数データ変更工程は、直流成分である周波数データを変更の対象としないようにする。これにより、変更後の周波数データを逆直交変換し画像領域に戻しても処理した画像の輝度変化が生じることなく画像の鮮明化が可能である。
【００１９】
また、本発明の画像処理方法は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を所定の倍率に拡大・縮小し、鮮明化処理する画像拡大鮮明化工程を有する画像処理方法において、前記画像拡大鮮明化工程は、直交変換工程、領域拡張工程、周波数データ変更工程、逆直交変換工程を有し、前記画像入力手段により入力された画像データを前記直交変換工程により直交変換し、前記原画像を周波数領域に変換したのち、前記領域拡張工程により拡大率に応じた周波数領域を用意し、その周波数領域の拡大・縮小を行い、前記周波数データ変更工程により、前記領域拡張工程で作成された周波数領域の周波数データの平均値を求め、周波数データと前記平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行い、前記逆直交変換工程により前記変更後の周波数データの逆直交変換を行い、前記原画像を拡大・縮小するとともに鮮明化を行うようにしている。
【００２０】
このように、原画像を周波数領域に変換するために直交変換工程により原画像の直交変換を行い、拡大率に応じた周波数領域を用意し周波数領域における拡大・縮小を行い、作成された周波数領域の周波数データの変更を行い、変更後の周波数領域の周波数データの逆直交変換を行なって、原画像を拡大・縮小するとともに鮮明化された画像を得るようにしているので、従来の拡大・縮小画像に対する鮮明化処理のように一度拡大・縮小処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題が解決でき、１度の処理で拡大・縮小および鮮明化処理が可能となる。
また、このように、平均値を用いることにより周波数データの分布を考慮した変更が可能となり、より鮮明な拡大・縮小画像となる。
【００２４】
また、本発明の画像処理方法は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を所定の倍率に拡大・縮小し、鮮明化処理する画像拡大鮮明化工程を有する画像処理方法において、前記画像拡大鮮明化工程は、直交変換工程、領域拡張工程、周波数データ変更工程、逆直交変換工程を有し、前記画像入力手段により入力された画像データを前記直交変換工程により直交変換し、前記原画像を周波数領域に変換したのち、前記領域拡張工程により拡大率に応じた周波数領域を用意し、その周波数領域の拡大・縮小を行い、前記周波数データ変更工程により、前記領域拡張工程で作成された周波数領域の周波数データの平均値を求め、処理する周波数データと前記平均値の差に対して周期ごとに予め準備されている値を掛けることにより周波数データの変更を行い、前記逆直交変換工程により前記変更後の周波数データの逆直交変換を行い、前記原画像を拡大・縮小するとともに鮮明化を行うようにしている。
このように、原画像を周波数領域に変換するために直交変換工程により原画像の直交変換を行い、拡大率に応じた周波数領域を用意し周波数領域における拡大・縮小を行い、作成された周波数領域の周波数データの変更を行い、変更後の周波数領域の周波数データの逆直交変換を行なって、原画像を拡大・縮小するとともに鮮明化された画像を得るようにしているので、従来の拡大・縮小画像に対する鮮明化処理のように一度拡大・縮小処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題が解決でき、１度の処理で拡大・縮小および鮮明化処理が可能となる。
また、このように、平均値を用いることにより周波数データの分布を考慮した変更が可能となり、かつ、高周波ほど予め準備している値を大きくしているため、高周波部分における周波数データの変更を大きくでき、ピントずれ等によりややぼやけた画像における高周波情報の復元が可能となるので、さらに鮮明な拡大・縮小画像を得ることができるようになる。
【００２５】
そして、前記周波数データ変更工程は、直流成分である周波数データを変更の対象としないようにする。これにより、変更後の周波数データを逆直交変換し画像領域に戻しても処理した画像の輝度変化が生じることなく画像の鮮明化が可能である。
【００２６】
また、本発明の画像処理方法は、画像入力手段により入力された画像データを直交変換を用いて圧縮・展開し、鮮明化処理する圧縮展開画像鮮明化工程を有する画像処理方法において、前記圧縮展開画像鮮明化工程は、画像データを直交変換後に圧縮処理を行う圧縮処理工程と、圧縮データを展開処理後に逆直交変換行う展開処理工程を有し、さらに、前記圧縮・展開処理工程のいずれか一方に周波数データの変更を行う周波数データ変更工程を加えて成り、前記画像入力手段により入力された画像データを直交変換し、前記原画像を周波数領域に変換したのち、前記周波数データ変更工程により、前記周波数領域の周波数データの平均値を求め、周波数データと前記平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行い、その変更後の周波数データを前記逆直交変換工程により逆直交変換して、前記原画像を圧縮・展開するとともに鮮明化を行うことを特徴とする。
【００２７】
このように、直交変換を用いた圧縮・展開処理において、直交変換後の周波数領域における周波数データの変更を行い、変更後の周波数領域の周波数データを展開処理して逆直交変換を行なうことで、画像データの圧縮・展開処理をおこなうとともに、鮮明化された画像を得るようにしているので、従来の圧縮・展開画像に対する鮮明化処理のように一度圧縮・展開処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題が解決でき、１度の処理で圧縮・展開および鮮明化処理が可能となる。
また、このように、平均値を用いることにより周波数データの分布を考慮した変更が可能となり、より鮮明な画像となる。
【００３１】
また、本発明の画像処理方法は、画像入力手段により入力された画像データを直交変換を用いて圧縮・展開し、鮮明化処理する圧縮展開画像鮮明化工程を有する画像処理方法において、前記圧縮展開画像鮮明化工程は、画像データを直交変換後に圧縮処理を行う圧縮処理工程と、圧縮データを展開処理後に逆直交変換行う展開処理工程を有し、さらに、前記圧縮・展開処理工程のいずれか一方に周波数データの変更を行う周波数データ変更工程を加えて成り、前記画像入力手段により入力された画像データを直交変換し、前記原画像を周波数領域に変換したのち、前記周波数データ変更工程により、前記周波数領域の周波数データの平均値を求め、処理する周波数データと前記平均値の差に対して周期ごとに予め準備されている値を掛けることにより周波数データの変更を行い、その変更後の周波数データを前記逆直交変換工程により逆直交変換して、前記原画像を圧縮・展開するとともに鮮明化を行うことを特徴とする。
このように、直交変換を用いた圧縮・展開処理において、直交変換後の周波数領域における周波数データの変更を行い、変更後の周波数領域の周波数データを展開処理して逆直交変換を行なうことで、画像データの圧縮・展開処理をおこなうとともに、鮮明化された画像を得るようにしているので、従来の圧縮・展開画像に対する鮮明化処理のように一度圧縮・展開処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題が解決でき、１度の処理で圧縮・展開および鮮明化処理が可能となる。
また、このように、平均値を用いることにより周波数データの分布を考慮した変更が可能となり、かつ、高周波ほど予め準備している値を大きくしているため、高周波部分における周波数データの変更を大きくでき、ピントずれ等によりややぼやけた画像における高周波情報の復元が可能となるので、さらに鮮明な画像を得ることができるようになる。
【００３２】
また、前記周波数データ変更工程は、展開処理工程にて行い、展開処理を行うために掛ける係数を考慮した値を掛けることによって周波数データの変更を行うようにする。このように、展開処理工程において周波数データの変更処理を行うので、画像の圧縮率の低下を生じることなく、また、展開処理を周波数データ変更処理に含めて２つの処理を同時に行うようにしたので、処理速度の低下を招くことがなくなる。
【００３３】
また、前記周波数データ変更工程は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないようにする。これにより、変更後の周波数データを逆直交変換し画像領域に戻しても処理した画像の輝度変化が生じることなく画像の鮮明化が可能である。
【００３４】
また、本発明の画像処理装置は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を鮮明化処理する画像鮮明化工程を有する画像処理装置において、前記画像鮮明化手段は、前記原画像を周波数領域に変換するために原画像の直交変換を行なう直交変換手段と、前記前記直交変換手段で直交変換された周波数領域の周波数データを、前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段と、前記周波数データ変更手段により変更された周波数領域における周波数データの逆直交変換を行なう逆直交変換手段とを有し、前記周波数データ変更手段は、前記直交変換手段で直交変換された周波数領域における周波数データの平均値を求め、前記周波数データと前記求められた平均値の差に対して予め準備されている定数を掛けることにより前記周波数データの変更を行うことを特徴とする。なお、本発明の画像処理装置における作用効果については、前記画像処理方法において説明したので省略する。
【００３８】
また、本発明の画像処理装置は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を鮮明化処理する画像鮮明化工程を有する画像処理装置において、前記画像鮮明化手段は、前記原画像を周波数領域に変換するために原画像の直交変換を行なう直交変換手段と、前記前記直交変換手段で直交変換された周波数領域の周波数データを、前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段と、前記周波数データ変更手段により変更された周波数領域における周波数データの逆直交変換を行なう逆直交変換手段とを有し、前記周波数データ変更手段は、前記直交変換手段で直交変換された周波数領域における周波数データの平均値を求め、処理対象の周波数データと前記平均値の差に対して、前記処理対象の周波数データの周期ごとに予め準備されている値を掛けることにより前記周波数データの変更を行うことを特徴とする。なお、本発明の画像処理装置における作用効果については、前記画像処理方法において説明したので省略する。
【００３９】
そして、前記周波数データ変更手段は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないようにする。
【００４０】
また、本発明の画像処理装置は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を所定の倍率に拡大・縮小し、鮮明化処理する画像拡大鮮明化手段を有する画像処理装置において、前記画像拡大鮮明化手段は、前記原画像を周波数領域に変換するために原画像の直交変換を行なう直交変換手段と、拡大率に応じた周波数領域を用し、周波数領域における領域の拡大・縮小を行う領域拡張手段と、前記領域拡張手段により作成された周波数領域における周波数データを、前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段と、前記変更後の周波数領域における周波数データの逆直交変換を行なう逆直交変換手段とを有し、前記周波数データ変更手段は、前記領域拡張手段で作成された周波数領域における周波数データの平均値を求め、前記周波数データと前記求められた平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行うことを特徴とする。
【００４４】
また、本発明の画像処理装置は、画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を所定の倍率に拡大・縮小し、鮮明化処理する画像拡大鮮明化手段を有する画像処理装置において、前記画像拡大鮮明化手段は、前記原画像を周波数領域に変換するために原画像の直交変換を行なう直交変換手段と、拡大率に応じた周波数領域を用し、周波数領域における領域の拡大・縮小を行う領域拡張手段と、前記領域拡張手段により作成された周波数領域における周波数データを、前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段と、前記変更後の周波数領域における周波数データの逆直交変換を行なう逆直交変換手段とを有し、前記周波数データ変更手段は、前記領域拡張手段で作成された周波数領域の周波数データの平均値を求め、処理対象の周波数データと前記平均値の差に対して、前記処理対象の周波数データの周期ごとに予め準備されている値を掛けることにより周波数データの変更を行うことを特徴とする。
【００４５】
そして、前記周波数データ変更手段は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないようにする。
【００４６】
また、本発明の画像処理装置は、画像入力手段により入力された画像を直交変換を用いて圧縮・展開し、鮮明化処理する圧縮展開画像鮮明化手段を有する画像処理装置において、前記圧縮展開画像鮮明化手段は、直交変換手段により直交変換された周波数領域における周波数データを用いて圧縮処理を行う圧縮処理手段と、前記圧縮処理手段により圧縮された圧縮データを展開処理後に逆直交変換行う展開処理手段とを有し、前記直交変換後の周波数データを前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段を、前記圧縮・展開処理手段のいずれか一方に設け、前記周波数データ変更手段は、前記周波数領域の周波数データの平均値を求め、周波数データと前記平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行うことを特徴とする。
【００５０】
また、本発明の画像処理装置は、画像入力手段により入力された画像を直交変換を用いて圧縮・展開し、鮮明化処理する圧縮展開画像鮮明化手段を有する画像処理装置において、前記圧縮展開画像鮮明化手段は、直交変換手段により直交変換された周波数領域における周波数データを用いて圧縮処理を行う圧縮処理手段と、前記圧縮処理手段により圧縮された圧縮データを展開処理後に逆直交変換行う展開処理手段とを有し、前記直交変換後の周波数データを前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段を、前記圧縮・展開処理手段のいずれか一方に設け、前記周波数データ変更手段は、前記周波数領域の周波数データの平均値を求め、処理する周波数データと前記平均値の差に対して周期ごとに予め準備されている値を掛けることにより周波数データの変更を行うことを特徴とする。
このように、平均値を用いることにより周波数データの分布を考慮した変更が可能である。
また、前記周波数データ変更手段は、展開処理手段に設け、展開処理を行うために掛ける係数を考慮した値を掛けることによって周波数データの変更を行うようにする。
【００５１】
また、前記周波数データ変更手段は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないようにする。
【００５２】
【発明の実施の形態】
（第１の実施の形態）
以下、本発明の第１の実施の形態を説明する。
【００５３】
図１は、第１の実施の形態を説明するブロック図である。１０は画像処理装置１内に設けられた画像鮮明化部であり、処理対象となる実空間の画像の領域（以下、実領域という）を周波数空間の画像の領域（以下、周波数領域という）へ変換するために、直交変換を行う直交変換部１１、周波数領域に変換された周波数データの変更を行うことにより画像の鮮明化を行う周波数データ変更部１２、周波数データ変更部１２で変更された周波数領域の周波数データを実領域に変換する逆直交変換部１３、およびこれら各処理部を接続するためのバス１４より構成される。また、１５は処理対象となる原画像の入力を行うための画像入力装置１５であり、光学的な画像入力を行う場合は光学的画像入力装置（たとえばスキャナ）や通信による入力装置、あるいは画像デ−タを蓄える記憶装置などである。
【００５４】
また、前記各処理部は、ハードロジックにより構成されるものであっても、さらにＣＰＵを付加することによりソフト的な処理により実現されるものであってもよい。
【００５５】
次に画像鮮明化部１０全体の概略的な処理の流れについて説明する。図２はそのフローチャートである。
【００５６】
まず、図３（ａ）のように原画像１０１をある大きさ、例えばＮ×Ｎ画素の大きさに分割したものを１つのブロック（ブロックＢ１，Ｂ２，・・・）とし、そのＮ×Ｎ画素（以下では「Ｎ×Ｎ」のように記載し、「画素」を省略する）のブロックを１つの単位として、直交変換部１１により実領域から周波数領域へ変換を行うために直交変換を行う（ステップｓ１）。
【００５７】
そして、周波数データ変更部１２により周波数領域の周波数データに変更を加えることにより周波数領域における画像の鮮明化処理を行う（ステップｓ２）。
【００５８】
次に、逆直交変換部１３により周波数データ変更部１２で変更された周波数領域の周波数データを実領域へ逆直交変換を行い、１つのブロックの処理が終了する（ステップｓ３）。この処理によりＮ×Ｎの部分画像が鮮明化されることになる。
【００５９】
そして、分割された全ブロックの処理が終了しているか否かの判断を行い、全ブロックの処理が終了していなければ、次のブロックの処理を行ない、全ブロックの処理が終了していれば、処理を終了する（ステップｓ４）。
【００６０】
ここで、ブロックサイズが問題となるが、これは任意であり、縦横の大きさが違っていてもよく、また画像全体を１つのブロックとしてもよい。ただし、処理時間はブロックサイズが小さいほど早くなるため、処理速度と処理精度との関係から一般には４画素〜１６画素程度のブロックサイズで処理を行うのが都合がよい。
【００６１】
なお、画像をブロックに分割することにより拡大画像においてブロックの境界部分に歪みが生じる場合があるが、図３（ｂ）のように、隣合うブロックの一部分が重なるようなブロックの分割を行い、逆直交変換後の画像において重なりのある部分については、画素単位での画素値（たとえば輝度値）の平均を求めることによりブロック歪みの低減を図ることができる。
【００６２】
すなわち、図３（ａ）において、それぞれ隣接するブロックＢ１，Ｂ２，Ｂ３，Ｂ４を例にとると、これらのブロックＢ１，Ｂ２，Ｂ３，Ｂ４を同図（ｂ）に示すように、それぞれの１部が重なり合うようにブロック分割する。そして、たとえば、ブロックＢ１とＢ２との重なり部分ｗ１に存在する画素については、逆直交変換後の実領域におけるブロックＢ１での画素値とブロックＢ２での画素値との平均を各画素単位で求め、その平均値を当該画素の画素値とする。また、ブロックＢ１，Ｂ２，Ｂ３，Ｂ４がすべて重なった部分ｗ２に存在する画素については、逆直交変換後の実領域におけるブロックＢ１〜Ｂ４での画素値の平均を各画素単位で求め、その平均値を当該画素の画素値とする。
【００６３】
次に、前述した各処理部について説明する。まず、直交変換部１１について説明する。直交変換部１１は実領域から周波数領域へ変換を行うために直交変換を行う。直交変換の方法としては高速フーリエ変換（ＦＦＴ）、ディスクリート・コサイン変換（ＤＣＴ）、アダマール（Hadamard）変換、画像の傾斜成分を効率良く表現するために考案されたスラント（Slant ）変換、変換の行列要素として＋１，０，−１を含み、アダマール変換とほぼ同様の効果が得られるハール（Haar）変換等がある。変換方法の一例として、Ｍ×Ｎのブロックサイズに対するディスクリート・コサイン変換を下記〔２〕式に、アダマール変換を下記〔３〕式に示す。なお、〔３〕式にはブロックサイズがＮ＝４の場合の変換ベクトルの例も合わせて示してある。
【００６４】
【数２】
【数３】
なお直交変換方法はどれを用いてもよい。
【００６７】
次に周波数データ変更部１２について述べる。周波数データ変更部１２は、周波数領域の周波数データに変更を加えることにより周波数領域における画像の鮮明化のための処理を行う。
【００６８】
まず、直交変換部１１により変換された周波数領域の周波数データ（変換係数値）について図４を用いて説明する。ここで、周波数領域のブロックサイズはＮ×Ｎであるものとする。なお、以下では特に示す場合を除くほか、処理するブロックサイズはＮ×Ｎであるものとする。
【００６９】
図４において、周波数領域の左上に低周波数のデータが、そして右下に向かうほど高周波数のデータが存在するものとする。またｘ１軸方向に向かって周波数が０からＮ−１まで変化するものとし、ｙ１軸方向に向かっても同様に周波数が０からＮ−１まで変化するものとする。なお、以下では、ｘ１軸方向の周波数がｎで、ｙ１軸方向の周波数がｍにおけるの周波数データを「周波数データ（ｎ，ｍ）」と示し、単に「周波数データ」とした場合には、断わりがない限り周波数領域のすべての周波数データ（０≦ｎ≦Ｎ−１、０≦ｍ≦Ｎ−１）を示すこととする。また図４のＣ１に示す周波数データ（０，０）は、特に「直流成分」と呼ぶものとする。
【００７０】
さらに、周波数データ（ｉ，０）（０≦ｉ≦Ｎ−１）のＮ個の周波数データ群を周波数データＨ0と呼び、周波数データ（ｉ，１）（０≦ｉ≦Ｎ−１）のＮ個の周波数データ群を周波数データＨ1と呼ぶ。同様にしてＨ0からＨn-1までｘ１軸方向における周波数データ群があるものとする。同様に垂直方向についても、周波数データ（０，ｊ）（０≦ｊ≦Ｎ−１）のＮ個の周波数データ群を周波数データＶ0と呼び、周波数データ（１，ｊ）（０≦ｊ≦Ｎ−１）のＮ個の周波数データ群を周波数データＶ1と呼ぶ。同様にしてＶ0からＶn-1までｙ１軸方向における周波数データ群があるものとする。
【００７１】
始めに、周波数領域における鮮明化についての概要を図５を用いて説明する。図５は、図４における周波数データＨ0を示したものである。なお、ここではＮ＝８であるものとする。図において横軸は周波数を、縦軸は周波数データＨ0のそれぞれの係数の値を示す。図中、実線で示すｄ１は、ピントずれ等によりややぼやけた画像の直交変換後の周波数データＨ0を示すもので、点線で示すｄ２は、同一の画像においてピントのあった鮮明な画像の直交変換後の周波数データＨ0を示すものである。図から分かるように、鮮明な画像の方が各周波数において絶対値が大きいことがわかる。図５では周波数データＨ0のみを示しているが、周波数領域の周波数データ全体に同様な傾向が見られる。そこで、周波数領域における画像の鮮明化は、周波数データの絶対値を大きくするように変更することで実現する。具体的な方法は、以下のようにして行う。
【００７２】
周波数データ変更部１２を実現する第１の方法は、周波数データを予め準備されている定数α1倍することにより実現する。この方法は演算が簡単で高速な処理を実現できるという利点がある。なおここでは、直流成分は処理の対処としないものとする。なぜならば、直流成分はＮ×Ｎのブロックにおける輝度を代表する値であり、変更すると逆直交変換部１３における変換後の実画像の輝度情報が大きく変わってしまうからである。処理は、変更前の周波数データ（ｎ，ｍ）をａ(n,m)、予め準備されている定数α1変更後の周波数データ（ｎ，ｍ）をＡ(n,m)とすると、式〔４〕のようになる。
【００７３】
【数４】
なお、定数α1の値は、1.0から2.0の範囲での設定でよく、実験によると1.4前後の数値において、不自然なことなく鮮明化ができることが分かった。
【００７５】
周波数データ変更部１２を実現する第１の方法による周波数データの変更例を図６に示す。図６は図５の処理対象となるややぼやけた画像の直交変換後の周波数データＨ0であるｄ１に第１の方法による周波数データの変更を行った後の周波数データＨ0であるｄ３を示したものである。この処理により、例えば変更前の周波数データａ(4,0)は変更後にはＡ(4,0)（＝ａ(4,0)×α1）に、ａ(6,0)はＡ(6,0)（＝ａ(6,0)×α1）に変更される。
【００７６】
この方法は、処理ブロックがＮ×Ｎであることからある程度広い範囲を参照するため、エッジ強調フィルタやアンシャープマスクによる鮮明化のように局所的な情報に基づく鮮明化処理のために生じるエッジ部分において色が白く抜ける現象である偽輪郭が生じるという問題が生じない。また、固定の定数で自然に鮮明化が行えるので、エッジ強調フィルタやアンシャープマスクによる鮮明化を行う際の偽輪郭が生じるのを防止するための係数値を変えるという試行錯誤が必要とされることがない効果を有する。
【００７７】
周波数データ変更部１２を実現する第１の方法においては、周波数データの値が０を中心として、周波数データの変更処理を行っていた。しかし、周波数データの分布は、０が中心となるとは限らず、周波数データの分布を考慮した変更とならない。そのため逆直交変換後における画像は十分に鮮明な画像とはならない。そこで、以下では周波数データの分布を考慮した周波数データの変更を行うことにより、より鮮明な画像が得られるような周波数データ変更部１２を実現する第２の方法について説明する。
【００７８】
周波数データ変更部１２を実現する第２の方法とは、周波数データの分布を平均値を用いることにより周波数データの分布の考慮を行う。すなわち、平均値を中心として周波数データに予め準備されている定数α2を掛けることにより周波数データの変更を行う。
【００７９】
具体例を図７、図８を用いて説明する。図７は、図５に示すややぼやけた画像の直交変換後の周波数データＨ0であるｄ１を第２の方法で処理した周波数データＨ0であるｄ４を示したものであり、図８は処理の流れを示すフローチャートである。
【００８０】
まず、周波数データの分布を考慮すべく周波数データの平均値ｂを求める（ステップｓ１１）。なお、平均値を求める際は直流成分を除いた周波数データを用いて行う。なぜならば、直流成分は処理対象とせず、一般に他の周波数データとの絶対値が大きく違うからである。
【００８１】
次に、直流成分を除いた周波数データａから平均値ｂを引いた値に対して予め準備されている定数α2を掛け、それに平均値ｂを加えることにより、新たな周波数データＡを求める（ステップｓ１２）。例えば、図７を例にすると、周波数データａ(4,0)は、この変更により
Ａ(4,0)＝ｂ＋（ａ(4,0)−ｂ）×α２ ・・・ 〔５〕
〔５〕式のようになり、周波数データａ(6,0)は、この変更により
Ａ(3,0)＝ｂ＋（ａ(6,0)−ｂ）×α２ ・・・ 〔６〕
〔６〕式のようになる。
【００８２】
なお、平均値を求め、周波数データの変更を行う単位としては、直流成分を除く周波数領域の全周波数データを単位とする。
【００８３】
また、別な処理単位としては図５に示す周波数データ群であるＨ0からＨn-1、Ｖ0からＶn-1を単位としてもよい。この場合、Ｈ0からＨn-1の処理を行ない、続いてＶ0からＶn-1の処理を行う。なぜならば、処理対象とする画像のサンプリングは直角に行われているため、水平あるいは垂直の周波数データ群間での関係が強いからである。なお、この場合も直流成分は処理の対象とせず、平均値ｂの算出においても除かれる。
【００８４】
なお、周波数領域の全周波数データを単位とする処理を行う場合の定数α2の値は、１．０から２．０の範囲での設定でよく、実験によると１．４前後の数値において、不自然なことなく鮮明化ができることが分かった。また、周波数データ群であるＨ0からＨn-1、Ｖ0からＶn-1を単位する処理においては、周波数領域の全周波数データを単位とする処理を行う場合の定数α2の平方根をとった値を用いる。なぜならば、横方向、縦方向で２度の処理が行われるためである。すなわち、図４において周波数データａ(1,0)に注目すると、Ｈ0での処理、およびＶ1で処理が行われ、２回変更が行われる。
【００８５】
このように周波数データ変更部１２を実現する第２の方法を用いることにより、周波数データの分布を考慮した変更が可能となり、周波数データの分布を考慮しない第１の方法に比べ、逆直交変換後における画像は、より鮮明な画像となる。
【００８６】
ピントずれ等によりややぼやけた画像は、どのような部分においてぼけるかというと、画像のエッジ部分が特にぼける。すなわち、画像における物と物との境が不明瞭になる。ところで、画像のエッジ部分とは、高周波に該当する部分である。よって、図５からも分かるように、ピントずれ等によりややぼやけた画像の直交変換後の周波数データＨ0を示すｄ１と、点線で示す同一の画像においてピントのあった鮮明な画像の直交変換後の周波数データＨ0を示すｄ２とを比較すると、周波数データ値の差は特に周波数が大きな部分において生じている。そこで、周波数データを実現する第３の方法として、周波数による違いを考慮した周波数データの変更方法を以下に説明する。
【００８７】
図９は、周波数による違いを考慮すべく、変換のために値α3を周波数毎に変えた場合の値α3を示した図である。すなわち、図５に示すようにぼけた画像と鮮明な画像とでは高周波において差が大きくなることから、高周波部分における値α3を大きくすることにより、高周波部分における周波数データの変更を大きくする。
【００８８】
なお、値α3は、〔７〕式のように定義することができる。
【００８９】
【数５】
ここで、ｎは周波数を表し、βは予め定められた定数を表す。また、βは〔８〕式のように定義する。
【００９１】
【数６】
βの値をこのように定義することで、α3は１から２の間で変化し、高周波ほど大きな値をとることになる。なお、〔７〕式〔８〕式は、値α3の一例でありこれに限定されるものではない。
【００９３】
周波数データ変更部１２を実現する第３の方法による周波数データの変更例を図１０に示す。図１０は図５の処理対象となるややぼやけた画像の直交変換後の周波数データＨ0であるｄ１に周波数データ変更部１２を実現する第３の方法による周波数データの変更を行った後の周波数データＨ0であるｄ５を示したものである。この処理により、例えば変更前の周波数データａ(4,0)は変更後にはＡ(4,0)（＝ａ(4,0)×α3(4)）に、ａ(6,0)はＡ(6,0)（＝ａ(6,0)×α3(6)）に変更される。
【００９４】
なお、直交変換部１１により変換された周波数領域の周波数データ全体に対する処理においては、周波数データ（ｎ，ｍ）をａ(n,m)、予め準備されている値α3(k)を用いた変更後の周波数データ（ｎ，ｍ）をＡ(n,m)とすると、式〔９〕のようになる。ここで、max(n,m)はｎ、ｍのうち大きい方の値を選択する関数である。
【００９５】
【数７】
なお、〔７〕式に定義する値α3を用いる場合、直流成分におけるα3(0,0)の値は１であるので、周波数データ変更部１２を実現する第１あるいは第２の方法のように処理対象外とする必要はない。ただし、直流成分におけるα3(0,0)の値が１以外の場合は処理対象とする。これは変換後の画像の輝度変化が大きく変化しないようにするためである。
【００９７】
周波数データ変換部１２を実現する第３の方法は周波数データの変更のための値α3を高周波部分において大きくしているので、高周波部分における周波数データの変更を大きくしている。そのため、ピントずれ等によりややぼやけた画像における高周波情報を多くすることができ、より鮮明な画像を得ることができるようになる。
【００９８】
周波数データ変更部１２を実現する第３の方法は、ピントのずれ等によりややぼけた画像等の特性を考慮して高周波部分における周波数データの変更を大きくできるような値α3を予め準備しているので、鮮明な画像を得ることが可能となる。しかし、周波数データ変更部１２を実現する第３の方法においては、周波数データの値が０を中心として、周波数データの変更処理を行っているが、周波数データの分布は、必ずしも０が中心となるとは限らず、周波数データの分布を考慮した変更とは言えない。そのため、逆直交変換後における画像は十分に鮮明な画像とはならない。そこで、ピントのずれ等によりややぼけた画像等の特性を考慮するとともに、周波数データの分布を考慮した周波数データの変更を行うことにより、より鮮明な画像が得られるような周波数データ変更部１２を実現する第４の方法について以下に説明する。
【００９９】
周波数データ変更部１２を実現する第４の方法とは、周波数データの分布を平均値を用いることにより周波数データの分布の考慮を行う。すなわち、平均値を中心として周波数データに予め準備されている値α4を掛けることにより周波数データの変更を行う。なお、値α4は〔７〕式に示した値α3を使うものとする。
【０１００】
具体例を図１１、図１２を用いて説明する。図１１は、図５に示すややぼやけた画像の直交変換後の周波数データＨ0であるｄ１を周波数データ変更部１２を実現する第４の方法で処理した周波数データＨ0であるｄ６を示したものであり、図１２は処理の流れを示すフローチャートである。
【０１０１】
まず、周波数データの分布を考慮すべく周波数データの平均値ｂをもとめる（ステップｓ２１）。なお、平均値を求める際は直流成分を除いた周波数データを用いて行う。直流成分は処理対象としないからである。
【０１０２】
次に、直流成分を除いた処理対象とする周波数データａ(n,m)から平均値ｂを引いた値に対して予め準備されている値α4（max(n,m)）を掛け、それに平均値ｂを加えることにより、新たな周波数データＡ(n,m)を求める（ステップｓ２２）。例えば、図１１を例にすると、周波数データａ(4,0)はこの変更により、
Ａ(4,0)＝ｂ＋（ａ(4,0)−ｂ）×α4（max(4,0)） ・・・ 〔１０〕
〔１０〕式のようになり、周波数データａ(6,0)はこの変更により、
Ａ(6,0)＝ｂ＋（ａ(6,0)−ｂ）×α4（max(6,0)） ・・・ 〔１１〕
〔１１〕式のようになる。
【０１０３】
なお、上記例では、平均値を求め周波数データの変更を行う単位として、直流成分を除く周波数領域の全周波数データを単位としている。
【０１０４】
別な処理単位として、図５に示す周波数データ群であるＨ0からＨn-1、Ｖ0からＶn-1を単位としてもよい。この場合、Ｈ0からＨn-1の処理を行った後に、続いてＶ0からＶn-1の処理を行う様にする。なぜならば、処理対象とする画像のサンプリングは直角に行われているため、水平あるいは垂直の周波数データ群間での関係が強いからである。なお、この場合も直流成分は処理の対象としない。
【０１０５】
また、周波数データ群であるＨ0からＨn-1、Ｖ0からＶn-1を単位する処理においては、周波数領域の全周波数データを単位とする処理を行う場合の値α4の平方根をとった値をとして用いる。なぜならば、横方向、縦方向で２度の処理が行われるためである。
【０１０６】
このように周波数データ変更部１２を実現する第４の方法を用いることにより、ピントのずれ等によりややぼけた画像等の特性を考慮するとともに、周波数データの分布を考慮した周波数データの変更を行える。そのため、より鮮明な画像が得られるようになる。また、図５のピントの合った鮮明な画像の周波数データＨ0であるｄ２と図１１に示した処理後のｄ６を比較するとより近い値に変更されていることが分かる。
【０１０７】
次に、逆直交変換部１３について説明する。逆直交変換部１３は周波数データ変更部１２にて処理された周波数領域を実領域へと逆変換を行う処理をする。逆直交変換方法は、直交変換部１１での直交変換方法と同じ種類の変換方法を用いて行なう。すなわち、直交変換部１１でＤＣＴ変換を用いた場合は逆ＤＣＴ変換、直交変換部１１でアダマール変換を用いた場合は逆アダマール変換とする。一例として、Ｍ×Ｎのブロックサイズの逆ＤＣＴ変換式を〔１２〕式に示す。なお、アダマール変換の場合は、周波数領域への変換も実領域への変換も〔３〕式により実現できる。すなわち、アダマール変換は正変換、逆変換とも同じ方法により実現できる。
【０１０８】
【数８】
なお、周波数データ変更部１２の処理により、逆直交変換後の実領域におけるデータ値が本来表せるデータ範囲を越える場合がある。例えば、実領域におけるデータ値（この場合「輝度値」等がこれに相当する）が０から２５５までの範囲をとるものとすると、逆直交変換後のデータ値が、−１０や２６０等になる場合がある。その場合は、０以下のデータ値であれば０に、２５５以上のデータ値であれば、２５５に修正する処理を逆直交変換部１３は行うものとする。
【０１１０】
第１の実施の形態における画像処理方法および画像処理装置は、Ｎ×Ｎという範囲を参照した鮮明化処理を行うため、エッジ強調フィルタやアンシャープマスクによる鮮明化のように局所的な情報に基づく鮮明化処理のために生じるエッジ部分において色が白く抜ける現象である偽輪郭が生じるという問題が生じず、かつ固定の定数で自然に鮮明化が行えるので、エッジ強調フィルタやアンシャープマスクによる鮮明化を行う際の偽輪郭が生じるのを防止するための係数値を変えるという試行錯誤が必要とされることがないという効果を有する。
【０１１１】
（第２の実施の形態）
以下、本発明の第２の実施の形態を説明する。第２の実施の形態は画像の拡大・縮小を行うと共に画像の鮮明化を同時に行なうことを可能とした画像処理方法および装置に関する。
【０１１２】
図１３は、第２の実施の形態の構成を説明するブロック図である。２０は画像処理装置２内に設けられた画像拡大鮮明化部である。画像拡大処理部２０は画像の拡大・縮小とも可能であるが、ここでは単に「画像拡大鮮明化部」とする。画像拡大鮮明化部２０は処理対象となる実空間の画像の領域を周波数空間の領域へ変換するために、直交変換を行う直交変換部１１、拡大・縮小率に合わせた周波数領域を準備する領域拡張部２１、周波数領域に変換された周波数データの変更を行うことにより画像の鮮明化を行う周波数データ変更部１２、周波数データ変更部１２で変更された周波数領域の周波数データを実領域に変換を行う逆直交変換部１３、およびこれら各処理部を接続するためのバス１４より構成される。また、１５は処理対象となる原画像の入力を行うための画像入力装置１５であり、光学的な画像入力を行う場合は光学的画像入力装置（たとえばスキャナ）や通信による入力装置、あるいは画像デ−タを蓄える記憶装置などである。なお、第１の実施の形態において説明した図１に示す画像処理装置１と同一の構成部分は同一の番号を用いている。
【０１１３】
また、前記各処理部は、ハードロジックにより構成されるものであっても、さらにＣＰＵを付加することによりソフト的な処理により実現されるものであってもよい。
【０１１４】
次に画像拡大鮮明化部２０全体の概略的な処理の流れについて説明する。図１４はそのフローチャートである。
【０１１５】
まず、図３（ａ）のように原画像１０１をある大きさ、例えばＮ×Ｎ画素の大きさに分割したものを１つのブロック（ブロックＢ１，Ｂ２，・・・）とし、そのＮ×Ｎ画素のブロックを１つの単位として、直交変換部１１により実領域から周波数領域へ変換を行うために直交変換を行う（ステップｓ３１）。
【０１１６】
次に拡大率γに合わせて、周波数領域の周波数領域の準備を行うとともに、周波数領域における画像の拡大処理を行う（ステップｓ３２）。
【０１１７】
そして、周波数データ変換部１２により周波数領域の周波数データに変更を加えることにより周波数領域における画像の鮮明化処理を行う（ステップｓ３３）。
【０１１８】
次に、逆直交変換部１３により周波数データ変更部１２で変更された周波数領域の周波数データを数領域を実領域へ逆直交変換を行い、１つのブロックの処理が終了する（ステップｓ３４）。この処理により（γ×Ｎ）×（γ×Ｎ）の拡大・縮小画像が得られると共に画像の鮮明化がされることになる。
【０１１９】
そして、分割された全ブロックの処理が終了しているか否かの判断を行い、全ブロックの処理が終了していなければ、次のブロックの処理を行ない、全ブロックの処理が終了していれば、処理を終了する（ステップｓ３５）。
【０１２０】
ここで、ブロックサイズが問題となるが、これは任意であり、縦横の大きさが違っていてもよく、また画像全体を１つのブロックとしてもよい。ただし、処理時間はブロックサイズが小さいほど早くなるため、処理速度と処理精度との関係から一般には４画素〜１６画素程度のブロックサイズで処理を行うのが都合がよい。
【０１２１】
なお、画像をブロックに分割することにより拡大画像においてブロックの境界部分に歪みが生じる場合があるが、図３（ｂ）のように、隣合うブロックの一部分が重なるようなブロックの分割を行い、逆直交変換後の画像において重なりのある部分については、画素単位での画素値（たとえば濃度値）の平均を求めることによりブロック歪みの低減を図ることができることは、第１の実施の形態で説明した通りである。
【０１２２】
次に、前記した各処理部について図１５を用いて説明する。まず、直交変換部１１は第１の実施の形態で説明した内容と同じであるのでここでは省略する。なお、直交変換部１１によりＮ×Ｎの実領域の画像図１５（ａ）が、Ｎ×Ｎの周波数領域の周波数データ図１５（ｂ）に変換される。
【０１２３】
次に領域拡張部２１により拡大率γに応じた周波数領域の準備を行う。準備する周波数領域の大きさは（γ×Ｎ）×（γ×Ｎ）である。なお、拡大処理の場合はγは１以上となり、Ｎ×Ｎより大きな領域が準備されることとなり、縮小処理の場合はγは１以下となり、Ｎ×Ｎより小さな領域が準備されることとなる。
【０１２４】
さらに領域拡張部２１は、このように準備された領域に、直交変換部１１により変換された周波数領域を図１５（ｃ）に示すように直流成分を一致させてコピーを行う。なお、拡大処理においては、コピーされない領域ができるが、この部分は図１５（ｃ）に示すように「ゼロ」を埋める。また、縮小処理においては、直交変換部１１により変換された周波数領域の全ての部分がコピーされないこととなるが、この部分はコピーを行わず破棄する。
【０１２５】
なお、領域拡張部２１は、拡大処理においてコピーされない領域に「ゼロ」を埋める代わりに特開平６−５４１７２に示すような高周波成分の復元処理を行うものであってもよい。
【０１２６】
そして周波数データ変更部１２により周波数領域における鮮明化処理を行うべく周波数データの変更を行う。なお、周波数データ変更部１２の処理内容は処理する周波数領域の大きさがＮ×Ｎではなく（γ×Ｎ）×（γ×Ｎ）である点に相違があるだけで実施例１で説明した内容と同様であり、周波数データ変更部１２を実現する第１から第４のいずれの方法を用いてもよい。なお、周波数データ変更部１２におけるそれぞれの処理内容については第１の実施の形態にて詳細に説明したので、ここではその説明は省略する。
【０１２７】
最後に、逆直交変換部１３により周波数データ変更部１２により変更された周波数領域を実画像領域に戻すべく逆直交変換を行う。なお、逆直交変換部１３の処理内容は処理する周波数領域の大きさがＮ×Ｎではなく（γ×Ｎ）×（γ×Ｎ）である点、直交変換部１１と変換する領域の大きさが異なることによる全エネルギーに相違があるだけで、第１の実施の形態で説明した内容と同様でありここではその処理内容の説明を省略する。
【０１２８】
以上第２の実施の形態で説明した画像処理方法および画像処理装置を用いることにより、従来の拡大・縮小画像に対する鮮明化処理のように一度拡大・縮小処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題が解決でき、一度の処理で拡大・縮小および鮮明化処理が可能となる。
【０１２９】
（第３の実施の形態）
以下、本発明の第３の実施の形態を説明する。この第３の実施の形態は、直交変換を用いた画像の圧縮・展開方法において、圧縮・展開処理とともに、鮮明化処理を同時に行なうものである。なお、この第３の実施の形態では、直交変換を用いた画像の圧縮・展開の例として、入力されたカラー画像を前記したＪＰＥＧを用いて圧縮・展開する例について説明する。
【０１３０】
まず、直交変換を用いた圧縮・展開の一例であるＪＰＥＧの処理について図１６のフローチャートを参照しながら簡単に説明する。図１６（ａ）は圧縮の流れ、同図（ｂ）は展開の流れを示している。
【０１３１】
ＪＰＥＧにおいては、８×８（画素）のブロックを処理単位とする。これは、ＪＰＥＧに用いられる直交変換はディスクリート・コサイン変換（ＤＣＴ）であり、このＤＣＴにおいては、８×８（画素）単位で直交変換処理（および逆直交変換処理）を行うためである。
【０１３２】
以下、図１６（ａ）により、圧縮処理について説明する。まず、色変換処理（ステップｓ４１）を行う。この色変換処理は、ある色空間、例えばＲＧＢ色空間を輝度（Ｙ）・彩度（Ｕ，Ｖ）の色空間であるＹＵＶ色空間に変換する。これは、人間の視覚特性を考慮したもので、人間は輝度（Ｙ）の変換には敏感であるが、彩度（Ｕ，Ｖ）にはあまり敏感でないため、この色空間に変換し、彩度情報を落とす、つまり、彩度情報を間引いて情報量を減らすことにより、画像データの圧縮率を高めるためである。
【０１３３】
この色変換処理を行ったのち、直交変換処理を行う（ステップｓ４２）。この直交変換処理は、ＤＣＴが用いられ、８×８（画素）を処理単位として直交変換を行う。この直交変換処理は、前記したように、実空間の画像データを周波数空間の画像データに変換する処理である。このように周波数空間の画像データに変換されることにより、次のステップｓ４３の量子化処理において、高周波成分のデータ量を落としやすくすることができる。なお、高周波成分のデータ量を落とすのは、画像データの高周波成分は低周波成分に比べてデータ量を多少間引いても画像の劣化が目立ちにくいためである。この直交変換以下の処理はＹ，Ｕ，Ｖそれぞれ独立に行われる。
【０１３４】
前記量子化処理（ステップｓ４３）は、情報量を落とす処理として、周波数空間に変換された８×８（画素）のブロックに対して、そのブロック内の各要素ごとに定められたある値で割ることにより量子化を行う。なお、高周波成分ほど大きな値で量子化される。この量子化処理を行ったのち、符号化処理を行う（ステップｓ４４）。
【０１３５】
符号か処理は、量子化された８×８（画素）で構成されるブロックを、相関が高いと考えられる１次元配列に変換し符号化処理を行う。符号化方式はＤＣ成分がＤＰＣＭ（Differential PCM）、ＡＣ成分がランレングス・ハフマン符号化により行われる。そして、すべてのブロックが終了したか否かを判断して（ステップｓ４５）、すべてのブロック処理が終了すると処理を終える。
【０１３６】
以上が圧縮処理であり、次に、図１６（ｂ）によって展開処理（圧縮された画像データを展開する処理）について説明する。
【０１３７】
図１６（ｂ）において、復号化処理（ステップｓ５１）は、圧縮データの復号化を行い、復号化された１次元の配列を８×８（画素）のブロックにする。次に、逆量子化処理（ステップｓ５２）を行い、前記量子化処理で割った値を掛けることにより逆量子化を行う。そして、逆直交変換処理（ステップｓ５３）により、ＩＤＣＴ（Inverse DCT）を用いて、逆直交変換を行たのち、色変換処理（ステップｓ５４）により、ＹＵＶ色空間を必要とする色空間、例えばＲＧＢ色空間に変換する。そして、全ブロック終了か否かを判断して（ステップｓ５５）、すべてのブロック処理が終了すると処理を終える。
【０１３８】
以上が直交変換を用いたＪＰＥＧの処理の概略である。このような直交変換を用いた圧縮・展開処理においては、高周波成分のデータを量子化処理により落とすために、展開後の画像は一般にぼやけたものとなる。そこで、周波数空間に変換された周波数領域において、前記第１、第２の実施の形態で説明したように、周波数データの変更を行うことにより、画像のぼやけを解消し、画像の鮮明化を図る。
【０１３９】
これを実現するための実施の形態を本発明の第３の実施の形態として以下に説明する。
【０１４０】
図１７は第３の実施の形態の構成を説明するブロック図である。なお、ここでは、直交変換を用いた画像の圧縮・展開の例として、ＪＰＥＧを用いた例について説明する。
【０１４１】
図１７において、３０は画像処理装置３内に設けられた圧縮展開画像鮮明化部である。この圧縮展開画像鮮明化部３０は、大きく分けると、圧縮処理部３１と展開処理部３２によって構成される。圧縮処理部３１は、色変換部３１１、量子化部３１２、符号化部３１３、さらに、図１、図２に示した直交変換部１１などにより構成されている。一方、展開処理部３２は、復号化部３２１、逆量子化部３２２、色変換部３２３、さらに、図１、図２に示した周波数データ変更部１２、逆直交変換部１３などから構成されている。その他、図１、図２と同様、各処理部を接続するためのバス１４、画像入力装置１５が設けられ、これら図１、図２と同一符号が付されたものは、図１、図２で示したものと同様の機能を有するものである。なお、この場合、ＪＰＥＧ処理であるので、直交変換部１１はＤＣＴであり、逆直交変換部はＩＤＣＴ（Ｉnverse ＤＣＴ）である。
【０１４２】
なお、前記各処理部は、ハードロジックにより構成されるものであっても、さらにＣＰＵを付加することによりソフト的な処理により実現されるものであってもよい。
【０１４３】
このような構成において、画像のぼやけを解消するための処理の流れを図１８により説明する。図１８は画像の展開処理において画像の鮮明化処理を施した例を示している。図１８が図１６（ｂ）と異なるのは、逆量子化処理後に、「周波数データの変更」を行っている点にある。つまり、図１８において、復号化処理（ステップｓ６１）によって、圧縮データの復号化を行い、復号化された１次元の配列を８×８（画素）のブロックにする。次に、逆量子化処理（ステップｓ６２）を行い、前記量子化処理で割った値を掛けることにより逆量子化を行う。そして、周波数データの変更処理（ステップｓ６３）を行ったのち、逆直交変換処理（ステップｓ６４）により、ＩＤＣＴ（Inverse DCT）を用いて逆直交変換を行い、その後、色変換処理（ステップｓ６５）により、ＹＵＶ色空間を必要とする色空間に変換する。そして、全ブロック終了か否かを判断して（ステップｓ６６）、すべてのブロック処理が終了すると処理を終える。
【０１４４】
このように、逆量子化処理（ステップｓ６２）の後に、周波数データ変更処理（ステップｓ６３）を行うことにより、画像のぼやけを解消し、鮮明な画像とすることができる。なお、周波数データの変更処理は、第１の実施の形態で説明した第１の方法から第４の方法と同様の方法により行われる。したがって、ここでは、これらの周波数データの変更処理については説明を省略する。
【０１４５】
ところで、逆量子化処理は、ある係数を掛ける処理であり、周波数データの変更処理もある係数を掛ける処理である。そこで、逆量子化処理において周波数データの変更処理をも考慮した係数を掛けることで、逆量子化処理と周波数データの変更処理を同時に行うことができる。
【０１４６】
すなわち、あらかじめ逆量子化において掛ける係数Ｋ１（Ｋ１は８画素×８画素で構成されるブロックの各要素によって決まる値）と周波数データの変更処理において掛ける係数Ｋ２（Ｋ２は前記第１の実施の形態で説明したα１，α２，α３，α４のいずれかに相当する値であって、８画素×８画素で構成されるブロックの各要素に共通の場合もあるが、各要素によって異なる場合もある）をそれぞれ掛け合わせた係数Ｋ３（Ｋ３(i,j)＝Ｋ１(i,j)×Ｋ２(i,j)、0≦i,j≦７）をあらかじめ用意し、これを新たに逆量子化における係数とすることにより、逆量子化処理を周波数データの変更処理に含めることが可能となる。また、係数Ｋ３をあらかじめ準備できる場合には、処理速度の低下を招くことがない。たとえば、前記第１の実施の形態にて説明した第１の方法のように、予め準備したα１を周波数データに掛け算（〔１〕式参照）して周波数データの変更処理を行う場合には、前記係数Ｋ３は予め準備しておくことができる。これに対して、第２の方法のように、周波数データの平均値を求めてこの平均値を中心として周波数データに定数α２を掛け算するというような処理を行う場合は、平均値を求めるという処理が必要であるため、前記係数Ｋ３を予め準備しておくということはできない。
【０１４７】
なお、前記周波数データの変更処理は、以上の説明では、展開処理側にて行う場合を説明したが、図１６（ａ）における圧縮処理において、直交変換の後、量子化処理の前に周波数データ変更処理を行うことも考えられるが、前記周波数データ変更処理は、高周波成分を増やすことになるので、圧縮率の低下を招くことになる。また、図１６において、同図（ａ）の量子化における係数と、同図（ｂ）の逆量子化における係数を変えることによっても、周波数データの変更が実現できる。このようにすれば、展開処理側で周波数データの変更を行う場合と同様の効果を有して圧縮処理側での周波数データの変更が可能となる。
【０１４８】
以上説明したように、この第３の実施の形態によれば、画像の展開処理とともに、周波数データの変更処理を行うので、画像の圧縮率の低下を生じることなく、画像のぼやけを解消し、鮮明な画像を得ることができる。また、逆量子化処理を周波数データの変更処理に含めることも可能であり、これにより、処理速度の低下を招くことがない。
【０１４９】
なお、前記した例では、直交変換を用いた圧縮・展開の例としてＪＰＥＧについて説明したが、これに限らず、直交変換を用いる他の圧縮・展開にも用いることができるのは言うまでもない。また、ＪＰＥＧは静止画像に対する圧縮方式であるが、直交変換を用いた動画に対する圧縮・展開、例えばＭＰＥＧ（Moving Picture Expert Group）においても応用可能である。
【０１５０】
また、以上説明した本発明の処理を行うプログラムはフロッピィディスクなどの記憶媒体に記憶させておくことが可能であり、本発明は、その処理プログラムが記憶された記憶媒体をも含むものである。
【０１５１】
【発明の効果】
以上説明したように本発明によれば、原画像を周波数領域に変換するために予め大きさが決められた処理ブロックに対して原画像の直交変換を行い、直交変換された周波数領域の周波数データを周波数領域での特性を考慮して予め用意された定数を用いて周波数データの変更を行い、変更された周波数領域の周波数データの逆直交変換を行い原画像を鮮明化するようにしているので、従来の鮮明化処理であるエッジ強調フィルタやアンシャープマスクによる局所的な情報に基づく処理において生じるエッジ部分において色が白く抜ける現象である偽輪郭が生じるという問題が生じることがない。また、従来例における偽輪郭が生じるのを防止するための係数値を変えるという試行錯誤も必要とない。
【０１５２】
また、本発明は原画像を予め大きさが決められた処理ブロックに対して原画像の直交変換を行い、拡大率に応じた周波数領域を用意し周波数領域における拡大・縮小を行い、作成された周波数領域の周波数データを周波数領域での特性を考慮して予め用意された定数を用いて周波数データの変更を行い、変更後の周波数領域の周波数データの逆直交変換を行い、原画像を拡大・縮小するとともに鮮明化するようにしているので、拡大・縮小処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行うことなく、一度の処理過程で拡大・縮小および鮮明化処理が可能となる。
【０１５３】
さらに、本発明は、直交変換を用いた圧縮・展開処理において、直交変換後の周波数領域における周波数データの変更を行い、変更後の周波数領域の周波数データを展開処理して逆直交変換を行なうことで、画像データの圧縮・展開処理をおこなうとともに、鮮明化された画像を得るようにしているので、従来の圧縮・展開画像に対する鮮明化処理のように一度圧縮・展開処理をした後に、エッジ強調フィルタやアンシャープマスクにより鮮明化を行うという２段階の処理を行わなければならないという問題が解決でき、一度の処理で圧縮・展開および鮮明化処理が可能となる。また、前記周波数データ変更を、展開処理工程にて行い、展開処理を行うために掛ける係数を考慮した値を掛けることによって周波数データの変更を行うようにすれば、画像の圧縮率の低下を生じることなく、また、展開処理を周波数データ変更処理に含めて２つの処理を同時に行うことができることから、処理速度の低下を招くことがなくなり、圧縮・展開処理における画像の鮮明化処理全体を高速化することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を説明するブロック図。
【図２】第１の実施の形態の全体的な処理を説明するフローチャート。
【図３】原画像をブロックに分割する例を説明する図。
【図４】周波数領域を説明するための図。
【図５】周波数領域における鮮明化処理の概念を説明するための図。
【図６】第１の方法による鮮明化処理を説明するための図。
【図７】第２の方法による鮮明化処理を説明するための図。
【図８】第２の方法による鮮明化処理を説明するフローチャート。
【図９】第３の方法による鮮明化処理における値α3を示した図。
【図１０】第３の方法による鮮明化処理を説明するための図。
【図１１】第４の方法による鮮明化処理を説明するための図。
【図１２】第４の方法による鮮明化処理を説明するフローチャート。
【図１３】本発明の第２の実施の形態の構成を説明するブロック図。
【図１４】第２の実施の形態の全体的な処理を説明するフローチャート。
【図１５】第２の実施の形態の処理内容を説明するための図。
【図１６】本発明の第３の実施の形態を説明するためにＪＰＥＧによる一般的な圧縮・展開の全体的な処理を説明するフローチャート。
【図１７】本発明の第３の実施の形態の構成を説明するブロック図。
【図１８】第３の実施の形態の処理の一例を説明するフローチャート。
【図１９】エッジ強調処理に用いられるフィルタ例を示す図。
【図２０】図１９に示すフィルタを用いてエッジ強調処理を行おうとする画像データ例を示す図。
【符号の説明】
１，２，３・・・画像処理装置
１０・・・画像鮮明化部
１１・・・直交変換部
１２・・・周波数データ変更部
１３・・・逆直交変換部
２０・・・画像拡大鮮明化部
２１・・・領域拡張部
３０・・・圧縮展開画像鮮明化部
３１・・・圧縮処理部
３２・・・展開処理部
３１１・・・色変換部
３１２・・・量子化部
３１３・・・符号化部
３２１・・・復号化部
３２２・・・逆量子化部
３２３・・・色変換部
Claims (20)
- 画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を鮮明化処理する画像鮮明化工程を有する画像処理方法において、
前記画像鮮明化工程は、直交変換工程、周波数データ変更工程、逆直交変換工程を有し、前記画像入力手段により入力された画像データを前記直交変換工程により直交変換し、前記原画像を周波数領域に変換したのち、前記周波数データ変更工程により、前記直交変換工程で直交変換された周波数領域における周波数データの平均値を求め、前記周波数データと前記求められた平均値の差に対して予め準備されている定数を掛けることにより前記周波数データの変更を行い、その変更後の周波数データを前記逆直交変換工程により逆直交変換して、前記原画像の鮮明化を行うことを特徴とする画像処理方法。 - 画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を鮮明化処理する画像鮮明化工程を有する画像処理方法において、
前記画像鮮明化工程は、直交変換工程、周波数データ変更工程、逆直交変換工程を有し、前記画像入力手段により入力された画像データを前記直交変換工程により直交変換し、前記原画像を周波数領域に変換したのち、前記周波数データ変更工程により、前記直交変換工程で直交変換された周波数領域における周波数データの平均値を求め、処理対象の周波数データと前記平均値の差に対して、前記処理対象の周波数データの周期ごとに予め準備されている値を掛けることにより周波数データの変更を行い、その変更後の周波数データを前記逆直交変換工程により逆直交変換して、前記原画像の鮮明化を行うことを特徴とする画像処理方法。 - 前記周波数データ変更工程は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないことを特徴とする請求項１または２に記載の画像処理方法。
- 画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を所定の倍率に拡大・縮小し、鮮明化処理する画像拡大鮮明化工程を有する画像処理方法において、
前記画像拡大鮮明化工程は、直交変換工程、領域拡張工程、周波数データ変更工程、逆直交変換工程を有し、前記画像入力手段により入力された画像データを前記直交変換工程により直交変換し、前記原画像を周波数領域に変換したのち、前記領域拡張工程により拡大率に応じた周波数領域を用意し、その周波数領域の拡大・縮小を行い、前記周波数データ変更工程により、前記領域拡張工程で作成された周波数領域における周波数データの平均値を求め、前記周波数データと前記求められた平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行い、前記逆直交変換工程により前記変更後の周波数データの逆直交変換を行い、前記原画像を拡大・縮小するとともに鮮明化を行うことを特徴とする画像処理方法。 - 画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を所定の倍率に拡大・縮小し、鮮明化処理する画像拡大鮮明化工程を有する画像処理方法において、
前記画像拡大鮮明化工程は、直交変換工程、領域拡張工程、周波数データ変更工程、逆直交変換工程を有し、前記画像入力手段により入力された画像データを前記直交変換工程により直交変換し、前記原画像を周波数領域に変換したのち、前記領域拡張工程により拡大率に応じた周波数領域を用意し、その周波数領域の拡大・縮小を行い、前記周波数データ変更工程により、前記領域拡張工程で作成された周波数領域の周波数データの平均値を求め、処理対象の周波数データと前記平均値の差に対して、前記処理対象の周波数データの周期ごとに予め準備されている値を掛けることにより周波数データの変更を行い、前記逆直交変換工程により前記変更後の周波数データの逆直交変換を行い、前記原画像を拡大・縮小するとともに鮮明化を行うことを特徴とする画像処理方法。 - 前記周波数データ変更工程は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないことを特徴とする請求項４または５に記載の画像処理方法。
- 画像入力手段により入力された画像データを直交変換を用いて圧縮・展開し、鮮明化処理する圧縮展開画像鮮明化工程を有する画像処理方法において、
前記圧縮展開画像鮮明化工程は、画像データを直交変換後に圧縮処理を行う圧縮処理工程と、圧縮データを展開処理後に逆直交変換行う展開処理工程の少なくともいずれか一方の工程を有し、さらに、前記圧縮・展開処理工程のいずれか一方に周波数データの変更を行う周波数データ変更工程を加えて成り、前記画像入力手段により入力された画像データを直交変換し、前記原画像を周波数領域に変換したのち、前記周波数データ変更工程により、前記周波数領域における周波数データの平均値を求め、前記周波数データと前記求められた平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行い、その変更後の周波数データを前記逆直交変換工程により逆直交変換して、前記原画像を圧縮・展開するとともに鮮明化を行うことを特徴とする画像処理方法。 - 画像入力手段により入力された画像データを直交変換を用いて圧縮・展開し、鮮明化処理する圧縮展開画像鮮明化工程を有する画像処理方法において、
前記圧縮展開画像鮮明化工程は、画像データを直交変換後に圧縮処理を行う圧縮処理工程と、圧縮データを展開処理後に逆直交変換行う展開処理工程の少なくともいずれか一方の工程を有し、さらに、前記圧縮・展開処理工程のいずれか一方に周波数データの変更を行う周波数データ変更工程を加えて成り、前記画像入力手段により入力された画像データを直交変換し、前記原画像を周波数領域に変換したのち、前記周波数データ変更工程により、前記周波数領域における周波数データの平均値を求め、処理対象の周波数データと前記平均値の差に対して、前記処理対象の周波数データの周期ごとに予め準備されている値を掛けることにより周波数データの変更を行い、その変更後の周波数データを前記逆直交変換工程により逆直交変換して、前記原画像を圧縮・展開するとともに鮮明化を行うことを特徴とする画像処理方法。 - 前記周波数データ変更工程は、展開処理工程にて行い、展開処理を行うために掛ける係数を考慮した値を掛けることによって周波数データの変更を行うことを特徴とする請求項７または８に記載の画像処理方法。
- 前記周波数データ変更工程は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないことを特徴とする請求項７、８または９に記載の画像処理方法。
- 画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を鮮明化処理する画像鮮明化工程を有する画像処理装置において、
前記画像鮮明化手段は、
前記原画像を周波数領域に変換するために原画像の直交変換を行なう直交変換手段と、
前記前記直交変換手段で直交変換された周波数領域の周波数データを、前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段と、
前記周波数データ変更手段により変更された周波数領域における周波数データの逆直交変換を行なう逆直交変換手段と、
を有し、
前記周波数データ変更手段は、前記直交変換手段で直交変換された周波数領域における周波数データの平均値を求め、前記周波数データと前記求められた平均値の差に対して予め準備されている定数を掛けることにより前記周波数データの変更を行うことを特徴とする画像処理装置。 - 画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を鮮明化処理する画像鮮明化工程を有する画像処理装置において、
前記画像鮮明化手段は、
前記原画像を周波数領域に変換するために原画像の直交変換を行なう直交変換手段と、
前記前記直交変換手段で直交変換された周波数領域の周波数データを、前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段と、
前記周波数データ変更手段により変更された周波数領域における周波数データの逆直交変換を行なう逆直交変換手段と、
を有し、
前記周波数データ変更手段は、前記直交変換手段で直交変換された周波数領域における周波数データの平均値を求め、処理対象の周波数データと前記平均値の差に対して、前記処理対象の周波数データの周期ごとに予め準備されている値を掛けることにより前記周波数データの変更を行うことを特徴とする画像処理装置。 - 前記周波数データ変更手段は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないことを特徴とする請求項１１または１２に記載の画像処理装置。
- 画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を所定の倍率に拡大・縮小し、鮮明化処理する画像拡大鮮明化手段を有する画像処理装置において、
前記画像拡大鮮明化手段は、
前記原画像を周波数領域に変換するために原画像の直交変換を行なう直交変換手段と、
拡大率に応じた周波数領域を用し、周波数領域における領域の拡大・縮小を行う領域拡張手段と、
前記領域拡張手段により作成された周波数領域における周波数データを、前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段と、
前記変更後の周波数領域における周波数データの逆直交変換を行なう逆直交変換手段と、
を有し、
前記周波数データ変更手段は、前記領域拡張手段で作成された周波数領域における周波数データの平均値を求め、前記周波数データと前記求められた平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行うことを特徴とする画像処理装置。 - 画像入力手段により入力された原画像に含まれる画像情報に基づいて画像を所定の倍率に拡大・縮小し、鮮明化処理する画像拡大鮮明化手段を有する画像処理装置において、
前記画像拡大鮮明化手段は、
前記原画像を周波数領域に変換するために原画像の直交変換を行なう直交変換手段と、
拡大率に応じた周波数領域を用し、周波数領域における領域の拡大・縮小を行う領域拡張手段と、
前記領域拡張手段により作成された周波数領域における周波数データを、前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段と、
前記変更後の周波数領域における周波数データの逆直交変換を行なう逆直交変換手段と、
を有し、
前記周波数データ変更手段は、前記領域拡張手段で作成された周波数領域の周波数データの平均値を求め、処理対象の周波数データと前記平均値の差に対して、前記処理対象の周波数データの周期ごとに予め準備されている値を掛けることにより周波数データの変更を行うことを特徴とする画像処理装置。 - 前記周波数データ変更手段は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないことを特徴とする請求項１４または１５に記載の画像処理方法。
- 画像入力手段により入力された画像を直交変換を用いて圧縮・展開し、鮮明化処理する圧縮展開画像鮮明化手段を有する画像処理装置において、
前記圧縮展開画像鮮明化手段は、
直交変換手段により直交変換された周波数領域における周波数データを用いて圧縮処理を行う圧縮処理手段と、
前記圧縮処理手段により圧縮された圧縮データを展開処理後に逆直交変換行う展開処理手段と、
の少なくともいずれか一方の手段を有し、前記直交変換後の周波数データを前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段を、前記圧縮・展開処理手段のいずれか一方に設け、
前記周波数データ変更手段は、前記周波数領域における周波数データの平均値を求め、前記周波数データと前記求められた平均値の差に対して予め準備されている定数を掛けることにより周波数データの変更を行うことを特徴とする画像処理装置。 - 画像入力手段により入力された画像を直交変換を用いて圧縮・展開し、鮮明化処理する圧縮展開画像鮮明化手段を有する画像処理装置において、
前記圧縮展開画像鮮明化手段は、
直交変換手段により直交変換された周波数領域における周波数データを用いて圧縮処理を行う圧縮処理手段と、
前記圧縮処理手段により圧縮された圧縮データを展開処理後に逆直交変換行う展開処理手段と、
の少なくともいずれか一方の手段を有し、前記直交変換後の周波数データを前記周波数領域における周波数データの特性を考慮して変更する周波数データ変更手段を、前記圧縮・展開処理手段のいずれか一方に設け、
前記周波数データ変更手段は、前記周波数領域における周波数データの平均値を求め、処理対象の周波数データと前記平均値の差に対して、前記処理対象の周波数データの周期ごとに予め準備されている値を掛けることにより前記周波数データの変更を行うことを特徴とする画像処理装置。 - 前記周波数データ変更手段は、展開処理手段に設け、展開処理のために掛ける係数を考慮した値を掛けることにより周波数データの変更を行うことを特徴とする請求項１７または１８に記載の画像処理方法。
- 前記周波数データ変更手段は、直流成分である周波数データに対しては、その周波数データの変更処理の対象としないことを特徴とする請求項１７、１８または１９に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28771095A JP3750164B2 (ja) | 1995-06-05 | 1995-11-06 | 画像処理方法および画像処理装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7-138163 | 1995-06-05 | ||
| JP13816395 | 1995-06-05 | ||
| JP28771095A JP3750164B2 (ja) | 1995-06-05 | 1995-11-06 | 画像処理方法および画像処理装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005296075A Division JP2006065883A (ja) | 1995-06-05 | 2005-10-11 | 画像処理方法および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0954825A JPH0954825A (ja) | 1997-02-25 |
| JP3750164B2 true JP3750164B2 (ja) | 2006-03-01 |
Family
ID=26471282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28771095A Expired - Fee Related JP3750164B2 (ja) | 1995-06-05 | 1995-11-06 | 画像処理方法および画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3750164B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7692817B2 (en) | 2004-06-23 | 2010-04-06 | Sharp Kabushiki Kaisha | Image processing method, image processing apparatus, image forming apparatus, computer program product and computer memory product for carrying out image processing by transforming image data to image data having spatial frequency components |
| JP4570534B2 (ja) * | 2004-11-04 | 2010-10-27 | シャープ株式会社 | 画像処理装置、画像形成装置、画像処理方法、及びコンピュータプログラム |
| JP4381360B2 (ja) | 2005-08-30 | 2009-12-09 | シャープ株式会社 | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 |
-
1995
- 1995-11-06 JP JP28771095A patent/JP3750164B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0954825A (ja) | 1997-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7155069B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2960386B2 (ja) | 信号適応フィルタリング方法及び信号適応フィルター | |
| JP4348768B2 (ja) | 画像変換方法 | |
| JP4203980B2 (ja) | データ処理方法及び装置、並びに記録媒体 | |
| JP2002269556A (ja) | デジタル画像からノイズを除去する複数解像度に基づく方法 | |
| US20050169553A1 (en) | Image sharpening by variable contrast stretching | |
| JP2003143399A (ja) | 画像処理装置およびプログラム | |
| EP1114399A1 (en) | A method and apparatus for re-sizing and cropping images by operating directly on their digital orthogonal transforms | |
| WO2008052278A1 (en) | Mixed content image compression with two edge data representations | |
| JP2000232651A (ja) | ブロック変換符号化された画像表現から復号した電子的画像の中の歪を除去する方法 | |
| JPH08294001A (ja) | 画像処理方法および画像処理装置 | |
| JPH09149241A (ja) | 画像拡大方法及び画像拡大装置 | |
| JP3750164B2 (ja) | 画像処理方法および画像処理装置 | |
| Zhao et al. | Single depth image super-resolution with multiple residual dictionary learning and refinement | |
| Shen et al. | A new approach of lossy image compression based on hybrid image resizing techniques. | |
| JP2006065883A (ja) | 画像処理方法および画像処理装置 | |
| JP4598115B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| WO2000056060A1 (fr) | Dispositif et procede de traitement d'image, et support enregistre | |
| JPH07334648A (ja) | 画像処理方法及びその装置 | |
| KR20070119482A (ko) | 이미지 리샘플링 방법 | |
| JP4267159B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| JPH04369191A (ja) | 画像圧縮復元装置 | |
| Marsh et al. | Removal of Blocking Artifacts from JPEG-Compressed Images Using a Neural Network | |
| JP2916607B2 (ja) | 画像拡大装置 | |
| Lee et al. | A content-adaptive up-sampling technique for image resolution enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050912 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051128 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121216 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121216 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131216 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |