JP3775260B2 - 画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、入力された画像データに対して鮮鋭化処理を行う画像処理方法に関するものである。
【０００２】
【従来の技術】
従来、写真などの画像を印画紙に焼き付ける写真焼付装置として、写真画像が記録されたネガフィルムを介して印画紙を露光するアナログプリンタや、ネガフィルムに記録された画像をスキャナ等で読み取った画像データ、およびデジタルカメラなどによって撮影された画像データに基づいて印画紙を露光するデジタルプリンタが種々提案されている。特に、デジタルプリンタは、画像データに対して色補正や濃度補正等の画像処理をおこなう画像処理装置と組み合わせて用いることで、アナログプリンタでは実現できないような色補正や濃度補正等を行うことができると共に、顧客の要望に応じた画像を容易にかつ迅速に得ることができるという利点があり、現在広く用いられている。
【０００３】
また、コンパクトカメラや使い捨てカメラなどの普及によって、一般の人でもカラー写真を撮影する機会が多くなっている。最近のカメラには、オートフォーカス機能や自動発光機能などが備えられており、写真撮影に不慣れな人でも、ある程度のクォリティで写真撮影を行うことが可能となっている。しかしながら、オートフォーカス機能では、どこにピントが合うことになるのかが撮影者にとってわかりづらく、主要な被写体がフレームの中央にないときなどは、その主要な被写体にピントが合っていない状態で撮影が行われてしまうこともある。また、自動発光機能によって、逆光撮影時などにおいても、ある程度の写真を撮影することが可能となっているが、それでも不自然な写真画像となることもある。さらに、撮影時の僅かな手ぶれが原因で、全体がぼけた感じの写真画像になることもある。
【０００４】
以上のように、撮影された画像には、種々の原因によってぼけが生じている場合がある。そこで、上記の画像処理装置において、入力されたデジタル画像データにぼけが生じている場合には、鮮鋭化処理と呼ばれる画像処理を行うことがある。鮮鋭化処理とは、ぼけによる画像の劣化を復元させたり、あるいは目的に応じて画像を見やすくするために、画像におけるエッジを強調する処理のことである。
【０００５】
鮮鋭化処理としては、鮮鋭化フィルタと呼ばれる計算上のフィルタを画像データに対して施す方法が一般的に用いられている。この鮮鋭化フィルタとしては、ラプラシアンフィルタが良く知られている。このラプラシアンフィルタは、ある注目画素の画素値を、その周囲の画素との変化分に基づいて補正することによって、鮮鋭化を実現するものである。
【０００６】
【発明が解決しようとする課題】
以上のような鮮鋭化フィルタによって鮮鋭化処理を行う場合、各画素に対して無条件に鮮鋭化処理を行うことになるので、元画像に生じているノイズを強調してしまうという問題が生じることになる。
【０００７】
また、元画像において、被写体の画像内での大きさやフォーカスの度合いは、各画像によって変化するものであるので、１種類の鮮鋭化フィルタを用いて全ての画像に対して最適な鮮鋭化処理を行うことは不可能である。よって、鮮鋭化フィルタのフィルタサイズを変化させたり、フィルタ内の係数を変化させたりすることによって、各画像ごとに最適な鮮鋭化フィルタを選択して鮮鋭化処理を行う必要がある。
【０００８】
例えば、画像内での被写体の大きさが比較的大きい場合には、フィルタサイズが大きめの鮮鋭化フィルタを用い、逆に、画像内での被写体の大きさが比較的小さい場合には、フィルタサイズが小さめの鮮鋭化フィルタを用いるようにする。また、被写体のぼけ具合が比較的強い場合には、鮮鋭化の度合いが強くなるような係数からなる鮮鋭化フィルタを用いるようにする。
【０００９】
このように、上記したような鮮鋭化フィルタを用いて鮮鋭化処理を行う場合には、各画像ごとに用いる鮮鋭化フィルタを選択しなければならず、また、その選択も、オペレータの経験上の判断によらなければならず、煩雑な処理になるという問題がある。
【００１０】
さらに、上記のようにして画像に応じて選択した鮮鋭化フィルタを用いて鮮鋭化処理を行ったとしても、用いた鮮鋭化フィルタの特徴が画像に表れることによって不自然な画像になるという問題もある。
【００１１】
本発明は、上記の問題点を解決するためになされたもので、その目的は、ノイズの強調や、不自然な鮮鋭化を抑制するとともに、様々な状態の画像データに対して一律に鮮鋭化処理を行うことが可能な画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
上記の課題を解決するために、本発明に係る画像処理方法は、入力された画像データに対して周波数変換処理を行い、周波数変換画像を生成するステップと、周波数鮮鋭化フィルタによって、上記周波数変換画像の各画素値を補正するステップと、上記周波数鮮鋭化フィルタによって補正された周波数変換画像に対して逆周波数変換処理を行い、鮮鋭化済み画像を生成するステップとを有し、上記周波数鮮鋭化フィルタが、複数のサンプル画像に対してラプラシアンフィルタによる鮮鋭化処理を行い、各サンプル画像に対応する理想画像を生成するステップと、上記の各サンプル画像に対して周波数変換処理を行い、サンプル画像の周波数変換画像を生成するステップと、上記の各理想画像に対して周波数変換処理を行い、理想画像の周波数変換画像を生成するステップと、上記サンプル画像の周波数変換画像が、上記理想画像の周波数変換画像に変化する際の各画素値の変化率を算出し、この変化率を各画素に対応する値とした変化率画像を各サンプル画像ごとに生成するステップと、各サンプル画像ごとに生成された上記変化率画像を平均化するステップとによって生成されることを特徴としている。
【００１３】
上記の方法は、鮮鋭化処理を行いたい画像に対して、まず周波数変換処理を行って周波数変換画像を生成し、周波数鮮鋭化フィルタによって補正した後に、逆周波数変換を行うことによって鮮鋭化済み画像を生成する鮮鋭化方法となっている。そして、周波数鮮鋭化フィルタは、次のようにして生成されることになっている。
【００１４】
まず、サンプル画像を複数用意し、これらに対して既存の鮮鋭化処理を行い、理想画像を生成する。ここで、既存の鮮鋭化処理とは、例えばラプラシアンフィルタを用いた鮮鋭化処理などの、一般に知られている鮮鋭化処理である。そして、元のサンプル画像と理想画像とのそれぞれの周波数変換画像に基づいて、これらの変化率画像が複数算出される。
【００１５】
このように、変化率画像は、周波数帯域ごとの変化の様子を示したものである。ここで、画像の鮮鋭度は、周波数帯域ごとの強度分布に大きく関連しているものであるので、変化率画像は、元の画像に対してどの周波数帯域を強調すれば鮮鋭度を向上させることができるかを示したものとなる。
【００１６】
しかしながら、これらの変化率画像は、それぞれ互いに異なるサンプル画像から得られたものであり、各変化率画像は、元のサンプル画像の特徴の影響を受けたものとなっている。そこで、上記の方法では、各サンプル画像ごとに生成された変化率画像を平均化し、これを周波数鮮鋭化フィルタとして設定している。これにより、各サンプル画像の特徴の影響が平均化され、様々な種類の画像に対して良好な鮮鋭化処理を行うことが可能な周波数鮮鋭化フィルタを生成することができる。すなわち、このようにして設定された周波数鮮鋭化フィルタを用いて、上記のような周波数鮮鋭化処理を行えば、どのような状態の画像に対しても、自然な鮮鋭化処理を行うことが可能となる。
【００１７】
また、本発明に係る画像処理方法は、上記の方法において、上記周波数鮮鋭化フィルタに対して、さらに平滑化処理を行う方法としてもよい。
【００１８】
各サンプル画像ごとに生成された変化率画像を平均化すれば、各サンプル画像の特徴の影響は抑制されることになるが、それでもなお、この影響が若干残っており、不自然な鮮鋭化の要因となりうる。そこで、上記の方法では、平均化した変化率画像に対して、さらに平滑化処理を施しており、これにより、各サンプル画像の特徴の影響をほとんどなくすことが可能となる。したがって、このようにして設定された周波数鮮鋭化フィルタを用いて、上記のような周波数鮮鋭化処理を行えば、より自然な鮮鋭化処理を行うことが可能となる。
【００１９】
また、本発明に係る画像処理方法は、上記の方法において、上記周波数鮮鋭化フィルタに対して、さらに各周波数成分ごとにそれぞれ異なる強度補正を行う方法としてもよい。
【００２０】
変化率画像は、基本的には、サンプル画像に対して既存の鮮鋭化処理を行って得られた理想画像に基づいて生成されたものである。したがって、このような変化率画像を平均化したり、平滑化したりすることによって得られた周波数鮮鋭化フィルタは、既存の鮮鋭化処理の影響を含んでいるものとなっている。すなわち、このような周波数鮮鋭化フィルタは、既存の鮮鋭化処理が有する問題点、例えばノイズ成分を強調してしまうというような問題点をある程度含んでいることになる。
【００２１】
そこで、上記の方法では、変化率画像に対して、さらに各周波数成分ごとにそれぞれ異なる強度補正を行っている。これにより、例えばノイズを強調してしまうことになる周波数成分の変化率の強度を弱めるというような強度補正を行うことが可能となるので、既存の鮮鋭化処理が有する問題点を解消することが可能となる。よって、このようにして設定された周波数鮮鋭化フィルタを用いて、上記のような周波数鮮鋭化処理を行えば、より自然で、かつ画像の劣化のない良好な鮮鋭化処理を行うことが可能となる。
【００２２】
また、本発明に係る画像処理方法は、上記の方法において、上記強度補正が、周波数鮮鋭化フィルタにおいて最も低周波となる周波数成分および最も高周波となる周波数成分の強度補正量を所定の最低値とし、所定の周波数成分の強度補正量を所定の最高値にするとともに、強度補正量の最低値と最高値との間の周波数成分の強度補正量を滑らかに変化させる方法としてもよい。
【００２３】
上記の方法によれば、まず、周波数鮮鋭化フィルタにおいて最も低周波となる周波数成分および最も高周波となる周波数成分の強度補正量を所定の最低値としている。これは、低周波成分を強調しすぎると、画像にうろこ状の模様が生じることになり、高周波成分を強調しすぎると、ノイズ成分を強調してしまうことになるからである。すなわち、上記のように、低周波となる周波数成分および最も高周波となる周波数成分の強度補正量を所定の最低値とすることによって、鮮鋭化処理を行う際に発生する上記のような問題を抑制することが可能となる。
【００２４】
また、強度補正量の最低値と最高値との間の周波数成分の強度補正量を滑らかに変化させているので、周波数成分の変化にともなう強度補正量の変化を連続的にすることができる。よって、鮮鋭化処理された画像における鮮鋭化の状態を自然にすることが可能となり、良好な鮮鋭化画像を提供することが可能となる。
【００２５】
また、本発明に係る画像処理方法は、上記の方法において、上記周波数鮮鋭化フィルタにおける全ての画素値に対して、同じ値の係数を乗じる方法としてもよい。
【００２６】
上記の方法では、同じ値の係数を、周波数鮮鋭化フィルタにおける全ての画素値に対して乗じている。この場合、周波数鮮鋭化フィルタにおける各画素の大小のバランスを保ったまま、強度補正量の大きさを変化させることが可能となる。したがって、自然で良好な鮮鋭化を保ったまま、係数を変化させることによって、鮮鋭化の度合いを変化させることが可能となる。ここで、例えばオペレータが係数を設定するようにすれば、オペレータの好みに応じた鮮鋭度による鮮鋭化処理を行うことが可能となる。
【００２７】
また、本発明に係る画像処理プログラムは、上記の画像処理方法を、コンピュータに実行させることを特徴としている。
【００２８】
上記の画像処理プログラムを、上記の画像処理方法を実施するためのコンピュータに実行させることによって、上記の画像処理方法をユーザに提供することが可能となる。
【００２９】
また、本発明に係る画像処理プログラムを記録した記録媒体は、上記の画像処理方法を、コンピュータに実行させる画像処理プログラムを記録していることを特徴としている。
【００３０】
上記の記録媒体に記録された画像処理プログラムを、上記の画像処理方法を実施するためのコンピュータに実行させることによって、上記の画像処理方法をユーザに提供することが可能となる。
【００３１】
【発明の実施の形態】
本発明の実施の一形態について図１ないし図８に基づいて説明すれば、以下のとおりである。
【００３２】
図２は、本発明の実施の形態に係る画像処理装置の機能的な構成を示すブロック図である。この画像処理装置は、画像データ入力部１、ラプラシアンフィルタ処理部２、理想画像選択部３、ＦＦＴ処理部４、変化率算出部５、平均化処理部６、スムージング処理部７、強度補正処理部８、周波数鮮鋭化フィルタ設定部９、周波数鮮鋭化処理部１０、係数設定部１３、逆ＦＦＴ処理部１１、および画像データ出力部１２を備えた構成となっている。なお、画像処理装置は、実際にはコンピュータによって構成されるものであり、上記の各ブロックは、プログラムによって実現されることになる。以下に、各ブロックについて簡単に説明するが、詳細な説明は後に行う。
【００３３】
画像データ入力部１は、後述する周波数鮮鋭化フィルタを作成するためのサンプル画像の画像データや、実際に鮮鋭化処理を行おうとしている画像の画像データが入力されるブロックである。ラプラシアンフィルタ処理部２は、入力されたサンプル画像の画像データに対して、後述するラプラシアンによるフィルタ処理を行うブロックである。理想画像選択部３は、ラプラシアンフィルタ処理部によって鮮鋭化処理された画像の中から理想画像を選択するブロックである。
【００３４】
ＦＦＴ処理部４は、画像データに対してフーリエ変換を行い、周波数変換画像を生成するブロックである。変化率算出部５は、理想画像と元のサンプル画像との周波数変換画像における各画素の変化率を算出し、変化率画像を生成するブロックである。平均化処理部は、複数の変化率画像を平均化する処理を行うブロックである。スムージング処理部７は、平均化された変化率画像に対してさらにスムージング処理を行うブロックである。強度補正処理部８は、スムージング処理が行われた変化率画像に対して、各周波数成分ごとに強度補正を行うブロックである。周波数鮮鋭化フィルタ設定部９は、強度補正された変化率画像を、周波数鮮鋭化フィルタとして設定する処理を行うブロックである。
【００３５】
周波数鮮鋭化処理部１０は、鮮鋭化を行おうとしている画像を周波数変換した画像に対して、周波数鮮鋭化フィルタを適用することによって鮮鋭化処理を行うブロックである。係数設定部１３は、周波数鮮鋭化処理における鮮鋭化の度合いを調整するための係数を設定するブロックである。逆ＦＦＴ処理部１１は、周波数鮮鋭化処理が行われた周波数変換画像に対して逆フーリエ変換を行って通常の画像データに戻す処理を行うブロックである。画像データ出力部１２は、鮮鋭化処理が完了した画像データを出力するブロックである。
【００３６】
以上のように、本実施形態に係る画像処理装置は、画像データを周波数変換し、周波数変換画像に対して周波数鮮鋭化フィルタを施すことによって鮮鋭化処理を行う構成となっている。以下に、本実施形態に係る画像処理装置が行う画像処理方法の詳細について説明する。
【００３７】
まず、本画像処理方法の技術思想について順を追って説明する。画像データは、数多くの異なる周波数および振幅の正弦波を適当に空間的にずらして重ね合わせることによって表現することができる。本実施形態においては、入力された画像データに対して、離散フーリエ変換を行うことによって正弦波への分解を行い、周波数変換画像を生成する。ここで、離散フーリエ変換を画像データに対して施す際に、ＦＦＴ(Fast Fourier Transform)を用いることによって、処理の高速化を図ることができる。
【００３８】
ここで、ＦＦＴによる周波数変換を高速に行う場合には、変換元の画像データにおける縦、横各辺の画素数が２のべき乗個であることが好ましい。したがって、以下では、１０２４×１０２４画素からなる変換元の画像データに対して処理を行う例について説明する。なお、その他の画素数に対して処理を行う場合については後述する。
【００３９】
図３（ａ）に示すように、１０２４×１０２４画素からなる画像データに対してＦＦＴによって周波数変換を行うと、周波数変換後の画像（周波数変換画像）は、図３（ｂ）に示すような１０２４×１０２４画素の画像となる。この周波数変換画像は、画像の中心から同心円状に各周波数成分の値が分布している画像であり、画像の中心へ近づくほど低周波成分の値が分布しており、中心から遠ざかるほど高い周波数成分の値が分布している。この周波数画像において、各画素の値を輝度に換算した画像として表示すれば、いわゆるパワースペクトル表示の状態となる。
【００４０】
例えば、等間隔の横縞からなる画像に対して周波数変換を行うと、周波数変換画像では、中心を通る縦のライン上に値の大きい画素が存在する画像となる。同様に、縦縞からなる画像に対しては、中心を通る横のライン、斜め方向の縞からなる画像に対しては、中心を通り、縞の方向に垂直な方向のライン上に、値の大きい画素が存在する画像となる。このように、周波数変換画像は、基本的に元の画像データの全ての情報が含まれており、この周波数変換画像に対して逆ＦＦＴ変換を行えば、元の画像を復元することが可能となっている。また、この周波数変換画像を見れば、元の画像において、どの周波数の成分が強いかということを把握することができる。
【００４１】
ここで、画像における周波数と、画像を見た時に感じる鮮鋭感との関係について説明する。画像を見た時に感じる鮮鋭感を表す何らかの尺度を鮮鋭度（シャープネス）という。鮮鋭度が高い画像は、切れの良い引き締まった感じを与える。ここで、鮮鋭度が比較的高い画像（画像Ａ）と、鮮鋭度が比較的低い画像（画像Ｂ）とに対して、上記の周波数変換を行い、各周波数成分の度数分布を測定すると、図４に示すようなグラフとなる。なお、図４において、横軸は周波数の相対値を示しており、縦軸は各周波数成分に相当する画素の度数の相対値を示している。また、グラフ中の実線が画像Ａの度数分布、破線が画像Ｂの度数分布を示している。
【００４２】
図４に示すように、鮮鋭度が高い方の画像Ａは、周波数の高い方まで度数分布が大きく広がっている一方、鮮鋭度が低い方の画像Ｂは、周波数の高い側では度数があまり多くなく、周波数が極めて低い側において度数が集中していることがわかる。すなわち、画像の鮮鋭度と、周波数成分の分布状態とは相関があることがわかる。
【００４３】
以上のことより、本実施形態では、元の画像データに対してフーリエ変換を施すことによって周波数成分のデータに変換し、目的の周波数成分のデータに対して強調処理を行った後に、逆フーリエ変換を行うことによって画像データに戻し、これを鮮鋭化処理済みの画像とする処理を行う。
【００４４】
次に、上記の処理において、周波数成分のデータに対して、強調する周波数の設定、および強調の度合いの設定について説明する。まず、周波数を複数の範囲に分割し、特定の周波数範囲に含まれるデータに対してのみ強調を行う場合について説明する。
【００４５】
一例として、周波数のとりうる値の範囲を１０等分し、特定の周波数範囲に含まれるデータに対してのみ所定の度合いで強調した画像を実際に作成する実験を行った。なお、特定の周波数範囲に含まれるデータに対して、輝度を５倍に強調した場合と、１０倍に強調した場合との２通りを行った。この結果、強調する周波数範囲が低すぎる場合には、処理後の画像にうろこ状の模様が出現するなどの画像劣化が見られた。また、強調する周波数範囲が高すぎる場合には、処理後の画像においてノイズ成分が強調されるなどの画像劣化が見られた。これらの現象は、５倍に強調した場合、１０倍に強調した場合ともに生じたが、１０倍に強調した場合の方が、劣化の程度が大きくなっていた。
【００４６】
一方、強調する周波数範囲によっては、必要以上の画像劣化が生じることなく、元画像を鮮鋭化することが可能であることが確認された。しかしながら、厳密に見ると、不自然な強調が行われていたり、強調されるべき部分が強調されていなかったりというような不具合が発生していることが確認された。これは、特定の周波数範囲のみを強調しているので、画像内の特定の部分や形状に対してはある程度良好な強調を行うことができるが、その他の形状や大きさが異なる部分に対しては的確な強調を行うことができないからである。また、強調の度合いによっても、画像の不自然さ度合いが異なっていることが確認された。
【００４７】
以上の結果より、画像の劣化を生じさせることなく、自然な強調を行うためには、各周波数範囲ごとにそれぞれ最適な度合いで強調を行う必要があることがわかる。しかしながら、あらゆる状態の画像に対して最適な鮮鋭化処理を行えるように、各周波数範囲ごとの強調の度合いを設定することは極めて困難である。これに対して、本実施形態では、以下に示すような方法によって各周波数範囲ごとの強調の度合いを算出している。
【００４８】
まず、サンプルとしての特定の元画像データに対して、従来の鮮鋭化処理の手法、例えばラプラシアンフィルタを用いて鮮鋭化処理を行う。この際に、鮮鋭化の度合いを変化させた複数の鮮鋭化処理を行う。例えば、３×３のマトリクスからなるラプラシアンフィルタを用い、このフィルタによる鮮鋭化を元の画像データに対して施す回数を変化させることによって、鮮鋭化の度合いの異なる複数の鮮鋭化済み画像を作成する。ここでの鮮鋭化処理は、元の画像データにおける輝度成分に対して行うものとする。
【００４９】
以上のようにして作成した、鮮鋭化の度合いが異なる複数の鮮鋭化済み画像の中から、鮮鋭化の状態が最も良好であると判断される画像を選択する。ここでの選択は、オペレータが実際に複数の鮮鋭化済み画像を見比べることによって行われることになる。そして、この選択された鮮鋭化済み画像を暫定的に理想画像として設定する。
【００５０】
なお、本実施形態では、従来の鮮鋭化処理として、ラプラシアンフィルタによる処理を用いているが、これに限定されるものではなく、既存の任意の鮮鋭化処理を行えばよい。例えば、コンピュータ上で動作する既存の各種画像処理プログラムを用いて、エッジ強調処理や、輝度変換処理などを組み合わせて、比較的鮮鋭化度合いが良好な理想画像を生成してもよい。
【００５１】
上記のようにして設定された理想画像は、上記のように従来の鮮鋭化処理によって鮮鋭化が行われた画像であるので、従来の鮮鋭化処理を行った場合の問題、すなわち、元画像に生じているノイズが強調されていたり、不自然な鮮鋭化が行われたりという問題が生じていることになる。しかしながら、この理想画像は、上記のように、鮮鋭化の度合いが異なる複数の鮮鋭化済み画像の中から選択された画像であるので、鮮鋭化の度合いに関しては比較的良好な画像であると言える。
【００５２】
その後、元画像データの周波数変換画像を求めるとともに、上記の理想画像の周波数変換画像を求める。そして、元画像データの周波数変換画像と、理想画像の周波数変換画像との間の変化率を各周波数成分の各画素ごとに求め、これを変化率画像として生成する。すなわち、この変化率画像における各画素の値は、元画像データの周波数変換画像における各画素の値を何倍すれば理想画像の周波数変換画像における各画素の値になるかを示すものとなっている。言い換えれば、元画像データの周波数変換画像の各画素値に、変化率画像の各画素値を乗じれば、理想画像の周波数変換画像の各画素値が算出されることになる。
【００５３】
なお、ＦＦＴ変換を行うと、実数部と虚数部とが発生することになるが、本実施形態では、実数部と虚数部との２乗和の平方根をとって、これに基づいて上記の変化率を算出している。また、変化率の計算は、
変化率＝（理想画像の画素値＋0.0001）÷（元画像の画素値＋0.0001）
という式によって行う。上式で、各画素値に0.0001を加算しているのは、ＦＦＴによって変換されたデータの中には、０の値をとるものもあり得るので、０による割り算を起こさないためである。また、上式における画素値は、周波数変換後のデータの実数と虚数との２乗和の平方根の値となる。
【００５４】
以上より、ある画像データに対して、その周波数変換画像を求め、これに変化率画像を適用した後に逆フーリエ変換を行えば、上記の理想画像を求める際に行った鮮鋭化処理とほぼ同等の鮮鋭化がなされた画像を求めることができる。すなわち、変化率画像は、周波数変換画像に対して適用することによって鮮鋭化フィルタとして機能することになるので、この変化率画像を周波数鮮鋭化フィルタと呼ぶことにする。
【００５５】
なお、この時点では、周波数鮮鋭化フィルタは、サンプルとしての特定の元画像データに基づいて算出されたものであるので、その他の画像データに対してこの周波数鮮鋭化フィルタを適用しても、良好に鮮鋭化が行われるとは限らない。そこで、本実施形態では、多数のサンプル画像に対して理想画像をそれぞれ求め、上述した方法によって周波数鮮鋭化フィルタを求めるとともに、これらの周波数鮮鋭化フィルタを平均した平均鮮鋭化フィルタを算出する。この平均鮮鋭化フィルタを用いて周波数鮮鋭化を行えば、様々な種類の画像に対してある程度良好な鮮鋭化処理を行うことが可能となる。例えば、従来の技術であるラプラシアンフィルタを用いた鮮鋭化処理と比較すると、平均鮮鋭化フィルタを用いて周波数鮮鋭化処理を行う方が、鮮鋭化処理された画像の画質が良好であることが確認された。
【００５６】
このように、平均鮮鋭化フィルタは、多数のサンプル画像に基づいて求められた周波数鮮鋭化フィルタを平均化したものであるので、各サンプル画像における特有の特徴が平均化されていることになる。しかしながら、それでもなお、平均鮮鋭化フィルタには元となるサンプル画像の特有の特徴による影響が含まれており、鮮鋭化処理を行った場合に、これらの影響が鮮鋭化処理後の画像に現れることがある。なお、このような影響は、サンプル画像の数に応じて増減するものであり、例えば極めて多数のサンプル画像に対して周波数鮮鋭化フィルタを求め、これらを平均化した場合には、各サンプル画像の特有の特徴による影響はほとんどなくなることになる。しかしながら、実際にサンプル画像を９６枚用意し、これらに基づいて平均鮮鋭化フィルタを求めた場合には、平均鮮鋭化フィルタに各サンプル画像の特徴の影響が残っていることが確認された。
【００５７】
そこで、得られた平均鮮鋭化フィルタに対して、さらにスムージング処理を行うようにする。ここでは、スムージング処理として、移動平均処理（ぼかし処理）を行う。具体的には、平均鮮鋭化フィルタに対して７×７の平滑化フィルタを適用する。この平滑化フィルタは、４９個の各係数が全て４９分の１という値となっているものである。つまり、このスムージング処理は、７×７からなる小領域の平均値を中心画素の値に置き換える処理を全ての画素に対して行うことになる。なお、本実施形態では、このような平滑化フィルタによる処理を、全ての画素に対して１０回行うものとする。
【００５８】
このように、平均鮮鋭化フィルタに対してさらにスムージング処理を施すことによって、元のサンプル画像の特有の特徴による影響のない周波数鮮鋭化フィルタを作成することが可能となる。これにより、様々な種類の画像に対して違和感のない鮮鋭化処理を行うことが可能となる。このように、平均鮮鋭化フィルタに対してスムージング処理を施すことによって得られた周波数鮮鋭化フィルタを、平滑鮮鋭化フィルタと呼ぶことにする。
【００５９】
この平滑鮮鋭化フィルタを用いて鮮鋭化処理を行えば、元の画像の状態によらず、ある程度良好に鮮鋭化処理を行うことができる。しかしながら、鮮鋭化済みの画像を見ると、画質がざらついた感じになっていることが確認される。このざらつき感は、元の画像において発生しているノイズが強調されたことによって生じるものである。これは、サンプル画像から理想画像を生成する際に用いた鮮鋭化処理の手法が、従来の鮮鋭化処理の手法を用いているからである。また、画像にうろこ状の模様が発生する場合もある。
【００６０】
一般に、画像に対して鮮鋭化処理を施すと、画像の中で発生しているノイズも強調されることになり、画質がざらついたり、ギザギザした感じになりやすい。このようなノイズは、周期的なノイズを別にすれば、画像上にランダムに点在するものであるので、周波数成分でいえば、高周波側に存在するものが多いといえる。また、上記のうろこ状の模様は、低周波成分を強調しすぎると発生するものである。
【００６１】
そこで、本実施形態では、周波数鮮鋭化フィルタの鮮鋭化強度を周波数に応じて調整する手法をとる。すなわち、上記の平滑鮮鋭化フィルタに対して、周波数成分に応じて変化率の強度を補正し、この補正鮮鋭化フィルタを用いて周波数鮮鋭化処理を行うようにする。
【００６２】
周波数成分に応じた変化率の強度の補正は、基本的には、鮮鋭化処理済み画像の画質が良好となるように行えばよいが、本実施形態では、特定の周波数における強度補正率をピークにして、その高周波側および低周波側でなだらかに強度補正率が減少するように設定するものとする。図５は、周波数と強度補正率との関係の一例を示すグラフである。なお、同図において、横軸が周波数の相対値を示しており、縦軸が強度補正率（％）を示している。この例では、周波数の最低値が０、最高値が５１２となっている。
【００６３】
図５に示すように、強度補正率を、特定の周波数において１００％、周波数が最低値０のとき、および最高値５１２のときに０％となるように設定し、これらの間を直線で結ぶことによって、その他の周波数の強度補正率を設定する。ピークとなる周波数は、実際に低周波側や高周波側に移動させてみて、最も画質が良くなる周波数を選択する。ノイズの性質を考慮すれば、比較的低周波側にピークがあり、高周波側は強度補正率があまり上がらないように設定することが好ましいと言える。
【００６４】
実際に、ピークとなる周波数を変更して鮮鋭化処理を行ってみると、鮮鋭度はほとんど変化はないが、ピークを高周波にするほど画像のざらつきが目立つようになることが確認された。これらの画像を観察すると、周波数の最低値を０、最高値を１００とした場合に、３０となる周波数をピークに設定した場合が、画質としては最も良好になっていることが確認された。また、３０±１０の範囲に周波数のピークを設定すれば、ある程度良好な画像となることが確認された。
【００６５】
すなわち、上記の平滑鮮鋭化フィルタに対して、上記のようにして設定された強度補正率に応じて、対応する周波数成分の画素値、すなわち変化率に補正をかけ、これを最終的に用いる周波数鮮鋭化フィルタとして設定することになる。このようにして設定された周波数鮮鋭化フィルタを用いて周波数鮮鋭化処理を行えば、ノイズの強調や、うろこ状の模様が生じることなく、あらゆる種類の画像に対して良好な鮮鋭化を行うことが可能となる。
【００６６】
なお、上記の例では、強度補正率を、特定の周波数をピークである１００％とし、最低周波数および最高周波数で０％となるように設定したが、これに限定されるものではなく、例えば、最低周波数および／または最高周波数での強度補正率の値を０％以外の値としてもかまわない。また、ピークから最低周波数および最高周波数までを直線で結んでいるが、これを曲線としてもかまわない。また、ピークをとる周波数を、１点ではなく、特定の周波数範囲で強度補正率が１００％となるように設定してもよい。
【００６７】
また、最終的に求められた周波数鮮鋭化フィルタの各画素値（変化率）に対して一律に所定の係数を乗じることによって、鮮鋭化の度合いを変化させることも可能である。周波数鮮鋭化フィルタの各画素値は、元の画像データにおける画素値をどの程度変化させたら良いかということを示したものであるので、これに一律に係数を乗じたとしても、鮮鋭化が崩れることはなく、鮮鋭化の度合いが変化することになる。したがって、上記のようにして最終的に求められた周波数鮮鋭化フィルタを１つ用意しておき、このフィルタの各画素値に対して一律に乗じる係数を、使用者の好みに応じて変化させることにより、使用者が所望とする鮮鋭度で鮮鋭化処理を行うことが可能となる。
【００６８】
次に、変換元の画像データの縦、横各辺の画素数が２のべき乗個でない場合の処理について説明する。前記したように、ＦＦＴによる周波数変換を高速に行う場合には、変換元の画像データにおける、縦、横各辺の画素数が２のべき乗個であることが好ましい。しかしながら、実際の画像データは、その縦、横各辺の画素数が２のべき乗個でない場合がほとんどである。よって、元の画像データを縦、横各辺の画素数が２のべき乗個の画素からなる分割領域に分割し、それぞれの分割領域に対して周波数鮮鋭化処理を施した後に、これらの分割領域を合成して元のサイズの画像データに戻す処理を行う。
【００６９】
ここで、一例として、３０７２×２０４８画素からなる元画像を１０２４×１０２４画素からなる分割領域に分割して処理を行う場合について説明する。この場合、単純に横２分割縦３分割の合計６分割すれば、元画像の全ての画素を分割領域に割り当てることが可能である。しかしながら、このように分割して、それぞれの分割領域において実際に周波数鮮鋭化処理を施すと、各分割領域の境界部分で画像が不連続になることが確認された。
【００７０】
そこで、元画像を分割領域で分割する際に、隣り合う分割領域が互いに重なり合うようにし、各分割領域ごとに行った周波数鮮鋭化処理の結果画像をつなぎ合わせることによって連続した画像に再構成する。上記の例の場合、図６（ａ）〜（ｅ）に示すように、元画像を１２通りに分割し、各分割領域ごとに周波数鮮鋭化処理を行うようにする。そして、各分割領域ごとの周波数鮮鋭化処理の結果画像を、重なり部分の中央部分で領域が切り換わるように、図７に示すような分割で合成する。このような方法によれば、各分割領域の境界部分の不連続性が解消され、より自然な鮮鋭化画像を提供することができる。
【００７１】
以上に基づいて、本実施形態に係る画像処理装置が行う処理の流れについて以下に説明する。画像処理装置における処理は、大きく分けて周波数鮮鋭化フィルタ作成処理と、周波数鮮鋭化処理との２つの処理に分類される。
【００７２】
まず、周波数鮮鋭化フィルタ作成処理の流れについて、図１に示すフローチャートを参照しながら説明する。ステップ１（以降、Ｓ１のように称する）において、サンプル画像の画像データが画像データ入力部１に入力されると、この画像データがラプラシアンフィルタ処理部２に送られる。ラプラシアンフィルタ処理部２は、入力された画像データに対してラプラシアンフィルタを用いて鮮鋭化処理を行う（Ｓ２）。この際に、鮮鋭化の度合いの異なる複数の鮮鋭化済み画像が生成される。
【００７３】
次に、理想画像選択部３において、鮮鋭化の度合いの異なる複数の鮮鋭化済み画像の中から、最も鮮鋭化の状態が好ましいと判断される画像が理想画像として選択される（Ｓ３）。ここでは、例えば複数の鮮鋭化済み画像をモニターなどに表示させ、オペレータが表示された画像を見比べることによって理想画像が選択される。
【００７４】
ここで選択された理想画像、および元のサンプル画像に対して、ＦＦＴ処理部４によって周波数変換処理が行われ、それぞれの周波数変換画像が作成される（Ｓ４）。そして、これらの周波数変換画像が変化率算出部５に送られ、２つの周波数変換画像の各画素における変化率が算出される。そして、各画素の値が、ここで算出された変化率の値となる変化率画像が生成される（Ｓ５）。
【００７５】
そして、Ｓ６において、Ｓ１〜Ｓ５の処理が全てのサンプル画像に対して行われたかが判定され、行われていないと判断された場合（Ｓ６においてＮＯ）には、新たなサンプル画像に対して、Ｓ１からの処理が行われる。すなわち、Ｓ１〜Ｓ５は、用意した全てのサンプル画像に対して行われることになる。
【００７６】
以上のようにして、複数のサンプル画像に対応した変化率画像が生成されると、これらの変化率画像が平均化処理部６に送られる。平均化処理部６では、入力された複数の変化率画像の平均化処理が行われる（Ｓ７）。ここでの平均化処理は、各変化率画像における対応する各画素の値の平均を求めることによって行われる。
【００７７】
平均化処理された変化率画像は、スムージング処理部７に送られ、平均化フィルタを適用することによってスムージング処理が行われる（Ｓ８）。さらに、スムージング処理が行われた変化率画像に対して、各周波数成分ごとに、上記のようにして設定された強度補正率に基づいて、強度補正が行われる（Ｓ９）。そして、強度補正が行われた変化率画像が、周波数鮮鋭化フィルタ設定部８において、周波数鮮鋭化フィルタとして設定される（Ｓ９）。
【００７８】
次に、実際に、入力された元画像データに対して周波数鮮鋭化処理を行う場合の処理の流れについて、図８に示すフローチャートを参照しながら説明する。まず、Ｓ１１において、元画像データが画像データ入力部１に入力されると、この元画像データがＦＦＴ処理部４に送られる。ＦＦＴ処理部４は、入力された元画像データを周波数変換し、周波数変換画像を作成する（Ｓ１２）。
【００７９】
また、Ｓ１３において、係数設定部１０において、鮮鋭化の度合いを調整するための係数の設定が行われる。具体的には、例えばオペレータが何らかの入力手段によって、鮮鋭化の度合いを強めにする、弱めにするなどの指示を行うことによって、それに対応する係数が設定されるようにする。
【００８０】
そして、周波数鮮鋭化処理部９において、元画像に対応する周波数変換画像に対して、周波数鮮鋭化フィルタ設定部８において設定されている周波数鮮鋭化フィルタが適用され、周波数鮮鋭化処理が行われる（Ｓ１４）。この際に、係数設定部１０で設定された係数が周波数鮮鋭化フィルタに適用され、係数が乗じられた周波数鮮鋭化フィルタによって処理が行われることになる。
【００８１】
周波数鮮鋭化処理が施された後の周波数変換画像は、逆ＦＦＴ処理部１１において逆フーリエ変換され、鮮鋭化済み画像が生成される（Ｓ１５）。鮮鋭化済み画像が生成されると、これをモニターなどの表示手段に表示し、鮮鋭化の度合いがオペレータによって確認される（Ｓ１６）。ここで、オペレータが鮮鋭化の度合いをより強くしたい、あるいはより弱くしたいと判断した場合（Ｓ１６においてＮＯ）には、Ｓ１３の処理に戻って改めて強調の度合いの設定を行う。一方、鮮鋭化の度合いがＯＫであると判断された場合（Ｓ１６においてＹＥＳ）には、この鮮鋭化済み画像が画像データ出力部１２から出力され（Ｓ１７）、処理が終了する。
【００８２】
なお、上記の例では、周波数変換処理としてフーリエ変換を行っているが、これに限定されるものではなく、得られるデータが周波数に基づいた変換処理であればどのような処理を用いてもよい。例えば、ＤＣＴ、Ｗａｖｅｌｅｔ変換などが挙げられる。ただし、フーリエ変換以外の周波数変換処理を用いる場合、変換後の数値特性に合わせて、数値の大きさ、虚数部の取り扱いなどの調整が必要となる。
【００８３】
【発明の効果】
以上のように、本発明に係る画像処理方法は、入力された画像データに対して周波数変換処理を行い、周波数変換画像を生成するステップと、周波数鮮鋭化フィルタによって、上記周波数変換画像の各画素値を補正するステップと、上記周波数鮮鋭化フィルタによって補正された周波数変換画像に対して逆周波数変換処理を行い、鮮鋭化済み画像を生成するステップとを有し、上記周波数鮮鋭化フィルタが、複数のサンプル画像に対してラプラシアンフィルタによる鮮鋭化処理を行い、各サンプル画像に対応する理想画像を生成するステップと、上記の各サンプル画像に対して周波数変換処理を行い、サンプル画像の周波数変換画像を生成するステップと、上記の各理想画像に対して周波数変換処理を行い、理想画像の周波数変換画像を生成するステップと、上記サンプル画像の周波数変換画像が、上記理想画像の周波数変換画像に変化する際の各画素値の変化率を算出し、この変化率を各画素に対応する値とした変化率画像を各サンプル画像ごとに生成するステップと、各サンプル画像ごとに生成された上記変化率画像を平均化するステップとによって生成される方法である。
【００８４】
これにより、様々な種類の画像に対して良好な鮮鋭化処理を行うことが可能な周波数鮮鋭化フィルタを生成することができる。すなわち、このようにして設定された周波数鮮鋭化フィルタを用いて、上記のような周波数鮮鋭化処理を行えば、どのような状態の画像に対しても、自然な鮮鋭化処理を行うことが可能となるという効果を奏する。
【００８５】
また、本発明に係る画像処理方法は、上記周波数鮮鋭化フィルタに対して、さらに平滑化処理を行う方法としてもよい。
【００８６】
これにより、上記の方法による効果に加えて、各サンプル画像の特徴の影響をほとんどなくすことが可能となる。したがって、このようにして設定された周波数鮮鋭化フィルタを用いて、上記のような周波数鮮鋭化処理を行えば、より自然な鮮鋭化処理を行うことが可能となるという効果を奏する。
【００８７】
また、本発明に係る画像処理方法は、上記周波数鮮鋭化フィルタに対して、さらに各周波数成分ごとにそれぞれ異なる強度補正を行う方法としてもよい。
【００８８】
これにより、上記の方法による効果に加えて、例えばノイズを強調してしまうことになる周波数成分の変化率の強度を弱めるというような強度補正を行うことが可能となるので、既存の鮮鋭化処理が有する問題点を解消することが可能となる。よって、このようにして設定された周波数鮮鋭化フィルタを用いて、上記のような周波数鮮鋭化処理を行えば、より自然で、かつ画像の劣化のない良好な鮮鋭化処理を行うことが可能となるという効果を奏する。
【００８９】
また、本発明に係る画像処理方法は、上記強度補正が、周波数鮮鋭化フィルタにおいて最も低周波となる周波数成分および最も高周波となる周波数成分の強度補正量を所定の最低値とし、所定の周波数成分の強度補正量を所定の最高値にするとともに、強度補正量の最低値と最高値との間の周波数成分の強度補正量を滑らかに変化させる方法としてもよい。
【００９０】
これにより、上記の方法による効果に加えて、低周波となる周波数成分および最も高周波となる周波数成分の強度補正量を所定の最低値とすることによって、鮮鋭化処理を行う際に発生する問題を抑制することが可能となるという効果を奏する。
【００９１】
また、周波数成分の変化にともなう強度補正量の変化を連続的にすることができるので、鮮鋭化処理された画像における鮮鋭化の状態を自然にすることが可能となり、良好な鮮鋭化画像を提供することが可能となるという効果を奏する。
【００９２】
また、本発明に係る画像処理方法は、上記周波数鮮鋭化フィルタにおける全ての画素値に対して、同じ値の係数を乗じる方法としてもよい。
【００９３】
これにより、上記の方法による効果に加えて、自然で良好な鮮鋭化を保ったまま、係数を変化させることによって、鮮鋭化の度合いを変化させることが可能となるという効果を奏する。
【００９４】
また、本発明に係る画像処理プログラムは、上記の画像処理方法を、コンピュータに実行させるものである。
【００９５】
これにより、上記の画像処理プログラムを、上記の画像処理方法を実施するためのコンピュータに実行させることによって、上記の画像処理方法をユーザに提供することが可能となるという効果を奏する。
【００９６】
また、本発明に係る画像処理プログラムを記録した記録媒体は、上記の画像処理方法を、コンピュータに実行させる画像処理プログラムを記録していることを特徴としている。
【００９７】
これにより、上記の記録媒体に記録された画像処理プログラムを、上記の画像処理方法を実施するためのコンピュータに実行させることによって、上記の画像処理方法をユーザに提供することが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る画像処理方法において、周波数鮮鋭化フィルタの設定処理の流れを示すフローチャートである。
【図２】本発明の実施の一形態に係る画像処理装置の機能的な構成を示すブロック図である。
【図３】同図（ａ）は、元の画像の一例を示す説明図であり、同図（ｂ）は、周波数変換画像を示す説明図である。
【図４】鮮鋭度が比較的高い画像（画像Ａ）と、鮮鋭度が比較的低い画像（画像Ｂ）とに対して、周波数変換を行い、各周波数成分の度数分布を測定した結果を示すグラフである。
【図５】周波数と強度補正率との関係の一例を示すグラフである。
【図６】同図（ａ）ないし（ｅ）は、元画像を複数の分割領域に分割する方法の一例を示す説明図である。
【図７】複数の分割領域を合成する方法の一例を示す説明図である。
【図８】実際に、入力された元画像データに対して周波数鮮鋭化処理を行う場合の処理の流れを示すフローチャートである。
【符号の説明】
１ 画像データ入力部
２ ラプラシアンフィルタ処理部
３ 理想画像選択部
４ ＦＦＴ処理部
５ 変化率算出部
６ 平均化処理部
７ スムージング処理部
８ 周波数鮮鋭化フィルタ設定部
９ 周波数鮮鋭化処理部
１０ 係数設定部
１１ 逆ＦＦＴ処理部
１２ 画像データ出力部

Claims (7)

1. 入力された画像データに対して周波数変換処理を行い、周波数変換画像を生成するステップと、
   周波数鮮鋭化フィルタによって、上記周波数変換画像の各画素値を補正するステップと、
   上記周波数鮮鋭化フィルタによって補正された周波数変換画像に対して逆周波数変換処理を行い、鮮鋭化済み画像を生成するステップとを有し、
   上記周波数鮮鋭化フィルタが、
   複数のサンプル画像に対してラプラシアンフィルタによる鮮鋭化処理を行い、各サンプル画像に対応する理想画像を生成するステップと、
   上記の各サンプル画像に対して周波数変換処理を行い、サンプル画像の周波数変換画像を生成するステップと、
   上記の各理想画像に対して周波数変換処理を行い、理想画像の周波数変換画像を生成するステップと、
   上記サンプル画像の周波数変換画像が、上記理想画像の周波数変換画像に変化する際の各画素値の変化率を算出し、この変化率を各画素に対応する値とした変化率画像を各サンプル画像ごとに生成するステップと、
   各サンプル画像ごとに生成された上記変化率画像を平均化するステップとによって生成されることを特徴とする画像処理方法。
2. 上記周波数鮮鋭化フィルタに対して、さらに平滑化処理を行うことを特徴とする請求項１記載の画像処理方法。
3. 上記周波数鮮鋭化フィルタに対して、さらに各周波数成分ごとにそれぞれ異なる強度補正を行うことを特徴とする請求項１または２記載の画像処理方法。
4. 上記強度補正が、周波数鮮鋭化フィルタにおいて最も低周波となる周波数成分および最も高周波となる周波数成分の強度補正量を所定の最低値とし、所定の周波数成分の強度補正量を所定の最高値にするとともに、強度補正量の最低値と最高値との間の周波数成分の強度補正量を滑らかに変化させることを特徴とする請求項３記載の画像処理方法。
5. 上記周波数鮮鋭化フィルタにおける全ての画素値に対して、同じ値の係数を乗じることを特徴とする請求項１ないし４のいずれか一項に記載の画像処理方法。
6. 請求項１ないし５のいずれか一項に記載の画像処理方法を、コンピュータに実行させる画像処理プログラム。
7. 請求項１ないし５のいずれか一項に記載の画像処理方法を、コンピュータに実行させる画像処理プログラムを記録した記録媒体。

Images