JP4139760B2 - 画像処理方法および装置ならびに画像処理プログラム - Google Patents

Description

本発明は、画像処理方法および装置ならびに画像処理プログラムに係り、特に、エッジ部抽出を正確に行い、鮮鋭度を強調する処理を高速で行う画像処理方法および装置ならびにこの画像処理方法を実行する画像処理プログラムに関する。

ネガフィルム、リバーサルフィルムあるいはカラープリント等に記録されたカラー画像を、ＣＣＤ等の光電変換素子によって光電的に読み取って、色の三原色である赤（Ｒ）、緑（Ｇ）および青（Ｂ）毎の画像信号を得て、デジタル信号に変換し、この画像信号に対して各種のデジタル画像処理を施して、カラーペーパー等の記録材料に出力し、あるいはＣＲＴ等の画像表示手段に表示することにより、画像を再生するデジタルカラー画像再生システムとして、デジタルフォトプリンタが実用化されている。

このデジタルフォトプリンタによれば、カラー画像が露光不足あるいは露光過剰等の適切でない撮影条件下で撮影され、ネガフィルム、リバーサルフィルムあるいはカラープリント等に記録されていても、得られた原画像信号に画像処理を施すことにより、所望の色および階調を有するカラー画像として再生することができる。また、ネガフィルム、リバーサルフィルムあるいはカラープリント等に記録されたカラー画像を、所望により、異なった色および階調を有するカラー画像として再生することもできる。

このような画像処理として、例えば、従来より、スキャナや撮影カメラあるいはプリンタ等による画像のシャープネス劣化等の画像劣化を回復するための、鮮鋭度強調（シャープネス強調）処理あるいは粒状抑制処理が知られている。これは、まずテンプレートを用いてエッジ部を抽出して、ラプラシアンフィルタやアンシャープネスマスク（ＵＳＭ）により粒状抑制およびシャープネス強調処理を行うものである。しかし、これは画像全体に対して処理を施しているため、これにより画像のシャープネスが向上するものの、それとともに粒状等のノイズ（雑音）も強調されてしまうという欠点があった。

そこで、例えば、平坦部のノイズを抑制し、エッジ成分だけを強調する手法として、画像全体を均一に強調するのではなく、原画像に対する線検出オペレータの出力画像データを用いてアンシャープマスキングの程度を部分的にコントロールする選択的画像鮮鋭化法が知られている（例えば、非特許文献１等参照）。
「画像解析ハンドブック」東京大学出版会１９９１年

しかしながら、エッジ部を抽出するためのエッジ強度算出手段として、方向別テンプレートを用いると、エッジ強度を精度良く検出することができるとされているが、テンプレートの方向を増やすと演算時間がかかるという問題があった。
また、ノイズや粒状などのレベルや大きさに応じてマスクサイズを大きくすると被写体人物の肌の陰影等の、エッジではない画像の濃度勾配をエッジとして誤検出してしまったり、また、マスクサイズより小さなテクスチャを拾えないという問題があった。

本発明は、前記従来の問題に鑑みてなされたものであり、本来抽出したいエッジ部のみを抽出するとともに、小さなエッジであっても正確に抽出し、画像強調処理を高速で行うことのできる画像処理方法および装置ならびに画像処理プログラムを提供することを課題とする。

上記課題を解決するために、本発明の第１の態様は、画像の画像データを、低周波数成分と、この低周波数成分以外の周波数成分に分離すると共に、前記低周波数成分以外の周波数成分を、互いに異なる複数の周波数成分に分離し、前記分離されていない低周波数成分以外の周波数成分に対し、方向別テンプレートを適用して、エッジ度を判定する第１の評価値を算出し、前記第１の評価値によりエッジ部を抽出し、前記エッジ抽出結果に基づいて、前記分離された複数の周波数成分の各々毎に画像強調処理を行い、前記低周波成分および前記画像強調処理を行った複数の周波数成分の各々を合成することを特徴とする画像処理方法を提供するものである。

また、さらに、前記分離されていない低周波数成分以外の周波数成分から、前記第１の評価値によって抽出されるエッジ部より細かなテクスチャを検出するための第２の評価値を算出し、前記第１の評価値および前記第２の評価値に基づいて、前記複数の周波数成分の各々毎に前記画像強調処理を行うための各ゲインを設定し、設定された各ゲインをそれぞれ前記複数の周波数成分の各々に対して乗算して、前記画像強調処理を行った複数の周波数成分の各々を求め、前記低周波成分および前記画像強調処理を行った複数の周波数成分の各々を合成するのが好ましい。

また、さらに、前記第１の評価値および前記第２の評価値を比較し、大きい方を第１の最終評価値とし、前記第１の最終評価値を用いて、前記複数の周波数成分の各々毎に前記画像強調処理を行うための各ゲインを設定するのが好ましい。
また、前記第１の最終評価値の大きさに応じて、前記複数の周波数成分の各々に対して乗算する各ゲインを設定するのが好ましい。

また、前記分離されていない低周波数成分以外の周波数成分は、高周波成分および中周波成分を含み、前記高周波成分に対しては前記第１の評価値を第２の最終評価値とし、前記中周波成分に対しては前記第１および前記第２の評価値を比較し、大きい方を第３の最終評価値とし、前記第２の最終評価値および前記第３の最終評価値を用いて、それぞれ前記高周波数成分および前記中周波成分に前記画像強調処理を行うための各ゲインを設定し、設定された各ゲインをそれぞれ前記高周波数成分および前記中周波成分に対して乗算して、前記画像強調処理を行った前記高周波数成分および前記中周波成分の各々を求め、前記低周波成分および前記画像強調処理を行った前記高周波数成分および前記中周波成分の各々を合成するのが好ましい。
また、前記第２および前記第３最終評価値の各々の大きさに応じて、それぞれ、前記高低周波数成分および前記中周波数成分に対して乗算する各ゲインを設定するのが好ましい。

また、同様に上記課題を解決するために、本発明の第２の態様は、画像の画像データを、低周波数成分と、この低周波数成分以外の周波数成分に分離すると共に、前記低周波数成分以外の周波数成分を、互いに異なる複数の周波数成分に分離する分離手段と、前記分離されていない低周波数成分以外の周波数成分に対し、方向別テンプレートを適用して、エッジ度を判定する第１の評価値を算出する第１の評価値算出手段と、前記第１の評価値によりエッジ部を抽出するエッジ部抽出手段と、前記エッジ抽出結果に基づいて、前記分離された複数の周波数成分の各々毎に画像強調処理を行う画像強調処理手段と、前記低周波成分および前記画像強調処理を行った複数の周波数成分の各々を合成する合成手段とを有することを特徴とする画像処理装置を提供するものである。

また、上記第２の態様の画像処理装置であって、さらに、前記分離されていない低周波数成分以外の周波数成分から、前記第１の評価値によって抽出されるエッジ部より細かなテクスチャを検出するための第２の評価値を算出する第２の評価値算出手段と、前記第１の評価値および前記第２の評価値に基づいて、前記複数の周波数成分の各々毎に前記画像強調処理を行うための各ゲインを設定するゲイン設定手段とを有し、前記画像強調処理手段は、設定された各ゲインをそれぞれ前記複数の周波数成分の各々に対して乗算して、前記画像強調処理を行った複数の周波数成分の各々を求め、前記合成手段は、前記低周波成分および前記画像強調処理を行った複数の周波数成分の各々を合成するのが好ましい。

また、上記第２の態様の画像処理装置であって、さらに、前記第１の評価値および前記第２の評価値を比較し、大きい方を第１の最終評価値とする評価値比較手段を有し、前記ゲイン設定手段は、前記第１の最終評価値を用いて、前記複数の周波数成分の各々毎に前記画像強調処理を行うための各ゲインを設定するのが好ましい。
また、前記ゲイン設定手段は、前記第１の最終評価値の大きさに応じて、前記複数の周波数成分の各々に対して乗算する各ゲインを設定するのが好ましい。

また、上記第２の態様の画像処理装置であって、前記分離されていない低周波数成分以外の周波数成分は、高周波成分および中周波成分を含み、さらに、前記高周波成分に対しては前記第１の評価値を第２の最終評価値とし、前記中周波成分に対しては前記第１および前記第２の評価値を比較し、大きい方を第３の最終評価値とする評価値比較手段を有し、前記ゲイン設定手段は、前記第２の最終評価値および前記第３の最終評価値を用いて、それぞれ前記高周波数成分および前記中周波成分に前記画像強調処理を行うための各ゲインを設定し、前記画像強調処理手段は、設定された各ゲインをそれぞれ前記高周波数成分および前記中周波成分に対して乗算して、前記画像強調処理を行った前記高周波数成分および前記中周波成分の各々を求め、前記合成手段は、前記低周波成分および前記画像強調処理を行った前記高周波数成分および前記中周波成分の各々を合成するのが好ましい。
また、前記ゲイン設定手段は、前記第２および前記第３最終評価値の各々の大きさに応じて、それぞれ、前記高低周波数成分および前記中周波数成分に対して乗算する各ゲインを設定するのが好ましい。

また、同様に上記課題を解決するために、本発明の第３の態様は、上記第２の態様の画像処理方法を実行するための画像処理プログラムを提供するものである。

本発明によれば、画像データを異なる複数の周波数成分に分離し、低周波数成分以外の周波数成分、例えば、低、中、高の３つの周波数成分に分離した場合には、中高周波数成分に対して、方向別テンプレートを適用してエッジ度を判定する第１の評価値を算出し、これに基づいて各周波数成分毎に画像強調処理を行うようにしたため、画像の陰影等の影響を避け、本来抽出したいエッジのみを高速に抽出することが可能となる。
また、前記方向別テンプレートより小さなテンプレートを用いて第２の評価値を算出するようにした場合には、大きいマスクでのテクスチャの拾い落としを防止し、小さいテクスチャを検出することが可能となる。

本発明に係る画像処理方法および装置ならびに画像処理プログラムを添付の図面に示される本発明を実施するための最良の形態に基づいて以下に詳細に説明する。

図１は、本発明に係る画像処理方法を実施する画像処理装置を含む画像処理システムの一実施形態の概略構成を示すブロック図である。
図１に示すように、本実施形態の画像処理システム１は、画像データを入力する画像入力装置１０、画像入力装置１０から入力された画像データを処理する画像処理装置１２および画像処理装置１２による処理を経た画像データを出力する画像出力装置１４を有して構成されている。

画像入力装置１０は、画像データを入力する手段であれば、特に限定されるものではなく、例えばフィルムスキャナ、メディアドライバまたは画像データ受信装置のいずれか、あるいはこれら全部を備えて、どのような画像データ入力に対しても対応可能となっていてもよい。
フィルムスキャナは、ネガフィルムやリバーサルフィルム等の写真フィルムに光を照射して、その写真フィルムに記録されている画像を担持する透過光をＣＣＤで受光することにより画像データを入力するものである。
メディアドライバは、フレキシブルディスク（ＦＤ）等の磁気ディスクやＣＤ−Ｒ等の光ディスク、光磁気ディスク（ＭＯ）、あるいはデジタルカメラで撮影画像を記録するＰＣカード等の各種情報記録媒体に記録されている画像データを読み取って画像データを入力するものである。
また、画像データ受信装置は、インターネット等のコンピュータネットワークに接続され、コンピュータネットワークを介して、画像データを受信し、画像データを入力するものである。

画像処理装置１２は、前処理部１６、プレスキャンメモリ１８、ファインスキャンメモリ２０、プレスキャンデータ処理部２２、ファインスキャンデータ処理部２４、画像処理制御部２６、キー入力部２８、画像データ変換部３０および３２を有している。
前処理部１６は、画像入力装置１０と接続され、画像入力装置１０から入力された画像データに対して入力手段に応じた所定の前処理を行うものである。例えば、フィルムスキャナから入力された画像データに対する前処理としては、暗時補正、濃度変換、シェーディング補正、あるいは欠陥画素補正等が例示される。また、メディアドライバから入力された画像データに対する前処理としては、情報記憶媒体に圧縮されて記録されていた画像データの解凍や鮮鋭度向上等の画像処理が挙げられる。また、画像データ受信装置から入力された画像データに対する前処理としては、画像データ受信装置が受信した例えばＪＰＥＧ等の圧縮画像データの解凍等が挙げられる。

なお、画像入力装置１０としてのフィルムスキャナは、写真フィルムに記録された画像を読み取る際、低解像度で読み取るプレスキャン（第１回目の画像読み取り）と、出力画像の画像データを得るためのファインスキャン（第２回目の画像読み取り）との２回の画像読み取りを行う。ここで、プレスキャンは、フィルムスキャナが対象とする写真フィルムの全ての画像を、イメージセンサ（ＣＣＤ) が飽和することなく読み取れるように、予め設定されたプレスキャン読取条件で行われる。一方、ファインスキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサが飽和するように、各コマ毎に設定されたファインスキャンの読取条件で行われる。なお、プレスキャンおよびファインスキャン出力画像信号は、解像度および出力画像信号レベルが異なる以外は、基本的に同様な画像データである。

プレスキャンメモリ１８は、プレスキャンで読み取られた画像データ（プレスキャンデータ）を格納するものであり、ファインスキャンメモリ２０は、ファインスキャンで読み取られた画像データ（ファインスキャンデータ）を格納するものである。
なお、画像入力装置１０として、メディアドライバあるいは画像データ受信装置から入力された画像データについては、前処理部１６で前処理を施した後、プレスキャンメモリ１８およびファインスキャンメモリ２０にそれぞれ出力されるが、このうちプレスキャンメモリ１８に出力する画像データについては、上記プレスキャンによって得られる低解像度の画像データと同等の低解像度の画像データに前処理部１８で変換した後にプレスキャンメモリ１８に出力される。

プレスキャンデータ処理部２２は、プレスキャンメモリ１８からプレスキャンデータを受け取り、これに対し、後述するファインスキャンデータ処理部２４における画像処理と等価な画像処理を施して、画像処理の結果を確認するための表示用のシミュレーション画像を作成するものである。
ファインスキャンデータ処理部２４は、ファインスキャンメモリ２０からファインスキャンデータを受け取り、各種の画像処理、特に、本発明の特徴であるシャープネス強調（鮮鋭度強調）を行い、出力用画像データを作成して画像出力装置１４に出力するものである。
なお、鮮鋭度強調処理について詳しくは後述する。

画像処理制御部２６は、ファインスキャンデータ処理部２４がファインスキャンデータに対して施す各種の画像処理の処理条件を、プレスキャンメモリ１８から入力されたプレスキャンデータに基づいて、演算により決定し（自動セットアップ）、決定した処理条件をプレスキャンデータ処理部２２に通知する。
また、画像処理制御部２６にはキー入力部２８が接続されている。キー入力部２８は、例えば、キーボードやマウス等によって構成される。キー入力部２８は、オペレータが、表示装置に表示されたシミュレーション画像を見て、キー入力部２８より画像処理装置１２に対する指示を入力して、画像処理処理条件の調整を行うものである。

プレスキャンデータ処理部２２には、画像データ変換部３０が接続されており、ファインスキャンデータ処理部２４には、画像データ変換部３２が接続されている。画像データ変換部３０は、プレスキャンデータ処理部２２で作成されたシミュレーション画像を表示用の画像データに変換するものである。画像データ変換部３２は、ファインスキャンデータ処理部２４での処理を施された画像データを、プリンタ等の画像出力装置１４に出力するための画像データに変換するものである。

なお、以上のように構成される画像処理装置１２は、具体的には、ＣＰＵやＲＡＭ、ＲＯＭ等のメモリやデータ入出力ポートを備えたコンピュータによって構成され、後述するような鮮鋭度強調処理を含む画像処理を実行する画像処理プログラムをインストールすることによって、上述したような画像処理装置１２として機能させることができる。また、この画像処理プログラムは、予めコンピュータ内のメモリに格納しておいてもよいし、所定の記録媒体から読み出して、この画像処理プログラムをコンピュータのＣＰＵで実行するようにしてもよい。

画像出力装置１４は、画像処理装置１２で処理された画像を出力するものであり、図１では、プリンタ（レーザプリンタ）３４が示されているが、これに限定されるものではなく、ＣＲＴやＬＣＤのような画像表示装置やＣＤ−ＲＷ等の画像記録媒体に記録するドライバでもよい。
本実施形態では、画像出力装置１４として、プリンタ３４が用いられており、画像データ変換部３２は、ファインスキャンデータ処理部２４で処理された画像データをプリンタ３４の出力形式に合うように変換してプリンタ３４に出力する。
なお、画像データ変換部３０には、表示装置として、ディスプレイ３６が接続されており、プレスキャンデータ処理部２２で作成されたシミュレーション画像を表示するようになっている。

次に、本発明の特徴である画像の鮮鋭度強調（シャープネス強調、画像強調）処理を行うシャープネス処理部について説明する。
図２は、本実施形態において、ファインスキャンデータ処理部２４において鋭度強調処理を行うシャープネス処理部３８の概略を示すブロック図である。図２に示すように、本実施形態の鮮鋭度強調処理を行うシャープネス処理部３８は、画像データを複数の周波数成分に分離する周波数分離部４０、評価値を算出しゲインを決定する評価値算出部４２、非線形階調修正部４４および周波数成分に分離された画像データに対しゲイン処理およびクリップ処理を行うゲイン・クリップ処理部４６を有している。

周波数分離部４０は、画像データを大まかな画像勾配である低周波数成分と、エッジ成分、テクスチャ成分およびノイズ成分を含んだ中高周波数成分に分離するものである。
周波数分離部４０は、３×３のＬＰＦ（ローパスフィルタ）５０、９×９のＬＰＦ５２および３つの減算器５４，５６、５８を有している。周波数分離部４０に入力された画像データＸ_inは、３×３のＬＰＦ５０によって低中周波数成分ＬＭが分離され、これを減算器５４によって原画像データＸ_inから減算することにより高周波成分Ｈが分離される。また、原画像データＸ_inから９×９のＬＰＦ５２によって低周波数成分Ｌが分離され、これを減算器５６によって原画像データＸ_inから減算することによって中高周波数成分ＭＨが分離される。減算器５６によって分離された中高周波数成分ＭＨは、評価値算出部４２に入力される。また、減算器５８によって、中高周波数成分ＭＨから高周波数成分Ｈを減算することによって中周波数成分Ｍが分離される。
なお、本実施形態では、画像データを上記のように、低周波数成分、中周波数成分、高周波数成分に分けたが、分離が十分にできていれば、最終的に何成分に分割されても構わない。

評価値算出部４２は、エッジ方向算出部６０、エッジ濃度差算出部６２、濃度参照評価値修正部６４、微細部コントラスト算出部６６、濃度参照評価値修正部６８、評価値比較部７０、ゲイン決定テーブル７２を有している。
エッジ方向算出部６０、エッジ濃度差算出部６２および微細部コントラスト算出部６６には周波数分離部４０で分離された中高周波数成分ＭＨが入力される。すなわち、本発明は、エッジ度判定を画像データの中高周波数成分ＭＨに対して行うものである。

エッジ方向算出部６０は、入力された画像データの中高周波数成分ＭＨに対して、テンプレートを用いて、注目画素およびその周辺画素のエッジ方向を示す勾配ベクトルの方向を求めるものである。また、エッジ濃度差算出部６２は、エッジの強度（エッジ度）を示す、同じく上記勾配ベクトルの大きさを求めるものである。
例えば、注目画素を中心とする３×３画素の画像データに対し、上下、左右、斜め（４５度）の各方向を示す方向別の８つの３×３画素からなるテンプレートを用いて、各画素データとの積和を求め、得られた積和が最大値を示すテンプレートの方向を勾配ベクトルの方向とし、上記積和の最大値を勾配ベクトルの大きさとして、エッジ方向およびエッジ強度を算出する。

鮮鋭度強調処理において、処理速度よりも精度を重視する場合には、このように方向別テンプレートを方向分適用し、最大値をエッジ強度（第１の評価値）として、これによりエッジ抽出を行うようにするとよい。
しかし、精度よりも処理速度を優先する場合には、上下および左右の勾配ｇ_x 、ｇ_y を求め、原理的に算出するには、θ＝ａｒｃｔａｎ（ｇ_x 、ｇ_y ）を用いることにより、また、実際的に算出するには、まずテーブルを用いてエッジ方向を算出し、その方向に対応したテンプレートを適用してエッジ強度を算出するようにするとよい。また、勾配ベクトルを対数（ｌｏｇ）圧縮してからテーブル参照するようにしてもよい。

また、ここで用いるテンプレートとしては、特に限定されるものではなく、一般的に知られるロビンソン（Ｒｏｂｉｎｓｏｎ）、プレヴィット（Ｐｒｅｗｉｔｔ）、キルシュ（Ｋｉｒｓｃｈ）等による演算子を用いることができる。これらはいずれも注目画素における濃度勾配の大きさおよび方向を算出するためのものである。
なお、実際には、粒状やノイズの影響に対してなるべく強くするために、これらを改良して拡張したものを用いるのが好ましい。さらに、テンプレートの大きさや形状も特に限定されるものではなく、さまざまなものが利用可能である。

エッジ濃度差算出部６２で算出された第１の評価値であるエッジ強度は、濃度参照評価値修正部６４に入力される。
濃度参照評価値修正部６４は、エッジ強度および９×９のＬＰＦ５２で分離された低周波数成分Ｌを入力し、第１の評価値であるエッジ強度を、着目画素あるいは低周波数成分の値に応じて修正するものである。すなわち、画素濃度に応じて、第１の評価値を修正するものである。濃度参照評価値修正部６４は、修正した第１の評価値を評価値比較部７０に入力する。

微細部コントラスト算出部６６は、入力された画像データの中高周波数成分ＭＨに対して、細かなテクスチャを検出するために、以下のいずれかの処理を行い、第２の評価値を算出するものである。
細かなテクスチャを検出するための処理としては、例えば、まず、各画素についての評価値を周りの画素の評価値と比較し、大きい方の値で更新するようにするか、あるいは、周りの評価値との重み付け平均処理を行う方法がある。
また、上述した第１の評価値を算出したときのテンプレートよりも小さなテンプレートを用いて小さなテクスチャを検出するようにしてもよい。
さらに、上述した第１の評価値を算出したときの画素領域よりも小さな領域で、上記とは違う評価値、例えば、色相関、重み付け平均コントラスト、あるいは分散等を算出することにより、第２の評価値を算出するようにしてもよい。
なお、このようにして算出した第２の評価値が、前述した第１の評価値とはエッジ度の意味合いに差が大きい場合には、ともに正規化するか、どちらかに合わせて正規化しておくようにする。

微細部コントラスト算出部６６で算出された第２の評価値である細かなテクスチャを示すエッジ強度は、濃度参照評価値修正部６８に入力される。
濃度参照評価値修正部６８は、前述した第１の評価値に対する濃度参照評価値修正部６４と同様に、着目画素あるいは低周波数成分の値に応じて第２の評価値を修正するものである。濃度参照評価値修正部６８は、修正した第２の評価値を評価値比較部７０に入力する。
なお、上述した細かなテクスチャを検出するための処理は、濃度参照評価値修正部６８において、第２の評価値を着目画素あるいは低周波数成分の値に応じて修正した後に行うようにしてもよい。

評価値比較部７０は、画素濃度に応じて修正された第１の評価値および第２の評価値を比較し、大きい方を第１の最終評価値とするものである。このとき、大きい部分の強調度を下げるようにして、鮮鋭度を強調しすぎないようにするようにしてもよい。
評価値比較部７０で算出された第１の最終評価値には、ゲイン決定テーブル７２によりそれぞれ中周波数成分Ｍおよび高周波数成分Ｈに対するゲインgainＭおよびgainＨが対応させられ、ゲイン・クリップ処理部４６に出力される。このとき、第１の最終評価値が大きい場合には、大きなゲインが対応するようにする。
また、非線形階調修正部４４は、階調変換テーブル７４を有し、９×９のＬＰＦ５２で分離された低周波数成分Ｌに対し、非線形の階調修正を施してゲイン・クリップ処理部４６へ出力する。

ゲイン・クリップ処理部４６は、上記結果に応じて、原画像データに対してゲイン処理および特に高周波数成分に対してクリップ処理を行うものであり、乗算回路７６、７８とリミッタ８０および加算器８２を有している。乗算器７６は、周波数分離部４０で分離された高周波数成分Ｈに対し、評価値算出部４２から出力されたゲインgainＨを乗じて処理済高周波数成分Ｈ’とするものである。乗算器７８は、周波数分離部４０で分離された中周波数成分Ｍに対し、評価値算出部４２から出力されたゲインgainＭを乗じて処理済中周波数成分Ｍ’とするものである。

リミッタ８０は、処理済高周波数成分Ｈ’に対し、クリップ処理を行い、画像が滲まないようにするものである。
加算器８２は、このように、各周波数成分に分離されて、中高周波数成分に対してのみエッジ抽出およびゲイン処理が施された画像データを非線形階調修正が施された低周波数成分と再び合成して出力画像データＸ_out とするものである。

以下、本発明の画像処理方法について説明する。
例えば、画像入力装置１０がフィルムスキャナの場合、オペレータがフィルムをセットし、所定の指示をキー入力部２８から入力すると、フィルムスキャナによりまずプレスキャンが開始される。プレスキャンによって読み取られたプレスキャンデータは前処理部１６によって所定の前処理が施された後、プレスキャンメモリ１８に入力される。その後、画像処理制御部２６は、プレスキャンメモリ１８からプレスキャンデータを読み出し、濃度ヒストグラムの作成やハイライト、シャドー等の画像特徴量の算出等を行い、ファインスキャンの読み取り条件を設定し、フィルムスキャナに供給するとともに、階調調整やグレイバランス調整等の各種の画像処理条件を決定し、プレスキャンデータ処理部２２およびファインスキャンデータ処理部２４に設定する。

プレスキャンデータ処理部２２は、プレスキャンメモリ１８からプレスキャンデータを読み出し、設定された画像処理条件に基づいて画像処理を施す。画像処理済の画像データは、画像データ変換部３０で表示用の画像データに変換されて、ディスプレイ３６に表示される。オペレータはこの表示画像を見て、検定を行い、必要に応じてキー入力部２８から指示を出し、画像処理条件を変更する。変更された画像処理条件は、画像処理制御部２６を介してファインスキャンデータ処理部２４に設定される。

フィルムスキャナは、設定されたファインスキャンの読み取り条件によってファインスキャンを行う。読み込まれたファインスキャンデータは、ファインスキャンメモリ２０に入力される。ファインスキャンデータ処理部２４は、ファインスキャンメモリ２０からファインスキャンデータを読み出して、本発明の特徴である鮮鋭度強調処理を含む所定の画像処理を施す。処理済の画像データは、画像データ変換部３２で出力用画像データに変換されてプリンタ３４へ出力される。
プリンタ（レーザプリンタ）３４は、Ｒ、Ｇ、Ｂのレーザ光源から射出されるＲ、Ｇ、Ｂのレーザ光を、画像処理装置１２から入力された画像データに基づいて変調するとともに、ポリゴンミラー等の偏向手段によって偏向させて印画紙上を走査させることで、印画紙に画像を露光記録する。画像が露光記録された印画紙は、ペーパプロセッサに送られて発色現像、漂白定着、乾燥の各処理が施され、画像が印画紙に露光記録され可視化されたプリントとして出力される。

以下、ファインスキャンデータ処理部２４の画像処理中のシャープネス処理部３８で行われる鮮鋭度強調処理について、図３のフローチャートに沿って詳しく説明する。
まず、図３のステップ１００において、シャープネス処理部３８の周波数分離部４０において、入力画像データ（ファインスキャンデータ）Ｘ_inを低周波数成分Ｌ、中周波数成分Ｍ、高周波数成分Ｈの各周波数成分に分離する。
特に、中高周波数成分ＭＨに対してのみエッジ抽出を行うために、９×９のＬＰＦ５２によって分離された低周波数成分Ｌを画像データＸ_inから減算器５６によって減算して得られる中高周波数成分ＭＨを、評価値算出部４２に入力する。

ステップ１１０において、エッジ方向算出部６０およびエッジ濃度差算出部６２において、上述したように、テンプレートを用いてエッジ方向を表す勾配ベクトルの方向と、エッジ強度を表す勾配ベクトルの大きさを求めることで、第１の評価値であるエッジ強度を算出する。このとき、まず勾配ベクトルをｌｏｇ圧縮してからテーブルを参照してエッジ方向を算出し、その方向に対応したテンプレートを適用してエッジ強度を算出するようにすることが好ましい。
ステップ１２０において、微細部コントラスト算出部６６において、第２の評価値であるエッジ強度を算出する。

ステップ１３０において、それぞれ濃度参照評価値修正部６４および６８において、低周波数成分Ｌの値に応じて、第１の評価値および第２の評価値を修正する。
ステップ１４０において、評価値比較部７０において、修正された第１の評価値と第２の評価値を比較し、大きい方を最終的な評価値とする。これをゲイン決定テーブル７２によってそれぞれ高周波数成分Ｈ用のゲインgainＨ、および中周波数成分Ｍ用のゲインgainＭに変換し、ゲインを決定する。

次に、ステップ１５０において、ゲイン・クリップ処理部４６においてゲイン処理を行い、高周波数成分Ｈに対してゲインgainＨを乗算し、中周波数成分Ｍに対してゲインgainＭを乗算する。特に、乗算後の高周波数成分Ｈ’に対しては、リミッタ８０によりクリップ処理を行う。
最後にステップ１６０において、ゲイン処理後の高周波数成分Ｈ’および中周波数成分Ｍ’そして非線形階調修正された低周波数成分Ｌ’を加算器８２で合成し、出力画像データＸ_out とする。

このように、本実施形態よれば、中高周波数成分ＭＨに対して、テンプレートを用いてエッジ度抽出を行うようにしたため、画像の陰影等の影響を避け、本来抽出したいエッジのみ抽出することが可能となる。
また、上述したように、第１の評価値であるエッジ強度を算出する際、勾配ベクトルをｌｏｇ圧縮してからテーブルを参照してエッジ方向を算出しておいて、その方向に対応したテンプレートを適用してエッジ強度を算出するようにした場合には、小さいエッジを正確に拾うと同時に方向テーブルサイズを削減することができる。また、勾配ベクトルは隣との差分で高速演算が可能となり、さらに方向の算出もテーブルを参照するのみでよいため、処理の高速化が可能となる。従って、全ての結果の最大値より高速に演算が可能であり、さらに、エッジ抽出の方向数を増やしても処理速度が落ちないという効果がある。

また、第１の評価値を算出する際のテンプレートよりも小さいテンプレートを用いて小さいテクスチャを検出するようにすることで、大きいマスクでのテクスチャの拾い落としを防止することができる。
また、第１の評価値を算出する際の画素領域よりも小さい領域で、色相関や重み付け平均コントラストや分散等の上記とは特性の違う評価値を用いることにより、お互いの欠点を補い合い、より高精度の検出が可能となる。

なお、上記実施形態では、図２に示すシャープネス処理部３８のように、中高周波数成分ＭＨに対して、第１の最終評価値から高周波数成分Ｈ用ゲインgainＨおよび中周波数成分Ｍ用ゲインgainＭの両ゲインを決定しているが、本発明はこれに限定されないが、例えば、図４に示すシャープネス処理部９０のように、中および高周波数成分ＭおよびＨに対してそれぞれ第２および第３の最終評価値を求め、第２の最終評価値から高周波数成分Ｈ用ゲインgainＨを、第３の最終評価値から中周波数成分Ｍ用ゲインgainＭをそれぞれ決定するようにしても良い。

次に、図４に示すシャープネス処理部９０について説明するが、このシャープネス処理部９０は、図２に示すシャープネス処理部３８と、ゲイン決定テーブル７２を持つ評価値算出部４２の代わりに、２つのゲイン決定テーブル７２ａおよび７２ｂを持つ評価値算出部９２を有している点を除いて、同様の構成を有するものであるので、同一の構成要素には同一の番号を付し、その詳細な説明は省略する。

図４に示すシャープネス処理部９０の評価値算出部９２においても、図２に示す評価値算出部４２でと全く同様にして、濃度参照評価値修正部６４および６８は、それぞれ、着目画素濃度、または、低周波数成分Ｌの値に応じて、第１の評価値および第２の評価値を修正する。
次に、評価値算出部９２では、こうして修正された第１の評価値を高周波成分Ｈに対して、第２の最終評価値とする。次いで、この第２の最終評価値をゲイン決定テーブル７２ａによって高周波数成分Ｈ用ゲインgainＨに変換し、高周波成分Ｈに対して乗算するゲインを決定する。

また、評価値算出部９２の評価値比較部７０は、濃度参照評価値修正部６４および６８で修正された第１の評価値および第２の評価値を比較し、大きい方を第３の最終評価値とする。次いで、この第３の最終評価値をゲイン決定テーブル７２ｂによって中周波数成分Ｍ用ゲインgainＭに変換し、中周波成分Ｍに対して乗算するゲインを決定する。
次に、シャープネス処理部９０でも、図２に示すシャープネス処理部３８でと同様に、ゲイン・クリップ処理部４６においてゲイン処理を行い、高周波数成分Ｈに対してゲインgainＨを乗算して高周波数成分Ｈ’を得、中周波数成分Ｍに対してゲインgainＭを乗算して中周波数成分Ｍ’を得るとともに、乗算後の高周波数成分Ｈ’に対して、リミッタ８０によりクリップ処理を行う。

なお、上記各実施形態では、周波数に分離した後に評価値に基づいてゲイン処理を施したが、例えば、モルフォロジフィルタやメディアンフィルタ等の結果との合成重みや切り替えに使用してもよい。また、高周波数成分生成時に、エッジ強度、エッジ方向に応じてフィルタの特性を変えて処理するようにしてもよい。
また、上記各実施形態における処理では、ＲＧＢ処理であったが、本発明はこれに限定されるものではなく、ＸＹＺ、ＬａｂあるいはＹＣＣ等の他の空間で処理するようにしてもよい。
また、上述したように、本実施形態では、中高周波数成分を分離し、低周波数成分にのみ非線形な階調修正を施しているが、これはフィルム特性の足や肩の補正等のために、階調を非線形に立てると、立てた階調部分のノイズが強調されてしまうからである。

また、その他の例として、中高周波数成分でエッジ強度を決定する代わりに、２次微分フィルタを用いて、陰影の影響を回避するようにしてもよい。
このためには、方向性を持ったテンプレートを回転させることによって、いろいろな方向の線を検出する手法として、例えばＶａｎｄｅｒＢｒｕｇの線検出オペレータ等（前記非特許文献、第５６５頁参照）を使用することができる。

以上、本発明の画像処理方法および装置ならびに画像処理プログラムについて詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。

本発明に係る画像処理方法を実施する画像処理装置を含む画像処理システムの一実施形態の概略構成を示すブロック図である。 本実施形態において、鮮鋭度強調処理を行うシャープネス処理部の一実施形態の概略を示すブロック図である。 本実施形態における鮮鋭度強調処理の流れを示すフローチャートである。 本実施形態において、鮮鋭度強調処理を行うシャープネス処理部の別の実施形態の概略を示すブロック図である。

符号の説明

１ 画像処理システム
１０ 画像入力装置
１２ 画像処理装置
１４ 画像出力装置
１６ 前処理部
１８ プレスキャンメモリ
２０ ファインスキャンメモリ
２２ プレスキャンデータ処理部
２４ ファインスキャンデータ処理部
２６ 画像処理制御部
２８ キー入力部
３０、３２ 画像データ変換部
３４ プリンタ
３６ ディスプレイ
３８，９０ シャープネス処理部
４０ 周波数分離部
４２，９２ 評価値算出部
４４ 非線形階調修正部
４６ ゲイン・クリップ処理部
５０ ３×３のＬＰＦ
５２ ９×９のＬＰＦ
５４、５６、５８ 減算器
６０ エッジ方向算出部
６２ エッジ濃度差算出部
６４、６８ 濃度参照評価値修正部
６６ 微細部コントラスト算出部
７０ 評価値比較部
７２，７２ａ，７２ｂ ゲイン決定テーブル
７４ 階調変換テーブル
７６、７８ 乗算器
８０ リミッタ
８２ 加算器

Claims (13)

1. 画像の画像データを、低周波数成分と、この低周波数成分以外の周波数成分に分離すると共に、前記低周波数成分以外の周波数成分を、互いに異なる複数の周波数成分に分離し、
   前記分離されていない低周波数成分以外の周波数成分に対し、方向別テンプレートを適用して、エッジ度を判定する第１の評価値を算出し、
   前記第１の評価値によりエッジ部を抽出し、
   前記エッジ抽出結果に基づいて、前記分離された複数の周波数成分の各々毎に画像強調処理を行い、
   前記低周波成分および前記画像強調処理を行った複数の周波数成分の各々を合成することを特徴とする画像処理方法。
2. さらに、前記分離されていない低周波数成分以外の周波数成分から、前記第１の評価値によって抽出されるエッジ部より細かなテクスチャを検出するための第２の評価値を算出し、
   前記第１の評価値および前記第２の評価値に基づいて、前記複数の周波数成分の各々毎に前記画像強調処理を行うための各ゲインを設定し、
   設定された各ゲインをそれぞれ前記複数の周波数成分の各々に対して乗算して、前記画像強調処理を行った複数の周波数成分の各々を求め、
   前記低周波成分および前記画像強調処理を行った複数の周波数成分の各々を合成する請求項１に記載の画像処理方法。
3. さらに、前記第１の評価値および前記第２の評価値を比較し、大きい方を第１の最終評価値とし、
   前記第１の最終評価値を用いて、前記複数の周波数成分の各々毎に前記画像強調処理を行うための各ゲインを設定する請求項２に記載の画像処理方法。
4. 前記第１の最終評価値の大きさに応じて、前記複数の周波数成分の各々に対して乗算する各ゲインを設定する請求項３に記載の画像処理方法。
5. 前記分離されていない低周波数成分以外の周波数成分は、高周波成分および中周波成分を含み、
   前記高周波成分に対しては前記第１の評価値を第２の最終評価値とし、前記中周波成分に対しては前記第１および前記第２の評価値を比較し、大きい方を第３の最終評価値とし、
   前記第２の最終評価値および前記第３の最終評価値を用いて、それぞれ前記高周波数成分および前記中周波成分に前記画像強調処理を行うための各ゲインを設定し、
   設定された各ゲインをそれぞれ前記高周波数成分および前記中周波成分に対して乗算して、前記画像強調処理を行った前記高周波数成分および前記中周波成分の各々を求め、
   前記低周波成分および前記画像強調処理を行った前記高周波数成分および前記中周波成分の各々を合成する請求項２に記載の画像処理方法。
6. 前記第２および前記第３最終評価値の各々の大きさに応じて、それぞれ、前記高低周波数成分および前記中周波数成分に対して乗算する各ゲインを設定する請求項５に記載の画像処理方法。
7. 画像の画像データを、低周波数成分と、この低周波数成分以外の周波数成分に分離すると共に、前記低周波数成分以外の周波数成分を、互いに異なる複数の周波数成分に分離する分離手段と、
   前記分離されていない低周波数成分以外の周波数成分に対し、方向別テンプレートを適用して、エッジ度を判定する第１の評価値を算出する第１の評価値算出手段と、
   前記第１の評価値によりエッジ部を抽出するエッジ部抽出手段と、
   前記エッジ抽出結果に基づいて、前記分離された複数の周波数成分の各々毎に画像強調処理を行う画像強調処理手段と、
   前記低周波成分および前記画像強調処理を行った複数の周波数成分の各々を合成する合成手段とを有することを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   さらに、前記分離されていない低周波数成分以外の周波数成分から、前記第１の評価値によって抽出されるエッジ部より細かなテクスチャを検出するための第２の評価値を算出する第２の評価値算出手段と、
   前記第１の評価値および前記第２の評価値に基づいて、前記複数の周波数成分の各々毎に前記画像強調処理を行うための各ゲインを設定するゲイン設定手段とを有し、
   前記画像強調処理手段は、設定された各ゲインをそれぞれ前記複数の周波数成分の各々に対して乗算して、前記画像強調処理を行った複数の周波数成分の各々を求め、
   前記合成手段は、前記低周波成分および前記画像強調処理を行った複数の周波数成分の各々を合成することを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   さらに、前記第１の評価値および前記第２の評価値を比較し、大きい方を第１の最終評価値とする評価値比較手段を有し、
   前記ゲイン設定手段は、前記第１の最終評価値を用いて、前記複数の周波数成分の各々毎に前記画像強調処理を行うための各ゲインを設定することを特徴とする画像処理装置。
10. 前記ゲイン設定手段は、前記第１の最終評価値の大きさに応じて、前記複数の周波数成分の各々に対して乗算する各ゲインを設定する請求項９に記載の画像処理装置。
11. 請求項８に記載の画像処理装置であって、
    前記分離されていない低周波数成分以外の周波数成分は、高周波成分および中周波成分を含み、
    さらに、前記高周波成分に対しては前記第１の評価値を第２の最終評価値とし、前記中周波成分に対しては前記第１および前記第２の評価値を比較し、大きい方を第３の最終評価値とする評価値比較手段を有し、
    前記ゲイン設定手段は、前記第２の最終評価値および前記第３の最終評価値を用いて、それぞれ前記高周波数成分および前記中周波成分に前記画像強調処理を行うための各ゲインを設定し、
    前記画像強調処理手段は、設定された各ゲインをそれぞれ前記高周波数成分および前記中周波成分に対して乗算して、前記画像強調処理を行った前記高周波数成分および前記中周波成分の各々を求め、
    前記合成手段は、前記低周波成分および前記画像強調処理を行った前記高周波数成分および前記中周波成分の各々を合成することを特徴とする画像処理装置。
12. 前記ゲイン設定手段は、前記第２および前記第３最終評価値の各々の大きさに応じて、それぞれ、前記高低周波数成分および前記中周波数成分に対して乗算する各ゲインを設定する請求項１１に記載の画像処理装置。
13. 請求項１〜６のいずれかに記載の画像処理方法を実行するための画像処理プログラム。

Images