WO2012004973A1 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

　複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、対象画像の各画素位置における、対象画像の所定の色成分の画素値と、平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を、各平滑画像毎に求めて、求めた色差の分散を算出する演算手段と、色差の分散に基づいて、対象画像の各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手段と、鮮鋭度が最も高い色成分に基づいて、対象画像の少なくとも１つの色成分の鮮鋭度を調整する調整手段と、を備える。

Description

画像処理装置、撮像装置および画像処理プログラム

　本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

　従来、撮像レンズ等の光学系によって結像され撮像された被写体の画像は、光学系による色収差、特に、軸上色収差の影響を受ける。

　それを解決するために、例えば、基準となる一の色成分の色面を平滑化して他の色成分の色面との色差が最小となるように、各色成分間のＭＴＦ特性の不整合を調整することにより、軸上色収差を補正する技術が開発されている（特許文献１等参照）。

特開２００７－２８０４１号公報

　しかしながら、従来技術では、基準となる色成分の色面の平滑化を、他の色成分の色面との色差が最小となるようにする際、平滑化の度合いが大きくなると色差が予測できない振る舞いをする場合がある。

　また、軸上色収差による影響以外の画像の色構造部分に上記補正を適用すると、彩度が小さくなって色抜けするという問題がある。あるいは、軸上色収差による影響以外の画像の色構造部分が変色する場合もある。

　上記従来技術が有する問題を鑑み、本発明の目的は、色抜け等が生じることなく、軸上色収差を確度高く補正できる技術を提供することにある。

　上記課題を解決するために、本発明を例示する画像処理装置の一の態様は、複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、対象画像の各画素位置における、対象画像の所定の色成分の画素値と、平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を、各平滑画像毎に求めて、求めた色差の分散を算出する演算手段と、色差の分散に基づいて、対象画像の各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手段と、鮮鋭度が最も高い色成分に基づいて、対象画像の少なくとも１つの色成分の鮮鋭度を調整する調整手段と、を備える。

　また、演算手段は、対象画像および各平滑画像で処理対象の画素位置を中心とする第１領域にある、所定の色成分の画素値と、所定の色成分とは異なる色成分の画素値とを用い、色差の分散を算出してもよい。

　また、対象画像の処理対象の画素位置を中心とする第２領域において、所定の色成分の色構造と、所定の色成分とは異なる色成分の色構造とが異なることによる色境界が存在するか否かを判定する判定手段を備え、演算手段は、判定手段により色境界が存在すると判定された場合、対象画像および各平滑画像の第２領域における、所定の色成分の画素値の分布幅と、所定の色成分とは異なる色成分の画素値の分布幅とを互いに一致させ、色差の分散を算出してもよい。

　また、決定手段は、色差の分散のうちで最小の分散値を与える平滑画像の色成分を、各画素での鮮鋭度が最も高い色成分と決定してもよい。

　また、決定手段は、最小の分散値を内挿法に基づいて決定してもよい。

　本発明を例示する画像処理装置の他の態様は、複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、対象画像の各画素位置において、対象画像の所定の色成分の画素値と平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を求め、平滑の度合いに応じた色差の分散を算出する演算手段と、色差の分散に基づいて、各画素位置が色境界か否かを判定する判定手段と、色境界の判定が偽と判定された画素位置の画素を対象画素として、色差の分散に基づいて各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手段と、鮮鋭度が最も高い色成分に基づいて、対象画素の少なくとも１つの色成分の鮮鋭度を調整する調整手段と、を備える。

　また、演算手段は、色差を差分の絶対値として求めてもよい。

　また、判定手段は、各色成分の画素値の分布に基づいて、色境界が飽和領域周辺の濃度差による色にじみか否かを判定し、決定手段は、色境界が色にじみと判定された場合、色境界と判定された画素位置の画素を対象画素としてもよい。

　また、鮮鋭度が調整された対象画素の画素値を、色差空間において、鮮鋭度の調整前の画素値の色差の向きと同じになるように補正する色差補正部を備えてもよい。

　また、色差補正部は、色差空間において、鮮鋭度が調整された対象画素の画素値の色差成分の大きさが所定の大きさ以上の場合、鮮鋭度が調整された対象画素の画素値の色差成分の大きさを小さくしてもよい。

　また、演算手段は、画素位置を中心とする領域にある、対象画像の所定の色成分の画素値と平滑画像の所定の色成分とは異なる色成分の画素値とを用い、色差の分散を算出してもよい。

　また、決定手段は、対象画素において、色差ごとに最小の分散値を与える平滑画像の色成分を鮮鋭度が高い色成分と決定し、決定された色成分の鮮鋭度を比較して鮮鋭度が最も高い色成分を決定してもよい。

　また、演算手段は、最小の分散値を内挿法に基づいて決定してもよい。

　本発明を例示する撮像装置の一の態様は、被写体を撮像して、複数の色成分の画素値を有する対象画像を生成する撮像手段と、本発明の画像処理装置と、を備える。

　本発明を例示する画像処理プログラムの一の態様は、複数の色成分の画素値を有する対象画像を読み込む入力手順、対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手順、対象画像の各画素位置における、対象画像の所定の色成分の画素値と、平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を、各平滑画像毎に求めて、求めた色差の分散を算出する演算手順、色差の分散に基づいて、対象画像の各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手順、鮮鋭度が最も高い色成分に基づいて、対象画像の少なくとも１つの色成分の鮮鋭度を調整する調整手順、をコンピュータに実行させる。

　本発明を例示する画像処理プログラムの他の態様は、複数の色成分の画素値を有する対象画像を読み込む入力手順、対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手順、対象画像の各画素位置において、対象画像の所定の色成分の画素値と平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を求め、平滑の度合いに応じた色差の分散を算出する演算手順、色差の分散に基づいて、各画素位置が色境界か否かを判定する判定手順、色境界の判定が偽と判定された画素位置の画素を対象画素として、色差の分散に基づいて各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手順、鮮鋭度が最も高い色成分に基づいて、対象画素の少なくとも１つの色成分の鮮鋭度を調整する調整手順、をコンピュータに実行させる。

　本発明によれば、色抜け等が生じることなく、軸上色収差を確度高く補正できる。

第１の実施形態に係る画像処理装置として動作させるコンピュータ１０の構成を示すブロック図 第１の実施形態に係るコンピュータ１０による画像処理の動作を示すフローチャート 注目画素と参照領域との関係を示す図 注目画素における標準偏差ＤＥＶｒ［ｋ’］の分布を示す図 第２の実施形態に係るコンピュータ１０による画像処理の動作を示すフローチャート 第２の実施形態のコンピュータ１０におけるＣＰＵ１の構成を示すブロック図 色構造と色境界との違いを説明する図 レベル補正について説明する図 第３の実施形態のコンピュータ１０におけるＣＰＵ１の構成を示すブロック図 パープルフリンジについて説明する図 第３の実施形態に係るコンピュータ１０による画像処理の動作を示すフローチャート 第４の実施形態に係るコンピュータ１０による画像処理の動作を示すフローチャート 本発明に係るデジタルカメラの構成の一例を示す図 本発明に係るデジタルカメラの構成の別例を示す図 補正後の色差成分の大きさに応じた補正出力率を示す図

《第１の実施形態》
　図１は、本発明の第１の実施形態に係る画像処理装置として動作させるコンピュータ１０の構成を示すブロック図である。コンピュータ１０によって処理される対象画像は、各画素において、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色成分それぞれの画素値を有することを前提とする。すなわち、本実施形態の対象画像は、３板式カラーのデジタルカメラで撮像された、または、単板式カラーのデジタルカメラで撮像され色補間処理された画像であるとする。また、対象画像は、デジタルカメラ等による撮像の際、撮像レンズによる軸上色収差の影響を有し、色成分間の鮮鋭度が異なるものとする。

　図１（ａ）に示すコンピュータ１０は、ＣＰＵ１、記憶部２、入出力インタフェース（入出力Ｉ／Ｆ）３およびバス４から構成される。ＣＰＵ１、記憶部２および入出力Ｉ／Ｆ３は、バス４を介して情報伝達可能に接続される。また、コンピュータ１０には、入出力Ｉ／Ｆ３を介して、画像処理の途中経過や処理結果を表示する出力装置３０、ユーザからの入力を受け付ける入力装置４０がそれぞれ接続される。出力装置３０には、一般的な液晶モニタやプリンタ等を用いることができ、入力装置４０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。

　ＣＰＵ１は、コンピュータ１０の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１は、入力装置４０で受け付けたユーザからの指示に基づいて、記憶部２に記憶されている画像処理プログラムを読み込む。ＣＰＵ１は、その画像処理プログラムの実行により、画像平滑部２０、演算部２１、決定部２２、調整部２３として動作し（図１（ｂ））、記憶部２に記憶されている対象画像の軸上色収差の補正処理を行う。ＣＰＵ１は、その画像の画像処理の結果を、出力装置３０に表示する。

　画像平滑部２０は、平滑化の度合い（ぼかし指標）が相異なる、例えば、Ｎ個の公知のガウシアンフィルタを用い、各ガウシアンフィルタのぼかし指標に応じて対象画像を平滑化したＮ個の平滑画像を生成する（Ｎは２以上の自然数）。なお、本実施形態におけるぼかし指標とは、例えば、ぼかし半径の大きさを指す。

　演算部２１は、後述するように、対象画像およびＮ個の平滑画像を用い、各色成分間の差分である色差面（色差）およびその標準偏差（分散）の値を算出する。そして、演算部２１は、その標準偏差の分布に公知の内挿法を適用することにより、最小の標準偏差を与えるぼかし指標を求める。

　決定部２２は、その最小の標準偏差を与えるぼかし指標に基づいて、最も高い鮮鋭度の色成分を決定する。

　調整部２３は、決定部２２によって決定された最も高い鮮鋭度の色成分に基づいて、色成分間の鮮鋭度を調整する。

　記憶部２は、撮像した被写体の撮像画像である対象画像とともに、対象画像における軸上色収差を補正するための画像処理プログラム等を記録する。記憶部２に記憶される撮像画像やプログラム等は、バス４を介して、ＣＰＵ１から適宜参照することができる。記憶部２には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。なお、記憶部２は、コンピュータ１０に組み込まれているが、外付けの記憶装置でもよい。この場合、記憶部２は、入出力Ｉ／Ｆ３を介してコンピュータ１０に接続される。

　次に、本実施形態のコンピュータ１０による画像処理の動作について、図２に示すフローチャートを参照しつつ説明する。

　ユーザは、入力装置４０を用いて、画像処理プログラムのコマンドを入力、または、出力装置３０に表示されたそのプログラムのアイコンをダブルクリック等し、画像処理プログラムの起動指示をＣＰＵ１に出力する。ＣＰＵ１は、その指示を入出力Ｉ／Ｆ３を介して受け付け、記憶部２に記憶されている画像処理プログラムを読み込み実行する。ＣＰＵ１は、図２のステップＳ１０からステップＳ１７の処理を開始する。

　ステップＳ１０：ＣＰＵ１は、入力装置４０を介して、ユーザによって指定された補正対象の対象画像を読み込む。

　ステップＳ１１：ＣＰＵ１の画像平滑部２０は、各ガウシアンフィルタのぼかし指標に応じ、読み込んだ対象画像を平滑化し、Ｎ個の平滑画像を生成する。なお、本実施形態では、対象画像自身も平滑画像の１つとし、本実施形態における平滑画像の総数は、（Ｎ＋１）個となる。

　ステップＳ１２：ＣＰＵ１の演算部２１は、Ｒ成分とＧ成分との色差面Ｃｒ、Ｂ成分とＧ成分との色差面Ｃｂ、およびＲ成分とＢ成分との色差面Ｃｒｂを対象画像と各平滑画像とを用いて算出する。

　例えば、演算部２１は、対象画像の所定の色成分であるＧ成分の画素値Ｇ０（ｉ，ｊ）と、平滑画像の上記所定の色成分とは異なる色成分であるＲ成分の画素値Ｒｋ（ｉ，ｊ）との差分を求め、次式（１）に示す色差面Ｃｒ［－ｋ］（ｉ，ｊ）を算出する。
Ｃｒ［－ｋ］（ｉ，ｊ）＝Ｒｋ（ｉ，ｊ）－Ｇ０（ｉ，ｊ）　　…（１）
ここで、（ｉ，ｊ）は、処理対象の画素である注目画素の画素位置の座標を示す。ｋは、平滑画像のぼかし指標であり、０≦ｋ≦Ｎの整数である。なお、式（１）において、ぼかし指標ｋがマイナスであるのは、マイナス側にＲ面を順次ぼかした色差面Ｃｒであることを表す。また、ぼかし指標ｋ＝０は、対象画像自身、すなわち平滑化されていない画像を表す。

　同様に、演算部２１は、対象画像の所定の色成分であるＲ成分の画素値Ｒ０（ｉ，ｊ）と、平滑画像の上記所定の色成分とは異なる色成分であるＧ成分の画素値Ｇｋ（ｉ，ｊ）との差分を求め、次式（２）の色差面Ｃｒ［ｋ］（ｉ，ｊ）を算出する。
Ｃｒ［ｋ］（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）－Ｇｋ（ｉ，ｊ）　　　…（２）
　なお、式（２）において、ぼかし指標ｋがプラスであるのは、プラス側にＧ面を順次ぼかした色差面Ｃｒであることを表す。

　同様に、演算部２１は、式（３）－式（６）に基づいて、Ｂ成分とＧ成分との色差面Ｃｂ、Ｒ成分とＢ成分との色差面Ｃｒｂそれぞれを算出する。
Ｃｂ［－ｋ］（ｉ，ｊ）＝Ｂｋ（ｉ，ｊ）－Ｇ０（ｉ，ｊ）　　…（３）
Ｃｂ［ｋ］（ｉ，ｊ）＝Ｂ０（ｉ，ｊ）－Ｇｋ（ｉ，ｊ）　　　…（４）
Ｃｒｂ［－ｋ］（ｉ，ｊ）＝Ｒｋ（ｉ，ｊ）－Ｂ０（ｉ，ｊ）　…（５）
Ｃｒｂ［ｋ］（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）－Ｂｋ（ｉ，ｊ）　　…（６）
　ステップＳ１３：演算部２１は、ステップＳ１２で算出した色差面Ｃｒ、Ｃｂ、Ｃｒｂを用い、注目画素における各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを算出する。本実施形態の演算部２１は、図３に示すように、斜線で示す注目画素を中心とする１５ピクセル×１５ピクセルの大きさの参照領域ＡＲ１（第１領域）にある画素の各色差面Ｃｒ、Ｃｂ、Ｃｒｂの値を用い標準偏差を算出する。なお、本実施形態では、参照領域の大きさを１５ピクセル×１５ピクセルとするが、ＣＰＵ１の処理能力や軸上色収差の補正の精度に応じて適宜決めることが好ましい。本実施形態の場合には、例えば、一辺を１０－３０ピクセルの範囲の大きさとするのがよい。

　演算部２１は、次式（７）－（９）を用い各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを算出する。

ここで、ｋ’は、－Ｎ～Ｎの整数のぼかし指標である。ｒは、参照領域の一辺のピクセル数を示し、本実施形態では、ｒ＝１５ピクセルである。また、（ｌ、ｍ）および（ｘ、ｙ）は、参照領域ＡＲ１内の画素位置をそれぞれ表す。

　ステップＳ１４：ＣＰＵ１の決定部２２は、ステップＳ１３で算出された各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂに基づいて、注目画素（ｉ，ｊ）において最も鮮鋭度の高い色成分を決定する。

　例えば、演算部２１は、注目画素（ｉ，ｊ）において、最小の標準偏差ＤＥＶｒを与えるぼかし指標ｋ’を求める。図４は、注目画素（ｉ，ｊ）における標準偏差ＤＥＶｒ［ｋ’］の分布を示す。図４に示す分布に基づいて、演算部２１は、標準偏差ＤＥＶｒ［ｋ］が最小となるぼかし指標ｋ’＝α_ｒを求める。決定部２２は、最小の標準偏差を与えるぼかし指標α_ｒが正の場合、注目画素（ｉ，ｊ）において鮮鋭度がより高いのはＧ成分であると決定する。一方、決定部２２は、最小の標準偏差を与えるぼかし指標α_ｒが負の場合、注目画素（ｉ，ｊ）において鮮鋭度がより高いのはＲ成分であると決定する。

　演算部２１は、Ｂ成分とＧ成分、Ｒ成分とＢ成分との場合についても同様に処理を行い、最小の標準偏差ＤＥＶｂ、ＤＥＶｒｂを与えるぼかし指標ｋ’＝α_ｂやｋ’＝α_ｒｂを求める。決定部２２は、ぼかし指標α_ｂおよびα_ｒｂの符号に基づいて、鮮鋭度がより高い方の色成分を決定する。

　ステップＳ１５：ＣＰＵ１は、ステップＳ１４の結果に基づいて、注目画素（ｉ，ｊ）において、最も鮮鋭度の高い色成分が決定できたか否かを判定する。すなわち、３つの色差面における結果のうち、２つで同一の色成分が決定された場合、決定部２２は、その色成分を、注目画素（ｉ，ｊ）における最も鮮鋭度の高い色成分として決定する。ＣＰＵ１は、ステップＳ１６（ＹＥＳ側）へ移行する。

　一方、例えば、各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂそれぞれに基づいて、決定部２２がＲ成分、Ｇ成分、Ｂ成分を決定した場合、決定部２２は、注目画素（ｉ，ｊ）において、最も鮮鋭度の高い色成分を１つに決定することができない。このような場合、ＣＰＵ１は、不定と判定し対象画像に対する軸上色収差の補正処理を行わず、ステップＳ１７（ＮＯ側）へ移行する。

　ステップＳ１６：ＣＰＵ１の調整部２３は、ステップＳ１５において、注目画素毎に決定された色成分に基づいて、注目画素毎に色成分間の鮮鋭度を調整し軸上色収差を補正する。

　そのために、演算部２１は、例えば、図４に示すようなＲ成分とＧ成分との色差面Ｃｒの標準偏差ＤＥＶｒ［ｋ’］（ｉ，ｊ）の分布に基づいて、注目画素（ｉ，ｊ）におけるより正確なぼかし指標ｓを求める。すなわち、演算部２１がステップＳ１４で求めた標準偏差ＤＥＶｒを最小にするぼかし指標α_ｒは、図４の点線が示すように、必ずしも真に最小の標準偏差ＤＥＶｒを与えるぼかし指標ではない。そこで、演算部２１は、算出された標準偏差ＤＥＶｒが最小になるぼかし指標α_ｒと、隣接する両端のぼかし指標α_ｒ－１およびα_ｒ＋１との３点に対し内挿法を適用し、より正確なぼかし指標（内挿点）ｓを求める。

　ここで、標準偏差ＤＥＶｒ［ｋ’］（ｉ，ｊ）の分布において、ＤＥＶｒ［α_ｒ－１］（ｉ，ｊ）＞ＤＥＶｒ［α_ｒ＋１］（ｉ，ｊ）の場合、ぼかし指標ｓは、次式（１０）のように表される。
ぼかし指標ｓ＝（（α_ｒ＋１）＋α_ｒ）／２＋（ＤＥＶｒ［α_ｒ＋１］（ｉ，ｊ）－ＤＥＶｒ［α_ｒ］（ｉ，ｊ））／２／ａ　　…（１０）
ここで、係数ａは傾きであり、（ＤＥＶｒ［α_ｒ－１］（ｉ，ｊ）－ＤＥＶｒ［α_ｒ］（ｉ，ｊ））／（（α_ｒ－１）－α_ｒ）となる。

　一方、ＤＥＶｒ［α_ｒ－１］（ｉ，ｊ）＜ＤＥＶｒ［α_ｒ＋１］（ｉ，ｊ）の場合、ぼかし指標ｓは、次式（１１）のように表される。
ぼかし指標ｓ＝（（α_ｒ－１）＋α_ｒ）／２＋（ＤＥＶｒ［α_ｒ－１］（ｉ，ｊ）－ＤＥＶｒ［α_ｒ］（ｉ，ｊ））／２／ａ　　…（１１）
なお、傾きａは（ＤＥＶｒ［α_ｒ＋１］（ｉ，ｊ）－ＤＥＶｒ［α_ｒ］（ｉ，ｊ））／（（α_ｒ＋１）－α_ｒ）となる。

　そして、演算部２１は、内挿点ｓとともに、ぼかし指標α_ｒ、α_ｒ＋１のＧα_ｒ（ｉ，ｊ）、Ｇ（α_ｒ＋１）（ｊ，ｊ）を用いた公知の重み付け加算により、補正値Ｇ’（ｉ，ｊ）を算出する。

　以下は注目画素（ｉ，ｊ）で最も鮮鋭度が高いのがＧ面とした場合の例である。

　調整部２３は、次式（１２）に基づいて、注目画素（ｉ，ｊ）におけるＲ成分の鮮鋭度を調整し軸上色収差を補正する。
Ｒ’（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）＋（Ｇ０（ｉ，ｊ）－Ｇ’（ｉ，ｊ））　…（１２）
　調整部２３は、同様にＢ成分についても、Ｂ成分とＧ成分との色差面Ｃｂの標準偏差ＤＥＶｂの分布に基づいて、補正値Ｇ”（ｉ，ｊ）を算出し、次式（１３）に基づいて、注目画素（ｉ，ｊ）におけるＢ成分の鮮鋭度を調整し軸上色収差を補正する。
Ｂ’（ｉ，ｊ）＝Ｂ０（ｉ，ｊ）＋（Ｇ０（ｉ，ｊ）－Ｇ”（ｉ，ｊ））　…（１３）
　ステップＳ１７：ＣＰＵ１は、対象画像の全ての画素について処理が終了したか否かを判定する。ＣＰＵ１は、全ての画素について処理が終了していないと判定した場合、ステップＳ１２（ＮＯ側）へ移行し、次の画素を注目画素として、ステップＳ１２からステップＳ１６の処理を行う。一方、ＣＰＵ１は、全ての画素について処理が終了したと判定した場合、色成分Ｒ’、Ｇ、Ｂ’からなる画像を軸上色収差が補正された新たな画像として、記憶部２に記録したり出力装置３０に表示したりする。そして、ＣＰＵ１は、一連の処理を終了する。

　このように、本実施形態では、各色差面の標準偏差の分布に基づいて、最も鮮鋭度の高い色成分を決定し、色成分間の鮮鋭度を調整することから、対象画像における色抜けを回避しつつ軸上色収差を確度高く補正できる。
《第２の実施形態》
　本発明の第２の実施形態に係る画像処理装置は、図１に示す第１の実施形態に係る画像処理装置と同様に、コンピュータ１０を画像処理装置として動作させる。本実施形態の各構成要素で第１の実施形態と同一のものには、同一の符号を付し詳細な説明は省略する。

　図５は、本実施形態のコンピュータ１０による画像処理の動作のフローチャートを示す。図５において、図２に示す第１の実施形態における画像処理と同一のものには、同一のステップ番号を付し詳細な説明は省略する。

　本実施形態において、コンピュータ１０による画像処理が第１の実施形態と異なる点は、図６に示すように、ＣＰＵ１が、画像処理プログラムの実行により、画像平滑部２０、演算部２１、決定部２２、調整部２３とともに、判定部２４として動作する点にある。その結果、判定部２４による対象画像に色境界が存在するか否かを判定するステップＳ２０と、演算部２１による色境界による画像処理に対する影響を回避するためのレベル補正を行うステップＳ２１とが、ステップＳ１１とステップＳ１２との間に新たに追加される。

　ここで、色境界について簡単に説明する。図７（ａ）は、例えば、白地に一本の黒線の被写体を撮像した対象画像の場合で、黒線に直交する走査方向でのＲ成分（点線）、Ｇ成分（実線）、Ｂ成分（破線）の画素値の分布を示す。一方、図７（ｂ）は、赤と白との２色からなる色境界を有する被写体を撮像した対象画像の場合で、色境界に直交する走査方向でのＲ成分（点線）、Ｇ成分（実線）、Ｂ成分（破線）の画素値の分布を示す。なお、図７の対象画像を撮像したカメラの撮像レンズは、軸上色収差を有しＧ成分で合焦するとする。

　図７（ａ）に示すように、Ｇ成分は色構造をよく再現するのに対し、軸上色収差によりＲ成分やＢ成分は色構造がぼけてしまう。これにより、黒線の部分は緑またはマゼンダに滲んでしまう。しかしながら、色成分間の色構造が互いに一致する場合、演算部２１は、第１の実施形態と同様の画像処理を施すことにより、Ｒ成分およびＢ成分に対する軸上色収差を補正することができる。すなわち、本実施形態の軸上色収差の補正処理は、色成分間の色構造が互いに一致することを前提としている。

　一方、図７（ｂ）に示すように、各色成分の色構造が色境界で大きく異なる場合、上述した前提が成り立たない。すなわち、第１の実施形態の場合と同様に、調整部２３が、ぼかし指標ｓで色境界を有する対象画像のＧ成分を平滑化しても、Ｒ成分の分布（または鮮鋭度）に近づけることができず、Ｒ成分の軸上色収差を補正することができない。

　そこで、本実施形態のコンピュータ１０は、ステップＳ２０およびステップＳ２１において、色境界による影響を回避するための処理を施す。

　ステップＳ２０において、判定部２４は、注目画素を中心とする所定の大きさの領域ＡＲ２（第２領域）において、対象画像に色境界が存在するか否かを判定する。例えば、判定部２４は、対象画像の領域ＡＲ２において、各色成分の最大と最小となる画素値を抽出する。演算部２１は、各色成分の最大と最小との画素値から各色成分の画素値の分布幅を求める。判定部２４は、各色成分の分布幅を比較し、最大の分布幅と最小の分布幅との差が閾値δ以上となる色成分間があるか否かを判定する。判定部２４が閾値δ以上となる色成分間があると判定した場合、色境界が存在することを意味し、ＣＰＵ１は、ステップＳ２１（ＹＥＳ側）へ移行する。一方、判定部２４が閾値δ以上となる色成分間がないと判定した場合、色境界が存在しないことを意味し、ＣＰＵ１は、ステップＳ１３（ＮＯ側）へ移行して、第１の実施形態の場合と同様の処理を行う。

　ステップＳ２１において、演算部２１は、ステップＳ２０で色境界が存在すると判定された対象画像および各平滑画像の領域ＡＲ２の各色成分に対しレベル補正を行う。すなわち、演算部２１は、図７（ｂ）に示す色成分それぞれの画素値の分布幅を、いずれかの色成分の分布幅に一致させるレベル補正を行う（図８（ａ）、（ｂ））。或いは、演算部２１は、色成分それぞれの画素値を所定の分布幅（例えば、０－２５５）に伸張しレベル補正してもよい（図８（ｃ））。これにより、色境界による影響を回避することができる。

　なお、レベル補正された対象画像および各平滑画像の画素値は、ステップＳ１６において、演算部２１が注目画素におけるぼかし指標ｓを算出するまで用いられる。

　また、領域ＡＲ２の大きさは、参照領域ＡＲ１と同じ大きさでもよいし、異なる大きさでもよい。すなわち、領域ＡＲ２の大きさは、ＣＰＵ１の処理能力や要求される補正精度に応じて決定されることが好ましい。

　このように、本実施形態では、各色差面の標準偏差の分布に基づいて、最も鮮鋭度の高い色成分を決定し、色成分間の鮮鋭度を調整することから、対象画像における色抜けを回避しつつ軸上色収差を確度高く補正できる。

　また、色境界が存在する場合であっても、レベル補正を行い色成分それぞれの色構造を一致させることにより、色境界の影響を回避することができる。
《第３の実施形態》
　本発明の第３の実施形態に係る画像処理装置は、図１に示す第１の実施形態に係る画像処理装置と同様に、コンピュータ１０を画像処理装置として動作させる。本実施形態の各構成要素で第１の実施形態と同一のものには、同一の符号を付し詳細な説明は省略する。

　本実施形態において、コンピュータ１０による画像処理が第１の実施形態と異なる点は、図９に示すように、ＣＰＵ１が、画像処理プログラムの実行により、画像平滑部５０、演算部５１、判定部５２、決定部５３、調整部５４、色差補正部５５として動作する点にある。

　画像平滑部５０は、第１の実施形態の画像平滑部２０と同様の動作処理を行い、詳細な説明は省略する。

　演算部５１は、対象画像およびＮ個の平滑画像を用い、各画素の画素位置において、対象画像の色成分と平滑画像の対象画像の色成分とは異なる色成分との差分の絶対値から、ぼかし指標に応じた色差面（色差）およびその標準偏差（分散）の値を算出する。そして、演算部５１は、各画素の画素位置における、ぼかし指標に対する標準偏差の分布に公知の内挿法を適用して、その画素位置で最小の標準偏差を与えるぼかし指標を求める。なお、本実施形態の演算部５１は、色差面を求めるにあたり、式（１）－（６）に代えて、次式（１４）－（１９）を用いる。
Ｃｒ［－ｋ］（ｉ，ｊ）＝｜Ｒｋ（ｉ，ｊ）－Ｇ０（ｉ，ｊ）｜　　…（１４）
Ｃｒ［ｋ］（ｉ，ｊ）＝｜Ｒ０（ｉ，ｊ）－Ｇｋ（ｉ，ｊ）｜　　　…（１５）
Ｃｂ［－ｋ］（ｉ，ｊ）＝｜Ｂｋ（ｉ，ｊ）－Ｇ０（ｉ，ｊ）｜　　…（１６）
Ｃｂ［ｋ］（ｉ，ｊ）＝｜Ｂ０（ｉ，ｊ）－Ｇｋ（ｉ，ｊ）｜　　　…（１７）
Ｃｒｂ［－ｋ］（ｉ，ｊ）＝｜Ｒｋ（ｉ，ｊ）－Ｂ０（ｉ，ｊ）｜　…（１８）
Ｃｒｂ［ｋ］（ｉ，ｊ）＝｜Ｒ０（ｉ，ｊ）－Ｂｋ（ｉ，ｊ）｜　　…（１９）
　判定部５２は、それぞれのぼかし指標における色差面間の標準偏差の値に基づいて、画素位置の色構造が色境界か否かを判定する。つまり、上述したように、図７（ｂ）に示すような色境界では、各色成分の色構造が大きく異なることから、各色成分間の色差の標準偏差の値も互いに大きく異なる。そこで、本実施形態の判定部５２は、算出したそれぞれのぼかし指標における各色成分間の色差の標準偏差の値が、閾値ε以上のギャップがあるか否かを判定することにより、各画素位置の色構造が色境界か否かを判定する。判定部５２が、その画素位置の色構造が色境界であると判定した場合、本実施形態では、その画素位置の画素に対する軸上色収差の補正を行わないようにする。これにより、色境界に対する軸上色収差の補正処理を施すことにより生じる変色を抑制することができる。

　さらに、判定部５２は、色境界と判定された画素位置の色構造が、飽和領域周辺の濃度差による色にじみ、例えば、パープルフリンジであるか否かを、その画素位置およびその周辺における各色成分の画素値の分布に基づいて判定する。ここで、パープルフリンジとは、街灯等の光源の周囲や水面の照り返し等、光量が大きいために各色成分の画素値が飽和した高輝度領域（飽和領域）の周りに生じる紫色の色にじみのことである。図１０は、パープルフリンジの一例として、明るい光源を撮像した対象画像で、光源の中心を通る走査方向でのＲ成分（点線）、Ｇ成分（実線）、Ｂ成分（破線）の画素値の分布を示す。図１０に示すように、色成分ごとに飽和領域が異なり、光源から離れるに従ってＧ成分が最初に減少し、Ｒ成分が最も広い範囲まで分布する。このような分布により、紫色の色にじみとなって現れる。このような各色成分の分布は、図７（ａ）に示す軸上色収差の場合とも異なることから、判定部５２は、パープルフリンジを色境界と判定してしまう。しかしながら、上述したように、図７（ａ）に示す黒線の部分が軸上色収差により緑またはマゼンダに滲むという点は、パープルフリンジと似ている。そこで、本実施形態では、パープルフリンジの画素位置に対して、軸上色収差と同様の補正処理を施す。

　そのために、判定部５２は、図１０に示すように、画素位置を中心とする周辺領域、または対象画像全体における各色成分の画素値の分布を求め、その分布から各色成分の画素値の飽和領域を求める。判定部５２は、最も広く分布する色成分の飽和領域（図１０の場合は、Ｒ成分）およびその飽和領域の端から幅β広げた領域をパープルフリンジ領域として抽出する。判定部５２は、画素位置が抽出したパープルフリンジ領域に含まれるか否かを判定し、画素位置の色構造がパープルフリンジであるか否か判定する。そして、パープルフリンジと判定された画素位置の画素は、対象画素として軸上色収差の補正処理が施される。

　決定部５３は、判定部５２により色境界でないと判定された画素位置およびパープルフリンジと判定された画素位置の画素（対象画素）における、最小の標準偏差を与えるぼかし指標に基づいて、最も高い鮮鋭度の色成分を決定する。

　調整部５４は、第１の実施形態の調整部２３と同様の処理動作を行い、決定部５３によって決定された最も高い鮮鋭度の色成分に基づいて、対象画素の画素位置での色成分間の鮮鋭度を調整する。

　色差補正部５５は、鮮鋭度が調整された画素の各色成分の画素値を、色差空間において、調整前の色差の向きと同じになるように補正し、軸上色収差の補正処理によって生じる変色を抑制する。

　次に、本実施形態のコンピュータ１０による軸上色収差を補正する画像処理の動作について、図１１に示すフローチャートを参照しつつ説明する。

　ユーザは、入力装置４０を用いて、画像処理プログラムのコマンドを入力、または、出力装置３０に表示されたそのプログラムのアイコンをダブルクリック等することにより、画像処理プログラムの起動をＣＰＵ１に指示する。ＣＰＵ１は、その指示を入出力Ｉ／Ｆ３を介して受け付け、記憶部２に記憶されている画像処理プログラムを読み込み実行する。ＣＰＵ１は、図１１のステップＳ３０からステップＳ４０の処理を開始する。

　ステップＳ３０：ＣＰＵ１は、入力装置４０を介して、ユーザによって指定された補正対象の対象画像を読み込む。

　ステップＳ３１：ＣＰＵ１の画像平滑部５０は、第１の実施形態のステップＳ１１と同様に、各ガウシアンフィルタのぼかし指標に応じ、読み込んだ対象画像を平滑化し、Ｎ個の平滑画像を生成する。

　ステップＳ３２：ＣＰＵ１の演算部５１は、Ｒ成分とＧ成分との色差面Ｃｒ、Ｂ成分とＧ成分との色差面Ｃｂ、およびＲ成分とＢ成分との色差面Ｃｒｂを、対象画像および各平滑画像と式（１４）－（１９）とを用いて算出する。

　ステップＳ３３：演算部５１は、第１の実施形態のステップＳ１３と同様に、ステップＳ３２で算出した色差面Ｃｒ、Ｃｂ、Ｃｒｂと式（７）－（９）とを用い、注目画素（ｉ，ｊ）における各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを、ぼかし指標ごとに算出する。

　ステップＳ３４：演算部５１は、ステップＳ３３で算出された各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを用い、注目画素（ｉ，ｊ）において、最小の標準偏差の値を与えるぼかし指標ｋ’を色差面ごとに求める。例えば、図４に示すぼかし指標に応じた色差面Ｃｒの標準偏差ＤＥＶｒ［ｋ’］の分布に基づいて、演算部５１は、注目画素（ｉ，ｊ）において、その標準偏差が最小となるぼかし指標ｋ’＝α_ｒを求める。

　演算部５１は、色差面Ｃｂおよび色差面Ｃｒｂの場合についても同様の処理を行い、最小の標準偏差ＤＥＶｂ、ＤＥＶｒｂを与えるぼかし指標ｋ’＝α_ｂおよびｋ’＝α_ｒｂを求める。

　ステップＳ３５：ＣＰＵ１の判定部５２は、注目画素（ｉ，ｊ）において、それぞれのぼかし指標ｋ’における各色差面の標準偏差ＤＥＶｒ［ｋ’］、ＤＥＶｂ［ｋ’］、ＤＥＶｒｂ［ｋ’］の値に基づいて、注目画素（ｉ，ｊ）の色構造が色境界の色相を有するか否かを判定する。判定部５２は、それらの標準偏差の値のいずれか１つが閾値ε以上となるか否かを判定する。なお、本実施形態の閾値εは、例えば、対象画像が２５５階調の画像の場合、５０に設定されるものとする。ただし、閾値εの値は、対象画像の階調、注目画素の画素位置や参照領域ＡＲ１等に応じて決定されるのが好ましく、例えば、４０～６０の範囲の値に設定されるのが好ましい。

　判定部５２は、閾値ε以上となる標準偏差の値があった場合、注目画素（ｉ，ｊ）の色構造は色境界であると判定し、その注目画素の画素位置を不図示のワーキングメモリに記録し、ステップＳ３６（ＹＥＳ側）へ移行する。一方、判定部５２は、閾値ε以上となる標準偏差の値が無かった場合、注目画素（ｉ，ｊ）の色構造は色境界でないと判定し、注目画素を軸上色収差の補正処理の対象画素としてステップＳ３７（ＮＯ側）へ移行する。

　ステップＳ３６：判定部５２は、ステップＳ３５において色境界と判定された注目画素（ｉ，ｊ）の色構造がパープルフリンジであるか否かを判定する。判定部５２は、図７および図１０に示すように、注目画素（ｉ，ｊ）およびその周辺画素、または対象画像全体の各色成分の画素値を用い、それらの分布を求める。判定部５２は、色成分ごとに画素値の分布から画素値が飽和した飽和領域（２５５階調の画像の場合、画素値が２５５）をそれぞれ求める。判定部５２は、各色成分の飽和領域の大きさのうち、最も領域が広い、例えば、Ｒ成分の飽和領域とその飽和領域の端から幅β広げた領域とを合わせた領域をパープルフリンジ領域とし、注目画素がそのパープルフリンジ領域内か否かを判定する。なお、本実施形態における幅βの値は、例えば、１０ピクセル程度である。ただし、幅βの大きさは、ＣＰＵ１の処理能力、軸上色収差の補正処理の精度や各色成分における飽和状態からの減少度合いに応じて決定されるのが好ましい。

　判定部５２は、パープルフリンジ領域内の場合、注目画素の色構造はパープルフリンジと判定し、その注目画素の画素位置をワーキングメモリ（不図示）に記録する。判定部５２は、その注目画素を軸上色収差の補正処理の対象画素として、ステップＳ３７（ＹＥＳ側）へ移行する。一方、パープルフリンジ領域外の場合、注目画素の色構造は色境界と判定し、注目画素に対する軸上色収差の補正処理を行わず、ステップＳ４０（ＮＯ側）へ移行する。

　ステップＳ３７：決定部５３は、ステップＳ３４において求めた各色差面のぼかし係数α_ｒ、α_ｂ、α_ｒｂに基づいて、注目画素（ｉ，ｊ）における鮮鋭度が最も高い色成分を決定する。決定部５３は、最小の標準偏差を与えるぼかし指標α_ｒが正の場合、注目画素（ｉ，ｊ）において鮮鋭度がより高いのはＧ成分であると決定する。一方、決定部５３は、最小の標準偏差を与えるぼかし指標α_ｒが負の場合、注目画素（ｉ，ｊ）において鮮鋭度がより高いのはＲ成分であると決定する。決定部５３は、ぼかし指標α_ｂおよびα_ｒｂに対しても、それらの符号に基づいて、鮮鋭度がより高い色成分をそれぞれ決定する。

　上記結果に基づいて、決定部５３は、注目画素（ｉ，ｊ）において、最も鮮鋭度の高い色成分が決定できたか否かを判定する。すなわち、３つの色差面における結果のうち、２つで同一の色成分が決定された場合、決定部５３は、その色成分を、注目画素（ｉ，ｊ）において鮮鋭度が最も高い色成分として決定し、ステップＳ３８（ＹＥＳ側）へ移行する。

　一方、例えば、各色差面のぼかし係数α_ｒ、α_ｂ、α_ｒｂそれぞれに基づいて、Ｒ成分、Ｇ成分、Ｂ成分がそれぞれ決定された場合、決定部５３は、注目画素（ｉ，ｊ）における最も鮮鋭度の高い色成分を１つに決定することができない。このような場合、決定部５３は、不定と判定し、注目画素に対する軸上色収差の補正処理を行わず、ステップＳ４０（ＮＯ側）へ移行する。なお、色差面ごとに決定された各色成分の鮮鋭度を比較し鮮鋭度が最も高い色成分を決定してもよい。

　ステップＳ３８：ＣＰＵ１の調整部５４は、ステップＳ３７において、決定された色成分に基づいて、注目画素（ｉ，ｊ）の色成分間の鮮鋭度を調整し軸上色収差を補正する。

　そのために、演算部５１は、式（１０）－（１１）を用いて、例えば、図４に示す色差面Ｃｒの標準偏差ＤＥＶｒの分布に基づき、注目画素（ｉ，ｊ）における真の意味での最小の標準偏差の値を与えるぼかし指標（内挿点）ｓを求める。そして、演算部５１は、求めた内挿点ｓとともに、ぼかし指標α_ｒ、α_ｒ＋１のＧα_ｒ（ｉ，ｊ）、Ｇ（α_ｒ＋１）（ｊ，ｊ）を用いた公知の重み付け加算により、補正値Ｇ’（ｉ，ｊ）を算出する。

　調整部５４は、例えば、式（１２）－（１３）に基づいて、注目画素（ｉ，ｊ）におけるＲ成分およびＢ成分の鮮鋭度を調整し軸上色収差を補正する。

　ステップＳ３９：ＣＰＵ１の色差補正部５５は、軸上色収差の補正処理が施された注目画素の各色成分の画素値に対して色差補正を行う。

　すなわち、ステップＳ３８において、軸上色収差の補正処理が施された注目画素の各色成分の画素値は、補正前の画素値と比較した場合、特に、輝度色差の色空間における色差成分の向きが大きく変わる場合があるからである。そして、それにより注目画素（ｉ，ｊ）において変色が発生する。そこで、本実施形態では、その変色の発生を抑制するために、色差補正部５５は、注目画素における補正後の色差成分が、輝度色差の空間において、補正前の色差成分の向きと同じになるように補正する。

　具体的には、色差補正部５５は、注目画素の補正前後の各色成分の画素値を、公知の変換処理を適用して、ＲＧＢの画素値（Ｒ’，Ｇ，Ｂ’）をＹＣｒＣｂの輝度成分と色差成分（Ｙ’，Ｃｒ’，Ｃｂ’）に変換する。ここで、補正前の輝度成分および色差成分を（Ｙ０，Ｃｒ０，Ｃｂ０）とする。そして、色差補正部５５は、次式（２０）により、注目画素の色差成分の向きを補正前の向きに補正する。なお、本実施形態において、輝度成分Ｙ’は補正しない。

　色差補正部５５は、再度、上述した公知の変換処理を適用して、注目画素の色差補正後の輝度成分および色差成分（Ｙ’，Ｃｒ”，Ｃｂ”）をＲＧＢの画素値（Ｒ_１，Ｇ_１，Ｂ_１）に変換する。色差補正部５５は、画素値（Ｒ_１，Ｇ_１，Ｂ_１）を注目画素（ｉ，ｊ）の画素値とする。

　ステップＳ４０：ＣＰＵ１は、対象画像の全ての画素について処理が終了したか否かを判定する。ＣＰＵ１は、全ての画素について処理が終了していないと判定した場合、ステップＳ３２（ＮＯ側）へ移行し、次の画素を注目画素として、ステップＳ３２からステップＳ３９の処理を行う。一方、ＣＰＵ１は、全ての画素について処理が終了したと判定した場合、軸上色収差が補正された画像を、記憶部２に記録したり出力装置３０に表示したりする。そして、ＣＰＵ１は、一連の処理を終了する。

　このように、本実施形態では、各色差面の標準偏差の値に基づいて、各画素位置における色構造を判定することにより、軸上色収差の補正を確度高く行うことができる。

　また、色境界と判定された注目画素に対する軸上色収差の補正処理を行わないことにより、変色や色抜けの発生を抑制することができる。

　さらに、注目画素の補正後の画素値に対して、色差空間において補正前の画素値が有した色差成分の向きに補正することにより、変色や色抜けを抑制しつつ軸上色収差の補正をより精度よく行うことができる。
《第４の実施形態》
　本発明の第４の実施形態に係る画像処理装置は、第３の実施形態に係る画像処理装置と同一である。よって、図１に示すコンピュータ１０を本実施形態に係る画像処理装置とし、各構成要素について同一の符号を付し詳細な説明は省略する。

　なお、本実施形態のコンピュータ１０と第３の実施形態のものとの相違点は、（１）演算部５１が、対象画像およびＮ個の平滑画像と式（１）－（６）を用い、ぼかし指標に応じた色差面（色差）の値を算出し、（２）判定部５２が、それぞれのぼかし指標における色差面間の標準偏差の値の差分を算出し、その絶対値に基づいて、画素位置の色構造が色境界か否かを判定することにある。

　次に、本実施形態のコンピュータ１０による軸上色収差を補正する画像処理の動作について、図１２に示すフローチャートを参照しつつ説明する。

　ユーザは、入力装置４０を用いて、画像処理プログラムのコマンドを入力、または、出力装置３０に表示されたそのプログラムのアイコンをダブルクリック等することにより、画像処理プログラムの起動をＣＰＵ１に指示する。ＣＰＵ１は、その指示を入出力Ｉ／Ｆ３を介して受け付け、記憶部２に記憶されている画像処理プログラムを読み込み実行する。ＣＰＵ１は、図１２のステップＳ５０からステップＳ６０の処理を開始する。

　ステップＳ５０：ＣＰＵ１は、入力装置４０を介して、ユーザによって指定された補正対象の対象画像を読み込む。

　ステップＳ５１：ＣＰＵ１の画像平滑部５０は、第３の実施形態のステップＳ３１と同様に、各ガウシアンフィルタのぼかし指標に応じ、読み込んだ対象画像を平滑化し、Ｎ個の平滑画像を生成する。

　ステップＳ５２：ＣＰＵ１の演算部５１は、Ｒ成分とＧ成分との色差面Ｃｒ、Ｂ成分とＧ成分との色差面Ｃｂ、およびＲ成分とＢ成分との色差面Ｃｒｂを、対象画像および各平滑画像と式（１）－（６）とを用いて算出する。

　ステップＳ５３：演算部５１は、第３の実施形態のステップＳ３３と同様に、ステップＳ５２で算出した色差面Ｃｒ、Ｃｂ、Ｃｒｂを用い、注目画素（ｉ，ｊ）における各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを、式（７）－（９）に基づいてぼかし指標ごとに算出する。

　ステップＳ５４：演算部５１は、第３の実施形態のステップＳ３４と同様に、ステップＳ５３で算出された各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを用い、注目画素（ｉ，ｊ）において、最小の標準偏差の値を与えるぼかし指標ｋ’（＝α_ｒ、α_ｂ、α_ｒｂ）を色差面ごとに求める。

　ステップＳ５５：ＣＰＵ１の判定部５２は、注目画素（ｉ，ｊ）において、それぞれのぼかし指標ｋ’における各色差面の標準偏差の差分、ＤＥＶｒ［ｋ’］－ＤＥＶｂ［ｋ’］、ＤＥＶｂ［ｋ’］－ＤＥＶｒｂ［ｋ’］、ＤＥＶｒ［ｋ’］－ＤＥＶｒｂ［ｋ’］を求め、その差分の絶対値に基づいて、注目画素（ｉ，ｊ）の色構造が色境界の色相を有するか否かを判定する。判定部５２は、それらの標準偏差の差分の絶対値のいずれか１つが閾値ε以上となるか否かを判定する。なお、本実施形態の閾値εは、例えば、対象画像が２５５階調の画像の場合、５０に設定されるものとする。ただし、閾値εの値は、対象画像の階調、注目画素の画素位置や参照領域ＡＲ１等に応じて決定されるのが好ましく、例えば、４０～６０の範囲の値に設定されるのが好ましい。

　判定部５２は、閾値ε以上となる標準偏差の差分の絶対値があった場合、注目画素（ｉ，ｊ）の色構造は色境界であると判定し、その注目画素の画素位置を不図示のワーキングメモリに記録し、ステップＳ５６（ＹＥＳ側）へ移行する。一方、判定部５２は、閾値ε以上となる標準偏差の差分の絶対値が無かった場合、注目画素（ｉ，ｊ）の色構造は色境界でないと判定し、注目画素を軸上色収差の補正処理の対象画素としてステップＳ５７（ＮＯ側）へ移行する。

　ステップＳ５６：判定部５２は、第３の実施形態のステップＳ３６と同様に、ステップＳ５５において色境界と判定された注目画素（ｉ，ｊ）の色構造がパープルフリンジであるか否かを判定する。

　判定部５２は、パープルフリンジ領域内の場合、注目画素の色構造はパープルフリンジと判定し、その注目画素の画素位置をワーキングメモリ（不図示）に記録する。判定部５２は、その注目画素を軸上色収差の補正処理の対象画素として、ステップＳ５７（ＹＥＳ側）へ移行する。一方、パープルフリンジ領域外の場合、注目画素の色構造は色境界と判定し、注目画素に対する軸上色収差の補正処理を行わず、ステップＳ６０（ＮＯ側）へ移行する。

　ステップＳ５７：決定部５３は、第３の実施形態のステップＳ３７と同様に、ステップＳ５４において求めた各色差面のぼかし係数α_ｒ、α_ｂ、α_ｒｂに基づいて、注目画素（ｉ，ｊ）における鮮鋭度が最も高い色成分を決定する。決定部５３は、注目画素（ｉ，ｊ）において、最も鮮鋭度の高い色成分が決定できた場合、ステップＳ５８（ＹＥＳ側）へ移行する。

　一方、決定部５３は、注目画素（ｉ，ｊ）における最も鮮鋭度の高い色成分を１つに決定することができなかった場合、注目画素に対する軸上色収差の補正処理を行わず、ステップＳ６０（ＮＯ側）へ移行する。

　ステップＳ５８：ＣＰＵ１の調整部５４は、第３の実施形態のステップＳ３８と同様に、ステップＳ５７において、決定された色成分に基づいて、注目画素（ｉ，ｊ）の色成分間の鮮鋭度を調整し軸上色収差を補正する。

　ステップＳ５９：ＣＰＵ１の色差補正部５５は、第３の実施形態のステップＳ３９と同様に、式（２０）を用いて、軸上色収差の補正処理が施された注目画素の各色成分の画素値に対して色差補正を行う。

　ステップＳ６０：ＣＰＵ１は、対象画像の全ての画素について処理が終了したか否かを判定する。ＣＰＵ１は、全ての画素について処理が終了していないと判定した場合、ステップＳ５２（ＮＯ側）へ移行し、次の画素を注目画素として、ステップＳ５２からステップＳ５９の処理を行う。一方、ＣＰＵ１は、全ての画素について処理が終了したと判定した場合、軸上色収差が補正された画像を、記憶部２に記録したり出力装置３０に表示したりする。そして、ＣＰＵ１は、一連の処理を終了する。

　このように、本実施形態では、各色差面の標準偏差の差分に基づいて、各画素位置における色構造を判定することにより、軸上色収差の補正を確度高く行うことができる。

　また、色境界と判定された注目画素に対する軸上色収差の補正処理を行わないことにより、変色や色抜けの発生を抑制することができる。

　さらに、注目画素の補正後の画素値に対して、色差空間において補正前の画素値が有した色差成分の向きに補正することにより、変色や色抜けを抑制しつつ軸上色収差の補正をより精度よく行うことができる。
《実施形態の補足事項》
　（１）本発明の画像処理装置は、画像処理プログラムをコンピュータ１０に実行させることで実現させたが、本発明はこれに限定されない。本発明に係る画像処理装置における処理をコンピュータ１０で実現するためのプログラムおよびそれを記録した媒体に対しても適用可能である。

　また、本発明の画像処理プログラムを有した図１３および図１４に示すようなデジタルカメラに対しても適用可能である。なお、図１３および図１４に示すデジタルカメラにおいて、撮像素子１０２と、撮像素子１０２から入力される画像信号のＡ／Ｄ変換や、色補間処理等の信号処理を行うデジタルフロントエンド回路のＤＦＥ１０３とが、撮像部を構成することが好ましい。

　また、デジタルカメラを本発明の画像処理装置として動作される場合、ＣＰＵ１０４は、画像平滑部２０、演算部２１、決定部２２、調整部２３、判定部２４、または画像平滑部５０、演算部５１、判定部５２、決定部５３、調整部５４、色差補正部５５の各処理をソフトウエア的に実現してもよいし、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現してもよい。

　（２）上記実施形態では、画像平滑部２０、５０が、複数のガウシアンフィルタを用いて、対象画像からＮ個の平滑画像を生成したが、本発明はこれに限定されない。例えば、図１３および図１４のようなデジタルカメラの撮像レンズ１０１等の光学系の点広がり関数（ＰＳＦ）が得られる場合、画像平滑部２０、５０は、ガウシアンフィルタを用いる代わりに、ＰＳＦを用いて平滑画像を生成してもよい。

　（３）上記実施形態では、Ｒ成分とＧ成分との色差面Ｃｒ、Ｂ成分とＧ成分との色差面Ｃｂ、Ｒ成分とＢ成分との色差面Ｃｒｂに基づいて、対象画像の軸上色収差の補正を行ったが、本発明はこれに限定されない。例えば、３つの色差面のうち２つの色差面に基づいて、対象画像の軸上色収差の補正を行ってもよい。これにより、補正処理の高速化を図ることができる。

　（４）上記実施形態では、対象画像は、各画素においてＲ成分、Ｇ成分、Ｂ成分の画素値を有するとしたが、本発明はこれに限定されない。例えば、対象画像の各画素において、２つまたは４つ以上の色成分を有してもよい。

　また、図１３および図１４に示すデジタルカメラの撮像素子１０２の受光面の各画素子に、Ｒ、Ｇ、Ｂのカラーフィルタが公知のベイヤ配列に従って配置されている場合、その撮像素子１０２によって撮像されたＲＡＷ画像に対しても、本発明は適用可能である。

　（５）上記第３の実施形態および第４の実施形態では、色差補正部５５は、軸上色収差の補正処理が施された注目画素全てに対して色差補正を行ったが、本発明これに限定されない。色差補正部５５は、注目画素の補正後の色差成分の大きさＬ’の値が、補正前の色差成分の大きさＬの値より小さい場合、色差補正を行わないようにしてもよい。

　また、色差補正部５５は、補正後の色差成分の大きさＬ’が、補正前の色差成分の大きさＬ（所定の大きさ）より大きい場合、図１５および次式（２１）で定義される補正出力率φ（Ｌ’）を用いて、式（２０）を変形した次式（２２）に基づき補正後の色差成分の出力率を小さくしてもよい。

　これにより、変色の発生をより正確に抑制することが可能となる。なお、関数ｃｌｉｐ（Ｖ，Ｕ_１，Ｕ_２）は、パラメータＶの値が下限値Ｕ_１と上限値Ｕ_２との範囲外の値の場合、下限値Ｕ_１または上限値Ｕ_２にクリップする。なお、係数ＷＶは、補正出力率φ（Ｌ’）を上限値Ｕ_２（＝１）から下限値Ｕ_１（＝０）に変化させる幅を示し、２５５階調の画像の場合、例えば、係数ＷＶ＝５～１０の値とする。ただし、係数ＷＶの値は、要求される変色の抑制の度合い等に応じて適宜設定されることが好ましい。

　（６）上記第３の実施形態および第４の実施形態では、注目画素（ｉ，ｊ）の色構造が色境界の場合、軸上色収差の補正処理を行わないとしたが、本発明はこれに限定されない。例えば、色境界に位置する注目画素（ｉ，ｊ）に対して、ステップＳ３７からステップＳ３９またはステップＳ５７からステップＳ５９の処理を行ってもよい。ただし、調整部５４は、ステップＳ３８またはステップＳ５８において、式（１２）および（１３）の代わりに次式（２３）および（２４）を用いて行うのが好ましい。この場合、ステップＳ３９またはステップＳ５９において、色差補正部５５は、色境界と判定された注目画素に対しても色差補正を行うのが好ましい。
Ｒ’（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）＋γ×（Ｇ０（ｉ，ｊ）－Ｇ’（ｉ，ｊ））…（２３）
Ｂ’（ｉ，ｊ）＝Ｂ０（ｉ，ｊ）＋γ×（Ｇ０（ｉ，ｊ）－Ｇ”（ｉ，ｊ））…（２４）
ここで、係数γは、０．１～０．２以下の値とし、色境界による影響をあまり受けないようにするのが好ましい。なお、係数γの値は、注目画素（ｉ，ｊ）でのそれぞれのぼかし指標における各色差面の標準偏差の値または標準偏差の差分の絶対値等に応じて決定されるのが好ましい。また、係数γは色成分ごとに設定されてもよい。

　これにより、特に、パープルフリンジ領域の境界付近における補正処理の方法の不連続性による影響を回避し、画像の階調の空間的な連続性を保つことができる。なお、調整部５４は、画像の階調の空間的な連続性を保つために、公知の平滑化処理を適用してもよい。

　（７）上記第３の実施形態および第４の実施形態では、判定部５２が、注目画素（ｉ，ｊ）の色構造が色境界か否か判定を、１つの閾値εを用いて行ったが、本発明はこれに限定されない。例えば、判定部５２は、２つの閾値ε_１およびε_２（ε_１＜ε_２）を用いて行ってもよい。この場合、式（１２）および（１３）に代えて、式（２３）および（２４）を用いるのが好ましい。

　例えば、標準偏差の値または標準偏差の差分の絶対値が閾値ε_１以下で、判定部５２により注目画素の色構造が色境界でないと判定された場合、調整部５４は、係数γ＝１と設定して、注目画素（ｉ，ｊ）に対する軸上色収差の補正処理を行う。一方、標準偏差の値または標準偏差の差分の絶対値が閾値ε_２以上で、注目画素の色構造が色境界と判定された場合、調整部５４は、係数γ＝０または０．１～０．２以下の小さな値に設定し、注目画素（ｉ，ｊ）に対する軸上色収差の補正処理を行う。標準偏差の値または標準偏差の差分の絶対値が閾値ε_１から閾値ε_２の間の場合、判定部５２は、注目画素の色構造を不定と判定し、調整部５４は、例えば、標準偏差の値または差分の絶対値の大きさと閾値ε_１およびε_２との大きさに応じて、係数γを１から０の間の値に設定し、注目画素に対する軸上色収差の補正処理を行う。なお、この場合、ステップＳ３９またはステップＳ５９において、色差補正部５５は、全ての注目画素に対して色差補正処理を行うのが好ましい。

　これにより、特に、パープルフリンジ領域の境界付近における補正処理の方法の不連続性による影響を回避し、画像の階調の空間的な連続性を保つことができる。なお、調整部５４は、画像の階調の空間的な連続性を保つために、公知の平滑化処理を適用してもよい。

　（８）上記第３の実施形態および第４の実施形態では、判定部５２が、注目画素（ｉ，ｊ）およびその周辺画素の各色成分の画素値の分布に基づいてパープルフリンジ領域を求め、注目画素（ｉ，ｊ）の色構造がパープルフリンジであるか否かを判定したが、本発明はこれに限定されない。例えば、判定部５２は、パープルフリンジ領域を求めるにあたり、最初に、対象画像の輝度成分に基づいて、輝度成分が飽和している領域を飽和領域として求めてもよい。

　ただし、求められた飽和領域にはショットノイズ等による数画素程度の大きさの領域も含まれる。そこで、判定部５２は、例えば、公知の手法を用い、求められたそれぞれの飽和領域から１画素幅分程度の周辺領域を削除して飽和領域を縮小する。これにより、ショットノイズ等による数画素程度の大きさの飽和領域は除去される。そして、判定部５２は、縮小した飽和領域に、例えば、１画素幅分程度の周辺領域を付加して、縮小した飽和領域を拡張する。判定部５２は、最終的に飽和領域に幅β程度の領域が付加されるまで、この拡張処理を複数回行い、パープルフリンジ領域を求める。

　なお、判定部５２は、ショットノイズ等による数画素程度の大きさの飽和領域を除去するために、公知のノイズ除去処理を適用してもよい。

　（９）上記第１の実施形態、第２の実施形態、第４の実施形態では、演算部２１、５１が、式（１）－（６）を用いて、色差面Ｃｒ、Ｃｂ、Ｃｒｂを、異なる色成分の画素値の差分として求めたが、本発明はこれに限定されない。色差面Ｃｒ、Ｃｂ、Ｃｒｂは、異なる色成分の画素値の差分の絶対値であってもよいし、その差分を２乗したものであってもよい。

　（１０）上記第３の実施形態では、演算部５１が、式（１４）－（１９）を用いて、色差面Ｃｒ、Ｃｂ、Ｃｒｂを、異なる色成分の画素値の差分の絶対値として求めたが、本発明はこれに限定されない。色差面Ｃｒ、Ｃｂ、Ｃｒｂは、単に、異なる色成分の画素値の差分の値であってもよいし、その差分を２乗したものであってもよい。

　以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１　ＣＰＵ、２　記憶部、３　入出力Ｉ／Ｆ、４　バス、１０　コンピュータ、２０　画像平滑部、２１　演算部、２２　決定部、２３　調整部、３０　出力装置、４０　入力装置

Claims (16)

1. 　複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、
   　前記対象画像の各画素位置における、前記対象画像の所定の色成分の画素値と、前記平滑画像の前記所定の色成分とは異なる色成分の画素値との差分である色差を、前記各平滑画像毎に求めて、求めた前記色差の分散を算出する演算手段と、
   　前記色差の分散に基づいて、前記対象画像の前記各色成分の鮮鋭度を比較し、前記鮮鋭度が最も高い色成分を決定する決定手段と、
   　前記鮮鋭度が最も高い色成分に基づいて、前記対象画像の少なくとも１つの前記色成分の鮮鋭度を調整する調整手段と、
   　を備えることを特徴とする画像処理装置。
2. 　請求項１に記載の画像処理装置において、
   　前記演算手段は、前記対象画像および前記各平滑画像で処理対象の画素位置を中心とする第１領域にある、前記所定の色成分の画素値と、前記所定の色成分とは異なる色成分の画素値とを用い、前記色差の分散を算出する
   　ことを特徴とする画像処理装置。
3. 　請求項１または請求項２に記載の画像処理装置において、
   　前記対象画像の前記処理対象の画素位置を中心とする第２領域において、前記所定の色成分の色構造と、前記所定の色成分とは異なる色成分の色構造とが異なることによる色境界が存在するか否かを判定する判定手段を備え、
   　前記演算手段は、
   　前記判定手段により前記色境界が存在すると判定された場合、前記対象画像および前記各平滑画像の前記第２領域における、前記所定の色成分の画素値の分布幅と、前記所定の色成分とは異なる色成分の画素値の分布幅とを互いに一致させ、前記色差の分散を算出する
   　ことを特徴とする画像処理装置。
4. 　請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
   　前記決定手段は、前記色差の分散のうちで最小の分散値を与える前記平滑画像の色成分を、前記各画素での前記鮮鋭度が最も高い色成分と決定することを特徴とする画像処理装置。
5. 　請求項４に記載の画像処理装置において、
   　前記決定手段は、前記最小の分散値を内挿法に基づいて決定することを特徴とする画像処理装置。
6. 　複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、
   　前記対象画像の各画素位置において、前記対象画像の所定の色成分の画素値と前記平滑画像の前記所定の色成分とは異なる色成分の画素値との差分である色差を求め、前記平滑の度合いに応じた前記色差の分散を算出する演算手段と、
   　前記色差の分散に基づいて、前記各画素位置が色境界か否かを判定する判定手段と、
   　前記色境界の判定が偽と判定された画素位置の画素を対象画素として、前記色差の分散に基づいて前記各色成分の鮮鋭度を比較し、前記鮮鋭度が最も高い色成分を決定する決定手段と、
   　前記鮮鋭度が最も高い色成分に基づいて、前記対象画素の少なくとも１つの前記色成分の鮮鋭度を調整する調整手段と、
   　を備えることを特徴とする画像処理装置。
7. 　請求項６に記載の画像処理装置において、
   　前記演算手段は、前記色差を前記差分の絶対値として求めることを特徴とする画像処理装置。
8. 　請求項６または請求項７に記載の画像処理装置において、
   　前記判定手段は、前記各色成分の画素値の分布に基づいて、前記色境界が飽和領域周辺の濃度差による色にじみか否かを判定し、
   　前記決定手段は、前記色境界が前記色にじみと判定された場合、前記色境界と判定された画素位置の画素を前記対象画素とする
   　ことを特徴とする画像処理装置。
9. 　請求項８に記載の画像処理装置において、
   　前記鮮鋭度が調整された前記対象画素の画素値を、色差空間において、前記鮮鋭度の調整前の画素値の色差の向きと同じになるように補正する色差補正部を備えることを特徴とする画像処理装置。
10. 　請求項９に記載の画像処理装置において、
    　前記色差補正部は、前記色差空間において、前記鮮鋭度が調整された対象画素の画素値の色差成分の大きさが所定の大きさ以上の場合、前記鮮鋭度が調整された対象画素の画素値の色差成分の大きさを小さくすることを特徴とする画像表示装置。
11. 　請求項６ないし請求項１０のいずれか１項に記載の画像処理装置において、
    　前記演算手段は、前記画素位置を中心とする領域にある、前記対象画像の所定の色成分の画素値と前記平滑画像の前記所定の色成分とは異なる色成分の画素値とを用い、前記色差の分散を算出することを特徴とする画像処理装置。
12. 　請求項６ないし請求項１１のいずれか１項に記載の画像処理装置において、
    　前記決定手段は、前記対象画素において、前記色差ごとに最小の分散値を与える前記平滑画像の色成分を前記鮮鋭度が高い色成分と決定し、決定された前記色成分の鮮鋭度を比較して前記鮮鋭度が最も高い色成分を決定することを特徴とする画像処理装置。
13. 　請求項１２に記載の画像処理装置において、
    　前記演算手段は、前記最小の分散値を内挿法に基づいて決定することを特徴とする画像処理装置。
14. 　被写体を撮像して、複数の色成分の画素値を有する対象画像を生成する撮像手段と、
    　請求項１ないし請求項１３のいずれか１項に記載の画像処理装置と、
    　を備えることを特徴とする撮像装置。
15. 　複数の色成分の画素値を有する対象画像を読み込む入力手順、
    　前記対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手順、
    　前記対象画像の各画素位置における、前記対象画像の所定の色成分の画素値と、前記平滑画像の前記所定の色成分とは異なる色成分の画素値との差分である色差を、前記各平滑画像毎に求めて、求めた前記色差の分散を算出する演算手順、
    　前記色差の分散に基づいて、前記対象画像の前記各色成分の鮮鋭度を比較し、前記鮮鋭度が最も高い色成分を決定する決定手順、
    　前記鮮鋭度が最も高い色成分に基づいて、前記対象画像の少なくとも１つの前記色成分の鮮鋭度を調整する調整手順、
    　をコンピュータに実行させることを特徴とする画像処理プログラム。
16. 　複数の色成分の画素値を有する対象画像を読み込む入力手順、
    　前記対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手順、
    　前記対象画像の各画素位置において、前記対象画像の所定の色成分の画素値と前記平滑画像の前記所定の色成分とは異なる色成分の画素値との差分である色差を求め、前記平滑の度合いに応じた前記色差の分散を算出する演算手順、
    　前記色差の分散に基づいて、前記各画素位置が色境界か否かを判定する判定手順、
    　前記色境界の判定が偽と判定された画素位置の画素を対象画素として、前記色差の分散に基づいて前記各色成分の鮮鋭度を比較し、前記鮮鋭度が最も高い色成分を決定する決定手順、
    　前記鮮鋭度が最も高い色成分に基づいて、前記対象画素の少なくとも１つの前記色成分の鮮鋭度を調整する調整手順、
    　をコンピュータに実行させることを特徴とする画像処理プログラム。

Images