JP5040655B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、光学系を通して撮像された画像を補正する画像処理装置および画像処理方法に関する。

次のような色収差補正装置が特許文献１によって知られている。この色収差補正装置では、３色が揃ったカラー画像に対して、ＲＧＢ面撮像素子の配置傾きによって生じたＲＧＢ間の焦点ずれを、基準色面に対して他の色面に平滑化ないしは鮮鋭化フィルタを掛けて、色面間の相関が最大となるように可変フィルタのパラメータを探索して補正する。

特開２００１−１０３３５８号公報

しかしながら、従来の装置によれば、ＲＧＢ面が同じような画像構造をしていて、鮮鋭度を変えるだけで色面間の相関が取れるとの仮定の下に築かれているが、通常の撮像画像は種々の画像構造をしており、特に有彩色の色構造部はこのような前提が崩れ、逆に補正処理によって画像に破綻を来たす恐れがあった。したがって、軸上色収差によって発生した色滲みを従来の装置による手法で補正しようとした場合には、画像構造が破壊される可能性があるという問題が生じていた。

本発明の第１の態様によると、画像処理装置は、光学系を通して撮像された撮像画像の少なくとも１つの色成分の鮮鋭度を変化させ、鮮鋭度を変化させた色成分を含む少なくとも２つの色成分間の色応答特性の違いに基づいて、撮像画像の画像構造に起因する色成分と、光学系の色収差に起因する色成分とを判別する判別部を備える。
本発明の第２の態様によると、第１の態様の画像処理装置において、判別部による判別結果に基づいて、光学系の色収差に起因する色成分を補正する補正部をさらに備える。
本発明の第３の態様によると、第１の態様の画像処理装置において、判別部は、少なくとも２つの色成分間の色応答特性が鮮鋭度の変化に対して単調減少関数で表される場合には、鮮鋭度を変化させた少なくとも１つの色成分は、撮像画像の画像構造に起因する色成分であると判別するのが好ましい。
本発明の第４の態様によると、第１の態様の画像処理装置において、判別部は、少なくとも２つの色成分間の色応答特性が鮮鋭度の変化に対して極小点を持つ関数で表される場合には、鮮鋭度を変化させた少なくとも１つの色成分は、光学系の色収差に起因する色成分を含んだ色成分であると判別するのが好ましい。
本発明の第５の態様によると、第１、３、４のいずれかの態様の画像処理装置において、判別部は、少なくとも１つの色成分内でフィルタリングすることによって、撮像画像の少なくとも１つの色成分の鮮鋭度を変化させる、または、少なくとも１つの色成分以外の色成分内でのフィルタリング結果に基づいて、撮像画像の少なくとも１つの色成分の鮮鋭度を変化させるのが好ましい。
本発明の第６の態様によると、第１の態様の画像処理装置において、判別部は、光学系の色収差に起因する色成分間における鮮鋭度の差異よりも、鮮鋭度を変化させた色成分を含む少なくとも２つの色成分間の鮮鋭度の差異が大きくなるように、少なくとも１つの色成分の鮮鋭度を変化させるのが好ましい。
本発明の第７の態様によると、第１の態様の画像処理装置において、少なくとも１つの色成分の鮮鋭度を変化させる前の撮像画像が有する初期彩度に応じて、色応答特性を補正する色応答特性補正部をさらに備えるのが好ましい。
本発明の第８の態様によると、第１の態様の画像処理装置において、少なくとも２つの色成分間の値の大小関係が、少なくとも１つの色成分の鮮鋭度を変化させた前後で反転している場合、色応答特性を補正する色応答特性補正部をさらに備えるのが好ましい。
本発明の第９の態様によると、第４の態様の画像処理装置において、判別部は、色応答特性の極小点における値が所定値より大きい値を示す場合は、鮮鋭度を変化させた少なくとも１つの色成分は、撮像画像の画像構造に起因する色成分であると判別するのが好ましい。
本発明の第１０の態様によると、第１〜９のいずれかの態様の画像処理装置において、撮像画像は、１つの画素に少なくとも１つの色成分が欠落する画像であるのが好ましい。
本発明の第１１の態様によると、画像処理方法は、光学系を通して撮像された撮像画像を取得し、取得した撮像画像の少なくとも１つの色成分の鮮鋭度を変化させ、鮮鋭度を変化させた色成分を含む少なくとも２つの色成分間の色応答特性の違いに基づいて、撮像画像の画像構造に起因する色成分と、光学系の色収差に起因する色成分とを判別するのが好ましい。
本発明の第１２の態様によると、第１１の態様の画像処理方法において、判別結果に基づいて、光学系の色収差に起因する色成分を補正するのが好ましい。

本発明によれば、撮像画像の画像構造に起因する色成分、すなわち画像構造が実際に有する色と、光学系の色収差に起因する色成分、すなわち軸上色収差によって発生した色滲みとを判別することができ、この判別結果に基づいて画像の補正を行えば、画像構造の破壊を防ぎつつ、有効に軸上色収差による画像の劣化部だけを補正することができる。

画像処理装置をデジタルカメラに搭載した場合の一実施の形態の構成を示すブロック図である。 軸上色収差による色滲みが発生する原理について説明する第１の図である。 軸上色収差による色滲みが発生する原理について説明する第２の図である。 軸上色収差による色滲みが発生する原理について説明する第３の図である。 他の色成分（Ｇ成分）を利用して、Ｒ、Ｂの各成分の軸上色収差を補正する原理を示す図である。 彩度とぼかし量との関係の具体例を示す図である。 画像構造の違いを具体的に示した図である。 Ｂａｙｅｒ画像の具体例を示す図である。 第１の実施の形態で使用する平滑化フィルタの具体例を示す図である。 Ｃｒ３＊[ｉ,ｊ]を算出する際にかける平滑化フィルタの具体例を示す図である。 第１の実施の形態における画像処理装置１１０の動作を示すフローチャート図である。 プログラムを、ＣＤなどの記録媒体やインターネットなどの電気通信回線を介してパソコンに提供する様子を示す図である。

―第１の実施の形態―
図１は、第１の実施の形態における画像処理装置をデジタルカメラに搭載した場合の一実施の形態の構成を示すブロック図である。デジタルカメラ１００は、レンズ１０１と、ＣＣＤなどで構成される撮像素子１０２と、画像処理装置１１０とを備えている。撮像素子１０２においては、例えば、単板式カラー撮像素子の最も代表的なＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがＢａｙｅｒ配列されている。

レンズ１０１は、複数の光学レンズ群から構成されるが、図１では代表して１枚のレンズで表している。レンズ１０１を通して撮像素子１０２で撮像される画像データはＲＧＢ表色系で示されるものとし、画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在しているものとする。すなわちＢａｙｅｒ画像であるものとする。

画像処理装置１１０は、ＣＰＵやその他周辺回路を含み、後述する画像処理を実行する制御装置１１１と、撮像素子１０２によって撮像された画像を格納する画像メモリ１１２と、画像処理後の画像を表示するモニタ１１３とを備えている。このデジタルカメラにおいては、レンズ１０１を通して撮像素子１０２で撮像されたＢａｙｅｒ画像の画像データは、制御装置１１１によってＡ／Ｄ変換されてデジタル信号に変換され、画像メモリ１１２に記憶される。

こうして撮像素子１０２によって撮像され、画像メモリに記憶された画像データにおいては、軸上色収差に伴う色滲みが発生している可能性がある。具体的には、無彩色の黒線被写体を撮像した場合に、軸上色収差がない場合には、図２（ａ）に示すようなＲＧＢの各成分にぼけ信号は発生しないが、例えば、結像面においてＲ成分に大きな軸上色収差がある場合には、図２（ｂ）に示すようにＲ成分にぼけ信号が発生する。すなわち、Ｇ成分とＢ成分の信号は鮮明な色成分信号であるのに対して、Ｒ成分の信号はぼけた色成分信号となっている。

そのため、図３（ａ）に示すようなＢａｙｅｒ配列のサンプリング位置に該当する場合には、Ｒ成分に発生したぼけ信号が、黒線被写体位置に回り込んで浮き上がった状態となってＲ画素で撮像されるので、黒線被写体のエッジ近辺で赤滲みが発生する。これに対して、図３（ｂ）に示すようなＢａｙｅｒ配列のサンプリング位置に該当する場合は、Ｇ、Ｂ成分に近いコントラストを持った信号強度のＲ成分がＲ画素で観測されるので、図３（ａ）で述べたような影響は少なくなる。したがって、Ｂａｙｅｒ配列の場合には、画像構造とＢａｙｅｒサンプリングの組み合わせによって、場所ごとに画像劣化状態が変化するような、画像劣化状態を判定するのが非常に難しい状態が発生する。

ＲＧＢ３板式で撮像した場合には、Ｂａｙｅｒ配列ほど困難な状況にはないものの、図２（ｂ）に示すような状況でのエッジ部での平均的な色滲みが観測される。なお、Ｂ成分に大きな軸上色収差がある場合は青滲みが発生し、ＲとＢ共に大きな軸上色収差がある場合はマゼンタ滲みが発生する。そして、一枚の画像内でも被写体距離によってこれらが混在し、例えば背景領域に青滲みまたはマゼンダ滲みが発生し、前景領域に赤滲みが発生するというような状況が起こりうる。

ここで、無彩色の黒線被写体を撮像した場合に、上述したような軸上色収差による色滲みが発生する原理について説明する。光学系を通して無彩色の黒線被写体を撮像したとき、軸上色収差が無い場合には、図４（ａ）に示すように撮像面でＲＧＢ各成分の焦点が一致している状態である。すなわち図４（ｂ）に示すように、ＲＧＢ各成分のＭＴＦ特性が整合している状態である。これに対して、Ｒ成分に軸上色収差がある場合には、図４（ｃ）に示すようにＲ成分のみ焦点が撮像面からずれており、図４（ｄ）に示すように、撮像面におけるＭＴＦ特性の不整合が生じている状態である。

第１の実施の形態においては、制御装置１１１は、ＲＧＢいずれかの色成分に軸上色収差があり、これに伴って色滲みが生じた場合に、各色成分間のＭＴＦ特性の不整合を補正して、軸上色収差に伴う色滲みを解消する。すなわち各色成分のＭＴＦ特性を一致させる、または近づけることによって整合させて、デジタル的に軸上色収差を解消したような効果を得る。具体的には、次のような原理によって軸上色収差に伴う色滲みを解消する。

例えば、ＲＧＢの各成分の信号レベルが、図５（ａ）〜（ｃ）の各図に示すような画像に対しては、Ｒ成分やＢ成分のようなぼけた色成分信号のＭＴＦ特性を、Ｇ成分のような鮮明な色成分信号のＭＴＦ特性を利用して鮮鋭化してＭＴＦを整合させる。このために、まず、鮮明な色成分信号を基準色成分として、当該基準色成分のＭＴＦ特性を、ぼけた色成分信号のＭＴＦ特性に近づける、または一致するように平滑化してぼかす。すなわち、図５に示す例では、Ｇ成分のＭＴＦ特性を、Ｒ成分、およびＢ成分のそれぞれのＭＴＦ特性に近づけるように平滑化する。

その結果、図５（ｄ）に示すようなＧ成分のＭＴＦ特性をＲ成分のＭＴＦ特性に近づけるように強くぼかした＜Ｇ＞_強と、図５（ｅ）に示すようなＧ成分のＭＴＦ特性をＢ成分のＭＴＦ特性に近づけるように弱くぼかした＜Ｇ＞_弱とを得る。そして、図５（ｆ）に示すように、色差成分Ｃｒ、Ｃｂを、Ｒ成分およびＢ成分のそれぞれに対応して平滑化したＧ成分、すなわち＜Ｇ＞_強および＜Ｇ＞_弱を用いて生成する。

その後、生成した色差成分ＣｒおよびＣｂと、平滑化を行っていない元のＧ成分とに基づいてＲＧＢ表色系に戻せば、Ｒ、Ｂ各成分のＭＴＦ特性をＧ成分のＭＴＦ特性になぞらえるようにして一致させる、または近づけることが可能となり、整合をとることができる。換言すれば、Ｒ成分およびＢ成分のそれぞれに、元のＧ成分と、異なる平滑化度合いでそのＧ成分を平滑化して得た＜Ｇ＞_強および＜Ｇ＞_弱のそれぞれとの差分とを加えることによって、Ｒ、Ｂ各成分のＭＴＦ特性を、鮮明なＧ成分のＭＴＦ特性に整合させることができる。

すなわち、Ｒ成分は次式（１）により、Ｂ成分は次式（２）によりそれぞれ補正することによって、ＭＴＦ特性が高い他の色成分（Ｇ成分）を利用して、Ｒ、Ｂの各成分の軸上色収差を補正する。
Ｒ´＝Ｒ＋（Ｇ−＜Ｇ＞_強） ・・・（１）
Ｂ´＝Ｂ＋（Ｇ―＜Ｇ＞_弱） ・・・（２）

このように、ＭＴＦ特性が低い色成分のみからでは回復し得ない高周波成分のコントラスト情報を、ＭＴＦ特性が高い他の色成分を利用して復元することによって、高精細な軸上色収差補正を可能としており、ＲＧＢ間のサンプリング周波数の等しい３板式での効果はさることながら、ＲＧＢ間のサンプリング周波数の異なるＢａｙｅｒ配列ではより顕著な効果を得ることができる。

次に、ＭＴＦ特性を整合させるために、式（１）および（２）において必要なぼかし量の決定方法について説明する。従来技術（特開２００１−１０３３５８号公報）では相関をみて決めると記載してあるが、相関の具体的定義がなされておらず、正しく相関が得られるかどうかは不明である。本発明では、ぼかし量に対する色成分間の色差彩度応答（色応答）をぼかし量を決定するに当たっての指標とする。

図５で上述したように、ＭＴＦ特性を整合させていくと徐々に色成分間の画像構造が近づいて、色滲み分の彩度が低下する。そして、さらにぼかし続けると逆に画像構造が異なってしまうため、逆に色付き始めると考えられる。このようにして最小彩度を与えるぼかし量でＭＴＦ整合を図る。以下、図６および図７を用いて、詳細に説明する。

図６において、色応答特性６ａは、ぼかし量に対して彩度が変化する色応答特性において、上述したように最小彩度を与えるぼかし量でＭＴＦ整合を図ることができる場合の色応答特性を示している。この色応答特性６ａに基づいて決定したぼかし量は、図７（ａ）に示すような無彩色部における画像構造の場合には正しいぼかし量となるが、図７（ｂ）に示すような赤白色境界（白地に赤線があるときの白と赤の境界）のような画像構造がある場合には正しいぼかし量とはならない。この図７（ｂ）に示すような場合には、Ｃｒ彩度は、色応答特性６ｂに示すように、Ｇ成分をぼかせばぼかすほど彩度が低下し続けるので、最小彩度を与えるぼかし量で軸上色収差補正を行った場合に、画像構造が大きく破綻する恐れがある。

そこで本実施の形態では、基準色成分をＭＴＦ整合に必要な程度のぼかし量よりも大きなぼかし量でぼかした結果、色応答がどのように変化するかによって、軸上色収差による画像劣化部か、本来の画像色構造部かを見分ける。すなわち、巨大ぼかしに対する色応答をテストして、画像に含まれる色発生要因の種別を判別する。

具体的には、色応答特性６ａのように、Ｇ成分を大きくぼかした結果、色応答特性が極小点を持つような関数で表される場合には、軸上色収差による画像劣化部であると判別する。これに対して、色応答特性６ｂのように、Ｇ成分を大きくぼかした結果、色応答特性が単調減少関数で表される場合には、本来の画像色構造部であると判別する。これによって、画像構造の非破壊性の非常に高い軸上色収差の補正が可能となる。

以下、画像構造を判別しながら、各色成分間のＭＴＦ特性の不整合を補正して、軸上色収差に伴う色滲みを解消する処理について、具体的に説明する。

（１−１）Ｂａｙｅｒの画像入力
まず、撮像素子１０２で撮像されたＢａｙｅｒ画像を画像メモリ１１２から読み込んで、画像処理の対象とする。なお、Ｂａｙｅｒ画像の各画素[ｉ，ｊ]には、図８に示すように、Ｒ、Ｇ、Ｂのいずれかの色成分の色情報、すなわち色成分値（ＣＣＤの信号値に対応する値）が存在する。また、[ｉ，ｊ]は画素位置を示す座標である。

（１−２）方向判定
従来の補間処理と同様にＢａｙｅｒ画像を用いてＲ／Ｂ画素位置における方向の類似性判定を行う。なお、第１の実施の形態では、一般的な公知の手法により方向判定を行うが、他の公知手法により方向判定を行ってもよい。

（１−２−１）類似度の算出
次式（３）および（４）により、Ｒ，Ｂ位置についてそれぞれ縦方向の類似度Ｃｖ［ｉ，ｊ］、横方向の類似度Ｃｈ［ｉ，ｊ］を算出する。
Cv[i,j]={(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2+|G[i,j-1]-G[i,j+1]|}/2 ・・・（３）
Ch[i,j]={(|G[i-1,j]-Z[i, j]|+|G[i+1,j]-Z[i,j]|)/2+|G[i-1,j]-G[i+1,j]|}/2 ・・・（４）
なお、式（３）および（４）において、ＺはＲまたはＢを表す。

（１−２−２）類似性判定
次に、次の条件式（５）に基づいて、類似度を比較して方向指標に変換する。
If |Cv[i,j]-Ch[i,j]|=<Th1 THEN HV[i,j]=0 → 縦横類似性不明
else if Cv[i,j]<Ch[i, j] THEN HV[i,j]=1 → 縦類似
else HV[i,j]= -1 THEN 横類似 ・・・（５）
なお、閾値Ｔｈ１は２５６階調のときは１０前後の値をとり、画像のノイズが多いときはさらに高めに設定する。

（１−３）ＭＴＦ変調Ｂａｙｅｒ画像作成
ＲＧＢ色成分間のＭＴＦ整合を行うため、各色成分に対して複数通りのぼかし画像を生成する。ただし、この実施形態ではＢａｙｅｒ配列で輝度を表すＧ成分の配置密度が高いので、Ｒ，Ｂ成分のＭＴＦは元々Ｂａｙｅｒサンプリングに伴って劣っていると考えられ、Ｇ成分について複数通りのぼかし（平滑化）を行えばよい。すなわち、Ｇ成分を基準色成分として、このＧ成分の鮮鋭度を変化させる。

ここでは、図９（ａ）に示す弱い平滑化フィルタ（＜＞_３×３）、図９（ｂ）に示す強い平滑化フィルタ（＜＞_５×５）、および式（６）に示す色構造判別のための巨大ぼかしフィルタ（＜＞_{６５×６５}）を用いて、Ｇ成分について３通りのぼかし画像を生成する。これによって、ぼかしなし（＜＞_１×１）の場合を含む４通りのＧ面、＜Ｇ＞_１×１、＜Ｇ＞_３×３、＜Ｇ＞_５×５、および＜Ｇ＞_{６５×６５}を得ることができる。

この＜＞_{６５×６５}は、上述したように、色構造判別のための巨大ぼかしフィルタであることから、一般的な軸上色収差の発生に伴う、Ｇ成分とＲ成分の鮮鋭度の差異よりも、Ｇ成分を＜＞_{６５×６５}を使用してぼかした後のＧ成分とＲ成分の鮮鋭度の差異の方が大きくなるように定義されたフィルタである。

なお、式（６）では、図９（ｂ）に示す＜＞_５×５のフィルタを８回繰り返しかけることによって、＜Ｇ＞_{６５×６５}を算出している。すなわち、＜＞_５×５のフィルタを８回繰り返しかけることによって、＜＞_{６５×６５}のフィルタをかけることと等価になることを意味している。なお、本実施の形態では、上述した＜＞_３×３、＜＞_５×５、＜＞_{６５×６５}の３通りのフィルタを使用する例について説明するが、これらの間のフィルタを更に細かく定義して使用してもよい。

（１−４）仮想的色差面生成
（１−３）で得た＜Ｇ＞_１×１、＜Ｇ＞_３×３、＜Ｇ＞_５×５、および＜Ｇ＞_{６５×６５}の４通りのＧ面をＢａｙｅｒ面のＲ位置に補間した後に、Ｒ位置に４通りのＣｒ成分（色差成分）を作成する。次式（７）〜（１０）は、Ｒ位置に作成した４通りのＣｒ成分をそれぞれＣｒ０、Ｃｒ１、Ｃｒ２、およびＣｒ３とした場合に、これらのＣｒ０、Ｃｒ１、Ｃｒ２、Ｃｒ３を模式的に表したものである。
Cr0[i,j]=R[i,j]-<G[i,j]>_1×1 ・・・（７）
Cr1[i,j]=R[i,j]-<G[i,j]>_3×3 ・・・（８）
Cr2[i,j]=R[i,j]-<G[i,j]>_5×5 ・・・（９）
Cr3[i,j]=R[i,j]-<G[i,j]>_65×65 ・・・（１０）

このうち、Ｃｒ０面の生成について説明する。具体的には、次式（１１）によってＲ位置にＣｒ０面を生成する。他のＣｒ１，Ｃｒ２、およびＣｒ３の各面についても同様に算出できる。なお、ここでは、ベイア配列のＲ位置にのみＣｒを生成し、その他の位置について補間処理は行わない。
If HV[i,j]=1 THEN Cr0[i,j]=R[i,j]-(G[i,j-1]+G[i,j+1])/2
else if HV[i,j]=-1 THEN Cr0[i,j]=R[i,j]-(G[i-1,j]+G[i+1,j])/2
else Cr0[i,j]=R[i,j]-(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 ・・・（１１）

また、上述したＣｒ面の生成処理と同様に、B位置に４通りのＣｂ成分（Ｃｂ０、Ｃｂ１、Ｃｂ２、およびＣｂ３）も生成する。なお、以下の説明においては、説明の簡略化のため、Ｃｒ面に対する処理について説明するが、Ｃｂ面に対しても以下に説明するＣｒ面に対する処理と同様の処理を行えばよい。

（１−５）色指標の作成
次に、上述した４通りのぼかし方に対して生成されうる画像の色の変化を相互に比較するための色指標Ｃｄｉｆｆを作成する。ここでは、色差の彩度変化そのものを色指標とする。以下、（１−４）で生成したＣｒ面を使用して、Ｒ成分とＧ成分との間のＭＴＦ整合に必要なぼかし量を決めるための処理を説明するが、Ｂ成分とＧ成分との間のＭＴＦ整合に必要なぼかし量もＣｂ面を使って同様に決定することができる。

次式（１２）〜（１５）により、Ｒ画素位置に４通りの色差成分に対応する色指標をそれぞれ生成する。なお、次式（１２）〜（１５）においては、Ｃｒ０に対応する色指標をＣｄｉｆｆ０、Ｃｒ１に対応する色指標をＣｄｉｆｆ１、Ｃｒ２に対応する色指標をＣｄｉｆｆ２、およびＣｒ３に対応する色指標をＣｄｉｆｆ３と表している。
Cdiff0[i,j]=|Cr0[i,j]| ・・・（１２）
Cdiff1[i,j]=|Cr1[i,j]|+α1 ・・・（１３）
Cdiff2[i,j]=|Cr2[i,j]|+α2 ・・・（１４）
Cdiff3[i,j]=|Cr3*[i,j]|+α3-β3 ・・・（１５）

なお、式（１３）〜（１５）におけるα１、α２、α３、およびβ３は画像構造の非破壊性能を向上するための補正項であり、式（１５）における＊はＣｒ３面に対するローパスによる補正処理である。式（１３）〜（１５）では、これらの補正項や補正処理がなくても本発明は成立するが、本実施の形態では、画像構造の非破壊性能を向上するために、補正項を取り入れた場合の例について説明する。これらのα１、α２、α３、およびβ３は、それぞれ次式（１６）〜（１９）のように算出される。
If sign(Cr1[i,j])*sign(Cr0[i,j])=-1 then α1=|Cr1[i,j]-Cr0[i,j]|
else α1=0 ・・・（１６）
If sign(Cr2[i,j])*sign(Cr0[i,j])=-1 then α2=|Cr2[i,j]-Cr0[i,j]|
else α2=0 ・・・（１７）
If sign(Cr3[i,j])*sign(Cr0[i,j])=-1 then α3=|Cr3[i,j]-Cr0[i,j]|
else α3=0 ・・・（１８）
If 0≦Cdiff0[i,j]＜S1 then β3=Th1
Else if S1≦Cdiff0[i,j]＜S2 then β3=Th1+(Cdiff[i,j]-S1)*(Th2-Th1)/(S2-S1)
Else if S2≦Cdiff0[i,j] then β3=Th2 ・・・（１９）

上述したように、補正項α、βは画像構造非破壊性能を上げるために取り入れた方策であり、Ｃｒ３面に対するローパス処理は、巨大ぼかし応答に対してＭＴＦ不整合部が確実に補正されるように取り計らった方策である。すなわち、巨大ぼかしをした場合には色滲みは広範囲に広がるので、それらをかき集めて画素単位の揺らぎを防いで安定的に図６の色応答特性６ａに示すように彩度上昇するようにしたのがＣｒ３面に対するローパス処理の意味である。

補正項αは、ぼかし処理に対して色差成分の符号が変化（位相が変化）した場合、すなわち２つの色成分間の大小関係がぼかし処理の前後で反転した場合には、ＭＴＦ不整合部の単純彩度低下ではなく、画像構造部での色相変質を招いている可能性が高いことから、このような場合に彩度指標に対して制裁を科して、Ｃｒ０が選ばれやすくなるようにした補正項である。

補正項βは、ＭＴＦ不整合部では巨大ぼかしに対して彩度が確実に上がり始めるのに対して、色構造部ではその画像構造によっては必ずしも下がり続けることが保証されていないので、初めから画像構造部である可能性が高い場所は、ＭＴＦ不整合部における彩度上昇に影響を与えない程度に、彩度が図６の色応答特性６ｂに示すように単調減少するような環境を意図的に作るための補正項である。すなわち、ぼかしなしの初期彩度が高いほど色構造部である可能性が高く、誤判断時の影響も大きいので、初期彩度が大きいほどβ3の値を上げて、画像構造の非破壊性を高めている。

このため、式（１９）におけるＳ１、Ｓ２、Ｔｈ１、Ｔｈ２は、例えば、２５６階調に対して、初期彩度がＳ１＝１０〜２０、Ｓ２＝３０〜５０に対して、Ｔｈ１＝０〜５、Ｔｈ２＝１０〜２０などの値を設定する。なお、式（１５）において、Ｃｒ３＊[ｉ,ｊ]は、図１０に示すように、Ｃｒ３に、例えばフィルタ１０ａのようなフィルタをかけて算出される。

（１−６）ぼかし量の決定
上述したように、式（１２）〜（１５）で算出した４通りのＧ成分のぼかしに対する色指標を次式（２０）および（２１）により比較して、Ｒ画素位置に設定すべき色差成分Ｃｒを選択する。すなわち、次式（２０）により、Ｃｄｉｆｆ０〜Ｃｄｉｆｆ３のうち、最小（極小）の色指標をＣｄｉｆｆ＿ｍｉｎとして抽出する。そして、抽出したＣｄｉｆｆ＿ｍｉｎを条件式（２１）により判定して、Ｒ画素位置に設定すべき色差成分Ｃｒを選択する。
Cdiff_min[i,j]=MIN{Cdiff0[i,j],Cdiff1[i,j],Cdiff2[i,j],Cdiff3[i,j]} ・・・（２０）
If Cdiff_min[i,j]≧ThS then Cr[i,j]=Cr0[i,j]
else if Cdiff_min[i,j]=Cdiff0[i,j] then Cr[i,j]=Cr0[i,j]
else if Cdiff_min[i,j]=Cdiff1[i,j] then Cr[i,j]=Cr1[i,j]
else if Cdiff_min[i,j]=Cdiff2[i,j] then Cr[i,j]=Cr2[i,j]
else if Cdiff_min[i,j]=Cdiff3[i,j] then Cr[i,j]=Cr0[i,j] ・・・（２１）

式（２１）では、最小の色指標Ｃｄｉｆｆ＿ｍｉｎが所定の閾値Ｔｈｓ以上であるときには、最低到達彩度が依然として高いことを意味している。この場合には、Ｂａｙｅｒ画像に発生している色滲みは軸上色収差による淡い色滲みではなく、非常にカラフルな画像構造の色部分である可能性が高いので補正しないようにする。また、Ｃｄｉｆｆ＿ｍｉｎがＣｄｉｆｆ３である場合には、巨大ぼかしをした場合に彩度が最小となっていることから、図６の色応答特性６ｂに示したように、色応答特性がぼかし量に対して彩度が低下し続ける単調減少関数で表される場合を示している。よって、この場合にも補正を行わないようにする。それ以外の場合には、色応答特性は図６に示した色応答特性６ａのように、極小点を持つ関数で表されることから、彩度が極小値を与えるぼかし量で補正した色差面を代入して、色差成分Ｃｒを設定する。

次に、設定した色差成分が、最初の色差成分の値と比べて不自然な値になっていないかを判定する誤補正抑制処理を行う。色指標は色差の絶対値を通して調べたので、その符号についてもう一度確認を行うことによって判定を行うようにする。本実施の形態では、後に求める輝度面（Ｇ面）は色差面とは独立に生成されるので、それを先に求めて参照する場合の処理を説明する。具体的には、次式（２２）により判定する。
If (sign(Cr)*sign(Cr0)=-1) then {
If G[i,j] > ThL then Cr[i,j]=Cr0[i,j]
Else Cr[i,j]=0
} ・・・（２２）

式（２２）においては、色差成分の位相が反転する場合、かつ輝度が所定の閾値ＴｈＬより大きい場合には、Ｒ画素位置の色差Ｃｒを元のＣｒ０に戻している。これによって、明るくコントラストの高い部分での位相反転に対しては、より厳しく元の状態に戻すようにしている。これに対して、色差成分の位相が反転しているが輝度が低い場合には、色相が変わらないようにゼロ設定する。以上の処理によって、Ｒ画素位置における軸上色収差の補正されたＣｒが生成される。また、上述したように、同様の処理によって、Ｂ画素位置における軸上色収差の補正されたＣｂも生成される。

（１−７）補正済色差面生成
上述したＲ画素位置における軸上色収差の補正されたＣｒに基づいて、次式（２３）〜（２５）により、Ｂ位置、およびＧ位置にＣｒ面を補間する。なお、式（２３）〜（２５）では、Ｂ位置、およびＧ位置にＣｒ面を補間する例を示すが、同様に処理してＲ位置、Ｇ位置にＣｂ面も補間する。

Ｂ位置にＣｒ面を補間
Cr[i,j]=(Cr[i-1,j-1]+Cr[i-1,j+1]+Cr[i+1,j-1]+Cr[i+1,j+1])/4・・・（２３）
Ｇ位置にＣｒ面を補間 (same lines as R rows)
Cr[i,j]=(Cr[i-1,j]+Cr[i+1,j])/2 ・・・（２４）
Ｇ位置にＣｒ面を補間(same lines as B rows)
Cr[i,j]=(Cr[i,j-1]+Cr[i,j+1])/2 ・・・（２５）

（１−８）輝度面生成
輝度面は、ぼかし処理のない元のＢａｙｅｒ信号を用いて生成する。本実施の形態では、次式（２６）に示すように一般的に良く知られた方法で輝度面を生成する例を説明するが、他のもっと優れた方法により輝度面を生成してもよい。
Ｂａｙｅｒ面上のＲ／Ｂ位置
if HV[i,j]=1 THEN Gout[i,j]=(G[i,j-1]+G[i,j+1])/2
+(2×Z[i,j]-Z[i,j-2]-Z[i,j+2])/4
else if HV[i,j]=-1 THEN Gout[i,j]=(G[i-1,j]+G[i+1,j])/2
+(2×Z[i,j]-Z[i-2,j]-Z[i+2,j])/4
else Gout[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(4×Z[i,j]-Z[i,j-2]-Z[i,j+2]-Z[i-2,j]-Z[i+2,j])/8 ・・・（２６）

なお、式（２６）において、ＺはＲ位置ではＺ＝Ｒとなり、Ｂ位置ではＺ＝Ｂとなる。また、Ｂａｙｅｒ面上のＧ位置Ｇｏｕｔ［ｉ，ｊ］は、Ｂａｙｅｒ信号をそのまま代入することにより求められる。このようにして、軸上色収差の影響をあまり受けない輝度面を元のＢａｙｅｒ信号を使うことにより鮮鋭な解像が保たれた状態で復元することができる。

（１−９）表色系変換
上述した処理で、軸上色収差の除去されたＣｒ面、およびＣｂ面と、鮮鋭感を保持したＧ面の３つの色情報から、次式（２７）および（２８）によってＲＧＢ表色系への変換を行う。
Rout[i,j]=Cr[i,j]+Gout[i,j] ・・・（２７）
Bout[i,j]=Cb[i,j]+Gout[i,j] ・・・（２８）

以上の処理によって、読み込んだＢａｙｅｒ画像において、ＲＧＢいずれかの色成分に軸上色収差があり、これに伴って色滲みが生じた場合に、各色成分間のＭＴＦ特性の不整合を補正して、軸上色収差に伴う色滲みを解消することができる。そして、この軸上色収差に伴う色滲みを解消したＲＧＢ画像は、モニタ１１３に出力されて表示される。

図１１は、第１の実施の形態における画像処理装置１１０の動作を示すフローチャートである。図１１に示す処理は、レンズ１０１を介して撮像素子１０２によって撮像された画像が画像メモリ１１２に記憶されると起動するプログラムとして制御装置１１１によって実行される。

ステップＳ１０において、（１−１）で上述したように、撮像素子１０２で撮像されたＢａｙｅｒ画像を画像メモリ１１２から読み込んで、ステップＳ２０へ進む。ステップＳ２０では、（１−２）で上述したように、Ｂａｙｅｒ画像を用いてＲ／Ｂ画素位置における方向判定を行う。その後、ステップＳ３０へ進む。

ステップＳ３０では、（１−３）で上述したＭＴＦ変調Ｂａｙｅｒ画像作成処理を実行して、ステップＳ４０へ進む。ステップＳ４０では、（１−４）で上述した仮想的色差面生成処理を実行して、ステップＳ５０へ進む。ステップＳ５０では、（１−５）で上述した色指標の作成処理を実行して、ステップＳ６０へ進む。ステップＳ６０では、（１−６）で上述したように、ぼかし量の決定処理を実行して、ステップＳ７０へ進む。

ステップＳ７０では、（１−７）で上述した補正済色差面生成処理を実行してステップＳ８０へ進み、（１−８）で上述した輝度面生成処理を実行する。そして、ステップＳ９０へ進み、（１−９）で上述したように表色系変換処理を行って、軸上色収差の除去されたＣｒ面、およびＣｂ面と、鮮鋭感を保持したＧ面の３つの色情報からＲＧＢ表色系への変換を行う。その後、ステップＳ１００へ進み、軸上色収差に伴う色滲みを解消した画像をモニタ１１３に出力し、処理を終了する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）基準色成分をＭＴＦ整合に必要な程度のぼかし量よりも大きなぼかし量でぼかした結果、色応答がどのように変化するかによって、軸上色収差による画像劣化部か、本来の画像色構造部かを判別するようにした。これによって、精度高く軸上色収差による画像劣化部を判別することができる。

（２）軸上色収差による画像劣化部か、本来の画像色構造部かを判別した結果、軸上色収差による画像劣化部のみに対して補正を行うようにした。これによって、画像構造の非破壊性の非常に高い軸上色収差の補正が可能となる。

（３）色指標を作成するに当たって、画像構造の非破壊性能を向上するための補正項α、βを取り入れるようにした。これによって、巨大ぼかし応答に対してＭＴＦ不整合部のみが確実に補正されるようにすることができる。

（４）ぼかし量を決定するに当たっては、最小の色指標Ｃｄｉｆｆ＿ｍｉｎが所定の閾値Ｔｈｓ以上であるときには、色差成分Ｃｒを補正しないようにした。これによって、Ｃｄｉｆｆ＿ｍｉｎが所定の閾値Ｔｈｓ以上である場合には、最低到達彩度が依然として高いことを意味していることから、Ｂａｙｅｒ画像に捉えられた色信号は軸上色収差による淡い色滲みではなく、非常にカラフルな色部分である可能性が高いことを加味して、補正が不要であることを精度高く判定することができる。

（５）Ｃｄｉｆｆ＿ｍｉｎがＣｄｉｆｆ３である場合に、色差成分Ｃｒを補正しないようにした。これによって、Ｃｄｉｆｆ＿ｍｉｎがＣｄｉｆｆ３であるときには、巨大ぼかしをした場合に彩度が最小となっていることから、図６において色応答特性６ｂで上述したように、ぼかし量に対して彩度が低下し続ける場合を示していることを加味して、補正が不要であることを精度高く判定することができる。

―第２の実施の形態―
上述した第１の実施の形態では、単板式カラー撮像素子によって撮像されたＢａｙｅｒ画像のように補間を行う前の画像データに対する軸上色収差補正について説明した。これに対して第２の実施の形態では、３板式カラー撮像素子で撮影されたカラー画像、すなわち、各画素にＲ、Ｇ、Ｂの色成分の情報が全て存在するカラー画像のデータの軸上色収差補正について説明する。

なお、図１〜図７、図９、および図１０の各図については、第１の実施の形態と同様のため、説明を省略する。ただし、図１に示すブロック図においては、３板式カラー撮像素子を使用して各画素にＲ、Ｇ、Ｂ成分が揃ったカラー画像を取得する場合は、撮像素子１０２を単板式カラー撮像素子から３板式カラー撮像素子に置き換えるものとする。

第１の実施の形態で上述した単板式撮像画像で行った軸上色収差の補正処理を模式的に書くと、次式（２９）〜（３１）のようになる。
Ｒ´＝Ｒ＋（Ｇ−＜Ｇ＞_ｍ×ｍ） ・・・（２９）
Ｇ´＝Ｇ ・・・（３０）
Ｂ´＝Ｂ＋（Ｇ−＜Ｇ＞_ｎ×ｎ） ・・・（３１）

すなわち、第１の実施の形態では、Ｒ、Ｂの少なくとも１つの色成分以外の色成分（Ｇ成分）内で、例えば＜Ｇ＞_ｍ×ｍまたは＜Ｇ＞_ｎ×ｎのようなフィルタを適用してフィルタリングすることによって、撮像画像の少なくとも１つの色成分の鮮鋭度を変化させる。このとき、ｍ×ｍ、ｎ×ｎのぼかしの範囲を巨大ぼかしまで変化させ、Ｒ´とＧ´間、Ｂ´とＧ´間の色応答を調べて、画像劣化部と画像構造部とを区別しながら、軸上色収差補正に必要なぼかし量を決定した。

これと同様のことを３板式撮像画像についても行うことができる。例えば、最も良いＭＴＦ特性がＧ成分であった場合、Ｇ成分のＭＴＦ特性にＲ、Ｂ成分のＭＴＦ特性を鮮鋭化して揃えようとするときは、式（２９）〜（３１）に示したＢａｙｅｒ配列と同様に他の色成分の高周波情報を用いて補正を行うことができる。

あるいは、次式（３２）〜（３４）に示すように、各色面内の情報だけを用いてエッジ強調による鮮鋭化を行ってもよい。すなわち、Ｒ、Ｂの少なくとも１つの色成分内で、＜Ｒ＞_ｍ×ｍまたは＜Ｂ＞_ｎ×ｎのような平滑化フィルタを適用してフィルタリングすることによって、撮像画像の少なくとも１つの色成分の鮮鋭度を、いわゆるアンシャープマスキング処理により変化させるようにしてもよい。
Ｒ´＝Ｒ＋（Ｒ−＜Ｒ＞_ｍ×ｍ） ・・・（３２）
Ｇ´＝Ｇ ・・・（３３）
Ｂ´＝Ｂ＋（Ｂ−＜Ｂ＞_ｎ×ｎ） ・・・（３４）

式（３２）〜（３４）を用いて補正を行う場合には、第１の実施の形態と同様に、ぼかし量＜Ｒ＞_ｍ×ｍ、＜Ｂ＞_ｎ×ｎを巨大ぼかしまで含めたＲ´とG´間、Ｂ´とG´間の色応答を、上述した式（１２）〜（２２）により調べて、画像劣化部と画像構造部とを判別する。

以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて、３板式カラー撮像素子で撮影された３板式撮像画像に対しても、画像構造の非破壊性の非常に高い軸上色収差の補正を行うことができる。

―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した第１の実施の形態では、式（１２）〜（１５）に示したように、色指標Ｃｄｉｆｆを｜Ｃｒ｜、｜Ｃｂ｜単独でそれぞれ評価する例について説明した。しかしこれに限定されず、Ｂ画素位置、Ｒ画素位置に対してそれぞれ補間値を生成しておいて、Ｒ／Ｂ画素で次式（３２）を定義し、Ｃｒに対するＧぼかし量とＣｂに対するＧぼかし量を二次元的に探索してもよい。
Cdiff[i,j]=(|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[[i,j]|)/3 ・・・（３２）

（２）また、変形例（１）において、色応答の評価をＬＣＨ色空間のＣを用いて評価するようにしてもよい。すなわち、式（３２）におけるＣｄｉｆｆ[ｉ,ｊ]の代わりに、ＬＣＨ色空間のＣを評価するようにしてもよい。

（３）上述した第１および２の実施の形態では、デジタルカメラ１００に搭載した制御装置１１１によって、各種画像処理を行い、レンズ１０１を介して撮像素子１０２で撮像した画像の軸上色収差補正を行う例について説明した。しかしこれに限定されず、例えば、上述した内容の画像処理を実行するプログラムをパソコンなどの電子機器にインストールしておき、デジタルカメラで撮像した画像を各種インターフェースを介して当該電子機器に取り込んでから軸上色収差補正を行うようにしてもよい。なお、このようなプログラムは、ＣＤなどの記録媒体やインターネットなどの電気通信回線を介してパソコンなどの電子機器に提供される。

図１２はその様子を示す図である。パソコン２００は、記録媒体であるＣＤ−ＲＯＭ２０４を介してプログラムの提供を受ける。また、パソコン２００は通信回線２０１との接続機能を有する。コンピュータ２０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク２０３などの記録媒体にプログラムを格納する。通信回線２０１は、インターネットなどの通信回線、あるいは専用通信回線などである。コンピュータ２０２はハードディスク２０３を使用してプログラムを読み出し、通信回線２０１を介してプログラムをパソコン２００に送信する。すなわち、プログラムをデータ信号として搬送波にのせて（embody）、通信回線２０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００５年第２８４５６８号（２００５年９月２９日出願）

Claims (12)

1. 光学系を通して撮像された撮像画像の少なくとも１つの色成分の鮮鋭度を変化させ、前記鮮鋭度を変化させた色成分を含む少なくとも２つの色成分間の色応答特性の違いに基づいて、前記撮像画像の画像構造に起因する色成分と、前記光学系の色収差に起因する色成分とを判別する判別部を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記判別部による判別結果に基づいて、前記光学系の色収差に起因する色成分を補正する補正部をさらに備えることを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記判別部は、前記少なくとも２つの色成分間の色応答特性が前記鮮鋭度の変化に対して単調減少関数で表される場合には、前記鮮鋭度を変化させた少なくとも１つの色成分は、前記撮像画像の画像構造に起因する色成分であると判別することを特徴とする画像処理装置。
4. 請求項１または２に記載の画像処理装置において、
   前記判別部は、前記少なくとも２つの色成分間の色応答特性が前記鮮鋭度の変化に対して極小点を持つ関数で表される場合には、前記鮮鋭度を変化させた少なくとも１つの色成分は、前記光学系の色収差に起因する色成分を含んだ色成分であると判別することを特徴とする画像処理装置。
5. 請求項１、３、４のいずれか１項に記載の画像処理装置において、
   前記判別部は、前記少なくとも１つの色成分内でフィルタリングすることによって、前記撮像画像の少なくとも１つの色成分の鮮鋭度を変化させる、または、前記少なくとも１つの色成分以外の色成分内でのフィルタリング結果に基づいて、前記撮像画像の少なくとも１つの色成分の鮮鋭度を変化させることを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記判別部は、前記光学系の色収差に起因する色成分間における鮮鋭度の差異よりも、前記鮮鋭度を変化させた色成分を含む少なくとも２つの色成分間の鮮鋭度の差異が大きくなるように、前記少なくとも１つの色成分の鮮鋭度を変化させることを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記少なくとも１つの色成分の鮮鋭度を変化させる前の前記撮像画像が有する初期彩度に応じて、前記色応答特性を補正する色応答特性補正部をさらに備えることを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記少なくとも２つの色成分間の値の大小関係が、前記少なくとも１つの色成分の鮮鋭度を変化させた前後で反転している場合、前記色応答特性を補正する色応答特性補正部をさらに備えることを特徴とする画像処理装置。
9. 請求項４に記載の画像処理装置において、
   前記判別部は、前記色応答特性の極小点における値が所定値より大きい値を示す場合は、前記鮮鋭度を変化させた少なくとも１つの色成分は、前記撮像画像の画像構造に起因する色成分であると判別することを特徴とする画像処理装置。
10. 請求項１〜９のいずれか一項に記載の画像処理装置において、
    前記撮像画像は、１つの画素に少なくとも１つの色成分が欠落する画像であることを特徴とする画像処理装置。
11. 光学系を通して撮像された撮像画像を取得し、
    前記取得した撮像画像の少なくとも１つの色成分の鮮鋭度を変化させ、前記鮮鋭度を変化させた色成分を含む少なくとも２つの色成分間の色応答特性の違いに基づいて、前記撮像画像の画像構造に起因する色成分と、前記光学系の色収差に起因する色成分とを判別することを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法において、
    判別結果に基づいて、前記光学系の色収差に起因する色成分を補正することを特徴とする画像処理方法。

Images