JP4797478B2

JP4797478B2 - 画像処理装置

Info

Publication number: JP4797478B2
Application number: JP2005205355A
Authority: JP
Inventors: 健一石賀; 暁彦宇津木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2005-07-14
Filing date: 2005-07-14
Publication date: 2011-10-19
Anticipated expiration: 2025-07-14
Also published as: JP2007028041A

Description

本発明は、光学系を通して撮像された画像を補正する画像処理装置に関する。

次のような色収差補正装置が特許文献１によって知られている。この色収差補正装置では、３色が揃ったカラー画像に対して、ＲＧＢ面撮像素子の配置傾きによって生じたＲＧＢ間の焦点ずれを、基準色面に対して他の色面に平滑化ないしは鮮鋭化フィルタを掛けて、色面間の相関が最大となるように可変フィルタのパラメータを探索して補正する。

特開２００１−１０３３５８号公報

しかしながら、従来の装置によれば、色面間の相関が最大となるように可変フィルタのパラメータを探索しているが、その相関の見方についての具体的な手法が開示されていないという問題が生じていた。

請求項１に記載の画像処理装置は、光学系を通して撮像され、１つの画素に複数の色成分の少なくとも１つを有し、撮像面において少なくとも２つの色成分の間でＭＴＦ特性が異なる第１の画像をＭＴＦ特性が整合した第２の画像に変換する画像処理装置であって、前記第１の画像の前記少なくとも２つの色成分の内の１つの色成分に対して、複数の平滑化度合いの異なった平滑化処理を行う平滑化手段と、前記複数の平滑化度合いで平滑化処理を行った各画像の各画素に前記少なくとも２つの色成分の間の色差成分を生成し、生成した色差成分の絶対値の大きさが最小値となる平滑化度合いを決定する決定手段と、前記決定手段で決定した１つの平滑化度合いで平滑化処理を行った結果に基づいて、前記少なくとも２つの色成分の内の１つの色成分のＭＴＦ特性を他の色成分のＭＴＦ特性に整合させる画像変換手段と、を備えることを特徴とする。
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記比較手段は、前記平滑化処理を行わない場合の色差成分として、生成した色差成分に対して周辺画素の色差成分との間で補正処理を行った後の色差成分を使用することを特徴とする。
請求項３に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記決定手段は、１つの画素に対して異なる色情報を表す複数種類の色差成分を生成するとき、各々の種類の色差成分を構成する前記第１の画像の色成分毎に、前記平滑化処理の平滑化の度合いを決定することを特徴とする。
請求項４に記載の画像処理装置は、請求項１〜３のいずれか一項に記載の画像処理装置において、前記決定手段は、画素ごとにそれぞれ平滑化の度合いを決定することを特徴とする。
請求項５に記載の画像処理装置は、請求項１〜３のいずれか一項に記載の画像処理装置において、前記決定手段は、複数の画素にまたがって共通の平滑化の度合いを決定することを特徴とする。

本発明によれば、複数の平滑化度合いで平滑化処理を行った画像間でＭＴＦ特性変化に対する色応答を比較を比較して、その比較結果に基づいて、第１の画像の色成分に対する平滑化の度合いを精度高く決定することができる。

―第１の実施の形態―
第１の実施の形態では、軸上色収差に関する光学系情報は全く持たずに画像自身の中から自己検出して補正する方式を示す。横方向の収差である倍率色収差の自己検出法は、空間方向のＲＧＢ面間の類似性を測ることで比較的行いやすいが、縦方向の収差である軸上色収差の自己検出法として、何を指標とすればよいのか自明ではないので、その手法を示す。それにより同一レンズ状態でも被写体距離によって変化する軸上色収差にも対応することができる。すなわち、無限遠焦点の風景写真で手前の被写体が赤かぶり、遠方の被写体が青かぶりになるような状況や、至近撮影でレンズピント位置に対して被写体位置のセンチメートルオーダーの前後配置関係による急激な軸上色収差の応答変化が起きるような状況にも対応することができる。

図１は、第１の実施の形態における画像処理装置をデジタルカメラに搭載した場合の一実施の形態の構成を示すブロック図である。デジタルカメラ１００は、レンズ１０１と、ＣＣＤなどで構成される撮像素子１０２と、画像処理装置１１０とを備えている。撮像素子１０２においては、例えば、単板式カラー撮像素子の最も代表的なＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがＢａｙｅｒ配列されている。この撮像素子１０２で撮像される画像データはＲＧＢ表色系で示されるものとし、画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在しているものとする。すなわちＢａｙｅｒ画像であるものとする。

画像処理装置１１０は、ＣＰＵやその他周辺回路を含み、後述する画像処理を実行する制御装置１１１と、撮像素子１０２によって撮像された画像を格納する画像メモリ１１２と、画像処理後の画像を表示するモニタ１１３とを備えている。このデジタルカメラにおいては、レンズ１０１を通して撮像素子１０２で撮像されたＢａｙｅｒ画像の画像データは、制御装置１１１によってＡ／Ｄ変換されてデジタル信号に変換され、画像メモリ１１２に記憶される。

このように撮像素子１０２によって撮像され、画像メモリに記憶された画像データにおいては、軸上色収差に伴う色滲みが発生している可能性がある。すなわち、無彩色の黒線被写体を撮像した場合に、軸上色収差がない場合には、図２（ａ）に示すようなＲＧＢの各成分にぼけ信号は発生しないが、例えば、結像面においてＲ成分に大きな軸上色収差がある場合には、図２（ｂ）に示すようにＲ成分にぼけ信号が発生する。すなわち、Ｇ成分とＢ成分の信号は鮮明な色成分信号であるのに対して、Ｒ成分の信号はぼけた色成分信号となっている。

この場合、Ｒ成分に発生したぼけ信号が、黒線被写体位置に回り込んで赤だけ浮き上がるので全体的に赤っぽい線として撮像され、特に黒線被写体のエッジ部近辺では赤滲みが発生する。なお、Ｂ成分に大きな軸上色収差がある場合は、青滲みが発生し、ＲとＢ共に大きな軸上色収差がある場合は、マゼンタ滲みが発生する。

このような画像は、一般にＢａｙｅｒ配列のような単板撮像素子を利用して撮像され、欠落色成分を補間するので、補間アルゴリズム依存性が生じて状況はより複雑になるが、高性能なアルゴリズムほど忠実に軸上色収差を再現してしまうことが多い。そこで、本実施の形態では、補間アルゴリズム依存のないＢａｙｅｒ配列の状態のままで鮮鋭感を損なわないように輝度成分は従来のまま補間し、色差成分の生成において色成分間のＭＴＦ特性の違いをぼけた側に合わせる変換を行ってから従来の色差成分生成処理を行うようにして、軸上色収差に伴う色滲みの発生を防ぐ。

ここで、無彩色の黒線被写体を撮像した場合に、上述したような軸上色収差による色滲みが発生する原理について説明する。光学系を通して無彩色の黒線被写体を撮像したとき、軸上色収差が無い場合には、図３（ａ）に示すように撮像面でＲＧＢ各成分の焦点が一致している状態である。すなわち図３（ｂ）に示すように、ＲＧＢ各成分のＭＴＦ特性が整合している状態である。これに対して、Ｒ成分に軸上色収差がある場合には、図３（ｃ）に示すようにＲ成分のみ焦点が撮像面からずれており、図３（ｄ）に示すように、撮像面におけるＭＴＦ特性の不整合が生じている状態である。

第１の実施の形態においては、制御装置１１１は、ＲＧＢいずれかの色成分に軸上色収差があり、これに伴って色滲みが生じた場合に、各色成分間のＭＴＦ特性の不整合を補正して、軸上色収差に伴う色滲みを解消する。すなわち各色成分のＭＴＦ特性を一致させる、または近づけることによって整合させて、軸上色収差を解消する。具体的には、次のような原理によって軸上色収差に伴う色滲みを解消する。

例えば、ＲＧＢの各成分の信号レベルが、図４（ａ）〜（ｃ）の各図に示すような画像に対しては、Ｒ成分やＢ成分のようなぼけた色成分信号のＭＴＦ特性を、Ｇ成分のような鮮明な色成分信号のＭＴＦ特性を利用して鮮鋭化してＭＴＦを整合させる。このために、まず、鮮明な色成分信号を基準色成分として、当該基準色成分のＭＴＦ特性を、ぼけた色成分信号のＭＴＦ特性に近づける、または一致するように平滑化してぼかす。すなわち、図４に示す例では、Ｇ成分のＭＴＦ特性を、Ｒ成分、およびＢ成分のそれぞれのＭＴＦ特性に近づけるように平滑化する。

その結果、図４（ｄ）に示すようなＧ成分のＭＴＦ特性をＲ成分のＭＴＦ特性に近づけるように強くぼかした＜Ｇ＞_強と、図４（ｅ）に示すようなＧ成分のＭＴＦ特性をＢ成分のＭＴＦ特性に近づけるように弱くぼかした＜Ｇ＞_弱とを得る。そして、図４（ｆ）に示すように、色差成分Ｃｒ、Ｃｂを、Ｒ成分およびＢ成分のそれぞれに対応して平滑化したＧ成分、すなわち＜Ｇ＞_強および＜Ｇ＞_弱を用いて生成する。

その後、生成した色差成分ＣｒおよびＣｂと、平滑化を行っていない元のＧ成分とに基づいてＲＧＢ表色系に戻せば、Ｒ、Ｇ、Ｂ各成分のＭＴＦ特性をＧ成分のＭＴＦ特性になぞらえるようにして一致させる、または近づけることが可能となり、整合がとれる。換言すれば、Ｒ成分およびＢ成分のそれぞれに、Ｇ成分と、異なる平滑化度合いでＧ成分を平滑化して得た＜Ｇ＞_強および＜Ｇ＞_弱のそれぞれとの差分とを加えることによって、Ｒ、Ｂ各成分のＭＴＦ特性を、鮮明なＧ成分のＭＴＦ特性に整合させることができる。

すなわち、Ｒ成分は次式（１）により、Ｂ成分は次式（２）によりそれぞれ補正することによって、ＭＴＦ特性が高い他の色成分（Ｇ成分）を利用して、Ｒ、Ｂの各成分の軸上色収差を補正することが可能になる。
Ｒ´＝Ｒ＋（Ｇ−＜Ｇ＞_強）・・・（１）
Ｂ´＝Ｂ＋（Ｇ―＜Ｇ＞_弱）・・・（２）

このように、ＭＴＦ特性が低い色成分のみからでは回復し得ない微細構造情報を、ＭＴＦ特性が高い他の色成分を利用して復元することによって、従来にない高精細な軸上色収差補正が可能となる。さらに、色差成分のみに対してＭＴＦ整合のための平滑化を経た色信号を用いて軸上色収差補正を行い、軸上色収差の影響が目立たない輝度成分は、元の平滑化のなされていない色信号を用いて生成するので、鮮鋭感を維持した画像構造破壊性の少ない補正が可能となる。

以下、各色成分間のＭＴＦ特性の不整合を補正して、軸上色収差に伴う色滲みを解消する処理について具体的に説明する。

（１−１）Ｂａｙｅｒの画像入力
まず、撮像素子１０２で撮像されたＢａｙｅｒ画像を画像メモリ１１２から読み込んで、画像処理の対象とする。なお、Ｂａｙｅｒ画像の各画素[ｉ，ｊ]には、図５に示すように、Ｒ、Ｇ、Ｂのいずれかの色成分の色情報、すなわち色成分値（ＣＣＤの信号値に対応する値）が存在する。また、[ｉ，ｊ]は画素位置を示す座標である。

（１−２）方向判定
従来の補間処理と同様にＢａｙｅｒ画像を用いてＲ／Ｂ画素位置に於ける類似性の方向判定を行う。なお、第１の実施の形態では、次に説明するように、一般的な公知の手法により方向判定を行う。

（１−２−１）類似度の算出
次式（３）および（４）により、Ｒ，Ｂ位置についてそれぞれ縦方向の類似度Ｃｖ［ｉ，ｊ］、横方向の類似度Ｃｈ［ｉ，ｊ］を算出する。
Cv[i,j]={(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2+|G[i,j-1]-G[i,j+1]|}/2 ・・・（３）
Ch[i,j]={(|G[i-1,j]-Z[i, j]|+|G[i+1,j]-Z[i,j]|)/2+|G[i-1,j]-G[i+1,j]|}/2 ・・・（４）
なお、式（３）および（４）において、ＺはＲまたはＢを表す。

（１−２−２）類似性判定
次に、次の条件式（５）に基づいて、類似度を比較して方向指標に変換する。
If |Cv[i,j]-Ch[i,j]|=<Th1 THEN HV[i,j]=0 → 縦横類似性不明
else if Cv[i,j]<Ch[i, j] THEN HV[i,j]=1 → 縦類似
else HV[i,j]= -1 THEN 横類似・・・（５）
なお、閾値Th1は２５６階調のときは１０前後の値をとり、画像のノイズが多いときはさらに高めに設定する。

（１−３）複数通りのぼかしＢａｙｅｒ画像作成
ＲＧＢ色成分間のＭＴＦ整合を行うため、各色成分に対して複数通りのぼかし画像を生成する。ただし、この実施形態ではＢａｙｅｒ配列で輝度を表すＧ成分の配置密度が高いので、Ｒ，Ｂ成分のＭＴＦは元々Ｂａｙｅｒサンプリングに伴って劣っていると考えられ、可能性としてＧ成分について複数通りのぼかし（平滑化）を行えばよい。したがって、図６に示すような代表的な弱い平滑化フィルタ（図６（ａ））と強い平滑化フィルタ（図６（ｂ））を用いてＧ成分について２通りのぼかし画像を生成する。なお、もっと細かくたくさんのぼかし方を用意してもよいし、原画像とこれらによるぼかし画像の線形結合で中間状態を考えてもよい。

このように図６に示す２種類の平滑化フィルタを用いてぼかし画像を生成し、図７（ａ）に示す「Ｂａｙｅｒ０：ぼかしなし画像」、図７（ｂ）に示す「Ｂａｙｅｒ１：ぼかし弱画像」（図６（ａ）に示した弱い平滑化フィルタを用いてぼかした画像）、および図７（ｃ）に示す「Ｂａｙｅｒ２：ぼかし強画像」（図６（ｂ）に示した強い平滑化フィルタを用いてぼかした画像）の３種類のＢａｙｅｒ画像を得る。すなわち、ぼかしを行わない場合を含めた複数の平滑化の度合いで平滑化を行う。

（１−４）ぼかし組み合せによる複数通りの仮色差面生成
（１−３）で得た各ぼかし画像における３通りのＧ面を使用して、各画素に３通りの色差面であるＣｒ面とＣｂ面を作成する。すなわち、ＢａｙｅｒのＲ信号とＧ、Ｇ'、Ｇ柏M号に基づいて作ったＣｒ面をそれぞれＣｒ０，Ｃｒ１，Ｃｒ２とし、ＢａｙｅｒのＢ信号とＧ、Ｇ'、Ｇ柏M号に基づいて作ったＣｂ面をそれぞれＣｂ０、Ｃｂ１、Ｃｂ２として、３通りのＣｒ面、および３通りのＣｂ面を作成する。次式（６）〜（１１）は、これらのＣｒ０，Ｃｂ０、Ｃｒ１，Ｃｂ１、Ｃｒ２、Ｃｂ２を模式的に表したものである。

Cr0=R-<G> ・・・（６）
Cb0=B-<G> ・・・（７）
Cr1=R-<G'> ・・・（８）
Cb1=B-<G'> ・・・（９）
Cr2=R-<G"> ・・・（１０）
Cb2=B-<G"> ・・・（１１）

このうち、Ｃｒ０面の生成について説明する。具体的には、次式（１２）によってＲ位置にＣｒ０面を生成し、次式（１３）〜（１５）により、Ｒ位置以外の位置にＣｒ０面を補間する。なお、他のＣｒ１，Ｃｒ２、Ｃｂ０、Ｃｂ１、およびＣｂ２の各面についても同様に算出できる。
If HV[i,j]=1 THEN Cr0[i,j]=R[i,j]-(G[i,j-1]+G[i,j+1])/2
else if HV[i,j]=-1 THEN Cr0[i,j]=R[i,j]-(G[i-1,j]+G[i+1,j])/2
else Cr0[i,j]=R[i,j]-(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 ・・・（１２）

Ｂ位置にＣｒ０面を補間
Cr0[i,j]=(Cr0[i-1,j-1]+Cr0[i-1,j+1]+Cr0[i+1,j-1]+Cr0[i+1,j+1])/4・・・（１３）
Ｇ位置にＣｒ０面を補間 (same lines as R rows)
Cr0[i,j]=(Cr0[i-1,j]+Cr0[i+1,j])/2 ・・・（１４）
Ｇ位置にＣｒ０面を補間(same lines as B rows)
Cr0[i,j]=(Cr0[i,j-1]+Cr0[i,j+1])/2 ・・・（１５）
なお、色差面の生成方法については、上述した方法に限定されず、その他の公知の方法により生成してもよい。

（１−５）色指標の作成
次に、上述した（１−３）でぼかした各画像から生成され得る仮想的カラー画像の色の変化を相互に比較するための色指標、すなわち彩度の指標を作成する。上述したように、軸上色収差によるＭＴＦ不整合が合わせられると、軸上色収差に伴うエッジ部での色付き・色滲みは減る方向に作用する。したがって、正確なその減り方を測るため、２種類の色差面ＣｒおよびＣｂの各ぼかし方を組み合わせた場合も考慮して色指標を作成する。

なお、色指標とは、各々の画素の色の特徴を示し、各画素が低彩度であるか高彩度であるかを判定するために参照される指標であり、入力画像のＭＴＦ特性を変化させた場合に生成され得るカラー画像の色応答を見るための指標である。換言すれば、ＭＴＦ特性を変化させるための平滑化の度合いに応じて色応答がどのように変化するか、すなわち、ＭＴＦ特性を変化させるための平滑化の度合いに応じて色変化の度合いがどのように変化するかをモニタするための指標である。

ここで、色応答とは、任意の平滑化度合いで平滑化した結果、どのような色に変化するかを観察した場合の色の応答を意味し、色応答の変化とは、異なる複数の平滑化度合いで平滑化した場合の、それぞれの間の色応答の変化を意味する。

ここで述べる平滑化とは、式（１）、（２）を介して他の色成分を鮮鋭化するための補正信号を得るための途中過程処理の意味も含めて用いており、具体的には図４のボカシ量を少しずつ変えていった場合の最終的に得られるＲ´ＧＢ´画像の色の応答を見ることになる。すなわち、平滑化処理は、アンシャープマスク処理によるＭＴＦ補正画像を得るためのアンシャープ処理をも指す。さらに説明すると、Ｇ成分に対しては平滑化処理を行い、Ｒ，Ｂ成分に対しては鮮鋭化処理を行っているともいえる。

作成する色指標をＣｄｉｆｆとすると、その基本形は次式（１６）によって定義される。なお、本実施の形態では、色指標としてＣｄｉｆｆを定義するが、例えば、色差のみを色指標として定義して使用してもよい。
Cdiff[i,j]=|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]| ・・・（１６）

Ｒ成分のＭＴＦのみが低い場合は、Ｃｒ生成側のみのＧ成分がぼかされればよいし、Ｂ成分のＭＴＦのみが低い場合は、Ｃｂ生成側のみのＧ成分がぼかされればよく、その両方のＭＴＦが低い場合は両側のＧ成分がぼかされていなければならない。

ここで、Ｒ、ＢともにＧ成分のぼかしのないＣｄｉｆｆ＿ｒ０ｂ０だけは、単にＣｒおよびＣｂ成分を生成しただけの値を用いずに、更にそれに対して色差面補正処理を行ったＣｒ０＊、Ｃｂ０＊を用いている。これは、画像構造に起因する偽色の発生に伴って受ける色指標の変動要因に対して、危険性の多いぼかし処理側よりも安全な解を出しやすいぼかしなし側を安定的に色評価されるようにするためである。また、反対色ペアのような画像構造があっても意図的にＣｄｉｆｆ＿ｒ０ｂ０の彩度を下げておくことによって、軸上色収差のＭＴＦ整合とは異なり画像構造が要因となって彩度が下がってしまう可能性のあるぼかし側のＣｄｉｆｆに対抗しておいて、画像構造破壊を防ぐような色指標評価値に変えるためでもある。

Ｃｒ０およびＣｂ０に対する色差面補正処理の例としては、次式（２６）に示すようなローパス処理がある。
Cr*[i,j]
={36×Cr[i,j]
+24×(Cr[i-2,j]+ Cr[i+2,j]+Cr[i,j-2]+ Cr[i,j+2])
+16×(Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2])
+6×(Cr[i-4,j]+ Cr[i+4,j]+Cr[i,j-4]+ Cr[i,j+4])
+4×(Cr[i-2,j-4]+Cr[i+2,j-4]+Cr[i-2,j+4]+Cr[i+2,j+4]
Cr[i-4,j-2]+Cr[i+4,j-2]+Cr[i-4,j+2]+Cr[i+4,j+2])
+(Cr[i-4,j-4]+Cr[i+4,j-4]+Cr[i-4,j+4]+Cr[i+4,j+4])}/256 ・・・（２６）

この色差面補正処理は、式（２６）に示したローパス処理に限定されず、その他の方法としてメディアンフィルタ等を用いてもよし、フィルタの範囲を変えてもよい。また、式（２６）では、Ｃｒ＊［ｉ，ｊ］を算出する例について説明したが、Ｃｂ＊［ｉ，ｊ］も同様に算出可能である。

なお、収差に伴うＭＴＦ不整合のぼかし量に対する非常に微妙な色変化の情報は、余計なフィルタリング処理によって失われてしまう可能性があるので、色差面生成直後の状態で比較するのが好ましいことから、Ｃｄｉｆｆ＿ｒ０ｂ０以外は色差面補正処理を行わないように定義している。また、Ｃｄｉｆｆ＿ｒ０ｂ０も色差面補正処理を行わないように定義してもよい。

（１−６）ぼかし量の決定
軸上色収差に伴うＭＴＦ不整合をなくして生成された色差面は、色滲みによる色発生が減り低彩度側に変化すると考えられる。上述したぼかし処理では、画像構造に伴って発生する補間偽色の要因を低彩度側にシフトする対策も事前に施された色指標を生成しているので、相互に色指標を比較して最も低い彩度レベルとなるようなぼかし量のＣｒとＣｂの組み合せを、最終的に画像生成のために利用するぼかし量とすることができる。すなわち、次式（２７）に示す条件式により、Ｃｄｉｆｆ＿ｒ０ｂ０からＣｄｉｆｆ＿ｒ２ｂ２の中で値が最小になるものを画素ごとに抽出し、そのときのＣｒ，およびＣｂを生成するのに用いたぼかし量がそれぞれＧ、Ｇ'、およびＧ"のいずれであるかを画素ごとに判定することによって、最終的に画像生成のために利用する離散的なぼかし量、すなわち平滑化の度合いを決定することができる。

(Cr生成時Gぼかし量, Cb生成時Gぼかし量)
= arg min (Cdiff_r0b0, Cdiff_r1b0, ... , Cdiff_r2b2)
(G,G',G" for Cr),
(G,G',G" for Cb) ・・・（２７）
これによって、生成した色指標のそれぞれを画素単位で評価して、画素毎にどの色差面を生成するときにどの色成分をどれだけぼかすかを決定することができる。これは、被写体距離によって軸上色収差の状態が変化している場合にも対応が可能となる。

（１−７）実際の色差面生成
上述した処理で画素毎に決められた離散的なぼかし量のＧ成分をＭＴＦ特性の違いに関する情報として用いて、最終出力画像に用いる色差成分Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］を次のように求める。まず、次式（２８）によってＲ画素位置へのＣｒ値の設定を行い、次式（２９）によってＢ画素位置へのＣｂ値の設定を行う。
Cr[i,j]=one of {Cr0, Cr1, Cr2} R位置・・・（２８）
Cb[i,j]=one of {Cb0, Cb1, Cb2} B位置・・・（２９）
そして、上述した式（１３）〜（１５）によって、Ｃｒ面とＣｂ面とを補間する。その後、公知の種々の色差面補正の手法を使用して、色差面補正を行う。例えば、条件によって補正をしたり、しなかったりを選択する適応的色差補正の手法などを使用する。これは通常のＢａｙｅｒ補間で発生する偽色抑制処理を組み込むためである。こうして、軸上色収差の除去されたＣｒ面、およびＣｂ面、すなわち実際の色差面が生成される。

（１−８）実際の輝度面生成
ぼかし処理のない元のＢａｙｅｒ信号を用いて実際の輝度面を生成する。これは、軸上色収差の影響をあまり受けない輝度面は、元のＢａｙｅｒ信号を使うことにより鮮鋭な解像が保たれた状態で復元することができるためである。なお、本実施の形態では、次式（３０）に示すように、輝度をＧ面として処理を行うが、Ｙ面を輝度として処理を行ってもよい。輝度面の生成は、公知の種々の方法により生成することができる。また、国際公開番号：ＷＯ２００２／０７１７６１号公報に開示されているように、Ｂａｙｅｒ面から直接生成するものであってもよい。

Ｂａｙｅｒ面上のＲ／Ｂ位置
if HV[i,j]=1 THEN Gout[i,j]=(G[i,j-1]+G[i,j+1])/2
+(2×Z[i,j]-Z[i,j-2]-Z[i,j+2])/4
else if HV[i,j]=-1 THEN Gout[i,j]=(G[i-1,j]+G[i+1,j])/2
+(2×Z[i,j]-Z[i-2,j]-Z[i+2,j])/4
else Gout[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(4×Z[i,j]-Z[i,j-2]-Z[i,j+2]-Z[i-2,j]-Z[i+2,j])/8 ・・・（３０）
なお、式（３０）において、ＺはＲ位置ではＺ＝Ｒとなり、Ｂ位置ではＺ＝Ｂとなる。また、Ｂａｙｅｒ面上のＧ位置Ｇｏｕｔ［ｉ，ｊ］は、Ｂａｙｅｒ信号をそのまま代入することにより求められる。

（１−９）表色系変換
上述した処理で、軸上色収差の除去されたＣｒ面、およびＣｂ面と、鮮鋭感を保持したＧ面の３つの色情報から、次式（３１）および（３２）によってＲＧＢ表色系への変換を行う。
Rout[i,j]=Cr[i,j]+Gout[i,j] ・・・（３１）
Bout[i,j]=Cb[i,j]+Gout[i,j] ・・・（３２）

以上の処理によって、読み込んだＢａｙｅｒ画像において、ＲＧＢいずれかの色成分に軸上色収差があり、これに伴って色滲みが生じた場合に、各色成分間のＭＴＦ特性の不整合を補正して、軸上色収差に伴う色滲みを解消することができる。そして、この軸上色収差に伴う色滲みを解消したＲＧＢ画像は、モニタ１１３に出力されて表示される。

図８は、第１の実施の形態における画像処理装置１１０の動作を示すフローチャートである。図８に示す処理は、レンズ１０１を介して撮像素子１０２によって撮像された画像が画像メモリ１１２に記憶されると起動するプログラムとして制御装置１１１によって実行される。ステップＳ１０において、（１−１）で上述したように、撮像素子１０２で撮像されたＢａｙｅｒ画像を画像メモリ１１２から読み込んで、ステップＳ２０へ進む。ステップＳ２０では、（１−２）で上述したように、Ｂａｙｅｒ画像を用いてＲ／Ｂ画素位置における方向判定を行う。その後、ステップＳ３０へ進む。

ステップＳ３０では、（１−３）で上述した複数通りのぼかしＢａｙｅｒ画像作成処理を実行して、ステップＳ４０へ進む。ステップＳ４０では、（１−４）で上述したぼかし組み合せによる複数通りの仮色差面生成処理を実行して、ステップＳ５０へ進む。ステップＳ５０では、（１−５）で上述した色指標の作成処理を実行して、ステップＳ６０へ進む。ステップＳ６０では、（１−６）で上述したように、最終的に画像生成のために利用するぼかし量を決定して、ステップＳ７０へ進む。

ステップＳ７０では、（１−７）で上述した実際の色差面生成処理を実行してステップＳ８０へ進み、（１−８）で上述した実際の輝度面生成処理を実行する。そして、ステップＳ９０へ進み、（１−９）で上述したように表色系変換処理を行って、軸上色収差の除去されたＣｒ面、およびＣｂ面と、鮮鋭感を保持したＧ面の３つの色情報からＲＧＢ表色系への変換を行う。その後、ステップＳ１００へ進み、軸上色収差に伴う色滲みを解消した画像をモニタ１１３に出力し、処理を終了する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）軸上色収差に起因した色成分間のＭＴＦ特性の不整合を、ＭＴＦの高い側の色成分をぼかし処理によって低い側の色成分と整合させてから色差成分を生成するようにした。これによって、軸上色収差に起因したＭＴＦ差の違いに伴って発生する色の滲みを抑制することができる。
（２）撮像画像に対して軸上色収差補正を行うための補正量を撮像画像自身に基づいて決定するようにした。これによって、被写体までの距離によって特性が変化する軸上色収差であっても、画素ごとに適切な補正量を決定して、軸上色収差補正を行うことができる。
（３）さらに、このように撮像画像自身を用いて適切な補正量を決定して、軸上色収差補正を行うことができることから、撮像光学系に関する情報が不明な場合であっても、適切に軸上色収差補正を行うことができる。
（４）色指標を作成するに当たって、Ｒ、ＢともにＧ成分のぼかしのないＣｄｉｆｆ＿ｒ０ｂ０だけは、単にＣｒおよびＣｂ成分を生成しただけの値を用いずに、更にそれに対して色差面補正処理を行ったＣｒ０＊、Ｃｂ０＊を用いるようにした。これによって、Ｂａｙｅｒサンプリングと画像構造に起因する偽色の発生に伴って受ける色指標の変動要因に対して、危険性の多いぼかし処理側よりも安全な解を出しやすいぼかしなし側を安定的に色評価されるようにすることができる。また、反対色ペアのような画像構造があっても意図的にＣｄｉｆｆ＿ｒ０ｂ０の彩度を下げておくことによって、軸上色収差のＭＴＦ整合とは異なり画像構造が要因となって彩度が下がってしまう可能性のあるぼかし側のＣｄｉｆｆに対抗しておいて、画像構造破壊を防ぐように色指標評価値に変えることができる。

―第２の実施の形態―
上述した第１の実施の形態では、（１−７）実際の色差面生成において、式（２８）および（２９）で色差成分Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］を求め、式（１３）〜（１５）によって、Ｃｒ面とＣｂ面とを補間した後に、（１−８）実際の輝度面生成、および（１−９）表色系変換に示した各処理を行う場合について説明した。

これに対して、第２の実施の形態では、式（２８）および（２９）で色差成分Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］を求めた後に、Ｒ位置のＣｒ面、Ｂ位置のＣｂ面だけを使用して、その位置における（１−８）実際の輝度面生成、および（１−９）表色系変換の各処理を行って、元のＲ成分とＢ成分の値を書き換える。これによって、補間処理前のＭＴＦ整合したＢａｙｅｒ画像、すなわち軸上色収差を解消させたＢａｙｅｒ画像を得ることができる。その後、この軸上色収差を解消させたＢａｙｅｒ画像に対して補間処理を行って補間後のＲＧＢ画像を得る。

なお、図１に示した画像処理装置１１０を搭載したデジタルカメラ１００のブロック図、図２および図３に示した軸上色収差による色滲みが発生する原理を示す図、および図４に示したＭＴＦ特性を整合させて軸上色収差を補正する原理を示す図については、第１の実施の形態と同様のため、説明を省略する。

式（２８）および（２９）で色差成分Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］を求めた後に、各面の補間前のＣｒ面、およびＣｂ面を使用して（１−８）実際の輝度面生成、および（１−９）表色系変換の各処理を行うことによって、図９に示すような、ＭＴＦが整合したＢａｙｅｒ画像、すなわち軸上色収差が補正されたＢａｙｅｒ画像が出力される。この図９に示すＢａｙｅｒ画像に対して、公知の補間処理を実行することによって、補間後のＲＧＢ画像を得ることができる。

図１０は、第２の実施の形態における画像処理装置１１０の処理を示すフローチャートである。図８に示す処理は、レンズ１０１を介して撮像素子１０２によって撮像された画像が画像メモリ１１２に記憶されると起動するプログラムとして制御装置１１１によって実行される。なお、図１０においては、図８に示す第１の実施の形態における処理と同一の処理内容については、同じステップ番号を付与し、相違点を中心に説明する。

ステップＳ７１において、式（２８）および（２９）で色差成分Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］を求めて、ステップＳ８０へ進む。その後、ステップＳ９１で、補間前のＣｒ面、およびＣｂ面と、鮮鋭感を保持したＧ面の３つの色情報から、式（３１）および（３２）によってＲＧＢ表色系への変換を行う。その後、ステップＳ９２へ進む。ステップＳ９２では、軸上色収差が補正されたＢａｙｅｒ画像を出力してステップＳ９３へ進み、当該Ｂａｙｅｒ画像に対して、公知のＢａｙｅｒ補間処理を実行して、軸上色収差が補正されたＲＢＧ画像を得る。

以上説明した第２の実施の形態によれば、第１の実施の形態とは、軸上色収差補正処理の中での補間処理の実行位置を変更し、一旦ＭＴＦが整合したＢａｙｅｒ画像を出力した後に補間処理を行うようにした。これによって、軸上色収差の補正処理と、補間処理とを分離した処理として扱うことができ、ＭＴＦ整合したＢａｙｅｒ画像に対して、様々な補間処理を適用することが可能になる。

―第３の実施の形態―
第１および２の実施の形態では、単板式カラー撮像素子によって撮像されたＢａｙｅｒ画像のように補間を行う前の画像データに対する軸上色収差補正について説明したが、第３の実施の形態では、３板式カラー撮像素子で撮影されたカラー画像の軸上色収差や補間済のカラー画像の軸上色収差を補正する。すなわち、各画素にＲ、Ｇ、Ｂの色成分の情報が全て存在するカラー画像のデータの軸上色収差補正について説明する。

具体的には、元のカラー画像データを輝度と色差成分に分け、色差成分のデータを軸上色収差のないデータに置き換えるため、第１の実施の形態と同様にある色成分のデータを複数通りぼかす。そして、それらを組み合わせてできる色差成分のセットの内、最も彩度が低くなるような色指標を与えるぼかしの組み合せを探索して、そのぼかしを通して得られる色差成分に置き換える。

なお、図１に示した画像処理装置１１０を搭載したデジタルカメラ１００のブロック図と、図２および図３に示した軸上色収差による色滲みが発生する原理を示す図、および図４に示したＭＴＦ特性を整合させて軸上色収差を補正する原理を示す図については、第１の実施の形態と同様のため、説明を省略する。ただし、３板式カラー撮像素子を使用して各画素にＲ、Ｇ、Ｂ成分が揃ったカラー画像を取得する場合は、撮像素子１０２を単板式カラー撮像素子から３板式カラー撮像素子に置き換えるものとする。また、第３の実施の形態では、Ｇ成分に対するぼかしのみならず、Ｒ成分とＢ成分に対するぼかしも行うものとする。これによって、Ｇ成分に軸上色収差がある場合でもそれを補正することが可能となる。

（２−１）カラー画像入力
第３の実施の形態では、画像メモリ１１２に、３板式カラー撮像素子で撮影されたカラー画像やあらかじめ補間処理を行ったカラー画像を各画素にＲ［ｉ，ｊ］、Ｇ［ｉ，ｊ］、Ｂ［ｉ，ｊ］が揃っている状態で保存しておき、これらのカラー画像を読み込んで、画像処理の対象とする。

（２−２）表色系変換による輝度成分退避
読み込んだカラー画像を、次式（３３）により表色系変換して、輝度成分を退避しておく。すなわち、後述する処理でぼかしを入れる前の状態の画像の輝度成分を制御装置１１１が有するメモリ空間に退避しておく。
Y[i,j]=(R[i,j]+2×G[i,j]+B[i,j])/4 ・・・（３３）

（２−３）複数通りのぼかしＲ、Ｇ、Ｂ面画像作成
第３の実施の形態では、図１１に示す平滑化フィルタを使用して、ＲＧＢの各成分についてぼかし画像（Ｒ、Ｇ、Ｂ面画像）を作成する。なお、本実施の形態では、説明の簡略化のため、図１１に示す１つの平滑化フィルタのみを使用する例について説明するが、第１の実施の形態と同様に、弱い平滑化フィルタと強い平滑化フィルタの２種類を使用してＲ、Ｇ、Ｂ面画像を作成してもよい。

そして、図１２に示すように、図１２（ａ）〜（ｃ）のＲＧＢの各成分についてのぼかしなし画像と、図１１の平滑化フィルタを使用して作成した図１２（ｄ）〜（ｆ）のぼかしあり画像とを使用して、次に示す処理を行う。

（２−４）ぼかし組み合せによる複数通りの仮色差面生成
上記６通りのＲＧＢ面、すなわち図１２（ａ）〜（ｃ）のぼかしなし画像と、図１２（ｄ）〜（ｆ）のぼかしあり画像とを使って、次式（３４）〜（３９）により各画素に３通りのＣｒ面と３通りのＣｂ面とを作成する。
Cr00=R-G ・・・（３４）
Cb00=B-G ・・・（３５）
Cr01=R-G' ・・・（３６）
Cb01=B-G' ・・・（３７）
Cr10=R'-G ・・・（３８）
Cb10=B'-G ・・・（３９）

なお、第３の実施の形態では、式（４０）に示すように、Cdiff_r00b00は色差面補正処理を行わないように定義しているが、第１の実施の形態における式（１７）のように、ＣｒおよびＣｂ成分に対して、例えば式（２６）で示したローパス処理などの補正処理を行ってもよい。

（２−６）ぼかし量の決定
第１の実施の形態における（１−６）と同様に、式（４０）〜（４８）で算出した色指標をそれぞれ比較して、最小値を与えるぼかし量のＣｒとＣｂの組み合せを、最終的に画像生成のために利用するぼかし量として決定する。すなわち、次式（４９）によって、Ｃｄｉｆｆ＿ｒ００ｂ００からＣｄｉｆｆ＿ｒ１０ｂ１０の中で値が最小になるものを画素ごとに抽出し、そのときのＣｒ，およびＣｂを生成するために、ＲＧＢの各成分を図１１に示す平滑化フィルタでぼかす必要があるか否かを決定する。

(Cr生成用Rぼかし量, Cr生成用Gぼかし量, Cb生成用Gぼかし量, Cb生成用Bぼかし量)
= arg min (Cdiff_r00b00, Cdiff_r01b00, ... , Cdiff_r10b10)
(R,R' for Cr)
(G,G' for Cr)
(G,G' for Cb)
(B,B' for Cb) ・・・（４９）

（２−７）置き換え用の色差面生成
上述した（２−６）の結果に基づいて、次式（５０）および（５１）により、最終出力画像に用いる色差成分の置き換え値Ｃｒ［ｉ，ｊ］、およびＣｂ［ｉ，ｊ］を設定する。
Cr[i,j]=one of {Cr00, Cr01, Cr10} ・・・（５０）
Cb[i,j]=one of {Cb00, Cb01, Cb10} ・・・（５１）

（２−８）色変換
次に、次式（５２）〜（５４）により、上述した（２−２）で退避させた輝度成分と、（２−７）の処理で軸上色収差の補正された色差成分を統合して最終出力画像を生成する。
R[i,j]=Y[i,j]+（3/4）×Cr[i,j]-（1/4）×Cb[i,j] ・・・（５２）
G[i,j]=Y[i,j]-（1/4）×Cr[i,j]-（1/4）×Cb[i,j] ・・・（５３）
B[i,j]=Y[i,j]-（1/4）×Cr[i,j]+（3/4）×Cb[i,j] ・・・（５４）

以上の処理によって、カラー画像において、ＲＧＢいずれかの色成分に軸上色収差があり、これに伴って色滲みが生じた場合に、各色成分間のＭＴＦ特性の不整合を補正して、軸上色収差に伴う色滲みを解消することができる。そして、この軸上色収差に伴う色滲みを解消したカラー画像は、モニタ１１３に出力されて表示される。

図１３は、第３の実施の形態における画像処理装置１１０の動作を示すフローチャートである。図１３に示す処理は、レンズ１０１を介して撮像素子１０２によって撮像された画像が画像メモリ１１２に記憶されると起動するプログラムとして制御装置１１１によって実行される。ステップＳ１１０において、（２−１）で上述したように、画像メモリ１１２からカラー画像を読み込んで、ステップＳ１２０へ進む。ステップＳ１２０では、（２−２）で上述したように、読み込んだカラー画像を表色系変換して、輝度成分を制御装置１１１が有するメモリ空間に退避しておく。その後、ステップＳ１３０へ進む。

ステップＳ１３０では、（２−３）で上述した複数通りのぼかしＲ、Ｇ、Ｂ面画像作成処理を実行して、ステップＳ１４０へ進む。ステップＳ１４０では、（２−４）で上述したぼかし組み合せによる複数通りの仮色差面生成処理を実行して、ステップＳ１５０へ進む。ステップＳ１５０では、（２−５）で上述した色指標の作成処理を実行して、ステップＳ１６０へ進む。ステップＳ１６０では、（２−６）で上述したように、最終的に画像生成のために利用するぼかし量を決定して、ステップＳ１７０へ進む。

ステップＳ１７０では、（２−７）で上述した置き換え用の色差面生成処理を実行してステップＳ１８０へ進み、（２−８）で上述したように、（２−２）で退避させた輝度成分と、（２−７）の処理で軸上色収差の補正された色差成分を統合して最終出力画像を生成する。その後、ステップＳ１９０へ進み、軸上色収差に伴う色滲みを解消したカラー画像を、モニタ１１３に出力して表示し、処理を終了する。

以上説明した第３の実施の形態によれば、従来技術とは異なり、高ＭＴＦの他の色成分情報を利用して、低ＭＴＦの色成分情報を補正しているので、鮮鋭な軸上色収差補正ができる。また、Ｇ成分に対するぼかしのみならず、Ｒ成分とＢ成分に対するぼかしも行うものとした。これによって、Ｇ成分に軸上色収差がある場合でもそれを補正することが可能となる。

―第４の実施の形態―
第４の実施の形態では、デジタルカメラ１００で所定距離だけ離れた被写体にピントを合わせ、レンズ１０１のピント位置における被写体像がかぶる軸上色収差の一般的傾向を補正する。なお、図１に示した画像処理装置１１０を搭載したデジタルカメラ１００のブロック図と、図２および図３に示した軸上色収差による色滲みが発生する原理を示す図、および図４に示したＭＴＦ特性を整合させて軸上色収差を補正する原理を示す図については、第１の実施の形態と同様のため、説明を省略する。

まず、あらかじめレンズ１０１が固有に持っている軸上色収差情報を調べておく。すなわち、所定距離に設置した基準被写体を撮影し、レンズ１０１が取りうる可変パラメータ、例えばレンズ種、ズーム位置、絞り値、ピント位置などの各々についてＲＧＢ間のＭＴＦ特性の違いを次のように事前に調査しておく。そして、この可変パラメータのそれぞれを変化させながら、例えば図１４に示すような評価用撮影チャートを撮像し、そのときの黒線の信号レベルの出方を観測して、ＲＧＢ間のＭＴＦ特性の違いを算出する。

この算出結果に基づいて、各可変パラメータの設定状況における最も鮮鋭な色成分に対して、ぼけた色成分に合わせるのに必要な一様ＬＰＦを特定し、図１５に示すように、可変パラメータの各設定状況ごとに、被写体の位置（被写体までの距離）と特定した一様ＬＰＦの種類とを対応づけて、制御装置１１１が有するメモリに格納しておく。

そして、撮像素子１０２で撮像した対象画像内の主要被写体が映っている部分の軸上色収差を補正するために、次のように処理する。まず、対象画像内における主要被写体位置を検出する。このとき、一般的に主要被写体はフォーカス位置（ピント位置）、またはその近傍に存在していることが多いことを加味して、まずは画像データから上述した可変パラメータを取得して、対象画像におけるフォーカス位置を特定する。なお、各可変パラメータは、撮像された画像データ内の例えばＥｘｉｆ情報内に、光学系に関する外部情報として記憶されており、制御装置１１３は画像データを参照してフォーカス位置を特定することができる。

この特定したフォーカス位置の周りには主要被写体が広がっているものと仮定し、フォーカス位置の周囲の所定範囲内を対象範囲として、その範囲内でエッジ検出を行って、検出したエッジをグループ化することによりオブジェクト抽出して、そのオブジェクトを主要被写体とみなしてオブジェクトを含む範囲に対して軸上色収差補正を行う。具体的には、特定したフォーカス位置から主要被写体までの距離を判定し、さらに画像データから撮像時における可変パラメータの設定状況を判定する。そして、判定した可変パラメータの設定状況に対応する図１５に示す表を参照することによって、その主要被写体まで距離に対応付けられた一様ＬＰＦを選択する。

そして、上述した対象範囲を、選択した一様ＬＰＦでぼかして、第１の実施の形態、および第３の実施の形態で上述したように、当該対象範囲内における軸上色収差補正を行う。これによって、光学系に関する外部情報として記憶された可変パラーメータの設定状況に基づいて、その状況に合った一様ＬＰＦを判定し、この一様ＬＰＦを用い適切な色成分に対して、適切な度合いの平滑化を行うことができる。

図１６は、第４の実施の形態における画像処理装置１１０の動作を示すフローチャートである。図１６に示す処理は、レンズ１０１を介して撮像素子１０２によって撮像された画像が画像メモリ１１２に記憶されると起動するプログラムとして制御装置１１１によって実行される。ステップＳ２１０において、画像メモリ１１２から画像を読み込んでステップＳ２２０へ進む。ステップＳ２２０では、上述したように画像データからォーカス位置を特定して、ステップＳ２３０へ進む。

ステップＳ２３０では、画像データから撮像時における可変パラメータの設定状況を判定し、その可変パラメータの設定状況に対応する図１５に示す表を参照することによって、フォーカス位置、すなわち主要被写体まで距離に対応付けられた一様ＬＰＦを選択する。その後、ステップＳ２４０へ進み、選択した一様ＬＰＦを使用して読み込んだ画像をぼかして、ステップＳ２５０へ進む。ステップＳ２５０では、入力画像、すなわち画像メモリ１１２から読み込んだ画像がＢａｙｅｒ配列のような単板式カラー撮像素子出力画像、または補間済みのカラー画像のいずれであるかを判定する。

そして、入力画像がＢａｙｅｒ配列のような単板式カラー撮像素子出力画像であると判断した場合には、ステップＳ２６０へ進み、上述した第１の実施の形態における図８のステップＳ７０〜ステップＳ１００の処理を実行して、画像の軸上色収差を補正し、モニタ１１３に出力した後に処理を終了する。これに対して、入力画像が補間済みのカラー画像であると判断した場合には、ステップＳ２７０へ進み、上述した第３の実施の形態における図１３のステップＳ１７０〜ステップＳ１９０の処理を実行して、カラー画像の軸上色収差を補正し、モニタ１１３に出力した後に処理を終了する。

上述した第４の実施の形態によれば、第１または第３の実施の形態における作用効果に加えて、次のような作用効果を得ることができる。
（１）画像データに含まれるフォーカス位置情報に基づいて主要被写体を抽出し、抽出した主要被写体までの距離を判定して図１５に示す表を参照することによって、その主要被写体まで距離に対応付けられた一様ＬＰＦを選択して、主要被写体が存在する範囲の画像をぼかすようにした。これによって、主要被写体までの距離に基づいて、あらかじめ設定された一様ＬＰＦを選択して画像をぼかせばよいため、ぼかし量を決定するための種々の処理が不要となり、処理を高速化できる。
（２）主要被写体までの距離を判定するにあたっては、画像データに含まれるフォーカス位置の周囲の所定範囲内を対象範囲として、その範囲内でエッジ検出を行って、検出したエッジをグループ化することによりオブジェクト抽出して、そのオブジェクトを主要被写体とみなすようにした。これによって、一般的に主要被写体はフォーカス位置、またはその近傍に存在していることが多いことを加味して、正確に主要被写体を抽出することができる。

―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した第１および２の実施の形態では、撮像素子１０２においては、例えば、単板式カラー撮像素子の最も代表的なＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがＢａｙｅｒ配列されており、この撮像素子１０２で撮像される画像データはＲＧＢ表色系で示されるものとし、画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在しているものとする例ついて説明した。しかしこれに限定されず、撮像素子１０２に２板式カラー撮像素子を用い、画像データを構成する各々の画素には、ＲＧＢの何れか２つの色成分の色情報が存在しているものとしてもよい。すなわち、撮像素子１０２は、撮像面におけるＭＴＦ特性が異なる複数の色成分を有する各画素において少なくとも１つの色成分が欠落した画像を撮像するものであればよい。

（２）上述した第１〜３の実施の形態では、（１−６）および（２−６）でぼかし量を決定するに当たって、最終的に画像生成のために利用する離散的なぼかし量を判定する例について説明した。しかしこれに限定されず、連続的なぼかし量を判定するようにしてもよい。例えばＣｒ１、Ｃｒ２をまとめてＣｒ＿ｂｌｕｒのように表し、次式（５５）および（５６）に示すように、線形結合を行う。なお、ここでは、Ｇ"のぼかし方とＧのぼかしなしの線形結合状態（加重係数（ｓ、ｔ））でＣｒ＿ｂｌｕｒ、およびＣｂ＿ｂｌｕｒを生成する例について説明するが、同様の方法でG'を加えた線形結合とすることもできる。
Cr_blur = R-{s*<G">+(1-s)*<G>}・・・（５５）
Cb_blur = B-{t*<G">+(1-t)*<G>}・・・（５６）
ただし、0=<(s,t)=<1とする。

式（５５）および（５６）で生成したＣｒ＿ｂｌｕｒ、およびＣｂ＿ｂｌｕｒに基づいて、ぼかし側に対応する色指標Ｃｄｉｆｆ＿ｂｌｕｒを次式（５７）により生成する。
Cdiff_blur = |Cr_blur[i,j]|+|Cb_blur[i,j]|+|Cr_blur[i,j]-Cb_blur[i,j]| ・・・（５７）
そして、Ｃｄｉｆｆ＿ｂｌｕｒの最小値を与える（ｓ，ｔ）の組み合せを、図１７に示すように２次元探索する。次にＣｄｉｆｆ＿ｂｌｕｒの最小値と、ぼかしなし側色指標Ｃｄｉｆｆ＿ｒ０ｂ０とを比較して、ぼかし量（ｓ，ｔ）を採用するか、ぼかしなしにするかを決定する。この比較はＣｄｉｆｆ＿ｒ０ｂ０だけを特別に扱っている場合にのみ行うものとする。

なお、このように判定した連続的なぼかし量によって画像をぼかす場合には、第１の実施の形態の（１−７）で上述した実際の色差面生成処理において、最終出力画像に用いる色差成分Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］は、式（２８）および（２９）に代えて、次式（５８）および（５９）によって求めればよい。
Cr[i,j]=one of {Cr0, Cr_blur(s; 0=<s=<1)} R位置・・・（５８）
Cb[i,j]=one of {Cb0, Cb_blur(t; 0=<t=<1)} B位置・・・（５９）

（３）上述した第１の実施の形態では、Ｂａｙｅｒ面から生成された直後の複数通りの色差面の組み合せを比較してから、ぼかし量を決定して、通常の補間処理を行う例について説明した。しかしこれに限定されず、複数通りのぼかしに対応する色差面の補間を通常の補間処理と適応的な色差面の補正処理を行った後に、ぼかし量を決定するようにしてもよい。

（４）第１〜３の実施の形態では、画素単位で複数のぼかし方に対する生成された色成分の色応答をみることにより、画素単位でぼかし方を決定していた。しかし、これに限定されず、軸上色収差の発生要因からして画素レベルでの急激な変化は少ないであろうと仮定することができるので、もう少し大きな範囲でぼかし方の均一手法が選ばれるように、複数の画素にまたがったブロック単位に処理を行ってもよい。

例えば、画像メモリ１１２から読み込んだＢａｙｅｒ画像を６４画素×６４画素の大きさの複数のブロックに分割し、第１の実施の形態で上述したように画素単位の色指標を算出して、各ブロック内の色指標の平均値を算出する。そして、ブロック内の色指標の平均値に基づいて、ブロック単位での色指標比較を行い、最小値を与えるぼかし方のセットをブロック内に対して共通に適用して、ブロックごとに軸上色収差補正を行ってもよい。

なお、この場合には、各ブロック単位で軸上色収差補正を行うため、各ブロック間の境界上に不自然な色の違いが発生する可能性がある。これを回避するために、さらに次のように変形してもよい。すなわち、色指標を算出した後に、その色指標の複数画素間（例えば１６×１６や６４×６４）における平均値をとり、それらを（１−６）または（２−６）と同様にして画素単位の評価を行うようにする。これによって、平均した範囲程度では均一なぼかし量が決定されることになり、ブロック境界での不自然さをなくすことができる。

（５）上述した第３の実施の形態では、ＲＧＢ表色系で示されるカラー画像を、ＹＣｂＣｒ形式の画像データに変換してから軸上色収差補正を行う例について説明した。しかしこれに限定されず、ＲＧＢ形式のデータのままの状態で軸上色収差補正を行ってもよい。すなわち、図４におけるＭＴＦ整合処理（式（１）、（２））を、Ｒ、Ｇ、Ｂ各々について直接行うようにしてもよい。

（６）上述した第４の実施の形態では、画像データに含まれるフォーカス位置情報に基づいて主要被写体を抽出し、その主要被写体が存在する範囲のみを補正する例について説明した。しかし、これに限定されず画像全体に対して軸上色収差補正を行ってもよい。

（７）上述した第４の実施の形態では、画像データ内に含まれているフォーカス位置に基づいて被写体までの距離を特定する例について説明した。しかしこれに限定されず、画像データ内に含まれる「接写撮影」、「ポートレート撮影」、「風景撮影」のようなカメラの撮影モードに基づいて、被写体までの距離を特定してもよい。例えば、接写撮影モードのときは被写体は至近に存在するものと判定して、図１５に示した対応表を参照するようにすればよい。

（８）上述した第１〜第４の実施の形態では、デジタルカメラ１００に搭載した制御装置１１１によって、各種画像処理を行い、レンズ１０１を介して撮像素子１０２で撮像した画像の軸上色収差補正を行う例について説明した。しかしこれに限定されず、例えば、上述した内容の画像処理を実行するプログラムをパソコンなどの電子機器にインストールしておき、デジタルカメラで撮像した画像を各種インターフェースを介して当該電子機器に取り込んでから軸上色収差補正を行うようにしてもよい。なお、このようなプログラムは、ＣＤなどの記録媒体やインターネットなどの電気通信回線を介してパソコンなどの電子機器に提供される。

（９）上述した第１〜第４の実施の形態では、上述した図４に示す原理によってＭＴＦを整合させ、軸上色収差を補正する例について説明したが、これに限定されず、図１８に示すように、ＲＧＢの各色成分から輝度面Ｙ（図１８（ｄ））を生成し、当該輝度面Ｙを平滑化して、ＭＴＦを整合させるようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

画像処理装置をデジタルカメラに搭載した場合の一実施の形態の構成を示すブロック図である。軸上色収差による色滲みが発生する原理について説明する第１の図である。軸上色収差による色滲みが発生する原理について説明する第２の図である。他の色成分（Ｇ成分）を利用して、Ｒ、Ｂの各成分の軸上色収差を補正する原理を示す図である。Ｂａｙｅｒ画像の具体例を示す図である。第１の実施の形態で使用する平滑化フィルタの具体例を示す図である。第１の実施の形態における「ぼかしなし画像」、「ぼかし弱画像」、および「ぼかし強画像」の具体例を示す図である。第１の実施の形態における画像処理装置１１０の動作を示すフローチャート図である。ＭＴＦを整合させたＢａｙｅｒ画像の具体例を示す図である。第２の実施の形態における画像処理装置１１０の動作を示すフローチャート図である。第３の実施の形態で使用する平滑化フィルタの具体例を示す図である。第３の実施の形態における「ぼかしなし画像」、および「ぼかしあり画像」の具体例を示す図である。第３の実施の形態における画像処理装置１１０の動作を示すフローチャート図である。第４の実施の形態における評価用撮影チャートの具体例を示す図である。第４の実施の形態における被写体までの距離と、使用するＬＰＦの対応関係を示す図である。第４の実施の形態における画像処理装置１１０の動作を示すフローチャート図である。連続的なぼかし量の判定方法の具体例を示す図である。変形例（９）におけるＭＴＦ特性を整合させて軸上色収差を補正する原理を示す図である。

符号の説明

１００デジタルカメラ
１０１レンズ
１０２撮像素子
１１０画像処理装置
１１１制御装置
１１２画像メモリ
１１３モニタ

Claims

光学系を通して撮像され、１つの画素に複数の色成分の少なくとも１つを有し、撮像面において少なくとも２つの色成分の間でＭＴＦ特性が異なる第１の画像をＭＴＦ特性が整合した第２の画像に変換する画像処理装置であって、
前記第１の画像の前記少なくとも２つの色成分の内の１つの色成分に対して、複数の平滑化度合いの異なった平滑化処理を行う平滑化手段と、
前記複数の平滑化度合いで平滑化処理を行った各画像の各画素に前記少なくとも２つの色成分の間の色差成分を生成し、生成した色差成分の絶対値の大きさが最小値となる平滑化度合いを決定する決定手段と、
前記決定手段で決定した１つの平滑化度合いで平滑化処理を行った結果に基づいて、前記少なくとも２つの色成分の内の１つの色成分のＭＴＦ特性を他の色成分のＭＴＦ特性に整合させる画像変換手段と、を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記比較手段は、前記平滑化処理を行わない場合の色差成分として、生成した色差成分に対して周辺画素の色差成分との間で補正処理を行った後の色差成分を使用することを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記決定手段は、１つの画素に対して異なる色情報を表す複数種類の色差成分を生成するとき、各々の種類の色差成分を構成する前記第１の画像の色成分毎に、前記平滑化処理の平滑化の度合いを決定することを特徴とする画像処理装置。
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記決定手段は、画素ごとにそれぞれ平滑化の度合いを決定することを特徴とする画像処理装置。
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記決定手段は、複数の画素にまたがって共通の平滑化の度合いを決定することを特徴とする画像処理装置。