以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
まず、図1Aおよび図1Bを参照して、本実施形態における画像処理装置および画像処理方法について説明する。ここで説明される画像処理装置および画像処理方法は、後述の各実施例において適宜用いられる。図1Aは、本実施形態における画像処理装置100のブロック図である。図1Bは、本実施形態における画像処理方法(画像処理プログラム)のフローチャートである。図1Bの各ステップは、画像処理装置100の指令に基づいて、すなわち画像処理装置100の各手段により実行される。
図1Aに示されるように、画像処理装置100は、入力手段101、検出手段102、判定手段103、修正手段104、出力手段105、取得手段106、および、記憶手段107を備えている。まず、図1BのステップS1において、画像処理装置100(入力手段101)は、撮影画像を入力画像として取得する。入力画像は、撮影光学系を介して撮像素子で受光することにより得られたデジタル画像(撮影画像)であり、レンズと各種の光学フィルタ類を含む撮影光学系の収差(軸上色収差など)により劣化している。撮影光学系は、レンズだけでなく曲率を有するミラー(反射面)を用いて構成することもできる。
入力画像の色成分は、例えばRGB色成分の情報を有する。色成分としては、これ以外にもLCHで表現される明度、色相、彩度や、YCbCrで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、XYZ、Lab、Yuv、JChを用いることが可能である。また、色温度を用いてもよい。撮影画像は、撮像装置と画像処理装置とを有線または無線で接続して取得することができる。また撮影画像は、記憶媒体を介して取得することもできる。
続いてステップS2において、画像処理装置100(検出手段102)は、カラー画像を構成する複数の色プレーンのうちいずれかの色プレーンの画素値(信号レベル)が単調増加または単調減少している領域を検出する。そして検出手段102は、検出した領域を色にじみ発生領域と仮判定する(単調増減検出工程)。単調増減検出工程において色にじみ発生領域を判定する方法としては、いくつかの方法が考えられる。本実施形態では、一定の画素区間(所定の区間)の色にじみの画素値の変化特性に基づいて判定を行う。
色にじみは、結像位置が波長により光軸に沿う方向にずれることで発生するため、例えば青色のにじみの場合、青色プレーン(Bプレーン)の焦点が合わない(ピンボケしている)ことになる。ピンボケによる色にじみは、一定の画素区間に渡って存在し、その際の色にじみの画素値変化は、画像のハイライト部からシャドウ部にかけて緩やかに減少する特性を有する。従って、一定の画素区間の色にじみの画素値変化が単調増加または単調減少の特性を有する場合、色にじみが発生している可能性があるため、色にじみ発生領域として仮判定する。
このように本実施形態において、撮像素子は、複数のカラーフィルタを備えている。そして検出手段102は、撮像素子から得られた画像の少なくとも一つのカラーフィルタに対応する色プレーンの信号レベル(画素値)が、所定の区間においていずれかの方向(第1の方向)に単調増加または単調減少している領域(第1の領域)を検出する。ただし本実施形態はこれに限定されるものではなく、色プレーンの信号レベルに代えて、例えば、撮像素子から得られた画像から生成される輝度プレーン(Yプレーン)の信号レベルが単調増加または単調減少している領域を検出するように構成してもよい。
ところで、実際には、撮影光学系がコマ収差などの光軸(中心軸)に関して非対称(回転非対称)な収差を有する場合、撮影光学系により発生する色にじみは、被写体に対して発生する方向と発生しない方向が存在する。このため、単調増減のみから色にじみ発生領域を判定すると、被写体が色にじみと同系色である場合、被写体の色を色にじみと誤判定する可能性がある。従って、単調増減検出のみでは色にじみ発生領域を正しく判定することができない。
本実施形態において、単調増加または単調減少を検出する領域は、カラー画像の注目画素を中心とした水平方向、垂直方向、または、斜め方向の画素区間、注目画素を端の点とした水平方向、垂直方向、または、斜め方向の画素区間、のいずれかを含む。
単調増減の検出は、まず、色プレーンの画素値傾斜を計算することにより行われる。入力画像が、例えば、Gプレーン、Bプレーン、Rプレーンの3色の色プレーンで構成されている場合、Bプレーンを色にじみ除去対象とし、基準プレーンとしてGプレーンを用いる。Bプレーン、Gプレーンに対するそれぞれの輝度傾斜Blea、Gleaは、以下の式(1)で表されるように算出される。
式(1)において、G(x+1,y)、B(x+1,y)は、それぞれ、Gプレーン、Bプレーンにおける注目画素の右隣の画素値である。G(x−1,y)、B(x−1,y)は、それぞれ、Gプレーン、Bプレーンにおける注目画素の左隣の画素値である。G(x,y+1)、B(x,y+1)は、それぞれ、Gプレーン、Bプレーンにおける注目画素の下隣の画素値である。G(x,y−1)、B(x,y−1)は、それぞれ、Gプレーン、Bプレーンにおける注目画素の上隣の画素値である。本実施形態は、3色の色プレーンで説明するが、画像を構成する色プレーン数により任意の色プレーンで処理を行うことが可能である。
次に、図2乃至図4を参照して、単調増減検出工程の色にじみ発生領域の判定方法について説明する。図2は、本実施形態における単調増減判定処理(単調増減検出工程:ステップS2)を示すフローチャートである。図2の各ステップは、主に、画像処理装置100(検出手段102)により実行される。まずステップS1520において、画像処理装置100は、ISO感度が高いか否か(ISO感度が所定の感度よりも高いか否か)を判定する。ISO感度が高い場合、ステップS1521に移行する。一方、ISO感度が高くない場合、ステップS1522に移行する。
ステップS1522において、画像処理装置100は、入力画像の注目画素を中心とした時の縦・横・斜めの画素区間(所定の区間)に対して、入力信号の画素値変化を解析する。そしてステップS1523において、画像処理装置100は、上記画素区間の入力信号の画素値変化が単調増減の特性を有するか否かを判定(検出)する。その判定の結果、上記の画素区間の入力信号の画素値変化が単調増減の特性を有さない場合、ステップS1524において、画像処理装置100は、注目画素を端の点とした時の縦・横・斜めの画素区間に対して入力信号の画素値変化を解析する。そしてステップS1525において、画像処理装置100は、上記の画素区間の入力信号の画素値変化が単調増減の特性を有するか否かを判定する。
図3は、単調増減判定対象の画素区間が単調増減特性を有する場合の一例を示す図であり、縦軸は画素値、横軸は距離をそれぞれ示している。図4は、単調増減判定対象の画素区間が単調増減特性を有しない場合の一例を示す図であり、縦軸は画素値、横軸は距離をそれぞれ示している。図3および図4に示されるような画素値変化を有する入力信号に対して、画像処理装置100は単調増減判定を行う。図3および図4のそれぞれ示される白い四角は注目画素である。
図3に示されるように、入力信号の画素値変化が単調増減の特性を有する画像は、単調増減判定を行う画素区間内において単調増減の特性を有する。このためステップS1522またはS1524の解析の結果、ステップS1523またはS1525において、画像処理装置100は、画素区間内において単調増減の特性を有すると判定する。一方、図4に示されるような入力信号の画素値変化の特性を有する画像に対しては、単調増減の特性を有さないと判定する。
上記の画素区間の入力信号の画素値変化が単調増減の特性(単調増加の特性または単調減少の特性)を有している場合、ステップS1527において、画像処理装置100は単調増減フラグを立てる。一方、上記の画素区間の入力信号の画素値変化が単調増減の特性(単調増加の特性または単調減少の特性)を有していない場合、ステップS1526において、画像処理装置100は単調増減フラグを立てない。
上述した単調増減判定を、Bプレーンの各画素に対して適用する。その結果、各画素において単調増減フラグが立っていれば「1」、単調増減フラグが立っていなければ「0」をそれぞれ対応させ、単調増減判定結果プレーンとして生成して保持し、後述の色にじみ判定(図1BのステップS5)で利用する。単調増減判定結果プレーンの利用方法の詳細については後述する。
次に、図5および図6を参照して、注目画素に対する単調増減判定を行う画素区間の設定方法について説明する。図5(a)〜(d)は、注目画素を中心とした単調増減判定用の画素区間を示す図である。図6(a)〜(h)は、注目画素を端の点とした単調増減判定用の画素区間を示す図である。注目画素を中心とした画素区間の設定方法および注目画素を端の点とした画素区間の設定方法のうち、注目画素を中心とした画素区間の設定方法としては、図5(a)、(b)のように注目画素を中心として水平方向および垂直方向に設定する方法が考えられる。
また、注目画素を中心とした画素区間の設定方法としては、図5(c)、(d)に示されるように注目画素を中心として斜め方向に設定する方法が考えられる。すなわち、斜め方向についても水平方向または垂直方向と同程度の距離の画素区間を設定すれば、等方性を持たせることができる。この場合、斜め方向の角度は、図5(c)、(d)に示されるように水平方向または垂直方向に対して45度の設定に限定される。ただし本実施形態はこれに限定されるものではなく、45度以外の任意の角度を設定することができる。その際の画素区間の距離dは、以下の式(2)を用いて算出される。
式(2)において、xは水平方向、θは水平からの角度をそれぞれ示す。
一方、画像におけるハイライト部周辺の色にじみやシャドウ部周辺の色にじみは、それぞれ、飽和やノイズの影響を受けることにより、色にじみが存在するにも関わらず、判定対象の画素区間内では単調増減の特性を持たず正しく判定できない場合がある。その場合、図6に示されるように、注目画素を端の点として画素区間を設定する方法が効果的である。以上のような方法で単調増減判定を行い、図5および図6に示される画素区間のいずれか1つでも単調増減の特性を有する画素区間が存在する場合、注目画素は単調増減の特性を有する画素であると判定される。
本実施形態では、単調増減判定を行う対象として入力信号の画素値を利用しているが、輝度傾斜を利用しても構わない。その場合、一定の画素区間において輝度傾斜の変化が1回だけ反転する特性を有する場合が色にじみであると判定する。画素区間の画素数の適正値は、撮像装置のある撮影条件にて発生する色にじみのうち、最小の色にじみのにじみ幅に合わせるのが効果的である。
色にじみのにじみ幅は、撮像装置の撮影条件(絞り値、焦点距離、フォーカシング精度、画像面内におけるフォーカス位置、撮像素子上の座標など)により様々である。このため、画素区間の画素数の適正値を、各種の撮影条件により発生する様々な色にじみの最小幅の色にじみに合わせることで、最小幅の色にじみを検出することが可能となる。最大幅の色にじみに関しては、最小幅の色にじみ用に合わせた画素区間を利用しても検出は可能である。
以上のように単調増減判定を行うことにより、検出したい色にじみを抽出することが可能となる。ただし、高いISO感度などの撮影条件によっては、入力信号にノイズが含まれることによりS/N比が低下し、その結果、色にじみが単調増減の特性を有しなくなることが考えられる。その場合、図2のステップS1521において、入力信号に対してデジタルフィルタによるフィルタリング処理を行うことが有効である。本実施形態では、デジタルフィルタをローパスフィルタとした場合について説明するが、これに限定されるものではない。
入力信号にローパスフィルタを適用する方法としては、いくつかの方法が考えられる。例えば、注目画素の重み係数を隣接する画素の2倍の係数とする[1 2 1]のローパスフィルタを適用する場合について説明する。図7は、画像内の3×3画素の領域を示す図である。図7に示されるように画像内の3×3画素のある領域においてpを注目画素としたとき、まず、[1 2 1]のローパスフィルタを水平方向に適用する。このとき、注目画素は以下の式(3)のように表される。
P=(d・1+p・2+e・1)/4 … (3)
隣接する画素も同様に計算すると、図8に示されるようになる。図8は、画像内の3×3画素の領域の各画素に対してローパスフィルタを適用した結果を示す図である。続いて、[1 2 1]のローパスフィルタを垂直方向に適用すると、注目画素は以下の式(4)のように表される。
PP=(B・1+P・2+G・1)/4 … (4)
図9を参照して、ローパスフィルタを適用したときの入力信号の変化の一例について説明する。図9は、各画素に対してローパスフィルタを適用した場合の入力信号の変化の例を示す図である。図9において、横軸は距離(画像上の断面、すなわち注目画素からの画素区間)、縦軸はプレーンの画素値をそれぞれ示している。
図9中の実線はローパスフィルタを適用しない場合、細かい破線は[1 2 1]のローパスフィルタを適用した場合、粗い破線は[1 4 6 4 1]のローパスフィルタを適用した場合をそれぞれ示している。ここで、[1 4 6 4 1]は、注目画素と隣接する画素と更にもう1画素分離れた画素にも重み係数をかけてローパスフィルタを適用することを意味する。このようにローパスフィルタを適用して入力信号を滑らかにすることで、色にじみが本来持つ単調増減の特性を際立たせることが可能となる。なお本実施形態では、ローパスフィルタを水平方向、垂直方向の順番で適用しているが、これに限定されるものではない。ローパスフィルタを逆の順番、すなわち垂直方向、水平方向の順番で適用しても構わない。また、2次元のローパスフィルタ係数を算出してローパスフィルタを水平方向および垂直方向に同時に適用することもできる。
続いて、図1BのステップS3において、画像処理装置100(取得手段106)は、撮影光学系の色にじみに関する光学情報を取得する。この光学情報は、撮影光学系の光学設計値に関する情報である。ここで取得手段106は、後述の姿勢情報のそれぞれに対応する複数の光学情報(姿勢情報を反映した色にじみ発生方向に関する情報)を取得してもよい。
続いてステップS4において、取得手段106は、入力画像の撮影時における撮影光学系の姿勢情報を取得する。姿勢情報とは、撮影光学系の光軸を中心とした回転方向における姿勢に関する情報であり、例えば、撮影光学系(撮像装置200)が横位置、縦位置、または、斜め位置のいずれの位置(姿勢)であるかを示す情報である。また、姿勢情報は、光軸を中心とした回転方向における姿勢の方向に限定されるものではなく、例えば、撮影光学系のあおり方向(チルト方向)における姿勢に関する情報を含むこともできる。
続いて、ステップS5において、画像処理装置100(判定手段103)は、撮影光学系の姿勢に応じた偏芯収差の影響を低減するため、ステップS4で取得した姿勢情報(姿勢情報に対応する補正情報)に基づいて、ステップS3で取得した光学情報を補正する。すなわち判定手段103は、ステップS3で取得した光学情報と、ステップS4で取得した姿勢情報とに基づいて、撮影光学系の色にじみに関する補正光学情報を取得する。
または、判定手段103は、ステップS3にて複数の姿勢情報のそれぞれに対応する複数の光学情報が取得されている場合、ステップS3にて取得した複数の光学情報から、ステップS4にて取得した姿勢情報に対応する一つの光学情報を選択(決定)する。例えば、撮影光学系が横位置、縦位置、または、斜め位置のそれぞれの場合に対応する一つの光学情報から、ステップS4にて取得した姿勢情報(横位置、縦位置、または、斜め位置の一つ)に対応する一つの光学情報を選択する。
姿勢情報は、撮影光学系の姿勢に応じて変化する偏芯収差を、ステップS3にて取得した光学情報に反映させることにより、より高精度に色にじみ発生領域を判定するために用いられる。なお、光学情報や補正情報(姿勢情報や補正光学情報)は、画像処理装置100の記憶手段107や後述の撮像装置200の記憶部208などに予め記憶しておき、記憶された各光学情報を呼び出して取得することができる。また、光学情報や補正情報は、撮像装置200と画像処理装置100とを有線または無線で接続して、または、記憶媒体を介して取得することもできる。
続いてステップS6において、画像処理装置100(判定手段103)は、ステップS2にて検出手段102により色にじみ発生領域と仮判定された領域(第1の領域)が、色にじみ発生領域(第2の領域)であるか否かを判定する(色にじみ判定工程)。このとき判定手段103は、ステップS3にて取得した光学情報およびステップS4にて取得した姿勢情報を利用する。すなわち判定手段103は、撮影光学系の色にじみに関する光学情報と、撮影光学系の姿勢情報と、第1の領域に関する情報とに基づいて、色にじみが発生している領域(第2の領域)を判定する。
例えば、判定手段103は、光学情報と姿勢情報(補正情報)とに基づいて、撮影光学系の色にじみに関する情報(補正後の光学情報、すなわち補正光学情報)を取得する。そして判定手段103は、補正光学情報と第1の領域に関する情報とに基づいて、第2の領域を判定する。ここで、補正光学情報は、撮影光学系の色にじみが発生する第2の方向に関する情報(色にじみ発生方向の光学情報)である。また、補正光学情報は、撮影光学系の姿勢情報を光学設計値に基づく光学情報に反映させて得られた、第2の方向に関する情報である。本実施形態において、色にじみ発生領域は、入力画像を撮影した撮影光学系の色にじみ発生方向の光学情報と、撮影光学系の姿勢情報とを用いて判定される。
本実施形態において、判定手段103は、第1の方向(信号レベルが単調増加または単調減少する方向)と第2の方向(撮影光学系の色にじみが発生する方向)とを比較することにより第2の領域を判定する。判定手段103は、例えば第1の方向と第2の方向とが互いに一致する場合(または、略一致と評価される所定の範囲にある場合)、第1の領域(ステップS2にて検出された領域)が第2の領域(色にじみが発生している領域)であると判定する。
ここで、図10および図11を参照して、単調増減検出工程のみから色にじみ領域を判定した場合の弊害について説明する。デジタルカメラなどの撮像装置により被写体を撮像して得られた画像には、撮影光学系の球面収差、コマ収差、像面湾曲、非点収差などに起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
ぼけ成分は、光学的には、点像分布関数(Point Spread Function:PSF)により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。
点像分布関数(PSF)をフーリエ変換して得られる光学伝達関数(Optical TransferFunction:OTF)は、収差の周波数成分情報であり、複素数で表される。光学伝達関数(OTF)の絶対値、すなわち振幅成分を、MTF(Modulation Transfer Function)といい、位相成分をPTF(Phase Transfer Function)という。MTFおよびPTFはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として、以下の式(5)のように表される。
PTF=tan−1(Im(OTF)/Re(OTF)) … (5)
式(5)において、Re(OTF)およびIm(OTF)はそれぞれ、OTFの実部および虚部である。
このように、光学系の光学伝達関数(OTF)は、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように光軸に関して非対称にぼけた状態になる。
図10は、被写体の各点が球面収差のような光軸に関して対称(回転対称)にぼける光学特性の状態で撮影された画像に対し、単調増減検出を行う場合を説明した図である。図10(a)は被写体の画素値断面、図10(b)は撮影光学系のPSF断面、図10(c)は撮影光学系で撮影された被写体の画素値断面を示している。図10(b)に示されるように、撮影光学系が光軸に関して対称(回転対称)な収差特性を有しPSFが対称である場合、被写体の両側のエッジ断面は、両方とも劣化した画像として図10(c)の実線のように撮影される。図10(c)では、比較のため、図10(a)に示される被写体の輝度断面を点線で示している。図10(c)の白い四角を注目画素として、単調増減判定を行うとすると、両エッジとも単調増減領域として判定される。また、色のにじみも実際に発生するため、色にじみ発生領域の判定としては正しく判定される。
図11は、被写体の各点がコマ収差のような光軸に関して非対称(回転非対称)にぼける光学特性の状態で撮影された画像に対し、単調増減検出を行う場合を説明した図である。図11(a)は被写体の画素値断面、図11(b)は撮影光学系のPSF断面、図11(c)は撮影光学系で撮影された被写体の画素断面である。図11(b)に示されるように、撮影光学系が光軸に関して非対称な収差特性を有しPSFが非対称な場合、特に片側のエッジのみ大きく劣化する光学特性では、被写体のエッジ断面は、片側のみ大きく劣化した画像として図11(c)の実線のように撮影される。このような撮影画像に対し単調増減検出を行うと、両エッジとも単調増減領域として判定されるが、実際に撮影光学系により発生する色にじみは片側のみであるため、被写体本来の色を色にじみとして判定してしまう弊害が発生する。単調増減のみで色にじみ補正を行うと被写体本来の色を除去することになり、不自然な画像となる場合がある。これを回避しようとすると補正が弱くなってしまう。
そこで本実施形態において、画像処理装置100は、図10(b)や図11(b)に示されるような撮影光学系の色にじみ発生方向に関する光学情報を保持または取得する。そして画像処理装置100は、単調増減検出の単調増減方向と色にじみ発生方向が一致した場合、色にじみ発生領域である判定する。ここで一致とは、厳密に一致する場合だけでなく実質的に一致である場合も含む意味である。
図12を参照して、光学情報について説明する。図12は、本実施形態における光学情報の説明図であり、撮影光学系のPSF断面および光学情報を示している。図12(a)は、図10(b)に示される、撮影光学系のPSFが光軸に関して対称な場合の光学情報である。図12(b)は、図11(b)に示される、撮影光学系のPSFが光軸に関して非対称な場合の光学情報である。例えば、撮影光学系の収差により色にじみが発生する方向には1を持ち、発生しない場合は0を持つ。図12(a)は、色にじみが対称に両側で発生するため光学情報は両側とも1の値を持つ。図12(b)では、色にじみが非対称に発生しており、左側エッジでは色にじみが発生しないため0、右側エッジでは色にじみが発生するため1の値を持つ。
図13は、光学情報および単調増減検出結果に基づいて色にじみ領域を判定する例を示す図である。図13(a)に示されるように、単調増減検出により、例えば、単調減少が検出された場合、その単調減少方向の光学情報を参照し、1を有していれば色にじみ補正領域と判定する。また、図13(b)に示されるように、単調減少方向の光学情報を参照し、0を有していれば被写体の色であると判定する。このように、撮影光学系の収差として色収差が発生する方向と、発生しない方向の情報を有することで、被写体の色と色にじみを正しく判定することができるため、色にじみ補正の精度を向上させることが可能となる。なお、色にじみの発生方向を1、発生しない方向を0としたが、発生の方向がわかればよく、0と1である必要はない。撮影光学系の収差は、像高により変化するため、複数の像高での光学情報を有しておくことで、高精度に補正を行うことが可能となる。補正値を持たない像高では、近傍の補正値より補間生成してもよい。また、撮影光学系の収差は、撮影条件(撮影光学系の焦点距離、被写体距離、絞り値(Fno))でも変化するため、撮影条件ごとに光学情報を記憶または取得することにより、高精度に補正を行うことが可能となる。
図10および図11では、光学情報を1次元の情報として説明したが、撮影画像が2次元配列のデータの場合、光学情報も2次元のデータとして保持してもよい。図14は、光学情報が2次元である場合の説明図である。図14(c)は、光学情報を画面上下左右、斜め45度、135度の8方向のデータとして保持する場合の例を示している。図14では、撮影光学系の色のコマ収差が画面上方向に発生しており、その発生方向に1の光学情報を保持する。色にじみの発生しない方向には0を保持する。単調増減検出を前記8方向で行い、単調減少が検出された方向に光学情報の1が保持されていた場合に色にじみと判定される。単調減少が検出されても、検出された方向に光学情報の1が保持されていなければ被写体の色と判定を行う。
以上のように、画像処理装置100は、撮影光学系の色にじみが発生する方向に関する光学情報を保持または取得する。好ましくは、画像処理装置100は、光学情報を記憶する記憶手段107を有する。より好ましくは、記憶手段107は、撮影条件ごとに光学情報を記憶する。撮影条件は、撮影光学系の焦点距離、被写体距離、絞り値の少なくとも一つを含む。なお、記憶手段107は、画像処理装置100の外部に設けられていてもよい。例えば、後述の記憶部208に各光学情報を記憶させておくことができる。
そして、画像処理装置100は、単調増減検出時に検出方向と光学情報とを参照することにより、高精度に色にじみ領域を判定することが可能となる。なお本実施形態では、単調増減判定を単調減少方向で説明したが、単調増加方向を使用して色にじみ判定を行ってもよい。また、単調増減判定と光学情報の補正値を8方向で説明したが、8方向に限定されるものではない。精度を向上させるため、検出方向の数を増加させてもよい。または、光学情報に関するデータ量を削減するため、検出方向の数を減少させてもよい。
ところで、前述のように、撮影光学系は鏡筒のガタなどに応じた撮影光学系の姿勢の変化により偏芯収差が発生し、光軸に関して非対称(回転非対称)な色にじみ(撮影光学系の設計値とは異なる色にじみ)が発生する。このため、単調増減判定結果と、撮影光学系の設計値の色にじみ発生方向に関する光学情報とを用いた色にじみ補正では、正しく補正できない場合がある。
ここで、図27を参照して、偏芯収差による色にじみ発生方向について説明する。図27は、偏芯収差による色にじみ発生方向の説明図である。図27(a)は、偏芯が発生していない状態で、撮影光学系がコマ収差を有する場合の模式図である。偏芯が発生しない場合、収差は光軸に関して対称に発生する。このため、光学情報としては、撮影画面の光軸を通る1方向の各像高で色にじみ発生方向に関する情報を持てばよい。収差は光軸に関して対称に発生するため、算出した1方向の光学情報を回転補間して使用すると、撮影画面全体で補正データを持つよりもデータ量を削減することができる。また、補間の演算時間短縮のため、撮影画面全体で補正データを持つことも可能である。
図27(b)は、撮影光学系の1つの光学要素が偏芯した場合の偏芯コマ収差の模式図である。偏芯コマ収差は、光軸に関して非対称に発生し、光学要素の偏芯方向に向かってコマ収差が発生する。実際には、図27(a)に示されるように、撮影光学系が設計値として有する収差に偏芯収差が加わるため、画面全体で非対称に色にじみが発生する。このため、撮影光学系の設計値の光学情報と、単調増減判定結果とに基づいて色にじみ補正を行うと、実際の撮影光学系は鏡筒のガタなどにより偏芯収差が生じているため、設計値とは異なる色にじみが発生しており、正しい判定ができない。
ここで、図23を参照して、鏡筒のガタなどにより撮影光学系に偏芯収差が発生した場合の弊害について説明する。図23は、撮影光学系の姿勢に応じた偏芯収差による色にじみ発生方向の説明図である。図23(a)は、設計値として色コマ収差を有する撮影光学系において、撮影光学系に偏芯収差が発生していない場合の色にじみ補正処理の説明図である。図23(a)中の四角で囲まれた注目画素1について色にじみ発生領域の判定を行う場合、まず、注目画素1を中心として上下左右、斜め45度、斜め135度の8方向について単調減少判定を行う。高輝度被写体が注目画素1の左下に位置するため、注目画素1の単調減少が判定される方向は、上、右上、右、右下であると判定される。このとき、撮影光学系の色にじみ発生方向である、上、右上、右(設計値に基づく光学情報)と一致するため、注目画素1は色にじみ発生領域であると判定される。
図23(b)は、鏡筒のガタなどにより、偏芯コマ収差や偏芯像面湾曲などの偏芯収差が発生し、図23(a)の設計値では発生しない高輝度被写体の下側にも色にじみが発生した例を示している。ここで、図23(b)の注目画素2について色にじみ発生領域の判定を行う場合について説明する。高輝度被写体は注目画素2の上側に位置するため、注目画素2の単調減少が判定される方向は、左下、下、右下となる。一方、撮影光学系の設計値に基づいて生成された色にじみ発生方向に関する光学情報は、この方向には色にじみが発生しないという情報を有する。このため、設計値に基づく光学情報にのみ基づいて判定を行うと、注目画素2は色にじみ発生領域とは判定されず、色にじみ補正処理が行われないという問題が生じる。
そこで本実施形態は、撮影光学系の姿勢に応じて発生する偏芯収差を考慮して色にじみ補正処理をより高精度に行うため、単調増減判定結果と、光学情報(設計値に基づく光学情報)とに加え、姿勢情報を用いる。
次に、図24および図25を参照して、本実施形態における色にじみ判定処理(光学情報の選択または補正)について説明する。図24(a)は、光学設計値、すなわち偏芯収差の発生していない状態での撮影光学系の色にじみの例を模式的に示す図である。図24(a)では、設計値として色コマ収差が発生しており、高輝度光源の上方に色にじみが発生している。図24(b)は、図24(b)の設計値に対応する光学情報を示している。
図25は、姿勢により偏芯収差が発生した場合の光学情報の説明図である。本実施形態において、画像処理装置100は、姿勢情報として、撮影光学系が3つの姿勢(横位置、縦位置、斜め位置)のうちいずれの姿勢であるかを判定する。すなわち、長方形の撮像素子を有する撮像装置において、撮像素子の長辺方向を重力に対し水平にした状態で撮影する姿勢を「横位置」、短辺方向を重力に対して水平した状態で撮影する姿勢を「縦位置」とする。また、横位置と縦位置との間の姿勢を「斜め位置」とする。姿勢情報として、例えば、横位置を「1」、縦位置を「2」、斜め位置を「3」のように定義する。斜め方向としては、角度と方向によりさらに分類を増やしてもよい。なお、姿勢情報を数値として説明したが、姿勢が識別可能であれば数値以外の記号を用いてもよい。
前述のように、ズーミングやフォーカシングの際において、撮影光学系を構成する鏡筒および各レンズ群の移動は、鏡筒のカムの軌跡に沿って移動しており、重力方向への偏芯もカムの軌跡に沿って偏芯する。このため、撮像装置(撮影光学系)の姿勢(位置)に応じて偏芯状態が変化し、設計値とは異なる光軸に関して非対称な偏芯収差が発生する。この例を、図25中の「色にじみ発生方向」として示している。このように撮影光学系の姿勢が変化すると、図24の撮影光学系の設計値とは異なる色にじみが発生するため、図23に示されるように、単調増減判定と設計値の光学情報のみで色にじみ領域を判定すると、正確な補正を行うことができない可能性がある。そこで、撮像装置(撮影光学系)の姿勢に応じて発生する偏芯収差を含む色にじみ発生方向の情報を用いて色にじみ発生領域を判定することにより、補正の精度を向上させることができる。
本実施形態において、実際の色にじみ発生方向を示す光学情報を取得する場合、2つの方法が考えられる。第1の方法は、姿勢情報のそれぞれに対応する複数の光学情報(姿勢情報を反映した色にじみ発生方向に関する情報)を取得し、取得した複数の光学情報から、撮影時の姿勢に対応する1つの光学情報を選択する方法である。このときの光学情報は、図25中の「光学情報選択」として示される。第2の方法は、光学設計値に基づく光学情報と撮影時の姿勢に対応する補正情報とを取得し、取得した補正情報に基づいて光学情報を補正する方法である。補正情報は、偏芯収差が発生した場合の色にじみ発生方向と設計値との差分値に相当する。このときの光学情報(補正後の光学情報)は、図25中の「光学情報補正」として示される。ただし本実施形態はこれらの2つの方法に限定されるものではなく、他の方法を用いてもよい。このように姿勢情報を用いることにより、撮影光学系の撮影時の姿勢により偏芯収差が発生しても正しく色にじみ発生領域を判定することができる。
本実施形態において、姿勢ごとの偏芯収差による色にじみ発生方向について、8方向のデータで説明したが、この形態に限定されるものではない。撮影光学系の姿勢ごとの偏芯状態での色にじみ発生方向を再現可能であれば他の形態でもよい。また、偏芯収差は光軸に関して非対称に発生するため、例えば撮影画像の右上方向と左下方向とで互いに異なる補正値を持つ必要がある。ただし、姿勢に応じた偏芯収差の発生方向を、例えば撮影画像全体の偏芯方向の重心方向として定義し、撮影画像の全画素一律に1つの偏芯収差発生方向の情報で処理することにより、処理の高速化を行ってもうよい。
以上のように、本発明ではカラー画像の色にじみ補正処理の際、各色プレーンの画素値の単調増加または単調減少判定と撮影光学系の姿勢情報とを用いる。これにより、姿勢に応じた偏芯収差が発生しても、撮影光学系で撮影された被写体の本来の色が除去されるという弊害を低減することができ、色にじみを効果的に補正することが可能となる。
また画像処理装置100は、光学情報として、色にじみ発生方向に加え、色にじみの強度に関する情報(色にじみの強度情報)を保持または取得するように構成してもよい。この場合、更に高精度に補正を行うことが可能となる。図14(b)に示されるように、一般に撮影光学系の収差による色にじみの発生量は方向により異なる。そこで、図14(d)に示されるように、色にじみの発生する方向に色にじみの発生量に関する色にじみの強度情報を追加してもよい。
続いて、図15を参照して、色にじみ強度情報を用いた場合の色にじみ判定について説明する。図15は、光学情報を用いた色にじみ判定処理を示す図であり、光学情報に色にじみ発生方向のみを持つ場合の例を示している。図中の四角で囲まれた注目画素1について色にじみ発生領域の判定を行う場合、まず、注目画素を中心に上下左右、斜め45度、斜め135度の8方向について単調減少判定を行う。図15(a)の場合、高輝度被写体が注目画素の下側に位置するため、注目画素1の単調減少が検出される方向は、上と右上、左上の3箇所が判定される。その3方向の光学情報は色にじみ発生方向を示す「1」であるため、この注目画素1は色にじみ発生領域と判定される。また、同様に注目画素2についても検出を行うと、単調減少方向は上、右上、右、右下が判定される。しかしながら、光学情報の色にじみ発生方向は、右下に発生しない方向を表す「0」を保持しているため、単調減少と光学情報より、最終的な注目画素2の色にじみ検出方向は、上、右上、右の3方向となる。注目画素1、注目画素2共に色にじみ発生が素と判定されるが、図14(b)に示されるように、撮影光学系の色にじみ発生量は方向により異なるため、注目画素1と注目画素2では、色にじみの発生量が異なっている。光学情報に強度情報を持たない場合、色にじみ量を判定できないため、このあとの色にじみ補正工程において補正の強さを変えて補正を行うことができない。よって、注目画素1にあわせて色にじみ補正を強くすると注目画素2では過補正となり、注目画素2にあわせて色にじみ補正を弱くすると注目画素1では、補正不足となってしまう。
そこで、図14(d)のように、光学情報に色にじみの発生方向と、その方向の色にじみ強度情報を追加することが好ましい。図15(a)、(b)は、光学情報に色にじみ強度情報も付加した場合の色にじみ領域の判定方法を示している。図15(b)の注目画素3では、単調減少判定にて上、左上、右上の3方向が判定されるが、光学情報の色にじみ強度もそれぞれ2、3、2と強い色にじみ強度と検出することができる。図15(c)の注目画素4においては、上、右上、左下の3方向が判定されるが、その方向の光学情報の色にじみ強度はそれぞれ3、2、1と注目画素3に対して弱い色にじみ強度が検出される。よって、例えば、検出された方向の色にじみ強度の平均値により、この後の色にじみ補正処理の補正の強さ(画像を修正する強度)を変更することで、色にじみの発生量が方向で異なる場合でもより正確な補正が可能となる。
注目画素3では色にじみ強度の平均値が約2.3であり、また、注目画素4では色にじみ強度の平均値が2.0となり、この値を使って補正の強さを変えることが可能となる。なお本実施形態では、色にじみ強度の平均値を使用する説明を行ったが、これに限定されるものではない。例えば、色にじみ方向と検出された複数の方向の重心方向の色にじみ強度値を使用して色にじみ補正係数を変えてもよい。注目画素3では重心方向が上となるため色にじみ強度は3、注目画素4では重心方向が右上となるため色にじみ強度は2となり、この値を使って補正の強さを変えることが可能となる。重心方向を採用する場合、例えば上、右上、右、右下の4方向の重心を計算すると、重心方向に最も近い方向は右上、右の2方向となる場合がある。この場合、2方向の平均値、2方向のうち大きい方の色にじみ強度、または、2方向のうち小さいほうの色にじみ強度を用いるなどが考えられる。なお本実施形態において、平均値、重心方向を利用することについて説明したが、光学情報の色にじみ強度情報を任意に演算して色にじみ補正時の補正の強さを変えてもよい。光学情報と同様に、撮影光学系の姿勢に関する情報(姿勢情報)として、偏芯収差による色にじみ発生方向に色にじみの強度情報を加えることにより、補正の精度を更に高めることが可能となる。
次に、図26を参照して、撮影光学系の姿勢に関する情報(姿勢情報)として、偏芯による色にじみ発生方向に加えて強度情報を含む例について説明する。図26は、姿勢情報として色にじみ強度情報を追加した説明図である。
図26(a)は、撮影光学系の光学設計値、すなわち撮影光学系に偏芯収差がない状態での光学情報(設計値に基づく光学情報)を示している。図26(b)は、撮影光学系の姿勢の変化により、高輝度被写体の左上方向へ偏芯収差が発生し、設計値では本来発生しない方向に色にじみが発生している場合の例である。図26(c)も同様に、撮影光学系の姿勢の変化により、高輝度被写体の左上方向へ偏芯収差が発生し、設計値では本来発生しない方向に色にじみが発生している場合の例である。図26(c)は、図26(b)よりも偏芯による色にじみが大きく発生している場合を示す例である。図26では、撮影光学系の姿勢情報として、設計値に基づく光学情報に対して偏芯収差による色にじみ発生量の補正を差分値として持つ場合を示している。
撮影光学系は、前述のように、鏡筒のカム軌跡などに沿って偏芯するため、その姿勢に応じて偏芯量は変化し、一定ではない。すなわち、図26(b)や図26(c)に示されるように偏芯方向が一致する場合でも、色にじみ発生量は、偏芯量に応じて異なる。このため、姿勢情報として、偏芯による色にじみ発生方向を有するだけでは、正しい補正量を与えることができない場合もある。そこで、図26(c)に示されるように、姿勢情報として、偏芯による色にじみ発生方向に加えて、色にじみ発生量に関する強度情報を含ませることにより、より高精度に補正を行うことが可能となる。
なお本実施形態において、姿勢情報は、設計値に基づく光学情報からの差分値であるとして説明したが、これに限定されるものではない。また本実施形態において、姿勢情報に基づいて補正または選択された光学情報は、8方向のデータであるとして説明したが、これに限定されるものではない。偏芯による色にじみの発生方向と強度に関する情報であって、かつ光学情報を補正または選択できる情報であれば、他の形態であってもよい。
好ましくは、修正手段104は、第1の方向(信号レベルが単調増加または単調減少する方向)と第2の方向(色にじみが発生する方向)とが複数の方向において互いに一致する場合、複数の方向における色にじみの強度に関する情報を演算して画像を修正する。より好ましくは、修正手段104は、第1の方向と第2の方向とが複数の方向において互いに一致する場合、複数の方向の重心方向における色にじみの強度に関する情報または平均値を用いて画像を修正する。
続いて、図16を参照して、光学情報の算出方法について説明する。図16は、光学情報の算出方法の説明図であり、光学情報として保持する任意の方向での、撮影光学系のGプレーンのPSF断面(実線)とBプレーンのPSF断面(点線)を示している。ここでは、Gプレーンを基準プレーンとし、Bプレーンの色にじみに関して光学情報を算出する方法について説明する。
撮影光学系の色収差により、Gプレーン、Bプレーンは、それぞれの波長帯での収差により、異なったPSF形状となる。また、倍率色収差により、Gプレーン、Bプレーンは、それぞれ、ずれた位置に結像するため、それぞれのPSFのピーク位置も図16(a)に示されるように、ずれた位置で算出される。倍率色収差による各色プレーンのずれは、従来から行われている、各色プレーンに対し異なる歪曲を加える幾何学変換により補正することができる。そのため、図16(b)に示されるように、Gプレーン、BプレーンのそれぞれのPSFのピーク位置を一致させて、図の斜線部にあたる基準であるGプレーンとBプレーンのPSF面積差を色にじみ強度として採用する方法が考えられる。
図16(b)では、ピークよりも左側エッジの面積差よりも右側エッジの面積差が大きいため、右側エッジで大きく色にじみが発生することがわかる。この面積が小さければ色にじみは目立たないため、面積が小さい場合を色にじみが発生しない方向とすることができる。また、面積比より、色にじみ強度を決定することが可能となる。以上により、光学情報の色にじみが発生する方向や色にじみ強度を算出できるが、算出方法としてPSFの面積差を使用する方法に限定されるものではない。例えば、図16(b)において、GプレーンとBプレーンのエッジの傾き差を使用する方法が考えられる。色にじみが発生する場合、エッジの傾きは緩くなる傾向にあるため、傾き差などを利用することにより、光学情報を決定するなどしてもよい。
本実施例では、色にじみ強度を計算する際にピーク値を一致させる方法で説明しているが、ピーク値ではなくPSFの重心が一致をさせて色にじみ強度を算出してもよい。このように本実施形態によれば、光学情報の色にじみ発生方向と、色にじみ強度情報を算出することができる。
図1Bに戻り、ステップS7において、画像処理装置100(修正手段104)は、ステップS6にて判定手段103により色にじみ領域と判定された領域(第2の領域)に対し、色にじみを補正する処理(画像を修正する処理)を行う(色にじみ補正工程)。すなわち修正手段104は、色にじみを低減させるように画像を修正する。
図17は、青色にじみの典型的な画素値変化を示す図である。図17において、横軸は距離(画像上の断面)であり、縦軸はBプレーン及びGプレーンの画素値である。図17では、左端に飽和輝度を超える高輝度被写体が存在するものとする。そして、本来明るくない光源周囲も、収差やフレアにより光源からにじんだ光により、画素値変化の裾が指数関数的に拡がる。
基準プレーンであるGプレーンでもにじみは無いわけではなく、ある程度の拡がりが存在する。しかし、それは色にじみ除去対象のBプレーンに比べると小さい。また、撮像素子は一定の飽和レベル以上の画素値を測定することはできない。このような画素値変化において、色にじみ除去対象のBプレーンの強度が基準プレーンであるGプレーンの強度を上回ると、青色にじみとなる。
本実施形態では、画像処理装置100は、色にじみ除去対象のBプレーンの画素値変化の傾きによりBプレーンのにじみ量を推定する。そこで、Bプレーンの輝度傾斜Bleaの絶対値に係数k1を乗じることにより、以下の式(6)で表されるように第1の推定にじみ量E1とする。
E1=k1|Blea| … (6)
式(6)において、k1は正値である。ただし、Bプレーンが飽和している領域A1では画素値傾斜は0になってしまい飽和前の輝度傾斜が得られない。
そこで、Bプレーンが飽和している領域A1に対する推定にじみ量E2を、以下の式(7)に示されるように、Gプレーンの画素値変化の輝度傾斜Gleaに基づいて推定する。
E2=k2|Glea| … (7)
式(7)において、k2は正値である。
次に、Bプレーンの画素値に対する非線形変換を行い、飽和度Sを生成する。この非線形変換は、Bプレーンが飽和しているか否かを示すものであり、Bプレーンの強度が飽和している領域では飽和度Sが1となり、Bプレーンの強度が小さい領域では飽和度Sは0となる。飽和度Sは0、1の2値でもよいが、図18に示されるように、飽和度Sは0〜1にかけて連続的に変化する値としてもよい。図18は、Bプレーンの画素値に対する非線形変換の特性図である。
そして、上記の生成した飽和度Sにより、上記のように算出した推定にじみ量E1または推定にじみ量E2を選択する。すなわち、飽和度Sが0、1の2値であれば新たな推定にじみ量Eを、
E=E1 (S=0の場合)
E=E2 (S=1の場合)
とする。また、飽和度Sが0〜1にかけて連続的に変化する値であれば、新たな推定にじみ量Eを、
E=(1−S)E1+SE2
とする。
次に、上記の推定にじみ量Eを修正し、実際に除去する量E’を決定する。推定にじみ量(除去量)は、一定のモデルに沿ったものであり、実際のにじみ量とは必ずしも一致しない。例えば、同じBプレーンに検出される光であっても、波長450nmの光と波長400nmの光ではにじみ方が変化するが、ステップS6(色にじみ判定工程)では、これを考慮していない。推定にじみ量(除去量)が過小である場合、青色にじみの除去後も若干の青みが残る。一方、推定にじみ量(除去量)が過大である場合、灰色の背景に対してBプレーンを減らし過ぎ、黄緑色になる場合がある。
特に後者(黄緑色になる場合)は、不自然で観察者に大きな違和感を与える。そこで、ステップS7(色にじみ補正工程)では、一定の色相範囲内でのみ、にじみ除去が作用するよう制限する。このため、まずステップS7において、画素の色度を計算する。R、G、Bの各プレーンの強度に対し、以下の式(8)が成立する。
図19は、式(8)のaを横軸とし、bを縦軸とする色度座標ab面である。図19に示されるように、青色は色度座標ab面の斜線で示す第4象限にある(尚、赤、黄、紫は第1象限、緑、白は第2象限、青緑は第3象限にある)。Bプレーンの強度から推定にじみ量Eを除去すると、B=B−Eとなり、色度座標ab面上では点線矢印のように左上方向へ移動する。矢印の始点が推定にじみ量Eの除去前の色度であり、終点が推定にじみ量Eの除去後の色度である。このことから、作用する色相範囲をa>0かつb<0に制限すると、以下の式(9)が成立する。
B>0.22R+0.68G かつ B>−1.84R+3.30G … (9)
このため、式(9)を満たさない画素に対し、実際に除去する除去量E’=0とし、色にじみ除去対象から外す。これにより、式(9)を満たさない画素は、画素値が影響を受けることがない。図19では、斜線で示す第4象限の領域のみが除去対象となる。
更に、式(9)を満たす画素に対しても、除去量E’を、以下の式(10)を満たすように設定する。
E’=min(E,B−(0.22R+0.68G),B−(−1.84R+3.30G)) … (10)
これにより、除去量E’の除去による色度変化は、図19中の実線矢印で示されるように、第4象限内に留まるようになる。
なお本実施形態において、色度座標ab面の第4象限で制限したが、これに限定されるものではなく、任意の角度で制限してもよい。このとき、以下の式(11)を満たす必要がある。
B>r1・G+r2・R かつ B>r3・G+r4・R … (11)
式(11)において、r1〜r4は制限角θを用いて、以下の式(12)のように算出される。色相制限は、色度座標ab面の原点を通る2本の直線で定義され、θ1、θ2はその2本の直線を表す角度である。
これにより、色相制限範囲を超えてBプレーンが減少するのを防ぐことができる。以上のようにして算出した、色にじみの除去対象とする色プレーンの除去量E’を除去量プレーンとして保持し、色にじみ補正処理を行う。除去量プレーンに対しては、上記のローパスフィルタを適用する。なお本実施形態では、色相制限に簡易的なa*b*平面を用いているが、これに限定されるものではなく、3×3のRGB→YUVマトリクスを用いてuv平面にて色相制限処理を行っても構わない。
上記の除去量E’をBプレーンの強度から差し引くことにより、新たなBプレーンを作成する。色にじみ除去対象としては、色にじみ判定ステップS4にて色にじみ領域と判定された画素のみとする。従って、新たなBプレーンの強度は、単調増減判定フラグが「1」ならば、
B=B−E’
単調増減判定フラグが「0」ならば、
B=B
となる。このように、図1のステップS8において、画像処理装置100(出力手段105)は、Bプレーンを修正したカラー画像を出力画像として出力する。
ここで、図7に示される画像内の3×3画素のある領域における単調増減判定結果が、図19に示されるように隣接する画素で単調増減判定フラグの値が切り替わる場合を考える。このような場合、画素の境界部では除去量がばたつき(隣接する画素で除去される場合と除去されない場合が混在すること)、画素値の変化が急峻になり、不自然で観察者に違和感を与える場合がある。そこで、生成した除去量プレーンに対してローパスフィルタを適用する方法が有効である。
また、以下の式(13)により、単調増減判定結果プレーンを用いて色プレーンの各画素のゲインを算出し、除去量に乗算することで、境界部(単調増減判定結果プレーン)に対するスムージング処理を行ってもよい。
図20に示される例において、画素pの除去量E’’は、以下の式(14)のように表される。
以上の方法で、色にじみのみを違和感なく除去することが可能となる。
なお、図1Bを参照して説明した本実施形態の画像処理方法(色にじみ補正処理)において、各ステップの順序は、図1Bに示されるステップの順序に限定されるものではなく、適宜変更可能である。例えば、図1B中のステップS2、S3、S4の順序を、ステップS4、S3、S2の順に変更してもよい。
次に、図21を参照して、本発明の実施例1における撮像装置について説明する。図21は、本実施例における撮像装置200の構成図である。撮像装置200には、撮影画像の色にじみ補正処理(上述の画像処理方法)を行う画像処理プログラムがインストールされており、この色にじみ補正処理は撮像装置200の内部の画像処理部204(画像処理装置)により実行される。
撮像装置200は、撮影光学系201(レンズ)および撮像装置本体(カメラ本体)を備えて構成されている。撮影光学系201は、絞り201aおよびフォーカスレンズ201bを備え、撮像装置本体(カメラ本体)と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮影光学系201が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。
撮像素子202は、撮影光学系201を介して形成された被写体像(光学像)を光電変換して画像(撮影画像)を得る。すなわち被写体像は、撮像素子202により光電変換が行われてアナログ信号(電気信号)に変換される。そして、このアナログ信号はA/Dコンバータ203によりデジタル信号に変換され、このデジタル信号は画像処理部204に入力される。
画像処理部204(画像処理装置100に相当する)は、このデジタル信号に対して所定の処理を行うとともに、上述の色にじみ補正処理を行う。まず画像処理部204(取得手段106)は、状態検知部207から撮像装置200(撮影光学系201)の撮像条件情報および姿勢情報を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離などに関する情報である。状態検知部207は、システムコントローラ210から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮影光学系201に関する撮像条件情報は、光学系制御部206から取得することもできる。なお、本実施例の色にじみ補正処理(画像処理方法)は、図1を参照して説明したとおりである。
撮影光学系201の姿勢による偏芯収差を含む色にじみの発生方向に関する光学情報(姿勢情報を反映した光学情報)は、記憶部208に保持されている。画像処理部204は、記憶部208から、状態検知部207で取得した姿勢情報と撮影条件とに対応する光学情報を取得する。または、記憶部208は、撮影光学系201の色にじみ発生方向に関する設計値の光学情報と、姿勢に応じた光学情報の補正情報を保持する。このとき画像処理部204は、記憶部208から、状態検知部207で取得した姿勢情報と撮影条件とに対応する光学情報と補正情報とを取得し、補正情報に基づいて光学情報を補正する。
画像処理部204は、選択または補正された光学情報(姿勢情報を反映した光学情報)を用いて色にじみ補正処理を行い、補正後の出力画像は、画像記録媒体209に所定のフォーマットで保存される。表示部205には、本実施例の色にじみ補正処理を行った画像に表示用の所定の処理を行った画像が表示される。ただし本実施例はこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部205に表示するように構成してもよい。
本実施例における一連の制御はシステムコントローラ210により行われ、撮影光学系201の機械的な駆動はシステムコントローラ210の指示に基づいて光学系制御部206により行われる。光学系制御部206は、Fナンバーの撮影状態設定として、絞り201aの開口径を制御する。また光学系制御部206は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス(AF)機構や手動のマニュアルフォーカス機構により、フォーカスレンズ201bの位置を制御する。なお、絞り201aの開口径制御やマニュアルフォーカスなどの機能は、撮像装置200の仕様に応じて実行しなくてもよい。また、撮影光学系201には、ローパスフィルタや赤外線カットフィルタなどの光学素子を設けることができる。
次に、図22を参照して、本発明の実施例2における画像処理システムについて説明する。図22は、本実施例における画像処理システム300の構成図である。なお、本実施例の色にじみ補正処理(画像処理方法)は、図1を参照して説明したとおりであるため、その説明は省略する。
図22において、画像処理装置301(画像処理装置100に相当する)は、本実施例の画像処理方法をコンピュータに実行させるための画像処理ソフトウエア306を搭載したコンピュータ機器である。撮像機器302は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体303は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。
画像処理装置301は、撮像機器302または記憶媒体303から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器305、撮像機器302、記憶媒体303のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置301に内蔵された記憶部に保存することもできる。出力機器305は、例えばプリンタである。また、ネットワークまたはCD−ROM307などの記憶媒体から画像処理ソフトウエア306を画像処理装置301にインストールすることもできる。
画像処理装置301には、モニタである表示機器304が接続されている。このため、ユーザは表示機器304を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウエア306は、本実施例の色にじみ補正処理(画像処理方法)を行うほか、必要に応じて現像やその他の画像処理を行う。
なお、本実施例における画像処理を行うためのデータの内容や機器間での受け渡しなどに関する情報(補正情報)については、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば、適切に本実施例の補正処理を行うことが可能である。
各実施例によれば、撮影光学系の色にじみ発生方向に関する光学情報と姿勢情報とを保持し、単調増減検出手段の結果、光学情報と姿勢情報とに基づいて色にじみ補正領域を決定する。これにより、被写体の色を除去する弊害を低減することができ、高品質な画像を得ることが可能となる。従って、各実施例によれば、良好な画像回復処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供することができる。
なお、撮影光学系の色にじみ発生方向に関する光学情報は、本実施例の画像処理装置を搭載した機器の記録部から読み出す方法だけでなく、ネットワークを介して取得してもよいし、PCやカメラ、レンズ等から情報を取得してもよい。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
各実施例において、カラー画像の色にじみ補正処理の際、各色プレーンの画素値の単調増減判定情報、撮影光学系の色にじみ発生方向に関する情報、および、撮影光学系の姿勢情報を用いる。これにより、姿勢に応じた偏芯収差を有する撮影光学系で撮影された被写体に対し、被写体本来の色を除去する弊害を低減しつつ、効果的に色にじみを補正することが可能となる。従って、各実施例によれば、光学系の姿勢に応じた偏芯収差による影響を低減するとともに、カラー画像における色にじみを効果的に低減可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。