JP6337441B2 - 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、収差を補正するために用いられる画像処理装置、撮像装置、画像処理方法、及び画像処理プログラムに関する。

撮像素子が出力した画像を処理する際に生じる収差であるフリンジを抑制する撮像装置が知られている。撮像装置は、注目画素とその周囲にある周囲画素との輝度差を算出し、輝度差に応じてフリンジを検出し、補正する（特許文献１）。

特開２００６−０１４２６１号公報

しかし、注目画素とその周囲にある周囲画素との輝度差を検出できない場合であってもフリンジが生じることがある。このような場合、フリンジなどの収差を正確に検出できないおそれが生じる。収差を正確に検出できないと、収差を補正することができなくなる。また、収差を正確に検出できないと、補正された画像に補正痕が残り、画像の見栄えが悪くなる。

本発明はこれらの問題に鑑みてなされたものであり、収差の補正痕を目立たせずに補正する画像処理装置、撮像装置、画像処理方法、及び画像処理プログラムを得ることを目的とする。

本願第１の発明による画像処理装置は、撮影画像を取得する画像取得部と、撮影画像に含まれる収差を補正して補正画像を作成する補正部とを備え、補正部は、撮影画像に各々異なる処理を施して得られる１以上の処理画像を作成し、撮影画像及び１以上の処理画像のいずれか１つに所定の処理を施してマスク画像を作成し、マスク画像を作成する際に用いなかった撮影画像及び１以上の処理画像のいずれか１つとマスク画像とを合成して合成画像を作成し、撮影画像に合成画像を合成して補正画像を作成することを特徴とする。

補正部は、撮影画像に第１の処理を施して得られる第１の処理画像を作成し、撮影画像に所定の処理を施してマスク画像を作成し、第１の処理画像とマスク画像とを合成して合成画像を作成することが好ましい。

補正部は、撮影画像に第２の処理を施して得られる第２の処理画像を作成し、第２の処理画像に所定の処理を施してマスク画像を作成し、第２の処理とは異なる第３の処理を撮影画像に施して得られる第３の処理画像を作成し、第３の処理画像とマスク画像とを合成して合成画像を作成してもよい。

補正部は、撮影画像に第１の処理を施して得られる第１の処理画像と、第１の処理とは異なる第２の処理を撮影画像に施して得られる第２の処理画像とを作成し、第２の処理画像に所定の処理を施してマスク画像を作成し、第１の処理画像とマスク画像とを合成して合成画像を作成してもよい。

第１の処理は、撮影画像に含まれる色情報の値を低減する処理であることが好ましい。

第３の処理は、撮影画像に含まれる収差を低減する処理であってもよい。

第２の処理は、撮影画像に含まれる収差を強調する処理であってもよい。

本願第２の発明による撮像装置は、前記画像処理装置と、撮影画像を撮像する撮像素子とを備えることを特徴とする。

本願第３の発明による画像処理方法は、撮像レンズを介して撮像された撮影画像に含まれる色情報の値に各々異なる処理を施して得られる１以上の処理画像を作成するステップと、撮影画像及び１以上の処理画像のいずれか１つに含まれる色情報の値に所定の処理を施してマスク画像を作成するステップと、マスク画像を作成する際に用いなかった撮影画像及び１以上の処理画像のいずれか１つに含まれる色情報の値とマスク画像に含まれる色情報の値とを合成して合成画像を作成するステップと、撮影画像に合成画像を合成して補正画像を作成するステップとを備えることを特徴とする。

本願第４の発明による画像処理プログラムは、撮像レンズを介して撮像された撮影画像に含まれる色情報の値に各々異なる処理を施して得られる１以上の処理画像を作成するステップと、撮影画像及び１以上の処理画像のいずれか１つに含まれる色情報の値に所定の処理を施してマスク画像を作成するステップと、マスク画像を作成する際に用いなかった撮影画像及び１以上の処理画像のいずれか１つに含まれる色情報の値とマスク画像に含まれる色情報の値とを合成して合成画像を作成するステップと、撮影画像に合成画像を合成して補正画像を作成するステップとを備えることを特徴とする。

本発明によれば、収差の補正痕を目立たせずに補正する画像処理装置、撮像装置、画像処理方法、及び画像処理プログラムを得る。

本実施形態による画像処理装置及び撮像装置を概略的に示したブロック図である。 収差領域を示した図である。 収差補正処理を説明するフローチャートである。 撮影画像を示した図である。 第1の中間補正画像を示した図である。 第２の中間補正画像を示した図である。 第３の中間補正画像を示した図である。 閾値と色差情報との関係を示した図である。 第１の収差画像を示した図である。 第４の中間補正画像を示した図である。 第２の収差画像を示した図である。 第５の中間補正画像を示した図である。 第３の収差画像を示した図である。 第４の収差画像を示した図である。 第６の中間補正画像を示した図である。 第７の中間補正画像を示した図である。 収差検出画像を示した図である。 収差緩和画像を示した図である。 第２の収差補正処理を説明するフローチャートである。 撮影画像を示した図である。 補正用画像を示した図である。 マスク画像を示した図である。 合成画像を示した図である。 補正画像を示した図である。 第３の収差補正処理を説明するフローチャートである。 検出用画像を示した図である。 補正用画像を示した図である。 マスク画像を示した図である。 合成画像を示した図である。 補正画像を示した図である。 第４の収差補正処理を説明するフローチャートである。 合成画像を示した図である。 補正画像を示した図である。 フリンジの色をＣｂＣｒ平面に表したグラフである。 フリンジの色をＣｂＣｒ平面に表したグラフである。 フリンジの色をＣｂＣｒ平面に表したグラフである。 フリンジの色をＣｂＣｒ平面に表したグラフである。 収差領域決定処理を示したフローチャートである。 収差領域補正処理を示したフローチャートである。 フリンジの色をＣｂＣｒ平面に表したグラフである。

以下、本願発明の一実施形態である画像処理装置、撮像レンズ、及び撮像装置について図を用いて説明する。図１は、第１の実施形態による画像処理装置を備える撮像装置の一実施形態であるデジタルカメラ１００を示す。まず、図１を用いてデジタルカメラ１００の構成について説明する。

デジタルカメラ１００は、補正部を成すＤＳＰ１０１、撮像素子であるＣＣＤ１１１、着脱可能に設けられる撮像レンズ１０２、タイミングジェネレータ（ＴＧ）１２０、ＡＦＥ１３０と、カメラメモリ１０３と、操作部材１０４と、記録媒体１０５と、表示媒体１０６とを主に備える。

撮像レンズ１０２は、複数のレンズ１０７と、記憶部を成すレンズメモリ１０８とを備え、被写体像をＣＣＤ１１１に結像させる。撮像レンズ１０２は、フリンジ等の収差を有する。レンズメモリ１０８は、撮像レンズ１０２の特性を示す設計データであるレンズデータを記憶する。

ＤＳＰ１０１、ＣＣＤ１１１、タイミングジェネレータ１２０、ＡＦＥ１３０、カメラメモリ１０３、操作部材１０４、記録媒体１０５、及び表示媒体１０６は、カメラボディ１１０に格納される。ＣＣＤ１１１は、タイミングジェネレータ１２０からの露光信号に応じて、撮像レンズ１０２から被写体像を受光して撮像し、画像信号を出力する。ＡＦＥ１３０は、画像信号を処理して、ＤＳＰ１０１に送信する。ＤＳＰ１０１は、画像信号をさらに処理して、撮影画像及び画像ファイルを生成し、表示媒体又は記録媒体１０５に送信する。ＤＳＰ１０１は、後述する第１の収差補正処理を実行可能である。

記録媒体１０５は、デジタルカメラ１００に着脱自在に接続される、例えばＳＤカード（登録商標）であって、画像ファイルを記録する。

表示媒体１０６は、デジタルカメラ１００の背面に設けられる、例えば液晶モニタであって、画像を表示する。

カメラメモリ１０３は、ＤＳＰ１０１のファームウェア、及び画像ファイル等を記録、及びＤＳＰ１０１が各種処理を実行する際の一時メモリとして使用される。

操作部材１０４は、例えば二段式スイッチであるシャッターレリーズボタンや、十字キーや、押し下げ式スイッチ等であって、ユーザの操作に応じてＤＳＰ１０１に信号を送信する。ＤＳＰ１０１は、操作部材１０４から受信した信号に応じて動作する。

撮像レンズ１０２は、固有の収差を有する。収差は、レンズデータから算出可能である。図２は、レンズデータを用いて算出された収差、すなわちフリンジである可能性が高い色をＣｂＣｒ色空間に示した図である。フリンジの色差情報は、所定の色差情報の範囲に含まれる傾向がある。そこで、ＣｂＣｒ色空間においてフリンジが出現しやすい色差領域をレンズデータを用いて決定する。この色差領域を収差領域という。ＤＳＰ１０１は、レンズデータを用いて収差領域を算出する。

ＤＳＰ１０１は、撮影画像に含まれるフリンジを補正する第１の収差補正処理を実行可能である。第１の収差補正処理は、１つの撮影画像から２つの画像を作成し、それぞれ異なる処理を施してフリンジを強調した収差画像を作成し、作成された収差画像を合成し、これにＬＰＦ（ローパスフィルタ）を掛けることにより、フリンジを補正する処理である。

次に、図３を用いて、ＤＳＰ１０１によって実行される第１の収差補正処理について説明する。

始めのステップＳ１では、撮影画像を取得する。撮影画像は、図４に示される画像であって、ＹＣｂＣｒ色空間により表現されるデータから成る。撮影画像において、人物の周囲にはフリンジ４１が出現している。また、人物の胴部分には、フリンジに近い色差情報を有する楕円形状の模様４２がある。そして処理はステップＳ２１とＳ３１に進む。

次のステップＳ２１では、撮影画像を用いて、ＣｂＣｒ色空間で表現されるＣｂＣｒデータ（第１の情報）から成るＣｂＣｒ画像（第１の画像）を作成する。

次のステップＳ２２では、撮像レンズ１０２からレンズデータを取得し、レンズデータを用いて収差領域を算出する。そして、ＣｂＣｒ画像において収差領域内に含まれる色差情報を有する画素を検出する。収差領域内に含まれる色差情報を有する画素を白で、収差領域内に含まれない色差情報を有する画素を黒で表した第１の中間補正画像を図５に示す。図５に示す画像では、図４に示す撮影画像におけるフリンジ４１と模様４２の一部とが白で表され、他の部分は黒で表されている。すなわち、フリンジ４１と模様４２の一部がフリンジとして検出されている。白で表された領域を第１の検出領域という。しかしながら、フリンジと被写体とが重なって撮像されている場合、重なった部分の色差情報は、フリンジの色差情報と被写体像の色差情報とが混ざったものになるため、フリンジ本来の色差情報から離れて、収差領域内に含まれなくなることがある。このような色差情報を有する領域は、第１の中間補正画像の第１の検出領域内に黒い点として現れる。いいかえると、第１の中間補正画像において、撮影画像におけるフリンジ４１と模様４２の一部に対応する領域内に複数の黒い点が存在する。次のステップＳ２３では、これらの黒い点を除去する。

次のステップＳ２３では、第１の中間補正画像にメディアンフィルタを掛ける。メディアンフィルタは画像を平滑化するフィルタであって、画像に含まれる点ノイズを除去する。これにより、図５に示す第１の中間補正画像が含む黒い点領域が除去された第２中間の補正画像を得る。図６は第２の中間補正画像を示す。

次のステップＳ２４では、第２の中間補正画像にローパスフィルタ（ＬＰＦ）を掛け、第３の中間補正画像を作成する。実際にフリンジが発生している画素であるにもかかわらず、その画素の色差情報がわずかにフリンジの色差情報と異なるため、その画素が収差領域内に含まれなくなることがある。このようにわずかに異なる色差情報を持つ領域をローパスフィルタを用いて検出する。ローパスフィルタを掛けることにより、収差領域近傍に存在するフリンジを検出する。図７は第３の中間補正画像を示す。

次のステップＳ２５では、第３の中間補正画像に含まれる画素の色差情報を、所定の閾値を用いて二値化する。すなわち、色差情報が閾値以上である画素をフリンジが存在する画素として検出し、色差情報が閾値未満である画素をフリンジが存在しない画素とする。これにより作成された画像を第１の収差画像とする。図８は、閾値と色差情報との関係を示した図である。閾値を下げると、フリンジが存在すると判断される領域が広くなるとともに、フリンジが存在しないと判断される領域が狭くなる。そして、閾値を下げると、フリンジが存在すると判断される領域が狭くなるとともに、フリンジが存在しないと判断される領域が広くなる。閾値を調節することにより、フリンジが存在すると判断される領域を調節できる。図９は第１の収差画像であって、色差情報が閾値以上である画素を白色で表し、色差情報が閾値未満である画素を黒色で表した画像である。ローパスフィルタによってフリンジが存在すると判断された領域が広がって、フリンジが存在しない領域をも含んでしまうおそれがあるが、閾値を用いて二値化することにより、フリンジが存在しない領域を除くことができる。

ステップＳ２１からＳ２５を実行することにより、フリンジに近い色を有する領域を検出できる。

他方、ステップＳ３１では、撮影画像を用いて、輝度すなわちＹで表現されるＹデータ（第２の情報）から成るＹ画像（第２の画像）を作成する。フリンジは、一般的に画素間において輝度差が大きい部分に生じる傾向がある。そこで、以降の処理では、輝度情報に基づいてフリンジを検出する。処理はステップＳ３２とＳ４１に進む。

次のステップＳ３２では、輝度情報に基づいて、近隣の画素との輝度差が所定値以上である画素をＹ画像から抽出する。ここでは、ラプラシアンオペレータやソーベルオペレータを用いて抽出する。これにより、図１０に示す第４の中間補正画像が作成される。

次のステップＳ３３では、第４の中間補正画像に非線形のガンマを掛ける。これにより、近隣の画素との輝度差が少ない画素の輝度が下げられ、輝度差が大きい画素の輝度が上げられる。フリンジは、近隣の画素との輝度差が少ない画素にはほとんど発生することがない一方で、近隣の画素との輝度差が大きい画素に強く発生する傾向がある。非線形のガンマを用いることにより、フリンジが含まれている可能性が高い画素の輝度が上げられ、フリンジが含まれている可能性が低い画素の輝度が下げられる。これにより、図１１に示す第２の収差画像が作成される。

ステップＳ３１からＳ３３を実行することにより、隣接する画素との輝度差が大きい画素を検出できる。

他方、ステップＳ４１では、Ｙ画像に含まれる画素の輝度情報を、所定の閾値を用いて二値化する。すなわち、飽和している領域の縁を検出し、飽和している領域と飽和していない領域とを区別する。これにより作成された画像を第３の収差画像とする。フリンジは、輝度情報が飽和している領域と、飽和していない領域の境界に特に強く発生する傾向がある。そこで、所定の閾値を用いて二値化することにより、飽和している領域の縁を検出し、飽和している領域から飽和していない領域を除く。図１２は第５の中間補正画像であって、輝度情報が閾値以上である画素を白色で表し、輝度情報が閾値未満である画素を黒色で表した画像である。

次のステップＳ４２では、第５の中間補正画像に含まれる画像の被写体像の輪郭を検出する。これにより、図１３に示す第３の収差画像が作成される。

ステップＳ４１及び４２を実行することにより、輝度情報が飽和している領域と飽和していない領域との境界を検出する。

次のステップＳ５では、第２の収差画像と第３の収差画像との論理和をとる。これにより、図１４に示す第４の収差画像が作成される。隣接する画素との輝度差が大きい画素を含む第２の収差画像と、輝度情報が飽和している領域と飽和していない領域との境界を含む第３の収差画像との論理和をとることにより、フリンジが発生しやすい領域を確実に検出できる。

次のステップＳ６では、第４の収差画像にローパスフィルタを掛け、図１５に示す第６の中間補正画像が作成される。これにより、フリンジが含まれると判断された領域の境界がぼかされる。

次のステップＳ７では、第６の中間補正画像に含まれる画素の輝度情報を、所定の閾値を用いて二値化して、図１６に示す第７の中間補正画像を作成する。撮影画像に出現するフリンジの幅は撮像レンズ１０２によって異なる。閾値の値を調節することにより、撮像レンズ１０２に応じた幅を用いてフリンジを検出できる。閾値を大きくするとフリンジの幅が小さい撮像レンズ１０２に適応し、閾値を低くするとフリンジの幅が大きい撮像レンズ１０２に適応する。

次のステップＳ８では、ステップＳ２５で作成された第１の収差画像と、ステップＳ７で作成された第７の中間補正画像との論理積をとり、収差検出画像を得る。

フリンジに近い色を有する領域を含む第１の収差画像と、輝度から求められたフリンジが発生しやすい領域を有する第７の中間補正画像との論理積をとることにより、フリンジが発生する領域を確実に検出できる。

次のステップＳ９では、収差検出画像にローパスフィルタを掛けて収差緩和画像を作成する。これにより、フリンジが発生する領域とその他の領域との境界がぼかされる。収差検出画像では、フリンジが発生する領域とその他の領域との境界が明確であるため、収差検出画像を撮影画像に合成すると、合成によって補正された領域と補正されていない領域との境界が明確になってしまう。しかしながら収差検出画像にローパスフィルタを掛けた後に撮影画像と合成すれば、合成によって補正された領域と補正されていない領域との境界がぼやかされて目立たなくなる。図１８に収差緩和画像を示す。

そして、収差緩和画像を撮影画像と合成して、フリンジを補正する。

本実施形態によれば、１枚の撮影画像を用いてフリンジを正確に検出し、かつ補正できる。

なお、ステップＳ４１において、二値化を用いずに、ガンマを用いて輝度情報の飽和部分におけるガンマを強調することにより飽和部分近傍のコントラストを高めてもよい。ステップＳ４２において、第５の中間補正画像に含まれる被写体像の輪郭を容易に検出できる。

なお、第１の収差画像と第２の収差画像と第３の収差画像とを用いてフリンジを検出する際に、第１の収差画像、第２の収差画像、及び第３の収差画像の全て、あるいはいずれか１又は２の画像に、重み付けやαブレンドを行ってから論理和や論理積等を算出してもよい。

次に、図１９から２４を用いて第２の実施形態について説明する。第１の実施形態と同じ構成に関しては、同じ符号を付して説明を省略する。第２の実施形態によるデジタルカメラ１００は、第１の収差補正処理を実行せずに、第２の収差補正処理を実行する。以下、第２の収差補正処理について説明する。

ＤＳＰ１０１は、画像取得部及び補正部を成し、撮影画像に含まれるフリンジを補正する第２の収差補正処理を実行する。第２の収差補正処理は、１つの撮影画像から２つの画像を作成し、一方の画像からマスク画像を作成し、マスク画像を他方の画像と合成することにより、フリンジを補正する処理である。

次に、図１９を用いて、第２の収差補正処理について説明する。

始めのステップＳ２０１では、撮影画像を取得する。撮影画像は、図２０に示される画像である。撮影画像において、人物の周囲にはフリンジ４１が出現している。そして処理はステップＳ２２１とＳ２２２に進む。

次のステップＳ２２１では、撮影画像を用いて補正用画像（第１の処理画像）を作成する。補正用画像は、色差情報が飽和しないように決定された値を持つパラメータを用いて作成される。これにより、撮影画像に含まれるフリンジが抑制される。パラメータは、例えば、ホワイトバランス、カラーマトリクス、ガンマ、彩度、シャープネス等である。色差情報が飽和しないように決定された値は、例えば、彩度を下げるような値、フリンジで強く発生する色のカラーマトリクスを弱めるような値である。図２１に補正用画像を示す。

ステップＳ２２２は、以下の処理で撮影画像を用いる旨を示すものであり、具体的な処理は行われない。

次のステップＳ２０３では、撮影画像に含まれるフリンジを検出し、フリンジ部分を抽出したマスク画像を作成する。図２２にマスク画像を示す。マスク画像は、第１の収差補正処理によって作成された収差検出画像又は収差緩和画像である。

次のステップＳ２０４では、マスク画像を補正用画像と合成する。これにより、補正用画像からフリンジ部分だけを抜き出した合成画像が得られる。図２３に合成画像を示す。

次のステップＳ２０５では、合成画像を撮影画像と合成する。詳しく説明すると、撮影画像に含まれるフリンジ部分に、抑制されたフリンジ部分が合成された補正画像が作成される。これにより、フリンジが抑制された補正画像を得る。図２４に補正画像を示す。

本実施形態によれば、１枚の撮影画像を用いてフリンジを正確に検出し、かつ補正できる。

また、単純にフリンジの彩度を下げて補正する処理では、補正後のフリンジ部分の色が黒ずんでしまう恐れがあるが、本実施形態では、フリンジの彩度を落とした上で元の画像と合成するため、補正後のフリンジ部分の色が黒ずんでしまうことがない。

次に、図２５から３０を用いて第３の実施形態について説明する。第１の実施形態と同じ構成に関しては、同じ符号を付して説明を省略する。第３の実施形態によるデジタルカメラ１００は、第１の収差補正処理を実行せずに、第３の収差補正処理を実行する。以下、第３の収差補正処理について説明する。

ＤＳＰ１０１は、画像取得部及び補正部を成し、撮影画像に含まれるフリンジを補正する第３の収差補正処理を実行する。第３の収差補正処理は、１つの撮影画像から２つの画像を作成し、一方の画像からマスク画像を作成し、他方の画像とマスク画像とを合成し、合成した画像をさらに元の画像と合成して、フリンジを補正する処理である。

次に、図２５を用いて、第３の収差補正処理について説明する。

始めのステップＳ３０１では、撮影画像を取得する。撮影画像は、図２０に示される画像である。撮影画像において、人物の周囲にはフリンジ４１が出現している。そして処理はステップＳ３１１とＳ３２１に進む。

次のステップＳ３１１では、撮影画像を用いて検出用画像（第２の処理画像）を作成する。検出用画像は、フリンジが検出しやすくなるように決定された値を持つパラメータを用いて作成される。これにより、撮影画像に含まれるフリンジが強調される。パラメータは、例えば、ホワイトバランス、カラーマトリクス、ガンマ、彩度、シャープネス等である。フリンジが検出しやすくなるように決定された値は、例えば、特定の波長範囲にある色の彩度を上げるような値、フリンジで強く発生する色を強めるようなカラーマトリクスの値である。図２６に検出用画像を示す。特定の波長範囲にある色の彩度を上げ、これにより色が飽和した部分をフリンジと判断することによって、正確かつ効率的にフリンジを検出できる。また、フリンジの色と実際の被写体の色が近い場合においても、彩度を上げることでフリンジを容易に判断できる。

次のステップＳ３１２では、検出用画像に含まれるフリンジを検出し、フリンジ部分を抽出したマスク画像を作成する。図２７にマスク画像を示す。マスク画像は、第１の収差補正処理によって作成された収差検出画像又は収差緩和画像である。

他方、ステップＳ３２１は、以下の処理で撮影画像を用いる旨を示すものであり、具体的な処理は行われない。

次のステップＳ３２２では、撮影画像を用いて彩度低減画像（第３の処理画像）を作成する。彩度低減画像は、撮影画像全体の彩度を低減させることにより作成された画像である。図２８に彩度低減画像を示す。

次のステップＳ３３４では、マスク画像を彩度低減画像と合成する。これにより、補正用画像からフリンジ部分だけを抜き出した合成画像が得られる。図２９に合成画像を示す。

次のステップＳ３３５では、合成画像を撮影画像と合成する。詳しく説明すると、撮影画像に含まれるフリンジ部分に、抑制されたフリンジ部分が合成された補正画像が作成される。これにより、フリンジが抑制された補正画像を得る。図３０に補正画像を示す。

本実施形態によれば、第２の実施形態と同様の効果を得る。

また、ステップＳ３１１において、特定の波長範囲にある色の彩度を上げ、これにより色が飽和した部分をフリンジとみなすことによって、正確かつ効率的にフリンジを検出できる。また、フリンジの色と実際の被写体の色が近い場合においても、彩度を上げることでフリンジを容易に判断できる。

次に、図３１から３３を用いて第４の実施形態について説明する。第１の実施形態と同じ構成に関しては、同じ符号を付して説明を省略する。第４の実施形態によるデジタルカメラ１００は、第１の収差補正処理を実行せずに、第４の収差補正処理を実行する。以下、第４の収差補正処理について説明する。

ＤＳＰ１０１は、画像取得部及び補正部を成し、撮影画像に含まれるフリンジを補正する第４の収差補正処理を実行する。第４の収差補正処理は、１つの撮影画像から２つの画像を作成し、一方の画像からマスク画像を作成し、他方の画像とマスク画像とを合成し、合成した画像をさらに元の画像と合成して、フリンジを補正する処理である。

次に、図３１を用いて、第４の収差補正処理について説明する。

始めのステップＳ４０１では、撮影画像を取得する。撮影画像は、図２０に示される画像である。撮影画像において、人物の周囲にはフリンジ４１が出現している。そして処理はステップＳ４１１、Ｓ４１２、及びＳ４１５に進む。

次のステップＳ４１１では、撮影画像を用いて補正用画像（第１の処理画像）を作成する。補正用画像は、色差情報が飽和しないように決定された値を持つパラメータを用いて作成される。これにより、撮影画像に含まれるフリンジが抑制される。パラメータは、例えば、ホワイトバランス、カラーマトリクス、ガンマ、彩度、シャープネス等である。色差情報が飽和しないように決定された値は、例えば、彩度を下げるような値、フリンジで強く発生する色を強めるようなカラーマトリクスの値である。図２１に補正用画像を示す。

次のステップＳ４１２では、撮影画像を用いて検出用画像（第２の処理画像）を作成する。検出用画像は、フリンジが検出しやすくなるように決定された値を持つパラメータを用いて作成される。これにより、撮影画像に含まれるフリンジが強調される。パラメータは、例えば、ホワイトバランス、カラーマトリクス、ガンマ、彩度、シャープネス等である。フリンジが検出しやすくなるように決定された値は、例えば、特定の波長範囲にある色の彩度を上げるような値、フリンジで強く発生する色を強めるようなカラーマトリクスの値である。図２６に検出用画像を示す。特定の波長範囲にある色の彩度を上げ、これにより色が飽和した部分をフリンジと判断することによって、正確かつ効率的にフリンジを検出できる。また、フリンジの色と実際の被写体の色が近い場合においても、彩度を上げることでフリンジを容易に判断できる。

次のステップＳ４１３では、検出用画像に含まれるフリンジを検出し、フリンジ部分を抽出したマスク画像を作成する。図２７にマスク画像を示す。マスク画像は、第１の収差補正処理によって作成された収差検出画像又は収差緩和画像である。

次のステップＳ４１４では、マスク画像を補正用画像と合成する。これにより、補正用画像からフリンジ部分だけを抜き出した合成画像が得られる。図３２に合成画像を示す。

他方、ステップＳ４１５は、以下の処理で撮影画像を用いる旨を示すものであり、具体的な処理は行われない。

次のステップＳ４１６では、合成画像を撮影画像と合成する。詳しく説明すると、撮影画像に含まれるフリンジ部分に、抑制されたフリンジ部分が合成された補正画像が作成される。これにより、フリンジが抑制された補正画像を得る。図３３に補正画像を示す。

本実施形態によれば、第２及び第３の実施形態と同様の効果を得る。また、検出用画像と補正用画像とを用いてフリンジ部分だけを抜き出した合成画像することにより、フリンジ部分を違和感なく補正できる。

次に図３４から３９を用いて第５の実施形態について説明する。第１から第４の実施形態と同様の構成については、同じ符号を付して説明を省略する。第５の実施形態では、図２に示す収差領域を決定する収差領域決定処理をＤＳＰ１０１が実行する。

図３４は、撮像レンズ１０２が有するフリンジの色をＣｂＣｒ平面に表した図である。図３４に示されるフリンジは、ＣｂＣｒ平面の第一象限及び第四象限に出現する。第一象限に現れるフリンジは、撮像レンズ１０２が被写体よりも奥側に合焦しているいわゆる後ピンの状態において被写体に現れるものであって、パープル色やマゼンダ色を有する。第四象限に現れるフリンジは、撮像レンズ１０２が被写体よりも手前側に合焦しているいわゆる前ピンの状態において被写体に現れるものであって、グリーン色やブルー色を有する。

第一象限に現れるフリンジは、楕円形状を有する第１の収差領域５１により近似され、第二象限に現れるフリンジは、楕円形状を有する第２の収差領域５２により近似される。第１の収差領域及び第２の収差領域５２は、各々の楕円の形状及び位置を決定するパラメータにより決定される。これらのパラメータは、楕円の長軸の長さ、短軸の長さ、中心座標、及び長軸の傾き等のうち、少なくとも１つを含む。

しかしながら、第１の収差領域５１と第２の収差領域５２との間の中間領域に発生するフリンジを有する撮像レンズ１０２がある。中間領域に発生するフリンジを検出する手段について、図３５を用いて説明する。

ＤＳＰ１０１は、レンズデータに基づいて、第１の収差領域５１と第２の収差領域５２との間の中間領域６０にフリンジが発生すると判断すると、第１の収差領域５１と第２の収差領域５２とを繋ぐ円弧を用いて中間領域６０を定義し、これら第１の収差領域５１、第２の収差領域５２、及び中間領域６０内に色差情報が含まれるか否かを判断する。中間領域６０は、パラメータを用いて決定される。中間領域６０を決定するパラメータは、例えば、第１の円弧５３及び第２の円弧５４の形状及び位置を決定するパラメータであって、円弧の中心座標、半径、直径、及び中心角等のうち、少なくとも１つを含む。第１の円弧５３及び第２の円弧５４は、第１の収差領域５１と第２の収差領域５２とを接続する。

他方、撮影画像に所定の画像処理を施した後に、フリンジを検出する場合がある。この場合、所定の画像処理を施すことによってフリンジの色差情報が変化するため、レンズデータのみに基づいて作成された収差領域の中にフリンジの色差情報が含まれなくなって、フリンジを検出できなくなる可能性がある。そこで、撮影画像に所定の画像処理を施した後であってもフリンジを検出できるように、以下の収差領域補正処理を行う。

収差領域補正処理の一例について図を用いて説明する。図３６は、ホワイトバランスを調節した撮影画像に含まれるフリンジを検出するために用いられる収差領域を示す。

ホワイトバランスが調節された撮影画像に含まれるフリンジは、ＣｂＣｒ平面において平行移動する傾向がある。そこで、平行移動した収差領域を用いてフリンジを検出する。第１の収差領域５１は、レンズデータを用いて算出された収差領域である。他方、ホワイトバランスを調節したとき、収差領域はベクトル５６に従って移動する傾向がある。そこで、ＤＳＰ１０１は、ベクトル５６を算出し、ベクトル５６を用いて第１の収差領域５１を平行移動して、第３の収差領域５５を算出する。そして、ホワイトバランスが調節された撮影画像に含まれている色差情報が第３の収差領域に含まれるか否かを判断する。これにより、ホワイトバランスを調節した撮影画像であっても、フリンジを適切に検出できる。

図３７は、カラーマトリクスを変更した撮影画像に含まれるフリンジを検出するために用いられる収差領域を示す。

カラーマトリクスが変更された撮影画像に含まれるフリンジは、ＣｂＣｒ平面において回転移動する傾向がある。そこで、回転移動した収差領域を用いてフリンジを検出する。第１の収差領域５１は、レンズデータを用いて算出された収差領域である。他方、カラーマトリクスを変更したとき、収差領域は回転中心点５８を中心に角度θだけ回転する傾向がある。そこで、ＤＳＰ１０１は、回転中心点５８及び角度θを算出し、回転中心点５８及び角度θを用いて第１の収差領域５１を回転移動して、第４の収差領域５７を算出する。そして、カラーマトリクスが変更された撮影画像に含まれている色差情報が第４の収差領域５７に含まれるか否かを判断する。これにより、カラーマトリクスを調節した撮影画像であっても、フリンジを適切に検出できる。

図３８を用いて、収差領域決定処理について説明する。収差領域決定処理は、撮像レンズ１０２がカメラボディ１１０に取り付けられたときに実行される。

始めのステップＳ３８１では、レンズデータを用いてフリンジの色差情報を算出する。

次のステップＳ３８２では、ステップＳ３８１で算出した色差情報をＣｂＣｒ平面上にプロットする。

次のステップＳ３８３では、ステップＳ３８２でプロットした色差情報を包含する楕円を作成する。

次のステップＳ３８４では、ステップＳ３８３で作成した楕円のパラメータをカメラメモリ１０３に記憶させる。

図３７及び図３９を用いて、収差領域補正処理について説明する。収差領域補正処理は、デジタルカメラ１００が撮像したときにＤＳＰ１０１によって実行される。

始めのステップＳ３９１では、撮影画像を取得する。

次のステップＳ３９２では、撮影画像を撮影したときに用いたカラーマトリクスと、第１の収差領域５１を作成したときに用いたカラーマトリクスとを比較し、両者の差分を算出する。

次のステップＳ３９３では、ステップＳ３９２で算出した差分を用いて、前述した回転中心点５８及び角度θを算出する。そして、回転中心点５８及び角度θを用いて第１の収差領域５１を回転移動して、第４の収差領域５７を算出する。

次のステップＳ３９４では、撮影画像を撮影したときに用いたホワイトバランスと、第１の収差領域５１を作成したときに用いたホワイトバランスとを比較し、両者の差分を算出する。

次のステップＳ３９５では、ステップＳ３９４で算出した差分を用いて、前述したベクトル５６を算出する。そして、ベクトル５６を用いて第４の収差領域５７を平行移動して、第５の収差領域５９を算出する。

これにより、撮影画像を撮影したときに用いたカラーマトリクス及びホワイトバランスに応じて収差領域を変更し、フリンジを適切に検出できる。

本実施形態によれば、収差領域を楕円で近似し、楕円の形状及び位置を表すパラメータを記憶するため、記憶するデータ量が少なくて済む。

また、収差領域が楕円で表現できない場合であっても、中間領域６０を用いて近似し、中間領域６０の形状及び位置を表すパラメータを記憶するため、記憶するデータ量が少なくて済む。

さらに、撮影画像を処理した画像処理に応じて収差領域を変更するため、正確に収差を検出できる。

なお、収差領域決定処理及び収差領域補正処理は、ＤＳＰ１０１でなく、他の装置によって予めレンズデータを用いて実行されてもよい。このとき、算出されたパラメータは、撮像レンズ１０２が備えるレンズメモリ１０８に記憶される。ＤＳＰ１０１は、レンズメモリ１０８からパラメータを読み出して、パラメータに基づいて収差を検出する。

本実施形態におけるパラメータは、予めレンズデータに基づいて算出され、撮像レンズ１０２が備えるレンズメモリ１０８に記憶されてもよい。ＤＳＰ１０１はレンズメモリ１０８からパラメータを読み出して、パラメータに基づいて収差を検出する。

第１の収差領域５１と第２の収差領域５２との間の中間領域６０は、円弧でなく、他の形状を有する線分（直線）や弦（曲線）、例えば二次曲線等によって決定されてもよい。

次に、図４０を用いて第６の実施形態について説明する。第１から第５の実施形態と同様の構成については、同じ符号を付して説明を省略する。第６の実施形態では、補正用画像及び検出用画像を作成する手段が第２、第３、及び第４の収差補正処理と異なる。以下、補正用画像及び検出用画像を作成する手段について説明する。

本実施形態では、レンズデータを用いて補正用画像及び検出用画像を作成する。図４０は、レンズデータを用いて算出された収差領域６１をＣｂＣｒ平面に示した図である。

まず、補正画像を作成する手段について説明する。始めに、ＤＳＰ１０１は、レンズデータを用いて図４０に示す収差領域６１を算出する。次に、収差領域６１に含まれる色差情報を有する画素を撮影画像から抽出する。そして、抽出した画素の色差情報の彩度を下げる。具体的には、ＣｂＣｒ平面における色差情報を原点に向けて平行移動させる。これにより、収差領域６１に属する画素の色差情報は、領域６２に移動する。これにより、撮影画像に含まれるフリンジのみの彩度が下げられ、フリンジが抑制される。図２１に補正用画像を示す。

次に、検出用画像を作成する手段について説明する。始めに、ＤＳＰ１０１は、レンズデータを用いて図４０に示す収差領域６１を算出する。次に、収差領域６１に含まれる色差情報を有する画素を撮影画像から抽出する。そして、抽出した画素の色差情報の彩度を上げる。具体的には、ＣｂＣｒ平面における色差情報を原点から遠ざけるように平行移動させる。これにより、収差領域６１に属する画素の色差情報は、領域６３に移動する。これにより、撮影画像に含まれるフリンジのみの彩度が上げられ、フリンジが強調される。図２６に補正用画像を示す。

そして、彩度でなくカラーマトリクスを変更してフリンジを抑制することも可能である。以下に、カラーマトリクスを変更して補正画像を作成する手段について説明する。

始めに、ＤＳＰ１０１は、レンズデータを用いて図４０に示す収差領域６１を算出する。次に、収差領域６１が存在する場合、すなわちフリンジが存在する場合、撮影画像の色差情報をＲＧＢ色空間に変換したＲＧＢ情報を取得する。そして、ＲＧＢ情報を以下の式（１）を用いて変換する。
式（１）は、ＲＧＢ色情報のうち、フリンジに多く含まれるブルー色を抑制する式である。式（１）を用いることにより、フリンジを抑制できる。

他方、収差領域６１が存在しない場合、すなわちフリンジが存在しない場合、ＲＧＢ情報を、以下の式（２）を用いて変換する。
式（２）は、ＲＧＢ色情報に単位行列を乗じており、何らのＲＧＢ情報をも変換しない。

本実施形態によれば、レンズデータを用いることにより、フリンジのみを抑制、又は強調することができる。

なお、本実施形態では、補正画像を作成するにあたり、収差領域６１に含まれる色差情報を有する画素の彩度を下げるのではなく、収差領域６１に含まれる色差情報を有する画素のシャープネスを下げてもよい。これにより、フリンジが抑制される。同様に、検出用画像を作成するにあたり、収差領域６１に含まれる色差情報を有する画素の彩度を上げるのではなく、収差領域６１に含まれる色差情報を有する画素のシャープネスを上げてもよい。これにより、フリンジが強調される。

また、本実施形態では、カラーマトリクスを変更して補正画像を作成する手段において、収差領域６１に含まれる色差情報を有する画素に関しては式（１）を用いて変換し、収差領域６１に含まれない色差情報を有する画素に関しては式（２）を用いて変換してもよい。このとき、ＤＳＰ１０１は、レンズデータを用いて図４０に示す収差領域６１を算出する。次に、収差領域６１に含まれる色差情報を有する画素を撮影画像から抽出する。次に、抽出した画素の色差情報をＲＧＢ色空間に変換したＲＧＢ情報を取得する。そして、ＲＧＢ情報を式（１）を用いて変換する。式（１）を用いることにより、フリンジを抑制できる。他方、収差領域６１に含まれない色差情報を有する画素に関しては、式（２）を用いて変換する。

また、本実施形態の数１は例示であって、フリンジがグリーン色やマゼンダ色などの他の色を持つ場合、他の式が用いられる。

なお、いずれの実施形態においても、撮影画像等、全ての画像は、ＹＣｂＣｒ色空間により表現される画像でなくてもよく、他の表色系で表現されるデータから成る画像であってもよい。

なお、いずれの実施形態においても、レンズデータが撮影画像に記憶されてもよい。パソコンなどの装置が、撮影画像からレンズデータを読み出し、読み出したレンズデータを用いて収差を検出し、補正できる。また、収差を検出するに用いた他のデータを撮影画像に記憶させてもよい。パソコンなどの装置が、撮影画像から他のデータを読み出し、読み出したデータを用いて収差を検出し、補正できる。

なお、いずれの実施形態においても、レンズデータは、撮像レンズ１０２に記憶されてもよく、各々の撮影レンズ１０２に対応するレンズデータをデジタルカメラ１００に記憶されてもよい。

レンズデータは、撮影レンズ１０２の種類毎でなく、個体毎に測定し、記憶されてもよい。精度よくフリンジを検出及び補正できる。

また、いずれの実施形態においても、撮像レンズ１０２はデジタルカメラ１００に着脱自在に設けられず、デジタルカメラ１００から取り外しできなくてもよい。デジタルカメラ１００はコンパクトデジタルカメラであってもよい。

４１ フリンジ
４２ 模様
５１ 第１の収差領域
５２ 第２の収差領域
５３ 第１の円弧
５４ 第２の円弧
５５ 第３の収差領域
５６ ベクトル
５７ 第４の収差領域
５８ 回転中心点
５９ 第５の収差領域
６０ 中間領域
６１ 収差領域
１００ デジタルカメラ
１０１ ＤＳＰ
１０２ 撮像レンズ
１０３ カメラメモリ
１０４ 操作部材
１０５ 記録媒体
１０６ 表示媒体
１０７ レンズ
１０８ レンズメモリ
１１０ カメラボディ
１１１ ＣＣＤ
１２０ タイミングジェネレータ
１３０ ＡＦＥ

Claims (9)

1. 撮影画像を取得する画像取得部と、
   前記撮影画像に含まれる収差を補正して補正画像を作成する補正部とを備え、
   前記補正部は、
   前記撮影画像に処理を施して得られる１つの処理画像または各々異なる処理を施した２以上の処理画像を作成し、
   前記撮影画像または前記処理画像のいずれか１つに所定の処理を施してマスク画像を作成し、
   前記マスク画像を作成する際に用いなかった前記処理画像と前記マスク画像とを合成して合成画像を作成し、
   前記撮影画像に前記合成画像を合成して前記補正画像を作成し、
   前記撮影画像に第２の処理を施して得られる第２の処理画像を作成し、
   前記第２の処理画像に所定の処理を施して前記マスク画像を作成し、
   前記第２の処理とは異なる第３の処理を前記撮影画像に施して得られる第３の処理画像を作成し、
   前記第３の処理画像と前記マスク画像とを合成して前記合成画像を作成する
   ことを特徴とする画像処理装置。
2. 撮影画像を取得する画像取得部と、
   前記撮影画像に含まれる収差を補正して補正画像を作成する補正部とを備え、
   前記補正部は、
   前記撮影画像に処理を施して得られる１つの処理画像または各々異なる処理を施した２以上の処理画像を作成し、
   前記撮影画像または前記処理画像のいずれか１つに所定の処理を施してマスク画像を作成し、
   前記マスク画像を作成する際に用いなかった前記処理画像と前記マスク画像とを合成して合成画像を作成し、
   前記撮影画像に前記合成画像を合成して前記補正画像を作成し、
   前記撮影画像に第１の処理を施して得られる第１の処理画像と、前記第１の処理とは異なる第２の処理を前記撮影画像に施して得られる第２の処理画像とを作成し、
   前記第２の処理画像に所定の処理を施して前記マスク画像を作成し、
   前記第１の処理画像と前記マスク画像とを合成して前記合成画像を作成する
   ことを特徴とする画像処理装置。
3. 前記補正部は、前記撮影画像に第１の処理を施して得られる第１の処理画像を作成し、
   前記撮影画像に所定の処理を施して前記マスク画像を作成し、
   前記第１の処理画像と前記マスク画像とを合成して前記合成画像を作成する請求項１または請求項２の何れか一項に記載の画像処理装置。
4. 前記第１の処理は、前記撮影画像に含まれる色情報の値を低減する処理である請求項２に記載の画像処理装置。
5. 前記第３の処理は、前記撮影画像に含まれる収差を低減する処理である請求項１に記載の画像処理装置。
6. 前記第２の処理は、前記撮影画像に含まれる収差を強調する処理である請求項２に記載の画像処理装置。
7. 請求項１または請求項２の何れか一項に記載の画像処理装置と、前記撮影画像を撮像する撮像素子とを備える撮像装置。
8. 撮像レンズを介して撮像された撮影画像に含まれる色情報の値に処理を施して得られる１つの処理画像または各々異なる処理を施して得られる２以上の処理画像を作成するステップと、
   前記撮影画像または前記処理画像のいずれか１つに含まれる色情報の値に所定の処理を施してマスク画像を作成するステップと、
   前記マスク画像を作成する際に用いなかった前記処理画像と前記マスク画像に含まれる色情報の値とを合成して合成画像を作成するステップと、
   前記撮影画像に前記合成画像を合成して補正画像を作成するステップと、
   前記撮影画像に第２の処理を施して得られる第２の処理画像を作成するステップと、
   前記第２の処理画像に所定の処理を施して前記マスク画像を作成するステップと、
   前記第２の処理とは異なる第３の処理を前記撮影画像に施して得られる第３の処理画像を作成するステップと、
   前記第３の処理画像と前記マスク画像とを合成して前記合成画像を作成するステップと
   を備える画像処理方法。
9. 撮像レンズを介して撮像された撮影画像に含まれる色情報の値に処理を施して得られる１つの処理画像または各々異なる処理を施して得られる２以上の処理画像を作成するステップと、
   前記撮影画像または前記処理画像のいずれか１つに含まれる色情報の値に所定の処理を施してマスク画像を作成するステップと、
   前記マスク画像を作成する際に用いなかった前記処理画像と前記マスク画像に含まれる色情報の値とを合成して合成画像を作成するステップと、
   前記撮影画像に前記合成画像を合成して補正画像を作成するステップと、
   前記撮影画像に第１の処理を施して得られる第１の処理画像と、前記第１の処理とは異なる第２の処理を前記撮影画像に施して得られる第２の処理画像とを作成するステップと、
   前記第２の処理画像に所定の処理を施して前記マスク画像を作成するステップと、
   前記第１の処理画像と前記マスク画像とを合成して前記合成画像を作成するステップと
   を備える画像処理方法。