JP6214457B2 - 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮影画像の画質を向上させる画像処理方法に関する。

カメラなどの撮像装置により撮像を行うと、撮像光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射し、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、ゴーストやフレアなどの不要成分として撮影画像中に現れる。また、軸上色収差や倍率色収差の補正のために回折光学素子を用いると、撮像画角外に存在する太陽などの高強度物体からの光が回折光学素子に当たることで、画像全体に渡って不要光が不要成分として現れる場合がある。

特許文献１には、被写体に対して撮像光学系が合焦状態にあるときの画像（合焦画像）と撮像光学系が非合焦状態にあるときの画像（デフォーカス画像）との差分を示す差分画像からゴーストを検出する方法が開示されている。しかし、特許文献１の方法では、複数回の撮像が必要であり、動きのある被写体の静止画撮像や動画撮像には適さない。

特許文献２には、単眼立体撮像による複数の視点画像を比較することでゴーストを検出する方法が開示されている。特許文献２の方法では、１回の撮像で複数の視差画像を得られるため、動きのある被写体の静止画撮像や動画撮像にも対応可能である。

特開２００８−５４２０６号公報 特開２０１１−２０５５３１号公報

しかしながら、特許文献２の方法では、主画像と副画像の２画像間での差分を求めることによりゴーストを検出するため、３視点以上の視点画像の場合にゴースト検出効果が低減してしまう。また特許文献２では、ゴースト検出後に視差画像毎にゴーストを除去するため、処理工程が複雑になる。

そこで本発明は、複数の撮像を行うことなく撮影画像に含まれる不要成分を簡易かつ効果的に低減可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理方法は、複数の視差画像のそれぞれに対して、不要光が撮像面に到達することにより生じた第一成分を、前記複数の視差画像の複数の相対差分情報に基づいて決定するステップと、前記複数の視差画像のそれぞれの前記第一成分の合成値を算出するステップと、前記第一成分の前記合成値に基づいて定められる第二成分を前記複数の視差画像の合成画像から低減するステップとを有する。

本発明の他の側面としての画像処理装置は、複数の視差画像のそれぞれに対して、不要光が撮像面に到達することにより生じた第一成分を、前記複数の視差画像の複数の相対差分情報に基づいて決定する決定手段と、前記複数の視差画像のそれぞれの前記第一成分の合成値を算出する成分合成手段と、前記第一成分の前記合成値に基づいて定められる第二成分を前記複数の視差画像の合成画像から低減する低減手段とを有する。

本発明の他の側面としての撮像装置は、光学像を光電変換して複数の視差画像を出力する撮像素子と、前記複数の視差画像のそれぞれに対して、不要光が撮像面に到達することにより生じた第一成分を、前記複数の視差画像の複数の相対差分情報に基づいて決定する決定手段と、前記複数の視差画像のそれぞれの前記第一成分の合成値を算出する成分合成手段と、前記第一成分の前記合成値に基づいて定められる第二成分を前記複数の視差画像の合成画像から低減する低減手段とを有する。

本発明の他の側面としての画像処理プログラムは、複数の視差画像のそれぞれに対して、不要光が撮像面に到達することにより生じた第一成分を、前記複数の視差画像の複数の相対差分情報に基づいて決定するステップと、前記複数の視差画像のそれぞれの前記第一成分の合成値を算出するステップと、前記第一成分の前記合成値に基づいて定められる第二成分を前記複数の視差画像の合成画像から低減するステップと、をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、複数の撮像を行うことなく撮影画像に含まれる不要成分を簡易かつ効果的に低減可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における画像処理方法の手順を示す図である。 実施例１における画像処理方法による出力画像の一例である。 各実施例の撮像系において、撮像素子の受光部と撮像光学系の瞳との関係図である。 各実施例における撮像系の模式図である。 実施例１における撮像装置のブロック図である。 実施例１における撮像光学系の構成および撮像光学系にて発生する不要光の説明図である。 実施例１における撮像光学系の絞りを透過する不要光の説明図である。 実施例１における画像処理方法を示すフローチャートである。 実施例２における撮像素子を示す図である。 実施例２における撮像光学系の絞りを透過する不要光の説明図である。 実施例２における画像処理方法の手順を示す図である。 実施例２における画像処理方法の手順を示す図である。 実施例２における画像処理方法を示すフローチャートである。 実施例３における画像処理方法の手順を示す図である。 実施例３における画像処理方法の手順を示す図である。 実施例３における画像処理方法を示すフローチャートである。 実施例４における撮像系を示す図である。 実施例４における撮像系を示す図である。 実施例４における撮像系を示す図である。 従来の撮像素子を示す図である。 図１５の撮像系により得られた画像を示す図である。 図１６および図１７の撮像系により得られた画像を示す図である。 実施例４における撮像装置の例を示す図である。 実施例４における撮像装置の例を示す図である。 実施例５における撮像装置のブロック図である。 実施例５における撮像装置の背面図である。 実施例５における不要成分低減処理領域の選択例および不要成分低減処理量の選択例を示す図である。 実施例５における画像処理方法を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

本実施形態で用いられる複数の視差画像を生成可能な撮像装置は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束を撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。

図３は、本実施形態の撮像系における撮像素子の受光部と撮像光学系の瞳との関係を示す図である。図３において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは撮像光学系の射出瞳（瞳）であり、Ｐ１、Ｐ２は射出瞳ＥＸＰの領域である。Ｇ１、Ｇ２は画素（受光部）であり、１つの画素Ｇ１と１つの画素Ｇ２とが互いに対をなしている（画素Ｇ１、Ｇ２は１つのマイクロレンズＭＬを共有するように設けられている）。撮像素子には、画素Ｇ１と画素Ｇ２の対（画素対）が複数配列されている。対の画素Ｇ１と画素Ｇ２は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有する。各実施例において、撮像素子に配列された複数の画素Ｇ１、Ｇ２を、それぞれまとめて画素群Ｇ１、Ｇ２という場合がある。

図４は、本実施形態における撮像系の模式図であり、図３に示されるマイクロレンズＭＬの代わりに、射出瞳ＥＸＰの位置に薄肉レンズが設けられていると仮定した場合の撮像系を示している。画素Ｇ１は、射出瞳ＥＸＰのうち領域Ｐ１を通過した光束を受光する。画素Ｇ２は、射出瞳ＥＸＰのうち領域Ｐ２を通過した光束を受光する。ＯＳＰは、撮像している物点である。物点ＯＳＰには、必ずしも物体が存在している必要はない。物点ＯＳＰを通った光束は、その光束が通過する瞳（射出瞳ＥＸＰ）内での位置（本実施形態では領域Ｐ１または領域Ｐ２）に応じて、画素Ｇ１または画素Ｇ２のいずれかの画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられた画素Ｇ１、Ｇ２のうち、画素Ｇ１からの出力信号を用いて生成された画像と、画素Ｇ２からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割という場合がある。

また、図３および図４に示される射出瞳ＥＸＰの位置ずれなどにより、前述の共役関係が完全でなくなる場合や、領域Ｐ１、Ｐ２が部分的に互いに重複（オーバーラップ）する場合でも、以下の各実施例において、得られた複数の画像を視差画像として扱う。

図５を参照して、本発明の実施例１における画像処理方法を実行する撮像装置について説明する。図５は、本実施例における撮像装置２００の構成を示すブロック図である。撮像光学系２０１は、絞り２０１ａおよびフォーカスレンズ２０１ｂを含み、不図示の被写体からの光を撮像素子２０２上に結像（集光）させる。撮像素子２０２は、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子により構成され、図３および図４を参照して説明した瞳内の互いに異なる領域を通過した光束を、各領域に対応する画素（受光部）にて受光する（瞳分割を行う）。このようにして、撮像素子２０２は、被写体像（光学像）を光電変換し、複数の視差画像である画像信号（アナログ電気信号）を出力する。Ａ／Ｄコンバータ２０３は、撮像素子２０２から出力されたアナログ電気信号をデジタル信号に変換し、デジタル信号を画像処理部２０４に出力する。

画像処理部２０４は、デジタル信号に対して、一般的に行われる画像処理を行うとともに、不要光の決定処理および不要光を低減または除去する補正処理を行う。本実施例において、画像処理部２０４は、撮像装置２００に搭載された画像処理装置に相当する。また画像処理部２０４は、不要成分検出部２０４ａ、不要成分合成部２０４ｂ、視差画像合成部２０４ｃ、および、不要成分低減部２０４ｄを有する。

不要成分検出部２０４ａ（不要成分決定手段）は、視差画像を生成（取得）し、その視差画像から不要成分（第一不要成分）を検出（決定）する。不要成分合成部２０４ｂ（不要成分合成手段）は、不要成分検出部２０４ａにより検出された不要成分の合成値を算出する。視差画像合成部２０４ｃ（視差画像合成手段）は、不要成分検出部２０４ａにより生成された視差画像を合成する。不要成分低減部２０４ｄ（不要成分低減手段）は、不要成分合成部２０４ｂにより算出された不要成分の合成値に基づいて、視差画像合成部２０４ｃにより合成された視差画像から不要成分（第二不要成分）を低減させる。本実施例において、第二不要成分は、第一不要成分の合成値そのもの、または、第一不要成分の合成値に基づいて得られた値である。

画像処理部２０４で処理された出力画像（画像データ）は、半導体メモリや光ディスクなどの画像記録媒体２０９に保存される。また、画像処理部２０４からの出力画像を表示部２０５に表示することもできる。記憶部２０８は、画像処理部２０４による画像処理に必要な画像処理プログラムや各種情報などを記憶している。

システムコントローラ２１０（制御手段）は、撮像素子２０２の動作、画像処理部２０４での処理、および、撮像光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の制御を行う。撮像光学系制御部２０６は、システムコントローラ２１０からの制御指示に応じて、撮像光学系２０１の絞り２０１ａおよびフォーカスレンズ２０１ｂの機械的な駆動を行う。絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じて、その開口径が制御される。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整（フォーカス制御）を行うために、不図示のオートフォーカス（ＡＦ）システムやマニュアルフォーカス機構によってその位置が制御される。状態検知部２０７は、システムコントローラ２１０の制御指示に応じて、現在の撮影条件情報を取得する。なお本実施例において、撮像光学系２０１は、撮像素子２０２を備えた撮像装置２００の一部として（撮像装置２００と一体的に）構成されているが、これに限定されるものではない。一眼レフカメラのように、交換式の撮像光学系（交換レンズ）を撮像装置本体に着脱可能に構成された撮像システムであってもよい。

図６は、撮像光学系２０１の構成および撮像光学系２０１にて発生する不要光の説明図である。図６（ａ）は、撮像光学系２０１の具体的な構成例を示す。図６（ａ）において、ＳＴＰは絞り（絞り２０１ａに相当）、ＩＭＧは撮像面である。撮像面ＩＭＧの位置には、図５に示される撮像素子２０２が配置される。図６（ｂ）は、撮像光学系２０１に高輝度物体の例としての太陽ＳＵＮから強い光が入射し、撮像光学系２０１を構成するレンズの界面で反射した光が不要光（ゴーストやフレア）として撮像面ＩＭＧに到達する様子を示している。

図７は、絞りＳＴＰのうち、図４に示される画素Ｇ１、Ｇ２に入射する光束が通過する領域Ｐ１、Ｐ２（瞳領域または瞳分割領域）を示している。なお、絞りＳＴＰは、撮像光学系２０１の射出瞳ＥＸＰに相当するものとして考えることができるが、実際には絞りＳＴＰと射出瞳ＥＸＰは互いに異なることが多い。高輝度物体（太陽ＳＵＮ）からの光束は、絞りＳＴＰのほぼ全域を通過するが、画素Ｇ１、Ｇ２に入射する光束が通過する領域は、領域Ｐ１、Ｐ２（瞳領域）に分割される。

続いて、図１および図２を参照して、撮像装置２００により生成される撮影画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定する方法について説明する。図１は、本実施例における画像処理方法の手順を示す図である。図２は、本実施例における画像処理方法による出力画像の一例である。

図２（ａ）は、瞳分割による撮像により生成された複数の視差画像を合成した撮影画像を示している。この撮影画像には、ビルなどの建物とその周辺に存在する樹木とが被写体として写っている。図２（ａ）の撮影画像中に黒い四角部分として示されるＧＳＴは、不要光（ゴースト）の画像成分である不要成分（ゴースト成分）である。なお、図２（ａ）では不要成分ＧＳＴを黒く塗りつぶして示しているが、実際には、被写体がある程度透けている。また、不要成分は撮影被写体に不要光がかぶった状態であるため、撮影被写体よりも高輝度化する部分である。このことは、後述する他の実施例でも同様である。

図１（Ａ−１）および図１（Ｂ−１）は、それぞれ、領域Ｐ１、Ｐ２（瞳領域）を通過した光束を画素群Ｇ１、Ｇ２にて光電変換した結果として得られた一対の視差画像を示している。一対の視差画像には、近距離被写体の場合、画像成分に視差に対応する差（被写体視差成分）が存在する。しかしながら、図１に示されるような風景撮影による遠距離被写体の場合、被写体視差成分は微少量である。また、一対の視差画像にも黒い四角として模式的に示される不要成分ＧＳＴが含まれているが、その位置は視差画像間で互いに異なる。ここでは、不要成分ＧＳＴが互いにオーバーラップすることなく分離された状態の例を示しているが、オーバーラップしていて輝度差がある状態でもよい。すなわち、黒い四角の不要成分ＧＳＴの位置や輝度が互いに異なった状態であればよい。

図１（Ａ−２）は、一対の視差画像に対して、図１（Ａ−１）を基準画像として図１（Ｂ−１）の画像を差し引いた状態の画像（相対差分画像）を示す。図１（Ａ−２）の画像（相対差分画像）には、一対の視差画像が有する差分（相対差分情報）として、被写体の視差成分および前述の不要成分が含まれている。しかしながら、図１に示されるような風景撮影による遠距離被写体の場合、被写体視差成分は微少量であるため、その影響はほぼ無視することができる。また、前記の差分計算により図１（Ｂ−１）に含まれる不要成分は負の値として算出されるが、後述の不要成分低減処理の簡易化のため、図１（Ａ−２）では負の値を切り捨てている。そのため、図１（Ａ−２）の画像（相対差分画像）は、図１（Ａ−１）に含まれる不要成分のみを示していることとなる。

同様に、図１（Ｂ−２）は、一対の視差画像に対して、図１（Ｂ−１）を基準画像として図１（Ａ−１）の画像を差し引いた状態の画像を示す。また、図１（Ａ−２）の画像と同様に、前記の差分計算により図１（Ａ−１）に含まれる不要成分が負の値として算出されるが、後述の不要成分低減処理の簡易化のため、図１（Ｂ−２）の画像では負の値を切り捨てている。そのため、図１（Ｂ−２）の画像（相対差分画像）は、図１（Ｂ−１）に含まれる不要成分のみを示していることとなる。このように本実施例の画像処理方法では、相対差分画像における不要成分のみを残存させる（換言すると、不要成分を分離または抽出する）処理を行うことで、不要成分を決定することができる。

ここで出力画像として、図２（ａ）に示されるような、瞳分割による撮像により生成された複数の視差画像を合算（合成）した撮影画像を出力することを考える。このとき、前述のように視差画像ごとに不要成分が抽出されているため、一つの方法として、各視差画像からそれぞれ抽出された不要成分を差し引いて不要成分を低減することが考えられる。しかしながら、画像として視差画像を合算した１枚の画像を出力するのに対して、不要成分の低減処理を視差画像の枚数分だけ実行する必要があり、低減処理工程が複雑になる。そこで本実施例では、出力画像の視差画像の合成処理に合わせて、同様の処理で各視差画像の不要成分の合成処理を行う。本実施例では、最終出力画像として各視差画像を合算（合成）した画像を出力するため、各視差画像の不要成分を合算（合成）する。図１（Ｃ）は、合算（合成）された不要成分を示す。出力画像を各視差画像の合算値（合成値）として出力する場合、出力画像に含まれる不要成分は、各視差画像に含まれる不要成分の合算値（合成値）と一致する。

そして本実施例の画像処理方法では、出力すべき画像において、前述のように合成処理された不要成分を除去または低減する補正処理を行う。これにより、図２（ｂ）に示されるように、不要成分が低減された、瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。

次に、図８を参照して、本実施例における不要成分（ゴースト成分）の決定処理（画像処理）の手順について説明する。図８は、本実施例における画像処理方法（不要成分の決定方法）を示すフローチャートである。図８の各ステップは、主に、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

まずステップＳ１１において、システムコントローラ２１０は、撮像光学系２０１および撮像素子２０２により構成される撮像部（撮像系）を制御して被写体の撮像を行い、入力画像（撮影画像）を取得する。そしてステップＳ１２において、システムコントローラ２１０は、画像処理部２０４を制御し、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を用いて、入力画像としての一対の視差画像を生成させる。ここで、画像処理部２０４は、視差画像の生成のため、通常の現像処理や各種の画像補正処理を実施してもよい。

続いてステップＳ１３において、画像処理部２０４の不要成分検出部２０４ａは、一対の視差画像の相対差分情報を求める。すなわち不要成分検出部２０４ａは、図１（Ａ−１）の画像を基準画像とした相対差分画像（図１（Ａ−２）の画像）、および、図１（Ｂ−１）の画像を基準画像とした相対差分画像（図１（Ｂ−２）の画像）を生成する。撮像面に到達した不要光が撮像光学系２０１の瞳（射出瞳）のうち互いに異なる瞳領域を通過する場合、図１（Ａ−１）および図１（Ｂ−１）に示されるように、視差画像ごとに不要成分の発生位置が互いに異なる。このため、単純な相対差分画像では、不要成分の差分値は正および負の値をとる。例えば本実施例では、相対差分画像（図１（Ａ−２）の画像）を生成する際の基準画像である図１（Ａ−１）の画像から、図１（Ｂ−１）の画像を差し引いた場合、図１（Ａ−１）の画像に含まれる不要成分は正の値となる。一方、図１（Ｂ−１）の画像に含まれる不要成分は負の値となる。

ここで本実施例において、不要成分検出部２０４ａは、後述の不要成分低減処理の簡易化のため、前記負の値を切り捨てて０値とする処理を実施する。このため、図１（Ａ−２）の画像に関しては、図１（Ａ−１）に含まれる不要成分のみが正の値として検出される。不要成分検出部２０４ａは、相対差分画像（図１（Ｂ−２）の画像）についても同様の処理を実施する。これにより、図１（Ｂ−２）の画像に関しては、図１（Ｂ−１）の画像に含まれる不要成分のみが正の値として検出される。

また、不要成分検出部２０４ａは、近距離被写体を含む画像において相対差分情報を求める際に被写体視差成分を除去するため、一対の視差画像の位置合わせを行う処理を実施してもよい。具体的には、不要成分検出部２０４ａは、一対の視差画像のうち一方の画像に対して他方の画像の位置を相対的にシフトしながら画像間の相関が最大となるシフト位置を決定することにより、画像の位置合わせを行うことができる。また不要成分検出部２０４ａは、視差画像間の差分の２乗和が最小化するシフト位置を決定することで画像の位置合わせを行ってもよい。また不要成分検出部２０４ａは、視差画像中の合焦領域を位置合わせのためのシフト位置の決定の対象としてもよい。

また不要成分検出部２０４ａは、予めそれぞれの視差画像においてエッジ検出を行い、検出されたエッジを示す画像を用いて位置合わせのためのシフト位置を決定してもよい。この方法によれば、合焦領域についてはコントラストの高いエッジが検出され、背景などの非合焦領域についてはコントラストが低く、エッジとして検出されにくい。このため、必然的に合焦領域が重視されたシフト位置の決定が行われる。また、不要成分検出部２０４ａは、相対差分画像を生成する際に、ノイズなどの影響を除去するために閾値処理などのステップを加えても構わない。

続いてステップＳ１４において、不要成分検出部２０４ａは、ステップＳ１３にて生成された相対差分画像中に残存した成分を不要成分として決定する。

続いてステップＳ１５において、画像処理部２０４の不要成分合成部２０４ｂは、ステップＳ１４にて決定された各視差画像の不要成分を合算処理する（不要成分の合成値を算出する）。具体的には、不要成分合成部２０４ｂは、図１（Ａ−２）の相対差分画像と図１（Ｂ−２）の相対差分画像とを足し合わせる処理を実行する（相対差分画像の合成値を算出する）。この結果、図１（Ｃ）に示されるように、合算処理（合成）された不要成分が生成される。

続いてステップＳ１６において、視差画像合成部２０４ｃは、視差画像を合算処理し（視差画像の合成値を算出し）、１枚の瞳分割を行わない撮像により生成された撮影画像と同等の画像を出力する。具体的には、ステップＳ１２にて生成された複数の視差画像（図１（Ａ−１）の画像と図１（Ｂ−１）の画像）を足し合わせる処理を実行する（合成する）ことにより、図２（ａ）に示されるように、合算処理された合成画像が生成される。または、視差画像を生成するステップを経ずに、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を加算することで合成画像（視差画像の合算値）を生成してもよい。

続いてステップＳ１７において、画像処理部２０４の不要成分低減部２０４ｄは、出力すべき画像から不要成分を低減または除去する補正処理を行う。具体的には、不要成分低減部２０４ｄは、出力すべき画像として、図２（ｂ）に示されるように、瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成する。本実施例では、ステップＳ１３にて負の値を切り捨てて０値とすることにより、不要成分のみが正の値として検出されている。このため不要成分低減部２０４ｄは、単純に図２（ａ）の画像（合成画像）から図１（Ｃ）の画像（合算処理（合成）された不要成分）を差し引くことにより、不要成分を除去することができる。最後に、ステップＳ１８において、システムコントローラ２１０は、図２（ｂ）の画像（不要成分が除去または低減された出力画像）を、画像記録媒体２０９に保存し、または、表示部２０５に表示する。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく複数の相対差分画像から不要光（ゴースト）により形成された不要成分（ゴースト成分）を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することができる。また、相対差分画像を生成する際に、負の値を切り捨てているため、単純な差分計算のみで決定された不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。また、不要成分を合成処理する（不要成分の合成値を算出する）ことにより、視差画像の合成画像に含まれる不要成分を１つのデータとして生成する。このため、不要成分低減処理を１度の差分計算で実行することが可能となり、不要成分低減処理を簡易化することができる。

次に、本発明の実施例２（複数の瞳分割）について説明する。本実施例における撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。

図９は、本実施例における撮像素子２０２ａの受光部を示す図である。図９において、ＭＬはマイクロレンズである。Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４は、画素（受光部）であり、互いに組をなしている。撮像素子２０２ａには、画素Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４（１つの画素組）が複数配列されており、１つの画素組は、共通または共有の（すなわち画素組ごとに１つずつ設けられた）マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有する。本実施例において、撮像素子２０２ａに配列された複数の画素Ｇ１１をまとめて画素群Ｇ１１ともいう。同様に、撮像素子２０２ａに配列された複数の画素Ｇ１２、Ｇ１３、Ｇ１４のそれぞれをまとめて、画素群Ｇ１２、Ｇ１３、Ｇ１４ともいう。撮像光学系２０１の具体的な構成例は、図６を参照して説明した実施例１と同様であるため、その説明は省略する。

図１０は、撮像光学系２０１の絞りＳＴＰを透過する不要光の説明図である。図１０は、絞りＳＴＰのうち、図９に示される画素Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４に入射する光束が通過する領域Ｐ１、Ｐ２、Ｐ３、Ｐ４（瞳領域または瞳分割領域）を示している。なお、絞りＳＴＰは、撮像光学系２０１の射出瞳ＥＸＰに相当するものとして考えることができるが、実際には絞りＳＴＰと射出瞳ＥＸＰは互いに異なることが多い。高輝度物体からの光束は絞りＳＴＰのほぼ全域を通過するが、各画素に入射する光束が通過する領域は、領域Ｐ１、Ｐ２、Ｐ３、Ｐ４に分割される。

次に、図１１Ａおよび図１１Ｂを参照して、本実施例の撮像装置２００により取得（生成）される撮影画像において、不要光が光電変換されることで画像中に現れる不要成分（ゴースト成分）を決定する方法について説明する。図１１Ａおよび図１１Ｂは、本実施例における画像処理方法の手順を示す図である。なお本実施例において、撮影画像は、瞳分割による撮像により生成された複数の視差画像を合成した画像であり、図２（ａ）の画像と同様である。

図１１Ａ（Ａ−１）、図１１Ａ（Ｂ−１）、図１１Ｂ（Ｃ−１）、図１１Ｂ（Ｄ−１）は、それぞれ、領域Ｐ１、Ｐ２、Ｐ３、Ｐ４を通過した光束を画素群Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４にて光電変換した結果として得られた一組の視差画像を示している。また、一組の視差画像に黒い四角として模式的に示される不要成分ＧＳＴ（ゴースト成分）が含まれている。不要成分ＧＳＴの位置は、図１１Ａ（Ａ−１）の画像と図１１Ｂ（Ｃ−１）の画像とを比較すると、同じ位置にオーバーラップしている。同様に、不要成分ＧＳＴの位置は、図１１Ａ（Ｂ−１）の画像と図１１Ｂ（Ｄ−１）の画像とを比較すると、同じ位置にオーバーラップしている。また、不要成分ＧＳＴの位置は、図１１Ａ（Ａ−１）の画像と図１１Ｂ（Ｄ−１）の画像とを比較すると、互いに異なっている。同様に、不要成分ＧＳＴの位置は、図１１Ａ（Ｂ−１）の画像と図１１Ｂ（Ｃ−１）の画像とを比較すると、互いに異なっている。

図１１Ａ（Ａ−２）は、一組の視差画像に対して、図１１Ａ（Ａ−１）を基準画像として、図１１Ａ（Ｂ−１）の画像を差し引いた相対差分画像（図１１Ａ（Ａ−１）の画像と図１１Ａ（Ｂ−１）の画像との差分情報）である。この画像には、実施例１と同様に、相対差分情報として、被写体の視差成分と前述の不要成分とが含まれている。また実施例１と同様に、前述の差分計算により、図１１Ａ（Ｂ−１）に含まれる不要成分部分が負の値として算出されるが、後述の不要成分低減処理の簡易化のため、図１１Ａ（Ａ−２）では負の値を切り捨てている。これは、以下全ての相対差分画像でも同様である。このため、図１１Ａ（Ａ−２）の差分画像は、図１１Ａ（Ａ−１）に含まれる不要成分のみを示していることとなる。

図１１Ａ（Ａ−３）は、一組の視差画像に対して、図１１Ａ（Ａ−１）を基準画像として図１１Ｂ（Ｃ−１）の画像を差し引いた相対差分画像（図１１Ａ（Ａ−１）の画像と図１１Ｂ（Ｃ−１）の画像との差分情報）である。この画像には、実施例１と同様に、相対差分情報として、被写体の視差成分と前述の不要成分が含まれている。前述のように、図１１Ａ（Ａ−１）の画像と図１１Ｂ（Ｃ−１）の画像とを比較すると、同じ位置に不要成分がオーバーラップしているため、相対差分情報に不要成分は検出されない。このように、同じ位置に生じている不要成分は、相対差分画像には現れない。すなわち、２画像間だけの差分情報だけでは、検出することができない不要成分が存在する。一方、本実施例のように複数の視差画像の相対差分情報を取得することにより、例えば図１１Ａ（Ｂ−１）のように１つの視差画像でも基準画像と異なる位置に不要成分が生じていれば、その不要成分を効果的に検出することが可能となる。

図１１Ａ（Ａ−４）は、一組の視差画像に対して、図１１Ａ（Ａ−１）を基準画像として図１１Ｂ（Ｄ−１）の画像を差し引いた相対差分画像（図１１Ａ（Ａ−１）の画像と図１１Ｂ（Ｄ−１）の画像との差分情報）である。図１１Ａ（Ａ−１）の画像と図１１Ｂ（Ｄ−１）の画像を比較すると、不要成分の生じている位置が互いに異なる。このため、図１１Ａ（Ａ−２）と同様に、図１１Ａ（Ａ−４）は図１１Ａ（Ａ−１）に含まれる不要成分のみを示していることとなる。

図１１Ａ（Ａ−５）は、２次元データとしての相対差分情報である図１１Ａ（Ａ−２）、図１１Ａ（Ａ−３）、図１１Ａ（Ａ−４）の相対差分画像内の各画素位置における相対差分情報間の最大値を抽出した情報（相対差分最大値情報または画像情報）である。本実施例において、その画像情報は、図１１Ａ（Ａ−２）または図１１Ａ（Ａ−４）と同値の情報となり、図１１Ａ（Ａ−１）に含まれる不要成分の位置とその不要成分の量となる。

同様に、図１１Ａ（Ｂ−２）は、一組の視差画像に対して、図１１Ａ（Ｂ−１）を基準画像として図１１Ａ（Ａ−１）の画像を差し引いた相対差分画像である。図１１Ａ（Ｂ−３）は、一組の視差画像に対して、図１１Ａ（Ｂ−１）を基準画像として図１１Ｂ（Ｃ−１）の画像を差し引いた相対差分画像である。図１１Ａ（Ｂ−４）は、一組の視差画像に対して、図１１Ａ（Ｂ−１）を基準画像として図１１Ｂ（Ｄ−１）の画像を差し引いた相対差分画像である。図１１Ａ（Ｂ−５）は、２次元データとして取得されている相対差分情報である図１１Ａ（Ｂ−２）、図１１Ａ（Ｂ−３）、図１１Ａ（Ｂ−４）の相対差分画像内の各画素位置における相対差分情報間の最大値を抽出した画像情報（相対差分最大値情報）である。本実施例では、その画像情報は、図１１Ａ（Ｂ−２）または図１１Ａ（Ｂ−３）と同値の情報となり、図１１Ａ（Ｂ−１）に含まれる不要成分の位置とその不要成分の量となる。

同様に、図１１Ｂ（Ｃ−２）は、一組の視差画像に対して、図１１Ｂ（Ｃ−１）を基準画像として図１１Ａ（Ａ−１）の画像を差し引いた相対差分画像である。図１１Ｂ（Ｃ−３）は、一組の視差画像に対して、図１１Ｂ（Ｃ−１）を基準画像として図１１Ａ（Ｂ−１）の画像を差し引いた相対差分画像である。図１１Ｂ（Ｃ−４）は、一組の視差画像に対して、図１１Ｂ（Ｃ−１）を基準画像として図１１Ｂ（Ｄ−１）の画像を差し引いた相対差分画像である。図１１Ｂ（Ｃ−５）は、２次元データとして取得されている相対差分情報である図１１Ｂ（Ｃ−２）、図１１Ｂ（Ｃ−３）、図１１Ｂ（Ｃ−４）の相対差分画像内の各画素位置における相対差分情報間の最大値を抽出した画像情報（相対差分最大値情報）である。本実施例では、その画像情報は図１１Ｂ（Ｃ−３）または図１１Ｂ（Ｃ−４）と同値の情報となり、図１１Ｂ（Ｃ−１）に含まれる不要成分の位置とその不要成分の量となる。

同様に、図１１Ｂ（Ｄ−２）は、一組の視差画像に対して、図１１Ｂ（Ｄ−１）を基準画像として図１１Ａ（Ａ−１）の画像を差し引いた相対差分画像である。図１１Ｂ（Ｄ−３）は、一組の視差画像に対して、図１１Ｂ（Ｄ−１）を基準画像として図１１Ａ（Ｂ−１）の画像を差し引いた相対差分画像である。図１１Ｂ（Ｄ−４）は、一組の視差画像に対して、図１１Ｂ（Ｄ−１）を基準画像として図１１Ｂ（Ｃ−１）の画像を差し引いた相対差分画像である。図１１Ｂ（Ｄ−５）は、２次元データとして取得されている相対差分情報である図１１Ｂ（Ｄ−２）、図１１Ｂ（Ｄ−３）、図１１Ｂ（Ｄ−４）の相対差分画像内の各画素位置における相対差分情報間の最大値を抽出した画像情報（相対差分最大値情報）である。本実施例では、その画像情報は図１１Ｂ（Ｄ−２）または図１１Ｂ（Ｄ−４）と同値の情報となり、図１１Ｂ（Ｄ−１）に含まれる不要成分の位置とその不要成分の量となる。

ここで、出力画像として図２（ａ）に示されるように、瞳分割による撮像により生成された視差画像を平均合成した撮影画像を出力することを考える。このとき、前述のように視差画像ごとに不要成分が抽出されているため、一つの方法として、各視差画像からそれぞれ抽出された不要成分を差し引くことで不要成分を低減することが考えられる。しかしながら、画像として視差画像を平均した１枚の画像を出力するのに対して、不要成分の低減処理を視差画像枚数分だけ実行する必要があり、低減処理工程が複雑になる。このため本実施例では、出力画像の視差画像の合成処理に合わせて、同様の処理で前記各視差画像の不要成分を合成処理する。本実施例では、最終出力画像として各視差画像を平均した画像を出力しているため、各視差画像の不要成分の平均値を演算して合成処理を行う。図１１Ｂ（Ｅ）は、平均合成された不要成分（画像）を示している。出力画像を各視差画像の平均値として出力する場合、出力画像に含まれる不要成分は、各視差画像に含まれる不要成分の平均値と一致する。

そして画像処理部２０４は、出力すべき画像において、前述のようにして合成処理された不要成分を除去または低減する補正処理を行う。これにより、図２（ｂ）に示されるように、不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。

次に、図１２を参照して、本実施例における不要成分（ゴースト成分）の決定処理（画像処理）の手順について説明する。図１２は、本実施例における画像処理方法（不要成分の決定方法）を示すフローチャートである。図１２の各ステップは、主に、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

図１２のステップＳ２１、Ｓ２２は、実施例１にて説明した図８のステップＳ１１、Ｓ１２とそれぞれ同様であるため、それらの説明は省略する。続いてステップＳ２３において、不要成分検出部２０４ａは、一組の視差画像について、各視差画像を基準画像とした複数の相対差分情報を求める。すなわち不要成分検出部２０４ａは、図１１Ａ（Ａ−１）の画像を基準画像とした相対差分画像（図１１Ａ（Ａ−２）、図１１Ａ（Ａ−３）、図１１Ａ（Ａ−４）の各画像）を生成する。また不要成分検出部２０４ａは、図１１Ａ（Ｂ−１）の画像を基準画像とした相対差分画像（図１１Ａ（Ｂ−２）、図１１Ａ（Ｂ−３）、図１１Ａ（Ｂ−４）の各画像）を生成する。また不要成分検出部２０４ａは、図１１Ｂ（Ｃ−１）の画像を基準画像とした相対差分画像（図１１Ｂ（Ｃ−２）、図１１Ｂ（Ｃ−３）、図１１Ｂ（Ｃ−４）の各画像）を生成する。また不要成分検出部２０４ａは、図１１Ｂ（Ｄ−１）の画像を基準画像とした相対差分画像（図１１Ｂ（Ｄ−２）、図１１Ｂ（Ｄ−３）、図１１Ｂ（Ｄ−４）の各画像）を生成する。

撮像面に到達した不要光が撮像光学系２０１の瞳のうち互いに異なる瞳領域を通過する場合、図１１Ａ（Ａ−１）および図１１Ａ（Ｂ−１）に示されるように、視差画像ごとに不要成分の発生位置は異なる。このため、単純な相対差分画像では、不要成分の差分値は正および負の値をとる。例えば本実施例において、相対差分画像（図１１Ａ（Ａ−２）の画像）を生成する基準画素である図１１（Ａ−１）の画像から、図１１（Ｂ−１）の画像を差し引いた場合、図１１Ａ（Ａ−１）の画像に含まれる不要成分は正の値となる。一方、図１１Ａ（Ｂ−１）の画像に含まれる不要成分は負の値となる。本実施例において、不要成分検出部２０４ａは、後述の不要成分低減処理の簡易化のため、前記の負の値を切り捨てて０値とする処理を実施している。このため、図１１Ａ（Ａ−２）の画像には、図１１Ａ（Ａ−１）の画像に含まれる不要成分のみが正の値として検出される。各相対差分画像についても同様の処理を実施することで、各基準画像に含まれる不要成分のみが正の値として検出される。一方、図１１Ａ（Ａ−１）および図１１Ｂ（Ｃ−１）に示されるように、同じ位置に不要成分がオーバーラップしている場合、前述のように相対差分情報において不要成分は検出されない。

続いてステップＳ２４において、不要成分検出部２０４ａは、ステップＳ２３にて生成された各視差画像を基準画像とした相対差分画像内の各画素位置における相対差分情報間の最大値を抽出する。ここで、複数の相対差分情報間の最大値を抽出する効果について説明する。本実施例のように、図１１Ａ（Ａ−１）の画像と図１１Ｂ（Ｃ−１）の画像とを比較すると、同じ位置に不要成分がオーバーラップしている。このように、光学系や高輝度光源の位置によっては、視差画像間でも同じ位置に不要成分が生じる場合がある。この場合、２画像の差分を算出しても不要成分も０値となってしまう。すなわち、２画像間だけの差分情報だけでは、検出することができない不要成分が存在する。そこで本実施例では、複数の視差画像の相対差分情報を取得する。これにより、例えば図１１Ａ（Ｂ−１）の画像のように、１つの視差画像でも基準画像と異なる位置に不要成分が生じていれば、図１１Ａ（Ａ−２）の画像のようにその不要成分を効果的に検出することができる。このように、複数の相対差分情報を取得し、その複数の相対差分情報間の相対差分最大値情報を抽出することにより、１つでも視差画像間で不要成分の位置が異なる画像が存在すれば、不要成分の位置と量を確実に検出することが可能である。

そしてステップＳ２５において、不要成分検出部２０４ａは、ステップＳ２４にて抽出された最大値（相対差分最大値画像中に残存する成分、すなわち相対差分最大値情報）を不要成分として決定する。

続いてステップＳ２６において、画像処理部２０４の不要成分合成部２０４ｂは、ステップＳ２５にて決定された各視差画像の不要成分である相対差分最大値情報を平均値処理する。具体的には、不要成分合成部２０４ｂは、図１１Ａ（Ａ−５）、図１１Ａ（Ｂ−５）、図１１Ｂ（Ｃ−５）、図１１Ｂ（Ｄ−５）の各相対差分最大値情報の平均値演算を実行し、図１１Ｂ（Ｅ）に示されるように平均値処理された不要成分生成する。

続いてステップＳ２７において、画像処理部２０４の視差画像合成部２０４ｃは、視差画像を平均値処理し、１枚の瞳分割を行わない撮像により生成された撮影画像と同等の画像を出力する。具体的には、視差画像合成部２０４ｃは、ステップＳ２２にて生成された図１１Ａ（Ａ−１）、図１１Ａ（Ｂ−１）、図１１Ｂ（Ｃ−１）、図１１Ｂ（Ｄ−１）の各視差画像の平均値演算（平均値処理）を実行する。この結果、図２（ａ）に示されるように平均値処理された合成画像が生成される。または、視差画像生成ステップを経ずに、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号の平均値を演算することにより合成画像を生成してもよい。

続いてステップＳ２８において、画像処理部２０４の不要成分低減部２０４ｄは、出力すべき画像から不要成分を低減または除去する補正処理を行う。具体的には、不要成分低減部２０４ｄは、出力すべき画像として、図２（ｂ）に示されるように、瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成する。ここで、ステップＳ２３にて負の値を切り捨てて０値とすることにより、不要成分のみが正の値として検出されている。このため不要成分低減部２０４ｄは、単純に図２（ａ）の合成画像から図１１Ｂ（Ｅ）に示されるような平均値演算（平均値処理）された不要成分を差し引くことにより、不要成分を除去することができる。最後に、ステップＳ２９において、システムコントローラ２１０は、図２（ｂ）に示されるように不要成分が除去または低減された出力画像を、画像記録媒体２０９に保存し、または、表示部２０５に表示する。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく複数の相対差分画像から不要光（ゴースト）により形成された不要成分（ゴースト成分）を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することができる。また、相対差分画像を生成する際に、負の値を切り捨てているため、単純な差分計算のみで決定した不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。また、複数の相対差分情報を算出し、その最大値を抽出した相対差分最大値情報を算出することにより、複数の視差画像内に不要成分位置がオーバーラップした場合にも効果的に不要成分を検出および低減することができる。また、不要成分を合成処理することにより、視差画像を合成した画像に含まれる不要成分を１つのデータとして生成するため、不要成分低減処理を１度の差分計算で実行することが可能となり、不要成分低減処理を簡易化することができる。

次に、本発明の実施例３について説明する。本実施例における撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。また、本実施例における撮像素子は、図９を参照して説明した実施例２の撮像素子２０２ａ（の受光部）と同様であるため、その説明は省略する。また、本実施例における撮像光学系の具体的な構成例は、図６を参照して説明した実施例１の撮像光学系２０１と同様であるため、その説明は省略する。また、本実施例において、絞りＳＴＰと画素Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４に入射する光束が通過する領域Ｐ１、Ｐ２、Ｐ３、Ｐ４（瞳領域）との関係も実施例２と同様であるため、その説明は省略する。

次に、図１３Ａおよび図１３Ｂを参照して、本実施例の撮像装置２００により取得（生成）される撮影画像において、不要光が光電変換されることで画像中に現れる不要成分（ゴースト成分）を決定する方法について説明する。図１３Ａおよび図１３Ｂは、本実施例における画像処理方法の手順を示す図である。

図１３Ａ（Ａ−１）、図１３Ａ（Ｂ−１）、図１３Ｂ（Ｃ−１）、図１３Ｂ（Ｄ−１）はそれぞれ、領域Ｐ１、Ｐ２、Ｐ３、Ｐ４（瞳領域）を通過した光束を画素群Ｇ１２、Ｇ１２、Ｇ１３、Ｇ１４にて光電変換した結果として得られた一組の視差画像を示している。また、一組の視差画像において、黒い四角として模式的に示される不要成分ＧＳＴが含まれている。不要成分ＧＳＴの位置は、図１３Ａ（Ａ−１）と図１３Ｂ（Ｃ−１）の一部（左上部）に関して、同じ位置にオーバーラップしている。また、図１３Ａ（Ｂ−１）と図１３Ｂ（Ｄ−１）の一部（左上部）に関して、同じ位置にオーバーラップしている。また、図１３Ａ（Ａ−１）と図１３Ａ（Ｂ−１）では全ての不要成分の位置が互いに異なっている。

図１３Ａ（Ａ−２）の画像は、一組の視差画像に対して、図１３Ａ（Ａ−１）を基準画像として図１３Ａ（Ｂ−１）の画像を差し引いた相対差分画像である。この画像には、実施例１と同様に、相対差分情報として、被写体の視差成分および前述の不要成分とが含まれている。また、実施例１と同様に、前記差分計算により、図１３Ａ（Ｂ−１）に含まれる不要成分が負の値として算出されるが、後述の不要成分低減処理の簡易化のため、図１３Ａ（Ａ−２）では負の値を切り捨てている。これは、後述する全ての相対差分画像に対しても同様である。このため、図１３Ａ（Ａ−２）の差分画像は、図１３Ａ（Ａ−１）に含まれる不要成分のみを示していることとなる。

図１３Ａ（Ａ−３）の画像は、一組の視差画像に対して、図１３Ａ（Ａ−１）を基準画像として図１３Ｂ（Ｃ−１）の画像を差し引いた相対差分画像である。この画像には、実施例１と同様に、相対差分情報として、被写体の視差成分および前述の不要成分が含まれている。ここで前述のように、図１３Ａ（Ａ−１）の画像と図１３Ｂ（Ｃ−１）の画像とを比較すると、不要成分の一部（左上部）が同じ位置にオーバーラップしている。このため、相対差分情報に左上部の不要成分は検出されない。このように、同じ位置に生じている不要成分は相対差分画像には現れない。

図１３Ａ（Ａ−４）の画像は、一組の視差画像に対して、図１３Ａ（Ａ−１）を基準画像として図１３Ｂ（Ｄ−１）の画像を差し引いた相対差分画像である。図１３Ａ（Ａ−１）の画像と図１３（Ｄ−１）の画像とを比較すると、不要成分の生じている位置が互いに異なる。このため、図１３Ａ（Ａ−２）の画像と同様に、図１３Ａ（Ａ−４）の画像は図１３Ａ（Ａ−１）の画像に含まれる不要成分のみを示していることとなる。

図１３Ａ（Ａ−５）は、２次元データとしての相対差分情報である図１３Ａ（Ａ−２）、図１３Ａ（Ａ−３）、図１３Ａ（Ａ−４）の相対差分画像内の各画素位置における相対差分情報間の最小値を抽出した画像情報（相対差分最小値情報または画像）である。本実施例において、その画像情報は、図１３Ａ（Ａ−３）と同値の情報となり、図１３Ａ（Ａ−１）に含まれる一部の不要成分の位置とその不要成分の量となる。

同様に、図１３Ａ（Ｂ−２）の画像は、一組の視差画像に対して、図１３Ａ（Ｂ−１）を基準画像として図１３Ａ（Ａ−１）の画像を差し引いた相対差分画像である。図１３Ａ（Ｂ−３）の画像は、一組の視差画像に対して、図１３Ａ（Ｂ−１）を基準画像として図１３Ｂ（Ｃ−１）の画像を差し引いた相対差分画像である。図１３Ｂ（Ｂ−４）の画像は、一組の視差画像に対して、図１３Ａ（Ｂ−１）を基準画像として図１３Ｂ（Ｄ−１）の画像を差し引いた相対差分画像である。図１３Ａ（Ｂ−５）は、２次元データとして取得されている相対差分情報である図１３Ａ（Ｂ−２）、図１３Ａ（Ｂ−３）、図１３Ａ（Ｂ−４）の相対差分画像内の各画素位置における相対差分情報間の最小値を抽出した画像情報である。本実施例において、その画像情報は、図１３Ａ（Ｂ−４）と同値の情報となり、図１３Ａ（Ｂ−１）に含まれる一部の不要成分の位置とその不要成分の量となる。

同様に、図１３Ｂ（Ｃ−２）の画像は、一組の視差画像に対して、図１３Ｂ（Ｃ−１）を基準画像として図１３Ａ（Ａ−１）の画像を差し引いた相対差分画像である。図１３Ｂ（Ｃ−３）の画像は、一組の視差画像に対して、図１３Ｂ（Ｃ−１）を基準画像として図１３Ａ（Ｂ−１）の画像を差し引いた相対差分画像である。図１３Ｂ（Ｃ−４）の画像は、一組の視差画像に対して、図１３Ｂ（Ｃ−１）を基準画像として図１３Ｂ（Ｄ−１）の画像を差し引いた相対差分画像である。図１３Ｂ（Ｃ−５）の画像は、２次元データとして取得されている相対差分情報である図１３Ｂ（Ｃ−２）、図１３Ｂ（Ｃ−３）、図１３Ｂ（Ｃ−４）の相対差分画像内の各画素位置における相対差分情報間の最小値を抽出した画像情報である。本実施例において、その画像情報は、図１３Ｂ（Ｃ−２）と同値の情報となり、図１３Ｂ（Ｃ−１）に含まれる不要成分の位置とその不要成分の量は検出されない。

同様に、図１３Ｂ（Ｄ−２）の画像は、一組の視差画像に対して、図１３Ｂ（Ｄ−１）を基準画像として図１３Ａ（Ａ−１）の画像を差し引いた相対差分画像である。図１３Ｂ（Ｄ−３）の画像は、一組の視差画像に対して、図１３Ｂ（Ｄ−１）を基準画像として図１３Ａ（Ｂ−１）の画像を差し引いた相対差分画像である。図１３Ｂ（Ｄ−４）の画像は、一組の視差画像に対して、図１３Ｂ（Ｄ−１）を基準画像として図１３Ｂ（Ｃ−１）の画像を差し引いた相対差分画像である。図１３Ｂ（Ｄ−５）の画像は、２次元データとして取得されている相対差分情報である図１３Ｂ（Ｄ−２）、図１３Ｂ（Ｄ−３）、図１３Ｂ（Ｄ−４）の相対差分画像内の各画素位置における相対差分情報間の最小値を抽出した画像情報である。本実施例において、その画像情報は図１３Ｂ（Ｄ−３）と同値の情報となり、図１３Ｂ（Ｄ−１）に含まれる不要成分の位置とその不要成分の量は検出されない。

ここで、出力画像として、図２（ａ）に示されるように、瞳分割による撮像により生成された視差画像を合算（合成）した撮影画像を出力することを考える。このとき、前述のように視差画像ごとに不要成分が抽出されているため、一つの方法として、各視差画像からそれぞれ抽出された不要成分を差し引くことにより不要成分を低減することが考えられる。しかしながら、画像として視差画像を合算した１枚の画像を出力するのに対して、不要成分の低減処理を視差画像枚数分だけ実行する必要があり、低減処理工程が複雑になる。このため本実施例では、出力画像の視差画像の合成処理に合わせて、同様の処理で、前記各視差画像の不要成分を合成処理する。本実施例において、最終出力画像として各視差画像を合算した画像を出力しているため、各視差画像の不要成分を合算処理する。図１３Ｂ（Ｅ）は、合算（合成）された不要成分を示している。

そして画像処理部２０４は、出力すべき画像において、前述のようにして合成処理された不要成分を除去または低減する補正処理を行う。これにより、不要成分のオーバーラップ部分以外（図１３Ｂ（Ｅ）に示される成分）の部分を低減することができる。このため、不要成分が低減され、かつ、瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することが可能である。

次に、図１４を参照して、本実施例における不要成分（ゴースト成分）の決定処理（画像処理）の手順について説明する。図１４は、本実施例における画像処理方法（不要成分の決定方法）を示すフローチャートである。図１４の各ステップは、主に、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

図１４のステップＳ３１〜Ｓ３３は、実施例２にて説明した図１２のステップＳ２１〜Ｓ２３とそれぞれ同様であるため、それらの説明は省略する。続いてステップＳ３４において、画像処理部２０４の不要成分検出部２０４ａは、ステップＳ３３にて得られた各視差画像を基準画像とした相対差分画像内の各画素位置における相対差分情報間の最小値を抽出する。ここで、複数の相対差分情報間の最小値を抽出する効果について説明する。本実施例のように、図１３Ａ（Ａ−１）の画像と図１３Ｂ（Ｃ−１）の画像とを比較すると、同じ位置に一部の不要成分がオーバーラップしている。このように、光学系や高輝度光源の位置によっては、視差画像間でも同じ位置に不要成分が生じる場合がある。この場合、２画像の差分を算出しても不要成分部分も０値となってしまう。ここで、実施例２とは異なり、相対差分情報間の最小値をとる場合、図１３Ａおよび図１３Ｂに示されるように、全ての視差画像間で位置が異なる不要成分は検出できるが、オーバーラップした不要成分を検出することはできない。しかしながら、これは複数の視点画像のうち１つにしか生じていない成分のみを検出することに相当する。また、これは、近距離被写体を撮像した場合に生じる被写体視差成分について、３視点画像分の被写体視差成分を不要成分から分離できることに相当する。すなわち、近距離被写体を撮影した場合において不要成分低減処理を行う際に、被写体視差成分の影響を大きく低減することができる。このように、複数の相対差分情報を取得し、その複数の相対差分情報間の相対差分最小値情報を抽出することにより、オーバーラップした不要成分以外の不要成分を検出し、同時に３視点画像分の被写体視差成分を分離することが可能となる。

続いてステップＳ３５において、不要成分検出部２０４ａは、ステップＳ３４にて抽出された最小値（相対差分最小値画像中に残存する成分、すなわち相対差分最小値情報）を不要成分として決定する。

続いてステップＳ３６において、画像処理部２０４の不要成分合成部２０４ｂは、ステップＳ３５にて決定された各視差画像の不要成分である相対差分最小値情報を合算処理する。具体的には、不要成分合成部２０４ｂは、図１３Ａ（Ａ−５）、図１３Ａ（Ｂ−５）、図１３Ｂ（Ｃ−５）、図１３Ｂ（Ｄ−５）の各相対差分最小値情報の合算値演算を実行し、図１３Ｂ（Ｅ）に示されるように、合算処理された不要成分を生成する。

続いてステップＳ３７において、画像処理部２０４の視差画像合成部２０４ｃは、視差画像を合算処理し、１枚の瞳分割を行わない撮像により生成された撮影画像と同等の画像を出力する。具体的には、視差画像合成部２０４ｃは、ステップＳ３２にて生成された図１３Ａ（Ａ−１）、図１３Ａ（Ｂ−１）、図１３Ｂ（Ｃ−１）、図１３Ｂ（Ｄ−１）の視差画像の合算値演算を実行し、図２（ａ）に示されるように、合算処理された合成画像を生成する。または、視差画像生成ステップを経ずに、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号の合算値を演算することにより合成画像を生成してもよい。

続いてステップＳ３８において、画像処理部２０４の不要成分低減部２０４ｄは、出力すべき画像から不要成分を低減または除去する補正処理を行う。具体的には、不要成分低減部２０４ｄは、出力すべき画像として、瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成する。この場合、ステップＳ３３にて負の値を切り捨てて０値とすることにより、不要成分のみが正の値として検出されている。このため不要成分低減部２０４ｄは、単純に図２（ａ）の合成画像から図１３Ｂ（Ｅ）の合算値演算処理された不要成分を差し引くことで不要成分を除去することができる。最後に、ステップＳ３９において、システムコントローラ２１０は、不要成分が除去または低減された出力画像を、画像記録媒体２０９に保存し、または、表示部２０５に表示する。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく複数の相対差分画像から不要光（ゴースト）により形成された不要成分（ゴースト成分）を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することが可能である。また、相対差分画像を生成する際に、負の値を切り捨てているため、単純な差分計算のみで決定した不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。また、複数の相対差分情報を算出し、その最小値を抽出した相対差分最小値情報を算出することにより、不要成分と被写体視差成分の一部を分離して効果的に不要成分を検出して低減することができる。また、不要成分を合成処理することにより、視差画像を合成した画像に含まれる不要成分を１つのデータとして生成するため、不要成分低減処理を１度の差分計算で実行することが可能となり、不要成分低減処理を簡易化することができる。

次に、本発明の実施例４について説明する。Ｒｅｎ．Ｎｇ等の「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」（Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２）において、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」が提案されている。「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」において「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」という手法を用いることで、物体側からの光線の位置と角度の情報を取り込むことができる。

図１５は、本実施例における撮像装置の撮像系を示す図であり、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」の撮像系の構成を示している。撮像光学系３０１は、主レンズ（撮影レンズ）３０１ｂと開口絞り３０１ａとを備えて構成される。撮像光学系３０１の結像位置には、マイクロレンズアレイ３０１ｃが配置されており、さらにその後方（像側）に撮像素子３０２が配置されている。マイクロレンズアレイ３０１ｃは、例えば点Ａのような被写体空間のある一点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子３０２上で混ざらないようにセパレータ（分離手段）としての機能を有する。図１５から分かるように、点Ａからの上線、主光線および下線は、それぞれ異なる画素によって受光される。このため、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。

また、Ｔｏｄｏｒ Ｇｅｏｒｇｉｖｅ等による「Ｆｕｌｌ Ｒｅｓｏｌｕｔｉｏｎ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ」（Ａｄｏｂｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｊａｎｕａｒｙ ２００８）が知られている。この文献では、光線の位置と角度の情報（Ｌｉｇｈｔ Ｆｉｅｌｄ）を取得する方法として、図１６および図１７に示される撮像系を提案している。

図１６に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも後方（像側）に配置し、点Ａを通る光線群を撮像素子３０２上に再結像させることで、光線群を光線の角度ごとに分離して取得することができる。また、図１７に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも前方（物体側）に配置し、点Ａを通る光線群を撮像素子３０２上に結像させることで、光線群を光線の角度ごとに分離して取得することができる。いずれの構成も、撮像光学系３０１の瞳を通過する光束を瞳内での通過領域（通過位置）に応じて分割する点は同じである。そして、これらの構成では、撮像素子３０２は、図１８に示されるように、１つのマイクロレンズＭＬと１つの受光部Ｇ１とカラーフィルタＣＦを介して対になっている従来の撮像素子を用いることができる。

図１５に示される撮像光学系３０１を用いると、図１９（ａ）に示されるような画像が得られる。図１９（ｂ）は、図１９（ａ）中に多数並んだ円のうち１つを拡大して示している。１つの円は絞りＳＴＰに相当し、その内側は複数の画素Ｐｊ（ｊ＝１、２、３、…）により分割されている。これにより、１つの円内で瞳の強度分布が得られる。また、図１６および図１７に示される撮像光学系３０１を用いると、図２０に示されるような視差画像が得られる。図１９（ａ）に示される画像において、各円（絞りＳＴＰ）内の複数の画素Ｐｊを並べて再構成することによっても、図２０に示すような複数の視差画像が得られる。

実施例１〜３で説明したように、ゴーストなどの不要光は、瞳内で偏りを持って瞳を通過する。このため、本実施例のように瞳を分割して撮像する撮像装置において実施例１〜３にて説明した画像処理方法を使用することにより、不要成分を決定することもできる。

また、別の例として、図２１に示されるような複数のカメラを用いて同一被写体を撮像する場合でも、視差画像が得られる。このため、このような複数のカメラにおいても、実施例１〜３にて説明した画像処理方法を用いることができる。Ｃ１、Ｃ２、Ｃ３は、実際には別々の撮像装置であるが、大きな瞳を３つに分割して撮像する一体の撮像装置と見なすことができる。また、図２２に示されるように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１、２、３、…）を設けることで瞳分割を行うことも可能である。

次に、本発明の実施例５について説明する。前述の各実施例では、画像全域において不要成分を決定し、または除去する場合について説明したが、図２に示されるように、多くの場合、不要成分は画像の一部にのみ生じる。画像中の不要成分領域は、ユーザが判定することが容易であるため、ユーザに低減処理を行う画像領域を指定させることにより、各実施例での処理負荷を低減させることができる。また、領域を限定することにより、前述の近距離被写体撮影の場合に生じる被写体視差成分の影響を低減することもできる。また、不要成分を合成することにより、１つのデータとして扱うため、パラメータ処理などの重み係数をかけた不要成分除去量の調節を簡易に行うこともできる。

図２３を参照して、本実施例における画像処理方法を実行する撮像装置について説明する。図２３は、本実施例における撮像装置２００ａの構成を示すブロック図である。撮像装置２００ａは、情報入力部２１１（入力手段）が設けられている点で、実施例１の撮像装置２００とは異なる。他の構成は共通であるため、それらの説明は省略する。

情報入力部２１１は、ユーザが所望の撮影条件（絞り値や露出時間など）を選択して入力された情報を検知し、その情報（データ）をシステムコントローラ２１０に供給する。また情報入力部２１１は、ユーザが所望の不要成分を除去するための処理範囲（画像領域）を選択して入力された情報を検知し、その情報（データ）をシステムコントローラ２１０に供給する。また情報入力部２１１は、ユーザが所望する不要成分の除去量を選択して入力された情報を検知し、その情報（データ）をシステムコントローラ２１０に供給する。

次に、図２４を参照して、本実施例における撮像装置における不要成分除去領域および除去量の調節について説明する。図２４は、本実施例における撮像装置２００ａの背面図である。

タッチパネル２０は、記録画像サイズや日付時刻、カスタム機能、不要成分を除去する処理範囲、不要成分の除去量の表示など、様々なメニュー機能を開始するために設けられている。またタッチパネル２０は、メニュー機能で選択された項目を設定するために設けられている。またタッチパネル２０は、記録画像サイズ、日付時刻、カスタム機能、不要成分を除去する処理範囲、不要成分の除去量などの設定を行う際に、項目を選択するために設けられている。本実施例において、図２３の情報入力部２１１としてタッチパネル２０が用いられる。

ユーザは、タッチパネル２０を操作し、所望の不要成分を除去する処理範囲（画像領域）を選択する。具体的には、タッチパネル２０の操作により、図２５の実線で囲まれた領域のように表示されている画像内の領域を選択して決定する。またユーザは、タッチパネル２０を操作し、所望の不要成分の除去量を選択する。具体的には、タッチパネル２０の操作により、図２４および図２５に表示されている不要成分除去量の調節インジケータ１０の領域を選択して決定する。

次に、図２６を参照して、本実施例における不要成分（ゴースト成分）の決定処理（画像処理）の手順について説明する。図２６は、本実施例における画像処理方法（不要成分の決定方法）を示すフローチャートである。図２６の各ステップは、主に、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

図２６のステップＳ４１、Ｓ４２は、実施例１にて説明した図８のステップＳ１１、Ｓ１２とそれぞれ同様であるため、それらの説明は省略する。続いてステップＳ４３において、情報入力部２１１は、ユーザが所望する不要成分の除去または低減処理を行う処理範囲（画像領域）を指定する。具体的には、タッチパネル２０の操作に応じて、図２５（ａ）に示される不要成分の除去処理前の出力画像内の不要成分領域を、ユーザが実線で囲まれた範囲のように指定する。続くステップＳ４４〜Ｓ４８は、実施例２にて説明した図１２のステップＳ２３〜Ｓ２７を、ステップＳ４３にて指定された範囲内でのみ演算するという点で相違する以外は、同様である。このため、それらの説明については省略する。

続いてステップＳ４９において、情報入力部２１１は、ユーザが所望する不要成分を除去する処理量を検出して指定する。具体的には、タッチパネル２０の操作に応じて、図２５に示される不要成分除去量の調節インジケータ１０の範囲内で、使用者が除去量を指定する。本実施例では、不要成分除去量の調節インジケータ１０の左端が不要成分にかける重み係数が０となり、図２５（ａ）に示されるように、不要成分除去処理前の画像が生成される。一方、不要成分除去量の調節インジケータ１０の右端が不要成分にかける重み係数が１となり、図２５（ｃ）に示されるように、不要成分が完全に除去された画像が生成される。また、不要成分除去量の調節インジケータ１０の中間では、不要成分にかける重み係数は０から１の間となり、図２５（ｂ）に示されるように、不要成分が重み係数分だけ除去された画像が生成される。本実施例では、不要成分にかける重み係数を最大で１としているが、さらに不要成分を除去する必要がある場合、１以上の重み係数をかけることで、検出された不要成分量以上に除去処理を実行することが可能である。

図２６のステップＳ５０、Ｓ５１は、図１２のステップＳ２８、Ｓ２９を、ステップＳ４３にて指定された範囲内でのみ、ステップＳ４９にて指定された重み係数をかけて演算するという点で相違する以外は、同様である。このため、それらの説明については省略する。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく複数の相対差分画像から不要光（ゴースト）により形成された不要成分（ゴースト成分）を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することが可能である。また、相対差分画像を生成する際に、負の値を切り捨てているため、単純な差分計算のみで決定した不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。また、複数の相対差分情報を算出し、その最大値を抽出した相対差分最大値情報を算出する。これにより、複数の視差画像内に不要成分位置がオーバーラップした場合にも、効果的に不要成分を検出して低減することができる。また、不要成分を合成処理することにより、視差画像を合成した画像に含まれる不要成分を１つのデータとして生成する。このため、不要成分低減処理を１度の差分計算で実行することが可能となり、不要成分低減処理を簡易化することができる。また、不要成分を合成処理することにより、視差画像を合成した画像に含まれる不要成分を１つのデータとして生成する。このため、パラメータ処理などの重み係数をかけた不要成分除去量の調節を簡易に行うことができる。

また各実施例において、不要成分を除去または低減する場合について説明したが、決定した不要成分に関する情報を用いて、別の不要成分（第三不要成分）を付加する補正処理を行うようにしてもよい。例えば、図２０に示される複数の視差画像の個々について、ゴースト（不要成分）が存在する画像と存在しない画像が発生する。再構成後の画像にもゴーストを残したい場合、決定したゴーストを各視差画像に付加してもよい。また、再構成した画像に対してゴーストを付加することもできる。

上記各実施例では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像回復処理を行って、その結果得られた画像を出力する。

このように、各実施例における画像処理装置（画像処理部２０４）は、不要成分決定手段（不要成分検出部２０４ａ）、不要成分合成手段（不要成分合成部２０４ｂ）、および、不要成分低減手段（不要成分低減部２０４ｄ）を有する。不要成分決定手段は、複数の視差画像の複数の相対差分情報に基づいて、複数の視差画像のそれぞれの第一不要成分を決定する（ステップＳ１４、Ｓ２５、Ｓ３５、Ｓ４６）。不要成分合成手段は、複数の視差画像のそれぞれの第一不要成分の合成値を算出する（ステップＳ１５、Ｓ２６、Ｓ３６、Ｓ４７）。不要成分低減手段は、第一不要成分の合成値に基づいて、複数の視差画像の合成画像から第二不要成分を低減させる（ステップＳ１７、Ｓ２８、Ｓ３８、Ｓ５０）。

好ましくは、画像処理装置（または撮像装置）は、１回の撮像動作により複数の視差画像を生成する（ステップＳ１２、Ｓ２２、Ｓ３２、Ｓ４２）。また好ましくは、不要成分検出手段は、複数の視差画像のそれぞれを基準画像として設定し、基準画像と基準画像を除く他の視差画像との差分を算出して複数の相対差分情報を求める（ステップＳ１３、Ｓ２３、Ｓ３３、Ｓ４４）。

好ましくは、不要成分決定手段は、複数の視差画像のうち、不要成分（第一不要成分）を決定する対象となる視差画像を基準画像として得られた複数の相対差分情報を負の値を切り捨てた２次元データとして取得する。そして不要成分決定手段は、２次元データの各位置における複数の相対差分情報の最大値または最小値を抽出し、基準画像における第一不要成分の位置および量を決定する。ここで、最大値または最小値に代えて、所定の閾値を利用してもよい。

好ましくは、不要成分合成手段は、複数の視差画像のそれぞれの第一不要成分の加算値または平均値を合成値として算出する。また好ましくは、第二不要成分は、第一不要成分の合成値である。または、不要成分低減手段は、第一不要成分の合成値に重み係数を掛けて得られた値を合成画像から減算して、第二不要成分を低減させてもよい。

好ましくは、画像処理装置は、入力手段（情報入力部２１１）を介したユーザによる操作（指定）に応じて、第二不要成分の低減処理を行うための画像領域を設定する（ステップＳ４３）。そして不要成分低減手段は、設定された画像領域の内部の第二不要成分を低減させる。また好ましくは、不要成分決定手段は、複数の視差画像の位置合わせを行う。また好ましくは、複数の視差画像は、撮像光学系２０１の瞳のうち互いに異なる領域（瞳領域）を通過した複数の光束に基づいて生成された複数の画像である。より好ましくは、画像処理装置は、第一不要成分に関する情報を用いて、合成画像に第三不要成分を付加する。

各実施例によれば、複数の撮像を行うことなく（１回の撮像を行うだけで）撮影画像に含まれる不要成分を簡易かつ効果的に低減可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。このため、高画質の撮影画像を取得することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０４ 画像処理部（画像処理装置）
２０４ａ 不要成分検出部（不要成分決定手段）
２０４ｂ 不要成分合成部（不要成分合成手段）
２０４ｄ 不要成分低減部（不要成分低減手段）

Claims (20)

1. 複数の視差画像のそれぞれに対して、不要光が撮像面に到達することにより生じた第一成分を、前記複数の視差画像の複数の相対差分情報に基づいて決定するステップと、
   前記複数の視差画像のそれぞれの前記第一成分の合成値を算出するステップと、
   前記第一成分の前記合成値に基づいて定められる第二成分を前記複数の視差画像の合成画像から低減するステップと、を有することを特徴とする画像処理方法。
2. 前記複数の視差画像のそれぞれを基準画像として設定し、該基準画像と該基準画像を除く他の視差画像との差分を算出して前記複数の相対差分情報を求めるステップを更に有することを特徴とする請求項１に記載の画像処理方法。
3. 前記相対差分情報を求めるステップにおいて、
   基準画像と該基準画像を除く他の視差画像との差分を算出する前に、前記基準画像と前記他の視差画像の位置合わせを行うことを特徴とする請求項２に記載の画像処理方法。
4. 前記第一成分を決定するステップにおいて、
   前記複数の視差画像のうち、前記第一成分を決定する対象となる視差画像を基準画像として得られた複数の相対差分情報を負の値を切り捨てた２次元データとして取得し、
   前記２次元データの各位置において各相対差分情報の最大値を抽出し、前記基準画像における前記第一成分の位置および量を決定する、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記第一成分を決定するステップにおいて、
   前記複数の視差画像のうち、前記第一成分を決定する対象となる視差画像を基準画像として得られた複数の相対差分情報を負の値を切り捨てた２次元データとして取得し、
   前記２次元データの各位置において各相対差分情報の最小値を抽出し、前記基準画像における前記第一成分の位置および量を決定する、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
6. 前記第一成分の合成値を算出するステップにおいて、前記複数の視差画像のそれぞれの該第一成分の加算値を該合成値として算出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記第一成分の合成値を算出するステップにおいて、前記複数の視差画像のそれぞれの該第一成分の平均値を該合成値として算出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
8. 前記第二成分を低減するステップにおいて、前記第二成分は前記第一成分の前記合成値に重み係数を掛けて得られた値を用いて定められることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。
9. 前記第二成分の低減処理を行うための画像領域を設定するステップを更に有し、
   前記第二成分を低減するステップにおいて、設定された前記画像領域の内部の該第二成分を低減させることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。
10. 前記複数の視差画像は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束に基づいて生成された複数の画像であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理方法。
11. 前記第一成分に関する情報を用いて、前記合成画像にゴースト成分を付加するステップを更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。
12. 前記複数の視差画像は３枚以上の視差画像であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理方法。
13. 複数の視差画像のそれぞれに対して、不要光が撮像面に到達することにより生じた第一成分を、前記複数の視差画像の複数の相対差分情報に基づいて決定する決定手段と、
    前記複数の視差画像のそれぞれの前記第一成分の合成値を算出する成分合成手段と、
    前記第一成分の前記合成値に基づいて定められる第二成分を前記複数の視差画像の合成画像から低減する低減手段と、を有することを特徴とする画像処理装置。
14. 前記複数の視差画像の前記合成画像を生成する画像合成手段を更に有することを特徴とする請求項１３に記載の画像処理装置。
15. 光学像を光電変換して複数の視差画像を出力する撮像素子と、
    前記複数の視差画像のそれぞれに対して、不要光が撮像面に到達することにより生じた第一成分を、前記複数の視差画像の複数の相対差分情報に基づいて決定する決定手段と、
    前記複数の視差画像のそれぞれの前記第一成分の合成値を算出する成分合成手段と、
    前記第一成分の前記合成値に基づいて定められる第二成分を前記複数の視差画像の合成画像から低減する低減手段と、を有することを特徴とする撮像装置。
16. 前記複数の視差画像は、撮像光学系の瞳のうち互いに異なる領域を通過した光束に基づいて生成された複数の画像であり、
    前記撮像素子は、一つのマイクロレンズを共有する複数の画素を有し、
    前記複数の画素は、前記撮像光学系の瞳のうち互いに異なる領域を通過した光束を受光するように構成されていることを特徴とする請求項１５に記載の撮像装置。
17. 前記複数の画素は３つ以上の画素であることを特徴とする請求項１６に記載の撮像装置。
18. 前記第二成分の低減処理を行う画像領域を指定する入力手段を更に有し、
    前記低減手段は、前記入力手段を介して指定された前記画像領域の内部において、前記複数の視差画像の合成画像から前記第二成分を低減することを特徴とする請求項１６または１７に記載の撮像装置。
19. 複数の視差画像のそれぞれに対して、不要光が撮像面に到達することにより生じた第一成分を、前記複数の視差画像の複数の相対差分情報に基づいて決定するステップと、
    前記複数の視差画像のそれぞれの前記第一成分の合成値を算出するステップと、
    前記第一成分の前記合成値に基づいて定められる第二成分を前記複数の視差画像の合成画像から低減するステップと、をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
20. 請求項１９に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。