JP6198663B2 - 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮影画像の画質を向上させる画像処理方法に関する。

カメラなどの撮像装置により撮像を行うと、撮像光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射し、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、ゴーストやフレアなどの不要成分として撮影画像中に現れる。また、軸上色収差や倍率色収差の補正のために回折光学素子を用いると、撮像画角外に存在する太陽などの高強度物体からの光が回折光学素子に当たることで、画像全体に渡って不要光が不要成分として現れる場合がある。

特許文献１には、被写体に対して撮像光学系が合焦状態にあるときの画像（合焦画像）と撮像光学系が非合焦状態にあるときの画像（デフォーカス画像）との差分を示す差分画像からゴーストを検出する方法が開示されている。しかし、特許文献１の方法では、複数回の撮像が必要であり、動きのある被写体の静止画撮像や動画撮像には適さない。

特許文献２には、単眼立体撮像による複数の視点画像を比較することでゴーストを検出する方法が開示されている。特許文献２の方法では、１回の撮像で複数の視差画像を得られるため、動きのある被写体の静止画撮像や動画撮像にも対応可能である。

特開２００８−５４２０６号公報 特開２０１１−２０５５３１号公報

しかしながら、特許文献２の方法では、主画像と副画像の２画像間での差分を求めることによりゴーストを検出するため、３視点以上の視点画像の場合にゴースト検出効果が低減してしまう。また特許文献２では、ゴーストの検出前に視差による像ずれを補正する。ピントが合っている被写体については対応点抽出などで対応できるが、ボケている被写体領域に関しては対応点抽出だけでは不足であり、撮像装置から被写体までの画面全域での詳細な距離情報（距離マップ）を取得する必要がある。一方、視差ずれを補正せずにゴーストを検出しようとすると、ゴーストとともに視差成分も検出され、視差成分と不要成分（ゴースト成分とを分離することができない。

本発明は、複数の撮像を行うことなく撮影画像に含まれる視差成分と不要成分とを分離可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理方法は、複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像の第一不要成分を決定するステップと、前記複数の視差画像および前記第一不要成分に基づいて該第一不要成分が低減された第一画像を生成するステップと、前記第一画像にボケを付加してボケ画像を生成するステップと、前記ボケ画像および前記第一画像に基づいてマスクを作成するステップと、前記第一不要成分および前記マスクに基づいて第二不要成分を決定するステップとを有する。

本発明の他の側面としての画像処理装置は、複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像の第一不要成分を決定する第一不要成分決定手段と、前記複数の視差画像および前記第一不要成分に基づいて該第一不要成分が低減された第一画像を生成する画像生成手段と、前記第一画像にボケを付加してボケ画像を生成するボケ画像生成手段と、前記ボケ画像および前記第一画像に基づいてマスクを作成するマスク作成手段と、前記第一不要成分および前記マスクに基づいて第二不要成分を決定する第二不要成分決定手段とを有する。

本発明の他の側面としての撮像装置は、光学像を光電変換して複数の視差画像を出力する撮像素子と、前記画像処理装置を有する。

本発明の他の側面としての画像処理プログラムは、複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像の第一不要成分を決定するステップと、前記複数の視差画像および前記第一不要成分に基づいて該第一不要成分が低減された第一画像を生成するステップと、前記第一画像にボケを付加してボケ画像を生成するステップと、前記ボケ画像および前記第一画像に基づいてマスクを作成するステップと、前記第一不要成分および前記マスクに基づいて第二不要成分を決定するステップと、をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、複数の撮像を行うことなく撮影画像に含まれる視差成分と不要成分とを分離可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における画像処理方法の出力画像の一例である。 実施例１における画像処理方法の手順を示す図である。 実施例１における画像処理方法の手順を示す図である。 各実施例の撮像系において、撮像素子の受光部と撮像光学系の瞳との関係図である。 各実施例における撮像系の模式図である。 各実施例における撮像装置の構成を示すブロック図である。 実施例１における撮像光学系の構成および撮像光学系にて発生する不要光の説明図である。 実施例１における撮像光学系の絞りを透過する不要光の説明図である。 実施例１における画像処理方法を示すフローチャートである。 実施例２における画像処理方法の手順を示す図である。 実施例２における画像処理方法の手順を示す図である。 実施例２における画像処理方法を示すフローチャートである。 実施例３における撮像素子を示す図である。 実施例３における撮像光学系の絞りを透過する不要光の説明図である。 実施例３における画像処理方法の出力画像の一例である。 実施例３における画像処理方法の手順を示す図である。 実施例３における画像処理方法の手順を示す図である。 実施例３における画像処理方法を示すフローチャートである。 実施例４における撮像系を示す図である。 実施例４における撮像系を示す図である。 実施例４における撮像系を示す図である。 従来の撮像素子を示す図である。 図１９の撮像系により得られた画像を示す図である。 図２０および図２１の撮像系により得られた画像を示す図である。 実施例４における撮像装置の例を示す図である。 実施例４における撮像装置の例を示す図である。 実施例５における不要成分低減処理領域の選択例および不要成分低減処理量の選択例を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

本実施形態で用いられる複数の視差画像を生成可能な撮像装置は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束を撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。

図４は、本実施形態の撮像系における撮像素子の受光部と撮像光学系の瞳との関係を示す図である。図４において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは撮像光学系の射出瞳（瞳）であり、Ｐ１、Ｐ２は射出瞳ＥＸＰの領域である。Ｇ１、Ｇ２は画素（受光部）であり、１つの画素Ｇ１と１つの画素Ｇ２とが互いに対をなしている（画素Ｇ１、Ｇ２は１つのマイクロレンズＭＬを共有するように設けられている）。撮像素子には、画素Ｇ１と画素Ｇ２の対（画素対）が複数配列されている。対の画素Ｇ１と画素Ｇ２は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有する。各実施例において、撮像素子に配列された複数の画素Ｇ１、Ｇ２を、それぞれまとめて画素群Ｇ１、Ｇ２という場合がある。

図５は、本実施形態における撮像系の模式図であり、図４に示されるマイクロレンズＭＬの代わりに、射出瞳ＥＸＰの位置に薄肉レンズが設けられていると仮定した場合の撮像系を示している。画素Ｇ１は、射出瞳ＥＸＰのうち領域Ｐ１を通過した光束を受光する。画素Ｇ２は、射出瞳ＥＸＰのうち領域Ｐ２を通過した光束を受光する。ＯＳＰは、撮像している物点である。物点ＯＳＰには、必ずしも物体が存在している必要はない。物点ＯＳＰを通った光束は、その光束が通過する瞳（射出瞳ＥＸＰ）内での位置（本実施形態では領域Ｐ１または領域Ｐ２）に応じて、画素Ｇ１または画素Ｇ２のいずれかの画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられた画素Ｇ１、Ｇ２のうち、画素Ｇ１からの出力信号を用いて生成された画像と、画素Ｇ２からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割という場合がある。

また、図４および図５に示される射出瞳ＥＸＰの位置ずれなどにより、前述の共役関係が完全でなくなる場合や、領域Ｐ１、Ｐ２が部分的に互いに重複（オーバーラップ）する場合でも、以下の各実施例において、得られた複数の画像を視差画像として扱う。

図６を参照して、本発明の実施例１における画像処理方法を実行する撮像装置について説明する。図６は、本実施例における撮像装置２００の構成を示すブロック図である。撮像光学系２０１は、絞り２０１ａおよびフォーカスレンズ２０１ｂを含み、不図示の被写体からの光を撮像素子２０２上に結像（集光）させる。撮像素子２０２は、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子により構成され、図４および図５を参照して説明した瞳内の互いに異なる領域を通過した光束を、各領域に対応する画素（受光部）にて受光する（瞳分割を行う）。このようにして、撮像素子２０２は、被写体像（光学像）を光電変換して画像信号（アナログ電気信号）を出力する。Ａ／Ｄコンバータ２０３は、撮像素子２０２から出力されたアナログ電気信号をデジタル信号に変換し、デジタル信号を画像処理部２０４に出力する。

画像処理部２０４は、デジタル信号に対して、一般的に行われる画像処理を行うとともに、不要光の決定処理および不要光を低減または除去する補正処理を行う。本実施例において、画像処理部２０４は、撮像装置２００に搭載された画像処理装置に相当する。また画像処理部２０４は、第一不要成分検出部２０４ａ、合成処理部２０４ｂ、不要成分低減部２０４ｃ、ボケ付加処理部２０４ｄ、マスク作成部２０４ｅ、および、第二不要成分検出部２０４ｆを有する。

第一不要成分検出部２０４ａ（第一不要成分決定手段）は、視差画像を生成（取得）し、その視差画像から第一不要成分を検出する。合成処理部２０４ｂ（合成処理手段）は、検出された不要成分の合成値の算出、また、生成された視差画像を合成する。不要成分低減部２０４ｃ（画像生成手段）は、算出された第一不要成分もしくは後述の第二不要成分、または、それぞれの合成値に基づいて、合成された視差画像から不要成分を低減させる。ボケ付加処理部２０４ｄ（ボケ画像生成手段）は、第一不要成分に基づいて合成された視差画像または各視差画像から第一不要成分が除去された、第一不要成分除去画像にボケを付加する。マスク作成部２０４ｅ（マスク作成手段）は、第一不要成分除去画像と第一不要成分除去画像にボケを付加したボケ画像に基づいてマスクを作成する。第二不要成分検出部２０４ｆ（第二不要成分決定手段）は、第一不要成分とマスクに基づいて第二不要成分を決定する。画像処理部２０４で処理された出力画像（画像データ）は、半導体メモリや光ディスクなどの画像記録媒体２０９に保存される。また、画像処理部２０４からの出力画像を表示部２０５に表示することもできる。記憶部２０８は、画像処理部２０４による画像処理に必要な画像処理プログラムや各種情報などを記憶している。

システムコントローラ２１０（制御手段）は、撮像素子２０２の動作、画像処理部２０４での処理、および、撮像光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の制御を行う。撮像光学系制御部２０６は、システムコントローラ２１０からの制御指示に応じて、撮像光学系２０１の絞り２０１ａおよびフォーカスレンズ２０１ｂの機械的な駆動を行う。絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じて、その開口径が制御される。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整（フォーカス制御）を行うために、不図示のオートフォーカス（ＡＦ）システムやマニュアルフォーカス機構によってその位置が制御される。状態検知部２０７は、システムコントローラ２１０の制御指示に応じて、現在の撮影条件情報を取得する。なお本実施例において、撮像光学系２０１は、撮像素子２０２を備えた撮像装置２００の一部として（撮像装置２００と一体的に）構成されているが、これに限定されるものではない。一眼レフカメラのように、交換式の撮像光学系（交換レンズ）を撮像装置本体に着脱可能に構成された撮像システムであってもよい。

図７は、撮像光学系２０１の構成および撮像光学系２０１にて発生する不要光の説明図である。図７（ａ）は、撮像光学系２０１の具体的な構成例を示す。図７（ａ）において、ＳＴＰは絞り（絞り２０１ａに相当）、ＩＭＧは撮像面である。撮像面ＩＭＧの位置には、図６に示される撮像素子２０２が配置される。図７（ｂ）は、撮像光学系２０１に高輝度物体の例としての太陽ＳＵＮから強い光が入射し、撮像光学系２０１を構成するレンズの界面で反射した光が不要光（ゴーストやフレア）として撮像面ＩＭＧに到達する様子を示している。

図８は、絞りＳＴＰのうち、図５に示される画素Ｇ１、Ｇ２に入射する光束が通過する領域Ｐ１、Ｐ２（瞳領域または瞳分割領域）を示している。なお、絞りＳＴＰは、撮像光学系２０１の射出瞳ＥＸＰに相当するものとして考えることができるが、実際には絞りＳＴＰと射出瞳ＥＸＰは互いに異なることが多い。高輝度物体（太陽ＳＵＮ）からの光束は、絞りＳＴＰのほぼ全域を通過するが、画素Ｇ１、Ｇ２に入射する光束が通過する領域は、領域Ｐ１、Ｐ２（瞳領域）に分割される。

続いて、図１乃至図３を参照して、撮像装置２００により生成される撮影画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定する方法について説明する。図１は、本実施例における画像処理方法の出力画像の一例である。図１（ａ）は、瞳分割による撮像により生成された複数の視差画像を合成した撮影画像を示している。図１（ａ）の撮影画像には、２つの被写体（被写体Ｘ、Ｙ）、および、不図示の光源により発生した不要成分（ゴースト成分ＧＳＴ）が写っている。図１（ａ）の撮影画像は、星型の被写体Ｘにピントが合っており（合焦被写体）、丸型の被写体Ｙはボケている（非合焦被写体）状態を示す例である。また、撮影画像中に四角部分として示されるゴースト成分ＧＳＴは、不要光（ゴースト）の画像成分である不要成分である。なお、図１（ａ）において、不要成分（ゴースト成分ＧＳＴ）が塗りつぶして示されているが、実際には被写体がある程度透けている。また、不要成分は撮影被写体に不要光がかぶった状態であるため、撮影被写体よりも高輝度の部分である。このことは、後述する他の実施例でも同様である。

図２は、本実施例における画像処理方法の手順を示す図である。図２（Ａ−１）および図２（Ｂ−１）は、領域Ｐ１、Ｐ２（瞳領域）を通過した光束のそれぞれを画素群Ｇ１、Ｇ２にて光電変換した結果として得られた一対の視差画像を示す。図２（Ａ−１）、（Ｂ−１）に示される一対の視差画像には、画像成分として、視差に対応する差（視差成分）が含まれる。図１（ａ）に示されるように、被写体Ｘにピントが合い、後方にある被写体Ｙがボケているような場合、被写体Ｙに視差成分が存在する。また、一対の視差画像にも、四角として模式的に示される不要成分（ゴースト成分ＧＳＴ）が含まれているが、図２（Ａ−１）には不要成分は存在せず図２（Ｂ−１）にのみ不要成分が存在する。ここでは、不要成分が互いにオーバーラップすることなく分離された状態の例を示しているが、オーバーラップしていて輝度差がある状態であってもよい。すなわち不要成分は、四角の不要成分の位置や輝度が互いに異なった状態であればよい。

図２（Ａ−２）は、一対の視差画像に関し、図２（Ａ−１）を基準画像として図２（Ｂ−１）の画像を差し引いた状態の画像を示している。この画像（相対差分画像）には、一対の視差画像が有する差分（相対差分情報）として、視差成分と不要成分（ゴースト成分ＧＳＴ）とが含まれている。また、前述の差分計算により、図２（Ｂ−１）に含まれる視差成分と不要成分が負値として算出されるが、後段の不要成分低減処理の簡易化のため、図２（Ａ−２）では負値を切り捨てている。そのため、図２（Ａ−２）の差分画像は、図２（Ａ−１）に含まれる視差成分のみを示していることとなる。同様に、図２（Ｂ−２）は、一対の視差画像に関し、図２（Ｂ−１）を基準画像として図２（Ａ−１）の画像を差し引いた状態の画像を示している。また、図２（Ａ−２）と同様に、前述の差分計算により、図２（Ａ−１）に含まれる視差成分が負の値として算出されるが、後段の不要成分低減処理の簡易化のため、図２（Ｂ−２）では負の値を切り捨てている。そのため、図２（Ｂ−２）の差分画像は、図２（Ｂ−１）に含まれる視差成分と不要成分とを示していることとなる。このようにして、差分画像における視差成分と不要成分のみを残存させる（換言すると、視差成分と不要成分を分離または抽出する）処理を行うことにより、視差成分および不要成分を決定することができる。

ただし、この状態では、不要成分（ゴースト成分ＧＳＴ）を抽出することはできるが、視差成分も残存している。このため、視差成分と不要成分（ゴースト成分ＧＳＴ）とを分離する必要がある。続いて、図３を参照して、視差成分と不要成分とを分離する方法について説明する。図３は、視差成分と不要成分とを分離する方法（画像処理方法）の手順を示す図である。

図３（ａ）は、図２（Ａ−２）の相対差分画像と図２（Ｂ−２）の相対差分画像とを合成した合成図である。ここでの合成とは、例えば、各相対差分画像の合算値または平均値を算出することである。本実施例では、合成として平均値が算出される。ここで本実施例において、図３（ａ）に示される各視差画像の相対差分画像（相対差分情報）の平均値を第一不要成分とする。第一不要成分には、前述の視差成分および不要成分が混在している。

図３（ｂ）は、前述の複数の視差画像を合成した撮影画像（図１（ａ）に示される画像）から第一不要成分（図３（ａ）の画像）を差し引いた画像、すなわち撮影画像から第一不要成分を除去または低減した画像（第一不要成分除去画像）である。図３（ｂ）の画像において、不要成分（ゴースト成分）が除去されている。しかし、図３（ｂ）の画像では、同時に視差成分も除去され、被写体Ｙのボケ部分も除去されてしまっている。写真におけるボケは、画像表現として重要な要素であるため、最終画像としてボケが除去されることは好ましくない。

図３（ｃ）は、第一不要成分除去画像（図３（ｂ）の画像）にボケを付加した画像（ボケ付加画像）である。図３（ｄ）は、ボケ付加画像（図３（ｃ）の画像）から第一不要成分除去画像（図３（ｂ）の画像）を差し引いて、二値化処理を行ったマスク（マスク画像）である。図３（ｃ）から分かるように、ボケを付加すると被写体のエッジ部がボケることにより、エッジ部の近傍に輝度勾配が生じる。このため、前述のように、ボケ付加画像（図３（ｃ）の画像）から第一不要成分除去画像（図３（ｂ）の画像）を差し引くと、図３（ｄ）に示されるように輝度勾配部分のみが抽出される。すなわち、被写体のエッジ部の近傍領域のみが抽出されることとなる。ここで、前述の視差成分は、被写体のエッジ部の近傍領域のみで発生する。このため、被写体のエッジ部の近傍領域を抽出することにより、視差成分が生じる領域を特定することが可能である。図３（ｅ）は、マスク（図３（ｄ）の画像）を用いて第一不要成分（図３（ａ）の画像）から視差成分を除去した画像であり、不要成分のみが抽出された第二不要成分に相当する。本実施例によれば、このような手順を経ることにより、視差成分と不要成分（ゴースト成分）とを分離することができる。

ここで、出力画像として図１（ａ）に示される瞳分割による撮像により生成された複数の視差画像を合成した撮影画像を出力することを考える。本実施例では、最終出力画像として各視差画像を平均した画像を出力する。ここで、図３（ｅ）に示される第二不要成分も各視差画像の不要成分の平均値となっている。そして、出力すべき画像において、第二不要成分を除去または低減する補正処理を行う。これにより、図１（ｂ）に示されるように、不要成分の低減された、瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。

次に、図９を参照して、本実施例における不要成分（ゴースト成分）の決定処理（画像処理）の手順について説明する。図９は、本実施例における画像処理方法（不要成分の決定方法）を示すフローチャートである。図９の各ステップは、主に、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

まずステップＳ１０１において、システムコントローラ２１０は、入力画像を取得する。すなわちシステムコントローラ２１０は、撮像光学系２０１および撮像素子２０２により構成される撮像部を制御して、被写体を撮影する。続いてステップＳ１０２において、システムコントローラ２１０は、画像処理部２０４を制御し、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３でＡ／Ｄ変換されたデジタル信号を用いて、入力画像としての一対の視差画像を生成させる。このとき画像処理部２０４は、視差画像を生成するため、通常の現像処理や各種の画像補正処理を実施してもよい。

続いてステップＳ１０３において、画像処理部２０４の第一不要成分検出部２０４ａは、各視差画像の相対差分情報（相対差分画像）を求める。すなわち第一不要成分検出部２０４ａは、図２（Ａ−１）の画像を基準画像とした相対差分画像（図２（Ａ−２）の画像）、および、図２（Ｂ−１）の画像を基準画像とした相対差分画像（図２（Ｂ−２）の画像）を生成する。撮像面に到達した不要光が撮像光学系２０１の互いに異なる瞳領域を通過する場合、図２（Ａ−１）および図２（Ｂ−１）に示されるように、視差画像ごとに不要成分（ゴースト成分）の発生の有無や発生位置が異なる。このため、単純な相対差分画像では、双方の不要成分の差分値は正および負の値をとる。本実施例では、相対差分画像（図２（Ａ−２）の画像）を生成するための画像（図２（Ａ−１）の画像）から図２（Ｂ−１）の画像を差し引くと、図２（Ａ−１）の画像に含まれる不要成分は正の値となり、図２（Ｂ−１）の画像に含まれる不要成分は負の値となる。本実施例では、後述する不要成分低減処理の簡易化のため、前記の負の値を切り捨てて０値とする処理を行う。このため、図２（Ａ−２）の画像に関しては、図２（Ａ−１）の画像に含まれる不要成分（ゴースト成分）と視差成分のみが正の値として検出される。また、相対差分画像（図２（Ｂ−２）の画像）についても同様の処理を実施することにより、図２（Ｂ−２）の画像に関しては、図２（Ｂ−１）の画像に含まれる不要成分（ゴースト成分）および視差成分のみが正の値として検出される。

そしてステップＳ１０４において、第一不要成分検出部２０４ａは、ステップＳ１０３にて生成された相対差分画像に残存した成分を第一不要成分と決定する。具体的には、図２（Ａ−２）および図２（Ｂ−２）に示される成分（相対差分画像）が第一不要成分となる。

続いてステップＳ１０５において、画像処理部２０４の合成処理部２０４ｂは、ステップＳ１０４にて決定された各視差画像の第一不要成分（相対差分画像）を平均値処理（合成）する。具体的には、合成処理部２０４ｂは、図２（Ａ−２）の相対差分画像と図２（Ｂ−２）の相対差分画像との平均値演算を実行し、平均値処理された第一不要成分（図３（ａ）の画像）を生成する。

そしてステップＳ１０６において、合成処理部２０４ｂは、視差画像を平均値処理し、１枚の瞳分割を行わない撮像により生成された撮影画像と同等の画像（平均視差画像）を出力する。具体的には、合成処理部２０４ｂは、ステップＳ１０２にて生成された図２（Ａ−１）の視差画像と図２（Ｂ−１）の視差画像との平均値演算を実行し、平均値処理された合成画像（図１（ａ）の画像）を生成する。または、視差画像を生成するステップ（ステップＳ１０２）を経ずに、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を加算することにより、合成画像を生成してもよい。

続いてステップＳ１０７において、画像処理部２０４の不要成分低減部２０４ｃは、平均視差画像から平均値処理された第一不要成分を低減（または除去）する補正処理を行い、第一不要成分除去画像（図３（ｂ）の画像）を生成する。この場合、ステップＳ１０３にて負の値を切り捨てて０値とすることで、第一不要成分のみが正の値として検出されている。このため不要成分低減部２０４ｃは、単純に、合成画像（図１（ａ）の画像）から平均値処理された第一不要成分（図３（ａ）の画像）を差し引くことにより、第一不要成分を除去した第一不要成分除去画像を生成することができる。

続いてステップＳ１０８において、画像処理部２０４のボケ付加処理部２０４ｄは、第一不要成分除去画像（図３（ｂ）の画像）にボケを付加し、ボケ画像（図３（ｃ）の画像）を生成する。具体的には、ボケ付加処理部２０４ｄは、第一不要成分除去画像に対して、ぼかし効果のあるフィルタによるフィルタ処理を実行する。本実施例において、ぼかし量を調整可能なガウシアンフィルタが使用される。本実施例では、ぼかし量としてのフィルタ係数にガウス分布の標準偏差を、前記視差成分に対して十分大きくなるように設定している。一方、状態検知部２０７から得られる撮像光学系２０１の焦点距離や絞り値Ｆｎｏなどの撮影条件を参照することでぼかし量を決定することもできる。ぼかし量とは、ガウス分布の標準偏差量などのボケの強さを制御するパラメータやフィルタサイズによるボケの範囲を制御するパラメータに基づいて決定される量である。撮像光学系２０１の焦点距離や絞り値Ｆｎｏに応じて被写体の視差ずれ量（視差成分の領域サイズに対応）は異なる。このため、撮影条件を参照することにより最適なぼかし量を決定することができ、フィルタサイズを削減することが可能となる。

また本実施例において、画面全体において同一のぼかし量が適用されるが、被写体距離情報が既知であれば、被写体毎に距離に応じてぼかし量を変更することが好ましい。被写体距離に応じて被写体の視差ずれ量が異なるため、被写体毎に距離に応じてぼかし量を変更することにより、各被写体に最適なぼかし量を決定することができ、フィルタサイズを削減することが可能となる。フィルタサイズを削減することにより、ボケ付加処理部２０４ｄによるボケ付加処理の処理負荷を大きく低減することができる。ここで、被写体距離情報に関しては、まず一対の視差画像に対して一般的に知られているブロックマッチング法で被写体の対応点を抽出し、視差画像間の対応点画素の画素位置差分として視差量を算出する。そして算出された視差量と既知の情報である撮像系の焦点距離と瞳分割による基線長データから撮影被写体に対する距離情報を算出することができる。本実施例では、このような被写体距離情報の算出ステップを追加してもよい。

続いてステップＳ１０９において、画像処理部２０４のマスク作成部２０４ｅは、ステップＳ１０８にて生成されたボケ画像（図３（ｃ）の画像）と第一不要成分除去画像（図３（ｂ）の画像）との差分情報に基づいて、マスク（図３（ｄ）の画像）を生成する。具体的には、マスク作成部２０４ｅは、ボケ付加画像から第一不要成分除去画像を差し引いて、二値化処理を行うことにより、マスク（マスク画像）を作成する。本実施例では、前述のマスクをそのまま用いているが、さらにボケ付加処理部２０４ｄによりマスクにボケを付加してマスク領域を拡大することもできる。マスク領域を拡大することで、被写体が大きくボケたような状態においても、視差成分を確実にマスキングすることが可能となる。また、さらにフィルタサイズを削減するため、ステップＳ１０８、Ｓ１０９のそれぞれにおいて、縮小画像を用いて各処理を実行してもよい。画像サイズを縮小することにより、ぼかすためのフィルタサイズを縮小することができ、ボケ付加処理の処理負荷を大きく低減することが可能となる。また、縮小画像を用いて作成したマスクを元の画像サイズまで拡大することにより、略同等のマスクを作成することができる。

続いてステップＳ１１０において、画像処理部２０４の第二不要成分検出部２０４ｆは、第一不要成分およびマスクに基づいて、第二不要成分（図３（ｅ）の画像）を決定する。具体的には、第二不要成分検出部２０４ｆは、第一不要成分（図３（ａ）の画像）に対して前述のマスク（図３（ｃ）の画像）を用いてマスキング処理を実行する。これにより、視差成分と不要成分（ゴースト成分）とが混在した状態（画像）から視差成分のみを除去することができる。

続いてステップＳ１１１において、不要成分低減部２０４ｃは、出力すべき画像から第二不要成分（図３（ｅ）の画像）を低減または除去する補正処理を行う。ここでは画像処理部２０４は、出力すべき画像として、図１（ｂ）に示される、瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成する。この場合、ステップＳ１０３にて負の値を切り捨てて０値とすることにより、不要成分のみが正の値として検出されているため、単純に図１（ａ）の合成画像から図３（ｅ）の第二不要成分を差し引くことで、不要成分を除去することができる。最後に、ステップＳ１１２において、システムコントローラ２１０は、不要成分が除去（低減）された出力画像（図１（ｂ）の画像）を、画像記録媒体２０９に保存し、または、表示部２０５に表示する。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく複数の相対差分画像から、不要光により形成された不要成分（ゴースト成分）を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することが可能である。また、相対差分画像を生成する際に、負の値を切り捨てているため、単純な差分計算のみで決定された不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。

次に、本発明の実施例２について説明する。本実施例における撮像装置の基本構成は、図６を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。また、本実施例の撮像系における撮像素子の受光部の構成についても、実施例１と同様であるため、その説明は省略する。

図１０および図１１を参照して、本実施例における不要成分を決定する方法について説明する。瞳分割による撮像により生成された複数の視差画像を合成した撮影画像は、図１（ａ）と同様である。図１０および図１１は、本実施例における画像処理方法の手順を示す図である。

図１０（Ａ−１）および図１０（Ｂ−１）は、それぞれ、領域Ｐ１、Ｐ２（瞳領域）を通過した光束を画素群Ｇ１、Ｇ２にて光電変換した結果として得られた一対の視差画像を示している。一対の視差画像には、画像成分に視差に対応する差（視差成分）が存在する。図１（ａ）に示されるような被写体Ｘにピントが合い、後方にある被写体Ｙがボケているような場合、被写体Ｙに視差成分が存在する。また、一対の視差画像にも四角として模式的に示される不要成分（ゴースト成分ＧＳＴ）が含まれているが、図１０（Ａ−１）には不要成分は存在せず、図１０（Ｂ−１）にのみ不要成分が存在する。

図１０（Ａ−２）は、一対の視差画像に対して、図１０（Ａ−１）を基準画像として図１０（Ｂ−１）の画像を差し引いた状態の画像を示している。この画像（相対差分画像）には、一対の視差画像が有する差分（相対差分情報）として、視差成分と前述の不要成分とが含まれている。また、前述の差分計算により、図１０（Ｂ−１）に含まれる視差成分と不要成分とが負の値として算出されるが、後段の不要成分低減処理の簡易化のため、図１０（Ａ−２）では負の値を切り捨てている。このため、図１０（Ａ−２）の差分画像は、図１０（Ａ−１）に含まれる視差成分のみを示していることとなる。同様に、図１０（Ｂ−２）は、一対の視差画像に対して、図１０（Ｂ−１）を基準画像として図１０（Ａ−１）の画像を差し引いた状態の画像を示している。

また、図１０（Ａ−２）と同様に、前述の差分計算により図１０（Ａ−１）に含まれる視差成分が負の値として算出されるが、後段の不要成分低減処理の簡易化のため、図１０（Ｂ−２）では負の値を切り捨てている。そのため、図１０（Ｂ−２）の差分画像は、図１０（Ｂ−１）に含まれる視差成分と不要成分とを示していることとなる。このように、差分画像における視差成分と不要成分とのみを残存させる（換言すると、視差成分と不要成分とを分離または抽出する）処理を行うことにより、視差成分および不要成分を決定することができる。本実施例では、図１０（Ａ−２）、（Ｂ−２）で示した各視差画像の相対差分画像（相対差分情報）を第一不要成分とする。ただし、この状態では不要成分（ゴースト）が抽出できているが、視差成分も残存している。このため、視差成分と不要成分とを分離する必要がある。

次に、視差成分と不要成分（ゴースト成分）とを分離する方法について説明する。第一不要成分には、前述した視差成分と不要成分とが混在している。図１０（Ａ−３）、（Ｂ−３）は、前述した各視差画像から図１０（Ａ−２）、（Ｂ−２）に示される第一不要成分をそれぞれ差し引いた（換言すると、各視差画像から第一不要成分を除去または低減した）画像（第一不要成分除去画像）である。ここで例として、図１０（Ｃ）は、図１０（Ａ−３）、（Ｂ−３）に示される各第一不要成分除去画像を平均値処理して合成した画像（合成画像）である。図１０（Ｃ）に示される合成画像では、不要成分であるゴーストを除去することができているが、同時に視差成分も除去され、被写体Ｙのボケ部分も除去されてしまっている。写真におけるボケは画像表現として重要な要素であるため、最終画像としてボケが除去されることは好ましくない。

次に、図１１（Ａ−４）、（Ｂ−４）は、各第一不要成分除去画像（図１０（Ａ−３）、図１０（Ｂ−３）の各画像）にボケを付加したボケ付加画像である。図１１（Ａ−５）、（Ｂ−５）は、各ボケ付加画像（図１１（Ａ−４）、図１１（Ｂ−４）の各画像）から各第一不要成分除去画像を差し引いて、二値化処理を行ったマスクである。図１１（Ａ−４）、（Ｂ−４）から分かるように、ボケを付加すると被写体エッジ部がボケることで、エッジ部近傍に輝度勾配が生じる。このため、前述のように、ボケ付加画像から第一不要成分除去画像を差し引くと、図１１（Ａ−５）、（Ｂ−５）に示されるように、輝度勾配部分のみが抽出される。すなわち、被写体エッジ部の近傍領域のみが抽出されることとなる。ここで、前述の視差成分は、被写体エッジ部の近傍領域のみで発生するため、被写体エッジ部の近傍領域を抽出することにより、視差成分が生じる領域を特定することが可能となる。図１１（Ａ−６）、（Ｂ−６）は、各マスクを用いて図１０（Ａ−２）、（Ｂ−２）に示される各第一不要成分から視差成分を除去した、不要成分のみが抽出された第二不要成分である。このような手順を経ることにより、視差成分と不要成分（ゴースト）とを分離することができる。

そして、出力すべき画像において、前述のようにして決定された不要成分を除去または低減する補正処理を行う。これにより、図１１（Ａ−７）、（Ｂ−７）に示されるように、不要成分が概ね無くなった各視差画像を得ることができる。さらに、不要成分を低減させた各視差画像を合成することにより、図１（ｂ）に示されるように、不要成分が低減された、瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。

次に、図１２を参照して、本実施例における不要成分（ゴースト）の決定処理（画像処理）の手順について説明する。図１２は、本実施例における画像処理方法（不要成分の決定方法）を示すフローチャートである。図１２の各ステップは、主にシステムコントローラ２１０および画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

図１２において、ステップＳ２０１〜Ｓ２０４は図９を参照して説明した実施例１のステップＳ１０１〜Ｓ１０４とそれぞれ同様であるため、それらの説明は省略する。

続いてステップＳ２０５において、不要成分低減部２０４ｃは、視差画像のそれぞれに対応する第一不要成分を低減または除去する補正処理を行い、各第一不要成分除去画像（図１０（Ａ−３）、（Ｂ−３）に示される各画像）を生成する。このとき、ステップＳ２０３にて負の値を切り捨てて０値とすることにより、第一不要成分のみが正の値として検出されるため、単純に各視差画像から各第一不要成分を差し引くことで第一不要成分を除去することができる。

続いてステップＳ２０６において、ボケ付加処理部２０４ｄは、各第一不要成分除去画像にボケを付加し、ボケ画像（図１１（Ａ−４）、（Ｂ−４）の画像）を生成する。具体的には、ボケ付加処理部２０４ｄは、第一不要成分除去画像に対してぼかし効果のあるフィルタによるフィルタ処理を実行する。

続いてステップＳ２０７において、マスク作成部２０４ｅは、ステップＳ２０６にて生成された各ボケ画像と各第一不要成分除去画像との差分情報に基づいて、図１１（Ａ−５）、（Ｂ−５）に示されるマスク（マスク画像）を生成する。具体的には、マスク作成部２０４ｅは、ボケ付加画像から第一不要成分除去画像を差し引き、二値化処理を行うことにより、マスクを作成する。

続いてステップＳ２０８において、第二不要成分検出部２０４ｆは、第一不要成分およびマスクに基づいて、第二不要成分（図１１（Ａ−６）、（Ｂ−６）の画像）を決定する。具体的には、第二不要成分検出部２０４ｆは、各第一不要成分に対して前述の各マスクを用いてマスキング処理を実行する。これにより、視差成分と不要成分（ゴースト）とが混在した状態（画像）から視差成分のみを除去することができる。

続いてステップＳ２０９において、不要成分低減部２０４ｃは、出力すべき画像から第二不要成分を低減または除去する補正処理を行う。ここでは、画像処理部２０４は、出力すべき画像として、図１１（Ａ−７）、（Ｂ−７）に示される画素Ｇ１、Ｇ２をそれぞれ１画素とすることで得られる各視差画像を生成する。この場合、ステップＳ２０３にて負の値を切り捨てて０値とすることにより、各視差画像に含まれる不要成分のみが正の値として検出される。このため、単純に各視差画像からそれぞれの第二不要成分を差し引くことにより、不要成分を除去することができる。本実施例において、ステップＳ２０９は、図１０（Ａ−１）の視差画像から図１１（Ａ−６）の第二不要成分を差し引き、図１０（Ｂ−１）の視差画像から図１１（Ｂ−６）の第二不要成分を差し引くことに相当する。最後に、ステップＳ２１０において、システムコントローラ２１０は、不要成分が除去（低減）された出力画像を、画像記録媒体２０９に保存し、または、表示部２０５に表示する。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく複数の相対差分画像から、不要光により形成された不要成分（ゴースト成分）を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することが可能となる。また、相対差分画像を生成する際に、負の値を切り捨てているため、単純な差分計算のみで決定した不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。

次に、本発明の実施例３（複数の瞳分割）について説明する。本実施例における撮像装置の基本構成は、図６を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。

図１３は、本実施例における撮像素子２０２ａの受光部を示す図である。図１３において、ＭＬはマイクロレンズである。Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４は、画素（受光部）であり、互いに組をなしている。撮像素子２０２ａには、画素Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４（１つの画素組）が複数配列されており、１つの画素組は、共通または共有の（すなわち画素組ごとに１つずつ設けられた）マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有する。本実施例において、撮像素子２０２ａに配列された複数の画素Ｇ１１をまとめて画素群Ｇ１１ともいう。同様に、撮像素子２０２ａに配列された複数の画素Ｇ１２、Ｇ１３、Ｇ１４のそれぞれをまとめて、画素群Ｇ１２、Ｇ１３、Ｇ１４ともいう。撮像光学系２０１の具体的な構成例は、図７を参照して説明した実施例１と同様であるため、その説明は省略する。

図１４は、撮像光学系２０１の絞りＳＴＰを透過する不要光の説明図である。図１４は、絞りＳＴＰのうち、図１３に示される画素Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４に入射する光束が通過する領域Ｐ１、Ｐ２、Ｐ３、Ｐ４（瞳領域または瞳分割領域）を示している。なお、絞りＳＴＰは、撮像光学系２０１の射出瞳ＥＸＰに相当するものとして考えることができるが、実際には絞りＳＴＰと射出瞳ＥＸＰは互いに異なることが多い。高輝度物体からの光束は絞りＳＴＰのほぼ全域を通過するが、各画素に入射する光束が通過する領域は、領域Ｐ１、Ｐ２、Ｐ３、Ｐ４に分割される。

続いて、図１５乃至図１７を参照して、撮像装置２００による撮像により生成される撮影画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定する方法について説明する。

図１５は、本実施例における画像処理方法の出力画像の一例であり、図１５（ａ）は、瞳分割による撮像により生成された複数の視差画像を合成した撮影画像を示している。この撮影画像には、２つの被写体（被写体Ｘ、Ｙ）と不図示の光源により発生したゴーストが写っている。図１５（ａ）の画像は、星型の被写体Ｘにピントが合っており（合焦被写体）、丸型の被写体Ｙはボケている（非合焦被写体）例である。また、撮影画像中に四角部分として示されるゴースト成分ＧＳＴは、不要光（ゴースト）の画像成分である不要成分である。また、不要成分は、撮影被写体に不要光がかぶった状態であるため、撮影被写体よりも高輝度化する部分である。このことは、後述する他の実施例に関する図でも同様である。

図１６および図１７は、本実施例における画像処理方法の手順を示す図である。図１６（Ａ−１）、図１６（Ｂ−１）、図１６（Ｃ−１）、図１６（Ｄ−１）は、それぞれ、領域Ｐ１、Ｐ２、Ｐ３、Ｐ４を通過した光束を画素群Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４にて光電変換した結果として得られた一組の視差画像である。また、一組の視差画像には、四角として模式的に示される不要成分（ゴースト成分ＧＳＴ）が含まれている。不要成分の位置は、図１６（Ｃ−１）と図１６（Ｄ−１）ではその一部がオーバーラップしている。また、図１６（Ｂ−１）、図１６（Ｃ−１）、図１６（Ｄ−１）では、その位置が互いに異なっている。また、図１６（Ａ−１）には、不要成分(ゴースト成分ＧＳＴ)は生じていない。

図１６（Ａ−２）は、一組の視差画像に対して、図１６（Ａ−１）を基準画像として図１６（Ｂ−１）の画像を差し引いた相対差分画像である。この画像には、実施例１と同様に、相対差分情報として、被写体の視差成分と前述の不要成分とが含まれている。また、実施例１と同様に、前述の差分計算により、図１６（Ｂ−１）に含まれる不要成分が負の値として算出されるが、後段の不要成分の低減処理の簡易化のため、図１６（Ａ−２）では負の値を切り捨てている。これは、後述の全ての相対差分画像についても同様である。また、図１６（Ａ−３）は、一組の視差画像に対して、図１６（Ａ−１）を基準画像として図１６（Ｃ−１）の画像を差し引いた相対差分画像である。また、図１６（Ａ−４）は、一組の視差画像に対して、図１６（Ａ−１）を基準画像として図１６（Ｄ−１）の画像を差し引いた相対差分画像である。図１１（Ａ−１）には不要成分（ゴースト成分ＧＳＴ）が生じていない。このため、図１６（Ａ−２）、（Ａ−３）、（Ａ−４）は、図１６（Ａ−１）に含まれる視差成分のみを示していることとなる。

また、図１６（Ａ−５）は、２次元データとして取得されている相対差分情報である図１６（Ａ−２）、図１６（Ａ−３）、図１６（Ａ−４）の相対差分画像内の各画素位置における相対差分情報間の最大値を抽出した画像情報（相対差分最大値情報）である。本実施例では、図１６（Ａ−１）に含まれる視差成分の位置およびその量である。

同様に、図１６（Ｂ−２）は、一組の視差画像に対して、図１６（Ｂ−１）を基準画像として図１６（Ａ−１）の画像を差し引いた相対差分画像である。図１６（Ｂ−３）は、一組の視差画像に対して、図１６（Ｂ−１）を基準画像として図１６（Ｃ−１）の画像を差し引いた相対差分画像である。図１６（Ｂ−４）は、一組の視差画像に対して、図１６（Ｂ−１）を基準画像として図１６（Ｄ−１）の画像を差し引いた相対差分画像である。図１６（Ｂ−５）は、２次元データとして取得されている相対差分情報である図１６（Ｂ−２）、図１６（Ｂ−３）、図１６（Ｂ−４）の相対差分画像内の各画素位置における相対差分情報間の最大値を抽出した画像情報（相対差分最大値情報）である。本実施例では、図１６（Ｂ−１）に含まれる視差成分および不要成分の位置とその量となる。

同様に、図１６（Ｃ−２）は、一組の視差画像に対して、図１６（Ｃ−１）を基準画像として図１６（Ａ−１）の画像を差し引いた相対差分画像である。図１６（Ｃ−３）は、一組の視差画像に対して、図１６（Ｃ−１）を基準画像として図１６（Ｂ−１）の画像を差し引いた相対差分画像である。図１６（Ｃ−４）は、一組の視差画像に対して、図１６（Ｃ−１）を基準画像として図１６（Ｄ−１）の画像を差し引いた相対差分画像である。前述のように、図１６（Ｃ−１）および図１６（Ｄ−１）において、同じ位置に不要成分の一部がオーバーラップしているため、相対差分情報に一部の不要成分が検出されない。このように、同じ位置に生じている不要成分は相対差分画像には現れない。すなわち、２画像間だけの差分情報だけでは、検出することができない不要成分が存在する。

しかしながら、本実施例のように複数の視差画像の相対差分情報を取得することにより、例えば図１６（Ｂ−１）のように１つの視差画像でも基準画像と異なる位置に不要成分が生じていれば、その不要成分を効果的に検出することが可能となる。図１６（Ｃ−５）は、２次元データとして取得されている相対差分情報である図１６（Ｃ−２）、図１６（Ｃ−３）、図１６（Ｃ−４）の相対差分画像内の各画素位置における相対差分情報間の最大値を抽出した画像情報（相対差分最大値情報）である。本実施例では、図１６（Ｃ−１）に含まれる視差成分および不要成分の位置とその量となる。

同様に、図１６（Ｄ−２）は、一組の視差画像に対して、図１６（Ｄ−１）を基準画像として図１６（Ａ−１）の画像を差し引いた相対差分画像である。図１６（Ｄ−３）は、一組の視差画像に対して、図１６（Ｄ−１）を基準画像として図１６（Ｂ−１）の画像を差し引いた相対差分画像である。図１６（Ｄ−４）は、一組の視差画像に対して、図１６（Ｄ−１）を基準画像として図１６（Ｃ−１）の画像を差し引いた相対差分画像である。図１６（Ｄ−５）は、２次元データとして取得されている相対差分情報である図１６（Ｄ−２）、図１６（Ｄ−３）、図１６（Ｄ−４）の相対差分画像内の各画素位置における相対差分情報間の最大値を抽出した画像情報（相対差分最大値情報）である。本実施例では、図１６（Ｄ−１）に含まれる視差成分および不要成分位置とその量となる。

ここで、出力画像として図１５（ａ）に示される瞳分割による撮像により生成された視差画像を平均合成した撮影画像を出力することを考える。このとき、前述のように視差画像毎に不要成分が抽出されているため、一つの手法として各視差画像から夫々抽出された不要成分を差し引くことで低減することが考えられる。しかしながら、画像として視差画像を平均した１枚の画像を出力するのに対して、不要成分の低減処理を視差画像枚数分だけ実行する必要があり、低減処理工程の複雑さを招く。そのため、本実施例では、出力画像の視差画像の合成処理に合わせて、同様の処理で前述の各視差画像の不要成分を合成処理する。本実施例では、最終出力画像として各視差画像を平均した画像を出力しているため、各視差画像の不要成分の平均値を演算し合成処理する。

図１７（ａ）は、平均合成された不要成分を示す図である。出力画像を各視差画像の平均値として出力する場合、出力画像に含まれる不要成分は、各視差画像に含まれる不要成分の平均値と一致する。ここで、本実施例では、図１７（ａ）に示される各視差画像の相対差分画像（相対差分情報）の平均値を第一不要成分とする。第一不要成分には、前述した視差成分と不要成分とが混在している。

図１７（ｂ）は、前述した複数の視差画像を合成した撮影画像（図１５（ａ）の画像）から第一不要成分（図１７（ａ）の画像）を差し引いた（換言すると、図１５（ａ）の画像から第一不要成分を除去または低減した）画像（第一不要成分除去画像）である。図１７（ｂ）に示される第一不要成分除去画像では、不要成分であるゴースト成分が除去されているが、同時に視差成分も除去され、被写体Ｙのボケ部分も除去されている。写真におけるボケは画像表現として重要な要素であるため、最終画像としてボケが除去されることは好ましくない。

図１７（ｃ）は、第一不要成分除去画像（図１７（ｂ）の画像）にボケを付加したボケ付加画像である。図１７（ｄ）は、ボケ付加画像（図１７（ｃ））から第一不要成分除去画像（図１７（ｂ）の画像）を差し引いて、二値化処理を行ったマスク（マスク画像）である。図１７（ｃ）から分かるように、ボケを付加すると被写体エッジ部がボケることで、エッジ部近傍に輝度勾配が生じる。このため、前述のようにボケ付加画像（図１７（ｃ）の画像）から第一不要成分除去画像（図１７（ｂ）の画像）を差し引くと、図１７（ｄ）に示されるように輝度勾配部分のみが抽出される。すなわち、被写体エッジ部の近傍領域のみが抽出されることとなる。ここで、前述の視差成分は、被写体エッジ部の近傍領域のみで発生するため、被写体エッジ部の近傍領域を抽出することにより、視差成分が生じる領域を特定することが可能となる。

図１７（ｅ）は、マスク（図１７（ｄ）の画像）を用いて、第一不要成分（図１７（ａ）の画像）から視差成分を除去した、不要成分のみが抽出された第二不要成分である。このような手順を経ることにより、視差成分と不要成分（ゴースト成分）とを分離することができる。

ここで、出力画像として図１５（ａ）に示される瞳分割による撮像により生成された複数の視差画像を合成した撮影画像を出力することを考える。本実施例では、最終出力画像として各視差画像を平均した画像を出力する。ここで、図１７（ｅ）に示される第二不要成分も各視差画像の不要成分の平均値となっている。そして、出力すべき画像において、第二不要成分を除去または低減する補正処理を行う。これにより、図１５（ｂ）に示されるように、不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。

次に、図１８を参照して、本実施例における不要成分（ゴースト成分）の決定処理（画像処理）の手順について説明する。図１８は、本実施例における画像処理方法（不要成分の決定方法）を示すフローチャートである。図１８の各ステップは、主にシステムコントローラ２１０および画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。図１８において、ステップＳ３０１、Ｓ３０２は図９を参照して説明した実施例１のステップＳ１０１、Ｓ１０２とそれぞれ同様であるため、それらの説明は省略する。

続いてステップＳ３０３において、画像処理部２０４の第一不要成分検出部２０４ａは、一組の視差画像について、各視差画像を基準画像とした複数の相対差分情報を求める。すなわち第一不要成分検出部２０４ａは、図１６（Ａ−１）を基準画像とした相対差分画像（図１６（Ａ−２）、図１６（Ａ−３）、図１６（Ａ−４）の各画像）を生成する。また第一不要成分検出部２０４ａは、図１６（Ｂ−１）を基準画像とした相対差分画像（図１６（Ｂ−２）、図１６（Ｂ−３）、図１６（Ｂ−４）の各画像）を生成する。また第一不要成分検出部２０４ａは、図１６（Ｃ−１）を基準画像とした相対差分画像（図１６（Ｃ−２）、図１６（Ｃ−３）、図１６（Ｃ−４）の各画像）を生成する。また第一不要成分検出部２０４ａは、図１６（Ｄ−１）を基準画像とした相対差分画像（図１６（Ｄ−２）、図１６（Ｄ−３）、図１６（Ｄ−４）の各画像）を生成する。

撮像面に到達した不要光が撮像光学系２０１の互いに異なる瞳領域を通過する場合、図１６（Ｂ−１）および図１６（Ｃ−１）に示されるように、視差画像ごとに不要成分の発生位置は異なる。そのため、単純な相対差分画像では、不要成分の差分値は正の値および負の値をとる。そこで本実施例では、後述の不要成分低減処理の簡易化のため、前記の負の値を切り捨てて０値とする処理を行う。そのため、視差成分と不要成分のみが正の値として検出される。一方、図１６（Ｃ−１）と図１６（Ｄ−１）に示されるように、同じ位置に一部の不要成分がオーバーラップしている場合、前述のように相対差分情報に一部の不要成分は検出されない。また、各視差画像間の輝度ムラによる検出誤差を緩和するため、シェーディング補正などの輝度補正ステップを追加してもよい。

続いてステップＳ３０４において、第一不要成分検出部２０４ａは、ステップＳ３０３にて生成された各視差画像を基準画像とした相対差分画像内の各画素位置における相対差分情報間の最大値を抽出する。ここで、複数の相対差分情報間の最大値を抽出する効果について説明する。本実施例のように、図１６（Ｃ−１）と図１６（Ｄ−１）の画像では、同じ位置に一部の不要成分がオーバーラップしている。このように、光学系や高輝度光源の位置によっては、視差画像間でも同じ位置に不要成分が生じる場合がある。このような場合に２画像の差分を算出すると、不要成分も０値となってしまう。すなわち、２画像間だけの差分情報だけでは、検出することができない不要成分が存在する。そこで本実施例では、複数の視差画像の相対差分情報を取得することにより、例えば図１６（Ｂ−１）のように１つの視差画像でも基準画像と異なる位置に不要成分が生じていれば、図１６（Ｃ−３）のようにその不要成分を効果的に検出することを可能としている。このように、複数の相対差分情報を取得し、その複数の相対差分情報間の相対差分最大値情報を抽出することにより、１つでも視差画像間で不要成分の位置が異なる画像が存在すれば、不要成分の位置と量を確実に検出することができる。

そしてステップＳ３０５において、第一不要成分検出部２０４ａは、ステップＳ３０４にて抽出された相対差分最大値画像中に残存した成分を第一不要成分と決定する。また、ノイズなどの影響を除去するため、ノイズ低減処理や閾値処理などのステップを加えてもよい。

続いてステップＳ３０６において、画像処理部２０４の合成処理部２０４ｂは、ステップＳ３０５にて得られた各視差画像の第一不要成分である相対差分最大値情報の平均値処理を行う。具体的には、合成処理部２０４ｂは、図１６（Ａ−５）、（Ｂ−５）、（Ｃ−５）、（Ｄ−５）の各相対差分最大値情報の平均値演算を実行し、平均処理された第一不要成分（図１７（ａ）の画像）を生成する。

そしてステップＳ３０７において、合成処理部２０４ｂは、視差画像を平均処理し、１枚の瞳分割を行わない撮像により生成された撮影画像と同等の画像を出力する。具体的には、合成処理部２０４ｂは、ステップＳ３０２にて生成された視差画像（図１６（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）の画像）の平均値演算を実行し、平均処理された合成画像（図１５（ａ）の画像）を生成する。または、合成処理部２０４ｂは、視差画像を生成するステップを経ずに、撮像素子２０２（画素群Ｇ１１〜Ｇ１４）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号の平均値を演算することで、合成画像を生成してもよい。

続いてステップＳ３０８において、画像処理部２０４の不要成分低減部２０４ｃは、平均視差画像から平均値処理された第一不要成分を低減または除去する補正処理を行い、第一不要成分除去画像（図１７（ｂ）の画像）を生成する。この場合、ステップＳ３０３にて負の値を切り捨てて０値とすることで、第一不要成分のみが正の値として検出されている。このため、単純に合成画像（図１５（ａ）の画像）から図１７（ａ）の平均値処理された第一不要成分（図１７（ａ）の画像）を差し引くことで、第一不要成分を除去することができる。

続いてステップＳ３０９において、画像処理部２０４のボケ付加処理部２０４ｄは、第一不要成分除去画像にボケを付加し、ボケ画像（図１７（ｃ）の画像）を生成する。具体的には、ボケ付加処理部２０４ｄは、第一不要成分除去画像に対してぼかし効果のあるフィルタによるフィルタ処理を実行する。本実施例において、ぼかし量を調整可能なガウシアンフィルタが使用される。また本実施例において、ぼかし量としてのフィルタ係数に、ガウス分布の標準偏差を視差成分に対して十分大きくなるように設定している。これに代えて、状態検知部２０７から得られる撮像光学系の焦点距離や絞り値Ｆｎｏなどの撮影条件を参照することで、ぼかし量を決定することもできる。撮像光学系２０１の焦点距離や絞り値Ｆｎｏに応じて被写体の視差ずれ量（視差成分の領域サイズに対応）が異なるため、撮影条件を参照することで最適なぼかし量を決定することができ、フィルタサイズを削減することが可能である。また、本実施例において、ぼかし量を画面全体に同一としているが、被写体距離情報が既知であれば、被写体毎に距離に応じてぼかし量を変更することが好ましい。被写体距離に応じて被写体の視差ずれ量が異なるため、被写体毎に距離に応じてぼかし量を変更することで、各被写体に最適なぼかし量を決定でき、フィルタサイズを削減することが可能となる。また、フィルタサイズを削減することで、ボケ付加処理の処理負荷を大きく低減することができる。

続いてステップＳ３１０において、画像処理部２０４のマスク作成部２０４ｅは、ステップＳ３０９にて生成されたボケ画像とステップＳ３０８にて生成された第一不要成分除去画像との差分情報に基づいて、マスク（図１７（ｄ）の画像）を生成する。具体的には、マスク作成部２０４ｅは、ボケ付加画像から第一不要成分除去画像を差し引いて、二値化処理を行ったマスク（マスク画像）を生成する。本実施例では、前述のマスクをそのまま用いているが、さらにボケ付加処理部２０４ｄにより、マスクにボケを付加してマスク領域を拡大することもできる。マスク領域を拡大することで、被写体が大きくボケたような状態においても、視差成分を確実にマスキングすることが可能となる。また、ノイズなどの影響を除去するためにノイズ低減処理や閾値処理などのステップを加えてもよい。

続いてステップＳ３１１において、画像処理部２０４の第二不要成分検出部２０４ｆは、第一不要成分およびマスクに基づいて、第二不要成分（図１７（ｅ）の画像）を決定する。具体的には、第二不要成分検出部２０４ｆは、第一不要成分に対して前述のマスクを用いてマスキング処理を実行する。これにより、視差成分と不要成分（ゴースト成分）とが混在した状態（画像）から視差成分のみを除去することができる。

続いてステップＳ３１２において、不要成分低減部２０４ｃは、出力すべき画像から第二不要成分を低減または除去する補正処理を行う。ここでは、出力すべき画像として、図１５（ｂ）に示されるように、瞳分割を行わない撮像により生成された撮影画像と同等の画像が生成される。このとき、ステップＳ３０３にて負の値を切り捨てて０値とすることにより、不要成分のみが正の値として検出されている。このため、単純に合成画像（図１５（ａ）の画像）から第二不要成分（図１７（ｅ）の画像）を差し引くことにより、不要成分を除去することができる。最後に、ステップＳ３１３において、システムコントローラ２１０は、図１５（ｂ）に示されるように不要成分が除去（低減）された出力画像を、画像記録媒体２０９に保存し、または、表示部２０５に表示する。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく複数の相対差分画像から不要光（ゴースト）により形成された不要成分を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することが可能となる。また、相対差分画像を生成する際に、負の値を切り捨てているため、単純な差分計算のみで決定した不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。また、複数の相対差分情報を算出し、その最大値を抽出した相対差分最大値情報を算出することで、複数の視差画像内に不要成分位置がオーバーラップした場合にも効果的に不要成分を検出して低減することができる。また、不要成分を合成処理することで、視差画像を合成した画像に含まれる不要成分を１つのデータとして生成するため、不要成分低減処理を１度の差分計算で実行することが可能となり、不要成分低減処理を簡易化することができる。

次に、本発明の実施例４について説明する。Ｒｅｎ．Ｎｇ等の「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」（Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２）において、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」が提案されている。「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」において「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」という手法を用いることで、物体側からの光線の位置と角度の情報を取り込むことができる。

図１９は、本実施例における撮像装置の撮像系を示す図であり、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」の撮像系の構成を示している。撮像光学系３０１は、主レンズ（撮影レンズ）３０１ｂと開口絞り３０１ａとを備えて構成される。撮像光学系３０１の結像位置には、マイクロレンズアレイ３０１ｃが配置されており、さらにその後方（像側）に撮像素子３０２が配置されている。マイクロレンズアレイ３０１ｃは、例えば点Ａのような被写体空間のある一点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子３０２上で混ざらないようにセパレータ（分離手段）としての機能を有する。図１９から分かるように、点Ａからの上線、主光線および下線は、それぞれ異なる画素によって受光される。このため、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。

また、Ｔｏｄｏｒ Ｇｅｏｒｇｉｖｅ等による「Ｆｕｌｌ Ｒｅｓｏｌｕｔｉｏｎ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ」（Ａｄｏｂｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｊａｎｕａｒｙ ２００８）が知られている。この文献では、光線の位置と角度の情報（Ｌｉｇｈｔ Ｆｉｅｌｄ）を取得する方法として、図２０および図２１に示される撮像系を提案している。

図２０に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも後方（像側）に配置し、点Ａを通る光線群を撮像素子３０２上に再結像させることで、光線群を光線の角度ごとに分離して取得することができる。また、図２１に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも前方（物体側）に配置し、点Ａを通る光線群を撮像素子３０２上に結像させることで、光線群を光線の角度ごとに分離して取得することができる。いずれの構成も、撮像光学系３０１の瞳を通過する光束を瞳内での通過領域（通過位置）に応じて分割する点は同じである。そして、これらの構成では、撮像素子３０２は、図２２に示されるように、１つのマイクロレンズＭＬと１つの受光部Ｇ１とカラーフィルタＣＦを介して対になっている従来の撮像素子を用いることができる。

図１９に示される撮像光学系３０１を用いると、図２３（ａ）に示されるような画像が得られる。図２３（ｂ）は、図２３（ａ）中に多数並んだ円のうち１つを拡大して示している。１つの円は絞りＳＴＰに相当し、その内側は複数の画素Ｐｊ（ｊ＝１、２、３、…）により分割されている。これにより、１つの円内で瞳の強度分布が得られる。また、図２０および図２１に示される撮像光学系３０１を用いると、図２４に示されるような視差画像が得られる。図２３（ａ）に示される画像において、各円（絞りＳＴＰ）内の複数の画素Ｐｊを並べて再構成することによっても、図２４に示すような複数の視差画像が得られる。

実施例１〜３で説明したように、ゴーストなどの不要光は、瞳内で偏りを持って瞳を通過する。このため、本実施例のように瞳を分割して撮像する撮像装置において実施例１〜３にて説明した画像処理方法を使用することにより、不要成分を決定することもできる。

また、別の例として、図２５に示されるような複数のカメラを用いて同一被写体を撮像する場合でも、視差画像が得られる。このため、このような複数のカメラにおいても、実施例１〜３にて説明した画像処理方法を用いることができる。Ｃ１、Ｃ２、Ｃ３は、実際には別々の撮像装置であるが、大きな瞳を３つに分割して撮像する一体の撮像装置と見なすことができる。また、図２６に示されるように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１、２、３、…）を設けることで瞳分割を行うことも可能である。

次に、本発明の実施例５について説明する。前述の各実施例では、画像全域において不要成分を決定し、または除去する場合について説明したが、図１に示されるように、多くの場合、不要成分は画像の一部にのみ生じる。画像中の不要成分領域は、ユーザが判定することが容易であるため、ユーザに低減処理を行う画像領域を指定させることにより、各実施例での処理負荷を低減させることができる。また、領域を限定することにより、前述の近距離被写体撮影の場合に生じる被写体視差成分の影響を低減することもできる。また、不要成分を合成することにより、１つのデータとして扱うことができるため、パラメータ処理などの重み係数をかけた不要成分除去量の調節を簡易に行うこともできる。

図２７は、本実施例における不要成分低減処理領域の選択例および不要成分低減処理量の選択例を示す図である。具体的には、ユーザは、タッチパネル（不図示）などの操作手段の操作により、図２７（ａ）に示されるように、不要成分除去処理前の出力画像内の不要成分領域を実線で囲まれた範囲のように指定する。

続いてユーザは、図２７に示される不要成分除去量調節インジケータ１０の範囲内で、除去量を指定する。本実施例では、不要成分除去量調節インジケータ１０の左端が不要成分にかける重み係数が０となり、図２７（ａ）に示されるような不要成分除去処理前の画像が生成される。また、不要成分除去量調節インジケータ１０の右端が不要成分にかける重み係数が１となり、図２７（ｃ）に示されるような不要成分が完全に除去された画像が生成される。さらに、不要成分除去量調節インジケータ１０の中間では、不要成分にかける重み係数は０から１の間となり、図２７（ｂ）に示されるような不要成分が重み係数分だけ除去された画像が生成される。本実施例では、不要成分にかける重み係数を最大で１としているが、さらに不要成分を除去する必要がある場合、１以上の重み係数をかけることで、検出された不要成分量以上に除去処理を実行することが可能である。このように領域を限定した場合にも、視差画像から実施例１〜３と同様の画像処理方法を用いて不要成分（ゴースト成分）を決定し、または除去することができる。

また、各実施例では、不要成分（第二不要成分、すなわちゴースト成分）を除去または低減する場合について説明したが、決定した不要成分（ゴースト成分）に関する情報を用いて、別の不要成分を付加（または強調）する補正処理を行うようにしてもよい。例えば、図２４に示される複数の視差画像のそれぞれについて、不要成分（ゴースト成分）が存在する画像と存在しない画像が生じる。再構成後の画像にも、不要成分（ゴースト成分）を残したい場合、決定した不要成分（ゴースト成分）を各視差画像に付加してもよい。また、再構成した画像に対して不要成分（ゴースト成分）を付加することもできる。

各実施例では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像回復処理を行って、その結果得られた画像を出力する。

このように各実施例において、画像処理装置（画像処理部２０４）は、第一不要成分決定手段（第一不要成分検出部２０４ａ）、および、画像生成手段（不要成分低減部２０４ｃ）を有する。また画像処理装置は、ボケ画像生成手段（ボケ付加処理部２０４ｄ）、マスク作成手段（マスク作成部２０４ｅ）、および、第二不要成分決定手段（第二不要成分検出部２０４ｆ）を有する。第一不要成分決定手段は、複数の視差画像の複数の相対差分情報に基づいて複数の視差画像のそれぞれの第一不要成分を決定する（Ｓ１０４、Ｓ２０４、Ｓ３０５）。画像生成手段は、複数の視差画像および第一不要成分に基づいて第一不要成分が低減された第一画像（第一不要成分除去画像）を生成する（Ｓ１０７、Ｓ２０５、Ｓ３０８）。ボケ画像生成手段は、第一画像にボケを付加してボケ画像を生成する（Ｓ１０８、Ｓ２０６、Ｓ３０９）。マスク作成手段は、ボケ画像および前記第一画像に基づいてマスクを作成する（Ｓ１０９、Ｓ２０７、Ｓ３１０）。第二不要成分決定手段は、第一不要成分およびマスクに基づいて第二不要成分を決定する（Ｓ１１０、Ｓ２０８、Ｓ３１２）。

好ましくは、撮像系（撮像光学系２０１、撮像素子２０２）および画像処理部２０４は、撮影により複数の視差画像を取得する（Ｓ１０１、Ｓ１０２、Ｓ２０２、Ｓ２０３、Ｓ３０１、Ｓ３０２）。また好ましくは、第一不要成分検出部２０４ａは、複数の視差画像のそれぞれを基準画像として設定し、複数の視差画像のうち基準画像を除く他の視差画像と基準画像との差分を算出して複数の相対差分情報を求める（Ｓ１０３、Ｓ２０３、Ｓ３０３）。

好ましくは、第一不要成分決定手段は、複数の視差画像のうち、不要成分を決定する対象となる視差画像を基準画像として得られた複数の相対差分情報を負の値（または、所定の第一閾値以下の値）を切り捨てた２次元データとして取得する。そして第一不要成分決定手段は、２次元データの各位置における複数の相対差分情報の間の最大値（または、所定の第二閾値以上の値）を抽出し、基準画像における第一不要成分の位置および量を決定する。

好ましくは、ボケ画像生成手段は、第一画像に対してぼかし効果を付与するフィルタを用いてボケ画像を生成する。より好ましくは、ボケ画像生成手段は、フィルタを用いたフィルタ処理によるぼかし量を、視差画像の撮影条件に基づいて決定する。また好ましくは、ボケ画像生成手段は、フィルタを用いたフィルタ処理によるぼかし量を、視差画像の被写体距離情報に基づいて決定する。より好ましくは、被写体距離情報は、複数の視差画像から算出される。

好ましくは、マスク作成手段は、ボケ画像から第一画像を減算して得られた差分情報に基づいてマスクを作成する。より好ましくは、マスク作成手段は、ボケを付加してマスクを補正する。

好ましくは、画像生成手段は、複数の視差画像の少なくとも一つから第二不要成分を低減した第二画像（出力画像）を生成する（Ｓ１１１、Ｓ２０９、Ｓ３１２）。そして第二不要成分決定手段は、第二不要成分として、第一不要成分およびマスクに基づいて複数の視差画像のそれぞれの不要成分を決定する。

好ましくは、画像生成手段は、複数の視差画像の合成値から第二不要成分を低減した第二画像（出力画像）を生成する（Ｓ１１１、Ｓ２０９、Ｓ３１２）。そして第二不要成分決定手段は、第二不要成分として、第一不要成分の合成値およびマスクに基づいて複数の視差画像の合成値に含まれる不要成分を決定する。より好ましくは、第一不要成分の合成値および複数の視差画像の合成値は、それぞれ、第一不要成分の平均値および複数の視差画像の平均値である。

好ましくは、画像処理部２０４は、第二不要成分の判定対象領域を選択する。そして第二不要成分決定手段は、選択された判定対象領域において第二不要成分を決定する。また好ましくは、複数の視差画像は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束に基づいて生成された複数の画像である。また好ましくは、画像処理部２０４は、第二不要成分に関する情報を用いて、複数の視差画像の少なくとも一つに別の不要成分を付加する補正処理を行う。

各実施例によれば、複数の撮像を行うことなく（１回の撮影を行うだけで）撮影画像に含まれる視差成分と不要成分（ゴースト成分）とを分離可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。また、視差成分と不要成分を分離する際には予め視差ずれを補正する必要もない。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０４ 画像処理部（画像処理装置）
２０４ａ 第一不要成分検出部（第一不要成分決定手段）
２０４ｃ 不要成分低減部（画像生成手段）
２０４ｄ ボケ付加処理部（ボケ画像生成手段）
２０４ｅ マスク作成部（マスク作成手段）

Claims (21)

1. 複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像の第一不要成分を決定するステップと、
   前記複数の視差画像および前記第一不要成分に基づいて該第一不要成分が低減された第一画像を生成するステップと、
   前記第一画像にボケを付加してボケ画像を生成するステップと、
   前記ボケ画像および前記第一画像に基づいてマスクを作成するステップと、
   前記第一不要成分および前記マスクに基づいて第二不要成分を決定するステップと、を有することを特徴とする画像処理方法。
2. 前記第一不要成分は、視差成分と、不要光が撮像面に到達したことにより生じた成分と、を含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記複数の相対差分情報は、前記複数の視差画像のそれぞれを基準画像として設定し、該複数の視差画像のうち該基準画像を除く他の視差画像のそれぞれと該基準画像との差分を算出することで求められる情報であることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記第二不要成分は、不要光が撮像面に到達したことにより生じる成分であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記第一不要成分を決定するステップにおいて、
   前記複数の視差画像のうち不要成分を決定する対象となる視差画像を基準画像として得られた複数の相対差分情報を負の値を切り捨てた２次元データとして取得し、
   前記２次元データの各位置において各相対差分情報の間の最大値を抽出し、前記基準画像における前記第一不要成分を決定する、ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記ボケ画像を生成するステップにおいて、前記第一画像に対してボケを付加するフィルタを用いて、前記ボケ画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記フィルタによるボケの付加量を、前記視差画像を撮像した際の撮影条件に基づいて決定することを特徴とする請求項６に記載の画像処理方法。
8. 前記フィルタによるボケの付加量を、前記視差画像における被写体の距離情報に基づいて決定することを特徴とする請求項６または７に記載の画像処理方法。
9. 前記マスクを作成するステップにおいて、前記ボケ画像から前記第一画像を減算して得られた差分情報に基づいて、前記マスクを作成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。
10. 前記マスクに対してボケを付加するステップをさらに有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理方法。
11. 前記第二不要成分を決定するステップにおいて、該第二不要成分として、前記第一不要成分および前記マスクに基づいて前記複数の視差画像の少なくとも一つにおける不要成分を決定し、
    前記少なくとも一つの視差画像から前記第二不要成分を低減するステップを更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。
12. 前記複数の視差画像を合成することで得られた合成画像から前記第二不要成分を低減するステップを更に有し、
    前記第二不要成分を決定するステップにおいて、該第二不要成分として、前記第一不要成分の合成値および前記マスクに基づいて前記合成画像に含まれる不要成分を決定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。
13. 前記第一不要成分の合成値は、前記複数の視差画像のそれぞれの第一不要成分を平均した値であることを特徴とする請求項１２に記載の画像処理方法。
14. 前記第二不要成分を決定するステップにおいて、前記複数の視差画像の少なくとも１つまたは前記複数の視差画像を合成することで得られた合成画像における一部の領域に対して該第二不要成分を決定することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理方法。
15. 前記複数の視差画像は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束に基づいて生成された複数の画像であることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理方法。
16. 前記第二不要成分に関する情報を用いて、前記複数の視差画像の少なくとも一つにゴースト成分を付加するステップを更に有することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理方法。
17. 複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像の第一不要成分を決定する第一不要成分決定手段と、
    前記複数の視差画像および前記第一不要成分に基づいて該第一不要成分が低減された第一画像を生成する画像生成手段と、
    前記第一画像にボケを付加してボケ画像を生成するボケ画像生成手段と、
    前記ボケ画像および前記第一画像に基づいてマスクを作成するマスク作成手段と、
    前記第一不要成分および前記マスクに基づいて第二不要成分を決定する第二不要成分決定手段と、を有することを特徴とする画像処理装置。
18. 光学像を光電変換して複数の視差画像を出力する撮像素子と、請求項１７に記載の画像処理装置を有することを特徴とする撮像装置。
19. 撮像光学系を更に有し、
    前記複数の視差画像は、前記撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束に基づいて生成された複数の画像であり、
    前記撮像素子は、一つのマイクロレンズを共有する複数の画素を有し、
    前記複数の画素は、前記撮像光学系の瞳のうち互いに異なる領域を通過した前記複数の光束を受光するように構成されていることを特徴とする請求項１８に記載の撮像装置。
20. 複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像の第一不要成分を決定するステップと、
    前記複数の視差画像および前記第一不要成分に基づいて該第一不要成分が低減された第一画像を生成するステップと、
    前記第一画像にボケを付加してボケ画像を生成するステップと、
    前記ボケ画像および前記第一画像に基づいてマスクを作成するステップと、
    前記第一不要成分および前記マスクに基づいて第二不要成分を決定するステップと、をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
21. 請求項２０に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。