JP6198664B2 - 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮影画像の画質を向上させる画像処理方法に関する。

カメラなどの撮像装置により撮像を行うと、撮像光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射し、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、ゴーストやフレアなどの不要成分として撮影画像中に現れる。また、軸上色収差や倍率色収差の補正のために回折光学素子を用いると、撮像画角外に存在する太陽などの高輝度物体からの光が回折光学素子に当たることで、画像全体に渡って不要光が不要成分として現れる場合がある。

特許文献１には、被写体に対して撮像光学系が合焦状態にあるときの画像（合焦画像）と撮像光学系が非合焦状態にあるときの画像（デフォーカス画像）との差分を示す差分画像からゴーストを検出する方法が開示されている。しかし、特許文献１の方法では、複数回の撮像が必要であり、動きのある被写体の静止画撮像や動画撮像には適さない。

特許文献２には、単眼立体撮像による複数の視点画像を比較することでゴーストを検出する方法が開示されている。特許文献２の方法では、１回の撮像で複数の視差画像を得られるため、動きのある被写体の静止画撮像や動画撮像にも対応可能である。

特開２００８−５４２０６号公報 特開２０１１−２０５５３１号公報

しかしながら、特許文献２の方法では、主画像と副画像の２画像間での差分を求めることによりゴーストを検出するため、３視点以上の視点画像の場合にゴースト検出効果が低減してしまう。また特許文献２では、ゴーストの検出前に視差による像ずれを補正する。ピントが合っている被写体については対応点抽出などで対応できるが、ボケている被写体領域に関しては対応点抽出だけでは不足であり、撮像装置から被写体までの画面全域での詳細な距離情報（距離マップ）を取得する必要がある。一方、視差ずれを補正せずにゴーストを検出しようとすると、ゴーストとともに視差成分も検出され、視差成分と不要成分（ゴースト成分とを分離することができない。

本発明は、複数の撮像を行うことなく撮影画像に含まれる視差成分と不要成分とを分離可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理方法は、複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像のそれぞれの複数の第一不要成分を決定するステップと、前記複数の第一不要成分に基づいて方向成分情報を決定するステップと、前記複数の第一不要成分および前記方向成分情報に基づいて第二不要成分を決定するステップとを有する。

本発明の他の側面としての画像処理装置は、複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像のそれぞれに関する複数の第一不要成分を決定する第一不要成分決定手段と、前記複数の第一不要成分に基づいて方向成分情報を決定する方向成分決定手段と、前記複数の第一不要成分および前記方向成分情報に基づいて第二不要成分を決定する第二不要成分決定手段とを有する。

本発明の他の側面としての撮像装置は、光学像を光電変換して複数の視差画像を出力する撮像素子と、前記画像処理装置とを有する。

本発明の他の側面としての画像処理プログラムは、複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像のそれぞれに関する複数の第一不要成分を決定するステップと、前記複数の第一不要成分に基づいて方向成分情報を決定するステップと、前記複数の第一不要成分および前記方向成分情報に基づいて第二不要成分を決定するステップと、をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、複数の撮像を行うことなく撮影画像に含まれる視差成分と不要成分とを分離可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。

各実施例の撮像系において、撮像素子の受光部と撮像光学系の瞳との関係図である。 各実施例における撮像系の模式図である。 各実施例における撮像系の瞳の模式図である。 各実施例における撮像装置のブロック図である。 実施例１における撮像光学系の構成および撮像光学系にて発生する不要光の説明図である。 実施例１における撮像光学系の絞りを透過する不要光の説明図である。 実施例１において、瞳分割を行わない撮像により生成された撮影画像を示す図である。 実施例１における視差画像を示す図である。 実施例１における画像処理方法の手順を示す図である。 実施例１における画像処理方法の手順を示す図である。 実施例１における画像処理方法の手順を示す図である。 実施例１における画像処理方法の手順を示す図である。 実施例１における画像処理方法による出力画像の一例を示す図である。 実施例１における画像処理方法を示すフローチャートである。 実施例１における画像処理方法の手順を示す図である。 実施例２における撮像素子の受光部を示す図である。 実施例２における撮像光学系の絞りを透過する不要光の説明図である。 実施例２における撮像素子の受光部を示す図である。 実施例２における画像処理方法の手順を示す図である。 実施例３における撮像系を示す図である。 実施例３における撮像系を示す図である。 実施例３における撮像系を示す図である。 従来の撮像素子を示す図である。 図２０の撮像系により得られた画像を示す図である。 図２１および図２２の撮像系により得られた画像を示す図である。 実施例３における撮像装置の例を示す図である。 実施例３における撮像装置の例を示す図である。 実施例４における不要成分の低減処理を行う領域の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

本実施例で用いられる複数の視差画像を生成可能な撮像装置は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束を撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。

図１は、本実施形態の撮像系における撮像素子の受光部と撮像光学系の瞳との関係を示す図である。図１において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは撮像光学系の射出瞳（瞳）であり、Ｐ１、Ｐ２は射出瞳ＥＸＰの領域である。Ｇ１、Ｇ２、Ｇ３、Ｇ４は画素（受光部）であり、画素Ｇ１〜Ｇ４で１組の画素（画素組）を構成する。撮像素子には、画素Ｇ１〜Ｇ４の画素組が複数配列されている。画素Ｇ３は画素Ｇ１の紙面の奥側に、画素Ｇ４は画素Ｇ２の紙面の奥側に、各画素が２次元的に配置されている。画素Ｇ１〜Ｇ４は、共通の（すなわち、画素組ごとに１つずつ設けられた）マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有する。本実施形態において、撮像素子に配列された複数の画素Ｇ１〜Ｇ４を、それぞれ、まとめて画素群Ｇ１〜Ｇ４という場合がある。

図２は、撮像している物点ＯＳＰと射出瞳ＥＸＰと撮像素子との結像関係を示している。画素Ｇ１は、射出瞳ＥＸＰのうち領域Ｐ１を通過した光束を受光する。画素Ｇ２は、射出瞳ＥＸＰのうち領域Ｐ２を通過した光束を受光する。また、領域Ｐ３は領域Ｐ１の紙面の奥側に、領域Ｐ４は領域Ｐ２の紙面の奥側に、２次元的に存在する。物点ＯＳＰには、必ずしも物体が存在している必要はない。物点ＯＳＰを通った光束は、その光束が通過する瞳（射出瞳ＥＸＰ）内での位置（本実施形態では領域Ｐ１〜Ｐ４）に応じて、画素Ｇ１〜Ｇ４のいずれかの画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられた画素Ｇ１〜Ｇ４のうち、画素Ｇ１〜Ｇ４からの出力信号を用いて生成された４つの画像は、互いに視差を有する複数の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割という場合がある。図３は、射出瞳ＥＸＰをマイクロレンズＭＬ側から見た図である。

また、図２および図３に示される射出瞳ＥＸＰの位置ずれなどにより、前述の共役関係が完全でなくなる場合や、例えば領域Ｐ１、Ｐ２が部分的に互いに重複（オーバーラップ）する場合でも、以下の各実施例において、得られた複数の画像を視差画像として扱う。

図４を参照して、本発明の実施例１における画像処理方法を実行する撮像装置について説明する。図４は、本実施例における撮像装置２００の構成を示すブロック図である。撮像光学系２０１は、絞り２０１ａおよびフォーカスレンズ２０１ｂを含み、不図示の被写体からの光を撮像素子２０２上に結像（集光）させる。撮像素子２０２は、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子により構成され、図１および図２を参照して説明した瞳内の互いに異なる領域を通過した光束を、各領域に対応する画素（受光部）にて受光する（瞳分割を行う）。このようにして、撮像素子２０２は、被写体像（光学像）を光電変換して複数の視差画像としての画像信号（アナログ電気信号）を出力する。Ａ／Ｄコンバータ２０３は、撮像素子２０２から出力されたアナログ電気信号をデジタル信号に変換し、デジタル信号を画像処理部２０４に出力する。

画像処理部２０４は、デジタル信号に対して、一般的に行われる画像処理を行うとともに、不要光の決定処理および不要光を低減または除去する補正処理を行う。本実施例において、画像処理部２０４は、撮像装置２００に搭載された画像処理装置に相当する。また画像処理部２０４は、第一不要成分検出部２０４ａ、方向成分生成部２０４ｂ、マスク作成部２０４ｃ、第二不要成分検出部２０４ｄ、および、不要成分低減部２０４ｅを有する。

第一不要成分検出部２０４ａ（第一不要成分決定手段）は、複数の視差画像を生成（取得）し、各視差画像から第一不要成分を検出（決定）する。方向成分生成部２０４ｂ（方向成分決定手段）は、検出された複数の第一不要成分同士を比較して、複数の第一不要成分における同一座標位置における共通輝度成分を抽出し、方向成分情報を決定する。ここで「共通輝度成分の抽出」とは、検出された複数の第一不要成分のうち任意の２つの第一不要成分について、同一座標位置の輝度値を比較した場合、輝度値が同一の部分のみを抽出する処理をいう。または、ある程度の誤差を許容して、輝度値を比較した際に±Ｘ％の輝度差であれば共通輝度成分であるというように所定の輝度差（閾値）をパラメータとして持ち、それに応じて共通輝度成分を抽出する処理をいう。マスク作成部２０４ｃ（マスク作成手段）は、方向成分に基づいてマスク（マスク画像）を作成する。第二不要成分検出部２０４ｄ（第二不要成分決定手段）は、第一不要成分およびマスクに基づいて各視差画像の第二不要成分を決定する。不要成分低減部２０４ｅ（不要成分低減手段）は、第二不要成分に基づいて不要成分（ゴースト成分）を各視差画像から低減させる。

画像処理部２０４で処理された出力画像（画像データ）は、半導体メモリや光ディスクなどの画像記録媒体２０９に保存される。また、画像処理部２０４からの出力画像を表示部２０５に表示することもできる。記憶部２０８は、画像処理部２０４による画像処理に必要な画像処理プログラムや各種情報などを記憶している。

システムコントローラ２１０（制御手段）は、撮像素子２０２の動作、画像処理部２０４での処理、および、撮像光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の制御を行う。撮像光学系制御部２０６は、システムコントローラ２１０からの制御指示に応じて、撮像光学系２０１の絞り２０１ａおよびフォーカスレンズ２０１ｂの機械的な駆動を行う。絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じて、その開口径が制御される。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整（フォーカス制御）を行うために、不図示のオートフォーカス（ＡＦ）システムやマニュアルフォーカス機構によってその位置が制御される。状態検知部２０７は、システムコントローラ２１０の制御指示に応じて、現在の撮影条件情報を取得する。なお本実施例において、撮像光学系２０１は、撮像素子２０２を備えた撮像装置２００の一部として（撮像装置２００と一体的に）構成されているが、これに限定されるものではない。一眼レフカメラのように、交換式の撮像光学系（交換レンズ）を撮像装置本体に着脱可能に構成された撮像システムであってもよい。

図５は、撮像光学系２０１の構成および撮像光学系２０１にて発生する不要光の説明図である。図５（ａ）は、撮像光学系２０１の具体的な構成例を示す。図５（ａ）において、ＳＴＰは絞り（絞り２０１ａに相当）、ＩＭＧは撮像面である。撮像面ＩＭＧの位置には、図４に示される撮像素子２０２が配置される。図５（ｂ）は、撮像光学系２０１に高輝度物体の例としての太陽ＳＵＮから強い光が入射し、撮像光学系２０１を構成するレンズの界面で反射した光が不要光（ゴーストやフレア）として撮像面ＩＭＧに到達する様子を示している。

図６は、絞りＳＴＰのうち、図２に示される画素Ｇ１〜Ｇ４に入射する光束が通過する領域Ｐ１〜Ｐ４（瞳領域または瞳分割領域）を示している。なお、絞りＳＴＰは、撮像光学系２０１の射出瞳ＥＸＰに相当するものとして考えることができるが、実際には絞りＳＴＰと射出瞳ＥＸＰは互いに異なることが多い。高輝度物体（太陽ＳＵＮ）からの光束は、絞りＳＴＰのほぼ全域を通過するが、画素Ｇ１〜Ｇ４に入射する光束が通過する領域は、領域Ｐ１〜Ｐ４（瞳領域）に分割される。

次に、図７乃至図１５を参照して、不要光が光電変換されることにより撮影画像中に現れる不要成分（ゴースト成分）の決定処理（画像処理）の手順について説明する。

図７は、瞳分割を行わない撮像により生成された撮影画像Ｉｍ０を示している。図７の撮影画像Ｉｍ０には、３つの被写体（被写体Ａ、被写体Ｂ、被写体Ｃ）、および、不図示の光源により発生したゴーストが写っている。また、図７の撮影画像Ｉｍ０は、被写体Ａにピントが合っており、被写体Ｂおよび被写体Ｃはボケている画像の例である。また、撮影画像中に白い四角部分として示されるゴーストは、不要成分である。なお図７において、不要成分（ゴースト）を白く塗りつぶして示されているが、実際には背景がある程度透けている。また不要成分は、撮影被写体に不要光がかぶった状態であるため、撮影被写体よりも高輝度化する部分である。このことは、後述する他の実施例においても同様である。

図８は、視差画像を示す図である。図８（ａ）〜（ｄ）は、それぞれ、領域Ｐ１、Ｐ２、Ｐ３、Ｐ４（瞳領域）を通過した光束を画素群Ｇ１、Ｇ２、Ｇ３、Ｇ４にて光電変換した結果として得られた視差画像Ｉｍ１〜Ｉｍ４の概念図を示している。視差画像Ｉｍ１〜Ｉｍ４には、近距離被写体の場合、画像成分に視差に対応する差（視差成分）が含まれている。図７に示されるような近距離被写体（被写体Ａ）にピントが合い、後方にある被写体Ｂおよび被写体Ｃがボケている場合、被写体Ｂおよび被写体Ｃに視差成分が含まれる。視差画像Ｉｍ３には、白い四角として模式的に示される不要成分（ゴースト）が含まれている。ここでは、不要成分（ゴースト）が互いにオーバーラップすることなく分離された状態の例を示しているが、不要成分が互いにオーバーラップして輝度差がある状態であってもよい。すなわち、白い四角の不要成分の位置や輝度が互いに異なる状態であればよい。

図９は、本実施例における画像処理方法の手順を示す図である。図９（ｅ）〜（ｐ）は、図９（ａ）〜（ｄ）に示される視差画像Ｉｍ１〜Ｉｍ４のそれぞれと基準画像との差分である画像（相対差分画像Ｉｍ１−２〜Ｉｍ４−３）を示している。例えば図９（ｅ）は、図９（ａ）の視差画像Ｉｍ１（基準画像）から図９（ｂ）の視差画像Ｉｍ２を差し引いた結果（相対差分画像Ｉｍ１−２）を示している。また図９（ｆ）は、図９（ｂ）の視差画像Ｉｍ２（基準画像）から図９（ａ）の視差画像Ｉｍ１を差し引いた結果（相対差分画像Ｉｍ２−１）を示している。図９（ｇ）〜（ｐ）も、同様の考え方に従って得られた結果である。差し引いた結果の画像（相対差分画像）には、視差画像が有する差分（相対差分情報）として、被写体の視差成分および前述の不要成分（ゴースト）が含まれている。また、前記差分計算により、不要成分が負の値として算出されることがあるが、後述の不要成分低減処理の簡易化のため、図９（ｅ）〜（ｐ）では、負の値を切り捨てている。そのため、図９（ｃ）の視差画像Ｉｍ３に含まれる不要成分（ゴースト）は、図９（ｇ）、（ｋ）、（ｏ）にのみ現れる。

図９（ｑ）、（ｒ）、（ｓ）、（ｔ）は、相対差分画像同士を比較して、輝度値が高い部分を集めてまとめた画像を示している。具体的には、図９（ｑ）は、図９（ｅ）、（ｉ）、（ｍ）の各相対差分画像の同一座標をそれぞれ比較し、最も大きい輝度値を抽出して生成された画像ＭＡＸ１である。図９（ｒ）は、図９（ｆ）、（ｊ）、（ｎ）の各相対差分画像の同一座標をそれぞれ比較し、最も大きい輝度値を抽出して生成された画像ＭＡＸ２である。図９（ｓ）、（ｔ）は、同様に、図９（ｇ）〜（ｐ）の各相対差分画像に基づいて生成された画像ＭＡＸ３、ＭＡＸ４である。このような画像処理により、視差画像Ｉｍ１〜Ｉｍ４から不要成分を残存させる（換言すると、視差画像から不要成分を分離または抽出する）ことができる。

ところで、図９（ｑ）〜（ｔ）の画像においては、不要成分（ゴースト）だけでなく視差成分も残存している（抽出されている）。そこで、図９（ｑ）〜（ｔ）の画像に残存している視差成分と不要成分（ゴースト）とを分離する必要がある。次に、図１０および図１１を参照して、視差成分と不要成分（ゴースト）とを分離する方法について説明する。図１０は、視差成分と不要成分とを分離する方法の説明図である。

図１０（ａ）、（ｂ）、（ｃ）、（ｄ）（図９（ｑ）、（ｒ）、（ｓ）、（ｔ）とそれぞれ同一の画像）は、前述の不要成分（ゴースト）と視差成分とが混在した画像である。図１０（ａ）〜（ｄ）をそれぞれ比較して共通輝度成分（共通輝度部分）を抽出する。ここで、共通輝度部分として、前述のように、輝度値が同一の部分のみを抽出してもよい。または、ある程度の誤差を許容し、輝度値を比較した際に±Ｘ％の輝度差であれば共通輝度部分であると判定するように、所定の輝度差（閾値）をパラメータとして備えていてもよい。例えば図１０（ｅ）は、図１０（ａ）、（ｂ）の画像ＭＡＸ１、ＭＡＸ２を比較して、これらの画像の共通輝度部分を抽出した結果（画像ＣＯＭ１）である。図１０（ｆ）は、図１０（ｃ）、（ｄ）の画像ＭＡＸ３、ＭＡＸ４を比較して、これらの画像の共通輝度部分を抽出した結果（画像ＣＯＭ２）である。図１０（ｇ）は、図１０（ｂ）、（ｄ）の画像ＭＡＸ２、ＭＡＸ４を比較して、これらの画像の共通輝度部分を抽出した結果（画像ＣＯＭ３）である。図１０（ｈ）は、図１０（ａ）、（ｃ）の画像ＭＡＸ１、ＭＡＸ３を比較して、共通輝度部分を抽出した結果（画像ＣＯＭ４）である。

図１０（ｉ）は、図１０（ｅ）〜（ｈ）の画像ＣＯＭ１〜ＣＯＭ４（方向成分画像）を加算して生成された画像ＣＯＭｔｏｔａｌである。図１０（ｉ）の画像ＣＯＭｔｏｔａｌにおいては、既に、不要成分（ゴースト）と視差成分とが分離されている。また本実施例のように瞳分割数が縦方向に２分割、横方向に２分割というように分割数が比較的少ない場合、斜め方向の視差成分が取り切れない場合がある。このような場合、図１０（ｉ）の画像ＣＯＭｔｏｔａｌから抽出された視差成分の領域を拡張する処理を加えることが好ましい。

図１１（ａ）は、図１０（ｉ）の画像ＣＯＭｔｏｔａｌにおいて視差成分が含まれる領域を拡張処理した画像でＣＯＭｔｏｔａｌ２である。本実施例の目的は、視差成分と不要成分（ゴースト）との混在画像（画像ＭＡＸ１〜ＭＡＸ４）から、視差成分と不要成分（ゴースト）とを分離することである。このため、視差成分または不要成分のいずれか一方を後述するマスク処理により消去できればよい。したがって、必ずしも厳密に視差成分の領域を抽出する必要はなく、大雑把な領域を特定するだけでもある程度の効果が得られる。また、視差成分が含まれる領域を拡張処理する際に、被写体までの距離情報を使用して、被写体距離に応じて拡張する度合いを変更するようにマスクを修正してもよい。これにより、ボケの大きさに応じて拡張量を変更することができるため、より精密に視差成分を分離することが可能となり、大きな効果が得られる。

図１１（ｂ）は、図１０（ａ）〜（ｄ）の画像ＭＡＸ１〜ＭＡＸ４（視差成分と不要成分（ゴースト）とが混在した画像）の合成画像（画像ＭＡＸ１〜ＭＡＸ４の平均を取った画像）から、図１１（ａ）の画像ＣＯＭｔｏｔａｌ２を減算して得られた画像である。すなわち図１１（ｂ）の画像は、図１１（ａ）の画像をマスク（マスク画像）として用いて、図１０（ａ）〜（ｄ）の画像ＭＡＸ１〜ＭＡＸ２の合成画像（平均化画像）から視差成分のみを差し引いて生成された画像ＭＡＸｔｏｔａｌ−ＣＯＭｔｏｔａｌ２である。図１１（ｂ）では、理解が容易になるように、不要成分（ゴースト）の輝度値は図１０（ｃ）と同様であるように描かれているが、実際には図１０（ａ）〜（ｄ）の平均値を算出しているため、その分だけ暗くなる。以上の手順を経ることにより、視差画像（図９（ａ）〜（ｄ））から視差成分と不要成分（ゴースト）とを分離することができる。

そして、出力すべき画像において、前述のようにして決定された不要成分（ゴースト）を除去または低減する補正処理を行う。これにより、図１２に示されるように、不要成分（ゴースト）が概ね無くなった（除去または低減された）各視差画像を得ることができる。図１２（ａ）〜（ｄ）は、図９（ａ）〜（ｄ）のそれぞれか不要成分が除去または低減された視差画像Ｉｍ１０〜Ｉｍ４０を示している。また、不要成分（ゴースト）を低減させた各視差画像を合成することにより、図１３に示されるように、不要成分（ゴースト）の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。

次に、図１４を参照して、本実施例における不要成分（ゴースト成分）の決定処理（画像処理）の手順について説明する。図１４は、本実施例における画像処理方法（不要成分の決定方法）を示すフローチャートである。図１４の各ステップは、主に、図４に示されるシステムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

まず、ステップＳ１１において、システムコントローラ２１０は、撮像光学系２０１および撮像素子２０２により構成される撮像部を制御して被写体の撮像を行う（撮影画像としての入力画像を取得する）。そしてステップＳ１２において、システムコントローラ２１０は、画像処理部２０４を制御し、撮像素子２０２（画素群Ｇ１〜Ｇ４）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を用いて、入力画像としての一対の視差画像を生成する。ここで、画像処理部２０４は視差画像の生成のため、通常の現像処理や各種の画像補正処理を実施してもよい。

続いてステップＳ１３において、画像処理部２０４の第一不要成分検出部２０４ａは、各視差画像の相対差分情報（相対差分画像）を求める。すなわち第一不要成分検出部２０４ａは、図９（ａ）〜（ｄ）の視差画像Ｉｍ１〜Ｉｍ４のそれぞれを基準画像として、図９（ｅ）〜（ｐ）の相対差分画像Ｉｍ１−２〜Ｉｍ４−３を生成する。撮像面に到達した不要光が撮像光学系２０１の瞳のうち互いに異なる瞳領域を通過する場合、図９（ａ）〜（ｄ）に示されるように、視差画像ごとに不要成分（ゴースト）の発生の有無や発生位置が異なる。そのため、単純な相対差分画像では、不要成分（ゴースト）の差分値は正および負の値をとる。例えば本実施例において、図９（ｇ）の相対差分画像Ｉｍ３−１を生成するために図９（ｃ）の視差画像Ｉｍ３から図９（ａ）の視差画像Ｉｍ１を差し引くと、図９（ｃ）の視差画像Ｉｍ３に含まれる不要成分は正の値となる。また、図９（ｐ）の相対差分画像Ｉｍ４−３を生成するために図９（ｄ）の視差画像Ｉｍ４から図９（ｃ）の視差画像Ｉｍ３を差し引くと、図９（ｃ）の視差画像Ｉｍ３に含まれる不要成分は負の値となる。

本実施例において、第一不要成分検出部２０４ａは、後述の不要成分低減処理の簡易化のため、前記負の値を切り捨てて０値とする処理を実施する。そのため、図９（ｇ）、（ｋ）、（ｏ）の相対差分画像Ｉｍ３−１、Ｉｍ３−２、Ｉｍ３−４には、図９（ｃ）の視差画像Ｉｍ３に含まれる不要成分が正の値として検出される。他の相対差分画像についても同様の処理を実施することにより、図９（ａ）〜（ｄ）の視差画像Ｉｍ１〜Ｉｍ４に含まれる不要成分（ゴースト）と視差成分のみが正の値として検出されることになる。

続いてステップＳ１４において、第一不要成分検出部２０４ａは、ステップＳ１３にて生成された相対差分画像中に残存する成分を第一不要成分として決定する。具体的には、第一不要成分検出部２０４ａは、図９（ａ）の視差画像Ｉｍ１を基準画像として得られた図９（ｅ）、（ｉ）、（ｍ）の相対差分画像Ｉｍ１−２、Ｉｍ１−３、Ｉｍ１−４をそれぞれ比較する。そして不要成分検出部２０４ａは、各画像の同一座標上での輝度の最大値を抽出して第一不要成分（画像ＭＡＸ１）を決定する。また第一不要成分検出部２０４ａは、図９（ｂ）〜（ｄ）の視差画像Ｉｍ２、Ｉｍ３、Ｉｍ４をそれぞれ基準画像として得られた相対差分画像についても同様の処理を行うと、図９（ｒ）〜（ｔ）の画像ＭＡＸ２〜ＭＡＸ４（第一不要成分）が得られる。

続いてステップＳ１５において、画像処理部２０４の方向成分生成部２０４ｂは、ステップＳ１４にて決定された第一不要成分同士（画像ＭＡＸ１〜ＭＡＸ４）をそれぞれ比較する。そして方向成分生成部２０４ｂは、各第一不要成分（各画像）の同一座標上における共通輝度成分を抽出して方向成分画像（例えば、図１０（ｅ）〜（ｈ）の画像ＣＯＭ１〜ＣＯＭ４）を生成する。このとき、同一の輝度値の成分のみを抽出してもよく、または、ある程度の誤差を許容して、輝度値を比較した際に±Ｘ％の輝度差であれば共通輝度部分（共通輝度成分）であると決定するように所定の閾値をパラメータとして備えていてもよい。このとき本実施例において、輝度差が±Ｘ％（０≦Ｘ≦５０）である場合に共通輝度成分と決定されるように、Ｘを設定することが好ましい。誤差の許容量をより小さくする場合、例えば０≦Ｘ≦３０となるようにＸを設定してもよい。

続いてステップＳ１６において、画像処理部２０４のマスク作成部２０４ｃは、ステップＳ１５にて生成された方向成分画像（方向成分情報）に基づいてマスク（マスク画像）を生成する。このとき、マスク作成部２０４ｃは、方向成分画像そのものをマスクとして使用することができ（例えば、図１０（ｉ）の画像ＣＯＭｔｏｔａｌ）、または、領域拡大などの処理を施してマスクを修正してもよい（例えば、図１１（ａ）の画像ＣＯＭｔｏｔａｌ２）。

続いてステップＳ１７において、画像処理部２０４の第二不要成分検出部２０４ｄは、第一不要成分およびマスクに基づいて第二不要成分を決定する。第二不要成分検出部２０４ｄは、例えば、第一不要成分（図１０（ａ）〜（ｄ）の画像ＭＡＸ１〜ＭＡＸ４の平均化画像）からマスク（図１１（ａ）の画像ＣＯＭｔｏｔａｌ２）を減算する。その結果、第二不要成分（図１１（ｂ）の画像ＭＡＸｔｏｔａｌ−ＣＯＭｔｏｔａｌ２）が生成される。これにより、視差成分と不要成分（ゴースト）とが混在した画像から視差成分のみを除去または低減することができる。

続いてステップＳ１８において、画像処理部２０４の不要成分低減部２０４ｅは、出力すべき画像から不要成分を低減または除去する補正処理を行う。不要成分低減部２０４ｅは、出力すべき画像として、例えば図１２（ａ）〜（ｄ）に示されるように、画素Ｇ１〜Ｇ４をそれぞれ１画素とすることで得られる複数の視差画像Ｉｍ１０〜Ｉｍ４０を生成する。ここで、ステップＳ１３にて負の値を切り捨てて０値とすることにより、各視差画像に含まれる不要成分（ゴースト）のみが正の値として検出される。このため、不要成分低減部２０４ｅは、単純に各視差画像からそれぞれの第二不要成分を差し引くことにより、不要成分（ゴースト成分）を除去または低減することができる。不要成分低減部２０４ｅは、例えば図１５（ａ）〜（ｄ）の視差画像Ｉｍ１〜Ｉｍ４から図１５（ｅ）〜（ｈ）の第二不要成分（画像ＭＡＸ１０〜ＭＡＸ４０）を差し引く。これにより、不要成分低減部２０４ｅは、不要成分（ゴースト成分）が除去または低減された、図１５（ｉ）から（ｌ）の視差画像Ｉｍ１０〜Ｉｍ４０を生成することができる。

最後にステップＳ１９において、システムコントローラ２１０は、図１５（ｉ）〜（ｌ）に示されるように不要成分（ゴースト成分）が除去または低減された視差画像Ｉｍ１０〜Ｉｍ４０を出力画像として出力する。そしてシステムコントローラ２１０は、これらの出力画像を、画像記録媒体２０９に保存し、または、表示部２０５に表示する。また、不要成分（ゴースト成分）を除去または低減した視差画像Ｉｍ１０〜Ｉｍ４０を合成し、図１３に示される不要成分が除去または低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を出力画像として出力することもできる。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく複数の相対差分画像から不要光により形成された不要成分（ゴースト成分）を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することができる。また、相対差分画像を生成する際に、負の値を切り捨てているため、単純な差分計算のみで決定した不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。

次に、本発明の実施例２について説明する。本実施例における撮像装置の基本構成は、図４を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。

図１６は、本実施例の撮像系における撮像素子２０２ａの受光部を示している。図１６において、ＭＬはマイクロレンズであり、Ｇ１１〜Ｇ５５は受光部（画素Ｇ１１〜Ｇ５５）であり、互いに組をなしている。撮像素子２０２ａには、画素Ｇ１１〜Ｇ５５の画素組が複数配列されている。この画素組は、共通の（すなわち画素組ごとに１つずつ設けられた）マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有する。なお本実施例において、撮像光学系の具体的な構成例も、図５を参照して説明した実施例１の撮像光学系２０１と同様であるため、その説明は省略する。

図１７は、絞りＳＴＰ（すなわち撮像光学系の射出瞳ＥＸＰ、ただし実際には絞りＳＴＰと射出瞳ＥＸＰは異なることが多い）のうち、図１６の画素Ｇ１１〜Ｇ５５に入射する光束が通過する領域Ｐ１１〜Ｐ５５（瞳領域）を示している。高輝度物体からの光束は、絞りＳＴＰのほぼ全域を通過するが、各画素に入射する光束が通過する領域は、瞳領域Ｐ１１〜Ｐ５５に分割される。

続いて、図１８および図１９を参照して、撮像装置により生成される撮影画像において、不要光が光電変換されることにより現れる不要成分（ゴースト成分）を決定する方法について説明する。図１８は、本実施例における撮像素子の受光部を示す図である。図１９は、本実施例における画像処理方法の手順を示す図である。

図１９（ａ）は、瞳分割を行わない撮像により生成された撮影画像Ｉｍ５１を示しており、図７の撮影画像Ｉｍ０と同様である。そして、画素群Ｇ１１〜Ｇ５５にて光電変換した結果として得られた一組の視差画像を用いて、相対差分画像を取得するなどの一連の手順についても、実施例１と同様の部分の説明は省略する。本実施例は、斜め方向の瞳分割数を増やしたことで、斜め方向の視差成分も分離できる点で、実施例１とは異なる。例えば、不要成分（ゴースト）が理想的に瞳分割領域の一部分だけを通過し、図１８の画素Ｇ４２に入射した場合を考える（黒い四角部分がゴースト）。

図１９（ｂ）、（ａ）は、画素Ｇ４２に対応する視差画像Ｉｍ４２と、その外側の画素Ｇ５１に対応する視差画像Ｉｍ５１の画像をそれぞれ示している。そして、図１４のフローチャートに示されるようなステップＳ１１〜Ｓ１６を経ることにより、図１９（ｃ）の画像ＣＯＭｔｏｔａｌ１０のようなマスクを作成することができる。このマスクに基づいて第二不要成分を決定し、視差画像から不要成分（ゴースト）を低減させると、図１９（ｄ）に示されるような不要成分を低減させた出力画像Ｉｍ００が得られる。

本実施例によれば、斜め方向（第一方向（縦方向）と第二方向（横方向）とは異なる第三方向）の視差成分についても分離することが可能となる。ただし、瞳分割数を多くしても、最も周辺部に関する情報を分離することはできない。これは、最も周辺部の瞳位置からしか見えない視差情報が含まれているためであり、いずれの瞳分割位置基準で得られた第一不要成分画像と比較しても、共通輝度成分が存在しないからである。

そこで、これを回避するためには、第二不要成分を決定するための画素領域を、出力画像を生成するための画素領域よりも広く設定することが好ましい。例えば図１８に示されるように、撮影に利用する画素（出力画像を生成するための画素領域）は、中心の３×３の領域とする。一方、最も周辺部における不要成分（ゴースト）を低減させるため、撮影に利用する画素よりも更に周辺の画素部分を設ける。例えば、不要成分（ゴースト）を低減させるための画素領域（第一不要成分または第二不要成分を決定するための画素領域）は、５×５の領域とする。

次に、本発明の実施例３について説明する。Ｒｅｎ．Ｎｇ等の「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」（Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２）において、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」が提案されている。「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」において「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」という手法を用いることで、物体側からの光線の位置と角度の情報を取り込むことができる。

図２０は、本実施例における撮像装置の撮像系を示す図であり、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」の撮像系の構成を示している。撮像光学系３０１は、主レンズ（撮影レンズ）３０１ｂと開口絞り３０１ａとを備えて構成される。撮像光学系３０１の結像位置には、マイクロレンズアレイ３０１ｃが配置されており、さらにその後方（像側）に撮像素子３０２が配置されている。マイクロレンズアレイ３０１ｃは、例えば点Ａのような被写体空間のある一点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子３０２上で混ざらないようにセパレータ（分離手段）としての機能を有する。図２０から分かるように、点Ａからの上線、主光線および下線は、それぞれ異なる画素によって受光される。このため、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。

また、Ｔｏｄｏｒ Ｇｅｏｒｇｉｖｅ等による「Ｆｕｌｌ Ｒｅｓｏｌｕｔｉｏｎ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ」（Ａｄｏｂｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｊａｎｕａｒｙ ２００８）が知られている。この文献では、光線の位置と角度の情報（Ｌｉｇｈｔ Ｆｉｅｌｄ）を取得する方法として、図２１および図２２に示される撮像系を提案している。

図２１に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも後方（像側）に配置し、点Ａを通る光線群を撮像素子３０２上に再結像させることで、光線群を光線の角度ごとに分離して取得することができる。また、図２２に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも前方（物体側）に配置し、点Ａを通る光線群を撮像素子３０２上に結像させることで、光線群を光線の角度ごとに分離して取得することができる。いずれの構成も、撮像光学系３０１の瞳を通過する光束を瞳内での通過領域（通過位置）に応じて分割する点は同じである。そして、これらの構成では、撮像素子３０２は、図２３に示されるように、１つのマイクロレンズＭＬと１つの受光部Ｇ１とカラーフィルタＣＦを介して対になっている従来の撮像素子を用いることができる。

図２０に示される撮像光学系３０１を用いると、図２４（ａ）に示されるような画像が得られる。図２４（ｂ）は、図２４（ａ）中に多数並んだ円のうち１つを拡大して示している。１つの円は絞りＳＴＰに相当し、その内側は複数の画素Ｐｊ（ｊ＝１、２、３、…）により分割されている。これにより、１つの円内で瞳の強度分布が得られる。また、図２１および図２２に示される撮像光学系３０１を用いると、図２５に示されるような視差画像が得られる。図２４（ａ）に示される画像において、各円（絞りＳＴＰ）内の複数の画素Ｐｊを並べて再構成することによっても、図２５に示すような複数の視差画像が得られる。

実施例１、２で説明したように、ゴーストなどの不要光は、瞳内で偏りを持って瞳を通過する。このため、本実施例のように瞳を分割して撮像する撮像装置において実施例１、２にて説明した画像処理方法を使用することにより、不要成分を決定することもできる。

また、別の例として、図２６に示されるような複数のカメラを用いて同一被写体を撮像する場合でも、視差画像が得られる。このため、このような複数のカメラにおいても、実施例１、２にて説明した画像処理方法を用いることができる。Ｃ１、Ｃ２、Ｃ３は、実際には別々の撮像装置であるが、大きな瞳を３つに分割して撮像する一体の撮像装置と見なすことができる。また、図２７に示されるように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１、２、３、…）を設けることで瞳分割を行うことも可能である。

次に、本発明の実施例４について説明する。前述の各実施例では、画像全域において不要成分（ゴースト成分）を決定し、または除去する場合について説明したが、図７に示されるように、多くの場合、不要成分は画像の一部にのみ生じる。画像中の不要成分領域は、ユーザが判定することが容易であるため、ユーザに低減処理を行う画像領域を指定させることにより、各実施例での処理負荷を低減させることができる。また、領域を限定することにより、前述の近距離被写体撮影の場合に生じる被写体視差成分の影響を低減することもできる。

図２８は、不要成分の低減処理を行う領域の説明図である。図２８（ａ）は、画像中でユーザが不要成分（ゴースト）を除去しようとする領域（画像領域）を選択した場合の画像を示している。図２８（ｂ）は、実線の画像領域（選択領域）内の不要成分（ゴースト）を低減処理した出力画像を示している。このように不要成分を除去する画像領域を一部の画像領域に限定した場合でも、実施例１、２と同様の画像処理方法を用いて、視差画像から不要成分（ゴースト）を決定または除去することができる。

また、各実施例では、第二不要成分（ゴースト成分）を除去または低減する場合について説明したが、決定した不要成分（ゴースト成分）に関する情報を用いて、別の不要成分（第三不要成分）を付加（または強調）する補正処理を行うようにしてもよい。例えば、図２５に示される複数の視差画像のそれぞれについて、不要成分（ゴースト成分）が存在する画像と存在しない画像が生じる。再構成後の画像にも、不要成分（ゴースト成分）を残したい場合、決定した不要成分（ゴースト成分）を各視差画像に付加してもよい。また、再構成した画像に対して不要成分（ゴースト成分）を付加することもできる。

各実施例では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像回復処理を行って、その結果得られた画像を出力する。

このように各実施例において、画像処理装置（画像処理部２０４）は、第一不要成分決定手段（第一不要成分検出部２０４ａ）および方向成分決定手段（方向成分生成部２０４ｂ）を有する。また画像処理装置は、マスク作成手段（マスク作成部２０４ｃ）および第二不要成分決定手段（第二不要成分検出部２０４ｄ）を有する。第一不要成分決定手段は、複数の視差画像の相対差分情報に基づいて複数の視差画像のそれぞれに関する複数の第一不要成分を決定する（ステップＳ１４）。方向成分決定手段は、複数の第一不要成分に基づいて方向成分情報（方向成分画像）を決定する（ステップＳ１５）。マスク作成手段は、方向成分情報に基づいてマスク（マスク画像）を作成する（ステップＳ１６）。第二不要成分決定手段は、複数の第一不要成分およびマスクに基づいて第二不要成分を決定する（ステップＳ１７）。

好ましくは、方向成分情報は、複数の第一不要成分における同一座標位置での輝度成分を比較して決定される。より好ましくは、方向成分情報は、同一座標位置での輝度成分が共通輝度成分であるか否かに基づいて決定される。また好ましくは、同一座標位置での輝度成分の輝度差が所定の輝度差の範囲内である場合、輝度成分は共通輝度成分であると決定される。より好ましくは、所定の輝度差は、±Ｘ％（０≦Ｘ≦５０）である。

好ましくは、画像処理部は、１回の撮像動作により複数の視差画像を生成する（ステップＳ１２）。また好ましくは、画像処理部は、複数の視差画像のそれぞれを基準画像として設定し、複数の視差画像のうち基準画像を除く他の視差画像と基準画像との差分を算出して複数の相対差分情報を求める（ステップＳ１３）。

好ましくは、第一不要成分決定手段は、複数の視差画像のうち、前記第一不要成分を決定する対象となる視差画像を基準画像として得られた前記複数の相対差分情報を負の値を切り捨てた２次元データとして取得する。そして第一不要成分決定手段は、２次元データの各位置における複数の相対差分情報の間の最大値を抽出し、基準画像における第一不要成分の位置および量を決定する。

好ましくは、画像処理部は、不要成分低減手段（不要成分低減部２０４ｅ）を有する。不要成分低減手段は、複数の視差画像から複数の視差画像に対応する第二不要成分を減算して出力画像を生成する（ステップＳ１９）。より好ましくは、第二不要成分を決定するための画素領域は、出力画像を生成するための画素領域よりも広い。

好ましくは、画像処理部は、第二不要成分の判定対象領域を選択する。そして第二不要成分決定手段は、選択された判定対象領域において第二不要成分を決定する。また好ましくは、複数の視差画像は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束に基づいて生成された複数の画像である。また好ましくは、画像処理部は、第二不要成分に関する情報を用いて、複数の視差画像の少なくとも一つに第三不要成分を付加する補正処理を行う。また好ましくは、マスク作成手段は、被写体距離に応じてマスクを修正する。

好ましくは、方向成分情報は、第一方向（縦方向）および第一方向とは異なる第二方向（横方向）における視差情報（または、視差情報に対応する情報）を含む。より好ましくは、方向成分情報は、第一方向と第二方向のいずれとも異なる第三方向（斜め方向）における視差情報（または、視差情報に対応する情報）を更に含む。

各実施例によれば、複数の撮像を行うことなく（１回の撮像動作で）撮影画像に含まれる視差成分と不要成分とを分離可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０４ 画像処理部（画像処理装置）
２０４ａ 第一不要成分検出部（第一不要成分決定手段）
２０４ｂ 方向成分生成部（方向成分決定手段）
２０４ｃ マスク作成部（マスク作成手段）
２０４ｄ 第二不要成分検出部（第二不要成分決定手段）

Claims (20)

1. 複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像のそれぞれの複数の第一不要成分を決定するステップと、
   前記複数の第一不要成分に基づいて方向成分情報を決定するステップと、
   前記複数の第一不要成分および前記方向成分情報に基づいて第二不要成分を決定するステップと、を有することを特徴とする画像処理方法。
2. 前記複数の視差画像のそれぞれに関する前記第１の不要成分は、視差に関する成分と、不要光が撮像面に到達したことにより生じる成分と、を含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記複数の視差画像の相対差分情報は、前記複数の視差画像のそれぞれを基準画像として設定し、該複数の視差画像のうち該基準画像を除く他の視差画像のそれぞれと該基準画像との差分を算出することで求められる情報であることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記方向成分情報は、前記複数の視差画像における少なくとも２つの視差画像間の視差情報であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記方向成分情報は、互いに異なる２つの方向における視差情報を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記方向成分情報は、互いに異なる３つの方向おける視差情報を更に含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記第二不要成分は、不要光が撮像面に到達したことにより生じる成分であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。
8. 前記方向成分情報は、前記複数の第一不要成分における同一座標位置での輝度成分を比較して決定されることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
9. 前記方向成分情報は、前記同一座標位置での前記輝度成分が共通輝度成分であるか否かに基づいて決定されることを特徴とする請求項８に記載の画像処理方法。
10. 前記同一座標位置での前記輝度成分の差が所定の輝度差の範囲内である場合、該輝度成分は前記共通輝度成分であると決定されることを特徴とする請求項９に記載の画像処理方法。
11. 前記複数の第一不要成分を決定するステップにおいて、
    前記複数の視差画像のうち前記第一不要成分を決定する対象となる視差画像を基準画像として得られた前記複数の相対差分情報を負の値を切り捨てた２次元データとして取得し、
    前記２次元データの各位置において各相対差分情報の間の最大値を抽出し、前記基準画像における前記第一不要成分を決定する、ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。
12. 前記複数の視差画像から該複数の視差画像に対応する前記第二不要成分を減算して出力画像を生成するステップを更に有することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理方法。
13. 前記第二不要成分を決定する画素領域は、前記出力画像を生成するための画素領域よりも広いことを特徴とする請求項１２に記載の画像処理方法。
14. 前記第二不要成分を決定するステップにおいて、前記複数の視差画像の少なくとも１つまたは前記複数の視差画像を合成することで得られた合成画像における一部の領域に対して該第二不要成分を決定することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理方法。
15. 前記複数の視差画像は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束に基づいて生成された複数の画像であることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理方法。
16. 前記第二不要成分に関する情報を用いて、前記複数の視差画像の少なくとも一つにゴースト成分を付加する補正処理を行うステップを更に有することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理方法。
17. 複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像のそれぞれに関する複数の第一不要成分を決定する第一不要成分決定手段と、
    前記複数の第一不要成分に基づいて方向成分情報を決定する方向成分決定手段と、
    前記複数の第一不要成分および前記方向成分情報に基づいて第二不要成分を決定する第二不要成分決定手段と、を有することを特徴とする画像処理装置。
18. 光学像を光電変換して複数の視差画像を出力する撮像素子と、請求項１７に記載の画像処理装置と、を有することを特徴とする撮像装置。
19. 複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像のそれぞれに関する複数の第一不要成分を決定するステップと、
    前記複数の第一不要成分に基づいて方向成分情報を決定するステップと、
    前記複数の第一不要成分および前記方向成分情報に基づいて第二不要成分を決定するステップと、をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
20. 請求項１９に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。