JP6253380B2 - 画像処理方法、画像処理装置および撮像装置 - Google Patents

Description

本発明は、撮影画像の画質を向上させるための画像処理技術に関する。

カメラ等の撮像装置により撮像を行うと、撮像光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射して、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、密度の高いスポット像を形成したり被写体像の広範囲に被ったりしてゴーストやフレアとなり、これらゴーストやフレアは不要成分として撮影画像中に現れる。

また、望遠レンズにおいて、軸上色収差や倍率色収差の補正のために最も物体側のレンズに回折光学素子を用いると、撮像画角外に存在する太陽等の高強度物体からの光が回折光学素子に当たることで、画像全体にぼんやりとした不要光が現れる場合がある。この場合の不要光も、不要成分として撮影画像中に現れる。

そして、不要光を光学的に低減したり、不要成分をデジタル画像処理によって除去したりする方法が従来提案されている。後者の方法として、特許文献１には、被写体に対して撮像光学系が合焦状態にあるときの画像（合焦画像）と撮像光学系が非合焦状態にあるときの画像（デフォーカス画像）との差分を示す差分画像からゴーストを検出する方法が開示されている。また、後者の別の方法として、特許文献２には、単眼立体撮像による複数の視点画像を比較することでゴーストを検出する方法が開示されている。

特開２００８−５４２０６号公報 特開２０１１−２０５５３１号公報

しかしながら、特許文献１にて開示された方法では、合焦状態と非合焦状態のそれぞれでの撮像、すなわち複数回の撮像が必要であり、動きのある被写体の静止画撮像や動画撮像には適さない。

一方、特許文献２にて開示された方法では、単眼立体撮像によって１回の撮像で複数の視差画像を得られるため、動きのある被写体の静止画撮像や動画撮像にも対応することは可能である。しかしながら、特許文献２にて開示された方法では、ゴーストを検出するための視点画像の比較方法として、主画像と副画像の２画像間での差分をとるのみであり、３視点以上の視点画像がある場合にゴースト検出効果が低減してしまう。

本発明は、複数回の撮像を行うことなく、複数（特に３視点以上）の視差画像に含まれる不要成分を精度良く検出できるようにした画像処理方法、画像処理装置および撮像装置を提供する。

本発明の一側面としての画像処理方法は、被写体を撮像することにより生成された互いに視差を有する複数の視差画像を取得し、該複数の視差画像のそれぞれを基準画像として、該基準画像と他の１つ以上の視差画像との差分である相対差分情報を求め、相対差分情報を用いて各視差画像に含まれる不要成分を検出することを特徴とする。

また、本発明の他の一側面としての画像処理装置は、被写体を撮像することにより生成された互いに視差を有する複数の視差画像を取得する画像取得部と、該複数の視差画像のそれぞれを基準画像として、該基準画像と他の１つ以上の視差画像との差分である相対差分情報を求め、相対差分情報を用いて各視差画像に含まれる不要成分を検出する不要成分検出部とを有することを特徴とする。

なお、被写体を撮像することにより互いに視差を有する複数の視差画像を生成する撮像系と、上記画像処理装置とを有する撮像装置を本発明の他の一側面を構成する。

さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに画像処理を実行させるコンピュータプログラムである。該画像処理は、被写体を撮像することにより生成された互いに視差を有する複数の視差画像を取得し、該複数の視差画像のそれぞれを基準画像として、該基準画像と他の１つ以上の前記視差画像との差分である相対差分情報を求め、相対差分情報を用いて各視差画像に含まれる不要成分を検出することを特徴とする。

本発明によれば、複数回の撮像を行うことなく複数（特に３視点以上）の視差画像に含まれる不要成分を精度良く検出することができる。したがって、不要成分を含む視差画像から該不要成分を十分に低減させることができ、この結果、高品位の出力画像としての視差画像が得られる。

本発明の実施例１である画像処理方法の手順を示す図。 本発明の実施例１である画像処理方法の出力画像の一例を示す図。 実施例１の画像処理方法を用いる撮像装置における撮像素子の受光部と撮像光学系の瞳との関係を示す図。 実施例１の撮像装置の構成を示すブロック図。 撮像光学系とそこに発生する不要光を説明する図。 実施例１の画像処理方法の手順を示すフローチャート。 本発明の実施例２である画像処理方法を用いる撮像装置における撮像素子の受光部と撮像光学系の絞りを透過する不要光を説明する図。 実施例２の画像処理方法の手順を示す図。 実施例２の画像処理方法の手順を示す図。 実施例２の画像処理方法の手順を示すフローチャート。 本発明の実施例３である画像処理方法の手順を示す図。 実施例３の画像処理方法の手順を示す図。 実施例３の画像処理方法の手順を示すフローチャート。 本発明の実施例４である撮像装置の撮像系を示す図。 実施例４である別の撮像装置の撮像系を示す図。 従来タイプの撮像素子を示す図。 図１４（ａ）に示した撮像系により得られた画像を示す図。 図１４（ｂ）および図１５に示した撮像系により得られた画像を示す図。 実施例４としての他の撮像および撮像装置の例を示す図。 本発明の実施例５における不要成分低減処理領域の選択例を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

本発明の各実施例で用いる複数の視差画像を生成可能な撮像装置は、撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。

図３（ａ）には、撮像系における撮像素子の受光部と撮像光学系の瞳との関係を示す。図３（ａ）において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは撮像光学系の射出瞳を示している。Ｇ１およびＧ２は受光部（以下それぞれ、Ｇ１画素およびＧ２画素という）であり、１つのＧ１画素と１つのＧ２画素とが互いに対をなしている。撮像素子には、Ｇ１画素とＧ２画素の対（画素対または画素組）が複数配列されている。対のＧ１画素とＧ２画素は、共通の（つまりは画素組ごとに１つずつ設けられた）マイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。撮像素子に配列された複数のＧ１画素をまとめてＧ１画素群ともいい、同様に撮像素子に配列された複数のＧ２画素をまとめてＧ２画素群ともいう。

図３（ｂ）には、図３（ａ）に示したマイクロレンズＭＬの代わりに、射出瞳ＥＸＰの位置に薄肉レンズがあると仮定した場合の撮像系を模式的に示している。Ｇ１画素は射出瞳ＥＸＰのうちＰ１領域を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうちＰ２領域を通過した光束を受光する。ＯＳＰは撮像している物点である。物点ＯＳＰには必ずしも物体が存在している必要は無く、この点を通った光束はそれが通過する瞳内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられたＧ１およびＧ２画素のうち、Ｇ１画素からの出力信号を用いて生成された画像とＧ２画素からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割ともいう。

また、図３（ａ），（ｂ）において、射出瞳ＥＸＰの位置がずれる等して、上述した共役関係が完全ではなくなったりＰ１領域とＰ２領域とが部分的にオーバーラップしたりしても、得られた複数の画像を各実施例では視差画像として扱う。

図４には、本発明の実施例１である画像処理方法を使用する撮像装置の基本構成を示している。絞り２０１ａおよびフォーカスレンズ２０１ｂを含む撮像光学系２０１は、不図示の被写体からの光を撮像素子２０２上に結像させる。ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成される撮像素子２０２は、図３（ａ），（ｂ）にて説明した瞳内の互いに異なる領域を通過した光束を、各領域に対応する画素（受光部）にて受光する、瞳分割を行う。

撮像素子２０２での光電変換により生成されたアナログ電気信号は、Ａ／Ｄコンバータ２０３でデジタル信号に変換されて画像処理部２０４に入力される。画像処理部２０４は、デジタル信号に対して一般に行われる画像処理を行うことにより画像（本実施例では互いに視差を有する複数の視差画像）を生成する。画像処理部２０４は、撮像装置に搭載された画像処理装置に相当する。画像処理部２０４は、視差画像を取得する画像取得部として機能する。また、画像処理部２０４は、各視差画像のうち後述する不要光により生じた不要な画像成分（以下、不要成分という）を検出する不要成分検出部２０４ａと、検出された不要成分を各視差画像から低減する補正処理を行う不要成分低減部２０４ｂとを有する。

画像処理部２０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録媒体２０９に保存される。また、出力画像を、表示部２０５に表示してもよい。

撮像素子２０２の動作、画像処理部２０４での処理および撮像光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の制御はシステムコントローラ２１０が行う。撮像光学系２０１における絞り２０１ａおよびフォーカスレンズ２０１ｂの機械的な駆動は、システムコントローラ２１０からの制御指示に応じて撮像光学系制御部２０６が行う。絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じてその開口径が制御される。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）システムやマニュアルフォーカス機構によってその位置が制御される。状態検知部２０７は、システムコントローラ２１０からの指示に応じて、その時点（現在）での撮像光学系の状態（フォーカスレンズ２０１ｂの位置、絞り値およびズームが可能な場合の焦点距離等）を示す情報である撮像条件情報を取得する。なお、撮像光学系２０１は、図４では撮像装置の一部として構成されているが、一眼レフカメラのように交換式の撮像光学系であってもよい。

図５（ａ）には、撮像光学系２０１の具体的な構成例を示す。ＳＴＰは絞りである。ＩＭＧは撮像面を示しており、この位置には図４に示した撮像素子２０２が配置される。図５（ｂ）には、撮像光学系に高輝度物体の例としての太陽ＳＵＮからの強い光が入射し、撮像光学系を構成するレンズの界面で反射した光が不要光（ゴーストやフレア）として撮像面ＩＭＧに到達する様子を示している。

また、図５（ｃ）には、絞りＳＴＰ（または撮像光学系の射出瞳）のうち、図３に示したＧ１画素とＧ２画素に入射する光束が通過する領域（以下、瞳領域という）Ｐ１，Ｐ２を示している。高輝度物体からの光束は絞りＳＴＰのほぼ全域を通過するが、Ｇ１画素とＧ２画素に入射する光束が通過する領域は、瞳領域Ｐ１，Ｐ２に分けられる。

このような撮像装置による撮像により生成される撮影画像において、上記不要光が光電変換されることで現れる不要成分を検出する方法について、図１および図２（ａ），（ｂ）を用いて説明する。

図２（ａ）は、瞳分割を行わない撮像により生成された撮影画像を示す。この撮影画像には、ビル等の建物とその周辺に存在する樹木とが被写体として映っている。また、撮影画像中に黒い四角部分として示すＧＳＴは、不要光（ゴーストやフレア）の画像成分である不要成分である。なお、図２中には不要成分ＧＳＴを黒く塗りつぶして示しているが、実際には、被写体がある程度透けている。また、不要成分は撮像される被写体像に不要光が被った状態であるため、被写体像よりも高輝度化する部分である。このことは、後述する他の実施例を示す図でも同じである。

図１（Ａ−１）および図１（Ｂ−１）はそれぞれ、瞳領域Ｐ１，Ｐ２を通過した光束をＧ１，Ｇ２画素群にて光電変換した結果として得られた一対の視差画像を示す。近距離被写体を撮像して得られた一対の視差画像中の被写体画像成分には、視差に対応した差（以下、被写体視差成分という）が明確に存在する。しかし、これらの図１（Ａ−１）および図１（Ｂ−１）に示すような風景等の遠距離被写体を撮像して得られた一対の視差画像内の被写体視差成分は非常に微少量となる。また、一対の視差画像にも黒い四角として模式的に示す不要成分ＧＳＴが含まれているが、その位置は視差画像間で異なる。ここでは、不要成分ＧＳＴが互いにオーバーラップすることなく分離された状態の例を示しているが、オーバーラップしていて輝度差がある状態でもよい。すなわち、黒い四角の不要成分の位置や輝度が互いに異なった状態であればよい。

図１（Ａ−２）は、図１（Ａ−１）および図１（Ｂ−１）に示した一対の視差画像のうち図１（Ａ−１）に示した画像を基準画像とし、その基準画像から図１（Ｂ−１）の画像（減算画像）を差し引いて得られた画像を示す。この基準画像と減算画像との差分を示す画像（以下、相対差分画像という）には、一対の視差画像が有する差分の２次元データ（以下、相対差分情報という）として上述した被写体視差成分と不要成分とが含まれている。しかし、前述したように風景等の遠距離被写体を撮像して得られた一対の視差画像間の被写体視差成分は非常に微少量であるため、その影響をほぼ無視することができる。さらに、図１（Ａ−１）の基準画像から図１（Ｂ−１）の減算画像を差し引く差分計算を行うことで図１（Ｂ−１）に含まれる不要成分が負値として算出される。しかし、本実施例では、後段で行われる不要成分低減処理を簡易化するために、図１（Ａ−２）では負値を切り捨てている（すなわち、負値を０値として扱う）。このため、図１（Ａ−２）の相対差分画像は、図１（Ａ−１）の基準画像に含まれる不要成分のみを示していることとなる。

同様に、図１（Ｂ−２）は、図１（Ｂ−１）に示した画像を基準画像とし、その基準画像から図１（Ａ−１）の減算画像を差し引いて得られた２次元データである相対差分情報を示す画像を示す。図１（Ａ−２）の画像と同様に、上記差分計算によって図１（Ａ−１）に含まれる不要成分が負値として算出されるが、不要成分低減処理を簡易化するために、図１（Ｂ−２）では負値を切り捨てている。このため、図１（Ｂ−２）の相対差分画像は、図１（Ｂ−１）に含まれる不要成分のみを示していることとなる。このように、一対の視差画像のうち一方の画像（基準画像）から他方の画像（減算画像）を差し引くことによって得られる相対差分画像に不要成分のみを残存させる（言い換えれば、分離する又は抽出する）処理を行うことで、不要成分を検出することができる。

そして、上記のように検出された図１（Ａ−２）および図１（Ｂ−２）の不要成分を除去減する補正処理を、図１（Ａ−１）および図１（Ｂ−１）の元の視差画像に対して行う。これにより、図１（Ａ−３）および図１（Ｂ−３）に示すように不要成分が低減された（ほぼ除去された）一対の出力画像としての視差画像を得ることができる。さらに、これら不要成分が低減された一対の視差画像を合成することで、図２（ｂ）に示すように、瞳分割を行わない撮像により生成された撮影画像と同等であり、かつ不要成分をほとんど含まない画像を生成することができる。

図６のフローチャートには、上述した不要成分の検出処理（画像処理）の手順を示している。この処理は、それぞれコンピュータであるシステムコントローラ２１０および画像処理部２０４（不要成分検出部２０４ａおよび不要成分低減部２０４ｂ）が、コンピュータプログラムとしての画像処理プログラムに従って実行する。

ステップＳ１１では、システムコントローラ２１０は、撮像光学系２０１および撮像素子２０２により構成される撮像部を制御して被写体の撮像を行う。

次に、ステップＳ１２では、システムコントローラ２１０は、画像処理部２０４に、撮像素子２０２（Ｇ１画素群およびＧ２画素群）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を用いて入力画像としての一対の視差画像を生成させる。ここで、画像処理部２０４では視差画像生成のために、通常の現像処理や各種の画像補正処理を実施してもよい。

次に、ステップＳ１３では、不要成分検出部２０４ａは、一対の視差画像の相対差分情報を求める。すなわち、図１（Ａ−１）を基準画像とし、図１（Ｂ−１）を減算画像としたときの相対差分画像（図１（Ａ−２））と、図１（Ｂ−１）を基準画像とし、図１（Ａ−１）を減算画像としたときの相対差分画像（図１（Ｂ−２））とを生成する。撮像面に到達した不要光が撮像光学系の異なる瞳領域を通過する場合、図１（Ａ−１）および図１（Ｂ−１）に示すように視差画像ごとに不要成分の発生位置が異なる。このため、単純な相対差分画像では、不要成分の差分値は正値または負値となる。例えば、図１（Ａ−２）に示す相対差分画像を生成するために図１（Ａ−１）に示す基準画像から図１（Ｂ−１）に示す減算画像を差し引く場合、基準画像中の不要成分が正値となり、減算画像に含まれる不要成分が負値となる。本実施例では、前述したように、後段の不要成分低減処理を簡易化するために負値を切り捨てて０値とする（負値を０値として扱う）処理を行う。このため、図１（Ａ−２）に示す相対差分画像においては、図１（Ａ−１）に含まれる正値の不要成分のみが検出される。逆に、図１（Ｂ−１）に示す基準画像から図１（Ａ−１）に示す減算画像を差し引いて図１（Ｂ−２）に示す相対差分画像を生成する場合は、該相対差分画像において図１（Ｂ−１）の基準画像に含まれる不要成分のみが正値として検出される。

また、近距離被写体を撮像して得られた画像について相対差分情報を求める際には、被写体視差成分を除去するために、一対の視差画像の位置合わせを行う処理を実行してもよい。位置合わせは、一対の視差画像のうち一方の画像に対して他方の画像の位置を相対的にシフトしながらこれら画像間の相関が最大となるシフト位置を決定することで行うことができる。また、視差画像間の差分の２乗和が最小化するシフト位置を決定することで行ってもよい。さらに、視差画像中の合焦領域を位置合わせのためのシフト位置の決定の対象としてもよい。また、予めそれぞれの視差画像においてエッジ検出を行い、検出されたエッジを示した画像を用いて位置合わせのためのシフト位置を決定してもよい。この方法によると、合焦領域はコントラストの高いエッジが検出され、背景のような非合焦領域はコントラストが低く、エッジとして検出されにくいため、必然的に合焦領域が重視されたシフト位置の決定が行われる。

次に、ステップＳ１４では、不要成分検出部２０４ａは、ステップＳ１３にて得られた相対差分画像中に残存した成分を不要成分と決定する。こうして、元の各視差画像における不要成分が検出される。

さらに、ステップＳ１５では、不要成分低減部２０４ｂは、元の視差画像から不要成分を除去する補正処理を行って出力画像としての一対の視差画像を生成する。本実施例では、出力画像として、撮像素子２０２の各Ｇ１画素からの出力信号から得られる画像信号を１画素とする視差画像（図１（Ａ−３））と、各Ｇ２画素からの出力信号から得られる画像信号を１画素とする視差画像（図１（Ｂ−３））とを生成する。この際、ステップＳ１３において負値を切り捨てて０値とすることで、各視差画像に含まれる不要成分のみが相対差分画像において正値として検出されているため、単純に各視差画像から相対差分画像を差し引くことで不要成分を低減（除去）することができる。つまり、図１（Ａ−１）の視差画像から図１（Ａ−２）の相対差分画像を差し引くとともに、図１（Ｂ−１）の視差画像から図１（Ｂ−２）の相対差分画像を差し引くことで、出力すべき一対の視差画像が得られる。

最後に、ステップＳ１６では、システムコントローラ２１０は、図１（Ａ−３）および図１（Ｂ−３）に示す不要成分が低減（除去）された出力画像（一対の視差画像）を、画像記録媒体２０９に保存したり表示部２０５に表示したりする。また、これら出力画像としての一対の視差画像を合成することで、図２（ｂ）に示すように、瞳分割を行わない撮像により生成された撮影画像と同等の画像であって、不要成分が十分に低減された画像を出力することもできる。

以上説明したように、本実施例によれば、１回の撮像で得られた２つの視差画像のそれぞれを基準画像としたときの各基準画像と他の視差画像との差分（相対差分情報）を用いて各視差画像（基準画像）における不要成分を検出することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要成分を検出することができる。さらに、相対差分情報を生成する際に負値となる不要成分を切り捨てるため、正値となる不要成分を単純な差分計算のみで検出することができ、この不要成分を元の視差画像から差し引くだけで、不要成分が良好に低減（除去）された高品位の画像を得ることができる。

次に、本発明の実施例２として、複数の瞳分割を行う撮像装置について説明する。本実施例における撮像装置および撮像光学系２０１の基本構成は、実施例１（図４）に示した構成と同じである。図７（ａ）には、本実施例の撮像装置の撮像系における撮像素子の受光部を示す。同図において、ＭＬはマイクロレンズである。Ｇ１１，Ｇ１２，Ｇ１３およびＧ１４は受光部（以下、Ｇ１１画素、Ｇ１２画素、Ｇ１３画素およびＧ１４画素という）であり、これら４つの画素により１つの画素組が構成される。撮像素子には、Ｇ１１画素、Ｇ１２画素、Ｇ１３画素およびＧ１４画素により構成される画素組が複数配列されている。画素組は、共通の（つまりは画素組ごとに１つずつ設けられた）マイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。また、撮像素子に配列された複数の画素組を構成しているそれぞれ複数のＧ１１画素、Ｇ１２画素、Ｇ１３画素およびＧ１４画素をまとめて、Ｇ１画素群、Ｇ２画素群、Ｇ３画素群およびＧ４画素群ともいう。

図７（ｂ）には、絞りＳＴＰ（または撮像光学系の射出瞳）のうち、図７（ａ）に示したＧ１１画素、Ｇ１２画素、Ｇ１３画素およびＧ１４画素に入射する光束が通過する瞳領域Ｐ１，Ｐ２，Ｐ３およびＰ４を示している。高輝度物体からの光束は、絞りＳＴＰのほぼ全域を通過するが、Ｇ１１画素、Ｇ１２画素、Ｇ１３画素およびＧ１４画素に入射する光束それぞれが通過する領域は、瞳領域Ｐ１，Ｐ２，Ｐ３およびＰ４に分けられる。

このような撮像装置による撮像により生成される撮影画像において、上記不要光が光電変換されることで現れる画像成分である不要成分を検出する方法について、図８および図９を用いて説明する。

本実施例においても、瞳分割を行わない撮像により図２（ａ）に示すような撮影画像が生成される。図８（Ａ−１），図８（Ｂ−１），図９（Ｃ−１）および図９（Ｄ−１）はそれぞれ、瞳領域Ｐ１，Ｐ２，Ｐ３およびＰ４を通過した光束をＧ１画素群、Ｇ２画素群、Ｇ３画素群およびＧ４画素群にて光電変換した結果として得られた一組の視差画像を示す。また、該一組の視差画像には、黒い四角として模式的に示す不要成分ＧＳＴが含まれており、その位置は図８（Ａ−１）と図９（Ｃ−１）に示す視差画像間および図８（Ｂ−１）と図９（Ｄ−１）に示す視差画像間ではそれぞれ同じである。一方、図８（Ａ−１）および図９（Ｃ−１）に示す視差画像と図８（Ｂ−１）および図９（Ｄ−１）に示す視差画像との間では、不要成分ＧＳＴの位置が異なっている。

図８（Ａ−２）は、図８（Ａ−１）の視差画像を基準画像とし、該基準画像から図８（Ｂ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。この相対差分画像には、被写体視差成分と不要成分とが含まれているが、実施例１と同様に、被写体視差成分はその影響が無視できる程度に微少量であるとする。さらに、実施例１と同様に、上記差分計算により、図８（Ｂ−１）の視差画像に含まれる不要成分は負値として算出されるが、後段の不要成分低減処理を簡易化するために、図８（Ａ−２）の相対差分画像では負値を切り捨てて０値として扱う。（このことは、以下に説明する全ての相対差分画像において同じである）。このため、図８（Ａ−２）の相対差分画像は、相対差分情報として、図８（Ａ−１）に含まれる不要成分のみを示していることとなる。

また、図８（Ａ−３）は、図８（Ａ−１）の視差画像を基準画像とし、該基準画像から図９（Ｃ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。この相対差分画像にも、被写体視差成分が含まれているが、被写体視差成分はその影響が無視できる程度に微少量である。また、上述したように図８（Ａ−１）の視差画像と図９（Ｃ−１）の視差画像とでは同じ位置に不要成分が存在するため、相対差分情報として不要成分は検出されない。このように、同じ位置に生じている不要成分は相対差分画像には表れない。つまり、２つの視差画像間の相対差分情報だけでは検出することができない不要成分も存在する。しかし、本実施例では、４つの視差画像間で相対差分情報を取得することにより、例えば図８（Ｂ−１）の視差画像のように少なくとも１つの視差画像に基準画像とは異なる位置に不要成分が生じていれば、その不要成分を効果的に検出することを可能としている。

さらに、図８（Ａ−４）は、図８（Ａ−１）の視差画像を基準画像とし、該基準画像から図９（Ｄ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。図８（Ａ−１）と図９（Ｄ−１）は不要成分の位置が異なるため、図８（Ａ−４）の相対視差画像は、図８（Ａ−２）の視差画像と同様に、図８（Ａ−１）に含まれる不要成分のみを示している。

そして、図８（Ａ−５）は、図８（Ａ−２）、図８（Ａ−３）および図８（Ａ−４）の相対差分画像（２次元相対差分情報）間において対応する画素位置ごとの相対差分情報の最大値を抽出して得られた情報（以下、相対差分最大値情報）を示す画像である。本実施例では、図８（Ａ−５）中の相対差分最大値情報は、図８（Ａ−２）および図８（Ａ−４）内の相対差分情報と同値の情報となり、図８（Ａ−１）の視差画像に含まれる不要成分の位置と量を示す。

また、同様に、図８（Ｂ−２）は、図８（Ｂ−１）の視差画像を基準画像とし、該基準画像から図８（Ａ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。また、図８（Ｂ−３）は、図８（Ｂ−１）の視差画像を基準画像とし、該基準画像から図９（Ｃ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。さらに、図８（Ｂ−４）は、図８（Ｂ−１）の視差画像を基準画像とし、該基準画像から図９（Ｄ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。そして、図８（Ｂ−５）は、図８（Ｂ−２）、図８（Ｂ−３）および図８（Ｂ−４）の相対差分画像（２次元相対差分情報）間において対応する画素位置ごとの相対差分情報の最大値を抽出して得られた相対差分最大値情報を示す画像である。本実施例では、図８（Ｂ−５）中の相対差分最大値情報は、図８（Ｂ−２）および図８（Ｂ−３）内の相対差分情報と同値の情報となり、図８（Ｂ−１）の視差画像に含まれる不要成分の位置と量を示す。

また、同様に、図９（Ｃ−２）は、図９（Ｃ−１）の視差画像を基準画像とし、該基準画像から図８（Ａ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。また、図９（Ｃ−３）は、図９（Ｃ−１）の視差画像を基準画像とし、該基準画像から図８（Ｂ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。さらに、図９（Ｃ−４）は、図９（Ｃ−１）の視差画像を基準画像とし、該基準画像から図９（Ｄ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。そして、図９（Ｃ−５）は、図９（Ｃ−２）、図９（Ｃ−３）および図９（Ｃ−４）の相対差分画像（２次元相対差分情報）間において対応する画素位置ごとの相対差分情報の最大値を抽出して得られた相対差分最大値情報を示す画像である。本実施例では、図９（Ｃ−５）中の相対差分最大値情報は、図９（Ｃ−３）および図９（Ｃ−４）内の相対差分情報と同値の情報となり、図８（Ｃ−１）の視差画像に含まれる不要成分の位置と量を示す。

さらに、同様に、図９（Ｄ−２）は、図９（Ｄ−１）の視差画像を基準画像とし、該基準画像から図８（Ａ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。また、図９（Ｄ−３）は、図９（Ｄ−１）の視差画像を基準画像とし、該基準画像から図８（Ｂ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。さらに、図９（Ｄ−４）は、図９（Ｄ−１）の視差画像を基準画像とし、該基準画像から図９（Ｃ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。そして、図９（Ｄ−５）は、図９（Ｄ−２）、図９（Ｄ−３）および図９（Ｄ−４）の相対差分画像（２次元相対差分情報）間において対応する画素位置ごとの相対差分情報の最大値を抽出して得られた相対差分最大値情報を示す画像である。本実施例では、図９（Ｄ−５）中の相対差分最大値情報は、図９（Ｄ−２）および図９（Ｄ−４）内の相対差分情報と同値の情報となり、図８（Ｄ−１）の視差画像に含まれる不要成分の位置と量を示す。

こうして検出された図８（Ａ−５）、図８（Ｂ−５）、図９（Ｃ−５）および図９（Ｄ−５）の不要成分を除去する補正処理を、図８（Ａ−１）、図８（Ｂ−１）、図９（Ｃ−１）および図９（Ｄ−１）の元の視差画像に対して行う。これにより、図８（Ａ−６）、図８（Ｂ−６）、図９（Ｃ−６）および図９（Ｄ−６）示すように不要成分が概ね除去された出力画像としての視差画像を得ることができる。さらに、これら不要成分が低減された視差画像を合成することで、図２（ｂ）に示すように瞳分割を行わない撮像により生成された撮影画像と同等の画像であって、不要成分をほとんど含まない画像を生成することができる。

図１０のフローチャートには、上述した不要成分の検出処理（画像処理）の手順の例を示している。

ステップＳ１０１およびステップＳ１０２はそれぞれ、実施例１（図６）のステップＳ１１およびステップＳ１２と同じである。

ステップＳ１０３では、不要成分検出部２０４ａは、一組の視差画像について、各視差画像を基準画像として複数の相対差分画像を求める。すなわち、図８（Ａ−１）を基準画像とした相対差分画像として、図８（Ａ−２）、図８（Ａ−３）および図８（Ａ−４）に示す画像を生成する。さらに、図８（Ｂ−１）を基準画像とした相対差分画像として、図８（Ｂ−２）、図８（Ｂ−３）および図８（Ｂ−４）に示す画像を生成する。また、図９（Ｃ−１）を基準画像とした相対差分画像として、図９（Ｃ−２）、図９（Ｃ−３）および図９（Ｃ−４）に示す画像を生成する。さらに、図９（Ｄ−１）を基準画像とした相対差分画像として、図９（Ｄ−２）、図９（Ｄ−３）および図９（Ｄ−４）に示す画像を生成する。

撮像面に到達した不要光が撮像光学系の異なる瞳領域を通過する場合、図８（Ａ−１）および図８（Ｂ−１）に示すように視差画像ごとに不要成分の発生位置が異なる。このため、単純な相対差分画像では不要成分の差分値は正値または負値となる。例えば、図８（Ａ−２）に示す相対差分画像を生成するために図８（Ａ−１）に示す基準画像から図８（Ｂ−１）に示す減算画像を差し引く場合、基準画像中の不要成分が正値となり、減算画像に含まれる不要成分が負値となる。本実施例では、後段の不要成分低減処理を簡易化するために負値を切り捨てて０値とする（負値を０値として扱う）処理を行う。このため、図８（Ａ−２）に示す相対差分画像においては、図８（Ａ−１）に含まれる正値の不要成分のみが検出される。他の相対差分画像についても、同様の処理を行うことで、各基準画像に含まれる不要成分のみが正値として検出される。一方、図８（Ａ−１）と図９（Ｃ−１）のように同じ位置に不要成分が存在している場合には、上述したように相対差分画像において不要成分は検出されない。

次に、ステップＳ１０４では、不要成分検出部２０４ａは、ステップＳ１０３にて得られた複数（３つ）の相対差分画像間において対応する画素位置ごとの相対差分最大値情報を求める（抽出する）。

相対差分最大値情報を求める理由およびその効果は、先に図８（Ａ−３）の画像についての説明でも触れたが、以下の通りである。光学系や高輝度光源の位置によっては視差画像間でも同じ位置に不要成分が存在する場合がある。本実施例でも、図８（Ａ−１）および図９（Ｃ−１）に示した視差画像では互いに同じ位置に不要成分が存在している。このような場合、これら２つの視差画像の差分を算出しても不要成分は０値となってしまう。つまり、２つの視差画像間だけの差分情報だけでは、検出することができない不要成分が生じる可能性がある。そこで、本実施例では、４つの複数の視差画像間の相対差分情報を取得することにより、２つの視差画像間だけでは検出することができない不要成分を検出できるようにしている。すなわち、図８（Ａ−１）の視差画像を基準画像とした場合に、該基準画像と図９（Ｃ−１）の視差画像との間では同じ位置に不要成分が存在するため不要成分は検出されない。しかし、図８（Ｂ−１）の視差画像には、基準画像とは異なる位置に不要成分が生じているので、図８（Ａ−２）の相対視差画像のようにその不要成分を検出することができる。

このように基準画像と他の複数の視差画像との差分である複数の相対差分情報を取得し、該複数の相対差分情報間の相対差分最大値情報を求めれば、基準画像とは不要成分の位置が異なる視差画像が１つでも存在すれば、不要成分の位置と量を検出することができる。

次に、ステップＳ１０５では、不要成分検出部２０４ａは、ステップＳ１０４にて得られた相対差分最大値情報を示す画像（以下、相対差分最大値画像ともいう）中に残存した成分を不要成分として決定する。こうして、元の各視差画像における不要成分が検出される。

次に、ステップＳ１０６では、不要成分低減部２０４ｂは、一組の元の視差画像からステップＳ１０５にて検出した不要成分を除去する補正処理を行って出力画像としての一組の視差画像を生成する。本実施例では、出力画像として、撮像素子２０２の各Ｇ１１画素からの出力信号から得られる画像信号を１画素とする視差画像（図８（Ａ−６））と、各Ｇ１２画素からの出力信号から得られる画像信号を１画素とする視差画像（図８（Ｂ−６））とを生成する。さらに、各Ｇ１３画素からの出力信号から得られる画像信号を１画素とする視差画像（図９（Ｃ−６））と、各Ｇ１４画素からの出力信号から得られる画像信号を１画素とする視差画像（図９（Ｄ−６））とを生成する。

この際、ステップＳ１０３にて負値を切り捨てて０値とすることで、各視差画像に含まれる正値の不要成分のみが相対差分最大値情報として検出されているため、単純に各視差画像から相対差分最大値画像を差し引くことで不要成分を低減（除去）することができる。つまり、図８（Ａ−１）の視差画像から図８（Ａ−５）の相対差分最大値画像を差し引き、図８（Ｂ−１）の視差画像から図８（Ｂ−５）の相対差分最大値画像を差し引く。また、図９（Ｃ−１）の視差画像から図９（Ｃ−５）の相対差分最大値画像を差し引き、図９（Ｄ−１）の視差画像から図９（Ｄ−５）の相対差分最大値画像を差し引く。これにより、出力画像としての一組の視差画像（図８（Ａ−６），図８（Ｂ−６），図９（Ｃ−６），図９（Ｄ−６））が得られる。

最後に、ステップＳ１０７では、システムコントローラ２１０は、図８（Ａ−６）、図８（Ｂ−６）、図９（Ｃ−６）および図９（Ｄ−６）に示す不要成分が低減（除去）された出力画像（一対の視差画像）を、画像記録媒体２０９に保存する。また、該出力画像を表示部２０５に表示する。また、これら出力画像としての一対の視差画像を合成することで、図２（ｂ）に示すように、瞳分割を行わない撮像により生成された撮影画像と同等の画像であって、不要成分が十分に低減された画像を出力することもできる。

以上説明したように、本実施例によれば、１回の撮像で得られた４つの視差画像のそれぞれを基準画像としたときの各基準画像と他の３つの視差画像との差分（相対差分情報）を用いて各視差画像（基準画像）における不要成分を検出することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要成分を検出することができる。さらに、相対差分情報を生成する際に負値となる不要成分を切り捨てるため、正値となる不要成分を単純な差分計算のみで検出することができ、この不要成分を元の視差画像から差し引くだけで、不要成分が良好に低減（除去）された高品位の画像を得ることができる。しかも、本実施例では、４つの視差画像の相互間の相対差分情報から相対差分最大値情報を求める。これにより、例えば、４つの視差画像のうち２つの視差画像内の不要成分の位置が同じであっても、他の視差画像内の不要成分の位置がそれらと異なれば、不要成分を検出し、これを低減した出力画像を得ることができる。

なお、本実施例では、４つの視差画像のそれぞれを基準画像として各基準画像と他の３つの視差画像との差分である相対差分情報（相対差分画像）を求め、各視差画像とこれを基準画像としたときの相対差分情報とを用いて該視差画像の不要成分を検出した。しかし、視差画像は必ずしも４つ用いる必要はなく、実施例１にて説明したように２つの視差画像を用いてもよいし、３つ以上の視差画像を用いていてもよい。つまり、複数の視差画像のそれぞれに対して１つ以上の相対差分情報が得られればよい。このことは、後述する実施例３でも同じである。

次に、本発明の実施例３について説明する。本実施例における撮像装置および撮像光学系２０１の基本構成は、実施例１（図４）に示した構成と同じである。また、撮像系における撮像素子の受光部は、実施例２と同じである。さらに、絞りＳＴＰとＧ１１画素、Ｇ１２画素、Ｇ１３画素およびＧ１４画素に入射する光束が通過する瞳領域Ｐ１，Ｐ２，Ｐ３，Ｐ４の関係も実施例２と同じである。

実施例２では一組の視差画像のそれぞれに位置は異なるが同様の不要成分が含まれる場合にその不要成分を検出する方法について説明した。これに対して、本実施例では、一組の視差画像のうち一部の視差画像に他の視差画像に含まれる不要成分の一部のみが含まれる場合にその不要成分を検出する方法について説明する。

図１１（Ａ−１）、図１１（Ｂ−１）、図１２（Ｃ−１）および図１２（Ｄ−１）はそれぞれ、瞳領域Ｐ１，Ｐ２，Ｐ３およびＰ４を通過した光束をＧ１画素群、Ｇ２画素群、Ｇ３画素群およびＧ４画素群にて光電変換した結果として得られた一組の視差画像を示す。また、該一組の視差画像には、黒い四角として模式的に示す不要成分ＧＳＴが含まれている。図１１（Ａ−１）に示す視差画像に含まれる複数の不要成分ＧＳＴの一部（左上の不要成分）と図１２（Ｃ−１）に示す視差画像に含まれる不要成分ＧＳＴとは互いに同じ位置に存在する。また、図１１（Ｂ−１）に示す視差画像に含まれる複数の不要成分ＧＳＴの一部（左上の不要成分）と図１２（Ｄ−１）に示す視差画像に含まれる不要成分ＧＳＴとは互いに同じ位置に存在する。一方、図１１（Ａ−１）および図１１（Ｂ−１）の視差画像間では全ての不要成分の位置が異なっている。また、図１２（Ｃ−１）および図１２（Ｄ−１）の視差画像間でも、不要成分ＧＳＴの位置が異なっている。

図１１（Ａ−２）は、図１１（Ａ−１）の視差画像を基準画像とし、該基準画像から図１１（Ｂ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。この相対差分画像には、被写体視差成分と不要成分とが含まれているが、実施例１と同様に、被写体視差成分はその影響が無視できる程度に微少量であるとする。さらに、実施例１と同様に、上記差分計算により、図１１（Ｂ−１）の視差画像に含まれる不要成分は負値として算出されるが、後段の不要成分低減処理を簡易化するために、図１１（Ａ−２）の相対差分画像では負値を切り捨てて０値として扱う。（このことは、以下に説明する全ての相対差分画像において同じである）。このため、図１１（Ａ−２）の相対差分画像は、相対差分情報として、図１１（Ａ−１）に含まれる不要成分のみを示していることとなる。

また、図１１（Ａ−３）は、図１１（Ａ−１）の視差画像を基準画像とし、該基準画像から図１２（Ｃ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。この相対差分画像には、実施例１と同様に、相対差分情報として、被写体視差成分と不要成分とが含まれている。上述したように図１１（Ａ−１）の視差画像における不要成分の一部と図１２（Ｃ−１）の視差画像の不要成分とが同じ位置に存在するため、その同じ位置の不要成分（以下、共通不要成分という）は相対差分情報として検出されない。

さらに、図１１（Ａ−４）は、図１１（Ａ−１）の視差画像を基準画像とし、該基準画像から図１２（Ｄ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。図１１（Ａ−１）と図１２（Ｄ−１）は不要成分の位置が異なるため、図１１（Ａ−４）の相対視差画像は、図１１（Ａ−２）の視差画像と同様に、図１１（Ａ−１）に含まれる不要成分のみを示している。

そして、図１１（Ａ−５）は、図１１（Ａ−２）、図１１（Ａ−３）および図１１（Ａ−４）の相対差分画像（２次元相対差分情報）間において対応する画素位置ごとの相対差分情報の最小値を抽出して得られた情報（以下、相対差分最小値情報という）を示す画像である。本実施例では、図１１（Ａ−５）中の相対差分最小値情報は、図１１（Ａ−３）内の相対差分情報と同値の情報となり、図１１（Ａ−１）の視差画像に含まれる複数の不要成分のうち一部の不要成分の位置と量を示す。以下の説明において、相対差分最小値情報を示す画像を、相対差分最小値画像ともいう。

同様に、図１１（Ｂ−２）は、図１１（Ｂ−１）の視差画像を基準画像とし、該基準画像から図１１（Ａ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。また、図１１（Ｂ−３）は、図１１（Ｂ−１）の視差画像を基準画像とし、該基準画像から図１２（Ｃ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。さらに、図１１（Ｂ−４）は、図１１（Ｂ−１）の視差画像を基準画像とし、該基準画像から図１２（Ｄ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。そして、図１１（Ｂ−５）は、図１１（Ｂ−２）、図１１（Ｂ−３）および図１１（Ｂ−４）の相対差分画像（２次元相対差分情報）間において対応する画素位置ごとの相対差分情報の最小値を抽出して得られた相対差分最小値情報を示す相対差分最小値画像である。本実施例では、図１１（Ｂ−５）中の相対差分最小値情報は、図１１（Ｂ−４）内の相対差分情報と同値の情報となり、図１１（Ｂ−１）の視差画像に含まれる複数の不要成分のうち一部の不要成分の位置と量を示す。

同様に、図１２（Ｃ−２）は、図１２（Ｃ−１）の視差画像を基準画像とし、該基準画像から図１１（Ａ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。また、図１２（Ｃ−３）は、図１２（Ｃ−１）の視差画像を基準画像とし、該基準画像から図１１（Ｂ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。さらに、図１２（Ｃ−４）は、図１２（Ｃ−１）の視差画像を基準画像とし、該基準画像から図１２（Ｄ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。そして、図１２（Ｃ−５）は、図１２（Ｃ−２）、図１２（Ｃ−３）および図１２（Ｃ−４）の相対差分画像（２次元相対差分情報）間において対応する画素位置ごとの相対差分情報の最小値を抽出して得られた相対差分最小値情報を示す相対差分最小値画像である。本実施例では、図１２（Ｃ−５）中の相対差分最小値情報は、図１２（Ｃ−２）内の相対差分情報と同値の情報となり、図１２（Ｃ−１）の視差画像に含まれる不要成分はその位置および量とも検出されない。

同様に、図１２（Ｄ−２）は、図１２（Ｄ−１）の視差画像を基準画像とし、該基準画像から図１１（Ａ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。また、図１２（Ｄ−３）は、図１２（Ｄ−１）の視差画像を基準画像とし、該基準画像から図１１（Ｂ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。さらに、図１２（Ｄ−４）は、図１２（Ｄ−１）の視差画像を基準画像とし、該基準画像から図１２（Ｃ−１）の視差画像（減算画像）を差し引く差分計算により得られる２次元データである相対差分情報を示す相対差分画像を示す。そして、図１２（Ｄ−５）は、図１２（Ｄ−２）、図１２（Ｄ−３）および図１２（Ｄ−４）の相対差分画像（２次元相対差分情報）間において対応する画素位置ごとの相対差分情報の最小値を抽出して得られた相対差分最小値情報を示す相対差分最小値画像である。本実施例では、図１２（Ｄ−５）中の相対差分最小値情報は、図１２（Ｄ−３）内の相対差分情報と同値の情報となり、図１２（Ｄ−１）の視差画像に含まれる不要成分はその位置および量とも検出されない。

こうして検出された図１１（Ａ−５）、図１１（Ｂ−５）、図１２（Ｃ−５）および図１２（Ｄ−５）の不要成分を除去する補正処理を、図１１（Ａ−１）、図１１（Ｂ−１）、図１２（Ｃ−１）および図１２（Ｄ−１）の元の視差画像に対して行う。ただし、図１２（Ｃ−５）および図１２（Ｄ−５）に示す相対差分最小値画像には検出された不要成分が含まれていないので、図１２（Ｃ−１）および図１２（Ｄ−１）の視差画像に対しては実質的に補正処理は行われない。これにより、図１１（Ａ−６）、図１１（Ｂ−６）、図１２（Ｃ−６）および図１２（Ｄ−６）示すように、一組の視差画像に含まれていた複数の不要成分のうち２つの視差画像間での共通不要成分が低減された出力画像としての視差画像を得ることができる。さらに、このように不要成分がある程度低減された視差画像を合成することで、図２（ｂ）に示すように瞳分割を行わない撮像により生成された撮影画像と同等の画像であって、不要成分が少ない画像を生成することができる。

図１３のフローチャートには、上述した不要成分の検出処理（画像処理）の手順の例を示している。

ステップＳ２０１〜ステップＳ２０３までは、実施例２におけるステップＳ１０１〜ステップＳ１０３と同じである。

ステップＳ２０４では、不要成分検出部２０４ａは、ステップＳ２０３にて得られた複数（３つ）の相対差分画像間において対応する画素位置ごとの相対差分最小値情報を求める（抽出する）。相対差分最小値情報を求める理由および効果は、以下の通りである。図１１および図１２に示した例では、図１１（Ａ−１）の視差画像に含まれる複数の不要成分のうち一部が図１２（Ｃ−１）の視差画像に含まれる不要成分と同じ位置に存在する。このように、光学系や高輝度光源の位置によっては視差画像間でも同じ位置に不要成分（共通不要成分）が存在する場合がある。このような場合、これら２つの視差画像の差分を算出しても、共通不要成分は０値となってしまう。

ここで、相対差分最大値情報を求める実施例２とは異なり、相対差分最小値情報を求める本実施例では、一組の視差画像のすべてにおいて位置が異なる不要成分は検出することができるが、位置が同じ共通不要成分を検出することはできない。しかし、このことは、複数の視点画像のうち１つの視差画像にしか存在しない不要成分のみを検出することに相当する。これは、近距離被写体を撮像して得られた一組（４つ）の視差画像のうち１つの視差画像において、他の３つの視差画像との被写体視差成分を不要成分から分離できることに相当する。つまり、近距離被写体を撮像して得られた各視差画像に対して不要成分低減処理を行う場合に、被写体視差成分の影響を大きく低減することができる。このように、相対差分情報を示す複数の画像間で相対差分最小値情報を求めることにより、複数の視差画像間で同じ位置に存在する不要成分以外の不要成分を検出し、同時に複数の視差画像間での被写体視差成分を不要成分から分離することができる。

次に、ステップＳ２０５では、不要成分検出部２０４ａは、ステップＳ１４にて得られた相対差分最小値画像中に残存した成分を不要成分と決定する。こうして元の各視差画像における不要成分が検出される。

次に、ステップＳ２０６では、不要成分低減部２０４ｂは、元の視差画像からステップＳ２０５にて検出した不要成分を除去する補正処理を行って出力画像としての一組の視差画像を生成する。本実施例では、出力画像として、撮像素子２０２の各Ｇ１１画素からの出力信号から得られる画像信号を１画素とする視差画像（図１１（Ａ−６））と、各Ｇ１２画素からの出力信号から得られる画像信号を１画素とする視差画像（図１１（Ｂ−６））とを生成する。さらに、各Ｇ１３画素からの出力信号から得られる画像信号を１画素とする視差画像（図１２（Ｃ−６））と、各Ｇ１４画素からの出力信号から得られる画像信号を１画素とする視差画像（図１２（Ｄ−６））とを生成する。

この際、ステップＳ２０３にて負値を切り捨てて０値とする（負値を０値として扱う）。これにより、各視差画像に含まれる正値の不要成分のみが相対差分最小値情報として検出されるため、単純に各視差画像から相対差分最小値画像を差し引くことで不要成分を低減（除去）することができる。つまり、図１１（Ａ−１）の視差画像から図１１（Ａ−５）の相対差分最小値画像を差し引き、図１１（Ｂ−１）の視差画像から図１１（Ｂ−５）の相対差分最小値画像を差し引く。また、図１２（Ｃ−１）の視差画像から図１２（Ｃ−５）の相対差分最小値画像を差し引き、図１２（Ｄ−１）の視差画像から図１２（Ｄ−５）の相対差分最小値画像を差し引く。これにより、出力画像としての一組の視差画像（図１１（Ａ−６），図１１（Ｂ−６），図１２（Ｃ−６），図１２（Ｄ−６））が得られる。

最後に、ステップＳ２０７では、システムコントローラ２１０は、図１１（Ａ−６）、図１１（Ｂ−６）、図１２（Ｃ−６）および図９（Ｄ−６）に示す不要成分が低減（除去）された出力画像（一対の視差画像）を、画像記録媒体２０９に保存する。また、該出力画像を表示部２０５に表示する。また、これら出力画像としての一対の視差画像を合成することで、図２（ｂ）に示すように、瞳分割を行わない撮像により生成された撮影画像と同等の画像であって、不要成分が十分に低減された画像を出力することもできる。

以上説明したように、本実施例によれば、１回の撮像で得られた４つの視差画像のそれぞれを基準画像としたときの各基準画像と他の３つの視差画像との差分（相対差分情報）を用いて各視差画像（基準画像）における不要成分を検出することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要成分を検出することができる。さらに、相対差分情報を生成する際に負値となる不要成分を切り捨てるため、正値となる不要成分を単純な差分計算のみで検出することができ、この不要成分を元の視差画像から差し引くだけで、不要成分が良好に低減（除去）された高品位の画像を得ることができる。しかも、本実施例では、４つの視差画像の相互間の相対差分情報から相対差分最小値情報を求める。これにより、不要成分と被写体視差成分を分離して効果的に不要成分を検出し、これを低減した出力画像を得ることができる。

次に、本発明の実施例４について説明する。Ren.Ng, 他5名による「Light Field Photography with a Hand-held Plenoptic Camera」(Stanford Tech Report CTSR 2005-2)では、「Plenoptic Camera」が提案されている。この「Plenoptic Camera」において「Light Field Photography」という手法を用いることで、物体側からの光線の位置と角度の情報を取り込むことができる。

図１４には、「Plenoptic Camera」の撮像系の構成を示している。主レンズ（撮影レンズ）３０１ｂと開口絞り３０１ａとで構成される撮像光学系３０１の結像位置にマイクロレンズアレイ３０１ｃが配置され、さらにその後方に撮像素子３０２が配置されている。

マイクロレンズアレイ３０１ｃは、例えば点Ａのような被写体空間のある一点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子３０２上で混ざらないようにセパレータの役割をしている。

図１４から分かるように、点Ａからの上線、主光線および下線はそれぞれ異なる画素によって受光されるため、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。

また、Todor Georgive, 他1名による「Full Resolution Light Field Rendering」(Adobe Technical Report January 2008)では、光線の位置と角度の情報(Light Field)を取得する方法として、図１５（ａ），（ｂ）に示す手法が提案されている。

図１５（ａ）に示す撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも後方に配置し、点Ａを通る光線群をマイクロレンズアレイ３０１ｃによって撮像素子３０２上に再結像させる。これにより、点Ａを通る光線群を光線の角度ごとに分離して撮像素子３０２により受光させる。また、図１５（ｂ）に示す撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも前方に配置し、点Ａを通る光線群を撮像素子３０２上に結像させることで、該光線群を光線の角度ごとに分離して撮像素子３０２により受光させる。いずれの構成も、撮像光学系３０１の瞳を通過する光束を、瞳内での通過領域（通過位置）に応じて複数の光束に分割する点は同じである。

そして、これらの構成では、撮像素子３０２は、図１６に示すように１つのマイクロレンズＭＬと１つの受光部Ｇ１とが対になっている従来タイプの撮像素子を用いることができる。ＣＦはカラーフィルタである。

図１５（ａ）に示した撮像光学系３０１を用いると、図１７（ａ）に示すような画像が得られる。図１７（ｂ）には、図１７（ａ）中に多数並んだ円のうち１つを拡大して示している。図１７（ａ）中の１つの円は図１７（ｂ）に示した絞りＳＴＰに相当し、その内側は複数の画素Ｐｊ（ｊ＝１，２，３，…）により分割されている。これにより、１つの円内で瞳の強度分布が得られる。また、図１４および図１５（ｂ）に示した撮像光学系３０１を用いると、図１８に示すような視差画像が得られる。図１７（ａ）に示した画像において各円（絞りＳＴＰ）内の複数の画素Ｐｊを並べて再構成することによっても、図１８に示すような複数の視差画像が得られる。

ゴースト等の不要光は瞳内で偏りを持って瞳を通過する。このため、本実施例のように瞳を分割して撮像する撮像装置において実施例１〜３で説明した画像処理方法を使用することで、不要成分を検出することもできる。

さらに別の例として、図１９（ａ）に示すような複数の撮像装置Ｃ１，Ｃ２，Ｃ３を用いて同一被写体を撮像する場合も視差画像が得られるため、実施例１〜３にて説明した画像処理方法を用いることができる。Ｃ１，Ｃ２，Ｃ３は実際には別々の撮像装置であるが、大きな瞳を３つに分割して撮像する一体の撮像装置と見なすことができる。

また、図１９（ｂ）に示すように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１，２，３，…）を設けることで瞳分割を行うこともできる。

上記各実施例では、画像全域において不要成分を検出したり除去したりする場合について説明したが、図２（ａ）に示すように、ほとんどの場合、不要成分は画像の一部にのみ生じる。画像中の不要成分はユーザが容易に判定することができる。このため、視差画像のうち不要成分の低減処理を行う対象とする領域のユーザによる指定（選択）を許容し、その対象領域でのみ不要成分を検出する処理を行うことで、各実施例での処理負荷を低減させることができる。また、不要成分の低減処理を行う対象領域を限定することにより、上記した近距離被写体を撮像する場合に生じる被写体視差成分の影響を低減することもできる。

図２０（ａ）中の実線ＳＥＬＥＣＴは、撮影画像（視差画像）中でユーザが不要成分を除去したい領域として選択した不要成分低減処理の対象領域を示す。図２０（ｂ）には、該領域ＳＥＬＥＣＴ中の不要成分を低減した出力画像を示す。このように不要成分を低減する領域を限定した場合にも、視差画像から実施例１〜３と同様の画像処理方法を用いて不要成分を検出したり除去したりすることができる。

また、上記各実施例では、不要成分を低減（または除去）する場合について説明したが、検出した不要成分に関する情報を用いて、別の不要成分を付加する補正処理を行うようにしてもよい。例えば図１８に示した複数の視差画像のそれぞれについて、ゴースト（不要成分）が存在する画像と存在しない画像が発生する。再構成後の画像にもゴーストを残したい場合には、検出したゴーストを各視差画像に付加してもよい。また、再構成した画像に対してゴーストを付加してもよい。

上記各実施例では、不要成分を検出して低減する画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、各実施例の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像回復処理を行って、その結果得られた画像を出力する。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

高画質の撮影画像を生成可能な画像処理装置および撮像装置を提供することができる。

２０１ 撮像光学系
２０２ 撮像素子
２０４ 画像処理部
２０４ａ 不要成分検出部
２０４ａ 不要成分低減部

Claims (13)

1. 被写体を撮像することにより生成された互いに視差を有する複数の視差画像を取得し、
   前記複数の視差画像のそれぞれを基準画像として、該基準画像と他の１つ以上の前記視差画像との差分である相対差分情報を求め、
   前記相対差分情報を用いて前記各視差画像に含まれる不要成分を検出することを特徴とする画像処理方法。
2. 前記複数の視差画像は、３つ以上の視差画像であることを特徴とする請求項１に記載の画像処理方法。
3. 前記基準画像から前記他の視差画像を差し引いて前記相対差分情報を求める際の負値を０値として扱い、
   前記各視差画像と前記他の視差画像との間でそれぞれ２次元データとして求められた前記相対差分情報間において対応する画素位置ごとの相対差分情報の最大値を求め、
   該最大値を用いて、前記基準画像としての前記視差画像に含まれる前記不要成分を検出することを特徴とする請求項２に記載の画像処理方法。
4. 前記基準画像から前記他の視差画像を差し引いて前記相対差分情報を求める際の負値を０値として扱い、
   前記各視差画像と前記他の視差画像との間でそれぞれ２次元データとして求められた前記相対差分情報間において対応する画素位置ごとの相対差分情報の最小値を求め、
   該最小値を用いて、前記基準画像としての前記視差画像に含まれる前記不要成分を検出することを特徴とする請求項２に記載の画像処理方法。
5. 前記各視差画像から、該視差画像ごとに検出した前記不要成分を除去することを特徴とする請求項１から４のいずれか一項に記載の画像処理方法。
6. 前記各視差画像のうち前記不要成分を検出する対象領域の選択を許容し、
   該対象領域において前記不要成分を検出することを特徴とする請求項１から５のいずれか一項に記載の画像処理方法。
7. 前記相対差分情報を求める際に、前記基準画像と前記他の視差画像との位置合わせを行うことを特徴とする請求項１から６のいずれか一項に記載の画像処理方法。
8. 前記複数の視差画像は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束を撮像素子における互いに異なる画素に導いて光電変換を行わせる撮像装置により生成された画像であることを特徴とする請求項１から７のいずれか一項に記載の画像処理方法。
9. 前記複数の視差画像は、撮像光学系の瞳のうち互いに異なる領域からの光束を光電変換する複数の画素組と該画素組ごとに１つずつ設けられたマイクロレンズとを含む撮像素子を有する撮像装置により生成された画像であることを特徴とする請求項１から６に記載の画像処理方法。
10. 検出した前記不要成分の情報を用いて、前記視差画像に別の不要成分を付加することを特徴とする請求項１から４および６から９のいずれか一項に記載の画像処理方法。
11. 被写体を撮像することにより生成された互いに視差を有する複数の視差画像を取得する画像取得部と、
    前記複数の視差画像のそれぞれを基準画像として、該基準画像と他の１つ以上の前記視差画像との差分である相対差分情報を求め、前記相対差分情報を用いて前記各視差画像に含まれる不要成分を検出する不要成分検出部とを有することを特徴とする画像処理装置。
12. 被写体を撮像することにより互いに視差を有する複数の視差画像を生成する撮像系と、
    請求項１１に記載の画像処理装置とを有することを特徴とする撮像装置。
13. コンピュータに画像処理を実行させるコンピュータプログラムであって、
    前記画像処理は、
    被写体を撮像することにより生成された互いに視差を有する複数の視差画像を取得し、
    前記複数の視差画像のそれぞれを基準画像として、該基準画像と他の１つ以上の前記視差画像との差分である相対差分情報を求め、
    前記相対差分情報を用いて前記各視差画像に含まれる不要成分を検出することを特徴とする画像処理プログラム。