JP6516510B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮影画像の画質を向上させる画像処理方法に関する。

カメラなどの撮像装置により撮像を行うと、光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射し、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、ゴーストやフレアなどの不要成分として撮影画像中に現れる。また、望遠レンズにおいて、軸上色収差や倍率色収差の補正のために回折光学素子を用いると、撮像画角外に存在する太陽などの高強度物体からの光が回折光学素子に当たることで、画像全体に渡って不要光が不要成分として現れる場合がある。そこで従来から、不要成分をデジタル画像処理により除去する方法が知られている。

特許文献１には、被写体に対して光学系が合焦状態にあるときの画像（合焦画像）と光学系が非合焦状態にあるときの画像（デフォーカス画像）との差分を示す差分画像からゴーストを検出する方法が開示されている。しかし、特許文献１の方法では、複数回の撮像が必要であり、動きのある被写体の静止画撮像や動画撮像には適さない。

特許文献２には、単眼立体撮像による複数の視点画像を比較することでゴーストを検出する方法が開示されている。特許文献２の方法では、１回の撮像で複数の視差画像を得られるため、動きのある被写体の静止画撮像や動画撮像にも対応可能である。

特開２００８−５４２０６号公報 特開２０１１−２０５５３１号公報

特許文献２の方法では、主画像と副画像の２画像間での差分を求めることによりゴーストを検出する。しかしながら、単純に全ての画素について差分を求めようとすると、計算処理負荷が大きく、リアルタイム処理が困難である。また、差分計算を行うのみの処理では、ノイズが増大し、高画質を維持することは難しい。

そこで本発明は、複数の撮像を行うことなく撮影画像に含まれる不要成分を効果的に決定し、処理負荷の軽減および高画質の維持が可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、複数の視差画像間の差分に関する複数の差分情報に基づいて、該視差画像に関する不要成分情報を決定する不要成分決定手段と、前記不要成分決定手段によって前記不要成分情報が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、前記不要成分決定手段によって決定された前記不要成分情報に対して縮小処理を行う縮小処理手段と、前記不要成分情報に対して拡大処理を行う拡大処理手段と、前記拡大処理手段によって拡大された不要成分情報と前記視差画像に基づいて、不要成分が低減された画像を生成する不要成分低減手段とを有し、前記不要成分決定手段は、前記視差画像の各位置における複数の前記差分情報間の最大値または最小値に基づいて、前記不要成分情報を決定する。

本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して複数の視差画像を出力する撮像手段と、複数の前記視差画像間の差分に関する複数の差分情報に基づいて、該視差画像に関する不要成分情報を決定する不要成分決定手段と、前記不要成分決定手段によって前記不要成分情報が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、前記不要成分決定手段によって決定された前記不要成分情報に対して縮小処理を行う縮小処理手段と、前記不要成分情報に対して拡大処理を行う拡大処理手段と、前記拡大処理手段によって拡大された不要成分情報と前記視差画像に基づいて、不要成分が低減された画像を生成する不要成分低減手段とを有し、前記不要成分決定手段は、前記視差画像の各位置における複数の前記差分情報間の最大値または最小値に基づいて、前記不要成分情報を決定する。

本発明の他の側面としての画像処理方法は、複数の視差画像間の差分に関する差分情報に基づいて、該視差画像に関する不要成分情報を決定するステップと、前記不要成分情報が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、決定された前記不要成分情報に対して縮小処理を行うステップと、前記不要成分情報に対して拡大処理を行うステップと、拡大された前記不要成分情報と前記視差画像に基づいて、不要成分が低減された画像を生成するステップとを有し、前記不要成分情報は、前記視差画像の各位置における複数の前記差分情報間の最大値または最小値に基づいて決定される。

本発明の他の側面としての画像処理プログラムは、複数の視差画像間の差分に関する差分情報に基づいて、該視差画像に関する不要成分情報を決定するステップと、前記不要成分情報が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、決定された前記不要成分情報に対して縮小処理を行うステップと、前記不要成分情報に対して拡大処理を行うステップと、拡大された前記不要成分情報と前記視差画像に基づいて、不要成分が低減された画像を生成するステップと、を有する画像処理をコンピュータに実行させるように構成されている画像処理プログラムであって、前記不要成分情報は、前記視差画像の各位置における複数の前記差分情報間の最大値または最小値に基づいて決定される。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、複数の撮像を行うことなく撮影画像に含まれる不要成分を効果的に決定し、処理負荷の軽減および高画質の維持が可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における画像処理方法の手順を示す図である。 実施例１における画像処理方法の手順を示す図である。 実施例１における画像処理方法による出力画像の一例である。 実施例１、２の撮像系において、撮像素子の受光部と光学系の瞳との関係図である。 実施例１、２における撮像系の模式図である。 実施例１における撮像装置のブロック図である。 実施例１における光学系の構成および光学系にて発生する不要光の説明図である。 実施例１における光学系の絞りを透過する不要光の説明図である。 縮小処理を行わない場合のノイズ量の説明図である。 実施例１における画像処理方法を示すフローチャートである。 実施例１における画像処理方法を示すフローチャートである。 実施例１における画像処理方法を示すフローチャートである。 実施例２における撮像装置のブロック図である。 実施例２における画像処理方法を示すフローチャートである。 実施例２における画像処理方法を示すフローチャートである。 実施例２における画像処理方法を示すフローチャートである。 実施例３、４における撮像素子を示す図である。 実施例３、４の撮像系において、撮像素子の受光部と光学系の瞳との関係図である。 実施例３における撮像系の模式図である。 実施例３における光学系の絞りを透過する不要光の説明図である。 実施例３における画像処理方法の手順を示す図である。 実施例３における画像処理方法を示すフローチャートである。 実施例４における画像処理方法の手順を示す図である。 実施例４における画像処理方法を示すフローチャートである。 実施例５における撮像系を示す図である。 実施例５における撮像系を示す図である。 実施例５における撮像系を示す図である。 従来の撮像素子を示す図である。 図２４の撮像系により得られた画像を示す図である。 図２５および図２６の撮像系により得られた画像を示す図である。 実施例５における撮像装置の例を示す図である。 実施例５における撮像装置の例を示す図である。 実施例６における不要成分低減処理領域の選択例を示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

各実施例において、複数の視差画像を生成可能な撮像装置は、光学系（撮像光学系）の瞳のうち互いに異なる領域を通過した複数の光束を、撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。

まず、本発明の実施例１について説明する。図３は、本実施例の撮像系における撮像素子の受光部と光学系の瞳との関係を示す図である。図３において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは光学系の射出瞳（瞳）であり、Ｐ１、Ｐ２は射出瞳ＥＸＰの領域である。Ｇ１、Ｇ２は画素（受光部）であり、１つの画素Ｇ１と１つの画素Ｇ２とが互いに対をなしている（画素Ｇ１、Ｇ２は１つのマイクロレンズＭＬを共有するように設けられている）。撮像素子には、画素Ｇ１と画素Ｇ２の対（画素対）が複数配列されている。対の画素Ｇ１と画素Ｇ２は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有する。各実施例において、撮像素子に配列された複数の画素Ｇ１、Ｇ２を、それぞれまとめて画素群Ｇ１、Ｇ２という場合がある。

図４は、本実施例における撮像系の模式図であり、図３に示されるマイクロレンズＭＬの代わりに、射出瞳ＥＸＰの位置に薄肉レンズが設けられていると仮定した場合の撮像系を示している。画素Ｇ１は、射出瞳ＥＸＰのうち領域Ｐ１を通過した光束を受光する。画素Ｇ２は、射出瞳ＥＸＰのうち領域Ｐ２を通過した光束を受光する。ＯＳＰは、撮像している物点である。物点ＯＳＰには、必ずしも物体が存在している必要はない。物点ＯＳＰを通った光束は、その光束が通過する瞳（射出瞳ＥＸＰ）内での位置（本実施例では領域Ｐ１または領域Ｐ２）に応じて、画素Ｇ１または画素Ｇ２のいずれかの画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられた画素Ｇ１、Ｇ２のうち、画素Ｇ１からの出力信号を用いて生成された画像と、画素Ｇ２からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割という場合がある。

また、図３および図４に示される射出瞳ＥＸＰの位置ずれなどにより、前述の共役関係が完全でなくなる場合や、領域Ｐ１、Ｐ２が部分的に互いに重複（オーバーラップ）する場合でも、各実施例において、得られた複数の画像を視差画像として扱う。また、画像を構成する最小要素を画素（ピクセル）と呼び（以降、撮像素子上の画素と区別するためにピクセルと呼ぶ）、各ピクセルは、数値によって光の強さや色を表す。各ピクセルの値を画素値という。画像は、画素値の容量や性質により、カラー画像、グレースケール画像、２値画像などの種類に分類される。

次に、図５を参照して、本実施例における画像処理方法を実行する撮像装置について説明する。図５は、本実施例における撮像装置２００の構成を示すブロック図である。光学系２０１（撮像光学系）は、絞り２０１ａおよびフォーカスレンズ２０１ｂを含み、不図示の被写体からの光を撮像素子２０２上に結像（集光）させる。撮像素子２０２（撮像手段）は、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子により構成され、図３および図４を参照して説明した瞳内の互いに異なる領域を通過した光束を、各領域に対応する画素（受光部）にて受光する（瞳分割を行う）。このように撮像素子２０２は、光学系２０１を介して形成された被写体像（光学像）を光電変換し、複数の視差画像である画像信号（アナログ電気信号）を出力する。Ａ／Ｄコンバータ２０３は、撮像素子２０２から出力されたアナログ電気信号をデジタル信号に変換し、デジタル信号を画像処理部２０４に出力する。

画像処理部２０４は、デジタル信号に対して、一般的に行われる画像処理を行うとともに、不要光（不要成分）の決定処理および不要光を低減または除去する補正処理を行う。本実施例において、画像処理部２０４は、撮像装置２００に搭載された画像処理装置に相当する。また画像処理部２０４は、不要成分検出部２０４ａ（不要成分決定手段）、縮小処理部２０４ｂ（縮小処理手段）、拡大処理部２０４ｃ（拡大処理手段）、および、不要成分低減部２０４ｄ（不要成分低減手段）を有する。

不要成分検出部２０４ａは、視差画像を生成（取得）し、その視差画像から不要成分を検出（決定）する。縮小処理部２０４ｂは、画像の縮小処理を行う。拡大処理部２０４ｃは、縮小処理部２０４ｂにより縮小された画像を拡大し、画像を元のサイズに戻す。不要成分低減部２０４ｄは、各視差画像から不要成分を低減させる。なお本実施例において、視差画像の生成方法として、「画素群Ｇ１のみからなる画像」と「画素群Ｇ２のみからなる画像」のように最初から２つに分離した形で出力して生成することができる。または、「画素群Ｇ１のみからなる画像」と「画素群Ｇ１と画素群Ｇ２との合成画像」を最初に出力し、合成画像から画素群Ｇ１のみからなる画像を差し引くことにより画素群Ｇ２のみからなる画像に相当する画像を演算で求めてもよい。

画像処理部２０４で処理された出力画像（画像データ）は、半導体メモリや光ディスクなどの画像記録媒体２０９に保存される。また、画像処理部２０４からの出力画像を表示部２０５に表示することもできる。記憶部２０８は、画像処理部２０４による画像処理に必要な画像処理プログラムや各種情報などを記憶している。

システムコントローラ２１０（制御手段）は、撮像素子２０２の動作、画像処理部２０４での処理、および、光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の制御を行う。光学系制御部２０６は、システムコントローラ２１０からの制御指示に応じて、光学系２０１の絞り２０１ａおよびフォーカスレンズ２０１ｂの機械的な駆動を行う。絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じて、その開口径が制御される。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整（フォーカス制御）を行うために、不図示のオートフォーカス（ＡＦ）システムやマニュアルフォーカス機構によってその位置が制御される。状態検知部２０７は、システムコントローラ２１０の制御指示に応じて、現在の撮影条件情報を取得する。なお本実施例において、光学系２０１は、撮像素子２０２を備えた撮像装置２００の一部として（撮像装置２００と一体的に）構成されているが、これに限定されるものではない。本実施例は、一眼レフカメラのように、交換式の光学系（交換レンズ）を撮像装置本体に着脱可能に構成された撮像システムにも適用可能である。

図６は、光学系２０１の構成および光学系２０１にて発生する不要光の説明図である。図６（ａ）は、光学系２０１の具体的な構成例を示す。図６（ａ）において、ＳＴＰは絞り（絞り２０１ａに相当）、ＩＭＧは撮像面である。撮像面ＩＭＧの位置には、図５に示される撮像素子２０２が配置される。図６（ｂ）は、光学系２０１に高輝度物体の例としての太陽ＳＵＮから強い光が入射し、光学系２０１を構成するレンズの界面で反射した光が不要光（ゴーストやフレア）として撮像面ＩＭＧに到達する様子を示している。

図７は、絞りＳＴＰのうち、図４に示される画素Ｇ１、Ｇ２に入射する光束が通過する領域Ｐ１、Ｐ２（瞳領域または瞳分割領域）を示している。なお、絞りＳＴＰは、光学系２０１の射出瞳ＥＸＰ（光学系２０１の像面位置から見た虚像）に相当するものとして考えることができるが、実際には絞りＳＴＰと射出瞳ＥＸＰは互いに異なる。高輝度物体（太陽ＳＵＮ）からの光束は、絞りＳＴＰのほぼ全域を通過するが、画素Ｇ１、Ｇ２に入射する光束が通過する領域は、領域Ｐ１、Ｐ２（瞳領域）に分割される。図６（ｂ）に示される例では、高輝度物体からの光束は絞りＳＴＰの略上半分の領域を通過しており、図４を参照すると領域Ｐ１（瞳領域）を通過している状況である。この光束は、領域Ｐ１を通過した後、画素Ｇ１に入射する。

続いて、図１Ａ、図１Ｂ、および図２を参照して、撮像装置２００により生成される撮影画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定する方法について説明する。図１Ａ、図１Ｂは、本実施例における画像処理方法の手順を示す図である。図２は、本実施例における画像処理方法による出力画像の一例である。

図２（ａ）は、瞳分割を行わない撮像により生成された撮影画像を示している。この撮影画像には、ビルなどの建物とその周辺に存在する樹木とが被写体として写っている。図２（ａ）の撮影画像中に黒い四角部分として示されるＧＳＴは、不要光（ゴースト）の画像成分である不要成分（ゴースト成分）である。なお、図２（ａ）では不要成分ＧＳＴを黒く塗りつぶして示しているが、実際には、被写体がある程度透けている。また、不要成分は撮影被写体に不要光がかぶった状態であるため、撮影被写体よりも高輝度化する部分である。このことは、後述する他の実施例でも同様である。

図１Ａ（Ａ−１）および図１Ａ（Ｂ−１）は、それぞれ、領域Ｐ１、Ｐ２（瞳領域）を通過した光束を画素群Ｇ１、Ｇ２にて光電変換した結果として得られた一対の視差画像を示している。ここでは理解を容易にするため、画素群Ｇ１から得られる視差画像を図１Ａ（Ａ−１）、画素群Ｇ２から得られる視差画像を図１Ａ（Ｂ−１）として、分けて示している。しかし実際の処理では、このように画像として分けてから行ってもよく、または、各視差画像として分けてはいないがシステム上で画素群Ｇ１と画素群Ｇ２とが判別可能な状態の画像情報であってもよい。

これら一対の視差画像には、近距離被写体の場合、画像成分に視差に対応する差（被写体視差成分）が存在する。しかしながら、図１Ａに示されるような風景撮影による遠距離被写体の場合、被写体視差成分は微少量である。また、一対の視差画像にも黒い四角として模式的に示される不要成分ＧＳＴが含まれているが、その位置は視差画像間で互いに異なる。ここでは、不要成分ＧＳＴが互いにオーバーラップすることなく分離された状態の例を示しているが、オーバーラップしていて輝度差がある状態でもよい。すなわち、黒い四角の不要成分ＧＳＴの位置や輝度が互いに異なった状態であればよい。

図１Ａ（Ａ−１−１）および図１Ａ（Ｂ−１−１）は、それぞれ、図１Ａ（Ａ−１）および図１Ａ（Ｂ−１）に示される一対の視差画像に対して縮小処理を行った結果である。ここで縮小処理とは、画素間の間引き処理、周辺の複数の画素の画素値の平均化、または、ある重みを用いて複数の画素の画素値を１つの画素値にまとめる処理（いわゆる画素加算処理）などであるが、これらに限定されるものではない。縮小率は、元の視差画像のサイズに応じて適宜設定可能である。このとき、低減すべき不要成分が縮小処理後も残存すればよいため、不要成分の面積が十分大きい場合には元の画像サイズから１０分の１程度に縮小することができる。また、既知の手法により不要成分の大きさ（面積）がわかっている場合、不要成分が縮小処理でつぶれないように不要成分の大きさに応じて縮小率を決定して縮小処理を行ってもよい。

また本実施例において、縮小処理を行う前に平滑化処理を行ってもよい。これは、特に画素間の間引き処理などで縮小を行う際に、空間周波数で高周波成分を有する被写体がある場合、縮小処理後にモアレが発生する場合があるためである。これを防止するため、縮小処理を行う前の画像情報について縮小率に応じたローパスフィルタ処理を施すことが好ましい。具体的には、例えば縮小後の画像サイズから求まるナイキスト周波数をカットオフ周波数とし、ナイキスト周波数以上の高周波成分をカットするようなローパスフィルタを施すことが好ましい。また、その他の既知の処理でモアレ発生を低減させつつ縮小を行う処理は種々開示されている。本実施例の処理フロー中の縮小処理時にモアレ発生を低減できればよいため、単純なローパスフィルタに限定せず、縮小時のモアレ発生の低減を考慮した処理を縮小処理の前に行うか、または、縮小時のモアレ発生の低減を考慮した縮小処理を行えばよい。

図１Ａ（Ａ−２）は、縮小したこれら一対の視差画像に対して、図１Ａ（Ａ−１−１）を基準画像として図１Ａ（Ｂ−１−１）の画像を差し引いた状態の画像（差分情報の画像）を示す。この画像（差分画像または差分情報）には、一対の視差画像が有する差分として、被写体の視差成分と上述した不要成分とが含まれている。しかしながら、図１Ａに示されるような風景撮影による遠距離被写体の場合には、被写体視差成分は微少量であるため、その影響はほぼ無視することができる。同様に、図１Ａ（Ｂ−２）は、これら一対の視差画像に対して、図１Ａ（Ｂ−１−１）を基準画像として図１Ａ（Ａ−１−１）の画像を差し引いた状態の画像を示す。また、前述の差分計算により、図１Ａ（Ａ−１−１）に含まれる不要成分部分が負値として算出されるが、後段の不要成分低減処理の簡易化のため、図１Ａ（Ｂ−２）では負値を切り捨てている。そのため、図１Ａ（Ｂ−２）の差分画像は、図１Ａ（Ｂ−１−１）に含まれる不要成分のみを示していることになる（この例では、元々図１Ａ（Ｂ−１）には不要成分が無いため、図１Ａ（Ｂ−２）で抽出されていない）。このようにして、差分画像における不要成分のみを残存させる（換言すると、分離するまたは抽出する）処理を行うことにより、不要成分を決定することができる。また本実施例では、説明を容易にするため、「負値を切り捨てている」と記述したが、ベースノイズの低減処理や明るさのオフセット処理などである閾値を設け、その閾値よりも下回った場合は切り捨てる処理としてもよい。また、演算過程上は負値でも計算を進めることは可能であるため、切り捨てずに値として持っていても構わない。差分を取ったことでその画素値が負値（または、ある閾値以下）になったことが次のステップに進んでもわかっていればよい。これに関しては、以降の実施例でも同様である。

そして、出力すべき画像において、前述のようにして決定された不要成分を除去または低減する補正処理を行う。具体的には、図１Ａ（Ａ−１）、（Ｂ−１）の視差画像から、不要成分を差し引く処理を行う。しかし、図１Ａ（Ａ−２）、（Ｂ−２）の画像サイズは縮小されているため、縮小前の画像サイズ（図１Ａ（Ａ−１）、（Ｂ−１）と同じサイズ）に戻す必要がある。図１Ａ（Ａ−３）、（Ｂ−３）は、元の画像サイズに戻すために拡大処理を行った結果を示している。拡大処理は、単純に比例倍してもよいが、バイリニア法やバイキュービック法などに代表される補間処理も同時に行うのが好ましい。これにより、急激なエッジ段差の発生を回避することができ、次に行う不要成分低減処理後も高画質を維持することが可能となる。

図１Ａ（Ａ−４）は、図１Ａ（Ａ−１）から図１Ａ（Ａ−３）を差し引いた結果である。また、図１Ａ（Ｂ−４）は、図１Ａ（Ｂ−１）から図１Ａ（Ｂ−３）を差し引いた結果である。このように、不要成分が概ね無くなった各視差画像を得ることができる。また、不要成分を低減させた各視差画像（図１Ａ（Ａ−４）と図１Ａ（Ｂ−４））を合成することにより、図２（ｂ）に示されるような瞳分割を行わない撮像により生成された撮影画像で、かつ不要成分の低減された画像と同等の画像を生成することができる。

本実施例では、差分情報について片方の視差画像を基準として各々の視差画像間の差分画像（負値はゼロとした差分画像）を算出しているが、これに限定されるものではない。本実施例のように２視差の場合、図１Ａ（Ａ−１−１）を基準画像として図１Ａ（Ｂ−１−１）の画像を差し引いた状態の値の絶対値を差分情報（負値も考慮した差分絶対値情報）として保持してもよい。そして、図１Ａ（Ａ−１−１）と図１Ａ（Ｂ−１−１）の画像を足し合わせた画像から差分絶対値情報を差し引くことにより、前述と等価な結果が得られる。

具体的には、視差画像Ａを単にＡ、視差画像Ｂを単にＢと表記すると、以下の式（１）のように表される。

（Ａ−Ｂ）_０＋（Ｂ−Ａ）_０ ＝ │Ａ−Ｂ│ … （１）
式（１）において、（ ）_０とはカッコ内の式を計算した結果について、負の値があれば負の値は切り捨てて０値とすることを意味する。このように、差分情報を差分絶対値情報として保持することもでき、例えばより高速に処理可能な手法を用いればよい。

続いて、図１Ｂを参照して、前述した差分絶対値情報を用いて不要成分を決定し、更には除去または低減する方法について説明する。

図１Ｂ（Ｃ−１）および図１Ｂ（Ｄ−１）は、前述の図１Ａ（Ａ−１）および図１Ａ（Ｂ−１）とそれぞれ同じ画像である。図１Ｂ（Ｃ−１）および図１Ｂ（Ｄ−１）は、それぞれ、領域Ｐ１、Ｐ２（瞳領域）を通過した光束を画素群Ｇ１、Ｇ２にて光電変換した結果として得られた一対の視差画像を示している。ここでは理解を容易にするため、画素群Ｇ１から得られる視差画像を図１Ｂ（Ｃ−１）、画素群Ｇ２から得られる視差画像を図１Ｂ（Ｄ−１）として、分けて示している。そして、図１Ｂ（Ｅ−１）は、図１Ｂ（Ｃ−１）と図１Ｂ（Ｄ−１）について平均化処理を行った画像である。平均化処理とは図１Ｂ（Ｃ−１）と図１Ｂ（Ｄ−１）の対応する各座標の画素値を足して２で割った値を図１Ｂ（Ｅ−１）の対応する各座標の画素値としたものである。また図１Ｂ（Ｅ−１）は、図２（ａ）の画像と等価な画像でもある。

図１Ｂ（Ｃ−１−１）および図１Ｂ（Ｄ−１−１）は、それぞれ、図１Ｂ（Ｃ−１）および図１Ｂ（Ｄ−１）に示される一対の視差画像に対して縮小処理を行った結果である。図１Ｂ（Ｃ−２）は、縮小したこれら一対の視差画像に対して、図１Ｂ（Ｃ−１−１）と図１Ｂ（Ｄ−１−１）の画像について式（１）の右辺に示すように差分絶対値処理を施した結果である。この画像（差分情報または差分絶対値情報）には、一対の視差画像が有する差分として、被写体の視差成分と前述の不要成分とが含まれている。しかしながら、図１Ｂに示されるような風景撮影による遠距離被写体の場合には、被写体視差成分は微少量であるため、その影響はほぼ無視することができる。

図１Ｂ（Ｃ−３）は、元の画像サイズに戻すために拡大処理を行った結果を示している。図１Ｂ（Ｃ−４）は、図１Ｂ（Ｅ−１）から図１Ｂ（Ｃ−３）を差し引いた結果である。このように、差分絶対値情報を使用しても不要成分が概ね無くなった各視差画像を得ることができる。以上は、後述の実施例２でも同様である。

以上のように、これらの処理工程では画像同士の差分演算を行う必要があり、不要成分低減処理まで含めると複数回差分演算を行う必要がある。この場合、差分結果を一時保存するバッファも複数枚の画像データ量が必要となって大きなメモリ容量が必要であり、かつ、その分処理負荷も大きくなる。しかしながら、前述の縮小処理を行うことにより、差分演算領域を少なくすることができ、処理負荷も軽減すること可能となる。また、本実施例がターゲットにしている不要成分は、ある程度面積が大きいため、元の画像サイズの長辺方向が２０００ピクセルを超えるような高精細画像の場合、縮小率も１０分の１など大幅に縮小しても効果が維持できる場合が多い。このため、縮小処理を行うことにより、大幅な処理負荷の軽減が期待できる。

また、縮小処理を行うことにより、ノイズ低減効果を発揮することができる。本実施例の縮小拡大処理を行わない場合、不要成分の低減処理を行うと、元の視差画像よりもノイズが増大されてしまうことがある。これは、得られる視差画像間でそれぞれノイズ量やノイズパターンが異なるためである。このノイズ増大現象について、図８を参照して、簡単に説明する。図８は、縮小処理を行わない場合のノイズ量の説明図である。

図８（Ａ）、（Ｂ）は、グレーの一様な被写体を撮像して得られた視差画像の同一座標のある一部分を（１０×１０ピクセル）を切り出した図である。実際には、ＲＧＢの３チャンネルが存在するが、説明を簡単にするため、Ｇの画素値のみを例示している。撮像系は、図４に示されるような形式であり、瞳分割を行わない撮像系であれば、１画素に集光する光が画素Ｇ１と画素Ｇ２に分かれて入力されることにより２つの視差画像が得られる系である。瞳分割を行わない撮像により生成された撮影画像と同じ画像を得ようとすれば、画素Ｇ１および画素Ｇ２で得られる画素値を足し合わせればよい。

例えば図８において、図８（Ａ）は画素Ｇ１で得られた画素値を示し、図８（Ｂ）は画素Ｇ２で得られた画素値を示している。また、合焦面上に存在する輝度が一様な平面被写体を撮像しているため、視差成分については無視することができる。輝度が一様な被写体を撮像したにもかかわらず、図８（Ａ）、（Ｂ）が一定の割合でバラツキを有するのは、撮像素子内で発生したノイズの影響である。このとき、図８（Ａ）の１０×１０ピクセル内の画素値平均値が６２．６、バラツキ度合いを示す標準偏差の値が２．９８である。また、図８（Ｂ）の１０×１０ピクセル内の画素値平均値が６２．６、バラツキ度合いを示す標準偏差の値が２．１７である。この例では、ノイズの挙動を説明するための簡易モデルであるため、低減すべき不要成分（ゴースト成分）は描かれていない。

図８（Ｃ）は、図８（Ａ）、（Ｂ）の同じ座標の数値を足し合わせた図であり、これが前述の「瞳分割を行わない撮像により生成された撮影画像」に相当する。このときの画素値平均値は１２５．１、標準偏差は３．９１である。また、図８（Ｄ）、（Ｅ）は、前述の「不要成分の決定処理」を行った結果を示している。具体的には、図８（Ｄ）は、図８（Ａ）から図８（Ｂ）の同一の座標同士を引いた結果であり、図８（Ｅ）は、図８（Ｂ）から図８（Ａ）の同一の座標同士を引いた結果である。ここで、差分演算を行った際に、数値がマイナスになる座標については、０（ゼロ）に置き換えている。

図８（Ｆ）、（Ｇ）は、前述の「不要成分の低減処理」を行った結果を示している。具体的には、図８（Ｆ）は元の視差画像（図８（Ａ））から不要成分画像（図８（Ｄ））を引いた結果であり、図８（Ｇ）は元の視差画像（図８（Ｂ））から不要成分画像（図８（Ｅ））を引いた結果である。図８（Ｈ）は、図８（Ｆ）、（Ｇ）の同一座標同士の数値を足し合わせた結果である。図８（Ｈ）は、最終的な「不要成分を低減した画像」である。このように最初の差分をとった際（図８（Ｄ）、（Ｅ））に負値を切り捨ててゼロに置き換えているため、不要成分の低減処理後の画像（図８（Ｆ）、（Ｇ））は、元の視差画像よりも必ず暗くなる。またノイズ成分については、不要成分の低減処理後にノイズ成分が少なくなるピクセルもあるが元よりも大きくなるピクセルも多く存在するため、総合的には標準偏差に関しても、図８（Ｃ）よりも図８（Ｈ）のほうが大きくなる。ノイズ分布の確率的には、「瞳分割を行わない撮像により生成された撮影画像」よりも「不要成分を低減処理した画像」ほうが標準偏差の値が小さくなる解も存在する。しかしながら、画像サイズが大きくなればなるほど、全画面で「瞳分割を行わない撮像により生成された撮影画像」もノイズが改善される確率は極めて低い。そして、前述のように差分演算を行って「不要成分を低減処理した画像」を作るため、「瞳分割を行わない撮像により生成された撮影画像」よりもノイズの振幅の最大値と最小値の差が広がる可能性が非常に高く、ノイズが増大して見えてしまう。

このような理由により、「不要成分を低減処理した画像」は、「瞳分割を行わない撮像により生成された撮影画像」よりもノイズ量が増大し、画質が劣化する場合がある。

次に、図９を参照して、本実施例における画像処理方法（不要成分の決定処理および不要成分の低減処理）について説明する。図９は、画像処理方法を示すフローチャートである。図９の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

まずステップＳ１１において、システムコントローラ２１０は、光学系２０１および撮像素子２０２により構成される撮像部を制御して被写体を撮像する。画像処理部２０４は、撮影画像を入力画像として取得する。

続いてステップＳ１２において、画像処理部２０４は、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を用いて、一対の視差画像を生成する。ここで画像処理部２０４では、視差画像を生成するため、通常の現像処理や各種の画像補正処理を実施してもよい。また、ステップＳ１２において、視差画像として「画素群Ｇ１のみからなる画像」、「画素群Ｇ２のみからなる画像」のように別個の画像として視差画像を生成することもでき、画像としては画素群Ｇ１と画素群Ｇ２とが混在した１枚の画像でもよい。いずれの画素群がいずれの視差画像に対応するかを把握できればよい。

続いてステップＳ１３において、画像処理部２０４（縮小処理部２０４ｂ）は、ステップＳ１２にて生成された視差画像に対して縮小処理を行う。縮小処理における縮小率は、元の視差画像のサイズに応じて適宜設定される。このとき、低減すべき不要成分が縮小処理後も残存すればよいため、不要成分の面積が十分大きい場合、元の画像サイズから１０分の１程度に縮小することができる。この場合においても、別個の画像として生成した後の視差画像を縮小することができ、または、各視差が混在した１枚の画像を縮小してもよい。画像を縮小することにより、処理負荷の軽減だけでなく、前述のようにノイズが平滑化されるノイズ低減の効果もあるため、最終的に出力される不要成分低減画像の高画質化にもつながる。また、縮小処理部２０４ｂ内に不図示の平滑化部を設け、ステップＳ１２とステップＳ１３との間に、縮小処理の際のモアレ発生防止のために縮小率に応じたローパスフィルタ処理を施してもよい。

続いてステップＳ１４において、画像処理部２０４（不要成分検出部２０４ａ）は、一対の視差画像の差分情報を求める。すなわち画像処理部２０４は、図１Ａ（Ａ−１−１）を基準画像とした差分画像（図１Ａ（Ａ−２））、および、図１Ａ（Ｂ−１−１）を基準画像とした差分画像（図１Ａ（Ｂ−２））を生成する。撮像面に到達した不要光が光学系の互いに異なる瞳領域を通過する場合、図１Ａ（Ａ−１）および図１Ａ（Ｂ−１）に示されるように、視差画像ごとに不要成分の発生有無や発生位置が異なる。このため、単純な差分画像では、不要成分の差分値は正および負の値をとる。例えば本実施例では、差分画像（図１Ａ（Ａ−２））を生成するために図１Ａ（Ａ−１−１）から図１Ａ（Ｂ−１−１）を差し引いた場合、図１Ａ（Ａ−１−１）に含まれる不要成分部分は正の値となり、図１Ａ（Ｂ−１−１）に含まれる不要成分は負の値となる。

本実施例では、後段で説明する不要成分低減処理の簡易化のため、前記の負の値を切り捨てて０値とする処理を実施する。このため、図１Ａ（Ａ−２）においては、図１Ａ（Ａ−１−１）に含まれる不要成分のみが正値として検出される。差分画像図１Ａ（Ｂ−２）についても同様の処理を実施することにより、図１Ａ（Ｂ−２）には図１Ａ（Ｂ−１−１）に含まれる不要成分のみが正値として検出される。また、近距離被写体を含む画像について差分情報を求める際に、被写体視差成分を除去するため、一対の視差画像の位置合わせを行う処理を実施してもよい。位置合わせは、一対の視差画像のうち一方の画像に対して他方の画像の位置を相対的にシフトしながらこれら画像間の相関が最大となるシフト位置を決定することで行うことができる。また、視差画像間の差分の２乗和が最小化するシフト位置を決定することで行ってもよい。さらに、視差画像中の合焦領域を位置合わせのためのシフト位置の決定の対象としてもよい。また、予めそれぞれの視差画像においてエッジ検出を行い、検出されたエッジを示した画像を用いて位置合わせのためのシフト位置を決定してもよい。この方法によると、合焦領域はコントラストの高いエッジが検出され、背景のような非合焦領域はコントラストが低く、エッジとして検出されにくいため、必然的に合焦領域が重視されたシフト位置の決定が行われる。また差分情報として前述のように差分絶対値情報でも等価な結果となる。

続いてステップＳ１５において、画像処理部２０４（不要成分検出部２０４ａ）は、ステップＳ１４にて得られた差分画像中に残存した成分を不要成分（不要成分情報）と決定する。

続いてステップＳ１６において、画像処理部（拡大処理部２０４ｃ）は、元の画像サイズに戻すための拡大処理を行う。拡大処理の際には、単純に比例倍の拡大を行ってもよいが、バイリニア法やバイキュービック法などに代表される補間処理を行うことが好ましい。これにより、急激なエッジ段差の発生を回避することができ、後段での不要成分を低減した際にも高画質を維持することができるため、好ましい。拡大処理した結果は、図１Ａ（Ａ−３）および図１Ａ（Ｂ−３）に対応する。

続いてステップＳ１７において、画像処理部２０４（不要成分低減部２０４ｄ）は、出力すべき画像から不要成分を低減（または除去）する補正処理を行う。ここでは、出力すべき画像として、図１Ａ（Ａ−４）と図１Ａ（Ｂ−４）に示される画素Ｇ１、画素Ｇ２をそれぞれ１画素とすることで得られる各視差画像を生成する。この場合、ステップＳ１４にて負の値を切り捨てて０値とすることにより、各視差画像に含まれる不要成分のみが正値として検出されている。このため、単純に各視差画像からそれぞれの差分画像を差し引くことにより、不要成分を除去することができる。本実施例では、図１Ａ（Ａ−１）の視差画像から図１Ａ（Ａ−３）の差分画像を差し引き、図１Ａ（Ｂ−１）の視差画像から図１Ａ（Ｂ−３）の差分画像を差し引くことに相当する。

最後に、ステップＳ１８において、画像処理部２０４は出力画像を生成する。そしてシステムコントローラ２１０は、図１Ａ（Ａ−４）および図１Ａ（Ｂ−４）に示されるように不要成分が除去（低減）された出力画像を、画像記録媒体２０９に保存し、または表示部２０５に表示する。また、不要成分（ゴースト成分）を除去した各視差画像を合成することにより、図２（ｂ）に示される不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を出力することもできる。

また本実施例において、縮小処理を行う順序の変形例として、図１０に示されるように、差分情報を生成した後に縮小処理を行うようにしてもよい。図１０は、本実施例の変形例としての画像処理方法を示すフローチャートである。図１０のフローチャートは、縮小処理（ステップＳ１３）が差分情報を生成（ステップＳ１４）した後に実行される点で、図９のフローチャートと異なる。この場合、不要成分を決定する際の計算処理負荷を軽減することができるとともに、縮小処理により発生する細かなノイズ成分を低減することができる。

更なる変形例として、図１１に示されるように、不要成分を決定した後に縮小処理を行ってもよい。図１１は、本実施例の更なる変形例としての画像処理方法を示すフローチャートである。図１１のフローチャートは、縮小処理（ステップＳ１３）が不要成分を決定（ステップＳ１５）した後に実行される点で、図９のフローチャートと異なる。この場合、縮小処理の直後に拡大処理を行うため、計算処理負荷の軽減効果は期待できないが、縮小処理により発生する細かなノイズ成分を低減することができる。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく差分情報から不要光（ゴースト）により形成された不要成分を決定する際に、画像処理における計算負荷量を軽減することができる。また、決定された不要成分を低減または除去した場合でも高画質を維持することが可能となる。

次に、図１２を参照して、本発明の実施例２における撮像装置について説明する。図１２は、本実施例における画像処理方法を実行可能な撮像装置２００ａのブロック図である。撮像装置２００ａは、画像処理部２０４が画像のノイズを低減するためのノイズ低減部２０４ｅ（ノイズ低減手段）を有する点で、図５を参照して説明した実施例１の撮像装置２００とは異なる。他の構成は、実施例１の撮像装置２００と同一であるため、その説明は省略する。

次に、図１３を参照して、本実施例における画像処理方法について説明する。図１３は、本実施例における画像処理方法を示すフローチャートである。図１３の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。本実施例の画像処理方法は、図９を参照して説明した実施例１の画像処理方法に、平滑化処理を行うステップ（ステップＳ２１）が追加されている点で、実施例１の画像処理方法と異なる。他の処理は、実施例１と同一であるため、その説明は省略する。

図１３において、ステップＳ１１〜Ｓ１５は、図９のステップＳ１１〜Ｓ１５と同様である。続いてステップＳ２１において、画像処理部２０４（ノイズ低減部２０４ｅ）は、ステップＳ１５にて得られた不要成分のノイズを低減するために平滑化処理を行う。平滑化処理の手法は、既知の手法を用いることができ、バイラテラルフィルタなどに代表されるような、エッジ部分が保持される平滑化フィルタを用いることが好ましい。ガウシアンフィルタのように一様にぼかすタイプのフィルタでは、後の不要成分を低減するための差分処理を行った際にエッジ部分に黒沈みなどの弊害が発生する場合があるためである。また、本実施例のように縮小処理を行った後に平滑化処理を行うことにより、縮小処理では十分に低減することができない比較的大きなブロックノイズなどを平滑化処理で低減することが可能となる。図１３において、続くステップＳ１６〜Ｓ１８は、図９のステップＳ１６〜Ｓ１８と同様である。

また本実施例において、平滑化処理を行う順序の変形例として、図１４に示されるように、差分情報を生成した後に縮小処理を行うようにしてもよい。図１４は、本実施例の変形例としての画像処理方法を示すフローチャートである。図１４のフローチャートは、平滑化処理（ステップＳ２１）が差分情報を生成（ステップＳ１４）した後に実行される点で、図１３のフローチャートと異なる。この場合、平滑化処理を行う画像の枚数は増加するが、ノイズ低減効果は図１３のフローチャートの場合と同等の効果が得られる。

更なる変形例として、図１５に示されるように、差分情報を生成する前に平滑化処理を行ってもよい。図１５は、本実施例の更なる変形例としての画像処理方法を示すフローチャートである。図１５のフローチャートは、平滑化処理（ステップＳ２１）が差分情報を生成（ステップＳ１４）する前に実行される点で、図１３のフローチャートと異なる。この場合でも、ノイズ低減効果は図１３のフローチャートの場合と同等の効果が得られる。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく差分情報から不要光（ゴースト）により形成された不要成分を決定する際に、画像処理における計算負荷量を軽減することができる。また、平滑化処理を加えることにより、決定された不要成分を低減または除去した場合でも更に高画質を維持することが可能となる。

次に、本発明の実施例３（複数の瞳分割）について説明する。

図１７は、撮像系における撮像素子の受光部と光学系の瞳との関係を示す図である。図１７において、ＭＬはマイクロレンズ、ＣＦはカラーフィルタである。ＥＸＰは、光学系の射出瞳である。Ｇ１、Ｇ２、Ｇ３、Ｇ４は、受光部（画素Ｇ１、画素Ｇ２、画素Ｇ３、画素Ｇ４）であり、画素Ｇ１〜Ｇ４で１つの画素組を構成している。撮像素子には、画素Ｇ１〜Ｇ４の組（画素組）が複数配列されている。画素Ｇ１の紙面奥側に画素Ｇ３が、画素Ｇ２の紙面奥側に画素Ｇ４が２次元的に配置されている（不図示）。画素Ｇ１〜Ｇ４は、共通の（すなわち、画素組ごとに１つずつ設けられた）マイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。撮像素子に配列された複数の画素Ｇ１をまとめて画素群Ｇ１といい、同様に撮像素子に配列された複数の画素Ｇ２をまとめて画素群Ｇ２という（画素Ｇ３、Ｇ４についても同様）。図１６は、マイクロレンズＭＬを射出瞳ＥＸＰ側から見た図である。

図１８は、本実施例における撮像系の模式図であり、撮像している物点ＯＳＰと射出瞳ＥＸＰと撮像素子との結像関係を示している。画素Ｇ１は射出瞳ＥＸＰのうち領域Ｐ１を通過した光束を受光し、画素Ｇ２は射出瞳ＥＸＰのうち領域Ｐ２を通過した光束を受光する。領域Ｐ１の紙面方向の奥側に領域Ｐ３、領域Ｐ２の紙面方向の奥側に領域Ｐ４が２次元的に存在する（不図示）。物点ＯＳＰには必ずしも物体が存在している必要は無く、この点を通った光束はそれが通過する瞳内での領域（位置）に応じて画素Ｇ１〜Ｇ４のいずれかに入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられた画素Ｇ１〜Ｇ４のうち、画素Ｇ１〜Ｇ４からの出力信号を用いて生成された４つの画像は互いに視差を有する複数の視差画像となる。図１９は、射出瞳ＥＸＰをマイクロレンズＭＬ側から見た図である。また、図１７および図１８において、射出瞳ＥＸＰの位置がずれるなどにより、前述の共役関係が完全ではなくなった場合や、例えば領域Ｐ１と領域Ｐ２とが部分的にオーバーラップした場合でも、得られた複数の画像を視差画像として扱う。なお、本実施例における画像処理方法を実行可能な撮像装置の基本構成や光学系は、図１２を参照して説明した実施例２の撮像装置２００ａおよび図６を参照して説明した光学系２０１と同様であるため、それらの説明は省略する。

次に、図２０を参照して、撮像装置２００ａによる撮像により生成される撮影画像において、不要光が光電変換されることにより現れる画像成分である不要成分を決定する方法について説明する。図２０は、本実施例における画像処理方法の手順を示す図である。なお本実施例において、瞳分割を行わない撮像により生成された撮影画像は図２（ａ）と同様である。

図２０（Ａ−１）、図２０（Ｂ−１）、図２０（Ｃ−１）、図２０（Ｄ−１）はそれぞれ、瞳領域Ｐ１、Ｐ２、Ｐ３、Ｐ４を通過した光束を画素群Ｇ１、Ｇ２、Ｇ３、Ｇ４にて光電変換した結果として得られた一組の視差画像を示す。また、一組の視差画像に黒い四角として模式的に示す不要成分ＧＳＴが含まれおり、その位置は、図２０（Ａ−１）と図２０（Ｂ−１）の一部（左上部）が同じ位置においてオーバーラップしている。また、図２０（Ａ−１）と図２０（Ｃ−１）においては、全ての不要成分位置が異なっている。図２０（Ｄ−１）では、不要成分は発生していない。

図２０（Ａ−１−１）、（Ｂ−１−１）、（Ｂ−１−１）、（Ｂ−１−１）は、それぞれの視差画像に対して、縮小処理を行った結果である。縮小処理の前に、実施例１、２で説明したようにモアレ発生防止のためにローパスフィルタ処理などの平滑化処理を行ってもよい。

図２０（Ａ−２）は、一組の視差画像に対して、図２０（Ａ−１−１）を基準画像として図２０（Ｂ−１−１）の画像を差し引いた差分情報の画像である。この画像には、実施例１と同様に、差分情報として、被写体の視差成分と上述した不要成分とが含まれている。ここで前述のように、図２０（Ａ−１）と図２０（Ｂ−１）では一部で同じ位置に不要成分がオーバーラップしているため、差分情報には検出されない不要成分が存在する。このように、同じ位置に生じている不要成分は差分画像には現れない。すなわち、２画像間だけの差分情報だけでは、検出することができない不要成分が存在する。しかしながら、本実施例のように複数の視差画像の差分情報を取得することにより、例えば図２０（Ｃ−１）のように１つの視差画像でも基準画像と異なる位置に不要成分が生じていれば、その不要成分を効果的に検出することが可能となる。

また、図２０（Ａ−３）は、一組の視差画像に対して、図２０（Ａ−１−１）を基準画像として図２０（Ｃ−１−１）の画像を差し引いた差分画像である。この画像には、実施例１と同様に、差分情報として、被写体の視差成分と前述の不要成分とが含まれている。また、実施例１と同様に、差分計算により、図２０（Ｃ−１−１）に含まれる不要成分部分が負値として算出されるが、後段の不要成分低減処理の簡易化のため、図２０（Ａ−３）では負値を切り捨てている。これは、以下の全ての差分画像に関しても同様である。このため、図２０（Ａ−３）の差分画像は、図２０（Ａ−１−１）に含まれる不要成分のみを示していることとなる。

また、図２０（Ａ−４）は、一組の視差画像に対して、図２０（Ａ−１−１）を基準画像として図２０（Ｄ−１−１）の画像を差し引いた差分画像である。図２０（Ａ−１−１）と図２０（Ｄ−１−１）は不要成分の有無が異なるため、図２０（Ａ−３）と同様に、図２０（Ａ−４）は図２０（Ａ−１−１）に含まれる不要成分のみを示していることとなる。

また、図２０（Ａ−５）は、２次元データとして取得されている差分情報である図２０（Ａ−２）、（Ａ−３）、（Ａ−４）の差分画像内の各画素位置における差分情報間の最大値を抽出した情報（差分最大値情報または差分最大値画像）である。本実施例では、その画像情報は、図２０（Ａ−３）、（Ａ−４）と同値の情報となり、図２０（Ａ−１−１）に含まれる不要成分位置とその不要成分量となる。

同様に、図２０（Ｂ−２）は、これら一組の視差画像に対して、図２０（Ｂ−１−１）を基準画像として図２０（Ａ−１−１）の画像を差し引いた差分画像である。図２０（Ｂ−３）は、一組の視差画像に対して、図２０（Ｂ−１−１）を基準画像として図２０（Ｃ−１−１）の画像を差し引いた差分画像である。図２０（Ｂ−４）は、一組の視差画像に対して、図２０（Ｂ−１−１）を基準画像として図２０（Ｄ−１−１）の画像を差し引いた差分画像である。図２０（Ｂ−５）は、２次元データとして取得されている差分情報である図２０（Ｂ−２）、（Ｂ−３）、（Ｂ−４）の差分画像内の各画素位置における差分情報間の最大値を抽出した差分最大値情報である。本実施例では、その画像情報は図２０（Ｂ−３）、（Ｂ−４）と同値の情報となり、図２０（Ｂ−１−１）に含まれる不要成分位置とその不要成分量となる。

同様に、図２０（Ｃ−２）は、一組の視差画像に対して、図２０（Ｃ−１−１）を基準画像として図２０（Ａ−１−１）の画像を差し引いた差分画像である。図２０（Ｃ−３）は、一組の視差画像に対して、図２０（Ｃ−１−１）を基準画像として図２０（Ｂ−１−１）の画像を差し引いた差分画像である。図２０（Ｃ−４）は、一組の視差画像に対して、図２０（Ｃ−１−１）を基準画像として図２０（Ｄ−１−１）の画像を差し引いた差分画像である。図２０（Ｃ−５）は、２次元データとして取得されている差分情報である図２０（Ｃ−２）、（Ｃ−３）、（Ｃ−４）の差分画像内の各画素位置における差分情報間の最大値を抽出した差分最大値情報である。本実施例では、その画像情報は図２０（Ｃ−２）、（Ｃ−３）、（Ｃ−４）と同値の情報となり、図２０（Ｃ−１−１）に含まれる不要成分位置とその不要成分量となる。

同様に、図２０（Ｄ−２）は、一組の視差画像に対して、図２０（Ｄ−１−１）を基準画像として図２０（Ａ−１−１）の画像を差し引いた差分画像である。図２０（Ｄ−３）は、一組の視差画像に対して、図２０（Ｄ−１−１）を基準画像として図２０（Ｂ−１−１）の画像を差し引いた差分画像である。図２０（Ｄ−４）は、一組の視差画像に対して、図２０（Ｄ−１−１）を基準画像として図２０（Ｃ−１−１）の画像を差し引いた差分画像である。図２０（Ｄ−５）は、２次元データとして取得されている差分情報である図２０（Ｄ−２）、（Ｄ−３）、（Ｄ−４）の差分画像内の各画素位置における差分情報間の最大値を抽出した差分最大値情報である。本実施例では、その画像情報は図２０（Ｄ−２）、（Ｄ−３）、（Ｄ−４）と同値の情報となり、図２０（Ｄ−１−１）には不要成分が発生していないため何も検出されていない。

次に、図２０（Ａ−５）、（Ｂ−５）、（Ｃ−５）、（Ｄ−５）の各画像を合成する。図２０（Ｆ−１）は、合成画像に対して平滑化処理を行った結果である。図２０（Ｆ−２）は、更に、縮小処理を行う前の画像サイズに戻すために拡大処理を行った結果である。そして、出力すべき画像において、前述のようにして決定された不要成分を除去または低減する補正処理を行う。これにより、図２０（Ｇ−１）示されるように不要成分が概ね無くなった各視差画像を得ることができる。具体的には、各視差画像図２０（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）を合成した画像（図２０（Ｅ−１））を用意し、図２０（Ｅ−１）から図２０（Ｆ−２）を差し引く。これにより、図２（ｂ）に示される不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。

次に、図２１を参照して、本実施例における画像処理方法について説明する。図２１は、本実施例における画像処理方法を示すフローチャートである。図２１の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。本実施例の画像処理方法は、図１３を参照して説明した実施例２の画像処理方法に、各視差画像の差分情報の最大値を抽出するステップ（ステップＳ３１）が追加されている点で、実施例２の画像処理方法と異なる。他の処理は、実施例２と同一であるため、その説明は省略する。

図２１において、ステップＳ１１〜Ｓ１３は、図１３のステップＳ１１〜Ｓ１３と同様である。続いてステップＳ１４において、画像処理部２０４（不要成分検出部２０４ａ）は、一組の視差画像について、各視差画像を基準画像とした差分情報を求める。すなわち、図２０（Ａ−１−１）を基準画像とした差分画像図２０（Ａ−２）、（Ａ−３）、（Ａ−４）を生成する。また画像処理部２０４は、図２０（Ｂ−１−１）を基準画像とした差分画像図２０（Ｂ−２）、（Ｂ−３）、（Ｂ−４）を生成する。また画像処理部２０４は、図２０（Ｃ−１−１）を基準画像とした差分画像図２０（Ｃ−２）、（Ｃ−３）、（Ｃ−４）を生成する。また画像処理部２０４は、図２０（Ｄ−１−１）を基準画像とした差分画像図２０（Ｄ−２）、（Ｄ−３）、（Ｄ−４）を生成する。

撮像面に到達した不要光が光学系の互いに異なる瞳領域を通過する場合、図２０（Ａ−１）および図２０（Ｃ−１）に示されるように、視差画像ごとに不要成分の発生位置が異なる。このため、単純な差分画像では、不要成分の差分値は正および負の値をとる。例えば本実施例において、差分画像図２０（Ｃ−２）を生成する図２０（Ｃ−１−１）から図２０（Ａ−１−１）を差し引いた場合、図２０（Ａ−１−１）に含まれる不要成分部分は負の値となる。ここで本実施例では、後段で説明する不要成分低減処理の簡易化のため、前述の負の値を切り捨てて０値とする処理を行う。このため、図２０（Ｃ−１−１）に含まれる不要成分のみが正値として検出される。各差分画像についても同様の処理を行うことにより、各基準画像に含まれる不要成分のみが正値として検出される。一方、図２０（Ｄ−１−１）のように不要成分が発生していない場合、差分情報に不要成分は検出されない。

続いてステップＳ３１において、画像処理部２０４（不要成分検出部２０４ａ）は、ステップＳ１４にて得られた各視差画像を基準画像とした差分画像内の各画素位置における差分情報間の最大値を抽出する。ここで、複数の差分情報間の最大値を抽出する効果について説明する。本実施例のように、図２０（Ａ−１）と図２０（Ｂ−１）では、一部の不要成分が同じ位置にオーバーラップしている。このように、光学系や高輝度光源位置によっては視差画像間でも同じ位置に不要成分が生じる場合が存在する。このような場合、この２画像の差分を算出しても不要成分部分も０値となってしまう。すなわち、２画像間だけの差分情報だけでは、検出することができない不要成分が存在する。そこで本実施例では、複数の視差画像の差分情報を取得することにより、例えば図２０（Ｃ−１）のように１つの視差画像でも基準画像と異なる位置に不要成分が生じていれば、図２０（Ｂ−３）のようにその不要成分を効果的に検出することを可能としている。このように、差分情報を取得し、その差分情報間の差分最大値情報を抽出することにより、１つでも視差画像間で不要成分の位置が異なる画像が存在すれば、不要成分の位置と量を確実に検出することができる。

続いてステップＳ１５において、画像処理部２０４（不要成分検出部２０４ａ）は、ステップＳ３１にて得られた差分最大値画像中に残存した成分を不要成分と決定する。図２０（Ｆ−１）に示されるように１枚の画像に合成するステップを挿入することにより、後段の処理が合成された１枚の画像について行うことができる。このため、処理負荷を更に軽減することができ、より好ましい。

続いてステップＳ２１において、画像処理部２０４（ノイズ低減部２０４ｅ）は、ステップＳ３１にて得られた差分最大値画像、または、合成画像（図２０（Ｆ−１）に対応）に対して平滑化処理を行う。平滑化処理については、実施例２と同様の処理であるため、詳細の説明は省略する。

続いてステップＳ１６において、画像処理部２０４（拡大処理部２０４ｃ）は、縮小処理を行う前の画像サイズに戻すために拡大処理を行う。拡大処理では、単純に比例倍することができるが、バイリニア法やバイキュービック法などに代表される補間処理を行うことが好ましい。これにより、急激なエッジ段差の発生を回避することができ、後段での不要成分を低減した際に高画質を維持することができるため、好ましい。

続いてステップＳ１７において、画像処理部２０４（不要成分低減部２０４ｄ）は、出力すべき画像から不要成分を低減（または除去）する補正処理を行う。そして、出力すべき画像として、図２０（Ａ−５）、図２０（Ｂ−５）、図２０（Ｃ−５）、図２０（Ｄ−５）に示されるように、画素Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４をそれぞれお１画素とすることで得られる各視差画像を生成する。このとき、ステップＳ１４にて負の値を切り捨てて０値とすることにより、各視差画像に含まれる不要成分のみが正値として検出されている。このため、単純に各視差画像から夫々の差分画像を差し引くことにより、不要成分を除去することができる。本実施例では、例えば、図２０（Ａ−１）の視差画像から図２０（Ａ−５）の差分最大値画像を差し引くことに相当する。しかしながら、このままでは、図２０（Ｂ−１）の視差画像から図２０（Ｂ−５）差分最大値画像を差し引くなど４回の差分演算が必要となる。そこで、最初に図２０（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）を合成した図２０（Ｅ−１）を用意し、図２０（Ｅ−１）から前述のように図２０（Ａ−５）、（Ｂ−５）、（Ｃ−５）、（Ｄ−５）を合成した図２０（Ｆ−１）を差し引くことが好ましい。図２０（Ｆ−１）を用意することにより、前述のように平滑化処理や拡大処理も図２０（Ｆ−１）１枚の画像のみに処理すればよいため、処理負荷の軽減が可能となる。

最後に、ステップＳ１８において、画像処理部２０４は出力画像を生成する。そしてシステムコントローラ２１０は、図２０（Ｇ−１）に示されるように不要成分が除去（低減）された出力画像を、画像記録媒体２０９に保存または表示部２０５に表示する。また、不要成分を除去した各視差画像を合成することにより、図２（ｂ）に示されるような、不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を出力することもできる。なお、本実施例の変形例として、実施例１や実施例２で説明した変形例を適用することもできる。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく差分情報から不要光（ゴースト）により形成された不要成分を決定する際に、画像処理における計算負荷量を軽減することができる。また、縮小処理以外に平滑化処理も加えることで、決定された不要成分を低減または除去した際にも更に高画質を維持することが可能となる。

次に、本発明の実施例４について説明する。本実施例において、撮像装置の基本構成は、図１２を参照して説明した実施例２の撮像装置２００ａと同様であるため、その説明は省略する。また、撮像系における撮像素子の受光部は、実施例３と同様であるため、その説明は省略する。また、光学系の具体的な構成は、図６を参照して説明した実施例１の光学系２０１と同様であるため、その説明は省略する。また、絞りＳＴＰと画素Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４に入射する光束が通過する領域Ｐ１、Ｐ２、Ｐ３、Ｐ４（瞳領域）の関係も、実施例３と同様であるため、その説明は省略する。

次に、図２２を参照して、撮像装置２００ａによる撮像により生成される撮影画像において、不要光が光電変換されることにより現れる画像成分である不要成分を決定する方法について説明する。図２２は、本実施例における画像処理方法の手順を示す図である。

図２２（Ａ−１）、図２２（Ｂ−１）、図２２（Ｃ−１）、図２２（Ｄ−１）は、それぞれ、瞳領域Ｐ１、Ｐ２、Ｐ３、Ｐ４を通過した光束を画素群Ｇ１、Ｇ２、Ｇ３、Ｇ４にて光電変換した結果として得られた一組の視差画像を示す。また、一組の視差画像に黒い四角として模式的に示す不要成分ＧＳＴが含まれおり、その位置は、図２２（Ｂ−１）と図２２（Ｃ−１）の一部（左上部）が同じ位置にオーバーラップしている。また、図２２（Ａ−１）と図２２（Ｄ−１）の一部（左上部）が同じ位置にオーバーラップしている。また、図２２（Ａ−１）と図２２（Ｂ−１）においては、全ての不要成分位置が異なっている。図２２（Ａ−１−１）、（Ｂ−１−１）、（Ｂ−１−１）、（Ｂ−１−１）は、それぞれの視差画像に対して、縮小処理を行った結果である。

図２２（Ａ−２）は、一組の視差画像に対して、図２２（Ａ−１−１）を基準画像として図２２（Ｂ−１−１）の画像を差し引いた差分情報の画像である。この画像には、差分情報として被写体の視差成分と前述の不要成分とが含まれている。また、差分計算により、図２２（Ｂ−１−１）に含まれる不要成分が負値として算出されるが、後段の不要成分低減処理の簡易化のため、図２２（Ａ−２）では負値を切り捨てている。これは、他の全ての差分画像に関しても同様である。このため、図２２（Ａ−２）の差分画像は、図２２（Ａ−１−１）に含まれる不要成分のみを示していることとなる。

図２２（Ａ−３）は、一組の視差画像に対して、図２２（Ａ−１−１）を基準画像として図２２（Ｃ−１−１）の画像を差し引いた差分画像である。また、図２２（Ａ−４）は、一組の視差画像に対して、図２２（Ａ−１−１）を基準画像として図２２（Ｄ−１−１）の画像を差し引いた差分画像である。この画像には差分情報として、被写体の視差成分と上述した不要成分とが含まれている。前述のように、図２２（Ａ−１−１）と図２２（Ｄ−１−１）では、不要成分の一部（左上部）が同じ位置にオーバーラップしているため、差分情報に左上部の不要成分は検出されない。このように、同じ位置に生じている不要成分は差分画像には表れない。

また、図２２（Ａ−５）は、２次元データとして取得されている差分情報である図２２（Ａ−２）、（Ａ−３）、（Ａ−４）の差分画像内の各画素位置における差分情報間の最小値を抽出した情報（差分最小値情報または差分最小値画像）である。本実施例では、その画像情報は、図２２（Ａ−４）と同値の情報となり、図２２（Ａ−１−１）に含まれる一部の不要成分位置とその不要成分量となる。

同様に、図２２（Ｂ−２）は、一組の視差画像に対して、図２２（Ｂ−１−１）を基準画像として図２２（Ａ−１−１）の画像を差し引いた差分画像である。図２２（Ｂ−３）は、一組の視差画像に対して、図２２（Ｂ−１−１）を基準画像として図２２（Ｃ−１−１）の画像を差し引いた差分画像である。図２２（Ｂ−４）は、一組の視差画像に対して、図２２（Ｂ−１−１）を基準画像として図２２（Ｄ−１−１）の画像を差し引いた差分画像である。図２２（Ｂ−５）は、２次元データとして取得されている差分情報である図２２（Ｂ−２）、（Ｂ−３）、（Ｂ−４）の差分画像内の各画素位置における差分情報間の最小値を抽出した差分最小値情報である。本実施例では、その画像情報は、図２２（Ｂ−３）と同値の情報となり、図２２（Ｂ−１−１）に含まれる一部の不要成分位置とその不要成分量となる。

同様に、図２２（Ｃ−２）は、一組の視差画像に対して、図２２（Ｃ−１−１）を基準画像として図２２（Ａ−１−１）の画像を差し引いた差分画像である。図２２（Ｃ−３）は、一組の視差画像に対して、図２２（Ｃ−１−１）を基準画像として図２２（Ｂ−１−１）の画像を差し引いた差分画像である。図２２（Ｃ−４）は、一組の視差画像に対して、図２２（Ｃ−１−１）を基準画像として図２２（Ｄ−１−１）の画像を差し引いた差分画像である。図２２（Ｃ−５）は、２次元データとして取得されている差分情報である図２２（Ｃ−２）、（Ｃ−３）、（Ｃ−４）の差分画像内の各画素位置における差分情報間の最小値を抽出した差分最小値情報である。本実施例では、その画像情報は図２２（Ｃ−３）と同値の情報となり、図２２（Ｃ−１−１）に含まれる不要成分位置とその不要成分量は検出されない。

同様に、図２２（Ｄ−２）は、一組の視差画像に対して、図２２（Ｄ−１−１）を基準画像として図２２（Ａ−１−１）の画像を差し引いた差分画像である。図２２（Ｄ−３）は、一組の視差画像に対して、図２２（Ｄ−１−１）を基準画像として図２２（Ｂ−１−１）の画像を差し引いた差分画像である。図２２（Ｄ−４）は、一組の視差画像に対して、図２２（Ｄ−１−１）を基準画像として図２２（Ｃ−１−１）の画像を差し引いた差分画像である。図２２（Ｄ−５）は、２次元データとして取得されている差分情報である図２２（Ｄ−２）、（Ｄ−３）、（Ｄ−４）の差分画像内の各画素位置における差分情報間の最小値を抽出した差分最小値情報である。本実施例では、その画像情報は図２２（Ｄ−２）と同値の情報となり、図２２（Ｄ−１−１）に含まれる不要成分位置とその不要成分量は検出されない。

次に、図２２（Ａ−５）、（Ｂ−５）、（Ｃ−５）、（Ｄ−５）の各画像を合成する。図２２（Ｆ−１）は、合成画像に対して平滑化処理を行った結果である。また、図２２（Ｆ−２）は、縮小処理を行う前の画像サイズに戻すために拡大処理を行った結果である。そして、出力すべき画像において、前述のように決定された不要成分を除去または低減する補正処理を行う。これにより、図２２（Ｇ−１）に示されるように、不要成分が概ね無くなった各視差画像を得ることができる。具体的には、各視差画像図２２（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）を合成した画像（図２２（Ｅ−１））を用意し、図２２（Ｅ−１）から図２２（Ｆ−２）を差し引く。これにより、不要成分のオーバーラップ部分以外を低減した画像を得ることができる。

次に、図２３を参照して、本実施例における画像処理方法について説明する。図２３は、本実施例における画像処理方法を示すフローチャートである。図２３の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。本実施例の画像処理方法は、各視差画像の差分情報の最大値を抽出するステップ（ステップＳ３１）に代えて、各視差画像の差分情報の最小値を抽出するステップ（ステップＳ４１）を有する点で、図２１を参照して説明した実施例３の画像処理方法と異なる。他の処理は、実施例３と同一であるため、その説明は省略する。

ステップＳ４１において、画像処理部２０４（不要成分検出部２０４ａ）は、ステップＳ１４にて得られた各視差画像を基準画像とした差分画像内の各画素位置における差分情報間の最小値を抽出する。ここで、複数の差分情報間の最小値を抽出する効果について説明する。本実施例のように、図２２（Ｂ−１）と図２２（Ｃ−１）、また、図２２（Ａ−１）と図２２（Ｄ−１）では、一部の不要成分が同じ位置にオーバーラップしている。このように、光学系や高輝度光源位置によっては視差画像間でも同じ位置に不要成分が生じる場合が存在する。このような場合、この２画像の差分を算出しても不要成分部分も０値となってしまう。

ここで、実施例３とは異なり、差分情報間の最小値をとる場合、図２２に示されるように全ての視差画像間で位置が異なる不要成分を検出することができるが、オーバーラップした不要成分を検出することはできない。しかしながら、これは、複数の視点画像のうち１つにのみ生じている成分のみを検出することに相当し、近距離被写体を撮像した場合に生じる被写体視差成分について３視点画像分の被写体視差成分を不要成分から分離できることに相当する。すなわち、近距離被写体を撮影した場合に不要成分低減処理を行う場合、被写体視差成分の影響を大きく低減することができる。このように、複数の差分情報を取得し、その複数の差分情報間の差分最小値情報を抽出することにより、オーバーラップした不要成分以外の不要成分を検出し、同時に３視点画像分の被写体視差成分を分離することができる。なお、本実施例の変形例として、実施例１や実施例２で説明した変形例を適用することもできる。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく差分情報から不要光（ゴースト）により形成された不要成分を決定する際に、画像処理における計算負荷量を軽減することができる。また、縮小処理以外に平滑化処理も加えることで、決定された不要成分を低減または除去した際にも更に高画質を維持することが可能となる。

次に、本発明の実施例５について説明する。Ｒｅｎ．Ｎｇ等の「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」（Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２）において、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」が提案されている。「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」において「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」という手法を用いることで、物体側からの光線の位置と角度の情報を取り込むことができる。

図２４は、本実施例における撮像装置の撮像系を示す図であり、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」の撮像系の構成を示している。光学系３０１は、主レンズ（撮影レンズ）３０１ｂと開口絞り３０１ａとを備えて構成される。光学系３０１の結像位置には、マイクロレンズアレイ３０１ｃが配置されており、さらにその後方（像側）に撮像素子３０２が配置されている。マイクロレンズアレイ３０１ｃは、例えば点Ａのような被写体空間のある一点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子３０２上で混ざらないようにセパレータ（分離手段）としての機能を有する。図２４から分かるように、点Ａからの上線、主光線および下線は、それぞれ異なる画素によって受光される。このため、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。

また、Ｔｏｄｏｒ Ｇｅｏｒｇｉｖｅ等による「Ｆｕｌｌ Ｒｅｓｏｌｕｔｉｏｎ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ」（Ａｄｏｂｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｊａｎｕａｒｙ ２００８）が知られている。この文献では、光線の位置と角度の情報（Ｌｉｇｈｔ Ｆｉｅｌｄ）を取得する方法として、図２５および図２６に示される撮像系を提案している。

図２５に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも後方（像側）に配置し、点Ａを通る光線群を撮像素子３０２上に再結像させることで、光線群を光線の角度ごとに分離して取得することができる。また、図２６に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも前方（物体側）に配置し、点Ａを通る光線群を撮像素子３０２上に結像させることで、光線群を光線の角度ごとに分離して取得することができる。いずれの構成も、光学系３０１の瞳を通過する光束を瞳内での通過領域（通過位置）に応じて分割する点は同じである。そして、これらの構成では、撮像素子３０２は、図２７に示されるように、１つのマイクロレンズＭＬと１つの受光部Ｇ１とカラーフィルタＣＦを介して対になっている従来の撮像素子を用いることができる。

図２４に示される光学系３０１を用いると、図２８（ａ）に示されるような画像が得られる。図２８（ｂ）は、図２８（ａ）中に多数並んだ円のうち１つを拡大して示している。１つの円は絞りＳＴＰに相当し、その内側は複数の画素Ｐｊ（ｊ＝１、２、３、…）により分割されている。これにより、１つの円内で瞳の強度分布が得られる。また、図２５および図２６に示される光学系３０１を用いると、図２９に示されるような視差画像が得られる。図２８（ａ）に示される画像において、各円（絞りＳＴＰ）内の複数の画素Ｐｊを並べて再構成することによっても、図２９に示すような複数の視差画像が得られる。

実施例１〜４で説明したように、ゴーストなどの不要光は、瞳内で偏りを持って瞳を通過する。このため、本実施例のように瞳を分割して撮像する撮像装置において実施例１〜４にて説明した画像処理方法を使用することにより、不要成分を決定し、更には不要成分を低減することができる。

また、別の例として、図３０に示されるような複数のカメラを用いて同一被写体を撮像する場合でも、視差画像が得られる。このため、このような複数のカメラにおいても、実施例１〜４にて説明した画像処理方法を用いることができる。Ｃ１、Ｃ２、Ｃ３は、実際には別々の撮像装置であるが、大きな瞳を３つに分割して撮像する一体の撮像装置と見なすことができる。また、図３１に示されるように、１つの撮像装置に複数の光学系ＯＳｊ（ｊ＝１、２、３、…）を設けることで瞳分割を行うことも可能である。

次に、本発明の実施例６について説明する。前述の各実施例では、画像全域において不要成分を決定し、または除去する場合について説明したが、図２に示されるように、多くの場合、不要成分は画像の一部にのみ生じる。画像中の不要成分領域は、ユーザが判定することが容易であるため、ユーザに低減処理を行う画像領域を指定させることにより、各実施例での処理負荷を更に低減させることができる。また、領域を限定することにより、前述の近距離被写体撮影の場合に生じる被写体視差成分の影響を低減することもできる。

図３２は、不要成分低減処理領域の選択例を示す図である。図３２（ａ）は、画像中でユーザが不要成分を除去しようとする領域を選択した場合の概念図を示している。図３２（ｂ）は、実線の選択領域内の不要成分を低減処理した出力画像を示している。このように領域を限定した場合にも、視差画像から実施例１〜４と同様の画像処理方法を用いて不要成分を決定することができ、更には不要成分を低減することが可能である。

また、本実施例のようにユーザが領域を指定する場合や、既知の手法により不要成分の領域が既知である場合、前述のように縮小処理部２０４ｂにて不要成分の領域の大きさに応じて縮小率を決定し、縮小処理を実行してもよい。すなわち、不要成分の領域が大きい場合、縮小率を大きくする。一方、不要成分の領域が小さい場合、縮小処理を行うことにより１ピクセル以下となってつぶれることを回避するため、縮小率を調節することが好ましい。不要成分低減効果を維持可能な範囲において縮小率を大きく設定することにより、処理負荷を更に軽減することができる。

また各実施例において、不要成分を除去または低減する場合について説明したが、決定した不要成分に関する情報（不要成分情報）を用いて、別の不要成分を付加する補正処理を行うようにしてもよい。例えば、図２９に示される複数の視差画像の個々について、ゴースト（不要成分）が存在する画像と存在しない画像が発生する。再構成後の画像にもゴーストを残したい場合、決定したゴーストを各視差画像に付加してもよい。また、再構成した画像に対してゴーストを付加することもできる。

上記各実施例では、各実施例の画像処理方法を実行する（画像処理装置を搭載した）撮像装置について説明したが、各実施例の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが各実施例の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像回復処理を行って、その結果得られた画像を出力する。

このように、各実施例における画像処理装置（画像処理部２０４）は、不要成分決定手段（不要成分検出部２０４ａ）、縮小処理手段（縮小処理部２０４ｂ）、拡大処理手段（拡大処理部２０４ｃ）、および、不要成分低減手段（不要成分低減部２０４ｄを有する。不要成分決定手段は、複数の視差画像に関する差分情報に基づいて、複数の視差画像の不要成分情報（不要成分に関する情報）を決定する。縮小処理手段は、視差画像、差分情報、および、不要成分情報の少なくとも一つに対して縮小処理を行う（情報量を減少させる）。拡大処理手段は、不要成分情報に対して拡大処理を行う（情報量を増加させる）。不要成分低減手段は、不要成分情報に基づいて、視差画像から不要成分を低減する。

好ましくは、縮小処理手段は、複数の視差画像のそれぞれに対して縮小処理を行う。不要成分決定手段は、縮小処理後の複数の視差画像に関する差分情報に基づいて不要成分情報を決定する。そして拡大処理手段は、不要成分情報を縮小処理前のサイズに戻すように拡大処理を行う。また好ましくは、縮小処理手段は、差分情報に対して縮小処理を行う。不要成分決定手段は、縮小処理後の差分情報に基づいて不要成分情報を決定する。そして拡大処理手段は、不要成分情報を縮小処理前のサイズに戻すように拡大処理を行う。また好ましくは、縮小処理手段は、複数の視差画像に基づいて決定された不要成分情報に対して縮小処理を行う。そして拡大処理手段は、縮小処理後の不要成分情報を縮小処理前のサイズに戻すように拡大処理を行う。

好ましくは、画像処理装置は、ノイズを低減するための平滑化処理を行うノイズ低減手段（ノイズ低減部２０４ｅ）を更に有する。より好ましくは、ノイズ低減手段は、縮小処理手段が縮小処理を行った後に平滑化処理を行う。より好ましくは、ノイズ低減手段は、視差画像、差分情報、および、不要成分情報の少なくとも一つに対して平滑化処理を行う。また好ましくは、ノイズ低減手段は、縮小処理手段が縮小処理を行う前に、縮小処理の縮小率に応じて平滑化処理を行う。

好ましくは、縮小処理手段は、不要成分情報（不要成分の大きさ）に基づいて決定された縮小率で縮小処理を行う。また好ましくは、不要成分低減手段は、複数の視差画像の位置合わせを行う。また好ましくは、縮小処理手段は、画素の間引き処理（画素間の間引き処理）、画素値の平均化処理（複数の周辺画素の画素値の平均化）、または、画素加算処理（ある重みを用いて複数の画素の画素値を１つの画素値にまとめる処理）により縮小処理を行う。また好ましくは、不要成分決定手段は、各位置における複数の差分情報の最大値または最小値に基づいて、不要成分情報を決定する。

好ましくは、複数の差分情報は、複数の視差画像のそれぞれを基準画像として設定し、基準画像と基準画像を除く他の視差画像との差分を算出して得られる。また好ましくは、差分情報は、２つの視差画像の差分の絶対値を算出して得られる。より好ましくは、不要成分決定手段は、複数の差分情報を所定の閾値以下の値を切り捨てた２次元データとして取得し、２次元データの各位置における複数の差分情報の最大値または最小値を抽出する。これにより、不要成分決定手段は、基準画像における不要成分の位置および量を決定する。また好ましくは、不要成分決定手段は、不要成分情報を決定する領域を設定し、設定した領域の範囲内において不要成分情報を決定する。また好ましくは、複数の視差画像は、光学系の瞳のうち互いに異なる領域を通過した光束に基づいて生成された複数の画像である。

（その他の実施例）
本発明は、上述の各実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、複数の撮像を行うことなく撮影画像に含まれる不要成分を効果的に決定し、処理負荷の軽減および高画質の維持が可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０４ 画像処理部（画像処理装置）
２０４ａ 不要成分検出部（不要成分決定手段）
２０４ｂ 縮小処理部（縮小処理手段）
２０４ｃ 拡大処理部（拡大処理手段）
２０４ｄ 不要成分低減部（不要成分低減手段）

Claims (21)

1. 複数の視差画像間の差分に関する複数の差分情報に基づいて、該視差画像に関する不要成分情報を決定する不要成分決定手段と、
   前記不要成分決定手段によって前記不要成分情報が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、前記不要成分決定手段によって決定された前記不要成分情報に対して縮小処理を行う縮小処理手段と、
   前記不要成分情報に対して拡大処理を行う拡大処理手段と、
   前記拡大処理手段によって拡大された不要成分情報と前記視差画像に基づいて、不要成分が低減された画像を生成する不要成分低減手段と、を有し、
   前記不要成分決定手段は、前記視差画像の各位置における複数の前記差分情報間の最大値または最小値に基づいて、前記不要成分情報を決定することを特徴とする画像処理装置。
2. 前記縮小処理手段は、前記複数の視差画像のそれぞれに対して前記縮小処理を行い、
   前記不要成分決定手段は、縮小処理後の前記複数の視差画像に関する前記差分情報に基づいて前記不要成分情報を決定し、
   前記拡大処理手段は、前記不要成分情報を縮小処理前のサイズに戻すように前記拡大処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記縮小処理手段は、前記差分情報に対して前記縮小処理を行い、
   前記不要成分決定手段は、縮小処理後の前記差分情報に基づいて前記不要成分情報を決定し、
   前記拡大処理手段は、前記不要成分情報を縮小処理前のサイズに戻すように前記拡大処理を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記縮小処理手段は、前記複数の視差画像に基づいて決定された前記不要成分情報に対して前記縮小処理を行い、
   前記拡大処理手段は、縮小処理後の前記不要成分情報を縮小処理前のサイズに戻すように前記拡大処理を行うことを特徴とする請求項１に記載の画像処理装置。
5. ノイズを低減するための平滑化処理を行うノイズ低減手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記ノイズ低減手段は、前記縮小処理手段が前記縮小処理を行った後に前記平滑化処理を行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記ノイズ低減手段は、前記視差画像、前記差分情報、および、前記不要成分情報の少なくとも一つに対して前記平滑化処理を行うことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記ノイズ低減手段は、前記縮小処理手段が前記縮小処理を行う前に、該縮小処理の縮小率に応じて前記平滑化処理を行うことを特徴とする請求項５に記載の画像処理装置。
9. 前記縮小処理手段は、前記不要成分情報に基づいて決定された縮小率で前記縮小処理を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記不要成分低減手段は、前記複数の視差画像の位置合わせを行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記縮小処理手段は、画素の間引き処理、画素値の平均化処理、または、画素加算処理により前記縮小処理を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 複数の前記差分情報は、前記複数の視差画像のそれぞれを基準画像として設定し、該基準画像と複数の前記視差画像のうち該基準画像を除く他の視差画像との差分を用いて得られることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 複数の前記差分情報は、前記基準画像と複数の前記視差画像のうち該基準画像を除く他の視差画像との差分における所定の閾値以下の値を切り捨てた複数の２次元データとして取得され、
    前記不要成分決定手段は、前記基準画像における不要成分の位置および量を、前記基準画像の各位置における前記基準画像に対する複数の前記差分情報間の最大値または最小値を抽出することにより、前記基準画像における不要成分の位置および量を決定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記不要成分決定手段は、前記不要成分情報を決定する領域を設定し、
    該領域の範囲内において該不要成分情報を決定することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記複数の視差画像は、光学系の瞳のうち互いに異なる領域を通過した光束に基づいて生成された複数の画像であることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 光学系を介して形成された光学像を光電変換して複数の視差画像を出力する撮像手段と、
    複数の前記視差画像間の差分に関する複数の差分情報に基づいて、該視差画像に関する不要成分情報を決定する不要成分決定手段と、
    前記不要成分決定手段によって前記不要成分情報が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、前記不要成分決定手段によって決定された前記不要成分情報に対して縮小処理を行う縮小処理手段と、前記不要成分情報に対して拡大処理を行う拡大処理手段と、
    前記拡大処理手段によって拡大された不要成分情報と前記視差画像に基づいて、不要成分が低減された画像を生成する不要成分低減手段と、を有し、
    前記不要成分決定手段は、前記視差画像の各位置における複数の前記差分情報間の最大値または最小値に基づいて、前記不要成分情報を決定することを特徴とする撮像装置。
17. 前記複数の視差画像は、前記光学系の瞳のうち互いに異なる領域を通過した光束に基づいて生成された複数の画像であり、
    前記撮像手段は、一つのマイクロレンズを共有する複数の画素を有し、
    前記複数の画素は、前記光学系の瞳のうち互いに異なる領域を通過した光束を受光するように構成されていることを特徴とする請求項１６に記載の撮像装置。
18. 前記複数の視差画像は、前記光学系の瞳のうち互いに異なる領域を通過した光束を、前記撮像手段における互いに異なる画素に導いて生成された複数の画像であることを特徴とする請求項１６に記載の撮像装置。
19. 複数の視差画像間の差分に関する差分情報に基づいて、該視差画像に関する不要成分情報を決定するステップと、
    前記不要成分情報が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、決定された前記不要成分情報に対して縮小処理を行うステップと、前記不要成分情報に対して拡大処理を行うステップと、
    拡大された前記不要成分情報と前記視差画像に基づいて、不要成分が低減された画像を生成するステップと、を有し、
    前記不要成分情報は、前記視差画像の各位置における複数の前記差分情報間の最大値または最小値に基づいて決定されることを特徴とする画像処理方法。
20. 複数の視差画像間の差分に関する差分情報に基づいて、該視差画像に関する不要成分情報を決定するステップと、
    前記不要成分情報が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、決定された前記不要成分情報に対して縮小処理を行うステップと、前記不要成分情報に対して拡大処理を行うステップと、
    拡大された前記不要成分情報と前記視差画像に基づいて、不要成分が低減された画像を生成するステップと、を有する画像処理をコンピュータに実行させるように構成されている画像処理プログラムであって、
    前記不要成分情報は、前記視差画像の各位置における複数の前記差分情報間の最大値または最小値に基づいて決定されることを特徴とする画像処理プログラム。
21. 請求項２０に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。