JP6624939B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、撮像により得られた視差画像を用いて不要光成分を低減する画像処理技術に関する。

デジタルスチルカメラ等の撮像装置により撮像を行うと、撮像光学系に入射した光の一部がレンズの界面やレンズを保持する部材で反射して不要光として撮像面に到達する。このような不要光はゴーストやフレアとなり、不要光成分として撮像画像中に現れる。

特許文献１には、不要光を発生させる光源の方向を推定する方法が開示されている。具体的には、複数の異なる視点からの撮像により得られた複数の画像と撮像シーン内の環境を示す環境マップとを用いて光源の方向を推定する。

また、特許文献２には、光源の方向を推定し、その推定結果と撮像光学系の情報とからゴースト成分に関する情報を取得し、該ゴースト成分を撮像画像（原画像）から減算することで、ゴースト成分が低減されたゴースト低減画像を得る方法が開示されている。

特開２０１４−１６４４９７号公報 特開２０１２−０７０４４３号公報

しかしながら、特許文献１にて開示された光源の方向の推定方法では、事前に撮像シーンを想定し、その撮像シーンの環境マップ（半球状の撮像シーンの画像）を作成する必要がある。このため、撮像装置の位置やアングル等の自由度が制限され、この結果、ユーザが意図する位置やアングル等での撮像を行えない場合がある。

また、特許文献２にて開示されたゴースト成分の低減方法では、１つの撮像画像から光源の方向を推定するため、推定精度を高めることが難しい。したがって、不要光成分を特定する精度も低くなり、低減すべき不要光成分が低減できなかったり、不要光成分ではない被写体成分を低減したりするおそれがあり、このことをユーザが事前に知ることができない。

本発明は、不要光成分を特定して、低減可能な不要光成分をユーザに提示することができるようにした画像処理装置およびこれを備えた撮像装置等を提供する。

本発明の一側面としての画像処理装置は、互いに異なる視点から被写体の撮像を行うことより生成された互いに視差を有する入力画像としての複数の視差画像を取得する画像取得手段と、入力画像に含まれる不要光成分を特定する不要光特定手段と、入力画像に対して、不要光特定手段により特定された不要光成分を低減する不要光低減処理を行う処理手段と、入力画像のうち不要光特定手段により特定された不要光成分を表示手段に表示させる不要光提示手段とを有し、不要光特定手段は、複数の視差画像を用いて、被写体の距離に関するデータである距離データを取得し、距離データを用いて被写体を構成する複数の面のそれぞれの面法線に関するデータである面法線データを取得し、面法線データと複数の面のそれぞれの輝度とを用いて、撮像において被写体を照らす光源に関するデータである光源データを取得し、光源データと撮像における撮像条件に関する情報とを用いて不要光成分に関するデータである不要光データを取得し、不要光データを用いて不要光成分を特定することを特徴とする。

なお、上記画像処理装置と、撮像により入力画像を生成する撮像系とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理プログラムは、コンピュータに、互いに異なる視点から被写体の撮像を行うことより生成された互いに視差を有する入力画像としての複数の視差画像に対する画像処理を行わせる。画像処理は、入力画像に含まれる不要光成分を特定する不要光特定処理と、入力画像に対して行われ、不要光特定処理により特定された不要光成分を低減する不要光低減処理と、入力画像のうち不要光特定処理により特定された不要光成分を表示手段に表示させる不要光提示処理とを含み、不要光特定処理は、複数の視差画像を用いて、被写体の距離に関するデータである距離データを取得し、距離データを用いて被写体を構成する複数の面のそれぞれの面法線に関するデータである面法線データを取得し、面法線データと複数の面のそれぞれの輝度とを用いて、撮像において被写体を照らす光源に関するデータである光源データを取得し、光源データと撮像における撮像条件に関する情報とを用いて不要光成分に関するデータである不要光データを取得し、不要光データを用いて不要光成分を特定することを特徴とする。

本発明によれば、特定された不要光成分を画像として表示させることができる。このため、ユーザは、不要光低減処理によって低減される不要光成分を予め知ることができ、低減すべき不要光成分をより確実に低減したり、不要光成分ではない被写体成分を低減することを回避したりすることができる。

本発明の実施例１である画像処理装置にて行われる画像処理を説明する図。 実施例１における画像処理により得られる出力画像の例を示す図。 実施例１の画像処理装置を搭載した撮像装置における撮像素子の受光部と撮像光学系の瞳との関係を示す図。 上記撮像素子の受光部と撮像光学系の瞳との関係を示す別の図。 上記撮像光学系において発生する不要光を説明する図。 実施例１における画像処理を示すフローチャート。 上記撮像素子の受光部と撮像光学系の絞りを透過する不要光を説明する図。 本発明の実施例２である画像処理装置にて行われる画像処理を説明する図。 実施例２で行われる画像処理を説明する別の図。 実施例２の画像処理を説明するさらに別の図。 実施例２の画像処理を説明するさらにもう１つの図。 実施例２の画像処理と撮像装置の動作を示すフローチャート。 各実施例で用いる３次元マップを説明する図。 各実施例で用いる参考形状を説明する図。 各実施例で用いるＢＲＤＦを説明する図。 各実施例において参考形状の面におけるＢＲＤＦから光源の方向を求める方法を説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、各実施例に共通する事項について説明する。各実施例では、入力画像として互いに視差を有する複数の視差画像を用いる。これら視差画像を生成する撮像装置は、撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子における互いに異なる光電変換部（サブ画素）に導いて光電変換を行う撮像系を有する。なお、例えば特開２０１１−２２７９６号公報にて開示されているように互いに異なる視点に配置された複数のカメラをまとめて撮像部とみなす構成でもよい。
図３（ａ）には、撮像系における撮像素子の受光部と撮像光学系の射出瞳との関係を模式的に示す。図３（ａ）において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは撮像光学系の射出瞳を示している。Ｇは撮像画素であり、Ｇ１およびＧ２はそれぞれ第１のサブ画素および第２のサブ画素としての受光部（以下それぞれＧ１画素およびＧ２画素という）である。１つの撮像画素Ｇは、１つのＧ１画素と１つのＧ２画素を含む。撮像素子には、複数の撮像画素Ｇが２次元配列されている。各撮像画素Ｇに含まれるＧ１画素とＧ２画素は、共通のマイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。以下の説明では、撮像素子に配列された複数の撮像画素ＧのＧ１画素をまとめてＧ１画素群と称し、複数の撮像画素のＧ２画素をまとめてＧ２画素群と称する。

図３（ｂ）には、撮像光学系の代わりに、射出瞳ＥＸＰの位置に薄肉レンズが設けられたと仮定した場合の撮像系を模式的に示している。Ｇ１画素は射出瞳ＥＸＰのうち一部の領域（以下、瞳領域という）であるＰ１を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうち他の一部の瞳領域であるＰ２を通過した光束を受光する。ＯＳＰは撮像している物点である。物点ＯＳＰには必ずしも物体が存在している必要は無い。

物点ＯＳＰを通った光束はそれが通過する射出瞳ＥＸＰ内での瞳領域（位置）に応じてＧ１画素またはＧ２画素に入射する。射出瞳ＥＸＰ内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。こうして撮像画素ごとに設けられたＧ１画素（つまりはＧ１画素群）の出力信号を用いて生成された画像と撮像画素ごとに設けられたＧ２画素（つまりはＧ２画素群）の出力信号を用いて生成された画像とが互いに視差を有する一対の視差画像となる。

以下の説明において、射出瞳ＥＸＰ内の互いに異なる瞳領域を通過した光束を互いに異なる光電変換部により受光することを、瞳分割と称する。なお、図３（ａ），（ｂ）において、射出瞳ＥＸＰの位置がずれる等して上述した共役関係が完全ではなくなった場合や瞳領域Ｐ１，Ｐ２が部分的にオーバーラップした場合においても、得られ２つの画像を視差画像として扱う。

図４には、本発明の実施例１である画像処理装置を備えた撮像装置の基本的な構成を示している。絞り２０１ａおよびフォーカスレンズ２０１ｂを含む撮像光学系２０１は、不図示の被写体からの光を撮像素子２０２上に結像させる。ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成される撮像素子２０２は、図３（ａ），（ｂ）にて説明した射出瞳ＥＸＰ内の互いに異なる瞳領域を通過した光束を、それぞれの瞳領域に対応するサブ画素（Ｇ１，Ｇ２）にて受光して瞳分割を行う。

撮像素子２０２での光電変換により生成されたアナログ電気信号は、Ａ／Ｄコンバータ２０３でデジタル信号に変換されて画像処理装置として画像処理部２０４に入力される。

画像処理部２０４は、デジタル信号に対して一般に行われる画像処理を行うことにより撮像画像（入力画像としての一対の視差画像）を生成する。画像処理部２０４は、入力画像を取得する画像取得手段として機能する。

また、画像処理部２０４は、光源方向推定部（光源データ取得手段）２２１と、不要光成分検出部２２２と、不要光成分低減部（処理手段）２２３と、不要光成分表示部（不要光提示手段）２２４とを有する。光源方向推定部２２１と不要光成分検出部２２２とにより、不要光特定手段が構成される。

光源方向推定部２２１は、一対の視差画像を取得するための撮像において被写体を照らす光源の方向を推定する処理を行う。この推定処理の詳細については後述する。不要光成分検出部２２２は、撮像により生成された一対の視差画像に対して、後述する不要光により生じた不要な画像成分（以下、不要光成分という）を検出する、言い換えれば特定（推定）する処理を行う。この検出処理（不要光特定処理）の詳細については後述する。不要光成分低減部２２３は、撮像により生成された一対の視差画像に対して、検出された不要光成分を低減する補正処理（不要光低減処理）を行う。この補正処理の詳細については後述する。不要光成分表示部２２４は、処理対象画像のうち検出された不要光成分を表示部（表示手段）２０５に表示する表示処理（不要光提示処理）を行う。この表示処理の詳細については後述する。なお、表示手段としては、撮像装置に有線または無線通信により接続可能な外部表示装置であってもよい。

画像処理部２０４での画像処理により生成された記録用画像（不要光成分が低減された画像）は、記録部（記録手段）２０９によって半導体メモリや光ディスク等の画像記録媒体に記録されたり、表示部２０５に表示されたりする。

撮像素子２０２の光電変換動作、画像処理部２０４での画像処理および撮像光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の動作は、システムコントローラ２１０によって制御される。撮像光学系２０１における絞り２０１ａおよびフォーカスレンズ２０１ｂの機械的な駆動は、システムコントローラ２１０からの制御指示に応じて光学系制御部２０６が行う。

絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じてその開口径が制御されることで、光量を調節する。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）システムやマニュアルフォーカス機構によってその位置が制御される。状態検知部２０７は、システムコントローラ２１０からの指示に応じて、その時点（現在）での撮像光学系の状態（絞り値、フォーカスレンズ２０１ｂの位置に対応する物体距離およびズームが可能な場合の焦点距離等）、すなわち撮像条件の情報を取得する。

なお、図４では、撮像光学系２０１を撮像装置の一部として示しているが、撮像光学系２０１を撮像素子２０２を含む撮像装置に対して交換可能としてもよい。

距離計測部２２５は、一対の視差画像を用いて、それら視差画像の全部または一部に写っている１又は複数の被写体の被写体距離に関するデータである距離データを取得する。

３次元マップ処理部２２６は、距離計測部２２５が取得した距離データを用いて被写体の立体形状を示す３次元マップを生成する。被写体を立体的に表現（構築）する際には、参考形状を用いることが望ましい。参考形状としては、顔、体型、髪型、自動車、飛行機、鉄道等がある。さらに、３次元マップ処理部２２６は、３次元マップ内において被写体を構成する複数の面のそれぞれの法線ベクトル（面法線データ）を計算により取得する。

光源方向推定部２２１は、３次元マップ処理部２２６が取得した法線ベクトルを用いて、光源の方向を推定する。本実施例では、被写体を構成する面（反射面）の法線の方向と光源の方向とがなす角度を用いて該面の反射特性を表現する双方向反射率分布関数（Bidirectional Reflectance Distribution Function：以下、ＢＲＤＦという）から光源の方向を求める。すなわち、ＢＲＤＦで求めた被写体を構成する面の明るさ（輝度）と参照する視差画像中の当該面に対応する画素の明るさとを比較し、その差分や割合を複数の面で求めることで光源の方向を求めることができる。反射面の反射率が未知である場合は、反射面の反射を拡散反射のみとし、Lambertian（完全拡散）モデルに従うものとすれば、光源の輝度を求めることができ、複数の面から求めた光源の輝度から光源の方向を求めることができる。

図１３には、被写体を撮像することにより得られた一対の視差画像を用いて生成された３次元マップの例を示す。実際の撮像においては被写体倍率によってサンプリング時の空間周波数が変化するが、本実施例における各視差画像の分解能、つまりは３次元マップの分解能としては図１３に示した程度のものとする。３次元マップの分解能については、撮像素子の大きさによっても変化する。

図１４は、図１３に示す３次元マップを参考形状に当てはめた例である。参考形状に当てはめることで、光源の方向（以下、光源方向という）を検出するための面のデータが簡素化されて取得し易くなる。光源方向の求め方の概念をボンネット面１２０１と屋根面１２０２とを用いて説明する。

まず、３次元マップから、ボンネット面１２０１と屋根面１２０２の３次元マップの基準面に対する角度を求める。本実施例では、地面を基準面とする。そして、求めた角度から、ボンネット面１２０１および屋根面１２０２のそれぞれの法線の方向（以下、法線方向という）、すなわち面法線ベクトルの角度を求める。図１４にはボンネット面１２０１と屋根面１２０２のそれぞれの面法線ベクトルを模式的に示している。

次に、ボンネット面１２０１および屋根面１２０２のそれぞれの法線方向の角度と撮像光軸とがなす角度に対応するＢＲＤＦを求める。ボンネット面１２０１および屋根面１２０２に相当する反射面の材質に対するＢＲＤＦをテーブルデータとして予め持ち、選択された被写体の参考形状から被写体の種類を特定し、特定した被写体の種類のＢＲＤＦを上記ＢＲＤＦのテーブルデータから選択する。

図１５には、ＢＲＤＦを模式的に示している。図１５は、ある入射角で反射面に入射する入射光に対する反射率をプロットしたグラフである。原点０に対して入射光が入射すると、正反射成分と拡散反射成分が発生する。原点０からプロットした点（連続した点）までの距離は反射率を示す。正反射成分の反射率が最も高く、拡散反射成分の反射率は全方位についてほぼ同じである。入射光の入射角が変われば、グラフの形状も変化する。上記ＢＲＤＦのテーブルデータは、この入射角ごとのＢＲＤＦのデータである。また、反射面の材質や表面の状態等の反射条件によってもＢＲＤＦは変化する。ＢＲＤＦのテーブルデータは、全ての異なる反射条件の組み合わせに対するＢＲＤＦを含んでもよい。ただし、複数の代表的な組み合わせに対するＢＲＤＦ（代表ＢＲＤＦ）を含み、他の組み合わせに対しては代表ＢＲＤＦを用いた線形補間等の補間演算によって算出するようにしてもよい。これにより、全ての組み合わせに対するＢＲＤＦをテーブルデータとして持つ場合に比べて少ないデータ量でテーブルデータを構築することができる。

また、図１５には示していないが、実際に被写体に光線が入射する場合には、吸収される成分やエネルギーも存在するため、これら吸収により失われる成分やエネルギーも同時に考慮することが望ましい。被写体の参考形状が特定できない場合においては、被写体の反射をLambertianモデルに従うとものとすれば、反射面の法線方向と撮像光軸とがなす角度からＢＲＤＦを求めることができる。

そして、複数の反射面（例えばボンネット面１２０１と屋根面１２０２）に対して得られたＢＲＤＦから、該複数の反射面に対して整合する光源方向を求めることができる。図１６には、その概念を示す。図１６では、ボンネット面１２０１と屋根面１２０２としての２つの反射面（図では１つの反射面として示す）１４０２の材質が同等であり、ＢＲＤＦも同等であるものとする。光源１４０１からの光が反射面１４０２に入射して反射する。２つのカメラ１４０３，１４０４で反射光を撮像する。このとき、反射面１４０２の面法線ベクトルに応じて、光源１４０１から反射面１４０２に入射する光の入射角と反射面１４０２で反射した光の反射角とが異なり、反射率も異なる。このため、複数の反射面に対する光源の位置を仮定して参照画像の輝度値とＢＲＤＦから求めた反射率とを用いて光源方向を特定することができる。

例えば、図１６において光源１４０１をある位置に配置してカメラ１４０３とカメラ１４０４のように面法線ベクトルを基準とした異なる反射角の方向から撮像して得られた画像を考える。図１６の例では、カメラ１４０４に向かう方向での反射率がカメラ１４０３に向かう方向での反射率よりも高い。このため、カメラ１４０３よりもカメラ１４０４の方が明るく撮像される。このとき、ＢＲＤＦが事前に分かっていれば、カメラ１４０３とカメラ１４０１によりそれぞれ得られた画像の輝度値の違いとＢＲＤＦとを用いて、カメラ１４０３とカメラ１４０４に向かう方向（角度）での反射率から光源方向を求めることができる。そして、複数の反射面で求められた光源方向に延びる直線の交点として１つの空間座標が導き出される。これが光源の位置となる。光源の位置および方向が求まると、反射面の輝度値を参照画像から求め、参照画像の任意の部分での反射率と輝度値から、光源の輝度を計算することができる。

次に、不要光データベース（以下、不要光ＤＢと記す）２２７から、状態検知部２０７から得た撮像条件（絞り値、焦点距離、物体距離等）の情報と光源の位置、方向および輝度を示す光源に関するデータ（光源データ）とに応じた不要光データを取得する。不要光ＤＢは、予めメモリ（記憶手段）に保存されている。不要光データは、不要光成分に関するデータであり、不要光成分の出現位置、強度、色相、大きさおよび形状のうち少なくとも１つを含み、さらに他を含んでいてもよい。

図５（ａ）には、撮像光学系２０１の具体的な構成例を示す。ＳＴＰは絞りである。ＩＭＧは撮像面を示し、この位置に図４に示した撮像素子２０２が配置される。図５（ｂ）には、撮像光学系２０１に高輝度物体の一例である太陽ＳＵＮからの強い光が入射し、撮像光学系２０１を構成するレンズの界面で反射した光が不要光（ゴーストやフレア）として撮像面ＩＭＧに到達する様子を示している。
また、図のような状態に限らず、例えば最も物体側のレンズに回折光学素子を用いると、撮像画角外に存在する太陽等の高強度輝度物体からの光が回折光学素子に当たることで撮影画像全体に撮影光束とは別のぼんやりとした光束が現れる場合がある。

さらに、図５（ｃ）には、絞りＳＴＰ（または撮像光学系２０１の射出瞳）のうち、図３に示したＧ１画素とＧ２画素にそれぞれ入射する光束が通過する瞳領域Ｐ１，Ｐ２を示している。高輝度物体からの光束は、絞りＳＴＰのほぼ全域を通過するが、Ｇ１画素とＧ２画素に入射する光束が通過する領域は瞳領域Ｐ１と瞳領域Ｐ２に分けられる。

このような撮像系（撮像光学系２０１および撮像素子２０２）による撮像によって生成される撮像画像において、不要光が光電変換されることで現れる不要光成分を検出する１つの方法について、図１および図２（ａ），（ｂ）を用いて説明する。

図２（ａ）は、撮像素子２０２による撮像によって生成された撮像画像を示す。この撮像画像には、ビル等の建物とその周辺に存在する樹木等が被写体成分として写っている。また、撮像画像中に四角い部分として示すＧＳＴは、不要光（ゴーストやフレア等）の画像成分である不要光成分である。撮像画面の外側に光源が位置する本例では、不要光をつなぐ線の延長線上に光源が位置する。光源と不要光の関係は、いろいろな組み合わせが存在するので、図２（ａ）に示す例の限りではない。

図２（ａ）中において、不要光成分ＧＳＴを黒い丸で丸の中を薄く塗りつぶして示しているが、実際には、不要光の出現強度によって被写体がある程度透けていたり、真っ白につぶれていたりする場合もある。また、不要光成分は、撮像される被写体像に不要光が被った状態であるため、被写体像よりも高輝度化する部分である。このことは、後述する実施例２を示す図でも同じである。

図１（Ａ−１）および図１（Ｂ−１）はそれぞれ、瞳領域Ｐ１，Ｐ２を通過した光束をＧ１，Ｇ２画素群にて光電変換した結果として得られた一対の視差画像を示す。近距離被写体を撮像して得られた一対の視差画像中の被写体成分には、視差に対応した差（以下、被写体視差成分という）が明確に存在する。しかし、これらの図１（Ａ−１）および図１（Ｂ−１）に示すような風景等の遠距離被写体を撮像して得られた一対の視差画像内の被写体視差成分は非常に微少量となる。また、一対の視差画像にも黒い丸として模式的に示す不要光成分ＧＳＴが含まれているが、その位置は視差画像間で異なる。ここでは、不要光成分ＧＳＴが互いにオーバーラップすることなく分離された状態の例を示しているが、オーバーラップしていて輝度差がある状態でもよい。すなわち、黒い丸の不要光成分の位置や輝度が互いに異なった状態であればよい。

図１（Ａ−２）は、図１（Ａ−１）および図１（Ｂ−１）に示した一対の視差画像のうち図１（Ａ−１）に示した視差画像を基準画像とし、該基準画像から図１（Ｂ−１）の視差画像（減算画像）を差し引いて得られた画像（以下、相対差分画像という）を示す。この基準画像と減算画像との差分を示す相対差分画像には、一対の視差画像が有する差分の２次元データ（以下、相対差分情報という）として上述した被写体視差成分と不要光成分とが含まれている。しかし、前述したように風景等の遠距離被写体を撮像して得られた一対の視差画像間の被写体視差成分は非常に微少量であるため、その影響をほぼ無視することができる。さらに、図１（Ａ−１）の基準画像から図１（Ｂ−１）の減算画像を差し引く差分計算を行うことで図１（Ｂ−１）に含まれる不要光成分が負値として算出される。しかし、本実施例では、後段で行われる不要光成分を低減する補正処理を簡易化するために、図１（Ａ−２）では負値を切り捨てている（すなわち、負値を０値として扱う）。このため、図１（Ａ−２）の相対差分画像は、図１（Ａ−１）の基準画像に含まれる不要光成分のみを示していることとなる。

同様に、図１（Ｂ−２）は、図１（Ｂ−１）に示した視差画像を基準画像とし、その基準画像から図１（Ａ−１）の減算画像を差し引いて得られた相対差分情報を含む相対差分画像を示す。図１（Ａ−２）の相対差分画像と同様に、上記差分計算によって図１（Ａ−１）に含まれる不要光成分が負値として算出されるが、不要光成分を低減する補正処理を簡易化するために、図１（Ｂ−２）では負値を切り捨てている。このため、図１（Ｂ−２）の相対差分画像は、図１（Ｂ−１）に含まれる不要光成分のみを示していることとなる。

このように、一対の視差画像のうち一方の視差画像（基準画像）から他方の視差画像（減算画像）を差し引くことによって得られる相対差分画像に不要光成分のみを残存させる（言い換えれば、分離する又は抽出する）処理を行う。これにより、不要光成分を検出することができる。

そして、上記のように検出された図１（Ａ−２）および図１（Ｂ−２）に示す不要光成分を低減する補正処理を、図１（Ａ−１）および図１（Ｂ−１）の元の視差画像に対して行う。これにより、図１（Ａ−３）および図１（Ｂ−３）に示すように不要光成分が低減された（ほぼ除去された）記録用画像としての一対の視差画像を得ることができる。さらに、これら不要光成分が低減された一対の視差画像を合成することで、図２（ｂ）に示すように、瞳分割を行わない撮像により生成された撮像画像と同等であり、かつ不要光成分をほとんど含まない１つの記録用画像を生成することができる。

本実施例では、以上の工程で特定した不要光成分を、記録用画像の記録前に、プレビュー画像として表示部２０５または外部表示装置に、撮像画像のうち不要光成分以外の被写体成分と共に又はこれとは別に表示する表示処理を行う。この際、不要光成分の部分の輝度を高めたり低くしたり網かけしたり点滅させたりして強調表示することが好ましい。これにより、記録前にどの不要光成分がどれくらい低減されるかをユーザに知らせる（予測させる）ことができる。また、不要光成分の補正処理の結果を併せて表示してもよい。

さらに、補正処理への移行は、システムコントローラ２１０が自身で最適と判断した時点で自動的に行われるようにしてもよいし、ユーザが指定したタイミングで行われるようにしてもよい。また、補正処理は、ユーザが指定した不要光成分のみを対象として行ってもよいし、検出した全ての不要光成分を対象として行ってもよい。

図６のフローチャートには、上述した不要光成分の検出処理、補正処理および表示処理の手順を示している。これらの処理は、それぞれコンピュータであるシステムコントローラ２１０および画像処理部２０４が、コンピュータプログラムとしての画像処理プログラムに従って実行する。

ステップＳ１１では、システムコントローラ２１０は、撮像光学系２０１および撮像素子２０２により構成される撮像系を制御して被写体の撮像を行う。プレビューに使用する画像の取得もこのステップで行う。

次に、ステップＳ１２では、システムコントローラ２１０は、画像処理部２０４に、撮像素子２０２から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を用いて入力画像としての一対の視差画像を生成させる。ここで、画像処理部２０４では視差画像生成のために、通常の現像処理や各種の画像処理を実施してもよい。

次に、ステップＳ１３では、不要光成分検出部２２２は、一対の視差画像の相対差分情報を求める。すなわち、図１（Ａ−１）を基準画像とし、図１（Ｂ−１）を減算画像としたときの相対差分画像（図１（Ａ−２））と、図１（Ｂ−１）を基準画像とし、図１（Ａ−１）を減算画像としたときの相対差分画像（図１（Ｂ−２））とを生成する。撮像面に到達した不要光が撮像光学系２０１の異なる瞳領域を通過する場合、図１（Ａ−１）および図１（Ｂ−１）に示すように視差画像ごとに不要光成分の出現位置が異なる。このため、単純な相対差分画像では、不要光成分の差分値は正値または負値となる。

例えば、図１（Ａ−２）に示す相対差分画像を生成するために図１（Ａ−１）に示す基準画像から図１（Ｂ−１）に示す減算画像を差し引く場合、基準画像中の不要光成分が正値となり、減算画像に含まれる不要光成分が負値となる。本実施例では、前述したように、後段の不要光成分の補正処理を簡易化するために負値を切り捨てて０値とする（負値を０値として扱う）処理を行う。このため、図１（Ａ−２）に示す相対差分画像においては、図１（Ａ−１）に含まれる正値の不要光成分のみが検出される。逆に、図１（Ｂ−１）に示す基準画像から図１（Ａ−１）に示す減算画像を差し引いて図１（Ｂ−２）に示す相対差分画像を生成する場合は、該相対差分画像において図１（Ｂ−１）の基準画像に含まれる不要光成分のみが正値として検出される。

また、近距離被写体を撮像して得られた画像について相対差分情報を求める際には、被写体視差成分を除去するために、一対の視差画像の位置合わせを行う処理を実行してもよい。位置合わせは、一対の視差画像のうち一方の視差画像に対して他方の視差画像の位置を相対的にシフトしながらこれら視差画像間の相関が最大となるシフト位置を決定することで行うことができる。また、視差画像間の差分の２乗和が最小化するシフト位置を決定することで行ってもよい。さらに、視差画像中の合焦領域を位置合わせのためのシフト位置の決定の対象としてもよい。また、予めそれぞれの視差画像においてエッジ検出を行い、検出されたエッジを示した画像を用いて位置合わせのためのシフト位置を決定してもよい。この方法によると、合焦領域はコントラストの高いエッジが検出され、背景のような非合焦領域はコントラストが低く、エッジとして検出されにくいため、必然的に合焦領域が重視されたシフト位置の決定が行われる。

次に、ステップＳ１４では、不要光成分検出部２２２は、ステップＳ１３にて得られた相対差分画像中に残存した成分を不要光成分と決定する。こうして、元の各視差画像における不要光成分が検出される。

次に、ステップＳ１５では、画像処理部２０４は、撮像時における撮像装置の情報を取得する。具体的には、撮像装置の姿勢情報（撮像素子２０２の向きを示す情報）、撮像光学系２０１を特定する識別番号や型番および撮像条件（絞り値、焦点距離、物体距離等）を取得する。

次に、ステップＳ１６では、光源方向推定部２２１は、ステップＳ１２で生成した一対の視差画像から図１３に示したような被写体の３次元マップを作製して被写体を立体的に構築する。さらに、３次元マップを用いて、前述した方法により光源データ（光源の位置、方向および輝度）を求める。

次に、ステップＳ１７では、不要光成分検出部２２２は、不要光ＤＢ２２７から、ステップＳ１５で得られた撮像時における撮像装置の情報とステップＳ１６で得られた光源データとに応じた不要光データを選択して取得する。この段階で、不要光ＤＢ２２７から取得した不要光データにより示される不要光成分の低減効果を予測することができる。

次に、ステップＳ１８では、不要光成分検出部２２２は、ステップＳ１７で取得した不要光データに示される不要光成分の各視差画像内での位置を特定する。

次に、ステップＳ１９では、不要光成分表示部２２４は、特定された不要光成分を、記録用画像の記録前のプレビュー画像として、各視差画像のうち不要光成分以外の被写体成分と共に又はこれとは別に表示部２０５または外部表示装置に表示する。この際、先にも説明したように、不要光成分の部分の輝度を高めたり点滅させたり網かけしたりして強調表示するとよい。

次に、ステップＳ２０では、不要光成分低減部２２３は、撮像により得られた一対の視差画像に対して不要光成分を低減する補正処理を行い、不要光成分が低減された一対の視差画像を生成する。

本実施例では、撮像素子２０２のＧ１画素群の出力信号から視差画像（図１（Ａ−３））を生成し、Ｇ２画素群の出力信号から視差画像（図１（Ｂ−３））を生成する。この際、ステップＳ１３において負値を切り捨てて０値とすることで、各視差画像に含まれる不要光成分のみが相対差分画像において正値として検出されているため、単純に各視差画像から相対差分画像を差し引くことで不要光成分を低減（除去）することができる。つまり、図１（Ａ−１）の視差画像から図１（Ａ−２）の相対差分画像を差し引くとともに、図１（Ｂ−１）の視差画像から図１（Ｂ−２）の相対差分画像を差し引くことで、不要光成分が低減された一対の視差画像が得られる。

次に、ステップＳ２１では、不要光成分表示部２２４は、特定された不要光成分ごとにその低減の効果を示すため、表示部２０５や外部表示装置に不要光成分ごとの補正処理後の一対の視差画像（記録用画像）を表示する。これにより、ユーザがどの程度不要光成分が低減するかを記録用画像の記録前に知ることができる。

次に、ステップＳ２２では、不要光成分表示部２２４は、特定された不要光成分について、ユーザが選択した不要光成分に対してのみ補正処理の結果を反映する。これにより、例えば、ユーザが意図的に残したい不要光成分や誤検出により不要光成分と判定されて補正していた不要光成分以外の成分については低減されない記録用画像を生成することができる。

最後に、ステップＳ２３では、システムコントローラ２１０は、図１（Ａ−３）および図１（Ｂ−３）に示す不要光成分が低減（除去）された一対の視差画像を、記録部２０９を通じて記録用画像として画像記録媒体に記録したり、表示部２０５に表示したりする。また、これら一対の視差画像を合成することで、図２（ｂ）に示すように、瞳分割を行わない撮像により生成された撮像画像と同等の画像であって不要光成分が十分に低減された１つの記録用画像を記録または表示することもできる。

以上説明したように、本実施例によれば、１回の撮像で得られた２つの視差画像のそれぞれを基準画像としたときの各基準画像と他の視差画像との差分（相対差分情報）を用いて各視差画像（基準画像）における不要光成分を検出することができる。つまり、複数回の撮像を行うことなく撮像画像に含まれる不要光成分を検出することができる。さらに、相対差分情報を生成する際に負値となる不要光成分を切り捨てるため、正値となる不要光成分を単純な差分計算のみで検出することができる。したがって、この不要光成分を元の視差画像から差し引くだけで、不要光成分が良好に低減（除去）された高品位の記録用画像を得ることができる。

さらに、撮像後の記録用画像の記録前に、低減される不要光成分をユーザに対して表示するので、ユーザに不要光成分の低減効果を記録前に予測させることができる。したがって、低減すべき不要光成分をより確実に低減したり、不要光成分ではない被写体成分を低減することを回避したりすることができる。

次に、本発明の実施例２について説明する。本実施例では、実施例１よりも多い数（４つ）の瞳分割を行う撮像装置を用いる場合について説明する。本実施例の撮像装置および撮像光学系２０１の基本的な構成は実施例１（図４）に示した構成と同じであり、共通する構成要素には実施例１と同符号を付す。

図７（ａ）には、本実施例の撮像装置の撮像系における撮像素子の受光部を示す。同図において、ＭＬはマイクロレンズである。Ｇ１１，Ｇ１２，Ｇ１３およびＧ１４はサブ画素としての受光部（以下、Ｇ１１画素、Ｇ１２画素、Ｇ１３画素およびＧ１４画素という）である。１つの撮像画素Ｇ′は、これら４つのサブ画素を含む。撮像素子には、複数の撮像画素Ｇ′が２次元配列されている。各撮像画素Ｇ′に含まれるＧ１１画素、Ｇ１２画素、Ｇ１３画素およびＧ１４画素は、共通のマイクロレンズＭＬを介して射出瞳と共役な関係を有する。以下の説明において、撮像素子に配列された複数の撮像画素Ｇ′のＧ１１画素、Ｇ１２画素、Ｇ１３画素およびＧ１４画素をまとめてそれぞれ、Ｇ１画素群、Ｇ２画素群、Ｇ３画素群およびＧ４画素群ともいう。

図７（ｂ）には、絞りＳＴＰ（または撮像光学系の射出瞳）のうち、図７（ａ）に示したＧ１１画素、Ｇ１２画素、Ｇ１３画素およびＧ１４画素に入射する光束が通過する瞳領域Ｐ１，Ｐ２，Ｐ３およびＰ４を示している。高輝度物体からの光束は、絞りＳＴＰのほぼ全域を通過するが、Ｇ１１画素、Ｇ１２画素、Ｇ１３画素およびＧ１４画素に入射する光束のそれぞれが通過する領域は、瞳領域Ｐ１，Ｐ２，Ｐ３およびＰ４に分けられる。

このような撮像装置による撮像により生成される撮像画像において、上記不要光が光電変換されることで現れる画像成分である不要光成分を検出する方法について、図８〜図１１を用いて説明する。

本実施例においても、撮像素子２０２による撮像によって、例えば図２（ａ）に示すような撮像画像が生成されるものとする。図８（Ａ−１），図８（Ｂ−１），図１０（Ｃ−１）および図１０（Ｄ−１）はそれぞれ、瞳領域Ｐ１，Ｐ２，Ｐ３，Ｐ４を通過した光束をＧ１画素群、Ｇ２画素群、Ｇ３画素群およびＧ４画素群により光電変換した結果として得られた一組（４つ）の視差画像を示す。また、該一組の視差画像には、黒い丸で丸の中を薄く塗りつぶして模式的に示す不要光成分ＧＳＴが含まれており、その位置は図８（Ａ−１）と図１０（Ｃ−１）に示す視差画像間および図８（Ｂ−１）と図１０（Ｄ−１）に示す視差画像間ではそれぞれ同じである。一方、図８（Ａ−１）および図１０（Ｃ−１）に示す視差画像間と図８（Ｂ−１）および図１０（Ｄ−１）に示す視差画像間では、不要光成分ＧＳＴの位置が異なっている。

図８（Ａ−２）は、図８（Ａ−１）の視差画像を基準画像とし、該基準画像から図８（Ｂ−１）の視差画像（減算画像）を差し引いて得られた相対差分画像を示す。この相対差分画像には、実施例１でも述べた２次元データとしての被写体視差成分（相対差分情報）と不要光成分とが含まれている。しかし、実施例１と同様に、被写体視差成分はその影響が無視できる程度に微少量であるとする。さらに、実施例１と同様に、基準画像から減算画像を差し引く差分計算により、図８（Ｂ−１）の視差画像に含まれる不要光成分は負値として算出される。しかし、後段の不要光成分を低減する補正処理を簡易化するために、図８（Ａ−２）の相対差分画像では負値を切り捨てて０値として扱う。このことは、以下に説明する全ての相対差分画像において同じである。このため、図８（Ａ−２）の相対差分画像は、相対差分情報として、図８（Ａ−１）に含まれる不要光成分のみを示していることとなる。

また、図８（Ａ−３）は、図８（Ａ−１）の視差画像を基準画像とし、該基準画像から図１０（Ｃ−１）の視差画像（減算画像）を差し引いて得られる相対差分画像を示す。この相対差分画像にも、被写体視差成分（相対差分情報）が含まれているが、被写体視差成分はその影響が無視できる程度に微少量である。また、上述したように図８（Ａ−１）の視差画像と図１０（Ｃ−１）の視差画像とでは同じ位置に不要光成分が存在するため、相対差分情報として不要光成分は検出されない。このように、同じ位置に生じている不要光成分は相対差分画像には現れない。つまり、２つの視差画像間の相対差分情報だけでは検出することができない不要光成分も存在する。しかし、本実施例では、４つの視差画像間で相対差分情報を取得することにより、例えば図８（Ｂ−１）の視差画像のように、少なくとも１つの視差画像における基準画像とは異なる位置に不要光成分が生じていれば、その不要光成分を検出することが可能である。

さらに、図９（Ａ−４）は、図８（Ａ−１）の視差画像を基準画像とし、該基準画像から図１０（Ｄ−１）の視差画像（減算画像）を差し引いて得られた相対差分画像を示す。図８（Ａ−１）と図１０（Ｄ−１）は不要光成分の位置が異なるため、図９（Ａ−４）の相対差分画像は、図８（Ａ−２）の視差画像と同様に、図８（Ａ−１）に含まれる不要光成分のみを示している。

また、図９（Ａ−５）は、図８（Ａ−２）、図８（Ａ−３）および図９（Ａ−４）の相対差分画像（相対差分情報）間において対応する画素位置ごとの相対差分情報の最大値を抽出して得られた相対差分最大値情報を示す画像である。本実施例において、図９（Ａ−５）中の相対差分最大値情報は、図８（Ａ−２）および図９（Ａ−４）に示す相対差分情報と同値の情報となり、図８（Ａ−１）の視差画像に含まれる不要光成分の位置と量を示す。

同様に、図８（Ｂ−２）は、図８（Ｂ−１）の視差画像を基準画像とし、該基準画像から図８（Ａ−１）の視差画像（減算画像）を差し引いて得られた相対差分画像を示す。また、図８（Ｂ−３）は、図８（Ｂ−１）の視差画像を基準画像とし、該基準画像から図１０（Ｃ−１）の視差画像（減算画像）を差し引いて得られた相対差分画像を示す。さらに、図９（Ｂ−４）は、図８（Ｂ−１）の視差画像を基準画像とし、該基準画像から図１０（Ｄ−１）の視差画像（減算画像）を差し引いて得られた相対差分画像を示す。そして、図９（Ｂ−５）は、図８（Ｂ−２）、図８（Ｂ−３）および図９（Ｂ−４）の相対差分画像間において対応する画素位置ごとの相対差分情報の最大値を抽出して得られた相対差分最大値情報を示す画像である。本実施例において、図９（Ｂ−５）中の相対差分最大値情報は、図８（Ｂ−２）および図８（Ｂ−３）に示す相対差分情報と同値の情報となり、図８（Ｂ−１）の視差画像に含まれる不要光成分の位置と量を示す。

同様に、図１０（Ｃ−２）は、図１０（Ｃ−１）の視差画像を基準画像とし、該基準画像から図８（Ａ−１）の視差画像（減算画像）を差し引いて得られた相対差分画像を示す。また、図１０（Ｃ−３）は、図１０（Ｃ−１）の視差画像を基準画像とし、該基準画像から図８（Ｂ−１）の視差画像（減算画像）を差し引く差分計算により得られた相対差分画像を示す。さらに、図１１（Ｃ−４）は、図１０（Ｃ−１）の視差画像を基準画像とし、該基準画像から図１０（Ｄ−１）の視差画像（減算画像）を差し引いて得られた相対差分画像を示す。そして、図１１（Ｃ−５）は、図１０（Ｃ−２）、図１０（Ｃ−３）および図１１（Ｃ−４）の相対差分画像間において対応する画素位置ごとの相対差分情報の最大値を抽出して得られた相対差分最大値情報を示す画像である。本実施例において、図１１（Ｃ−５）中の相対差分最大値情報は、図１０（Ｃ−３）および図１１（Ｃ−４）に示す相対差分情報と同値の情報となり、図１０（Ｃ−１）の視差画像に含まれる不要光成分の位置と量を示す。

さらに同様に、図１０（Ｄ−２）は、図１０（Ｄ−１）の視差画像を基準画像とし、該基準画像から図８（Ａ−１）の視差画像（減算画像）を差し引いて得られた相対差分画像を示す。また、図１０（Ｄ−３）は、図１０（Ｄ−１）の視差画像を基準画像とし、該基準画像から図８（Ｂ−１）の視差画像（減算画像）を差し引いて得られた相対差分画像を示す。さらに、図１１（Ｄ−４）は、図１０（Ｄ−１）の視差画像を基準画像とし、該基準画像から図１０（Ｃ−１）の視差画像（減算画像）を差し引いて得られた相対差分画像を示す。そして、図１１（Ｄ−５）は、図１０（Ｄ−２）、図１０（Ｄ−３）および図１１（Ｄ−４）の相対差分画像間において対応する画素位置ごとの相対差分情報の最大値を抽出して得られた相対差分最大値情報を示す画像である。本実施例において、図１１（Ｄ−５）中の相対差分最大値情報は、図１０（Ｄ−２）および図１１（Ｄ−４）に示す相対差分情報と同値の情報となり、図１０（Ｄ−１）の視差画像に含まれる不要光成分の位置と量を示す。

こうして検出された図９（Ａ−５）、図９（Ｂ−５）、図１１（Ｃ−５）および図１１（Ｄ−５）に示す不要光成分を低減する補正処理を、図８（Ａ−１）、図８（Ｂ−１）、図１０（Ｃ−１）および図１０（Ｄ−１）の元の視差画像に対して行う。これにより、図９（Ａ−６）、図９（Ｂ−６）、図１１（Ｃ−６）および図１１（Ｄ−６）示すように不要光成分が低減された（ほぼ除去された）記録用画像としての視差画像を得ることができる。さらに、これら不要光成分が低減された視差画像を合成することで、図２（ｂ）に示すように瞳分割を行わない撮像により生成された撮像画像と同等の画像であって、不要光成分をほとんど含まない１つの記録用画像を生成することができる。

本実施例でも、以上の工程で特定した不要光成分を記録前にプレビュー画像として表示部２０５または外部表示装置に、撮像画像のうち不要光成分以外の被写体成分と共に又はこれとは別に表示する表示処理（不要光提示処理）を行う。この際、実施例１で説明したように、不要光成分を強調表示したり、不要光成分の補正処理の結果を併せて表示したりしてもよい。補正処理への移行や補正処理の対象となる不要光成分についても実施例１で説明した通りである。

図１２のフローチャートには、本実施例における不要光成分の検出処理、補正処理および表示処理の手順を示している。これらの処理は、それぞれコンピュータであるシステムコントローラ２１０および画像処理部２０４が、コンピュータプログラムとしての画像処理プログラムに従って実行する。

ステップＳ１０１およびステップＳ１０２はそれぞれ、実施例１（図６）のフローチャートにおけるステップＳ１１およびステップＳ１２と同じである。

ステップＳ１０３では、不要光成分検出部２２２は、一組の視差画像において各視差画像を基準画像とした複数の相対差分画像を求める。すなわち、図８（Ａ−１）を基準画像とした相対差分画像として、図８（Ａ−２）、図８（Ａ−３）および図９（Ａ−４）に示す画像を生成する。また、図８（Ｂ−１）を基準画像とした相対差分画像として、図８（Ｂ−２）、図８（Ｂ−３）および図９（Ｂ−４）に示す画像を生成する。また、図１０（Ｃ−１）を基準画像とした相対差分画像として、図１０（Ｃ−２）、図１０（Ｃ−３）および図１１（Ｃ−４）に示す画像を生成する。さらに、図１０（Ｄ−１）を基準画像とした相対差分画像として、図１０（Ｄ−２）、図１０（Ｄ−３）および図１１（Ｄ−４）に示す画像を生成する。

撮像面に到達した不要光が撮像光学系２０１の異なる瞳領域を通過する場合、図８（Ａ−１）および図８（Ｂ−１）に示すように視差画像ごとに不要光成分の出現位置が異なる。このため、単純な相対差分画像では、不要光成分の差分値は正値または負値となる。

例えば、図８（Ａ−２）に示す相対差分画像を生成するために図８（Ａ−１）に示す基準画像から図８（Ｂ−１）に示す減算画像を差し引く場合、基準画像中の不要光成分が正値となり、減算画像に含まれる不要光成分が負値となる。本実施例では、前述したように後段の不要光成分の補正処理を簡易化するために負値を切り捨てて０値とする（負値を０値として扱う）処理を行う。このため、図８（Ａ−２）に示す相対差分画像においては、図８（Ａ−１）に含まれる正値の不要光成分のみが検出される。他の相対差分画像についても同様の処理を行うことで、各基準画像に含まれる不要光成分のみが正値として検出される。

一方、図８（Ａ−１）と図１０（Ｃ−１）のように同じ位置に不要光成分が存在している場合には、上述したように相対差分画像において不要光成分は検出されない。

次に、ステップＳ１０４では、不要光成分検出部２２２は、ステップＳ１０３にて得られた複数（３つ）の相対差分画像間において対応する画素位置ごとの相対差分最大値情報を求める（抽出する）。相対差分最大値情報を求める理由およびその効果は、先に図８（Ａ−３）の画像についての説明でも触れたが、再度説明すると以下の通りである。

撮像光学系や高輝度光源の位置によっては視差画像間でも同じ位置に不要光成分が存在する場合がある。本実施例でも、図８（Ａ−１）および図１０（Ｃ−１）に示した視差画像間では互いに同じ位置に不要光成分が存在している。このような場合、これら２つの視差画像の差分を算出しても不要光成分は０値となってしまう。つまり、２つの視差画像間だけの差分情報だけでは検出することができない不要光成分が生じる可能性がある。

そこで、本実施例では、４つの視差画像間の相対差分情報を取得することにより、２つの視差画像間だけでは検出することができない不要光成分を検出できるようにしている。すなわち、図８（Ａ−１）の視差画像を基準画像とした場合に、該基準画像と図１０（Ｃ−１）の視差画像との間では同じ位置に不要光成分が存在するため、不要光成分は検出されない。しかし、図８（Ｂ−１）の視差画像には、図８（Ａ−１）の基準画像とは異なる位置に不要光成分が生じているので、図８（Ａ−２）の相対差分画像のようにその不要光成分を検出することができる。

このように、本実施例では、基準画像と他の複数の視差画像との差分である複数の相対差分情報を取得し、該複数の相対差分情報間の相対差分最大値情報を求める。これにより、基準画像とは不要光成分の位置が異なる視差画像が１つでも存在すれば、不要光成分の位置と量を検出することができる。

次にステップＳ１０５では、不要光成分検出部２２２は、ステップＳ１０４にて得られた相対差分最大値情報を示す画像（以下、相対差分最大値画像ともいう）中に残存した成分を不要光成分として決定する。こうして、元の各視差画像における不要光成分が検出される。

次にステップＳ１０６では、画像処理部２０４は、撮像時における撮像装置の情報を取得する。具体的には、撮像装置の姿勢情報（撮像素子２０２の向きを示す情報）、撮像光学系２０１を特定する識別番号や型番および撮像条件（絞り値、焦点距離、物体距離等）を取得する。

次にステップＳ１０７では、光源方向推定部２２１で、ステップＳ１０２で生成した複数の視差画像から被写体の３次元マップを作製して被写体を立体的に構築する。３次元マップの作製方法は実施例１と同様である。さらに、３次元マップを用いて、実施例１で説明した方法により光源データ（光源の位置、方向および輝度）を求める。

次に、ステップＳ１０８では、不要光成分検出部２２２は、不要光ＤＢ２２７から、ステップＳ１０６で得られた撮像時における撮像装置の情報とステップＳ１０７で得られた光源データとに応じた不要光データを選択して取得する。この段階で、不要光ＤＢ２２７から取得した不要光データにより示される不要光成分の低減効果を予測することができる。

次にステップＳ１０９では、不要光成分検出部２２２は、ステップＳ１０８で取得した不要光データに示される不要光成分の各視差画像内での位置を特定する。

次にステップＳ１１０では、不要光成分表示部２２４は、特定された不要光成分を記録用画像の記録前のプレビュー画像として、各視差画像のうち不要光成分以外の被写体成分と共に又はこれとは別に、表示部２０５または外部表示装置に表示する。各視差画像とともに表示する場合には、先にも説明したように、不要光成分の部分を強調表示するとよい。

次にステップＳ１１１では、不要光成分低減部２２３は、撮像により得られた一組の視差画像に対して不要光成分を低減する補正処理を行い、不要光成分が低減された一組の視差画像を生成する。

本実施例では、図７（ａ）に示したＧ１１画素群の出力信号から視差画像（図９（Ａ−６））を生成し、Ｇ１２画素群の出力信号から視差画像（図９（Ｂ−６））を生成する。また、Ｇ１３画素群の出力信号から視差画像（図１１（Ｃ−６））を生成し、Ｇ１４画素群の出力信号から視差画像（図１１（Ｄ−６））を生成する。この際、ステップＳ１０３にて負値を切り捨てて０値とすることで各視差画像に含まれる正値の不要光成分のみが相対差分最大値情報として検出されているため、単純に各視差画像から相対差分最大値画像を差し引くことで不要光成分を低減（除去）することができる。つまり、図８（Ａ−１）の視差画像から図９（Ａ−５）の相対差分最大値画像を差し引き、図８（Ｂ−１）の視差画像から図９（Ｂ−５）の相対差分最大値画像を差し引く。また、図１０（Ｃ−１）の視差画像から図１１（Ｃ−５）の相対差分最大値画像を差し引き、図１０（Ｄ−１）の視差画像から図１１（Ｄ−５）の相対差分最大値画像を差し引く。これにより、不要光成分が低減された一組の視差画像（図９（Ａ−６），図９（Ｂ−６），図１１（Ｃ−６），図１１（Ｄ−６））が得られる。

次にステップＳ１１２では、不要光成分表示部２２４は、特定された不要光成分ごとにその低減の効果を示すため、表示部２０５や外部表示装置に不要光成分ごとの補正処理後の一組の視差画像（記録用画像）を表示する。これにより、ユーザがどの程度不要光成分が低減するかを記録前に知ることができる。

次にステップＳ１１３では、不要光成分表示部２２４は、特定された不要光成分について、ユーザが選択した不要光成分に対してのみ補正処理の結果を反映する。これにより、例えば、ユーザが意図的に残したい不要光成分や誤検出により不要光成分と判定されて補正していた不要光成分以外の成分については低減されない一組の視差画像を生成することができる。

最後にステップＳ１１４では、システムコントローラ２１０は、図９（Ａ−６），図９（Ｂ−６），図１１（Ｃ−６），図１１（Ｄ−６）に示す不要光成分が低減（除去）された一組の視差画像を、記録部２０９を通じて記録用画像として画像記録媒体に記録する。また、これら一組の視差画像を表示部２０５に表示する。また、これら一対の視差画像を合成することで、図２（ｂ）に示すように、瞳分割を行わない撮像により生成された撮像画像と同等の画像であって、不要光成分が十分に低減された１つの記録用画像を記録したり表示したりすることもできる。

以上説明したように、本実施例によれば、１回の撮像で得られた４つの視差画像のそれぞれを基準画像としたときの各基準画像と他の３つの視差画像との差分（相対差分情報）を用いて各視差画像（基準画像）における不要光成分を検出することができる。つまり、複数回の撮像を行うことなく撮像画像に含まれる不要光成分を検出することができる。さらに、相対差分情報を生成する際に負値となる不要光成分を切り捨てるため、正値となる不要光成分を単純な差分計算のみで検出することができる。したがって、この不要光成分を元の視差画像から差し引くだけで、不要光成分が良好に低減（除去）された高品位の記録用画像を得ることができる。

しかも、本実施例では、４つの視差画像の相互間の相対差分情報から相対差分最大値情報を求める。このため、例えば４つの視差画像のうち２つの視差画像間の不要光成分の位置が同じであっても、他の視差画像間の不要光成分の位置がそれらと異なれば、不要光成分を検出してこれを低減した記録用画像を得ることができる。

さらに、本実施例でも、撮像後の記録用画像の記録前に、低減される不要光成分をユーザに対して表示するので、ユーザに不要光成分の低減効果を記録前に予測させることができる。したがって、低減すべき不要光成分をより確実に低減したり、不要光成分ではない被写体成分を低減することを回避したりすることができる。

なお、本実施例では、４つの視差画像のそれぞれを基準画像として各基準画像と他の３つの視差画像との差分である相対差分情報（相対差分画像）を求め、各視差画像とこれを基準画像としたときの相対差分情報とを用いて該視差画像の不要光成分を検出した。しかし、視差画像は必ずしも４つ用いる必要はなく、実施例１にて説明したように２つの視差画像を用いてもよいし、３つ以上の視差画像を用いていてもよい。つまり、複数の視差画像のそれぞれに対して１つ以上の相対差分情報が得られればよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

２０１ 撮像光学系
２０２ 撮像素子
２０４ 画像処理部
２２１ 光源方向推定部
２２２ 不要光成分検出部
２２３ 不要光成分低減部
２２４ 不要光成分表示部

Claims (11)

1. 互いに異なる視点から被写体の撮像を行うことより生成された互いに視差を有する入力画像としての複数の視差画像を取得する画像取得手段と、
   前記入力画像に含まれる不要光成分を特定する不要光特定手段と、
   前記入力画像に対して、前記不要光特定手段により特定された前記不要光成分を低減する不要光低減処理を行う処理手段と、
   前記入力画像のうち前記不要光特定手段により特定された前記不要光成分を表示手段に表示させる不要光提示手段とを有し、
   前記不要光特定手段は、
   前記複数の視差画像を用いて、前記被写体の距離に関するデータである距離データを取得し、
   前記距離データを用いて前記被写体を構成する複数の面のそれぞれの面法線に関するデータである面法線データを取得し、
   前記面法線データと前記複数の面のそれぞれの輝度とを用いて、前記撮像において前記被写体を照らす光源に関するデータである光源データを取得し、
   前記光源データと前記撮像における撮像条件に関する情報とを用いて前記不要光成分に関するデータである不要光データを取得し、
   前記不要光データを用いて前記不要光成分を特定することを特徴とする画像処理装置。
2. 前記不要光提示手段は、前記不要光成分を前記入力画像における該不要光成分以外の被写体成分とは別に表示することを特徴とする請求項１に記載の画像処理装置。
3. 前記不要光提示手段は、前記不要光成分を強調表示することを特徴とする請求項１に記載の画像処理装置。
4. 前記不要光特定手段は、前記距離データから前記被写体の立体形状を表すマップを作製し、該マップを用いて前記複数の面の前記面法線データを取得することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記不要光データは、前記不要光成分の位置、強度、色相、大きさおよび形状のうち少なくとも１つのデータを含むことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記不要光データのデータベースを保存する記憶手段を有し、
   前記不要光特定手段は、前記データベースから前記光源データと前記撮像における前記撮像条件に関する情報に応じて前記不要光データを取得することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. ユーザによる選択を可能とする入力手段を有し、
   前記処理手段は、前記入力手段を通じて選択された前記不要光成分に対して前記不要光低減処理を行うことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記不要光低減処理により前記不要光成分が低減された記録用画像を記録媒体に記録することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 請求項１から８のいずれか一項に記載の画像処理装置と、
   撮像により前記入力画像を生成する撮像系とを有することを特徴とする撮像装置。
10. 請求項１から６のいずれか一項に記載の画像処理装置と、
    撮像により前記各視差画像を生成する撮像系とを有し、
    前記撮像系は、
    それぞれ１つのマイクロレンズと複数のサブ画素とを含む複数の撮像画素が設けられた撮像素子を含み、
    前記複数の撮像画素における前記サブ画素ごとに得られる信号を用いて前記各視差画像を生成することを特徴とする撮像装置。
11. コンピュータに、互いに異なる視点から被写体の撮像を行うことより生成された互いに視差を有する入力画像としての複数の視差画像に対する画像処理を行わせるコンピュータプログラムであって、
    前記画像処理は、
    前記入力画像に含まれる不要光成分を特定する不要光特定処理と、
    前記入力画像に対して行われ、前記不要光特定処理により特定された前記不要光成分を低減する不要光低減処理と、
    前記入力画像のうち前記不要光特定処理により特定された前記不要光成分を表示手段に表示させる不要光提示処理とを含み、
    前記不要光特定処理は、
    前記複数の視差画像を用いて、前記被写体の距離に関するデータである距離データを取得し、
    前記距離データを用いて前記被写体を構成する複数の面のそれぞれの面法線に関するデータである面法線データを取得し、
    前記面法線データと前記複数の面のそれぞれの輝度とを用いて、前記撮像において前記被写体を照らす光源に関するデータである光源データを取得し、
    前記光源データと前記撮像における撮像条件に関する情報とを用いて前記不要光成分に関するデータである不要光データを取得し、
    前記不要光データを用いて前記不要光成分を特定することを特徴とする画像処理プログラム。