以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
<第1の実施形態>
図2は、本発明の第1の実施形態における撮像装置の概略構成を示すブロック図である。撮像装置100は、光学系110(撮像光学系)、撮像素子120、画像処理部130、CPU140を含む。光学系110は、複数枚のレンズ及びミラー、絞り機構及びフォーカスやズームのための駆動機構から構成され、被写体200から放射された光を撮像素子120上に結像させる。
撮像素子120は、図3に示すような構成を有する複数の単位画素セル301を有する。図3(a)は単位画素セル301の断面図であり、主に、複数の光電変換部、マイクロレンズ(ML)304、カラーフィルタ305、配線層306により構成される。このように、本第1の実施形態の単位画素セル301は、1つのマイクロレンズに対して、複数の光電変換部を有する。
図3(b)及び(c)は1つのML304下の光電変換部を、それぞれ2分割、4分割した場合の正面図である。2分割の場合、図3(b)に示すように、光電変換部はPD1とPD2から構成される。4分割の場合は、図3(c)に示すように、光電変換部はPD1〜PD4から構成される。以下、分割した光電変換部(PD1及びPD2、PD1〜PD4)を総称して、分割PDと呼ぶ。
ML304を通った入射光は、カラーフィルタ305によって分光され、光電変換部を照射する。カラーフィルタ305は、一定周期の繰り返しで単位画素セル単位で配列される。図4にカラーフィルタ配列の例を示す。ここでは、各光電変換部をPD1、PD2の2分割にした例を示している。また、R、G、G、Bのセットが周期的に配列された、一般的なベイヤー配列のカラーフィルタ305を示している。単位画素セル301の光電変換部が分割構造である以外は、一般的な撮像素子と同様の構造及び特徴を有する。
そして、光学系110に対し、ML304が視野レンズの役割を果たすことから、光電変換部に到達する射出瞳からの光束が制限されるとともに、分割PD上にはそれぞれ射出瞳の異なる領域を透過した光束が到達する。このため、光電変換部が2分割されている場合、受光領域全体から、各単位画素セル301のPD1の画素値を集めて構成した画像Aと、PD2の画素値を集めて構成した画像Bとの間には視差が生じる。この画像Aと画像Bとの間の視差を利用することで、焦点検出処理やステレオ画像処理が可能となる。このように、画像間で視差を持つ画像を視差画像と呼ぶ。
また、一般的な太陽光等のコヒーレンスの低い光を照明とする撮影照明条件下、及び民生光学素子を利用する条件下では、分割瞳間の空間コヒーレンシーは低いとみなすことが可能である。そのため単位画素セル301中の複数の分割PD、例えば2分割のPD1とPD2、または4分割のPD1〜PD4の画素値を、単位画素セル301毎に加算して得られる加算画像は、従来の非瞳分割光学系で撮影した画像とほぼ等価な画像として得られる。得られた加算画像に、後述の画像処理部130で行われる画像処理を行うことで、従来の撮像素子を用いた場合と同様の画像を得ることができる。
上述した単位画素セル301を有する撮像素子120からは、各ML304に対応する分割PDの数分の視差画像信号が出力される。多くの場合、読み出し回路が共有され、例えばスイッチング回路の切り替えによる順次読み出しにより、各視差画像信号が順次出力される。撮像素子120によっては、占有伝送帯域節約のため、2つ以上の視差画像間で四則演算した信号、例えば2つ以上の分割PDの画素値を単位画素セル301毎に加算した信号と、加算した分割PDの一部からの非加算の信号とをセットで出力する。このタイプの撮像素子の場合、画像処理部130にて分離処理を行い、各視差画像に復元することにより、分割PD毎に画素値を読み出した場合と等価な画像信号を得ることができる。例えば、2分割の場合、PD1とPD2の画素値を単位画素セル301毎に加算した信号と、PD1及びPD2のいずれか一方の画素値とを出力し、加算した信号から加算せずに読み出した画素値を減算することで、他方の画素値を得ることができる。
次に、画像処理部130について説明する。画像処理部130は、撮像素子120から得られたアナログの画像信号に対して、相関二重サンプリング(CDS)によるノイズ除去、オートゲインコントロール(AGC)によるゲインアップ、黒レベル補正、A/D変換やキズ補正等の基礎的な処理を行う。更に、処理したアナログの画像信号をデジタル信号に変換する。また、画像処理部130は、本第1の実施形態に特徴的なシェーディング補正処理を行う。なお、このシェーディング補正処理については詳細に後述する。
更に、画像処理部130は、デジタル信号に変換した画像信号に対して絵作りに関する画像処理や、記録及び伝送のための符号化圧縮処理を行う。例えば、ベイヤー配列補間、線形化マトリクス処理、ホワイトバランス調整、YCC変換、色差・階調・コントラスト補正、エッジ強調等の処理を行う。さらに近年では、複数フレームの画像合成により広ダイナミックレンジ画像を生成するダイナミックレンジ拡張処理や超解像処理等の付加価値向上のための処理も行われている。これらの処理により、一枚の静止画もしくは動画に形成された出力像の情報を生成する。また、画像処理部130は、付加価値的な処理である視差画像を用いた焦点検出処理及び画素加算に基づく観賞用画像生成を行う。画像処理部130にて得た焦点検出情報はCPU140に伝送される。
画像処理部130で生成された画像データは、不図示のDRAM等から構成されるワークメモリに一旦保存されるか、もしくは想定される後段の処理部に直接伝送される。後段の処理部としては、例えば、半導体メモリ等からなる記録部、液晶等のディスプレイ等から構成される表示部、無線LANやUSB等の有線ケーブル等を接続可能なインターフェース(I/F)から構成される外部入出力I/F等が挙げられる。
CPU140は撮像装置100全体の動作を制御する。CPU140は画像処理部130から伝送された焦点検出情報に基づいて、光学系110に含まれるフォーカスレンズを駆動し、合焦制御を実施する。また、光学系110に含まれるズーム等のレンズ群や絞り等も駆動制御する。そして、CPU140はフォーカス距離や焦点距離、絞り値からなるカメラパラメータ(撮影条件)の状態情報を常に管理している。より高精度なカメラパラメータを制御に用いる場合には、光学系110に搭載される不図示のエンコーダを用いてカメラパラメータ状態を測定し、CPU140に記録する。
なお、撮像素子120が画像処理回路をオンチップで含む場合には、上述した構成を有する撮像素子120に特有のシェーディング補正、焦点検出処理、観賞用画像生成のための画素加算の全てを、撮像素子120内で行ってもよい。加えて、上述のように画素加算した視差画像と非加算画像のセットを出力する撮像素子120の場合、本発明のシェーディング補正及び焦点検出処理より先に、加算画像と非加算画像から、各視差画像に分離する分離処理が追加される。この分離処理では、例えば画素単位レベルの四則演算を行う。
このように、考え得る装置及び処理の構成は様々であり、以下に説明する本第1の実施形態におけるシェーディング補正処理は、上述した装置及び処理構成、及びその順番に制限されるものではない。本発明の精神及び範囲から離脱することなく、様々な変形及び組み合わせが可能である。
このため以下においては、撮像素子120の出力の上述した些細な組み合わせ等の条件の違い、処理順の違いを省いた条件下で、本第1の実施形態におけるシェーディング補正処理を説明する。
図5は、画像処理部130で行われるシェーディング補正処理のための構成を示す図である。入力は複数枚の視差画像であり、A/D変換等の一連の前処理や、出力された画像信号の一部が加算画像の場合の分離処理は実施済みとする。図5に記載のシェーディング補正部501により、後述する瞳分割系を考慮したシェーディング補正を実施し、飽和の影響を補正した複数枚からなる一群の視差画像を出力する。そして、画素加算処理による観賞用画像生成処理や、焦点検出処理等を実施する。観賞用画像生成処理では、信号処理部502が、画素加算した画像を観賞用画像に変換する。観賞用画像への変換を行う信号処理部502の処理は、上述したベイヤー配列補間、符号化圧縮等の後処理に対応する。また、焦点検出部503は、補正済みの複数枚からなる視差画像を入力として焦点検出処理を行う。更に、出力された複数枚の視差画像を、密な奥行情報の取得に利用したり、不図示の記録部への保存、外部入出力I/Fから出力して、外部のより強力な画像処理ユニットへの入力として利用しても良い。
シェーディングは、上述したように大きく2種類に分けられる。1つは、通常の非瞳分割光学系においても不可避の周辺光量低下を主とする、図1(a)を一例とするシェーディング、もう1つは、本第1の実施形態のように瞳分割を行う撮像素子に特有の図1(b)または図1(c)を一例とするシェーディングである。本第1の実施形態のシェーディング補正においては、両方のシェーディングの影響を補正する。実際の処理の実行においてはこれら2種類のシェーディングの影響を合算して考慮した補正を実施するのが効率的である。
上述のように、光学系110と、単位画素セル301のML304及び各ML304に対応する複数の分割PDを組み合わせると、瞳分割光学系を構成することができる。図1(b)に示す傾向から観察可能なように、瞳分割に伴い、複数の視差画像間で瞳分割方向に偏ったシェーディングが生じる。
ここで、上述したように各ML304に複数の分割PDが対応する構成を有する撮像素子120に特有のシェーディングの要因について説明する。
図6は、分割瞳と、ML304を共有する複数の分割PDそれぞれへ入射する主光線との関係を示した図である。図6(a)は画像中心近傍の単位画素セル301へ入射する主光線に関する図、図6(b)は画像周辺部の単位画素セル301へ入射する主光線に関する図である。なお、画像中心とは、光学系110の光軸と撮像素子120上に形成される画像面との交点である。
図6(a)に示すように、画像中心近傍においては、各分割瞳から各分割PDに入射する主光線の角度はほぼ等しくなる。一方、画像周辺部においては、各分割瞳から各分割PDに入射する主光線の角度は、図6(b)に示すように、単純な幾何学的関係に基づき、相対的に大きく異なる。この結果、一般的なシェーディングの要因であるコサイン4乗則の影響により、ML304を共有する分割PD間で、被写体の同一点からの等しい輝度または照度の光束を投影したとしても画素値に差を生じることになる。これが、分割瞳光学系に生じる特有のシェーディングの主要な原因である。コサイン4乗則の影響は、主レンズから撮像面までの距離がML304を共有する分割PD間で著しく異なる場合や、主レンズの瞳サイズが同様に異なる場合、画像中心から単位画素セル301までの距離が同様に著しく大きい場合には顕著となる。但し、主レンズから撮像面までの距離とは、物理的な距離ではなく、主レンズを構成するレンズ群を1つの合成レンズに換算した際の仮想距離を指すこととする。
コサイン4乗則は、ケラレのない理想状態、例えば長焦点距離のレンズの場合には、瞳分割特有のシェーディング現象を忠実にモデリングする。一方、短焦点距離のレンズでは、鏡筒やレンズ保持部によるケラレに起因するシェーディングが生じやすく、ケラレが主な要因となる場合が多い。また、ズームやフォーカス制御により射出瞳が移動するのに対し、絞りの開口位置が移動しない場合には、ケラレによるシェーディングがさらに生じ易くなる。
図7は射出瞳と絞りの開口位置とのずれにより生じる偏りを持ったケラレの影響を説明する図である。図7(a)は射出瞳と絞りの開口位置が一致する場合を示す図である。通常、光学系110における絞りの開口位置は、画角変動に対し、周辺光線の経路の変動が一番小さくなる射出瞳位置に設定される。このため、図7(a)の上部に示すように、画像中心近傍におけるケラレと、画像周辺部におけるケラレは大差ない状態となる。図7(a)の下部の左側の円が画像周辺部から見た射出瞳、右側が画像中心近傍から見た射出瞳の例を示している。ほぼ同じ形状及び大きさの射出瞳となっている。
しかしながら、ズームやフォーカスの制御状態によっては、光学系110に含まれる絞り位置に対し、射出瞳が光軸方向にずれを生じる場合がある。図7(b)の上部に示すように、撮像素子120の画像周辺部に到達する光束に対しては、ずれた位置に移動した絞りにより、射出瞳が偏心した形でケラレが生じる状態を表している。この場合は、画像中心近傍と画像周辺部との間で特有のシェーディングを生じる。図7(b)の下部に示す図は、左側が画像周辺部から見た射出瞳、右側が画像中心部から見た射出瞳の例であり、射出瞳からずれた位置に設置された絞りによる遮蔽を受け、画像周辺部から見た瞳が著しく小さくなる場合を表している。
加えて、光学系110の合成主点が撮像素子120の近くに来るような構成の場合、画像周辺部に近づくにつれて、光学系110の主レンズと単位画素セル301のML304とを結ぶ光軸が大きく傾く恐れがある。
図7(c)、(d)はML304と分割PDのアライメントの影響を説明する図である。ここでは、図6の左端に示すように、画像周辺部に配置された単位画素セル301について説明する。ML304と分割PDのアライメントが適切な場合、図7(c)に示すように、射出瞳から放射された光束を効率良く各分割PDで受光することが可能である。一方、ML304と分割PDのアライメントが適切になされていない場合、次のような現象が起きる。ここで、例えば、撮像素子120が光学系110の高いテレセントリック性を想定して、ML304と分割PDのアライメントがほぼ等ピッチであるのに対し、光学系110のテレセントリック性が低い場合を想定する。この場合、別の分割PDに入射すべき光束が隣接する分割PDに入射してクロストークが発生するか、もしくは図7(d)に示すように光束の一部が画素構造や配線層306によってケラレを生じ、相対的な光量低下を引き起こす。これは上述の鏡筒やレンズ保持部により生じるケラレと同様に各分割PDの断面積から見える射出瞳サイズの縮小として影響が表れ、画像周辺部ほど影響が大きくなる。
図7(e)は上述の複合的要因により単位画素セル301の位置(像高)に応じて変化するML304を共有する分割PDに対する射出瞳の大きさを説明する図である。左下は、画像中心近傍の単位画素セル301における2分割、4分割の分割PDそれぞれから見た射出瞳の大きさを示す模式図である。画像中心近傍の場合、ML304を共有する各分割PDに見込む射出瞳形状はほぼ同じとなり、被写体が均一な輝度または照度面の場合、合焦し、同一物点を投影している場合には各分割PDから得られる画素値はほぼ同じとなる。
一方、右上は撮像素子120の画像周辺部の単位画素セル301における2分割、4分割の分割PDそれぞれから見た射出瞳の大きさの違いを表す模式図である。各分割PDでケラレ量が異なるため、射出瞳の大きさに著しく差が生じ、各分割PDから得られる画素値に差が生じる。更に、鏡筒やレンズ保持部により生じるケラレ形状は鏡筒形状等に深く依存して複雑な形状となる。また光学系110と撮像素子120間での想定するテレセントリック特性のずれに起因するケラレ形状は、相対的な特性のずれにより影響の大小が変化して方向反転が生じる。よって、図7(e)に示した形状はあくまで模式的なものであり、画素値の光量差に影響する相対サイズの変化を表す近似的なものである。
上述したようにコサイン4乗則による影響、及び各分割PDから見た射出瞳の大きさの違いの影響により、シェーディングが発生してML304を共有する分割PD間での受光量に差が生じる。その結果、均一な輝度または照度の平面を撮影しても、2分割の場合は図1(b)、4分割の場合は図1(c)に示すような方向性を有す、空間的に不均一な諧調差を持ったシェーディングが発生する。
図8は像高に応じたシェーディング特性、言い換えれば、シェーディングによる諧調変化を表した図であり、被写体が均一な輝度または照度面の場合の像のプロファイルに相当する。横軸は、画像中心を通る瞳分割方向の座標を示し、縦軸は、画素値の相対値(諧調)を示している。図8(a)は瞳分割を行わない撮像素子、もしくは各分割PDから得られる画素値を単位画素セル301毎に加算した後の、非瞳分割時の光学系起因の減光特性を表している。この場合、上述した一般的なシェーディングの影響により、画像周辺部に近づく程、諧調に減光作用が生じる。
一方、図8(b)は瞳分割時の瞳分割起因のシェーディングによる諧調変化の分布を表す図である。ここでは、等輝度光を入射した場合の、光電変換部を2分割した場合にML304を共有するPD1及びPD2の諧調の分布の違いを表している。対となる視差画像の一方を視差画像1、他方を視差画像2としている。単位画素セル301の画素構造におけるPD1及びPD2のどちらから得られる画素値が視差画像1もしくは2を構成するかは、上述のシェーディング要因の条件により変化するため、図示の関係は厳密ではない模式図となっている。図8(b)から分かるように、等輝度光を入射した場合であっても、同じ単位画素セル301のPD1及びPD2から出力された画素値は、画像周辺部に近づくほどシェーディングの影響を受けて大きな諧調差を生じる。
図8(c)は、図8(a)及び(b)に示すシェーディングの影響を合成し、同時に考慮した時のシェーディング特性を示す図である。
上述の図8(a)に示す非瞳分割時の光学系に起因するシェーディング、及び、図8(b)に示す瞳分割に起因するシェーディングの影響は、画像中心を基準とする、少なくとも瞳分割方向の座標位置を変数とする補正係数を用いたゲイン補正により補正する。なお、画像中心を基準とする変数とは、具体的には、水平方向に2分割の瞳分割の場合には水平方向の座標、水平垂直方向の4分割の瞳分割の場合には水平及び垂直方向の座標のことである。図8(d)に、図8(c)に示す合成シェーディング特性に対するシェーディング補正パラメータの一例を示す。該シェーディング補正パラメータを変数である座標に対応する諧調に乗算することにより、シェーディング補正を実施する。シェーディング補正パラメータが図8(d)のように1以上の拡張方向に係数を持つ場合、係数によるゲイン補正と同時にスケーリングもしくはビット深度の拡張を実施することが好ましい。
最後に図8(e)は、図8(c)に示す諧調を有する視差画像1及び2を、図8(d)に示すシェーディング補正パラメータで補正した結果を示す図である。視差画像間、及び、各視差画像内でシェーディングの影響が補正され、均一な感度、言い換えれば等しい諧調特性が得られる。
上述の瞳分割に関するシェーディング補正パラメータは、例えば、水平座標を変数とする補正係数、もしくは、水平垂直座標を変数とする補正係数であり、撮像装置の設計時の設計パラメータ、もしくは該撮像装置を用いた計測により作成する。また、該補正係数は、上述の非瞳分割時の光学系起因のシェーディング特性を含んだ形でも作成可能である。
具体的には、補正係数は、光学系110の構造、撮像素子120の構造、及び絞り等を含む鏡筒構造及びズーム、焦点距離、絞り値等の撮影時のカメラパラメータに基づく、例えば、幾何光学演算光学計算により計算して求める。実際は光学設計CADの機能を利用する場合が多い。まず、光学系110を設計した光学系設計CADを利用し、等照度面を撮影した場合の諧調分布からなるシェーディングデータを分割PD毎に光線追跡により計算する。その際には、鏡筒やレンズ保持部のデータも用いて、鏡筒やレンズ保持部によるケラレも考慮したシェーディングの影響を演算する。これにより、図8(c)に示すような、図8(a)の非瞳分割時の光学系起因のシェーディング及び図8(b)の瞳分割起因のシェーディング特性を同時に考慮したシェーディング特性が得られ、補正時に効率的な計算が実現可能である。そしてこの諧調分布を画像中心座標を基準に等諧調となるような補正係数を、水平座標もしくは水平垂直座標を変数として分割PD毎に算出する。即ち、図8(c)のシェーディング特性を補正するために、図8(d)に示すような合成補正パラメータが計算される。
光学系設計CADとしては、Synopsys Inc.(ORA)社開発のCODEV及びLightTools、Radiant ZEMAX LLC.社開発のZEMAX等の製品が代表的なものとして挙げられる。これらの光学系設計CADは、撮像面におけるシェーディングの影響を光線追跡に基づき計算する専用コマンドを備える。また、配線層306に起因する、より詳細なケラレ効果を考慮したシェーディング特性を計算したい時、特に基本機能で不足の場合には、各設計ソフトに備えられたマクロ機能を利用して画素セルの構造モデルを計算に含めることにより、実現可能である。マクロにより、図3(a)で示した単位画素セル構造を光線追跡時に考慮できるように入力する。更に詳細に画素セル構造の波動光学的影響を厳密に計算する場合には、連携機能を用いて有限要素法等による構造解析可能なソフトによる計算出力を用いてシェーディングによる影響を計算する。
また、補正パラメータは、該撮像装置を用いた計測により作成しても良い。等照度面を撮影した際の各単位画素セル301の分割PD毎の諧調からシェーディングデータを計測し、この諧調分布を画像中心座標を基準に等諧調となるような補正係数を水平座標もしくは水平垂直座標を変数として分割PD毎に算出しても良い。
事前に設計CADによる計算、もしくは測定により得られた補正パラメータは、画像処理部130に含まれる不図示のROM等の記録部に保存される。補正パラメータは、代表的なカメラパラメータの組み合わせに対してのみ用意しても良いし、全てのカメラパラメータ変数の定義域範囲をカバーするような多次元テーブル形式で用意しても良い。
撮像素子120のダイナミックレンジが十分広く、かつ光電変換部の分割数が少なく、かつシーンの輝度範囲が狭く、かつ撮像装置100の露出条件が適切な場合、飽和することなく諧調を得ることができる。このため上述のシェーディング補正を行うことにより、視差画像間の諧調差が適切に補正され、視差画像間の位相差焦点検出等を十分に精度良く実現することができる。
一方、撮像素子120のダイナミックレンジが狭い場合や、光電変換部の分割数が多い場合、シーンの輝度範囲が広い場合、撮像装置100の露出条件が低輝度部分に不適切に適応した撮影が行われた場合等に、高輝度部分に対応する分割PDが飽和する。飽和した分割PDからの画素値に上述のシェーディング補正を実施すると、視差画像の対応する画素間で逆に疑似的な諧調差が生じてしまう。
図9は、シェーディング補正における飽和画素値の扱いを説明する図である。ここでは、光電変換部を2分割した場合を例として説明する。図9(a)は飽和対策を行わない場合の、PD1及びPD2の出力特性、及びPD1及びPD2の出力を加算した合成出力特性を示している。なお、合成出力は平均化によって取得しても良い。さらに増幅等の追加処理を実施してもよい。図9では説明のため、仮にPD1がPD2より感度が高く、及び/または、光が多く入力している場合を示している。
PD1及びPD2への入射光量が範囲1101の間は、PD1の方がPD2より発生電荷が多い。この段階ではPD1は未飽和のため、PD1とPD2の出力を合成した出力として、適切な値が得られる。ところが、入射光量が範囲1102の間は、PD1が飽和する一方、PD2は未飽和であり、PD2のみが入射光に応じて線形性を有した信号を出力する。そのため、この範囲で得られる信号に対しシェーディング補正した信号には、疑似的な諧調差が生じる。
上述した問題に対しては特許文献2等から、ML304を共有する複数の分割PDのうち少なくとも一つの画素が飽和画素の場合、その画素間の演算を相関演算の対象から外すという対策が提案されている。
図10は、飽和領域を含む場合の相関演算における飽和画素の影響を説明する図である。図10(a)に飽和領域を含む場合の相関における視差画像のプロファイルを示す。例えば、視差画像1及び視差画像2をシフトさせつつ、差分の絶対値総和演算を行い、相関値を計算する。図10(a)はシェーディング補正を行わない場合に、相関演算の結果、最も相関が高い状態を示した例であり、飽和諧調画素の境界近傍の特徴が相関演算において良い影響を与えている。一方、非飽和領域においてはシェーディングの影響により合焦の位相位置でも画素値に差が生じてしまい、相関演算の信頼性に悪影響を及ぼしてしまう。
図10(b)は、従来のシェーディング補正を行った視差画像のプロファイルを示す。この場合、シェーディング補正を行わない場合とは逆に、非飽和領域においてはシェーディング補正の効果により相関演算の信頼性は向上する。一方、飽和領域においては、その周辺部でシェーディング特性が異なると、等輝度または等照度物点を射影した画素の対であっても得られる諧調はシェーディング補正の弊害を受けて異なる値に補正されてしまい、相関が低くなってしまう。
図10(c)は、PD1及びPD2のうち、少なくとも一方が飽和画素の場合、そのPD間の演算を相関演算の対象から外す場合を示している。点線部で囲まれた領域1201が、少なくとも一方の画素が飽和している領域を示している。図10(c)に示すプロファイル特性のような、テクスチャ性の低い被写体の場合、飽和領域を除いてしまうと、プロファイルの飽和の右側にあるような微小な特徴1202のみを用いて相関演算せざるを得ない状況が多くなり易く、相関演算の信頼性が低下する。また、微小特徴は照明変化やノイズで生じた偽対応特徴である可能性も高い。
また飽和は、PD1及びPD2の諧調を総和して得られる観賞用画像の生成にも影響する。図9(a)の合成出力は、PD1が飽和する範囲1102ではPD2からの出力のみに依存して諧調が変化する。結果として、合成出力はPD1が飽和したところから、ニー特性と呼ばれる、入力に対して非線形な感度特性を持ってしまう。このようなニー特性を持って取得した諧調は、特に図4のようなカラーフィルタ配列をもった撮像素子120で撮影し、後段の画像処理部130でカラー画像として処理すると、色ずれ、色曲がり、色シェーディング等と呼ばれる目立つ現象として表れてしまう。
以下、本第1の実施形態における、飽和した分割PDの補正方法について説明する。なお、シェーディング補正前の諧調について、ある閾値を超える諧調を持つ分割PDを飽和PDとよぶ。閾値は撮像素子120に固有のノイズや信号の揺らぎ等を考慮して決定される。
シェーディング補正部501は、単位画素セル301に含まれるML304を共有する複数の分割PDのいずれかの諧調が所定レベル以上の場合、その所定レベル以上の分割PDを飽和PDとみなす。そして、所定レベル未満の分割PDの諧調を基に、飽和PDが飽和していない場合の諧調を推定して、感度差を補正する。
図9(b)は本第1の実施形態における飽和PDの処理方法を示す図である。ML304を共有する、飽和していないPD2からの低輝度の信号を基に、飽和しているPD1のシェーディング補正前の諧調を、PD1とPD2のシェーディング特性データと、PD2の諧調とを用い、式(1)により推定する。
飽和PDの諧調(補正前)
=1/(飽和PDのシェーディング特性/非飽和PDのシェーディング特性)
×非飽和PDの諧調 …(1)
但し、実際はシェーディング補正後の諧調が得られれば良いため、式(2)に示す簡単な演算により取得することができる。
飽和PDの諧調(補正後)
=非飽和PDのシェーディング特性×非飽和PDの諧調 …(2)
上記式(2)に示す補正を実施することにより、図9(b)のようにすぐに飽和してしまうPD1の諧調を、より広ダイナミックレンジに計測可能となる。
各視差画像を補正するため、範囲1102においても、合成出力画像に対して推定が反映され、図9(b)の一点鎖線の太線で示すような、線形特性を維持した推定合成特性を得ることができる。
しかしながら、ML304を共有する一部の分割PDの諧調が飽和諧調であるのに対し、残りの分割PDの諧調が飽和PDの諧調に対応する最低諧調に満たない場合は、視差により、互いに異なる物体点が投影されているとみなし、飽和補正を行わない。図9(c)はその場合の例を示す。1つの分割PDの諧調が既に飽和諧調にあるのに対し、同じML304を共有する少なくとも1つの分割PDの諧調がシェーディング特性から推定される飽和に対応する最低諧調閾値Thminに満たない場合には、補正を中止する。通常シーンの場合、各分割PDは非合焦のために異なる被写体、例えば背景及び前景画素に対応している可能性が高い。
図11は、第1の実施形態におけるシェーディング補正処理のフローチャートである。以下、図11を参照して、ML304を共有する分割PDの諧調に従い、上述したシェーディング補正方法を選択的に適用する手順について説明する。各ML304に対応する複数の分割PDそれぞれの画素値を順次処理し、シェーディング補正していく。
まず、S101において、シェーディング補正前の分割PDの諧調Iが飽和諧調レベルの閾値Thを超えているかを判定する。飽和諧調レベルの閾値Thは、撮像素子120の画素毎の感度のばらつきや前処理の信号処理精度やノイズ等考慮して決定される。S101において飽和していないと判定された場合は、S104に進み、当該分割PDの諧調及び図8(d)に示す合成補正パラメータを用いて通常のシェーディング補正を実施する。通常は補正パラメータと当該分割PDとの乗算により補正後の諧調を得る。
一方、S101において、分割PDが飽和していると判断された場合は、S102において、当該分割PDとML304を共有する他の分割PDの諧調Ii(i=1, 2…)それぞれと、飽和諧調レベル閾値Thとを比較する。ML304を共有する他の全ての分割PDの諧調が飽和していると判断された場合は、撮像素子120のダイナミックレンジを、入射輝度または照度が上回っているため、未飽和の諧調から推定することができない。そのような場合、S105に進み、上述したようにML304を共有する分割PDのうち、最も感度が低い分割PDの飽和諧調のシェーディング補正値で置き換える。具体的には、当該画素座標に対する相対情報図8(c)を用いてML304を共有する分割瞳画素のうち感度が最も低い画素を選択し、その飽和諧調を上述した式(2)を用いてシェーディング補正を実施し、補正後の諧調を得る。
S102において、飽和していない分割PDが存在すると判断された場合には、S103に進み、当該分割PDの画素値を飽和画素値の諧調の推定処理に利用してよいかの判定をする。ここでは、飽和していない分割PDの諧調Ii(i=1, 2…)が、上述した最低諧調閾値Thmin(i)を(i=1, 2…)以上であるかどうかを判断する。なお、最低諧調閾値Thmin(i)は、上述したように各分割PDのシェーディング特性から推定される飽和に対応する値であるため、分割PD毎に異なる。
判定の結果、ML304を共有する他の分割PDの中に、最低諧調閾値Thmin(i)を超える分割PDが存在しないと判断された場合には、推定元の分割PDが存在しない。そのため、S105に進んで、上述した処理により、ML304を共有する分割PDのうち、最も感度が低い分割PDの飽和諧調のシェーディング補正値で置き換える。
なお、未飽和画素値の最低諧調閾値Thmin(i)は、次のようにして算出する。即ち、単位画素セル301の座標に対する相対情報を示す図8(c)を用い、当該画素座標の入力画素の諧調、つまり飽和諧調を入力として、ML304を共有する各分割瞳画素の対応する被写体の写像ならば得られる諧調として算出する。そしてS103の処理で図9(c)を参照して説明したようにして判定を実施する。そして、S105により、最低諧調閾値Thmin(i)を超える未飽和のPDが、ML304を共有する他の分割PDに存在する場合には、S106において、上述した式(2)を用いて説明した処理を実行する。
上述の補正により、視差画像間に生じたシェーディングの影響を低減することができる。これにより、同一被写体から入射する等輝度または等照度の光束に対する諧調を等しいものとして計測できるようになる。その結果、相関演算、及びその結果である焦点検出処理を高精度に実現することができる。更にマイクロレンズを共有する複数の分割PDの少なくとも1つが飽和PDであっても、飽和画素値の諧調を、マイクロレンズを共有する他の未飽和PDから推定し、未飽和PDとして相関演算に利用できるようになる。このため、相関演算及びその結果である焦点検出処理のロバスト性が向上する。
特許文献2に記載されているように、飽和画素を相関演算から除外する場合、飽和画素を相関に用いることができなくなるため、相関演算のサンプル数が減少して相関演算の信頼性が低下してしまう。一方、通常のシェーディング補正を実施して相関演算に利用してしまうと、飽和画素に対し適切にシェーディング画素の諧調補正が実施できず、本来同じ諧調となるべき画素が異なる諧調を持ってしまう。その結果、間違った位置での相関が最も高くとなり、焦点検出としては偽合焦を生じたり、優位なピークが得られないという影響を生じる。この現象は実際のフィード制御として実現される焦点検出制御においては、ウォブリングと呼ばれる誤デフォーカスによる頻繁なフォーカス変更等の原因の一つになる可能性があった。
ここで本第1の実施形態で上述した方法により飽和画素を置換できる場合、置換後の飽和画素を相関に用いることが可能となる。このため統計的により信頼性の高い相関演算が可能となる。また特に視差が小さく、テクスチャ変化も小さい領域の場合、妥当な諧調に置換される可能性が高く、正確な位相差算出検出に貢献する可能性が高い。一方、例えばフォーカス制御の過渡状態で測距点の視差が大きく、及び/もしくはテクスチャ変化も大きい領域、別被写体部の領域画素の場合には、この飽和補正により、相関演算では真の視差位置と視差0の位置で2ピーク立つことになる。つまり、焦点検出画素の内訳において非飽和画素が大半の場合には正しく視差算出が可能であるが、飽和画素が大半の場合には、相関演算として視差0と算出するようになる。しかし、この場合は、従来の手法の弊害であるウォブリングと比較して、時系列の制御的な観点でみれば問題を生じない安全側(フェイルセーフ)制御とみなすことができる。更に実際には、AE制御との組み合わせで、時間方向を考慮してよりメリットある振る舞いが期待される。具体的には、視差0として現状のフォーカスを維持していればAE制御により露出状態が改善され、上記のような誤った焦点検出状態からの復帰が期待できるためである。つまりロバスト性の高いフォーカシング制御の実現に貢献が期待できる。
図12に1次元の相関演算による位相差焦点検出処理の例を示す。撮像装置に搭載される位相差焦点検出向けの相関演算では、多くの場合、計算効率とロバスト性の向上のために相関演算の非視差演算方向の画素を積分して1次元の相関処理として演算する。なお、演算量は増えるが、2次元の相関処理として演算することも可能であることは言うまでもない。
図12(a)は合焦時、2像の場合を示している。下部には積分プロファイルを用いた相関演算の結果が示されている。PD1の視差画像1によりプロットされるプロファイルとPD2の視差画像2のプロファイルが略一致し、合焦状態であることが分かる。図12(b)は、いわゆる前ピンと呼ばれる非合焦の状態で、注目被写体よりもシーン手前に合焦している状態である。そのため、撮像面上で視差画像間に視差が発生する状態である。注目被写体の像プロファイルに下図のようにPD1のプロファイルとPD2のプロファイル間でずれが生じる。図12(c)は、いわゆる後ピンと呼ばれる非合焦の状態で、注目被写体よりもシーン奥に合焦している状態である。下図のようにfPD1のプロファイルとPD2のプロファイルは、図12(b)の場合と逆方向にずれる。
また、視差画像毎の飽和による合成画像のニー特性の発生を防止することができる。その結果、瞳分割光学系において特有の症状として発生していた低照度における輝度ムラや色むら、色ずれ、色曲がり、色シェーディングと呼ばれている現象の発生を抑制できるようになる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。本発明の第1の実施形態の画像処理部130では、シェーディング特性もしくは補正パラメータを、画像処理部130に含まれる不図示のROM等の記録部に保存するものとしていた。しかし、例えば高精度化を目的としてフォーカス距離、ズーム、絞り設定値等のカメラパラメータに対し細かいサンプリングで記録しようとすると、特性及び補正パラメータの記録量は線形的に増大する性質がある。これは、シェーディング特性や射出瞳の見た目の大きさはマイクロレンズを共有する複数のPDへの光束の入射角度に依存するためである。言い換えれば、画素部に対する光学系の主点位置の幾何学的位置関係や射出瞳の大きさ、つまり、焦点距離や絞り等のカメラパラメータの状態に依存するためである。
加えて、シェーディング特性及び補正パラメータは、ズーム範囲が広大であったりすると非常に大きくなる。また光学系110が交換レンズの場合には、交換レンズに対応したシェーディング特性及び補正パラメータを予め記録しておく、もしくは後から更新する、ネットワーク等から必要時に取得する等の対応が必要となる。そこで、本実施形態では、撮像装置がそのような対策を行う処理部として、ROMもしくはRAMにより構成された不図示のデータベース部を有する。そして不図示の外部I/F、例えばSDカードスロット経由でデータを更新したリ、もしくは無線LAN等のネットワークにより必要なデータを取得することが可能である。CPU140はデータベース部に、撮像装置100のその時点のカメラパラメータを入力し、撮影状態に合致したシェーディング特性または補正パラメータを取得する。そしてCPU140は取得したシェーディング特性または補正パラメータを画像処理部130に伝送し、画像処理部130ではシェーディング補正に利用する。
上記の通り本第2の実施形態によれば、第1の実施形態と同様の効果に加え、より高精度な補正を低リソースで実現したり、交換レンズ対応が容易になる等の効果が生まれる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。本第3の実施形態における撮像装置の構成は、図2〜図5を参照して説明したものと同様であるので、ここでは説明を省略する。図13は、第3の実施形態における、図5に示すシェーディング補正部501の構成を示すブロック図である。なお、本第3の実施形態では、光電変換部を図3(b)に示すように左右2分割した例について説明する。
図13において、判定部1701は、撮像素子120から得られる画像信号の信号レベル(または階調値)が所定のレベル以上であるか否かを判定し、判定結果を後述する飽和補正値生成部1702へ送る。飽和補正値生成部1702は、判定部1701から得られる判定結果に基づいて、画像信号を補正するための飽和補正値を、シェーディング補正部501の外部にあるデータベース1704を参照して生成し、飽和補正部1703へ送る。飽和補正部1703は、生成された飽和補正値で画像信号を補正する。また、データベース1704には、飽和補正値を生成するために必要な、瞳分割して読み出された視差画像の同一画素部を構成する各々の分割PDの瞳分割撮像系に起因した感度差に関する情報が記録されている。
次に、図14のフローチャートを参照して本第3の実施形態におけるシェーディング補正処理について説明する。まずS1801では、判定部1701において、入力される画像信号のうち、各ML304を共有する複数の分割PDからそれぞれ読み出された画素値と、予め決められた所定値とを比較する。
図15に判定する方法を示す。LA、LBは、PD1、PD2から読み出された視差画像1及び2の諧調を示す。また、図15では、ある感度差を有する特性を持っている様子を示すため、横軸に入射光量を、縦軸に出力をとって図示している。また、Thは既述の所定レベルであり、所定レベルThを超えたか否かにより、PD1、PD2の出力が飽和しているか否かを判定する。すなわち、以下に示す式(3)及び式(4)を満たすか否かにより、飽和しているか否かを判定する。
LA>Th …(3)
LB>Th …(4)
なお、判定の結果は、図15に示すように入射光量によって異なる。領域1904では、LA、LBともに式(3)及び式(4)を満たしていない。従って、判定結果FALSEを飽和補正値生成部1702に送る。領域1905では、図15に示す例では、LAについては式(3)を満たしている。従って、判定結果TRUE_Aを飽和補正値生成部1702に送る。なお、図15ではLAを出力した分割PDの方がLBを出力した分割PDよりも感度が高い例で示しているが、撮像素子120における単位画素セル301の位置(像高)によっては特性(感度差)が反対に出ることもある。その場合は、LBについて式(4)を満たすことになり、判定結果TRUE_Bを飽和補正値生成部1702に送る。領域1906では、LA、LB共に式(3)及び式(4)を満たす条件にあるため、判定結果TRUEを飽和補正値生成部1702に送る。なお、FALSE、TRUE_A、TRUE_B、TRUEについては、その意味が識別可能であればいかなる表現でも良く、その表現方法は本発明の範囲から逸脱することなくさまざまなものを選ぶことができる。たとえば、デジタル信号処理回路であれば2Bit表現で表すのが一般的である。また、上述では所定レベルThを設け、所定レベルTh以上か否かで飽和レベルであると判定したが、デジタル信号上の飽和レベルそのものを判定に使用してもよい。
S1801における判定結果がFALSEの場合、補正処理を行わないため、本処理を終了する。それ以外の場合、S1802に移行する。S1802では、判定部1701において、TRUE、TRUE_A、TRUE_B、と判定された場合、飽和補正値生成部1702において、補正のための補正値を算出する。飽和補正値生成部1702では、データベース1704から得られる感度差情報と、着目している単位画素セル301の位置(像高)を基に、飽和補正値を算出する。
図16は、感度差情報を説明する図である。また、図16(a)は、データベース1704に記録されている、PD1及びPD2それぞれの瞳分割撮像系に起因した感度差の情報を図示したものである。横軸に光学中心からの水平方向の距離(像高)を、縦軸に感度差をとっており、2001が視差画像1の感度差、2002が視差画像2の感度差をそれぞれ模式的に示している。なお、感度差情報の形式及び表現方法はいろいろなものが考えられるが、図16(a)では、感度差が無い時のPD1及びPD2の入出力特性に対する感度比で表現している。これは、本発明の範囲を超えない限りいかなる形式及び表現方法で記録されていてもよく、図示した形式及び表現方法に限定するものではない。
まず、入力されている画素値が光学中心に対してどの距離にあるかの位置情報を算出する方法であるが、これは、飽和補正値生成部1702に入力される画像信号単位でカウントアップするカウンタを持たせることで容易に算出することができる。また、内部でカウンタを持たなくても、撮像装置100内にある不図示の制御部から同等の制御信号を受け取ることでも実現可能である。
次に、画素値の感度差をデータベース1704から参照する。参照自体は、画素部の位置情報に基づいたデータベースから記録されている感度差情報を参照することで実現できる。たとえば、飽和補正値生成部1702に対して、光学中心からの距離が図16(a)の2003で示される位置にある画素値が入力されている場合、参照により得られる感度差情報は、視差画像1の感度差情報がGA、視差画像2の感度差情報がGBとなる。画素値について、判定部1701が、TRUE_Aと判定した場合(図15の領域1905に示した範囲の場合)、信号レベルLBに対する補正値を算出する。算出される補正値は、補正値をCOMP、入力信号の飽和レベルをSATUとしたとき、式(5)で示される計算式で算出される。
式(5)は、飽和していると判定された視差画像1に対して、視差画像2の信号レベルを視差画像1との感度差を維持した信号レベルとなるような補正値を生成することを示している。例えば、図15の1907に示すように、感度差(入射光量対出力レベルの特性の差)が、視差画像1の飽和後も維持されるような特性となるように補正値を生成する。また、図20を見ても明らかなように、感度差の関係は飽和補正値生成部1702に入力される画素値の位置情報に応じて変化する。たとえば、飽和補正値生成部1702に対して、光学中心からの距離が図16(a)の2004で示される位置にある画素値が入力されている場合、参照により得られる感度差情報は、視差画像1の感度差情報がGA’、視差画像2の感度差情報がGB’となる。画素値について判定部1701において、TRUE_Bの判定結果が出ている場合は、信号レベルLAに対する補正値を算出する。算出される補正値は、補正値をCOMP、入力信号の飽和レベルをSATUとしたとき、式(6)で示される計算式で算出される。
従って、飽和補正値生成部1702に入力される画像信号の位置情報に応じて補正値の算出方法を切り替えることにより、全ての位置に存在する画像信号の補正値を生成することが可能となる。また、判定部1701が、TRUE(信号レベルLA、LBが両方とも飽和であると判定)と判定した場合は、飽和補正値生成部1702は、入力される画像信号の画素位置情報を基に、式(5)または式(6)を選択して補正値を生成する。これにより、同様の補正値の算出、すなわち、感度差(入射光量対出力レベルの特性)が、維持される特性となるような補正値を生成することが可能となる。
また、光学中心に対して対称に感度差が現れる場合は、図16(b)のようにデータベース1704に記憶させる感度差情報を減らすことも可能である。例えば図16(b)に示す例の場合、瞳分割撮像系を構成する撮像素子を正面から見たときに、光学中心より左にある画素部では、視差画像1の方が感度が高く、視差画像2の方が感度が低くなる。ので、視差画像1の感度差情報は2101を、視差画像2の感度差情報は2102を参照することになる。対称的に、光学中心より右にある画素部では、視差画像2の方が感度が高く、視差画像1の方が感度が低くなるので、視差画像1の感度差情報は2102を、視差画像2の感度差情報は2101を参照すればよい。また、これに限らず、本発明の範囲を超えない範囲でいろいろな持たせ方を取らせることができる。
図14のS1802で飽和補正値を算出したのち、S1803において、飽和補正部1703にて補正を行う。飽和補正値生成部1702で生成された補正値で、該当画素の信号レベルを補正する。補正は、該当画素の信号レベルを飽和補正値生成部1702で算出した補正値で置き換えることで、実現される。これにより補正後の画像信号の入射光量対出力レベルの特性は、瞳分割して読み出された視差画像の同一画素部を構成する各々の分割PDの信号レベルが常に一定の感度差を持つように補正が施されることになる。
また、上記補正処理により、図15の入射光量対出力信号の特性からも明らかなように、分割PDから読み出される信号を単位画素セル301毎に加算して得られる画像信号において、次のような効果が得られる。即ち、各々の分割PDの感度差によって生じる加算後の画像信号の入出力特性の非線形性を低減することが可能となる。これにより、鑑賞用に記録される画像信号そのものの画質の向上を行うことができる。
また、従来より知られている、各ML304を共有する複数の分割PDから読み出される視差画像の信号の感度差補正と組み合わせることにより、更なる画質向上を図ることができる。図17は、図13に示す構成に、従来より知られている感度差補正のための構成を組み込んだ場合を示すブロック図である。なお、図13と同様の構成には同じ参照番号を付し、説明を省略する。感度差補正値生成部2201は、データベース1704から得られる情報を基に、各ML304を共有する複数の分割PDそれぞれから読み出される信号の感度差補正値を生成する。感度差補正部は2202は、感度差補正値生成部2201により生成された感度差補正値を用いて感度差補正を行う。
図18は、感度差補正部2202における補正の様子を示したものである。LA、LB、及び1907は、図15を参照して説明した飽和補正部1703において補正された後の入出力特性を示したものであり、2301がML304を共有する複数の分割PDそれぞれから読み出される信号の感度差を補正した結果を示す。図18に示すように、飽和補正部1703においてPD1、PD2の、少なくとも一方から読み出される画素値が飽和してしまった場合でも、データベース1704に記録されている感度差情報に応じて、PD1、PD2の感度差が一定になるような補正を行う。そして、感度差補正部2202にてPD1、PD2の感度差そのものを補正することによって、PD1、PD2の入出力特性をそろえることが可能となり、各視差画像内での感度差の影響を補正することも可能になる。また、第1の実施形態にも記載した焦点検出部503における焦点検出性能も、同様に向上させることが可能となる。
上記の通り本第3の実施形態によれば、マイクロレンズを共有する複数の分割PDに感度差があった場合でも、各分割PDの感度差情報に基づいて補正を行うことにより、該各分割PDから得られる信号を加算して得られる画像信号について入出力特性の非線形性を低減させることが可能となる。また、従来より知られている感度差補正と組み合わせることで、従来よりも精度よく感度差補正を行うことが可能となる。
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。なお、本第4の実施形態における撮像装置の構成は、図2〜図4を参照して説明したものと同様であるため、ここでは説明を省略する。本第4の実施形態は、画像処理部で行われるシェーディング補正処理が上述した第1〜第3の実施形態で説明したものと異なる。以下、図19を参照して、本第4の実施形態におけるシェーディング補正処理について説明する。
図19において、第1の補正部2402では、第2の実施形態で説明したシェーディング補正処理と同様の処理を行う。第2の補正部2403は、第3の実施形態で示したシェーディング補正部501と同様の構成を有する。データベース2404には、飽和補正値を生成するために必要な、瞳分割して読み出されたML304を共有する複数の分割PDの瞳分割撮像系に起因した感度差に関する情報が記録されている。
セレクタ2405は、第1の補正部2402からの補正信号(ア)と第2の補正部2403からの補正信号(イ)を切り替えるセレクタである。情報取得部2407は撮影パラメータを取得し、切り替え判定部2406は、情報取得部2407により取得した撮影パラメータに基づいて、セレクタ2405の切り替え判定を行う。なお、撮影パラメータの詳細については、後述の制御にて説明を行う。
焦点検出部2408は、瞳分割信号を用いて焦点検出を行い、カメラ信号処理部2409は、瞳分割信号から映像信号を生成する。
次に、本第4の実施形態におけるシェーディング補正処理の流れについて説明する。撮像素子120から得られる画像信号は第1の補正部2402と第2の補正部2403にそれぞれ入力される。
第1の補正部2402は、上述した第2の実施形態で説明したように、データベース2404の情報に基づいてシェーディング補正を行う。補正方法の詳細については、第2の実施形態で説明済みであるため、ここでは説明を省略する。また、第2の補正部2403は、上述した第3の実施形態で説明したように、データベース2404の情報に基づいてシェーディング補正を行う。補正方法の詳細については、第3の実施形態で説明済みであるため、ここでは説明を省略する。
第1の補正部2402からの補正信号(ア)と、第2の補正部2403からの補正信号(イ)は、セレクタ2405に入力される。セレクタ2405は、切り替え判定部2406の切り替え情報に基づいて、後段の焦点検出部2408とカメラ信号処理部2409に出力する補正信号を、補正信号(ア)と補正信号(イ)とで切り替える。焦点検出部2408は、セレクタ2405からの補正信号を用いて既知の焦点検出処理を実施し、カメラ信号処理部2409は、セレクタ2405からの補正信号を用いて既知のカメラ信号処理を実施する。
切り替え判定部2406は、情報取得部2407から取得される撮影パラメータに基づいて、補正信号(ア)と補正信号(イ)のどちらを使用するのかを判定する。その判定結果が、切り替え情報として、セレクタ2405に入力される。以上が、本第4の実施形態における信号処理の流れである。
次に、図20を用いて、第4の実施形態における信号処理の制御について説明する。なお、本第4の実施形態における撮影パラメータとは、現在の撮影状況における、光学系の絞り値、焦点距離、フォーカス情報(合焦状態)である。
まず、S2501において、切り替え判定部2406は、情報取得部2407より、現在の撮影における光学系の絞り値F、焦点距離f、合焦評価値Gを取得する。なお、合焦評価値Gとは、瞳分割撮像系から得られる視差画像1の信号と視差画像2の信号より、既知の相関演算より求められる、被写体に対する合焦状態からの像ずれ量のことである。
S2502において、取得した光学系の絞り値Fを絞り値の閾値Fminと比較する。絞り値Fが閾値Fminより小さい場合は、S2503へ進み、そうでない場合は、S2507に進む。
ここで、絞り値Fと第1の補正部2402で生成される補正信号(ア)との関係について説明する。図21は、ある画素位置における瞳分割画素の感度差と、第1の補正部2402の補正効果を示したものである。2601は視差画像1の入射光量と出力レベルのグラフであり、2602は視差画像2の入射光量と出力レベルのグラフを示している。2603は視差画像1と視差画像2の出力レベルの飽和レベルを示している。図21に示す例では、視差画像1は視差画像2よりも小さい光量で飽和レベル2603に達するため、視差画像1の信号に対して、第1の補正部2402によるシェーディング補正を行って、2604のようなグラフが形成されることを想定している。
しかし実際には、図22で示されるように視差画像1と視差画像2の間には、感度差だけでなく視差も発生する。図22は、視差画像1と視差画像2とで視差が発生した場合の、各画素位置における出力信号のレベル差を示したものである。なお、ここでは感度差は考慮していていない。このように、ある画素位置xにおいて、視差画像1の信号レベル2701と視差画像2の信号レベル2702で差が発生している。
視差によって、例えば、視差画像2の出力レベルが正しい感度差のグラフである図21に示す2602ではなく、それよりも小さいレベルである、グラフ2606のようになってしまうこともある。その結果、第1の補正部2402のシェーディング補正では、本来求めたい視差画像1の出力レベル2605よりも小さいレベル2607が求められてしまう。よって、視差が発生していると、上述の例で示したような出力レベルの誤推定が生じやすくなるため、レベル差が大きいエッジ被写体で偽色が発生し、映像信号の画質を損ねてしまう。従って、視差が生じている場合は、誤推定が無い第2の補正部2403で得られる補正信号(イ)を選択することが望ましい。
撮像素子120は、光学系の絞り値が小さくする、即ち絞りを開放側に近づけるほど、視差が大きくなり、逆に絞り値を大きくすると視差が小さくなる。そこで、誤推定による画質劣化が目立たない視差が発生する絞り値Fminを予め定めておき、Fminより小さな絞り値Fで撮影している場合は、補正信号(イ)を使用するような制御フローへ移行する。なお、誤推定による画質劣化が目立たない視差とは、例えば、画面中央と比較して視差が大きくなりやすい画面端における視差画像1と視差画像2の像ずれ量Lが、視差が生じていると判定される閾値L1よりも小さい、場合とする。
S2502で絞り値Fが絞り値Fminよりも小さい場合S2503に進み、取得した光学系の焦点距離fを閾値ftlと比較する。焦点距離fがftlより大きい場合は、S2504に進む。そうでない場合は、S2505に進む。
ここで、焦点距離fと第1の補正部2402で生成される補正信号(ア)との関係について説明する。光学系の焦点距離fが大きくなると、視差による像ずれ量が大きくなるため、前述の誤推定による画質劣化が映像信号の広い範囲で発生してしまう。そこで、焦点距離fが、画質劣化が映像信号の広い範囲で発生する焦点距離ftlよりも大きい場合は、誤推定が無い第2の補正部2403で得られる補正信号(イ)を選択する。なお、画質劣化が映像信号の広い範囲で発生する焦点距離とは、例えば、画面中央からの所定距離離れた座標における視差画像1と視差画像2の像ずれ量Lが、視差が生じていると判定される閾値L2よりも大きい場合とする。
S2503で焦点距離fが焦点距離ftlよりも大きい場合、S2504に進んで補正信号(イ)を選択する。
S2503で焦点距離fが焦点距離ftl以下の場合、S2505でに進んで、取得した光学系の焦点状態を示す合焦評価値Gを閾値Gminと比較する。なお、ここでは合焦度が高い程、合焦評価値Gの値は小さくなるものとする。合焦評価値Gが閾値Gminより大きい場合は、S2506に進み、補正信号(イ)を選択する。そうでない場合は、S2507に進む。被写体が非合焦の場合、被写体に対して視差が発生しているため、前述の誤推定による画質劣化が生じることから、非合焦時は、誤推定が無い第2の補正部2403で得られる補正信号(イ)を選択する。なお、合焦状態の判定としては、前述の合焦評価値Gが像ずれ量Gminよりも小さい状況を合焦状態とする。
上述したS2502で絞り値Fが閾値以上の場合、S2503で焦点距離fが閾値以下の場合、そして、S2505で合焦評価値Gが閾値以下の場合、補正信号(ア)を選択する。
上記の通り本第4の実施形態によれば、マイクロレンズを共有する複数の分割PD間に感度差があった場合でも、分割PDそれぞれの感度差情報に基づいた複数の補正を切り替えて使用する。これにより、分割PDそれぞれから得られる信号を加算して得られる画像信号について、上述した実施形態よりも更に入出力特性の非線形性を低減させることが可能となる。
<第5の実施形態>
次に、本発明の第5の実施形態について説明する。なお、本第5の実施形態における撮像装置の構成は、図2〜図4を参照して説明したものと同様であるため、ここでは説明を省略する。本第5の実施形態は、上述した第1〜第4の実施形態とは、画像処理部130で行われるシェーディング補正処理が異なる。
情報取得部2407は、第4の実施形態と異なり、カメラ信号処理部2409からの映像信号を入力として撮影状況を推定した撮影シーン情報を、切り替え判定部2406へ出力する。切り替え判定部2406は、情報取得部2407から取得される撮影シーン情報に基づいて、補正信号(ア)と補正信号(イ)のどちらを使用するかを判定する。
次に、本第5の実施形態におけるシェーディング補正処理について、図23のフローチャートを参照して説明する。まず、S2901において、切り替え判定部2406は、情報取得部2407より、撮影シーン情報を取得する。そしてS2902において、取得した撮影シーン情報が逆光シーンか否かを判定する。逆光シーンであった場合、S2903に進み、補正信号(イ)を選択する。逆光シーンでない場合はS2904に進む。
ここで、逆光シーンと第1の補正部2402で生成される補正信号(ア)との関係について説明する。逆光シーンでは、被写体(人物)と背景で大きな輝度差が生じやすいため、第1の補正部2402によるシェーディング補正では、被写体と背景の境界にて誤推定による偽色が発生する恐れがある。よって、逆光シーン時は、誤推定が無い第2の補正部2403で得られる補正信号(イ)を選択する。なお、逆光シーンの判定は、例えば、特開2011−128212号公報に記載の技術により実現することができる。
一方、S2904では、取得した撮影シーン情報が青空シーンか否かを判定する。青空シーンであった場合、S2905に進み、補正信号(ア)を選択する。そうでない場合はS2906に進む。
ここで、青空シーンと第2の補正部2403で生成される補正信号(イ)との関係について説明する。第2の補正部2403によるシェーディング補正は、感度差が大きくなるほど、映像信号の飽和レベルが小さくなる特徴がある。図16(a)に示したように画面中央から水平方向に離れていくにつれ、感度差が大きくなると、水平方向に飽和レベルの変化が生じるため、飽和むらが生じてしまう。従って、画面に一様な空が撮影されている青空シーンにおいて、第2の補正部2403で得られる補正信号(イ)を使用すると、青空領域にて画面中央から端に向かって、飽和むらが発生してしまう恐れがある。よって、青空シーン時は飽和むらが生じない補正信号(ア)を選択する。なお、青空シーンの判定は、例えば、特開2005−165684号公報に記載の技術により実現することができる。
S2906では、取得した撮影シーン情報が夜景シーンか否かを判定する。夜景シーンであった場合、S2907に進み、補正信号(イ)を選択する。そうでない場合はS2908に進む。
ここで、夜景シーンと第1の補正部2402で生成される補正信号(ア)との関係について説明する。夜景シーンは、高輝度の点光源と真っ暗な背景が存在する映像となりやすい。従って、高輝度の点光源と背景で大きな輝度差が生じやすいため、第1の補正部2402によるシェーディング補正では、高輝度点光源と背景の境界にて誤推定による偽色が発生する恐れがある。よって、夜景シーン時は、誤推定が無い第2の補正部2403で得られる補正信号(イ)を選択する。なお、逆光シーンの判定は、例えば、特開2010−183493号公報に記載の技術により実現することができる。
S2902、S2904、S2906のいずれの条件を満たさない場合、S2908において補正信号(ア)を選択する。
上記の通り本第5の実施形態によれば、マイクロレンズを共有する複数の分割PD間に感度差があった場合、各分割PDの感度差情報に基づいた複数の補正を切り替えて使用する。これにより、各分割PDから得られる信号を加算して得られる画像信号について、更に入出力特性の非線形性を低減させることが可能となる。
<他の実施形態>
なお、本発明は、複数の機器(例えば、撮像装置及び画像処理装置)から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。