JP6000738B2 - 撮像装置及び撮像装置の合焦方向判定方法 - Google Patents

Description

本発明は、撮像装置及び撮像装置の合焦方向判定方法等に関する。

従来より、瞳分割で視差を生じた２つの画像の位相差を相関演算によって検出する手法が知られている。このような手法としては、例えば特許文献１、２に記載される手法が知られている。

特許文献１には、赤色フィルタの部分瞳と青色フィルタの部分瞳で瞳分割フィルタを構成し、その瞳分割フィルタにより撮像光学系の瞳を色で分割し、撮像画像の中の赤色画像と青色画像との間の位相差を検出し、その位相差に基づいてフォーカス制御を行う手法が開示されている。

特許文献２には、瞳分割フィルタの第１瞳に３色のフィルタを設け、第２瞳に透過特性が第１瞳のフィルタと重ならない３色のフィルタを設け、第１撮像素子に第１瞳の透過波長帯域に対応する色フィルタを設け、第２撮像素子に第２瞳の透過波長帯域に対応する色フィルタを設け、瞳分割フィルタの透過光をビームスプリッタで分割して第１撮像素子と第２撮像素子に入射させ、立体視用の画像を撮影する手法が開示されている。

特開２００１−１７４６９６号公報 特開平１０−２７６９６４号公報

上述のような相関演算により位相差を検出する手法は、例えば、検出した位相差を用いてフォーカス制御を行う位相差ＡＦ（Ａｕｔｏ−Ｆｏｃｕｓ）や、立体形状計測等に用いられている。

しかしながら、前ピント状態であるか後ピント状態であるか（合焦方向）によって２つの画像のずれ方向が異なる場合、そのずれ方向を探索しながら相関演算を行う必要があるため、演算負荷が増大するという課題がある。例えば一眼レフ型式のデジタルカメラのように位相差検出用の光路を撮像用の光路とは別に設け、合焦方向によってずれ方向が異ならないように構成する手法があるが、この手法では相差検出用の光路を別に設けるため、構成の複雑化やコスト増大等の課題がある。

本発明の幾つかの態様によれば、位相差を有する２つの画像のずれ方向を検出可能な撮像装置及び撮像装置の合焦方向判定方法等を提供できる。

本発明の一態様は、第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを結像する撮像光学系と、前記撮像光学系により結像された前記第１被写体像と前記第２被写体像とを撮像し、撮像画像を取得する撮像素子と、前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成する位相差画像生成部と、前記撮像画像の画素値と、前記第１画像及び前記第２画像のうち少なくとも一方である比較画像の画素値とを比較することにより、前記撮像光学系の合焦方向を判定する合焦方向判定部と、を含み、前記合焦方向判定部は、前記視差により前記第１画像と前記第２画像がずれる方向を視差方向とする場合に、前記撮像画像の画素値が前記視差方向に増加又は減少する領域を特定し、前記特定した領域における前記撮像画像の画素値と前記比較画像の画素値との大小関係に基づいて、前記撮像光学系から見て被写体よりも近い位置にフォーカスが合った状態である後ピント状態であるか、前記撮像光学系から見て前記被写体よりも遠い位置にフォーカスが合った状態である前ピント状態であるかを判定する撮像装置に関係する。

本発明の一態様によれば、視差を有する第１被写体像と第２被写体像が撮像され、第１被写体像に対応する第１画像と第２被写体像に対応する第２画像とが撮像画像から生成され、撮像画像の画素値と、第１画像及び第２画像のうち少なくとも一方である比較画像の画素値とが比較され、その比較結果に基づいて撮像光学系の合焦方向が判定される。これにより、位相差を有する２つの画像のずれ方向を検出することが可能になる。

また本発明の一態様では、前記撮像光学系は、前記第１被写体像を通過させる第１瞳と前記第２被写体像を通過させる第２瞳とを有し、前記視差方向は、前記第１瞳から前記第２瞳に向かう方向であり、前記合焦方向判定部は、前記撮像画像の画素値が前記視差方向に増加する領域において、前記第１画像の画素値が前記撮像画像の画素値よりも大きい場合には前記前ピント状態であると判定し、前記第１画像の画素値が前記撮像画像の画素値よりも小さい場合には前記後ピント状態であると判定してもよい。

また本発明の一態様では、前記撮像光学系は、前記第１被写体像を通過させる第１瞳と前記第２被写体像を通過させる第２瞳とを有し、前記視差方向は、前記第１瞳から前記第２瞳に向かう方向であり、前記合焦方向判定部は、前記撮像画像の画素値が前記視差方向に減少する領域において、前記第１画像の画素値が前記撮像画像の画素値よりも大きい場合には前記後ピント状態であると判定し、前記第１画像の画素値が前記撮像画像の画素値よりも小さい場合には前記前ピント状態であると判定してもよい。

また本発明の一態様では、前記合焦方向判定部は、前記視差方向における所定幅で前記撮像画像の画素値を平均した値を前記撮像画像の画素値から減算して、前記撮像画像の比較用画素値を求め、前記所定幅で前記比較画像の画素値を平均した値を前記比較画像の画素値から減算して、前記比較画像の比較用画素値を求め、前記撮像画像の比較用画素値と前記比較画像の比較用画素値とが一致する前記撮像画像上の位置を特定し、前記特定した位置の間の領域を前記撮像画像の比較用画素値が前記増加又は減少する領域として特定し、前記特定した領域において前記撮像画像の比較用画素値と前記比較画像の比較用画素値とを比較することにより前記大小関係を判定してもよい。

また本発明の一態様では、前記合焦方向判定部が判定した前記合焦方向に基づいて、前記第１画像と前記第２画像との位相差を検出する位相差検出部と、前記位相差に基づいて、前記撮像光学系を被写体にフォーカスさせる制御を行うフォーカス制御部と、を含んでもよい。

また本発明の一態様では、前記合焦方向判定部が判定した前記合焦方向に基づいて、前記第１画像と前記第２画像との位相差を検出する位相差検出部と、前記位相差に基づいて、被写体の３次元情報を取得する３次元情報取得部と、を含んでもよい。

また本発明の一態様では、マルチバンド推定部を含み、前記撮像光学系は、前記撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタを有し、前記撮像素子は、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを有し、前記マルチバンド推定部は、前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、前記位相差画像生成部は、前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を前記第１画像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を前記第２画像として取得してもよい。

また本発明の他の態様は、第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを結像し、前記第１被写体像と前記第２被写体像とを撮像し、撮像画像を取得し、前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成し、前記視差により前記第１画像と前記第２画像がずれる方向を視差方向とする場合に、前記撮像画像の画素値が前記視差方向に増加又は減少する領域を特定し、前記特定した領域における前記撮像画像の画素値と、前記第１画像及び前記第２画像のうち少なくとも一方である比較画像の画素値との大小関係に基づいて、前記撮像光学系から見て被写体よりも近い位置にフォーカスが合った状態である後ピント状態であるか、前記撮像光学系から見て前記被写体よりも遠い位置にフォーカスが合った状態である前ピント状態であるかを判定する撮像装置の合焦方向判定方法に関係する。

撮像光学系の基本構成例。 図２（Ａ）、図２（Ｂ）は、撮像画像、右瞳画像、左瞳画像の比較用画素値についての説明図。 図３（Ａ）、図３（Ｂ）は、撮像画像、右瞳画像、左瞳画像の比較用画素値の関係の原理的な説明図。 第１実施形態における撮像装置の構成例。 フォーカス制御処理のフローチャート。 第２実施形態における撮像装置の構成例。 バンド分割手法についての説明図。 図８（Ａ）〜図８（Ｆ）は、マルチバンド推定処理についての説明図。 マルチバンド推定処理における未知数推定処理についての説明図。 図１０（Ａ）〜図１０（Ｆ）は、マルチバンド推定処理についての説明図。 マルチバンド推定処理における未知数推定処理についての説明図。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．本実施形態の概要
高速ＡＦの代表的手法として位相差ＡＦ方式がある。従来の位相差ＡＦ方式では、撮像光学経路を分岐し、その分岐した経路に位相差検出用の専用センサを設け、その専用センサにより位相差情報を検出していた。一方、昨今では、専用センサを設けずに撮像素子（以下では適宜「撮像センサ」とも呼ぶ）のみで位相差を検出する手法が、種々提案されている。例えば、イメージャ内位相差方式やカラー位相差方式などがある。

イメージャ内位相差方式では、撮像センサ自体に位相差検出機能を搭載し、その位相差検出機能により位相差を検出する。しかしながら、この方式では、左右の瞳位置からの光束をそれぞれ受光する独立した画素（位相差検出用画素）が必要であるため、結像画像の撮像用に使用可能な画素は全画素の半数になり、解像度の犠牲が伴う。また、位相差検出用画素が撮像画像での画素欠陥のような状態となり、画質劣化の要因となるため、高度な補正処理が必要になる。

これに対して、カラー位相差方式（例えば上述した特許文献１）では、結像光学系の左右の瞳位置に異なる波長域のフィルタを配置し、その色の違いで左右の位相差画像（多重画像）を取得し、その左右の位相差画像の位相差を演算により求めるため、イメージャ内位相差方式の課題を解決できる。しかしながら、通常のＲＧＢの３原色カラー撮像センサを使用する場合、例えば右瞳通過光束用には撮像センサのＲフィルタを割り当て、左瞳通過光束用には撮像センサのＢフィルタを割り当てるなど、位相差画像を３原色のいずれかによって明確に分離できるようにしなくてはならない。そのため、赤成分のみの画像や青成分だけの画像など単一色画像の場合や、色分離により位相差画像を取得してもＲ画像とＢ画像の相関性が低い場合には、位相差を検出できなくなってしまう。また、ＲＧＢのうち一部の色の光束のみを通過させるフィルタを用いるので、光量低下が発生したり、デフォーカス位置の撮像画像が位相差により必ず色ずれを起こしたりする。そのため、これらの光量低下や色ずれを精度良く補正する処理が必要となり、補正画像の品質や処理のリアルタイム性、低コスト化の観点で課題がある。

このようなカラー位相差方式の課題を解決するために、多バンドフィルタを用いる手法（例えば上述した特許文献２）が考えられる。この手法では、例えば、右瞳光束用には赤フィルタＲ１と青フィルタＢ１を割り当て、左瞳光束用には赤フィルタＲ２と青フィルタＢ２を割り当てる。赤フィルタＲ１とＲ２、青フィルタＢ１とＢ２は、それぞれ波長分離されたフィルタであり、その波長の違いにより左右の位相差画像を取得する。しかしながら、この手法では、各色を分離するための多バンド（多分割波長域）のカラーフィルタを撮像センサに設ける必要があり、多バンドの各バンドに割り当て画素が必要となる。そのため、一つ一つのバンド画像（分離波長域画像）のサンプリングが粗くなるのは必然であり、位相差検出のための相関精度が低下してしまう。また、サンプリングの粗さによって単一バンド画像の解像度が低下し、撮像画像としての解像度も劣化するという課題が残る。

そこで本実施形態では、同色系の波長域を左右瞳に別々に割当て、位相差画像を取得する。このような手法としては、例えば第２実施形態で後述する手法が考えられる。この例では、右瞳には｛ｒ^Ｒ，ｇ，ｂ^Ｒ｝の３色を割り当て、左瞳には｛ｒ^Ｌ，ｇ，ｂ^Ｌ｝の３色を割り当て、通常の３原色撮像センサで撮像する。波長域ｒ^Ｒ、ｒ^ＬはＲの波長域を分割したものであり、波長域ｂ^Ｒ、ｂ^ＬはＢの波長域を分割したものである。撮像画像はＲＧＢなので右瞳画像と左瞳画像を色だけで区別することはできないが、撮像センサのＲＧＢの波長域がオーバーラップしていることを利用して右瞳画像と左瞳画像を分離する。このようにして得られた位相差画像は、ともにＲＧＢの画像である。この手法によれば、左右の瞳画像はいずれも原色成分を取得できるので、色ずれ等の課題を解決できる。

さて、以上に述べた種々の手法によって得られた位相差画像に対して相関演算を行い、位相差を求めることにより、合焦位置検出または被写体までの測距が可能になる。瞳分割画像を撮像画像として利用する場合には、当然のことながら、フォーカスが合っているときに位相差はゼロとなっている。このような場合、図１で後述するように、フォーカスが前ピント状態であるか後ピント状態であるかによって、位相差画像のずれ方向は逆方向となる。この２つの位相差画像をずらして効率的に相関ピークを求めるためには、結像面が前ピント状態にあるのか後ピント状態にあるのかを瞬時に判定する必要がある。もし、ピント状態を瞬時に判定できない場合には、まずは２つの位相差画像をいずれかの方向にずらしてみて相関ピークが出る方向かを探索し、撮像面の全画素（又は必要な領域の画素）についてこの方向探索が繰り返されることになる。このような探索を繰り返すと、演算回数が膨大になり相関演算の高速化を阻害する要因になってしまう。

そこで本実施形態では、図３（Ａ）等に示すように、左瞳画像Ｉ^Ｌ（ｘ）（又は左瞳画像Ｉ^Ｒ（ｘ））と撮像画像Ｉ（ｘ）との画素値の大小関係を比較することにより、前ピント状態であるか後ピント状態であるか（合焦方向）を判定する。これにより、相関演算において位相差のずれ方向を探索する必要がなくなり、相関演算を高速化することができる。

なお本実施形態の合焦方向判定手法は、第２実施形態で後述する手法で分離した左右瞳画像に適用する場合に限定されない。即ち、前ピント状態と後ピント状態とで位相差のずれ方向が変化するような位相差画像を取得する手法であれば、本実施形態の合焦方向判定手法を適用できる。

２．第１実施形態
２．１．撮像光学系の基本構成
次に、本実施形態の合焦方向判定手法について詳細に説明する。まず、第１実施形態について説明する。

図１に、本実施形態における撮像光学系の基本構成例を示す。この撮像光学系は、撮像素子のセンサ面に被写体を結像させる結像レンズＬＮＳと、第１瞳と第２瞳で帯域を分離する光学フィルタＦＬＴと、を含む。なお以下では、撮像センサの水平走査方向に瞳を分割し、第１瞳を右瞳とし、第２瞳を左瞳とする場合を例にとり説明する。また、左瞳から右瞳へ向かう瞳分割の方向を、適宜「視差方向」とも呼び、この視差方向（即ち水平走査方向）に沿った画素位置を位置ｘで表すものとする。なお本実施形態では、瞳の分離方向は水平走査方向に限定されず、撮像光学系の光軸ＡＸに対して垂直な任意の方向に分離されていればよい。

光学フィルタＦＬＴは、透過率特性ｆ^Ｒを有する右瞳フィルタＦＬ１（第１フィルタ）と、ｆ^Ｒとは異なる透過率特性ｆ^Ｌを有する左瞳フィルタＦＬ２（第２フィルタ）と、を有する。光学フィルタＦＬＴは、撮像光学系の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当している。

結像レンズＬＮＳ及び光学フィルタＦＬＴを透過した結像光には、右瞳を通過した被写体像と左瞳を通過した被写体像が含まれる。撮像素子は、これらの被写体像を含む結像光束を画像として撮像する。そして、左右瞳の透過率特性ｆ^Ｒ、ｆ^Ｌが明確に帯域分離されていることを用いて、撮像画像から右瞳画像（第１画像）の画素値Ｉ^Ｒ（ｘ）と左瞳画像（第２画像）の画素値Ｉ^Ｌ（ｘ）を求める。なお、Ｉ^Ｒ（ｘ）、Ｉ^Ｌ（ｘ）は位置ｘにおける画素値を表すが、画像全体を表す符号としても適宜Ｉ^Ｒ（ｘ）、Ｉ^Ｌ（ｘ）を用いる。

図１に示すように、フォーカス位置ＦＰに撮像素子のセンサ面がある場合には、右瞳画像Ｉ^Ｒ（ｘ）と左瞳画像Ｉ^Ｌ（ｘ）は視差方向にずれておらず、位置が一致している。一方、デフォーカス位置Ｄｒ、Ｄｆに撮像素子のセンサ面がある場合には、右瞳画像Ｉ^Ｒ（ｘ）と左瞳画像Ｉ^Ｌ（ｘ）は視差方向にずれる。

具体的には、デフォーカス位置Ｄｆでは、フォーカスが撮像素子のセンサ面よりも後ろ側にある後ピント状態であり、右瞳を通過した光束が右側に存在し、左瞳を通過した光束が左側に存在する。図１には、右瞳のポイントスプレッドファンクションＰＳＦ^Ｒと左瞳のポイントスプレッドファンクションＰＳＦ^Ｌを概念的に図示しており、このポイントスプレッドファンクションの分離が光束の分離に対応している。後ピント状態の場合、この光束の分離方向に対応して、右瞳画像Ｉ^Ｒ（ｘ）が右側にずれ、左瞳画像Ｉ^Ｌ（ｘ）が左側にずれる。一方、デフォーカス位置Ｄｒは、フォーカスが撮像素子のセンサ面よりも前側にある前ピント状態であり、右瞳を通過した光束が左側に存在し、左瞳を通過した光束が右側に存在する。この場合、右瞳画像Ｉ^Ｒ（ｘ）が左側にずれ、左瞳画像Ｉ^Ｌ（ｘ）が右側にずれる。図１には、このデフォーカス位置ＤｒでのＩ^Ｒ（ｘ）、Ｉ^Ｌ（ｘ）を例として図示しており、Ｉ^Ｒ（ｘ）、Ｉ^Ｌ（ｘ）のずれ量をδで表す。

２．２．合焦方向判定手法
次に、右瞳画像Ｉ^Ｒ（ｘ）と左瞳画像Ｉ^Ｌ（ｘ）を用いて合焦方向を判定する手法について説明する。

図２（Ａ）、図２（Ｂ）に示すように、撮像画像Ｉ（ｘ）、右瞳画像Ｉ^Ｒ（ｘ）、左瞳画像Ｉ^Ｌ（ｘ）の画素値のＤＣ成分（幅Ｗでの平均値）をゼロレベルにして基準を合わせ、比較用画素値Ｉ（ｘ）’、Ｉ^Ｒ（ｘ）’、Ｉ^Ｌ（ｘ）’を求める。図２（Ａ）には、後ピント状態での比較用画素値を示し、図２（Ｂ）には、前ピント状態での比較用画素値を示す。これらの比較用画素値は下式（１）により求められる。なお以下では適宜、「比較用画素値」を単に「画素値」とも呼ぶ。

ここで、幅Ｗは、例えば実験等により予め求めた所定の平均演算区間であり、位置ｘを中心とする幅である。図２（Ａ）、図２（Ｂ）では、ｘ＝ｘｉの場合を例に幅Ｗを図示している。また、Ｉ（ｘ）’、Ｉ^Ｒ（ｘ）’、Ｉ^Ｌ（ｘ）’の間には、下式（２）の関係が成り立つ。
Ｉ’（ｘ）＝［Ｉ^Ｌ’（ｘ）＋Ｉ^Ｒ’（ｘ）］／２ （２）

次に、合焦方向を判定したい画素（以下では「注目画素」と呼ぶ）が、画素値Ｉ（ｘ）’の増加区間Ｒａに属するか減少区間Ｆａに属するかを判定する。具体的には、注目画素の位置をｘ＝ｘｉとすると、Ｉ（ｘ）’、Ｉ^Ｒ（ｘ）’、Ｉ^Ｌ（ｘ）’の交点（比較用画素値が一致（略一致を含む）する位置）のうち、ｘｉに最も近い交点の位置ｘ_０、ｘ_１を求める。位置ｘ_０は、注目画素よりも左側の交点であり、位置ｘ_１は、注目画素よりも右側の交点である。そして、下式（３）を満たす場合には、注目画素が増加区間Ｒａに属すると判定し、下式（４）を満たす場合には、注目画素が増加区間Ｒａに属すると判定する。例えば図２（Ａ）では、注目画素の位置ｘｉは減少区間Ｆａに属すると判定される。
［Ｉ’（ｘ_０）−Ｉ’（ｘ_１）］＜０ （３）
［Ｉ’（ｘ_０）−Ｉ’（ｘ_１）］＞０ （４）

なお、［Ｉ^Ｌ’（ｘ_０）−Ｉ^Ｌ’（ｘ_１）］＜０又は［Ｉ^Ｒ’（ｘ_０）−Ｉ^Ｒ’（ｘ_１）］＜０を満たす場合に、注目画素が増加区間Ｒａに属すると判定してもよい。また、［Ｉ^Ｌ’（ｘ_０）−Ｉ^Ｌ’（ｘ_１）］＞０又は［Ｉ^Ｒ’（ｘ_０）−Ｉ^Ｒ’（ｘ_１）］＞０を満たす場合に、注目画素が減少区間Ｆａに属すると判定してもよい。

次に、Ｉ’（ｘ）とＩ^Ｌ’（ｘ）の上下関係に基づいて、注目画素が前ピント状態であるか後ピント状態であるかを判定する。具体的には、下式（５）により、注目画素が属する区間でのＩ’（ｘ）とＩ^Ｌ’（ｘ）の差分値Ｅ^Ｌを求め、その差分値Ｅ^Ｌの符号に基づいて合焦方向を判定する。図２（Ａ）、図２（Ｂ）に示すように、増加区間Ｒａと減少区間Ｆａでは、Ｉ’（ｘ）とＩ^Ｌ’（ｘ）の上下関係が異なるので、その上下関係と合焦方向との対応が異なっている。即ち、増加区間Ｒａにおいては、下式（６）により合焦方向を判定し、減少区間Ｆａにおいては、下式（７）により合焦方向を判定する。

なお、Ｉ’（ｘ）とＩ^Ｒ’（ｘ）の上下関係に基づいて合焦方向を判定してもよいことは言うまでもない。この場合、下式（８）により差分値Ｅ^Ｒを求める。Ｅ^ＬとＥ^Ｒでは、符号と合焦方向の対応が逆になる。例えば、増加区間ＲａにおいてＥ^Ｒ＜０を満たす場合には後ピント状態と判定する。

上記の判定手法がなぜ可能であるのかを、単純なモデルを用いて原理的に説明する。図３（Ａ）、図３（Ｂ）は、後ピント状態でのＩ（ｘ）、Ｉ^Ｌ（ｘ）、Ｉ^Ｒ（ｘ）の関係を原理的に示す図である。図３（Ａ）には、増加区間Ｒａでの関係を示し、図３（Ｂ）には、減少区間Ｆａでの関係を示す。

ここでは、Ｉ（ｘ）は、瞳が分割されていない理想的な撮像光学系で結像された像であるとする。実際に撮像される画像は、このＩ（ｘ）に対して、撮像光学系のポイントスプレッドファンクション（PSF: Point Spread Function）をコンボリューションしたものである。即ち、右瞳と左瞳のポイントスプレッドファンクションをそれぞれＰＳＦ^Ｒ（ｘ）、ＰＳＦ^Ｌ（ｘ）とすると、右瞳画像はＩ^Ｒ（ｘ）＝Ｉ（ｘ）＊ＰＳＦ^Ｒ（ｘ）で得られ、右瞳画像はＩ^Ｌ（ｘ）＝Ｉ（ｘ）＊ＰＳＦ^Ｌ（ｘ）で得られる。ここで、“＊”はコンボリューション演算を表す。

このＩ^Ｒ（ｘ）、Ｉ^Ｌ（ｘ）は、ＰＳＦ^Ｒ（ｘ）、ＰＳＦ^Ｌ（ｘ）の重心位置が異なっているため、それに応じて左右にシフトする。図３（Ａ）、図３（Ｂ）に示すように、後ピント状態では、Ｉ^Ｒ（ｘ）が右にシフトし、Ｉ^Ｌ（ｘ）が左にシフトする。このとき、図３（Ａ）に示すように、増加区間Ｒａでは、Ｉ^Ｒ（ｘ）＜Ｉ（ｘ）、Ｉ^Ｌ（ｘ）＞Ｉ（ｘ）となる。一方、図３（Ｂ）に示すように、減少区間Ｆａでは逆に、Ｉ^Ｒ（ｘ）＞Ｉ（ｘ）、Ｉ^Ｌ（ｘ）＞Ｉ（ｘ）となる。このように、ずれ方向が同じであっても、増加区間Ｒａと減少区間ＦａとでＩ（ｘ）、Ｉ^Ｒ（ｘ）、Ｉ^Ｌ（ｘ）の上下関係は異なったものとなる。本実施形態では、この上下関係に基づいて合焦方向を判定している。

２．３．撮像装置
図４に、第１実施形態における撮像装置の構成例を示す。この撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像部１０、位相差画像生成部２０、合焦方向判定部６０、フォーカス制御部８０を含む。なお、本実施形態は図４の構成に限定されず、その構成要素の一部を省略（例えばフォーカス制御部８０）したり、他の構成要素を追加したりする等の種々の変形実施が可能である。

撮像部１０は、撮像素子と撮像処理部を含むことができる。撮像素子は、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。撮像処理部は、撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理などを行う。

位相差画像生成部２０は、撮像部１０により撮像された画像に基づいて、右瞳画像Ｉ^Ｒと左瞳画像Ｉ^Ｌを生成する。この２画像を位相差画像とする。位相差画像の生成手法としては、例えば既知の手法（例えば特許文献１、２に記載の手法）など、種々の手法を採用することが可能である。或は、第２実施形態で説明するマルチバンド推定処理により位相差画像を生成してもよい。

合焦方向判定部６０は、位相差画像Ｉ^Ｒ、Ｉ^Ｌに対して、上述の合焦方向判定手法を適用し、前ピント状態であるか後ピント状態であるかを判定する。上述の合焦方向判定手法では、撮像画像Ｉ（ｘ）と左瞳画像Ｉ^Ｌ（ｘ）を比較することになるが、撮像画像Ｉ（ｘ）としては、撮像部１０が出力する画像を用いてもよいし、位相差画像Ｉ^Ｒ、Ｉ^Ｌの平均画像を用いてもよい。なお、撮像画像Ｉ（ｘ）と右瞳画像Ｉ^Ｒ（ｘ）を比較してもよい。

フォーカス制御部８０は、検出された合焦方向の情報に基づいてオートフォーカス制御を行う。即ちフォーカス制御部８０は、合焦方向の情報に基づいてフォーカスレンズ（結像レンズＬＮＳ）の移動方向を決定し、その移動方向へフォーカスレンズを移動させる制御を行う。

２．４．フォーカス制御処理
図５に、本実施形態の合焦方向判定手法を用いたフォーカス制御処理のフローチャートを示す。なお本実施形態の合焦方向判定手法は、フォーカス制御処理に限らず、例えば被写体の形状計測等に適用することが可能である。

図５に示すように、処理が開始されると、フォーカス制御部８０が、撮像画像上でフォーカスを合わせたいポイントＦＡ（例えば位置ｘｉ）を設定する（ステップＳ１）。次に、位相差画像生成部２０が位相差画像Ｉ^Ｒ、Ｉ^Ｌを取得する（ステップＳ２）。次に、合焦方向判定部６０が、ポイントＦＡにおける合焦方向を判定する（ステップＳ３）。この合焦方向の判定は、上述した通り、位相差画像の画素値Ｉ^Ｒ（ｘ）’とＩ^Ｌ（ｘ）’とのうちの少なくとも一方と、比較用画素値Ｉ（ｘ）’とによって行われる。

次に、フォーカス制御部８０は、合焦方向の判定結果が前ピント状態であるか否かを判断する（ステップＳ４）。前ピント状態である場合には、フォーカス制御部８０は、ポイントＦＡ近傍の位相差画像Ｉ^Ｒ、Ｉ^Ｌを画像上の第１の方向にずらして相関演算を行い、位相差を検出する（ステップＳ５）。ここで「画像上の第１の方向にずらす」とは、左瞳から右瞳へ向かう方向を視差方向（図２（Ｂ）の＋ｘ方向）とする場合に、右瞳画像Ｉ^Ｒを視差方向（＋ｘ方向）にずらすこと、又は、左瞳画像Ｉ^Ｌを視差方向の反対方向（−ｘ方向）にずらすことである。

次に、フォーカス制御部８０が、フォーカスレンズを光軸上の第１の方向へ位相差分だけ移動させる（ステップＳ６）。ここで、図１に示すように、前ピント状態ではフォーカス位置が結像レンズＬＮＳと撮像センサの間にあるが、「光軸上の第１の方向」とは、そのフォーカス位置を撮像センサへ近づけるようなフォーカスレンズの移動方向である。

ステップＳ４において前ピント状態でない場合には、フォーカス制御部８０は、合焦方向の判定結果が後ピント状態であるか否かを判断する（ステップＳ７）。後ピント状態である場合には、フォーカス制御部８０は、ポイントＦＡ近傍の位相差画像Ｉ^Ｒ、Ｉ^Ｌを画像上の第２の方向（第１の方向の反対方向）にずらして相関演算を行い、位相差を検出する（ステップＳ８）。ここで「画像上の第２の方向にずらす」とは、左瞳から右瞳へ向かう方向を視差方向（図２（Ｂ）の＋ｘ方向）とする場合に、右瞳画像Ｉ^Ｒを視差方向の反対方向（−ｘ方向）にずらすこと、又は、左瞳画像Ｉ^Ｌを視差方向（＋ｘ方向）にずらすことである。

次に、フォーカス制御部８０が、フォーカスレンズを光軸上の第２の方向（第１の方向の反対方向）へ位相差分だけ移動させる（ステップＳ９）。ここで、図１に示すように、後ピント状態では、結像レンズＬＮＳから見て撮像センサよりも遠い位置にフォーカス位置があるが、「光軸上の第２の方向」とは、そのフォーカス位置を撮像センサへ近づけるようなフォーカスレンズの移動方向である。

ステップＳ７において後ピント状態でない場合には、ポイントＦＡを別のポイントへ設定するか否かを判断する（ステップＳ１０）。例えば、ユーザに対して指示を求め、そのユーザからの指示に基づいて判断してもよい。あるいは、フォーカス制御部８０が判断を行うこととし、ポイントＦＡの更新を所定回数くり返しても合焦方向を判定できない場合には、ポイントＦＡの更新をしないこととしてもよい。ステップＳ７においてポイントＦＡを別のポイントへ設定すると判断した場合には、ステップＳ１を再び実行し、ポイントＦＡを別のポイントへ設定しないと判断した場合には、このフローの処理を終了する。

このフォーカス制御処理によれば、フォーカス位置が光軸上のどちらの方向にあるかを合焦方向の判定結果から知ることができるので、その方向へフォーカスレンズを動かし、高速に合焦させることができる。また、フォーカスレンズの移動量は、位相差画像の位相差（ずれ量）により求めることができる。この位相差は相関演算により求められるが、撮像画像上において位相差画像をどちらの方向に動かせば相互に近づくかを、合焦方向の判定結果から知ることができるので、相関係数のピークを効率的に求めることができる。

以上の実施形態によれば、図４に示すように、撮像装置は撮像光学系（結像レンズＬＮＳ、光学フィルタＦＬＴ）と撮像素子（撮像部１０）と位相差画像生成部２０と合焦方向判定部６０とを含む。撮像光学系は、第１被写体像（右瞳を通過した被写体像）と、第１被写体像に対して視差を有する第２被写体像（左瞳を通過した被写体像）とを結像する。撮像素子は、第１被写体像と第２被写体像とを撮像し、撮像画像を取得する。位相差画像生成部２０は、その撮像画像に基づいて、第１被写体像に対応する第１画像Ｉ^Ｒ（ｘ）（右瞳画像）と第２被写体像に対応する第２画像Ｉ^Ｌ（ｘ）（左瞳画像）とを生成する。合焦方向判定部６０は、撮像画像Ｉ（ｘ）の画素値と、第１画像Ｉ^Ｒ（ｘ）及び第２画像Ｉ^Ｌ（ｘ）のうち少なくとも一方である比較画像（例えばＩ^Ｌ（ｘ））の画素値とを比較することにより、撮像光学系の合焦方向を判定する。

ここで「視差」とは、被写体と観測点（本実施形態では光学系の瞳）の相対的な位置の違いによって、結像の位置が変化する（ずれる）ことである。

このようにすれば、前ピント状態であるか後ピント状態であるかを判定することができ、その判定結果に対応して、第１画像Ｉ^Ｒ（ｘ）と第２画像Ｉ^Ｌ（ｘ）のずれ方向を知ることができる。これにより、どの方向に第１画像Ｉ^Ｒ（ｘ）と第２画像Ｉ^Ｌ（ｘ）を動かせば相関値のピークを検出できるかが分かるため、効率的に相関演算できる。即ち、第１画像Ｉ^Ｒ（ｘ）と第２画像Ｉ^Ｌ（ｘ）をずらす方向を探索しなくてもよい。また、合焦方向の判定結果によって、フォーカス駆動の方向を知ることができるため、高速な位相差ＡＦを実現できる。また、この位相差ＡＦでは、撮像系と別に位相差検出用の光路を設ける必要がないため、光学系をコンパクトにできる。

また本実施形態では、図２（Ａ）等で説明したように、合焦方向判定部６０は、第１画像Ｉ^Ｒ（ｘ）と第２画像Ｉ^Ｌ（ｘ）が視差によりずれる方向を視差方向（＋ｘ方向）とする場合に、撮像画像Ｉ（ｘ）の画素値が視差方向に増加又は減少する領域（Ｒａ又はＦａ）を特定する。上式（５）〜（７）で説明したように、合焦方向判定部６０は、その特定した領域における撮像画像Ｉ（ｘ）の画素値と比較画像Ｉ^Ｌ（ｘ）の画素値との大小関係に基づいて、撮像光学系から見て被写体よりも近い位置にフォーカスが合った状態である後ピント状態であるか、撮像光学系から見て被写体よりも遠い位置にフォーカスが合った状態である前ピント状態であるかを判定する。

より具体的には、撮像光学系は、第１被写体像を通過させる第１瞳（右瞳）と第２被写体像を通過させる第２瞳（左瞳）とを有する。視差方向は、第１瞳から第２瞳に向かう方向（＋ｘ方向）である。合焦方向判定部６０は、撮像画像Ｉ（ｘ）の画素値が視差方向に増加する領域Ｒａにおいて、第１画像Ｉ^Ｌ（ｘ）の画素値が撮像画像Ｉ（ｘ）の画素値よりも大きい場合には前ピント状態であると判定し、第１画像Ｉ^Ｌ（ｘ）の画素値が撮像画像Ｉ（ｘ）の画素値よりも小さい場合には後ピント状態であると判定する。

このようにすれば、撮像画像Ｉ（ｘ）の画素値と比較画像Ｉ^Ｌ（ｘ）の画素値とを比較することにより、撮像光学系の合焦方向を判定できる。また、図２（Ａ）等で説明したように、撮像画像Ｉ（ｘ）の画素値が増加する領域Ｒａと減少する領域Ｆａでは、撮像画像Ｉ（ｘ）の画素値と比較画像Ｉ^Ｌ（ｘ）の大小関係が異なっている。この点、本実施形態によれば、合焦方向を判定したい位置が、増加領域Ｒａ及び減少領域Ｆａのいずれに属するのかを特定でき、その特定した領域での大小関係に基づいて合焦方向を判定できる。

３．第２実施形態
３．１．撮像装置
次に、第２実施形態について説明する。第２実施形態では、ＲＧＢ画像から５バンドの画像を推定し、その５バンドの画像のうち、右瞳に対応するバンドの画像から右瞳画像Ｉ^Ｒを生成し、左瞳に対応するバンドの画像から左瞳画像Ｉ^Ｌを生成する。なお、第１実施形態で説明した内容と同一の内容（例えば撮像光学系の基本構成や、合焦方向判定手法など）については、適宜説明を省略する。

図６に、第２実施形態における撮像装置の構成例を示す。この撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像部１０、位相差画像生成部２０、出力部２５、表示画像生成部３０、モニタ表示部４０、分光特性記憶部５０、合焦方向判定部６０、マルチバンド推定部７０、フォーカス制御部８０、位相差検出部８２、データ圧縮部９０、データ記録部１００を含む。なお、本実施形態は図６の構成に限定されず、その構成要素の一部を省略（例えば出力部２５、データ圧縮部９０）したり、他の構成要素を追加したりする等の種々の変形実施が可能である。

撮像部１０は、撮像素子と撮像処理部を含むことができる。撮像素子は、例えばＲＧＢ３原色の撮像素子であり、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。撮像処理部は、撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理、ベイヤ画像に対するデモザイキング処理などを行う。

分光特性記憶部５０は、撮像素子がもつカラーフィルタの分光特性のデータを記憶しており、そのデータをマルチバンド推定部７０に出力する。ここで、撮像されるＲＧＢ成分は、厳密にはカラーフィルタのみならず撮像素子の分光感度特性や、結像レンズＬＮＳの分光特性によって決まるものである。即ち、分光特性記憶部５０は、撮像素子や結像レンズＬＮＳの分光特性を含んだ分光特性のデータを記憶する。

マルチバンド推定部７０は、撮像画像と分光特性のデータとに基づいてマルチバンド推定処理を行う。具体的には、図７に示すように、撮像センサのカラーフィルタがもつ波長域を５バンド｛ｒ^Ｌ，ｒ^Ｒ，ｇ，ｂ^Ｌ，ｂ^Ｒ｝に分割する。光学フィルタＦＬＴの右瞳は帯域｛ｒ^Ｒ，ｇ，ｂ^Ｒ｝を透過し、左瞳は帯域｛ｒ^Ｌ，ｇ，ｂ^Ｌ｝を透過する。マルチバンド推定部７０は、撮像画像Ｉ（ｘ）のＲＧＢ画素値から５バンド｛ｒ^Ｌ，ｒ^Ｒ，ｇ，ｂ^Ｌ，ｂ^Ｒ｝の画素値を推定する。

位相差画像生成部２０は、５バンド｛ｒ^Ｌ，ｒ^Ｒ，ｇ，ｂ^Ｌ，ｂ^Ｒ｝の画素値から、右瞳画像Ｉ^Ｒ＝｛ｒ^Ｒ，ｇ，ｂ^Ｒ｝と左瞳画像Ｉ^Ｌ＝｛ｒ^Ｌ，ｇ，ｂ^Ｌ｝を生成する。この２画像を位相差画像とする。

合焦方向判定部６０は、位相差画像Ｉ^Ｒ、Ｉ^Ｌの同色成分｛ｒ^Ｒ，ｒ^Ｌ｝（即ち、Ｉ^Ｒ、Ｉ^ＬのＲ画素値）に対して、上述の合焦方向判定手法を適用し、前ピント状態であるか後ピント状態であるかを判定する。上述の合焦方向判定手法では、撮像画像Ｉ（ｘ）のＲ画素値と左瞳画像Ｉ^Ｌ（ｘ）のＲ画素値を比較することになるが、撮像画像Ｉ（ｘ）のＲ画素値としては、撮像部１０が出力するＲＧＢ画像のＲ画素値を用いてもよいし、位相差画像Ｉ^Ｒ、Ｉ^ＬのＲ画素値の平均値を用いてもよい。なお、同色成分として｛ｂ^Ｒ，ｂ^Ｌ｝（即ち、Ｉ^Ｒ、Ｉ^ＬのＢ画素値）を用いてもよい。

位相差検出部８２は、合焦方向に対応した方向に位相差画像Ｉ^Ｒ、Ｉ^Ｌをずらしながら相関演算を行い、位相差を検出する。具体的には、図２（Ａ）のような後ピント状態と判定された場合には、右瞳画像Ｉ^Ｒ（ｘ）を−ｘ方向に、又は左瞳画像Ｉ^Ｌ（ｘ）を＋ｘ方向にずらせばよい。一方、図２（Ｂ）のような前ピント状態と判定された場合には、右瞳画像Ｉ^Ｒ（ｘ）を＋ｘ方向に、又は左瞳画像Ｉ^Ｌ（ｘ）を−ｘ方向にずらせばよい。なお、第２実施形態では、第１実施形態で説明した図５のフローチャートのステップＳ４、Ｓ５、Ｓ７、Ｓ８を、位相差検出部８２が実行する。

このように、合焦方向の判定結果により位相差画像Ｉ^Ｒ、Ｉ^Ｌの相対的な位置関係が分るので、位相差を求めるための相関演算の方向（どちらに近づけていくか）が容易に分り、無駄のない計算が可能となる。

フォーカス制御部８０は、検出された位相差の情報に基づいてオートフォーカス制御を行う。具体的にはフォーカス制御部８０は、フォーカス制御量算出部８４、フォーカスレンズ駆動制御部８６を含む。フォーカス制御量算出部８４は、位相差の情報に基づいて結像レンズＬＮＳのデフォーカス量を算出し、そのデフォーカス量と合焦方向の情報に基づいてフォーカス制御量（結像レンズＬＮＳの移動量と移動方向）を算出する。フォーカスレンズ駆動制御部８６は、結像レンズＬＮＳの移動量及び移動方向に基づいてフォーカスレンズを移動させる制御を行う。

このように、合焦方向を瞬時に判定できることにより、従来のコントラストＡＦのようにレンズを前後に動かしながらフォーカスレンズの移動方向を探索する必要がなく、無駄のない効率的なフォーカス駆動が可能となる。また、フォーカス制御だけでなく、測距情報を高速に求めることにも利用できる。即ち、相関演算の方向が容易に分ると言うことは、フォーカス位置までの距離や被写体までの距離（３次元情報）を高速に求めることができるということである。

表示画像生成部３０は、５バンド｛ｒ^Ｌ，ｒ^Ｒ，ｇ，ｂ^Ｌ，ｂ^Ｒ｝の画素値から表示用のＲＧＢ画像を生成する。例えば｛ｒ^Ｒ，ｇ，ｂ^Ｒ｝の画素値をＲＧＢ画像とする。モニタ表示部４０は、表示画像生成部３０が生成した画像を表示する。

出力部２５は、位相差画像生成部２０が生成した位相差画像Ｉ^Ｒ、Ｉ^Ｌや、位相差検出部８２が検出した位相差の情報、合焦方向判定部６０が判定した合焦方向の情報を、出力する処理を行う。出力処理としては、例えば外部記憶装置への保存や、外部モニタへの表示、外部情報処理装置への出力などが想定される。外部情報処理装置では、例えば、位相差の情報や合焦方向の情報に基づいて被写体の３次元情報を求める。また、出力部２５がその３次元情報を求めてモニタ表示部４０に表示させてもよい。

データ圧縮部９０は、撮像部１０からのＲＧＢ画像を圧縮する処理を行う。データ記録部１００は、圧縮されたＲＧＢ画像データと、カラーフィルタの分光特性データとを記録する。これらの記録データは、撮影後の事後処理においてマルチバンド推定処理や位相差検出処理に用いることが可能である。なお、この事後処理は、撮像装置と別体に構成された情報処理装置で行ってもよい。

３．３．マルチバンド推定処理
３．３．１．バンド分割手法
次に、撮像画像から位相差画像を取得するためのマルチバンド推定処理について詳細に説明する。なお以下では、ＲＧＢベイヤ配列の撮像素子を例に説明するが、本実施形態はこれに限定されず、カラーフィルタの透過率特性に重なり部分がある撮像素子でさえあればよい。

図７にバンド分割についての説明図を示す。図７に示すように、５バンドの成分ｂ^Ｒ、ｂ^Ｌ、ｇ、ｒ^Ｒ、ｒ^Ｌは、撮像系の分光特性に応じて定まる成分である。図７には、撮像系の分光特性として、撮像センサのカラーフィルタの透過率特性Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂを示すが、厳密には、撮像系の分光特性は、例えばカラーフィルタを除いた撮像センサがもつ分光特性や、光学系のもつ分光特性等も含んでいる。以下では説明を簡単にするため、撮像センサ等の分光特性が、図７に示すカラーフィルタの透過率特性Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂに含まれるものとする。

図７に示すように、青色フィルタの透過率特性Ｆ_Ｂと緑色フィルタの透過率特性Ｆ_Ｇとの重なり部分に対応するバンドの成分がｂ^Ｌであり、青色フィルタの透過率特性Ｆ_Ｂの非重なり部分に対応するバンドの成分がｂ^Ｒである。また、赤色フィルタの透過率特性Ｆ_Ｒと緑色フィルタの透過率特性Ｆ_Ｇとの重なり部分に対応するバンドの成分がｒ^Ｒであり、赤色フィルタの透過率特性Ｆ_Ｒの非重なり部分に対応するバンドの成分がｒ^Ｌである。また、緑色フィルタの透過率特性Ｆ_Ｇの非重なり部分に対応するバンドの成分がｇである。ここで、非重なり部分とは、他の色フィルタの透過率特性と重なっていない部分のことである。

５バンドの帯域ＢＤ１〜ＢＤ５は、透過率特性Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂの形状や重なり具合などに応じて決定すればよく、透過率特性の帯域や重なり部分の帯域そのものである必要はない。例えば、透過率特性Ｆ_Ｇ、Ｆ_Ｂの重なり部分の帯域は、およそ４５０ｎｍ〜５５０ｎｍであるが、帯域ＢＤ２は重なり部分に対応するものであればよく、４５０ｎｍ〜５５０ｎｍである必要はない。

第２の実施形態では、図１の右瞳フィルタＦＬ１には、透過波長域ｆ^Ｒとしてバンド｛ｂ^Ｒ，ｇ，ｒ^Ｒ｝を割り当て、左瞳フィルタＦＬ２には、透過波長域ｆ^Ｌとしてバンド｛ｂ^Ｌ，ｇ，ｒ^Ｌ｝を割り当てる。図７に示すように、右瞳を通過した波長分割光｛ｂ^Ｒ，ｇ，ｒ^Ｒ｝と、左瞳を通過した波長分割光｛ｂ^Ｌ，ｇ，ｒ^Ｌ｝は、波長帯域が明確に分離されている。一方、撮像素子のカラーフィルタの分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝は、隣接する分光特性の波長帯域が重複した特性となっている。この重複状態を考慮すると、デモザイキング処理後の各画素における赤色、緑色、青色の画素値Ｒ、Ｇ、Ｂを、下式（９）のようにモデル化することができる。
Ｒ＝ｇ_Ｒ＋ｒ^Ｒ _Ｒ＋ｒ^Ｌ _Ｒ，
Ｇ＝ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ，
Ｂ＝ｂ^Ｒ _Ｂ＋ｂ^Ｌ _Ｂ＋ｇ_Ｂ （９）

図８（Ｃ）に示すように、成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ，ｇ_Ｂ｝は、分光特性Ｆ_Ｂの青色フィルタを通過した波長分割光｛ｂ^Ｒ，ｂ^Ｌ，ｇ｝に対応する。図８（Ｄ）に示すように、成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝は、分光特性Ｆ_Ｇの緑色フィルタを通過した波長分割光｛ｂ^Ｌ，ｇ，ｒ^Ｒ｝に対応する。また、図１０（Ｄ）に示すように、成分｛ｇ_Ｒ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝は、分光特性Ｆ_Ｒの赤色フィルタを通過した波長分割光｛ｇ，ｒ^Ｒ，ｒ^Ｌ｝に対応する。各成分を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表している。

３．３．２．｛ｂ^Ｒ，ｂ^Ｌ，（ｇ＋ｒ^Ｒ）｝の推定処理
次に、図８（Ａ）〜図９を用いて、画素値｛Ｒ，Ｇ，Ｂ｝から成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ，ｇ_Ｂ｝、｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝、｛ｇ_Ｒ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を推定する処理について説明する。

まず上式（９）を用いて、画素値｛Ｂ，Ｇ｝で重複している波長帯域｛ｂ^Ｌ，ｇ｝を、画素値｛Ｂ，Ｇ｝の差分に基づいて取り除き、成分ｂ^Ｒと成分［ｇ＋ｒ^Ｒ］の関係を求めることにより成分｛ｂ^Ｒ，ｂ^Ｌ，（ｇ＋ｒ^Ｒ）｝の関係式を導き出す処理を行う。

ここで注意しなければならないのは、図８（Ａ）〜図８（Ｄ）に示すように、波長帯域ｂ^Ｌに対応するのは画素値Ｂの成分ｂ^Ｌ _Ｂ及び画素値Ｇの成分ｂ^Ｌ _Ｇであるが、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇには、分光特性Ｆ_Ｂ、Ｆ_Ｇの相対ゲインが乗じられていることである。そのため、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇは、相対ゲインの分だけ異なる値であり、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇが等しくなるように補正する必要がある。

図８（Ｃ）、図８（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）の成分比をｋ_Ｂ１とし、ｂ^Ｌ _Ｇの成分比をｋ_Ｂ２とすると、下式（１０）が成り立つ。ここで、ｋ_Ｂ１／ｋ_Ｂ２は、例えば帯域ｂ^Ｌにおける分光特性Ｆ_Ｂ、Ｆ_Ｇのゲイン比である。
ｂ^Ｌ _Ｂ＋ｇ_Ｂ＝（ｋ_Ｂ１／ｋ_Ｂ２）×ｂ^Ｌ _Ｇ （１０）

帯域ｂ^Ｌ、ｇにおける分光特性Ｆ_Ｂのゲインを考慮すると、成分ｇ_Ｂは成分ｂ^Ｌ _Ｂよりも十分小さいと考えられるため、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇを等しくするためには、成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）と成分ｂ^Ｌ _Ｇがほぼ等しくなればよい。成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）を補正した値を（ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’）とすると、上式（１０）を用いて下式（１１）に示す補正を行えばよい。
ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’≒ｂ^Ｌ _Ｇ＝（ｋ_Ｂ２／ｋ_Ｂ１）×（ｂ^Ｌ _Ｂ＋ｇ_Ｂ） （１１）

成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）は画素値Ｂに含まれるため、成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）を補正するためには、結局、画素値Ｂを補正することになる。この補正後のＢをＢ’とすると、下式（１２）の関係が得られる。
Ｂ’＝（ｋ_Ｂ２／ｋ_Ｂ１）Ｂ （１２）

上式（１２）より、Ｂ’の成分｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｂ’，ｇ_Ｂ’｝は下式（１３）となる。
ｂ^Ｒ _Ｂ’＝（ｋ_Ｂ２／ｋ_Ｂ１）×ｂ^Ｒ _Ｂ，
ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’≒ｂ^Ｌ _Ｇ （１３）

上式（９）、（１３）より、画素値Ｂ’と画素値Ｇを成分｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝を用いて表すと、下式（１４）のようになる。
Ｂ’＝ｂ^Ｒ _Ｂ’＋（ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’）＝ｂ^Ｒ _Ｂ’＋ｂ^Ｌ _Ｇ，
Ｇ ＝ｂ^Ｌ _Ｇ＋（ｇ_Ｇ＋ｒ^Ｒ _Ｇ） （１４）

次に、下式（１５）に示すように、補正後の画素値Ｂ’と画素値Ｇの差分を取ることにより、重複した成分ｂ^Ｌを取り除く。また上式（１４）より下式（１６）が成り立つ。
Ｂ’−Ｇ＝［ｂ^Ｒ _Ｂ’＋ｂ^Ｌ _Ｇ］−［ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ］
＝ｂ^Ｒ _Ｂ’−（ｇ_Ｇ＋ｒ^Ｒ _Ｇ） （１５）
ｂ^Ｌ _Ｇ＝Ｂ’−ｂ^Ｒ _Ｂ’ （１６）

ｂ^Ｒ _Ｂ’を未知数（支配変数）とすると、上式（１５）、（１６）より｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の関係式を下式（１７）のように求められる。
ｂ^Ｒ _Ｂ’＝未知数（支配変数）
ｂ^Ｌ _Ｇ＝Ｂ’−ｂ^Ｒ _Ｂ’
ｇ_Ｇ＋ｒ^Ｒ _Ｇ＝ｂ^Ｒ _Ｂ’−（Ｂ’−Ｇ） （１７）

｛Ｂ’，Ｇ｝は検出された既知の値であるので、上式（１７）に基づき未知数ｂ^Ｒ _Ｂ’が決まれば、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝が全て決まることになる。即ち、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の尤度パターンを特定することができる。

図９に、この関係を原理的に表した図を示す。図９に示すように、未知数ｂ^Ｒ _Ｂ’として、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小になる値を求める。即ち、下式（１８）に示す誤差の評価値Ｅ_ＢＧが最小になる場合のｂ^Ｒ _Ｂ’を求め、求めたｂ^Ｒ _Ｂ’を上式（１７）に代入することにより、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の値を決定する。
ｅ^Ｂ＝（Ｂ’／２−ｂ^Ｒ _Ｂ’）^２＋（Ｂ’／２−ｂ^Ｌ _Ｇ）^２，
ｅ^Ｇ＝（Ｇ／２−ｂ^Ｌ _Ｇ）^２＋（Ｇ／２−（ｇ_Ｇ＋ｒ^Ｒ _Ｇ））^２，
Ｅ_ＢＧ＝ｅ^Ｂ＋ｅ^Ｇ （１８）

以上のようにして、各画素の２バンド画素値｛Ｂ’，Ｇ｝から成分｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を推定することができる。

なお、上記では｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小となる場合のｂ^Ｒ _Ｂ’を求めたが、本実施形態では、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝と｛α_ＢＢ’，α_ＧｂＧ｝の誤差が最小となる場合のｂ^Ｒ _Ｂ’を求めてもよい。ここで、α_Ｂ、α_Ｇｂは、下式（１９）を満たす値である。α_Ｂは、Ｂ’に対する｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ｝の平均的な値を算出するためのものであり、α_Ｇｂは、Ｇに対する｛ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の平均的な値を算出するためのものである。これらは、図７に示すような撮像素子のカラーフィルタ特性から｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ｝及び｛ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の成分比を考慮して決定すればよい。
０＜α_Ｂ≦１，０＜α_Ｇｂ≦１ （１９）

３．３．３．｛（ｂ^Ｌ＋ｇ），ｒ^Ｒ，ｒ^Ｌ｝の推定処理
次に、画素値｛Ｇ，Ｒ｝から成分｛（ｂ^Ｌ＋ｇ），ｒ^Ｒ，ｒ^Ｌ｝を推定する処理について説明する。

上式（９）を用いて、画素値｛Ｇ，Ｒ｝で重複している波長帯域｛ｇ，ｒ^Ｒ｝を、画素値｛Ｇ，Ｒ｝の差分に基づいて取り除き、成分［ｂ^Ｌ＋ｇ］と成分ｒ^Ｌの関係を求めることにより成分｛（ｂ^Ｌ＋ｇ），ｒ^Ｒ，ｒ^Ｌ｝の関係式を導き出す処理を行う。

図１０（Ａ）〜図１０（Ｄ）に示すように、波長帯域ｒ^Ｒに対応するのは画素値Ｇの成分ｒ^Ｒ _Ｇ及び画素値Ｒの成分ｒ^Ｒ _Ｒであるが、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒには、分光特性Ｆ_Ｇ、Ｆ_Ｒの相対ゲインが乗じられている。そのため、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒは、相対ゲインの分だけ異なる値であり、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒが等しくなるように補正する必要がある。

図１０（Ｃ）、図１０（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）の成分比をｋ_Ｒ１とし、ｒ^Ｒ _Ｇの成分比をｋ_Ｒ２とすると、下式（２０）が成り立つ。ｋ_Ｒ１／ｋ_Ｒ２は、例えば帯域ｒ^Ｒにおける分光特性Ｆ_Ｇ、Ｆ_Ｒのゲイン比である。
ｇ_Ｒ＋ｒ^Ｒ _Ｒ＝（ｋ_Ｒ２／ｋ_Ｒ１）×ｒ^Ｒ _Ｇ （２０）

帯域ｇ、ｒ^Ｒにおける分光特性Ｆ_Ｒのゲインを考慮すると、成分ｇ_Ｒは成分ｒ^Ｒ _Ｒよりも十分小さいと考えられるため、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒを等しくするためには、成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）と成分ｒ^Ｒ _Ｇがほぼ等しくなればよい。成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）を補正した値を（ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’）とすると、上式（２０）を用いて下式（２１）に示す補正を行えばよい。
ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’≒ｒ^Ｒ _Ｇ＝（ｋ_Ｒ２／ｋ_Ｒ１）×（ｇ_Ｒ＋ｒ^Ｒ _Ｒ） （２１）

成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）は画素値Ｒに含まれるため、成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）を補正するためには、結局、画素値Ｒを補正することになる。この補正後のＲをＲ’とすると、下式（２２）の関係が得られる。
Ｒ’＝（ｋ_Ｒ２／ｋ_Ｒ１）Ｒ （２２）

上式（２２）より、Ｒ’の成分｛ｇ_Ｒ’，ｒ^Ｒ _Ｒ’，ｒ^Ｌ _Ｒ’｝は下式（２３）となる。
ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’≒ｒ^Ｒ _Ｇ，
ｒ^Ｌ _Ｒ’＝（ｋ_Ｒ２／ｋ_Ｒ１）×ｒ^Ｌ _Ｒ （２３）

上式（９）、（２３）より、画素値Ｇと画素値Ｒ’を成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ，ｒ^Ｌ _Ｒ’｝を用いて表すと、下式（２４）のようになる。
Ｇ ＝ｂ^Ｌ _Ｇ＋（ｇ_Ｇ＋ｒ^Ｒ _Ｇ），
Ｒ’＝（ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’）＋ｒ^Ｌ _Ｒ’＝ｒ^Ｒ _Ｇ＋ｒ^Ｌ _Ｒ’ （２４）

次に、下式（２５）に示すように、画素値Ｇと補正後の画素値Ｒ’の差分を取ることにより、重複した成分ｒ^Ｒを取り除く。また上式（２４）より下式（２６）が成り立つ。
Ｇ−Ｒ’＝［ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ）］−［ｒ^Ｒ _Ｇ＋ｒ^Ｌ _Ｒ’］
＝（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）−ｒ^Ｌ _Ｒ’ （２５）
ｒ^Ｒ _Ｇ＝Ｒ’−ｒ^Ｌ _Ｒ’ （２６）

ｒ^Ｌ _Ｒ’を未知数（支配変数）とすると、上式（２５）、（２６）より｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の関係式を下式（２７）のように求められる。
ｒ^Ｌ _Ｒ’＝未知数（支配変数），
ｒ^Ｒ _Ｇ＝Ｒ’−ｒ^Ｌ _Ｒ’，
ｂ^Ｌ _Ｇ＋ｇ_Ｇ＝ｒ^Ｌ _Ｒ’＋（Ｇ−Ｒ’） （２７）

｛Ｇ，Ｒ’｝は検出された既知の値であるので、上式（２７）に基づき未知数ｒ^Ｌ _Ｒ’が決まれば、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝が全て決まることになる。即ち、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の尤度パターンを特定することができる。

図１１に、この関係を原理的に表した図を示す。図１１に示すように、未知数ｒ^Ｌ _Ｒ’として、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小になる値を未知数ｒ^Ｌ _Ｒ’として求める。即ち、下式（２８）に示す誤差の評価値Ｅ_ＧＲが最小になる場合のｒ^Ｌ _Ｒ’を求め、求めたｒ^Ｌ _Ｒ’を上式（２７）に代入することにより、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の値を決定する。
ｅ^Ｇ＝（Ｇ／２−（ｂ^Ｌ _Ｇ＋ｇ_Ｇ））^２＋（Ｇ／２−ｒ^Ｒ _Ｇ）^２，
ｅ^Ｇ＝（Ｒ’／２−ｒ^Ｒ _Ｇ）^２＋（Ｒ’／２−（ｒ^Ｌ _Ｒ’））^２，
Ｅ_ＧＲ＝ｅ^Ｇ＋ｅ^Ｒ （２８）

以上のようにして、各画素の２バンド画素値｛Ｇ，Ｒ’｝から成分｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝を推定することができる。

なお、上記では｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小となる場合のｒ^Ｌ _Ｒ’を求めたが、本実施形態では、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝と｛α_ＧｒＧ，α_ＲＲ’｝の誤差が最小となる場合のｒ^Ｌ _Ｒ’を求めてもよい。ここで、α_Ｒ、α_Ｇｒは、下式（２９）を満たす値である。α_Ｒは、Ｒ’に対する｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ｝の平均的な値を算出するためのものであり、α_Ｇｒは、Ｇに対する｛ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の平均的な値を算出するためのものである。これらは、図７に示すような撮像素子のカラーフィルタ特性から｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ｝及び｛ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の成分比を考慮して決定すればよい。
０＜α_Ｒ≦１，０＜α_Ｇｒ≦１ （２９）

３．３．４．成分値の算出処理、右瞳画像と左瞳画像の取得処理
次に、上記で求めた値｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝を用いて、画素値Ｂを構成する成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝の値と、画素値Ｇを構成する成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝の値と、画素値Ｒを構成する成分｛ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝の値とを算出する。

ｂ^Ｒ _Ｂ，ｒ^Ｌ _Ｒは、上式（１３）、（２３）より、下式（３０）のように求められる。
ｂ^Ｒ _Ｂ＝（ｋ_Ｂ１／ｋ_Ｂ２）×ｂ^Ｒ _Ｂ’，
ｒ^Ｌ _Ｒ＝（ｋ_Ｒ１／ｋ_Ｒ２）×ｒ^Ｌ _Ｒ’ （３０）

ｂ^Ｌ _Ｂ，ｒ^Ｒ _Ｒは、ｇ_Ｂ≪ｂ^Ｒ _Ｂ，ｇ_Ｒ≪ｒ^Ｌ _Ｒであること及び上式（９）より、下式（３１）のように求められる。
ｂ^Ｌ _Ｂ＝Ｂ−（ｂ^Ｒ _Ｂ＋ｇ_Ｂ）≒Ｂ−ｂ^Ｒ _Ｂ，
ｒ^Ｒ _Ｒ＝Ｒ−（ｒ^Ｌ _Ｒ＋ｇ_Ｒ）≒Ｒ−ｒ^Ｌ _Ｒ （３１）

ｂ^Ｌ _Ｇ，ｒ^Ｒ _Ｇは、上式（９）より、下式（３２）のように求められる。
ｂ^Ｌ _Ｇ＝Ｇ−（ｇ_Ｇ＋ｒ^Ｒ _Ｇ），
ｒ^Ｒ _Ｇ＝Ｇ−（ｇ_Ｇ＋ｂ^Ｌ _Ｇ） （３２）

ｇ_Ｇは、上式（９）、（３２）より、下式（３３）のように求められる。
ｇ_Ｇ＝Ｇ−（ｂ^Ｌ _Ｇ＋ｒ^Ｒ _Ｇ） （３３）

右瞳画像Ｉ^Ｒと左瞳画像Ｉ^ＬのＲ、Ｇ、Ｂ成分は、上記で求めた成分から下式（３４）のように分離する。
Ｉ^Ｒ＝（ｒ^Ｒ _Ｒ，ｒ^Ｒ _Ｇ，ｂ^Ｒ _Ｂ），Ｉ^Ｌ＝（ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ，ｂ^Ｌ _Ｂ） （３４）

以上の実施形態によれば、光学フィルタＦＬＴは、撮像光学系の瞳を、第１瞳（例えば右瞳）と、第１瞳とは透過波長帯域が異なる第２瞳（左瞳）とに分割する。図７で説明したように、撮像素子は、第１透過率特性Ｆ_Ｂを有する第１色（例えば青色）フィルタと、第２透過率特性Ｆ_Ｇを有する第２色（緑色）フィルタと、第３透過率特性Ｆ_Ｒを有する第３色（赤色）フィルタとを含む。マルチバンド推定部７０は、第１〜第３透過率特性｛Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ｝の重なり部分及び非重なり部分に対応する第１〜第５バンドＢＤ１〜ＢＤ５を設定し、撮像画像を構成する第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝に基づいて第１〜第５バンドの成分値｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝を推定する。位相差画像生成部２０は、第１〜第５バンドＢＤ１〜ＢＤ５のうち第１瞳の透過波長帯域に対応するバンドの成分値を第１画像（右瞳画像）Ｉ^Ｒ＝（ｒ^Ｒ _Ｒ，ｒ^Ｒ _Ｇ，ｂ^Ｒ _Ｂ）として取得し、第１〜第５バンドのうち第２瞳の透過波長帯域に対応するバンドの成分値を第２画像（左瞳画像）Ｉ^Ｌ＝（ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ，ｂ^Ｌ _Ｂ）として取得する。

このようにすれば、第１〜第３色の画素値で構成される画像から５バンドの成分値を推定し、その成分値を第１画像と第２画像に分離することができる。そして、第１画像と第２画像の画素値を比較することにより、合焦方向（第１画像と第２画像のずれ方向）を判定できる。また、通常のＲＧＢ撮像素子を用いることが可能となるため、位相差検出用画素による画素欠陥や、１色当たりの割り当て画素数の減少等が起きず、位相差の検出精度や画像の解像度が低下しない。また、第１瞳と第２瞳でそれぞれ複数色を透過するように設定すれば、デフォーカス画像領域における色ずれの抑制や、色が偏った被写体における位相差検出精度の向上を、実現できる。

また本実施形態では、図７で説明したように、マルチバンド推定部７０は、第１透過率特性Ｆ_Ｂの非重なり部分に対応する第１バンドＢＤ１と、第１透過率特性Ｆ_Ｂと第２透過率特性Ｆ_Ｇとの重なり部分に対応する第２バンドＢＤ２と、第２透過率特性Ｆ_Ｇの非重なり部分に対応する第３バンドＢＤ３と、第２透過率特性Ｆ_Ｇと第３透過率特性Ｆ_Ｒとの重なり部分に対応する第４バンドＢＤ４と、第３透過率特性Ｆ_Ｒの非重なり部分に対応する第５バンドＢＤ５とを設定する。

ここで、透過率特性の重なり部分とは、図７に示すように波長軸に対して透過率特性を表した場合に、波長軸上で隣り合う透過率特性が重なっている領域のことである。重なり部分は、透過率特性が重なっている領域そのもの、あるいは透過率特性の帯域が重なっている帯域で表される。また、透過率特性の非重なり部分とは、他の透過率特性と重なっていない部分のことである。即ち、透過率特性から重なり部分を除いた部分のことである。なお、重なり部分又は非重なり部分に対応するバンドは、重なり部分又は非重なり部分の帯域そのものに限定されず、重なり部分又は非重なり部分に対応して設定されたバンドであればよい。例えば、所定の透過率と透過率特性が交わる波長でバンドを分割し、第１〜第５バンドを設定してもよい。

このようにすれば、撮像画像の第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝から第１〜第５のバンド成分値｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝を推定することが可能となる。即ち、上式（９）で説明したように、透過率特性が隣り合う画素値（例えばＢ、Ｇ）には重なり部分の成分値（ｂ^Ｌ）が含まれる。この重なり部分の成分値（ｂ^Ｌ）を、上式（１５）のように画素値の差分（Ｂ’−Ｇ）により消去することで、上式（１７）のように成分値の関係式を求め、その関係式に基づいて成分値を推定することが可能となる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像光学系、撮像装置等の構成・動作や、合焦方向判定手法、フォーカス制御手法、マルチバンド推定手法等も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

１０ 撮像部、２０ 位相差画像生成部、２５ 出力部、
３０ 表示画像生成部、４０ モニタ表示部、５０ 分光特性記憶部、
６０ 合焦方向判定部、７０ マルチバンド推定部、８０ フォーカス制御部、
８２ 位相差検出部、８４ フォーカス制御量算出部、
８６ フォーカスレンズ駆動制御部、９０ データ圧縮部、１００ データ記録部、
ＢＤ１〜ＢＤ５ 第１〜第５バンド、Ｄｆ、Ｄｒ デフォーカス位置、
Ｆａ 減少領域、Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ 第１〜第３透過率特性、
ＦＬ１ 右瞳フィルタ、ＦＬ２ 左瞳フィルタ、ＦＬＴ 光学フィルタ、
ＦＰ フォーカス位置、Ｉ（ｘ） 撮像画像、
Ｉ^Ｌ（ｘ） 左瞳画像、Ｉ^Ｒ（ｘ） 右瞳画像、
ＬＮＳ 結像レンズ、ＰＳＦ^Ｌ，ＰＳＦ^Ｒ ポイントスプレッドファンクション
Ｒａ 増加領域、ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ 第１〜第５バンドの成分値、
ｆ^Ｌ，ｆ^Ｒ 透過率特性、ｋ_Ｂ１，ｋ_Ｂ２ ゲイン、ｘ 位置、δ 位相差

Claims (8)

1. 第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを結像する撮像光学系と、
   前記撮像光学系により結像された前記第１被写体像と前記第２被写体像とを撮像し、撮像画像を取得する撮像素子と、
   前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成する位相差画像生成部と、
   前記撮像画像の画素値と、前記第１画像及び前記第２画像のうち少なくとも一方である比較画像の画素値とを比較することにより、前記撮像光学系の合焦方向を判定する合焦方向判定部と、
   を含み、
   前記合焦方向判定部は、
   前記視差により前記第１画像と前記第２画像がずれる方向を視差方向とする場合に、前記撮像画像の画素値が前記視差方向に増加又は減少する領域を特定し、
   前記特定した領域における前記撮像画像の画素値と前記比較画像の画素値との大小関係に基づいて、前記撮像光学系から見て被写体よりも近い位置にフォーカスが合った状態である後ピント状態であるか、前記撮像光学系から見て前記被写体よりも遠い位置にフォーカスが合った状態である前ピント状態であるかを判定することを特徴とする撮像装置。
2. 請求項１において、
   前記撮像光学系は、
   前記第１被写体像を通過させる第１瞳と前記第２被写体像を通過させる第２瞳とを有し、
   前記視差方向は、
   前記第１瞳から前記第２瞳に向かう方向であり、
   前記合焦方向判定部は、
   前記撮像画像の画素値が前記視差方向に増加する領域において、前記第１画像の画素値が前記撮像画像の画素値よりも大きい場合には前記前ピント状態であると判定し、前記第１画像の画素値が前記撮像画像の画素値よりも小さい場合には前記後ピント状態であると判定することを特徴とする撮像装置。
3. 請求項１において、
   前記撮像光学系は、
   前記第１被写体像を通過させる第１瞳と前記第２被写体像を通過させる第２瞳とを有し、
   前記視差方向は、
   前記第１瞳から前記第２瞳に向かう方向であり、
   前記合焦方向判定部は、
   前記撮像画像の画素値が前記視差方向に減少する領域において、前記第１画像の画素値が前記撮像画像の画素値よりも大きい場合には前記後ピント状態であると判定し、前記第１画像の画素値が前記撮像画像の画素値よりも小さい場合には前記前ピント状態であると判定することを特徴とする撮像装置。
4. 請求項１乃至３のいずれかにおいて、
   前記合焦方向判定部は、
   前記視差方向における所定幅で前記撮像画像の画素値を平均した値を前記撮像画像の画素値から減算して、前記撮像画像の比較用画素値を求め、
   前記所定幅で前記比較画像の画素値を平均した値を前記比較画像の画素値から減算して、前記比較画像の比較用画素値を求め、
   前記撮像画像の比較用画素値と前記比較画像の比較用画素値とが一致する前記撮像画像上の位置を特定し、
   前記特定した位置の間の領域を前記撮像画像の比較用画素値が前記増加又は減少する領域として特定し、
   前記特定した領域において前記撮像画像の比較用画素値と前記比較画像の比較用画素値とを比較することにより前記大小関係を判定することを特徴とする撮像装置。
5. 請求項１乃至４のいずれかにおいて、
   前記合焦方向判定部が判定した前記合焦方向に基づいて、前記第１画像と前記第２画像との位相差を検出する位相差検出部と、
   前記位相差に基づいて、前記撮像光学系を被写体にフォーカスさせる制御を行うフォーカス制御部と、
   を含むことを特徴とする撮像装置。
6. 請求項１乃至４のいずれかにおいて、
   前記合焦方向判定部が判定した前記合焦方向に基づいて、前記第１画像と前記第２画像との位相差を検出する位相差検出部と、
   前記位相差に基づいて、被写体の３次元情報を取得する３次元情報取得部と、
   を含むことを特徴とする撮像装置。
7. 請求項１乃至６のいずれかにおいて、
   マルチバンド推定部を含み、
   前記撮像光学系は、
   前記撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタを有し、
   前記撮像素子は、
   第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを有し、
   前記マルチバンド推定部は、
   前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、
   前記位相差画像生成部は、
   前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を前記第１画像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を前記第２画像として取得することを特徴とする撮像装置。
8. 第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを結像し、
   前記第１被写体像と前記第２被写体像とを撮像し、撮像画像を取得し、
   前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成し、
   前記視差により前記第１画像と前記第２画像がずれる方向を視差方向とする場合に、前記撮像画像の画素値が前記視差方向に増加又は減少する領域を特定し、
   前記特定した領域における前記撮像画像の画素値と、前記第１画像及び前記第２画像のうち少なくとも一方である比較画像の画素値との大小関係に基づいて、前記撮像光学系から見て被写体よりも近い位置にフォーカスが合った状態である後ピント状態であるか、前記撮像光学系から見て前記被写体よりも遠い位置にフォーカスが合った状態である前ピント状態であるかを判定することを特徴とする撮像装置の合焦方向判定方法。

Images