JP6857341B2 - 撮像装置及び信号処理方法 - Google Patents

Description

本発明は、撮像装置及び信号処理方法に関し、特に位相差検出画素の出力信号を適切に処理することが可能な撮像装置及び信号処理方法に関する。

近年では、オートフォーカス（ＡＦ）機能を実現するために、撮像素子内に通常画素の他に位相差検出画素を複数備え、それら位相差検出画素から得られる出力信号から被写体のデフォーカス量を算出し、合焦位置を演算する技術が普及している。上記したＡＦ機能を実現するために、撮像素子において、遮光幕等を用いて右目／左目構造を持つ位相差検出画素を左右２画素分で１ペアとし、それらの位相差検出画素ペアを複数配置することで被写体の位相のずれを検出するのが一般的である。

ここで、特許文献１のような画素構造を検討する。この開示技術では、固体撮像素子は、光電変換膜と、それを上下で挟む第１電極及び第２電極とからなる光電変換部を有し、一方の電極が画素ごとに分離された分離電極となっている第１の画素と、光電変換部を有し、分離電極が第１の画素よりも小さい平面サイズで形成され、それにより空いた領域に、少なくとも画素の境界まで延びる第３電極が形成されている第２の画素とを有し、光電変換膜を用いて焦点検出用画素を形成している。

詳しくは、本文献の図３乃至５に示されるように、固体撮像素子は、通常画素２Ｘの下部電極よりも小さな下部電極を有する位相差画素２Ｐと、拡大された下部電極を有するダミー画素２Ｄを有している。位相差画素２Ｐは、右目画素と左目画素の２画素が１ペアとなり、縦方向に隣接して配置されている。一方の位相差画素２Ｐからの画素信号と他方の位相差画素２Ｐからの画素信号とで、下部電極の形成位置の違いにより像のずれが発生する。この像のずれから、位相ずれ量を算出してデフォーカス量を算出し、撮影レンズを調整（移動）することで、オートフォーカスを実現する、としている。

位相差画素２PのＧ信号は光電変換部で生成され、金属配線及び導電性プラグを介してＦＤ部に出力され、焦点検出用の信号として利用される。一方で、ダミー画素２Ｄで生成されたＧ信号も同様にＦＤ部に出力されるが、こちらは利用されずに排出される。位相差画素２P及びダミー画素２Ｄの画像生成用のＧ信号は、周辺の複数の通常画素２ＸのＧ信号から補間により算出される、としている。

国際公開２０１６／０７２２８１号

しかしながら、上述した従来技術では以下のような問題点があった。

すなわち、特許文献１に開示の発明では、位相差画素２Ｐに隣接するダミー画素２Ｄにより生成されるＧ信号を、焦点検出用としても画像生成用としても用いることなく捨てている。このような構成とする場合、ある箇所の位相差を検出しようとして１ペアの位相差画素２ＰからＧ信号を取得すると、同時に１ペアのダミー画素２ＤからのＧ信号が無駄になってしまうことになる。

さらに、位相差ペアを固体撮像素子のアレイに複数配置することを考えると、位相差の検出精度を向上させるために配置する位相差ペアの数を増やせば増やすほど、捨てられるＧ信号も増え、その結果、失われたダミー画素のＧ信号を補正するために後段の画像処理で行われる処理量も増加してしまう。

本発明はこのような状況に鑑みてなされたものであり、通常画素と比べて小さい光電変換層を有する位相差検出画素と、通常画素と比べて大きな光電変換層を有する位相差検出画素のそれぞれの出力信号に基づいて位相差情報を高精度に取得することが可能であり、生成した出力信号を無駄なく利用可能な撮像装置及び信号処理方法を提供することを目的とする。

上記目的を達成するために、本発明を実施の撮像装置は、深さ方向に少なくとも３つの光電変換層を積層してなる垂直色分離構造を有し、各前記光電変換層からそれぞれ出力信号が出力される複数の画素が２次元方向に配列され、複数の前記画素は、前記各光電変換層から撮像用の出力信号をそれぞれ生成する通常画素と、前記通常画素に設けられた同一深さの前記光電変換層よりも水平方向に小さい面積を有する第１の光電変換層を有する第１の位相差検出画素と、前記通常画素に設けられた同一深さの前記光電変換層よりも水平方向に大きい面積を有する第２の光電変換層を有する第２の位相差検出画素とを含み、前記第１の位相差検出画素と前記第２の位相差検出画素とは互いに隣接し、隣接する前記第１の光電変換層と前記第２の光電変換層とを水平方向に足し合わせた合計面積が前記通常画素の同一深さに設けられた前記光電変換層の水平方向の面積の約２倍と同等である撮像素子と、前記第１の光電変換層から生成される第１の出力信号及び前記第２の光電変換層から生成される第２の出力信号に基づいて、前記第１の位相差検出画素の位置における位相差情報を生成する信号処理手段と、を有し、前記信号処理手段は重み付け係数算出手段と焦点検出信号算出手段とをさらに有し、前記重み付け係数算出手段は、前記第１の位相差検出画素と前記第２の位相差検出画素及びその周囲に位置する前記通常画素の出力信号に基づいて重み付け係数を算出し、前記焦点検出信号算出手段は、前記重み付け係数を用いて前記第１の出力信号及び前記第２の出力信号から得られる２つの推定右目信号値から前記第１の位相差検出画素の位置における右目信号を算出し、前記信号処理手段は、前記第１の出力信号を前記第１の位相差検出画素の位置における左目信号とし、前記左目信号と前記右目信号とから前記第１の位相差検出画素の位置における前記位相差情報を算出すること特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、前記信号処理手段は、前記第１の位相差検出画素及びその周囲に位置する前記通常画素のうち、少なくとも２つの前記画素の出力信号に基づいて、前記第１の位相差検出画素の位置における第１の推定信号値を算出し、前記第２の位相差検出画素及びその周囲に位置する前記通常画素のうち、少なくとも２つの前記画素の出力信号に基づいて、前記第２の位相差検出画素の位置における第２の推定信号値を算出し、さらに、前記第１の出力信号、前記第２の出力信号、前記第１の推定信号値及び前記第２の推定信号値に基づいて、２つの前記推定右目信号値を算出することを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、前記第１の推定信号値は、前記第１の位相差検出画素の出力信号と、その周囲に位置する少なくとも１つの前記通常画素の出力信号との色相の変化に基づいて算出され、前記第２の推定信号値は、前記第２の位相差検出画素の出力信号と、その周囲に位置する少なくとも１つの前記通常画素の出力信号との色相の変化に基づいて算出されることを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、前記第１の推定信号値は、前記第１の位相差検出画素の周囲に位置する１つの前記通常画素の前記第１の光電変換層と同一深さに設けられた前記光電変換層の出力信号又は、２つ以上の前記通常画素の前記第１の光電変換層と同一深さに設けられた前記光電変換層の出力信号の平均値で置換され、前記第２の推定信号値は、前記第２の位相差検出画素の周囲に位置する１つの前記通常画素の前記第２の光電変換層と同一深さに設けられた前記光電変換層の出力信号又は、２つ以上の前記通常画素の前記第２の光電変換層と同一深さに設けられた前記光電変換層の出力信号の平均値で置換されることを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、２つの前記推定右目信号値はそれぞれ、前記第１の推定信号値と前記第１の出力信号の差分値及び前記第２の出力信号と前記第２の推定信号値の差分値であることを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、２つの前記推定右目信号値はそれぞれ、前記第１の位相差検出画素及び前記第２の位相差検出画素の位置における画像用出力信号の補間値として利用されることを特徴とする。

さらに本発明を実施の信号処理方法は、深さ方向に少なくとも３つの光電変換層を積層してなる垂直色分離構造を有し、前記各光電変換層からそれぞれ出力信号が出力される複数の画素が２次元方向に配列され、複数の前記画素は、前記各光電変換層から撮像用の出力信号をそれぞれ生成する通常画素と、前記通常画素に設けられた同一深さの前記光電変換層よりも水平方向に小さい面積を有する第１の光電変換層を有する第１の位相差検出画素と、前記通常画素に設けられた同一深さの前記光電変換層よりも水平方向に大きい面積を有する第２の光電変換層を有する第２の位相差検出画素と、を含み、前記第１の位相差検出画素と前記第２の位相差検出画素とは互いに隣接し、隣接する前記第１の光電変換層と前記第２の光電変換層とを水平方向に足し合わせた合計面積が前記通常画素の同一深さに設けられた前記光電変換層の水平方向の面積の約２倍と同等である撮像素子と、前記第１の光電変換層及び前記第２の光電変換層からそれぞれ生成される第１の出力信号及び第２の出力信号に基づいて、前記第１の位相差検出画素の位置における位相差情報を生成する信号処理手段と、を有し、前記信号処理手段において、前記第１の位相差検出画素の位置における第１の推定信号値及び前記第２の位相差検出画素の位置における第２の推定信号値を算出するステップと、前記第１の推定信号値及び前記第２の推定信号値から２つの推定右目信号値をそれぞれ算出するステップと、前記第１の位相差検出画素と前記第２の位相差検出画素及びその周囲に位置する前記通常画素の出力信号に基づいて重み付け係数を算出するステップと、前記重み付け係数と２つの前記推定右目信号値とから、前記第１の位相差検出画素の位置における右目信号を算出するステップと、前記第１の位相差検出画素の位置における左目信号を前記第１の出力信号とし、前記左目信号と前記右目信号とから前記第１の位相差検出画素の位置における前記位相差情報を算出するステップと、を有することを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、前記左目信号が前記右目信号であり、前記右目信号が前記左目信号であり、２つの前記推定右目信号が２つの前記推定左目信号であることを特徴とする。

さらに本発明を実施の信号処理方法は、上記発明において、前記左目信号が前記右目信号であり、前記右目信号が前記左目信号であり、２つの前記推定右目信号が２つの前記推定左目信号であること特徴とする。

本発明を実施の撮像装置及び信号処理方法によれば、通常画素と比べて小さい光電変換層を有する位相差検出画素と、通常画素と比べて大きな光電変換層を有する位相差検出画素のそれぞれの出力信号に基づいて位相差情報を高精度に取得することが可能であり、生成した出力信号を無駄なく利用可能な撮像装置及び信号処理方法を提供することが可能となる。

本発明の一実施形態である撮像装置の主要な構成を示したブロック図である。 図１に示した撮像装置に実装される撮像素子の単一画素を単純化した断面図である。 撮像素子を簡易的に説明するための図であり、（ａ）は被写体側から見た上面図、（ｂ）は長手方向の断面図である。 信号処理部で行われる処理を説明するための模式図である。 信号処理部における位相差演算処理の流れを示したフローチャートである。

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

図１に示すブロック図には、本発明の一実施形態である撮像装置の主要な構成が示されている。本図に示す撮像装置１００は、撮影光学系１１０と、撮像素子１２０と、読出し制御部１３０と、信号処理部１４０と、画像処理部１５０と、カメラＣＰＵ１６０と、ユーザインターフェース（Ｉ／Ｆ）１６１と、記録媒体インターフェース（Ｉ／Ｆ）１６２と、画像表示部１７０と、レンズ制御部１８０と、を備えている。撮影光学系１１０は、フォーカスレンズ群やズームレンズ群を含む、複数の不図示のレンズ群で構成されている。本図においては、簡単のために１枚のレンズのみ記載している。

撮像素子１２０は、撮影光学系１１０により集光された光線を受光して光電変換し、画像信号を出力する。本実施形態の撮像素子１２０としては、ＣＭＯＳイメージセンサが用いられている。撮像素子１２０の受光面は多数の画素から構成されている。これらの画素は、その内部において、入射光の波長により光電変換される深さの違いを用いることで、単一画素からＲＧＢの各出力信号を出力可能な垂直色分離型のイメージセンサである。

撮像素子１２０は内部に不図示のゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを備えており、画像信号はデジタルデータとして出力される。また、撮像素子１２０には後述するように通常画素１２１と位相差検出画素１２２とがそれぞれ複数含まれており、それらは所定の配列をもって画素アレイを構成している。

読出し制御部１３０は、撮像素子１２０の駆動タイミングを決定するための信号を出力する。これにより画素毎の水平駆動並びに垂直駆動が制御され、各画素からＲＧＢの各出力信号が読み出される。撮像素子１２０から出力された出力信号は信号処理部１４０内に設けられている不図示のメモリ部に記録される。メモリ部は、この他にも各種データのバッファとして機能する。

信号処理部１４０は撮像素子１２０から読み出されメモリ部に記録された出力信号に対して各種の信号処理を施す。信号処理としては、例えば、読み出した出力信号を増幅するための増幅処理がある。

また、信号処理部１４０は、後述するように、撮像素子１２０中の位相差検出画素１２２からの出力信号を用いることで被写体の最適なピント位置の算出を行う。

この信号処理部１４０は、例えばＦＰＧＡやＡＳＩＣといった画像処理を実行するＩＣ（半導体）で構成され、所定のハードウェア処理（専用ハードウェアによる特定のデータ処理）を行うロジック回路である。

画像処理部１５０は、信号処理部１４０から送られてきた出力信号に対して各種の画像処理を施す。画像処理としては、例えば、出力信号に対するＲＡＷデータ生成やＨＤＲ画像生成処理がある。その他にも、ホワイトバランス処理、色再現処理、ＪＰＥＧ形式やＴＩＦＦ形式の画像データへの現像処理等がある。

この画像処理部１５０は、例えばＤＳＰといった、ソフトウェアによってプログラミングされた所定のデータ処理を実行するプロセッサである。

カメラＣＰＵ１６０は、撮像装置１００全体の包括的な制御を行う。また、カメラＣＰＵ１６０は、信号処理部１４０で算出されたピント位置に基づき、不図示のフォーカスレンズ群の必要な移動量を算出する。

ユーザＩ／Ｆ１６１は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、カメラＣＰＵ１６０は所定の動作を行う指示を出す。

記録媒体Ｉ／Ｆ１６２は、カメラＣＰＵ１６０からの指示に基づいて、不図示の記録媒体との間でＲＡＷデータや現像後の画像データの書き込み及び読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。

画像表示部１７０は、撮影画像や不図示の記録媒体から読み出された画像等を表示する。

レンズ制御部１８０は、カメラＣＰＵ１６０において算出されたピント位置までの移動量だけ、撮影光学系１１０の一部を構成するフォーカスレンズ群を移動させる制御を行う。フォーカスレンズ群の駆動源としてはＤＣモータ、超音波モータ、リニアモータ等を用いることができる。

なお、上述したゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを内蔵していない撮像素子１２０を採用する場合には、これらのデバイスを個別に搭載すればよい。

図２は、撮像装置１００に実装される垂直色分離型の撮像素子１２０の３層のフォトダイオードを単純化して示した断面図である。上述したように、本実施形態の撮像素子１２０はいわゆる垂直色分離型のイメージセンサであり、簡単には、光電変換層であるところのフォトダイオードが深さ方向に３つ積層されて構成されている。

ある画素に光が入射すると、入射光中の青色（Ｂ）成分は主に最上層に位置するＢフォトダイオード１２３で光電変換される。同様に、入射光中の緑色（Ｇ）成分は主に中間層に位置するＧフォトダイオード１２４で光電変換され、赤色（Ｒ）成分は主に最下層に位置するＲフォトダイオード１２５で光電変換される。各層での光電変換により得られた信号値は、出力信号として読み出される。これらの垂直方向の色分離は、撮像素子１２０の材料として用いるシリコン（Ｓｉ）の特性を利用したものである。

３層のフォトダイオードは、Ｓｉ基板内部の異なる深さに所定のドープ処理を行うことで形成される。具体的には、Ｂフォトダイオード１２３は約０．２〜０．５μｍの間の深さに形成され、Ｇフォトダイオード１２４は約０．５〜１．５μｍの間の深さに形成され、Ｒフォトダイオード１２５は約１．５〜３．０μｍの間の深さに形成される。従って、本実施形態の撮像素子１２０はベイヤー型イメージセンサに必須のカラーフィルタが不要でありながら、１つの画素からＲＧＢ３色の出力信号を取得することが可能となる。

なお、フォトダイオードに換えて、有機物や無機物等により形成され特定の吸収特性を有する光電変換膜を光電変換層として複数積層させた構成としてもよい。また、いずれかの層のフォトダイオードのみ上述の光電変換膜を採用した構成としてもよい。

図３（ａ）は、撮像素子１２０を被写体側から見た簡易的な上面図であり、一部を拡大したものである。本図中の矩形１つひとつがそれぞれ画素を表しており、正方形は通常画素１２１、異なる大きさの２種類の長方形はそれぞれ位相差検出画素１２２を表している。

さらに、矩形の形状が各画素の最上層に位置するＢフォトダイオード１２３の形状を表している。

本実施形態においては２次元方向に広がるアレイ状の通常画素１２１中に、位相差検出画素１２２が離散的に配置されている構成としている。そして、本図に示すように、大きさの異なるＢフォトダイオード１２３ｂ及び１２３ｃを有する２種類の位相差検出画素１２２は撮像素子１２０の長手方向に隣接して配置されており、これらが位相差検出画素ペア１２２ｐを構成している。

撮像素子１２０の受光面には、複数の通常画素１２１中に所定の周期でこの位相差検出画素ペア１２２ｐが配置されている、とも言える。これらの位相差検出画素ペア１２２ｐの出力信号から位相差情報を算出することで、被写体のピント位置を得ることができる。

図３（ｂ）は、撮像素子１２０の長手方向の簡易的な断面図である。本図では、簡単のために２つの通常画素１２１と２つの位相差検出画素１２２にのみ注目している。以降では、それらの画素を便宜上、画素ａ〜画素ｄと呼ぶこととする。

各画素の最上面にはマイクロレンズ１２６が設けられており、被写体からの入射光を効率的にフォトダイオードに導いている。各画素は、上述したように垂直色分離型の構造を有しており、それぞれ３層のフォトダイオードを持つ。

例えば、画素ａは上層から順にＢフォトダイオード１２３ａ、Ｇフォトダイオード１２４ａ、そしてＲフォトダイオード１２５ａを有しており、それぞれのフォトダイオードからの出力信号が読み出される。出力される各信号をそれぞれＢａ、Ｇａ、Ｒａと呼ぶこととし、それらを本図中の対応するフォトダイオードに記入している。その他の画素ｂ、ｃ、ｄについても、同様に出力信号の呼称をそれぞれのフォトダイオードに記入している。

画素ａ及び画素ｄは通常画素１２１であり、３層のフォトダイオードがそれぞれ等しい大きさを有している。一方、画素ｂ及び画素ｃは位相差検出画素１２２であり、これらが位相差検出画素ペア１２２ｐを構成している。

画素ｂは通常画素１２１と異なり、Ｂフォトダイオード１２３ｂの大きさが通常画素１２１である画素ａのＢフォトダイオード１２３ａよりも小さく、約半分の大きさとなっていることがわかる。一方で、画素ｃのＢフォトダイオード１２３ｃの大きさは通常画素１２１のＢフォトダイオード１２３ａよりも大きい。

本図からもわかるように、画素ｃのＢフォトダイオード１２３ｃは隣接する画素ｂ側に延出している。詳しくは、画素ｃのＢフォトダイオード１２３ｃは、隣接する画素ｂのＢフォトダイオード１２３ｂが縮小することで生じた空間にまで延出するように形成されている。より詳しくは、画素ｂに設けられたマイクロレンズ１２６の光軸付近にまで延出している。

本実施形態の撮像装置においては、位相差検出画素ペア１２２ｐを構成する画素ｂ及び画素ｃがそれぞれ有する、Ｂフォトダイオード１２３ｂ及びＢフォトダイオード１２３ｃからの出力信号Ｂｂ及び出力信号Ｂｃを用いて被写体の位相差情報を生成することとしている。このような構成とすることで、遮光層等を設けずに位相差情報を得ることが可能となる。

なお、本実施例においてフォトダイオードの大きさとは、撮像素子１２０を被写体側から見たときの、Ｂフォトダイオード１２３の２次元方向の面積を指すこととする。従って、本図（ａ）（ｂ）からわかるように、位相差検出画素１２２のうち画素ｂでは、通常画素１２１のものと比較して約半分の大きさのＢフォトダイオード１２３ｂを有していると言える。また、位相差検出画素１２２のうち画素ｃでは、通常画素１２１のものと比較して約１．５倍の大きさのＢフォトダイオード１２３ｃを有していると言える。

なお、以降では、Ｂフォトダイオード１２３ｂを有する位相差検出画素１２２（画素ｂ）のことを第１の位相差検出画素１２２ｂ、Ｂフォトダイオード１２３ｃを有する位相差検出画素１２２（画素ｃ）のことを第２の位相差検出画素１２２ｃと呼ぶ場合もある。本実施例においては、上述した位相差検出画素ペア１２２ｐを構成する第１の位相差検出画素１２２ｂと第２の位相差検出画素１２２ｃの各Ｂフォトダイオード１２３からの出力信号に基づいて、信号処理部１４０において位相差情報を生成する。

図４は、信号処理部１４０内で行われる各種処理を示した模式図であり、信号処理部１４０は、焦点検出信号推定部１４１と、重み付け係数算出部１４２と、焦点検出信号算出部１４３と、位相差情報算出部１４４と、を有することを示している。なお、本図では位相差情報の生成に関連する処理部のみ表記している。

公知の一般的な構成の位相差検出画素の場合には、位相差情報を生成するために、ペアを構成する２つの右目及び左目画素からそれぞれ得られる出力信号に基づいて被写体の位相差情報が生成される。

一方で、本実施形態の撮像素子では、位相差検出画素ペア１２２ｐの隣接するＢフォトダイオード１２３ｂ及びＢフォトダイオード１２３ｃの各出力信号に基づいて、位相差情報の生成に必要な右目信号及び左目信号を算出しなければならない。詳しくは、信号処理部１４０において、第１の位相差検出画素１２２ｂのＢフォトダイオード１２３ｂからの出力信号Ｂｂをそのまま左目信号ＢｂＬとして利用し、また、第１の位相差検出画素１２２ｂ及び第２の位相差検出画素１２２ｃのＢフォトダイオード１２３ｂ及びＢフォトダイオード１２３ｃからの出力信号Ｂｂ及び出力信号Ｂｃに基づいて、左目信号ＢｂＬと対応する右目信号ＢｂＲを生成する処理を行う。

図５は、信号処理部１４０における位相差演算処理の流れを示したフローチャートである。以降は、本図に基づいて右目信号ＢｂＲの生成と位相差情報の算出について詳しく説明する。

本フローチャートは、例えば、撮像装置１００のユーザＩ／Ｆ１６１に含まれるレリーズボタンが撮影者によって半押し（ファーストレリーズ）状態とされたことを検知することで開始される。

まず、ステップＳ５０１では、信号処理部１４０内の焦点検出信号推定部１４１において、推定値である信号値Ｂｂ’及びＢｃ’を算出する。これらの推定信号値Ｂｂ’及びＢｃ’は、第１の位相差検出画素１１２ｂ及び第２の位相差検出画素１２２ｃのＢフォトダイオード１２３ｂ及びＢフォトダイオード１２３ｃが、それぞれ通常画素１２１のＢフォトダイオード１２３と同等の大きさであったと想定した場合の、仮想の各Ｂフォトダイオードからの出力信号である。

これらの信号値の推定に関しては、例えば周辺画素との間の色相変化を用いることができる。具体的には、以下の各式（１）により各推定信号値を算出する。

ここで、Ｇｂ、Ｂａ等の各信号値は上述した図３で示した信号値を指している。すなわち本推定方法では、注目する位相差検出画素ペア１２２ｐと同一行上、かつ、位相差検出画素ペア１２２ｐの両隣に位置する通常画素１２１との間で、各層のフォトダイオードの出力信号の色相変化を用いて推定信号値を算出している。

そして、画素ａである通常画素１２１と画素ｂである第１の位相差検出画素１２２ｂとの間で色相が不変であるとの仮定のもと、第１の位相差検出画素１２２ｂにおける仮想のＢフォトダイオードからの推定信号値Ｂｂ’が算出される。また、同様に、画素ｄである通常画素１２１と画素ｃである第２の位相差検出画素１２２ｃとの間で色相が不変であるとの仮定のもと、第２の位相差検出画素１２２ｃにおける仮想のＢフォトダイオードからの推定信号値Ｂｃ’が算出される。

次に、ステップＳ５０２では、焦点検出信号推定部１４１において、算出された推定信号値Ｂｂ’及びＢｃ’から右目信号ＢｂＲの推定右目信号値ＢｂＲ１’と推定右目信号値ＢｂＲ２’とをそれぞれ算出する。具体的には、以下の各式（２）により各推定右目信号値を算出する。

BbR1'＝Bb'−Bb ・・・（2a）
BbR2'＝Bc−Bc' ・・・（2b）

これにより、右目信号ＢｂＲの推定右目信号値が２つ得られる。

次に、ステップＳ５０３では、信号処理部１４０内の重み付け係数算出部１４２において、信頼度Ｐ１及びＰ２を算出する。具体的には、以下の各式（３）により各信頼度を算出する。

P1＝|(Ga−Ra)−(Gb−Rb)| ・・・（3a）
P2＝|(Gc−Rc)−(Gd−Rd)| ・・・（3b）

ステップＳ５０２における信号値の推定がうまく機能する条件としては、推定に利用される通常画素１２１と位相差検出画素１２２とが同じ色であることが望ましい。そこで、ステップＳ５０３では隣接する画素間の色相を用いて、信頼度の評価を行っている。上記の計算式によれば、色相が類似しているほど信頼度は小さい値となる。

次に、ステップＳ５０４では、信号処理部１４０内の重み付け係数算出部１４２において、重み付け係数Ｓ１及びＳ２を算出する。具体的には、以下の各式（４）により各重み付け係数を算出する。

この重み付け係数によれば、ステップＳ５０３において算出した信頼度が小さいほどより大きい値となる。

次に、ステップＳ５０５では、信号処理部１４０内の焦点検出信号算出部１４３において、上流ステップにおいて得られた各値から右目信号ＢｂＲを算出する。具体的には、以下の式（５）により右目信号ＢｂＲを算出する。

BbR=S1×BbR1'+S2×BbR2' ・・・（5）

この演算式によれば、信頼度に基づいた重み付けによって２つの推定右目信号値から高精度に右目信号ＢｂＲを算出することができる。詳しくは、色相の変化の小さかった方の推定右目信号値を混合する割合を大きくし、反対に、色相の変化の大きかった方の推定右目信号値を混合する割合を小さくすることで、高精度な信号算出を可能としている。

次に、ステップＳ５０６では、信号処理部１４０内の位相差情報算出部１４４において、ステップＳ５０５で得られた右目信号ＢｂＲと、第１の位相差検出画素１２２ｂ中のＢフォトダイオード１２３ｂからの出力信号として取得済みの左目信号ＢｂＬとから、第１の位相差検出画素１２２ｂの位置における位相差情報を算出する。この位相差情報の算出に際しては、公知の演算方法を利用することができる。位相差情報が算出されると、本図に示す位相差演算処理についてのフローチャートが終了する。

これらの処理を所定範囲の位相差検出画素１２２で行い、得られた位相差情報に基づいて、信号処理部１４０において被写体の最適なピント位置の算出を行う。そして、上述したように、ピント位置についての情報を受け取ったカメラＣＰＵ１６０が、フォーカスレンズ群がそのピント位置に到達するのに必要な移動量を算出する。それを受けてレンズ制御部１８０がフォーカスレンズ群を移動させる制御を行うことでオートフォーカス処理が完了する。

以上で説明したように、本発明の撮像装置によれば、互いに異なる大きさの光電変換層を持つ位相差検出画素ペアにおいて、それらの光電変換層の出力信号から、位相差情報の生成に必要な右目信号と左目信号を算出することとした。このような構成とすることにより、遮光層等を設けずに、高精度に位相差情報を生成することが可能となる。

なお、右目信号ＢｂＲの算出過程において得られた推定信号値を、画像処理部１５０におけるＲＡＷデータの生成に用いることができる。すなわち、推定信号値である出力信号Ｂｂ’及び出力信号Ｂｃ’をそのまま第１の位相差検出画素１２２ｂ及び第２の位相差検出画素１２２ｃの位置における画像用出力信号の補間値として用いることで、専用の補間処理を用意することなく、ＲＡＷデータを生成することができる。

なお、本発明の実施形態は上述したものに限られるものではない。

上述した実施例では、小さいＢフォトダイオードを有する位相差検出画素と大きいＢフォトダイオードを有する位相差検出画素が左右に隣接する構成としたが、この並び順に限られない。すなわち、左側に大きいＢフォトダイオードを有する位相差検出画素、右側に小さいＢフォトダイオードを有する位相差検出画素を配置して位相差検出画素ペアとしてもよい。また、撮像素子１２０上に離散的に配置される位相差検出画素ペアは全て同じ並び順である必要はない。例えば、並び順の異なる位相差検出画素ペアを交互に配置してもよい。

また、上述した実施例では、位相差検出画素ペアと同一行上に隣接する通常画素の出力信号と位相差検出画素の出力信号との間の色相変化を利用して推定信号値を算出していたが、これは同一行上に限られない。すなわち、色相変化の比較対象として、例えば、位相差検出画素と上下斜めに隣接する通常画素の出力信号を用いることができる。

この場合、上述した式（１）は以下の式（６）に一般化することができる。

ここで、ｍ、ｎはそれぞれ推定信号値Ｂｂ’、Ｂｃ’の算出に用いられる通常画素の数であり、必要とする推定精度と処理負荷のバランスに応じて任意に設定可能である。例えば、図３に示した画素ｂについて上下と左隣りの３つの通常画素を参照して推定信号値を算出する場合であれば、上記の式（６ａ）においてｍ＝３とすればよい。同様に、画素ｃについて上下と右隣りの３つの通常画素を参照する場合にも、上記の式（６ｂ）においてｎ＝３とすればよい。また、ｍとｎが同じ値である必要はなく、それぞれを適宜設定することができる。

さらに、推定信号値の算出のために、位相差検出画素の周囲に位置する通常画素の出力信号のみを用いることも可能である。例えば、位相差検出画素と上下斜めに隣接する通常画素の出力信号のみを用いることができる。

この場合、上述した式（１）の替わりとして、参照対象である各通常画素のＢフォトダイオードからの出力信号の単純平均値、又は加重平均値を用いればよい。参照画素の数は任意に設定可能である。参照する通常画素を１つとしたときは、その通常画素のＢフォトダイオードの出力信号の値を推定信号値としてそのまま置換すればよい。

また、加重平均のための重み付け係数としては、例えば、各参照通常画素と位相差検出画素のそれぞれのＢフォトダイオードの面積重心間距離に基づいて設定することができる。

また、信頼度の算出において、上述した実施例では隣接する通常画素の出力信号と位相差検出画素の出力信号との間の色相変化を用いて信頼度を評価していたが、これを、出力信号の変化量を用いた信頼度の評価とすることも可能である。詳しくは、信号値の推定がうまく機能するには、推定に利用される通常画素と位相差検出画素とが同じ色であることが望ましい。すなわち、ＲＧＢの３出力の変化量が少ないことが望ましいので、隣接する通常画素と位相差検出画素の各フォトダイオードの出力信号の値を直接比較することによって、信頼度を算出することが可能となる。

この場合、上述した式（３）に替えて、以下の式（７）により信頼度が求められる。

P1＝|Ga−Gb|＋|Ra−Rb| ・・・（7a）
P2＝|Gc−Gd|＋|Rc−Rd| ・・・（7b）

上記の計算式も上述した式（３）と同様に、信号値の変化量が小さいほど信頼度は小さい値となる。

以上で説明したように、本発明に記載の撮像装置及び信号処理方法によれば、通常画素と比べて小さい光電変換層を有する位相差検出画素と、通常画素と比べて大きな光電変換層を有する位相差検出画素のそれぞれの出力信号に基づいて位相差情報の生成に必要な右目信号と左目信号を算出することとした。これにより、生成した出力信号を無駄なく利用することが可能となる。さらに、信頼度に基づく重み付けを行うことで、高精度に位相差情報を生成することが可能となる。

１００ 撮像装置、１１０ 撮影光学系、１２０ 撮像素子、１２１ 通常画素、１２２ 位相差検出画素、１２２ｂ 第１の位相差検出画素、１２２ｃ 第２の位相差検出画素、１２２ｐ 位相差検出画素ペア、１２３ Ｂフォトダイオード、１２４ Ｇフォトダイオード、１２５ Ｒフォトダイオード、１２６ マイクロレンズ、１３０ 読出し制御部、１４０ 信号処理部、１４１ 焦点検出信号推定部、１４２ 重み付け係数算出部、１４３ 焦点検出信号算出部、１４４ 位相差情報算出部、１５０ 画像処理部、１６０ カメラＣＰＵ、１６１ ユーザインターフェース、１６２ 記録媒体インターフェース、１７０ 画像表示部、１８０ レンズ制御部

Claims (9)

1. 深さ方向に少なくとも３つの光電変換層を積層してなる垂直色分離構造を有し、各前記光電変換層からそれぞれ出力信号が出力される複数の画素が２次元方向に配列され、
   複数の前記画素は、前記各光電変換層から撮像用の出力信号をそれぞれ生成する通常画素と、前記通常画素に設けられた同一深さの前記光電変換層よりも水平方向に小さい面積を有する第１の光電変換層を有する第１の位相差検出画素と、前記通常画素に設けられた同一深さの前記光電変換層よりも水平方向に大きい面積を有する第２の光電変換層を有する第２の位相差検出画素とを含み、
   前記第１の位相差検出画素と前記第２の位相差検出画素とは互いに隣接し、
   隣接する前記第１の光電変換層と前記第２の光電変換層とを水平方向に足し合わせた合計面積が前記通常画素の同一深さに設けられた前記光電変換層の水平方向の面積の約２倍と同等である撮像素子と、
   前記第１の光電変換層から生成される第１の出力信号及び前記第２の光電変換層から生成される第２の出力信号に基づいて、前記第１の位相差検出画素の位置における位相差情報を生成する信号処理手段と、
   を有し、
   前記信号処理手段は重み付け係数算出手段と焦点検出信号算出手段とをさらに有し、
   前記重み付け係数算出手段は、前記第１の位相差検出画素と前記第２の位相差検出画素及びその周囲に位置する前記通常画素の出力信号に基づいて重み付け係数を算出し、
   前記焦点検出信号算出手段は、前記重み付け係数を用いて前記第１の出力信号及び前記第２の出力信号から得られる２つの推定右目信号値から前記第１の位相差検出画素の位置における右目信号を算出し、
   前記信号処理手段は、前記第１の出力信号を前記第１の位相差検出画素の位置における左目信号とし、前記左目信号と前記右目信号とから前記第１の位相差検出画素の位置における前記位相差情報を算出する
   ことを特徴とする撮像装置。
2. 前記信号処理手段は、
   前記第１の位相差検出画素及びその周囲に位置する前記通常画素のうち、少なくとも２つの前記画素の出力信号に基づいて、前記第１の位相差検出画素の位置における第１の推定信号値を算出し、
   前記第２の位相差検出画素及びその周囲に位置する前記通常画素のうち、少なくとも２つの前記画素の出力信号に基づいて、前記第２の位相差検出画素の位置における第２の推定信号値を算出し、
   さらに、前記第１の出力信号、前記第２の出力信号、前記第１の推定信号値及び前記第２の推定信号値に基づいて、２つの前記推定右目信号値を算出する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の推定信号値は、前記第１の位相差検出画素の出力信号と、その周囲に位置する少なくとも１つの前記通常画素の出力信号との色相の変化に基づいて算出され、
   前記第２の推定信号値は、前記第２の位相差検出画素の出力信号と、その周囲に位置する少なくとも１つの前記通常画素の出力信号との色相の変化に基づいて算出される
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記第１の推定信号値は、前記第１の位相差検出画素の周囲に位置する１つの前記通常画素の前記第１の光電変換層と同一深さに設けられた前記光電変換層の出力信号又は、２つ以上の前記通常画素の前記第１の光電変換層と同一深さに設けられた前記光電変換層の出力信号の平均値で置換され、
   前記第２の推定信号値は、前記第２の位相差検出画素の周囲に位置する１つの前記通常画素の前記第２の光電変換層と同一深さに設けられた前記光電変換層の出力信号又は、２つ以上の前記通常画素の前記第２の光電変換層と同一深さに設けられた前記光電変換層の出力信号の平均値で置換される
   ことを特徴とする請求項２に記載の撮像装置。
5. ２つの前記推定右目信号値はそれぞれ、前記第１の推定信号値と前記第１の出力信号の差分値及び前記第２の出力信号と前記第２の推定信号値の差分値である
   ことを特徴とする請求項２乃至４のいずれかに記載の撮像装置。
6. ２つの前記推定右目信号値はそれぞれ、前記第１の位相差検出画素及び前記第２の位相差検出画素の位置における画像用出力信号の補間値として利用される
   ことを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
7. 深さ方向に少なくとも３つの光電変換層を積層してなる垂直色分離構造を有し、前記各光電変換層からそれぞれ出力信号が出力される複数の画素が２次元方向に配列され、
   複数の前記画素は、前記各光電変換層から撮像用の出力信号をそれぞれ生成する通常画素と、前記通常画素に設けられた同一深さの前記光電変換層よりも水平方向に小さい面積を有する第１の光電変換層を有する第１の位相差検出画素と、前記通常画素に設けられた同一深さの前記光電変換層よりも水平方向に大きい面積を有する第２の光電変換層を有する第２の位相差検出画素と、を含み、
   前記第１の位相差検出画素と前記第２の位相差検出画素とは互いに隣接し、隣接する前記第１の光電変換層と前記第２の光電変換層とを水平方向に足し合わせた合計面積が前記通常画素の同一深さに設けられた前記光電変換層の水平方向の面積の約２倍と同等である撮像素子と、
   前記第１の光電変換層及び前記第２の光電変換層からそれぞれ生成される第１の出力信号及び第２の出力信号に基づいて、前記第１の位相差検出画素の位置における位相差情報を生成する信号処理手段と、
   を有し、
   前記信号処理手段において、
   前記第１の位相差検出画素の位置における第１の推定信号値及び前記第２の位相差検出画素の位置における第２の推定信号値を算出するステップと、
   前記第１の推定信号値及び前記第２の推定信号値から２つの推定右目信号値をそれぞれ算出するステップと、
   前記第１の位相差検出画素と前記第２の位相差検出画素及びその周囲に位置する前記通常画素の出力信号に基づいて重み付け係数を算出するステップと、
   前記重み付け係数と２つの前記推定右目信号値とから、前記第１の位相差検出画素の位置における右目信号を算出するステップと、
   前記第１の位相差検出画素の位置における左目信号を前記第１の出力信号とし、前記左目信号と前記右目信号とから前記第１の位相差検出画素の位置における前記位相差情報を算出するステップと、を有する
   こと特徴とする信号処理方法。
8. 前記左目信号が前記右目信号であり、前記右目信号が前記左目信号であり、２つの前記推定右目信号が２つの前記推定左目信号である
   ことを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
9. 前記左目信号が前記右目信号であり、前記右目信号が前記左目信号であり、２つの前記推定右目信号が２つの前記推定左目信号である
   ことを特徴とする請求項７に記載の信号処理方法。

Images