JP6860390B2

JP6860390B2 - 撮像素子及びその制御方法、撮像装置、焦点検出装置及び方法

Info

Publication number: JP6860390B2
Application number: JP2017056463A
Authority: JP
Inventors: 隆史岸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-03-22
Filing date: 2017-03-22
Publication date: 2021-04-14
Anticipated expiration: 2037-03-22
Also published as: JP2018160779A

Description

本発明は、撮像素子及びその制御方法、撮像装置、焦点検出装置及び方法に関し、特に、撮像信号と焦点検出用の信号を同時に取得可能な撮像素子及びその制御方法、撮像装置、焦点検出装置及び方法に関する。

従来、撮像素子中の画素が撮影レンズの瞳面の異なる領域（瞳領域）を通過した光を受光する構成によって、撮像と同時に位相差方式の焦点検出を行う技術がある。特許文献１においては、各画素に１つのマイクロレンズが構成され、各マイクロレンズが集光する光を受光するフォトダイオード（ＰＤ）を複数に分割することによって、各々のＰＤが撮影レンズの異なる瞳領域を通過した光を受光するように構成されている。そして、各々のＰＤから出力された信号の位相差、すなわち像ずれ量を検出し、得られた像ずれ量からピントのずれ量を計算して、焦点調節を行っている。また、各マイクロレンズに対応する各々のＰＤから得られた信号を加算することで、鑑賞用の撮影信号を生成している。

また、近年では撮像素子として、光電変換膜を用いた撮像素子が注目されている。特許文献２においては、光電変換膜を用い、光電変換膜の電極構成を分離することによって、位相差検出を実現するための技術が開示されている。

特開２００１−０８３４０７号公報特開２０１６−３３９８１号公報

光電変換膜は積層型であるため、マイクロレンズに近接して配置することで受光効率を上げて、ノイズの少ない映像信号を取得することが可能である。ところが、位相差検出の検知精度を考えると、受光部である光電変換膜をマイクロレンズの焦点面に近づけた方が検知精度としては高くなる。このように、受光効率を上げてノイズの少ない信号を取得すべき撮像信号と、検知精度を向上すべき位相差検出用の信号（以下、「位相差信号」と呼ぶ。）とでは、受光面を配置すべきマイクロレンズからの最適な距離が異なる。

また、撮像信号と位相差信号とを共に取得可能な位相差画素としては、信号読み出しの速度を考えると、ＰＤを２分割程度にした構成が望ましい。一方、位相差信号としては、位相差画素の数が増えれば増えるほど、撮影レンズの射出瞳における情報をより多くの別の情報として取り出せるため、検知精度が高くなる。また、射出瞳の端部領域を通過した光だけを利用して位相差検出を行えば、ピントのずれ量に応じた像ずれ量を大きくし、特にピントが大きくずれている状態の検出精度を上げることができる。このように、射出瞳の一部の光を利用する方が検出精度を上げることのできる位相差検出と、全ての光を利用する方がノイズを少なくすることができる撮影信号とでは、最適な画素の構造が異なる。

本発明は上記問題点を鑑みてなされたものであり、撮像信号と位相差信号を高速に読み出しつつ、撮像信号としての受光効率を上げたまま、位相差信号の精度を向上することを目的とする。

上記目的を達成するために、本発明の撮像素子は、撮像光学系を介して入射する光を受光して光電変換する複数の画素を有する画素部と、前記画素部から、前記光電変換して得られた信号を読み出す読み出し手段と、を有し、前記画素部を構成する少なくとも一部の画素が、それぞれ、１つのマイクロレンズと、前記マイクロレンズを通過した光を光電変換する第１の光電変換層と、前記撮像光学系の射出瞳の異なる複数の第１の領域にそれぞれ対応する前記第１の光電変換層の複数の領域で光電変換して得られた信号をそれぞれ出力する複数の第１の電極と、前記第１の光電変換層及び前記第１の電極を通過した光を光電変換する第２の光電変換層と、前記撮像光学系の射出瞳の異なる複数の第２の領域にそれぞれ対応する前記第２の光電変換層の複数の領域で光電変換して得られた信号をそれぞれ出力する複数の第２の電極と、を有し、前記読み出し手段は、前記第１の電極及び前記第２の電極の少なくともいずれか一方から前記信号を読み出し、前記第２の電極の数を、前記第１の電極の数よりも多くしたことを特徴とする。

本発明によれば、撮像信号と位相差信号を高速に読み出しつつ、撮像信号としての受光効率を上げたまま、位相差信号の精度を向上することができる。

本発明の撮像素子の概略を示す図。第１の実施形態における撮像素子の画素の断面の構造を模式的に示す図。第１の実施形態における物体像を結像する際の光学的な関係を模式的に示す図。第１の実装形態における信号の読み出しパターンを示すタイミングチャート。第１の実施形態における撮像装置の概略構成を示す図。第２の実施形態における撮像素子の画素の断面の構造を模式的に示す図。第２の実装形態における信号の読み出しパターンを示すタイミングチャート。第３の実施形態における撮像素子の画素の断面の構造を模式的に示す図。第３の実装形態における信号の読み出しパターンを示すタイミングチャート。変形例における撮像素子の画素の断面の構造を模式的に示す図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
以下、本発明の第１の実施形態について説明する。図１は第１の実施形態における撮像素子１００の概略を示す図である。図１において、撮像素子１００は、行列状に配置された複数の画素を有する画素アレイ１０１（画素部）と、画素アレイ１０１の画素行を選択する垂直選択回路１０２と、画素アレイ１０１の画素列を選択する水平選択回路１０４を含む。また、画素アレイ１０１の画素のうち、垂直選択回路１０２によって選択された行の画素の信号を読み出す読み出し回路１０３と、各回路の動作モードなどを外部から決定するためのシリアルインターフェイス（ＳＩ）１０５を含む。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。なお、撮像素子１００は、図示された構成要素以外にも、例えば、垂直選択回路１０２、水平選択回路１０４、信号読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータ或いは制御回路等を備える。

上述した構成を有する撮像素子１００において、垂直選択回路１０２は、画素アレイ１０１の画素の複数の行のうち、１行または特定の複数の行を順に選択し、読み出し回路１０３に読み出す。水平選択回路１０４は、読み出し回路１０３に読み出された複数の画素信号を列毎に順に選択して、撮像素子１００の外部に出力する。

図２は、第１の実施形態における画素アレイ１０１を構成する１画素の断面の構造を模式的に示す図である。マイクロレンズ２０１は、撮影レンズからの光を集光する。カラーフィルタ２０２は、画素によって異なる分光透過率を有し、カラーフィルタ２０２を介して入射する光を光電変換して得た光信号によって、カラー画像を得ることができる。第１の上部電極２０３は、ＩＴＯ（酸化インジウム・スズ）膜等で形成された透明な電極である。第１の光電変換層２０４は、ＧａＡｓなどの化合物半導体で形成してもよいし、有機半導体で形成してもよい。第１の下部電極２０５ａ，２０５ｂは、第１の上部電極２０３と同じく透明な電極である。

第１の光電変換層２０４に入射した光は光電変換されて正孔と電子を発生する。このとき、第１の上部電極２０３と第１の下部電極２０５ａ，２０５ｂに印加した電圧により形成される電界によって、正孔と電子が分離される。例えば、信号として電子を扱う場合、第１の下部電極２０５ａ，２０５ｂの方を高電位にすればよい。ここで、第１の下部電極２０５ａ，２０５ｂの電極が分離されているため、第１の光電変換層２０４で発生した信号は、第１の下部電極２０５ａの上層に入射し光電変換された信号と、第１の下部電極２０５ｂの上層に入射し光電変換された信号とに分離される。このように、第１の光電変換層２０４で発生した信号を別の信号として取り扱う事が可能となる。

層間膜２０６は、断面の上下方向に配置された信号線や電極等を電気的に分離する。第２の上部電極２０７ａ，２０７ｂ、第２の光電変換層２０８ａ，２０８ｂ、第２の下部電極２０９ａ，２０９ｂは、それぞれ第１の上部電極２０３、第１の光電変換層２０４、第１の下部電極２０５ａ，２０５ｂと同様の役割を有する。第１の光電変換層２０４を通過した光の一部が第２の光電変換層２０８ａ，２０８ｂに入射することで、第２の光電変換層２０８ａ，２０８ｂでも光電変換を行う。

第１の下部電極２０５ａ，２０５ｂ及び第２の下部電極２０９ａ，２０９ｂの上層の第１の光電変換層２０４及び第２の光電変換層２０８ａ，２０８ｂで発生した信号は、取り出し電極２１０及び半導体層２１１を介して取り出される。半導体層２１１は半導体基板２１２に形成される。なお、半導体基板２１２には、図１に示す各回路が形成されている。また、各画素には、上述した構成の他にも、マイクロレンズ２０１、カラーフィルタ２０２、第１の上部電極２０３、第１の光電変換層２０４等の間に、保護膜や平坦化膜などが形成されている。

図３は、物体３００を撮像素子１００に結像する際の光学的な関係を模式的に示す図である。図３を用いて、第１の下部電極２０５ａ，２０５ｂの上層の第１の光電変換層２０４と、第２の下部電極２０９ａ，２０９ｂの上層の第２の光電変換層２０８ａ，２０８ｂと、撮影レンズの射出瞳領域との関係について説明する。

撮影レンズの射出瞳３０１のうち、瞳領域３０２ａを通過した光は、マイクロレンズ２０１を介して第１の下部電極２０５ａの上層の第１の光電変換層２０４に入射する。つまり第１の下部電極２０５ａから取り出す信号は、主に瞳領域３０２ａを通過した光による信号となる。同様に、射出瞳３０１のうち、瞳領域３０２ｂを通過した光は、マイクロレンズ２０１を介して第１の下部電極２０５ｂの上層の第１の光電変換層２０４に入射する。つまり第１の下部電極２０５ｂから取り出す信号は、主に瞳領域３０２ｂを通過した光による信号となる。

また、射出瞳３０１のうち、瞳領域３０２ａを通過した光による像と瞳領域３０２ｂを通過した光による像は、撮影レンズのピントに応じて像のずれ量である位相差が発生する。位相差によるＡＦ（オートフォーカス）システムでは、第１の下部電極２０５ａ，２０５ｂからそれぞれ独立に取り出した信号を、位相差信号として比較することで、像ずれ量を算出し、物体３００に対するピントのずれ量を検出することができる。また、第１の下部電極２０５ａ，２０５ｂからそれぞれ独立に取り出した信号を合算すると、第１の光電変換層２０４全体で発生した信号となる。第１の光電変換層２０４全体で発生した信号は、射出瞳３０１を通過した光による撮像信号となる。

一方、射出瞳３０１のうち、瞳領域３０３ａを通過した光はマイクロレンズ２０１を介して、第２の下部電極２０９ａの上層の第２の光電変換層２０８ａにも入射する。つまり、第２の下部電極２０９ａから取り出す信号は、主に瞳領域３０３ａを通過した光による信号となる。同様に、射出瞳３０１のうち、瞳領域３０３ｂを通過した光はマイクロレンズ２０１を介して、第２の下部電極２０９ｂの上層の第２の光電変換層２０８ｂにも入射する。つまり、第２の下部電極２０９ｂから取り出す信号は、主に瞳領域３０３ｂを通過した光による信号となる。

ここで、射出瞳３０１の瞳領域３０３ａ，３０３ｂを通過した光による像は、合算しても、射出瞳３０１の中心部分を通過する光による像を含まないため、撮像信号としては適切ではない。また、それぞれの第２の光電変換層の面積は第１の光電変換層の面積と比較して小さいために、受光感度としては低くなる。しかしながら、瞳領域３０３ａ，３０３ｂは射出瞳３０１における距離が離れている（視差が大きい）ため、瞳領域３０３ａ，３０３ｂを通過した光による像は、物体のピントがずれていた際に、像ずれ量である位相差が大きくなる。つまり位相差の検知精度が向上する。特に、瞳領域３０３ａ，３０３ｂを通過した光による信号は、射出瞳３０１を通過した光の一部に対応する信号であるため、ピントが大きくずれているときでも像のコントラストが高く、位相差を精度よく検出することができる。また、撮影レンズのＦ値が小さくなればなるほど、より効果的に精度を向上することが可能である。

以上説明したように、第１の実施形態における画素は、第１の光電変換層２０４では撮像信号と位相差信号の両方の信号を取得することが可能であり、また、第２の光電変換層２０８ａ，２０８ｂでは、位相差信号を取得することが可能である。

図４は、第１の実施形態において、図２で示す構成を有する画素から、撮像信号及び位相差信号を読み出すタイミングを模式的に示すタイミングチャートである。各電極から発生した信号を個別に読み出す場合、順次読み出し動作を行うため、読み出しにかかる時間が長くなってしまう。第１の実施形態では、１フレーム期間に光電変換層で発生する信号を各電極から読み出し可能な数を２個として説明する。

まず、第１フレームでは、撮影レンズのピントは、撮影者の意図した物体から大きくずれている場合、つまり位相差が大きい状態である場合が多い。そこで、第１フレームでは、位相差が大きい状態での検出精度を上げるため、第２の下部電極２０９ａ，２０９ｂから第２の光電変換層２０８ａ，２０８ｂの信号を取り出し、その信号を用いて位相差検出を行う。位相差検出を行った後には、その位相差に応じて撮影レンズに含まれるフォーカスレンズを駆動することで、合焦状態に近くなる。次の第２フレームでは、第１の下部電極２０５ａ，２０５ｂから信号を取り出す。第１の下部電極２０５ａ，２０５ｂから取り出した信号は、上述したように、合算することで記録または表示用の撮像信号を得ることができる。なお、合算する前の信号を用いて位相差検出を行うことができるが、ここでは位相差検出を行わなくてもよい。

次に、第３フレームでは、再度、第２の下部電極２０９ａ，２０９ｂから第２の光電変換層２０８ａ，２０８ｂの信号を取り出し、その信号を用いて位相差検出を行う。これにより、合焦状態に近くなっているか、つまり位相差が、予め決められた閾値よりも小さくなっているか（合焦状態が予め決められた閾値より高いか）どうかを確認する。位相差が十分に小さい場合、第４フレーム以降では、第１の光電変換層２０４の撮像信号を取り出しながら、位相差を検出し、ピントがずれていないか（合焦状態が予め決められた閾値より高いか）を監視する。

ここで一例として、第７フレームで、第１の下部電極２０５ａ，２０５ｂからの位相差信号からピントが大きくずれた、つまり位相差が変化し、予め決められた閾値以上となった（合焦状態が予め決められた閾値以下となった）ことを検知したものとする。この場合、次の第８フレームで、再度、第２の下部電極２０９ａ，２０９ｂから第２の光電変換層２０８ａ，２０８ｂの信号を取り出して、位相差検出を行い、検出した位相差に応じてフォーカスレンズを駆動する。第９フレーム以降は、第２フレームから第７フレームについて上述した制御を行う。このように、ピントが大きくずれたことを検知した場合に、精度よく位相差検出を行うことが可能となり、再度、撮影レンズのフォーカスレンズを最適な位置に駆動することができる。

上記の通り第１の実施形態によれば、１つの画素の中に光電変換層を２層構成し、１層目はマイクロレンズに近い面に構成して、位相差信号と撮像信号を取得する。そして、２層目は、撮影レンズの射出瞳の端部領域を通過した光が入射するように配置して位相差信号を取得する。このように構成することにより、１層目から得られる位相差信号と２層目から得られる位相差信号とを選択的に用いて、精度の高い位相差検出を行うことが可能となる。

また、時系列に１層目と２層目から信号を読み出すことによって、読み出しに係る時間を増やすことなく撮像信号と精度の高い位相差信号を得ることができる。特に、物体のピントのずれ量である位相差信号に応じて、１層目と２層目からの位相差信号による位相差検出を切り替えることで、撮像信号を得ながら、ピントが大きくずれたときのみ精度をあげた位相差検出を行うことができる。

なお、高精度で位相差を検出した後、確認のために第３フレームにおいて２層目から取り出した位相差信号に基づき位相差検出を行った。ただし、第３フレームでも合焦状態となっていないときは、再度１層目で位相差信号と撮像信号を取得した後、２層目で位相差信号を検出してもよく、ピントが高精度に合うまでは、第２フレームと第３フレームの動作を繰り返してもよい。ただし、記録または表示用に使用するため、撮像信号は、２フレーム以上の間隔をあけず、少なくとも１フレームおきに読み出すことが好ましい。

次に、図５に基づいて、第１の実施形態の撮像素子１００を、撮像装置の一例としてデジタルカメラに適用した場合について詳述する。

図５において、撮影レンズ５０１（撮像光学系）は、被写体の光学像を撮像素子１００に結像すると共に、レンズ駆動回路５０２の制御により、ズーム制御、フォーカス制御、絞り制御などが行われる。メカニカルシャッタ５０３は、シャッタ駆動回路５０４によって制御される。撮像素子１００は、撮影レンズ５０１で結像された被写体像を光電変換して、上述したように、撮像信号及び位相差信号を出力する。撮像信号処理回路５０６は、撮像素子１００より出力される撮像信号に、各種の補正やデータ圧縮などの処理を行う。タイミング発生部５０７は、撮像素子１００及び撮像信号処理回路５０６に、各種タイミング信号を出力する。制御回路５０９は、各種演算を行い、撮像装置全体を制御する。また、制御回路５０９は、撮像素子１００から得られた位相差信号を用いて位相差検出を行い、得られた像ずれ量に基づいてレンズ駆動量を算出し、レンズ駆動回路５０２を介してフォーカスレンズの駆動を行う。なお、位相差検出は、撮像信号処理回路５０６で行っても良い。

メモリ５０８は、画像データを一時的に記憶する。また、記録媒体制御インターフェース（Ｉ／Ｆ）部５１０を介して、記録媒体５１１に記録または読み出しを行う。記録媒体５１１は、画像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体である。表示部５１２は、各種情報や撮影画像を表示する。

次に、上述した構成を有するデジタルカメラにおける撮影時の動作について説明する。不図示のメイン電源がオンされると、コントロール系の電源がオンし、更に撮像信号処理回路５０６を含む撮像系回路の電源がオンされる。

その後、静止画撮影においては、不図示のレリーズボタンが押されると、撮像素子１００から取得した位相差信号を元に撮像信号処理回路５０６または制御回路５０９で位相差検出を行う。制御回路５０９は、得られた位相差に基づいてフォーカスレンズの駆動量を算出する。その後、レンズ駆動回路５０２により撮影レンズ５０１のフォーカスレンズを駆動して、再度、撮像素子１００から位相差信号を取得して合焦したか否かを判断し、合焦していないと判断した時は、再び撮影レンズ５０１を駆動して、位相差検出を行う。合焦が確認された後に撮影動作が開始する。動画など複数フレームを連続で撮影するモードにおいては、図４で示すような位相差検出を行うことで、撮影動作をしながら、位相差検出とレンズ駆動を行うことが可能となる。

撮影動作が終了すると、撮像素子１００から出力された撮像信号は撮像信号処理回路５０６で画像処理され、制御回路５０９によりメモリ５０８に書き込まれる。撮像信号処理回路５０６では、並べ替え処理、加算処理やその選択処理が行われる。メモリ５０８に蓄積されたデータは、制御回路５０９の制御により記録媒体制御Ｉ／Ｆ部５１０を介して、半導体メモリ等の着脱可能な記録媒体５１１に記録される。また、不図示の外部Ｉ／Ｆ部を介して直接コンピュータ等に入力して画像の加工を行ってもよい。

なお、上述した例では、１フレームの間に電極から読み出すことのできる信号の数を２とし、１層目または２層目からの信号を選択的に読み出す場合について説明したが、本発明はこれに限られるものではない。高速に読み出し及び信号処理を行うことのできる構成を有する場合は、各フレーム期間にすべての電極から信号を読み出し、読み出した信号のいずれかを選択的に用いて位相差を検出してもよい。

また、第１の実施形態では、２層目を撮影レンズの射出瞳の最端部部を通過した光を受光する構成としたが、２層目から得られる信号が、射出瞳の中央部を含まない端部領域を通過した光に対応するように構成してもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図６は第２の実施形態の画素アレイ１０１を構成する１画素の断面の構造を模式的に示す図である。なお、図２と同じ構成については、図２と同じ参照番号を付して説明を省略する。

図６に示すように、第２の実施形態では、第２の上部電極６０１、第２の光電変換層６０２、第２の下部電極６０３ａ，６０３ｂが画素の中央の部分領域に配置されている。また、図２に示す構成と異なり、第２の上部電極６０１と第２の光電変換層６０２が分離されておらず、第１の下部電極２０５ａ，２０５ｂと同様に、第２の下部電極６０３ａ，６０３ｂが分離されている。そのため、第２の光電変換層６０２においても、第２の下部電極６０３ａの上層に入射し光電変換された信号と、第２の下部電極６０３ｂの上層に入射し光電変換された信号とに分離されて、別の信号として取り扱うことが可能となる。

６０４は撮影レンズの射出瞳を通過した光が１画素に入る様子を模式的に示し、射出瞳を通過した光６０４は、マイクロレンズ２０１によって、第２の光電変換層６０２の近傍で最も集光される。マイクロレンズ２０１の焦点面が光電変換層からずれていると、ピントが合った時の位相差にずれが生じてしまうため、ピントが合っているときの精度としては、第２の光電変換層６０２の近傍に焦点面があることが最適である。一方、撮像用途として使用する第１の光電変換層２０４には、光が入射していればよく、マイクロレンズに近いことが最もノイズが少なく、受光効率がよい。

そのため、マイクロレンズ２０１の焦点面を含むように、位相検出用の位相差信号を得るための第２の光電変換層６０２を配置し、マイクロレンズ２０１に近い高さに、撮像信号と位相差信号を得るための第１の光電変換層２０４を配置している。

図７は、図６に示す構成を有する画素から、撮像信号および位相差信号を読み出すタイミングを模式的に示すタイミングチャートである。

まず、第１フレームから第５フレームまでは、記録または表示用の撮像信号を得るため、第１の下部電極２０５ａ，２０５ｂから信号を取り出す。第１の下部電極２０５ａ，２０５ｂから取り出した信号は、合算することで記録または表示用の撮像信号を得ることができると共に、合算する前の信号を用いて位相差検出をすることも可能である。そして、検出した位相差に基づいて撮影レンズを駆動し、徐々にピントを合わせていく。第５フレームである程度ピントが合う、つまり位相差が予め決められた閾値よりも小さくなると（焦点状態が予め決められた閾値より高くなると）、次の第６フレームでは、第２の下部電極６０３ａ，６０３ｂから位相差信号を取り出す。そして、取り出した位相差信号を用いて位相差を検出する。前述した通り、第２の下部電極６０３ａ，６０３ｂから取り出す信号を発生する第２の光電変換層６０２は、マイクロレンズ２０１の焦点面を含むため、精度の高い位相差検出が可能となる。

次の第７フレームでは、第１の下部電極２０５ａ，２０５ｂから信号を取り出し、撮像信号を生成する。なお、撮像信号を生成する前の信号を用いて位相差検出を行うことができるが、ここでは位相差検出を行わなくてもよい。次に、第８フレームでは、再度、第２の下部電極６０３ａ，６０３ｂから取り出した位相差信号を用いて位相差検出を行う。そして、ピントがより高精度にあっているか、すなわち、位相差が、予め決められた閾値よりも小さい状態であるか（合焦状態が予め決められた閾値より高いか）どうかを確認をする。位相差が十分に小さい場合、第９フレーム以降では、第１の下部電極２０５ａ，２０５ｂから取り出した信号を用いて撮像信号を生成しながら、位相差を検出し、ピントがずれていないか（合焦状態が予め決められた閾値より高いか）を監視する。

ここで一例として、第１１フレームで、第１の下部電極２０５ａ，２０５ｂからの位相差信号からピントが大きくずれた、つまり位相差が変化し、予め決められた閾値以上となった（合焦状態が予め決められた閾値以下となった）ことを検出したものとする。この場合、次の第１２フレーム以降のフレームにおいて、第６フレーム以降で行った制御を行い、高精度に位相差検出を行う。

なお、高精度で位相差を検出した後、確認のために第８フレームにおいて第２の下部電極６０３ａ，６０３ｂから取り出した位相差信号に基づき位相差検出を行った。ただし、第８フレームでも合焦状態となっていないときは、再度第１の下部電極２０５ａ，２０５ｂから位相差信号と撮像信号を取得した後、第２の下部電極６０３ａ，６０３ｂから位相差信号を検出してもよい。すなわち、ピントが高精度に合うまでは、第７フレームと第８フレームの動作を繰り返してもよい。ただし、記録または表示用に使用するため、撮像信号は、２フレーム以上の間隔をあけず、少なくとも１フレームおきに読み出すことが好ましい。

上記の通り第２の実施形態によれば、１つの画素の中に光電変換層を２層構成し、１層目はマイクロレンズに近い面に構成して、位相差信号と撮像信号を取得する。そして、２層目は、マイクロレンズの焦点面を含むように配置して位相差信号を取得する。このように構成することによって、このように構成することにより、１層目から得られる位相差信号と２層目から得られる位相差信号とを選択的に用いて、精度の高い位相差検出を行うことが可能となる。

また、時系列に１層目と２層目から信号を読み出すことによって、読み出しに係る時間を増やすことなく撮像信号と精度の高い位相差信号を得ることができる。特に、物体のピントのずれ量である位相差信号に応じて、１層目と２層目からの位相差信号による位相差検出を切り替えることで、撮像信号を得ながら、ピントが合ってきたときに更に精度をあげた位相差検出を行うことが可能となる。

また、第２の光電変換層６０２を第２の下部電極６０３ａ，６０３ｂに対応させて分割して構成しても良い。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図８は第３の実施形態の画素アレイ１０１を構成する１画素の断面の構造を模式的に示す図である。なお、図２と同じ構成については、図２と同じ参照番号を付して説明を省略する。

図８に示すように、第３の実施形態では、第２の上部電極８０１、第２の光電変換層８０２の下に、４つの第２の下部電極８０３ａ，８０３ｂ，８０３ｃ，８０３ｄが構成されている。第３の実施形態においても、第２の実施形態と同様に、射出瞳を通過した光６０４はマイクロレンズ２０１によって、第２の光電変換層８０２の近傍で最も集光される。

図９は、図８に示す構成を有する画素から、撮像信号および位相差信号を読み出すタイミングを示すタイミングチャートである。

まず、第１フレームは、位相差が大きい状態であるものとする。そこで、位相差が大きい状態での検出精度を上げるため、４つの第２の下部電極８０３ａ，８０３ｂ，８０３ｃ，８０３ｄのうち、両端にある２つの第２の下部電極８０３ａ、８０３ｄから取り出した位相差信号を用いて位相差検出を行う。位相差検出を行った後には、その位相差に応じて撮影レンズに含まれるフォーカスレンズを駆動することで、より合焦状態に近くなる。次の第２フレームでは、第１の下部電極２０５ａ，２０５ｂから信号を取り出す。第１の下部電極２０５ａ，２０５ｂから取り出した信号は、上述したように、合算することで記録または表示用の撮像信号を得ることができる。なお、合算する前の信号を用いて位相差検出を行うことができるが、ここでは位相差検出を行わなくてもよい。

次に、第３フレームでは、再度、第２の下部電極８０３ａ、８０３ｄから取り出した信号を用いて位相差検出を行う。これにより、合焦状態に近くなっているか、つまり位相差が予め決められた閾値よりも小さくなっているか（合焦状態が予め決められた第１の閾値より高いか）を確認する。位相差が閾値よりも小さい場合、第４フレーム以降では、第１の下部電極２０５ａ，２０５ｂから取り出した信号を合算して撮像信号を取り出しながら位相差検出を行い、ピントがずれていないか（合焦状態が第１の閾値より高いか）を監視する。さらに、合焦状態に近くなっているか、すなわち、位相差がより小さい閾値よりも小さくなっているか（焦点状態が予め決められた第２の閾値より高いか）を確認する。位相差がより小さい閾値よりも小さい（焦点状態が第２の閾値より高い）場合、第６フレームで高精度な検知に遷移する。

ある程度ピントがあった第６フレームでは、４つの第２の下部電極８０３ａ，８０３ｂ，８０３ｃ，８０３ｄのうち、中央にある第２の下部電極８０３ｂ，８０３ｃから取り出した信号から位相差を検出する。前述した通り、第２の下部電極８０３ｂ，８０３ｃから取り出す信号を発生する光電変換層８０２は、マイクロレンズ２０１の焦点面を含むため、制度の高い位相差検出が可能である。

次の第７フレームでは、第１の下部電極２０５ａ，２０５ｂから信号を取り出し、撮像信号を生成する。なお、撮像信号を生成する前の信号を用いて位相差検出を行うことができるが、ここでは位相差検出を行わなくてもよい。次に、第８フレームでは、再度、第２の下部電極８０３ｂ，８０３ｃから取り出した位相差信号に基づき、位相差検出を行う。そして、ピントがより高精度にあっているか、すなわち、位相差が予め決められたさらに小さい閾値よりも小さい状態であるか（合焦状態が予め決められた第３の閾値よりも高いか）どうかを確認をする。位相差が十分に小さい場合、第９フレーム以降では、第１の下部電極２０５ａ，２０５ｂから取り出した信号を用いて撮像信号を生成しながら、位相差を検出し、ピントがずれていないか（合焦状態が第３の閾値より高いか）を検知する。

ここで一例として、第１１フレームで、第１の下部電極２０５ａ，２０５ｂからの位相差信号からピントがずれた、つまり位相差が変化し、予め決められたさらに小さい閾値以上となった（合焦状態が第３の閾値以下となった）ことを検出したものとする。この場合、第１２フレーム以降のフレームにおいて、第６フレーム以降で行った制御を行い、高精度に位相差検出を行う。

上記の通り第３の実施形態によれば、１つの画素の中に光電変換層を２層構成し、１層目では位相差信号と撮像信号を取得し、マイクロレンズの集光面に２層目を配置することによって、精度の高い位相差検出を行うことが可能となる。さらに、２層目ではさらに多くの異なる射出瞳を通過した光による位相差信号を取り出せるように、下部電極を４つ有し、そのうちの２つをピント状態に応じて使い分けることによって、高速化を図りつつ、高精度に位相差信号を読み出すことが可能となる。

また、時系列に１層目と２層目から信号を読み出すことによって、読み出しに係る時間を増やすことなく撮像信号と精度の高い位相差信号を得ることができる。

また、第２の光電変換層８０２を第２の下部電極８０３ａ，８０３ｂ，８０３ｃ，８０３ｄに対応させて分割して構成しても良い。さらに、第２の下部電極８０３ｂ，８０３ｃをより中央部分に、そして第２の下部電極８０３ａ，８０３ｄをより端部よりに配置するように分離して構成してもよい。

＜変形例＞
図１０は、本発明の第３の実施形態の変形例における画素アレイ１０１を構成する１画素の断面の構造を模式的に示す図である。図８に示す構造とは、半導体基板２１２にフォトダイオード領域１００３ａ，１００３ｂ，１００３ｃ，１００３ｄを形成して、位相差信号を得るところが異なる。上記の構成によっても、フォトダイオード領域をマイクロレンズ２０１の焦点面の近傍に配置することで、前述のように高速化を図りつつ、高精度に位相差信号を読み出すことが可能となる。また、この構成は図２、図６の構成についても適用可能であり、第２の光電変換層がフォトダイオード領域で形成されていればよい。

なお、不図示ではあるが、各フォトダイオード領域で光電変換して得られた信号は、それぞれ電極を介して読み出される。

上述した構成では、トランジスタなどを形成する際にフォトダイオードを形成すればよく、第２の光電変換層を形成するための工程が不要となるため、製造工程を減らすことで、低価格で撮像素子を提供することが可能となる。

なお、第１乃至第３の実施形態及び変形例では、画素アレイ１０１を構成するすべての画素が光電変換層を２層有する場合について説明したが、本発明はこれに限られるものではなく、少なくとも一部の画素が、光電変換層を２層有する構成であればよい。また、第１の光電変換層と第２の光電変換層の視差方向（位相差を取得可能な方向）は同一でなくてもよいし、それぞれにおける光電変換層の数を異ならせるようにしてもよい。一例として、第１の光電変換層は水平方向に視差を有するように電極を構成し、第２の光電変換層は垂直方向に視差を有するように電極を構成してもよい。

１００：撮像素子、１０１：画素アレイ、１０２：垂直選択回路、１０３：読み出し回路、１０４：水平選択回路、１０５：シリアルインターフェイス、２０１：マイクロレンズ、２０３：第１の上部電極、２０４：第１の光電変換層、２０５ａ，２０５ｂ：第１の下部電極、２０７ａ，２０７ｂ，６０１，８０１：第２の上部電極、２０８ａ，２０８ｂ，６０２，８０２：第２の光電変換層、２０９ａ，２０９ｂ，６０３ａ，６０３ｂ，８０３ａ，８０３ｂ，８０３ｃ，８０３ｄ：第２の下部電極、２１０：取り出し電極、２１１：半導体層、３０１：射出瞳、３０２ａ，３０２ｂ：瞳領域、３０３ａ，３０３ｂ：瞳領域、５０１：撮影レンズ、５０２：レンズ駆動回路、５０６：撮像信号処理回路、５０９：制御回路、１００３ａ，１００３ｂ，１００３ｃ，１００３ｄ：フォトダイオード領域

Claims

撮像光学系を介して入射する光を受光して光電変換する複数の画素を有する画素部と、
前記画素部から、前記光電変換して得られた信号を読み出す読み出し手段と、を有し、
前記画素部を構成する少なくとも一部の画素が、それぞれ、
１つのマイクロレンズと、
前記マイクロレンズを通過した光を光電変換する第１の光電変換層と、
前記撮像光学系の射出瞳の異なる複数の第１の領域にそれぞれ対応する前記第１の光電変換層の複数の領域で光電変換して得られた信号をそれぞれ出力する複数の第１の電極と、
前記第１の光電変換層及び前記第１の電極を通過した光を光電変換する第２の光電変換層と、
前記撮像光学系の射出瞳の異なる複数の第２の領域にそれぞれ対応する前記第２の光電変換層の複数の領域で光電変換して得られた信号をそれぞれ出力する複数の第２の電極と、を有し、
前記読み出し手段は、前記第１の電極及び前記第２の電極の少なくともいずれか一方から前記信号を読み出し、
前記第２の電極の数を、前記第１の電極の数よりも多くしたことを特徴とする撮像素子。
前記第１の光電変換層は、化合物半導体または有機半導体で形成されていることを特徴とする請求項１に記載の撮像素子。
前記第２の光電変換層は、化合物半導体または有機半導体で形成されていることを特徴とする請求項１または２に記載の撮像素子。
前記第２の光電変換層は、フォトダイオードにより構成されていることを特徴とする請求項１または２に記載の撮像素子。
前記第２の光電変換層は、前記撮像光学系の射出瞳の異なる複数の第２の領域にそれぞれ対応する複数の領域に分割されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
前記第２の光電変換層の前記複数の領域は、前記撮像光学系の射出瞳の端部領域を通過して入射する光を受光するように配置されていることを特徴とする請求項５に記載の撮像素子。
前記第２の光電変換層は、前記マイクロレンズの焦点面を含む位置に配置されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
前記第２の光電変換層は、前記画素の中央の部分領域に構成されていることを特徴とする請求項７に記載の撮像素子。
請求項１乃至８のいずれか１項に記載の撮像素子と、
前記撮像素子の前記複数の第１の電極または前記複数の第２の電極から読み出された信号を選択的に用いて、焦点状態を検出する検出手段と、
前記検出手段により検出された焦点状態に基づいて前記撮像光学系を制御して焦点調節を行う制御手段と、を有し、
前記検出手段は、前記検出された焦点状態に応じて、前記複数の第１の電極または前記複数の第２の電極のいずれかから読み出された信号を選択的に用いて、次の焦点状態の検出を行うことを特徴とする撮像装置。
請求項６に記載の撮像素子と、
前記撮像素子の前記複数の第１の電極または前記複数の第２の電極から読み出された信号を、選択的に用いて焦点状態を検出する検出手段と、
前記検出手段により検出された焦点状態に基づいて前記撮像光学系を制御して焦点調節を行う制御手段と、を有し、
前記検出手段は、
前記複数の第１の電極から読み出した信号に基づいて検出した焦点状態が予め決められた閾値以下の場合に、前記複数の第２の電極から読み出した信号を用いて、次の焦点状態の検出を行う
ことを特徴とする撮像装置。
請求項８に記載の撮像素子と、
前記撮像素子の前記複数の第１の電極または前記複数の第２の電極から読み出された信号を、選択的に用いて焦点状態を検出する検出手段と、
前記検出手段により検出された焦点状態に基づいて前記撮像光学系を制御して焦点調節を行う制御手段と、を有し、
前記検出手段は、
前記複数の第１の電極から読み出した信号に基づいて検出した焦点状態が予め決められた閾値をまたいで変化した場合に、前記複数の第２の電極から読み出した信号を用いて、次の焦点状態の検出を行う
ことを特徴とする撮像装置。
請求項１に記載の撮像素子と、
前記撮像素子の前記複数の第１の電極または前記複数の第２の電極から読み出された信号を、選択的に用いて焦点状態を検出する検出手段と、
前記検出手段により検出された焦点状態に基づいて前記撮像光学系を制御して焦点調節を行う制御手段と、を有し、
前記検出手段は、
前記複数の第１の電極から読み出した信号に基づいて検出した焦点状態が予め決められた第１の閾値以下の場合に、前記複数の第２の電極のうち、前記画素の中央から離れた複数の前記第２の電極から読み出した信号を用いて、次の焦点状態の検出を行い、
前記複数の第１の電極から読み出した信号に基づいて検出した焦点状態が、前記第１の閾値よりも高い焦点状態を示す予め決められた第２の閾値をまたいで変化した場合に、前記複数の第２の電極のうち、前記画素の中央に近い複数の前記第２の電極から読み出した信号を用いて、次の焦点状態の検出を行う
ことを特徴とする撮像装置。
前記制御手段は、前記検出手段が次の焦点検出において用いる信号を前記複数の第１の電極及び前記複数の第２の電極のいずれかから選択的に読み出すように、前記撮像素子を制御することを特徴とする請求項９乃至１２のいずれか１項に記載の撮像装置。
前記複数の第１の電極から読み出した信号を各画素ごとに加算して、撮像信号を生成する処理手段を更に有することを特徴とする請求項９乃至１３のいずれか１項に記載の撮像装置。
請求項１乃至８のいずれか１項に記載の撮像素子の前記複数の第１の電極または前記複数の第２の電極から読み出された信号を選択的に用いて、焦点状態を検出する検出手段を有し、
前記検出手段は、前記検出された焦点状態に応じて、前記複数の第１の電極または前記複数の第２の電極のいずれかから読み出された信号を選択的に用いて、次の焦点状態の検出を行うことを特徴とする焦点検出装置。
請求項６に記載の撮像素子の前記複数の第１の電極または前記複数の第２の電極から読み出された信号を選択的に用いて、焦点状態を検出する検出手段を有し、
前記検出手段は、
前記複数の第１の電極から読み出した信号に基づいて検出した焦点状態が予め決められた閾値以下の場合に、前記複数の第２の電極から読み出した信号を用いて、次の焦点状態の検出を行う
ことを特徴とする焦点検出装置。
請求項８に記載の撮像素子の前記複数の第１の電極または前記複数の第２の電極から読み出された信号を選択的に用いて、焦点状態を検出する検出手段を有し、
前記検出手段は、
前記複数の第１の電極から読み出した信号に基づいて検出した焦点状態が予め決められた閾値をまたいで変化した場合に、前記複数の第２の電極から読み出した信号を用いて、次の焦点状態の検出を行う
ことを特徴とする焦点検出装置。
請求項１に記載の撮像素子の前記複数の第１の電極または前記複数の第２の電極から読み出された信号を選択的に用いて、焦点状態を検出する検出手段を有し、
前記検出手段は、
前記複数の第１の電極から読み出した信号に基づいて検出した焦点状態が予め決められた第１の閾値以下の場合に、前記複数の第２の電極のうち、前記画素の中央から離れた複数の前記第２の電極から読み出した信号を用いて、次の焦点状態の検出を行い、
前記複数の第１の電極から読み出した信号に基づいて検出した焦点状態が、前記第１の閾値よりも高い焦点状態を示す予め決められた第２の閾値をまたいで変化した場合に、前記複数の第２の電極のうち、前記画素の中央に近い複数の前記第２の電極から読み出した信号を用いて、次の焦点状態の検出を行う
ことを特徴とする焦点検出装置。
請求項１乃至８のいずれか１項に記載の撮像素子を制御する制御方法であって、
検出手段が、前記撮像素子の前記複数の第１の電極または前記複数の第２の電極から読み出された信号を選択的に用いて、焦点状態を検出する検出工程と、
制御手段が、前記検出工程で検出された焦点状態に応じて、前記複数の第１の電極及び前記複数の第２の電極のいずれかから選択的に読み出すように、前記撮像素子を制御する制御工程と
を有することを特徴とする制御方法。
請求項１乃至８のいずれか１項に記載の撮像素子から出力された信号を用いて焦点検出を行う焦点検出方法であって、
検出手段が、前記撮像素子の前記複数の第１の電極または前記複数の第２の電極から読み出された信号を選択的に用いて、焦点状態を検出する第１の検出工程と、
前記検出手段が、前記第１の検出工程で検出された焦点状態に応じて、前記複数の第１の電極または前記複数の第２の電極のいずれかから読み出された信号を選択的に用いて、次の焦点状態を検出する第２の検出工程と
を有することを特徴とする焦点検出方法。
制御手段が、前記第１及び第２の検出工程において検出された焦点状態に基づいて、前記撮像光学系を制御して焦点調節を行う焦点調節工程をさらに有することを特徴とする請求項２０に記載の焦点検出方法。